JP5964755B2 - ビデオ符号化および復号化用の適応型結合前処理および後処理フィルタのための方法および装置 - Google Patents
ビデオ符号化および復号化用の適応型結合前処理および後処理フィルタのための方法および装置 Download PDFInfo
- Publication number
- JP5964755B2 JP5964755B2 JP2012547057A JP2012547057A JP5964755B2 JP 5964755 B2 JP5964755 B2 JP 5964755B2 JP 2012547057 A JP2012547057 A JP 2012547057A JP 2012547057 A JP2012547057 A JP 2012547057A JP 5964755 B2 JP5964755 B2 JP 5964755B2
- Authority
- JP
- Japan
- Prior art keywords
- post
- filtering step
- filter
- data
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本願は、参照によりその全体が本明細書に組み込まれる2009年12月31日出願の米国特許仮出願第61/291596号の特典を主張する。
y=DCT[Shift(Px)] (2)
y=D[Shift(I(Px,Prev(x)))] (3)
プレフィルタでの適応が元のデータに基づく場合、元のデータの(例えばデコーダ側での)非可用性のために、ポストフィルタは完全な逆となることはできない。そのような場合、ポストフィルタは、ポストフィルタに入力されるデータに基づいて適応を推定する。2つの新規なポストフィルタ処理実施形態が以下のように可能である。
−水平方向および垂直方向について異なる適応型プレフィルタおよびポストフィルタを選ぶ。
−適応型プレフィルタおよびポストフィルタを選択的に適応する。
・変換ブロック境界のみに対して、
・変換ブロック境界および変換ブロック内に対して、および/または
・プレフィルタおよびポストフィルタをオフにする。
プレフィルタおよびポストフィルタの性能は、いくつかのエンコーダおよびデコーダ機能を修正し、そのような機能をフィルタ処理プロセスと協調して働かせることによって改善することができる。ルーマおよびクロマ成分についての異なるプレフィルタおよびポストフィルタの選択により、2つのチャネルのコーディング効率が変化する。このコーディング効率の変化は、新しいコーディング効率を反映し、より良好なモード決定を行うために、レートひずみオプティマイザを修正する必要があることを示唆する。このコーディング効率の変化を反映する1つの単純な方式は、エンコーダおよび/またはデコーダ内のルーマおよびクロマに関するラグランジアンパラメータを変更することである。コーディング効率を正確に反映する関数にラグランジアンパラメータを変更することにより、全体的な圧縮効率が著しく改善される。
多くの場合、プレフィルタでの適応プロセスは、浮動小数点値、例えばsによってプレフィルタパラメータをスケーリングするのと同じほど単純である。4×4プレフィルタの一例を以下のように示す。
P(s)-1=I4×4+Q(s) (8)
−元のデータをプレフィルタ処理すること、およびコーディングループ中の結合されるポストフィルタ(およびデコーダ側)
−「結合フィルタ」
○ポストフィルタがプレフィルタの厳密な逆(完全な逆)である
○適応型ポストフィルタが、適応型プレフィルタと「ほぼ逆」である
・「ほぼ逆」:小さい摂動が適応に著しく影響を及ぼさないように適応パラメータが選ばれる
・量子化がなく、適応がある場合、適応はデコーダで利用可能ではない元のデータに基づくので、厳密な逆は達成されない
・ポストフィルタは厳密な逆ではない:観測値とフィルタ処理した元のデータとの違いを最小限に抑える
−2Dフィルタの方向が勾配のローカル方向に依存する
−ルーマ成分およびクロマ成分について異なるフィルタを使用する
−1Dフィルタを使用する
○垂直方向および水平方向について異なるフィルタを使用する
−結合フィルタの設計での予測効率
−ローカルデータ(エッジ、勾配、および/または分散)に対する結合フィルタの適応
○フィルタの連続的適応
○ローカル統計のサブセットにそれぞれ適用される結合フィルタの離散集合の使用
・ローカル勾配に応じた3つのプレフィルタおよび3つのポストフィルタ
−フィルタ処理機構に適合された最確モードプレディクタ
−フィルタ処理機構(エンコーダのみの最適化)のために使用されるレートひずみ(RD)
−フィルタを以下のように適応的に適用することができる。変換境界単位のみ、変換境界および変換単位内、および変換単位には全く適用しない。変換単位は、例えばブロックまたはマクロブロックでよい。
○上記の3つのモード間の比較および選択を可能にする方法は以下の通りである。3単位を作成し、RDコスト比較を実施して、現単位に対する最良のコーディングオプションを求める。現単位に対して行われる決定が、将来コーディングすべき単位に影響を及ぼすことを理解されたい。
−結合フィルタのリフティング方式実装
○ガウスの消去法およびギブンズ回転実装
−適応型プレフィルタおよびポストフィルタ組合せは、様々な変換(DCT、KLT、MDDT)および様々な変換次元と共に動作する。
[付記1]
ピクチャに関する入力データを、結果として得られるビットストリームに符号化するビデオエンコーダ(200)を備える装置であって、
前記ビデオエンコーダ(200)は、プレフィルタ(205、275)と、前記プレフィルタ(205、275)に結合されたポストフィルタ(245)とを備え、前記プレフィルタ(205、275)は、前記ピクチャに関する前記入力データをフィルタ処理し、前記ポストフィルタ(245)は、前記ピクチャに関するループ内再構築後データをフィルタ処理する、前記装置。
[付記2]
ビデオエンコーダにおいて、
ピクチャに関する入力データを、結果として得られるビットストリームに符号化するステップであって、前記ビデオエンコーダが、プレフィルタと、前記プレフィルタに結合されたポストフィルタとを備え、前記プレフィルタが、前記ピクチャに関する前記入力データをフィルタ処理し、前記ポストフィルタが、前記ピクチャに関するループ内再構築後データをフィルタ処理する(900、915、950)、前記符号化するステップを備える方法。
[付記3]
前記ポストフィルタが前記プレフィルタの厳密な逆となるように前記ポストフィルタのフィルタ係数およびフィルタパラメータが選択される(900、915、950)、付記2に記載の方法。
[付記4]
前記プレフィルタと前記ポストフィルタの少なくとも一方が異なるフィルタを含み、前記ピクチャのクロマ成分が、前記ピクチャのルーマ成分とは異なるフィルタのうちの異なるフィルタを使用してフィルタ処理される(415、435、440、460)、付記2に記載の方法。
[付記5]
前記プレフィルタと前記ポストフィルタの少なくとも一方に関するフィルタ係数およびフィルタパラメータのうちの少なくとも1つが、解像度、量子化レベル、ローカル勾配、予測モード、および勾配方向のうちの少なくとも1つに応答して選択される(415、420、425、430、435)、付記2に記載の方法。
[付記6]
再構築後データをフィルタ処理するために前記ポストフィルタによって使用されるポストフィルタ変換行列が、2つの被加数に分解され、前記2つの被加数の一方が恒等行列であり、前記2つの被加数の他方が第1の行列、第2の行列、および第3の行列の乗算を表す行列であり、前記第1の行列および前記第3の行列が固定であり、前記第2の行列が、前記プレフィルタの適応を反転するために可変である(1720、1725、1730、1735、1740)、付記2に記載の方法。
[付記7]
前記ポストフィルタが前記プレフィルタのほぼ逆となるように前記ポストフィルタのフィルタ係数およびフィルタパラメータが選択される(815、820、825)、付記2に記載の方法。
[付記8]
前記ポストフィルタが、観測値とプレフィルタ処理後推定との間の差を最小にすることにより、前記プレフィルタに供給される入力データと同じ出力データを前記ポストフィルタから実質的に供給するように構成され、前記観測値が、前記ポストフィルタに供給される入力データに関するものであり、前記プレフィルタ処理後推定が、前記プレフィルタによるフィルタ処理の前の前記ピクチャに関する前記入力データの推定に関するものである(815、820、825)、付記7に記載の方法。
[付記9]
前記プレフィルタおよび前記ポストフィルタが、前記プレフィルタと前記ポストフィルタとの間の厳密な可逆性に関する距離を最小にするように決定される整数実装である(1810、1815、1820、1825)、付記2に記載の方法。
[付記10]
前記プレフィルタおよび前記ポストフィルタのフィルタサイズが、残差データに適用される変換と同じサイズであり、前記残差データが、前記ピクチャに関する前記入力データと、少なくとも1つの基準ピクチャに関する基準データとの間の差を表す(415、430、435)、付記2に記載の方法。
[付記11]
前記プレフィルタおよび前記ポストフィルタが複数のフィルタを含み、前記複数のフィルタのうちの少なくとも1つが、前記残差データに適用される変換のすべての変換サイズに適用される(415、430、435)、付記10に記載の方法。
[付記12]
前記プレフィルタと前記ポストフィルタの少なくとも一方のフィルタサイズが、前記入力データに適用される変換のサイズとは異なる(415、430、435)、付記2に記載の方法。
[付記13]
前記プレフィルタおよび前記ポストフィルタが、前記入力データの一部のみに適用される(915、965)、付記2に記載の方法。
[付記14]
前記入力データの前記部分が、ブロック境界およびブロック内の少なくとも一方から選択される(915、965)、付記13に記載の方法。
[付記15]
ピクチャに関する残差イメージデータを復号化するビデオデコーダ(300)であって、前記ビデオデコーダ(300)が、プレフィルタ(355)と、前記プレフィルタ(335)に結合されたポストフィルタ(330)とを備え、前記プレフィルタ(355)が、前記残差イメージデータを復号化する際に使用される基準ピクチャをフィルタ処理し、前記ポストフィルタ(330)が、前記ピクチャに関するループ内再構築後データをフィルタ処理する、前記ビデオデコータを備える装置。
[付記16]
ビデオデコーダにおいて、
ピクチャに関する残差イメージデータ復号化するステップであって、前記ビデオデコーダが、プレフィルタと、前記プレフィルタに結合されたポストフィルタとを備え、前記プレフィルタが、前記残差イメージデータを復号化する際に使用される基準ピクチャをフィルタ処理し、前記ポストフィルタが、前記ピクチャに関するループ内再構築後データをフィルタ処理する(1030、1035、1055、1060)、前記復号化するステップを備える方法。
[付記17]
前記ポストフィルタが前記プレフィルタの厳密な逆となるように前記ポストフィルタのフィルタ係数およびフィルタパラメータが選択される(1030、1035、1055、1060)、付記16に記載の方法。
[付記18]
前記プレフィルタと前記ポストフィルタの少なくとも一方が異なるフィルタを含み、前記ピクチャのクロマ成分が、前記ピクチャのルーマ成分とは異なるフィルタのうちの異なるフィルタを使用してフィルタ処理される(515、535、540、560)、付記16に記載の方法。
[付記19]
前記プレフィルタと前記ポストフィルタの少なくとも一方に関するフィルタ係数およびフィルタパラメータのうちの少なくとも1つが、解像度、量子化レベル、ローカル勾配、予測モード、および勾配方向のうちの少なくとも1つに応答して選択される(515、520、525、530、535)、付記16に記載の方法。
[付記20]
前記再構築後データをフィルタ処理するために前記ポストフィルタによって使用されるポストフィルタ変換行列が、2つの被加数に分解され、前記2つの被加数の一方が恒等行列であり、前記2つの被加数の他方が第1の行列、第2の行列、および第3の行列の乗算を表す行列であり、前記第1の行列および前記第3の行列が固定であり、前記第2の行列が、前記プレフィルタの適応を反転するために可変である(1720、1725、1730、1735、1740)、付記16に記載の方法。
[付記21]
前記ポストフィルタが前記プレフィルタのほぼ逆となるように前記ポストフィルタのフィルタ係数およびフィルタパラメータが選択される(815、820、825)、付記16に記載の方法。
[付記22]
前記ポストフィルタが、観測値とプレフィルタ処理後推定との間の差を最小にすることにより、前記プレフィルタに供給される入力データと同じ出力データを前記ポストフィルタから実質的に供給するように構成され、前記観測値が、前記ポストフィルタに供給される入力データに関するものであり、前記プレフィルタ処理後推定が、前記プレフィルタによるフィルタ処理の前の前記ピクチャに関する前記入力データの推定に関するものである(815、820、825、845)、付記21に記載の方法。
[付記23]
前記プレフィルタおよび前記ポストフィルタが、前記プレフィルタと前記ポストフィルタとの間の厳密な可逆性に関する距離を最小にするように決定される整数実装である(1815、1820、1825)、付記16に記載の方法。
[付記24]
前記プレフィルタおよび前記ポストフィルタのフィルタサイズが、残差データに適用される変換と同じサイズであり、前記残差データが、前記ピクチャに関する前記入力データと、少なくとも1つの基準ピクチャに関する基準データとの間の差を表す(515、530、535)、付記16に記載の方法。
[付記25]
前記プレフィルタおよび前記ポストフィルタが複数のフィルタを含み、前記複数のフィルタのうちの少なくとも1つが、前記残差データに適用される変換のすべての変換サイズに適用される(515、530、535)、付記24に記載の方法。
[付記26]
前記プレフィルタと前記ポストフィルタの少なくとも一方のフィルタサイズが、前記入力データに適用される変換のサイズとは異なる(515、530、535)、付記16に記載の方法。
[付記27]
前記プレフィルタおよび前記ポストフィルタが、前記入力データの一部のみに適用される(1030、1035、1055、1060)、付記16に記載の方法。
[付記28]
前記入力データの前記部分が、ブロック境界およびブロック内の少なくとも一方から選択される、付記27に記載の方法。
[付記29]
符号化されたビデオ信号データを有する非一時的コンピュータ可読記憶媒体であって、
符号化されたピクチャに関する入力データであって、前記ピクチャに関する前記入力データが、符号化されたとき、プレフィルタを使用してプレフィルタ処理されたものであり、前記ピクチャに関するループ内再構築後データが、符号化されたとき、前記プレフィルタに直接結合されたポストフィルタを使用してポストフィルタ処理されたものである、前記入力データ
を備える、前記非一時的コンピュータ可読記憶媒体。
Claims (26)
- ピクチャに関する入力データを、結果として得られるビットストリームに符号化するビデオエンコーダを備える装置であって、
前記ビデオエンコーダは、プレフィルタと、前記プレフィルタの下流に配置されたポストフィルタとを備え、前記プレフィルタは、前記ピクチャに関する前記入力データをフィルタ処理し、前記ポストフィルタは、前記ピクチャに関するループ内再構築後データをフィルタ処理し、
前記プレフィルタ及び前記ポストフィルタの少なくとも1つに関するフィルタ係数及びフィルタパラメータの少なくとも1つが、解像度、量子化レベル、ローカル勾配、予測モード、及び勾配方向のうちの少なくとも1つに応答して選択され、適応は、勾配強度、勾配方向及び勾配分散を互いに素な範囲に区分化し、異なる範囲について固定フィルタを適用することによって離散的に行われ、
前記プレフィルタ及び前記ポストフィルタは、リフティング方式で実装され、固定プレフィルタ変換行列の特異値分解を実行することにより得られる対角行列の値を変えることにより前記適応をその中に組み込む、前記装置。 - ピクチャに関する入力データを、結果として得られるビットストリームに符号化するステップであって、プレフィルタリングステップと、前記プレフィルタリングステップの後に行われるポストフィルタリングステップとを備え、前記プレフィルタリングステップが、前記ピクチャに関する前記入力データをフィルタ処理し、前記ポストフィルタリングステップが、前記ピクチャに関するループ内再構築後データをフィルタ処理する、前記符号化するステップを備え、
前記プレフィルタリングステップ及び前記ポストフィルタリングステップの少なくとも1つに関するフィルタ係数及びフィルタパラメータの少なくとも1つが、解像度、量子化レベル、ローカル勾配、予測モード、及び勾配方向のうちの少なくとも1つに応答して選択され、適応は、勾配強度、勾配方向及び勾配分散を互いに素な範囲に区分化し、異なる範囲について固定フィルタを適用することによって離散的に行われ、
前記プレフィルタリングステップ及び前記ポストフィルタリングステップは、リフティング方式で実装され、固定プレフィルタ変換行列の特異値分解を実行することにより得られる対角行列の値を変えることにより前記適応をその中に組み込む、方法。 - 前記ポストフィルタリングステップが前記プレフィルタリングステップの厳密な逆となるように前記ポストフィルタリングステップのフィルタ係数およびフィルタパラメータが選択される、請求項2に記載の方法。
- 前記プレフィルタリングステップと前記ポストフィルタリングステップの少なくとも一方が異なるフィルタの使用を含み、前記ピクチャのクロマ成分が、前記ピクチャのルーマ成分に用いられる前記異なるフィルタのパラメータ・セットから独立したパラメータ・セットを使用してフィルタ処理される、請求項2に記載の方法。
- 前記再構築後データをフィルタ処理するために前記ポストフィルタリングステップによって使用されるポストフィルタ変換行列が、2つの加数に分解され、前記2つの加数の一方が恒等行列であり、前記2つの加数の他方が第1の行列、第2の行列、および第3の行列の乗算を表す行列であり、前記第1の行列および前記第3の行列が固定であり、前記第2の行列が、前記プレフィルタリングステップの適応を反転するために可変である、請求項2に記載の方法。
- 前記ポストフィルタリングステップが前記プレフィルタリングステップの逆となるように前記ポストフィルタリングステップのフィルタ係数およびフィルタパラメータが選択される、請求項2に記載の方法。
- 前記ポストフィルタリングステップが、観測値とプレフィルタ処理後推定との間の差を最小にすることにより、前記プレフィルタリングステップに供給される入力データと同じ出力データを前記ポストフィルタリングステップから供給するように構成され、前記観測値が、前記ポストフィルタリングステップに供給される入力データに関するものであり、前記プレフィルタ処理後推定が、前記プレフィルタリングステップによるフィルタ処理の前の前記ピクチャに関する前記入力データの推定に関するものである、請求項2又は6に記載の方法。
- 前記プレフィルタリングステップおよび前記ポストフィルタリングステップが、前記プレフィルタリングステップと前記ポストフィルタリングステップとの間の厳密な可逆性に関する距離を最小にするように決定される整数演算を用いて実施される、請求項2に記載の方法。
- 前記プレフィルタリングステップおよび前記ポストフィルタリングステップの係数の数が、残差データに適用される変換のサイズに等しく、前記残差データが、前記ピクチャに関する前記入力データと、少なくとも1つの基準ピクチャに関する基準データとの間の差を表す、請求項2に記載の方法。
- 前記プレフィルタリングステップおよび前記ポストフィルタリングステップが複数のフィルタの使用を含み、前記複数のフィルタのうちの少なくとも1つが、残差データに適用される変換のすべての変換サイズに適用される、請求項2又は9に記載の方法。
- 前記プレフィルタリングステップと前記ポストフィルタリングステップの少なくとも一方の係数の数が、前記入力データに適用される変換のサイズとは異なる、請求項2に記載の方法。
- 前記プレフィルタリングステップおよび前記ポストフィルタリングステップが、前記入力データの一部のみに適用される、請求項2に記載の方法。
- 前記入力データの一部が、ブロック境界およびブロック内の少なくとも一方から選択される、請求項12に記載の方法。
- ピクチャに関する残差イメージデータを復号化するビデオデコーダであって、プレフィルタと、前記プレフィルタの下流に配置されたポストフィルタとを備え、前記プレフィルタが、前記残差イメージデータを復号化する際に使用される基準ピクチャをフィルタ処理し、前記ポストフィルタが、前記ピクチャに関するループ内再構築後データをフィルタ処理する、前記ビデオデコーダを備え、
前記プレフィルタ及び前記ポストフィルタの少なくとも1つに関するフィルタ係数及びフィルタパラメータの少なくとも1つが、解像度、量子化レベル、ローカル勾配、予測モード、及び勾配方向のうちの少なくとも1つに応答して選択され、適応は、勾配強度、勾配方向及び勾配分散を互いに素な範囲に区分化し、異なる範囲について固定フィルタを適用することによって離散的に行われ、
前記プレフィルタ及び前記ポストフィルタは、リフティング方式で実装され、固定プレフィルタ変換行列の特異値分解を実行することにより得られる対角行列の値を変えることにより前記適応をその中に組み込む、装置。 - ピクチャに関する残差イメージデータを復号化するステップであって、プレフィルタリングステップと、前記プレフィルタリングステップの後に行われるポストフィルタリングステップとを備え、前記プレフィルタリングステップが、前記残差イメージデータを復号化する際に使用される基準ピクチャをフィルタ処理し、前記ポストフィルタリングステップが、前記ピクチャに関するループ内再構築後データをフィルタ処理する、前記復号化するステップを備え、
前記プレフィルタリングステップ及び前記ポストフィルタリングステップの少なくとも1つに関するフィルタ係数及びフィルタパラメータの少なくとも1つが、解像度、量子化レベル、ローカル勾配、予測モード、及び勾配方向のうちの少なくとも1つに応答して選択され、適応は、勾配強度、勾配方向及び勾配分散を互いに素な範囲に区分化し、異なる範囲について固定フィルタを適用することによって離散的に行われ、
前記プレフィルタリングステップ及び前記ポストフィルタリングステップは、リフティング方式で実装され、固定プレフィルタ変換行列の特異値分解を実行することにより得られる対角行列の値を変えることにより前記適応をその中に組み込む、方法。 - 前記ポストフィルタリングステップが前記プレフィルタリングステップの厳密な逆となるように前記ポストフィルタリングステップのフィルタ係数およびフィルタパラメータが選択される、請求項15に記載の方法。
- 前記プレフィルタリングステップと前記ポストフィルタリングステップの少なくとも一方が異なるフィルタの使用を含み、前記ピクチャのクロマ成分が、前記ピクチャのルーマ成分に用いられる前記異なるフィルタのパラメータ・セットから独立したパラメータ・セットを使用してフィルタ処理される、請求項15に記載の方法。
- 前記再構築後データをフィルタ処理するために前記ポストフィルタリングステップによって使用されるポストフィルタ変換行列が、2つの加数に分解され、前記2つの加数の一方が恒等行列であり、前記2つの加数の他方が第1の行列、第2の行列、および第3の行列の乗算を表す行列であり、前記第1の行列および前記第3の行列が固定であり、前記第2の行列が、前記プレフィルタリングステップの適応を反転するために可変である、請求項15に記載の方法。
- 前記ポストフィルタリングステップが前記プレフィルタリングステップの逆となるように前記ポストフィルタリングステップのフィルタ係数およびフィルタパラメータが選択される、請求項15に記載の方法。
- 前記ポストフィルタリングステップが、観測値とプレフィルタ処理後推定との間の差を最小にすることにより、前記プレフィルタリングステップに供給される入力データと同じ出力データを前記ポストフィルタリングステップから供給するように構成され、前記観測値が、前記ポストフィルタリングステップに供給される入力データに関するものであり、前記プレフィルタ処理後推定が、前記プレフィルタリングステップによるフィルタ処理の前の前記ピクチャに関する前記入力データの推定に関するものである、請求項15又は19記載の方法。
- 前記プレフィルタリングステップおよび前記ポストフィルタリングステップが、前記プレフィルタリングステップと前記ポストフィルタリングステップとの間の厳密な可逆性に関する距離を最小にするように決定される整数計算オペレーションを用いて実施される、請求項15に記載の方法。
- 前記プレフィルタリングステップおよび前記ポストフィルタリングステップの係数の数が、残差データに適用される変換のサイズに等しく、前記残差データが、前記ピクチャに関する入力データと、少なくとも1つの基準ピクチャに関する基準データとの間の差を表す、請求項15に記載の方法。
- 前記プレフィルタリングステップおよび前記ポストフィルタリングステップが複数のフィルタの使用を含み、前記複数のフィルタのうちの少なくとも1つが、残差データに適用される変換のすべての変換サイズに適用される、請求項15又は22に記載の方法。
- 前記プレフィルタリングステップと前記ポストフィルタリングステップの少なくとも一方の係数の数が、入力データに適用される変換のサイズとは異なる、請求項15に記載の方法。
- 前記プレフィルタリングステップおよび前記ポストフィルタリングステップが、入力データの一部のみに適用される、請求項15に記載の方法。
- 前記入力データの一部が、ブロック境界およびブロック内の少なくとも一方から選択される、請求項25に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US29159609P | 2009-12-31 | 2009-12-31 | |
US61/291,596 | 2009-12-31 | ||
PCT/US2010/003081 WO2011081637A1 (en) | 2009-12-31 | 2010-12-02 | Methods and apparatus for adaptive coupled pre-processing and post-processing filters for video encoding and decoding |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013516834A JP2013516834A (ja) | 2013-05-13 |
JP2013516834A5 JP2013516834A5 (ja) | 2014-01-23 |
JP5964755B2 true JP5964755B2 (ja) | 2016-08-03 |
Family
ID=43567521
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012547057A Active JP5964755B2 (ja) | 2009-12-31 | 2010-12-02 | ビデオ符号化および復号化用の適応型結合前処理および後処理フィルタのための方法および装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9883207B2 (ja) |
EP (1) | EP2520092A1 (ja) |
JP (1) | JP5964755B2 (ja) |
KR (1) | KR101773012B1 (ja) |
CN (1) | CN102771122B (ja) |
WO (1) | WO2011081637A1 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8885714B2 (en) * | 2010-01-14 | 2014-11-11 | Texas Instruments Incorporated | Method and system for intracoding in video encoding |
WO2013006986A1 (en) * | 2011-07-12 | 2013-01-17 | Intel Corporation | Luma-based chroma intra prediction |
KR20130049526A (ko) * | 2011-11-04 | 2013-05-14 | 오수미 | 복원 블록 생성 방법 |
US9432694B2 (en) | 2012-03-06 | 2016-08-30 | Apple Inc. | Signal shaping techniques for video data that is susceptible to banding artifacts |
KR20160104646A (ko) * | 2013-12-22 | 2016-09-05 | 엘지전자 주식회사 | 양자화 에러의 추가적인 제어를 이용한 비디오 신호의 인코딩, 디코딩 방법 및 장치 |
KR102249819B1 (ko) | 2014-05-02 | 2021-05-10 | 삼성전자주식회사 | 시스템 온 칩과 이를 포함하는 데이터 처리 시스템 |
CN103974076B (zh) * | 2014-05-19 | 2018-01-12 | 华为技术有限公司 | 图像编解码方法和设备、系统 |
US9811882B2 (en) | 2014-09-30 | 2017-11-07 | Electronics And Telecommunications Research Institute | Method and apparatus for processing super resolution image using adaptive preprocessing filtering and/or postprocessing filtering |
EP3032830A1 (en) * | 2014-12-08 | 2016-06-15 | Thomson Licensing | Differential coding of intra modes |
JP2018533871A (ja) * | 2015-11-11 | 2018-11-15 | サムスン エレクトロニクス カンパニー リミテッド | ビデオ復号方法及びその装置、並びにビデオ符号化方法及びその装置 |
WO2018044125A1 (ko) * | 2016-09-01 | 2018-03-08 | 엘지전자(주) | 레이어드 기븐스 변환을 이용하여 변환을 수행하는 방법 및 장치 |
EP3516877B1 (en) * | 2016-12-01 | 2020-03-11 | Google LLC | Restoration in video coding using domain transform recursive filters |
WO2018117893A1 (en) | 2016-12-23 | 2018-06-28 | Huawei Technologies Co., Ltd. | Mixed domain collaborative post filter for lossy still image coding |
EP3454556A1 (en) * | 2017-09-08 | 2019-03-13 | Thomson Licensing | Method and apparatus for video encoding and decoding using pattern-based block filtering |
US10542255B2 (en) | 2017-09-28 | 2020-01-21 | Google Llc | Image processing for compression |
CN107908175B (zh) * | 2017-11-08 | 2020-06-23 | 国网电力科学研究院武汉南瑞有限责任公司 | 一种电力系统现场智能化运维系统 |
WO2019191892A1 (zh) * | 2018-04-02 | 2019-10-10 | 北京大学 | 用于视频编解码的方法和设备 |
CN113228637A (zh) * | 2018-12-17 | 2021-08-06 | 北京字节跳动网络技术有限公司 | 依赖于形状的插值滤波器 |
US10708624B1 (en) * | 2019-05-30 | 2020-07-07 | Ati Technologies Ulc | Pre-processing for video compression |
CN113518227B (zh) * | 2020-04-09 | 2023-02-10 | 于江鸿 | 数据处理的方法和系统 |
CN111698512B (zh) * | 2020-06-24 | 2022-10-04 | 北京达佳互联信息技术有限公司 | 视频处理方法、装置、设备及存储介质 |
CN111885378B (zh) * | 2020-07-27 | 2021-04-30 | 腾讯科技(深圳)有限公司 | 多媒体数据编码方法、装置、设备以及介质 |
US20230171403A1 (en) * | 2021-11-17 | 2023-06-01 | Mediatek Inc. | Methods and Apparatuses of Gaussian Elimination in Video Encoding System |
EP4294006A1 (en) * | 2022-06-16 | 2023-12-20 | MBDA UK Limited | Method for image encoding |
GB2621914A (en) * | 2022-06-16 | 2024-02-28 | Mbda Uk Ltd | Method for image encoding |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2549479B2 (ja) | 1991-12-06 | 1996-10-30 | 日本電信電話株式会社 | 動き補償フレーム間帯域分割符号化処理方法 |
US6084908A (en) * | 1995-10-25 | 2000-07-04 | Sarnoff Corporation | Apparatus and method for quadtree based variable block size motion estimation |
US7450641B2 (en) | 2001-09-14 | 2008-11-11 | Sharp Laboratories Of America, Inc. | Adaptive filtering based upon boundary strength |
US7194035B2 (en) * | 2003-01-08 | 2007-03-20 | Apple Computer, Inc. | Method and apparatus for improved coding mode selection |
US7672523B2 (en) * | 2003-03-03 | 2010-03-02 | The Hong Kong University Of Science And Technology | Efficient rate allocation for multi-resolution coding of data |
US7428342B2 (en) * | 2004-12-17 | 2008-09-23 | Microsoft Corporation | Reversible overlap operator for efficient lossless data compression |
US7305139B2 (en) * | 2004-12-17 | 2007-12-04 | Microsoft Corporation | Reversible 2-dimensional pre-/post-filtering for lapped biorthogonal transform |
AU2005239628B2 (en) | 2005-01-14 | 2010-08-05 | Microsoft Technology Licensing, Llc | Reversible 2-dimensional pre-/post-filtering for lapped biorthogonal transform |
US8422546B2 (en) * | 2005-05-25 | 2013-04-16 | Microsoft Corporation | Adaptive video encoding using a perceptual model |
CN101199206A (zh) * | 2005-06-17 | 2008-06-11 | 株式会社Ntt都科摩 | 用于重叠变换编解码的方法和设备 |
US20060288065A1 (en) * | 2005-06-17 | 2006-12-21 | Docomo Communications Laboratories Usa, Inc. | Method and apparatus for lapped transform coding and decoding |
US8036274B2 (en) * | 2005-08-12 | 2011-10-11 | Microsoft Corporation | SIMD lapped transform-based digital media encoding/decoding |
US8218655B2 (en) * | 2005-09-19 | 2012-07-10 | Maxim Integrated Products, Inc. | Method, system and device for improving video quality through in-loop temporal pre-filtering |
US8537903B2 (en) * | 2005-09-23 | 2013-09-17 | Entropic Communications, Inc. | De-blocking and de-ringing systems and methods |
US8149909B1 (en) * | 2005-10-13 | 2012-04-03 | Maxim Integrated Products, Inc. | Video encoding control using non-exclusive content categories |
EP1977607A4 (en) * | 2006-01-09 | 2014-12-17 | Lg Electronics Inc | INTER-LAYER PREDICTION PROCEDURE FOR A VIDEO SIGNAL |
US8009963B2 (en) | 2006-01-26 | 2011-08-30 | Qualcomm Incorporated | Adaptive filtering to enhance video bit-rate control performance |
US8582666B2 (en) * | 2006-12-18 | 2013-11-12 | Koninklijke Philips N.V. | Image compression and decompression |
US7573405B2 (en) * | 2006-12-29 | 2009-08-11 | Texas Instruments Incorporated | System updating accumulated statistics coding variable values after multiple encodings |
US20090060368A1 (en) * | 2007-08-27 | 2009-03-05 | David Drezner | Method and System for an Adaptive HVS Filter |
EP2063417A1 (en) * | 2007-11-23 | 2009-05-27 | Deutsche Thomson OHG | Rounding noise shaping for integer transform based encoding and decoding |
US8200028B2 (en) * | 2007-12-07 | 2012-06-12 | Csr Technology Inc. | System and method for detecting edges in a video signal |
CN101971632B (zh) * | 2008-01-08 | 2013-10-16 | 艾利森电话股份有限公司 | 自适应滤波 |
US9077971B2 (en) * | 2008-04-10 | 2015-07-07 | Qualcomm Incorporated | Interpolation-like filtering of integer-pixel positions in video coding |
EP2286595A1 (en) * | 2008-06-16 | 2011-02-23 | Dolby Laboratories Licensing Corporation | Rate control model adaptation based on slice dependencies for video coding |
WO2010033565A1 (en) * | 2008-09-16 | 2010-03-25 | Dolby Laboratories Licensing Corporation | Adaptive video encoder control |
US8792564B2 (en) * | 2008-10-28 | 2014-07-29 | Sony Corporation | Adaptive preprocessing method using feature-extracted video maps |
US8380001B2 (en) * | 2009-02-27 | 2013-02-19 | Vixs Systems, Inc. | Edge adaptive deblocking filter and methods for use therewith |
US9124874B2 (en) * | 2009-06-05 | 2015-09-01 | Qualcomm Incorporated | Encoding of three-dimensional conversion information with two-dimensional video sequence |
JP6217290B2 (ja) | 2013-10-02 | 2017-10-25 | 株式会社豊田中央研究所 | 試料ガス測定装置および試料ガス測定方法 |
-
2010
- 2010-12-02 JP JP2012547057A patent/JP5964755B2/ja active Active
- 2010-12-02 KR KR1020127017125A patent/KR101773012B1/ko active IP Right Grant
- 2010-12-02 US US13/518,942 patent/US9883207B2/en active Active
- 2010-12-02 EP EP10803290A patent/EP2520092A1/en not_active Ceased
- 2010-12-02 CN CN201080060025.0A patent/CN102771122B/zh active Active
- 2010-12-02 WO PCT/US2010/003081 patent/WO2011081637A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
KR20120099479A (ko) | 2012-09-10 |
CN102771122A (zh) | 2012-11-07 |
CN102771122B (zh) | 2016-12-28 |
WO2011081637A1 (en) | 2011-07-07 |
JP2013516834A (ja) | 2013-05-13 |
US20120281753A1 (en) | 2012-11-08 |
US9883207B2 (en) | 2018-01-30 |
KR101773012B1 (ko) | 2017-08-30 |
EP2520092A1 (en) | 2012-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5964755B2 (ja) | ビデオ符号化および復号化用の適応型結合前処理および後処理フィルタのための方法および装置 | |
US11240496B2 (en) | Low complexity mixed domain collaborative in-loop filter for lossy video coding | |
JP5330647B2 (ja) | 適応参照画像の発生 | |
US9313465B2 (en) | Learned transform and compressive sensing for video coding | |
US9736500B2 (en) | Methods and apparatus for spatially varying residue coding | |
US20120288003A1 (en) | Video coding using compressive sensing | |
JP5805097B2 (ja) | 映像符号化及び復号化のためのdcイントラ予測モードのための方法及び装置 | |
US20230188733A1 (en) | Video display preference filtering | |
US20160269739A1 (en) | Video encoding optimization of extended spaces including last stage processes | |
WO2021041332A1 (en) | Methods and apparatus on prediction refinement with optical flow | |
EP4032298A1 (en) | Methods and apparatus for prediction refinement with optical flow | |
CN108141602A (zh) | 视频运动补偿装置和方法 | |
EP3970374A1 (en) | Methods and apparatus for prediction refinement with optical flow | |
CN110100437B (zh) | 用于有损视频编码的混合域协作环路滤波器 | |
WO2020220048A1 (en) | Methods and apparatuses for prediction refinement with optical flow | |
WO2021072326A1 (en) | Methods and apparatuses for prediction refinement with optical flow, bi-directional optical flow, and decoder-side motion vector refinement | |
CN114175659A (zh) | 用于双向光流的比特宽度控制的装置和方法 | |
CN109906610B (zh) | 使用滤波和子空间投影的视频编译的恢复 | |
US20120163465A1 (en) | Method for encoding a video sequence and associated encoding device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131202 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131202 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141209 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20150309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150804 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20151104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160531 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160630 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5964755 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |