JP6748749B2 - 再構成された画像のサンプルのセットのための補償オフセットを復号するための方法および装置 - Google Patents

再構成された画像のサンプルのセットのための補償オフセットを復号するための方法および装置 Download PDF

Info

Publication number
JP6748749B2
JP6748749B2 JP2019034903A JP2019034903A JP6748749B2 JP 6748749 B2 JP6748749 B2 JP 6748749B2 JP 2019034903 A JP2019034903 A JP 2019034903A JP 2019034903 A JP2019034903 A JP 2019034903A JP 6748749 B2 JP6748749 B2 JP 6748749B2
Authority
JP
Japan
Prior art keywords
sao
component
offset
value
flag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019034903A
Other languages
English (en)
Other versions
JP2019110587A (ja
Inventor
ラロシュ ギローム
ラロシュ ギローム
ジスケ クリストフ
ジスケ クリストフ
フランソワ エドワード
フランソワ エドワード
オンノ パトリス
オンノ パトリス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2019110587A publication Critical patent/JP2019110587A/ja
Application granted granted Critical
Publication of JP6748749B2 publication Critical patent/JP6748749B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Description

本発明はビデオコーデックの符号化効率および/または復号化の複雑さを改善するために、画像の再構成されたサンプルのセットのための補償オフセットを復号するための方法および装置に関する。本発明はさらにデジタル画像のシーケンスを復号するための方法および装置に関する。
本発明は、デジタル信号処理の分野で、特にビデオ圧縮の分野でビデオストリーム中の空間的および時間的冗長性を低減するために動き補償を使用することに、適用されてもよい。
例えば、H.263、H.264、MPEG−1、MPEG−2、MPEG−4、SVCのような多くのビデオ圧縮フォーマットは、空間的および時間的冗長性を除去するためにブロックベース離散コサイン変換(DCT)および動き補償を使用する。それらはしばしば予測ビデオフォーマットと呼ばれる。映像信号の各フレームまたは画像は符号化され、独立して復号化できるスライスに分割される。スライスは一般的にはフレームの長方形の部分であり、またはより一般的にはフレームの一部またはフレーム全体である。さらに、各スライスはマクロブロック(MB)に分割されてもよく、各マクロブロックはブロックに、一般的には64×64、32×32、16×16または8×8画素のブロックにさらに分割される。
High Efficiency Video Coding(HEVC)では64×64から4×4のブロックが使用されてもよい。パーティショニングは最大符号化ユニット(LCU)に基づいて四分木構造に従って構成される。LCUは、例えば64×64の正方形のブロックに対応する。LCUを分割する必要がある場合、分割フラグはLCUが4つの32×32ブロックに分割されることを示す。同様に、これらの4ブロックのいずれかを分割する必要がある場合、分割フラグが真に設定され32×32のブロックが4つの16×16のブロックなどに分割される。スプリットフラグが偽に設定されている際には、現在のブロックは符号化ユニットCUである。CUは64×64、32×32、16×16または8×8画素に等しいサイズを有する。
画像のブロックを符号化する符号化モードとして2つのファミリがある:イントラ予測と呼ばれる空間的な予測に基づいた符号化モード、および時間的予測に基づいた符号化モード(インター、マージ、スキップ)である。空間的および時間的な予測モードの両方において、残差は元のブロックから予測値を減算することにより計算される。
イントラブロックは一般的にその因果境界で符号化された画素からイントラ予測処理により予測される。イントラ予測では、予測方向が符号化される。
時間的予測は、符号化されるブロックへの最も似通った画像部またはリファレンスエリアを、ビデオシーケンスの過去または将来のフレームのいずれかであるリファレンスフレームの中に見出すことである。このステップは一般的には動き推定として知られる。次に、符号化されるブロックは一般的に動き補償と呼ばれるステップでリファレンスエリアを使用して予測され−動き補償のために使用するリファレンスエリアを示す動きベクトルに対する動き情報の項目と共に、符号化されるブロックおよびリファレンス部との間の差分が符号化される。時間的予測では、少なくとも1つの動きベクトルが符号化される。
動き情報の符号化コストをさらに低減するために、動きベクトルを直接符号化するよりも、動きが均等であると仮定すると動きベクトルおよび動きベクトル予測子との間の差分の点から動きベクトルは符号化されてもよく、一般的には符号化されるブロックの周辺ブロックの1つまたは複数の動きベクトルから計算される。
H.264では、例えば動きベクトルは符号化されるブロックの因果的近傍に位置する動きベクトルから、例えば符号化されるブロックの上方および左側に位置する3つのブロックから計算された中央値予測子に関して符号化される。中央値予測子および現在ブロックの動きベクトルとの間の、残差動きベクトルと呼ばれる、唯一の違いが符号化コストを削減するためにビットストリーム内で復号化される。
残差動きベクトルを使用した符号化はいくらかのビットレートを節約するが、符号化されるブロックの動きベクトルの値を復号化するために動きベクトル予測子の同じ計算を復号器が行うことを必要とする。
符号化および復号化処理の両方は符号化された画像の復号化処理を含んでいてもよい。この処理は一般的には符号器および対応する復号器が同じリファレンスフレームを有することを可能にする将来の動き推定を目的として符号器側で行われる。
符号化されたフレームを再構成するため、画素エリアにおける「復号化」残差を提供するために残差は逆量子化され逆変換される。第1の再構成は次に1つまたはいくつかの種類のポストフィルタリング処理によりフィルタリングされる。これらのポストフィルタは同じリファレンスフレームを両側で使用されるようにするために、符号器および復号器側での復元されたフレームに適用される。このポストフィルタリングの目的は圧縮アーチファクトを除去し画像品質を改善することである。例えば、H.264/AVCはデブロッキングフィルタを使用する。このフィルタは残差のDCT量子化およびブロック動き補償に起因するブロッキングアーチファクトを除去することができる。現在のHEVC規格では、3種類のループフィルタが使用される:デブロッキングフィルタ、サンプル適応オフセット(SAO)および適応ループフィルタ(ALF)。
図1は公知のHEVC実施態様のループフィルタ処理のステップを示すフローチャートである。最初のステップ101において、符号器または復号器はフルフレームの再構成を生成する。次に、ステップ102においてデブロッキングフィルタがデブロックされた再構成を生成する103ためにこの第1の再構成に適用される。デブロッキングフィルタの目的は、残差量子化およびブロック動き補償またはブロックイントラ予測により生成されたブロックアーチファクトを除去することである。これらのアーチファクトは低ビットレートで視覚的に重要である。デブロッキングフィルタは2つの隣接ブロックの特性に応じてブロック境界を平滑化するように動作する。各ブロックの符号化モード、残差コーディングのために使用される量子化パラメータ、および境界における隣接画素差分が考慮される。同じ基準/分類がすべてのフレームに適用され、追加データは送信されない。デブロッキングフィルタはブロッキングアーチファクトを除去することにより現在のフレームの視覚的品質を改善し、それはまた後続のフレームのための動き推定および動き補償を改善する。実際に、ブロックアーチファクトの高周波数が除去され、それ故にこれらの高周波数は次のフレームのテクスチャ残差で補償される必要はない。
デブロッキングフィルタの後に、デブロックされた再構成がステップ104においてサンプル適応オフセット(SAO)ループフィルタによりフィルタリングされる。結果のフレーム105は次のインターフレームのためのリファレンスフレームとして表示され使用されるであろう再構成フレーム107を生成するためにステップ106において次に適応ループフィルタ(ALF)でフィルタリングされる。
SAOループフィルタおよびALFの目的は、デブロッキングフィルタでは何の情報も送信されないのとは対照的に、追加データを送信することによりフレーム再構成を改善することである。
SAOループフィルタの原理は各画素をクラスに分類し、クラスの各画素のそれぞれの画素値に同一のオフセット値を加算することである。このように1つのオフセットが各クラスに送信される。SAOループフィルタリングはフレームエリアに2種類の分類(クラス分け)を提供する:エッジオフセットおよびバンドオフセット。エッジオフセット分類はその対応する画素値を2つの隣接画素の画素値と比較することにより各画素のクラスを決定することを含む。また、2つの隣接画素は2つの隣接画素の方向を示すパラメータに依存する。これらの方向は0度(水平方向)、45度(対角線方向)、90度(垂直方向)および135度(第2の対角線方向)である。使用される方向は現在のHEVC仕様でsao_type_idxと呼ばれるSAOパラメータにより与えられる。別表の表1に示すように、その値は典型的に0から5まで変化する。sao_type_idxはまたSAOフィルタリングが行われるか否かおよびSAOフィルタリングのタイプを示すために使用される。
説明のために、画素値(またはサンプル)Cに加算されるオフセットは、所定の方向について、CnおよびCnが2つの隣接画素またはサンプル(指定された方向に応じた)の値を指定する別表の表2に記載の通りのルールに従って決定できる。従って、値Cが2つの値CnおよびCnよりも小さい際には、Cに加算されるオフセットは+Oであり、それがCnまたはCnよりも小さくかつ他の値(CnまたはCn)に等しい際には、使用されるオフセットは+Oであり、それがCnまたはCnよりも大きくかつ他の値(CnまたはCn)に等しい際には、使用されるオフセットは−Oであり、それがCnまたはCnよりも大きい際には、使用されるオフセットは−Oである。これらの条件がいずれも満たされない際には、オフセット値は現在の画素値Cに加算されない。
エッジオフセットモードに従って、各オフセットの絶対値のみがビットストリームに符号化され、適用される符号が現在の画素が属する分類の関数として決定されることに留意すべきである。したがって、別表の表2によれば、正のオフセットは分類1および2に関連する一方、負のオフセットは分類3および4に関連する。
分類の第2のタイプは画素値に依存するバンドオフセット分類である。SAOバンドオフセットにおけるクラスは画素値の範囲に対応する。このように、同じオフセットが画素値の所与の範囲内の画素値を有するすべての画素に加算される。
フレームの内容により適応的であるためには、SAOフィルタリングは現在のフレームをいくつかの空間領域に分割するいくつかのフレームエリアに適用される。現在、フレームエリアはHEVCにおける最大符号化単位の有限数に対応する。その結果、1つのフレームエリアは、いくつかのフレームエリアのみがフィルタリングされるようにSAOによりフィルタリングされてもまたはされなくてもよい。また、SAOが有効になっている際には、1つだけSAO分類が使用される:各分類のために送信される関連するパラメータに応じたエッジオフセットまたはバンドオフセット。最後に、各SAOリーフノードに対して、そのパラメータだけでなくSAO分類およびすべてのクラスのオフセットが送信される。
符号化されるビデオデータの画像はサンプル値の2次元アレイのセット(カラーチャネルとしても知られる)として提供されてもよく、サンプル値の各入力は、輝度の強度、及び中間グレースケール色から青色または赤色への色差の強度の指標(YUV)、または赤色、緑色、または青色の光成分強度の指標(RGB)のような色成分コンポーネントの強度を表す。YUVのモデルは1つのルミナンス(Y)および2つのクロミナンス(UV)コンポーネントに関して色空間を定義する。一般的に、Yは輝度コンポーネントを、UおよびVはクロミナンス(色)またはクロマコンポーネントを表す。
SAOフィルタリングはルミナンスに独立におよびUおよびVの両方のクロマコンポーネントに一般的に適用される。
SAOバンドオフセットの公知の実施態様は画素値の範囲を図2に示す同じサイズの32の定義済み範囲に分割する。画素値の範囲の最小値は常に0であり、最大値は次の関係Max=2Bitdepth
に従って画素値のビット深度に依存する。
画素値のすべての範囲を32の範囲に分割すると、高速な分類が出来る、各画素を分類するための5ビットの使用が可能となる。従って1つの画素を分類するために、5ビットのみが32のクラスの一つまたはすべての範囲の一つにおいてチェックされる。これは一般的に8ビットで符号化された値の最上位5ビットをチェックすることにより行われる。
例えば、ビット深度が8ビットである際には、画素の可能な最大値は255である。このように、画素値の範囲は0から255までの間である。このビット深度8ビット用に、各クラスが8画素値の範囲を含む。
SAOバンドフィルタリングの目的は最初のクラスまたはバンドにより決定された4つの連続したクラスまたは範囲のグループに属する画素のフィルタリングである。後者は復号器がフィルタリングされる画素の4つの連続したクラスまたは範囲を決定できるようにビットストリーム内で送信される。この位置を表すパラメータは現在のHEVC仕様書でsao_band_positionと呼ばれる。
説明のために、フィルタリングされる画素の4つの連続したクラスまたは範囲201から204のグループは図2ではグレーの領域として表される。上述したように、このグループはその位置(例えば、sao_band_position)により識別できる。所与の例によれば、クラスまたは範囲201は64および71の間に含まれる値を有する画素に関系する。同様に、クラスまたは範囲202から204は72および79、80および87、88および96の間それぞれに含まれる値を有する画素に関系する。
図3は現在のフレームエリア303(一般的には処理された画像の1つのコンポーネントに対応するLCUブロック)のために符号器内でオフセットを選択する方法のステップを示すフローチャートである。フレームエリアはN個の画素を含む。最初のステップ301において、変数SumおよびSumNbPixは4つの範囲の各々についてゼロの値に設定される。jは現在の範囲またはクラス番号を示す。Sumは範囲j内の画素の値およびそれら元の画素に対応する値との差分の和を示す。SumNbPixjは範囲j内の画素の数を示す。
ステップ302において、カウンタ変数iは値ゼロに設定される。次に、フレームエリア303の最初の画素Piがステップ304において抽出され、現在の画素Piに対応するクラス番号Jがステップ305において取得される。次に、現在の画素Piのクラス番号Jが値「該当なし」に対応するか否かを決定するために、別表の表2を参照して上述したように、ステップ306でテストが実行される。現在の画素Piのクラス番号Jが値「該当なし」に対応する場合、カウンタ変数iの値がフレームエリア303の後続の画素を分類するために1だけインクリメントされる。一方、現在の画素Piのクラス番号Jが値「該当なし」に対応しない場合、現在の画素Piに対応するSumNbPix変数が1だけインクリメントされ、Pおよびその元の値P orgとの間の差分がステップ307でSumに加算される。
次のステップにおいて、カウンタ変数iがフレームエリア303の他の画素に分類を適用するために1だけインクリメントされる。ステップ309において、フレームエリア303のN個のすべての画素が分類されているか否か(すなわち、i≧=Nか)が決定され、はいの場合、各クラス用のOffsetがステップ310においてオフセット選択アルゴリズムの最終結果として各クラスj用のオフセットを提示するオフセットテーブル311を作成するために計算される。このオフセットはクラスjの画素の画素値およびそれらの元の画素値それぞれとの間の差分の平均値として計算される。クラスj用のOffsetは次式で与えられる。
Offset=Sum/SumNbPix
計算されたオフセットOffsetは歪みに関して最適なオフセットとみなせる。これは以下ではOoptと呼ばれる。このオフセットから、レート歪み基準に従って改善されたオフセット値O_RDを決定することが可能である。
図4は改善されたレート歪み基準に従ってオフセットを決定するための方法のステップを示すフローチャートである。最初のステップ401において、現在の範囲またはクラス番号jのレート歪み値Jは所定の最大可能値(max_VALUE)に初期化される。
次に、ステップ402でオフセットOをOoptからゼロに変更するためにループが起動される。値Ooptが負でならば、変数Oはそれがゼロに達するまで1だけインクリメントされ、値Ooptが正でならば、変数Oはゼロに達するまで1だけデクリメントされる。
ステップ403において、変数Oに関連したレート歪みコスト、J(O)と示される、は例えば次の式に従って計算される。
Figure 0006748749
λはラグランジュパラメータであり、R(O)はOに関連付けられた符号語のために必要なビット数を提供する関数である。
Figure 0006748749
に対応する式の一部はオフセットOにより与えられる歪みに関する改善に関連する。
ステップ404において、値J(O)およびJは互いに比較される。値J(O)が値Jよりも小さい場合、JはJ(O)の値に設定され、O_RDはOの値に設定される。
ステップ405において、オフセットOのすべての可能な値が処理されたか否かが決定される(すなわちO=0か)。オフセットOがゼロに等しい場合、ループは終了し、クラスjのための改善されたオフセット値(O_RD)が識別される。若しくは、ループは次のO値で継続する。
図3を参照することにより説明されたアルゴリズムは、分類タイプをオフセットバンドに従った最初のクラスまたは範囲(sao_band_position)の位置を決定するために使用できることに留意されたい。そのために、インデックスjは区間[0,32]の値を表す([1,4]の代わりに)。換言すれば、値4は図3のモジュール301、310、および311内で値32により置き換えられる。
より具体的には、現在画素の値およびその元の値Porgとの差分Sumは図2に示される32のクラスの各々について計算することができる、すなわち各範囲j(jは区間[0,32]に属する)に対してと言うことである。
次に、改善されたオフセットO_RDはレート歪みの点で図4を参照することにより記述されるものと同様のアルゴリズムに従って32のクラスについて計算することができる。
次に、最初のクラスまたは範囲の位置を決定することができる。
図5はHEVCのSAOバンドオフセットのためのSAOバンド位置を決定するための方法のステップを示すフローチャートである。これらのステップは図4を参照して説明されたものの後に行われるので、Jで示されるレート歪み値はすでに各クラスjについて計算されている。
最初のステップ501において、レート歪み値Jは所定の最大可能値(MAX_VALUE)に初期化される。次に、4つの連続したクラスのグループの最初のクラスの28の可能な位置に対応する、インデックスiをゼロから27まで変化させるためのループがステップ502で起動される。
ステップ503において、現在のバンドのレート歪み値に対応する変数J’、すなわちインデックスiを有するクラスからの4つの連続したクラスを含むバンドはゼロに初期化される。次に、現在のバンドの4つのクラスに対応する、インデックスjをiからのi+3に変更させるためのループがステップ504で起動される。
次に、ステップ505において、変数J’の値はインデックスj(J)を有するクラスのレート歪み値の値だけインクリメントされる。このステップは現在のバンドの4つのクラスについて繰り返される、すなわちインデックスjがi+3に達するまでと言うことである(ステップ506)。ステップ507において、現在のバンドのレート歪み値J’がレート歪み値Jよりも小さいか否かを決定するためにテストが行われる。現在のバンドのレート歪み値J’がレート歪み値Jよりも小さい場合、レート歪み値Jは現在のバンドのレート歪みJ’の値に設定され、sao_band_positionで示されるバンド位置の値はインデックスiの値に設定される。
これらのステップは4つの連続したクラスのグループの最初のクラスの28の可能な位置について(ステップ508)使用されるバンド位置を決定するために繰り返される。
図6は、SAOループフィルタに従って、一般的には処理される画像の1つのコンポーネントに対応するLCUブロックである、フレームエリアをフィルタリングするための方法のステップを示すフローチャートである。
このようなアルゴリズムはフレームを復号化する復号器において、および次のフレームのための動き推定および補償に使用されるリファレンスフレームを生成する符号器において一般的に実行される。
最初のステップ601において、SAOフィルタリングパラメータが、例えば受信されたビットストリームから取得される。所与のフレームのエリアのために、これらのパラメータは一般的にはテーブル603およびsao_type_idxのパラメータに格納することができる4つのオフセットを備える。後者に応じて、これらのパラメータはSAOバンド位置をさらに備えていてもよい。説明のために、sao_type_idxタイプの取得されたパラメータが5に等しい場合、sao_band_positionタイプの対応するパラメータが次に取得される(602)。前のフレームエリアの対応するパラメータの値の関数として所与のフレームエリアのSAOパラメータの値を決定することを可能にするものとして他のパラメータを取得することができる。sao_type_idxパラメータのための値ゼロのような所与のSAOパラメータの所与値はSAOフィルタリングが適用されないことを示していてもよいことに留意されたい。
ステップ604において、カウンタ変数iは値ゼロに設定される。次に、Nの画素からなる、フレームエリア605の最初の画素Pは前述したようにステップ606で抽出され、エッジオフセット分類またはバンドオフセット分類に従ってステップ607で分類される。
ステップ608において、画素Pがフィルタリングされる画素のクラスに属するか否かを決定するテストが行われる。画素Pがフィルタリングされる画素のクラスに属する場合、その関連するクラス番号jが識別され、その関連するオフセット値Offsetがステップ610でオフセットテーブル603から取得される。次に、ステップ611において、OffsetはP’(612)と呼ばれる新たな画素値を生成するために画素Pの値に加算される。ステップ613において、画素P’は処理されたフレームエリア616内の画素Piを置き換える。一方、画素Pがフィルタリングされる画素のクラスに属していない場合、ステップ613で画素P609はフレームエリア内で変更されないままとなる。
次に、画素Pを処理した後、カウンタ変数iは現在のフレームエリア605の次の画素と同様にフィルタを適用するためにステップ614で1だけインクリメントされる。
ステップ615において現在のフレームエリア605のすべてのN個の画素が処理されたか否かが判断される(i≧N)。はいの場合、図1を参照すること(105を参照)により、処理されるフレームエリア616は再構成されSAO再構成フレームに追加できる。
補償の選択および送信のための公知の方法の欠点は、多数のパラメータが符号器から復号器へ送信されSAOバッファに記憶されなければならないことである。また、これらのパラメータを復号化し処理するために復号器により行われる処理は複雑である。
本発明は上記の問題の1つまたは複数に対処するために考案されている。
本発明によれば、少なくとも一部の画像を構成するために復号されたサンプルに対して、サンプル適応オフセットによるフィルタリング処理を行う方法であって、符号化されたサンプルの第1のクロマコンポーネントおよび第2のクロマコンポーネントを復号するステップと、前記サンプル適応オフセットによるフィルタリング処理に関するパラメータを復号するステップと、前記復号されたサンプル適応オフセットのパラメータに基づいて、前記復号された第1のクロマコンポーネントおよび第2のクロマコンポーネントに対してフィルタリング処理を行うステップと、を有し、前記パラメータが、サンプル適応オフセットループフィルタリング無しを示す場合、前記復号されるパラメータは、前記第1のクロマコンポーネントと第2のクロマコンポーネントとで共有され、前記パラメータが、第1のタイプのサンプル適応オフセットによるフィルタリング処理に関するパラメータである場合、前記復号されるパラメータは、前記第1のクロマコンポーネントと第2のクロマコンポーネントとで共有され、前記パラメータが、前記第1のタイプとは異なる第2のタイプのサンプル適応オフセットによるフィルタリング処理に関するパラメータである場合、前記第1のクロマコンポーネントおよび第2のクロマコンポーネントにそれぞれ専用のパラメータが復号される、ことを特徴とする方法。
本発明による方法の少なくとも一部はコンピュータで実行されてもよい。従って、本発明は、全てハードウェア実施形態、全てソフトウェア実施形態(ファームウェア、常駐ソフトウェア、マイクロコード等を含む)または本明細書にて「回路」、「モジュール」または「システム」として参照されるソフトウェアおよびハードウェアの側面を組み合わせた実施形態の形を取ってもよい。さらに、本発明は媒体内に具現化されたコンピュータ使用可能プログラムコードを有する表現の任意の有形媒体内に具現化されるコンピュータプログラム製品の形を取ってもよい。
本発明はソフトウェアで実現できるので、本発明は任意の適切なキャリア媒体上のプログラム可能な装置に提供するためのコンピュータ可読コードとして具現化できる。有形のキャリア媒体はフロッピー(登録商標)ディスク、CD−ROM、ハードディスクドライブ、磁気テープ装置または固体メモリデバイス等の記憶媒体を含む。一過性(一時的)キャリア媒体は電気信号、電子信号、光信号、音響信号、磁気信号または電磁信号、例えばマイクロ波またはRF信号などの信号を含む。
このように、本発明の第5の態様によれば、プログラム可能な装置のためのコンピュータプログラム製品であって、コンピュータプログラム製品はその中にロードされた際にプログラム可能な装置により実行される本発明の上記第1または第2の態様を具現化する方法の各ステップを実現するための一連の命令を備える。
同様に、本発明の第6の態様によれば、本発明の上記第1または第2の態様を具現化する方法の各ステップを実現するためのコンピュータプログラムの命令を記憶するコンピュータ読み出し可能な記憶媒体が提供される。
本発明の実施形態が、一例として、以下の図面を参照して説明される。
図1は、従来技術のループフィルタ処理のステップを示すフローチャートである。 図2は、従来技術のHEVC処理のサンプル適応バンドオフセット分類をグラフィカルに示す。 図3は、HEVCのSAOバンドオフセットのための補償オフセットを決定するための処理のステップを示すフローチャートである。 図4は、レート歪みの観点からSAOオフセットを選択するための処理を示すフローチャートである。 図5は、HEVCのSAOバンドオフセットのためのSAOバンド位置を決定するための方法のステップを示すフローチャートである。 図6は、SAOループフィルタに従ってフレームエリアをフィルタリングするための方法のステップを示すフローチャートである。 図7は、本発明の1つまたは複数の実施形態が実現されるデータ通信システムを模式的に示すブロック図である。 図8は、本発明の1つまたは複数の実施形態が実現される処理デバイスのコンポーネントを示すブロック図である。 図9は、本発明の実施形態による符号化方法のステップを示すフローチャートである。 図10は、本発明の1つまたは複数の実施形態に沿ったループフィルタリング処理のステップを示すフローチャートである。 図11は、本発明の実施形態による復号化方法のステップを示すフローチャートである。 図12は、適応パラメータセットモードに従ってビットストリームからSAOパラメータを取得するための方法のステップを示すフローチャートである。 図13は、LCUモードに従ってビットストリームからSAOパラメータを取得するための方法のステップを示すフローチャートである。 図14は、ビットストリーム内のSAOパラメータを読み出すための方法のステップを示すフローチャートである。 図15は、現在のフレームエリアを処理するためのループフィルタで使用されるパラメータを決定するための本発明の第1の実施形態による方法のステップを示すフローチャートである。 図16は、現在のフレームエリアを処理するためのループフィルタで使用されるパラメータを決定するための本発明の第1の実施形態による方法のステップを示すフローチャートである。 図17は、第2のコンポーネントに関連付けられたオフセットのミラーリングされた値に対応するコンポーネントに関連付けられたオフセットの値による特定の実施形態を示す。 図18は、バンドオフセット分類を使用するSAOループフィルタを適用する際に、第1のコンポーネントに関連付けられたオフセットの値から、如何に第2のコンポーネントに関連付けられたオフセットの値を取得できるかを示す。 図19は、バンドオフセット分類を使用するSAOループフィルタを適用する際に、第1のコンポーネントXに関連付けられsao_band_positionパラメータの値から第2のコンポーネントZに関連付けられたsao_band_positionパラメータの値を取得する方法を示す図である。 図20は、レート歪み基準に従って2つまたは3つのコンポーネントにより使用される最適なオフセットを決定するための方法のステップを示すフローチャートである。 図21は、2つのコンポーネント間で共有されるSAOバンド位置を決定するための方法のステップを示すフローチャートである。 図22は、本発明の特定の実施形態によるビットストリームを復号化するための方法のステップを示すフローチャートである。 図23は、他のコンポーネントZを同様にフィルタリングする為の1つのコンポーネントXのSAO分類の使用を示す。
図7は本発明の1つまたは複数の実施形態が実現されるデータ通信システムを示す。データ通信システムは、データ通信ネットワーク700を介して、受信装置、この場合クライアント端末702に、データストリームのデータパケットを送信するように動作可能である送信装置、この場合サーバ701を備える。データ通信ネットワーク700はWide Area Network(WAN)またはLocal Area Network(LAN)である。このようなネットワークは、例えば無線ネットワーク(Wifi/802.11aまたはbまたはg)、イーサネット(登録商標)ネットワーク、インターネットネットワークまたはいくつかの異なるネットワークで構成される混合ネットワークであってもよい。本発明の特定の実施形態において、データ通信システムはサーバ701が複数のクライアントに同一のデータコンテンツを送信するデジタルテレビジョン放送システムであってもよい。
サーバ701により提供されるデータストリーム704はビデオおよびオーディオデータを表すマルチメディアデータから構成されてもよい。オーディオおよびビデオデータストリームは、本発明のいくつかの実施形態において、マイクおよびカメラそれぞれを使用してサーバ701によりキャプチャされる。いくつかの実施形態においてデータストリームはサーバ701上に格納されてもよく、または別のデータプロバイダからサーバ701により受信されてもよく、またはサーバ701で生成されてもよい。サーバ701にはビデオおよびオーディオストリームを符号化するための符号器が設けられ、符号器への入力としてデータのよりコンパクトな表現である送信のための圧縮されたビットストリームを提供する。
送信されるデータ量に対する送信されるデータ品質比率を良くするために、ビデオデータの圧縮は、例えばHEVCフォーマットまたはH.264/AVCフォーマットに従ったものであってもよい。
クライアント702は送信されるビットストリームを受信し、表示装置上にビデオ画像をおよびラウドスピーカにより音声データを再生するために再構成されたビットストリームを復号化する。
ストリーミングシナリオは図7の例で考慮されているが、本発明のいくつかの実施形態において符号器および復号器との間のデータ通信は、例えば光ディスク等のようなメディア記憶デバイスを使用して行うことが好ましい。
本発明の1つまたは複数の実施形態において、ビデオ画像は最終画像におけるフィルタリングされた画素を提供するために画像の再構成画素への適用するための補償オフセットを表すデータと共に送信される。
図8は本発明の少なくとも1つの実施形態を実現するように構成された処理デバイス800を模式的に示す。処理デバイス800はマイクロコンピュータ、ワークステーションまたは軽量ポータブル機器等のようなデバイスであってもよい。デバイス800は、通信バス813を備え、
CPUと表記される、マイクロプロセッサ等のような中央処理ユニット811と、
ROMと表記される、本発明を実施するためのコンピュータプログラムを記憶するための読み出し専用メモリ807と、
RAMと表記される、本発明の実施形態によるデジタル画像のシーケンスを符号化する方法、および/またはビットストリームを復号化する方法を実施するために必要な変数およびパラメータを記録するように構成されたレジスタだけでなく、本発明の実施形態の方法の実行可能なコードを記憶するためのランダムアクセスメモリ812と、
処理されるデジタルデータが送信または受信される通信ネットワーク803に接続される通信インターフェイス802と、
接続される。
必要に応じて、装置800はまた以下のコンポーネントを含んでいてもよい。
本発明の1つまたは複数の実施形態の方法を実施するためのコンピュータプログラム、および本発明の1つまたは複数の実施形態の実施中に使用されるまたは作製されるデータを格納するためのハードディスク等のようなデータ記憶手段804と、
ディスクドライブはディスク806からデータを読み出す、または前記ディスク上にデータを書き込むように構成されている、ディスク806用のディスクドライブ805と、データを表示するおよび/またはキーボード810または任意の他のポインティング手段によりユーザとのグラフィカルインターフェイスとして機能する画面809。
装置800は、例えばデジタルカメラ820またはマイク808等などのような様々な周辺機器に接続できる。それらは入力/出力カード(図示せず)に接続され、装置800にマルチメディアデータを供給する。
通信バスは装置800に含まれるか、またはそれに接続された様々な要素間の通信および相互運用性を提供する。バスの表現は限定されず、特に中央処理ユニットは直接装置800の任意の要素に、または装置800の他の要素を用いて命令を通信するように動作可能である。
ディスク806は、例えばコンパクトディスク(CD−ROM)、書き換え可能または不可な、ZIPディスクまたはメモリカード等の任意の情報媒体により置き換えることができる。また、一般的な用語では、マイクロコンピュータによりまたはマイクロプロセッサにより読み出すことができる、装置内に統合化されたまたはそうではない、またリムーバブルでも良く、そして実行することにより本発明によるデジタル画像のシーケンスを符号化する方法および/またはビットストリームを復号化する方法を実現可能にする1つまたは複数のプログラムを記憶するように構成される情報記憶手段により、置き換えることができる。
実行可能コードは読み出し専用メモリ807内、ハードディスク804上または前述の例えばディスク806等のようなリムーバブルデジタル媒体上のいずれかに格納されてもよい。変形例によれば、プログラムの実行可能コードは、実行される前に装置800のハードディスク804等のような記憶手段の1つに格納するために、インターフェイス802を介して、通信ネットワーク803によって受信できる。
中央処理ユニット811は本発明による命令またはプログラムまたはプログラム群のソフトウェアコードの一部の実行を制御し指示するように構成され、命令は前記記憶手段のいずれかに格納される。電源投入されると、不揮発性メモリ内、例えばハードディスク804上または読み出し専用メモリ807、に格納されたプログラムまたはプログラム群はランダムアクセスメモリ812内に転送される。そして、その場合、ランダムアクセスメモリ812はプログラムまたはプログラム群の実行可能コードを含むことになる。また、本発明を実現するために必要な変数およびパラメータを格納するためのレジスタにも転送する。
本実施形態において、装置は本発明を実施するためのソフトウェアを使用するプログラム可能な装置である。しかしながら、代替的には、本発明はハードウェア内に実装されてもよい(例えば、特定用途向け集積回路またはASICの形態で)。
図9は本発明の少なくとも1つの実施形態による符号器900のブロック図を示す。符号器は接続されるモジュールにより表され、各モジュールは、例えばデバイス800のCPU811により実行されるプログラミング命令の形態で実施するように構成されており、方法の少なくとも1つの対応するステップが本発明の1つまたは複数の実施形態による画像シーケンスの画像を符号化する少なくとも1つの実施形態を実施する。
デジタル画像i0からin901までのオリジナルのシーケンスは符号器900により入力として受信される。各デジタル画像は画素として知られているサンプルのセットにより表される。
ビットストリーム910は符号化処理の実施後に符号器900により出力される。ビットストリーム910は複数の符号化ユニットまたはスライスを有し、各スライスはスライス本体およびスライス本体を符号化するために使用される符号化パラメータの符号化値を送信するためのスライスヘッダを有し、符号化されたビデオデータを含む。
入力デジタル画像i0からin901はモジュール902により画素のブロックに分割される。ブロックは画像部分に対応し、可変サイズ(例えば、4×4、8×8、16×16、32×32、64×64画素)であってもよい。符号化モードは各入力ブロックごとに選択される。符号化モードの2つのファミリが提供される:空間的予測符号化に基づいた符号化モード(イントラ予測)、および時間的予測に基づいた符号化モード(インター符号化、マージ、スキップ)。可能な符号化モードがテストされる。
モジュール903はイントラ予測処理を実施する。その時、符号化される所与のブロックは、符号化される前記ブロックの近傍の画素から計算される予測子により予測される。選択されたイントラ予測子および所与のブロックとその予測子との間の差分の表示はイントラ符号化が選択された場合の残差を提供するように符号化される。
時間的予測は動き推定モジュール904および動き補償モジュール905により実施される。初めに、リファレンス画像916のセットの中からリファレンス画像が選択され、符号化される所与のブロックに最も近いエリアである、リファレンスエリアまたは画像部分とも呼ばれる、リファレンス画像の一部は動き推定モジュール904により選択される。動き補償モジュール905は次に選択されたエリアを使用して符号化されるブロックを予測する。残差ブロックとも呼ばれる、選択されたリファレンスエリアおよび所与のブロックとの間の差分は動き補償モジュール905により計算される。選択されたリファレンスエリアは動きベクトルにより示される。
このようにどちらの場合においても(空間的および時間的予測)、残差は元のブロックから予測を減算することにより計算される。
モジュール903により実施されるイントラ予測において、予測方向が符号化される。時間的予測において、少なくとも1つの動きベクトルが符号化される。
インター予測が選択された場合、動きベクトルおよび残差ブロックに対する情報が符号化される。ビットレートをさらに減少させるために、動きが均一であると仮定して、動きベクトルは動きベクトル予測子に関する差分により符号化される。動き情報予測子のセットの動きベクトル予測子は動きベクトル予測および符号化モジュール917により動きベクトル場918から取得される。
符号器900は、レート歪み基準等のような、符号化コスト基準を適用することにより符号化モードの選択をするための選択モジュール906をさらに備える。冗長性をさらに低減するために、変換(DCT等のような)が変換モジュール907により残差ブロックに適用され、取得された変換されたデータは次に量子化モジュール908により量子化され、エントロピー符号化モジュール909によりエントロピー符号化される。最後に、符号化されている現在のブロックの符号化された残差ブロックはビットストリーム910に挿入される。
符号器900はまた後続画像の動き推定のためのリファレンス画像を生成するために符号化画像の復号化を行う。これにより符号器および復号器が同じリファレンスフレームを有するビットストリームを受信することを可能となる。逆量子化モジュール911は量子化データの逆量子化を行い、その後逆変換モジュール912による逆変換を行う。逆イントラ予測モジュール913は予測情報を使用して、どの予測子を所与のブロックに使用するかを決定すし、逆動き補償モジュール914はリファレンス画像916のセットから取得されたリファレンスエリアにモジュール912により取得された残差を実際に加算する。
ポストフィルタリングは次に画素の再構成されたフレームをフィルタリングするためにモジュール915により適用される。本発明の実施形態においてSAOループフィルタが使用され、補償オフセットが再構成される画像の再構成される画素の画素値に加算される。
図10は本発明の少なくとも1つの実施形態によるループフィルタリング処理のステップを示すフローチャートである。最初のステップ1001において、符号器はフルフレームの再構成を生成する。次に、ステップ1002においてデブロッキング再構成を生成するために1003デブロッキングフィルタがこの第1の再構成に適用される。デブロッキングフィルタの目的は残差量子化およびブロック動き補償またはブロックイントラ予測により発生したブロックアーチファクトを除去することである。これらのアーチファクトは低ビットレートで視覚的に重要である。デブロッキングフィルタは2つの隣接ブロックの特性に応じてブロック境界を平滑化するように動作する。各ブロックの符号化モード、残差コーディングに使用される量子化パラメータ、および境界における隣接画素差分が考慮される。同じ基準/分類がすべてのフレームに適用され、追加データは送信されない。デブロッキングフィルタはブロッキングアーチファクトを除去することにより現在のフレームの視覚的品質を改善し、それはまた後続のフレームのための動き推定および動き補償をも改善する。実際に、ブロックアーチファクトの高周波数が除去され、それ故これらの高周波数は次のフレームのテクスチャ残差で補償される必要はない。
デブロッキングフィルタの後で、画素の分類に基づいてステップ1004においてサンプル適応オフセット(SAO)ループフィルタによりデブロッキングされた再構成がフィルタリングされる。表示され次のインターフレームのためのリファレンスフレームとして使用される再構成フレーム1007を生成するために、結果としてのフレーム1005が、ステップ1006において適応ループフィルタ(ALF)で次にフィルタリングされてもよい。
ステップ1004においてフレームエリアの各画素はその画素値に従って決定された分類クラスに分類される。クラスは画素値の所定範囲に対応する。同じ補償オフセット値が画素値の所定の範囲内の画素値を有するすべての画素の画素値に加算される。
サーバおよびクライアントとの間で交換されるおよび/またはサンプル適応オフセットフィルタリングのための画素を復号化するためにローカルまたはリモートに格納されるSAOパラメータの符号化および/または復号化が、図12から23のいずれ1つを参照して以下に詳細に説明される。
図11は本発明の実施形態による符号器からデータを受信するために使用されうる復号器1100のブロック図を示す。復号器は接続されているモジュールにより表され、各モジュールは、例えばデバイス800のCPU811により実行されるプログラミング命令の形態で、復号器1100により実施される方法の対応するステップを実施するように構成される。
復号器1100は、符号化ユニットを含むえるビットストリーム1101を受信する。各符号化ユニットは、符号化パラメータの情報を含むヘッダと符号化されたビデオデータを含む本体で構成されている。図9に関して説明したように、符号化されたビデオデータはエントロピー符号化され、動きベクトル予測子インデックスは所与のブロックに対して所定数のビットに基づいて符号化される。受信された符号化されたビデオデータはモジュール1102によりエントロピー復号化される。残差データは次にモジュール1103により逆量子化され、次に画素値を取得するために、逆変換がモジュール1104により適用される。
符号化モードを示すモードデータもまたエントロピー復号化され、モードに基づいて、イントラタイプ復号化またはインタータイプ復号化が画像データの符号化ブロック上で実行される。
イントラモードの場合、イントラ予測子はビットストリーム内で指定されるイントラ予測モードに基づいてイントラ逆予測モジュール1105により決定される。
インターモードの場合、動き予測情報は符号器により使用されるリファレンスエリアを見つけるようにビットストリームから抽出される。動き予測情報はリファレンスフレームインデックスおよび動きベクトル残差から構成される。動きベクトル予測子は動きベクトル復号化モジュール1110により動きベクトルを取得するために動きベクトル残差に加算される。
動きベクトル復号化モジュール1110は動き予測により符号化される現在のブロック各々に対して動きベクトル復号化を適用する。一旦現在のブロックのための動きベクトル予測子のインデックスが取得されると、現在のブロックに関連する動きベクトルの実際の値は、モジュール1106により逆動き補償を適用するために復号化され、使用することができる。復号化された動きベクトルにより指示されるリファレンス画像部分は逆動き補償1106を適用するためにリファレンス画像1108から抽出される。動きベクトル場データ1111は後続の復号化された動きベクトルの逆予測に使用されるために復号化された動きベクトルで更新される。
最後に、復号化されたブロックが取得される。ポストフィルタリングは、図9を参照して説明したように符号器で適用されるポストフィルタリングモジュール915と同様に、ポストフィルタリングモジュール1107により適用される。復号化されたビデオ信号1109は復号器1000により最終的に提供される。
図12は適応パラメータセット(APS)モードに従ってビットストリームからSAOパラメータを取得するための方法のステップを示すフローチャートである。従って、図12は、適応パラメータセットモードがフレームエリアごとにSAOパラメータの単一のセットを関連付けるために使用される際に、SAOパラメータがビットストリーム内に保存される方法を示す。このモードによれば、SAOパラメータのセットは、サイズが最大のコーディングユニット(LCU)のサイズの倍数である矩形枠エリアに対して有効である。この特定のモードのためのフレームのすべてのSAOパラメータを格納するためのビット量を低減するために、ランレングス符号化技術が上記フレームエリアからの予測フラグと同様に使用される。
HEVCの現在の仕様で実行されたAPSモードによれば、SAOループフィルタリングが所与のピクチャのコンポーネントが有効になっているか否かを示すフラグが存在する。これは、例えばYUV方式に従って符号化されたピクチャを考慮する場合、UまたはVコンポーネントのためのSAOパラメータを有効または無効にすることができることを意味する。
このようなフラグは最初のステップ1201で読み出される。次に、ステップ1202においてSAOパラメータのセットが適用されるフレームエリアのサイズが取得される。上述したように、APSモードを使用する際にSAOループフィルタリングが適用されなければならないフレームエリアは、LCUサイズに等しいかまたはLCUサイズの倍数サイズに対応するエリアに対応する。
次に、ループがXと表記されるシーケンスの各色コンポーネントを連続して扱うためにステップ1203で起動される。このループで、ステップ1204で実行される各コンポーネントの「単一性」フラグを読み出すことができる。次に、読み出した「単一性」フラグが真であるか否かを判断するためにステップ1205でテストが実行される。読み出した「単一性」フラグが真でならば、画像全体に対する現在の処理されたコンポーネントXに関する1つの単一SAOパラメータセットのみが存在する。このような場合には、SAOパラメータはステップ1206で、ビットストリーム内で、読み出される。このようなステップは図14を参照して詳細に説明される。一方、読み出された「単一性」フラグが真ではない場合、現在の処理されたコンポーネントXに関する画像全体のためのSAOパラメータが複数存在する。このような場合には、SAOパラメータはステップ1208から1218を参照して説明されるように次のステップにおいて読み出される。
次に、現在の処理されるコンポーネントXが処理される最後のコンポーネントであるか否かを判断するためにステップ1207でテストが行われる。現在の処理されるコンポーネントXが処理される最後のコンポーネントならば、アルゴリズムはステップ1203に分岐され、前のステップが残っているコンポーネントに対して繰り返される。
1つのコンポーネントに対して「単一性」フラグが真ならば、ステップ1208から1218はそのコンポーネントに対して実行されないことに留意すべきである。
ステップ1208から、SAOパラメータはコンポーネントごとに複数のSAOパラメータのセットが存在する際には、各フレームエリアおよび各コンポーネント毎に決定される。
ステップ1202で決定されたフレームエリアサイズに従って処理される所与のピクチャの各フレームエリアを連続的に扱うためにステップ1208で、ループは起動される。図12の所与の例において、処理が画像のフレームエリアの最初の行から開始し、画像の最後の行まで続くことにより、フレームエリアはラスタスキャン順に処理される。フレームエリアは画像の左側から右側に向かって処理される。
次に、別のループが、Xと表記される各コンポーネントを連続的に扱うためにステップ1209で起動される。ステップ1201で読み出した現在のコンポーネントの「有効」フラグが偽ならば、関係しているコンポーネントのための次のステップはステップ1209で無視され、次のコンポーネントが処理されるように選択されることをここでは注意すべきである。ステップ1210において「リピート行フラグ」が読み出される。次に、ステップ1211においてそのフラグが真であるか否かを判断するためにテストが実行される。それが真ならば、フレームエリアの前の行のSAOパラメータはフレームエリアの現在の行のために使用される。これにより、現在の行が前の行と同じパラメータを使用することを単に信号で伝えることによりビットストリーム内のSAOパラメータを表す多くのビットを節約できる。
一方、読み出された「リピート行フラグ」が偽ならば、現在のフレームエリアはビットストリーム内で符号化されステップ1213へアルゴリズムは分岐される。ステップ1213において、予測技法(ランレングス符号化または上記フレームエリアのSAOパラメータの値を使用する)が現在の行内の前のフレームのエリアに関連付けられたSAOパラメータを符号化して表すために使用されるか否かを判断するためのテストが行われるその場合、現在のフレームエリアのSAOパラメータは現在の行内でステップ1214において前のフレームエリアから推定される。具体的には、2つの構文要素が使用される:SAOパラメータがランレングス法に従って符号化されるか、または上記フレームエリアのSAOパラメータから推定されるかを、それぞれ示すsao_run_diffおよびsao_merge_up_flagである。一方、答えがステップ(1213)において否定ならば、この特定のフレームエリアのためのSAOパラメータがビットストリーム内で明示的に符号化される。従って、これらのSAOパラメータはステップ1215でビットストリームから読み出される。このステップは1206と同様であり、図14を参照してさらに説明される。
ステップ1212に続いて、SAOパラメータが行全体について決定される際に、現在のコンポーネントが処理される最後のコンポーネントであるか否かを判断するためにステップ1216において、テストが行われる。それが処理される最後のコンポーネントではない場合、アルゴリズムは次のコンポーネントを処理するためにステップ1209へ分岐される。同様に、SAOパラメータがステップ1214またはステップ1215のいずれかの実行により現在のフレームエリアのために決定される際に、アルゴリズムは現在のコンポーネントが処理される最後のコンポーネントであるか否かを判断するためにステップ1216に分岐される。再度、それが処理される最後のコンポーネントではない場合、アルゴリズムは次のコンポーネントを処理するためにステップ1209に分岐される。
一方、すべてのコンポーネントが処理された場合、最後のフレームエリアが処理されたか否かを判断するためにステップ1217でテストが行われる。最後のフレームエリアが処理されていない場合、処理はステップ1208に分岐され、前のステップが繰り返される。そうでなければ、処理は終了する。
この段階では、図14を参照して提示される異なるパラメータでSAOパラメータのセットは各フレームエリアおよび各コンポーネントに関連付けられる。
図13はLCUモードに従ってビットストリームからSAOパラメータを取得するための方法のステップを示すフローチャートである。したがって、図13はSAOパラメータをAPSモードに符号化するための代替を示す。より具体的には、図13は、最大符号化ユニット(LCU)モード表現がLCUごとのSAOパラメータの単一のセットを関連付けるために使用される際に、SAOパラメータがビットストリーム内に格納される方法を示す。コストのかかる、LCUごとのSAOパラメータの1つのセットを符号化することを回避するために、予測的なスキームが使用される。所与の例において、この予測的なモードは現在のLCUの左側に位置するLCUが同じSAOパラメータを使用した場合にチェックすることにある。そうでない場合、第2のチェックが現在のLCUの上方に位置するLCUで行われる。この予測的な手法によりLCUモードのためのSAOパラメータを表現するデータの量を削減することができる。これはマージフラグと呼ばれる専用フラグの使用に基づく。
ステップ1301においてXと表記される各コンポーネントを連続して扱うためにループが起動される。説明のために、画像はYUV方式に従って依然として符号化されているものとする。次に、ステップ1303においてsao_merge_left_flag_Xと表記されるフラグ(XはY、UまたはVを表す)が処理され、復号化されるビットストリーム1302から読み出される。その値が真ならば、現在のLCUの左側に位置するLCUのSAOパラメータは現在のLCUを処理するために使用されるようにステップ1304で選択される。より具体的には、これにより現在のLCUに適用されるSAOループフィルタのタイプのステップ1308での決定が可能となる。
一方、sao_merge_left_flag_Xと表記される読み出しフラグが偽ならば、sao_merge_up_flag_Xと表記されるフラグ(XはY、UまたはVを表す)がビットストリーム1302から読み出され、復号化される。その値が真ならば、現在のLCUの上方に位置するLCUのSAOパラメータは現在のLCUを処理するために使用されるようにステップ1306で選択される。再度、これにより現在のLCUに適用されるSAOループフィルタのタイプのステップ1308での決定が可能となる。
一方、sao_merge_up_flag_Xと表記される読み出しフラグが偽ならば、現在のLCUを処理するために使用されるSAOパラメータはステップ1307でビットストリーム1302から読み出され復号化される。後者は図14を参照して説明される。
この段階では、現在のLCUを処理するためのSAOパラメータが取得され、現在のLCUに適用されるSAOループフィルタのタイプがステップ1308で決定される。
次に、ステップ1309においてすべてのコンポーネントY、UおよびVが現在のLCUのために処理されたか否かを判断するためにテストが行われる。すべてのコンポーネントが処理されたわけではない場合、次のコンポーネントが選択され、アルゴリズムはステップ1301に分岐され、前のステップが繰り返される。
次に、次のLCUは同様に処理されることができる。
図14はビットストリーム内のSAOパラメータを読み出すための方法のステップを示すフローチャートである。従って、図14はSAOパラメータが符号化ビットストリーム内に保存される方法を示す。
最初のステップ1402において、sao_type_idx_Xと表記されるフラグ(XはY、U、またはVを表す)がビットストリーム1401から読み出され、復号化される。この構文要素を表す符号語は固定長符号または算術符号化の任意の方法を使用することができる。
別表の表1を参照して上述したように、この構文要素によりコンポーネントXを処理するためにフレームエリア上で適用されるSAOループフィルタのタイプを決定することができる。所与の例によれば、フラグsao_type_idx_X(または一般的にsao_type_idx)は適用されるSAOループフィルタに依存する5つの値の1つを取ることができる。別表の表1で述べたように、0はSAOループフィルタに対応せず、1から4は別表の表2を参照して説明したようにエッジオフセットSAOループフィルタの4つの分類に対応し、値5はバンドオフセットSAOループフィルタに対応する。
フラグsao_type_idx_Xを読み出し復号化した後、このインデックスの値が厳密に正であるか否かを判断するためにステップ1402でテストが行われる。このインデックスの値がゼロに等しい場合、SAOループフィルタは現在のフレームのエリアに適用されないことを意味し、SAOパラメータの決定はステップ1407で終了する。一方、フラグsao_type_idx_Xの値が厳密に正であれば、SAOパラメータは現在のフレームエリアのためにビットストリーム1401内に存在する。
次に、適用されるSAOループフィルタのタイプがバンドオフセットタイプ(sao_type_idx_X==5)であるか否かを判断するためにステップ1403でテストが行われる。適用されるSAOループフィルタがバンドオフセットタイプならば、SAOバンドの位置がステップ1404でビットストリーム1401内にて読み出され、復号化される。
SAOバンドの位置がステップ1404で読み出された後、ステップ1406でビットストリーム1401からの4つのOffset(jは1から4まで変化)を読み出し、復号化するためにステップ1405で、ループが起動される。これら4つのオフセットは図2を参照して説明したようにSAOバンドオフセットの4つの範囲に関連する4つのオフセットに対応する。
同様に、フラグsao_type_idx_Xの値が正であり且つ5とは異なる場合、ビットストリーム1401から4つのOffset(jは1から4まで変化)を読み出し、復号化するためにステップ1405でループが起動される。これら4つのオフセットは別表の表2を参照して説明したようにSAOエッジオフセットの4つのタイプの4つのオフセットに対応する。
4つのオフセットがステップ1406で読み出され、復号化された際には、SAOパラメータの読み出しはステップ1407で終了する。
第1の主要な実施形態によれば、一部またはすべてのSAOパラメータがコンポーネント間で共有される。そのために、1つのコンポーネントから別のものへのSAOパラメータを導出するために処理が定義される。コンポーネント間のこのような依存関係は2種類のSAO分類(エッジおよびバンドオフセット)のために定義できる。
図13を参照して以前に説明したように、sao_merge_left_flag_Xおよびsao_merge_up_flag_Xと表記される2つのフラグが、以前に処理されたSAOパラメータの関数としてSAOパラメータを取得するために、LCUモードのためのHEVCの現在の実行で使用される。sao_merge_left_flag_Xと表記されるフラグは、現在のLCUのコンポーネントXを処理するのに使用されるSAOパラメータが、現在のLCUの左側に位置するLCUの同じコンポーネントを処理するために使用されることを特定することを目的とする。同様に、sao_merge_up_flag_Xと表記されるフラグは、現在のLCUのコンポーネントXを処理するのに使用されるSAOパラメータが現在のLCUの上方に位置するLCUの同じコンポーネントを処理するために使用されることを特定することを目的とする。
特定の実施形態によれば、これらのフラグは現在のLCUの2つまたは3つのコンポーネントについて共通である。換言すれば、sao_merge_left_flagおよびsao_merge_up_flagタイプのフラグは現在のLCUのコンポーネントを処理するのに使用されるSAOパラメータが別のLCUの同じコンポーネントを処理するのに使用されることを指定するが、現在のLCUの2つまたは3つのコンポーネントを処理するのに使用されるSAOパラメータが別のLCUの同じ2つから3つのコンポーネントを処理するのに使用されることを指定することにもはや使用されない。説明のために、sao_merge_left_flag_UVおよびsao_merge_up_flag_UVと表記されるフラグは現在のLCUのUおよびVコンポーネントを処理するのに使用されるSAOパラメータが現在のLCUの左側または上方に位置するLCUのUおよびVコンポーネントをそれぞれ処理するために使用されることを指定すると考えることができる。
別の特定の実施形態によれば、フラグは現在のLCUの2つまたは3つのコンポーネントを処理するのに使用されるSAOパラメータが別のLCUのコンポーネントを処理するのに使用されることを指定するために使用される。結果として、現在のLCUのコンポーネントに関連付けられたフラグは、左側または上方のどちらのLCUがリファレンスとして使用されるかを、およびそのLCUの中で、コンポーネントのどちらがSAOパラメータを取得するために使用されるかを示すことができる。したがって、フラグは以下のようであってもよい:sao_merge_left_flag_Y、sao_merge_left_flag_U、sao_merge_left_flag_V、sao_merge_up_flag_Y、sao_merge_up_flag_U、およびsao_merge_up_flag_Vである。説明のために、フラグsao_merge_left_flag_Vを参照する現在のLCUのコンポーネントのSAOパラメータは現在のLCUの左側に位置するLCUのコンポーネントVに関連付けられたSAOパラメータである。
この実施形態において、LCUの各コンポーネントに関連付けられたSAOパラメータはそれら別のLCUを参照する際に同一であることが好ましい(このLCUの各コンポーネントについて)。説明のために、コンポーネントがフラグsao_merge_left_flag_Vを参照する現在のLCUのすべてのコンポーネントのSAOパラメータは現在のLCUの左側に位置するLCUのコンポーネントVに関連付けられたSAOパラメータである。従って、左輝度(Y)コンポーネントのSAOパラメータは現在のLCUのクロマ(U)コンポーネントをフィルタリングするために使用できる。
図15は現在のフレームエリアを処理するためのループフィルタ内で使用されるパラメータを決定するための本発明の第1の実施形態による方法のステップを示すフローチャートである。図15に挙げられた例は本明細書で上述した2つの特定の実施形態の組み合わせとして見ることができる。
ステップ1502においてsao_merge_left_flag_Yと表記されるフラグがビットストリーム1501から取得され、このフラグの値が1に等しいか否かを判断するためにテストが行われる(すなわち、それが真ならば)。sao_merge_left_flag_Yと表記されるフラグが真ならば、現在のLCUのコンポーネントY、U、およびVをフィルタリングするために使用されるSAOパラメータが現在のLCUの左側に位置するLCU内のコンポーネントYをフィルタリングするために予め決定されたものに等しいとステップ1503で決定される。
従って、現在のLCUのコンポーネントUおよびVに適用されるループフィルタのタイプを定義する、現在のLCUのフラグsao_type_idx_Uおよびsao_type_idx_Vの値は、現在のLCUの左側に位置するLCUのフラグsao_type_idx_Yのそれに等しいと考えられる。同じように、現在のLCUのコンポーネントUおよびVをフィルタリングするために使用される他のSAOパラメータ、例えばオフセット値、および必要に応じて、バンド位置(sao_band_position_Uおよびsao_band_position_V)は、現在のLCUの左側に位置するLCUのコンポーネントYから取得される。
一方、sao_merge_left_flag_Yと表記されるフラグが偽ならば、sao_merge_up_flag_Yと表記されるフラグはビットストリーム1501から取得され、このフラグの値が1に等しいか否か(すなわち、それが真ならば)を判断するためにステップ1504でテストが行われる。sao_merge_up_flag_Yと表記されるフラグが真ならば、現在のLCUのコンポーネントY、U、およびVをフィルタリングするために使用されるSAOパラメータが現在のLCUの上方に位置するLCU内のコンポーネントYをフィルタリングするために予め決定されたSAOパラメータと同じであることがステップ1505で判断される。
従って、現在のLCUのコンポーネントUおよびVに適用されるループフィルタのタイプを定義する、現在のLCUのフラグsao_type_idx_Uおよびsao_type_idx_Vの値は、現在のLCUの上方に位置するLCUのフラグsao_type_idx_Yのそれに等しいと考えられる。同じように、現在のLCUのコンポーネントUおよびVをフィルタリングするために使用される他のSAOパラメータ、例えばオフセット値と必要に応じて、バンド位置(sao_band_position_Uおよびsao_band_position_V)が、現在のLCUの上方に位置するLCUのコンポーネントYのそれらから取得される。
一方、sao_merge_up_flag_Yと表記されるフラグが偽ならば、現在のLCUのコンポーネントYのためのSAOパラメータは、図14を参照することにより、上述したようにステップ1511でビットストリーム1501から抽出される。この場合、フラグsao_type_idx_Y、sao_band_position_Y(必要なら)、および4つのoffsetj_Yの値はビットストリーム1501から抽出される。
次に、sao_merge_up_flag_Yと表記されるフラグが偽ならば、ステップ1506においてsao_merge_left_flag_UVと表記されるフラグがビットストリーム1501から取得され、このフラグの値が1に等しいか否か(すなわち、それが真ならば)を判断するためにテストが行われる。sao_merge_left_flag_UVと表記されるフラグが真ならば、現在のLCUのコンポーネントUおよびVをフィルタリングするために使用されるSAOパラメータが現在のLCUの左側に位置するLCU内でコンポーネントUおよびVをそれぞれフィルタリングするために予め決定されたそれらに等しいとステップ1507で決定される。
一方、sao_merge_left_flag_UVと表記されるフラグが偽ならば、sao_merge_up_flag_UVと表記されるフラグはビットストリーム1501から取得され、このフラグの値が1に等しいか否か(すなわち、それが真ならば)を判断するためにステップ1508でテストが行われる。sao_merge_up_flag_UVと表記されるフラグが真ならば、現在のLCUのコンポーネントUおよびVをフィルタリングするために使用されるSAOパラメータが、現在のLCUの上方に位置するLCU内でコンポーネントUおよびVをそれぞれフィルタリングするために予め決定されたSAOパラメータに等しいとステップ1509で決定される。
一方、sao_merge_up_flag_UVと表記されるフラグが偽ならば、現在のLCUのコンポーネントUおよびVのためのSAOパラメータは図14を参照することにより、上述したようにステップ1510でビットストリーム1501から抽出される。この場合、フラグsao_type_idx_U、sao_type_idx_V、sao_band_position_U(必要な場合)、sao_band_position_V(必要な場合)、4つのoffsetj_U、および4つのoffsetj_Vの値はビットストリーム1501から抽出される。この段階で(1512を参照)、現在のLCUのすべてのコンポーネントのためのすべてのSAOパラメータが利用可能である。
次に、ステップ1513においてSAOループフィルタは現在のLCUのすべてのコンポーネントに適用され、復号化処理は次の復号化ステップ1314に進む。
さらに特定の実施形態によれば、現在のLCUのすべてのコンポーネントに共通のフラグ、例えばsao_merge_left_flag_YUVおよびsao_merge_up_flag_YUVフラグを使用できる。この場合、両方のフラグが偽であるならば、一般的にsao_merge_left_flag_Xおよびsao_merge_up_flag_X(XはY、U、またはVを表す)と呼ばれる、各コンポーネントを対象にしたフラグを使用できる。
図16は現在のフレームエリアを処理するためのループフィルタ内で使用されるパラメータを決定するための本発明の第1の実施形態による方法のステップを示すフローチャートである。図16に挙げられた例は、本明細書で上述された第3の特定の実施形態へより具体的に向けられる。
ステップ1602においてsao_merge_left_flag_YUVと表記されるフラグが、ビットストリーム1601から取得されこのフラグの値が1に等しいか否か(すなわち、それが真ならば)を判断するためにテストが行われる。sao_merge_left_flag_YUVと表記されるフラグが真ならば、現在のLCUのコンポーネントY、U、およびVをフィルタリングするために使用されるSAOパラメータが現在のLCUの左側に位置するLCU内でコンポーネントY、U、およびVをそれぞれフィルタリングするために予め決定されたSAOパラメータと等しいとステップ1603で決定される。
従って、現在のLCUのコンポーネントY、U、およびVに適用されるループフィルタのタイプを定義する、現在のLCU用のフラグsao_type_idx_Y、sao_type_idx_U、およびsao_type_idx_Vの値は、現在のLCUの左側に位置するLCUの対応するフラグの値に等しいと考えられる。同様に、現在のLCUのコンポーネントY、UおよびVをフィルタリングするために使用される他のSAOパラメータは、現在のLCUの左側に位置するLCUの対応するコンポーネントのSAOパラメータから取得される。
一方、sao_merge_left_flag_YUVと表記されるフラグが偽ならば、sao_merge_up_flag_YUVと表記されるフラグがビットストリーム1601から取得され、このフラグの値が1に等しいか否か(すなわち、それが真ならば)を判断するためにステップ1604でテストが行われる。sao_merge_up_flag_YUVと表記されるフラグが真でならば、現在のLCUのコンポーネントY、UおよびVをフィルタリングするために使用されるSAOパラメータが現在のLCUの上方に位置するLCU内でコンポーネントY、UおよびVをそれぞれフィルタリングするために予め決定されたSAOパラメータと等しいとステップ1605で決定される。
一方、sao_merge_up_flag_YUVと表記されるフラグが偽ならば、SAOパラメータが以前に処理されたSAOパラメータの関数として取得するか否かを判断するために、現在のLCUの各コンポーネントに関連付けられたフラグが復号化される。
そのために、現在のLCUの各コンポーネントを順次処理するためにステップ1606でループが起動される。各コンポーネントX毎に(XはY、U、またはVに等しい)、sao_merge_left_flag_Xと表記されるフラグがビットストリーム1601から抽出され、このフラグの値が1に等しいか否か(すなわち、それが真ならば)を判断するためにテストがステップ1607で行われる。sao_merge_left_flag_Xと表記されるフラグが真ならば、現在のLCUのコンポーネントXをフィルタリングするために使用されるSAOパラメータが現在のLCUの左側に位置するLCU内の同じコンポーネントをフィルタリングするために予め決定されたSAOパラメータと等しいとステップ1608で決定される。
一方、sao_merge_left_flag_Xと表記されるフラグが偽ならば、sao_merge_up_flag_Xと表記されるフラグがビットストリーム1601から取得され、このフラグの値が1に等しいか否か(すなわち、それが真ならば)を判断するためにテストが、ステップ1609で行われる。sao_merge_up_flag_Xと表記されるフラグが真ならば、現在のLCUのコンポーネントXをフィルタリングするために使用されるSAOパラメータが現在のLCUの上方に位置するLCU内の同じコンポーネントをフィルタリングするために予め決定されたSAOパラメータと等しいとステップ1610で決定される。
一方、sao_merge_up_flag_Xと表記されるフラグが偽ならば、現在のLCUのコンポーネントXのSAOパラメータがステップ1611でビットストリーム1601から抽出される。
次に、現在のLCUのコンポーネントXのためのSAOパラメータを取得した後、ステップ1612においてコンポーネントXがコンポーネントVであるか否かを判断するためにテストが行われる。コンポーネントXがコンポーネントVでないならば、処理は次のコンポーネントを処理するためにステップ1606に分岐される。一方、コンポーネントXがコンポーネントVならば、ステップ1613でSAOパラメータが復号化され現在のLCUのすべてのコンポーネントで利用可能である。
次に、ステップ1614において現在のLCUのコンポーネントが取得されたSAOパラメータを使用してSAOループフィルタ内でフィルタリングされ、復号器はステップ1615で次の復号化ステップに進む。
図15および図16を参照して説明した実施形態は図13を参照して説明したLCU構文に基づくことに留意すべきである。しかしながら、これらの実施形態はまた図12を参照して説明したようにAPSのためのSAO構文にも基づくことができる。その特定の場合において、コンポーネント間で共有されたパラメータは、単一性と表記されるフラグおよびsao_run_diffおよびsao_merge_up_flagと表記される繰り返し行および構文要素と同様にSAOパラメータである。
上述したように、特に別表の表1を参照することにより、構文要素または現在のLCUの現在のコンポーネントを指定するsao_type_idxと表記されるフラグは、その値がゼロに等しい際には処理されない。そうでなければ、SAOタイプを指定する。フラグsao_type_idxの値が1、2、3、または4に等しい場合、エッジオフセット分類が現在のLCUをフィルタリングするために使用され、フラグsao_type_idxの値が5に等しい場合、SAOバンドオフセットが現在のLCUをフィルタリングするために使用される。
上述した本発明の実施形態によれば、sao_type_idxと表記されるこのようなフラグは2つまたは3つのコンポーネント間で共有することができる。
別の特定の実施形態において、コンポーネントはsao_type_idxと表記されるフラグのいくつかの値のみを共有することができる。換言すれば、第2のコンポーネントは、この値が値の所定のセットに属する場合にのみ、第1のコンポーネントのsao_type_idxと表記されるフラグの値を共有する。したがって、本実施形態によれば、sao_type_idxと表記されるフラグの値が条件付きで共有される。
説明のために、コンポーネントYに関連付けられたsao_type_idxと表記されるフラグは所与のLCUのためにコンポーネントUと共有されていると仮定することができる。しかしながら、この値がエッジオフセットタイプのSAO分類を示す場合(すなわち、sao_type_idx=1、2、3、または4)でも、コンポーネントYにより与えられるエッジオフセット分類の方向を使用する代わりに、エッジオフセットの方向がコンポーネントUに関連付けられたビットストリームの一部から取得可能にすることができる。コンポーネントYに関連付けられたsao_type_idxと表記されるフラグの値がエッジオフセットに等しくなければ(sao_type_idx=0または5)、方向情報はビットストリームから抽出されない。換言すれば、コンポーネントYのためのSAOタイプがゼロまたは5ならば、このSAOパラメータ(タイプに関する)はコンポーネントUおよびVにより使用されることになる。しかしながら、SAOタイプがコンポーネントYのためのエッジオフセットタイプならば(すなわち、値が1から4)、専用のSAOタイプがコンポーネントUおよびVのために使用されることになる。
上述したように、SAOパラメータ(エッジオフセットタイプの画素分類を使用するSAOループフィルタに関連付けられた)は5つの有りうるクラスのうちの4つのクラスに関係する4つのオフセットを備える。最初のクラス(クラス「0」)はSAOフィルタリングに対応しない。本明細書においてエッジオフセット分類の方向がSAOタイプで示されることを想起されたい。
本発明の実施形態によれば、エッジオフセットフィルタがエッジオフセット分類の方向の現在のLCUのために独立して選択される際にこれらの4つのオフセットは2つまたは3つのコンポーネント間で共有することができる。
第1の特定の実施形態によれば、同じオフセットが2つまたは3つのコンポーネントのために使用される。その結果、3つのコンポーネントで画素をフィルタリングするために、2つまたは3つのコンポーネントがそれぞれ同じ4つのオフセットを共有する場合、8または12オフセットの代わりに4つのオフセットのみがビットストリームから抽出れば良い。
当然のことながら、同じオフセットで2つまたは3つのコンポーネントの処理を可能にするためには、そのような一般的なオフセットは符号器側で計算されなければならない。後述するように、この符号化の選択はバンドオフセットフィルタリングのために使用されるものと同じである。
別の特定の実施形態において、コンポーネントZに関連付けられたオフセットOzjは以下のように重み係数βjに従って別のコンポーネントXのオフセットOxjから導出される。
Ozj=βjOxj
重み係数βjはjの値がなんであっても(β=βj)またはそうでなくとも同じで良い。βの値またはβjの値は所定および一定で良く、またはシーケンスヘッダまたはスライスヘッダのような特定のヘッダ内で送信されても良く、またはLCUによる送信LCUでも良い(またはより一般的にはフレームエリア毎)。
値が1つのLCUから別のものへ変化する場合、それらは動的に符号器および復号器側で計算できる。
重み係数の値は次式に従って計算することができる。
Figure 0006748749
ここで
Figure 0006748749
はクラスjの画素iのコンポーネントZの値であり、および特に別表の表2を参照することにより、
Figure 0006748749
は上述したようにクラスjの画素iの隣接のコンポーネントZの値である。
従って、重み係数βjの値は、分類された画素およびそれらの隣接画素のコンポーネントZの平均(最大)差分および分類された画素およびそれらの隣接画素のコンポーネントXの平均(最大)差分との間の比である。他の関係または数式が重み係数βj(またはβ)の値を計算するために使用されることができる。
さらに別の特定の実施形態において、ビットストリーム内で符号化されたオフセットの値は重み係数βj(またはβ)の値に基づいても良いが、それらは判断される。そのような実施形態において、重み係数βまたはβjの値が1未満ならば、オフセットOzjの値がオフセットOxjの値の代わりにビットストリーム内で符号化される。
実際、この式において、βj<1であれば、Ozj=βjであり、Oxj、Ozj<Oxjである。その結果、オフセット値OzjはOxjの値よりもビットストリーム内で符号化されるより少ないビットで良い。復号器が重み係数βjの値を把握しているかまたは決定することができるので、ビットストリームからOzjの値を復号化し、以下の式に従ってOxjの値を決定することができる。
Ozj=(1/βj)×Oxj
さらに特定の実施形態において、第2のコンポーネントZに関連付けられたオフセットOzjの絶対値は、第1のコンポーネントXに関連付けられたオフセットOx(5−j)の絶対値に等しい。本明細書においてこの特定の実施形態によれば、エッジオフセットクラスのためのオフセットの符号がアーチファクトを低減するために予め決められているので絶対値のみが使用されることに留意すべきである。
図17は、このような特定の実施形態を示す。
この実施形態において、コンポーネントに関連付けられたオフセットは第2のコンポーネントに関連付けられたミラーリングされた値に対応する。図示のように、コンポーネントZの4つのクラスのためのオフセットは、オフセットの逆の順序を考慮することによりコンポーネントXからのオフセットから導出される。本明細書においてオフセットに適用される符号は分類から推定されることを留意すべきである。
さらに別の特定の実施形態において、第2のコンポーネントに関連付けられたオフセットとして使用される第1のコンポーネントに関連付けられたオフセットのミラーリングされた値は重み係数βjで重み付けしても良い。この特定の実施形態によれば、第2のコンポーネントZに関連付けられたOzjのオフセットの絶対値は、次式に従って第1のコンポーネントXに関連付けられたオフセットOx(5−j)の重み付けされた絶対値に等しい。
Ozj=βjOx(5−j)
上述したように、SAOバンドオフセットフィルタは2つのタイプのパラメータを必要とする。第1のタイプは、位置(sao_band_position)に向けられ、第2のタイプは所与の位置から定義されているバンドの4つのクラスに関連する4つのオフセットに向けられる。本発明の実施形態によれば、フレームエリアのコンポーネントに関連付けられた2つのタイプのパラメータは、すでに処理された別のフレームのエリアのコンポーネントに関連付けられた対応するパラメータから別個に取得されてもよい。しかしながら、位置(sao_band_position)およびオフセットに関連する実施形態は容易に組み合わされることができる。また、エッジオフセットの実施形態を参照して前述したように、バンドオフセットフィルタリングのための位置およびオフセットに関連するこれらの実施形態または実施形態の組み合わせは、上述したようにマージフラグの値またはAPSのためのSAO構文の関数として適用される。
コンポーネントに関連付けられたSAOパラメータが2つまたは3つのコンポーネントを処理するために使用できるので、以下の説明は例示のために2つのコンポーネントを処理するための1つのコンポーネントに関連付けられたSAOパラメータの使用に焦点を当てることに留意すべきである。
図18は第2のコンポーネントZに関連したオフセットの値が、バンドオフセット分類を使用してSAOループフィルタを適用する際に、如何に第1のコンポーネントXに関連したオフセットの値から取得きるかを示す。
参照1801は、現在のHEVC仕様に従って、特にバンドオフセット分類を使用するSAOループフィルタを適用するためのコンポーネントに関連付けられたオフセットのSAOパラメータの使用を示す。各コンポーネントに関連付けられたオフセットは符号化された画像を送信するために使用されるビットストリームにすべて符号化される。説明のために、ビットストリームは、第1のコンポーネントXに関連付けられた、一般的にOxjと呼ばれるオフセットOx1からOx4、および第1のコンポーネントZに関連付けられた、一般的にOzjと呼ばれるOz1からOz4を備える。参照1801により示されるように、オフセットOxjは、BO Xと表記される4つの連続したクラスを備える第1のバンドに対応し、オフセットOzjはBO Zと表記される4つの連続したクラスをまた備える第2のバンドに対応する。
参照1802はオフセットOzjがオフセットOxjに等しい第1の特定の実施形態を示す。従って、オフセットOzjはビットストリーム内でエンコードされない。それらはエッジオフセットフィルタリングを参照することにより、上述したように対応するマージフラグを使用することによりカバーすることができる。同様に、重み係数βまたはβjはオフセットOzjがオフセットOxj(Ozj=βjOxj)の関数として決定できるように使用することができる。再度、重み係数βまたはβjの値または複数の値は予め定義されても良いし、ビットストリーム内の異なるレベル(配列レベル、フレームレベル、スライスレベル、またはLCUレベル)で表現されても良い。この状態で、重み係数βまたはβjの値または複数の値は負でも良い(エッジオフセットのために、オフセットの符号がクラスの関数として決定される)。特に、重み係数はマイナス1とすることが出来る(β=−1)。
さらに別の特定の実施形態において、重み係数βまたはβjの値または複数の値は動的に決定しても良い。説明のために、重み係数βまたはβjの値または複数の値はバンド(sao_band_position)の位置の関数として決定することができる。例えば、バンドZのクラスjおよびバンドXのクラスjが区間の中央の観点から同じサブ区間内ではない場合(図18で太線で表されている)、β=−1であり、そうでなければβ=1である。ここで、完全な区間が2つのサブ区間に分割され、第1のサブ区間は画素値0から127の区間であり、第2のサブ区間は画素値128から256の区間である(画素値のために8ビット深度が使用される際)ことが考えられる。
別の実施形態によれば、重み係数βjの値は、区間の中心までのコンポーネントZの現在のクラス(または重み係数βの値のクラスのセット)の距離と、区間の中心までのコンポーネントXの現在のクラス(または重み係数βの値のクラスのセット)の距離と、の比の関数として決定され、以下のように表されることができる:
Figure 0006748749
ここで、
Figure 0006748749
は現在のコンポーネントZおよび区間の中心との間の距離であり、
Figure 0006748749
は現在のコンポーネントXおよび区間の中心との間の距離である。別の実施形態では、逆の比が考えられる。エッジオフセットに関する限り、他の関係および式が重み係数βまたはβjの値または複数の値を決定するために使用できる。また、上述したように、オフセットOxjまたはオフセットOzjは、オフセットOxjまたはオフセットOzjを符号化するために必要なビット数を減少させるために重み係数βまたはβjの値または複数の値に応じて(しかしながらそれらは判断される)ビットストリーム内に挿入しても良い。
参照1803は第1のコンポーネントに関連付けられたオフセットのミラーリングされた値が如何にバンドオフセットフィルタリングのための第2のコンポーネントに関連付けられたオフセットの値として使用できるかを示す。エッジオフセットフィルタリングを参照して上述したように、オフセットOzjおよびOxjとの間の関係は次式により表されることができる。
Ozj=Ox(5−j)
再度、この特定の実施形態は、式Ozj=βjOx(5−j)に従って重み係数の使用で組み合わされることができる。特定の実施形態において、βjは−1である。
バンドオフセットフィルタリングのためのオフセットの具体的な導出は、画素バンドオフセット分類の変形を可能にするクラスのサイズの増加または減少である。参照1604はこのような分類適応の一例を示す。図示の例によれば、クラスごとの画素数はコンポーネントXのためのバンド分類と比較してコンポーネントZのために2で除算される。したがって、バンドオフセットフィルタリングに従って、コンポーネントZのための画素分類は6ビットのチェックを必要とする。換言すれば、上位6ビットは画素を分類するためにチェックされなければならない。したがって、フル画素値区間がコンポーネントZのために64の範囲に分割することが考えられる。
この関係は実行のために固定しても良いし、またはシーケンス、フレーム、スライス、またはLCUレベルで示しても良い。それはコンポーネントXのための画素範囲サイズおよびLCU(またはシーケンス、フレーム、またはスライス)レベルでのコンポーネントZのための画素範囲サイズの比を考慮ことにより動的に決定されることができる。従って、コンポーネントZのためのクラスのサイズは以下のように決定できる。
Figure 0006748749
全ての、i=0 〜 N、
ここでPziはコンポーネントZの画素であり、PxiはコンポーネントXの画素である。バンド分類を簡素化するために、クラスごとの画素値の数は2のべき乗に等しい(最上位ビットのビットチェックを許可する)。
この特定の実施形態は、参照1805により示されるようにバンドオフセットのオフセットの導出のために記述されたすべての他の特定の実施形態と組み合わされることができる。参照1805においては、本実施形態はコンポーネントXに関連付けられたミラーリングされた値オフセットの使用と組み合わされている。
SAOエッジおよびバンドフィルタリングの両方に適用可能である別の特定の実施形態において、1つのコンポーネントからのオフセットは2つまたは3つのコンポーネントから導出できる。
1つまたは2つの他のコンポーネントのためのオフセットを決定(または導出)するための1つのコンポーネントからのオフセットの使用に関連する、SAOエッジおよびバンドフィルタリングの両方に適用可能であるすべての記述された実施形態は、第2のコンポーネントおよび/または第3のコンポーネントのオフセットが記憶される必要がないので、そのような導出が系統的に(すべてのLCUのために)使用される際に、特に要求されるメモリバッファのサイズに関して、利点を提示する。
別の特定の実施形態において(SAOエッジおよびバンドフィルタリングの両方のための)、コンポーネント間のオフセットの導出は第1のコンポーネントからのオフセットに従って第2のコンポーネントからのオフセットを予測するために使用できる。(この説明はコンポーネント間のオフセットを共有専用である)。この実施形態において、コンポーネントZのオフセットの残差はコンポーネントZのオフセット値を直接符号化する代わりにビットストリーム内で符号化される。復号器側でコンポーネントZのオフセットは残差オフセットをコンポーネントXのオフセットに加算することにより取得される。
SAOエッジおよびバンドオフセットフィルタリングの両方に適用可能な別の特定の実施形態において、コンポーネント間のオフセットの導出は第1のコンポーネントに関連付けられたオフセットに従って第2のコンポーネントに関連付けられたオフセットのコンテキスト算術符号化のためのコンテキストとして使用できる。
SAOエッジおよびバンドフィルタリングの両方に適用可能なさらに別の特定の実施形態において、2つのコンポーネント間のオフセットの導出はビットストリーム内でシグナリングでき、従来のモードと競合することができ、それによって、オフセットがすべてのコンポーネントのためにビットストリーム内で符号化される。
上述したように、バンド位置(sao_band_position)はフル画素値区間内のバンドの最初のクラスの位置である。標準5ビットチェックを考慮することにより、sao_band_positionパラメータの値は範囲[0;32]に属する。本発明の実施形態によれば、このパラメータは2つまたは3つのコンポーネント間で共有できる。説明のためにコンポーネントXに関連付けられたその値からコンポーネントZに関するこのパラメータの導出に焦点を当てて説明する。
図19は、第2のコンポーネントZに関連付けられたsao_band_positionパラメータの値が、バンドオフセット分類を使用してSAOループフィルタを適用する際に、第1のコンポーネントXに関連付けられたsao_band_positionパラメータの値からどのようにして取得されるかを示す。
参照1901は現在のHEVC仕様に従ってビットストリーム内で送信される2つのsao_band_position値の一例を示す。
参照1902により示される特定の実施形態において、共通sao_band_position値はコンポーネントZおよびコンポーネントXの両方のために使用される。
特定の実施形態において、バンドの中心位置はフル画素区間の中心と比較される。結果の値はsao_band_position−14に等しい(14は区間(16)の中心からバンドの中心(−2)引いたものに相当する)。
従って、参照1903により示される特定の実施形態において、コンポーネントZに関連付けられたsao_band_position_Zはフル画素区間の中心に対して、コンポーネントXに関連付けられたsao_band_position_Xに対称であると定義される。したがって、(sao_band_position_Z−14)は−(sao_band_position_X−14)に等しいとみなされる。この例においてsao_band_position_Xは6に等しいので、sao_band_position_Zはこのように22に等しい(−(6−14)+14=22)。
参照1904により示されるさらに特定の実施形態において、重み係数βは、コンポーネントXに関連付けられたsao_band_position_X値およびフル画素区間の中心の位置の関数としてのコンポーネントZに関連付けられたsao_band_position_Z値を決定するために使用される。前の実施形態と同様に、これはフル画素区間の中心および各コンポーネントXおよびZのsao_band_position値との間の相対位置に基づく。この例によれば、使用される関係は以下で有り得る。
sao_band_position_Z−14=β(sao_band_position_X−14)
すなわち
sao_band_position_Z=β(sao_band_position_X−14)+14
図19に挙げられた例において、β=−1/2である。その場合、sao_band_position_Xは6であり、その結果sao_band_position_Zは18(−1/2(6−14)+14=18)となる。
重み係数βの値は実行のために予め定義しても良いし、または任意のレベル(シーケンス、フレーム、スライス、またはLCU)で送信しても良い。
SAOエッジおよびバンドフィルタリングの両方に適用可能なさらに別の特定の実施形態において、2つのコンポーネント間のsao_band_positionパラメータの導出は、ビットストリーム内でシグナリングされる、またsao_band_positionパラメータ値がすべてのコンポーネントのためにビットストリーム内で符号化される従来のモードと競合できる。
SAOパラメータが2つまたは3つの色コンポーネント間で共有される際に、SAOパラメータの符号化の選択は好ましくは符号化効率に関連する。換言すれば、共有SAOパラメータを選択することはこれらのパラメータおよび関連付けられた値の符号化効率が有利になるように考慮する。レート歪みコストの点で最良のオフセットの選択はエッジおよびバンドオフセットフィルタリングの両方のために同じであることをここで想起されたい。
これらのオフセットが2つのコンポーネントZおよびXとの間で共有される際のオフセットの符号化選択は、どのようなSAOタイプ(バンドのエッジ)が使用されてもバンド中心の選択の前に、以下に記述される。
1つのコンポーネントに対して歪みの点で最適なオフセットを決定するための符号化処理を図示する図3を参照して説明したように、コンポーネントXに関連するSumXjおよびSumNbPixXj値およびコンポーネントZに関連するSumZjおよびSumNbPixZj値はすべてのクラスjについて分かっている。SumXjおよびSumZjはクラスj内の画素値およびコンポーネントXおよびZそれぞれのためのそれらの元の値の差分の和である。SumNbPixXjおよびSumNbPixZjはXおよびZコンポーネントそれぞれのためのクラスj内の画素の数である。これら4つのパラメータの値はすでにすべてのクラスについて計算されているものと想定される。
目的がOzj=Oxjを得ることである特定の実施形態において、最適なオフセットOoptjは次式により決定できる。
Ooptj=Ozj=Oxj=(SumXj+SumZj)/(SumNbPixXj+SumNbPixZj)
次に、各コンポーネントを独立して処理するために上述したように、符号器はレート歪み基準に関して最良オフセットOxjを決定する。
これは、Ozj=Oxjである特定の実施形態で、次のようにレート歪みコストを最小限に抑えることにある。
J(Oxj、Ozj)=SumNbPixXj×(Oxj×Oxj)−SumXj×Oxj×2+SumNbPixZ(j)×(Oxj×Oxj)−SumZ(j)×Oxj×2+λR(Oxj)
それは次式に従って簡略化されることができる。
J(Oxj、Ozj)=(SumNbPixXj+SumNbPixZj)×(Oj×Oj)−(SumXj+SumZj)×Oj×2+λR(Oj)
ミラーリングされた値がエッジオフセットケースのためのオフセットを決定する(Ozj=−Ox(5−j))対象となる特定の実施形態において、最適なオフセットは次式により定義できる。
Ooptj=Oz(5−j)=Oxj=(SumXj−SumZ(5−j))/(SumNbPixXj+SumNbPixZ(5−j))
次に、符号器はレート歪み基準に関して最良のオフセットOxjを決定する。これは、Oz(5−j)=−Oxjである特定の実施形態によれば、次のようにレート歪みコストを最小限に抑えることにある。
J(Oxj、Ozj)=SumNbPixXj×(Oxj×Oxj)−SumXj×Oxj×2+SumNbPixZ(5−j)×(Oz(5−j)×Oz(5−j))−SumZ(5−j)×Oz(5−j)×2+λR(Oxj)
または
J(Oxj、Ozj)=SumNbPixXj×(Oxj×Oxj)−SumXj×Oxj×2+SumNbPixZ(5−j)×(Oxj×Oxj)+SumZ(5−j)×Oxj×2+λR(Oxj)
Ozj=−Oxjである特定の実施形態において、最適なオフセットOoptjは次式により決定される。
Ooptj=(SumXj−SumZj)/(SumNbPixXj+SumNbPixZj)
次に、符号器はレート歪み基準に関して最良のオフセットOxjを決定する。これは、Ozj=−Oxjである特定の実施形態によれば、次のようにレート歪みコストを最小限に抑えることにある。
J(Oxj、Ozj)=SumNbPixXj×(Oxj×Oxj)−SumXj×Oxj×2+SumNbPixZ(j)×(Ox(j)×Ox(j))+SumZ(j)×Ox(j)×2+λR(Oxj)
それは次式により簡略化できる。
J(Oxj、Ozj)=(SumNbPixXj+SumNbPixZj)×(Oxj×Oxj)−(SumXj−SumZj)×Oxj×2+λR(Oxj)
Ozj=βjOxjである特定の実施形態において、符号器はコンポーネントXのための最適OoptXj値およびコンポーネントZのための最適OoptZj値を独立に決定する。次に、符号器はレート歪み基準に関して最良のオフセットOxjを決定する。これは、Ozj=βjOxjである特定の実施形態によれば、図4を参照して記述されるようにレート歪みコストを最小限に抑えることにある。
図20はレート歪み基準に従って2つまたは3つのコンポーネントにより使用される最適なオフセットを決定するための方法のステップを示すフローチャートである。図20に示される処理は図4を参照して説明されたものに基づく。ステップ2001、2004、2005、および2006はそれぞれステップ401、404、405、および406と同様である。
ステップ2002は、ステップ2002で起動されたループがオフセットOxjをsign(OoptXj)×max(fxOoptXj、OoptZj)からゼロまで変化させる点でステップ402とは異なる。ここで、fはβj<1である場合には1/βjに等しく、それ以外の場合にはβjに等しい。
Ozj=βjOxjである一般化された実施形態において、レート歪み基準は次式に従って計算される。
J(Oxj、Ozj)=SumNbPixXj×(Oxj×Oxj)−SumXj×Oxj×2+SumNbPixZ(j)×(βj×Oxj×βj×Oxj)−SumZ(j)×βj×Oxj×2+λR(Oxj)
それはまた次のようにも書かれることができる。
J(Oxj、Ozj)=(SumNbPixXj+SumNbPixZ(j)×(βj)×(βj))×(Oxj×Oxj)−(SumXj+SumZ(j)×βj)×Oxj×2+λR(Oxj)
ステップ2003において、βj=−1である特定のケースを説明のために考える。
2つのコンポーネントXおよびZとの間で共有されるsao_band_position値の選択は次の関係に従って決定できる。
sao_band_position_Z=β(sao_band_position_X−14)+14
図21は2つのコンポーネント間で共有されるSAOバンド位置を決定するための方法のステップを示すフローチャートである。これは図5を参照して記述された方法に基づく。図21に示される処理はコンポーネントZに関連付けられたsao_band_position_Zの値をコンポーネントXに関連付けられたsao_band_position_Xの値から決定することを目的とする。
図21に示される処理と図5に示される処理との間の主な違いは次式に従って、コンポーネントZに関連付けられたクラスおよびコンポーネントXに関連付けられたクラスの両方のレート歪み値が一緒に加算されるモジュール2105に関連する。
J’i=J’i+JZj+JXjx
ここでJZjはコンポーネントZのクラスjのレート歪み値であり、JXjxはコンポーネントXのクラスjのレート歪み値である。またsao_band_position_Zをsao_band_position_Xと共同して選択するために、インデックスjxは次式に従って導出される。
sao_band_position_Z=β(sao_band_position_X−14)+14
従って、jxはβ(j−14)+14となる。
復号化の複雑さを低減するためにコンポーネントの分類を回避する第2の主な態様によれば、SAOクラス内の画素は単一コンポーネントの関数として決定される。画素位置はフィルタリングされる必要があるコンポーネントまたはコンポーネント群を決定するために次に使用される。従って、画素コンポーネントがそのコンポーネントに従ってフィルタリングされる場合、その画素の他のコンポーネントまたは他の2つのコンポーネントがフィルタリングされる。
図22は本発明の特定の実施形態によるビットストリームを復号化するための方法のステップを示すフローチャートである。この図に示される処理は図6に示されたものに基づく。これはコンポーネントZをフィルタリングするコンポーネントXの分類を使用することを目的とする。
最初のステップ2201は図12、図13、および図14を参照して記述した処理に従ってSAOパラメータを決定することにある。しかしながら、図22に示されるアルゴリズムによれば、sao_type_idxパラメータの値および、それが5に等しい場合、コンポーネントXのためのsao_band_positionパラメータの値のみはステップ2202でビットストリーム(図示せず)から決定される。実際に、これらのパラメータは分類に関連しているが、それらがコンポーネントXの分類に従ってフィルタリングされるコンポーネントZを分類するために必要とされない。
次に、ステップ2203においてコンポーネントXに関連付けられた4つのオフセットはビットストリームから取得される。同様に、コンポーネントZに関連付けられた4つのオフセットはステップ2204でビットストリームから取得される。これらのオフセットは上記のように他のコンポーネントおよび/または別のLCUに関連付けられた他のオフセットの関数として決定されることができることに留意されたい。
ステップ2205において、カウンタ変数iは値ゼロに設定される。次に、N個の画素を備えるコンポーネントXのフレームエリア(参照2206)の最初の画素Pxはステップ2207で抽出される。同様に、コンポーネントZのフレームエリア(参照2208)の最初の画素Pzはステップ2209で抽出される。例示のために、コンポーネントZのフレームエリアはまたN画素を含む(コンポーネントXおよびZはフレームエリア当たり同量の画素を有する)ことが認められる。
次に、ステップ2210において、最初の画素PxのコンポーネントXは、別表の表2および図2をそれぞれ参照することにより前述のように、sao_type_idx_Xパラメータの値(必要な場合sao_band_position_Xパラメータの値)によりエッジオフセット分類またはバンドオフセット分類に従って分類される。
ステップ2211において、画素PxiのコンポーネントXがフィルタリングされるか否かを判断するためにテストが行われる(すなわちPxiがSAOクラスに属する場合)。PxiがSAOクラスに属する場合、関連するクラス番号jが識別され、対応するオフセット値がステップ2212でコンポーネントXに関連付けられたオフセットテーブルから取得される。次に、ステップ2213において、画素PxiのコンポーネントXはその値に取得されたオフセットを加算することによりフィルタリングされる。画素PxiのフィルタリングされたコンポーネントXはP’xi(2214参照)と呼ばれる。同時にまたは順次に、コンポーネントZに関連付けられたおよびクラス番号jに対応するオフセット値がステップ2215でコンポーネントZに関連付けられたオフセットテーブルから取得される。次に、ステップ2216において、画素PziのコンポーネントZがその値に取得されたオフセットを加算することによりフィルタリングされる。画素PziのフィルタリングされたコンポーネントZはP’zi(2217参照)と呼ばれる。
次に、ステップ2218において、フィルタリングされたコンポーネントP’xiおよびP’zjはそれぞれ2219および2220と呼ばれるフィルタリングされたフレームエリアのコンポーネントXおよびコンポーネントZに入れられる。ステップ2218において、フィルタリングされた画素P’xiおよびP’zjは2219および2220と呼ばれる処理されたフレームの画素PxiおよびPzjをそれぞれ置き換える。
PxiがSAOクラスに属さない場合、フィルタリングされたフレームエリアのコンポーネントXおよびコンポーネントZ内のコンポーネントPxiおよびPzjはステップ2221、2222、および2218で変更されない。
次に、ステップ2223において、カウンタ変数iは現在のフレームエリアの次の画素と同様にフィルタリング処理を適用するために1だけインクリメントされる。
ステップ2224において、現在のフレームエリアのすべてのN個の画素が処理されたか否かが判断される(i≧N)。はいの場合、フレームエリアのフィルタリングされたコンポーネントXおよびZが再構成され、SAO再構成されたフレームに加算されることができる。
図22は、両方のコンポーネントが現在のフレームエリアのための同じ画素数を有する際に、別のコンポーネントZと同様にフィルタリングするための1つのコンポーネントXのSAO分類の使用を示す。
しかしながら、フレームエリアのコンポーネントは必ずしも同じ画素数を有していない。コンポーネントXのための画素の相対数に基づいて、コンポーネントZのための画素数に関する表記されたNx、表記されたNz、2つのケースが考慮されることができる。フレームエリア内の2つの異なるコンポーネントの画素数の差分は一般的には2の倍数であるので、画素コンポーネント数間の非整数関係を考慮に入れることは一般的に必要ではない。
コンポーネントZの画素数がコンポーネントXの画素数よりも大きい(Nx<Nz)ケースを考慮すると、図22を参照して記述されるアルゴリズムは、PziがNz/Nx画素のグループであることを考慮することにより簡単に構成することができる。従って、オフセットOffsetZiが画素Pziのグループに加算される際に、このオフセットは画素Pziのグループのすべての画素に適用される。また、特定の実施形態において、オフセットOffsetZiが画素Pziのグループと同じサイズのオフセットのグループであることが考えられる。
コンポーネントXの画素数がコンポーネントZの画素数よりも大きい(Nx>Nz)ケースを考慮すると、いくつかの実施形態が考えられる。このようなケースにおいて、図22を参照して記述されるステップ2216および2218はコンポーネントXの画素数およびコンポーネントZの画素数との間の関係を考慮する必要がある。図22において、PziはPz(i/Nx)により変更される。
第1の特定の実施形態において、オフセットOffsetZiはPxiが少なくとも一度フィルタリングされた場合にのみグループPz(i/Nx)に加算される。
別の特定の実施形態によれば、図22のステップ2218はPxiがフィルタリングされた回数を考慮する。それが2×Nx/Nzより大きい場合、OffsetZiはPz(i/Nx)に加算される。
さらに特定の実施形態によれば、ステップ2218はNx/Nz回、Pz(i/Nx)またはP’z(i/Nx)を受信し、コンポーネントZのためのフィルタリングされたフレームエリア(2220)内に入れられる画素値を生成するために平均値を算出する。
図23は同様に他のコンポーネントZをフィルタリングするために1つのコンポーネントXのSAO分類の使用を示す。
説明のため、ブロック2301のグレー画素は現在の実行HEVCに従ったコンポーネントXのための現在のクラスjのタイプiのSAOループフィルタのためにフィルタリングされた画素を表す。同様に、ブロック2302の黒画素は現在のHEVC仕様に従ったコンポーネントZのための現在のクラスjのタイプiのSAOループフィルタのためにフィルタリングされた画素を表す。
したがって、図23に示されるように、コンポーネントXにおけるグレー画素とコンポーネントZにおける黒画素は現在のHEVC仕様を考慮するといつも同じ位置になるとは限らない。
さらに説明のため、ブロック2303のグレー画素は現在の実行HEVCに従ったコンポーネントXのための現在のクラスjのタイプiのSAOループフィルタのためにフィルタリングされた画素を表す。しかしながら、ブロック2304の黒くされた画素はコンポーネントXの分類(ブロック2303)に従ってコンポーネントZのためのSAOループフィルタのためにフィルタリングされた画素を表す。従って、グレー画素および黒くされた画素が同じ位置に配置される。これは両方のコンポーネントのために1つの分類のみの使用を結果としてもたらす。
両方の主な実施形態は符号化効率および復号化複雑性を最適化するために組み合わせることができることに留意されたい。
特定の実施形態を参照して本明細書上記で本発明を説明してきたが、本発明は特定の実施形態に限定されるものではなく、変更が本発明の範囲内にあることは当業者には明らかであろう。特に、説明のために先の説明はYUVコンポーネントを参照したが、RGB(赤、緑および青のコンポーネント)のような他の方式を使用しても良い。
例えば、前述の実施形態は画像の画素およびそれらに対応する画素値に関連して説明してきたが、本発明のコンテキスト内で、画素のグループが対応するグループの画素値と一緒に考慮されてもよいことが理解されるであろう。サンプルはこのように画像の1つまたは複数の画素に対応してもよい。
本発明のさらなる態様が以下に提示される。
本発明の第1のさらなる態様によれば、複数のサンプルを備える画像の少なくとも一部を符号化する方法が提供され、各サンプルは少なくとも2つのコンポーネントを備え、符号化された画像は少なくとも1つのフィルタリングパラメータを備え、前記方法は、
少なくとも1つの符号化されたサンプルを提供するために画像の少なくとも1つのサンプルの第1および第2のコンポーネントを符号化することと、
少なくとも前記1つの符号化されたサンプルを復号化することと、
前記画像の少なくとも1つのサンプルの少なくとも1つのコンポーネントと、前記少なくとも1つの対応する復号化されたサンプルの前記少なくとも1つの対応するコンポーネントと、の間の差分の関数として、前記少なくとも1つのフィルタリングパラメータを計算し、前記少なくとも1つのフィルタリングパラメータは復号化されたサンプルの少なくとも第1および第2のコンポーネントを独立してフィルタリングするためにループフィルタ内で使用されるように計算することと、
を有する。
コンポーネント間の相互依存性を考慮することにより、本発明によればSAOの符号化効率を改善し、SAOパラメータを格納するのに必要なメモリバッファを減少し、また分類の複雑さを低減させることを可能とする。
ある実施形態において、前記少なくとも1つのフィルタリングパラメータは、前記少なくとも1つのフィルタリングパラメータの符号化効率が最適であるように、複数の推定されるフィルタリングパラメータの関数として決定される。
ある実施形態において、前記少なくとも1つのフィルタリングパラメータは、画像の一部のサンプルの少なくとも1つのコンポーネントと対応する復号化されたサンプル、画像の一部内の少なくとも1つのコンポーネントのサンプル数、および画像の一部のサンプルの2つのコンポーネントの値の少なくとも1つの対応するコンポーネントとの間の差分の関数として決定される。
ある実施形態において、前記少なくとも1つのフィルタリングパラメータは、画像の前記」少なくとも1つのサンプルの第1のコンポーネントと、前記少なくとも1つの対応する復号化されたサンプルの対応する第1のコンポーネントとの間の差分の関数として計算される第1のフィルタリングパラメータ、および画像の少なくとも1つのサンプルの第2のコンポーネントおよび少なくとも1つの対応する復号化されたサンプルの対応する第2のコンポーネントとの間の差分の関数として計算される第2のフィルタリングパラメータの関数として決定断される。
ある実施形態において、第1および第2のフィルタリングパラメータは画像の一部の複数のサンプルの関数として計算される。
ある実施形態において、前記少なくとも1つのフィルタリングパラメータはフィルタリングされるサンプルコンポーネントに加算される少なくとも1つオフセットを備える。
ある実施形態において、前記少なくとも1つのフィルタリングパラメータは少なくとも1つのオフセットを重み付けするための少なくとも1つの重み係数をさらに備える。
ある実施形態において、前記少なくとも1つのフィルタリングパラメータはフィルタリングされるサンプルコンポーネントの少なくとも1つのクラスを定義するバンドの少なくとも1つの位置をさらに備える。
ある実施形態において、前記方法は異なるコンポーネントの推定される異なるレート歪み値の関数として少なくとも1つの位置を決定するステップをさらに備える。
さらにある実施形態において、前記少なくとも1つのフィルタリングパラメータは第1のサンプルの少なくとも第1のコンポーネントに関連付けられた少なくとも1つのフラグをさらに備え、前記少なくとも1つのフラグは少なくとも第1のコンポーネントをフィルタリングするための第2のサンプルの少なくとも第2のコンポーネントに関連付けられた少なくとも1つのフィルタリングパラメータの参照を示している。
ある実施形態において、前記少なくとも1つのフィルタリングパラメータは、第1のサンプルの少なくとも第1のコンポーネントに関連付けられた少なくとも1つのフラグをさらに備え、前記少なくとも1つのフラグは前記第1のサンプルの複数のコンポーネントをフィルタリングするための第2のサンプルの少なくとも第2のコンポーネントに関連付けられた少なくとも1つのフィルタリングパラメータへの参照を示している。
本発明の第2のさらなる態様によれば、複数のサンプルを含む画像の少なくとも一部を復号化する方法が提供され、各サンプルは少なくとも2つのコンポーネントを有し、符号化された画像は少なくとも1つのフィルタリングパラメータを有し、前記方法は、
少なくとも1つの再構成されたサンプルの第1および第2のコンポーネントを提供するために、少なくとも1つの符号化されたサンプルの第1および第2のコンポーネントを復号化することと、
前記少なくとも1つのフィルタリングパラメータを復号化することと、
ループフィルタ内で前記少なくとも1つの再構成されたサンプルをフィルタリングし、少なくとも1つの再構成されたサンプルの第1のコンポーネントおよび第2のコンポーネントのフィルタリングは復号化された少なくとも1つのフィルタリングパラメータの少なくとも1つの共通のフィルタリングパラメータに基づいてフィルタリングすることと、
を有する。
コンポーネント間の相互依存性を考慮することにより、本発明によれば、SAOの符号化効率を改善し、SAOパラメータを格納するのに必要なメモリバッファを減少させ、そして分類の複雑さを低減させることができる。
ある実施形態において、前記方法は前記少なくとも1つのフィルタリングパラメータへの参照を示す少なくとも1つのフラグを取得するステップをさらに有する。
ある実施形態において、前記方法は前記取得された少なくとも1つのフラグを分析し、分析に応じて少なくとも1つの共通のフィルタリングパラメータを取得するステップをさらに備える。
さらなるある実施形態において、前記方法は少なくとも1つのフィルタリングパラメータへの参照を示す少なくとも別のフラグを取得するステップ、および前記取得された少なくとも別のフラグを分析するステップをさらに備え、少なくとも1つのフラグを取得するステップは取得された少なくとも別のフラグを分析するステップに応じて行われる。
ある実施形態において、前記方法は復号化された少なくとも1つのフィルタリングパラメータの関数として前記少なくとも1つの再構成されたサンプルの少なくとも前記第1のコンポーネントをフィルタリングするために使用されるフィルタリングパラメータを計算するステップをさらに備える。
ある実施形態において、前記方法は復号化された少なくとも1つのフィルタリングパラメータの関数として前記少なくとも1つの再構成されたサンプルの前記第1および第2のコンポーネントをフィルタリングするために使用されるフィルタリングパラメータを計算するステップをさらに備える。
さらなるある実施形態において、前記方法は少なくとも1つの重み係数を取得するステップをさらに有し、前記計算されたフィルタリングパラメータは取得された少なくとも1つの重み係数に基づく。
ある実施形態において、前記方法は前記少なくとも1つの重み係数を復号化するステップをさらに有し、前記少なくとも1つの重み係数は復号化される画像の一部と一緒に受信される。
ある実施形態において、前記共通のフィルタリングパラメータは前記少なくとも1つの再構成されたサンプルの少なくとも前記第1のコンポーネントに加算される少なくとも1つのオフセット値を備える。
ある実施形態において、前記共通のフィルタリングパラメータは、フィルタリングされるサンプルコンポーネントの少なくとも1つのクラスを定義するバンドの少なくとも1つの位置を備える。
さらなるある実施形態において、前記方法は前記少なくとも1つの再構成されたサンプルの少なくとも前記第1のコンポーネントをフィルタリングするための前記バンドの前記少なくとも1つの位置に適用される少なくとも1つの重み係数を取得するステップをさらに備える。
本発明の第3のさらなる態様によれば、複数のサンプルを備える画像の少なくとも一部を符号化する方法が提供され、各サンプルは少なくとも2つのコンポーネントを有し、符号化された画像は少なくとも1つのフィルタリングパラメータを有し、前記方法は、
少なくとも1つの符号化されたサンプルを提供するために前記画像の少なくとも1つのサンプルの第1および第2のコンポーネントを符号化することと、
前記少なくとも1つの符号化されたサンプルを復号化することと、
前記画像の前記少なくとも1つのサンプルのコンポーネントと前記少なくとも1つの復号化されたサンプルの前記対応するコンポーネントとの間の差分の関数として少なくとも1つのフィルタリングパラメータを計算し、少なくとも前記1つのフィルタリングパラメータは復号化されたサンプルの少なくとも第1および第2のコンポーネントを独立してフィルタリングするためにループフィルタ内で使用されるように計算されること、と、
を有する。
コンポーネント間の相互依存性を考慮することにより、本発明によれば、SAOの符号化効率を改善し、SAOパラメータを格納するのに必要なメモリバッファを減少し、および分類の複雑さを低減することが出来る。
本発明の第4のさらなる態様によれば、複数のサンプルを含む画像の少なくとも一部を復号化する方法が提供され、各サンプルは少なくとも2つのコンポーネントを有し、符号化された画像は少なくとも1つのフィルタリングパラメータを有し、前記方法は、
第1の再構成されたサンプルの第1のコンポーネントおよび第2の再構成されたサンプルの第2のコンポーネントを提供するために、第1の符号化されたサンプルの第1のコンポーネントおよび第2の符号化されたサンプルの第2のコンポーネントを復号化することと、
前記少なくとも1つのフィルタリングパラメータを復号化することと、
ループフィルタ内で再構成されたサンプルをフィルタリングし、前記第1の再構成されたサンプルの前記第1のコンポーネントおよび前記第2の再構成されたサンプルの前記第2のコンポーネントのフィルタリングは、復号化された前記少なくとも1つのフィルタリングパラメータの少なくとも1つの共通のフィルタリングパラメータに基づく。
コンポーネント間の相互依存性を考慮することにより、本発明によればSAOの符号化効率を改善し、SAOパラメータを格納するのに必要なメモリバッファを減少し、また分類の複雑さを低減させることが出来る。
ある実施形態において、前記方法は、前記少なくとも1つの再構成されたサンプルの前記第2のコンポーネントをフィルタリングするために使用されるフィルタリングパラメータの関数として、前記少なくとも1つの再構成されたサンプルの前記第1のコンポーネントをフィルタリングするために使用されるフィルタリングパラメータを計算するステップをさらに備える。
ある実施形態において、第1の複数のフィルタリングパラメータは前記第1の再構成されたサンプルの前記第1のコンポーネントに関連付けられ、第2の複数のフィルタリングパラメータは前記第2の再構成されたサンプルの前記第2のコンポーネントに関連付けられ、前記第1の複数のフィルタリングパラメータのフィルタリングパラメータ値は前記第2の複数のフィルタリングパラメータのフィルタリングパラメータ値に等しく、前記第1の複数のフィルタリングパラメータのフィルタリングパラメータ値は前記第2の複数のフィルタリングパラメータのフィルタリングパラメータ値の順序とは逆の順序である。
別の実施形態において、第1の複数のフィルタリングパラメータは前記第1の再構成されたサンプルの前記第1のコンポーネントに関連付けられ、第2の複数のフィルタリングパラメータは前記第2の再構成されたサンプルの前記第2のコンポーネントに関連付けられ、前記第1の複数のフィルタリングパラメータの前記フィルタリングパラメータ値は所定の重み係数により乗算された前記第2の複数のフィルタリングパラメータの前記フィルタリングパラメータ値に等しい。
本発明の第5のさらなる態様によれば、プログラム可能な装置のためのコンピュータプログラム製品が提供され、コンピュータプログラム製品は、プログラム可能な装置にロードされ実行された際に、上述した第1から第4のさらなる態様の1つを具現化する方法の各ステップを実現するための一連の命令を備える。
コンポーネント間の相互依存性を考慮することにより、本発明によればSAOの符号化効率を改善し、SAOパラメータを格納するのに必要なメモリバッファを減少し、および分類の複雑さを低減することが出来る。
本発明の第6のさらなる態様によれば、上述した第1から第4のさらなる態様の1つを具現化する方法の各ステップを実現するためのコンピュータプログラムの命令を記憶するコンピュータ読み出し可能な記憶媒体が提供される。
コンポーネント間の相互依存性を考慮することにより、本発明によればSAOの符号化効率を改善し、SAOパラメータを格納するのに必要なメモリバッファを減少し、また分類の複雑さを低減することが出来る。
本発明の第7のさらなる態様によれば、複数のサンプルを備える画像の少なくとも一部を符号化するための符号化装置が提供され、各サンプルは少なくとも2つのコンポーネントを有し、符号化された画像は少なくとも1つのフィルタリングパラメータを有し、前記符号化装置は、
少なくとも1つの符号化されたサンプルを提供するために、前記画像の少なくとも1つのサンプルの第1および第2のコンポーネントを符号化するための手段と、
前記少なくとも1つの符号化されたサンプルを復号化するための手段と、
前記画像の前記少なくとも1つのサンプルの少なくとも1つのコンポーネントと前記少なくとも1つの対応する復号化されたサンプルの前記少なくとも1つの対応するコンポーネントとの間の差分の関数として、前記少なくとも1つのフィルタリングパラメータを計算するための手段であって、前記少なくとも1つのフィルタリングパラメータは復号化されたサンプルの少なくとも第1および第2のコンポーネントを独立してフィルタリングするループフィルタ内で使用されるように計算される、手段と、
を有する。
コンポーネント間の相互依存性を考慮することにより、本発明によれば、SAOの符号化効率を改善し、SAOパラメータを格納するのに必要なメモリバッファを減少し、また分類の複雑さを低減することが出来る。
ある実施形態において、前記装置はフラグを符号化するための手段をさらに有し、前記少なくとも1つのフィルタリングパラメータは第1のサンプルの少なくとも第1のコンポーネントに関連付けられた少なくとも1つのフラグを有し、前記少なくとも1つのフラグは少なくとも第1のコンポーネントをフィルタリングするための第2のサンプルの少なくとも第2のコンポーネントに関連付けられた前記少なくとも1つのフィルタリングパラメータへの参照を示す。
別の実施形態において、前記装置はフラグを符号化するための手段をさらに有し、前記少なくとも1つのフィルタリングパラメータは、第1のサンプルの少なくとも第1のコンポーネントに関連付けられた少なくとも1つのフラグをさらに有し、前記少なくとも1つのフラグは、第1のサンプルの複数のコンポーネントをフィルタリングするための第2のサンプルの少なくとも第2のコンポーネントに関連付けられた少なくとも1つのフィルタリングパラメータへの参照を示す。
本発明の第8のさらなる態様によれば、複数のサンプルを備える画像の少なくとも一部を復号化する復号化装置が提供され、各サンプルは少なくとも2つのコンポーネントを有し、前記符号化された画像は少なくとも1つのフィルタリングパラメータを有し、前記装置は、
少なくとも1つの再構成されたサンプルの第1および第2のコンポーネントを提供するために、少なくとも1つの符号化されたサンプルの第1および第2のコンポーネントを復号化するための手段と、
前記少なくとも1つのフィルタリングパラメータを復号化するための手段と、
ループフィルタ内で前記少なくとも1つの再構成されたサンプルをフィルタリングするための手段であって、前記少なくとも1つの再構成されたサンプルの前記第1のコンポーネントおよび前記第2のコンポーネントのフィルタリングは復号化された少なくとも1つのフィルタリングパラメータの少なくとも1つの共通のフィルタリングパラメータに基づく、手段と、を有する。
コンポーネント間の相互依存性を考慮することにより、本発明によればSAOの符号化効率を改善し、SAOパラメータを格納するのに必要なメモリバッファを減少し、また分類の複雑さを低減することが出来る。
ある実施形態において、前記装置は少なくとも1つのフィルタリングパラメータへの参照を示す少なくとも1つのフラグを取得するための手段、少なくとも1つのフィルタリングパラメータへの参照を示す少なくとも別のフラグを取得する手段、および取得された前記少なくとも別のフラグを分析するための手段、前記少なくとも1つのフラグを取得するための手段は取得された少なくとも別のフラグを分析するための手段に応答する、をさらに有する。
ある実施形態において、前記装置は復号化された前記少なくとも1つのフィルタリングパラメータの関数として、前記少なくとも1つの再構成されたサンプルの少なくとも前記第1のコンポーネントをフィルタリングするために使用されるフィルタリングパラメータを計算するための手段をさらに有する。
さらなるある実施形態において、前記装置は前記復号化された少なくとも1つのフィルタリングパラメータの関数として前記少なくとも1つの再構成されたサンプルの前記第1および第2のコンポーネントをフィルタリングするために使用されるフィルタリングパラメータを計算するための手段をさらに有する。
本発明の第9のさらなる態様によれば複数のサンプルを備える画像の少なくとも一部を符号化するための符号化装置が提供され、各サンプルは少なくとも2つのコンポーネントを備え、符号化された画像は少なくとも1つのフィルタリングパラメータを有し、前記装置は、
少なくとも1つの符号化されたサンプルを提供するために前記画像の少なくとも1つのサンプルの第1および第2のコンポーネントを符号化するための手段と、
前記少なくとも1つの符号化されたサンプルを復号化するための手段と、
前記画像の前記少なくとも1つのサンプルのコンポーネントと前記少なくとも1つの復号化されたサンプルの前記対応するコンポーネントとの間の差分の関数として、前記少なくとも1つのフィルタリングパラメータを計算するための手段であって、前記少なくとも1つのフィルタリングパラメータは復号化されたサンプルの少なくとも第1および第2のコンポーネントを独立してフィルタリングするためにループフィルタ内で使用されるように計算される、手段と、
を有する。
コンポーネント間の相互依存性を考慮することにより、本発明によればSAOの符号化効率を改善し、SAOパラメータを格納するのに必要なメモリバッファを減少し、また分類の複雑さを低減させることが出来る。
本発明の第10のさらなる態様によれば、複数のサンプルを備える画像の少なくとも一部を復号化する復号化装置が提供され、各サンプルは少なくとも2つのコンポーネントを有し、符号化された画像は少なくとも1つのフィルタリングパラメータを備え、前記装置は、
第1の再構成されたサンプルの第1のコンポーネントおよび第2の再構成されたサンプルの第2のコンポーネントを提供するために、第1の符号化されたサンプルの第1のコンポーネントおよび第2の符号化されたサンプルの第2のコンポーネントを復号化するための手段と、
前記少なくとも1つのフィルタリングパラメータを復号化するための手段と、
ループフィルタ内で、再構成されたサンプルをフィルタリングするための手段であって、前記第1の再構成されたサンプルの前記第1のコンポーネントおよび前記第2の再構成されたサンプルの前記第2のコンポーネントのフィルタリングは前記復号化された少なくとも1つのフィルタリングパラメータの少なくとも1つの共通のフィルタリングパラメータに基づく、手段と、
を有する。
コンポーネント間の相互依存性を考慮することにより、本発明によればSAOの符号化効率を改善し、SAOパラメータを格納するのに必要なメモリバッファを減少し、また分類の複雑さを低減させることが出来る。
ある実施形態において、前記装置はフィルタリングパラメータを計算する手段をさらに備え、第1の複数のフィルタリングパラメータは前記第1の再構成されたサンプルの前記第1のコンポーネントに関連付けられ、第2の複数のフィルタリングパラメータは前記第2の再構成されたサンプルの前記第2のコンポーネントに関連付けられ、前記第1の複数のフィルタリングパラメータのフィルタリングパラメータ値は前記第2の複数のフィルタリングパラメータのフィルタリングパラメータ値に等しく、前記第1の複数のフィルタリングパラメータのフィルタリングパラメータ値は前記第2の複数のフィルタリングパラメータのフィルタリングパラメータ値の順序とは逆の順序である。
別の実施形態において、前記装置はフィルタリングパラメータを計算する手段をさらに備え、第1の複数のフィルタリングパラメータは前記第1の再構成されたサンプルの前記第1のコンポーネントに関連付けられ、第2の複数のフィルタリングパラメータは前記第2の再構成されたサンプルの前記第2のコンポーネントに関連付けられ、前記第1の複数のフィルタリングパラメータの前記フィルタリングパラメータ値は所定の重み係数により乗算された前記第2の複数のフィルタリングパラメータの前記フィルタリングパラメータ値に等しい。
多くのさらなる変更および変形は前述の例示的な実施形態を参照して当業者には自明であろう、それら実施形態は単に例示として挙げられており且つ本発明の範囲を限定するために意図されるものではなく、添付の特許請求の範囲によってのみ判断される。特に、適切な場合には異なる実施形態からの異なる特徴は入れ替えられてもよい。
特許請求の範囲において、単語「有する(comprising)」は他の要素またはステップを除外せず、不定冠詞「a」または「an」は複数を除外しない。異なる特徴が相互に異なる従属請求項に記載されているという単なる事実は、これら特徴の組み合わせが有利に使用されることができないことを示すものではない。
Figure 0006748749
Figure 0006748749

Claims (4)

  1. 少なくとも一部の画像を構成するために復号されたサンプルに対して、サンプル適応オフセットによるフィルタリング処理を行う方法であって、
    符号化されたサンプルの第1のクロマコンポーネントおよび第2のクロマコンポーネントを復号するステップと、
    最大サイズの符号化ユニットごとに、前記サンプル適応オフセットによるフィルタリング処理のタイプに関するパラメータを復号する復号ステップと、
    前記復号されたサンプル適応オフセットのタイプに関するパラメータに基づいて、前記復号された第1のクロマコンポーネントおよび第2のクロマコンポーネントに対してフィルタリング処理を行うステップと、を有し、
    ルミナンスコンポーネントのためのサンプル適応オフセットによるフィルタリング処理のタイプに関するパラメータがエッジオフセットタイプである場合において前記復号ステップにおいて、前記第1のクロマコンポーネントおよび第2のクロマコンポーネントに対して専用の前記サンプル適応オフセットによるフィルタリング処理のタイプに関するパラメータが復号される、ことを特徴とする方法。
  2. 請求項1に記載の方法の各ステップを実現するためのコンピュータプログラムの命令を格納するコンピュータ可読記憶媒体。
  3. 少なくとも一部の画像を構成するために復号されたサンプルに対して、サンプル適応オフセットによるフィルタリング処理を行う装置であって、
    符号化されたサンプルの第1のクロマコンポーネントおよび第2のクロマコンポーネントを復号する手段と、
    最大サイズの符号化ユニットごとに、前記サンプル適応オフセットによるフィルタリング処理のタイプに関するパラメータを復号する復号手段と、
    前記復号されたサンプル適応オフセットのタイプに関するパラメータに基づいて、前記復号された第1のクロマコンポーネントおよび第2のクロマコンポーネントに対してフィルタリング処理を行う手段と、を有し、
    ルミナンスコンポーネントのためのサンプル適応オフセットによるフィルタリング処理のタイプに関するパラメータがエッジオフセットタイプである場合において前記復号手段は、前記第1のクロマコンポーネントおよび第2のクロマコンポーネントに対して専用のパラメータを復号することを特徴とする装置。
  4. 請求項3に記載の各手段を実現するためのコンピュータプログラム。
JP2019034903A 2011-11-07 2019-02-27 再構成された画像のサンプルのセットのための補償オフセットを復号するための方法および装置 Active JP6748749B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
GBGB1119206.9A GB201119206D0 (en) 2011-11-07 2011-11-07 Method and device for providing compensation offsets for a set of reconstructed samples of an image
GB1119206.9 2011-11-07
GB1203285.0 2012-02-24
GB1203285.0A GB2499983A (en) 2011-11-07 2012-02-24 Providing compensation offsets for a set of reconstructed samples of an image
GB1205304.7A GB2496220A (en) 2011-11-07 2012-03-26 Optimising Encoding/Decoding/Computation of Filtering Parameters (e.g. Compensation Offsets) for a Set of Reconstructed Samples of an Image
GB1205304.7 2012-03-26

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018076454A Division JP6490276B2 (ja) 2011-11-07 2018-04-11 再構成された画像のサンプルのセットのための補償オフセットを復号するための方法および装置

Publications (2)

Publication Number Publication Date
JP2019110587A JP2019110587A (ja) 2019-07-04
JP6748749B2 true JP6748749B2 (ja) 2020-09-02

Family

ID=45421397

Family Applications (10)

Application Number Title Priority Date Filing Date
JP2014539364A Active JP6184416B2 (ja) 2011-11-07 2012-11-07 画像の再構成サンプルの組に補償オフセットを与えるための方法および装置
JP2014539365A Active JP6067024B2 (ja) 2011-11-07 2012-11-07 画像を構成するために復号されたサンプルに対して、サンプル適応オフセットによるフィルタリング処理を行う方法、プログラム、記憶媒体、および装置
JP2016248232A Active JP6324481B2 (ja) 2011-11-07 2016-12-21 再構成された画像のサンプルのセットのための補償オフセットを符号化するための方法および装置
JP2017143419A Active JP6419269B2 (ja) 2011-11-07 2017-07-25 サンプル適応オフセットの処理を実行するための情報を符号化する符号化装置、符号化方法、符号化方法を実行させるプログラム、および記憶媒体
JP2018030503A Active JP6490264B2 (ja) 2011-11-07 2018-02-23 再構成された画像のサンプルのセットのための補償オフセットを復号するための方法および装置
JP2018076454A Active JP6490276B2 (ja) 2011-11-07 2018-04-11 再構成された画像のサンプルのセットのための補償オフセットを復号するための方法および装置
JP2018192306A Active JP6598957B2 (ja) 2011-11-07 2018-10-11 サンプル適応オフセットの処理を実行するための情報を符号化する符号化方法、および処理方法
JP2019034903A Active JP6748749B2 (ja) 2011-11-07 2019-02-27 再構成された画像のサンプルのセットのための補償オフセットを復号するための方法および装置
JP2019182458A Active JP6797993B2 (ja) 2011-11-07 2019-10-02 サンプル適応オフセットの処理を実行するための情報を符号化する符号化方法
JP2020192241A Active JP7077385B2 (ja) 2011-11-07 2020-11-19 サンプル適応オフセットの処理を実行するための情報を符号化する符号化方法

Family Applications Before (7)

Application Number Title Priority Date Filing Date
JP2014539364A Active JP6184416B2 (ja) 2011-11-07 2012-11-07 画像の再構成サンプルの組に補償オフセットを与えるための方法および装置
JP2014539365A Active JP6067024B2 (ja) 2011-11-07 2012-11-07 画像を構成するために復号されたサンプルに対して、サンプル適応オフセットによるフィルタリング処理を行う方法、プログラム、記憶媒体、および装置
JP2016248232A Active JP6324481B2 (ja) 2011-11-07 2016-12-21 再構成された画像のサンプルのセットのための補償オフセットを符号化するための方法および装置
JP2017143419A Active JP6419269B2 (ja) 2011-11-07 2017-07-25 サンプル適応オフセットの処理を実行するための情報を符号化する符号化装置、符号化方法、符号化方法を実行させるプログラム、および記憶媒体
JP2018030503A Active JP6490264B2 (ja) 2011-11-07 2018-02-23 再構成された画像のサンプルのセットのための補償オフセットを復号するための方法および装置
JP2018076454A Active JP6490276B2 (ja) 2011-11-07 2018-04-11 再構成された画像のサンプルのセットのための補償オフセットを復号するための方法および装置
JP2018192306A Active JP6598957B2 (ja) 2011-11-07 2018-10-11 サンプル適応オフセットの処理を実行するための情報を符号化する符号化方法、および処理方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2019182458A Active JP6797993B2 (ja) 2011-11-07 2019-10-02 サンプル適応オフセットの処理を実行するための情報を符号化する符号化方法
JP2020192241A Active JP7077385B2 (ja) 2011-11-07 2020-11-19 サンプル適応オフセットの処理を実行するための情報を符号化する符号化方法

Country Status (14)

Country Link
US (12) US9118931B2 (ja)
EP (11) EP2777253B1 (ja)
JP (10) JP6184416B2 (ja)
KR (12) KR102130480B1 (ja)
CN (15) CN107465919B (ja)
BR (10) BR122019026460B1 (ja)
DK (2) DK2777255T3 (ja)
ES (7) ES2905473T3 (ja)
GB (5) GB201119206D0 (ja)
HU (5) HUE057828T2 (ja)
IN (2) IN2014CN04153A (ja)
PL (5) PL3657792T3 (ja)
RU (13) RU2641230C1 (ja)
WO (3) WO2013068427A2 (ja)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101529992B1 (ko) 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
GB201119206D0 (en) 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
US9277194B2 (en) 2011-11-08 2016-03-01 Texas Instruments Incorporated Method and apparatus for image and video coding using hierarchical sample adaptive band offset
US9253482B2 (en) * 2011-11-08 2016-02-02 Texas Insturments Incorporated Method and apparatus for sample adaptive offset without sign coding
EP2947880A1 (en) * 2011-12-22 2015-11-25 Samsung Electronics Co., Ltd Video encoding method using offset adjustment according to classification of pixels by maximum encoding units and apparatus thereof, and video decoding method and apparatus thereof
US9161035B2 (en) * 2012-01-20 2015-10-13 Sony Corporation Flexible band offset mode in sample adaptive offset in HEVC
GB2509707B (en) 2013-01-04 2016-03-16 Canon Kk A method, device, computer program, and information storage means for encoding or decoding a video sequence
KR102166335B1 (ko) * 2013-04-19 2020-10-15 삼성전자주식회사 Sao 파라미터를 시그널링하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US9826240B2 (en) * 2013-07-05 2017-11-21 Texas Instruments Incorporated High throughput VLSI architecture for HEVC SAO encoding
JP6174966B2 (ja) * 2013-10-17 2017-08-02 キヤノン株式会社 画像符号化装置、画像符号化方法、及びプログラム
WO2015058397A1 (en) 2013-10-25 2015-04-30 Microsoft Technology Licensing, Llc Representing blocks with hash values in video and image coding and decoding
WO2015058395A1 (en) 2013-10-25 2015-04-30 Microsoft Technology Licensing, Llc Hash-based block matching in video and image coding
TWI496456B (zh) * 2013-11-19 2015-08-11 Ind Tech Res Inst 畫面間成本計算方法及畫面間成本計算裝置
CN103647975B (zh) * 2013-12-02 2017-01-11 国家广播电影电视总局广播科学研究院 基于直方图分析的改进样本自适应偏移滤波方法
CN110213578B (zh) * 2013-12-13 2021-10-01 北京三星通信技术研究有限公司 视频编解码中像素处理的方法和装置
US9628822B2 (en) 2014-01-30 2017-04-18 Qualcomm Incorporated Low complexity sample adaptive offset encoding
WO2015131325A1 (en) 2014-03-04 2015-09-11 Microsoft Technology Licensing, Llc Hash table construction and availability checking for hash-based block matching
WO2015131326A1 (en) 2014-03-04 2015-09-11 Microsoft Technology Licensing, Llc Encoder-side decisions for block flipping and skip mode in intra block copy prediction
JP6338408B2 (ja) * 2014-03-14 2018-06-06 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR102298599B1 (ko) 2014-04-29 2021-09-03 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 샘플 적응 오프셋 필터링에 대한 인코더측 결정
CN105323588B (zh) * 2014-06-16 2019-06-21 敦泰电子股份有限公司 一种动态适应压缩参数的影像压缩系统
CN105706450B (zh) 2014-06-23 2019-07-16 微软技术许可有限责任公司 根据基于散列的块匹配的结果的编码器决定
KR102276854B1 (ko) * 2014-07-31 2021-07-13 삼성전자주식회사 인루프 필터 파라미터 예측을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
KR102358276B1 (ko) 2014-09-30 2022-02-04 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 코딩을 위한 해시 기반 인코더 결정
GB2533905A (en) * 2014-10-06 2016-07-13 Canon Kk Method and apparatus for video coding and decoding
WO2016127271A1 (en) * 2015-02-13 2016-08-18 Xiaoou Tang An apparatus and a method for reducing compression artifacts of a lossy-compressed image
JP6454229B2 (ja) * 2015-06-10 2019-01-16 日本電信電話株式会社 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
US20170006283A1 (en) * 2015-06-30 2017-01-05 Microsoft Technology Licensing, Llc Computationally efficient sample adaptive offset filtering during video encoding
KR102423880B1 (ko) 2015-10-06 2022-07-21 삼성전자주식회사 인코더의 작동방법과 상기 인코더를 포함하는 시스템 온 칩의 작동 방법
WO2017078450A1 (ko) * 2015-11-04 2017-05-11 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
US10728546B2 (en) 2016-02-05 2020-07-28 Apple Inc. Sample adaptive offset systems and methods
EP3220643A1 (en) * 2016-03-14 2017-09-20 Thomson Licensing Method and device for encoding at least one image unit, and method and device for decoding a stream representative of at least one image unit
CN105959731B (zh) * 2016-04-28 2019-02-05 西安交通大学 一种数字电视的统计复用编码方法
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
EP3306922A1 (en) * 2016-10-05 2018-04-11 Thomson Licensing Method and apparatus for encoding a picture using rate-distortion based block splitting
US10432972B2 (en) * 2016-10-19 2019-10-01 Google Llc Guided offset correction for loop restoration in video coding
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
WO2018120230A1 (zh) * 2016-12-30 2018-07-05 华为技术有限公司 图像滤波方法、装置以及设备
JP7001346B2 (ja) 2017-01-30 2022-01-19 ダイキン工業株式会社 冷凍装置
WO2018174593A1 (ko) 2017-03-22 2018-09-27 김기백 적응적인 화소 분류 기준에 따른 인루프 필터링 방법
CN107360431B (zh) * 2017-06-30 2019-08-02 武汉斗鱼网络科技有限公司 一种帧类型的判断方法及装置
CN107707915B (zh) * 2017-09-30 2019-11-12 上海兆芯集成电路有限公司 采样点自适应偏移滤波的控制方法及其影像处理系统
WO2019082291A1 (ja) * 2017-10-25 2019-05-02 株式会社ソシオネクスト 符号化方法、復号方法、符号化装置、復号装置、符号化プログラム及び復号プログラム
CN111587576B (zh) 2018-01-05 2023-03-31 株式会社索思未来 编码方法、解码方法、编码装置、解码装置以及记录介质
GB2574423A (en) * 2018-06-05 2019-12-11 Canon Kk Video coding and decoding
JP6990627B2 (ja) 2018-06-29 2022-01-12 ダイキン工業株式会社 屋外空気調和装置
KR102312337B1 (ko) * 2018-10-19 2021-10-14 삼성전자주식회사 Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
WO2020094154A1 (en) * 2018-11-09 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Improvements for region based adaptive loop filter
GB2580173B (en) 2018-12-21 2022-07-27 Canon Kk A filter
CN109862374A (zh) * 2019-01-07 2019-06-07 北京大学 一种自适应环路滤波方法及装置
CN109859126B (zh) * 2019-01-17 2021-02-02 浙江大华技术股份有限公司 一种视频降噪方法、装置、电子设备及存储介质
WO2020182620A1 (en) * 2019-03-08 2020-09-17 Canon Kabushiki Kaisha An adaptive loop filter
WO2021093801A1 (en) * 2019-11-14 2021-05-20 Beijing Bytedance Network Technology Co., Ltd. Coding of low bit-depth visual media data
WO2021118427A1 (en) * 2019-12-09 2021-06-17 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive loop filtering
US11711537B2 (en) 2019-12-17 2023-07-25 Alibaba Group Holding Limited Methods for performing wrap-around motion compensation
US11375221B2 (en) * 2020-02-12 2022-06-28 Tencent America LLC Method and apparatus for cross-component filtering
EP4128776A4 (en) 2020-03-26 2024-01-10 Alibaba Group Holding Ltd METHODS FOR SIGNALING VIDEO CODING DATA
CN111698511B (zh) * 2020-06-07 2022-09-16 咪咕文化科技有限公司 图像滤波方法、装置、设备及可读存储介质
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks
US11750816B2 (en) * 2020-12-03 2023-09-05 Alibaba Group Holding Limited Methods and systems for cross-component sample adaptive offset
TWI764492B (zh) * 2020-12-31 2022-05-11 鴻海精密工業股份有限公司 缺陷檢測分類方法、裝置、電子設備及存儲介質
CN112862924B (zh) * 2020-12-31 2022-11-25 哈尔滨工业大学(威海) 多模态成像中图像重建方法、装置和多模态成像技术系统
CN113099230B (zh) * 2021-02-22 2022-09-06 浙江大华技术股份有限公司 编码方法、装置、电子设备及计算机可读存储介质
CN112819017B (zh) * 2021-03-09 2022-08-16 遵义师范学院 基于直方图的高精度色偏图像识别方法
CN113068037B (zh) * 2021-03-17 2022-12-06 上海哔哩哔哩科技有限公司 用于样点自适应补偿的方法及装置、设备和介质
CN112752104B (zh) * 2021-04-06 2021-06-08 浙江华创视讯科技有限公司 图像补偿方法、装置、存储介质及电子设备
KR20240042642A (ko) * 2021-08-19 2024-04-02 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 교차 성분 샘플 적응적 오프셋에서의 코딩 강화

Family Cites Families (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0223557A3 (en) 1985-11-15 1989-04-05 Data General Corporation Display control in a data processing system
KR0148130B1 (ko) * 1992-05-18 1998-09-15 강진구 블럭킹아티팩트를 억제시키는 부호화/복호화 방법 및 그 장치
US5502489A (en) 1994-01-03 1996-03-26 Daewoo Electronics Co., Ltd. Method for the motion adaptive spatial filtering of video signals in an image coding apparatus
US6519369B1 (en) * 1999-02-12 2003-02-11 Sony Corporation Method and apparatus for filter tap expansion
FI117533B (fi) * 2000-01-20 2006-11-15 Nokia Corp Menetelmä digitaalisten videokuvien suodattamiseksi
JP4156188B2 (ja) * 2000-10-20 2008-09-24 パイオニア株式会社 情報出力装置及び情報出力方法、情報記録装置及び情報記録方法、情報出力記録システム及び情報出力記録方法並びに情報記録媒体
US7450641B2 (en) 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
AU2004301091B2 (en) * 2003-08-19 2008-09-11 Panasonic Corporation Method for encoding moving image and method for decoding moving image
RU2358319C2 (ru) 2003-08-29 2009-06-10 Самсунг Электроникс Ко., Лтд. Способ и устройство для фотореалистического трехмерного моделирования лица на основе изображения
US7369709B2 (en) 2003-09-07 2008-05-06 Microsoft Corporation Conditional lapped transform
CN1285214C (zh) * 2004-01-14 2006-11-15 华中科技大学 一种环路滤波方法和环路滤波器
US7397854B2 (en) * 2004-04-29 2008-07-08 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7876833B2 (en) 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
EP1869893B1 (en) * 2005-04-13 2021-01-27 InterDigital VC Holdings, Inc. Luma and chroma decoding using separate predictors
US7511769B2 (en) * 2005-04-19 2009-03-31 Texas Instruments Incorporated Interframe noise reduction for video
RU2419859C2 (ru) * 2005-06-01 2011-05-27 Конинклейке Филипс Электроникс Н.В. Способ и электронное устройство для определения характеристики элемента контента
US8189034B2 (en) * 2005-06-23 2012-05-29 Koninklijke Philips Electronics N.V. Combined exchange of image and related depth data
KR100678958B1 (ko) 2005-07-29 2007-02-06 삼성전자주식회사 인트라 bl 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
CN100438629C (zh) * 2005-09-19 2008-11-26 华为技术有限公司 图像编码处理中的环路滤波方法
KR100647402B1 (ko) * 2005-11-01 2006-11-23 매그나칩 반도체 유한회사 이미지 센서의 화질개선장치 및 그 방법
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
RU2406259C2 (ru) * 2006-03-27 2010-12-10 Квэлкомм Инкорпорейтед Способы и системы для кодирования уточняющих коэффициентов при сжатии видеоданных
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
US9001899B2 (en) 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
US20080080618A1 (en) 2006-09-28 2008-04-03 Kazuya Takagi Video decoding apparatus and method of the same
WO2008057308A2 (en) * 2006-11-08 2008-05-15 Thomson Licensing Methods and apparatus for in-loop de-artifact filtering
CN100578618C (zh) * 2006-12-04 2010-01-06 华为技术有限公司 一种解码方法及装置
US9445128B2 (en) * 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers
RU2461977C2 (ru) * 2006-12-18 2012-09-20 Конинклейке Филипс Электроникс Н.В. Сжатие и снятие сжатия изображения
US8174621B2 (en) * 2008-01-12 2012-05-08 Huaya Microelectronics Digital video decoder architecture
US8234193B2 (en) * 2008-03-03 2012-07-31 Wildfire Interactive, Inc. Method and system for providing online promotions through a social network-based platform
US8831086B2 (en) * 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
JP2009290552A (ja) * 2008-05-29 2009-12-10 Fujifilm Corp 動画圧縮装置および動画圧縮プログラム
KR20090129926A (ko) * 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
JP5161702B2 (ja) * 2008-08-25 2013-03-13 キヤノン株式会社 撮像装置、撮像システム、及び焦点検出方法
CN101742290B (zh) * 2008-11-12 2013-03-27 北京中星微电子有限公司 视频编、解码降噪方法和视频编、解码降噪装置
US20110026593A1 (en) * 2009-02-10 2011-02-03 New Wei Lee Image processing apparatus, image processing method, program and integrated circuit
CN101511024A (zh) * 2009-04-01 2009-08-19 北京航空航天大学 实时电子稳像中基于运动状态识别的运动补偿方法
EP2237557A1 (en) * 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
US20100329362A1 (en) 2009-06-30 2010-12-30 Samsung Electronics Co., Ltd. Video encoding and decoding apparatus and method using adaptive in-loop filter
EP2486731B1 (en) * 2009-10-05 2018-11-07 InterDigital Madison Patent Holdings Methods and apparatus for adaptive filtering of prediction pixels for chroma components in video encoding and decoding
WO2011112237A1 (en) * 2010-03-09 2011-09-15 Thomson Licensing Methods and apparatus for a classification-based loop filter
KR101529992B1 (ko) * 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
US8428372B2 (en) * 2010-04-09 2013-04-23 The Boeing Company Method, apparatus and computer program product for compressing data
CN101860753B (zh) * 2010-04-30 2012-10-03 北京航空航天大学 一种基于分形的视频压缩与解压缩方法
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US8660174B2 (en) * 2010-06-15 2014-02-25 Mediatek Inc. Apparatus and method of adaptive offset for video coding
US9247265B2 (en) * 2010-09-01 2016-01-26 Qualcomm Incorporated Multi-input adaptive filter based on combination of sum-modified Laplacian filter indexing and quadtree partitioning
US9055305B2 (en) * 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
EP2625859A4 (en) * 2010-10-05 2016-03-02 Mediatek Inc METHOD AND DEVICE FOR ADAPTIVE LOOP FILTRATION ON REGION BASE
WO2012063878A1 (ja) * 2010-11-10 2012-05-18 ソニー株式会社 画像処理装置と画像処理方法
CN106454357A (zh) * 2011-01-09 2017-02-22 寰发股份有限公司 已处理视频数据的样本自适应补偿的方法和装置
US9161041B2 (en) * 2011-01-09 2015-10-13 Mediatek Inc. Apparatus and method of efficient sample adaptive offset
US20120183078A1 (en) 2011-01-14 2012-07-19 Samsung Electronics Co., Ltd. Filter adaptation with directional features for video/image coding
US9001883B2 (en) * 2011-02-16 2015-04-07 Mediatek Inc Method and apparatus for slice common information sharing
GB2488830B (en) 2011-03-10 2015-07-29 Canon Kk Method and device for encoding image data and method and device for decoding image data
CN107197258B (zh) 2011-03-30 2020-04-28 Lg 电子株式会社 视频解码装置和视频编码装置
DK2882190T3 (en) * 2011-04-21 2019-02-18 Hfi Innovation Inc Method and apparatus for improved ring-structured filtration
US9008170B2 (en) 2011-05-10 2015-04-14 Qualcomm Incorporated Offset type and coefficients signaling method for sample adaptive offset
CN106028050B (zh) * 2011-05-16 2019-04-26 寰发股份有限公司 用于亮度和色度分量的样本自适应偏移的方法和装置
EP3280144B1 (en) 2011-06-14 2020-11-25 LG Electronics Inc. Method for encoding and decoding image information
WO2012175195A1 (en) * 2011-06-20 2012-12-27 Panasonic Corporation Simplified pipeline for filtering
KR101785770B1 (ko) * 2011-06-23 2017-10-16 후아웨이 테크놀러지 컴퍼니 리미티드 오프셋 복호 장치, 오프셋 부호화 장치, 화상 필터 장치 및 데이터 구조
CN107105305B (zh) * 2011-06-24 2020-04-03 Lg 电子株式会社 图像信息编码和解码方法
EP2849444A3 (en) * 2011-06-28 2015-06-24 Samsung Electronics Co., Ltd Video encoding method using merge information to code offset parameters and apparatus therefor, video decoding method and apparatus therefor
MX2013015212A (es) 2011-08-04 2014-03-21 Mediatek Inc Metodo y aparato para la binarizacion reordenada de elementos de sintaxis en la codificacion aritmetica binaria adaptativa basada en el contexto.
US10070152B2 (en) * 2011-08-24 2018-09-04 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
US9344743B2 (en) 2011-08-24 2016-05-17 Texas Instruments Incorporated Flexible region based sample adaptive offset (SAO) and adaptive loop filter (ALF)
US9485521B2 (en) 2011-09-19 2016-11-01 Lg Electronics Inc. Encoding and decoding image using sample adaptive offset with start band indicator
KR20130034566A (ko) * 2011-09-28 2013-04-05 한국전자통신연구원 제한된 오프셋 보상 및 루프 필터를 기반으로 하는 영상 부호화 및 복호화 방법 및 그 장치
WO2013046990A1 (ja) * 2011-09-29 2013-04-04 シャープ株式会社 オフセット復号装置、オフセット符号化装置、画像フィルタ装置、および、データ構造
US20130083844A1 (en) * 2011-09-30 2013-04-04 In Suk Chong Coefficient coding for sample adaptive offset and adaptive loop filter
US9357235B2 (en) 2011-10-13 2016-05-31 Qualcomm Incorporated Sample adaptive offset merged with adaptive loop filter in video coding
US20140198844A1 (en) * 2011-10-24 2014-07-17 Mediatek Inc. Method and apparatus for non-cross-tile loop filtering
JP2013093792A (ja) * 2011-10-27 2013-05-16 Sony Corp 画像処理装置および方法
TWI577191B (zh) 2011-11-03 2017-04-01 太陽專利信託 以脈衝碼調變模式編碼之區塊的濾波技術
JP2013138395A (ja) 2011-11-04 2013-07-11 Sharp Corp 画像フィルタ装置、画像復号装置、画像符号化装置、および、データ構造
US10051289B2 (en) * 2011-11-04 2018-08-14 Qualcomm Incorporated Adaptive center band offset filter for video coding
GB201119206D0 (en) 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
US20130136173A1 (en) 2011-11-15 2013-05-30 Panasonic Corporation Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
EP2947880A1 (en) * 2011-12-22 2015-11-25 Samsung Electronics Co., Ltd Video encoding method using offset adjustment according to classification of pixels by maximum encoding units and apparatus thereof, and video decoding method and apparatus thereof
US9161035B2 (en) 2012-01-20 2015-10-13 Sony Corporation Flexible band offset mode in sample adaptive offset in HEVC
US9380302B2 (en) 2012-02-27 2016-06-28 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
KR101636269B1 (ko) * 2012-07-04 2016-07-05 인텔 코포레이션 3차원 비디오 코딩을 위한 뷰 간 필터 파라미터 재사용
CA3029323C (en) * 2012-07-16 2020-03-24 Samsung Electronics Co., Ltd. Video encoding method and video encoding apparatus and video decoding method and video decoding apparatus for signaling sao parameters

Also Published As

Publication number Publication date
WO2013068428A2 (en) 2013-05-16
US9118931B2 (en) 2015-08-25
CN107396105A (zh) 2017-11-24
DK2777255T3 (en) 2017-05-15
EP3657790B1 (en) 2021-12-22
US20150334393A1 (en) 2015-11-19
WO2013068433A2 (en) 2013-05-16
JP6067024B2 (ja) 2017-01-25
RU2019137625A3 (ja) 2021-05-24
KR20180125616A (ko) 2018-11-23
ES2906155T3 (es) 2022-04-13
CN107197271B (zh) 2020-04-21
US20150326860A1 (en) 2015-11-12
JP7077385B2 (ja) 2022-05-30
JP2017098979A (ja) 2017-06-01
BR122019026459B1 (pt) 2022-11-22
CN111405278B (zh) 2022-05-24
GB201200918D0 (en) 2012-02-29
EP2777255A2 (en) 2014-09-17
HUE048923T2 (hu) 2020-09-28
US20150334423A1 (en) 2015-11-19
CN107566840B (zh) 2020-05-01
KR102130480B1 (ko) 2020-07-06
HUE057829T2 (hu) 2022-06-28
HUE047964T2 (hu) 2020-05-28
WO2013068427A3 (en) 2013-07-04
KR20140090698A (ko) 2014-07-17
ES2626823T3 (es) 2017-07-26
CN111405278A (zh) 2020-07-10
EP3270592A1 (en) 2018-01-17
CN107465918A (zh) 2017-12-12
BR122019028117B1 (pt) 2022-11-22
PL3396957T3 (pl) 2020-05-18
EP3396957A1 (en) 2018-10-31
EP3657791A1 (en) 2020-05-27
BR122019028118B1 (pt) 2022-05-17
KR101920105B1 (ko) 2018-11-19
EP3270592B1 (en) 2018-11-07
EP2777253A2 (en) 2014-09-17
EP3247117B1 (en) 2020-01-08
US20140301480A1 (en) 2014-10-09
PL3657791T3 (pl) 2022-06-20
US20170280165A1 (en) 2017-09-28
CN107707914A (zh) 2018-02-16
US9848208B2 (en) 2017-12-19
RU2702054C1 (ru) 2019-10-03
BR112014010885A2 (pt) 2017-04-18
GB2499983A (en) 2013-09-11
JP6490264B2 (ja) 2019-03-27
JP2014533028A (ja) 2014-12-08
RU2684478C1 (ru) 2019-04-09
RU2019137625A (ru) 2021-05-24
RU2701130C1 (ru) 2019-09-24
KR102083280B1 (ko) 2020-03-02
KR20190114049A (ko) 2019-10-08
EP3247117A1 (en) 2017-11-22
ES2771249T3 (es) 2020-07-06
JP6598957B2 (ja) 2019-10-30
RU2716535C1 (ru) 2020-03-12
HUE057826T2 (hu) 2022-06-28
KR20180125042A (ko) 2018-11-21
JP2019110587A (ja) 2019-07-04
KR20180125041A (ko) 2018-11-21
CN107483935B (zh) 2020-08-11
KR102068432B1 (ko) 2020-01-20
EP2777254A2 (en) 2014-09-17
US9794596B2 (en) 2017-10-17
US20180367815A1 (en) 2018-12-20
US10743033B2 (en) 2020-08-11
US20190281322A1 (en) 2019-09-12
BR122019028115B1 (pt) 2023-02-07
GB201205304D0 (en) 2012-05-09
RU2636666C1 (ru) 2017-11-27
CN107197271A (zh) 2017-09-22
CN103975588A (zh) 2014-08-06
DK2777253T3 (en) 2017-05-22
KR20200022537A (ko) 2020-03-03
IN2014CN04154A (ja) 2015-07-10
KR20140095112A (ko) 2014-07-31
EP3396957B1 (en) 2019-12-25
EP3657790A1 (en) 2020-05-27
KR102029614B1 (ko) 2019-10-07
CN107197256B (zh) 2021-09-21
RU2676410C1 (ru) 2018-12-28
JP2019036982A (ja) 2019-03-07
RU2708351C1 (ru) 2019-12-05
KR101920529B1 (ko) 2018-11-20
BR122019026456B1 (pt) 2022-05-24
EP3648461A1 (en) 2020-05-06
KR101972366B1 (ko) 2019-04-25
US10575020B2 (en) 2020-02-25
RU2707926C1 (ru) 2019-12-02
CN103975588B (zh) 2017-06-06
GB201206591D0 (en) 2012-05-30
EP3657792A1 (en) 2020-05-27
EP3657791B1 (en) 2021-12-22
KR20140090648A (ko) 2014-07-17
CN103975590A (zh) 2014-08-06
GB2496220A (en) 2013-05-08
BR112014010885B1 (pt) 2022-05-17
JP2014534762A (ja) 2014-12-18
CN107465918B (zh) 2020-08-11
CN107295337A (zh) 2017-10-24
JP6419269B2 (ja) 2018-11-07
GB201119206D0 (en) 2011-12-21
CN107197270A (zh) 2017-09-22
KR20140093247A (ko) 2014-07-25
CN107465919B (zh) 2020-05-01
CN107347156A (zh) 2017-11-14
WO2013068428A3 (en) 2013-07-18
HUE057828T2 (hu) 2022-06-28
ES2772837T3 (es) 2020-07-08
KR102068431B1 (ko) 2020-01-20
EP3229471A1 (en) 2017-10-11
JP6324481B2 (ja) 2018-05-16
US20140369429A1 (en) 2014-12-18
CN107566840A (zh) 2018-01-09
US20170359598A1 (en) 2017-12-14
US11076173B2 (en) 2021-07-27
KR20180125040A (ko) 2018-11-21
KR102030304B1 (ko) 2019-10-08
PL3657790T3 (pl) 2022-06-20
CN107347156B (zh) 2020-04-21
US20210306675A1 (en) 2021-09-30
US20190373291A1 (en) 2019-12-05
WO2013068433A3 (en) 2013-11-21
KR101530244B1 (ko) 2015-06-22
JP6184416B2 (ja) 2017-08-23
KR101530832B1 (ko) 2015-06-22
ES2905473T3 (es) 2022-04-08
KR20180125052A (ko) 2018-11-21
US11601687B2 (en) 2023-03-07
CN107483935A (zh) 2017-12-15
GB2496222A (en) 2013-05-08
IN2014CN04153A (ja) 2015-07-10
CN103975590B (zh) 2017-09-26
BR122019026460B1 (pt) 2022-11-22
US10085042B2 (en) 2018-09-25
EP2777253B1 (en) 2017-04-12
CN107465919A (zh) 2017-12-12
CN103975587B (zh) 2017-05-10
CN103975587A (zh) 2014-08-06
PL3657792T3 (pl) 2022-05-16
EP2777254B1 (en) 2017-09-06
GB201203285D0 (en) 2012-04-11
CN107197270B (zh) 2020-03-17
JP2020022183A (ja) 2020-02-06
RU2586862C2 (ru) 2016-06-10
JP6797993B2 (ja) 2020-12-09
RU2586863C2 (ru) 2016-06-10
EP2777255B1 (en) 2017-03-29
BR122019028116B1 (pt) 2022-05-17
CN107396105B (zh) 2020-03-31
JP2018137752A (ja) 2018-08-30
JP6490276B2 (ja) 2019-03-27
WO2013068427A2 (en) 2013-05-16
RU2014123360A (ru) 2015-12-20
JP2021040333A (ja) 2021-03-11
GB2496213A (en) 2013-05-08
BR112014010882A2 (pt) 2017-05-02
JP2017225144A (ja) 2017-12-21
KR20180125051A (ko) 2018-11-21
GB2496213B (en) 2014-12-03
RU2641230C1 (ru) 2018-01-16
US20140301489A1 (en) 2014-10-09
US10462493B2 (en) 2019-10-29
BR122019026461B1 (pt) 2023-01-31
US9106931B2 (en) 2015-08-11
RU2014123386A (ru) 2015-12-20
US9774886B2 (en) 2017-09-26
PL3247117T3 (pl) 2020-06-01
BR112014010882B1 (pt) 2022-05-17
CN107707914B (zh) 2021-03-19
ES2906724T3 (es) 2022-04-20
RU2020108456A (ru) 2021-08-27
CN107197256A (zh) 2017-09-22
EP3657792B1 (en) 2021-12-22
US10771819B2 (en) 2020-09-08
JP2018139426A (ja) 2018-09-06
CN107295337B (zh) 2020-03-31
ES2628070T3 (es) 2017-08-01

Similar Documents

Publication Publication Date Title
JP6748749B2 (ja) 再構成された画像のサンプルのセットのための補償オフセットを復号するための方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200807

R151 Written notification of patent or utility model registration

Ref document number: 6748749

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151