JP6073445B2 - エッジオフセットを適用する方法 - Google Patents

Description

本発明は、原本サンプルと復元サンプルとの間の差分値を減らすためのサンプル適応的オフセット方法に関し、より詳しくは、現在サンプルと隣接サンプルとの間の差分値に基づいて復元サンプルに適応的にオフセットを適用する方法に関する。

映像データを符号化するために、複数個の映像標準が開発されてきた。前記映像標準は、例えば、ＭＰＥＧ−２、ＭＰＥＧ−４及びＨ．２６４／ＭＰＥＧ−４ ＡＶＣなどである。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの後続標準として、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）がＩＳＯ／ＩＥＣ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）とＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔ Ｇｒｏｕｐ（ＶＣＥＧ）により共同開発中である。

ＨＥＶＣによると、一つのピクチャが複数個の最大コーディングユニット（ＬＣＵ）に分割され、イントラ予測又はインター予測を利用して予測ブロックを生成することによって各最大コーディングユニットの一つ以上のコーディングユニットを符号化する。原本ブロックと予測ブロックとの間の残差ブロックが変換されて変換ブロックを生成し、変換ブロックは、量子化パラメータと予め決められた量子化マトリクスを利用して量子化される。量子化ブロックの量子化係数は、スキャンパターンを利用してスキャンされ、エントロピー符号化される。前記量子化係数は、逆量子化及び逆変換されて残差ブロックを生成する。前記残差ブロックは、予測ブロックと結合して復元映像を生成する。復元映像は、ブロッキングアーチファクトを除去するための一つ以上のデブロッキングフィルタを利用して適応的にフィルタリングされる。

しかし、Ｈ．２６４及び標準化進行中であるＨＥＶＣに記述されたデブロッキングフィルタ技術は、あまりにも複雑であるため、復号化装置における復号化性能を劣化させる。また、ブロックエッジにデブロッキングフィルタが適用されるとしても、原本サンプルとフィルタリングされたサンプルとの間の差分値は、依然として存在する。前記差分値を補償するために、サンプル適応的オフセット（ＳＡＯ：Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）過程が紹介される。しかし、現在のＳＡＯ過程によると、最適のエッジインデックスが決定できないため、原本サンプルとフィルタリングされたサンプルとの間の差分値が増加する問題がある。

したがって、後処理の性能を向上させ、且つ後処理の複雑度を減少させる新たな技術が要求される。

本発明が達成しようとする目的は、原本サンプルと復元サンプルとの間の差分値を減らし、前記差分値を補償するために使われるビット量を減らす方法を提供することである。

本発明によるエッジオフセットを適用する方法は、現在サンプルのエッジインデックスを生成し、現在サンプルに前記エッジインデックスに対応するエッジオフセットを適用することを特徴とする。前記エッジインデックスは、現在サンプルとエッジオフセットタイプにより決定される現在サンプルに隣接した２個のサンプルとの間の差分値を利用して生成される。
例えば、本願発明は以下の項目を提供する。
（項目１）
エッジオフセットを適用する方法において、
現在サンプルのエッジインデックスを生成するステップ；及び、
現在サンプルに前記エッジインデックスに対応するエッジオフセットを適用するステップ；を含み、
前記エッジインデックスは、以下の式により生成され、
ｅｄｇｅＩｄｘ＝２＋ｓｉｇｎ３（ｒｅｃＰｉｃｔｕｒｅ（ｘ）−ｒｅｃＰｉｃｔｕｒｅ（ｘ−１））＋ｓｉｇｎ３（ｒｅｃＰｉｃｔｕｒｅ（ｘ）−ｒｅｃＰｉｃｔｕｒｅ（ｘ＋１）
ここで、ｓｉｇｎ３（ｙ）は、ｙ値が０より大きい場合に１であり、ｙ値が０より小さい場合に−１であり、及びｙ値が０の場合に０であり、ｒｅｃＰｉｃｔｕｒｅ（ｘ）は、現在サンプル値を示し、ｒｅｃＰｉｃｔｕｒｅ（ｘ−１）及びｒｅｃＰｉｃｔｕｒｅ（ｘ＋１）は、２個の隣接サンプルを示すことを特徴とする方法。
（項目２）
前記２個の隣接サンプルは、現在領域のエッジオフセットタイプにより決定されることを特徴とする項目１に記載の方法。
（項目３）
前記エッジオフセットは、前記エッジインデックスに基づいて正の値又は負の値に設定されることを特徴とする項目１に記載の方法。
（項目４）
前記エッジインデックスが０又は１の場合、前記エッジオフセットは、正の値に設定されることを特徴とする項目３に記載の方法。
（項目５）
前記エッジインデックスが３又は４の場合、前記エッジオフセットは、負の値に設定されることを特徴とする項目３に記載の方法。
（項目６）
前記エッジインデックスが２の場合、前記エッジオフセットは、０に設定されることを特徴とする項目１に記載の方法。

本発明による方法では、現在サンプルのエッジインデックスを生成し、現在サンプルに前記エッジインデックスに対応するエッジオフセットを適用することを特徴とする。前記エッジインデックスは、現在サンプルとエッジオフセットタイプにより決定される現在サンプルに隣接した２個のサンプルとの間の差分値を利用して生成される。したがって、最適のエッジインデックスを生成することによって原本サンプルと復元サンプルとの間の差分値を効果的に減少させる。また、オフセットの符号を正の値又は負の値に固定することによって前記差分値を減らすために要求されるビット量を減らすことができる。

本発明による動画符号化装置を説明するブロック図である。 本発明による動画復号化装置を説明するブロック図である。 本発明によるデブロッキングフィルタリング過程を説明するフローチャートである。 本発明による境界強度を決定する方法を説明する概念図である。 本発明による４−サンプルエッジを説明する概念図である。 本発明によるピクチャを複数個の領域に分割する方法を説明する概念図である。 本発明によるエッジタイプを説明する概念図である。 本発明によるエッジインデックスを説明する概念図である。

以下、本発明の多様な実施例を例示図面を参照して詳細に説明する。本発明は、多様な変更を加えることができ、多様な実施例を有することができ、本発明を特定の実施形態に対して限定するものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むと理解しなければならない。各図面の説明において、類似の構成要素に対して類似の参照符号を使用した。

本発明による映像符号化装置及び映像復号化装置は、パソコン、個人携帯端末、移動マルチメディアプレーヤー、スマートフォン又は無線通信ターミナルなどのようにユーザターミナルである。前記映像符号化装置及び映像復号化装置は、多様な機器と通信する通信ユニットと、映像を符号化又は復号化するために多様なプログラムとデータを格納するためのメモリとを具備する。

図１は、本発明による動画符号化装置１０００を示すブロック図である。

図１を参照すると、前記動画符号化装置１０００は、ピクチャ分割部１０１０、変換部１０２０、量子化部１０３０、スキャニング部１０４０、エントロピー符号化部１０５０、イントラ予測部１０６０、インター予測部１０７０、逆量子化部１０８０、逆変換部１０９０、後処理部１１００、ピクチャ格納部１１１０、減算部１１２０及び加算部１１３０を含む。

ピクチャ分割部１０１０は、ピクチャ又はスライスを複数個のＬＣＵ（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）に分割し、前記各々のＬＣＵを一つ以上のコーディングユニットに分割する。ＬＣＵのサイズは、３２×３２、６４×６４又は１２８×１２８である。ピクチャ分割部１０１０は、各コーディングユニットの予測モード及び分割モード（ｐａｒｔｉｔｉｏｎｉｎｇ ｍｏｄｅ）を決定する。

一つのＬＣＵは、一個又は複数個のコーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ）を含む。前記ＬＣＵは、分割構造を示すために、再帰的クワッドツリー構造（ｒｅｃｕｒｓｉｖｅ ｑｕａｄｔｒｅｅ ｓｔｒｕｃｔｕｒｅ）を有する。コーディングユニットの最大サイズ及び最小サイズを示す情報がシーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）に含まれる。前記分割構造は、一個又は複数個の分割コーディングユニットフラグ（ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ）を利用して特定される。コーディングユニットは、２Ｎ×２Ｎのサイズを有する。ＬＣＵのサイズが６４×６４であり、且つ最小コーディングユニット（ＳＣＵ：ｓｍａｌｌｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ）が８×８の場合、コーディングユニットは、６４×６４、３２×３２、１６×１６又は８×８である。

コーディングユニットは、一個又は複数個の予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）を含む。イントラ予測において、前記予測ユニットのサイズは、２Ｎ×２Ｎ又はＮ×Ｎである。インター予測において、前記予測ユニットのサイズは、前記分割モードにより特定される。コーディングユニットが対称に分割されると、分割モードは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ及びＮ×Ｎのうち一つである。コーディングユニットが非対称に分割されると、分割モードは、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ及びｎＲ×２Ｎのうち一つである。

コーディングユニットは、一個又は複数個の変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）を含む。変換ユニットは、コーディングユニットの分割構造を示すために、再帰的クワッドツリー構造（ｒｅｃｕｒｓｉｖｅ ｑｕａｄｔｒｅｅ ｓｔｒｕｃｔｕｒｅ）を有する。分割構造は、一個又は複数個の分割変換ユニットフラグにより表現される。変換ユニットの最大サイズ及び最小サイズを示すパラメータがシーケンスパラメータセットに含まれる。

変換部１０２０は、残差ブロックを変換して変換ブロックを生成する。残差信号は、変換ユニット単位に変換される。前記残差信号は、イントラ予測部１０６０又はインター予測部１０７０により生成される予測ブロックを原本ブロックから減算して誘導される。

予測モード（イントラ予測モード又はインター予測モード）に応じて変換マトリクスが変わることができる。また、イントラ予測モードでは、変換マトリクスがイントラ予測モードに基づいて適応的に決定されることができる。変換ユニットは、２個の１次元変換マトリクス（水平マトリクス及び垂直マトリクス）を利用して変換される。例えば、水平イントラ予測モードでは、残差信号が垂直方向性を有するため、ＤＣＴベースの整数マトリクスが垂直方向に適用され、ＤＳＴベース又はＫＬＴベースの整数マトリクスが水平方向に適用されることができる。垂直イントラ予測モードでは、ＤＣＴベースの整数マトリクスが水平方向に適用され、ＤＳＴベース又はＫＬＴベースの整数マトリクスが垂直方向に適用されることができる。一方、変換マトリクスの種類が変換ユニットのサイズにより決定されることもできる。

量子化部１０３０は、前記変換ブロックを量子化するための量子化パラメータを決定する。量子化パラメータは、量子化ステップサイズを意味する。量子化パラメータは、量子化ユニット毎に決定される。量子化ユニットは、予め決められたサイズより大きい又は同じコーディングユニットである。前記予め決められたサイズは、量子化ユニットの最小サイズである。前記最小サイズを有する量子化ユニットを最小量子化ユニットという。コーディングユニットのサイズが量子化ユニットの最小サイズより大きい又は同じ場合、前記コーディングユニットは、量子化ユニットになる。複数個のコーディングユニットが最小量子化ユニットに含まれることもできる。前記最小量子化ユニットは、８×８ブロック又は１６×１６ブロックである。前記最小サイズは、ピクチャ毎に決定されることができる。

量子化部１０３０は、量子化パラメータ予測子を生成し、量子化パラメータから量子化パラメータ予測子を減算して差分量子化パラメータを生成する。前記差分量子化パラメータは、符号化される。

前記量子化パラメータ予測子は、下記のように生成される。

［第１の実施例］

左側コーディングユニット、上側コーディングユニット及び左上側コーディングユニットの量子化パラメータは、前記順序通りに検索される。前記量子化パラメータ予測子は、一個又は二個の利用可能な量子化パラメータを利用して生成される。例えば、１番目の利用可能な量子化パラメータが前記量子化パラメータ予測子に設定される。または、最初の２個の利用可能な量子化パラメータの平均値を量子化パラメータ予測子に設定し、一つの量子化パラメータのみが利用可能な場合は、前記利用可能な量子化パラメータが量子化パラメータ予測子に設定される。

［第２の実施例］

現在ブロックの左側コーディングユニット、上側コーディングユニット及び左上側コーディングユニットが存在しない。しかし、符号化の順序上、現在コーディングユニットの以前コーディングユニットは存在することができる。したがって、現在コーディングユニットに隣接した隣接コーディングユニットと以前コーディングユニットの量子化パラメータが前記量子化パラメータ予測子の生成に使われることができる。前記量子化パラメータは、次の順序、即ち、１）左側隣接コーディングユニットの量子化パラメータ、２）上側隣接コーディングユニットの量子化パラメータ、３）左上側隣接コーディングユニットの量子化パラメータ、及び、４）以前コーディングユニットの量子化パラメータの順に検索される。

他の例として、量子化パラメータは、次の順序、即ち、１）左側隣接コーディングユニットの量子化パラメータ、２）上側隣接コーディングユニットの量子化パラメータ、及び、３）以前コーディングユニットの量子化パラメータの順に検索される。

少なくとも２個の量子化パラメータが利用可能な場合、前記順序に検索される最初の２個の利用可能な量子化パラメータの平均値を量子化パラメータ予測子に設定し、一つの量子化パラメータのみが利用可能な場合は、前記利用可能な量子化パラメータが量子化パラメータ予測子に設定される。例えば、前記左側及び上側コーディングユニットの量子化パラメータが利用可能な場合、前記左側及び上側量子化パラメータの平均値が前記量子化パラメータ予測子に設定される。前記左側及び上側コーディングユニットの量子化パラメータのうち一つのみが利用可能な場合、前記利用可能な量子化パラメータと前記以前コーディングユニットの量子化パラメータの平均値が前記量子化パラメータ予測子に設定される。前記左側及び上側コーディングユニットの量子化パラメータが両方とも利用可能でない場合、前記以前コーディングユニットの量子化パラメータが前記量子化パラメータ予測子に設定される。前記平均値は、四捨五入した値である。

量子化部１０３０は、量子化マトリクス及び量子化パラメータを利用して変換ブロックを量子化して量子化ブロックを生成する。量子化ブロックは、逆量子化部１０８０及びスキャニング部１０４０に提供される。

スキャニング部１０４０は、前記量子化ブロックにスキャンパターンを適用し、量子化係数をスキャンして１次元の量子化係数成分に変換する。

イントラ予測では、イントラ予測モード及び変換ユニットのサイズによって量子化係数の分布が変わる。したがって、スキャンパターンがイントラ予測モード及び変換ユニットのサイズに基づいて決定される。スキャンパターンは、ジグザグスキャン、垂直スキャン及び水平スキャンの中から決定されることができる。ジグザグスキャンは、対角線スキャンに代替されることができる。

例えば、変換ユニットのサイズが８×８より小さい又は同じ場合、垂直モード及び前記垂直モードに隣接した予め決められた個数のイントラ予測モードでは水平スキャンが選択され、水平モード及び前記水平モードに隣接した予め決められた個数のイントラ予測モードでは垂直スキャンが選択され、残りのイントラ予測モードではジグザグスキャン又は対角線スキャンが選択される。変換ユニットの大きさが８×８より大きい場合、全てのイントラ予測モードでジグザグスキャン又は対角線スキャンが選択される。

インター予測では、予め決められたスキャンパターンが使われる。前記予め決められたスキャンパターンは、ジグザグスキャン又は対角線スキャンである。

変換ユニットのサイズが予め決められたサイズより大きい場合、前記量子化ブロックは、複数個のサブセットに分割されてスキャンされる。前記予め決められたサイズは４×４である。サブセットをスキャンするスキャンパターンは、各サブセット内の量子化係数をスキャンするスキャンパターンと同じである。各サブセット内の量子化係数は、逆方向にスキャンされる。サブセットも逆方向にスキャンされる。

０でない最後の係数位置を示すパラメータが符号化され、復号器に送信される。前記０でない最後の係数位置は、変換ユニット内の０でない最後の量子化係数の位置を示す。サブセット内の０でない最後の量子化係数の位置を示すパラメータも復号器に送信されることができる。

逆量子化部１０８０は、前記量子化係数を逆量子化する。逆変換部１０９０は、逆量子化された係数を逆変換して残差信号を生成する。

加算部１１３０は、逆変換部１０９０により生成される残差信号とイントラ予測部１０６０又はインター予測部１０７０により生成される予測信号を加える。減算部１１２０は、原本サンプルから予測サンプルを減算して残差信号を生成する。

後処理部１１００は、デブロッキングフィルタリング（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒｉｎｇ）過程、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）過程及び適応的ループフィルタリング（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒｉｎｇ）過程を実行する。

デブロッキングフィルタリング過程は、復元ピクチャ内に示すブロッキングアーチファクトを除去するために実行される。

サンプル適応的オフセット過程は、デブロッキングフィルタリング過程後に原本サンプルと復元サンプルとの間の差を減らすために実行される。サンプル適応的オフセット過程を実行するかどうかは、ピクチャ又はスライス毎に決定される。ピクチャ又はスライスは、複数個のオフセット領域に分けられ、各領域に対してオフセットタイプが決定されることができる。４個のエッジオフセットタイプと２個のバンドオフセットタイプが存在する。オフセットタイプがエッジオフセットタイプのうち一つの場合、前記オフセット領域内の各サンプル毎にエッジタイプが決定される。前記エッジタイプは、現在サンプルと２個の隣接したサンプルを比較して決定される。

適応的ループフィルタリング過程は、フィルタ係数を取得するために復元された映像と原本映像を比較して実行される。フィルタ係数は、４×４ブロック又は８×８ブロック内の全てのサンプルに適用される。したがって、ループフィルタのサイズ及び係数は、コーディングユニット単位に変更されることができる。

ピクチャ格納部１１１０は、後処理部１１００から復元ピクチャを受信し、それらをメモリに格納する。ピクチャは、フレームベースのピクチャ又はフィールドベースのピクチャである。

インター予測部１０７０は、ピクチャ格納部１１１０に格納されている一つ以上の参照ピクチャを利用して動き予測を実行し、一つ以上の参照ピクチャを特定する一つ以上の参照ピクチャインデックスと一つ以上の動きベクトルを決定する。インター予測部１０７０は、前記一つ以上の参照ピクチャインデックス及び一つ以上の動きベクトルを利用して予測ブロックを生成する。

イントラ予測部１０６０は、現在予測ユニットのイントラ予測モードを決定し、前記イントラ予測モードを利用して予測ブロックを生成する。

エントロピー符号化部１０５０は、スキャニング部１０４０から受信される量子化された係数成分、イントラ予測部１０６０から受信されるイントラ予測情報、インター予測部１０７０から受信される動き情報などをエントロピー符号化する。

図２は、本発明による動画復号化装置２０００を説明するブロック図である。

図２に示すように、本発明による動画復号化装置２０００は、エントロピー復号化部２０１０、逆スキャニング部２０２０、逆量子化部２０３０、逆変換部２０４０、イントラ予測部２０５０、インター予測部２０６０、後処理部２０７０、ピクチャ格納部２０８０及び加算部２０９０を含む。

エントロピー復号化部２０１０は、受信されたビットストリームからイントラ予測情報、インター予測情報及び量子化係数成分を抽出してエントロピー復号化する。エントロピー復号化部２０１０は、インター予測情報をインター予測部２０６０に送信し、イントラ予測情報をイントラ予測部２０５０に送信し、量子化係数成分を逆スキャニング部２０２０に送信する。

逆スキャニング部２０２０は、逆スキャンパターンを利用して前記量子化係数成分を２次元の量子化ブロックに変換する。

イントラ予測では、イントラ予測モード及び変換ユニットのサイズに基づいて逆スキャンパターンが選択される。逆スキャンパターンは、ジグザグスキャン、垂直スキャン及び水平スキャンの中から選択されることができる。ジグザグスキャンは、対角線スキャンに代替されることができる。

例えば、変換ユニットのサイズが８×８より小さい又は同じ場合、垂直モード及び前記垂直モードに隣接した予め決められた個数のイントラ予測モードでは水平スキャンが選択され、水平モード及び前記水平モードに隣接した予め決められた個数のイントラ予測モードでは垂直スキャンが選択され、残りのイントラ予測モードではジグザグスキャン又は対角線スキャンが選択される。変換ユニットの大きさが８×８より大きい場合、全てのイントラ予測モードでジグザグスキャン又は対角線スキャンが選択される。

インター予測では、予め決められたスキャンパターンが使われる。前記予め決められたスキャンパターンは、ジグザグスキャン又は対角線スキャンである。

変換ユニットのサイズが予め決められたサイズより大きい場合、前記量子化係数成分は、サブセット単位に逆スキャンされて量子化ブロックを構成する。前記サブセットは、予め決められたサイズを有する。前記予め決められたサイズは、４×４である。変換ユニットのサイズと前記予め決められたサイズが同じ場合、前記量子化係数成分が逆スキャンされて変換ユニットを構成する。前記量子化係数成分がサブセット単位に逆スキャンされる時、同じ逆スキャンパターンが各サブセットの量子化係数成分に適用されることができる。

複数個のサブセットは、逆方向に逆スキャンされる。前記量子化係数成分も逆方向に逆スキャンされる。サブセットを構成するために、量子化係数成分に適用される逆スキャンパターンと複数個の生成された逆スキャンサブセットに適用される逆スキャンパターンが同じである。逆スキャニング部２０２０は、変換ユニットの０でない最後の量子化係数の位置を示すパラメータを使用して逆スキャンを実行する。

逆量子化部２０３０は、エントロピー復号化部２０１０から差分量子化パラメータを受信し、量子化パラメータ予測子を生成して現在コーディングユニットの量子化パラメータを生成する。

前記量子化パラメータ予測子は、下記のように生成される。

［第１の実施例］

左側コーディングユニット、上側コーディングユニット及び左上側コーディングユニットの量子化パラメータは、前記順序通りに検索される。前記量子化パラメータ予測子は、一個又は二個の利用可能な量子化パラメータを利用して生成される。例えば、１番目の利用可能な量子化パラメータが前記量子化パラメータ予測子に設定される。または、最初の２個の利用可能な量子化パラメータの平均値を量子化パラメータ予測子に設定し、一つの量子化パラメータのみが利用可能な場合は、前記利用可能な量子化パラメータが量子化パラメータ予測子に設定される。

［第２の実施例］

現在ブロックの左側コーディングユニット、上側コーディングユニット及び左上側コーディングユニットが存在しない。しかし、符号化の順序上、現在コーディングユニットの以前コーディングユニットは存在することができる。したがって、現在コーディングユニットに隣接した隣接コーディングユニットと以前コーディングユニットの量子化パラメータが前記量子化パラメータ予測子の生成に使われることができる。前記量子化パラメータは、次の順序、即ち、１）左側隣接コーディングユニットの量子化パラメータ、２）上側隣接コーディングユニットの量子化パラメータ、３）左上側隣接コーディングユニットの量子化パラメータ、及び、４）以前コーディングユニットの量子化パラメータの順に検索される。

他の例として、量子化パラメータは、次の順序、即ち、１）左側隣接コーディングユニットの量子化パラメータ、２）上側隣接コーディングユニットの量子化パラメータ、及び、３）以前コーディングユニットの量子化パラメータの順に検索される。

少なくとも２個の量子化パラメータが利用可能な場合、前記順序に検索される最初の２個の利用可能な量子化パラメータの平均値を量子化パラメータ予測子に設定し、一つの量子化パラメータのみが利用可能な場合は、前記利用可能な量子化パラメータが量子化パラメータ予測子に設定される。例えば、前記左側及び上側コーディングユニットの量子化パラメータが利用可能な場合、前記左側及び上側量子化パラメータの平均値が前記量子化パラメータ予測子に設定される。前記左側及び上側コーディングユニットの量子化パラメータのうち一つのみが利用可能な場合、前記利用可能な量子化パラメータと前記以前コーディングユニットの量子化パラメータの平均値が前記量子化パラメータ予測子に設定される。前記左側及び上側コーディングユニットの量子化パラメータが両方とも利用可能でない場合、前記以前コーディングユニットの量子化パラメータが前記量子化パラメータ予測子に設定される。前記平均値は、四捨五入した値である。

逆量子化部２０３０は、前記差分量子化パラメータと前記量子化パラメータ予測子を加えて現在コーディングユニットの量子化パラメータを生成する。現在コーディングユニットの差分量子化パラメータが符号器側から受信されない場合、前記差分量子化パラメータは、０に設定される。前記量子化パラメータは、量子化ユニット毎に生成される。

逆量子化部２０３０は、量子化ブロックを逆量子化する。

逆変換部２０４０は、前記逆量子化されたブロックを逆変換して残差ブロックを生成する。逆変換タイプは、予測モード（イントラ予測モード及びインター予測モード）及び変換ユニットのサイズに基づいて決定される。

加算部２０９０は、前記残差ブロックと予測ブロックを加えて復元サンプルを生成する。

イントラ予測部２０５０は、エントロピー復号化部２０１０から受信されたイントラ予測情報に基づいて現在予測ユニットのイントラ予測モードを復元し、前記復元されたイントラ予測モードに応じて予測ブロックを生成する。

インター予測部２０６０は、エントロピー復号化部２０１０から受信されるインター予測情報に基づいて一つ以上の参照ピクチャインデックスと一つ以上の動きベクトルを復元し、前記一つ以上の参照ピクチャインデックスと一つ以上の動きベクトルを利用して予測ブロックを生成する。

後処理部２０７０の動作は、図１の後処理部１１００の動作と同様である。

ピクチャ格納部２０８０は、後処理部２０７０から後処理されたピクチャを格納する。

図３は、本発明によるデブロッキングフィルタリング過程を説明するフローチャートである。

デブロッキングフィルタリング過程は、図１に示す動画符号化装置の後処理部１１００及び図２に示す動画復号化装置の後処理部２０７０により実行される。

デブロッキングフィルタリングがスライスに実行されると決定されると、デブロッキングフィルタリング過程が前記スライスに適用される。動画復号化装置は、デブロッキングフィルタリングが実行されるかどうかをスライス毎に決定するために、ビットストリームから受信されたフラグ（ｄｉａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｆｌａｇ）を利用する。

デブロッキングフィルタリングは、コーディングユニット単位に実行される。まず、コーディングユニットの左側エッジ部から始まって右側方向に垂直エッジがフィルタリングされる。次に、コーディングユニットの上側エッジ部から始まって下側方向に水平エッジがフィルタリングされる。

デブロッキングフィルタは、予測ユニットエッジと変換ユニットエッジにのみ適用される。予測ユニット又は変換ユニットのサイズの幅又は高さが８−サンプル長さより小さい場合、デブロッキングフィルタは、８×８サンプルグリッドに置かれているエッジに対してのみ適用される。

８×８サンプルグリッドに置かれている４−サンプルエッジに対して境界強度（ｂＳ）が決定される（Ｓ１１０）。

図４は、本発明による境界強度（ｂＳ）を決定するための方法を説明する概念図である。

図４に示すように、境界強度は、８×８サンプルグリッドに置かれている４−サンプルエッジに対して決定される。そして、連続的な２個の境界強度を利用して８×８ブロックエッジに対して境界強度が決定される。

したがって、本発明によると、境界強度を決定するために要求される演算複雑度は、標準化が進行中であるＨＥＶＣに比べて５０％が減少する。また、境界強度を決定するために要求されるメモリ容量と帯域幅も５０％を減らすことができる。結果的に、本発明は、映像品質の劣化無しでハードウェア及びソフトウェアの複雑度を減らすようになる。

図５は、本発明による４−サンプルエッジを説明する概念図である。図５に示すように、４−サンプルエッジは、サンプルｐ０を含むＰブロックとサンプルｑ０を含むＱブロックとの間に位置する。サンプルｐ０は、サンプルｐ０_０〜ｐ０_３のうち一つに対応し、サンプルｑ０は、サンプルｑ０_０〜ｑ０_３のうち一つに対応する。ブロックＰとＱは、予測ユニット又は変換ユニットである。

前記境界強度は、下記のように決定される。境界強度は、４−サンプルエッジ毎に決定される。

サンプルｐ０を含む予測ユニット又はサンプルｑ０を含む予測ユニットがイントラ予測符号化された場合は、４−サンプルエッジの境界強度が２に設定される。４−サンプルエッジは、予測ユニットのエッジである。即ち、ブロックＰとブロックＱがインター符号化されると、境界強度は、０又は１に設定される。

下記の条件のうち一つ以上を満たす場合、境界強度は、１に設定される。

１）４−サンプルエッジが変換ユニットエッジであり、サンプルｐ０を含む変換ユニット又はサンプルｑ０を含む変換ユニットが少なくとも一つの０でない変換係数を含む場合。

２）４−サンプルエッジが予測ユニットエッジであり、サンプルｐ０を含む予測ユニット及びサンプルｑ０を含む予測ユニットがインター予測符号化され、サンプルｐ０を含む予測ユニット及びサンプルｑ０を含む予測ユニットが互いに異なる参照ピクチャを有し、又は互いに異なる個数の動きベクトルを有する場合。

３）サンプルｐ０を含む予測ユニット及びサンプルｑ０を含む予測ユニットがインター予測符号化され、サンプルｐ０を含む予測ユニット及びサンプルｑ０を含む予測ユニットが各々一つの動きベクトルを有し、前記動きベクトルの水平又は垂直成分間の差の絶対値が予め決められた値（例えば、１サンプル）より大きい又は同じ場合。前記エッジは、ＬＣＵの水平境界の一部ではない。

４）サンプルｐ０を含む予測ユニット及びサンプルｑ０を含む予測ユニットがインター予測符号化され、サンプルｐ０を含む予測ユニット及びサンプルｑ０を含む予測ユニットが各々２個の動きベクトルを有し、サンプルｐ０を含む予測ユニット及びサンプルｑ０を含む予測ユニットが少なくとも一つの同じ参照ピクチャを有し、同じ参照ピクチャに対応する２個の動きベクトルの水平又は垂直成分間の差の絶対値が前記予め決められた値より大きい又は同じ場合。前記エッジは、ＬＣＵの水平境界の一部ではない。

前述したように、４−サンプルエッジが８×８サンプルグリッドに置かれていない場合、境界強度は、０に設定される。

一方、前記エッジがＬＣＵ水平境界であり、サンプルｐ０を含む予測ユニットがＬＣＵ水平境界の上側に位置すると、サンプルｐ０を含む予測ユニットの動き情報は、サンプルｐ０を含む予測ユニットの大きさ及び／又は現在予測ユニットの位置に基づいて、サンプルｐ０を含む予測ユニットの左側又は上側隣接予測ユニットの動き情報に代替されることができる。

次に、４−サンプルエッジにデブロッキングフィルタリングが実行されるかどうかが決定される（Ｓ１２０）。

各４−サンプルエッジに対して、下記の二つの条件を満たす場合、デブロッキングフィルタリングが実行される。

１）ｂＳ＞０

２）ｄ＜β

ｂＳは、境界強度を示す。変数βの値は、境界量子化パラメータＱＰ_Ｂに基づいて決定される。

前記変数ｄは、下記のように定義される。

１）ｄ＝ｄ_ｐ０＋ｄ_ｑ０＋ｄ_ｐ３＋ｄ_ｑ３

２）ｄ_ｐｋ＝｜ｐ２_ｋ−２・ｐ１_ｋ＋ｐ０_ｋ｜であり、ｄ_ｑｋ＝｜ｑ２_ｋ−２・ｑ１_ｋ＋ｑ０_ｋ｜

次に、デブロッキングフィルタリングが４−サンプルエッジに適用されると決定されると、ストロングフィルタ（ｓｔｒｏｎｇ ｆｉｌｔｅｒ）とウィークフィルタ（ｗｅａｋ ｆｉｌｔｅｒ）の中から一つのデブロッキングフィルタが選択される。しかし、デブロッキングフィルタリングが４−サンプルエッジに適用されないと決定されると、前記エッジに対するデブロッキングフィルタリング過程が終了される。図５に示すように、４−サンプルエッジに対して一つのフィルタが選択される。

下記の条件を満たす場合、ストロングフィルタが選択される。

１）ｄ＜（β＞＞２）

２）｜ｐ３_ｉ−ｐ０_ｉ｜＋｜ｑ３_ｉ−ｑ０_ｉ｜＜（β＞＞３） ｆｏｒ ｅａｃｈ ｉ、ｉ＝０，３

３）｜ｐ０_ｉ−ｑ０_ｉ｜＜（５＊ｔ_ｃ＋１）＞＞１ ｆｏｒ ｅａｃｈ ｉ、ｉ＝０，３

又は

１）ｄ_ｉ＜（β＞＞１） ｆｏｒ ｅａｃｈ ｉ、ｉ＝０，３

２）｜ｐ３_ｉ−ｐ０_ｉ｜＋｜ｑ３_ｉ−ｑ０_ｉ｜＜（β＞＞３） ｆｏｒ ｅａｃｈ ｉ、ｉ＝０，３

３）｜ｐ０_ｉ−ｑ０_ｉ｜＜（５＊ｔ_ｃ＋１）＞＞１ ｆｏｒ ｅａｃｈ ｉ、ｉ＝０，３

そうでない場合、ウィークフィルタが選択される。変数ｔ_ｃは、前記境界量子化パラメータＱＰ_Ｂに基づいて決定される。

次に、デブロッキングフィルタが選択されると、前記エッジは、前記デブロッキングフィルタを使用してフィルタリングされる（Ｓ１４０）。

ストロングフィルタは、下記の通りである。

ｐ_０′＝（ｐ_２＋２＊ｐ_１＋２＊ｐ_０＋２＊ｑ_０＋ｑ_１＋４）＞＞３）

ｐ_１′＝（ｐ_２＋ｐ_１＋ｐ_０＋ｑ_０＋２）＞＞２

ｐ_２′＝（２＊ｐ_３＋３＊ｐ_２＋ｐ_１＋ｐ_０＋ｑ_０＋４）＞＞３

ｑ_０′＝（ｐ_１＋２＊ｐ_０＋２＊ｑ_０＋２＊ｑ_１＋ｑ_２＋４）＞＞３

ｑ_１′＝（ｐ_０＋ｑ_０＋ｑ_１＋ｑ_２＋２）＞＞２

ｑ_２′＝（ｐ_０＋ｑ_０＋ｑ_１＋３＊ｑ_２＋２＊ｑ_３＋４）＞＞３

ウィークフィルタは、下記の通りである。

△＝Ｃｌｉｐ３（−ｔ_Ｃ，ｔ_Ｃ，△）

ｐ_０′＝Ｃｌｉｐ１（ｐ_０＋△）

ｑ_０′＝Ｃｌｉｐ１（ｑ_０−△）

△ｐ＝Ｃｌｉｐ３（−（ｔ_Ｃ＞＞１）、ｔ_Ｃ＞＞１、（（（ｐ_２＋ｐ_０＋１）＞＞１）−ｐ_１＋△）＞＞１）

ｐ_１′＝Ｃｌｉｐ１（ｐ_１＋△ｐ）

△ｑ＝Ｃｌｉｐ３（−（ｔ_Ｃ＞＞１）、ｔ_Ｃ＞＞１、（（（ｑ_２＋ｑ_０＋１）＞＞１）−ｑ_１−△）＞＞１）

ｑ_１′＝Ｃｌｉｐ１（ｑ_１＋△ｑ）

変数β及びｔ_Ｃは、前記境界量子化パラメータ（ＱＰ_Ｂ）により決定され、前記境界量子化パラメータ（ＱＰ_Ｂ）が増加するほど同じ又は大きくなる。変数βとｔ_Ｃ及び前記境界量子化パラメータ間の関係は、テーブルとして定義される。

前記境界量子化パラメータ（ＱＰ_Ｂ）は、サンプルｐ０を含むＰブロックの量子化パラメータ（ＱＰ_Ｐ）とサンプルｑ０を含むＱブロックの量子化パラメータ（ＱＰ_Ｑ）の平均値である。前記平均値は、四捨五入した値である。ＰブロックとＱブロックのうち少なくとも一つがイントラ符号化されると、前記境界量子化パラメータ（ＱＰ_Ｂ）が１ずつ増加するほど、前記変数ｔ_Ｃは、０、１又は２ずつ増加する。

以下、本発明によるサンプル適応的オフセット過程に対して説明する。サンプル適応的オフセット過程は、図１に示す動画符号化装置１０００の後処理部１１００及び図２に示す動画復号化装置２０００の後処理部２０７０により実行される。

図６は、本発明によるピクチャを複数個の領域に分割する方法を説明する概念図である。ＳＡＯタイプは、各領域毎に定義される。図６に示すように、ピクチャをクワッドツリー構造に分割して前記領域が生成される。前記領域は、ＬＣＵであってもよい。三つの種類のＳＡＯタイプが存在する。ＳＡＯタイプが最初のタイプ（ＯＦＦ）の場合、対応する領域にはＳＡＯ過程が実行されない。ＳＡＯタイプがバンドオフセット（ＢＯ）を示す場合、対応領域内の各サンプルにバンドオフセットが加えられる。ＳＡＯタイプがエッジオフセット（ＥＯ）の場合、エッジインデックスにより決定されるエッジオフセットが対応する領域内の各サンプルに加えられる。

図７は、本発明によるエッジタイプを説明する概念図である。

図７に示すように、エッジオフセットには４個のエッジタイプが存在する。前記エッジタイプは、エッジインデックスを誘導するために使われる隣接サンプルの位置により決定される。１番目のエッジタイプは、１Ｄ ０−ｄｅｇｒｅｅエッジタイプであり、２番目のエッジタイプは、１Ｄ ９０−ｄｅｇｒｅｅエッジタイプであり、３番目のエッジタイプは、１Ｄ １３５−ｄｅｇｒｅｅエッジタイプであり、４番目のエッジタイプは、１Ｄ ９０−ｄｅｇｒｅｅエッジタイプである。サンプルＣは、現在サンプルを示し、斜線で表示された２個のサンプルは、エッジタイプによって決定される２個の隣接サンプルを示す。

前記オフセットタイプが前記四つのオフセットタイプのうち一つを示す時、本発明によるサンプル適応的オフセット過程は、下記のように行われる。

第一に、現在サンプルと２個の隣接サンプルとの間の差分値を利用してエッジインデックスが誘導される。２個の隣接サンプルは、現在領域のエッジオフセットタイプによって決定される。現在領域内の各サンプルに対してエッジインデックスが誘導される。エッジインデックスは、下記のように誘導される。

ｅｄｇｅＩｄｘ＝２＋ｓｉｇｎ３（ｒｅｃＰｉｃｔｕｒｅ（ｘ）−ｒｅｃＰｉｃｔｕｒｅ（ｘ−１））＋ｓｉｇｎ３（ｒｅｃＰｉｃｔｕｒｅ（ｘ）−ｒｅｃＰｉｃｔｕｒｅ（ｘ＋１））

関数ｓｉｇｎ３（ｙ）は、ｙ値が０より大きい場合に１であり、ｙ値が０より小さい場合に−１であり、及びｙ値が０の場合に０の値を有する。

変数ｒｅｃＰｉｃｔｕｒｅ（ｘ）は、現在サンプル値を示し、変数ｒｅｃＰｉｃｔｕｒｅ（ｘ−１）及び変数ｒｅｃＰｉｃｔｕｒｅ（ｘ＋１）は、２個の隣接サンプル値を示す。前記２個の隣接サンプルは、現在領域のエッジオフセットタイプにより決定される。

図８は、本発明によるエッジインデックスを説明する概念図である。図８において、水平軸はサンプル位置を示し、垂直軸はサンプル値を示す。

図８に示すように、前記２個の隣接サンプル値が両方とも現在サンプル値より大きい場合、前記エッジインデックスは、０に設定され、前記２個の隣接サンプル値のうち一つは、現在サンプル値より大きく、他の一つは、現在サンプル値と同じ場合、前記エッジインデックスは、１に設定され、前記２個の隣接サンプル値のうち一つは、現在サンプル値より大きく、他の一つは、現在サンプル値より小さい場合、前記エッジインデックスは、２に設定され、前記２個の隣接サンプル値のうち一つは、現在サンプル値より小さく、他の一つは、現在サンプル値と同じ場合、前記エッジインデックスは、３に設定され、前記２個の隣接サンプル値が両方とも現在サンプル値より小さい場合、前記エッジインデックスは、４に設定される。前記２個の隣接サンプル値が両方とも現在サンプル値と同じ場合も、２に設定される。

一方、前記２個の隣接サンプルのうち一つが他のＬＣＵに属すると、前記現在サンプルにオフセットが適用されない、又は現在ＬＣＵ内の他の隣接サンプルが前記他のＬＣＵに属する隣接サンプルの代わりに利用されることができる。

次に、エッジオフセットが現在サンプルに以下のように加えられる。

ｒｅｃＳａｏＰｉｃｔｕｒｅ（ｘ）＝ｒｅｃＰｉｃｔｕｒｅ（ｘ）＋Ｅｄｇｅ＿Ｏｆｆｓｅｔ［ｅｄｇｅＩｄｘ］

エッジオフセットは、エッジインデックスに基づいて決定される。動画復号化装置では、動画符号化装置１０００から送信されたビットストリームから前記エッジオフセットを取得する。動画符号化装置１０００は、四つ又は五つの種類のエッジオフセットを送信することができる。四つの種類のエッジオフセットが送信されると、前記四つの種類のエッジオフセットは、各々、エッジインデックス０、１、３、４に対応し、エッジオフセットは、０と見なされることができる。

エッジオフセットは、正の値又は負の値を有することができる。前記領域が大きくなるにつれて四つの種類のエッジオフセットを送信するために要求されるビット量が増加する。本発明によるビット量を減少させる方法は、下記の通りである。

［第１の実施例］

エッジインデックス０には正のオフセットが適用され、エッジインデックス４には負のオフセットが適用される。即ち、前記２個のエッジオフセットの絶対値のみが送信されてビット量を減らすことができる。エッジインデックス１と３に対してはエッジオフセットの絶対値と符号が送信される。

［第２の実施例］

エッジインデックス０及び１に正のオフセットが適用され、エッジインデックス３及び４に負のオフセットが適用される。即ち、四つの種類のオフセットの絶対値のみが送信されてビット量を減らすことができる。

追加に、現在サンプルと一つの隣接サンプルとの差分値が閾値より大きい場合、現在サンプルにオフセットが加えられない。例えば、現在サンプルと一つの隣接サンプルとの差分値が前記閾値より大きい場合、オフセット値は、０に設定される。そうでない場合、正のオフセット又は負のオフセットが使われる。

以上、実施例を参照して説明したが、該当技術分野の熟練された当業者は、特許請求の範囲に記載された本発明の思想及び領域から外れない範囲内で本発明を多様に修正及び変更可能であることを理解することができる。

１１００ 後処理部

Claims (11)

1. 映像を復元する方法であって、
   量子化係数成分を逆スキャンして量子化ブロックを生成するステップ；
   量子化パラメータを利用して前記量子化ブロックを逆量子化して変換ブロックを生成するステップ；
   前記変換ブロックを逆変換して残差ブロックを生成するステップ；
   インター予測またはイントラ予測によって予測ブロックを生成するステップ；
   前記残差ブロックと前記予測ブロックを利用して復元ブロックを生成するステップ；
   予測ブロックのエッジまたは変換ブロックのエッジであって８×８サンプルグリッド上に位置する４−サンプルエッジ毎に境界強度を決定するステップ；
   前記境界強度及び境界量子化パラメータを利用して、前記４−サンプルエッジにデブロッキングフィルタを適用するかどうかを決定するステップ；及び
   前記決定に従って、前記４−サンプルエッジにデブロッキングフィルタを適用するステップ；を含み、
   前記境界量子化パラメータは、前記４−サンプルエッジの両側ブロックであるＰブロックの量子化パラメータとＱブロックの量子化パラメータの平均値に設定され、
   前記Ｐブロックの量子化パラメータは、前記Ｐブロックの量子化パラメータ予測子及び差分量子化パラメータを利用して生成され、
   前記Ｐブロックの量子化パラメータ予測子は、前記Ｐブロックの左側量子化パラメータ、上側量子化パラメータ及び以前量子化パラメータのうち予め決められた順序に決定される利用可能な２個の量子化パラメータの平均値に設定され、
   前記左側及び上側量子化パラメータのうち一つのみが利用可能な場合、前記Ｐブロックの量子化パラメータ予測子は、前記利用可能な一つの量子化パラメータと以前量子化パラメータの平均値に設定されることを特徴とする方法。
2. 前記デブロッキングフィルタを適用するステップ以後に、サンプル適応的オフセットタイプの指示に従って、オフセットを適用するステップを含むことを特徴とする請求項１に記載の方法。
3. 前記サンプル適応的オフセットタイプがエッジオフセットを指示する場合、
   前記オフセットを適用するステップは、
   現在サンプルのエッジインデックスを生成するステップ；及び
   前記エッジインデックスに対応するエッジオフセットを前記現在サンプルに適用するステップ；を含むことを特徴とする請求項２に記載の方法。
4. 前記エッジインデックスは、数式ｅｄｇｅＩｄｘ＝２＋ｓｉｇｎ３（ｒｅｃＰｉｃｔｕｒｅ（ｘ）−ｒｅｃＰｉｃｔｕｒｅ（ｘ−１））＋ｓｉｇｎ３（ｒｅｃＰｉｃｔｕｒｅ（ｘ）−ｒｅｃＰｉｃｔｕｒｅ（ｘ＋１））により生成され、前記数式において、ｓｉｇｎ３（ｙ）は、ｙ値が０より大きい場合に１であり、ｙ値が０より小さい場合に−１であり、及びｙ値が０の場合に０であり、ｒｅｃＰｉｃｔｕｒｅ（ｘ）は、現在サンプル値を示し、ｒｅｃＰｉｃｔｕｒｅ（ｘ−１）及びｒｅｃＰｉｃｔｕｒｅ（ｘ＋１）は、２個の隣接サンプルを示すことを特徴とする請求項３に記載の方法。
5. 前記エッジオフセットは、前記エッジインデックスに基づいて正の値または負の値に設定されることを特徴とする請求項３に記載の方法。
6. 前記エッジインデックスが０または１の場合、前記エッジオフセットは、正の値に設定されることを特徴とする請求項５に記載の方法。
7. 前記エッジインデックスが３または４の場合、前記エッジオフセットは、負の値に設定されることを特徴とする請求項５に記載の方法。
8. 前記エッジインデックスが２の場合、前記エッジオフセットは、０に設定されることを特徴とする請求項５に記載の方法。
9. 前記２個の隣接サンプルのうち一つが他のＬＣＵに属すると、現在サンプルにエッジオフセットを適用しないことを特徴とする請求項４に記載の方法。
10. 前記左側及び上側量子化パラメータが両方とも利用可能でない場合、前記Ｐブロックの量子化パラメータ予測子は、前記以前量子化パラメータの値に設定されることを特徴とする請求項１に記載の方法。
11. 前記残差ブロックを生成するステップにおいて、予測モード及び変換ユニットのサイズに基づいて逆変換タイプが決定されることを特徴とする請求項１に記載の方法。