JP5165083B2 - ビデオコーディングの適応オフセットに用いる装置および方法 - Google Patents

Description

本発明は、ビデオ処理に関する。特に、本発明は適応オフセット復元（ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ ｒｅｓｔｏｒａｔｉｏｎ）に用いる装置および方法に関するものである。

デジタルフォーマットのビデオデータは、従来のアナログフォーマットより多くの利点を提供しており、ビデオ記憶装置およびビデオ伝送のための主要なフォーマットとなっている。ビデオデータは、通常、サンプル当たり８ビットまたは１０ビットなどの定数のビットによって示される整数にデジタル化される。また、カラービデオデータは、例えば赤緑青（ＲＧＢ）の３原色の座標または輝度−色相システムなどの選択されたカラーシステムを用いてよく表される。デジタルビデオに一般的に用いられる輝度−色相のカラーシステムの１つは、周知のＹＣｒＣｂカラーシステムであり、Ｙは、輝度成分といわれ、ＣｒおよびＣｂは、色相成分といわれている。ＲＧＢ成分およびＹ成分は、３原色の強度および輝度にそれぞれ関連しており、それらのデジタル表現は、デジタル表現のビット数と関連した範囲を有する整数によくマップ化される。例えば、８ビットビデオデータは、通常、強度レベル０〜２５５を表す。一方、ＣｒおよびＣｂの色相成分は、異なるデータに対応し、それらのデジタル表現は、負値および正値を有する整数によくマップ化される。例えば、８ビットＣｒ／Ｃｂデータは、−１２８〜＋１２７の色相のレベルを表す。

デジタルビデオシステムの処理経路に沿って処理されたビデオの平均値は、シフトされ、強度オフセットを起こす可能性がある。強度シフトは、フィルタリング、データラウンディング（ｄａｔａ ｒｏｕｎｄｉｎｇ）、量子化、または他の処理に起因する場合がある。強度オフセットとも呼ばれる強度シフトは、視覚障害またはアーチファクト（ａｒｔｉｆａｃｔ）を引き起こす可能性があり、これは、強度シフトがフレームからフレームに変わる時、特に顕著である。よって、上述の潜在的な問題を避けるために、画素の強度オフセットは、注意深く復元（ｒｅｓｔｏｒｅ）されなければならない。しかしながら、画像コンテンツは、しばしばフレーム内で非常に動的である。画像内の動的コンテンツの特性を探求するために、画像の領域に用いられ得る適応オフセット復元の装置および方法を開発することが望ましい。また、領域内の基礎画素（ｕｎｄｅｒｌｙｉｎｇ ｐｉｘｅｌ）の特性をクラス（ｃｌａｓｓ）に分類することによって画素特性に用いられるオフセット復元を探求することが望ましい。よって、オフセット復元は、各クラスに適応して実行され得る。

適応オフセット復元の装置および方法を提供する。

適応オフセット復元の装置および方法が公開される。本発明に基づく方法は、処理されたビデオデータを受けるステップ、処理されたビデオデータの領域を選択するステップ、処理されたビデオデータの領域の画素のそれぞれのクラスを画素のそれぞれの特性測定に基づき、決定するステップ、前記処理されたビデオデータの領域の画素および元のビデオデータに関連する各領域の各画素に基づくクラスの強度オフセットを決定するステップ、およびクラスの強度オフセットに基づく処理されたビデオデータを補償するステップを含む。前記領域は、画像より小さいため、適応オフセットは、画像の動的な特性に適応することができる。適応オフセット復元は、デブロック処理前に再構成されたビデオデータに用いられ得る。本発明に基づく１つの実施の形態において、特性測定は、基礎画素の周囲の画素で構成される画素パターンに基づいており、特性測定は、基礎画素の関連したエッジ、最大値、または最小値である。本発明に基づくもう１つの実施の形態において、特性測定は、基礎画素の強度に基づき、強度は、分類のために複数の帯域に分割される。本発明に基づくもう１つの実施の形態において、適応オフセットは、適応ループフィルタのように同じ画素分類を共有する。

ビデオビットストリームに対応する再構成されたビデオ画像が適応オフセットによって処理される、ビデオビットストリームのデコーディングのための装置および方法が公開されている。ビデオビットストリームのデコーディングの方法であって、ビデオビットストリームに対応した再構成されたビデオ画像は、適応オフセットによって処理され、ビデオビットストリームを処理してビデオ画像を再構成して、処理されたビデオ画像を提供するステップ、処理されたビデオ画像の領域を選択するステップ、処理されたビデオ画像の領域の画素のそれぞれのクラスを、前記画素のそれぞれの特性測定に基づき決定するステップ、ビデオビットストリームに示されたクラスの強度オフセットを決定するステップ、およびクラスの強度オフセットに基づく処理されたビデオ画像の領域を補償するステップを含む。前記領域は、画像より小さいため、適応オフセットは、画像の動的な特性に適応することができる。適応オフセット復元は、デブロック処理前に再構成されたビデオデータに用いられ得る。本発明に基づく１つの実施の形態において、特性測定は、基礎画素の周囲の画素で構成される画素パターンに基づいており、特性測定は、基礎画素の関連したエッジ、最大値、または最小値である。本発明に基づくもう１つの実施の形態において、特性測定は、基礎画素の強度に基づき、強度は、分類のために複数の帯域に分割される。本発明に基づくもう１つの実施の形態において、適応オフセットは、適応ループフィルタのように同じ画素分類を共有する。

画像内のコンテンツの特性に用いられるオフセット復元を実現させることができる。

高効率動画像圧縮符号化（ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ；ＨＥＶＣ）のための模範的なビデオエンコーダのシステムブロック図である。 高効率動画像圧縮符号化のための模範的なビデオデコーダのシステムブロック図である。 画素カテゴリ（ｃａｔｅｇｏｒｙ）に基づく、適応オフセットの実施例を説明するための図である。 本発明の実施の形態に基づく、適応オフセット復元を具現化する高効率動画像圧縮符号化のためのビデオエンコーダのシステムブロック図である。 強度範囲を１６の等間隔のバンドに分割した実施例を説明するための図である。 強度範囲を１２の不等間隔のバンドに分割した実施例を説明するための図である。 画素カテゴリを決定する現画素（ｃｕｒｒｅｎｔ ｐｉｘｅｌ）およびその隣接画素の構成を説明するための図である。 画素カテゴリを決定する現画素およびその隣接画素の別の構成を説明するための図である。 画素カテゴリを決定する現画素およびその隣接画素の種々の線形の構成を説明するための図である。 画素カテゴリを決定する現画素およびその隣接画素の種々の線形の構成を説明するための図である。 画素カテゴリを決定する現画素およびその隣接画素の種々の線形の構成を説明するための図である。 画素カテゴリを決定する現画素およびその隣接画素の種々の線形の構成を説明するための図である。

デジタルフォーマットのビデオデータは、従来のアナログフォーマットより多くの利点を提供しており、ビデオ記憶装置およびビデオ伝送のための主要なフォーマットとなっている。ビデオデータは、通常、サンプル当たり８ビットまたは１０ビットなどのビットの定数によって示される整数にデジタル化される。また、カラービデオデータは、例えば赤緑青（ＲＧＢ）の３原色の座標または輝度−色相システムなどの選択されたカラーシステムを用いてよく表される。デジタルビデオに一般的に用いられる輝度−色相のカラーシステムの１つは、周知のＹＣｒＣｂカラーシステムであり、Ｙは、輝度成分といわれ、ＣｒおよびＣｂは、色相成分といわれている。ＲＧＢ成分およびＹ成分は、３原色の強度および輝度にそれぞれ関連しており、それらのデジタル表現は、デジタル表現のビット数と関連した範囲を有する整数によくマップ化される。例えば、８ビットビデオデータは、通常、強度レベル０〜２５５を表す。一方、ＣｒおよびＣｂの色相成分は、異なるデータに対応し、それらのデジタル表現は、負値および正値を有する整数によくマップ化される。例えば、８ビットＣｒ／Ｃｂデータは、−１２８〜＋１２７の色相のレベルを表す。

デジタルビデオシステムの処理経路に沿って、処理されたビデオの平均値は、シフトされ、強度オフセットを起こす可能性がある。強度シフトは、フィルタリング、データラウンディング（ｄａｔａ ｒｏｕｎｄｉｎｇ）、量子化、または他の処理に起因する場合がある。強度オフセットとも呼ばれる強度シフトは、視覚障害またはアーチファクト（ａｒｔｉｆａｃｔ）を引き起こす可能性があり、これは、強度シフトがフレームからフレームに変わる時、特に顕著である。よって、上述の潜在的な問題を避けるために、画素の強度は、注意深くオフセット補正されなければならない。しかしながら、画像コンテンツは、フレーム間、およびフレーム内で非常に動的であり、時折変化する。動的なビデオ環境で、コンテンツ適応画素処理の利点を探求するために、定義済み設定といわれる、画像ユニットを選択し、基礎ビデオデータが処理されたビデオデータの品質を更に改善できるシステムおよび方法を開発することが望ましい。定義済み設定は、基礎ビデオデータの動的な特性を捕らえるのに用いられ得る。

図１に示される模範的なエンコーダは、イントラ／インター予測を用いたシステムを表している。イントラ予測１１０は、同じ画像のビデオデータに基づく予測データを提供するのに対応する。インター予測では、動き検出（ＭＥ）および動き補償（ＭＣ）１１２が他の画像または複数の画像からのビデオデータに基づく予測データを提供するのに用いられる。スイッチ１１４は、イントラ予測またはインター予測のデータを選択し、選択された予測データは、加算器１１６に提供され、残差（ｒｅｓｉｄｕｅｓ）とも呼ばれる予測エラーを形成する。次いで、予測エラーは、変換（Ｔ）１１８に続いて量子化（Ｑ）１２０で処理される。次いで、変換されて量子化された残差は、エントロピーコーディング１２２によってコーディングされ、圧縮されたビデオデータに対応するビットストリームを形成する。次いで、変換係数と関連するビットストリームは、例えば、動き、モード、および画像領域と関連した他の情報などのサイド情報と圧縮される（ｐａｃｋｅｄ）。サイド情報も、必要な帯域幅を減少するために、エントロピーコーディングされて、図１に示されるように、サイド情報と関連したデータがエントロピーコーディング１２２に提供され得る。インター予測モードが用いられた時、１つの参照画像または複数の参照画像がエンコーダ側（ｅｎｃｏｄｅｒ ｅｎｄ）で再構成されなくてはならない。この結果、変換されて量子化された残差は、残差を補うために、逆量子化（ＩＱ）１２４および逆変換（ＩＴ）１２６によって処理される。次いで、残差は、再構成（ＲＥＣ）１２８で予測データ１３６に戻され、ビデオデータを再構成する。再構成されたビデオデータは、参照画像バッファ１３４に保存され、他のフレームの予測に用いられ得る。しかしながら、デブロックフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）１３０および適応ループフィルタ（ＡＬＦ）１３２は、ビデオの品質を向上させるために、ビデオデータが参照画像バッファに保存される前に、再構成されたビデオデータに用いられる。適応ループフィルタの情報は、ビットストリームに伝送されなければならず、よって、デコーダが適応ループフィルタに適用するように、必要な情報を適正に補うことができる。よって、ＡＬＦ１３２からの適応ループフィルタの情報は、エントロピーコーディング１２２に提供され、最終的なビットストリーム内に取り込まれる。図１に示されるように、入力ビデオデータは、エンコーディングシステムで一連の処理を行い、ＲＥＣ１２８からの再構成されたビデオデータは、一連の処理により強度オフセットの影響を受ける可能性がある。再構成されたビデオデータは、デブロックフィルタ１３０および適応ループフィルタ１３２によって更に処理され、更なる強度オフセットを起こす可能性がある。従って、オフセットの復元（オフセット補正とも言われる）を取り込み、強度オフセットを補うことが望ましい。

図２は、高効率動画像圧縮符号化（ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ）のためのビデオデコーダのシステムブロック図を例示している。エンコーダもビデオデータを再構成する部分を含むため、いくつかのデコーダの部分は、エンコーダに既に用いられる。しかしながら、エントロピーデコーダ２２２は、エンコーダに用いられない。また、動き補償２１２だけがデコーダ側に必要である。スイッチ２１４は、イントラ予測またはインター予測を選択し、選択された予測データは、補われた残差と統合されるように、再構成（ＲＥＣ）１２８に提供される。圧縮したビデオデータにエントロピーデコーディングを実行する他に、エントロピーデコーディング２２２もサイド情報のエントロピーデコーディングに対応し、サイド情報を各ブロックに提供する。例えば、イントラ予測モード情報は、イントラ予測１１０に提供され、インター予測モード情報は、動き補償２１２に提供され、適応ループフィルタ情報は、ＡＬＦ１３２に提供され、残差は、逆量子化１２４に提供される。残差は、ＩＱ１２４、ＩＴ１２６、およびその後に続く再構成プロセスによって処理され、ビデオデータを再構成する。また、図２に示されるように、ＲＥＣ１２８からの再構成されたビデオデータは、ＩＱ１２４およびＩＴ１２６を含む一連の処理を行い、強度オフセットの影響を受ける。再構成されたビデオデータは、デブロックフィルタ１３０および適応ループフィルタ１３２によって更に処理され、更なる強度オフセットを起こす可能性がある。従って、オフセット補正を取り込み、強度オフセットを補うことが望ましい。

オフセットの問題を克服するために、ＭｃＣａｎｎ他は、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１の共同研究部会（ＪＣＴ−ＶＣ）、第１回研究会：ドレスデン、ドイツ、２０１０年４月１５日〜２３日の開催で、文書：ＪＣＴＶＣ−Ａ１２４ 、“Ｓａｍｓｕｎｇ’ｓ Ｒｅｓｐｏｎｓｅ ｔｏ ｔｈｅ Ｃａｌｌ ｆｏｒ Ｐｒｏｐｏｓａｌｓ ｏｎ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ”のコンテンツ適応の極限補正（ｅｘｔｒｅｍｅ ｃｏｒｒｅｃｔｉｏｎ）および帯域補正を公開している。隣接画素に基づくコンテンツ情報を用いると、局所エッジの特性を探求することができ、より良い視覚品質またはビットレート縮小面で向上した性能が得られる。ＭｃＣａｎｎ他は、図３に示されるような隣接画素構成を公開しており、その中のＣは、現画素値であり、ｎ１〜ｎ４は、現画素のそれぞれ上、左、右、および下側にある４つの隣接画素である。ＭｃＣａｎｎ他に基づいて画素を７つのカテゴリに分類する方法は、以下の表に表される。

カテゴリ０では、画素Ｃは、局所最小であり、最小値（ｖａｌｌｅｙ）とも言われる。カテゴリ５では、画素Ｃは、局所最大であり、最大値（ｐｅａｋ）とも言われる。カテゴリ１、２、３、および４では、画素Ｃは、オブジェクトエッジである。各カテゴリの画素では、処理されたビデオデータの平均と元のビデオデータの平均との間の差が算出され、デコーダに伝送される。処理されたビデオデータは、ＲＥＣ１２８からの再構成されたビデオデータ、ＤＦ１３０からのデブロックしたデータ、またはＡＬＦ１３２からの適応ループフィルタのデータであり得る。ＭｃＣａｎｎ他は、エッジ特性を“カテゴリ（ｃａｔｅｇｏｒｉｅｓ）”に分類し、これは“クラス（ｃｌａｓｓｅｓ）”とも呼ばれる。図１および図２は、ビデオコーディング用の適応オフセットが用いられ得る模範的なシステムを例示しているが、他のシステムも、本発明を具現化して強度オフセットの問題を克服し得る。例えば、カメラ画像処理システムでは、デモザイキング（ｄｅｍｏｓａｉｃｉｎｇ）によって処理されたビデオデータ、ホワイトバランス（ｗｈｉｔｅ ｂａｌａｎｃｉｎｇ）、および／またはエッジ強調も強度オフセットの影響を受ける可能性がある。上述のように、ＭｃＣａｎｎ他は、第１の強度オフセット補正を基礎画素のエッジ特性に基づいたＤＦ１３０とＡＬＦ１３２間の処理されたデータに適用する。基礎画素のエッジ特性に基づいた適応オフセット補正は、ＭｃＣａｎｎ他によって極限補正（Ｅｘｔｒｅｍｅ Ｃｏｒｒｅｃｔｉｏｎ）と呼ばれる。

ＭｃＣａｎｎ他に基づき、上述の極限補正は、再構成されたビデオデータに用いられる。クラスｃに対応する再構成された平均強度Ｖｒ（ｃ）およびクラスｃに対応する元の平均強度Ｖｏ（ｃ）は、ビデオ画像用に決定される。クラスｃに対応するオフセットＶｄ（ｃ）は、以下の式によって決まる。

上述で計算されたオフセットＶｄ（ｃ）は、クラスｃ、即ち、Ｖｒ’（ｃ）＝Ｖｒ（ｃ）＋Ｖｄ（ｃ）に属する再構成されたビデオデータに加えられる。Ｖｒ’（ｃ）は、オフセット補正されたビデオデータである。デコーダに各クラスに適切なオフセットを提供させるために、全てのクラスのオフセットＶｄ（ｃ）値は、デコーダに伝送される必要がある。適切なビットストリームのシンタックスは、オフセットＶｄ（ｃ）値を取り込むのに必要となる。

ＭｃＣａｎｎ他は、極限補正をＤＦ１３０とＡＬＦ１３２間の処理されたビデオデータに適用し、帯域補正をＡＬＦ１３２および参照画像バッファ１３４間の処理されたデータに適用しているが、適応オフセット補正もＤＦ１３０が用いられる前に再構成されたデータに用いられてもよい。図４は、適応オフセット４１０が再構成１２８とＤＦ１３０間の処理されたビデオデータに用いられる、本発明に基づく実施の形態を例示している。

ＭｃＣａｎｎ他は、基礎画素が属している帯域に基づいたもう１つの適応オフセット補正を公開している。この方法は、帯域補正（ＢＤＣ）とも呼ばれる。ＭｃＣａｎｎ他によると、帯域ベースの分類の主な動機は、再構成されたビデオデータおよび元のビデオデータに対応した基礎データの２つの異なる確率密度関数（ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｆｕｎｃｔｉｏｎ（ＰＤＦ））を均等にすることである。ＭｃＣａｎｎ他は、画素のｐ最上位ビットを用いた帯域ベースの分類を公開しており、これは、強度を、等間隔の２^Ｐクラスに分割することに相当する。一実施の形態において、ＭｃＣａｎｎ他は、ｐ＝４を選択して強度を１６の等間隔の帯域に分割する（クラスとも呼ぶ）。各帯域、またはクラスでは、平均差が計算されてデコーダに伝送され、オフセットは、各帯域のために個別に補正され得る。帯域ｃまたはクラスｃに対応する再構成された平均強度値Ｖｒ（ｃ）、或いは帯域ｃまたはクラスｃに対応する元の平均強度値Ｖｏ（ｃ）は、ビデオ画像用に決定される。ＥＸＣの同じ数学記号Ｖｒ（ｃ）およびＶｏ（ｃ）は、利便性のために用いられてきた。エッジ特性に基づく適応オフセット補正のように、クラスｃに対応して関連したオフセットＶｄ（ｃ）は、Ｖｄ（ｃ）＝Ｖｏ（ｃ）−Ｖｒ（ｃ）に基づき、決定され得る。上述に計算されたようにオフセットＶｄ（ｃ）は、次いで、クラスｃ、即ち、Ｖｒ’（ｃ）＝Ｖｒ（ｃ）＋Ｖｄ（ｃ）に属する再構成されたビデオデータに加えられる。Ｖｒ’（ｃ）は、オフセット補正されたビデオデータである。ＭｃＣａｎｎ他は、帯域補正をＡＬＦ１３２および参照画像バッファ１３４間の処理されたビデオデータに用いている。

ＭｃＣａｎｎ他は、隣接画素または強度帯域に関連した特性に基づく適応処理を公開しているが、画像内で動的な特性を探求する適応性がなく、１つの画像領域の特性は、もう１つの画像領域の特性と大きく異なる。ＭｃＣａｎｎ他による方法において、カテゴリまたは帯域の決定は、常に全てのフレームまたは画像のグループに基づく。いくつかのビデオデータでは、比較的小さい画像領域に関連したカテゴリまたは帯域は、領域の基礎ビデオデータをよりよく特性化できるため、より小さな画像領域に対応する領域は、適応性処理に更に有利である。しかしながら、比較的小さい画像領域は、例えばＭｃＣａｎｎ他によって公開された実施例の強度オフセット情報など、デコーダに伝送される必要のある、より多くのオーバーヘッド情報（ｏｖｅｒｈｅａｄ ｉｎｆｏｒｍａｔｉｏｎ）を必要とする可能性がある。よって、潜在的な性能向上と比較的小さい画像領域に関連したオーバーヘッド情報の増加との間にはトレードオフがある。よって、本開示に公開された画素強度処理は、本開示において領域（ｒｅｇｉｏｎ）と呼ばれる比較的小さい画像領域を用いている。領域の大きさは、各ビデオ処理に用いられる画像領域、例えば圧縮システムのビデオ圧縮またはデジタルカメラのセンサ画像処理（ｓｅｎｓｏｒ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ）などと独立にすることができる。また、領域は、画像から画像に適応して構成することができる。本開示において、適応オフセット（ＡＯ）も適応オフセット補正または適応オフセット復元の省略形として用いられる。

本発明の他の実施の形態において、ＡＯは、ＡＬＦと更に組み合わせられる。画像の各領域では、ＡＯ、ＡＬＦ、またはＡＯおよびＡＬＦの組み合わせは、適応して領域に用いることができる。ＡＯおよびＡＬＦが領域に選択的に用いられた時、平均のデコーディング時間は、コーディング効率を犠牲にすることなく、減少することができる。ＡＯ、ＡＬＦ、またはＡＯおよびＡＬＦの組み合わせが領域に用いられるかどうかを知らせるために、フラグ（ｆｌａｇ）が領域に用いられて選択を示すことができる。

ＭｃＣａｎｎ他は、全ての画像のために等間隔を用いた帯域補正を公開しているが、本発明に基づく実施の形態は、画像の領域に基づく高度帯域分類を公開している。画像は、まず、一定の大きさのブロック、または４分木のいずれかを用いてパーティション（ｐａｒｔｉｔｉｏｎ）に分割される。各パーティションの分割は、上述のＡＯのケースのように、領域とも呼ばれる。次いで、各領域の画素は、高度帯域分類法に基づき、複数の帯域に分割される。高度帯域分類は、図５Ａに示された１６の等帯域または図５Ｂに示された１２の不等帯域から１つの帯域分類を適応して選択する。帯域分類のタイプの選択は、領域ごとであり、フラグは選択を示すのに必要とされる。強度の最小および最大は、領域のために再構成されたビデオデータから得られる。よって、最小および最大は、デコーダと通信することを必要しない。各領域の帯域オフセットは、デコーダ側に伝送されるため、デコーダは領域の各帯域のために帯域オフセットを適切に補正することができる。高度帯域分類に基づくオフセット復元方法は、帯域オフセット復元または略して帯域オフセット（ＢＯ）と言われる。２つのタイプの帯域が模範的な実施の形態として用いられ、上述の実施例で本発明を実行しているが、他のタイプの帯域も用いられ得る。１６の等帯域および１２の不等帯域は、２つの模範的なタイプの帯域として用いられ、２つの模範的なタイプの帯域によって用いられる帯域数は、本発明を制限するものではない。等帯域および不等帯域のタイプは、ほぼ同じ帯域数を用いて本発明を実行し得る。

２つのタイプの帯域、即ち、１６の等帯域および１２の不等帯域が上述で公開されているが、代替の帯域分類が帯域オフセット補正に用いられることも可能である。この代替の帯域分類は、領域の画素をＮ帯域内に分類する。次いで、Ｎ帯域は、２つのグループに分割される。その中の１つのグループは、オフセット補正用であり、もう１つのグループは、オフセット補正用でない。例えば、領域の画素は、３２の等帯域に分割することができる。［６４、１９１］をカバーする中心の１６帯域のパーディションは、第１のグループに割り当てられることができ、残りの強度をカバーする残りの１６の帯域は、第２のグループに割り当てられることができる。オフセット補正用かオフセット補正用でないグループかの決定は、領域ごとに基づいて行われる。２つのグループが本発明を実行する実施例として用いられるが、他のグループも用いることができる。例えば、Ｎ帯域は、Ｍグループに分割することができる。Ｍは、２以上の整数である。Ｍグループの中では、Ｐグループは、オフセット補正用でないグループにすることができる。Ｐは、Ｍ以下である。その結果、残りの（Ｍ〜Ｐ）グループだけがオフセット補正を受け、これらの（Ｍ〜Ｐ）グループの強度オフセットは、オフセット補正のためにデコーダに提供される必要がある。

ＭｃＣａｎｎ他は、適応処理が基礎画素のエッジ特性に関連し、画素分類が全ての画像に基づくことを公開しているが、本発明に基づく実施の形態は、画素構成または画素パターンを選択し、領域ごとに適応して基づいたエッジ特性を測定する。フラグは、エッジ特性の決定のために各領域に用いられ、画素構成の選択を伝送するために用いられる。領域は、一定の大きさのブロック、または４分木のパーティションを用いて、画像を分割することで得られる。図６Ａで示されたＭｃＣａｎｎ他によって公開された画素構造以外に、図６Ｂに示されたもう１つの画素構成も選択することができる。図６Ａに示された十字の画素構成または十字の画素パターンは、水平エッジまたは垂直エッジにより対応する。また、画素パターンも基礎画素の最大値または最小値に対応する。一方、図６Ｂの対角の画素構造は、基礎画素で最大値または最小値と同様に、４５°または１３５°で傾斜エッジに対応する。適応方法はまた、以下の表に示されるように、画素を７つのカテゴリに分類する。

上述の画素パターンに基づく７つのカテゴリへの分類は、本発明を実行する実施例として用いられるもので、本発明を限定するものと解釈してはならない。ほとんどのカテゴリが用いられることができ、他の画素パターンも本発明を実行するのに用いられ得る。２次元の画素構造が上述に公開されてエッジの特性を決定しているが、２つの隣接画素を用いた簡易化した線状の画素構造も用いられ得る。簡易化した画素構造の使用は、必要な計算を減少する。よって、４つの簡易化された画素構造（これも画素パターンと呼ばれる）は、図７Ａ〜７Ｄに示されように表示され、垂直線、水平線、１３５度傾斜線、および４５°傾斜線にそれぞれ対応する。短線で配列された各画素構造は、線に沿って遷移強度（ｉｎｔｅｎｓｉｔｙ ｔｒａｎｓｉｔｉｏｎ）に対応する。例えば、水平エッジは、他の方向を有する線よりも、垂直線でより顕著な遷移強度を起こす。同様に、垂直エッジは、他の方向を有する線よりも、水平線でより顕著な遷移強度を起こす。画素構造の選択は、領域ごとに基づいて決定され、フラグは各領域に必要とされる。以下の表に示されるように、画素構造に基づき、基礎画素は、エッジ、最大値、最小値、および上述のいずれでもないものに対応して６つのクラスに分類される。

基礎画素の周囲の２つの画素が短線画素パターンを形成するのに用いられるが、線状方向に沿ったより多くの画素も用いられ得る。例えば、基礎画素の各側の２つの画素が５画素線に対応して画素パターンを形成するのに用いることができる。また、ほぼ同じカテゴリを用いて本発明を実行し得る。

高効率動画像圧縮符号化（ＨＥＶＣ）に用いられるＡＬＦプロセスも画素分類を用いて各フィルタを選択する。ＡＬＦは、通常、ラプラシアンの和を用いて基礎画素のクラスを決定する。本発明に基づくもう１つの実施の形態において、適応オフセットは、ＡＬＦのように同じ分類を共有し得る。言い換えれば、適応オフセットは、ＡＬＦによって用いられた領域を選択し、これは最大コーディングユニット、スライス、スライスグループ、または他の部分的な画像とすることができる。ラプラシアンの和は、特性測定として、適応オフセットによって用いられ、基礎画素のクラスを決定する。よって、領域の各クラスのオフセットが決定され、デコーダに提供される。同様に、ＡＬＦは、ＢＯ／ＢＤＣのように同じ分類を共有し得る。ＢＯ／ＢＤＣは、画素強度に基づき、領域の画素をクラスに分類する。

エッジ特性と強度帯域は、基礎画素をクラスに分類する特性として用いられるが、他の特性も基礎画素をクラスに分類するように用いられ得る。例えば、コーディングユニットモード、予測ユニットサイズ、変換ユニットサイズ、量子化パラメータ、参照画像、動きベクトル、イントラ予測モード、残差、およびデブロック境界強度は、基礎画素をクラスに分類する特性として用いられ得る。例えば、各画素は、ラプラシアンの和に基づき、カテゴリまたはクラスに分類される。よって、各カテゴリまたはクラスの強度オフセットは、計算されて、各カテゴリまたはクラスのオフセットを補正するのに用いられ得る。

上述の本発明に基づく適応オフセット復元の実施の形態は、種々のハードウェア、ソフトウェアコード、またはその両方の組み合わせで実施され得る。例えば、本発明の実施の形態は、ビデオ圧縮チップに統合された回路、またはビデオ圧縮ソフトウェアに統合されたプログラムコードであり得、ここに述べられる処理を実行する。本発明の実施の形態は、デジタル信号プロセッサ（ＤＳＰ）に実行されるプログラムコードでもあり得、ここに述べられる処理を実行する。本発明はまた、コンピュータプロセッサ、デジタル信号プロセッサ、マイクロプロセッサ、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）によって実行される複数の機能も含み得る。これらのプロセッサは、本発明によって具現化される特定の方法を規定する機械可読のソフトウェアコードまたはファームウェアコードを実行することによって、本発明に基づく、特定のタスクを実行するように構成され得る。ソフトウェアコードまたはファームウェアコードは、異なるプログラミング言語および異なるフォーマットまたはスタイルで開発され得る。ソフトウェアコードは、異なるターゲットプラットフォームにも適用され得る。しかしながら、本発明に従ってタスクを実行するソフトウェアコードの異なるコードフォーマット、スタイル、および言語、および他の構成コードの手段は、本発明の精神および範囲を逸脱しない。

上述の本発明に基づく適応オフセット復元の実施の形態は、統合されたハードウェアまたは複数の処理ユニットに実施され得る。各処理ユニットは、適応オフセット復元の特定機能に対応する。例えば、第１の処理ユニットは、前記画素のそれぞれの特性測定に基づき、処理されたビデオデータの領域の画素のそれぞれのクラスを決定するように構成され得る。第２の処理ユニットは、前記各画素の特性測定に基づき、処理されたビデオデータの領域の画素および元のビデオデータに関連する各領域の各画素に基づくクラスの強度オフセットを決定するように構成され得る。第３の処理ユニットは、クラスの強度オフセットに基づく処理されたビデオデータの領域を補償するように構成され得る。複数の処理ユニットに基づくハードウェア実装の上述の例は、システム機能と処理ユニットとの間に１つのマッピングを例示している。とはいえ、特定の機能的パーティションおよびハードウェアマッピングは、本発明を限定するものと解釈してはならない。当業者は、システム機能に基づく、異なるパーティションを用い、且つ前記機能を異なるハードウェア処理ユニットにマッピングすることで本発明を実行し得る。上述の本発明に基づくデコーディングシステムの適応オフセット復元の実施の形態も、統合されたハードウェアまたは複数の処理ユニットに実施され得る。各処理ユニットは、適応オフセット復元の特定機能に対応する。例えば、第１の処理ユニットは、ビデオビットストリームからのビデオ画像を再構成し、処理されたビデオ画像を提供するように構成され得る。構成ユニット（ｃｏｎｆｉｇｕｒａｔｉｏｎ ｕｎｉｔ）は、処理されたビデオ画像の領域を構成するように用いられ得る。第２の処理ユニットは、前記画素のそれぞれの特性測定に基づき、処理されたビデオ画像の領域の画素のそれぞれのクラスを決定するように構成され得る。第３の処理ユニットは、ビデオビットストリームに示されたように、クラスの強度オフセットを決定するように構成され得る。第４の処理ユニットは、クラスの強度オフセットに基づく処理されたビデオ画像の領域を補償するように構成され得る。複数の処理ユニットに基づくデコーダシステムのハードウェア実装の上述の例は、システム機能と処理ユニットとの間に１つのマッピングを例示している。とはいえ、特定の機能的パーティションおよびハードウェアマッピングは、本発明を限定するものと解釈してはならない。当業者は、システム機能に基づく、異なるパーティションを用い、且つ前記機能を異なるハードウェア処理ユニットにマッピングすることで本発明を実行し得る。

以上、本発明の好適な実施例を例示したが、これは本発明を限定するものではなく、本発明の精神及び範囲を逸脱しない限りにおいては、当業者であれば行い得る少々の変更や修飾を付加することが可能である。従って、本発明が請求する保護範囲は、特許請求の範囲を基準とする。

１１０ イントラ予測
１１２ 動き補償（ＭＣ）
１１４ スイッチ
１１６ 加算器
１１８ 変換（Ｔ）
１２０ 量子化（Ｑ）
１２２ エントロピーコーディング
１２４ 逆量子化（ＩＱ）
１２６ 逆変換（ＩＴ）
１２８ 再構成（ＲＥＣ）
１３０ デブロックフィルタ
１３２ 適応ループフィルタ（ＡＬＦ）
１３４ 参照画像バッファ
１３６ 予測データ
２１２ 動き補償
２１４ スイッチ
２２２ エントロピーデコーディング
４１０ 適応オフセット

Claims (13)

1. 処理されたビデオデータを処理する適応オフセットの方法であって、前記方法は、
   前記処理されたビデオデータを受けるステップ、
   前記処理されたビデオデータの領域を選択するステップ、
   前記処理されたビデオデータの領域の画素のそれぞれのクラスを、前記画素のそれぞれの特性測定に基づき決定するステップ、
   前記処理されたビデオデータの領域の画素および元のビデオデータに関連する各領域の各画素に基づくクラスの強度オフセットを決定するステップ、および
   前記クラスの強度オフセットに基づく前記処理されたビデオデータの領域を補償するステップを含み、
   前記処理されたビデオデータは、デブロック処理前に再構成されたビデオデータに対応し、
   前記処理されたビデオデータの領域の画素のそれぞれのクラスを、前記画素のそれぞれの特性測定に基づき決定するステップは、領域に基づいて実行される
   方法。
2. 前記処理されたビデオデータの領域の画素のそれぞれのクラスを、前記画素のそれぞれの特性測定に基づき決定するステップは、４つの線形画素パターンから、前記画素の画素パターンを選択するステップを含み、
   前記画素パターンは、前記特性測定に用いられる
   請求項１記載の方法。
3. 前記４つの線形画素パターンは、垂直線、水平線、１３５度傾斜線、及び４５度傾斜線に沿って、それぞれ配置される
   請求項２記載の方法。
4. 前記領域の画素のそれぞれのクラスを決定するステップは、画素強度をＮ不均等帯域に分割するステップを含み、Ｎは整数である請求項１に記載の方法。
5. 前記領域の画素のそれぞれのクラスを決定するステップは、画素強度をＮ不均等帯域またはＭ均等帯域に選択的に分割し、フラグをデコーダに提供し、Ｎ不均等帯域またはＭ均等帯域が選択されるかどうかを示すステップを含み、ＮおよびＭは、整数である請求項１に記載の方法。
6. 前記領域の画素のそれぞれのクラスを決定するステップは、画素強度を最小値と最大値の間のＮ帯域に分割するステップを含み、Ｎは、整数である請求項１に記載の方法。
7. 前記領域の画素のそれぞれのクラスを決定するステップは、画素強度をＮ帯域に分割し、シーケンス、画像、またはスライスレベルでオフセット補正を受けないＭ帯域に関する情報を提供し、（Ｎ−Ｍ）帯域のそれぞれに強度オフセットを提供するステップを含み、ＮおよびＭは、整数であり、ＭはＮ以下である請求項１に記載の方法。
8. 前記領域の画素のそれぞれのクラスを決定するステップは、画素強度をＮ帯域に分割し、Ｎ帯域をＭグループに分類し、オフセット補正を受けないＰグループに関する情報を提供し、（Ｍ−Ｐ）グループの各帯域に強度オフセットを提供するステップを含み、Ｎ、Ｍ、およびＰは、整数であり、Ｍは２以上であり、Ｐは、Ｍ以下である請求項１に記載の方法。
9. 前記領域の画素のそれぞれのクラスを決定するステップは、画素パターンを選択し、前記選択された画素パターンを示すために、フラグをデコーダに提供する、ステップを含み、前記画素パターンは、特性測定に用いられる請求項１に記載の方法。
10. 前記画素のそれぞれの前記特性測定は、コーディングユニットモード、予測ユニットサイズ、変換ユニットサイズ、量子化パラメータ、参照画像、動きベクトル、イントラ予測モード、残差、およびデブロック境界強度で構成されるグループから選択される請求項１に記載の方法。
11. 固有フィルタを用いて前記領域の前記画素のそれぞれに適応ループフィルタを適用するステップを更に含み、前記固有フィルタは、前記画素のそれぞれのクラスに基づき決定される請求項１に記載の方法。
12. 固有フィルタを用いて前記領域の前記画素のそれぞれに適応ループフィルタを適用するステップを更に含み、前記固有フィルタは、前記画素のそれぞれのクラスに基づき決定され、ラプラシアンの和は、前記画素のそれぞれの特性測定として用いられる請求項１に記載の方法。
13. 処理されたビデオデータを処理する適応オフセットに用いる装置であって、前記装置は、
    前記処理されたビデオデータを受けるインターフェース、
    前記処理されたビデオデータの領域を選択する構成ユニット、
    前記処理されたビデオデータの前記領域の画素のそれぞれのクラスを、前記画素のそれぞれの特性測定に基づき決定する第１の処理ユニット、
    前記処理されたビデオデータの前記領域の画素および関連する元のビデオデータの各領域の各画素に基づくクラスの強度オフセットを決定する第２の処理ユニット、および
    前記クラスの前記強度オフセットに基づく前記処理されたビデオデータの前記領域を補償する第３の処理ユニットを備え、
    前記処理されたビデオデータは、デブロック処理前に再構成されたビデオデータに対応し、
    前記第１の処理ユニットは、
    前記画素のそれぞれの特性測定に基づく、前記処理されたビデオデータの領域の画素のそれぞれのクラスの決定を、領域に基づいて実行する
    装置。

Images