JP7284137B2 - クワッドツリーを用いるブロック情報の符号化／復号化方法及びその方法を使用する装置 - Google Patents

Description

本発明は、クワッドツリーを用いるブロック情報の符号化/復号化方法及びその方法を使用する装置に関し、より詳しくは、映像符号化/復号化方法に関する。

最近、ＨＤ(Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ)解像度を有する放送サービスが国内だけでなく、世界的に拡大されるにつれて、多くのユーザが高解像度、高画質の映像になれており、これにより、多くの機関が次世代映像機器に対する開発に拍車を掛けている。また、ＨＤＴＶとともにＨＤＴＶの４倍以上の解像度を有するＵＨＤ(Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ)に対する関心が増大し、より高い解像度、高画質の映像に対する圧縮機術が要求されている。

映像圧縮のために、時間的に以前及び/又は以後のピクチャから現在ピクチャに含まれている画素値を予測するインター(ｉｎｔｅｒ)予測技術、現在ピクチャ内の画素情報を用いて現在ピクチャに含まれている画素値を予測するイントラ(ｉｎｔｒａ)予測技術、出現頻度が高いシンボル(ｓｙｍｂｏｌ)に短い符号を割り当て、出現頻度が低いシンボルに長い符号を割り当てるエントロピー符号化技術などが使われることができる。

映像圧縮技術には流動的なネットワーク環境を考慮せずに、ハードウェアの制限的な動作環境下で一定のネットワーク帯域幅を提供する技術がある。しかし、随時帯域幅が変化するネットワーク環境に適用される映像データを圧縮するためには新たな圧縮技術が要求され、このためにスケーラブル(ｓｃａｌａｂｌｅ)ビデオ符号化/復号化方法が使われることができる。

本発明の第１の目的は、映像符号化効率を上げるためにクワッドツリーを用いて変換単位情報を復号化する方法を提供することである。

本発明の第２の目的は、映像符号化効率を上げるためにクワッドツリー及び結合符号化方法を用いて変換単位情報を復号化する方法を提供することである。

本発明の第３の目的は、映像符号化効率を上げるためにクワッドツリーを用いて変換単位情報を復号化する装置を提供することである。

本発明の第４の目的は、映像符号化効率を上げるためにクワッドツリー及び結合符号化方法を用いて変換単位情報を復号化する装置を提供することである。

前述した本発明の第１の目的を達成するための本発明の一側面によるクワッドツリー構造を用いる変換単位情報復号化方法は、変換単位で統合コードブロックフラグ情報を復号化するステップ；及び、前記変換単位の大きさ情報と前記統合コードブロックフラグ情報に基づいて分割情報フラグを復号化するステップ；を含む。前記変換単位の大きさ情報と前記統合コードブロックフラグ情報に基づいて分割情報フラグを復号化するステップは、前記変換単位で変換係数が存在しない場合、前記分割情報フラグ情報を復号化せずに、前記変換単位のコードブロックフラグ情報を復号化するステップ；及び、前記分割情報フラグに基づいて前記変換単位が追加に分割されない場合、前記変換単位のコードブロックフラグ情報を復号化するステップ；を含む。前記クワッドツリー構造を用いる変換単位情報復号化方法は、前記変換単位の大きさが追加の変換単位に分割されない最小変換単位と同じ場合、前記統合コードフラグ及び前記分割情報フラグを復号化せずに、前記変換単位のコードブロックフラグ情報を復号化するステップをさらに含む。前記統合コードブロックフラグは、前記統合コードブロックフラグが適用される変換深さが一つに固定され、固定された変換深さでのみ前記統合コードブロックフラグが適用されたり、前記変換深さが所定のパラメータで定義されて複数個の変換単位深さで適応されたりする。

また、前述した本発明の第２の目的を達成するための本発明の他の側面によるクワッドツリー構造を用いる変換単位情報復号化方法は、統合コードブロックフラグと変換情報フラグが結合されて符号化された変換単位情報結合フラグに基づいて変換単位のパターン情報を復号化するステップ；及び、前記パターン情報に基づいて前記パターン情報に該当する変換単位のコードブロックフラグ情報及び分割情報フラグ情報を復号化するステップ；を含む。前記パターン情報は、所定の変換単位にコードブロックフラグが存在する場合の数と分割情報フラグが存在する場合の数とに基づいて生成された変数である。前記パターン情報は、可変長さ符号化を用いたテーブルに基づいて二進符号化される。前記パターン情報は、輝度コードブロックフラグ値をＭＳＢ(Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ)、ｃｂコードブロックフラグをＭＳＢ－１、ｃｒコードブロックフラグをＭＳＢ－２、ｓｐｌｉｔ_ｆｌａｇをＬＳＢ(Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ)で表現した４ビット情報に基づいてパターン情報を符号化したものである。

また、前述した本発明の第３の目的を達成するための本発明の他の側面による映像復号化装置は、統合コードブロックフラグ情報と変換単位の大きさ情報を復号化し、前記統合コードブロックフラグ情報と前記変換単位の大きさ情報に基づいて分割情報フラグを復号化し、前記変換単位の変換係数を復号化するエントロピー復号化部；及び、前記エントロピー復号化部から提供を受けた変換単位の変換係数情報を逆変換する逆変換部；を含む。
前記エントロピー復号化部は、前記変換単位で変換係数が存在しない場合、前記分割情報フラグ情報を復号化せずに、前記変換単位のコードブロックフラグ情報を復号化し、前記分割情報フラグに基づいて前記変換単位が追加に分割されない場合、前記変換単位のコードブロックフラグ情報を復号化する。前記エントロピー復号化部は、前記変換単位の大きさが追加の変換単位に分割されない最小変換単位と同じ場合、前記統合コードフラグ及び前記分割情報フラグを復号化せずに、前記変換単位のコードブロックフラグ情報を復号化する。

また、前述した本発明の第４の目的を達成するための本発明の他の側面による映像復号化装置は、統合コードブロックフラグと変換情報フラグが結合されて符号化された変換単位情報結合フラグに基づいて変換単位のパターン情報を復号化し、前記パターン情報に基づいて前記パターン情報に該当する変換単位のコードブロックフラグ情報及び分割情報フラグ情報を復号化するエントロピー復号化部；及び、前記エントロピー復号化部から提供を受けた変換単位の変換係数情報を逆変換する逆変換部；を含む。前記パターン情報は、所定の変換単位にコードブロックフラグが存在する場合の数と分割情報フラグが存在する場合の数とに基づいて生成される。前記パターン情報は、可変長さ符号化を用いたテーブルに基づいて二進符号化される。前記パターン情報は、輝度コードブロックフラグ値をＭＳＢ(Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ)、ｃｂコードブロックフラグをＭＳＢ－１、ｃｒコードブロックフラグをＭＳＢ－２、ｓｐｌｉｔ_ｆｌａｇをＬＳＢ(Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ)で表現した４ビット情報に基づいてパターン情報を符号化したものである。

前述したように、本発明の実施例に係るクワッドツリーを用いるブロック情報の符号化/復号化方法及びその方法を使用する装置によると、統合コードフラグ情報及び分割情報フラグを用いて現在変換単位に変換係数情報及び分割可否情報を表現することができる。
したがって、少ないビットで変換単位の変換係数情報及び分割可否情報を符号化/復号化することができ、符号化/復号化効率を高めることができる。

本発明の一実施例に係る映像符号化装置を示すブロック図である。 本発明の他の実施例に係る映像復号化器を示すブロック図である。 本発明の他の実施例に係るクワッドツリー構造を用いる変換単位情報を送信する方法を示すフローチャートである。 本発明の他の実施例に係る統合コードブロックフラグと分割情報フラグを適用する方法を示す概念図である。 本発明の他の実施例に係る統合コードブロックフラグと分割情報フラグを適用する方法を示す概念図である。 本発明の他の実施例に係る統合コードブロックフラグと分割情報フラグを適用する方法を示す概念図である。 本発明の他の実施例に係る統合コードブロックフラグと分割情報フラグを変換単位の深さ情報によって異に適用することを示す概念図である。 本発明の他の実施例に係るクワッドツリー構造で変換単位情報の復号化過程を示す概念図である。 変換単位情報結合フラグを使用する場合、変換単位の変換係数情報及び分割情報を符号化する方法を示すフローチャートである。 本発明の他の実施例に係る統合コードフラグと分割情報フラグを結合して符号化し、同じ深さに存在する変換単位の変換単位情報を統合する方法を示す概念図である。 本発明の他の実施例に係るクワッドツリー構造のブロック情報を復号化するためのフローチャートである。 本発明の他の実施例に係る変換単位情報結合フラグ情報を復号化する方法を示すフローチャートである。

本発明は、多様な変更を加えることができ、多様な実施例を有することができ、特定実施例を図面に例示して詳細な説明に詳細に説明する。しかし、これは本発明を特定の実施形態に対して限定するものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むと理解されなければならない。各図面を説明しながら類似の参照符号を類似の構成要素に対して使用した。

第１、第２などの用語は、多様な構成要素の説明に使われることができるが、前記構成要素は、前記用語により限定されてはならない。前記用語は、一つの構成要素を他の構成要素から区別する目的にのみ使われる。例えば、本発明の権利範囲を外れない限り、第１の構成要素は第２の構成要素と命名することができ、同様に、第２の構成要素も第１の構成要素と命名することができる。及び/又はという用語は、複数の関連記載項目の組合せ又は複数の関連記載項目のうちいずれの項目を含む。

一構成要素が他の構成要素に“連結されている”又は “接続されている”と言及された場合、該当他の構成要素に直接的に連結されていたり、接続されていたりすることもできるが、中間に他の構成要素が存在することもできると理解されなければならない。反面、一構成要素が他の構成要素に“直接連結されている”又は“直接接続されている”と言及された場合、中間に他の構成要素が存在しないと理解されなければならない。

本出願で使用した用語は、単に特定の実施例を説明するために使われたものであり、本発明を限定するものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本出願で、“含む”又は“有する”などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はこれらを組合せたものが存在することを指定するためのものであり、一つ又はその以上の他の特徴や数字、ステップ、動作、構成要素、部品又はこれらを組合せたものの存在又は付加可能性を予め排除しないと理解されなければならない。

以下、添付図面を参照して、本発明の好ましい実施例をさらに詳細に説明する。以下、図面上の同じ構成要素に対しては同じ参照符号を使用し、同じ構成要素に対して重複した説明は省略する。

図１は、本発明の一実施例に係る映像符号化装置を示すブロック図である。

図１を参照すると、映像符号化装置１００は、ピクチャ分割部１０５、予測部１１０、変換部１１５、量子化部１２０、再整列部１２５、エントロピー符号化部１３０、逆量子化部１３５、逆変換部１４０、フィルタ部１４５、及びメモリ１５０を含むことができる。

図１に示す各構成部は、映像符号化装置で互いに異なる特徴的な機能を表示すために独立的に示すものであり、各構成部が分離されたハードウェアや一つのソフトウェア構成単位からなることを意味しない。すなわち、各構成部は、説明の便宜上、それぞれの構成部として羅列して含むものであり、各構成部のうち少なくとも二つの構成部が結合されて一つの構成部からなり、又は一つの構成部が複数個の構成部から分けられて機能を遂行することができ、このような各構成部の統合された実施例及び分離された実施例も本発明の本質から外れない限り、本発明の権利範囲に含まれる。

また、一部の構成要素は、本発明で本質的な機能を遂行する必須な構成要素ではなく、単に性能を向上させるための選択的構成要素である。本発明は、単に性能向上のために使われる構成要素を除いた本発明の本質具現に必須な構成部のみを含んで具現されることができ、単に性能向上のために使われる選択的構成要素を除いた必須構成要素のみを含む構造も本発明の権利範囲に含まれる。

ピクチャ分割部１０５は、入力されたピクチャを少なくとも一つの処理単位に分割することができる。このとき、処理単位は、予測単位(Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ；ＰＵ)であってもよく、変換単位(Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ；ＴＵ)であってもよく、符号化単位(Ｃｏｄｉｎｇ Ｕｎｉｔ；ＣＵ)であってもよい。ピクチャ分割部１０５では、一つのピクチャに対して複数の符号化単位、予測単位、及び変換単位の組合せに分割し、所定の基準(例えば、費用関数)に一つの符号化単位、予測単位、及び変換単位の組合せを選択してピクチャを符号化することができる。

例えば、一つのピクチャは、複数個の符号化単位に分割されることができる。ピクチャで符号化単位を分割するためにはクワッドツリー構造(Ｑｕａｄ Ｔｒｅｅ Ｓｔｒｕｃｔｕｒｅ)のような再帰的なツリー構造を使用することができ、一つの映像又は最大大きさ符号化単位をルートにして他の符号化単位に分割される符号化ユニットは、分割された符号化単位の個数ほどの子ノードを有して分割されることができる。一定の制限によってこれ以上分割されない符号化単位は、リーフノードとなる。すなわち、一つのコーディングユニットに対して正方形分割のみが可能であると仮定する場合、一つの符号化単位は、最大４個の他の符号化単位に分割されることができる。

以下、本発明の実施例では、符号化単位の意味を、符号化をする単位という意味だけでなく、復号化をする単位という意味として使用することができる。

予測単位は、一つの符号化単位内で同じ大きさの少なくとも一つの正四角形又は直四角形などの形態を有して分割されたり、一つの符号化単位内で分割された予測単位のうち一つの予測単位の形態が異なる予測単位の形態と異なる形態を有して分割されたりすることができる。

符号化単位に基づいて画面内予測を実行する予測単位を生成時に最小符号化単位でない場合、複数の予測単位(Ｎ×Ｎ)に分割せずに、画面内予測を実行することができる。

予測部１１０は、画面間予測を実行する画面間予測部と画面内予測を実行する画面内予測部を含むことができる。予測単位に対して画面間予測を使用するか、画面内予測を実行するかを決定し、各予測方法による具体的な情報(例えば、画面内予測モード、動きベクトル、参照ピクチャ等)を決定することができる。このとき、予測が実行される処理単位と予測方法及び具体的な内容が決まる処理単位は異なってもよい。例えば、予測の方法と予測モードなどは、予測単位に決定され、予測の実行は、変換単位に実行されることもできる。生成された予測ブロックと原本ブロックとの間の残差値(残差ブロック)は、変換部１１５に入力されることができる。また、予測のために使用した予測モード情報、動きベクトル情報などは、残差値と共にエントロピー符号化部１３０で符号化されて復号化器に伝達されることができる。特定の符号化モードを使用する場合、予測部１１０を介して予測ブロックを生成せずに、原本ブロックをそのまま符号化して復号化部に送信することも可能である。

画面間予測部は、現在ピクチャの以前ピクチャ又は以後ピクチャのうち少なくとも一つのピクチャの情報に基づいて予測単位を予測することができる。画面間予測部は、参照ピクチャ補間部、動き予測部、動き補償部が含むことができる。

参照ピクチャ補間部では、メモリ１５５から参照ピクチャ情報の提供を受け、参照ピクチャで整数画素以下の画素情報を生成することができる。輝度画素の場合、１/４画素単位に整数画素以下の画素情報を生成するためにフィルタ係数を異にするＤＣＴベースの８タッブ補間フィルタ(ＤＣＴ－ｂａｓｅｄ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ)が使われることができる。色差信号の場合、１/８画素単位に整数画素以下の画素情報を生成するためにフィルタ係数を異にするＤＣＴベースの４タッブ補間フィルタ(ＤＣＴ－ｂａｓｅｄ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ)が使われることができる。

動き予測部は、参照ピクチャ補間部により補間された参照ピクチャに基づいて動き予測を実行することができる。動きベクトルを算出するための方法として、ＦＢＭＡ(Ｆｕｌｌ ｓｅａｒｃｈ－ｂａｓｅｄ Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ Ａｌｇｏｒｉｔｈｍ)、ＴＳＳ(Ｔｈｒｅｅ Ｓｔｅｐ Ｓｅａｒｃｈ)、ＮＴＳ(Ｎｅｗ Ｔｈｒｅｅ－Ｓｔｅｐ Ｓｅａｒｃｈ Ａｌｇｏｒｉｔｈｍ)等、多様な方法が使われることができる。動きベクトルは、補間された画素に基づいて１/２又は１/４画素単位の動きベクトル値を有することができる。動き予測部では、動き予測方法を異にして現在予測単位を予測することができる。
動き予測方法として、スキップ(Ｓｋｉｐ)方法、マージ(Ｍｅｒｇｅ)方法、ＡＭＶＰ(Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ)方法など、多様な方法が使われることができる。

画面内予測部は、現在ピクチャ内の画素情報である現在ブロック周辺の参照ピクセル情報に基づいて予測単位を生成することができる。現在予測単位の周辺ブロックが画面間予測を実行したブロックであるため、参照ピクセルが画面間予測を実行したピクセルの場合、画面間予測を実行したブロックに含まれる参照ピクセルを周辺の画面内予測を実行したブロックの参照ピクセル情報に取り替えて使用することができる。すなわち、参照ピクセルを可用しない場合、可用しない参照ピクセル情報を可用な参照ピクセルのうち少なくとも一つの参照ピクセルに取り替えて使用することができる。

画面内予測で予測モードは、参照ピクセル情報を予測方向によって使用する方向性予測モードと予測実行時に方向性情報を使用しない非方向性モードを有することができる。輝度情報を予測するためのモードと色差情報を予測するためのモードが異なり、色差情報を予測するために輝度情報を予測した画面内予測モード情報又は予測された輝度信号情報を活用することができる。

画面内予測を実行時に予測単位の大きさと変換単位の大きさが同じ場合、予測単位の左側に存在するピクセル、左側上段に存在するピクセル、上段に存在するピクセルに基づいて予測単位に対する画面内予測を実行するが、画面内予測を実行時に予測単位の大きさと変換単位の大きさが異なる場合、変換単位に基づく参照ピクセルを用いて画面内予測を実行することができる。また、最小符号化単位に対してのみＮ×Ｎ分割を使用する画面内予測を使用することができる。

画面内予測方法は、予測モードによって参照画素にＡＩＳ(Ａｄａｐｔｉｖｅ Ｉｎｔｒａ Ｓｍｏｏｔｈｉｎｇ)フィルタを適用した後、予測ブロックを生成することができる。
参照画素に適用されるＡＩＳフィルタの種類は異なってもよい。画面内予測方法を実行するために現在予測単位の画面内予測モードは、現在予測単位の周辺に存在する予測単位の画面内予測モードから予測することができる。周辺予測単位から予測されたモード情報を用いて現在予測単位の予測モードを予測する場合、現在予測単位と周辺予測単位の画面内予測モードが同じであると、所定のフラグ情報を用いて現在予測単位と周辺予測単位の予測モードが同じであるという情報を送信することができ、もし、現在予測単位と周辺予測単位の予測モードが異なると、エントロピー符号化を実行して現在ブロックの予測モード情報を符号化することができる。

また、予測部１１０で生成された予測単位に基づいて予測を実行した予測単位と予測単位の原本ブロックとの差値である残差値(Ｒｅｓｉｄｕａｌ)情報を含む残差ブロックが生成されることができる。生成された残差ブロックは、変換部１１５に入力されることができる。変換部１１５では、原本ブロックと予測部１１０を介して生成された予測単位の残差値(ｒｅｓｉｄｕａｌ)情報を含む残差ブロックをＤＣＴ(Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)又はＤＳＴ(Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)のような変換方法を使用して変換させることができる。残差ブロックを変換するためにＤＣＴを適用するか、ＤＳＴを適用するかは、残差ブロックを生成するために使われた予測単位の画面内予測モード情報に基づいて決定することができる。

量子化部１２０は、変換部１１５から周波数領域に変換された値を量子化することができる。ブロックによって又は映像の重要度によって量子化係数は変わることができる。量子化部１２０で算出された値は、逆量子化部１３５と再整列部１２５に提供されることができる。

再整列部１２５は、量子化された残差値に対して係数値の再整列を実行することができる。

再整列部１２５は、係数スキャニング(Ｃｏｅｆｆｉｃｉｅｎｔ Ｓｃａｎｎｉｎｇ)方法を介して２次元のブロック形態係数を１次元のベクトル形態に変更することができる。
例えば、再整列部１２５では、ジグザグスキャン(Ｚｉｇ－Ｚａｇ Ｓｃａｎ)方法を用いてＤＣ係数から高周波数領域の係数までスキャンして１次元ベクトル形態に変更させることができる。変換単位の大きさ及び画面内予測モードによってジグザグスキャン方法でない、２次元のブロック形態係数を列方向にスキャンする垂直スキャン方法、２次元のブロック形態係数を行方向にスキャンする水平スキャン方法が使われることができる。すなわち、変換単位の大きさ及び画面内予測モードによって、ジグザグスキャン、垂直方向スキャン及び水平方向スキャンのうちいずれのスキャン方法が使われるかを決定することができる。

エントロピー符号化部１３０は、再整列部１２５により算出された値に基づいてエントロピー符号化を実行することができる。エントロピー符号化は、例えば、指数ゴロム(Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ)、ＣＡＶＬＣ(Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ)、ＣＡＢＡＣ(Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ)のような多様な符号化方法を使用することができる。

エントロピー符号化部１３０は、再整列部１２５及び予測部１１０から符号化単位の残差値係数情報及びブロックタイプ情報、予測モード情報、分割単位情報、予測単位情報及び送信単位情報、動きベクトル情報、参照フレーム情報、ブロックの補間情報、フィルタリング情報など、多様な情報を符号化することができる。

エントロピー符号化部１３０では、再整列部１２５で入力された符号化単位の係数値をエントロピー符号化することができる。

エントロピー符号化部１３０では、可変長さ符号化テーブル(Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ Ｔａｂｌｅ)のようなエントロピー符号化を実行するためのテーブルが格納されることができ、格納された可変長さ符号化テーブルを使用してエントロピー符号化を実行することができる。エントロピー符号化を実行するにあたり、テーブルに含まれている一部のコードワード(Ｃｏｄｅｗｏｒｄ)にカウンタ(Ｃｏｕｎｔｅｒ)を用いた方法又は直接変換(Ｄｉｒｅｃｔ Ｓｗａｐｐｉｎｇ)方法を使用して該当情報のコード番号に対するコードワード割当を変化させることができる。例えば、コード番号とコードワードをマッピングするテーブルで少ないビット数のコードワードが割り当てられた上位のいくつかのコード番号の場合、カウンタを使用してコード番号の合算された発生回数が最も多いコード番号に短い長さのコードワードを割り当てることができるように適応的にコードワードとコード番号をマッピングするテーブルのマッピング順序を変えることができる。カウンタでカウンティングされた回数が所定の閾値に達した場合、カウンタに記録されたカウンティング回数を半分に分けて再びカウンティングを実行することができる。

カウンティングを実行しないテーブル内のコード番号は、直接変換(Ｄｉｒｅｃｔ Ｓｗａｐｐｉｎｇ)方法を使用してコード番号に該当する情報が発生する場合、真上のコード番号と位置を変換する方法を介して該当コード番号に割り当てられるビット数を少なくしてエントロピー符号化を実行することができる。

エントロピー符号化部１３０では、現在変換深さで統合コードブロックフラグを符号化し、統合コードブロックフラグ情報に基づいて分割情報フラグを符号化することができる。また、エントロピー符号化部１３０では、統合コードブロックフラグ情報に基づいて分割情報フラグを結合して符号化することができる。以下、追加的な符号化方法に対し、以下の本発明の実施例で説明する。

逆量子化部１３５及び逆変換部１４０では、量子化部１２０で量子化された値を逆量子化し、変換部１１５で変換された値を逆変換する。逆量子化部１３５及び逆変換部１４０で生成された残差値(Ｒｅｓｉｄｕａｌ)は、予測部１１０に含まれている動き推定部、動き補償部及びイントラ予測部を介して予測された予測単位と加えられて復元ブロック(Ｒｅｃｏｎｓｔｒｕｃｔｅｄ Ｂｌｏｃｋ)を生成することができる。

フィルタ部１４５は、ジブロッキングフィルタ、オフセット補正部、ＡＬＦ(Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ)うち少なくとも一つを含むことができる。

ジブロッキングフィルタ１４５は、復元されたピクチャでブロック間の境界によって生じたブロック歪曲を除去することができる。ジブロッキングを実行するかどうかを判断するために、ブロックに含まれているいくつかの列又は行に含まれているピクセルに基づいて現在ブロックにジブロッキングフィルタ適用するかどうかを判断することができる。ブロックにジブロッキングフィルタを適用する場合、必要なジブロッキングフィルタリング強度によって強いフィルタ(Ｓｔｒｏｎｇ Ｆｉｌｔｅｒ)又は弱いフィルタ(Ｗｅａｋ Ｆｉｌｔｅｒ)を適用することができる。また、ジブロッキングフィルタを適用するにあたり、垂直フィルタリング及び水平フィルタリングを実行時、水平方向フィルタリング及び垂直方向フィルタリングが並行処理されるようにすることができる。

オフセット補正部は、ジブロッキングを実行した映像に対してピクセル単位に原本映像とのオフセットを補正することができる。特定ピクチャに対するオフセット補正を実行するために映像に含まれているピクセルを一定の数の領域に区分した後、オフセットを実行する領域を決定し、該当領域にオフセットを適用する方法又は各ピクセルのエッジ情報を考慮してオフセットを適用する方法を使用することができる。

ＡＬＦ(Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ)は、フィルタリングした復元映像と元来の映像を比較した値に基づいてフィルタリングを実行することができる。映像に含まれているピクセルを所定のグループに分けた後、該当グループに適用される一つのフィルタを決定してグループ毎に差別的にフィルタリングを実行することができる。ＡＬＦを適用するかどうかに関連した情報は、輝度信号は符号化単位(Ｃｏｄｉｎｇ Ｕｎｉｔ；ＣＵ)別に送信されることができ、それぞれのブロックによって適用されるＡＬＦの大きさ及び係数は変わることができる。ＡＬＦは、多様な形態を有することができ、フィルタにより含まれる係数の個数も変わることができる。このようなＡＬＦのフィルタリング関連情報(フィルタ係数情報、ＡＬＦ Ｏｎ/Ｏｆｆ情報、フィルタ形態情報)は、ビットストリームで所定のパラメータセットに含まれて送信されることができる。

メモリ１５０は、フィルタ部１４５を介して算出された復元ブロック又はピクチャを格納することができ、格納された復元ブロック又はピクチャは、画面間予測を実行時に予測部１１０に提供されることができる。

図２は、本発明の他の実施例に係る映像復号化器を示すブロック図である。

図２を参照すると、映像復号化器２００は、エントロピー復号化部２１１０、再整列部２１５、逆量子化部２２０、逆変換部２２５、予測部２３０、フィルタ部２３５、メモリ２４０が含まれることができる。

映像符号化器から映像ビットストリームが入力された場合、入力されたビットストリームは、映像符号化器と反対の手順に復号化されることができる。

エントロピー復号化部２１０は、映像符号化器のエントロピー符号化部でエントロピー符号化を実行したことと反対の手順にエントロピー復号化を実行することができる。例えば、映像符号化器でエントロピー符号化を実行するために使われたＶＬＣテーブルは、エントロピー復号化部でも同じ可変長さ符号化テーブルで具現されてエントロピー復号化を実行することができる。エントロピー復号化部２１０で復号化された情報のうち予測ブロックを生成するための情報は、予測部２３０に提供され、エントロピー復号化部でエントロピー復号化を実行した残差値は、再整列部２１５に入力されることができる。

エントロピー復号化部２１０でもエントロピー符号化部と同様に、カウンタ(Ｃｏｕｎｔｅｒ)又は直接変換(Ｄｉｒｅｃｔ Ｓｗａｐｐｉｎｇ)方法を用いてコードワード割当テーブルを変化させることができ、変化されたコードワード割当テーブルに基づいてエントロピー復号化を実行することができる。

符号化器で実行された画面内予測及び画面間予測に関連した情報を復号化することができる。前述したように映像符号化器で画面内予測及び画面間予測を実行時に所定の制約がある場合、このような制約に基づくエントロピー復号化を実行して現在ブロックに対する画面内予測及び画面間予測に関連した情報の提供を受けることができる。エントロピー復号化部では、以下の本発明の実施例の図３乃至図８で説明する復号化動作を実行することができる。

エントロピー復号化部２１０では、変換単位で統合コードブロックフラグ情報を復号化し、変換単位の大きさ情報と統合コードブロックフラグ情報に基づいて分割情報フラグを復号化することができる。また、統合コードブロックフラグと変換情報フラグが結合されて符号化された変換単位情報結合フラグに基づいて変換単位のパターン情報を復号化し、パターン情報に基づいてパターン情報に該当する変換単位のコードブロックフラグ情報及び分割情報フラグ情報を復号化することができる。詳細なエントロピー復号化過程に対し、以下の本発明の実施例で記述する。

再整列部２１５は、エントロピー復号化部２１０でエントロピー復号化されたビットストリームを符号化部で再整列した方法に基づいて再整列を実行することができる。１次元ベクトル形態に表現された係数を再び２次元のブロック形態の係数に復元して再整列することができる。再整列部では、符号化部で実行された係数スキャニングに関連した情報の提供を受け、該当符号化部で実行されたスキャニング順序に基づいて逆にスキャニングする方法を介して再整列を実行することができる。

逆量子化部２２０は、符号化器で提供された量子化パラメータと再整列されたブロックの係数値に基づいて逆量子化を実行することができる。

逆変換部２２５は、映像符号化器で実行した量子化結果に対して変換部で実行したＤＣＴ及びＤＳＴに対して逆ＤＣＴ及び逆ＤＳＴを実行することができる。逆変換は、映像符号化器で決定された送信単位に基づいて実行されることができる。映像符号化器の変換部では、ＤＣＴとＤＳＴは、予測方法、現在ブロックの大きさ及び予測方向など、複数の情報によって選択的に実行されることができ、映像復号化器の逆変換部２２５では、映像符号化器の変換部で実行された変換情報に基づいて逆変換を実行することができる。

変換を実行時に変換単位でない符号化単位を基準に変換を実行することができる。

予測部２３０は、エントロピー復号化部２１０で提供された予測ブロック生成関連情報とメモリ２４０で提供された以前に復号化されたブロック又はピクチャ情報に基づいて予測ブロックを生成することができる。

前述したように、映像符号化器での動作と同様に、画面内予測を実行時に予測単位の大きさと変換単位の大きさが同じ場合、予測単位の左側に存在するピクセル、左側上段に存在するピクセル、上段に存在するピクセルに基づいて予測単位に対する画面内予測を実行するが、画面内予測を実行時に予測単位の大きさと変換単位の大きさが異なる場合には、変換単位に基づく参照ピクセルを用いて画面内予測を実行することができる。また、最小符号化単位に対してのみＮ×Ｎ分割を使用する画面内予測を使用することができる。

予測部２３０は、予測単位判別部、画面間予測部及び画面内予測部を含むことができる。予測単位判別部は、エントロピー復号化部で入力される予測単位情報、画面内予測方法の予測モード情報、画面間予測方法の動き予測関連情報など、多様な情報の入力を受けて現在符号化単位で予測単位を区分し、予測単位が画面間予測を実行するか、画面内予測を実行するかを判別することができる。画面間予測部は、映像符号化器で提供された現在予測単位の画面間予測に必要な情報を用いて現在予測単位が含まれている現在ピクチャの以前ピクチャ又は以後ピクチャのうち少なくとも一つのピクチャに含まれている情報に基づいて現在予測単位に対する画面間予測を実行することができる。

画面間予測を実行するために符号化単位を基準に該当符号化単位に含まれている予測単位の動き予測方法がスキップモード(Ｓｋｉｐ Ｍｏｄｅ)、マージモード(Ｍｅｒｇｅ Ｍｏｄｅ)、ＡＭＶＰモード(ＡＭＶＰ Ｍｏｄｅ)のうちいずれの方法かを判断することができる。

画面内予測部は、現在ピクチャ内の画素情報に基づいて予測ブロックを生成することができる。予測単位が画面内予測を実行した予測単位である場合、映像符号化器で提供された予測単位の画面内予測モード情報に基づいて画面内予測を実行することができる。画面内予測部には、ＡＩＳフィルタ、参照画素補間部、ＤＣフィルタを含むことができる。ＡＩＳフィルタは、現在ブロックの参照画素にフィルタリングを実行する部分であり、現在予測単位の予測モードによってフィルタの適用可否を決定して適用することができる。映像符号化器で提供された予測単位の予測モード及びＡＩＳフィルタ情報を用いて現在ブロックの参照画素にＡＩＳフィルタリングを実行することができる。現在ブロックの予測モードがＡＩＳフィルタリングを実行しないモードの場合、ＡＩＳフィルタは適用されない。

参照画素補間部は、予測単位の予測モードが参照画素を補間した画素値に基づいて画面内予測を実行する予測単位の場合、参照画素を補間して整数値以下の画素単位の参照画素を生成することができる。現在予測単位の予測モードが参照画素を補間せずに、予測ブロックを生成する予測モードの場合、参照画素は補間されない。ＤＣフィルタは、現在ブロックの予測モードがＤＣモードの場合、フィルタリングを介して予測ブロックを生成することができる。

復元されたブロック又はピクチャは、フィルタ部２３５に提供されることができる。フィルタ部２３５は、ジブロッキングフィルタ、オフセット補正部、ＡＬＦを含むことができる。

映像符号化器から該当ブロック又はピクチャにジブロッキングフィルタを適用したかどうかに対する情報及びジブロッキングフィルタを適用した場合、強いフィルタを適用したか、弱いフィルタを適用したかに対する情報の提供を受けることができる。映像復号化器のジブロッキングフィルタでは、映像符号化器で提供されたジブロッキングフィルタ関連情報の提供を受け、映像復号化器で該当ブロックに対するジブロッキングフィルタリングを実行することができる。映像符号化器と同様に、まず、垂直ジブロッキングフィルタリング及び水平ジブロッキングフィルタリングを実行し、重なる部分においては垂直ジブロッキング及び水平ジブロッキングのうち少なくとも一つを実行することができる。垂直ジブロッキングフィルタリング及び水平ジブロッキングフィルタリングが重なる部分で以前に実行されない垂直ジブロッキングフィルタリング又は水平ジブロッキングフィルタリングが実行されることができる。このようなジブロッキングフィルタリング過程を介してジブロッキングフィルタリングの並行処理(Ｐａｒａｌｌｅｌ Ｐｒｏｃｅｓｓｉｎｇ)が可能である。

オフセット補正部は、符号化時、映像に適用されたオフセット補正の種類及びオフセット値情報などに基づいて復元された映像にオフセット補正を実行することができる。

ＡＬＦは、フィルタリングを実行後に復元された映像と元来の映像を比較した値に基づいてフィルタリングを実行することができる。符号化器から提供されたＡＬＦ適用可否情報、ＡＬＦ係数情報などに基づいて符号化単位にＡＬＦを適用することができる。このようなＡＬＦ情報は、特定のパラメータセットに含まれて提供されることができる。

メモリ２４０は、復元されたピクチャ又はブロックを格納して参照ピクチャ又は参照ブロックとして使用するようにすることができ、また、復元されたピクチャを出力部に提供することができる。

前述したように、以下、本発明の実施例では、説明の便宜上、コーディングユニット(Ｃｏｄｉｎｇ Ｕｎｉｔ)を符号化単位という用語として使用するが、符号化だけでなく、復号化を実行する単位として使用されることもできる。以下、本発明の実施例に係る図３乃至図１２で説明する二つの候補イントラ予測モードを用いた画面内予測モードの符号化/復号化方法は、図１及び図２で前述した各モジュールの機能に適するように具現されることができ、このような符号化器及び復号化器は本発明の権利範囲に含まれる。

以下の本発明の実施例で使われる所定のフラグ情報を示す二進符号は例示に過ぎず、他の二進符号を介して同じ情報を表現することができ、このような実施例も本発明の権利範囲に含まれる。

図３は、本発明の他の実施例に係るクワッドツリー構造を用いる変換単位情報を送信する方法を示すフローチャートである。

図３を参照すると、現在変換単位の大きさが最小変換単位より大きいかどうかを判断する(ステップＳ３００)。

現在、変換単位の大きさは、変換深さ情報(ｔｒａｆｏＤｅｐｔｈ)、最大変換単位大きさ情報を示す係数に基づいて算出されたり、直接的にブロック大きさ情報を示す係数を介して算出されたりすることができる。

最小変換単位より大きい場合にのみ統合コードブロックフラグ情報を送信し、最小変換単位大きさである場合には、統合コードブロックフラグ情報を送信せずに、直ちに現在変換単位でそれぞれのコードブロックフラグ(ｃｂｆ_ｙ、ｃｂｆ_ｕ、ｃｂｆ_ｖ)を各々符号化することができる(ステップＳ３４０)。

コードブロックフラグｃｂｆ_ｌｕｍａ又はｃｂｆ_ｙは、現在変換単位に輝度信号を変換した変換係数値のうち０でない一つ以上の変換係数が存在するかどうか、ｃｂｆ_ｃｂは、現在変換単位に色差信号ｃｂを変換した変換係数値のうち０でない一つ以上の変換係数が存在するかどうか、ｃｂｆ_ｃｒは、現在変換単位で色差信号ｃｒを変換した変換係数値のうち０でない一つ以上の変換係数が存在するかどうかを示すことができる。

現在、変換単位の大きさが最小変換単位より大きい場合、現在の変換深さで統合コードブロックフラグを符号化する(ステップＳ３１０)。

統合コードブロックフラグは、輝度信号及び色差信号の変換量子化係数が存在するかどうかを示すフラグであり、０でない値の場合、該当変換単位で０でない一つ以上の変換係数が存在するということを意味する。

統合コードフラグは、Ｙ/Ｃｂ/Ｃｒコードブロックフラグを代表して示すフラグとして使われることができる。統合コードフラグの値は、Ｙ/Ｃｂ/Ｃｒのｃｂｆのうち一つでも０でない場合、統合コードフラグは０でない値で表現されることができ、Ｙ/Ｃｂ/Ｃｒのｃｂｆの全てが０である場合、統合コードフラグは０で表現されることができる。

統合コードブロックフラグが使われる変換深さを固定的に予め定めて使用したり、統合コードブロックフラグが適用されることができる変換深さを適応的に変わって使用したりし、シーケンス又はピクチャ、スライスなど、多様な単位に統合コードブロックフラグの適用可否を異にすることができる。変換深さを適応的に変わるようにするための情報は、ＳＰＳ(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、ＰＰＳ(Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、Ｓｌｉｃｅ Ｈｅａｄｅｒに含まれることができる。

統合コードブロックフラグ情報によって現在変換深さで分割情報フラグを符号化する(ステップＳ３２０)。

現在、変換単位が分割されたかどうかに関する情報は、構文要素ｓｐｌｉｔ_ｔｒａｎｓｆｏｒｍ_ｆｌａｇを介して送信されることができる。以下、本発明の実施例では分割情報フラグという用語をｓｐｌｉｔ_ｔｒａｎｓｆｏｒｍ_ｆｌａｇと同じ意味として使用することができる。

例えば、現在変換単位が分割される場合、分割情報フラグの値を０でない値に設定し、現在変換単位が分割されない場合、分割情報フラグの値を０に設定して使用することができる。本発明の実施例で使われる構文要素及び構文要素情報を表示するための二進符号は例示に過ぎず、本発明の本質で外れない限り他の構文要素及び他の構文要素の二進符号を使用することができる。

本発明の実施例に係るクワッドツリーを用いるブロック情報送信方法では統合コードフラグによって分割情報を異に送信することができる。

統合コードブロックフラグが０でなく、現在変換単位が下位変換単位に分割されない場合、分割情報フラグ値として０を有し、統合コードブロックフラグが０でなく、現在変換単位が下位変換単位に分割される場合、分割情報フラグ値として０でない値を有することができる。また、統合コードブロックフラグが０の場合、現在変換単位に対する分割情報を追加的に送信しないことによって不必要な分割情報を送信しない。統合コードブロックフラグと分割情報フラグは、結合されて結合符号化(Ｊｏｉｎｔ Ｃｏｄｉｎｇ)されることができる。統合コードブロックフラグと分割情報フラグが結合符号化される場合、ステップＳ３００乃至ステップＳ３２０の手順が変わることができる。統合コードブロックフラグを適用する場合、符号化方法は、現在変換単位でｃｂｆ_ｙ、ｃｂｆ_ｕ、ｃｂｆ_ｖ、ｓｐｌｉｔ_ｆｌａｇのうち符号化しなければならない情報が何かを判断した後、必要な構文要素情報を所定のパターン情報で表現し、パターン情報に基づいて現在変換単位でそれぞれのコードブロックフラグ(ｃｂｆ_ｙ、ｃｂｆ_ｕ、ｃｂｆ_ｖ)と分割情報フラグ(ｓｐｌｉｔ_ｔｒａｎｓｆｏｒｍ_ｆｌａｇ)を表現することができる。統合コードフラグを使用した符号化方法に対し、以下で詳細に説明する。

現在変換単位が追加に分割されるかどうかを判断する(ステップＳ３３０)。

変換単位が追加に分割される場合、ステップＳ３００に戻り、分割された変換単位の大きさが最小大きさの変換単位かどうかを判断し、分割された変換単位が最小大きさの変換単位の場合、ステップＳ３４０に戻り、統合コードブロックフラグ情報を送信せずに、直ちに現在変換単位に存在するそれぞれの変換係数情報(ｃｂｆ_ｙ、ｃｂｆ_ｕ、ｃｂｆ_ｖ)を各々符号化した後、変換単位情報を符号化する手順を終了することができる。

以下、図４乃至図６では、統合コードブロックフラグと分割情報フラグが符号化単位に基づいて送信される方法に対して記述する。すなわち、符号化単位に含まれる変換単位の変換係数情報及び分割情報を符号化単位別に送信することができる。しかし、本発明の実施例に係るツリーを用いるブロック情報送信方法では、変換単位別に統合コードブロックフラグと分割情報フラグを送信することも可能である。

図４は、本発明の他の実施例に係る統合コードブロックフラグと分割情報フラグを適用する方法を示す概念図である。

図４を参照すると、図４の上段と図４の下段は、現在変換単位に含まれている変換係数が存在しないＡＺＣＢ(Ａｌｌ Ｚｅｒｏ Ｃｏｅｆｆｉｃｉｅｎｔ Ｂｌｏｃｋ)であり、統合コードブロックフラグを最上位変換ブロックにのみ適用する場合、統合コードブロックフラグと分割情報フラグを送信する方法を説明するための概念図である。

以下、本発明の実施例では現在変換単位に変換係数が存在しないＡＺＣＢ(Ａｌｌ Ｚｅｒｏ Ｃｏｅｆｆｉｃｉｅｎｔ Ｂｌｏｃｋ)は、零変換係数変換単位という用語で表現されることができる。

図４の上段は、符号化単位の大きさと最上位変換単位の大きさが同じであり、変換単位に含まれている変換係数が存在しない場合を示す。

符号化単位の大きさと最上位変換単位の大きさが同じであり、変換単位に含まれている変換係数が存在しない場合、追加に分割されないため、最上位変換単位で統合コードブロックフラグを０に設定し、分割情報フラグは、送信しなくても現在変換単位の大きさ情報と変換係数情報を送信することができる。

すなわち、本発明の実施例に係るクワッドツリーを用いるブロック情報送信方法では、変換係数が存在しない零変換係数変換単位に対しては追加の変換単位に分割されないため、分割情報が不必要であり、分割情報フラグは追加的に送信されない。

図４の下段は、符号化単位の大きさと最上位変換単位の大きさが異なる場合を示し、変換単位に含まれている変換係数が存在しない場合を示す。

最上位変換単位の大きさが符号化単位の大きさより小さく、符号化単位に含まれる最上位変換単位の全てが零変換係数変換単位の場合、統合コードブロックフラグを０に設定し、分割情報フラグは、送信しなくても現在変換単位の大きさ情報と変換係数情報を送信することができる。

図５は、本発明の他の実施例に係る統合コードブロックフラグと分割情報フラグを適用する方法を示す概念図である。

図５を参照すると、図５の上段と下段は、現在変換単位に含まれている変換係数が存在し、統合コードブロックフラグを最上位変換ブロックにのみ適用する場合、統合コードフラグと分割情報フラグを送信するための方法を説明するための概念図である。

図５の上段は、符号化単位の大きさと最上位変換単位の大きさが同じであり、変換係数が存在し、最上位変換単位が追加の変換単位に分割されない場合を示す。

最上位変換単位で統合コードブロックフラグを０でない値に設定し、分割情報フラグを０で送信し、現在変換単位の分割可否情報と変換係数情報を送信することができる。

図５の下段は、符号化単位の大きさと最上位変換単位の大きさが同じであり、変換係数が存在し、最上位変換単位が追加の変換単位に分割される場合を示す。

最上位変換単位の大きさが符号化単位の大きさと同じであり、下位分割された変換単位のうち少なくとも一つの変換単位で変換係数が存在するブロックの場合、最上位変換単位で統合コードフラグを０でない値に設定し、分割情報フラグを０でない値で送信し、現在符号化単位に含まれている変換単位で変換係数が存在するかどうか及び分割状態を表現することができる。

図６は、本発明の他の実施例に係る統合コードブロックフラグと分割情報フラグを適用する方法を示す概念図である。

図６を参照すると、最上位変換単位の大きさが符号化単位より小さく、変換係数が存在する場合を示す。

最上位変換単位の大きさが符号化単位より小さく、変換係数が存在すると、統合コードブロックフラグを０でない値で送信し、現在符号化単位より小さい大きさの変換単位に分割されるため、分割情報フラグを送信しなくても現在符号化単位に含まれている変換単位の分割情報を示すことができる。

図７は、本発明の他の実施例に係る統合コードブロックフラグと分割情報フラグを変換単位の深さ情報によって異に適用することを示す概念図である。

図７では、変換単位に基づいて統合コードブロックフラグと分割情報フラグを送信することができる。

図７の上段を参照すると、変換単位の深さが０の場合、すなわち、最上位変換単位にのみ統合コードフラグを適用することを示す。

変換単位の深さが０の場合、すなわち、最上位符号化単位にのみ統合コードブロックフラグと分割情報フラグを適用すると、最上位変換単位を基準に上位変換単位で変換係数が存在するかどうかに基づいて統合コードブロックフラグを送信し、最上位変換単位が追加的に分割されるかに対して分割情報フラグを送信することができる。図７の上段の場合、最上位変換単位を基準に変換係数が存在するため、統合コードブロックフラグを０でない値に設定し(ｃｂｆ_ｙｕｖ[ｄｅｐｔｈ]!＝０)、分割情報フラグを１に設定することができる(ｓｐｌｉｔ_ｔｒａｎｓｆｏｒｍ_ｆｌａｇ[ｄｅｐｔｈ]!＝０)。

図７の下段を参照すると、変換単位の深さ１まで統合コードブロックフラグ及び分割情報フラグを適用することを示す。

図７の下段ブロックでは変換単位の深さが０の場合、変換係数が存在するため、統合コードブロックフラグを０でない値に設定し、追加の下位変換単位に分割されるため、分割情報フラグを１に設定することができる。

変換深さが１の場合、各変換単位に対して再び統合コードフラグと分割情報フラグを適用することができる。例えば、ｚスキャン方向に基づいて第１の変換単位７００、第２の変換単位７１０、第３の変換単位７２０、第４の変換単位７３０とする時、第１の変換単位７００乃至第３の変換単位７２０は、変換係数が存在しないため、統合コードブロックフラグを０で送信し、変換係数の全てが０であり、追加の変換単位に分割されないため、分割情報フラグを送信しない(ｃｂｆ_ｙｕｖ[ｄｅｐｔｈ]＝０、ｓｐｌｉｔ_ｔｒａｎｓｆｏｒｍ_ｆｌａｇ[ｄｅｐｔｈ]＝０)。第４の変換単位７３０は、変換係数が存在し、追加に変換単位に分割されるため、統合コードフラグを０でない値で送信し、分割情報フラグを１で送信することができる(ｃｂｆ_ｙｕｖ[ｄｅｐｔｈ]!＝０、ｓｐｌｉｔ_ｔｒａｎｓｆｏｒｍ_ｆｌａｇ[ｄｅｐｔｈ]!＝０)。

以下の表１は、統合コードフラグと分割情報フラグを送信する構文を示す。

表１を参照すると、変換ツリー(ｔｒａｎｓｆｏｒｍ ｔｒｅｅ)シンタックスで変換単位深さ情報によって統合コードブロックフラグと分割情報フラグを表現することができる。

図８は、本発明の他の実施例に係るクワッドツリー構造で変換単位情報の復号化過程を示す概念図である。

図８の左側に開示された変換単位は、最大変換単位の大きさが３２×３２であり、最小変換単位の大きさが４×４の場合を示す。

図８の左側は、現在変換単位の分割状態と変換係数の存在可否を示すブロックであり、図８の右側は、変換単位のそれぞれの深さで統合コードブロックフラグと分割情報フラグを各々表現する方法を示すツリー構造である。

図８で変換深さ０の場合８００はｃｂｆ_ｙｕｖ_ｆｌａｇが０でない値であり、変換単位深さ０では変換係数が存在するということを示し、ｓｐｌｉｔ_ｔｒａｎｓｆｏｒｍ_ｆｌａｇは１であり、下位変換単位に分割が発生するということを意味する。

図８で変換深さ１の場合８１０、８２０、８３０、８４０は、変換単位深さ１に分割された変換単位での変換係数存在可否と変換単位深さ１の変換単位が追加に分割されるかどうかに対する情報を示す。すなわち、第１の変換ブロック８５０は、変換係数が存在しないため、統合コードブロックフラグの値に０を送信し、分割情報フラグを追加に送信しない。第４の変換ブロック８６０も第１の変換ブロックと同じであり、第２の変換ブロック８７０と第３の変換ブロック８８０の場合、変換係数が存在するため、統合コードブロックフラグを０でない値で送信し、追加の変換単位に分割されるため、分割情報フラグを１で送信することができる。

第２の変換ブロックに基づいて追加に分割された変換単位を見ると、現在変換単位が追加に分割されない場合８８０、現在変換単位のｃｂｆ_ｙ、ｃｂｆ_ｕ、ｃｂｆ_ｖを各々送信することができ、追加に分割される場合８９０、現在変換単位での統合コードブロックフラグ情報と分割情報フラグを送信することができる。

追加に分割された変換単位が最小の変換単位である場合８９５、直ちに、最小変換単位のｃｂｆ_ｙ、ｃｂｆ_ｕ、ｃｂｆ_ｖ情報を各々送信することができる。

前述したように本発明の他の実施例に係るクワッドツリーを用いるブロック情報送信方法及びその方法を使用する装置では、統合コードブロックフラグと分割情報フラグを結合して符号化することができる。

統合コードブロックフラグの各要素であるｃｂｆ_ｙ、ｃｂｆ_ｕ、ｃｂｆ_ｖと分割情報を示すｓｐｌｉｔ_ｔｒａｎｓｆｏｒｍ_ｆｌａｇを各々符号化することより、統合コードブロックフラグと分割情報フラグを結合してパターン化して符号化する場合、同じ情報をより小さいビット値で送信することができる。結合符号化を使用すると、統合コードブロックフラグの各要素であるｃｂｆ_ｙ、ｃｂｆ_ｕ、ｃｂｆ_ｖと分割情報を示すｓｐｌｉｔ_ｔｒａｎｓｆｏｒｍ_ｆｌａｇ情報を結合して各々符号化することができる。

統合コードブロックフラグを算出することができる各要素であるｃｂｆ_ｙ、ｃｂｆ_ｕ、ｃｂｆ_ｖとｓｐｌｉｔ_ｔｒａｎｓｆｏｒｍ_ｆｌａｇ情報を結合して各々符号化されたｃｂｆ_ｙｕｖ_ｓｐｌｉｔ_ｆｌａｇという一つの構文要素で表現されることができ、変換単位情報結合フラグという用語もｃｂｆ_ｙｕｖ_ｓｐｌｉｔ_ｆｌａｇと同じ意味として使われる。

以下の表２は、統合コードフラグと分割情報フラグを結合して送信するための結合符号化を実行するためのテーブルである。

表２を参照すると、統合コードブロックフラグの各要素であるｃｂｆ_ｙ、ｃｂｆ_ｕ、ｃｂｆ_ｖと分割情報を示すｓｐｌｉｔ_ｔｒａｎｓｆｏｒｍ_ｆｌａｇが出ることができる場合を一つのテーブルにより定義することができる。例えば、変換単位情報結合フラグは、パターン情報に基づいて統合コードブロックフラグの各要素であるｃｂｆ_ｙ、ｃｂｆ_ｕ、ｃｂｆ_ｖと分割情報を示すｓｐｌｉｔ_ｔｒａｎｓｆｏｒｍ_ｆｌａｇが出ることができる場合を符号化することができる。

例えば、上位単位の変換単位でｃｂｆ_ｕとｃｂｆ_ｖが既に符号化された場合、下位変換単位ではｃｂｆ_ｕとｃｂｆ_ｖ情報は符号化する必要がなく、現在変換単位が最小符号化単位である場合、ｃｂｆ_ｙの情報のみを符号すればよい。このような場合にはパターン１を介して現在変換単位に輝度信号が存在するかどうかに対する情報のみを符号化することができる。すなわち、現在変換単位のパターンは１であり、追加に現在変換単位に輝度信号が存在するかどうかに対する情報を送信することができる。

他の例として、上位単位の変換単位でｃｂｆ_ｕとｃｂｆ_ｖが既に符号化され、現在変換単位が最小大きさの変換単位でない場合。パターン２に基づいて現在変換単位に輝度信号が存在するかどうかに対する情報を符号化することができる。すなわち、現在変換単位のパターンは２であり、現在変換単位の輝度信号が存在するか及び現在変換単位が分割されるかに対する情報を送信することができる。

パターンを使用する方法を介して現在変換単位で符号化が必要な情報が何であるかを判断し、該当情報のみを符号化することができる。パターン情報は、優先的にｃｂｆ_ｙ値をＭＳＢ、ｃｂｆ_ｕをＭＳＢ－１、ｃｂｆ_ｖをＭＳＢ－２、ｓｐｌｉｔ_ｆｌａｇをＬＳＢにする４ビット情報で優先的に表現されることができ、フラグパターンは、以後符号化時にＶＬＣコードを用いた二進符号化も可能である。

以下の表３は、統合コードフラグと分割情報フラグを結合して符号化した変換単位情報結合フラグのシンタックス構造である。

表３を参照すると、ｔｒａｎｓｆｏｒｍ_ｔｒｅｅ構文に新たな構文要素であるｃｂｆ_ｙｕｖ_ｓｐｌｉｔ_ｔｒａｎｓを追加して現在符号化単位で輝度信号情報、色差信号情報及び分割情報を表現することができる。

本発明の他の実施例に係るクワッドツリーを用いるブロック情報送信方法では、同じ深さに存在する同じ大きさの変換単位の変換単位情報結合フラグを再び結合符号化することができる。

図９は、変換単位情報結合フラグを使用する場合、変換単位の変換係数情報及び分割情報を符号化する方法を示すフローチャートである。

図９を参照すると、変換単位で符号化を実行すべきコードブロックフラグと分割情報フラグのパターンを符号化する(ステップＳ９００)。

コードブロックフラグと分割情報フラグのパターン情報は、表２に基づいて符号化されることができる。

符号化されたパターン情報に基づいて該当コードブロックフラグ及び分割情報フラグを符号化する(ステップＳ９１０)。

符号化されたパターン情報に基づいて該当パターン情報に該当するコードブロックフラグ及び分割情報フラグの値を符号化する。

例えば、パターン情報が２の場合、現在変換単位に輝度信号が存在するかどうかに対する情報を符号化することができる。

図１０は、本発明の他の実施例に係る統合コードフラグと分割情報フラグを結合して符号化し、同じ深さに存在する変換単位の変換単位情報を統合する方法を示す概念図である。

図１０を参照すると、各ブロックは変換単位を示し、各変換単位に書かれている数字は結合フラグ情報のパターン情報を意味する。便宜上、ブロックと以下で説明する表で、０が意味することはパターン１、１が意味することはパターン２、３が意味することはパターン４を意味する。

図１０の左側を参照すると、変換単位はパターン情報１である４個の変換単位からなり、図１０の右側を参照すると、変換単位は、パターン情報が２、４、２、１である４個の変換単位からなっている。

すなわち、上位変換単位では下位変換単位のパターン情報を再び結合して一つの上位変換単位パターン情報を生成することができる。以下の表４は、上位変換単位パターン情報を示す。

表４を参照すると、図８の左側に存在する変換単位の場合、ｚスキャン方向に、１番変換単位は０、２番変換単位は０、３番変換単位は０、４番変換単位は０のｃｂｆ_ｙｕｖ_ｓｐｌｉｔ_ｔｒａｎｓのパターン値を有し、新たなパターン情報１を有することができる。図１０の左側に存在する変換単位の場合、ｚスキャン方向に、１番変換単位は１、２番変換単位は３、３番変換単位は１、４番変換単位は０のｃｂｆ_ｙｕｖ_ｓｐｌｉｔ_ｔｒａｎｓのパターン値を有し、新たなパターン情報５を有することができる。

このような上位変換ブロックパターン情報もｔｒａｎｓｆｏｒｍ_ｔｒｅｅ構文に新たな構文要素として定義されて使われることができる。

図１１は、本発明の他の実施例に係るクワッドツリー構造のブロック情報を復号化するためのフローチャートである。

図１１を参照すると、現在変換単位での統合コードブロックフラグ情報を復号化する(ステップＳ１１００)。

現在変換単位の大きさ情報と統合コードフラグ情報に基づいて分割情報フラグを復号化する(ステップＳ１１１０)。

前述した統合コードブロックフラグとｓｐｌｉｔ_ｔｒａｎｓｆｏｒｍ_ｆｌａｇ情報を結合した変換単位情報結合フラグ(ｃｂｆ_ｙｕｖ_ｓｐｌｉｔ_ｆｌａｇ)が使われた場合、ステップＳ１１００及びＳ１１１０の過程が変わることができる。表２で前述したように、現在変換単位の変換単位情報結合フラグ情報を復号化し、復号化したパターン情報に基づいて現在変換単位に輝度信号、色差信号が存在するか、分割されかに関する情報を追加的に復号化することができる。

図１２は、本発明の他の実施例に係る変換単位情報結合フラグ情報を復号化する方法を示すフローチャートである。

図１２を参照すると、変換単位情報結合フラグ情報に基づいてパターン情報を復号化する(ステップＳ１２００)。

復号化されたパターン情報に基づいてパターンに該当するコードブロックフラグ又は分割情報フラグ情報を復号化する(ステップＳ１２１０)。

すなわち、前述した表２に基づいてパターン情報の提供を受け、該当パターン情報に該当するコードブロックフラグ情報及び分割情報フラグ情報を復号化することができる。

以上、実施例を参照して説明したが、該当技術分野の熟練された当業者は、特許請求の範囲に記載された本発明の思想及び領域から外れない範囲内で本発明を多様に修正及び変更可能であることを理解することができる。

Claims (17)

1. エントロピー復号化部であって、
   符号化単位における第１のコードブロックフラグ情報を復号化し、
   前記第１のコードブロックフラグ情報および変換単位の大きさ情報に基づいて、分割情報フラグを復号化するかどうかを決定し、
   前記分割情報フラグが復号化されると、前記分割情報フラグに基づいて、前記変換単位がさらに分割されない場合に、前記変換単位における第２のコードブロックフラグ情報を復号化し、
   前記変換単位における変換係数を復号化する、エントロピー復号化部と、
   前記復号化された変換係数を逆変換する逆変換部と、を備え、
   前記大きさ情報は、前記変換単位の大きさを示し、
   前記第１のコードブロックフラグ情報の値が所定の値に等しい場合、又は前記変換単位の前記大きさが第１の所定の大きさよりも大きくない場合、前記分割情報フラグは復号化されず、
   前記変換単位の前記大きさが第２の所定の大きさと等しい場合、前記変換単位の前記第２のコードブロックフラグ情報は、前記分割情報フラグを復号化することなく復号化され、
   前記第１の所定の大きさと前記第２の所定の大きさとは、最小変換単位の大きさである、クワッドツリー構造を用いた映像復号化装置。
2. 前記エントロピー復号化部は、
   前記第１のコードブロックフラグ情報は、統合コードブロックフラグであり、
   前記第２のコードブロックフラグ情報は、前記変換単位の色差成分に関する０でない一つ以上の変換係数が前記変換単位内に存在するかどうかを示す色差成分に関するコードブロックフラグであり、
   前記変換単位における変換深さが所定の値と等しい場合、前記第１のコードブロックフラグ情報を復号化する、請求項１に記載のクワッドツリー構造を用いた映像復号化装置。
3. 前記所定の値は、前記変換深さが、最上位の変換深さであることを示す、請求項２に記載のクワッドツリー構造を用いた映像復号化装置。
4. 前記第１のコードブロックフラグ情報は、前記変換単位における予め定めた変換深さにのみ適用される、請求項１に記載のクワッドツリー構造を用いた映像復号化装置。
5. 映像符号化のために用いられる情報の符号化方法であって、
   符号化単位における第１のコードブロックフラグ情報を符号化するステップと、
   前記第１のコードブロックフラグ情報および変換単位の大きさ情報に基づいて、分割情報フラグを符号化するかどうかを決定するステップと、
   前記分割情報フラグが符号化される場合、前記分割情報フラグに基づいて、前記変換単位がさらに分割されない場合に、前記変換単位の第２のコードブロックフラグ情報を符号化するステップと、
   を備え、
   前記大きさ情報は、前記変換単位の大きさを示し、
   前記第１のコードブロックフラグ情報の値が所定の値に等しい場合、又は前記変換単位の前記大きさが第１の所定の大きさよりも大きくない場合、前記分割情報フラグは符号化されず、
   前記変換単位の前記大きさが第２の所定の大きさと等しい場合、前記変換単位の前記第２のコードブロックフラグ情報は、前記分割情報フラグを符号化することなく符号化され、
   前記第１の所定の大きさと前記第２の所定の大きさとは、最小変換単位の大きさである、情報の符号化方法。
6. 前記第１のコードブロックフラグ情報は、統合コードブロックフラグであり、
   前記第２のコードブロックフラグ情報は、前記変換単位の色差成分に関する０でない一つ以上の変換係数が前記変換単位内に存在するかどうかを示す色差成分に関するコードブロックフラグであり、
   前記変換単位の変換深さが所定の値と等しい場合、前記第１のコードブロックフラグ情報が符号化される、請求項５に記載の方法。
7. 前記所定の値は、前記変換深さが、最上位の変換深さであることを示す、請求項６に記載の方法。
8. 前記第１のコードブロックフラグ情報は、前記変換単位における予め定めた変換深さにのみ適用される、請求項５に記載の方法。
9. 前記第１のコードブロックフラグ情報、前記分割情報フラグ、前記第２のコードブロックフラグ情報を含むビットストリームが生成される、請求項５に記載の方法。
10. ビットストリームを生成する方法であって、
    符号化単位における第１のコードブロックフラグ情報を生成するステップと、
    前記第１のコードブロックフラグ情報および変換単位の大きさ情報に基づいて、分割情報フラグを生成するかどうかを決定するステップと、
    前記分割情報フラグが生成される場合、前記分割情報フラグに基づいて、前記変換単位がさらに分割されない場合に、前記変換単位の第２のコードブロックフラグ情報を生成するステップと、を備え、
    前記大きさ情報は、前記変換単位の大きさを示し、
    前記第１のコードブロックフラグ情報の値が所定の値に等しい場合、又は前記変換単位の前記大きさが第１の所定の大きさよりも大きくない場合、前記分割情報フラグは生成されず、
    前記変換単位の前記大きさが第２の所定の大きさと等しい場合、前記変換単位の前記第２のコードブロックフラグ情報は、前記分割情報フラグを生成することなく生成され、
    前記第１の所定の大きさと前記第２の所定の大きさとは、最小変換単位の大きさである、方法。
11. 前記第１のコードブロックフラグ情報は、統合コードブロックフラグであり、
    前記第２のコードブロックフラグ情報は、前記変換単位の色差成分に関する０でない一つ以上の変換係数が前記変換単位内に存在するかどうかを示す色差成分に関するコードブロックフラグであり、
    前記変換単位の変換深さが所定の値と等しい場合、前記第１のコードブロックフラグ情報が生成される、請求項１０に記載の方法。
12. 前記所定の値は、前記変換深さが、最上位の変換深さであることを示す、請求項１１に記載の方法。
13. 前記第１のコードブロックフラグ情報は、前記変換単位における予め定めた変換深さにのみ適用される、請求項１０記載の方法。
14. ビットストリームを用いてコンピュータが実行可能なプログラムを格納するコンピュータが読み取り可能な媒体であって、実行されるとき、前記コンピュータが実行可能なプログラムが復号化装置に、以下のステップ：
    前記ビットストリームにおける、符号化単位のための第１のコードブロックフラグ情報を復号化させるステップと、
    前記第１のコードブロックフラグ情報及び変換単位の大きさ情報に基づいて、前記ビットストリームにおける分割情報を復号化させるかどうかを決定するステップと、
    分割情報フラグが復号化される場合、前記変換単位が、前記分割情報フラグに基づいてさらに分割されない場合に、前記ビットストリームにおける、前記変換単位のための第２のコードブロックフラグ情報を復号化させるステップとを実行させ、
    前記大きさ情報は、前記変換単位の大きさを示し、
    前記第１のコードブロックフラグ情報の値が所定の値に等しい場合、又は前記変換単位の前記大きさが第１の所定の大きさよりも大きくない場合、前記分割情報フラグは復号化されず、
    前記変換単位の前記大きさが第２の所定の大きさと等しい場合、前記変換単位の前記第２のコードブロックフラグ情報は、前記分割情報フラグを復号化することなく復号化され、
    前記第１の所定の大きさと前記第２の所定の大きさとは、最小変換単位の大きさである、コンピュータが読取可能な媒体。
15. 前記第１のコードブロックフラグ情報は、統合コードブロックフラグであり、
    前記第２のコードブロックフラグ情報は、前記変換単位の色差成分に関する０でない一つ以上の変換係数が前記変換単位内に存在するかどうかを示す色差成分に関するコードブロックフラグであり、
    前記変換単位の変換深さが所定の値と等しい場合、前記第１のコードブロックフラグ情報が生成される、請求項１４に記載のコンピュータが読取可能な媒体。
16. 前記所定の値は、前記変換深さが、最上位の変換深さであることを示す、請求項１５に記載のコンピュータが読取可能な媒体。
17. 前記第１のコードブロックフラグ情報は、前記変換単位における所定の変換深さにのみ適用される、請求項１４に記載のコンピュータが読取可能な媒体。

Images