JP6595679B2 - ビデオ復号化装置 - Google Patents

ビデオ復号化装置 Download PDF

Info

Publication number
JP6595679B2
JP6595679B2 JP2018167221A JP2018167221A JP6595679B2 JP 6595679 B2 JP6595679 B2 JP 6595679B2 JP 2018167221 A JP2018167221 A JP 2018167221A JP 2018167221 A JP2018167221 A JP 2018167221A JP 6595679 B2 JP6595679 B2 JP 6595679B2
Authority
JP
Japan
Prior art keywords
unit
coding
context
depth
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018167221A
Other languages
English (en)
Other versions
JP2019017083A (ja
Inventor
ピョ,イン−ジ
ミン,ジョン−ヘ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2019017083A publication Critical patent/JP2019017083A/ja
Application granted granted Critical
Publication of JP6595679B2 publication Critical patent/JP6595679B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明は、ビデオの符号化及び復号化に係り、さらに詳細には、変換係数のサイズ情報を、エントロピー符号化及びエントロピー復号化するのに利用されるコンテクストモデルを選択する方法及びその装置に関する。
MPEG(moving picture experts group)−1、MPEG−2、MPEG−4H.264/MPEG−4 AVC(advanced video coding)のような映像圧縮方式では、映像を所定サイズのブロックに分けた後、インター予測(inter prediction)またはイントラ予測(intra prediction)を利用して、ブロックの残差データを獲得する。残差データは、変換、量子化、スキャニング、ランレングスコーディング(run length coding)及びエントロピーコーディングを介して圧縮される。エントロピーコーディング時には、構文要素(syntax element)、例えば、変換係数や動きベクトルなどをエントロピー符号化し、ビットストリームを出力する。デコーダ側面で、ビットストリームから構文要素を抽出し、抽出された構文要素に基づいて復号化が行われる。
本発明が解決しようとする技術的課題は、変換係数レベルのエントロピー符号化及びエントロピー復号化に利用される不要なコンテクストモデルを除去し、コンテクストモデルを単純化することにより、コンテクストモデルを保存するメモリコストを低減させるためのものである。
また、本発明が解決しようとする技術的課題は、エントロピー符号化及びエントロピー復号化の性能を大きく低下させずに、コンテクストモデル選択過程を高速化及び単純化するためのものである。
本発明の実施形態は、カラー情報、変換係数が含まれたサブセットの位置、連続した1の長さのような情報に基づいて、変換係数レベルのエントロピー符号化及びエントロピー復号化に利用されるコンテクストモデルを選択する。
本発明の実施形態によれば、減少された個数のコンテクストモデルを利用することにより、コンテクストモデルを保存するメモリの利用量を減少させることができ、大きい性能低下なしに、変換係数レベルのエントロピー符号化及びエントロピー復号化を行うことができる。
本発明の一実施形態によるビデオ符号化装置のブロック図である。 本発明の一実施形態によるビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による階層的構造の符号化単位に基づいたビデオ符号化装置の具体的なブロック図である。 本発明の一実施形態による階層的構造の符号化単位に基づいたビデオ復号化装置の具体的なブロック図である。 本発明の一実施形態による深度別符号化単位及びパーティションを図示する図面である。 本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 表1の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、変換単位に含まれた変換係数情報をエントロピー符号化及びエントロピー復号化する過程を示したフローチャートである。 本発明の一実施形態による、変換単位を分割したサブセット(subset)を示した図面である。 図15の変換単位に含まれたサブセットの一例を示した図面である。 図16のサブセット1600に対応する有効性マップを示した図面である。 図16のサブセット1600に対応する第1臨界値フラグを示した図面である。 図16のサブセット1600に対応する第2臨界値フラグを示した図面である。 図16ないし図19に図示された1つのサブセットに含まれた変換係数、並びにエントロピー符号化及びエントロピー復号化される変換係数情報を示した表である。 本発明の一実施形態によるエントロピー符号化装置の構成を示したブロック図である。 本発明の一実施形態によるエントロピー復号化装置の構成を示したブロック図である。 本発明の一実施形態によるコンテクスト・モデラの構成を示したブロック図である。 本発明の一実施形態による、輝度成分の変換単位に適用される複数個のコンテクストセットと、各コンテクストセットに含まれた複数個のコンテクストとを示した図面である。 本発明の一実施形態による、色差成分の変換単位に適用される複数個のコンテクストセットと、各コンテクストセットに含まれた複数個のコンテクストとを示した図面である。 本発明の一実施形態による、変換係数レベルのエントロピー符号化及びエントロピー復号化のためのコンテクストモデル決定方法を示したフローチャートである。 本発明の一実施形態による、変換係数レベルのエントロピー符号化及びエントロピー復号化のためのコンテクストモデル決定方法を、さらに具体的に示したフローチャートである。 本発明の一実施形態による、輝度成分の有効変換係数及び色差成分の有効変換係数の第1臨界値フラグ(Gtr1 flag)及び第2臨界値フラグ(Gtr2 flag)のエントロピー符号化及びエントロピー復号化に利用されるコンテクストセットを決定するためのコンテクストセット・インデックス(ctxset)を示す図面である。 本発明の一実施形態による、第1臨界値フラグ(Gtr1 flag)及び第2臨界値フラグ(Gtr2 flag)のエントロピー符号化及びエントロピー復号化に利用されるコンテクストオフセットを示す図面である。 本発明の一実施形態による、図20のサブセットに含まれた変換係数、並びにエントロピー符号化及びエントロピー復号化される変換係数情報を、エントロピー符号化またはエントロピー復号化するのに利用されるコンテクストオフセット・インデックス(c1)を示した表である。 本発明の一実施形態による、サブセットに含まれた変換係数、並びにエントロピー符号化及びエントロピー復号化される変換係数情報を、エントロピー符号化またはエントロピー復号化するのに利用されるコンテクストオフセット・インデックス(c1)の他の例を示した表である。
前述の技術的課題を解決するための本発明の一実施形態による変換係数レベルのエントロピー符号化及びエントロピー復号化のためのコンテクストモデル決定方法は、変換単位を所定サイズのサブセットに分割し、各サブセットに含まれた0ではない有効変換係数を獲得する段階と、前記変換単位のカラー成分情報、前記有効変換係数が含まれた第1サブセットの位置、及び前記第1サブセットより以前に処理された第2サブセットに、所定の第1臨界値より大きい値を有する有効変換係数が存在するか否かということに基づいて、複数個のコンテクストを含む複数個のコンテクストセットのうち、前記有効変換係数が、前記第1臨界値より大きい値を有するか否かということを示す第1臨界値フラグのエントロピー符号化及びエントロピー復号化に利用されるコンテクストセットを決定するためのコンテクストセット・インデックスを獲得する段階と、以前の連続した1の値を有する変換係数の長さに基づいて、前記第1臨界値フラグのエントロピー符号化及びエントロピー復号化に利用されるコンテクストセットに含まれた複数個のコンテクストのうち一つを決定するためのコンテクストオフセットを獲得する段階と、前記コンテクストセット・インデックス及びコンテクストオフセットを利用して、前記第1臨界値フラグのエントロピー符号化及びエントロピー復号化に利用される1つのコンテクストを示すコンテクストインデックスを獲得する段階と、を含む。
本発明の一実施形態による変換係数レベルのエントロピー符号化及びエントロピー復号化のためのコンテクストモデル決定装置は、変換単位を所定サイズのサブセットに分割し、各サブセットに含まれた0ではない有効変換係数を獲得するマッピング部;前記変換単位のカラー成分情報、前記有効変換係数が含まれた第1サブセットの位置、及び前記第1サブセットより以前に処理された第2サブセットに、所定の第1臨界値より大きい値を有する有効変換係数が存在するか否かということに基づいて、複数個のコンテクストを含む複数個のコンテクストセットのうち、前記有効変換係数が、前記第1臨界値より大きい値を有するか否かということを示す第1臨界値フラグのエントロピー符号化及びエントロピー復号化に利用されるコンテクストセットを決定するためのコンテクストセット・インデックスを獲得するコンテクストセット獲得部;以前の連続した1の値を有する変換係数の長さに基づいて、前記第1臨界値フラグのエントロピー符号化及びエントロピー復号化に利用されるコンテクストセットに含まれた複数個のコンテクストのうち一つを決定するためのコンテクストオフセットを獲得するコンテクストオフセット獲得部;及び前記コンテクストセット・インデックス及びコンテクストオフセットを利用して、前記第1臨界値フラグのエントロピー符号化及びエントロピー復号化に利用される1つのコンテクストを示すコンテクストインデックスを獲得するコンテクスト決定部;を含むことを特徴とする。
以下、本明細書に記載された本発明の多様な実施形態において、「映像」は、静止映像だけではなく、ビデオのような動画を含んで包括的に呼称することができる。
映像と係わるデータに対して各種動作が遂行されるとき、映像と係わるデータは、データグループに分割され、同一データグループに含まれるデータについて、同一動作が遂行されもする。以下、本明細書において、所定基準によって形成されるデータグループを、「データ単位」とする。以下、本明細書において、「データ単位」ごとに行われる動作は、データ単位に含まれたデータを利用して、当該動作が遂行されるということを意味する。
以下、図1ないし図13を参照し、本発明の一実施形態による、階層的ツリー構造による符号化単位に基づいたツリー構造の構文要素(SE:syntax element)を符号化及び復号化するビデオの符号化方法及び復号化方法、並びにその装置について開示する。また、図14ないし図29を参照し、図1ないし図13で説明されたビデオの符号化方式及び復号化方式で利用されるエントロピー符号化及びエントロピー復号化の過程について具体的に説明する。
図1は、本発明の一実施形態によるビデオ符号化装置のブロック図を図示している。一実施形態によるビデオ符号化装置100は、階層的符号化部110及びエントロピー符号化部120を含む。
階層的符号化部110は、符号化される現在ピクチャを所定サイズのデータ単位に分割し、データ単位別に符号化を行う。具体的には、階層的符号化部110は、現在ピクチャを、最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを分割することができる。一実施形態による最大符号化単位は、サイズ32x32,64x64,128x128,256x256のようなデータ単位であり、縦横サイズが8より大きい2の累乗である正方形のデータ単位でもある。
一実施形態による符号化単位は、最大サイズ及び深度でもって特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさが小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含む。
前述のように、符号化単位の最大サイズにより、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域(spatial domain)の映像データは、深度によって階層的に分類される。
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度、及び符号化単位の最大サイズが前もって設定されている。
階層的符号化部110は、深度ごとに、最大符号化単位の領域が分割された少なくとも1つの分割領域を符号化し、少なくとも1つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、階層的符号化部110は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択し、符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、エントロピー符号化部120に出力される。
最大符号化単位内の映像データは、最大深度以下の少なくとも1つの深度により、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも1つの符号化深度が決定される。
最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数が増加する。また、1つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、1つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。従って、1つの最大符号化単位について、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。
従って、一実施形態による階層的符号化部110は、現在最大符号化単位に含まれるツリー構造による符号化単位を決定することができる。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度によって階層的に決定され、他の領域については、独立的に決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第1最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第2最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が0であるとするとき、最大符号化単位が1回分割された符号化単位の深度は、1に設定され、2回分割された符号化単位の深度は、2に設定される。その場合、最大符号化単位から4回分割された符号化単位が、最小符号化単位であるならば、深度0,1,2,3及び4の深度レベルが存在するので、第1最大深度は、4、第2最大深度は、5に設定される。
最大符号化単位の予測符号化及び周波数変換が行われもする。予測符号化及び周波数変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。
最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位について、予測符号化及び周波数変換を含んだ符号化が行われる。以下、説明の便宜のために、少なくとも1つの最大符号化単位のうち、現在深度の符号化単位を基にして、予測符号化及び周波数変換について説明する。
一実施形態によるビデオ符号化装置100は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、周波数変換、エントロピー符号化などの段階を経るが、全ての段階にわたり、同一のデータ単位が使用され、段階別にデータ単位が変更されもする。
例えば、ビデオ符号化装置100は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。
最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基にして、予測符号化が行われる。以下、予測符号化の基盤になるそれ以上分割されない符号化単位を、「予測単位」とする。予測単位が分割されたパーティションは、予測単位、並びに予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含む。
例えば、サイズ2Nx2N(ただし、Nは、正の整数)の符号化単位がそれ以上分割されない場合、サイズ2Nx2Nの予測単位になり、パーティションの大きさは、2Nx2N,2NxN,Nx2N,NxNなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率で分割された対称的パーティションだけではなく、1:nまたはn:1のように、非対称的な比率で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。
予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つである。例えば、イントラモード及びインターモードは、2Nx2N,2NxN,Nx2N,NxNサイズのパーティションに対して遂行される。また、スキップモードは、2Nx2Nサイズのパーティションに対してのみ遂行される。符号化単位以内の1つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。
また、一実施形態によるビデオ符号化装置100は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基にして、符号化単位の映像データの周波数変換を行うことができる。
符号化単位の周波数変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさのデータ単位を基にして、周波数変換が行われる。例えば、周波数変換のためのデータ単位は、イントラモードのためのデータ単位及びインターモードのためのデータ単位を含む。
以下、周波数変換の基盤になるデータ単位を、「変換単位」と呼ぶ。符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によって、ツリー構造による変換単位によって分割される。
一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ2Nx2Nの現在符号化単位の変換単位の大きさが2Nx2Nであるならば、変換深度0、変換単位の大きさがNxNであるならば、変換深図1、変換単位の大きさがN/2xN/2であるならば、変換深度2に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。
符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び周波数変換関連情報が必要である。従って、階層的符号化部110は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、周波数変換のための変換単位の大きさなどを決定することができる。
一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図3ないし図12を参照して詳細に説明する。
階層的符号化部110は、深度別符号化単位の符号化誤差を、ラグランジュ乗数(Lagrangian multiplier)基盤の率・歪曲最適化技法(rate-distortion optimization)を利用して測定することができる。
エントロピー符号化部120は、階層的符号化部110で決定された少なくとも1つの符号化深度に基づいて符号化された最大符号化単位の映像データ及び深度別符号化モードに係わる情報を、ビットストリーム形態で出力する。符号化された映像データは、映像の残差データの符号化結果でもある。深度別符号化モードに係わる情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含む。特に後述するように、一実施形態によるエントロピー符号化部120は、変換単位のカラー成分情報、現在サブセットの位置、及び以前サブセットに第1臨界値より大きい値を有する有効変換係数が存在するか否かということに基づいて、複数個のコンテクストセットのうち一つを示すコンテクストセット・インデックスを獲得し、以前の連続した1の値を有する変換係数の長さに基づいて、コンテクストオフセットを獲得する。そして、獲得されたコンテクストセット・インデックス及びコンテクストオフセットに基づいて、第1臨界値、すなわち、1より大きい有効変換係数であるか否かということを示す第1臨界値フラグ(Greaterthan1 flag)、及び第2臨界値、すなわち、2より大きい有効変換係数であるか否かということを示すフラグ(Greaterthan2 flag)に適用するコンテクストモデルを示すコンテクスト・インデックス(ctdIdx)を決定する。エントロピー符号化部120において、変換係数のエントロピー符号化のためのコンテクストモデルを決定する過程については後述する。
符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。
現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位について符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復的に符号化が行われ、同一深度の符号化単位ごとに、再帰的(recursive)符号化が行われる。
1つの最大符号化単位内で、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも1つの符号化モードに係わる情報が決定されなければならないので、1つの最大符号化単位については、少なくとも1つの符号化モードに係わる情報が決定される。また、最大符号化単位のデータは、深度によって、階層的に分割され、位置別に符号化深度が異なることがあるので、データに対して、符号化深度及び符号化モードに係わる情報が設定される。
従って、一実施形態によるエントロピー符号化部120は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに係わる符号化情報を割り当てることができる。
一実施形態による最小単位は、最下位符号化深度である最小符号化単位が4分割された大きさの正方形のデータ単位であり、最大符号化単位に含まれる全ての符号化単位、予測単位及び変換単位内に含まれる最大サイズの正方形データ単位でもある。
例えば、エントロピー符号化部120を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含む。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含む。また、ピクチャ別、スライス別またはGOP(group of pictures)別に定義される符号化単位の最大サイズに係わる情報及び最大深度に係わる情報は、ビットストリームのヘッダに挿入される。
ビデオ符号化装置100の最も簡単な形態の実施形態によれば、深度別符号化単位は、1階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが2Nx2Nであるならば、下位深度の符号化単位の大きさは、NxNである。また、2Nx2Nサイズの現在符号化単位は、NxNサイズの下位深度符号化単位を、最大4個含む。
従って、一実施形態によるビデオ符号化装置100は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基にして、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、周波数変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。
従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を、既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置100は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮し、符号化単位を調節することができるので、映像圧縮効率が上昇する。
図2は、本発明の一実施形態によるビデオ復号化装置のブロック図を図示している。一実施形態によるビデオ復号化装置200は、構文要素(SE)抽出部210、エントロピー復号化部220及び階層的復号化部230を含む。一実施形態によるビデオ復号化装置200の各種プロセッシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードに係わる情報など各種用語の定義は、図1及びビデオ符号化装置100を参照して説明したところと同一である。
構文要素抽出部210は、符号化されたビデオに係わるビットストリームを受信してパージング(parsing)する。エントロピー復号化部220は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位により、符号化単位ごとに符号化された映像データを抽出し、階層的復号化部230に出力する。
エントロピー復号化部220は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度、符号化モード、カラー成分情報、予測モード情報などの付加情報を抽出する。抽出された符号化深度及び符号化モードなどに係わる情報は、階層的復号化部230に出力される。ビット列の映像データは、最大符号化単位に分割されて符号化されたので、階層的復号化部230は、最大符号化単位ごとに、映像データを復号化することができる。
最大符号化単位別符号化深度及び符号化モードに係わる情報は、一つ以上の符号化深度情報に対して設定され、符号化深度別符号化モードに係わる情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含む。また、符号化深度情報として、深度別分割情報が抽出されもする。
エントロピー復号化部220が抽出した最大符号化単位別符号化深度及び符号化モードに係わる情報は、一実施形態によるビデオ符号化装置100のように、符号化端において、最大符号化単位別深度別符号化単位ごとに、反復して符号化を行い、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードに係わる情報である。従って、ビデオ復号化装置200は、最小符号化誤差を発生させる符号化方式により、データを復号化して映像を復元することができる。
一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位について割り当てられているので、エントロピー復号化部220は、所定データ単位別に、符号化深度及び符号化モードに係わる情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係わる情報が記録されているのであるならば、同一の符号化深度及び符号化モードに係わる情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位と類推される。
また、後述するように、本発明の一実施形態によるエントロピー復号化部220は、変換単位のカラー成分情報、現在サブセットの位置、及び以前サブセットに、第1臨界値より大きい値を有する有効変換係数が存在するか否かということに基づいて、コンテクストセット・インデックスを獲得し、以前の連続した1の値を有する変換係数の長さに基づいて、コンテクストオフセットを獲得する。そして、獲得されたコンテクストセット・インデックス及びコンテクストオフセットに基づいて、第1臨界値、すなわち、1より大きい有効変換係数であるか否かということを示す第1臨界値フラグ(Greaterthan1 flag)及び第2臨界値、すなわち、2より大きい有効変換係数であるか否かということを示すフラグ(Greaterthan2 flag)に適用するコンテクストモデルを示すコンテクスト・インデックス(ctdIdx)を決定する。
階層的復号化部230は、最大符号化単位別符号化深度及び符号化モードに係わる情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部230は、最大符号化単位に含まれるツリー構造による符号化単位うちそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程及び周波数逆変換過程を含む。
階層的復号化部230は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードにより、イントラ予測または動き補償を行うことができる。
また、階層的復号化部230は、最大符号化単位別周波数逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとに、それぞれの変換単位により、周波数逆変換を行うことができる。
階層的復号化部230は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度で、それ以上分割されないということを示しているのであるならば、現在深度が符号化深度である。従って、階層的復号化部230は、現在最大符号化単位の映像データに対して、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して復号化することができる。
すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位について設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、階層的復号化部230により、同一の符号化モードで復号化する1つのデータ単位と見なされる。
一実施形態によるビデオ復号化装置200は、符号化過程において、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに対する復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位として決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。
従って、高い解像度の映像またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードに係わる情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードにより、効率的に映像データを復号化して復元することができる。
以下、図3ないし図13を参照し、本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式について述べる。
図3は、階層的符号化単位の概念を図示している。
符号化単位の例は、符号化単位の大きさは、幅x高さで表現され、サイズ64x64である符号化単位から、サイズ32x32,16x16,8x8を含む。サイズ64x64の符号化単位は、サイズ64x64,64x32,32x64,32x32のパーティションに分割され、サイズ32x32の符号化単位は、サイズ32x32,32x16,16x32,16x16のパーティションに分割され、サイズ16x16の符号化単位は、サイズ16x16,16x8,8x16,8x8のパーティションに分割され、サイズ8x8の符号化単位は、サイズ8x8,8x4,4x8,4x4のパーティションに分割される。
ビデオデータ310については、解像度が1920x1080、符号化単位の最大サイズが64、最大深度が2に設定されている。ビデオデータ320については、解像度が1920x1080、符号化単位の最大サイズが64、最大深度が3に設定されている。ビデオデータ330については、解像度が352x288、符号化単位の最大サイズが16、最大深度が1に設定されている。図3に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上及び映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ330に比べ、解像度が高いビデオデータ310,320は、符号化サイズの最大サイズが64に選択される。
ビデオデータ310の最大深度が2であるので、ビデオデータ310の符号化単位315は、長軸サイズが64である最大符号化単位から、2回分割されて深度が2階層深くなり、長軸サイズが32,16である符号化単位まで含む。一方、ビデオデータ330の最大深度が1であるので、ビデオデータ330の符号化単位335は、長軸サイズが16である符号化単位から、1回分割されて深度が1階層深くなり、長軸サイズが8である符号化単位まで含む。
ビデオデータ320の最大深度が3であるので、ビデオデータ320の符号化単位325は、長軸サイズが64である最大符号化単位から、3回分割されて深度が3階層深くなり、長軸サイズが32,16,8である符号化単位まで含む。深度が深くなるほど、細部情報の表現能が向上する。
図4は、本発明の一実施形態による、階層的構造の符号化単位に基づいたビデオ符号化装置の具体的なブロック図を図示している。イントラ予測部410は、現在フレーム405において、イントラモードの符号化単位についてイントラ予測を行い、動き推定部420及び動き補償部425は、インターモードの現在フレーム405及び参照フレーム495を利用して、インター推定及び動き補償を行う。
イントラ予測部410、動き推定部420及び動き補償部425から出力されたデータは、周波数変換部430及び量子化部440を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部460、周波数逆変換部470を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部480及びループ・フィルタリング部490を経て後処理され、参照フレーム495として出力される。量子化された変換係数は、エントロピー符号化部450を経て、ビットストリーム455として出力される。
一実施形態によるエントロピー符号化部450は、変換単位の構文要素、例えば、第1臨界値フラグ(Gtr1 flag)、第2臨界値フラグ(Gtr2 flag)を符号化するとき、変換単位のカラー成分情報、現在サブセットの位置、及び以前サブセットに、第1臨界値より大きい値を有する有効変換係数が存在するか否かということに基づいて、コンテクストセット・インデックスを獲得し、以前の連続した1の値を有する変換係数の長さに基づいて、コンテクストオフセットを獲得し、獲得されたコンテクストセット・インデックス及びコンテクストオフセットに基づいて、コンテクストモデルを示すコンテクスト・インデックスを決定する。
一実施形態によるビデオ符号化装置100に適用されるためには、映像符号化部400の構成要素であるイントラ予測部410、動き推定部420、動き補償部425、周波数変換部430、量子化部440、エントロピー符号化部450、逆量子化部460、周波数逆変換部470、デブロッキング部480及びループ・フィルタリング部490が、いずれも最大符号化単位ごとに、最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を遂行しなければならない。
イントラ予測部410、動き推定部420及び動き補償部425は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部430は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定する。
図5は、本発明の一実施形態による階層的構造の符号化単位に基づいたビデオ復号化装置の具体的なブロック図を図示している。ビットストリーム505がパージング部510を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化に係わる情報がパージングされる。符号化された映像データは、エントロピー復号化部520及び逆量子化部530を経て、逆量子化されたデータとして出力され、周波数逆変換部540を経て、空間領域の映像データが復元される。
空間領域の映像データに対して、イントラ予測部550は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部560は、参照フレーム585を共に利用して、インターモードの符号化単位について動き補償を行う。
イントラ予測部550及び動き補償部560を経た空間領域のデータは、デブロッキング部570及びループ・フィルタリング部580を経て後処理され、復元フレーム595として出力される。また、デブロッキング部570及びループ・フィルタリング部580を経て後処理されたデータは、参照フレーム585として出力される。
一実施形態によるビデオ復号化装置200に適用されるためには、映像復号化部500の構成要素であるパージング部510、エントロピー復号化部520、逆量子化部530、周波数逆変換部540、イントラ予測部550、動き補償部560、デブロッキング部570及びループ・フィルタリング部580が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を遂行しなければならない。
イントラ予測部550、動き補償部560は、ツリー構造による符号化単位ごとに、それぞれパーティション及び予測モードを決定し、周波数逆変換部540は、符号化単位ごとに、変換単位の大きさを決定しなければならない。また、本発明の一実施形態によるエントロピー復号化部520は、変換単位の構文要素、例えば、第1臨界値フラグ(Gtr1 flag)、第2臨界値フラグ(Gtr2 flag)を復号化するとき、変換単位のカラー成分情報、現在サブセットの位置、及び以前サブセットに、第1臨界値より大きい値を有する有効変換係数が存在するか否かということに基づいて、コンテクストセット・インデックスを獲得し、以前の連続した1の値を有する変換係数の長さに基づいて、コンテクストオフセットを獲得し、獲得されたコンテクストセット・インデックス及びコンテクストオフセットに基づいて、コンテクストモデルを示すインデックスを決定する。
図6は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。
一実施形態によるビデオ符号化装置100、及び一実施形態によるビデオ復号化装置200は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって多様に設定されもする。既設定の符号化単位の最大サイズにより、深度別符号化単位の大きさが決定される。
一実施形態による符号化単位の階層構造600は、符号化単位の最大高及び最大幅が64であり、最大深度が4である場合を図示している。一実施形態による符号化単位の階層構造600の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造600の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。
すなわち、符号化単位610は、符号化単位の階層構造600において、最大符号化単位であって深度が0であり、符号化単位の大きさ、すなわち、高さ及び幅が64x64である。縦軸に沿って深度が深くなり、サイズ32x32である深度1の符号化単位620、サイズ16x16である深度2の符号化単位630、サイズ8x8である深度3の符号化単位640、サイズ4x4である深度4の符号化単位650が存在する。サイズ4x4である深度4の符号化単位650は、最小符号化単位である。
それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度0のサイズ64x64の符号化単位610が予測単位であるならば、予測単位は、サイズ64x64の符号化単位610に含まれるサイズ64x64のパーティション610、サイズ64x32のパーティション612、サイズ32x64のパーティション614、サイズ32x32のパーティション616に分割される。
同様に、深度1のサイズ32x32の符号化単位620の予測単位は、サイズ32x32の符号化単位620に含まれるサイズ32x32のパーティション620、サイズ32x16のパーティション622、サイズ16x32のパーティション624、サイズ16x16のパーティション626に分割される。
同様に、深度2のサイズ16x16の符号化単位630の予測単位は、サイズ16x16の符号化単位630に含まれるサイズ16x16のパーティション630、サイズ16x8のパーティション632、サイズ8x16のパーティション634、サイズ8x8のパーティション636に分割される。
同様に、深度3のサイズ8x8の符号化単位640の予測単位は、サイズ8x8の符号化単位640に含まれるサイズ8x8のパーティション640、サイズ8x4のパーティション642、サイズ4x8のパーティション644、サイズ4x4のパーティション646に分割される。
最後に、深度4のサイズ4x4の符号化単位650は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位も、サイズ4x4のパーティション650だけに設定される。
一実施形態によるビデオ符号化装置100の符号化単位決定部120は、最大符号化単位610の符号化深度を決定するために、最大符号化単位610に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わなければならない。
同一の範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度1の符号化単位一つが含むデータについて、深度2の符号化単位は、四つが必要である。従って、同一のデータの符号化結果を深度別に比べるために、1つの深度1の符号化単位及び4つの深度2の符号化単位を利用して、それぞれ符号化されなければならない。
それぞれの深度別符号化のためには、符号化単位の階層構造600の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で、最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造600の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位610において、最小符号化誤差が発生する深度及びパーティションが最大符号化単位610の符号化深度及びパーティションタイプに選択される。
図7は、本発明の一実施形態による符号化単位及び変換単位の関係を図示している。
一実施形態によるビデオ符号化装置100、または一実施形態によるビデオ復号化装置200は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で、映像を符号化したり、あるいは復号化する。符号化過程において、周波数変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。
例えば、一実施形態によるビデオ符号化装置100、または一実施形態によるビデオ復号化装置200で、現在符号化単位710が64x64サイズであるとき、32x32サイズの変換単位720を利用して周波数変換が行われる。
また、64x64サイズの符号化単位710のデータを、64x64サイズ以下の32x32,16x16,8x8,4x4サイズの変換単位にそれぞれ周波数変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
図8は、本発明の一実施形態による深度別符号化情報を図示している。一実施形態によるビデオ符号化装置100の出力部130は、符号化モードに係わる情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係わる情報800、予測モードに係わる情報810、変換単位サイズに係わる情報820を符号化して伝送することができる。
パーティションタイプに係わる情報800は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ2Nx2Nの現在符号化単位CU_0は、サイズ2Nx2Nのパーティション802、サイズ2NxNのパーティション804、サイズNx2Nのパーティション806、サイズNxNのパーティション808のうちいずれか1つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプに係わる情報800は、サイズ2Nx2Nのパーティション802、サイズ2NxNのパーティション804、サイズNx2Nのパーティション806及びサイズNxNのパーティション808のうち一つを示すように設定される。
予測モードに係わる情報810は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報810を介して、パーティションタイプに係わる情報800が示すパーティションが、イントラモード812、インターモード814及びスキップモード816のうち一つで予測符号化が行われるか否かということが設定される。
また、変換単位サイズに係わる情報820は、現在符号化単位をいかなる変換単位を基にして周波数変換を行うかということを示す。例えば、変換単位は、第1イントラ変換単位サイズ822、第2イントラ変換単位サイズ824、第1インター変換単位サイズ826、第2イントラ変換単位サイズ828のうち一つでもある。
一実施形態によるビデオ復号化装置200の映像データ及び符号化情報抽出部210は、それぞれの深度別符号化単位ごとに、パーティションタイプに係わる情報800、予測モードに係わる情報810、変換単位サイズに係わる情報820を抽出し、復号化に利用することができる。
図9は、本発明の一実施形態による深度別符号化単位を図示している。深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が下、位深度の符号化単位に分割されるか否かということを示す。
深度0及び2N_0x2N_0サイズの符号化単位900の予測符号化のための予測単位910は、2N_0x2N_0サイズのパーティションタイプ912、2N_0xN_0サイズのパーティションタイプ914、N_0x2N_0サイズのパーティションタイプ916、N_0xN_0サイズのパーティションタイプ918を含む。予測単位が対称的な比率で分割されたパーティション912,914,916,918だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含む。
パーティションタイプごとに、1つの2N_0x2N_0サイズのパーティション、2つの2N_0xN_0サイズのパーティション、2つのN_0x2N_0サイズのパーティション、4つのN_0xN_0サイズのパーティションごとに反復して予測符号化が行われなければならない。サイズ2N_0x2N_0、サイズN_0x2N_0、サイズ2N_0xN_0及びサイズN_0xN_0のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ2N_0x2N_0のパーティションについてのみ予測符号化が行われる。
サイズ2N_0x2N_0,2N_0xN_0及びN_0x2N_0のパーティションタイプ912,914,916のうち一つによる符号化誤差が最小であれば、それ以上下位深度に分割する必要ない。
サイズN_0xN_0のパーティションタイプ918による符号化誤差が最小であれば、深度0を1に変更しながら分割し(920)、深度2及びサイズN_0xN_0のパーティションタイプの符号化単位930に対して反復して符号化を行い、最小符号化誤差を検索していくことができる。
深度1及びサイズ2N_1x2N_1(=N_0xN_0)の符号化単位930の予測符号化のための予測単位940は、サイズ2N_1x2N_1のパーティションタイプ942、サイズ2N_1xN_1のパーティションタイプ944、サイズN_1x2N_1のパーティションタイプ946、サイズN_1xN_1のパーティションタイプ948を含む。
また、サイズN_1xN_1のパーティションタイプ948による符号化誤差が最小であれば、深度1を深度2に変更しながら分割し(950)、深度2及びサイズN_2xN_2の符号化単位960に対して反復して符号化を行い、最小符号化誤差を検索していくことができる。
最大深度がdである場合、深度別分割情報は、深度d−1になるまで設定され、分割情報は、深度d−2まで設定される。すなわち、深度d−2から分割され(970)、深度d−1まで符号化が行われる場合、深度d−1及びサイズ2N_(d−1)x2N_(d−1)の符号化単位980の予測符号化のための予測単位990は、サイズ2N_(d−1)x2N_(d−1)のパーティションタイプ992、サイズ2N_(d−1)xN_(d−1)のパーティションタイプ994、サイズN_(d−1)x2N_(d−1)のパーティションタイプ996、サイズN_(d−1)xN_(d−1)のパーティションタイプ998を含む。
パーティションタイプのうち、1つのサイズ2N_(d−1)x2N_(d−1)のパーティション、2つのサイズ2N_(d−1)xN_(d−1)のパーティション、2つのサイズN_(d−1)x2N_(d−1)のパーティション、4つのサイズN_(d−1)xN_(d−1)のパーティションごとに反復して予測符号化を介する符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。
サイズN_(d−1)xN_(d−1)のパーティションタイプ998による符号化誤差が最小であるとしても、最大深度がdであるので、深度d−1の符号化単位CU_(d−1)は、それ以上下位深度への分割過程を経ず、現在最大符号化単位900に係わる符号化深度が深度d−1として決定され、パーティションタイプは、N_(d−1)xN_(d−1)として決定される。また、最大深度がdであるので、深度d−1の符号化単位952に対して、分割情報が設定されない。
データ単位999は、現在最大符号化単位に係わる「最小単位」とされる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が4分割された大きさの正方形のデータ単位でもある。かような反復的符号化過程を介して、一実施形態によるビデオ符号化装置100は、符号化単位900の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードに設定される。
かようにして、深度0,1,…,d−1,dの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、並びに予測単位のパーティションタイプ及び予測モードは、符号化モードに係わる情報として符号化されて伝送される。また、深度0から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「0」に設定され、符号化深度を除いた深度別分割情報は、「1」に設定されなければならない。
一実施形態によるビデオ復号化装置200の映像データ及び符号化情報抽出部220は、符号化単位900に対する符号化深度及び予測単位に係わる情報を抽出し、符号化単位912を復号化するのに利用することができる。一実施形態によるビデオ復号化装置200は、深度別分割情報を利用して、分割情報が「0」である深度を符号化深度として把握し、当該深度に係わる符号化モードに係わる情報を利用して、復号化に利用することができる。
図10、図11及び図12は、本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示している。
符号化単位1010は、最大符号化単位について、一実施形態によるビデオ符号化装置100が決定した符号化深度別符号化単位である。予測単位1060は、符号化単位1010において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位1070は、それぞれの符号化深度別符号化単位の変換単位である。
深度別符号化単位1010は、最大符号化単位の深度が0であるとすれば、符号化単位1012,1054は、深度が1、符号化単位1014,1016,1018,1028,1050,1052は、深度が2、符号化単位1020,1022,1024,1026,1030,1032,1048は、深度が3、符号化単位1040,1042,1044,1046は、深度が4である。
予測単位1060において、一部パーティション1014,1016,1022,1032,1048,1050,1052,1054は、符号化単位が分割された形態である。すなわち、パーティション1014,1022,1050,1054は、2NxNのパーティションタイプであり、パーティション1016,1048,1052は、Nx2Nのパーティションタイプ、パーティション1032は、NxNのパーティションタイプである。深度別符号化単位1010の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。
変換単位1070において、一部の変換単位1052の映像データについては、符号化単位に比べ、小サイズのデータ単位で周波数変換または周波数逆変換が行われる。また、変換単位1014,1016,1022,1032,1048,1050,1052,1054は、予測単位1060において、当該予測単位及びパーティションと比べれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置100、及び一実施形態によるビデオ復号化装置200は、同一の符号化単位に係わるイントラ予測/動き推定/動き補償作業、及び周波数変換/逆変換作業であるとしても、それぞれ別個のデータ単位を基にして遂行することができる。
それにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含む。下記表1は、一実施形態によるビデオ符号化装置100、及び一実施形態によるビデオ復号化装置200で設定することができる一例を示している。
一実施形態によるビデオ符号化装置100のエントロピー符号化部120は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置200のエントロピー復号化部210は、受信されたビットストリームをパージングし、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。
分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。現在深度dの分割情報が0であるならば、現在符号化単位が、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度に対して、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、1段階さらに分割されなければならない場合には、分割された4個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ2Nx2Nでのみ定義される。
パーティションタイプ情報は、予測単位の高さまたは幅が対称的な比率で分割された対称的パーティションタイプ2Nx2N,2NxN,Nx2N及びNxNと、非対称的な比率で分割された非対称的パーティションタイプ2NxnU,2NxnD,nLx2N,nRx2Nを示すことができる。非対称的パーティションタイプ2NxnU及び2NxnDは、それぞれ高さが1:n(nは、1より大きい定数)及びn:1に分割された形態であり、非対称的パーティションタイプnLx2N及びnRx2Nは、それぞれ幅が1:n及びn:1に分割された形態を示す。
変換単位サイズは、イントラモードで二種の大きさ、インターモードで二種の大きさに設定される。すなわち、変換単位分割情報が0であるならば、変換単位の大きさが、現在符号化単位のサイズ2Nx2Nに設定される。変換単位分割情報が1であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ2Nx2Nである現在符号化単位に係わるパーティションタイプが対称形パーティションタイプであるならば、変換単位の大きさは、NxNに、非対称形パーティションタイプであるならば、N/2xN/2に設定される。
一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含む。
従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。
従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
他の実施形態において、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照されもする。
図13は、表1の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する。最大符号化単位1300は、符号化深度の符号化単位1302,1304,1306,1312,1314,1316,1318を含む。そのうち1つの符号化単位1318は、符号化深度の符号化単位であるので、分割情報が0に設定される。サイズ2Nx2Nの符号化単位1318のパーティションタイプ情報は、パーティションタイプ2Nx2N 1322,2NxN 1324,Nx2N 1326、NxN 1328,2NxnU 1332,2NxnD 1334,nLx2N 1336及びnRx2N 1338のうち一つに設定される。
パーティションタイプ情報が、対称形パーティションタイプ2Nx2N 1322,2NxN 1324,Nx2N 1326及びNxN 1328のうち一つに設定されている場合、変換単位分割情報(TU size flag)が0であるならば、サイズ2Nx2Nの変換単位1342が設定され、変換単位分割情報が1であるならば、サイズNxNの変換単位1344が設定される。
パーティションタイプ情報が非対称形パーティションタイプ2NxnU 1332,2NxnD 1334,nLx2N 1336及びnRx2N 1338のうち一つに設定された場合、変換単位分割情報(TU size flag)が0であるならば、サイズ2Nx2Nの変換単位1352が設定され、変換単位分割情報が1であるならば、サイズN/2xN/2の変換単位1354が設定される。
変換単位分割情報(TU size flag)は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。
例えば、パーティションタイプ情報が、対称形パーティションタイプ2Nx2N 1322,2NxN 1324,Nx2N 1326及びNxN 1328のうち一つに設定されている場合、変換単位分割情報が0であるならば、サイズ2Nx2Nの変換単位1342が設定され、変換単位分割情報が1であるならば、サイズNxNの変換単位1344が設定される。
パーティションタイプ情報が非対称形パーティションタイプ2NxnU 1332,2NxnD 1334,nLx2N 1336及びnRx2N 1338のうち一つに設定された場合、変換単位分割情報(TU size flag)が0であるならば、サイズ2Nx2Nの変換単位1352が設定され、変換単位分割情報が1であるならば、サイズN/2xN/2の変換単位1354が設定される。
図9を参照して説明した変換単位分割情報(TU size flag)は、0または1の値を有するフラグであるが、一実施形態による変換単位分割情報は、1ビットのフラグに限定されるものではなく、設定によって、0、1、2、3、…などに増加し、変換単位が階層的に分割されもする。変換単位分割情報は、変換インデックスの一実施形態として利用される。
その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置100は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、SPS(sequence parameter set)に挿入される。一実施形態によるビデオ復号化装置200は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。
例えば、(a)現在符号化単位がサイズ64x64であり、最大変換単位サイズが32x32であるならば、(a−1)変換単位分割情報が0であるとき、変換単位の大きさは、32x32に、(a−2)変換単位分割情報が1であるとき、変換単位の大きさは、16x16に、(a−3)変換単位分割情報が2であるとき、変換単位の大きさは、8x8に設定される。
他の例で、(b)現在符号化単位がサイズ32x32であり、最小変換単位サイズが32x32であるならば、(b−1)変換単位分割情報が0であるとき、変換単位の大きさは、32x32に設定され、変換単位の大きさが32x32より小さいことがないので、それ以上の変換単位分割情報が設定されることがない。
さらに他の例で、(c)現在符号化単位がサイズ64x64であり、最大変換単位分割情報が1であるならば、変換単位分割情報は、0または1であり、他の変換単位分割情報が設定されることがない。
従って、最大変換単位分割情報を、「MaxTransformSizeIndex」、最小変換単位サイズを「MinTransformSize」、変換単位分割情報が0でる場合の変換単位、すなわち、基礎変換単位RootTuの大きさを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、下記数式(1)のように定義される。
CurrMinTuSize
=max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex)) (1)
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、基礎変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式(1)によれば、「RootTuSize/(2^MaxTransformSizeIndex)」は、基礎変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」でもある。
一実施形態による基礎変換単位サイズ「RootTuSize」は、予測モードによって異なりもする。
例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、下記数式(2)によって決定される。数式(2)で、「MaxTransformSize」は、最大変換単位サイズ、「PUSize」は、現在予測単位サイズを示す。
RootTuSize=min(MaxTransformSize,PUSize) (2)
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が0である場合の変換単位である基礎変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。
現在パーティション単位の予測モードが、イントラモードであるならば、「RootTuSize」は、下記数式(3)によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。
RootTuSize=min(MaxTransformSize,PartitionSize) (3)
すなわち、現在予測モードがイントラモードであるならば、基礎変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。
ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズである基礎変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、それに限定されるものではないことに留意しなければならない。
以下、図1のビデオ符号化装置100のエントロピー符号化部120で遂行される構文要素(SE:syntax element)のエントロピー符号化過程、及び図2のビデオ復号化装置200のエントロピー復号化部220で遂行される構文要素(SE)のエントロピー復号化過程について詳細に説明する。
前述のように、本発明の一実施形態によるビデオ符号化装置100、及びビデオ復号化装置200は、最大符号化単位より小さいか、あるいはそれと同じ符号化単位に、最大符号化単位を分割し、符号化及び復号化を行う。予測過程及び変換過程に利用される予測単位及び変換単位は、他のデータ単位と独立し、コストに基づいて決定される。このように、最大符号化単位に含まれた、階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、ツリー構造によるデータ単位が構成される。すなわち、最大符号化単位ごとに、ツリー構造の符号化単位、ツリー構造の予測単位及び変換単位が決定される。復号化のために、かような階層的構造のデータ単位の構造情報を示す情報である階層情報と、階層情報以外に、復号化のための階層外情報とが伝送される必要がある。
階層的構造と係わる情報は、前述の図10ないし図12に説明されたツリー構造の符号化単位、ツリー構造の予測単位、及びツリー構造の変換単位を決定するために必要な情報として、最大符号化単位の大きさ、符号化深度、予測単位のパーティション情報、符号化単位の分割いかんを示す分割フラグ(split flag)、変換単位のサイズ情報、変換単位の分割いかんを示す変換単位分割フラグ(TU size flag)などを含む。階層的構造情報以外の符号化情報としては、各予測単位に適用されたイントラ/インター予測の予測モード情報、動きベクトル情報、予測方向情報、複数個のカラー成分が利用された場合、当該データ単位に適用されたカラー成分情報、変換係数情報などを含む。以下の説明で、階層情報及び階層外情報は、エントロピー符号化及びエントロピー復号化の対象である構文要素(SE)とする。
特に、本発明の実施形態は、構文要素のうち、変換係数のレベル、すなわち、サイズ情報を、効率的にエントロピー符号化及びエントロピー復号化するためのコンテクストモデル決定過程係わるものである。以下、変換係数のレベルのエントロピー符号化及びエントロピー復号化のためのコンテクストモデル決定過程について具体的に説明する。
図14は、本発明の一実施形態による、変換単位に含まれた変換係数情報を、エントロピー符号化及びエントロピー復号化する過程を示したフローチャートである。図14を参照すれば、段階1410において、現在変換単位に含まれた変換係数のうち、0ではない変換係数(以下「有効変換係数(significant coefficient)」とする)が存在するか否かということを示すcoded_block_flagが、まずエントロピー符号化及びエントロピー復号化される。
coded_block_flagが0であるならば、現在変換単位に、0である変換係数だけが存在するので、coded_block_flagとして、0の値だけがエントロピー符号化及びエントロピー復号化され、変換係数レベル情報は、エントロピー符号化及びエントロピー復号化されない。
段階1420で、現在変換単位に、有効変換係数が存在する場合には、有効変換係数の位置を示す有効性マップ(SigMap:significance map)がエントロピー符号化及びエントロピー復号化される。
有効性マップは、有効ビット(significant bit)、及び最後の有効変換係数の位置を示す所定の情報で構成される。有効ビットは、各スキャンインデックスによる変換係数が有効変換係数であるか、あるいは0であるかということを示すものであり、significant_coeff_flag[i]を利用して表現される。後述するように、有効性マップは、変換単位を分割した所定サイズのサブセット単位で設定される。従って、significant_coeff_flag[i]は、変換単位に含まれた1つのサブセットに含まれた変換係数のうち、i番目のスキャンインデックスの変換係数が0であるか否かということを示す。
従来のH.264などでは、各有効変換係数ごとに、最後の有効変換係数であるか否かということを示すフラグ(End−Of−Block)が、別途にエントロピー符号化及びエントロピー復号化された。しかし、本発明の一実施形態によれば、最後の有効変換係数の位置情報がそのままエントロピー符号化及びエントロピー復号化される。前述の図1ないし図13で説明した通り、本発明の実施形態によれば、変換単位の大きさが、従来のH.264などで利用される4x4に限定されるものではなく、8x8、16x16、32x32のような大サイズを有することができる。大サイズの変換単位に含まれた各有効変換係数ごとに、最後の有効変換係数であるか否かということを示すフラグ(End−Of−Block)を、別途にエントロピー符号化及びエントロピー復号化することは、フラグ(End−Of−Block)の大きさが増大して非効率的である。従って、本発明の一実施形態によれば、最後の有効変換係数の位置情報が、そのままエントロピー符号化及びエントロピー復号化される。例えば、最後の有効変換係数の位置が、(x,y)(x,yは、整数)であるならば、(x,y)座標値が、そのままエントロピー符号化及びエントロピー復号化される。
図15は、本発明の一実施形態による、変換単位を分割したサブセット(subset)を示した図面である。図15では、変換単位1500の大きさが16x16である場合を図示したが、変換単位1500の大きさは、図示された16x16に限定されるものではなく、4x4〜32x32のような多様な大きさを有することができる。
図15を参照すれば、変換単位1500に含まれた変換係数のエントロピー符号化及びエントロピー復号化のために、変換単位1500は、所定サイズのサブセット(subset)に分割される。一例として、図示されているように、変換単位1500は、4x4サイズのサブセットに分割される。サブセットの大きさは、4x4サイズに限定されるものではなく、変更されてもよい。
図示されているように、変換単位1500は、16個のサブセットに分割され、各サブセット単位で、変換係数情報がエントロピー符号化及びエントロピー復号化される。エントロピー符号化及びエントロピー復号化される変換係数情報は、有効性マップ(SigMap)、サブセットに含まれた有効変換係数が、所定の第1臨界値、例えば、1より大きい値を有するか否かということを示す第1臨界値フラグ(Greaterthan1 flag、以下、「Gtr1 flag」とする)、サブセットに含まれた有効変換係数が所定の第2臨界値、例えば、2より大きい値を有するか否かということを示す第2臨界値フラグ(Greaterthan2 flag、以下、「Gtr2 flag」とする)、及び所定の第2臨界値より大きい有効変換係数のレベルを示す情報(level−3)などがある。以下の説明では、第1臨界値が1、第2臨界値が2である場合を仮定して説明するが、第1臨界値及び第2臨界値は、それらに限定されるものではなく、変更されてもよい。第1臨界値フラグ(Gtr1 flag)は、有効性マップが1である変換係数、すなわち、有効変換係数に対して設定され、0である変換係数については、設定されない。また、第2臨界値フラグ(Gtr2 flag)は、第1臨界値フラグが1である変換係数に対して設定される。
図15で、最後の有効変換係数が含まれたサブセットを、subset 11 1510と仮定する。サブセット単位で遂行される変換係数情報のエントロピー符号化及びエントロピー復号化過程は、最後の有効変換係数が含まれたsubset 11 1510から、図示されたスキャン順序により、逆順(backward)で、各サブセットの変換係数情報がエントロピー符号化及びエントロピー復号化される。
図16は、図15の変換単位に含まれたサブセットの一例を示した図面である。
図15及び図16を参照すれば、図15に図示された変換単位1500に含まれたいずれか1つのサブセットが、図16に図示されているような4x4サイズの変換係数を含んでいると仮定する。前述のように、本発明の一実施形態によれば、サブセット単位で、有効性マップ(SigMap)、第1臨界値フラグ(Gtr1 flag)、第2臨界値フラグ(Gtr2 flag)がエントロピー符号化及びエントロピー復号化される。
図17は、図16のサブセット1600に対応する有効性マップを示した図面である。
図16及び図17を参照すれば、図16のサブセット1600に含まれた変換係数のうち、0ではない値を有する有効変換係数に対して、1の値を有する有効性マップ(SigMap)1700が設定される。かような有効性マップ(SigMap)1700は、既設定のコンテクストモデルを利用して、エントロピー符号化及びエントロピー復号化される。
図18は、図16のサブセット1600に対応する第1臨界値フラグを示した図面である。
図16ないし図18を参照すれば、有効性マップ(SigMap)1700が1の値を有する変換係数に対して、当該変換係数が第1臨界値、すなわち、1より大きい値を有するか否かということを示す第1臨界値フラグ(Gtr1 flag)1800が設定される。第1臨界値フラグ(Gtr1 flag)1800が1であるならば、当該変換係数は、1より大きい値を有する変換係数であるということを示し、第1臨界値フラグ(Gtr1 flag)1800が0であるならば、当該変換係数は、1の値を有する変換係数であるということを示す。
図19は、図16のサブセット1600に対応する第2臨界値フラグを示した図面である。
図16ないし図19を参照すれば、第1臨界値フラグ(Gtr1 flag)1800が1に設定された変換係数に対して、当該変換係数が第2臨界値、すなわち、2より大きい値を有するか否かということを示す第2臨界値フラグ(Gtr2 flag)1900が設定される。第2臨界値フラグ(Gtr2 flag)1900が1であるならば、当該変換係数は、2より大きい値を有する変換係数であるということを示し、第2臨界値フラグ(Gtr2 flag)1900が0であるならば、当該変換係数は、2の値を有する変換係数であるということを示す。
図19で、第2臨界値フラグ(Gtr2 flag)1900が1である変換係数、すなわち、図16で、「23」及び「3」の値を有する変換係数は、レベル情報がそのままエントロピー符号化及びエントロピー復号化される。そのとき、第2臨界値フラグ(Gtr2 flag)1900が1である変換係数は、2より大きい値を有する変換係数であるので、当該変換係数のレベルから3を差し引いた値(level−3)を、当該変換係数のレベル情報として符号化する。前述の例において、エントロピー符号化時に、「23」値の代わりに、「20」値がレベル情報として符号化され、「3」値の代わりに、「0」値がレベル情報として符号化される。エントロピー復号化時に、第2臨界値フラグ(Gtr2 flag)1900が1である変換係数に対するレベル情報(level−3)をエントロピー復号化した後、3の値を加えることにより、当該変換係数のレベル情報を復元することができる。
図20は、図16ないし図19に図示された1つのサブセットに含まれた変換係数、並びにエントロピー符号化及びエントロピー復号化される変換係数情報を示した表である。前述のように、本発明の一実施形態によれば、サブセット単位において、最後の有効変換係数から所定スキャン順序により、有効変換係数の位置及びレベル情報を示す有効性マップ(SigMap)、第1臨界値フラグ(Gtr1 flag)、第2臨界値フラグ(Gtr2 flag)及びレベル情報(level−3)が、エントロピー符号化及びエントロピー復号化される。
図21Aは、本発明の一実施形態によるエントロピー符号化装置の構成を示したブロック図である。図21Aのエントロピー符号化装置2100は、図1のビデオ符号化装置100のエントロピー符号化部120に対応する。
図21Aを参照すれば、一実施形態によるエントロピー符号化装置2100は、二進化部(binarizer)2110、コンテクスト・モデラ(context modeler)2120、二進算術符号化部(binary arithmetic ccoder)2130を含む。また、二進算術符号化部2130は、レギュラー・コーディング部(regular coding engine)2132と、バイパス・コーディング部(bypass coding engine)2134とを含む。
エントロピー符号化装置2100に入力される構文要素(syntax element)は、二進値ではないことがあるので、構文要素が二進値ではない場合、二進化部2110は、構文要素を二進化し、0または1の二進値で構成されたビンストリング(bin string)を出力する。ビンは、0または1から構成されたストリームの各ビットを示すものであり、各ビンは、CABAC(context adaptive binary arithmetic coding)を介して符号化される。構文要素が0及び1の頻度が同一であるデータであるならば、確率値を利用しないバイパス・コーディング部2134に出力されて符号化される。
コンテクスト・モデラ2120は、レギュラー・コーディング部2132に、現在符号化シンボルに係わる確率モデルを提供する。具体的には、コンテクスト・モデラ2120は、現在符号化シンボルの二進値を符号化するための二進値の発生確率を、二進算術符号化部2130に出力する。現在符号化シンボルとは、符号化される現在構文要素を二進化、すなわち、二進値から構成したとき、各二進値を示す。
コンテクストモデルは、ビンに係わる確率モデルであり、0及び1のうちいずれの値がMPS(most probable symbol)及びLPS(least probable symbol)に該当するかということに係わる情報と、MPSまたはLPSの確率とを含む。以下の説明で、コンテクストモデルは、単にコンテクストと呼ばれもする。また、コンテクストセットは、複数個のコンテクストを含むコンテクストの集合を意味する。
レギュラー・コーディング部2132は、コンテクスト・モデラ2120から提供されたMPS、LPSに係わる情報、及びMPSまたはLPSの確率情報に基づいて、現在符号化シンボルに係わる二進算術符号化を行う。
後述するように、特に、本発明の一実施形態によるコンテクスト・モデラ2120は、サブセットの第1臨界値フラグ(Gtr1 flag)をエントロピー符号化するためのコンテクストモデルを決定するために、変換単位のカラー成分情報、現在サブセットが変換単位のいずれの部分に位置するかというサブセットの位置情報、及び前述の図15の処理順序によって、現在サブセット以前に処理されたサブセットに、第1臨界値より大きい値を有する有効変換係数が存在するか否かということに基づいて、複数個のコンテクストを含む複数個のコンテクストセットのうち、第1臨界値フラグのエントロピー符号化に利用されるコンテクストセットを決定するためのコンテクストセット・インデックス(ctxset)を獲得する。そして、コンテクスト・モデラ2120は、以前の連続した1の値を有する変換係数の長さに基づいて、第1臨界値フラグ(Gtr1 flag)のエントロピー符号化に利用されるコンテクストセットに含まれた複数個のコンテクストのうち一つを決定するためのコンテクストオフセット(c1)を獲得する。そして、コンテクスト・モデラ2120は、コンテクストセット・インデックス(ctxset)及びコンテクストオフセット(c1)を利用して、第1臨界値フラグ(Gtr1 flag)のエントロピー符号化に利用される1つのコンテクストを示すコンテクスト・インデックス(ctxIdx1)を獲得する。変換係数の第1臨界値フラグ(Gtr1 flag)をエントロピー符号化及びエントロピー復号化するたびに、コンテクストオフセット(c1)の値が維持または変更されるので、変換係数の第1臨界値フラグ(Gtr1 flag)をエントロピー符号化及びエントロピー復号化するたびに、コンテクストが維持または更新(update)される。
また、コンテクスト・モデラ2120は、サブセットの第2臨界値フラグ(Gtr2 flag)をエントロピー符号化するために、変換単位のカラー成分情報、現在サブセットが変換単位のいずれの部分に位置するかというサブセットの位置情報、及び前述の図15の処理順序により、現在サブセット以前に処理されたサブセットに、第1臨界値より大きい値を有する有効変換係数が存在するか否かということに基づいて、第2臨界値フラグ(Gtr2 flag)のエントロピー符号化及びエントロピー復号化に利用される複数個のコンテクストセットのうち一つを示すコンテクストセット・インデックス(ctxset)を獲得する。第2臨界値フラグ(Gtr2 flag)のエントロピー符号化及びエントロピー復号化に利用されるコンテクストセット・インデックス(ctxset)を獲得するのに利用されるパラメータは、第1臨界値フラグ(Gtr1 flag)のエントロピー符号化及びエントロピー復号化に利用されるコンテクストセット・インデックス(ctxset)を獲得するのに利用されるパラメータと同じである。従って、コンテクスト・モデラ2120は、前述の第1臨界値フラグのエントロピー符号化に利用されるコンテクストセットを決定するためのコンテクストセット・インデックス(ctxset)を、第2臨界値フラグのエントロピー符号化のためのコンテクストセットの決定時、そのまま利用することができる。第2臨界値フラグ(Gtr2 flag)のエントロピー符号化に利用されるコンテクストセットに含まれた複数個のコンテクストのうち一つを決定するためのコンテクストオフセット(c2)は、0の値を有する。従って、第2臨界値フラグ(Gtr2 flag)のエントロピー符号化に利用されるコンテクストを示すコンテクスト・インデックス(ctxIdx2)は、第1臨界値フラグ(Gtr1 flag)のコンテクストセット・インデックス(ctxset)と同一に設定される。
図21Bは、本発明の一実施形態によるエントロピー復号化装置の構成を示したブロック図である。図21Bのエントロピー復号化装置2150は、図2のビデオ復号化装置200のエントロピー復号化部220に対応する。エントロピー復号化装置2150は、前述のエントロピー符号化装置2100で遂行されるエントロピー符号化過程の逆過程を遂行する。
図21Bを参照すれば、エントロピー復号化装置2150は、コンテクスト・モデラ2160、レギュラー・デコーディング部2170、バイパス・デコーディング部2180、逆二進化部2190を含む。
バイパス・コーディングによって符号化されたシンボルは、バイパス・デコーディング部2180に出力されて復号化され、レギュラー・コーディングによって符号化されたシンボルは、レギュラー・デコーディング部2170によってデコーディングされる。レギュラー・デコーディング部2170は、コンテクスト・モデラ2160から提供されるコンテクストモデルに基づいて、現在符号化シンボルの二進値を算術復号化する。
コンテクスト・モデラ2160は、前述の図21Aのコンテクスト・モデラ2120と同一に、サブセットの第1臨界値フラグ(Gtr1 flag)及び第2臨界値フラグ(Gtr2 flag)のエントロピー復号化のためのコンテクストモデルを決定する。図21Bのコンテクスト・モデラ2160の動作は、復号化側で遂行されるという点を除き、符号化側の図21Aのコンテクスト・モデラ2120と同一に、第1臨界値フラグ(Gtr1 flag)及び第2臨界値フラグ(Gtr2 flag)のエントロピー復号化のためのコンテクストモデルを決定する。
逆二進化部2190は、レギュラー・デコーディング部2170またはバイパス・デコーディング部2180で復元されたビンストリングを、さらに構文要素(syntax element)に復元する。
以下、図21A及び図21Bのコンテクスト・モデラ2120,2160での、第1臨界値フラグ(Gtr1 flag)及び第2臨界値フラグ(Gtr2 flag)のエントロピー符号化及びエントロピー復号化のためのコンテクストモデル決定過程について、具体的に説明する。
図22は、本発明の一実施形態によるコンテクスト・モデラの構成を示したブロック図である。図22を参照すれば、コンテクスト・モデラ2200は、マッピング部2210、コンテクストセット獲得部2220、コンテクストオフセット獲得部2230及びコンテクスト決定部2240を含む。
マッピング部2210は、エントロピー符号化またはエントロピー復号化される現在サブセットに含まれた有効変換係数の位置情報を獲得する。エントロピー符号化時、マッピング部2210は、現在サブセットに含まれた変換係数の情報から、有効変換係数の位置を獲得することができる。エントロピー復号化時、マッピング部2210は、有効性マップ(SigMap)から、サブセットに含まれた有効変換係数の位置を獲得することができる。
コンテクストセット獲得部2220は、有効変換係数に係わる第1臨界値フラグ(Gtr1 flag)及び第2臨界値フラグ(Gtr2 flag)の、エントロピー符号化及びエントロピー復号化に利用される複数個のコンテクストを含む複数個のコンテクストセットのうち1つのコンテクストセットを決定するためのコンテクストセット・インデックス(ctxset)を獲得する。
具体的には、コンテクストセット獲得部2220は、変換単位のカラー成分情報、処理される現在サブセットの位置、及び現在サブセット以前に処理されたサブセットに、第1臨界値より大きい値を有する有効変換係数が存在するか否かということに基づいて、第1臨界値フラグ(Gtr1 flag)及び第2臨界値フラグ(Gtr2 flag)のエントロピー符号化及びエントロピー復号化に利用されるコンテクストセットを決定するためのコンテクストセット・インデックス(ctxset)を獲得する。
コンテクストオフセット獲得部2230は、コンテクストセット・インデックス(ctxset)に含まれた複数個のコンテクストのうち一つを示すコンテクストオフセットを決定する。第1臨界値フラグ(Gtr1 flag)のエントロピー符号化時及びエントロピー復号化時に、コンテクストオフセット(c1)は、現在サブセットに含まれた有効変換係数を、所定スキャン順序によって処理しながら、処理される現在有効変換係数以前に連続した1の値を有する変換係数の長さに基づいて決定される。第2臨界値フラグ(Gtr1 flag)のコンテクストオフセット(c2)は、0の値を有する。
コンテクスト決定部2240は、コンテクストセット・インデックス(ctxset)及びコンテクストオフセット(c1)を利用して、1臨界値フラグ(Gtr1 flag)のエントロピー符号化及びエントロピー復号化に利用される1つのコンテクストを示すコンテクスト・インデックス(ctxIdx1)を獲得する。第1臨界値フラグ(Gtr1 flag)のエントロピー符号化及びエントロピー復号化のために、n(nは、整数)個のコンテクストセットが設定され、n個のコンテクストセットは、それぞれm(mは、整数)個のコンテクストを有すると仮定すれば、全n*m個のコンテクストが、第1臨界値フラグ(Gtr1 flag)のエントロピー符号化及びエントロピー復号化に利用される。n個のコンテクストセットのうち一つを示すコンテクストセット・インデックス(ctxSet)が、0から(n−1)までの整数であり、m個のコンテクストオフセットのうち一つを示すコンテクストオフセット(c1)が、0から(m−1)までの整数であるとするとき、コンテクスト決定部2240は、次の数式に基づいて、n*m個のコンテクストのうち一つを示すコンテクスト・インデックス(ctxIdx1)を決定することができる。
ctxIdx1=ctxSet*m+c1
第2臨界値フラグ(Gtr2 flag)のエントロピー符号化及びエントロピー復号化に利用される1つのコンテクストを示すコンテクスト・インデックス(ctxIdx2)は、次の数式に基づいて決定される。
ctxIdx2=ctxSet*1+c2
前述のように、c2の値が0であるので、第2臨界値フラグ(Gtr2 flag)のエントロピー符号化及びエントロピー復号化に利用される1つのコンテクストを示すコンテクスト・インデックス(ctxIdx2)は、ただコンテクストセット・インデックス(ctxSet)の値に基づいて決定される。
図23は、本発明の一実施形態による、輝度成分の変換単位に適用される複数個のコンテクストセットと、各コンテクストセットに含まれた複数個のコンテクストとを示した図面であり、図24は、本発明の一実施形態による、色差成分の変換単位に適用される複数個のコンテクストセットと、各コンテクストセットに含まれた複数個のコンテクストとを示した図面である。
図23を参照すれば、輝度成分サブセットに含まれた変換係数に係わる第1臨界値フラグ(Gtr1 flag)を、エントロピー符号化及びエントロピー復号化するために、第1コンテクストセット2310、第2コンテクストセット2320、第3コンテクストセット2330及び第4コンテクストセット2340の全4個のコンテクストセットのうち、いずれか1つのコンテクストセットに含まれた1つのコンテクストが利用される。1つのコンテクストセットに含まれた互いに異なるコンテクストは、図示されているような0ないし3のコンテクストオフセット(c1)を介して区分される。従って、輝度成分のサブセットの変換係数の第1臨界値フラグ(Gtr1 flag)に適用される全16個のコンテクストのうち、適用される1つのコンテクストは、コンテクストセット・インデックス(ctxset)及びオフセット(c1)を介して決定される。すなわち、輝度成分のサブセットに含まれた変換係数の第1臨界値フラグ(Gtr1 flag)に適用される全16個のコンテクストのうち一つを示すコンテクスト・インデックス(ctxIdx1)は、次の数式のように決定される。
ctxIdx1=ctxSet*4+c1
同様に、図24を参照すれば、色差成分サブセットに含まれた変換係数に係わる第1臨界値フラグ(Gtr1 flag)を、エントロピー符号化及びエントロピー復号化するために、第1コンテクストセット2410及び第2コンテクストセット2420の全2個のコンテクストセットのうち、いずれか1つのコンテクストセットに含まれた1つのコンテクストが利用される。1つのコンテクストセットに含まれた互いに異なるコンテクストは、それぞれ図示されているような0ないし3のコンテクストオフセット(c1_chroma)を介して区分される。後述するように、色差成分に係わるコンテクストオフセット(c1_chroma)は、輝度成分に係わるコンテクストオフセット(c1)と同一に設定される。色差成分のサブセットに含まれた変換係数の第1臨界値フラグ(Gtr1 flag)に適用される全8個のコンテクストのうち一つを示すコンテクスト・インデックス(ctxIdx1_chroma)は、次の数式のように決定される。
ctxIdx1_chroma=ctxSet*4+c1_chroma
図27Aは、本発明の一実施形態による、輝度成分の有効変換係数及び色差成分の有効変換係数の第1臨界値フラグ(Gtr1 flag)及び第2臨界値フラグ(Gtr2 flag)のエントロピー符号化及びエントロピー復号化に利用されるコンテクストセット(context set)を決定するためのコンテクストセット・インデックス(ctxset)を示している。
図27Aを参照すれば、コンテクストセット獲得部2220は、変換単位のカラー成分情報、処理される現在サブセットの位置、及び現在サブセット以前に処理されたサブセットに、第1臨界値より大きい値を有する有効変換係数が存在するか否かということに基づいて、第1臨界値フラグ(Gtr1 flag)及び第2臨界値フラグ(Gtr2 flag)のエントロピー符号化及びエントロピー復号化に利用されるコンテクストセットを決定するためのコンテクストセット・インデックス(ctxset)を獲得する。
例えば、輝度成分(luma)の変換単位に含まれた変換係数に対して、以前に処理されたサブセットに、1より大きい値を有する有効変換係数が存在せず(No GreatT1)、最左上側に位置したサブセット(subset 0)に含まれた有効変換係数の第1臨界値フラグを、エントロピー符号化及びエントロピー復号化するときには、第1コンテクストセット(ctxset=0)が獲得される。以前に処理されたサブセットに、1より大きい値を有する有効変換係数が存在し(at least one GreatT1)、最左上側に位置したサブセット(subset 0)に含まれた有効変換係数の第1臨界値フラグを、エントロピー符号化及びエントロピー復号化するときには、第2コンテクストセット(ctxset=1)が獲得される。以前に処理されたサブセットに、1より大きい値を有する有効変換係数が存在せず(No GreatT1)、最左上側に位置しないサブセット(other subsets)に含まれた有効変換係数の第1臨界値フラグを、エントロピー符号化及びエントロピー復号化するときには、第3コンテクストセット(ctxset=2)が獲得される。また、以前に処理されたサブセットに、1より大きい値を有する有効変換係数が存在し(at least one GreatT1)、最左上側に位置しないサブセット(other subsets)に含まれた有効変換係数の第1臨界値フラグを、エントロピー符号化及びエントロピー復号化するときには、第4コンテクストセット(ctxset=3)が獲得される。
色差成分(chroma)の変換単位に含まれた変換係数については、以前に処理されたサブセットに、1より大きい値を有効変換係数が存在するか否かということにのみ基づいて、コンテクストセットが獲得される。すなわち、以前に処理されたサブセットに、1より大きい値を有する有効変換係数が存在しなければ(No GreatT1)、第1コンテクストセット(ctxset=0)が獲得され、以前に処理されたサブセットに、1より大きい値を有する有効変換係数が存在すれば(at least one GreatT1)、第2コンテクストセット(ctxset=1)が獲得される。
図27Bは、本発明の一実施形態による、第1臨界値フラグ(Gtr1 flag)及び第2臨界値フラグ(Gtr2 flag)のエントロピー符号化及びエントロピー復号化に利用されるコンテクストオフセットを示している。
図27Bを参照すれば、第1臨界値フラグ(Gtr1 flag)のエントロピー符号化及びエントロピー復号化に利用されるコンテクストセットに含まれた1つのコンテクストを決定するために、サブセットに含まれた有効変換係数のうち1以上の値を有する有効変換係数については、第1コンテクストオフセット(c1=0)が獲得される。サブセットに含まれた有効変換係数のうち、最初に処理される有効変換係数に対して、第2コンテクストオフセット(c1=1)が獲得される。以前の連続した1の値を有する変換係数の長さが1である場合、第3コンテクストオフセット(c1=2)が獲得される。以前の連続した1の値を有する変換係数の長さが2以上である場合、第4コンテクストオフセット(c1=3)が獲得される。コンテクストオフセット(c1)は、輝度成分及び色差成分いずれにも同一に適用される。
第2臨界値フラグ(Gtr2 flag)のエントロピー符号化及びエントロピー復号化に利用されるコンテクストオフセット(c2)は、0の値を有する。
図27A及び図27Bに図示された表に基づいて、サブセットに含まれた変換係数のエントロピー符号化及びエントロピー復号化のためのコンテクストセット・インデックス(ctxset)及びコンテクストオフセット(c1またはc2)が決定されれば、コンテクスト決定部2240は、輝度成分のサブセットに含まれた変換係数の第1臨界値フラグ(Gtr1 flag)に適用される全16個のコンテクストのうち一つを示すコンテクスト・インデックス(ctxIdx1)を、以下数式のように決定する。
ctxIdx1=ctxSet*4+c1
また、コンテクスト決定部2240は、色差成分のサブセットに含まれた変換係数の第1臨界値フラグ(Gtr1 flag)に適用される8個のコンテクストのうち一つを示すコンテクスト・インデックス(ctxIdx1_chroma)を、次の数式を介して決定する。
ctxIdx1_chroma=ctxSet*4+c1
図27A及び図27Bに図示された表に基づいた場合、第1臨界値フラグ(Gtr1 flag)に適用される全コンテクストの個数は、輝度成分の場合、4*4の16個、色差成分に係わる2*4の8個を合わせ、全24個である。
また、コンテクスト決定部2240は、第2臨界値フラグ(Gtr2 flag)に適用されるコンテクストを示すコンテクスト・インデックス(ctxIdx2)を、次の数式を介して決定する。
ctxIdx2=ctxset*1+c2
前述のように、コンテクストオフセット(c2)の値が0であるので、ctxIdx2=ctxsetである。すなわち、第2臨界値フラグ(Gtr2 flag)に適用されるコンテクストを示すコンテクスト・インデックス(ctxIdx2)は、コンテクストセット・インデックス(ctxset)の値と同一に設定される。従って、図27A及び図27Bに図示された表に基づいた場合、第2臨界値フラグ(Gtr2 flag)に適用される全コンテクストの個数は、輝度成分の場合、4個、色差成分に係わる2個を合わせ、全8個である。
図25は、本発明の一実施形態による、変換係数レベルのエントロピー符号化及びエントロピー復号化のためのコンテクストモデル決定方法を示したフローチャートである。図25を参照すれば、段階2510で、マッピング部2210は、変換単位を所定サイズのサブセットに分割し、各サブセットに含まれた0ではない有効変換係数を獲得する。前述のように、エントロピー符号化時、マッピング部2210は、現在サブセットに含まれた変換係数の情報から、有効変換係数の位置を獲得することができる。エントロピー復号化時、マッピング部2210は、有効性マップ(SigMap)から、サブセットに含まれた有効変換係数の位置を獲得することができる。
段階2520で、コンテクストセット獲得部2220は、変換単位のカラー成分情報、有効変換係数が含まれた現在処理される第1サブセットの位置、及び第1サブセットより以前に処理された第2サブセットに、所定の第1臨界値より大きい値を有する有効変換係数が存在するか否かということに基づいて、複数個のコンテクストを含む複数個のコンテクストセットのうち、有効変換係数が第1臨界値より大きい値を有するか否かということを示す第1臨界値フラグのエントロピー符号化及びエントロピー復号化に利用されるコンテクストセットを決定するためのコンテクストセット・インデックス(ctxset)を獲得する。前述の図27A及び図27Bのように、コンテクストセット獲得部2220は、輝度成分の変換単位に含まれた変換係数に対して、最左上側に位置したサブセット(subset 0)であるか否かということ、以前に処理されたサブセットに、1より大きい値を有する有効変換係数が存在するか否かということ、及び以前に処理されたサブセットに、1より大きい値を有する有効変換係数が存在するか否かということにより、4個のコンテクストセットのうち、1つのコンテクストセットを示すコンテクストセット(ctxset)を獲得することができる。また、コンテクストセット獲得部2220は、色差成分の変換単位に含まれた変換係数について、以前に処理されたサブセットに、1より大きい値を有効変換係数が存在するか否かということにのみ基づいて、2個のコンテクストセットのうち、1つのコンテクストセットを示すコンテクストセット(ctxset)を獲得することができる。
段階2530で、コンテクストオフセット獲得部2230は、以前の連続した1の値を有する変換係数の長さに基づいて、前記第1臨界値フラグのエントロピー符号化及びエントロピー復号化に利用されるコンテクストセットに含まれた複数個のコンテクストのうち一つを決定するためのコンテクストオフセットを獲得する。前述のように、コンテクストオフセット獲得部2230は、第1臨界値フラグ(Gtr1 flag)のエントロピー符号化時及びエントロピー復号化時に、現在サブセットに含まれた有効変換係数を、所定スキャン順序によって処理しながら、処理される現在有効変換係数以前に連続した1の値を有する変換係数の長さに基づいて、コンテクストオフセット(c1)を決定することができる。コンテクストオフセット獲得部2230は、第2臨界値フラグ(Gtr2 flag)のエントロピー符号化時及びエントロピー復号化時に利用されるコンテクストオフセット(c2)を、他のパラメータを考慮せずに、常に0の値を有したものであると設定することができる。
段階2540で、コンテクスト決定部2240は、コンテクストセット・インデックス(ctxset)及びコンテクストオフセット(c1)を利用して、第1臨界値フラグ(Gtr1 flag)のエントロピー符号化及びエントロピー復号化に利用される1つのコンテクストを示すコンテクスト・インデックス(ctxIdx1)を獲得する。前述のように、n個のコンテクストセットのうち一つを示すコンテクストセット・インデックス(ctxSet)が、0から(n−1)までの整数であり、m個のコンテクストオフセットのうち一つを示すコンテクストオフセット(c1)が、0から(m−1)までの整数であるとするとき、コンテクスト決定部2240は、次の数式に基づいて、n*m個のコンテクストのうち一つを示すコンテクスト・インデックスctxIdx1を決定することができる。
ctxIdx1=ctxSet*m+c1
また、コンテクスト決定部2240は、第2臨界値フラグ(Gtr2 flag)のエントロピー符号化及びエントロピー復号化に利用される1つのコンテクストを示すコンテクスト・インデックス(ctxIdx2)を、次の数式に基づいて、決定することができる。
ctxIdx2=ctxSet*1+c2
c2の値が0であるので、第2臨界値フラグ(Gtr2 flag)のエントロピー符号化及びエントロピー復号化に利用される1つのコンテクストを示すコンテクスト・インデックス(ctxIdx2)は、ただコンテクストセット・インデックス(ctxSet)の値に基づいて決定される。
図26は、本発明の一実施形態による、変換係数レベルのエントロピー符号化及びエントロピー復号化のためのコンテクストモデル決定方法を、さらに具体的に示したフローチャートである。図26を参照すれば、段階2611で、マッピング部2210は、変換単位を所定サイズのサブセットに分割し、各サブセットに含まれた0ではない有効変換係数を獲得する。
段階2612でコンテクストセット獲得部2220は、コンテクストセットを決定するのに利用されるパラメータのうち、現在サブセットの位置及びカラー成分情報に基づいて、コンテクストセット・インデックス(ctxset)を決定する。例えば、現在サブセットが、変換単位の最左上側に位置したサブセット(subset 0)であるか、あるいは色差成分である場合、ctxsetを0値に設定し、現在サブセットが、変換単位の最左上側に位置したサブセットではなく、かつ輝度成分である場合、ctxsetを2値に設定する。
段階2613で、コンテクストセット獲得部2220は、現在サブセットのすぐ以前に処理された以前サブセットに、第1臨界値より大きい有効変換係数が存在するか否かということを判断する。段階2613の判断結果、以前サブセットに、第1臨界値より大きい有効変換係数が存在する場合、コンテクストセット獲得部2200は、段階2612で設定されたコンテクストセット・インデックス(ctxset)の値を1ほど増加させ、以前サブセットに、第1臨界値より大きい有効変換係数が存在しない場合、コンテクストセット獲得部2200は、段階2612で設定されたコンテクストセット・インデックス(ctxset)の値を維持する。
段階2615で、コンテクストオフセット獲得部2230は、最初に処理される現在サブセットの有効変換係数の第1臨界値フラグ(Gtr1 flag)に適用されるコンテクストオフセット(c1)の値として1を設定する。
段階2616で、コンテクスト決定部2240は、次の数式に基づいて、第1臨界値フラグ(Gtr1 flag)に適用されるコンテクストを示すコンテクスト・インデックス(ctxIdx1)を獲得する。
ctxIdx1=ctxset*4+min(c1,3)
前記数式は、図27A及び図27Bに基づいたものであり、後述する段階2620で、連続した1の値を有する変換係数の長さが判断されるが、コンテクストオフセット・インデックス(c1)は、第1臨界値フラグ(Gtr1 flag)が3個以上連続する場合、3以上の値を有することができる。しかし、図27Bを参照すれば、2個以上の連続した1については、いずれもコンテクストオフセット・インデックス(c1)が2の値を有するように設定されるので、min(c1,3)は、コンテクストオフセット・インデックス(c1)が3より大きくないように制限するためのものである。
段階2617で、レギュラー・コーディング部2132及びレギュラー・デコーディング部2170は、獲得されたコンテクスト・インデックス(ctxIdx1)が示すコンテクストモデルに基づいて、第1臨界値フラグ(Gtr1 flag)をエントロピー符号化またはエントロピー復号化する。
段階2618で、コンテクストオフセット獲得部2230は、現在符号化または現在復号化された第1臨界値フラグ(Gtr1 flag)が0の値を有しながら、コンテクストオフセット・インデックス(c1)が0ではないか否かということを判断する。段階2618の判断過程は、有効変換係数のうち連続した1の個数を判断するためのものである。段階2618の判断結果、現在符号化または現在復号化された第1臨界値フラグ(Gtr1 flag)が0の値を有しながら、コンテクストオフセット・インデックス(c1)が0ではない場合には、段階2620で、コンテクストオフセット・インデックス(c1)の値が1ほど増加する。段階2618の判断結果、現在符号化または現在復号化された第1臨界値フラグ(Gtr1 flag)が0の値を有さないか、あるいはコンテクストオフセット・インデックス(c1)が0である場合には、段階2619で、コンテクストオフセット・インデックス(c1)の値が0に再設定される。
段階2615ないし段階2620は、1つのサブセット内に含まれた変換係数の第1臨界値フラグ(Gtr1 flag)をエントロピー符号化またはエントロピー復号化する過程である。処理過程を高速化するために、全ての有効変換係数に対して、第1臨界値フラグ(Gtr1 flag)をエントロピー符号化またはエントロピー復号化する代わりに、最後の有効変換係数から、所定個数(#)の有効変換係数に対して、第1臨界値フラグ(Gtr1 flag)が、エントロピー符号化またはエントロピー復号化される(max loop#)。対応する第1臨界値フラグ(Gtr1 flag)がエントロピー符号化またはエントロピー復号化されない有効変換係数は、レベル情報がそのままエントロピー符号化またはエントロピー復号化される。
段階2621ないし段階2624は、第2臨界値フラグ(Gtr2 flag)をエントロピー符号化またはエントロピー復号化する過程である。
段階2621で、コンテクストオフセット・インデックス(c1)の値が0であるか否かということが判断される。段階2622で、第2臨界値フラグ(Gtr2 flag)のエントロピー符号化またはエントロピー復号化のために適用されるコンテクストを示すコンテクスト・インデックス(ctxIdx2)は、第1臨界値フラグ(Gtr1 flag)のエントロピー符号化時またはエントロピー復号化時に決定されたコンテクストセット・インデックス(ctxset)と同一に設定される。
段階2623で、レギュラー・コーディング部2132及びレギュラー・デコーディング部2170は、獲得されたコンテクスト・インデックス(ctxIdx2)が示すコンテクストモデルに基づいて、第2臨界値フラグ(Gtr2 flag)をエントロピー符号化またはエントロピー復号化する。
段階2624で、レギュラー・コーディング部2132及びレギュラー・デコーディング部2170は、第2臨界値より大きい値を有する変換係数のレベルを、エントロピー符号化またはエントロピー復号化する。前述のように、当該変換係数から、所定値差し引いたレベル値(level−3)が、エントロピー符号化またはエントロピー復号化される。
図28は、本発明の一実施形態による、図20のサブセットに含まれた変換係数、並びにエントロピー符号化及びエントロピー復号化される変換係数情報を、エントロピー符号化またはエントロピー復号化するのに利用されるコンテクストオフセット・インデックス(c1)を示した表である。前述のように、コンテクストオフセット・インデックス(c1)は、連続した1の値を有する変換係数の長さに基づいて決定されるものであり、図27Bによって獲得されると仮定する。また、図28で、各変換係数の処理順序は、右側から左側への方向であると仮定する。
また、前述のように、第1臨界値フラグ(GTR1)及び第2臨界値フラグ(GTR2)のエントロピー符号化及びエントロピー復号化のためのコンテクストセット・インデックス(ctxset)は、現在サブセットに含まれた変換係数の情報に基づいたものではなく、変換単位のカラー成分情報、現在サブセットの位置、及び現在サブセットより以前に処理されたサブセットに、第1臨界値より大きい値を有する有効変換係数が存在するか否かということに基づいて、決定されたものであると仮定する。
図28を参照すれば、最初に処理されるサブセットの最後の有効変換係数1 2810は、1より大きくないので、第1臨界値フラグ(GTR1)は、0の値を有する。図27Bによって、最初に処理される(initial)有効変換係数の第1臨界値フラグ(GTR1)に係わるコンテクストオフセット(c1)は、1の値に設定される。
次に、最後の有効変換係数2810の次の有効変換係数2820の第1臨界値フラグ(GTR1)に係わるコンテクストオフセット(c1)は、2の値を有する。なぜならば、以前に1個の1の値を有する有効変換係数2810が存在するからである。同様に、次の有効変換係数2830の第1臨界値フラグ(GTR1)に係わるコンテクストオフセット(c1)は、3の値を有する。なぜならば、以前に2個の連続した1の値を有する有効変換係数2810,2820が存在するからである。
有効変換係数2830の第1臨界値フラグ(GTR1)は、1の値を有するので、有効変換係数2830以後の有効変換係数の第1臨界値フラグ(GTR1)に係わるコンテクストオフセット(c1)は、いずれも0の値を有する。なぜならば、前述の図26の段階2618の判断結果、第1臨界値フラグ(GTR1)が1の値を有する場合、段階2619によって、コンテクストオフセット(c1)が0に設定され、以後の全ての有効変換係数に係わるコンテクストオフセット(c1)は、0に設定される。
図29は、本発明の一実施形態による、サブセットに含まれた変換係数、並びにエントロピー符号化及びエントロピー復号化される変換係数情報を、エントロピー符号化またはエントロピー復号化するのに利用されるコンテクストオフセット・インデックス(c1)の他の例を示した表である。図28及び図29を比較すれば、図29の場合、最後の有効変換係数2910が2の値を有し、第1臨界値フラグ(GTR1)が1の値を有するという違いがある。前述のように、最初に処理される(initial)有効変換係数2910の第1臨界値フラグ(GTR1)に係わるコンテクストオフセット(c1)は、1の値に設定され、有効変換係数2910以後の有効変換係数の第1臨界値フラグ(GTR1)に係わるコンテクストオフセット(c1)は、いずれも0の値を有する。
前述の本発明の一実施形態によるコンテクストモデル決定方法及びその装置では、変換単位のカラー成分情報、現在サブセットの位置、及び以前サブセットに、第1臨界値より大きい値を有する有効変換係数が存在するか否かということに基づいて、コンテクストセット・インデックス(ctxset)を獲得し、以前の連続した1の値を有する変換係数の長さに基づいて、コンテクストオフセット(c1)を獲得した。
コンテクスト・インデックスやコンテクストオフセットを決定するための基準は、前述の本発明の一実施形態に限定されるものではなく、変更されてもよい。
一例として、下記表2に図示されているように、発生確率が類似した場合をグループ化し、コンテクストオフセット(c1)が設定される。
表2及び図27Bを比較すれば、表2の場合は、1個の連続した1の変換係数の場合と、2個の連続した変換係数が、1つのコンテクストにマッピングされるようにグループ化された場合とである。また、以前サブセットに含まれた1以上の有効変換係数の個数を基準にグループ化され、以下表3のように、コンテクストセット・インデックス(ctxset)が設定される。
また、現在変換単位が含まれたスライスの類型、現在サブセットの位置、及び以前サブセットに、所定臨界値以上の値を有する変換係数の個数に基づいて、以下の表4ないし6のよう、にコンテクストセット・インデックス(ctxset)が設定される。
表4を参照すれば、一例として、Iスライスに含まれた変換単位のサブセットに具備された変換係数をエントロピー符号化したり、あるいはエントロピー復号化する場合、現在サブセットの位置、以前サブセットに、所定臨界値(T1)以上の値を有する変換係数が0個であるか、1〜4個であるか、あるいは4個を超えるか否かということにより、0〜5の値のうち1つの値が、コンテクストセット・インデックス(ctxset)の値に設定される。
表5を参照すれば、一例として、Pスライスに含まれた変換単位のサブセットに具備された変換係数をエントロピー符号化したり、あるいはエントロピー復号化する場合、現在サブセットの位置、以前サブセットに所定臨界値(T1)以上の値を有する変換係数が0個であるか、1〜3個であるか、あるいは3個を超えるか否かということにより、0〜5の値のうち1つの値が、コンテクストセット・インデックス(ctxset)の値に設定される。
表6を参照すれば、一例として、Bスライスに含まれた変換単位のサブセットに具備された変換係数をエントロピー符号化したり、あるいはエントロピー復号化する場合、現在サブセットの位置、以前サブセットに、所定臨界値(T1)以上の値を有する変換係数が0個であるか、1〜2個であるか、あるいは2個を超えるか否かということにより、0〜5の値のうち1つの値が、コンテクストセット・インデックス(ctxset)の値に設定される。
本発明はまた、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータ・システムによって読み取り可能なデータが保存される全種の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ROM(read only memory)、RAM(random access memory)、CD(compact disc)−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ保存装置などが含まれる。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式で、コンピュータで読み取り可能なコードでもって保存されて実行される。
以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が、本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないであろう。
2200 コンテクスト・モデラ
2210 マッピング部
2220 コンテクストセット獲得部
2230 コンテクストオフセット獲得部
2240 コンテクスト決定部

Claims (3)

  1. ビットストリームから獲得した変換単位の大きさを示す情報を利用して現在変換単位を決定する段階と、
    前記現在変換単位が色差成分である場合、前記現在変換単位に含まれた現在サブブロックの位置に独立して前記現在サブブロックに係わるコンテクストセットを決定する段階と、
    前記現在変換単位が輝度成分である場合、前記現在サブブロックの位置に基づいて前記コンテクストセットを決定する段階と、
    前記現在サブブロックの現在変換係数より以前に復号化された前記現在サブブロックの変換係数が第1臨界値より大きいかを示す第1臨界値情報に基づいて前記現在変換係数に係わるコンテクストオフセットを決定する段階と、
    前記決定されたコンテクストセット及び前記コンテクストオフセットに基づき、前記現在変換係数が第1臨界値より大きいかを示す前記現在変換係数の第1臨界値情報を獲得するためのコンテクストモデルを決定する段階と、
    前記決定されたコンテクストモデルに基づいて前記現在変換係数の第1臨界値情報を復号化する段階と、を含むビデオ復号化方法。
  2. 前記第1臨界値は、1であることを特徴とする請求項1に記載のビデオ復号化方法。
  3. ビットストリームから獲得した変換単位の大きさを示す情報を用いて現在変換単位を決定し、前記現在変換単位が色差成分である場合、前記現在変換単位に含まれた現在サブブロックの位置に独立して、前記現在サブブロックに係わるコンテクストセットを決定し、前記現在変換単位が輝度成分である場合、前記現在サブブロックの位置に基づいて前記コンテクストセットを決定し、前記現在サブブロックの現在変換係数より以前に復号化された前記現在サブブロックの変換係数が第1臨界値より大きいかを示す第1臨界値情報に基づいて前記現在変換係数に係わるコンテクストオフセットを決定し、前記決定されたコンテクストセット及び前記コンテクストオフセットに基づき、前記現在変換係数が第1臨界値より大きいかを示す前記現在変換係数の第1臨界値情報を獲得するためのコンテクストモデルを決定するコンテクストモデラーと、
    前記決定されたコンテクストモデルに基づいて前記現在変換係数の第1臨界値情報を復号化するデコーダと、を含むビデオ復号化装置。
JP2018167221A 2011-10-31 2018-09-06 ビデオ復号化装置 Active JP6595679B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161553668P 2011-10-31 2011-10-31
US61/553,668 2011-10-31
US201261671955P 2012-07-16 2012-07-16
US61/671,955 2012-07-16

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017172416A Division JP6401357B2 (ja) 2011-10-31 2017-09-07 ビデオ復号化方法及びその装置

Publications (2)

Publication Number Publication Date
JP2019017083A JP2019017083A (ja) 2019-01-31
JP6595679B2 true JP6595679B2 (ja) 2019-10-23

Family

ID=48192343

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2014539870A Active JP5934376B2 (ja) 2011-10-31 2012-10-31 変換係数レベルのエントロピー符号化及びエントロピー復号化のためのコンテクストモデル決定方法及びその装置
JP2016093435A Active JP5992644B1 (ja) 2011-10-31 2016-05-06 変換係数レベルのエントロピー符号化及びエントロピー復号化のためのコンテクストモデル決定方法及びその装置
JP2016160060A Active JP6208827B2 (ja) 2011-10-31 2016-08-17 ビデオ復号化方法及びその装置
JP2017172416A Active JP6401357B2 (ja) 2011-10-31 2017-09-07 ビデオ復号化方法及びその装置
JP2018167221A Active JP6595679B2 (ja) 2011-10-31 2018-09-06 ビデオ復号化装置

Family Applications Before (4)

Application Number Title Priority Date Filing Date
JP2014539870A Active JP5934376B2 (ja) 2011-10-31 2012-10-31 変換係数レベルのエントロピー符号化及びエントロピー復号化のためのコンテクストモデル決定方法及びその装置
JP2016093435A Active JP5992644B1 (ja) 2011-10-31 2016-05-06 変換係数レベルのエントロピー符号化及びエントロピー復号化のためのコンテクストモデル決定方法及びその装置
JP2016160060A Active JP6208827B2 (ja) 2011-10-31 2016-08-17 ビデオ復号化方法及びその装置
JP2017172416A Active JP6401357B2 (ja) 2011-10-31 2017-09-07 ビデオ復号化方法及びその装置

Country Status (21)

Country Link
US (5) US9414088B2 (ja)
EP (5) EP3399760B1 (ja)
JP (5) JP5934376B2 (ja)
KR (6) KR101598142B1 (ja)
CN (5) CN107465933B (ja)
AU (1) AU2012333301B2 (ja)
CA (2) CA2854074C (ja)
CY (3) CY1118368T1 (ja)
DK (3) DK3166317T3 (ja)
ES (4) ES2608157T3 (ja)
HR (3) HRP20161726T1 (ja)
HU (3) HUE031315T2 (ja)
IN (1) IN2014MN00900A (ja)
LT (3) LT3145197T (ja)
PL (5) PL3399760T3 (ja)
PT (3) PT3145197T (ja)
RS (3) RS55403B1 (ja)
SI (3) SI3145197T1 (ja)
TR (1) TR201811137T4 (ja)
TW (4) TW201330631A (ja)
WO (1) WO2013066051A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10091529B2 (en) * 2010-07-09 2018-10-02 Samsung Electronics Co., Ltd. Method and apparatus for entropy encoding/decoding a transform coefficient
US10805617B2 (en) * 2012-01-19 2020-10-13 Texas Instruments Incorporated Scalable prediction type coding
US9621921B2 (en) 2012-04-16 2017-04-11 Qualcomm Incorporated Coefficient groups and coefficient coding for coefficient scans
SG10201505418UA (en) * 2012-06-22 2015-08-28 Panasonic Ip Corp America Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
EP2941000B1 (en) * 2012-12-27 2020-11-04 NEC Corporation Video coding device, video coding method, and video coding program
US9225988B2 (en) 2013-05-30 2015-12-29 Apple Inc. Adaptive color space transform coding
US9225991B2 (en) * 2013-05-30 2015-12-29 Apple Inc. Adaptive color space transform coding
WO2015135169A1 (en) * 2014-03-13 2015-09-17 Qualcomm Incorporated Constrained depth intra mode coding for 3d video coding
US9781424B2 (en) * 2015-01-19 2017-10-03 Google Inc. Efficient context handling in arithmetic coding
US9936201B2 (en) * 2015-01-27 2018-04-03 Qualcomm Incorporated Contexts for large coding tree units
US10574993B2 (en) * 2015-05-29 2020-02-25 Qualcomm Incorporated Coding data using an enhanced context-adaptive binary arithmetic coding (CABAC) design
EP3280143A1 (en) * 2016-08-04 2018-02-07 Thomson Licensing A method and an apparatus for image block encoding and decoding
WO2018190595A1 (ko) * 2017-04-13 2018-10-18 엘지전자(주) 비디오 신호를 엔트로피 인코딩, 디코딩하는 방법 및 장치
US10869060B2 (en) * 2018-01-30 2020-12-15 Google Llc Efficient context model computation design in transform coefficient coding
WO2019199838A1 (en) * 2018-04-12 2019-10-17 Futurewei Technologies, Inc. Reducing context switching for coding transform coefficients
US11006150B2 (en) * 2018-09-24 2021-05-11 Tencent America LLC Method and apparatus for video coding
WO2020135371A1 (zh) * 2018-12-24 2020-07-02 华为技术有限公司 一种标志位的上下文建模方法及装置
CN109672690B (zh) * 2019-01-29 2021-02-19 哈尔滨工业大学 一种针对数据幅值范围已知的数据流进行编码的方法
US11949870B2 (en) * 2019-06-21 2024-04-02 Qualcomm Incorporated Context modeling for low-frequency non-separable transformation signaling for video coding
WO2021060829A1 (ko) * 2019-09-23 2021-04-01 주식회사 케이티 비디오 신호 처리 방법 및 장치

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6195465B1 (en) * 1994-09-21 2001-02-27 Ricoh Company, Ltd. Method and apparatus for compression using reversible wavelet transforms and an embedded codestream
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
PT1467491E (pt) 2002-05-02 2007-03-30 Fraunhofer Ges Forschung Codificação aritmética de coeficientes de transformação
US7167522B2 (en) * 2003-02-27 2007-01-23 Texas Instruments Incorporated Video deblocking filter
EP1633290B9 (en) * 2003-06-02 2009-09-02 Warsaw Orthopedic, Inc. Intervertebral disc implants and methods for manufacturing same
US20060078049A1 (en) * 2004-10-13 2006-04-13 Nokia Corporation Method and system for entropy coding/decoding of a video bit stream for fine granularity scalability
US20060153294A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Inter-layer coefficient coding for scalable video coding
EP1836858A1 (en) 2005-01-14 2007-09-26 Sungkyunkwan University Methods of and apparatuses for adaptive entropy encoding and adaptive entropy decoding for scalable video encoding
KR100636229B1 (ko) 2005-01-14 2006-10-19 학교법인 성균관대학 신축형 부호화를 위한 적응적 엔트로피 부호화 및 복호화방법과 그 장치
KR100703776B1 (ko) * 2005-04-19 2007-04-06 삼성전자주식회사 향상된 코딩 효율을 갖는 컨텍스트 기반 적응적 산술 코딩및 디코딩 방법과 이를 위한 장치, 이를 포함하는 비디오코딩 및 디코딩 방법과 이를 위한 장치
KR100763181B1 (ko) * 2005-04-19 2007-10-05 삼성전자주식회사 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를코딩하여 코딩율을 향상시키는 방법 및 장치
KR100746007B1 (ko) * 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
US20090034857A1 (en) * 2005-07-22 2009-02-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US8599925B2 (en) 2005-08-12 2013-12-03 Microsoft Corporation Efficient coding and decoding of transform blocks
CN100403801C (zh) * 2005-09-23 2008-07-16 联合信源数字音视频技术(北京)有限公司 一种基于上下文的自适应熵编/解码方法
KR100873636B1 (ko) * 2005-11-14 2008-12-12 삼성전자주식회사 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치
CN100488254C (zh) * 2005-11-30 2009-05-13 联合信源数字音视频技术(北京)有限公司 一种基于上下文的熵编码方法及解码方法
US8275045B2 (en) 2006-07-12 2012-09-25 Qualcomm Incorporated Video compression using adaptive variable length codes
KR100809301B1 (ko) 2006-07-20 2008-03-04 삼성전자주식회사 엔트로피 부호화/복호화 방법 및 장치
KR101356733B1 (ko) 2007-03-07 2014-02-05 삼성전자주식회사 컨텍스트 기반 적응적 이진 산술 부호화, 복호화 방법 및장치
CN100571391C (zh) * 2007-05-09 2009-12-16 安凯(广州)软件技术有限公司 用于视频编解码系统中解块滤波的并行处理方法
US8428133B2 (en) 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
CN101933331B (zh) * 2007-09-06 2014-04-09 日本电气株式会社 视频编码装置、视频编码方法、视频解码方法
KR20110017719A (ko) 2009-08-14 2011-02-22 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
CN103119849B (zh) * 2010-04-13 2017-06-16 弗劳恩霍夫应用研究促进协会 概率区间分割编码器和译码器
DK3435674T3 (da) * 2010-04-13 2023-08-21 Ge Video Compression Llc Kodning af signifikanskort og transformationskoefficientblokke
US8532413B2 (en) 2010-10-13 2013-09-10 Samsung Electronics Co., Ltd. Entropy encoding/decoding method and apparatus for hierarchical image processing and symbol encoding/decoding apparatus for the same
KR20120038355A (ko) 2010-10-13 2012-04-23 삼성전자주식회사 계층 구조의 영상 처리를 위한 엔트로피 인코딩/디코딩 방법 및 장치와 이를 위한 심볼 인코딩/디코딩 방법 및 장치
US20130003858A1 (en) * 2011-06-30 2013-01-03 Vivienne Sze Simplified Context Selection For Entropy Coding of Transform Coefficient Syntax Elements
US9807426B2 (en) 2011-07-01 2017-10-31 Qualcomm Incorporated Applying non-square transforms to video data
CN102447908B (zh) 2012-01-31 2014-01-08 北京工业大学 一种面向hevc参数编码的上下文简化方法

Also Published As

Publication number Publication date
CN104041052A (zh) 2014-09-10
CN107529060A (zh) 2017-12-29
HRP20161726T1 (hr) 2017-03-10
KR20150060624A (ko) 2015-06-03
KR20150060623A (ko) 2015-06-03
TR201811137T4 (tr) 2018-08-27
KR101598142B1 (ko) 2016-02-26
TWI629895B (zh) 2018-07-11
ES2684480T3 (es) 2018-10-03
EP3145197A1 (en) 2017-03-22
EP3166317A1 (en) 2017-05-10
PT3166317T (pt) 2018-10-08
RS55403B1 (sr) 2017-04-28
US9503752B2 (en) 2016-11-22
PL2773109T3 (pl) 2017-04-28
EP2773109B1 (en) 2016-12-14
RS57600B1 (sr) 2018-11-30
TWI692243B (zh) 2020-04-21
US20150215646A1 (en) 2015-07-30
PL3145197T3 (pl) 2018-10-31
US20150215644A1 (en) 2015-07-30
RS57491B1 (sr) 2018-10-31
DK3145197T3 (en) 2018-08-13
US20140269928A1 (en) 2014-09-18
JP2019017083A (ja) 2019-01-31
SI3166317T1 (sl) 2018-10-30
HRP20181249T1 (hr) 2018-10-05
WO2013066051A1 (ko) 2013-05-10
CN107465934A (zh) 2017-12-12
ES2682991T3 (es) 2018-09-24
PL3166317T3 (pl) 2018-10-31
CN104041052B (zh) 2017-11-14
KR20150060620A (ko) 2015-06-03
ES2868087T3 (es) 2021-10-21
PL3846479T3 (pl) 2024-08-19
CA2854074C (en) 2018-10-23
SI2773109T1 (sl) 2017-01-31
JP5992644B1 (ja) 2016-09-14
LT3166317T (lt) 2018-09-10
DK3166317T3 (en) 2018-08-27
EP3145197B1 (en) 2018-08-01
EP3846479C0 (en) 2024-07-03
PT2773109T (pt) 2016-12-22
CN107465934B (zh) 2020-06-26
DK2773109T3 (da) 2017-01-09
CA3016926A1 (en) 2013-05-10
JP2017017723A (ja) 2017-01-19
JP2018023132A (ja) 2018-02-08
LT2773109T (lt) 2017-01-10
US9414088B2 (en) 2016-08-09
US9532072B2 (en) 2016-12-27
HUE054305T2 (hu) 2021-08-30
CY1120998T1 (el) 2019-12-11
US20150215645A1 (en) 2015-07-30
AU2012333301A1 (en) 2014-06-12
KR20150060621A (ko) 2015-06-03
CN107529060B (zh) 2020-04-21
KR20150060622A (ko) 2015-06-03
CY1118368T1 (el) 2017-06-28
LT3145197T (lt) 2018-08-27
CN107465933A (zh) 2017-12-12
JP2014534768A (ja) 2014-12-18
TWI574550B (zh) 2017-03-11
KR101915253B1 (ko) 2018-11-05
EP3399760A1 (en) 2018-11-07
PT3145197T (pt) 2018-08-10
CY1121004T1 (el) 2019-12-11
JP6401357B2 (ja) 2018-10-10
US9307263B2 (en) 2016-04-05
EP3166317B1 (en) 2018-08-15
EP2773109A4 (en) 2015-05-06
EP3399760B1 (en) 2021-04-07
HRP20181317T1 (hr) 2018-10-19
KR20130047676A (ko) 2013-05-08
JP6208827B2 (ja) 2017-10-04
EP3846479B1 (en) 2024-07-03
US9521430B2 (en) 2016-12-13
EP3846479A1 (en) 2021-07-07
JP5934376B2 (ja) 2016-06-15
SI3145197T1 (sl) 2018-09-28
KR101598145B1 (ko) 2016-02-26
KR101598147B1 (ko) 2016-02-26
TW201330631A (zh) 2013-07-16
HUE031315T2 (en) 2017-07-28
TW201713117A (zh) 2017-04-01
TW201631965A (zh) 2016-09-01
CN107465933B (zh) 2020-05-26
KR101598146B1 (ko) 2016-02-26
ES2608157T3 (es) 2017-04-06
CA3016926C (en) 2020-03-10
JP2016174387A (ja) 2016-09-29
CN107734348A (zh) 2018-02-23
CA2854074A1 (en) 2013-05-10
HUE040408T2 (hu) 2019-03-28
PL3399760T3 (pl) 2021-07-19
US20150215647A1 (en) 2015-07-30
EP2773109A1 (en) 2014-09-03
IN2014MN00900A (ja) 2015-04-17
TW201830962A (zh) 2018-08-16
CN107734348B (zh) 2020-03-24
AU2012333301B2 (en) 2015-01-15
KR101635115B1 (ko) 2016-06-30

Similar Documents

Publication Publication Date Title
JP6595679B2 (ja) ビデオ復号化装置
JP6753916B2 (ja) ビデオ符号化方法、ビデオ符号化装置、ビデオ復号化方法、ビデオ復号化装置及び記録媒体
JP6247354B2 (ja) ビデオ復号化方法及びその装置
KR101945447B1 (ko) 계층적 구조의 데이터 단위를 이용한 엔트로피 부호화 방법 및 장치, 복호화 방법 및 장치
JP2014533058A (ja) ビデオの算術符号化方法及びその装置、並びにビデオの算術復号化方法及びその装置
AU2015201782B2 (en) Method and apparatus for determining a context model for transform coefficient level entropy encoding and decoding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190926

R150 Certificate of patent or registration of utility model

Ref document number: 6595679

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250