JP5824148B2 - 単一化された参照可能性確認過程を介してイントラ予測を伴うビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置 - Google Patents

単一化された参照可能性確認過程を介してイントラ予測を伴うビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置 Download PDF

Info

Publication number
JP5824148B2
JP5824148B2 JP2014518818A JP2014518818A JP5824148B2 JP 5824148 B2 JP5824148 B2 JP 5824148B2 JP 2014518818 A JP2014518818 A JP 2014518818A JP 2014518818 A JP2014518818 A JP 2014518818A JP 5824148 B2 JP5824148 B2 JP 5824148B2
Authority
JP
Japan
Prior art keywords
unit
coding
intra prediction
block
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014518818A
Other languages
English (en)
Other versions
JP2014523701A (ja
Inventor
ヤン，ヒ−チョル
クァック，ヨン−ジン
チェー，クァン−ピョ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2014523701A publication Critical patent/JP2014523701A/ja
Application granted granted Critical
Publication of JP5824148B2 publication Critical patent/JP5824148B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、イントラ予測を伴うビデオ符号化／復号化に関する。
高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化／復号化するビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて制限された符号化方式によって符号化されている。
周波数変換を利用して、空間領域の映像データは、周波数領域の係数に変換される。ビデオコーデックは、周波数変換の迅速な演算のために、映像を所定サイズのブロックに分割し、ブロックごとにＤＣＴ（discrete cosine transformation）変換を行い、ブロック単位の周波数係数を符号化する。空間領域の映像データに比べて、周波数領域の係数は、圧縮しやすい形態を有する。特に、ビデオコーデックのインター予測またはイントラ予測を介して、空間領域の映像画素値は、予測誤差として表現されるので、予測誤差に対して周波数変換が行われれば、多くのデータが０に変換される。ビデオコーデックは、連続して反復的に生じるデータを小サイズのデータに置換することにより、データ量を節減している。
本発明は、イントラ予測を伴い、イントラモードを予測符号化するビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置を提案する。
本発明の一実施形態によるイントラ予測方法は、映像のブロックから、現在ブロックより以前に復元された隣接ブロックを検索する段階と、前記検索された隣接ブロックがイントラモードで復元されたブロックであり、前記現在ブロックのイントラモードが、以前にイントラモードで復元されたブロックだけ参照するＣＩＰ（combined intra prediction）モードであるか否かを確認する段階と、前記確認結果に基づいて、前記検索された隣接ブロックが、前記現在ブロックのイントラ予測のために参照可能な参照ブロックであるか否かを決定する段階と、前記参照可能なブロックとして決定された参照ブロックのサンプル値を利用して、前記現在ブロックに対するイントラ予測を行う段階と、を含む。
現在ブロックのイントラ予測のために、隣接ブロックのうちからイントラ参照ブロックを検索するプロセスを、現在ブロックがＣＩＰモードであるか否かということによって、分離する必要なしに、ＣＩＰモードである場合と、ＣＩＰモードではない場合とのの隣接ブロックの参照可能性確認、及びイントラ参照ブロックの検索動作を単一化することができる。また、イントラ参照ブロックの一部領域が映像境界を外れても、現在ブロックがＣＩＰモードであるか否かということとは係わりなく、映像境界を外れる参照領域を、境界面に隣接している参照可能なピクセルのサンプル値にパッディングするので、現在ブロックがＣＩＰモードである場合と、ＣＩＰモードではない場合とのイントラ予測結果が同一に維持される。
一実施形態によるイントラ予測装置のブロック図である。 ＣＩＰモードによるイントラ予測動作を図示する図面である。 ＣＩＰモードによるイントラ予測動作を図示する図面である。 従来のＣＩＰモードによって、参照可能性を確認する動作のフローチャートである。 一実施形態によって、ＣＩＰモードと係わりなく、参照可能性を確認する動作のフローチャートである。 一実施形態によるイントラ予測方法のフローチャートである。 一実施形態によるイントラ予測を伴うビデオ符号化方法を示すフローチャートである。 一実施形態によるイントラ予測を伴うビデオ復号化方法を示すフローチャートである。 一実施形態によるツリー構造による、符号化単位に基づいたビデオ符号化装置のブロック図である。 一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及びパーティションを図示する図面である。 本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図面である。
本発明の一実施形態によるイントラ予測方法は、映像のブロックから、現在ブロックより以前に復元された隣接ブロックを検索する段階と、前記検索された隣接ブロックがイントラモードで復元されたブロックであり、前記現在ブロックのイントラモードが、以前にイントラモードで復元されたブロックだけ参照するＣＩＰ（combined intra prediction）モードであるか否かを確認する段階と、前記確認結果に基づいて、前記検索された隣接ブロックが、前記現在ブロックのイントラ予測のために参照可能な参照ブロックであるか否かを決定する段階と、前記参照可能なブロックとして決定された参照ブロックのサンプル値を利用して、前記現在ブロックに対するイントラ予測を行う段階と、を含む。
一実施形態によって、前記隣接ブロックを検索する段階は、前記現在ブロックの予測モードが、前記ＣＩＰモードのイントラモードであるか否かを判断する前に、前記現在ブロックより以前に復元された隣接ブロックを検索する段階を含み、前記ＣＩＰモードであるか否かを確認する段階は、前記検索された隣接ブロックごとに、それぞれのブロックがイントラモードで復元され、前記現在ブロックのイントラモードが、前記ＣＩＰモードであるか否かを確認する段階を含む。
一実施形態によって、前記イントラ予測を行う段階は、前記参照ブロックが前記映像の境界を外れる場合、前記参照ブロックのピクセルのうち、前記境界面内部に隣接したピクセルのサンプル値で、前記映像の境界を外れる領域をパッディングする段階を含む。
一実施形態によって、前記イントラ予測を行う段階は、前記現在ブロックのイントラモードが、前記ＣＩＰモードであるか否かということと係わりなく、前記参照ブロックが前記映像の境界を外れる場合、前記参照ブロックのピクセルのうち、前記境界面内部に隣接したピクセルのサンプル値で、前記映像の境界を外れる領域をパッディングする段階を含む。

本発明の一実施形態によるイントラ予測装置は、映像のブロックから、現在ブロックより以前に復元された隣接ブロックを検索し、前記検索された隣接ブロックがイントラモードで復元されたブロックでありながら、前記現在ブロックのイントラモードが、イントラモードで前もって復元されたブロックだけ参照するＣＩＰモードであるか否かを確認した結果に基づいて、前記検索された隣接ブロックが、前記現在ブロックのイントラ予測のために参照可能な参照ブロックであるか否かを決定するイントラ参照ブロック決定部と、前記参照ブロックのサンプル値を利用して、前記現在ブロックに対するイントラ予測を行うイントラ予測部と、を含む。
本発明の一実施形態によるビデオ復号化装置は、受信されたビットストリームからパージングされたビット列に対して、エントロピ復号化を行ってサンプルを復元するパージング部と、前記復元されたサンプルのうち量子化された変換係数に対して逆量子化及び逆変換を行ってサンプルを復元する逆変換部と、前記サンプルから、イントラモードである現在ブロックをイントラ予測のために、前記現在ブロックより以前に復元された隣接ブロックを検索し、前記検索された隣接ブロックがイントラモードで復元されたブロックありながら、現在ブロックのイントラモードが、イントラモードで以前に復元された隣接ブロックだけ参照するＣＩＰモードであるか否かを確認した結果に基づいて、前記検索された隣接ブロックが、現在ブロックのイントラ予測のために参照可能な参照ブロックであるか否かを決定し、前記参照ブロックのサンプル値を利用して、前記現在ブロックに対するイントラ予測を行うイントラ予測部と、前記サンプルのうち、インター予測モードのブロックに対して動き補償を行う動き補償部と、前記インター予測または前記イントラ予測を介して復元されたブロックを利用して、映像を復元する復元部と、を含む。
本発明の一実施形態によるビデオ符号化装置は、ビデオのブロックから、イントラモードである現在ブロックをイントラ予測のために、前記現在ブロックより以前に復元された隣接ブロックを検索し、前記検索された隣接ブロックがイントラモードで復元されたブロックでありながら、現在ブロックのイントラモードがイントラモードで復元された隣接ブロックだけ参照するＣＩＰモードであるか否かを確認した結果に基づいて、前記検索された隣接ブロックが、現在ブロックのイントラ予測のために参照可能な参照ブロックであるか否かを決定し、前記参照ブロックのサンプル値を利用して、前記現在ブロックに対するイントラ予測を行うイントラ予測部と、前記ブロックのうち、インター予測モードであるブロックに対してインター予測を行うインター予測部と、前記イントラ予測または前記インター予測の遂行結果に対して、変換及び量子化を行う変換量子化部と、前記変換及び量子化の結果として生成された量子化された変換係数を含むサンプルに対してエントロピ符号化を行い、生成されたビットストリームを出力する出力部と、を含む。
本発明は、一実施形態によるイントラ予測方法を電算的に具現するプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。
以下、図１ないし図５を参照し、一実施形態による、イントラモードによって参照可能性を統合的に確認するイントラ予測方法及びイントラ予測装置を開示する。また、図６Ａ及び図６Ｂを参照し、一実施形態によるイントラ予測を伴うビデオ符号化技法及びビデオ復号化技法を開示する。また、図７ないし図１９を参照し、一実施形態によるツリー構造の符号化単位に基づいて、一実施形態による、イントラ予測を伴うビデオ符号化技法及びビデオ復号化技法を開示する。以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそのものを示す。
まず、図１ないし図５を参照し、一実施形態による、イントラモードによって単一化された方式によって、参照可能性を確認するイントラ予測方法及びイントラ予測装置を開示する。また、一実施形態による、イントラ予測を伴うビデオ符号化技法及びビデオ復号化技法を開示する。
図１は、一実施形態によるイントラ予測装置１０のブロック図を図示している。一実施形態によるイントラ予測装置１０は、イントラ参照ブロック決定部１２及びイントラ予測部１４を含む。
一実施形態によるイントラ予測装置１０は、ビデオのそれぞれの映像のブロック別に符号化する。ブロックのタイプは、正方形または長方形でもあり、任意の幾何学的形態でもある。一定サイズのデータ単位に制限されるものではない。一実施形態によるブロックは、ツリー構造による符号化単位のうち、最大符号化単位、符号化単位、予測単位、変換単位などでもある。ツリー構造による符号化単位に基づいたビデオ符号化／復号化方式については、図７ないし図１９を参照して後述する。
一実施形態によるイントラ参照ブロック決定部１２は、現在ブロックに隣接する隣接ブロックから、現在ブロックより以前に復元された隣接ブロックを検索する。現在ブロックに対するイントラ予測のためには、現在ブロックより以前に復元された隣接ブロックが参照されもする。
ＣＩＰ（combined intra prediction）モードによるイントラ予測は、イントラモードで以前に復元されたブロックだけ参照することができる。イントラ参照ブロック決定部１２は、以前に復元された隣接ブロックがイントラモードで復元されたブロックであり、それと同時に、現在ブロックのイントラモードがＣＩＰモードであるか否かを確認する。すなわち、一実施形態によるイントラ参照ブロック決定部１２は、現在ブロックのイントラモードがＣＩＰモードであるか否かを判断する前に、現在ブロックより以前に復元された隣接ブロックを検索することができる。イントラ参照ブロック決定部１２は、現在ブロックより先に復元された隣接ブロックを検索した後、隣接ブロックごとに、イントラモードで復元されたブロックありながら、現在ブロックがＣＩＰモードのブロックであるか否かを確認することができる。
イントラ参照ブロック決定部１２は、検索された隣接ブロックがイントラモードで復元されたブロックであり、現在ブロックがＣＩＰモードであるか否かを確認した結果に基づいて、当該隣接ブロックが、現在ブロックのイントラ予測のために参照可能な参照ブロックであるか否かを決定することができる。
例えば、検索された隣接ブロックが、イントラモードで復元されたブロックであり、同時に現在ブロックがＣＩＰモードであるならば、イントラ参照ブロック決定部１２は、当該隣接ブロックが、現在ブロックのイントラ予測のために参照可能な参照ブロックであると決定することができる。
また、検索された隣接ブロックが、イントラモードで復元されたブロックではないか、あるいは現在ブロックがＣＩＰモードではないならば、イントラ参照ブロック決定部１２は、当該隣接ブロックが、現在ブロックのイントラ予測のために参照可能な参照ブロックではないと決定することができる。
イントラ予測部１４は、参照ブロックのサンプル値を利用して、現在ブロックに対するイントラ予測を行うことができる。イントラ予測部１４は、参照ブロックが映像の境界を外れる場合、参照ブロックのピクセルのうち、境界面内部に隣接したピクセルのサンプル値で、映像の境界を外れる領域をパッディングすることができる。すなわち、映像の境界を外れる領域を、境界面内部に隣接したピクセルのサンプル値で充填することができる。
イントラ予測部１４は、現在ブロックのイントラモードがＣＩＰモードであるか否かということと係わりなく、参照ブロックが映像の境界を外れるならば、参照ブロックのピクセルのうち、境界面内部に隣接したピクセルのサンプル値で、映像の境界を外れる領域をパッディングすることができる。
イントラ予測部１４は、パッディングされた領域を参照し、現在ブロックのためのイントラ予測を行うことができる。
一実施形態によるイントラ予測装置１０は、イントラ参照ブロック決定部１２及びイントラ予測部１４を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、イントラ参照ブロック決定部１２及びイントラ予測部１４が、それぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することにより、イントラ予測装置１０が全体的に作動するようにもなる。または、一実施形態によるイントラ予測装置１０の外部プロセッサ（図示せず）の制御によって、イントラ参照ブロック決定部１２及びイントラ予測部１４が制御されもする。
一実施形態によるイントラ予測装置１０は、イントラ参照ブロック決定部１２及びイントラ予測部１４の入出力データが保存される一つ以上のデータ保存部（図示せず）を含んでもよい。イントラ予測装置１０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。
一実施形態によるイントラ予測装置１０によれば、現在ブロックがＣＩＰモードであるか否かということと係わりなく、隣接ブロックが、現在ブロックより先に復元されたブロックであるか否かを確認することができるので、（ｉ）現在ブロックがＣＩＰモードである場合、イントラ参照ブロックを検索するプロセスと、（ｉｉ）現在ブロックがＣＩＰモードに、イントラ参照ブロックを検索するプロセスを分離する必要がないので、現在ブロックのイントラ参照ブロックを検索するプロセスを単一化することができるので、プロセスの複雑度が低くなる。
また、イントラ参照ブロックの一部領域が映像境界を外れても、現在ブロックがＣＩＰモードであるか否かということと係わりなく、映像境界を外れる参照領域を、境界面に隣接している参照可能なピクセルのサンプル値でパッディングするので、現在ブロックがＣＩＰモードである場合のイントラ予測結果と、ＣＩＰモードではない場合のイントラ予測結果とが同一に維持される。
図２Ａ及び図２Ｂは、ＣＩＰモードによるイントラ予測動作を図示している。
現在ブロック２０の一例は、ツリー構造による符号化単位の予測のためのデータ単位である予測単位（ＰＵ：prediction unit）である。ツリー構造による符号化単位及び予測単位は、図７及び図１９を参照して後述する。以下、予測単位のイントラ予測を開示するとしても、他形態のブロックを利用したイントラ予測も可能である。現在ブロック２０のイントラ予測のためには、現在ブロック２０に隣接した左側、上端、左側下端及び右側上端のサンプル２８，２３を参照することができる。従って、現在ブロック２０のイントラ予測のための参照サンプルを決定するために、現在ブロック２０に隣接したサンプルのうち、すでに復元されて参照可能なサンプル２８，２３が検索される。
現在ブロック２０がＣＩＰモードでイントラ予測される場合には、最小ブロックである最小予測単位サイズ単位２２のサンプルごとに、イントラ予測のために参照可能であるか否かが確認される。現在ブロック２０がＣＩＰモードではない状態で、イントラ予測される場合には、現在ブロックである予測単位サイズ単位２１のサンプルごとに、イントラ予測のために参照可能であるか否かが確認される。
従って、現在ブロック２０が、ＣＩＰモードまたはＣＩＰモードではない状態で、イントラ予測されるかということにより、現在ブロック２０の右側上端に位置した右側上端サンプル２３に対する参照可能性は、異なりもする。
現在ブロック２０がＣＩＰモードではない場合には、右側上端サンプル２３が、イントラモードで復元されたサンプルであるとしても、映像境界２５を外れる外部領域２６を参照したイントラ予測は、不可能である。
ＣＩＰモードではない場合、現在ブロックサイズ２１に該当する右側上端サンプル２３の全体に対して参照可能性が判断されるので、映像境界２５の内部に位置する内部領域２４は、すでに復元されたサンプルであるとしても、映像境界２５を外れる外部領域２６は、参照されない領域であるので、右側上端サンプル２３は、いずれも参照されないサンプルであると判断される。そのような場合には、参照可能なサンプル２８のうち、右側上端サンプル２３に最も隣接したサンプル２７で、右側上端サンプル２３がいずれも置換される。
ＣＩＰモードである場合には、右側上端サンプル２３において、最小ブロックサイズ２２に該当する領域別、すなわち、内部領域２４及び外部領域２６の別に参照可能性が判断される。映像境界２５を外れる外部領域２６が参照されない領域であるとしても、内部領域２４は、参照可能なサンプルであると判断される。そのような場合には、内部領域２４のうち、外部領域２６に最も隣接したサンプル２９で、外部領域２６が置換される。
従って、現在ブロック２０がＣＩＰモードであるか否かにより、現在ブロック２０のイントラ予測のための参照可能性を判断する隣接サンプル２２，２４，２６，２８のサイズ単位２１，２２も異なり、映像境界２５を外れる外部領域２６に対するパッディング方式も変わる。従って、現在ブロック２０がＣＩＰモードであるか否かということによって、イントラ予測方式が変わり、イントラ予測結果が変わりもする。
図３は、従来のＣＩＰモードによって、参照可能性を確認する動作３０のフローチャートを図示している。
段階３１で、現在ブロックのイントラモードがＣＩＰモードであるか否かが決定される。ビデオ復号化過程では、「Constrained＿intra＿ｐｒｅｄ」情報を、映像ヘッダからパージングし、「Constrained＿intra＿ｐｒｅｄ」情報に基づいて、現在映像に含まれたブロックのイントラモードが、ＣＩＰモードであるか否かを決定することができる。例えば、現在ピクチャに係わる「Constrained＿intra＿ｐｒｅｄ」情報は、ＰＰＳ（picture parameter set）からパージングされる。ビデオ符号化過程では、「Constrained＿intra＿ｐｒｅｄ」情報をＰＰＳに記録して伝送することができる。「Constrained＿intra＿ｐｒｅｄ」情報に基づいて、当該ピクチャのイントラブロックがＣＩＰモードで予測されるか否かが決定される。
従来のＣＩＰモードによって参照可能性を確認する動作３０は、段階３１で、現在ブロックがＣＩＰモードであると決定されれば、ＣＩＰモードのための参照可能性確認動作「Available＿check＿for＿ｃｉｐ（）」（段階３５）に進み、現在ブロックがＣＩＰモードではないと決定されれば、ＣＩＰモードではない場合のための参照可能性確認動作「Available＿check＿intra（）」（段階３７）に進む。
以下、図３及び図４のフローチャートで、インデックスｉは、隣接ブロックのインデックスを示し、「Is＿intra（ｉ）」は、インデックスｉである隣接ブロックがイントラモードであるか否かを判断する動作を示し、「available（ｉ）」は、インデックスｉである隣接ブロックが、現在ブロックより先に復元されたブロックであるか否かを判断する動作を示す。「ａｖａｉｌ＿intra＿ｐｒｅｄ［ｉ］」は、インデックスｉである隣接ブロックが、現在ブロックのためのイントラ参照ブロックであるか否かを示す変数である。「ｍａｘ＿ｃａｎｄ＿block＿ｃｉｐ」及び「ｍａｘ＿ｃａｎｄ＿block」は、それぞれＣＩＰモードによるイントラ予測、及びＣＩＰモードではない場合のイントラ予測のための候補参照ブロックの最大個数を示す。
再び、図３のフローチャート３０による参照可能性動作について説明する。ＣＩＰモードのための参照可能性確認動作（Available＿check＿for＿ｃｉｐ（）（段階３５））で、インデックスｉの順序によって、隣接ブロックがイントラ参照ブロックであるか否かを判断する。段階３５１で、隣接ブロックインデックスが初期化され（ｉ＝０）、段階３５２で、隣接ブロックｉが、現在ブロックより先に復元されたイントラブロックであるか否かを判断する（Is＿intra（ｉ）＆＆available（ｉ））。
段階３５２で、隣接ブロックｉが、現在ブロックより先に復元されたイントラブロックであると決定されれば、段階３５３で、隣接ブロックｉは、現在ブロックのためのイントラ参照ブロックと決定される（ａｖａｉｌ＿intra＿ｐｒｅｄ［ｉ］＝TRUE）。段階３５２で、隣接ブロックｉが、現在ブロックより先に復元されたイントラブロックではないと決定されれば、段階３５４で、隣接ブロックｉは、現在ブロックのためのイントラ参照ブロックではないと決定される（ａｖａｉｌ＿intra＿ｐｒｅｄ［ｉ］＝FALSE）。
段階３５５で、次の順序の隣接ブロックの参照可能性を確認するために、ブロックインデックスｉが増える。段階３５６で、ブロックインデックスｉが、ＣＩＰモードによるイントラ予測のための候補参照ブロックの最大個数（ｍａｘ＿ｃａｎｄ＿block＿ｃｉｐ）に達しなければ、次の順序の隣接ブロックの参照可能性を確認するために、段階３５２に戻り、ブロックインデックスｉが、候補参照ブロックの最大個数（ｍａｘ＿ｃａｎｄ＿block＿ｃｉｐ）に達すれば、参照可能性確認動作（段階３５）を完了する。
ＣＩＰモードではないイントラ予測のための参照可能性確認動作（Available＿check＿intra（）（段階３７））でも、ＣＩＰモードによる参照可能性確認動作（段階３５）と類似した過程が進められる。段階３７１で、隣接ブロックインデックスが初期化され（ｉ＝０）、段階３７２で、隣接ブロックｉが、現在ブロックより先に復元されたブロックであるか否かを判断する（available（ｉ））。ただし、段階３５２とは異なり、段階３７２では、隣接ブロックｉがイントラモードで復元されたか否かは確認しない。段階３７２の結果に基づいて、段階３７３及び段階３７４で、隣接ブロックｉは、現在ブロックのためのイントラ参照ブロックであるか否かが決定される。
段階３７５で、ブロックインデックスｉが増え、段階３７６で、ブロックインデックスｉが、イントラ予測のための候補参照ブロックの最大個数（ｍａｘ＿ｃａｎｄ＿block）に達するか否かにより、次の隣接ブロックに対して、さらに参照可能性を確認するか、あるいは参照可能性確認動作（段階３７）を完了する。
従って、ＣＩＰモードによる参照可能性確認動作（段階３５）と、ＣＩＰモードではない場合の参照可能性確認動作（段階３７）は、実際にほぼ類似の動作にもかかわらず、現在ブロックがＣＩＰモードであるか否かを判断した後、類似の動作を個別的に遂行するので、イントラ予測動作の効率性が低下する。
また、それぞれの隣接ブロックの参照可能性確認動作（段階３５、段階３７）が完了した後、参照不可領域に対するパッディング処理（段階３８、段階３９）が遂行される。
前述のように、参照ブロックの一部領域が映像境界を外れる場合、ＣＩＰモードである場合と、ＣＩＰモードではない場合とにより、参照ブロックにおいて、映像境界の外部領域に対するパッディング方式が異なる。すなわち、段階３８で、ＣＩＰモードによるイントラ予測のためには、参照ブロックの境界内部領域において、境界に最も隣接したサンプルで、境界外部領域がパッディングされる。一方、段階３９では、一部領域でも映像境界を外れる第１参照ブロックのサンプルは、第１参照ブロックに最も隣接しており、全てのサンプルが参照可能な第２参照ブロックのサンプルでパッディングされる。
従って、現在ブロックが、ＣＩＰモードブロックであるか否かということにより、映像境界近辺の参照ブロックに対するパッディング方式が異なるので、イントラ予測結果も異なりもする。
一方、一実施形態によるイントラ予測装置１０は、ＣＩＰモードと係わりなく、隣接ブロックの参照可能性、及びイントラ参照ブロックを決定することができる。図４は、一実施形態による、ＣＩＰモードと係わりなく、参照可能性を確認する動作４０のフローチャートを図示している。
一実施形態による参照可能性確認動作（Available＿check＿intra（）（段階４０））によれば、ＣＩＰモードと係わりなく、現在ブロックのためのイントラ参照ブロックが始まる。
段階４１で、隣接ブロックインデックスが初期化され（ｉ＝０）、段階４２で、隣接ブロックｉが、先に復元されたブロックであるか否かを判断することができる（available（ｉ））。
段階４２で、隣接ブロックｉが、まだ復元されていないブロックであると決定されれば、段階４５で、隣接ブロックｉは、現在ブロックのためのイントラ参照ブロックではないと決定される（ａｖａｉｌ＿intra＿ｐｒｅｄ［ｉ］＝FALSE）。
段階４２で、隣接ブロックｉが、現在ブロックより先に復元されたブロックであると決定されれば、段階４３で、隣接ブロックｉは、イントラモードで復元されたブロックではなく、同時に現在ブロックのイントラモードは、ＣＩＰモードであるか否かを判断する（！（Is＿intra（ｉ））＆＆Constrained＿intra＿ｐｒｅｄ）。
段階４３で、隣接ブロックｉが、イントラブロックではなく、現在ブロックがＣＩＰモードであると決定されれば、段階４５で、隣接ブロックｉは、現在ブロックのためのイントラ参照ブロックではないと決定される（ａｖａｉｌ＿intra＿ｐｒｅｄ［ｉ］＝FALSE）。残りの場合、段階４３で、隣接ブロックｉがイントラブロックであるか、あるいは現在ブロックがＣＩＰモードではないと決定される場合には、段階４４で、隣接ブロックｉは、現在ブロックのためのイントラ参照ブロックであると決定される（ａｖａｉｌ＿intra＿ｐｒｅｄ［ｉ］＝TRUE）。すなわち、隣接ブロックｉが、イントラブロックであるか否かということとは係わりなく、現在ブロックがＣＩＰモードではない場合には、隣接ブロックｉが、現在ブロックのためのイントラ参照ブロックになる。また、現在ブロックがＣＩＰモードではないが、隣接ブロックｉがイントラブロックである場合にも、隣接ブロックｉは、現在ブロックのためのイントラ参照ブロックであると決定される。
段階４６で、次の順序の隣接ブロックの参照可能性を確認するために、ブロックインデックスｉが増える。段階４７で、ブロックインデックスｉがＣＩＰモードによるイントラ予測のための候補参照ブロックの最大個数（ｍａｘ＿ｃａｎｄ＿block＿ｃｉｐ）に達しなければ、次の順序の隣接ブロックの参照可能性を確認するために、段階４２に戻り、ブロックインデックスｉが、候補参照ブロックの最大個数（ｍａｘ＿ｃａｎｄ＿block＿ｃｉｐ）に達すれば、参照可能性確認動作４０を完了する。
また、それぞれの隣接ブロックの参照可能性確認動作４０が完了した後、参照不可領域に対するパッディング処理（段階４９）が遂行される。前述のように、参照ブロックの一部領域が映像境界を外れる場合、参照ブロックの境界内部領域のうち、境界に最も隣接したサンプルで境界外部領域がパッディングされる。
従って、図３及び図４を参照し、従来の参照可能性確認動作と、一実施形態による参照可能性確認動作とを比較すれば、一実施形態によるイントラ予測装置１０は、現在ブロックがＣＩＰモードであるか否かということと係わりなく、隣接ブロックが、現在ブロックより先に復元されたブロックであるか否かを確認することにより、隣接ブロックのうちイントラ参照ブロックを検索するプロセスを、現在ブロックがＣＩＰモードであるか否かということによって分離する必要がない。従って、イントラ予測装置１０は、ＣＩＰモードによるイントラ予測を選択的に行うとしても、ＣＩＰモードである場合と、ＣＩＰモードではない場合との隣接ブロックの参照可能性確認、及びイントラ参照ブロックの検索動作を単一化することができる。
また、イントラ参照ブロックの一部領域が映像境界を外れても、現在ブロックが、ＣＩＰモードであるか否かということと係わりなく、映像境界を外れる参照領域を、境界面に隣接している参照可能なピクセルのサンプル値でパッディングするので、現在ブロックがＣＩＰモードである場合と、ＣＩＰモードではない場合とのイントラ予測結果が同一に維持される。
図５は、一実施形態によるイントラ予測方法のフローチャートを図示している。段階５１で、現在ブロックのイントラ予測のために、現在ブロックより以前に復元された隣接ブロックが検索される。段階５３で、検索された隣接ブロックが、イントラモードで復元されたブロックありながら、現在ブロックがＣＩＰモードであるか否かが確認される。
段階５１で、現在ブロックのイントラモードが、ＣＩＰモードであるか否かを判断する前に、まず現在ブロックより以前に復元された隣接ブロックが検索される。段階５３では、段階５１で検索された隣接ブロックごとに、それぞれの隣接ブロックがイントラブロックありながら、現在ブロックがＣＩＰモードのイントラブロックであるか否かが確認される。
段階５５で、段階５２の確認結果に基づいて、段階５１で検索された隣接ブロックが、現在ブロックのイントラ予測のための参照ブロックであるか否かが決定される。
段階５７で、段階５５で参照可能なブロックとして決定された参照ブロックのサンプル値を利用して、現在ブロックに対するイントラ予測が行われる。
参照ブロックが映像の境界を外れる場合には、参照ブロックのピクセルのうち、境界面内部に隣接したピクセルのサンプル値で、映像の境界を外れる領域がパッディングされる。特に、現在ブロックがＣＩＰモードであるか否かということと係わりなく、参照ブロックのピクセルのうち、境界面内部に隣接したピクセルのサンプル値で、映像の境界を外れる領域がパッディングされる。
図６Ａは、一実施形態によるイントラ予測を伴うビデオ符号化方法を示すフローチャートを図示する。
段階６１では、一実施形態によるイントラ予測方式により、ビデオのブロックから、イントラモードである現在ブロックをイントラ予測のために、現在ブロックより以前に復元された隣接ブロックが検索される。
検索された隣接ブロックが、イントラモードで復元されたイントラブロックでありながら、現在ブロックがＣＩＰモードであるか否かが確認される。隣接ブロックが、現在ブロックより先に復元されたイントラブロックありながら、現在ブロックがＣＩＰモードであるか否かに基づいて、隣接ブロックが、現在ブロックのためのイントラ参照ブロックであるか否かが決定される。イントラ参照ブロックのサンプル値を利用して、現在ブロックに対するイントラ予測が行われる。
段階６２で、ブロックのうち、インター予測モードであるブロックに対して、インター予測が行われ、残差情報が生成される。段階６３で、イントラ予測またはインター予測の遂行結果に対して、変換及び量子化が行われ、量子化された変換係数が生成される。段階６５で、段階６３の量子化された変換係数を含むサンプルに対して、エントロピ符号化を行い、生成されたビットストリームが出力される。
特に、段階６１のイントラ予測時、現在ブロックの予測モードが、ＣＩＰモードのイントラモードであるか否かを判断する前に、現在ブロックより以前に復元された隣接ブロックが検索される。現在ブロックより先に復元された隣接ブロックごとに、イントラブロックでありながら、現在ブロックが、ＣＩＰモードであるか否かを確認する。
また、段階６１のイントラ予測時、現在ブロックのイントラモードが、ＣＩＰモードであるか否かということと係わりなく、参照ブロックが、映像の境界を外れる場合には、参照ブロックのピクセルのうち、境界面内部に隣接したピクセルのサンプル値で、映像の境界の外部領域がパッディングされ、参照サンプルとして利用される。
図６Ａによるビデオ符号化方法を遂行するビデオ符号化装置は、一実施形態によるイントラ予測装置１０を含んでもよい。一実施形態によるイントラ予測装置１０を含むビデオ符号化装置は、映像ブロック別に、イントラ予測、インター予測、変換、量子化を行ってサンプルを生成し、サンプルに対して、エントロピ符号化を行ってビットストリーム状に出力することができる。一実施形態によるイントラ予測装置１０を含むビデオ符号化装置は、ビデオ符号化結果を出力するために、イントラ予測装置１０は、ビデオ符号化装置内部に搭載されたビデオエンコーディング・プロセッサまたは外部ビデオエンコーディング・プロセッサと連繋して作動することにより、変換を含んだビデオ符号化動作を遂行することができる。一実施形態による前記ビデオ符号化装置の内部ビデオエンコーディング・プロセッサは、別個のプロセッサだけではなく、ビデオ符号化装置、中央演算装置またはグラフィック演算装置が、ビデオエンコーディング・プロセッシング・モジュールを含むことにより、基本的なビデオ符号化動作を具現する場合も含む。
図６Ｂは、一実施形態によるイントラ予測を伴うビデオ復号化方法を示すフローチャートを図示している。
段階６５で、受信されたビットストリームからパージングされたビット列に対して、エントロピ復号化が行われ、サンプルが復元される。段階６６で、サンプルのうち量子化された変換係数に対して、逆量子化及び逆変換が行われ、サンプルが復元される。段階６７で、イントラモードのサンプルに対してイントラ予測を行い、段階６８で、インターモードのサンプルに対して、動き補償が行われる。段階６９で、段階６８のインター予測、または段階６９のイントラ予測を介して復元されたブロックを利用して、映像が復元される。
段階６７で、サンプルから、イントラモードである現在ブロックをイントラ予測のために、現在ブロックより以前に復元された隣接ブロックが検索される。
検索された隣接ブロックが、イントラモードで復元されたイントラブロックでありながら、現在ブロックがＣＩＰモードであるか否かが確認される。隣接ブロックが、現在ブロックより先に復元されたイントラブロックありながら、現在ブロックがＣＩＰモードであるか否かに基づいて、隣接ブロックが、現在ブロックのためのイントラ参照ブロックであるか否かが決定される。イントラ参照ブロックのサンプル値を利用して、現在ブロックに対するイントラ予測が行われる。
段階６７では、段階６５で、ビットストリームからパージングされた現在映像のＣＩＰモード情報に基づいて、現在ブロックの予測モードがＣＩＰモードのイントラモードであるか否かが判断される。現在ブロックの予測モードが、ＣＩＰモードのイントラモードであるか否かを判断する前に、現在ブロックより以前に復元された隣接ブロックが検索される。現在ブロックより先に復元された隣接ブロックごとに、イントラブロックありながら、現在ブロックがＣＩＰモードであるか否かを確認する。
また、段階６７のイントラ予測時、現在ブロックのイントラモードが、ＣＩＰモードであるか否かということと係わりなく、参照ブロックが映像の境界を外れる場合には、参照ブロックのピクセルのうち、境界面内部に隣接したピクセルのサンプル値で、映像の境界の外部領域がパッディングされる。
図６Ｂによるビデオ復号化方法を遂行するビデオ復号化装置は、一実施形態によるイントラ予測装置１０を含んでもよい。一実施形態によるイントラ予測装置１０を含むビデオ復号化装置は、ビットストリームから符号化されたサンプルをパージングし、映像ブロック別に、逆量子化、逆変換、イントラ予測、動き補償を行い、サンプルを復元することができる。一実施形態によるビデオ復号化装置は、ビデオ復号化結果を出力するために、イントラ予測装置１０は、ビデオ復号化装置内部に搭載されたビデオデコーディング・プロセッサまたは外部ビデオデコーディング・プロセッサと連繋して作動することにより、逆変換、予測／補償を含んだビデオ復号化動作を遂行することができる。一実施形態によるビデオ復号化装置の内部ビデオデコーディング・プロセッサは、別個のプロセッサだけでなく、ビデオ復号化装置、中央演算装置またはグラフィック演算装置が、ビデオデコーディング・プロセッシング・モジュールを含むことにより、基本的なビデオ復号化動作を具現する場合も含む。
一実施形態によるイントラ予測装置１０で、ビデオデータが分割されるブロックがツリー構造の符号化単位に分割され、符号化単位に対するイントラ予測のための予測単位が利用される場合があるということは、すでに説明した通りである。以下、図７ないし図１９を参照し、一実施形態によるツリー構造の符号化単位及び変換単位に基づいたビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置を開示する。
図７は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置１００のブロック図を図示している。
一実施形態によって、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、「ビデオ符号化装置１００」と縮約する。
最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６のようなデータ単位であり、縦横に大きさが２の自乗である正方形のデータ単位でもある。映像データは、少なくとも１つの最大符号化単位別に、符号化単位決定部１２０に出力される。
一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位であると定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。
前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によって階層的に分類される。
最大符号化単位の高さ及び幅を階層的に分割することができる全回数を制限する最大深度及び符号化単位の最大サイズが事前に設定されている。
符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が生じる深度を選択し、符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。
最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。
最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一の深度の符号化単位としても、それぞれのデータに係わる符号化誤差を測定して下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。従って、１つの最大符号化単位について、符号化深度が一つ以上設定されることがあり、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。
従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位のうち、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの全個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４に、第２最大深度は、５に設定される。
最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。
最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなることによって生成される全ての深度別符号化単位について、予測符号化、及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び変換について説明する。
一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピ符号化などの段階を経るが、全ての段階にわたり、同一のデータ単位が使用され、段階別にデータ単位が変更されもする。
例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。
最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に、予測符号化が行われる。以下、予測符号化の基になるそれ以上分割されない符号化単位を「予測単位」とする。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち、少なくとも一つが分割されたデータ単位を含んでもよい。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同一サイズのパーティションでもある。
例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位がそれ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が、対称的比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。
予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して行われる。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ行われる。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。
また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含んでもよい。
一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も再帰的に、さらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によって、ツリー構造による変換単位によって区画される。
一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが、２Ｎｘ２Ｎであるならば、変換深度０、変換単位の大きさがＮｘＮであるならば、変換深度１、変換単位の大きさが、Ｎ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によってツリー構造による変換単位が設定される。
符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。
一実施形態による最大符号化単位のツリー構造による符号化単位及び予測単位／パーティション、並びに変換単位の決定方式については、図７ないし図１９を参照し、詳細に後述する。
符号化単位決定部１２０は、深度別符号化単位の符号化誤差を、ラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。
出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ及び深度別符号化モードに係わる情報をビットストリーム状に出力する。
符号化された映像データは、映像の残差データの符号化結果でもある。
深度別符号化モードに係わる情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位の大きさ情報などを含んでもよい。
符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が、符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上、下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が、符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。
現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに反復的に符号化が行われ、同一の深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。
１つの最大符号化単位内で、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードに係わる情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードに係わる情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なるので、データに対して、符号化深度及び符号化モードに係わる情報が設定される。
従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに係わる符号化情報を割り当てられる。
一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位及び変換単位のうちに含まれる最大サイズの正方形データ単位でもある。
例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのchroma成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。
ピクチャ、スライスまたはＧＯＰ（group of pictures）の別に定義される符号化単位の最大サイズに係わる情報、及び最大深度に係わる情報は、ビットストリームのヘッダ、シーケンス・パラメータ・セットまたはピクチャ・パラメータ・セットなどに挿入される。
また、現在ビデオについて許容される変換単位の最大サイズに係わる情報、及び変換単位の最小サイズに係わる情報も、ビットストリームのヘッダ、シーケンス・パラメータ・セットまたはピクチャ・パラメータ・セットなどを介して出力される。出力部１３０は、図１ないし図６を参照して説明した予測と係わる参照情報、予測情報、単一方向予測情報、第４スライスタイプを含むスライスタイプ情報などを符号化して出力することができる。
ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含む。
従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。
従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下するという傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮し、符号化単位を調節することができるので、映像圧縮効率が上昇する。
図７のビデオ符号化装置１００は、図１を参照し、前述のイントラ予測装置１０の動作を遂行することができる。
符号化単位決定部１２０は、イントラ予測装置１０の動作を遂行することができる。最大符号化単位ごとに、ツリー構造による符号化単位別に、イントラ予測のための予測単位を決定し、予測単位ごとにイントラ予測を行うことができる。
特に、イントラ予測時、現在予測単位の予測モードが、ＣＩＰモードのイントラモードであるか否かを判断する前に、現在予測単位より以前に復元された隣接データ単位（最小単位、予測単位、符号化単位など）が検索される。現在予測単位より先に復元された隣接データ単位ごとに、イントラモードの隣接データ単位でありながら、現在ブロックはＣＩＰモードであるか否かを確認する。
また、イントラ予測時、現在予測単位がＣＩＰモードであるか否かということと係わりなく、参照データ単位が映像の境界を外れる場合には、参照データ単位のピクセルのうち、境界面内部に隣接したピクセルのサンプル値で、ピクチャの境界の外部領域がパッディングされる。このようにパッディングされた領域を参照し、現在予測単位に対するイントラ予測が行われる。
出力部１３０は、イントラ予測の結果として生成された差分データに対する符号化を行い、生成されたサンプルをビットストリーム状にに出力することができる。例えば、差分データの量子化された変換係数、イントラモード情報などのサンプルが出力される。
また、出力部１３０は、ピクチャ別に、ＣＩＰモードであるか否かを示すＣＩＰ情報をＰＰＳ（picture parameter set）に挿入して出力することができる。
図８は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置２００のブロック図を図示している。
一実施形態によって、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、「ビデオ復号化装置２００」と縮約する。
一実施形態によるビデオ復号化装置２００の復号化動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードに係わる情報など各種用語の定義は、図７及びビデオ符号化装置１００を参照して説明した通りである。
受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダ、シーケンス・パラメータ・セットまたはピクチャ・パラメータ・セットから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。
また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度、及び符号化モードに係わる情報を抽出する。抽出された符号化深度及び符号化モードに係わる情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０をして、最大符号化単位ごとに、映像データを復号化させる。
最大符号化単位別符号化深度及び符号化モードに係わる情報は、一つ以上の符号化深度情報に対して設定され、符号化深度別符号化モードに係わる情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位の大きさ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。
映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度、及び符号化モードに係わる情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードに係わる情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化し、映像を復元することができる。
一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち、所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードに係わる情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度、及び符号化モードに係わる情報が記録されているならば、同一の符号化深度及び符号化モードに係わる情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位と類推される。
映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードに係わる情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうち、それぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて、符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。
映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。
また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を読み取り、符号化単位ごとに変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元することができる。
映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし、分割情報が現在深度であり、それ以上分割されないということを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データに対して、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して、復号化することができる。
すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位に対して設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって同一の符号化モードで復号化する１つのデータ単位と見なされる。このように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号化が行われる。
また、図８のビデオ復号化装置２００は、図１を説明したイントラ予測装置１０の動作を遂行することができる。
抽出部２２０は、ビットストリームから、符号化の結果として生成されたサンプルを復元することができる。例えば、予測によって生成された差分データの量子化された変換係数、イントラモード情報などのサンプルが復元される。また、抽出部２２０は、ＰＰＳからパージングしたＣＩＰ情報に基づいて、ピクチャ別にＣＩＰモードを復元することができる。
映像データ復号化部２３０は、イントラ予測装置１０の動作を遂行することができる。最大符号化単位ごとに、ツリー構造による符号化単位別に、イントラ予測のための予測単位を決定し、予測単位ごとにイントラ予測を行うことができる。
特に、イントラ予測時、現在予測単位の予測モードがＣＩＰモードのイントラモードであるか否かを判断する前に、現在予測単位より以前に復元された隣接データ単位（最小単位、予測単位、符号化単位など）が検索される。現在予測単位より先に復元された隣接データ単位ごとに、イントラモードの隣接データ単位でありながら、現在ブロックは、ＣＩＰモードであるか否かを確認する。
また、イントラ予測時、現在予測単位がＣＩＰモードであるか否かということと係わりなく、参照データ単位が映像の境界を外れる場合には、参照データ単位のピクセルのうち、境界面内部に隣接したピクセルのサンプル値で、ピクチャの境界の外部領域がパッディングされる。このようにパッディングされた領域を参照し、現在予測単位に対するイントラ予測が行われる。
結局、ビデオ復号化装置２００は、符号化過程で、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に対する情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに最適符号化単位として決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。
従って、高い解像度の映像またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードについての情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。
図９は、本発明の一実施形態による符号化単位の概念を図示している。
符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。
ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図９に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べて、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。
ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。
ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、詳細情報の表現能力が向上する。
図１０は、本発明の一実施形態による符号化単位に基づいた映像符号化部４００のブロック図を図示している。
一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５のうち、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。
イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５として出力される。
一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０が、いずれも最大符号化単位ごとに最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を遂行しなければならない。
特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定しなければならない。
特に、イントラ予測部４１０は、現在予測単位の予測モードがＣＩＰモードのイントラモードであるか否かを判断する前に、現在予測単位より以前に復元された隣接データ単位を検索することができる。現在予測単位より先に復元された隣接データ単位ごとに、イントラモードの隣接データ単位でありながら、現在ブロックがＣＩＰモードであるか否かを確認する。また、参照データ単位が映像の境界を外れる場合には、現在予測単位がＣＩＰモードであるか否かということと係わりなく、参照データ単位のピクセルのうち、境界面内部に隣接したピクセルのサンプル値で、ピクチャの境界の外部領域がパッディングされ、パッディングされたサンプルが、現在予測単位に対するイントラ予測のために参照される。
図１１は、本発明の一実施形態による符号化単位に基づいた映像復号化部５００のブロック図を図示している。
ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化についての情報がパージングされる。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経て、空間領域の映像データが復元される。
空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位に対して動き補償を行う。
イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。
ビデオ復号化装置２００の映像データ復号化部２３０で、映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が遂行される。
一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素であるパージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を遂行しなければならない。
特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ことに、それぞれパーティション及び予測モードを決定して、逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定しなければならない。
特に、イントラ予測部５５０は、現在予測単位の予測モードが、ＣＩＰモードのイントラモードであるか否かを判断する前に、現在予測単位より以前に復元された隣接データ単位を検索することができる。現在予測単位より先に復元された隣接データ単位ごとに、イントラモードの隣接データ単位でありながら、現在ブロックがＣＩＰモードであるか否かを確認する。また、参照データ単位が映像の境界を外れる場合には、現在予測単位がＣＩＰモードであるか否かということと係わりなく、参照データ単位のピクセルのうち、境界面内部に隣接したピクセルのサンプル値で、ピクチャの境界の外部領域がパッディングされ、パッディングされたサンプルが、現在予測単位に対するイントラ予測のために参照される。
図１２は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。
一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって多様に設定されもする。事前に設定された符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。
一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が４である場合を図示している。このとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って、深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。
すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位として深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。
それぞれの深度別で横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が、予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。
同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。
同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。
同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。
最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位も、サイズ４ｘ４のパーティション６５０だけに設定される。
一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。
同一の範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つが含まれるデータに対して、深度２の符号化単位は、四つが必要である。従って、同一のデータの符号化結果を深度別で比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。
それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って、深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が生じる深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプとして選択される。
図１３は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。
一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で、映像を符号化したり復号化する。符号化過程のうち、変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。
例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。
また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位にそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
図１４は、本発明の一実施形態による深度別符号化情報を図示している。
一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに係わる情報であり、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。
パーティションタイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。この場合、現在符号化単位のパーティションタイプに係わる情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。
予測モードに係わる情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報８１０を介して、パーティションタイプに係わる情報８００が示すパーティションがイントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるが設定される。
また、変換単位サイズに係わる情報８２０は、現在符号化単位を、いかなる変換単位を基に変換を行うかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つでもある。
一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を抽出して復号化に利用することができる。
図１５は、本発明の一実施形態による深度別符号化単位を図示している。
深度の変化を示すために分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かを示す。
深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８のみが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。
パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復的に予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。
サイズ２Ｎ＿０ｘ２Ｎ＿０、２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最も小さければ、それ以上下位深度に分割する必要はない。
サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最も小さければ、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復的に符号化を行い、最小符号化誤差を検索していくことができる。
深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。
また、サイズＮ＿１ｘＮ＿１サイズのパーティションタイプ９４８による符号化誤差が最も小さければ、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復的に符号化を行い、最小符号化誤差を検索していくことができる。
最大深度がｄである場合、深度別符号化単位は、深度（ｄ−１）になるまで設定され、分割情報は、深度（ｄ−２）まで設定される。すなわち、深度（ｄ−２）から分割され（９７０）、深度（ｄ−１）まで符号化が行われる場合、深度（ｄ−１）及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。
パーティションタイプにおいて、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復的に予測符号化を介した符号化が行われ、最小符号化誤差が生じるパーティションタイプが検索される。
サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さいとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度（ｄ−１）と決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）と決定される。また、最大深度がｄであるので、深度（ｄ−１）の符号化単位９５２に対して、分割情報は設定されない。
データ単位９９９は、現在最大符号化単位に係わる「最小単位」とされる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。このような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が生じる深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードとして設定される。
このように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、予測単位のパーティションタイプ及び予測モードは、符号化モードに係わる情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。
一実施形態によるビデオ復号化装置２００の映像データ、及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位に係わる情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度で把握し、当該深度に係わる符号化モードに係わる情報を利用して、復号化に利用することができる。
図１６、図１７及び図１８は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。
符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。
深度別符号化単位１０１０は、最大符号化単位の深度が０であるならば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。
予測単位１０６０において、パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプ、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいは同じである。
変換単位１０７０において、一部変換単位１０５２の映像データについては、符号化単位に比べて、小サイズのデータ単位で変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０における当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態に他のビデオ復号化装置２００は、同一の符号化単位に対するイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行する。
これにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。
Figure 0005824148
 一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。
分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が下位符号化単位に、それ以上分割されない深度が符号化深度であるので、符号化深度に対して、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。
パーティションタイプ情報は、予測単位の高さまたは幅が、対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎとを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。
変換単位サイズは、イントラモードで２種類の大きさ、インターモードで２種類の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさは、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮ、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。
一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つについて割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。
従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。
従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照されもする。
図１９は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。
最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６，ＮｘＮ １３２８，２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。
変換単位分割情報ＴＵ size flagは、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。
例えば、パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４）が設定される。
パーティションタイプ情報が非対称形パーティションタイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報ＴＵ size flagが０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。
図１９を参照して説明した変換単位分割情報ＴＵ size flagは、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報は、１ビットのフラグに限定されるものではなく、設定によって、０，１，２，３，…などに増大させて変換単位が階層的に分割されもする。変換単位分割情報は、変換インデックスの一実施形態として利用される。
その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳ（sequence parameter set）に挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。
例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさは、１６ｘ１６、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさは、８ｘ８に設定される。
他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、変換単位の大きさが３２ｘ３２より小さいことができないので、それ以上の変換単位分割情報が設定されることがない。
さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されることがない。
従って、最大変換単位分割情報を「MaxTransformSizeIndex」、最小変換単位サイズを「MinTransformSize」、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、下記数式（１）のように定義される。
CurrMinTuSize
＝ｍａｘ（MinTransformSize，RootTuSize／（2^MaxTransformSizeIndex）） （１）
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比べ、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式（１）によれば、「RootTuSize／（2^MaxTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」である。
一実施形態による最大変換単位サイズ「RootTuSize」は、予測モードによって異なりもする。
例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、下記数式（２）によって決定される。数式（２）で、「MaxTransformSize」は、最大変換単位サイズ、「ＰＵSize」は、現在予測単位サイズを示す。
RootTuSize＝ｍｉｎ（MaxTransformSize，ＰＵSize） （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。
現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、下記数式（３）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。
RootTuSize＝ｍｉｎ（MaxTransformSize，PartitionSize） （３）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。
ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、それらに限定されるものではないということに留意しなければならない。
図７ないし図１９を参照して説明されたツリー構造の符号化単位に基づいたビデオ符号化技法によって、ツリー構造の符号化単位ごとに空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号化技法によって、最大符号化単位ごとに、復号化が行われながら、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されたり、あるいは記録媒体に保存されるか、あるいはネットワークを介して伝送される。
一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタル・コンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。
以上、本発明に対してその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。

Claims (4)

  1. 制限されたイントラ予測モードであるか否かを指すイントラ予測制限情報をビットストリームから抽出する段階と、
    現在ブロックの周辺ピクセルのピクセル値が既に復元されたサンプルであるか否かを示す境界情報及び前記イントラ予測制限情報のうち一つ以上を用いて、前記周辺ピクセルに対して前記現在ブロックのイントラ予測のために参照可能であるか否かを決定する段階と、
    前記周辺ピクセルのうち参照可能な第１ピクセル及び参照できない第２ピクセルが存在する場合、前記第１ピクセルのピクセル値を用いて前記第２ピクセルに対するピクセル値を生成する段階と、
    前記周辺ピクセルを用いて前記現在ブロックの予測ブロックを生成する段階と、
    を含み、
    前記第１ピクセル及び前記第２ピクセルは互いに隣接しており、
    前記制限されたイントラ予測モードはイントラ予測モードに復元されたピクセルだけを参照するモードであり、
    前記イントラ予測制限情報が前記制限されたイントラ予測モードでないことを指す場合、前記第２ピクセルは前記境界情報によって前記イントラ予測のために参照できないことと決定されることを特徴とするイントラ予測方法。
  2. 前記第２ピクセルがピクチャの境界の外部に隣接する場合、前記第２ピクセルに対する前記境界情報は前記第２ピクセルに対するサンプルが復元されないサンプルであることを示すことを特徴とする請求項１に記載のイントラ予測方法。
  3. 前記第２ピクセルが前記現在ブロックより遅く復元される領域に位置する場合、前記第２ピクセルに対する前記境界情報は前記第２ピクセルに対するサンプルが復元されないサンプルであることを示すことを特徴とする請求項１に記載のイントラ予測方法。
  4. 制限されたイントラ予測モードであるかどうかを指すイントラ予測制限情報をビットストリームから抽出し、前記イントラ予測制限情報に基づいて現在ブロックに対してイントラ予測を行うためのプロセッサを備え、
    前記プロセッサは、前記現在ブロックの周辺ピクセルのピクセル値が既に復元されたサンプルであるか否かを示す境界情報及び前記イントラ予測制限情報のうち一つ以上を用いて、前記周辺ピクセルに対して前記現在ブロックのイントラ予測のために参照可能であるか否かを決定し、
    前記周辺ピクセルのうち参照可能な第１ピクセル及び参照できない第２ピクセルが存在する場合、前記プロセッサは前記第１ピクセルのピクセル値を用いて前記第２ピクセルに対するピクセル値を生成し、
    前記プロセッサは、前記周辺ピクセルを用いて前記現在ブロックの予測ブロックを生成し、
    前記第１ピクセル及び前記第２ピクセルは互いに隣接しており、
    前記制限されたイントラ予測モードはイントラ予測モードに復元されたピクセルだけを参照するモードであり、
    前記イントラ予測制限情報が前記制限されたイントラ予測モードでないことを指す場合、前記第２ピクセルは前記境界情報によって前記イントラ予測のために参照できないことと決定されることを特徴とするイントラ予測装置。
JP2014518818A 2011-07-01 2012-07-02 単一化された参照可能性確認過程を介してイントラ予測を伴うビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置 Expired - Fee Related JP5824148B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161503857P 2011-07-01 2011-07-01
US61/503,857 2011-07-01
PCT/KR2012/005246 WO2013005962A2 (ko) 2011-07-01 2012-07-02 단일화된 참조가능성 확인 과정을 통해 인트라 예측을 수반하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치

Publications (2)

Publication Number Publication Date
JP2014523701A JP2014523701A (ja) 2014-09-11
JP5824148B2 true JP5824148B2 (ja) 2015-11-25

Family

ID=47437541

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014518818A Expired - Fee Related JP5824148B2 (ja) 2011-07-01 2012-07-02 単一化された参照可能性確認過程を介してイントラ予測を伴うビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置

Country Status (11)

Country Link
US (1) US9578329B2 (ja)
EP (1) EP2728872A4 (ja)
JP (1) JP5824148B2 (ja)
KR (3) KR101547497B1 (ja)
CN (1) CN103782595A (ja)
AU (1) AU2012278478B2 (ja)
BR (1) BR112013033697A2 (ja)
MX (1) MX2014000157A (ja)
SG (1) SG11201400753WA (ja)
TW (1) TWI517679B (ja)
WO (1) WO2013005962A2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015000168A1 (en) * 2013-07-05 2015-01-08 Mediatek Singapore Pte. Ltd. A simplified dc prediction method in intra prediction
KR102317682B1 (ko) * 2013-12-19 2021-10-26 삼성전자주식회사 인트라 예측을 수반한 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
KR101663668B1 (ko) * 2014-06-27 2016-10-07 삼성전자주식회사 영상 패딩영역의 비디오 복호화 및 부호화 장치 및 방법
CN105392008B (zh) * 2014-08-22 2018-09-25 中兴通讯股份有限公司 一种预测编、解码方法和相应的编、解码器和电子设备
WO2016195460A1 (ko) * 2015-06-05 2016-12-08 한양대학교 산학협력단 화면 내 예측에 대한 부호화/복호화 방법 및 장치
KR20180075518A (ko) * 2015-11-24 2018-07-04 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR20180075558A (ko) 2015-11-24 2018-07-04 삼성전자주식회사 비디오 복호화 방법 및 장치, 그 부호화 방법 및 장치
WO2017099385A1 (ko) * 2015-12-11 2017-06-15 삼성전자 주식회사 인트라 스킵 모드의 예측 방법을 나타내는 정보의 부호화 방법 및 장치, 복호화 방법 및 장치
CN106878752B (zh) 2015-12-11 2022-03-04 北京三星通信技术研究有限公司 一种视频编码模式的编解码方法和装置
US10735720B2 (en) * 2016-06-24 2020-08-04 Kt Corporation Method and apparatus for processing video signal
EP3482563A1 (en) * 2016-07-08 2019-05-15 VID SCALE, Inc. 360-degree video coding using geometry projection
CN116248873A (zh) * 2016-10-10 2023-06-09 三星电子株式会社 通过块映射来对图像进行编码或解码的方法和装置
CN117615132A (zh) 2016-10-14 2024-02-27 世宗大学校产学协力团 影像编码/解码方法及比特流的传送方法
KR102422506B1 (ko) * 2016-11-29 2022-07-20 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2018124850A1 (ko) * 2017-01-02 2018-07-05 한양대학교 산학협력단 예측 블록의 중복성을 고려한 화면 내 예측 방법 및 화면 내 예측을 수행하는 영상 복호화 장치
KR102388172B1 (ko) * 2017-09-06 2022-04-19 광운대학교 산학협력단 제한적 코딩 유닛 그룹 기반 영상 부/복호화 방법 및 장치
KR102520405B1 (ko) * 2018-01-08 2023-04-10 한국항공대학교산학협력단 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법
US10699413B1 (en) * 2018-03-23 2020-06-30 Carmax Business Services, Llc Automatic image cropping systems and methods
CN113228637B (zh) * 2018-12-17 2024-08-16 北京字节跳动网络技术有限公司 依赖于形状的插值滤波器
WO2020175145A1 (ja) 2019-02-27 2020-09-03 ソニー株式会社 画像処理装置及び画像処理方法
CN112437298A (zh) * 2019-08-26 2021-03-02 北京三星通信技术研究有限公司 编解码方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050112445A (ko) 2004-05-25 2005-11-30 경희대학교 산학협력단 예측 부호화/복호화 장치, 예측 부호화/복호화 방법 및 그방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한기록매체
KR20070028404A (ko) * 2004-06-11 2007-03-12 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 픽처를 저장하는 방법, 비디오 복호기, 비디오 부호기,휴대 장치 및 컴퓨터 프로그램 제품
KR100703200B1 (ko) * 2005-06-29 2007-04-06 한국산업기술대학교산학협력단 인트라 부호화 장치 및 방법
JP2008005197A (ja) * 2006-06-22 2008-01-10 Toshiba Corp デコード装置およびデコード方法
JP4650461B2 (ja) * 2007-07-13 2011-03-16 ソニー株式会社 符号化装置、符号化方法、プログラム、及び記録媒体
KR101691199B1 (ko) * 2008-04-11 2016-12-30 톰슨 라이센싱 비디오 부호화 및 복호화에서의 템플릿 매칭 예측을 위한 방법 및 장치
US8879637B2 (en) * 2008-10-06 2014-11-04 Lg Electronics Inc. Method and an apparatus for processing a video signal by which coding efficiency of a video signal can be raised by using a mixed prediction mode in predicting different macroblock sizes
JP5238523B2 (ja) * 2009-01-13 2013-07-17 株式会社日立国際電気 動画像符号化装置、動画像復号化装置、および、動画像復号化方法
US9113168B2 (en) 2009-05-12 2015-08-18 Lg Electronics Inc. Method and apparatus of processing a video signal
KR101742992B1 (ko) 2009-05-12 2017-06-02 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR101510108B1 (ko) 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101772459B1 (ko) * 2010-05-17 2017-08-30 엘지전자 주식회사 신규한 인트라 예측 모드

Also Published As

Publication number Publication date
US20140153646A1 (en) 2014-06-05
US9578329B2 (en) 2017-02-21
WO2013005962A2 (ko) 2013-01-10
TW201309041A (zh) 2013-02-16
EP2728872A4 (en) 2016-05-11
KR20150000851A (ko) 2015-01-05
JP2014523701A (ja) 2014-09-11
SG11201400753WA (en) 2014-05-29
AU2012278478B2 (en) 2015-09-24
CN103782595A (zh) 2014-05-07
WO2013005962A3 (ko) 2013-03-14
KR20130004548A (ko) 2013-01-11
KR101547497B1 (ko) 2015-08-26
KR20140093200A (ko) 2014-07-25
AU2012278478A1 (en) 2014-01-30
KR101687727B1 (ko) 2016-12-19
BR112013033697A2 (pt) 2017-07-11
MX2014000157A (es) 2014-02-19
TWI517679B (zh) 2016-01-11
EP2728872A2 (en) 2014-05-07

Similar Documents

Publication Publication Date Title
JP5824148B2 (ja) 単一化された参照可能性確認過程を介してイントラ予測を伴うビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置
KR101945447B1 (ko) 계층적 구조의 데이터 단위를 이용한 엔트로피 부호화 방법 및 장치, 복호화 방법 및 장치
JP5832683B2 (ja) ビデオ復号化方法及びビデオ復号化装置
KR101769429B1 (ko) 비디오의 엔트로피 복호화 방법 및 장치
JP5945026B2 (ja) 任意的なパーティションを利用した動き補償によるビデオ復号化方法及びその装置
JP5969082B2 (ja) 復号化方法及び復号化装置
KR102317682B1 (ko) 인트라 예측을 수반한 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141209

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151008

R150 Certificate of patent or registration of utility model

Ref document number: 5824148

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees