JP6523406B2 - 動き情報の復号化方法 - Google Patents

Description

本発明は、ビデオの符号化、復号化の方法及び該装置に係り、特に、現在の予測単位の動き情報を効率的に符号化する方法及びその装置、復号化する方法及びその装置に関する。

最近、高解像度のビデオコンテンツが増加するにつれて、ＭＰＥＧ−４ Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ(Advanced Video Coding)のような既存のビデオコーデックに比べてさらに高いコーディング効率を有するビデオコーデックの必要性が高くなっている。

動き補償は、ビデオ信号で時間的重複性(redundancy)を除去するための技術であって、原ビデオ信号と、動きベクトルが表す参照信号との差値であるレジデュアル信号を伝送することによって、ビデオコーディングにおいて圧縮効率を向上させる。一般的に、動き補償を利用した各ブロックについての符号化結果として、各ブロックの動きベクトルと、レジデュアル値とがデコーダ側へ伝送される。各ブロックの動きベクトルは、符号化されたビットストリームで相当な部分を占めるので、圧縮効率を向上させるために、各ブロックに割り当てられた動きベクトルについての情報を減らす必要がある。

動きベクトルの符号化による伝送オーバーヘッドを減少させるために、従来のＭＰＥＧ−２コーデックでは、以前のブロックの動きベクトルを、現在のブロックの予測動きベクトルとして利用し、ＭＰＥＧ−４ Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣのようなコーデックでは、現在のブロックの左側、上側及び右上側に隣接した以前に符号化されたブロックの動きベクトルの中央値を、現在のブロックの予測動きベクトルとして利用する。

本発明が解決しようとする課題は、予測単位の動き情報を効率的に符号化する方法及び装置を提供することにある。

本発明の実施形態は、現在の予測単位と空間的に関連した予測単位、及び時間的に関連した予測単位が有する動き情報を利用して、多様な候補動き情報を生成する。

本発明によれば、周辺予測単位の動き情報に基づいて獲得された多様な動き情報候補を利用することによって、映像の圧縮効率を向上させることができる。

本発明の一実施形態によるビデオ符号化装置を示すブロック図である。 本発明の一実施形態によるビデオ復号化装置を示すブロック図である。 本発明の一実施形態による符号化単位の概念を示す図面である。 本発明の一実施形態による符号化単位に基づいた映像符号化部を示すブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部を示すブロック図である。 本発明の一実施形態による深度別の符号化単位及びパーティションを示す図面である。 本発明の一実施形態による符号化単位と変換単位の関係を示す図面である。 本発明の一実施形態による深度別の符号化情報を示す図面である。 本発明の一実施形態による深度別の符号化単位を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び周波数変換単位の関係を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び周波数変換単位の関係を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び周波数変換単位の関係を示す図面である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す図面である。 本発明の一実施形態による動き情報符号化装置の構成を示すブロック図である。 図１４の候補動き情報生成部の具体的な構成を示すブロック図である。 本発明の一実施形態によって、現在の予測単位と空間的に関連した周辺予測単位を示す図面である。 本発明の一実施形態によって、スケーリングされた空間的な予測動きベクトル候補を決定する過程を説明するための参照図である。 本発明の一実施形態によって、現在の予測単位と空間的に関連した予測単位を利用した付加的な候補動き情報を生成する過程を説明するための参照図である。 本発明の一実施形態によって、周辺予測単位の動きベクトルをスケーリングして、現在の予測単位の予測動きベクトル候補を生成する方式を説明するための参照図である。 本発明の一実施形態による時間的な候補動き情報を生成する過程を説明するための参照図である。 本発明の他の実施形態によって、利用可能な予測単位の動き情報を利用して、付加的な候補動き情報を生成する過程を説明するための図面である。 本発明の他の実施形態によって、利用可能な予測単位の動き情報を利用して、付加的な候補動き情報を生成する過程を説明するための図面である。 図２０Ａの付加的な候補動き情報が生成される場合の現在のピクチャと参照ピクチャの位置関係を示す図面である。 図２０Ｂの付加的な候補動き情報が生成される場合の現在のピクチャと参照ピクチャの位置関係を示す図面である。 本発明の一実施形態による動きベクトルの符号化方法を示すフローチャートである。 本発明の一実施形態による動きベクトル復号化装置の構成を示すブロック図である。 本発明の一実施形態による動き情報の復号化方法を示すフローチャートである。

本発明の一実施形態による動き情報の符号化方法は、現在の予測単位についての動き予測を行って、前記現在の予測単位についての動き情報を獲得するステップと、前記現在の予測単位と空間的に関連した空間的予測単位、及び時間的に関連した時間的予測単位の動き情報の利用可能性を判断するステップと、前記判断の結果、利用可能な空間的予測単位及び時間的予測単位の動き情報が、所定の個数ｎ（ｎは、整数）よりも少ない場合、前記利用可能な空間的予測単位及び時間的予測単位の動き情報を利用して、全体の候補動き情報の個数がｎとなるように、付加的な候補動き情報を生成するステップと、前記ｎ個の動き情報を利用して、前記現在の予測単位の動き情報を符号化するステップとを含む。

前記利用可能性を判断するステップは、前記現在の予測単位の上側に位置した所定の予測単位を、所定のスキャン順序によって検索して、利用可能な動き情報を有する最初の上側の予測単位の動き情報を、前記現在の予測単位の上側の空間的動き情報候補として選択するステップと、前記現在の予測単位の左側に位置した所定の予測単位を、所定のスキャン順序によって検索して、利用可能な動き情報を有する最初の左側の予測単位の動き情報を、前記現在の予測単位の左側の空間的動き情報候補として選択するステップと、前記現在の予測単位と同一な位置の以前のピクチャの予測単位を基準として、前記以前のピクチャから選択された以前のピクチャの予測単位の動き情報を、前記現在の予測単位の時間的動き情報候補として選択するステップとを含み、前記付加的な候補動き情報を生成するステップは、前記上側の空間的動き情報候補、前記左側の空間的動き情報候補、及び前記時間的動き情報候補を利用して獲得された全体の候補動き情報が、前記ｎよりも少ない場合に行われる。

また、前記付加的な候補動き情報を生成するステップは、前記所定のスキャン順序によって、利用可能な動き情報を有する最初の上側の予測単位以後に検索される利用可能な上側の予測単位の動き情報を、前記付加的な候補動き情報として生成する。

また、前記付加的な候補動き情報を生成するステップは、前記所定のスキャン順序によって、利用可能な動き情報を有する最初の左側の予測単位以後に検索される利用可能な左側の予測単位の動き情報を、前記付加的な候補動き情報として生成する。

また、前記付加的な候補動き情報を生成するステップは、前記現在の予測単位と同一な位置の以前のピクチャの予測単位を基準として決定された以前のピクチャの予測単位を、所定のスキャン順序でスキャンする時、利用可能な動き情報を有する最初の以前のピクチャの予測単位を除いた残りの以前のピクチャの予測単位のうち、動き情報を有する以前のピクチャの予測単位の動き情報をスケーリングして、前記付加的な候補動き情報を生成する。

また、前記利用可能性を判断するステップは、前記現在の予測単位の上側及び左側に位置した所定の予測単位のうち、予め位置が決定された所定の空間的予測単位の動き情報を、前記現在の予測単位の空間的動き情報候補として選択するステップと、前記現在の予測単位と同一な位置の以前のピクチャの予測単位を基準として、前記以前のピクチャから選択された以前のピクチャの予測単位の動き情報を、前記現在の予測単位の時間的動き情報候補として選択するステップとを含み、前記付加的な候補動き情報を生成するステップは、前記空間的動き情報候補と、前記時間的動き情報候補とを利用して獲得された全体の候補動き情報が、前記ｎよりも少ない場合に行われる。

また、前記付加的な候補動き情報を生成するステップは、予め決定された所定の動き情報を、前記付加的な候補動き情報として生成する。かかる所定の動き情報は、所定値の動きベクトル、所定値の参照ピクチャインデックス、及び現在の予測単位が属するスライス類型による参照方向情報である。

また、前記付加的な候補動き情報を生成するステップは、前記利用可能な空間的予測単位及び時間的予測単位の動き情報が、Ｌ０予測及びＬ１予測の双方向動きベクトル情報を含む場合、前記Ｌ０予測の動きベクトル及びＬ１予測の動きベクトルに、所定のオフセットを加減することによって、前記付加的な候補動き情報を生成する。

ここで、現在の予測単位が含まれた現在のピクチャを基準として、前記Ｌ０予測に利用される第１参照ピクチャと、前記Ｌ１予測に利用される第２参照ピクチャとがいずれも同一な方向に位置した場合、前記Ｌ０予測の動きベクトル及びＬ１予測の動きベクトルに、前記オフセットを加算し、前記Ｌ０予測に利用される第１参照ピクチャと、前記Ｌ１予測に利用される第２参照ピクチャとの間に、前記現在のピクチャが位置する場合、前記Ｌ０予測の動きベクトルに、前記オフセットを加算し、前記Ｌ１予測の動きベクトルに、前記オフセットに−１を乗じた値を加算することが望ましい。

また、前記付加的な候補動き情報を生成するステップは、前記利用可能な空間的予測単位及び時間的予測単位の動き情報の予測方向を変更して、前記付加的な候補動き情報を生成する。

ここで、前記付加的な候補動き情報を生成するステップは、前記利用可能な空間的予測単位及び時間的予測単位の動き情報が、Ｌ０予測及びＬ１予測の双方向動きベクトル情報を含む場合、前記Ｌ０予測及びＬ１予測のうち選択された一つの単方向動き情報を利用して、前記付加的な候補動き情報を生成する。

また、前記付加的な候補動き情報を生成するステップは、前記利用可能な空間的予測単位及び時間的予測単位の動き情報が、Ｌ０予測及びＬ１予測のうち一つの単方向動き情報を含む場合、前記Ｌ０予測及びＬ１予測を結合した双方向動き情報を利用して、付加的な候補動き情報を生成する。

また、前記付加的な候補動き情報を生成するステップは、前記利用可能な空間的予測単位及び時間的予測単位の動き情報が、Ｌ０予測及びＬ１予測のうち一つの単方向動き情報を含む場合、所定の成分値の動きベクトルを含む単方向動き情報を結合することによって生成された双方向動き情報を、前記付加的な候補動き情報として生成する。

また、前記付加的な候補動き情報を生成するステップは、所定値の参照ピクチャインデックスを有する参照ピクチャを、前記付加的な候補動き情報として生成する。

また、前記付加的な候補動き情報を生成するステップは、以前に生成されたデフォルト候補動き情報と、前記生成された付加的な候補動き情報の重複如何(duplicated)をチェックせず、前記生成された付加的な候補動き情報を候補動き情報に含める。

本発明の一実施形態による動き情報符号化装置は、現在の予測単位と空間的に関連した空間的予測単位、及び時間的に関連した時間的予測単位の動き情報の利用可能性を判断し、前記判断の結果、利用可能な空間的予測単位及び時間的予測単位の動き情報が、所定の個数ｎ（ｎは、整数）よりも少ない場合、前記利用可能な空間的予測単位及び時間的予測単位の動き情報を利用して、全体の候補動き情報の個数がｎとなるように、付加的な候補動き情報を生成する候補動き情報生成部と、前記ｎ個の動き情報を利用して、前記現在の予測単位の動き情報を符号化する動き情報符号化部とを備える。

本発明の一実施形態による動き情報の復号化方法は、現在の予測単位と空間的に関連した空間的予測単位、及び時間的に関連した時間的予測単位の動き情報の利用可能性を判断するステップと、前記判断の結果、利用可能な空間的予測単位及び時間的予測単位の動き情報が、所定の個数ｎ（ｎは、整数）よりも少ない場合、前記利用可能な空間的予測単位及び時間的予測単位の動き情報を利用して、全体の候補動き情報の個数がｎとなるように、付加的な候補動き情報を生成するステップと、ビットストリームから、前記ｎ個の全体の候補動き情報のうち一つの動き情報を表すインデックス情報を獲得するステップと、前記獲得されたインデックスが表す動き情報を利用して、前記現在の予測単位の動き情報を獲得するステップとを含む。

本発明の一実施形態による動き情報復号化装置は、現在の予測単位と空間的に関連した空間的予測単位、及び時間的に関連した時間的予測単位の動き情報の利用可能性を判断し、利用可能な空間的予測単位及び時間的予測単位の動き情報が、所定の個数ｎ（ｎは、整数）よりも少ない場合、前記利用可能な空間的予測単位及び時間的予測単位の動き情報を利用して、全体の候補動き情報の個数がｎとなるように、付加的な候補動き情報を生成する候補動き情報生成部と、ビットストリームから、前記ｎ個の全体の候補動き情報のうち一つの動き情報を表すインデックス情報を獲得するエントロピー復号化部と、前記獲得されたインデックスが表す動き情報を利用して、前記現在の予測単位の動き情報を獲得する動き情報復号化部とを備える。

以下、図面を参照して、本発明の望ましい実施形態について具体的に説明する。

図１は、本発明の一実施形態によるビデオ符号化装置を示すブロック図である。

一実施形態によるビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０、及び出力部１３０を備える。

最大符号化単位分割部１１０は、映像の現在のピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在のピクチャを区画する。現在のピクチャが最大符号化単位よりも大きければ、現在のピクチャの映像データは、少なくとも一つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２×３２、６４×６４、１２８×１２８、２５６×２５６などのデータ単位であって、横及び縦のサイズが８よりも大きい２の自乗である正方形のデータ単位である。映像データは、少なくとも一つの最大符号化単位別に、符号化単位決定部１２０に出力される。

一実施形態による符号化単位は、最大サイズ及び深度によって特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を表し、深度が深くなるほど、深度別の符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位であると定義される。最大符号化単位は、深度が深くなるにつれて、深度別の符号化単位のサイズは減少するので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含む。

前述したように、符号化単位の最大サイズによって、現在のピクチャの映像データを、最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域の映像データが、深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割可能な総回数を制限する最大深度及び符号化単位の最大サイズは、予め設定されていてもよい。

符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも一つの分割領域を符号化して、少なくとも一つの分割領域別に、最終の符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在のピクチャの最大符号化単位ごとに、深度別の符号化単位で映像データを符号化して、最小の符号化誤差が発生する深度を選択して、符号化深度として決定する。決定された符号化深度及び最大符号化単位別の映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも一つの深度によって、深度別の符号化単位に基づいて符号化され、それぞれの深度別の符号化単位に基づいた符号化結果が比較される。深度別の符号化単位の符号化誤差の比較結果、符号化誤差の最も小さい深度が選択される。それぞれの最大符号化単位ごとに、少なくとも一つの符号化深度が決定される。

最大符号化単位のサイズは、深度が深くなるにつれて、符号化単位が階層的に分割され、符号化単位の個数は増加する。また、一つの最大符号化単位に含まれる同一な深度の符号化単位であるとしても、それぞれのデータについての符号化誤差を測定し、下位深度への分割如何が決定される。したがって、一つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別の符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。したがって、一つの最大符号化単位に対して、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。

したがって、一実施形態による符号化単位決定部１２０は、現在の最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による‘ツリー構造による符号化単位’は、現在の最大符号化単位に含まれる全ての深度別の符号化単位のうち、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では深度によって階層的に決定され、他の領域では独立して決定される。同様に、現在の領域についての符号化深度は、他の領域についての符号化深度と独立して決定される。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数に係る指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を表す。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を表す。例えば、最大符号化単位の深度が０であるとする時、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であれば、深度０、１、２、３及び４の深度レベルが存在するので、第１最大深度は４、第２最大深度は５に設定される。

最大符号化単位の予測符号化及び周波数変換が行われる。予測符号化及び周波数変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別の符号化単位に基づいて行われる。

最大符号化単位が深度別に分割される度に、深度別の符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別の符号化単位に対して、予測符号化及び周波数変換を含む符号化が行われなければならない。以下、説明の便宜上、少なくとも一つの最大符号化単位のうち、現在の深度の符号化単位に基づいて、予測符号化及び周波数変換を説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位のサイズまたは形態を多様に選択可能である。映像データの符号化のためには、予測符号化、周波数変換、エントロピー符号化などのステップを経るが、全てのステップにわたって、同一なデータ単位が使われてもよく、ステップ別にデータ単位が変更されてもよい。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択する。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位に基づいて、予測符号化が行われる。以下、予測符号化の基本となるそれ以上分割されない符号化単位を、‘予測単位’とする。予測単位が分割されたパーティションは、予測単位と、予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位とを含む。

例えば、サイズ２Ｎ×２Ｎ（ただし、Ｎは、正の整数）の符号化単位がそれ以上分割されない場合、サイズ２Ｎ×２Ｎの予測単位となり、パーティションのサイズは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎなどである。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な割合で分割された対称的なパーティションだけでなく、１：ｎまたはｎ：１のように非対称的な割合で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意の形態のパーティションなどを選択的に含んでもよい。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つである。例えば、イントラモード及びインターモードは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎサイズのパーティションに対して行われる。また、スキップモードは、２Ｎ×２Ｎサイズのパーティションのみに対して行われる。符号化単位以内の一つの予測単位ごとに、独立して符号化が行われて、符号化誤差の最も小さい予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位と異なるデータ単位に基づいて、符号化単位の映像データの周波数変換を行う。

符号化単位の周波数変換のためには、符号化単位よりも小さいか、またはそれと同じサイズのデータ単位に基づいて、周波数変換が行われる。例えば、周波数変換のためのデータ単位は、イントラモードのためのデータ単位と、インターモードのためのデータ単位とを含む。

以下、周波数変換の基本となるデータ単位を、‘変換単位’とする。符号化単位と類似した方式によって、符号化単位内の変換単位も、再帰的にさらに小さいサイズの変換単位に分割されつつ、符号化単位のレジデュアルデータが、変換深度によって、ツリー構造による変換単位によって区画される。

一実施形態による変換単位に対しても、符号化単位の高さ及び幅が分割され、変換単位に達するまでの分割回数を表す変換深度が設定される。例えば、サイズ２Ｎ×２Ｎの現在の符号化単位の変換単位のサイズが２Ｎ×２Ｎであれば、変換深度は０、変換単位のサイズがＮ×Ｎであれば、変換深度は１、変換単位のサイズがＮ／２×Ｎ／２であれば、変換深度は２に設定される。すなわち、変換単位に対しても、変換深度によって、ツリー構造による変換単位が設定される。

符号化深度別の符号化情報は、符号化深度だけでなく、予測関連情報及び周波数変換関連情報が必要である。したがって、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけでなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別の予測モード、周波数変換のための変換単位のサイズなどを決定する。

一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図３ないし図１２を参照して詳細に後述する。

符号化単位決定部１２０は、深度別の符号化単位の符号化誤差を、ラグランジュ乗数に基づいた率−歪曲最適化技法を利用して測定する。

出力部１３０は、符号化単位決定部１２０で決定された少なくとも一つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別の符号化モードに係る情報を、ビットストリームの形態で出力する。

符号化された映像データは、映像のレジデュアルデータの符号化結果である。

深度別の符号化モードに係る情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含む。

符号化深度情報は、現在の深度で符号化せず、下位深度の符号化単位で符号化するか否かを表す深度別の分割情報を利用して定義される。現在の符号化単位の現在の深度が符号化深度であれば、現在の符号化単位は、現在の深度の符号化単位で符号化されるので、現在の深度の分割情報は、それ以上下位深度に分割されないように定義される。逆に、現在の符号化単位の現在の深度が符号化深度でなければ、下位深度の符号化単位を利用した符号化を試みなければならないので、現在の深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在の深度が符号化深度でなければ、下位深度の符号化単位に分割された符号化単位に対して、符号化が行われる。現在の深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復的に符号化が行われて、同一な深度の符号化単位ごとに、再帰的に符号化が行われる。

一つの最大符号化単位内に、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも一つの符号化モードに係る情報が決定されなければならないので、一つの最大符号化単位に対しては、少なくとも一つの符号化モードに係る情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画されて、位置別に符号化深度が異なるので、データに対して、符号化深度及び符号化モードに係る情報が設定される。

したがって、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに係る符号化情報を割り当てる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位であり、最大符号化単位に含まれる全ての符号化単位、予測単位及び変換単位内に含まれる最大サイズの正方形のデータ単位である。

例えば、出力部１３０を通じて出力される符号化情報は、深度別の符号化単位別の符号化情報と、予測単位別の符号化情報とに分けられる。深度別の符号化単位別の符号化情報は、予測モード情報及びパーティションサイズ情報を含む。予測単位別に伝送される符号化情報は、インターモードの推定方向に係る情報、インターモードの参照映像インデックスに係る情報、動きベクトルに係る情報、イントラモードのクロマ成分に係る情報、イントラモードの補間方式に係る情報などを含む。また、ピクチャ、スライスまたはＧＯＰ別に定義される符号化単位の最大サイズに係る情報、及び最大深度に係る情報は、ビットストリームのヘッダに挿入される。

ビデオ符号化装置１００の最も簡単な実施形態によれば、深度別の符号化単位は、一階層上位深度の符号化単位の高さ及び幅を半分にしたサイズの符号化単位である。すなわち、現在の深度の符号化単位のサイズが２Ｎ×２Ｎであれば、下位深度の符号化単位のサイズは、Ｎ×Ｎである。また、２Ｎ×２Ｎサイズの現在の符号化単位は、Ｎ×Ｎサイズの下位深度の符号化単位を最大四つ含む。

したがって、一実施形態によるビデオ符号化装置１００は、現在のピクチャの特性を考慮して決定された最大符号化単位のサイズ及び最大深度に基づいて、それぞれの最大符号化単位ごとに最適の形態及びサイズの符号化単位を決定して、ツリー構造による符号化単位を構成する。また、それぞれの最大符号化単位ごとに、多様な予測モード、周波数変換方式などにより符号化するので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。

したがって、映像の解像度が高すぎるか、またはデータ量が多すぎる映像を既存のマクロブロック単位で符号化すれば、ピクチャ当たりマクロブロックの数が過度に多くなる。それによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。したがって、一実施形態によるビデオ符号化装置は、映像のサイズを考慮して、符号化単位の最大サイズを増大させつつ、映像特性を考慮して、符号化単位を調節できるので、映像圧縮効率が向上する。

図２は、本発明の一実施形態によるビデオ復号化装置を示すブロック図である。一実施形態によるビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０、及び映像データ復号化部２３０を備える。一実施形態によるビデオ復号化装置２００の各種のプロセッシングのための符号化単位、深度、予測単位、変換単位、各種の符号化モードに係る情報などの各種の用語の定義は、図１及びビデオ符号化装置１００を参照して説明した通りである。

受信部２１０は、符号化されたビデオについてのビットストリームを受信して、パージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別にツリー構造による符号化単位によって、符号化単位ごとに、符号化された映像データを抽出して、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在のピクチャについてのヘッダから、現在のピクチャの符号化単位の最大サイズに係る情報を抽出する。

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位についての符号化深度及び符号化モードに係る情報を抽出する。抽出された符号化深度及び符号化モードに係る情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割して、映像データ復号化部２３０が最大符号化単位ごとに映像データを復号化する。

最大符号化単位別の符号化深度及び符号化モードに係る情報は、一つ以上の符号化深度情報について設定され、符号化深度別の符号化モードに係る情報は、当該符号化単位のパーティションタイプ情報、予測モード情報、及び変換単位のサイズ情報などを含む。また、符号化深度情報として、深度別の分割情報が抽出されることも可能である。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別の符号化深度及び符号化モードに係る情報は、一実施形態によるビデオ符号化装置１００のように符号化端で、最大符号化単位別の深度別の符号化単位ごとに、反復的に符号化を行って、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードに係る情報である。したがって、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によって、データを復号化して、映像を復元する。

一実施形態による符号化深度及び符号化モードに係る符号化情報は、当該符号化単位、予測単位及び最小単位のうち、所定のデータ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定のデータ単位別に、符号化深度及び符号化モードに係る情報を抽出する。所定のデータ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係る情報が記録されていれば、同一な符号化深度及び符号化モードに係る情報を有している所定のデータ単位は、同一な最大符号化単位に含まれるデータ単位として類推される。

映像データ復号化部２３０は、最大符号化単位別の符号化深度及び符号化モードに係る情報に基づいて、それぞれの最大符号化単位の映像データを復号化して、現在のピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうち、それぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード及び変換単位に基づいて、符号化された映像データを復号化する。復号化過程は、イントラ予測及び動き補償を含む予測過程と、周波数逆変換過程とを含む。

映像データ復号化部２３０は、符号化深度別の符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行う。

また、映像データ復号化部２３０は、最大符号化単位別の周波数逆変換のために、符号化深度別の符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとに、それぞれの変換単位によって、周波数逆変換を行う。

映像データ復号化部２３０は、深度別の分割情報を利用して、現在の最大符号化単位の符号化深度を決定する。若し、分割情報が現在の深度でそれ以上分割されないことを表していれば、現在の深度が符号化深度である。したがって、映像データ復号化部２３０は、現在の最大符号化単位の映像データに対して、現在の深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して復号化する。

すなわち、符号化単位、予測単位及び最小単位のうち、所定のデータ単位に対して設定されている符号化情報を観察して、同一な分割情報を含む符号化情報を保有しているデータ単位が集まって、映像データ復号化部２３０によって、同一な符号化モードで復号化する一つのデータ単位であると見なされる。

一実施形態によるビデオ復号化装置２００は、符号化過程で最大符号化単位ごとに再帰的に符号化を行って、最小符号化誤差を発生させた符号化単位に係る情報を獲得して、現在のピクチャについての復号化に利用する。すなわち、最大符号化単位ごとに、最適符号化単位に決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

したがって、高い解像度の映像、またはデータ量が多すぎる映像であるとしても、符号化端から伝送された最適符号化モードに係る情報を利用して、映像の特性に適応的に決定された符号化単位のサイズ及び符号化モードによって、効率的に映像データを復号化して復元する。

以下、図３ないし図１３を参照して、本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式を詳細に説明する。

図３は、階層的な符号化単位の概念を示す。

符号化単位の例は、符号化単位のサイズが幅×高さで表現され、サイズ６４×６４の符号化単位から３２×３２，１６×１６，８×８を含む。サイズ６４×６４の符号化単位は、サイズ６４×６４，６４×３２，３２×６４，３２×３２のパーティションに分割され、サイズ３２×３２の符号化単位は、サイズ３２×３２，３２×１６，１６×３２，１６×１６のパーティションに分割され、サイズ１６×１６の符号化単位は、サイズ１６×１６，１６×８，８×１６，８×８のパーティションに分割され、サイズ８×８の符号化単位は、サイズ８×８，８×４，４×８，４×４のパーティションに分割される。

ビデオデータ３１０については、解像度が１９２０×１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０×１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２×２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図３に示した最大深度は、最大符号化単位から最小符号化単位までの総分割回数を表す。

解像度が高いか、またはデータ量が多い場合、符号化効率の向上だけでなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。したがって、ビデオデータ３３０よりも解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度は２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が二階層深くなって、長軸サイズが３２、１６である符号化単位まで含む。一方、ビデオデータ３３０の最大深度は１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が一階層深くなって、長軸サイズが８である符号化単位まで含む。

ビデオデータ３２０の最大深度は３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が三階層深くなって、長軸サイズが３２、１６、８である符号化単位まで含む。深度が深くなるほど、詳細情報の表現能が向上する。

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部を示すブロック図である。一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在のフレーム４０５のうち、イントラモードの符号化単位に対して、イントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在のフレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、周波数変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０及び周波数逆変換部４７０を通じて、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループフィルタリング部４９０を経て後処理されて、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経て、ビットストリーム４５５として出力される。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループフィルタリング部４９０がいずれも、最大符号化単位ごとに、最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行わなければならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在の最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位のサイズを決定しなければならない。

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部を示すブロック図である。ビットストリーム５０５から、パージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化に係る情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、周波数逆変換部５４０を経て、空間領域の映像データが復元される。

空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位に対して動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されて、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

ビデオ復号化装置２００の映像データ復号化部２３０で、映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後のステップ別の作業が行われる。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループフィルタリング部５８０がいずれも、最大符号化単位ごとに、ツリー構造による符号化単位に基づいて、作業を行わなければならない。

特に、イントラ予測部５５０及び動き補償部５６０は、ツリー構造による符号化単位ごとに、パーティション及び予測モードを決定し、周波数逆変換部５４０は、符号化単位ごとに、変換単位のサイズを決定しなければならない。

図６は、本発明の一実施形態による深度別の符号化単位及びパーティションを示す。

一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像の特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって適応的に決定されてもよく、ユーザの要求に応じて多様に設定されてもよい。既定の符号化単位の最大サイズによって、深度別の符号化単位のサイズが決定される。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度が４である場合を示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って、深度が深くなるので、深度別の符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別の符号化単位の予測符号化の基本となる予測単位及びパーティションが示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００で最大符号化単位であって、深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４×６４である。縦軸に沿って深度が深くなり、サイズ３２×３２である深度１の符号化単位６２０、サイズ１６×１６である深度２の符号化単位６３０、サイズ８×８である深度３の符号化単位６４０、及びサイズ４×４である深度４の符号化単位６５０が存在する。サイズ４×４である深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４×６４の符号化単位６１０が予測単位であれば、予測単位は、サイズ６４×６４の符号化単位６１０に含まれるサイズ６４×６４のパーティション６１０、サイズ６４×３２のパーティション６１２、サイズ３２×６４のパーティション６１４、及びサイズ３２×３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２×３２の符号化単位６２０の予測単位は、サイズ３２×３２の符号化単位６２０に含まれるサイズ３２×３２のパーティション６２０、サイズ３２×１６のパーティション６２２、サイズ１６×３２のパーティション６２４、及びサイズ１６×１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６×１６の符号化単位６３０の予測単位は、サイズ１６×１６の符号化単位６３０に含まれるサイズ１６×１６のパーティション６３０、サイズ１６×８のパーティション６３２、サイズ８×１６のパーティション６３４、及びサイズ８×８のパーティション６３６に分割される。

同様に、深度３のサイズ８×８の符号化単位６４０の予測単位は、サイズ８×８の符号化単位６４０に含まれるサイズ８×８のパーティション６４０、サイズ８×４のパーティション６４２、サイズ４×８のパーティション６４４、及びサイズ４×４のパーティション６４６に分割される。

最後に、深度４のサイズ４×４の符号化単位６５０は、最小符号化単位であり、かつ最下位深度の符号化単位であり、当該予測単位も、サイズ４×４のパーティション６５０のみに設定される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わなければならない。

同一な範囲及びサイズのデータを含むための深度別の符号化単位の個数は、深度が深くなるほど増加する。例えば、深度１の符号化単位が一つ含まれるデータに対して、深度２の符号化単位は四つ必要である。したがって、同一なデータの符号化結果を深度別に比較するために、一つの深度１の符号化単位、及び四つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

それぞれの深度別の符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別の符号化単位の予測単位ごとに符号化を行って、当該深度で最小符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って、深度が深くなり、それぞれの深度ごとに符号化を行って、深度別の代表符号化誤差を比較して、最小符号化誤差が検索される。最大符号化単位６１０のうち、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプとして選択される。

図７は、本発明の一実施形態による符号化単位と変換単位の関係を示す。

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位よりも小さいか、またはそれと同じサイズの符号化単位の映像を符号化または復号化する。符号化過程で周波数変換のための変換単位のサイズは、それぞれの符号化単位よりも大きくないデータ単位に基づいて選択される。

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００において、現在の符号化単位７１０が６４×６４サイズである時、３２×３２サイズの変換単位７２０を利用して、周波数変換が行われる。

また、６４×６４サイズの符号化単位７１０のデータを、６４×６４サイズ以下の３２×３２，１６×１６，８×８，４×４サイズの変換単位にそれぞれ周波数変換を行って符号化した後、原本との誤差が最も小さい変換単位が選択される。

図８は、本発明の一実施形態による深度別の符号化情報を示す。

一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに係る情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係る情報８００、予測モードに係る情報８１０、及び変換単位サイズに係る情報８２０を符号化して伝送する。

パーティションタイプに係る情報８００は、現在の符号化単位の予測符号化のためのデータ単位として、現在の符号化単位の予測単位が分割されたパーティションの形態に係る情報を表す。例えば、サイズ２Ｎ×２Ｎの現在の符号化単位ＣＵ＿０は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６、及びサイズＮ×Ｎのパーティション８０８のうちいずれか一つのタイプに分割されて利用される。その場合、現在の符号化単位のパーティションタイプに係る情報８００は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６、及びサイズＮ×Ｎのパーティション８０８のうち一つを表すように設定される。

予測モードに係る情報８１０は、それぞれのパーティションの予測モードを表す。例えば、予測モードに係る情報８１０を通じて、パーティションタイプに係る情報８００が表すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるかが設定される。

また、変換単位サイズに係る情報８２０は、現在の符号化単位を、どの変換単位に基づいて周波数変換を行うかを表す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、及び第２イントラ変換単位サイズ８２８のうち一つである。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、それぞれの深度別の符号化単位ごとに、パーティションタイプに係る情報８００、予測モードに係る情報８１０、及び変換単位サイズに係る情報８２０を抽出して、復号化に利用可能である。

図９は、本発明の一実施形態による深度別の符号化単位を示す。

深度の変化を表すために、分割情報が利用される。分割情報は、現在の深度の符号化単位が、下位深度の符号化単位に分割されるか否かを表す。

深度０及びサイズ２Ｎ＿０×２Ｎ＿０の符号化単位９００の予測符号化のための予測単位９１０は、サイズ２Ｎ＿０×２Ｎ＿０のパーティションタイプ９１２、サイズ２Ｎ＿０×Ｎ＿０のパーティションタイプ９１４、サイズＮ＿０×２Ｎ＿０のパーティションタイプ９１６、及びサイズＮ＿０×Ｎ＿０のパーティションタイプ９１８を含む。予測単位が対称的な割合で分割されたパーティション９１２，９１４，９１６，９１８のみが例示されているが、前述したように、パーティションタイプは、これらに限定されず、非対称的なパーティション、任意の形態のパーティション、幾何学的な形態のパーティションなどを含む。

パーティションタイプごとに、一つのサイズ２Ｎ＿０×２Ｎ＿０のパーティション、二つのサイズ２Ｎ＿０×Ｎ＿０のパーティション、二つのサイズＮ＿０×２Ｎ＿０のパーティション、及び四つのサイズＮ＿０×Ｎ＿０のパーティションごとに、反復的に予測符号化が行わなければならない。サイズ２Ｎ＿０×２Ｎ＿０、サイズＮ＿０×２Ｎ＿０、サイズ２Ｎ＿０×Ｎ＿０、及びサイズＮ＿０×Ｎ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０×２Ｎ＿０のパーティションのみに対して、予測符号化が行われる。

サイズ２Ｎ＿０×２Ｎ＿０、２Ｎ＿０×Ｎ＿０及びＮ＿０×２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最も小さければ、それ以上下位深度に分割する必要がない。

サイズＮ＿０×Ｎ＿０のパーティションタイプ９１８による符号化誤差が最も小さければ、深度０を１に変更して分割し（９２０）、深度２及びサイズＮ＿０×Ｎ＿０のパーティションタイプの符号化単位９３０に対して、反復的に符号化を行って、最小符号化誤差を検索する。

深度１及びサイズ２Ｎ＿１×２Ｎ＿１（＝Ｎ＿０×Ｎ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１×２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１×Ｎ＿１のパーティションタイプ９４４、サイズＮ＿１×２Ｎ＿１のパーティションタイプ９４６、及びサイズＮ＿１×Ｎ＿１のパーティションタイプ９４８を含む。

また、サイズＮ＿１×Ｎ＿１のパーティションタイプ９４８による符号化誤差が最も小さければ、深度１を２に変更して分割し（９５０）、深度２及びサイズＮ＿２×Ｎ＿２の符号化単位９６０に対して、反復的に符号化を行って、最小符号化誤差を検索する。

最大深度がｄである場合、深度別の分割情報は、深度がｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割されて（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９６、及びサイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８を含む。

パーティションタイプのうち、一つのサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、二つのサイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティション、二つのサイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、及び四つのサイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションごとに、反復的に予測符号化を通じた符号化が行われて、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さいとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在の最大符号化単位９００についての符号化深度が、深度ｄ−１として決定され、パーティションタイプは、Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）として決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２に対して、分割情報は設定されていない。

データ単位９９９は、現在の最大符号化単位についての‘最小単位’であると呼ばれる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位である。かかる反復的な符号化過程を通じて、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別の符号化誤差を比較して、最小符号化誤差が発生する深度を選択して、符号化深度を決定し、当該パーティションタイプ及び予測モードが、符号化深度の符号化モードとして設定される。

このように、深度０，１，…，ｄ−１，ｄの全ての深度別の最小符号化誤差を比較して、誤差が最も小さい深度が選択されて、符号化深度として決定される。符号化深度、予測単位のパーティションタイプ及び予測モードは、符号化モードに係る情報として符号化されて伝送される。また、深度０から符号化深度に達するまで、符号化単位が分割されなければならないので、符号化深度の分割情報のみが‘０’に設定され、符号化深度を除いた深度別の分割情報は、‘１’に設定されなければならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００についての符号化深度及び予測単位に係る情報を抽出して、符号化単位９１２を復号化するのに利用する。一実施形態によるビデオ復号化装置２００は、深度別の分割情報を利用して、分割情報が‘０’である深度を符号化深度として把握し、当該深度についての符号化モードに係る情報を利用して復号化する。

図１０、図１１及び図１２は、本発明の一実施形態による符号化単位、予測単位及び周波数変換単位の関係を示す。

符号化単位１０１０は、最大符号化単位に対して、一実施形態によるビデオ符号化装置１００が決定した符号化深度別の符号化単位である。予測単位１０６０は、符号化単位１０１０のうち、それぞれの符号化深度別の符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別の符号化単位の変換単位である。

深度別の符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４の深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２の深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８の深度が３、符号化単位１０４０，１０４２，１０４４，１０４６の深度が４である。

予測単位１０６０のうち、一部のパーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２Ｎ×Ｎのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎ×２Ｎのパーティションタイプであり、パーティション１０３２は、Ｎ×Ｎのパーティションタイプである。深度別の符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位よりも小さいか、またはそれと同じである。

変換単位１０７０のうち、一部の符号化単位１０５２の映像データについては、符号化単位に比べて小さいサイズのデータ単位で、周波数変換または周波数逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０のうち、当該予測単位及びパーティションと比較すれば、異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、同一な符号化単位についてのイントラ予測／動き推定／動き補償作業、及び周波数変換／逆変換作業であるとしても、それぞれ別途のデータ単位に基づいて行う。

これによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われて、最適符号化単位が決定されることによって、再帰的なツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係る分割情報、パーティションタイプ情報、予測モード情報、及び変換単位サイズ情報を含む。以下、表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定可能な一例を表す。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位についての符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位についての符号化情報を抽出する。

分割情報は、現在の符号化単位が下位深度の符号化単位に分割されるか否かを表す。現在の深度ｄの分割情報が０であれば、現在の符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度に対して、パーティションタイプ情報、予測モード及び変換単位サイズ情報が定義される。分割情報によってさらに分割されなければならない場合には、分割された四つの下位深度の符号化単位ごとに独立して符号化が行わなければならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで表す。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎ×２Ｎのみで定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が対称的な割合で分割された対称的なパーティションタイプ２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、及び非対称的な割合で分割された非対称的なパーティションタイプ２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、ｎＲ×２Ｎを表す。非対称的なパーティションタイプ２Ｎ×ｎＵ及び２Ｎ×ｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的なパーティションタイプｎＬ×２Ｎ及びｎＲ×２Ｎは、それぞれ幅が１：３及び３：１に分割された形態である。

変換単位サイズは、イントラモードで二種類のサイズに、インターモードで二種類のサイズに設定される。すなわち、変換単位分割情報が０であれば、変換単位サイズが、現在の符号化単位のサイズ２Ｎ×２Ｎに設定される。変換単位分割情報が１であれば、現在の符号化単位が分割されたサイズの変換単位が設定される。また、サイズ２Ｎ×２Ｎである現在の符号化単位についてのパーティションタイプが、対称的なパーティションタイプであれば、変換単位サイズは、Ｎ×Ｎ、非対称的なパーティションタイプであれば、変換単位サイズは、Ｎ／２×Ｎ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一な符号化情報を保有している予測単位及び最小単位を一つ以上含む。

したがって、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一な符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認できるので、最大符号化単位内の符号化深度の分布が類推される。

したがって、その場合、現在の符号化単位が、周辺データ単位を参照して予測する場合、現在の符号化単位に隣接する深度別の符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態として、現在の符号化単位が、周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別の符号化単位の符号化情報を利用して、深度別の符号化単位内で、現在の符号化単位に隣接するデータが検索されることによって、周辺符号化単位が参照されることも可能である。

図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す。

最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち一つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎ×２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６、Ｎ×Ｎ １３２８、２Ｎ×ｎＵ １３３２、２Ｎ×ｎＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち一つに設定される。

パーティションタイプ情報が、対称的なパーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６及びＮ×Ｎ １３２８のうち一つに設定されている場合、変換単位分割情報(TU size flag)が０であれば、サイズ２Ｎ×２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であれば、サイズＮ×Ｎの変換単位１３４４が設定される。

パーティションタイプ情報が、非対称的なパーティションタイプ２Ｎ×ｎＵ １３３２、２Ｎ×ｎＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち一つに設定されている場合、変換単位分割情報(TU size flag)が０であれば、サイズ２Ｎ×２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であれば、サイズＮ／２×Ｎ／２の変換単位１３５４が設定される。

以下、図４の本発明の一実施形態による映像符号化装置１００の動き予測部４２０、動き補償部４２５、及び図５の映像復号化装置２００の動き補償部５５０で行われる動き予測及び補償過程と、図４のエントロピー符号化部４５０及び図５のエントロピー復号化部５２０で行われる動き情報の符号化及び復号化過程について具体的に説明する。図１ないし図１３を参照して説明したように、予測単位は、符号化単位の予測符号化のためのデータ単位であって、以下の説明において、予測単位は、予測単位自体を意味するか、または予測単位を分割するパーティションを表す。

前述したように、予測単位は、イントラ予測モード、インター予測モード及びスキップモードなどの多様な予測モードを通じて符号化される。

インター予測モードにおいて、現在の予測単位は、単方向予測または双方向予測を通じて予測される。具体的に、Ｐスライス内に含まれた予測単位は、参照ピクチャリスト‘Ｌｉｓｔ０’に含まれた参照ピクチャ‘Ｌ０ピクチャ’、または参照ピクチャリスト‘Ｌｉｓｔ１’に含まれた参照ピクチャ‘Ｌ１ピクチャ’のうちいずれか一つのみを利用する単方向予測を通じて予測される。参照ピクチャリスト‘Ｌｉｓｔ０’に含まれた参照ピクチャ‘Ｌ０ピクチャ’を利用する予測方式を“ＬＯ予測”といい、参照ピクチャリスト‘Ｌｉｓｔ１’に含まれた参照ピクチャ‘Ｌ１ピクチャ’を利用する予測方式を“Ｌ１予測”という。参照ピクチャリスト‘Ｌｉｓｔ０’では、最近の過去ピクチャからそれ以前のピクチャの順に参照ピクチャインデックスが割り当てられ、その次の最も近い未来ピクチャからその後のピクチャの順に参照ピクチャインデックスが割り当てられる。参照ピクチャリスト‘Ｌｉｓｔ１’では、参照ピクチャリスト‘Ｌｉｓｔ０’と逆に、最も近い未来ピクチャからその後のピクチャの順に参照ピクチャインデックスが割り当てられ、その次の最近の過去ピクチャからその以前のピクチャの順に参照ピクチャインデックスが割り当てられる。

Ｂスライス内に含まれた予測単位は、単方向予測、または参照ピクチャリスト‘Ｌｉｓｔ０’に含まれた参照ピクチャ‘Ｌ０ピクチャ’と、参照ピクチャリスト‘Ｌｉｓｔ１’に含まれた参照ピクチャ‘Ｌ１ピクチャ’の平均値を利用する双方向予測を通じて予測される。動き予測部４２０で行われる双方向予測モードは、現在のピクチャの前後の参照ピクチャに制限されず、任意の二枚の参照ピクチャを使用可能であり、双予測モードと呼ばれる。

各予測モードによって獲得された予測値を符号化したコストが比較されて、最も小さいコストを有する予測モードが、現在の予測単位の最終的な予測モードとして決定される。コストの比較時には、率−歪曲に基づいて、現在の予測単位に適用される最終の予測モードが決定される。

復号化側でインター予測される予測単位の予測値を生成するように、インター予測される予測単位ごとに、どのピクチャを参照しているかに係る参照ピクチャ情報、動きベクトル情報、及び予測方向のような動き情報が伝送されなければならない。本発明の実施形態によれば、動き情報についての伝送オーバーヘッドを減少させるために、動き情報は、そのまま符号化されるものではなく、以前に符号化された周辺予測単位、または現在の予測単位と同一な位置の予測単位を利用して決定された以前のピクチャの予測単位の動き情報を利用して予測された動き情報を通じて符号化される。

本発明の実施形態によれば、符号化側と復号化側で予め決定された現在の予測単位と空間的及び時間的に関連した予測単位から獲得されたデフォルト動き情報の個数が、所定の個数よりも少ない場合、全体の動き情報の個数が所定の個数となるように、付加的に候補動き情報を生成する多様な方式が開示される。本発明の実施形態によって生成される付加的な候補動き情報の生成方式のうちいかなる生成方式を利用するかは、予め符号化側と復号化側で同一に設定されてもよく、多様な付加的な候補動き情報の生成方式を表す所定のインデックスを設定し、符号化時に利用された付加的な候補動き情報の生成方式についてのインデックスを、ＳＰＳ(Sequence Parameter Set)、ＰＰＳ(Picture Parameter Set)またはスライスヘッダに付加して伝送してもよい。

本発明において、動き情報のうち、動きベクトル情報を符号化する場合を中心に説明するが、本発明による思想は、それに限定されるものではなく、動きベクトル以外に、参照ピクチャ情報、予測方向情報などの他の動き情報を符号化する場合にも適用される。

以下、本発明の実施形態によって、予測単位の動き情報を符号化する方法及び装置、予測単位の動き情報を復号化する方法及び装置について具体的に説明する。

図１４は、本発明の一実施形態による動き情報符号化装置の構成を示すブロック図である。図１４を参照すれば、動き情報符号化装置１４００は、候補動き情報生成部１４１０及び動き情報符号化部１４２０を備える。図１４の動き情報符号化装置１４００は、図４のビデオ符号化装置４００に含まれる。例えば、図４の動き予測部４２０は、図１４の候補動き情報生成部１４１０の機能を行い、エントロピー復号化部４５０は、図１４の動き情報符号化部１４２０の機能を行う。これに限定されず、図４に示したビデオ符号化装置４００の他の構成要素や制御部（図示せず）などによって、図１４の動き情報符号化装置１４００の機能が行われる。候補動き情報生成部１４１０は、現在の予測単位と時空間的に関連した周辺予測単位が有する動き情報を利用して、候補動き情報を獲得する。特に、本発明の一実施形態による候補動き情報生成部１４１０は、予め設定された現在の予測単位と空間的に関連した周辺予測単位、及び時間的に関連した予測単位から、デフォルト候補動き情報を獲得する。デフォルト候補動き情報の個数が所定の個数ｎ（ｎは、整数）よりも少ない場合、候補動き情報生成部１４１０は、全体の候補動き情報の個数がｎとなるように、現在の予測単位と空間的に関連した予測単位、及び時間的に関連した予測単位が有する動き情報を変更、結合するか、または所定値を有する動き情報を付加することによって、全体ｎ個の候補動き情報を生成する。候補動き情報の生成過程については後述する。

動き情報符号化部１４２０は、ｎ個の候補動き情報のうち、現在の予測単位についての動き情報を決定し、決定された動き情報を表すインデックス情報を、現在の予測単位の動き情報として符号化する。具体的に、動き情報符号化部１４２０は、ｎ個の候補動き情報それぞれに、０から（ｎ−１）までの動き情報インデックスを割り当て、現在の予測単位の動き情報に対応するインデックスを、現在の予測単位の動き情報として符号化する。例えば、動き情報は、予測動きベクトルであり、ｎ＝２、すなわち、現在の予測単位の予測動きベクトル候補が二つに固定された場合、Ｌ０方向またはＬ１方向それぞれに対して、候補動き情報生成部１４１０で生成された二つの予測動きベクトル候補をそれぞれＭＶＬＸ＿Ｃａｎｄ０、ＭＶＬＸ＿Ｃａｎｄ１（Ｘは、０または１）とすれば、動き情報符号化部１４２０は、ＭＶＬＸ＿Ｃａｎｄ０を表す予測動きベクトルインデックスを０、ＭＶＬＸ＿Ｃａｎｄ１を表す予測動きベクトルインデックスを１に設定し、現在の予測単位についての符号化結果によって、最小コストを有する予測動きベクトルに対応するインデックスを、現在の予測単位の動きベクトル情報として符号化する。

動き情報符号化部１４２０は、予測動きベクトルインデックス以外に、現在の予測単位の元来の動きベクトルと予測動きベクトルとの差値、参照ピクチャ情報及び予測方向情報を符号化して、ビットストリームに付加する。

このように、符号化側で所定の規則によって、固定された個数の候補動き情報を獲得し、候補動き情報のうち一つの動き情報を表すインデックス情報を伝送する場合、復号化側では、符号化側と同一な規則によって、固定された個数の候補動き情報を生成し、伝送されたインデックス情報を利用して、現在の予測単位の動き情報を決定する。前述した例のように、動き情報が予測動きベクトルである場合、復号化側では、ビットストリームから、予測動きベクトルを表すインデックス、及び元来の動きベクトルと予測動きベクトルとの差値を獲得し、予測動きベクトルインデックスが表す予測動きベクトルと差値とを加算して、現在の予測単位の動きベクトルを復元する。また、復号化側では、復元された動きベクトルと、ビットストリームから獲得された参照ピクチャ情報及び予測方向情報（Ｌ０方向、Ｌ１方向）とを利用して、現在の予測単位の予測値を生成する。

図１５は、図１４の候補動き情報生成部１４１０の具体的な構成を示すブロック図である。図１５を参照すれば、候補動き情報生成部１４１０は、空間的な候補動き情報生成部１５１０、時間的な候補動き情報生成部１５２０、重複除去部１５３０及び付加的な候補動き情報生成部１５４０を備える。

空間的な候補動き情報生成部１５１０は、現在の予測単位と空間的に関連した予測単位の動き情報を利用して、候補動き情報を生成する。具体的に、空間的な候補動き情報生成部１５１０は、現在の予測単位の上側に位置した周辺予測単位を、所定の順序によって順次に検索して、動き情報を獲得する上側の候補動き情報生成部１５１１と、現在の予測単位の左側に位置した周辺予測単位を、所定の順序によって順次に検索して、動き情報を獲得する左側の候補動き情報生成部１５１２とを備える。

図１６は、本発明の一実施形態によって、現在の予測単位と空間的に関連した周辺予測単位を示す。図１６に示したところに限定されず、現在の予測単位の動き情報を予測するのに利用される現在の予測単位と空間的に関連した周辺予測単位として、他の空間的位置の周辺予測単位が利用されることも可能である。

図１６を参照すれば、空間的な候補動き情報生成部１５１０は、現在の予測単位１６１０の左側に位置した周辺予測単位のうち、現在の予測単位１６１０の左下側に位置した周辺予測単位Ａ０ １６２１と、左下側に位置した周辺予測単位Ａ０ １６２１の上側に位置した周辺予測単位Ａ１ １６２２とを、所定のスキャン順序によって検索して、周辺予測単位Ａ０，Ａ１のうち、利用可能な動き情報を有する最初の予測単位の動き情報を、左側の候補動き情報として決定する。また、空間的な候補動き情報生成部１５１０は、現在の予測単位１６１０の上側に位置した周辺予測単位のうち、現在の予測単位１６１０の右上側に位置した周辺予測単位Ｂ０ １６３１と、右上側に位置した周辺予測単位Ｂ０ １６３１の左側に位置した周辺予測単位Ｂ１ １６３２と、現在の予測単位１６１０の左上側に位置した周辺予測単位Ｂ２ １６３３とを検索して、最初に検索された利用可能な動き情報を有する予測単位の動き情報を、上側の候補動き情報として決定する。このように、空間的な候補動き情報生成部１５１０は、現在の予測単位１６１０の周辺に位置した全ての予測単位を検索せず、基本的に予め設定された所定の周辺予測単位Ａ０，Ａ１，Ｂ０，Ｂ１，Ｂ２のみに対して、動き情報を検索することによって、演算の複雑度を減少させる。前述したように、空間的な候補動き情報を獲得するために検索される周辺予測単位の位置と個数は変更可能である。ただし、復号化側で、現在の予測単位の動き情報を復元するためには、符号化側と復号化側で空間的な候補動き情報を獲得するために検索される周辺予測単位の位置と個数は、予め設定されることが望ましい。

動き情報の例として、現在の予測単位の動きベクトルの予測動きベクトルを、空間的に関連した周辺予測単位から決定する過程を説明する。

図１５及び図１６を参照すれば、左側の候補動き情報生成部１５１２は、周辺予測単位Ａ０ １６２１及びＡ１ １６２２の動きベクトルの利用可能性如何を順次にチェックして、利用可能な動きベクトルを有する周辺予測単位の動きベクトルを、左側の候補動きベクトルとして決定する。ここで、動きベクトルの利用可能性は、周辺予測単位が現在の予測単位と同一な参照ピクチャリスト内の同一な参照ピクチャを表す動きベクトルを有するか否かを表す。例えば、現在の予測単位１６１０の動きベクトルが、Ｌ０リスト内のＲ０参照インデックスを有する参照ピクチャ（Ｌ０Ｒ０ピクチャ）を表す動きベクトルとする時、周辺予測単位Ａ０ １６２１がイントラ予測された予測単位であるか、または現在の予測単位１６１０と異なる参照ピクチャリストに含まれた参照ピクチャを表す動きベクトルを有するか、または同一な参照ピクチャリストの他の参照ピクチャを表す動きベクトルを有する場合には、周辺予測単位Ａ０ １６２１は、利用可能な動きベクトルを有していないものと判断される。周辺予測単位Ａ１ １６２２が、現在の予測単位１６１０と同一な参照ピクチャリスト内の同一な参照ピクチャを表す動きベクトルを有する場合、周辺予測単位Ａ１ １６２２の動きベクトルは、左側の候補動きベクトルとして決定される。

同様に、上側の候補動き情報生成部１５１１は、周辺予測単位Ｂ０ １６３１、Ｂ１ １６３２及びＢ２ １６３３の動きベクトルの利用可能性如何を順次にチェックして、現在の予測単位１６１０と同一な参照ピクチャリスト内の同一な参照ピクチャを表す周辺予測単位の動きベクトルを、上側の候補動きベクトルとして決定する。

空間的な候補動き情報生成部１５１０は、周辺予測単位のうち、利用可能な動きベクトルを有する周辺予測単位が存在しない場合には、同一な参照ピクチャリストの他の参照ピクチャを表す周辺予測単位の動きベクトル、または異なる参照ピクチャリストに含まれた参照ピクチャを表す周辺予測単位の動きベクトルをスケーリングして、現在の予測単位の予測動きベクトル候補として利用する。

図１７Ａは、本発明の一実施形態によって、スケーリングされた空間的な予測動きベクトル候補を決定する過程を説明するための参照図である。図１７Ａを参照すれば、現在の予測単位１７３１の動きベクトルＭＶＬ０＿Ｃｕｒは、Ｌ０リスト内のＲ０参照インデックスを有する参照ピクチャであるＬ０Ｒ０ピクチャ１７２０を表し、Ａ０は、イントラ予測された予測単位、Ａ１は、Ｌ１リスト内のＲ０参照インデックスを有する参照ピクチャであるＬ１Ｒ０ピクチャ１７４０を表す動きベクトルｍｖＬ１＿Ａ１を有し、Ｂ０は、イントラ予測された予測単位、Ｂ１は、Ｌ１リスト内のＲ１参照インデックスを有する参照ピクチャであるＬ１Ｒ１ピクチャ１７５０を表す動きベクトルｍｖＬ１＿Ｂ１を有し、Ｂ２は、Ｌ０リスト内のＲ１参照インデックスを有する参照ピクチャであるＬ０Ｒ１ピクチャを表す動きベクトルｍｖＬ０＿Ｂ２を有する。図１７Ａにおいて、現在の予測単位１７３１の周辺予測単位のうちいかなる予測単位も、現在の予測単位１７３１の動きベクトルｍｖＬ０＿Ｃｕｒと同様に、Ｌ０Ｒ０ピクチャ１７２０を有する動きベクトルを有していない。このように、周辺予測単位のうち、現在の予測単位１７３１の動きベクトルが表す参照ピクチャと同一な参照ピクチャを表す動きベクトルを有する周辺予測単位が存在しない場合、空間的な候補動き情報生成部１５１０は、周辺予測単位のうち、インター予測される予測単位の動きベクトルが表す参照ピクチャと、現在の予測単位の動きベクトルが表す参照ピクチャとの間の時間的距離に基づいて、インター予測される予測単位の動きベクトルをスケーリングし、スケーリングされた動きベクトルを、候補動きベクトルに付加する。すなわち、空間的な候補動き情報生成部１５１０は、周辺予測単位の動きベクトルのうち、現在の予測単位１７３１と同一な参照ピクチャリスト内の他の参照インデックスを有する参照ピクチャを表す周辺予測単位の動きベクトルを、候補動きベクトルに付加するか、または現在の予測単位１７３１と同一な参照ピクチャリスト内の他の参照インデックスを有する参照ピクチャを表す周辺予測単位の動きベクトルも存在しない場合には、現在の予測単位１７３１と異なる参照ピクチャリスト内の参照ピクチャを表す周辺予測単位の動きベクトルを、候補動きベクトルに付加する。

例えば、空間的な候補動き情報生成部１５１０は、イントラ予測された周辺予測単位Ａ０は除いて、周辺予測単位Ａ１の動きベクトルｍｖＬ１＿Ａ１を、現在のピクチャ１７３０と、現在の予測単位１７３１の動きベクトルｍｖＬ０＿Ｃｕｒが表すＬ０Ｒ０ピクチャ１７２０との間の時間的距離、及び現在のピクチャ１７３０と、周辺予測単位Ａ１の動きベクトルｍｖＬ１＿Ａ１が表すＬ１Ｒ０ピクチャ１７４０との時間的距離を考慮してスケーリングし、スケーリングされた動きベクトルｍｖＬ１＿Ａ１’を、左側の動きベクトル候補として決定する。

また、空間的な候補動き情報生成部１５１０は、上側の動きベクトル候補として、他の参照ピクチャリスト内の参照ピクチャであるＬ１Ｒ１ピクチャ１７５０を表す周辺予測単位Ｂ１の動きベクトルｍｖＬ１＿Ｂ１の代わりに、現在の予測単位１７３１の動きベクトルｍｖＬ０＿Ｃｕｒと同一な参照ピクチャリスト内の他の参照インデックスを有する参照ピクチャであるＬ０Ｒ１ピクチャ１７１０を表す周辺予測単位Ｂ２の動きベクトルｍｖＬ０＿Ｂ２をスケーリングして、上側の動きベクトル候補を決定する。すなわち、空間的な候補動き情報生成部１５１０は、スケーリングする周辺予測単位の動きベクトルを決定する時、現在の予測単位の動きベクトルと同一な参照ピクチャリストに含まれた参照ピクチャを表す周辺予測単位の動きベクトルを先に決定した後、同一な参照ピクチャリストに含まれた参照ピクチャを表す周辺予測単位の動きベクトルが存在しない場合には、他の参照ピクチャリストに含まれた参照ピクチャを表す周辺予測単位の動きベクトルを、スケーリングする動きベクトルとして決定する。空間的な候補動き情報生成部１５１０は、周辺予測単位Ｂ２の動きベクトルｍｖＬ０＿Ｂ２を、現在のピクチャ１７３０と、現在の予測単位１７３１の動きベクトルｍｖＬ０＿Ｃｕｒが表すＬ０Ｒ０ピクチャ１７２０との間の時間的距離、及び現在のピクチャ１７３０と、周辺予測単位Ｂ２の動きベクトルｍｖＬ０＿Ｂ２が表すＬ０Ｒ１ピクチャ１７１０との間の時間的距離を考慮してスケーリングし、スケーリングされた動きベクトルｍｖＬ０＿Ｂ２′を、上側の動きベクトル候補として決定する。

図１８は、本発明の一実施形態によって、周辺予測単位の動きベクトルをスケーリングして、現在の予測単位の予測動きベクトル候補を生成する方式を説明するための参照図である。

前述したように、現在の予測単位の周辺予測単位のうち、現在の予測単位と同一な動きベクトル、すなわち、同一な参照ピクチャリスト内に存在する同一な参照インデックスを有する参照ピクチャを表す動きベクトルが存在しない場合、同一な参照ピクチャリスト内の他の参照ピクチャを参照する周辺予測単位（図１８の予測単位Ｂｎ）の動きベクトルＭＶ（Ｂｎ）をスケーリングするか、または他の参照ピクチャリスト内の参照ピクチャを参照する周辺予測単位（図１８の予測単位Ａｎ）の動きベクトルＭＶ（Ａｎ）をスケーリングして、現在の予測単位の予測動きベクトル候補に付加される。具体的に、現在のピクチャと、現在の予測単位の動きベクトルＭＶＬ０＿Ｃｕｒが表す参照ピクチャ（Ｌ０Ｒ０ピクチャ）との間の時間的距離をｄ（ｃｕｒ）とし、現在のピクチャと、予測単位Ｂｎの動きベクトルＭＶ（Ｂｎ）が表す参照ピクチャ（Ｌ０Ｒ１ピクチャ）との間の時間的距離をｄ（Ｂｎ）とすれば、予測単位Ｂｎの動きベクトルＭＶ（Ｂｎ）は、次の数式；ＭＶ（Ｂｎ）′＝ＭＶ（Ｂｎ）＊｛ｄ（ｃｕｒ）／ｄ（Ｂｎ）｝のようにスケーリングされ、スケーリングされた動きベクトルＭＶ（Ｂｎ）′は、現在の予測単位の予測動きベクトル候補に付加される。同様に、現在のピクチャと、予測単位Ａｎの動きベクトルＭＶ（Ａｎ）が表す参照ピクチャ（Ｌ１Ｒ１ピクチャ）との間の時間的距離をｄ（Ａｎ）とすれば、予測単位Ａｎの動きベクトルＭＶ（Ａｎ）は、次の数式；ＭＶ（Ａｎ）’＝ＭＶ（Ａｎ）＊｛ｄ（ｃｕｒ）／ｄ（Ａｎ）｝のようにスケーリングされ、スケーリングされた動きベクトルＭＶ（Ａｎ）’は、現在の予測単位の予測動きベクトル候補に付加される。

かかるスケーリングされた動きベクトルを、空間的な動きベクトル候補に含めるか否かは、特定の条件を考慮して決定される。例えば、空間的な候補動き情報生成部１５１０は、現在の予測単位の左側に隣接した周辺予測単位Ａ０及びＡ１のうちいずれか一つがイントラ予測された場合にのみ、周辺予測単位Ｂ０、Ｂ１及びＢ２のうち、インター予測された予測単位の動きベクトルをスケーリングして、上側の動きベクトル候補に含める。言い替えれば、スケーリングされた動きベクトルを、空間的な予測動きベクトル候補に含めるか否かは、予め設定された特定の条件を満たすか否かによって選択的に行われる。特定の条件は、設計可能な事項であって、前述した例に限定されず、多様な方式により設定可能である。

一方、前述した例では、空間的な候補動き情報生成部１５１０が、現在の予測単位と空間的に関連した上側の予測単位及び左側の予測単位を検索する時、Ａ０→Ａ１の順に左側の周辺予測単位を検索するか、またはＢ０→Ｂ１→Ｂ２の順に上側の周辺予測単位を検索したが、かかるスキャン順序に限定されず、空間的な候補動き情報生成部１５１０は、他のスキャン順序、例えば、Ａ１→Ｂ１→Ｂ０→Ａ０→Ｂ２の順に上側及び左側の基準なしに周辺予測単位を検索して、各周辺予測単位の動き情報を、現在の予測単位の動き情報として利用するか否かを決定する。

また、空間的な候補動き情報生成部１５１０は、空間的な候補動き情報を生成する時、前述したように、周辺予測単位を所定のスキャン順序によって検索せず、別途のスキャン順序なしに現在の予測単位の上側及び左側に位置した所定の予測単位、例えば、予測単位Ａ０，Ａ１，Ｂ０，Ｂ１，Ｂ２の全部についての動き情報の利用可能性をチェックした後、予測単位Ａ０，Ａ１，Ｂ０，Ｂ１，Ｂ２が有する動き情報のうち、利用可能な動き情報を、いずれも空間的な動き情報候補に含める。

再び図１５を参照すれば、時間的な候補動き情報生成部１５２０は、現在の予測単位と時間的に関連した予測単位、すなわち、以前に符号化された以前のピクチャの予測単位のうち、現在の予測単位の位置を基準として関連した予測単位の動き情報を利用して、時間的な候補動き情報を生成する。

図１９は、本発明の一実施形態による時間的な候補動き情報を生成する過程を説明するための参照図である。

図１５及び図１９を参照すれば、時間的な候補動き情報生成部１５２０は、現在のピクチャ１９１０以前に符号化された参照ピクチャ１９２０の予測単位のうち、現在の予測単位１９１１と同一な位置の参照ピクチャ１９２０の予測単位１９２１の右側下端に位置した予測単位１９２４が有する動き情報を利用して、時間的な候補動き情報を生成する。例えば、動き情報を予測動きベクトルとする時、時間的な候補動き情報生成部１５２０は、予測単位１９２４の動きベクトルをスケーリングして、時間的な動きベクトル候補を生成する。時間的な予測動きベクトルのスケーリング過程は、前述した図１８のように、Ｌ０Ｒ０ピクチャ１９２０と、Ｌ１Ｒ０参照ピクチャ１９３０との間の時間的距離、及び現在のピクチャ１９１０と、Ｌ１Ｒ０参照ピクチャ１９３０との間の時間的距離に基づいて行われる。

右側下端に位置した予測単位１９２４がイントラ予測されて、動きベクトルを利用できない場合、時間的な候補動き情報生成部１５２０は、現在の予測単位１９１１の中心位置のポイントＣ １９１２と同一な位置の参照ピクチャ１９２０のポイントＣ’ １９２２を含む予測単位１９２１の動きベクトルをスケーリングして、時間的な予測動きベクトルを生成する。すなわち、時間的な候補動き情報生成部１５２０は、以前のピクチャの予測単位のうち、現在の予測単位と同一な位置の予測単位の右側下端に位置した予測単位の動き情報の利用可能性如何を先に検索した後、利用できない場合、現在の予測単位の中心位置と同一な位置のポイントを含む予測単位の動き情報の利用可能性如何を順次に判断して、利用可能な予測単位の動き情報を、時間的な候補動き情報に含める。時間的な候補動き情報を生成するために検索される以前のピクチャの予測単位の位置と個数は、図示したところに限定されず、変更可能である。また、時間的な候補動き情報生成部１５２０は、時間的な候補動き情報を生成する時、前述したように、以前のピクチャの予測単位の動き情報の利用可能性如何を、所定の順序によってチェックせず、現在の予測単位と同一な位置の予測単位の右側下端に位置した予測単位の動き情報の利用可能性、及び現在の予測単位の中心位置と同一な位置のポイントを含む予測単位の動き情報の利用可能性を全てチェックした後、利用可能な以前のピクチャの予測単位の動き情報を、全て時間的な候補動き情報に含める。

再び図１５を参照すれば、重複除去部１５３０は、空間的な候補動き情報と、時間的な候補動き情報の同一性如何を判断して、重複動き情報を、候補動き情報から除去する。前記重複除去部１５３０は、演算の複雑度を減少させるために含まれなくてもよい。すなわち、重複性チェックはスキップされてもよい。

このように、空間的な候補動き情報生成部１５１０及び時間的な候補動き情報生成部１５２０により生成された候補動き情報の個数は、所定のｎ個に達しないことがある。前述した例において、現在の予測単位の上側または左側に隣接した周辺予測単位が全てイントラ予測された場合や、時間的な候補動き情報生成部１５２０で検索される以前のピクチャの所定の位置の予測単位がイントラ予測された場合、ｎ個未満の候補動き情報が生成される。

付加的な候補動き情報生成部１５４０は、空間的な候補動き情報生成部１５１０及び時間的な候補動き情報生成部１５２０により生成された候補動き情報の個数が、所定のｎ個よりも少ない場合、候補動き情報の全体個数がｎ個となるように、利用可能な空間的予測単位及び時間的予測単位の動き情報を利用して、付加的な候補動き情報を生成する。

以下、付加的な候補動き情報生成部１５４０で付加的な候補動き情報を生成する多様な実施形態について説明する。

付加的な候補動き情報生成部１５４０は、空間的な候補動き情報生成部１５１０で、現在の予測単位の周辺予測単位の利用可能性を順次に検索する時、先に検索された利用可能な周辺予測単位以後に検索される予測単位の動き情報を利用して、付加的な候補動き情報を生成する。

図１７Ｂは、本発明の一実施形態によって、現在の予測単位と空間的に関連した予測単位を利用した付加的な候補動き情報を生成する過程を説明するための参照図である。

図１７Ｂを参照すれば、付加的な候補動き情報生成部１５４０は、周辺予測単位Ａ０，Ａ１，Ｂ０，Ｂ１，Ｂ２のうち利用可能な動き情報を有するが、スキャン順序によって先にスキャンされた他の予測単位よりも後で検索されて、候補動き情報に含まれない予測単位の動き情報を、付加的な候補動き情報として生成する。

例えば、空間的な候補動き情報生成部１５１０で生成された左側の候補動き情報をＬｅｆｔ、上側の候補動き情報をＡｂｏｖｅ、時間的な候補動き情報生成部１５２０で生成された時間的な候補動き情報をＴｅｍｐｏｒａｌと仮定する。付加的な候補動き情報生成部１５４０は、候補動き情報Ｌｅｆｔ、Ａｂｏｖｅ、Ｔｅｍｐｏｒａｌの利用可能性、すなわち、存在如何をチェックして、候補動き情報の個数が既定の三つ（ｎ＝３である場合）であるか否かを判断する。そして、付加的な候補動き情報生成部１５４０は、候補動き情報の個数が所定の個数未満である場合、先に検索された利用可能な周辺予測単位以後に検索される予測単位の動き情報を利用して、付加的な候補動き情報を生成する。

前述したように、空間的な候補動き情報生成部１５１０は、空間的な候補動き情報を生成する時、別途のスキャン順序なしに、現在の予測単位の上側及び左側に位置した所定の予測単位、例えば、予測単位Ａ０，Ａ１，Ｂ０，Ｂ１，Ｂ２の全部についての動き情報の利用可能性をチェックした後、予測単位Ａ０，Ａ１，Ｂ０，Ｂ１，Ｂ２が有する動き情報のうち、利用可能な動き情報を、全て空間的な動き情報候補に含める。その場合、付加的な候補動き情報生成部１５４０は、候補動き情報の個数が所定の個数未満である場合、例えば、五つ未満である場合、利用可能な予測単位の動き情報を利用して、付加的な候補動き情報を生成する。

左側の候補動き情報が存在せず、周辺予測単位Ｂ０，Ｂ１及びＢ２の動き情報が利用可能である場合を仮定する。図１７Ｂに示したように、所定のスキャン順序によって先に検索された周辺予測単位Ｂ０の動き情報が、上側の候補動き情報として選択され、周辺予測単位Ｂ１及びＢ２の動き情報は、デフォルト動き情報に含まれない。周辺予測単位Ａ０及びＡ１が利用可能な動き情報を有していないので、全体の候補動き情報の個数が所定の個数に達しない場合、付加的な候補動き情報生成部１５４０は、周辺予測単位Ｂ１またはＢ２の動き情報を、付加的な候補動き情報に含める。

同様に、上側の候補動き情報が存在せず、左側の周辺予測単位Ａ０及びＡ１の動き情報が利用可能である場合ならば、左側の動き情報として、先に検索された周辺予測単位Ａ０の動き情報が選択され、以後に検索される周辺予測単位Ａ１の動き情報は、デフォルト動き情報に含まれない。しかし、周辺予測単位Ｂ０，Ｂ１及びＢ２が利用可能な動き情報を有していないので、全体の候補動き情報の個数が所定の個数に達しない場合、周辺予測単位Ａ１の動き情報が、付加的な候補動き情報に含まれる。

他の実施形態として、付加的な候補動き情報生成部１５４０は、時間的な候補動き情報生成部１５２０で、現在の予測単位と時間的に関連した以前のピクチャの予測単位の利用可能性を順次に検索する時、利用可能な動き情報を有する最初の以前のピクチャの予測単位を除いた残りの以前のピクチャの予測単位のうち、動き情報を有する以前のピクチャの予測単位の動き情報をスケーリングして、付加的な候補動き情報に含める。

再び図１９を参照すれば、時間的な候補動き情報生成部１５２０は、現在のピクチャ１９１０以前に符号化された参照ピクチャ１９２０の予測単位のうち、現在の予測単位１９１１と同一な位置の参照ピクチャ１９２０の予測単位１９２１の右側下端に位置した予測単位１９２４の動き情報の利用可能性をチェックした後、現在の予測単位１９１１の中心位置のポイントＣ １９１２と同一な位置の参照ピクチャ１９２０のポイントＣ’ １９２２を含む予測単位１９２１の動き情報の利用可能性を判断する。右側下端に位置した予測単位１９２４が利用可能な動き情報を有する場合、右側下端に位置した予測単位１９２４の動き情報が、デフォルト候補動き情報に含まれ、同一な位置の参照ピクチャ１９２０のポイントＣ′ １９２２を含む予測単位１９２１の動き情報は、デフォルト候補動き情報に含まれない。付加的な候補動き情報生成部１５４０は、全体の候補動き情報の個数が所定の個数未満である場合、かかる同一な位置の参照ピクチャ１９２０のポイントＣ′ １９２２を含む予測単位１９２１の動き情報を、付加的な候補動き情報に含める。すなわち、付加的な候補動き情報生成部１５４０は、以前のピクチャの予測単位のうち、デフォルト候補動き情報に含まれない予測単位の動き情報を、付加的な候補動き情報に含める。

さらに他の実施形態として、付加的な候補動き情報生成部１５４０は、既定の値を有する所定の動き情報を、付加的な候補動き情報に含める。例えば、動き情報が予測動きベクトルである場合、付加的な候補動き情報生成部１５４０は、候補動き情報の個数が所定の個数に達しない場合、（０，０），（０，１），（１，０）などの既定の成分値を有する動きベクトルを、候補動きベクトルに含める。

さらに他の実施形態として、付加的な候補動き情報生成部１５４０は、利用可能な空間的予測単位及び時間的予測単位の動き情報が、Ｌ０予測及びＬ１予測の双方向動きベクトル情報を含む場合、Ｌ０予測の動きベクトル及びＬ１予測の動きベクトルに、所定のオフセットを加減することによって、付加的な候補動き情報を生成する。

図２０Ａ及び図２０Ｂは、本発明の他の実施形態によって、利用可能な予測単位の動き情報を利用して、付加的な候補動き情報を生成する過程を説明するための図面である。図２１Ａ及び図２１Ｂは、それぞれ図２０Ａ及び図２０Ｂの付加的な候補動き情報が生成される場合の現在のピクチャと参照ピクチャの位置関係を示す図面である。

図２０Ａ及び図２１Ａを参照すれば、現在の予測単位の上側に位置した予測単位のうち予測単位Ｂ１が、Ｌ０方向の参照ピクチャであるＬ０Ｒ０ピクチャ２１１０を表す動きベクトルｍｖＬ０＿Ｂ１と、Ｌ１方向の参照ピクチャであるＬ１Ｒ０ピクチャ２１２０を表す動きベクトルｍｖＬ１＿Ｂ１とを有し、現在のピクチャ２１００がＬ０Ｒ０ピクチャ２１１０とＬ１Ｒ０ピクチャ２１２０との間に位置する場合、付加的な候補動き情報生成部１５４０は、Ｌ０予測の動きベクトルｍｖＬ０＿Ｂ１と、Ｌ１予測の動きベクトルｍｖＬ１＿Ｂ１に、絶対値は同じであり、符号が異なる所定のオフセットを加算して、新たな動きベクトルを生成し、生成された動きベクトルを、付加的な候補動き情報に含める。すなわち、図２０Ａに示したように、付加的な候補動き情報生成部１５４０は、Ｌ０予測の動きベクトルｍｖＬ０＿Ｂ１に、所定のオフセットｍｖ＿ｏｆｆｓｅｔを加えて生成された動きベクトルｍｖＬ０’を、Ｌ０方向の付加的な候補動きベクトルに含め、Ｌ１予測の動きベクトルｍｖＬ１＿Ｂ１から、オフセットｍｖ＿ｏｆｆｓｅｔを減算した動きベクトルｍｖＬ１’を、Ｌ１方向の付加的な候補動きベクトルに含める。

このように、利用可能な周辺予測単位から獲得された双方向動き情報に含まれたＬ０方向の動きベクトルＬｉｓｔ０ＭＶは、（ｍｘ０，ｍｙ０）の値を有し、Ｌ１方向の動きベクトルＬｉｓｔ１ＭＶは、（ｍｘ１，ｍｙ１）の値を有し、現在のピクチャがＬ１方向の参照ピクチャと、Ｌ０方向の参照ピクチャとの間に存在する場合、付加的な候補動き情報生成部１５４０は、下記のように、Ｌ０予測の動きベクトルと、Ｌ１予測の動きベクトルに、所定のオフセットを加減することによって、付加的な候補動き情報を生成する。

List0MV=(mx0+offset, my0), List1MV=(mx0-offset, my0);
List0MV=(mx0-offset, my0), List1MV=(mx0+offset, my0);
List0MV=(mx0, my0+offset), List1MV=(mx0, my0-offset);
List0MV=(mx0, my0-offset), List1MV=(mx0, my0+offset);
List0MV=(mx0+offset, my0+offset), List1MV=(mx0-offset, my0-offset);
List0MV=(mx0+offset, my0-offset), List1MV=(mx0-offset, my0+offset);
List0MV=(mx0-offset, my0+offset), List1MV=(mx0+offset, my0-offset);
List0MV=(mx0-offset, my0-offset), List1MV=(mx0+offset, my0+offset)
図２０Ｂ及び図２１Ｂを参照すれば、現在の予測単位の上側に位置した予測単位のうち予測単位Ｂ１が、Ｌ０方向の参照ピクチャであるＬ１Ｒ０ピクチャ２１４０を表す動きベクトルｍｖＬ１Ｒ０＿Ｂ１と、Ｌ１方向の参照ピクチャであるＬ１Ｒ１ピクチャ２１５０を表す動きベクトルｍｖＬ１Ｒ１＿Ｂ１とを有し、現在のピクチャ２１３０を基準として、Ｌ１Ｒ０ピクチャ２１４０及びＬ１Ｒ１ピクチャ２１５０が同一な方向に位置する場合、付加的な候補動き情報生成部１５４０は、Ｌ０予測の動きベクトルｍｖＬ１Ｒ０＿Ｂ１と、Ｌ１予測の動きベクトルｍｖＬ１Ｒ１＿Ｂ１に、同一なオフセットを加減して、新たな動きベクトルを生成し、生成された動きベクトルを、付加的な候補動き情報に含める。すなわち、図２０Ｂに示したように、付加的な候補動き情報生成部１５４０は、Ｌ０予測の動きベクトルｍｖＬ１Ｒ０＿Ｂ１に、所定のオフセットｍｖ＿ｏｆｆｓｅｔを加えて生成された動きベクトルｍｖＬ０’を、Ｌ０方向の付加的な候補動きベクトルに含め、Ｌ１予測の動きベクトルｍｖＬ１Ｒ１＿Ｂ１に、同一なオフセットｍｖ＿ｏｆｆｓｅｔを加えて生成された動きベクトルｍｖＬ１’を、Ｌ１方向の付加的な候補動きベクトルに含める。

このように、利用可能な周辺予測単位から獲得されたＬ０方向の動きベクトルＬｉｓｔ０ＭＶは、（ｍｘ０，ｍｙ０）の値を有し、Ｌ１方向の動きベクトルＬｉｓｔ１ＭＶは、（ｍｘ１，ｍｙ１）の値を有し、現在のピクチャを基準として、Ｌ１方向の参照ピクチャと、Ｌ０方向の参照ピクチャとが同一な方向に存在する場合、付加的な候補動き情報生成部１５４０は、下記のように、Ｌ０予測の動きベクトルと、Ｌ１予測の動きベクトルに、同一なオフセットを加減することによって、付加的な候補動き情報を生成する。

List0MV=(mx0+offset, my0), List1MV=(mx0+offset, my0);
List0MV=(mx0-offset, my0), List1MV=(mx0-offset, my0);
List0MV=(mx0, my0+offset), List1MV=(mx0, my0+offset);
List0MV=(mx0, my0-offset), List1MV=(mx0, my0-offset);
List0MV=(mx0+offset, my0+offset), List1MV=(mx0+offset, my0+offset);
List0MV=(mx0+offset, my0-offset), List1MV=(mx0+offset, my0-offset);
List0MV=(mx0-offset, my0+offset), List1MV=(mx0-offset, my0+offset);
List0MV=(mx0-offset, my0-offset), List1MV=(mx0-offset, my0-offset)
他の実施形態において、付加的な候補動き情報生成部１５４０は、利用可能な空間的予測単位及び時間的予測単位の動き情報を変更することによって、付加的な候補動き情報を生成する。付加的な候補動き情報生成部１５４０は、利用可能な空間的予測単位及び時間的予測単位の動き情報が、Ｌ０予測及びＬ１予測の双方向動きベクトル情報を含む場合、Ｌ０予測及びＬ１予測を分離して生成された単方向動き情報を、付加的な候補動き情報に含める。例えば、利用可能な空間的予測単位及び時間的予測単位から獲得された双方向動き情報が、Ｌ０方向の動きベクトルＬｉｓｔ０ＭＶ、及びＬ０方向の参照ピクチャを表す参照ピクチャインデックスＬｉｓｔ０ＲＥＦを含むＬ０方向の動き情報と、Ｌ１方向の動きベクトルＬｉｓｔ１ＭＶ、及びＬ１方向の参照ピクチャを表す参照ピクチャインデックスＬｉｓｔ１ＲＥＦを含むＬ１方向の動き情報とを含むと仮定する。付加的な候補動き情報生成部１５４０は、かかる双方向動き情報を分離して、二つの単方向動き情報を生成して、付加的な候補動き情報に含める。すなわち、付加的な候補動き情報生成部１５４０は、双方向動き情報を、｛Ｌ０方向の動きベクトルＬｉｓｔ０ＭＶ、及びＬ０方向の参照ピクチャを表す参照ピクチャインデックスＬｉｓｔ０ＲＥＦ｝を含むＬ０方向の単方向動き情報と、｛Ｌ１方向の動きベクトルＬｉｓｔ１ＭＶ、及びＬ１方向の参照ピクチャを表す参照ピクチャインデックスＬｉｓｔ１ＲＥＦ｝を含むＬ１方向の単方向動き情報とに分離し、分離された各単方向動き情報を、付加的な候補動き情報に含める。

また、付加的な候補動き情報生成部１５４０は、利用可能な空間的予測単位及び時間的予測単位の動き情報が、Ｌ０方向の動き情報またはＬ１方向の動き情報のうち一つの単方向動き情報を含む場合、Ｌ０方向及びＬ１方向の単方向動き情報を結合して生成された双方向動き情報を、付加的な候補動き情報に含める。例えば、現在の予測単位と時空間的に関連した予測単位から獲得された動き情報として、｛Ｌ０方向の動きベクトルＬｉｓｔ０ＭＶ、及びＬ０方向の参照ピクチャを表す参照ピクチャインデックスＬｉｓｔ０ＲＥＦ｝を含むＬ０方向の単方向動き情報と、｛Ｌ１方向の動きベクトルＬｉｓｔ１ＭＶ、及びＬ１方向の参照ピクチャを表す参照ピクチャインデックスＬｉｓｔ１ＲＥＦ｝を含むＬ１方向の単方向動き情報とがそれぞれ存在する場合、かかるＬ０方向及びＬ１方向の単方向動き情報を結合して、双方向動き情報を生成し、生成された双方向動き情報を、付加的な候補動き情報に含める。

また、付加的な候補動き情報生成部１５４０は、Ｌ０方向及びＬ１方向のうちいずれか一つの単方向動き情報に、所定の値を有する動きベクトルと、参照インデックスとを付加して、他の方向の単方向動き情報を生成することによって獲得された双方向動き情報を、付加的な候補動き情報に含める。例えば、現在の予測単位と時空間的に関連した予測単位から獲得された動き情報として、｛Ｌ０方向の動きベクトルＬｉｓｔ０ＭＶ、及びＬ０方向の参照ピクチャを表す参照ピクチャインデックスＬｉｓｔ０ＲＥＦ｝を含むＬ０方向の単方向動き情報のみが存在する場合、付加的な候補動き情報生成部１５４０は、（０，０）のような所定の値を有する動きベクトルを、Ｌ１方向の動きベクトルＬｉｓｔ１ＭＶに設定し、Ｌ１方向の参照ピクチャを表す参照ピクチャインデックスＬｉｓｔ１ＲＥＦを、所定の値０に設定することによって、Ｌ１方向の動き情報を新設し、新設されたＬ１方向の動き情報と、既存のＬ０方向の動き情報とを結合して生成された双方向動き情報を、付加的な候補動き情報に含める。

一方、付加的な候補動き情報生成部１５４０は、利用可能な予測単位の動き情報のうち動きベクトル情報のみを、利用可能な予測単位を利用して生成し、残りの参照方向（予測方向）情報や参照ピクチャインデックスは、別途に設定可能である。その場合、付加的な候補動き情報生成部１５４０は、利用可能な予測単位の動き情報を利用して、付加的な候補動き情報を生成する時、参照方向情報を、現在の予測単位のスライスタイプによって生成する。例えば、現在の予測単位がＰスライスに含まれた場合には、付加的な候補動き情報に含まれた参照方向を、Ｌ０方向に設定し、現在の予測単位がＢスライスに含まれた場合には、Ｌ０及びＬ１方向の予測を含む双方向に参照方向を設定する。また、付加的な候補動き情報生成部１５４０は、参照ピクチャインデックスを、（０〜利用可能な予測単位の参照ピクチャインデックス）の範囲内で設定して、複数個の参照ピクチャインデックスを、付加的な候補動き情報に含める。

一方、付加的な候補動き情報生成部１５４０は、当該参照ピクチャインデックスを新設する時、前述したように、所定の値を有する参照ピクチャインデックスを設定する代わりに、利用可能な空間的予測単位及び時間的予測単位の動き情報に含まれた参照ピクチャのうち、最も頻度数の高い参照ピクチャを表す参照ピクチャインデックスを利用するか、または現在の予測単位の周辺予測単位が最も多く参照する参照ピクチャを表す参照ピクチャインデックスを利用できる。

また、付加的な候補動き情報生成部１５４０は、空間的な候補動き情報生成部１５１０及び時間的な候補動き情報生成部１５２０により生成されたデフォルト候補動き情報の個数が、所定のｎ個よりも少ない場合、全体の候補動き情報の個数がｎとなるように、候補動き情報に含まれる付加的な候補動き情報に対しては、重複性(duplicate)如何についてのチェックをスキップする。すなわち、付加的な候補動き情報生成部１５４０は、前述した多様な実施形態によって、デフォルト動き情報を変更して生成される付加的な候補動き情報が、デフォルト動き情報と同一であるとしても、候補動き情報に含める。

図２２は、本発明の一実施形態による動きベクトルの符号化方法を示すフローチャートである。図２２を参照すれば、ステップ２３１０において、動き予測部４２０は、現在の予測単位についての動き予測を行って、現在の予測単位についての動き情報を獲得する。

ステップ２３２０において、候補動き情報生成部１４１０は、現在の予測単位と空間的に関連した空間的予測単位、及び時間的に関連した時間的予測単位の動き情報の利用可能性を判断する。前述したように、候補動き情報生成部１４１０は、左側に隣接した予測単位Ａ０，Ａ１、及び上側に隣接した予測単位Ｂ０，Ｂ１，Ｂ２の動き情報の利用可能性をチェックして、利用可能な周辺予測単位の動き情報を、デフォルト候補動き情報に含め、以前のピクチャの予測単位のうち、所定の位置の予測単位が有する動き情報の利用可能性をチェックして、利用可能な以前のピクチャの予測単位の動き情報を、デフォルト候補動き情報に含める。

ステップ２３３０において、利用可能な空間的予測単位及び時間的予測単位の動き情報が、所定の個数ｎよりも少ない場合、候補動き情報生成部１４１０は、利用可能な空間的予測単位及び時間的予測単位の動き情報を利用して、全体の候補動き情報の個数がｎとなるように、付加的な候補動き情報を生成する。

ステップ２３４０において、動き情報符号化部１４２０は、ｎ個の動き情報を利用して、現在の予測単位の動き情報を符号化する。具体的に、動き情報符号化部１４２０は、生成された各候補動き情報のうち、現在の予測単位の動き情報と最も類似した動き情報を決定し、決定された動き情報を表すインデックス情報などを伝送する。例えば、動き情報が動きベクトルである場合、候補動き情報生成部１４１０は、現在の予測単位の予測動きベクトル候補を生成し、動き情報符号化部１４２０は、予測動きベクトル候補のうち、現在の予測単位の動きベクトルと最も類似した予測動きベクトルを表すインデックス値、及び現在の予測単位の動きベクトルと、予測動きベクトルとの差値についての情報を符号化する。

図２３は、本発明の一実施形態による動きベクトル復号化装置の構成を示すブロック図である。図２３を参照すれば、動きベクトル復号化装置２４００は、エントロピー復号化部２４１０、動き情報復号化部２４２０及び候補動き情報生成部２４３０を備える。

エントロピー復号化部２４１０は、ビットストリームから、候補動き情報のうち、現在の予測単位に適用された動き情報を表すインデックスを抽出する。例えば、動き情報が動きベクトルである場合、エントロピー復号化部２４１０は、予測動きベクトルインデックス、予測動きベクトルと元来の動きベクトルとの差値、参照ピクチャ情報及び予測方向情報などの動き情報を表すインデックスを抽出する。

候補動き情報生成部２４３０は、前述した図１４Ａの候補動き情報生成部１４１０と同様に、現在の予測単位と時空間的に関連した予測単位が有する動き情報を利用して、候補動き情報を獲得し、候補動き情報に含まれた動き情報の個数が、所定の個数ｎ（ｎは、整数）よりも少ない場合、候補動き情報の個数がｎとなるように、時空間的に関連した予測単位が有する動き情報を利用して、付加的な候補動き情報を生成する。

動き情報復号化部２４２０は、ビットストリームから獲得された現在の予測単位の動き情報を表すインデックスを利用して、候補動き情報生成部２４３０で生成された候補動き情報のうち一つの動き情報を獲得する。前述した例のように、動き情報が動きベクトルである場合、動き情報復号化部２４２０は、ビットストリームから獲得された予測動きベクトルを表すインデックスを利用して、予測動きベクトル候補のうち一つの予測動きベクトルを獲得し、ビットストリームから、予測動きベクトルと元来の動きベクトルとの差値についての情報を抽出した後、差値と予測動きベクトルとを加算して、現在の予測単位の動きベクトルを復元する。

図２４は、本発明の一実施形態による動き情報の復号化方法を示すフローチャートである。図２４を参照すれば、ステップ２５１０において、候補動き情報生成部２４３０は、現在の予測単位と空間的に関連した空間的予測単位、及び時間的に関連した時間的予測単位の動き情報の利用可能性を判断し、ステップ２５２０において、判断の結果、利用可能な空間的予測単位及び時間的予測単位の動き情報が、所定の個数ｎ（ｎは、整数）よりも少ない場合、利用可能な空間的予測単位及び時間的予測単位の動き情報を利用して、全体の候補動き情報の個数がｎとなるように、付加的な候補動き情報を生成する。

ステップ２５３０において、エントロピー復号化部２４１０は、ビットストリームから、ｎ個の全体の候補動き情報のうち一つの動き情報を表すインデックス情報を獲得して出力し、ステップ２５４０において、動き情報復号化部２４２０は、獲得されたインデックスが表す動き情報を利用して、現在の予測単位の動き情報を獲得する。前述したように、動き情報が動きベクトルである場合、動き情報復号化部２４２０は、ビットストリームから獲得された予測動きベクトルを表すインデックスを利用して、予測動きベクトル候補のうち一つの予測動きベクトルを獲得し、ビットストリームから、予測動きベクトルと元来の動きベクトルとの差値についての情報を抽出した後、差値と予測動きベクトルとを加算して、現在の予測単位の動きベクトルを復元する。

本発明は、また、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムにより読み取られるデータが保存される全ての種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などが含まれる。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式によって、コンピュータで読み取り可能なコードに保存されて実行される。

以上、本発明について、その望ましい実施形態を中心に述べた。当業者は、本発明が、本発明の本質的な特性から逸脱しない範囲で、変形された形態で具現可能であるということを理解できるであろう。本発明の範囲は、前述した説明ではなく、特許請求の範囲に表れており、それと同等な範囲内にある全ての相違点は、本発明に含まれたものと解釈されなければならない。

以下、本願により教示される手段を例示的に列挙する。

（付記１）
動き情報の復号化方法において、
現在の予測単位と空間的に関連した空間的予測単位、及び時間的に関連した時間的予測単位の動き情報の利用可能性を判断するステップと、
前記判断の結果、利用可能な空間的予測単位及び時間的予測単位の動き情報が、所定の個数ｎ（ｎは、整数）よりも少ない場合、前記利用可能な空間的予測単位及び時間的予測単位の動き情報を利用して、全体の候補動き情報の個数がｎとなるように、付加的な候補動き情報を生成するステップと、
ビットストリームから、前記ｎ個の全体の候補動き情報のうち一つの動き情報を表すインデックス情報を獲得するステップと、
前記獲得されたインデックスが表す動き情報を利用して、前記現在の予測単位の動き情報を獲得するステップと、を含むことを特徴とする動き情報の復号化方法。

（付記２）
前記利用可能性を判断するステップは、
前記現在の予測単位の上側に位置した所定の予測単位を、所定のスキャン順序によって検索して、利用可能な動き情報を有する最初の上側の予測単位の動き情報を、前記現在の予測単位の上側の空間的動き情報候補として選択するステップと、
前記現在の予測単位の左側に位置した所定の予測単位を、所定のスキャン順序によって検索して、利用可能な動き情報を有する最初の左側の予測単位の動き情報を、前記現在の予測単位の左側の空間的動き情報候補として選択するステップと、
前記現在の予測単位と同一な位置の以前のピクチャの予測単位を基準として、前記以前のピクチャから選択された以前のピクチャの予測単位の動き情報を、前記現在の予測単位の時間的動き情報候補として選択するステップと、を含み、
前記付加的な候補動き情報を生成するステップは、前記上側の空間的動き情報候補、前記左側の空間的動き情報候補、及び前記時間的動き情報候補を利用して獲得された全体の候補動き情報が、前記ｎよりも少ない場合に行われることを特徴とする付記１に記載の動き情報の復号化方法。

（付記３）
前記付加的な候補動き情報を生成するステップは、
前記所定のスキャン順序によって、利用可能な動き情報を有する最初の上側の予測単位以後に検索される利用可能な上側の予測単位の動き情報を、前記付加的な候補動き情報として生成することを特徴とする付記２に記載の動き情報の復号化方法。

（付記４）
前記付加的な候補動き情報を生成するステップは、
前記所定のスキャン順序によって、利用可能な動き情報を有する最初の左側の予測単位以後に検索される利用可能な左側の予測単位の動き情報を、前記付加的な候補動き情報として生成することを特徴とする付記２に記載の動き情報の復号化方法。

（付記５）
前記付加的な候補動き情報を生成するステップは、
前記現在の予測単位と同一な位置の以前のピクチャの予測単位を基準として決定された以前のピクチャの予測単位を、所定のスキャン順序でスキャンする時、利用可能な動き情報を有する最初の以前のピクチャの予測単位を除いた残りの以前のピクチャの予測単位のうち、動き情報を有する以前のピクチャの予測単位の動き情報をスケーリングして、前記付加的な候補動き情報を生成することを特徴とする付記２に記載の動き情報の復号化方法。

（付記６）
前記利用可能性を判断するステップは、
前記現在の予測単位の上側及び左側に位置した所定の予測単位のうち、予め位置が決定された所定の空間的予測単位の動き情報を、前記現在の予測単位の空間的動き情報候補として選択するステップと、
前記現在の予測単位と同一な位置の以前のピクチャの予測単位を基準として、前記以前のピクチャから選択された以前のピクチャの予測単位の動き情報を、前記現在の予測単位の時間的動き情報候補として選択するステップと、を含み、
前記付加的な候補動き情報を生成するステップは、前記空間的動き情報候補と、前記時間的動き情報候補とを利用して獲得された全体の候補動き情報が、前記ｎよりも少ない場合に行われることを特徴とする付記１に記載の動き情報の復号化方法。

（付記７）
前記付加的な候補動き情報を生成するステップは、
予め決定された所定の動き情報を、前記付加的な候補動き情報として生成することを特徴とする付記１に記載の動き情報の復号化方法。

（付記８）
前記付加的な候補動き情報を生成するステップは、
前記利用可能な空間的予測単位及び時間的予測単位の動き情報が、Ｌ０予測及びＬ１予測の双方向動きベクトル情報を含む場合、前記Ｌ０予測の動きベクトル及びＬ１予測の動きベクトルに、所定のオフセットを加減することによって、前記付加的な候補動き情報を生成することを特徴とする付記１に記載の動き情報の復号化方法。

（付記９）
前記現在の予測単位が含まれた現在のピクチャを基準として、前記Ｌ０予測に利用される第１参照ピクチャと、前記Ｌ１予測に利用される第２参照ピクチャとがいずれも同一な方向に位置した場合、前記Ｌ０予測の動きベクトル及びＬ１予測の動きベクトルに、前記オフセットを加算し、
前記Ｌ０予測に利用される第１参照ピクチャと、前記Ｌ１予測に利用される第２参照ピクチャとの間に、前記現在のピクチャが位置する場合、前記Ｌ０予測の動きベクトルに、前記オフセットを加算し、前記Ｌ１予測の動きベクトルに、前記オフセットに−１を乗じた値を加算することを特徴とする付記８に記載の動き情報の復号化方法。

（付記１０）
前記付加的な候補動き情報を生成するステップは、
前記利用可能な空間的予測単位及び時間的予測単位の動き情報の予測方向を変更して、前記付加的な候補動き情報を生成することを特徴とする付記１に記載の動き情報の復号化方法。

（付記１１）
前記付加的な候補動き情報を生成するステップは、
前記利用可能な空間的予測単位及び時間的予測単位の動き情報が、Ｌ０予測及びＬ１予測の双方向動きベクトル情報を含む場合、前記Ｌ０予測及びＬ１予測のうち選択された一つの単方向動き情報を利用して、前記付加的な候補動き情報を生成することを特徴とする付記１０に記載の動き情報の復号化方法。

（付記１２）
前記付加的な候補動き情報を生成するステップは、
前記利用可能な空間的予測単位及び時間的予測単位の動き情報が、Ｌ０予測及びＬ１予測のうち一つの単方向動き情報を含む場合、前記Ｌ０予測及びＬ１予測を結合した双方向動き情報を利用して、付加的な候補動き情報を生成することを特徴とする付記１０に記載の動き情報の復号化方法。

（付記１３）
前記付加的な候補動き情報を生成するステップは、
前記利用可能な空間的予測単位及び時間的予測単位の動き情報が、Ｌ０予測及びＬ１予測のうち一つの単方向動き情報を含む場合、所定の成分値の動きベクトルを含む単方向動き情報を結合することによって生成された双方向動き情報を、前記付加的な候補動き情報として生成することを特徴とする付記１０に記載の動き情報の復号化方法。

（付記１４）
前記付加的な候補動き情報を生成するステップは、
以前に生成されたデフォルト候補動き情報と、前記生成された付加的な候補動き情報の重複如何をチェックせず、前記生成された付加的な候補動き情報を、候補動き情報に含めることを特徴とする付記１に記載の動き情報の復号化方法。

（付記１５）
動き情報の符号化方法において、
現在の予測単位についての動き予測を行って、前記現在の予測単位についての動き情報を獲得するステップと、
前記現在の予測単位と空間的に関連した空間的予測単位、及び時間的に関連した時間的予測単位の動き情報の利用可能性を判断するステップと、
前記判断の結果、利用可能な空間的予測単位及び時間的予測単位の動き情報が、所定の個数ｎ（ｎは、整数）よりも少ない場合、前記利用可能な空間的予測単位及び時間的予測単位の動き情報を利用して、全体の候補動き情報の個数がｎとなるように、付加的な候補動き情報を生成するステップと、
前記ｎ個の動き情報を利用して、前記現在の予測単位の動き情報を符号化するステップと、を含むことを特徴とする動き情報の符号化方法。

Claims (1)

1. 動き情報の復号化方法において、
   現在予測単位左側に位置する空間的予測単位及び前記現在予測単位の上部に位置する空間的予測単位のうち利用可能な空間的予測単位の動きベクトルを予測動きベクトル候補に含めるステップと、
   前記現在予測単位と時間的に関連した時間的予測単位のうち利用可能な時間的予測単位の動きベクトルを前記予測動きベクトル候補に含めるステップと、
   前記予測動きベクトル候補の個数が所定個数ｎ（ｎは、整数）より小さい場合、前記予測動きベクトル候補の個数がｎ個になるようにゼロベクトルを前記予測動きベクトル候補に付加するステップと、
   ビットストリームから、前記ｎ個の予測動きベクトル候補のうち前記現在予測単位に利用された予測動きベクトルを決定するための情報を獲得するステップと、
   前記獲得された情報を利用して、前記現在予測単位の予測動きベクトルを獲得するステップと、を含み、
   利用可能な空間的予測単位の動きベクトルが、前記予測動きベクトル候補に含まれた動きベクトルと同一である場合、前記利用可能な空間的予測単位の動きベクトルは、前記予測動きベクトル候補に含まれず、
   前記現在予測単位の左側に位置する空間的予測単位は、前記現在予測単位の左側下部に位置した隣接予測単位（Ａ０）及び前記隣接予測単位（Ａ０）の上部に位置する隣接予測単位（Ａ１）を含み、
   映像は、最大符号化単位のサイズについての情報によって複数の最大符号化単位に分割され、
   複数の最大符号化単位のうち現在最大符号化単位は分割情報に基づき、深度を有する複数の符号化単位に階層的に分割され、
   現在深度の分割情報が分割を示す場合、前記現在深度の符号化単位は周辺符号化単位と独立して、４つの下位深度の符号化単位に分割され、
   前記現在深度の分割情報が非分割を示す場合、前記現在深度の符号化単位から少なくとも一つの予測単位が獲得され、
   前記現在予測単位は、前記現在深度の符号化単位から獲得された少なくとも一つの予測単位のうち一つであることを特徴とする動き情報の復号化方法。