JP6100777B2 - 多視点ビデオ予測符号化方法及びその装置、多視点ビデオ予測復号化方法及びその装置 - Google Patents

Description

本発明は、多視点ビデオ予測構造で、映像間予測及び動き補償を伴うビデオ符号化及び復号化に関する。

高解像度または高画質ビデオコンテンツを再生、保存できるハードウェアの開発及び普及によって、高解像度または高画質ビデオコンテンツを効果的に符号化または復号化するビデオコーデックの必要性が増大しつつある。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて制限された符号化方式によって符号化されている。

周波数変換を用いて空間領域の映像データは、周波数領域の係数に変換される。ビデオコーデックは、周波数変換の速い演算のために映像を所定サイズのブロックに分割し、ブロックごとにＤＣＴ変換を行ってブロック単位の周波数係数を符号化する。空間領域の映像データに比べて周波数領域の係数が、圧縮しやすい形態を持つ。特にビデオコーデックのインター予測またはイントラ予測を通じて、空間領域の映像画素値は予測誤差でもって表現されるので、予測誤差について周波数変換が行われれば、多くのデータが０に変換される。ビデオコーデックは、連続的に繰り返して発生するデータを小サイズのデータに置換することで、データ量を低減させる。

多視点ビデオコーデックは、基本視点ビデオと１つ以上の付加視点ビデオを符復号化する。基本視点ビデオと付加視点ビデオとの時間的／空間的重複性（ｒｅｄｕｎｄａｎｃｙ）と視点間の重複性を除去する方式で、基本視点ビデオと付加視点ビデオとのデータ量が低減する。

本発明は、多視点ビデオ符号化及び多視点ビデオ復号化において、付加視点映像が映像間予測及び向上階層映像ストリームの映像間補償方法を提案する。

本発明の一実施形態による多視点ビデオ予測方法は、基本視点映像間の映像間予測を行い、Ｉ−ピクチャータイプの基本視点キー映像及び基本視点映像のレジデュアル値を含む基本階層映像ストリームを生成する段階と、前記基本視点映像を参照して付加視点映像を予測する視点間予測、前記付加視点映像のうち付加視点キー映像を参照して異なる付加視点キー映像を予測する映像間予測、及び前記付加視点映像を参照して、前記付加視点キー映像を除いた付加視点映像を予測する映像間予測を行って生成された前記付加視点映像のレジデュアル値を含む向上階層映像ストリームを生成する段階と、を含む。

一実施形態による多視点ビデオ予測方式によれば、付加視点映像のうち一部のキー映像に対して映像間予測が行われるので、付加視点映像の符号化効率が向上し、向上階層映像ストリームのビットレートが低くなる。また視点間予測だけではなく距離画像が符号化されるため、多視点ビデオの符号化効率が向上する。

一実施形態による多視点ビデオ予測復元方式によれば、基本視点映像を参照して、視点間予測だけではなく、同一視点キー映像を参照する映像間予測を通じて付加視点キー映像が復元される。また、参照映像である同一視点キー映像が未だ復元されていない場合、距離画像を用いて基本視点映像から付加視点映像が復元される。また複数の視点間の視点間予測を通じて生成されたレジデュアル値及び距離画像を通じて、３視点以上の多視点ビデオが復元される。

一実施形態による多視点ビデオ予測装置のブロック図である。 一実施形態による多視点ビデオ予測復元装置のブロック図である。 多視点ビデオ予測構造を示す図面である。 一実施形態による多視点ビデオ予測構造を示す図面である。 図４Ａの多視点ビデオ予測構造のうち、所定付加視点映像のための向上階層の映像間予測構造を示す図面である。 一実施形態による多視点ビデオ予測構造のうち、付加視点映像のための向上階層の映像間予測構造を示す図面である。 他の実施形態による多視点ビデオ予測構造のうち、付加視点映像のための向上階層の映像間予測構造を示す図面である。 さらに他の実施形態による多視点ビデオ予測構造のうち、付加視点映像のための向上階層の映像間予測構造を示す図面である。 図７の実施形態による向上階層の映像間予測構造でランダムアクセスが発生する場合の復元結果を示す図面である。 図７の実施形態による向上階層の映像間予測構造でランダムアクセスが発生する場合の復元結果を示す図面である。 一実施形態による多視点ビデオ予測方法のフローチャートである。 一実施形態による多視点ビデオ予測復元方法のフローチャートである。 一実施形態によるビデオ符号化装置のブロック図である。 一実施形態によるビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を示す図面である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及びパーティションを示す図面である。 本発明の一実施形態による符号化単位及び変換単位の関係を示す図面である。 本発明の一実施形態による深度別符号化情報を示す図面である。 本発明の一実施形態による深度別符号化単位を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を示す図面である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す図面である。 一実施形態によるプログラムが保存されたディスクの物理的構造を例示する図面である。 ディスクを用いてプログラムを記録して読み取るためのディスクドライブを示す図面である。 コンテンツ流通サービスを提供するためのコンテンツ供給システムの全体的構造を示す図面である。 一実施形態による本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の外部構造及び内部構造を示す図面である。 一実施形態による本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の外部構造及び内部構造を示す図面である。 本発明による通信システムが適用されたデジタル放送システムを示す図面である。 本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置を用いるクラウドコンピューティングシステムのネットワーク構造を示す図面である。

本発明の一実施形態による多視点ビデオ予測方法は、基本視点映像間の映像間予測（Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ）を行って、Ｉ−ピクチャータイプの基本視点キー映像及び基本視点映像のレジデュアル値を含む基本階層映像ストリームを生成する段階と、前記基本視点映像を参照して付加視点映像を予測する視点間予測（Ｉｎｔｅｒ−Ｖｉｅｗ Ｐｒｅｄｉｃｔｉｏｎ）、前記付加視点映像のうち付加視点キー映像を参照して異なる付加視点キー映像を予測する映像間予測、及び前記付加視点映像を参照して、前記付加視点キー映像を除いた付加視点映像を予測する映像間予測を行って生成された前記付加視点映像のレジデュアル値を含む向上階層映像ストリームを生成する段階と、を含む。

一実施形態による前記多視点ビデオ予測方法は、前記基本視点映像及び前記付加視点映像のうち、同一シーン（Ｓｃｅｎｅ）に対する基本視点映像及び付加視点映像間の視点間深度（Ｄｅｐｔｈ）を示す距離画像（Ｄｅｐｔｈ Ｍａｐ）を生成する段階と、前記基本階層映像ストリーム及び前記向上階層映像ストリームと共に前記距離画像を伝送する段階と、をさらに含む。

一実施形態による前記向上階層映像ストリーム生成段階は、前記付加視点キー映像のうち現在付加視点キー映像の復元時期以前に復元された付加視点キー映像を参照して、前記現在付加視点キー映像の映像間予測を行う段階を含む。

一実施形態による前記向上階層映像ストリーム生成段階は、前記付加視点キー映像のうち現在付加視点キー映像の復元時期以後に復元される付加視点キー映像を参照して、前記現在付加視点キー映像の映像間予測を行う段階を含む。

本発明の一実施形態による多視点ビデオ予測復元方法は、基本階層映像ストリーム及び向上階層映像ストリームを受信する段階と、前記基本階層映像ストリームのうち、Ｉ−ピクチャータイプの基本視点キー映像を復元して前記基本視点キー映像を参照して、前記基本視点映像の動き補償を行って基本視点映像を復元する段階と、前記向上階層映像ストリームのうち付加視点キー映像をアクセスした場合、前記復元された基本視点キー映像を参照する視差補償、及び前記向上階層ストリームのうち異なる付加視点キー映像を参照する動き補償のうち少なくとも１つを行って前記付加視点キー映像を復元する段階と、前記向上階層映像ストリームのうち前記付加視点キー映像を除いた付加視点映像について、前記復元された基本視点映像を参照する視差補償、及び前記向上階層ストリームのうち先に復元された付加視点映像を参照する動き補償のうち少なくとも１つを行って、前記付加視点キー映像を除いた付加視点映像を復元する段階と、を含む。

一実施形態による前記受信段階は、前記基本視点映像及び前記付加視点映像のうち、同一シーンに対する基本視点映像及び付加視点映像間の視点間深度を示す距離画像を受信する段階を含む。

一実施形態による前記付加視点キー映像復元段階は、前記付加視点キー映像のうち現在付加視点キー映像の復元時期に前記現在付加視点キー映像の参照映像が復元されていない場合、前記現在付加視点キー映像に対応する基本視点映像及び距離画像を用いて、前記現在付加視点キー映像を復元する段階を含む。

一実施形態による前記付加視点キー映像復元段階は、前記付加視点キー映像のうち現在付加視点キー映像の復元時期以前に復元される付加視点キー映像を参照して予測された前記現在付加視点キー映像に対してアクセスする場合、前記現在付加視点キー映像に対応する基本視点映像及び距離画像を用いて、前記現在付加視点キー映像を復元する段階を含む。

一実施形態による前記付加視点キー映像復元段階は、前記付加視点キー映像のうち現在付加視点キー映像の復元時期以後に復元される付加視点キー映像を参照して予測された前記現在付加視点キー映像に対してアクセスする場合、前記現在付加視点キー映像に対応する基本視点映像及び距離画像を用いて、前記現在付加視点キー映像を復元する段階を含む。

一実施形態による前記付加視点キー映像復元段階は、前記付加視点キー映像のうち異なる付加視点キー映像を参照しない現在付加視点キー映像に対してアクセスする場合、前記現在付加視点キー映像に対応する基本視点映像を参照して、前記現在付加視点キー映像を復元する段階を含む。

一実施形態による前記付加視点キー映像復元段階は、前記付加視点キー映像のうち異なる付加視点キー映像を参照しない現在付加視点キー映像に対してアクセスする場合、前記現在付加視点キー映像に対応する基本視点映像及び距離画像を用いて、前記現在付加視点キー映像を復元する段階を含む。

本発明の一実施形態による多視点ビデオ予測装置は、基本視点映像間の映像間予測を行って、Ｉ−ピクチャータイプの基本視点キー映像及び基本視点映像のレジデュアル値を含む基本階層映像ストリームを生成する基本階層符号化部と、前記基本視点映像を参照して付加視点映像を予測する視点間予測、前記付加視点映像のうち付加視点キー映像を参照して異なる付加視点キー映像を予測する映像間予測、及び前記付加視点映像を参照して、前記付加視点キー映像を除いた付加視点映像を予測する映像間予測を行って生成された前記付加視点映像のレジデュアル値を含む向上階層映像ストリームを生成する向上階層符号化部と、を備える。

本発明の一実施形態による多視点ビデオ予測復元装置は、基本階層映像ストリーム及び向上階層映像ストリームを受信する受信部と、前記基本階層映像ストリームのうち、Ｉ−ピクチャータイプの基本視点キー映像を復元し、かつ前記基本視点キー映像を参照して、前記基本視点映像の動き補償を行って基本視点映像を復元する基本階層復号化部と、前記向上階層映像ストリームのうち付加視点キー映像をアクセスした場合、前記復元された基本視点キー映像を参照する視差補償、及び前記向上階層ストリームのうち異なる付加視点キー映像を参照する動き補償のうち少なくとも１つを行って前記付加視点キー映像を復元し、前記向上階層映像ストリームのうち付加視点キー映像を除いた付加視点映像に対して、前記復元された基本視点映像を参照する視差補償、及び前記向上階層ストリームのうち先に復元された付加視点映像を参照する動き補償のうち少なくとも１つを行って、前記付加視点キー映像を除いた付加視点映像を復元する向上階層復号化部と、を備える。

本発明の一実施形態による多視点ビデオ予測方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を備える。

本発明の一実施形態による多視点ビデオ予測復元方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を備える。

以下、図１ないし図１０を参照して、一実施形態による多視点ビデオ予測装置及び多視点ビデオ予測復元装置と多視点ビデオ予測方法、多視点ビデオ予測復元方法が開示される。また、図１１ないし図２３を参照して、一実施形態によるツリー構造の符号化単位に基づく、一実施形態による多視点ビデオ予測装置及び多視点ビデオ予測復元装置、多視点ビデオ予測方法及び多視点ビデオ予測復元方法が開示される。また、図２４Ａないし図２９を参照して、一実施形態による多視点ビデオ予測方法、多視点ビデオ予測復元方法、ビデオ符号化方法、ビデオ復号化方法が適用可能な多様な実施形態が開示される。以下、‘映像’は、ビデオの静止画または動画、すなわち、ビデオそのものを示す。

先ず、図１ないし図１０を参照して、一実施形態による多視点ビデオ予測装置及び多視点ビデオ予測方法、そして多視点ビデオ予測復元装置及び多視点ビデオ予測復元方法が開示される。

図１は、一実施形態による多視点ビデオ予測装置１０のブロック図を示す。

一実施形態による多視点ビデオ予測装置１０は、基本階層符号化部１２及び向上階層符号化部１４を備える。

一実施形態による多視点ビデオ予測装置１０は、基本視点映像と付加視点映像を符号化する。例えば、左視点映像及び右視点映像が符号化されて、左視点映像の符号化結果が基本階層映像ストリームとして出力され、右視点映像の符号化結果が向上階層映像ストリームとして出力される。

また、付加視点が２つ以上の場合、基本視点映像と第１の付加視点に対する第１の付加視点映像、第２の付加視点に対する第２の付加視点映像、…、第Ｋの付加視点に対する第Ｋの付加視点映像が符号化される。これによって、基本視点映像の符号化結果が基本階層映像ストリームとして出力され、第１、第２、…、第Ｋの付加視点映像の符号化結果がそれぞれ第１、第２、…、第Ｋの向上階層映像ストリームとして出力される。

一実施形態による多視点ビデオ予測装置１０は、ビデオのそれぞれの映像のブロック別に符号化する。ブロックのタイプは、正方形または長方形であり、任意の幾何学的形態であってもよい。一定サイズのデータ単位に制限されるものではない。一実施形態によるブロックは、ツリー構造による符号化単位のうち、最大符号化単位、符号化単位、予測単位、変換単位などである。ツリー構造による符号化単位に基づいたビデオ符復号化方式は、図１１ないし図２３を参照して後述する。

一実施形態による多視点ビデオ予測装置１０は、映像を互いに参照して予測する映像間予測を行える。また、一実施形態による多視点ビデオ予測装置１０は、基本視点映像を参照して付加視点映像を予測する視点間予測を行える。一実施形態による多視点ビデオ予測装置１０は、第１の付加視点映像を参照して第２の付加視点映像を予測する視点間予測を行うこともできる。映像間予測及び視点間予測は、符号化単位、予測単位、変換単位などのブロックに基づいて行われてもよい。

一実施形態による基本階層符号化部１２は、基本視点映像を符号化して基本階層映像ストリームを生成する。基本階層符号化部１２は、基本視点映像間の映像間予測を行える。一実施形態による基本階層符号化部１２は、基本視点映像のうちＩ−ピクチャータイプの基本視点キー映像は、他の映像を全く参照せずに符号化する。基本階層符号化部１２は、基本視点映像のうち基本視点キー映像を除いた基本視点映像に対して、他の基本視点映像を参照する映像間予測を行える。

一実施形態による基本階層符号化部１２は、基本視点キー映像を除いた基本視点映像の映像間予測を通じて生成されたレジデュアル値を生成し、レジデュアル値について符号化を行える。例えば、レジデュアル値の映像ブロックについて変換、量子化、エントロピー符号化などが行われる。

一実施形態による基本階層符号化部１２は、基本視点キー映像の符号化データと、残りの基本視点映像のレジデュアル値の符号化データとを含む基本階層映像ストリームを生成する。

一実施形態による向上階層符号化部１４は、付加視点映像を符号化して向上階層映像ストリームを生成する。一実施形態による向上階層符号化部１４は、付加視点映像を符号化するために、基本視点映像を参照する視点間予測及び同一視点映像を参照する映像間予測を行える。

一実施形態による向上階層符号化部１４は、基本視点映像を参照して付加視点映像を予測する視点間予測を行える。所定付加視点については、基本視点映像だけではなく、現在付加視点ではない他の付加視点の映像も参照する視点間予測が行われる。

また向上階層符号化部１４は、付加視点映像のうち付加視点キー映像を参照して異なる付加視点キー映像を予測する映像間予測を行える。他の実施形態による向上階層符号化部１４は、付加視点キー映像のうち一部の付加視点キー映像のためには、他の付加視点キー映像を参照する映像間予測及び異なる視点映像を参照する視点間予測をいずれも行うが、残りの付加視点キー映像のためには、他の付加視点キー映像を参照する映像間予測を行わずに基本視点キー映像を参照する視点間予測のみを行える。

また向上階層符号化部１４は、付加視点キー映像を除いた残りの付加視点映像を予測するために、付加視点映像を参照する映像間予測を行える。キー映像ではない付加視点映像のためには、基本視点映像を参照する視点間予測と、同一視点映像を参照する映像間予測とがいずれも行われる。

一実施形態による向上階層符号化部１４は、基本視点映像を参照する視点間予測及び同一視点映像を参照する映像間予測を通じて生成された、付加視点映像のレジデュアル値を符号化する。具体的に、レジデュアル値の映像ブロックについて、変換、量子化、エントロピー符号化などが行われる。したがって、向上階層符号化部１４は、付加視点映像のレジデュアル値の符号化データを含む向上階層映像ストリームを生成する。

一実施形態による向上階層符号化部１４は、付加視点キー映像のうち現在付加視点キー映像の復元時期以前に復元される付加視点キー映像を参照して、現在付加視点キー映像の映像間予測を行える。

他の実施形態による向上階層符号化部１４は、現在付加視点キー映像の復元時期以後に復元された付加視点キー映像を参照して、現在付加視点キー映像の映像間予測を行える。

一実施形態による向上階層符号化部１４は、付加視点映像の参照映像で、同一視点の他のキー映像を参照して予測されるキー映像を除く。他の例として、付加視点映像の参照映像に、同一視点の他のキー映像を参照して予測されるキー映像が含まれてもよい。

一実施形態による多視点ビデオ予測装置１０は、多視点映像間の距離画像を生成する。多視点ビデオ予測装置１０は、基本視点映像及び付加視点映像のうち、同一シーンに対する基本視点映像及び付加視点映像ごとに、視点間深度を示す距離画像を生成する。

一実施形態による多視点ビデオ予測装置１０は、基本階層映像ストリーム及び向上階層映像ストリームと共に距離画像を符号化して伝送してもよい。

一実施形態による多視点ビデオ予測装置１０は、基本階層符号化部１２及び向上階層符号化部１４を総括的に制御する中央プロセッサ（図示せず）を備える。または、基本階層符号化部１２及び向上階層符号化部１４が、それぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することで、多視点ビデオ予測装置１０が全体的に作動することもある。または、一実施形態による多視点ビデオ予測装置１０の外部プロセッサ（図示せず）の制御によって、基本階層符号化部１２及び向上階層符号化部１４が制御される。

一実施形態による多視点ビデオ予測装置１０は、基本階層符号化部１２及び向上階層符号化部１４の入出力データが保存される１つ以上のデータ保存部（図示せず）を備える。多視点ビデオ予測装置１０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を備える。

図２は、一実施形態による多視点ビデオ予測復元装置２０のブロック図を示す。

一実施形態による多視点ビデオ予測復元装置２０は、受信部２２、基本階層復号化部２４及び向上階層復号化部２６を備える。

一実施形態による受信部２２は、基本階層映像ストリーム及び向上階層映像ストリームを受信する。

一実施形態による受信部２２は、基本階層映像ストリーム及び向上階層映像ストリームと共に、基本視点映像及び前記付加視点映像のうち、同一シーンに対する基本視点映像及び付加視点映像間の視点間深度を示す距離画像を受信することもできる。

一実施形態による多視点ビデオ予測復元装置２０は、基本階層映像ストリーム及び向上階層映像ストリームを復号化して、基本視点映像及び付加視点映像を復元する。例えば、基本階層映像ストリームから左視点映像が復元され、向上階層映像ストリームから右視点映像が復元される。また、付加視点が２つ以上の場合、基本階層映像ストリームから基本視点映像が復元され、第１の向上階層映像ストリームから第１の付加視点に対する第１の付加視点映像が復元され、第２の向上階層映像ストリームから第２の付加視点に対する第２の付加視点映像が復元され、…、第Ｋの向上階層映像ストリームから第Ｋの付加視点に対する第Ｋの付加視点映像が復元される。

一実施形態による多視点ビデオ予測復元装置２０は、ビデオのそれぞれの映像のブロック別に復号化する。一実施形態によるブロックは、ツリー構造による符号化単位のうち、最大符号化単位、符号化単位、予測単位、変換単位などである。

一実施形態による多視点ビデオ復元装置２０は、映像間予測を通じて予測された映像を互いに参照する動き補償を行って映像を復元する。また、一実施形態による多視点ビデオ予測復元装置２０は、視点間予測を通じて予測された付加視点映像を復元するために、基本視点映像を参照して視差補償（Ｄｉｓｐａｒｉｔｙ Ｃｏｍｐｅｎｓａｔｉｏｎ）を行える。視差補償は、互いに異なる視点映像の視点間変異を補償する動作を意味する。

一実施形態による多視点ビデオ予測復元装置２０は、第１の付加視点映像を参照して予測された第２の付加視点映像を復元するための視点間予測を行う。符号化単位または予測単位に基づいて、映像間予測及び視点間予測を通じる復元が行われる。

一実施形態による基本階層復号化部２４は、基本階層映像ストリームを受信する場合、基本階層映像ストリームを復号化して基本視点映像を復元する。具体的に、基本階層映像ストリームをパージングして抽出されたシンボルについて、エントロピー復号化、逆量子化、逆変換を行って予測のレジデュアル値が復元される。基本階層復号化部２４は、量子化された変換係数のビットストリームを受信する。量子化された変換係数について逆量子化、逆変換を行った結果、レジデュアル値が復元される。基本階層復号化部２４は、映像間予測を通じて、基本視点映像を互いに参照して復元する。

一実施形態による基本階層復号化部２４は、基本階層映像ストリームのうち、Ｉ−ピクチャータイプの基本視点キー映像の量子化された変換係数を復号化して基本視点キー映像を復元する。一実施形態による基本階層復号化部２４は、基本視点映像のうちＩ−ピクチャータイプの基本視点キー映像は、他の基本視点映像を参照せずに復元する。

また基本階層復号化部２４は、基本視点映像のうち基本視点キー映像を除いた基本視点映像については、他の基本視点映像を参照する動き補償を通じて基本視点映像を復元する。基本階層復号化部２４は、基本階層映像ストリームのうち基本視点キー映像を除いた基本視点映像については、基本視点映像のレジデュアル値の量子化された変換係数を復号化し、参照映像である基本視点映像にレジデュアル値ほど補償することで基本視点映像を復元する。

一実施形態による向上階層復号化部２６は、向上階層映像ストリームを復号化して付加視点映像を復元する。具体的に向上階層映像ストリームをパージングして抽出されたシンボルについて、エントロピー符号化、逆量子化、逆変換を行ってブロック別レジデュアル値が復元される。レジデュアル値の量子化された変換係数のビットストリームを受信し、ビットストリームについて逆量子化、逆変換を行った結果、レジデュアル値が復元される。

一実施形態による向上階層復号化部２６は、向上階層映像ストリームを復号化するために、基本階層映像ストリームから復元された基本視点映像を参照する視点間予測と、同一視点映像を参照する映像間予測とを通じて付加視点映像を復元する。

一実施形態による向上階層復号化部２６は、基本階層復号化部２４で復元された基本視点映像を参照する視点間予測を通じて付加視点映像を復元する。所定付加視点については、基本視点映像だけではなく、現在付加視点ではない他の付加視点の映像も参照して付加視点映像が復元される。

向上階層映像ストリームから、基本視点映像と付加視点映像間の変異情報、または基本視点映像と付加視点映像間の距離画像が抽出される。向上階層復号化部２６は、基本視点映像と付加視点映像間の変異情報または距離画像を用いて、基本視点映像から付加視点映像を復元する。

また向上階層復号化部２６は、付加視点キー映像を参照して異なる付加視点キー映像を復号化する映像間予測を行って付加視点キー映像を復元する。他の実施形態による向上階層復号化部２６は、一部付加視点キー映像を、他の付加視点キー映像を参照する映像間予測と、基本視点キー映像を参照する視点間予測とをいずれも行うことで復元する。しかし、残りの付加視点キー映像は、他の付加視点キー映像を参照する映像間予測を行わずに、基本視点キー映像を参照する視点間予測のみを行うことで復元される。

また一実施形態による向上階層復号化部２６は、付加視点キー映像を除いた残りの付加視点映像については、付加視点映像を参照する映像間予測を通じて付加視点映像を復元する。キー映像ではない付加視点映像のためには、基本視点映像を参照する視点間予測及び同一視点映像を参照する映像間予測を通じて付加視点映像が復元される。

付加視点映像のうち付加視点キー映像を除いた映像は、他の付加視点映像を参照する動き補償を通じて復元される。すなわち、向上階層復号化部２６は、付加視点キー映像を除いた付加視点映像は、向上階層映像ストリームのうち付加視点映像の動きベクトル及びレジデュアル値の符号化データを復号化し、動きベクトルを用いて他の付加視点映像から参照映像を決定し、参照映像をレジデュアル値ほど補償することで付加視点映像を復元する。現在映像の現在ブロックの動きベクトルを用いて参照映像から参照ブロックが定められる。

一実施形態による向上階層復号化部２６は、現在付加視点キー映像から再生するための現在付加視点キー映像に対してアクセスする場合、映像間予測の必要性によって付加視点キー映像の復元過程を異ならせる。

一実施形態による向上階層復号化部２６は、付加視点キー映像のうち現在付加視点キー映像の復元時期以前に復元される付加視点キー映像を参照して予測された現在付加視点キー映像に対してアクセスする場合、現在付加視点キー映像に対応する基本視点映像及び距離画像を用いて現在付加視点参照映像を復元する。

他の実施形態による向上階層復号化部２６は、付加視点キー映像のうち現在付加視点キー映像の復元時期以前に復元される付加視点キー映像を参照して予測された現在付加視点キー映像に対してアクセスする場合、現在付加視点キー映像の復元を省略し、現在付加視点キー映像の次の付加視点キー映像を復元する。

一実施形態による向上階層復号化部２６は、付加視点キー映像のうち現在付加視点キー映像の復元時期以後に復元される付加視点キー映像を参照して予測された現在付加視点キー映像に対してアクセスする場合、現在付加視点キー映像に対応する基本視点キー映像及び現在付加視点キー映像の距離画像を用いて現在付加視点キー映像を復元する。すなわち、参照映像である付加視点キー映像の復元以後までディレイせず、距離画像を用いて現在付加視点キー映像が復元される。

他の実施形態による向上階層復号化部２６は、付加視点キー映像のうち現在付加視点キー映像の復元時期以後に復元される付加視点キー映像を参照して予測された現在付加視点キー映像に対してアクセスする場合、現在付加視点キー映像の復元をディレイする。これによって向上階層復号化部２６は、参照映像である付加視点キー映像が復元された後、これを参照して現在付加視点キー映像を復元する。

一実施形態による向上階層復号化部２６は、付加視点キー映像のうち異なる付加視点キー映像を参照しない現在付加視点キー映像に対してアクセスする場合、現在付加視点キー映像に対応する基本視点映像を参照する視差補償を通じて現在付加視点キー映像を復元する。他の実施形態による向上階層復号化部２６は、付加視点キー映像のうち異なる付加視点キー映像を参照しない現在付加視点キー映像に対してアクセスする場合、現在付加視点キー映像に対応する基本視点映像及び距離画像を用いて現在付加視点キー映像を復元する。

一実施形態による向上階層復号化部２６は、付加視点映像の参照映像に、同一視点の他のキー映像を参照する付加視点キー映像を含める。他の実施形態による向上階層復号化部２６は、付加視点映像の参照映像に、同一視点の他のキー映像を参照する付加視点キー映像を含めない。

したがって、アクセスされた付加視点キー映像が復元された後、復元された付加視点キー映像を直間接的に参照する残りの付加視点キー映像も復元される。

一実施形態による多視点ビデオ予測復元装置２０は、受信部２２、基本階層復号化部２４及び向上階層復号化部２６を総括的に制御する中央プロセッサ（図示せず）を備える。または、受信部２２、基本階層復号化部２４及び向上階層復号化部２６がそれぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が互いに有機的に作動することで多視点ビデオ予測復元装置２０が全体的に作動する。または、一実施形態による多視点ビデオ予測復元装置２０の外部プロセッサ（図示せず）の制御によって、受信部２２、基本階層復号化部２４及び向上階層復号化部２６が制御される。

一実施形態による多視点ビデオ予測復元装置２０は、受信部２２、基本階層復号化部２４及び向上階層復号化部２６の入出力データが保存される１つ以上のデータ保存部（図示せず）を備える。多視点ビデオ予測復元装置２０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を備える。

一実施形態による多視点ビデオ予測装置１０は、付加視点映像のうち一部のキー映像に対して映像間予測を行うため、付加視点映像の符号化効率が高くなり、かつ向上階層映像ストリームのビットレートが低くなる。また視点間予測だけではなく距離画像が符号化されるので、多視点ビデオの符号化効率が向上する。

一実施形態による多視点ビデオ予測復元装置２０は、基本視点映像を参照する視点間予測だけではなく、同一視点キー映像を参照する映像間予測を通じて付加視点キー映像を復元する。また、参照映像である同一視点キー映像がまだ復元されていない場合、距離画像を用いて基本視点映像から付加視点映像が復元される。また複数の視点間の視点間予測を通じて生成されたレジデュアル値及び距離画像を通じて３視点以上の多視点ビデオが復元される。

図３は、多視点ビデオ予測構造を示す。

一般的な多視点ビデオ予測構造３０によれば、横方向に同一視点の映像が配列され、縦方向にＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）順序の同じ映像が配列される。したがって、基本視点Ｖｉｅｗ０映像がＰＯＣ順序によって横方向に配列され、第１付加視点Ｖｉｅｗ１映像がＰＯＣ順序によって横方向に配列され、第２付加視点Ｖｉｅｗ２映像がＰＯＣ順序によって横方向に配列されている。また、基本視点映像と同じ列（ｃｏｌｕｍｎ）に位置している第１付加視点映像及び第２付加視点映像は、いずれも視点は異なるもののＰＯＣ順序が同じである映像である。

各視点映像のうち４個の連続映像が１つのＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）を構成している。各ＧＯＰは、連続するキー映像間の映像及び１つのキー映像（Ｋｅｙ Ｐｉｃｔｕｒｅ）を含む。キー映像は、ランダムアクセスポイントであり、映像再生時の映像の再生順序、すなわち、ＰＯＣ順序によって配列された映像のうち任意に再生位置が選択されれば、再生位置でＰＯＣ順序の最も隣接しているキー映像が再生される。基本視点映像は、基本視点キー映像３１、３２、３３、３４、３５を含み、第１付加視点映像は、第１付加視点キー映像１３１、１３２、１３３、１３４、１３５を含み、第２付加視点映像は、第２付加視点キー映像２３１、２３２、２３３、２３４、２３５を含む。

多視点ビデオ予測構造３０によれば、映像に対して視点間予測及び映像間予測がいずれも行われる。多視点ビデオ予測構造３０で、矢印の始まる映像が参照映像であり、矢印の終わる映像が、参照映像を用いて予測される映像である。

基本視点映像の予測結果は、符号化された後で基本階層映像ストリームの形態で出力され、付加視点映像の予測結果は、符号化された後で向上階層映像ストリームの形態で出力される。また第１付加視点映像の予測符号化結果は、第１向上階層映像ストリームとして、第２付加視点映像の予測符号化結果は、第２向上階層映像ストリームとして出力される。

基本視点映像に対しては映像間予測のみ行われる。すなわち、Ｉ−ピクチャータイプのキー映像は他の映像を参照しないが、Ｂ−ピクチャータイプ及びｂ−ピクチャータイプの残りの映像は、他の基本視点映像を参照して予測される。Ｂ−ピクチャータイプ映像は、ＰＯＣ順序の先立つＩ−ピクチャータイプキー映像及び後続のＩ−ピクチャータイプキー映像を参照して予測される。ｂ−ピクチャータイプ映像は、ＰＯＣ順序の先立つＩ−ピクチャータイプキー映像及び後続のＢ−ピクチャータイプ映像を参照するか、ＰＯＣ順序の先立つＢ−ピクチャータイプ映像及び後続のＩ−ピクチャータイプキー映像を参照して予測される。

第１付加視点映像及び第２付加視点映像に対しては、異なる視点映像を参照する視点間予測及び同一視点映像を参照する映像間予測が行われる。

基本視点映像と同様に、第１付加視点映像も映像間予測が行われ、第２付加視点映像も映像間予測が行われる。第１付加視点映像及び第２付加視点映像のうちキー映像１３１、１３２、１３３、１３４、１３５、２３１、２３２、２３３、２３４、２３５は同一視点映像を参照しないが、キー映像ではない残りの映像は同一視点映像を参照して予測される。

但し、第１付加視点映像及び第２付加視点映像のうちキー映像１３１、１３２、１３３、１３４、１３５、２３１、２３２、２３３、２３４、２３５もＰＯＣ順序が同じである基本視点キー映像を参照するので、Ｐ−ピクチャータイプ映像またはＢ−ピクチャータイプ映像である。

第１付加視点キー映像１３１、１３２、１３３、１３４、１３５は、それぞれＰＯＣ順序が同じである基本視点キー映像３１、３２、３３、３４、３５及び第２付加視点キー映像２３１、２３２、２３３、２３４、２３５を参照して予測されるので、第１付加視点キー映像１３１、１３２、１３３、１３４、１３５は、Ｂ−ピクチャータイプ映像である。第２付加視点キー映像２３１、２３２、２３３、２３４、２３５は、それぞれＰＯＣ順序が同じである基本視点映像３１、３２、３３、３４、３５のみを参照して予測されるので、第２付加視点キー映像２３１、２３２、２３３、２３４、２３５は、Ｐ−ピクチャータイプ映像である。

また、第１付加視点映像及び第２付加視点映像のうちキー映像１３１、１３２、１３３、１３４、１３５、２３１、２３２、２３３、２３４、２３５ではない残りの映像に対しても、映像間予測だけではなく、ＰＯＣの同じ異なる視点映像を参照する視点間予測が行われるので、Ｂ−ピクチャータイプ映像またはｂ−ピクチャータイプ映像である。

映像を再生するための復元過程も予測過程と類似している。但し、各映像の参照映像が復元されて初めて参照映像を用いて各映像が復元される。

先ず、基本視点映像は、映像間予測を通じて各映像が復元される。Ｉ−ピクチャータイプの基本視点キー映像３１、３２、３３、３４、３５が復元されれば、基本視点キー映像３１、３２、３３、３４、３５を参照してＢ−ピクチャータイプの基本視点映像が復元され、Ｉ−ピクチャータイプまたはＢ−ピクチャータイプの基本視点復元映像を参照してｂ−ピクチャータイプの基本視点映像が復元される。

第２付加視点映像は、基本視点映像を参照する視点間予測及び第２付加視点映像を参照する映像間予測を通じて符号化されたので、第２付加視点映像は、基本視点の参照映像及び第２付加視点の参照映像が復元された後で、復元された参照映像を用いて復元される。

第１付加視点映像は、基本視点映像及び第２付加視点映像を参照する視点間視差補償、及び第１付加視点映像を参照する映像間動き補償を通じて符号化されたので、第１付加視点映像は、基本視点の参照映像、第２付加視点の参照映像及び第１付加視点の参照映像が復元された後で、復元された参照映像を用いて復元される。

図４Ａは、一実施形態による多視点ビデオ予測構造４０を示す。

一実施形態による多視点ビデオ予測構造４０でも、映像に対して視点間予測及び映像間予測がいずれも行われる。

一実施形態による多視点ビデオ予測装置１０は、多視点ビデオ予測構造４０によって基本視点映像、第１付加視点映像及び第２付加視点映像を予測符号化する。

多視点ビデオ予測装置１０は、基本視点映像の予測及び符号化結果を含む基本階層映像ストリームを出力し、第１付加視点映像の予測符号化結果を含む第１向上階層映像ストリーム、及び第２付加視点映像の予測符号化結果を含む第２向上階層映像ストリームを出力する。

一実施形態による多視点ビデオ予測復元装置２０は、多視点ビデオ予測構造４０によって基本視点映像、第１付加視点映像及び第２付加視点映像を復元する。

多視点ビデオ予測復元装置２０は、受信された基本階層映像ストリームを復号化して基本視点映像を復元し、受信された第１向上階層映像ストリームを復号化して第１付加視点映像を復元し、受信された第２向上階層映像ストリームを復号化して第２付加視点映像を復元する。

基本視点映像に対しては映像間予測のみ行われる。第１付加視点映像及び第２付加視点映像に対しては、異なる視点映像を参照する視点間予測、及び同一視点映像を参照する映像間予測が行われる。

それぞれの第１付加視点映像に対しては、ＰＯＣ順序が同じである基本視点映像及び第２付加視点映像を参照する視点間予測が行われ、それぞれの第２付加視点映像に対しては、ＰＯＣ順序が同じである基本視点映像を参照する視点間予測が行われる。

第１付加視点映像及び第２付加視点映像に対しても、それぞれ映像間予測が行われる。

但し、一般的な多視点ビデオ予測構造３０とは異なって一実施形態による多視点ビデオ予測構造４０では、第１付加視点映像及び第２付加視点映像のうちキー映像１４１、１４２、１４３、１４４、１４５、２４１、２４２、２４３、２４４、２４５のうち一部のキー映像１４３、１４５、２４３、２４５は、同一視点キー映像１４２、１４４、２４２、２４４を参照して予測される。

第１付加視点キー映像１４１、１４２、１４３、１４４、１４５は、それぞれＰＯＣ順序が同じである基本視点キー映像４１、４２、４３、４４、４５及び第２付加視点キー映像２４１、２４２、２４３、２４４、２４５を参照して予測されるので、第１付加視点キー映像１４１、１４２、１４３、１４４、１４５は、Ｂ−ピクチャータイプ映像である。また、第１付加視点キー映像１４２、１４４は、基本視点キー映像４２、４４だけではなく他の第１付加視点キー映像１４３、１４５をさらに参照して予測される。

第２付加視点キー映像２４１、２４２、２４３、２４４、２４５のうち一部のキー映像２４１、２４２、２４４は、それぞれＰＯＣ順序が同じである基本視点映像４１、４２、４４のみを参照して予測されるので、Ｐ−ピクチャータイプ映像である。しかし、第２付加視点キー映像２４３、２４５は、それぞれＰＯＣ順序が同じである基本視点映像４３、４５だけではなく、他の第２付加視点キー映像２４２、２４４をさらに参照して予測されるので、Ｂ−ピクチャータイプ映像である。

第１付加視点映像及び第２付加視点映像のうち同一視点キー映像１４２、１４４、２４２、２４４を参照して予測されるキー映像１４３、１４５、２４３、２４５に対する復元過程も、一般的な多視点ビデオ予測構造３０の復元過程と異なる。それぞれのキー映像１４３、１４５、２４３、２４５のための参照映像となる同一視点キー映像１４２、１４４、２４２、２４４が復元された場合に、同一視点キー映像１４２、１４４、２４２、２４４を参照して各キー映像１４３、１４５、２４３、２４５が復元される。

先ず、基本視点映像は、映像間動き補償を通じて基本視点映像が復元される。

第２付加視点映像は、基本視点の参照映像及び第２付加視点の参照映像が復元された後で、復元された参照映像を用いて復元される。特に、第２付加視点キー映像２４３の参照映像となる第２付加視点キー映像２４２が復元された後で、基本視点キー映像４３を参照する視点間視差補償、及び第２付加視点キー映像２４２を参照する動き補償を通じて第２付加視点キー映像２４３が復元される。同様に、第２付加視点キー映像２４５の参照映像となる第２付加視点キー映像２４４が復元された後で、基本視点キー映像４５を参照する視点間視差補償、及び第２付加視点キー映像２４４を参照する動き補償を通じて第２付加視点キー映像２４５が復元される。

第１付加視点映像は、基本視点参照映像、第２付加視点参照映像及び第１付加視点参照映像が復元された後で、復元された参照映像を用いて復元される。特に、第１付加視点キー映像１４３の参照映像となる第１付加視点キー映像１４２が復元された後で、基本視点キー映像４３及び第２付加視点キー映像２４３を参照する視点間視差補償、及び第１付加視点キー映像１４２を参照する動き補償を通じて第１付加視点キー映像１４３が復元される。同様に、第１付加視点キー映像１４５の参照映像となる第１付加視点キー映像１４４が復元された後で、基本視点キー映像４５、第２付加視点キー映像２４５を参照する視点間視差補償と、第１付加視点キー映像１４４を参照する動き補償とを通じて第１付加視点キー映像１４５が復元される。

以下、図４Ａないし図８Ｂを参照して、向上階層の付加視点キー映像の映像間予測を示す多様な実施形態が詳述される。図４Ａないし図８Ｂでは、複数の付加視点のうち第Ｋの付加視点映像、すなわち、任意に選択された付加視点に対する付加視点映像の映像間予測が図示される。図４Ａないし図８Ｂで視点間予測が表示されていないとしても、先立って多視点ビデオ予測構造４０を参考にして説明したように、基本視点映像または他の付加視点映像を参照する視点間予測及び視点間視差補償は行われる。

図４Ｂは、図４Ａの多視点ビデオ予測構造４０のうち付加視点映像のための向上階層の映像間予測構造４９を示す。

一実施形態による向上階層の映像間予測構造４９によれば、付加視点映像８１、８２、８３、８４、８５、１８０、１８１、１８２、１８３、１８４、１８５、１８６、１８７、１８８、２８３、２８４、２８５に対して映像間予測が行われ、付加視点キー映像８１、８２、８３、８４、８５を順次に０、１、２、３、４番目のキー映像であると並べる場合、偶数番目のキー映像８３、８５が直前のキー映像８２、８４を参照して予測される。

予測符号化された映像を復元して再生する復号化過程では、付加視点キー映像８３、８５のための参照映像となる付加視点キー映像８２、８４が復元された後で、付加視点キー映像８２、８４を参照する動き補償を通じて付加視点キー映像８３、８５が復元される。説明の便宜上、付加視点キー映像８３、８５を、‘現在’付加視点キー映像と称し、現在付加視点キー映像よりＰＯＣ順序の先立つ付加視点キー映像８２、８４を、‘以前’付加視点キー映像と称する。

したがって、もし以前付加視点キー映像８２が復元されていないが、現在付加視点キー映像８３に対する復元要請または再生要請が発生した場合、例えば、現在付加視点キー映像８３に対してランダムアクセスが発生した場合に、多視点ビデオ予測復元装置２０は、現在付加視点キー映像８３とＰＯＣ順序が同じである基本視点映像及び現在付加視点キー映像８３の距離画像を用いて現在付加視点キー映像８３を復元する。

但し、図４Ａで参照された向上階層の映像間予測構造４９によれば、現在付加視点キー映像８３と同じＧＯＰ１に属するＢ−ピクチャータイプ映像１８３、またはｂ−ピクチャータイプ映像１８４、１８５は、以前付加視点キー映像５２の復元結果も直間接的に参照する。よって、現在付加視点キー映像８３に対してランダムアクセスが発生して以前付加視点キー映像５２が復元されていない場合には、Ｂ−ピクチャータイプ映像１８３またはｂ−ピクチャータイプ映像１８４、１８５のために以前付加視点キー映像５２を参照した動き補償が行われない。したがって、このような場合には、Ｂ−ピクチャータイプ映像１８３またはｂ−ピクチャータイプ映像１８４、１８５は、それぞれの距離画像及び基本視点映像を用いて復元される。ＧＯＰ２の映像のＢ−ピクチャータイプ映像１８６またはｂ−ピクチャータイプ映像１８７、１８８は、復元された現在付加視点キー映像８３を参照して復元される。

図５は、一実施形態による多視点ビデオ予測構造のうち付加視点映像のための向上階層の映像間予測構造５０を示す。

一実施形態による向上階層の映像間予測構造５０によれば、付加視点映像５１、５２、５３、５４、５５、１５０、１５１、１５２、１５３、１５４、１５５、１５６、１５７、１５８、２５３、２５４、２５５に対して映像間予測が行われ、付加視点キー映像５１、５２、５３、５４、５５を順次に０、１、２、３、４番目のキー映像であると並べる場合、奇数番目のキー映像５２、５４が直後のキー映像５３、５５を参照して予測される。

予測符号化された映像を復元して再生する復号化過程では、付加視点キー映像５２、５４のための参照映像となる付加視点キー映像５３、５５が復元されて初めて、付加視点キー映像５３、５５を参照する動き補償を通じて付加視点キー映像５２、５４が復元される。説明の便宜上、ＰＯＣ順序の先立つ付加視点キー映像５２、５４を‘現在’付加視点キー映像と称し、ＰＯＣ順序の遅れる付加視点キー映像５３、５５を‘次の’付加視点キー映像と称する。

したがって、もし次の付加視点キー映像５３がまだ復元されていないが、現在付加視点キー映像５２に対する復元要請または再生要請が発生した場合、例えば、現在付加視点キー映像５２に対してランダムアクセスが発生した場合に、現在付加視点キー映像５２を復元するための下記の２種の方法が詳述される。

（ｉ）多視点ビデオ予測復元装置２０は、次の付加視点キー映像５３が復元される前に現在付加視点キー映像５２に対する復元要請が発生した場合、次の付加視点キー映像５３はまだ復元されていないので、基本視点映像のうち現在付加視点キー映像５２とＰＯＣ順序が同じである基本視点映像と、現在付加視点キー映像５２の距離画像とを用いて現在付加視点キー映像５２を復元する。

（ｉｉ）多視点ビデオ予測復元装置２０は、次の付加視点キー映像５３が復元される前に現在付加視点キー映像５２に対する復元要請が発生した場合、付加視点映像の復元順序によって、次の付加視点キー映像５３が復元されるまで現在付加視点キー映像５２の復元をディレイする。多視点ビデオ予測復元装置２０は、付加視点映像の復元順序によって次の付加視点キー映像５３を復元した後、復元された次の付加視点キー映像５３を参照して現在付加視点キー映像５２を復元する。このような場合、多視点ビデオ予測復元装置２０は、次の付加視点キー映像５３が復元されるまで、現在付加視点キー映像５２をはじめとしてＧＯＰ０及びＧＯＰ１の映像１５３、１５４、１５５のうちまだ復元されていない映像の符号化データたちをバッファに保存する。次の付加視点キー映像５３が復元されれば、次の付加視点キー映像５３を用いてバッファに保存された映像を復元した後、復元映像５２、５３、１５０、１５１、１５２、１５３、１５４、１５５をいずれもＰＯＣ順序によって再配列する。

先ず、キー映像５２、５４の復元過程とは異なって、他のキー映像を参照しないキー映像５３、５５に対する復元要請または再生要請が発生した場合には、多視点ビデオ予測復元装置２０は、他のキー映像の復元順序を待つ必要なく、直ちに視差補償を通じてキー映像５３、５５を復元する。

但し、図５で参照された向上階層の映像間予測構造５０によれば、キー映像５３の直後のｂ−ピクチャータイプ映像１５７またはＢ−ピクチャータイプ映像１５６は、キー映像５３だけではなく、キー映像５４の復元結果も直間接的に参照するので、キー映像５３が復元されるとしても、キー映像５４の復元が完了した後でｂ−ピクチャータイプ映像１５７またはＢ−ピクチャータイプ映像１５６が復元される。その場合、キー映像５４の復元は、キー映像５５の復元以後に完了するので、多視点ビデオ予測復元装置２０は、ＧＯＰ３の映像２５３、２５４、２５５が復元可能な時、ＧＯＰ２の映像１５６、１５７、１５８も復元される。したがって、ＧＯＰ２の映像１５６、１５７、１５８の復元時期が、１つのＧＯＰほどディレイされる。

図６は、他の実施形態による多視点ビデオ予測構造のうち付加視点映像のための向上階層の映像間予測構造６０を示す。

他の実施形態による向上階層の映像間予測構造６０によれば、付加視点映像６１、６２、６３、６４、６５、１６０、１６１、１６２、１６３、１６４、１６５、１６６、１６７、１６８、２６３、２６４、２６５に対して映像間予測が行われ、付加視点キー映像６１、６２、６３、６４、６５を順に０、１、２、３、４番目のキー映像であると並べる場合、奇数番目のキー映像６２、６４が直後のキー映像６３、６５を参照して予測される。

図５で参照された向上階層の映像間予測構造５０と比べて、図６で参照される向上階層の映像間予測構造６０では、付加視点キー映像６２、６４がＰＯＣ順序の遅れる付加視点キー映像６３、６５を参照するという点は同一である。

但し、図５の向上階層の映像間予測構造５０及び図６の向上階層の映像間予測構造６０を比べれば、ｂ−ピクチャータイプ及びＢ−ピクチャータイプ映像１６０、１６１、１６２、１６３、１６４、１６５、１６６、１６７、１６８、２６３、２６４、２６５のうち、映像１６０、１６２、１６６、１６８の参照映像が変更される。すなわち、図６の向上階層の映像間予測構造６０で、ｂ−ピクチャータイプ及びＢ−ピクチャータイプ映像１６０、１６２、１６６、１６８の参照映像で、現在付加視点キー映像６２、６４が除かれる。

これによって、図５で参照された向上階層の映像間予測構造５０とは異なって、図６の向上階層の映像間予測構造６０によれば、ｂ−ピクチャータイプ及びＢ−ピクチャータイプ映像１６０、１６２は、付加視点キー映像６２の復元結果を待つ必要なく、先ず復元された付加視点キー映像６１を参照して復元される。これと類似して、ｂ−ピクチャータイプ及びＢ−ピクチャータイプ映像１６６、１６８は、付加視点キー映像６４の復元結果を待つ必要なく、先ず復元された付加視点キー映像６３を参照して復元される。

したがって、図６の向上階層の映像間予測構造６０によれば、ＰＯＣ順序によってｂ−ピクチャータイプ及びＢ−ピクチャータイプ映像１６０、１６２、１６６、１６８の直後に位置しているキー映像６２、６４があるとしても、キー映像６２、６４がＰＯＣ順序のさらに遅れるキー映像６３、６５を参照すれば、ｂ−ピクチャータイプ及びＢ−ピクチャータイプ映像１６０、１６２、１６６、１６８は、キー映像６２、６４を参照しない。

図７は、さらに他の実施形態による多視点ビデオ予測構造のうち付加視点映像のための向上階層の映像間予測構造７０を示す。

さらに他の実施形態による向上階層の映像間予測構造７０によれば、付加視点映像７１、７２、７３、７４、７５、１７０、１７１、１７２、１７３、１７４、１７５、１７６、１７７、１７８、２７３、２７４、２７５に対して映像間予測が行われ、付加視点キー映像７１、７２、７３、７４、７５を順に０、１、２、３、４番目のキー映像であると並べる場合、奇数番目のキー映像７２、７４が直前のキー映像７１、７３を参照して予測される。

図５及び図６で参照された向上階層の映像間予測構造５０、６０と比べて、図７で参照される向上階層の映像間予測構造７０では、付加視点キー映像７２、７４がＰＯＣ順序の先立つ付加視点キー映像７１、７３を参照するという点で差がある。

但し、図７の向上階層の映像間予測構造７０によれば、他のキー映像７１、７３を参照するキー映像７２、７４が、ｂ−ピクチャータイプ及びＢ−ピクチャータイプ映像１７３、１７４、２７３、２７４の参照映像から付加視点キー映像７２、７４が除かれる。

ＰＯＣ順序によってｂ−ピクチャータイプ及びＢ−ピクチャータイプ映像１７３、１７４、２７３、２７４の直前に位置しているキー映像７２、７４があるとしても、キー映像７２、７４がＰＯＣ順序の先立つキー映像７１、７３を参照すれば、ｂ−ピクチャータイプ及びＢ−ピクチャータイプ映像１７３、１７４、２７３、２７４は、キー映像７２、７４を参照しない。

図８Ａ及び図８Ｂは、それぞれ図７の実施形態による向上階層の映像間予測構造７０でランダムアクセスが発生する場合の復元結果を示す。

図５及び図６で参照された向上階層の映像間予測構造５０、６０とは異なって、図７の向上階層映像間予測構造７０によれば、現在キー映像に対してランダムアクセスが発生する場合に、現在キー映像より先立つ以前キー映像は原則的には復元されていない。

したがって、図８Ａのようにキー映像７１を参照するキー映像７２に対してランダムアクセスが発生した場合、キー映像７１が復元されていないため、キー映像７２は復元されていない。したがって、多視点ビデオ予測復元装置２０は、以前キー映像７１を参照するキー映像７２に対してランダムアクセスする場合、キー映像７２の復元を省略し、ＧＯＰ１、ＧＯＰ２、ＧＯＰ３の付加視点映像７３、１７３、１７４、１７５、７４、１７６、１７７、１７８、７５、２７３、２７４、２７５を復元する。復元映像１７４、１７３、１７５、７３、１７７、１７６、１７８、７４、２７４、２７３、２７５、７５は、ＰＯＣ順序によって再配列されて（８０）再生される。よって、キー映像７２に対するランダムアクセスの結果、復元映像を再生する時に１つのキー映像７２が損失処理される。

他の例として、距離画像が用いられる。

図８Ａのようにキー映像７１を参照するキー映像７２にランダムアクセス要請が発生した場合、付加視点キー映像７２とＰＯＣ順序が同じである基本視点映像及び距離画像を用いて付加視点キー映像７２が復元される。

図８Ｂのようにキー映像７３にランダムアクセス要請が発生した場合、他の付加視点キー映像の復元結果を待つ必要がないので、直ちにキー映像７３を復元してＧＯＰ２、ＧＯＰ３の付加視点映像７４、１７６、１７７、１７８、７５、２７３、２７４、２７５を復元する。復元映像７３、１７７、１７６、１７８、７４、２７４、２７３、２７５、７５は、ＰＯＣ順序によって再配列されて（８５）再生する。

図４Ａないし図８Ｂの実施形態に限定せず、一実施形態による多視点ビデオ予測装置１０及び一実施形態による多視点ビデオ予測復元装置２０は、向上階層の映像間予測（動き補償）のために、正方向（ｆｏｒｗａｒｄ）予測または逆方向（ｂａｃｋｗａｒｄ）予測を採択する。例えば、付加視点キー映像のうち偶数番目のキー映像を参照して奇数番目のキー映像を予測（復元）するか、または奇数番目のキー映像を参照して偶数番目のキー映像を予測（復元）する。

図４Ａ及び図４Ｂの実施形態のように、参照キー映像のＰＯＣ順序が現在付加視点キー映像のＰＯＣ順序より先立つが、現在付加視点キー映像に対してランダムアクセスが発生した場合に、多視点ビデオ予測復元装置２０は、現在付加視点キー映像の距離画像及び基本視点映像を用いて現在付加視点キー映像を復元する。

図５及び図６の実施形態のように、参照キー映像のＰＯＣ順序が現在付加視点キー映像のＰＯＣ順序より遅れた場合には、多視点ビデオ予測復元装置２０は、参照キー映像が復元されるまで現在付加視点キー映像の復元をディレイし、参照キー映像が復元されて初めて現在付加視点キー映像を復元する。他の例として、参照キー映像が復元されていなければ、多視点ビデオ予測復元装置２０は現在付加視点キー映像のための動き補償を省略し、現在付加視点キー映像の距離画像及び基本視点映像を用いて現在付加視点キー映像を復元する。

図７、図８Ａ及び図８Ｂの実施形態のように、参照キー映像のＰＯＣ順序が現在付加視点キー映像のＰＯＣ順序より前であるとしても、現在付加視点キー映像に対してランダムアクセス要請がある場合には参照キー映像が復元されていないので、多視点ビデオ予測復元装置２０は、現在付加視点キー映像の復元が省略され、その次のＰＯＣ順序の映像が復元される。

また、図６、図７、図８Ａ及び図８Ｂの実施形態のように、キー映像ではないｂ−ピクチャータイプまたはＢ−ピクチャータイプ映像のうち一部は、同一視点の他のキー映像を参照して予測されるキー映像を参照対象から除く。

但し、図４Ａ、図４Ｂ及び図５の実施形態のように、同一視点の他のキー映像を参照して予測される現在付加視点キー映像を復元するために、基本視点キー映像及び距離画像を用いて参照キー映像が復元されうる場合には、キー映像ではないｂ−ピクチャータイプまたはＢ−ピクチャータイプの付加視点映像も、現在付加視点キー映像を参照して復元される。

図９は、一実施形態による多視点ビデオ予測方法のフローチャートを示す。段階９１で、基本視点映像間の映像間予測を行って、Ｉ−ピクチャータイプの基本視点キー映像、及び基本視点映像のレジデュアル値の符号化データを含む基本階層映像ストリームが生成される。

段階９２で、（ｉ）基本視点映像を参照して付加視点映像を予測する視点間予測、（ｉｉ）付加視点映像のうち付加視点キー映像を参照して異なる付加視点キー映像を予測する映像間予測、及び（ｉｉｉ）付加視点映像を参照して付加視点キー映像を除いた付加視点映像を予測する映像間予測が行われる。（ｉ）視点間予測、（ｉｉ）付加視点キー映像の映像間予測、及び（ｉｉｉ）キー映像を除いた付加視点映像の映像間予測を通じて生成された付加視点映像のレジデュアル値を含む向上階層映像ストリームが生成される。

段階９３で、付加視点キー映像のうち現在付加視点キー映像の復元時期以前に復元された付加視点キー映像を参照して、現在付加視点キー映像の映像間予測が行われてもよい。他の例として、付加視点キー映像のうち現在付加視点キー映像の復元時期以後に復元される付加視点キー映像を参照して、現在付加視点キー映像の映像間予測が行われる。

一実施形態によって、基本視点映像及び付加視点映像のうち、同一シーンに対する基本視点映像及び付加視点映像間の視点間深度を示す距離画像が生成される。生成された距離画像は、基本階層映像ストリーム及び向上階層映像ストリームと共に伝送される。

図１０は、一実施形態による多視点ビデオ予測復元方法のフローチャートを示す。段階１０１で、基本階層映像ストリーム及び向上階層映像ストリームが受信される。

段階１０３で、基本階層映像ストリームのうち、Ｉ−ピクチャータイプの基本視点キー映像を復元し、基本視点キー映像を参照して基本視点映像の動き補償が行われることで基本視点映像が復元される。

段階１０５で、向上階層映像ストリームのうち、付加視点キー映像がアクセスされた場合に、復元された基本視点キー映像を参照する視差補償及び向上階層ストリームのうち異なる付加視点キー映像を参照する動き補償のうち少なくとも１つが行われることで、付加視点キー映像が復元される。

段階１０７で、向上階層映像ストリームのうち付加視点キー映像を除いた付加視点映像に対して、復元された基本視点映像を参照する視差補償及び向上階層ストリームのうち先に復元された付加視点映像を参照する動き補償のうち少なくとも１つが行われることで、付加視点キー映像を除いた付加視点映像が復元される。

段階１０１では、基本視点映像及び付加視点映像のうち、同一シーンに対する基本視点映像及び付加視点映像間の視点間深度を示す距離画像がさらに受信される。

キー映像の復元のために、キー映像に対してアクセスが発生する。

一例として、段階１０５で、付加視点キー映像のうち現在付加視点キー映像の復元時期以前に復元された付加視点キー映像を参照して予測された現在付加視点キー映像に対してアクセスする場合には、現在付加視点キー映像に対応する基本視点映像及び距離画像を用いて現在付加視点キー映像が復元される。

他の例として、段階１０５で、付加視点キー映像のうち現在付加視点キー映像の復元時期以前に復元された付加視点キー映像を参照して予測された現在付加視点キー映像に対してアクセスする場合には、現在付加視点キー映像の復元が省略され、現在付加視点キー映像の次の付加視点キー映像が復元される。

一例として、段階１０５で、現在付加視点キー映像の復元時期以後に復元される付加視点キー映像を参照して予測された現在付加視点キー映像に対してアクセスする場合には、現在付加視点キー映像に対応する基本視点映像及び距離画像を用いて現在付加視点キー映像が復元される。

他の例として、段階１０５で、現在付加視点キー映像の復元時期以後に復元される付加視点キー映像を参照して予測された現在付加視点キー映像に対してアクセスする場合には、現在付加視点キー映像の復元がディレイされる。参照映像である付加視点キー映像が復元された後で、復元された参照映像を用いて現在付加視点キー映像が復元される。

一例として、段階１０５で、付加視点キー映像のうち異なる付加視点キー映像を参照しない現在付加視点キー映像に対してアクセスする場合には、現在付加視点キー映像に対応する基本視点映像を参照して現在付加視点キー映像が復元される。

他の例として、段階１０５で、付加視点キー映像のうち異なる付加視点キー映像を参照しない現在付加視点キー映像に対してアクセスする場合、現在付加視点キー映像に対応する基本視点映像及び距離画像を用いて現在付加視点キー映像が復元される。

図９による多視点ビデオ予測方法を行う多視点ビデオ符号化端は、一実施形態による多視点ビデオ予測装置１０を備える。一実施形態による多視点ビデオ予測装置１０を備える多視点ビデオ符号化端は、映像ブロック別にイントラ予測、インター予測（映像間予測、視点間予測）、変換、量子化を行ってサンプルを生成し、サンプルに対してエントロピー符号化を行ってビットストリームの形態で出力する。一実施形態による多視点ビデオ予測装置１０を備える多視点ビデオ符号化端が、ビデオ符号化結果、すなわち、基本階層映像ストリーム及び向上階層映像ストリームを出力するために、多視点ビデオ予測装置１０は、多視点ビデオ符号化端の内部に搭載されたビデオエンコードプロセッサまたは外部ビデオエンコードプロセッサと連係して作動することで、変換を含むビデオ符号化動作を行える。一実施形態による前記多視点ビデオ符号化端の内部ビデオエンコードプロセッサは、別個のプロセッサだけではなく、ビデオ符号化装置または中央演算装置、グラフィック演算装置がビデオエンコードプロセッシングモジュールを備えることで基本的なビデオ符号化動作を具現する場合も含む。

また、ビデオ予測過程で参照映像を生成するためにも、ビデオ復元過程が必要である。よって、前記多視点ビデオ符号化端は、図１０による多視点ビデオ予測復元方法を行う多視点ビデオ予測復元装置２０をさらに備える。一実施形態による多視点ビデオ予測復元装置２０を備える多視点ビデオ符号化端は、基本階層及び向上階層別にインター予測（映像間予測、視点間予測）、イントラ予測、変換、量子化を通じて生成されたデータストリームに対して復号化を行う。すなわち、基本階層及び向上階層に対して、映像ブロック別に逆量子化、逆変換、イントラ予測、動き補償（映像間動き補償、視点間視差補償）を行って基本視点映像及び付加視点映像のサンプルが復元される。一実施形態による多視点ビデオ符号化端は、復元された参照映像を出力するために、多視点ビデオ予測復元装置２０は、多視点ビデオ符号化端の内部に搭載されたビデオデコーディングプロセッサまたは外部ビデオデコーディングプロセッサと連係して作動することで、逆量子化、逆変換、予測／補償を含むビデオ復元動作を行える。一実施形態による多視点ビデオ符号化端の内部ビデオデコーディングプロセッサは、別個のプロセッサだけではなく、多視点ビデオ符号化端または中央演算装置、グラフィック演算装置がビデオデコーディングプロセッシングモジュールを備えることで基本的なビデオ復元動作を具現する場合も含む。

また、図１０による多視点ビデオ予測復元方法を行う多視点ビデオ復号化端は、一実施形態による多視点ビデオ予測復元装置２０を備える。一実施形態による多視点ビデオ予測復元装置２０を備える多視点ビデオ復号化端は、受信された基本階層映像ストリーム及び向上階層映像ストリームに対してそれぞれ復号化を行う。すなわち、基本階層映像ストリーム及び向上階層映像ストリームに対してそれぞれ、映像ブロック別に逆量子化、逆変換、イントラ予測、動き補償（映像間動き補償、視点間視差補償）を行って、基本階層映像ストリームから基本視点映像のサンプルを復元して、向上階層映像ストリームから付加視点映像のサンプルを復元する。一実施形態による多視点ビデオ復号化端は、復号化の結果として生成された復元映像を出力するため、多視点ビデオ予測復元装置２０は、多視点ビデオ復号化端内部に搭載されたビデオデコーディングプロセッサまたは外部ビデオデコーディングプロセッサと連係して作動することで、逆量子化、逆変換、予測／補償を含むビデオ復元動作を行える。一実施形態による多視点ビデオ復号化端の内部ビデオデコーディングプロセッサは、別個のプロセッサだけではなく、多視点ビデオ復号化端または中央演算装置、グラフィック演算装置がビデオデコーディングプロセッシングモジュールを備えることで基本的なビデオ復元動作を具現する場合も含む。

一実施形態による多視点ビデオ予測装置１０及び一実施形態による多視点ビデオ予測復元装置２０で、ビデオデータが分割されるブロックがツリー構造の符号化単位に分割され、符号化単位に対する視点間予測または映像間予測のために符号化単位、予測単位、変換単位が用いられる場合があるということは、前述した通りである。以下、図１１ないし図２３を参照して、一実施形態によるツリー構造の符号化単位及び変換単位に基づいたビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置が開示される。

原則的に多視点ビデオのための符号化／復号化過程で、基本階層のための符号化／復号化過程と、向上階層のための符号化／復号化過程とが別途に行われる。すなわち、多視点ビデオのうち視点間予測が発生する場合には、単一視点ビデオの符号化／復号化結果が互いに参照されるが、単一視点ビデオごとに別途の符号化／復号化過程が発生する。

したがって、説明の便宜上、図１１ないし図２３を参照して後述されるツリー構造の符号化単位に基づいたビデオ符号化過程及びビデオ復号化過程は、単一視点ビデオに対するビデオ符号化過程及びビデオ復号化過程であるので、映像間予測及び動き補償が詳述される。しかし、図１ないし図１０を参照して前述したように、多視点ビデオ符号化／復号化のために、基本視点映像と付加視点映像間の視点間予測及び視点間視差補償が行われる。

したがって、一実施形態による多視点ビデオ予測装置１０がツリー構造の符号化単位に基づいて多視点ビデオを符号化するためには、それぞれの単一視点ビデオごとにビデオ符号化を行うために、図１１のビデオ符号化装置１００を多視点ビデオの視点数ほど備え、各ビデオ符号化装置１００ごとに割り当てられた単一視点ビデオの符号化を行うように制御する。また多視点ビデオ予測装置１０は、各ビデオ符号化装置１００の別個単一視点の符号化結果を用いて視点間予測を行える。これによって多視点ビデオ予測装置１０は、視点別に符号化結果を収録した基本階層映像ストリーム及び向上階層映像ストリームを階層別に生成する。

これと類似して、一実施形態による多視点ビデオ予測復元装置２０が、ツリー構造の符号化単位に基づいて多視点ビデオを復号化するためには、受信した基本階層映像ストリーム及び向上階層映像ストリームに対して階層別にビデオ復号化を行うために、図１２のビデオ復号化装置２００を多視点ビデオの視点数ほど備え、各ビデオ復号化装置２００ごとに割り当てられた単一視点ビデオの復号化を行うように制御する。そして、多視点ビデオ予測復元装置２０が、各ビデオ復号化装置２００の別個単一視点の復号化結果を用いて視点間視差補償を行える。これによって多視点ビデオ予測復元装置２０は、階層別に復元された基本視点映像及び付加視点映像を生成する。

図１１は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置１００のブロック図を示す。

一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、符号化単位決定部１２０及び出力部１３０を備える。以下、説明の便宜上、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、‘デオ符号化装置１００’略称する。

符号化単位決定部１２０は、映像の現在ピクチャーのための最大サイズの符号化単位である最大符号化単位に基づいて現在ピクチャーを区切る。現在ピクチャーが最大符号化単位より大きければ、現在ピクチャーの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２×３２、６４×６４、１２８×１２８、２５６×２５６などのデータ単位で、横及び縦のサイズが２の累乗である正方形のデータ単位である。

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度と、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれて深度別符号化単位のサイズは低減するので、上位深度の符号化単位は複数の下位深度の符号化単位を含む。

前述したように、符号化単位の最大サイズによって、現在ピクチャーの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は深度別に分割されるので、最大符号化単位に含まれた空間領域（ｓｐａｔｉａｌ ｄｏｍａｉｎ）の映像データが、深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割できる総回数を制限する最大深度及び符号化単位の最大サイズが既定のものである。

符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化結果が出力される深度を定める。すなわち、符号化単位決定部１２０は、現在ピクチャーの最大符号化単位ごとに深度別符号化単位で映像データを符号化し、最も小さな符号化誤差が発生する深度を選択して符号化深度として定める。定められた符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差の最も小さな深度が選択される。それぞれの最大化符号化単位ごとに少なくとも１つの符号化深度が定められる。

最大符号化単位のサイズは、深度が深くなるにつれて符号化単位が階層的に分割されて分割され、符号化単位の数は増加する。また、１つの最大符号化単位に含まれる同じ深度の符号化単位であるとしても、それぞれのデータに対する符号化誤差を測定して下位深度への分割如何が定められる。よって、１つの最大符号化単位に含まれるデータであるとしても、位置によって深度別符号化誤差が異なるので、位置によって符号化深度が異なって定められる。よって、１つの最大符号化単位に対して符号化深度が１つ以上設定され、最大符号化単位のデータは、１つ以上の符号化深度の符号化単位によって区切られる。

したがって、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が定められる。一実施形態による‘ツリー構造による符号化単位’は、現在最大符号化単位に含まれるすべての深度別符号化単位のうち、符号化深度と定められた深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では深度によって階層的に定められ、他の領域に対しては独立して定められる。同様に、現在領域に対する符号化深度は、他の領域に対する符号化深度と独立して定められる。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数に関する指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総数を示す。例えば、最大符号化単位の深度が０であれば、最大符号化単位が１回分割された符号化単位の深度は１と設定され、２回分割された符号化単位の深度が２と設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位ならば、深度０、１、２、３、４の深度レベルが存在するので、第１最大深度は４、第２最大深度は５に設定される。

最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、かつ最大深度以下の深度ごとに深度別符号化単位に基づいて行われる。

最大符号化単位が深度別に分割される度に深度別符号化単位の数が増加するので、深度が深くなるにつれて生成されるすべての深度別符号化単位に対して、予測符号化及び変換を含む符号化が行われねばならない。以下、説明の便宜上、少なくとも１つの最大符号化単位のうち現在深度の符号化単位に基づいて予測符号化及び変換を説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位のサイズまたは形態を多様に選択する。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、すべての段階にわたって同じデータ単位が使われても、段階別にデータ単位が変更されてもよい。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択する。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位に基づいて予測符号化が行われる。以下、予測符号化の基盤になる、それ以上分割されない符号化単位を‘予測単位’称する。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち少なくとも１つが分割されたデータ単位を含む。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同じサイズのパーティションである。

例えば、サイズ２Ｎ×２Ｎ（但し、Ｎは、正の整数）の符号化単位がそれ以上分割されない場合、サイズ２Ｎ×２Ｎの予測単位になり、パーティションのサイズは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎなどである。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な割合で分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように非対称的な割合で分割されたパーティション、幾何学的な形態で分割されたパーティション、任意的形態のパーティションなどを選択的に含む。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも１つである。例えば、イントラモード及びインターモードは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎサイズのパーティションに対して行われる。また、スキップモードは、２Ｎ×２Ｎサイズのパーティションに対してのみ行われる。符号化単位以内の１つの予測単位ごとに独立して符号化が行われ、符号化誤差の最も小さな予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位に基づいて符号化単位の映像データの変換を行える。符号化単位の変換のためには、符号化単位より小さいかまたは同じサイズの変換単位に基づいて変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位及びインターモードのための変換単位を含む。

一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も再帰的にさらに小サイズの変換単位に分割されつつ、符号化単位のレジデュアルデータが変換深度によって、ツリー構造による変換単位によって区切られる。

一実施形態による変換単位に対しても、符号化単位の高さ及び幅が分割されて変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎ×２Ｎの現在符号化単位の変換単位のサイズが２Ｎ×２Ｎならば、変換深度０、変換単位のサイズがＮ×Ｎならば、変換深度１、変換単位のサイズがＮ／２×Ｎ／２ならば、変換深度２に設定される。すなわち、変換単位に対しても、変換深度によってツリー構造による変換単位が設定される。

符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。よって、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位のサイズなどを定める。

一実施形態による最大符号化単位のツリー構造による符号化単位及び予測単位／パーティション、及び変換単位の決定方式に対しては、図１３ないし図２３を参照して詳細に後述する。

符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数法（Ｌａｇｒａｎｇｉａｎ Ｍｕｌｔｉｐｌｉｅｒ）基盤の率−歪曲最適化技法（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ）を用いて測定する。

出力部１３０は、符号化単位決定部１２０で定められた少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ及び深度別符号化モードに関する情報を、ビットストリーム形態で出力する。

符号化された映像データは、映像のレジデュアルデータの符号化結果である。

深度別符号化モードに関する情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含む。

符号化深度情報は、現在深度で符号化せずに、下位深度の符号化単位で符号化するか否かを示す深度別分割情報を用いて定義される。現在符号化単位の現在深度が符号化深度ならば、現在符号化単位は現在深度の符号化単位で符号化されるので、現在深度の分割情報はそれ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が符号化深度でなければ、下位深度の符号化単位を用いた符号化を試みるべきなので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が符号化深度でなければ、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に下位深度の符号化単位が１つ以上存在するので、それぞれの下位深度の符号化単位ごとに繰り返して符号化が行われ、同じ深度の符号化単位ごとに再帰的符号化が行われる。

１つの最大符号化単位内にツリー構造の符号化単位が定められ、符号化深度の符号化単位ごとに少なくとも１つの符号化モードに関する情報が定められねばならないので、１つの最大符号化単位に対しては、少なくとも１つの符号化モードに関する情報が定められる。また、最大符号化単位のデータは、深度によって階層的に区切られて位置別に符号化深度が異なるため、データに対して符号化深度及び符号化モードに関する情報が設定される。

したがって、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも１つに対して、該符号化深度及び符号化モードに関する符号化情報を割り当てる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれるすべての符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形データ単位である。

例えば、出力部１３０を通じて出力される符号化情報は、深度別符号化単位別符号化情報と予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含む。予測単位別に伝送される符号化情報は、インターモードの推定方向に関する情報、インターモードの参照映像インデックスに関する情報、動きベクトルに関する情報、イントラモードのクロマ成分に関する情報、イントラモードの補間方式に関する情報などを含む。

ピクチャー、スライスまたはＧＯＰ別に定義される符号化単位の最大サイズに関する情報及び最大深度に関する情報は、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャーパラメータセットなどに挿入される。

また現在ビデオに対して許容される変換単位の最大サイズに関する情報、及び変換単位の最小サイズに関する情報も、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャーパラメータセットなどを通じて出力される。出力部１３０は、図１ないし図６を参照して前述した予測に関する参照情報、予測情報、単一方向予測情報、第４スライスタイプを含むスライスタイプ情報などを符号化して出力する。

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、一階層上位深度の符号化単位の高さ及び幅を半分にしたサイズの符号化単位である。すなわち、現在深度の符号化単位のサイズが２Ｎ×２Ｎならば、下位深度の符号化単位のサイズはＮ×Ｎである。また、２Ｎ×２Ｎサイズの現在符号化単位は、Ｎ×Ｎサイズの下位深度符号化単位を最大４個含む。

したがって、ビデオ符号化装置１００は、現在ピクチャーの特性を考慮して定められた最大符号化単位のサイズ及び最大深度に基づいて、それぞれの最大符号化単位ごとに最適の形態及びサイズの符号化単位を定めて、ツリー構造による符号化単位を構成する。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化できるので、多様な映像サイズの符号化単位の映像特性を考慮して最適の符号化モードが定められる。

したがって、映像の解像度が非常に高いか、またはデータ量の非常に大きい映像を既存マクロブロック単位で符号化すれば、ピクチャー当りマクロブロックの数が過度に多くなる。これによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなってデータ圧縮効率が低下する。よって、一実施形態によるビデオ符号化装置は、映像のサイズを考慮して符号化単位の最大サイズを増大させつつ、映像特性を考慮して符号化単位を調節できるので、映像圧縮効率が向上する。

図１を参照して前述した多視点ビデオ予測装置１０は、多視点ビデオの視点ごとに単一視点映像の符号化のために、視点数ほどのビデオ符号化装置１００を備える。例えば、基本階層符号化部１２が１つのビデオ符号化装置１００を備え、向上階層符号化部１４が付加視点の数ほどのビデオ符号化装置１００を備える。

ビデオ符号化装置１００が基本視点映像を符号化する場合に、符号化単位決定部１２０は、最大符号化単位ごとにツリー構造による符号化単位別に映像間予測のための予測単位を定め、予測単位ごとに映像間予測を行える。

ビデオ符号化装置１００が付加視点映像を符号化する場合にも、符号化単位決定部１２０は、最大符号化単位ごとにツリー構造による符号化単位及び予測単位を定め、予測単位ごとに映像間予測を行える。

特に、付加視点映像に対するビデオ符号化装置１００は、映像間予測のために付加視点キー映像を、同一視点の他のキー映像を参照して予測できる。ビデオ符号化装置１００は、付加視点映像とＰＯＣ順序が同じである基本視点映像間の深度差が記録された距離画像を生成する。

一例として、キー映像ではないｂ−ピクチャータイプまたはＢ−ピクチャータイプ映像のうち一部は、同一視点の他のキー映像を参照して予測されるキー映像を参照対象から除く。他の例として、キー映像ではないｂ−ピクチャータイプまたはＢ−ピクチャータイプの付加視点映像も、現在付加視点キー映像を参照して予測される。

図１２は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置２００のブロック図を示す。

一実施形態によってツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を備える。以下、説明の便宜上、一実施形態によってツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、‘ビデオ復号化装置２００’と略称する。

一実施形態によるビデオ復号化装置２００の復号化動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードに関する情報など各種用語の定義は、図１１及びビデオ符号化装置１００を参照して前述した通りである。

受信部２１０は、符号化されたビデオに対するビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別にツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出して、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャーに対するヘッダ、シーケンスパラメータセットまたはピクチャーパラメータセットから、現在ピクチャーの符号化単位の最大サイズに関する情報を抽出する。

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に対する符号化深度及び符号化モードに関する情報を抽出する。抽出された符号化深度及び符号化モードに関する情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０が最大符号化単位ごとに映像データを復号化可能にする。

最大符号化単位別符号化深度及び符号化モードに関する情報は、１つ以上の符号化深度情報に対して設定され、符号化深度別符号化モードに関する情報は、該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含む。また、符号化深度情報として、深度別分割情報が抽出される。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードに関する情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに繰り返して符号化を行って、最小符号化誤差を発生させると定められた符号化深度及び符号化モードに関する情報である。よって、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化して映像を復元する。

一実施形態による符号化深度及び符号化モードに関する符号化情報は、該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられるので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に符号化深度及び符号化モードに関する情報を抽出する。所定データ単位別に、該最大符号化単位の符号化深度及び符号化モードに関する情報が記録されていれば、同じ符号化深度及び符号化モードに関する情報を持っている所定データ単位は、同じ最大符号化単位に含まれるデータ単位と類推される。

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードに関する情報に基づいてそれぞれの最大符号化単位の映像データを復号化し、現在ピクチャーを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化する。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含む。

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとにそれぞれのパーティション及び予測モードによってイントラ予測または動き補償を行える。

また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化単位別にツリー構造による変換単位情報を読み取り、符号化単位ごとに変換単位に基づいた逆変換を行える。逆変換を通じて、符号化単位の空間領域の画素値を復元する。

映像データ復号化部２３０は、深度別分割情報を用いて現在最大符号化単位の符号化深度を定める。もし、分割情報が現在深度で、それ以上分割されないということを示すならば、現在深度が符号化深度である。よって、映像データ復号化部２３０は、現在最大符号化単位の映像データに対して現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を用いて復号化する。

すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位に対して設定されている符号化情報を観察し、同じ分割情報を含む符号化情報を保有しているデータ単位が集まって、映像データ復号化部２３０によって同じ符号化モードで復号化する１つのデータ単位と見なされる。このような形で定められた符号化単位ごとに符号化モードに関する情報を獲得し、現在符号化単位の復号化が行われる。

図１を参照して前述した多視点ビデオ予測装置１０は、多視点ビデオの視点ごとに映像間予測のための参照映像を生成するために、ビデオ復号化装置２００のうち映像データ復号化部２３０を視点数ほど備える。例えば、基本階層符号化部１２が、１つの映像データ復号化部２３０を備え、向上階層符号化部１４が、付加視点の数ほどのビデオ復号化装置２００を備える。

また、図２を参照して前述した多視点ビデオ予測復元装置２０は、受信された基本階層映像ストリーム及び向上階層映像ストリームを復号化して基本視点映像及び付加視点映像を復元するために、ビデオ復号化装置２００を視点数ほど備える。例えば、基本階層復号化部２４が１つのビデオ復号化装置２００を備え、向上階層復号化部２６が付加視点の数ほどのビデオ復号化装置２００を備える。

基本階層映像ストリームが受信された場合には、ビデオ復号化装置２００の映像データ復号化部２３０は、抽出部２２０によって基本階層映像ストリームから抽出された基本視点映像のサンプルを、最大符号化単位のツリー構造による符号化単位に分ける。映像データ復号化部２３０は、基本視点映像のサンプルのツリー構造による符号化単位ごとに、映像間予測のための予測単位別に動き補償を行って基本視点映像を復元する。

向上階層映像ストリームが受信された場合には、ビデオ復号化装置２００の映像データ復号化部２３０は、抽出部２２０によって向上階層映像ストリームから抽出された付加視点映像のサンプルを、最大符号化単位のツリー構造による符号化単位に分ける。映像データ復号化部２３０は、付加視点映像のサンプルの符号化単位ごとに、映像間予測のための予測単位別に動き補償を行って、付加視点映像を復元する。

特に、付加視点映像のための映像データ復号化部２３０は、現在付加視点キー映像を復元する時、現在付加視点キー映像の参照映像である付加視点キー映像（参照キー映像）が未だ復元されていない場合に、現在付加視点キー映像とＰＯＣ順序が同じである基本視点キー映像及び現在付加視点キー映像の距離画像を用いて現在付加視点キー映像を復元する。

一例として、参照キー映像のＰＯＣ順序が現在付加視点キー映像のＰＯＣ順序より前であるとしても、参照キー映像が復元されていない状態で現在付加視点キー映像が復元されねばならない場合（例えば、現在付加視点キー映像に対してアクセス要請がある場合）には、映像データ復号化部２３０は、現在付加視点キー映像の距離画像及び基本視点映像を用いて現在付加視点キー映像を復元する。

一例として、映像データ復号化部２３０は、同一視点の他のキー映像を参照して予測される現在付加視点キー映像を復元するために、基本視点キー映像及び距離画像を用いて参照キー映像を復元できる場合には、キー映像ではないｂ−ピクチャータイプまたはＢ−ピクチャータイプの付加視点映像も、現在付加視点キー映像を参照して復元できる。

但し、キー映像ではないｂ−ピクチャータイプまたはＢ−ピクチャータイプの付加視点映像の参照キー映像が復元されていない場合にも、付加視点映像の距離画像及び基本視点映像を用いて付加視点映像が復元される。

結局、ビデオ復号化装置２００は、符号化過程で最大符号化単位ごとに再帰的に符号化を行って最小符号化誤差を発生させた符号化単位に関する情報を獲得し、現在ピクチャーに対する復号化に用いる。すなわち、最大符号化単位ごとに最適符号化単位として定められたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

したがって、高解像度の映像またはデータ量が多すぎる映像であっても、符号化端から伝送された最適符号化モードに関する情報を用いて、映像の特性に適応的に定められた符号化単位のサイズ及び符号化モードによって、効率的に映像データを復号化して復元する。

図１３は、本発明の一実施形態による符号化単位の概念を示す。

符号化単位の例は、符号化単位のサイズは幅×高さで表現され、サイズ６４×６４の符号化単位から、３２×３２、１６×１６、８×８を含む。サイズ６４×６４の符号化単位は、サイズ６４×６４、６４×３２、３２×６４、３２×３２のパーティションに分割され、サイズ３２×３２の符号化単位は、サイズ３２×３２、３２×１６、１６×３２、１６×１６のパーティションに分割され、サイズ１６×１６の符号化単位は、サイズ１６×１６、１６×８、８×１６、８×８のパーティションに分割され、サイズ８×８の符号化単位は、サイズ８×８、８×４、４×８、４×４のパーティションに分割される。

ビデオデータ３１０については、解像度は１９２０×１０８０、符号化単位の最大サイズは６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度は１９２０×１０８０、符号化単位の最大サイズは６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度は３５２×２８８、符号化単位の最大サイズは１６、最大深度が１に設定されている。図１３に示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。

解像度が高いか、またはデータ量が多い場合、符号化効率の向上だけではなく映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。よって、ビデオデータ３３０に比べて、解像度の高いビデオデータ３１０、３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度は２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズ６４の最大符号化単位から、２回分割されて深度が２階層深くなって長軸サイズが３２、１６である符号化単位まで含む。一方、ビデオデータ３３０の最大深度は１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズ１６である符号化単位から、１回分割されて深度が１階層深くなって長軸サイズが８である符号化単位まで含む。

ビデオデータ３２０の最大深度は３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４の最大符号化単位から、３回分割されて深度が３階層深くなって長軸サイズが３２、１６、８の符号化単位まで含む。深度が深くなるほど詳細情報の表現能力が向上する。

図１４は、本発明の一実施形態による符号化単位に基づいた映像符号化部４００のブロック図を示す。

一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で映像データの符号化において経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５のうちイントラモードの符号化単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を用いてインター推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を通じて空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループフィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経てビットストリーム４５５として出力される。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループフィルタリング部４９０がいずれも、最大符号化単位ごとに最大深度を考慮してツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を行わねばならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティション及び予測モードを定め、変換部４３０は、ツリー構造による符号化単位のうちそれぞれの符号化単位内の変換単位のサイズを定めねばならない。

映像符号化部４００が多視点ビデオ符号化構造のうち付加視点映像を符号化する場合に、動き推定部４２０は、最大符号化単位ごとにツリー構造による符号化単位別に、映像間予測のための予測単位を定め、予測単位ごとに映像間予測を行う時、付加視点キー映像を同一視点の他のキー映像を参照して予測する。また映像符号化部４００は、付加視点映像とＰＯＣ順序が同じである基本視点映像間の深度差が記録された距離画像を生成する。

また動き補償部４２５は、映像間予測のための予測単位別に動き補償を行って付加視点映像を復元する。付加視点映像の復元映像は、付加視点映像の映像間予測のための参照映像として使われる。現在付加視点キー映像を復元する時、現在付加視点キー映像の参照映像である付加視点キー映像（参照キー映像）がまだ復元されていない場合に、現在付加視点キー映像とＰＯＣ順序が同じである基本視点キー映像及び現在付加視点キー映像の距離画像を用いて現在付加視点キー映像を復元する。

図１５は、本発明の一実施形態による符号化単位に基づいた映像復号化部５００のブロック図を示す。

ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化に関する情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て逆量子化されたデータとして出力され、逆変換部５４０を経て空間領域の映像データが復元される。

空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に用いてインターモードの符号化単位に対して動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

ビデオ復号化装置２００の映像データ復号化部２３０で映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が行われる。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループフィルタリング部５８０がいずれも、最大符号化単位ごとにツリー構造による符号化単位に基づいて作業を行わねばならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位それぞれにパーティション及び予測モードを定め、逆変換部５４０は、符号化単位ごとに変換単位のサイズを定めねばならない。

特に、映像復号化部５００が、多視点ビデオ符号化構造のうち向上階層映像ストリームを復号化する場合に、動き補償部５６０は、映像間予測のための予測単位別に動き補償を行って付加視点映像を復元する。現在付加視点キー映像を復元する時、現在付加視点キー映像の参照映像である付加視点キー映像（参照キー映像）がまだ復元されてない場合に、現在付加視点キー映像とＰＯＣ順序が同じである基本視点キー映像及び現在付加視点キー映像の距離画像を用いて現在付加視点キー映像を復元する。

図１６は、本発明の一実施形態による深度別符号化単位及びパーティションを示す。

一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために階層的な符号化単位を使う。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって適応的に定められ、ユーザの要求に応じて多様に設定される。既定の符号化単位の最大サイズによって、深度別符号化単位のサイズが定められる。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度が４である場合を図示している。この時、最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００のうち最大符号化単位であり、深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４×６４である。縦軸に沿って深度が深くなり、サイズ３２×３２の深度１の符号化単位６２０、サイズ１６×１６の深度２の符号化単位６３０、サイズ８×８の深度３の符号化単位６４０、サイズ４×４の深度４の符号化単位６５０が存在する。サイズ４×４の深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４×６４の符号化単位６１０が予測単位ならば、予測単位は、サイズ６４×６４の符号化単位６１０に含まれるサイズ６４×６４のパーティション６１０、サイズ６４×３２のパーティション６１２、サイズ３２×６４のパーティション６１４、サイズ３２×３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２×３２の符号化単位６２０の予測単位は、サイズ３２×３２の符号化単位６２０に含まれるサイズ３２×３２のパーティション６２０、サイズ３２×１６のパーティション６２２、サイズ１６×３２のパーティション６２４、サイズ１６×１６のパーティション６２６に分割される。
同様に、深度２のサイズ１６×１６の符号化単位６３０の予測単位は、サイズ１６×１６の符号化単位６３０に含まれるサイズ１６×１６のパーティション６３０、サイズ１６×８のパーティション６３２、サイズ８×１６のパーティション６３４、サイズ８×８のパーティション６３６に分割される。

同様に、深度３のサイズ８×８の符号化単位６４０の予測単位は、サイズ８×８の符号化単位６４０に含まれるサイズ８×８のパーティション６４０、サイズ８×４のパーティション６４２、サイズ４×８のパーティション６４４、サイズ４×４のパーティション６４６に分割される。

最後に、深度４のサイズ４×４の符号化単位６５０は、最小符号化単位であり、かつ最下位深度の符号化単位であり、該予測単位も、サイズ４×４のパーティション６５０のみに設定される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を定めるために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わねばならない。

同じ範囲及びサイズのデータを含むための深度別符号化単位の数は、深度が深くなるほど深度別符号化単位の数も増加する。例えば、深度１の符号化単位１つが含むデータに対して、深度２の符号化単位は４つ必要である。よって、同じデータの符号化結果を深度別に比べるために、１つの深度１の符号化単位及び４つの深度２の符号化単位を用いてそれぞれ符号化されねばならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行って、該深度で最も小さな符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行って、深度別代表符号化誤差を比べて最小符号化誤差が検索される。最大符号化単位６１０のうち最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプと選択される。

図１７は、本発明の一実施形態による、符号化単位及び変換単位の関係を示す。

一実施形態によるビデオ符号化装置１００または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに最大符号化単位より小さいか、または同じサイズの符号化単位で映像を符号化または復号化する。符号化過程のうち変換のための変換単位のサイズは、それぞれの符号化単位より大きくないデータ単位に基づいて選択される。

例えば、一実施形態によるビデオ符号化装置１００または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４×６４サイズである時、３２×３２サイズの変換単位７２０を用いて変換が行われる。

また、６４×６４サイズの符号化単位７１０のデータを、６４×６４サイズ以下の３２×３２、１６×１６、８×８、４×４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最も少ない変換単位が選択される。

図１８は、本発明の一実施形態による深度別符号化情報を示す。

一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに関する情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに関する情報８００、予測モードに関する情報８１０、変換単位サイズに関する情報８２０を符号化して伝送する。

パーティションタイプに関する情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に関する情報を示す。例えば、サイズ２Ｎ×２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６、サイズＮ×Ｎのパーティション８０８のうちいずれか１つのタイプに分割されて用いられる。その場合、現在符号化単位のパーティションタイプに関する情報８００は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６及びサイズＮ×Ｎのパーティション８０８のうち１つを示すように設定される。

予測モードに関する情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに関する情報８１０を通じて、パーティションタイプに関する情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうちいずれか１つで予測符号化が行われるかが設定される。

また、変換単位サイズに関する情報８２０は、現在符号化単位をいかなる変換単位に基づいて変換を行うかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうち１つである。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとにパーティションタイプに関する情報８００、予測モードに関する情報８１０、変換単位サイズに関する情報８２０を抽出して復号化に用いる。

図１９は、本発明の一実施形態による深度別符号化単位を示す。

深度の変化を示すために分割情報が用いられる。分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるか否かを示す。

深度０及び２Ｎ＿０×２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０×２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０×Ｎ＿０サイズのパーティションタイプ９１４、Ｎ＿０×２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０×Ｎ＿０サイズのパーティションタイプ９１８を含む。予測単位が対称的な割合で分割されたパーティション９１２、９１４、９１６、９１８のみ例示されているが、前述したように、パーティションタイプはそれらに限定されず、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含む。

パーティションタイプごとに、１つの２Ｎ＿０×２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０×Ｎ＿０サイズのパーティション、２つのＮ＿０×２Ｎ＿０サイズのパーティション、４つのＮ＿０×Ｎ＿０サイズのパーティションごとに繰り返して予測符号化が行われねばならない。サイズ２Ｎ＿０×２Ｎ＿０、サイズＮ＿０×２Ｎ＿０及びサイズ２Ｎ＿０×Ｎ＿０及びサイズＮ＿０×Ｎ＿０のパーティションに対しては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０×２Ｎ＿０のパーティションに対してのみ予測符号化が行われる。

サイズ２Ｎ＿０×２Ｎ＿０、２Ｎ＿０×Ｎ＿０及びＮ＿０×２Ｎ＿０のパーティションタイプ９１２、９１４、９１６のうち１つによる符号化誤差が最も小さければ、それ以上下位深度に分割する必要がない。

サイズＮ＿０×Ｎ＿０のパーティションタイプ９１８による符号化誤差が最も小さければ、深度０を１に変更しつつ分割し（９２０）、深度２及びサイズＮ＿０×Ｎ＿０のパーティションタイプの符号化単位９３０に対して繰り返して符号化を行って最小符号化誤差を検索する。

深度１及びサイズ２Ｎ＿１×２Ｎ＿１（＝Ｎ＿０×Ｎ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１×２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１×Ｎ＿１のパーティションタイプ９４４、サイズＮ＿１×２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１×Ｎ＿１のパーティションタイプ９４８を含む。

また、サイズＮ＿１×Ｎ＿１サイズのパーティションタイプ９４８による符号化誤差が最も小さければ、深度１を深度２に変更しつつ分割し（９５０）、深度２及びサイズＮ＿２×Ｎ＿２の符号化単位９６０に対して繰り返して符号化を行って最小符号化誤差を検索する。

最大深度がｄである場合、深度別符号化単位は深度ｄ−１まで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割されて（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８を含む。

パーティションタイプののうち、１つのサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションごとに繰り返して予測符号化を通じる符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さいとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）はそれ以上下位深度への分割過程を経ず、現在最大符号化単位９００に対する符号化深度が深度ｄ−１と定められ、パーティションタイプは、Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）と定められる。また最大深度がｄであるので、深度ｄ−１の符号化単位９５２に関する分割情報は設定されない。

データ単位９９９は、現在最大符号化単位に対する‘最小単位’であると称される。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位である。このような繰り返し的な符号化過程を通じて、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比べて、最も小さな符号化誤差が発生する深度を選択して符号化深度を定め、該パーティションタイプ及び予測モードが符号化深度の符号化モードと設定される。

このような形で深度０、１、…、ｄ−１、ｄのすべての深度別最小符号化誤差を比べて誤差の最も小さな深度が選択され、符号化深度と定められる。符号化深度、及び予測単位のパーティションタイプ及び予測モードは、符号化モードに関する情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されねばならないので、符号化深度の分割情報のみが‘０’に設定され、符号化深度を除いた深度別分割情報は‘１’に設定されねばならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に対する符号化深度及び予測単位に関する情報を抽出して符号化単位９１２の復号化に用いる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を用いて分割情報が‘０’の深度を符号化深度と把握し、該深度に対する符号化モードに関する情報を用いて復号化に用いる。

図２０ないし図２２は、本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を示す。

符号化単位１０１０は、最大符号化単位に対して一実施形態によるビデオ符号化装置１００が定めた符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０のうちそれぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０ならば、符号化単位１０１２、１０５４は、深度が１、符号化単位１０１４、１０１６、１０１８、１０２８、１０５０、１０５２は、深度が２、符号化単位１０２０、１０２２、１０２４、１０２６、１０３０、１０３２、１０４８は、深度が３、符号化単位１０４０、１０４２、１０４４、１０４６は、深度が４である。

予測単位１０６０のうち一部のパーティション１０１４、１０１６、１０２２、１０３２、１０４８、１０５０、１０５２、１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４、１０２２、１０５０、１０５４は、２Ｎ×Ｎのパーティションタイプであり、パーティション１０１６、１０４８、１０５２は、Ｎ×２Ｎのパーティションタイプ、パーティション１０３２は、Ｎ×Ｎのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、または同一である。

変換単位１０７０のうち一部１０５２の映像データに対しては、符号化単位に比べて小サイズのデータ単位で変換または逆変換が行われる。また、変換単位１０１４、１０１６、１０２２、１０３２、１０４８、１０５０、１０５２、１０５４は、予測単位１０６０のうち該予測単位及びパーティションと比べれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、同じ符号化単位に対するイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位に基づいて行える。

これによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われて最適符号化単位が定められることで、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に関する分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含む。以下の表１は、一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００で設定できる一例を示す。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に関する符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に関する符号化情報を抽出する。

分割情報は、現在符号化単位が下位深度の符号化単位に分割されるか否かを示す。現在深度ｄの分割情報が０ならば、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度に対してパーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって１段階さらに分割されねばならない場合には、分割された４個の下位深度の符号化単位ごとに独立して符号化が行われねばならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち１つで示す。イントラモード及びインターモードは、すべてのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎ×２Ｎのみで定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が対称的な割合で分割された対称的パーティションタイプ２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ及びＮ×Ｎと、非対称的な割合で分割された非対称的パーティションタイプ２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、ｎＲ×２Ｎを示す。非対称的パーティションタイプ２Ｎ×ｎＵ及び２Ｎ×ｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬ×２Ｎ及びｎＲ×２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで２種のサイズ、インターモードで２種のサイズに設定される。すなわち、変換単位分割情報が０ならば、変換単位のサイズが現在符号化単位のサイズ２Ｎ×２Ｎに設定される。変換単位分割情報が１ならば、現在符号化単位が分割されたサイズの変換単位が設定される。またサイズ２Ｎ×２Ｎの現在符号化単位に対するパーティションタイプが対称形パーティションタイプならば、変換単位のサイズはＮ×Ｎ、非対称形パーティションタイプならば、Ｎ／２×Ｎ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも１つに対して割り当てられる。符号化深度の符号化単位は、同じ符号化情報を保有している予測単位及び最小単位を１つ以上含む。

したがって、隣接しているデータ単位同士でそれぞれ保有している符号化情報を確認すれば、同じ符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を用いれば、該符号化深度の符号化単位を確認できるので、最大符号化単位内の符号化深度の分布が類推される。

したがって、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接している深度別符号化単位内のデータ単位の符号化情報が直接参照されて用いられる。

他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接している深度別符号化単位の符号化情報を用いて、深度別符号化単位内で現在符号化単位に隣接しているデータが検索されることで周辺符号化単位が参照される。

図２３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す。

最大符号化単位１３００は、符号化深度の符号化単位１３０２、１３０４、１３０６、１３１２、１３１４、１３１６、１３１８を含む。それらのうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎ×２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６、Ｎ×Ｎ １３２８、２Ｎ×ｎＵ １３３２、２Ｎ×ｎＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち１つに設定される。

変換単位分割情報（ＴＵ ｓｉｚｅ ｆｌａｇ）は、変換インデックスの一種であり、変換インデックスに対応する変換単位のサイズは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。

例えば、パーティションタイプ情報が対称形パーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６及びＮ×Ｎ １３２８のうち１つに設定されている場合、変換単位分割情報が０ならば、サイズ２Ｎ×２Ｎの変換単位１３４２が設定され、変換単位分割情報が１ならば、サイズＮ×Ｎの変換単位１３４４が設定される。

パーティションタイプ情報が非対称形パーティションタイプ２Ｎ×ｎＵ １３３２、２Ｎ×ｎＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち１つに設定された場合、変換単位分割情報（ＴＵ ｓｉｚｅ ｆｌａｇ）が０ならば、サイズ２Ｎ×２Ｎの変換単位１３５２が設定され、変換単位分割情報が１ならば、サイズＮ／２×Ｎ／２の変換単位１３５４が設定される。

図２３を参照して前述された変換単位分割情報（ＴＵ ｓｉｚｅ ｆｌａｇ）は、０または１の値を持つフラグであるが、一実施形態による変換単位分割情報が１ビットのフラグに限定されるものではなく、設定によって０、１、２、３…などに増加して変換単位が階層的に分割されることもある。変換単位分割情報は、変換インデックスの一実施形態として用いられる。

その場合、一実施形態による変換単位分割情報を変換単位の最大サイズ、変換単位の最小サイズと共に用いれば、実際に用いられた変換単位のサイズが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化する。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を用いて、ビデオ復号化に用いる。

例えば、（ａ）現在符号化単位がサイズ６４×６４であり、最大変換単位サイズは３２×３２ならば、（ａ−１）変換単位分割情報が０の時に変換単位のサイズが３２×３２、（ａ−２）変換単位分割情報が１の時に変換単位のサイズが１６×１６、（ａ−３）変換単位分割情報が２である時に変換単位のサイズが８×８に設定される。

他の例として、（ｂ）現在符号化単位がサイズ３２×３２であり、最小変換単位サイズは３２×３２ならば、（ｂ−１）変換単位分割情報が０である時に変換単位のサイズが３２×３２に設定され、変換単位のサイズが３２×３２より小さいことはないので、これ以上の変換単位分割情報が設定されない。

さらに他の例として、（ｃ）現在符号化単位がサイズ６４×６４であり、最大変換単位分割情報が１ならば、変換単位分割情報は０または１であり、他の変換単位分割情報が設定されない。

したがって、最大変換単位分割情報を‘ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅＩｎｄｅｘ’、最小変換単位サイズを‘ＭｉｎＴｒａｎｓｆｏｒｍＳｉｚｅ’、変換単位分割情報が０である場合の変換単位サイズを‘ＲｏｏｔＴｕＳｉｚｅ’と定義する時、現在符号化単位で可能な最小変換単位サイズ‘ＣｕｒｒＭｉｎＴｕＳｉｚｅ’は、下記の数式（１）のように定義される。

ＣｕｒｒＭｉｎＴｕＳｉｚｅ
＝ｍａｘ（ＭｉｎＴｒａｎｓｆｏｒｍＳｉｚｅ，
ＲｏｏｔＴｕＳｉｚｅ／（２＾ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅＩｎｄｅｘ）） （１）
現在符号化単位で可能な最小変換単位サイズ‘ＣｕｒｒＭｉｎＴｕＳｉｚｅ’と比べて、変換単位分割情報が０である場合の変換単位サイズである‘ＲｏｏｔＴｕＳｉｚｅ’は、システム上採択可能な最大変換単位サイズを示す。すなわち、数式（１）によれば、‘ＲｏｏｔＴｕＳｉｚｅ／（２＾ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅＩｎｄｅｘ）’は、変換単位分割情報が０である場合の変換単位サイズである‘ＲｏｏｔＴｕＳｉｚｅ’を、最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、‘ＭｉｎＴｒａｎｓｆｏｒｍＳｉｚｅ’は、最小変換単位サイズであるので、それらのうち小さな値が、現在現在符号化単位で可能な最小変換単位サイズ‘ＣｕｒｒＭｉｎＴｕＳｉｚｅ’である。

一実施形態による最大変換単位サイズＲｏｏｔＴｕＳｉｚｅは、予測モードによって変わる。

例えば、現在予測モードがインターモードならば、ＲｏｏｔＴｕＳｉｚｅは。下記の数式（２）によって定められる。数式（２）で‘ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅ’は、最大変換単位サイズ、‘ＰＵＳｉｚｅ’は、現在予測単位サイズを示す。

ＲｏｏｔＴｕＳｉｚｅ＝ｍｉｎ（ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅ，ＰＵＳｉｚｅ） （２）
すなわち、現在予測モードがインターモードならば、変換単位分割情報が０である場合の変換単位サイズである‘ＲｏｏｔＴｕＳｉｚｅ’は、最大変換単位サイズ及び現在予測単位サイズのうち小さな値に設定される。

現在パーティション単位の予測モードがイントラモードならば、‘ＲｏｏｔＴｕＳｉｚｅ’は、下記の数式（３）によって定められる。‘ＰａｒｔｉｔｉｏｎＳｉｚｅ’は、現在パーティション単位のサイズを示す。

ＲｏｏｔＴｕＳｉｚｅ＝ｍｉｎ（ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅ，ＰａｒｔｉｔｉｏｎＳｉｚｅ） （３）
すなわち、現在予測モードがイントラモードならば、変換単位分割情報が０である場合の変換単位サイズである‘ＲｏｏｔＴｕＳｉｚｅ’は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さな値に設定される。

但し、パーティション単位の予測モードによって変わる一実施形態による現在最大変換単位サイズ‘ＲｏｏｔＴｕＳｉｚｅ’は一実施形態に過ぎず、現在最大変換単位サイズを定める要因がそれに限定されるものではないということに留意せねばならない。

図１１ないし図２３を参照して前述されたツリー構造の符号化単位に基づいたビデオ符号化技法によって、ツリー構造の符号化単位ごとに空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号化技法によって最大符号化単位ごとに復号化が行われつつ空間領域の映像データが復元され、ピクチャー及びピクチャーシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に記録されるか、または、ネットワークを通じて伝送される。

一方、詳述した本発明の実施形態はコンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を用いて前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）のような記録媒体を含む。

説明の便宜上、前記図１ないし図２３を参照して前述された多視点ビデオ予測方法、多視点ビデオ予測復元方法または多視点ビデオ符号化方法によるビデオ符号化方法は、‘本発明のビデオ符号化方法’とする。また、前記図１ないし図２３を参照して前述された多視点ビデオ予測復元方法または多視点ビデオ復号化方法によるビデオ復号化方法は、‘本発明のビデオ復号化方法’とする。

また、前記図１ないし図２３を参照して前述された多視点ビデオ予測装置１０、多視点ビデオ予測復元装置２０、多視点ビデオ符号化装置１００または映像符号化部４００で構成されたビデオ符号化装置は、‘本発明のビデオ符号化装置’とする。また、前記図１ないし図２３を参照して前述された多視点ビデオ予測復元装置２０、多視点ビデオ復号化装置２００または映像復号化部５００で構成されたビデオ復号化装置は、‘本発明のビデオ復号化装置’とする。

一実施形態によるプログラムが保存されるコンピュータで読み取り可能な記録媒体がディスク２６０である実施形態を、以下で詳述する。

図２４Ａは、一実施形態によるプログラムが保存されたディスク２６０の物理的構造を例示する。記録媒体として前述されたディスク２６０は、ハードドライブ、ＣＤ−ＲＯＭディスク、ブルーレイディスク、ＤＶＤディスクである。ディスク２６０は、複数の同心円のトラックｔｒで構成され、トラックは円周方向に沿って所定数のセクターＳｅに分割される。前記前述された一実施形態によるプログラムを保存するディスク２６０のうち特定領域に、前述された多視点ビデオ予測方法、多視点ビデオ予測復元方法、多視点ビデオ符号化方法及び多視点ビデオ復号化方法を具現するためのプログラムが割り当てられて保存される。

前述されたビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムを保存する記録媒体を用いて達成されたコンピュータシステムが、図２４Ｂを参照して後述される。

図２４Ｂは、ディスク２６０を用いてプログラムを記録して読み取るためのディスクドライブ２６８を示す。コンピュータシステム２６７は、ディスクドライブ２６８を用いて本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも１つを具現するためのプログラムをディスク２６０に保存する。ディスク２６０に保存されたプログラムをコンピュータシステム２６７上で実行するために、ディスクドライブ２６８によってディスク２６０からプログラムが読み取られ、プログラムがコンピュータシステム２６７に伝送される。

図２４Ａ及び図２４Ｂで例示されたディスク２６０だけではなく、メモリカード、ＲＯＭカセット、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）にも本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも１つを具現するためのプログラムが保存される。

前述された実施形態によるビデオ符号化方法及びビデオ復号化方法の適用されたシステムが後述される。

図２５は、コンテンツ流通サービスを提供するためのコンテンツ供給システム１１００の全体的な構造を示す。通信システムのサービス領域は所定サイズのセルに分割され、各セルに、ベースステーションとなる無線基地局１１７０、１１８０、１１９０、１２００が設けられる。

コンテンツ供給システム１１００は、複数の独立デバイスを備える。例えば、コンピュータ１２１０、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）１２２０、カメラ１２３０及び携帯電話１２５０のような独立デバイスが、インターネットサービス供給者１１２０、通信網１１４０、及び無線基地局１１７０、１１８０、１１９０、１２００を経てインターネット１１１０に連結される。

しかし、コンテンツ供給システム１１００は、図２５に示された構造のみに限定されるものではなく、デバイスが選択的に連結される。独立デバイスは、無線基地局１１７０、１１８０、１１９０、１２００を経ずに通信網１１４０に直接連結されてもよい。

ビデオカメラ１２３０は、デジタルビデオカメラのようにビデオ映像を撮影できる撮像デバイスである。携帯電話１２５０は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＣＤＭＡ（ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、Ｗ−ＣＤＭＡ（ｗｉｄｅｂａｎｄ ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、ＧＳＭ（登録商標：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、及びＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）方式のような多様なプロトコルのうち少なくとも１つの通信方式を採択する。

ビデオカメラ１２３０は、無線基地局１１９０及び通信網１１４０を経てストリーミングサーバ１１３０に連結される。ストリーミングサーバ１１３０は、ユーザがビデオカメラ１２３０を使って伝送したコンテンツを、リアルタイム放送でストリーミング伝送する。ビデオカメラ１２３０から受信されたコンテンツは、ビデオカメラ１２３０またはストリーミングサーバ１１３０によって符号化される。ビデオカメラ１２３０で撮影されたビデオデータは、コンピュータ１２１０を経てストリーミングサーバ１１３０に伝送される。

カメラ１２６０で撮影されたビデオデータも、コンピュータ１２１０を経てストリーミングサーバ１１３０に伝送される。カメラ１２６０は、デジタルカメラのように静止画及びビデオ映像をいずれも撮影できる撮像装置である。カメラ１２６０から受信されたビデオデータは、カメラ１２６０またはコンピュータ１２１０によって符号化される。ビデオ符号化及び復号化のためのソフトウェアは、コンピュータ１２１０がアクセスできるＣＤ−ＲＯＭディスク、フロッピー（登録商標）ディスク、ハードディスクドライブ、ＳＳＤ、メモリカードのようなコンピュータで読み取り可能な記録媒体に記録される。

また携帯電話１２５０に搭載されたカメラによってビデオが撮影された場合、ビデオデータが携帯電話１２５０から受信される。

ビデオデータは、ビデオカメラ１２３０、携帯電話１２５０またはカメラ１２６０に搭載されたＬＳＩ（Ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）システムによって符号化される。

一実施形態によるコンテンツ供給システム１１００で、例えば、コンサートの現場録画コンテンツのように、ユーザがビデオカメラ１２３０、カメラ１２６０、携帯電話１２５０または他の撮像デバイスを用いて録画したコンテンツが符号化され、ストリーミングサーバ１１３０に伝送される。ストリーミングサーバ１１３０は、コンテンツデータを要請した他のクライアントにコンテンツデータをストリーミング伝送する。

クライアントは、符号化されたコンテンツデータを復号化できるデバイスであり、例えば、コンピュータ１２１０、ＰＤＡ １２２０、ビデオカメラ１２３０または携帯電話１２５０である。よって、コンテンツ供給システム１１００は、クライアントが符号化されたコンテンツデータを受信して再生可能にする。またコンテンツ供給システム１１００は、クライアントが符号化されたコンテンツデータを受信して、リアルタイムで復号化かつ再生可能にして、個人放送（ｐｅｒｓｏｎａｌ ｂｒｏａｄｃａｓｔｉｎｇ）を可能にする。

コンテンツ供給システム１１００に備えられた独立デバイスの符号化動作及び復号化動作に、本発明のビデオ符号化装置及びビデオ復号化装置が適用される。

図２６及び図２７を参照して、コンテンツ供給システム１１００のうち携帯電話１２５０の一実施形態が詳細に後述される。

図２６は、一実施形態による本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話１２５０の外部構造を示す。携帯電話１２５０は、機能が制限されず、応用プログラムを通じて相当部分の機能を変更または拡張できるスマートフォンである。

携帯電話１２５０は、無線基地局１２００とＲＦ信号を交換するための内蔵アンテナ１２５１を備え、カメラ１２５３によって撮影された映像またはアンテナ１２５１によって受信されて復号化された映像をディスプレイするためのＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅｓ）画面のようなディスプレイ画面１２５２を備える。スマートフォン１２５１は、制御ボタン、タッチパネルを含む動作パネル１２５４を備える。ディスプレイ画面１２５２がタッチスクリーンである場合、動作パネル１２５４は、ディスプレイ画面１２５２のタッチ感知パネルをさらに備える。スマートフォン１２５１は、音声、音響を出力するためのスピーカー１２５８または他の形態の音響出力部と、音声、音響が入力されるマイクロフォン１２５５または他の形態の音響入力部を備える。スマートフォン１２５１は、ビデオ及び静止画を撮影するためのＣＣＤカメラのようなカメラ１２５３をさらに備える。また、スマートフォン１２５１は、カメラ１２５３によって撮影されるか、電子メールで受信されるか、または他の形態で獲得されたビデオや静止画のように、符号化または復号化されたデータを保存するための記録媒体１２５７、そして記録媒体１２５７を携帯電話１２５０に取り付けるためのスロット１２５６を備える。記録媒体１２５７は、ＳＤカードまたはプラスチックケースに内蔵されたＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ａｎｄ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄｏｎｌｙ ｍｅｍｏｒｙ）のような他の形態のフラッシュメモリである。

図２７は、携帯電話１２５０の内部構造を示す。ディスプレイ画面１２５２及び動作パネル１２５４で構成された携帯電話１２５０の各パートを組織的に制御するために、電力供給回路１２７０、動作入力制御部１２６４、映像符号化部１２７２、カメラインターフェース１２６３、ＬＣＤ制御部１２６２、映像復号化部１２６９、マルチプレクサ／デマルチプレクサ（ＭＵＸ／ＤＥＭＵＸ）１２６８、記録／読み取り部１２６７、変調／復調部１２６６及び音響処理部１２６５が、同期化バス１２７３を通じて中央制御部１２７１に連結される。

ユーザが電源ボタンを動作させて‘電源オフ’状態から‘電源オン’状態に設定すれば、電力供給回路１２７０は、バッテリーパックから携帯電話１２５０の各パートに電力を供給することで、携帯電話１２５０が動作モードにセットされる。

中央制御部１２７１は、ＣＰＵ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を備える。

携帯電話１２５０が外部に通信データを送信する過程では、中央制御部１２７１の制御によって携帯電話１２５０でデジタル信号が生成される。例えば、音響処理部１２６５ではデジタル音響信号が生成され、映像符号化部１２７２ではデジタル映像信号が生成され、動作パネル１２５４及び動作入力制御部１２６４を通じてメッセージのテキストデータが生成される。中央制御部１２７１の制御によって、デジタル信号が変調／復調部１２６６に伝達されれば、変調／復調部１２６６は、デジタル信号の周波数帯域を変調し、通信回路１２６１は、帯域変調されたデジタル音響信号に対してＤ／Ａ変換（Ｄｉｇｉｔａｌ−Ａｎａｌｏｇ ｃｏｎｖｅｒｓｉｏｎ）及び周波数変換処理を行う。通信回路１２６１から出力された送信信号は、アンテナ１２５１を通じて音声通信基地局または無線基地局１２００に送出される。

例えば、携帯電話１２５０が通話モードである時にマイクロフォン１２５５によって獲得された音響信号は、中央制御部１２７１の制御によって音響処理部１２６５でデジタル音響信号に変換される。生成されたデジタル音響信号は、変調／復調部１２６６及び通信回路１２６１を経て送信信号に変換され、アンテナ１２５１を通じて送出される。

データ通信モードで電子メールのようなテキストメッセージが伝送される場合、動作パネル１２５４を用いてメッセージのテキストデータが入力され、テキストデータが動作入力制御部１２６４を通じて中央制御部１２６１に伝送される。中央制御部１２６１の制御によって、テキストデータは、変調／復調部１２６６及び通信回路１２６１を通じて送信信号に変換され、アンテナ１２５１を通じて無線基地局１２００に送出される。

データ通信モードで映像データを伝送するために、カメラ１２５３によって撮影された映像データが、カメラインターフェース１２６３を通じて映像符号化部１２７２に提供される。カメラ１２５３によって撮影された映像データは、カメラインターフェース１２６３及びＬＣＤ制御部１２６２を通じてディスプレイ画面１２５２に直ちにディスプレイされる。

映像符号化部１２７２の構造は、前述された本発明のビデオ符号化装置の構造と相応する。映像符号化部１２７２は、カメラ１２５３から提供された映像データを、前述されたビデオ符号化装置１００または映像符号化部４００のビデオ符号化方式によって符号化して、圧縮符号化された映像データに変換し、符号化された映像データを多重化／逆多重化部１２６８に出力する。カメラ１２５３の録画中に携帯電話１２５０のマイクロフォン１２５５によって獲得された音響信号も、音響処理部１２６５を経てデジタル音響データに変換され、デジタル音響データは、多重化／逆多重化部１２６８に伝達される。

多重化／逆多重化部１２６８は、音響処理部１２６５から提供された音響データと共に、映像符号化部１２７２から提供された符号化された映像データを多重化する。多重化されたデータは、変調／復調部１２６６及び通信回路１２６１を通じて送信信号に変換され、アンテナ１２５１を通じて送出される。

携帯電話１２５０が外部から通信データを受信する過程では、アンテナ１２５１を通じて受信された信号を、周波数復元及びＡ／Ｄ変換処理を通じてデジタル信号に変換する。変調／復調部１２６６は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によってビデオ復号化部１２６９、音響処理部１２６５またはＬＣＤ制御部１２６２に伝達する。

携帯電話１２５０は、通話モードである時、アンテナ１２５１を通じて受信された信号を増幅し、周波数変換及びＡ／Ｄ変換処理を通じてデジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部１２７１の制御によって、変調／復調部１２６６及び音響処理部１２６５を経てアナログ音響信号に変換され、アナログ音響信号がスピーカー１２５８を通じて出力される。

データ通信モードで、インターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ１２５１を通じて無線基地局１２００から受信された信号は、変調／復調部１２６６の処理結果として、多重化されたデータを出力し、多重化されたデータは多重化／逆多重化部１２６８に伝達される。

アンテナ１２５１を通じて受信した多重化されたデータを復号化するために、多重化／逆多重化部１２６８は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと符号化されたオーディオデータストリームとを分離する。同期化バス１２７３によって、符号化されたビデオデータストリームはビデオ復号化部１２６９に提供され、符号化されたオーディオデータストリームは、音響処理部１２６５に提供される。

映像復号化部１２６９の構造は、前述された本発明のビデオ復号化装置の構造と相応する。映像復号化部１２６９は、前述されたビデオ復号化装置２００または映像復号化部５００のビデオ復号化方式を用いて、符号化されたビデオデータを復号化して復元されたビデオデータを生成し、復元されたビデオデータを、ＬＣＤ制御部１２６２を経てディスプレイ画面１２５２に提供する。

これによって、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータがディスプレイ画面１２５２でディスプレイされる。これと共に、音響処理部１２６５もオーディオデータをアナログ音響信号に変換し、アナログ音響信号をスピーカー１２５８に提供する。これによって、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータも、スピーカー１２５８で再生される。

携帯電話１２５０または他の形態の通信端末機は、本発明のビデオ符号化装置及びビデオ復号化装置をいずれも備える送受信端末機であるか、前述された本発明のビデオ符号化装置のみを備える伝送端末機であるか、または本発明のビデオ復号化装置のみを備える受信端末機である。

本発明の通信システムは、図２５を参照して前述した構造に限定されるものではない。例えば、図２８は、本発明による通信システムが適用されたデジタル放送システムを示す。図２８の一実施形態によるデジタル放送システムは、本発明のビデオ符号化装置及びビデオ復号化装置を用いて、衛星または地上波ネットワークを通じて伝送されるデジタル放送を受信する。

具体的に説明すれば、放送局１２８９は、電波を通じてビデオデータストリームを通信衛星または放送衛星１２９０に伝送する。放送衛星１２９０は、放伝送号を伝送し、放伝送号は、家庭にあるアンテナ１２８６によって衛星放送受信機に受信される。各家庭で、符号化されたビデオストリームは、ＴＶ受信機１２８１、セットトップボックス１２８７または他のデバイスによって復号化されて再生される。

再生装置１２８３で本発明のビデオ復号化装置が具現されることで、再生装置１２８３が、ディスク及びメモリカードのような記録媒体１２８２に記録された、符号化されたビデオストリームを読み取って復号化する。これによって復元されたビデオ信号は、例えば、モニタ１２８４で再生される。

衛星／地上波放送のためのアンテナ１２８６またはケーブルＴＶ受信のためのケーブルアンテナ１２８５に連結されたセットトップボックス１２８７にも、本発明のビデオ復号化装置が搭載される。セットトップボックス１２８７の出力データもＴＶモニタ１２８８で再生される。

他の例として、セットトップボックス１２８７の代りにＴＶ受信機１２８１自体に本発明のビデオ復号化装置が搭載される。

適当なアンテナ１２９１を備える自動車１２９２が、衛星１２８０または無線基地局１１７０から送出される信号を受信する。自動車１２９２に搭載された自動車ナビゲーションシステム１２９３のディスプレイ画面に、復号化されたビデオが再生される。

ビデオ信号は、本発明のビデオ符号化装置によって符号化され、記録媒体に記録されて保存される。具体的に説明すれば、ＤＶＤレコーダによって映像信号がＤＶＤディスク１２９６に保存されるか、または、ハードディスクレコーダ１２９５によってハードディスクに映像信号が保存される。他の例として、ビデオ信号はＳＤカード１２９７に保存される。ハードディスクレコーダ１２９５が一実施形態による本発明のビデオ復号化装置を備えれば、ＤＶＤディスク１２９６、ＳＤカード１２９７または他の形態の記録媒体に記録されたビデオ信号がモニタ１２８８で再生される。

自動車ナビゲーションシステム１２９３は、図２７のカメラ１２５３、カメラインターフェース１２６３及び映像符号化部１２７２を備えもしない。例えば、コンピュータ１２１０及びＴＶ受信機１２８１も、図２７のカメラ１２５３、カメラインターフェース１２６３及び映像符号化部１２７２を備えもしない。

図２９は、本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置を用いるクラウドコンピューティングシステムのネットワーク構造を示す。

本発明のクラウドコンピューティングシステムは、クラウドコンピューティングサーバ１４００、ユーザＤＢ １４１０、コンピューティング資源１４２０及びユーザ端末機を備えて形成される。

クラウドコンピューティングシステムは、ユーザ端末機の要請に応じて、インターネットのような情報通信網を通じてコンピューティング資源のオン・デマンドアウトソーシングサービスを提供する。クラウドコンピューティング環境で、サービス提供者は、互いに異なる物理的な位置に存在するデータセンターのコンピューティング資源を仮想化技術で統合して、ユーザに必要なサービスを提供する。サービスユーザは、アプリケーション、ストレージ、運用体制（ＯＳ）、保安などのコンピューティング資源を各ユーザ所有の端末にインストールして使うものではなく、仮想化技術を通じて生成された仮想空間上のサービスを、所望の時点に所望のほど選んで使える。

特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を通じてクラウドコンピューティングサーバ１４００に接続する。ユーザ端末機は、クラウドコンピューティングサーバ１４００からクラウドコンピューティングサービス、特に動画再生サービスを提供される。ユーザ端末機は、デスクトップＰＣ １４３０、スマートＴＶ １４４０、スマートフォン１４５０、ノート型パソコン１４６０、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）１４７０、タブレットＰＣ １４８０など、インターネット接続の可能なすべての電子機器となる。

クラウドコンピューティングサーバ１４００は、クラウド網に分散されている複数のコンピューティング資源１４２０を統合してユーザ端末機に提供する。複数のコンピューティング資源１４２０は様々なデータサービスを含み、ユーザ端末機からアップロードされたデータを含む。このような形でクラウドコンピューティングサーバ１４００は、いろいろな所に分散されている動画データベースを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。

ユーザＤＢ １４１０には、クラウドコンピューティングサービスに加入しているユーザ情報が保存される。ここで、ユーザ情報は、ログイン情報とアドレス、名前などの個人信用情報を含む。また、ユーザ情報は、動画のインデックスを含む。ここで、インデックスは、再生済みの動画リストと、再生中の動画リストと、再生中の動画の停止時点などを含む。

ユーザＤＢ １４１０に保存された動画に関する情報は、ユーザデバイスの間に共有される。したがって、例えば、ノート型パソコン１４６０から再生要請されてノート型パソコン１４６０に所定動画サービスを提供した場合、ユーザＤＢ １４１０に所定動画サービスの再生ヒストリーが保存される。スマートフォン１４５０から同じ動画サービスの再生要請が受信される場合、クラウドコンピューティングサーバ１４００は、ユーザＤＢ １４１０を参照して所定動画サービスを探して再生する。スマートフォン１４５０がクラウドコンピューティングサーバ１４００を通じて動画データストリームを受信する場合、動画データストリームを復号化してビデオを再生する動作は、前記の図２７を参照して前述した携帯電話１２５０の動作と類似している。

クラウドコンピューティングサーバ１４００は、ユーザＤＢ １４１０に保存された所定動画サービスの再生ヒストリーを参照する。例えば、クラウドコンピューティングサーバ１４００は、ユーザ端末機から、ユーザＤＢ １４１０に保存された動画についての再生要請を受信する。動画がその前に既に再生中であったものならば、クラウドコンピューティングサーバ１４００は、ユーザ端末機での選択によって、最初から再生するか、または以前の停止時点から再生し、それによってストリーミング方法が変わる。例えば、ユーザ端末機が最初から再生するように要請した場合には、クラウドコンピューティングサーバ１４００がユーザ端末機に該動画を、最初のフレームからストリーミング伝送する。一方、端末機１０が以前の停止時点から引き続いて再生するように要請した場合には、クラウドコンピューティングサーバ１４００がユーザ端末機に該動画を、停止時点のフレームからストリーミング伝送する。

この時、ユーザ端末機は、図１ないし図２３を参照して前述した本発明のビデオ復号化装置を備える。他の例として、ユーザ端末機は、図１ないし図２３を参照して前述した本発明のビデオ符号化装置を備える。また、ユーザ端末機は、図１ないし図２３を参照して前述した本発明のビデオ符号化装置及びビデオ復号化装置をいずれも備える。

図１ないし図２３を参照して前述した本発明のビデオ符号化方法及びビデオ復号化方法、本発明のビデオ符号化装置及びビデオ復号化装置が活用される多様な実施形態が、図２４Ａないし図２９で説明された。しかし、図１ないし図２３を参照して前述した本発明のビデオ符号化方法及びビデオ復号化方法が記録媒体に記録されるか、または本発明のビデオ符号化装置及びビデオ復号化装置がデバイスで具現される多様な実施形態は、図２４Ａないし図２９の実施形態に限定されるものではない。

これまで本発明についてその望ましい実施形態を中心として説明した。当業者ならば、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形で具現されるということを理解できるであろう。したがって、開示された実施形態は限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく特許請求の範囲に示されており、それと同等な範囲内にあるすべての差は、本発明に含まれていると解釈されねばならない。

Claims (15)

1. 多視点ビデオ予測方法において、
   基本視点映像間の映像間予測を行い、Ｉ−ピクチャータイプの基本視点キー映像及び基本視点映像のレジデュアル値を含む基本階層映像ストリームを生成する段階と、
   前記基本視点映像を参照して付加視点映像を予測する視点間予測、前記付加視点映像のうち付加視点キー映像を参照して前記付加視点キー映像と同一視点の異なる付加視点キー映像を予測する映像間予測、及び前記付加視点映像を参照して、前記付加視点キー映像と同一視点の映像のうち前記付加視点キー映像を除いた付加視点映像を予測する映像間予測を行って生成された前記付加視点映像のレジデュアル値を含む向上階層映像ストリームを生成する段階と、を含み、
   前記同一視点の異なる付加視点キー映像は、前記向上階層映像ストリームに含まれた付加視点キー映像のうち、いずれか１つであることを特徴とする多視点ビデオ予測方法。
2. 前記多視点ビデオ予測方法は、
   前記基本視点映像及び前記付加視点映像のうち、同一シーン（Ｓｃｅｎｅ）に対する基本視点映像及び付加視点映像間の視点間深度（Ｄｅｐｔｈ）を示す距離画像（Ｄｅｐｔｈ Ｍａｐ）を生成する段階と、
   前記基本階層映像ストリーム及び前記向上階層映像ストリームと共に前記距離画像を伝送する段階と、をさらに含むことを特徴とする請求項１に記載の多視点ビデオ予測方法。
3. 前記向上階層映像ストリームを生成する段階は、
   前記付加視点キー映像のうち現在付加視点キー映像の復元時期以前に復元された付加視点キー映像を参照して、前記現在付加視点キー映像の映像間予測を行う段階を含むことを特徴とする請求項１に記載の多視点ビデオ予測方法。
4. 前記向上階層映像ストリームを生成する段階は、
   前記付加視点キー映像のうち現在付加視点キー映像の復元時期以後に復元される付加視点キー映像を参照して、前記現在付加視点キー映像の映像間予測を行う段階を含むことを特徴とする請求項１に記載の多視点ビデオ予測方法。
5. 多視点ビデオ予測復元方法において、
   基本階層映像ストリーム及び向上階層映像ストリームを受信する段階と、
   前記基本階層映像ストリームのうち、Ｉ−ピクチャータイプの基本視点キー映像を復元して前記基本視点キー映像を参照して、基本視点映像の動き補償を行って基本視点映像を復元する段階と、
   前記向上階層映像ストリームのうち付加視点キー映像をアクセスした場合、前記復元された基本視点キー映像を参照する視差補償、及び前記向上階層映像ストリームのうち前記付加視点キー映像と同一視点の異なる付加視点キー映像を参照する動き補償のうち少なくとも１つを行って前記付加視点キー映像を復元する段階と、
   前記向上階層映像ストリームのうち前記付加視点キー映像を除いた付加視点映像について、前記復元された基本視点映像を参照する視差補償、及び前記向上階層映像ストリームのうち前記付加視点キー映像と同一視点の先に復元された付加視点映像を参照する動き補償のうち少なくとも１つを行って、前記付加視点キー映像を除いた付加視点映像を復元する段階と、を含み、
   前記同一視点の異なる付加視点キー映像は、前記向上階層映像ストリームに含まれた付加視点キー映像のうち、いずれか１つであることを特徴とする多視点ビデオ予測復元方法。
6. 前記受信する段階は、
   前記基本視点映像及び前記付加視点映像のうち、同一シーンに対する基本視点映像及び付加視点映像間の視点間深度を示す距離画像を受信する段階を含むことを特徴とする請求項５に記載の多視点ビデオ予測復元方法。
7. 前記付加視点キー映像を復元する段階は、
   前記付加視点キー映像のうち現在付加視点キー映像の復元時期に前記現在付加視点キー映像の参照映像が復元されていない場合、前記現在付加視点キー映像に対応する基本視点映像及び距離画像を用いて、前記現在付加視点キー映像を復元する段階を含むことを特徴とする請求項６に記載の多視点ビデオ予測復元方法。
8. 前記付加視点キー映像を復元する段階は、
   前記付加視点キー映像のうち現在付加視点キー映像の復元時期以前に復元される付加視点キー映像を参照して予測された前記現在付加視点キー映像に対してアクセスする場合、前記現在付加視点キー映像に対応する基本視点映像及び距離画像を用いて、前記現在付加視点キー映像を復元する段階を含むことを特徴とする請求項７に記載の多視点ビデオ予測復元方法。
9. 前記付加視点キー映像を復元する段階は、
   前記付加視点キー映像のうち現在付加視点キー映像の復元時期以後に復元される付加視点キー映像を参照して予測された前記現在付加視点キー映像に対してアクセスする場合、前記現在付加視点キー映像に対応する基本視点映像及び距離画像を用いて、前記現在付加視点キー映像を復元する段階を含むことを特徴とする請求項６に記載の多視点ビデオ予測復元方法。
10. 前記付加視点キー映像を復元する段階は、
    前記付加視点キー映像のうち異なる付加視点キー映像を参照しない現在付加視点キー映像に対してアクセスする場合、前記現在付加視点キー映像に対応する基本視点映像を参照して、前記現在付加視点キー映像を復元する段階を含むことを特徴とする請求項５に記載の多視点ビデオ予測復元方法。
11. 前記付加視点キー映像を復元する段階は、
    前記付加視点キー映像のうち異なる付加視点キー映像を参照しない現在付加視点キー映像に対してアクセスする場合、前記現在付加視点キー映像に対応する基本視点映像及び距離画像を用いて、前記現在付加視点キー映像を復元する段階を含むことを特徴とする請求項６に記載の多視点ビデオ予測復元方法。
12. 多視点ビデオ予測装置において、
    基本視点映像間の映像間予測を行って、Ｉ−ピクチャータイプの基本視点キー映像、及び基本視点映像のレジデュアル値を含む基本階層映像ストリームを生成する基本階層符号化部と、
    前記基本視点映像を参照して付加視点映像を予測する視点間予測、前記付加視点映像のうち複数の付加視点キー映像を参照して前記付加視点キー映像と同一視点の異なる複数の付加視点キー映像を予測する映像間予測、及び前記付加視点映像を参照して、前記付加視点キー映像と同一視点の映像のうち前記付加視点キー映像を除いた複数の付加視点映像を予測する映像間予測を行って生成された前記付加視点映像のレジデュアル値を含む向上階層映像ストリームを生成する向上階層符号化部と、を備えることを特徴とする多視点ビデオ予測装置。
13. 多視点ビデオ予測復元装置において、
    基本階層映像ストリーム及び向上階層映像ストリームを受信する受信部と、
    前記基本階層映像ストリームのうち、Ｉ−ピクチャータイプの基本視点キー映像を復元し、かつ前記基本視点キー映像を参照して、基本視点映像の動き補償を行って基本視点映像を復元する基本階層復号化部と、
    前記向上階層映像ストリームのうち付加視点キー映像をアクセスした場合、前記復元された基本視点キー映像を参照する視差補償、及び前記向上階層映像ストリームのうち前記付加視点キー映像と同一視点の異なる付加視点キー映像を参照する動き補償のうち少なくとも１つを行って前記付加視点キー映像を復元し、前記向上階層映像ストリームのうち付加視点キー映像を除いた付加視点映像に対して、前記復元された基本視点映像を参照する視差補償、及び前記向上階層映像ストリームのうち前記付加視点キー映像と同一視点の先に復元された付加視点映像を参照する動き補償のうち少なくとも１つを行って、前記付加視点キー映像を除いた付加視点映像を復元する向上階層復号化部と、を備え、
    前記同一視点の異なる付加視点キー映像は、前記向上階層映像ストリームに含まれた付加視点キー映像のうち、いずれか１つであることを特徴とする多視点ビデオ予測復元装置。
14. 請求項１に記載の方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
15. 請求項５に記載の方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。

Images