JP6446488B2 - ビデオデータデコーディング方法及びビデオデータデコーディング装置 - Google Patents

Description

本発明は、ビデオデータデコーディング方法及びビデオデータデコーディング装置に関する。

３次元ビデオは、３次元立体ディスプレイ装置を介してユーザに現実世界で見て感じるような生き生きとした立体感を提供する。それに関連する研究として、ＩＳＯ／ＩＥＣのＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）とＩＴＵ−ＴのＶＣＥＧ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）との共同の標準化グループであるＪＣＴ−３Ｖ（Ｔｈｅ Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ３Ｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｔｅｎｓｉｏｎ Ｄｅｖｅｌｏｐｍｅｎｔ）により３次元ビデオ標準が進められている。３次元ビデオ標準は、実際の映像とその深さ情報マップを用いて、ステレオスコピック映像だけでなくオートステレオスコピック映像の再生などを支援できる進歩したデータ形式と、それに関連する技術に対する標準を含んでいる。

本発明の目的は、３Ｄビデオデータから動き情報を容易に算出できるビデオデータデコーディング方法及びビデオデータデコーディング装置を提供することにある。

本発明の目的は、ビデオデータの符号化または復号化時にデータ処理効率を高めることができるビデオデータデコーディング方法及びビデオデータデコーディング装置を提供することにある。

本発明の他の目的は、ビデオデータの符号化または復号化時にメモリ効率を高め、複雑度を減少させることができるビデオデータデコーディング方法及びビデオデータデコーディング装置を提供することにある。

本発明の一実施例は、多視点ビデオデータと前記ビデオデータに対応する深さ情報データとを含むコーディングされたビデオデータを受信し、パージングするステップと、前記深さ情報データから、前記コーディングされたビデオデータのコーディング単位の視点間予測のための動き情報を得、前記動き情報に基づいて視点間予測を行うステップと、前記動き予測に基づいて、前記コーディング単位が含まれた前記多視点ビデオデータ及び前記深さ情報データによるビデオデータを復元するステップとを含むビデオデータデコーディング方法を提供する。

前記動き情報は、前記コーディング単位が参照する深さ情報マップピクチャ、及び前記コーディング単位の左上側サンプル、右上側サンプル、左下側サンプル、及び右下側サンプルの位置情報のうちの少なくとも１つ以上の位置情報に基づいて算出してもよい。

前記動き情報は、前記深さ情報マップピクチャのビュー識別子、前記コーディング単位を含むピクチャのビュー識別子をさらに用いて算出してもよい。

前記動き情報は、前記コーディング単位が参照する深さ情報マップピクチャ内の深さ情報値の最大距離差を用いて算出してもよい。

前記ビデオデータを復元するステップは、前記ビデオデータ及び前記ビデオデータに対応する深さ情報データによるデコーディングサンプルを出力することができる。

前記コーディング単位は、マクロブロック、またはＨＥＶＣで定義するコーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）及び変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）のいずれか１つを含むことができる。

前記動き情報を得るステップは、前記コーディング単位が参照する前記深さ情報マップピクチャに含まれた深さ情報値を用いて、前記コーディング単位に隣接するコーディング単位に対する動き情報を算出することができる。

本発明の他の一実施例は、多視点ビデオデータと前記ビデオデータに対応する深さ情報データとを含むコーディングされたビデオデータを受信し、パージングする受信部と、前記深さ情報データから、前記コーディングされたビデオデータのコーディング単位の視点間予測のための動き情報を得、前記動き情報に基づいて視点間予測を行う予測部と、前記動き予測に基づいて、前記コーディング単位が含まれた前記多視点ビデオデータ及び前記深さ情報データによるビデオデータを復元する復元部とを含むビデオデータデコーディング装置を提供する。

本発明によれば、ビデオデータから動き情報を容易に算出することができる。

本発明によれば、ビデオデータの符号化または復号化時にデータ処理効率を高めることができるビデオデータデコーディング方法及びビデオデータデコーディング装置を提供できる。

本発明によれば、ビデオデータの符号化または復号化時にメモリ効率を高め、複雑度を減少させることができる。

本発明によれば、Ｄｅｐｔｈ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ（ＤＭＶＰ）方法を用いるとき、１つの深さ情報値を任意の領域内で複数のブロックが共有して動き情報を誘導する方法を用いることで、深さ情報マップブロックの深さ情報値にアクセス（Ａｃｃｅｓｓ）するための回数を大きく減少させて、メモリ効率を大きく増加させ、複雑度を減少させるという効果がある。

３次元ビデオシステムの基本構造及びデータ形式を示す図である。

国際標準化機構であるＭＰＥＧの３次元ビデオ符号化標準において使用している“ｂａｌｌｏｏｎｓ”映像（ａ）、及びその深さ情報マップ（ｂ）を示す図である。

Ｈ．２６４の符号化構造図の一例を示す図である。

Ｈ．２６４の復号化構造図の一例を示す図である。

３Ｄビデオエンコーダ／デコーダの一実施例を示す図である。

ビデオデータと深さ情報データとの参照関係を例示した図である。

現在ブロックに隣接する周辺ブロックを通じて動き情報を類推する一実施例を示す図である。

１６×１６ブロックでの本発明の一実施例を示す図である。

１６×１６ブロックが８×８ブロックに分かれた一実施例を示す図である。

１６×１６ブロックが４×４ブロックに分かれた一実施例を示す図である。

映像データに対するメモリ効率を向上させる方法に関する実施例を示す図である。

深さ情報値を用いて動き情報を導出する過程の一実施例を示す図である。

現在ブロック（実際の映像でのブロック）に対応する深さ情報マップブロックから深さ情報値を得るための位置の一実施例を示す図である。

１６×１６ブロックが４×４ブロックに分かれた一例を示す図である。

１６×１６ブロックが４×４ブロックに分かれた一実施例を示す図である。

１６×１６ブロックが任意の様々な形状のブロックに分かれた一実施例を示す図である。

１６×１６ブロックが同一の形状のブロックに分かれた他の実施例を示す図である。

現在ブロックＸが視点間予測を行う一実施例を示す図である。

ピクチャ単位の代表深さ情報値の一例を示す図である。

与えられたＣＵ（またはＴＵ）の深さが２である場合、本発明の実施例を適用する範囲の決定方式の例を示す図である。

本発明に係るビデオデータデコーディング方法の一実施例を例示した図である。

本発明に係るデコーディング装置の一実施例を例示した図である。

本発明に係るエンコーディング方法の一実施例を例示した図である。

本発明に係るエンコーディング装置の一実施例を例示した図である。

以下、本発明を容易に説明し得る本発明の実施例を詳細に説明する。

図１は、３次元ビデオシステムの基本構造及びデータ形式を示す。

３次元ビデオ標準において考慮している基本的な３次元ビデオシステムは、図１の通りである。送信側では、ステレオカメラ、深さ情報カメラ、カメラ、２次元映像の３次元映像への変換などを用いて、Ｎ（Ｎ≧２）視点の映像コンテンツを獲得する。獲得された映像コンテンツには、Ｎ視点のビデオ情報とその深さ情報マップ（Ｄｅｐｔｈ−ｍａｐ）情報、そして、カメラ関連付加情報などが含まれてもよい。Ｎ視点の映像コンテンツは、ビデオ符号化方法を用いて圧縮され、圧縮されたビットストリームはネットワークを介して端末に伝送される。

受信側では、伝送されたビットストリームをビデオ復号化方法を用いて復号化して、Ｎ視点の映像を復元する。復元されたＮ視点の映像は、深さ情報マップベースのレンダリング（ＤＩＢＲ；Ｄｅｐｔｈ−Ｉｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ）過程によってＮ視点以上の仮想視点映像を生成する。生成されたＮ視点以上の仮想視点映像は、様々な立体ディスプレイ装置に合わせて再生されることで、ユーザに立体感のある映像を提供することになる。

仮想視点映像を生成するのに用いられる深さ情報マップは、現実世界でカメラと実際の物体（ｏｂｊｅｃｔ）との距離（実写映像と同じ解像度で各画素に該当する深さ情報）を一定のビット数で表現したものである。

深さ情報マップの例として、図２は、国際標準化機構であるＭＰＥＧの３次元ビデオ符号化標準において使用している“ｂａｌｌｏｏｎｓ”映像（図２の（ａ））、及びその深さ情報マップ（図２の（ｂ））を示している。実際に図２の深さ情報マップは、画面に見える深さ情報を１画素当たり８ビットで表現し得る。

図２は、“ｂａｌｌｏｏｎｓ”映像の実際の映像及び深さ情報マップ映像の一例を示したもので、図２の（ａ）は実際の映像、図２の（ｂ）は深さ情報マップをそれぞれ示す。

実際の映像とその深さ情報マップを符号化する方法の一例として、現在まで開発されたビデオ符号化標準の中で最高の符号化効率を有するビデオ符号化方法である、Ｈ．２６４／ＡＶＣ（ＭＰＥＧ−４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）を用いて符号化を行うことができ、Ｈ．２６４の符号化構造図の一例は、図３のようである。

図３は、Ｈ．２６４符号化構造図の一例を示す。

同図のＨ．２６４符号化構造図において、データを処理する単位は、縦横１６×１６画素の大きさのマクロブロック（Ｍａｃｒｏｂｌｏｃｋ）であってもよく、映像が入力されてイントラ（Ｉｎｔｒａ）モードまたはインター（Ｉｎｔｅｒ）モードで符号化を行い、ビットストリームを出力する。

イントラモードである場合には、スイッチがイントラに切り替わり、インターモードである場合には、スイッチがインターに切り替わる。符号化過程の主要な流れは、まず、入力されたブロック映像に対する予測ブロックを生成した後、入力されたブロックと予測ブロックとの差分を求め、その差分を符号化するものである。

まず、予測ブロックの生成は、イントラモードとインターモードに応じて行われる。まず、イントラモードの場合には、イントラ予測過程で現在ブロックの既に符号化された周辺画素値を用いて空間的予測で予測ブロックを生成し、インターモードの場合には、動き予測過程で参照映像バッファに格納されている参照映像において、現在入力されたブロックと最もよくマッチする領域を見つけて動きベクトル（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を求めた後、求めた動きベクトルを用いて動き補償を行うことによって、予測ブロックを生成する。上述したように、現在入力されたブロックと予測ブロックとの差分を求めて残余ブロック（Ｒｅｓｉｄｕａｌ Ｂｌｏｃｋ）を生成した後、これに対する符号化を行う。
ブロックを符号化する方法は、イントラモードとインターモードとに大別される。予測ブロックの大きさに応じて、イントラモードの場合には、１６×１６、８×８、４×４イントラモードがあり得、インターモードの場合には、１６×１６、１６×８、８×１６、８×８インターモードに分かれ、８×８インターモードの場合には、再び８×８、８×４、４×８、４×４サブインターモードに分かれる。

残余ブロックに対する符号化は、変換、量子化、エントロピー（Ｅｎｔｒｏｐｙ）符号化の順に行われる。まず、１６×１６イントラモードで符号化されるブロックは、差分ブロックに変換を行って変換係数を出力し、出力された変換係数の中でＤＣ係数のみを集め、再びアダマール変換を行い、アダマール変換されたＤＣ係数を出力する。１６×１６イントラモードを除外した他の符号化モードで符号化されるブロックにおける変換過程は、入力された残余ブロックに変換（Ｔｒａｎｓｆｏｒｍ）を行い、変換係数（Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔ）を出力する。そして、量子化過程では、入力された変換係数を量子化パラメータに従って量子化を行った、量子化された係数（Ｑｕａｎｔｉｚｅｄ Ｃｏｅｆｆｉｃｉｅｎｔ）を出力する。そして、エントロピー符号化過程では、入力された量子化された係数を、確率分布に応じたエントロピー符号化を行って、ビットストリームとして出力される。

Ｈ．２６４は、フレーム間（Ｉｎｔｅｒ−ｆｒａｍｅ）予測符号化を行うので、現在符号化された映像を、以降に入力された映像の参照映像として用いるために、復号化して格納する必要がある。したがって、量子化された係数を逆量子化過程及び逆変換を行って、予測映像と加算器を通じて再構成されたブロックを生成した後、デブロッキングフィルタを通じて、符号化過程で発生したブロッキング現象（Ｂｌｏｃｋｉｎｇ Ａｒｔｉｆａｃｔ）を除去した後、参照映像バッファに格納する。

図４は、Ｈ．２６４の復号化構造図の一例を示す。

同図のＨ．２６４の復号化構造図において、データを処理する単位は、縦横１６×１６画素の大きさのマクロブロック（Ｍａｃｒｏｂｌｏｃｋ）であり、ビットストリームが入力されてイントラ（Ｉｎｔｒａ）モードまたはインター（Ｉｎｔｅｒ）モードで復号化が行われ、再構成された映像を出力する。

イントラモードである場合には、スイッチがイントラに切り替わり、インターモードである場合には、スイッチがインターに切り替わる。復号化過程の主要な流れは、まず、予測ブロックを生成した後、入力されたビットストリームを復号化した結果ブロックと予測ブロックを加えて再構成されたブロックを生成するものである。まず、予測ブロックの生成は、イントラモードとインターモードに応じて行われる。まず、イントラモードの場合には、イントラ予測過程で現在ブロックの既に符号化された周辺画素値を用いて空間的予測を行って、予測ブロックを生成し、インターモードの場合には、動きベクトルを用いて、参照映像バッファに格納されている参照映像において領域を見つけて動き補償を行うことによって、予測ブロックを生成する。

エントロピー復号化過程では、入力されたビットストリームを確率分布に応じたエントロピー復号化を行って、量子化された係数（Ｑｕａｎｔｉｚｅｄ Ｃｏｅｆｆｉｃｉｅｎｔ）を出力する。量子化された係数を逆量子化過程及び逆変換を行って、予測映像と加算器を通じて再構成されたブロックを生成した後、デブロッキングフィルタを通じてブロッキング現象（Ｂｌｏｃｋｉｎｇ Ａｒｔｉｆａｃｔ）を除去した後、参照映像バッファに格納する。

実際の映像とその深さ情報マップを符号化する更に他の方法の一例として、現在、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）とＶＣＥＧ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）において共同に標準化を進行しているＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）を用いることができる。これは、ＨＤ、ＵＨＤ映像だけでなく、３Ｄ放送及び移動通信網でも、現在より低い周波数で高画質の映像を提供することができる。

実際の映像とその深さ情報マップを符号化するとき、互いに独立して符号化／復号化することができる。また、実際の映像と深さ情報マップを符号化するとき、図５のように互いに依存的に符号化／復号化することができる。

図５は、３Ｄビデオエンコーダ／デコーダの一実施例を示す。

一実施例として、既に符号化／復号化された深さ情報マップを用いて、実際の映像を符号化／復号化してもよく、逆に、既に符号化／復号化された実際の映像を用いて、深さ情報マップを符号化／復号化してもよい。

エンコーダにおいて、テクスチャ（ｔｅｘｔｕｒｅ）と深さ情報マップは、互いの情報によってそれぞれテクスチャエンコーダとデプスエンコーダでエンコーディングされて、ビットストリームとして出力される。

一方、デコーダで受信されたビットストリームは、テクスチャ（ｔｅｘｔｕｒｅ）と深さ情報マップは互いの情報によってテクスチャデコーダとデプスエンコーダでそれぞれデコーディングされてもよい。

実際の映像とその深さ情報マップは、１つのカメラだけでなく、複数個のカメラで獲得した映像であってもよい。一実施例として、３台のカメラで獲得した実際の映像とその深さ情報マップを符号化するための符号化予測構造を、図６に示した。

図６において、３つの実際の映像を視点に応じてＴ０、Ｔ１、Ｔ２で表し、実際の映像と同じ位置の３つの深さ情報マップを、視点に応じてＤ０、Ｄ１、Ｄ２で表した。各ピクチャは、Ｉ（Ｉｎｔｒａ Ｐｉｃｔｕｒｅ）、Ｐ（Ｕｎｉ−ｐｒｅｄｉｃｔｉｏｎ Ｐｉｃｔｕｒｅ）、Ｂ（Ｂｉ−ｐｒｅｄｉｃｔｉｏｎ Ｐｉｃｔｕｒｅ）に符号化されてもよい。図６での矢印は、予測方向を示す。すなわち、実際の映像とその深さ情報マップは、互いに依存的に符号化／復号化される。

図６は、３Ｄビデオコーデックの予測構造の一例を示す。

実際の映像から現在ブロックの動き情報を類推するための方法は、時間的予測と視点間予測とに大別される。ここで、動き情報とは、動きベクトルのみを意味してもよく、または動きベクトル、参照映像番号、単方向予測であるか両方向予測であるか、そして、視点間予測であるか、時間的予測であるか、また他の予測であるかを意味してもよい。

時間的予測は、同じ視点内で時間的相関性を用いた予測方法であり、視点間予測は、隣接する視点において視点間相関性を用いた予測方法である。このような時間的予測と視点間予測は、１つのピクチャにおいて互いに混用されてもよい。

図７は、現在ブロックに隣接する周辺ブロックを通じて動き情報を類推する一実施例を示す。

一実施例として、同図でのように、現在ブロックが、視点間予測を用いて動き情報が符号化／復号化されてもよい。この場合には、まず、現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）が視点間予測に使用するのに適しているか否かを検査する。

もし、現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）が視点間予測に使用するのに適している場合、当該ブロックの動き情報を用いて、現在ブロックに対する動き情報を誘導する。もし、そうでない場合（現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）が視点間予測に使用するのに適していない場合）、当該ブロック（現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ））の動き情報は、他の動き情報で代替されて使用される。このとき、現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）に対応する（一致する）深さ情報マップを用いて他の動き情報を生成するＤｅｐｔｈ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ（ＤＭＶＰ）方法を用いることができる。

この方法は、現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）に対応する（一致する）深さ情報マップブロックの深さ情報値において最大値（ｍａｘ ｄｉｓｐａｒｉｔｙ）を用いて、現在ブロック（実際の映像でのブロック）のための動き情報を生成する。これは、深さ情報マップにおいて深さ情報値が、視点間で客体の距離差（ｄｉｓｐａｒｉｔｙ）を示すという点を利用したものである。

最終的に誘導された、現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）の動き情報を用いて、現在ブロック（実際の映像でのブロック）に対する動き情報を誘導する。
一実施例として、現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）の動き情報の中間値（Ｍｅｄｉａｎ）の演算を通じて、現在ブロック（実際の映像でのブロック）に対する動き情報を誘導してもよい。

更に他の一実施例として、現在ブロックが時間的予測を用いて符号化／復号化されてもよい。この場合には、まず、現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）が視点間予測に使用するのに適しているか否かを検査する。もし、現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）が視点間予測に使用するのに適している場合、当該ブロックの動き情報を使用する。そうでない場合（現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）が視点間予測に使用するのに適していない場合）、当該ブロックの動き情報は、零−ベクトル（ｚｅｒｏ−ｖｅｃｔｏｒ）で代替されて使用される。

Ｄｅｐｔｈ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ（ＤＭＶＰ）方法を用いて、現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）に対応する（一致する）深さ情報マップブロックの深さ情報値において最大値（ｍａｘ ｄｉｓｐａｒｉｔｙ）を得るためには、深さ情報マップブロックの全ての深さ情報値にアクセス（Ａｃｃｅｓｓ）しなければならず、各深さ情報マップブロックの全ての深さ情報値を互いに比較しなければならない。これは、実際の映像を符号化するときに深さ情報マップが要求されるので、実際の映像と深さ情報マップとの間の依存性が存在するようになる。

図８は、１６×１６ブロックでの本発明の一実施例を示す。

一実施例として、図８の左側ブロック（実際の映像でのブロック）の大きさが１６×１６ブロックである場合、深さ情報マップの大きさもまた１６×１６であってもよい。したがって、総２５６回深さ情報値にアクセス（Ａｃｃｅｓｓ）しなければならず、また、各深さ情報値間の２５５回の比較を行わなければならない。これは、深さ情報マップの全ての深さ情報値にアクセスしなければならないため、メモリ効率及び複雑度の観点で非効率的である。このような問題を解決するための方法として、図８の右側のように、１６×１６ブロックの２５６個の深さ情報値のうち、ブロックの隅の４個の深さ情報値のみを使用する方法があり得る。

これは、深さ情報値にアクセス（Ａｃｃｅｓｓ）する回数を既存２５６回から４回に大きく減少させることで、メモリ効率を大きく増加させ、比較回数もまた２５５回から３回に大きく減少することで複雑度を減少させるという効果がある。

しかし、１６×１６ブロック以外の８×８ブロックでは、それぞれの８×８ブロック毎に４個の深さ情報値を使用しなければならないので、図９のように４個ではなく、１６個の深さ情報値にアクセスして深さ情報値において最大値（ｍａｘ ｄｉｓｐａｒｉｔｙ）を得ることができる。

図９は、１６×１６ブロックが８×８ブロックに分かれた一実施例を示し、図１０は、１６×１６ブロックが４×４ブロックに分かれた一実施例を示す。

また、４×４ブロックでは、それぞれの４×４ブロック毎に４個の深さ情報値を使用しなければならないので、図１０のように６４個の深さ情報値にアクセスして深さ情報値の最大値を得ることができる。

例えば、映像が非常に複雑な形態であり、動きが流動的な映像の場合、１つの１６×１６ブロックは、４×４ブロックに分けて符号化される可能性が高い。したがって、場合によって、１６×１６ブロック当たり６４個の深さ情報値にアクセス（Ａｃｃｅｓｓ）しなければならないため、４×４ブロックの場合にはメモリ効率の観点で非効率的である。

本発明では、図１０の４×４ブロックのように、映像を符号化／復号化するときに深さ情報値に頻繁にアクセスしなければならない場合においてメモリ効率を向上させることができる方法を提案する。

図１１は、映像データに対するメモリ効率を向上させる方法に関する一実施例を示す。
同図の“映像読み出し”において、映像メモリに存在するブロックサイズ（または任意の形態）のデータを読み込むためのメモリアクセスの回数を減少させるために、ブロックサイズ全体のデータを読み込まずに、位置情報及びその他の情報を活用して、ブロックから一部のデータのみを読み込むか、またはブロックから１つのピクセル値のみ（または、１つ以上のピクセル値）を読み込んでもよい。

また、同図の“映像書き込み”において、映像メモリにブロックサイズのデータを書き込むためのメモリアクセスの回数を減少させるために、ブロックサイズ全体に対するデータを書き込まずに、１つのピクセル値のみ（または、１つ以上のピクセル値）、そして、位置情報及びその他の情報を活用して、ブロックサイズ全体に対するデータを書き込むことができる。

また、本発明では、ＤＭＶＰ（Ｄｅｐｔｈ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ
Ｐｒｅｄｉｃｔｉｏｎ）方法を用いるとき、深さ情報マップブロックの深さ情報値にアクセス（Ａｃｃｅｓｓ）するための回数を大きく減少させて、メモリ効率を大きく増加させ、複雑度を減少させる方法を提案する。

図１２は、深さ情報値を用いて動き情報を導出する過程の一実施例を示す。

同図は、Ｄｅｐｔｈ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ（ＤＭＶＰ）方法を用いるとき、深さ情報値を用いて、現在ブロックに隣接する周辺ブロック（または現在ブロック）の動き情報を導出する過程を示す。ここで、深さ情報値を誘導する方法は、様々に適用できる。

実施第１の例として、現在ブロック（実際の映像でのブロック）のピクチャと視点が同じ深さ情報マップにおいて、現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）に対応する深さ情報マップブロック内の深さ情報値を用いてもよい。

他の実施第２の例として、現在ブロック（実際の映像でのブロック）のピクチャと視点が同じ深さ情報マップにおいて、現在ブロック（実際の映像でのブロック）に対応する深さ情報マップブロック内の深さ情報値を用いてもよい。

更に他の実施第３の例として、現在ブロック（実際の映像でのブロック）のピクチャと視点が異なる（例えば、現在の視点と隣接する視点）深さ情報マップにおいて、現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）に対応する深さ情報マップブロック内の深さ情報値を用いることができ、このとき、現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）に対応する深さ情報マップブロックを見つけるために、深さ情報マップにおいて視点間の距離だけ移動した位置の深さ情報マップブロックを使用することができる。

更に他の実施第４の例として、現在ブロック（実際の映像でのブロック）のピクチャと視点が異なる（または、現在の視点と隣接する視点）深さ情報マップにおいて、現在ブロック（実際の映像でのブロック）に対応する深さ情報マップブロック内の深さ情報値を用いることができ、このとき、現在ブロック（実際の映像でのブロック）に対応する深さ情報マップブロックを見つけるめに、深さ情報マップにおいて視点間の距離だけ移動した位置の深さ情報マップブロックを使用することができる。

更に他の実施第５の例として、深さ情報値を誘導するために、深さ情報マップを使用せずに、実際の映像間の視点間の差や動き情報の差などを通じて深さ情報値と類似の値を誘導し、その値を、深さ情報値の代わりに使用してもよい。また、深さ情報値を誘導せずに、実際の映像間の視点間の差、あるいは、動き情報の差などを通じて動き情報を直ちに誘導することもできる。

図１３は、現在ブロック（実際の映像でのブロック）に対応する深さ情報マップブロックにおいて深さ情報値を得るための位置の一実施例を示す。

まず、同図のように、現在ブロックに隣接する周辺ブロック（または現在ブロック）Ｘに対応する深さ情報マップブロックＸ’において深さ情報値を得るための位置は、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊ、Ｋ、Ｌ、Ｍ、Ｎ、Ｏ、Ｐ、Ｑ、Ｒ、Ｓのように様々に選択することがができる。

また、現在ブロックに隣接する周辺ブロック（または現在ブロック）Ｘに対応する深さ情報マップブロックＸ’の周辺ブロックの深さ情報値が用いられてもよい。一実施例として、現在ブロックに隣接する周辺ブロック（または現在ブロック）Ｘに対応する深さ情報マップブロックＸ’と隣接した左側、右側、上側、下側、左上側、右上側、左下側、右下側のブロックを使用することができる。

一実施例として、同図の現在ブロックに隣接する周辺ブロック（または現在ブロック）Ｘに対応する深さ情報マップブロックＸ’において、複数個の深さ情報値のうち１つのみを用いて動き情報を誘導することができる。これは、現在ブロックに隣接する周辺ブロック（または現在ブロック）の各ブロック当たり１つの深さ情報値のみを用いて動き情報を誘導する。この場合、図１４のように、４×４ブロック毎にそれぞれ１つの深さ情報値のみをアクセスするので、１６×１６ブロック内で１６個の深さ情報値にアクセスする。

図１４は、１６×１６ブロックが４×４ブロックに分かれた一例を示す。

一般に、各ブロック毎に最下位の右側のピクセルが統計的に多く選択されるので、比較演算なしに各ブロック毎にその位置に該当する深さ情報値を動き情報の誘導に使用することができる。

更に他の一実施例として、１つの深さ情報値を、実際の映像の任意の領域（または特定の領域）内で複数のブロックが共有して動き情報の誘導に使用することができる。一実施例として、実際の映像の任意の領域をマクロブロック（Ｍａｃｒｏｂｌｏｃｋ）単位で指定してもよく、この場合、マクロブロックが複数個のブロックに分かれるとき、全てのブロックが１つの深さ情報値を動き情報の誘導に使用することができる。このような実際の映像の任意の領域は、マクロブロック単位だけでなくサブブロック単位であってもよく、また、マクロブロックのグループ単位であってもよい。また、現在、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）とＶＣＥＧ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）において共同に標準化を進行しているＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）の場合には、ＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）単位、ＰＵ（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）単位、ＴＵ（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）単位、あるいはＣＵのグループ単位が任意の領域となってもよい。

図１５は、１６×１６ブロックが４×４ブロックに分かれた一実施例を示し、図１６は、１６×１６ブロックが任意の様々な形状のブロックに分かれた一実施例を示し、図１７は、１６×１６ブロックが同一の形状のブロックに分かれた他の実施例を示す。

このような方法の一実施例として、現在ブロックに隣接する周辺ブロック（または現在ブロック）の各ブロックの位置が、図１５でのように４×４ブロックのうちの１つである場合、当該ブロック（実際の映像でのブロック）に対応する深さ情報マップブロックにおいて、各４×４ブロック単位での斜線の陰影部分の深さ情報値を使用せずに、１６×１６領域の右下側に位置したチェックの陰影部分の深さ情報値のみを互いに共有して使用することができる。

この場合、図１５のように、１６個の４×４ブロックが１つの深さ情報値のみをアクセスするので（１６×１６ブロック内で１個の深さ情報値にアクセスするので）、メモリ帯域幅を大きく減少させることができる。また、図１６のように、現在ブロックに隣接する周辺ブロック（または現在ブロック）の各ブロックが任意の様々な形状のブロックである場合、当該ブロック（実際の映像でのブロック）に対応する深さ情報マップブロックにおいて、それぞれのブロック内の斜線の陰影部分の深さ情報値を使用せずに、１６×１６領域の右下側に位置したチェックの陰影部分の深さ情報値のみを互いに共有し、全てのブロックで使用することができる。

更に他の一実施例として、各ブロック毎に最下位の右下側に位置した深さ情報値間の相関関係を調べ、その差が基準値よりも大きくないと（または、その差が基準値よりも大きいか、その差が小さいと）、任意の領域（一例として、ＭＢ単位）において最下位の右下側に位置した深さ情報値を各ブロックの代表深さ情報値とし、任意の領域内の全てのブロックが当該深さ情報値を共有して、動き情報を誘導するのに使用することができる。

現在ブロックが視点間予測を行い、現在ブロックに隣接する周辺ブロックが全て時間的予測を行うとき（または、周辺ブロックが有効でないか、あるいは周辺ブロックが画面内予測である場合）、現在ブロックに隣接する周辺ブロックはいずれもＤｅｐｔｈ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ（ＤＭＶＰ）方法を用いて動き情報を誘導することができる。

図１８は、現在ブロックＸが視点間予測を行う一実施例を示す。一実施例として、同図において、現在ブロックＸが視点間予測を行い、現在ブロックＸの周辺ブロックＡ、Ｂ、Ｃが全て時間的予測を行う場合（または、周辺ブロックが有効でないか、または周辺ブロックが画面内予測である場合）、現在ブロックＸの周辺ブロックＡ、Ｂ、ＣはいずれもＤｅｐｔｈ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ（ＤＭＶＰ）方法を用いて動き情報を誘導するようになる。このとき、現在ブロックＸの周辺ブロックＡ、Ｂ、Ｃにおいて、右下側にある深さ情報値を使用して動き情報を誘導することができる。

更に他の一実施例として、図１７のように、１６×１６ブロックの２５６個の深さ情報値のうち、ブロックの隅の４個の（または任意の位置の）深さ情報値の中で最大（または最小、または任意の値であってもよい）の深さ情報値のうちの１つのみを任意の領域（または特定の領域）内で複数のブロックが共有して、動き情報の誘導に使用することができる。

一実施例として、実際の映像の任意の領域をマクロブロック（Ｍａｃｒｏｂｌｏｃｋ）単位で指定することができ、この場合、マクロブロックが複数個のブロックに分かれるとき、マクロブロックにおいて隅の４個の（または、任意の位置の深さ情報値）深さ情報値のうち１つの最大（または最小、または任意の値であってもよい）の深さ情報値を用いて、マクロブロック内の全てのブロックが動き情報の誘導に共有して使用することができる。

一般に、視点間予測で符号化されるブロックは、図１８のように、背景よりは客体である場合が多い。一方、背景部分は、時間的予測を使用して符号化される場合が多い。しかし、現在ブロックＸに視点間予測のための動き情報を誘導するとき、現在ブロックＸの周辺ブロックＡ、Ｂ、Ｃ客体ではない背景部分でその深さ情報マップブロックの深さ情報値を使用して動き情報を誘導する場合、客体ではない背景部分に対する動き情報が誘導され得る。この場合、現在ブロックＸに対する動き情報の誘導が誤って符号化効率を減少させることがある。

上記のような問題を解決し、符号化効率を増加させるために、現在ブロックＸが視点間予測を使用して符号化／復号化され、現在ブロックＸの周辺ブロックＡ、Ｂ、Ｃが時間的予測を使用する場合（または、周辺ブロックが有効でないか、または周辺ブロックが画面内予測である場合）、現在ブロックＸの視点間動き情報の誘導のために、周辺ブロックＡ、Ｂ、Ｃに対応する深さ情報値を使用せずに、現在ブロックＸに対応する深さ情報値を使用して現在ブロックＸに対する動き情報を誘導することができる。

一実施例として、現在ブロックＸが視点間予測を使用して符号化／復号化される場合、現在ブロックＸの周辺ブロックＡ、Ｂ、Ｃがいずれも時間的予測を使用すれば（または周辺ブロックが有効でないか、または周辺ブロックが画面内予測である場合）、現在ブロックＸに対応する深さ情報値を使用して、現在ブロックＸに対する動き情報を誘導することができる。

更に他の一実施例として、現在ブロックＸが視点間予測を使用して符号化／復号化される場合、現在ブロックＸの周辺ブロックＡ、Ｂ、Ｃのうち、時間的予測を使用するブロックがあれば（または周辺ブロックが有効でないか、または周辺ブロックが画面内予測である場合）、当該ブロックに対応する深さ情報値を使用せずに、現在ブロックＸに対応する深さ情報値を使用して、現在ブロックＸに対する動き情報を誘導することができる。

Ｄｅｐｔｈ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ（ＤＭＶＰ）方法を用いるとき、深さ情報マップブロックの深さ情報値にアクセス（Ａｃｃｅｓｓ）しなければならないので、実際の映像を符号化するとき、深さ情報マップにアクセスするようにすることができる。

したがって、実際の映像と深さ情報マップとの間に依存性が存在し、このような依存性は、符号化時に遅延（ｄｅｌａｙ）を誘発することがあり、ハードウェア具現の面でも非効率的である。したがって、このような依存性を除去するための方法として、動き情報を誘導するために使用される深さ情報値のいくつかを、ピクチャ単位でシグナリングする方法を用いることができる。前記方法の場合、特定の領域内で１つの深さ情報値を共有する。このような特定の領域は、１６×１６サイズであってもよく、３２×３２サイズであってもよく、それ以上のサイズであってもよい。このような特定の領域をピクチャ（またはスライス、または任意の領域）単位で拡張して使用することができ、ピクチャ（またはスライス、または任意の領域）単位において、１つの深さ情報値ではなく、複数個の深さ情報値を使用して動き情報を誘導することができる。

図１９は、ピクチャ単位の代表深さ情報値の一例を示す。

一実施例として、同図に示すように、ピクチャ（またはスライス、または任意の領域）単位において４個の深さ情報値を使用することができる。この場合、ピクチャ（またはスライス、または任意の領域）内の全てのブロックは、各ブロックでの深さ情報値を使用せずに、同図の深さ情報値を使用して動き情報を誘導することができる。このとき、各ブロックで使用する深さ情報値を設定するために、ブロック毎にインデックスをシグナリングしてもよく、または任意の領域毎にインデックスをシグナリングしてもよい。ここで、インデックスシグナリングによるビット量の増加を最小化するために、ピクチャ（またはスライス、または任意の領域）毎に深さ情報値を１つ（または１つ以上）のみ使用することができ、１つのみ使用する場合、ブロック毎にシグナリングしなくてもよいので、ビット量の増加を最小化することができる。

更に他の一実施例として、各ブロック毎に選択された深さ情報値をインデックステーブルとして作って、情報量をさらに減少させることができる。更に他の一実施例として、構成された深さ情報値リストにおいて、インデックス番号が低い順序にあるもの（優先順位が高い）から順番に使用することができ、このとき、インデックスに対するシグナリングをしなくてもよく、当該深さ情報値リストは、周辺ブロックの情報（一例として、符号化モード、動き情報など）を通じてブロック単位で更新され、次のブロックにおいて使用され得る。

上述した方法を用いた復号化過程の他の一例を示すと、以下の通りである。

表１は、動きベクトル予測において、動きベクトルに対する変更プロセスを示す。表１を参照して、動きベクトルを算出する復号化過程を説明すると、次の通りである。

表１において、ＶｉｅｗＩｄＴｏ３ＤＶＡｃｑｕｉｓｉｔｉｏｎＰａｒａｍＩｎｄｅｘの機能は、ｖｉｅｗ_ｉｄ［ｉ］がアクティブシーケンスパラメータセットのｖｉｅｗＩｄと同一である場合、ｉ値をリターンする。

ＮｄｒＩｎｖｅｒｓｅ［ｉ」は、線形マッピングまたは非線形マッピングを示すことができ、線形マッピングの場合、スケールやオフセットの変更なしに、入力によって出力が決定される。

ＺＮｅａｒまたはＺＦａｒは、非線形ｄｅｐｔｈ ｖｉｅｗ ｃｏｍｐｏｎｅｎｔを構成するデプスサンプルの範囲を示すために使用することができる。

表１によれば、深さ情報マップピクチャ（デプスレファレンスビューコンポーネント）と現在マクロブロックの左上端の位置などを用いれば、現在予測ブロックに該当するピクチャの視点の識別子（ｖｉｅｗ_ｉｄ）などを用いて、動きベクトルを算出することができる。

同様に、表２によれば、深さ情報マップピクチャであるデプスレファレンスビューコンポーネント（ｄｅｐｔｈ ｒｅｆｅｒｅｎｃｅ ｖｉｅｗ ｃｏｍｐｏｎｅｎｔ）と現在マクロブロックの左上端の位置などを用いれば、現在予測ブロックに該当するピクチャの視点の識別子（ｖｉｅｗ_ｉｄ）などを用いて、動きベクトル（ｍｖ［０］，ｍｖ［１］）を算出することができる。

１つの１６×１６マクロブロックが４×４ブロックに分かれる場合、それぞれの４×４ブロック毎に４個の深さ情報値を使用しなければならないため、メモリアクセス帯域幅が増加するという欠点が存在する。このような欠点を解決するために、ＤＭＶＰ（Ｄｅｐｔｈ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）方法を特定のブロック単位において使用しないようにすることができる。一実施例として、４×４ブロックにおいてＤＭＶＰ（Ｄｅｐｔｈ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）方法を使用しないように設定することができる。

一実施例として、４×４ブロックにおいてＤＭＶＰ（Ｄｅｐｔｈ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）方法を使用しないように設定することができる。この場合、当該ブロックに対する動きベクトルを零ベクトル（０，０）に設定して使用することができる。

上述した方法を用いた復号化過程の更に他の一例を示すと、次の通りである。

表３によれば、深さ情報マップピクチャであるデプスレファレンスビューコンポーネント（ｄｅｐｔｈ ｒｅｆｅｒｅｎｃｅ ｖｉｅｗ ｃｏｍｐｏｎｅｎｔ）と現在マクロブロックの左上端の位置などを用いれば、現在予測ブロックに該当するピクチャの視点の識別子（ｖｉｅｗ_ｉｄ）などを用いて、動きベクトル（ｍｖ［０］，ｍｖ［１］）を算出することができる。

表３で例示したように、マクロブロックのようなコーディング単位に対応する深さ情報マップにおいて最大の距離値（ｄｉｓｐａｒｉｔｙ）関数を見つけてリターンすると、動き情報（ｍｖ［０］，ｍｖ［１］）を算出することができる。

上述した方法は、現在、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）とＶＣＥＧ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）において共同に標準化を進行しているＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）を使用することができる。

したがって、上述した方法は、図２０の例のように、ブロックの大きさ、ＣＵ（Ｃｏｄｉｎｇ Ｕｉｎｔ）の深さ、またはＴＵ（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）の深さなどによって適用範囲を異にすることができる。

図２０は、与えられたＣＵ（またはＴＵ）の深さが２である場合、本発明の実施例を適用する範囲の決定方式の例（Ｏ：当該深さに適用、Ｘ：当該深さに適用しない。）を示す。このように適用範囲を決定する変数（即ち、大きさまたは深さ情報）は、符号化器及び復号化器が予め定められた値を使用するように設定してもよく、プロファイルまたはレベルに応じて定められた値を使用するようにしてもよく、符号化器が変数値をビットストリームに記載すると、復号化器は、ビットストリームからこの値を求めて使用してもよい。
ＣＵの深さに応じて適用範囲を異にするときは、同図に例示したように、方式Ａ）与えられた深さ以上の深さにのみ適用する方式、方式Ｂ）与えられた深さ以下にのみ適用する方式、方式Ｃ）与えられた深さにのみ適用する方式があり得る。

上述した方法を用いた復号化過程の更に他の一例を示すと、以下の通りである。

深さ情報マップピクチャであるデプスレファレンスビューコンポーネント（ｄｅｐｔｈ
ｒｅｆｅｒｅｎｃｅ ｖｉｅｗ ｃｏｍｐｏｎｅｎｔ）と現在マクロブロック（またはＣＵ）の左上端の位置などを用いれば、現在予測ブロック（またはＣＵ）に該当するピクチャの視点の識別子（ｖｉｅｗ_ｉｄ）などを用いて、動きベクトル（ｍｖ［０］，ｍｖ［１］）を算出することができる。

全ての深さに対して本発明の方法を適用しない場合は、任意の指示子（ｆｌａｇ）を使用して表してもよく、ＣＵ深さの最大値よりも１つ大きい値を、適用範囲を示すＣＵ深さ値としてシグナリングすることによって表現してもよい。

本発明の追加的な特徴として、上述した方法を適用するか否かはビットストリームに含まれてもよく、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、スライスヘッダーシンタックス（Ｓｌｉｃｅ Ｈｅａｄｅｒ Ｓｙｎｔａｘ）に、以下のようなセマンティクス（Ｓｅｍａｎｔｉｃｓ）で適用され得る。

表５は、ＳＰＳに適用された一例、表６は、ＰＰＳに適用された一例、表７は、スライスヘッダーシンタックスに適用された一例、表８は、スライスヘッダーシンタックスに適用された他の例を示す。

表５は、コーディングされたビデオデータのうち、ＰＳ_ＲＢＳＰのシンタックスの一例を示す。

表５において、ＳＰＳ_ＲＢＳＰのシンタックスに従ってコーディングされたビデオデータは、次のような情報を含むことができる。

ｐｒｏｆｉｌｅ_ｉｄｃは、コーディングされたビデオデータのコーディングプロファイルに対する識別情報を示す。

ｌｅｖｅｌ_ｉｄｃは、コーディングされたビデオデータの特定レベル、またはそれより小さいレベルを示す。

ｄｍｖｐ_ｅｎａｂｌｅｄ_ｆｌａｇは、コーディングブロックまたはコーディング単位の大きさに応じて、当該コーディングブロックまたはコーディング単位の深さ情報マップの代表を使用するようにするフィールドである。詳細な例は後述する。

表６は、コーディングされたビデオデータのうち、ＰＰＳ_ＲＢＳＰのシンタックスの一例を示す。

表６において、ＰＰＳ_ＲＢＳＰのシンタックスに従ってコーディングされたビデオデータは、次のような情報を含むことができる。

ｐｉｃ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは、スライスヘッダーに参照されるピクチャパラメータセットを識別する。

ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは、ピクチャパラメータセット内のシンタックスエレメントに対するアクティブシーケンスパラメータセットを参照する識別子である。

ｅｎｔｒｏｐｙ_ｃｏｄｉｎｇ_ｍｏｄｅ_ｆｌａｇは、シンタックスエレメントに適用されるエントロピーコーディング方法を示す。

ｄｍｖｐ_ｅｎａｂｌｅｄ_ｆｌａｇは、コーディングブロックまたはコーディング単位の大きさに応じて、当該コーディングブロックまたはコーディング単位の深さ情報マップの代表を使用するようにするフィールドである。詳細な例は後述する。

表７は、コーディングされたビデオデータのうち、スライスヘッダーのシンタックスの一例を示す。

表７において、スライスヘッダーのシンタックスに従ってコーディングされたビデオデータは、次のような情報を含むことができる。

ｓｌｉｃｅ_ｔｙｐｅは、スライスのコーディングタイプを示す。

ｐｉｃ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは、使用されるピクチャパラメータセットを示す。

ｆｒａｍｅ_ｎｕｍは、ピクチャ識別子として使用できるフィールドである。

ｄｍｖｐ_ｄｉｓａｂｌｅｄ_ｉｎｆｏは、コーディングブロックまたはコーディング単位の大きさに応じて、当該コーディングブロックまたはコーディング単位の深さ情報マップの代表を使用するようにするフィールドである。詳細な例は後述する。

表８は、コーディングされたビデオデータのうち、スライスヘッダーシンタックスの他の一例を示す。

ｌｉｇｈｔｗｅｉｇｈｔ_ｓｌｉｃｅ_ｆｌａｇではない場合、表７に含まれたシンタックスによる値がビデオデータに含まれる。

上記と同様に、ｄｍｖｐ_ｄｉｓａｂｌｅｄ_ｉｎｆｏは、コーディングブロックまたはコーディング単位の大きさに応じて、当該コーディングブロックまたはコーディング単位の深さ情報マップの代表を使用するようにするフィールドである。

上記の表の例において、“ｄｍｖｐ_ｅｎａｂｌｅｄ_ｆｌａｇ”は、ＤＭＶＰ（Ｄｅｐｔｈ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）方法が適用されたか否かを知らせる。ここで、ＤＭＶＰ（Ｄｅｐｔｈ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）方法が適用された場合、“ｄｍｖｐ_ｅｎａｂｌｅｄ_ｆｌａｇ”が‘１’となり、適用されなかった場合、“ｄｍｖｐ_ｅｎａｂｌｅｄ_ｆｌａｇ”が‘０’となる。その逆も可能である。

また、“ｄｍｖｐ_ｄｉｓａｂｌｅｄ_ ｉｎｆｏ”は、ＤＭＶＰ（Ｄｅｐｔｈ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）方法が適用された場合（または、“ｄｍｖｐ_ｅｎａｂｌｅｄ_ｆｌａｇ”がｔｒｕｅの場合）に活性化されるシンタックス（ｓｙｎｔａｘ）であって、これは、ＣＵの深さ（ｄｅｐｔｈ）（またはＣＵの大きさ（ｓｉｚｅ）、またはマクロブロックの大きさ、またはサブマクロブロックの大きさ、またはブロックの大きさ）によってＤＭＶＰ（Ｄｅｐｔｈ−ｂａｓｅｄ Ｍｏｔｉｏｎ
Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）方法を適用するか否かを知らせる。一例として、“ｄｍｖｐ_ｄｉｓａｂｌｅｄ_ｉｎｆｏ”が‘０’の場合には、ＤＭＶＰ（Ｄｅｐｔｈ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）方法が全てのブロックの大きさに適用されてもよい。また、“ｄｍｖｐ_ｄｉｓａｂｌｅｄ_ｉｎｆｏ”が‘１’の場合には、ＤＭＶＰ（Ｄｅｐｔｈ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）方法が４×４ブロックの大きさよりも大きい単位にのみ適用され得る。更に他の一例として、“ｄｍｖｐ_ｄｉｓａｂｌｅｄ_ ｉｎｆｏ”が‘２’の場合には、ＤＭＶＰ（Ｄｅｐｔｈ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）方法が８×８ブロックの大きさよりも大きい単位にのみ適用され得る。または、その逆も可能である。

例えば、“ｄｍｖｐ_ｄｉｓａｂｌｅｄ_ｉｎｆｏ”が‘１’の場合には、ＤＭＶＰ（Ｄｅｐｔｈ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）方法が４×４ブロックの大きさよりも小さい単位にのみ適用され得る。このような“ｄｍｖｐ_ｄｉｓａｂｌｅｄ_ｉｎｆｏ”シンタックス（ｓｙｎｔａｘ）の使用方法は、様々に適用可能である。

図２１は、本発明に係るビデオデータデコーディング方法の一実施例を例示した図である。図２１を参照して、本発明に係るビデオデータデコーディング方法の一実施例を説明すると、次の通りである。

ビデオデータと前記ビデオデータに対応する深さ情報データとを含むビデオデータを受信し、パージングする（Ｓ１１０）。ここで、ビデオデータは、３Ｄ−ＡＶＣによるビデオデータであってもよく、多視点（ｍｕｌｔｉ−ｖｉｅｗ）ビデオデータであってもよい。以下では、便宜上、ビデオデータと呼ぶ。

図５で例示したように、ビデオデータ（ｔｅｘｔｕｒｅ）とそれに対応する深さ情報データ（ｄｅｐｔｈ）とを含むビデオのビットストリームがデコーダに受信されると、デコーダは、当該ビデオのビットストリームを、コーディングされたシンタックスに従ってパージングすることができる。図２又は図６のように、ビデオデータと深さ情報データとは対応し得る。

深さ情報データから、前記コーディングされたビデオデータのコーディング単位の視点間予測のための動き情報を得、前記動き情報に基づいて視点間予測を行う（Ｓ１２０）。

コーディング単位は、マクロブロック、またはＨＥＶＣで定義するコーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）及び変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）を含むことができる。

図８乃至図１０、及び図１４乃至図１７は、当該コーディング単位の動き予測のための動き情報を算出するためにコーディング単位が参照する深さ情報マップピクチャにおいて、対応するコーディング単位のどの位置の深さ情報値を利用しなければならないかに関する例を開示した。

動き情報を得る過程は、表１乃至表４に例示した。

例えば、動き情報は、コーディング単位が参照する深さ情報データ内の深さ情報マップピクチャ、及びコーディング単位の左上側サンプル、右上側サンプル、左下側サンプル、及び右下側サンプルの位置情報のうちの少なくとも１つ以上を用いて算出することができる。

また、動き情報は、深さ情報マップピクチャのビュー識別子、及びコーディング単位を含むピクチャのビュー識別子をさらに用いて算出することができる。

他の例として、動き情報は、コーディング単位が参照する深さ情報マップピクチャ内の深さ情報値の最大距離差を用いて算出することができる。

図１８で例示したように、コーディング単位が参照する前記深さ情報マップピクチャに含まれた深さ情報値を用いて、コーディング単位に隣接するコーディング単位に対する動き情報を算出することができる。

そして、図１６で例示したように、コーディング単位の動き情報を得た場合、前記コーディング単位の動き情報を用いて、前記コーディング単位に含まれたサブコーディング単位の動き情報を算出することもできる。

動き予測に基づいて、前記コーディング単位が含まれた前記多視点ビデオデータ及び前記深さ情報データによるビデオデータを復元する（Ｓ１３０）。復元されたビデオデータは、ビデオデータとビデオデータに対応する深さ情報データによるデコーディングサンプルとして出力されてもよい。

図２２は、本発明に係るデコーディング装置の一実施例を例示した図である。

本発明に係るデコーディング装置の一実施例は、図４又は図５の右側図に基づいてもよい。

本発明に係るデコーディング装置の一実施例は、受信部１１０、予測部１２０及び復元部１３０を含むことができる。

受信部１１０は、ビデオデータとビデオデータに対応する深さ情報データとを含むビデオデータを受信してパージングすることができる。受信部は、受信したデータをエントロピーデコーディング、逆量子化、逆変換過程を行うことができる。

受信部１１０は、図５で例示したように、多視点ビデオデータ（ｔｅｘｔｕｒｅ）とそれに対応する深さ情報データ（ｄｅｐｔｈ）とを含むビデオのビットストリームがデコーダに受信されると、デコーダは、当該ビデオのビットストリームを、コーディングされたシンタックスに従ってパージングすることができる。

予測部１２０は、イントラモードまたはインターモードによって参照映像を用いて動き情報を算出し、それによって動き予測を行うことができる。予測部１２０は、深さ情報データから、前記多視点ビデオデータのコーディング単位の動き予測のための動き情報を得ることができる。

コーディング単位は、マクロブロック、またはＨＥＶＣで定義するコーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）及び変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）を含むことができる。

図８乃至図１０、及び図１４乃至図１７は、予測部１２０が、当該コーディング単位の視点間予測のための動き情報を算出するために、コーディング単位が参照する深さ情報マップピクチャにおいて、対応するコーディング単位のどの位置の深さ情報値を利用しなければならないかに関する例を開示した。

予測部１２０が動き情報を得る過程の例は、表１乃至表４に例示した。例えば、動き情報は、コーディング単位が参照する深さ情報データ内の深さ情報マップピクチャ、及びコーディング単位の左上側サンプル、右上側サンプル、左下側サンプル、及び右下側サンプルの位置情報のうちの少なくとも１つ以上を用いて算出することができる。また、動き情報は、深さ情報マップピクチャのビュー識別子、及びコーディング単位を含むピクチャのビュー識別子をさらに用いて算出することができる。他の例として、予測のための動き情報は、コーディング単位が参照する深さ情報マップピクチャ内の深さ情報値の最大距離差を用いて算出することもできる。

図１８で例示したように、予測部１２０は、コーディング単位が参照する前記深さ情報マップピクチャに含まれた深さ情報値を用いて、コーディング単位に隣接するコーディング単位に対する動き情報を算出することができる。

そして、予測部１２０は、図１６で例示したように、コーディング単位の動き情報を得た場合、前記コーディング単位の動き情報を用いて、前記コーディング単位に含まれたサブコーディング単位の動き情報を算出することができる。

復元部１３０は、ビデオデータに対する動きを補償し、予測に基づいて、コーディング単位が含まれたビデオデータ及び深さ情報データによるビデオデータを復元することができる。

図２３は、本発明に係るエンコーディング方法の一実施例を例示した図である。同図を参照して、本発明に係るエンコーディング方法の一実施例を説明すると、次の通りである。

多視点ビデオデータ、及び前記多視点ビデオデータに対応する深さ情報データをそれぞれエンコーディングする（Ｓ２１０）。

多視点ビデオデータをコーディング単位でエンコーディングする場合、多視点ビデオデータのビュー識別子を用いて、深さ情報データの深さ情報マップピクチャを参照することができる。コーディング単位は、マクロブロック、またはＨＥＶＣで定義するコーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）及び変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）を含むことができる。

例えば、コーディング効率を高めるために、当該ビュー識別子による深さ情報のデータから、そのコーディング単位が参照する深さ情報マップピクチャ、及び前記コーディング単位の左上側サンプル、右上側サンプル、左下側サンプル、及び右下側サンプルの位置情報のうちの少なくとも１つ以上の位置情報に基づいて、動き情報を算出することができる。動き情報は、深さ情報マップピクチャのビュー識別子、及びコーディング単位を含むピクチャのビュー識別子をさらに用いて算出することができる。動き情報は、コーディング単位が参照する深さ情報マップピクチャ内の深さ情報値の最大距離差を用いて算出することもできる。

多視点ビデオデータ及び前記多視点ビデオデータに対応する深さ情報データがエンコーディングされると、動き情報を用いて、視点間予測されたデータとコーディング単位との差である残余データ（ｒｅｓｉｄｕａｌ ｄａｔａ）のみをエンコーディングすることができる。

エンコーディングされたデータは、例示したシンタックスに従ってビットストリームとして出力され得る（Ｓ２２０）。

図５で例示したように、コーディングされた多視点ビデオデータ及び深さ情報データが多重化され、ビットストリームとして伝送されてもよい。

伝送されたデータは、それぞれ、当該伝送データに応じて、表５乃至表８のシンタックスによるビデオデータであってもよい。

図２４は、本発明に係るエンコーディング装置の一実施例を例示した図である。同図を参照して、本発明に係るエンコーディング装置の一実施例を説明すると、次の通りである。図５に例示したものとほぼ同一に、本発明に係るエンコーディング装置の一実施例は、エンコーディング部２１０及び出力部２２０を含む。

エンコーディング部２１０は、多視点ビデオデータ、及び前記多視点ビデオデータに対応する深さ情報データをそれぞれエンコーディングする。

エンコーディング部２１０が多視点ビデオデータをコーディング単位でエンコーディングする場合、多視点ビデオデータのビュー識別子を用いて、深さ情報データの深さ情報マップピクチャを参照することができる。コーディング単位は、マクロブロック、またはＨＥＶＣで定義するコーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）及び変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）を含むことができる。

図８乃至図１０、及び図１４乃至図１７は、当該コーディング単位の動き予測のための動き情報を算出するためにコーディング単位が参照する深さ情報マップピクチャにおいて、対応するコーディング単位のどの位置の深さ情報値を利用しなければならないかに関する例を開示した。

エンコーディング部２１０は、多視点ビデオデータのビュー識別子によって、深さ情報のデータから、そのコーディング単位が参照する深さ情報マップピクチャ、及び前記コーディング単位の左上側サンプル、右上側サンプル、左下側サンプル、及び右下側サンプルの位置情報のうちの少なくとも１つ以上の位置情報に基づいて、動き情報を算出し、算出した動き情報を用いて視点間予測を行うことができる。動き情報は、コーディング単位が参照する深さ情報マップピクチャ内の深さ情報値の最大距離差を用いて算出することもできる。

エンコーディング部２１０は、コーディング単位の残余データ（ｒｅｓｉｄｕａｌ ｄａｔａ）のみをコーディングすることができる。

出力部２２０は、コーディングされたデータがＳＰＳ、ＰＰＳ、スライスなどであるか否かによって、表５乃至表８のシンタックスによる多視点ビデオデータ及び前記多視点ビデオデータに対応する深さ情報データを出力することができる。

図５で例示したように、多視点ビデオデータ（ｔｅｘｔｕｒｅ）とそれに対応する深さ情報データ（ｄｅｐｔｈ）とを含むビデオのビットストリームがデコーダに受信されると、デコーダは、当該ビデオのビットストリームを、コーディングされたシンタックスに従ってパージングすることができる。図２又は図６のように、ビデオデータと深さ情報データとは対応し得る。

発明の実施のための形態は、発明を実施するための最良の形態において共に記述された。

本発明は、ビデオデータのエンコーダとデコーダに反復的に使用することができるので、産業上の利用可能性がある。

Claims (16)

1. ビデオデータと前記ビデオデータに対応する深さ情報データとを含むコーディングされたビデオデータを受信するステップと、
   前記深さ情報データから、前記コーディングされたビデオデータのコーディング単位の視点間予測のための動き情報を得るステップと、
   前記動き情報に基づいて視点間予測を行うステップと、
   前記視点間予測に基づいて、前記コーディング単位が含まれた前記ビデオデータ及び前記深さ情報データによるビデオデータを復元するステップと、を含み、
   前記コーディングされたビデオデータのコーディング単位の視点間予測のための前記動き情報は、前記コーディング単位が参照する深さ情報マップピクチャから導出される情報を用いて算出され、
   前記コーディング単位は、少なくとも１つ以上の予測ブロックを含み、
   前記コーディング単位が複数の予測ブロックを含む場合に、視点間予測のための同じ前記動き情報が、視点間予測の前記動き情報の算出のために前記複数の予測ブロックに共有される、ビデオデータデコーディング方法。
2. 前記動き情報は、
   前記コーディング単位の左上側サンプル、右上側サンプル、左下側サンプル、及び右下側サンプルのうちの少なくとも１つ以上の位置情報をさらに用いて算出される、請求項１に記載のビデオデータデコーディング方法。
3. 前記動き情報は、
   前記深さ情報マップピクチャのビュー識別子、または前記コーディング単位を含むピクチャのビュー識別子をさらに用いて算出される、請求項１に記載のビデオデータデコーディング方法。
4. 前記動き情報は、
   前記コーディング単位が参照する深さ情報マップピクチャ内の深さ情報値の最大距離差を用いて算出される、請求項１に記載のビデオデータデコーディング方法。
5. 前記コーディング単位は、
   マクロブロック、または、ＨＥＶＣで定義されるコーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）及び変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）のいずれか１つを含む、請求項１に記載のビデオデータデコーディング方法。
6. 前記ビデオデータは、少なくとも１つ以上のテクスチャ（ｔｅｘｔｕｒｅ）を含む、請求項１に記載のビデオデータデコーディング方法。
7. 前記コーディング単位の視点間予測のための前記動き情報を得るステップは、
   前記コーディング単位の位置及びサイズに基づいてコーディング単位の視点間予測のための前記動き情報を導出するステップを含む、請求項１に記載のビデオデータデコーディング方法。
8. 前記コーディング単位の視点間予測のための前記動き情報を得るステップは、
   現在予測ブロックに対応する深さ情報マップブロックから導出された情報に基づいて、前記コーディング単位の視点間予測のための前記動き情報を導出するステップを含む、請求項１に記載のビデオデータデコーディング方法。
9. ビデオデータと前記ビデオデータに対応する深さ情報データとを含むコーディングされたビデオデータを受信し、パージング（ｐａｒｓｉｎｇ）する受信部と、
   前記深さ情報データから、前記コーディングされたビデオデータのコーディング単位の視点間予測のための動き情報を得、前記動き情報に基づいて視点間予測を行う予測部と、 前記視点間予測に基づいて、前記コーディング単位が含まれた前記ビデオデータ及び前記深さ情報データによるビデオデータを復元する復元部と、を含み、
   前記コーディングされたビデオデータのコーディング単位の視点間予測のための前記動き情報は、前記コーディング単位が参照する深さ情報マップピクチャから導出される情報を用いて算出され、
   前記コーディング単位は、少なくとも１つ以上の予測ブロックを含み、
   前記コーディング単位が複数の予測ブロックを含む場合に、視点間予測のための同じ前記動き情報が、視点間予測の前記動き情報の算出のために前記複数の予測ブロックに共有される、ビデオデータデコーディング装置。
10. 前記予測部は、
    前記コーディング単位の左上側サンプル、右上側サンプル、左下側サンプル、及び右下側サンプルのうちの少なくとも１つ以上の位置情報を用いて前記動き情報を算出する、請求項９に記載のビデオデータデコーディング装置。
11. 前記予測部は、
    前記深さ情報マップピクチャのビュー識別子、または前記コーディング単位を含むピクチャのビュー識別子をさらに用いて前記動き情報を算出する、請求項９に記載のビデオデータデコーディング装置。
12. 前記予測部は、
    前記コーディング単位が参照する深さ情報マップピクチャ内の深さ情報値の最大距離差を用いて前記動き情報を算出する、請求項９に記載のビデオデータデコーディング装置。
13. 前記コーディング単位は、
    マクロブロック、または、ＨＥＶＣで定義されるコーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）及び変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）のいずれか１つを含む、請求項９に記載のビデオデータデコーディング装置。
14. 前記ビデオデータは、少なくとも１つ以上のテクスチャ（ｔｅｘｔｕｒｅ）を含む、請求項９に記載のビデオデータデコーディング装置。
15. 前記予測部は、
    前記コーディング単位の位置及びサイズに基づいて前記コーディング単位の視点間予測のための前記動き情報を導出する、請求項９に記載のビデオデータデコーディング装置。
16. 前記コーディング単位は、
    現在予測ブロックに対応する深さ情報マップブロックから導出された情報に基づいて、前記コーディング単位の視点間予測のための前記動き情報を導出する、請求項９に記載のビデオデータデコーディング装置。