JP6293118B2 - 三次元映像シーケンス補助情報のデコーディング方法、エンコーディング方法および装置 - Google Patents

Description

本発明は通信分野に関し、具体的には、三次元映像シーケンス補助情報のデコーディング方法、エンコーディング方法および装置に関する。

三次元映像（３Ｄ ｖｉｄｅｏ）シーケンスは、多視点（通常は２視点）映像シーケンス（テクスチャ情報に対応）と、対応する深度（ｄｅｐｔｈ）シーケンス（深度情報に対応）とを含み、通常は、ＭＶＤ（Ｍｕｌｔｉ−Ｖｉｅｗ Ｖｉｄｅｏ Ｐｌｕｓ Ｄｅｐｔｈ）フォーマットとも言われる。三次元映像は視点合成（Ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ）技術により仮想視点映像シーケンスを生成する。伝統的な両眼立体ビデオ（Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｖｉｄｅｏ）はただ２つの固定した視点（即ち左視点と右視点）の映像シーケンスにより構成され、立体映像ペア（Ｓｔｅｒｅｏｓ Ｐａｉｒ）とも言われる。両眼カメラにより取得した立体映像パアは、両視点の視差が大きくなる問題がありうる。このような立体映像ペアを視聴することは、非常に視覚疲労になりやすく、言い換えれば、このような立体映像ペアは両眼立体視（Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｖｉｅｗｉｎｇ）に適合しない。仮想視点映像シーケンスが導入されると、立体映像ペアにおける１つの映像シーケンスと１つの合成した仮想視点映像シーケンスにより両眼立体視に適するような立体映像ペアが構成できる。ここでは、それを立体映像ペアという。

仮想視点映像シーケンスは、視点合成（Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ）技術により生成される。いわゆる視点合成とは、主に奥行き画像ベースレンダリング（Ｄｅｐｔｈ−Ｉｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ、ＤＩＢＲと略称）技術を採用し、即ち１つのカメラ視点（Ｃａｍｅｒａ Ｖｉｅｗ）画像のサンプルを、対応する深度値と対応するカメラパラメータにより、もう１つの仮想視点（Ｖｉｒｔｕａｌ Ｖｉｅｗ）に投影することで、投影画像を生成し、そして、ホールフィリング（Ｈｏｌｅ Ｆｉｌｌｉｎｇ）、フィルタリング（Ｆｉｌｔｅｒｉｎｇ）、リサンプリング（Ｒｅｓａｍｐｌｉｎｇ）などの処理を経て、最終的に表示するための仮想視点映像シーケンスを生成する。視点合成において、投影は、投影画像とカメラ視点画像との解像度が同じである全画素精度を採用することもできるし、投影画像の水平方向の解像度がカメラ視点画像のＮ（通常、Ｎは２の倍数）倍である１／Ｎ（Ｎは正整数）サブ画素精度を採用することもできる。通常の場合、サブ画素投影精度は、全画素投影精度よりも品質の高い仮想視点映像シーケンスが得られるが、演算する複雑さも高い。

三次元映像シーケンスは若干のアクセスユニット（Ａｃｃｅｓｓ Ｕｎｉｔ）を含み、１つのアクセスユニットには、複数（２つ以上）の視点のあるときの画像（テクスチャ情報に対応）および対応する深度（深度情報に対応）を含む。三次元映像シーケンスを符号化して三次元映像シーケンスビットストリーム（ｂｉｔｓｔｒｅａｍ）を形成させ、いわゆるビットストリームは複数のバイナリビットにより構成されている。エンコーディング方法は、ＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ、ＨＥＶＣ、ＡＶＳ、ＶＣ−１などの映像エンコーディング基準に基づいたエンコーディング方法である。なお、映像エンコーディング基準は、ビットストリームのシンタックス（ｓｙｎｔａｘ）と、エンコーディング基準に適合するビットストリームのデコーディング方法が定められているもので、ビットストリームを生成するエンコーディング方法が定められていないが、デコーダによるビットストリームのデコーディングを実現するには、採用されるエンコーディング方法は基準で定められたデコーディング方法にマッチし、エンコーディング基準に適合するビットストリームを形成しなければならない。そうではないと、デコーディングはエラーが発生することがある。デコーディングによって得られた画像はデコードされた（ｄｅｃｏｄｅｄ）画像または再構築された（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）画像と言われる。

映像エンコーディング基準は、さらに映像画像のデコーディングにとって必須でないシンタックスユニットが定められ、それに対応する情報は、デコードされた画像を如何に表示に用いるか、それとも映像のデコーディングを如何に補助するかなどを示すことができる。これらのシンタックスユニットは、例えば、Ｈ．２６４／ＡＶＣ基準における補足エンハンスメント情報（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩと略称、Ｈ．２６４／ＡＶＣ基準ドキュメントの７．３節を参照）、ビデオ・ユーザビリティ情報（Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍｓｔｉｏｎ、ＵＶＩと略称、Ｈ．２６４／ＡＶＣ基準ドキュメントの７．３節を参照）、サブセットシーケンスパラメータセット（Ｓｕｂｓｅｔ Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ｓｕｂｓｅｔ ＳＰＳと略称、Ｈ．２６４／ＡＶＣ基準ドキュメントの７．３節を参照）におけるＭＶＣ ＶＵＩ Ｐａｒａｍｅｔｅｒｓ ｅｘｔｅｎｓｉｏｎ（Ｈ．２６４／ＡＶＣ基準ドキュメントのＡｎｎｅｘ Ｈ）などのシンタックスユニットがあり、さらに他の映像エンコーディング基準における類似機能を有するシンタックスユニットを含む。１つのシンタックスユニットは一部のビットストリームで、１グループのシンタックスエレメント（Ｓｙｎｔａｘ Ｅｌｅｍｅｎｔ）を含み、これらのシンタックスエレメントは映像エンコーディング基準で規定した順番により配列する。シンタックスエレメントに対応するコードワードが連結して、ビットストリームを構成する。

仮想視合成をサポートするために、三次元映像シーケンスビットストリームには、例えば各視点の焦点距離、座標位置などの各視点のカメラパラメータ情報が含まれている可能性がある。通常、三次元映像シーケンスの各視点は、平行のカメラ配列構造（例えばＭＰＥＧ ３ＤＶグループによって採用されるテストシーケンス）に対応する、即ち、すべての視点の光軸が互いに平行し、かつ光心が一直線上に配列されるものである。

Ｈ．２６４／ＡＶＣのＳＥＩは複数のＳＥＩメッセージ（ＳＥＩ ｍｅｓｓａｇｅ）により構成され、各ＳＥＩメッセージは、対応するタイプ番号（即ちｐａｙｌｏａｄＴｙｐｅ）とビットストリーム長さ（即ちｐａｙｌｏａｄＳｉｚｅ）がある。１つのＳＥＩメッセージのビットストリームには、８ビット（ｂｉｔ）の符号無し整数コードで符号化されるｐａｙｌｏａｄＴｙｐｅ、８ビットの符号無し整数コードで符号化されるｐａｙｌｏａｄＳｉｚｅ、及びｐａｙｌｏａｄＳｉｚｅにより示される若干のバイト（ｂｙｔｅ、１ｂｙｔｅ＝８ｂｉｔ）長さのメッセージコンテンツビットストリームが含まれる。他の映像エンコーディング基準にも類似する方法がある。

１つの情報には、１つまたは複数の基本的なサブ情報を含む。サブ情報は、数値化にすることができる、即ち、ある範囲（通常は整数域）の数値でサブ情報の記述する内容を表す。例えば、１つのサブ情報が２種類の状況を記述する場合、０と１でそれぞれこの２種類の状況を表すことができる。また、１つのサブ情報が０〜１の間の０．１２５の倍数となる９つの数を記述する場合、０〜８の整数でそれぞれこの９つの数を表すことができる。サブ情報は一つのシンタックスエレメント（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）に数値化され、シンタックスエレメントはその数値の範囲と分布により、適切なコードで符号化され、コードワード（ｃｏｄｅ ｗｏｒｄ、１つまたは複数のビットからなる。）が形成される、即ち、シンタックスエレメントが符号化されてからビット列になる。常用なコードは、ｎビット固定長符号、指数ゴロム符号、算術符号などがある。さらに具体的には、１ビットの符号無し整数コードには、０と１との２つのコードワードを含み、２ビットの符号無し整数コードには、００、０１、１０、及び１１という４つのコードワードを含み、０次指数ゴロム符号のコードワードには、コードワード１、０１０、０１１などを含む。バイナリのフラグ（ｆｌａｇ）はよく１ビットの符号無し整数コード（ｕｎｓｉｇｎｅｄ ｉｎｔｅｇｅｒ ｕｓｉｎｇ １ ｂｉｔ、Ｈ．２６４／ＡＶＣ基準ドキュメントの７．２節を参照）で符号化されるが、二値を超えたインデックス（ｉｎｄｅｘ）はよくｎビットの符号無し整数コード（ｎは正整数）または指数ゴロム符号などで符号化される。コードワードは、対応するデコーディング方法（例えば、テーブル参照方法、即ち、コードテーブルからコードワードに対応するシンタックスエレメント数値を調べる）により当該コードワードに対応するシンタックスエレメントの数値に回復される。複数のサブ情報は共同で１つのシンタックスエレメントとして数値化されることで、一つのコードワードに対応することも可能である。例えば、二つのサブ情報の組み合わせに番号をつけ、その番号を一つのシンタックスエレメントとすることができる。複数のシンタックスエレメントに対応するコードワードはあるエンコーディング・デコーディングで決めた順番に連結され、ビットストリームを構成する。

例を挙げると、１つの情報には、３つのサブ情報Ａ、Ｂ、Ｃを含み、当該情報をビットストリームとして符号化する方法は、通常以下のものがある。

１、３つのサブ情報Ａ、Ｂ、Ｃを、それぞれ単独で３つのシンタックスエレメントに数値化し、さらに３つのコードワードＭＡ、ＭＢ、ＭＣとして符号化して、３つのコードワードを、例えばＭＡ−ＭＢ−ＭＣ（即ち、ビットストリームにおいてＭＢはＭＡの後、ＭＣの前にある）、またはＭＣ−ＭＡ−ＭＢというように、所定の順番で連結して、ビットストリームを形成する。

２、その中の２つのサブ情報（例えばＡとＢ）を、共同で１つのシンタックスエレメントとして数値化して、もう１つのサブ情報（例えばＣ）を単独で１つのシンタックスエレメントに変換し、この２つのシンタックスエレメントのコードワードを連結してビットストリームを形成する。

なお、当該情報のビットストリームにおける任意の隣接する２つのコードワード間（例えばＭＡとＭＢとの間、またはＭＢとＭＣとの間）には、さらに例えば、１つまたは連続した複数の０または１で構成した充填ビット、あるいは、上記３つのサブ情報以外の他の情報に対応するコードワードなどのような当該情報と関係がない他のコードワード（またはビット）を挿入することが可能である。

１つの情報におけるあるサブ情報Ａともう１つのサブ情報Ｂとが依存関係（即ち、Ｂがある特別な状況を示す場合、Ａの示す情報は意義がない）にある場合、このような情報をビットストリームとして符号化する方法は、通常以下のようなものがある。

１、ＡとＢに対応するコードワードをそれぞれビットストリームに書き込み、ただし、Ｂが当該特別な状況を示す場合、Ａに対応するコードワードは約束したコードワードである。

２、Ｂに対応するコードワードをビットストリームに書き込み、ただし、Ｂが当該特別な状況を示す場合、Ａに対応するコードワードをビットストリームに書き込まない。そうではない場合、Ａに対応するコードワードを、Ｂに対応するコードワードの後に書き込む。

３、ＡとＢのすべての有効な組み合わせを１つのシンタックスエレメントとして数値化し、当該シンタックスエレメントに対応するコードワードをビットストリームに書き込む。

ある情報（複数のサブ情報により構成される）を含むビットストリームをデコードする方法として、通常の場合、当該ビットストリームを、約束したシンタックスエレメントのオーガナイジング順番（例えば、映像エンコーディング基準で規定したシンタックスエレメントのオーガナイジング順番）により、若干のコードワードに分割し（その中に当該情報と関係がないほかのコードワードを含むことがある）、これらのコードワードのうち、上記複数のサブ情報に対応するコードワードをデコードし、複数のサブ情報を取得する。

立体映像ペアの立体感を改良するために、通常、立体映像ペア画像を水平シフト（ｓｈｉｆｔｉｎｇ）する方法で、ディスプレイで表示される視差（ｐａｒａｌｌａｘ）範囲を調整することができる。左視点画像が右視点画像に対して右へシフトする場合、負の視差（ｎｅｇａｔｉｖｅ ｐａｒａｌｌａｘ）が増大し、正の視差（ｐｏｓｉｔｉｖｅ ｐａｒａｌｌａｘ）が減少する。左視点画像が右視点画像に対して左へシフトする場合、負の視差（ｎｅｇａｔｉｖｅ ｐａｒａｌｌａｘ）が減少し、正の視差（ｐｏｓｉｔｉｖｅ ｐａｒａｌｌａｘ）が増大する。

三次元映像の映像シーケンスと深度シーケンスは、それぞれ現在のマルチ視点映像エンコーディング基準（Ｍｕｌｔｉ−Ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＭＶＣ と略称、Ｈ．２６４／ＡＶＣ基準のＡｎｎｅｘ Ｈに記載がある。）により符号化される。ＭＶＣ により、いずれの視点映像シーケンスでも、当該視点映像のデコーディング順次を示すための各自の視点順位インデックス（Ｖｉｅｗ Ｏｒｄｅｒ Ｉｎｄｅｘ、ＶＯＩｄｘと略称、非負整数である）があることが規定されている。最も小さい視点順位インデックスの映像シーケンス（即ちＶＯＩｄｘ＝０の視点の映像シーケンス）が一番先にデコードされ、その次に小さい視点順位インデックスの映像シーケンス（即ちＶＯＩｄｘ＝１の視点の映像シーケンス）はそれについで２番目にデコードされる。ただし、ＭＶＣには、各視点間の相対的な位置関係が説明されていない。立体ディスプレイは、視点の位置情報を知らないため、間違えて右視点映像を左目に出力し、間違えた立体感を生じてしまうことになる。また、立体ディスプレイ（またはセットトップボックスなどの補助機器）は、仮想視点映像を、表示される立体映像ペアの中の１つの映像として生成して、視差感覚を調整することができるが、例えば仮想視点の位置、レンダリング精度などの仮想視点の生成に関連する重要なパラメータを知る必要がある。したがって、三次元映像シーケンスビットストリームの中に、さらに左視点画像を示すインディケーション、立体映像ペアの構成方式、仮想視点の位置、レンダリング精度、シフティングサンプル数などを含む、立体ディスプレイによる立体映像ペアの表示をガイドする補助情報が追加されるべきである。

しかし、関連技術において、三次元映像シーケンスビットストリームにこれらの立体映像ペアを構築するのに必要とする補助情報を含まず、デコーディング 側により、これらの補助情報を有せずに、任意に構築された立体映像ペアは、表示する効果が低劣になることがある。

上記課題に対して、いままで効果的なソリューションが提案されていない。

本発明は、少なくとも既存技術において、三次元映像シーケンスビットストリームに補助情報を含まないことによる立体映像ペアの表示効果が悪いという課題を解決するために、三次元映像シーケンス補助情報のデコーディング方法、エンコーディング方法及び装置を提供する。

本発明の一形態によると、三次元映像シーケンスビットストリームから立体映像ペアを構築するための補助情報を取得することを含み、前記補助情報は、再構築される三次元映像シーケンスにより前記立体映像ペアを構築することを示すためのものであり、前記再構築される三次元映像シーケンスは前記三次元映像シーケンスビットストリームに対してデコーディングをして得られるものである三次元映像シーケンス補助情報のデコーディング方法を提供する。

上記補助情報は、前記立体映像ペアに仮想視点映像シーケンスが含まれるか否かを示すための合成視点インディケーションと、前記三次元映像シーケンスにおける２つの視点の映像シーケンス間の左右関係を示すための最小視点順位インデックスの視点の位置インディケーションと、前記立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すためのシフティングサンプル数と、前記立体映像ペアに仮想視点映像シーケンスが含まれている場合、前記仮想視点映像シーケンスを合成する際に採用する投影精度を示すためのレンダリング精度と、前記立体映像ペアに仮想視点映像シーケンスが含まれている場合、最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスとのうち、前記立体映像ペアを前記仮想視点映像シーケンスと共に合成する映像シーケンスを識別するための最小視点順位インデックスの視点の選択インディケーションと、前記立体映像ペアに仮想視点映像シーケンスが含まれている場合、前記仮想視点映像シーケンスに対応する仮想視点の、前記三次元映像シーケンスにおける最小視点順位インデックスの視点と２番め小さい視点順位インデックスの視点から構成された直線上の位置を示すための仮想視点位置パラメータ、の少なくとも一つを含むことが好ましい。

三次元映像シーケンスビットストリームから立体映像ペアを構築するための補助情報を取得することは、前記三次元映像シーケンスビットストリームから、補助情報ビットストリームを抽出することと、前記補助情報ビットストリームをデコードして前記補助情報を得ることとを含むことが好ましい。

補助情報は、前記三次元映像シーケンスビットストリームの、ビデオ・ユーザビリティ情報、補足エンハンスメント情報、及びサブセットシーケンスパラメータ集合の少なくとも１つの情報に含まれることが好ましい。

本発明のもう一つの形態によると、三次元映像シーケンスビットストリームの補助情報を三次元映像シーケンスビットストリームに書き込むことを含み、前記補助情報は、再構築される三次元映像シーケンスにより立体映像ペアを構築することを示すためのものであり、前記再構築される三次元映像シーケンスは前記三次元映像シーケンスビットストリームに対してデコーディングをして得られるものである三次元映像シーケンス補助情報のエンコーディング方法を提供する。

上記補助情報は、前記立体映像ペアに仮想視点映像シーケンスが含まれるか否かを示すための合成視点インディケーションと、前記三次元映像シーケンスにおける２つの視点の映像シーケンス間の左右関係を示すための最小視点順位インデックスの視点の位置インディケーションと、前記立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すためのシフティングサンプル数と、前記立体映像ペアに仮想視点映像シーケンスが含まれている場合、前記仮想視点映像シーケンスを合成する際に採用する投影精度を示すためのレンダリング精度と、前記立体映像ペアに仮想視点映像シーケンスが含まれている場合、最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスとのうち、前記立体映像ペアを前記仮想視点映像シーケンスと共に合成する映像シーケンスを識別するための最小視点順位インデックスの視点の選択インディケーションと、前記立体映像ペアに仮想視点映像シーケンスが含まれている場合、前記仮想視点映像シーケンスに対応する仮想視点の、前記三次元映像シーケンスにおける最小視点順位インデックスの視点と２番め小さい視点順位インデックスの視点から構成された直線上の位置を示すための仮想視点位置パラメータ、の少なくとも一つを含むことが好ましい。

三次元映像シーケンスビットストリームの補助情報を三次元映像シーケンスビットストリームに書き込むことは、前記補助情報を補助情報ビットストリームに符号化することと、前記補助情報ビットストリームを前記三次元映像シーケンスビットストリームに書き込むこととを含むことが好ましい。

前記補助情報を前記三次元映像シーケンスビットストリームに書き込むことは、前記補助情報を前記三次元映像シーケンスビットストリームの、ビデオ・ユーザビリティ情報、補足エンハンスメント情報、及びサブセットシーケンスパラメータ集合の少なくとも１つに書き込むことを含むことが好ましい。

本発明のもう一つの形態によると、三次元映像シーケンスビットストリームから、再構築される三次元映像シーケンスにより構築した立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すためのシフティングサンプル数を取得することを含み、前記再構築される三次元映像シーケンスは前記三次元映像シーケンスビットストリームに対してデコーディングをして得られるものである三次元映像シーケンス補助情報のデコーディング方法を提供する。

三次元映像シーケンスビットストリームから、再構築される三次元映像シーケンスにより構築した立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すためのシフティングサンプル数を取得することは、前記三次元映像シーケンスビットストリームから、前記シフティングサンプル数を含む補助情報ビットストリームを抽出することと、前記補助情報ビットストリームをデコードして前記シフティングサンプル数を得ることとを含むことが好ましい。

前記シフティングサンプル数は、前記三次元映像シーケンスビットストリームの、ビデオ・ユーザビリティ情報、補足エンハンスメント情報、及びサブセットシーケンスパラメータ集合の少なくとも１つの情報に含まれることが好ましい。

本発明のもう一つの形態によると、シフティングサンプル数を三次元映像シーケンスビットストリームに書き込むことを含み、前記シフティングサンプル数は、再構築される三次元映像シーケンスにより構築した立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すためのものであり、前記再構築される三次元映像シーケンスは前記三次元映像シーケンスビットストリームに対してデコーディングをして得られるものである三次元映像シーケンス補助情報のエンコーディング方法を提供する。

シフティングサンプル数を前記三次元映像シーケンスビットストリームに書き込むことは、前記シフティングサンプル数を補助情報ビットストリームに符号化することと、前記シフティングサンプル数を含む補助情報ビットストリームを前記三次元映像シーケンスビットストリームに書き込むこととを含むことが好ましい。

前記シフティングサンプル数を前記三次元映像シーケンスビットストリームに書き込むことは、前記シフティングサンプル数を前記三次元映像シーケンスビットストリームの、ビデオ・ユーザビリティ情報、補足エンハンスメント情報、及びサブセットシーケンスパラメータ集合の少なくとも１つに書き込むことを含むことが好ましい。

本発明のもう一つの形態によると、三次元映像シーケンスビットストリームから立体映像ペアを構築するための補助情報を取得するように構成されている補助情報取得ユニットを含み、前記補助情報は、再構築される三次元映像シーケンスにより前記立体映像ペアを構築することを示すためのものであり、前記再構築される三次元映像シーケンスは前記三次元映像シーケンスビットストリームに対してデコーディングをして得られるものである三次元映像シーケンス補助情報のデコーディング装置を提供する。

前記補助情報取得ユニットは、前記三次元映像シーケンスビットストリームから補助情報ビットストリームを抽出するように構成されている補助情報ビットストリーム抽出モジュールと、前記補助情報ビットストリームをデコードして前記補助情報を得るように構成されている補助情報ビットストリームデコーディングモジュールとを含むことが好ましい。

本発明のもう一つの形態によると、三次元映像シーケンスビットストリームの補助情報を三次元映像シーケンスビットストリームに書き込むように構成されている補助情報書き込みユニットを含み、前記補助情報は、再構築される三次元映像シーケンスにより立体映像ペアを構築することを示すためのものであり、前記再構築される三次元映像シーケンスは前記三次元映像シーケンスビットストリームに対してデコーディングをして得られるものである三次元映像シーケンス補助情報のエンコーディング装置を提供する。

前記補助情報書き込みユニットは、前記補助情報を補助情報ビットストリームに符号化するように構成されている補助情報ビットストリーム生成モジュールと、前記補助情報ビットストリームを前記三次元映像シーケンスビットストリームに書き込むように構成されている補助情報ビットストリーム書き込みモジュールとを含むことが好ましい。

本発明のもう一つの形態によると、三次元映像シーケンスビットストリームから、再構築される三次元映像シーケンスにより構築した立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すためのシフティングサンプル数を取得するように構成されている補助情報取得ユニットを含み、前記再構築される三次元映像シーケンスは前記三次元映像シーケンスビットストリームに対してデコーディングして得られるものである三次元映像シーケンス補助情報のデコーディング装置を提供する。

前記補助情報取得ユニットは、前記三次元映像シーケンスビットストリームから、前記シフティングサンプル数を含む補助情報ビットストリームを抽出するように構成されている補助情報ビットストリーム抽出モジュールと、前記補助情報ビットストリームをデコードして前記シフティングサンプル数を得るように構成されている補助情報ビットストリームデコーディングモジュールとを含むことが好ましい。

本発明のもう一つの形態によると、シフティングサンプル数を前記三次元映像シーケンスビットストリームに書き込むように構成されている補助情報書き込みユニットを含み、前記シフティングサンプル数は、再構築される三次元映像シーケンスにより構築した立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すためのものであり、前記再構築される三次元映像シーケンスは前記三次元映像シーケンスビットストリームに対してデコーディングして得られるものである三次元映像シーケンス補助情報のエンコーディング装置を提供する。

前記補助情報書き込みユニットは、前記シフティングサンプル数を補助情報ビットストリームに符号化するように構成されている補助情報ビットストリーム生成モジュールと、前記シフティングサンプル数を含む補助情報ビットストリームを前記三次元映像シーケンスビットストリームに書き込むように構成されている補助情報ビットストリーム書き込みモジュールとを含むことが好ましい。

本発明のもう一つの形態によると、三次元映像シーケンスビットストリームに対応する三次元映像シーケンス補助情報を補助情報ビットストリームに符号化し、且つ前記補助情報ビットストリームを前記三次元映像シーケンスビットストリームに書き込むことを含み、再構築される三次元映像シーケンスにより一つの立体映像ペアを生成する処理を示すための前記三次元映像シーケンス補助情報は、前記立体映像ペアが前記三次元映像シーケンスのうちの最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスからなる立体映像ペアであること、または前記立体映像ペアが前記三次元映像シーケンスのうちの最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスとのいずれか一つと一つの合成した仮想視点映像シーケンスとにより構成された立体映像ペアであることを識別するための合成視点インディケーションと、前記三次元映像シーケンスにおける最小視点順位インデックスの視点が２番目小さい視点順位インデックスの視点の左側にあるか否かを識別するためのインディケーションであって、前記立体映像ペアにおける２つの視点の映像シーケンスの左右関係を示す、左視である最小視点順位インデックスの視点のインディケーションと、前記立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すためのシフティングサンプル数と、前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記仮想視点映像シーケンスを合成する際に採用する投影精度を示すためのレンダリング精度と、前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記三次元映像シーケンスにおける最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスのうち、前記立体映像の中の１つの映像シーケンスとしての映像シーケンスを識別するための最小視点順位インデックスの視点の選択インディケーションと、前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記仮想視点映像シーケンスに対応する仮想視点の、前記三次元映像シーケンスにおける最小視点順位インデックスの視点と２番目小さい視点順位インデックスの視点から構成された直線上の位置を示すための仮想視点位置パラメータとの少なくとも１つを含む三次元映像シーケンス補助情報のエンコーディング方法を提供する。

前記補助情報ビットストリーム中の一部または全部の情報を前記三次元映像シーケンスビットストリームの補足エンハンスメント情報に書き込むことと、前記補助情報ビットストリーム中の一部または全部の情報を前記三次元映像シーケンスビットストリームのビデオ・ユーザビリティ情報に書き込むことと、前記補助情報ビットストリーム中の一部または全部の情報を前記三次元映像シーケンスビットストリームのサブセットシーケンスパラメータ集合に書き込むこととのいずれか一つの方式により前記補助情報ビットストリームを前記三次元映像シーケンスビットストリームに書き込むことが好ましい。

本発明のもう一つの形態によると、三次元映像シーケンスビットストリームから補助情報ビットストリームを抽出し、前記補助情報ビットストリームをデコードして三次元映像シーケンス補助情報を取得することを含み、再構築される三次元映像シーケンスにより一つの立体映像ペアを生成する処理を示すための前記三次元映像シーケンス補助情報は、前記立体映像ペアが前記三次元映像シーケンスのうちの最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスからなる立体映像ペアであること、または前記立体映像ペアが前記三次元映像シーケンスのうちの最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスとのいずれか一つと一つの合成した仮想視点映像シーケンスとにより構成された立体映像ペアであることを識別するための合成視点インディケーションと、前記三次元映像シーケンスにおける最小視点順位インデックスの視点が２番目小さい視点順位インデックスの視点の左側にあるか否かを識別するためのインディケーションであって、前記立体映像ペアにおける２つの視点の映像シーケンスの左右関係を示す、左視である最小視点順位インデックスの視点のインディケーションと、前記立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すためのシフティングサンプル数と、前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記仮想視点映像シーケンスを合成する際に採用する投影精度を示すレンダリング精度と、前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記三次元映像シーケンスにおける最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスのうち、前記立体映像ペアの中の１つの映像シーケンスとしての映像シーケンスを識別するための最小視点順位インデックスの視点の選択インディケーションと、前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記仮想視点映像シーケンスに対応する仮想視点の、前記三次元映像シーケンスにおける最小視点順位インデックスの視点と２番目小さい視点順位インデックスの視点から構成された直線上の位置を示すための仮想視点位置パラメータとの少なくとも１つを含む三次元映像シーケンス補助情報のデコーディング方法を提供する。

前記三次元映像シーケンスビットストリームの補足エンハンスメント情報から前記補助情報ビットストリームの一部または全部の情報を取得することと、前記三次元映像シーケンスビットストリームのビデオ・ユーザビリティ情報から前記補助情報ビットストリームの一部または全部の情報を取得することと、前記三次元映像シーケンスビットストリームのサブセットシーケンスパラメータ集合から前記補助情報ビットストリームの一部または全部の情報を取得することとのいずれか一つの方式により前記三次元映像シーケンスビットストリームから前記補助情報ビットストリームを抽出することが好ましい。

本発明のもう一つの形態によると、三次元映像シーケンスビットストリームに対応する三次元映像シーケンス補助情報を補助情報ビットストリームに符号化するように構成されており、入力が三次元映像シーケンス補助情報で、出力が補助情報ビットストリームである補助情報ビットストリーム生成モジュールと、前記補助情報ビットストリームを三次元映像シーケンスビットストリームに書き込むように構成されており、入力が前記補助情報ビットストリームと前記三次元映像シーケンスビットストリームで、出力が前記補助情報ビットストリームを含む三次元映像シーケンスビットストリームである補助情報ビットストリーム書き込みモジュールとを含み、再構築される三次元映像シーケンスにより一つの立体映像ペアを生成する処理を示すための前記三次元映像シーケンス補助情報は、前記立体映像ペアが前記三次元映像シーケンスのうちの最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスからなる立体映像ペアであること、または前記立体映像ペアが前記三次元映像シーケンスのうちの最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスとのいずれか一つと一つの合成した仮想視点映像シーケンスとにより構成された立体映像ペアであることを識別するための合成視点インディケーションと、前記三次元映像シーケンスにおける最小視点順位インデックスの視点が２番目小さい視点順位インデックスの視点の左側にあるか否かを識別するためのインディケーションであって、前記立体映像ペアにおける２つの視点の映像シーケンスの左右関係を示す、左視である最小視点順位インデックスの視点のインディケーションと、前記立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すためのシフティングサンプル数と、前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記仮想視点映像シーケンスを合成する際に採用する投影精度を示すためのレンダリング精度と、前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記三次元映像シーケンスにおける最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスのうち、前記立体映像ペアの中の１つの映像シーケンスとしての映像シーケンスを識別するための最小視点順位インデックスの視点の選択インディケーションと、前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記仮想視点映像シーケンスに対応する仮想視点の、前記三次元映像シーケンスにおける最小視点順位インデックスの視点と２番目小さい視点順位インデックスの視点から構成された直線上の位置を示すための仮想視点位置パラメータとの少なくとも１つを含む三次元映像シーケンス補助情報のエンコーディング装置を提供する。

前記補助情報ビットストリーム書き込みモジュールは、さらに、前記補助情報ビットストリーム中の一部または全部の情報を前記三次元映像シーケンスビットストリームの補足エンハンスメント情報に書き込むことと、前記補助情報ビットストリーム中の一部または全部の情報を前記三次元映像シーケンスビットストリームのビデオ・ユーザビリティ情報に書き込むことと、前記補助情報ビットストリーム中の一部または全部の情報を前記三次元映像シーケンスビットストリームのサブセットシーケンスパラメータ集合に書き込むこととのいずれか一つの方式により前記補助情報ビットストリームを前記三次元映像シーケンスビットストリームに書き込むように構成されていることが好ましい。

本発明のもう一つの形態によると、三次元映像シーケンスビットストリームから補助情報ビットストリームを抽出するように構成されており、入力が三次元映像シーケンスビットストリームで、出力が前記補助情報ビットストリームである補助情報ビットストリーム抽出モジュールと、前記補助情報ビットストリームをデコードして三次元映像シーケンス補助情報を取得するように構成されており、入力が前記補助情報ビットストリームで、出力が前記三次元映像シーケンス補助情報である補助情報ビットストリームデコーディングモジュールとを含み、再構築される三次元映像シーケンスにより一つの立体映像ペアを生成する処理を示すための前記三次元映像シーケンス補助情報は、前記立体映像ペアが前記三次元映像シーケンスのうちの最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスからなる立体映像ペアであること、または前記立体映像ペアが前記三次元映像シーケンスのうちの最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスとのいずれか一つと一つの合成した仮想視点映像シーケンスとにより構成された立体映像ペアであることを識別するための合成視点インディケーションと、前記三次元映像シーケンスにおける最小視点順位インデックスの視点が２番目小さい視点順位インデックスの視点の左側にあるか否かを識別するためのインディケーションであって、前記立体映像ペアにおける２つの視点の映像シーケンスの左右関係を示す、左視である最小視点順位インデックスの視点のインディケーションと、前記立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すためのシフティングサンプル数と、前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記仮想視点映像シーケンスを合成する際に採用する投影精度を示すためのレンダリング精度と、前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記三次元映像シーケンスにおける最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスのうち、前記立体映像ペアの中の１つの映像シーケンスとしての映像シーケンスを識別するための最小視点順位インデックスの視点の選択インディケーションと、前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記仮想視点映像シーケンスに対応する仮想視点の、前記三次元映像シーケンスにおける最小視点順位インデックスの視点と２番目小さい視点順位インデックスの視点から構成された直線上の位置を示すための仮想視点位置パラメータとの少なくとも１つを含む三次元映像シーケンス補助情報のデコーディング装置を提供する。

前記補助情報ビットストリーム抽出モジュールは、さらに、前記三次元映像シーケンスビットストリームの補足エンハンスメント情報から前記補助情報ビットストリーム中の一部または全部の情報を取得することと、前記三次元映像シーケンスビットストリームのビデオ・ユーザビリティ情報から前記補助情報ビットストリーム中の一部または全部の情報を取得することと、前記三次元映像シーケンスビットストリームのサブセットシーケンスパラメータ集合から前記補助情報ビットストリーム中の一部または全部の情報を取得することとのいずれか一つの方式により前記三次元映像シーケンスビットストリームから補助情報ビットストリームを抽出するように構成されていることが好ましい。

本発明のもう一つの形態によると、再構築される三次元映像シーケンスにより一つの立体映像ペアを生成することを示すための三次元映像シーケンス補助情報を含み、前記三次元映像シーケンス補助情報は、前記立体映像ペアが前記三次元映像シーケンスのうちの最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスからなる立体映像ペアであること、または前記立体映像ペアが前記三次元映像シーケンスのうちの最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスとのいずれか一つと一つの合成した仮想視点映像シーケンスとにより構成された立体映像ペアであることを識別するための合成視点インディケーションと、前記三次元映像シーケンスにおける最小視点順位インデックスの視点が２番目小さい視点順位インデックスの視点の左側にあるか否かを識別するためのインディケーションであって、前記立体映像ペアにおける２つの視点の映像シーケンスの左右関係を示す、左視である最小視点順位インデックスの視点のインディケーションと、前記立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すためのシフティングサンプル数と、前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記仮想視点映像シーケンスを合成する際に採用する投影精度を示すためのレンダリング精度と、前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記三次元映像シーケンスにおける最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスのうち、前記立体映像ペアの中の１つの映像シーケンスとしての映像シーケンスを識別するための最小視点順位インデックスの視点の選択インディケーションと、前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記仮想視点映像シーケンスに対応する仮想視点の、前記三次元映像シーケンスにおける最小視点順位インデックスの視点と２番目小さい視点順位インデックスの視点から構成された直線上の位置を示すための仮想視点位置パラメータとの少なくとも１つを含む三次元映像シーケンスの補助情報ビットストリームを提供する。

前記補助情報ビットストリームは、前記三次元映像シーケンスビットストリームの補足エンハンスメント情報に前記補助情報ビットストリーム中の一部または全部の情報が存在することと、前記三次元映像シーケンスビットストリームのビデオ・ユーザビリティ情報に前記補助情報ビットストリーム中の一部または全部の情報が存在することと、前記三次元映像シーケンスビットストリームのサブセットシーケンスパラメータ集合に前記補助情報ビットストリーム中の一部または全部の情報が存在することとのいずれか一つの方式により前記三次元映像シーケンスビットストリームに存在し、前記補助情報ビットストリームの構成として、前記合成視点インディケーションが前記最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスによって前記立体映像ペアが構成されることを示す場合、前記補助情報ビットストリームには、前記レンダリング精度と、最小視点順位インデックスの視点の選択インディケーションと、仮想視点位置パラメータとの三者に対応するビットが含まれておらず、前記合成視点インディケーションが前記最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスによって前記立体映像ペアが構成されることを示す場合、前記補助情報ビットストリームには、前記レンダリング精度と、最小視点順位インデックスの視点の選択インディケーションと、仮想視点位置パラメータとの三者の中の少なくとも１つに対応するビットが含まれていることが好ましい。

本発明において、三次元映像シーケンスビットストリームに補助情報を含ませることで、再構築される三次元映像シーケンスにより立体映像ペアを構築する場合、これらの補助情報を参照することができ、構築した立体映像ペアの表示効果をより良くして、既存技術において三次元映像シーケンスビットストリームに補助情報を含まないことによって構築した立体映像ペアの表示効果が悪いという技術課題を解決して、構築した立体映像の表示効果を向上させるという技術的効果を達成することができる。

以下に記載の図面は、本発明をさらに理解するために提供され、本願の一部を構成し、本発明の好適な実施例及びその説明は本発明を解釈するためのものであり、本発明を不当に限定するものではない。
本発明の実施例に係る三次元映像シーケンス補助情報のデコーディング方法の好適なフローチャート図である。 本発明の実施例に係る補助情報の取得の好適なフローチャート図である。 本発明の実施例に係る補助情報の三次元映像シーケンスビットストリームへの書き込みの好適なフローチャート図である。 本発明の実施例に係る三次元映像シーケンス補助情報のデコーディング装置の好適な構成ブロック図である。 本発明の実施例に係る三次元映像シーケンス補助情報のエンコーディング装置の好適な構成ブロック図である。 本発明の実施例に係る三次元映像シーケンス補助情報のエンコーディング装置の構成を示す図である。 本発明の実施例に係る三次元映像シーケンス補助情報のデコーディング装置の構成を示す図である。

以下、図面を参照しつつ実施例を結合して本発明を詳しく説明する。ここで、衝突しない限り、本願の実施例及び実施例に記載の特徴を互いに組み合わせることができる。

本発明の実施例は、好適な三次元映像シーケンス補助情報のデコーディング方法を提供する。図１に示すように、当該方法は以下のステップを含む。

ステップＳ１０２：三次元映像シーケンスビットストリームから立体映像ペアを構築するための補助情報を取得し、そのうち、補助情報は再構築される三次元映像シーケンスにより上記立体映像ペアを構築することを示すためのものであり、前記再構築される三次元映像シーケンスは三次元映像シーケンスビットストリームに対してデコーディングをして得られたものである。

ステップＳ１０４：取得した補助情報により立体映像ペアを構成する。

上記好適な一実施の形態において、三次元映像シーケンスビットストリームに補助情報を含ませることで、再構築される三次元映像シーケンスにより立体映像ペアを構築する場合、これらの補助情報を参照することができ、構築した立体映像ペアの表示効果をより良くして、既存技術において三次元映像シーケンスビットストリームに補助情報を含まないことによって構築した立体映像ペアの表示効果が悪いという技術課題を解決して、構築した立体映像の表示効果を向上させるという技術的効果を達成できる。

上記補助情報は、まず補助情報ビットストリームを生成し、それからこの補助情報ビットストリームを三次元映像シーケンスビットストリームに記入することに対して、補助情報をリカバリさせる際にも、まず補助情報ビットストリームを抽出しなければならない。好適な一実施の形態において、図２に示すように、三次元映像シーケンスビットストリームから立体映像ペアを構築するための補助情報を取得することは、
ステップＳ２０２：三次元映像シーケンスビットストリームから補助情報ビットストリームを抽出することと、
ステップＳ２０４：補助情報ビットストリームをデコードして補助情報を得ることとを含む。

三次元映像シーケンスビットストリームにより三次元映像シーケンスを再構築してから、立体映像ペアを構築するとき、再構築される三次元映像シーケンスにおける２つの視点の映像シーケンスをＡとＢにして、直接ＡとＢにより立体映像ペアを構築することができるし、まずＡとＢの少なくとも１つにより一つの仮想視点映像シーケンスＣを生成し、それからＡとＣにより立体映像ペアまたはＢとＣにより立体映像ペアを構築することもできる。補助情報に合成視点インディケーションを含まない場合、上記方法のほかに、三次元映像シーケンスにおける若干の視点により２つの仮想視点映像シーケンスＤとＥを生成し、それからＤとＥにより立体映像ペアを構築することもできる。

上記の三次元映像シーケンス補助情報のデコーディング方法がある以上、三次元映像シーケンス補助情報のエンコーディング方法もある。好適な一実施の形態において、三次元映像シーケンス補助情報のエンコーディング方法は、三次元映像シーケンスビットストリームの補助情報を三次元映像シーケンスビットストリームに書き込むことを含み、そのうち、補助情報は再構築される三次元映像シーケンスにより立体映像ペアを構築することを示すためのものであり、前記再構築される三次元映像シーケンスは三次元映像シーケンスビットストリームに対してデコーディングをして得られるものである。

図３に示すように、三次元映像シーケンスビットストリームの補助情報を三次元映像シーケンスビットストリームに書き込むことは、
ステップＳ３０２：補助情報を補助情報ビットストリームに符号化することと、
ステップＳ３０４：補助情報ビットストリームを三次元映像シーケンスビットストリームに書き込むこととを含む。

補助情報または補助情報ビットストリームは、三次元映像シーケンスビットストリームのようなエンコーディングまたはデコーディングに用いられる情報に含ませることができる。例えば、補助情報を三次元映像シーケンスビットストリームの、ビデオ・ユーザビリティ情報、補足エンハンスメント情報、及びサブセットシーケンスパラメータ集合の少なくとも一つに含ませてもよいが、これらに限らない。

上記各好適な実施の形態において、補助情報は、合成視点インディケーション、最小視点順位インデックスの視点の位置インディケーション、シフティングサンプル数、レンダリング精度、最小視点順位インデックスの視点の選択インディケーション、及び仮想視点位置パラメータの少なくとも一つを含むが、これらに限らない。以下、上記パラメータの詳しい機能や意味を説明する。

１）、合成視点インディケーションは、立体映像ペアに仮想視点映像シーケンスを含むか否かを示すためのものである。１つの立体映像ペアは最小視点順位インデックスの映像シーケンスと２番目小さい視点映像シーケンスのみにより構成されることができるし、上記２つの視点の中の１つの視点と１つの仮想視点により構成されることもできることが好ましく、２つの仮想視点から構成されてもよいことが好ましい。上記仮想視点は最小視点順位インデックスの映像シーケンスと２番目小さい視点映像シーケンスから合成されるものである。

２）最小視点順位インデックスの視点の位置インディケーションは、三次元映像シーケンスにおける２つの視点の映像シーケンスの間の左右関係を示すためのもので、即ち、最小視点順位インデックスの視点の位置インディケーションにより、最小視点順位インデックスの視点が左視点であり、他方の視点が右視点であることを示すことができる。言うまでもなく、逆になってもよく、即ち、最小視点順位インデックスの視点が右視点であることを示すこともできる。

３）シフティングサンプル数は、立体映像ペアにおける２つの視点の映像シーケンス画像を水平にシフトするサンプル数を示すためのものである。

４）レンダリング精度は、立体映像ペアに仮想視点映像シーケンスを含む場合、仮想視点映像シーケンスを合成する際に採用する投影精度を示すためのものである。

５）最小視点順位インデックスの視点の選択インディケーションは、立体映像ペアに仮想視点映像シーケンスを含む場合、最小視点順位インデックスの映像シーケンスと２番目小さい視点の映像シーケンスのうち、仮想視点映像シーケンスとは立体映像ペアを合成する映像シーケンスを識別するためのもので、即ち、当該最小視点順位インデックスの視点の選択ンディケーションにより、仮想視点と立体映像ペアを構成する映像シーケンスが最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスとのいずれであるかを知ることができる。

６）仮想視点位置パラメータは、立体映像ペアに仮想視点映像シーケンスを含む場合、仮想視点映像シーケンスに対応する仮想視点の、三次元映像シーケンスにおける最小視点順位インデックスの視点と２番目小さい視点順位インデックスの視点により構成した直線上の位置を示すためのものである。

好ましくは、補助情報に上記幾つかの補助情報のすべてを含まない場合、デコーディング側により立体映像ペアを構成する際に、含ませていないパラメータ情報について、所定のパラメータ数値を採用するか、または他の情報により最終的に採用されるパラメータ数値を決定することができる。

本発明の実施例によると、三次元映像シーケンスビットストリームにシフティングサンプル数という補助情報を含ませることについて説明する好適な実施例をさらに提供する。具体的には、シフティングサンプル数に対応する三次元映像シーケンス補助情報のデコーディング方法は、三次元映像シーケンスビットストリームから、再構築される三次元映像シーケンスにより構築された立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すためのシフティングサンプル数を取得することを含み、そのうち、再構築される三次元映像シーケンスは三次元映像シーケンスビットストリームをデコードしてから得られるものである。

それに応じて、三次元映像シーケンスビットストリームから、再構築される三次元映像シーケンスにより構築された立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すためのシフティングサンプル数を取得することは、
ステップＳ１：三次元映像シーケンスビットストリームから、シフティングサンプル数を含ませる補助情報ビットストリームを抽出することと、
ステップＳ２：補助情報ビットストリームをデコードしてシフティングサンプル数を得ることとを含むことができる。

シフティングサンプル数についての三次元映像シーケンス補助情報のエンコーディング方法は、シフティングサンプル数を三次元映像シーケンスビットストリームに書き込むことを含むことができ、そのうち、シフティングサンプル数は、再構築される三次元映像シーケンスにより構築された立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すためのもので、再構築される三次元映像シーケンスは三次元映像シーケンスビットストリームをデコードして得られるものである。

好適な一実施の形態において、シフティングサンプル数を前記三次元映像シーケンスビットストリームに書き込むことは、
ステップＳ１：シフティングサンプル数を補助情報ビットストリームに符号化することと、
ステップＳ２：シフティングサンプル数を含ませる補助情報ビットストリームを三次元映像シーケンスビットストリームに書き込むこととを含むことができる。

上記シフティングサンプル数は、前記三次元映像シーケンスビットストリームの、ビデオ・ユーザビリティ情報、補足エンハンスメント情報、及びサブセットシーケンスパラメータ集合の少なくとも１つに含ませることができるが、これらに限らない。

本実施例において、上記実施例及び好適な実施の形態を実現するための三次元映像シーケンス補助情報のデコーディング装置を提供する。すでに説明したことを繰り返して説明しない。以下に用いる術語「ユニット」または「モジュール」は所定の機能を実現できるソフトウェア及び／またはハードウェアの組み合わせである。以下の実施例に説明する装置は好ましくはソフトウェアにより実現されるが、ハードウェア、またはソフトウェアとハードウェアとの組み合わせによる実現も構想されるものである。図４は本発明の実施例に係る三次元映像シーケンス補助情報のデコーディング装置の好適な構成ブロック図である。図４に示すように、補助情報取得ユニット４０２を含み、以下、当該構成に対して説明する。

補助情報取得ユニット４０２は、三次元映像シーケンスビットストリームから、立体映像ペアを構築するための補助情報を取得するように構成されており、そのうち、補助情報は、再構築される三次元映像シーケンスにより前記立体映像ペアを構築することを示すためのものであり、再構築される三次元映像シーケンスは前記三次元映像シーケンスビットストリームをデコードして得られるものである。

好適な一実施の形態において、図４に示すように、補助情報取得ユニットは、
三次元映像シーケンスビットストリームから補助情報ビットストリームを抽出するように構成されている補助情報ビットストリーム抽出モジュール４０２２と、
補助情報ビットストリーム抽出モジュール４０２２とカップリングして、補助情報ビットストリームをデコードして補助情報を取得するように構成されている補助情報ビットストリームデコーディングモジュール４０２４とを含む。

本実施例において、さらに三次元映像シーケンス補助情報エンコーディング装置を提供する。図５に示すように、
三次元映像シーケンスビットストリームの補助情報を三次元映像シーケンスビットストリームに書き込むように構成されている補助情報書き込みユニット５０２を含み、前記補助情報は再構築される三次元映像シーケンスにより前記立体映像ペアを構築することを示すためのものであり、そのうち、前記再構築される三次元映像シーケンスは前記三次元映像シーケンスビットストリームをデコードして得られるものである。当該補助情報書き込みユニットは、補助情報を補助情報ビットストリームに符号化するように構成されている補助情報ビットストリーム生成モジュール５０２２と、補助情報ビットストリーム生成モジュール５０２２とカップリングし、補助情報ビットストリームを前記三次元映像シーケンスビットストリームに書き込むように構成されている補助情報ビットストリーム書き込みモジュール５０２４とを含む。

以下、幾つかの好適な実施の形態を結合して本発明の実施例についてさらに詳しく説明する。

三次元映像シーケンス補助情報は、再構築される三次元映像シーケンスにより、両眼立体視に適合する立体映像ペアを生成することを示すためのもので、少なくとも、合成視点インディケーション（ｓｙｎｔｈｅｓｉｚｅｄ ｖｉｅｗ ｉｎｄｉｃａｔｉｏｎ）Ａ、左視である最小視点順位インデックスの視点のインディケーションＢ（ｐｏｓｉｔｉｏｎ ｉｎｄｉｃａｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｔｈｅ ｖｉｅｗ ｗｉｔｈ ｍｉｎｉｍｕｍ ｖｉｅｗ ｏｒｄｅｒ ｉｎｄｅｘ ｂｅｉｎｇ ｌｅｆｔ ｖｉｅｗ Ｂ）、シフティングサンプル数Ｃ、レンダリング精度Ｄ、最小視点順位インデックスの視点の選択インディケーションＥ、及び仮想視点位置パラメータ（ｐｏｓｉｔｉｏｎ ｐａｒａｍｅｔｅｒ ｏｆ ａ ｓｙｎｔｈｅｓｉｚｅｄ ｖｉｅｗ）Ｆという６つの補助情報サブ情報の一つを含むことが好ましい。

合成視点インディケーションＡは、以下の（ａ１）と（ａ２）のいずれか一つを識別するためのものである。
（ａ１）三次元映像シーケンスのうちの最小視点順位インデックス（例えば、ＭＶＣにおけるｖｉｅｗ ｏｒｄｅｒ ｉｎｄｅｘ、ＶＯＩｄｘと略称）の映像シーケンス（例えば、ＶＯＩｄｘ＝０の視点の映像シーケンス）と２番目小さい視点順位インデックスの映像シーケンス（例えば、ＶＯＩｄｘ＝１の視点の映像シーケンス）により、両眼立体視に適する立体映像ペアを構成する。
（ａ２）三次元映像シーケンスのうちの最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスのいずれか一つと、１つの合成した仮想視点映像シーケンスとにより立体映像ペアを構成する。そのうち、当該仮想視点映像シーケンスは、最小視点順位インデックスの映像シーケンス及びその深度シーケンス、並びに２番目小さい視点順位インデックスの映像シーケンス及びその深度シーケンスの少なくとも一つにより、ＤＩＢＲに基づいた視点合成技術で合成される。合成視点インディケーションＡは、０と１との２つの値を含むシンタックスエレメントに数値化されることができ、０と１はそれぞれ（ａ１）と（ａ２）を表す、またはそれぞれ（ａ２）と（ａ１）を表す。

補助情報に合成視点インディケーションＡを含ませない場合、当該立体映像ペアが複数の映像シーケンスで合成された２つの仮想視点により構成されることを示すこともできることが好ましい。

左視である最小視点順位インデックスの視点のインディケーションＢは、以下の（ｂ１）と（ｂ２）のいずれか一つを識別するためのものである。
（ｂ１）三次元映像シーケンスにおいて、最小視点順位インデックスの視点が２番目小さい視点順位インデックスの視点の左側にある；
（ｂ２）三次元映像シーケンスにおいて、最小視点順位インデックスの視点が２番目小さい視点順位インデックスの視点の右側にある。

そのうち、左視である最小視点順位インデックスの視点のインディケーションＢは、立体映像ペアにおける２つの視点の映像シーケンスの左右関係を示すためのものである。例えば、立体映像ペアが最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスから構成される場合（当該構成情報は上記合成視点インディケーションＡにより示されることができるし、エンコーディング側とデコーディング側とにより予め約束されることもできる）には、Ｂが（ｂ１）を示す場合に、立体映像ペアの左視点映像シーケンスが最小視点順位インデックスの映像シーケンスで、右視点映像シーケンスが２番目小さい視点順位インデックスの映像シーケンスであり、Ｂが（ｂ２）を示す場合に、立体映像ペアの左視点映像シーケンスが２番目小さい視点順位インデックスの映像シーケンスで、右視点映像シーケンスが最小視点順位インデックスの映像シーケンスである。また、例えば、立体映像ペアが最小視点順位インデックスの映像シーケンスと、一つの合成した仮想視点映像シーケンスから構成される場合には、Ｂが（ｂ１）を示す場合に、立体映像ペアの左視点映像シーケンスが最小視点順位インデックスの映像シーケンスで、右視点映像シーケンスが仮想視点映像シーケンスであり、Ｂが（ｂ２）を示す場合に、立体映像ペアの左視点映像シーケンスが仮想視点映像シーケンスで、右視点映像シーケンスが最小視点順位インデックスの映像シーケンスである。さらに、例えば立体映像ペアが２番目小さい視点順位インデックスの映像シーケンスと、一つの合成した仮想視点映像シーケンスから構成される場合には、Ｂが（ｂ１）を示す場合に、立体映像ペアの左視点映像シーケンスが仮想視点映像シーケンスで、右視点映像シーケンスが２番目小さい視点順位インデックスの映像シーケンスであり、Ｂが（ｂ２）を示す場合に、立体映像ペアの左視点映像シーケンスが２番目小さい視点順位インデックスの映像シーケンスで、右視点映像シーケンスが仮想視点映像シーケンスである。左視である最小視点順位インデックスの視点のインディケーションＢは、０と１との２つの値を含むシンタックスエレメントに数値化されることができ、０と１がそれぞれ（ｂ２）と（ｂ１）を表す、またはそれぞれ（ｂ１）と（ｂ２）を表す。

シフティングサンプル数Ｃは、立体映像ペアにおける左右２つの視点の映像シーケンス画像（左視点画像と右視点画像と略称）に対して水平シフトをするサンプル数を示すためのものである。シフティングサンプル数Ｃは、−２^ｎ〜２^ｎ−１の間（−２^ｎと２^ｎ−１を含む）（ｎは正整数）の若干の整数を含むシンタックスエレメントに数値化されることができることが好ましく、その数値をＣ^＊とする。例えば、ｎ＝５またはｎ＝６またはｎ＝７またはｎ＝１０である。ただし、上記挙げたｎの値は本発明をより分かりやすく説明するためのもので、本発明を限定するものではない。ｎは他の値を採用しても良い。例えば、ｎ＝１３。Ｃ^＊が正数である場合、左視点サンプル数が右視点画像に対して左（または右）へＣ^＊個のサンプル分水平シフトすることを表し、Ｃ^＊が負の数である場合、左視点画像が右視点画像に対して右（または左）へ−Ｃ^＊個のサンプル分水平シフトすることを表す。シフティングサンプル数Ｃも０〜２^ｎ−１の間（０と２^ｎ−１を含む）の若干の整数を含むシンタックスエレメントに数値化されることができ、その値をＣ’にする。Ｃ’がＫ（０≦Ｋ≦２^ｎ−１、Ｋは整数）以上である場合、左視点画像が右視点画像に対して左（または右）へＣ’−Ｋ個のサンプル分水平シフトすることを表し、Ｃ’がＫより小さい場合、左視点画像が右視点画像に対して右（または左）へＫ−Ｃ’個のサンプル分水平シフトすることを表す。

レンダリング精度Ｄは、立体映像ペアに一つの合成した仮想視点映像シーケンスを含む場合、合成仮想視点映像シーケンスの採用する投影精度を示すためのものである。レンダリング精度Ｄは、０と１との２つの値を含むシンタックスエレメントに数値化されることができることが好ましく、０と１はそれぞれ全画素投影精度と１／２画素投影精度を表す。レンダリング精度Ｄは、０、１、２の３つの値を含むシンタックスエレメントに数値化されることもでき、０、１、２はそれぞれ全画素投影精度、１／２画素投影精度、及び１／４画素投影精度を表す。

最小視点順位インデックスの視点の選択インディケーションＥは、以下の（ｅ１）と（ｅ２）のいずれか一つを識別するためのものである。
（ｅ１）立体映像ペアに一つの合成した仮想視点映像シーケンスを含む場合、三次元映像シーケンスのうち、最小視点順位インデックスの映像シーケンスを立体映像ペアにおける他方の映像シーケンスとし、最小視点順位インデックスの映像シーケンスに対応する視点を推奨カメラ視点と称する；
（ｅ２）立体映像ペアに一つの合成した仮想視点映像シーケンスを含む場合、三次元映像シーケンスのうち、２番目小さい視点順位インデックスの映像シーケンスを立体映像ペアにおける他方の映像シーケンスとし、２番目小さい視点順位インデックスの映像シーケンスに対応する視点を推奨カメラ視点と称する。

最小視点順位インデックスの視点の選択インディケーションＥは、０と１との２つの値を含むシンタックスエレメントに数値化されることができることが好ましく、０と１は、それぞれ（ｅ２）と（ｅ１）を表す、またはそれぞれ（ｅ１）と（ｅ２）を表す。

仮想視点位置パラメータＦは、立体映像ペアに一つの合成した仮想視点映像シーケンスを含む場合、仮想視点映像シーケンスに対応する仮想視点の、三次元映像シーケンスにおける最小視点順位インデックスの視点と２番目小さい視点順位インデックスの視点とにより構成した直線上の位置を示すためのものである。好ましくは、仮想視点位置パラメータＦはｐ〜ｑの間（ｐとｑを含む）のＷ個（Ｗ≦ｑ−ｐ＋１、Ｗは整数）の整数を含むシンタックスエレメントに数値化されることができ、その値をＦ’にし、そのうち、ｐ、ｑは非負整数で、且つｐ＜ｑである。例えば、ｐ＝０、ｑ＝７、またはｐ＝１、ｑ＝８、またはｐ＝９、ｑ＝１２、またはｐ＝０、ｑ＝３１である。仮想視点は、最小視点順位インデックスの視点と２番目小さい視点順位インデックスの視点により構成された直線にあるとともに、推奨カメラ視点（または最小視点順位インデックスの視点）との距離が（Ｆ’＋ｋ）×Ｌ／Ｇの２つの位置のいずれか一つであり、Ｌは最小視点順位インデックスの視点と２番目小さい視点順位インデックスの視点により構成された線分の長さ（即ちこの２つの視点間の距離）を表し、Ｋは整数である。例えば、ｋ＝０またはｋ＝−１またはｋ＝１またはｋ＝−４またはｋ＝４、Ｇは正整数で、例えば、Ｇ＝４またはＧ＝８またはＧ＝１６またはＧ＝１５またはＧ＝２７である。例えば、最小視点順位インデックスの視点と、２番目小さい視点順位インデックスの視点との距離の和が小さい方にあるというように仮想視点は常に上記２つの位置の中のいずれか一つの位置にあることを約束することができるし、三次元映像シーケンスビットストリームから上記２つの位置の中のいずれの位置であるかを示すシンタックスエレメントを取得することで、仮想視点の位置を確定することもできる。

以下、具体的な好適な実施の形態を結合して、本発明の三次元映像シーケンス補助情報のエンコーディング方法、デコーディング方法、対応する装置、及びビットストリームに関する具体的な実施の形態を詳しく説明する。

好適な実施の形態１
本好適な実施の形態は、三次元映像シーケンス補助情報のエンコーディング方法に関する。本実施例では、一つの三次元映像シーケンスビットストリーム（三次元映像シーケンスを符号化することで得られる）に対応する三次元映像シーケンス補助情報には、合成視点インディケーションＡ、左視である最小視点順位インデックスの視点のインディケーションＢ、シフティングサンプル数Ｃ、レンダリング精度Ｄ、最小視点順位インデックスの視点の選択インディケーションＥ、仮想視点位置パラメータＦなどの６つの補助情報サブ情報のうちのＰ（１≦Ｐ≦６、Ｐは整数）個の補助情報サブ情報が含まれている。これらのＰ個の補助情報サブ情報を、それぞれＰ個のシンタックスエレメントに数値化して、補助情報ビットストリームとして符号化する。三次元映像シーケンス補助情報の構成は様々な組み合わせがあり、６つの補助情報サブ情報の任意の組み合わせの一つであってもよい。例えば、
組み合わせ１：Ａ、
組み合わせ２：Ｂ、
組み合わせ３：Ｃ、
組み合わせ４：Ｄ、
組み合わせ５：Ｅ、
組み合わせ６：Ｆ、
組み合わせ７：Ｂ、Ｃ
組み合わせ８：Ａ、Ｆ、
組み合わせ９：Ａ、Ｂ、Ｆ、
組み合わせ１０：Ａ、Ｃ、Ｆ、
組み合わせ１１：Ａ、Ｂ、Ｅ、Ｆ、
組み合わせ１２：Ａ、Ｂ、Ｃ、Ｆ、
組み合わせ１３：Ａ、Ｂ、Ｃ、Ｅ、Ｆ、
組み合わせ１４：Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ。

補助情報ビットストリームを三次元映像シーケンスビットストリームに書き込むことで、補助情報ビットストリームを含む三次元映像シーケンスビットストリームを生成する。

好適な実施の形態２
本好適な実施の形態は、三次元映像シーケンス補助情報のエンコーディング方法に関する。本実施例では、一つの三次元映像シーケンスビットストリームに対応する三次元映像シーケンス補助情報には、合成視点インディケーションＡ、左視である最小視点順位インデックスの視点のインディケーションＢ、シフティングサンプル数Ｃ、レンダリング精度Ｄ、最小視点順位インデックスの視点の選択インディケーションＥ、仮想視点位置パラメータＦなどの６つの補助情報サブ情報のうちのＰ（２≦Ｐ≦６、Ｐは整数）個の補助情報サブ情報が含まれている。これらのＰ個の補助情報サブ情報を、Ｑ（１≦Ｑ≦Ｐ、Ｑは整数）グループにグルーピングし、Ｑｍ（１≦ｍ≦Ｑ、ｍは整数）にして、Ｑグループのサブ情報には、様々な構成形式がある。例えば、以下の組み合わせのいずれか一つである。
組み合わせ１：｛Ａ、Ｄ｝、｛Ｂ｝、｛Ｃ｝（即ちＰ＝４、Ｑ＝３、そのうち、ＡとＤは１つのグループで、Ｂは１つのグループで、Ｃは１つのグループである、以下も同様）、
組み合わせ２：｛Ａ、Ｄ｝、｛Ｂ、Ｃ、Ｅ、Ｆ｝、
組み合わせ３：｛Ａ、Ｄ｝、｛Ｂ｝、｛Ｃ｝、｛Ｅ｝、｛Ｆ｝、
組み合わせ４：｛Ａ、Ｂ｝、Ｃ、｛Ｄ、Ｆ、Ｅ｝、
組み合わせ５：｛Ｂ、Ｃ｝
組み合わせ６：｛Ａ、Ｂ、Ｆ｝、｛Ｃ｝、｛Ｄ｝、｛Ｅ｝。

それぞれのグループにおけるすべての補助情報サブ情報を共同で１つのシンタックスエレメントに数値化する（１つのグループに１つの補助情報サブ情報しかない場合、それを独自で１つのシンタックスエレメントに数値化する）ことで、Ｑ個のシンタックスエレメントが得られる。上記組み合わせ３（｛Ａ、Ｄ｝、｛Ｂ｝、｛Ｃ｝、｛Ｅ｝、｛Ｆ｝）を例として説明すると、合成視点インディケーションＡとレンダリング精度Ｄとが１グループで、それらを共同で０、１、２、３の４つの値を含むシンタックスエレメントに数値化して、そのうち、０は合成視点インディケーションＡが（ａ１）を示す、１は合成視点インディケーションＡが（ａ２）を示し且つレンダリング精度Ｄが全画素投影精度を示す、２は合成視点インディケーションＡが（ａ２）を示し且つレンダリング精度Ｄが１／２画素投影精度を示す、３は合成視点インディケーションＡが（ａ２）を示し且つレンダリング精度Ｄが１／４画素投影精度を示すことを表す。Ｂ、Ｃ、Ｅ、Ｆはそれぞれ独自で一つのシンタックスエレメントに数値化される。その後、Ｑ個のシンタックスエレメントを補助情報ビットストリームに符号化する。

その後、補助情報ビットストリームを三次元映像シーケンスビットストリームに書き込むことで、補助情報ビットストリームを含む三次元映像シーケンスビットストリームが生成される。その処理方式は様々があるが、少なくとも以下の処理方式のいずれか一つを含む。

方式１：当該補助情報ビットストリームをすべて補足エンハンスメント情報（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩと略称）中の１つのＳＥＩメッセージ（例えば、Ｈ．２６４／ＡＶＣ基準のｓｅｉ＿ｍｅｓｓａｇｅ（ ）シンタックスユニット）に書き込み、当該ＳＥＩメッセージのｐａｙｌｏａｄＴｙｐｅは４６より大きい整数（例えば５１又は５２）で、ｐａｙｌｏａｄＳｉｚｅはＮ個のバイト（例えば０＜Ｎ＜５、Ｎは整数）である。補助情報ビットストリームの長さが整数個のバイトではない場合、補助情報ビットストリームの最後にビットを充填し、このＳＥＩメッセージの長さを整数個のバイトになるようにする。

方式２：補助情報ビットストリームをすべてビデオ・ユーザビリティ情報（ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍｓｔｉｏｎ、ＵＶＩと略称、例えばＨ．２６４／ＡＶＣ基準のｖｕｉ＿ｐａｒａｍｅｔｅｒｓ（ ）シンタックスユニット）に書き込む。

方式３：補助情報ビットストリームをすべてサブセットシーケンスパラメータ集合（ｓｕｂｓｅｔ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ｓｕｂｓｅｔ ＳＰＳと略称、例えばＨ．２６４／ＡＶＣ基準のｓｕｂｓｅｔ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（ ）シンタックスユニット）に書き込む。

方式４：Ｑが１を超える場合、補助情報ビットストリームを、Ｋ（０＜Ｋ＜Ｑ、Ｋは整数）個のシンタックスエレメントを含むビットストリーム１と、他のＱ−Ｋ個のシンタックスエレメントを含むビットストリーム２との２つの部分に分け、ビットストリーム１をＶＵＩ、ＳＥＩ、ｓｕｂｓｅｔ ＳＰＳの三者のいずれか一つ（例えばｓｕｂｓｅｔ ＳＰＳ）に、ビットストリーム２をＶＵＩ、ＳＥＩ、ｓｕｂｓｅｔ ＳＰＳの三者の残りのいずれか一つ（例えばＳＥＩ）に書き込む。

好適な実施の形態３
本好適な実施の形態は、三次元映像シーケンス補助情報のエンコーディング方法に関する。本実施例では、一つの三次元映像シーケンスビットストリームに対応する三次元映像シーケンス補助情報には、少なくとも合成視点インディケーションＡが含まれている。合成視点インディケーションＡが上記（ａ１）を示す場合、三次元映像シーケンス補助情報には、さらに、左視である最小視点順位インデックスの視点のインディケーションＢ、シフティングサンプル数Ｃなどの２つの補助情報サブ情報のうちのＵ−１個（１≦Ｕ≦３、Ｕは整数）の補助情報サブ情報が含まれており、即ち、この時三次元映像シーケンス補助情報に合計Ｕ個の補助情報サブ情報が含まれている。合成視点インディケーションＡが上記（ａ２）を示す場合、三次元映像シーケンス補助情報には、さらに、左視である最小視点順位インデックスの視点のインディケーションＢ、シフティングサンプル数Ｃ、レンダリング精度Ｄ、最小視点順位インデックスの視点の選択インディケーションＥ、仮想視点位置パラメータＦなどの５つの補助情報サブ情報のうちのＶ−１（１≦Ｖ≦６、Ｖは整数）個の補助情報サブ情報が含まれており、即ちこの時、三次元映像シーケンス補助情報に合計Ｖ個の補助情報サブ情報が含まれている。三次元映像シーケンス補助情報の構成は様々な組み合わせがあり、Ａを含み、且つＢ、Ｃなどの２つの補助サブ情報の中のＵ−１個（Ａが上記（ａ１）を示す場合、以下は同様）の補助情報サブ情報を含む任意の組み合わせの一つであってもよいし、または、Ａを含み、且つＢ、Ｃ、Ｄ、Ｅ、Ｆなどの５つの補助サブ情報の中のＶ−１個（Ａが上記（ａ２）を示す場合、以下は同様）の補助情報サブ情報を含む任意の組み合わせの一つであってもよい。例えば、
組み合わせ１：Ａが（ａ１）を示す場合、Ａ、Ｂ、Ｃ（即ちＵ＝３）であり、Ａが（ａ２）を示す場合、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ（即ちＶ＝６）である。
組み合わせ２：Ａが（ａ１）を示す場合、Ａ、Ｂ、Ｃであり、Ａが（ａ２）を示す場合、Ａ、Ｂ、Ｃ、Ｅ、Ｆである。
組み合わせ３：Ａが（ａ１）を示す場合、Ａ、Ｂ、Ｃであり、Ａが（ａ２）を示す場合、Ａ、Ｂ、Ｃ、Ｆである。
組み合わせ４：Ａが（ａ１）を示す場合、Ａ、Ｂであり、Ａが（ａ２）を示す場合、Ａ、Ｂ、Ｅ、Ｆである。
組み合わせ５：Ａが（ａ１）を示す場合、Ａ、Ｂであり、Ａが（ａ２）を示す場合、Ａ、Ｂ、Ｆである。
組み合わせ６：Ａが（ａ１）を示す場合、Ａであり、Ａが（ａ２）を示す場合、Ａ、Ｄ、Ｆである。
組み合わせ７：Ａが（ａ１）を示す場合、Ａであり、Ａが（ａ２）を示す場合、Ａ、Ｆである。
組み合わせ８：Ａが（ａ１）を示す場合、Ａ、Ｃであり、Ａが（ａ２）を示す場合、Ａ、Ｃ、Ｆである。
組み合わせ９：Ａが（ａ１）を示す場合、Ａ、Ｃであり、Ａが（ａ２）を示す場合、Ａ、Ｅである。

まず、当該三次元映像シーケンスビットストリームに対応する三次元映像シーケンス補助情報を補助情報ビットストリームに符号化し、これは、Ｕ個またはＶ個の補助情報サブ情報をそれぞれＵ個またはＶ個のシンタックスエレメントに数値化して、このＵ個またはＶ個のシンタックスエレメントを補助情報ビットストリームに符号化する。

それから、補助情報ビットストリームを三次元映像シーケンスビットストリームに書き込むことで、補助情報ビットストリームを含む三次元映像シーケンスビットストリームを生成する。三次元映像シーケンスビットストリームに書き込む処理方式は様々あるが、少なくとも以下のいずれか１つの処理方式を含む。

方式１：ＶＵＩ（例えば、Ｈ．２６４／ＡＶＣ基準のｖｕｉ＿ｐａｒａｍｅｔｅｒｓ（）シンタックスユニット）に、三次元映像シーケンスビットストリームに補助情報ビットストリームが存在することを示すシンタックスエレメントＨ１に対応するコードワードを書き込み、Ｈ１は０と１の２つの値を含む。Ｈ１が１（または０）に設定される場合、補助情報ビットストリームをすべてＶＵＩ（Ｈ１に対応するコードワードの後ろにある）に書き込む。一方、Ｈ１が０（または１）に設定される場合、補助情報ビットストリームをＶＵＩに書き込まない。

方式２：ｓｕｂｓｅｔ ＳＰＳ（例えば、Ｈ．２６４／ＡＶＣ基準のｓｕｂｓｅｔ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（ ）シンタックスユニット）に、三次元映像シーケンスビットストリームに補助情報ビットストリームが存在することを示すシンタックスエレメントＨ２に対応するコードワードを書き込み、Ｈ２は０と１との２つの値がある。Ｈ２が１（または０）に設定される場合、補助情報ビットストリームをすべてｓｕｂｓｅｔ ＳＰＳ（Ｈ２に対応するコードワードの後ろにある）に書き込む。その一方、Ｈ２が０（または１）に設定される場合、補助情報ビットストリームをｓｕｂｓｅｔ ＳＰＳに書き込まない。

方式３：補助情報ビットストリームをすべてｓｕｂｓｅｔ ＳＰＳにおけるｍｖｃ＿ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ＿ｅｘｔｅｎｓｉｏｎ（ ）シンタックスユニットに書き込む。

方式４：Ａが（ａ１）を示す場合、補助情報ビットストリームを、Ｋ（０＜Ｋ＜Ｕ、Ｋは整数）個の上記シンタックスエレメントを含むビットストリーム１と、その他のＵ−Ｋ個の上記シンタックスエレメントを含むビットストリーム２とに分け、ビットストリーム１をＵＶＩ、ＳＥＩ、ｓｕｂｓｅｔ ＳＰＳという３つのシンタックスユニットのうちのいずれか一つ（例えば、ｓｕｂｓｅｔ ＳＰＳ）に書き込み、ビットストリーム２を、ＶＵＩ、ＳＥＩ、ｓｕｂｓｅｔ ＳＰＳという３つのシンタックスユニットのうち、ビットストリーム１が所在するシンタックスユニット以外のもう一つのシンタックスユニット（例えば、ＶＵＩ）に書き込む。Ａが（ａ２）を示す場合、補助情報ビットストリームを、Ｊ（０＜Ｊ＜Ｖ、Ｊは整数）個の上記シンタックスエレメントを含むビットストリーム１と、残りのＶ−Ｊ個の上記シンタックスエレメントを含むビットストリーム２との２つの部分に分け、ビットストリーム１をＵＶＩ、ＳＥＩ、ｓｕｂｓｅｔ ＳＰＳの中のいずれか一つ（例えば、ｓｕｂｓｅｔ ＳＰＳ）に書き込み、ビットストリーム２をＵＶＩ、ＳＥＩ、ｓｕｂｓｅｔ ＳＰＳのうち、ビットストリーム１が所在するシンタックスユニット以外のもう一つのシンタックスユニット（例えば、ＶＵＩ）に書き込む。

好適な実施の形態４
本好適な実施の形態は、三次元映像シーケンス補助情報のデコーディング方法に関する。本実施例では、一つの三次元映像シーケンスの補助情報ビットストリームに対応する三次元映像シーケンス補助情報には、仮想視点インディケーションＡと、左視である最小視点順位インデックスの視点のインディケーションＢ、シフティングサンプル数Ｃ、レンダリング精度Ｄ、最小視点順位インデックスの視点の選択インディケーションＥ、仮想視点位置パラメータＦなどの６つの補助情報サブ情報のうちのＰ（１≦Ｐ≦６、Ｐは整数）個の補助情報サブ情報が含まれている。補助情報ビットストリームには、これらのＰ個の補助情報サブ情報に対応するＰ個のシンタックスエレメントが含まれている。

まず、三次元映像シーケンスビットストリームから補助情報ビットストリームを抽出する。それから、補助情報ビットストリームをデコードして三次元映像シーケンス補助情報が得られる。例えば、エンコーディング・デコーディング側の約束した各シンタックスエレメントの、補助情報ビットストリームにおける順番、コードワードタイプに基づき、補助情報ビットストリームをＰ個のコードワードに分割し、これらのコードワード対してデコーディングをしてＰ個のシンタックスエレメントを得ることにより、Ｐ個の補助情報サブ情報をリカバリして、このＰ個の補助情報サブ情報により構成した三次元映像シーケンス補助情報を得る。

好適な実施の形態５
本好適な実施の形態は、三次元映像シーケンス補助情報のデコーディング方法に関する。本実施例において、一つの三次元映像シーケンスの補助情報ビットストリームに対応する三次元映像シーケンス補助情報には、合成視点インディケーションＡと、左視である最小視点順位インデックスの視点のインディケーションＢ、シフティングサンプル数Ｃ、レンダリング精度Ｄ、最小視点順位インデックスの視点の選択インディケーションＥ、仮想視点位置パラメータＦなどの６つの補助情報サブ情報のうちのＰ（２≦Ｐ≦６、Ｐは整数）個の補助情報サブ情報が含まれている。補助情報ビットストリームには、これらのＰ個の補助情報サブ情報に対応するＱ個のシンタックスエレメントが含まれており、そのうち、少なくとも１つのシンタックスエレメントが複数の（２つ以上）補助情報サブ情報に対応する。補助情報ビットストリームの長さはＲ個のビットで、ＲはこのＱ個のシンタックスエレメントに対応するコードワード長さの合計である。

まず、三次元映像シーケンスビットストリームから補助情報ビットストリームを抽出する。その処理方式は様々あるが、少なくとも以下の処理方式のいずれか一つを含む。

方式１：ＶＵＩ（例えば、Ｈ．２６４／ＡＶＣ基準のｖｕｉ＿ｐａｒａｍｅｔｅｒｓ（ ）シンタックスユニット）から、三次元映像シーケンスビットストリームに補助情報ビットストリームが存在することを示すシンタックスエレメントＨ１を抽出し、Ｈ１は０と１との２つの値を含む。Ｈ１が１（または０）である場合、ＶＵＩにおける、Ｈ１に対応するコードワードの後のビットストリームからＲ個のビットを読み取り、前記補助情報ビットストリームを抽出する。逆に、Ｈ１が０（または１）である場合、ＶＵＩビットストリームから前記補助情報ビットストリームを抽出しない。

方式２：ｓｕｂｓｅｔ ＳＰＳ（例えば、Ｈ．２６４／ＡＶＣ基準のｓｕｂｓｅｔ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（ ）シンタックスユニット）から三次元映像シーケンスビットストリームに補助情報ビットストリームが存在することを示すシンタックスエレメントＨ２を抽出し、Ｈ２は０と１との２つの値を含む。Ｈ２が１（または０）である場合、ｓｕｂｓｅｔ ＳＰＳにおける、Ｈ２に対応するコードワードの後のビットストリームからＲ個のビットを読み取り、前記補助情報ビットストリームを抽出する。逆に、Ｈ２が０（または１）である場合、ｓｕｂｓｅｔ ＳＰＳから補助情報ビットストリームを抽出しない。

方式３：Ｑが１より大きい場合、ＶＵＩ、ＳＥＩ、ｓｕｂｓｅｔ ＳＰＳのいずれか一つ（例えば、ＶＵＩ）から、Ｋ（０＜Ｋ＜Ｑ、Ｋは整数）個の上記シンタックスエレメントを含む補助情報ビットストリームの第１部分を抽出するとともに、ＶＵＩ、ＳＥＩ、ｓｕｂｓｅｔ ＳＰＳの残りの両者のいずれか一つ（例えば、ＳＥＩ）から、残りのＱ−Ｋ（０＜Ｋ＜Ｑ、Ｋは整数）個の上記シンタックスエレメントを含む補助情報ビットストリームの第２部分を抽出する。

その後、補助情報ビットストリームをデコードして、三次元映像シーケンス補助情報を取得する。

好適な実施の形態６
本好適な実施の形態は、三次元映像シーケンス補助情報のデコーディング方法に関する。本実施例において、一つの三次元映像シーケンスの補助情報ビットストリームに対応する三次元映像シーケンス補助情報には、少なくとも合成視点インディケーションＡが含まれている。合成視点インディケーションＡが上記（ａ１）を示す場合、三次元映像シーケンス補助情報には、さらに、左視である最小視点順位インデックスの視点のインディケーションＢ、シフティングサンプル数Ｃなどの２つの補助情報サブ情報のうちのＵ−１個（１≦Ｕ≦３、Ｕは整数）の補助情報サブ情報が含まれている。この時、補助情報ビットストリームにはＵ個の補助情報サブ情報に対応するＵ個のシンタックスエレメントが含まれ、補助情報ビットストリームの長さはＲＵ個のビットで、ＲＵは上記Ｕ個のシンタックスエレメントに対応するコードワード長さの合計である。合成視点インディケーションＡが上記（ａ２）を示す場合、三次元映像シーケンス補助情報には、さらに左視である最小視点順位インデックスの視点のインディケーションＢ、シフティングサンプル数Ｃ、レンダリング精度Ｄ、最小視点順位インデックスの視点の選択インディケーションＥ、仮想視点位置パラメータＦなどの５つの補助情報サブ情報のうちのＶ−１（１≦Ｖ≦６、Ｖは整数）個が含まれている。この時、補助情報ビットストリームには、このＶ個の補助情報サブ情報に対応するＶ個のシンタックスエレメントが含まれ、補助情報ビットストリームの長さはＲＶ個のビットで、ＲＶは上記Ｖ個のシンタックスエレメントに対応するコードワード長さの合計である。

まず、三次元映像シーケンスビットストリームから補助情報ビットストリームを抽出する。その処理方式は様々あるが、少なくとも以下の処理方式のいずれか一つを含む。

方式１：ＳＥＩにおける１つのＳＥＩメッセージ（例えば、Ｈ．２６４／ＡＶＣ基準のｓｅｉ＿ｍｅｓｓａｇｅ（ ）シンタックスユニット）から前記補助情報ビットストリームを抽出し、当該ＳＥＩメッセージのｐａｙｌｏａｄＴｙｐｅは４６より大きい整数（例えば、５１または５２）で、ｐａｙｌｏａｄＳｉｚｅはＮ個のバイト（例えば、０＜Ｎ＜５、Ｎは整数）である。当該ＳＥＩメッセージからＲＵまたはＲＶ個のビットを読み取り、補助情報ビットストリームを抽出する。

方式２：ＶＵＩ（例えば、Ｈ．２６４／ＡＶＣ基準のｖｕｉ＿ｐａｒａｍｅｔｅｒｓ（ ）シンタックスユニット）からＲＵまたはＲＶ個のビットを読み取り、補助情報ビットストリームを抽出する。

方式３：ｓｕｂｓｅｔ ＳＰＳ（例えば、Ｈ．２６４／ＡＶＣ基準のｓｕｂｓｅｔ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（ ）シンタックスユニット）からＲＵまたはＲＶ個のビットを読み取り、補助情報ビットストリームを抽出する。

方式４：ｓｕｂｓｅｔ ＳＰＳのｍｖｃ＿ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ＿ｅｘｔｅｎｓｉｏｎ（ ）シンタックスユニットからＲＵまたはＲＶ個のビットを読み取り、補助情報ビットストリームを抽出する。

その後、補助情報ビットストリームをデコードし、三次元映像シーケンス補助情報を取得する。

好適な実施の形態７
本好適な実施の形態は、三次元映像シーケンス補助情報のエンコーディング装置に関する。図６は、三次元映像シーケンス補助情報のエンコーディング装置の実施例の構造を示す図である。当該装置は、三次元映像シーケンス補助情報を補助情報ビットストリームに符号化するための補助情報ビットストリーム生成モジュールと、補助情報ビットストリームを三次元映像シーケンスビットストリームに書き込むための補助情報ビットストリーム書き込みモジュールとを含む。以下、この２つのモジュールについて詳しく説明する。

１）補助情報ビットストリーム生成モジュールは、上記６つの補助情報サブ情報のうちの１つまたは複数の補助情報サブ情報を含む上記三次元映像シーケンス補助情報がその入力で、上記補助情報ビットストリームがその出力であり、それが果たす機能や実施の形態は、上記三次元映像シーケンス補助情報のエンコーディング方法において、一つの三次元映像シーケンスビットストリームに対応する三次元映像シーケンス補助情報を補助情報ビットストリームに符号化する機能や実施の形態と同様である。

２）補助情報ビットストリーム書き込みモジュールは、上記三次元映像シーケンス補助情報ビットストリームと、上記三次元映像シーケンス補助情報を含まない三次元映像シーケンスビットストリームがその入力で、上記三次元映像シーケンス補助情報ビットストリームを含む三次元映像シーケンスビットストリームがその出力であり、それが果たす機能や実施の形態は、上記三次元映像シーケンス補助情報のエンコーディング方法において、前記補助情報ビットストリームを三次元映像シーケンスビットストリームに書き込む機能や実施の形態と同様である。

好適な実施の形態８
本好適な実施の形態は、三次元映像シーケンス補助情報のデコーディング装置に関する。図７は、三次元映像シーケンス補助情報のデコーディング装置の構造を示す図である。当該装置は、三次元映像シーケンスビットストリームから補助情報ビットストリームを抽出するように構成されている補助情報ビットストリーム抽出モジュールと、補助情報ビットストリームをデコードして三次元映像シーケンス補助情報を取得するように構成されている補助情報ビットストリームデコーディングモジュールとを含む。以下、この二つのモジュールについて説明する。

１）補助情報ビットストリーム抽出モジュールは、補助情報ビットストリームを含む三次元映像シーケンスビットストリームがその入力で、上記補助情報ビットストリームがその出力であり、それが果たす機能や実施の形態は、上記三次元映像シーケンス補助情報のデコーディング方法において三次元映像シーケンスビットストリームから補助情報ビットストリームを抽出する機能や実施の形態と同様である。

２）補助情報ビットストリームデコーディングモジュールは、上記補助情報ビットストリームがその入力で、１つまたは複数の上記補助情報サブ情報を含む三次元映像シーケンス補助情報がその出力であり、それが果たす機能や実施の形態は、上記の三次元映像シーケンス補助情報のデコーディング方法において、前記補助情報ビットストリームをデコードして三次元映像シーケンス補助情報を取得する機能や実施の形態と同様である。

上記三次元映像シーケンス補助情報のエンコーディング装置とデコーディング装置は、様々な方式により実現できることが好ましい。例えば、
方法一：コンピュータをハードウェアとして、前記三次元映像シーケンス補助情報のエンコーディング方法とデコーディング方法と同様な機能を有するソフトウェアプログラムを追加することで実現する。

方法二：ＳＣＭをハードウェアとして、前記三次元映像シーケンス補助情報のエンコーディング方法とデコーディング方法と同様な機能を有するソフトウェアプログラムを追加することで実現する。

方法三：デジタル信号プロセッサーをハードウェアとして、前記三次元映像シーケンス補助情報のエンコーディング方法とデコーディング方法と同様な機能を有するソフトウェアプログラムを追加することで実現する。

方法四：前記三次元映像シーケンス補助情報のエンコーディング方法とデコーディング方法と同様な機能を有する回路を設計して実現する。

なお、上記三次元映像シーケンス補助情報のエンコーディング装置とデコーディング装置を実現する方法は他にもあり、上記の４種類に限らない。

好適な実施の形態９
本好適な実施の形態は、三次元映像シーケンスの補助情報ビットストリームに関する。補助情報ビットストリームには、上記合成視点インディケーションＡ、左視である最小視点順位インデックスの視点のインディケーションＢ、シフティングサンプル数Ｃ、レンダリング精度Ｄ、最小視点順位インデックスの視点の選択インディケーションＥ、仮想視点位置パラメータＦなどの６つの補助情報サブ情報のうちのＰ（１≦Ｐ≦６、Ｐは整数）個の補助情報サブ情報が含まれている。例えば、補助情報の組み合わせは以下の何れか一つを含んでもよいが、以下の何れか一つに限らない。
組み合わせ１：Ａ、
組み合わせ２：Ｂ、
組み合わせ３：Ｃ、
組み合わせ４：Ｄ、
組み合わせ５：Ｅ、
組み合わせ６：Ｆ、
組み合わせ７：Ｂ、Ｃ
組み合わせ８：Ａ、Ｆ、
組み合わせ９：Ａ、Ｂ、Ｆ、
組み合わせ１０：Ａ、Ｂ、Ｃ、
組み合わせ１１：Ａ、Ｃ、Ｆ、
組み合わせ１２：Ａ、Ｂ、Ｅ、Ｆ、
組み合わせ１３：Ａ、Ｂ、Ｃ、Ｆ、
組み合わせ１４：Ｂ、Ｃ、Ｅ、Ｆ、
組み合わせ１５：Ａ、Ｂ、Ｃ、Ｅ、Ｆ、
組み合わせ１６：Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ。

好ましくは、上記Ｐ個の補助情報サブ情報を、それぞれ単独でシンタックスエレメントに数値化して、このＰ個のシンタックスエレメントに対応するコードワードにより補助情報ビットストリームを構成してもよい。または、このＰ個の補助情報サブ情報を、Ｑ（Ｑ＜Ｐ）グループにグルーピングし、各グループの補助情報サブ情報を共同で１つのシンタックスエレメントに数値化することもでき、このＱ個のシンタックスエレメントに対応するコードワードにより補助情報ビットストリームを構成する。Ｑグループの情報は様々な構成形式があり、例えば、以下の組み合わせのいずれかである。
組み合わせ１：｛Ａ、Ｄ｝、｛Ｂ｝、｛Ｃ｝（即ちＰ＝４、Ｑ＝３、そのうち、ＡとＤは１つのグループで、Ｂは１つのグループで、Ｃは１つのグループである、以下も同様）、
組み合わせ２：｛Ａ、Ｄ｝、｛Ｂ、Ｃ、Ｅ、Ｆ｝、
組み合わせ３：｛Ａ、Ｄ｝、｛Ｂ｝、｛Ｃ｝、｛Ｅ｝、｛Ｆ｝、
組み合わせ４：｛Ａ、Ｄ｝、｛Ｂ｝、｛Ｃ｝、｛Ｆ｝、
組み合わせ５：｛Ａ、Ｂ｝、Ｃ、｛Ｄ、Ｆ、Ｅ｝、
組み合わせ６：｛Ｂ、Ｃ｝、
組み合わせ７：｛Ａ、Ｂ、Ｆ｝、｛Ｃ｝、｛Ｄ｝、｛Ｅ｝、
組み合わせ８：｛Ａ、Ｆ｝、｛Ｂ｝、｛Ｃ｝。

補助情報ビットストリームに合成視点インディケーションＡを含む場合には、Ａが（ａ１）を示す場合に、ビットストリームに含まれるＤ、Ｅ、Ｆなどの補助情報サブ情報は意味がない。

三次元映像シーケンスビットストリームに補助情報ビットストリームが存在することは、少なくとも下記いずれか一つを含む。

１）補助情報ビットストリームの一部または全部が三次元映像シーケンスビットストリームの補足エンハンスメント情報（Ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩ）に存在すること。
２）補助情報ビットストリームの一部または全部が三次元映像シーケンスビットストリームのビデオ・ユーザビリティ情報（ｖｉｄｅｏ ｕｓａｂｉｌｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ、ＶＵＩ）に存在すること。
３）補助情報ビットストリームの一部または全部が三次元映像シーケンスビットストリームのサブセットシーケンスパラメータ集合（ｓｕｂｓｅｔ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ｓｕｂｓｅｔ ＳＰＳ）に存在すること。

好適な実施の形態１０
本好適な実施の形態は、三次元映像シーケンスの補助情報ビットストリームに関する。本実施例において、一つの三次元映像シーケンスの補助情報ビットストリームに対応する三次元映像シーケンス補助情報には、少なくとも合成視点インディケーションＡが含まれている。合成視点インディケーションＡが上記（ａ１）を示す場合、三次元映像シーケンス補助情報には、さらに、左視である最小視点順位インデックスの視点のインディケーションＢ、シフティングサンプル数Ｃなどの２つの補助情報サブ情報のうちのＵ−１個（１≦Ｕ≦３、Ｕは整数）の補助情報サブ情報が含まれている。合成視点インディケーションＡが上記（ａ２）を示す場合、三次元映像シーケンス補助情報には、さらに左視である最小視点順位インデックスの視点のインディケーションＢ、シフティングサンプル数Ｃ、レンダリング精度Ｄ、最小視点順位インデックスの視点の選択インディケーションＥ、仮想視点位置パラメータＦなどの５つの補助情報サブ情報のうちのＶ−１（１≦Ｖ≦６、Ｖは整数）個の補助情報サブ情報が含まれている。前記補助情報ビットストリームには、上記Ｕ個またはＶ個の補助情報サブ情報に対応するシンタックスエレメントが含まれている。Ｕ個の補助情報サブ情報の組み合わせは様々あるが、Ａを含み、且つＢ、Ｃなどの２つの補助情報サブ情報の中のＵ−１個の補助情報サブ情報を含む任意の組み合わせの一つであってもよい。前記Ｖ個の補助情報サブ情報の組み合わせは様々あるが、Ａを含み、且つＢ、Ｃ、Ｄ、Ｅ、Ｆなどの５つの補助情報サブ情報のうちのＶ−１個の補助情報サブ情報を含む任意の組み合わせの一つであってもよい。例えば、
組み合わせ１：Ａが（ａ１）を示す場合、Ａ、Ｂ、Ｃ（即ちＵ＝３）であり、Ａが（ａ２）を示す場合、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ（即ちＶ＝６）である。
組み合わせ２：Ａが（ａ１）を示す場合、Ａ、Ｂ、Ｃであり、Ａが（ａ２）を示す場合、Ａ、Ｂ、Ｃ、Ｅ、Ｆである。
組み合わせ３：Ａが（ａ１）を示す場合、Ａ、Ｂ、Ｃであり、Ａが（ａ２）を示す場合、Ａ、Ｂ、Ｃ、Ｄ、Ｆである。
組み合わせ４：Ａが（ａ１）を示す場合、Ａ、Ｂ、Ｃであり、Ａが（ａ２）を示す場合、Ａ、Ｂ、Ｃ、Ｆである。
組み合わせ５：Ａが（ａ１）を示す場合、Ａ、Ｂであり、Ａが（ａ２）を示す場合、Ａ、Ｂ、Ｅ、Ｆである。
組み合わせ６：Ａが（ａ１）を示す場合、Ａ、Ｂであり、Ａが（ａ２）を示す場合、Ａ、Ｂ、Ｆである。
組み合わせ７：Ａが（ａ１）を示す場合、Ａであり、Ａが（ａ２）を示す場合、Ａ、Ｄ、Ｆである。
組み合わせ８：Ａが（ａ１）を示す場合、Ａであり、Ａが（ａ２）を示す場合、Ａ、Ｆである。
組み合わせ９：Ａが（ａ１）を示す場合、Ａ、Ｃであり、Ａが（ａ２）を示す場合、Ａ、Ｃ、Ｆである。
組み合わせ１０：Ａが（ａ１）を示す場合、Ａ、Ｃであり、Ａが（ａ２）を示す場合、Ａ、Ｆである。
組み合わせ１１：Ａが（ａ１）を示す場合、Ａ、Ｃであり、Ａが（ａ２）を示す場合、Ａ、Ｄ、Ｆである。

上記補助情報ビットストリームは、三次元映像シーケンスビットストリームのＶＵＩまたはｓｕｂｓｅｔ ＳＰＳに存在しても良いし、三次元映像シーケンスビットストリームのｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔシンタックスユニット（例えばＨ．２６４／ＡＶＣ基準のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（ ））に存在してもよい。

また、本発明の実施例に係る三次元映像シーケンス補助情報のエンコーディング方法、デコーディング方法、対応する装置及びビットストリームは、デコーディング側の両眼立体表示装置に、両眼立体視に適合する立体映像ペアを如何に生成するかについての補助情報を提供することで、最終的な三次元立体表示の視覚感覚を改善するという技術的効果を達成することができる。

もう一つの実施例において、さらに、上記実施例及び好適な実施の形態に記載された技術案を実行するためのソフトウェアを提供する。

もう一つの実施例において、さらに、上記ソフトウェアを記憶した記憶媒体を提供し、当該記憶媒体は、光ディスク、フロッピー（登録商標）、ハードディスク、書込み・消去可能なメモリ等を含むが、これらに限定されない。

上記記載から分かるように、本発明は、三次元映像シーケンスビットストリームに補助情報を含ませることで、再構築される三次元映像シーケンスにより立体映像ペアを構築する際にこれらの補助情報を参照することができ、構築された立体映像ペアの表示効果をより良くし、既存技術において、三次元映像シーケンスビットストリームに補助情報を含ませないことによって構築された立体映像ペアの表示効果が悪いという技術課題を解決し、構築された立体映像の表示効果を向上させる技術的効果を達成することができる。

当業者にとって、上記の本発明の各モジュール又は各ステップは汎用の演算装置によって実現することができ、単独の演算装置に集中させることができるし、複数の演算装置からなるネットワークに分布させることもでき、さらに演算装置が実行可能なプログラムコードによって実現することもできるので、それらを記憶装置に記憶させて演算装置によって実行することができ、また、場合によっては、示した又は記載したステップを、ここでの順序と異なる順序で実行し、或いはそれぞれの集積回路モジュールとして作製し、或いはそのうちの複数のモジュール又はステップを単独の集積回路モジュールとして作製して実現することができることは明らかなことである。このように、本発明は如何なる特定のハードウェアとソフトウェアの結合にも限定されない。

以上は、本発明の好適な実施例に過ぎず、本発明を限定するものではない。当業者であれば本発明に様々な修正や変形が可能である。本発明の精神や原則内での如何なる修正、置換、改良などは本発明の保護範囲内に含まれる。

Claims (30)

1. 三次元映像シーケンスビットストリームから立体映像ペアを構築するための補助情報を取得することを含み、
   前記補助情報は、再構築される三次元映像シーケンスにより前記立体映像ペアを構築することを示すためのものであり、立体ディスプレイによる立体映像ペアの表示をガイドし、
   前記再構築される三次元映像シーケンスは前記三次元映像シーケンスビットストリームに対してデコーディングをして得られるものであって、
   前記補助情報は立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すシフティングサンプル数を含み、前記シフティングサンプル数Ｃを０〜２ ^ｎ -１の間の整数を含むシンタックスエレメントに数値化することができ、その値をＣ’とし、Ｃ’がＫ以上である場合、左視点画像が右視点画像に対して右へＣ’-Ｋ個のサンプル分水平シフトすることを表し、Ｃ’がＫより小さい場合、左視点画像が右視点画像に対して左へＫ-Ｃ’個のサンプル分水平シフトすることを表す三次元映像シーケンス補助情報のデコーディング方法。
2. 前記補助情報は、
   前記立体映像ペアに仮想視点映像シーケンスが含まれるか否かを示すための合成視点インディケーションと、
   前記三次元映像シーケンスにおける２つの視点の映像シーケンス間の左右関係を示すための最小視点順位インデックスの視点の位置インディケーションと、
   前記立体映像ペアに仮想視点映像シーケンスが含まれている場合、前記仮想視点映像シーケンスを合成する際に採用する投影精度を示すためのレンダリング精度と、
   前記立体映像ペアに仮想視点映像シーケンスが含まれている場合、最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスとのうち、前記立体映像ペアを前記仮想視点映像シーケンスと共に合成する映像シーケンスを識別するための最小視点順位インデックスの視点の選択インディケーションと、
   前記立体映像ペアに仮想視点映像シーケンスが含まれている場合、前記仮想視点映像シーケンスに対応する仮想視点の、前記三次元映像シーケンスにおける最小視点順位インデックスの視点と２番め小さい視点順位インデックスの視点から構成された直線上の位置を示すための仮想視点位置パラメータ、の少なくとも一つを含む請求項１に記載の方法。
3. 三次元映像シーケンスビットストリームから立体映像ペアを構築するための補助情報を取得することは、
   前記三次元映像シーケンスビットストリームから、補助情報ビットストリームを抽出することと、
   前記補助情報ビットストリームをデコードして前記補助情報を得ることとを含む請求項１または２に記載の方法。
4. 前記補助情報は、前記三次元映像シーケンスビットストリームの、ビデオ・ユーザビリティ情報、補足エンハンスメント情報、及びサブセットシーケンスパラメータ集合の少なくとも１つの情報に含まれる請求項１または２に記載の方法。
5. 三次元映像シーケンスビットストリームの補助情報を三次元映像シーケンスビットストリームに書き込むことを含み、
   前記補助情報は、再構築される三次元映像シーケンスにより立体映像ペアを構築することを示すためのものであり、立体ディスプレイによる立体映像ペアの表示をガイドし、
   前記再構築される三次元映像シーケンスは前記三次元映像シーケンスビットストリームに対してデコーディングをして得られるものであって、
   前記補助情報は立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すシフティングサンプル数を含み、前記シフティングサンプル数Ｃを０〜２ ^ｎ -１の間の整数を含むシンタックスエレメントに数値化することができ、その値をＣ’とし、Ｃ’がＫ以上である場合、左視点画像が右視点画像に対して右へＣ’-Ｋ個のサンプル分水平シフトすることを表し、Ｃ’がＫより小さい場合、左視点画像が右視点画像に対して左へＫ-Ｃ’個のサンプル分水平シフトすることを表す三次元映像シーケンス補助情報のエンコーディング方法。
6. 前記補助情報は、
   前記立体映像ペアに仮想視点映像シーケンスが含まれるか否かを示すための合成視点インディケーションと、
   前記三次元映像シーケンスにおける２つの視点の映像シーケンス間の左右関係を示すための最小視点順位インデックスの視点の位置インディケーションと、
   前記立体映像ペアに仮想視点映像シーケンスが含まれている場合、前記仮想視点映像シーケンスを合成する際に採用する投影精度を示すためのレンダリング精度と、
   前記立体映像ペアに仮想視点映像シーケンスが含まれている場合、最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスとのうち、前記立体映像ペアを前記仮想視点映像シーケンスと共に合成する映像シーケンスを識別するための最小視点順位インデックスの視点の選択インディケーションと、
   前記立体映像ペアに仮想視点映像シーケンスが含まれている場合、前記仮想視点映像シーケンスに対応する仮想視点の、前記三次元映像シーケンスにおける最小視点順位インデックスの視点と２番め小さい視点順位インデックスの視点から構成された直線上の位置を示すための仮想視点位置パラメータ、の少なくとも一つを含む請求項５に記載の方法。
7. 三次元映像シーケンスビットストリームの補助情報を三次元映像シーケンスビットストリームに書き込むことは、
   前記補助情報を補助情報ビットストリームに符号化することと、
   前記補助情報ビットストリームを前記三次元映像シーケンスビットストリームに書き込むこととを含む請求項５または６に記載の方法。
8. 前記補助情報を前記三次元映像シーケンスビットストリームに書き込むことは、
   前記補助情報を前記三次元映像シーケンスビットストリームの、ビデオ・ユーザビリティ情報、補足エンハンスメント情報、及びサブセットシーケンスパラメータ集合の少なくとも１つに書き込むことを含む請求項５または６に記載の方法。
9. 三次元映像シーケンスビットストリームから、再構築される三次元映像シーケンスにより構築した立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すためのシフティングサンプル数を取得することを含み、
   前記再構築される三次元映像シーケンスは前記三次元映像シーケンスビットストリームに対してデコーディングをして得られるものであって、
   補助情報は立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すシフティングサンプル数を含み、前記シフティングサンプル数Ｃを０〜２ ^ｎ -１の間の整数を含むシンタックスエレメントに数値化することができ、その値をＣ’とし、Ｃ’がＫ以上である場合、左視点画像が右視点画像に対して右へＣ’-Ｋ個のサンプル分水平シフトすることを表し、Ｃ’がＫより小さい場合、左視点画像が右視点画像に対して左へＫ-Ｃ’個のサンプル分水平シフトすることを表す三次元映像シーケンス補助情報のデコーディング方法。
10. 三次元映像シーケンスビットストリームから、再構築される三次元映像シーケンスにより構築した立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すためのシフティングサンプル数を取得することは、
    前記三次元映像シーケンスビットストリームから、前記シフティングサンプル数を含む補助情報ビットストリームを抽出することと、
    前記補助情報ビットストリームをデコードして前記シフティングサンプル数を得ることとを含む請求項９に記載の方法。
11. 前記シフティングサンプル数は、前記三次元映像シーケンスビットストリームの、ビデオ・ユーザビリティ情報、補足エンハンスメント情報、及びサブセットシーケンスパラメータ集合の少なくとも１つの情報に含まれる請求項９または１０に記載の方法。
12. シフティングサンプル数を三次元映像シーケンスビットストリームに書き込むことを含み、
    前記シフティングサンプル数は、再構築される三次元映像シーケンスにより構築した立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すためのものであり、
    前記再構築される三次元映像シーケンスは前記三次元映像シーケンスビットストリームに対してデコーディングをして得られるものであって、
    補助情報は立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すシフティングサンプル数を含み、前記シフティングサンプル数Ｃを０〜２ ^ｎ -１の間の整数を含むシンタックスエレメントに数値化することができ、その値をＣ’とし、Ｃ’がＫ以上である場合、左視点画像が右視点画像に対して右へＣ’-Ｋ個のサンプル分水平シフトすることを表し、Ｃ’がＫより小さい場合、左視点画像が右視点画像に対して左へＫ-Ｃ’個のサンプル分水平シフトすることを表す三次元映像シーケンス補助情報のエンコーディング方法。
13. シフティングサンプル数を前記三次元映像シーケンスビットストリームに書き込むことは、
    前記シフティングサンプル数を補助情報ビットストリームに符号化することと、
    前記シフティングサンプル数を含む補助情報ビットストリームを前記三次元映像シーケンスビットストリームに書き込むこととを含む請求項１２に記載の方法。
14. 前記シフティングサンプル数を前記三次元映像シーケンスビットストリームに書き込むことは、
    前記シフティングサンプル数を前記三次元映像シーケンスビットストリームの、ビデオ・ユーザビリティ情報、補足エンハンスメント情報、及びサブセットシーケンスパラメータ集合の少なくとも１つに書き込むことを含む請求項１２または１３に記載の方法。
15. 三次元映像シーケンスビットストリームから立体映像ペアを構築するための補助情報を取得するように構成されている補助情報取得ユニットを含み、
    前記補助情報は、再構築される三次元映像シーケンスにより前記立体映像ペアを構築することを示すためのものであり、立体ディスプレイによる立体映像ペアの表示をガイドし、
    前記再構築される三次元映像シーケンスは前記三次元映像シーケンスビットストリームに対してデコーディングをして得られるものであって、
    前記補助情報は立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すシフティングサンプル数を含み、前記シフティングサンプル数Ｃを０〜２ ^ｎ -１の間の整数を含むシンタックスエレメントに数値化することができ、その値をＣ’とし、Ｃ’がＫ以上である場合、左視点画像が右視点画像に対して右へＣ’-Ｋ個のサンプル分水平シフトすることを表し、Ｃ’がＫより小さい場合、左視点画像が右視点画像に対して左へＫ-Ｃ’個のサンプル分水平シフトすることを表す三次元映像シーケンス補助情報のデコーディング装置。
16. 前記補助情報取得ユニットは、
    前記三次元映像シーケンスビットストリームから補助情報ビットストリームを抽出するように構成されている補助情報ビットストリーム抽出モジュールと、
    前記補助情報ビットストリームをデコードして前記補助情報を得るように構成されている補助情報ビットストリームデコーディングモジュールとを含む請求項１５に記載の装置。
17. 三次元映像シーケンスビットストリームの補助情報を三次元映像シーケンスビットストリームに書き込むように構成されている補助情報書き込みユニットを含み、
    前記補助情報は、再構築される三次元映像シーケンスにより立体映像ペアを構築することを示すためのものであり、立体ディスプレイによる立体映像ペアの表示をガイドし、
    前記再構築される三次元映像シーケンスは前記三次元映像シーケンスビットストリームに対してデコーディングをして得られるものであって、
    前記補助情報は立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すシフティングサンプル数を含み、前記シフティングサンプル数Ｃを０〜２ ^ｎ -１の間の整数を含むシンタックスエレメントに数値化することができ、その値をＣ’とし、Ｃ’がＫ以上である場合、左視点画像が右視点画像に対して右へＣ’-Ｋ個のサンプル分水平シフトすることを表し、Ｃ’がＫより小さい場合、左視点画像が右視点画像に対して左へＫ-Ｃ’個のサンプル分水平シフトすることを表す三次元映像シーケンス補助情報のエンコーディング装置。
18. 前記補助情報書き込みユニットは、
    前記補助情報を補助情報ビットストリームに符号化するように構成されている補助情報ビットストリーム生成モジュールと、
    前記補助情報ビットストリームを前記三次元映像シーケンスビットストリームに書き込むように構成されている補助情報ビットストリーム書き込みモジュールとを含む請求項１７に記載の装置。
19. 三次元映像シーケンスビットストリームから、再構築される三次元映像シーケンスにより構築した立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すためのシフティングサンプル数を取得するように構成されている補助情報取得ユニットを含み、
    前記再構築される三次元映像シーケンスは前記三次元映像シーケンスビットストリームに対してデコーディングして得られるものであって、
    補助情報は立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すシフティングサンプル数を含み、前記シフティングサンプル数Ｃを０〜２ ^ｎ -１の間の整数を含むシンタックスエレメントに数値化することができ、その値をＣ’とし、Ｃ’がＫ以上である場合、左視点画像が右視点画像に対して右へＣ’-Ｋ個のサンプル分水平シフトすることを表し、Ｃ’がＫより小さい場合、左視点画像が右視点画像に対して左へＫ-Ｃ’個のサンプル分水平シフトすることを表す三次元映像シーケンス補助情報のデコーディング装置。
20. 前記補助情報取得ユニットは、
    前記三次元映像シーケンスビットストリームから、前記シフティングサンプル数を含む補助情報ビットストリームを抽出するように構成されている補助情報ビットストリーム抽出モジュールと、
    前記補助情報ビットストリームをデコードして前記シフティングサンプル数を得るように構成されている補助情報ビットストリームデコーディングモジュールとを含む請求項１９に記載の装置。
21. シフティングサンプル数を三次元映像シーケンスビットストリームに書き込むように構成されている補助情報書き込みユニットを含み、
    前記シフティングサンプル数は、再構築される三次元映像シーケンスにより構築した立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すためのものであり、
    前記再構築される三次元映像シーケンスは前記三次元映像シーケンスビットストリームに対してデコーディングして得られるものであって、
    補助情報は立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すシフティングサンプル数を含み、前記シフティングサンプル数Ｃを０〜２ ^ｎ -１の間の整数を含むシンタックスエレメントに数値化することができ、その値をＣ’とし、Ｃ’がＫ以上である場合、左視点画像が右視点画像に対して右へＣ’-Ｋ個のサンプル分水平シフトすることを表し、Ｃ’がＫより小さい場合、左視点画像が右視点画像に対して左へＫ-Ｃ’個のサンプル分水平シフトすることを表す三次元映像シーケンス補助情報のエンコーディング装置。
22. 前記補助情報書き込みユニットは、
    前記シフティングサンプル数を補助情報ビットストリームに符号化するように構成されている補助情報ビットストリーム生成モジュールと、
    前記シフティングサンプル数を含む補助情報ビットストリームを前記三次元映像シーケンスビットストリームに書き込むように構成されている補助情報ビットストリーム書き込みモジュールとを含む請求項２１に記載の装置。
23. 三次元映像シーケンスビットストリームに対応する三次元映像シーケンス補助情報を補助情報ビットストリームに符号化し、且つ前記補助情報ビットストリームを前記三次元映像シーケンスビットストリームに書き込むことを含み、ここで、前記映像シーケンス補助情報は立体ディスプレイによる立体映像ペアの表示をガイドし、
    再構築される三次元映像シーケンスにより一つの立体映像ペアを生成する処理を示すための前記三次元映像シーケンス補助情報は、
    前記立体映像ペアが前記三次元映像シーケンスのうちの最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスからなる立体映像ペアであること、または前記立体映像ペアが前記三次元映像シーケンスのうちの最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスとのいずれか一つと一つの合成した仮想視点映像シーケンスとにより構成された立体映像ペアであることを識別するための合成視点インディケーションと、
    前記三次元映像シーケンスにおける最小視点順位インデックスの視点が２番目小さい視点順位インデックスの視点の左側にあるか否かを識別するためのインディケーションであって、前記立体映像ペアにおける２つの視点の映像シーケンスの左右関係を示す、左視である最小視点順位インデックスの視点のインディケーションと、
    前記立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すためのシフティングサンプル数と、ここで、前記シフティングサンプル数Ｃを０〜２ ^ｎ -１の間の整数を含むシンタックスエレメントに数値化することができ、その値をＣ’とし、Ｃ’がＫ以上である場合、左視点画像が右視点画像に対して右へＣ’-Ｋ個のサンプル分水平シフトすることを表し、Ｃ’がＫより小さい場合、左視点画像が右視点画像に対して左へＫ-Ｃ’個のサンプル分水平シフトすることを表し、
    前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記仮想視点映像シーケンスを合成する際に採用する投影精度を示すためのレンダリング精度と、
    前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記三次元映像シーケンスにおける最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスのうち、前記立体映像ペアの中の１つの映像シーケンスとしての映像シーケンスを識別するための最小視点順位インデックスの視点の選択インディケーションと、
    前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記仮想視点映像シーケンスに対応する仮想視点の、前記三次元映像シーケンスにおける最小視点順位インデックスの視点と２番目小さい視点順位インデックスの視点から構成された直線上の位置を示すための仮想視点位置パラメータとの少なくとも１つを含む三次元映像シーケンス補助情報のエンコーディング方法。
24. 前記補助情報ビットストリーム中の一部または全部の情報を前記三次元映像シーケンスビットストリームの補足エンハンスメント情報に書き込むことと、
    前記補助情報ビットストリーム中の一部または全部の情報を前記三次元映像シーケンスビットストリームのビデオ・ユーザビリティ情報に書き込むことと、
    前記補助情報ビットストリーム中の一部または全部の情報を前記三次元映像シーケンスビットストリームのサブセットシーケンスパラメータ集合に書き込むこととのいずれか一つの方式により前記補助情報ビットストリームを前記三次元映像シーケンスビットストリームに書き込む請求項２３に記載の方法。
25. 三次元映像シーケンスビットストリームから補助情報ビットストリームを抽出し、前記補助情報ビットストリームをデコードして三次元映像シーケンス補助情報を取得することを含み、ここで、前記映像シーケンス補助情報は立体ディスプレイによる立体映像ペアの表示をガイドし、
    再構築される三次元映像シーケンスにより一つの立体映像ペアを生成する処理を示すための前記三次元映像シーケンス補助情報は、
    前記立体映像ペアが前記三次元映像シーケンスのうちの最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスからなる立体映像ペアであること、または前記立体映像ペアが前記三次元映像シーケンスのうちの最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスとのいずれか一つと一つの合成した仮想視点映像シーケンスとにより構成された立体映像ペアであることを識別するための合成視点インディケーションと、
    前記三次元映像シーケンスにおける最小視点順位インデックスの視点が２番目小さい視点順位インデックスの視点の左側にあるか否かを識別するためのインディケーションであって、前記立体映像ペアにおける２つの視点の映像シーケンスの左右関係を示す、左視である最小視点順位インデックスの視点のインディケーションと、
    前記立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すためのシフティングサンプル数と、ここで、前記シフティングサンプル数Ｃを０〜２ ^ｎ -１の間の整数を含むシンタックスエレメントに数値化することができ、その値をＣ’とし、Ｃ’がＫ以上である場合、左視点画像が右視点画像に対して右へＣ’-Ｋ個のサンプル分水平シフトすることを表し、Ｃ’がＫより小さい場合、左視点画像が右視点画像に対して左へＫ-Ｃ’個のサンプル分水平シフトすることを表し、
    前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記仮想視点映像シーケンスを合成する際に採用する投影精度を示すためのレンダリング精度と、
    前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記三次元映像シーケンスにおける最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスのうち、前記立体映像ペアの中の１つの映像シーケンスとしての映像シーケンスを識別するための最小視点順位インデックスの視点の選択インディケーションと、
    前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記仮想視点映像シーケンスに対応する仮想視点の、前記三次元映像シーケンスにおける最小視点順位インデックスの視点と２番目小さい視点順位インデックスの視点から構成された直線上の位置を示すための仮想視点位置パラメータとの少なくとも１つを含む三次元映像シーケンス補助情報のデコーディング方法。
26. 前記三次元映像シーケンスビットストリームの補足エンハンスメント情報から前記補助情報ビットストリームの一部または全部の情報を取得することと、
    前記三次元映像シーケンスビットストリームのビデオ・ユーザビリティ情報から前記補助情報ビットストリームの一部または全部の情報を取得することと、
    前記三次元映像シーケンスビットストリームのサブセットシーケンスパラメータ集合から前記補助情報ビットストリームの一部または全部の情報を取得することとのいずれか一つの方式により前記三次元映像シーケンスビットストリームから前記補助情報ビットストリームを抽出する請求項２５に記載の方法。
27. 三次元映像シーケンスビットストリームに対応する、立体ディスプレイによる立体映像ペアの表示をガイドする三次元映像シーケンス補助情報を補助情報ビットストリームに符号化するように構成されており、入力が三次元映像シーケンス補助情報で、出力が補助情報ビットストリームである補助情報ビットストリーム生成モジュールと、
    前記補助情報ビットストリームを三次元映像シーケンスビットストリームに書き込むように構成されており、入力が前記補助情報ビットストリームと前記三次元映像シーケンスビットストリームで、出力が前記補助情報ビットストリームを含む三次元映像シーケンスビットストリームである補助情報ビットストリーム書き込みモジュールとを含み、
    再構築される三次元映像シーケンスにより一つの立体映像ペアを生成する処理を示すための前記三次元映像シーケンス補助情報は、
    前記立体映像ペアが前記三次元映像シーケンスのうちの最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスからなる立体映像ペアであること、または前記立体映像ペアが前記三次元映像シーケンスのうちの最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスとのいずれか一つと一つの合成した仮想視点映像シーケンスとにより構成された立体映像ペアであることを識別するための合成視点インディケーションと、
    前記三次元映像シーケンスにおける最小視点順位インデックスの視点が２番目小さい視点順位インデックスの視点の左側にあるか否かを識別するためのインディケーションであって、前記立体映像ペアにおける２つの視点の映像シーケンスの左右関係を示す、左視である最小視点順位インデックスの視点のインディケーションと、
    前記立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すためのシフティングサンプル数と、ここで、前記シフティングサンプル数Ｃを０〜２ ^ｎ -１の間の整数を含むシンタックスエレメントに数値化することができ、その値をＣ’とし、Ｃ’がＫ以上である場合、左視点画像が右視点画像に対して右へＣ’-Ｋ個のサンプル分水平シフトすることを表し、Ｃ’がＫより小さい場合、左視点画像が右視点画像に対して左へＫ-Ｃ’個のサンプル分水平シフトすることを表し、
    前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記仮想視点映像シーケンスを合成する際に採用する投影精度を示すためのレンダリング精度と、
    前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記三次元映像シーケンスにおける最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスのうち、前記立体映像ペアの中の１つの映像シーケンスとしての映像シーケンスを識別するための最小視点順位インデックスの視点の選択インディケーションと、
    前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記仮想視点映像シーケンスに対応する仮想視点の、前記三次元映像シーケンスにおける最小視点順位インデックスの視点と２番目小さい視点順位インデックスの視点から構成された直線上の位置を示すための仮想視点位置パラメータとの少なくとも１つを含む三次元映像シーケンス補助情報のエンコーディング装置。
28. 前記補助情報ビットストリーム書き込みモジュールは、さらに、
    前記補助情報ビットストリーム中の一部または全部の情報を前記三次元映像シーケンスビットストリームの補足エンハンスメント情報に書き込むことと、
    前記補助情報ビットストリーム中の一部または全部の情報を前記三次元映像シーケンスビットストリームのビデオ・ユーザビリティ情報に書き込むことと、
    前記補助情報ビットストリーム中の一部または全部の情報を前記三次元映像シーケンスビットストリームのサブセットシーケンスパラメータ集合に書き込むこととのいずれか一つの方式により前記補助情報ビットストリームを前記三次元映像シーケンスビットストリームに書き込むように構成されている請求項２７に記載の装置。
29. 三次元映像シーケンスビットストリームから補助情報ビットストリームを抽出するように構成されており、入力が三次元映像シーケンスビットストリームで、出力が前記補助情報ビットストリームである補助情報ビットストリーム抽出モジュールと、
    前記補助情報ビットストリームをデコードして、立体ディスプレイによる立体映像ペアの表示をガイドする三次元映像シーケンス補助情報を取得するように構成されており、入力が前記補助情報ビットストリームで、出力が前記三次元映像シーケンス補助情報である補助情報ビットストリームデコーディングモジュールとを含み、
    再構築される三次元映像シーケンスにより一つの立体映像ペアを生成する処理を示すための前記三次元映像シーケンス補助情報は、
    前記立体映像ペアが前記三次元映像シーケンスのうちの最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスからなる立体映像ペアであること、または前記立体映像ペアが前記三次元映像シーケンスのうちの最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスとのいずれか一つと一つの合成した仮想視点映像シーケンスとにより構成された立体映像ペアであることを識別するための合成視点インディケーションと、
    前記三次元映像シーケンスにおける最小視点順位インデックスの視点が２番目小さい視点順位インデックスの視点の左側にあるか否かを識別するためのインディケーションであって、前記立体映像ペアにおける２つの視点の映像シーケンスの左右関係を示す、左視である最小視点順位インデックスの視点のインディケーションと、
    前記立体映像ペアにおける２つの視点の映像シーケンス画像に対して水平シフトをするサンプル数を示すためのシフティングサンプル数と、ここで、前記シフティングサンプル数Ｃを０〜２ ^ｎ -１の間の整数を含むシンタックスエレメントに数値化することができ、その値をＣ’とし、Ｃ’がＫ以上である場合、左視点画像が右視点画像に対して右へＣ’-Ｋ個のサンプル分水平シフトすることを表し、Ｃ’がＫより小さい場合、左視点画像が右視点画像に対して左へＫ-Ｃ’個のサンプル分水平シフトすることを表し、
    前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記仮想視点映像シーケンスを合成する際に採用する投影精度を示すためのレンダリング精度と、
    前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記三次元映像シーケンスにおける最小視点順位インデックスの映像シーケンスと２番目小さい視点順位インデックスの映像シーケンスのうち、前記立体映像ペアの中の１つの映像シーケンスとしての映像シーケンスを識別するための最小視点順位インデックスの視点の選択インディケーションと、
    前記立体映像ペアに一つの合成した仮想視点映像シーケンスが含まれている場合、前記仮想視点映像シーケンスに対応する仮想視点の、前記三次元映像シーケンスにおける最小視点順位インデックスの視点と２番目小さい視点順位インデックスの視点から構成された直線上の位置を示すための仮想視点位置パラメータとの少なくとも１つを含む三次元映像シーケンス補助情報のデコーディング装置。
30. 前記補助情報ビットストリーム抽出モジュールは、さらに、
    前記三次元映像シーケンスビットストリームの補足エンハンスメント情報から前記補助情報ビットストリーム中の一部または全部の情報を取得することと、
    前記三次元映像シーケンスビットストリームのビデオ・ユーザビリティ情報から前記補助情報ビットストリーム中の一部または全部の情報を取得することと、
    前記三次元映像シーケンスビットストリームのサブセットシーケンスパラメータ集合から前記補助情報ビットストリーム中の一部または全部の情報を取得することとのいずれか一つの方式により前記三次元映像シーケンスビットストリームから補助情報ビットストリームを抽出するように構成されている請求項２９に記載の装置。
    
    

Images