JP5255558B2

JP5255558B2 - マルチビュービデオ符号化方法および装置

Info

Publication number: JP5255558B2
Application number: JP2009502799A
Authority: JP
Inventors: ビバスパンディットパービン; イーピンスー; ペンイン; ゴミラクリスティーナ; マクドナルドボイスジル
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2006-03-29
Filing date: 2007-02-27
Publication date: 2013-08-07
Anticipated expiration: 2027-02-27
Also published as: KR101361896B1; RU2008142774A; ZA200807023B; CN101416518A; RU2529881C2; WO2007126511A2; KR20080108448A; JP2016054526A; US20090185616A1; JP5213064B2; WO2007126511A3; JP2009531967A; US9100659B2; EP1999967A2; ZA200807142B; WO2007126509A2; KR101353193B1; KR20080108449A; EP1999968A2; BRPI0709194A2

Description

本出願は、参照により本明細書に組み込まれている、２００６年３月２９日に出願した米国仮出願第６０／７８７，０９２号明細書の利益を主張するものである。本出願は、さらに、それぞれ参照により本明細書に組み込まれる、本出願と同時に出願され、共通の発明者および共通の譲受人を有する２つの他の出願（整理番号ＰＵ０６００６４およびＰＵ０７００３１）に密接に関連している。

本原理は、一般に、ビデオ符号化および復号化に関係し、より具体的には、マルチビュービデオ符号化システムで使用する方法および装置に関する。

国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）Moving Picture Experts Group-4（ＭＰＥＧ−４）Part 10 Advanced Video Coding（ＡＶＣ）標準／国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６４勧告（これ以降、「ＭＰＥＧ−４ＡＶＣ標準」と呼ぶ）に準拠するマルチビュービデオ符号化（ＭＶＣ）の現在の実装では、特定のビューを識別し、カメラパラメータのシグナリングを行うための規定はない。このビュー情報は、いくつかの理由から必要である。ビュースケーラビリティ、ビューランダムアクセス、並列処理、ビュー生成、およびビュー合成は、すべてビュー情報を利用するマルチビュー符号化の必要条件である。さらに、これらの要求条件のうちいくつかは、現在のところ標準化された方法で渡されないカメラパラメータも利用する。

マルチビュー圧縮ビットストリームで効率よくランダムアクセスできる方法が提案されている。提案されている方法では、Ｖピクチャタイプおよびビュー依存性付加拡張情報（ＳＥＩ）メッセージが定義される。提案されているＶピクチャタイプで必要な特徴は、Ｖピクチャは同じカメラ内の他のピクチャに時間的に依存していてはならず、同時に他のカメラ内のピクチャからのみ予測できるという点である。提案されているビュー依存性付加拡張情報メッセージは、Ｖピクチャさらには先行および後続のピクチャ群がどのビューに依存し得るかを正確に記述するものである。以下では、提案されている変更の詳細を説明する。

Ｖピクチャのシンタックスおよびセマンティックスに関して、ＭＰＥＧ−４ＡＶＣ標準に関係する特定のシンタックステーブルは、Ｖピクチャに対応する１４のネットワーク抽象化レイヤ（ＮＡＬ）ユニットタイプを含むように拡張される。さらに、Ｖピクチャタイプは、以下のセマンティックスを持つように定義される。

Ｖピクチャ：すべてのスライスが同じ時間インデックスを持つスライスのみを参照する符号化されたピクチャ（つまり、他のビュー内のスライスのみ、現在のビュー内のスライスではなく）。Ｖピクチャが出力または表示される場合、これにより、さらに、復号化プロセスはＩＤＲピクチャまたはＶピクチャでない、「参照のため未使用」のマークが付けられるべき出力順でＶピクチャよりも前にある、同じビューからのすべてのピクチャにマークを付ける。それぞれのＶピクチャは、同じＮＡＬ内に出現するビュー依存性ＳＥＩメッセージに関連付けられるものとする。

ビュー依存性付加拡張情報メッセージのシンタックスおよびセマンティックスに関して、ビュー依存性付加拡張情報メッセージは以下のシンタックスで定義される。

ただし、ｎｕｍ＿ｓｅｑ＿ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｓ／ｎｕｍ＿ｐｉｃ＿ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｓは、現在のシーケンス／ピクチャに対する参照として使用され得る潜在的ビューの数を表し、ｓｅｑ＿ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗ＿ｉ／ｐｉｃ＿ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗ＿ｉは、ｉ番目の参照ビューに対するビュー番号を表す。

ビュー依存性付加拡張情報メッセージに関連付けられているピクチャは、ｐｉｃ＿ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗ＿ｉにより記述されている指定ビューのみを参照するものとする。同様に、そのビュー内の次のビュー依存性付加拡張情報メッセージまでのそのビューの出力順で後続となるすべてのピクチャは、ｓｅｑ＿ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗ＿ｉにより記述された指定ビューのみを参照するものとする。

ビュー依存性付加拡張情報メッセージは、それぞれの瞬時復号化更新（ＩｎｓｔａｎｔａｎｅｏｕｓＤｅｃｏｄｉｎｇＲｅｆｒｅｓｈ）（ＩＤＲ）ピクチャおよびＶピクチャに関連付けられるものとする。

この方法の少なくとも１つの欠点は、依存性が再帰的に得られるため復号器が複雑化することである。それに加えて、この方法では、すべてのＶピクチャがＳＥＩメッセージ（ＭＰＥＧ−４ＡＶＣ標準の非規範的部分である）を搬送する必要があり、その結果、依存性は、参照ピクチャ選択などの規範的動作に使用することはできない。

従来技術のこれらおよび他の欠点および不都合点は、マルチビュービデオ符号化システムで使用する方法および装置を対象とする、本発明の原理により解消される。

本発明の原理の態様により装置が実現される。この装置は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを符号化して結果として得られるビットストリームに入れる符号化器を備え、その際に結果として得られるビットストリームは、ビュー特有の情報を含むように符号化される。ビュー特有の情報は、少なくとも２つのビューのうちの少なくともいくつかのビューの間の復号化相互依存性を示す。

本発明の原理の他の態様により方法が実現される。この方法は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを符号化して結果として得られるビットストリームに入れることを含み、その際に結果として得られるビットストリームは、ビュー特有の情報を含むように符号化される。ビュー特有の情報は、少なくとも２つのビューのうちの少なくともいくつかのビューの間の復号化相互依存性を示す。

本発明の原理のさらに他の態様により装置が実現される。この装置は、ビットストリームから、マルチビュービデオコンテンツに対応する少なくとも２つのビューを復号化する復号器を備え、ビットストリームは、中に含まれるビュー特有の情報を決定するように復号化され、ビュー特有の情報は少なくとも２つのビューのうちの少なくともいくつかのビューの間の復号化相互依存性を示す。

本発明の原理のさらに他の態様により方法が実現される。この方法は、ビットストリームから、マルチビュービデオコンテンツに対応する少なくとも２つのビューを復号化することを含み、ビットストリームは、中に含まれるビュー特有の情報を決定するように復号化される。ビュー特有の情報は、少なくとも２つのビューのうちの少なくともいくつかのビューの間の復号化相互依存性を示す。

本発明の原理のさらなる態様により装置が実現される。この装置は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを、復号化のためその少なくとも２つのビューのうちの他のビューから独立している、その少なくとも２つのビューのうちのいずれかのビューをベースビューとして定義することにより、符号化する符号化器を備える。

本発明の原理のさらなる他の態様により方法が実現される。この方法は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを、復号化のためその少なくとも２つのビューのうちの他のビューから独立している、その少なくとも２つのビューのうちのいずれかのビューをベースビューとして定義することにより、符号化することを含む。

本発明の原理のさらなる態様により装置が実現される。この装置は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを復号化する復号器を備え、復号器は、その少なくとも２つのビューのうち、もしあれば、どのビューが、復号化のためその少なくとも２つのビューのうちの他のビューから独立しているベースビューであるかを決定する。

本発明の原理の追加の態様により方法が実現される。この方法は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを復号化することを含み、復号化するステップは、その少なくとも２つのビューのうち、もしあれば、どのビューが、復号化のためその少なくとも２つのビューのうちの他のビューから独立しているベースビューであるかを決定する。

本発明の原理の態様により装置が実現される。この装置は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを、その少なくとも２つのビューのうちの少なくとも１つのビューを後方互換性のため国際標準化機構／国際電気標準会議Moving Picture Experts Group-4 Part 10 Advanced Video Coding標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告にシンタックス準拠する結果として得られるビットストリームに符号化することにより符号化する符号化器を備える。

本発明の原理の他の態様により方法が実現される。この方法は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを、その少なくとも２つのビューのうちの少なくとも１つのビューを後方互換性のため国際標準化機構／国際電気標準会議Moving Picture Experts Group-4 Part 10 Advanced Video Coding標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告にシンタックス準拠する結果として得られるビットストリームに符号化することにより符号化することを含む。

本発明の原理のさらに他の態様により装置が実現される。この装置は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを復号化する復号器を備え、その少なくとも２つのビューのうちの少なくとも１つのビューは、後方互換性のため国際標準化機構／国際電気標準会議Moving Picture Experts Group-4 Part 10 Advanced Video Coding標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告にシンタックス準拠するビットストリームに含まれる。

本発明の原理のさらに他の態様により方法が実現される。この方法は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを復号化することを含み、その少なくとも２つのビューのうちの少なくとも１つのビューは、後方互換性のため国際標準化機構／国際電気標準会議Moving Picture Experts Group-4 Part 10 Advanced Video Coding標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告にシンタックス準拠するビットストリームに含まれる。

本発明の原理のさらなる態様により装置が実現される。この装置は、２つの定義済みスライスタイプのうちの１つのスライスタイプを選択することによりマルチビュービデオコンテンツに対応する少なくとも２つのビューのうちの少なくとも１つのビューを符号化する符号化器を備える。

本発明の原理のさらなる他の態様により方法が実現される。この方法は、２つの定義済みスライスタイプのうちの１つのスライスタイプを選択することによりマルチビュービデオコンテンツに対応する少なくとも２つのビューのうちの少なくとも１つのビューを符号化することを含む。

本発明の原理のさらなる態様により装置が実現される。この装置は、２つの定義済みスライスタイプのうちの１つのスライスタイプを決定することによりマルチビュービデオコンテンツに対応する少なくとも２つのビューのうちの少なくとも１つのビューを復号化する復号器を備える。

本発明の原理の追加の態様により方法が実現される。この方法は、２つの定義済みスライスタイプのうちの１つのスライスタイプを決定することによりマルチビュービデオコンテンツに対応する少なくとも２つのビューのうちの少なくとも１つのビューを復号化することを含む。

本発明の原理の態様により装置が実現される。この装置は、マルチビューコンテンツに対応する少なくとも２つのビューを符号化して結果として得られるビットストリームに入れる符号化器を備え、その際に結果として得られるビットストリームは、その少なくとも２つのビューのうちの少なくとも１つのビューに対応する少なくとも１つのカメラパラメータを含むように符号化される。

本発明の原理の他の態様により方法が実現される。この方法は、マルチビューコンテンツに対応する少なくとも２つのビューを符号化して結果として得られるビットストリームに入れることを含み、その際に結果として得られるビットストリームは、その少なくとも２つのビューのうちの少なくとも１つのビューに対応する少なくとも１つのカメラパラメータを含むように符号化される。

本発明の原理のさらに他の態様により装置が実現される。この装置は、ビットストリームから、マルチビューコンテンツに対応する少なくとも２つのビューを復号化する復号器を備え、ビットストリームは、中に含まれる少なくとも１つのカメラパラメータを決定するように復号化される。少なくとも１つのカメラパラメータは、少なくとも２つのビューのうちの少なくとも１つのビューに対応する。

本発明の原理のさらに他の態様により方法が実現される。この方法は、ビットストリームから、マルチビューコンテンツに対応する少なくとも２つのビューを復号化することを含み、ビットストリームは、中に含まれる少なくとも１つのカメラパラメータを決定するように復号化される。少なくとも１つのカメラパラメータは、少なくとも２つのビューのうちの少なくとも１つのビューに対応する。

本発明の原理のさらなる態様により装置が実現される。この装置は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを符号化して結果として得られるビットストリームに入れる符号化器を備え、その際に結果として得られるビットストリームは、その少なくとも２つのビューのうちの少なくとも１つのビューに対する少なくとも１つのカメラパラメータに関係する少なくとも１つのシンタックス要素を含むように符号化される。

本発明の原理のさらなる他の態様により方法が実現される。この方法は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを符号化して結果として得られるビットストリームに入れることを含み、その際に結果として得られるビットストリームは、その少なくとも２つのビューのうちの少なくとも１つのビューに対する少なくとも１つのカメラパラメータに関係する少なくとも１つのシンタックス要素を含むように符号化される。

本発明の原理のさらなる態様により装置が実現される。この装置は、ビットストリームから、マルチビュービデオコンテンツに対応する少なくとも２つのビューを復号化する復号器を備え、ビットストリームは、そのビットストリームに含まれる少なくとも１つのシンタックス要素に基づきその少なくとも２つのビューのうちの少なくとも１つのビューに対する少なくとも１つのカメラパラメータを決定するように復号化される。

本発明の原理の追加の態様により方法が実現される。この方法は、ビットストリームから、マルチビュービデオコンテンツに対応する少なくとも２つのビューを復号化することを含み、ビットストリームは、そのビットストリームに含まれる少なくとも１つのシンタックス要素に基づきその少なくとも２つのビューのうちの少なくとも１つのビューに対する少なくとも１つのカメラパラメータを決定するように復号化される。

本発明の原理のこれらおよび他の態様、特徴、および利点は、例示的な実施形態の以下の詳細な説明から、添付図面とともに読むことで、明白になるであろう。

本発明の原理は、例示的な図面を見るとさらによく理解され得る。

本発明の原理は、マルチビュービデオ符号化システムで使用する方法および装置を対象とする。

本明細書では、本発明の原理を明らかにする。したがって、当業者であれば、本明細書では明示的に説明されるか、または示されていないけれども、本発明の原理を具現化し、本発明の精神および範囲の含まれる様々な配置を考案することができることは理解されるであろう。

本明細書に記載されているすべての実施例および条件付の用語は、読者が本発明の原理および（複数の）発明者が寄与している概念を理解して技術を発展させるのを助けるという教育上の目的を意図しており、またそのような特に記載されている実施例および条件に制限を付けないと解釈されるべきである。

さらに、本明細書で本発明の原理、態様、および実施形態を述べるすべての陳述は、その特定の実施例とともに、その構造的等価物と機能的等価物を両方とも包含することが意図されている。それに加えて、そのような等価物は、現在知られている等価物だけでなく、将来開発される等価物、つまり、同じ機能を実行する開発された任意の要素をも、構造に関係なく、含むことが意図されている。

したがって、例えば、本明細書で提示されているブロック図が本発明の原理を具現化する例示的な回路の概念図を表すことは、当業者には理解されるであろう。同様に、フローチャート、流れ図、状態遷移図、疑似コードなどは、コンピュータ可読媒体において実質的に表され、したがってコンピュータまたはプロセッサにより、そのようなコンピュータまたはプロセッサが明示的に示されているかいないかに関係なく実行され得る様々なプロセスを表すことは理解されるであろう。

図に示されている様々な要素の機能は、専用ハードウェアとともに、適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアを使用することにより実現され得る。プロセッサにより実現される場合、機能は、単一の専用プロセッサ、単一の共有プロセッサ、または一部が共有されていてもよい複数の個別プロセッサにより実現され得る。さらに、「プロセッサ」または「コントローラ」という用語の明示的な使用は、ソフトウェアを実行することができるハードウェアを排他的に指し示すものと解釈すべきでなく、限定はしないが、デジタルシグナルプロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを格納するための読み取り専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、および不揮発性記憶装置を黙示的に含むことができる。

従来のおよび／または特注の他のハードウェアも含めることができる。同様に、図に示されているスイッチは、概念的なものにすぎない。それらの機能は、プログラムロジックのオペレーションを通じて、専用ロジックを通じて、プログラム制御および専用ロジックの相互のやり取りを通じて、さらには手動で実行することができ、特定の技術は文脈から詳しく理解されるように実装者によって選択可能である。

請求項では、指定された機能を実行する手段として表される要素は、例えばａ）その機能を実行する回路素子の組合せ、またはｂ）機能を実行するためにそのソフトウェアを実行する適切な回路と組み合わせた任意の形態のソフトウェア、したがって、ファームウェア、マイクロコードなどを含む、ソフトウェアを含む、その機能を実行する任意の手段を包含することが意図されている。請求項に記載されている本発明の原理は、様々な記載されている手段により実現される機能が請求項において主張されている方法で組み合わされ、まとめられているという事実にある。したがって、これらの機能を実現することができる手段は、本明細書に示されている手段と同等であると考えられる。

明細書において本発明の原理の「一実施形態」または「実施形態」と記述されている場合、これは、その実施形態に関して説明されている特定の特徴、構造、特性などが本発明の原理の少なくとも１つの実施形態に含まれることを意味する。そのため、「一実施形態では」または「実施形態では」という語句が明細書の様々な箇所に記載されていても、必ずしもすべて同じ実施形態を指しているとは限らない。

図１を参照すると、本発明の原理が適用され得る例示的なビデオ符号化器が、全体として参照番号１００で示されている。

ビデオ符号化器１００の入力は、コンバイナ１１０の非反転入力とシグナル通信するように接続されている。コンバイナ１１０の出力は、変換器／量子化器１２０とシグナル通信するように接続されている。変換器／量子化器１２０の出力は、エントロピー符号化器１４０とシグナル通信するように接続される。エントロピー符号化器１４０の出力は、符号化器１００の出力として利用可能である。

変換器／量子化器１２０の出力は、さらに、逆変換器／量子化器１５０とシグナル通信するように接続される。逆変換器／量子化器１５０の出力は、デブロックフィルタ１６０の入力とシグナル通信するように接続される。デブロックフィルタ１６０の出力は、参照ピクチャストア１７０とシグナル通信するように接続される。参照ピクチャストア１７０の第１の出力は、動き推定器１８０の第１の入力とシグナル通信するように接続される。符号化器１００の入力はさらに、動き推定器１８０の第２の入力とシグナル通信するように接続されている。動き推定器１８０の出力は、動き補償器１９０の第１の入力とシグナル通信するように接続される。参照ピクチャストア１７０の第２の出力は、動き補償器１９０の第２の入力とシグナル通信するように接続される。動き補償器１９０の出力は、コンバイナ１１０の反転入力とシグナル通信するように接続される。

図２を参照すると、本発明の原理が適用され得る例示的なビデオ復号器が、全体として参照番号２００で示されている。

ビデオ復号器２００は、ビデオシーケンスを受け取るエントロピー復号器２１０を含む。エントロピー復号器２１０の第１の出力は、逆量子化器／変換器２２０の入力とシグナル通信するように接続される。逆量子化器／変換器２２０の出力は、コンバイナ２４０の第１の非反転入力とシグナル通信するように接続される。

コンバイナ２４０の出力は、デブロックフィルタ２９０の入力とシグナル通信するように接続される。デブロックフィルタ２９０の出力は、参照ピクチャストア２５０の入力とシグナル通信するように接続される。参照ピクチャストア２５０の出力は、動き補償器２６０の第１の入力とシグナル通信するように接続される。動き補償器２６０の出力は、コンバイナ２４０の第２の非反転入力とシグナル通信するように接続される。エントロピー復号器２１０の第２の出力は、動き補償器２６０の第２の入力とシグナル通信するように接続される。デブロックフィルタ２９０の出力は、ビデオ復号器２００の出力として利用できる。

本発明の原理の一実施形態では、マルチビューシーケンスを効率よく処理する高水準シンタックスが提案されている。特に、マルチビュースライスをサポートするために専用のＮＡＬユニットタイプおよびさらに２つの新しいＮＡＬユニットタイプを含むビューパラメータセット（ＶＰＳ）と呼ばれる新しいパラメータセットを作成することを提案するが、ただし、ＮＡＬユニットタイプはスライスがどのビューに属すかを識別するＮＡＬヘッダのビュー識別子（ｉｄ）を含む。ビュースケーラビリティおよびＭＰＥＧ−４ＡＶＣ標準に準拠する復号器との後方互換性のため、ここで「ＭＰＥＧ−４ＡＶＣ準拠ベースビュー」と呼ぶ１つのＭＰＥＧ−４ＡＶＣ準拠ビューを維持することを提案する。

本明細書で使用されているように、「高水準シンタックス」は、マクロブロックレイヤよりも階層的に上にあるビットストリーム内に存在するシンタックスを指す。例えば、本明細書で使用されているような、高水準シンタックスは、限定はしないが、スライスヘッダレベル、付加拡張情報（ＳＥＩ）レベル、ピクチャパラメータセットレベル、およびシーケンスパラメータセットレベルを指すことができる。

特定のビューを識別し、カメラパラメータをシグナリングする装備を持たないと上で説明されているマルチビュービデオ符号化システムの現在の実装では、異なるビューがインタリーブされ、異なるビューを別々のビューとして処理する代わりに単一のシーケンスを形成する。シンタックスは、上述のように、ＭＰＥＧ−４ＡＶＣ標準と互換性があるため、現在は、所定のスライスがどのビューに属すかを識別することができない。このビュー情報は、いくつかの理由から必要である。ビュースケーラビリティ、ビューランダムアクセス、並列処理、ビュー生成、およびビュー合成は、すべてビューを識別する必要のあるマルチビュービデオ符号化の必要条件である。ビューランダムアクセスおよびビュースケーラビリティを効率よくサポートするために、異なるピクチャが互いにどのように依存するかを復号器側で知ることが重要であり、したがって、必要なピクチャのみが復号化される。ビュー合成には、カメラパラメータが必要である。ビュー合成が、最終的に、復号化ループ内で使用される場合、カメラパラメータをシグナリングする標準化された方法が指定される必要がある。一実施形態によれば、ビューパラメータセットが使用される。

一実施形態では、非ＭＶＣ互換であるが、ＭＰＥＧ−４ＡＶＣ互換である復号器をサポートするためにＭＰＥＧ−４ＡＶＣ標準と完全後方互換性を有する１つのビューが必要であると想定されている。一実施形態では、高速ビューランダムアクセスを行いやすくするために独立復号化可能なビューがあると想定される。これらのビューを「ベースビュー」と呼ぶ。ベースビューは、ＭＰＥＧ−４ＡＶＣ標準と互換性があってもなくてもよいが、ＭＰＥＧ−４ＡＶＣ互換ビューは常にベースビューである。

図３を参照すると、階層型Ｂピクチャを使用する、ＭＰＥＧ−４ＡＶＣ標準に基づくビュー間時間予測構造は、全体として参照番号３００で示されている。図３において、変数Ｉは、イントラ符号化ピクチャを表し、変数Ｐは、予測符号化ピクチャを表し、変数Ｂは、双予測符号化ピクチャを表し、変数Ｔは、特定のピクチャの配置を表し、変数Ｓは、特定のピクチャが対応する特定のビューを表す。

一実施形態により、以下の用語が定義される。

アンカーピクチャは、復号化が異なる時点にサンプリングされたピクチャを伴わないピクチャとして定義される。アンカーピクチャは、ｎａｌ＿ｒｅｆ＿ｉｄｃを３に設定することにより通知される。図３において、配置Ｔ０、Ｔ８、．．．、Ｔ９６およびＴ１００にあるすべてのピクチャは、アンカーピクチャの実施例である。

非アンカーピクチャは、アンカーピクチャに対し指定された上記制約条件を有しないピクチャとして定義される。図３において、ピクチャＢ２、Ｂ３、およびＢ４は、非アンカーピクチャである。

ベースビューは、他のビューに依存せず、独立に復号化できるビューである。図３のビューＳ０は、ベースビューの一例である。

さらに、一実施形態では、マルチビュービデオ符号化スライスをサポートするため、専用のＮＡＬユニットタイプおよび２つの新しいＮＡＬユニットタイプを含むビューパラメータセットと呼ばれる新しいパラメータセットが提案される。さらに、ｖｉｅｗ＿ｉｄおよび使用されるビューパラメータセットを示すようにスライスヘッダシンタックスを修正する。

ＭＰＥＧ−４ＡＶＣ標準は、２つのパラメータセット、（１）シーケンス全体にわたって変化することが予想されない情報を含む、シーケンスパラメータセット（ＳＰＳ）および（２）それぞれのピクチャについて変化することが予想されない情報を含む、ピクチャパラメータセット（ＰＰＳ）を含む。

マルチビュービデオ符号化は、それぞれのビューに特有の追加の情報を有するので、ここでは、この情報を伝送するために別のビューパラメータセット（ＶＰＳ）を作成した。異なるビューの間の依存性を決定するのに必要なすべての情報が、ビューパラメータセット内に示されている。提案されているビューパラメータセットに対するシンタックステーブルは、表１（ビューパラメータセットＲＢＳＰシンタックス）に示されている。このビューパラメータセットは、新しいＮＡＬユニットタイプ、例えば、表２（ＮＡＬユニットタイプコード）に示されているようなタイプ１４に含まれる。

本発明の説明により、以下の用語が定義される。

ｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、スライスヘッダにおいて参照されるビューパラメータセットを識別する。ｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、０から２５５までの範囲内とする。

ｎｕｍｂｅｒ＿ｏｆ＿ｖｉｅｗｓ＿ｍｉｎｕｓ＿１に１を加えた値は、ビットストリーム中のビューの総数を識別する。ｎｕｍｂｅｒ＿ｏｆ＿ｖｉｅｗ＿ｍｉｎｕｓ＿１の値は、０から２５５までの範囲内とする。

ａｖｃ＿ｃｏｍｐａｔｉｂｌｅ＿ｖｉｅｗ＿ｉｄは、ＡＶＣ互換ビューのｖｉｅｗ＿ｉｄを示す。ａｖｃ＿ｃｏｍｐａｔｉｂｌｅ＿ｖｉｅｗ＿ｉｄの値は、０から２５５までの範囲内とする。

１に等しいｉｓ＿ｂａｓｅ＿ｖｉｅｗ＿ｆｌａｇ［ｉ］は、ビューｉがベースビューであり、独立に復号化可能であるということを示す。０に等しいｉｓ＿ｂａｓｅ＿ｖｉｅｗ＿ｆｌａｇ［ｉ］は、ビューｉがベースビューでないことを示す。ｉｓ＿ｂａｓｅ＿ｖｉｅｗ＿ｆｌａｇ［ｉ］の値は、ＡＶＣ互換ビューｉについては１に等しいものとする。

１に等しいｄｅｐｅｎｄｅｎｃｙ＿ｕｐｄａｔｅ＿ｆｌａｇは、このビューに対する依存性情報がＶＰＳにおいて更新されることを示す。０に等しいｄｅｐｅｎｄｅｎｃｙ＿ｕｐｄａｔｅ＿ｆｌａｇは、このビューに対する依存性情報が更新されず、また変更されるべきでないことを示す。

１に等しいａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］は、ｊに等しいｖｉｅｗ＿ｉｄを有するアンカーピクチャが、ｉに等しいｖｉｅｗ＿ｉｄを有するアンカーピクチャに依存することを示す。

１に等しいｎｏｎ＿ａｎｃｈｏｒｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］は、ｊに等しいｖｉｅｗ＿ｉｄを有する非アンカーピクチャが、ｉに等しいｖｉｅｗ＿ｉｄを有する非アンカーピクチャに依存することを示す。ｎｏｎ＿ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］は、ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｉ］が１に等しい場合のみ存在する。ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］が存在し、０に等しい場合、ｎｏｎ＿ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］は、０に等しいと推論されるものとする。

ビューパラメータセット内のオプションパラメータには、以下のものがある。

１に等しいｃａｍｅｒａ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、射影行列が以下のようにシグナリングされることを示す。

ｃａｍｅｒａ＿ｐａｒａｍｅｔｅｒｓ、カメラパラメータが３×４射影行列Ｐの形で伝送されると想定しており、これは、３Ｄ世界内の点を２Ｄ画像座標にマップするために使用できる。

Ｉ＝Ｐ＊［Ｘ_ｗ：Ｙ_ｗ：Ｚ_ｗ：１］
ただし、Ｉは、同次座標Ｉ＝［λ・Ｉ_ｘ：λ・Ｉ_ｙ：λ］で表される。

それぞれの要素ｃａｍｅｒａ＿ｐａｒａｍｅｔｅｒｓ＿＊＿＊は、ＩＥＥＥ単精度浮動小数点（３２ビット）標準により表すことができる。

この情報を別のパラメータセットに入れる利点は、ＭＰＥＧ−４ＡＶＣ標準と互換性のあるシーケンスパラメータセット（ＳＰＳ）およびピクチャパラメータセット（ＰＰＳ）をそのまま維持するという点である。ビュー毎に、この情報をシーケンスパラメータセットまたはピクチャパラメータセットに入れる場合、シーケンスパラメータセットとピクチャパラメータセットを別々に送信する必要がある。これでは、制限が強すぎる。また、この情報は、シーケンスパラメータセットまたはピクチャパラメータセットのいずれにもうまく収まらない。他の理由は、ＭＰＥＧ−４ＡＶＣ標準互換ベースビューを用意することを提案しているため、そのようなビューに対しては別々の（ＭＰＥＧ−４ＡＶＣ互換）シーケンスパラメータセットおよびピクチャパラメータセットを、また他のすべてのビューに対しては別々のシーケンスパラメータセット／ピクチャパラメータセット（ビュー特有の情報を含む）を使用しなければならないであろう。

シーケンスのごく最初のところで単一のビューパラメータセット内にすべての依存性情報を入れるのは、非常に有益である。復号器は、ビューパラメータセットを受け取った後、すべての依存性情報を使用してマップを作成することができる。これにより、スライスを受け取る前に、特定のビューを復号化するのにどのビューが必要かを知ることができる。この結果、スライスヘッダを解析してｖｉｅｗ＿ｉｄを取得し、ユーザによって示されるようにターゲットビューを復号化するのにこのビューが必要かどうかを判定するだけでよい。そのため、フレームをバッファリングすることも、また特定のビューを復号化するのにどのフレームが必要かを判定するある時点まで待つことも必要ない。

依存性情報、およびビューがベースビューであるかどうかは、ビューパラメータセット内に示される。ＭＰＥＧ−４ＡＶＣ互換ベースビューであっても、そのビューに特有の情報に関連付けられている（例えば、カメラパラメータ）。この情報は、ビュー補間／合成を含むいくつかの目的のために他のビューにより使用され得る。ここで、１つのＭＰＥＧ−４ＡＶＣ互換ビューのみをサポートすることを提案するが、それは、複数のＭＰＥＧ−４ＡＶＣ互換ビューがあり、これにより、どのビューに属しているかをそのようなスライド毎に識別するのが困難になり、非マルチビュービデオコーディングデコーダは、簡単に混乱してしまうことがあるからである。

それをそのようなビューの１つだけに制限することにより、非マルチビュービデオコーディングデコーダが、そのビューを正しく復号化することができることが保証され、マルチビュービデオコーディングデコーダは、またシンタックスａｖｃ＿ｃｏｍｐａｔｉｂｌｅ＿ｖｉｅｗ＿ｉｄを使用してビューパラメータセットからそのようなビューを容易に識別できる。他のすべてのベースビュー（非ＭＰＥＧ−４ＡＶＣ準拠）は、ｉｓ＿ｂａｓｅ＿ｖｉｅｗ＿ｆｌａｇを使用して識別され得る。

マルチビュービデオ符号化スライスに対する新しいスライスヘッダが提案される。ビュースケーラビリティ、ビューランダムアクセスなどをサポートするために、現在のスライスがどのビューに属しているかを知る必要がある。ビュー合成およびビュー補間については、さらにカメラパラメータを必要とする可能性もある。この情報は、上の表１に示されているようにビューパラメータセット内に存在し得る。ビューパラメータセットは、ｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを使用して識別される。ここでは、表３（スライスヘッダシンタックス）に示されているように、すべての非ＭＰＥＧ−４ＡＶＣ互換スライスのスライスヘッダ内にｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを追加することを提案する。ｖｉｅｗ＿ｉｄ情報は、ビュー補間／合成、ビューランダムアクセス、並列処理などを含むいくつかのマルチビュービデオ符号化要求条件に対し必要なものである。この情報は、クロスビュー予測にのみ関係する特殊な符号化モードにも使用され得る。このビューに対するビューパラメータセットから対応するパラメータを見つけるために、スライスヘッダにｖｉｅｗ＿ｉｄを入れて送る必要がある。

新しいマルチビュービデオ符号化スライスについて、ここでは、それぞれのスライスタイプに対し新しいＮＡＬユニットタイプを作成することを提案する（瞬時復号化更新（ＩＤＲ）および非ＩＤＲ）。ここでは、表２に示されているように、ＩＤＲスライスに対してはタイプ２２を、非ＩＤＲに対してはタイプ２３を使用することを提案する。

ｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、使用中のビューパラメータセットを指定する。ｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、０から２５５までの範囲内とする。

ｖｉｅｗ＿ｉｄは、現在のビューのビューｉｄを示す。ｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、０から２５５までの範囲内とする。

次に、ビューランダムアクセスの一例を、本発明の原理の一実施形態に従って説明する。

ビューランダムアクセスは、マルチビュービデオ符号化の要求条件である。目標は、最低限の復号化作業で任意のビューにアクセスすることである。そこで、図３に示されている予測構造に対するビューランダムアクセスの単純な例を考える。

ユーザがビューＳ３を復号化することを要求するとする。図３から、このビューはビューＳ０、ビューＳ２、およびビューＳ４に依存することがわかる。例示的なビューパラメータセットを以下に示す。

そこで、それらのビューに対するｖｉｅｗ＿ｉｄがスライスヘッダシンタックスにおいて０から７まで連続的に番号を振られており、ｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔが０に等しいビューパラメータセットが１つだけあると仮定しよう。ｎｕｍｂｅｒ＿ｏｆ＿ｖｉｅｗｓ＿ｍｉｎｕｓ＿１は、７に設定される。ａｖｃ＿ｃｏｍｐａｔｉｂｌｅ＿ｖｉｅｗ＿ｉｄは、０に設定することが可能であろう。

ビューＳ０については、ｉｓ＿ｂａｓｅ＿ｖｉｅｗ＿ｆｌａｇは、１に設定され、他のビューについては、０に設定される。Ｓ０、Ｓ１、Ｓ２、Ｓ３、およびＳ４に対する依存性マップは、表４Ａ（Ｓ０のａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐに対する依存性テーブル）および表４Ｂ（Ｓ０のｎｏｎ＿ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐに対する依存性テーブル）に示されているように見える。他のビューに対する依存性マップも、同様に書くことができる。

このテーブルは、復号器において利用できるようになった後、復号器は、それが受け取るスライスが特定のビューを復号化するのに必要かどうかを容易に判定できる。復号器は、現在のスライスのｖｉｅｗ＿ｉｄを判定するのにスライスヘッダを解析するだけでよく、ターゲットビューＳ３については、２つのテーブル（表４ａと表４Ｂ）内のＳ３列を調べて、現在のスライスを保持すべきかどうかを決定することができる。復号器は、アンカーピクチャと非アンカーピクチャとを区別する必要があるが、それは、表４ａと表４ｂからわかるように、異なる依存性を有している可能性があるからである。ターゲットビューＳ３については、ビューＳ０、Ｓ２、およびＳ４のアンカーピクチャを復号化する必要があるが、ビューＳ２およびＳ４の非アンカーピクチャを復号化するだけでよい。

図４を参照すると、マルチビュービデオコンテンツの複数のビューを符号化する例示的な方法は、全体として参照番号４００により示されている。

方法４００は、機能ブロック４１０に制御を渡す開始ブロック４０５を含む。機能ブロック４１０は、複数のビューを符号化するために使用される符号化パラメータのコンフィギュレーションファイルを読み込み、制御を機能ブロック４１５に渡す。機能ブロックは、Ｎを、符号化されるビュー数に等しくなるように設定し、制御を機能ブロック４２０に渡す。機能ブロック４２０は、ｎｕｍｂｅｒ＿ｏｆ＿ｖｉｅｗｓ＿ｍｉｎｕｓ＿１をＮ−１に設定し、ａｖｃ＿ｃｏｍｐａｔｉｂｌｅ＿ｖｉｅｗ＿ｉｄをＭＰＥＧ−４ＡＶＣ互換ビューのｖｉｅｗ＿ｉｄに設定し、制御を機能ブロック４２５に渡す。機能ブロック４２５は、ｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを有効な整数に設定し、変数ｉを０に初期化し、制御を判定ブロック４３０に渡す。判定ブロック４３０は、ｉがＮよりも大きいかどうかを判定する。もし大きければ、制御は、判定ブロック４３５に渡される。そうでなければ、制御は、機能ブロック４７０に渡される。

判定ブロック４３５は、現在のビューがベースビューかどうかを判定する。そうであれば、制御は、機能ブロック４４０に渡される。そうでなければ、制御は、機能ブロック４８０に渡される。

機能ブロック４４０は、ｉｓ＿ｂａｓｅ＿ｖｉｅｗ＿ｆｌａｇ［ｉ］を１に設定し、制御を判定ブロック４４５に渡す。判定ブロック４４５は、依存性が更新されているかどうかを判定する。そうであれば、制御は、機能ブロック４５０に渡される。そうでなければ、制御は、機能ブロック４８５に渡される。

機能ブロック４５０は、ｄｅｐｅｎｄｅｎｃｙ＿ｕｐｄａｔｅ＿ｆｌａｇを１に設定し、制御を判定ブロック４５５に渡す。機能ブロック４５５は、変数ｊを０に設定し、制御を判定ブロック４６０に渡す。判定ブロック４６０は、ｊがＮよりも小さいかどうかを判定する。そうであれば、制御は、機能ブロック４６５に渡される。そうでなければ、制御は、機能ブロック４８７に渡される。

機能ブロック４６５は、ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］およびｎｏｎ＿ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］を、コンフィギュレーションファイルにより示される値に設定し、制御を機能ブロック４６７に渡す。機能ブロック４６７は、変数ｊを１だけインクリメントし、制御を判定ブロック４６０に返す。

機能ブロック４７０は、カメラパラメータが存在している場合にｃａｍｅｒａ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを１に設定し、存在していなければｃａｍｅｒａ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを０に設定して、制御を判定ブロック４７２に渡す。判定ブロック４７２は、ｃａｍｅｒａ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しいかどうかを判定する。そうであれば、制御は、機能ブロック４３２に渡される。そうでなければ、制御は、機能ブロック４３４に渡される。

機能ブロック４３２は、カメラパラメータを書き込み、制御を機能ブロック４３４に渡す。

機能ブロック４３４は、ビューパラメータセット（ＶＰＳ）またはシーケンスパラメータセット（ＳＰＳ）を書き込み、制御を最終ブロック４９９に渡す。

機能ブロック４８０は、ｉｓ＿ｂａｓｅ＿ｖｉｅｗ＿ｆｌａｇ［ｉ］を０に設定し、制御を判定ブロック４４５に渡す。

機能ブロック４８５は、ｄｅｐｅｎｄｅｎｃｙ＿ｕｐｄａｔｅ＿ｆｌａｇを０に設定し、制御を判定ブロック４８７に渡す。機能ブロック４８７は、変数ｉを１だけインクリメントし、制御を判定ブロック４３０に返す。

図５を参照すると、マルチビュービデオコンテンツの複数のビューを復号化する例示的な方法は、全体として参照番号５００により示されている。

方法５００は、機能ブロック５１０に制御を渡す開始ブロック５０５を含む。機能ブロック５１０は、シーケンスパラメータセット（ＳＰＳ）またはビューパラメータセット（ＶＰＳ）、ｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ、ｎｕｍｂｅｒ＿ｏｆ＿ｖｉｅｗｓ＿ｍｉｎｕｓ＿１、ａｖｃ＿ｃｏｍｐａｔｉｂｌｅ＿ｖｉｅｗ＿ｉｄを解析し、変数ｉおよびｊを０に設定し、Ｎをｎｕｍｂｅｒ＿ｏｆ＿ｖｉｅｗｓ＿ｍｉｎｕｓ＿１に設定し、制御を判定ブロック５１５に渡す。判定ブロック５１５は、ｉがＮ以下かどうかを判定する。そうであれば、制御は、機能ブロック５７０に渡される。そうでなければ、制御は、機能ブロック５２５に渡される。

機能ブロック５７０は、ｃａｍｅｒａ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを解析し、制御を判定ブロック５７２に渡す。判定ブロック５７２は、ｃａｍｅｒａ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しいかどうかを判定する。そうであれば、制御は、機能ブロック５７４に渡される。そうでなければ、制御は、機能ブロック５７６に渡される。

機能ブロック５７４は、カメラパラメータを解析し、制御を機能ブロック５７６に渡す。

機能ブロック５７６は、復号化を続け、制御を最終ブロック５９９に渡す。

機能ブロック５２５は、ｉｓ＿ｂａｓｅ＿ｖｉｅｗ＿ｆｌａｇ［ｉ］およびｄｅｐｅｎｄｅｎｃｙ＿ｕｐｄａｔｅ＿ｆｌａｇを解析し、制御を判定ブロック５３０に渡す。判定ブロック５３０は、ｄｅｐｅｎｄｅｎｃｙ＿ｕｐｄａｔｅ＿ｆｌａｇが０に等しいかどうかを判定する。そうであれば、制御は、機能ブロック５３２に渡される。そうでなければ、制御は、判定ブロック５３５に渡される。

機能ブロック５３２は、ｉを１だけインクリメントし、制御を判定ブロック５１５に返す。

判定ブロック５３５は、ｊがＮ以下かどうかを判定する。そうであれば、制御は、機能ブロック５４０に渡される。そうでなければ、制御は、機能ブロック５３７に渡される。

機能ブロック５４０は、ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］を解析し、制御を判定ブロック５４５に渡す。判定ブロック５４５は、ｎｏｎ＿ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］が１に等しいかどうかを判定する。そうであれば、制御は、機能ブロック５５０に渡される。そうでなければ、制御は、機能ブロック５４７に渡される。

機能ブロック５５０は、ｎｏｎ＿ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］を解析し、制御を機能ブロック５４７に渡す。

機能ブロック５４７は、ｊを１だけインクリメントし、制御を判定ブロック５３５に返す。

機能ブロック５３７は、ｉを１だけインクリメントし、制御を機能ブロック５１５に返す。

次に、本発明の多数の付随する利点／特徴のいくつかについて説明するが、そのうちのいくつかはすでに上で述べられている。例えば、１つの利点／特徴は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを符号化して結果として得られるビットストリームに入れる符号化器を備える装置であり、ただし、結果として得られるビットストリームは、ビュー特有の情報を含むように符号化される。ビュー特有の情報は、少なくとも２つのビューのうちの少なくともいくつかのビューの間の復号化相互依存性を示す。他の利点／特徴は、復号化相互依存性により対応する復号化に対する少なくとも２つのビューのサブセットのみを使用する少なくとも２つのビューのうちの少なくとも１つのビューの対応する復号化が可能である、上述のような符号化器を有する装置である。さらに他の利点／特徴は、ビュー特有の情報の中で示されている復号化相互依存性が、その少なくとも２つのビューのうちの少なくとも１つのビューのランダムアクセスに対し、その少なくとも１つのビューに関して非相互依存であると示されているその少なくとも２つのビューのうちの他のビューに関係するスライスを削除することにより使用される、上述のような符号化器を有する装置である。さらに他の利点／特徴は、ビュー特有の情報が高水準シンタックスに含まれる、上述のような符号化器を有する装置である。さらなる利点／特徴は、ビュー特有の情報が国際標準化機構／国際電気標準会議Moving Picture Experts Group-4 Part 10 Advanced Video Coding標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告に準拠するパラメータセットに含まれる、上述のような符号化器を有する装置である。さらなる他の利点／特徴は、ビュー特有の情報がビューパラメータセットに含まれる、上述のような符号化器を有する装置である。さらなる他の利点／特徴は、ビュー特有の情報が上述のようにビューパラメータセットに含まれ、ビューパラメータセットが特にビューパラメータセットだけと使用するためにＮＡＬユニットタイプを割り当てられる、符号化器を有する装置である。追加の利点／特徴は、上述のように特にビューパラメータセットとだけ使用するためＮＡＬユニットタイプが割り当てられ、ＮＡＬユニットタイプが１４である、符号化器を有する装置である。さらに、他の利点／特徴は、ビュー特有の情報がビューパラメータセットｉｄを示す少なくとも１つのシンタックス要素を含む、上述のような符号化器を有する装置である。さらに、他の利点／特徴は、上述のようにビュー特有の情報がビューパラメータセットｉｄを示す少なくとも１つのシンタックス要素を含み、少なくとも１つのシンタックス要素がｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素により表される、符号化器を有する装置である。また、他の利点／特徴は、ビュー特有の情報がビューの個数を示す少なくとも１つのシンタックス要素を含む、上述のような符号化器を有する装置である。それに加えて、他の利点／特徴は、上述のようにビュー特有の情報がビューの個数を示す少なくとも１つのシンタックス要素を含み、少なくとも１つのシンタックス要素がｎｕｍｂｅｒ＿ｏｆ＿ｖｉｅｗｓ＿ｍｉｎｕｓ＿１シンタックス要素により表される、符号化器を有する装置である。さらに、他の利点／特徴は、少なくとも２つのビューのうちの特定の１つのビューが国際標準化機構／国際電気標準会議Moving Picture Experts Group-4 Part 10 Advanced Video Coding標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告に準拠する結果として得られるビットストリームに符号化されたときに、ビュー特有の情報が少なくとも２つのビューのうちの特定の１つのビューに対するビューｉｄを示す少なくとも１つのシンタックス要素を含む、上述のような符号化器を有する装置である。さらに、他の利点／特徴は、上述のようにビュー特有の情報が少なくとも２つのビューのうちの特定の１つのビューに対するビューｉｄを示す少なくとも１つのシンタックス要素を含み、少なくとも１つのシンタックス要素がａｖｃ＿ｃｏｍｐａｔｉｂｌｅ＿ｖｉｅｗ＿ｉｄシンタックス要素により表される、符号化器を有する装置である。また、他の利点／特徴は、ビュー特有の情報が少なくとも１つのシンタックス要素を含むか、または高水準シンタックスから黙示的に導き出すことができ、少なくとも１つのシンタックス要素および高水準シンタックスは少なくとも２つのビューのうちの特定の１つのビューが国際標準化機構／国際電気標準会議Moving Picture Experts Group-4 Part 10 Advanced Video Coding標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告と互換性があることを示す、上述のような符号化器を有する装置である。それに加えて、他の利点／特徴は、上述のようにビュー特有の情報が少なくとも１つのシンタックス要素を含むか、または高水準シンタックスから黙示的に導き出すことができ、少なくとも１つのシンタックス要素がｉｓ＿ｂａｓｅ＿ｖｉｅｗ＿ｆｌａｇシンタックス要素により表される、符号化器を有する装置である。さらに、他の利点／特徴は、ビュー特有の情報が少なくとも２つのビューのうちの少なくとも１つのビューに対する依存性情報が結果として得られるビットストリーム内に存在するかどうかを示す少なくとも１つのシンタックス要素を含む、上述のような符号化器を有する装置である。さらに、他の利点／特徴は、ビュー特有の情報が上述のように少なくとも２つのビューのうちの少なくとも１つのビューに対する依存性情報が結果として得られるビットストリーム内に存在するかどうかを示す少なくとも１つのシンタックス要素を含み、少なくとも１つのシンタックス要素がｄｅｐｅｎｄｅｎｃｙ＿ｕｐｄａｔｅ＿ｆｌａｇシンタックス要素により表される、符号化器を有する装置である。また、他の利点／特徴は、ビュー特有の情報が少なくとも２つのビューのうちの現在の１つのビュー内の少なくとも１つのアンカーピクチャが少なくとも２つのビューのうちの他のどれかのビューを復号化するために使用されるかどうかを示す少なくとも１つのシンタックス要素を含む、上述のような符号化器を有する装置である。さらに、他の利点／特徴は、ビュー特有の情報が少なくとも２つのビューのうちの現在の１つのビュー内の少なくとも１つのアンカーピクチャが上述のように少なくとも２つのビューのうちの他のどれかのビューを復号化するために使用されるかどうかを示す少なくとも１つのシンタックス要素を含み、少なくとも１つのシンタックス要素がａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］シンタックス要素により表される、符号化器を有する装置である。また、他の利点／特徴は、ビュー特有の情報が少なくとも２つのビューのうちの現在の１つのビュー内の少なくとも１つの非アンカーピクチャが少なくとも２つのビューのうちの他のどれかのビューを復号化するために使用されるかどうかを示す少なくとも１つのシンタックス要素を含む、上述のような符号化器を有する装置である。さらに、他の利点／特徴は、ビュー特有の情報が少なくとも２つのビューのうちの現在の１つのビュー内の少なくとも１つの非アンカーピクチャが上述のように少なくとも２つのビューのうちの他のどれかのビューを復号化するために使用されるかどうかを示す少なくとも１つのシンタックス要素を含み、少なくとも１つのシンタックス要素がｎｏｎ＿ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］シンタックス要素により表される、符号化器を有する装置である。さらに、他の利点／特徴は、結果として得られるビットストリームが、少なくとも２つのビューのうちの少なくとも１つのビューに対する少なくとも１つのカメラパラメータに関係する少なくとも１つのシンタックス要素を含むように符号化される、上述のような符号化器を有する装置である。さらに、他の利点／特徴は、結果として得られるビットストリームが、上述のように少なくとも２つのビューのうちの少なくとも１つのビューに対する少なくとも１つのカメラパラメータに関係する少なくとも１つのシンタックス要素を含むように符号化され、少なくとも１つのシンタックスは結果として得られるビットストリームに対応するパラメータセットに含まれる、符号化器を有する装置である。

さらに、他の利点／特徴は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを、復号化のためその少なくとも２つのビューのうちの他のビューから独立している、その少なくとも２つのビューのうちのいずれかのビューをベースビューとして定義することにより、符号化する符号化器を備える装置である。

さらに、他の利点／特徴は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを、その少なくとも２つのビューのうちの少なくとも１つのビューを後方互換性のため国際標準化機構／国際電気標準会議Moving Picture Experts Group-4 Part 10 Advanced Video Coding標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告にシンタックス準拠する結果として得られるビットストリームに符号化することにより符号化する符号化器を備える装置である。また、他の利点／特徴は、少なくとも１つのビューが復号化するために少なくとも２つのビューのうちの他のビューから独立しているベースビューである、上述のような符号化器を有する装置である。それに加えて、他の利点／特徴は、ａｖｃ＿ｃｏｍｐａｔｉｂｌｅ＿ｖｉｅｗ＿ｉｄシンタックス要素が少なくとも１つのビューを後方互換性のため国際標準化機構／国際電気標準会議Moving Picture Experts Group-4 Part 10 Advanced Video Coding標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告にシンタックス準拠する結果として得られるビットストリームに符号化されているものとして識別する、上述のような符号化器を有する装置である。

さらに、他の利点／特徴は、２つの定義済みスライスタイプのうちの１つのスライスタイプを選択することによりマルチビュービデオコンテンツに対応する少なくとも２つのビューのうちの少なくとも１つのビューを符号化する符号化器を備える装置である。さらに、他の利点／特徴は、２つの定義済みスライスタイプが瞬時復号化更新スライスタイプおよび非瞬時復号化更新スライスタイプである、上述のような符号化器を有する装置である。また、他の利点／特徴は、ＮＡＬユニットタイプ２２が瞬時復号化更新スライスタイプに使用され、ＮＡＬユニットタイプ２３が非瞬時復号化更新スライスに使用される、上述のような瞬時復号化更新スライスタイプと非瞬時復号化更新スライスタイプのいずれかを選択する符号化器を有する装置である。それに加えて、他の利点／特徴は、少なくとも２つのスライスのうちの少なくとも１つのスライスに対するスライスヘッダがビュー特有のシンタックスを含む、上述のような符号化器を有する装置である。さらに、他の利点／特徴は、少なくとも２つのスライスのうちの少なくとも１つのスライスに対するスライスヘッダが上述のようにビュー特有のシンタックスを含み、ビュー特有のシンタックスがＮＡＬユニットタイプ２３およびＮＡＬユニットタイプ２４を必要条件としている、符号化器を有する装置である。さらに、他の利点／特徴は、少なくとも２つのスライスのうちの少なくとも１つのスライスに対するスライスヘッダが上述のようにビュー特有のシンタックスを含み、ビュー特有のシンタックスがビューパラメータセット識別子およびビュー識別子を含む、符号化器を有する装置である。また、他の利点／特徴は、ビュー特有のシンタックスが上述のようにビューパラメータセット識別子およびビュー識別子を含み、ビューパラメータセット識別子がｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素により表され、ビュー識別子がｖｉｅｗ＿ｉｄシンタックス要素により表される、符号化器を有する装置である。

それに加えて、他の利点／特徴は、マルチビューコンテンツに対応する少なくとも２つのビューを符号化して結果として得られるビットストリームに入れる符号化器を備え、その際に結果として得られるビットストリームがその少なくとも２つのビューのうちの少なくとも１つのビューに対応する少なくとも１つのカメラパラメータを含むように符号化される、装置である。さらに、他の利点／特徴は、結果として得られるビットストリームが、ビューパラメータセットを含むように符号化され、少なくとも１つのカメラパラメータがビューパラメータセットに含まれる、上述のような符号化器を有する装置である。さらに、他の利点／特徴は、少なくとも１つのカメラパラメータの存在がシンタックス要素により示される、上述のような符号化器を有する装置である。また、他の利点／特徴は、少なくとも１つのカメラパラメータの存在が上述のようにシンタックス要素により示され、シンタックス要素はｃａｍｅｒａ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素により表される、符号化器を有する装置である。それに加えて、他の利点／特徴は、少なくとも１つのカメラパラメータがｃａｍｅｒａ＿ｐａｒａｍｅｔｅｒｓシンタックス要素により表される、上述のような符号化器を有する装置である。

さらに、マルチビュービデオコンテンツに対応する少なくとも２つのビューを符号化して結果として得られるビットストリームに入れる符号化器を備え、その際に結果として得られるビットストリームは、その少なくとも２つのビューのうちの少なくとも１つのビューに対する少なくとも１つのカメラパラメータに関係する少なくとも１つのシンタックス要素を含むように符号化される、装置である。さらに、他の利点／特徴は、少なくとも１つのシンタックスが高水準シンタックス要素である、上述のような符号化器を有する装置である。また、他の利点／特徴は、少なくとも１つのシンタックスが結果として得られるビットストリームに対応するパラメータセットに含まれる、上述のような符号化器を有する装置である。

本発明の原理のこれらおよび他の特徴および利点は、当業者であれば、本明細書の教示に基づき容易に確認できる。本発明の原理の教示は、様々な形態のハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、またはそれらの組合せで実装することができることは理解されるであろう。

本発明の原理の教示は、ハードウェアとソフトウェアとの組合せとして実装されるのが最も好ましい。さらに、ソフトウェアは、プログラム記憶装置上に明確に具現化されたアプリケーションプログラムとして実装され得る。アプリケーションプログラムは、好適なアーキテクチャを含むマシンにアップロードされ、そのマシンにより実行され得る。好ましくは、マシンは、１つまたはそれ以上の中央演算処理装置（「ＣＰＵ」）、ランダムアクセスメモリ（「ＲＡＭ」）、および入出力（「Ｉ／Ｏ」）インターフェースなどのハードウェアを備えるコンピュータプラットフォームとして実装される。コンピュータプラットフォームは、さらに、オペレーティングシステムおよびマイクロ命令コードも含むことができる。本明細書で説明される様々なプロセスおよび機能は、ＣＰＵにより実行され得る、アプリケーションプログラムのマイクロ命令コードもしくはその一部、またはそれらの組合せの一部とすることができる。それに加えて、他の様々な周辺装置が、追加のデータ記憶装置および印刷装置などのコンピュータプラットフォームに接続され得る。

さらに、付属の図面に示されている構成要素であるシステムコンポーネントおよび方法の一部は好ましくはソフトウェアで実装されるため、システムコンポーネントまたはプロセス機能ブロック間の実際の接続は、本発明の原理がプログラムされる方法により異なることがあることは理解されるであろう。本明細書の教示が与えられれば、当業者は、本発明の原理のそれらの実装および類似の実装または構成を思い付くことができるであろう。

例示的な実施形態は、本明細書では付属の図面を参照しつつ説明されているけれども、本発明の原理は、それらの正確な実施形態に制限されるわけではなく、また当業者であれば、本発明の原理の範囲または精神から逸脱することなく、様々な他の変更および修正も可能であることを理解するであろう。このような変更および修正はすべて、付属の請求項で定められているとおり、本発明の原理の範囲内に含まれることが意図されている。

本発明の原理の一実施形態による、本発明の原理が適用され得る例示的なビデオ符号化器のブロック図である。本発明の原理の一実施形態による、本発明の原理が適用され得る例示的なビデオ復号器のブロック図である。本発明の原理の一実施形態による、階層型Ｂピクチャを使用する、ＭＰＥＧ−４ＡＶＣ標準に基づくビュー間時間予測構造の図である。本発明の原理の一実施形態による、マルチビュービデオコンテンツの複数のビューを符号化する例示的な方法の流れ図である。本発明の原理の一実施形態による、マルチビュービデオコンテンツの複数のビューを復号化する例示的な方法の流れ図である。

Claims

少なくともベースビューおよび別のビューを含むマルチビュービデオコンテンツを処理するための装置であって、
２つの定義済みスライスタイプのうちの１つを選択することにより前記別のビューを符号化する符号化器を備え、前記２つの定義済みスライスタイプに対応する、前記別のビューについてのＮＡＬユニットタイプが、前記ベースビューについてのＮＡＬユニットタイプとは異なり、前記２つの定義済みスライスタイプに対するスライスヘッダがビュー特有のシンタックスを含む、前記装置。
前記２つの定義済みスライスタイプは、瞬時復号化更新スライスタイプおよび非瞬時復号化更新スライスタイプである、請求項１に記載の装置。
前記ビュー特有のシンタックスは、ビューパラメータセット識別子およびビュー識別子を含む、請求項１に記載の装置。
少なくともベースビューおよび別のビューを含むマルチビュービデオコンテンツを処理するための方法であって、
２つの定義済みスライスタイプのうちの１つを選択することにより前記別のビューを符号化することを含み、前記２つの定義済みスライスタイプに対応する、前記別のビューについてのＮＡＬユニットタイプが、前記ベースビューについてのＮＡＬユニットタイプとは異なり、前記２つの定義済みスライスタイプに対するスライスヘッダがビュー特有のシンタックスを含む、前記方法。
前記２つの定義済みスライスタイプは、瞬時復号化更新スライスタイプおよび非瞬時復号化更新スライスタイプである、請求項４に記載の方法。
前記ビュー特有のシンタックスは、ビューパラメータセット識別子およびビュー識別子を含む、請求項４に記載の方法。
少なくともベースビューおよび別のビューを含むマルチビュービデオコンテンツを発生するための装置であって、
２つの定義済みスライスタイプのうちの１つを判定することにより前記別のビューを復号化する復号器を備え、前記２つの定義済みスライスタイプに対応する、前記別のビューについてのＮＡＬユニットタイプが、前記ベースビューについてのＮＡＬユニットタイプとは異なり、前記２つの定義済みスライスタイプに対するスライスヘッダがビュー特有のシンタックスを含む、前記装置。
前記２つの定義済みスライスタイプは、瞬時復号化更新スライスタイプおよび非瞬時復号化更新スライスタイプである、請求項７に記載の装置。
前記ビュー特有のシンタックスは、ビューパラメータセット識別子およびビュー識別子を含む、請求項７に記載の装置。
少なくともベースビューおよび別のビューを含むマルチビュービデオコンテンツを発生するための方法であって、
２つの定義済みスライスタイプのうちの１つを判定することにより前記別のビューを復号化することを含み、前記２つの定義済みスライスタイプに対応する、前記別のビューについてのＮＡＬユニットタイプが、前記ベースビューについてのＮＡＬユニットタイプとは異なり、前記２つの定義済みスライスタイプに対するスライスヘッダがビュー特有のシンタックスを含む、前記方法。
前記２つの定義済みスライスタイプは、瞬時復号化更新スライスタイプおよび非瞬時復号化更新スライスタイプである、請求項１０に記載の方法。
前記ビュー特有のシンタックスは、ビューパラメータセット識別子およびビュー識別子を含む、請求項１０に記載の方法。