JP5213064B2

JP5213064B2 - マルチビュービデオ符号化方法及びその装置

Info

Publication number: JP5213064B2
Application number: JP2009502802A
Authority: JP
Inventors: ビバスパンディットパービン; イーピンス; ペンイン; ゴミラクリスティーナ; マクドナルドボイスジル
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2006-03-29
Filing date: 2007-02-27
Publication date: 2013-06-19
Anticipated expiration: 2027-02-27
Also published as: KR20080108449A; CN101416518B; JP5669273B2; ZA200807142B; JP2009531968A; US20090225826A1; WO2007126511A3; KR101361896B1; AU2007243933B2; JP2012235478A; AU2007243935A1; MX2008012382A; US9100659B2; MX2008011652A; BRPI0708305A2; RU2008142771A; JP2014131348A; BRPI0709167A2; JP2013118671A; CN101416518A

Description

本発明は、マルチビュービデオ符号化方法及びその装置に関し、より詳細には、マルチビュービデオ符号化システムで使用するビデオ符号化及び復号化技術に関する。

本出願は、参照により本明細書に組み込まれている、２００６年３月２９日に出願した米国仮出願第６０／７８７，０９２号明細書の利益を主張するものである。本出願は、さらに、それぞれ参照により本明細書に組み込まれる、本出願と同時に出願され、共通の発明者及び共通の譲受人を有する２つの他の出願（整理番号ＰＵ０６００６４及びＰＵ０７００３２）に密接に関連している。

国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）Moving Picture Experts Group-4（ＭＰＥＧ−４）Part 10 Advanced Video Coding（ＡＶＣ）標準／国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６４勧告（これ以降、「ＭＰＥＧ−４ＡＶＣ標準」と呼ぶ）に準拠するマルチビュービデオ符号化（ＭＶＣ；Ｍｕｌｔｉ−ｖｉｅｗＶｉｄｅｏＣｏｄｉｎｇ）の現在の実装では、特定のビューを識別し、カメラパラメータのシグナリングを行うための規定はない。このビュー情報は、いくつかの理由から必要である。ビュースケーラビリティ、ビューランダムアクセス、並列処理、ビュー生成、及びビュー合成は、すべてビュー情報を利用するマルチビュー符号化の必要条件である。さらに、これらの要求条件のうちいくつかは、現在のところ標準化された方法で渡されないカメラパラメータも利用する。

マルチビュー圧縮ビットストリーム（ｍｕｌｔｉ−ｖｉｅｗｃｏｍｐｒｅｓｓｅｄｂｉｔｓｔｒｅａｍ）で効率よくランダムアクセスできる方法が提案されている。提案されている方法では、Ｖピクチャタイプ及びビュー依存性（ＶｉｅｗＤｅｐｅｎｄｅｎｃｙ）付加拡張情報（ＳＥＩ；ＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ）メッセージが定義される。提案されているＶピクチャタイプで必要な特徴は、Ｖピクチャは同じカメラ内の他のピクチャに時間的に依存していてはならず、同時に他のカメラ内のピクチャからのみ予測できるという点である。提案されているビュー依存性付加拡張情報メッセージは、Ｖピクチャさらには先行及び後続のピクチャ群がどのビューに依存しうるかを正確に記述するものである。以下では、提案されている変更の詳細を説明する。

Ｖピクチャのシンタックス（ｓｙｎｔａｘ）及びセマンティックス（ｓｅｍａｎｔｉｃｓ）に関して、ＭＰＥＧ−４ＡＶＣ標準に関係する特定のシンタックステーブルは、Ｖピクチャに対応する１４のネットワーク抽象化レイヤ（ＮＡＬ）ユニットタイプを含むように拡張される。さらに、Ｖピクチャタイプは、以下のセマンティックスを持つように定義される。

Ｖピクチャ：すべてのスライス（ｓｌｉcｅ）が同じ時間インデックスを持つスライスのみを参照する符号化されたピクチャ（つまり、他のビュー内のスライスのみ、現在のビュー内のスライスではなく）。Ｖピクチャが出力又は表示される場合、これにより、さらに、復号化プロセスはＩＤＲピクチャ又はＶピクチャでない、「参照のため未使用」のマークが付けられるべき出力順でＶピクチャよりも前にある、同じビューからのすべてのピクチャにマークを付ける。それぞれのＶピクチャは、同じＮＡＬ内に出現するビュー依存性ＳＥＩメッセージに関連付けられるものとする。

ビュー依存性付加拡張情報メッセージのシンタックス及びセマンティックスに関して、ビュー依存性付加拡張情報メッセージは以下のシンタックスで定義される。

ただし、ｎｕｍ＿ｓｅｑ＿ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｓ／ｎｕｍ＿ｐｉｃ＿ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｓは、現在のシーケンス／ピクチャに対する参照として使用されうる潜在的ビューの数を表し、ｓｅｑ＿ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗ＿ｉ／ｐｉｃ＿ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗ＿ｉは、ｉ番目の参照ビューに対するビュー番号を表す。

ビュー依存性付加拡張情報メッセージに関連付けられているピクチャは、ｐｉｃ＿ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗ＿ｉにより記述されている指定ビューのみを参照するものとする。同様に、そのビュー内の次のビュー依存性付加拡張情報メッセージまでのそのビューの出力順で後続となるすべてのピクチャは、ｓｅｑ＿ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗ＿ｉにより記述された指定ビューのみを参照するものとする。

ビュー依存性付加拡張情報メッセージは、それぞれの瞬時復号化更新（ＩｎｓｔａｎｔａｎｅｏｕｓＤｅｃｏｄｉｎｇＲｅｆｒｅｓｈ；ＩＤＲ）ピクチャ及びＶピクチャに関連付けられるものとする。

この方法の少なくとも１つの欠点は、依存性が再帰的に得られるため復号器（ｄｅｃｏｄｅｒ）が複雑化することである。それに加えて、この方法では、すべてのＶピクチャがＳＥＩメッセージ（ＭＰＥＧ−４ＡＶＣ標準の非規範的部分である）を搬送する必要があり、その結果、依存性は、参照ピクチャ選択などの規範的動作に使用することはできない。

本発明は、このような状況に鑑みてなされたもので、その目的とするところは、マルチビュービデオ符号化システムにおけるビデオ符号器及びビデオ復号器並びのその方法を提供することにある。

従来技術のこれら及び他の欠点及び問題点は、マルチビュービデオ符号化システムで使用する方法及び装置を対象とする本発明により解消される。

本発明の実施態様により装置が実現される。この装置は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを符号化して結果として得られるビットストリームに入れる符号器（ｅｎｃｏｄｅｒ）を備え、その際に結果として得られるビットストリームは、ビュー特有の情報を含むように符号化される。ビュー特有の情報は、少なくとも２つのビューのうちの少なくともいくつかのビューの間の復号化相互依存性を示す。

本発明の他の実施態様により方法が実現される。この方法は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを符号化して結果として得られるビットストリームに入れることを含み、その際に結果として得られるビットストリームは、ビュー特有の情報を含むように符号化される。ビュー特有の情報は、少なくとも２つのビューのうちの少なくともいくつかのビューの間の復号化相互依存性を示す。

本発明のさらに他の実施態様により装置が実現される。この装置は、ビットストリームから、マルチビュービデオコンテンツに対応する少なくとも２つのビューを復号化する復号器（ｄｅｃｏｄｅｒ）を備え、ビットストリームは、中に含まれるビュー特有の情報を決定するように復号化され、ビュー特有の情報は少なくとも２つのビューのうちの少なくともいくつかのビューの間の復号化相互依存性を示す。

本発明のさらに他の実施態様により方法が実現される。この方法は、ビットストリームから、マルチビュービデオコンテンツに対応する少なくとも２つのビューを復号化することを含み、ビットストリームは、中に含まれるビュー特有の情報を決定するように復号化される。ビュー特有の情報は、少なくとも２つのビューのうちの少なくともいくつかのビューの間の復号化相互依存性を示す。

本発明のさらなる実施態様により装置が実現される。この装置は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを、復号化のためその少なくとも２つのビューのうちの他のビューから独立している、その少なくとも２つのビューのうちのいずれかのビューをベースビューとして定義することにより、符号化する符号器を備えている。

本発明のさらなる他の実施態様により方法が実現される。この方法は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを、復号化のためその少なくとも２つのビューのうちの他のビューから独立している、その少なくとも２つのビューのうちのいずれかのビューをベースビューとして定義することにより、符号化することを含んでいる。

本発明のさらなる実施態様により装置が実現される。この装置は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを復号化する復号器を備え、この復号器は、その少なくとも２つのビューのうち、もしあれば、どのビューが、復号化のためその少なくとも２つのビューのうちの他のビューから独立しているベースビューであるかを決定する。

本発明の追加の実施態様により方法が実現される。この方法は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを復号化するステップを含み、この復号化するステップは、その少なくとも２つのビューのうち、もしあれば、どのビューが、復号化のためその少なくとも２つのビューのうちの他のビューから独立しているベースビューであるかを決定する。

本発明の実施態様により装置が実現される。この装置は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを、その少なくとも２つのビューのうちの少なくとも１つのビューを下位互換性のため国際標準化機構／国際電気標準会議Moving Picture Experts Group-4 Part 10 Advanced Video Coding標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告にシンタックス準拠する結果として得られるビットストリームに符号化することにより符号化する符号器を備えている。

本発明の他の実施態様により方法が実現される。この方法は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを、その少なくとも２つのビューのうちの少なくとも１つのビューを下位互換性のため国際標準化機構／国際電気標準会議Moving Picture Experts Group-4 Part 10 Advanced Video Coding標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告にシンタックス準拠する結果として得られるビットストリームに符号化することにより符号化することを含んでいる。

本発明のさらに他の実施態様により装置が実現される。この装置は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを復号化する復号器を備え、その少なくとも２つのビューのうちの少なくとも１つのビューは、下位互換性のため国際標準化機構／国際電気標準会議Moving Picture Experts Group-4 Part 10 Advanced Video Coding標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告にシンタックス準拠するビットストリームに含まれている。

本発明のさらに他の実施態様により方法が実現される。この方法は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを復号化することを含み、その少なくとも２つのビューのうちの少なくとも１つのビューは、下位互換性のため国際標準化機構／国際電気標準会議Moving Picture Experts Group-4 Part 10 Advanced Video Coding標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告にシンタックス準拠するビットストリームに含まれている。

本発明のさらなる実施態様により装置が実現される。この装置は、２つの定義済みスライスタイプのうちの１つのスライスタイプを選択することによりマルチビュービデオコンテンツに対応する少なくとも２つのビューのうちの少なくとも１つのビューを符号化する符号器を備えている。

本発明のさらなる他の実施態様により方法が実現される。この方法は、２つの定義済みスライスタイプのうちの１つのスライスタイプを選択することによりマルチビュービデオコンテンツに対応する少なくとも２つのビューのうちの少なくとも１つのビューを符号化することを含んでいる。

本発明のさらなる実施態様により装置が実現される。この装置は、２つの定義済みスライスタイプのうちの１つのスライスタイプを決定することによりマルチビュービデオコンテンツに対応する少なくとも２つのビューのうちの少なくとも１つのビューを復号化する復号器を備えている。

本発明の追加の実施態様により方法が実現される。この方法は、２つの定義済みスライスタイプのうちの１つのスライスタイプを決定することによりマルチビュービデオコンテンツに対応する少なくとも２つのビューのうちの少なくとも１つのビューを復号化することを含んでいる。

本発明の実施態様により装置が実現される。この装置は、マルチビューコンテンツに対応する少なくとも２つのビューを符号化して結果として得られるビットストリームに入れる符号器を備え、その際に結果として得られるビットストリームは、その少なくとも２つのビューのうちの少なくとも１つのビューに対応する少なくとも１つのカメラパラメータを含むように符号化される。

本発明の他の実施態様により方法が実現される。この方法は、マルチビューコンテンツに対応する少なくとも２つのビューを符号化して結果として得られるビットストリームに入れることを含み、その際に結果として得られるビットストリームは、その少なくとも２つのビューのうちの少なくとも１つのビューに対応する少なくとも１つのカメラパラメータを含むように符号化される。

本発明のさらに他の実施態様により装置が実現される。この装置は、ビットストリームから、マルチビューコンテンツに対応する少なくとも２つのビューを復号化する復号器を備え、ビットストリームは、中に含まれる少なくとも１つのカメラパラメータを決定するように復号化される。少なくとも１つのカメラパラメータは、少なくとも２つのビューのうちの少なくとも１つのビューに対応する。

本発明のさらに他の実施態様により方法が実現される。この方法は、ビットストリームから、マルチビューコンテンツに対応する少なくとも２つのビューを復号化することを含み、ビットストリームは、中に含まれる少なくとも１つのカメラパラメータを決定するように復号化される。少なくとも１つのカメラパラメータは、少なくとも２つのビューのうちの少なくとも１つのビューに対応する。

本発明のさらなる実施態様により装置が実現される。この装置は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを符号化して結果として得られるビットストリームに入れる符号器を備え、その際に結果として得られるビットストリームは、その少なくとも２つのビューのうちの少なくとも１つのビューに対する少なくとも１つのカメラパラメータに関係する少なくとも１つのシンタックス要素を含むように符号化される。

本発明のさらなる他の実施態様により方法が実現される。この方法は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを符号化して結果として得られるビットストリームに入れることを含み、その際に結果として得られるビットストリームは、その少なくとも２つのビューのうちの少なくとも１つのビューに対する少なくとも１つのカメラパラメータに関係する少なくとも１つのシンタックス要素を含むように符号化される。

本発明のさらなる実施態様により装置が実現される。この装置は、ビットストリームから、マルチビュービデオコンテンツに対応する少なくとも２つのビューを復号化する復号器を備え、ビットストリームは、そのビットストリームに含まれる少なくとも１つのシンタックス要素に基づきその少なくとも２つのビューのうちの少なくとも１つのビューに対する少なくとも１つのカメラパラメータを決定するように復号化される。

本発明の追加の実施態様により方法が実現される。この方法は、ビットストリームから、マルチビュービデオコンテンツに対応する少なくとも２つのビューを復号化することを含み、ビットストリームは、そのビットストリームに含まれる少なくとも１つのシンタックス要素に基づきその少なくとも２つのビューのうちの少なくとも１つのビューに対する少なくとも１つのカメラパラメータを決定するように復号化される。

本発明のこれら及び他の実施態様、特徴、及び利点は、例示的な実施形態の以下の詳細な説明及び添付図面を参照することにより理解される。

本発明は、マルチビュービデオ符号化システムにおけるビデオ符号器及びビデオ復号器並びのその方法を対象とする。

本明細書において本発明を明らかにする。したがって、当業者であれば、本明細書では明示的に説明されるか、又は示されていないけれども、本発明を具現化し、本発明の精神及び範囲の含まれる様々な配置が考えられる。

本明細書に記載されているすべての実施例及び条件付の用語は、本発明及び（複数の）発明者が寄与している概念を理解して技術を発展させるのを助けるという教育上の目的を意図しており、またそのような特に記載されている実施例及び条件に制限を付けないと解釈されるべきである。

さらに、本明細書で本発明の実施態様及び実施形態を述べるすべての陳述は、その特定の実施例とともに、その構造的等価物と機能的等価物を両方とも包含することが意図されている。それに加えて、そのような等価物は、現在知られている等価物だけでなく、将来開発される等価物、つまり、同じ機能を実行する開発された任意の要素をも、構造に関係なく、含むことが意図されている。

したがって、例えば、本明細書で提示されているブロック図が本発明を具現化する例示的な回路の概念図を表すことは、当業者には理解されるであろう。同様に、フローチャート、流れ図、状態遷移図、疑似コードなどは、コンピュータ可読媒体において実質的に表され、したがって、コンピュータ又はプロセッサにより、そのようなコンピュータ又はプロセッサが明示的に示されているかいないかに関係なく実行されうる様々なプロセスを表すことは理解されるであろう。

図に示されている様々な要素の機能は、専用ハードウェアとともに、適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアを使用することにより実現されうる。プロセッサにより実現される場合、機能は、単一の専用プロセッサ、単一の共有プロセッサ、又は一部が共有されていてもよい複数の個別プロセッサにより実現されうる。さらに、「プロセッサ」又は「コントローラ」という用語の明示的な使用は、ソフトウェアを実行することができるハードウェアを排他的に指し示すものと解釈すべきでなく、限定はしないが、デジタルシグナルプロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを格納するための読み取り専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、及び不揮発性記憶装置を暗黙のうちに含むことができる。

従来の及び／又は特注の他のハードウェアも含めることができる。同様に、図に示されているスイッチは、概念的なものにすぎない。それらの機能は、プログラムロジックのオペレーションを通じて、専用ロジックを通じて、プログラム制御及び専用ロジックの相互のやり取りを通じて、さらには手動で実行することができ、特定の技術は文脈から詳しく理解されるように実装者によって選択可能である。

請求項では、指定された機能を実行する手段として表される要素は、例えば、（ａ）その機能を実行する回路素子の組合せ、又は（ｂ）機能を実行するためにそのソフトウェアを実行する適切な回路と組み合わせた任意の形態のソフトウェア、したがって、ファームウェア、マイクロコードなどを含み、ソフトウェアを含み、その機能を実行する任意の手段を包含することが意図されている。請求項に記載されている本発明は、様々な記載されている手段により実現される機能が請求項において主張されている方法で組み合わされ、まとめられているという事実にある。したがって、これらの機能を実現することができる手段は、本明細書に示されている手段と同等であると考えられる。

明細書において本発明の原理の「一実施形態」又は「実施形態」と記述されている場合、これは、その実施形態に関して説明されている特定の特徴、構造、特性などが本発明の原理の少なくとも１つの実施形態に含まれることを意味する。そのため、「一実施形態では」又は「実施形態では」という語句が明細書の様々な箇所に記載されていても、必ずしもすべて同じ実施形態を指しているとは限らない。

図１は、本発明の一実施形態による例示的なビデオ符号器のブロック図である。このビデオ符号器（ｖｉｄｅｏｅｎｃｏｄｅｒ）は、参照番号１００で示されている。

ビデオ符号器１００の入力は、コンバイナ（ｃｏｍｂｉｎｅｒ）１１０の非反転入力とシグナル通信するように接続されている。コンバイナ１１０の出力は、変換器／量子化器１２０とシグナル通信するように接続されている。変換器／量子化器１２０の出力は、エントロピーコーダ１４０とシグナル通信するように接続される。エントロピーコーダ１４０の出力は、符号器１００の出力として利用可能である。

変換器／量子化器１２０の出力は、さらに、逆変換器／量子化器１５０とシグナル通信するように接続される。逆変換器／量子化器１５０の出力は、デブロックフィルタ（ｄｅｂｌｏｃｋｆｉｌｔｅｒ）１６０の入力とシグナル通信するように接続される。デブロックフィルタ１６０の出力は、参照ピクチャストア１７０とシグナル通信するように接続される。参照ピクチャストア１７０の第１の出力は、動き推定器（ｍｏｔｉｏｎｅｓｔｉｍａｔｏｒ）１８０の第１の入力とシグナル通信するように接続される。

符号器１００の入力は、さらに、動き推定器１８０の第２の入力とシグナル通信するように接続されている。動き推定器１８０の出力は、動き補償器（ｍｏｔｉｏｎｃｏｍｐｅｎｓａｔｏｒ）１９０の第１の入力とシグナル通信するように接続される。参照ピクチャストア１７０の第２の出力は、動き補償器１９０の第２の入力とシグナル通信するように接続される。動き補償器１９０の出力は、コンバイナ１１０の反転入力とシグナル通信するように接続される。

図２は、本発明の一実施形態による例示的なビデオ復号器のブロック図である。このビデオ復号器（ｖｉｄｅｏｄｅｃｏｄｅｒ）は、参照番号２００で示されている。

ビデオ復号器２００は、ビデオシーケンスを受け取るエントロピー復号器２１０を含む。エントロピー復号器２１０の第１の出力は、逆量子化器／変換器２２０の入力とシグナル通信するように接続される。逆量子化器／変換器２２０の出力は、コンバイナ２４０の第１の非反転入力とシグナル通信するように接続される。

コンバイナ２４０の出力は、デブロックフィルタ２９０の入力とシグナル通信するように接続される。デブロックフィルタ２９０の出力は、参照ピクチャストア２５０の入力とシグナル通信するように接続される。参照ピクチャストア２５０の出力は、動き補償器２６０の第１の入力とシグナル通信するように接続される。動き補償器２６０の出力は、コンバイナ２４０の第２の非反転入力とシグナル通信するように接続される。エントロピー復号器２１０の第２の出力は、動き補償器２６０の第２の入力とシグナル通信するように接続される。デブロックフィルタ２９０の出力は、ビデオ復号器２００の出力として利用できる。

本発明の一実施形態では、マルチビューシーケンスを効率よく処理する高水準シンタックスが提案されている。特に、マルチビュースライスをサポートするために専用のＮＡＬユニットタイプ及びさらに２つの新しいＮＡＬユニットタイプを含むビューパラメータセット（ＶＰＳ）と呼ばれる新しいパラメータセットを作成することを提案するが、ただし、ＮＡＬユニットタイプはスライスがどのビューに属すかを識別するＮＡＬヘッダのビュー識別子（ｉｄ）を含んでいる。ビュースケーラビリティ及びＭＰＥＧ−４ＡＶＣ標準に準拠する復号器との下位互換性のため、ここで「ＭＰＥＧ−４ＡＶＣ準拠ベースビュー」と呼ぶ１つのＭＰＥＧ−４ＡＶＣ準拠ビューを維持することを提案する。

本明細書で使用されているように、「高水準シンタックス」は、マクロブロックレイヤよりも階層的に上にあるビットストリーム内に存在するシンタックスを指す。例えば、本明細書で使用されているような、高水準シンタックスは、限定はしないが、スライスヘッダレベル、付加拡張情報（ＳＥＩ）レベル、ピクチャパラメータセットレベル、及びシーケンスパラメータセットレベルを指すことができる。

特定のビューを識別し、カメラパラメータをシグナリングする装備を持たないと上で説明されているマルチビュービデオ符号化システムの現在の実装では、異なるビューがインタリーブされ、異なるビューを別々のビューとして処理する代わりに単一のシーケンスを形成する。シンタックスは、上述のように、ＭＰＥＧ−４ＡＶＣ標準と互換性があるため、現在は、所定のスライスがどのビューに属すかを識別することができない。このビュー情報は、いくつかの理由から必要である。ビュースケーラビリティ、ビューランダムアクセス、並列処理、ビュー生成、及びビュー合成は、すべてビューを識別する必要のあるマルチビュービデオ符号化の必要条件である。ビューランダムアクセス及びビュースケーラビリティを効率よくサポートするために、異なるピクチャが互いにどのように依存するかを復号器側で知ることが重要であり、したがって、必要なピクチャのみが復号化される。ビュー合成には、カメラパラメータが必要である。ビュー合成が、最終的に、復号化ループ内で使用される場合、カメラパラメータをシグナリングする標準化された方法が指定される必要がある。一実施形態によれば、ビューパラメータセットが使用される。

一実施形態では、非ＭＶＣ互換であるが、ＭＰＥＧ−４ＡＶＣ互換である復号器をサポートするためにＭＰＥＧ−４ＡＶＣ標準と完全下位互換性（ｆｕｌｌｙｂａｃｋｗａｒｄｃｏｍｐａｔｉｂｌｅ）を有する１つのビューが必要であると想定されている。一実施形態では、高速ビューランダムアクセスを行いやすくするために独立復号化可能なビューがあると想定される。これらのビューを「ベースビュー（ｂａｓｅｖｉｅｗ）」と呼ぶ。ベースビューは、ＭＰＥＧ−４ＡＶＣ標準と互換性があってもなくてもよいが、ＭＰＥＧ−４ＡＶＣ互換ビューは常にベースビューである。

図３は、本発明の一実施形態による、階層型Ｂピクチャを使用するＭＰＥＧ−４ＡＶＣ標準に基づくビュー間時間予測構造図である。階層型Ｂピクチャを使用する、ＭＰＥＧ−４ＡＶＣ標準に基づくビュー間時間予測構造は、全体として参照番号３００で示されている。図３において、変数Ｉは、イントラ符号化ピクチャを表し、変数Ｐは、予測符号化ピクチャを表し、変数Ｂは、双予測符号化ピクチャを表し、変数Ｔは、特定のピクチャの配置を表し、変数Ｓは、特定のピクチャが対応する特定のビューを表す。

一実施形態により、以下の用語が定義される。

アンカーピクチャは、復号化が異なる時点にサンプリングされたピクチャを伴わないピクチャとして定義される。アンカーピクチャは、ｎａｌ＿ｒｅｆ＿ｉｄｃを３に設定することにより通知される。図３において、配置Ｔ０、Ｔ８、．．．、Ｔ９６及びＴ１００にあるすべてのピクチャは、アンカーピクチャの実施例である。

非アンカーピクチャは、アンカーピクチャに対し指定された上記制約条件を有しないピクチャとして定義される。図３において、ピクチャＢ２、Ｂ３、及びＢ４は、非アンカーピクチャである。

ベースビューは、他のビューに依存せず、独立に復号化できるビューである。図３のビューＳ０は、ベースビューの一例である。

さらに、一実施形態では、マルチビュービデオ符号化スライスをサポートするため、専用のＮＡＬユニットタイプ及び２つの新しいＮＡＬユニットタイプを含むビューパラメータセットと呼ばれる新しいパラメータセットが提案される。さらに、ｖｉｅｗ＿ｉｄ及び使用されるビューパラメータセットを示すようにスライスヘッダシンタックスを修正する。

ＭＰＥＧ−４ＡＶＣ標準は、２つのパラメータセット、（１）シーケンス全体にわたって変化することが予想されない情報を含み、シーケンスパラメータセット（ＳＰＳ）及び（２）それぞれのピクチャについて変化することが予想されない情報を含み、ピクチャパラメータセット（ＰＰＳ）を含んでいる。

マルチビュービデオ符号化は、それぞれのビューに特有の追加の情報を有するので、ここでは、この情報を伝送するために別のビューパラメータセット（ＶＰＳ）を作成した。異なるビューの間の依存性を決定するのに必要なすべての情報が、ビューパラメータセット内に示されている。提案されているビューパラメータセットに対するシンタックステーブルは、表１（ビューパラメータセットＲＢＳＰシンタックス）に示されている。このビューパラメータセットは、新しいＮＡＬユニットタイプ、例えば、表２（ＮＡＬユニットタイプコード）に示されているようなタイプ１４に含まれる。

本発明の説明により、以下の用語が定義される。

ｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、スライスヘッダにおいて参照されるビューパラメータセットを識別する。ｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、０から２５５までの範囲内とする。

ｎｕｍｂｅｒ＿ｏｆ＿ｖｉｅｗｓ＿ｍｉｎｕｓ＿１に１を加えた値は、ビットストリーム中のビューの総数を識別する。ｎｕｍｂｅｒ＿ｏｆ＿ｖｉｅｗ＿ｍｉｎｕｓ＿１の値は、０から２５５までの範囲内とする。

ａｖｃ＿ｃｏｍｐａｔｉｂｌｅ＿ｖｉｅｗ＿ｉｄは、ＡＶＣ互換ビューのｖｉｅｗ＿ｉｄを示す。ａｖｃ＿ｃｏｍｐａｔｉｂｌｅ＿ｖｉｅｗ＿ｉｄの値は、０から２５５までの範囲内とする。

１に等しいｉｓ＿ｂａｓｅ＿ｖｉｅｗ＿ｆｌａｇ［ｉ］は、ビューｉがベースビューであり、独立に復号化可能であるということを示す。０に等しいｉｓ＿ｂａｓｅ＿ｖｉｅｗ＿ｆｌａｇ［ｉ］は、ビューｉがベースビューでないことを示す。ｉｓ＿ｂａｓｅ＿ｖｉｅｗ＿ｆｌａｇ［ｉ］の値は、ＡＶＣ互換ビューｉについては１に等しいものとする。

１に等しいｄｅｐｅｎｄｅｎｃｙ＿ｕｐｄａｔｅ＿ｆｌａｇは、このビューに対する依存性情報がＶＰＳにおいて更新されることを示す。０に等しいｄｅｐｅｎｄｅｎｃｙ＿ｕｐｄａｔｅ＿ｆｌａｇは、このビューに対する依存性情報が更新されず、また変更されるべきでないことを示す。

１に等しいａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］は、ｊに等しいｖｉｅｗ＿ｉｄを有するアンカーピクチャが、ｉに等しいｖｉｅｗ＿ｉｄを有するアンカーピクチャに依存することを示す。

１に等しいｎｏｎ＿ａｎｃｈｏｒｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］は、ｊに等しいｖｉｅｗ＿ｉｄを有する非アンカーピクチャが、ｉに等しいｖｉｅｗ＿ｉｄを有する非アンカーピクチャに依存することを示す。ｎｏｎ＿ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］は、ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｉ］が１に等しい場合のみ存在する。ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］が存在し、０に等しい場合、ｎｏｎ＿ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］は、０に等しいと推論されるものとする。

ビューパラメータセット内のオプションパラメータには、以下のものがある。

１に等しいｃａｍｅｒａ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、射影行列が以下のようにシグナリングされることを示す。

ｃａｍｅｒａ＿ｐａｒａｍｅｔｅｒｓ、カメラパラメータが３×４射影行列Ｐの形で伝送されると想定しており、これは、３Ｄ世界内の点を２Ｄ画像座標にマップするために使用できる。
Ｉ＝Ｐ＊［Ｘ_w：Ｙ_w：Ｚ_w：１］
ただし、Ｉは、同次座標Ｉ＝［λ・Ｉ_x：λ・Ｉ_y：λ］で表される。

それぞれの要素ｃａｍｅｒａ＿ｐａｒａｍｅｔｅｒｓ＿＊＿＊は、ＩＥＥＥ単精度浮動小数点（３２ビット）標準により表すことができる。

この情報を別のパラメータセットに入れる利点は、ＭＰＥＧ−４ＡＶＣ標準と互換性のあるシーケンスパラメータセット（ＳＰＳ）及びピクチャパラメータセット（ＰＰＳ）をそのまま維持するという点である。ビュー毎に、この情報をシーケンスパラメータセット又はピクチャパラメータセットに入れる場合、シーケンスパラメータセットとピクチャパラメータセットを別々に送信する必要がある。これでは、制限が強すぎる。また、この情報は、シーケンスパラメータセット又はピクチャパラメータセットのいずれにもうまく収まらない。他の理由は、ＭＰＥＧ−４ＡＶＣ標準互換ベースビューを用意することを提案しているため、そのようなビューに対しては別々の（ＭＰＥＧ−４ＡＶＣ互換）シーケンスパラメータセット及びピクチャパラメータセットを、また他のすべてのビューに対しては別々のシーケンスパラメータセット／ピクチャパラメータセット（ビュー特有の情報を含む）を使用しなければならないであろう。

シーケンスのごく最初のところで単一のビューパラメータセット内にすべての依存性情報を入れるのは、非常に有益である。復号器は、ビューパラメータセットを受け取った後、すべての依存性情報を使用してマップを作成することができる。これにより、スライスを受け取る前に、特定のビューを復号化するのにどのビューが必要かを知ることができる。この結果、スライスヘッダを解析してｖｉｅｗ＿ｉｄを取得し、ユーザによって示されるようにターゲットビューを復号化するのにこのビューが必要かどうかを判定するだけでよい。そのため、フレームをバッファリングすることも、また特定のビューを復号化するのにどのフレームが必要かを判定するある時点まで待つことも必要ない。

依存性情報、及びビューがベースビューであるかどうかは、ビューパラメータセット内に示される。ＭＰＥＧ−４ＡＶＣ互換ベースビューであっても、そのビューに特有の情報に関連付けられている（例えば、カメラパラメータ）。この情報は、ビュー補間／合成を含むいくつかの目的のために他のビューにより使用されうる。ここで、１つのＭＰＥＧ−４ＡＶＣ互換ビューのみをサポートすることを提案するが、それは、複数のＭＰＥＧ−４ＡＶＣ互換ビューがあり、これにより、どのビューに属しているかをそのようなスライド毎に識別するのが困難になり、非マルチビュービデオ符号化復号器は、簡単に混乱してしまうことがあるからである。

それをそのようなビューの１つだけに制限することにより、非マルチビュービデオ符号化復号器が、そのビューを正しく復号化することができることが保証され、マルチビュービデオ符号化復号器は、またシンタックスａｖｃ＿ｃｏｍｐａｔｉｂｌｅ＿ｖｉｅｗ＿ｉｄを使用してビューパラメータセットからそのようなビューを容易に識別できる。他のすべてのベースビュー（非ＭＰＥＧ−４ＡＶＣ準拠）は、ｉｓ＿ｂａｓｅ＿ｖｉｅｗ＿ｆｌａｇを使用して識別されうる。

マルチビュービデオ符号化スライスに対する新しいスライスヘッダが提案される。ビュースケーラビリティ、ビューランダムアクセスなどをサポートするために、現在のスライスがどのビューに属しているかを知る必要がある。ビュー合成及びビュー補間については、さらにカメラパラメータを必要とする可能性もある。この情報は、上の表１に示されているようにビューパラメータセット内に存在しうる。ビューパラメータセットは、ｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを使用して識別される。ここでは、表３（スライスヘッダシンタックス）に示されているように、すべての非ＭＰＥＧ−４ＡＶＣ互換スライスのスライスヘッダ内にｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを追加することを提案する。ｖｉｅｗ＿ｉｄ情報は、ビュー補間／合成、ビューランダムアクセス、並列処理などを含むいくつかのマルチビュービデオ符号化要求条件に対し必要なものである。この情報は、クロスビュー予測にのみ関係する特殊な符号化モードにも使用されうる。このビューに対するビューパラメータセットから対応するパラメータを見つけるために、スライスヘッダにｖｉｅｗ＿ｉｄを入れて送る必要がある。

新しいマルチビュービデオ符号化スライスについて、ここでは、それぞれのスライスタイプに対し新しいＮＡＬユニットタイプを作成することを提案する（瞬時復号化更新（ＩＤＲ）及び非ＩＤＲ）。ここでは、表２に示されているように、ＩＤＲスライスに対してはタイプ２２を、非ＩＤＲに対してはタイプ２３を使用することを提案する。

ｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、使用中のビューパラメータセットを指定する。ｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、０から２５５までの範囲内とする。

ｖｉｅｗ＿ｉｄは、現在のビューのビューｉｄを示す。ｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、０から２５５までの範囲内とする。

次に、ビューランダムアクセスの一例を、本発明の一実施形態に従って説明する。

ビューランダムアクセスは、マルチビュービデオ符号化の要求条件である。目標は、最低限の復号化作業で任意のビューにアクセスすることである。そこで、図３に示されている予測構造に対するビューランダムアクセスの単純な例を考える。

ユーザがビューＳ３を復号化することを要求するとする。図３から、このビューはビューＳ０、ビューＳ２、及びビューＳ４に依存することがわかる。例示的なビューパラメータセットを以下に示す。

そこで、それらのビューに対するｖｉｅｗ＿ｉｄがスライスヘッダシンタックスにおいて０から７まで連続的に番号を振られており、ｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔが０に等しいビューパラメータセットが１つだけあると仮定しよう。ｎｕｍｂｅｒ＿ｏｆ＿ｖｉｅｗｓ＿ｍｉｎｕｓ＿１は、７に設定される。ａｖｃ＿ｃｏｍｐａｔｉｂｌｅ＿ｖｉｅｗ＿ｉｄは、０に設定することが可能であろう。

ビューＳ０については、ｉｓ＿ｂａｓｅ＿ｖｉｅｗ＿ｆｌａｇは、１に設定され、他のビューについては、０に設定される。Ｓ０、Ｓ１、Ｓ２、Ｓ３、及びＳ４に対する依存性マップは、表４Ａ（Ｓ０のａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐに対する依存性テーブル）及び表４Ｂ（Ｓ０のｎｏｎ＿ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐに対する依存性テーブル）に示されているように見える。他のビューに対する依存性マップも、同様に書くことができる。

このテーブルは、復号器において利用できるようになった後、復号器は、それが受け取るスライスが特定のビューを復号化するのに必要かどうかを容易に判定できる。復号器は、現在のスライスのｖｉｅｗ＿ｉｄを判定するのにスライスヘッダを解析するだけでよく、ターゲットビューＳ３については、２つのテーブル（表４ａと表４Ｂ）内のＳ３列を調べて、現在のスライスを保持すべきかどうかを決定することができる。復号器は、アンカーピクチャと非アンカーピクチャとを区別する必要があるが、それは、表４ａと表４ｂからわかるように、異なる依存性を有している可能性があるからである。ターゲットビューＳ３については、ビューＳ０、Ｓ２、及びＳ４のアンカーピクチャを復号化する必要があるが、ビューＳ２及びＳ４の非アンカーピクチャを復号化するだけでよい。

図４は、本発明の一実施形態による、マルチビュービデオコンテンツの複数のビューを符号化する例示的な方法のフローチャートを示す図である。マルチビュービデオコンテンツの複数のビューを符号化する例示的な方法は、全体として参照番号４００により示されている。

方法４００は、機能ブロック４１０に制御を渡す開始ブロック４０５を含んでいる。機能ブロック４１０は、複数のビューを符号化するために使用される符号化パラメータのコンフィギュレーションファイルを読み込み、制御を機能ブロック４１５に渡す。機能ブロックは、Ｎを、符号化されるビュー数に等しくなるように設定し、制御を機能ブロック４２０に渡す。機能ブロック４２０は、ｎｕｍｂｅｒ＿ｏｆ＿ｖｉｅｗｓ＿ｍｉｎｕｓ＿１をＮ−１に設定し、ａｖｃ＿ｃｏｍｐａｔｉｂｌｅ＿ｖｉｅｗ＿ｉｄをＭＰＥＧ−４ＡＶＣ互換ビューのｖｉｅｗ＿ｉｄに設定し、制御を機能ブロック４２５に渡す。機能ブロック４２５は、ｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを有効な整数に設定し、変数ｉを０に初期化し、制御を決定ブロック４３０に渡す。決定ブロック４３０は、ｉがＮよりも大きいかどうかを判定する。もし大きければ、制御は、決定ブロック４３５に渡される。そうでなければ、制御は、機能ブロック４７０に渡される。

決定ブロック４３５は、現在のビューがベースビューかどうかを判定する。そうであれば、制御は、機能ブロック４４０に渡される。そうでなければ、制御は、機能ブロック４８０に渡される。

機能ブロック４４０は、ｉｓ＿ｂａｓｅ＿ｖｉｅｗ＿ｆｌａｇ［ｉ］を１に設定し、制御を決定ブロック４４５に渡す。決定ブロック４４５は、依存性が更新されているかどうかを判定する。そうであれば、制御は、機能ブロック４５０に渡される。そうでなければ、制御は、機能ブロック４８５に渡される。

機能ブロック４５０は、ｄｅｐｅｎｄｅｎｃｙ＿ｕｐｄａｔｅ＿ｆｌａｇを１に設定し、制御を決定ブロック４５５に渡す。機能ブロック４５５は、変数ｊを０に設定し、制御を決定ブロック４６０に渡す。決定ブロック４６０は、ｊがＮよりも小さいかどうかを判定する。そうであれば、制御は、機能ブロック４６５に渡される。そうでなければ、制御は、機能ブロック４８７に渡される。

機能ブロック４６５は、ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］及びｎｏｎ＿ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］を、コンフィギュレーションファイルにより示される値に設定し、制御を機能ブロック４６７に渡す。機能ブロック４６７は、変数ｊを１だけ増分し、制御を決定ブロック４６０に返す。

機能ブロック４７０は、カメラパラメータが存在している場合にｃａｍｅｒａ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを１に設定し、存在していなければｃａｍｅｒａ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを０に設定して、制御を決定ブロック４７２に渡す。決定ブロック４７２は、ｃａｍｅｒａ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しいかどうかを判定する。そうであれば、制御は、機能ブロック４３２に渡される。そうでなければ、制御は、機能ブロック４３４に渡される。

機能ブロック４３２は、カメラパラメータを書き込み、制御を機能ブロック４３４に渡す。

機能ブロック４３４は、ビューパラメータセット（ＶＰＳ）又はシーケンスパラメータセット（ＳＰＳ）を書き込み、制御を最終ブロック４９９に渡す。

機能ブロック４８０は、ｉｓ＿ｂａｓｅ＿ｖｉｅｗ＿ｆｌａｇ［ｉ］を０に設定し、制御を決定ブロック４４５に渡す。

機能ブロック４８５は、ｄｅｐｅｎｄｅｎｃｙ＿ｕｐｄａｔｅ＿ｆｌａｇを０に設定し、制御を決定ブロック４８７に渡す。機能ブロック４８７は、変数ｉを１だけ増分し、制御を決定ブロック４３０に返す。

図５は、本発明の一実施形態による、マルチビュービデオコンテンツの複数のビューを復号化する例示的な方法のフローチャートを示す図である。マルチビュービデオコンテンツの複数のビューを復号化する例示的な方法は、全体として参照番号５００により示されている。

方法５００は、機能ブロック５１０に制御を渡す開始ブロック５０５を含んでいる。機能ブロック５１０は、シーケンスパラメータセット（ＳＰＳ）又はビューパラメータセット（ＶＰＳ）、ｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ、ｎｕｍｂｅｒ＿ｏｆ＿ｖｉｅｗｓ＿ｍｉｎｕｓ＿１、ａｖｃ＿ｃｏｍｐａｔｉｂｌｅ＿ｖｉｅｗ＿ｉｄを解析し、変数ｉ及びｊを０に設定し、Ｎをｎｕｍｂｅｒ＿ｏｆ＿ｖｉｅｗｓ＿ｍｉｎｕｓ＿１に設定し、制御を決定ブロック５１５に渡す。決定ブロック５１５は、ｉがＮ以下かどうかを判定する。そうであれば、制御は、機能ブロック５７０に渡される。そうでなければ、制御は、機能ブロック５２５に渡される。

機能ブロック５７０は、ｃａｍｅｒａ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを解析し、制御を決定ブロック５７２に渡す。決定ブロック５７２は、ｃａｍｅｒａ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しいかどうかを判定する。そうであれば、制御は、機能ブロック５７４に渡される。そうでなければ、制御は、機能ブロック５７６に渡される。

機能ブロック５７４は、カメラパラメータを解析し、制御を機能ブロック５７６に渡す。

機能ブロック５７６は、復号化を続け、制御を最終ブロック５９９に渡す。

機能ブロック５２５は、ｉｓ＿ｂａｓｅ＿ｖｉｅｗ＿ｆｌａｇ［ｉ］及びｄｅｐｅｎｄｅｎｃｙ＿ｕｐｄａｔｅ＿ｆｌａｇを解析し、制御を決定ブロック５３０に渡す。決定ブロック５３０は、ｄｅｐｅｎｄｅｎｃｙ＿ｕｐｄａｔｅ＿ｆｌａｇが０に等しいかどうかを判定する。そうであれば、制御は、機能ブロック５３２に渡される。そうでなければ、制御は、決定ブロック５３５に渡される。

機能ブロック５３２は、ｉを１だけ増分し、制御を決定ブロック５１５に返す。

決定ブロック５３５は、ｊがＮ以下かどうかを判定する。そうであれば、制御は、機能ブロック５４０に渡される。そうでなければ、制御は、機能ブロック５３７に渡される。

機能ブロック５４０は、ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］を解析し、制御を決定ブロック５４５に渡す。決定ブロック５４５は、ｎｏｎ＿ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］が１に等しいかどうかを判定する。そうであれば、制御は、機能ブロック５５０に渡される。そうでなければ、制御は、機能ブロック５４７に渡される。

機能ブロック５５０は、ｎｏｎ＿ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］を解析し、制御を機能ブロック５４７に渡す。機能ブロック５４７は、ｊを１だけ増分し、制御を決定ブロック５３５に返す。機能ブロック５３７は、ｉを１だけ増分し、制御を機能ブロック５１５に返す。

次に、本発明の多数の付随する利点／特徴のいくつかについて説明するが、そのうちのいくつかはすでに上で述べられている。例えば、１つの利点／特徴は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを符号化して結果として得られるビットストリームに入れる符号器を備える装置であり、ただし、結果として得られるビットストリームは、ビュー特有の情報を含むように符号化される。ビュー特有の情報は、少なくとも２つのビューのうちの少なくともいくつかのビューの間の復号化相互依存性を示す。他の利点／特徴は、復号化相互依存性により対応する復号化に対する少なくとも２つのビューのサブセットのみを使用する少なくとも２つのビューのうちの少なくとも１つのビューの対応する復号化が可能である、上述のような符号器を有する装置である。

さらに他の利点／特徴は、ビュー特有の情報の中で示されている復号化相互依存性が、その少なくとも２つのビューのうちの少なくとも１つのビューのランダムアクセスに対し、その少なくとも１つのビューに関して非相互依存であると示されているその少なくとも２つのビューのうちの他のビューに関係するスライスを削除することにより使用される、上述のような符号器を有する装置である。

さらに他の利点／特徴は、ビュー特有の情報が高水準シンタックスに含まれる、上述のような符号器を有する装置である。さらなる利点／特徴は、ビュー特有の情報が国際標準化機構／国際電気標準会議Moving Picture Experts Group-4 Part 10 Advanced Video Coding標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告に準拠するパラメータセットに含まれる、上述のような符号器を有する装置である。

さらなる他の利点／特徴は、ビュー特有の情報がビューパラメータセットに含まれる、上述のような符号器を有する装置である。さらなる他の利点／特徴は、ビュー特有の情報が上述のようにビューパラメータセットに含まれ、ビューパラメータセットが特にビューパラメータセットだけと使用するためにＮＡＬユニットタイプを割り当てられる、符号器を有する装置である。追加の利点／特徴は、上述のように特にビューパラメータセットとだけ使用するためＮＡＬユニットタイプが割り当てられ、ＮＡＬユニットタイプが１４である、符号器を有する装置である。

さらに、他の利点／特徴は、ビュー特有の情報がビューパラメータセットｉｄを示す少なくとも１つのシンタックス要素を含む、上述のような符号器を有する装置である。さらに、他の利点／特徴は、上述のようにビュー特有の情報がビューパラメータセットｉｄを示す少なくとも１つのシンタックス要素を含み、少なくとも１つのシンタックス要素がｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素により表される、符号器を有する装置である。

また、他の利点／特徴は、ビュー特有の情報がビューの個数を示す少なくとも１つのシンタックス要素を含む、上述のような符号器を有する装置である。それに加えて、他の利点／特徴は、上述のようにビュー特有の情報がビューの個数を示す少なくとも１つのシンタックス要素を含み、少なくとも１つのシンタックス要素がｎｕｍｂｅｒ＿ｏｆ＿ｖｉｅｗｓ＿ｍｉｎｕｓ＿１シンタックス要素により表される、符号器を有する装置である。

さらに、他の利点／特徴は、少なくとも２つのビューのうちの特定の１つのビューが国際標準化機構／国際電気標準会議Moving Picture Experts Group-4 Part 10 Advanced Video Coding標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告に準拠する結果として得られるビットストリームに符号化されたときに、ビュー特有の情報が少なくとも２つのビューのうちの特定の１つのビューに対するビューｉｄを示す少なくとも１つのシンタックス要素を含む、上述のような符号器を有する装置である。

さらに、他の利点／特徴は、上述のようにビュー特有の情報が少なくとも２つのビューのうちの特定の１つのビューに対するビューｉｄを示す少なくとも１つのシンタックス要素を含み、少なくとも１つのシンタックス要素がａｖｃ＿ｃｏｍｐａｔｉｂｌｅ＿ｖｉｅｗ＿ｉｄシンタックス要素により表される、符号器を有する装置である。

また、他の利点／特徴は、ビュー特有の情報が少なくとも１つのシンタックス要素を含むか、又は高水準シンタックスから暗黙のうちに導き出すことができ、少なくとも１つのシンタックス要素及び高水準シンタックスは少なくとも２つのビューのうちの特定の１つのビューが国際標準化機構／国際電気標準会議Moving Picture Experts Group-4 Part 10 Advanced Video Coding標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告と互換性があることを示す、上述のような符号器を有する装置である。

それに加えて、他の利点／特徴は、上述のようにビュー特有の情報が少なくとも１つのシンタックス要素を含むか、又は高水準シンタックスから暗黙のうちに導き出すことができ、少なくとも１つのシンタックス要素がｉｓ＿ｂａｓｅ＿ｖｉｅｗ＿ｆｌａｇシンタックス要素により表される、符号器を有する装置である。

さらに、他の利点／特徴は、ビュー特有の情報が少なくとも２つのビューのうちの少なくとも１つのビューに対する依存性情報が結果として得られるビットストリーム内に存在するかどうかを示す少なくとも１つのシンタックス要素を含む、上述のような符号器を有する装置である。

さらに、他の利点／特徴は、ビュー特有の情報が上述のように少なくとも２つのビューのうちの少なくとも１つのビューに対する依存性情報が結果として得られるビットストリーム内に存在するかどうかを示す少なくとも１つのシンタックス要素を含み、少なくとも１つのシンタックス要素がｄｅｐｅｎｄｅｎｃｙ＿ｕｐｄａｔｅ＿ｆｌａｇシンタックス要素により表される、符号器を有する装置である。

また、他の利点／特徴は、ビュー特有の情報が少なくとも２つのビューのうちの現在の１つのビュー内の少なくとも１つのアンカーピクチャが少なくとも２つのビューのうちの他のどれかのビューを復号化するために使用されるかどうかを示す少なくとも１つのシンタックス要素を含む、上述のような符号器を有する装置である。

さらに、他の利点／特徴は、ビュー特有の情報が少なくとも２つのビューのうちの現在の１つのビュー内の少なくとも１つのアンカーピクチャが上述のように少なくとも２つのビューのうちの他のどれかのビューを復号化するために使用されるかどうかを示す少なくとも１つのシンタックス要素を含み、少なくとも１つのシンタックス要素がａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］シンタックス要素により表される、符号器を有する装置である。

また、他の利点／特徴は、ビュー特有の情報が少なくとも２つのビューのうちの現在の１つのビュー内の少なくとも１つの非アンカーピクチャが少なくとも２つのビューのうちの他のどれかのビューを復号化するために使用されるかどうかを示す少なくとも１つのシンタックス要素を含む、上述のような符号器を有する装置である。

さらに、他の利点／特徴は、ビュー特有の情報が少なくとも２つのビューのうちの現在の１つのビュー内の少なくとも１つの非アンカーピクチャが上述のように少なくとも２つのビューのうちの他のどれかのビューを復号化するために使用されるかどうかを示す少なくとも１つのシンタックス要素を含み、少なくとも１つのシンタックス要素がｎｏｎ＿ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］シンタックス要素により表される、符号器を有する装置である。

さらに、他の利点／特徴は、結果として得られるビットストリームが、少なくとも２つのビューのうちの少なくとも１つのビューに対する少なくとも１つのカメラパラメータに関係する少なくとも１つのシンタックス要素を含むように符号化される、上述のような符号器を有する装置である。

さらに、他の利点／特徴は、結果として得られるビットストリームが、上述のように少なくとも２つのビューのうちの少なくとも１つのビューに対する少なくとも１つのカメラパラメータに関係する少なくとも１つのシンタックス要素を含むように符号化され、少なくとも１つのシンタックスは結果として得られるビットストリームに対応するパラメータセットに含まれる、符号器を有する装置である。

さらに、他の利点／特徴は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを、復号化のためその少なくとも２つのビューのうちの他のビューから独立している、その少なくとも２つのビューのうちのいずれかのビューをベースビューとして定義することにより、符号化する符号器を備える装置である。

さらに、他の利点／特徴は、マルチビュービデオコンテンツに対応する少なくとも２つのビューを、その少なくとも２つのビューのうちの少なくとも１つのビューを下位互換性のため国際標準化機構／国際電気標準会議Moving Picture Experts Group-4 Part 10 Advanced Video Coding標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告にシンタックス準拠する結果として得られるビットストリームに符号化することにより符号化する符号器を備える装置である。また、他の利点／特徴は、少なくとも１つのビューが復号化するために少なくとも２つのビューのうちの他のビューから独立しているベースビューである、上述のような符号器を有する装置である。

それに加えて、他の利点／特徴は、ａｖｃ＿ｃｏｍｐａｔｉｂｌｅ＿ｖｉｅｗ＿ｉｄシンタックス要素が少なくとも１つのビューを下位互換性のため国際標準化機構／国際電気標準会議Moving Picture Experts Group-4 Part 10 Advanced Video Coding標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告にシンタックス準拠する結果として得られるビットストリームに符号化されているものとして識別する、上述のような符号器を有する装置である。

さらに、他の利点／特徴は、２つの定義済みスライスタイプのうちの１つのスライスタイプを選択することによりマルチビュービデオコンテンツに対応する少なくとも２つのビューのうちの少なくとも１つのビューを符号化する符号器を備える装置である。

さらに、他の利点／特徴は、２つの定義済みスライスタイプが瞬時復号化更新スライスタイプ及び非瞬時復号化更新スライスタイプである、上述のような符号器を有する装置である。また、他の利点／特徴は、ＮＡＬユニットタイプ２２が瞬時復号化更新スライスタイプに使用され、ＮＡＬユニットタイプ２３が非瞬時復号化更新スライスに使用される、上述のような瞬時復号化更新スライスタイプと非瞬時復号化更新スライスタイプのいずれかを選択する符号器を有する装置である。

それに加えて、他の利点／特徴は、少なくとも２つのスライスのうちの少なくとも１つのスライスに対するスライスヘッダがビュー特有のシンタックスを含む、上述のような符号器を有する装置である。

さらに、他の利点／特徴は、少なくとも２つのスライスのうちの少なくとも１つのスライスに対するスライスヘッダが上述のようにビュー特有のシンタックスを含み、ビュー特有のシンタックスがＮＡＬユニットタイプ２３及びＮＡＬユニットタイプ２４を必要条件としている、符号器を有する装置である。

さらに、他の利点／特徴は、少なくとも２つのスライスのうちの少なくとも１つのスライスに対するスライスヘッダが上述のようにビュー特有のシンタックスを含み、ビュー特有のシンタックスがビューパラメータセット識別子及びビュー識別子を含む、符号器を有する装置である。

また、他の利点／特徴は、ビュー特有のシンタックスが上述のようにビューパラメータセット識別子及びビュー識別子を含み、ビューパラメータセット識別子がｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素により表され、ビュー識別子がｖｉｅｗ＿ｉｄシンタックス要素により表される、符号器を有する装置である。

それに加えて、他の利点／特徴は、マルチビューコンテンツに対応する少なくとも２つのビューを符号化して結果として得られるビットストリームに入れる符号器を備え、その際に結果として得られるビットストリームがその少なくとも２つのビューのうちの少なくとも１つのビューに対応する少なくとも１つのカメラパラメータを含むように符号化される装置である。

さらに、他の利点／特徴は、結果として得られるビットストリームが、ビューパラメータセットを含むように符号化され、少なくとも１つのカメラパラメータがビューパラメータセットに含まれる、上述のような符号器を有する装置である。

さらに、他の利点／特徴は、少なくとも１つのカメラパラメータの存在がシンタックス要素により示される、上述のような符号器を有する装置である。また、他の利点／特徴は、少なくとも１つのカメラパラメータの存在が上述のようにシンタックス要素により示され、シンタックス要素はｃａｍｅｒａ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素により表される、符号器を有する装置である。

それに加えて、他の利点／特徴は、少なくとも１つのカメラパラメータがｃａｍｅｒａ＿ｐａｒａｍｅｔｅｒｓシンタックス要素により表される、上述のような符号器を有する装置である。

さらに、マルチビュービデオコンテンツに対応する少なくとも２つのビューを符号化して結果として得られるビットストリームに入れる符号器を備え、その際に結果として得られるビットストリームは、その少なくとも２つのビューのうちの少なくとも１つのビューに対する少なくとも１つのカメラパラメータに関係する少なくとも１つのシンタックス要素を含むように符号化される装置である。

さらに、他の利点／特徴は、少なくとも１つのシンタックスが高水準シンタックス要素である、上述のような符号器を有する装置である。また、他の利点／特徴は、少なくとも１つのシンタックスが結果として得られるビットストリームに対応するパラメータセットに含まれる、上述のような符号器を有する装置である。

本発明のこれら及び他の特徴及び利点は、当業者であれば、本明細書の教示に基づき容易に確認できる。本発明の教示は、様々な実施形態のハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、又はそれらの組合せで実装することができることは理解される。

本発明の教示は、ハードウェアとソフトウェアとの組合せとして実装されるのが最も好ましい。さらに、ソフトウェアは、プログラム記憶装置上に明確に具現化されたアプリケーションプログラムとして実装されうる。アプリケーションプログラムは、好適なアーキテクチャを含むマシンにアップロードされ、そのマシンにより実行されうる。好ましくは、マシンは、１つ又はそれ以上の中央演算処理装置（「ＣＰＵ」）、ランダムアクセスメモリ（「ＲＡＭ」）、及び入出力（「Ｉ／Ｏ」）インターフェースなどのハードウェアを備えるコンピュータプラットフォームとして実装される。コンピュータプラットフォームは、さらに、オペレーティングシステム及びマイクロ命令コードも含むことができる。本明細書で説明される様々なプロセス及び機能は、ＣＰＵにより実行されうる、アプリケーションプログラムのマイクロ命令コードもしくはその一部、又はそれらの組合せの一部とすることができる。それに加えて、他の様々な周辺装置が、追加のデータ記憶装置及び印刷装置などのコンピュータプラットフォームに接続されうる。

さらに、付属の図面に示されている構成要素であるシステムコンポーネント及び方法の一部は好ましくはソフトウェアで実装されるため、システムコンポーネント又はプロセス機能ブロック間の実際の接続は、本発明のプログラムされる方法により異なることがあることは理解される。本明細書の教示が与えられれば、当業者は、本発明のそれらの実装及び類似の実装又は構成を思い付くことができるであろう。

例示的な実施形態は、本明細書では付属の図面を参照しつつ説明されているけれども、本発明は、それらの正確な実施形態に制限されるわけではなく、また当業者であれば、本発明の技術的範囲又は精神から逸脱することなく、様々な他の変更及び修正も可能であることを理解するであろう。このような変更及び修正はすべて、付属の請求項で定められているとおり、本発明の技術的範囲内に含まれることが意図されている。

本発明の一実施形態による例示的なビデオ符号器のブロック図である。本発明の一実施形態による例示的なビデオ復号器のブロック図である。本発明の一実施形態による、階層型Ｂピクチャを使用するＭＰＥＧ−４ＡＶＣ標準に基づくビュー間時間予測構造図である。本発明の一実施形態による、マルチビュービデオコンテンツの複数のビューを符号化する例示的な方法のフローチャートを示す図である。本発明の一実施形態による、マルチビュービデオコンテンツの複数のビューを復号化する例示的な方法のフローチャートを示す図である。

Claims

マルチビュー・ビデオ・コンテンツに対応する少なくとも２つのビューを、この少なくとも２つのビューのうち、復号化について他の如何なるビューからも独立しているビューをベースビューとして定義することによって、符号化する符号器であって、
ａｖｃ＿ｃｏｍｐａｔｉｂｌｅ＿ｖｉｅｗ＿ｉｄシンタックス要素が、下位互換性について、結果として得られるビットストリーム内の符号化されたベースビューのうち、どのベースビューが国際標準化機構／国際電気標準会議Moving Picture Experts Group-4 Part 10 Advanced Video Coding標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告にシンタックス準拠しているかを識別し、
ビュー相互間の依存性情報を示す新たなシンタックス構造が含まれ、
マルチビュー・ビデオ符号化スライス・ヘッダには、個々のスライスがどのビューに属しているかを示すパラメータが含まれる、前記符号器を備える装置。
マルチビュー・ビデオ・コンテンツに対応する少なくとも２つのビューを、この少なくとも２つのビューのうち、復号化について他の如何なるビューからも独立しているビューをベースビューとして定義することによって、符号化する方法であって、
ａｖｃ＿ｃｏｍｐａｔｉｂｌｅ＿ｖｉｅｗ＿ｉｄシンタックス要素が、下位互換性について、結果として得られるビットストリーム内の符号化されたベースビューのうち、どのベースビューが国際標準化機構／国際電気標準会議Moving Picture Experts Group-4 Part 10 Advanced Video Coding標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告にシンタックス準拠しているかを識別し、
ビュー相互間の依存性情報を示す新たなシンタックス構造が含まれ、
マルチビュー・ビデオ符号化スライス・ヘッダには、個々のスライスがどのビューに属しているかを示すパラメータが含まれる、前記方法。