JP5281076B2 - ダウンサンプリングされたリファレンスピクチャによるビュー間予測 - Google Patents

Description

本原理は、概して、ビデオの符号化及び復号化に関する。

ビュー間予測は、例えば、複数のビューからのピクチャを符号化する際に使用され、符号化の有効性を提供しうる。符号化ピクチャは、様々な解像度の中の１つで符号化されてよく、また、ピクチャは、解像度を低下させるようダウンサンプリングをなされてよい。

一般的側面に従って、符号化ピクチャの少なくとも一部分がアクセスされる。符号化ピクチャは複数のビューの中の特定のビューからのものであり、前記部分は特定の解像度で符号化されている。その特定の解像度は特定のビューレベルに基づいて決定される。前記部分はその特定の解像度に基づいて復号される。

他の一般的側面に従って、特定のビューレベルは、ピクチャの少なくとも一部分についての特定のビューに基づいて決定される。特定のビューは複数のビューからのものである。特定の解像度は、特定のビューレベルに基づいて前記部分について決定される。前記部分はその特定の解像度に基づいて符号化される。

他の一般的側面に従って、ビデオ信号構造又はフォーマットされたビデオ信号は、ピクチャの少なくとも一部分の符号化表現を含む。ピクチャは、複数のビューの特定のビューからのものである。ビデオ信号構造又はフォーマットされたビデオ信号は、また、特定のビューについてのスケーラビリティ・ヒエラルキにおけるビューレベル位置を示す情報を含む。

他の一般的側面に従って、ピクチャの少なくとも一部分がアクセスされる。ピクチャは、マルチビュー符号化システムにおける複数のビューの特定のビューからのものである。その特定のビューが識別される。前記部分を符号化する解像度が決定される。その解像度は前記特定のビューに対応する。前記部分はその解像度で符号化される。

他の一般的側面に従って、符号化ピクチャの少なくとも一部分がアクセスされる。ピクチャは、マルチビュー符号化システムにおける複数のビューの特定のビューからのものである。その特定のビューが識別される。前記部分を符号化した特定の解像度が識別される。その特定の解像度は前記特定のビューに対応する。前記部分はその特定の解像度で復号される。

１又はそれ以上の実施の詳細が添付の図面及び以下の記載で示される。たとえ１つの特定の方法で記載されているとしても、当然に、斯かる実施は様々な方法で構成され又は具体化されてよい。例えば、実施は、方法として実施されても、あるいは、動作の組を実行するよう構成された装置として具現されても、あるいは、動作の組を実行するための命令を記憶する装置として具現されても、あるいは、信号において具現されてもよい。他の側面及び特徴は、添付の図面及び特許請求の範囲に関連して考慮される以下の詳細な記載から明らかになるであろう。

マルチビュービデオ符号化（ＭＶＣ（multi-view video coding））のための予測構成の例を示す図である。 より低い空間解像度によりＢビューを符号化する場合にリファレンスピクチャのダウンサンプリングを行うエンコーダを示すブロック図である。 本原理の実施例に従う、本原理が適用されうるマルチビュービデオ符号化（ＭＶＣ）エンコーダの例についてのブロック図である。 本原理の実施例に従う、本原理が適用されうるマルチビュービデオ符号化（ＭＶＣ）デコーダの例についてのブロック図である。 本原理の実施例に従うピクチャ符号化方法の例についてのフロー図である。 本原理の実施例に従うピクチャ符号化方法の例についてのフロー図である。 本原理の実施例に従うピクチャ復号化方法の例についてのフロー図である。 本原理の実施例に従うピクチャ復号化方法の例についてのフロー図である。 本原理の他の実施例に従うピクチャ符号化方法の例についてのフロー図である。 本原理の他の実施例に従うピクチャ符号化方法の例についてのフロー図である。 本原理の他の実施例に従うピクチャ復号化方法の例についてのフロー図である。 本原理の他の実施例に従うピクチャ復号化方法の例についてのフロー図である。 ピクチャ復号化のための受信装置を示すフロック図である。 ビュー、解像度、及びビューレベルの間の対応の実施を示すテーブルである。

少なくとも１つの実施は、異なる解像度のリファレンスピクチャによるビュー間予測のための方法及び装置を対象とする。よって、当然に、当業者は、たとえ本明細書中で明示的に記載及び図示をされていてないとしても、本願で論じられている１又はそれ以上の実施に係る本原理を具現しながらその適用範囲内に含まれる様々な配置を創作することができる。

ここに挙げられている全ての例及び条件付きの用語は、本発明者が当該技術の発達に寄与する概念及び本原理を読む者が理解する助けとなるよう教育上の目的のためのものであり、このような具体的に挙げられている例及び条件に限定されないと解されるべきである。

更に、本明細書中で本原理の原理、側面、及び実施形態並びにそれらの具体例を挙げている全ての記載は、それらの構造上及び機能上等価なものを包含するよう意図されている。加えて、斯かる等価なものは、現在知られているもの及び将来的に開発されるもの（すなわち、構造とは無関係に同じ機能を実行するよう開発されたあらゆる要素）の両方を含むよう意図されている。

従って、例えば、当業者には当然のことながら、ここに表されているブロック図は、本原理を具現する実例となる回路の概念図を表している。同様に、当然に、あらゆるフローチャート、フロー図、状態遷移図、擬似コード、及びその他は、実質上読取可能な媒体で表され且つコンピュータ又はプロセッサによって（このようなコンピュータ又はプロセッサが明示されているか否かによらず）そのように実行されうる様々な処理を表す。

図中に示されている様々な要素の機能は、適切なソフトウェアに関連して専用のハードウェア及びソフトウェアを実行可能なハードウェアの使用を通して提供されてよい。プロセッサによって提供される場合に、機能は、単一の共有プロセッサによって、又は複数の個々のプロセッサ（それらの一部は共有されてよい。）によって、提供されてよい。更に、用語「プロセッサ」又は「コントローラ」の明示的な使用は、専らソフトウェアを実行可能なハードウェアを参照していると解されるべきではなく、限定なくデジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶する読出専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、及び不揮発性記憶装置を暗に含みうる。

従来及び／又はカスタムの他のハードウェアも含まれてよい。同様に、図中に示されているあらゆるスイッチは概念にすぎない。それらの機能は、プログラムロジックの動作を通して、専用のロジックを通して、プログラム制御及び専用のロジックの相互作用を通して、又は手動で実行されてよく、また、特定の技術は、より具体的に文脈から理解されるように、実施する者によって選択可能である。

特許請求の範囲で、特定の機能を実行する手段として表現されている如何なる要素も、例えば、ａ）その機能を実行する回路要素の組み合わせ又はｂ）あらゆる形態のソフトウェアを含み、従って、機能を実行するようそのソフトウェアを実行するための適切な回路と結合されたファームウェア、マイクロコード、又はその他を含む、その機能を実行するあらゆる方法を包含するよう意図される。斯かる特許請求の範囲によって定義される本原理は、挙げられている様々な手段によって提供される機能が、特許請求の範囲が求めている方法で結合されてまとめられるという事実にある。このようにして、斯かる機能性を提供することができる如何なる手段もここで示される手段と等価であると考えられる。

本原理の「一実施例」又は「実施例」という明細書中の参照は、その実施例に関連して記載される特定の機能、特徴、構造及びその他が、本原理の少なくとも１つの実施例に含まれることを意味する。よって、本明細書中の様々な箇所で現れるフレーズ「一実施例で」又は「実施例で」は、必ずしも全てが同じ実施例を参照しているわけではない。

当然に、用語「及び／又は」の使用（例えば、「Ａ及び／又はＢ」の場合）は、最初に挙げられている選択肢（Ａ）の選択、２番目に挙げられている選択肢（Ｂ）の選択、又は両方の選択肢（Ａ及びＢ）の選択を包含するよう意図される。更なる例として、「Ａ、Ｂ及び／又はＣ」の場合に、斯かる言い回しは、最初に挙げられている選択肢（Ａ）の選択、２番目に挙げられている選択肢（Ｂ）の選択、３番目に挙げられている選択肢（Ｃ）の選択、最初及び２番目に挙げられている選択肢（Ａ及びＢ）の選択、最初及び３番目に挙げられている選択肢（Ａ及びＣ）の選択、２番目及び３番目に挙げられている選択肢（Ｂ及びＣ）の選択、又は３つ全ての選択肢（Ａ及びＢ及びＣ）の選択を包含するよう意図される。これは、挙げられている多くの物に関して、当業者には容易に理解されるように、拡張されてよい。

更に、当然に、本原理の１又はそれ以上の実施例はＭＰＥＧ−４ＡＶＣ標準に関連してここでは記載されるが、本原理はこの標準に限定されず、如何なる標準規格にも関与せずに適用されてよい。よって、例えば、本願で論じられる概念、特徴及び実施は、本原理の精神を保ちながら、ＭＰＥＧ−４ＡＶＣ標準の拡張を含む他のビデオ符号化標準、勧告、及びそれらの拡張に対して利用されてよい。

更に、当然に、本原理の１又はそれ以上の実施例はＭＰＥＧ−４ＡＶＣ標準のマルチビュービデオ符号化拡張に関してここでは記載されるが、本原理はこの拡張及び／又はこの標準規格に限定されず、従って、本原理の精神を保ちながら、マルチビュービデオ符号化に関連する他のビデオ符号化標準、勧告、及びそれらの拡張に対して利用されてよい。マルチビュービデオ符号化（ＭＶＣ（multi-view video coding））は、マルチビューシーケンスの符号化のための圧縮フレームワークである。ＭＶＣシーケンスは、異なるビューポイントから同じ場面を捕捉する２又はそれ以上のビデオシーケンスの組である。

また、当然に、本原理の１又はそれ以上の実施例は、ビデオコンテンツに関して深さ情報を使用するようここでは記載されるが、本原理はそのような実施例に限定されず、よって、深さ情報を使用しない他の実施例が、本原理の精神を保ちながら、実施されてよい。

加えて、ここで用いられるように、「高レベル構文」は、階層的にマクロブロックレイヤの上にあるビットストリームに存在する構文をいう。例えば、高レベル構文は、ここで用いられるように、スライス・ヘッダレベル、サプリメンタル・エンハンスメント情報（ＳＥＩ）レベル、ピクチャ・パラメータ・セット（ＰＰＳ）レベル、シーケンス・パラメータ・セット（ＳＰＳ）レベル及びネットワーク・アブストラクション・レイヤ（ＮＡＬ）ユニット・ヘッダレベルでの構文をいうが、これらに限定されない。

更に、ここで用いられるように、「ビュースケーラブルレイヤ」は、符号化ピクチャの組を順次に含むレイヤをいう。ビュースケーラブルレイヤは、自然数で番号付けされてよい。より大きいレイヤ番号を有するレイヤは、より小さい番号を有するレイヤより高位のレイヤである。

［ダウンサンプリングされたリファレンスピクチャによるビュー間予測］
ビュー間予測のための特定の技術が、マルチビューシーケンスに含まれる各ビューが異なる空間解像度を有する場合に適用されてよい。この特定の技術は、より高い解像度のリファレンスピクチャを参照する場合にどのようにビュー間予測が働くかを特定することができる。なお、この特定の技術は、Ｉビュー及びＰビューは（ＪＭＶＭ（Joint Multiview Video Model）で特定される）元の解像度で符号化されるべきであり、Ｂビューのみがダウンサンプリングされた解像度で符号化されることを認められている場合に厳密である。ダウンサンプリング比は、水平方向及び垂直方向の両方について２であるよう固定される。Ｂビューについては、Ｂビューがより低い解像度で符号化される場合は、フル解像度のピクチャはリファレンスピクチャ・バッファからロードされ、ビュー間予測のためにダウンサンプリングされる。

上記の特定の技術に伴って少なくとも２つの制限が存在する。第１に、階層的Ｂビューを有する場合に、提供される構文により、高解像度で符号化されている一部のＢビューが、低解像度で符号化されているリファレンスビューを参照することがある。第２に、構文は、水平及び垂直の両方について２に等しい一定のダウンサンプリング比しか許容しない。しかし、異なるコンテンツ及びアプリケーションにより、水平及び垂直の両方向について異なる解像度を特定する多少の柔軟性が必要とされる。

特定の技術により使用されうる予測構造の１つの例が図１に示されている。図１を参照すると、マルチビュービデオ符号化（ＭＶＣ）のための例となる予測構造が、概して参照符号１００で示されている。図１の構造についてはほぼ一目瞭然であるが、以下に簡単な説明を記載する。構造１００は、定義によりビュー間予測を有さないＩビューの組を示す。構造１００は、また、Ｂビューの組及びＰビューの組を示す。Ｂビュー及びＰビューはいずれもビュー間予測を使用してよい。Ｉビューの組は時間ｔ１でＩフレームを有する。矢印は、ピクチャが他のピクチャのリファレンスピクチャとして使用されることを示している。矢印は、リファレンスピクチャから始まり、このリファレンスピクチャを使用するピクチャに矢印の先を向けられている。よって、例えば、時間ｔ１で、Ｂビューは、リファレンス画像としてＰビュー及びＩビューの両方を使用する。他の例として、時間ｔ２で、Ｂビューは、時間ｔ２のＩビュー及びＰビューと、時間ｔ１及びｔ３のＢビューとをリファレンスピクチャとして使用する。

図１の予測構造のための例となるエンコーダは図２に示されている。図２を参照すると、より低い空間解像度によりＢビューを符号化する場合にリファレンスピクチャのダウンサンプリングを行うエンコーダは、概して参照符号２００で示されている。エンコーダ２００は、Ｉ／Ｐビュー部２９１及びＢビュー部２９２を有する。

エンコーダ２００は、変換器／量子化器２１０の入力部と信号通信をするよう接続されている出力部を有する結合器２０５を有する。変換器／量子化器２１０の出力部は、逆量子化器／逆変換器２１５の入力部及びエントロピー符号器２２０の第２入力部と信号通信をするよう接続されている。

逆量子化器／逆変換器２１５の出力部は、結合器２２５の第１非反転入力部と信号通信をするよう接続されている。結合器２２５の出力部は、デブロッキングフィルタ２３０の入力部と信号通信をするよう接続されている。デブロッキングフィルタ２３０の出力部は、復号ピクチャバッファ（ＤＰＢ）２３５の入力部と信号通信をするよう接続されている。復号ピクチャバッファ２３５の出力部は、モーション推定器及び補償器２４０の第１入力部と信号通信をするよう接続されている。モーション推定器及び補償器２４０の第１出力部は、結合器２０５の反転入力部及び結合器２２５の第２非反転入力部と信号通信をするよう接続されている。モーション推定器及び補償器２４０の第２出力部は、エントロピー符号器２２０の第１入力部と信号通信をするよう接続されている。

復号ピクチャバッファ２３５の第１出力部は、また、ダウンサンプラー２７０の入力部と信号通信をするよう接続されている。ダウンサンプラー２７０の出力部は、モーション推定器及び補償器２８５の第２入力部と信号通信をするよう接続されている。モーション推定器及び補償器２８５の第１出力部は、結合器２４５の反転入力部及び結合器２６５の第２非反転入力部と信号通信をするよう接続されている。結合器２４５の出力部は、変換器／量子化器２５０の入力部と信号通信をするよう接続されている。変換器／量子化器２５０の出力部は、逆量子化器／逆変換器２６０の入力部及びエントロピー符号器２５５の第２入力部と信号通信をするよう接続されている。

逆量子化器／逆変換器２６０の出力部は、結合器２６５の第１入力部と信号通信をするよう接続されている。結合器２６５の出力部は、デブロッキングフィルタ２７５の入力部と信号通信をするよう接続されている。デブロッキングフィルタ２７５の出力部は、復号ピクチャバッファ２８０の入力部と信号通信をするよう接続されている。復号ピクチャバッファ２８０の出力部は、モーション推定器及び補償器２８５の第１入力部と信号通信をするよう接続されている。モーション推定器及び補償器２８５の第２出力部は、エントロピー符号器２５５の第１入力部と信号通信をするよう接続されている。

結合器２０５の第１入力部並びにモーション推定器及び補償器２４０の第２入力部は、入力ビデオ信号を受信するためのエンコーダ２００の入力部として利用可能である。エントロピー符号器２２０の出力部は、ビットストリームを出力するためのエンコーダ２００の出力部として利用可能である。

結合器２４５の第１入力部並びにモーション推定器及び補償器２８５の第２入力部は、入力ビデオ信号を受信するためのエンコーダ２００の入力部として利用可能である。エントロピー符号器２５５の出力部は、ビットストリームを出力するためのエンコーダ２００の出力部として利用可能である。

空間解像度を特定する実施の構文が表１に示される。

上記の実施に伴って少なくとも２つの制限が存在する。第１に、階層的Ｂビューを有する場合に、提供される構文により、高解像度で符号化されている一部のＢビューが、低解像度で符号化されているリファレンスビューを参照することがある。第２に、構文は、水平及び垂直の両方について２に等しい一定のダウンサンプリング比しか許容しない。しかし、異なるコンテンツ及びアプリケーションにより、水平及び垂直の両方向について異なる解像度を特定する多少の柔軟性が必要とされる。

［ＪＭＶＭにおけるビューレベル］
ＪＭＶＭ（Joint Multiview Video Model）では、ビューレベル（ビュースケーラビリティのレベル）は、表２に示されるように、ネットワーク・アブストラクション・レイヤ（ＮＡＬ）ユニットにおける構文view_levelによって記載される。ビューレベルは、また、表３に示されるように、シーケンスパラメータセット（ＳＰＳ）におけるビュー依存情報から得られる。ＪＭＶＭ規格で、ビューレベルは次の制約を有する。すなわち、currVIに等しいview_levelを有するいずれかのアクセスユニットの復号化は、currVIより大きいか又はこれに等しいview_levelを有する全てのアクセスユニットと無関係であるべきである。vldをVminより大きいか又はこれに等しい何らかの値であるとする。なお、Vminは、符号化ビデオシーケンスにおけるview_levelの最小値である。vldより大きいview_levelを有する全てのＮＡＬユニットを捨てることによって得られるビットストリームは標準規格に適合する。

図３を参照すると、例となるマルチビュービデオ符号化（ＭＶＣ）エンコーダが、概して参照符号３００で示されている。エンコーダ３００は、変換器３１０の入力部と信号通信するよう接続された出力部を有する結合器３０５を有する。変換器３１０の出力部は、量子化器３１５の入力部と信号通信するよう接続されている。量子化器３１５の出力部は、エントロピー符号器３２０の入力部及び逆量子化器３２５の入力部と信号通信するよう接続されている。逆量子化器３２５の出力部は、逆変換器３３０の入力部と信号通信するよう接続されている。逆変換器３３０の出力部は、結合器３３５の第１の非反転入力部と信号通信するよう接続されている。結合器３３５の出力部は、イントラ予測器３４５の入力部及びデブロッキングフィルタ３５０の入力部と信号通信するよう接続されている。デブロッキングフィルタ３５０の出力部は、（ビューｉのための）リファレンスピクチャ記憶部３５５の入力部と信号通信するよう接続されている。リファレンスピクチャ記憶部３５５の出力部は、モーション補償器３７５の第１入力部及びモーション推定器３８０の第１入力部と信号通信するよう接続されている。モーション推定器３８０の出力部は、モーション補償器３７５の第２入力部と信号通信するよう接続されている。

（他のビューのための）リファレンスピクチャ記憶部３６０の出力部は、視差（disparity）推定器３７０の第１入力部及び視差補償器３６５の第１入力部と信号通信するよう接続されている。視差推定器３７０の出力部は、視差補償器３６５の第２入力部と信号通信するよう接続されている。

エントロピー符号器３２０の出力部は、エンコーダ３００の出力部として利用可能である。結合器３０５の非反転入力部は、エンコーダ３００の入力部として利用可能であり、かつ、視差推定器３７０の第２入力部及びモーション推定器３８０の第２入力部と信号通信するよう接続されている。スイッチ３８５の出力部は、結合器３３５の第２の非反転入力部及び結合器３０５の反転入力部と信号通信するよう接続されている。スイッチ３８５は、モーション補償器３７５の出力部と信号通信するよう接続された第１入力部と、視差補償器３６５の出力部と信号通信するよう接続された第２入力部と、イントラ予測器３４５の出力部と信号通信するよう接続された第３入力部とを有する。

モード決定モジュール３４０は、どの入力部がスイッチ３８５によって選択されるのかを制御するためにスイッチ３８５へ接続されている出力部を有する。

図４を参照すると、例となるマルチビュービデオ符号化（ＭＶＣ）デコーダが、概して参照符号４００によって示されている。デコーダ４００は、逆量子化器４１０の入力部と信号通信するよう接続された出力部を有するエントロピー復号器４０５を有する。逆量子化器４１０の出力部は、逆変換器４１５の入力部と信号通信をするよう接続されている。逆変換器４１５の出力部は、結合器４２０の第１の非反転入力部と信号通信をするよう接続されている。結合器４２０の出力部は、デブロッキングフィルタ４２５の入力部及びイントラ予測器４３０の入力部と信号通信をするよう接続されている。デブロッキングフィルタ４２５の出力部は、（ビューｉのための）リファレンスピクチャ記憶部４４０の入力部と信号通信をするよう接続されている。リファレンスピクチャ記憶部４４０の出力部は、モーション補償器４３５の第１入力部と信号通信をするよう接続されている。

（他のビューのための）リファレンスピクチャ記憶部４４５の出力部は、視差補償器４５０の第１入力部と信号通信をするよう接続されている。

エントロピー復号器４０５の入力部は、剰余（residue）ビットストリームを受信するための、デコーダ４００への入力部として利用可能である。更に、モードモジュール４６０の入力部は、また、どの入力部がスイッチ４５５によって選択されるのかを制御する制御構文を受信するための、デコーダ４００への入力部として利用可能である。更に、モーション補償器４３５の第２入力部は、モーションベクトルを受信するための、デコーダ４００への入力部として利用可能である。また、視差補償器４５０の第２入力部は、視差ベクトルを受信するための、デコーダ４００への入力部として利用可能である。

スイッチ４５５の出力部は、結合器４２０の第２の非反転入力部と信号通信をするよう接続されている。スイッチ４５５の第１入力部は、視差補償器４５０の出力部と信号通信するよう接続されている。スイッチ４５５の第２入力部は、モーション補償器４３５の出力部と信号通信するよう接続されている。スイッチ４５５の第３入力部は、イントラ予測器４３０の出力部と信号通信するよう接続されている。モードモジュール４６０の出力部は、どの入力がスイッチ４５５によって選択されるのかを制御するためにスイッチ４５５と信号通信するよう接続されている。デブロッキングフィルタ４２５の出力部は、デコーダ４００の出力部として利用可能である。

実施例では、動的解像度リファレンスピクチャを用いるビュー間予測に対する改善が提案されている。更に、実施例では、ビュースケーラビリティに基づく空間解像度に対する制約が提案されるとともに、水平方向及び垂直方向についての柔軟なダウンサンプリング比が実現される。更に、実施例では、異なる解像度を用いるビュー間予測がどのように働くかについての改善された構文及びセマンティクスが提案されている。

実施例では、Ｂビューのみがより小さい解像度を有することを許容されるビュータイプに基づく空間解像度の特定に代えて、ビューレベルに基づいて制約を特定することが提案されている。

実施例では、各ビューの空間解像度について次の制約が定められる。vldをVminより大きいか又はこれに等しい何らかの値とする。なお、Vminは、符号化ビデオシーケンスにおけるビューレベルの最小値である。vldより大きいいずれかのビューレベルについて、その空間解像度はvldの空間解像度に等しいか又はこれより小さい。

他の実施例では、次の更なる制約が加えられる。すなわち、vldに等しいいずれかのビューレベルについて、その空間解像度はvldの空間解像度に等しい。

更なる他の実施例では、次の更なる制約が加えられる。すなわち、最も高いビューレベルのみが最も低い解像度を有することができる。

少なくとも１つの実施では、また、水平方向又は垂直方向について柔軟なダウンサンプリング比が可能にされる。

一実施例で、各ビューを符号化することが可能な空間解像度ダウンサンプリングの数が固定される。表４はこのような例を示す。

view_res[i]は、view_id[i]の空間解像度スケールを示す。view_resの構文要素は表５で定義される。

他の実施例では、水平及び垂直の各解像度についてスケーリング比が特定される。表６はこのような例を示す。

１に等しいdownsampling_flag[i]は、ダウンサンプリングがview_id[i]を有するビューに適用されることを示す。０に等しいdownsampling_flag[i]は、ダウンサンプリングがview_id[i]を有するビューに適用されないことを示す。

horizontal_scale[i]は、view_id[i]を有するビューの水平ダウンサンプリング比を示す。

vertical_scale[i]は、view_id[i]を有するビューの垂直ダウンサンプリング比を示す。

上記の議論の結果として、ビュー間リファレンス選択が影響を及ぼされる。レイヤは、ビュースケーラブル階層レイヤにおける（ビュー“ｉ”に属する）如何なるピクチャも、より高いビュースケーラブル階層レイヤにおける（他のビュー“ｊ”に属する）如何なるピクチャからも予測されるべきでないように、お互いに対する自身の依存性に基づいて階層的に順序付けられている。

図５を参照すると、例となるピクチャ符号化方法が、概して参照符号５００で示されている。

方法５００は、機能ブロック５０４へ制御を渡す開始ブロック５０２を有する。機能ブロック５０４は、エンコーダについての設定パラメータを読み出し、制御を機能ブロック５０６に渡す。機能ブロック５０６は、現在のビューの解像度がスケーラビリティ・ヒエラルキにおける自身の位置に基づくことを確認し、制御を機能ブロック５０８に渡す。解像度がスケーラビリティ・ヒエラルキにおける位置に基づくことを確認する際に、ブロック５０６は、現在のビューの解像度がスケーラビリティ・ヒエラルキにおける自身の位置に反しないことを試験する。例えば、典型的な応用で、位置が低いほど解像度は低く、また、位置が高いほど解像度は高い。

機能ブロック５０８は、高レベル構文（例えば、ＳＰＳ、ＰＰＳ、スライスヘッダ、ＮＡＬユニットヘッダ等のいずれかに含まれる高レベル構文）においてビュー“ｉ”についてのview_resを設定し、制御を機能ブロック５１０に渡す。機能ブロック５１０は、ビューの数を変数Ｎに等しくし、変数ｉ及び変数ｊをゼロに初期化し、制御を決定ブロック５１２に渡す。決定ブロック５１２は、変数ｉの現在の値が変数Ｎの現在の値より小さいか否かを決定する。変数ｉの現在の値が変数Ｎの現在の値より小さい場合は、制御は決定ブロック５１４に渡される。そうでない場合は、制御は決定ブロック５２８に渡される。

決定ブロック５１４は、変数ｊの現在の値がビューｉにおけるピクチャの数より小さいか否かを決定する。変数ｊの現在の値がビューｉにおけるピクチャの数より小さい場合は、制御は機能ブロック５１６に渡される。そうでない場合は、制御は機能ブロック５３６に渡される。

機能ブロック５１６は、時間ピクチャ（temporal pictures）をセットアップし、制御を決定ブロック５１８に渡す。決定ブロック５１８は、ビュー“ｉ”がビュー間リファレンスピクチャを有するか否かを決定する。ビュー“ｉ”がビュー間リファレンスピクチャを有する場合は、制御は決定ブロック５２０に渡される。そうでない場合は、制御は機能ブロック５２４に渡される。

決定ブロック５２０は、ビュー間リファレンスが低解像度を有する場合に、ビュー間リファレンスのビュースケーラビリティレベルがスケーラビリティ・ヒエラルキにおいて現在のピクチャより低い位置にあるか否かを決定する。ビュー間リファレンスのビュースケーラビリティレベルがスケーラビリティ・ヒエラルキにおいて現在のピクチャより低い位置にある場合は、制御は機能ブロック５２２に渡される。そうでない場合は、制御は機能ブロック５３８に渡される。

様々な他の実施が、より一般的に決定ブロック５２０で作用する。このような他の実施は、ビュー間リファレンスが、ビュースケーラビリティレベルヒエラルキにおいて現在のピクチャについての位置と同じか又はこれより高い位置を有する（従って、同じか又は高い解像度を有する）かどうかのみを考慮する。ビュースケーラビリティレベルヒエラルキにおける位置が高いほどより高い解像度に相当するが、通常、位置についての値はより低くなる。例えば、レベル０は一般にレベル１より高い解像度を有する。しかし、様々な他の実施は逆の順序でレベルの数を定めてよい。

機能ブロック５２２は、現在のピクチャについてリファレンスとしてのビュー間ピクチャの使用を禁止し、制御を機能ブロック５２４に渡す。機能ブロック５２４は、ピクチャを符号化し、制御を機能ブロック５２６に渡す。機能ブロック５２６は、変数ｉをインクリメントし、制御を決定ブロック５１２に返す。

機能ブロック５３６は、変数ｉをインクリメントし、frame_num及びピクチャ・オーダー・カウント（ＰＯＣ）をリセットし、制御を決定ブロック５１２に返す。

機能ブロック５３８は、現在のピクチャについてリファレンスとしてビュー間ピクチャを使用し、制御を機能ブロック５２４に渡す。

決定ブロック５２８は、インバンド（in-band）でＳＰＳ、ＰＰＳ、及び／又はＶＰＳ（及び／又は目下の原理の目的のために使用されるいずれかの他の構文構造及び／又は構文要素）が送信されるべきか否かを決定する。インバンドでＳＰＳ、ＰＰＳ、及び／又はＶＰＳが送信されるべき場合は、制御は機能ブロック５３０に渡される。そうでない場合は、制御は機能ブロック５３２に渡される。

機能ブロック５３０は、インバンドでＳＰＳ、ＰＰＳ、及び／又はＶＰＳを送信し、制御を機能ブロック５３４に渡す。

機能ブロック５３４は、ビットストリームをファイルに書き込み、又はビットストリームをネットワーク上でストリーミングし、制御を終了ブロック５９９に渡す。

機能ブロック５３２は、アウトオブバンド（out-of-band）でＳＰＳ、ＰＰＳ、及び／又はＶＰＳを送信し、制御を機能ブロック５３４に渡す。

図６を参照すると、例となるピクチャ復号化方法が、概して参照符号６００で示されている。

方法６００は、制御を機能ブロック６０４に渡す開始ブロック６０２を有する。機能ブロック６０４は、ＳＰＳ、ＰＰＳ、ＶＳＰ、スライスヘッダ、及び／又はＮＡＬユニットヘッダを構文解析し、制御を機能ブロック６０６に渡す。機能ブロック６０６は、高レベル構文（例えば、ＳＰＳ、ＰＰＳ、ＶＰＳ、スライスヘッダ、及び／又はＮＡＬユニットヘッダのいずれかに含まれる高レベル構文）において各ビュー“ｉ”についてview_resを構文解析し、制御を決定ブロック６０８に渡す。決定ブロック６０８は、現在のピクチャが復号化を必要とするか否かを決定する。現在のピクチャが復号化を必要とする場合は、制御は決定ブロック６１０に渡される。そうでない場合は、制御は機能ブロック６２０に渡される。

決定ブロック６１０は、ピクチャ・オーダー・カウント（ＰＯＣ）の現在の値がＰＯＣの前の値に等しいか否かを決定する。ＰＯＣの現在の値がその前の値に等しい場合は、制御は機能ブロック６１２に渡される。そうでない場合は、制御は機能ブロック６１４に渡される。

機能ブロック６１２は、構文要素view_numをゼロに等しく設定し、制御を機能ブロック６１４に渡す。

機能ブロック６１４は、ビュー符号化順序を決定すべく高レベルでのview_id情報にインデックスを付し、view_numをインクメントし、制御を決定ブロック６１６に渡す。決定ブロック６１６は、現在のピクチャが期待される符号化順序にあるか否かを決定する。現在のピクチャが期待される符号化順序にある場合は、制御は機能ブロック６２４に渡される。そうでない場合は、制御は機能ブロック６１８に渡される。

機能ブロック６２４はスライスヘッダを構文解析し、制御を機能ブロック６２６に渡す。機能ブロック６２６は、時間ピクチャをセットアップし、制御を決定ブロック６２８に渡す。決定ブロック６２８は、ビュー“ｉ”がビュー間リファレンスピクチャを有するか否かを決定する。ビュー“ｉ”がビュー間リファレンスピクチャを有する場合は、制御は決定ブロック６３０に渡される。そうでない場合は、制御は機能ブロック６３６に渡される。

決定ブロック６３０は、ビュー間リファレンスが低解像度を有する場合に、ビュー間リファレンスのビュースケーラビリティレベルがスケーラビリティ・ヒエラルキにおいて現在のピクチャより低い位置にあるか否かを決定する。ビュー間リファレンスのビュースケーラビリティレベルがスケーラビリティ・ヒエラルキにおいて現在のピクチャより低い位置にある場合は、制御は機能ブロック６３２に渡される。そうでない場合は、制御は機能ブロック６３４に渡される。

様々な他の実施が、より一般的に決定ブロック６３０で作用する。このような他の実施は、ビュー間リファレンスが、ビュースケーラビリティレベルヒエラルキにおいて現在のピクチャについての位置と同じか又はこれより高い位置を有する（従って、同じか又は高い解像度を有する）かどうかのみを考慮する。ビュースケーラビリティレベルヒエラルキにおける位置が高いほどより高い解像度に相当するが、通常、位置についての値はより低くなる。例えば、レベル０は一般にレベル１より高い解像度を有する。しかし、様々な他の実施は逆の順序でレベルの数を定めてよい。

更に、決定ブロック６３０は、全ての実施で使用されるわけではない。様々な他の実施は、受信された符号化ストリームを単に復号化し、ビュー間リファレンスピクチャが現在のピクチャと少なくとも同程度の解像度を有すると仮定する。

機能ブロック６３２は、復号化におけるエラーの存在を示し及び／又は別なふうに確かめ、制御を終了ブロック６９９に渡す。

機能ブロック６２０は、次のピクチャを得、制御を決定ブロック６０８に返す。

機能ブロック６１８は、現在のピクチャを隠し、制御を機能ブロック６２０に渡す。

機能ブロック６３４は、現在のピクチャについてリファレンスとしてビュー間ピクチャを用い、制御を機能ブロック６３６に渡す。機能ブロック６３６は、ピクチャを復号し、制御を機能ブロック６３８に渡す。機能ブロック６３８は、復号化ピクチャバッファ（ＤＰＢ）に現在のピクチャを挿入し、制御を決定ブロック６４０に渡す。決定ブロック６４０は、全てのピクチャが復号されたか否かを決定する。全てのピクチャが復号されている場合は、制御は終了ブロック６９９に渡される。そうでない場合は、制御は機能ブロック６２４に返される。

図７を参照すると、例となるピクチャ符号化方法が、概して参照符号７００で示されている。

方法７００は、制御を機能ブロック７０４に渡す開始ブロック７０２を有する。機能ブロック７０４は、エンコーダについての設定パラメータを読み出し、制御を機能ブロック７０６に渡す。機能ブロック７０６は、現在のビューの解像度がスケーラビリティ・ヒエラルキにおける自身の位置に基づくことを確認し、制御を機能ブロック７０８に渡す。

解像度がスケーラビリティ・ヒエラルキにおける位置に基づくことを確認する際に、ブロック７０６は、現在のビューの解像度がスケーラビリティ・ヒエラルキにおける自身の位置に反しないことを試験する。例えば、典型的な応用で、位置が低いほど解像度は低く、また、位置が高いほど解像度は高い。

機能ブロック７０８は、低解像度ビューについてdownsampling_flag[i]を１に等しく設定し、フル解像度ビューについてdownsampling_flag[i]をゼロに等しく設定し、制御を決定ブロック７５０に渡す。決定ブロック７５０は、downsampling_flag[i]が１に等しいか否かを決定する。downsampling_flag[i]が１に等しい場合は、制御は機能ブロック７５２に渡される。そうでない場合は、制御は機能ブロック７１０に渡される。

機能ブロック７５２は、構文要素horizontal_scale[i]及び構文要素vertical_scale[i]を設定し、制御を機能ブロック７１０に渡す。

機能ブロック７１０は、ビューの数を変数Ｎに等しくし、変数ｉ及び変数ｊをゼロに初期化し、制御を決定ブロック７１２に渡す。決定ブロック７１２は、変数ｉの現在の値が変数Ｎの現在の値より小さいか否かを決定する。変数ｉの現在の値が変数Ｎの現在の値より小さい場合は、制御は決定ブロック７１４に渡される。そうでない場合は、制御は決定ブロック７２８に渡される。

決定ブロック７１４は、変数ｊの現在の値がビューｉにおけるピクチャの数より小さいか否かを決定する。変数ｊの現在の値がビューｉにおけるピクチャの数より小さい場合は、制御は機能ブロック７１６に渡される。そうでない場合は、制御は機能ブロック７３６に渡される。

機能ブロック７１６は、時間ピクチャをセットアップし、制御を決定ブロック７１８に渡す。決定ブロック７１８は、ビュー“ｉ”がビュー間リファレンスピクチャを有するか否かを決定する。ビュー“ｉ”がビュー間リファレンスピクチャを有する場合は、制御は決定ブロック７２０に渡される。そうでない場合は、制御は機能ブロック７２４に渡される。

決定ブロック７２０は、ビュー間リファレンスが低解像度を有する場合に、ビュー間リファレンスのビュースケーラビリティレベルがスケーラビリティ・ヒエラルキにおいて現在のピクチャより低い位置にあるか否かを決定する。ビュー間リファレンスのビュースケーラビリティレベルがスケーラビリティ・ヒエラルキにおいて現在のピクチャより低い位置にある場合は、制御は機能ブロック７２２に渡される。そうでない場合は、制御は機能ブロック７３８に渡される。

様々な他の実施が、より一般的に決定ブロック７２０で作用する。このような他の実施は、ビュー間リファレンスが、ビュースケーラビリティレベルヒエラルキにおいて現在のピクチャについての位置と同じか又はこれより高い位置を有する（従って、同じか又は高い解像度を有する）かどうかのみを考慮する。ビュースケーラビリティレベルヒエラルキにおける位置が高いほどより高い解像度に相当するが、通常、位置についての値はより低くなる。例えば、レベル０は一般にレベル１より高い解像度を有する。しかし、様々な他の実施は逆の順序でレベルの数を定めてよい。

機能ブロック７２２は、現在のピクチャについてリファレンスとしてのビュー間ピクチャの使用を禁止し、制御を機能ブロック７２４に渡す。機能ブロック７２４は、ピクチャを符号化し、制御を機能ブロック７２６に渡す。機能ブロック７２６は、変数ｉをインクリメントし、制御を決定ブロック７１２に返す。

機能ブロック７３６は、変数ｉをインクリメントし、frame_num及びピクチャ・オーダー・カウント（ＰＯＣ）をリセットし、制御を決定ブロック７１２に返す。

機能ブロック７３８は、現在のピクチャについてリファレンスとしてビュー間ピクチャを使用し、制御を機能ブロック７２４に渡す。

決定ブロック７２８は、インバンド（in-band）でＳＰＳ、ＰＰＳ、及び／又はＶＰＳ（及び／又は目下の原理の目的のために使用されるいずれかの他の構文構造及び／又は構文要素）が送信されるべきか否かを決定する。インバンドでＳＰＳ、ＰＰＳ、及び／又はＶＰＳが送信されるべき場合は、制御は機能ブロック７３０に渡される。そうでない場合は、制御は機能ブロック７３２に渡される。

機能ブロック７３０は、インバンドでＳＰＳ、ＰＰＳ、及び／又はＶＰＳを送信し、制御を機能ブロック７３４に渡す。

機能ブロック７３４は、ビットストリームをファイルに書き込み、又はビットストリームをネットワーク上でストリーミングし、制御を終了ブロック７９９に渡す。

機能ブロック７３２は、アウトオブバンド（out-of-band）でＳＰＳ、ＰＰＳ、及び／又はＶＰＳを送信し、制御を機能ブロック７３４に渡す。

図８を参照すると、例となるピクチャ復号化方法が、概して参照符号８００で示されている。

方法８００は、制御を機能ブロック８０４に渡す開始ブロック８０２を有する。機能ブロック８０４は、ＳＰＳ、ＰＰＳ、ＶＳＰ、スライスヘッダ、及び／又はＮＡＬユニットヘッダを構文解析し、制御を機能ブロック８０５に渡す。機能ブロック８０５は、各ビュー“ｉ”についてdownsampling_flag[i]を構文解析し、制御を機能ブロック８０７に渡す。機能ブロック８０７は、１に等しい各downsampling_flag[i]についてhorizontal_scale[i]及びvertical_scale[i]を構文解析し、制御を決定ブロック８０８に渡す。決定ブロック８０８は、現在のピクチャが復号化を必要とするか否かを決定する。現在のピクチャが復号化を必要とする場合は、制御は決定ブロック８１０に渡される。そうでない場合は、制御は機能ブロック８２０に渡される。

決定ブロック８１０は、ピクチャ・オーダー・カウント（ＰＯＣ）の現在の値がＰＯＣの前の値に等しいか否かを決定する。ＰＯＣの現在の値がその前の値に等しい場合は、制御は機能ブロック８１２に渡される。そうでない場合は、制御は機能ブロック８１４に渡される。

機能ブロック８１２は、構文要素view_numをゼロに等しく設定し、制御を機能ブロック８１４に渡す。

機能ブロック８１４は、ビュー符号化順序を決定すべく高レベルでのview_id情報にインデックスを付し、view_numをインクメントし、制御を決定ブロック８１６に渡す。決定ブロック８１６は、現在のピクチャが期待される符号化順序にあるか否かを決定する。現在のピクチャが期待される符号化順序にある場合は、制御は機能ブロック８２４に渡される。そうでない場合は、制御は機能ブロック８１８に渡される。

機能ブロック８２４はスライスヘッダを構文解析し、制御を機能ブロック８２６に渡す。機能ブロック８２６は、時間ピクチャをセットアップし、制御を決定ブロック８２８に渡す。決定ブロック８２８は、ビュー“ｉ”がビュー間リファレンスピクチャを有するか否かを決定する。ビュー“ｉ”がビュー間リファレンスピクチャを有する場合は、制御は決定ブロック８３０に渡される。そうでない場合は、制御は機能ブロック８３６に渡される。

決定ブロック８３０は、ビュー間リファレンスが低解像度を有する場合に、ビュー間リファレンスのビュースケーラビリティレベルがスケーラビリティ・ヒエラルキにおいて現在のピクチャより低い位置にあるか否かを決定する。ビュー間リファレンスのビュースケーラビリティレベルがスケーラビリティ・ヒエラルキにおいて現在のピクチャより低い位置にある場合は、制御は機能ブロック８３２に渡される。そうでない場合は、制御は機能ブロック８３４に渡される。

様々な他の実施が、より一般的に決定ブロック８３０で作用する。このような他の実施は、ビュー間リファレンスが、ビュースケーラビリティレベルヒエラルキにおいて現在のピクチャについての位置と同じか又はこれより高い位置を有する（従って、同じか又は高い解像度を有する）かどうかのみを考慮する。ビュースケーラビリティレベルヒエラルキにおける位置が高いほどより高い解像度に相当するが、通常、位置についての値はより低くなる。例えば、レベル０は一般にレベル１より高い解像度を有する。しかし、様々な他の実施は逆の順序でレベルの数を定めてよい。

更に、決定ブロック８３０は、全ての実施で使用されるわけではない。様々な他の実施は、受信された符号化ストリームを単に復号化し、ビュー間リファレンスピクチャが現在のピクチャと少なくとも同程度の解像度を有すると仮定する。

機能ブロック８３２は、復号化におけるエラーの存在を示し及び／又は別なふうに確かめ、制御を終了ブロック８９９に渡す。

機能ブロック８２０は、次のピクチャを得、制御を決定ブロック８０８に返す。

機能ブロック８１８は、現在のピクチャを隠し、制御を機能ブロック８２０に渡す。

機能ブロック８３４は、現在のピクチャについてリファレンスとしてビュー間ピクチャを用い、制御を機能ブロック８３６に渡す。機能ブロック８３６は、ピクチャを復号し、制御を機能ブロック８３８に渡す。機能ブロック８３８は、復号化ピクチャバッファ（ＤＰＢ）に現在のピクチャを挿入し、制御を決定ブロック８４０に渡す。決定ブロック８４０は、全てのピクチャが復号されたか否かを決定する。全てのピクチャが復号されている場合は、制御は終了ブロック８９９に渡される。そうでない場合は、制御は機能ブロック８２４に返される。

図９を参照すると、ビデオ処理装置９００が示されている。ビデオ処理装置９００は、例えば、符号化された映像を受信し、かつ、例えば、復号されたビデオを映像ユーザへの表示若しくは記憶のために提供するセットトップボックス又は他の装置であってよい。このように、装置９００は、自身の出力をテレビ受像機、コンピュータモニタ、若しくはコンピュータ又は他の処理装置に提供してよい。

装置９００は、フロントエンド装置９０５及びデコーダ９１０を有する。フロントエンド装置９０５は、例えば、符号化ピクチャを表す複数のビットストリームを有するプログラム信号を受信し、かつ、その複数のビットストリームから復号化のためにビットストリームを選択するよう構成される受信器であってよい。典型的な受信器は、例えば、変調及び符号化をなされたデータ信号を受信すること、データ信号を復調すること、データ信号の（例えば、チャネル符号化及び／又はソース符号化のための）１又はそれ以上の符号化を復号すること、及び／又はデータ信号のエラー訂正を行うことのうち１又はそれ以上の機能を実行する。フロントエンド装置９０５は、例えばアンテナ（図示せず。）から、プログラム信号を受信してよい。フロントエンド装置９０５は、受信したデータ信号をデコーダ９１０に供給する。

デコーダ９１０はデータ信号９２０を受信する。データ信号９２０は、例えば、ＡＶＣ、ＳＶＣ、又はＭＶＣに準拠したストリームを有してよい。デコーダ９１０は、受信した信号９２０の全て又は一部を復号し、復号ビデオ信号９３０を出力として供給する。復号された映像９３０はセレクタ９５０に供給される。装置９００は、ユーザ入力９７０を受信するユーザインターフェース９６０を更に有する。ユーザインターフェース９６０は、セレクタ９５０に、ユーザ入力９７０に基づいて、ピクチャ選択信号を供給９８０する。ピクチャ選択信号９８０及びユーザ入力９７０は、利用可能な復号データの複数のピクチャ、シーケンス、スケーラブル・バージョン、又は他の選択のうちどれをユーザが表示されることを望んでいるのかを示す。セレクタ９５０は、選択されたピクチャを出力９９０として供給する。セレクタ９５０は、出力９９０を提供すべく、復号された映像９３０に含まれるピクチャのうちどれかを選択するためにピクチャ選択情報９８０を使用する。

種々の実施例で、セレクタ９５０はユーザインターフェース９６０を有し、また、他の実施では、別個のインターフェース機能が実行されることなく直接にセレクタ９５０がユーザ入力９７０を受信するので、ユーザインターフェース９６０は必要とされない。セレクタ９５０は、例えば、ソフトウェアで又は集積回路として実装されてよい。一実施例で、セレクタ９５０はデコーダ９１０に併せられ、また、他の実施では、デコーダ９１０、セレクタ９５０、及びユーザインターフェース９６０は全て一体化される。

１つの応用において、フロントエンド装置９０５は、様々なテレビ番組の放送を受信し、うち１つを処理のために選択する。１番組の選択は、所望の鑑賞チャネルに係るユーザ入力に基づく。フロントエンド装置９０５へのユーザ入力は図９に示されていないが、フロントエンド装置９０５はユーザ入力９７０を受信する。フロントエンド装置９０５は、放送を受信し、そして、所望の番組を、放送スペクトルの関連部分を復調し、かつ、復調された番組の如何なる外部符号化も復号することによって処理する。フロントエンド装置９０５は、復号された番組をデコーダ９１０に供給する。デコーダ９１０は、装置９６０及び９５０を有する集積ユニットである。よって、デコーダ９１０は、番組の中の観たいビューに係るユーザ供給の指示であるユーザ入力を受信する。デコーダ９１０は、選択されたビューとともに、他のビューからのあらゆる必要とされるリファレンスピクチャを復号し、復号されたビュー９９０をテレビ受像機（図示せず。）での表示のために供給する。

上記の応用を続けて、ユーザは、表示されるビューを切り替えたいと望むことがあり、その場合に、新たな入力をデコーダ９１０に与えてよい。ユーザから“ビュー変更”を受信した後、デコーダ９１０は、古いビュー及び新しいビューの両方とともに、古いビューと新しいビューとの間にあるあらゆるビューを復号する。すなわち、デコーダ９１０は、古いビューを撮影したカメラと新しいビューを撮影したカメラとの間に物理的に位置付けられているカメラから撮影された如何なるビューも復号する。フロントエンド装置９０５は、また、古いビュー、新しいビュー、及びそれらの間にあるビューを識別する情報を受け取る。斯かる情報は、例えば、ビューの配置に関する情報を有するコントローラ（図９に図示せず。）、又はデコーダ９１０によって、提供されてよい。他の実施は、フロントエンド装置９０５と一体化されているコントローラを有するフロントエンド装置を使用してよい。

デコーダ９１０は、これらの復号されたビューの全てを出力９９０として供給する。ポストプロセッサ（図９に図示せず。）は、古いビューから新しいビューへの滑らかな遷移を提供するようビューの間を補間し、この遷移をユーザに表示する。新しいビューの遷移後、ポストプロセッサは、（１又はそれ以上の通信リンク（図示せず。）を通して）デコーダ９１０及びフロントエンド装置９０５に、新しいビューのみが必要とされることを通知する。その後に、デコーダ９１０は、新しいビューのみを出力９９０として供給する。

図１０を参照すると、１つの実施について、ビューレベル、解像度、及びビュー番号の間の対応を示す表１０００が示されている。斯かる実施では、物理的に互いに近接するカメラ位置から撮られた５つのビューが存在する。これらのビューは、左から右へ０、１、２、３、及び４と番号付けされている。ビュー０及び４は、最も重要なものとして指定され、故に、ビューレベル０及び高解像度を割り当てられている。真ん中のビュー２は、次に重要なものとして指定され、故に、ビューレベル１及び中程度の解像度を割り当てられている。残りのビュー１及び３は、最も重要度が低いものとして指定され、故に、ビューレベル２及び低解像度を割り当てられている。指定及び割当の背後にある論拠は、内側の全てのビュー１、２及び３が、例えば、これらのビュー１、２及び３がエラーを有する場合に、外側のビュー０及び４から補間され得ることである。更に、内側のビュー１及び３は、また、ビュー０及び２から並びにビュー２及び４から夫々補間され得る。

エンコーダは、符号化における使用のために、表（例えば、表１０００）を提供されうる。例えば、表１０００は設定ファイルの中で与えられてよく、エンコーダは、異なるビューについての解像度及びビュー符号化順序を決定するに際して表１０００を使用してよい。代替的に、表（例えば、表１０００）は、明示的に提供されなくてもよく、むしろ、情報は、例えば、ビュー符号化順序及びビュー解像度等のパラメータについての適切な値の選択によって暗黙のうちに提供されてよい。例えば、エンコーダは、各ビュー番号について解像度を提供されてよい。その解像度情報に基づいて、エンコーダは、次いで、各ビューについて可能なビュー間リファレンスビューを決定してよく、また、次いで、対応するビュー符号化順序を決定してよい。

引き続き図１０の例を参照して、斯かるシステムは、例えば、符号化における柔軟性の改善及びビットの節約等の利点を提供することができる。例えば、他の実施は、ビュータイプ（例えば、Ｉビュー、Ｐビュー、及びＢビュータイプ）に基づいて解像度を決定してよい。斯かるシステムで、例えば、Ｐビューは高解像度を割り当てられてよく、Ｂビューは低解像度を割り当てられてよい。斯かるシステムでは、低解像度を有してＰビューを符号化する柔軟性はない。然るに、ピクチャのシーケンスが多数のＰビューを有する場合に、これらのＰビューは全て、より多くのビットを必要とする高解像度で符号化されうる。しかし、Ｐビューの多数を低解像度を有して符号化することが有利である。対照的に、ヒエラルキに基づいて解像度を割り当てる実施に関しては、一般的に、Ｐビューの多数を低解像度を有して符号化することが可能である。例えば、図１０に示される５つのビューに係る例を用いると、ビュー１及び３はＰビューを有してよく、これらのＰビューは低解像度を有して符号化されうる。このように、５つのビューに係る例は、例えば、ビット節約を提供することができる。

このように、特定の特徴及び側面を有する１又はそれ以上の実施が提供される。しかし、記載される実施に係る特徴及び側面は他の実施にも適合されてよい。実施は、次に挙げるものの１又はそれ以上を有するがこれらに限定されない様々な技術を用いて情報を信号を介して伝えてよい：ＳＰＳ構文；他の高レベル構文；非高レベル構文；アウトオブバンド情報；及び潜在的な信号伝達。然るに、ここに記載される実施は特定の事情において記載され得るが、斯かる記載は、特徴及び概念をこのような実施又は事情に限定するよう少しも受け取られるべきではない。

ここに記載される実施は、例えば、方法若しくは処理、装置、又はソフトウェアプログラムで実施されてよい。たとえ単一の実施形態についてしか論じられていないとしても（例えば、方法としてしか論じられていないとしても）、記載される特徴の実施は、また、他の形態（例えば、装置又はプログラム）で実施されてもよい。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアで実施されてよい。方法は、例えば、コンピュータ又は他の演算処理装置等の装置で実施されてよい。更に、方法は、演算処理装置又は他の装置によって実行される命令により実施されてよく、このような命令は、例えば、ＣＤ、若しくは他のコンピュータ読取可能な記憶装置、又は集積回路等のコンピュータ読取可能な媒体に記憶されてよい。

当業者には当然のことながら、実施は、また、例えば、記憶又は送信可能な情報を運ぶようフォーマットされた信号を生成してよい。情報には、例えば、方法を実行するための命令、又は記載される実施の１つによって生成されるデータが含まれてよい。例えば、信号は、１又はそれ以上の実施で記載される構文についての値、あるいは、例えば構文が送信中である場合に構文命令自体をデータとして搬送するようフォーマットされてよい。

更に、多数の実施は、プリプロセッサ、エンコーダ、デコーダ又はポストプロセッサの１若しくはそれ以上又は組み合わせで実施されてよい。

更に、他の実施が、本開示によって考えられてよい。例えば、付加的な実施が、開示される実施に係る様々な特徴を組み合わせ、削除し、変更し、又は補うことによって、創作されてよい。

ここに記載される実施は、例えば、方法若しくは処理、装置、又はソフトウェアプログラムで実施されてよい。たとえ単一の実施形態についてしか論じられていないとしても（例えば、方法としてしか論じられていないとしても）、記載される特徴の実施は、また、他の形態（例えば、装置又はプログラム）で実施されてもよい。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアで実施されてよい。方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブル論理デバイスを含む、一般に演算処理装置と言われるプロセッサ等の装置で実施されてよい。また、演算処理装置には、エンドユーザ間の情報のやり取りを助ける、例えば、コンピュータ、携帯電話機、ポータブル／パーソナル・デジタル・アシスタント（ＰＤＡ）、及び他の装置等の通信装置が含まれる。

ここに記載される様々な処理及び特徴の実施は、多種多様な機器又はアプリケーション（特に、例えば、データの符号化及び復号化に関連する機器及びアプリケーション）で具現されてよい。機器の例としては、ビデオコーダー、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話機、ＰＤＡ、及び他の通信装置がある。当然に、斯かる機器は、持ち運び可能であり、且つ、移動体に組み込まれてよい。

更に、方法は、プロセッサによって実行される命令によって実施されてよく、斯かる命令は、例えば、集積回路、ソフトウェア担体、又はハードディスク、コンパクトディスク、ランダムアクセスメモリ（ＲＡＭ）、若しくは読出専用メモリ（ＲＯＭ）等の他の記憶デバイスのようなプロセッサ読出可能な媒体に記憶されてよい。命令は、プロセッサ読出可能な媒体に実体的に具現されるアプリケーションプログラムを形成してよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又は組み合わせであってよい。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又はそれらの組み合わせの中に見つけられてよい。従って、プロセッサは、例えば、処理を実行するよう構成されている装置、及び処理を実行するための命令を有するコンピュータ読取可能な媒体を有する装置の両方として特徴付けられてよい。

当業者には明らかなように、実施は、また、例えば記憶又は送信可能な情報を運ぶようフォーマット化された信号を生成してよい。情報には、例えば、方法を実行するための命令、又は記載される実施の１つによって生成されるデータが含まれてよい。斯かる信号は、例えば、（例えば、スペクトラムの無線周波数部分を用いる）電磁波として、又はベースバンド信号としてフォーマットされてよい。フォーマット化には、例えば、データストリームの符号化、符号化されたストリームのパケット化、及びパケット化されたストリームによる搬送波の変調が含まれる。信号が運ぶ情報は、例えば、アナログ又はデジタルの情報であってよい。信号は、知られているように、多種多様な有線又は無線リンクを介して送信されてよい。

多数の実施について記載してきた。それにも関わらず、様々な変形が行われてよいことは明らかである。例えば、他の実施を生み出すために、異なる実施の要素が組み合わされ、補完され、変更され、又は除去されてよい。更に、当業者には当然のことながら、他の構造又は処理が開示される構造又は処理と置き換えられてよく、結果として現れる実施は、開示される実施と少なくとも実質的に同じ結果を達成するよう少なくとも実質的に同じように少なくとも実質的に同じ機能を実行する。然るに、これらの及び他の実施は特許請求の範囲の適用範囲内にある。

［関連出願の相互参照］
本願は、「Interview Prediction with Different Resolution Reference Picture」と題された、２００７年４月２４日付けで出願された米国仮出願番号第６０／９２５，９５６号の優先権を主張するものであり、同米国出願の全内容を本願に参照により援用する。

Claims (20)

1. エンコーダが行う方法であって、
   ビューを識別する識別情報と、ビューの識別情報に対応するビューレベルと解像度が割り当てられた情報から、あるピクチャの少なくとも一部分について、所定のビューの解像度を特定するステップと、
   特定された解像度に基づいて、前記少なくとも一部分を符号化するステップと、
   を有する方法。
2. 前記エンコーダは、前記所定のビューを複数の解像度の中の対応する解像度に関連付けるよう構成される、
   請求項１記載の方法。
3. 第１のビューからのピクチャは、該第１のビューが、第２のビューの解像度と少なくとも同程度である解像度に対応する場合にのみ、前記第２のビューからの異なるピクチャについてのビュー間リファレンスとして使用される、
   請求項２記載の方法。
4. 前記ピクチャの符号化と前記所定のビューの識別子とを含むビットストリームを形成するステップを更に有する、
   請求項１記載の方法。
5. 前記ビットストリームは、前記所定のビューの前記識別子から分離した前記解像度の識別子を更に含む、
   請求項４記載の方法。
6. 前記ビットストリームは、前記所定のビューの前記識別子から分離している前記符号化されたピクチャの解像度についての識別子を含まない、
   請求項４記載の方法。
7. デコーダが行う方法であって、
   複数のビューの中の所定のビューに関連する符号化されたピクチャの少なくとも一部分であって、ある解像度で符号化されている少なくとも一部分にアクセスするステップと、
   ビューを識別する識別情報と、ビューの識別情報に対応するビューレベルと解像度が割り当てられた情報から、前記少なくとも一部分について、前記所定のビューの解像度を特定するステップと、
   特定された解像度に基づいて、前記少なくとも一部分を復号するステップと、
   を有する方法。
8. 前記符号化されたピクチャと前記所定のビューの識別子とを含むビットストリームを受信するステップを更に有する、
   請求項７記載の方法。
9. 前記特定するステップは、前記所定のビューの前記識別子を用いて前記解像度を識別するステップを有する、
   請求項８記載の方法。
10. 前記ビットストリームは、前記所定のビューの前記識別子から分離している前記解像度の識別子を含み、
    前記特定するステップは、前記解像度の分離した前記識別子から前記解像度を識別するステップを有する、
    請求項８記載の方法。
11. 前記所定のビューが前記解像度に対応することを復号化の前に確かめる確認ステップを更に有する、
    請求項７記載の方法。
12. 前記少なくとも一部分についてのリファレンスピクチャとして使用されるビュー間リファレンスピクチャが前記解像度と少なくとも同程度の解像度を有することを復号化の前に確かめる確認ステップを更に有する、
    請求項７記載の方法。
13. 前記確認ステップは、ビューを識別する識別情報と、ビューの識別情報に対応するビューレベルと解像度が割り当てられた前記情報にアクセスするステップを有する、
    請求項１２記載の方法。
14. ビューを識別する識別情報と、ビューの識別情報に対応するビューレベルと解像度が割り当てられた情報から、あるピクチャの少なくとも一部分について、所定のビューの解像度を特定する手段と、
    特定された解像度に基づいて、前記少なくとも一部分を符号化する手段と、
    を有する装置。
15. エンコーダを有し、
    前記エンコーダは、前記特定する手段と、前記符号化する手段とを有する、
    請求項１４記載の装置。
16. プロセッサにより読取り可能なプログラムコードを記憶するプロセッサ読取り可能な記録媒体であって、
    前記プロセッサにより読取り可能なプログラムコードは、装置に、
    ビューを識別する識別情報と、ビューの識別情報に対応するビューレベルと解像度が割り当てられた情報から、あるピクチャの少なくとも一部分について、所定のビューの解像度を特定するステップと、
    特定された解像度に基づいて、前記少なくとも一部分を符号化するステップと、
    を実行させるプログラムコードを有する、プロセッサ読取り可能な記録媒体。
17. 複数のビューの中の所定のビューに関連する符号化されたピクチャの少なくとも一部分であって、ある解像度で符号化されている少なくとも一部分にアクセスする手段と、
    ビューを識別する識別情報と、ビューの識別情報に対応するビューレベルと解像度が割り当てられた情報から、前記少なくとも一部分について、前記所定のビューの解像度を特定する手段と、
    特定された解像度に基づいて、前記少なくとも一部分を復号する手段と、
    を有する装置。
18. デコーダを有し、
    前記デコーダは、前記アクセスする手段と、前記特定する手段と、前記復号する手段とを有する、
    請求項１７記載の装置。
19. エンコーダを有し、
    前記エンコーダは、前記アクセスする手段と、前記特定する手段と、前記復号する手段とを有する、
    請求項１７記載の装置。
20. プロセッサにより読取り可能なプログラムコードを記憶するプロセッサ読取り可能な記録媒体であって、
    前記プロセッサにより読取り可能なプログラムコードは、装置に、
    複数のビューの中の所定のビューに関連する符号化されたピクチャの少なくとも一部分であって、ある解像度で符号化されている少なくとも一部分にアクセスするステップと、
    ビューを識別する識別情報と、ビューの識別情報に対応するビューレベルと解像度が割り当てられた情報から、前記少なくとも一部分について、前記所定のビューの解像度を特定するステップと、
    特定された解像度に基づいて、前記少なくとも一部分を復号するステップと、
    を実行させるプログラムコードを有する、プロセッサ読取り可能な記録媒体。

Images