JP5756119B2 - 柔軟な視差選択が可能な３次元コンテンツ配信のための方法とシステム - Google Patents

Description

この発明は、概して、３次元コンテンツの送信と表示に関し、更に詳しくは、３次元コンテンツを形成する各ビューの相互間の視差の調整に関する。

３次元画像は、あるシーン（場面）または物体の各ビュー・ポイント、即ち、各視点（perspectives）から記録または生成された相異なる各画像をユーザの各目に対して表示することによって、詳しくは、右側ビューをユーザの右目に、左側ビューをユーザの左目に対して表示することによって、形成される。「視差（disparity）」は、これらの２つのビュー・ポイント、即ち、２つの視点の相互間の水平方向の「ずれ」である。詳しくは、２つのビュー・ポイント相互間の視差によって、観察者が３次元のビデオ・コンテンツを知覚でき、視差が大きいほど、知覚される画像の奥行が増すので、３次元効果の強度が増すことになる。

既存の３次元（３Ｄ）ステレオ（立体）コンテンツ配信方法の一部は、例えば、ColorCode３Ｄ技術を採用したパッケージ・メディアやテレビジョン放送に使用されているアナグリフ（anaglyph）方式のような一定の決まった視差を使用している。これらの方式は、従来の２次元（２Ｄ）ビデオ配信と比較した場合の複雑性の増大は最小で済む。しかしながら、これらの方式は、ステレオ・コンテンツの視差を調整することが出来ない。その結果、これらの方式では、低品質な観察を経験することがある。例えば、視差が小さ過ぎると、３Ｄ効果が失われることになり、逆に、視差が大き過ぎると、視覚的な不快を生じさせることがある。

その他の方式、例えば、2d+depthビデオ形式のような方式による３Ｄビデオ・コンテンツの配信は、２Ｄビデオを奥行き情報と共に送信して受信機側でステレオ・ペア（左右のビュー）を生成することによって、行われる。この方式は、受信機で生成された各ビューを使用して、その場その場で、視差を調整できるが、受信機の複雑性とコストが大幅に増すことになる。それに加えて、第２のビューを２Ｄビデオから補間処理する必要があるので、得られた３Ｄ画像に視覚的なアーティファクトが、特に大きな前景オブジェクトの周りに、生じることがある。

その他の既知の方法は、例えば、Nvidia 3D Visionのような３Ｄモデルに基づいている。これらの３Ｄモデルに基づく方法は、前述の2d+depthに基づく方式と同様に、受信機側で３Ｄステレオ・ペアを生成するが、シーン（場面）の完全な３Ｄモデルを使用できるので、ビデオ・アーティファクトは生じない。シーンの完全な３Ｄモデルを必要とすることは、複雑性を大幅に増すことになり、また、これらの方法の用途を既に３Ｄモデルに基づいているビデオ・ゲーム（テレビゲーム）に限定させるので、これらの方法の主な制約事項となっている。

上述の如く、３Ｄ効果の強度は、表示する各ビューの視差に依存している。当該強度は、また、例えば、スクリーン・サイズや観察距離のような観察条件と、各々の観察者の視覚系の応答特性とにも依存している。従って、３Ｄ立体コンテンツの視差は、観察者と観察条件とに適合するように、調整すべきである。

従って、コンテンツの視差を調整することを可能にし、同時に、高い視覚的品質を維持する、３次元ステレオ・コンテンツを配信するための効率的で複雑性の低い方法とシステムが必要である。３次元コンテンツについての各ビューの視差の動的な選択と調整を可能にすることによって、現在の欠点を克服する、種々の代表的な実施形態に従う各方法と各システムを提供する。これらは、複雑性が低く、３Ｄモデルの使用を必要としない。更に、３次元コンテンツの各ビューを高速で効率的に送信できるマルチビュー・ビデオ符号化（ＭＶＣ）方式を利用できる。ＭＶＣ方式は、各エンハンスメント・ビューがベース・ビューのみを参照するという依存性を構成することによって、視差の動的な選択と調整を容易にする。

１つの代表的な実施形態に従えば、３次元メディア・コンテンツを、ネットワークを介して、配信する方法には、コンテンツについての複数の相異なるビューを格納することと（尚、前記ビューの相異なる組み合わせによって相異なる視差が得られる）、受信機に於いて選択された対応する視差を備えた少なくとも１つのビュー・ペアを送信する要求を受信することと、前記選択された視差を有する少なくとも１つのビュー・ペアを選択することと、前記要求の受信に応答して、前記選択された視差を有する前記少なくとも１つのビュー・ペアを、ネットワークを介して、前記受信機に送信することと、が含まれる。

別の代表的な実施形態に於いて、３次元メディア・コンテンツを、ネットワークを介して、受信する方法には、３次元コンテンツについての視差を選択することと、前記選択された視差を有する少なくとも１つのビュー・ペアの要求をサーバに送信することと、前記選択された視差を有する前記少なくとも１つのビュー・ペアを、前記ネットワークを介して、受信することと、が含まれる。

更に別の代表的な実施形態に於いて、３次元メディア・コンテンツを、放送ネットワークを介して、配信するシステムには、コンテンツについての複数の相異なるビューを格納して放送するように構成されたサーバと（尚、前記ビューの相異なる組み合わせによって相異なる視差が得られる）、前記複数の相異なるビューを受信し、前記コンテンツについての視差を選択し、前記選択した視差を有するビュー・ペアを出力して表示するように構成された受信機と、が含まれる。

更に異なる代表的な実施形態に於いて、マルチビュー・ビデオ・コーディングを用いて、３次元メディア・コンテンツを、ネットワークを介して、配信する方法には、コンテンツについてのベース・ビューと複数のエンハンスメント・ビューとを受信することと（尚、前記ベース・ビューと前記エンハンスメント・ビューとの相異なる組み合わせによって相異なる視差が得られる）、前記エンハンスメント・ビューが、他の如何なるエンハンスメント・ビューをも参照することなく、前記ベース・ビューを参照するように、前記ベース・ビューと前記エンハンスメント・ビューとをＭＶＣ符号化することと、前記ＭＶＣ符号化された各ビューの少なくとも１つのペアを受信機に送信することと（尚、前記ベース・ビューが前記少なくとも１つのペアに含まれている）、が含まれる。

本発明の開示事項は、以下に述べる説明と添付図面の参照によって、容易に理解できる。

図１は、本発明の代表的な実施形態に従ってネットワークを介して３次元メディア・コンテンツを配信する方法のブロック／フロー図である。 図２は、本発明の代表的な実施形態に従ってネットワークを介して３次元メディア・コンテンツを受信する方法のブロック／フロー図である。 図３は、本発明の代表的な実施形態に従ってネットワークを介して３次元メディア・コンテンツを配信するシステムのブロック／フロー図である。 図４は、本発明の他の代表的な実施形態に従って放送ネットワークを介して３次元メディア・コンテンツを配信する方法のブロック／フロー図である。 図５は、本発明の他の代表的な実施形態に従って放送ネットワークを介して３次元メディア・コンテンツを受信する方法のブロック／フロー図である。 図６は、本発明の代表的な実施形態に従って、マルチビュー・ビデオ符号化（ＭＶＣ）技術を使用して、ネットワークを介して３次元メディア・コンテンツを配信する、より具体的なシステムのブロック／フロー図である。 図７は、本発明の代表的な実施形態に従ってマルチビュー・ビデオ符号化を採用することによって、ネットワークを介して３次元メディア・コンテンツを配信する方法のブロック／フロー図である。 図８は、本発明の代表的な実施形態に従う各エンハンスメント・ビューの補間処理を例示しているグラフである。 図９は、本発明の代表的な実施形態に従う各ベース・ビューと各エンハンスメント・ビューとの符号化を例示している、ＭＶＣ符号化システム／方法のブロック／フロー図である。 図１０は、本発明の代表的な実施形態に従う各ベース・ビューと各エンハンスメント・ビューとの間の依存関係を例示しているグラフである。

尚、これらの図面は、本発明の概念を例示する目的のものであり、必ずしも本発明を例示する唯一可能な構成ではない。また、理解を容易にするために、各図に共通する同一の構成要素は、可能な限り、同一の参照番号によって示している。

代表的な実施形態として、ユーザ又は受信機が左右のビューの幾つかのペアの中から選択できるようにすることによって視差調整を可能にする、３次元の立体コンテンツを配信するための方法とシステムを提供する。ここに提案する各実施形態は、画像のビデオ品質を低減せずに、或いは、受信機及びディスプレイの複雑性を顕著に増大させることなく、観察者の好みとスクリーン・サイズや観察距離のような観察条件とに適合するように３Ｄ体験をカスタマイズすることが出来る。

尚、各図面に示す種々の構成要素の機能は、専用のハードウェアの使用によって、或いは、適切なソフトウェアと共同してソフトウェアを実行できるハードウェアの使用によって、提供できる。当該機能が、プロセッサによって提供される場合、単一の専用プロセッサによって、単一の共用プロセッサによって、或いは、一部が共用である複数の個別プロセッサによって提供できる。更に、「プロセッサ」又は「コントローラ」という用語の明示的な使用は、ソフトウェアを実行できるハードウェアを排他的に示していると解釈すべきではなく、断りのない限り、デジタル信号プロセッサ（「ＤＳＰ」）ハードウェアと、ソフトウェアを格納した読み出し専用メモリ（「ＲＯＭ」）と、ランダム・アクセス・メモリ（「ＲＡＭ」）及び不揮発性記憶装置とを暗示的に含み得る。更に、発明の各原理、各様相、実施形態、及び、具体例を挙げた各説明事項は、発明の構造的な等価物と機能的な等価物の両方を包含するものである。更に、そのような等価物には、現在知られている等価物と将来開発される等価物（即ち、構成に関わりなく、同一の機能を果たす任意の構成要素）の両方が含まれている。

従って、当業者であれば、ここに提示した各ブロック図が発明の原理を実施する例示的なシステム構成要素及び／又は回路の概念的な図を表していることが分かるであろう。同様に、任意のフローチャート、流れ図、状態遷移図、擬似コード等が、コンピュータ読み取り可能記憶媒体に於いて実質的に表されて、従って、コンピュータ又はプロセッサが明示されているか否かに関わりなく、そのようなコンピュータ又はプロセッサによって実行可能であることが分かるであろう。

次に、各図面を具体的に詳細に参照して行くことにする。尚、幾つかの図面に亘って、同様の参照番号が、同様の、或いは、同一の構成要素を識別している。先ず、図１を参照すると、本発明の代表的な実施形態に従って、ネットワークを介して３次元コンテンツを配信する方法１００が説明されている。また、図３を参照すると、方法１００の理解を容易にするために、３次元コンテンツを配信するシステム３００が例示されている。システム３００には、配信チャンネル３０６を介して互いに通信可能な受信機３０４とサーバ３０２とが含まれている。当業者であれば理解できるように、配信チャンネル３０６は、種々の方式と媒体とを用いて実施できる。例えば、配信チャンネル３０６は、インターネットを使用するユニキャスト・ネットワーク或いはマルチキャスト・ネットワークの一部として実施できる。また、配信チャンネル３０６は、光放送ネットワークに於ける光チャンネル、或いは、衛星放送ネットワークに於ける無線周波数チャンネルとすることが出来る。更に、配信チャンネル３０６は、ケーブル・サービス・プロバイダ放送、或いは、双方向データ・ネットワーク等に於いて実施できる。サーバ３０２は、一群のステレオ・ペアの各ビュー３０８及び／又は独立ビュー３１０を格納できる記憶装置３１１を備えることが出来る。各ビューの相異なる組み合わせによって、相異なる視差が得られる。他方、受信機３０４は、３Ｄビデオ・コンテンツを再生するように、また、ユーザから観察の好み（観察選好）３１６を受信するように構成できる３Ｄステレオ・プレーヤ３１２を備えることが出来る。更に、受信機３０４は、チャンネル３０６を介して、各観察選好をサーバ３０２に送信し、サーバ３０２は、それに応答して、相異なる対応する視差を有する１つ以上のビュー・ペアを送信できる。或いは、その代わりに、サーバ３０２は、複数のビュー又はビュー・ペアを数台の受信機に放送（一斉同報）して、受信機３０４に於いて、ビュー・ペアの選択を行うことも出来る。更に別の特徴として、受信機３０４は、独立したバック・チャンネル３０７を介して、サーバ３０２に観察選好を送信できる。尚、ここに開示した全てのシステム構成要素は、専用のハードウェア上で実施でき、或いは、プロセッサとプログラム記憶装置とを備えたハードウェア・プラットフォーム上に階層化されたソフトウェアで実施できる。当業者であれば理解できるように、各システム構成要素は、アプリケーション・プログラム・インタフェースとオペレーティング・システムとを用いて、実施することも可能である。

方法１００に戻ると、方法１００はステップ１０２から開始して、このステップに於いて、同一の３次元メディア・コンテンツについての複数の相異なるビューを格納する。例えば、サーバ３０２は、Ｍ個の独立ビュー３１０を記憶装置３１１に格納でき、その後、ユーザの要求に応答して、当該独立ビューを組み合わせて、そして／又は、補間処理して、ユーザの選好に従って、所望の視差を備えたペアを生成できる。或いは、その代わりに、又は、更に、サーバ３０２が、ビデオ・コンテンツについての複数の相異なる左右ビューを組み合わせて、そして／又は、補間処理して、相異なる視差を有する各ペアを生成し、その生成された各ペアを記憶装置３１１に格納できる。例えば、該生成された各ペアは、サーバ３０２に於いて格納された相異なる（Ｎ個の）ステレオ・ペア３０８に対応し得る。このケースでは、受信機３０４は、任意の１つ以上の格納されたペア３１０を選択して、サーバ３０２から配信チャンネル３０６を介して送信してもらうことが出来る。

オプションとして、ステップ１０３に於いて、サーバ３０２は、受信機３０４からデフォルトのステレオ・ペアについてのストリーミング要求を受信できる。この要求は、単に「デフォルト」という指示だけをしてもよいし、或いは、デフォルトのステレオ・ペアについての具体的な所望の視差を指定してもよい。更に、この要求は、バック・チャンネル３０７を介して送信してもよい。

オプションとして、ステップ１０４に於いて、サーバは、デフォルトのステレオ・ビュー・ペアを受信機に送信できる。このステップは、ユーザがデフォルトのペアに基づく相異なる視差を有するペアを要求できる代表的な実施形態に於いて有用である。例えば、ユーザは、受信機３０４に対して、デフォルトのペアに比べて大きい、或いは、小さい視差を有するペアがサーバによって送信されるべきである、と指示できる。尚、デフォルトのステレオ・ビュー・ペアは、配信チャンネル３０６を介して、数台の受信機に放送（一斉同報）出来る。このケースでは、後で詳しく説明する代替ビューを求めるユーザ要求（或いは、受信機要求）は、バック・チャンネル３０７を介してサーバに送信してもよい。例えば、デフォルトのステレオ・ペアが衛星を介して放送される場合、バック・チャンネル３０７は、インターネット、或いは、その他の特定のサービス・プロバイダ・ネットワークのような広域ネットワークに接続されたハードワイヤ・チャンネル又は光チャンネルであってよい。

ステップ１０６に於いて、サーバ３０２は、受信機に於いて選択された対応する視差を備えた少なくとも１つのビュー・ペア（１対のビュー）の送信の要求を受信できる。例えば、特定のビュー・ペアの選択は、受信機側のシステム・スタートアップ時に、行うことが出来る。更に、特定のビュー・ペアの選択は、受信機側で、ユーザによって行うことが出来る。更に、そのビュー・ペアの選択は、デフォルトのビュー・ペアに基づいて、行うことが出来る。例えば、当該要求は、サーバがデフォルトのペアに比べて大きい又は小さい視差を有するビュー・ペアを送信すべきである、という指示を含むことが出来る。更に、ストリーミングのケースでは、相異なるステレオ・ペアの相互間の切り替えは、単にサーバに新たな要求を送ることによって、その場その場で（進行中に）、行ってもよい。このその場その場の切り替えについての新たな要求は、サーバが送信した前の任意のペア、例えば、受信機が送信した最後のペアに比べて大きい又は小さい視差を有する１つ以上のビュー・ペアを送信すべきであることを指示できる。更に、受信機が、ストリーミング・コンテンツの受信とは対照的に、３次元ビデオ・コンテンツをダウンロードするケースでは、当該ダウンロードの開始時に、適切なステレオ・ペアを要求できる。或いは、その代わりに、幾つかのステレオ・ペアをダウンロード用に要求することによって、幾つかの観察オプションを得てもよい。尚、ここでいう「選択された視差」とは、選択された視差範囲に対応し得る。例えば、ダウンロードのケースでは、ユーザは、視差範囲を要求でき、サーバは、指定された範囲内の各視差を有する幾つかのビュー・ペアを提供できる。ここで説明する何れのケースに於いても、上述の如く、当該要求はバック・チャンネル３０７を介して受信できる。

ステップ１０８に於いて、サーバ３０２は、選択された視差を有するビュー・ペアを選択できる。例えば、上述の如く、サーバ３０２は、受信機３０４から要求を受信する前に、相異なる視差を有する相異なるビュー・ペア３０８を生成できる。その後、要求の受信に応答して、サーバ３０２内のペア選択器３１４が、受信機３０４に送信すべき要求されたビュー・ペアを選択できる。或いは、その代わりに、又は、更に、各ペアは、ユーザ要求に応答して、その場その場で（進行中に）生成できる。例えば、受信機３０４は、デフォルトのビュー・ペアに比べて大きい又は小さい視差を有する１つ以上のビュー・ペアの要求を送信できる。更に、受信機３０４は、ユーザ選好に従って指定された視差を有する１つ以上のビュー・ペアの要求を送信できる。ペア選択器３１４は、この要求の受信に応答して、記憶装置３１１に格納された独立ビュー３１０の中から、被選択視差（即ち、選択された視差）を有する１つ以上のビュー・ペアをステップ１０８に於いて「選択」することによって、受信機３０４に送信すべき要求された１つ以上のビュー・ペアを生成できる。

ステップ１１０に於いて、サーバ３０２は、受信機３０４からの要求の受信に応答して、選択された視差を有する１つ以上のビュー・ペアを、ネットワークを介して、受信機３０４に送信できる。

オプションとして、ステップ１１２に於いて、サーバ３０２は、ペア送信の新たな要求が受信機３０４から受信されたか否かを判定できる。新たな要求が受信された場合は、本方法はステップ１１０に進み、要求内で指示された視差に対応する新たな１つ以上のビュー・ペアが受信機３０４に送信される。或いは、その代わりに、若し対応するペアが格納されていなければ、本方法はステップ１０８に進み、指示された視差を有するペアを生成できる。当該新たな要求は、例えば、前述の「その場その場（進行中）の切り替え」スキームの一部であってよい。新たな要求が受信されなかった場合は、本方法はステップ１１４に進み、サーバ３０２は、終了条件が満たされているか否かを判定する。例えば、終了条件は、ダウンロードのケースに於ける全ての送信の完了に対応し得る。ストリーミングのケースでは、終了条件は、例えばビデオ・オン・デマンドのコンテンツのようなコンテンツの全ての送信に対応し、或いは、受信機のシャットダウン状態に対応し得る。終了条件が満たされている場合、本方法は終了できる。終了条件が満たされていない場合、サーバは、ステップ１１０に従って、対応する視差を有する１つ以上のビュー・ペアを引き続き送信できる。

方法１００に従えば、観察者は、ビデオ・コンテンツのストリーミング又はダウンロードの際に、自分の選好に従って３次元観察体験をカスタマイズできる。更に、この方法は、ペアの生成をサーバに於いて行うので、ネットワークを介してサービスの提供を受ける多数の顧客がシンプルで複雑性の低い受信機を使用できる点で、経済的である。

尚、方法１００は、当業者であれば理解できるように、種々のやり方で実施できる。例えば、その実施は、ステレオ・ペアの作成及び格納、ステレオ・ペア／視差の選択、及び、３次元コンテンツの符号化の点で、多様であり得る。その代表的な多様な例を以下に説明する。

ステレオ・ペアの作成
本発明の種々の代表的な実施形態に従って、ステップ１０２及び１０８について上述した如く、ビュー・ペアの生成は、幾つかの相異なるやり方で行える。例えば、１つの代表的な実施形態に従えば、マルチビュー３Ｄコンテンツ方式を採用して、ステレオ・ビュー・ペアを生成できる。この方式は、実写（live action）コンテンツ用の多数のカメラを利用する、或いは、コンピュータ生成コンテンツ用の多数のレンダリングを利用するマルチビュー・システムを用いて、３Ｄビデオ・コンテンツを生成する。従って、相異なるステレオ・ペアの生成には、単に、各ビューが相異なる視差を有するように相異なる被生成ビューをペアリングすることが含まれ得る。この方式は、最良のビデオ品質を提供する一方、コンテンツ作成の負担が最も重い。

ステップ１０２或いはステップ１０８を行なうのに採用し得るもう一つの方式には、２Ｄコンテンツの作成とビュー補間処理が含まれる。これは、２Ｄビデオ・コンテンツのみを使用して補間処理して、オプションとして奥行きデータのような若干の付加情報を用いて多数のビューを生成する。この方式は、コンテンツ作成プロセスを大幅に単純化する一方、ビュー補間処理に、複雑で時間のかかる手作業のビデオ処理を必要とする。また、補間処理用に１つの２Ｄビューだけしか利用できない場合は、提供される品質が本来のマルチビュー・コンテンツよりも低くなることもある。

本発明のその他の代表的な形態に従えば、ステップ１０２或いはステップ１０８は、３Ｄステレオ・コンテンツ作成とビュー補間処理を使用して、行うことが出来る。このやり方では、３Ｄステレオ・コンテンツを補間処理して、人工的に多数の相異なるビューを生成する。１つの３Ｄステレオ・ペアを使用することによって、コンテンツの作成が、本来のマルチビュー３Ｄコンテンツ方式に比べて、大幅に単純化される。この方式は、マルチビュー３Ｄコンテンツ作成と同じ品質レベルには達しないが、２Ｄコンテンツ作成の品質レベルよりも優れたものを提供する。そして、ステレオ・ペアについて、この方式は、マルチビューの場合と同じ品質を提供する。

マルチビュー３Ｄコンテンツ作成とビュー補間処理は、ステップ１０２或いはステップ１０８に於いて相異なるビューを生成するのに採用し得る別の方式である。これは、上述のマルチビュー３Ｄコンテンツを補間処理して、追加の相異なるビューを生成する。ビュー補間処理をマルチビュー３Ｄコンテンツ作成に加えることによって、やや画像品質が低下するものの、また、ビュー補間処理用の追加コストもかかるものの、コンテンツ作成プロセスの複雑性を低減できる。

格納
代表的な実施形態に従って、ステップ１０２に関して上述したビューの格納は、様々なやり方でサーバによって行える。ビューの格納の仕方は、複雑性の制約と機能の制約とに基づいて、選択できる。

上述の如く、ステップ１０２に於いて、サーバ３０２は、ステレオ・ペアに基づく格納を採用できる。このモードでは、ペア３０８のような左右のビューの完全な各ペアが格納される。従って、新たな視差への切り換えは、単に新たな被格納ペアへの切り換えを含み得る。このモードは、複雑性が最も低いが、相異なる各ステレオ・ペアが実際に２つのビューの一方を共有し得るので、最も多くの格納を必要とする。

或いは、その代わりに、又は、更に、各ビューは、ステップ１０２に於いて、ビューに基づく格納方式に従って、サーバ３０２に独立して格納できる。このモードでは、ビュー３１０のような幾つかの相異なるビューが独立して格納され、完全なステレオ・ペアが、要求された視差に基づいて、その場その場で（進行中に）、生成される。この方式は、複雑性を増大するが、必要スペースを最小にして、２Ｄビデオの送信を可能にする。ある特定の実施形態では、ステップ１０２に於いて、１つの左ビューＬ（ベース・ビュー）と多数の右ビュー（追加ビュー）{Ｒ₁,…,Ｒ_N}とを格納でき、ステップ１０８に於いて、該左ビューと各々の右ビューとを組み合わせること（Ｌ、Ｒn）によって、ステレオ・ペアを形成できる。

ビデオの符号化
ステップ１１０に於ける１つ以上のビュー・ペアの送信は、サーバによって、多くの相異なる符号化手順を使用して、実施できる。同時放送（simulcasting）は、ステップ１１０に於けるビューの送信についての１つの実行可能なオプションである。同時放送に従えば、各々のビューが独立したビデオ・ストリームに符号化されて、受信機に送信される。この方式は、帯域幅が２Ｄビデオに比べて約２倍になり、従って、より広い帯域幅を使用する。しかしながら、この方式は、新たな符号化のアルゴリズム、或いは、後処理のアルゴリズムを必要としないので、複雑性が低い。更に、各々のビューが独立したビデオ・ストリームに符号化されるので、ビューのどのような組み合わせも可能であり、同数のビューに対して、潜在的に、より多くの視差のオプションが得られる。この方式は、ステレオ・ペアに基づく格納とビューに基づく格納のどちらをもサポートしており、２Ｄコンテンツについて後方互換性を有している。

ステップ１１０に於いて採用可能なもう１つの技術には、空間インターリーブ処理が含まれる。これは、２つのビューを互いに空間インターリーブして、次に単一の２Ｄストリームとして符号化する。従って、これは、通常の２Ｄビデオと同等の帯域幅を使用する。しかしながら、この方式は、各々のビューが２分の１にダウン・サンプリングされるので、画像品質が低下することになる。例えば、当該ビューは、サイドバイサイド（side-by-side）空間インターリーブ処理について、水平寸法で、ダウン・サンプリングされ得る。空間インターリーブ処理は、符号化の複雑性と復号化の複雑性が同時放送よりも低いが、受信機側で完全な解像度のステレオ・ペアを復元する追加の後処理を必要とし得る。この方式は、ステレオ・ペアに基づく格納のみをサポートし、２Ｄ専用システムとの互換性はない。

ステップ１１０に於いて、マルチビュー・ビデオ・コーディング（ＭＶＣ）を採用して、各ビューを受信機３０４に送信できる。特に、ＭＶＣ規格を使用して、サーバ３０２で得られる相異なるビューを符号化できる。例えばクロスビュー依存（cross-view dependencies）のような符号化の設定に従って、この方式は、符号化効率（即ち、帯域幅の使用）と複雑性との間で、相異なるトレードオフ（tradeoffs：折り合い）を実現できる。代表的な形態に従えば、ベース・ビューと追加ビューとを上述のビューに基づく格納に従って採用した場合、符号化依存性（coding dependencies）は、ベース・ビューと追加ビューとの間にだけ生じ、追加ビュー相互間では生じず、その結果、ベース・ビューと任意の１つの追加ビューの送信が可能になる。この方式は、ビューの組み合わせが同時放送よりも少ないけれども、ステレオ・ペアに基づく格納とビューに基づく格納のどちらをもサポートしており、２Ｄ専用システムについて後方互換性を有している。本発明の代表的な実施形態に従う特定のＭＶＣ方式を、後ほど、更に詳しく説明する。

尚、ステップ１１０に於いて、その他の符号化方式を採用できる。例えば、スケーラブル・ビデオ・コーディング（ＳＶＣ）規格を採用して送信用ビューを符号化でき、或いは、受信機に於いてビューの補間処理を行うシステムについては、２Ｄビューと奥行き情報との組み合わせを採用して送信用ビューを符号化できる。

その他の代表的な視差選択の実施形態
次に、図１と図３の参照を続けながら、図２を参照すると、本発明の１つの代表的な実施形態に従って３次元メディア・コンテンツを受信する方法２００が例示されている。方法２００は、方法１００と同時に、且つ、これと組み合わせて実施できる。

オプションとして、方法２００はステップ２０２から開始して、受信機３０４がデフォルトのステレオ・ビュー・ペアを受信する。このデフォルトのステレオ・ペアは、ステップ１０４に関して上述したデフォルトのペアに対応し得る。前述の如く、デフォルトのステレオ・ビュー・ペアは、複数の受信機に放送できる。

ステップ２０４に於いて、受信機３０４は、既に説明した如く、３次元コンテンツについての視差を選択できる。例えば、受信機に於けるシステム・スタートアップ時に、特定のビュー・ペアの選択を行える。更に、受信機に於いて、ユーザが、特定のビュー・ペアを選択できる。また、受信機は、観察条件に基づいて、視差を選択できる。例えば、受信機は、表示装置のスクリーン・サイズを検出でき、該スクリーン・サイズと観察距離とに適した視差を選択できる。観察距離のパラメータは、ユーザが予め設定でき、或いは、受信機装置のソフトウェアに格納されたデフォルトの観察距離パラメータであってもよい。更に、選択プロセスは、直接的でも間接的でもよい。直接モードでは、受信機は、如何なる視差をサーバから得られるかを正確に記憶している。従って、受信機は、ユーザに対して、利用可能な指定された視差を提供でき、そして、ユーザは所望の視差を選択できる。間接モードでは、受信機は、デフォルトのステレオ・ペアを受信して、そのデフォルトのステレオ・ペアよりも大きな、或いは、小さな視差を選択するオプションをユーザに提供する。更に、間接モードでは、受信機が最も間近に受信した１つ以上のステレオ・ペアを参照することによって、反復的に選択を行える。尚、「選択された視差」は、前述の如く、選択された視差範囲と対応し得る。

ステップ２０６に於いて、受信機３０４は、選択された視差を有する少なくとも１つのビュー・ペア（１対のビュー）の要求をサーバに送信できる。例えば、直接モードでは、ステレオ・ペア、或いは、新たなステレオ・ペアを要求するために、当該要求には、送信されるべき左ビューと右ビューの識別子（ＩＤ）を含めることが出来る。間接モードでは、当該要求には、前にサーバによって送信されたその他の任意の１つ以上のビュー・ペアに比べて大きい又は小さい視差の指示を含めることが出来る。前述の如く、サーバ側のペア選択器３１４は、当該要求を満たす適切なビュー・ペアを選択できる。更に、ステップ２０６に於いて、デフォルトのペアを要求できる。前述の如く、デフォルトのペアの要求は、「デフォルト」という指示をしてもよいし、或いは、デフォルトのステレオ・ペアについての所望の視差を指定してもよい。尚、直接モードでは、受信機側に情報の多くを置き、ペア選択器３１４を単純化している。間接モードでは、より複雑なペア選択器３１４の使用を必要とするものの、受信機側での何らの変更も必要とせずに、記憶装置に対するビューの追加または削除が可能である。前述の如く、当該要求は、特定の代表的な実施形態に於いて、バック・チャンネル３０７を介して、送信できる。

ステップ２０８に於いて、受信機は、サーバからネットワークを介して被選択視差を有する少なくとも１つのビュー・ペアを受信し、被選択視差を有するビュー・ペアを使用して３次元コンテンツを表示できる。ここで選択されたペアは、ステップ１０８及び１１０に関して述べた選択されたペアに対応し得る。

前述の如く、各ビューの切り替えは、反復的に、或いは、その場その場で（進行中に）、新たな要求を送信することによって、行える。オプションとして、ステップ２１０に於いて、受信機は、ユーザが新たな視差を選択しているか否かを判定できる。ユーザが新たな視差を選択していない場合、受信機は、サーバが送信した１つのビュー・ペアの受信を継続して、当該コンテンツの現在の表示を維持する。ユーザが新たな視差を選択している場合、本方法は、ステップ２１２に進むことが出来る。

オプションとして、ステップ２１２に於いて、受信機は、新たな被選択視差を指示する新たな要求を送信できる。この要求は、ステップ２０６に関して述べた各特徴の何れのものをも含むことが出来る。例えば、当該要求は、新たな被選択視差が、受信した少なくとも１つのビュー・ペアの視差よりも大きい又は小さいものであることを指定できる。更に、当該要求は、１つ以上の特定のビュー・ペアの識別子を指定できる。更に、この新たな要求は、ステップ１１２及び１０６に関して述べた各要求の各特徴を含み得る。

ステップ２１４に於いて、受信機は、サーバからネットワークを介して新たな被選択視差を有する少なくとも１つのビュー・ペアを受信し、新たな被選択視差を有するビュー・ペアを使用して３次元コンテンツを表示できる。その後、本方法２００は、ステップ２１０に進むことが出来る。

尚、その場その場で（進行中）のビューの切り替えは、いつでも行える。例えば、ユーザがビデオ・オン・デマンド方式に従う３次元コンテンツの再生を所望するストリーミングのケースでは、ビデオは、デフォルトのビュー・ペアとして、或いは、幾つかの受信機／ユーザ指定のビュー・ペアとして、受信機に送信できる。ビデオがユーザに提示されている間、ユーザは、当該ビデオの再生中に当該ビデオに対する所望の視差が得られるまで、上述のその場その場で（進行中）の切り替え機能を使用して、表示されるコンテンツの視差を反復的に調整できる。この調整は、ユーザによる特定の視差の選択を可能にし、上述の如く、識別子を使用して被選択視差を有するビュー・ペアの要求を送信することによって、実施できる。或いは、その代わりに、当該調整は、受信機が前に受信したビュー・ペアの視差よりも大きい又は小さい視差のユーザ選択に基づくものであってもよい。

次に、図１から図３の参照を続けながら、図４を参照すると、本発明の１つの代表的な実施形態に従って３次元ビデオ・コンテンツを放送する別の方法４００が例示されている。オンデマンド形式での各ビューの送信とは対照的に、３次元コンテンツについての複数の相異なるビュー、或いは、ブビュー・ペアを放送し、受信機に於いて受信できる。方法４００は、既に詳細に説明したシステム３００のサーバ３０２によって実施できる。方法４００はステップ４０２から開始でき、このステップに於いて、サーバ３０２が、同一３次元コンテンツについての複数の相異なるビューを格納できる。ステップ４０２は、前述のステップ１０２に相当し得る。例えば、前述の如く、サーバ３０２は、相異なる対応する視差を有する相異なるステレオ・ペア３０８を記憶装置３１１に格納できる。或いは、その代わりに、又は、更に、サーバ３０２は、各独立ビュー３１０を記憶装置３１１に格納できる。前述の如く、各独立ビューの相異なる組み合わせによって、相異なる対応する視差が得られる。

ステップ４０４に於いて、サーバ３０２は、複数のビューを複数の受信機に放送できる。例えば、複数のステレオ・ペア及び／又は複数の独立ビューを、前述の如く、放送ネットワークに於いて実施される配信チャンネル３０６を介して、送信できる。任意の各放送ステレオ・ペアは、相異なる対応する視差を有する。同様に、任意の放送独立ビュー、例えば、少なくとも３つの独立ビューでは、組み合わされた時に、相異なる対応する視差が得られる。更に、複数のビューは、各々、視差インジケータと共に送信できる。例えば、視差インジケータは、ベース・ビューからの距離を示すことが出来、これによって、受信機は、所望の視差を有するビュー・ペアを選択できる。ベース・ビューは任意のビューであってよく、また、視差インジケータは、当該距離がベース・ビューの左側または右側のものであることを示す負または正の値であってもよい。或いは、その代わりに、例えば、ステレオ・ペア３０８が放送される場合、当該インジケータは、単に、特定の視差を示すものであってもよい。更に、視差の各距離と視差の特定の各値とは、各コードとルックアップ・テーブルとを使用して実施でき、該ルックアップ・テーブルは、３次元コンテンツと共に送信してもよいし、或いは、受信機３０４に於いて事前に格納しておいてもよい。

次に、図１から図４の参照を続けながら、図５を参照すると、本発明の１つの代表的な実施形態に従って３次元ビデオ・コンテンツを受信する方法５００が例示されている。この方法５００は、受信機３０４に於いて実施でき、方法４００を補完できる。方法５００はステップ５０２から開始でき、このステップに於いて、受信機が３次元コンテンツについての複数のビューを受信できる。この受信されたビューは、ステップ４０４に於いて放送されたビューと同一であってよい。例えば、各ビューの相異なる組み合わせによって、同一のコンテンツについて相異なる視差が得られる。更に、これらの各ビューは、相異なる独立ビュー３１０及び／又は相異なるステレオ・ペア３０８に対応し得る。

ステップ５０４に於いて、受信機３０４のオプションの視差選択器３１５が、当該３次元コンテンツについての視差を選択できる。例えば、受信される独立ビューのペアまたはステレオ・ペアにはインジケータが付加されており、このインジケータは、そのビュー・ペアまたはステレオ・ペアがデフォルトのビュー・ペアまたはステレオ・ペアであることを示しているように構成できる。従って、視差選択器３１５は、当該コンテンツと共に受信されるか、或いは、受信機３０４のメモリに予め格納されているルックアップ・テーブルによってデフォルトのビュー・ペアを特定して、そのデフォルトのビュー・ペアを表示用に出力するように構成できる。更に、ユーザは、受信機３０４に対して、デフォルトのビュー・ペアよりも大きい又は小さい視差を有するビュー・ペアを表示すべきであることを指示できる。この選択／表示プロセスは、例えば、図２のステップ２０８からステップ２１０に関して述べたように、所望の視差が得られるまで、反復的に行うことができる。或いは、その代わりに、又は、更に、ユーザは、単に、受信機によって表示装置上に提示されたプロンプトに応答して、所望の視差を指定して入力できる。例えば、受信機はユーザに対して利用可能な指定された視差を提示でき、ユーザは所望の視差を選択できる。何れか一方、或いは、両方の場合、視差選択器３１５は、ルックアップ・テーブルによって、受信された複数のビュー及び／又はステレオ・ペアから、ユーザによって選択された対応する視差を有するビュー・ペアを特定／選択できる。

尚、前述の如く、特定のビュー・ペアの選択は、受信機に於けるシステム・スタートアップ時に、行える。また、受信機は、観察条件に基づいて視差を選択できる。例えば、受信機は、表示装置のスクリーン・サイズを検出でき、そのスクリーン・サイズと観察距離とに適した視差を選択できる。観察距離のパラメータは、ユーザによって予め設定されているか、或いは、単に、受信機装置のソフトウェアに格納されたデフォルトの観察距離パラメータであってもよい。

ステップ５０６に於いて、受信機３０４は、選択された視差を有するビュー・ペアを復号化して表示用に出力できる。

尚、方法４００と方法５００を、理解し易いように方法１００と方法２００とは別にして、説明したが、方法４００／５００の任意の１つ以上のステップを、方法１００／２００に付属（或いは、付帯）させることが出来、また、その逆も同様に可能である。例えば、システム３００は、方法１００／２００が一部の受信機について実施されている間に方法４００／５００が別の一部の受信機について実施し得る点で、或いは、その代わりに、又は、更に、方法１００／２００が特定の３次元コンテンツについて実施されている間に方法４００／５００が別の３次元コンテンツについて実施し得る点で、方法４００／５００を方法１００／２００と同時に実施できる。

ＭＶＣを利用した各実施形態
次に、図１及び図３の参照を続けながら、図６及び図７を参照すると、本発明の代表的な各実施形態に従ってマルチビュー・ビデオ・コーディング（ＭＶＣ）を採用することによって、ネットワークを介して３次元メディア・コンテンツを配信するシステム６００と方法７００とが、それぞれ、例示されている。ここに開示されたＭＶＣの符号化方法とシステムは、３次元ビデオ・コンテンツをストリーミングする、或いは、ダウンロードする際に、動的な視差の取り替えを容易にする。ここで、ＭＶＣ符号化は、各エンハンスメント・ビューが１つ以上のベース・ビューのみを参照し、他の如何なるエンハンスメント・ビューをも参照しないように、構成されている。ベース・ビューとは、ユーザ又は受信機が如何なる視差を選択しているかに関わらず、サーバから受信機に送信されるビューのことである。尚、エンハンスメント・ビューをベース・ビューと共に送信することによって、ユーザが選択した視差を提供できる。

例えば、本発明の１つの代表的な実施形態に従えば、１個の左ビューＬとＮ個の右ビュー{ Ｒ₁、…、Ｒ_N}とが、サーバ３０２の格納装置３１１に格納できる。各ビューは、ＭＶＣ規格によって符号化されるが、この規格では、左ビューＬがベース・ビューとなり、右ビューＲ_nがエンハンスメント・ビューとなり、右ビュー相互間に符号化依存性は無い。特定のステレオ・ペア（Ｌ、Ｒ_n）を送信するには、ベース・ビューＬとエンハンスメント・ビューＲ_nとを組み合わせて１つのＭＶＣストリームにして、それをストリーミング或いはダウンロードする。尚、その他の方式も採用できる。例えば、デフォルトの左ビュー、即ち、左のベース・ビューとデフォルトの右ビュー、即ち、右のベース・ビューのような２つのビューを常に送信し、従って、両ビューを基準にして、残りのビューを符号化してもよい。

前述の如く、図６は、本発明の１つの代表的な実施形態に従うＭＶＣ符号化方式を使用するシステム６００を例示している。システム６００には、記憶装置３１１、ペア選択器３１４、配信チャンネル３０６、及び、受信機３０４を設け、更に、該受信機３０４にはステレオ・プレーヤ３１２を設けることが出来る。これらの構成要素３１１、３１４、３０６、３０４及び３１２は、方法１００と２００に関して詳細に述べた各機能と全く同じ機能を果たすことが出来る。更に、システム６００は、複数の相異なるビューが、如何にして、符号化され、記憶装置３１１に格納され、チャンネル３０６を介して送信されるかに関して以外は、本質的にシステム３００と同じである。従って、方法１００と２００に関して述べた任意の、或いは、全てのステップは、システム６００内の対応する各構成要素によって、実施できる。更に、方法１００と２００に関して述べた任意の、或いは、全てのステップは、以下に述べる方法７００と組み合わせることが出来る。更に、ＭＶＣ復号化の各特徴を方法２００と受信機３０４とに加えることによって、方法７００に従って送信された各ビュー及び／又は各ビュー・ペアの処理を可能にすることが出来る。

方法７００は、オプションのステップ７０２から開始でき、このステップに於いて、オプションのビュー補間器６０２がベース・ビュー及び／又は捕捉エンハンスメント・ビューを補間処理して複数のエンハンスメント・ビューを生成する。例えば、捕捉左ベース・ビューＬ６０４、捕捉右ビューＲ_２６０６及び捕捉右ビューＲ_５６０８がビュー補間器６０２に入力されて、例えば図８に示されているような捕捉３次元シーン（場面）６１６についてのベース・ビュー６０４、エンハンスメント・ビュー６０６及び／又はエンハンスメント・ビュー６０８の補間処理を経て、ビューＲ_１６１０、Ｒ_３６１２及びＲ_４６１４が生成される。尚、ステレオ・ペア（Ｌ６０４、Ｒ_１６１０）が最も小さい視差を有する一方、ステレオ・ペア（Ｌ６０４、Ｒ_５６０８）が最も大きい視差を有している。ここでは、ビューＬ及び各ビュー｛Ｒ_１，・・・，Ｒ_Ｎ｝の捕捉とは対照的に、左ビューＬと２つの右ビューＲ_２とＲ_５のみが捕捉されている。図８に於いて、各捕捉ビューは実線の矢印で示され、各補間ビューは破線の矢印で示されている。捕捉すべきビュー（コンピュータ生成コンテンツについては、レンダリング（描画）すべきビュー）の数を制限することによって、コンテンツ作成プロセスは、より簡単になる。更に、十分な視差構成を得るために、前述の如く、「リアルな」ビューを基準として、追加ビューをサーバに於いて補間処理する。例えば、スピード向けの自動方式、或いは、品質向けのユーザ支援方式のような多くの方式が補間処理プロセスに使用できる。尚、ここでは、ただ１つのベース・ビューが示されているが、１つ以上の追加のベース・ビューもビュー補間器６０２に入力して、補間処理して、エンハンスメント・ビューを生成できる。

一旦、例えばＬ及び｛Ｒ_１,…,Ｒ_５｝のような複数の相異なるビュー６０９の全て（１つ以上の他のベース・ビューを含めることも可能）が得られると、それらをＭＶＣ符号化器６２０に送ることが出来る。尚、補間器６０２はオプションであり、複数の相異なるビューは、ＭＶＣ符号化器６２０に送られる捕捉ビューであってもよい。従って、複数の相異なるビューが如何に生成されるかは、必ずしもＭＶＣ符号化プロセスに影響を及ぼさない。

ステップ７０４に於いて、ＭＶＣ符号化器６２０は、当該コンテンツについて、ベース・ビューと複数のエンハンスメント・ビューを受信できる。更に、上述の如く、ＭＶＣ符号化器６２０は、少なくとも１つの他のベース・ビューも受信できる。ここでは、１つ以上のベース・ビューと各相異なるエンハンスメント・ビューとの相異なる組み合わせによって、相異なる視差が得られる。

ステップ７０６に於いて、ＭＶＣ符号化器６２０は、各エンハンスメント・ビューが、他の如何なるエンハンスメント・ビューをも参照することなく、ベース・ビューを参照するように、ベース・ビューとエンハンスメント・ビューとを符号化する。例えば、図６と図８に例示された特定の実施形態に於いては、各ビューは、左ビューＬ６０４がベース・ビューとなり、且つ、右ビューＲ_ｎがエンハンスメント・ビューとなるように、ＭＶＣ規格によって符号化される。ここでは、右ビューＲ_ｎの全てがベース・ビューについて符号化され、右ビューＲ_ｎ相互間での参照はない。図９には、この符号化方式を例示したＭＶＣ符号化器のブロック／フロー図が示されている。例えば、ＭＶＣ符号化器６２０は、各エンハンスメント・ビューがベース・ビュー６０４のみを参照するように、ベース・ビュー６０４、各エンハンスメント・ビュー６１０、６０６、６１２、６１４及び６０８を、それぞれ、符号化ブロック９０２から９１２に従って、符号化できる。しかしながら、その他の変形例も実施できる。

例えば、図６及び図７の参照を続けながら、図１０を参照すると、本発明の代表的な１つの実施形態に従う、エンハンスメント・ビューとベース・ビューとの間のＭＶＣ符号化依存関係を例示するグラフが示されている。グラフ１０００には、エンハンスメント・ビューＡ１００４、Ｂ１００６及びＣ１００８を含む第１のエンハンスメント・ビュー群１００２と、エンハンスメント・ビューＤ１０１２、Ｅ１０１４及びＦ１０１６を含む第２のエンハンスメント・ビュー群１０１０と、ベース・ビューβ_１１０１８及びβ_２１０２０とが含まれている。勿論、本発明の代表的な実施形態に於いて、何れのビューも削除でき、どちらのタイプの更なるビューも追加できる。第１のエンハンスメント・ビュー群１００２と、第２のエンハンスメント・ビュー群１０１０と、ベース・ビューβ_１１０１８及びβ_２１０２０とは、上述のステップ７０４に於いて、ＭＶＣ符号化器によって受信できる。更に、当該３次元コンテンツについて、各当該ビューのうちの任意のビューを任意にペアリング（pair-combination）することによって、異なる視差が得られる。当該グラフに示されているように、ＭＶＣ符号化器６２０は、エンハンスメント・ビューが両方のベース・ビューを参照するように、それらのエンハンスメント・ビューをＭＶＣ符号化できる。例えば、グラフ１０００に於いて、エンハンスメント・ビューＣ１００８及びＤ１０１２は、両方のベース・ビューβ_１１０１８及びβ_２１０２０を参照している。更に、ＭＶＣ符号化器６２０は、エンハンスメント・ビューが一方のベース・ビューのみを参照するように、それらのエンハンスメント・ビューをＭＶＣ符号化できる。例えば、エンハンスメント・ビューＡ１００４及びＢ１００６はベース・ビューβ_１１０１８のみを参照し、エンハンスメント・ビューＥ１０１４及びＦ１０１６はベース・ビューβ_２１０２０を参照している。更に、グラフ１０００に示されているように、各エンハンスメント・ビューは、他のエンハンスメント・ビューを参照する必要はない。ここでは、ただ２つのベース・ビューを説明しているが、当業者であれば、ここに明らかにされた各開示事項に鑑みて理解できるように、本原理は、任意の数のベース・ビューにまで容易に拡張できる。

尚、各ＭＶＣ符号化ビュー（ＭＶＣ符号化された各ビュー）は、方法１００のステップ１０２に関して述べたように、ペアとして、及び／又は、独立ビューとして、記憶装置３１１に格納できる。

ステップ７０８に於いて、サーバ６０１は、受信機３０４に於いて選択された対応する視差を有する少なくとも１つのビュー・ペアをネットワーク経由で送信する要求を受信できる。ステップ７０８は、先に詳しく説明したステップ１０６に従って、行うことが出来る。例えば、当該要求には、方法１００に関して述べた全ての特徴を含めることが出来る。或いは、その代わりに、ＭＶＣ符号化を使用する特定の実施形態に於いては、当該要求は、以下に更に詳しく説明するように、単に当該コンテンツの要求であってもよい。

ステップ７１０に於いて、サーバ６０１は、ＭＶＣ符号化ビューの少なくとも１つのペアを受信機３０４に送信できる。例えば、ステップ７１０は、方法１００に関して述べたステップ１１０に従って実施できる。例えば、送信されるＭＶＣ符号化ビューの１つ以上のペアは、当該要求に於いて指示された被選択視差を有することが出来る。或いは、その代わりに、若し当該要求が単なるコンテンツの要求であるならば、サーバ６０１は、当該要求の受信に応答して、受信機が、３次元コンテンツ表示用の、相異なる視差を有する相異なるペアを使用する幾つかのオプションを得られるように、幾つかの又は全てのＭＶＣ符号化ビューを選択できる。

尚、方法７００に於いて、１つ以上のベース・ビューの全てが、受信機３０４に於いて選択された如何なる視差にも関わりなく、受信機に送信される。従って、指定された視差を有するビュー・ペアを受信機３０４に送信するために、ペア選択器３１４は、１つ以上のベース・ビューと組み合わせるべき１つ以上の適切なエンハンスメント・ビューを選ぶことによって、ビュー・ペアを選択、或いは、生成できる。例えば、図８を参照すると、サーバ６０１は、先に詳しく述べたステップ１０４に従って、デフォルトのビュー・ペア（Ｌ６０４、Ｒ_２６０６）を受信機３０４に送信できる。その後、受信機３０４は、方法１００と２００とに関して述べたステップ１０６とステップ２０４及び２０６とに従って、デフォルトのビュー・ペアよりも小さい視差を有するビュー・ペアを受信する要求を送信できる。これに応答して、サーバ６０１は、ビューＬ６０４とＲ_１６１０とを組み合わせて送信できる。このペア（Ｌ６０４、Ｒ_１６１０）は、デフォルトのペアよりも小さい視差を有している。或いは、その代わりに、受信機３０４は、デフォルトのビュー・ペアよりも大きい視差を有するビュー・ペアを受信する要求を送信でき、これに応答して、サーバ６０１は、ビュー・ペア（Ｌ６０４、Ｒ_３６１２）を送信でき、このビュー・ペアは、デフォルトのビュー・ペアよりも大きい視差を有している。更に、ダウンロードのケース、或いは、ユーザ／受信機が視差範囲から成る視差を選択するケースに従えば、１つ以上のベース・ビューと１つ以上のエンハンスメント・ビューをサーバ６０１から受信機３０４に送信できる。例えば、選択された視差範囲は、２つのベース・ビューと１つ以上のエンハンスメント・ビューとを送信することにより、それらのベース・ビューとエンハンスメント・ビューとの相異なる組み合わせによって指定範囲内にある各視差が得られるようにして、提供できる。

以上、３次元メディア・コンテンツを配信するための方法とシステムについての各推奨実施形態を説明したが、これらの実施形態は、説明用の例であって、本発明を限定するものではなく、また、当業者であれば、上述の各開示事項に鑑みて、種々の修正及び変形を加えることが出来る。従って、本願の各請求項に記載された発明の範囲内で、ここに開示した本発明の特定の各実施形態に変更を加えることが出来る。以上、本発明の種々の実施形態について述べたが、本発明のその他の更なる実施形態を、本発明の基本範囲から逸脱することなく、考案できるであろう。
［付記１］
３次元メディア・コンテンツについての複数の相異なるビューを格納するステップであり、前記ビューの相異なる組み合わせによって相異なる視差が得られる該ステップと、
受信機に於いて選択された対応する視差を備えた少なくとも１つのビュー・ペアを送信する要求を受信するステップと、
前記選択された視差を有する少なくとも１つのビュー・ペアを選択するステップと、
前記要求の受信に応答して、前記選択された視差を有する前記少なくとも１つのビュー・ペアを、ネットワークを介して、前記受信機に送信するステップと、
を含む方法。
［付記２］
付記１に記載の方法であって、
相異なる視差を有する複数のビュー・ペアを生成するステップを更に含む方法。
［付記３］
付記２に記載の方法であって、
前記複数のビュー・ペアを格納するステップを更に含む方法。
［付記４］
付記１に記載の方法であって、
前記要求の受信に応答して、前記選択された視差を有する前記少なくとも１つのビュー・ペアを選択するステップと、
前記選択された視差を有する前記少なくとも１つのビュー・ペアを生成するステップと、
を更に含む方法。
［付記５］
付記１に記載の方法であって、
要求に対して、前記選択された視差を有する前記少なくとも１つのビューを特定するステップを更に含む方法。
［付記６］
付記５に記載の方法であって、
前記送信をダウンロード・プロセスに適合させるステップを更に含む方法。
［付記７］
付記１に記載の方法であって、
デフォルトのビュー・ペアを送信するステップを更に含み、
前記要求が、前記選択された視差が前記デフォルトのペアの視差よりも大きい又は小さいという条件を付けることによって、前記受信機に於いて選択された前記対応する視差を指定する、方法。
［付記８］
付記７に記載の方法であって、
前記デフォルトのビュー・ペアを複数の受信機に放送するステップを更に含む方法。
［付記９］
付記１に記載の方法であって、
前記受信機に於いて選択された新たな視差を、この選択された新たな視差が、送信された各ビュー・ペアのうちの少なくとも１つのビュー・ペアの視差よりも大きい又は小さいという条件を付けることによって、指定する新たな要求を受信するステップを更に含む方法。
［付記１０］
付記９に記載の方法であって、
前記要求と前記新たな要求を、バック・チャンネルを介して、受信するステップを更に含む方法。
［付記１１］
付記１０に記載の方法であって、
前記新たな要求の受信に応答して、前記選択された新たな視差を有する少なくとも１つのビュー・ペアを前記受信機に送信するステップを更に含む方法。
［付記１２］
３次元メディア・コンテンツについての視差を選択するステップと、
前記選択された視差を有する少なくとも１つのビュー・ペアの要求をサーバに送信するステップと、
前記選択された視差を有する前記少なくとも１つのビュー・ペアを、ネットワークを介して、受信するステップと、
を含む方法。
［付記１３］
付記１２に記載の方法であって、
所定の視差を選択するステップと、
要求に対して、前記選択された視差を有する前記少なくとも１つのビュー・ペアを特定するステップと、
を更に含む方法。
［付記１４］
付記１２に記載の方法であって、
デフォルトのビュー・ペアを受信するステップを更に含み、
前記選択するステップが、前記デフォルトのペアの視差よりも大きい又は小さい視差を選択することを更に含む、方法。
［付記１５］
付記１２に記載の方法であって、
新たな選択された視差を、この新たな選択された視差が、前記受信された各ビュー・ペアのうちの少なくとも１つのビュー・ペアの視差よりも大きい又は小さいという条件を付けることによって、指定する新たな要求を送信するステップと、
前記新たな選択された視差を有する少なくとも１つのビュー・ペアを、前記ネットワークを介して、受信するステップと、
を更に含む方法。
［付記１６］
３次元メディア・コンテンツについての複数の相異なるビューを格納して放送するように構成されたサーバであり、前記ビューの相異なる組み合わせによって相異なる視差が得られる該サーバと、
前記複数の相異なるビューを受信し、前記コンテンツについての視差を選択し、前記選択した視差を有するビュー・ペアを出力して表示するように構成された受信機と、
を備えたシステム。
［付記１７］
マルチビュー・ビデオ・コーディング（ＭＶＣ）を用いて、３次元メディア・コンテンツを、ネットワークを介して、配信する方法であって、
コンテンツについてのベース・ビューと複数のエンハンスメント・ビューとを受信するステップであり、前記ベース・ビューと前記エンハンスメント・ビューとの相異なる組み合わせによって相異なる視差が得られる該ステップと、
前記エンハンスメント・ビューが、他の如何なるエンハンスメント・ビューをも参照することなく、前記ベース・ビューを参照するように、前記ベース・ビューと前記エンハンスメント・ビューとをＭＶＣ符号化するステップと、
前記ＭＶＣ符号化された各ビューの少なくとも１つのペアを受信機に送信するステップであり、前記ベース・ビューが前記少なくとも１つのペアに含まれている該ステップと、
を含む方法。
［付記１８］
付記１７に記載の方法であって、
前記ベース・ビューを補間処理して前記複数のエンハンスメント・ビューを生成するステップを更に含む方法。
［付記１９］
付記１７に記載の方法であって、
エンハンスメント・ビューのうちの少なくとも１つのエンハンスメント・ビューを補間処理して前記複数のエンハンスメント・ビューを生成するステップを更に含む方法。
［付記２０］
付記１７に記載の方法であって、
少なくとも１つの他のベース・ビューを受信するステップを更に含み、
前記少なくとも１つの他のベース・ビューと前記エンハンスメント・ビューとの相異なる組み合わせによって相異なる視差が得られ、
前記ＭＶＣ符号化するステップが、前記少なくとも１つの他のベース・ビューをＭＶＣ符号化することを含み、
前記エンハンスメント・ビューのうちの少なくとも１つのエンハンスメント・ビューが、前記少なくとも１つの他のベース・ビューを参照し、
前記少なくとも１つの他のベース・ビューが、前記少なくとも１つのペアに含まれている、方法。
［付記２１］
付記１７に記載の方法であって、
少なくとも１つの他のベース・ビューと少なくとも１つの他のエンハンスメント・ビューとを受信するステップを更に含み、
前記１つの他のベース・ビューと前記エンハンスメント・ビューのうちの任意のエンハンスメント・ビューとの相異なる組み合わせによって相異なる視差が得られ、
前記ＭＶＣ符号化するステップが、前記少なくとも１つの他のエンハンスメント・ビューが、如何なるエンハンスメント・ビューをも参照することなく、前記少なくとも１つの他のベース・ビューを参照するように、前記少なくとも１つの他のベース・ビューと前記少なくとも１つの他のエンハンスメント・ビューとをＭＶＣ符号化することを含み、
前記少なくとも１つの他のベース・ビューが前記少なくとも１つのペアに含まれている、方法。
［付記２２］
付記１７に記載の方法であって、
受信機に於いて選択された対応する視差を備えた少なくとも１つのビュー・ペアを、前記ネットワークを介して、送信する要求を受信するステップを更に含み、
前記送信が前記要求の受信に応答して行われ、
前記ＭＶＣ符号化された各ビューの前記少なくとも１つのペアが前記選択された視差を有している、方法。

Claims (12)

1. ３次元メディア・コンテンツを、ネットワークを介して配信する、コンピュータが実施する方法であって、
   コンテンツについてのベース・ビューと複数のエンハンスメント・ビューとを受信するステップであって、前記ベース・ビューと前記エンハンスメント・ビューとの相異なる組み合わせによって相異なる視差が得られる該ステップと、
   前記エンハンスメント・ビューが、他の如何なるエンハンスメント・ビューをも参照することなく、前記ベース・ビューを参照するように、前記ベース・ビューと前記エンハンスメント・ビューとを符号化するステップと、
   前記符号化されたビューの少なくとも１つのペアを受信機に送信するステップであり、前記ベース・ビューが前記少なくとも１つのペアに含まれている、該ステップと、
   受信機に於いて選択された対応する視差を備えた前記ビューの少なくとも１つのペアを、前記ネットワークを介して送信する要求を受信するステップと、
   を含み、
   前記送信するステップは、前記要求を受信することに応答して行われ、
   前記符号化されたビューの少なくとも１つのペアは、前記選択された視差を有する、
   前記方法。
2. 請求項１に記載の方法であって、
   前記要求が、前記選択された視差が前記ペアの視差よりも大きいか又は小さいかを特定することによって、前記受信機に於いて選択された前記対応する視差を指定する、前記方法。
3. 請求項２に記載の方法であって、
   前記ビューのペアを複数の受信機に放送するステップを更に含む、前記方法。
4. 請求項１に記載の方法であって、
   前記受信機に於いて選択された新たな視差を、この選択された新たな視差が、送信されたビューのペアのうちの少なくとも１つのペアの視差よりも大きいか又は小さいかを特定することによって、指定する新たな要求を受信するステップを更に含む、前記方法。
5. 請求項４に記載の方法であって、
   前記要求と前記新たな要求を、バック・チャンネルを介して、受信するステップを更に含む、前記方法。
6. 請求項５に記載の方法であって、
   前記新たな要求の受信に応答して、前記選択された新たな視差を有するビューのペアの少なくとも１つを前記受信機に送信するステップを更に含む、前記方法。
7. 請求項１に記載の方法であって、
   スケーラブル・ビデオ・コーディング（ＳＶＣ）を用いて、前記ビューを符号化するコンピュータが実施するステップをさらに含む、前記方法。
8. マルチビュー・ビデオ・コーディング（ＭＶＣ）を用いて、３次元メディア・コンテンツを、ネットワークを介して配信する、コンピュータが実施する方法であって、
   コンテンツについてのベース・ビューと複数のエンハンスメント・ビューとを受信するステップであって、前記ベース・ビューと前記エンハンスメント・ビューとの相異なる組み合わせによって相異なる視差が得られる該ステップと、
   前記エンハンスメント・ビューが、他の如何なるエンハンスメント・ビューをも参照することなく、前記ベース・ビューを参照するように、前記ベース・ビューと前記エンハンスメント・ビューとをＭＶＣ符号化するステップと、
   前記ＭＶＣ符号化されたビューの少なくとも１つのペアを受信機に送信するステップであり、前記ベース・ビューが前記少なくとも１つのペアに含まれている、該ステップと、
   受信機に於いて選択された対応する視差を備えた前記ビューの少なくとも１つのペアを、前記ネットワークを介して送信する要求を受信するステップと、
   を含み、
   前記送信するステップは、前記要求を受信することに応答して行われ、
   前記ＭＶＣ符号化されたビューの少なくとも１つのペアは、前記選択された視差を有する、前記方法。
9. 請求項８に記載の方法であって、
   前記ベース・ビューを補間処理して前記複数のエンハンスメント・ビューを生成するステップを更に含む、前記方法。
10. 請求項８に記載の方法であって、
    エンハンスメント・ビューのうちの少なくとも１つのエンハンスメント・ビューを補間処理して前記複数のエンハンスメント・ビューを生成するステップを更に含む、前記方法。
11. 請求項８に記載の方法であって、
    少なくとも１つの他のベース・ビューを受信するステップを更に含み、
    前記少なくとも１つの他のベース・ビューと前記エンハンスメント・ビューとの相異なる組み合わせによって相異なる視差が得られ、
    前記ＭＶＣ符号化するステップが、前記少なくとも１つの他のベース・ビューをＭＶＣ符号化することを含み、
    前記エンハンスメント・ビューのうちの少なくとも１つのエンハンスメント・ビューが、前記少なくとも１つの他のベース・ビューを参照し、
    前記少なくとも１つの他のベース・ビューが、前記少なくとも１つのペアに含まれている、前記方法。
12. 請求項８に記載の方法であって、
    少なくとも１つの他のベース・ビューと少なくとも１つの他のエンハンスメント・ビューとを受信するステップを更に含み、
    前記１つの他のベース・ビューと前記エンハンスメント・ビューのうちの任意のエンハンスメント・ビューとの相異なる組み合わせによって相異なる視差が得られ、
    前記ＭＶＣ符号化するステップが、前記少なくとも１つの他のエンハンスメント・ビューが、如何なるエンハンスメント・ビューをも参照することなく、前記少なくとも１つの他のベース・ビューを参照するように、前記少なくとも１つの他のベース・ビューと前記少なくとも１つの他のエンハンスメント・ビューとをＭＶＣ符号化することを含み、
    前記少なくとも１つの他のベース・ビューが前記少なくとも１つのペアに含まれている、前記方法。

Images