JP5289618B2 - ビデオファイルを処理するシステム及び方法 - Google Patents

Description

本発明は、一般に、コンピュータシステムに関し、特に、ビデオファイルを処理するシステム及び方法に関する。

インターネットがより高速に、かつ、より偏在するようになるにつれて、コンピュータネットワークを介したビデオ信号の伝送は、ますます普及している。その結果、より多くのビデオコンテンツプロバイダが、従来の小売店でデジタルビデオディスクを販売及び賃貸しするよりも、オンラインでビデオを配信することを選択している。しかし、電子的に配信されるビデオの画質及び解像度が向上するにつれて、コンピュータビデオ配信ネットワークによって必要とされる処理量は、対応して増加している。

ビデオ処理の量を増加させる１つの要因は、マルチビュービデオコンテンツである。例えば、マルチビュービデオビットストリームは、１つが右目用に指定され、１つが左目用に指定された、２つのビュー（視点）を含む場合がある。マルチビュービデオ技術は、複数の（３つ以上の）ビューを有することが役に立つ状況（例えば、スポーツイベント、又はライブプレイ）においても使用される。そのようなマルチビュービデオコンテンツは、例えば、Ｈ．２６４／ＡＶＣ仕様のアネックスＨにおいて規定された、Ｈ．２６４／ＡＶＣのマルチビュー拡張である、マルチビュービデオコーディング（ＭＶＣ）などの、マルチビュー符号化標準を使用して、複数のビューを同じビデオビットストリーム内に符号化することによって実施される。ビデオ処理の量を増加させるもう１つの要因は、様々な品質、フレームレート、及び／又は空間解像度（標準解像度（ＳＤ）及び高解像度（ＨＤ）の両方）のビデオ信号を同じビデオビットストリーム内で表すことが可能な、スケーラブルビデオコンテンツである。

マルチビュー及び／又はスケーラブルビデオコンテンツを有することの結果の１つは、そのようなコンテンツの送信及び受信が、帯域幅及び処理を非常に多く消費するものとなり得るということである。更に、そのようなビデオコンテンツを受信する全てのクライアントが、送信されたビデオ信号のコンテンツの全てを必要とするとは限らない。例えば、シングル標準解像度モニタ（ｓｉｎｇｌｅ ｓｔａｎｄａｒｄ ｒｅｓｏｌｕｔｉｏｎ ｍｏｎｉｔｏｒ）を有するユーザは、ＨＤ又は３次元ビデオ信号によって提供される特徴の全てを必要とするわけではない。

必要とされているのは、より効率的にビデオコンテンツをクライアントに配信するシステム及び方法である。

一実施形態によれば、方法は、第１の形式の第１のビットストリームと、第２の形式の第２のビットストリームとを含むビデオファイルを記憶することを含む。第１のビットストリームは、複数の独立して符号化されたビデオコンポーネントを含み、第２のビットストリームは、複数の独立して符号化されたビデオコンポーネントのうちの１つを含む。この方法は、複数の独立して符号化されたビデオコンポーネントのうちの１つを選択し、第２のビットストリームを記憶するトラックを識別することを更に含む。

一実施形態によれば、ビデオサーバを動作させる方法は、第１のビットストリームを受信し、第１のビットストリームをメモリ内に記憶し、第１のビットストリームから、第２のビットストリームを生成し、第２のビットストリームをメモリ内に記憶することを含む。第１のビットストリームは、複数の独立して符号化されたビューを有し、第２のビットストリームは、複数の独立して符号化されたビューのうちの１つを有する。

別の実施形態によれば、ビデオサーバは、メモリと、プロセッサとを有する。プロセッサは、第１の独立して符号化されたビューと、第２の独立して符号化されたビューとを有する、第１のビットストリームを受信し、第１のビットストリームから、第２の独立して符号化されたビューを有する第２のビットストリームを生成するように構成される。プロセッサは、第１及び第２のビットストリームをメモリ内に記憶する。

以下の本発明の詳細な説明がより良く理解されることが可能なように、上記では、本発明の実施形態の特徴について幾分おおまかに概説した。本発明の特許請求の範囲の主題を形成する、本発明の実施形態の追加の特徴及び利点は、以下に記載される。開示される概念及び特定の実施形態は、本発明と同じ目的を達成するために、他の構成又はプロセスを修正又は設計するための基礎として、容易に利用されることが可能であるということを、当業者は理解されたい。そのような均等な構成は、添付の特許請求の範囲に記載される、本発明の精神及び範囲から逸脱するものではないということも、当業者は理解されたい。

本発明、及びその利点のより完全な理解のために、以下の説明を、添付の図面と組み合わせて参照する。

特に指定しない限り、異なる図中の対応する数字及び記号は、一般に、対応する部分を表す。図は、実施形態の関連する側面を明確に示すように描かれており、必ずしも一定の縮尺で描かれてはいない。

ビデオサーバシステムの実施形態を示す図である。 メモリ割り当ての実施形態を示す図である。

様々な実施形態の作製及び使用について、以下に詳細に説明する。しかし、本発明は、様々な特定の状況において実施することが可能な、多くの適用可能な発明概念を提供するということを理解されたい。説明する特定の実施形態は、本発明を作製及び使用する特定の方法を例示するものにすぎず、本発明の範囲を限定するものではない。

本発明は、特定の状況における実施形態（例えば、ビデオファイルを処理するシステム及び方法）に関して記載される。本発明の実施形態は、他のタイプのデータ通信を目的とするシステム及び方法に適用されてもよい。

図１は、ビデオ配信システム１００の実施形態を示す。クライアント１０４は、接続１０６を介して、サーバ１０２に結合される。図示を容易にするために、１つのクライアント１０４のみが示されているが、実施形態においては、２つ以上のクライアントが、サーバ１０２に接続されてもよい。サーバ１０２は、プロセッサ１１２と、ネットワークインタフェース１１６と、メモリ１１４とを有する。いくつかの実施形態では、サーバ１０２は、接続１０８を介して、更なるネットワーク（例えば、インターネット１１０）に結合される。いくつかのその他の実施形態では、インターネット１１０及び接続１０８は、接続１０６の一部である。実施形態において、サーバ１０２は、メモリ１１４内に、ビデオコンテンツ、又はその部分を記憶する。メモリ１１４は、一実施形態では、ディスクドライブアレイにより構成されるが、メモリ１１４は、その他の形態の記憶装置（例えば、ＤＲＡＭ及びＳＲＡＭなどの半導体メモリ、他の種類の磁気記憶装置、又は他の形態のメモリ記憶装置）を包含してもよい。サーバ１０２は、例えば、ワイドエリア又はメトロポリタンネットワーク内の、サービスプロバイダによって運営される遠隔に位置するサーバ、ローカルエリアネットワークサーバ、又は別のタイプのサーバであってもよい。接続１０６及び１０８は、有線、無線、ＤＳＬ、及び／又は、その他のタイプの接続であってもよい。更に、接続１０６及び１０８は、ＴＣＰ−ＩＰ、ＵＤＰ−ＩＰ、又はその他の種類のプロトコルに従って動作させられてもよい。

図２は、サーバ１０２のメモリ１１４（図１）の割り当ての実施形態を示す。本発明の一実施形態では、第１のビットストリーム１２０と、第２のビットストリーム１２２とが、メモリ１１４内に記憶される。一実施形態では、第１のビットストリーム１２０は、１つ以上の独立して符号化されたビューを有し、第２のビットストリーム１２２は、１つの独立して符号化されたビューを有する。

一実施形態では、第１のビットストリーム１２０は、少なくとも２つのビデオコンポーネントを有する。第１のビデオコンポーネントは、「Ａビュー」と呼ばれる。実施形態において、この「Ａビュー」は、第１のビットストリーム１２０内の、独立して符号化されたビューである。第１のビットストリーム１２０は、少なくとも１つの更なるビデオコンポーネントも有し、そのうちの第１のものは、「Ｂビュー」と呼ばれる。いくつかの場合、「Ｂビュー」は、「Ａビュー」から独立して符号化されていない（例えば、「Ｂビュー」が「Ａビュー」と密接に相関する、３−Ｄビデオなどの場合）。そのような場合、「Ｂビュー」情報は、「Ｂビュー」全体を符号化するのではなく、「Ａビュー」からの符号化された差から形成されてもよい。いくつかの実施形態では、しかし、「Ｂビュー」は、独立して符号化される（例えば、第１のビットストリーム１２０が、演劇、パフォーマンス、又はスポーツイベントの複数のビューを運ぶ場合）。例えば、「Ａビュー」は、レース場の鳥瞰ビュー（ｂｉｒｄ’ｓ ｅｙｅ ｖｉｅｗ）を表してもよく、「Ｂビュー」は、自動車レースの車内ビュー（ｉｎ−ｃａｒ ｖｉｅｗ）を表してもよい。更なる実施形態では、第１のビットストリーム１２０は、３つ以上のビュー（例えば、「Ｃビュー」「Ｄビュー」など）を更に含む。これらの追加のビューは、「Ａビュー」に従属していてもよく、又は、「Ａビュー」から独立していてもよい。

一実施形態では、「Ａビュー」と、少なくとも１つの更なるビュー（例えば、「Ｂビュー」）とは、独立して符号化されたビューである。説明を簡単にするために、「Ｂビュー」は、独立して符号化されたと仮定する。「Ｂビュー」以外のその他のビューが独立して符号化されてもよい。従って、「Ｂビュー」について言及する場合、その他のビューが同様に考慮されてもよい、ということを理解されたい。例えば、一実施形態では、「Ｂビュー」は従属ビュー（ｄｅｐｅｎｄｅｎｔ ｖｉｅｗ）であり、「Ｃビュー」は独立ビュー（ｉｎｄｅｐｅｎｄｅｎｔ ｖｉｅｗ）である。

一実施形態では、サーバ１０２は、少なくとも２つの独立ビューを有する第１のビットストリームを取得し、１つのビューを含む第２のビットストリーム１２２を作成する。一実施形態では、第２のビットストリーム内に符号化されるビューは、「Ａビュー」以外の、独立して符号化されたビューである。更なる実施形態では、第２のビットストリームは、「Ａビュー」を、あるいは、任意の独立して、又は従属して符号化されたビューを含んでもよい。

一実施形態では、サーバは、接続１０８から、第１のビットストリーム１２０を受信し、しかし、第１のビットストリームは、ユーザによって、ローカルに記憶するために、メモリ又はハードディスク又はその他の装置内に書き込まれてもよい（例えば、ユーザが、ネットワークなしで、ＤＶＤビデオを直接コピーする場合）。第２のビットストリーム１２２は、クライアント１０４による後の取り出しのために、サーバ１０２が第１のビットストリーム１２０を受信したすぐ後に生成されて書き込まれる。あるいは、第２のビットストリーム１２２は、例えば、クライアント１０４又はその他のクライアントによる代替要求（ｒｅｑｕｅｓｔ ｆｏｒ ａｎ ａｌｔｅｒｎａｔｅ）に応えて、後で生成されてもよい。

一実施形態では、プロセッサ１１２は、圧縮されたスケーラブル又はマルチビュービデオコンテンツのサブセットをトランスコードする（トランスコードされたレイヤ又はビューのトラックから、元のレイヤ又はビューのトラックへのマッピングを行うことを含む）。一実施形態では、サーバ１０２は、元のビットストリームのサブセットに対応する、標準適合のスケーラブル又はマルチビュービットストリームを提供するために、トランスコード機能を実施しない（ここで、サブセットは、ベースレイヤ又はベースビューに従属しない）。むしろ、サーバ１０２は、いくつかの実施形態において、１つのビットストリームを有する第２のビットストリーム１２２を作成する。

いくつかの実施形態では、マルチビュー及びシングルビュービットストリームは、Ｈ．２６４／ＡＶＣ標準（ＩＴＵ−Ｔ勧告Ｈ．２６４、及びＩＳＯ／ＩＥＣ国際標準（ＩＳ）１４４９６−１０としても知られる）に従って形式化される。この標準は、ＩＳＯ／ＩＥＣモーション・ピクチャ・エキスパーツ・グループ（ＭＰＥＧ）とＩＴＵ−Ｔビデオ・コーディング・エキスパーツ・グループ（ＶＣＥＧ）との共同ビデオチーム（ＪＶＴ）によって開発された。スケーラブルビデオコーディング（ＳＶＣ）は、Ｈ．２６４／ＡＶＣ仕様のアネックスＧで規定された、Ｈ．２６４／ＡＶＣのスケーラブル拡張であり、マルチビュービデオコーディング（ＭＶＣ）は、Ｈ．２６４／ＡＶＣ仕様のアネックスＨで規定された、Ｈ．２６４／ＡＶＣのマルチビュー拡張である。代替の実施形態では、ＩＳＯ／ＩＥＣ ＩＳ １３８１８−２などの、その他の標準が使用されてもよい。

ＳＶＣベースの実施形態では、ビットストリームの一部が抽出、復号化され、より低い空間解像度、より低い品質、又はより低いフレームレートを使用して提示される。ＳＶＣビットストリームは、１つのベースレイヤと、複数のエンハンスメントレイヤとを有する。ベースレイヤビットストリームサブセットは、Ｈ．２６４／ＡＶＣ仕様のアネックスＡで以前に規定された非スケーラブルプロファイルのうちの１つ以上と後方互換性がある。いくつかの実施形態では、エンハンスメントレイヤは、符号化効率の向上のための、レイヤ間予測のために、より低いレイヤを使用する。簡単にするために、本開示では、エンハンスメントレイヤを、非ベースレイヤとも呼ぶ。

他方、ＭＶＣビットストリームの実施形態は、例えば複数のカメラによって捕捉された、１つ以上の符号化されたビューを有する。代替の実施形態では、これらの符号化されたビューは、様々なソースからの様々なビデオコンテンツを有してもよい。ビットストリーム全体によって表されるビューのサブセットを表すために、ビットストリームの一部が抽出、及び復号化される。ＭＶＣビットストリーム内のビューのうちの１つは、ベースビューであり、このビットストリームサブセットは、Ｈ．２６４／ＡＶＣ仕様のアネックスＡで以前に規定された非スケーラブルプロファイルのうちの１つ以上と後方互換性がある。その他のビューは、非ベースビューと呼ばれる。いくつかの実施形態において、非ベースビューは、符号化効率の向上のために、別のビューを使用してもよい。

簡単にするために、Ｈ．２６４／ＡＶＣ仕様のアネックスＡで規定されたプロファイルに準拠する、又は適合する、又はそのプロファイルと互換の、又はそのプロファイルを有するビットストリーム又は復号器は、Ｈ．２６４／ＡＶＣに準拠する、又は適合する、又はＨ．２６４／ＡＶＣと互換である、又はＨ．２６４／ＡＶＣを有すると呼ばれ、Ｈ．２６４／ＡＶＣ仕様のアネックスＧで規定されたプロファイルに準拠する、又は適合する、又はそのプロファイルと互換の、又はそのプロファイルを有するビットストリーム又は復号器は、ＳＶＣに準拠する、又は適合する、又はＳＶＣと互換である、又はＳＶＣを有すると呼ばれ、Ｈ．２６４／ＡＶＣ仕様のアネックスＨで規定されたプロファイルに準拠する、又は適合する、又はそのプロファイルと互換の、又はそのプロファイルを有するビットストリーム又は復号器は、ＭＶＣに準拠する、又は適合する、又はＭＶＣと互換である、又はＭＶＣを有すると呼ばれる。

ＳＶＣ又はＭＶＣの実施の実施形態では、非ベースレイヤ又はビューは、他のレイヤ又はビューに従属しても、しなくてもよい。他のビューに従属しない非ベースレイヤ又はビューの一例は、全てのレイヤ又はビューが相互に独立している場合である。別の例は、非ベースレイヤ又はビューのサブセットが、他の全てのレイヤ又はビューから独立しており、サブセット内では従属性が存在する場合である。そのような場合、他のいずれのレイヤ又はビューにも従属しない、少なくとも１つのレイヤ又はビューが、サブセット内に存在する。

一実施形態では、受信器が、非ベースレイヤ又はビューの、１つの独立して符号化されたサブセットを再生するための要求を発行する。独立したサブセット内の、非ベースレイヤ又はビューの数が１である場合、受信器は、Ｈ．２６４／ＡＶＣに準拠する、あるいはＳＶＣ又はＭＶＣに準拠する復号器を使用することが可能である。両方の場合に、要求された非ベースレイヤ又はビューのための、抽出されたビットストリームサブセットは、Ｈ．２６４／ＡＶＣに準拠するようにトランスコードされる。後者の場合（すなわち、受信器が、ＳＶＣ又はＭＶＣに準拠する復号器を有する場合）に、非ベースビュー又はレイヤが、やはりＨ．２６４／ＡＶＣに準拠するようにトランスコードされる理由の１つは、ＳＶＣ又はＭＶＣにおいて、適合するビットストリームが、Ｈ．２６４／ＡＶＣに準拠するベースレイヤ又はビューを含むことが必要とされる場合があるからである。従って、非ベースレイヤ又はビューの、独立したサブセットが抽出される場合、サブセット内の独立した非ベースレイヤ又はビューは、Ｈ．２６４／ＡＶＣに準拠するようにトランスコードされる。独立したサブセット内の、非ベースレイヤ又はビューの数が２以上である場合、受信器は、ＳＶＣ又はＭＶＣに準拠する復号器を使用する。従って、レイヤ又はビューのサブセットを有するビットストリームを生成するために、サブセット内の独立した非ベースレイヤ又はビューが、Ｈ．２６４／ＡＶＣに準拠するようにトランスコードされる。

一実施形態では、独立した非ベースレイヤをＨ．２６４／ＡＶＣ準拠にトランスコードすることは、Ｈ．２６４／ＡＶＣ仕様のサブクローズＧ．１３．２．１（シンタクス要素ｃｏｎｖｅｒｓｉｏｎ＿ｔｙｐｅ＿ｉｄｃ［ｉ］が２に等しい場合の、ｃｏｎｖｅｒｓｉｏｎ＿ｔｙｐｅ＿ｉｄｃ［ｉ］のセマンティクス）に記載されている。

一実施形態では、非ベースビューの独立したサブセット内の、独立した非ベースビューを、Ｈ．２６４／ＡＶＣ準拠表現にトランスコードする方法は、Ｈ．２６４／ＡＶＣ仕様のサブクローズＨ８．５．５に記載されている方法に従って達成される。

一実施形態では、非ベースレイヤ又はビューの、１つの独立して符号化されたサブセットに対する、受信器の要求に応えて、ビデオサーバが、（例えば、上記の例で指定された通りに）トランスコードを実行し、トランスコードされたビットストリームを、受信器に送信する。しかし、複雑さとコストを減少させるために、一部のサーバは、そのようなトランスコード機能を装備していなくてもよい。そのような適用シナリオを可能にするために、いくつかの実施形態では、一メカニズムが、トランスコードされたビットストリームをメディアファイル内に記憶し、これにより、サーバは、ファイル内の所望のトラックを直接選択して、そのエレメンタリストリームを受信器に送信する。

マルチメディアコンテンツの記憶のために広く使用されている、ＩＳＯベースのメディアファイルの形式は、ＩＳＯ／ＩＥＣ ＩＳ １４４９６−１２で規定されている。ＭＰＥＧ−４ファイル形式（ＩＳＯ／ＩＥＣ ＩＳ １４４９６−１４）、Ｈ．２６４／ＡＶＣファイル形式（ＩＳＯ／ＩＥＣ ＩＳ １４４９６−１５）、ＳＶＣファイル形式（ＩＳＯ／ＩＥＣ ＩＳ １４４９６−１５アメンドメント２）、及びＭＶＣファイル形式（ＩＳＯ／ＩＥＣ ＩＳ １４４９６−１５アメンドメント３）を含む、ファイル形式の標準又はドラフト標準のファミリは、いくつかの実施形態では、ＩＳＯベースのメディアファイル形式に基づいて導き出される。

一実施形態では、ＭＰＥＧ出力文書Ｗ１０４４５（第８７回ＭＰＥＧ会議、ローザンヌ、スイス、２００９年２月）におけるドラフトＭＶＣファイル形式に基づいた方法が使用され、当該文書は参照により本明細書中に援用される。この実施形態では、ＶｉｒｔｕａｌＢａｓｅＶｉｅｗＴｒａｃｋｓ（仮想ベースビュートラック）ボックスと命名された、新たなボックスが規定される。ＶｉｒｔｕａｌＢａｓｅＶｉｅｗＴｒａｃｋｓボックスは、ファイル内に記憶されたマルチビューストリームのベースビューを含むトラックのＭｅｄｉａ Ｉｎｆｏｒｍａｔｉｏｎ（メディア情報）ボックス内に含まれる、Ｍｕｌｔｉ−ｖｉｅｗ Ｉｎｆｏｒｍａｔｉｏｎ（マルチビュー情報）ボックス内に含まれる。

新たなボックスは、以下のように規定される。Ｂｏｘ Ｔｙｐｅ（ボックスタイプ）は、「ｖｂｖｔ」に設定される。Ｍｕｌｔｉ−ｖｉｅｗ Ｉｎｆｏｒｍａｔｉｏｎボックス（「ｍｖｃｉ」）は新たなボックスを収容する。いくつかの実施形態では、新たなボックスは、省略可能である。新たなボックスは、独立して符号化された非ベースビューについての、仮想ベースビューを記憶するトラックの情報を提供する。一実施形態では、任意の独立して符号化された非ベースビューについて、仮想ベースビューは、ビューのＨ．２６４／ＡＶＣ互換表現であり、Ｈ．２６４／ＡＶＣ仕様のサブクローズＨ．８．５．５で規定されたプロセスによって作成することが可能である。独立して符号化された非ベースビューのデータ単位を含むサンプルと、仮想ベースビューのサンプルとは、復号化時間までにアライメントされる。

以下のシンタクスは、新たなボックスの形式と、どのような情報を新たなボックスＶｉｒｔｕａｌＢａｓｅＶｉｅｗＴｒａｃｋｓが含むかとを規定する。

上記のシンタクスの実施形態において、シンタクス要素のセマンティクスは、以下の通りである。
ｎｕｍ＿ｅｎｔｒｉｅｓは、トラック又はティア（それについて、仮想ベースビューを含むトラックが識別される）の数である。
ｅｎｔｒｙ＿ｔｙｐｅは、どのタイプのトラック又はティアが続くかを示す。ｅｎｔｒｙ＿ｔｙｐｅの以下の値が指定される。
０−トラック全体。この場合、ｔｒａｃｋ＿ｉｄによって識別されるトラックは、独立して符号化された非ベースビューのみを含む。
１−トラック内のティア。この場合、ｔｒａｃｋ＿ｉｄ及びｔｉｅｒ＿ｉｄによって識別されるティアは、独立して符号化された非ベースビューのみを含む。
ｔｒａｃｋ＿ｉｄは、トラックを示す。
ｔｉｅｒ＿ｉｄは、トラック内のティアを示す。
ｖｂｖ＿ｔｒａｃｋ＿ｉｄは、ｔｒａｃｋ＿ｉｄ（ｅｎｔｒｙ＿ｔｙｐｅが０に等しい場合）によって、又は、ｔｒａｃｋ＿ｉｄ及びｔｉｅｒ＿ｉｄ（ｅｎｔｒｙ＿ｔｙｐｅが１に等しい場合）によって識別されるビューについての、仮想ベースビューを含む、トラックを示す。

一実施形態では、ＶｉｒｔｕａｌＢａｓｅＶｉｅｗＴｒａｃｋｓボックスは、それぞれの独立して符号化された非ベースビュー（又はその一時的サブセット）について、Ｈ．２６４／ＡＶＣ準拠の、かつ、例えばＨ．２６４／ＡＶＣ仕様のサブクローズＨ．８．５．５で規定されたプロセスに従って作成された、仮想ベースビュー（又はその一時的サブセット）を含むトラックのトラック識別子を提供する。非ベースビューのサブセットが抽出及び復号化される場合、ビューのサブセットのうち最も小さなビュー順序インデックスを有するビューが、独立に符号化された非ベースビューである（そうでなければ、より多くのビューが抽出される必要がある）。この場合、最も小さなビュー順序インデックスを有するビューについては、対応する仮想ベースビュートラックからデータ単位が取得される。その他のビューについてのデータ単位は、元のトラック（１つ又は複数）から、通常通り取得される。抽出及び復号化される非ベースビューのサブセット内のビューの数が１である場合（すなわち、１つのみの独立して符号化された非ベースビューが抽出及び復号化される場合）、仮想ビューは直接取得される。

本発明の別の実施形態では、ＭＰＥＧ出力文書Ｗ１０４４５（第８７回ＭＰＥＧ会議、ローザンヌ、スイス、２００９年２月）におけるドラフトＭＶＣファイル形式に基づいた別の方法が使用される。この方法では、新たなボックスを規定する代わりに、新たなトラック参照タイプ「ｖｂｖｔ」が規定される。実施形態において、仮想ベースビューを含む任意のトラックは、対応する独立して符号化された非ベースビューを含むソーストラックを参照する、タイプ「ｖｂｖｔ」のトラック参照（ｔｒａｃｋ ｒｅｆｅｒｅｎｃｅ）を含む。この新たなトラック参照タイプを使用して、サーバは、独立して符号化された非ベースビューの、仮想ベースビューを含むファイルトラックを識別し、独立して符号化された非ベースビューがクライアントによって要求された場合、サーバは、識別されたトラック内に含まれるメディアデータを、クライアントに送信する。

更なる実施形態では、新たなボックス又は新たなトラック参照タイプが、スケーラブルビデオコンテンツに適用するために使用される。そのような新たなボックス又は新たなトラック参照タイプは、非ベースレイヤがクライアントによって要求された場合、マルチビュービデオコンテンツについての上記と同様の機能を、ここでは、スケーラブルビデオコンテンツのために提供する。

一実施形態では、方法は、第１の形式の第１のビットストリームと、第２の形式の第２のビットストリームとを含むビデオファイルを記憶することを含む。第１のビットストリームは、複数の独立して符号化されたビデオコンポーネントを含み、第２のビットストリームは、複数の独立して符号化されたビデオコンポーネントのうちの１つを含む。この方法は、複数の独立して符号化されたビデオコンポーネントのうちの１つを選択し、第２のビットストリームを記憶するトラックを識別することを更に含む。いくつかの実施形態では、この方法は、第２のビットストリームをクライアントに送信することを更に含む。更なる実施形態では、複数の独立して符号化されたビデオコンポーネントのそれぞれは、独立して符号化されたビュー、及び／又は、独立して符号化されたレイヤを含む。

一実施形態では、第１の形式は、Ｈ．２６４／ＡＶＣビデオ符号化標準のアネックスＨで規定されたプロファイルに従う、マルチビュービデオコーディング（ＭＶＣ）形式であり、第２の形式は、Ｈ．２６４／ＡＶＣビデオ符号化標準のアネックスＡで規定されたプロファイルに従う、アドバンストビデオコーディング（ＡＶＣ）形式である。別の実施形態では、第１の形式は、Ｈ．２６４／ＡＶＣビデオ符号化標準のアネックスＧで規定されたプロファイルに従う、スケーラブルビデオコーディング（ＳＶＣ）形式であり、第２の形式は、Ｈ．２６４／ＡＶＣビデオ符号化標準のアネックスＡで規定されたプロファイルに従う、アドバンストビデオコーディング（ＡＶＣ）形式を含む。いくつかの実施形態では、ビデオファイルは、マルチビュービデオコーディング（ＭＶＣ）ファイル形式に従って、又は、スケーラブルビデオコーディング（ＳＶＣ）ファイル形式に従って記憶される。更なる実施形態では、その他の形式が使用されてもよい。

実施形態によれば、第２のビットストリームを記憶するトラックを識別することは、ビデオファイルからの情報を使用することを含み、ここで、ビデオファイルからの情報は、第２のビットストリームを記憶するトラックを示す。いくつかの実施形態では、第２のビットストリームを記憶するトラックを示す、ビデオファイルからの情報は、第２のビットストリームを記憶するトラックの情報を含むボックス、及び／又は、第２のビットストリームを記憶するトラックの情報を示すトラック参照を含む。

一実施形態では、ビデオサーバを動作させる方法は、第１のビットストリームを受信することを含み、ここで、第１のビットストリームは、複数の独立して符号化されたビューを含む。この方法は、第１のビットストリームをメモリ内に記憶し、第１のビットストリームから、第２のビットストリームを生成し、第２のビットストリームをメモリ内に記憶することを更に含む。第２のビットストリームは、複数の独立して符号化されたビューのうちの１つを含む。一実施形態では、この方法は、第２のビットストリームをクライアントに送信することを更に含む。更なる実施形態では、この方法は、複数のビットストリームのうちの１つに対する要求を、クライアントから受信することを更に含み、ここで、送信することは、要求を受信することに応えて実行される。いくつかの実施形態は、第１のビットストリームから、第３のビットストリームを生成し（ここで、第３のビットストリームは、複数の独立して符号化されたビューのうちの別の１つを含み）、第３のビットストリームをメモリ内に記憶することを含む。いくつかの実施形態では、第２のビットストリームは、第１のビットストリームと同じファイル内に記憶される。

いくつかの実施形態では、第２のビットストリームは、第１のビットストリームとは異なる形式で符号化される。一例において、第１のビットストリームは、マルチビュービデオコーディング（ＭＶＣ）形式で符号化され、第２のビットストリームは、スケーラブルビデオコーディング（ＳＶＣ）形式で符号化される。いくつかの実施形態では、複数の独立して符号化されたビューは、Ａビューと、少なくとも１つの更なる独立して符号化されたビューとを含み、第２のビットストリーム内の、複数の独立して符号化されたビューのうちの１つは、少なくとも１つの更なる独立して符号化されたビューを含む。

一実施形態では、ビデオサーバは、メモリと、プロセッサとを含み、ここで、プロセッサは、第１の独立して符号化されたビューと、第２の独立して符号化されたビューとを有する、第１のビットストリームを受信するように構成される。プロセッサは、第１のビットストリームをメモリ内に記憶し、第１のビットストリームから、第２のビットストリームを生成し、第２のビットストリームをメモリ内に記憶するように更に構成される。第２のビットストリームは、第２の独立して符号化されたビューを含む。いくつかの実施形態では、ビデオサーバは、第２のビットストリームを送信するように構成される。更なる実施形態では、ビデオサーバは、第２のストリームに対する要求に応えて、第２のビットストリームをクライアントに送信するように構成される。

一実施形態では、第２のビットストリームは、第１のビットストリームとは異なる形式で符号化される。一例において、第１のビットストリームは、マルチビュービデオコーディング（ＭＶＣ）形式で符号化され、第２のビットストリームは、スケーラブルビデオコーディング（ＳＶＣ）形式で符号化される。更なる実施形態では、第１の独立して符号化されたビューは、Ａビューを含み、第２の独立して符号化されたビューは、Ｂビューを含む。

一実施形態では、ビデオデータを配信する方法は、第１のビットストリームを提供することを含み、ここで、第１のビットストリームは、第１の独立して符号化されたビューと、第２の独立して符号化されたビューとを含む。この方法は、第１のビットストリームから、第２のビットストリームを生成し、第２のビットストリームをメモリ内に記憶することを更に含み、ここで、第２のビットストリームは、第２の独立して符号化されたビューを含む。実施形態において、この方法は、第２のビットストリームをクライアントに送信することを更に含む。いくつかの実施形態では、第２のビットストリームをクライアントに送信することは、第２の独立して符号化されたビューに対する、クライアントからの要求に応えて実行される。

いくつかの実施形態では、生成することは、プロセッサによって実行される。更なる実施形態では、第１のビットストリームを提供することは、第１のビットストリームを、コンピュータネットワークから受信することを含む。ビデオサーバのいくつかの実施形態では、第１のビットストリームは、マルチビュービデオコーディング（ＭＶＣ）形式で符号化され、第２のビットストリームは、スケーラブルビデオコーディング（ＳＶＣ）形式で符号化される。

いくつかの実施形態では、アルゴリズムの実施形態は、プロセッサ上で実行されるコンピュータプログラム又はソフトウェアを使用して実施されてもよい。

マルチビュービットストリームからシングルビュービットストリームを作成する実施形態の利点は、副次的ビューが要求されるたびにトランスコード動作を実行する必要なしに、副次的ビューをクライアントに提供する能力である。

実施形態の更なる利点は、副次的ビューを要求しているクライアントノードが、マルチビュー復号化アルゴリズムをサポート又は実行する必要がなく、かつ、マルチビュー復号化に処理リソースを割り当てる必要がないということである。これにより、スマートフォン及びノートブックなどの、低パワーかつ／又は低性能のクライアントが、マルチビュービットストリームからビューを抽出するために処理リソースを費やす必要なしに、フルフィーチャーのビデオコンテンツにアクセスすることが可能となる。

本発明の実施形態は、
ビデオファイルを記憶するために使用される、記憶ユニットと（ビデオファイルは、第１の形式の第１のビットストリームと、第２の形式の第２のビットストリームとを含み、第１のビットストリームは、複数の独立して符号化されたビデオコンポーネントを含み、第２のビットストリームは、複数の独立して符号化されたビデオコンポーネントのうちの１つを含み）、
複数の独立して符号化されたビデオコンポーネントのうちの１つを選択するために使用される、選択ユニットと、
第２のビットストリームを記憶するトラックを識別するために使用される、識別ユニットとを含む、ビデオファイル処理装置を更に提供する。

ビデオファイル処理装置は、第２のビットストリームをクライアントに送信するために使用される、送信ユニットを更に含んでもよい。

ビデオファイル処理装置の識別ユニットは、ビデオファイルからの情報を使用してもよく、ここで、ビデオファイルからの情報は、第２のビットストリームを記憶するトラックを示す。

本発明の実施形態は、
第１のビットストリームを受信するために使用される、受信ユニットと（第１のビットストリームは、複数の独立して符号化されたビューを含み）、
第１のビットストリームから、第２のビットストリームを生成するために使用される、生成ユニットと（第２のビットストリームは、複数の独立して符号化されたビューのうちの１つを含み）、
第１のビットストリームと、第２のビットストリームとを記憶するために使用される、記憶ユニットとを含む、ビデオサーバも更に提供する。

ビデオサーバは、第２のビットストリームをクライアントに送信するために使用される、送信ユニットを更に含んでもよい。

別の態様において、ビデオサーバは、
第１のビットストリームから、第３のビットストリームを生成するために更に使用される、生成ユニットと（第３のビットストリームは、複数の独立して符号化されたビューのうちの別の１つを含み）、
第３のビットストリームをメモリ内に記憶するために更に使用される、記憶ユニットとを更に含んでもよい。

本実施形態及びその利点について詳細に説明してきたが、添付の特許請求の範囲によって規定される本発明の精神及び範囲から逸脱することなく、様々な変更、置換、及び改変が本明細書で行われてもよいということを理解されたい。例えば、上述の特徴及び機能のうちの多くは、ソフトウェア、ハードウェア、ファームウェア、又はそれらの組み合わせで実施されてもよい。

更に、本出願の範囲は、本明細書に記載された、プロセス、機械、製造物、組成物、手段、方法、及びステップの特定の実施形態に限定されることを意図するものではない。当業者が、本発明の開示から容易に理解するであろうように、本明細書に記載された対応する実施形態と実質的に同じ機能を実行する、又は実質的に同じ結果を達成する、現在存在している、又は後に開発される、プロセス、機械、製造物、組成物、手段、方法、又はステップは、本発明に従って利用されてもよい。従って、添付の特許請求の範囲は、その範囲内に、そのようなプロセス、機械、製造物、組成物、手段、方法、又はステップを含むことを意図するものである。

Claims (23)

1. ビデオファイル処理装置により、ビデオファイルを記憶し、前記ビデオファイルは、第１の形式の第１のビットストリームと、第２の形式の第２のビットストリームとを含み、前記第１のビットストリームは、複数の独立して符号化されたビデオコンポーネントを含み、前記第２のビットストリームは、前記複数の独立して符号化されたビデオコンポーネントのうちの１つを含み、
   前記ビデオファイル処理装置により、前記複数の独立して符号化されたビデオコンポーネントのうちの前記１つを選択し、
   前記ビデオファイル処理装置により、前記第２のビットストリームを記憶するトラックを識別すること
   を含み、
   前記第２のビットストリームを記憶するトラックを識別することは、前記ビデオファイルからの情報を使用することを含み、前記ビデオファイルからの前記情報は、前記第２のビットストリームを記憶する前記トラックを示す、
   方法。
2. 前記ビデオファイル処理装置により、前記第２のビットストリームをクライアントに送信することを更に含む、請求項１に記載の方法。
3. 前記複数の独立して符号化されたビデオコンポーネントのそれぞれは、独立して符号化されたビュー、または独立して符号化されたレイヤを含む、請求項１に記載の方法。
4. 前記第１の形式は、Ｈ．２６４／ＡＶＣビデオ符号化標準のアネックスＨで規定されたプロファイルに従う、マルチビュービデオコーディング（ＭＶＣ）形式を含み、前記第２の形式は、前記Ｈ．２６４／ＡＶＣビデオ符号化標準のアネックスＡで規定されたプロファイルに従う、アドバンストビデオコーディング（ＡＶＣ）形式を含むか、または、
   前記第１の形式は、Ｈ．２６４／ＡＶＣビデオ符号化標準のアネックスＧで規定されたプロファイルに従う、スケーラブルビデオコーディング（ＳＶＣ）形式を含み、前記第２の形式は、前記Ｈ．２６４／ＡＶＣビデオ符号化標準のアネックスＡで規定されたプロファイルに従う、アドバンストビデオコーディング（ＡＶＣ）形式を含む、請求項１に記載の方法。
5. 前記ビデオファイルは、マルチビュービデオコーディング（ＭＶＣ）ファイル形式に従って記憶されるか、または、スケーラブルビデオコーディング（ＳＶＣ）ファイル形式に従って記憶される、請求項１に記載の方法。
6. 前記第２のビットストリームを記憶する前記トラックを示す、前記ビデオファイルからの前記情報は、前記第２のビットストリームを記憶する前記トラックの情報を含むボックス、または、前記ビデオファイルからの前記情報は、前記第２のビットストリームを記憶する前記トラックの情報を示すトラック参照を含む、請求項１に記載の方法。
7. ビデオサーバにより、第１のビットストリームを受信し、前記第１のビットストリームは、複数の独立して符号化されたビューを含み、
   前記ビデオサーバにより、前記第１のビットストリームを記憶し、
   前記ビデオサーバにより、前記第１のビットストリームから、第２のビットストリームを生成し、前記第２のビットストリームは、前記複数の独立して符号化されたビューのうちの１つを含み、
   前記ビデオサーバにより、前記第２のビットストリームを記憶すること
   を含み、
   前記第２のビットストリームは、前記第１のビットストリームと同じファイル内に記憶される、
   ビデオサーバを動作させる方法。
8. 前記ビデオサーバにより、前記第２のビットストリームをクライアントに送信することを更に含む、請求項７に記載の方法。
9. 前記ビデオサーバにより、複数のビットストリームのうちの１つに対する要求を、前記クライアントから受信することを更に含み、前記ビデオサーバにより、前記第２のビットストリームをクライアントに送信することは、前記要求を受信することに応えて実行される、請求項８に記載の方法。
10. 前記第２のビットストリームは、前記第１のビットストリームとは異なる形式で符号化され,
    ここで、前記第１のビットストリームは、マルチビュービデオコーディング（ＭＶＣ）形式で符号化され、
    前記第２のビットストリームは、スケーラブルビデオコーディング（ＳＶＣ）形式で符号化される、
    請求項７に記載の方法。
11. 複数の独立して符号化されたビューは、Ａビューと、少なくとも１つの更なる独立して符号化されたビューとを含み、
    前記第２のビットストリーム内の、前記複数の独立して符号化されたビューのうちの前記１つは、前記少なくとも１つの更なる独立して符号化されたビューを含む、
    請求項１０に記載の方法。
12. 前記ビデオサーバにより、前記第１のビットストリームから、第３のビットストリームを生成し、前記第３のビットストリームは、前記複数の独立して符号化されたビューのうちの別の１つを含み、
    前記ビデオサーバにより、前記第３のビットストリームをメモリ内に記憶すること
    を更に含む、請求項７に記載の方法。
13. ビデオファイルを記憶するために使用される、記憶ユニットであって、前記ビデオファイルは、第１の形式の第１のビットストリームと、第２の形式の第２のビットストリームとを含み、前記第１のビットストリームは、複数の独立して符号化されたビデオコンポーネントを含み、前記第２のビットストリームは、前記複数の独立して符号化されたビデオコンポーネントのうちの１つを含む、前記記憶ユニットと、
    前記複数の独立して符号化されたビデオコンポーネントのうちの前記１つを選択するために使用される、選択ユニットと、
    前記第２のビットストリームを記憶するトラックを識別するために使用される、識別ユニットと
    を備え、前記識別ユニットは、前記ビデオファイルからの情報を使用し、前記ビデオファイルからの前記情報は、前記第２のビットストリームを記憶する前記トラックを示す、ビデオファイル処理装置。
14. 前記第２のビットストリームをクライアントに送信するために使用される、送信ユニットを更に含む、請求項１３に記載の装置。
15. 複数の独立して符号化されたビューを含む第１のビットストリームを受信するために使用される、受信ユニットと、
    前記第１のビットストリームから、前記複数の独立して符号化されたビューのうちの１つを含む第２のビットストリームを生成するために使用される、生成ユニットと、
    前記第１のビットストリームと、前記第２のビットストリームとを記憶するために使用される、記憶ユニットと
    を備え、
    前記第２のビットストリームは、前記第１のビットストリームと同じファイル内に記憶される、
    ビデオサーバ。
16. 前記第２のビットストリームをクライアントに送信するために使用される、送信ユニットを更に備える、請求項１５に記載のビデオサーバ。
17. 前記第１のビットストリームから、前記複数の独立して符号化されたビューのうちの別の１つを含む第３のビットストリームを生成するために更に使用される、前記生成ユニットと、
    前記第３のビットストリームをメモリ内に記憶するために更に使用される、前記記憶ユニットと
    を更に備える、請求項１５に記載のビデオサーバ。
18. メモリと、
    プロセッサとを備える、ビデオサーバであって、前記プロセッサは、
    第１の独立して符号化されたビューと、第２の独立して符号化されたビューとを含む、第１のビットストリームを受信し
    前記第１のビットストリームをメモリ内に記憶し、
    前記第１のビットストリームから、第２のビットストリームを生成し、前記第２のビットストリームは、前記第２の独立して符号化されたビューを含み、
    前記第２のビットストリームを前記メモリ内に記憶する
    ように構成された、ビデオサーバ。
19. 前記ビデオサーバは、前記第２のビットストリームを送信するように構成された、請求項１８に記載のビデオサーバ。
20. 前記ビデオサーバは、前記第２のビットストリームに対する要求に応えて、前記第２のビットストリームをクライアントに送信するように構成された、請求項１９に記載のビデオサーバ。
21. 前記第２のビットストリームは、前記第１のビットストリームとは異なる形式で符号化される、請求項１８に記載のビデオサーバ。
22. 前記第１のビットストリームは、マルチビュービデオコーディング（ＭＶＣ）形式で符号化され、
    前記第２のビットストリームは、スケーラブルビデオコーディング（ＳＶＣ）形式で符号化される、
    請求項２１に記載のビデオサーバ。
23. 前記第１の独立して符号化されたビューは、Ａビューを含み、前記第２の独立して符号化されたビューは、Ｂビューを含む、
    請求項２２に記載のビデオサーバ。

Images