JP7009606B2 - パノラマビデオのための提案されるビューポート指示 - Google Patents

Description

本明細書は、符号化されたビデオの通信に関係があり、特に、提案されるビューポートをビデオとともに送ることに関係がある。

安価な高精細ビデオカメラ及び高速インターネット接続の出現とともに、ビデオインターネットトラフィックは急速に成長している。３６０度ビデオは、特に、仮想現実、ビデオ会議、自動車、及び監視用途における最新動向であり、１８０及び３６０度視野カメラを含む広視野カメラによってサポートされている。専用のウェブサイト及びチャネルも、仮想現実コンテンツを含む３６０度ビデオを投稿及び鑑賞するために利用可能である。ユーザのグループ間の協力のために、３６０度ビデオは、より高い柔軟性を提供する。複数台のカメラを切り替えることに代えて、遠隔の視聴者は、３６０度ビューを用いて部屋を横断し、カメラのビュー内の関心のある人々又は対象にズームインすることができる。

仮想現実（ＶＲ）ヘッドマウント型ディスプレイを使用するパノラマビデオ再生システムは、コンシューマユースのために新たに興っている。パノラマ及び３６０度ビデオコンテンツは、通常、複数台のカメラによって撮影された２Ｄビデオを球表現に縫合することによって生成される。いくつかの場合に、複数のビューがソフトウェアにおいてレンダリングされる。球面ビデオは、その場合に、正距円筒図法フォーマット又はキューブマップ投影フォーマットのような、ビデオ符号化に適したフォーマットに投影される。

クライアントにおいて、完全パノラマの圧縮ビデオフレームを含むビットストリームが受け取られ復号されて、全パノラマ視野の表示が生成される。より小さいビューポートが表示のために選択される。ビューポートによって表示される復号されたビデオの部分は、ヘッドマウント型ディスプレイのヘッド位置によって、又は通常の２Ｄ表示で見る場合に位置選択ユーザインターフェイスを通じて、決定される。

本明細書で記載される題材は、限定ではなく、例として、添付の図面において説明される。説明の簡単及び明りょうさのために、図示される要素は、必ずしも実寸通りではない。例えば、いくつかの要素の大きさは、明りょうさのために互いに対して誇張されることがある。

実施形態に従うパノラマビデオ符号化システムのブロック図である。 実施形態に従う代替のパノラマビデオ符号化システムのブロック図である。 ピッチ、ヨー、及びロールのための回転方向を示す３軸直交座標系の図である。 球から平面への正距円筒図法フォーマット投影の図である。 ０から５のラベルを付された６つの平面上に球が投影されるキューブマップ投影の図である。 キューブマップ投影の６つの面を含む４×３平面グリッドの図である。 簡潔さのために配列し直されたキューブマップ投影の６つの面を含む２×３平面グリッドの図である。 球から平面への正２０面体フォーマット投影の図である。 実施形態に従って、回転なしでの球から平面への２つのオブジェクトの正距円筒図法フォーマット投影の図である。 実施形態に従って、回転ありでの球から平面への２つのオブジェクトの正距円筒図法フォーマット投影の図である。 実施形態に従って、符号化及び鑑賞のために広視野ビデオのためのビューポート指示を提案するプロセスフロー図である。 実施形態に適した計算資源を接続されているヘッドマウント型ディスプレイのブロック図である。 実施形態に従って、ビデオの捕捉、符号化、復号化及び表示に適したコンピュータデバイスのブロック図である。

パノラマビデオ再生システムの視聴者は、パノラマビデオの全体の一部分、例えば、所与の時点での利用可能なエリアの１２分の１しか見ていないので、ビデオの最も関心がある領域は見られていない可能性がある。長方形の関心領域を信号伝達する既存の方法は、球面パノラマビデオ又は何らかの他の球形若しくは曲線フォーマットビデオからのビューポートの生成に直接には適用されない。

付加拡張情報（ＳＥＩ）メッセージが使用されてよく、これは、視聴者のために表示されるべき提案される最も関心があるビューポートを信号伝達することをパノラマビデオコンテンツクリエータに可能にするメタデータを含む。提案される最も関心があるビューポートは、パノラマビデオのビューポートを生成するために必要とされる情報を信号伝達するメタデータを通じて、パノラマビデオの球表現のために示されてよい。球表現を使用することは、この信号伝達が、例えば、正距円筒図法、キューブマップ、８面体、四角すい台、などを含む多種多様な平面投影フォーマットのいずれかのために使用されることを可能にする。それはまた、信号伝達があらゆるタイプのエンコーダ及びデコーダのために使用されることも可能にする。

クライアントにおいて、ビューポート生成部は、視聴者のために表示すべく、提案される最も関心がある直線的ビューポートを生成するために、受け取られたメタデータを使用することができる。このビューポートは、さもなければ視聴者のヘッド位置に基づき選択されるか又は他の位置指示ユーザインターフェイスに基づき選択されることになるものに代わるものを提供する。

長方形の関心領域がいくつかのシステムで容易に信号伝達され得るが、長方形領域アプローチは、投影フォーマットにおいて符号化された球面ビデオにとって有効でない。平面投影フォーマットにおいて符号化されたフレームの長方形関心領域は、ビューポートの生成のために使用されたビデオフレームの部分に対応していない。ビューポートを生成することにおいて使用された対応する位置は、投影フォーマットの符号化されたビデオフレームにおける、場合により不連続の、１つ以上の非長方形領域に対応する。

図１は、パノラマビデオ符号化システムのブロック図である。ビデオは、サーバ、プロダクションシステム、又は別のシステム１０２の組み合わせで生成される、サーバにおいて、複数台のカメラ１０６が２Ｄビデオを捕捉する。６台のカメラが示されているが、使用されるカメラは、より多くても又はより少なくてもよい。カメラは第１モジュール１０８へ接続されている。第１モジュールにおいて、複数台のビデオは縫合され、投影フォーマットにマッピングされる。投影フォーマットにおける縫合されたビデオは、ＨＥＶＣ又はＡＶＣのようなビデオエンコーダ１１０へ入力される。エンコーダは、ビデオを符号化し、それを、ビットストリームとしての後の伝送のために、送出又はバッファリングする。エンコーダは、内部バッファ又は大容量記憶装置を備えてよく、あるいは、適切なバッファ又はデータストアが、エンコーダの外部に設けられてもよい。

符号化されたビデオは、ネットワーク、インターネット、ブロードキャスト、又はポイント・ツー・ポイント接続１１２を通じて、サーバ又はヘッドエンドから１つ以上のクライアント１０４へビットストリームとして送られる。クライアントにおいて、ビデオデコーダ１１４は、サーバからのビデオを受け取り、圧縮されたビットストリームを復号する。復号されたビデオの一部分のみが見られる場合に、ビューポートは、その選択された領域のためにビューポートモジュール１１６において生成される。見るべき符号化されたビデオの部分は、ポジションセレクタ１２０によって、例えば、ヘッドマウント型ディスプレイのヘッド位置又は位置選択ユーザインターフェイスを用いて、決定される。位置は、復号されたビデオを受け取り、適切なビデオストリームをディスプレイ１１８へ供給するビューポート生成部へ送られる。ディスプレイは、ビューポートが通常の２Ｄ表示で見られることを可能にする。表示の前にビデオをセーブするための、ビューポート生成部に関連した又はそれに組み込まれているバッファが存在してよい。

図２は、代替のパノラマビデオ符号化システムのブロック図である。ビデオは、サーバ２０２、プロダクションシステム、又は別のシステムの組み合わせである。複数台のカメラ２０６が２Ｄビデオを捕捉し、それを第１の縫合及び投影モジュール２０８へ供給する。複数のビデオが、モジュール内のバッファにバッファリングされる。ビデオは、このモジュールで縫合され、投影フォーマットにマッピングされる。投影フォーマットにおける縫合されたビデオは、モジュールの他のバッファに記憶され、次いで、ＨＥＶＣ又はＡＶＣのようなビデオエンコーダ２１０へ入力される。

コンテンツクリエータ、コメンテータ、エディタ、又はあらゆる他の主体が、最も関心のあるビューポート領域を選択してよい。代替的に、自動システムが、ビューポート領域を、例えば、高い運動速度又は高いテクスチャ特徴を持ったエリアとして選択してよい。選択は、ビデオエンコーダ２１０へ結合されている関心領域（ＲＯＩ）選択部２１２へ適用される。ビデオエンコーダは、ビデオ縫合及びマッピング投影２０８から受け取られたビデオを符号化する。選択されたＲＯＩは、メタデータ２１６のような情報としてビデオエンコーダへ供給され、エンコーダによってビデオビットストリーム２１８に含められる。情報は、多種多様な方法のいずれかにおいて符号化され得る。ＲＯＩは、エンコーダから出力されるビデオビットストリームに加えられるメタデータの形で供給され得る。それは、ＳＥＩメッセージの形で又は他の形で加えられ得る。ＲＯＩメタデータは、フレーム又はフレームのグループに関連することができ、従って、フレームごとに１回更新され得る。

情報を符号化するための１つのそのような方法は、付加拡張情報（ＳＥＩ）メッセージの構造内のメタデータとしてであるが、様々な他のメッセージ構造のいずれが使用されてもよい。異なるエディタ又はコメンテータから複数のＳＥＩメッセージとして供給される複数のＲＯＩ選択が存在してよい。また、１よりも多いＲＯＩを示すよう１人のエディタからの複数のＲＯＩ選択が存在してもよい。ユーザは、次いで、同時に表示不可能であるいずれかの中から選択してよい。メッセージは、衝突し合うか又は互いを補完し得る。ＳＥＩメッセージは特定のフレームと関連するので、ビューポート又はＲＯＩ選択又は提案は、いずれかのフレームで変更され得る。

ビデオエンコーダはビデオを符号化し、それをＳＥＩメッセージ及び何らかの他のメタデータと結合し、それをビットストリームとしての後の伝送のために送出又はバッファリングする。エンコーダは、適切なバッファを含んでよく、あるいは、他の記憶デバイスがエンコーダ又はサーバの他の部分に組み込まれてもよい。

符号化されたビデオは、ネットワーク、インターネット、ブロードキャスト、又はポイント・ツー・ポイント・リンクのようなデータ・リンク２１８を通じて、サーバ２０２又はヘッドエンドから１つ以上のクライアント２０４へビットストリームとして送られる。クライアントにおいて、ビデオデコーダ２２４は、サーバからのビデオ２１８を受け取り、圧縮されたビットストリーム２１８を復号し、あらゆるＳＥＩメッセージを取り出す。ビューポート生成モジュール２２６は、ビデオについての選択されたＲＯＩを含むＳＥＩメッセージ、更にはユーザ位置選択部２３０からの位置を受け取る。ビューポート生成部は、復号されたビデオを受け取り、適切なビデオストリームをディスプレイ２２８へ供給する。このビデオストリームは、直ちに表示されるか、あるいは、ビューポート生成部内にあるか又はビューポート生成部へ接続されているバッファ又は他のストレージに記憶されてよい。クライアントエンドにおいて、視聴者は、ＳＥＩメッセージの提案されるビューポートを見るためにコンテンツ提供者の提言に従うことを選択することでき、あるいは、クライアントが、位置選択２３０又は他のセンサを用いてビューポートを選択することができる。このようにして、選択又は推奨されたＲＯＩは視聴者によって優先され得る。

提案されるビューポートメタデータはフレームに関連し、従って、フレームごとに１回更新される。１よりも多い提案されるビューポートは、コンテンツクリエータが、例えば、複数の動作物体を別々に追跡するために、１よりも多く示したい場合に、示され得る。これは、視聴者が、例えば、パノラマビュー内の特定の人又は事象を見ることを選択することを可能にする。

ビューポート位置又は球面回転方向を表すメタデータは、緯度、経度及び視野、ピッチ、ヨー及びロール、又は方位角、仰角及び傾きのような、３つ以上のパラメータを含んでよい。図３は、ピッチ２５４、ヨー２５６、及びロール２５２の回転方向を示す３軸直交座標系の図である。３軸はｘ軸２４２、ｙ軸２４４、及びｚ軸２４６である。回転方向は、参照系（frame of reference）の原点から見られる各軸周りの時計回りの回転である。ロールはｘ軸周りである。ピッチはｙ軸周りであり、ヨーはｚ軸周りである。軸は、水平、垂直、若しくは深さ、又は何らかの他の適切な名称のような、別の名称を有してもよい。方位角、仰角及び傾きは、原点と、原点からその原点の周りの球面上の位置への放射線との間の角度に対応する。一方、本実施形態は、参照直交座標系の軸周りの回転の形をとる。球面投影の回転は、他のタイプの座標系及び投影を用いて如何なる他の所望の方法でも表されてよい。

メタデータは、ＨＥＶＣ及びＡＶＣ標準で使用されるような付加拡張情報（ＳＥＩ）メッセージに含まれてよい。ＳＥＩメッセージを使用することは、規範的な符号化及び復号化プロセスが不変であるということで、レガシー・エンコーダ及びデコーダが使用されることを可能にする。回転は、特定の実施に応じて、送信側２０２での予備処理２１４として及び受信側２０４での後処理２２２として、又はプロセス中の他の位置で適用されてよい。後処理球面回転は、デコーダの出力ピクチャに適用される。

ＳＥＩ及びメタデータに代わるものとして、回転方向メタデータが、ビデオコーデックにおけるパラメータセットに、又はスライスヘッダに含まれてもよい。この場合に、適合した出力ピクチャの定義は、ピクチャが出力される前に既に逆球面回転が適用されているように、変更され得る。

表１は、ＲＯＩ提案又は選択シンタックスについてのメタデータパラメータを含むＳＥＩメッセージのためのシンタックスの例である。このシンタックスは、それがコアな符号化又は復号化プロセスを変えないので、ＨＥＶＣ及びＡＶＣのような既存のビデオコーデック標準とともに使用され得る。メタデータは、ビューポートが前のビューポートに取って代わるかどうかを示すフラグを有する。それはまた、画像の球面上の位置並びに水平及び垂直視野を提供する。

メタデータは、ＩＤ及びキャンセルフラグによって識別される、ビューポートを生成するのに必要な情報を含む。情報は、角度において、緯度及び経度、並びに水平及び垂直視野サイズによって表されるような、球表現におけるビューポートの中心の位置を含む。角度は、度、ラジアン、又は直線距離において示され得る。なお、他のタイプの表現がＲＯＩの位置及びサイズを示すために使用されてもよい。球表現を基準として使用することは、同じシンタックスが、正距円筒図法、キューブマップ投影、８面体投影、正２０面体投影、四角すい台投影、などのような、如何なる投影フォーマット又はレイアウトのためにも使用されることを可能にする。

ＲＯＩ位置は、符号化されたビデオシーケンスの全体について、及び／又はフレームごとに、メタデータにおいて送出され得る。信号伝達される値、すなわち、メタデータ内の緯度、経度、及び視野パラメータは、デコーダの後に出力画像に適用されるビューポートを示す。

表２は、代替の全方向性のビューポートＳＥＩメッセージシンタックスを与える。

いくつかの実施形態において、全方向性のビューポートＳＥＩメッセージは、ユーザが見る方向の制御を有してないか又は見る方向の制御をビューポート提言に解放している場合に表示のために推奨されるビューポートに対応する、４つの大円によって境界された球面座標ジオメトリの１つ以上の領域の座標を指定する。

omni_viewport_idは、１つ以上の推奨されるビューポート領域を特定するために使用され得る識別番号を含む。

１に等しいomni_viewport_cancel_flagは、ＳＥＩメッセージが出力順序におけるいずれかの前の全方向性ビューポートＳＥＩメッセージの持続をキャンセルすることを示す。０に等しいomni_viewport_cancel_flagは、全方向性ビューポート情報が続くことを示す。これは、ビューポートＳＥＩがビューポートに変化があるときにのみ使用されるように、使用され得る。

omni_viewport_persitence_flagは、現在のレイヤについての全方向性ビューポートＳＥＩメッセージの持続を指定する。０に等しいomni_viewport_persitence_flagは、全方向性ビューポートＳＥＩメッセージが現在の復号されたピクチャのみに適用されることを指定する。１に等しいomni_viewport_persitence_flagは、次の条件のうちの１つ以上が真であるまで全方向性ビューポートＳＥＩメッセージが出力順序において現在のレイヤのために持続することを指定する。picAを現在のピクチャであるとする：
現在のレイヤの新しいＣＬＶＳが開始する。
ビットストリームが終了する。
現在のレイヤに適用可能である全方向性ビューポートＳＥＩメッセージを含むアクセスユニットにおける現在のレイヤ内のピクチャpicBは、picBのピクチャ順カウントについての復号化プロセスの起動の後直ちに、PicOrderCnt(picB)及びPicOrderCnt(picA)がpicB及びpicAのPicOrderCntVal値であるとして、PicOrderCnt(picB)がPicOrderCnt(pica)よりも大きい場合に、出力される。

０に等しいerp_cancel_flagを含む正距円筒図法ＳＥＩメッセージ又は０に等しいcmp_cancel_flagを含むキューブマップ投影ＳＥＩメッセージが、現在のピクチャに適用されるＣＬＶＳに存在せず、復号化順序において全方向性ビューポートＳＥＩメッセージに先行する場合に、０に等しいomni_viewport_cancel_flagを含む全方向性ビューポートＳＥＩメッセージは、現在のピクチャに適用されるＣＬＶＳにおいて存在してはならない。デコーダは、現在のピクチャに適用されるＣＬＶＳにおいて、復号化順序において０に等しいerp_cancel_flagを含む全方向性ビューポートＳＥＩメッセージ又は０に等しいcmp_cancel_flagを含むキューブマップ投影ＳＥＩメッセージに続かない、０に等しいomni_viewport_cancel_flagを含む全方向性ビューポートＳＥＩメッセージを無視すべきである。

omni_viewport_cnt_minus1 plus1は、ＳＥＩメッセージによって示されている推奨されるビューポート領域の数を特定する。omni_viewport_cnt_minus1が０よりも大きく、且つ、推奨されるビューポートが表示されるよう提案される情報がない場合に、以下が適用される：
omni_viewport_idが０又は１に等しい場合に、０番目の推奨されるビューポートは、ユーザが見る方向の制御を有してないか又は見る方向の制御を解放している場合に、表示されるよう提案される。

omni_viewport_azimuth_centre[i]及びomni_viewport_elevation_centre[i]は、２^－１６度やラジアンの単位、又はグローバル座標軸に対する何らかの他の所望の単位で、ｉ番目の推奨されるビューポート領域の中心を示す。

omni_viewport_tilt_centre[i]は、２^－１６度の単位で、ｉ番目の推奨されるビューポート領域の傾斜角を示す。omni_viewport_hor_range[i]は、ｉ番目の推奨されるビューポート領域の方位角範囲を示す。omni_viewport_ver_range[i]は、ｉ番目の推奨されるビューポート領域の仰角範囲を示す。

それらのパラメータ、単位、及び値の範囲の夫々の具体的な定義は、如何なる他の特定の実施にも適するよう変更されてよい。同様に、パラメータのうちのいずれか１つ以上は、他の実施に適するよう削除されても又は別のパラメータに置換されてもよい。更なるパラメータが加えられてもよく、パラメータの順序は、種々の実施に適するよう変更されてよい。

図４は、正距円筒図法フォーマット投影の図である。オリジナルの球面ビュー２６６が左に示されており、包まれていない平面グリッド２６０上への球の投影が右に示されている。不連続性が右側の長方形平面フレーム２６０の左端２６２及び右端２６４で導入されている。左側の現実世界の球表現では、左右の端はつながっている。その上、有意なワーピングが、右側のフレームの上及び下に沿ったピクセルを変形させる。これは、左側の北極及び南極領域に対応する。特定の提案されるビューポートは、正距円筒図法フォーマットの左右の端を横断し得るので、符号化された投影フォーマットフレームにおける２つの異なった領域に対応することになる。同様に、特定の提案されるビューポートは、変形されている上端の異なる部分にわたってもよい。

空間方向イントラ予測及びブロック並進運動補償を使用する現在のビデオ符号化標準は、極の近くで又は左右の端に沿ってよりも、正距円筒図法の予測の中心の近くでより良く機能する。左／右端の不連続性を横切って広がるオブジェクトは、空間イントラダイレクション（intra-direction）位置を用いて又は動き補償により満足に予測され得ない。

キューブマップ投影では、６つの立方体面が長方形フレームに配置される。図５は、球が０から５のラベルを付された６つの平面上に投影されるキューブマップ投影の図である。６つの面の夫々は、球の一部の上に投影される。面は、次いで、平面グリッドにおいて表示され得る。図６は、投影の隣接エリアが互いに隣に置かれている６つの面の４×３平面レイアウトを表す。図示されるように、面１と２、１と３、１と４、４と０、及び０と５の間の境界は隣接したまま保たれる。しかし、他の境界は、それらが図６においてあるように、互いに隣接して置かれていない。２及び３の面は、面４、５、又は０のいずれかの辺上にあるよう動かされて、代わりにそれらの境界を保持してもよい。平面グリッド表現は、多くのコーデック並びに他のデジタル処理及び圧縮システムに大変都合良くできているが、一方で、立方体を表すピクセルを含まない図６の平面フレームのいくつかのエリアが存在する。面４、５及び０の上及び下にはエリアが存在する。それらの面は、背景色に設定されるが、符号化するためにいくらかのデータを必要とする。図７は、３×２平面レイアウトを表し、立方体面が、よりコンパクトなレイアウトに適合するよう並べ直されている。図７の表現は、エッジを処理することにおいていくらかの追加の複雑性を必要とし得るが、ピクセル数は、４×３から３×２まで半分に減らされる。

キューブマップ投影フォーマットの符号化のための回転方向の選択は、投影フォーマットが不連続性の数及び位置で異なるということで、選択された特定のレイアウトに依存する。夫々の立方体面のエッジ領域は、立方体面の中心領域よりもひずみが大きい。回転方向の選択は、特に、立方体面エッジにおける不連続性にまたがるオブジェクトを最小限にしようと試みる。エッジとともに面を含む他の投影フォーマットも、同様の不連続性及びひずみを導入する。

図８は、正２０面体投影の図である。これは、球表現から２０面体を使用する平面表現への他のタイプの投影である。この例では、左側は、図５のキューブマップの６つのみの小面よりもむしろ、周囲の２０面体の２０個の小面上に投影された球２８０を示す。２０個の小面は、次いで、右側で２次元空間２８２に配置されるよう示されている。他の投影と同様に、小面の夫々の端にはひずみ及び不一致が存在する。より多くの小面を使用することは、ひずみの量を減らすが、継ぎ目の数及び位置を増やす。

様々な他の投影のいずれもが、８面体、四角すい台、及び様々な他のタイプの多角形投影のいずれかを含め、上述されたように使用されてよい。より多くの小面によれば、夫々の小面のひずみは低減されるが、複雑性は増大されることになり、エッジを回避することがより困難になる。

いくつかの実施形態において、推奨されるビューポートは、符号化プロセスの部分として選択され得る。いくつかの実施形態において、推奨されるビューポートは、動き又は他の特性についてシーンを解析し、シーンのどの部分が最も関心がある特徴を含むかを決定することによって、“帰納的”（posteriori）プロセスを通じて選択され得る。いくつかの実施形態において、階層化法が、そのアプローチとともに使用可能であり、それにより、フレームのダウンサンプリングされたバージョンが、フル解像度フレームよりもむしろ符号化される。

代替のアプローチは、パノラマフレームにおいて高速な動作及び高いテクスチャのエリアを検出し、それらのエリアを、使用される投影フォーマットに応じて、正距円筒図法フレームにおいて、又は立方体面において中心に置くことを目指すことである。

上記のＳＥＩメッセージは、球状の選択されたビューポートＳＥＩメッセージと組み合わせて使用されてよい。２つのＳＥＩメッセージが一緒に使用される場合に、球回転情報方向ＳＥＩメッセージによって提案される回転が最初に適用されてよく、次いで、提案されるビューポートＳＥＩメッセージからの提案されるビューポート位置が、回転される球表現に対して決定される。

フレームパック形式のステレオビデオがビデオフレーム内に含まれる場合には、方向値が夫々のビューについて別々に送出されてよく、あるいは、第２ビューのための値は、場合により、第１ビューに対する台にビューの相対位置に関する如何なる情報も考慮して、第１ビューの値に基づき導出されてよい。

図９は、パノラマ多重カメラビューを有する球３０２、及び平面３０４への球の正距円筒図法の図である。この例では、ビデオコンテンツは、球面における楕円３１４、３１６及び三角形３１２として表現される。楕円の２つの部分３１４、３１６は、パノラマビューの２つの側で見られる同じ楕円を表す。それらのオブジェクトは、正距円筒図法マッピング３０４に投影され、同じ楕円の２つの部分３２４、３２６及び三角形３２２となって現れる。正距円筒図法マッピングにおいて、楕円は、左右の端にまたがる不連続性を有している。それはまた、それが北極に近いということで、水平方向に伸ばされている。

図１０は、球面回転が球に適用された後の同じコンテンツの球３３４及び長方形マッピング３３６の図である。回転された球の楕円３３２は、このとき、フレームの中心により近い。三角形３３０は、楕円と同じくらい中心に近く、それにより、２つのアイテムのひずみはおおよそ同じになる。正距円筒図法では、あらゆる２次元オブジェクトがひずんでいる。ひずみの量は、中心からの距離とともに増大する。回転なしの同じ球３０２と比較して、回転された球３３４により示されるように、楕円の不連続性はもはやない。楕円はフレームの中心により近いので、ひずみも小さくなる。三角形も改善されるがそれほど重要でない。投影の平面グリッド３３６は、投影された楕円３４０及び投影された三角形３３８がグリッドの真ん中に近いことをより明らかにする。グリッドの真ん中ではひずみがより小さく、楕円は回転前の投影３０４のように２つではなく１つの部分にある。回転されたフレームに基づき符号化されるビデオは、回転されないフレームを使用するビデオよりもレガシー・ビデオエンコーダによって効率的に符号化するはずである。

様々な他の投影のいずれもが、８面体、四角すい台、及び様々な他のタイプの多角形投影のいずれかを含め、上述されたように使用されてよい。より多くの小面によれば、夫々の小面のひずみは低減されるが、複雑性は増大されることになり、エッジを回避することがより困難になる。選択されたビューポートは、それでもなお、緯度、経度、又は他の座標を用いて示され得る。

図２に戻ると、特異な構造及び構成は、投影を使用するパノラマビデオ、３６０度ビデオ、ＶＲビデオシステム及び何らかの他の広視野システムについてのユーザの経験を改善する。その構造の動作は、上記の球から長方形へのマッピングの記載に照らして、より良く理解され得る。

図１１は、上述されたように、好ましいビューポートを使用し、ビューポート指示を送出するプロセスフロー図である。サーバ又はサーバ側２０２では、投影マッピングが、４０４で広視野ビデオを受け取る。図中、ビデオは複数台のカメラから受け取られ、そうして、マッピングモジュール又は他のビデオ縫合部は、４０２で、複数台のカメラからのビデオをまとめて、単一の広視野ビデオを生成する。他の場合に、ビデオは、前もって記憶され、次いで、符号化のために取り出されてもよく、あるいは、ビデオの一部又は全ては、ソフトウェア及びユーザ入力に基づきグラフィクスシステムによって生成されてもよい。ビデオ入力は、シミュレーションされた又は仮想の世界を含んでもよく、あるいは、仮想部分及び現実部分が組み合わされて存在してもよい。ビデオは、１８０度、３６０度、パノラマ、又は何らかの他の広視野であってよい。ビデオは、垂直視野よりも広い水平視野を有してもよい。

どんなふうにでも生成又は受け取られた、完全な縫合された広視野ビデオは、次いで、４０６で平面投影にマッピングされる。多種多様な投影のいずれかが使用されてよい。正距円筒図法、球面キューブ投影、及び８面体投影が図示及び記載されているが、他の投影も存在してよい。

本明細書で示される例では、ビデオは球状であるが、完全な球は必要とされない。ビデオは、球の一部分のみを含んでよい。上記の１８０度視野は球の半分のみである。視野は、球の一部分のみを示すよう水平方向及び垂直方向の両方で小さくされ得る。他方で、視野は、球の一部のように湾曲している。これは、画像が全ての方向で視聴者から同じ距離であることを可能にする。

この湾曲した画像は、次いで、上記の例を含むあらゆる望ましいタイプのジオメトリも用いて平面上に投影される。球の一部の全て及び部分である湾曲した視野は固有ひずみを有さない一方、そのような湾曲面の平面投影はひずみを有する。平面投影は、しかしながら、符号化、圧縮、及び他の画像処理に適している。

ビデオがマッピングされる前又は後で、適切なビューポート選択が４０８でシーンについて受け取られる。選択は、いくつかの実施形態では、重要なエリア又は関心領域がビューポート内にあるように行われる。いくつかの実施形態において、シーンは、ビューポートを選択するために解析される。代替的に、ビューポート選択は製作者又はクリエータからであり、あるいは、視聴者統計値に基づく。いくつかの実施形態において、仮想現実の場合のように、ビューポートはまた、ユーザからも受け取られる。これは、サーバエンドで選択されたビューポートを使用したくないユーザのための選択肢を提供し得る。ビューポートは、広視野ビデオのどの部分がユーザの視野内、従って、ユーザの視野の真ん中になるかを示す。このエリア又は領域は、それを他のエリアを重要ならしめる話者、キャラクタ、新たに現れるオブジェクト又はその他特徴を有し得る。このエリア又は領域は、次いで、推奨又は選択されるビューポートに対応する最重要として選択されてよい。

受け取られた又は生成されたビューポートは、次いで、４１０で、ビデオ内のその位置を決定するようビデオと比較される。位置は、球面投影における緯度及び経度として、又は平面投影における位置として特定され得る。平面投影位置は、直交座標として又は何らかの他の方法で示されてよい。その上、ビューポートのサイズが示されてもよい。表１及び２の例では、サイズは、水平及び垂直視野として示されるが、ピクセルの数又は水平及び垂直方向における角度若しくは直線距離を含む他の単位が使用されてもよい。

ビューポートのサイズは、ユーザのビューがビューポートの大きさに応じてより大きく又はより狭くされるズーム効果を作り出すために使用されてよい。他の実施形態では、ビューポートのためのより大きい視野がユーザの視野全体を満たし得るように、ユーザのビューは同じサイズのままである。ビューポートのためのより小さい視野は、ユーザの視野の一部分しか満たさない。より小さい視野は、ユーザが、推奨されるビューポートの傍らの要素を見るためにビューポートを別の位置へ動かすことを可能にし得る。

球面ビデオにおける位置は、多種多様な方法で表現され得る。球面座標では、ロール、ピッチ、及びヨーが、代替的に、球面上の位置を表現するために使用され得る。それらのうちの１つ以上が使用されてよく、あるいは、直交座標、例えば、垂直及び水平が投影を参照して使用されてもよい。ロール、ピッチ、及びヨーについて、３つ全てが使用される必要はない。関心領域を極から離すために１つしか必要とされないことがある。ロール、ピッチ、及びヨーについての回転情報は角度として表現され得る。回転の角度は、ビデオの元の座標に対する。その上、ビデオの絶対的な向き（absolute orientation）がメタデータに含まれてもよい。絶対的な向きは、カメラの、又はカメラ配列が存在する場合には、複数台のカメラのうちの１台以上の、向きを反映する。

ビューポートが決定された後、次いで、関心領域選択部２１２が、４１２で、選択されたビューポートを記述するビューポートメタデータを生成する。これはビデオエンコーダへ供給され、それにより、ビデオエンコーダが４１４で球面ビデオの平面投影を符号化する場合に、ビューポートメタデータが、４１６で、符号化されたビデオに含まれるようにする。回転方向メタデータも４１７で含まれてもよい。メタデータを伴った符号化されたビデオは、次いで送信、バッファリング、又は記憶され、それにより、それは、即時又は後の伝送及び表示のために、符号化されたビデオとして供給され得る。ＨＥＶＣ及びＡＶＣのような多くのタイプの符号化の場合に、ＳＥＩメッセージが使用されてよい。なお、本発明はそのように制限されない。

ビューポートの選択は、ビデオの各フレームについて、又は関心領域が動く各フレームについて行われてよい。ＳＥＩメッセージは特定のフレームに関係しており、それにより、関心領域が動いたフレームは、それ自体のビューポートメッセージを有し得る。いくつかの場合に、メッセージは、新しいビューポートメッセージが受け取られるまで次の組のフレームについてのビューポート選択をキャンセルすることであってよい。これは、表１及び２において先に図示及び記載されたフラグを用いて行われ得る。これは、夫々のシーン及び関心領域の変化が、対応するフレームについてのビューポートを変更するよう、異なるＳＥＩメッセージによりフラグを立てられることを可能にする。

受信器又はクライアント側２０４では、ＳＥＩメッセージのようなメタデータを含む符号化されたビデオが、４２２で、サーバ及び放送局から受け取られる。クライアントは、４２４でビデオを復号し、４２６でビューポートメタデータを取り出すデコーダを備える。ビューポートが、次いで、ビューポートメタデータに基づき、復号されたビデオについて生成され得る。回転方向メタデータもメタデータに含まれる場合には、次いで、回転が４２７で実行されてよい。回転は、ピッチ、ロール、及びヨー角によって、又はメッセージにおいて示される何らかの他の方法で決定される。これは、カメラ又はエンコーダで適用された回転を逆にする球面ビデオの回転である。ビデオのこのビューポートは次いで、ユーザによる鑑賞のためのヘッドセット、３Ｄモニタ、又は２Ｄ表示画面のようなディスプレイへ供給される。

多くの用途について、ユーザインターフェイスの位置選択部２３０を通じてユーザによって選択されたビューポートが存在する。これは、従来のユーザ入力デバイスを通じて、又は何らかの他のセンサを通じて行われてよい。ＶＲヘッドセットの場合に、ヘッドセット又はユーザの目の動きが検出され、ビューポートは、ユーザがどこを見ているかに基づき決定され得る。ビューポート生成部２２６は次いで、メタデータからの推奨されるビューポート、ユーザが選択したビューポート、又はそれら２つの組み合わせのいずれか１つを用いて、復号されたビデオのビューを生成してよい。

４２８で、位置選択部から受け取られたもののような、ユーザ選択のビューポートを使用すべきかどうかが決定される。決定は、ユーザ入力又はユーザ入力の欠如に基づいてよい。ユーザが選択を行った場合且つユーザ選択が如何なる他のビューポートにも優先することをユーザが示している場合にのみ、ユーザ選択入力を使用するデフォルトが存在してよい。ユーザ選択のビューポートが使用されるべきでない場合には、次いで４３２で、ビューポートは、取り出されたメタデータを用いて生成される。述べられているように、いくつかの場合に、メタデータにおいて受け取られる１よりも多いビューポート選択が存在してよい。そのような場合に、ディレクターズ・カットのようなデフォルトが存在し、ユーザは、メタデータに含まれる他のビューポートの中から異なるビューポートを選択することを可能にされ得る。

ユーザの選択が使用されるべきである場合には、次いで４３０で、ビューポート生成部は、ユーザ選択を用いてビューポートを生成する。いずれの場合にも、生成されたビューポートは、４３４で表示のためにビデオとして供給される。

上述されたように、受け取られた符号化されたビデオは、複数台のカメラから受け取られるか又はグラフィクスシステムによって生成された広視野の投影である。投影は、正距円筒図法又はあらゆる他の適切な平面投影であってよい。多くのビデオ符号化システムは、ＳＥＩメッセージのようなメタデータが、符号化されたビデオの特定のフレームに関連することを可能にする。結果として、デコーダが新しいＳＥＩビューポートメッセージを見つける場合に、ビューポート生成部は、新しいメッセージを用いて対応するフレームについてのビューポートを変更するよう命令され得る。ビューポートは次いで、次のメッセージが来るまで保持され得る。結果として、更なるメタデータが、符号化されたビデオの更なるフレームのために受け取られ得る。

図１２は、複数の遠隔情報源を伴った高性能ＨＭＤ（Head Mounted Display）の図である。ＨＭＤ５０２は、本体５０４及び取り付けストラップ５０６を備える。本体は、仮想世界を装着者に描画するためのユーザディスプレイ及びスピーカを備えている。本体はまた、慣性センサ、マイクロホン及び他のユーザ入力デバイスを備える。処理、通信、及び電力又はバッテリ・スイートは、ＨＭＤがビデオ及び音響をレンダリングすること並びにテザリングされたコンピュータ５１０と無線５０８で通信することを可能にする。

ユーザは、頭部及び身体の動きを通じて仮想世界と相互作用し、更には、音声コマンド、手のジェスチャ及び他のユーザ入力デバイスを用いて相互作用してもよい。ゲームコントローラ５２０は、更なる制御を供給するよう、テザリングされたコンピュータへ無線５０８又は他の無線インターフェイス５２２を通じて結合されてよい。ＨＭＤは、レンダリング又は圧縮されたビデオフレーム及びオーディオをユーザへの表示のためにコンピュータから受け取るために、ＷｉＦｉ、ＷｉＤｉ、又は他の高速デジタル無線接続を通じてコンピュータへ結合されてよい。更なる記述、データ、パラメータ、及びコマンドも、コンピュータから受け取られてよい。ＨＭＤはまた、コマンド、制御、及び仮想インタラクションデータをコンピュータへ同じ又は他の無線リンクを通じて送出してもよい。コントローラは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）又は免許不要周波数帯（unlicensed bands）を通じて通信してよい。複数の無線インターフェイスが、完全なユーザ経験を提供するよう組み合わされてよい。

いくつかの場合に、コンピュータは持ち運び可能であり、ユーザによって携行される。これは、望まれる場合に、有線接続を可能にする。携行されるコンピュータは、ノートブック、タブレット、スマートフォン、又はあらゆる他の望ましい物理構成を有してもよい。他の場合に、コンピュータは固定であり、有線接続によりＨＭＤに取り付けられている。

コンピュータは更に、インターネット、ＬＡＮ（Local Area Network）又は他の有線若しくは無線接続を通じて遠隔サーバ５１６へ接続されてよい。遠隔サーバは、符号化されたビデオを供給し、そして、仮想世界に関する追加情報を供給し得る。遠隔サーバはまた、同じ又は関連する仮想世界を経験している他のユーザとのやり取りも提供し得る。代替的に、ＨＭＤは、コンピュータ５１０を経由することなしにサーバと直接に通信してもよい。他の実施形態では、遠隔サーバは使用されず、テザリングされたコンピュータが独立して動作する。

本明細書中の例では、ワイヤレスＨＭＤは、受け取られた符号化されたビデオを記憶及びレンダリングすることをＨＭＤに可能にするようＧＰＵ（Graphics Processing Unit）、グラフィクスプロセッサ、メモリ及び他の資源へ結合され得るスＣＰＵ（Central Processing Unit）のようなローカル計算資源又はクライアントデバイスを備える。ローカルレンダリングは、数あるタスクの中でも特に、記載された回転及びビューポート生成を含み得る。

図１３は、１つの実施に従うコンピュータデバイス１００を表す。コンピュータデバイス１００はシステムボード４２を内蔵する。ボード４２は、制限なしに、プロセッサ４４及び少なくとも１つの通信パッケージ４６を含む多数のコンポーネントを含んでよい。通信パッケージは、１つ以上のアンテナ１６へ結合されている。プロセッサ４４は、物理的及び電気的にボード４２へ結合されている。

その用途に応じて、コンピュータデバイス１００は、ボードへ物理的及び電気的に結合されても又はされなくてもよい他のコンポーネントを含んでもよい。それらの他のコンポーネントは、制限なしに、揮発性メモリ（例えば、ＤＲＡＭ）４８、不揮発性メモリ（例えば、ＲＯＭ）４９、フラッシュメモリ（図示せず。）、グラフィクスプロセッサ１２、デジタル信号プロセッサ（図示せず。）、暗号化プロセッサ（図示せず。）、チップセット１４、アンテナ１６、タッチスクリーンディスプレイのようなディスプレイ１８、タッチスクリーンコントローラ２０、バッテリ２２、オーディオコーデック（図示せず。）、ビデオコーデック（図示せず。）、電力増幅器２４、グローバルポジショニングシステム（ＧＰＳ）デバイス２６、コンパス２８、加速度計（図示せず。）、ジャイロスコープ（図示せず。）、スピーカ３０、カメラアレイ３２、マイクロホンアレイ３４、及び大容量記憶デバイス（例えば、ハードディスクドライブ）１０、コンパクトディスク（ＣＤ）（図示せず。）、デジタルバーサタイルディスク（ＤＶＤ）（図示せず。）、などを含む。それらのコンポーネントは、システムボード４２へ接続されるか、システムボードに実装されるか、又は他のコンポーネントのいずれかと組み合わされてよい。

カメラアレイは、イメージチップ３６へ、且つ、直接に又はイメージチップを通じて、プロセッサ４４へ結合されてよい。イメージチップは、グラフィクス・コプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、イメージ信号プロセッサ（ＩＳＰ）、又はあらゆる他のタイプの別個の専用のイメージング管理モジュールのような、多種多様な形態をとり得る。そのようなデバイス又はモジュールは、１つ以上の画像を捕捉、処理、編集、圧縮、記憶、印刷、及び／又は表示するよう動作可能なロジック、アルゴリズム、及び／又は命令を有してよい。いくつかの実施形態において、イメージング管理モジュールは、イメージングアプリケーション又はオペレーティングシステム内にソフトウェアとして実装されるプログラミングルーチン、関数、及び／又はプロセスを有してよい。様々な他の実施形態では、画像処理は、スタンドアローンのチップ若しくは集積回路として、あるいは、プロセッサ内、グラフィクスチップ又は他の集積回路若しくはチップ内、又はカメラモジュール内に含まれる回路構成として実装されてよい。上記の技術は、プロセッサのイメージチップにおいて実装されてよく、あるいは、機能は、カメラ、イメージチップ、プロセッサ、及び他のコンポーネントを含み得る異なるコンポーネント間で分配されてもよい。

通信パッケージ４６は、コンピュータデバイス１００への及びそれからのデータの転送のための無線及び／又は有線通信を可能にする。語「無線」及びその派生語は、非固体媒体を経る変調された電磁放射の使用によりデータを通信し得る回路、デバイス、システム、方法、技術、通信チャネルなどを記載するために使用され得る。その語は、関連するデバイスが如何なる配線も含まないことを暗示するものではないが、いくつかの実施形態ではそうでないことがある。通信パッケージ４６は、制限なしに、Ｗｉ－Ｆｉ（ＩＥＥＥ８０２．１１ファミリー）、ＷｉＭＡＸ（ＩＥＥＥ８０２．１６ファミリー）、ＩＥＥＥ８０２．２０、ロングタームエボリューション（ＬＴＥ）、Ｅｖ－ＤＯ、ＨＳＰＡ＋、ＨＳＤＰＡ＋、ＨＳＵＰＡ＋、ＥＤＧＥ、ＧＳＭ（登録商標）、ＧＰＲＳ、ＣＤＭＡ、ＴＤＭＡ、ＤＥＣＴ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、そのＥｔｈｅｒｎｅｔ（登録商標）派生物、並びに３Ｇ、４Ｇ、５Ｇ以上と表されるあらゆる他の無線及び有線プロトコルを含む多数の無線又は無線標準又はプロトコルのいずれかを実装してよい。コンピュータデバイス１００は、複数の通信パッケージ４６を含んでもよい。例えば、第１通信パッケージ４６は、Ｗｉ－Ｆｉ及びＢｌｕｅｔｏｏｔｈ（登録商標）のような短距離無線通信に専用であってよく、第２通信パッケージ４６は、ＧＰＳ、ＥＤＧＥ、ＧＰＲＳ、ＣＤＭＡ、ＷｉＭＡＸ、ＬＴＥ、Ｅｖ－ＤＯ、及び他のような長距離無線通信に専用であってよい。

様々な実施において、コンピュータデバイス１００は、ラップトップ、ネットブック、ノートブック、ウルトラブック、スマートフォン、ウェアラブルデバイス、タブレット、パーソナルデジタルアシスタント（ＰＤＡ）、ウルトラモバイルＰＣ、携帯電話機、デスクトップコンピュータ、サーバ、プリンタ、スキャナ、モニタ、セットトップボックス、エンターテイメント制御ユニット、デジタルカメラ、携帯型音楽プレーヤ、又はデジタルビデオレコーダであってよい。コンピュータデバイスは、固定、ポータブル、又はウェラブルであってよい。更なる実施では、コンピュータデバイス１００は、データを処理する如何なる他の電子デバイスであってもよい。

カメラアレイ３２は、図１及び２を参照して記載されるタイプ又は他の適切な構成のものであってよい。カメラアレイは、コンピュータデバイス１００の残りと同じ筐体に組み込まれてよく、あるいは、それは、適切な有線又は無線コネクタを通じて取り付けられた別個の周辺機器であってもよい。コンピュータデバイスは、固定又はポータブル構成においてサーバデバイス、編集デバイス、又はクライアントデバイスとして使用されてもよい。

実施形態は、１つ以上のメモリチップ、コントローラ、ＣＰＵ（Central Processing Unit）、マザーボードを用いて相互に接続されたマイクロチップ若しくは集積回路、特定用途向け集積回路（ＡＳＩＣ）、及び／又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）の一部として実装されてよい。

「１つの実施形態」、「実施形態」、「例となる実施形態」、「様々な実施形態」等への言及は、そのように記載される実施形態が特定の特徴、構造、又は特性を含み得るが、あらゆる実施形態が必ずしも特定の特徴、構造、又は特性を含むわけではないことを示す。更に、いくつかの実施形態は、他の実施形態について記載されている特徴の一部又は全てを有してよく、あるいは、全く有さなくてもよい。

以下の記載及び特許請求の範囲で、語「結合される」はその派生語とともに、使用されることがある。「結合される」は、２つ以上の要素が互いと協働又は相互作用することを示すために使用されるが、それらは、それらの間に介在する物理的又は電気的なコンポーネントを有しても又は有さなくてもよい。

特許請求の範囲で使用されるように、特段示されない限りは、共通の要素について説明するための序数形容詞「第１」、「第２」、「第３」などの使用は、同じ要素の異なるインスタンスが参照されていることを示すにすぎず、そのように記載される要素が時間的に、空間的に、順位付けにおいて、又はあらゆる他の方法において所与の順序でなければならいことを示す意図はない。

図面及び前述の記載は、実施形態の例を与える。当業者に明らかなように、記載される要素のうちの１つ以上は単一の機能要素にまとめられる。代替的に、特定の要素は複数の機能要素に分けられてもよい。１つの実施形態からの要素は、他の実施形態に加えられてもよい。例えば、本明細書で記載されるプロセスの順序は変更されてよく、本明細書で記載される様態に制限されない。更に、如何なるフロー図の動作も、示されている順序で実装される必要はなく、全ての動作が必ずしも実行される必要もない。また、他の動作に依存しないそれらの動作は、他の動作と並行して実行されてもよい。実施形態の適用範囲は、それらの具体的な例によって決して制限されない。構造、大きさ、及び材料の使用の違いといった多数の変形例は、明細書中で明示的に与えられていようとなかろうと、可能である。実施形態の適用範囲は、少なくとも、続く特許請求の範囲によって与えられているのと同じ広さである。種々の実施形態の様々な特徴は、多種多様な用途に適するよういくつかの特徴が含まれて他が除外された状態で様々に組み合わされてよい。

いくつかの実施形態は、ビューポートメタデータを含む符号化されたビデオを受け取ることと、前記ビデオを復号することと、前記ビューポートメタデータを取り出すことと、前記ビューポートメタデータに基づき前記復号されたビデオのビューポートを生成することと、表示のために前記生成されたビューポートをバッファリングすることとを含む方法に関連する。

更なる実施形態では、前記ビューポートメタデータは、関心領域の中心を含む。

更なる実施形態では、前記中心は、ビューポート表示の緯度及び経度として示される。

更なる実施形態では、前記ビューポートメタデータは、前記中心からの距離に基づく前記関心領域の視野を含む。

更なる実施形態では、前記視野は、水平角及び鉛直角として示される。

更なる実施形態では、前記ビューポートメタデータは、付加拡張情報メッセージとして符号化される。

更なる実施形態では、前記受け取られた符号化されたビデオは、広視野の平面投影である。

更なる実施形態では、前記平面投影は正距円筒図法であり、前記広視野はパノラマである。

更なる実施形態では、前記ビューポートメタデータは、前記受け取られた符号化されたビデオのフレームに関連し、当該方法は、前記符号化されたビデオの追加フレームのための追加のビューポートメタデータを受け取ることを有する。

更なる実施形態は、ユーザ選択のビューポートを使用することをユーザが指示しているかどうかを判定し、そうである場合には、次いで、前記ビューポートメタデータを用いてビューポートを生成することの代わりに、前記ユーザ選択のビューポートを用いてビューポートを生成することを含む。

更なる実施形態では、前記ビューポートメタデータは、複数のビューポートを含み、当該方法は、前記複数のビューポートから１つを選択することを更に有し、ビューポートを生成することは、前記複数のビューポートの中の前記選択された１つを用いてビューポートを生成することを有する。

更なる実施形態では、前記複数のビューポートから１つを選択することは、前記複数のビューポートの中の１つのユーザ選択を受け取ることを有する。

更なる実施形態では、前記複数のビューポートのサイズは、ズーム効果をもたらすために使用される。

更なる実施形態では、前記ビューポートメタデータは、前記受け取られた符号化されたビデオのフレームに関連し、当該方法は、前記符号化されたビデオの追加フレームのための追加のビューポートメタデータを受け取ることを有する。

更なる実施形態では、前記符号化されたビデオは、回転方向メタデータを更に含み、当該方法は、前記回転方向メタデータを取り出すことと、前記回転方向メタデータに基づき前記復号されたビデオを回転させることとを含み、前記ビューポートを生成することは、前記回転された復号されたビデオを用いてビューポートを生成することを有する。

更なる実施形態は、マシン読出可能な媒体であって、実行される場合に、前記マシンに、ビューポートメタデータを含む符号化されたビデオを受け取ることと、前記ビデオを復号することと、前記ビューポートメタデータを取り出すことと、前記ビューポートメタデータに基づき前記復号されたビデオのビューポートを生成することと、表示のために前記生成されたビューポートをバッファリングすることとを有する動作を実行させる命令を記憶している媒体に関連する。

更なる実施形態は、ビューポートメタデータを含む広視野ビデオを受け取り、前記ビューポートメタデータを取り出すビデオ復号部と、復号されたビデオのビューポートを前記ビューポートメタデータに基づき生成し、該生成されたビューポートを表示のためにバッファリングするビューポート生成部とを含む装置に関連する。

更なる実施形態は、広視野ビデオを受け取ることと、前記ビデオを平面投影にマッピングすることと、前記ビデオに含まれる選択された関心領域を受け取ることと、前記選択された関心領域を記述するビューポートメタデータを生成することと、前記ビューポートメタデータを含む符号化されたビデオとして前記平面投影を符号化することと、前記符号化されたビデオを記憶することとを含む方法に関連する。

更なる実施形態では、前記ビューポートメタデータは、前記関心領域の中心を含む。

更なる実施形態では、前記中心は、ビューポート表示の緯度及び経度として示される。

更なる実施形態では、前記ビューポートメタデータは、前記中心からの距離に基づく前記関心領域の視野を含む。

更なる実施形態では、前記視野は、水平角及び鉛直角として示される。

更なる実施形態では、前記ビューポートメタデータは、付加拡張情報メッセージとして符号化される。

更なる実施形態では、前記受け取られた広視野ビデオは、複数台のカメラから受け取られ、当該方法は、前記複数台のカメラからのビデオを縫合して単一の広視野ビデオを生成することを更に有する。

更なる実施形態では、前記ビデオをマッピングすることは、前記ビデオを正距円筒図法にマッピングすることを有し、前記広視野はパノラマである。

更なる実施形態は、前記投影の回転を選択することと、該選択された回転を記述する回転方向メタデータを生成することと、前記選択された回転に基づき前記投影を回転させることとを含み、前記平面投影を符号化することは、前記投影を回転させた後に符号化し、前記回転方向メタデータを前記符号化されたビデオに含めることを有する。

いくつかの実施形態は、マシン読出可能な媒体であって、実行される場合に、前記マシンに、広視野ビデオを受け取ることと、前記ビデオを平面投影にマッピングすることと、前記ビデオに含まれる選択された関心領域を受け取ることと、前記選択された関心領域を記述するビューポートメタデータを生成することと、前記ビューポートメタデータを含む符号化されたビデオとして前記平面投影を符号化することと、前記符号化されたビデオを記憶することとを有する動作を実行させる命令を記憶している媒体に関連する。

更なる実施形態は、動きについて前記ビデオのシーンを解析し、該シーンのどの部分が最も速い動きを含むかを決定することによって、前記選択された関心領域を選択することを含む。

いくつかの実施形態は、広視野ビデオを受け取るバッファと、前記ビデオを平面投影にマッピングする投影マッピングモジュールと、前記ビデオに含まれる選択された関心領域を受け取り、前記選択された関心領域を記述するビューポートメタデータを生成する関心領域選択部と、前記ビューポートメタデータを含む符号化されたビデオとして前記平面投影を符号化し、該符号化されたビデオを記憶する符号化部とを含む装置に関連する。

更なる実施形態では、前記関心領域選択部は、最も高い複雑性を持った特徴を有するとして前記選択された関心領域を選択するよう前記ビデオを更に解析する。

［関連出願の相互参照］
本願は、“SUGGESTED VIEWPORT INDICATION FOR PANORAMIC VIDEO”と題されて２０１６年１１月１７日に出願された米国特許仮出願第６２／４２３３４３号に基づく優先権を主張する。優先権の基礎をなすこの特許出願の開示は、これをもって、参照により本願に援用される。

Claims (16)

1. 付加拡張情報メッセージに基づいてビデオビットストリームを復号する第１回路と、
   前記復号されたビデオビットストリームを出力する第２回路と
   を有し、
   前記付加拡張情報メッセージは、ビデオに関連した全方向性ビューポート付加拡張情報メッセージを含み、該全方向性ビューポート付加拡張情報メッセージは、４つの大円によって境界された球面座標ジオメトリの１つ以上の領域の座標を指定し、該領域は、ユーザが見る方向の制御を有していないか又は前記見る方向の制御を解放している場合に表示のために推奨されるビューポートに対応し、前記全方向性ビューポート付加拡張情報メッセージは、
   １つ以上の推奨ビューポート領域を識別するために使用され得る識別番号を含むomni_viewport_idと、
   omni_viewport_cancel_flagであり、１に等しい前記omni_viewport_cancel_flagは、前記全方向性ビューポート付加拡張情報メッセージが出力順序における如何なる前の全方向性ビューポート付加拡張情報メッセージの持続もキャンセルすることを示す、前記omni_viewport_cancel_flagと、
   現在のレイヤについての前記全方向性ビューポート付加拡張情報メッセージの持続を指定するomni_viewport_persitence_flagであり、０に等しい前記omni_viewport_persitence_flagは、全方向性ビューポート付加拡張情報メッセージが現在の復号されたピクチャのみに適用されることを指定し、１に等しい前記omni_viewport_persitence_flagは、１つ以上の条件が満足されるまで前記全方向性ビューポート付加拡張情報メッセージが出力順序において前記現在のレイヤのために持続することを指定する、前記omni_viewport_persitence_flagと、
   omni_viewport_cnt_minus1であり、１をプラスする前記omni_viewport_cnt_minus1は、前記全方向性ビューポート付加拡張情報メッセージによって示されている推奨ビューポート領域の数を特定する、前記omni_viewport_cnt_minus1と、
   グローバル座標軸に対して２^－１６度の単位でｉ番目の推奨ビューポート領域の中心を示すomni_viewport_azimuth_centre[i]及びomni_viewport_elevation_centre[i]と、
   ２^－１６度の単位で前記ｉ番目の推奨ビューポート領域の傾斜角を示すomni_viewport_tilt_centre[i]と、
   前記ｉ番目の推奨ビューポート領域の方位角範囲を示すomni_viewport_hor_range[i]と、
   前記ｉ番目の推奨ビューポート領域の仰角範囲を示すomni_viewport_ver_range[i]と
   を含む、
   デコーダ。
2. ０に等しい前記omni_viewport_cancel_flagは、全方向性ビューポート情報が続くことを示す、
   請求項１に記載のデコーダ。
3. 前記１つ以上の条件は、
   前記現在のレイヤの新しい符号化レイヤビデオシーケンス（ＣＬＶＳ）が開始すること、
   ビットストリームが終了すること、又は
   前記全方向性ビューポート付加拡張情報メッセージに関連したアクセスユニットにおける前記現在のレイヤ内のピクチャが、出力順序において前記現在のピクチャに続く出力であること
   を含む、
   請求項１又は２に記載のデコーダ。
4. 前記omni_viewport_cnt_minus1が０よりも大きく、ビューポートが表示されるよう提案される他の情報がなく、omni_viewport_idが０又は１に等しい場合に、０番目の前記ビューポートは、前記ユーザが前記見る方向の制御を有していないか又は前記見る方向の制御を解放しているときに、表示されるよう提案される、
   請求項１乃至３のうちいずれか一項に記載のデコーダ。
5. 前記全方向性ビューポート付加拡張情報メッセージは、ビットストリームタイプを示すようsphere_rotation_reserved_zero_6bitsを含む、
   請求項１乃至４のうちいずれか一項に記載のデコーダ。
6. 前記第２回路は、前記復号されたビデオビットストリームを表示のために出力する、
   請求項１乃至５のうちいずれか一項に記載のデコーダ。
7. 前記第２回路は、前記復号されたビデオビットストリームを記憶する、
   請求項１乃至６のうちいずれか一項に記載のデコーダ。
8. 付加拡張情報メッセージに基づいてビデオビットストリームを復号することと、
   前記復号されたビデオビットストリームを出力することと
   を有し、
   前記付加拡張情報メッセージは、ビデオに関連した全方向性ビューポート付加拡張情報メッセージを含み、該全方向性ビューポート付加拡張情報メッセージは、４つの大円によって境界された球面座標ジオメトリの１つ以上の領域の座標を指定し、該領域は、ユーザが見る方向の制御を有していないか又は前記見る方向の制御を解放している場合に表示のために推奨されるビューポートに対応し、前記全方向性ビューポート付加拡張情報メッセージは、
   １つ以上の推奨ビューポート領域を識別するために使用され得る識別番号を含むomni_viewport_idと、
   omni_viewport_cancel_flagであり、１に等しい前記omni_viewport_cancel_flagは、前記全方向性ビューポート付加拡張情報メッセージが出力順序における如何なる前の全方向性ビューポート付加拡張情報メッセージの持続もキャンセルすることを示す、前記omni_viewport_cancel_flagと、
   現在のレイヤについての全方向性ビューポート付加拡張情報メッセージの持続を指定するomni_viewport_persitence_flagであり、０に等しい前記omni_viewport_persitence_flagは、全方向性ビューポート付加拡張情報メッセージが現在の復号されたピクチャのみに適用されることを指定し、１に等しい前記omni_viewport_persitence_flagは、１つ以上の条件が満足されるまで前記全方向性ビューポート付加拡張情報メッセージが出力順序において前記現在のレイヤのために持続することを指定する、前記omni_viewport_persitence_flagと、
   omni_viewport_cnt_minus1であり、１をプラスする前記omni_viewport_cnt_minus1は、前記全方向性ビューポート付加拡張情報メッセージによって示されている推奨ビューポート領域の数を特定する、前記omni_viewport_cnt_minus1と、
   グローバル座標軸に対して２^－１６度の単位でｉ番目の推奨ビューポート領域の中心を示すomni_viewport_azimuth_centre[i]及びomni_viewport_elevation_centre[i]と、
   ２^－１６度の単位で前記ｉ番目の推奨ビューポート領域の傾斜角を示すomni_viewport_tilt_centre[i]と、
   前記ｉ番目の推奨ビューポート領域の方位角範囲を示すomni_viewport_hor_range[i]と、
   前記ｉ番目の推奨ビューポート領域の仰角範囲を示すomni_viewport_ver_range[i]と
   を含む、
   方法。
9. ０に等しい前記omni_viewport_cancel_flagは、全方向性ビューポート情報が続くことを示す、
   請求項８に記載の方法。
10. 前記１つ以上の条件は、
    前記現在のレイヤの新しい符号化レイヤビデオシーケンス（ＣＬＶＳ）が開始すること、
    ビットストリームが終了すること、又は
    前記全方向性ビューポート付加拡張情報メッセージに関連したアクセスユニットにおける前記現在のレイヤ内のピクチャが、出力順序において前記現在のピクチャに続く出力であること
    を含む、
    請求項８又は９に記載の方法。
11. 前記omni_viewport_cnt_minus1が０よりも大きく、ビューポートが表示されるよう提案される他の情報がなく、omni_viewport_idが０又は１に等しい場合に、０番目の前記ビューポートは、前記ユーザが前記見る方向の制御を有していないか又は前記見る方向の制御を解放しているときに、表示されるよう提案される、
    請求項８乃至１０のうちいずれか一項に記載の方法。
12. 前記全方向性ビューポート付加拡張情報メッセージは、ビットストリームタイプを示すようsphere_rotation_reserved_zero_6bitsを含む、
    請求項８乃至１１のうちいずれか一項に記載の方法。
13. 前記復号されたビデオビットストリームを出力することは、前記復号されたビデオビットストリームを送信することを含む、
    請求項８乃至１２のうちいずれか一項に記載の方法。
14. 前記復号されたビデオビットストリームを出力することは、前記復号されたビデオビットストリームを記憶することを含む、
    請求項８乃至１３のうちいずれか一項に記載の方法。
15. メモリと、
    少なくとも１つのセンサと、
    ディスプレイと、
    記憶デバイスと、
    通信回路と、
    請求項８乃至１４のうちいずれか一項に記載の方法を実行する少なくとも１つのプロセッサと
    を有するシステム。
16. 請求項８乃至１４のうちいずれか一項に記載の方法を実行する手段を有する装置。

Images