JP6239018B2 - 映像ストリーミング方法 - Google Patents

Description

背景

マルチメディア技術は、ここ数年の間に著しく向上した。例えば、ネットワーク上で媒体をストリーミングすることが可能である。これはつまり、マルチメディア、例えば映像がユーザに受信され、そのユーザに同時に提示されるということである。

ネットワーク上で高解像度で映像をストリーミングするには、広帯域幅が必要とされることに注意されたい。したがって、ストリーミングを向上させるために対策が必要である。

摘要

そこで、改善した方法およびその方法を実装した技術設備を発明し、これによって上記の問題を緩和する。本発明の様々な態様は、方法、機器、およびコンピュータプログラムを格納したコンピュータ可読媒体を含み、これらは、独立請求項に記載されていることを特徴とする。本発明の様々な実施形態は、従属請求項に開示されている。

本明細書に記載した非限定的な例は、超高精細パノラマ映像を頭部に装着したディスプレイにストリーミングすることに関する。超高精細映像をネットワーク上でストリーミングするには、広帯域幅が必要とされる。ストリーミング状況によっては、映像内容のフル解像度を使用する必要はない。例えば、広視野のパノラマ映像をストリーミングする場合、ユーザの注目は通常、映像の一部またはサブセクションに一度に集中している。そのため、本明細書では、適応的ストリーミング方法であって、ユーザが現在見ている視野の部分を、現在視野の外側にある部分よりも高い解像度でストリーミングできる方法を提案する。この種のストリーミングにより、帯域幅を節約する方法を提供できる。

第１の態様によれば、ストリーミング方法であって、パノラマ映像を受信すること；頭部追跡データを受信すること；頭部追跡データに基づいて現在視野を決定すること；現在視野に基づいてパノラマ映像の解像度を調整すること、但し、現在視野の解像度は第１の解像度であり、現在視野の外側の解像度は第２の解像度であること；調整後の解像度を有するパノラマ映像を提供すること、但し、第１の解像度は第２の解像度よりも高いこと；を含む方法が提供される。これに代えて、またはこれに加えて、ユーザが直後にどこを見ているかを予測し、それに応じて予測視野の解像度を適応させることが可能であってもよい。

一実施形態によれば、本方法は、頭部追跡データに基づいて予測視野を決定すること；予測視野に基づいてパノラマ映像の解像度を調整すること、但し、予測視野の解像度は第３の解像度であること；調整後の解像度を有するパノラマ映像を提供すること、但し、第３の解像度は第１の解像度よりも低く、第２の解像度よりも高いこと；をさらに含む。

一実施形態によれば、本方法は、パノラマ映像を２つ以上のサブストリームに分割すること、但し、少なくとも１つのサブストリームは現在視野にあり、少なくとも１つのサブストリームは現在視野の外側にある；現在視野の外側にある少なくとも１つのサブストリームの解像度を調整すること；および調整後の解像度を有するパノラマ映像を提供すること、但し、現在視野にある少なくとも１つのサブストリームの調整後の解像度は、現在視野の外側にある少なくとも１つのサブストリームの調整後の解像度よりも高いこと；をさらに含む。

一実施形態によれば、本方法は、予測視野にある少なくとも１つのサブストリームを決定すること；および予測視野にある少なくとも１つのサブストリームの解像度を調整すること、但し、予測視野にある少なくとも１つのサブストリームの調整後の解像度は、現在視野および予測視野の外側にある少なくとも１つのサブストリームの調整後の解像度よりも高く、現在視野にある少なくとも１つのサブストリームよりも低いこと；をさらに含む。

一実施形態によれば、本方法は、頭部追跡データの信頼度を決定すること、および頭部追跡データの信頼度に基づいてパノラマ映像の解像度をスケーリングすることをさらに含む。

一実施形態によれば、本方法は、視線追跡データを頭部追跡データ内にて、または頭部追跡データと同時に受信すること、および視線追跡データに基づいて前記スケーリングを実施することをさらに含む。

一実施形態によれば、本方法は、映像ストリームの待ち時間情報を決定すること、および映像ストリームの待ち時間情報に基づいて予測視野の寸法を制御することをさらに含む。

一実施形態によれば、本方法は、パノラマ映像をヘッドマウントディスプレイにストリーミングすることをさらに含む。

一実施形態によれば、本方法は、パノラマ映像をモバイル装置にストリーミングすることをさらに含む。

一実施形態によれば、本方法は、視線追跡データを受信すること；視線追跡データに基づいて現在の焦点領域を決定すること；現在の焦点領域に基づいてパノラマ映像の解像度を調整すること、但し、現在の焦点領域の解像度は第４の解像度であり、現在の焦点領域の外側の解像度は第５の解像度であること；調整後の解像度を有するパノラマ映像を提供すること、但し、第４の解像度は第５の解像度よりも高いこと；をさらに含む。

一実施形態によれば、本方法は、視線追跡データに基づいて予測焦点領域を決定すること；予測焦点領域に基づいてパノラマ映像の解像度を調整すること、但し、予測焦点領域の解像度は第６の解像度であること；調整後の解像度を有するパノラマ映像を提供すること、但し、第６の解像度は第４の解像度よりも低く、第５の解像度よりも高いこと；をさらに含む。

一実施形態によれば、本方法は、パノラマ映像を２つ以上のサブストリームに分割すること、但し、少なくとも１つのサブストリームは現在の焦点領域にあり、少なくとも１つのサブストリームは現在の焦点領域の外側にある；現在の焦点領域の外側にある少なくとも１つのサブストリームの解像度を調整すること；および調整後の解像度を有するパノラマ映像を提供すること、但し、現在の焦点領域にある少なくとも１つのサブストリームの調整後の解像度は、現在の焦点領域の外側にある少なくとも１つのサブストリームの調整後の解像度よりも高いこと；をさらに含む。

一実施形態によれば、本方法は、予測焦点領域にある少なくとも１つのサブストリームを決定すること；および予測焦点領域にある少なくとも１つのサブストリームの解像度を調整すること、但し、予測焦点領域にある少なくとも１つのサブストリームの調整後の解像度は、現在の焦点領域および予測焦点領域の外側にある少なくとも１つのサブストリームの調整後の解像度よりも高く、現在の焦点領域にある少なくとも１つのサブストリームよりも低いこと；をさらに含む。

一実施形態によれば、本方法は、視線追跡データの信頼度を決定すること、および視線追跡データの信頼度に基づいてパノラマ映像の解像度をスケーリングすることをさらに含む。

第２の態様によれば、パノラマ映像を受信する手段と、頭部追跡データを受信する手段と、頭部追跡データに基づいて現在視野を決定する手段と、現在視野に基づいてパノラマ映像の解像度を調整する手段であって、現在視野の解像度は第１の解像度であり、現在視野の外側の解像度は第２の解像度である手段と、調整後の解像度でパノラマ映像を提供する手段であって、第１の解像度は第２の解像度よりも高い手段とを備える機器が提供される。

本発明のこれらの態様およびその他の態様ならびに本発明に関連する実施形態は、以下の実施形態の詳細な開示に鑑みて明らかになるであろう。

以下では、添付の図面を参照して本発明の様々な実施形態をより詳細に説明する。

サーバシステム、通信ネットワークおよびユーザ装置を含む通信構成の例を示す図である。 サーバおよびユーザ装置のブロック図である。 映像を取得し、映像をストリーミングするシステムおよび装置の一例を示す図である。 映像ストリーミング方法の一例のフローチャートである。 視野およびサブストリームの例を示す図である。 視野およびサブストリームの例を示す図である。 焦点領域の例を示す図である。 焦点領域の例を示す図である。 映像のヘッダファイルの一例を示す図である。

詳細説明

以下では、本発明の複数の実施形態を、映像ストリーミング、特にヘッドマウントディスプレイへの超高精細パノラマ映像のストリーミングにおいて説明する。但し、本発明はそのような実施形態に限定されるものではなく、実際、映像ストリーミングを必要とする環境において、様々な実施形態の用途がある。

図１ａは、画像を処理するシステムおよび装置を示している。図１ａでは、インターネット１１０などの固定されたワイドエリアネットワーク、ローカル無線ネットワークまたはＧＳＭ（登録商標）ネットワークなどの移動通信ネットワーク１２０、第３世代（３Ｇ）ネットワーク、第３．５世代（３．５Ｇ）ネットワーク、第４世代（４Ｇ）ネットワーク、第５世代ネットワーク（５Ｇ）、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはその他の現代および将来のネットワークを介して様々な装置が接続されていてもよい。図１ａにある移動通信ネットワーク１２０とインターネット１１０との間のように、様々なネットワークが通信インターフェースによって互いに接続されている。ネットワークは、データを扱うルータおよびスイッチ（図示せず）などのネットワーク素要素ならびに様々な装置にネットワークへのアクセスを提供する基地局１３０および１３２などの無線通信ノードを備え、基地局１３０、１３２自体は、固定接続または無線接続を介して移動通信ネットワーク１２０に接続される。

ネットワークに接続されたサーバは多数あってよく、図１ａの例には、他のユーザと共有する画像を処理するネットワークサービス、例えばソーシャルメディアサービスを提供するサーバ１１２、１１４と、画像および／または映像ならびにこの画像および／または映像を処理する情報を格納するデータベース１１５とが示され、これらが固定ネットワーク（インターネット）１１０に接続されている。例えば映像をストリーミングするネットワークサービスを提供するサーバ１２４、ならびに映像およびこの映像をストリーミングする情報を格納するデータベース１２５も示されている。サーバ１２４およびデータベース１２５は、移動ネットワーク１２０に接続されていてもよい。上記の装置のいくつか、例えばコンピュータ１１２、１１４、１１５は、固定ネットワーク１１０内にある通信要素とインターネットを構築するようなものであってよい。

また、ヘッドマウントディスプレイ装置１１６、携帯電話１２６およびスマートフォン、インターネットアクセスデバイス１２８、多様なサイズおよび形態のパーソナルコンピュータ１１７、ならびにカメラおよびビデオカメラ１６３および３Ｄビデオカメラ１６４などのユーザ装置が多数あってもよい。これらの装置１１６、１１７、１２６、１２８、１６３および１６４は、複数の部品で構成されていてもよい。様々な装置は、インターネット１１０への固定接続、インターネット１１０への無線接続、移動ネットワーク１２０への固定接続、および移動ネットワーク１２０への無線接続などの通信接続を介してネットワーク１１０および１２０に接続されていてもよい。接続は、通信接続のそれぞれの端部で通信インターフェースによって実装される。

これに関連して、ユーザ装置とは、機能を有し、ユーザがその動作を直接制御できるようにユーザにとってアクセス可能なものであると理解してよい。例えば、ユーザは、ユーザ装置の電源を入れたり切ったりすることが可能であってよい。また、ユーザは、装置を移動させることが可能であってよい。換言すれば、ユーザ装置は、ボタンを押すことによって直接、あるいは装置に物理的に接触することによって、またはＥｔｈｅｒｎｅｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）もしくはＷＬＡＮなどのローカル通信接続を介して装置を制御することによって、ユーザ（ネットワークのオペレータ以外の人物）がローカルで制御可能なものであると理解してよい。

図１ｂに示したように、ユーザ装置１１６、１１７、１２６、１２８、１６３および１６４は、メモリＭＥＭ１５２と、少なくとも１つのプロセッサＰＲＯＣ１５３、１５６と、メモリＭＥＭ１５２にある、例えば画像処理を実施するコンピュータプログラムコードＰＲＯＧＲＡＭ１５４とを含んでいてよい。また、ユーザ装置は、画像データ、例えば映像を取得する１つ以上のカメラ１５１を有していてよい。また、ユーザ装置は、音を取得する１つ、２つまたはそれ以上のマイクロフォン１５７、１５８を備えていてもよい。音声および／または発話の制御によって、取得した音を用いてユーザ装置を制御することが可能であってよい。様々なユーザ装置は、各装置に関連する機能を用いるために、同じ要素、より少ない要素またはより多くの要素を含んでいてよい。また、ユーザ装置は、グラフィカルユーザインタフェースを見るためのディスプレイ１６０、およびユーザ入力を受けるためのボタン１６１、タッチ画面またはその他の要素を備えていてもよい。また、ユーザ装置は、通信モジュールＣＯＭＭ１ １５５、ＣＯＭＭ２ １５９または他の装置と通信するために１つのモジュールに実装された通信機能を備えていてもよい。

図１ｂは、画像処理および格納のためのサーバ装置も示している。図１ｂに示したように、サーバ１１２、１１４、１１５、１２４、１２５は、メモリＭＥＭ１４５、１つ以上のプロセッサＰＲＯＣ１４６、１４７、およびメモリＭＥＭ１４５にある、例えば映像のストリーミングを実施するコンピュータプログラムコードＰＲＯＧＲＡＭ１４８を含む。サーバは、通信モジュールＣＯＭＭ１ １４９、ＣＯＭＭ２ １５０または他の装置と通信するために１つのモジュールに実装された通信機能も備えていてもよい。様々なサーバ１１２、１１４、１１５、１２４、１２５は、各サーバに関連する機能を用いるために、これらの要素、またはより少ない要素またはより多くの要素を含んでいてもよい。サーバ１１５、１２５は、上記と同じ要素、およびサーバのメモリにあるデータベースを備えていてもよい。サーバ１１２、１１４、１１５、１２４、１２５のいずれかまたは全部が、個別に、グループごとに、またはすべて一緒に、画像の処理および格納を行ってもよい。サーバは、サーバシステム、例えばクラウドを形成してもよい。

図１ｃは、映像を取得し、映像をストリーミングするシステムおよび装置の一例を示している。図１ａでは、様々な装置が、例えばインターネット、ローカル無線ネットワークまたは移動通信ネットワークなどの通信接続１７０を介して接続されていてもよい。様々なネットワークは、通信インターフェースによって互いに接続されていてもよい。図１ｃで上面透視図で示したマルチカメラ装置１８０は、ユーザの頭部に装着するか、あるいは例えば三脚で支持されてもよい。装置１８０は、パノラマ映像、すなわち広い視野の映像、例えば３６０°の３Ｄ映像を得るために使用されてもよい。パノラマという用語は、何らかの具体的な度数であると理解してはならない。アスペクト比とは、画像の幅と高さとの関係を定義するものである。アスペクト比および視野は両方とも、パノラマ映像を定義する際の要素である。通常、パノラマとは、幅が高さの少なくとも２倍である長細い画像であると理解してよい。マルチカメラ装置１８０は、複数のカメラ、例えばカメラ１８１、１８２、１８３を備えていてよく、これらのカメラは、それぞれの方向から映像を取得できるように位置している。例えばカメラ１８１および１８２のように、ユーザの頭部の周りに位置しているカメラがあってもよい。また、例えばカメラ１８３のように、上向きで、ユーザの頭部の頂に位置しているカメラがあってもよい。また、下向きのカメラ（図示せず）があってもよい。これに代えて、マルチカメラ装置のカメラを、棒、台、三脚またはその他の適切な取付台に取り付けてもよい。マルチカメラ装置１８０を用いて得られたパノラマ映像は、映像データベース１１５に格納されてもよい。これに代えて、パノラマ映像は、通信接続を介してストリーミングサーバ１２４に送信されてもよい。ストリーミングサーバ１２４は、映像を見るために使用できるヘッドマウントディスプレイ装置１１６に映像を送信するかストリーミングできる。これに代えて、映像は、映像を見るために使用できるモバイル装置またはその他の装置に送信されてもよい。

パノラマ映像は、サーバ、例えばストリーミングサーバ１２４に受信された超高精細映像であってよい。パノラマ映像は、映像データベース１１５から受信されてもよい。映像データベース１１５にパノラマ映像が格納されている場合、この映像データベースからパノラマ映像が取り出されてもよい。これに代えて、パノラマ映像は、ビデオカメラからストリーミングサーバに受信されてもよい、すなわち、マルチカメラ装置１８０、またはその他の３６０°対応３Ｄビデオカメラを用いて得られたライブ映像であってよい。ヘッドマウントカメラ装置は、ヘッドマウントディスプレイ１１６に組み込まれていてよい。マルチカメラ装置１８０を用いて得られたライブ映像は、ストリーミングサーバ１２４によってリアルタイムでヘッドマウントディスプレイ１１６にストリーミングされてもよい。

ヘッドマウントディスプレイ１１６は、ユーザの視野の前面にディスプレイを作成するウェアラブル装置である。例えば、ユーザは、ヘッドマウントディスプレイ１１６を通して映像を見ることができる。ヘッドマウントディスプレイは、少なくとも部分的に透明であるという特性を有し、調整可能なシースルー機能を有していてよい。ユーザがヘッドマウントディスプレイ１１６を通してパノラマ映像を見ているとき、ユーザの視野は例えば、９０°、１００°、または１１０°、あるいはその他の度数に制限され得る。

ユーザが見ている方向を検出するために頭部追跡データが使用されてもよい。頭部追跡装置はヘッドマウントディスプレイ１１６に組み込まれていてもよい。頭部の向きおよび頭部の動きは、例えば、３軸の回転追跡と３軸の位置追跡とを組み合わせることで追跡してもされてもよい。ヘッドマウントディスプレイ１１６にはジャイロスコープ、加速度計、および磁力計が組み込まれていてよく、これらを頭部追跡の際に用いてもよい。これに代えて、頭部追跡装置は、ユーザが装着する別の装置であってよく、得られた頭部追跡データは、通信接続を介してストリーミングサーバ１２４に送信されてもよい。

時には、超高精細パノラマ映像をその本来の解像度でストリーミングすることに価値があることがある。但し、状況によっては、パノラマ映像のストリーミングに適応的ストリーミングを使用することが有用な場合がある。例えば、ユーザがヘッドマウントディスプレイを通してパノラマ映像を見ている場合、ユーザは、３６０°全体の映像を同時に見ることはできない。この種の事例では、適応的ストリーミングを実行し、ユーザーが現在見ている視野の部分を現在視野の外側の部分よりも高い解像度でストリーミングすることが有用な場合がある。これは、頭部追跡データを用いて実行してもよい。

図２は、一態様による映像ストリーミング方法のフローチャートを示している。この方法では、パノラマ映像が、例えばストリーミングサーバなどのサーバに受信される２１０。頭部追跡データも、例えばヘッドマウントディスプレイユニットから受信される２２０。頭部追跡データに基づいて現在視野が決定され２３０、パノラマ映像の解像度が現在視野に基づいて調整され２４０、この場合、現在視野の解像度は第１の解像度であり、現在視野の外側の解像度は第２の解像度である。その後、調整後の解像度を有するパノラマ映像が提供され２５０、この場合、第１の解像度は第２の解像度よりも高い。

換言すれば、パノラマ映像および頭部追跡データは、ストリーミングサーバ１２４で受信されてもよい。ヘッドマウントディスプレイを使用して映像を見ているユーザの現在視野は、頭部追跡データに基づいて決定されてもよい。パノラマ映像の解像度は、現在視野に基づいて調整されてもよい。現在視野に該当する映像は、高解像度で、例えば超高精細映像の本来の解像度でストリーミングされてもよい。現在視野の外側に該当する映像は、より低い解像度でストリーミングされてもよい。調整後の解像度を有するパノラマ映像は、例えばヘッドマウントディスプレイにストリーミングされてもよい。この種のストリーミング方法では、高品質なコンテンツをユーザの現在視野の外側に伝送することにより帯域幅が無駄に使用されることがないため、帯域幅を節約できる。

一実施形態によれば、本方法は、頭部追跡データに基づいて予測視野を決定すること；予測視野に基づいてパノラマ映像の解像度を調整すること、但し、予測視野の解像度は第３の解像度であること；調整後の解像度を有するパノラマ映像を提供すること、但し、第３の解像度は第１の解像度よりも低く、第２の解像度よりも高い、をさらに含んでいてよい。

頭部追跡データは、直後の見る動きを予測するために使用してもよい。ユーザの頭部の角速度およびその変化を測定し、ユーザの頭部がそのすぐ後にどこを向きそうか推定することが可能であってよい。例えば、ユーザの頭部の角速度がほとんど一定のままであれば、ユーザの頭部が一定時間後にどこを向いているかを推定できる。

そのため、予測視野に該当する映像は、中解像度でストリーミングされ、現在視野に該当する映像は、高解像度でストリーミングされ、現在視野および予測視野の外側に該当する映像は、低解像度でストリーミングされてもよい。見えるようになると予想される、予測視野に該当する映像は、中解像度でストリーミングが開始されてよいため、ストリーミングシステムで起こり得る遅延を補償する。高解像度でのストリーミングおよび中解像度でのストリーミングに加えて、低解像度でのストリーミングも、例えばサーバからヘッドマウントディスプレイに送信されてもよい。ユーザの頭部が予想外に回った場合、頭部が再度安定するまでユーザには低解像度でのストリーミングを見せることが可能であってよい。

超高精細映像は、４ＫウルトラＨＤ、もしくは８ＫウルトラＨＤ、またはその他の形式であってよい。中解像度および低解像度は、それぞれ例えば、フル解像度の４０〜６０％、好ましくは５０％、および２０〜３０％、好ましくは２５％であってよい。解像度は、ユーザ設定で設定でき、値は変化してよい。該解像度は、人間の目の解像度と一致していてよい。例えば、低解像度は、人間の周辺視野の解像度と一致していてよい。

一実施形態によれば、映像ストリーミング方法は、パノラマ映像を２つ以上のサブストリームに分割することをさらに含んでいてもよく、この場合、少なくとも１つのサブストリームは現在視野にあり、少なくとも１つのサブストリームは現在視野の外側にある。現在視野の外側にある少なくとも１つのサブストリームの解像度は、調整されてもよい。調整後の解像度を有するパノラマ映像を提供でき、現在視野にある少なくとも１つのサブストリームの調整後の解像度は、現在視野の外側にある少なくとも１つのサブストリームの調整後の解像度よりも高い。サブストリームは、解像度または例えば映像のフレームレートが、利用可能な帯域幅に対して高すぎる場合に、映像ストリーミングの際に使用してもよい。現在視野の外側にある（１つまたは複数の）サブストリームの解像度を下げると、帯域幅をさらに節約できる。

図３ａは、視野およびサブストリームの一例を示している。映像サブストリームは、ストリーミングサーバ内で生成されてもよい。映像データベースから受信されたパノラマ映像の３６０°の球面３００は、サブストリームに分割されてよく、その場合、各サブストリームは、全３６０°の球面３００のうちのいくつかの部分をカバーしている。例えば、パノラマ映像は、８つのサブストリーム３１１、３１２、３１３、３１４、３１５、３１６、３１７、３１８に分割されてよく、その場合、各サブストリームは４５°の視界をカバーしている。図３ａに実線３３０で記した現在視野は、頭部追跡データに基づいて決定されてもよい。例えば、少なくとも部分的に現在視野にあるサブストリーム３１６、３１７、３１８は、高解像度でストリーミングされてもよい。サブストリーム３１１、３１２、３１３、３１４、３１５は低解像度でストリーミングされてもよい。

１つのサブストリームが部分的に現在視野にあり、部分的に現在視野の外側にあるという可能性がある。この場合、サブストリームは、より高い解像度でストリーミングされてもよい。例えば、部分的に現在視野にあるサブストリーム３１６および３１８は、より高い解像度でストリーミングされてもよい。これはつまり、サブストリームが多数使用されていれば、現在視野の外側に残る高解像度の映像は少なくなるということである。

サブストリームの数は、少なくとも２つのサブストリームがある限り、相対的なものでなくてよい。例えば、現在視野に１つのサブストリームがあり、現在視野の外側に１つのサブストリームがあってよい。パノラマ映像は、サブストリームの数が少なくとも２つである限り、いくつのサブストリームに分割されてもよい。図３ａおよび図３ｂの例は、球面マッピングを用いる２次元の例である。これ以外にも例えばキューブマッピング、ピラミッドマッピング、およびＨＥＡＬＰｉｘマッピングなどの反射マッピングの種類が存在し、これらは映像ストリーミング方法を実施する際に使用できる。サブストリームの数は、実施形態よって異なっていてよい。

一実施形態によれば、映像ストリーミング方法は、予測視野にある少なくとも１つのサブストリームを決定すること、および予測視野にある少なくとも１つのサブストリームの解像度を調整することを含んでいてもよく、この場合、予測視野にある少なくとも１つのサブストリームの調整後の解像度は、現在視野および予測視野の外側にある少なくとも１つのサブストリームの調整後の解像度よりも高く、現在視野にある少なくとも１つのサブストリームよりも低い。

図３ｂは、視野およびサブストリームの一例を示している。映像サブストリームは、ストリーミングサーバ内で生成されてもよい。映像データベースから受信されたパノラマ映像の３６０°の球面３５０は、サブストリームに分割されてよく、その場合、各サブストリームは、全３６０°の球面３５０のうちのいくつかの部分をカバーしている。例えば、パノラマ映像は、８つのサブストリーム３６１、３６２、３６３、３６４、３６５、３６６、３６７、３６８に分割されてよく、その場合、各サブストリームは４５°の視界をカバーしている。図３ｂに実線３８０で記した現在視野は、頭部追跡データに基づいて決定されてもよい。例えば、少なくとも部分的に現在視野にあるサブストリーム３６６、３６７、３６８は、高解像度でストリーミングされてもよい。図３ｂに一点鎖線３９０で記した予測視野は、前述したように、頭部追跡データに基づいて決定されてもよい。直後に見えるようになると予想されるサブストリーム３６１は、中解像度でストリーミングされてよく、この中解像度は、サブストリーム３６６、３６７および３６８の解像度よりも低く、現在視野の外側および予測視野にあるサブストリーム３６２、３６３、３６４および３６５の解像度よりも高い。サブストリーム３６２、３６３、３６４および３６５は低解像度でストリーミングされてもよい。

一実施形態によれば、映像ストリーミング方法は、頭部追跡データの信頼度を決定すること、および頭部追跡データの信頼度に基づいてパノラマ映像の解像度をスケーリングすることとを含んでいてよい。この方法により、高品質な映像が無駄にストリーミングされることがないため、帯域幅を節約することが可能になり得る。スケーリングは、頭部追跡データの信頼度が低ければ第１の解像度を下げ、頭部追跡データの信頼度が高ければ第１の解像度を上げることを含んでいてよい。換言すれば、推定された現在視野にあるサブストリームの解像度は、視界予測の信頼度に基づいてスケーリングまたは調整されてもよい。

ユーザの頭部の角速度が特定の時間間隔に対してある程度一定のままであれば、頭部追跡データの信頼度は高いと考えてよい。ユーザの頭部が不規則に動いている場合、すなわち頭部追跡データの信頼度が低い場合、現在視野にあるサブストリームは、より低い解像度でストリーミングされてもよい。頭部の動きが十分に安定しているとき、すなわち頭部追跡データの信頼度が高いとき、ストリーミングの解像度は適応され、現在視野にあるサブストリームは高解像度でストリーミングされてもよい。

頭部の向きを示す信号および角速度の信号を示す信号処理は、フィルタリング、例えば異なるカットオフ周波数を用いるローパスフィルタリングを含んでいてよい。そのため、ユーザの頭部の動きから特定の傾向を推定することが可能になり得る。例えば、視界予測に対する短期間および中期間の傾向を推定することが可能になり得る。これらの傾向を比較し、短期間の視界予測と中期間の視界予測との類似点を用いて視界予測の信頼度を推定できる。視界予測の信頼度が高いとき、予測視野は、視界予測の信頼度が低い状況よりも狭くなり得る。さらに、予測視野は、予測視野の信頼度が高い際に高解像度でストリーミングされ、予測視野の信頼度が低い際に低解像度でストリーミングされてもよい。この方法により、視界予測の不確かさを考慮することが可能になり得る。

一実施形態によれば、映像ストリーミング方法は、ストリーミングサーバ内で視線追跡データを頭部追跡データ内にて、または頭部追跡データと同時に受信すること、および視線追跡データに基づいて前記スケーリングを実施することを含んでいてよい。この方法により、無駄に低解像度の映像をストリーミングすることを回避できる。

ヘッドマウントディスプレイは、視線追跡装置、例えばユーザの視線方向を追跡するために使用するカメラを備えていてもよい。視線追跡は、視界予測を向上させるために使用してもよい。例えば、ユーザが頭部を回している一方で映像の特定の部分に視線を留めている場合、ユーザの視線を追うことによりそれに気付くことができる。ユーザが視野の特定の部分に視線を留めていて、何らかの理由で頭部を不規則に動かしている場合、ユーザの関心の的がわかっているため、映像は引き続き高品質でストリーミングされてもよい。

これに代えて、またはこれに加えて、視線追跡データに基づいて解像度をスケーリングすると帯域幅を節約できる。ユーザの視線が映像の特定の部分に集中している場合、現在視野のエッジにある映像のサブストリームまたは領域は、低解像度でストリーミングされてもよい。ユーザの視線が集中している映像の部分は、高解像度でストリーミングされてもよい。

図３ｃは、視線追跡データに基づいて決定された現在視野３７０内の焦点領域の一例を示している。一実施形態によれば、映像ストリーミング方法は、視線追跡データを受信すること、および視線追跡データに基づいて現在の焦点領域３７１を決定することを含んでいてよい。パノラマ映像の解像度は調整されてよく、この場合、現在の焦点領域３７１の解像度は第４の解像度であり、現在の焦点領域の外側３７２の解像度は第５の解像度である。調整後の解像度を有するパノラマ映像を提供でき、この場合、第４の解像度は第５の解像度よりも高い。これに代えて、現在の焦点領域３７１の外側３７２の解像度は、視野３７０のエッジに向かって徐々に低下してよい。焦点領域３７１は様々なサイズのものであってよい。例えば、焦点領域３７１のサイズは、人間の目において視覚が鋭い領域に対応してもよい。

図３ｄは、視線追跡データに基づいて決定された焦点領域の一例を示している。視線追跡データに基づいて予測焦点領域３７８を決定できる。予測焦点領域３７８に基づいてパノラマ映像の解像度を調整でき、この場合、予測焦点領域３７８の解像度は第６の解像度である。調整後の解像度を有するパノラマ映像を提供でき、この場合、第６の解像度は第４の解像度、すなわち現在の焦点領域３７６の解像度よりも低く、第５の解像度、すなわち現在の焦点領域および予測焦点領域の外側３７７の解像度よりも高い。これに代えて、現在の焦点領域３７６および予測焦点領域３７８の外側３７７の解像度は、視野３７０のエッジに向かって徐々に低下してよい。焦点領域３７６、３７８は、様々なサイズおよび形状のものであってよい。例えば、焦点領域３７６、３７８のサイズは、人間の目において視覚が鋭い領域に対応してもよい。

視線の軌跡は、見たものの履歴を作成するために記録され、使用されてもよい。

一実施形態によれば、映像ストリーミング方法は、映像ストリームの待ち時間情報を決定すること、および映像ストリームの待ち時間情報に基づいて予測視野の寸法を制御することを含んでいてよい。予測視野の寸法を制御できるため、高解像度の映像を無駄に送信することを回避できる。ここでの寸法は、空間的および／または時間的寸法を含んでいてよい。

したがって、サーバからディスプレイまでの映像ストリーミングを考えると、通常は一定の待ち時間すなわち時間遅延があり得る。映像ストリーミングの待ち時間情報は、ストリーミングサーバ内で決定されてもよい。映像ストリーミングの待ち時間情報は、予測視野の寸法を制御する際に使用されてもよい。例えば、制御コマンドをディスプレイからストリーミングサーバへ送信してから映像ストリームを受信するまでに１秒の待ち時間がある場合、視野は１秒先に予測されてもよい。もう１つの例を挙げると、待ち時間が短い場合、視界予測は頭部の動きの変化に迅速に適応し得るため、それほど広い予測視野を決定する必要はない。待ち時間が長い場合、より広い予測視野を決定することが有用な場合がある。この方法により、ユーザの視界が予測視野の中で終わる可能性が高くなり得る。

当業者は、特定の実施形態が互いに入れ替わるだけであることが明示的または暗示的に記載されていない限り、上記の実施形態のいずれかが１つ以上のその他の実施形態と組み合わせたものとして実装されてもよいことを理解している。

上記の様々な例は利点を提供できるものである。ストリーミングされた映像の解像度はユーザが見る方向に従って適応されるため、帯域幅が節約される。ストリーミング方法は、相互作用による超高精細映像の視聴体験を提供できる。例えばソーシャルメディアで、頭部追跡データおよび／または視線追跡データを用いてパノラマ映像を共有することが可能であってよい。そのため、別のユーザが、元のユーザの視聴体験を再生できる。

図４は、映像のヘッダファイル４１０の一例を示している。ヘッダファイル４１０は、コンテクストデータ４２０、例えば、映像が取得された日付および時間、ならびに映像がどこで取得されたかを示す場所を含んでいてよい。また、ヘッダファイル４１０は、頭部追跡データ４３０および視線追跡データを含んでいてよい。映像データ４５０は、例えば、ＷｅｂＭ、Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｖｉｄｅｏ、Ｑｕｉｃｋｔｉｍｅ、ＡＶＩ、ＭＰＥＧ、Ｏｇｇ Ｖｉｄｅｏまたは生の映像フォーマットなど、様々なフォーマットであってよい。このほか、映像の符号化および復号化に関する要件があるであろう。

メモリ内にあるコンピュータプログラムコードは、関連機器に本発明を実行させるものであり、上記の様々な例は、このコンピュータプログラムコードを用いて実装することができる。例えば、装置は、データを処理し、受信し、かつ伝送する回路および電子機器と、メモリ内のコンピュータプログラムコードと、該コンピュータプログラムコードを実行している際、装置に一実施形態の特徴を実行させるプロセッサとを備えていてもよい。

本発明の実施形態は、例えば、プロセッサエンティティなどにおけるサーバのデータプロセッサ、ハードウェア、またはソフトウェアとハードウェアとの組み合わせによって実行可能なコンピュータソフトウェアによって実装されてもよい。さらにこの点に関して、図面に示されている論理の流れについていずれのブロックも、プログラム工程、または相互接続した論理回路、ブロックおよび関数、またはプログラム工程と、論理回路、ブロックおよび関数との組み合わせを表すものであってよいことに注意すべきである。ソフトウェアは、プロセッサ、ハードディスクまたはフレキシブルディスクなどの磁気メディア、ならびに、例えばＤＶＤおよびそのデータの変形形態またはＣＤなどの光学媒体の内部に実装されたメモリチップ、またはメモリブロックなどの物理的媒体に格納されていてもよい。

メモリは、ローカル技術環境に適したどのような種類のものであってもよく、任意の適切なデータ格納技術、例えば半導体ベースの記憶装置、磁気記憶装置および磁気記憶システム、光学記憶装置および光学記憶システム、固定型メモリおよびリムーバブルメモリを用いて実装されてもよい。データプロセッサは、ローカル技術環境に適したどのような種類のものであってもよく、非限定例として、１つ以上の汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）およびマルチコアプロセッサアーキテクチャに基づくプロセッサなどが挙げられる。

本発明の実施形態は、集積回路モジュールなどの様々な構成要素で実施されてもよい。集積回路の設計は、全般的に高度に自動化されたプロセスである。複雑で強力なソフトウェアツールを利用して、論理レベルの設計を半導体回路設計に変換し、半導体基板上でのエッチングおよび形成を可能にする。

米国カリフォルニア州マウンテンビュー市所在のＳｙｎｏｐｓｙｓ社、米国カリフォルニア州サンノゼ市所在のＣａｄｅｎｃｅ Ｄｅｓｉｇｎ社が提供しているようなプログラムは、確立された設計規定を用いるとともに事前に格納された設計モジュールのライブラリを用いて、導体に自動的に経路指定をして、半導体チップ上の構成要素の位置を特定する。半導体回路に対する設計が完了すると、標準の電子フォーマット（例えばＯｐｕｓ、ＧＤＳＩＩなど）で仕上がった設計が、半導体製造施設つまりｆａｂｒｉｃａｔｉｏｎ（製造）を指す「ｆａｂ（製造工場）」に伝送されてもよい。

以上の説明は、本発明の例示的な実施形態の完全かつ有益な説明を例示的かつ非限定的な例として提供したものである。しかしながら、添付の図面および付属の請求項と合わせて読むと、以上の説明を考慮して様々な修正および適応が当業者にとって明らかになり得る。しかしながら、本発明の教示についてそのような修正および同様の修正はすべて、依然として本発明の範囲内に収まるものである。

Claims (19)

1. ・ パノラマ映像を受信すること；
   ・ 頭部追跡データを受信すること；
   ・ 前記頭部追跡データに基づいて現在視野を決定すること；
   ・ 前記現在視野に基づいて前記パノラマ映像の解像度を調整すること、但し、前記現在視野は第１の解像度であり、前記現在視野の外側の解像度は第２の解像度である、前記調整すること；
   ・ 前記現在視野に基づいて、調整後の解像度を有する前記パノラマ映像を提供すること、但し、前記第１の解像度は前記第２の解像度よりも高い、前記提供すること；
   を含む方法であって、
   ・ 前記パノラマ映像を２つ以上のサブストリームに分割すること、但し、少なくとも１つのサブストリームは前記現在視野にあり、少なくとも１つのサブストリームは前記現在視野の外側にある、前記分割すること；
   ・ 前記現在視野の外側にある前記少なくとも１つのサブストリームの解像度を調整すること；
   ・ 前記現在視野にある前記少なくとも１つのサブストリームの解像度を調整すること；
   ・ 前記現在視野にある前記少なくとも１つのサブストリームの調整後の解像度及び前記現在視野の外側にある前記少なくとも１つのサブストリームの調整後の解像度を有する前記パノラマ映像を提供すること、但し、前記現在視野にある前記少なくとも１つのサブストリームの前記調整後の解像度は、前記現在視野の外側にある前記少なくとも１つのサブストリームの前記調整後の解像度よりも高い、前記提供すること；
   をさらに含む、方法。
2. ・ パノラマ映像を受信すること；
   ・ 頭部追跡データを受信すること；
   ・ 前記頭部追跡データに基づいて現在視野を決定すること；
   ・ 前記現在視野に基づいて前記パノラマ映像の解像度を調整すること、但し、前記現在視野は第１の解像度であり、前記現在視野の外側の解像度は第２の解像度である、前記調整すること；
   ・ 前記現在視野に基づいて、調整後の解像度を有する前記パノラマ映像を提供すること、但し、前記第１の解像度は前記第２の解像度よりも高い、前記提供すること；
   を含む方法であって、
   ・ 前記頭部追跡データの信頼度を決定すること；
   ・ 前記頭部追跡データの信頼度に基づいて前記パノラマ映像の解像度をスケーリングすること；
   をさらに含む、方法。
3. ・ パノラマ映像を受信すること；
   ・ 頭部追跡データを受信すること；
   ・ 前記頭部追跡データに基づいて現在視野を決定すること；
   ・ 前記現在視野に基づいて前記パノラマ映像の解像度を調整すること、但し、前記現在視野は第１の解像度であり、前記現在視野の外側の解像度は第２の解像度である、前記調整すること；
   ・ 前記現在視野に基づいて、調整後の解像度を有する前記パノラマ映像を提供すること、但し、前記第１の解像度は前記第２の解像度よりも高い、前記提供すること；
   を含む方法であって、
   ・ 視線追跡データ受信すること；
   ・ 前記視線追跡データに基づいて現在の焦点領域を決定すること；
   ・ 前記現在の焦点領域に基づいて前記パノラマ映像の解像度を調整すること、但し、前記現在の焦点領域の解像度は第４の解像度であり、前記現在の焦点領域の外側の解像度は第５の解像度である、前記調整すること；
   ・ 前記現在の焦点領域に基づいて、調整後の解像度を有するパノラマ映像を提供すること、但し、前記第４の解像度は前記第５の解像度よりも高い、前記提供すること；
   をさらに含む、方法。
4. ・ 前記頭部追跡データに基づいて予測視野を決定すること；
   ・ 前記予測視野に基づいて前記パノラマ映像の解像度を調整すること、但し、前記予測視野の解像度は第３の解像度である、前記調整すること；
   ・ 前記予測視野に基づいて、調整後の解像度を有する前記パノラマ映像を提供すること、但し、前記第３の解像度は前記第１の解像度よりも低く、前記第２の解像度よりも高い、前記提供すること；
   をさらに含む、請求項１から３のいずれかに記載の方法。
5. ・ 前記予測視野にある少なくとも１つのサブストリームを決定すること；
   ・ 前記予測視野にある前記少なくとも１つのサブストリームの解像度を調整すること、但し、前記予測視野にある前記少なくとも１つのサブストリームの調整後の解像度は、前記現在視野および前記予測視野の外側にある前記少なくとも１つのサブストリームの前記調整後の解像度よりも高く、前記現在視野にある前記少なくとも１つのサブストリームよりも低い、前記調整すること；
   をさらに含む、請求項４に記載の方法。
6. ・ 視線追跡データを前記頭部追跡データ内にて、または前記頭部追跡データと同時に受信すること；
   ・ 前記視線追跡データに基づいて前記スケーリングを実施すること；
   をさらに含む、請求項２に記載の方法。
7. ・ 映像ストリームの待ち時間情報を決定すること；
   ・ 前記映像ストリームの待ち時間情報に基づいて前記予測視野の寸法を制御すること；
   をさらに含む、請求項４または５に記載の方法。
8. 前記パノラマ映像をヘッドマウントディスプレイにストリーミングすることをさらに含む、請求項１〜７のうちいずれか一項に記載の方法。
9. 前記パノラマ映像をモバイル装置にストリーミングすることをさらに含む、請求項１〜７のうちいずれか一項に記載の方法。
10. ・ 前記視線追跡データに基づいて予測焦点領域を決定すること；
    ・ 前記予測焦点領域に基づいて前記パノラマ映像の解像度を調整すること、但し、前記予測焦点領域の解像度は第６の解像度である、前記調整すること；
    ・ 前記予測焦点領域に基づいて、調整後の解像度を有する前記パノラマ映像を提供すること、但し、前記第６の解像度は前記第４の解像度よりも低く、前記第５の解像度よりも高い、前記提供すること；
    をさらに含む、請求項３に記載の方法。
11. ・ 前記パノラマ映像を２つ以上のサブストリームに分割すること、但し、少なくとも１つのサブストリームは前記現在の焦点領域にあり、少なくとも１つのサブストリームは前記現在の焦点領域の外側にある、前記分割すること；
    ・ 前記現在の焦点領域の外側にある前記少なくとも１つのサブストリームの解像度を調整すること；
    ・ 前記現在の焦点領域にある前記少なくとも１つのサブストリームの解像度を調整すること；
    ・ 前記現在の焦点領域にある前記少なくとも１つのサブストリームの調整後の解像度及び前記現在の焦点領域の外側にある前記少なくとも１つのサブストリームの調整後の解像度を有する前記パノラマ映像を提供すること、但し、前記現在の焦点領域にある前記少なくとも１つのサブストリームの前記調整後の解像度は、前記現在の焦点領域の外側にある前記少なくとも１つのサブストリームの前記調整後の解像度よりも高い、前記提供すること；
    をさらに含む、請求項３または１０に記載の方法。
12. ・ 前記予測焦点領域にある少なくとも１つのサブストリームを決定すること；
    ・ 前記予測焦点領域にある前記少なくとも１つのサブストリームの解像度を調整すること、但し、前記予測焦点領域にある前記少なくとも１つのサブストリームの調整後の解像度は、前記現在の焦点領域および前記予測焦点領域の外側にある前記少なくとも１つのサブストリームの前記調整後の解像度よりも高く、前記現在の焦点領域にある前記少なくとも１つのサブストリームよりも低い、前記調整すること；
    をさらに含む、請求項１０に記載の方法。
13. ・ 前記視線追跡データの信頼度を決定すること；
    ・ 前記視線追跡データの信頼度に基づいて前記パノラマ映像の前記解像度をスケーリングすること；
    をさらに含む、請求項３，１０，１１，１２のうちいずれか一項に記載の方法。
14. ・ 映像ストリームの待ち時間情報を決定すること；
    ・ 前記映像ストリームの待ち時間情報に基づいて前記予測焦点領域の寸法を制御すること；
    をさらに含む、請求項１０に記載の方法。
15. ・ パノラマ映像を受信する手段と、
    ・ 頭部追跡データを受信する手段と、
    ・ 前記頭部追跡データに基づいて現在視野を決定する手段と、
    ・ 前記現在視野に基づいて前記パノラマ映像の解像度を調整する手段であって、前記現在視野は第１の解像度であり、前記現在視野の外側の解像度は第２の解像度である手段と、
    ・ 前記現在視野に基づいて、調整後の解像度を有する前記パノラマ映像を提供する手段であって、前記第１の解像度は前記第２の解像度よりも高い手段と、
    を備える機器であって、
    ・ 前記パノラマ映像を２つ以上のサブストリームに分割する手段、但し、少なくとも１つのサブストリームは前記現在視野にあり、少なくとも１つのサブストリームは前記現在視野の外側にある、前記分割する手段と、
    ・ 前記現在視野の外側にある前記少なくとも１つのサブストリームの解像度を調整する手段と、
    ・ 前記現在視野にある前記少なくとも１つのサブストリームの解像度を調整する手段と、
    ・ 前記現在視野にある前記少なくとも１つのサブストリームの調整後の解像度及び前記現在視野の外側にある前記少なくとも１つのサブストリームの調整後の解像度を有する前記パノラマ映像を提供する手段、但し、前記現在視野にある前記少なくとも１つのサブストリームの前記調整後の解像度は、前記現在視野の外側にある前記少なくとも１つのサブストリームの前記調整後の解像度よりも高い、前記提供する手段と、
    を更に備える、機器。
16. ・ パノラマ映像を受信する手段と、
    ・ 頭部追跡データを受信する手段と、
    ・ 前記頭部追跡データに基づいて現在視野を決定する手段と、
    ・ 前記現在視野に基づいて前記パノラマ映像の解像度を調整する手段であって、前記現在視野は第１の解像度であり、前記現在視野の外側の解像度は第２の解像度である手段と、
    ・ 前記現在視野に基づいて、調整後の解像度を有する前記パノラマ映像を提供する手段であって、前記第１の解像度は前記第２の解像度よりも高い手段と、
    を備える機器であって、
    ・ 前記頭部追跡データの信頼度を決定する手段と、
    ・ 前記頭部追跡データの信頼度に基づいて前記パノラマ映像の解像度をスケーリングする手段と、
    を更に備える、機器。
17. ・ パノラマ映像を受信する手段と、
    ・ 頭部追跡データを受信する手段と、
    ・ 前記頭部追跡データに基づいて現在視野を決定する手段と、
    ・ 前記現在視野に基づいて前記パノラマ映像の解像度を調整する手段であって、前記現在視野は第１の解像度であり、前記現在視野の外側の解像度は第２の解像度である手段と、
    ・ 前記現在視野に基づいて、調整後の解像度を有する前記パノラマ映像を提供する手段であって、前記第１の解像度は前記第２の解像度よりも高い手段と、
    を備える機器であって、
    ・ 視線追跡データ受信する手段と、
    ・ 前記視線追跡データに基づいて現在の焦点領域を決定する手段と、
    ・ 前記現在の焦点領域に基づいて前記パノラマ映像の解像度を調整する手段、但し、前記現在の焦点領域の解像度は第４の解像度であり、前記現在の焦点領域の外側の解像度は第５の解像度である、前記調整する手段と、
    ・ 前記現在の焦点領域に基づいて、調整後の解像度を有するパノラマ映像を提供すること、但し、前記第４の解像度は前記第５の解像度よりも高い、前記提供する手段と、
    を更に備える、機器。
18. 処理手段及び記憶手段を備える装置であって、前記記憶手段はプログラム命令を格納し、該プログラム命令は、前記処理手段に実行されると、前記装置に、請求項１から１４のいずれかに記載の方法を遂行させるように構成される、装置。
19. 装置の処理手段に実行されると、前記装置に、請求項１から１４のいずれかに記載の方法を遂行させるように構成されるプログラム命令を備える、コンピュータプログラム。