JP7829841B2 - Ｖｒ放送ストリームを通じたテレプレゼンス - Google Patents

Description

本出願は、デジタルテレビを対象とする、必然的にコンピュータ技術に根ざした技術的進歩に関し、具体的には高度テレビシステム委員会（ＡＴＳＣ）３．０に関する。

高度テレビシステム委員会（ＡＴＳＣ）３．０規格群は、Ａ／３００に示されている、次世代放送テレビを配信するための数多くの業界技術標準の組である。ＡＴＳＣ３．０は、超高精細テレビから無線電話機までの数多くの受信装置に対するテレビ放送ビデオ（ｔｅｌｅｖｉｓｅｄ ｖｉｄｅｏ）、双方向サービス、非リアルタイムデータ配信、及び的を絞った広告（ｔａｉｌｏｒｅｄ ａｄｖｅｒｔｉｓｉｎｇ）などの幅広いテレビサービスの提供をサポートする。ＡＴＳＣ３．０は、（「オーバージエア（Ｏｖｅｒ ｔｈｅ Ａｉｒ）」又はＯＴＡと呼ばれる）放送コンテンツと（「オーバーザトップ（Ｏｖｅｒ ｔｈｅ Ｔｏｐ）」又はＯＴＴと呼ばれる）関連するブロードバンド配信コンテンツ及びサービスとの間の協調も取りまとめる。ＡＴＳＣ３．０は、技術の進化と共にいずれかの関連する技術標準を全面的に見直す必要なく容易に進歩を組み込むことができるような柔軟性を有するように設計されている。

ＰＣ、タブレット又はスマートフォン上では、マウス又はタッチ画面を使用して、１８０度／３６０度（１８０°／３６０°）視野、４Ｋ又は８Ｋ又はそれよりも高い解像度のビデオをパンすることができる。ゴーグルを使用すれば、ハンドコントローラ又は頭部の動きによってビデオをパンすることができる。ＶＲゴーグルは、ゴーグル内に表示された画像をパンするために頭部の自然な回転又は傾きを検知して、まるで「テレポート」しているかのようにその場に存在する感覚をもたらすことができる。

本明細書では、１８０／３６０ビデオはモノスコピック又はステレオスコピックであることができると想定する。本明細書で使用するフラットディスプレイは、モノスコピックビデオ又はステレオスコピックビデオを提示することができ、ステレオスコピックビデオは３Ｄビデオをレンダリングするために使用され、モノスコピックビデオは典型的には２Ｄビデオであると考えられる。本明細書で使用する「フラットディスプレイ」又は「フラットビデオ」は、受信解像度が何であろうと、処理される画像全体が典型的には１６×９のアスペクト比の表示に限定され、パニング能力がないビデオを意味する。従って、「フラット」ビデオは、１８０／３６０ビデオの「メインビュー」ビデオであると考えることができる。「メインビュー」ビデオは、監督又はコンテンツ制作者がユーザの注意を集中させたい場所と考えることができる。「サラウンドビデオ」は表示されない。１８０／３６０ビデオの全体は、「フラットビデオ」＋「サラウンドビデオ」で構成される。

一例として、通常のフラットフィードに加えたライブニュースイベントの１８０°／３６０°サラウンドフィードの提供を挙げることができる。事故、竜巻、デモ、政治集会などの場所などのライブニュースイベントを、１８０°／３６０°球面表現のための３６０°フィードとしてゴーグル上に表示することができる。また、ライブニュースイベントだけでなく、人々及び組織を紹介するライブの「ヒューマンインタレスト」なストーリーを表示することもできる。３６０°フィードは、フラットフィードでは表示できないものを「見回して」確認することができるので、フィードに関するより良いアイデアを視聴者に提供することができる。ゴーグルを装着していない人々がＴＶで通常のフラットビデオを見ている時に、ゴーグルを装着した人々は、１８０°／３６０°サラウンドフィードをパンすることによってシーン全体をパンすることができる。１８０°／３６０°ビデオの表示をサポートしているテレビでは、リモコン装置を使用してリモコン装置上の上下左右ボタンを押すことによってパニングを遂行することができる。ビデオは、モノスコピック又はステレオスコピックであることができる。ステレオスコピックビデオはそれぞれの目に別の画像を伝えることができ、従って「３Ｄ」ビデオと呼ばれる。３Ｄビデオは、１８０°／３６０°ビデオでサポートすることができるが、全ての１８０°／３６０°ビデオが３Ｄというわけではない。本原理は、旅行者向けコンテンツ、及びコンサート、バイクレース、スノーボード又はハイキングなどの１８０°／３６０°ＶＲで撮影されたいずれかのショー又はコンテンツにも適用される。多くのＶＲビデオはモノスコピックに撮影され、例えばそれぞれの目に同じコンテンツを伝え、多くの場合は焦点が無限大に設定されることにより、ユーザが３Ｄで体験する映像酔い（ｎａｕｓｅａ）を最小限に抑える。モノスコピックビデオは、「そこにいる」ような非常に満足できる体験及びテレプレゼンスを提供することができる。

従って、デジタルテレビ装置が、命令をプログラムされた少なくとも１つのプロセッサを含む少なくとも１つの受信機を含み、この命令は、イベントのフラットビデオをメインディスプレイ上に表示し、イベントの１８０度又は３６０度（１８０°又は３６０°）ビデオを仮想現実（ＶＲ）ヘッドセット上に表示する、ようにプロセッサを構成する。

別の態様では、少なくとも１つの受信機が放送信号を受信できるデジタルテレビにおいて、方法が、少なくとも第１の放送ビデオ信号を受信することを含む。方法は、第１の放送ビデオ信号内のコンテンツを少なくとも１つの通常のフラットディスプレイ上に表示することと、コンテンツの１８０°／３６０°ビデオを少なくとも１つのディスプレイ上に提示することと、を含む。方法は、少なくとも１つのコマンドに応答して、少なくとも１つのディスプレイ上で１８０°／３６０°ビデオをパンすることを含む。

いくつかの実施形態では、少なくとも１つのディスプレイが仮想現実（ＶＲ）ヘッドセットを含む。

いくつかの実施形態では、少なくとも１つのディスプレイがフラットディスプレイを含む。

いくつかの実装では、１８０°／３６０°ビデオが第１の放送ビデオストリームで受信され、第１の放送ストリームがコンテンツの他のビデオを含まず、パンすることは、フラットディスプレイ上でビデオをパンすることを含む。

他の実施形態では、１８０°／３６０°ビデオが第１の放送ビデオストリームで受信され、第１の放送ストリームがコンテンツの他のビデオを含まず、１８０°／３６０°ビデオは、フラットディスプレイ上に下位互換コンテンツビューとしてのフラットビデオとして提示される。

いくつかの実装では、１８０°／３６０°ビデオが第１の放送ビデオストリームで受信され、第１の放送ビデオストリーム内のコンテンツがフラットディスプレイ上に提示され、方法は、コンテンツをフラットディスプレイからＶＲヘッドセットに送信することを含む。他の実装では、１８０°／３６０°ビデオが第１の放送ビデオストリームで受信され、第１の放送ビデオストリーム内のコンテンツがフラットディスプレイ上に提示され、方法は、コンテンツをフラットディスプレイを経由せずにＶＲヘッドセットに送信することを含む。

１８０°／３６０°ビデオは、１８０°／３６０°ビデオ内のコンテンツのフラットフィードと共に第１の放送ビデオストリームで受信することができる。或いは、１８０°／３６０°ビデオは、オーバーザトップ（ＯＴＴ）ソースから受信することもできる。

別の態様では、装置が、少なくとも第１の放送ビデオ信号を受信し、第１の放送ビデオ信号内のコンテンツを少なくとも１つのフラットディスプレイ上に提示する、ように構成された少なくとも１つの受信機アセンブリを含む。受信機アセンブリは、コンテンツの１８０°／３６０°ビデオを少なくとも１つのディスプレイに提示するようにも構成される。アセンブリは、少なくとも１つのコマンドに応答して、少なくとも１つのディスプレイ上で１８０°／３６０°ビデオをパンするように構成される。

本出願の詳細は、その構造及び動作の両方に関し、同様の要素を同様の参照符号で示す添付図面を参照することで最も良く理解することができる。

高度テレビシステム委員会（ＡＴＳＣ）３．０システムを示す図である。 図１に示す装置のコンポーネントを示す図である。 テレプレゼンスビデオを提供する第１の技術を示す図である。 テレプレゼンスビデオを提供する第２の技術を示す図である。 本原理による具体的なシステム例を示す図である。 本原理によるロジック例をフローチャート例形式で示す図である。 イベントのフラットビューを提示するためのもの、及びイベントの３６０度ＶＲテレプレゼンスビューを提供するためのものという２つのディスプレイを備えた受信機システムを示す図である。 ３６０°テレプレゼンスビデオをパニング可能なフラットビデオとしてＴＶ上に提供する第１の技術を示す図である。 ３６０°テレプレゼンスビデオをフラットな下位互換ビデオとしてＴＶ上に提供する第２の技術を示す図である。 ３６０°テレプレゼンスビデオをＴＶ及びＶＲゴーグル上に提供する第３の技術を示す図である。 ３６０°テレプレゼンスビデオを直接ＶＲゴーグル上に提供する第４の技術を示す図である。

本開示は、高度テレビシステム委員会（ＡＴＳＣ）３．０テレビなどのデジタルテレビの技術的進歩に関する。本明細書におけるシステム例は、互いにデータを交換できるように放送及び／又はネットワークを介して接続されたＡＴＳＣ３．０ソースコンポーネント及びクライアントコンポーネントを含むことができる。クライアントコンポーネントは、ポータブルテレビ（例えば、スマートＴＶ、インターネット対応ＴＶ）、ラップトップ及びタブレットコンピュータなどのポータブルコンピュータ、並びにスマートフォン及び後述するさらなる例を含むその他のモバイル装置などの１又は２以上のコンピュータ装置を含むことができる。これらのクライアント装置は、様々な動作環境で動作することができる。例えば、クライアントコンピュータの一部は、一例としてＭｉｃｒｏｓｏｆｔ社のオペレーティングシステム、又はＵｎｉｘオペレーティングシステム、或いはＡｐｐｌｅ Ｃｏｍｐｕｔｅｒ社又はＧｏｏｇｌｅ社によって製造されたＡｎｄｒｏｉｄ（登録商標）などのオペレーティングシステムを採用することができる。これらの動作環境は、Ｍｉｃｒｏｓｏｆｔ社、Ｇｏｏｇｌｅ社又はＭｏｚｉｌｌａによって作成されたブラウザ、或いは後述するインターネットサーバによってホストされたウェブサイトにアクセスできるその他のブラウジングプログラムなどの１又は２以上のブラウジングプログラムを実行するために使用することができる。

ＡＴＳＣ３．０ソースコンポーネントは、放送送信コンポーネントと、インターネットなどのネットワークを介したデータ放送及び／又はデータ送信を行うようにソースコンポーネントを構成する命令を実行する１又は２以上のプロセッサを含むことができるサーバ及び／又はゲートウェイとを含むことができる。クライアントコンポーネント及び／又はローカルＡＴＳＣ３．０ソースコンポーネントとしては、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）などのゲーム機、パーソナルコンピュータなどを具体例として挙げることができる。

クライアントとサーバとの間では、ネットワークを介して情報を交換することができる。この目的及びセキュリティのために、サーバ及び／又はクライアントは、ファイヤウォール、ロードバランサ、一時ストレージ、及びプロキシ、並びに真正性及びセキュリティを高めるその他のネットワークインフラを含むことができる。

本明細書で使用する命令とは、システム内で情報を処理するためのコンピュータ実装ステップのことを意味する。命令は、ソフトウェア、ファームウェア又はハードウェアで実装することができ、システムのコンポーネントが行うあらゆるタイプのプログラムステップを含むことができる。

プロセッサは、アドレス回線、データ回線及び制御回線などの様々な回線、並びにレジスタ及びシフトレジスタによってロジックを実行できるシングルチップ又はマルチチッププロセッサであることができる。

フローチャートによって説明するソフトウェアモジュール、及び本明細書におけるユーザインターフェイスは、様々なサブルーチン、手続きなどを含むことができる。本開示を限定することなく、特定のモジュールによって実行されるものとして開示するロジックは、他のソフトウェアモジュールに再分配し、及び／又は単一のモジュールに組み合わせ、及び／又は共有可能なライブラリ内で利用することもできる。フローチャート形式を使用することもできるが、ソフトウェアは、状態機械又はその他の論理的方法として実装することもできると理解されたい。

本明細書で説明する本原理は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせとして実装することができ、従って例示的なコンポーネント、ブロック、モジュール、回路及びステップについてはこれらの機能面から説明する。

上記で示唆したものに加え、論理ブロック、モジュール及び回路は、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は特定用途向け集積回路（ＡＳＩＣ）などの他のプログラマブルロジックデバイス、離散ゲート又はトランジスタロジック、離散ハードウェアコンポーネント、又は本明細書で説明する機能を実行するように設計されたこれらのいずれかの組み合わせを使用して実装又は実行することができる。プロセッサは、コントローラ、状態機械、又はコンピュータ装置の組み合わせによって実装することができる。

以下で説明する機能及び方法は、ソフトウェアで実装した場合、以下に限定するわけではないが、ハイパーテキストマークアップ言語（ＨＴＭＬ）－５、Ｊａｖａ（登録商標）／Ｊａｖａｓｃｒｉｐｔ、Ｃ＃、Ｃ＋＋などの適当な言語で書くことができ、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的に消去可能でプログラム可能なリードオンリメモリ（ＥＥＰＲＯＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、又はデジタル多用途ディスク（ＤＶＤ）などの他の光ディスクストレージ、磁気ディスクストレージ、又は取り外し可能なユニバーサルシリアルバス（ＵＳＢ）サムドライブなどを含む他の磁気ストレージ装置などのコンピュータ可読記憶媒体に記憶し、又はこれらを通じて伝送することができる。ある接続は、コンピュータ可読媒体を構築することができる。このような接続は、一例として、光ファイバ、同軸線、デジタル加入者回線（ＤＳＬ）及びツイストペア線を含む有線ケーブルを含むことができる。

１つの実施形態に含まれるコンポーネントは、他の実施形態においていずれかの適切な組み合わせで使用することができる。例えば、本明細書において説明する及び／又は図に示す様々なコンポーネントのいずれかは、組み合わせ、置き換え、又は他の実施形態から除外することができる。

「Ａ、Ｂ及びＣのうちの少なくとも１つを有する（同様に、「Ａ、Ｂ又はＣのうちの少なくとも１つを有する」、及び「Ａ、Ｂ、Ｃのうちの少なくとも１つを有する」）」との記載は、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方、及び／又はＡとＢとＣ全てなどを含む。

本原理は、ディープラーニングモデルを含む様々な機械学習モデルを採用することができる。本原理による機械学習モデルは、教師あり学習、教師なし学習、半教師あり学習、強化学習、特徴学習、自己学習及びその他の学習形態を含む方法で訓練された様々なアルゴリズムを使用することができる。コンピュータ回路によって実装できるこのようなアルゴリズムの例としては、畳み込みニューラルネットワーク（ＣＮＮ）、再帰型ニューラルネットワーク（ＲＮＮ）、長短期記憶（ＬＳＴＭ）ネットワークとして知られているタイプのＲＮＮなどの１又は２以上のニューラルネットワークが挙げられる。サポートベクターマシン（ＳＶＭ）及びベイジアンネットワークも機械学習モデルの一例であると考えることができる。

従って、本明細書で理解されるように、機械学習を実行することは、モデルがさらなるデータを処理して推論を行えるように、訓練データにアクセスした後に訓練データに基づいてモデルを訓練することを伴うことができる。従って、機械学習を通じて訓練された人工ニューラルネットワーク／人工知能モデルは、入力層と、出力層と、適切な出力に関する推論を行うように構成され重み付けされた、これらの間の複数の隠れ層とを含むことができる。

図１を参照すると、「放送局設備」１０として表記するＡＴＳＣ３．０ソースコンポーネントの例は、典型的には１対多の関係で直交周波数分割多重（ＯＦＤＭ）を介してＡＴＳＣ３．０テレビなどの複数の受信機１４にテレビデータを無線で放送するオーバージエア（ＯＴＡ）設備１２を含むことができる。１又は２以上の受信機１４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、低エネルギーＢｌｕｅｔｏｏｔｈ、ワイヤレスＨＤＭＩ、ＡｍｉｍｏｎワイヤレスＨＤビデオリンク、その他の近距離無線通信（ＮＦＣ）プロトコル、赤外線（ＩＲ）などによって実装できる、典型的には無線である短距離リンク１８を介して、リモコン装置、タブレットコンピュータ、携帯電話機、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）ヘッドセットなどのコンピュータゲームヘッドセットなどのコンピュータシミュレーション１８０°／３６０°ヘッドセットなどの１又は２以上のコンパニオンデバイス１６と通信することができる。

また、受信機１４のうちの１つ又は２つ以上は、インターネットなどの有線及び／又は無線ネットワークリンク２０を介して放送局設備１０のオーバーザトップ（ＯＴＴ）設備２２と、典型的には１対１の関係で通信することもできる。ＯＴＡ設備１２は、ＯＴＴ設備２２と同じ位置に存在することができ、或いは放送局設備１０の両設備１２、２２は、互いに離れて適切な手段を通じて互いに通信することもできる。いずれにせよ、受信機１４は、同調したＡＴＳＣ３．０テレビチャンネルを介してＡＴＳＣ３．０テレビ信号をＯＴＡで受信することも、或いはテレビを含む関連コンテンツをＯＴＴ（ブロードバンド）で受信することもできる。なお、本明細書の全ての図において説明するコンピュータ装置は、図１及び図２の様々な装置について示すコンポーネントの一部又は全部を含むことができる。

次に図２を参照すると、図１に示すコンポーネント例の詳細を見ることができる。図２には、ハードウェアとソフトウェアとの組み合わせによって実装できるプロトコルスタック例を示す。放送局は、図２に示す放送局側のために適宜に修正されたＡＴＳＣ３．０プロトコルスタックを使用して、（本明細書では「ブロードバンド」及び「オーバーザトップ」（ＯＴＴ）と呼ぶ）コンピュータネットワークと、（本明細書では「放送」及び「オーバージエア」（ＯＴＡ）と呼ぶ）無線放送とを介して１又は２以上の番組要素を配信するハイブリッドサービス配信を送信することができる。図２には、受信機によって具現化できるハードウェアを含む例示的なスタックも示す。

図２を放送局設備１０の観点から開示すると、本明細書で説明するいずれかのメモリ又はストレージなどの１又は２以上のコンピュータ記憶媒体２０２にアクセスする１又は２以上のプロセッサ２００は、最上位のアプリケーション層２０４において１又は２以上のソフトウェアアプリケーションを提供するように実装することができる。アプリケーション層２０４は、ランタイム環境で動作する、例えばＨＴＭＬ５／Ｊａｖａｓｃｒｉｐｔで書かれた１又は２以上のソフトウェアアプリケーションを含むことができる。限定するわけではないが、アプリケーションスタック２０４のアプリケーションは、リニアＴＶアプリケーション、インタラクティブサービスアプリケーション、コンパニオンスクリーンアプリケーション、個人化アプリケーション、緊急アラートアプリケーション、及び使用報告アプリケーションを含むことができる。通常、アプリケーションは、ビデオコーディング、オーディオコーディング及びランタイム環境を含む、視聴者が体験する要素を表すソフトウェアで具現化される。一例として、ユーザによるダイアログの制御、代替オーディオトラックの使用、並びに正規化及びダイナミックレンジなどのオーディオパラメータの制御などを可能にするアプリケーションを提供することができる。

アプリケーション層２０４の下位にはプレゼンテーション層２０６が存在する。プレゼンテーション層２０６は、受信機に実装された時に無線で放送されたオーディオビデオコンテンツを復号して１又は２以上のディスプレイ及びスピーカ上で再生するメディア処理ユニット（ＭＰＵ）２０８と呼ばれる放送オーディオビデオ再生装置を放送（ＯＴＡ）側に含む。ＭＰＵ２０８は、国際標準化機構（ＩＳＯ）ベースメディアファイルフォーマット（ＢＭＦＦ）データ表現２１０、及び高効率ビデオコーディング（ＨＥＶＣ）のビデオを、例えばドルビーオーディオ圧縮（ＡＣ）－４フォーマットのオーディオで提示するように構成される。ＩＳＯ ＢＭＦＦは、「セグメント」とプレゼンテーションメタデータとに分割される時間ベースのメディアファイルのための一般的ファイル構造である。基本的に、各ファイルは、それぞれがタイプ及び長さを有する一群のネスト化オブジェクト（ｎｅｓｔｅｄ ｏｂｊｅｃｔｓ）である。ＭＰＵ２０８は、暗号解読を容易にするために、放送側暗号化メディア拡張（ｅｎｃｒｙｐｔｅｄ ｍｅｄｉａ ｅｘｔｅｎｓｉｏｎ：ＥＭＥ）／共通暗号化（ｃｏｍｍｏｎ ｅｎｃｒｙｐｔｉｏｎ：ＣＥＮＣ）モジュール２１２にアクセスすることができる。

図２には、放送側において、プレゼンテーション層２０６が、アプリケーション層２０４にアクセス可能な非リアルタイム（ＮＲＴ）コンテンツ２１８を配信するために、動画専門家集団（ＭＰＥＧ）メディア転送プロトコル（ＭＭＴＰ）シグナリングモジュール２１４、又は単方向トランスポートを介したリアルタイムオブジェクト配信（ｒｅａｌ－ｔｉｍｅ ｏｂｊｅｃｔ ｄｅｌｉｖｅｒｙ ｏｖｅｒ ｕｎｉｄｉｒｅｃｔｉｏｎａｌ ｔｒａｎｓｐｏｒｔ：ＲＯＵＴＥ）シグナリングモジュール２１６のいずれかを含むシグナリングモジュールを含むことができることをさらに示す。ＮＲＴコンテンツは、限定するわけではないが、記憶された代替広告を含むことができる。

ブロードバンド（ＯＴＴ又はコンピュータネットワーク）側では、受信機によって実装された場合、プレゼンテーション層２０６が、インターネットからのオーディオビデオコンテンツを復号して再生するために、ハイパーテキスト転送プロトコル（ＨＴＴＰ）を介した１又は２以上の動的適応型ストリーミング（ＤＡＳＨ）プレーヤ／デコーダ２２０を含むことができる。この目的のために、ＤＡＳＨプレーヤ２２０は、ブロードバンド側のＥＭＥ／ＣＥＮＣモジュール２２２にアクセスすることができる。ＤＡＳＨコンテンツは、ＩＳＯ／ＢＭＦＦフォーマットのＤＡＳＨセグメント２２４として提供することができる。本発明の様々な実施形態をサポートするために、ＤＡＳＨセグメントは、オーディオ、ビデオ又はテキストなどの様々なメディアコンテンツコンポーネントタイプを符号化する。レガシーメインビューを含む１つのビデオタイプ及びサラウンドビデオを含む新たなビデオタイプといった複数のビデオタイプが存在することができると予測される。レガシープレーヤ／デコーダは、レガシメインビューベースのレガシービデオタイプを復号し、強化されたプレーヤは、サラウンドビデオを含むさらなるビデオタイプをパンして復号する。

プレゼンテーション層２０６のブロードバンド側は、放送側と同様に、ファイル２２６内にＮＲＴコンテンツを含むとともに、再生シグナリングを提供するシグナリングオブジェクト２２８を含むことができる。

プロトコルスタック内のプレゼンテーション層２０６の下位にはセッション層２３０が存在する。セッション層２３０は、放送側にＭＭＴＰプロトコル２３２又はＲＯＵＴＥプロトコル２３４のいずれかを含む。なお、ＡＴＳＣ標準は、伝送にＭＰＥＧ ＭＭＴを使用するオプションを提供するが、ここには示していない。

セッション層２３０は、ブロードバンド側にＨＴＴＰ－ｓｅｃｕｒｅ（ＨＴＴＰ（Ｓ））として実装できるＨＴＴＰプロトコル２３６を含む。セッション層２３０のブロードバンド側は、ＨＴＴＰプロキシモジュール２３８及びサービスリストテーブル（ＳＬＴ）２４０を採用することもできる。ＳＬＴ２４０は、基本サービスリストを構築して放送コンテンツのブートストラップ発見を提供するために使用されるシグナリング情報のテーブルを含む。「ＲＯＵＴＥシグナリング」テーブルには、ＲＯＵＴＥトランスポートプロトコルによってユーザデータグラムプロトコル（ＵＤＰ）を介して配信されるメディアプレゼンテーション記述（ＭＰＤ）が含まれる。

プロトコルスタック内のセッション層２３０の下位には、低遅延かつ損失耐性のある（ｌｏｓｓ－ｔｏｌｅｒａｔｉｎｇ）接続を確立するためのトランスポート層２４２が存在する。トランスポート層２４２は、放送側ではＵＤＰ２４４を使用し、ブロードバンド側では伝送制御プロトコル（ＴＣＰ）２４６を使用する。

図２に示す非限定的なプロトコルスタック例は、トランスポート層２４２の下位にネットワーク層２４８も含む。ネットワーク層２４８は、ＩＰパケット通信のために両方の側においてインターネットプロトコル（ＩＰ）を使用し、放送側ではマルチキャスト配信が典型的であり、ブロードバンド側ではユニキャストが典型的である。

ネットワーク層２４８の下位には、両方の側に関連するそれぞれの物理媒体上で通信を行うための放送送信／受信設備２５２及び（単複の）コンピュータネットワークインターフェイス２５４を含む物理層２５０が存在する。物理層２５０は、インターネットプロトコル（ＩＰ）パケットを関連する媒体上での伝送に適するように変換して、受信機における誤り訂正を可能にする順方向誤り訂正機能を追加するとともに、変調及び復調機能を組み込むために変調及び復調モジュールを含むことができる。物理層２５０は、長距離送信及び帯域幅効率向上のためにビットをシンボルに変換する。物理層２５０は、通常、ＯＴＡ側には直交周波数分割多重（ＯＦＤＭ）を使用して無線でデータを放送する無線放送送信機を含み、ＯＴＴ側にはインターネットを介してデータを送信するコンピュータ送信コンポーネントを含む。

ブロードバンド側では、プロトコルスタック内の様々なプロトコル（ＨＴＴＰ／ＴＣＰ／ＩＰ）を通じて送信されるＤＡＳＨ業界フォーラム（ＤＡＳＨ Ｉｎｄｕｓｔｒｙ Ｆｏｒｕｍ：ＤＡＳＨ－ＩＦ）プロファイルを使用することができる。ＩＳＯ ＢＭＦＦに基づくＤＡＳＨ－ＩＦプロファイル内のメディアファイルは、放送配信及びブロードバンド配信の両方のための配信、メディアカプセル化及び同期フォーマットとして使用することができる。

通常、各受信機１４は、放送局設備のプロトコルスタックと相補的なプロトコルスタックを含む。

図１の受信機１４は、図２に示すように、（ＴＶを制御するセットトップボックスと同等の）ＡＴＳＣ３．０ＴＶチューナ２５６を有するインターネット対応ＴＶを含むことができる。受信機１４は、Ａｎｄｒｏｉｄ（登録商標）ベースのシステムであることができる。或いは、受信機１４は、コンピュータ化されたインターネット対応（「スマート」）電話機、タブレットコンピュータ、ノートブックコンピュータ、及びウェアラブルコンピュータ装置などによって実装することもできる。それにもかかわらず、本明細書で説明する受信機１４及び／又は他のコンピュータは、本原理を実施する（例えば、他の装置と通信して本原理を実施し、本明細書で説明するロジックを実行し、本明細書で説明する他のいずれかの機能及び／又は動作を実行する）ように構成されると理解されたい。

従って、受信機１４は、このような原理を実施するために、図１に示すコンポーネントの一部又は全部によって確立することができる。例えば、受信機１４は、高精細又は超高精細「４Ｋ」又はそれ以上のフラットスクリーンによって実装されて、ディスプレイ上のタッチを介してユーザ入力信号を受け取るタッチ対応型であることも又はそうでないこともできる１又は２以上のディスプレイ２５８を含むことができる。受信機１４は、本原理に従ってオーディオを出力するための１又は２以上のスピーカ２６０と、例えば受信機１４を制御する可聴コマンドを受信機１４に入力するための、例えばオーディオ受信機／マイクなどの少なくとも１つのさらなる入力装置２６２とを含むこともできる。受信機１４の例としては、１又は２以上のプロセッサ２６６の制御下でインターネット、ＷＡＮ、ＬＡＮ、ＰＡＮなどの少なくとも１つのネットワークを介して通信するための１又は２以上のネットワークインターフェイス２６４をさらに挙げることができる。従って、インターフェイス２６４は、限定するわけではないがメッシュネットワークトランシーバなどの無線コンピュータネットワークインターフェイスの一例であるＷｉ－Ｆｉトランシーバであることができる。インターフェイス２６４は、以下に限定するわけではないが、Ｂｌｕｅｔｏｏｔｈ（登録商標）トランシーバ、Ｚｉｇｂｅｅ（登録商標）トランシーバ、赤外線通信協会（ＩｒＤＡ）トランシーバ、無線ＵＳＢトランシーバ、有線ＵＳＢ、有線ＬＡＮ、電力線又はＭｕｌｔｉｍｅｄｉａ ｏｖｅｒ Ｃｏａｘ Ａｌｌｉａｎｃｅ（ＭｏＣＡ）であることができる。プロセッサ２６６は、例えば画像の提示及び入力の受信を行うようにディスプレイ２５８を制御することなどの、本明細書で説明した受信機１４の他の要素を含めて本原理を実施するように受信機１４を制御すると理解されたい。さらに、ネットワークインターフェイス２６４は、例えば有線又は無線モデム又はルータ、或いは無線電話トランシーバ又は上述したＷｉ－Ｆｉトランシーバなどの他の適切なインターフェイスであることができる。

上記に加えて、受信機１４は、別のＣＥ装置に（有線接続を使用して）物理的に接続するための、高精細マルチメディアインターフェイス（ＨＤＭＩ）ポート又はＵＳＢポートなどの１又は２以上の入力ポート２６８、及び／又は受信機１４にヘッドフォンを接続して受信機１４からヘッドフォンを通じてユーザにオーディオを提示するためのヘッドフォンポートを含むこともできる。例えば、入力ポート２６８は、有線又は無線を介してオーディオビデオコンテンツのケーブル又は衛星ソースに接続することができる。従って、ソースは、独立した又は統合されたセットトップボックス又は衛星受信機であることができる。或いは、ソースは、ゲーム機又はディスクプレーヤであることもできる。

受信機１４は、いくつかの事例では受信機のシャーシ内にスタンドアロン装置として、受信機のシャーシの内部又は外部の、オーディオビデオ（ＡＶ）プログラムを再生するためのパーソナルビデオ録画装置（ＰＶＲ）又はビデオディスクプレーヤとして、或いは取り外し可能記憶媒体として具現化される、一時的信号ではないディスクベースストレージ又はソリッドステートストレージなどの１又は２以上のコンピュータメモリ２７０をさらに含むことができる。また、いくつかの実施形態では、受信機１４が、例えば少なくとも１つの衛星又は携帯電話タワーから地理的位置情報を受け取ってこの情報をプロセッサ２６６に提供し、及び／又は受信機１４がプロセッサ２６６と共に配置される高度を決定するように構成された、限定するわけではないが、携帯電話受信機、全地球測位衛星（ＧＰＳ）受信機、及び／又は高度計などの位置又は場所受信機２７２を含むことができる。しかしながら、例えば３次元全てにおいて受信機１４の位置を決定するために、本原理に従って携帯電話受信機、ＧＰＳ受信機及び／又は高度計以外の別の好適な位置受信機を使用することもできると理解されたい。

受信機１４の説明を続けると、いくつかの実施形態では、受信機１４が、本原理に従って写真／画像及び／又はビデオを収集するために、熱探知カメラ、ウェブカメラなどのデジタルカメラ、及び／又は受信機１４に統合されてプロセッサ２６６によって制御可能なカメラのうちの１つ又は２つ以上を含むことができる１又は２以上のカメラ２７４を含むことができる。また、受信機１４には、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び／又はＮＦＣ技術を使用して他の装置と通信するためのＢｌｕｅｔｏｏｔｈ（登録商標）トランシーバ２７６又は他の近距離通信（ＮＦＣ）要素をそれぞれ含めることもできる。ＮＦＣ要素例は、無線周波数識別（ＲＦＩＤ）要素であることができる。

さらに、受信機１４は、プロセッサ２６６に入力を提供する（加速度計、ジャイロスコープ、サイクロメータ、或いは磁気センサ又は慣性測定ユニット（ＩＭＵ）及びこれらの組み合わせなどのモーションセンサなどの）１又は２以上の補助センサ２７８、リモコン装置からＩＲコマンドを受け取るための赤外線（ＩＲ）センサ、光学センサ、速度及び／又はケイデンスセンサ、（ジェスチャコマンドを検知するための）ジェスチャセンサなどを含むこともできる。無線リモコンからコマンドを受け取るためにＩＲセンサ２８０を設けることもできる。受信機１４に電力を供給するためにバッテリ（図示せず）を設けることもできる。

コンパニオンデバイス１６は、上述した受信機１４に関連して示した要素の一部又は全部を含むことができる。

本明細書で説明する方法は、プロセッサ、好適に構成された特定用途向け集積回路（ＡＳＩＣ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）モジュール、又は当業者が理解するであろう他のいずれかの便利な方法によって実行されるソフトウェア命令として実装することができる。ソフトウェア命令は、採用する場合にはＣＤ ＲＯＭ又はフラッシュドライブなどの非一時装置に具現化することができる。或いは、ソフトウェアコード命令は、無線信号又は光信号などの一時的構成で、又はインターネットを介したダウンロードを通じて具現化することもできる。

次に、図３を参照する。ＯＴＡ放送送信機３０４を介して１又は２以上の受信機３０６に実際の通常のフラット画像を送信するイベントカメラ３０２が、放送用にライブイベント３００を撮影することができる。同時に、移動可能な１８０度／３６０度（１８０°／３６０°）４Ｋ又は８Ｋ又はそれを上回るカメラ３０８があらゆる方向でイベント３００を撮影し、インターネットサーバなどのＯＴＴソース３１０を介してその出力を受信機３０６に送信する。（１８０°／３６０°）４Ｋ又は８Ｋ又はそれを上回るカメラ３０８は、イベントのサラウンドビューを提供するとともに、フラットカメラ３０２によって提供されるよりも大きなイベントの仰角ビュー（ｅｌｅｖａｔｉｏｎ ｖｉｅｗ）を提供することもできる。一例として、（１８０°／３６０°）４Ｋ又は８Ｋ又はそれを上回るカメラ３０８は、イベント３００を撮影するためにドローンに搭載することができる。（１８０°／３６０°）４Ｋ又は８Ｋ又はそれを上回るカメラ３０８は、必要に応じて１８０°／３６０°ビデオを出力することができる。例えば、（１８０°／３６０°）４Ｋ又は８Ｋ又はそれを上回るビデオは、ＡＣ－４オーディオを伴うことができる。（１８０°／３６０°）４Ｋ又は８Ｋ又はそれを上回るカメラ３０８は、イベント３００を大角度フォーマット（ｌａｒｇｅ ａｎｇｌｅ ｆｏｒｍａｔ）で取り込むことができる。

一方で、図４には、フラットカメラ３０２の出力及び（１８０°／３６０°）４Ｋ又は８Ｋ又はそれを上回るカメラ３０８の出力がいずれもＯＴＡ放送３０４を介して受信機３０６に送信される実施形態を示す。カメラ３０２、３０８によって生成される２つのビデオストリームは、単一の物理層パイプ（ＰＬＰ）又は関連するＰＬＰで送信することができ、両ビデオストリームが利用可能である旨のシグナリングを伴って、それぞれが何のためのものであるか、例えばフラットのためのものであるか、それとも（１８０°／３６０°）４Ｋ又は８Ｋのためのものであるかを識別することができる。

別の実施形態では、図４からフラットカメラ３０２を省略し、後述するような処理のために（１８０°／３６０°）４Ｋ又は８Ｋ又はそれを上回るカメラ３０８からのビデオストリームのみを受信機にＯＴＡで送信することができる。この実施形態では、ストリームが、メインビデオコンテンツタイプを使用するメインビューを有することができる。

図５に、受信機アセンブリが、ＯＴＡ受信機５００、ＯＴＴ受信機５０２、及びＴＶなどのフラットディスプレイ５０４を含むことができることを示す。受信機アセンブリは、ゴーグルなどの仮想現実（ＶＲ）ヘッドセット５０６と、ＶＲヘッドセット５０６上に提示される１８０°／３６０°ビデオなどのビデオをパンするための１又は２以上の装置とをさらに含むことができる。これらの装置は、ＴＶのリモコン装置（ＲＣ）５０８上のジョイスティック又はボタン、スマートフォン５１０上のタッチ画面、又はヘッドセット５０６上のタッチ画面又はタッチパッド５１２などのポイントアンドクリック機構を含むことができる。パン装置は、ヘッドセット５０６又はＲＣ５０８内の１又は２以上のモーションセンサ５１４を含むこともできる。ヘッドセットは、パニングを遂行するために、タッチ画面又はタッチパッド５１２の代わりにＲＣ５０８を有することもできる。パニングには、上記の組み合わせを使用することもできる。図５に示す各コンポーネントは、プロセッサ、記憶装置及びネットワークインターフェイスを含む、図２の適切なコンポーネントを含むことができる。

図６に、図５の受信機アセンブリ内の１又は２以上のプロセッサによって実行できるロジック例を示す。ブロック６００から開始し、フラットイベントカメラ３０２が備わっていない場合、フラットビデオストリームがＯＴＡなどで受信され、或いは単一の（１８０°／３６０°）４Ｋ又は８Ｋ又はそれを上回るビデオストリームから導出される。（１８０°／３６０°）４Ｋ又は８Ｋ又はそれを上回るビデオストリームは、実質的にフラットビューストリームであるメインビューを有することができる。ブロック６０２において、このフラットストリームを図５のＴＶ５０４上などに提示することができる。

ブロック６０４に進み、上述したように（１８０°／３６０°）４Ｋ又は８Ｋ又はそれを上回るビデオストリームをＯＴＡ又はＯＴＴで受信し、ブロック６０６においていずれかのパン信号を受信する。ブロック３０８において、（１８０°／３６０°）４Ｋ又は８Ｋ又はそれを上回る１８０°／３６０°ビデオを図５に示すＶＲヘッドセット５０６上に提示することができる。

図７に、図３のイベント３００のフラットストリームをＴＶ５０４上に提示すると同時に、同じイベント３００の（１８０°／３６０°）４Ｋ又は８Ｋ又はそれを上回る１８０°／３６０°バージョンをヘッドセット５０６上に提示して、ヘッドセット５０６の着用者が仮想的にイベント３００に存在し、頭部を動かし又はＲＣ５０８などの別のパニング装置を操作してまるで実際にそこにいるかのようにイベントを「見回す」ことを矢印７００によって示すパニング機能が可能にできることを示す。なお、パニングは、方位角パニング及び仰角パニングの両方を含む。

図８に、ＴＶ５０４が（１８０°／３６０°）４Ｋ又は８Ｋ又はそれを上回るビデオ８００をＯＴＡで受信してＴＶ上にフラットビデオとして提示する第１の技術を示す。視聴者は、ＲＣ５０８上のジョイスティック又はボタン、スマートフォン５１０上のタッチ画面などの上述した入力装置のいずれかを使用してＴＶ５０４上のビデオをパンすることができる。

図９には、ＴＶ５０４が（１８０°／３６０°）４Ｋ又は８Ｋ又はそれを上回るビデオ８００をＯＴＡで受信して、パニングを伴わない下位互換ビューを確立するようにＴＶ上にフラットとしてレンダリングすることを示す。

図１０には、ＴＶ５０４が（１８０°／３６０°）４Ｋ又は８Ｋ又はそれを上回るビデオ８００をＯＴＡで受信して、ＴＶ上に提示されるようにフラットにレンダリングし、（１８０°／３６０°）４Ｋ又は８Ｋ又はそれを上回るビデオ８００をＢｌｕｅｔｏｏｔｈ又はＷｉ－Ｆｉなどを介してＴＶからヘッドセット５０６に中継し、説明したようなビューをパンできるヘッドセット上に１８０°／３６０°提示できることを示す。

図１１には、ヘッドセット５０６が（１８０°／３６０°）４Ｋ又は８Ｋ又はそれを上回るビデオ８００を直接ＯＴＡ又はＯＴＴで受信して、１８０°／３６０°ビデオを中継するためにＴＶ５０４が介在する必要なく、説明したようなビューをパンできるヘッドセット上に１８０°／３６０°提示できることを示す。

いくつかの実施形態例を参照しながら本原理について説明したが、これらの実施形態は限定的であるように意図するものではなく、本明細書において特許請求する主題は様々な別の構成を用いて実装することもできると理解されるであろう。

６００ ２Ｄストリームを受信
６０２ ＴＶ上に提示
６０４ ３６０°ストリームを受信
６０６ パン信号を受信
６０８ パンによって３Ｄ ＶＲディスプレイ上に提示

Claims (16)

1. 少なくとも１つの受信機が放送信号を受信できるデジタルテレビにおいて、
   少なくとも第１の放送ビデオ信号を受信することと、
   前記第１の放送ビデオ信号内のコンテンツを少なくとも１つのフラットディスプレイ上に表示することと、
   前記コンテンツの１８０°／３６０°ビデオを少なくとも１つのディスプレイ上に提示することと、
   を含み、前記少なくとも１つのフラットディスプレイ上に提示された前記コンテンツは、少なくとも１つのフラットビデオカメラから取得されたものであり、前記１８０°／３６０°ビデオは、少なくとも１つの１８０°／３６０°カメラから取得されたものであり、フラットビデオコンテンツ及び１８０°／３６０°ビデオは、フラットビデオコンテンツと１８０°／３６０°ビデオの両者が利用可能であるというシグナリングを伴って少なくとも１つの物理層パイプ（ＰＬＰ）でオーバージエア（ＯＴＡ）を介して前記受信機に送信されることを特徴とする方法。
2. 前記少なくとも１つのディスプレイは、仮想現実（ＶＲ）ヘッドセットを含む、
   請求項１に記載の方法。
3. 前記１８０°／３６０°ビデオは第１の放送ビデオストリームで受信され、前記第１の放送ビデオストリームは前記コンテンツの他のビデオを含まない、
   請求項１に記載の方法。
4. 前記１８０°／３６０°ビデオは第１の放送ビデオストリームで受信され、前記第１の放送ビデオストリームは前記コンテンツの他のビデオを含まず、前記１８０°／３６０°ビデオは、前記フラットディスプレイ上に下位互換コンテンツビューとしてのフラットビデオとして提示される、
   請求項１に記載の方法。
5. 前記１８０°／３６０°ビデオは第１の放送ビデオストリームで受信され、前記第１の放送ビデオストリーム内のコンテンツが前記フラットディスプレイ上に提示され、前記方法は、前記コンテンツを前記フラットディスプレイから前記ＶＲヘッドセットに送信することを含む、
   請求項２に記載の方法。
6. 前記１８０°／３６０°ビデオは第１の放送ビデオストリームで受信され、前記第１の放送ビデオストリーム内のコンテンツが前記フラットディスプレイ上に提示され、前記方法は、前記コンテンツを前記フラットディスプレイを経由せずに前記ＶＲヘッドセットに送信することを含む、
   請求項２に記載の方法。
7. 前記１８０°／３６０°ビデオは、該１８０°／３６０°ビデオ内のコンテンツのフラットフィードと共に第１の放送ビデオストリームで受信される、
   請求項１に記載の方法。
8. 前記デジタルテレビは、高度テレビシステム委員会（ＡＴＳＣ）３．０受信機を含む、
   請求項１に記載の方法。
9. 少なくとも第１の放送ビデオ信号を受信し、
   前記第１の放送ビデオ信号内のコンテンツを少なくとも１つのフラットディスプレイ上に提示し、
   前記コンテンツの１８０°／３６０°ビデオを少なくとも１つのディスプレイ上に提示するように構成された少なくとも１つの受信機アセンブリを備え、
   前記コンテンツは、少なくとも１つのフラットビデオカメラから取得されたものであり、前記１８０°／３６０°ビデオは、少なくとも１つの１８０°／３６０°カメラから取得されたものであり、フラットビデオコンテンツ及び１８０°／３６０°ビデオは、フラットビデオコンテンツと１８０°／３６０°ビデオの両者が利用可能であるというシグナリングを伴って互いを識別して少なくとも１つの物理層パイプ（ＰＬＰ）でオーバージエア（ＯＴＡ）を介して前記受信機アセンブリに送信されることを特徴とする装置。
10. 前記少なくとも１つのディスプレイは、仮想現実（ＶＲ）ヘッドセットを含む、
    請求項９に記載の装置。
11. 前記１８０°／３６０°ビデオは第１の放送ビデオストリームで受信され、前記第１の放送ビデオストリームは前記コンテンツの他のビデオを含まない、
    請求項９に記載の装置。
12. 前記１８０°／３６０°ビデオは第１の放送ビデオストリームで受信され、前記第１の放送ビデオストリームは前記コンテンツの他のビデオを含まず、前記１８０°／３６０°ビデオは、前記フラットディスプレイ上に下位互換コンテンツビューとしてのフラットビデオとして提示される、
    請求項９に記載の装置。
13. 前記１８０°／３６０°ビデオは第１の放送ビデオストリームで受信され、前記第１の放送ビデオストリーム内のコンテンツが前記フラットディスプレイ上に提示され、命令は、前記コンテンツを前記フラットディスプレイから前記ＶＲヘッドセットに送信するように実行可能である、
    請求項１０に記載の装置。
14. 前記１８０°／３６０°ビデオは第１の放送ビデオストリームで受信され、前記第１の放送ビデオストリーム内のコンテンツが前記フラットディスプレイ上に提示され、命令は、前記コンテンツを前記フラットディスプレイを経由せずに前記ＶＲヘッドセットに送信するように実行可能である、
    請求項１０に記載の装置。
15. 前記１８０°／３６０°ビデオは、該１８０°／３６０°ビデオ内のコンテンツのフラットフィードと共に第１の放送ビデオストリームで受信される、
    請求項９に記載の装置。
16. デジタルテレビ装置であって、
    命令をプログラムされた少なくとも１つのプロセッサを含む少なくとも１つの受信機を備え、前記命令は、
    イベントのフラットビデオをメインディスプレイ上に表示し、
    前記イベントの１８０度又は３６０度（１８０°又は３６０°）ビデオを仮想現実（ＶＲ）ヘッドセット上に表示する、
    ように前記プロセッサを構成し、
    前記フラットビデオは、少なくとも１つのフラットビデオカメラから取得されたものであり、前記１８０度又は３６０度（１８０°又は３６０°）ビデオは、少なくとも１つの１８０°／３６０°カメラから取得されたものであり、フラットビデオコンテンツ及び１８０°又は３６０°ビデオは、フラットビデオコンテンツと１８０°／３６０°ビデオの両者が利用可能であるというシグナリングを伴って少なくとも１つの物理層パイプ（ＰＬＰ）でオーバージエア（ＯＴＡ）を介して前記受信機に送信されることを特徴とするデジタルテレビ装置。