JP7299451B2 - パノラマカメラ及びバーチャルリアリティのヘッドセットに基づく選択的なコンテンツ処理のための方法及びシステム - Google Patents
パノラマカメラ及びバーチャルリアリティのヘッドセットに基づく選択的なコンテンツ処理のための方法及びシステム Download PDFInfo
- Publication number
- JP7299451B2 JP7299451B2 JP2020195862A JP2020195862A JP7299451B2 JP 7299451 B2 JP7299451 B2 JP 7299451B2 JP 2020195862 A JP2020195862 A JP 2020195862A JP 2020195862 A JP2020195862 A JP 2020195862A JP 7299451 B2 JP7299451 B2 JP 7299451B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- content
- frame
- video signal
- gaze position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Description
［関連出願の相互参照］
本願は、２０１９年１１月２９日に出願された米国特許出願番号１６／６９９，３７５号（代理人整理番号ＶＴ－０９０－ＵＳ－ＣＩＰ）及び２０２０年６月２２日に出願された米国出願番号１６／９０８，５９２号（代理人整理番号ＶＴ－０９１－ＵＳ－ＣＩＰ）からの利益を主張し、両出願の全体の内容が参照によって本明細書に組み込まれる。
本願は、２０１９年１１月２９日に出願された米国特許出願番号１６／６９９，３７５号（代理人整理番号ＶＴ－０９０－ＵＳ－ＣＩＰ）及び２０２０年６月２２日に出願された米国出願番号１６／９０８，５９２号（代理人整理番号ＶＴ－０９１－ＵＳ－ＣＩＰ）からの利益を主張し、両出願の全体の内容が参照によって本明細書に組み込まれる。
本発明は、パノラマ信号ソースの出力から選択されたコンテンツのコンテンツフィルタリング済みのマルチメディア信号のブロードキャスト及び／又はストリーミングに関する。
幾つかの活動を提示するイベントをカバーする現在のブロードキャスト方法は、複数のカメラを利用して、イベントのフィールドの様々な部分で行われる活動をキャプチャすることに基づいている。どんな時にも、人は、１つのカメラによってキャプチャされたコンテンツを選択してブロードキャストする。
それぞれが最大４πステラジアンの立体角の視聴をカバーするパノラマカメラの可用性は、そのようなイベントをカバーする代替的な方法を調査することを動機付けする。
従来、ストリーミングサーバは、個々のクライアント装置に対するマルチメディア信号の適合及び分配を実行するために、使用されている。パノラママルチメディア信号の場合には、大容量経路をマルチメディアソースとストリーミングサーバとの間において確立する必要があり、適応型の容量の経路をストリーミングサーバと複数のクライアント装置との間において確立する必要があり、且つ、ストリーミングサーバは、強力な処理設備を装備する必要がある。ストリーミングサーバがマルチメディアデータを複数のクライアント装置に送信するであろう。サーバは、各クライアント装置の特性、並びにサーバからクライアント装置までのネットワーク経路の状態にデータを適応させるために、コード変換機能を実施するであろう。マルチメディアデータは、ビデオ信号、オーディオ信号、静止画像、及びテキストを表現することが可能である。
パノラマビデオ信号を含むマルチメディアデータのストリーミングを行うには、比較的大容量のトランスポートリソースと、より集約的な処理とが必要である。パノラマカメラを使用するビデオソースからのパノラマビデオ信号は、伝送媒体の比較的高い帯域幅を占有する。パノラマビデオ信号をビデオソースからクライアント装置へ直接送信するためには、ビデオソースからクライアントの装置までの広帯域経路と、クライアント装置における高速処理能力とが必要である。更に、ビデオ信号は、個々のクライアント装置の様々な特性に適応することが必要であろう。
パノラママルチメディアストリーミングシステムにおいては、ストリーミングセッション中にパノラマシーンの視聴領域を適応的に選択する機能をクライアントが備えることが望ましい。従って、本発明の目的は、様々なタイプのクライアント装置、並びにクライアント装置を出入りするネットワーク経路の様々な容量に信号を適応させるための、クライアントに固有の信号コンテンツフィルタリング及び信号処理の能力を有するフレキシブルなストリーミングサーバを提供することである。ストリーミングサーバをホスティングするネットワーク内においてデータフローレートを調節する方法及びシステムを提供することが、本発明の別の目的である。システムは、適応型の処理能力及び適応型のネットワーク接続性を有するフレキシブルなストリーミングサーバに依存しており、この場合に、パノラマビデオソースを含むマルチメディアデータソースとの間におけるネットワーク経路の容量と、クライアント装置と、が、時間的に且つ空間的に変化しうる。
一態様によれば、本発明は、選択的なビデオコンテンツ伝達のための装置を提供する。取得モジュールは、パノラママルチメディアソースから変調搬送波を受信し、純ビデオ信号を抽出する。取得モジュールに通信可能に結合されたバーチャルリアリティのヘッドセットは、純ビデオ信号及びバーチャルリアリティのヘッドセットを着用するオペレータの凝視位置の座標のバーチャルリアリティの表示を提供する。凝視位置に対応するビデオフレームインデックスが決定される。
取得モジュール及びバーチャルリアリティのヘッドセットに通信可能に結合されたコンテンツフィルタは、純ビデオ信号からコンテンツフィルタリング済みの信号を生成するように構成されたハードウェアプロセッサを利用する。コンテンツフィルタは、純ビデオ信号、凝視位置の座標、及び対応するビデオフレームインデックスを受信する。次に、それぞれの凝視位置に対応する表示の視聴領域を定義する幾何学的データが、生成される。次に、それぞれの幾何学的データに従って純ビデオ信号の各フレームから抽出されたコンテンツフィルタリング済みの信号が、伝達のために通信設備に伝送される。
通信設備は、視聴者のコンテンツ選択を可能にし、ストリーミングサーバの視聴者が視聴領域を選択しない場合の既定の選択としてオペレータの凝視位置に基づいてコンテンツフィルタリング済みの信号を提供するように構成された放送局又はストリーミングサーバであってよい。
取得モジュールは、変調搬送波からソースマルチメディア信号及び対応する信号記述子を検出するように構成された受信機を備える。信号記述子は、信号ソースで実行されるプロセスを示す。取得モジュールは、個々の信号記述子にそれぞれ調整された、一連の純ビデオ信号ジェネレータを利用し、ソースマルチメディア信号の記述子に従って純ビデオ信号を生成する。セレクタは、純ビデオ信号を生成するために、対応する信号記述子に従ってソースマルチメディア信号をマッチングする純ビデオ信号ジェネレータに導く。
コンテンツフィルタリング済みの信号は、視聴領域内のポイントに対応する純ビデオ信号のサンプルを備える。任意に、バーチャルリアリティのヘッドセットは、予め定義された視聴領域の形状の組のうちの視聴領域の形状の指示を提供する。次に、コンテンツフィルタは、それぞれの視聴領域の形状に従って幾何学的データを生成する。
別の態様によれば、本発明は、選択的なビデオコンテンツ伝達のためのシステムを提供する。システムは、バーチャルリアリティのヘッドセット及び視聴アダプタを備える。
バーチャルリアリティのヘッドセットは、ソースから、ソースビデオ信号又はソースビデオ信号から導出されたフレームサンプリング済みの信号のいずれでありうる特定の信号を受信する。バーチャルリアリティのヘッドセットは、特定の信号を表示し、間隔の空いた時点で、ヘッドセットを着用するオペレータの凝視位置を決定する。凝視位置は、対応するビデオフレームインデックスと共に、後続の処理のために伝達される。
視聴アダプタは、ソースからソースビデオ信号を受信し、バーチャルリアリティのヘッドセットから凝視位置及び対応するフレームインデックスを受信するように構成されたハードウェアプロセッサを利用する。様々な信号転送遅延の影響を無効にすべく、視聴アダプタは、ビデオ信号から導出された完全コンテンツフレームデータを記憶するための循環コンテンツバッファと、バーチャルリアリティのヘッドセットから受信した凝視位置を記憶するための循環制御バッファとを備えるデュアル循環バッファを利用する。視聴アダプタのコンテンツフィルタコントローラは、凝視位置ごとに、予め定義された視聴領域の形状に従って周囲の視聴領域を決定する。コンテンツフィルタは、伝達のために、循環制御バッファから読み取られた各凝視位置の視聴領域に従って、循環コンテンツバッファから読み取られた各完全コンテンツフレームデータの一部を抽出する。
コンテンツフィルタコントローラは、基準凝視位置を初期化し、基準凝視位置から現時点の凝視位置の変位を決定し、変位が予め定義された閾値を超過したという決定を条件として、現時点の凝視位置に等しくするように基準凝視位置を更新する。変位が予め定義された閾値未満又はこれに等しい場合、現時点の凝視位置が基準凝視位置に等しくするように設定される。
循環コンテンツバッファは、少なくとも予め定められた数のフレームの完全コンテンツを保持する。予め定義された数×１つのフレーム期間が２つの経路に沿った転送遅延の差の大きさ（即ち、絶対値）を超過するように、予め定義された数が選択される。１つの経路に沿った信号転送遅延は、ソースからバーチャルリアリティのヘッドセットへの信号転送遅延と、バーチャルリアリティのヘッドセットからコンテンツフィルタコントローラへの信号転送遅延との合計である。他の経路に沿った信号転送遅延は、ソースから視聴アダプタへの遅延である。
間隔の空いた時点は、離れたビデオフレームに対応する。ここで、間髪を入れずに連続するビデオフレームのインデックスは、予め定義された整数Ｙだけ異なり、Ｙ＞１である。循環制御バッファは、少なくとも
に等しい幾つかの凝視位置を保持し、Ｈは、コンテンツデータが循環コンテンツバッファに保持されるフレームの予め定義された数である。当然ながら、Ｈ＞Ｙである。
フレームコントローラは、循環コンテンツバッファのインデックスｆ＊のストレージ部分において、０≦ｆ＊＜Ｌである巡回インデックスｆ＊のビデオフレームのフレームコンテンツを格納する循環制御バッファにフレームコンテンツを格納する。フレームコントローラは、インデックス
のストレージ部分において、０≦φ＊<Ｌである巡回インデックスφ＊に対応する凝視位置を格納し、Ｌは、予め定義された巡回期間である。
フレームサンプリング済みの信号は、好ましくは、ソースに結合されたフレーム選択モジュールで生成される。フレームサンプリング済みの信号は、離れたビデオフレームを備える。ここで、間髪を入れずに連続するビデオフレームは、単一期間のフレームの持続時間を超過する時間間隔によって分離される。
バーチャルリアリティのヘッドセットは、従来のパン、チルト及びズームの座標としてそれぞれの凝視位置を定義するように構成される。コンテンツフィルタコントローラは、基準凝視位置を表す第１の一連の座標及び現時点の凝視位置を表す第２の一連の座標のパン、チルト及びズームの値の絶対差分の合計として、凝視位置の変位を更に評価する。
バーチャルリアリティのヘッドセットは、既定の視聴領域の形状、又は一連の予め定義された視聴領域の形状のうちの視聴領域の形状として、オペレータが予め定義された視聴領域の形状を選択することを可能にするように更に構成される。
更なる態様によれば、本発明は、選択的なビデオコンテンツ伝達のための方法を提供する。方法は、ビデオ信号の表示を視聴し、間隔の空いた時点で、ヘッドセットを着用するオペレータの凝視位置を識別し、更なる処理のために凝視位置及び対応するビデオフレームインデックスを伝達するためにバーチャルリアリティのヘッドセットを利用する段階を備える。
方法は、基準凝視位置及び対応する視聴領域の定義を初期化し、次に、ビデオ信号を受信する処理と、凝視位置及び対応するビデオフレームインデックスを受信する処理と、基準凝視位置を更新する処理と、基準凝視位置に従って視聴領域の定義データを生成する処理と、視聴領域の定義データに従ってビデオ信号からコンテンツフィルタリング済みの信号を抽出する処理と、コンテンツフィルタリング済みの信号を放送設備に伝送する処理とを継続的に実行するハードウェアプロセッサを利用する。
基準凝視位置を更新する段階は、基準凝視位置からの現時点の凝視位置の変位を決定することに基づいている。変位が予め定義された閾値を超過したという決定を条件として、基準凝視位置が現時点の凝視位置に等しくするように設定され、視聴領域の定義データが基準凝視位置及び予め定義された輪郭の形状に従って生成される。
各時点と間髪を入れずに連続する時間間隔との間の時間間隔がビデオフレーム期間の整数倍、Ｙ、であり、Ｙ＞１であるように、間隔の空いた時点が選択される。プロセッサは、ビデオ信号の最も最近のビデオフレームの予め定義された数、Ｈ、の完全コンテンツフレームデータを循環コンテンツバッファに記憶する段階であって、Ｈ＞Ｙである、段階と、バーチャルリアリティのヘッドセットから受信した数、ｈ、の最も最近の凝視位置を循環制御バッファに記憶する段階であって、ｈ＝
である、段階とを行うための命令を実行する。
コンテンツフィルタリング済みの信号を抽出する処理は、循環コンテンツバッファに存在しているビデオフレームごとに、循環制御バッファに存在している各凝視位置を決定する処理と、各完全コンテンツフレームデータからコンテンツフィルタリング済みのフレームを導出する処理とを備える。
基準凝視位置からの現時点の凝視位置の変位を決定することは、一連の座標として一連の凝視位置の各凝視位置を表す処理と、基準凝視位置を表す第１の一連の座標及び現時点の凝視位置を表す第２の一連の座標の対応する座標値の絶対差分の合計として、変位を評価する処理とを備える。
バーチャルリアリティのヘッドセットは、ビデオ信号全体を受信してよく、又は、ビデオ信号のフレームサンプリング済みの信号のみを受信してよい。フレームサンプリング済みの信号は、ビデオ信号のソースに結合されたフレーム選択モジュールで生成され、間髪を入れずに連続するビデオフレームが単一期間のフレームの持続時間を超過する時間間隔によって分離された状態で離れたビデオフレームを備える。
バーチャルリアリティのヘッドセットがビデオ信号全体を受信した場合、表示はビデオ信号の全てのビデオフレームをカバーする。バーチャルリアリティのヘッドセットがフレームサンプリング済みの信号を受信した場合、表示は離れたビデオフレームをカバーする。
本発明の実施形態を、以下の添付の例示的図面を参照しながら、更に詳細に説明する。
本発明の一実施形態による、パノラママルチメディアソース及びユニバーサルストリーミングサーバを含む、パノラママルチメディアストリーミングのシステムを示す図である。
本発明の一実施形態による、複数のパノラママルチメディアソース及び複数のユニバーサルストリーミングサーバを含む、パノラママルチメディアストリーミングのシステムを示す図である。
本発明の一実施形態による、パノラママルチメディアソースとユニバーサルストリーミングサーバとの間の通信選択肢を示す図である。
図３の通信選択肢に対応する通信経路を示す図である。
本発明の一実施形態による、図３の通信選択肢のうちの第１の通信選択肢に対応する端から端までの経路の構成要素を示す図である。
本発明の一実施形態による、図３の通信選択肢のうちの第２の通信選択肢に対応する端から端までの経路の構成要素を示す図である。
本発明の一実施形態による、図３の通信選択肢のうちの第３の通信選択肢に対応する端から端までの経路の構成要素を示す図である。
本発明の一実施形態による、図３の通信選択肢のうちの第４の通信選択肢に対応する端から端までの経路の構成要素を示す図である。
本発明の一実施形態による、ユニバーサルストリーミングサーバの入力及び出力におけるマルチメディア信号及び制御信号を示す図である。
本発明の一実施形態による、クライアントに固有の適合モジュールを使用する一例示的ユニバーサルストリーミングサーバの構成要素を示す図である。
本発明の一実施形態による、図１０の例示的ユニバーサルストリーミングサーバのクライアントに固有の適合モジュールの詳細を示す図である。
圧縮済みのビデオ信号のフローレートの時間変動を示す図である。
本発明の一実施形態による、低フローレートでありながらも、パノラマ完全空間カバレッジを提示することに適するビデオ信号を生成することにより、クライアントが好ましい部分カバレッジ視聴を選択することを可能にするモジュールを示す図である。
本発明の一実施形態による、コンテンツフィルタリング済みのビデオ信号を要求して取得する処理を示す図である。
ユニバーサルストリーミングサーバからクライアント装置に送信されるビデオ信号の時間的フローレート変動を示す図であり、ビデオ信号は、フレームサンプリング済みのビデオ信号と、それに続く圧縮済みのビデオ信号とを含む。
本発明の一実施形態による、コンテンツフィルタリング段階及び信号処理段階として構造化された、図４の信号編集モジュールを示す図である。
本発明の一実施形態による、完全コンテンツ信号からの異なる部分コンテンツ信号の同時生成のためのコンテンツフィルタのアレイとして実装された図１６のコンテンツフィルタリングステージを示す。
図１６の信号処理段階の信号処理ユニットを示す図である。
本発明の一実施形態による、図１６の信号編集モジュールを示す図であり、コンテンツフィルタリング段階及び信号処理段階の詳細を含む図である。
本発明の一実施形態による、ターゲットクライアント装置に対するビデオ信号編集の処理を示す図である。
許容可能なフローレートを決定するモジュールの詳細を示す図である。
本発明の一実施形態による、クライアント装置の構成要素を示す図である。
本発明の一実施形態による、ユニバーサルストリーミングサーバとパノラママルチメディアソースとの間の通信経路を示す図である。
本発明の一実施形態による、ユニバーサルストリーミングサーバとパノラママルチメディアソースとの間の通信経路と、ユニバーサルストリーミングサーバとストリーミングシステムの複数の異種のクライアント装置との間の通信経路と、を示す。
本発明の一実施形態による、ユニバーサルストリーミングサーバとマルチメディア信号ソースとの間の通信経路と、ユニバーサルストリーミングサーバと２つのクライアント装置との間の通信経路と、を示しており、この場合に、クライアント装置と関連するオートマトンは、ユニバーサルストリーミングサーバに対してコマンドを送信することができる。
本発明の一実施形態による、ユニバーサルストリーミングサーバのモジュール構造を示す図である。
本発明の一実施形態による、図２６のユニバーサルストリーミングサーバに結合されている学習モジュールを示す図である。
本発明の一実施形態による、ユニバーサルストリーミングサーバにおいて実施される処理を示す図であり、この処理では、パノラマビデオ信号がクライアント装置タイプに対して適応されてから、コンテンツフィルタリングされる。
本発明の別の実施形態による、ユニバーサルストリーミングサーバにおいて実施される処理を示す図であり、この処理では、パノラマビデオ信号がコンテンツフィルタリングされてから、クライアント装置タイプに対して適応される。
本発明の一実施形態による、パノラママルチメディア信号を取得し、取得したマルチメディア信号を個々のクライアントに適応させる処理を示すフローチャートである。
本発明の別の実施形態による、図３０の処理を異なる順序で実行することを示すフローチャートである。
本発明の一実施形態による、ユニバーサルストリーミングサーバにおいて保持される、特定のビデオソースに対するストリーミング制御テーブルを示す図である。
本発明の一実施形態による、特定のクライアントに対するマルチメディア信号の最初の適応の処理を示す図である。
本発明の一実施形態による、クライアント装置タイプごとの視聴の好みのパターンのカウントを記録するテーブルを示す図である。
本発明の一実施形態による、信号コンテンツの変化及び性能メトリックに基づいたフローレート制御のプロセスを示す。
本発明の一実施形態による、ユニバーサルストリーミングサーバの制御システムを示す。
本発明の一実施形態による、図２３及び図２４のストリーミングシステムにおける信号のコンテンツフィルタリング及びフローレート適合の組み合わせられたプロセスを示す。
本発明の一実施形態による、ユニバーサルストリーミングサーバのコンテンツフィルタを示す。
本発明の一実施形態による、ストリーミングセッションを開始するべく、ユニバーサルストリーミングサーバにおいて実行される初期プロセスを示す。
本発明の一実施形態による、信号のコンテンツ及びフローレートの適応型の変更の方法を示す。
本発明の一実施形態による、受信機の状態及びネットワーク経路状態に関連するパフォーマンス測定値に基づいた信号の好ましいエンコーディングレートの判定の基準を示す。
本発明の一実施形態による、図４１に示されている基準に基づいた信号の好ましいエンコーディングレートの判定のプロセスを示す。
本発明の別の実施形態による、多数のクライアントに対してサービスしているユニバーサルストリーミングシステムにおけるコンテンツ選択の冗長的処理を除去する方法を示す。
本発明の別の実施形態による、１つの視聴領域から別のものへのシームレスな遷移を可能にするための、ビデオ信号の一時的な同時コンテンツフィルタリングを示す。
本発明の一実施形態による、ユニバーサルストリーミングサーバをネットワークのルータ－スイッチに結合するステップを示す。
複数のカメラ、複数のディスプレイ、及びセレクタ（スイッチ装置）を使用する、選択的なコンテンツブロードキャストのための先行技術のシステムを示す。
本発明の一実施形態による、マルチメディア信号のオペレータ定義のコンテンツをブロードキャストするための装置を示す。
本発明の一実施形態による、ブロードキャストサブシステム及びストリーミングサブシステムを備える、統合されたブロードキャスト及びストリーミングのための第１のシステムを示す。
本発明の一実施形態による、パノラママルチメディア信号ソースから受信した変調済みの搬送波信号から、純ビデオ信号及び別のマルチメディアコンポーネントを備える純マルチメディア信号を抽出するための取得モジュールを示す。
本発明の一実施形態による、ブロードキャストのためのコンテンツ選択の装置を示す。
本発明の一実施形態による、パノラマカメラ及びバーチャルリアリティ（ＶＲ）ヘッドセットを利用する選択的なコンテンツブロードキャストのための第１のブロードキャストサブシステムを示す。
本発明の一実施形態による、視聴アダプタ及び離れたＶＲヘッドセットを備える、選択的なビデオコンテンツ伝達の地理的な分散システムを示す。
本発明の一実施形態による、循環コンテンツバッファ、コンテンツフィルタ、及びコンテンツフィルタコントローラを備える視聴アダプタを示す。
図５２の視聴アダプタの詳細を示す。
本発明の一実施形態による、離れたＶＲヘッドセットから図５２のシステムの視聴アダプタに送信される制御データを示す。
図４７のオペレータ定義のコンテンツの第１のシステム内のデータフローを示す。
図５２のオペレータ定義のコンテンツの第２システム内のデータフローを示す。
視聴アダプタと離れたＶＲヘッドセットとの間の大きな往復転送遅延の場合の、オペレータ定義のコンテンツの第２システム内の制御データフローを示す。
ＶＲヘッドセットで凝視位置を決定することを示す。
図５２のブロードキャストサブシステムの視聴アダプタの循環コンテンツバッファのコンテンツを更新することを示す。
本発明の一実施形態による、離れたＶＲヘッドセットから受信した制御データを各フレームデータに関連付けることを示す。
本発明の一実施形態による、連続するフレーム期間の間の循環バッファのコンテンツを示す。
本発明の一実施形態による、図５２の分散システムを使用してオペレータ定義のコンテンツを生成する方法を示す。
本発明の一実施形態による、凝視位置の変化に基づいた適応型のコンテンツフィルタリングの方法を示す。
本発明の一実施形態による、パノラマカメラ及びＶＲヘッドセットを利用する、統合された選択的なコンテンツブロードキャスト及びストリーミングのための第２システムを示し、システムはルーティング設備及び離れたコンテンツセレクタを備える。
図６５のシステムのルーティング設備を詳細に示す。
図６５のシステムの離れたコンテンツセレクタを詳細に示す。
本発明の一実施形態による、パノラマカメラ、コンテンツフィルタのバンク、及び従来のスイッチ装置を使用する選択的なコンテンツブロードキャストのためのハイブリッドシステムを示す。
図５１のブロードキャストサブシステムの基本的処理を示すフローチャートである。
図５９のハイブリッドシステムの基本的処理を示すフローチャートである。
図４８及び図５１の第１のシステムの基本的処理を示すフローチャートである。
本発明の一実施形態による、ブロードキャストのために、パノラママルチメディア信号をコンテンツフィルタリングして、オペレータ定義のコンテンツを生成する方法を示す。
本発明の一実施形態による、図６５のシステムのリモートコンテンツコントローラを実行する処理を示す。
本発明の一実施形態による、図６５のシステムの視聴アダプタで実行される処理を示す。
選択的なビデオコンテンツ伝達の地理的な分散システムにおける信号転送遅延を示す。
ビデオアダプタでの、フレームコンテンツデータ及び対応する制御データの到着時刻の差を示す。
本発明の一実施形態による、ビデオアダプタでの、フレームコンテンツデータ及び対応する制御データの相対的な到着時間に対する信号転送遅延ジッタの影響、及び、遅延ジッタの影響を克服するために循環制御バッファに加えて循環制御バッファを使用することを示す。
本発明の一実施形態による、循環コンテンツバッファ、循環制御バッファ、コンテンツフィルタ、コンテンツフィルタコントローラを備える視聴アダプタを示す。
バーチャルリアリティのヘッドセットがビデオフレーム期間ごとに制御データを伝達する場合の、循環コンテンツバッファ及び循環制御バッファのデータストレージ編成を示す。
バーチャルリアリティのヘッドセットが複数のフレーム期間ごとに制御データを伝達する場合の、循環コンテンツバッファ及び循環制御バッファのデータストレージ編成を示す。
本発明の一実施形態による、マッチングするフレーム制御データ及びフレームコンテンツデータを明確にするデュアル循環バッファのデータストレージ編成を示す。
用語
幾何学的データ：本明細書においては、ビデオ信号の表示の選択された視聴領域を定義するデータが
「幾何学的データ」として参照されている。
凝視位置：本明細書においては、バーチャルリアリティのヘッドセットのオペレータが見ていると認識されるポイントが「凝視位置」として参照されている。概して、凝視位置は、多次元空間における一連のパラメータ又はベクトルとして表わされてよい。１つの実装において、凝視位置が、従来の「パン、チルト、及びズーム」のパラメータに従って定義される。
マルチメディア信号：マルチメディア信号は、ビデオ信号コンポーネント、オーディオ信号、コンポーネント、テキストなどを備えてよい。本明細書において、マルチメディア信号という用語は、ビデオ信号コンポーネントを含み、別の形式の信号コンポーネントを含んでよい信号を意味している。マルチメディア信号に関係のある全てのプロセスがビデオ信号コンポーネントに適用し、－もしあれば－別の信号コンポーネントに適用されるプロセスは、本願で説明されない。
信号：本明細書においては、時間窓を占有するデータストリームが「信号」として参照されている。時間窓の持続時間は、数マイクロ秒から数時間まで変化しうる。本説明の全体を通じて、「信号」という用語は、ベースバンド信号を意味している。ネットワーク上において「信号を送信する」という用語は、光搬送波などの搬送波を信号変調すると共に変調搬送波を送信するプロセスを意味している。ネットワークから「信号を受信する」という用語は、変調ベースバンド信号を回復するべく、変調搬送波を受信すると共に復調するプロセスを意味している。
パノラマビデオ信号：完全カバレッジを近似する実現可能なカバレッジのビデオ信号がパノラマビデオ信号として参照されている。パノラマビデオ信号のカバレッジは、２πステラジアンを超過しうる。
パノラママルチメディア信号：本明細書においては、オーディオ信号、画像信号、テキスト信号、及びパノラマビデオ信号を有する複合信号がパノラママルチメディア信号と呼称されている。
ユニバーサルストリーミングサーバ：クライアントによって制御されるコンテンツ選択及び受信機及びネットワーク状態に対するフローレート適合を伴ってパノラママルチメディア信号を分配しているストリーミングサーバが、「ユニバーサルストリーミングサーバ」として参照されている。ユニバーサルストリーミングサーバは、簡潔に「サーバ」として参照されている場合もある。サーバは、少なくとも１つのハードウェアプロセッサと、少なくとも１つのプロセッサに、パノラママルチメディア信号を取得し、且つ、フロー制御下においてクライアント固有のコンテンツフィルタリング済みのマルチメディア信号を生成する機能を実行させるソフトウェア命令を保持する少なくとも１つのメモリ装置と、を有する。
完全コンテンツ信号：マルチメディア信号は、エンコーディング済みのオーディオ信号、エンコーディング済みのビデオ信号、テキスト、スチール画像などのような、異なるタイプの複数のコンポーネントを含むことができる。複数の分離可能な部分を含むように、すべてのコンポーネントを構造化することができる。例えば、パノラマ信号のパノラマビデオコンポーネントは、４πステラジアン未満の個別の定義された立体角をそれぞれがカバーするサブコンポーネントに分割することができる。
部分コンテンツ信号：この用語は、完全コンテンツ信号から抽出された信号を意味しており、この場合に、すべてのコンポーネントの少なくとも１つの分離可能な部分がフィルタリングによって除去されており、且つ、恐らくは、その他のコンポーネントも、フィルタリングによって除去されている。 ビデオ信号のカバレッジ：本明細書においては、ビデオ信号のカバレッジ（又は、空間カバレッジ）は、ビデオ信号を生成するカメラから可視状態にある空間によって定義される立体角として定義されている。
完全カバレッジビデオ信号：４πステラジアンのカバレッジのビデオ信号が完全カバレッジビデオ信号として参照されている。完全カバレッジビデオ信号は、完全コンテンツ信号のコンポーネントであってもよい。
信号フィルタリング：信号フィルタリングという用語は、ノイズや遅延ジッタに起因する信号劣化を無くすか減らすために信号受信機において実施される従来式の動作を意味し、信号フィルタリング処理では信号のコンテンツは変化しない。
コンテンツフィルタリング：この用語は、特定の情報だけを保持するために（信号フィルタリング処理に続いて）信号の情報を修正する処理を意味し、完全カバレッジ（達成可能カバレッジ）ビデオ信号のコンテンツフィルタリングにより、縮小（注目）された視聴領域に対応する部分カバレッジビデオ信号が生成される。
完全カバレッジカメラ（又は、４πカメラ）：本明細書においては、完全カバレッジビデオ信号を生成するカメラが完全カバレッジカメラ又は４πカメラとして参照されている。
実現可能なカバレッジのビデオ信号：完全カバレッジビデオ信号は、理想的なカメラによって生成される。カメラによって生成されるビデオ信号の実際のカバレッジは、実現可能なカバレッジとして参照されている。
部分カバレッジビデオ信号：実現可能なカバレッジ未満のカバレッジのビデオ信号が、部分カバレッジビデオ信号として参照されている。部分カバレッジビデオ信号は、部分コンテンツ信号のコンポーネントであってもよい。
部分カバレッジマルチメディア信号：本明細書にいては、オーディオ信号、画像信号、テキスト信号、及び部分カバレッジビデオ信号を有する複合信号が、部分カバレッジマルチメディア信号と呼称されている。
ソース：パノラママルチメディアソースは、完全カバレッジカメラのみならず、デワープ及び圧縮解除モジュールをも有しており、「ソース」という用語は、本明細書においては、パノラママルチメディアソースを意味するように使用されている。
未加工のビデオ信号：カメラによって生成される信号が、「未加工のビデオ信号」として参照されている。
補正済みビデオ信号：デワープされた未加工のビデオ信号が、「補正済みのビデオ信号」として参照されている。
ソースビデオ信号：パノラママルチメディアサーバがパノラママルチメディアソースから受け取るビデオ信号を「ソースビデオ信号」と称する。ソースビデオ信号は、未加工のビデオ信号、補正済みビデオ信号、圧縮済みのビデオ信号、又はコンパクトビデオ信号であってよい。
ソースマルチメディア信号：パノラママルチメディアサーバがパノラママルチメディアソースから受け取るマルチメディア信号を「ソースマルチメディア信号」と称する。ソースマルチメディア信号は、他の形式の信号（例えば、オーディオ信号やテキスト信号）に加えてソースビデオ信号を含んでよい。
プロセッサ：本明細書において使用されている「プロセッサ」という用語は、少なくとも１つのハードウェア処理装置にソフトウェア命令内において規定されている動作を実行させるソフトウェア命令を記憶している少なくとも１つのメモリ装置に対して結合される少なくとも１つのハードウェア（物理的）処理装置を意味している。
圧縮モジュール：この用語は、プロセッサと、プロセッサに、初期ビデオ信号の直接的なエンコーディングの結果として得られるビットレートとの比較において、低減されたビットレートの圧縮済みのビデオ信号を生成するべく、初期ビデオ信号をエンコーディングさせるソフトウェア命令を記憶しているメモリ装置と、を有する周知の装置を意味している。
圧縮解除モジュール：この用語は、プロセッサと、プロセッサに、圧縮済みのビデオ信号が生成された初期ビデオ信号のレプリカを生成するべく、圧縮済みのビデオ信号を圧縮解除させるソフトウェア命令を記憶しているメモリ装置と、を有する周知の装置を意味している。
ソース圧縮モジュール：未加工のビデオ信号から、或いは、未加工のビデオ信号から生成されたデワープ済みのビデオ信号から、圧縮済みのビデオ信号を生成するべく、ビデオ信号ソースに結合されている圧縮モジュールが、ソース圧縮モジュールである。圧縮モジュール３４０（図３、図４、図７、及び図８）がソース圧縮モジュールである。
サーバ圧縮モジュール：本明細書においては、ソースビデオ信号から圧縮済みのビデオ信号を生成するべくサーバに結合されている圧縮モジュールが「サーバ圧縮モジュール」として参照されている。圧縮モジュール１１６０（図１１）、１３４０、１３６０（図１３）、及び２０３０（図２０）がサーバ圧縮モジュールである。
サーバ圧縮解除モジュール：本明細書においては、未加工のビデオ信号のレプリカ又は未加工のビデオ信号から生成されたデワープ済みのビデオ信号のレプリカを生成するべく、サーバに結合されている圧縮解除モジュールが、「サーバ圧縮解除モジュール」として参照されている。圧縮解除モジュール３５０（図３、図４、図７、及び図８）がサーバ圧縮解除モジュールである。
クライアント圧縮解除モジュール：本明細書においては、サーバにおいて生成された、純ビデオ信号の、又はコンテンツフィルタリング済みのビデオ信号の、レプリカを生成するべく、クライアント装置に結合されている圧縮解除モジュールが、「クライアント圧縮解除モジュール」として参照されている。圧縮モジュール２２７０（図２２）がクライアント圧縮解除モジュールである。
圧縮済みのビデオ信号：圧縮済みの未加工のビデオ信号が、「圧縮済みのビデオ信号」として参照されている。
コンパクトビデオ信号：圧縮された補正済みの信号が、「コンパクトビデオ信号」として参照されている。
整流済みビデオ信号：圧縮及びその後の圧縮解除によって後続される未加工のビデオ信号をデワープするプロセス又は圧縮解除及びデワープによって後続される未加工のビデオ信号を圧縮するプロセスが、整流済みビデオ信号をもたらす。
純ビデオ信号：本明細書においては、補正済みビデオ信号又は整流済みビデオ信号が、純ビデオ信号として参照されている。純ビデオ信号は、ソースにおいてキャプチャされた個々のシーンに対応している。
信号サンプル：この用語は、純ビデオ信号から、又は純ビデオ信号から抽出されたコード変換済みのビデオ信号から、抽出された完全カバレッジ（実現可能なカバレッジ）のビデオ信号を意味している。信号サンプルのフローレート（ビットレート）は、信号サンプルが抽出されたビデオ信号のフローレートよりも格段に小さくなろう。信号サンプルは、クライアント装置における視聴者が好ましい視聴領域を選択及び識別できるようにするべく、クライアント装置に送信される。
エンコーダ：エンコーダは、アナログ－デジタルコンバータ又はデジタル－デジタルコード変換器に類似したものであってもよい。エンコーダは、ビットのストリームとして表されたエンコーディング済みの信号を生成する。
エンコーディングレート：相対的に短い期間にわたって計測された単位時間当たりのビットの数は、その計測期間における「瞬間的」なエンコーディングレートであると見なされる。エンコーディング済みの信号の特性に起因して、エンコーディングレートの迅速な自然変動が発生しうる。コントローラは、多数の（調整されてはいない）ユーザによって共有されるネットワークを通じて、通信経路の時変状態に応答して、エンコーディングレートの変動を強制的に生成することができる。強制的に生成されるエンコーディングレートの変動は、通常、エンコーディングレートの自然発生的な変動よりも低速である。
フローレート：データ損失が存在しない場合には、宛先までの経路に沿った信号のフローレートは、サーバにおける信号のエンコーディングレートと等しい。エンコーディングレートの自然変動に起因して、エンコーディングレートのパラメトリック表現が、ユーザによって規定されてもよく、或いは、コントローラにおいて判定されてもよい。パラメトリック表現は、自然変動するエンコーディングレートの推定統計分布に基づいたものであってもよい。
メトリック：メトリックは、例えば、回帰分析を使用して十分なパフォーマンス測定値から導出される特定のプロパティ又は特性の単一の尺度である。
受け入れインターバル：メトリックは、メトリックの値が「受け入れインターバル」を定義する下部境界と上部境界との間において留まっている場合に、望ましい状態を反映しているものと見なされる。受け入れインターバルは、両端を含んでおり、即ち、その間の値に加えて、下部境界及び上部境界の値をも含んでいる。
メトリックインデックス：メトリックは、メトリックの値が個別の受け入れインターバルの下部境界未満である際の「－１」という状態、値が受け入れインターバルの上部境界超である場合の「１」という状態、並びに、これら以外の場合、即ち、値が下部及び上部境界を含む受け入れインターバル内にある場合の「０」という状態、という３つの状態のうちの１つにあるものと定義することができる。メトリックインデックスは、メトリックの状態である。 送信機：この用語は、搬送波（光搬送波又はマイクロ波搬送波）をベースバンド信号で変調して変調搬送波を生成する従来式の装置を意味する。
受信機：この用語は、変調搬送波を復調して、送信されたベースバンド信号を抽出する従来式の装置を意味する。
プロセッサ：この用語は、ハードウェア装置（物理的処理装置）を意味する。
Ｇｂ／ｓ、Ｍｂ／ｓ：ギガビット毎秒（１０９ビット毎秒）、メガビット毎秒（１０６ビット毎秒）
本発明のサーバは、パノラママルチメディア信号を受け取って広く配信する。パノラママルチメディア信号は、他の形式の信号（例えば、オーディオ信号やテキスト）に加えてパノラマビデオ信号を含む。本明細書及び特許請求対象は、ビデオ信号コンポーネントに関連する新規な特徴に重点を置いている。しかしながら、当然のこととして、サーバは、編集済みパノラマビデオ信号を他のタイプの信号と一緒にクライアント装置に配信することが理解される。
「幾何学的データ」として参照されている。
凝視位置：本明細書においては、バーチャルリアリティのヘッドセットのオペレータが見ていると認識されるポイントが「凝視位置」として参照されている。概して、凝視位置は、多次元空間における一連のパラメータ又はベクトルとして表わされてよい。１つの実装において、凝視位置が、従来の「パン、チルト、及びズーム」のパラメータに従って定義される。
マルチメディア信号：マルチメディア信号は、ビデオ信号コンポーネント、オーディオ信号、コンポーネント、テキストなどを備えてよい。本明細書において、マルチメディア信号という用語は、ビデオ信号コンポーネントを含み、別の形式の信号コンポーネントを含んでよい信号を意味している。マルチメディア信号に関係のある全てのプロセスがビデオ信号コンポーネントに適用し、－もしあれば－別の信号コンポーネントに適用されるプロセスは、本願で説明されない。
信号：本明細書においては、時間窓を占有するデータストリームが「信号」として参照されている。時間窓の持続時間は、数マイクロ秒から数時間まで変化しうる。本説明の全体を通じて、「信号」という用語は、ベースバンド信号を意味している。ネットワーク上において「信号を送信する」という用語は、光搬送波などの搬送波を信号変調すると共に変調搬送波を送信するプロセスを意味している。ネットワークから「信号を受信する」という用語は、変調ベースバンド信号を回復するべく、変調搬送波を受信すると共に復調するプロセスを意味している。
パノラマビデオ信号：完全カバレッジを近似する実現可能なカバレッジのビデオ信号がパノラマビデオ信号として参照されている。パノラマビデオ信号のカバレッジは、２πステラジアンを超過しうる。
パノラママルチメディア信号：本明細書においては、オーディオ信号、画像信号、テキスト信号、及びパノラマビデオ信号を有する複合信号がパノラママルチメディア信号と呼称されている。
ユニバーサルストリーミングサーバ：クライアントによって制御されるコンテンツ選択及び受信機及びネットワーク状態に対するフローレート適合を伴ってパノラママルチメディア信号を分配しているストリーミングサーバが、「ユニバーサルストリーミングサーバ」として参照されている。ユニバーサルストリーミングサーバは、簡潔に「サーバ」として参照されている場合もある。サーバは、少なくとも１つのハードウェアプロセッサと、少なくとも１つのプロセッサに、パノラママルチメディア信号を取得し、且つ、フロー制御下においてクライアント固有のコンテンツフィルタリング済みのマルチメディア信号を生成する機能を実行させるソフトウェア命令を保持する少なくとも１つのメモリ装置と、を有する。
完全コンテンツ信号：マルチメディア信号は、エンコーディング済みのオーディオ信号、エンコーディング済みのビデオ信号、テキスト、スチール画像などのような、異なるタイプの複数のコンポーネントを含むことができる。複数の分離可能な部分を含むように、すべてのコンポーネントを構造化することができる。例えば、パノラマ信号のパノラマビデオコンポーネントは、４πステラジアン未満の個別の定義された立体角をそれぞれがカバーするサブコンポーネントに分割することができる。
部分コンテンツ信号：この用語は、完全コンテンツ信号から抽出された信号を意味しており、この場合に、すべてのコンポーネントの少なくとも１つの分離可能な部分がフィルタリングによって除去されており、且つ、恐らくは、その他のコンポーネントも、フィルタリングによって除去されている。 ビデオ信号のカバレッジ：本明細書においては、ビデオ信号のカバレッジ（又は、空間カバレッジ）は、ビデオ信号を生成するカメラから可視状態にある空間によって定義される立体角として定義されている。
完全カバレッジビデオ信号：４πステラジアンのカバレッジのビデオ信号が完全カバレッジビデオ信号として参照されている。完全カバレッジビデオ信号は、完全コンテンツ信号のコンポーネントであってもよい。
信号フィルタリング：信号フィルタリングという用語は、ノイズや遅延ジッタに起因する信号劣化を無くすか減らすために信号受信機において実施される従来式の動作を意味し、信号フィルタリング処理では信号のコンテンツは変化しない。
コンテンツフィルタリング：この用語は、特定の情報だけを保持するために（信号フィルタリング処理に続いて）信号の情報を修正する処理を意味し、完全カバレッジ（達成可能カバレッジ）ビデオ信号のコンテンツフィルタリングにより、縮小（注目）された視聴領域に対応する部分カバレッジビデオ信号が生成される。
完全カバレッジカメラ（又は、４πカメラ）：本明細書においては、完全カバレッジビデオ信号を生成するカメラが完全カバレッジカメラ又は４πカメラとして参照されている。
実現可能なカバレッジのビデオ信号：完全カバレッジビデオ信号は、理想的なカメラによって生成される。カメラによって生成されるビデオ信号の実際のカバレッジは、実現可能なカバレッジとして参照されている。
部分カバレッジビデオ信号：実現可能なカバレッジ未満のカバレッジのビデオ信号が、部分カバレッジビデオ信号として参照されている。部分カバレッジビデオ信号は、部分コンテンツ信号のコンポーネントであってもよい。
部分カバレッジマルチメディア信号：本明細書にいては、オーディオ信号、画像信号、テキスト信号、及び部分カバレッジビデオ信号を有する複合信号が、部分カバレッジマルチメディア信号と呼称されている。
ソース：パノラママルチメディアソースは、完全カバレッジカメラのみならず、デワープ及び圧縮解除モジュールをも有しており、「ソース」という用語は、本明細書においては、パノラママルチメディアソースを意味するように使用されている。
未加工のビデオ信号：カメラによって生成される信号が、「未加工のビデオ信号」として参照されている。
補正済みビデオ信号：デワープされた未加工のビデオ信号が、「補正済みのビデオ信号」として参照されている。
ソースビデオ信号：パノラママルチメディアサーバがパノラママルチメディアソースから受け取るビデオ信号を「ソースビデオ信号」と称する。ソースビデオ信号は、未加工のビデオ信号、補正済みビデオ信号、圧縮済みのビデオ信号、又はコンパクトビデオ信号であってよい。
ソースマルチメディア信号：パノラママルチメディアサーバがパノラママルチメディアソースから受け取るマルチメディア信号を「ソースマルチメディア信号」と称する。ソースマルチメディア信号は、他の形式の信号（例えば、オーディオ信号やテキスト信号）に加えてソースビデオ信号を含んでよい。
プロセッサ：本明細書において使用されている「プロセッサ」という用語は、少なくとも１つのハードウェア処理装置にソフトウェア命令内において規定されている動作を実行させるソフトウェア命令を記憶している少なくとも１つのメモリ装置に対して結合される少なくとも１つのハードウェア（物理的）処理装置を意味している。
圧縮モジュール：この用語は、プロセッサと、プロセッサに、初期ビデオ信号の直接的なエンコーディングの結果として得られるビットレートとの比較において、低減されたビットレートの圧縮済みのビデオ信号を生成するべく、初期ビデオ信号をエンコーディングさせるソフトウェア命令を記憶しているメモリ装置と、を有する周知の装置を意味している。
圧縮解除モジュール：この用語は、プロセッサと、プロセッサに、圧縮済みのビデオ信号が生成された初期ビデオ信号のレプリカを生成するべく、圧縮済みのビデオ信号を圧縮解除させるソフトウェア命令を記憶しているメモリ装置と、を有する周知の装置を意味している。
ソース圧縮モジュール：未加工のビデオ信号から、或いは、未加工のビデオ信号から生成されたデワープ済みのビデオ信号から、圧縮済みのビデオ信号を生成するべく、ビデオ信号ソースに結合されている圧縮モジュールが、ソース圧縮モジュールである。圧縮モジュール３４０（図３、図４、図７、及び図８）がソース圧縮モジュールである。
サーバ圧縮モジュール：本明細書においては、ソースビデオ信号から圧縮済みのビデオ信号を生成するべくサーバに結合されている圧縮モジュールが「サーバ圧縮モジュール」として参照されている。圧縮モジュール１１６０（図１１）、１３４０、１３６０（図１３）、及び２０３０（図２０）がサーバ圧縮モジュールである。
サーバ圧縮解除モジュール：本明細書においては、未加工のビデオ信号のレプリカ又は未加工のビデオ信号から生成されたデワープ済みのビデオ信号のレプリカを生成するべく、サーバに結合されている圧縮解除モジュールが、「サーバ圧縮解除モジュール」として参照されている。圧縮解除モジュール３５０（図３、図４、図７、及び図８）がサーバ圧縮解除モジュールである。
クライアント圧縮解除モジュール：本明細書においては、サーバにおいて生成された、純ビデオ信号の、又はコンテンツフィルタリング済みのビデオ信号の、レプリカを生成するべく、クライアント装置に結合されている圧縮解除モジュールが、「クライアント圧縮解除モジュール」として参照されている。圧縮モジュール２２７０（図２２）がクライアント圧縮解除モジュールである。
圧縮済みのビデオ信号：圧縮済みの未加工のビデオ信号が、「圧縮済みのビデオ信号」として参照されている。
コンパクトビデオ信号：圧縮された補正済みの信号が、「コンパクトビデオ信号」として参照されている。
整流済みビデオ信号：圧縮及びその後の圧縮解除によって後続される未加工のビデオ信号をデワープするプロセス又は圧縮解除及びデワープによって後続される未加工のビデオ信号を圧縮するプロセスが、整流済みビデオ信号をもたらす。
純ビデオ信号：本明細書においては、補正済みビデオ信号又は整流済みビデオ信号が、純ビデオ信号として参照されている。純ビデオ信号は、ソースにおいてキャプチャされた個々のシーンに対応している。
信号サンプル：この用語は、純ビデオ信号から、又は純ビデオ信号から抽出されたコード変換済みのビデオ信号から、抽出された完全カバレッジ（実現可能なカバレッジ）のビデオ信号を意味している。信号サンプルのフローレート（ビットレート）は、信号サンプルが抽出されたビデオ信号のフローレートよりも格段に小さくなろう。信号サンプルは、クライアント装置における視聴者が好ましい視聴領域を選択及び識別できるようにするべく、クライアント装置に送信される。
エンコーダ：エンコーダは、アナログ－デジタルコンバータ又はデジタル－デジタルコード変換器に類似したものであってもよい。エンコーダは、ビットのストリームとして表されたエンコーディング済みの信号を生成する。
エンコーディングレート：相対的に短い期間にわたって計測された単位時間当たりのビットの数は、その計測期間における「瞬間的」なエンコーディングレートであると見なされる。エンコーディング済みの信号の特性に起因して、エンコーディングレートの迅速な自然変動が発生しうる。コントローラは、多数の（調整されてはいない）ユーザによって共有されるネットワークを通じて、通信経路の時変状態に応答して、エンコーディングレートの変動を強制的に生成することができる。強制的に生成されるエンコーディングレートの変動は、通常、エンコーディングレートの自然発生的な変動よりも低速である。
フローレート：データ損失が存在しない場合には、宛先までの経路に沿った信号のフローレートは、サーバにおける信号のエンコーディングレートと等しい。エンコーディングレートの自然変動に起因して、エンコーディングレートのパラメトリック表現が、ユーザによって規定されてもよく、或いは、コントローラにおいて判定されてもよい。パラメトリック表現は、自然変動するエンコーディングレートの推定統計分布に基づいたものであってもよい。
メトリック：メトリックは、例えば、回帰分析を使用して十分なパフォーマンス測定値から導出される特定のプロパティ又は特性の単一の尺度である。
受け入れインターバル：メトリックは、メトリックの値が「受け入れインターバル」を定義する下部境界と上部境界との間において留まっている場合に、望ましい状態を反映しているものと見なされる。受け入れインターバルは、両端を含んでおり、即ち、その間の値に加えて、下部境界及び上部境界の値をも含んでいる。
メトリックインデックス：メトリックは、メトリックの値が個別の受け入れインターバルの下部境界未満である際の「－１」という状態、値が受け入れインターバルの上部境界超である場合の「１」という状態、並びに、これら以外の場合、即ち、値が下部及び上部境界を含む受け入れインターバル内にある場合の「０」という状態、という３つの状態のうちの１つにあるものと定義することができる。メトリックインデックスは、メトリックの状態である。 送信機：この用語は、搬送波（光搬送波又はマイクロ波搬送波）をベースバンド信号で変調して変調搬送波を生成する従来式の装置を意味する。
受信機：この用語は、変調搬送波を復調して、送信されたベースバンド信号を抽出する従来式の装置を意味する。
プロセッサ：この用語は、ハードウェア装置（物理的処理装置）を意味する。
Ｇｂ／ｓ、Ｍｂ／ｓ：ギガビット毎秒（１０９ビット毎秒）、メガビット毎秒（１０６ビット毎秒）
本発明のサーバは、パノラママルチメディア信号を受け取って広く配信する。パノラママルチメディア信号は、他の形式の信号（例えば、オーディオ信号やテキスト）に加えてパノラマビデオ信号を含む。本明細書及び特許請求対象は、ビデオ信号コンポーネントに関連する新規な特徴に重点を置いている。しかしながら、当然のこととして、サーバは、編集済みパノラマビデオ信号を他のタイプの信号と一緒にクライアント装置に配信することが理解される。
参照符号
１００ パノラママルチメディア信号をストリーミングするシステム
１１０ パノラママルチメディアソース
１１５ 送信媒体
１２０ ユニバーサルストリーミングサーバ（簡潔に「サーバ」としても参照されている）
１５０ ネットワーク
１８０ クライアント装置
２００ 複数のソース及び複数のサーバを有するストリーミングシステム
３１０ パノラマ４πカメラ
３１２ 未加工の信号
３２０ サーバにおけるデワープモジュール
３２２ 補正済みの信号
３２４ 整流済みの信号
３３０ ソースにおけるデワープモジュール
３４０ 圧縮モジュール
３４２ 圧縮済みの信号
３４３ コンパクトな信号
３５０ 圧縮解除モジュール
３５２ 圧縮解除済みの信号
４２０ 純ビデオ信号
４６０ 信号編集モジュール
４８０ 大容量経路
４９０ 低容量経路
５００ 第１通信経路
５２０ ソース送信機
５２８ サーバへの変調済みの搬送波信号
５４０ サーバ受信機
５４２ ベースバンド信号（ワープ済み）
５６０ クライアント装置に対するインタフェース
５８５ クライアントへの変調済みの搬送波信号
６００ 第２通信経路
６２８ サーバに対する変調済みの搬送波信号
６４２ ベースバンド信号（デワープ済み）
６８５ クライアントに対する変調済みの搬送波信号
７００ 第３通信経路
７２０ ソース送信機
７２８ サーバに対する変調済みの搬送波信号
７４０ サーバ受信機
７４２ ベースバンド信号（ワープ済み、圧縮済み）
７８５ クライアントに対する変調済みの搬送波信号
８００ 第４通信経路
８２８ サーバに対する変調済みの搬送波信号
８４２ ベースバンド信号（デワープ済み、圧縮済み）
８８５ クライアントに対する変調済みの搬送波信号
９００ ソースビデオ信号（３１２、３２２、３４２、又は３４３）
９０５ パノラママルチメディアソースからの制御データ
９２５ パノラママルチメディアソースに対する制御データ
９３５ クライアント装置からのアップストリーム制御信号
９４０ クライアント装置に対する編集済みのマルチメディア信号
９４５ クライアント装置に対するダウンストリーム制御信号
１０００ サーバのコンポーネント
１００５ ソースとクライアント装置との間における全てのデータ
１００８ ネットワークに対する少なくとも１つのデュアルリンク
１０１０ サーバ－ネットワークインタフェース
１０２２ ソース制御データモジュール
１０２４ ソース信号処理モジュール
１０２６ クライアント制御データモジュール
１０６０ クライアントに固有の適合モジュール
１０６１ クライアント制御バス
１０９０ 編集済みのマルチメディア信号のコンバイナ
１１２０ コンテンツフィルタリングモジュールであり、簡潔に「コンテンツフィルタ」とも呼称される
１１２２ コンテンツフィルタリング済みのビデオ信号
１１３２ コンテンツフィルタリングされたコード変換済みのビデオ信号
１１４０ コード変換モジュール
１１４２ コード変換されたコンテンツフィルタリング済みのビデオ信号
１１５２ コード変換済みのビデオ信号
１１６０ サーバ圧縮モジュール
１２２０ 平均ビットレート
１２２５ 有効ビットレート
１２３０ 規定されたピークビットレート
１３００ 選択的視聴選択肢
１３２０ フレームサンプリングモジュール
１３２２ 完全カバレッジのフレームサンプリング済みの信号
１３４０ 空間－時間的サーバ圧縮モジュール
１３４２ 完全カバレッジの圧縮済みの信号
１３６０ 空間－時間的サーバ圧縮モジュール
１３６２ 予め選択されたコンテンツフィルタリング済みの信号の連続体
１３６４ 部分カバレッジ信号の連続体
１４０２ サーバに要求する、クライアントからサーバへのメッセージ
１４０４ 選択された視聴領域を定義する、クライアントからサーバへのメッセージ
１４４０ サーバからクライアントへの、圧縮されたコンテンツフィルタリング済みのビデオ信号
１５２０ 圧縮済みのビデオ信号の平均ビットレート
１５２５ 圧縮済みのビデオ信号の有効ビットレート
１６００ 信号編集モジュールの基本コンポーネント
１６１０ コンテンツフィルタリングステージ
１６１２ 選択されたコンテンツ
１６３０ 信号処理ユニット
１６５０ クライアント装置の組に対するコンディショニング済みのマルチメディア信号
１７１０ サーバ－ネットワークインタフェース
１７２０ コンテンツ識別子
１７２５ 圧縮解除モジュール及び／又はデワープモジュール
１８４０ コード変換モジュール
１８４２ クライアント装置に対して適合された信号
１８６０ フローレート適合モジュール
１８６１ データブロックを保持するバッファ
１８６２ フローレート適合用のプロセッサ実行可能命令を記憶するメモリ装置
１９００ 信号編集モジュールの例示的な実装形態
１９２２ コンテンツフィルタリング済みの信号のデータブロックを保持するバッファ
１９２３ プロセッサにフレームレート及び／又は分解能を変更させるプロセッサ実行可能命令を記憶するメモリ装置
２０００ ターゲットクライアント装置用のビデオ信号編集のプロセス
２０１２ 好ましい視聴領域の識別子
２０１４ トラフィックパフォーマンス測定値
２０１６ 公称フレームレート及びフレーム分解能
２０３０ サーバ圧縮モジュール
２０４０ ターゲットクライアント装置との互換性を有する、許容可能なフローレートのみならず、フレームレート及びフレーム分解能をも判定するモジュール
２０５０ 送信機
２０５２ 付随するマルチメディア信号（オーディオ信号及び／又はテキストなど）及び制御信号を伴うビデオ信号
２０６０ ネットワーク経路
２１１０ ターゲットクライアント装置の表示装置における必須フローレートを判定するプロセス
２１２０ サーバとターゲットクライアント装置の間の許容可能なフローレート（参照符号２１２２）を判定するプロセス
２１２２ 許容可能なフローレート
２１３０ 必須圧縮比率を判定するプロセス
２１４０ 圧縮比率が受け入れ可能であるかどうかを判定するプロセス
２１５０ 修正済みのフレームレート及び／又は分解能を判定するモジュール
２１５２ 修正済みのフレームレート及び／又は修正済みの分解能
２２１０ クライアント装置特徴付けデータを記憶するメモリ装置
２２２０ 特定のサーバとやり取りするためのソフトウェア命令を記憶するメモリ装置
２２３０ クライアント送信機
２２４０ クライアント受信機
２２４２ インタフェースモジュール
２２５０ プロセッサ
２２６０ 到来するマルチメディアデータのデータブロックを保持するメモリ装置
２２７０ クライアント圧縮解除モジュール
２２８０ 表示データのブロックを保持するメモリ
２２９０ 表示装置
２３１４ ソース１１０とサーバ１２０との間のデュアル制御経路
２４１２ ネットワーク経路
２５１２ ソース１１０からサーバ１２０への制御信号９０５及びサーバ１２０からソース１１０への制御信号９２５を搬送するデュアル制御経路
２５２５ サーバ１２０からクライアント装置１８０へのマルチメディアペイロード信号経路
２５２６ サーバ１２０とクライアント装置との間のデュアル制御経路
２５４５ クライアント装置と関連するオートマトン
２６１０ 少なくとも１つのハードウェアプロセッサ
２６２０ 受信されたパノラマビデオ信号９００を処理するように構成されたモジュールの組
２６２１ 信号フィルタリングモジュール
２６４０ クライアント装置に関係するモジュール
２６４１ クライアントプロファイルデータベース
２６４２ クライアント装置特徴付けモジュール
２６４３ クライアント装置に対する信号適合用のモジュール
２６５１ サーバ－ソースインタフェース
２６５２ ソース特徴付けモジュール
２６６０ クライアントに固有のモジュール
２６６１ サーバ－クライアントインタフェース
２６６２ クライアント環境に対する信号適合用のモジュール
２６６３ クライアントの視聴の好みに対する信号適合用のモジュール
２７２５ 学習モジュール
２８２０ 圧縮解除モジュール及びデワープモジュール
２８３０ クライアント装置タイプに対する信号適合用の少なくとも１つの個別のハードウェアプロセッサを利用するモジュール
２９２５ 予め定義された部分カバレッジ定義を記憶するメモリ装置
２９４０ クライアントの装置に対する信号適合用のモジュール
３０１０ 選択されたパノラママルチメディアソースからパノラママルチメディア信号を取得するプロセス
３０１２ ノイズ及び遅延ジッタによって生成される劣化をオフセットするべくソースビデオ信号をフィルタリングするプロセス
３０１４ 信号がソースにおいて圧縮されている場合のソースビデオ信号の圧縮解除のプロセス
３０１８ 信号がソースにおいてデワープされていない場合のビデオ信号デワープのプロセス
３０２０ クライアントからサービス要求を受け取るプロセス
３０２２ クライアントの装置の特性に対して純ビデオ信号を適合させるプロセス
３０２６ クライアント装置の特性に対して適合されたビデオ信号を圧縮するプロセス
３０２８ クライアント装置に対する信号送信のプロセス
３０３０ 好ましい視聴領域を規定するクライアントからの制御信号
３０３２ 視聴の好みを特定するプロセス
３０３４ コンテンツフィルタリングのプロセス
３０００ パノラママルチメディア信号を取得すると共に取得されたマルチメディア信号を個々のクライアントに適合させる方法
３１００ 方法３０００の一変形
３２００ ストリーミング制御テーブル
３３００ 特定のクライアント装置におけるビデオ信号の適合のプロセス
３３１０ クライアントインタフェースモジュールにおいてクライアント装置からのサービス要求を受け取るプロセス
３３１２ クライアント装置のタイプを識別するプロセス
３３１４ クライアント装置の以前の識別情報を判定するプロセス
３３１６ クライアント装置タイプに対応する既存のストリームカテゴリを識別するプロセス
３３２０ 新しい装置タイプの新しいストリームカテゴリを生成するプロセス
３３２２ 純ビデオ信号を装置タイプに適合させるプロセス
３３２４ 新しいストリームカテゴリを記録するプロセス
３３２６ 既存のストリームを選択する又は新しいストリームを生成するプロセス
３３３０ 特定のクライアント装置に対する信号送信のプロセス
３４００ クライアント装置のそれぞれのタイプごとの視聴選択肢のカウントを示す表
３５００ 信号コンテンツの変化及び性能メトリックに基づいたフローレート制御のプロセス
３５１０ パフォーマンス測定値を受け取るプロセス
３５１２ パフォーマンス測定値に基づいて性能メトリックを演算するプロセス
３５１４ 現時点の性能が受け入れ可能であるかどうかを判定するプロセス
３５２０ 新しいコンテンツの定義を受け取るプロセス
３５２２ 受け取った新しいコンテンツの定義に従って純ビデオ信号のコンテンツをフィルタリングするプロセス
３５２４ 新しいコンテンツに対応するフローレート要件を判定するプロセス
３５４０ 信号のエンコーディングにおいて現時点の許容可能なフローレートを強制実施するのか、或いは、ネットワークコントローラから新しい（更に大きな）許容可能なフローレートを取得するのか、を判定するプロセス
３５４２ 現時点のフローレートを強制実施するプロセス
３５４４ 改善された許容可能なフローレートを取得するべくネットワークコントローラと通信するプロセス
３５５０ （現時点の又は改善された）許容可能なフローレートの制約下における信号エンコーディングのプロセス
３６００ ユニバーサルストリーミングサーバのフロー制御システム
３６１０ フローコントローラ
３６１２ コンテンツ定義パラメータ（コンテンツ選択パラメータ）
３６１６ パフォーマンス測定値
３６２５ サーバ－ネットワークインタフェース
３６３０ フローコントローラのプロセッサ
３６３５ 好ましいフローレートを判定するモジュール（モジュール３６３５は、プロセス３５００を実装することができる）
３６５０ 部分コンテンツ信号（コンテンツフィルタリング済みの信号）
３６４０ 部分コンテンツ信号３６５０のエンコーダ
３６６０ クライアント装置に対して送信される圧縮済みの信号
３７００ コンテンツフィルタリング及び信号フローレート適合の組み合わせられたプロセス
３７１０ コンテンツ定義パラメータ及びパフォーマンス測定値の形態においてクライアント装置から制御データを受け取るプロセス
３７２０ コンテンツの変化の発生時期が到来しているかどうかを判定するべくクライアント装置から受け取ったコンテンツ定義パラメータを試験するプロセス
３７３０ 好ましいフローレートを判定するプロセス
３７４０ フローレートの変更が必要とされているかどうかを判定するプロセス
３７５０ 必須フローレートをエンコーダに伝達するプロセス
３７６０ コンテンツ定義パラメータをコンテンツフィルタに伝達するプロセス
３７７０ 受け取ったクライアントの制御データが変更済みの信号コンテンツに対応することを保証するための印加された人工的な遅延
３８２２ コンテンツフィルタに専用のプロセッサ
３８２４ プロセッサ３８２２に部分コンテンツ信号を完全コンテンツ信号から抽出させるソフトウェア命令
３８２６ 完全コンテンツ信号のブロックを保持するバッファ
３８２８ 部分コンテンツ信号のブロックを保持するバッファ
３８６０ 更新済みのコンテンツ信号
３９００ ストリーミングセッションを開始するべくサーバにおいて実行される初期プロセス
３９１０ 信号ソースから圧縮済みの完全コンテンツ信号を受け取るプロセス
３９１５ ソースにおいて生成されたオリジナルの信号を回復するべく完全コンテンツ信号を圧縮解除するプロセス
３９２０ クライアント装置から接続要求を受け取るプロセス
３９２５ 接続要求がコンテンツ定義パラメータを規定しているかどうかを判定するプロセス
３９３０ 既定のコンテンツ定義パラメータを規定するプロセス
３９４０ 既定のコンテンツ定義パラメータ又は規定されたコンテンツ定義パラメータに基づいて部分コンテンツ信号を抽出するプロセス
３９５０ 抽出された信号のフローレートが接続要求において規定されているかどうかを判定するプロセス
３９５５ 既定のフローレートをエンコーダに提供するプロセス
３９６０ 規定されているフローレートにおける信号エンコーディングのプロセス
３９７０ エンコーディング済みの信号のターゲットクライアント装置への送信
４０００ エンコーディング済みの信号のコンテンツ及びフローレートの適応型の変更方法
４０１０ クライアント装置と関連するオートマトンからコンテンツの好みを受け取るプロセス
４０２０ コンテンツの変更が要求されているかどうかを判定するプロセス
４０３０ 完全コンテンツ信号から部分コンテンツ信号を抽出するプロセス
４０４０ 公称エンコーディングレートにおける信号エンコーディングプロセス
４０５０ 性能データに基づいてエンコーディングを判定するプロセス
４０６０ 好ましいエンコーディングレートにおいてコンテンツに固有の信号をエンコーディングするプロセス
４０７０ エンコーディングされたコンテンツに固有のフローレート制御された信号のターゲットクライアント装置への送信
４１００ 信号の好ましいエンコーディングレートを判定する基準
４１１０ 現時点の許容可能なフローレートの維持
４１２０ プライマリメトリックに基づいて許容可能なフローレートを判定するプロセス
４１３０ セカンダリメトリックに基づいて許容可能なフローレートを判定するプロセス
４１４０ プライマリメトリック及びセカンダリメトリックに基づいて許容可能なフローレートを判定するプロセス
４２１０ クライアントの受信機に関連する性能データに基づいてプライマリメトリックを判定するプロセス
４２２０ いずれかのプライマリメトリックが個別の受け入れインターバル超であるかどうかを判定するプロセス
４２２５ プライマリメトリックに基づいて低減された許容可能なフローレートを判定するプロセス
４２３０ サーバからクライアント装置までのネットワーク経路の状態に関連する性能データに基づいてセカンダリメトリックを判定するプロセス
４２４０ いずれかのセカンダリメトリックが個別の受け入れインターバル超であるかどうかを判定するプロセス
４２４５ セカンダリメトリックに基づいて低減された許容可能なフローレートを判定するプロセス
４２５０ それぞれのプライマリメトリックがその予め定義された受け入れインターバル未満であるかどうか、並びに、それぞれのセカンダリメトリックがその予め定義された受け入れインターバル未満であるかどうか、を判定するプロセス
４２５５ 現時点のエンコーディングレートを維持する状態
４２６０ プライマリ及びセカンダリメトリックに基づいて新しいエンコーディングレートを判定するプロセス
４２８０ 必須エンコーディングレートを個々のエンコーダに伝達するプロセス
４３１０ サーバにおいて完全コンテンツ信号を受け取るプロセス
４３２０ 既に抽出済みの部分コンテンツ信号のパラメータを保持するレジスタを生成するプロセス
４３３０ 特定のクライアントから完全コンテンツ信号の部分コンテンツを定義するパラメータを受け取るプロセス
４３４０ 予め抽出された部分コンテンツ信号の存在又は不存在を特定するべくレジスタを試験するプロセス
４３５０ プロセス４３６０又は４３７０のいずれかを選択するプロセス
４３６０ マッチングする部分コンテンツ信号に対するアクセスを提供するプロセス
４３７０ 新しいコンテンツ定義パラメータに従って新しい部分コンテンツ信号を抽出するプロセス
４３８０ 将来の使用のために新しいコンテンツ定義パラメータをレジスタに追加するプロセス
４３９０ 部分コンテンツ信号をエンコーダまで導くプロセス
４４２０ 信号編集モジュール４６０によって生成されたデータブロックを保持するバッファ
４４５０ マルチプレクサ
４４６０ 複数のコンテンツフィルタリング済みのストリーム
４５４０ 少なくとも１つのサーバ及び／又はその他のルータ－スイッチに接続しているルータ－スイッチ
４５４１ ルータ－スイッチ４５４０の入力ポート
４５４２ ルータ－スイッチ４５４０の出力ポート
４６００ 選択的なコンテンツブロードキャストのための先行技術のシステム
４６１０ アンテナ又はケーブルアクセスを含んでよいカメラのオペレータ、カメラ、通信送信機を含む、各信号ソースの複数の各信号ソース－信号ソースは、固定されてよく、又は可動性であってよい
４６１２ カメラのオペレータ
４６１４ カメラ
４６１６ アンテナ又はケーブルアクセスに結合されている送信機
４６２０ 伝送媒体
４６３０ 放送局で複数の出力チャネルを有する受信機及び圧縮解除モジュール
４６４０ 受信機４６３０から取得された、個々の信号ソース４６１０に対応するベースバンド信号
４６５０ 複数の表示装置のうちの１つの表示装置
４６６０ 表示装置４６５０に供給されるベースバンド信号のうちの１つのベースバンド信号を選択するためのコンテンツ選択ユニット
４６６２ 対応するベースバンド信号４６４０を選択するための表示画面４６５０を視聴するオペレータ
４６６４ 受信機４６３０の出力で生成されたベースバンド信号のうちの１つのベースバンド信号を送信機に導くための手動動作セレクタ（スイッチ装置）
４６８０ 送信機
４６９０ 放送局及び／又はユニバーサルストリーミングサーバへのチャネル
４７００ ブロードキャストのためにオペレータ定義のマルチメディアコンテンツを生成する装置
４７１０ パノラママルチメディア信号ソース
４７１２ ソース信号（変調搬送波）
４７１４ ソース処理ユニット
４７１５ 各フレームデータブロックに各巡回フレーム数を挿入するためのモジュール
４７１６ ソース送信機
４７１８ 伝送媒体
４７２０ 取得モジュール
４７２５ パノラマディスプレイを視聴するためにバーチャルリアリティ（ＶＲ）ヘッドセットを着用するオペレータ
４７３０ 純マルチメディア信号
４７３２ 信号記述子
４７４０ ブロードキャストのためのコンテンツセレクタ
４７５０ 純マルチメディア信号４７３０から、オペレータの好ましい視聴角度に対応するフィルタリング済みの信号を抽出するバーチャルリアリティのヘッドセット（ＶＲヘッドセット）
４７５２ ＶＲヘッドセットと視聴領域を定義するコンテンツフィルタとの間の制御信号
４７６０ コンテンツフィルタ
４７６４ コンテンツフィルタリング済みの信号
４７７０ 受信した４πビデオ信号のための少なくとも１つのパノラマディスプレイ装置
４８００ 第１のストリーミング及びブロードキャストシステム
４８０４ ブロードキャストサブシステム
４８０８ ストリーミングサブセクション
４８１０ 中継器；基本的に、増幅器及び物理的（コンテンツでない）信号処理
４８２０ ストリーミング装置
４８１２ 伝送媒体
４８６２ 圧縮モジュール
４８６４ 圧縮されたコンテンツフィルタリング済みの信号
４８７０ 送信機
４８８０ 放送局へのチャネル
４８９０ ネットワーク１５０へのチャネル
４９４０ 受信機
４９４３ ソースマルチメディア信号
４９４６ 純信号ジェネレータ４９５０のセレクタ
４９４７ 出力セレクタ
４９５０ 純信号ジェネレータ
５０９０ 外部ディスプレイ
５１００ 選択的なコンテンツブロードキャストのためのシステム４８００のブロードキャストサブシステム
５１２０ 監視設備
５２００ コンテンツバッファを有する視聴アダプタを使用する選択的なコンテンツブロードキャストのためのブロードキャストサブシステム
５２１０ 視聴アダプタ
５２２０ コンテンツフィルタコントローラ
５２２２ フレーム識別子
５２３０ コンテンツバッファ（循環バッファ）
５２４０ 離れたコンテンツセレクタ
５２５０ 視聴アダプタへの通信経路
５２６０ 離れたコンテンツセレクタ５２４０から視聴アダプタ５２１０への制御信号 ６０００ 循環コンテンツバッファ５３３０内のフレームデータストレージ
６０１０ コンテンツバッファ５２３０に保持されたフレームデータブロック
６０２０ コンテンツバッファ５２３０におけるフレームデータブロックのアドレス
６５００ 統合された選択的なコンテンツブロードキャスト及びストリーミングのための第２システム
６５２０ ルーティング設備
６５２２ 信号ソース４７１０からルーティング設備６５２０への伝送チャネル
６５２４ ルーティング設備６５２０からネットワーク６５３０への伝送チャネル
６５２６ ネットワーク６５３０からルーティング設備６５２０への伝送チャネル
６５２８ ルーティング設備６５２０から放送局６５８０への伝送チャネル
６５３０ 共有されたネットワーク（例えば、インターネット）
６５４０ リモートコンテンツコントローラ
６５４４ ネットワーク６５３０からコンテンツコントローラへのチャネル
６５４６ 離れたコンテンツセレクタからネットワーク６５３０へのチャネル
６４５８ リモートコンテンツコントローラ６５４０からルーティング設備６５２０への制御データ
６５５１ ネットワーク６５３０を介して離れたコンテンツセレクタ６５４０に導かれたルーティング設備６５２０からの変調搬送波
６５５２ クラウド演算ネットワーク６５７０を介してサーバ１２０に導かれたルーティング設備５５２０からの変調搬送波
６５７０ クラウド演算ネットワーク
６５８０ 放送局（テレビ放送局）
６６１０ サーバ１２０及び離れたコンテンツセレクタ５２４０に導かれた搬送波信号のための中継器
６６７０ 受信機
６７１０ フレーム数抽出モジュール
６７１２ フレーム数挿入モジュール
６７２０ リフレッシュモジュール
６８２５ コンテンツフィルタ６８３２のバンク
６８３２ コンテンツフィルタ
６８４０ ベースバンド信号－コンテンツフィルタ６８３２の出力
６９００ 図５１のシステムに関連する選択的なコンテンツブロードキャストの方法
７０００ 図６８のシステムに関連する選択的なコンテンツブロードキャストの方法
７１００ 図４７のシステムに関連する統合されたブロードキャスト及びストリーミングの方法
７１１０ パノラママルチメディアソース４７１０からの変調済みの搬送波信号４７１２を受信するプロセス
７１１２ 純マルチメディア信号４７３０を取得する（取得モジュール４７２０）プロセス
７１１４ オペレータ定義のコンテンツフィルタリング済みのマルチメディア信号を生成するプロセス
７１２０ コンテンツフィルタリング済みの信号を放送設備及びユニバーサルストリーミングサーバに伝送するプロセス
７１３０ 変調済みの搬送波信号４７１２をストリーミングサブシステムに中継するプロセス
７１４０ ストリーミングサブシステムで純マルチメディア信号４７３０を取得するプロセス
７１４２ 低フローレートで、純マルチメディア信号の完全コンテンツをユニバーサルストリーミングサーバにアクセスするクライアント装置に送信するプロセス
７１４４ クライアント固有の視聴の好みを受信するプロセス
７１４６ 視聴者の好みに従ったコンテンツフィルタリング済みの信号の生成
７１４８ 更に使用するために、オペレータ定義及び視聴者に定義されたコンテンツフィルタリング済みの信号を保持するプロセス
７２２０ コンテンツセレクタ４７４０でソース信号（変調済みの搬送波信号）４７１２を受信するプロセス
７２３０ ソース信号から純マルチメディア信号４７３０を取得するプロセス
７２４０ （ビデオ信号コンポーネントを含む）マルチメディア信号を表示するプロセス
７２４２ Ｎｕｌｌ位置として凝視位置を初期化するプロセス
７２４４ バーチャルリアリティのヘッドセットの出力から現時点の凝視位置を決定するプロセス
７２４６ 基準凝視位置から現時点の凝視位置の変位を決定するプロセス
７２４８ 凝視位置の変位の値に従って次のプロセス（プロセス７２５０又はプロセス７２７０）を選択するプロセス
７２５０ 基準凝視位置を更新するプロセス
７２６０ 基準凝視位置に対応する視聴領域の定義及び基準凝視位置の周りの予め定義された輪郭を生成及び記憶するプロセス
７２７０ 純マルチメディア信号４７３０からコンテンツフィルタリング済みの信号４７６４を抽出するプロセス
７２７２ ブロードキャストの前にコンテンツフィルタリング済みの信号を圧縮するプロセス
７２７４ （圧縮済みの又はそうでない）コンテンツフィルタリング済みの信号を伝送するプロセス
７２８０ 後続の凝視位置を観測し、プロセス７２４４から７２７４までを繰り返すプロセス
７３１０ 離れたコンテンツセレクタ５２４０でソース信号（変調済みの搬送波信号）４７１２を受信するプロセス
７３２０ Ｎｕｌｌ位置として凝視位置を初期化するプロセス
７３３０ 離れたコンテンツセレクタ５２４０でソース信号４７１２からの純マルチメディア信号４７３０を取得するプロセス
７３４０ 離れたコンテンツセレクタ５２４０でマルチメディア信号を表示するプロセス
７３５０ 離れたコンテンツセレクタ５２４０と共に並置されたリフレッシュモジュール６７２０（図６７）で実行されるプロセス
７３５２ 巡回フレーム数を決定するプロセス
７３５４ 離れたコンテンツセレクタ５２４０のバーチャルリアリティのヘッドセットの出力から現時点の凝視位置を決定するプロセス
７３５６ 基準凝視位置から現時点の凝視位置７３５４の変位を決定するプロセス
７３５８ 凝視位置の変位の値に従って次のプロセス（プロセス７３７０又はプロセス７３７４）を選択するプロセス
７３７０ 基準凝視位置を更新するプロセス
７３７２ フレーム識別子及び基準凝視位置を含む制御メッセージを形成するプロセス
７３７４ フレーム識別子及びＮｕｌｌ凝視位置を含む制御メッセージを形成するプロセス
７３７８ プロセス７３７２又は７３７４の制御メッセージを視聴アダプタ５２１０に伝送するプロセス
７４００ 視聴アダプタ５２１０で実行されるプロセス
７４１０ 離れたコンテンツセレクタ５２４０から新しい凝視位置及び対応するフレーム識別子を受信するプロセス
７４１２ 受信したフレーム識別子
７４２０ コンテンツバッファ５２３０におけるフレームデータブロックのアドレスを決定するプロセス
７４３０ フレームデータブロック５２３２を読み取るプロセス
７４４０ プロセス７４５０及びプロセス７４６０を選択するプロセス
７４５０ 視聴アダプタ５２１０で新しい凝視位置及び予め定義された領域の形状（輪郭）に基づいて、視聴領域の定義を生成及び記憶するプロセス
７４６０ 制御メッセージが凝視位置の変化又はわずかな変化を示すＮｕｌｌ凝視位置を含むとき、最新の視聴領域の定義に基づいてコンテンツフィルタリング済みの信号４７６４を生成するプロセス
７４６２ 視聴アダプタ５２１０をサポートするルーティング設備６５２０（図６６）でコンテンツフィルタリング済みの信号を圧縮するプロセス
７４６４ ルーティング設備から圧縮されたコンテンツフィルタリング済みの信号を伝送するプロセス
７４８０ 離れたコンテンツセレクタ５２４０に結合されているリフレッシュモジュール６７２０から、
後続のコンテンツ選択データ（新しい凝視位置）及びフレーム識別子を受信するプロセス
１１０ パノラママルチメディアソース
１１５ 送信媒体
１２０ ユニバーサルストリーミングサーバ（簡潔に「サーバ」としても参照されている）
１５０ ネットワーク
１８０ クライアント装置
２００ 複数のソース及び複数のサーバを有するストリーミングシステム
３１０ パノラマ４πカメラ
３１２ 未加工の信号
３２０ サーバにおけるデワープモジュール
３２２ 補正済みの信号
３２４ 整流済みの信号
３３０ ソースにおけるデワープモジュール
３４０ 圧縮モジュール
３４２ 圧縮済みの信号
３４３ コンパクトな信号
３５０ 圧縮解除モジュール
３５２ 圧縮解除済みの信号
４２０ 純ビデオ信号
４６０ 信号編集モジュール
４８０ 大容量経路
４９０ 低容量経路
５００ 第１通信経路
５２０ ソース送信機
５２８ サーバへの変調済みの搬送波信号
５４０ サーバ受信機
５４２ ベースバンド信号（ワープ済み）
５６０ クライアント装置に対するインタフェース
５８５ クライアントへの変調済みの搬送波信号
６００ 第２通信経路
６２８ サーバに対する変調済みの搬送波信号
６４２ ベースバンド信号（デワープ済み）
６８５ クライアントに対する変調済みの搬送波信号
７００ 第３通信経路
７２０ ソース送信機
７２８ サーバに対する変調済みの搬送波信号
７４０ サーバ受信機
７４２ ベースバンド信号（ワープ済み、圧縮済み）
７８５ クライアントに対する変調済みの搬送波信号
８００ 第４通信経路
８２８ サーバに対する変調済みの搬送波信号
８４２ ベースバンド信号（デワープ済み、圧縮済み）
８８５ クライアントに対する変調済みの搬送波信号
９００ ソースビデオ信号（３１２、３２２、３４２、又は３４３）
９０５ パノラママルチメディアソースからの制御データ
９２５ パノラママルチメディアソースに対する制御データ
９３５ クライアント装置からのアップストリーム制御信号
９４０ クライアント装置に対する編集済みのマルチメディア信号
９４５ クライアント装置に対するダウンストリーム制御信号
１０００ サーバのコンポーネント
１００５ ソースとクライアント装置との間における全てのデータ
１００８ ネットワークに対する少なくとも１つのデュアルリンク
１０１０ サーバ－ネットワークインタフェース
１０２２ ソース制御データモジュール
１０２４ ソース信号処理モジュール
１０２６ クライアント制御データモジュール
１０６０ クライアントに固有の適合モジュール
１０６１ クライアント制御バス
１０９０ 編集済みのマルチメディア信号のコンバイナ
１１２０ コンテンツフィルタリングモジュールであり、簡潔に「コンテンツフィルタ」とも呼称される
１１２２ コンテンツフィルタリング済みのビデオ信号
１１３２ コンテンツフィルタリングされたコード変換済みのビデオ信号
１１４０ コード変換モジュール
１１４２ コード変換されたコンテンツフィルタリング済みのビデオ信号
１１５２ コード変換済みのビデオ信号
１１６０ サーバ圧縮モジュール
１２２０ 平均ビットレート
１２２５ 有効ビットレート
１２３０ 規定されたピークビットレート
１３００ 選択的視聴選択肢
１３２０ フレームサンプリングモジュール
１３２２ 完全カバレッジのフレームサンプリング済みの信号
１３４０ 空間－時間的サーバ圧縮モジュール
１３４２ 完全カバレッジの圧縮済みの信号
１３６０ 空間－時間的サーバ圧縮モジュール
１３６２ 予め選択されたコンテンツフィルタリング済みの信号の連続体
１３６４ 部分カバレッジ信号の連続体
１４０２ サーバに要求する、クライアントからサーバへのメッセージ
１４０４ 選択された視聴領域を定義する、クライアントからサーバへのメッセージ
１４４０ サーバからクライアントへの、圧縮されたコンテンツフィルタリング済みのビデオ信号
１５２０ 圧縮済みのビデオ信号の平均ビットレート
１５２５ 圧縮済みのビデオ信号の有効ビットレート
１６００ 信号編集モジュールの基本コンポーネント
１６１０ コンテンツフィルタリングステージ
１６１２ 選択されたコンテンツ
１６３０ 信号処理ユニット
１６５０ クライアント装置の組に対するコンディショニング済みのマルチメディア信号
１７１０ サーバ－ネットワークインタフェース
１７２０ コンテンツ識別子
１７２５ 圧縮解除モジュール及び／又はデワープモジュール
１８４０ コード変換モジュール
１８４２ クライアント装置に対して適合された信号
１８６０ フローレート適合モジュール
１８６１ データブロックを保持するバッファ
１８６２ フローレート適合用のプロセッサ実行可能命令を記憶するメモリ装置
１９００ 信号編集モジュールの例示的な実装形態
１９２２ コンテンツフィルタリング済みの信号のデータブロックを保持するバッファ
１９２３ プロセッサにフレームレート及び／又は分解能を変更させるプロセッサ実行可能命令を記憶するメモリ装置
２０００ ターゲットクライアント装置用のビデオ信号編集のプロセス
２０１２ 好ましい視聴領域の識別子
２０１４ トラフィックパフォーマンス測定値
２０１６ 公称フレームレート及びフレーム分解能
２０３０ サーバ圧縮モジュール
２０４０ ターゲットクライアント装置との互換性を有する、許容可能なフローレートのみならず、フレームレート及びフレーム分解能をも判定するモジュール
２０５０ 送信機
２０５２ 付随するマルチメディア信号（オーディオ信号及び／又はテキストなど）及び制御信号を伴うビデオ信号
２０６０ ネットワーク経路
２１１０ ターゲットクライアント装置の表示装置における必須フローレートを判定するプロセス
２１２０ サーバとターゲットクライアント装置の間の許容可能なフローレート（参照符号２１２２）を判定するプロセス
２１２２ 許容可能なフローレート
２１３０ 必須圧縮比率を判定するプロセス
２１４０ 圧縮比率が受け入れ可能であるかどうかを判定するプロセス
２１５０ 修正済みのフレームレート及び／又は分解能を判定するモジュール
２１５２ 修正済みのフレームレート及び／又は修正済みの分解能
２２１０ クライアント装置特徴付けデータを記憶するメモリ装置
２２２０ 特定のサーバとやり取りするためのソフトウェア命令を記憶するメモリ装置
２２３０ クライアント送信機
２２４０ クライアント受信機
２２４２ インタフェースモジュール
２２５０ プロセッサ
２２６０ 到来するマルチメディアデータのデータブロックを保持するメモリ装置
２２７０ クライアント圧縮解除モジュール
２２８０ 表示データのブロックを保持するメモリ
２２９０ 表示装置
２３１４ ソース１１０とサーバ１２０との間のデュアル制御経路
２４１２ ネットワーク経路
２５１２ ソース１１０からサーバ１２０への制御信号９０５及びサーバ１２０からソース１１０への制御信号９２５を搬送するデュアル制御経路
２５２５ サーバ１２０からクライアント装置１８０へのマルチメディアペイロード信号経路
２５２６ サーバ１２０とクライアント装置との間のデュアル制御経路
２５４５ クライアント装置と関連するオートマトン
２６１０ 少なくとも１つのハードウェアプロセッサ
２６２０ 受信されたパノラマビデオ信号９００を処理するように構成されたモジュールの組
２６２１ 信号フィルタリングモジュール
２６４０ クライアント装置に関係するモジュール
２６４１ クライアントプロファイルデータベース
２６４２ クライアント装置特徴付けモジュール
２６４３ クライアント装置に対する信号適合用のモジュール
２６５１ サーバ－ソースインタフェース
２６５２ ソース特徴付けモジュール
２６６０ クライアントに固有のモジュール
２６６１ サーバ－クライアントインタフェース
２６６２ クライアント環境に対する信号適合用のモジュール
２６６３ クライアントの視聴の好みに対する信号適合用のモジュール
２７２５ 学習モジュール
２８２０ 圧縮解除モジュール及びデワープモジュール
２８３０ クライアント装置タイプに対する信号適合用の少なくとも１つの個別のハードウェアプロセッサを利用するモジュール
２９２５ 予め定義された部分カバレッジ定義を記憶するメモリ装置
２９４０ クライアントの装置に対する信号適合用のモジュール
３０１０ 選択されたパノラママルチメディアソースからパノラママルチメディア信号を取得するプロセス
３０１２ ノイズ及び遅延ジッタによって生成される劣化をオフセットするべくソースビデオ信号をフィルタリングするプロセス
３０１４ 信号がソースにおいて圧縮されている場合のソースビデオ信号の圧縮解除のプロセス
３０１８ 信号がソースにおいてデワープされていない場合のビデオ信号デワープのプロセス
３０２０ クライアントからサービス要求を受け取るプロセス
３０２２ クライアントの装置の特性に対して純ビデオ信号を適合させるプロセス
３０２６ クライアント装置の特性に対して適合されたビデオ信号を圧縮するプロセス
３０２８ クライアント装置に対する信号送信のプロセス
３０３０ 好ましい視聴領域を規定するクライアントからの制御信号
３０３２ 視聴の好みを特定するプロセス
３０３４ コンテンツフィルタリングのプロセス
３０００ パノラママルチメディア信号を取得すると共に取得されたマルチメディア信号を個々のクライアントに適合させる方法
３１００ 方法３０００の一変形
３２００ ストリーミング制御テーブル
３３００ 特定のクライアント装置におけるビデオ信号の適合のプロセス
３３１０ クライアントインタフェースモジュールにおいてクライアント装置からのサービス要求を受け取るプロセス
３３１２ クライアント装置のタイプを識別するプロセス
３３１４ クライアント装置の以前の識別情報を判定するプロセス
３３１６ クライアント装置タイプに対応する既存のストリームカテゴリを識別するプロセス
３３２０ 新しい装置タイプの新しいストリームカテゴリを生成するプロセス
３３２２ 純ビデオ信号を装置タイプに適合させるプロセス
３３２４ 新しいストリームカテゴリを記録するプロセス
３３２６ 既存のストリームを選択する又は新しいストリームを生成するプロセス
３３３０ 特定のクライアント装置に対する信号送信のプロセス
３４００ クライアント装置のそれぞれのタイプごとの視聴選択肢のカウントを示す表
３５００ 信号コンテンツの変化及び性能メトリックに基づいたフローレート制御のプロセス
３５１０ パフォーマンス測定値を受け取るプロセス
３５１２ パフォーマンス測定値に基づいて性能メトリックを演算するプロセス
３５１４ 現時点の性能が受け入れ可能であるかどうかを判定するプロセス
３５２０ 新しいコンテンツの定義を受け取るプロセス
３５２２ 受け取った新しいコンテンツの定義に従って純ビデオ信号のコンテンツをフィルタリングするプロセス
３５２４ 新しいコンテンツに対応するフローレート要件を判定するプロセス
３５４０ 信号のエンコーディングにおいて現時点の許容可能なフローレートを強制実施するのか、或いは、ネットワークコントローラから新しい（更に大きな）許容可能なフローレートを取得するのか、を判定するプロセス
３５４２ 現時点のフローレートを強制実施するプロセス
３５４４ 改善された許容可能なフローレートを取得するべくネットワークコントローラと通信するプロセス
３５５０ （現時点の又は改善された）許容可能なフローレートの制約下における信号エンコーディングのプロセス
３６００ ユニバーサルストリーミングサーバのフロー制御システム
３６１０ フローコントローラ
３６１２ コンテンツ定義パラメータ（コンテンツ選択パラメータ）
３６１６ パフォーマンス測定値
３６２５ サーバ－ネットワークインタフェース
３６３０ フローコントローラのプロセッサ
３６３５ 好ましいフローレートを判定するモジュール（モジュール３６３５は、プロセス３５００を実装することができる）
３６５０ 部分コンテンツ信号（コンテンツフィルタリング済みの信号）
３６４０ 部分コンテンツ信号３６５０のエンコーダ
３６６０ クライアント装置に対して送信される圧縮済みの信号
３７００ コンテンツフィルタリング及び信号フローレート適合の組み合わせられたプロセス
３７１０ コンテンツ定義パラメータ及びパフォーマンス測定値の形態においてクライアント装置から制御データを受け取るプロセス
３７２０ コンテンツの変化の発生時期が到来しているかどうかを判定するべくクライアント装置から受け取ったコンテンツ定義パラメータを試験するプロセス
３７３０ 好ましいフローレートを判定するプロセス
３７４０ フローレートの変更が必要とされているかどうかを判定するプロセス
３７５０ 必須フローレートをエンコーダに伝達するプロセス
３７６０ コンテンツ定義パラメータをコンテンツフィルタに伝達するプロセス
３７７０ 受け取ったクライアントの制御データが変更済みの信号コンテンツに対応することを保証するための印加された人工的な遅延
３８２２ コンテンツフィルタに専用のプロセッサ
３８２４ プロセッサ３８２２に部分コンテンツ信号を完全コンテンツ信号から抽出させるソフトウェア命令
３８２６ 完全コンテンツ信号のブロックを保持するバッファ
３８２８ 部分コンテンツ信号のブロックを保持するバッファ
３８６０ 更新済みのコンテンツ信号
３９００ ストリーミングセッションを開始するべくサーバにおいて実行される初期プロセス
３９１０ 信号ソースから圧縮済みの完全コンテンツ信号を受け取るプロセス
３９１５ ソースにおいて生成されたオリジナルの信号を回復するべく完全コンテンツ信号を圧縮解除するプロセス
３９２０ クライアント装置から接続要求を受け取るプロセス
３９２５ 接続要求がコンテンツ定義パラメータを規定しているかどうかを判定するプロセス
３９３０ 既定のコンテンツ定義パラメータを規定するプロセス
３９４０ 既定のコンテンツ定義パラメータ又は規定されたコンテンツ定義パラメータに基づいて部分コンテンツ信号を抽出するプロセス
３９５０ 抽出された信号のフローレートが接続要求において規定されているかどうかを判定するプロセス
３９５５ 既定のフローレートをエンコーダに提供するプロセス
３９６０ 規定されているフローレートにおける信号エンコーディングのプロセス
３９７０ エンコーディング済みの信号のターゲットクライアント装置への送信
４０００ エンコーディング済みの信号のコンテンツ及びフローレートの適応型の変更方法
４０１０ クライアント装置と関連するオートマトンからコンテンツの好みを受け取るプロセス
４０２０ コンテンツの変更が要求されているかどうかを判定するプロセス
４０３０ 完全コンテンツ信号から部分コンテンツ信号を抽出するプロセス
４０４０ 公称エンコーディングレートにおける信号エンコーディングプロセス
４０５０ 性能データに基づいてエンコーディングを判定するプロセス
４０６０ 好ましいエンコーディングレートにおいてコンテンツに固有の信号をエンコーディングするプロセス
４０７０ エンコーディングされたコンテンツに固有のフローレート制御された信号のターゲットクライアント装置への送信
４１００ 信号の好ましいエンコーディングレートを判定する基準
４１１０ 現時点の許容可能なフローレートの維持
４１２０ プライマリメトリックに基づいて許容可能なフローレートを判定するプロセス
４１３０ セカンダリメトリックに基づいて許容可能なフローレートを判定するプロセス
４１４０ プライマリメトリック及びセカンダリメトリックに基づいて許容可能なフローレートを判定するプロセス
４２１０ クライアントの受信機に関連する性能データに基づいてプライマリメトリックを判定するプロセス
４２２０ いずれかのプライマリメトリックが個別の受け入れインターバル超であるかどうかを判定するプロセス
４２２５ プライマリメトリックに基づいて低減された許容可能なフローレートを判定するプロセス
４２３０ サーバからクライアント装置までのネットワーク経路の状態に関連する性能データに基づいてセカンダリメトリックを判定するプロセス
４２４０ いずれかのセカンダリメトリックが個別の受け入れインターバル超であるかどうかを判定するプロセス
４２４５ セカンダリメトリックに基づいて低減された許容可能なフローレートを判定するプロセス
４２５０ それぞれのプライマリメトリックがその予め定義された受け入れインターバル未満であるかどうか、並びに、それぞれのセカンダリメトリックがその予め定義された受け入れインターバル未満であるかどうか、を判定するプロセス
４２５５ 現時点のエンコーディングレートを維持する状態
４２６０ プライマリ及びセカンダリメトリックに基づいて新しいエンコーディングレートを判定するプロセス
４２８０ 必須エンコーディングレートを個々のエンコーダに伝達するプロセス
４３１０ サーバにおいて完全コンテンツ信号を受け取るプロセス
４３２０ 既に抽出済みの部分コンテンツ信号のパラメータを保持するレジスタを生成するプロセス
４３３０ 特定のクライアントから完全コンテンツ信号の部分コンテンツを定義するパラメータを受け取るプロセス
４３４０ 予め抽出された部分コンテンツ信号の存在又は不存在を特定するべくレジスタを試験するプロセス
４３５０ プロセス４３６０又は４３７０のいずれかを選択するプロセス
４３６０ マッチングする部分コンテンツ信号に対するアクセスを提供するプロセス
４３７０ 新しいコンテンツ定義パラメータに従って新しい部分コンテンツ信号を抽出するプロセス
４３８０ 将来の使用のために新しいコンテンツ定義パラメータをレジスタに追加するプロセス
４３９０ 部分コンテンツ信号をエンコーダまで導くプロセス
４４２０ 信号編集モジュール４６０によって生成されたデータブロックを保持するバッファ
４４５０ マルチプレクサ
４４６０ 複数のコンテンツフィルタリング済みのストリーム
４５４０ 少なくとも１つのサーバ及び／又はその他のルータ－スイッチに接続しているルータ－スイッチ
４５４１ ルータ－スイッチ４５４０の入力ポート
４５４２ ルータ－スイッチ４５４０の出力ポート
４６００ 選択的なコンテンツブロードキャストのための先行技術のシステム
４６１０ アンテナ又はケーブルアクセスを含んでよいカメラのオペレータ、カメラ、通信送信機を含む、各信号ソースの複数の各信号ソース－信号ソースは、固定されてよく、又は可動性であってよい
４６１２ カメラのオペレータ
４６１４ カメラ
４６１６ アンテナ又はケーブルアクセスに結合されている送信機
４６２０ 伝送媒体
４６３０ 放送局で複数の出力チャネルを有する受信機及び圧縮解除モジュール
４６４０ 受信機４６３０から取得された、個々の信号ソース４６１０に対応するベースバンド信号
４６５０ 複数の表示装置のうちの１つの表示装置
４６６０ 表示装置４６５０に供給されるベースバンド信号のうちの１つのベースバンド信号を選択するためのコンテンツ選択ユニット
４６６２ 対応するベースバンド信号４６４０を選択するための表示画面４６５０を視聴するオペレータ
４６６４ 受信機４６３０の出力で生成されたベースバンド信号のうちの１つのベースバンド信号を送信機に導くための手動動作セレクタ（スイッチ装置）
４６８０ 送信機
４６９０ 放送局及び／又はユニバーサルストリーミングサーバへのチャネル
４７００ ブロードキャストのためにオペレータ定義のマルチメディアコンテンツを生成する装置
４７１０ パノラママルチメディア信号ソース
４７１２ ソース信号（変調搬送波）
４７１４ ソース処理ユニット
４７１５ 各フレームデータブロックに各巡回フレーム数を挿入するためのモジュール
４７１６ ソース送信機
４７１８ 伝送媒体
４７２０ 取得モジュール
４７２５ パノラマディスプレイを視聴するためにバーチャルリアリティ（ＶＲ）ヘッドセットを着用するオペレータ
４７３０ 純マルチメディア信号
４７３２ 信号記述子
４７４０ ブロードキャストのためのコンテンツセレクタ
４７５０ 純マルチメディア信号４７３０から、オペレータの好ましい視聴角度に対応するフィルタリング済みの信号を抽出するバーチャルリアリティのヘッドセット（ＶＲヘッドセット）
４７５２ ＶＲヘッドセットと視聴領域を定義するコンテンツフィルタとの間の制御信号
４７６０ コンテンツフィルタ
４７６４ コンテンツフィルタリング済みの信号
４７７０ 受信した４πビデオ信号のための少なくとも１つのパノラマディスプレイ装置
４８００ 第１のストリーミング及びブロードキャストシステム
４８０４ ブロードキャストサブシステム
４８０８ ストリーミングサブセクション
４８１０ 中継器；基本的に、増幅器及び物理的（コンテンツでない）信号処理
４８２０ ストリーミング装置
４８１２ 伝送媒体
４８６２ 圧縮モジュール
４８６４ 圧縮されたコンテンツフィルタリング済みの信号
４８７０ 送信機
４８８０ 放送局へのチャネル
４８９０ ネットワーク１５０へのチャネル
４９４０ 受信機
４９４３ ソースマルチメディア信号
４９４６ 純信号ジェネレータ４９５０のセレクタ
４９４７ 出力セレクタ
４９５０ 純信号ジェネレータ
５０９０ 外部ディスプレイ
５１００ 選択的なコンテンツブロードキャストのためのシステム４８００のブロードキャストサブシステム
５１２０ 監視設備
５２００ コンテンツバッファを有する視聴アダプタを使用する選択的なコンテンツブロードキャストのためのブロードキャストサブシステム
５２１０ 視聴アダプタ
５２２０ コンテンツフィルタコントローラ
５２２２ フレーム識別子
５２３０ コンテンツバッファ（循環バッファ）
５２４０ 離れたコンテンツセレクタ
５２５０ 視聴アダプタへの通信経路
５２６０ 離れたコンテンツセレクタ５２４０から視聴アダプタ５２１０への制御信号 ６０００ 循環コンテンツバッファ５３３０内のフレームデータストレージ
６０１０ コンテンツバッファ５２３０に保持されたフレームデータブロック
６０２０ コンテンツバッファ５２３０におけるフレームデータブロックのアドレス
６５００ 統合された選択的なコンテンツブロードキャスト及びストリーミングのための第２システム
６５２０ ルーティング設備
６５２２ 信号ソース４７１０からルーティング設備６５２０への伝送チャネル
６５２４ ルーティング設備６５２０からネットワーク６５３０への伝送チャネル
６５２６ ネットワーク６５３０からルーティング設備６５２０への伝送チャネル
６５２８ ルーティング設備６５２０から放送局６５８０への伝送チャネル
６５３０ 共有されたネットワーク（例えば、インターネット）
６５４０ リモートコンテンツコントローラ
６５４４ ネットワーク６５３０からコンテンツコントローラへのチャネル
６５４６ 離れたコンテンツセレクタからネットワーク６５３０へのチャネル
６４５８ リモートコンテンツコントローラ６５４０からルーティング設備６５２０への制御データ
６５５１ ネットワーク６５３０を介して離れたコンテンツセレクタ６５４０に導かれたルーティング設備６５２０からの変調搬送波
６５５２ クラウド演算ネットワーク６５７０を介してサーバ１２０に導かれたルーティング設備５５２０からの変調搬送波
６５７０ クラウド演算ネットワーク
６５８０ 放送局（テレビ放送局）
６６１０ サーバ１２０及び離れたコンテンツセレクタ５２４０に導かれた搬送波信号のための中継器
６６７０ 受信機
６７１０ フレーム数抽出モジュール
６７１２ フレーム数挿入モジュール
６７２０ リフレッシュモジュール
６８２５ コンテンツフィルタ６８３２のバンク
６８３２ コンテンツフィルタ
６８４０ ベースバンド信号－コンテンツフィルタ６８３２の出力
６９００ 図５１のシステムに関連する選択的なコンテンツブロードキャストの方法
７０００ 図６８のシステムに関連する選択的なコンテンツブロードキャストの方法
７１００ 図４７のシステムに関連する統合されたブロードキャスト及びストリーミングの方法
７１１０ パノラママルチメディアソース４７１０からの変調済みの搬送波信号４７１２を受信するプロセス
７１１２ 純マルチメディア信号４７３０を取得する（取得モジュール４７２０）プロセス
７１１４ オペレータ定義のコンテンツフィルタリング済みのマルチメディア信号を生成するプロセス
７１２０ コンテンツフィルタリング済みの信号を放送設備及びユニバーサルストリーミングサーバに伝送するプロセス
７１３０ 変調済みの搬送波信号４７１２をストリーミングサブシステムに中継するプロセス
７１４０ ストリーミングサブシステムで純マルチメディア信号４７３０を取得するプロセス
７１４２ 低フローレートで、純マルチメディア信号の完全コンテンツをユニバーサルストリーミングサーバにアクセスするクライアント装置に送信するプロセス
７１４４ クライアント固有の視聴の好みを受信するプロセス
７１４６ 視聴者の好みに従ったコンテンツフィルタリング済みの信号の生成
７１４８ 更に使用するために、オペレータ定義及び視聴者に定義されたコンテンツフィルタリング済みの信号を保持するプロセス
７２２０ コンテンツセレクタ４７４０でソース信号（変調済みの搬送波信号）４７１２を受信するプロセス
７２３０ ソース信号から純マルチメディア信号４７３０を取得するプロセス
７２４０ （ビデオ信号コンポーネントを含む）マルチメディア信号を表示するプロセス
７２４２ Ｎｕｌｌ位置として凝視位置を初期化するプロセス
７２４４ バーチャルリアリティのヘッドセットの出力から現時点の凝視位置を決定するプロセス
７２４６ 基準凝視位置から現時点の凝視位置の変位を決定するプロセス
７２４８ 凝視位置の変位の値に従って次のプロセス（プロセス７２５０又はプロセス７２７０）を選択するプロセス
７２５０ 基準凝視位置を更新するプロセス
７２６０ 基準凝視位置に対応する視聴領域の定義及び基準凝視位置の周りの予め定義された輪郭を生成及び記憶するプロセス
７２７０ 純マルチメディア信号４７３０からコンテンツフィルタリング済みの信号４７６４を抽出するプロセス
７２７２ ブロードキャストの前にコンテンツフィルタリング済みの信号を圧縮するプロセス
７２７４ （圧縮済みの又はそうでない）コンテンツフィルタリング済みの信号を伝送するプロセス
７２８０ 後続の凝視位置を観測し、プロセス７２４４から７２７４までを繰り返すプロセス
７３１０ 離れたコンテンツセレクタ５２４０でソース信号（変調済みの搬送波信号）４７１２を受信するプロセス
７３２０ Ｎｕｌｌ位置として凝視位置を初期化するプロセス
７３３０ 離れたコンテンツセレクタ５２４０でソース信号４７１２からの純マルチメディア信号４７３０を取得するプロセス
７３４０ 離れたコンテンツセレクタ５２４０でマルチメディア信号を表示するプロセス
７３５０ 離れたコンテンツセレクタ５２４０と共に並置されたリフレッシュモジュール６７２０（図６７）で実行されるプロセス
７３５２ 巡回フレーム数を決定するプロセス
７３５４ 離れたコンテンツセレクタ５２４０のバーチャルリアリティのヘッドセットの出力から現時点の凝視位置を決定するプロセス
７３５６ 基準凝視位置から現時点の凝視位置７３５４の変位を決定するプロセス
７３５８ 凝視位置の変位の値に従って次のプロセス（プロセス７３７０又はプロセス７３７４）を選択するプロセス
７３７０ 基準凝視位置を更新するプロセス
７３７２ フレーム識別子及び基準凝視位置を含む制御メッセージを形成するプロセス
７３７４ フレーム識別子及びＮｕｌｌ凝視位置を含む制御メッセージを形成するプロセス
７３７８ プロセス７３７２又は７３７４の制御メッセージを視聴アダプタ５２１０に伝送するプロセス
７４００ 視聴アダプタ５２１０で実行されるプロセス
７４１０ 離れたコンテンツセレクタ５２４０から新しい凝視位置及び対応するフレーム識別子を受信するプロセス
７４１２ 受信したフレーム識別子
７４２０ コンテンツバッファ５２３０におけるフレームデータブロックのアドレスを決定するプロセス
７４３０ フレームデータブロック５２３２を読み取るプロセス
７４４０ プロセス７４５０及びプロセス７４６０を選択するプロセス
７４５０ 視聴アダプタ５２１０で新しい凝視位置及び予め定義された領域の形状（輪郭）に基づいて、視聴領域の定義を生成及び記憶するプロセス
７４６０ 制御メッセージが凝視位置の変化又はわずかな変化を示すＮｕｌｌ凝視位置を含むとき、最新の視聴領域の定義に基づいてコンテンツフィルタリング済みの信号４７６４を生成するプロセス
７４６２ 視聴アダプタ５２１０をサポートするルーティング設備６５２０（図６６）でコンテンツフィルタリング済みの信号を圧縮するプロセス
７４６４ ルーティング設備から圧縮されたコンテンツフィルタリング済みの信号を伝送するプロセス
７４８０ 離れたコンテンツセレクタ５２４０に結合されているリフレッシュモジュール６７２０から、
後続のコンテンツ選択データ（新しい凝視位置）及びフレーム識別子を受信するプロセス
従来のストリーミングサーバは、個々のクライアント装置に対するマルチメディア信号の適合及び分配を実行している。パノラママルチメディア信号の場合には、大容量経路をマルチメディアソースとストリーミングサーバとの間において確立する必要があり、且つ、適応型の容量の経路をストリーミングサーバと複数のクライアント装置との間において確立する必要がある。
ストリーミングサーバは、ストリーミングサーバとクライアント装置との間の接続の性能メトリックを取得することができると共に、性能メトリックに従って、接続に対して割り当てられているフローレートを調節することができる。例えば、ネットワーク経路の専用のリンク又は予約済みの容量を通じて、保証された一定のフローレートが接続に対して割り当てられている場合には、性能メトリックは、一定のフローレートの値及びクライアント装置の特性に依存することになろう。例えば、ネットワークの共有されたリンクを通じて、公称フローレートが接続に対して割り当てられている場合には、性能メトリックは、公称フローレートの値、その他のデータソースからのネットワークデータトラフィックの強度の変動、及びクライアント装置の特性に依存することになろう。
又、ストリーミングサーバは、部分コンテンツの信号を抽出するべく、パノラママルチメディアソースから受け取った信号を処理するように構成することもできる。本発明のストリーミングサーバは、４πステラジアンの立体角をカバーする完全カバレッジパノラマビデオ信号を含む信号をソースから受信することができると共に、部分カバレッジの信号を抽出することができる。この能力によれば、ビデオ信号の表示を視聴している人物は、入力装置を使用することにより、その人物の視聴の好みに従って特定の部分カバレッジを選択することができる。好ましいビデオ信号の情報コンテンツは、主に、選択されたカバレッジに依存している。従って、性能メトリックは、公称フローレートの値、その他のデータソースからのネットワークデータトラフィックの強度の変動、クライアント装置の特性、及び選択された情報コンテンツに依存することになろう。
公称フローレートを規定する代わりに、視聴者は、忠実度レベル及び情報コンテンツを規定することもできる。マルチメディアサーバは、忠実度レベルを必須フローレートに変換することができる。
コンテンツの選択と受信機及びネットワーク状態に対するフローレートの適合の両方を提供するストリーミングサーバは、本明細書においては、ユニバーサルストリーミングサーバとして参照されている。
図１は、伝送媒体１１５を通じてユニバーサルストリーミングサーバ１２０に結合されたパノラママルチメディアソース１１０を有するストリーミングシステム１００を示している。伝送媒体１１５は、光ファイバリンク又は無線リンクなどの専用の媒体であってもよく、或いは、共有された通信ネットワークを通じた交換型の経路であってもよい。パノラママルチメディアサーバは、ネットワーク１５０を通じて、個々に１８０（０）～１８０（ｍ）として識別されている複数のクライアント装置１８０と通信することができるが、この場合に、ｍ＞１である。パノラママルチメディアソース１１０は、完全カバレッジカメラを有しており、且つ、デワープモジュール及び／又は圧縮モジュールを有することができる。又、本明細書においては、４πカメラとも呼称されている、完全カバレッジカメラは、完全カバレッジビデオ信号を生成する。パノラママルチメディアソース１１０からユニバーサルストリーミングサーバ１２０に送信される、本明細書においては、「ソースマルチメディア信号」と呼称される、マルチメディア信号は、オーディオ信号又はテキスト信号などのその他の形態の信号に加えて、ビデオ信号を含むことができる。
図２はストリーミングシステム２００を示しており、このシステムには、ｖ個（ｖ≧１）のパノラママルチメディアソース１１０（個別には１１０（０）から１１０（ｖ－１）として識別されている）と、μ個（μ≧１）のユニバーサルストリーミングサーバ（個別には１２０（０）から１２０（μ－１）として識別されている）とが含まれており、これらのユニバーサルストリーミングサーバは、複数のクライアント装置１８０のうちのＭ個（Ｍ＞１）のクライアント装置に同時にサービスを提供することが可能である。ユニバーサルストリーミングサーバ１２０は、ネットワーク１５０を介して、パノラママルチメディアソース１１０及びクライアント装置と通信してよい。代替として、ユニバーサルストリーミングサーバ１２０は、パノラママルチメディアソース１１０とは、ある共用ネットワーク（図示せず）を介して通信してよく、一方、クライアント装置１８０とは、別のネットワーク（図示せず）を介して通信してよい。
パノラママルチメディアソース１１０は、最大４πステラジアンの視聴カバレッジをもたらす完全カバレッジパノラマカメラ（本明細書では４πカメラと称する）を使用することが好ましい。４πカメラの出力信号を、本明細書では、４πビデオ信号と称する。キャプチャされたシーンの４πビデオ信号の、フラットスクリーン上の表示は、本来的な歪みのために、実際のシーンとはかなり異なる可能性がある。表示の歪みを無くすか大幅に減らすために、表示とキャプチャされたシーンとがよく似るように、カメラで生成された信号に、人工的にオフセットされた歪みを与えてよい。「デワープ」と呼ばれる、歪んだビデオ信号を補正する様々な処理が、当該技術分野において知られている。
デワープ処理は、ソースにおいて実施されてよく（即ち、カメラの出力信号に直接適用されてよく）、或いは、ユニバーサルストリーミングサーバ１２０において実施されてよい。
ソース１１０におけるビデオ信号は、大容量通信経路を介してユニバーサルストリーミングサーバ１２０に直接送れられてよく、或いは、ソースにおいて圧縮されて、占有スペクトル帯域が（格段に）狭い圧縮済みの信号が生成されてよく、この圧縮済みの信号は、低容量通信経路を介してユニバーサルストリーミングサーバ１２０に送られ、ユニバーサルストリーミングサーバにおいて圧縮解除される。
図３は、マルチメディアパノラマソース１１０とサーバ１２０との間の４つの通信選択肢を示している。マルチメディアパノラマソースは、未加工の信号３１２を生成する４πカメラを含んでおり、且つ、デワープモジュール３３０及び／又はソース圧縮モジュール３４０を含むことができる。未加工の信号３１２は、表示の前に、或いは、信号を特定の受領者に対してコンディショニングするための更なる処理の前に、デワープされる必要がある。
図３には、ソースに結合されている通信装置は、示されていない。図３に示されているように、第１ソースは、４πカメラを有し、第２ソースは、４πカメラと、デワープモジュール３３０と、を有し、第３ソースは、４πカメラと、ソース圧縮モジュール３４０と、を有し、且つ、第４ソースは、４πカメラと、デワープモジュール３３０と、ソース圧縮モジュール３４０と、を有する。
一実施形態によれば、未加工の信号３１２は、デワープモジュール３２０を装備したサーバ１２０Ａに送られてもよく、デワープモジュール３２０は、受領者に固有の信号を生成するべく更に処理される補正済みの信号３２２を生成している。補正済みの信号は、ソースにおいてキャプチャされた個々のシーンに対応する「純ビデオ信号」であるものと見なされる。
別の実施形態によれば、未加工の信号３１２は、ソース１１０に結合されたデワープモジュール３３０において処理されてよく、ここで生成された補正済みの信号（純ビデオ信号）３２２がサーバ１２０Ｂに送られ、更に処理されて、受信者に固有の信号が生成される。
更に別の実施形態によれば、未加工の信号３１２は、ソース１１０に結合されているソース圧縮モジュール３４０において処理されてよく、ここで生成された圧縮済みの信号３４２がサーバ１２０Ｃに送られる。サーバ１２０Ｃには圧縮解除モジュール３５０が装備されており、サーバ圧縮解除モジュール３５０は、圧縮済みの信号３４２を圧縮解除して圧縮解除済みの信号 ３５２を生成し、これがデワープモジュール３２０において処理されて、整流済みの信号３２４が生成される。整流済みの信号３２４は、上で定義されている通り「純ビデオ信号」である。ロスレス圧縮処理と理想的な圧縮解除処理とが行われれば、圧縮解除済みの信号 ３５２は、未加工の信号３１２の複製になるであろう。理想的なデワープが行われれば、整流済みの信号３２４は、キャプチャされたシーンの忠実な表現、即ち「純ビデオ信号」になるであろう。
更に別の実施形態によれば、未加工の信号３１２は、ソース１１０に結合されているデワープモジュール３３０において処理されてよく、ここで生成された補正済みの信号３２２がソース圧縮モジュール３４０において処理されて、コンパクトな信号３４３が生成され、これがサーバ１２０Ｄに送られる。サーバ１２０Ｄには圧縮解除モジュール３５０が装備されており、サーバ圧縮解除モジュール３５０は、コンパクトな信号３４３を圧縮解除して整流済みの信号３２４を生成する。理想的なデワープモジュール３３０が使用され、ロスレス圧縮処理が行われ、理想的な圧縮解除処理が行われれば、整流済みの信号は、キャプチャされたシーンの忠実な表現、即ち、「純ビデオ信号」になるであろう。
従って、本発明は、複数の物理的プロセッサと、関連するメモリ装置と、を有するサーバにおいて実装されたビデオ信号ストリーミングの方法を提供している。サーバは、
（１）パノラマカメラを有する信号ソース、
（２）パノラマカメラ及びデワープモジュールを有する信号ソース、
（３）パノラマカメラ及び圧縮モジュールを有する信号ソース、或いは、
（４）パノラマカメラ、デワープモジュール、及び圧縮モジュールを有する信号ソース、
からビデオ信号を有するパノラママルチメディア信号を取得するように構成されている。
（１）パノラマカメラを有する信号ソース、
（２）パノラマカメラ及びデワープモジュールを有する信号ソース、
（３）パノラマカメラ及び圧縮モジュールを有する信号ソース、或いは、
（４）パノラマカメラ、デワープモジュール、及び圧縮モジュールを有する信号ソース、
からビデオ信号を有するパノラママルチメディア信号を取得するように構成されている。
方法は、ビデオ信号を取得するべく、パノラママルチメディアソースにアクセスするプロセスを有する。取得されたビデオ信号が圧縮されておらず、且つ、ソースにおいてデワープされていない場合には、ビデオ信号は、画面上において表示されうる、又はクライアント装置への分配のために更に処理されうる、「純ビデオ信号」を生成するべく、サーバにおいてデワープされる。取得されたビデオ信号が圧縮されておらず、且つ、ソースにおいてデワープされている場合には、ビデオ信号は、「純ビデオ信号」を構成している。取得されたビデオ信号が、圧縮されているが、ソースにおいてデワープされていない場合には、ビデオ信号は、「純ビデオ信号」を生成するべく、サーバにおいて、圧縮解除され、次いで、デワープされる。取得されたビデオ信号がデワープされており、且つ、ソースにおいて圧縮されている場合には、ビデオ信号は、「純ビデオ信号」を生成するべく、サーバにおいて圧縮解除される。
図４は、図３の通信選択肢に対応する通信経路を示す。
第１の通信選択肢によれば、パノラママルチメディアソースモジュール１１０Ａの４πカメラ３１０において生成されたパノラマ信号が、大容量経路４８０を介してサーバ１２０Ａに送信され、サーバ１２０Ａはデワープモジュール３２０及び信号編集モジュール４６０を含み、信号編集モジュール４６０は、クライアント装置にフローレート制約に合わせてコンテンツフィルタリング及び信号適応の両方を実施する。サーバ１２０Ａは、デワープモジュール３２０及び信号編集モジュール４６０として編成された、少なくとも１つのプロセッサ（図４には示されず）と、プロセッサ実行可能命令（ソフトウェア命令）を記憶するメモリ装置とを含む。デワープモジュール３２０のソフトウェア命令が実行されると、その少なくとも１つのプロセッサが、受け取られた信号とカメラの既知の特性とを使用して、デワープされた補正済みの信号３２２を生成し、この信号は、フラットディスプレイ装置に直接渡されてよく、或いは、信号編集モジュール４６０において更に処理されてよい。信号編集モジュール４６０は、コンテンツフィルタリング処理を実施して、受信者ごとに１つ１つ調整された選択的部分カバレッジストリームを生成することが可能である。信号編集モジュール４６０は、受信者ごとに１つ１つ調整された完全カバレッジストリームを生成することも可能である。
第２の通信選択肢によれば、ソースモジュール１１０Ｂは、４πカメラ３１０、デワープモジュール３３０、及びプロセッサ（図示せず）を含み、プロセッサは、デワープモジュール３３０のソフトウェア命令を４πカメラの出力信号（未加工の信号３１２）に適用する。結果として得られるデワープされた信号が大容量通信経路４８０を介してサーバ１２０Ｂに送られ、サーバ１２０Ｂは、上述の第１の実施態様選択肢と同様の信号編集モジュール４６０を含む。
第３の通信選択肢によれば、ソースモジュール１１０Ｃは、４πカメラ３１０、ソース圧縮モジュール３４０、及びプロセッサ（図示せず）を含み、プロセッサは、ソース圧縮モジュール３４０のソフトウェア命令を４πカメラの出力信号（未加工の信号３１２）に適用する。結果として得られる圧縮済みの信号３４２が、通信経路４８０と比較して低容量の通信経路４９０を介してサーバ１２０Ｃに送られ、サーバ１２０Ｃは、サーバ圧縮解除モジュール３５０、デワープモジュール３２０、及び信号編集モジュール４６０を含む。サーバ１２０Ｃは、少なくとも１つのプロセッサ（図示せず）を含み、プロセッサは、サーバ圧縮解除モジュール３５０のソフトウェア命令を実施して圧縮解除済みの信号 ３５２を生成する。この少なくとも１つのプロセッサは更に、デワープモジュール３２０のソフトウェア命令を実施して整流済みの信号３２４を生成する。信号編集モジュール４６０は、整流済みの信号３２４のコンテンツフィルタリングを実行することにより、受信者ごとに１つ１つ調整された選択的部分カバレッジストリームを生成する。信号編集モジュール４６０は、受信者ごとに１つ１つ調整された完全カバレッジストリームを生成することも可能である。
第４の通信選択肢によれば、ソースモジュール１１０Ｄは、４πカメラ３１０、デワープモジュール３３０、ソース圧縮モジュール３４０、及びプロセッサ（図示せず）を含み、プロセッサは、デワープモジュール３３０のソフトウェア命令を４πカメラの出力信号（未加工の信号３１２）に適用して補正済みの信号３２２を生成する。プロセッサは、ソース圧縮モジュール３４０のソフトウェア命令を適用してコンパクトな信号３４３を生成する。コンパクトな信号３４３は低容量通信経路４９０を介してサーバ１２０Ｄに送られ、サーバ１２０Ｄは、サーバ圧縮解除モジュール３５０及び信号編集モジュール４６０を含む。サーバ１２０Ｄは、少なくとも１つのプロセッサ（図示せず）を含み、プロセッサは、サーバ圧縮解除モジュール３５０のソフトウェア命令を実施して補正済みの信号３２２を復元する。上述の通信選択肢と同様に、信号編集モジュール４６０は、整流済みの信号３２４のコンテンツフィルタリングを実施することにより、受信者ごとに１つ１つ調整された選択的部分カバレッジストリームを生成する。信号編集モジュール４６０は、受信者ごとに１つ１つ調整された完全カバレッジストリームを生成することも可能である。
第１又は第２の通信選択肢の場合は、補正済みビデオ信号３２２が信号編集モジュール４６０に渡される。第３又は第４の通信選択肢の場合は、整流済みビデオ信号３２４が信号編集モジュール４６０に渡される。補正済みビデオ信号３２２及び整流済みビデオ信号３２４はそれぞれ、ソースにおいてキャプチャされた個々のシーンに対応する純ビデオ信号と見なされる。
図５は、図３の通信選択肢のうちの第１の通信選択肢に対応する端から端までの経路５００の構成要素を示す。ソース１１０Ａが（ベースバンド）未加工の信号３１２を生成し、これは、大容量経路４８０を介してサーバ１２０Ａに送信される。大容量経路４８０は、ソース１１０Ａと並置されたソース送信機５２０と、伝送媒体１１５と、サーバ１２０Ａと並置されたサーバ受信機５４０と、を含む。受信機５４０は、伝送媒体１１５を介して受信された変調済みの搬送波信号５２８を復調して、未加工の信号３１２の複製５４２を取得する。サーバ１２０Ａは、デワープモジュール３２０を構成するソフトウェア命令を記憶するメモリ装置と、信号編集モジュール４６０を構成するソフトウェア命令を記憶するメモリ装置と、を含む。サーバ１２０Ａは更に、サーバ送信機を含むクライアント装置インタフェース５６０を含む。サーバ１２０Ａの出力信号５８５は、ネットワーク１５０を介して各クライアント装置１８０に伝達される。
図６は、図３の通信選択肢のうちの第２の通信選択肢に対応する端から端までの経路６００の構成要素を示す。ソース１１０Ｂは、４πカメラ３１０と、デワープモジュール３３０を構成するソフトウェア命令を記憶するメモリ装置とを含み、この命令によって、プロセッサ（図示せず）は補正済みの信号３２２を生成する。補正済みの信号３２２は、大容量経路４８０を介してサーバ１２０Ｂに送信される。大容量経路４８０は、ソース１１０Ｂと並置されたソース送信機５２０と、伝送媒体１１５と、サーバ１２０Ｂと並置されたサーバ受信機５４０と、を含む。受信機５４０は、伝送媒体１１５を介して受信された変調済みの搬送波信号６２８を復調して、補正済みの信号３２２の複製６４２を取得する。サーバ１２０Ｂは、信号編集モジュール４６０を構成するソフトウェア命令を記憶するメモリ装置を含む。サーバ１２０Ｂは更に、サーバ送信機を含むクライアント装置インタフェース５６０を含む。サーバ１２０Ｂの出力信号６８５は、ネットワーク１５０を介して各クライアント装置１８０に伝達される。
図７は、図３の通信選択肢のうちの第３の通信選択肢に対応する端から端までの経路７００の構成要素を示す。ソース１１０Ｃは、（ベースバンド）未加工の信号３１２を生成する４πカメラ３１０と、ソース圧縮モジュール３４０を構成するソフトウェア命令を記憶するメモリ装置とを含む。ソース圧縮モジュール３４０は、未加工の信号３１２を圧縮して圧縮済みの信号３４２にし、圧縮済みの信号３４２は、経路４９０を介してサーバ１２０Ｃに送信される。経路４９０は、ソース１１０Ｃと並置されたソース送信機７２０と、伝送媒体１１５と、サーバ１２０Ｃと並置されたサーバ受信機７４０と、を含む。受信機７４０は、伝送媒体１１５を介して受信された変調済みの搬送波信号７２８を復調して、圧縮済みの信号３４２の複製７４２を取得する。サーバ１２０Ｃは、サーバ圧縮解除モジュール３５０を構成するソフトウェア命令を記憶するメモリ装置と、デワープモジュール３２０を構成するソフトウェア命令を記憶するメモリ装置と、信号編集モジュール４６０を構成するソフトウェア命令を記憶するメモリ装置と、を含む。サーバ１２０Ｃは更に、サーバ送信機を含むクライアント装置インタフェース５６０を含む。サーバ１２０Ｃの出力信号７８５は、ネットワーク１５０を介して各クライアント装置１８０に伝達される。
図８は、図３の通信選択肢のうちの第４の通信選択肢に対応する端から端までの経路８００の構成要素を示す。ソース１１０Ｄは、４πカメラ３１０と、デワープモジュール３３０を構成するソフトウェア命令であって、補正済みの信号３２２の生成をプロセッサ（図示せず）に行わせるソフトウェア命令を記憶するメモリ装置と、ソース圧縮モジュール３４０を構成するソフトウェア命令であって、コンパクトな信号３４３の生成をプロセッサ（図示せず）に行わせるソフトウェア命令を記憶するメモリ装置と、を含む。コンパクトな信号３４３は、経路４９０を介してサーバ１２０Ｄに送信される。経路４９０は、ソース１１０Ｄと並置されたソース送信機７２０と、伝送媒体１１５と、サーバ１２０Ｃと並置されたサーバ受信機７４０と、を含む。受信機７４０は、伝送媒体１１５を介して受信された変調済みの搬送波信号８２８を復調して、コンパクトな信号３４３の複製８４２を取得する。サーバ１２０Ｄは、サーバ圧縮解除モジュール３５０を構成するソフトウェア命令を記憶するメモリ装置と、信号編集モジュール４６０を構成するソフトウェア命令を記憶するメモリ装置と、を含む。サーバ１２０Ｄは更に、サーバ送信機を含むクライアント装置インタフェース５６０を含む。サーバ１２０Ｄの出力信号８８５は、ネットワーク１５０を介して各クライアント装置１８０に伝達される。
図９は、ユニバーサルストリーミングサーバ１２０の入力及び出力におけるマルチメディア信号及び制御信号を示している。サーバ１２０は、ビデオ信号を含むマルチメディア信号をソース１１０から受け取り、ビデオ信号９００は、未加工の信号３１２、補正済みの信号３２２、圧縮済みの信号３４２、又はコンパクトな信号３４３であってよい。サーバがソース１１０から受け取るビデオ信号を、本明細書では「ソースビデオ信号」と称する。
サーバ１２０は、図２に示されたように、様々なパノラママルチメディアソース１１０からマルチメディア信号を受け取ってよい。従って、サーバは、第１ソース１１０から未加工のビデオ信号３１２を受け取ってよく、第２ソース１１０から補正済みビデオ信号３２２を受け取ってよく、第３ソースから圧縮済みの信号３４２を受け取ってよく、且つ／又は第４ソースからコンパクトな信号３４３を受け取ってよい。そして、好ましくは、サーバは、様々なタイプのソース１１０と関与して、純ビデオ信号４２０を生成することが可能であるように、デワープモジュール３２０及びサーバ圧縮解除モジュール３５０を装備されてよく、純ビデオ信号４２０は、補正済みビデオ信号３２２又は整流済みビデオ信号３２４であってよい。
サーバ１２０は、クライアント装置１８０からアップストリーム制御信号９３５を受信し、ソース１１０から制御信号９０５を受信する。サーバは、クライアント装置にダウンストリーム制御信号９４５を送信し、ソース１１０に制御信号９２５を送信してよい。サーバのカーネル、即ち、信号編集モジュール４６０は、ソースのタイプにかかわらず、制御信号９３５及び９０５に基づいて純ビデオ信号４２０を処理する。
アップストリーム制御信号９３５は、クライアントの特性化データとクライアントの要求とを含んでよい。ダウンストリーム制御信号９４５は、クライアントの要求に対する応答を含んでよい。ダウンストリーム制御信号９４５は更に、つながっている各クライアント装置が好ましい視聴領域をサーバに伝えることを可能にするためにクライアント装置１８０にインストールされるソフトウェアモジュールを含んでよい。制御信号９０５は、ソースの特性と、ソースにおいて既に実施された動作（例えば、デワープ及び／又はデータ圧縮）とに関連するデータを含んでよい。制御信号９２５は、サーバを特徴づける情報を含んでよい。
サーバ１２０の信号編集モジュール４６０は、編集済みのマルチメディア信号９４０を生成し、各編集済みのマルチメディア信号は、各クライアントの視聴の好み、各クライアントの装置の能力、及びサーバから各クライアントの装置までのネットワーク経路の条件に合わせて個別に調整される。サーバ１２０は、編集済みのマルチメディア信号９４０をクライアント装置に送信する。
図１０は、一例示的サーバ１２０の構成要素１０００を示す。サーバは、少なくとも１つのプロセッサ（図示せず）と、プロセッサ実行可能命令を記憶する複数のメモリ装置とを含み、これらの命令は幾つかのモジュールに編成されており、これらには、サーバ－ネットワークインタフェース１０１０、ソース制御データモジュール１０２２、ソース信号処理モジュール１０２４、クライアント制御データモジュール１０２６、及び一連のクライアント別適応モジュール１０６０が含まれる。サーバ－ネットワークインタフェース１０１０は、信号ソース及びクライアント装置に由来する、又はこれらを宛先とする、すべての信号１００５を搬送する少なくとも１つのデュアルリンク１００８又は少なくとも１つのネットワークに結合されている。サーバ－ネットワークインタフェース１０１０は、サーバ受信機５４０（図５及び図６）又は７４０（図７及び図８）を含み、これは、変調搬送波（光搬送波又は無線マイクロ波搬送波）を復調して、ソース１１０（１１０Ａ、１１０Ｂ、１１０Ｃ、又は１１０Ｄ）から送られたベースバンドソースビデオ信号９００（未加工の信号３１２、補正済みの信号３２２、圧縮済みの信号３４２、又はコンパクトな信号３４３）を検波する。少なくとも１つのデュアルリンク１００８のデュアルリンクは、少なくとも１つのソース１１０と複数のクライアント装置との間を行き来する制御データと、ソースマルチメディア信号と、複数のクライアント装置に向けられた編集済みのマルチメディア信号と、を搬送する。
ソースビデオ信号処理モジュール１０２４は、デワープモジュール３２０及び／又はサーバ圧縮解除モジュール３５０を装備されて、純ビデオ信号４２０を生成してよく、純ビデオ信号４２０は、補正済みビデオ信号３２２又は整流済みビデオ信号３２４であってよい。
サーバ－ネットワークインタフェース１０１０は、ソースビデオ信号９００をソースビデオ信号処理モジュール１０２４に誘導し、制御信号９０５をソース制御データ処理モジュール１０２２に誘導する。ソースビデオ信号処理モジュール１０２４は以下の処理を実施する。
（１）ビデオ信号のデワープ（モジュール３２０、図５）
（２）ビデオ信号の圧縮解除（モジュール３５０）及びデワープ（モジュール３２０、図７）、又は
（３）ビデオ信号の圧縮解除（モジュール３５０、図８）
（１）ビデオ信号のデワープ（モジュール３２０、図５）
（２）ビデオ信号の圧縮解除（モジュール３５０）及びデワープ（モジュール３２０、図７）、又は
（３）ビデオ信号の圧縮解除（モジュール３５０、図８）
モジュール１０２２とモジュール１０２４は、図１０に示されるように、通信可能に結合されている。モジュール１０２２の出力は、モジュール１０２４の処理に影響を及ぼしうる。モジュール１０２４は、ソース１１０に向けて制御データ９２５を生成してよく、制御データ９２５は、モジュール１０２２及びサーバ－ネットワークインタフェース１０１０を介して伝達される。
モジュール１０２４は、純ビデオ信号４２０を、ｍ個（ｍ＞１）のクライアント別適応モジュール１０６０（個別には１０６０（０）から１０６０（ｍ－１）として識別されている）に向ける。クライアント別適応モジュール１０６０は、それぞれ独立したハードウェアプロセッサを使用することが好ましい。各クライアント別適応モジュール１０６０は、必要なコード変換機能を各プロセッサに実施させる命令を記憶するメモリ装置を含む。
クライアント装置から受信された信号は、アップストリーム制御信号９３５を含む。クライアント装置に向けられるデータは、制御信号９４５及び編集済みのマルチメディア信号９４０を含む。アップストリーム制御信号９３５は、サーバ－ネットワークインタフェース１０１０において抽出され、クライアントの制御データモジュール１０２６に向けられる。クライアント別適応モジュール１０６０は、クライアント制御バス１０６１を介してアップストリーム制御データ９３５にアクセスし、クライアント別制御信号は、バッファ１０６２で、又は当該技術分野において知られている別の手段で保持される。クライアント別適応モジュール１０６０において生成されるダウンストリーム制御データは、クライアント制御バス１０６１、クライアント制御データモジュール１０２６、サーバ－ネットワークインタフェース１０１０、及び少なくとも１つのデュアルリンク１００８を介して各クライアント装置１８０に配信される。各編集済みクライアント別マルチメディア信号９４０が結合されて（コンバイナ１０９０）、この集合体ストリーム１０９５が、サーバ－ネットワークインタフェース１０１０、少なくとも１つのデュアルリンク１００８、及び少なくとも１つのネットワークを介して各クライアント装置１８０に配信される。
図１１は、クライアント別適応モジュール１０６０の詳細を示す。このモジュールは、プロセッサ実行可能命令を記憶する少なくとも１つのメモリ装置を含み、これらの命令が実行されると、少なくとも１つのプロセッサが、選択された視聴領域に対応する信号を抽出する、ビデオ信号のコンテンツフィルタリングの処理と、コンテンツフィルタリング済みのビデオ信号をコード変換して、ターゲットクライアント装置１８０の能力に適合させる処理と、を実施する。ビデオ信号は、時間変動するフローレートの代表値であってよい許容可能なフローレートの制約下で圧縮されてよい。
クライアントに固有の適合モジュール１０６０は、コンテンツフィルタリングモジュール（コンテンツフィルタ）１１２０と、クライアント装置能力に対する信号適合用のコード変換モジュール１１４０と、許容可能なフローレート内のフローレートを有するビデオ信号を生成するためのサーバ圧縮モジュール１１６０と、を有する。
一実施形態によれば、コンテンツフィルタ１１２０は、純ビデオ信号４２０を処理して、指定された視聴領域に対応する信号部分を抽出することにより、コンテンツフィルタリング済みの信号１１２２を生成する。コンテンツフィルタリング済みの信号１１２２の平均フローレートは、純ビデオ信号４２０の平均フローレートより低くなる。コンテンツフィルタリング済みの信号１１２２がターゲットクライアント装置の能力に適合していて、各許容値を満たすフローレートであれば、この信号がターゲットクライアント装置に送信されてよい。そうでない場合は、コード変換モジュール１１４０が適用されて、ターゲットクライアント装置の特性（例えば、フレームレートの上限やフレーム分解能の上限）に適合するようにコンテンツフィルタリング済みの信号１１２２のコード変換が行われる。結果として得られるコード変換されたコンテンツフィルタリング済みの信号１１４２のフローレートが許容値を超えていなければ、信号１１４２がターゲットクライアント装置に送信されてよい。そうでない場合は、サーバ圧縮モジュール１１６０が適用されて、許容可能なフローレートに従って信号１１４２の圧縮が行われてよく、これによって、圧縮済み、コード変換済み、且つコンテンツフィルタリング済みの信号の信号９４０が生成される。
別の実施形態によれば、コード変換モジュール１１４０が適用されて、純ビデオ信号４２０のコード変換が行われてよく、これによって、ターゲットクライアント装置の能力に適合するコード変換済みの信号１１５２が生成される。コンテンツフィルタ１１２０は、信号１１５２を処理して、指定された視聴領域に対応する信号部分を抽出することにより、コンテンツフィルタリングされたコード変換済みの信号１１３２を生成する。コンテンツフィルタリングされたコード変換済みの信号１１３２の平均フローレートは、純ビデオ信号４２０の平均フローレートより低くなる。信号１１３２のフローレートが許容値を満たせば、この信号がターゲットクライアント装置に送信されてよい。そうでない場合は、サーバ圧縮モジュール１１６０が適用されて、許容可能なフローレートに従って信号１１３２の圧縮が行われてよく、これによって、圧縮済み、コード変換済み、且つコンテンツフィルタリング済みの信号となった信号９４０が生成される。
ソース又はサーバにおいてデワープされた圧縮されていない又は圧縮解除されたビデオ信号は、純ビデオ信号である。サービスを特定のクライアント装置に提供するために、純ビデオ信号は、クライアント装置と互換性を有するコード変換済みの信号を生成するべく、コード変換される。純ビデオ信号は、最大で４πステラジアンの立体角の実現可能なカバレッジに対応しており、且つ、恐らくは、例えば、マルチＧｂ／ｓという大きなフローレート（ビットレート）を有することを要し、この大きなフローレートは、サーバからクライアント装置までの経路の利用可能な容量を超過しうる。又、コード変換済みの信号も、経路の容量を超過したフローレートを有しうる。従って、コード変換済みの信号は、経路の容量を超過しないフローレートをもたらすように、圧縮することができる。
圧縮されたコード変換済みの信号は、クライアント装置において圧縮解除され且つ表示されるように、クライアント装置に送信される。次いで、クライアント装置における視聴者は、好ましい視聴領域を識別できると共に、好ましい視聴領域の記述子をサーバに送信することができる。次いで、信号は、好ましい視聴領域に対応する信号の部分のみを保持するように、コンテンツフィルタリングすることができる。コンテンツフィルタリング済みの信号は、圧縮できると共に、次いで、クライアント装置に送信することができる。
サーバがパノラママルチメディアソース１１０にアクセスした際に、パノラママルチメディアソースは、ビデオ信号のみならず、デワープ及び圧縮などの、ビデオ信号に適用されたいずれかの信号処理の通知を含む制御データをも有するマルチメディア信号を提供する。取得されたビデオ信号は、パノラマビデオ信号であり、このパノラマビデオ信号は、単一のカメラにより、生成されたものであってもよく、或いは、複数のカメラからのビデオ信号を組み合わせることにより、生成されたものであってもよい。
クライアント装置のユーザが好ましい視聴領域の識別子を伝達できるようにするべく、サーバは、これを目的として構成されたソフトウェアモジュールをクライアント装置に送信している。サーバは、物理的プロセッサ及び関連するメモリ装置が必要に応じて割り当てられる共有型のクラウド演算ネットワーク内において、部分的に又は完全に、設置することができる。
図１２は、圧縮済みのビデオ信号のフローレート（ビットレート）の時間的変動を示している。当技術分野において周知のように、いくつかの記述子は、フローレートの平均値１２２０及びピーク値１２３０などの可変フローレート信号（可変ビットレートとも呼称される）と、信号バースト持続時間を表すパラメータと、の特徴を判定するべく、使用することができる。可変ビットレート信号を搬送するべく指定された共有ネットワーク経路の記述子及び容量は、信号を搬送するべく通信経路内において割り当てられる必要がある有効フローレート（有効ビットレート）１２２５を判定するべく、使用することができる。サーバ圧縮モジュール１１６０は、有効フローレート（有効ビットレート）が（購入された）ネットワーク接続の許容可能なフローレートを超過しないことを保証するように、構成されることになろう。
図１３に示されるモジュール１３００は、時間制限され、低フローレートでありながらも、パノラマ完全空間カバレッジを提示することに適するビデオ信号を生成することにより、この時間制限ビデオ信号を受信するクライアントが好ましい部分カバレッジ視聴を選択することを可能にする。
フレームサンプリングモジュール１３２０に含まれる、プロセッサ実行可能命令により、プロセッサは、離れたフレーム間隔の間に、純ビデオ信号４２０、又は純ビデオ信号から抽出されたコード変換済みのビデオ信号をサンプリングして、完全空間カバレッジサンプリングされた画像に対応する、フレームサンプリング済みのビデオ信号１３２２を生成する。フレームサンプリング済みのビデオ信号１３２２は、圧縮されておらず、許容可能なフローレートを超えない一定のフローレートを有する。フレームサンプリング済みのビデオ信号１３２２は、クライアント装置において表示されうる。
純ビデオ信号４２０は、補正済みの信号３２２又は整流済みの信号３２４（図３）であってよい。フレーム間のサンプリング期間は、純ビデオ信号４２０のサンプリングされる部分のストリームの（一定）フローレートが許容可能なフローレートを超えないように選択される。例えば、純ビデオ信号４２０のデータフローレートが１Ｇｂ／ｓであって、許容可能なフローレートが５Ｍｂ／ｓである場合、フレームサンプリングモジュール１３２０は、ひと組が連続する２００フレームである各組から１つのフレームを選択する。そして、サンプリングされたフレームを受信した特定のクライアント装置１８０が、２００フレームの時間間隔（フレームレートが４０フレーム毎秒であれば５秒）の間に各フレームを繰り返し表示する。サーバ１２０は、その特定のクライアント装置から好ましい視聴領域の指示を受け取ったら、各編集済みのマルチメディア信号９４０の送信を開始し（図９）、フレームサンプルの送信を終了する。
サーバ１２０は、視聴選択ソフトウェア命令を各クライアント装置に送ることにより、クライアントによる好ましい視聴領域の選択を促進することが可能である。このソフトウェア命令は、ダウンストリーム制御データ９４５（図９）を搬送する経路と同じ経路で送られてよい。
従って、サーバ１２０は、プロセッサが、フレームサンプリング済みのビデオ信号を生成するべく、離隔したフレーム間隔においてビデオ信号をサンプリングするようにするプロセッサ実行可能命令を有するフレームサンプリングモジュールを利用することができる。サーバは、クライアント装置のユーザが好ましい視聴領域の識別情報をサーバに伝達できるようにするべく、複数のクライアント装置への分配のためのソフトウェアモジュールを記憶するメモリ装置を更に有する。
空間－時間的サーバ圧縮モジュール１３４０に含まれる、プロセッサ実行可能命令により、プロセッサは、純ビデオ信号４２０、又は純ビデオ信号から抽出されたコード変換済みのビデオ信号を圧縮して、完全空間カバレッジ画像に対応する圧縮済みの信号１３４２を生成する。圧縮済みの信号１３４２は、図１２に示されたようにフローレートが変動するが、サーバ圧縮モジュール１３４０は、実効フローレート（実効ビットレート）が許容可能なフローレートを超えないようにしている。
空間－時間的圧縮モジュール１３６０は、空間－時間的サーバ圧縮モジュール１３４０と同様に、純ビデオ信号４２０から抽出された、予め選択されたコンテンツフィルタリング済みの信号（部分カバレッジ信号）１３６２の圧縮をプロセッサに行わせる。連続する時間窓を占有する一連の圧縮されたコンテンツフィルタリング済みの信号１３６４が、ターゲットクライアント装置に送られる。各圧縮済みの信号１３６４は、図１２に示されたようにフローレートが変動するが、圧縮モジュール１３６０は、各圧縮済みの信号１３６４の実効フローレート（実効ビットレート）が許容可能なフローレートを超えないようにしている。
図１４は、コンテンツフィルタリング済みのビデオ信号をクライアント装置に渡す処理を示す。時刻ｔ１に、特定のクライアント装置１８０のユーザが、特定のイベントの視聴を要求するメッセージ１４０２をサーバ１２０に送る。このメッセージは、時刻ｔ２にサーバ１２０が受け取る。特定のクライアント装置のユーザが好ましい視聴領域の識別子をサーバに伝達することを可能にするために、幾つかの視聴選択方法が考えられる。
１つの視聴選択方法では、サーバが、選択された完全空間カバレッジパノラマ画像に対応するフレームサンプリング済みの信号１３２２を時刻ｔ３に送信する。時刻ｔ４に、クライアント装置１８０は、フレームサンプリング済みの信号１３２２の受信を開始し、この信号は、１フレーム分のコンテンツが蓄積された後にディスプレイ装置にサブミットされる。時刻ｔ５に、特定のクライアント装置のユーザは、選択された視聴領域を指定するパラメータを渡すメッセージ１４０４を送信する。メッセージ１４０４は、時刻ｔ６にサーバが受け取る。サーバ１２０は、選択された視聴領域に対応する各コンテンツフィルタリング済みのビデオ信号を形成する。各コンテンツフィルタリング済みのビデオ信号は圧縮されてよく、これによって、圧縮されたコンテンツフィルタリング済みの信号（部分空間カバレッジ信号）１４４０が生成される。サーバは、フレームサンプリング済みの信号１３２２の送信を時刻ｔ７に終了し、クライアント装置１８０への圧縮されたコンテンツフィルタリング済みの信号１４４０の送信を時刻ｔ９に開始する。信号１４４０は、クライアント装置において圧縮解除され、表示される。クライアント装置は、フレームサンプリング済みの信号１３２２の最後のフレームを時刻ｔ８までに受け取り、圧縮済みの信号１４４０の受信を時刻ｔ１０に開始する。圧縮済みの信号１４４０の送信は時刻ｔ１１に終了し、この信号の、クライアント装置での受信は時刻ｔ１２に終了する。
別の視聴選択方法では、サーバは、図１３に示されたように、クライアント装置に適合する、許容可能なフローレートまで圧縮された完全カバレッジビデオ信号１３４２を生成する。サーバは、信号１３４２を時刻ｔ３に送信し、クライアント装置１８０は、圧縮済みの信号の受信を時刻ｔ４に開始する。圧縮済みの信号１３４２は、クライアント装置において圧縮解除され、ディスプレイ装置にサブミットされる。時刻ｔ４の後のイベントシーケンスは、フレームサンプリング済みのビデオ信号１３２２の場合に対応するイベントシーケンスと同様になる。
別の視聴選択方法では、サーバは、図１３に示されたように、事前選択された視聴領域に対応する幾つかのコンテンツフィルタリング済みのビデオ信号１３６２を純ビデオ信号４２０から抽出する。これらの抽出されたコンテンツフィルタリング済みのビデオ信号のそれぞれは、クライアント装置の能力に適合するものであり、許容可能なフローレートまで圧縮されている。一連の圧縮済みの信号１３６４がクライアント装置に送信されてよく、クライアント装置のユーザは、事前選択された視聴領域のうちの好みの１つを示すメッセージをサーバに送信してよい。
従って、本発明は、視聴領域の予め定義された組に対応するコンテンツフィルタリング済みの信号の組を生成するべく、ビデオ信号のコンテンツを編集するステップを有する信号ストリーミングの方法を提供している。それぞれのコンテンツフィルタリング済みの信号は、特定のクライアント装置と互換性を有するコード変換済みの信号の組を生成するように、コード変換される。コード変換済みの信号のそれぞれは、圧縮済みの信号の組を生成するように、圧縮される。圧縮済みの信号は、クライアント装置に対して連続的に送信される。特定のクライアント装置から好ましい視聴領域に対応する特定の圧縮済みの信号の識別子を受け取った際に、特定の圧縮済みの信号のみが、後から、クライアント装置に対して送信される。
図１５は、サーバ１２０からクライアント装置１８０に送信されるビデオ信号のビットレート（フローレート）の時間変動を示す。フレームサンプリング済みの信号１３２２のビットレートは一定であり、所定の許容ビットレートを超えない値に設定されている。圧縮されたコンテンツフィルタリング済みの信号１４４０のビットレートは時間変動する。当該技術分野で知られている通り、可変ビットレートは、平均ビットレート、ピークビットレート、平均データバースト長などのパラメータによって特徴づけられうる。これらのパラメータを、各ネットワーク経路の容量とともに使用して、「実効ビットレート」１５２５を決定することが可能であり、これは平均ビットレート１５２０より大きい。フレームサンプリング済みの信号１３２２を形成することにより、結果として得られる一定ビットレートは、確実に、（サービスレベル合意又はネットワーク制約に基づいてよい）所定の許容ビットレートを超えない。サーバ１２０における圧縮処理は、圧縮済みの信号１４４０の実効ビットレートが許容可能なビットレートを超えないように考案されている。
クライアント装置の組のうちの特定のクライアント装置に対してサービスを提供するべく、純ビデオ信号をコード変換することにより、クライアント装置タイプと互換性を有するコード変換済みの信号を生成することができる。コード変換済みの信号は、サーバからクライアント装置までの経路のいくつかの経路の容量を超過するフローレートを有する場合がある。完全カバレッジ（実現可能なカバレッジ）の視聴をクライアント装置に対して提供するべく、低減されたフローレートの信号サンプルが生成され、且つ、クライアント装置にマルチキャストされる。信号サンプルは、フレームサンプリングされたコード変換済みの信号又は圧縮されたコード変換済みの信号であってもよい。個別の好ましい視聴領域の識別子を特定のクライアント装置から受け取った際に、コード変換済みの信号は、個々の好ましい視聴領域に対応するクライアントに固有の信号を生成するように、コンテンツフィルタリングされる。クライアントに固有の信号は、圧縮され、且つ、特定のクライアント装置に対して送信される。
信号編集モジュール
図１６は、サーバ１２０の信号編集モジュール４６０（図４から図８）の基本コンポーネント１６００を示す。第１の段階１６１０では、純ビデオ信号４２０が処理されて、Ｋ個（Ｋ≧１）のコンテンツフィルタリング済みの信号１６１２が生成される。第２の段階１６２０では、各コンテンツフィルタリング済みの信号１６１２が、それぞれのクライアント装置又はクライアント装置群１８０に適応される。各コンテンツフィルタリング済みの信号は、それぞれの信号処理ユニット１６３０に誘導されて、フレームレートの上限、分解能、及びフローレート（ビットレート）を含む幾つかの条件を満たす、それぞれの調整済み信号１６５０が生成される。調整済み信号１６５０は、幾つかのクライアント装置にマルチキャストされることに適していてよい。コンテンツフィルタリング済みの信号１６１２は、個別には１６１２（０）から１６１２（Ｋ－１）として識別されている。信号処理ユニット１６３０は、個別には１６３０（０）から１６３０（Ｋ－１）として識別されている。調整済み信号１６５０は、個別には１６５０（０）から１６５０（Ｋ－１）として識別されている。
図１６は、サーバ１２０の信号編集モジュール４６０（図４から図８）の基本コンポーネント１６００を示す。第１の段階１６１０では、純ビデオ信号４２０が処理されて、Ｋ個（Ｋ≧１）のコンテンツフィルタリング済みの信号１６１２が生成される。第２の段階１６２０では、各コンテンツフィルタリング済みの信号１６１２が、それぞれのクライアント装置又はクライアント装置群１８０に適応される。各コンテンツフィルタリング済みの信号は、それぞれの信号処理ユニット１６３０に誘導されて、フレームレートの上限、分解能、及びフローレート（ビットレート）を含む幾つかの条件を満たす、それぞれの調整済み信号１６５０が生成される。調整済み信号１６５０は、幾つかのクライアント装置にマルチキャストされることに適していてよい。コンテンツフィルタリング済みの信号１６１２は、個別には１６１２（０）から１６１２（Ｋ－１）として識別されている。信号処理ユニット１６３０は、個別には１６３０（０）から１６３０（Ｋ－１）として識別されている。調整済み信号１６５０は、個別には１６５０（０）から１６５０（Ｋ－１）として識別されている。
図１７は、完全コンテンツ信号からの異なる部分コンテンツ信号の同時生成のための、１１２０（０）～１１２０（Ｋ－１）として個別に識別されたＫ個のコンテンツフィルタ１１２０を有するコンテンツフィルタリング段階１６１０を示している。サーバ－ネットワークインタフェース１７１０を通じて受け取られた完全コンテンツ信号９００は、すべてのコンテンツフィルタ１１２０の入力にルーティングされる純ビデオ信号４２０を生成するように、圧縮解除及び／又はデワープ（モジュール１７２５）することができる。要求されたコンテンツを識別するパラメータが、コンテンツフィルタ１１２０の入力１７２０を制御するべく、分配されている。
各コンテンツフィルタ１１２０は、純ビデオ信号４２０から、指定された視聴領域に対応する部分を抽出することを物理プロセッサ（図示せず）に行わせるように考案されている。純ビデオ信号４２０は各コンテンツフィルタ１１２０にサブミットされ、各モジュール１１２０は、対応するコンテンツフィルタリング済みの信号１６１２を生成するように活性化される。特定のコンテンツフィルタリング済みの信号１６１２が、その特定のコンテンツフィルタリング済みの信号に対応する、視聴領域の好みを示した幾つかのクライアントにマルチキャストされてよい。しかしながら、クライアント装置はそれぞれ特性が異なる場合があり、クライアント装置までのネットワーク経路の容量がそれぞれ異なる場合があり、ネットワーク経路の容量、及びクライアント装置における時間変動トラフィック負荷がそれぞれ異なるためにクライアント装置に対する許容可能なフローレートがそれぞれ異なる場合がある。従って、コンテンツフィルタリング済みの信号１６１２は、第２の段階１６２０において、クライアント装置及びネットワーク経路に適応するように処理される。
図１８は、信号編集モジュール４６０の第２の段階１６２０の信号処理ユニット１６３０を示しており、これは、クライアント装置タイプに対する信号適応を行うコード変換モジュール１８４０と、許容可能なフローレートに適合するための信号フローレート適応を行うモジュール１８６０と、を含む。コード変換モジュール１８４０は、フレームレート及び分解能が各クライアント装置の能力の範囲に収まるようにビデオ信号を適応させることが可能である。Ｎ個のタイプ（Ｎ≧１）のクライアント装置が活動している場合、コード変換モジュール１８４０は、それぞれが各装置タイプに適応されたＮ個の信号１８４２（個別には１８４２（０）から１８４２（Ｋ－１）として識別されている）を生成する。モジュール１８６０は更に、信号のフローレートが許容値を超えた場合にはフローレートを下げることが可能である。各モジュール１８６０（ｊ）（０≦ｊ＜Ｎ）は、各信号１８４２のデータブロックを保持するバッファ１８６１と、プロセッサで実行可能なフローレート適応命令を記憶するメモリ装置１８６２と、を含む。
図１９は、信号編集モジュール４６０の一例示的実施態様１９００を示す。図１７に示されたように、コンテンツフィルタリング段階１６１０は、Ｋ個のコンテンツフィルタ１１２０を含む。各コンテンツフィルタリング済みの信号１６１２は、コード変換モジュール１８４０にサブミットされて、クライアント装置の各タイプに対して適応される。コード変換モジュール１８４０は、コンテンツフィルタリング済みの信号１６１２のデータブロックを保持するバッファ１９２２と、プロセッサ実行可能命令を記憶するメモリ装置１９２３とを含み、これらの命令によって、プロセッサは、フレームレート及び／又は分解能を、クライアント受信機の能力に適合するように修正する。コード変換モジュール１８４０の各出力信号１８４２は、フローレート適合モジュール１８６０において更に処理されてよい。
図１７に示されたように、Ｋ個のコンテンツフィルタ１１２０（個別には１１２０（０）から１１２０（Ｋ－１）として識別されている）（Ｋ＞１）が同時に活性化されることにより、異なるコンテンツフィルタリング済みの信号１６１２（０）から１６１２（Ｋ－１）が抽出されてよく、これらのそれぞれが更に、それぞれの信号処理ユニット１６３０において処理されて、各クライアント装置又はクライアント装置群での表示に適する信号１６５０が生成される。図１８に示されたように、コンテンツフィルタリング済みの信号１６１２は、ターゲットクライアント装置１８０に適合するようにコード変換され、更に、許容上限を超えないフローレートに適応される。
図２０は、ターゲットクライアント装置１８０に対するビデオ信号編集の処理２０００を示す。制御信号９３５は、トラフィックパフォーマンス測定値２０１４、公称フレームレート及びフレーム分解能２０１６、並びに好ましい視聴領域の識別子２０１２を提供してよい。純ビデオ信号４２０がコンテンツフィルタ１１２０（ｊ）に誘導されることにより、ターゲットクライアント装置のユーザによって識別された視聴領域ｊに対応するコンテンツが純ビデオ信号４２０から抽出される。フローレート計算モジュール２０４０は、コード変換モジュール１８４０（ｊ）において使用される、ターゲットクライアント装置１８０に適合する許容可能なフローレートΦ、並びにフレームレート及びフレーム分解能を決定するために活性化される。コード変換モジュール１８４０（ｊ）は、抽出されたコンテンツフィルタリング済みの信号１６１２（ｊ）を、フローレート計算モジュール２０４０によって決定されたフレームレート及びフレーム分解能に適応させるために活性化される。サーバ圧縮モジュール２０３０が編集済みビデオ信号９４０を生成し（図９）、この信号は、識別された視聴領域に適合し、ターゲットクライアント装置１８０の能力と、サーバ１２０からターゲットクライアント装置１８０までのネットワーク経路の能力とに対応している。送信機２０５０が信号２０５２をターゲットクライアント装置に送信する。信号２０５２は、ビデオ信号９４０と、付随するマルチメディア信号（例えば、オーディオ信号及び／又はテキスト）及び制御信号とを一緒に含む。信号２０５２は、ネットワーク経路２０６０を通ってターゲットクライアント装置にルーティングされる。
図２１は、フローレート計算モジュール２０４０の詳細を示す。処理２１１０は、サーバに記憶されるか、ターゲットクライアントから受信される制御信号９３５に含まれていてよい、ターゲットクライアント装置１８０の公称フレームレート及び公称フレーム分解能から始めて、ターゲットクライアント装置１８０のディスプレイ装置において必要なフローレートＲを、フレームレートとフレーム当たり画素数と画素当たりビット数とを直接掛け合わせることによって決定する。処理２１２０は、独立に、サーバとターゲットクライアント装置との間の許容可能なフローレートΦ（参照符号２１２２）を、ネットワーク経路２０６０上のトラフィックパフォーマンスの測定値と、クライアント装置の受信バッファの占有率とに基づいて決定する。トラフィックパフォーマンス測定値は、データロスインジケータ（あれば）及び遅延ジッタを含む。トラフィックパフォーマンス測定値は、当該技術分野においてよく知られている技術を用いて決定される。測定されたトラフィックパフォーマンスに基づいて許容可能なフローレートを決定することは、実験式に基づいてよく、或いはパラメータ化分析モデルに基づいてよい。
処理２１４０は、ネットワーク経路２０６０上の許容可能なフローレートΦに対する、ターゲットクライアントサーバのディスプレイ装置において必要なフローレートＲの圧縮比（プロセス２１３０で決定される）が、サーバ圧縮モジュール２０３０にとって適切かどうかを判定する。フローレートＲを下げないと圧縮比制限が満たされない場合には、処理２１５０は、修正済みのフレームレート及び／又は修正済みの分解能２１５２を決定してよく、これがコード変換モジュール１８４０（図２０）に伝達される。許容可能なフローレートΦは、サーバ圧縮モジュール２０３０に伝達されてよい。
図２２は、クライアント装置１８０の構成要素を示す。メモリ装置２２１０が、クライアント装置の特性化データ（例えば、ディスプレイ装置のフレームレート及びフレーム分解能の上限）を記憶する。メモリ装置２２２０が、特定のサーバ１２０と相互作用するソフトウェア命令を記憶する。これらの命令は、クライアント装置のユーザが好ましい視聴領域の識別情報をサーバに伝達することを可能にするソフトウェアモジュールを含んでよい。ソフトウェア命令は、クライアント装置のユーザによってインストールされてよく、或いは、ダウンストリーム制御信号９４５と一緒にサーバ１２０から送信されてよい（図９）。クライアント送信機２２３０が、すべての制御データをクライアント装置から各サーバ１２０に送信する。クライアント受信機２２４０が、サーバ１２０からのすべての信号を受信し、これには、編集済みビデオ信号９４０（これは圧縮されていてよい）、他のマルチメディアデータ（オーディオ信号及びテキスト）、及び制御信号９４５が含まれる。インタフェース２２４２が、制御信号９４５をプロセッサ２２５０に振り分け、編集済みビデオ信号９４０を、付随するオーディオ信号及びテキストと一緒にメモリ装置２２６０に振り分け、メモリ装置２２６０は、ビデオ信号９４０、オーディオデータ、及びテキストを含む着信マルチメディアデータのデータブロックをバッファリングする。着信マルチメディアデータが圧縮されていない場合、データはディスプレイ装置２２９０に渡される。着信マルチメディアデータが圧縮されている場合は、クライアント圧縮解除モジュール２２７０が、メモリ装置２２６０にバッファリングされている圧縮データブロックを圧縮解除して表示データを生成し、これが、ディスプレイ装置２２９０に結合されているメモリ装置２２８０で保持される。特に、完全カバレッジのフレームサンプリング済みの信号１３２２（図１３、図１４）の１フレーム分に対応するデータブロックが、メモリ装置２２８０からデキューされるまで何度も表示されてよい。
図２３は、ネットワーク１５０を通じたユニバーサルストリーミングサーバ１２０と２つのパノラママルチメディアソース１１０－０及び１１０－１との間の通信経路を示している。マルチメディアソース１１０は、パノラマカメラ３１０（例えば、４πカメラ）を有しており、且つ、図３～図８に示されているように、デワープモジュール３３０及び／又はソース圧縮モジュール３４０を含むことができる。２つのパノラママルチメディアソース１１０しか示されていないが、ユニバーサルストリーミングサーバ１２０は、図２に示されているように、更に多くの数のマルチメディアソース１１０に同時に接続しうることを理解されたい。好ましい一実装形態においては、ユニバーサルストリーミングサーバは、ユニバーサルストリーミングサーバのネットワーク接続性及び処理容量が、変化する活動レベルに適するように選択されうるように、クラウドに埋め込まれている。パノラママルチメディアソース１１０からのソースマルチメディア信号は、適切な送信容量のネットワーク経路４８０／４９０（図４）を通じてユニバーサルストリーミングサーバ１２０に送信されている。ソースマルチメディア信号は、ソースビデオ信号９００を含む。
ネットワーク経路４８０／４９０が理想的であれば、ユニバーサルストリーミングサーバ１２０が受信するマルチメディア信号は、送信されたビデオ信号の遅延した複製となる。しかしながら、ネットワーク経路４８０／４９０は、ソース側のデータルータ、受け側のデータルータ、並びに場合によっては１つ以上の中間データルータを通る可能性がある。従って、受信されるマルチメディア信号は、ノイズ、遅延ジッタ、並びに場合によっては信号の一部消失に見舞われる可能性がある。サーバ１２０における信号フィルタリング、並びにフローレート制御によって、受信されるマルチメディア信号のコンテンツは、送信されたマルチメディア信号のコンテンツに近い複製となる。
ソースビデオ信号９００は、図３に示されたように、パノラマカメラで生成された「未加工」のビデオ信号３１２、補正済みビデオ信号３２２、圧縮済みのビデオ信号３４２、又はコンパクトビデオ信号３４３であってよい。デワープモジュール３３０を使用して、未加工のビデオ信号から補正済みビデオ信号３２２が生成される。ソース圧縮モジュール３４０（図３）を使用して、標準化された圧縮方法又は独自の圧縮方法のいずれかに従って、未加工の信号３１２から圧縮済みのビデオ信号３４２が生成される。ソース圧縮モジュール３４０を使用して、補正済みビデオ信号３２２からコンパクトビデオ信号３４３が生成される。未加工のビデオ信号は、単一のパノラマカメラ、又は複数のカメラにより生成されてよい。
ユニバーサルストリーミングサーバ１２０は、ネットワーク経路２３１４を介して、制御信号９２５（図９）をパノラママルチメディアソース１１０に送信してよく、ネットワーク経路２３１４は、ペイロード経路４８０／４９０に比べて伝送容量が（格段に）低いものとなる。
図２４は、ユニバーサルストリーミングサーバ１２０、パノラママルチメディア信号を提供する信号ソース１１０、及び複数のクライアント装置１８０をサポートするネットワーク１５０を示している。１つの信号ソースしか示されていないが、ユニバーサルストリーミングサーバ１２０は、図２に示されているように、同時に複数の信号ソースに接続しうることを理解されたい。通信経路は、ユニバーサルストリーミングサーバ１２０と複数の異種のクライアント装置１８０との間において確立されている。ユニバーサルストリーミングサーバ１２０は、編集済みのマルチメディア信号９４０（図９）をネットワーク経路２４１２を通じてクライアント装置に送信している。ユニバーサルストリーミングサーバ１２０は、個々のクライアント装置１８０からネットワーク１５０内の（図示されてはいない）制御経路を通じて制御データ９３５を受け取っている。制御データ９３５は、サービスの要求及び視聴領域の選択を含むことができる。
ソース１１０からのソースマルチメディア信号は、高フローレートをサポートするべく、十分に高容量のペイロードネットワーク経路４８０／４９０を通じてサーバ１２０に送信されている。マルチメディア信号は、ソースビデオ信号９００を含む（図３、３１２、３２２、３４２、又は３４３）。サーバ１２０から信号ソース１１０への制御信号は、ペイロードネットワーク経路４８０／４９０との比較において格段に低容量となるであろう制御経路上において送信されている。ソースマルチメディア信号のビデオ信号コンポーネント９００は、パノラマカメラによって生成されたオリジナルの圧縮されていないビデオ信号であってもよく、或いは、規格化された圧縮方法のうちの１つ又はプロプライエタリな圧縮方法に従ってオリジナルのビデオ信号から生成された圧縮済みのビデオ信号であってもよい。オリジナルのビデオ信号は、単一のパノラマカメラによって生成されてもよく、或いは、複数のカメラによって生成されてもよい。
理想的なネットワーク経路の場合には、サーバ１２０における受信されたビデオ信号は、送信されたビデオ信号の遅延したレプリカとなろう。但し、ネットワーク経路は、ソースにおけるデータルータ、宛先におけるデータルータ、並びに、恐らくは、１つ又は複数の中間のデータルータを経由しうる。従って、受信されたマルチメディア信号は、ノイズ、遅延ジッタ、並びに、恐らくは、部分な信号損失を経験しうる。ユニバーサルストリーミングサーバ１２０は、個々のクライアント装置１８０からコマンドを受け取っている。コマンドは、サービスに対する要求や視聴パターンの選択などを含むことができる。
ユニバーサルストリーミングサーバからクライアント装置１８０への、個別に又は集合的に９４０として参照されている、ビデオ信号は、個々のクライアント装置１８０の能力、利用可能なネットワーク経路の能力（「帯域幅」）、並びに、クライアントの好みに対して個別に適合されている。個々のクライアント装置からユニバーサルストリーミングサーバへの制御データは、集合的に９３５（図９）として参照されている。ユニバーサルストリーミングサーバ１２０は、共有型のクラウド演算ネットワーク内において割り当てられたハードウェア処理ユニット及びメモリ装置を使用することにより、実装することができる。或いは、この代わりに、選択されたプロセスは、クラウド外の演算設備内において実行することもできる。
図２５は、ソース１１０からサーバ１２０にマルチメディア信号を搬送する経路４８０／４９０と、制御信号９０５をソース１１０からサーバ１２０に、且つ、制御信号９２５をサーバ１２０からソース１１０に、搬送するデュアル制御経路２５１２と、を示している。ダウンストリームネットワーク経路２５２５は、サーバ１２０からクライアント１８０にマルチメディア信号を搬送している。デュアル制御経路２５２６は、ダウンストリーム制御信号をクライアント装置１８０に、且つ、アップストリーム制御信号９３５をクライアント装置１８０からサーバ１２０に、搬送している。クライアント装置１８０と関連するオートマトン２５４５は、コマンドをユニバーサルストリーミングサーバに送信することができる。オートマトンは、通常、人間の観察者となろう。但し、いくつかの用途においては、人工知能能力を有するモニタを想定することができる。
マルチメディアソース１１０において生成されたパノラママルチメディア信号９００から適応されたクライアント別マルチメディア信号９４０は、複数の異種のクライアント装置１８０にマルチキャストされてよい。マルチメディア信号９４０は、各クライアント装置の能力、ネットワーク経路の利用可能な容量（「帯域幅」）、及びクライアントの好みに対して個別に適応される。
図２６は、少なくとも１つのハードウェアプロセッサ２６１０を含む、ユニバーサルストリーミングサーバ１２０のモジュール構造を示す。サーバ－ソースインタフェース２６５１が、マルチメディアソース１１０との通信を制御する。ソース特徴付けモジュール２６５２が、マルチメディアソース１１０を特性化し、受信されたパノラマビデオ信号９００を処理するように考案されたモジュールのセット２６２０にソース特性化データを伝達する。ソース特性化データは、パノラママルチメディアソースによって伝達される特性化データから、或いは、記憶されているレコードから決定されてよい。モジュールのセット２６２０は、伝送ノイズや遅延ジッタに起因する信号劣化を相殺する信号フィルタリングモジュール２６２１を含み、サーバ圧縮解除モジュール３５０及びデワープモジュール３２０を含んでよい（図３）。信号フィルタリングモジュール２６２１は、ノイズ及び遅延ジッタによって引き起こされる信号劣化を相殺する。「未加工」のビデオ信号３１２（図３）がソースにおいてデワープされて「補正済みの信号」３２２が生成され、これが更にソースにおいて圧縮される場合、サーバ圧縮解除モジュール３５０は、適切な圧縮解除処理を適用して、補正済みの信号３２２の複製を生成する。そうでない場合、未加工のビデオ信号３１２がソースにおいてデワープされずに圧縮されていれば、サーバ圧縮解除モジュール３５０は、適切な圧縮解除処理を適用して、未加工の信号３１２の複製を生成し、これがデワープモジュール３２０を使用してデワープされる。
クライアント装置に関係したモジュール２６４０は、クライアント装置特徴付けモジュール２６４２と、クライアント装置特性に対する信号適合のためのモジュール２６４３と、を含む。クライアント装置特徴付けモジュール２６４２は、クライアント装置タイプの組のうちのそれぞれのクライアント装置タイプの特性を記憶するクライアントプロファイルデータベース２６４１に依存したものであってもよく、或いは、サーバ－クライアントインタフェース２６６１を介して受け取った特徴付けデータからクライアント装置特性を抽出することもできる。クライアントの装置特性は、処理能力、フレームレートの上部境界、フレーム分解能、及びフローレートなどに関係したものであってもよい。
クライアントに固有のモジュール２６６０は、サーバ－クライアントインタフェース２６６１と、クライアントの環境に対する信号適合用のモジュール２６６２と、クライアントの視聴の好みに対する信号適合用のモジュール２６６３と、を含む。
図２７は、視聴選択肢のクライアントの選択を追跡するための学習モジュール２７２５を含むユニバーサルストリーミングサーバ１２０を示している。学習モジュールは、視聴の好みデータを保持すると共に、視聴の好みをクライアント装置の特性に対して、且つ、任意選択により、クライアントの環境に対して、相関させるように、構成することができる。
従って、サーバは、少なくとも１つのネットワークを通じて少なくとも１つのパノラマビデオソースと複数のクライアント装置との間において通信経路を確立するように構成されたネットワークインタフェースモジュールを有する。様々な設計は、
ソースにおいて圧縮済みのビデオ信号を圧縮解除するように構成された圧縮解除モジュール、
ソースにおいてデワープされていないビデオ信号をデワープするように構成されたデワープモジュール、
複数のクライアント装置のうちの任意のクライアント装置の特性に対してビデオ信号を適合させるように構成されたコード変換モジュール、
識別された視聴領域に対応するようにビデオ信号のコンテンツを編集するべく構成されたコンテンツフィルタ、並びに、
ソースビデオ信号を取得し、クライアント固有のビデオ信号を生成するべくビデオ信号をコード変換モジュール及びコンテンツフィルタに提示し、且つ、クライアント固有のビデオ信号を個々のクライアント装置に送信するために、少なくとも１つのパノラマビデオソースとの間において通信するように構成された制御モジュール、
というモジュールに基づいて、ユニバーサルストリーミングサーバ１２０を構築しているものと見なすことができる。
ソースにおいて圧縮済みのビデオ信号を圧縮解除するように構成された圧縮解除モジュール、
ソースにおいてデワープされていないビデオ信号をデワープするように構成されたデワープモジュール、
複数のクライアント装置のうちの任意のクライアント装置の特性に対してビデオ信号を適合させるように構成されたコード変換モジュール、
識別された視聴領域に対応するようにビデオ信号のコンテンツを編集するべく構成されたコンテンツフィルタ、並びに、
ソースビデオ信号を取得し、クライアント固有のビデオ信号を生成するべくビデオ信号をコード変換モジュール及びコンテンツフィルタに提示し、且つ、クライアント固有のビデオ信号を個々のクライアント装置に送信するために、少なくとも１つのパノラマビデオソースとの間において通信するように構成された制御モジュール、
というモジュールに基づいて、ユニバーサルストリーミングサーバ１２０を構築しているものと見なすことができる。
サーバは、視聴の好みデータを保持すると共に視聴の好みをクライアント装置の特性に相関させるように構成された学習モジュールを更に使用することができる。
図２８は、ユニバーサルストリーミングサーバ１２０において実施される処理を示しており、この処理では、パノラマビデオ信号がクライアント装置タイプに対して適応されてから、コンテンツフィルタリングされる。処理２８２０では、ソースビデオ信号９００がソースにおいて圧縮されている場合に、受信されたソースビデオ信号９００が圧縮解除される。ソースビデオ信号がソースにおいてデワープされていない場合には、受信されたソースビデオ信号９００がデワープされる。処理２８２０では純ビデオ信号４２０が生成され（図４～図８）、この信号は、上述のように、補正済みビデオ信号３２２又は整流済みビデオ信号３２４（図３）であってよい。複数の処理２８３０が並列に実行されてよく、これによって、純ビデオ信号４２０が、様々なタイプのクライアント装置に適応されたビデオ信号にコード変換される。
処理２８３０のそれぞれは、クライアント装置の各タイプに固有である。処理２８３０では、処理２８２０の結果として得られる純ビデオ信号４２０がコード変換されて、クライアント装置の各タイプに適する修正済み信号が生成される。幾つかのクライアントが同じタイプの装置を使用していてよい。しかしながら、各クライアントは視聴の好みが異なってよい。処理２８３０で生成されたビデオ信号が、コンテンツフィルタ１１２０において、各クライアント（人間）の視聴領域の選択結果に適応される。しかしながら、同じタイプの装置を使用する２人以上のクライアントが視聴の好みも同様である場合には、コンテンツフィルタリング処理が１つだけ実行されてよく、結果として適応された信号がその２つ以上のクライアントに送信される。
図２９は、ユニバーサルストリーミングサーバ１２０において実施される処理を示しており、この処理では、パノラマビデオ信号が、コンテンツフィルタリングされてから、クライアント装置タイプに対して適応される。図２８の処理２８２０と同様に、ソースビデオ信号９００がソースにおいて圧縮されている場合に、受信されたソースビデオ信号９００が圧縮解除される。ソースビデオ信号９００がソースにおいてデワープされていない場合には、受信されたソースビデオ信号９００がデワープされる。処理２８２０では純ビデオ信号４２０が生成され、この信号は、上述のように、補正済みビデオ信号３２２又は整流済みビデオ信号３２４（図３）であってよい。メモリ装置が、部分カバレッジ視聴領域の所定の記述子のセット２９２５を記憶する。
純ビデオ信号４２０のコンテンツフィルタリングの複数の処理が並列に実施されてよく、これによって、部分カバレッジ視聴領域の所定の記述子に対応するコンテンツフィルタリング済みのビデオ信号が生成される。コンテンツフィルタリング済みのビデオ信号を、タイプの異なる複数のクライアント装置に適応させるために、複数の処理２９４０が並列に実行されてよい。２人以上のクライアントが同じ視聴領域を選択し、同じタイプのクライアント装置を使用する場合には、処理２９４０が１つだけ実行され、結果として適応されたビデオ信号がその２つ以上のクライアントに送信される。
図３０は、パノラママルチメディア信号を取得し、取得したマルチメディア信号を個々のクライアントに適応させる方法３０００を示す。ユニバーサルストリーミングサーバ１２０は、パノラママルチメディア信号と、好ましくはそれぞれのメタデータとを、選択されたパノラママルチメディアソース１１０から取得する（処理３０１０）。取得されたパノラママルチメディア信号はソースビデオ信号を含み、これは、図３に示されたように、未加工のビデオ信号３１２、補正済みビデオ信号３２２、圧縮済みのビデオ信号３４２、又はコンパクトビデオ信号３４３であってよい。ソースビデオ信号は、ノイズや遅延ジッタに起因する劣化を相殺するためにフィルタリングされ（処理３０１２）、信号がソースにおいて圧縮されている場合には圧縮解除される（処理３０１４）。そこまでに処理された信号は、ソースにおいて最初にデワープされていない場合にはデワープされる（処理３０１８）。処理３０１０から処理３０１８までで純ビデオ信号４２０が生成される。
クライアントからのサービス要求が受信されると（処理３０２０）、純ビデオ信号４２０は、クライアントの装置の特性に対して適応される（処理３０２２）。適応された信号は、圧縮され（処理３０２６）、クライアント装置に送信される（処理３０２８）。処理３０２６では、サーバからクライアント装置までのネットワーク経路の状態によって生ずる可能性があるフローレート制約が考慮される。
クライアントは、特定の視聴領域を希望してよく、ユニバーサルストリーミングサーバ１２０と通信して好ましい視聴領域を定義することが可能である。好ましい視聴領域を定義する制御信号３０３０がクライアントから受信されると（処理３０３２）、処理３０２２で生成された、適応された信号がコンテンツフィルタリングされ（処理３０３４）、圧縮され（処理３０２６）、クライアント装置に送信される（処理３０２８）。純視聴信号４２０は、ストリーミングセッション中に複数回コンテンツフィルタリングされてよい。
図３１は、図３０の方法と同様の、パノラママルチメディア信号を取得し、取得したマルチメディア信号を個々のクライアントに適応させる方法３１００を示す。異なるのは、処理３０１０、３０２０、及び３０２２の実行順序だけである。
図３２は、特定のパノラママルチメディアソース１１０に対応する、ユニバーサルストリーミングサーバ１２０において保持される、一例示的ストリーミング制御テーブル３２００を示す。特定のクライアント装置１８０に配信される編集済みのマルチメディア信号９４０（図９、図２４）は、そのクライアント装置の特性と、そのクライアント装置を使用する視聴者の視聴の好みとに依存する。多数のクライアント装置１８０が（活動をリアルタイムで監視している）ユニバーサルストリーミングサーバ１２０に同時に接続している場合には、以下のことが可能性としてありそうである。
（ｉ）多数のクライアントが、同じ特性のクライアント装置１８０を使用するが、クライアントは視聴の好みがそれぞれ異なる。
（ｉｉ）多数のクライアントが、視聴の好みはよく似ているが、使用するクライアント装置の特性がそれぞれ異なる。且つ／又は、
（ｉｉｉ）２人以上のクライアントが、同じ特性のクライアント装置を使用し、視聴の好みも同じである。
（ｉ）多数のクライアントが、同じ特性のクライアント装置１８０を使用するが、クライアントは視聴の好みがそれぞれ異なる。
（ｉｉ）多数のクライアントが、視聴の好みはよく似ているが、使用するクライアント装置の特性がそれぞれ異なる。且つ／又は、
（ｉｉｉ）２人以上のクライアントが、同じ特性のクライアント装置を使用し、視聴の好みも同じである。
従って、ユニバーサルストリーミングサーバ１２０の処理負荷を低減するべく、
クライアント装置に対する信号適合のモジュール２６４３は、同一の特性のすべてのクライアント装置について、一度だけ、稼働してもよく、次いで、クライアントの視聴の好みに対する信号適合のモジュール２６６３は、類似のクライアント装置及び類似の視聴の好みを有するすべてのクライアントについて、一度だけ、稼働し、或いは、
クライアントの視聴の好みに対する信号適合のモジュール２６６３は、類似の視聴の好みを有するすべてのクライアントについて、一度だけ、稼働してもよく、次いで、クライアント装置に対する信号適合のモジュール２６４３は、類似の視聴の好み及び類似のクライアント装置を有するすべてのクライアントについて、一度だけ、稼働している。
クライアント装置に対する信号適合のモジュール２６４３は、同一の特性のすべてのクライアント装置について、一度だけ、稼働してもよく、次いで、クライアントの視聴の好みに対する信号適合のモジュール２６６３は、類似のクライアント装置及び類似の視聴の好みを有するすべてのクライアントについて、一度だけ、稼働し、或いは、
クライアントの視聴の好みに対する信号適合のモジュール２６６３は、類似の視聴の好みを有するすべてのクライアントについて、一度だけ、稼働してもよく、次いで、クライアント装置に対する信号適合のモジュール２６４３は、類似の視聴の好み及び類似のクライアント装置を有するすべてのクライアントについて、一度だけ、稼働している。
上述のように、モジュール２６４３は、クライアント装置の特性に対する信号適応を行うように考案されており、モジュール２６６３は、クライアントの視聴の好みに対する信号適応を行うように考案されている。
クライアントのサービス要求はランダムな順序で到着する可能性があり、先行する信号適応処理を追跡する簡単な一方法は、ストリーミング制御テーブル３２００（図３２）を使用することである。ストリーミング制御テーブル３２００は、ＮＵＬＬで初期化されている。図３２の例では、クライアント装置１８０の８つのタイプがＤ０、Ｄ１、…、Ｄ７と表されており、６つの視聴選択肢がＶ０、Ｖ１、…、Ｖ５と表されており、これらは、例えば、視聴立体角に従って定量化される。第１のクライアントが、タイプＤ１のクライアント装置を使用してユニバーサルストリーミングサーバ１２０にアクセスし、視聴選択肢Ｖ３を要求した。この場合は、ストリーム０と表されたストリームが生成され、ストリーミング制御テーブル３２００に示される。タイプＤ５のクライアント装置１８０を使用し、視聴選択肢Ｖ２を指定した別のクライアントに対しては、ストリーム１と表される別のストリームが生成され、その他も同様に行われる。ストリーミング制御テーブル３２００には６つのストリームだけが識別されているが、当然のことながら、同時に接続されているクライアント装置１８０が多数ある場合には、多数のストリームがあってよいことが理解される。クライアントからの新しい要求が受信されると、ストリーミング制御テーブル３２００がアクセスされて、新しいストリームを生成するべきか、既存のストリームをそのクライアントに向けるべきかが判定される。本明細書では、ある装置タイプに対応するすべてのストリームが、ある「ストリームカテゴリ」を形成するものとされている。
図３３は、特定のクライアント装置１８０に対するビデオ信号の最初の適応のストリーミング制御処理３３００を示す。クライアント装置１８０からのサービス要求がサーバ－クライアントインタフェースモジュール２６６１において受信され（処理３３１０）、クライアント装置１８０のタイプが識別される（処理３３１２）。処理３３１４では、その装置タイプが想定されているかどうかが判定される。
クライアント装置タイプがまだ想定されていないものであれば（処理３３１４）、新しいストリームカテゴリが作成され（処理３３２０）、対応する純ビデオ信号４２０がその装置タイプに適応される（処理３３２２）。新しいストリームカテゴリが記録され（処理３３２４）、新しいストリームが生成され（処理３３２６）、その特定のクライアント装置に送信される（処理３３３０）。
その装置タイプが既に想定されている場合（処理３３１４）には、ストリームカテゴリが識別される（処理３３１６）。この時点では、クライアントは視聴の好みを示していなくてもよく、デフォルトの視聴選択肢が割り当てられてよい。識別された視聴領域に対応するストリームが既に生成されている場合（処理３３２６）には、そのストリームがその特定のクライアント装置に送信される（処理３３３０）。そうでない場合には、新しいストリームが生成され（処理３３２６）、その特定のクライアント装置に送信される（処理３３３０）。
図３４は、クライアント装置１８０のタイプごとの視聴選択肢の数を示す、学習モジュール２７２５によって生成された一例示的テーブル３４００を示す。Ｄ０、Ｄ１、…、Ｄ７と表される８つのクライアント装置タイプと、Ｖ０、Ｖ１、…、Ｖ５と表される６つの視聴選択肢とが想定されている。このテーブルは、装置タイプと、可動時間窓であってよい所定の時間窓にわたる視聴選択肢と、によって規定される各ストリームの選択数を蓄積してよい。
図３４の例示的テーブルでは、Ｄ１と表されるクライアント装置を使用するクライアントに最も人気のある視聴選択肢は、（その時間窓の間に６４回選択されている）視聴選択肢Ｖ３である。そこで、ユニバーサルストリーミングサーバ１２０において受信される、タイプＤ１のクライアント装置からの新しいサービス要求に対しては、まず視聴選択肢Ｖ３が割り当てられてよい。
従って、本発明は、共有型のクラウド演算ネットワーク内において割り当てられたハードウェア処理ユニット及びメモリ装置を使用して実装されうるサーバにおいて実装される信号ストリーミングの方法を提供している。方法は、信号を複数のクライアントにマルチキャストするプロセスと、信号のコンテンツを変更するための要求を特定のクライアントから受け取るプロセスと、変更済みの信号を生成するプロセスと、変更済みの信号をその特定のクライアントに送信するプロセスと、を有する。信号は、単一のカメラによって生成された、或いは、複数のカメラからのビデオ信号を組み合わせることによって生成された、パノラマビデオ信号を含むパノラママルチメディア信号から導出することができる。変更済みの信号は、部分カバレッジマルチメディア信号であってもよい。
変更済みの信号を生成するべく、方法は、デワープ済みのビデオ信号を生成するべく信号のビデオ信号コンポーネントをデワープするプロセスと、装置に固有のビデオ信号を生成するべくクライアント装置に対してデワープ済みのビデオ信号を適合させるプロセスと、を有する。装置に固有の信号は、クライアントの視聴の好みに対して適合させることができる。視聴の好みは、クライアントから受け取った要求内において記述されてもよく、或いは、クライアント装置タイプの固有の既定値に基づいたものであってもよい。
方法は、ストリーミングサービスを要求するべくサーバと通信しているクライアント装置の特性を取得するプロセスを有する。クライアント装置の特性及び視聴の好みの記録は、サーバにおいて維持されている視聴の好みデータベースに追加することができる。
本発明は、サーバにおいて実行される信号ストリーミングの方法を更に提供しており、この方法は、クラウド演算ネットワークのリソースを使用することにより、完全に又は部分に、実装することができる。サーバは、パノラママルチメディア信号を取得することができると共に、次いで、純ビデオ信号を生成するべく、パノラママルチメディア信号のビデオ信号コンポーネントを圧縮解除又はデワープすることができる。複数のクライアント装置のうちの所与のクライアント装置について、
（ｉ）純ビデオ信号は、選択された視聴領域に対応する個別のコンテンツフィルタリング済みの信号を生成するべく、コンテンツフィルタリングされており、且つ、
（ｉｉ）クライアント装置に結び付けられたコンテンツフィルタリング済みの信号は、クライアント装置の特性に対してのみならず、サーバからターゲットクライアント装置までのネットワーク経路の特性に対しても、適合されている。
（ｉ）純ビデオ信号は、選択された視聴領域に対応する個別のコンテンツフィルタリング済みの信号を生成するべく、コンテンツフィルタリングされており、且つ、
（ｉｉ）クライアント装置に結び付けられたコンテンツフィルタリング済みの信号は、クライアント装置の特性に対してのみならず、サーバからターゲットクライアント装置までのネットワーク経路の特性に対しても、適合されている。
それぞれのクライアント装置は、プロセッサと、メモリ装置と、表示画面と、を有する。クライアント装置は、視聴の好みの通知をサーバに送信することができる。サーバは、クライアント装置に送信されるように、視聴の好みに対応する個々のコンテンツフィルタリング済みの信号を生成している。
サーバは、
（ａ）視聴の好みをクライアントの装置の特性に関係付けているデータを保持するプロセスと、
（ｂ）複数のクライアント装置のそれぞれのクライアント装置ごとに既定の視聴の好みを判定するべく、保持されているデータを使用するプロセスと、
を更に実行することができる。
（ａ）視聴の好みをクライアントの装置の特性に関係付けているデータを保持するプロセスと、
（ｂ）複数のクライアント装置のそれぞれのクライアント装置ごとに既定の視聴の好みを判定するべく、保持されているデータを使用するプロセスと、
を更に実行することができる。
サーバは、ソースにおいて既にデワープ及び圧縮済みであるパノラマビデオ信号を取得することができると共に、次いで、純ビデオ信号を生成するべく、パノラマビデオ信号を圧縮解除することができる。この結果、変更済みの信号の組が生成され、この場合に、それぞれの変更済みの信号は、予め定義された部分カバレッジパターンの組のうちの１つの個別の部分カバレッジパターンに対応している。複数のクライアント装置から、それぞれの接続要求が好ましい部分カバレッジパターンを規定している接続要求を受け取った際に、サーバは、それぞれのクライアント装置ごとに、個々の好ましい部分カバレッジパターンに従って個々の変更済みの信号を判定する。特定のクライアント装置に結び付けられた個々の変更済みの信号は、特定のクライアント装置の特性と、特定のクライアント装置までのネットワーク経路の特性と、に適するように、更に適合させることができる。
図３５は、信号コンテンツの変化及び性能メトリックに基づいたダウンストリーム信号のフローレート制御のプロセス３５００を示している。サーバのフローコントローラは、２つのフロー制御選択肢のうちの１つを実装する。第１選択肢（選択肢０）においては、コンテンツフィルタリング済みのビデオ信号のエンコーダは、現時点の許容可能なフローレートを強制実施している（プロセス３５４２）。第２選択肢（選択肢１）においては、フローコントローラは、相対的に大きな経路容量を予約するべく、或いは、過剰な経路容量を解放するべく、サーバからクライアント装置までの経路を提供しているネットワークのコントローラと通信している（プロセス３５４４）。
サーバ１２０のネットワークインタフェース（１０１０、図１０）は、好ましいビデオ信号コンテンツの定義のみならず、パフォーマンス測定値をも含みうるアップストリーム制御データをクライアント装置１２０から受け取っている。当技術分野において周知のように、第１装置を第２装置に接続している通信経路のトラフィック性能は、第１装置と第２装置との間において制御データを交換することにより、評価することができる。第１装置は、時刻及びデータパケットインデックスを送信する通知を送信することができる一方で、第２装置は、遅延ジッタ及び／又はデータパケット損失を検出できると共に、関連する情報を第１装置に伝達することができる。これに加えて、第２装置は、第２装置のデコーダにおける処理遅延及びパケットバッファ占有率を追跡することもできるが、このような情報は、第２装置における現時点の処理負荷を通知することになり、その結果、第１装置から第２装置までのフローレートの低減が必要になりうる。
ネットワークインタフェースは、アップストリーム制御データを受け取り、且つ、性能計測データを抽出している（プロセス３５１０）。フローコントローラは、当技術分野において周知の方法を使用して性能メトリックを判定している。パフォーマンス測定値は、サーバ１２０からクライアント装置において受け取られた搬送波信号から検出されたデータを保持するクライアント装置におけるデータ損失、遅延ジッタ、及びバッファの占有率を含むことができる。パフォーマンス測定値は、現時点の許容可能なフローレートに対応している。フローコントローラは、パフォーマンス測定値に基づいて性能メトリックを判定し（プロセス３５１２）、且つ、性能メトリックを個々の受け入れレベルと比較するが（プロセス３５１４）、個々の受け入れレベルは、既定値に基づいたものであってもよく、或いは、アップストリーム制御データにおいて定義されているものであってもよい。性能が受け入れ可能である場合には、コンテンツフィルタリング済みのビデオ信号が、現時点の許容可能なフローレート下においてエンコーディングされる（プロセス３５５０）。性能が受け入れ可能ではない場合には、フローコントローラは、相対的に低いフローレートにおいてコンテンツフィルタリング済みのビデオ信号をエンコーディングするように（選択肢０、プロセス３５４０、３５４２）、或いは、相対的に大きな容量の経路を取得するべくネットワークコントローラと通信するように（選択肢１、プロセス３５４０、３５４４）、エンコーダに対して命令する。第２選択肢は、トラフィック計測値がクライアント装置における受け入れ不能な処理負荷を通知している場合には、選択することができない。
又、ネットワークインタフェースは、完全コンテンツの純ビデオ信号の好ましい部分コンテンツを定義するデータをも抽出し、且つ、この情報をコンテンツフィルタに伝達している（プロセス３５２０）。コンテンツフィルタは、受け取った新しいコンテンツの定義に従ってコンテンツフィルタリング済みのビデオ信号を生成するべく、純ビデオ信号から新しいコンテンツフィルタリング済みの信号を抽出している（プロセス３５２２）。フローコントローラは、新しいコンテンツに対応する一時的なフローレート要件を判定している（プロセス３５２４）。一時的なフローレートが現時点の許容可能なフローレートを超過していない場合には（プロセス３５２６）、新しいコンテンツフィルタリング済みのビデオ信号が、許容可能なフローレート下においてエンコーディングされる（プロセス３５５０）。さもなければ、フローコントローラは、現時点の許容可能なフローレートの制約下においてエンコーディングされた新しいコンテンツフィルタリング済みのビデオ信号をエンコーディングするように（選択肢０、プロセス３５４０、３５４２）、或いは、相対的に大きな容量の経路を取得するべくネットワークコントローラと通信するように（選択肢１、プロセス３５４０、３５４４）、エンコーダに対して命令する。
図３６は、フローコントローラ３６１０を有するユニバーサルストリーミングサーバ１２０のフロー制御システムを示している。フローコントローラは、プロセッサ３６３０と、好ましいフローレートを判定するモジュール３６３５を形成する命令を記憶しているメモリ装置と、を有する。モジュール３６３５は、図３５のプロセス３５００を実装することができる。サーバ－ネットワークインタフェース３６２５は、コンテンツ定義パラメータ３６１２と、パフォーマンス測定値３６１６と、を受け取っている。コンテンツフィルタ１１２０は、純ビデオ信号４２０（図４）を受け取り、且つ、クライアント装置と関連するオートマトン２５４５（図２５）から受け取った要求されている部分コンテンツのコンテンツ定義パラメータ３６１２に従って部分コンテンツ信号３６５０を抽出している。モジュール３６３５は、好ましいフローレートを判定するべく、クライアント装置から受け取ったパフォーマンス測定値３６１６を使用している。エンコーダ３６４０は、好ましいフローレートにおいて部分コンテンツ信号をエンコーディングし、且つ、クライアント装置に送信されるように、圧縮済みの信号３６６０を生成している。エンコーダ３６４０は、コード変換器と、サーバ圧縮モジュール（図示されてはいない）と、を有する。
ユニバーサルストリーミングサーバ１２０においては、ソースからの受け取った信号は、オリジナルの完全コンテンツ信号を再生するべく、圧縮解除されてもよく、好ましくは、ソースは、損失なしの圧縮技法を使用して圧縮済みの信号を送信している。完全コンテンツ信号は、規定されたコンテンツ定義パラメータに従って部分コンテンツ信号を生成するべく、コンテンツフィルタ内において処理されている。部分コンテンツ信号の好ましいフローレートは、図４１において更に詳述されているように、受信機のパフォーマンス測定値又はネットワークのパフォーマンス測定値に基づいて判定されている。従って、部分コンテンツ信号は、個別のクライアント装置に送信される、圧縮済みの部分コンテンツ信号を生成するように、エンコーディングされている。
図３７は、図２４のストリーミングシステム内における信号のコンテンツフィルタリングとフローレート適合の組み合わせられたプロセス３７００を示している。ユニバーサルストリーミングサーバ１２０は、コンテンツ定義パラメータ及びパフォーマンス測定値の形態において、関連するオートマトン制御データをクライアントから継続的に受け取っている（プロセス３７１０）。クライアントからのコンテンツ定義パラメータが、コンテンツを変更するための要求を通知している場合には、コンテンツ定義パラメータは、コンテンツフィルタ１１２０まで導かれ（プロセス３７２０及び３７６０）、且つ、受け取ったクライアントの制御データが変更済みの信号コンテンツに対応することを保証するべく、人工的な遅延３７７０を課した後に、プロセス３７１０が起動される。そうではなくて、コンテンツ定義パラメータが、現時点のコンテンツの維持を通知している場合には、ユニバーサルストリーミングサーバは、好ましいフローレートを判定する（プロセス３７３０）。好ましいフローレートが、現時点のフローレートと同一であるか、或いは、現時点のフローレートからわずかな逸脱しか有していない場合には、動作は発生せず、且つ、プロセス３７１０に戻る（プロセス３７４０）。好ましいフローレートが現時点のフローレートと大幅に異なっている場合には、新しいフローレートがエンコーダ３６４０に伝達され（プロセス３７４０及び３７５０）、且つ、受け取ったクライアントの制御データが新しいフローレートに対応することを保証するべく、人工的な遅延３７７０の後に、プロセス３７１０が起動される。人工的な遅延は、ユニバーサルストリーミングサーバとクライアントの装置との間の往復遅延を超過しうるであろう。
図３８は、ユニバーサルストリーミングサーバのコンテンツフィルタ１１２０を示している。コンテンツフィルタ１１２０は、プロセッサ３８２２と、純ビデオ信号４２０のデータブロックを保持するバッファ３８２６と、プロセッサに純ビデオ信号のバッファ処理されたデータブロックから部分コンテンツの更新済みのコンテンツ信号３８６０を抽出させるようにするソフトウェア命令を記憶しているメモリ装置３８２４と、を有する。部分コンテンツ信号のブロックは、バッファ３８２８内において記憶されている。プロセッサ３８２２は、コード変換モジュール及び／又は圧縮モジュールを含みうる後続の処理ステージへのバッファ３８２８内のデータの転送をもたらすソフトウェア命令を実行する。
従って、本発明は、ネットワークインタフェース１０１０と、コンテンツフィルタ１１２０と、フローコントローラ３６１０と、エンコーダ３６４０と、を有するユニバーサルストリーミングサーバ１２０を提供している。
ネットワークインタフェースは、パノラマ信号ソース１１０からのソースビデオ信号９００、コンテンツ定義パラメータ３６１２、及びクライアント装置１８０からのパフォーマンス測定値３６１６を受け取るように構成されている。圧縮解除モジュール及びデワープモジュールを有するソース信号処理モジュール１０２４は、ソースビデオ信号９００から純ビデオ信号４２０を生成している。純ビデオ信号４２０は、ソースにおいてキャプチャされた個別のシーンに対応する完全カバレッジ信号である。
コンテンツフィルタ１１２０は、コンテンツ定義パラメータ３６１２に従って純ビデオ信号４２０から更新済みのコンテンツ信号３８６０を抽出するように構成されている。コンテンツフィルタのプロセッサは、現時点のコンテンツ信号のサイズに対する更新済みのコンテンツ信号のサイズの比率を判定するように構成されている。
フローコントローラ３６１０は、ハードウェアプロセッサ３６３０に、パフォーマンス測定値及び現時点のコンテンツ信号のサイズに対する更新済みのコンテンツ信号のサイズの比率に基づいて部分カバレッジ信号の現時点の許容可能なフローレートを判定させるようにするフロー制御命令３６３５を記憶しているメモリ装置を有する。
エンコーダ３６４０は、コード変換器モジュール及び圧縮モジュールを有しており、且つ、現時点の許容可能なフローレート下において部分カバレッジ信号をエンコーディングするように構成されている。
フローコントローラ３６１０は、ユニバーサルストリーミングサーバ１２０とクライアント装置との間における必須フローレートと互換性を有する経路を取得するべく、ネットワークコントローラ（図示されてはいない）と通信するように構成されている。
フロー制御命令３６３５は、ハードウェアプロセッサに、現時点の許容可能なフローレートと先行する許容可能なフローレートとの間の差の通知を保持させるようにしている。差が、予め定義された閾値を超過している場合には、命令は、プロセッサが、受け取ったパフォーマンス測定値が現時点の許容可能なフローレートに対応することを保証するべく、予め定義されている遅延期間にわたって後続の許容可能なフローレートの判定のプロセスを遅延させるようにする。
コンテンツフィルタ１１２０は、個別のプロセッサ３８２２と、個別のプロセッサに純ビデオ信号４２０から更新済みのコンテンツ信号を抽出させるようにするコンテンツ選択命令３８２４を記憶している個別のメモリ装置と、を有する。第１バッファ３８２６は、完全カバレッジビデオ信号のデータブロックを保持している。第２バッファ３８２８は、更新済みのコンテンツ信号３８６０のデータブロックを保持している。
コンテンツ選択命令３８２４は、個別のプロセッサが、現時点の許容可能なフローレートを判定する際に使用されるように、完全コンテンツ信号のデータブロックのサイズ及び更新済みの信号の対応するデータブロックのサイズに基づいて現時点のコンテンツ信号のサイズに対する更新済みのコンテンツ信号のサイズの比率を判定するようにしている。
ユニバーサルストリーミングサーバは、個別のハードウェアプロセッサに、フレームサンプリング済みのビデオ信号１３２２（図１３及び図１５）を導出するべく、離隔したフレーム間隔において純ビデオ信号４２０をサンプリングさせるようにするフレームサンプリング命令を記憶しているメモリ装置を有するフレームサンプリングモジュール１３２０を更に有する。フレーム間隔は、フレームサンプリング済みのビデオ信号が、公称フローレートを超過しない一定のフローレートを有するように選択されており、且つ、この場合に、ネットワークインタフェースは、フレームサンプリング済みのビデオ信号をクライアントに送信するように更に構成されている。
コンテンツフィルタ１１２０は、完全コンテンツビデオ信号から異なる視聴領域に対応する予め選択されたコンテンツフィルタリング済みの信号の組を導出するように、構成することができる。連続的な時間窓を占有する圧縮されたコンテンツフィルタリング済みの信号の連続体を生成するべく、信号圧縮命令を記憶しているメモリ装置を有する圧縮モジュールを予め選択されたコンテンツフィルタリング済みの信号を圧縮するように構成することができる。ネットワークインタフェースは、圧縮されたコンテンツフィルタリング済みの信号の連続体をクライアント装置に送信し、予め選択されたコンテンツフィルタリング済みの信号の組のうちの好ましいコンテンツフィルタリング済みの信号の通知を受け取り、且つ、この通知をコンテンツフィルタに伝達するように、更に構成されている。
図３９は、ストリーミングセッションを開始するべく、ユニバーサルストリーミングサーバ１２０において実行される初期プロセス３９００を示している。ユニバーサルストリーミングサーバは、信号ソースからデワープされた圧縮済みの完全コンテンツ信号を受け取り（プロセス３９１０）、且つ、ソースにおいてキャプチャされた個別のシーンに対応する純ビデオ信号を生成するべく完全コンテンツ信号を圧縮解除している（プロセス３９１５）。サーバは、クライアント装置から接続要求を受け取っており（プロセス３９２０）、この要求は、信号の部分コンテンツのパラメータを含むことができる。コンテンツ定義パラメータが提供されていない場合には、既定のコンテンツ選択が使用される（プロセス３９２５、３９３０）。ユニバーサルストリーミングサーバのコンテンツフィルタは、既定のコンテンツ選択又は規定された部分コンテンツ選択に基づいて部分コンテンツ信号を抽出している（プロセス３９４０）。初期コンテンツ選択は、完全コンテンツであるものと設定することができる。抽出された信号のフローレートは、接続要求内において規定することができるが、このケースにおいては、ユニバーサルストリーミングサーバのエンコーダは、規定されているフローレートの制約下において信号をエンコーディングすることができる（プロセス３９５０及び３９６０）。さもなければ、既定のフローレートをエンコーダに提供することができる（プロセス３９５５）。圧縮されたエンコーディング済みの部分コンテンツ（又は、完全コンテンツ）信号は、ターゲットクライアント装置に送信される（プロセス３９７０）。
図４０は、送信されたエンコーディング済みの信号のビデオ信号コンテンツ及びフローレートの適合型の変更方法４０００を示している。ユニバーサルストリーミングサーバは、クライアント装置と関連するオートマトン（人物）から新しいコンテンツの好みを受け取っている（プロセス４０１０）。新しいコンテンツが現時点のコンテンツと同一である場合には（プロセス４０２０及び４０５０）、ユニバーサルストリーミングサーバのコンテンツフィルタは、その以前の設定を維持し、且つ、受け取った性能データに基づいた好ましいエンコーディングレートが判定される（プロセス４０５０、好ましいフローレートを判定するモジュール３６３５、図３６）。信号は、好ましいエンコーディングレートにおいてエンコーディングされ（プロセス４０６０）、且つ、ターゲットクライアント装置に送信される（プロセス４０７０）。新しいコンテンツが現時点のコンテンツと異なっているとプロセス４０２０が判定した場合には、ユニバーサルストリーミングサーバのコンテンツフィルタは、純ビデオ信号から部分コンテンツ信号を抽出し（プロセス４０２０及び４０３０）、且つ、公称フローレートにおいて信号をエンコーディングする（プロセス４０４０）。圧縮されたエンコーディング済みの部分コンテンツ信号は、ターゲットクライアント装置に送信される（プロセス４０７０）。
図４１は、受信機の状態及びネットワーク経路の状態に関連するパフォーマンス測定値に基づいて信号の好ましいエンコーディングレートを判定する基準４１００を示している。いくつかのクライアント装置に対してサービスしているユニバーサルストリーミングサーバは、クライアント装置からのクライアントの受信機の状態に関連する性能データと、ユニバーサルストリーミングサーバからクライアントの受信機までのネットワーク経路に関連する性能データと、受け取っている。ユニバーサルストリーミングサーバに結合されたモジュールが、受信機の状態に関連するプライマリメトリックと、ネットワーク経路状態に関連するセカンダリメトリックと、を判定している。下部境界及び上部境界によって定義される受け入れインターバルが、それぞれのメトリックごとに規定される。これらのメトリックは、個々の上部境界超の値が受け入れ不能な性能を通知する一方で、個々の下部境界未満の値が予想よりも良好な性能を通知するように、定義されている。メトリックは、値が個々の受け入れインターバルの下部境界未満である場合の「－１」という状態、値が受け入れインターバルの上部境界超である場合の「１」という状態、並びに、これら以外の場合、即ち、値が下部及び上部境界を含む受け入れインターバル内にある場合の、「０」という状態、という３つの状態のうちの１つにあるものと見なすことができる。「メトリック状態」及び「メトリックインデックス」という用語は、本明細書において同義的に使用されている。
受信機の状態及びネットワーク経路の状態は、相互に独立したものではない。ネットワーク経路は、遅延ジッタ及び／又はデータ損失に起因して、受信機へのデータフローに対して影響を及しうる。好ましいエンコーディングレート（従って、フローレート）は、以下の規則（ｉ）～（ｉｖ）に従って判定することができる。
（ｉ）いずれかのプライマリメトリックが、個々の予め定義された受け入れインターバルから逸脱しており、これにより、受け入れ不能な受信機性能を通知している場合には、即ち、プライマリメトリックが、予め定義されている受け入れインターバル超である場合には、新しい公正に低減された許容可能なフローレート（プロセス４１２０）が、セカンダリメトリックの値とは無関係に、プライマリメトリックに基づいて、判定される。
（ｉｉ）プライマリメトリックのいずれもが予め定義された受け入れインターバル超ではなく、且つ、いずれかのセカンダリメトリックが個々の受け入れインターバル超である場合には、新しい公正に低減された許容可能エンコーディングレート（プロセス４１３０）が、セカンダリメトリックに基づいて判定される。
（ｉｉｉ）それぞれのプライマリメトリックが個々の受け入れインターバル未満であり、且つ、それぞれのセカンダリメトリックが個々の受け入れインターバル未満である場合には、新しい相対的に大きな許容可能なフローレート（プロセス４１４０）が、プライマリ及びセカンダリメトリックに基づいて公正に判定されてもよい。
（ｉｖ）上述の（ｉ）、（ｉｉ）、又は（ｉｉｉ）のうちのいずれもが適用されない場合には、現時点のフローレート（エンコーディングレート）が、不変の状態において留まる（４１１０）。
（ｉ）いずれかのプライマリメトリックが、個々の予め定義された受け入れインターバルから逸脱しており、これにより、受け入れ不能な受信機性能を通知している場合には、即ち、プライマリメトリックが、予め定義されている受け入れインターバル超である場合には、新しい公正に低減された許容可能なフローレート（プロセス４１２０）が、セカンダリメトリックの値とは無関係に、プライマリメトリックに基づいて、判定される。
（ｉｉ）プライマリメトリックのいずれもが予め定義された受け入れインターバル超ではなく、且つ、いずれかのセカンダリメトリックが個々の受け入れインターバル超である場合には、新しい公正に低減された許容可能エンコーディングレート（プロセス４１３０）が、セカンダリメトリックに基づいて判定される。
（ｉｉｉ）それぞれのプライマリメトリックが個々の受け入れインターバル未満であり、且つ、それぞれのセカンダリメトリックが個々の受け入れインターバル未満である場合には、新しい相対的に大きな許容可能なフローレート（プロセス４１４０）が、プライマリ及びセカンダリメトリックに基づいて公正に判定されてもよい。
（ｉｖ）上述の（ｉ）、（ｉｉ）、又は（ｉｉｉ）のうちのいずれもが適用されない場合には、現時点のフローレート（エンコーディングレート）が、不変の状態において留まる（４１１０）。
図４２は、図４１の基準に基づいて信号の好ましいエンコーディングレートを判定する方法を示している。方法は、図４０のプロセス４０５０を詳述している。方法は、同一のビデオ信号のコンテンツ選択（視聴領域選択）内において適用される、即ち、ビデオ信号のコンテンツの変化に対する要求が受け取られる時点まで現在のビデオ信号のコンテンツが不変の状態において留まることを要するとユニバーサルストリーミングサーバが判定した際に、適用される。
ユニバーサルストリーミングサーバのコントローラは、クライアントの受信機と関連する性能データに基づいてプライマリメトリックを判定している（プロセス４２１０）。いずれかのプライマリメトリックが個々の受け入れインターバル超である場合には、公正に低減された許容可能なフローレートが、プライマリメトリックに基づいて判定され（プロセス４２２０及び４２２５）、且つ、個々のエンコーダに伝達される（プロセス４２８０）。そうではなくて、プライマリメトリックのいずれもが、その個々の受け入れインターバル超ではない状態においては、ユニバーサルストリーミングサーバのコントローラは、ユニバーサルストリーミングサーバからクライアント装置までのネットワーク経路の状態に関連する性能データに基づいて、セカンダリメトリックを判定する（プロセス４２２０及び４２３０）。
いずれかのセカンダリメトリックが、その予め定義された受け入れインターバル超である場合には、公正に低減された許容可能なフローレートが、セカンダリメトリックに基づいて判定され（プロセス４２４０及び４２４５）、且つ、個々のエンコーダに伝達される（プロセス４２８０）。そうではなくて、それぞれのプライマリメトリックがその予め定義された受け入れインターバル未満であり、且つ、それぞれのセカンダリメトリックがその予め定義された受け入れインターバル未満である場合には、プライマリ及びセカンダリメトリックに基づいて新しいエンコーディングレートが判定され（プロセス４２５０及び４２６０）、且つ、個々のエンコーダに伝達される（プロセス４２８０）。いずれかのプライマリメトリック又はいずれかのセカンダリメトリックが、その個々の受け入れインターバル内にある場合には、現時点のエンコーディングレートが維持される（プロセス４２５５）。
従って、本発明は、フローレート調節下にあるストリーミングシステム内における信号ストリーミングの方法を提供している。方法は、少なくとも１つのハードウェアプロセッサを有するサーバ１２０において、純ビデオ信号４２０が導出されるソースビデオ信号９００を取得するステップと、純ビデオ信号の派生物をクライアント装置１８０に送信するステップと、サーバ１２０のコントローラ３６１０において、完全カバレッジビデオ信号の好ましい部分カバレッジを定義するコンテンツ選択パラメータ３６１２をクライアント装置から受け取るステップと、を有する。サーバのコンテンツフィルタ１１２０が、コンテンツ選択パラメータ３６１２に従って、純ビデオ信号４２０から部分カバレッジビデオ信号３６５０を抽出している。
サーバは、部分カバレッジビデオ信号をクライアント装置１８０に送信している。部分カバレッジビデオ信号に関連するパフォーマンス測定値３６１６を受け取った際に、コントローラ３６１０は、パフォーマンス測定値に基づいて部分カバレッジビデオ信号の更新済みの許容可能なフローレートを判定している。エンコーダ３６４０は、更新済みの許容可能なフローレートに従って部分カバレッジビデオ信号をエンコーディングしている。エンコーダ３６４０は、クライアント装置の特性と互換性を有するコード変換済みの信号を生成するべく、部分カバレッジビデオ信号をコード変換し、且つ、コード変換済みの信号を圧縮している。
コントローラ３６１０は、現時点の許容可能なフローレートの制約下において部分カバレッジビデオ信号をエンコーディングするように、エンコーダ３６４０に対して命令することができる。或いは、この代わりに、コントローラは、サーバ１２０とクライアント装置１８０との間における更新済みの許容可能なフローレートと互換性を有するダウンストリームネットワーク経路を取得するべく、ネットワークコントローラ（図示されてはいない）と通信することもできる。
純ビデオ信号の派生物は、予め定義されている公称フローレートを超過しない一定のフローレートのフレームサンプリング済みのビデオ信号１３２２（図１３、図１５）として生成することができる。或いは、この代わりに、派生物は、純ビデオ信号４２０から導出された、予め定義された公称フローレート内の、圧縮済みのビデオ信号１３４２（図１３）として、生成されてもよい。又、純ビデオ信号の派生物は、連続的な時間窓を占有する、且つ、純ビデオ信号から導出された、圧縮されたコンテンツフィルタリング済みのビデオ信号の連続体１３６４（図１３）として生成されてもよい。
パフォーマンス測定値は、クライアント装置の受信機における状態と、サーバからクライアント装置までのダウンストリームネットワーク経路の状態と、に関連している。コントローラ３６１０は、受信機の状態に関連するパフォーマンス測定値に基づいてプライマリメトリックを判定している。少なくとも１つのプライマリメトリックが個々の受け入れインターバル超である場合には、コントローラ３６１０は、プライマリメトリックに基づいて現時点の許容可能なフローレートを公正に低減する（図４１）。そうではなくて、プライマリメトリックのいずれもが個々の受け入れインターバル超ではない場合には、コントローラ３６１０は、ダウンストリームネットワーク経路に関連するパフォーマンス測定値に基づいてセカンダリメトリックを判定する。少なくとも１つのセカンダリメトリックが個々の受け入れインターバル超である場合には、コントローラは、セカンダリメトリックの値に基づいて信号の現時点のフローレートを公正に低減する（図４１）。
それぞれのプライマリメトリックが個々の受け入れインターバル未満であり、且つ、それぞれのセカンダリメトリックが個々の受け入れインターバル未満である場合には、コントローラは、プライマリ及びセカンダリメトリックに基づいて現時点の許容可能なフローレートを公正に増大させる（図４１）。
図４３は、多数のクライアントに対してサービスしているユニバーサルストリーミングサーバ１２０内におけるコンテンツ選択の冗長的処理を低減する方法を示している。ユニバーサルストリーミングサーバ１２０において完全カバレッジ信号を受信した際に（プロセス４３１０）、ユニバーサルストリーミングサーバのコントローラは、生成された部分カバレッジ信号（コンテンツフィルタリング済みの信号）のパラメータを保持するためのレジスタを生成している（プロセス４３２０）。当初、レジスタは、空の状態となろう。圧縮済みの完全カバレッジ信号は、サーバにおいて、圧縮解除され、且つ、ソースにおいてデワープされていない場合には、デワープされる。コントローラは、特定のクライアント装置から、好ましい視聴領域を定義するパラメータを受け取っている（プロセス４３３０）。コントローラは、予め生成された部分カバレッジ信号の存在又は不存在を特定するべく、レジスタを検査している（プロセス４３４０）。
マッチングする部分カバレッジ信号が既に生成されているとレジスタコンテンツが通知している場合には、コントローラは、マッチングする部分カバレッジ信号に対するアクセスを提供する（プロセス４３５０及び４３６０）。部分カバレッジ信号は、更なる処理のためにエンコーダまで導かれる（プロセス４３９０）。部分カバレッジ信号は、すべてのエンコーディング済みの信号が同一の視聴領域に対応する状態において、異なるフローレートのエンコーディング済みの信号を生成するべく、異なる許容可能なフローレート下において動作している複数のエンコーダまで導くことができる。エンコーダは、コード変換モジュールと、サーバ圧縮モジュールと、を有する。或いは、この代わりに、部分カバレッジ信号は、すべてのエンコーディング済みの信号が同一の視聴領域に対応する状態において、異なるフローレートのエンコーディング済みの信号を順番に生成するべく、１つのエンコーダに対して提示されてもよい。
マッチングする部分カバレッジ信号が見出されない場合には、コントローラは、好ましい視聴領域を定義する新しいコンテンツ定義パラメータに従って新しい部分カバレッジ信号を抽出するべく（プロセス４３７０）、完全カバレッジ信号をコンテンツフィルタ１１２０（図３６）まで導いている。新しいコンテンツ定義パラメータは、将来の使用のためにレジスタに追加されており（プロセス４３８０）、且つ、新しい部分カバレッジ信号は、更なる処理のためにエンコーダまで導かれている。
従って、本発明は、信号ストリーミングの方法を提供しており、この方法は、
完全カバレッジ信号をサーバにおいて受け取るステップと、
ハードウェアプロセッサを有するコントローラにおいて、
完全カバレッジ信号から導出された部分カバレッジ信号の識別子を保持するレジスタを形成するステップと、
視聴領域を定義する新しいコンテンツ定義パラメータをサーバに結合されているクライアント装置から受け取るステップと、
新しいコンテンツ定義パラメータに対応したマッチングする部分カバレッジ信号の存在を特定するべくレジスタを試験するステップと、
を有する。
完全カバレッジ信号をサーバにおいて受け取るステップと、
ハードウェアプロセッサを有するコントローラにおいて、
完全カバレッジ信号から導出された部分カバレッジ信号の識別子を保持するレジスタを形成するステップと、
視聴領域を定義する新しいコンテンツ定義パラメータをサーバに結合されているクライアント装置から受け取るステップと、
新しいコンテンツ定義パラメータに対応したマッチングする部分カバレッジ信号の存在を特定するべくレジスタを試験するステップと、
を有する。
マッチングする部分カバレッジ信号が見出された場合には、マッチングする部分カバレッジ信号は、クライアント装置に送信される。さもなければ、完全カバレッジ信号は、新しいコンテンツ定義パラメータに従って新しい部分カバレッジ信号を抽出するべく、コンテンツフィルタまで導かれる。新しい部分カバレッジビデオ信号は、エンコーディング済みのビデオ信号を生成するべく、エンコーディングされ、且つ、エンコーディング済みのビデオ信号のビットレートが判定される。新しいコンテンツ定義パラメータは、レジスタに追加される。
エンコーディングのプロセスは、コード変換済みのビデオ信号を生成するべく新しい部分カバレッジビデオ信号をコード変換するステップと、次いで、予め定義された公称フローレートの制約下においてコード変換済みのビデオ信号を圧縮するステップと、を有する。
サーバは、クライアント装置の受信機における状態と、サーバから受信機までのネットワーク経路の状態と、に関連するパフォーマンス測定値をクライアント装置から受け取っている。コントローラは、パフォーマンス測定値及び許容可能なフローレートに基づいて性能メトリックを判定している。許容可能なフローレートは、対応する予め定義された閾値及びエンコーディング済みのビデオ信号のビットレートからの性能メトリックの逸脱の関数として判定されている。
エンコーディングのプロセスは、視聴領域に対応する異なるフローレートのエンコーディング済みの信号を生成するべく、新しい部分カバレッジ信号を異なる許容可能なフローレート下において動作している複数のエンコーダまで更に導くことができる。
シームレスなコンテンツの変更
ユニバーサルストリーミングサーバ１２０は、複数のパノラママルチメディアソース１１０にアクセスできると共に（図２）、処理され、且つ、様々なクライアント装置１８０に伝達されるように、マルチメディア信号を同時に取得することができる。それぞれのマルチメディア信号は、ソースビデオ信号９００（図９、図１７、図２３、及び図２８）を含んでいてもよく、この信号は、未加工の信号３１２、補正済みの信号３２２、圧縮済みの信号３４２、又はコンパクトな信号３４３（図３）であってもよい。ソースビデオ信号は、異なる視聴領域に対応する部分カバレッジビデオ信号を生成するべく、コンテンツ定義パラメータの異なる組に従ってコンテンツフィルタリングされうる完全カバレッジビデオ信号である。ソースビデオ信号９００は、ソースにおいてキャプチャされた個々のシーンに対応する純ビデオ信号４２０を生成するべく、サーバにおいて圧縮解除及び／又はデワープすることができる。サーバ１２０は、図１７、図１９、図２８、及び図２９において示されているように、複数のコンテンツフィルタ１１２０を利用することができる。
ユニバーサルストリーミングサーバ１２０は、複数のパノラママルチメディアソース１１０にアクセスできると共に（図２）、処理され、且つ、様々なクライアント装置１８０に伝達されるように、マルチメディア信号を同時に取得することができる。それぞれのマルチメディア信号は、ソースビデオ信号９００（図９、図１７、図２３、及び図２８）を含んでいてもよく、この信号は、未加工の信号３１２、補正済みの信号３２２、圧縮済みの信号３４２、又はコンパクトな信号３４３（図３）であってもよい。ソースビデオ信号は、異なる視聴領域に対応する部分カバレッジビデオ信号を生成するべく、コンテンツ定義パラメータの異なる組に従ってコンテンツフィルタリングされうる完全カバレッジビデオ信号である。ソースビデオ信号９００は、ソースにおいてキャプチャされた個々のシーンに対応する純ビデオ信号４２０を生成するべく、サーバにおいて圧縮解除及び／又はデワープすることができる。サーバ１２０は、図１７、図１９、図２８、及び図２９において示されているように、複数のコンテンツフィルタ１１２０を利用することができる。
サーバ１２０は、コンテンツフィルタ１１２０を有する信号編集モジュール４６０、コード変換モジュール１１４０、及び圧縮モジュール１１６０（図１１）を使用することにより、それぞれのアクティブなクライアント装置に固有のコンテンツフィルタリング済みのビデオ信号を提供している。サーバは、新しい視聴領域に対応する新しいコンテンツ定義パラメータを含むアップストリーム制御信号を特定のクライアント装置１８０から受け取ることができる。１つの視聴領域から別のものへのシームレスな遷移を提供するべく、サーバは、特定の信号編集モジュール４６０－Ａが現時点のビデオ信号コンテンツの処理に関与している際に、自由な信号編集モジュール４６０－Ｂが、新しいコンテンツ定義パラメータ内において規定されているビデオ信号コンテンツを処理し、次いで、特定の信号編集モジュール４６０－Ａを置換し、その結果、信号編集モジュール４６０－Ａが自由な信号編集モジュールとなりうるように、いくつかのスペア信号編集モジュール４６０を提供することができる。
図４４は、１つの視聴領域から別のものへのシームレスな遷移を可能にするためのビデオ信号の一時的な同時コンテンツフィルタリングを示している。純ビデオ信号４２０は、４６０（０）～４６０（７）として個々に識別されている８つの信号編集モジュール４６０に対して提示されている。６つの異なるコンテンツフィルタリング済みの信号が、少なくとも６つのクライアント装置１８０に分配されるように、純ビデオ信号から生成されている。インデックス０、１、２、３、５、及び７という信号編集モジュール４６０が、個々のコンテンツフィルタリング済みのビデオ信号を同時に生成している。上述の信号編集モジュールにおいて生成されたデータブロックは、インデックス２、０、４、１、３、及び５というバッファ４４２０にそれぞれ導かれている。マルチプレクサ４４５０が、バッファから読み取ったデータブロックを組み合わせており、且つ、結果的に得られた複数のコンテンツフィルタリング済みのストリーム４４６０が、ネットワークを通じて個々のクライアント装置に分配されている。
図４４の例においては、信号編集モジュール４６０（２）において処理されたコンテンツフィルタリング済みのビデオ信号を受け取ったクライアント装置１８０は、新しいコンテンツ定義パラメータを提供している。ハードウェアプロセッサを有するコントローラ（図示されていない）は、新しいコンテンツ定義パラメータに従って新しいコンテンツフィルタリング済みのビデオ信号を生成するように、現在自由である信号編集モジュール４６０（６）に対して命令する。束の間の期間の後に、信号編集モジュール４６０（６）は、新しいコンテンツフィルタリング済みのビデオ信号のデータブロックをバッファ４４２０（４）まで導くことになり、且つ、信号編集モジュール４６０（２）は、接続解除され、且つ、スペア信号編集モジュールとなることになろう。
図４５は、ユニバーサルストリーミングサーバ１２０をネットワークに結合するステップを示している。ユニバーサルストリーミングサーバ１２０は、その全体をクラウド演算ネットワーク内において実装できると共に、クライアント装置１８０との間の通信も、クラウド演算ネットワーク内において実行することができる。或いは、この代わりに、生成されたクライアントに結び付けられたストリーム９４０（図９）は、別のネットワークのルータ／スイッチ４５４０を通じてクライアント装置にルーティングすることもできる。ルータ－スイッチ４５４０は、入力ポート４５４１及び出力ポート４５４２を通じて、多数のその他のサーバ又はその他のルータ－スイッチに接続することができる。
従って、サーバは、共有されたネットワークを通じて複数のビデオソース及び複数のクライアント装置と通信するべくネットワークアクセスポートを有する。サーバは、物理的プロセッサ及び関連するメモリ装置が需要に応じて動的に割り当てられる共有型のクラウド演算ネットワーク内において部分的又は全体的に設置することができる。
要すれば、開示されているユニバーサルストリーミングサーバは、異なるタイプの複数のパノラママルチメディアソース及び異なる能力のクライアント装置との間においてやり取りするように構成されている。サーバは、パノラママルチメディアソースと制御信号を交換することにより、マルチメディア信号を、マルチメディア信号の記述子、並びにソースにおいて実施された信号処理を示すデータと一緒に取得することを可能にしてよい。サーバは、クライアント装置と制御信号を交換することにより、完全カバレッジ（達成可能カバレッジ）パノラマビデオ信号の信号サンプルの配信を調整し、クライアント装置における視聴者から好ましい視聴領域の識別子を取得してよい。
サーバは、クライアントの視聴の好みをキャプチャする幾つかの方法を実施するように考案される。一方法によれば、達成可能空間カバレッジに対応する信号サンプルがクライアント装置に送信され、クライアント装置における視聴者が、好ましい視聴領域の識別子をサーバに送信してよい。そして、サーバは、対応するコンテンツフィルタリング済みのビデオ信号を送信する。サーバは、つながっている各クライアント装置にソフトウェアモジュールを配信することにより、この処理を可能にする。別の方法によれば、サーバは、様々な視聴領域に対応する幾つかのコンテンツフィルタリング済みのビデオ信号を各クライアント装置にマルチキャストしてよい。コンテンツフィルタリング済みのビデオ信号は、完全カバレッジ（達成可能カバレッジ）パノラマビデオ信号から抽出される。クライアント装置における視聴者は、それぞれの選択結果を個別にシグナリングしてよい。サーバは、冗長な処理を無くすためにストリーミング制御テーブル（図３２）を使用してよい。
パノラマビデオ信号は、クライアント装置と互換性を有するコード変換済みの信号を生成するべく、取得され、且つ、コード変換される。次いで、コード変換済みの信号の信号サンプルは、クライアント装置に送信される。好ましい視聴領域の記述子をクライアント装置から受け取った際に、コード変換済みの信号のコンテンツは、好ましい視聴領域に対応するコンテンツフィルタリング済みの信号を生成するべく、編集される。コンテンツフィルタリング済みの信号、或いは、コンテンツフィルタリング済みの信号の圧縮された形態が、信号サンプルの代わりに、クライアント装置に送信される。
パノラマビデオ信号を取得するステップは、サーバからパノラママルチメディアソースまでの接続を確立するプロセスと、ソースにおいてパノラマビデオ信号に適用されたいずれかの信号処理の通知と共にパノラマビデオ信号を含むマルチメディア信号を要求するプロセスと、この信号を受け取るプロセスと、を有する。取得されたパノラマビデオ信号は、ソースにおいて実行されたプロセスの通知に従って、サーバにおいて圧縮解除及び／又はデワープすることができる。信号サンプルは、コード変換済みの信号の離隔したフレームを有するフレームサンプリング済みの信号であってもよい。或いは、この代わりに、信号サンプルは、コード変換済みの信号の圧縮された形態であってもよい。
図１９、図２８、図２９、及び図４３には、多数のクライアントに対してサービスしているユニバーサルストリーミングシステムにおける効率的なビデオ信号コンテンツ選択用の構成について記述及び図示されている。図４３の信号ストリーミングの方法は、
完全カバレッジ信号をサーバ１２０において受け取るステップ（プロセス４３１０）と、
ハードウェアプロセッサを有するコントローラにおいて、
完全カバレッジ信号から導出された部分カバレッジ信号の識別子を保持するレジスタを形成するステップ（プロセス４３２０）と、
サーバ１２０に結合されたクライアント装置１８０から、視聴領域を定義する新しいコンテンツ定義パラメータを受け取るステップ（プロセス４３３０）と、
新しいコンテンツ定義パラメータに対応したマッチングする部分カバレッジ信号の存在を特定するように、レジスタを試験するステップ（プロセス４３４０）と、
を有する。
完全カバレッジ信号をサーバ１２０において受け取るステップ（プロセス４３１０）と、
ハードウェアプロセッサを有するコントローラにおいて、
完全カバレッジ信号から導出された部分カバレッジ信号の識別子を保持するレジスタを形成するステップ（プロセス４３２０）と、
サーバ１２０に結合されたクライアント装置１８０から、視聴領域を定義する新しいコンテンツ定義パラメータを受け取るステップ（プロセス４３３０）と、
新しいコンテンツ定義パラメータに対応したマッチングする部分カバレッジ信号の存在を特定するように、レジスタを試験するステップ（プロセス４３４０）と、
を有する。
マッチングする部分カバレッジ信号が見出された場合には（プロセス４３５０及び４３６０）、コントローラは、クライアント装置への送信の前に、マッチングする部分カバレッジ信号をエンコーダまで導いている（プロセス４３９０）。マッチングする部分カバレッジ信号が見出されない場合には、コントローラは、新しいコンテンツ定義パラメータに従って、新しい部分カバレッジ信号を抽出するべく（プロセス４３７０）、完全カバレッジ信号をコンテンツフィルタまで導いている（プロセス４３５０）。
新しい部分カバレッジビデオ信号は、クライアント装置の特性と互換性を有するコード変換済みのビデオ信号を生成するべく、コード変換する必要がありうる。コード変換済みのビデオ信号は、予め定義された公称フローレート下において更に圧縮することができる。コントローラは、エンコーディング済みのビデオ信号のビットレートを判定し、且つ、レジスタ内において新しいコンテンツ定義パラメータを挿入している（プロセス４３８０）。
方法は、クライアント装置の受信機の状態と、サーバから受信機までのネットワーク経路の状態と、に関連するパフォーマンス測定値をクライアント装置から受け取るステップを更に有する。コントローラは、パフォーマンス測定値に基づいて性能メトリックを判定している。コントローラは、対応する予め定義された閾値（図４１）及びエンコーディング済みのビデオ信号のビットレートからの性能メトリックの逸脱の関数として、許容可能なフローレートを判定する。
新しい部分カバレッジ信号は、異なるクライアント装置に送信される、同一の視聴領域に対応するが、異なるフローレート及び／又は異なるフォーマットを有する、エンコーディング済みの信号を生成するべく、異なる許容可能なフローレート下において動作している複数のエンコーダまで導くことができる。
上述の各処理を各ハードウェアプロセッサに実施させる、プロセッサ実行可能命令は、プロセッサ可読媒体、例えば、フロッピーディスク、ハードディスク、光ディスク、フラッシュＲＯＭ、不揮発性ＲＯＭ、又はＲＡＭに記憶されてよい。様々なプロセッサ、例えば、マイクロプロセッサ、デジタル信号プロセッサ、ゲートアレイなどが使用されてよい。
図４６は、選択的なコンテンツブロードキャストのための従来のシステム４６００を示す。複数の信号ソース４６１０は、イベントの生中継のために配置されている。各信号ソース４６１０は、人４６１２によって操作され、送信機４６１６に結合されているカメラ４６１４を備える。信号ソース４６１０からの信号は、伝送媒体４６２０を介して放送局に伝達される。放送局での受信機４６３０は、ベースバンド信号４６４０を取得する。受信機４６３０は、それぞれが個々の信号ソース４６１０で生成されたベースバンド信号４６４０を搬送するための複数の出力チャネルを有する。それぞれの取得されたベースバンド信号は、複数の表示装置の各ディスプレイ装置４６５０に供給される。手動動作の視聴選択ユニット４６６０は、表示装置４６５０に供給されるベースバンド信号のうちの１つのベースバンド信号を選択する。視聴者４６６２は、全ての表示を観測し、セレクタ（「スイッチ装置」）４６６４を使用して、好ましいベースバンド信号４６４０を送信機４６８０に導く。送信機４６８０は、アンテナ又はケーブル４６９０を介して伝送媒体に結合される。ベースバンド信号の圧縮及び圧縮解除を実行するために使用される、当該分野で周知のエンコーダ及びデコーダなどのコンポーネントが、図４６において省略される。
図４７は、マルチメディア信号のオペレータ定義のコンテンツをブロードキャストするための装置を示す。パノラマ信号ソース４７１０は、パノラママルチメディア信号を含む変調済みの搬送波ソース信号４７１２を生成する。パノラママルチメディア信号は、４πカメラからの４πビデオ信号コンポーネント、及び、カメラ回路及び／又は別の装置（図示されてはいない）によって生成されうる、オーディオ及びテキストコンポーネントなどのその他のコンポーネントを含む。カメラによって提供される未加工のビデオ信号３１２（図３）は、本来的にワープされてよい。ソース処理ユニット４７１４は、
未加工の信号をデワープして補正済みの信号３２２を生成する（図３）ことと、
デワープすることなく未加工の信号を圧縮して、宛先で圧縮解除及びデワープされるであろう圧縮済みの信号３４２を生成することと、
未加工の信号をデワープ及び圧縮して、宛先で圧縮解除されるであろうコンパクトな信号３４３を生成することと
を含むプロセスを実行してよい。
未加工の信号をデワープして補正済みの信号３２２を生成する（図３）ことと、
デワープすることなく未加工の信号を圧縮して、宛先で圧縮解除及びデワープされるであろう圧縮済みの信号３４２を生成することと、
未加工の信号をデワープ及び圧縮して、宛先で圧縮解除されるであろうコンパクトな信号３４３を生成することと
を含むプロセスを実行してよい。
ソース処理ユニット４７１４は、任意の信号プロセス（デワープ／圧縮）が実行されたか否かを示す信号記述データを更に挿入してよい。
ソース処理ユニット４７１４は、巡回ビデオフレーム数を提供するためのモジュール４７１５を更に含んでよい。ここで、フレームの順番が示されうる。例えば、８ビットの単一バイトを使用して順番をマークすることによって、フレームは、０から２５５として巡回的にインデックス付けされるであろう。このインデックスは、コンテンツフィルタリングを容易にする。
広帯域送信機４７１６は、信号を放送設備に伝達する前に、コンテンツフィルタリングのために処理されたマルチメディア信号を伝送媒体４７１８に沿ってコンテンツセレクタ４７４０に伝送する。
取得モジュール４７２０は、変調済みの搬送波ソース信号４７１２から純マルチメディア信号４７３０及び信号記述子４７３２を生成する。純マルチメディア信号４７３０は、カメラによってキャプチャされた画像を表す純ビデオ信号を含む。信号記述子４７３２は、パノラマ信号ソース４７１０で実行されるプロセスを識別する。純マルチメディア信号が、図５０を参照して以下で説明されるように、コンテンツセレクタ４７４０に渡され、コンテンツフィルタリング済みの信号４７６４を生成する。コンテンツセレクタ４７４０は、バーチャルリアリティ（ＶＲ）ヘッドセット４７５０及びコンテンツフィルタ４７６０を含む。オペレータ４７２５は、ＶＲヘッドセットを使用して、ターゲット視聴者に適していると判定されたコンテンツを選択する。オペレータは、ＶＲヘッドセットの内部ディスプレイ及び／又は外部ディスプレイ４７７０を頼りにしてよい。
図４８は、変調済みの搬送波ソース信号４７１２を受信し、オペレータ定義のコンテンツフィルタリング済みのマルチメディア信号及び複数の視聴者定義のコンテンツフィルタリング済みのマルチメディア信号を生成するように構成された、第１の統合されたブロードキャスト及びストリーミングシステム４８００を示す。
４πマルチメディアベースバンド信号が、搬送波信号を変調して変調済みの搬送波ソース信号４７１２を生成するマルチメディア信号ソース４７１０（図４７）で生成される。受信した変調済みの搬送波ソース信号４７１２が、ブロードキャストサブシステム４８０４及びストリーミングサブセクション４８０８に同時に導かれる。
中継器４８１０は、変調済みの搬送波ソース信号４７１２を改善してよく、伝送媒体４８１２を介して改善された搬送波信号をストリーミング装置４８２０に導いてよい。ストリーミング装置４８２０は、取得モジュール４７２０－Ｂ及びユニバーサルストリーミングサーバ１２０を備える。ユニバーサルストリーミングサーバ１２０は、図１０、図２８及び図２９参照して前述のように、複数のクライアント装置１８０からネットワーク１５０を介して視聴の好みの指示を受信し、クライアント別マルチメディア信号を提供する。
取得モジュール４７２０－Ａは、イベントのフィールドで、変調済みの搬送波ソース信号４７１２からキャプチャされたコンテンツに対応する純マルチメディア信号４７３０を生成する。純マルチメディア信号４７３０は、放送設備に伝達されるコンテンツフィルタリング済みの信号４７６４を継続的に抽出するコンテンツセレクタ４７４０に導かれる。ブロードキャストされたコンテンツフィルタリング済みの信号４７６４は、圧縮モジュール４８６２で圧縮されて、それぞれ変調搬送波をチャネル４８８０を介して放送局に、及び／又はチャネル４８９０及びネットワーク１５０を介してユニバーサルストリーミングサーバ１２０に伝送するために、送信機４８７０に供給される圧縮されたコンテンツフィルタリング済みの信号４８６４を生成してよい。ユニバーサルストリーミングサーバ１２０は、視聴領域の好みを指定していないクライアント１８０のためのデフォルトとしてブロードキャストされたマルチメディア信号を提供してよい。
図４９は、パノラママルチメディア信号ソースから受信した変調済みの搬送波ソース信号４７１２から純マルチメディア信号を復元するための取得モジュール４７２０を示す。純マルチメディア信号は、純ビデオ信号及び別のマルチメディアコンポーネントを含む。図３に示されるように、マルチメディアソースから伝送されたベースバンド信号は、未加工の信号３１２、純マルチメディア信号である補正された（デワープされた）信号３２２、圧縮された未加工の信号３４２、又は、コンパクトな信号（デワープされて圧縮された）３４３であってよい。従って、受信した変調済みの搬送波ソース信号４７１２は、４つのベースバンド信号３１２、３２２、３４２及び３４３のうちの１のベースバンド信号を搬送してよい。
受信機４９４０は、変調済みの搬送波ソース信号４７１２を復調し、ソースマルチメディア信号４９４３及びソースで実行されるプロセスを識別する信号記述子４７３２を生成する。入力セレクタ４９４６は、取得モジュールの出力への様々な経路にソースマルチメディア信号４９４３を導く。出力セレクタ４９４７は、入力セレクタ４９４６と同期され、それを補完する。
受信機４９４０は、
（ａ）純マルチメディア信号４７３０を生成するために、デワープモジュール３２０を含む純信号ジェネレータ４９５０－Ａに供給される未加工の信号３１２の複製、
（ｂ）純マルチメディア信号４７３０である（デワープされた）補正済みの信号３２２、
（ｃ）純マルチメディア信号４７３０を生成するために、圧縮解除モジュール３５０及びデワープモジュール３２０を含む純信号ジェネレータ４９５０－Ｂに供給される圧縮済みの信号３４２、又は
（ｄ）純マルチメディア信号４７３０を生成するために、圧縮解除モジュール３５０を含む純信号ジェネレータ４９５０－Ｃに供給される（デワープされて圧縮された）コンパクトな信号３４３
を生成する。
（ａ）純マルチメディア信号４７３０を生成するために、デワープモジュール３２０を含む純信号ジェネレータ４９５０－Ａに供給される未加工の信号３１２の複製、
（ｂ）純マルチメディア信号４７３０である（デワープされた）補正済みの信号３２２、
（ｃ）純マルチメディア信号４７３０を生成するために、圧縮解除モジュール３５０及びデワープモジュール３２０を含む純信号ジェネレータ４９５０－Ｂに供給される圧縮済みの信号３４２、又は
（ｄ）純マルチメディア信号４７３０を生成するために、圧縮解除モジュール３５０を含む純信号ジェネレータ４９５０－Ｃに供給される（デワープされて圧縮された）コンパクトな信号３４３
を生成する。
図５０は、バーチャルリアリティのヘッドセット（ＶＲヘッドセット）４７５０及びコンテンツフィルタ４７６０を含む、ブロードキャストのためのコンテンツ選択の装置を示す。ＶＲヘッドセットは、少なくとも１つのプロセッサ、ストレージ媒体、及び凝視追跡メカニズムを含む。
コンテンツセレクタ（４７４０－Ａ）の第１の実装において、コンテンツフィルタ４７６０Ａは、分離したハードウェアエンティティであり、純マルチメディア信号４７３０は、ＶＲヘッドセット４７５０及びコンテンツフィルタ４７６０Ａの両方に供給される。コンテンツフィルタ４７６０Ａは、個別のプロセッサ及び低レイテンシのＶＲヘッドセット４７５０を使用するオペレータの頭又は目の動きに厳密に対応する適応型の空間カバレッジで純マルチメディア信号からフィルタリング済みのマルチメディア信号を抽出するためのモジュールを構成するプロセッサ可読命令を記憶するメモリ装置を備える。制御信号４７５２は、空間カバレッジを定義するパラメータをＶＲヘッドセット４７５０からコンテンツフィルタ４７６０Ａに伝達する。コンテンツフィルタ４７６０Ａは、ブロードキャストを対象としているコンテンツフィルタリング済みの信号４７６４を生成する。コンテンツフィルタリング済みの信号４７６４は、外部ディスプレイ５０９０を使用して表示されてよい。
コンテンツセレクタ（４７４０－Ｂ）の第２の実施において、コンテンツフィルタ４７６０ＢがＶＲヘッドセット４７５０に埋め込まれる。ここで、フィルタリング済みのマルチメディア信号を抽出するためのプロセッサ可読命令は、ＶＲヘッドセットのメモリ装置に存在する。従って、コンテンツフィルタリング済みの信号がＶＲヘッドセット４７５０の出口で提供される。
図５１は、パノラマカメラ及びＶＲヘッドセットを利用した選択的なコンテンツブロードキャストのための第１のブロードキャストサブシステム５１００を示す。複数の信号ソース４６１０（図４６）を配置する代わりに、単一の、場合によっては無人のパノラマ信号ソース４７１０がイベントをカバーするために使用されてよい。４πカメラ３１０は、視聴をキャプチャし、広帯域送信機４７１６に直接供給されうる未加工の信号３１２を生成する。或いは、この代わりに、図３に示されるように、未加工の信号は、補正された（デワープされた）信号３２２、圧縮された未加工の信号３４２、又は（デワープされて圧縮された）コンパクトな信号３４３を選択的に生成するソース処理ユニット４７１４に供給されてよい。ソース処理ユニット４７１４の出力は、広帯域送信機４７１６に供給される。
図３に示されるように、広帯域送信機４７１６は、変調済みの搬送波ソース信号４７１２を、伝送媒体４７１８を介して、受信機４９４０、監視設備５１２０に存在するプロセッサ、及び、プロセッサにデワープ及び／又は圧縮解除の機能を実行させるプロセッサ可読命令を記憶するメモリ装置を備えるハードウェアエンティティである取得モジュール４７２０に送信する。取得モジュールは、ＶＲヘッドセット４７５０及びコンテンツフィルタ４７６０に供給される純マルチメディア信号４７３０（図５０）を生成する。純マルチメディア信号４７３０は、ＶＲヘッドセットが内部ディスプレイユニットを有していない、又は、好ましいディスプレイを提供しない場合、パノラマディスプレイ装置４７７０に更に供給される。上述のように、視聴選択ユニット４７４０は、イベントのテレビ視聴者に関心があると判定されたパノラマディスプレイの視聴を追跡するためにオペレータ４７２５が着用するＶＲヘッドセット４７５０を備える。
コンテンツフィルタ４７６０とやり取りする低レイテンシのＶＲヘッドセット４７５０は、オペレータの変更した視聴角度に対応するコンテンツフィルタリング済みのマルチメディア信号４７６４を生成する。コンテンツフィルタリング済みのマルチメディア信号は、補助表示装置５０９０及び圧縮モジュール４８６２に供給されてよい。圧縮モジュールの出力信号４８６４は、送信機４８７０に供給されて、チャネル４８８０に沿って放送局に、及び、－任意に－チャネル４８９０に沿ってユニバーサルストリーミングサーバ１２０に送信される搬送波信号を変調する。
図５１のブロードキャストサブシステムにおいて、監視設備５１２０に存在する、好ましくは、パノラマ信号ソース４７１０から短距離に位置するコンテンツセレクタ４７４０は、ＶＲヘッドセット及びコンテンツフィルタ４７６０を備える。ＶＲヘッドセットは、オペレータと共に、「コンテンツコントローラ」を構成する。コンテンツフィルタ４７６０は、ＶＲヘッドセット４７５０に直接結合されるか、又はＶＲヘッドセットに埋め込まれるかのいずれかである。ＶＲヘッドセットで生成される制御データ４７５２は、ＶＲヘッドセットに供給される純信号４７３０に対応する。
図５２は、オペレータ定義のコンテンツを生成するための第２システム５２００を示す。ここで、ＶＲヘッドセット４７５０及びコンテンツフィルタ４７６０は、取得モジュール４７２０からコンテンツフィルタ４７６０への信号転送遅延が取得モジュール４７２０からＶＲヘッドセット４７５０への信号転送遅延とは大幅に異ってよいように、並置されていない。信号転送遅延に起因して、ＶＲヘッドセットから送信された制御データに基づいて、コンテンツフィルタで生成されたコンテンツフィルタリング済みの信号は、ＶＲヘッドセットのオペレータが選択する視聴領域とは異なる視聴領域をもたらしてよい。
図５３は、図５２の視聴アダプタの主なコンポーネントを示す。視聴アダプタは、取得モジュール４７２０から純信号４７３０のフレームを、離れたコンテンツセレクタ５２４０のＶＲヘッドセットから制御データ５２６０を受信し、コンテンツフィルタリング済みの信号５２８０を生成する。相違を回避すべく、図５３に示されるように、コンテンツフィルタ４７６０に先行する循環コンテンツバッファ５３３０が、十分な数の純信号４７３０のフレームのコンテンツデータを保持するために使用される。循環コンテンツバッファ及びコンテンツフィルタ４７６０に結合されたコンテンツフィルタコントローラ５３２０は、離れたＶＲヘッドセットから視聴領域の定義及び各フレームインデックス５３２２を備える制御データを受信する。コンテンツフィルタコントローラ５３２０は、循環バッファから各フレームインデックスのフレームデータを読み取り、次に、視聴領域の定義と共にフレームデータを、ブロードキャスト又はデータストリーミングのために転送されるコンテンツフィルタリング済みの信号４７６４を生成するコンテンツフィルタ４７６０に渡す。循環バッファ５３３０、コンテンツフィルタコントローラ５３２０、及びコンテンツフィルタ４７６０は、視聴アダプタ５２１０を形成する。
視聴アダプタ５２１０（図５２）と並置される取得モジュール４７２０で導出される純信号４７３０のデータブロックが、循環コンテンツバッファ５３３０に記憶され、通信チャネル５２２０、送信機５２２１及びネットワーク５２２６を介して離れたＶＲヘッドセット４７５０に同時に導かれる。循環コンテンツバッファは、データブロック、フレームに対応する各データブロック、即ち、フレーム期間（例えば、５０フレーム毎秒のフレームレートでの２０ミリ秒）の間の純信号データを記憶する。各データブロックは、巡回フレーム数に対応するバッファアドレスで記憶される。例えば、循環コンテンツバッファは、Ｌ個のセグメントに編成されてよい。Ｌ＞１であり、それぞれが１つのフレームのデータブロックを保持する。Ｌ個のセグメントは、０から（Ｌ－１）としてインデックス付けされるであろう。フレームには、０から（Γ－１）の間の巡回数が割り当てられ、Γ≧Ｌである。Γは、好ましくは、巡回コンテンツバッファ５３３０において、フレームＭに対応するデータブロックがインデックスｍ、ｍ＝Ｍｍｏｄｕｌｏ Ｌ、のメモリセグメントに記憶されるように、Ｌの整数倍として選択される。例えば、Ｌ＝１２８及びΓ＝１６３８４の場合、インデックス１２０００のフレームのデータブロックが、アドレス（１２０００ｍｏｄｕｌｏ １２８）、即ち、９６、で記憶されるであろう。
５０フレーム毎秒のフレームレートで、１２８フレームの持続時間は、視聴アダプタ５２１０と離れたＶＲヘッドセット４７５０との間の往復信号転送遅延より格段に大きい２．５６秒である。従って、各データブロックは、対応する制御データと共に、視聴アダプタ５２１０（図５３）のコンテンツフィルタ４７６０に渡されるのに十分な期間、コンテンツバッファに保持されるであろう。これは、オペレータの操作から生じる各制御信号が各巡回フレーム数と関連していることを必要とする。
図４７に示されるように、パノラマ信号ソース４７１０のモジュール４７１５は、視聴アダプタ５２１０で離れたＶＲヘッドセット４７５０から受信した、制御データ（メッセージ）５２６０（図５２）を対応するビデオフレームに関連付けることを促進するために必要とされるであろう巡回ビデオフレーム数を提供する。パノラマ信号ソース４７１０がフレームインデックスを提供しない場合、純信号４７３０の各フレームデータブロックにそれぞれの巡回フレームインデックスを挿入するためのモジュール（示されていない）は、取得モジュール４７２０内に組み込まれてよい。
上述のように、Γと表される、巡回ビデオフレーム数の巡回期間は、少なくともＬに等しく、それより格段に大きくてもよい。例えば、Γ＝１６３８４、Ｌ＝１２８である場合、絶対フレーム数１２０００のフレームは、巡回期間Γに関して３８０８である巡回数２０１９２｜ｍｏｄｕｌｏ １６３８４を、巡回期間Ｌに関して９６である巡回数２０１９２｜ｍｏｄｕｌｏ １２８を有するであろう。次に、コンテンツフィルタコントローラ５３２０は、９６である３８０８｜ｍｏｄｕｌｏ １２８として、フレーム巡回数３８０８に対応するフレームデータブロックのアドレスを決定するであろう。
図５４は、視聴アダプタ５２１０を詳細に示す。取得モジュールインタフェース５４１２は、プロセッサ５４５０に、コンテンツフィルタコントローラ５３２０の制御下で循環５３３０に記憶されるフレームデータブロックに編成される取得モジュール４７２０から信号４７３０を受信させる格納されたソフトウェア命令を備える。取得モジュールインタフェース５４１２は、取得モジュール４７２０で、又は信号ソース４７１０で生成されうる個々のフレームインデックス５３２２を検出する。上述のように、フレームインデックスは、巡回数である。ＶＲインタフェース５４１６は、プロセッサ５４５０に、離れたコンテンツセレクタ５２４０のＶＲヘッドセットから視聴領域の定義５３２４を含む制御データ５２６０を受信させるソフトウェア命令を備える。
コンテンツフィルタコントローラ５３２０は、プロセッサ５４５０に、フレームインデックス５３２２に従って循環コンテンツバッファ５３３０にフレームデータブロックを格納させ、循環制御バッファから選択されたフレームデータブロック５３３２を検索させる、格納されたソフトウェア命令を備える。
コンテンツフィルタ４７６０は、プロセッサ５４５０に、選択されたフレームデータブロックからコンテンツフィルタリング済みの信号５２８０を抽出するためにフィルタリングさせ、コンテンツフィルタリング済みの信号５２８０をメモリ装置５４７０に格納させるソフトウェア命令を含む。
コンテンツフィルタコントローラ５３２０は、プロセッサ５４５０に、コンテンツフィルタリング済みの信号を初期化及び／又は圧縮すること、及び／又は、放送局及び／又はストリーミングサーバに伝達するために生成された信号を送信機５４９０に導く前にメモリ５４７０に記憶されたコンテンツフィルタリング済みの信号を圧縮することなど、従来の信号－処理機能を実行させるソフトウェア命令を更に備えてよい。
視聴領域の更新の調節
図５５は、離れたＶＲヘッドセット４７５０から図５２のシステムの視聴アダプタ５２１０に送信される制御データ（視聴領域の定義データ）５２６０を示す。制御データは、「凝視位置」５５２０を定義する従来のパラメータ「パン－チルト－ズーム」（ＰＴＺ）、及びオペレータの凝視方向に対応する視聴領域の正確な定義を可能にする別のパラメータなどの視聴領域の定義データを備える。パラメータを純信号４７３０の適切な部分に関連付けるべく、対応するフレームの識別子は、制御データ５２６０に含まれる必要がある。それは、巡回フレーム数を使用すれば十分である。図５５に示されるように、巡回フレーム数は、各凝視位置に関連している。Γ＝１６３８４である場合、フレーム巡回数０は、フレーム巡回数１６３８３の後に続く。巡回期間Γは、巡回コンテンツバッファ５３３０のバッファセグメントの数Ｌに等しくてよく、又は、その整数倍であってよい。離れたＶＲヘッドセットから視聴アダプタ５２１０へんを制御データは、凝視位置、対応するフレームインデックス、及び別の関連したパラメータを示す。
本明細書において、凝視位置ジッタとして参照されている凝視位置の小さい変位のための視聴領域の不必要な再定義を回避すべく、Δと表わされる、最新の視聴領域を定義する基準凝視位置からの現時点の凝視位置の変位５５３０が決定される。変位は、ＶＲヘッドセットで、又は、視聴アダプタ５２１０のコンテンツフィルタ５３２０で決定されてよい。変位は、現時点の凝視位置と基準凝視位置との間のユークリッド距離として、又は、凝視位置を定義する調整値のシフトの絶対値の合計として決定されてよい。図５５の例において、変位が、座標の絶対シフトの合計として決定される。変位を決定するための別の手段が使用されてよい。
変位が予め定義された変位閾値Δ＊を超過している場合、新しい視聴領域がコンテンツフィルタコントローラ５３２０で決定され、現時点の凝視位置が基準凝視位置（参照符号５５４０）になる。そうではなくて、変位が予め定義された閾値Δ＊未満又はこれに等しい場合、最新の基準凝視位置が有効のままである。
変位がＶＲヘッドセットで決定される場合、変位がΔ＊を超過する場合に、離れたＶＲヘッドセットからの制御データは、「リフレッシュ」フラグを更に含んでよい。そうではなくて、最新の基準凝視位置が有効のままであるように、制御データは、「変更なしフラグ」を含んでよい。リフレッシュフラグは、視聴領域を再定義するための、視聴アダプタ５２１０のコンテンツフィルタコントローラ５３２０への命令である。
図５５に示されるように、タプル｛４０，６０，２０｝は、巡回フレームインデックス１６３５０に対応する凝視位置を定義する。以前のフィルタリング済みのフレームからの変位計測は、１１ユニットである。９．０の予め定義された閾値Δ＊である場合、フレーム１６３５０に対応する新しい視聴領域及び予め定義された境界形状が、視聴アダプタ５２１０のコンテンツフィルタ４７６０で決定される。
フレーム１６３５０に続く５５フレーム期間の間の凝視位置の変位は、わずかであると決定される（以下、予め定義された閾値）。例えば、タプル｛４２，５６，２１｝は、巡回フレームインデックス１６３８３に対応する凝視位置を定義する。７である調整値のシフトの絶対値の合計（｜４２－４０｜＋｜５６－６０｜＋｜２１－２０｜）として決定される、インデックス１６３５０の以前のフィルタリング済みのフレームからの変位は、閾値より小さく、したがって、以前の視聴領域は不変のままである。
タプル｛４１，５８，２１｝は、巡回フレームインデックス０に対応する凝視位置を定義する。４である調整値のシフトの絶対値の合計（｜４１－４０｜＋｜５８－６０｜＋｜２１－２０｜）として決定される、インデックス１６３５０の以前のフィルタリング済みのフレームからの変位は、閾値より小さく、したがって、以前の視聴領域は不変のままである。
タプル｛３７，６８，１７｝は、巡回フレームインデックス２１に対応する凝視位置を定義する。１４である調整値のシフトの絶対値の合計（｜３７－４０｜＋｜６８－６０｜＋｜１７－２０｜）として決定される、インデックス１６３５０の以前のフィルタリング済みのフレームからの変位は予め定義された閾値を超過する。したがって、フレーム２１に対応する新しい視聴領域及び予め定義された境界形状が、視聴アダプタ５２１０のコンテンツフィルタ４７６０で決定される。
示されるように、視聴領域の再定義は、フレーム１６３５０、２１及び５０に対応する。フレーム１６３５０に対応する視聴領域は、（（２１－１６３５０）ｍｏｄｕｌｏ １６３８４として決定される）５５フレームの期間の間、有効のままである。フレーム２１に対応する視聴領域は、（（５０－２１）ｍｏｄｕｌｏ １６３８４として決定される）２９フレームの期間の間、有効のままである。
図５６は、ＶＲヘッドセットに伝送されるコンテンツデータ５６１０及びＶＲヘッドセットから伝送される制御データ５６９０を含む、オペレータ定義のコンテンツを生成する第１のシステム４７００内のデータフロー５６００を示す。取得モジュール４７２０は、ＶＲヘッドセット４７５０及びコンテンツフィルタ４７６０と並置される（図４７）。取得モジュールは、ソース信号４７１２から純マルチメディア信号４７３０を生成し、ＶＲヘッドセット４７５０及びコンテンツフィルタ４７６０に、各フレームデータブロック各フレームのコンテンツを備える連続したフレームデータブロック５６３０を同時に供給する。ＶＲヘッドセット４７５０及びコンテンツフィルタ４７６０に供給される純信号４７３０のフレームデータブロックの巡回フレーム識別子５６２０は、ｆｊと表され、ｊ≧０であり、ｆ０からｆ９までのみが示される。ｊ≧０であるフレーム識別子ｆｊは、０から（Γ－１）までの間の値を有する。ここで、Γは、前述のように、十分に大きな整数であり、従ってｆｊ＝ｊｍｏｄｕｌｏ Γである。時点ｔ０、ｔ１、…、ｔ９は、それぞれ、フレームｆ０、ｆ１、…、ｆ９の伝送の完了に対応する。フレームデータブロックに対応する表示画像は、ＶＲヘッドセットの追跡メカニズムに、凝視検出インスタント５６３５に続くレイテンシ５６５０で新しい凝視位置を生成させるオペレータ４７２５からの応答をもたらしてよい。３つの凝視検出インスタント５６３５（０）、５６３５（１）、及び５６３５（２）が示される。
凝視位置を示すＶＲヘッドセット４７５０からコンテンツフィルタ４７６０への制御データが、制御信号４７５２に挿入される。制御データは、フレーム識別子及び視聴領域を定義する別の制御パラメータを更に含んでよい。制御データは、凝視位置の変化を検出した際に送信されてよく、又は、定期的に送信されてよい。図５６の例において、定期的な制御データメッセージ５６４０が、各フレームデータ５６３０の受信に続く処理遅延δ＊の後、フレーム期間ごとに送信される。各メッセージ５６４０は、ｊ≧０であり、凝視位置に対応する、φｊと表されるフレーム識別子５６６０を含む。コンテンツフィルタ４７６０でＶＴヘッドセット４７５０から受信した、ｊ≧０であるフレーム識別子φｊは、フレームインデックスｆｊに対応する。従って、０から（Γ－１）までの間の値を有する、ｊ≧０であるフレーム識別子φｊは周期的であり、即ち、φｊ＝ｊｍｏｄｕｌｏ Γである。
制御データ遅延の説明
図５７は、オペレータ定義のコンテンツを生成する第２システム５２００内の制御データフロー５７００を示す。取得モジュール４７２０で生成される純マルチメディアデータ４７３０が、循環コンテンツバッファ５３３０に供給され、離れたＶＲヘッドセット４７５０に伝送される。循環コンテンツバッファ５３３０及び離れたＶＲヘッドセットに供給される純信号４７３０のフレームデータブロック５７３０の巡回フレーム識別子は、ｆｊと表される整数であり、ｊ≧０であり、ｆｊ＝ｊｍｏｄｕｌｏ Γであり、ｆ０からｆ９までのみが示される。時点ｔ０、ｔ１、…、ｔ９は、それぞれ、フレームｆ０、ｆ１、…、ｆ９の伝送の完了に対応する。視聴アダプタと並置される取得モジュール４７２０から離れたＶＲヘッドセット４７５０に送信される各フレームデータブロック５７３０は、転送遅延５７２２の影響を受ける。フレームデータブロックに対応する表示画像は、ＶＲヘッドセットの追跡メカニズムに、レイテンシ５７５０で新しい凝視位置を生成させるオペレータ４７２５からの応答をもたらしてよい。凝視位置を示す制御メッセージ５７４０は、視聴アダプタ５２１０に送信されるコンテンツ制御データ５２６０に挿入される。制御メッセージ５７４０は、５７２４の転送遅延を経験する。制御メッセージ５７４０は、フレーム識別子及び視聴領域を定義する別の制御パラメータを更に含む。
コンテンツ制御データ５２６０は、凝視位置の変化を検出した際に送信されてよく、又は、定期的に送信されてよい。図５７の例において、制御メッセージ５７４０が、各フレームデータの受信に続く処理遅延δ＊の後、フレーム期間ごとに送信される。フレーム期間ごとに送信される制御メッセージ５７４０は、フレームインデックス及び対応する凝視位置を含む。
総往復及び処理遅延は、視聴アダプタ５２１０と離れたＶＲヘッドセットとの間の距離に依存するフレーム期間５７２５より大幅に大きくてよい。示された例において、フレームｆ０のコンテンツデータの受信に続く処理遅延δ＊の後に送信される、第１のメッセージ５７４０は、フレームｆ０に対応せず、Ｎｕｌｌフレームφ＊（参照符号５７４５）及び既定の凝視位置を示す。ＶＲヘッドセットは、ＶＲヘッドセットがフレームｆ１のコンテンツデータを受信した後に発生する第１の凝視検出インスタント５７３５（０）に続く遅延５７５０の後、凝視位置を生成する。
メッセージ５７４０に示されるフレーム識別子はφｊと表され、ｊ≧０であり、φ０からφ５までのみが示される。示されるように、視聴アダプタ５２１０に結合された取得モジュールからフレームデータブロック５７１０を送信するインスタントと、離れたＶＲヘッドセットから各制御メッセージ５７４０を受信するインスタントとの間に約３．４フレーム期間の遅延が存在する。ｔ５の時点で、フレームデータブロックｆ５が循環コンテンツバッファ５３３０に既に記憶され、先に送信されたフレームｆ０に関連する制御データは、視聴アダプタ５２１０のコンテンツフィルタコントローラ５３２０で受信される。従って、循環コンテンツバッファは、少なくとも６フレームのコンテンツを格納する容量を有するべきである。
図５８は、視聴アダプタ５２１０と離れたＶＲヘッドセットとの間の大きな往復転送遅延の場合の、オペレータ定義のコンテンツを生成する第２システム５２００内の制御データフロー５８００の別の例を示す。循環コンテンツバッファ５３３０及び離れたＶＲヘッドセットに供給される純信号４７３０のフレームデータブロック５８３０の巡回フレーム識別子は、ｆｊと表わされる整数であり、ｊ≧０であり、ｆｊ＝ｊｍｏｄｕｌｏ Γであり、ｆ０からｆ１５までのみが示される。時点ｔ０、ｔ１、…、ｔ１５は、それぞれ、フレームｆ０、ｆ１、…、ｆ１５の伝送の完了に対応する。視聴アダプタと並置される取得モジュール４７２０から離れたＶＲヘッドセット４７５０に送信される各フレームデータブロック５８３０は、転送遅延５８２２の影響を受ける。フレームデータブロックに対応する表示画像は、ＶＲヘッドセットの追跡メカニズムに、レイテンシ５８５０で新しい凝視位置を生成させるオペレータ４７２５からの応答をもたらしてよい。インデックスｋのフレームのフレームデータ５８３０に対応する凝視位置を示す、ｋ≧０である制御メッセージ５８４０（ｋ）が、視聴アダプタ５２１０に送信されるコンテンツ制御データ５２６０に挿入される。制御メッセージ５８４０は、５８２４の転送遅延を経験する。制御メッセージ５８４０は、フレーム識別子及び視聴領域を定義する別の制御パラメータを更に含む。
フレームインデックスを含む制御メッセージ５８４０及び対応する凝視位置は、各フレームデータの受信に続く処理遅延δ＊の後、フレーム期間ごとにＶＲヘッドセットからコンテンツフィルタコントローラ５３２０に送信される。
総往復及び処理遅延は、８．３フレーム期間５８２５に略等しくなる。示された例において、フレームｆ０のコンテンツデータの受信に続く処理遅延δ＊の後に送信される、第１のメッセージ５８４０は、フレームｆ０に対応せず、Ｎｕｌｌフレームφ＊（参照符号５８４５）及び既定の凝視位置を示す。ＶＲヘッドセットは、ＶＲヘッドセットがフレームｆ１のコンテンツデータを受信した後に発生する第１の凝視検出インスタント５８３５（０）に続く遅延５８５０の後、凝視位置を生成する。
メッセージ５８４０に示されるフレーム識別子はφｊと表され、ｊ≧０であり、φ０からφ９までのみが示される。示されるように、視聴アダプタ５２１０に結合された取得モジュールからフレームデータブロック５８１０を送信するインスタントと、離れたＶＲヘッドセットから各制御メッセージ５８４０を受信するインスタントとの間に約８．３フレーム期間の遅延が存在する。ｔ１０の時点で、フレームデータブロックｆ１０が循環コンテンツバッファ５３３０に既に記憶され、先に送信されたフレームｆ０に関連する制御データは、視聴アダプタ５２１０のコンテンツフィルタコントローラ５３２０で受信される（フレーム識別子φ０）。従って、循環コンテンツバッファは、少なくとも１１フレームのコンテンツを格納する容量を有するべきである。
本発明の一実施形態によると、取得モジュール４７２０から受信した最も最近のフレームデータブロック及び最も最近の検出された凝視位置のフレームインデックスの指示を保持するためのレジスタが、ＶＲヘッドセット内にインストールされ、又はＶＲヘッドセット結合される。ｋ≧０である制御メッセージ５８４０（ｋ）は、レジスタのコンテンツを含む。
図５７に示されるように、ｋ≧０である制御メッセージ５７４０（ｋ）は、レジスタのコンテンツを含む。制御メッセージ５７４０（０）及び５７４０（１）は、凝視検出インスタント５７３５（０）に対応する凝視位置に対応し、ＰＴＺ０と表される同一のパン－チルト－ズームの値を含む。制御メッセージ５７４０（２）から５７４０（５）は、後続の凝視検出インスタント５７３５（１）に対応する凝視位置に対応し、ＰＴＺ１と表される同一のパン－チルト－ズームの値を含む。
図５８に示されるように、４フレームの期間の間凝視位置を更新しない場合、制御メッセージ５８４０（０）から５８４０（３）は、凝視検出インスタント５８３５（０）に対応する凝視位置に対応し、ＰＴＺ３と表される同一のパン－チルト－ズームの値を含む。同様に、４フレームの期間の間凝視位置を更新しない場合、制御メッセージ５８４０（４）から５８４０（７）は、後続の凝視検出インスタント（図示されてはいない）に対応する凝視位置に対応し、ＰＴＺ４と表される同一のパン－チルト－ズームの値を含む。
図５９は、ＶＲヘッドセットで凝視位置を決定することを示す。現時点のフレームインデックス５９５０が、パノラマ信号ソース４７１０（参照符号４７１５）又は取得モジュール４７２０のいずれで、パノラマ純マルチメディア信号４７３０に挿入される。ＶＲヘッドセット４７５０は、その他のコンポーネントの間、凝視センサ５９５０及び内部ディスプレイスクリーン５９３０を備える。ＶＲヘッドセットに結合される凝視位置変換モジュール５９６０は、特定のフレームに対応するＰＴＺ座標及びフレームの特定のポイントを提供する。ＰＴＺ座標の値が、送信機５２６１及び通信経路５２５０を介して視聴アダプタ５２１０に送信される制御データ５２６０に含まれる。
図６０は、連続するフレーム期間の間のコンテンツバッファの占有率を示す、視聴アダプタ５２１０の循環コンテンツバッファ５３３０内のフレームデータコンテンツ６０００を更新することを示す。コンテンツバッファ５２３０に記憶される各フレームデータブロック６０１０のメモリアドレス６０２０が示される。上述のように、コンテンツバッファ５３３０は、Ｌ個のフレームデータブロックの最大値を記憶する循環バッファであり、Ｌ＞１であり、各フレームデータブロックは１個のバッファセグメントを占有する。Ｌ個のフレームの持続時間が視聴アダプタ５２１０と離れたＶＲヘッドセット４７５０との間の往復データ転送遅延を超過するように、数Ｌが選択されてよい。フレームデータブロックがインデックス０から（Ｌ－１）までの連続するバッファセグメントに順番に書き込まれる。フレームデータブロックがフレーム期間ｊの間に書き込まれるバッファセグメントがＷ（ｊ）と表され、フレームデータブロックがフレーム期間ｋの間に読み取られるバッファセグメントがＲ（ｋ）と表され、ｊ≧０であり、ｋ≧０である。例えば、５０フレーム毎秒のフレームレートの場合、１２８個の最も最近のフレーム（Ｌ＝１２８）を格納することは、予想される往復遅延より大幅に大きい、最大２．５６秒の、視聴アダプタ５２１０と離れたＶＲヘッドセット４７５０との間の往復遅延に適している。示されるケースにおいて、図示を簡単にするために、Ｌが８のみに等しくなるように選択される。
視聴アダプタ５２１０と並置される取得モジュールの出力で純信号４７３０の連続するフレームデータブロックが、Ａ０、Ａ１、…、などと表される。ここで、Ａ０は、特定のビデオストリームの純信号４７３０の第１のフレームデータブロックである。バッファセグメントが、セグメント－０、セグメント－１、…、及びセグメント－７として参照される。第１のフレーム期間の間、フレームデータブロックＡ０がセグメントＷ（０）に書き込まれる。第２のフレーム期間の間、フレームデータブロックＡ１がセグメントＷ（１）等に書き込まれる。第５のフレーム期間の間、フレームデータブロックＡ０がセグメントＲ（０）から読み取られる。第６のフレーム期間の間、フレームデータブロックＡ１がセグメントＲ（１）から読み取られる。フレームデータブロックの下線表記は、データブロックが読み取られて上書きされうることを示す。
第８のフレーム期間の間、フレームデータブロックＡ８が、Ａ０を上書きしてセグメント－０（８ｍｏｄｕｌｏ Ｌ＝０）に書き込まれ、第９のフレーム期間の間、フレームデータブロックＡ９が、Ａ１等を上書きしてセグメント－１（９ｍｏｄｕｌｏ Ｌ＝１）に書き込まれる。往復転送遅延が８個のフレーム期間を超過しない場合、８個のフレームデータブロックＡ０からＡ７までが、第１の８個のフレーム期間の間にコンテンツバッファに書き込まれ、少なくともフレームデータＡ０が読み取られ、従って、バッファの少なくともセグメント－０が新しいフレームデータブロックを格納するために利用可能になる。例えば、フレーム期間５０００の間、フレームデータブロックＡ５０００がインデックス５０００ｍｏｄｕｌｏ８のバッファセグメント、即ち、セグメント－０に書き込まれ、フレームデータブロックＡ４９９２を上書きする。フレーム期間５０９１の間、フレームデータブロックＡ５０９１がインデックス５０９１ｍｏｄｕｌｏ８のバッファセグメント、即ち、セグメント－３に書き込まれ、フレームデータブロックＡ５０８８を上書きする。
図６１は、ＶＲヘッドセットから受信した制御データを各フレームデータに関連付けるよう循環コンテンツバッファ５３３０を使用することを示す。例示的な循環コンテンツバッファが、０から２３までとしてインデックス付けされた２４個のセグメント６１２０に論理的に分割され、各セグメントは、フレーム画素及び関連のメタデータを備えるフレームデータブロックを保持するのに十分なストレージ容量を有する。例えば、０から１６３８３までの範囲の巡回フレーム数の場合、０から２３までのインデックスのセグメントは、例えば、フレーム２４のコンテンツが書き込まれる直前にインデックス（０，１，…，２２，２３）の２４個の連続したフレーム、フレーム９４４のコンテンツが書き込まれる直前にインデックス（９２０，９２１，…，９４２，９４３）のフレーム、又は、巡回インデックス２０のフレームのコンテンツが書き込まれる直前の（１６３８０，１６３８１，１６３８２，１６３８３，０，１，…，１９）に関連するデータを含んでよい。
視聴アダプタ５２１０と並置される取得モジュール４７２０から離れたＶＲヘッドセット４７５０に送信されるフレームデータブロック５７３０（図５７）は、Δ１の伝播遅延を経験する。ＶＲヘッドセット４７５０は、δ＊の処理遅延の後、制御メッセージ５７４０（図５７）を視聴アダプタ５２１０に送信する。制御メッセージ５７４０は、Δ２の伝播遅延を経験する。
インデックス０のフレームに対応する制御メッセージ５７４０が、インデックス０６のフレームのフレームデータがバッファ５３３０に書き込まれた後、コンテンツフィルタコントローラ５３２０で受信される。次に、インデックス００のフレームのフレームデータが、バッファから読み取られ（参照符号６１８２）、制御メッセージと共に、コンテンツフィルタ４７６０にサブミットされる。次に、インデックス０７のフレームのフレームデータが、バッファ５３３０に書き込まれる（参照符号６１８８）。
インデックス１１のフレームに対応する制御メッセージ５７４０が、インデックス１７のフレームのフレームデータが循環コンテンツバッファ５３３０に書き込まれた後、コンテンツフィルタコントローラ５３２０で受信される。次に、インデックス１１のフレームのフレームデータが、バッファから読み取られ（参照符号６１９２）、制御メッセージと共に、コンテンツフィルタ４７６０にサブミットされる。次に、インデックス１８のフレームのフレームデータが、バッファ５３３０に書き込まれる（参照符号６１９８）。
循環バッファコンテンツ
現時点のフレーム期間の終了時に、視聴アダプタ５２１０の循環バッファ５３３０は、合計Ｌ個のフレームに先行する幾つかのフレームのコンテンツデータに加えて、現時点のフレームのコンテンツデータを含み、Ｌ＞１である。最初のＬ個のフレームの後、循環バッファは、最新のＬ個のフレームのフレームデータを保持する。Ｌ個のフレーム期間の持続時間が視聴アダプタ５２１０とＶＲヘッドセット４７５０との間の往復転送遅延を超過するように、数Ｌが選択される。転送遅延は、任意の途中の処理遅延又はキューイング遅延に加えて往復伝播遅延を含む。
上述のように、ｊ≧０であるフレーム識別子ｆｊは、０から（Γ－１）までの間の値を有する。ここで、Γは、十分に大きな整数であり、従ってｆｊ＝ｊｍｏｄｕｌｏ Γであり、Γ≧Ｌである。以下の表は、例えば、Ｌが８のみであり、Γ＞＞Ｌであり、Γ＝１６３８４である場合のバッファコンテンツを示す。フレームが順番にインデックス付けされる場合、フレームｆ０の開始時点でバッファは空である。ｆ０の間、フレーム０のコンテンツがバッファに格納される。フレームｆ１の開始時点で、バッファは、ｆ０のコンテンツを含む。ｆ１の間、フレーム１のコンテンツがバッファに格納される。フレームｆ２の開始時点で、バッファは、ｆ０及びｆ１のコンテンツを含む。ｆ２の間、フレーム２のコンテンツがバッファに格納される。フレームｆ７に開始時点で、バッファは、ｆ０からｆ６までのコンテンツを含む。ｆ７の間、フレーム７のコンテンツがバッファに格納される。
例えば、実際の往復転送遅延が５．５フレーム期間の場合、フレーム７の開始時点で、フレーム０のコンテンツがバッファから読み取られて（参照符号５３３２）、コンテンツフィルタリング済みのフレーム（参照符号５２８０）を生成するコンテンツフィルタ４７６０に、ＶＲヘッドセットから受信した、フレーム０に対応する、視聴領域の定義データ５３２４と共に渡され得る。
フレームｆ８から開始すると、バッファは、以下の表に示されるように８フレーム（Ｌ＝８）のフレームデータを常に含む。従って、フレーム８の開始時点でバッファはフレーム０から７までのフレームデータを含み、フレーム８８の開始時点でバッファはフレーム８０から８７のフレームデータ等を含む。バッファは、Γの値にかかわらず、最大Ｌ個のフレームためのフレームデータを含む。
図６２は、Ｌ＝１６で、連続したフレーム期間１６０から１７５までの間の循環バッファ５３３０のコンテンツ６１００を示し、各フレームが、以前のフレームが循環バッファ（参照符号６１４０）に保持される循環バッファに書き込まれる（参照符号６１３０）ことを示す。フレーム１６０の開始時点で、バッファは、フレーム１４４から１５９までのコンテンツデータを含む。フレーム１６０の間、フレーム１６０のコンテンツは、フレーム１４４のコンテンツを上書きする。従って、フレーム１６０の終了時点で、バッファは、フレーム１４５から１６０のコンテンツデータ等を含む。
好ましくは、コンテンツデータが、任意の格納されているコンテンツを新しいフレームのコンテンツで上書きする前にバッファから読み取られる。ＶＲヘッドセットから視聴アダプタ５２１０への通信経路５２５０は、好ましくは、連続するフレームに対応する視聴領域の定義の順番を維持する。しかしながら、コンテンツフィルタコントローラ５３２０は、必要に応じて、視聴領域の定義を並び替えるように構成されてよい。
図６３は、図５２の分散システムを使用してオペレータ定義のコンテンツを生成する方法６３００を示す。プロセス６３１０は、パノラマ信号ソース４７１０からマルチメディア信号ストリーム４７１２及び信号記述子４７３２を継続的に受信する。プロセス６３２０は、信号記述子４７３２に従って純マルチメディア信号ストリーム４７３０を生成する。取得モジュール４７２０で実施されるプロセス６３３０は、現時点のフレームデータを抽出し、巡回フレームインデックスを挿入する。プロセス６３４０は、現時点のフレームデータ及び対応する巡回フレームインデックスをＶＲヘッドセット４７５０に伝送する。プロセス６３５０は、現時点のフレームデータを視聴アダプタ５２１０の巡回コンテンツバッファ５３３０に配置する。プロセス６３６０は、ＶＲヘッドセット４７５０から、新しい凝視位置及び各フレームのインデックスを含む制御データ５２６０を受信する。プロセス６３７０は、制御データ５２６０を視聴アダプタ５２１０のコンテンツフィルタコントローラ５３２０に渡す。プロセス６３８０は、視聴アダプタ５２１０のコンテンツフィルタ４７６０からコンテンツフィルタリング済みの信号５２８０を受信し、信号を放送局及び／又はストリーミングサーバに伝送する。コンテンツフィルタリング済みの信号は、伝送より前に圧縮されてよい。
図６４は、凝視位置の変化に基づいた適応型のコンテンツフィルタリングの方法６４００を示す。最初に、コンテンツフィルタコントローラ５３２０は、既定値として凝視位置を初期化し（プロセス６４１０）、例えば、フレーム表示の中間点に対応する。既定の視聴領域がそれに応じて定義される。プロセス６４２０は、ＶＲヘッドセット４７５０から、新しい凝視位置及び対応するフレームインデックスを受信する。プロセス６４３０は、新しい凝視位置と現時点の凝視位置との間の差の絶対値を決定する。プロセス６４４０において決定されるように、差の絶対値が予め定義された閾値未満であり、差がわずかである場合、 現時点の凝視位置が不変のままであり、従って、視聴領域は不変のままであり、コンテンツフィルタコントローラ５３２０は、循環バッファ５３３０から受信されたフレームインデックス５３２２に対応するフレームデータを読み取る（プロセス６４７０）。そうではなくて、絶対値が少なくとも閾値に等しく、差が大きい（プロセス６４４０）場合、新しい凝視位置に対応する視聴領域が定義され（プロセス６４５０）、現時点の凝視位置が、プロセス６４３０における後続の使用のために、新しい位置に等しくするように設定される（プロセス６４６０）。次に、コンテンツフィルタコントローラ５３２０は、循環バッファ５３３０から受信されたフレームインデックス５３２２に対応するフレームデータを読み取る。
視聴アダプタ５２１０のコンテンツフィルタ４７６０は、視聴領域に従ってコンテンツフィルタリング済みのフレーム５２８０を生成し、プロセス６４２０が新しい凝視位置を受信するように再検討される。
従って、本発明は、マルチメディア信号を備える純信号４７３０のバーチャルリアリティの表示を生成し、表示の選択された視聴領域の定義データを定義する幾何学的データ４７５２を生成するために、バーチャルリアリティのヘッドセット、４７５０、図４７を利用することを備える通信方法を提供する。バーチャルリアリティの表示が、バーチャルリアリティのヘッドセット４７５０の内部ディスプレイ装置及び／又は外部ディスプレイ装置４７７０を使用して純信号から生成されてよい。
コンテンツフィルタ４７６０は、幾何学的データに従って純信号からコンテンツフィルタリング済みの信号４７６４を抽出する。コンテンツフィルタリング済みの信号が、ブロードキャスト装置に導かれる。バーチャルリアリティのヘッドセットは、幾何学的データを生成するプロセス及びバーチャルリアリティのヘッドセット４７５０を着用するオペレータ４７５２の凝視方向の変化を追跡するプロセスを実行するために、プロセッサ及びメモリ装置を備える。
バーチャルリアリティのヘッドセット内のセンサは、オペレータ４７２５の現時点の凝視方向を定義するパラメータを提供する。コンテンツフィルタが、現時点の凝視方向及び視聴領域の予め定義された形状に従って、選択された視聴領域を決定するように構成される。
純信号４７３０が、パノラマ信号ソース４７１０から受信したソース信号４７１２から生成される。ソース信号４７１２は、マルチメディア信号コンポーネント４９４３及びマルチメディア信号を識別する信号記述子４７３２を含む。信号記述子は、
純信号３２２（図３）、
未加工の信号３１２、
ワープされた圧縮済み信号３４２、及び
ワープされた圧縮済み信号３４３
のうちの１つの信号としてソース信号のコンテンツを識別する。
純信号３２２（図３）、
未加工の信号３１２、
ワープされた圧縮済み信号３４２、及び
ワープされた圧縮済み信号３４３
のうちの１つの信号としてソース信号のコンテンツを識別する。
ソース信号のコンテンツが純信号でない場合、ソース信号が、純信号を生成するために、マッチングする純信号ジェネレータ４９５０（図４９）に供給される。
コンテンツフィルタリング済みの信号４７６４が、幾何学的データに従って純信号から抽出される。コンテンツフィルタリング済みの信号４７６４は、輪郭内にコンテンツに対応する純信号のサンプリングを備える。コンテンツフィルタ４７６０の機能は、コンテンツフィルタリング済みの信号を抽出することがバーチャルリアリティのヘッドセットのメモリ装置に格納されるプロセッサ実行可能命令を使用して実行できるように、バーチャルリアリティのヘッドセット内で実行されてよい。或いは、この代わりに、コンテンツフィルタリング済みの信号を抽出することが、バーチャルリアリティのヘッドセットに結合され、個別のプロセッサ及びメモリ装置を備える、独立したコンテンツフィルタ４７６０で実行されてよい。
コンテンツフィルタリング済みの信号４７６４が、圧縮されたフィルタリング済みの信号４８６４を生成するように圧縮されてよい（図４８）。次に、圧縮されたフィルタリング済みの信号が、チャネル４８９０及びネットワーク１５０を介して、チャネル４８８０及び／又はユニバーサルストリーミングサーバを介して、放送局に伝送されてよい。
パノラマ信号ソース４７１０から受信したソース信号４７１２が、中継器４８１０を使用して、取得モジュール４７２０－Ｂ及びユニバーサルストリーミングサーバ１２０を備えるストリーミング装置４８２０に中継されてよい（図４８）。取得モジュールは、ユニバーサルストリーミングサーバに供給される純信号４７３０のレプリカを生成する。ユニバーサルストリーミングサーバは、複数の視聴者１８０に視聴者コンテンツの制御を提供するように構成される（図４８）。
上述のように、本発明は、変調済みの搬送波ソース信号４７１２を受信し、ブロードキャストのためにコンテンツフィルタリング済みの信号４７６４を抽出するように構成される通信システムを提供する。システムは、バーチャルリアリティのヘッドセット４７５０と、コンテンツフィルタ４７６０と、送信機とを備える。
バーチャルリアリティのヘッドセットは、受信した変調済みの搬送波ソース信号４７１２から導出された純信号４７３０のバーチャルリアリティの表示を渡すように構成される。コンテンツフィルタが、幾何学的データに従って純信号からコンテンツフィルタリング済みの信号４７６４を生成するように構成される。送信機は、コンテンツフィルタリング済みの信号をチャネルに沿って放送局に送信する。
バーチャルリアリティのヘッドセットは、バーチャルリアリティのヘッドセットを着用するオペレータ４７５２の凝視方向のセンサと、プロセッサに凝視方向に従って表示の視聴領域を定義する幾何学的データ４７５２を生成させるプロセッサ実行可能命令を記憶するメモリ装置とを備える。コンテンツフィルタは、個別のプロセッサ及びメモリ装置を備える。
通信システムは、受信したパノラママルチメディア信号４７１２から純信号４７３０を導出するための取得モジュール４７２０（図４７、図４９）を更に備える。取得モジュールは、受信機４９４２と、純信号を生成するための一連の純信号ジェネレータ４９５０と、セレクタ４９４６とを備える。受信機４９４２は、変調済みの搬送波ソース信号からソースマルチメディア信号及び対応する信号記述子を生成する。セレクタ４９４６は、対応する信号記述子に従って、ソースマルチメディア信号をマッチングする純信号ジェネレータ４９５０に導く。
バーチャルリアリティのヘッドセットは、オペレータ４７５２の凝視位置と、凝視位置を囲む予め定義された形態の輪郭の代表的な空間座標として幾何学的データ４７５２とを決定するように更に構成される。コンテンツフィルタリング済みの信号４７６４は、輪郭内にコンテンツに対応する純信号４７３０のサンプリングを備える。
任意に、通信システムは、パノラマ信号ソース４７１０から送信される変調済みの搬送波ソース信号４７１２をストリーミング装置４８２０に中継するための中継器４８１０（図４８）を備えてよい。ストリーミング装置は、純信号４７３０のレプリカを生成するための取得モジュール４７２０及び、純信号４７３０を受信し、個々の視聴者選択に基づいてコンテンツフィルタリング済みの信号を提供するユニバーサルストリーミングサーバ１２０を備える。
図６５は、パノラマカメラ及びＶＲヘッドセットを利用する、統合された選択的なコンテンツブロードキャスト及びストリーミングのための第２システムを示し、システムは、ルーティング設備６５２０と、取得モジュール４７２０及び離れたコンテンツセレクタ５２４０を備えるリモートコンテンツコントローラ６５４０とを備える。ルーティング設備６５２０は、ネットワーク６５３０を介してリモートコンテンツコントローラ６５４０と通信する。図６６は、図６５のルーティング設備６５２０を詳細に示す。
図５１の構成と同様に、４πカメラは、伝送チャネル６５２２を介してルーティング設備に送信された変調済みの搬送波ソース信号４７１２を生成するために、ソース処理ユニット４７１４においてデワープ及び／又は圧縮され、次に送信機５４１６に供給されうる広帯域信号を生成する。ルーティング設備は、入力（ａ）で変調済みの搬送波ソース信号４７１２を受信し、
オペレータ定義のコンテンツフィルタリング済みの信号を生成するために、出力（ｃ）からチャネル６５２４、ネットワーク６５３０、及びネットワーク６５３０からのチャネル６５４４を介して、リモートコンテンツコントローラ６５４０に導かれる増幅された変調搬送波６５５１と、
視聴者に定義されたコンテンツフィルタリング済みの信号を生成するために、出力（ｂ）からクラウド演算ネットワーク６５７０に埋め込まれたユニバーサルストリーミングサーバ１２０に増幅された変調搬送波６５５２と
を生成する中継器６６１０（図６６）に信号を供給する。
オペレータ定義のコンテンツフィルタリング済みの信号を生成するために、出力（ｃ）からチャネル６５２４、ネットワーク６５３０、及びネットワーク６５３０からのチャネル６５４４を介して、リモートコンテンツコントローラ６５４０に導かれる増幅された変調搬送波６５５１と、
視聴者に定義されたコンテンツフィルタリング済みの信号を生成するために、出力（ｂ）からクラウド演算ネットワーク６５７０に埋め込まれたユニバーサルストリーミングサーバ１２０に増幅された変調搬送波６５５２と
を生成する中継器６６１０（図６６）に信号を供給する。
制御データは、リモートコンテンツコントローラ６５４０から、チャネル６５４６、ネットワーク６５３０、及びチャネル６５２６を介して、ルーティング設備６５２０に送信される。ルーティング設備６５２０は入力（ｄ）で制御データをキャプチャし、受信機６６７０はネットワーク６５３０及びチャネル６５２６を介してリモートコンテンツコントローラ６５４０から送信された制御データ６５４８から制御データを検出する。検出された制御データが、オペレータ定義のコンテンツフィルタリング済みの信号４７６４を生成する視聴アダプタ５２１０に供給される。出力（ｅ）からチャネル６５２８を介して放送局６５８０に、チャネル６５２９を介してチャネル６５２９及びネットワーク６５３０を介するユニバーサルストリーミングサーバ１２０のうちの１つに導かれる変調済みの搬送波信号を生成するために、コンテンツフィルタリング済みの信号４７６４が圧縮モジュール４８６２で圧縮され、送信機４８７０に供給される。
図６７は、取得モジュール４７２０（図４７）と、オペレータ４７２５によって使用されるバーチャルリアリティのヘッドセット４７５０を含む離れたコンテンツセレクタ５２４０とを備えるリモートコンテンツコントローラ６５４０を詳細に示す。フレーム数抽出モジュール６７１０は、取得モジュール４７２０で検出された純マルチメディア信号４７３０から巡回フレーム数を抽出する。フレーム数挿入モジュール６７１２は、抽出された巡回フレーム数を、表示のオペレータの好ましい視聴領域を定義する制御データ６５４８に挿入する。離れたコンテンツセレクタ５２４０と並置されるリフレッシュモジュール６７２０は、制御データ６５４８を更に変更する。
或いは、この代わりに、制御データ（個々の制御メッセージ）６５４８をモジュール４７１５（図４７、図６５）で識別されたビデオフレームに関連付けるプロセスは、「タイムスタンプ」を使用すること及び視聴アダプタ５２１０（図５２、図６６）と離れたコンテンツセレクタ５２４０（図５２、図６７）との間の往復転送遅延を測定することに依存しうる。しかしながら、上述のように巡回フレーム数を使用することが好ましい。
選択的なコンテンツブロードキャストのためのハイブリッドシステム
図６８は、パノラマカメラ、コンテンツフィルタのバンク、及び従来のスイッチ装置（セレクタ）を使用するマルチメディア信号の選択的なコンテンツブロードキャストのためのハイブリッドシステムを示す。マルチメディア信号が、ソース処理ユニット４７１４に結合された４πカメラ３１０及び広帯域送信機４７１６を備える信号ソース４７１０で生成される。カメラは、パノラマ視聴をキャプチャし、広帯域送信機４７１６に直接供給されうる、又は、別の制御データを挿入することに加えて、図３に示されるように、未加工の信号３１２を処理して、（デワープされた）補正済みの信号３２２、圧縮された未加工の信号３４２、又は、（デワープされて圧縮された）コンパクトな信号３４３を生成するソース処理ユニット４７１４に供給されうる未加工の信号３１２を生成する。ソース処理ユニット４７１４の出力は、広帯域送信機４７１６に供給される。
図４９に示されるように、広帯域送信機４７１６は、変調済みの搬送波ソース信号４７１２を、伝送媒体４７１８を介して、受信機４９４０（図４９に詳細に示される）、プロセッサ、及び、プロセッサにデワープ及び／又は圧縮解除の機能を実行させるプロセッサ可読命令を記憶するメモリ装置を備えるハードウェアエンティティである取得モジュール４７２０に送信する。取得モジュールは、パノラマカメラ３１０によってキャプチャされる全体視聴を集合的にカバーするフィルタリング済みの信号を提供するように構成されるコンテンツフィルタ６８３２のバンク６８２５に供給される純マルチメディア信号４７３０を生成する。「Ａ」、「Ｂ」、「Ｃ」及び「Ｄ」で個別にラベル付けされた４つのコンテンツフィルタ６８３２が示される。各コンテンツフィルタ６８３２の出力信号６８４０が、各ディスプレイ装置４６５０に供給される。「Ａ」から「Ｄ」までのラベル付けされた４つのコンテンツフィルタに結合された表示装置が、それぞれ、４６５０－Ａ、４６５０－Ｂ、４６５０－Ｃ及び４６５０－Ｄとして個別に識別される。
手動動作の視聴選択ユニット４６６０は、図４６のものと同様に、表示装置４６５０に供給されるベースバンド信号のうちの１つのベースバンド信号を選択する。オペレータ４６６２は、全ての表示を観測し、セレクタ（「スイッチ装置」とも称される）４６６４を使用して、好ましい出力信号を送信機４６８０に導く（図４６及び図６８）。送信機４６８０は、アンテナ又はケーブル４６９０を介して伝送媒体に結合される。
図６９は、図５１のシステムに実装される選択的なコンテンツブロードキャストの方法６９００を示す。固定の４πカメラ３１０と、ソース処理ユニット４７１４と、広帯域送信機４７１６とを含むパノラマ信号ソースが、カバーされるようイベントのフィールドに適切に配置される。純マルチメディア信号４７３０が、広帯域無線チャネル又は光ファイバリンクであり得る伝送媒体４７１８を介して、パノラマ信号ソースに近い位置で取得される（プロセス６９１０、取得モジュール４７２０）。パノラマ信号が表示される（プロセス６９２０、ＶＲヘッドセットの内部ディスプレイ及び／又は表示装置４７７０）。オペレータ４７２５は、ＶＲヘッドセット４７５０を使用するディスプレイを検査する（プロセス６９３０）。オペレータの凝視方向に対応するコンテンツフィルタリング済みの信号がＶＲヘッドセットから取得される。コンテンツフィルタリング済みの信号が圧縮され（プロセス６９４０、圧縮モジュール４８６２）、放送局に伝送される圧縮済みの信号を生成する（プロセス６９５０、送信機４８７０）。
図７０は、図６８のシステムに実装される選択的なコンテンツブロードキャストの方法７０００を示す。図６９の方法と同様に、４πカメラ３１０と、ソース処理ユニット４７１４と、広帯域送信機４７１６とを含むパノラマ信号ソースが、カバーされるようイベントのフィールドに適切に配置される。純マルチメディア信号４７３０が、伝送媒体４７１８を介して、パノラマ信号ソースに近い位置で取得される（プロセス７０１０、取得モジュール４７２０）。
コンテンツフィルタ６８３２のバンク６８２５が提供され、純マルチメディア信号４７３０が各コンテンツフィルタ６８３２に供給される。各コンテンツフィルタ６８３２が、パノラマ信号からそれぞれの視聴角度に対応するそれぞれのフィルタリング済みの信号を抽出する（プロセス７０２０）ように構成される。集合的に、フィルタリング済みの信号がイベントのフィールド全体をカバーする。当然ながら、フィルタリング済みの信号に対応するフィールドの視聴部分が、重複するようバインドされる。フィルタリング済みの信号が別の表示装置に表示される（プロセス７０３０）。オペレータ４６６２（図６８）は、セレクタ（スイッチ装置）４６６４を有効にして、好ましいフィルタリング済みの信号を送信機４６８０に導く（プロセス７０４０）。送信機の出力での変調搬送波が、放送局に送信される（プロセス７０５０）。
図７１は、図４８及び図５１のシステムの基本的処理を示すフローチャートである。プロセス７１１０において、変調済みの搬送波ソース信号４７１２が監視設備５１２０で受信される。プロセス７１３０において、ソース信号４７１２が、ストリーミングサブシステム４８０８に中継されうる（中継器４８１０）。プロセス７１１２において、取得モジュール４７２０は、ソース信号４７１２から純マルチメディア信号４７３０を取得する。プロセス７１１４において、コンテンツセレクタ４７４０は、ブロードキャストを対象とするオペレータ定義のコンテンツフィルタリング済みのマルチメディア信号を生成する。信号が、放送設備及びユニバーサルストリーミングサーバ１２０に伝送される前に圧縮されて、既定の視聴選択に使用されてよい（プロセス７１２０）。
ストリーミングサブシステム４８０８で、取得モジュール４７２０は、ユニバーサルストリーミングサーバ１２０に供給される純マルチメディア信号４７３０のレプリカを取得する（プロセス７１４０）。ユニバーサルストリーミングサーバは、好ましくは図１３、図１４、及び図１５に示されるように低フローレートで、完全コンテンツ信号をユニバーサルストリーミングサーバ１２０に通信可能に結合されるクライアント装置１８０に送信する（プロセス７１４２）。ユニバーサルストリーミングサーバ１２０は、クライアント１８０から視聴の好みを受信し（プロセス７１４４）、個別のコンテンツフィルタリング済みの信号を生成してよい（プロセス７１４６）。クライアントの好みの通知がない場合、既定の視聴選択に基づいたコンテンツがクライアントに送信されてよい。ユニバーサルストリーミングサーバ１２０は、既定の視聴選択に加えて、図３２に示されるように、視聴者の選択に基づいたコンテンツを保持する（プロセス７１４８）。
図７２は、ブロードキャストのために、パノラママルチメディア信号をコンテンツフィルタリングしてオペレータ定義のコンテンツを生成する方法を示す。方法は、パノラマ信号ソース４７１０からソース信号４７１２を受信すること（プロセス７２２０）と、取得モジュール４７２０（図４７、図５１）でパノラママルチメディアソース４７１０（図４７、図５１）から受信したマルチメディア信号４７１２（図４７、図４８、図４９、図５１）から純信号４７３０（図４７）を生成すること（プロセス７２３０）と、純信号から表示された純信号の様々な視聴領域に対応するコンテンツフィルタリング済みの信号を抽出するよう構成されたコンテンツセレクタ４７４０を利用することとを備える。
コンテンツセレクタ４７４０は、バーチャルリアリティのヘッドセット４７５０（図４７、図５０）を利用して純信号４７３０の表示を視聴し（プロセス７２４０、図７２）、バーチャルリアリティのヘッドセットから現時点の凝視位置を決定する（プロセス７２４４）プロセスを実行する。
基準凝視位置が、（例えば、フレーム中心に対応する）既定値として初期化される（プロセス７２４２、図７２）。ＶＲヘッドセットは、ヘッドセットを着用するオペレータの凝視位置を継続的に識別する。
次に、基準凝視位置から現時点の凝視位置の変位５５３０（図５５）が決定される（プロセス７２４６）。変位５５３０が予め定義された閾値を超過するという決定を条件として、基準凝視位置が現時点の凝視位置に等しくするように更新される（プロセス７２４８及び７２５０、図７２）。
次に、視聴領域の定義データが、基準凝視位置及び予め定義された輪郭の形状（長方形など）を使用して生成される（プロセス７２６０）。コンテンツフィルタリング済みの信号５２８０（図５２）が、視聴領域の定義データに従って純信号４７３０から抽出され（プロセス７２７０）、放送設備に伝送される（プロセス７２７４）。コンテンツフィルタリング済みの信号４７６４は、伝送前に圧縮されてよい（プロセス７２７２）。
凝視位置は、複数の次元の一連のパラメータ又はベクトルとして表わされる。凝視位置の変位の異なる測定が使用されてよい。１つの測定に従って、基準凝視位置を表す第１のベクトル（第１の一連のパラメータ）及び現時点の凝視位置を表す第２のベクトル（第２の一連のパラメータ）が比較される。次に、図５５に示されるように、変位が、凝視位置を定義する調整値のシフトの絶対値の合計として決定される。
凝視位置を定義する一連のパラメータが、バーチャルリアリティのヘッドセットおセンサから取得される従来の「パン、チルト、及びズーム」（ＰＴＺ）パラメータとして選択されてよい。プロセス７２６０において生成される視聴領域の定義データが、変位が予め定義された閾値より小さい又はこれに等しい（プロセス７２４８、７２７０）場合に再使用するために保持されてよい。
図７３及び図７４は、図６５のシステムに実装されるパノラママルチメディア信号のコンテンツフィルタリング方法を示す。ここで、可動性でありうるルーティング設備６５２０は、パノラマ信号ソース４７１０の近傍に配置され、バーチャルリアリティのヘッドセット４７５０を着用するオペレータ４７２５で、離れたコンテンツセレクタ５２４０を収容するリモートコンテンツコントローラ６５４０と通信する。
図７３は、リモートコンテンツコントローラ６５４０で実行されるプロセスを示す。ソース信号（変調済みの搬送波信号）４７１２が、離れたコンテンツセレクタ５２４０で受信される（プロセス７３１０）。基準凝視位置が、最初に観測される凝視位置が視聴領域の定義の計算を強制的に生成するように選択される位置でありうる規定の位置として初期化される（プロセス７３２０）。純マルチメディア信号４７３０が、離れたコンテンツセレクタ５２４０でソース信号４７１２から取得される（プロセス７３３０）。
離れたコンテンツセレクタ５２４０で取得された純マルチメディア信号が表示される（プロセス７３４０）。離れたコンテンツセレクタ５２４０と並置されたリフレッシュモジュール６７２０（図６７）は、視聴領域を更新するレートに影響を与えプロセス７３５０を実行する。フレームインデックス抽出モジュール６７１０は、リモートコンテンツコントローラ６５４０の取得モジュール４７２０（図６７）で検出された純マルチメディア信号から巡回フレーム識別子を抽出する（プロセス７３５２）。フレームインデックス挿入モジュール６７１２は、フレーム数を視聴アダプタ５２１０に導かれる制御データ５２６０に挿入する。好ましいフレーム識別子は、本明細書において判定された好ましい識別子である巡回フレームインデックスである。現時点の凝視位置５５２０（図５５）が、離れたコンテンツセレクタ５２４０のバーチャルリアリティのヘッドセットの出力から決定される（プロセス７３５４）。
プロセス７３５６は、基準凝視位置から現時点の凝視位置の変位を決定する。プロセス７３５８は、変位が予め定義された変位閾値Δ＊を超過するか否かを決定する。そうである場合、現時点の凝視位置が基準凝視位置になり（プロセス７３７０）、新しい基準凝視位置を含む制御メッセージが対応するフレーム識別子と共に形成される（プロセス７３７２）。そうではなくて、変位が、Δ＊より小さい又はこれに等しく、わずかである場合、プロセス７３７４は、対応するフレーム識別子及び循環コンテンツバッファ５３３０に格納されるフレームデータブロックが以前の視聴領域の定義に従って表示されうることを示すＮｕｌｌ凝視位置を含むメッセージを生成する。プロセス７３７２又はプロセス７３７４で形成される制御メッセージが、視聴アダプタ５２１０に伝送される（プロセス７３７８）。バーチャルリアリティのヘッドセットのレイテンシを追跡することに起因して、巡回フレーム数の（小さい）シフトが必要とされうる。プロセス７３８０は、リモートコンテンツコントローラ６５４０から新しいメッセージを受信する。次に、プロセス７３５２に戻る。
図７４は、ルーティング設備６５２０に存在する視聴アダプタ５２１０で実行されるプロセス７４００を示す。
プロセス７４１０は、リモートコンテンツコントローラ６５４０のリフレッシュモジュール６７２０から、新しい凝視位置５５２０及び対応する巡回フレーム数５５１０（図５５）を受信する。プロセス７４１０は、同時に、巡回フレーム識別子７４１２をプロセス７４２０に導き、新しい凝視位置をプロセス７４４０に導く。
プロセス７４２０は、受信した巡回フレーム数７４１２に従って、コンテンツバッファ５３３０におけるフレームデータブロック５３３２のアドレスを決定する。フレームデータブロック５３３２がコンテンツバッファから読み取られ（プロセス７４３０）、最新の視聴領域の定義に基づいてコンテンツフィルタリング済みの信号を生成するようにプロセス７４６０に導かれる。
プロセス７４４０は、新しい凝視位置がＮｕｌｌ位置である場合、新しい凝視位置をプロセス７４６０に導く。そうではなくて、プロセス７４５０が起動され、現在の視聴領域の定義を上書きであろう新しい視聴領域の定義を生成して保持する。新しい視聴領域の定義は、新しい凝視位置及び予め定義された領域の形状（輪郭）に基づいているであろう。
プロセス７４６０は、制御メッセージが、凝視位置が変化しない又はわずか変化することを示すＮｕｌｌ凝視位置を含むとき、プロセス７４５０で生成された１つ又は以前の視聴領域の定義であろう最新の視聴領域の定義に基づいてコンテンツフィルタリング済みの信号５２８０を生成する。
コンテンツフィルタリング済みの信号が、視聴アダプタ５２１０をサポートするルーティング設備６５２０（図６６）で圧縮されうる（プロセス７４６２）。圧縮されたコンテンツフィルタリング済みの信号がルーティング設備から伝送される（プロセス７４６４）。新しいコンテンツ選択データ（新しい凝視位置及びフレーム識別子）がリフレッシュモジュール６７２０から受信され（プロセス７４８０）、コンテンツフィルタリング済みの信号を生成する上述のプロセスが継続的に実行され、プロセス７４１０から開始する。
コンテンツフィルタリング済みの信号を生成する上述のプロセスが各フレーム期間又は予め定義された数のフレーム（例えば、各８－フレーム期間）期間で起動されてよい。
コンテンツフィルタ４７６０（図４７、図５０、及び図５３）及びコンテンツフィルタ６８３２（図６８）が、ハードウェアプロセッサ及びハードウェアプロセッサに本発明のそれぞれのプロセスを実行させるプロセッサ実行可能命令を格納するメモリ装置を利用することが留意される。
図７５は、パノラマ信号ソース４７１０、離れたコンテンツセレクタ５２４０、及び視聴アダプタ５２１０を備える選択的なビデオコンテンツ伝達の地理的な分散システムを示す。取得モジュール４７２０Ａ及び４７２０Ｂは、それぞれ、視聴アダプタ５２１０及びコンテンツセレクタ５２４０と並置される。パノラマ信号ソース４７１０から視聴アダプタ５２１０と並置された取得モジュール４７２０Ａへの経路７５１０に沿った信号転送遅延７５１２がＴ１と表わされる。パノラマ信号ソース４７１０から離れたコンテンツセレクタ５２４０と並置された取得モジュール４７２０Ｂへの経路７５２０に沿った信号転送遅延７５２２がＴ２と表わされる。離れたコンテンツセレクタ５２４０から視聴アダプタ５２１０への経路７５３０に沿った信号転送遅延７５３２がＴ３と表される。経路７５１０、７５２０及び７５３０のいずれかは、専用の通信経路又はネットワークを介して確立された経路でありうる。経路がネットワークを介して確立される場合、転送遅延は、ネットワーク内の任意のキューイング遅延を含む。
パノラマ信号ソース４７１０はビデオ信号を視聴アダプタ５２１０に結合された取得モジュール４７２０Ａに送信するが、ビデオ信号又はビデオ信号から導出されたフレームサンプリング済みの信号のいずれをＶＲヘッドセット４７５０に結合された取得モジュール４７２０Ｂに送信してよい。フレームサンプリング済みの信号は、選択されたビデオフレーム、例えば、各ビデオ信号の１６個の連続するフレームのうちの１つを備える。パノラマ信号ソースに結合されたフレームセレクタ７５５０は、規定されたサンプリングパラメータに従って、フレームサンプリング済みの信号を生成する。
図７６は、ビデオアダプタでの、フレームコンテンツデータ及び対応する制御データの到着時刻の差を示す。視聴アダプタ５２１０でパノラマ信号ソース４７１０から受信したフレームデータに対応するフレームインデックスが、ｆ０、ｆ１、ｆ２、…などと表される。視聴アダプタ５２１０でＶＲヘッドセットから受信した制御データに対応するフレームインデックスが、φ０、φ１、φ２、…などと表される。
示されるように、Ｔ１が（Ｔ２＋Ｔ３）未満である場合、ソース（参照符号７６２０）から受信した特定のフレームのコンテンツデータは、特定のフレームの制御データ（参照符号７６４０）の前に到着する。例えば、インデックス０のフレームの制御データは、フレームのコンテンツの受信に続く略４．５フレーム期間の後、到着する。
Ｔ１が（Ｔ２＋Ｔ３）より大きい場合、ソース（参照符号７６６０）から受信した特定のフレームのコンテンツデータは、特定のフレームの制御データ（参照符号７６８０）の後、到着する。例えば、インデックス０のフレームの制御データは、フレームのコンテンツの受信の前の略５．２フレーム期間の後、到着する。２つのポイント間の通信経路は、専用であるかネットワークを介して確立されたかにかからわらず、必ずしも視線に沿ってルーティングされない。従って、Ｔ１は、必ずしも（Ｔ２＋Ｔ３）未満でない。加えて、経路が共有されたネットワークを介して確立されたとき、転送遅延は、ネットワークトラフィック状態に大きく依存する。
図７７は、ビデオアダプタ５２１０での、フレームコンテンツデータ及び対応する制御データの相対的な到着時間に対する信号転送遅延ジッタの影響を示す。フレームコンテンツデータに対応するフレームインデックス（参照符号７７３０）が、ｆ４、ｆ５などと表される。フレーム制御データに対応するフレームインデックス（参照符号７７４０）が、φ４、φ５などと表わされる。
遅延ジッタ（参照符号７７１０）のない状態下で最もありうるシナリオである、Ｔ１が（Ｔ２＋Ｔ３）未満である場合において、フレームに対応する制御データは、フレームのコンテンツが到着した後、視聴アダプタ５２１０に到着する。この場合において、それは、（循環コンテンツバッファ５３３０に類似する）循環コンテンツバッファ７７５０を使用すれば十分である。しかしながら、適度なレベルの遅延ジッタ（参照符号７７２０）の場合でさえ、フレーム特定制御データ及びコンテンツデータの視聴アダプタ５２１０への一連の到着時刻は、一致しない場合がある。例えば、インデックス５のフレームに対応する制御データがフレームのコンテンツデータを受信した後に到着する一方で、インデックス６のフレームに対応する制御データがフレームのコンテンツデータを受信する前に到着する。同一フレーム制御データ及びフレームコンテンツをマッチングすることを可能にすべく、循環制御バッファに加えて循環制御バッファ７７６０が提供される。循環制御バッファは、循環コンテンツバッファの方法に類似した方法で動作する。循環コンテンツバッファは、フレームの可動窓の幾つかのフレームのコンテンツデータ７７５２を保持する。上述のように、フレームが巡回フレームインデックス７７５１に割り当てられる。上述のように、巡回インデックスｊのフレームのコンテンツデータがインデックスｊのバッファ部分に格納され、０≦ｊ＜Ｌであり、Ｌは予め定義された巡回期間である。循環制御バッファは、フレームの可動窓の幾つかのフレームの制御データ７７６２を保持する。フレームが巡回フレームインデックス７７６１に割り当てられ、巡回インデックスｊのフレームの制御データがインデックスｊのバッファ部分に格納される。
図７７は、バーチャルリアリティのヘッドセットが完全ビデオ信号を受信し、ビデオフレーム期間ごとに制御データを伝達する場合に、循環コンテンツバッファ及び循環制御バッファを備えるデュアル循環バッファを使用することを示す。
図７８は、循環コンテンツバッファ５５３０、循環制御バッファ７７６０、コンテンツフィルタ４７６０、コンテンツフィルタコントローラ７８２０を備える視聴アダプタ５２１０Ｂを示す。上述のように、コンテンツフィルタコントローラ５３２０（図５３）は、離れたＶＲヘッドセットから視聴領域の定義及び各フレームインデックスを備える制御データを受信し、次に、循環コンテンツバッファ５３３０から各フレームインデックスのフレームデータを読み取る。
コンテンツフィルタコントローラ７８２０は、離れたＶＲヘッドセットから視聴領域の定義及び各フレームインデックスを備える制御データを受信し、次に、各フレームインデックスを循環制御バッファ７７６０に挿入する。循環制御バッファから読み取られるフレームデータブロック５３３２のインデックス７８２２が、循環制御バッファ格納されたフレームインデックス及び循環コンテンツバッファ５３３０に格納されたフレームインデックスに従って決定される。
図７９は、バーチャルリアリティのヘッドセットがビデオフレーム期間ごとに制御データを伝達する場合の、循環コンテンツバッファ７７５０及び循環制御バッファ７７６０のデータストレージ編成７９００を示す。循環コンテンツバッファがＬ個の部分７９１０に編成され、各部分がビデオフレームのコンテンツデータ７９２０を格納する。巡回インデックスｊのフレームのコンテンツが同一のインデックスｊの部分に格納され、０≦ｊ＜Ｌである。同様に、循環制御バッファがＬ個の部分７９３０に編成され、各部分がビデオフレームの制御データ（凝視位置）７９４０を格納する。巡回インデックスｊのフレームの制御データが同一のインデックスｊの部分に格納される。示されるように、バッファのコンテンツが循環的に上書きされる（参照符号７９５０）。
図８０は、バーチャルリアリティのヘッドセットがＹ＞１であるＹビデオフレーム期間ごとに制御データを伝達する場合の、循環コンテンツバッファ及び循環制御バッファのデータストレージ編成８０００を示す。循環コンテンツバッファがＬ個の部分７９１０に編成され、各部分がビデオフレームのコンテンツデータ７９２０を格納する。巡回インデックスｊのフレームのコンテンツが同一のインデックスｊの部分に格納され、０≦ｊ＜Ｌである。循環制御バッファが
個の部分８０３０に編成され、各部分がＹビデオフレーム期間ごとにＶＲヘッドセットから受信した制御データ（凝視位置）８０４０を格納する。従って、巡回インデックスｊのフレームの制御データがインデックス
の部分に格納される。循環制御バッファの部分が、γ０、γ１、γ２及びγ３と表される。示されるように、バッファのコンテンツが循環的に上書きされる（８０５１，８０５２）。
図８１は、ｆ０からｆ３１までの巡回インデックスの３２個のビデオフレーム（Ｌ＝３２）のコンテンツ８１２２を保持するように構成された循環コンテンツバッファを備えるデュアル循環バッファのデータストレージ編成８１００を示す。循環制御バッファは、４個のビデオフレーム期間（Ｙ＝４）ごとに受信した制御データ８１３２を保持する。従って、循環制御バッファが８個の部分に編成される（
、Ｌ＝３２、Ｙ＝４）。循環制御バッファのストレージ部分のインデックス８１３０がγ０からγ７までと表される。循環コンテンツバッファのストレージ部分のインデックス８１２０は、ビデオフレームの巡回インデックスに対応する。
図４７又は図５２のシステムがクラウド演算設備内に部分的に実装されうることも留意される。
従って、本発明は、選択的なビデオコンテンツ伝達のための装置４７４０を提供する。取得モジュール４７２０は、パノラママルチメディアソース４７１０から変調搬送波４７１２を受信し、純ビデオ信号４７３０を抽出する。取得モジュール４７２０に通信可能に結合されたバーチャルリアリティのヘッドセット４７５０は、純ビデオ信号及びバーチャルリアリティのヘッドセットを着用するオペレータ４７２５の凝視位置の座標のバーチャルリアリティの表示を提供する。凝視位置に対応するビデオフレームインデックスが決定される。
取得モジュール４７２０及びバーチャルリアリティのヘッドセット４７５０に通信可能に結合されたコンテンツフィルタ４７６０は、純ビデオ信号４７３０からコンテンツフィルタリング済みの信号４７６４を生成するように構成されたハードウェアプロセッサを利用する。コンテンツフィルタ４７６０は、純ビデオ信号４７３０、凝視位置の座標、及び対応するビデオフレームインデックスを受信する。次に、それぞれの凝視位置に対応する表示の視聴領域を定義する幾何学的データが生成される。次に、それぞれの幾何学的データに従って純ビデオ信号の各フレームから抽出されたコンテンツフィルタリング済みの信号が、伝達のために通信設備に伝送される。
通信設備は、視聴者のコンテンツ選択を可能にし、ストリーミングサーバの視聴者が視聴領域を選択しない場合の既定の選択としてオペレータの凝視位置に基づいてコンテンツフィルタリング済みの信号を提供するように構成された放送局又はストリーミングサーバ１２０（図４８）であってよい。
取得モジュール４７２０、図４９、は、変調搬送波４７１２からソースマルチメディア信号及び対応する信号記述子を検出するように構成された受信機４９４０を備える。信号記述子は、信号ソースで実行される処理を示す（図３）。取得モジュールは、個々の信号記述子にそれぞれ調整された、一連の純ビデオ信号ジェネレータ４９５０を利用し、ソースマルチメディア信号の記述子に従って純ビデオ信号を生成する。セレクタ４９４７は、純ビデオ信号を生成するために、対応する信号記述子に従ってソースマルチメディア信号をマッチングする純ビデオ信号ジェネレータに導く。
コンテンツフィルタリング済みの信号は、視聴領域内のポイントに対応する純ビデオ信号のサンプルを備える。任意に、バーチャルリアリティのヘッドセットは、予め定義された視聴領域の形状の組のうちの視聴領域の形状の指示を提供する。次に、コンテンツフィルタは、それぞれの視聴領域の形状に従って幾何学的データを生成する。
本発明は、選択的なビデオコンテンツ伝達のための地理的な分散システム５２００を更に提供する。システムは、コンテンツセレクタ５２４０及び視聴アダプタ５２１０を備える。コンテンツセレクタ５２４０は、バーチャルリアリティのヘッドセット４７５０を含む。
バーチャルリアリティのヘッドセット４７５０は、ソースから、ソースビデオ信号又はソースビデオ信号から導出されたフレームサンプリング済みの信号（図７５、フレームセレクタ７５５０）のいずれかでありうる特定の信号を受信する。バーチャルリアリティのヘッドセット４７５０は、特定の信号を表示し、間隔の空いた時点で、ヘッドセットを着用するオペレータの凝視位置を決定する。凝視位置は、対応するビデオフレームインデックスと共に、後続の処理のために伝達される。
視聴アダプタ５２１０は、ソースからソースビデオ信号を受信し、バーチャルリアリティのヘッドセットから凝視位置及び対応するフレームインデックスを受信するように構成されたハードウェアプロセッサ５４５０（図５４）を利用する。様々な信号転送遅延の影響を無効にすべく、視聴アダプタ５２１０は、ビデオ信号から導出された完全コンテンツフレームデータを記憶するための循環コンテンツバッファ（６２００、図６２、７７５０、図７７）と、バーチャルリアリティのヘッドセットから受信した凝視位置を記憶するための循環制御バッファ７７６０とを備えるデュアル循環バッファを利用する。視聴アダプタ５２１０のコンテンツフィルタコントローラ５３２０（図５３、図５４）は、凝視位置ごとに、予め定義された視聴領域の形状に従って周囲の視聴領域を決定する。
コンテンツフィルタ４７６０（図５３、図５４）は、伝達のために、循環制御バッファから読み取られた各凝視位置の視聴領域に従って、循環コンテンツバッファから読み取られた各完全コンテンツフレームデータの一部を抽出する。
コンテンツフィルタコントローラ５３２０は、基準凝視位置を初期化し、基準凝視位置から現時点の凝視位置の変位を決定し、変位が予め定義された閾値を超過したという決定を条件として、現時点の凝視位置に等しくするように基準凝視位置を更新する。変位が予め定義された閾値未満又はこれに等しい場合、現時点の凝視位置が基準凝視位置に等しくするように設定される。
循環コンテンツバッファ６２００、７７５０は、少なくとも予め定められた数のフレームの完全コンテンツを保持する。予め定義された数×１つのフレーム期間が２つの経路に沿った転送遅延の差の大きさ（即ち、絶対値）を超過するように、予め定義された数が選択される。１つの経路に沿った信号転送遅延（７５２０、７５３０）は、ソースからバーチャルリアリティのヘッドセットへの信号転送遅延Ｔ２と、バーチャルリアリティのヘッドセットからコンテンツフィルタコントローラへの信号転送遅延Ｔ３との合計である。他の経路（７５１０）に沿った信号転送遅延Ｔ１は、ソースから視聴アダプタ５２１０への遅延である。
間隔の空いた時点は、離れたビデオフレームに対応する。ここで、間髪を入れずに連続するビデオフレームのインデックスは、予め定義された整数Ｙだけ異なり、Ｙ＞１である。循環制御バッファは、少なくとも
に等しい幾つかの凝視位置を保持し、Ｈは、コンテンツデータが循環コンテンツバッファに保持されるフレームの予め定義された数である。当然ながら、Ｈ＞Ｙである。図８０の構成において、Ｈ＝１６、Ｙ＝４である。図８１の構成において、Ｈ＝３２、Ｙ＝４である。Ｈは、予め定義された巡回期間Ｌに等しい。
コンテンツフィルタコントローラ５３２０は、循環コンテンツバッファのインデックスｆ＊のストレージ部分において、０≦ｆ＊＜Ｌである巡回インデックスｆ＊のビデオフレームのフレームコンテンツを配置する循環制御バッファにフレームコンテンツを格納する。コンテンツフィルタコントローラは、インデックス
のストレージ部分において、０≦φ＊<Ｌである巡回インデックスφ＊に対応する凝視位置を格納し、Ｌは、予め定義された巡回期間である。
フレームサンプリング済みの信号は、好ましくは、ソースに結合されたフレーム選択モジュール（フレームセレクタ７５５０、図７５）で生成される。フレームサンプリング済みの信号は、離れたビデオフレームを備える。ここで、間髪を入れずに連続するビデオフレームは、単一期間のフレームの持続時間を超過する時間間隔によって分離される。
バーチャルリアリティのヘッドセット４７５０は、従来のパン、チルト、及びズームの座標としてそれぞれの凝視位置を定義するように構成される。フィルタリングコントローラ５３２０は、基準凝視位置を表す第１の一連の座標及び現時点の凝視位置を表す第２の一連の座標のパン、チルト、及びズームの値の絶対差分の合計として、凝視位置の変位を更に評価する。
バーチャルリアリティのヘッドセット４７５０は、既定の視聴領域の形状、又は一連の予め定義された視聴領域の形状のうちの視聴領域の形状として、オペレータ４７２５が予め定義された視聴領域の形状を選択することを可能にするように更に構成される。
選択的なビデオコンテンツ伝達の方法が、図７２から図７４に示される。方法は、ビデオ信号の表示を視聴し、間隔の空いた時点で、ヘッドセットを着用するオペレータの凝視位置を識別し、更なる処理のために凝視位置及び対応するビデオフレームインデックスを伝達するためにバーチャルリアリティのヘッドセットを利用する段階を備える。
方法は、基準凝視位置及び対応する視聴領域の定義を初期化し、次に、ビデオ信号を受信する処理と、凝視位置及び対応するビデオフレームインデックスを受信する処理と、基準凝視位置を更新する処理と、基準凝視位置に従って視聴領域の定義データを生成する処理と、視聴領域の定義データに従ってビデオ信号からコンテンツフィルタリング済みの信号を抽出する処理と、コンテンツフィルタリング済みの信号を放送設備に伝送する処理とを継続的に実行するハードウェアプロセッサを利用する。
基準凝視位置を更新する段階は、基準凝視位置からの現時点の凝視位置の変位を決定することに基づいている。変位が予め定義された閾値７３５８を超過したという決定を条件として、基準凝視位置が現時点の凝視位置に等しくするように設定され（プロセス７３７０）、視聴領域の定義データが基準凝視位置及び予め定義された輪郭の形状に従って生成される（図８０、図８１）。
各時点と間髪を入れずに連続する時間間隔との間の時間間隔がビデオフレーム期間の整数倍、Ｙ、であり、Ｙ＞１であるように、間隔の空いた時点が選択される。プロセッサは、ビデオ信号の最も最近のビデオフレームの予め定義された数、Ｈ、の完全コンテンツフレームデータを循環コンテンツバッファに記憶する段階であって、Ｈ＞Ｙである、段階と、バーチャルリアリティのヘッドセットから受信した数、ｈ、の最も最近の凝視位置を循環制御バッファに記憶する段階であって、ｈ＝
である、段階とを行うための命令を実行する。
コンテンツフィルタリング済みの信号を抽出する処理は、循環コンテンツバッファに存在しているビデオフレームごとに、循環制御バッファに存在している各凝視位置を決定する処理と、各完全コンテンツフレームデータ（図８１）からコンテンツフィルタリング済みのフレームを導出する処理とを備える。
基準凝視位置（図５５）からの現時点の凝視位置の変位を決定することは、一連の座標として一連の凝視位置の各凝視位置を表す処理と、基準凝視位置を表す第１の一連の座標及び現時点の凝視位置を表す第２の一連の座標の対応する座標値の絶対差分の合計として変位を評価する処理とを備える。
バーチャルリアリティのヘッドセットは、ビデオ信号全体を受信してよく、又は、ビデオ信号のフレームサンプリング済みの信号のみを受信してよい。フレームサンプリング済みの信号は、ビデオ信号のソースに結合されたフレーム選択モジュールで生成され、間髪を入れずに連続するビデオフレームが単一期間のフレームの持続時間を超過する時間間隔によって分離された状態で離れたビデオフレームを備える。
バーチャルリアリティのヘッドセットがビデオ信号全体を受信した場合、表示はビデオ信号の全てのビデオフレームをカバーする。バーチャルリアリティのヘッドセットがフレームサンプリング済みの信号を受信した場合、表示は離れたビデオフレームをカバーする。
本発明の実施形態方法は、ハードウェアプロセッサに上述の処理を実装させるプロセッサ実行可能命令を実行する１又は複数のハードウェアプロセッサを使用して実行される。コンピュータ実行可能命令が、フロッピーディスク、ハードディスク、光ディスク、フラッシュＲＯＭ、不揮発性ＲＯＭ、及びＲＡＭなどのプロセッサ可読ストレージ媒体に格納されてよい。マイクロプロセッサ、デジタル信号プロセッサ、ゲートアレイなどの様々なプロセッサが利用されてよい。
本発明の実施形態のシステムは、１又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、個別ロジック、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組み合わせなどの任意の様々な適切な回路として実装されてよい。本発明の実施形態のシステムのモジュールが部分的に又は完全にソフトウェアに実装されるとき、モジュールは、ソフトウェア命令を適切な非一時的なコンピュータ可読記憶媒体に記憶するためのメモリ装置を含み、ソフトウェア命令は、本開示の技術を実行するための１又は複数のプロセッサを使用してハードウェアで実行される。
本発明の実施形態の方法及びシステム、並びに上述のデータストリームは、いかなる意味においても、抽象的又は無形でないことに留意されたい。代わりに、データは、必然的にデジタル形式で示され、電子メモリ、大容量記憶装置、又は別の物理的に有形なデータストレージ装置及び媒体などの物理データストレージコンピュータ可読媒体に格納される。現在説明されているデータ処理及びデータストレージ方法は、かなりわずかな量のデータを処理して分析するために生成された中間結果の複雑さと膨大な数のために、人間の分析者によって手動で実行されることができないことも留意されたい。代わりに、本明細書で説明された方法は、必然的に、電子的に又は磁気的に格納されたデータに対するプロセッサを有する電子演算システムによって実行され、データ処理及びデータ分析の結果が、１又は複数の有形で物理的なデータストレージ装置及び媒体にデジタル処理で格納される。
本発明の特定の実施形態を詳細に説明してきたが、当然のことながら、記載された実施形態は、例示的であって限定的ではないものとすることを理解されたい。図面において示され、本明細書において記載された実施形態の様々な変更及び修正が、本発明の、そのより広い態様での範囲から逸脱しない限り、以下の特許請求の範囲内で行われてよい。
Claims (15)
- 選択的なビデオコンテンツ伝達のためのシステムであって、
バーチャルリアリティのヘッドセットであって、
ビデオ信号、及び
前記ビデオ信号のフレームサンプリング済みの信号
のいずれかである特定の信号をソースから受信し、
前記特定の信号の表示を提供し、
前記バーチャルリアリティのヘッドセットを着用するオペレータの時間間隔を置いた時点における凝視位置を決定し、
前記凝視位置及び対応するビデオフレームインデックスを伝達する
ように構成されるバーチャルリアリティのヘッドセットと、
前記ソースから前記ビデオ信号を受信し、前記バーチャルリアリティのヘッドセットから前記凝視位置及び対応するフレームインデックスを受信するように構成される視聴アダプタと
を備え、
前記視聴アダプタは、
前記ビデオ信号から導出された完全コンテンツフレームデータを記憶する循環コンテンツバッファと、
前記バーチャルリアリティのヘッドセットから受信した凝視位置を記憶する循環制御バッファと、
前記凝視位置ごとに、予め定義された視聴領域の形状に従って周囲の視聴領域を決定するように構成されるコンテンツフィルタコントローラと、
伝達のために、前記循環制御バッファから読み取られた各凝視位置の視聴領域に従って、前記循環コンテンツバッファから読み取られた各完全コンテンツフレームデータの一部を抽出するように構成されたコンテンツフィルタと
を有する、
システム。 - 前記コンテンツフィルタコントローラは、
基準凝視位置を初期化し、
前記基準凝視位置からの現時点の凝視位置の変位を決定し、
前記変位が予め定義された閾値を超過したという決定を条件として、前記現時点の凝視位置に等しくするように前記基準凝視位置を更新し、
前記変位が前記予め定義された閾値を超過していないという決定を条件として、前記基準凝視位置に等しくするように前記現時点の凝視位置を設定する
よう更に構成される、請求項１に記載のシステム。 - 前記循環コンテンツバッファは、少なくとも予め定められた数のフレームの完全コンテンツを保持し、
前記予め定められた数×１つのフレーム期間は、前記ソースから前記バーチャルリアリティのヘッドセットへの信号転送遅延と前記バーチャルリアリティのヘッドセットから前記コンテンツフィルタコントローラへの信号転送遅延との合計から、ソースから前記視聴アダプタへの信号転送遅延を引いた大きさを超過する、
請求項１又は２に記載のシステム。 - 前記フレームサンプリング済みの信号は、前記ソースに結合されたフレーム選択モジュールで生成され、前記フレームサンプリング済みの信号は、直接連続するビデオフレームが単一の期間フレームの持続期間を超える時間間隔分だけ離れている、離れたビデオフレームを有する、請求項１から３のいずれか一項に記載のシステム。
- 前記バーチャルリアリティのヘッドセットは、パン、チルト、及びズームの座標としてそれぞれの前記凝視位置を定義するように構成され、
前記コンテンツフィルタコントローラは、前記基準凝視位置を表す第１のセットの座標及び前記現時点の凝視位置を表す第２のセットの座標のパン、チルト、及びズームの値の絶対差分の合計として前記変位を評価するように更に構成される、
請求項２に記載のシステム。 - バーチャルリアリティのヘッドセットを使用した選択的なビデオコンテンツ伝達のためにビデオ信号を処理する装置であって、
前記バーチャルリアリティのヘッドセットのオペレータの基準凝視位置を初期化する手段と、
前記ビデオ信号を受信する手段と、
前記バーチャルリアリティのヘッドセットから前記基準凝視位置に対する凝視位置及び対応するビデオフレームインデックスを受信する手段と、
前記ビデオ信号から導出された完全コンテンツフレームデータを循環コンテンツバッファに記憶する手段と、
前記バーチャルリアリティのヘッドセットから受信した前記凝視位置及び前記対応するビデオフレームインデックスを循環制御バッファに記憶する手段と、
前記凝視位置ごとに、予め定義された視聴領域の形状に従って周囲の視聴領域を決定する手段と、
伝達のために、前記循環制御バッファから読み取られた各凝視位置の視聴領域に従って、前記循環コンテンツバッファから読み取られた各完全コンテンツフレームデータの一部を抽出する手段と
を備える、装置。 - 前記基準凝視位置からの現時点の凝視位置の変位を決定する手段と、
前記変位の大きさが予め定義された閾値を超過したという決定を条件として、前記現時点の凝視位置に等しくするように前記基準凝視位置を更新する手段と、
前記基準凝視位置及び予め定義された輪郭の形状に従って、視聴領域の定義データを生成する手段と、
前記視聴領域の定義データに従って、前記ビデオ信号からコンテンツフィルタリング済みの信号を抽出する手段と
を更に備える、請求項６に記載の装置。 - 前記バーチャルリアリティのヘッドセットで、前記ビデオ信号のソースに結合されたフレーム選択モジュールで生成された前記ビデオ信号のフレームサンプリング済みの信号を受信する手段を更に備え、前記フレームサンプリング済みの信号は、直接連続するビデオフレームが単一の期間フレームの持続期間を超える時間間隔分だけ離れている、離れたビデオフレームを有し、表示は、前記離れたビデオフレームをカバーする、請求項６又は７に記載の装置。
- 選択的なビデオコンテンツ伝達の方法であって、
ビデオ信号の表示を視聴し、
バーチャルリアリティのヘッドセットを着用するオペレータの時間間隔を置いた時点における凝視位置を識別し、
前記凝視位置及び対応するビデオフレームインデックスを伝達する
ために前記バーチャルリアリティのヘッドセットを利用する段階と、
基準凝視位置を初期化する際に、
前記ビデオ信号を受信する処理と、
前記凝視位置及び対応するビデオフレームインデックスを受信する処理と、
前記ビデオ信号から導出された完全コンテンツフレームデータを循環コンテンツバッファに記憶する処理と、
前記バーチャルリアリティのヘッドセットから受信した凝視位置を循環制御バッファに記憶する処理と、
前記凝視位置ごとに、予め定義された視聴領域の形状に従って周囲の視聴領域を決定する処理と、
伝達のために、前記循環制御バッファから読み取られた各凝視位置の視聴領域に従って、前記循環コンテンツバッファから読み取られた各完全コンテンツフレームデータの一部を抽出する処理と
を実行する段階と
を備える、方法。 - 前記基準凝視位置からの現時点の凝視位置の変位を決定する段階と、
前記変位の大きさが予め定義された閾値を超過したという決定を条件として、
前記現時点の凝視位置に等しくするように前記基準凝視位置を更新し、前記基準凝視位置及び予め定義された輪郭の形状に従って、視聴領域の定義データを生成する段階と、
前記視聴領域の定義データに従って、前記ビデオ信号からコンテンツフィルタリング済みの信号を抽出する段階と
を更に備える、請求項９に記載の方法。 - 各時点から直後に続く時間間隔までの前記時間間隔がビデオフレーム期間の整数Ｙ倍（Ｙ＞１）となるように、前記時間間隔を置いた時点を選択する段階を更に備える、請求項９又は１０に記載の方法。
- 前記ビデオ信号の最も最近のビデオフレームの予め定義された数、Ｈ、の完全コンテンツフレームデータを循環コンテンツバッファに記憶する段階であって、Ｈ＞Ｙである、段階と、
前記バーチャルリアリティのヘッドセットから受信した数、ｈ、の最も最近の凝視位置を循環制御バッファに記憶する段階であって、ｈ＝
を更に備える、請求項９から１１のいずれか一項に記載の方法。 - 一セットの座標としてそれぞれの前記凝視位置を表す段階と、
前記基準凝視位置を表す第１のセットの座標及び前記現時点の凝視位置を表す第２のセットの座標の対応する座標値の絶対差分の合計として前記変位を評価する段階と
を更に備える、請求項１０に記載の方法。 - 前記バーチャルリアリティのヘッドセットで、前記ビデオ信号のソースに結合されたフレーム選択モジュールで生成された前記ビデオ信号のフレームサンプリング済みの信号を受信する段階を更に備え、前記フレームサンプリング済みの信号は、直接連続するビデオフレームが単一の期間フレームの持続期間を超える時間間隔分だけ離れている、離れたビデオフレームを有し、前記表示は、前記離れたビデオフレームをカバーする、請求項９から１３のいずれか一項に記載の方法。
- 既定の視聴領域の形状、又は
一セットの予め定義された視聴領域の形状のうちの視聴領域の形状
として、前記予め定義された視聴領域の形状を選択する段階を更に備える、請求項９から１４のいずれか一項に記載の方法。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/699,375 US11108670B2 (en) | 2015-09-09 | 2019-11-29 | Streaming network adapted to content selection |
| US16/699,375 | 2019-11-29 | ||
| US16/908,592 | 2020-06-22 | ||
| US16/908,592 US11287653B2 (en) | 2015-09-09 | 2020-06-22 | Method and system for selective content processing based on a panoramic camera and a virtual-reality headset |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021087221A JP2021087221A (ja) | 2021-06-03 |
| JP7299451B2 true JP7299451B2 (ja) | 2023-06-28 |
Family
ID=73598651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020195862A Active JP7299451B2 (ja) | 2019-11-29 | 2020-11-26 | パノラマカメラ及びバーチャルリアリティのヘッドセットに基づく選択的なコンテンツ処理のための方法及びシステム |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP3828671A1 (ja) |
| JP (1) | JP7299451B2 (ja) |
| KR (1) | KR20210067928A (ja) |
| CA (1) | CA3084900A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115316938B (zh) * | 2022-08-01 | 2023-05-19 | 山东大学齐鲁医院 | 一种用于视力筛查的辅助拍摄装置及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000165844A (ja) | 1998-11-19 | 2000-06-16 | Hewlett Packard Co <Hp> | 連続メディア・ストリーム再生システムおよびその方法 |
| WO2019013016A1 (ja) | 2017-07-13 | 2019-01-17 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8264524B1 (en) * | 2008-09-17 | 2012-09-11 | Grandeye Limited | System for streaming multiple regions deriving from a wide-angle camera |
| US9691181B2 (en) * | 2014-02-24 | 2017-06-27 | Sony Interactive Entertainment Inc. | Methods and systems for social sharing head mounted display (HMD) content with a second screen |
-
2020
- 2020-06-25 CA CA3084900A patent/CA3084900A1/en active Pending
- 2020-11-25 EP EP20020563.1A patent/EP3828671A1/en active Pending
- 2020-11-26 JP JP2020195862A patent/JP7299451B2/ja active Active
- 2020-11-27 KR KR1020200162033A patent/KR20210067928A/ko unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000165844A (ja) | 1998-11-19 | 2000-06-16 | Hewlett Packard Co <Hp> | 連続メディア・ストリーム再生システムおよびその方法 |
| WO2019013016A1 (ja) | 2017-07-13 | 2019-01-17 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| CA3084900A1 (en) | 2021-05-29 |
| EP3828671A1 (en) | 2021-06-02 |
| JP2021087221A (ja) | 2021-06-03 |
| KR20210067928A (ko) | 2021-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10694249B2 (en) | Method and system for selective content processing based on a panoramic camera and a virtual-reality headset | |
| US11287653B2 (en) | Method and system for selective content processing based on a panoramic camera and a virtual-reality headset | |
| US10506006B2 (en) | Method and system for flow-rate regulation in a content-controlled streaming network | |
| CN105392020B (zh) | 一种互联网视频直播方法，及系统 | |
| US8966556B2 (en) | Real-time multi-media streaming bandwidth management | |
| JP2006520141A (ja) | 多数のビデオシーケンスを伝送するシステム及び方法 | |
| US20210337223A1 (en) | Method and system for panoramic multimedia streaming enabling view-region selection | |
| US20230350202A1 (en) | Method and system for filtering a panoramic video signal using visual fixation | |
| US11108670B2 (en) | Streaming network adapted to content selection | |
| JP7299451B2 (ja) | パノラマカメラ及びバーチャルリアリティのヘッドセットに基づく選択的なコンテンツ処理のための方法及びシステム | |
| CN108476345B (zh) | 内容控制流媒体网络中的流量速率调节的方法和系统 | |
| US11057632B2 (en) | Method and system for panoramic multimedia streaming | |
| CA3069596C (en) | Method and system for selective content processing based on a panoramic camera and a virtual-reality headset | |
| Cabrera et al. | Opportunistic plp: Maximizing the spectrum usage in dtt | |
| Simpson et al. | IP Video Technology Update 2013 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211122 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20220512 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220512 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230224 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230526 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7299451 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |