JP7333802B2 - 360度適応ストリーミングのエクスペリエンスを改善するためのメトリックおよびメッセージ - Google Patents

360度適応ストリーミングのエクスペリエンスを改善するためのメトリックおよびメッセージ Download PDF

Info

Publication number
JP7333802B2
JP7333802B2 JP2021070513A JP2021070513A JP7333802B2 JP 7333802 B2 JP7333802 B2 JP 7333802B2 JP 2021070513 A JP2021070513 A JP 2021070513A JP 2021070513 A JP2021070513 A JP 2021070513A JP 7333802 B2 JP7333802 B2 JP 7333802B2
Authority
JP
Japan
Prior art keywords
viewport
metric
quality
latency
metrics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021070513A
Other languages
English (en)
Other versions
JP2021114783A (ja
Inventor
ヨン・ヘ
ヤン・イェ
アリ・シー・ベゲン
Original Assignee
ヴィド スケール インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴィド スケール インコーポレイテッド filed Critical ヴィド スケール インコーポレイテッド
Publication of JP2021114783A publication Critical patent/JP2021114783A/ja
Priority to JP2023085403A priority Critical patent/JP2023109935A/ja
Application granted granted Critical
Publication of JP7333802B2 publication Critical patent/JP7333802B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本出願は、360度適応ストリーミングのエクスペリエンスを改善するためのメトリックおよびメッセージに関する。
関連出願の相互参照
本出願は、それらの内容が参照により組み込まれる、2017年3月23日に出願された米国特許仮出願第62/475,563号明細書2017年6月26日に出願された米国特許仮出願第62/525,065号明細書、2018年2月28日に出願された米国特許仮出願第62/636,795号明細書の利益を主張する。
360°ビデオは、メディア産業に現れつつある急成長しているフォーマットである。360°ビデオは、バーチャルリアリティ(VR)デバイスの増大している利用可能性によって可能にされる。360°ビデオは、新しい存在感を閲覧者に提供し得る。レクティリニアビデオ(たとえば、2Dまたは3D)と比較して、360°ビデオは、ビデオ処理および/または配信に関して困難なエンジニアリング課題を提示することがある。快適および/または没入型ユーザエクスペリエンスを可能にすることは、高いビデオ品質および/または極めて低いレイテンシを要求し得る。360°ビデオの大きいビデオサイズは、スケールにおける品質様式で360°ビデオを配信するのに妨げになり得る。
360°ビデオアプリケーションおよび/またはサービスは、360°ビデオ全体をプログレッシブダウンロードおよび/または適応ストリーミングのために規格準拠ストリームに符号化し得る。360°ビデオ全体をクライアントに配信することは低レイテンシレンダリングを可能にし得る(たとえば、クライアントは、360°ビデオコンテンツの全体へのアクセスを有することがあり、および/またはそれがさらなる制約なしに見ることを望む部分をレンダリングすることを選定することができる)。サーバの観点からは、同じストリームは、場合によっては異なるビューポートをもつ複数のユーザをサポートすることができる。ビデオサイズははなはだ高くなることがあり、(たとえば、360°ビデオ全体が眼ごとに4K@60fpsまたは6K@90fpsなどの高品質で符号化され得るので)ビデオが配信されるときの高い送信帯域幅を招く。配信中の高帯域幅消費は、たとえば、ユーザがピクチャ全体の小さい部分(たとえば、ビューポート)のみを閲覧し得るので、浪費されることがある。
ストリーミングクライアント、コンテンツオリジンサーバ、測定/分析サーバおよび/または他のビデオストリーミング支援ネットワーク要素の間で情報を交換するためのシステム、方法、および手段が提供され得る。
たとえば、ストリーミングクライアントは、一貫した様式でそれらがサポートするメトリックを生成し、報告し得、様々なネットワーク要素は、ストリーミング支援メッセージを生成し、ストリーミングクライアントにまたは互いに送り得る。異なるクライアント、プレーヤ、デバイスおよびネットワークにわたる性能が監視および比較され得る。リアルタイムでまたはオフラインで問題はデバッグされ得、障害は隔離され得る。
たとえば、サーバおよびネットワーク支援型動的適応ストリーミングオーバーハイパーテキスト転送プロトコル(server and network assisted dynamic adaptive streaming over hypertext transfer protocol)(SAND)メッセージを介してクライアントからメトリックサーバにビューポートビュー統計が報告され得る。VRデバイスに関係する情報が報告され得る。ビューポート切替えレイテンシ、初期レイテンシおよび整定レイテンシなどの1つまたは複数のレイテンシパラメータが、ストリーミングクライアントによって測定され、報告され得る。ヘッドマウントデバイス(HMD)の精度および感度が測定され、オリジンサーバ、コンテンツ配信ネットワークサーバ、およびクライアントまたはメトリックサーバなどのネットワーク要素の間で交換され得る。SANDメッセージを介してVRデバイスに初期レンダリング配向情報が送られ得る。
本明細書では動的適応ストリーミングオーバーハイパーテキスト転送プロトコル(dynamic adaptive streaming over hypertext transfer protocol)(DASH)の用語を使用してシステム、方法、および手段について説明されるが、当業者は、それらが他のストリーミング規格および実装に適用されることを諒解されよう。
メディアコンテンツを受信し表示するためのデバイスが、第1のビューポートを表示し得る。第1のビューポートは、1つまたは複数の動的適応ストリーミングオーバーHTTP(DASH)ビデオセグメントの少なくとも一部分から作り上げられ得る。第1のビューポートは第1の品質を有し得る。デバイスは、第1の時間においてデバイスの運動を判定し得る。デバイスの運動は、第1のビューポートの外部へのデバイスの運動、デバイスの配向変化、またはズーム動作のうちの1つまたは複数を含み得る。デバイスは、1つまたは複数のビューポート切替えパラメータの変化がしきい値以上であるとき、デバイスの運動を検出し得る。ビューポート切替えパラメータは、たとえば、centre_azimuth、centre_elevation、centre_tilt、azimuth_range、およびelevation_rangeのうちの1つまたは複数を含み得る。
デバイスは第2のビューポートを表示し得る。第2のビューポートは、第2の時間において1つまたは複数のDASHビデオセグメントの少なくとも一部分から作り上げられ得る。第2のビューポートは、第1の品質より低い第2の品質を有し得る。代替として、第2のビューポートは、第1の品質以上である第2の品質を有し得る。デバイスは、第1の時間および第2の時間に基づいてビューポート切替えレイテンシメトリックを判定し、ビューポート切替えレイテンシメトリックを送り得る。
デバイスは第3のビューポートを表示し得る。第3のビューポートは、第3の時間において1つまたは複数のDASHビデオセグメントの少なくとも一部分から作り上げられ得る。第3のビューポートは、第2の品質より高い第3の品質を有し得る。第3の品質は、第1の品質以上であり得るか、または第3の品質は、品質しきい値以上であるが、第1の品質未満であり得る。一例では、第1の品質と第3の品質との間の絶対差は、品質しきい値以下であり得る。各DASHビデオセグメントは、それぞれの品質を有し得る。デバイスは、それぞれのビューポートを作り上げるために使用される1つまたは複数のDASHビデオセグメントの相対的部分およびそれぞれの品質に基づいて第1、第2、または第3の品質を判定し得る。たとえば、デバイスは、ビューポートを作り上げるために使用される1つまたは複数のDASHビデオセグメントの各々のそれぞれの品質の平均、最大値、最小値、または加重平均を使用してビューポートの品質を判定し得る。デバイスは、第1の時間と第3の時間との間の差に基づいて品質ビューポート切替えレイテンシメトリックを判定し、品質ビューポート切替えレイテンシメトリックを送り得る。
デバイスは、ビューポートロスと、そのビューポートロスが、表示された第1のビューポート、表示された第2のビューポート、または表示された第3のビューポートのうちの少なくとも1つに影響を及ぼすかどうかとを判定し得る。デバイスは、たとえば、ビューポートロスが、表示された第1のビューポート、表示された第2のビューポート、または表示された第3のビューポートのうちの少なくとも1つに影響を及ぼすという条件に基づいて、ビューポートロスに関連する情報を判定し得る。ビューポートロスに関連する情報は、ビューポートロスの理由、およびビューポートロスに関連するDASHビデオセグメントを含み得る。デバイスは、ビューポートロスに関連する情報を示すビューポートロスメトリックを送り得る。ビューポートロスに関連する情報は、ビューポートロスが判定された時間、パケットのソースURL、およびビューポートロスのエラータイプのうちの1つまたは複数を含み得る。ビューポートロスの理由は、サーバエラー、クライアントエラー、パケットロス、パケットエラー、またはパケット廃棄のうちの1つを含み得る。
デバイスは、様々なビューポートおよび品質に関連付けられたDASHビデオセグメントのセットを要求し得る。デバイスはDASHビデオセグメントを表示し得る。デバイスは、DASHビデオセグメントの表示と、デバイスが運動し始めること、デバイスが運動するのを中止すること、デバイスが運動し始めたとデバイスが判定すること、デバイスが運動するのを停止したとデバイスが判定すること、または異なるDASHビデオセグメントの表示のうちの1つとの間の時間差に基づいてレイテンシメトリックを判定し得る。異なるDASHビデオセグメントは、異なる品質および/または異なるビューポートに関連付けられ得る。
メディアコンテンツを受信し表示するためのデバイスが、第1の時間において第1のビューポートを表示し得る。第1のビューポートは、1つまたは複数のDASHビデオセグメントの少なくとも一部分を含み得る。第1のビューポートは第1の品質を有し得る。デバイスは、第2の時間においてデバイスの運動を検出し得る。デバイスは、デバイスが第2のビューポートに関連付けられた第3の時間においてデバイスが運動するのを停止したと判定し得る。デバイスは、第4の時間において第2のビューポートを表示し得る。第2のビューポートは、1つまたは複数のDASHビデオセグメントの少なくとも一部分を含み得る。第2のビューポートは第2の品質に関連付けられ得る。デバイスは、第5の時間において第3のビューポートを表示し得る。第3のビューポートは、1つまたは複数のDASHビデオセグメントの少なくとも一部分を含み得る。第3のビューポートは、第2の品質より高い第3の品質に関連付けられ得る。第3の品質は、第1の品質以上であり得るか、または第3の品質は、品質しきい値より高いが、第1の品質未満であり得る。デバイスは、第1、第2、第3、第4、および第5の時間のうちの2つ以上の間の時間差に基づいてレイテンシメトリックを判定し、送る。
1つまたは複数の開示される実施形態が実装され得る例示的な通信システムを示すシステム図である。 一実施形態による図1Aに示されている通信システム内で使用され得る例示的なワイヤレス送受信ユニット(WTRU)を示すシステム図である。 一実施形態による図1Aに示されている通信システム内で使用され得る例示的な無線アクセスネットワーク(RAN)および例示的なコアネットワーク(CN)を示すシステム図である。 一実施形態による図1Aに示されている通信システム内で使用され得るさらなる例示的なRANおよびさらなる例示的なCNを示すシステム図である。 ヘッドマウントデバイス(HMD)上に表示された360°ビデオの例示的な部分を示す図である。 360°ビデオの例示的なエクイレクタングラー投影を示す図である。 例示的な360°ビデオマッピングを示す図である。 例示的なメディアプレゼンテーション記述(MPD)階層データモデルを示す図である。 ネットワーク要素とクライアントとの間で交換されるSANDメッセージの一例を示す図である。 VRメトリッククライアント参照モデルの一例を示す図である。 3D動き追跡範囲の一例を示す図である。 複数のセンサーを用いた2D動き追跡交差範囲の一例を示す図である。 ビューポート切替えイベントの一例を示す図である。 360°ビデオズーム動作の一例を示す図である。 サブピクチャ事例の加重ビューポート品質の一例を示す図である。 領域的品質ランキング(region-wise quality ranking)(RWQR)符号化事例の加重ビューポート品質の一例を示す図である。 等品質ビューポート切替えイベントの一例を示す図である。 360°ビデオズーム例の一例を示す図である。 レイテンシ間隔の一例を示す図である。 DANEとDASHクライアントとの間またはDASHクライアントとメトリックサーバとの間のSANDメッセージのメッセージフローの一例を示す図である。
図1Aは、1つまたは複数の開示される実施形態が実装され得る例示的な通信システム100を示す図である。通信システム100は、音声、データ、ビデオ、メッセージング、ブロードキャストなどのコンテンツを複数のワイヤレスユーザに提供する多元接続システムであり得る。通信システム100は、複数のワイヤレスユーザが、ワイヤレス帯域幅を含むシステムリソースの共有を通してそのようなコンテンツにアクセスすることを可能にし得る。たとえば、通信システム100は、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交FDMA(OFDMA)、シングルキャリアFDMA(SC-FDMA)、ゼロテールユニークワードDFT拡散OFDM(ZT UW DTS-s OFDM)、ユニークワードOFDM(UW-OFDM)、リソースブロックフィルタードOFDM、フィルタバンクマルチキャリア(FBMC)など、1つまたは複数のチャネルアクセス方法を採用し得る。
図1Aに示されているように、通信システム100は、ワイヤレス送受信ユニット(WTRU)102a、102b、102c、102d、RAN104/113、CN106/115、公衆交換電話ネットワーク(PSTN)108、インターネット110、および他のネットワーク112を含み得るが、開示される実施形態は、任意の数のWTRU、基地局、ネットワーク、および/またはネットワーク要素を企図することが諒解されよう。WTRU102a、102b、102c、102dの各々は、ワイヤレス環境において動作および/または通信するように構成された任意のタイプのデバイスであり得る。例として、「局」および/または「STA」といずれも呼ばれることがある、WTRU102a、102b、102c、102dは、ワイヤレス信号を送信および/または受信するように構成されることがあり、ユーザ機器(UE)、移動局、固定またはモバイル加入者ユニット、サブスクリプションベースのユニット、ページャ、セルラー電話、携帯情報端末(PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、ワイヤレスセンサー、ホットスポットまたはWi-Fiデバイス、モノのインターネット(IoT)デバイス、ウォッチまたは他のウェアラブル、ヘッドマウントディスプレイ(HMD)、車両、ドローン、医療デバイスおよびアプリケーション(たとえば、遠隔手術)、工業デバイスおよびアプリケーション(たとえば、産業および/または自動処理チェーンコンテキストにおいて動作するロボットおよび/または他のワイヤレスデバイス)、コンシューマーエレクトロニクスデバイス、商用および/または産業ワイヤレスネットワーク上で動作するデバイスなどを含み得る。WTRU102a、102b、102cおよび102dのいずれも、互換的にUEと呼ばれることがある。
通信システム100はまた、基地局114aおよび/または基地局114bを含み得る。基地局114a、114bの各々は、CN106/115、インターネット110、および/または他のネットワーク112など、1つまたは複数の通信ネットワークへのアクセスを促進するためにWTRU102a、102b、102c、102dのうちの少なくとも1つとワイヤレスにインターフェースするように構成された任意のタイプのデバイスであり得る。例として、基地局114a、114bは、基地トランシーバ局(BTS)、ノードB、eノードB、ホームノードB、ホームeノードB、gNB、NRノードB、サイトコントローラ、アクセスポイント(AP)、ワイヤレスルータなどであり得る。基地局114a、114bは単一の要素としてそれぞれ図示されているが、基地局114a、114bは、任意の数の相互接続された基地局および/またはネットワーク要素を含み得ることが諒解されよう。
基地局114aは、基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、リレーノードなど、他の基地局および/またはネットワーク要素(図示せず)をも含み得る、RAN104/113の一部であり得る。基地局114aおよび/または基地局114bは、セル(図示せず)と呼ばれることがある1つまたは複数のキャリア周波数上でワイヤレス信号を送信および/または受信するように構成され得る。これらの周波数は、認可スペクトル、無認可スペクトル、または認可スペクトルと無認可スペクトルの合成であり得る。セルは、比較的固定であり得るかまたは時間とともに変化し得る特定の地理的エリアにワイヤレスサービスのカバレージを提供し得る。セルは、セルセクタにさらに分割され得る。たとえば、基地局114aに関連するセルは、3つのセクタに分割され得る。したがって、一実施形態では、基地局114aは、3つのトランシーバを含むことがあり、すなわち、セルのセクタごとに1つを含むことがある。一実施形態では、基地局114aは、多入力多出力(MIMO)技術を採用することがあり、セルのセクタごとに複数のトランシーバを利用することがある。たとえば、所望の空間方向に信号を送信および/または受信するためにビームフォーミングが使用されることがある。
基地局114a、114bは、任意の好適なワイヤレス通信リンク(たとえば、無線周波数(RF)、マイクロ波、センチメートル波、マイクロメートル波、赤外線(IR)、紫外(UV)、可視光など)であり得るエアインターフェース116を介してWTRU102a、102b、102c、102dのうちの1つまたは複数と通信し得る。エアインターフェース116は、任意の好適な無線アクセス技術(RAT)を使用して確立され得る。
より詳細には、上述されたように、通信システム100は、多元接続システムであることがあり、CDMA、TDMA、FDMA、OFDMA、SC-FDMAなど、1つまたは複数のチャネルアクセス方式を採用し得る。たとえば、RAN104/113中の基地局114aおよびWTRU102a、102b、102cは、広帯域CDMA(WCDMA)を使用してエアインターフェース115/116/117を確立し得る、ユニバーサルモバイルテレコミュニケーションズシステム(UMTS)地上波無線アクセス(UTRA)などの無線技術を実装し得る。WCDMAは、高速パケットアクセス(HSPA)および/または発展型HSPA(HSPA+)などの通信プロトコルを含み得る。HSPAは、高速ダウンリンク(DL)パケットアクセス(HSDPA)および/または高速ULパケットアクセス(HSUPA)を含み得る。
一実施形態では、基地局114aおよびWTRU102a、102b、102cは、ロングタームエボリューション(LTE)および/またはLTEアドバンスト(LTE-A)および/またはLTEアドバンストプロ(LTE-A Pro)を使用してエアインターフェース116を確立し得る、発展型UMTS地上波無線アクセス(E-UTRA)などの無線技術を実装し得る。
一実施形態では、基地局114aおよびWTRU102a、102b、102cは、新無線(New Radio)(NR)を使用してエアインターフェース116を確立し得る、NR無線アクセスなどの無線技術を実装し得る。
一実施形態では、基地局114aおよびWTRU102a、102b、102cは、複数の無線アクセス技術を実装し得る。たとえば、基地局114aおよびWTRU102a、102b、102cは、たとえばデュアル接続性(DC)原理を使用して、LTE無線アクセスとNR無線アクセスを一緒に実装し得る。このように、WTRU102a、102b、102cによって利用されるエアインターフェースは、複数のタイプの無線アクセス技術、ならびに/または複数のタイプの基地局(たとえば、eNBおよびgNB)に/から送られる送信によって特徴づけられ得る。
他の実施形態では、基地局114aおよびWTRU102a、102b、102cは、IEEE802.11(すなわち、ワイヤレスフィデリティ(WiFi))、IEEE802.16(すなわち、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス(WiMAX))、CDMA2000、CDMA2000 1x、CDMA2000 EV-DO、インタリム規格2000(IS-2000)、インタリム規格95(IS-95)、インタリム規格856(IS-856)、モバイル通信用グローバルシステム(GSM)、GSM発展型高速データレート(EDGE)、GSM EDGE(GERAN)などの無線技術を実装し得る。
図1Aの基地局114bは、たとえば、ワイヤレスルータ、ホームノードB、ホームeノードB、またはアクセスポイントであってよく、ビジネス、ホーム、車両、キャンパス、工業設備、(たとえば、ドローンが使用するための)空中回廊、道路の場所などの局在化エリアにおいてワイヤレス接続性を促進するために任意の好適なRATを利用し得る。一実施形態では、基地局114bおよびWTRU102c、102dは、ワイヤレスローカルエリアネットワーク(WLAN)を確立するためにIEEE802.11などの無線技術を実装し得る。一実施形態では、基地局114bおよびWTRU102c、102dは、ワイヤレスパーソナルエリアネットワーク(WPAN)を確立するためにIEEE802.15などの無線技術を実装し得る。また別の実施形態では、基地局114bおよびWTRU102c、102dは、ピコセルまたはフェムトセルを確立するためにセルラーベースのRAT(たとえば、WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-Aプロ、NRなど)を利用し得る。図1Aに示されているように、基地局114bは、インターネット110への直接接続を有し得る。したがって、基地局114bは、CN106/115を介してインターネット110にアクセスする必要がないことがある。
RAN104/113はCN106/115と通信していることがあり、CN106/115は、WTRU102a、102b、102c、102dのうちの1つまたは複数に音声、データ、アプリケーション、および/またはボイスオーバーインターネットプロトコル(VoIP)サービスを提供するように構成された任意のタイプのネットワークであり得る。データは、異なるスループット要件、レイテンシ要件、エラー許容要件、信頼性要件、データスループット要件、モビリティ要件など、様々なサービス品質(QoS)要件を有することがある。CN106/115は、呼制御、課金サービス、モバイルロケーションベースのサービス、プリペイド発呼、インターネット接続性、ビデオ配信などを提供し、および/またはユーザ認証などの高レベルセキュリティ機能を実施し得る。図1Aには示されていないが、RAN104/113および/またはCN106/115は、RAN104/113と同じRATまたは異なるRATを採用する他のRANと直接または間接通信していることがあることが諒解されよう。たとえば、NR無線技術を利用していることがあるRAN104/113に接続されていることに加えて、CN106/115は、GSM、UMTS、CDMA2000、WiMAX、E-UTRA、またはWiFi無線技術を採用する別のRAN(図示せず)とも通信していることがある。
CN106/115はまた、WTRU102a、102b、102c、102dがPSTN108、インターネット110、および/または他のネットワーク112にアクセスするためのゲートウェイとして働き得る。PSTN108は、単純旧式電話サービス(POTS)を提供する回線交換電話ネットワークを含み得る。インターネット110は、TCP/IPインターネットプロトコルスイートにおける伝送制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)および/またはインターネットプロトコル(IP)など、共通の通信プロトコルを使用する相互接続されたコンピュータネットワークおよびデバイスのグローバルシステムを含み得る。ネットワーク112は、他のサービスプロバイダによって所有および/または動作されるワイヤードおよび/またはワイヤレス通信ネットワークを含み得る。たとえば、ネットワーク112は、RAN104/113と同じRATまたは異なるRATを採用することがある、1つまたは複数のRANに接続された別のCNを含み得る。
通信システム100中のWTRU102a、102b、102c、102dの一部または全部はマルチモード能力を含み得る(たとえば、WTRU102a、102b、102c、102dは、異なるワイヤレスリンクを介して異なるワイヤレスネットワークと通信するための複数のトランシーバを含み得る)。たとえば、図1Aに示されているWTRU102cは、セルラーベースの無線技術を採用し得る基地局114a、およびIEEE802無線技術を採用し得る基地局114bと通信するように構成され得る。
図1Bは、例示的なWTRU102を示すシステム図である。図1Bに示されているように、WTRU102は、特に、プロセッサ118、トランシーバ120、送受信要素122、スピーカー/マイクロフォン124、キーパッド126、ディスプレイ/タッチパッド128、非リムーバブルメモリ130、リムーバブルメモリ132、電源134、全地球測位システム(GPS)チップセット136、および/または他の周辺機器138を含み得る。WTRU102は、実施形態に合致したままでありながら、上記の要素のどんな部分組合せでも含み得ることが諒解されよう。
プロセッサ118は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアに関連する1つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)回路、任意の他のタイプの集積回路(IC)、状態機械などであり得る。プロセッサ118は、WTRU102がワイヤレス環境において動作することを可能にする、信号コーディング、データ処理、電力制御、入出力処理、および/または任意の他の機能を実施し得る。プロセッサ118は、送受信要素122に結合され得るトランシーバ120に結合されることがある。図1Bはプロセッサ118およびトランシーバ120を別個の構成要素として示しているが、プロセッサ118およびトランシーバ120は、電子パッケージまたはチップ中で互いに一体化され得ることが諒解されよう。
送受信要素122は、エアインターフェース116を介して基地局(たとえば、基地局114a)に信号を送信するか、またはそれから信号を受信するように構成され得る。たとえば、一実施形態では、送受信要素122は、RF信号を送信および/または受信するように構成されたアンテナであり得る。一実施形態では、送受信要素122は、たとえば、IR、UV、または可視光信号を送信および/または受信するように構成された放出器/検出器であり得る。また別の実施形態では、送受信要素122は、RF信号と光信号の両方を送信および/または受信するように構成され得る。送受信要素122は、ワイヤレス信号のどんな合成でも送信および/または受信するように構成され得ることが諒解されよう。
送受信要素122は図1Bでは単一の要素として図示されているが、WTRU102は、任意の数の送受信要素122を含み得る。より詳細には、WTRU102はMIMO技術を採用し得る。このように、一実施形態では、WTRU102は、エアインターフェース116を介してワイヤレス信号を送信および受信するために2つ以上の送受信要素122(たとえば、複数のアンテナ)を含み得る。
トランシーバ120は、送受信要素122によって送信されるべき信号を変調するように、および送受信要素122によって受信された信号を復調するように構成され得る。上述されたように、WTRU102はマルチモード能力を有し得る。したがって、トランシーバ120は、WTRU102が、たとえば、NRおよびIEEE802.11など、複数のRATを介して通信することを可能にするための複数のトランシーバを含み得る。
WTRU102のプロセッサ118は、スピーカー/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128(たとえば、液晶ディスプレイ(LCD)ディスプレイユニットまたは有機発光ダイオード(OLED)ディスプレイユニット)に結合されることがあり、それらからユーザ入力データを受信し得る。プロセッサ118はまた、スピーカー/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128にユーザデータを出力し得る。加えて、プロセッサ118は、非リムーバブルメモリ130および/またはリムーバブルメモリ132など、任意のタイプの好適なメモリからの情報にアクセスし、それにデータを記憶し得る。非リムーバブルメモリ130は、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、ハードディスク、または任意の他のタイプのメモリ記憶デバイスを含み得る。リムーバブルメモリ132は、加入者識別モジュール(SIM)カード、メモリスティック、セキュアデジタル(SD)メモリカードなどを含み得る。他の実施形態では、プロセッサ118は、サーバまたはホームコンピュータ(図示せず)上など、WTRU102上に物理的に位置しないメモリからの情報にアクセスし、それにデータを記憶し得る。
プロセッサ118は、電源134から電力を受け取ることがあり、WTRU102中の他の構成要素への電力を分配および/または制御するように構成され得る。電源134は、WTRU102に電力供給するための任意の好適なデバイスであり得る。たとえば、電源134は、1つまたは複数の乾電池バッテリー(たとえば、ニッケルカドミウム(NiCd)、ニッケル亜鉛(NiZn)、ニッケル金属水素化物(NiMH)、リチウムイオン(Liイオン)など)、太陽電池、燃料電池などを含み得る。
プロセッサ118はGPSチップセット136に結合されることもあり、GPSチップセット136は、WTRU102の現在ロケーションに関するロケーション情報(たとえば、経度および緯度)を提供するように構成され得る。GPSチップセット136からの情報に加えて、または、それの代わりに、WTRU102は、基地局(たとえば、基地局114a、114b)からエアインターフェース116を介してロケーション情報を受信し、および/または2つ以上の近くの基地局から受信されている信号のタイミングに基づいてそれのロケーションを判定し得る。WTRU102は、実施形態に合致したままでありながら、任意の好適なロケーション判定方法を介してロケーション情報を収集し得ることが諒解されよう。
プロセッサ118は他の周辺機器138にさらに結合されることがあり、他の周辺機器138は、追加の特徴、機能および/またはワイヤードもしくはワイヤレス接続性を提供する1つまたは複数のソフトウェアおよび/またはハードウェアモジュールを含み得る。たとえば、周辺機器138は、加速度計、電子コンパス、衛星トランシーバ、(写真および/またはビデオ用の)デジタルカメラ、ユニバーサルシリアルバス(USB)ポート、振動デバイス、テレビジョントランシーバ、ハンズフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)無線ユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ、バーチャルリアリティおよび/または拡張現実(VR/AR)デバイス、アクティビティトラッカーなどを含み得る。周辺機器138は1つまたは複数のセンサーを含むことがあり、センサーは、ジャイロスコープ、加速度計、ホール効果センサー、磁力計、配向センサー、近接センサー、温度センサー、時間センサー、ジオロケーションセンサー、高度計、光センサー、タッチセンサー、磁力計、気圧計、ジェスチャーセンサー、生体センサー、および/または湿度センサーのうちの1つまたは複数であり得る。
WTRU102は、(たとえば、(たとえば、送信用の)ULと(たとえば、受信用の)ダウンリンクの両方について特定のサブフレームに関連する)信号の一部または全部の送信と受信がコンカレントおよび/または同時であり得る、全二重無線機を含み得る。全二重無線機は、ハードウェア(たとえば、チョーク)か、またはプロセッサを介した(たとえば、別個のプロセッサ(図示せず)もしくはプロセッサ118を介した)信号処理のいずれかを介して自己干渉を低減しおよびまたは実質的になくすための干渉管理ユニットを含み得る。一実施形態では、WTRU102は、(たとえば、(たとえば、送信用の)ULまたは(たとえば、受信用の)ダウンリンクのいずれかについて特定のサブフレームに関連付けられた)信号の一部または全部の送信と受信について、半二重無線機を含み得る。
図1Cは、一実施形態によるRAN104およびCN106を示すシステム図である。上述されたように、RAN104は、エアインターフェース116を介してWTRU102a、102b、102cと通信するためにE-UTRA無線技術を採用し得る。RAN104はCN106と通信していることもある。
RAN104はeノードB160a、160b、160cを含み得るが、RAN104は、実施形態に合致したままでありながら、任意の数のeノードBを含み得ることが諒解されよう。eノードB160a、160b、160cは、エアインターフェース116を介してWTRU102a、102b、102cと通信するための1つまたは複数のトランシーバをそれぞれ含み得る。一実施形態では、eノードB160a、160b、160cはMIMO技術を実装し得る。このようにして、たとえば、eノードB160aは、複数のアンテナを使用して、WTRU102aにワイヤレス信号を送信し、および/またはそれからワイヤレス信号を受信し得る。
eノードB160a、160b、160cの各々は、特定のセル(図示せず)に関連することがあり、無線リソース管理決定、ハンドオーバ決定、ULおよび/またはDLにおけるユーザのスケジューリングなどを扱うように構成され得る。図1Cに示されているように、eノードB160a、160b、160cは、X2インターフェースを介して互いに通信し得る。
図1Cに示されているCN106は、モビリティ管理エンティティ(MME)162、サービングゲートウェイ(SGW)164、およびパケットデータネットワーク(PDN)ゲートウェイ(またはPGW)166を含み得る。上記の要素の各々はCN106の一部として図示されているが、これらの要素のいずれも、CN事業者以外のエンティティによって所有および/または動作され得ることが諒解されよう。
MME162は、S1インターフェースを介してRAN104中のeノードB160a、160b、160cの各々に接続されることがあり、制御ノードとして働き得る。たとえば、MME162は、WTRU102a、102b、102cのユーザを認証すること、ベアラアクティブ化/非アクティブ化、WTRU102a、102b、102cの初期アタッチ中に特定のサービングゲートウェイを選択することなどを担当し得る。MME162は、RAN104と、GSMおよび/またはWCDMAなどの他の無線技術を採用する他のRAN(図示せず)との間で切り替わるための制御プレーン機能を提供し得る。
SGW164は、S1インターフェースを介してRAN104中のeノードB160a、160b、160cの各々に接続され得る。SGW164は、概して、WTRU102a、102b、102cに/からユーザデータパケットをルーティングおよびフォワーディングし得る。SGW164は、eノードB間ハンドオーバ中にユーザプレーンをアンカリングすること、DLデータがWTRU102a、102b、102cのために利用可能であるときページングをトリガリングすること、WTRU102a、102b、102cのコンテキストを管理し記憶することなど、他の機能を実施し得る。
SGW164はPGW166に接続されることがあり、PGW166は、WTRU102a、102b、102cとIP対応デバイスとの間の通信を促進するために、インターネット110などのパケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供し得る。
CN106は、他のネットワークと通信を促進し得る。たとえば、CN106は、WTRU102a、102b、102cと従来のランドライン通信デバイスとの間の通信を促進するために、PSTN108などの回線交換ネットワークへのアクセスをWTRU102a、102b、102cに提供し得る。たとえば、CN106は、CN106とPSTN108との間のインターフェースとして働くIPゲートウェイ(たとえば、IPマルチメディアサブシステム(IMS)サーバ)を含むか、またはそれと通信し得る。加えて、CN106は、他のサービスプロバイダによって所有および/または動作される他のワイヤードおよび/またはワイヤレスネットワークを含み得る他のネットワーク112へのアクセスをWTRU102a、102b、102cに提供し得る。
WTRUは図1A~図1Dではワイヤレス端末として記載されているが、いくつかの代表的な実施形態では、そのような端末は、通信ネットワークとのワイヤード通信インターフェースを(たとえば、一時的または永続的に)使用し得ることが企図される。
代表的な実施形態では、他のネットワーク112はWLANであり得る。
インフラストラクチャ基本サービスセット(BSS)モードにおけるWLANは、BSSのためのアクセスポイント(AP)と、APに関連する1つまたは複数の局(STA)とを有し得る。APは、BSS中におよび/またはそれからトラフィックを搬送する配信システム(DS)または別のタイプのワイヤード/ワイヤレスネットワークへのアクセスまたはインターフェースを有し得る。BSSの外部から発信した、STAへのトラフィックは、APを介して到着することがあり、STAに配信され得る。STAから発信した、BSS外の宛先へのトラフィックは、それぞれの宛先に配信されるべきAPに送られ得る。BSS内のSTA間のトラフィックはAPを介して送られることがあり、たとえば、ソースSTAはAPにトラフィックを送ることがあり、APは宛先STAにトラフィックを配信することがある。BSS内のSTA間のトラフィックは、ピアツーピアトラフィックと見なされるおよび/または呼ばれることがある。ピアツーピアトラフィックは、直接リンクセットアップ(DLS)を用いてソースSTAと宛先STAとの間で(たとえば、それらの間で直接)送られ得る。いくつかの代表的な実施形態では、DLSは、802.11e DLSまたは802.11zトンネルドDLS(TDLS)を使用し得る。独立BSS(IBSS)モードを使用しているWLANはAPを有しないことがあり、IBSS内にあるかまたはIBSSを使用しているSTA(たとえば、STAのすべて)は互いに直接通信し得る。IBSS通信モードは、本明細書では「アドホック」通信モードと時々呼ばれることがある。
802.11acインフラストラクチャ動作モードまたは同様の動作モードを使用しているとき、APは、1次チャネルなどの固定チャネル上でビーコンを送信し得る。1次チャネルは、固定幅(たとえば、20MHz幅の帯域幅)であるか、またはシグナリングを介した動的に設定される幅であり得る。1次チャネルは、BSSの動作チャネルであることがあり、APとの接続を確立するためにSTAによって使用され得る。いくつかの代表的な実施形態では、たとえば802.11システムでは、キャリア検知多重アクセス/衝突回避(CSMA/CA)が実装され得る。CSMA/CAのために、APを含むSTA(たとえば、あらゆるSTA)は、1次チャネルを検知し得る。特定のSTAによって1次チャネルが検知/検出されおよび/またはビジーであると判定された場合、その特定のSTAはバックオフし得る。所与のBSSにおいて所与の時間に1つのSTA(たとえば、ただ1つの局)が送信し得る。
高スループット(HT)STAは、たとえば、40MHzワイドチャネルを形成するために1次20MHzチャネルを隣接するかまたは隣接しない20MHzチャネルと合成することを介して、通信のために40MHzワイドチャネルを使用することがある。
超高スループット(VHT)STAは、20MHz、40MHz、80MHz、および/または160MHzワイドチャネルをサポートし得る。40MHzおよび/または80MHzチャネルは、連続する20MHzチャネルを合成することによって形成され得る。160MHzチャネルは、8つの連続する20MHzチャネルを合成することによって、または2つの不連続の80MHzチャネルを合成することによって形成されることがあり、これは80+80構成と呼ばれることがある。80+80構成では、チャネル符号化の後のデータは、セグメントパーサを通過されることがあり、セグメントパーサは、データを2つのストリームに分割し得る。逆高速フーリエ変換(IFFT)処理、および時間領域処理が、各ストリーム上で別々に行われ得る。ストリームは、2つの80MHzチャネル上にマッピングされることがあり、データは送信側STAによって送信され得る。受信側STAの受信機では、80+80構成についての上記で説明された動作は反転されることがあり、合成されたデータはメディアアクセス制御(MAC)に送られ得る。
802.11afおよび802.11ahによってサブ1GHz動作モードがサポートされる。チャネル動作帯域幅、およびキャリアは、802.11afおよび802.11ahでは、802.11nおよび802.11acにおいて使用されるものに対して低減される。802.11afは、TVホワイトスペース(TVWS)スペクトルにおいて5MHz、10MHzおよび20MHz帯域幅をサポートし、802.11ahは、非TVWSスペクトルを使用して1MHz、2MHz、4MHz、8MHz、および16MHz帯域幅をサポートする。代表的な実施形態によれば、802.11ahは、マクロカバレージエリアにおけるMTCデバイスなど、メータータイプ制御/マシンタイプ通信をサポートし得る。MTCデバイスは、いくつかの能力、たとえば、いくつかのおよび/または限られた帯域幅のサポート(たとえば、それのサポートのみ)を含む限られた能力を有することがある。MTCデバイスは、(たとえば、極めて長いバッテリー寿命を維持するために)しきい値を上回るバッテリー寿命をもつバッテリーを含むことがある。
802.11n、802.11ac、802.11af、および802.11ahなど、複数のチャネル、およびチャネル帯域幅をサポートし得るWLANシステムは、1次チャネルと称されることがあるチャネルを含む。1次チャネルは、BSS中のすべてのSTAによってサポートされる最大の共通動作帯域幅に等しい帯域幅を有することがある。1次チャネルの帯域幅は、BSS中で動作しているすべてのSTAのうち、最小の帯域幅動作モードをサポートするSTAによって設定および/または限定され得る。802.11ahの例では、BSS中のAPおよび他のSTAが、2MHz、4MHz、8MHz、16MHz、および/または他のチャネル帯域幅動作モードをサポートする場合でも、1次チャネルは、1MHzモードをサポートする(たとえば、それのみをサポートする)STA(たとえば、MTCタイプデバイス)のために1MHzワイドであり得る。キャリア検知および/またはネットワーク割振りベクトル(NAV)設定は、1次チャネルのステータスに依存することがある。たとえば、APに送信している(1MHz動作モードのみをサポートする)STAにより、1次チャネルがビジーである場合、利用可能な周波数帯域全体は、周波数帯域の大部分がアイドルなままで利用可能であり得ても、ビジーであると見なされることがある。
米国では、802.11ahによって使用され得る利用可能な周波数帯域は、902MHzから928MHzである。韓国では、利用可能な周波数帯域は917.5MHzから923.5MHzである。日本では、利用可能な周波数帯域は916.5MHzから927.5MHzである。802.11ahのために利用可能な総帯域幅は、国コードに応じて6MHzから26MHzである。
図1Dは、一実施形態によるRAN113およびCN115を示すシステム図である。上述されたように、RAN113は、エアインターフェース116を介してWTRU102a、102b、102cと通信するためにNR無線技術を採用し得る。RAN113はCN115と通信していることもある。
RAN113はgNB180a、180b、180cを含み得るが、RAN113は、実施形態に合致したままでありながら、任意の数のgNBを含み得ることが諒解されよう。gNB180a、180b、180cは、エアインターフェース116を介してWTRU102a、102b、102cと通信するための1つまたは複数のトランシーバをそれぞれ含み得る。一実施形態では、gNB180a、180b、180cはMIMO技術を実装し得る。たとえば、gNB180a、108bは、gNB180a、180b、180cに信号を送信しおよび/またはそれらから信号を受信するためにビームフォーミングを利用し得る。このようにして、たとえば、gNB180aは、複数のアンテナを使用して、WTRU102aにワイヤレス信号を送信し、および/またはそれからワイヤレス信号を受信し得る。一実施形態では、gNB180a、180b、180cはキャリアアグリゲーション技術を実装し得る。たとえば、gNB180aは、WTRU102a(図示せず)に複数のコンポーネントキャリアを送信し得る。これらのコンポーネントキャリアのサブセットは無認可スペクトル上にあり得るが、残りのコンポーネントキャリアは認可スペクトル上にあり得る。一実施形態では、gNB180a、180b、180cは協調マルチポイント(CoMP)技術を実装し得る。たとえば、WTRU102aは、gNB180aおよびgNB180b(および/またはgNB180c)から協調送信を受信し得る。
WTRU102a、102b、102cは、スケーラブルな数秘学に関連する送信を使用してgNB180a、180b、180cと通信し得る。たとえば、OFDMシンボル離間および/またはOFDMサブキャリア離間は、異なる送信、異なるセル、および/またはワイヤレス送信スペクトルの異なる部分について変動し得る。WTRU102a、102b、102cは、(たとえば、変動する数のOFDMシンボルおよび/または変動する持続長さの絶対時間を含んでいる)様々なまたはスケーラブルな長さのサブフレームまたは送信時間間隔(TTI)を使用してgNB180a、180b、180cと通信し得る。
gNB180a、180b、180cは、スタンドアロン構成および/または非スタンドアロン構成でWTRU102a、102b、102cと通信するように構成され得る。スタンドアロン構成では、WTRU102a、102b、102cは、(たとえば、eノードB160a、160b、160cなどの)他のRANにアクセスすることもなしにgNB180a、180b、180cと通信し得る。スタンドアロン構成では、WTRU102a、102b、102cは、モビリティアンカーポイントとしてgNB180a、180b、180cのうちの1つまたは複数を利用し得る。スタンドアロン構成では、WTRU102a、102b、102cは、無認可帯域中の信号を使用してgNB180a、180b、180cと通信し得る。非スタンドアロン構成では、WTRU102a、102b、102cは、eノードB160a、160b、160cなどの別のRANと通信/に接続しながらも、gNB180a、180b、180cと通信/に接続し得る。たとえば、WTRU102a、102b、102cは、DC原理を実装して、1つまたは複数のgNB180a、180b、180cおよび1つまたは複数のeノードB160a、160b、160cと実質的に同時に通信し得る。非スタンドアロン構成では、eノードB160a、160b、160cは、WTRU102a、102b、102cのためのモビリティアンカーとして働くことがあり、gNB180a、180b、180cは、WTRU102a、102b、102cをサービスするために追加のカバレージおよび/またはスループットを提供し得る。
gNB180a、180b、180cの各々は、特定のセル(図示せず)に関連付けられることがあり、無線リソース管理決定、ハンドオーバ決定、ULおよび/またはDLにおけるユーザのスケジューリング、ネットワークスライシングのサポート、デュアル接続性、NRとE-UTRAとの間のインターワーキング、ユーザプレーン機能(UPF)184a、184bのほうへのユーザプレーンデータのルーティング、アクセスおよびモビリティ管理機能(AMF)182a、182bのほうへの制御プレーン情報のルーティングなどを扱うように構成され得る。図1Dに示されているように、gNB180a、180b、180cは、Xnインターフェースを介して互いに通信し得る。
図1Dに示されているCN115は、少なくとも1つのAMF182a、182b、少なくとも1つのUPF184a、184b、少なくとも1つのセッション管理機能(SMF)183a、183b、および場合によってはデータネットワーク(DN)185a、185bを含み得る。上記の要素の各々はCN115の一部として図示されているが、これらの要素のいずれも、CN事業者以外のエンティティによって所有および/または動作され得ることが諒解されよう。
AMF182a、182bは、N2インターフェースを介してRAN113中のgNB180a、180b、180cのうちの1つまたは複数に接続されることがあり、制御ノードとして働き得る。たとえば、AMF182a、182bは、WTRU102a、102b、102cのユーザを認証すること、ネットワークスライシングのサポート(たとえば、異なる要件をもつ異なるPDUセッションの扱い)、特定のSMF183a、183bを選択すること、登録エリアの管理、NASシグナリングの終了、モビリティ管理などを担当し得る。ネットワークスライシングは、WTRU102a、102b、102cに利用されているサービスのタイプに基づいてWTRU102a、102b、102cのCNサポートをカスタマイズするために、AMF182a、182bによって使用され得る。たとえば、超高信頼低レイテンシ(URLLC)アクセスに依拠しているサービス、拡張大容量モバイルブロードバンド(eMBB)アクセスに依拠しているサービス、マシンタイプ通信(MTC)アクセスのためのサービスなど、異なる使用事例のために異なるネットワークスライスが確立され得る。AMF182は、RAN113と、LTE、LTE-A、LTE-Aプロ、および/またはWiFiなどの非3GPPアクセス技術などの他の無線技術を採用する他のRAN(図示せず)との間で切り替わるための制御プレーン機能を提供し得る。
SMF183a、183bは、N11インターフェースを介してCN115中のAMF182a、182bに接続され得る。SMF183a、183bはまた、N4インターフェースを介してCN115中のUPF184a、184bに接続され得る。SMF183a、183bは、UPF184a、184bを選択し、制御し、UPF184a、184bを通してトラフィックのルーティングを構成し得る。SMF183a、183bは、UE IPアドレスを管理し割り振ること、PDUセッションを管理すること、ポリシー執行およびQoSを制御すること、ダウンリンクデータ通知を提供することなど、他の機能を実施し得る。PDUセッションタイプは、IPベース、非IPベース、イーサネットベースなどであり得る。
UPF184a、184bは、N3インターフェースを介してRAN113中のgNB180a、180b、180cのうちの1つまたは複数に接続されることがあり、それらは、WTRU102a、102b、102cとIP対応デバイスとの間の通信を促進するために、インターネット110などのパケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供し得る。UPF184、184bは、パケットをルーティングしフォワーディングすること、ユーザプレーンポリシーを執行すること、マルチホームドPDUセッションをサポートすること、ユーザプレーンQoSを扱うこと、ダウンリンクパケットをバッファすること、モビリティアンカリングを提供することなど、他の機能を実施し得る。
CN115は、他のネットワークとの通信を促進し得る。たとえば、CN115は、CN115とPSTN108との間のインターフェースとして働くIPゲートウェイ(たとえば、IPマルチメディアサブシステム(IMS)サーバ)を含むか、またはそれと通信し得る。加えて、CN115は、他のサービスプロバイダによって所有および/または動作される他のワイヤードおよび/またはワイヤレスネットワークを含み得る他のネットワーク112へのアクセスをWTRU102a、102b、102cに提供し得る。一実施形態では、WTRU102a、102b、102cは、UPF184a、184bへのN3インターフェースおよびUPF184a、184bとDN185a、185bとの間のN6インターフェースを介して、UPF184a、184bを通してローカルデータネットワーク(DN)185a、185bに接続され得る。
図1A~図1D、および図1A~図1Dの対応する説明に鑑みて、WTRU102a~d、基地局114a~b、eノードB160a~c、MME162、SGW164、PGW166、gNB180a~c、AMF182a~b、UPF184a~b、SMF183a~b、DN185a~b、および/または本明細書で説明される任意の他のデバイスのうちの1つまたは複数に関して本明細書で説明される機能の1つもしくは複数、またはすべては、1つまたは複数のエミュレーションデバイス(図示せず)によって実施され得る。エミュレーションデバイスは、本明細書で説明される機能の1つもしくは複数、またはすべてをエミュレートするように構成された1つまたは複数のデバイスであり得る。たとえば、エミュレーションデバイスは、他のデバイスをテストするためにならびに/またはネットワークおよび/もしくはWTRU機能をシミュレートするために使用され得る。
エミュレーションデバイスは、実験室環境においておよび/または事業者ネットワーク環境において他のデバイスの1つまたは複数のテストを実装するように設計され得る。たとえば、1つまたは複数のエミュレーションデバイスは、ワイヤードおよび/またはワイヤレス通信ネットワーク内で他のデバイスをテストするために通信ネットワークの一部として完全にまたは部分的に実装および/または展開されながら、1つもしくは複数の、またはすべての機能を実施し得る。1つまたは複数のエミュレーションデバイスは、ワイヤードおよび/またはワイヤレス通信ネットワークの一部として一時的に実装/展開されながら、1つもしくは複数の、またはすべての機能を実施し得る。エミュレーションデバイスは、テストのために別のデバイスに直接結合されることがあり、および/またはオーバージエアワイヤレス通信を使用してテストを実施することがある。
1つまたは複数のエミュレーションデバイスは、ワイヤードおよび/またはワイヤレス通信ネットワークの一部として実装/展開されることなしに、すべてを含む1つまたは複数の機能を実施し得る。たとえば、エミュレーションデバイスは、1つまたは複数の構成要素のテストを実装するために、テスト実験室ならびに/または展開されない(たとえば、テスト用)ワイヤードおよび/もしくはワイヤレス通信ネットワークにおけるテストシナリオにおいて利用され得る。1つまたは複数のエミュレーションデバイスはテスト機器であり得る。(たとえば、1つまたは複数のアンテナを含み得る)RF回路を介した直接RF結合および/またはワイヤレス通信は、データを送信および/または受信するためにエミュレーションデバイスによって使用され得る。
図2は、ヘッドマウントデバイス(HMD)上に表示された360°ビデオの例示的な部分を示す。360°ビデオを閲覧しているとき、ユーザは、たとえば、図2に示されているように、ビデオの一部を提示され得る。ビデオの一部は、ユーザがビデオの画像を見回すおよび/またはズームするときに変更され得る。ビデオの一部は、HMDおよび/または他のタイプのユーザインターフェース(たとえば、ワイヤレス送受信ユニット(WTRU))によって提供されるフィードバックに基づいて変化され得る。360°ビデオ全体の空間領域はビューポートと呼ばれることがある。ビューポートは、ユーザに完全にまたは部分的に提示され得る。ビューポートは、360°ビデオの他の部分とは1つまたは複数の異なる品質を有し得る。
360°ビデオは、(たとえば、任意のビューポートを選定するための能力をユーザに与えるために)球体上にキャプチャおよび/またはレンダリングされ得る。球状ビデオフォーマットは、従来のビデオコーデックを使用して直接配信されないことがある。(たとえば、球状ビデオなどの)360°ビデオは、投影法を使用して球状ビデオを2D平面上に投影することによって圧縮され得る。投影された2Dビデオは、(たとえば、従来のビデオコーデックを使用して)コーディングされ得る。投影法の一例はエクイレクタングラー投影を含み得る。図3は、360°ビデオの例示的なエクイレクタングラー投影を示す。たとえば、エクイレクタングラー投影法は、以下の式のうちの1つまたは複数を使用して、球体上の座標(θ,φ)をもつ第1の点Pを2D平面上の座標(u,v)をもつ第2の点Pにマッピングし得る。
u=φ/(2*pi)+0.5 式1
v=0.5-θ/(pi) 式2
図3は、360°ビデオマッピングの例を示す。たとえば、360°ビデオを2Dプレーナビデオに変換するために(たとえば、代替の、帯域幅要件を低減するために)1つまたは複数の他の投影法(たとえば、マッピング)が使用され得る。たとえば、1つまたは複数の他の投影法は、ピラミッドマップ、キューブマップ、および/またはオフセットキューブマップを含み得る。これらの1つまたは複数の他の投影法は、球状ビデオをより少ないデータで表すために使用され得る。たとえば、キューブマップ投影法は、エクイレクタングラー投影と比較して(たとえば、キューブマップ投影がより少ないワーピングを導入し得るので)20%少ないピクセルを使用し得る。ピラミッド投影など、これらの1つまたは複数の他の投影法は、(たとえば、投影された2Dビデオのサイズを低減するために)閲覧者がおそらく見ない1つまたは複数のピクセルをサブサンプリングし得る。
360°ビデオ全体を記憶しおよび/またはサーバとクライアントとの間で配信することの代替としてビューポート固有の表現が使用され得る。図3に示されている投影法のうちの1つまたは複数、たとえば、キューブマップおよび/またはピラミダル投影は、異なるビューポートのために一様でない品質表現を提供し得る(たとえば、いくつかのビューポートは他のビューポートよりも高い品質で表され得る)。異なるターゲットビューポートをもつ同じビデオの複数のバージョンが、(たとえば、球状ビデオのすべてのビューポートをサポートするために)サーバ側において生成および/または記憶される必要があり得る。たとえば、VRビデオ配信のFacebookの実装では、図3に示されているオフセットキューブマップフォーマットが使用されることがある。オフセットキューブマップは、フロントビューポートに最も高い解像度(たとえば、最も高い品質)を提供し、バックビューに最も低い解像度(たとえば、最も低い品質)を提供し、1つまたは複数のサイドビューに中間の解像度(たとえば、中間の品質)を提供し得る。サーバは、(たとえば、同じコンテンツの異なるビューポートについてのクライアント要求に適応するために)同じコンテンツの複数のバージョンを記憶し得る。たとえば、同じコンテンツの合計150個の異なるバージョン(たとえば、各ビューポートについて30個のビューポート×5つの解像度)。配信(たとえば、ストリーミング)中に、クライアントは、クライアントの現在のビューポートに対応する特定のバージョンを要求することがある。この特定のバージョンはサーバによって配信され得る。クライアントの現在のビューポートに対応する特定のバージョンを要求するクライアントは、送信帯域幅を節約し得、サーバ上で増加された記憶域要件を含み、および/またはクライアントが第1のビューポートから第2のビューポートに変化する場合/ときのレイテンシを潜在的に増加させ得る。このレイテンシ問題は、そのようなビューポート変化が頻繁であるときはひどくなり得る。
クライアントデバイスは、全方向性メディアフォーマット(OMAF)に従って符号化されたビデオストリームを受信し得る。サブピクチャは、元のコンテンツの空間サブセットを表すピクチャであり得る。サブピクチャビットストリームは、元のコンテンツの空間サブセットを表すビットストリームであり得る。閲覧配向は、ユーザがオーディオビジュアルコンテンツを消費している配向を特徴づける、アジマス、エレベーション、およびチルト角の三つ組であり得る。ビューポートは、ユーザによる表示および閲覧に好適な全方向性画像および/またはビデオの領域であり得る。ビューポイントは、ビューポートの中心点であり得る。コンテンツカバレージは、トラックによってまたは画像項目によって表されるコンテンツによってカバーされる1つまたは複数の球体領域を含み得る。
OMAFは、ビューポート非依存ビデオプロファイルおよびビューポート依存ビデオプロファイルを指定し得る。ビューポート非依存ビデオストリーミングでは、360°ビデオピクチャはシングルレイヤビットストリームとして符号化され得る。コーディングされたビットストリーム全体がサーバに記憶され、必要な場合、OMAFプレーヤに完全に送信され、デコーダによって完全に復号され得る。現在のビューポートに対応する復号されたピクチャのエリアは、ユーザに対してレンダリングされ得る。ビューポート依存ビデオストリーミングでは、ビデオストリーミング手法の1つまたは組合せが利用され得る。OMAFプレーヤは、シングルレイヤストリームベースの手法に従って符号化されたビデオを受信し得る。シングルレイヤストリームベースの手法では、複数のシングルレイヤストリームが生成され得る。たとえば、各ストリームは全方向性ビデオ全体を含んでいることがあるが、各ストリームは、領域的品質ランキング(RWQR)メタデータによって示される、異なる高品質符号化された領域をもつことがある。現在のビューポートに応じて、現在のビューポートロケーションのものと一致している、高品質符号化された領域を含んでいるストリームが選択されおよび/またはOMAFプレーヤに送信され得る。
OMAFプレーヤは、サブピクチャストリームベースの手法に従って符号化されたビデオを受信し得る。サブピクチャストリームベースの手法では、360°ビデオはサブピクチャシーケンスにスプリットされ得る。(たとえば、各)サブピクチャシーケンスは、全方向性ビデオコンテンツの空間エリアのサブセットをカバーし得る。(たとえば、各)サブピクチャシーケンスは、シングルレイヤビットストリームとして互いに非依存に符号化され得る。OMAFプレーヤは、たとえば、OMAFプレーヤの配向/ビューポートメタデータに基づいて、ストリーミングされるべきサブピクチャを選択し得る。領域的品質ランキング(RWQR)メタデータによって示される、残りの現在レンダリングされていないエリアをカバーしている品質または解像度と比較して、現在のビューポートでは、より良い品質またはより高い解像度ストリームが受信、復号、および/またはレンダリングされ得る。
HTTPストリーミングは商業的展開において支配的手法になった。たとえば、AppleのHTTP Live Streaming(HLS)、MicrosoftのSmooth Streaming(SS)、および/またはAdobeのHTTP Dynamic Streaming(HDS)などのストリーミングプラットフォームは、基礎をなす配信方法としてHTTPストリーミングを使用することがある。マルチメディアコンテンツのHTTPストリーミングのための規格は、規格ベースのクライアントが、どんな規格ベースのサーバからもコンテンツをストリーミングすることを可能にし得る(たとえば、それにより、異なるベンダーのサーバとクライアントとの間のインターオペラビリティを可能にする)。MPEG動的適応ストリーミングオーバーHTTP(MPEG-DASH)は、変化するネットワーク条件に動的に適応することによって可能な限り最良のビデオエクスペリエンスをエンドユーザに提供するユニバーサル配信フォーマットであり得る。DASHは、HTTP/TCP/IPスタックの上に構築され得る。DASHは、ISOベースメディアファイルフォーマットおよびMPEG-2トランスポートストリームのためのマニフェストフォーマット、メディアプレゼンテーション記述(MPD)、およびセグメントフォーマットを定義し得る。
動的HTTPストリーミングは、サーバにおいて利用可能であるべきマルチメディアコンテンツの様々なビットレート代替を必要とすることがある。マルチメディアコンテンツは、いくつかのメディアコンポーネント(たとえば、オーディオ、ビデオ、テキスト)を含むことがあり、それらの一部または全部は異なる特性を有し得る。MPEG-DASHでは、特性はMPDによって記述され得る。
MPDは、ストリーミングセッション中に適応様式でDASHクライアントが(たとえば、本明細書で説明されるように)ビデオセグメントにアクセスするのに適切なHTTP-URLを構成するのに必要なメタデータを含むXMLドキュメントであり得る。図5は、例示的なMPD階層データモデルを示す。MPDは期間(Period)のシーケンスを記述し得、ここで、メディアコンテンツコンポーネントの符号化バージョンの合致するセットは期間中に変化しない。(たとえば、各)期間は、開始時間および持続時間を有し得る。(たとえば、各)期間は、1つまたは複数の適応セット(たとえば、AdaptationSet)から組み立てられ得る。DASHストリーミングクライアントは、図8A~図8Eに関して本明細書で説明されるWTRUであり得る。
AdaptationSetは、1つまたは複数の同一のプロパティ(たとえば、言語、メディアタイプ、ピクチャアスペクト比、役割、アクセシビリティ、ビューポイント、および/またはレーティングプロパティなど)を共有している1つまたは複数のメディアコンテンツコンポーネントの符号化バージョンのセットを表し得る。たとえば、第1のAdaptationSetは、同じマルチメディアコンテンツのビデオコンポーネントの異なるビットレートを含み得る。第2のAdaptationSetは、同じマルチメディアコンテンツのオーディオコンポーネントの異なるビットレート(たとえば、より低品質のステレオおよび/またはより高品質のサラウンド音)を含み得る。(たとえば、各)AdaptationSetは複数の表現(Representation)を含み得る。
表現は、ビットレート、解像度、チャネルの数、および/または他の特性によって他の表現とは異なる、1つまたは複数のメディアコンポーネントの配信可能な符号化バージョンを記述し得る。(たとえば、各)表現は、1つまたは複数のセグメントを含み得る。関連する表現の1つまたは複数のプロパティを指定するために、表現要素の1つまたは複数の属性(たとえば、@id、@bandwidth、@qualityRanking、および@dependencyIdなど)が使用され得る。
セグメント(Segment)は、単一のHTTP要求を用いて取り出されることが可能なデータの最大ユニットであり得る。(たとえば、各)セグメントは、URL(たとえば、サーバ上のアドレス可能なロケーション)を有し得る。(たとえば、各)セグメントは、HTTP GETまたはバイト範囲をもつHTTP GETを使用してダウンロードされ得る。
DASHクライアントは、MPD XMLドキュメントをパースし得る。DASHクライアントは、たとえば、AdaptationSet要素のうちの1つまたは複数において提供される情報に基づいて、DASHクライアントの環境に好適なAdaptationSetの集合を選択し得る。(たとえば、各)AdaptationSet内で、クライアントは表現を選択し得る。クライアントは、@bandwidth属性の値、クライアント復号能力、および/またはクライアントレンダリング能力に基づいて表現を選択し得る。クライアントは、選択された表現の初期化セグメントをダウンロードし得る。クライアントは、(たとえば、セグメント全体またはセグメントのバイト範囲を要求することによって)コンテンツにアクセスし得る。プレゼンテーションが開始したとき、クライアントはメディアコンテンツを消費し続け得る。たとえば、クライアントは、プレゼンテーション中にメディアセグメント(Media Segment)および/またはメディアセグメントの部分を要求(たとえば、連続的に要求)し得る。クライアントは、メディアプレゼンテーションタイムラインに従ってコンテンツを再生し得る。クライアントは、クライアントの環境からの更新情報に基づいて、第1の表現から第2の表現に切り替わり得る。クライアントは、2つ以上の期間にわたって連続的にコンテンツを再生し得る。クライアントが、表現において告知されたメディアの終了のほうへセグメント中に含まれているメディアを消費するとき、メディアプレゼンテーション(Media Presentation)は終了され得、期間が開始され得、および/またはMPDは再フェッチされ(たとえば、再フェッチされる必要があり)得る。
DASHクライアントなどのストリーミングクライアントとネットワーク要素との間の、または様々なネットワーク要素間のメッセージは、ネットワーク、サーバ、プロキシ、キャッシュ、CDNのリアルタイム動作特性ならびにDASHクライアントの性能およびステータスに関する情報を提供し得る。図6は、ネットワーク要素とクライアントとの間で交換されるサーバおよびネットワーク支援型DASH(SAND)メッセージの一例を示す。図示のように、パラメータ拡張配信(parameters enhancing delivery)(PED)メッセージは、DASHアウェアネットワーク要素(たとえば、602もしくは604)またはDASH支援型ネットワーク要素(DASH assisting network element)(DANE)(たとえば、602もしくは604)の間で交換され得る。パラメータ拡張受信(parameters enhancing reception)(PER)メッセージは、DANE602および604からDASHクライアント606に送られ得る。ステータスメッセージは、DASHクライアント606からDANE602および604に送られ得る。ステータスメッセージは、リアルタイム動作をサポートするためにDASHクライアント606からDANE602および604にリアルタイムフィードバックを提供し得る。メトリックメッセージは、DASHクライアント606からメトリックサーバ608に送られ得る。メトリックメッセージは、セッションまたはより長い時間間隔の概要を提供し得る。
DASHクライアントは、一貫した様式でそれらがサポートするメトリックを生成し、報告し得る。異なるクライアント、プレーヤ、デバイスおよびネットワークにわたる性能が監視および比較され得る。リアルタイムでまたはオフラインで問題はデバッグされ得、障害は隔離され得る。メトリックを生成、報告、処理および可視化し得るエンティティは、メッセージ、メトリックおよび報告中に含まれている情報について共通の理解を有し得る。
いくつかのDASHメトリックは、従来のメディアをストリーミングしているクライアントにおいてそれらが使用されるのと同じ仕方で、全方向性メディアをストリーミングしているDASHクライアントにおいて使用され得る。全方向性メディアは、より高いビットレート要件、より高いレンダリング遅延、およびレイテンシへのより高い感度に関連付けられ得る。いくつかのメトリックは、このメディアタイプをストリーミングしているDASHクライアントのために使用され得る。SANDをサポートするDASHエンティティのために、特定のPED/PERメッセージが使用され得る。
VRデバイスは、それの精度および感度を測定し得る。VRデバイスはHMDを含み得る。初期レンダリング配向情報がVRデバイスに送られ得る。ビューポートビュー統計が、たとえば、VRデバイスによって報告され得る。関心領域(ROI)がファイルフォーマットレベルでシグナリングされ得る。ROIは、(たとえば、各)セグメントで搬送されるべきイベントとしてシグナリングされ得る。DANE要素中のデータをプリフェッチするためのシグナリングが、補助PEDメッセージとともにMPDレベルにあり得る。ROI情報は、時間指定メタデータトラック中でまたはイベントストリーム要素中で搬送され得る。
VRメトリッククライアント参照モデルは、たとえば、図6において説明されるように、ストリーミングクライアント、オリジンサーバ、または測定/分析サーバおよび他のDANEのうちの1つまたは複数の間で交換される異なるタイプの情報とともに使用され得る。
セマンティクスは、抽象構文を使用して定義され得る。抽象構文中の項目は、整数、実数、ブーリアン、列挙型、文字列、ベクトルなどを含む1つまたは複数の原始型を有し得る。抽象構文中の項目は、1つまたは複数の複合型を有し得る。複合型は、オブジェクト、リストなどを含み得る。オブジェクトは、キーおよび/または値ペアの無順序シーケンスを含み得る。キーは文字列型を有し得る。キーはシーケンス内で一意であり得る。リストは、項目の順序付きリストを含み得る。複数(たとえば、2つ)の種類のタイムスタンプが使用または定義され得る。タイムスタンプの種類は、型Real-Timeをもつリアルタイム(たとえば、壁時計時間)および/または型Media-Timeをもつメディア時間を含み得る。
VRメトリッククライアント参照モデルは、メトリック収集および/または処理のために使用され得る。VRメトリッククライアント参照モデルは、メトリック収集および処理のために1つまたは複数の観測点(OP)を使用または定義し得る。図7は、VRメトリッククライアント参照モデルの一例であり得る。VRデバイスはVRクライアント718を含み得る。VRデバイスまたはVRプレーヤは、VRメトリッククライアント参照モデル700に基づいて使用され得る。
図7は、VRメトリッククライアント参照モデル700の機能要素を示し得る。機能要素は、ネットワークアクセス706、メディア処理708、センサー710、メディアプレゼンテーション712、VRクライアント制御および管理714、またはメトリック収集および処理(MCP)716のうちの1つまたは複数を含み得る。VRアプリケーションは、没入型ユーザエクスペリエンスを配信するために異なる機能要素と通信し得る。ネットワークアクセス706は、ネットワーク704にVRコンテンツを要求し得る。ネットワークアクセス706は、(たとえば、動的センサーデータに基づいて)ビューポート依存ストリーミングについて異なる品質の1つまたは複数のビューポートセグメントを要求し得る。メディア処理要素708は、(たとえば、各)メディアサンプルを復号しおよび/または復号されたメディアサンプルをメディアプレゼンテーション712に受け渡し得る。メディアプレゼンテーション712は、デバイス(たとえば、HMD、ラウドスピーカー、またはヘッドフォンのうちの1つまたは複数)を介して、対応するVRコンテンツを提示し得る。
センサー710は、ユーザの配向および/または運動を検出し得る。センサー710は、たとえば、ユーザの配向および/または運動に基づいて、センサーデータを生成し得る。VRクライアント718および/またはサーバは、様々な仕方でセンサーデータを使用し得る。たとえば、センサーデータは、要求されるべきビューポートセグメント(たとえば、特定の高品質ビューポートセグメント)を判定するために使用され得る。センサーデータは、デバイス(たとえば、HMDおよび/もしくはヘッドフォン)上に存在すべきメディアサンプル(たとえば、オーディオおよびビデオ)の部分を判定するか、またはデバイス上にメディアサンプルのどの部分が存在すべきかを判定するために使用され得る。センサーデータは、ユーザ運動(たとえば、最新のユーザ運動)にメディアサンプルプレゼンテーションを一致させるための後処理を適用するために使用され得る。
VRクライアント制御および/または管理モジュール700は、VRアプリケーションのためにVRクライアント718を構成し得る。VRクライアント制御および/または管理モジュール700は、一部または全部の機能要素と対話し得る。VRクライアント制御および/または管理モジュール700は、ワークフローを管理し得る。ワークフローはエンドツーエンドメディア処理手順を含み得る。たとえば、ワークフローは、VRクライアント718のために、メディアデータを受信することからメディアサンプルのプレゼンテーションまでの処理を含み得る。
MCP716は、たとえば、様々な観測点(OP)からの、データをアグリゲートし得る。データは、ユーザ位置、イベント時間、メディアサンプルパラメータなどのうちの1つまたは複数を含み得る。MCP716は、メトリックサーバ702によって使用されるかまたはそれに送られる1つまたは複数のメトリックを導出し得る。たとえば、ビューポート切替えレイテンシメトリック導出は、OP3(たとえば、動きトリガ時間)および/またはOP4(たとえば、ビューポート表示更新時間)からの入力データに基づき得る。
メトリックサーバ702は、データ(たとえば、メトリックデータ)を収集し得る。メトリックサーバ702は、ユーザ挙動分析、VRデバイス性能比較、または他のデバッグもしくは追跡目的のうちの1つまたは複数のためにデータを使用し得る。全体的な没入型VRエクスペリエンスは、ネットワーク、プラットフォームおよび/またはデバイスにわたって拡張され得る。
VRサービスアプリケーション(たとえば、CDNサーバ、コンテンツプロバイダ、および/またはクラウドゲーミングセッション)は、たとえば、クライアント能力および性能に基づいて、異なるレベルの品質および/または没入型エクスペリエンスサービスをVRクライアント(たとえば、VRクライアント718を含むVRデバイス)に配信するためにメトリックサーバ702によって収集されたメトリックを利用し得る。たとえば、VRクラウドゲーミングサーバは、1つまたは複数のエンドツーエンドレイテンシ、追跡感度および精度、視野などを含むVRクライアントの性能メトリックを検査し得る。VRクラウドゲーミングサーバは、VRクライアント718がユーザに適切なレベルのVRエクスペリエンスを提供することが可能であるかどうかを判定し得る。VRクラウドゲーミングサーバは、認定されたVRクライアントにVRゲームへのアクセスを認可し得る。認定されたVRクライアントは、ユーザに適切なレベルのVRエクスペリエンスを提供することが可能であり得る。
VRクラウドゲーミングサーバは、認定されないVRクライアントにVRゲームへのアクセスを認可しないことがある。認定されないVRクライアントは、ユーザに適切なレベルのVRエクスペリエンスを提供することが不可能であり得る。たとえば、VRクラウドゲーミングサーバが、クライアント(たとえば、VRクライアント718)が比較的高いエンドツーエンドレイテンシを受け、および/または不十分な追跡感度パラメータを有すると判定した場合、VRクラウドゲーミングサーバは、VRクライアントがライブVRゲーミングセッションに加わることを可能にしないことがある。VRクラウドゲーミングサーバは、クライアント(たとえば、VRクライアント718)に従来のゲーミングセッションを許可し得る。たとえば、クライアントは、没入型エクスペリエンスなしの2Dバージョンのゲームのみに加わり得る。VRクラウドゲーミングサーバは、クライアントの動的性能変化を監視し得る。VRクラウドゲーミングサーバは、VRメトリックがオンザフライで性能ダウングレードを示すとき、より低品質のVRゲームコンテンツまたはあまり没入型でないVRゲームに切り替わり得る。たとえば、VRクラウドゲーミングサーバが、クライアントの等品質ビューポート切替えレイテンシが比較的高いと判定した場合、VRクラウドゲーミングサーバは、品質不具合を低減するためにクライアントにタイル(たとえば、より同様の品質をもつタイル)を配信し得る。VRユーザのVRエクスペリエンスは、ネットワーク条件によって影響を及ぼされ得る。コンテンツ配信ネットワーク(CDN)またはエッジサーバは、クライアント(たとえば、VRユーザ)により近接したキャッシュにVRコンテンツおよび/またはサービスをプッシュし得る。
MCP716は、様々な様式で様々な観測点(OP)からのデータをアグリゲートし得る。例示的なOP(OP1~OP5)が本明細書で提供されるが、MCP716は、たとえば、本明細書で説明されるOPのどんな順序または組合せからのデータでもアグリゲートし得ることを諒解されたい。MCP716は、クライアントの一部であり得るかまたはメトリックサーバ(たとえば、メトリックサーバ702)中に存在し得る。
OP1は、ネットワークアクセス706からMCP716のほうへのインターフェースに対応し得るかまたはそれを含み得る。ネットワークアクセス706は、ネットワーク要求を発行し、ネットワーク704からVRメディアストリームを受信し、および/またはVRメディアストリームをカプセル化解除し得る。OP1はネットワーク接続のセットを含み得る。(たとえば、各)ネットワーク接続は、宛先アドレス、開始、接続、またはクローズ時間のうちの1つまたは複数によって定義され得る。OP1は、送信されるネットワーク要求のシーケンスを含み得る。(たとえば、各)送信されるネットワーク要求は、送信時間、コンテンツ、またはネットワーク要求が送られるTCP接続のうちの1つまたは複数によって定義され得る。OP1は、(たとえば、各)ネットワーク応答について、受信時間、応答ヘッダのコンテンツ、および/または応答本文の(たとえば、各)バイトの受信時間のうちの1つまたは複数を含み得る。
OP2は、メディア処理708からMCP716のほうへのインターフェースに対応し得るかまたはそれを含み得る。メディア処理708は、逆多重化および/または復号(たとえば、オーディオ、画像、ビデオおよび/または明視野復号)を行い得る。OP2は、符号化されたメディアサンプルを含み得る。(たとえば、各)符号化されたメディアサンプルは、メディアタイプ、メディアコーデック、メディア復号時間、全方向性メディアメタデータ、全方向性メディア投影、全方向性メディア領域的パッキング、全方向ビデオビューポート、フレームパッキング、色空間、ダイナミックレンジなどのうちの1つまたは複数を含み得る。
OP3は、センサー710からMCP716のほうへのインターフェースに対応し得る。センサー710は、ユーザの頭部または体の配向および/または運動を捕捉し得る。センサー710は、光、温度、磁界、重力および/またはバイオメトリックなどの環境データを捕捉し得る。OP3は、6DoF(X、Y、Z、ヨー、ピッチ、およびロール)、深度、速度などのうちの1つまたは複数を含むセンサーデータのリストを含み得る。
OP4は、メディアプレゼンテーション712からMCP716のほうへのインターフェースに対応し得る。メディアプレゼンテーション712は、たとえば、ユーザに完全な没入型VRエクスペリエンスを提供するために、混合された自然および合成VRメディア要素を同期および/または提示し得る。メディアプレゼンテーション712は、(たとえば、各)VRメディア要素のために色変換、投影、メディア組立ておよび/またはビュー合成を行い得る。OP4は、復号化されたメディアサンプルを含み得る。サンプル(たとえば、各メディアサンプル)は、メディアタイプ、メディアサンプルプレゼンテーションタイムスタンプ、壁時計カウンタ、実際のプレゼンテーションビューポート、実際のプレゼンテーション時間、実際のプレイアウトフレームレート、オーディオ対ビデオ同期などのうちの1つまたは複数を含み得る。
OP5は、VRクライアント制御および管理714からMCP716のほうへのインターフェースに対応し得る。VRクライアント制御および管理要素714は、表示解像度、フレームレート、視野(FOV)、眼対スクリーン距離、lensSeparation距離などのクライアントパラメータを管理し得る。OP5はVRクライアント構成パラメータを含み得る。(たとえば、各)パラメータは、表示解像度、(たとえば、PPIでの)表示密度、(たとえば、度での)水平および垂直FOV、(たとえば、mmでの)追跡範囲、(たとえば、mmでの)追跡精度、(たとえば、msでの)動き予測、メディアコーデックサポート、OSサポートなどのうちの1つまたは複数を含み得る。
VRクライアント制御および管理714は、ユーザ(たとえば、VRユーザ)が(たとえば、デバイス情報以外の)パーミッションを許可した場合、ユーザの個人プロファイル情報を収集し得る。個人プロファイル情報は、VRユーザの性別、年齢、ロケーション、人種、宗教などのうちの1つまたは複数を含み得る。VRサービスアプリケーションは、メトリックサーバ702から個人プロファイル情報を収集し得る。VRサービスアプリケーションは、(たとえば、VRデバイスを含む)VRクライアント718から(たとえば、直接的に)個人プロファイル情報を収集し得る。VRサービスアプリケーションは、(たとえば、個々の)VRユーザのために適切なVRコンテンツおよび/またはサービスを識別し得る。
VRストリーミングサービスプロバイダは、異なるユーザに360度ビデオタイルの異なるセットを配信し得る。VRストリーミングサービスプロバイダは、異なる潜在的閲覧者の特性に基づいて360度ビデオタイルの異なるセットを配信し得る。たとえば、成人は、制限付きコンテンツへのアクセスを含む完全な360度ビデオを受信し得る。未成年のユーザは、同じビデオを見得るが、制限付きコンテンツ(たとえば、領域および/またはタイル)へのアクセスをもたない。VRサービスプロバイダは、法律および規制(たとえば、地方自治体の法律および規制)に準拠するためにロケーションにおよび/または時間において(たとえば、特定のロケーションにおよび/または特定の時間において)あるVRコンテンツを配信することを停止し得る。VRクラウドゲーミングサーバは、潜在的なシミュレーション疾患を回避するために、異なるシミュレーション疾患感度のユーザ(たとえば、男性、女性、シニア成人、および/または青年)に異なる没入型レベルゲームを配信し得る。VRデバイスは、(たとえば、個人プロファイル情報を使用して)ローカルVRプレゼンテーションを制御し得る。たとえば、VRサービスプロバイダは、(たとえば、誰に対しても差別的でない仕方で)制限付きシーンを含む360度ビデオをマルチキャスト/ブロードキャストし得る。(たとえば、各)VR受信機は、個人プロファイル情報に基づいてプレゼンテーションを構成し得る。VR受信機は、個人プロファイル情報に基づいて制限付きコンテンツ(たとえば、シーン)への異なるレベルのアクセスを許可し得る。たとえば、VR受信機は、潜在的閲覧者の年齢、人種または宗教情報に基づいて制限付きシーンの一部または全部をフィルタ除去するかまたは不鮮明にし得る。VR受信機は、潜在的閲覧者の年齢、人種または宗教情報に基づいて制限付きシーンの一部または全部へのアクセスを可能にすることが適切であるかどうかを判定し得る。本明細書の手法および/または技法は、VRサービスプロバイダが、より多数のユーザにおよび/または効率的な仕方でVRコンテンツ(たとえば、VRコンテンツの単一のバージョン)を供給することを可能にし得る。
MCP716は、1つまたは複数のOPからメトリックを捕捉しおよび/またはVRメトリック(たとえば、レイテンシなどの特定のVRメトリック)を導出し得る。
デバイス(たとえば、VRデバイス、HMD、電話、タブレット、またはパーソナルコンピュータ)は、閲覧関係のメトリックおよびメッセージを生成および/または報告し得る。閲覧関係のメトリックおよびメッセージは、ビューポートビュー、ビューポート一致、レンダリングデバイス、初期レンダリング配向、ビューポート切替えレイテンシ、品質ビューポート切替えレイテンシ(たとえば、品質ビューポート切替えレイテンシ)、初期レイテンシ、整定レイテンシ、6DoF座標、視線データ、フレームレート、ビューポートロス、精度、感度、ROIなどのうちの1つまたは複数を含み得る。
デバイスは、どの時間にどのビューポートが要求および/または閲覧されたかを示すためのメトリックを使用し得る。メトリックはビューポートビューメトリックを含み得る。ViewportViewsなどのメトリックの報告は、どの時間にどのビューポートが要求および閲覧されたかを示し得る。デバイスまたはメトリックサーバは、OP4から(たとえば、表1に示されている)ビューポートビューメトリックを導出し得る。表1は、ビューポートビューに関する報告の例示的なコンテンツを示す。
Figure 0007333802000001
エントリ(たとえば、エントリ「ソース」)は、オリジンVRメディアサンプルのソースを含み(たとえば、指定し)得る。デバイスは、MPDのURL、DASHストリーミングのメディア要素表現、またはプログレッシブダウンロードのためのメディアサンプルファイルの元のURLのうちの1つまたは複数からエントリ「ソース」を推論し得る。
エントリ(たとえば、エントリ「タイムスタンプ」)は、メディアサンプルプレゼンテーション時間を含み(たとえば、指定し)得る。
エントリ(たとえば、エントリ「持続時間」)は、どのくらいの時間の間クライアントがそれぞれのビューポート上にとどまるかを報告するためにクライアントによって使用される時間間隔を指定し得る。
エントリ(たとえば、エントリ「ビューポート」)は、メディア時間tにおいて存在する全方向性メディアの領域を含み(たとえば、指定し)得る。領域は、center_yaw、center_pitch、存在するときはstatic_hor_range、static_ver_range、またはhor_rangeおよびver_rangeのうちの1つまたは複数によって定義され得る。6DoFのために、エントリ「ビューポート」は、ユーザ位置または追加のユーザ位置(x,y,z)を含み得る。
エントリ(たとえば、エントリ「ビューポート」)は、様々な仕様および実装において使用される表記法または式のうちの1つまたは複数を使用して、閲覧されたビューポートを表し得る。異なるユーザのビューポートビューメトリックは、たとえば、メトリックサーバ(たとえば、メトリックサーバ702)によって、互いに比較および/または相関され得る。たとえば、メトリックサーバは、より人気があるビューポートを判定し得る。ネットワーク(たとえば、CDN)は、キャッシングのためにまたはコンテンツ制作のために情報(たとえば、エントリ「ビューポート」)を使用し得る。デバイス(たとえば、VRデバイス)は、リプレイのためにある精度で1つまたは複数のビューポートビューを記録し得る。記録されたビューポートビューは、以前に見られた360°ビデオの特定のバージョンをリプレイするために(たとえば、別の閲覧者によって)後で使用され得る。ブロードキャスト/マルチキャストサーバまたはVRクライアントなどのネットワーク要素は、ビューポートビューメトリックに基づいて複数の閲覧者の閲覧されたビューポートを同期させ得る。閲覧者は、たとえば、リアルタイムで、同様のまたは同じエクスペリエンスを有し得る。
デバイス(たとえば、クライアント)は、(たとえば、周期的に)ビューポートビューメトリックをロギングし、および/または(たとえば、センサーによって検出された)閲覧配向変化によってビューポートビューメトリックを報告するようにトリガされ得る。
デバイスは、推奨ビューポート(たとえば、ディレクターズカット)をクライアントがフォローするかどうかを示すためのメトリックを使用し得る。メトリックはビューポート一致メトリックを含み得る。デバイス(たとえば、クライアント)は、クライアントの閲覧配向を対応する推奨ビューポートメタデータと比較すること、および/またはクライアントの閲覧配向が対応する推奨ビューポートメタデータに一致する場合、一致イベントをロギングすることが可能であり得る。表2は、ビューポート一致メトリックに関する報告の例示的なコンテンツを示す。
Figure 0007333802000002
エントリ(たとえば、エントリ「フラグ」)は、測定間隔中にビューポート(たとえば、現在のビューポート)が推奨ビューポートに一致するかどうかを指定するブーリアンパラメータであり得る。以下のパラメータのいずれか1つまたは組合せは、エントリ「フラグ」の値が真であるときに提示され得る。エントリ(たとえば、エントリ「trackId」)は、推奨ビューポート時間指定メタデータのシーケンスの識別子であり得、および/または1つもしくは複数の推奨ビューポートの中でどの推奨ビューポートが一致しているかを識別するために使用され得る。エントリ(たとえば、エントリ「カウント」)は、「トラック」によって指定される推奨ビューポートの一致の累積数を指定し得る。エントリ(たとえば、エントリ「持続時間」)は、測定間隔中の連続的ビューポート一致の時間間隔を指定し得る。エントリ(たとえば、エントリ「タイプ」)は、一致したビューポートタイプを指定し得、値0は、推奨ビューポートがディレクターズカットであることを示し得、および/または値1は、推奨ビューポートが閲覧統計に基づいて選択されることを示し得る。デバイス(たとえば、クライアント)は、(たとえば、周期的に)ビューポート一致をロギングし、ならびに/または閲覧配向が変化するかもしくは推奨ビューポート位置および/もしくはサイズが変化するときのイベントによってビューポート一致を報告するようにトリガされ得る。
デバイスは、レンダリングデバイスメトリックおよびメッセージを示すためのメトリックを使用し得る。メトリックはRenderingDeviceを含み得る。たとえば、メトリックRenderingDeviceのVRデバイスタイプ報告は、(たとえば、全方向性メディアがそこでレンダリングされている)デバイスのブランド、モデル、オペレーティングシステム(OS)、解像度、密度、refreshrate、コーデック、投影、パッキング、追跡範囲、追跡精度、追跡感度、および/または他のデバイス固有情報のうちの1つまたは複数を示し得る。メトリックサーバは、報告に基づいて、コンテンツがTV対HMD上で消費されているかdaydreamタイプのHMD上で消費されているかを判定し得る。メトリックサーバまたはクライアントは、より良い分析のためにこの情報をコンテンツタイプと相関させ得る。VRデバイスがHMDである場合、サポートされるHMD固有情報などの情報はメトリック中に含まれ得る。クライアント(たとえば、VRクライアント)は、メトリックサーバに報告するために適切なデバイス情報を判定し得る。メトリックサーバは、VRデバイスに適切な情報を要求し得る。サポートされるHMD固有情報は、限定はされないが、精度、感度、最大サポートフレームレート、最大サポート解像度および/またはサポートされるコーデック/投影法のリストを含み得る。表3は、VRデバイスに関する報告の例示的なコンテンツ(たとえば、メトリックRenderingDevice)を示す。メトリックサーバは、分析のために表3中の情報などの情報をコンテンツタイプと相関させ得る。たとえば、クライアントまたはメトリックサーバは、OP5からメトリックRenderingDeviceおよび/または表3中に含まれるエントリのうちの1つもしくは複数を導出し得る。
Figure 0007333802000003
エントリ(たとえば、エントリ「trackingRange」)は、VRユーザ動き検出のためにVRデバイスによってサポートされる最大のまたは最も大きい2Dまたは3D追跡範囲を含み(たとえば、指定し)得る。最大のまたは最も大きい2Dまたは3D追跡範囲は、この最大のまたは最も大きい2Dまたは3D追跡範囲を越えると動き追跡および検出が不正確になり得ることを暗示し得る。最小のまたは最も小さい範囲は点であり得る。TrackingRangeは、たとえば、(たとえば、ミリメートルの単位で)VR空間の幅、長さおよび高さとして定義され得る。図8は、3D追跡範囲の測定の一例を示し得る。エントリTrackingRangeは、(たとえば、単一の)追跡センサーを用いて3D空間800の幅802、高さ804、および長さ806または2D範囲の円範囲として定義され得る。エントリ「trackingRange」は、複数の追跡センサーを用いて2D交差エリアの幅、長さとして定義され得る。図9は、複数のセンサー、たとえば追跡センサー904~910を用いた2D動き追跡交差範囲の一例を示す。図9に示されているように、2D交差エリア902の長さおよび幅は、エントリ「trackingRange」を定義し得る。
エントリ(たとえば、エントリ「trackingPrecision」)は、並進運動(x、y、z)ではミリメートルでの、および回転運動(ヨー、ピッチ、ロール)ではミリ度での追跡表記単位(たとえば、最小追跡表記単位)を含み(たとえば、指定し)得る。
エントリ(たとえば、エントリ「trackingSensitivity」)は、並進ではミリメートル(Δx、Δy、Δz)で、および回転ではミリ度(Δヨー、Δピッチ、Δロール)でVRデバイスによって検出されることが可能な最小動き変位(たとえば、微細な動き)を含み(たとえば、指定し)得る。
エントリ(たとえば、エントリ「TrackingLatency」)は、動きと、センサーがその動きを検出しアプリケーションに報告することとの間の時間間隔を示し(たとえば、指定し)得る。
エントリ(たとえば、エントリ「RenderingLatency」)は、メディアサンプルがレンダリングモジュールから出力されることと、メディアサンプルがディスプレイおよび/またはヘッドフォン上に存在することとの間の時間間隔を示し(たとえば、指定し)得る。
デバイス(たとえば、VRデバイス)は、初期レンダリング配向メッセージを生成および/または報告し得る。デバイスは、再生がそれから開始されるべきである配向を示すためのメトリックを使用し得る。メトリックはInitialRenderingOrientationを含み得る。メトリック「InitialRenderingOrientation」の初期レンダリング配向報告は、再生がそれから開始されるべきである配向を示し得る。初期配向は、プレゼンテーションの開始においておよび/またはプレゼンテーション全体にわたるいくつかの点(たとえば、シーン変化)において示され得る。コンテンツ制作者がこの指示を提供し得る。初期レンダリング配向メッセージはPERタイプであり得る。たとえば、初期レンダリング配向メッセージはDANEからDASHクライアントに送られ得る。この情報(たとえば、initialRenderingOrientation)は、時間指定メタデータトラック、イベントストリーム要素またはSAND-PERメッセージ中で搬送され得る。メトリックサーバは、(たとえば、シーン変化が起こったとき)VRコンテンツのレンダリング位置の座標をリセットするようにHMD配向を構成するために初期レンダリング配向メトリックを使用し得る。初期レンダリング配向メッセージとともに、HMDは、別のビデオエリアを前面に運動させ得る。表4は、初期レンダリング配向メッセージの例示的なコンテンツを示す。メトリックサーバまたはクライアントは、OP2からこのメトリックおよび/または表4中に含まれるエントリのうちの1つもしくは複数を導出し得る。
Figure 0007333802000004
デバイスは、ビューポートから別のビューポートに切り替わるときにクライアントが経験するレイテンシを示すためのメトリックを生成し得る。メトリックは「ViewportSwitchingLatency」を含み得る。たとえば、メトリック「ViewportSwitchingLatency」のビューポート切替えレイテンシメトリック報告は、ビューポートから別のビューポートに切り替わるときにクライアントが経験するレイテンシを示し得る。ネットワークまたはクライアント(たとえば、VRデバイス)は、閲覧者のエクスペリエンス品質(QoE)を測定するためにビューポート切替えレイテンシメトリックを使用し得る。(SAND)DANE要素および/またはオリジンサーバは、コンテンツ符号化、パッケージング、キャッシング、または配信のうちの1つまたは複数に対してビューポート切替えレイテンシメトリックを使用し得る。表5は、ビューポート切替えレイテンシメトリックに関する例示的な報告を示す。メトリックサーバまたはクライアントは、OP3および/またはOP4からビューポート切替えレイテンシメトリックおよび/または表5に示されているエントリのうちの1つもしくは複数を導出し得る。
Figure 0007333802000005
エントリ(たとえば、エントリ「並進」)は、前/後、上/下、左/右など、ユーザの並進運動を含み(たとえば、指定し)得、および/または変位ベクトル(Δx、Δy、Δz)によって表され得る。
エントリ(たとえば、エントリ「回転」)は、ヨー、ピッチおよびロールなど、ユーザ角運動を含み(たとえば、指定し)得、ならびに/またはラジアンもしくは度で角変位(Δヨー、Δピッチ、Δロール)によって表され得る。
エントリ(たとえば、エントリ「first_viewport」)は、第1のビューポートの中心点座標および第1のビューポートのサイズを含み(たとえば、指定し)得る。
エントリ(たとえば、エントリ「second_viewport」)は、第2のビューポートの中心点座標および第2のビューポートのサイズを示し(たとえば、指定し)得る。
エントリ(たとえば、エントリ「レイテンシ」)は、入力された並進および/または回転運動と、VRプレゼンテーション上で更新または表示される1つまたは複数の関係するVRメディア要素(ビデオ、オーディオ、画像、明視野など)の対応するビューポートとの間の遅延を含み(たとえば、指定し)得る。たとえば、エントリ「レイテンシ」は、(たとえば、クライアントが頭部運動を検出したとき)第1のビューポートから第2のビューポートへの頭部運動が起こる時間と、対応する第2のビューポートがディスプレイ上に提示される時間との間の時間間隔を指定し得る。
たとえば、ビューポート切替えレイテンシは、どのくらい高速にHMDが頭部運動に応答し、シフトされたビューポートのためのコンテンツをアンパックしレンダリングするかに対応し得る。ビューポート切替えレイテンシは、閲覧者の頭部が運動する(たとえば、HMDが閲覧者の頭部運動を検出する)時間と、閲覧者の頭部運動が、閲覧者によって観測されるビデオに影響を及ぼす時間との間の時間に対応し得る。たとえば、ビューポート切替えレイテンシは、現在のビューポートから異なるビューポートへの頭部運動と、その異なるビューポートがHMD上に表示されることとの間で測定され得る。ビューポート切替えレイテンシは、たとえば、対応するビューポートをフェッチおよび/またはレンダリングするためにネットワークまたはクライアントが使用する、ネットワークまたはクライアントの不十分な処理能力によって引き起こされることがある。ネットワークおよび/またはクライアントプレーヤは、ビューポート切替えレイテンシメトリック報告を受信し、タイムラインに沿って分析した後に、ビューポート切替えレイテンシを最小限に抑えるための異なるインテリジェントな手法を使用し得る。
デバイス(たとえば、HMD、電話、タブレット、またはパーソナルコンピュータ)は、デバイスの運動(たとえば、頭部運動)を判定し得る。デバイスの運動は、デバイスが現在のビューポートの外部に運動すること、配向変化、ズーム動作などのうちの1つまたは複数を含み得る。デバイスは、デバイスの運動に基づいてビューポート切替えレイテンシを判定し得る。
図10は、ビューポート切替えイベントの一例を示す。デバイスは、ビューポート切替えイベントに基づいてデバイスの運動を判定し得る。ビューポートは、パラメータのセットによって表され得る。図10に示されているように、第1のビューポート1002は、1010first_azimuth_range、1012first_elevation_range、ならびに1006first_centre_azimuthおよび/またはfirst_centre_elevationによって表され得る。第2のビューポート1004は、1014second_azimuth_range、1016second_elevation_range、ならびに1008second_centre_azimuthおよび/またはsecond_centre_elevationによって表され得る。
デバイスは、パラメータのセットのうちの1つまたは複数の変化がしきい値以上である場合、ビューポート切替えイベントを判定し得る。デバイスは、パラメータのセットのうちの1つまたは複数の変化がしきい値以上である場合、デバイスの運動を判定し得る。デバイスは、異なるアプリケーションおよび/またはデバイスにわたって一貫した測定を維持するために、ビューポート切替えイベントを判定したとき、1つまたは複数の制約を適用し得る。
デバイスは、たとえば、第1のビューポート1002に関連する1つまたは複数のパラメータ1010first_azimuth_range、1012first_elevation_range、ならびに1006first_centre_azimuthおよび/またはfirst_centre_elevationに基づいて、第1のレンダリングされたビューポートに関連する第1のビューポート1002が、ビューポート切替えイベントの前に安定していると判定し得る。同様に、デバイスは、たとえば、第2のビューポートに関連する1つまたは複数のパラメータ1014 second_azimuth_range、1016second_elevation_range、ならびに1008second_centre_azimuthおよび/またはsecond_centre_elevationに基づいて、第2のレンダリングされたビューポートに関連する第2のビューポート1004が、ビューポート切替えイベントの後に安定していると判定し得る。たとえば、ビューポイントは、たとえば、図10に示されているように、centre_azimuth、centre_elevation、および/またはcentre_tiltのうちの1つまたは複数によって表され得る。centre_azimuthおよびcentre_elevationは、ビューポートの中心を示し得る。centre_tiltは、(たとえば、グローバル座標軸に対して2-16度の単位で)ビューポートのチルト角を示し得る。たとえば、第1のビューポイントのcentre_azimuth、centre_elevation、および/またはcentre_tiltの値は、ビューポート切替えイベントの前にnミリ秒以内に2-16度のm単位よりも大きく変化しないことがあり、second_viewpointのcentre_azimuth、centre_elevation、および/またはcentre_tiltの値は、ビューポート切替えイベントの後にnミリ秒以内に2-16度のm単位よりも大きく変化しないことがある。mとnの両方は正の整数であり得る。デバイスはmおよびnを用いて構成され得る。たとえば、デバイスは、(たとえば、コンテンツサーバからまたはメトリックサーバから)mおよびnの値を受信し得る。デバイスは、ビューポート切替えイベントを識別するために使用されるmおよびnを用いてメトリックをロギングおよび/または報告し得る。
ビューポート切替えイベントは、(たとえば、閲覧者の)ビューポイントが、デバイスの現在のレンダリングまたは表示されているビューポートの外部に運動したときにトリガされ得る。デバイスは、(たとえば、閲覧者の)ビューポイントが、現在のレンダリングまたは表示されているビューポートの外部に運動したとき、デバイスの運動を判定し得る。第1のビューポート1002または第1のレンダリングされたビューポートは、たとえば、図10に示されているように、第1のビューポート1002もしくは第1のレンダリングされたビューポートの中心位置1006(たとえば、first_centre_azimuth、first_centre_elevation、first_centre_tilt)ならびに/または第1のビューポートもしくは第1のレンダリングされたビューポートの領域(たとえば、first_azimuth_range1010、およびfirst_elevation_range1012)によって表され得る。第2のビューポート1004または第2のレンダリングされたビューポートは、第2のビューポート1004もしくは第2のレンダリングされたビューポートの中心位置1008(たとえば、second_centre_azimuth、second_centre_elevation、second_centre_tilt)ならびに/または第2のビューポートもしくは第2のレンダリングされたビューポートの領域(たとえば、second_azimuth_range1014、およびsecond_elevation_range1016)によって表され得る。
デバイスは、パラメータの変化(たとえば、第1のビューポート1002のパラメータと第2のビューポート1004のパラメータとの間の差)がしきい値以上であるとき、ビューポート切替えイベントが起こると判定し得る。たとえば、ビューポート切替えイベントは、first_centre_azimuth1006とsecond_centre_azimuth1008との間の距離がしきい値(たとえば、first_azimuth_range/2)以上であるときに起こり得る。ビューポート切替えイベントは、first_centre_elevation1006とsecond_centre_elevation1008との間の距離がしきい値(たとえば、first_centre_range/2)以上であるときに起こり得る。
ビューポート切替えイベントは、閲覧配向変化についてのデバイスの検出によってトリガされ得る。閲覧配向は、ユーザがオーディオビジュアルコンテンツを消費している配向を特徴づける、アジマス、エレベーション、およびチルト角のトリプレットによって定義され得る。閲覧配向は、ユーザが画像またはビデオを消費しているときのビューポートの配向を特徴づける、アジマス、エレベーション、およびチルト角のトリプレットによって定義され得る。たとえば、デバイスは、デバイスが閲覧配向変化を検出したとき、デバイスの運動を判定し得る。閲覧配向は、たとえば、ビューポートの相対的ロケーションまたは配置に関係し得る。
ビューポート切替えイベントはズーム動作中に起こり得る。たとえば、デバイスは、デバイスがズーム動作中に運動していると判定し得る。たとえば、ズーム動作は、レンダリングまたは表示されたビューポート中心位置が変化しないが、対応するビューポートおよび/または対応する球状エリアのサイズが変化しても起こり得る。図11は、360°ビデオビューポートズームの一例を示し得る。ViewportSwitchingLatencyのパラメータfirst_viewpointおよびsecond_viewpointは、それぞれ、ズーム動作のために、first_viewportサイズ1102およびsecond_viewportサイズ1108に置き換えられ得る。パラメータazimuth_rangeおよび/またはelevation_rangeは、(たとえば、2-16度の単位で)レンダリングされているビューポートの中心点を通る範囲を指定し得る。デバイスは、第1のビューポートサイズ1102と第2のビューポートサイズ1108との間の差がしきい値以上であるとき、ビューポート切替えイベントが起こると判定し得る。第1のビューポートサイズ1102および第2のビューポートサイズ1108は、第1のビューポートについてはazimuth_range1104および/またはelevation_range1106によって、ならびに第2のビューポートについてはazimuth_range1110および/またはelevation_range1112によって判定され得る。デバイスは、第1のビューポートおよび第2のビューポートがそれぞれ安定していると判定された後に、ビューポート切替えイベントの前のfirst_viewportサイズ1102、およびビューポート切替えの後のsecond_viewportサイズ1108を判定し得る。たとえば、デバイスは、第1のビューポートサイズ1102がビューポート切替えイベントの前にnミリ秒以内に2-16度のm単位よりも大きく変化しないとき、第1のビューポートが安定していると判定し得、デバイスは、second_viewportサイズ1108がビューポート切替えイベントの後にnミリ秒以内に2-16度のm単位よりも大きく変化しないとき、第2のビューポートが安定していると判定し得る。
デバイスは、デバイスの運動の変化の後に、表示されるビューポートの品質が品質しきい値に回復するのに要するレイテンシまたは時間を示すためのメトリックを生成し得る。たとえば、デバイスが第1のビューポートから第2のビューポートに運動した後に、デバイスは、たとえば、第2のビューポートの品質が品質しきい値に達したときの、第1のビューポートと第2のビューポートとの間の時間間隔に基づいて、品質ビューポート切替えレイテンシメトリックを判定し得る。たとえば、第2のビューポートの品質が、第1のビューポートの品質、または第1のビューポートの品質よりも良いおよび/もしくはそれより高い品質に達したとき、品質ビューポート切替えレイテンシメトリックは、等品質ビューポート切替えレイテンシメトリックによって表され得る。等品質ビューポート切替えレイテンシメトリックは、品質ビューポート切替えレイテンシメトリックのサブセットであり得る。品質ビューポート切替えレイテンシメトリックについて、第2のビューポートの品質は、第1のビューポートの品質に達することも、達しないこともある。第2のビューポートの品質は、第1のビューポートの品質より低いが、品質しきい値より高いことがあり得る。デバイスは、品質しきい値を用いて構成されるか、または(たとえば、メトリックサーバから)品質しきい値を受信し得る。デバイスは、品質しきい値を判定もしくは指定し、および/または品質しきい値をメトリックサーバに報告し得る。
品質しきい値は、複数(たとえば、2つ)の品質の間の差を使用して定義され得る。たとえば、品質しきい値は、第1のビューポートの品質と第2のビューポートの品質との間の差(たとえば、品質または品質ランキングの絶対差、または絶対値の間の差)がしきい値以下であるとき、達し得る。
デバイスは、現在のビューポートから異なるビューポートに切り替わったとき、およびその異なるビューポートが現在のビューポートと同じまたは同様のプレゼンテーション品質に達するまでデバイスが経験するレイテンシを示すためのメトリックを生成し得る。たとえば、デバイスは、等品質ビューポート切替えレイテンシメトリックを判定し得る。メトリック「EQViewportSwitchingLatency」の等品質ビューポート切替えレイテンシメトリック報告は、現在のビューポートから異なるビューポートに切り替わったとき、およびその異なるビューポートが現在のビューポートと同じもしくはそれより高い品質に達するまで、またはその異なるビューポートが、品質しきい値を超えるが現在のビューポートの品質より低い品質レベルに達するまでデバイスが経験するレイテンシを示し得る。メトリックサーバは、たとえば、閲覧者のQoEを測定するために等品質ビューポート切替えレイテンシメトリックを使用し得る。表6は、等品質ビューポート切替えレイテンシメトリックに関する例示的な報告を示す。デバイスまたはメトリックサーバは、OP3および/またはOP4から等品質ビューポート切替えレイテンシメトリックおよび/または表6に示されているエントリのうちの1つもしくは複数を導出し得る。
表6は、等品質ビューポート切替えレイテンシメトリックに関する報告の例示的なコンテンツを示す。
Figure 0007333802000006
たとえば、ユーザは、品質(たとえば、高品質(HQ))においてビューポートAを見得るが、そのとき、ユーザは、ビューポートBを見るために彼/彼女の頭部を運動させる。ビューポートBの品質は、異なる品質(たとえば、ビューポート適応ストリーミングにより低品質(LQ))であり得る。動き検出、ビューポート要求スケジューリング、およびネットワーク条件のうちの1つまたは複数に応じて、ビューポートBの品質をLQからHQに高めるのに時間を要し得る。ユーザは、ビューポートBの品質がLQからHQに高まる前に、彼女の頭部をビューポートCに運動させ得る。品質ビューポート切替えレイテンシメトリックは、ディスプレイ(たとえば、HMDディスプレイまたは従来のディスプレイ)上での、第1の品質におけるビューポートAのプレゼンテーションから、品質しきい値より高い品質におけるビューポートBおよび/またはビューポートCのプレゼンテーションへの切り替わりの間の時間に対応し得る。等品質ビューポート切替えレイテンシメトリックは、ディスプレイ(たとえば、HMDディスプレイまたは従来のディスプレイ)上での、第1の品質におけるビューポートAのプレゼンテーションから、ビューポートAの第1の品質と同じであるかまたはそれより高い品質におけるビューポートBおよび/またはビューポートCのプレゼンテーションへの切り替わりの間の時間に対応し得る。品質しきい値は、第1の品質ビューポートA未満であり得る。品質しきい値は、ビューポートAの第1の品質とビューポートBおよび/またはビューポートCの品質との間の差(たとえば、品質または品質ランキングの絶対差、または絶対値の間の差)がしきい値以下であるとき、達し得る。
メトリック「EQViewportSwitchingLatency」のエントリ(たとえば、エントリ「並進」)は、複数(たとえば、3)の自由度、前/後、上/下、左/右でHMD位置並進を含み(たとえば、指定し)得、および/またはベクトル(たとえば、定数ベクトル(Δx、Δy、Δz))によって表され得る。エントリ(たとえば、エントリ「回転」)は、複数(たとえば、3)の自由度(たとえば、ヨー、ピッチおよびロール)でHMD円運動を含み(たとえば、指定し)得、ならびに/またはベクトル(たとえば、定数ベクトル(Δヨー、Δピッチ、Δロール))によって表され得る。エントリ(たとえば、エントリ「quality_ranking」)は、(たとえば、終了点における)ビューポート切替えの後にユーザに対してレンダリングされているビューポートの品質を含み(たとえば、指定し)得る。ビューポートの品質は、プレゼンテーションの品質を示し得る。品質ランキング値がより高くなるほど、プレゼンテーションの品質はより低くなる。エントリ(たとえば、エントリ「レイテンシ」)は、入力された並進および/または回転運動と、VRプレゼンテーション上で更新される対応するビューポートの品質との間の遅延を含み(たとえば、指定し)得る。
ビューポートは複数の領域によってカバーされ得る。ビューポートは、1つまたは複数のDASHビデオセグメントの1つまたは複数の部分を備え得る。たとえば、ビューポートは、複数のDASHビデオセグメントに基づく複数の領域によってカバーされ得る。領域は、1つもしくは複数のDASHビデオセグメント、または1つもしくは複数のDASHビデオセグメントの1つもしくは複数の部分から組み立てられ得る。ビューポートは品質によって定義され得る。領域(たとえば、各領域)は、たとえば、1つまたは複数の領域的品質ランキング(RWQR)に基づく品質ランキング値によって示される、品質によって定義され得る。領域は、シングルレイヤ表現の独立してコーディングされたサブピクチャ(たとえば、ビデオセグメント)および/または領域的品質ランキング領域であり得る。デバイスまたはメトリックサーバは、領域の品質の平均として、(たとえば、品質ランキング値によって示される)ビューポートの品質を導出し得る。領域の品質は、領域の品質ランキング値、またはビューポートがそれらから組み立てられる領域の品質ランキング値の中の最小もしくは最大品質ランキング値に基づいて判定され得る。ビューポートの品質は、たとえば、ビューポートがそれから組み立てられる各それぞれの領域またはビデオセグメントの品質の加重平均として計算され得る。ビューポートの品質は、たとえば、ビューポートがそれから組み立てられる各それぞれの領域またはビデオセグメントの(たとえば、品質ランキング値によって示される)品質の加重平均として計算され得る。重みは、各それぞれの領域によってカバーされているビューポートのエリア、サイズ、および/または部分に対応し得る。ビューポートの品質は、品質レベル、品質値、および/または品質ランキングによって示され得る。
図12は、サブピクチャベースのストリーミングの一例である。サブピクチャは、1つもしくは複数のDASHビデオセグメント、またはDASHビデオセグメントの1つもしくは複数の部分に対応し得る。図12では、ビューポートは4つのサブピクチャから構成され得、各サブピクチャは、(たとえば、品質ランキング値によって示される)そのサブピクチャ自体の品質を有する。たとえば、サブピクチャA1202の品質ランキング値は1であり得、サブピクチャB1204の品質ランキング値は3であり得、サブピクチャC1206の品質ランキング値は2であり得、サブピクチャD1208の品質ランキング値は5であり得る。サブピクチャのカバレージは、対応するサブピクチャによってカバーされるビューポートエリアの割合によって表され得る。図12に示されているように、ビューポートエリアの70%はサブピクチャA1202によってカバーされ得、ビューポートエリアの10%はサブピクチャB1204によってカバーされ得、ビューポートエリアの15%はサブピクチャC1206によってカバーされ得、ビューポートエリアの5%はサブピクチャD1208によってカバーされ得る。ビューポートの品質は、たとえば、式3を使用して計算され得る。品質(ビューポート)は、ビューポートの品質ランキング値を表し得る。品質(サブピクチャ(n))は、サブピクチャnの品質ランキング値を表し得る。カバレージ(サブピクチャ(n))は、ビューポート中のサブピクチャnのエリアの割合を表し得る。
Figure 0007333802000007
式4は、式3を使用して導出される図12におけるビューポートの品質ランキング値の一例を提供する。
品質(ビューポート)=品質(サブピクチャA)*カバレージ(サブピクチャA)+品質(サブピクチャB)*カバレージ(サブピクチャB)+品質(サブピクチャC)*カバレージ(サブピクチャC)+品質(サブピクチャD)*カバレージ(サブピクチャD)=1*0.7+3*0.1+2*0.15+5*0.05=1.55 式4
図13は、ビューポートが高品質領域(たとえば、領域A1306)と低品質領域(たとえば、領域B1304)の両方によってカバーされる領域的品質ランキング(RWQR)符号化事例の一例である。領域品質は、対応するRWQR値によって示され得る。領域A1306のRWQR値は1であり得る。領域B1304のRWQR値は5であり得る。ビューポートの90%が領域Aによってカバーされ得、ビューポートの10%が領域B1304によってカバーされ得る。ビューポートの品質ランキング値は、たとえば、式5を使用して計算され得る。
品質(ビューポート)=品質(領域A)*カバレージ(領域A)+品質(領域B)*カバレージ(領域B)=1*0.9+5*0.1=1.4 式5
品質ビューポート切替えイベントは、デバイスによってレンダリングされている第2のビューポートの品質がしきい値品質より高いときに識別され得る。たとえば、品質ビューポート切替えイベントは、レンダリングされている第2のビューポートの品質ランキング値が、切替えの前にレンダリングされている第1のビューポートの品質ランキング値以下であるときに識別され得る。等品質ビューポート切替えイベントは、レンダリングされている第2のビューポートの品質ランキング値が、ビューポート切替えイベントの前の第1のビューポートの品質ランキング値よりも小さいときに識別され得る。
EQViewportSwitchingLatencyは、配向変化について等品質ビューポート切替えイベントに関連するレイテンシを定義するために使用され得る。EQViewportSwitchingLatencyは、デバイス(たとえば、デバイスのセンサー)が第1のビューポートから第2のビューポートへのユーザ配向変化を検出する時間(たとえば、本明細書のビューポート切替えは等品質ビューポート切替えとして識別され得る)と、第2のビューポートが、第1のビューポートの品質と同じまたは同様の品質でユーザに対して完全にレンダリングされる時間との間の時間間隔であり得る。
図14は、等品質ビューポート切替えイベントの一例を示す。デバイスは、サブピクチャA~Fなど、複数のサブピクチャ(たとえば、DASHビデオセグメント)を受信し、復号し得る。サブピクチャA~Fは、それぞれのビデオセグメント、および(たとえば、品質ランキング値によって示される)それぞれの品質に対応し得る。デバイスは、サブピクチャBおよびCを使用してビューポート#1を生成し得る。デバイスは、ユーザのためにデバイスのディスプレイ上にビューポート#1をレンダリング(たとえば、表示)し得る。デバイスまたはメトリックサーバは、サブピクチャBおよびCの品質ランキング値からビューポート#1の品質ランキング値を導出し得る。サブピクチャBおよびCの品質ランキング値は、ビューポート適応ストリーミングシナリオでは、サブピクチャA、D、EおよびFの品質ランキング値よりも(たとえば、通常)低くなり得る。図14(b)に示されているように、デバイスが運動し、ユーザ閲覧配向がビューポート#1からビューポート#2に運動したとき、ビューポート#2は、サブピクチャBおよびCによってカバーされ得る。ビューポート#2のサブピクチャBおよびCは、ビューポート#1を作成するために使用されるサブピクチャBおよびCと同じであるかまたは異なり得る。ビューポート#2は、ビューポート#1の品質と同じ品質を有し得るか、またはビューポート#2は、ビューポート#1の品質とは異なる品質を有し得る。デバイスまたはメトリックサーバは、サブピクチャBおよびCの品質ランキング値からビューポート#2の(たとえば、品質ランキング値によって示される)品質を導出し得る。
図14(c)に示されているように、デバイスが運動し、ユーザ閲覧配向をビューポート#2からビューポート#3に運動させたとき、ビューポート#3は、サブピクチャCおよびDによってカバーされ得る。ビューポート#3を生成するために使用されるサブピクチャCおよびDは、クライアントがビューポート#1および/またはビューポート#2を提示するときにクライアントによって要求されるサブピクチャCおよびDと同じであるかまたは異なり得る。サブピクチャCおよびDは、ビューポート#1およびビューポート#2を生成するために使用されないことがある。サブピクチャCおよびDは、変化(たとえば、急激な閲覧配向変化)を扱うことを要求され得る。デバイスまたはメトリックサーバは、サブピクチャCおよびDの品質ランキングからビューポート#3の品質を導出し得る。デバイスは、ビューポート#3の品質を、ビューポート#1、ビューポート#2の品質、および/またはビューポート#2の品質より高いがビューポート#1の品質より低い品質しきい値と比較し得る。デバイスは、たとえば、ビューポート#3の品質がビューポート#1の品質より低いかまたはしきい値より低いとデバイスが判定した場合、より良い品質をもつサブピクチャDの異なる(たとえば、新しい)表現を要求し得る。より良い品質は、たとえば、サブピクチャDの元の品質ランキング値よりも低品質のランキング値によって表され得る。デバイスは、たとえば、サブピクチャDの異なる(たとえば、新しい)表現が受信され、ビューポート#3を生成するために使用されたとき、ビューポート#3の品質が品質しきい値より高い、またはビューポート#1の品質以上であるとデバイスが判定したとき(たとえば、等品質ビューポート切替えイベント)、品質ビューポート切替えイベントを判定および/または報告し得る。
図15は、たとえば、ズーム動作中に等品質ビューポート切替えレイテンシを測定するための360°ズームの例を示す。デバイスは、サブピクチャA、B、C、D、E、およびFなど、複数のサブピクチャを要求し、受信し得る。デバイスは、1510に示されているようにサブピクチャBおよびCを使用して第1のビューポートを生成し得る。サブピクチャBおよびCは高品質サブピクチャであり得る。デバイスは、1520に示されているようにズームへの入力を受信し、応答して、第2のビューポートを生成し、表示し得る。第2のビューポートは、サブピクチャA、B、CおよびDにわたる球面領域を含み得る。サブピクチャBおよびCは高品質であり得、サブピクチャAおよびDは低品質であり得る。したがって、第2のビューポートは、第1のビューポートの品質より低い品質によって定義され得る。デバイスは、1530に示されているようにより高い品質(たとえば、より小さい品質ランキング値)をもつサブピクチャAおよびDの異なる(たとえば、新しい)表現を要求し、サブピクチャAおよびDを低品質から高品質に切り替え、図15(c)に示されているように、第2のビューポート全体を高品質で生成し得る。
デバイスは、たとえば、等品質ビューポート切替えイベントを判定するために以下のうちのどの1つまたは複数が使用されるかに応じて、たとえば、図15(a)と図15(c)との間の時間間隔、または図15(b)と図15(c)との間の時間間隔に基づいて、EQViewportSwitchingLatencyメトリックを生成し得る。EQViewportSwitchingLatencyは、第2のビューポート位置におけるユーザの閲覧配向のセンサー検出からの(たとえば、ミリ秒での)時間、および第2のビューポートコンテンツが、以前にレンダリングされている第1のビューポートの品質以上である品質でユーザに対して完全にレンダリングされる時間として測定され得る。EQViewportSwitchingLatencyは、第2のビューポート位置におけるユーザの閲覧配向のセンサー検出からの(たとえば、ミリ秒での)時間、および第2のビューポートコンテンツが、第1のビューポートがレンダリングされたときの第2のビューポートの品質よりも高い品質でユーザに対して完全にレンダリングされる時間として測定され得る。
メトリック計算および報告モジュールは、(たとえば、RWQR値の代わりに)対応する表現の相対的品質を判定するためにDASH MPD中でシグナリングされる表現ビットレートおよび/または解像度を使用し得る。デバイス(たとえば、メトリック計算および報告モジュール)は、ビューポートをカバーするために要求、復号、またはレンダリングされている表現(たとえば、各表現)のビットレートおよび/または解像度からビューポートの品質を導出し得る。表現が提示されないとき、表現の品質は、デフォルトで最も高い品質ランキング値として導出され得る。
デバイス(たとえば、VRデバイス)は、初期レイテンシメトリックおよびメッセージを生成し、報告し得る。デバイスは、頭部動きの開始と、VRドメインにおける対応するフィードバックのそれとの間の時間差を示すためのメトリックを使用し得る。メトリックは、(たとえば、HMDが使用されるときの)初期レイテンシメトリックを含み得る。ビューポート切替えレイテンシと比較して、初期レイテンシは、(たとえば、センサーなどに基づく)HMD依存の遅延を有することがある。表7は、初期レイテンシメトリックに関する報告の例示的なコンテンツを示す。デバイスまたはメトリックサーバは、OP3および/またはOP4から初期レイテンシメトリックおよび/または表7に示されているエントリのうちの1つもしくは複数を導出し得る。
表7は、初期レイテンシメトリックに関する報告の例示的なコンテンツを示す。
Figure 0007333802000008
デバイスは、頭部動きの停止と、VRドメインにおける対応するフィードバックのそれとの間の時間差を示すためのメトリックを使用し得る。メトリックは、(たとえば、HMDを使用しているときの)整定レイテンシメトリックを含み得る。表8は、整定レイテンシメトリックに関する報告の例示的なコンテンツを示す。デバイスまたはメトリックサーバは、OP3および/またはOP4から整定レイテンシメトリックおよび/または表8に示されているエントリのうちの1つもしくは複数を導出し得る。
Figure 0007333802000009
デバイス(たとえば、VRデバイス)は、たとえば、あらゆる閲覧者頭部動きおよび/またはビューポート変化について個々にレイテンシメトリックを報告し得る。デバイスは、たとえば、ある間隔で、所定の時間期間にわたって平均値を計算および/または報告し得る。メトリックサーバは、レイテンシメトリックに基づいて異なるVRデバイスのレイテンシ性能を測定し得る。メトリックサーバは、VRデバイス固有の特徴がどのくらいユーザ満足度に影響を及ぼすのかを判定するために、レイテンシメトリックを、コンテンツタイプ、総閲覧時間、およびビューポート変化の頻度のうちの1つまたは複数を含む他のデータと相関させ得る。メトリックサーバは、たとえば、HMDをベンチマークしおよび/またはベンダーにフィードバックを提供するために、初期レイテンシおよび整定レイテンシを使用し得る。
デバイス(たとえば、HMD、電話、タブレットまたは、パーソナルコンピュータ)は、1つまたは複数のDASHビデオセグメントを要求し、異なる品質をもつ様々なビューポートとしてDASHビデオセグメントを表示し得る。デバイスは、異なるタイプのレイテンシを判定し、レイテンシメトリックとしてレイテンシを報告し得る。デバイスは、現在のビューポートを表示することと、異なる時間点との間の時間差に基づいてレイテンシメトリックを判定し得る。時間点は、デバイスが運動し始めること、デバイスが運動するのを中止すること、デバイスが運動し始めたとプロセッサが判定すること、デバイスが運動するのを停止したとプロセッサが判定すること、または異なるビューポートおよび/もしくは異なる品質の表示のうちの1つまたは複数を含み得る。
図16は、DASHクライアント(たとえば、VRデバイス)によって報告され得る例示的なレイテンシ間隔を示す。ユーザの頭部/デバイス(たとえば、HMD)は、時間t0においてビューポート#1からビューポート#2に運動し始め得る。ユーザは、t0において(たとえば、HQで)ビューポート#1を見得る。デバイスは、t1(t1>=t0)においてビューポート#1からビューポート#2への運動を検出し得、および/またはHMDの運動に基づいて働き得る。ビューポート#1からビューポート#2への運動は、ユーザのQoEに影響を及ぼし得る。たとえば、デバイスは、(たとえば、HMDディスプレイ上で)そのような頭部運動を反映し得、ビューポート#1の品質は、t1の後に低下し得る。t0とt1との間のレイテンシは、異なるデバイスに応じて(たとえば、センサー、プロセッサなどにより)変動し得る。動き(たとえば、頭部運動)が微細である(たとえば、しきい値よりも小さい)場合、デバイスは動きを検出し得るが、動きに基づいて働かなくてよい。頭部またはデバイスは、t2においてビューポート#2上に停止し得る。デバイスは、t3(t3>=t2)においてビューポート#2を検出し、ビューポート#2に基づいて働き得る。たとえば、t3において、デバイスは、HMDが、所定の時間量(たとえば、nミリ秒)の間、ビューポート#2に関連する位置において停止したと判定し得る。ユーザは、t4においてHMD(たとえば、HMDのディスプレイ)のビューポートシフトおよび/または品質変化を観測し得る。t4は、時間的にt2よりも小さいか、またはそれの前にあり得る(たとえば、ユーザは彼の頭部を運動させたままであり得る)。ビューポート変化は(たとえば、t5において)完了し得、デバイスは、t5において初期の低品質ビューポートにおいて表示し得る。デバイスにおいて表示される品質が回復し得る。たとえば、デバイスは、ビューポート#2を生成するためにより高品質で1つまたは複数のビデオセグメント(たとえば、DASHセグメント)を要求し得る。したがって、ビューポート#2の品質は、高品質(たとえば、t6(t6>=t5)において、以前のビューポート#1の品質と同じ品質、または以前のビューポート#1より高い品質)になり得る。デバイス(たとえば、メトリック収集および処理(MCP)モジュール)は、OP3から入力タイミング情報を、および/またはOP4においてビューポートプレゼンテーションを収集し得る。デバイス(たとえば、MCP要素)は、たとえば、時間t1~t6のうちの1つまたは複数に基づいて、(たとえば、図7のクライアント参照モデルに示されているように)メトリックサーバに報告されるべき、対応するレイテンシメトリックを導出し得る。
様々なレイテンシパラメータは、たとえば、VRデバイスによって測定され得る。ビューポート切替えレイテンシは、t5とt1との間の時間差に対応し得る。等品質ビューポート切替えレイテンシは、t6とt1との間の時間差に対応し得る。初期レイテンシはt4-t0に対応し得る。整定レイテンシは、t5とt2との間の時間差に対応し得る。一実施形態では、時間点(たとえば、図16における特定の時間)がデバイスによって記録および/または報告され得る。たとえば、デバイスはメトリック報告を生成し得、メトリック報告は、頭部動きを検出するとt0、t1、t2、t3、t4、t5、およびt6を示し得る。
デバイスは、ユーザのロケーション上で指示するためのメトリックを使用し得る。メトリックは、たとえば、表9に記載されているように、6DoF座標メトリックを含み得る。デバイス(たとえば、VRデバイス)は、たとえば、メトリックサーバに、6DoF座標メトリックを報告し得る。ローカルセンサーは、ユーザのロケーションを提供し得る。デバイスは、ユーザのロケーションおよび/またはHMDビューポートデータに基づいて6DoF座標を抽出し得る。6DoF位置は、ユーザのHMDの3D座標(たとえば、X、Y、Z)を介して表され得る。6DoF位置は、VR空間中のコントローラ位置と、ユーザのHMDまたはコントローラの相対球面座標(たとえば、ヨー、ピッチおよびロール、球面座標中心はX、YおよびZであり得る)とを介して表され得る。デバイスまたはユーザは、ユーザが複数のコントローラを装備しているとき、複数の6DoF位置をシグナリングし得る。表9は、6DoF座標に関する報告の例示的なコンテンツを示す。デバイスまたはメトリックサーバは、OP3から6DoF座標メトリックおよび/または表9に示されているエントリのうちの1つもしくは複数を導出し得る。
Figure 0007333802000010
デバイス(たとえば、VRデバイス)は視線データを報告し得る。メトリックサーバは、(たとえば、広告をターゲットにする)分析のために視線データを使用し得る。表10は、視線データに関する報告の例示的なコンテンツを示す。デバイスまたはメトリックサーバは、OP3から視線データメトリックおよび/または表10中に含まれるエントリのうちの1つもしくは複数を導出し得る。デバイスは、タイルベースストリーミングをどのように構成および/または改善すべきか(たとえば、タイル構成を選定すること)を決定するために視線データを使用し得る。
Figure 0007333802000011
デバイス(たとえば、VRデバイス)はフレームレートメトリックを報告し得る。レンダリングされるフレームレートは、ネイティブフレームレートとは異なり得る。表11は、レンダリングされるフレームレートに関する報告の例示的なコンテンツを示す。デバイスまたはメトリックサーバは、OP4からフレームレートメトリックおよび/または表11中に含まれるエントリのうちの1つもしくは複数を導出し得る。
Figure 0007333802000012
パケット/フレームロス比、フレームエラー比、および/またはフレーム廃棄比などの一般システムサービス品質(QoS)メトリックまたはパラメータは、(たとえば、従来のビデオストリーミングの)サービス品質を表し得る。一般QoSメトリックは、何らかのストリーミングについて(たとえば、タイルベースストリーミングなどのビューポート依存360度ビデオストリーミングについて)VRユーザエクスペリエンスを反映しないことがある。従来のビデオストリーミングでは、一部または全部のパケットまたはフレームは、ユーザエクスペリエンスに対して同様のまたは等しい影響を有し得る。タイルベースストリーミングなどのビューポート依存360度ビデオストリーミングでは、ユーザエクスペリエンスは、ユーザに提示されるビューポートによって判定され(たとえば、部分的にまたは主に判定され)得る。タイルベースストリーミングなどのビューポート依存360度ビデオストリーミングでは、他の非ビューポートタイルのパケットまたはフレームロスは、ユーザエクスペリエンスに影響を及ぼさないことがある。たとえば、ユーザは、他の非ビューポートタイルを見ないことがある。ユーザが見るビューポートタイルのパケットまたはフレームロスは、ユーザエクスペリエンスに影響を及ぼし(たとえば、それに有意な影響を有し)得る。一般QoSメトリックはVRユーザエクスペリエンスを反映しないことがある。
デバイスは、ビューポートロスイベントを示すためのメトリックを使用し得る。メトリックは、たとえば、表12に記載されているビューポートロスメトリックを含み得る。デバイスは、(たとえば、タイルベースストリーミングなどのビューポート依存360度ビデオストリーミングの)ユーザエクスペリエンス分析のためのビューポートロスイベントを報告するためにビューポートロスメトリックを使用し得る。たとえば、クライアントは、ロスイベントが、ユーザに表示されるビューポートに影響を及ぼしたか否かを判定し得、および/またはViewportLossメトリックを介して、表示されるビューポートに影響を及ぼしたロスイベントのみを報告し得る。ビューポートロスメトリックは、表12に示されているように、ロスが観測された時間を示すタイミング情報および/または他のロス情報のうちの1つまたは複数を含み得る。デバイスまたはメトリックサーバは、OP1および/またはOP3からビューポートロスメトリックおよび/または表12中に含まれるエントリのうちの1つもしくは複数を導出し得る。
Figure 0007333802000013
ViewportLossメトリックは、ビューポートセグメントロスのイベントを報告し、および/またはロスステータスに関する情報もしくは追加の情報を提供し得る。エントリ(たとえば、「sourceUrl」のエントリ)は、失われたビューポートセグメントのURLを示し(たとえば、指定し)得る。エントリ(たとえば、「lossreason」のエントリ)は、たとえば、本明細書で説明される理由のうちの1つまたは複数を含む、セグメントロスの原因(たとえば、原因)を示し得る。
ViewportLossメトリックのエントリ(たとえば、エントリ「サーバエラー」)は、サーバがビューポートセグメント要求(たとえば、特定のビューポートセグメント要求)を遂行することに失敗する理由を示し(たとえば、指定し)得る。HTTP応答ステータス5xxサーバエラーコードのリスト、たとえば、「ゲートウェイタイムアウト」の504、「サポートされないHTTPバージョン」の505などが使用され得る。ViewportLossメトリックのエントリ(たとえば、エントリ「クライアントエラー」)は、クライアントが(たとえば、特定の)ビューポートセグメントを要求したときのクライアントエラーを示し(たとえば、指定し)得る。HTTP応答ステータス4xxクライアントエラーコードのリスト、たとえば、「無認可」の401、「見つからない」の404などが使用され得る。ViewportLossメトリックのエントリ(たとえば、エントリ「パケットロス」)は、sourceUrlに関連するビューポートセグメントの1つまたは複数のパケットがそれらの宛先に達することに失敗することを示し(たとえば、指定し)得る。ViewportLossメトリックのエントリ(たとえば、エントリ「パケットエラー」)は、sourceUrlに関連するビューポートセグメントの1つまたは複数のパケットが無効であることを示し(たとえば、指定し)得る。ViewportLossメトリックのエントリ(たとえば、エントリ「パケット廃棄」)は、sourceUrlに関連するビューポートセグメントの1つまたは複数のパケットが廃棄されることを示し(たとえば、指定し)得る。ViewportLossメトリックのエントリ(たとえば、エントリ「エラー」)は、詳細な(たとえば、さらに詳細な)エラーメッセージを提供し得る。たとえば、フィールド「エラー」は、「ゲートウェイタイムアウト」に対応する504、「サポートされないHTTPバージョン」に対応する505、「無認可」に対応する401、「見つからない」に対応する404など、HTTP応答エラーコードを提供し得る。本明細書で説明されるViewportLossメトリックを用いて、メトリックサーバは、VRユーザエクスペリエンスに対するネットワーク条件の影響を分析し、および/または根本原因を追跡することが可能であり得る。
デバイス(たとえば、VRデバイス)は、精度および/または感度などのHMD関係のメトリックを生成および/または報告し得る。デバイスは、物理的運動と、VRドメインにおける視覚的フィードバックとの間の角度位置決め一貫性を度に関して示すためのメトリックを使用し得る。メトリックは精度メトリックを含み得る。表13は、HMD精度に関する報告の例示的なコンテンツを示す。デバイスまたはメトリックサーバは、OP3および/またはOP5から精度メトリックおよび/または表13中に含まれるエントリのうちの1つもしくは複数を導出し得る。
Figure 0007333802000014
たとえば、時間tにおいて、ユーザの頭部は座標Aに向けられることがあるが、ユーザに表示される像は座標Bを反映することがある。精度メトリックは差(たとえば、座標B-座標A)に対応し得る。たとえば、ユーザは、彼/彼女の頭部を右側に3度運動させることがあり、HMD上に表示される像は、ユーザが右側に2.5度および下に0.2度運動させたことを反映することがある。精度メトリックは、測定された差、たとえば、水平0.5度差および垂直0.2度差を示し得る。メトリックはこの差を報告し得る。差はΔ座標の形式(たとえば、ベクトル)であり得る。差は絶対差の形式(たとえば、単一の値)であり得る。HMDおよび/またはコントローラが精度メトリックを提供し得る。HMDはVRデバイス中に備えられ得る。そのようなΔ値は、センサーとユーザとの間の距離に応じて変動し得る。
デバイスは、微細な動きを知覚し、その後、ユーザにフィードバックを提供するために、HMD慣性センサーの能力を示すためのメトリックを使用し得る。メトリックは感度メトリックを含み得る。表14は、HMD感度に関する報告の例示的なコンテンツを示す。デバイスまたはメトリックサーバは、OP3および/またはOP5から感度メトリックおよび/または表14中に含まれる1つもしくは複数のエントリを導出し得る。
Figure 0007333802000015
デバイスおよび/またはメトリックサーバは、様々な仕方で精度および感度を使用し得る。コンテンツプロバイダまたはサーバは、HMDの精度および/または感度に基づいてカスタマイズされたコンテンツ推奨をユーザに供給し得る。コンテンツプロバイダ、サーバ、またはデバイスは、VRデバイスモデル/ブランドレベルで精度および/もしくは感度メトリックを収集し得、ならびに/またはメトリックを(たとえば、VRデバイスの)製造業者と共有して、問題を修正しおよび/またはデバイスを改善し得る。
デバイス(たとえば、VRデバイス)は、PERメッセージとして精度および/または感度を送り得る。DANEは、(たとえば、VRデバイスを含む)DASHクライアントに精度および/または感度メッセージを送り得る。デバイスまたはDANEは、選択されたコンテンツのための適切な精度/感度設定を、構成可能なHMDに送り得る。選択されたコンテンツについての閲覧者の閲覧エクスペリエンスが拡張され得る。表15は、精度メッセージの例示的なコンテンツを示す。表16は、感度メッセージの例示的なコンテンツを示す。
Figure 0007333802000016
Figure 0007333802000017
デバイス(たとえば、VRデバイス)は、ROI関係のメッセージを生成し得る。ROIメッセージはPERタイプであり得る。ROIメッセージは、所望のROIを閲覧者に示し得る。DASHクライアントは、所望のROIを事前にプリフェッチし得る。ROIメッセージは、所望のROIを事前にプリフェッチするようにDASHクライアントに指示し得る。ROIは時間とともに変化し得る。デバイスまたはコンテンツプロバイド(provide)は、ビューポートビュー統計からROIを推論し得る。デバイスまたはコンテンツプロバイドは、ROI(たとえば、ディレクターズカット)を規定し得る。デバイスまたはコンテンツプロバイドは、リアルタイムの分析に基づいてROIを判定し得る。DANEは、DASHクライアントにPERメッセージとしてROI情報を送り得る。ROI情報に基づいて、DASHクライアントは、サーバからどのタイル/セグメント/バイト範囲をフェッチすべきかを判定し得る。たとえば、デバイスまたはメトリックサーバは、OP4からROIメッセージを導出し得る。
ROIは、アピール、重要性または品質に関して高い優先度のVRのエリア(たとえば、事前に決定を行うためのユーザへのヒント)を示し得る。ユーザは、一貫して前面を見ることがある。ROIメッセージとともに、ユーザは、別のエリアを見るようにプロンプトされ得るが、ビデオの前面を依然として見得る。
DANEは、プリフェッチングおよび改善されたキャッシング性能のためにPEDメッセージとしてROI情報を受信し得る。PEDメッセージにおいて、ROIが提供された場合、DANEは、どのタイル/セグメント/バイト範囲がフェッチされるべきかを判定し得る。PEDメッセージにおいて、特定のURLが提供され得る。ROI情報メッセージはDANEから別のDANEに送られ得る。表17は、ROI情報メッセージの例示的なコンテンツを示す。
Figure 0007333802000018
ROI情報は、時間指定メタデータトラック中でまたはイベントストリーム要素中で搬送されることが可能である。
図17は、DANEとDASHクライアントとの間またはDASHクライアントとメトリックサーバとの間のSANDメッセージのメッセージフローを示す。DANE1704(たとえば、オリジンサーバ)は、DANE1706(たとえば、CDC/キャッシュ)にビデオセグメントを送り得る。DANE1706(たとえば、CDC/キャッシュ)は、DASHクライアント1708にビデオセグメントを送り得る。DASHクライアント1708は、メトリックサーバ1702にメトリックを送り得る。メトリックは、ビューポートビュー、rendingdevice、viewportswitchinglatency、initiallatency、settlinglatency、6DoFCoordinates、GazeData、フレームレート、精度、感度などのうちの1つまたは複数を含み得る。DANE1704(たとえば、オリジンサーバ)は、DASHクライアント1708に情報(たとえば、initialrenderingorientation、精度、感度、ROIなど)を送り得る。DANE1706(たとえば、CDC/キャッシュ)は、DASHクライアント1708に情報(たとえば、initialrenderingorientation、精度、感度、ROIなど)を送り得る。DASHクライアント1708は、DANE1706(たとえば、CDC/キャッシュ)またはDANE1704(たとえば、オリジンサーバ)に情報(たとえば、レンダリングデバイス、viewportswitchinglatency、framerateなど)を送り得る。
デバイスは、本明細書のメトリックおよび/またはメトリックの変化を検出し、導出し、ならびに/またはメトリックサーバ上での分析および/もしくは計算のためにメトリックサーバに報告し得る。VRデバイス、メトリックサーバ、および/またはコントローラは、検出、導出、分析、および/または計算のうちの1つまたは複数を実施し得る。
上記では、特徴および要素について特定の組合せにおいて説明されたが、各特徴または要素は、単独でまたは他の特徴および要素との任意の組合せにおいて使用されることが可能であることを当業者は諒解されよう。加えて、本明細書で説明された方法は、コンピュータまたはプロセッサによる実行のためにコンピュータ可読媒体に組み込まれたコンピュータプログラム、ソフトウェア、またはファームウェアにおいて実装され得る。コンピュータ可読媒体の例は、(ワイヤードまたはワイヤレス接続を介して送信される)電子信号およびコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、限定はされないが、読取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよびリムーバブルディスク、磁気光学媒体などの磁気媒体、ならびにCD-ROMディスク、およびデジタル多用途ディスク(DVD)などの光媒体を含む。WTRU、WTRU、端末、基地局、RNC、または任意のホストコンピュータにおいて使用するための無線周波数トランシーバを実装するために、ソフトウェアに関連するプロセッサが使用され得る。

Claims (10)

  1. メディアコンテンツを受信し表示するためのデバイスであって、
    センサーコンポーネントと結合された第1のインターフェースであって、ユーザの配向と関連付けられた第1のメトリックデータであり、ユーザの頭部動きを示すデータを含む前記第1のメトリックデータを、前記センサーコンポーネントから、受信するように構成された前記第1のインターフェースと、
    レンダリングコンポーネントと結合された第2のインターフェースであって、動的適応ストリーミングオーバーHTTP(DASH)ビデオセグメントをレンダリングすることと関連付けられた第2のメトリックデータであり、メディアサンプルプレゼンテーションタイムスタンプを含む前記第2のメトリックデータを、前記レンダリングコンポーネントから、受信するように構成された前記第2のインターフェースと、
    プロセッサと
    を備え、前記プロセッサは、
    前記センサーコンポーネントと結合された前記第1のインターフェースを介して、前記ユーザの配向と関連付けられた前記第1のメトリックデータを受信し、
    前記レンダリングコンポーネントと結合された前記第2のインターフェースを介して、前記DASHビデオセグメントをレンダリングすることと関連付けられた前記第2のメトリックデータを受信し、
    前記ユーザの配向と関連付けられた前記第1のメトリックデータおよび前記DASHビデオセグメントをレンダリングすることと関連付けられた前記第2のメトリックデータに基づいて、レイテンシメトリックを生成し、
    前記レイテンシメトリックをメトリックサーバへ送信する
    ように構成された、デバイス。
  2. 記プロセッサがメトリック処理コンポーネントを備え、前記メトリック処理コンポーネントが、前記第1のインターフェース、および、前記第2のインターフェースと結合され、レイテンシメトリックが前記メトリック処理コンポーネントによって生成される、請求項1に記載のデバイス。
  3. 前記レイテンシメトリックが、ネットワークからの前記DASHビデオセグメントを要求することおよび受信することと関連付けられたメトリックデータ、前記ネットワークから受信された前記DASHビデオセグメントをデコードすることと関連付けられたメトリックデータ、または、前記デバイスに対応する構成パラメータと関連付けられたメトリックデータのうちの1つにさらに基づいて生成される、請求項1に記載のデバイス。
  4. 前記レイテンシメトリックが、ビューポート切替えレイテンシメトリック、品質ビューポート切替えレイテンシメトリック、初期レイテンシメトリック、および、整定レイテンシメトリックから構成されるグループから選択される、請求項に記載のデバイス。
  5. ットワークアクセスコンポーネントが、前記第1のインターフェース、または、前記第2のインターフェースの少なくとも1つに通信ネットワークを介して結合された、請求項1に記載のデバイス。
  6. 前記デバイスがバーチャルリアリティクライアントデバイスを含む、請求項1に記載のデバイス。
  7. 前記レイテンシメトリックが、比較可能な品質ビューポート切替えレイテンシメトリックを含む、請求項に記載のデバイス。
  8. メディアコンテンツを受信し表示するための方法であって、
    センサーコンポーネントと結合された第1のインターフェースを介してユーザの配向と関連付けられた第のメトリックデータを受信することであって、前記第1のインターフェースは前記第1のメトリックデータを前記センサーコンポーネントから受信するように構成されており、前記第1のメトリックデータはユーザの頭部動きを示すデータを含む、ことと、
    レンダリングコンポーネントと結合された第2のインターフェースを介して動的適応ストリーミングオーバーHTTP(DASHビデオセグメントをレンダリングすることと関連付けられた第のメトリックデータを受信することであって、前記第2のインターフェースは前記第2のメトリックデータを前記レンダリングコンポーネントから受信するように構成されており、前記第2のメトリックデータはメディアサンプルプレゼンテーションタイムスタンプを含む、ことと、
    前記ユーザの配向と関連付けられた前記第1のメトリックデータおよび前記DASHビデオセグメントをレンダリングすることと関連付けられた前記第2のメトリックデータに基づいて、レイテンシメトリックを生成することと、
    前記レイテンシメトリックをメトリックサーバへ送信することと
    を含む、方法。
  9. 前記レイテンシメトリックが、ネットワークからの前記DASHビデオセグメントを要求することおよび受信することと関連付けられたメトリックデータ、前記ネットワークから受信された前記DASHビデオセグメントをデコードすることと関連付けられたメトリックデータ、または、デバイスに対応する構成パラメータと関連付けられたメトリックデータのうちの1つを使用し生成される、請求項に記載の方法。
  10. 前記レイテンシメトリックが、ビューポート切替えレイテンシメトリック、品質ビューポート切替えレイテンシメトリック、初期レイテンシメトリック、および、整定レイテンシメトリックから構成されるグループから選択される、請求項に記載の方法。
JP2021070513A 2017-03-23 2021-04-19 360度適応ストリーミングのエクスペリエンスを改善するためのメトリックおよびメッセージ Active JP7333802B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023085403A JP2023109935A (ja) 2017-03-23 2023-05-24 360度適応ストリーミングのエクスペリエンスを改善するためのメトリックおよびメッセージ

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762475563P 2017-03-23 2017-03-23
US62/475,563 2017-03-23
US201762525065P 2017-06-26 2017-06-26
US62/525,065 2017-06-26
US201862636795P 2018-02-28 2018-02-28
US62/636,795 2018-02-28
JP2019552034A JP6872631B2 (ja) 2017-03-23 2018-03-23 360度適応ストリーミングのエクスペリエンスを改善するためのメトリックおよびメッセージ

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019552034A Division JP6872631B2 (ja) 2017-03-23 2018-03-23 360度適応ストリーミングのエクスペリエンスを改善するためのメトリックおよびメッセージ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023085403A Division JP2023109935A (ja) 2017-03-23 2023-05-24 360度適応ストリーミングのエクスペリエンスを改善するためのメトリックおよびメッセージ

Publications (2)

Publication Number Publication Date
JP2021114783A JP2021114783A (ja) 2021-08-05
JP7333802B2 true JP7333802B2 (ja) 2023-08-25

Family

ID=61966077

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019552034A Active JP6872631B2 (ja) 2017-03-23 2018-03-23 360度適応ストリーミングのエクスペリエンスを改善するためのメトリックおよびメッセージ
JP2021070513A Active JP7333802B2 (ja) 2017-03-23 2021-04-19 360度適応ストリーミングのエクスペリエンスを改善するためのメトリックおよびメッセージ
JP2023085403A Withdrawn JP2023109935A (ja) 2017-03-23 2023-05-24 360度適応ストリーミングのエクスペリエンスを改善するためのメトリックおよびメッセージ

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019552034A Active JP6872631B2 (ja) 2017-03-23 2018-03-23 360度適応ストリーミングのエクスペリエンスを改善するためのメトリックおよびメッセージ

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023085403A Withdrawn JP2023109935A (ja) 2017-03-23 2023-05-24 360度適応ストリーミングのエクスペリエンスを改善するためのメトリックおよびメッセージ

Country Status (7)

Country Link
US (3) US11166072B2 (ja)
EP (1) EP3603006B1 (ja)
JP (3) JP6872631B2 (ja)
KR (2) KR102314172B1 (ja)
CN (2) CN115766679A (ja)
IL (1) IL269519B (ja)
WO (1) WO2018175855A1 (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116389433A (zh) 2016-09-09 2023-07-04 Vid拓展公司 用于减少360度视区自适应流媒体延迟的方法和装置
GB2554877B (en) * 2016-10-10 2021-03-31 Canon Kk Methods, devices, and computer programs for improving rendering display during streaming of timed media data
EP3603006B1 (en) * 2017-03-23 2024-05-01 Vid Scale, Inc. Metrics and messages to improve experience for 360-degree adaptive streaming
KR102638415B1 (ko) 2018-03-22 2024-02-19 브이아이디 스케일, 인크. 뷰포트 의존성 비디오 스트리밍 이벤트
WO2019182703A1 (en) * 2018-03-22 2019-09-26 Futurewei Technologies, Inc. Immersive media metrics for rendered viewports
WO2019199379A1 (en) * 2018-04-13 2019-10-17 Futurewei Technologies, Inc. Immersive media metrics for virtual reality content with multiple viewpoints
US11917127B2 (en) 2018-05-25 2024-02-27 Interdigital Madison Patent Holdings, Sas Monitoring of video streaming events
US11659222B2 (en) * 2018-08-14 2023-05-23 Comcast Cable Communications, Llc Adaptive multicast streaming
US10931979B2 (en) 2018-10-18 2021-02-23 At&T Intellectual Property I, L.P. Methods, devices, and systems for decoding portions of video content according to a schedule based on user viewpoint
US10846042B2 (en) * 2018-10-31 2020-11-24 Hewlett Packard Enterprise Development Lp Adaptive rendering for untethered multi-user virtual reality
US11051206B2 (en) 2018-10-31 2021-06-29 Hewlett Packard Enterprise Development Lp Wi-fi optimization for untethered multi-user virtual reality
EP3893514A4 (en) * 2018-12-03 2022-02-23 Sony Group Corporation INFORMATION PROCESSING DEVICE AND METHOD
EP3915269A1 (en) * 2019-01-24 2021-12-01 PCMS Holdings, Inc. System and method for adaptive spatial content streaming with multiple levels of detail and degrees of freedom
EP3753257A4 (en) * 2019-03-20 2021-09-15 Beijing Xiaomi Mobile Software Co., Ltd. METHOD AND DEVICE FOR TRANSMISSION OF POINT OF VIEW SWITCHING CAPABILITIES IN A VR360 APPLICATION
EP3949422A1 (en) 2019-03-26 2022-02-09 PCMS Holdings, Inc. System and method for multiplexed rendering of light fields
WO2020201632A1 (en) * 2019-04-05 2020-10-08 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
US10970519B2 (en) 2019-04-16 2021-04-06 At&T Intellectual Property I, L.P. Validating objects in volumetric video presentations
US11153492B2 (en) 2019-04-16 2021-10-19 At&T Intellectual Property I, L.P. Selecting spectator viewpoints in volumetric video presentations of live events
US11012675B2 (en) 2019-04-16 2021-05-18 At&T Intellectual Property I, L.P. Automatic selection of viewpoint characteristics and trajectories in volumetric video presentations
US11074697B2 (en) 2019-04-16 2021-07-27 At&T Intellectual Property I, L.P. Selecting viewpoints for rendering in volumetric video presentations
EP4005200A1 (en) * 2019-07-23 2022-06-01 PCMS Holdings, Inc. System and method for adaptive lenslet light field transmission and rendering
US11303956B2 (en) * 2019-09-11 2022-04-12 Verizon Patent And Licensing Inc. Systems and methods for internet protocol tuning
US10893218B1 (en) 2019-09-20 2021-01-12 Gopro, Inc. Systems and methods for generating panoramic visual content
US11729243B2 (en) * 2019-09-20 2023-08-15 Intel Corporation Dash-based streaming of point cloud content based on recommended viewports
US11297387B2 (en) 2019-09-24 2022-04-05 Verizon Patent And Licensing Inc. Systems and methods for digital video recording of internet protocol content
JP2021144599A (ja) * 2020-03-13 2021-09-24 キヤノン株式会社 電子機器及びその制御方法
JP2021145297A (ja) 2020-03-13 2021-09-24 キヤノン株式会社 表示制御装置及びその制御方法
WO2021194268A1 (en) * 2020-03-27 2021-09-30 Samsung Electronics Co., Ltd. Image display apparatus and method for managing data packet loss
CN113452474B (zh) * 2020-03-27 2022-12-02 华为技术有限公司 扩展现实数据传输方法及装置
US11303849B2 (en) * 2020-03-30 2022-04-12 Tencent America LLC Signaling of the RTCP viewport feedback for immersive teleconferencing and telepresence for remote terminals
US20240033624A1 (en) * 2020-07-20 2024-02-01 Telefonaktiebolaget Lm Ericsson (Publ) 5g optimized game rendering
CN114125499A (zh) * 2020-09-01 2022-03-01 中兴通讯股份有限公司 虚拟现实视频处理方法及其终端、服务器及存储介质
US11743442B2 (en) * 2020-11-09 2023-08-29 Tencent America LLC Bitstream structure for immersive teleconferencing and telepresence for remote terminals
US20240037833A1 (en) * 2020-12-03 2024-02-01 Nokia Technologies Oy Methods, user equipment and apparatus for controlling vr image in a communication network
WO2022128807A1 (en) * 2020-12-15 2022-06-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Client-server communication for streaming of visual content
US11677840B2 (en) 2021-01-11 2023-06-13 Cisco Technology, Inc. Preserving transmission properties of real-time scenes in an environment when an increasing number of users join a session
CN112866669B (zh) * 2021-01-15 2023-09-15 聚好看科技股份有限公司 一种数据切换时间确定方法及设备
CN113065240B (zh) * 2021-03-19 2023-04-07 成都安智杰科技有限公司 一种自适应巡航仿真方法、装置、电子设备和存储介质
US11882169B1 (en) * 2021-06-04 2024-01-23 PicsArt, Inc. Adaptive media streaming
US11394758B1 (en) * 2021-07-02 2022-07-19 Rovi Guides, Inc. Systems and methods for selecting a local device in a collaborative environment
US11930059B2 (en) * 2021-11-05 2024-03-12 Tencent America LLC Immersive media streaming prioritized by frequency of asset reuse
US20230291781A1 (en) * 2022-03-11 2023-09-14 Qualcomm Incorporated Techniques for multimedia uplink packet handling
WO2023194648A1 (en) * 2022-04-08 2023-10-12 Nokia Technologies Oy A method, an apparatus and a computer program product for media streaming of immersive media

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016167699A (ja) 2015-03-09 2016-09-15 日本電信電話株式会社 映像配信方法、映像配信装置及び映像配信プログラム
WO2016205697A1 (en) 2015-06-19 2016-12-22 Qualcomm Incorporated Middleware delivery of dash client qoe metrics

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872243B (zh) * 2010-06-13 2012-10-10 上海杰图软件技术有限公司 一种实现跟随现实空间方向的360°全景播放系统及其方法
WO2013109941A2 (en) 2012-01-19 2013-07-25 Vid Scale, Inc. Methods and systems for video delivery supporting adaption to viewing conditions
EP2842338A1 (en) 2012-04-24 2015-03-04 VID SCALE, Inc. Method and apparatus for smooth stream switching in mpeg/3gpp-dash
US9246842B2 (en) * 2012-04-27 2016-01-26 Intel Corporation QoE-aware radio access network architecture for http-based video streaming
CN103293689B (zh) 2013-05-31 2015-05-13 京东方科技集团股份有限公司 一种可在不同显示模式之间切换的方法和显示装置
CN110620893A (zh) 2013-08-29 2019-12-27 Vid拓展公司 第一无线发射/接收单元(wtru)及由第一wtru执行的方法
GB2523554B (en) 2014-02-26 2020-12-09 Sony Interactive Entertainment Inc Head-mountable apparatus and systems
GB2536025B (en) 2015-03-05 2021-03-03 Nokia Technologies Oy Video streaming method
CN107439010B (zh) 2015-05-27 2022-01-04 谷歌公司 流传输球形视频
CN116389433A (zh) * 2016-09-09 2023-07-04 Vid拓展公司 用于减少360度视区自适应流媒体延迟的方法和装置
CN107888993B (zh) * 2016-09-30 2020-11-06 华为技术有限公司 一种视频数据的处理方法及装置
KR102511320B1 (ko) * 2016-10-12 2023-03-17 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 공간적으로 불균등한 스트리밍
EP3603006B1 (en) * 2017-03-23 2024-05-01 Vid Scale, Inc. Metrics and messages to improve experience for 360-degree adaptive streaming

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016167699A (ja) 2015-03-09 2016-09-15 日本電信電話株式会社 映像配信方法、映像配信装置及び映像配信プログラム
WO2016205697A1 (en) 2015-06-19 2016-12-22 Qualcomm Incorporated Middleware delivery of dash client qoe metrics

Also Published As

Publication number Publication date
CN110622483A (zh) 2019-12-27
US11166072B2 (en) 2021-11-02
JP2020516122A (ja) 2020-05-28
US20220046320A1 (en) 2022-02-10
US11849178B2 (en) 2023-12-19
JP2023109935A (ja) 2023-08-08
KR20210126794A (ko) 2021-10-20
EP3603006A1 (en) 2020-02-05
WO2018175855A1 (en) 2018-09-27
IL269519B (en) 2022-09-01
IL269519A (en) 2019-11-28
US20240129581A1 (en) 2024-04-18
EP3603006B1 (en) 2024-05-01
JP2021114783A (ja) 2021-08-05
KR102391126B1 (ko) 2022-04-27
CN110622483B (zh) 2022-10-18
US20200037029A1 (en) 2020-01-30
CN115766679A (zh) 2023-03-07
JP6872631B2 (ja) 2021-05-19
KR20190142765A (ko) 2019-12-27
KR102314172B1 (ko) 2021-10-20

Similar Documents

Publication Publication Date Title
JP7333802B2 (ja) 360度適応ストリーミングのエクスペリエンスを改善するためのメトリックおよびメッセージ
JP7206341B2 (ja) 次世代ネットワークを介した360度ビデオ配信
US11616942B2 (en) Viewport dependent video streaming events
US11917127B2 (en) Monitoring of video streaming events

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210519

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210519

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221006

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230524

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230815

R150 Certificate of patent or registration of utility model

Ref document number: 7333802

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150