JP6973709B2 - 仮想現実(vr)コンテンツを伝送するための方法、ネットワーク要素、vrコンテンツサーバ、端末装置およびプログラム - Google Patents

仮想現実(vr)コンテンツを伝送するための方法、ネットワーク要素、vrコンテンツサーバ、端末装置およびプログラム Download PDF

Info

Publication number
JP6973709B2
JP6973709B2 JP2019566899A JP2019566899A JP6973709B2 JP 6973709 B2 JP6973709 B2 JP 6973709B2 JP 2019566899 A JP2019566899 A JP 2019566899A JP 2019566899 A JP2019566899 A JP 2019566899A JP 6973709 B2 JP6973709 B2 JP 6973709B2
Authority
JP
Japan
Prior art keywords
content
qos
transmission priority
fov
packets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019566899A
Other languages
English (en)
Other versions
JP2020522944A (ja
Inventor
イェ、インファ
シ、ハン
ダイ、フイダ
Original Assignee
ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホアウェイ・テクノロジーズ・カンパニー・リミテッド filed Critical ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Publication of JP2020522944A publication Critical patent/JP2020522944A/ja
Application granted granted Critical
Publication of JP6973709B2 publication Critical patent/JP6973709B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/61Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/752Media network packet handling adapting media to network capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/756Media network packet handling adapting media to device capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/765Media network packet handling intermediate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/376Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633Control signals issued by server directed to the network components or client
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/38Image reproducers using viewer tracking for tracking vertical translational head movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

[関連出願の相互参照]
本願は、2017年6月8日に出願された「A Method and System for Transmitting Virtual Reality (VR) Content」と題する米国特許出願15/617,859に基づく優先権を主張するものであり、当該特許出願はその全体が参照により本明細書に組み込まれる。
本開示は、仮想現実(VR)映像、特に、ネットワークを介してVRコンテンツを送信することに関連する。
仮想現実映像システムは、360度ビューをサポートしてパノラマビューをユーザに提供するのが望ましい。仮想現実システムは、映像の再生の間にユーザが自らの視野方向を自在に制御することを可能にする。そのような360度映像システムは、表示とユーザの方向およびユーザが任意の所与の視野方向に対しておそらく見ることができる視界(FOV)に基づいて視域を計算および表示する。
現在の360度映像送信技術は一般的に、従来の映像に対して用いられている送信方式を用いる。一般的に、VRコンテンツのプロバイダは、見える部分と、現在の視野方向では見えないこれらの部分と含むVRコンテンツをエンコードおよび送信する。VRコンテンツのこれら全てのエンコードされた部分の送信は、高い帯域幅を必要とし、従来の送信方式を用いるビューの現在の見える部分を送信するために必要とされるリソースより多くのリソースを消費する。そのようなリソースを使用して従来の送信方式をサポートすることは、ネットワークローディング問題を生じさせ、ネットワーク遅延の付加、ネットワーク性能の低下、不十分な視聴体験をもたらし得る。
例示的実施形態の第1態様は、仮想現実(VR)コンテンツを伝送するためのネットワーク要素により実行される方法を含む。方法において、ネットワーク要素は、単一のVRコンテンツシーンに対してVRコンテンツサーバにより伝送されるVRコンテンツパケットと、VRコンテンツパケットに対してサービス品質(QoS)伝送優先度とを受信する。QoS伝送優先度は、第1の複数のVRコンテンツパケットに対応する第1QoS伝送優先度、および第2の複数のVRコンテンツパケットに対応する第2QoS伝送優先度を含む。そして、ネットワーク要素は第1QoS伝送優先度に基づく第1の複数のVRコンテンツパケットおよび第2伝送優先度に基づく第2の複数のVRコンテンツパケットを伝送する。第2QoS伝送優先度は、第1QoS伝送優先度とは異なる。上記の実施形態を通じて、単一のVRコンテンツシーンにおける様々なVRコンテンツパケットが様々なQoS伝送優先度を用いて伝送され得るように、QoS伝送優先度はVRコンテンツパケットに対応する。したがって、高い伝送優先度を有するVRコンテンツパケットの伝送が保証され得る。
例示的実施形態の第2態様は、VRコンテンツを伝送するための仮想現実(VR)コンテンツサーバにより実行される方法を含む。方法において、VRコンテンツサーバは、単一のVRコンテンツシーンに対するVRコンテンツ要求を受信し、VRコンテンツ要求は、端末の見通し線に関する情報を含む。そして、VRコンテンツサーバは、端末の見通し線に関する情報に基づいて、VRコンテンツ要求に対する視界識別子(FOV ID)を取得し、FOV IDに基づいて、複数組のVRコンテンツパケットから過去にエンコードされたVRコンテンツパケットを選択し、VRコンテンツパケットに対するサービス品質(QoS)伝送優先度を決定し、QoS伝送優先度は、第1の複数のVRコンテンツパケットに対する第1QoS伝送優先度、第2の複数のVRコンテンツパケットに対する第2QoS伝送優先度を含む。最後に、VRコンテンツサーバはVRコンテンツパケットおよびQoS伝送優先度を伝送する。方法を通じて、VRコンテンツサーバは、単一のVRコンテンツシーンの全ての領域が異なるQoS優先度で伝送され得るように、単一のVRコンテンツシーンにおける異なるVRコンテンツパケットの異なるQoS伝送を決定する。
例示的実施形態の第3態様は、仮想現実(VR)コンテンツを受信するための端末装置により実行される方法を含む。方法において、端末装置はVRコンテンツシーンのインデックスを受信し、インデックスは端末の見通し線に関連する少なくとも2つ視界識別子(FOV ID)を含む。そして、端末装置は、端末の見通し線に基づいてインデックスからFOV IDを選択して、VRコンテンツシーンに対して選択されたFOV IDを含むVRコンテンツ要求を送信する。その後、端末装置は、VRコンテンツシーンの選択されたFOV IDに対応する第1QoSを有するVRコンテンツパケットを受信し、第2のQoSまたはより低いQoSを有し、かつVRコンテンツシーンの異なるFOV IDも有するVRコンテンツパケットを受信する。方法を通じて、端末装置は、FOV IDに基づいて異なるQoS優先度を有するVRコンテンツサーバからVRコンテンツパケットを受信するように、VRコンテンツ要求を送信する前にFOV IDを選択し得る。
例示的実施形態の第4態様は、ネットワーク要素を含む。ネットワークエンティティは、命令を含む非一時的メモリと、メモリとの通信する1または複数のプロセッサとを含む。1または複数のプロセッサは、単一のVRコンテンツシーンのVRコンテンツサーバにより伝送されるVRコンテンツパケットと、VRコンテンツパケットに対するサービス品質(QoS)伝送優先度とを受信するための命令を実行するように構成されており、QoS伝送優先度は、第1の複数のVRコンテンツパケットに対応する第1QoS伝送優先度と、第2の複数のVRコンテンツパケットに対応する第2QoS伝送優先度とを含み、第1QoS伝送優先度に基づく第1の複数のVRコンテンツパケットおよび第2伝送優先度に基づく第2の複数のVRコンテンツパケットを伝送し、第2QoS伝送優先度は第1QoS伝送優先度とは異なる。
例示的実施形態の第5態様は、仮想現実(VR)コンテンツサーバを含む。VRコンテンツサーバは、命令を含む非一時的メモリと、メモリと通信する1または複数のプロセッサを含む。1または複数のプロセッサは、例示的実施形態の第2態様におけるVRコンテンツサーバにより実行される命令を実行するように構成される。
例示的実施形態の第6態様は、端末装置を含む。端末装置は、命令を含む非一時的メモリと、メモリと通信する1または複数のプロセッサとを含み、1または複数のプロセッサは、例示的実施形態の第3態様における端末装置により実行される命令を実行するように構成される。
例示的実施形態の第7態様は、ネットワーク要素を含む。ネットワーク要素は、例示的実施形態の第1態様におけるネットワーク要素の機能を含む。機能は、ハードウェアにより実現されてもよく、またはハードウェアにより実行されるソフトウェアにより実現されてもよい。ハードウェアまたはソフトウェアは、機能に対応する1または複数のモジュールを含む。
例示的実施形態の第8態様は、VRコンテンツサーバを含む。VRコンテンツサーバは、例示的実施形態の第2態様におけるVRコンテンツサーバの機能を含む。機能は、ハードウェアにより実現されてもよく、またはハードウェアにより実行されるソフトウェアにより実現されてもよい。ハードウェアまたはソフトウェアは、機能に対応する1または複数のモジュールを含む。
例示的実施形態の第9態様は、端末装置を含む。端末装置は、例示的実施形態の第3態様における端末装置の機能を含む。機能は、ハードウェアにより実現されてもよく、またはハードウェアにより実行されるソフトウェアにより実現されてもよい。ハードウェアまたはソフトウェアは、機能に対応する1または複数のモジュールを含む。
例示的実施形態の第10態様は、コンピュータ記憶媒体を含む。コンピュータ記憶媒体は、例示的実施形態の第1または第4態様においてネットワーク要素により実行される命令を記憶し、例示的実施形態の第1または第4態様において実行されるプログラムを記憶する。
例示的実施形態の第11態様は、コンピュータ記憶媒体を含む。コンピュータ記憶媒体は、例示的実施形態の第2または第5態様においてVRコンテンツサーバにより実行される命令を記憶し、例示的実施形態の第2または第5態様において実行されるプログラムを記憶する。
例示的実施形態の第12態様は、コンピュータ記憶媒体を含む。コンピュータ記憶媒体は、例示的実施形態の第3または第6態様において端末装置により実行される命令を記憶し、例示的実施形態の第3または第6態様において実行されるプログラムを記憶する。
例示的な実施形態に係るVRコンテンツ配信システム100を図示するネットワーク図を図示する。
例示的な実施形態に係る階層VRコンテンツ配信システムの他のブロック図を図示する。
単一の360度映像コンテンツのシーンの異なる部分に対する伝送優先度レベルの2次元表現を図示する。
本発明の1つの実施形態に係る360度映像コンテンツのシーンの異なる部分の2次元FOV領域図を図示する。
例示的な実施形態に係る、水平における(左右に頭部を回転させることに対応する)、または垂直における(上下に頭部を移動させる)ユーザの頭部運動に基づく360度映像のコンテンツサーバ112により設定されるFOV IDを図示する。
例示的な実施形態に係る4つの方向におけるユーザの頭部運動(左右および上下を含む)に基づいて360度映像のシーンのパノラマ映像を2次元に繋ぎ合わせた格子の異なる領域を図示する。
VRコンテンツを送信するための方法の実施形態の信号フロー図を図示する。
VRコンテンツシーンに対するVRコンテンツパケットを送信するための方法の実施形態の信号フロー図を図示する。
本発明の実施形態に係る階層ネットワーク102のブロック図を図示する。
本発明の実施形態に係る階層仮想現実(VR)コンテンツサーバ112のブロック図を図示する。
本発明の実施形態に係る階層ネットワークエンティティ1100のブロック図を図示する。
本発明の説明される態様および実施形態に係る、VRコンテンツを伝送、受信または処理するために例示的な実施形態に係る方法を実行するための、VRコンテンツサーバ、ネットワーク要素(PGW、UPF、PCRF、基地局など)、ルーター、端末装置、または他の機器などの1または複数の要素を実施する回路を図示するブロック図を図示する。
以下の説明において、参照は、本明細書の一部を形成する添付の図面に対して行われ、実施され得る、図に固有の実施形態のやり方で示される。これらの実施形態は、当業者が本発明を実施できるよう、十分詳細に説明されている。また、他の実施形態が利用されてよく、本発明の範囲から逸脱することなく、構造的、論理的、および電気的な変更が施されてよいことを理解されたい。したがって、例示的実施形態の以下の説明は、限定的意味でとらえるべきではなく、本発明の範囲は、添付の請求項により画定される。
ここで説明される機能またはアルゴリズムは、一実施形態におけるソフトウェアで実現され得る。ソフトウェアは、1または複数の非一時的メモリ、またはローカル接続もしくはネットワーク接続される他の種類のハードウェアベースのストレージデバイスなどのコンピュータ可読媒体またはコンピュータ可読ストレージデバイスに記憶される、コンピュータで実行可能な命令で構成され得る。さらに、そのような機能は、ソフトウェア、ハードウェア、ファームウェア、またはこれらの任意の組み合わせであってよいモジュールに対応する。所望により、1または複数のモジュールにおいて複数の機能が実行され得て、説明される実施形態は例にすぎない。ソフトウェアは、デジタル信号プロセッサ、ASIC、マイクロプロセッサ、またはパーソナルコンピュータ、サーバまたは他のコンピュータシステムなどのコンピュータシステムで動作する他の種類のプロセッサで実行され得て、そのようなコンピュータシステムを具体的にプログラムされたマシンに切り替える。
360度映像を含む仮想現実(VR)アプリケーションは、低遅延および高スループットでもっとも良く機能する。VRコンテンツは、良好な体験品質(QoE)のために、20ミリ秒(ms)程度で人の目に届くべきである。VRコンテンツサーバでのVR処理時間、1または複数のネットワークを通じてVRコンテンツを送信する伝送時間、および端末装置の映像レンダリング時間を考慮すると、最後の表示から20ミリ秒以内にVRコンテンツを表示するという目標は難しい。
ネットワーク負荷、干渉、および伝送エラー率などの無線リンクの条件は、無線リンクを用いる通信の帯域幅および/または遅延に影響を与える無線リンクの態様である。悪いリンク条件下で高解像度のVRコンテンツをストリーミングすることは輻輳をもたらし、パケットの損失および過度なパケット再伝送に繋がり、望ましくない体験品質(QoE)という結果となり得るだけでなく、ネットワーク動作に悪い影響を与えることにより他の伝送に影響を与える。
図1は、例示的な実施形態に係るVRコンテンツ配信システム100を示すネットワーク図を図示する。VRサービス配信システム100は端末装置102、ネットワーク104およびVRコンテンツサーバ112を含んでよい。ネットワーク104は、パケットデータネットワークゲートウェイ(PGW)エンティティ106、ネットワーク制御サービス(NCS)エンティティ110およびポリシおよび課金ルール機能(PCRF)エンティティ110を含んでよい。任意の既知のネットワークがネットワーク104の代わりに用いられてよい。さらに、サービス能力公開機能(SCEF)がNCSの代わりに用いられてよい。無線端末装置102がネットワーク104に連結され、ここで、より具体的には、無線通信リンクを介してPGW106に連結される。
端末装置102はVRコンテンツサーバ112と通信し、ネットワーク104を介してVRコンテンツサーバ112からVRコンテンツパケットを受信する。一般的に、VRコンテンツシーンのVRコンテンツパケットは、VRコンテンツサーバ112により伝送されるVRコンテンツパケットの形で送信される。図1の例において、VRコンテンツパケットはPGW106を介して伝送される。NCS110はPGW106と通信してネットワーク条件を把握し、ネットワークデータをVRコンテンツサーバ112に送信する。PCRF108はNCS110およびPGW106と通信し、NCS110からPGW106にQoS処理ルールを送信する。NCS110はVRコンテンツサーバからQoS処理ルールを受信する。説明される実施形態において、QoS処理ルールはVRコンテンツサーバから受信されるVRコンテンツパケットに対するQoS伝送優先度の取得をネットワーク要素エンティティに促す。
一実施形態において、端末装置102はVRコンテンツサーバ112により伝送されるVRコンテンツシーンのインデックスを受信するように構成される。インデックスは、少なくとも2つの視界識別(FOV ID)を含む。端末装置102は、ユーザの頭部運動に関連する端末の見通し線に基づいて、インデックスからFOV IDを選択し、選択されたFOV IDをVRコンテンツサーバ112へのコンテンツ要求において送信する。ここでネットワーク100において、コンテンツ要求およびインデックスは、PGW106を介して伝送されるが、図において示されていない他のネットワーク要素を介して伝送されてもよい。加えて、端末装置102は、PGW106を介してVRコンテンツサーバ112から選択されたFOV IDに対応するVRコンテンツパケットを受信する。
PGW106は、VRコンテンツサーバ112からVRコンテンツパケットを受信し、異なる領域からのVRコンテンツパケットは、異なるサービス品質(QoS)伝送優先度が割り当てられる。例えば、第1の複数のVRコンテンツパケットは第1QoS伝送優先度に対応し、第2の複数のVRコンテンツパケットは第2QoS伝送優先度に対応し、第3の複数のVRコンテンツパケットは第3QoS伝送優先度に対応する。ネットワーク要素エンティティは、第1、第2または第3の複数のVRコンテンツパケットを、第1、第2、または第3QoS伝送優先度のそれぞれに基づいて伝送する。加えて、PGW106はNCS110にネットワークデータを提供してよい。ネットワークデータは、スループット情報、遅延情報、パケット損失情報およびエラー率情報のうち少なくとも1つを含む。
NCS110は、PGW106からネットワークデータを受信し、VRコンテンツサーバ112にネットワークデータを送信する。加えて、NCSはVRコンテンツサーバ112からQoS処理ルールを受信し、QoS処理ルールをPCRF108に送信する。PCRF108は、NCS110からQoS処理ルールを受信し、PGW106にQoS処理ルールを送信する。
VRコンテンツサーバ112は、VRコンテンツシーンのVRコンテンツパケットをネットワーク104を介して端末装置102に送信する。一実施形態において、VRコンテンツサーバは、端末装置により選択される視界識別子(FOV ID)を受信し、受信されたFOV IDに基づいてVRコンテンツパケットを生成する。そしてVRコンテンツサーバは、VRコンテンツシーンのVRコンテンツパケットを送信するが、VRコンテンツパケットには、要求されるFOV IDとの関係に基づいて異なるQoS伝送優先度値が割り当てられる。VRコンテンツサーバ112は、ネットワーク104およびPGW106を介して端末装置100からFOV IDを含むVRコンテンツ要求を受信する。加えて、VRコンテンツサーバ112は、VRコンテンツパケットを送信する前にVRコンテンツパケットのインデックスを送信する。端末が、端末の見通し線に基づいて複数のFOV IDからFOV IDを選択できるように、VRコンテンツパケットのインデックスは、端末の見通し線に関連する少なくとも2つのFOV IDを含む。
したがって、各仮想現実(VR)パケットをネットワーク状態およびQoSを考慮せず送信する代わりに、PGW106、またはより一般的に、(現在は「5G」と称される)開発中の次世代無線ネットワークにおけるユーザプレーン機能(UPF)デバイスおよび他のネットワークにおける任意の他のデバイスは、QoS伝送優先度に基づいてVRコンテンツパケットを送信してよい。(QoS)伝送優先度は、第1QoS伝送優先度、第2QoS伝送優先度、および第3QoS伝送優先度などを含んでよい。異なるQoS伝送優先度は、単一のシーンの異なるビュー領域からのVRコンテンツパケットに対応する。例えば、第1QoS伝送優先度は第1の複数のVRコンテンツパケットに対応し、第2QoS伝送優先度は第2の複数のVRコンテンツパケットに対応し、第3QoS伝送優先度は第3の複数のVRコンテンツパケットに対応する。
従って、異なるQoS伝送優先度を有する異なるVRコンテンツパケットはQoS伝送優先度に従って送信され得て、コンテンツ伝送のサービス品質は、ユーザのFOVにおけるパケットに対して保証され得て、ネットワーク遅延は減少し、ユーザのFOVにない単一のシーンの異なる部分に対応するデータパケットにより低いQoS評価が用いられ得るのでネットワーク性能は改善され得る。
加えて、端末102は端末の見通し線に従ってFOV IDを決定し、決定されたFOV IDに対応するVRコンテンツパケットを要求してよい。VRコンテンツサーバはそのようなものであるので、VRコンテンツ要求を受信した後にFOV IDを決定し、FOV IDが決定された後にVRコンテンツパケットを生成することは回避される。したがって、VRコンテンツサーバからVRコンテンツパケットを受信する待機時間が節約される。
図2は、例示的な実施形態に係る階層VRコンテンツ配信システムの他のブロック図を図示する。VRサービス配信システム100と異なり、VRサービス配信システム200は、ユーザプレーン機能(UPF)エンティティ206、NCS110、ポリシ制御機能PCFエンティティ208、およびSMFエンティティ204を含む5Gネットワークにおいて用いられ得る異なるネットワーク202を含む。ネットワーク104の代わりに用いられ得る任意の既知のネットワーク、およびネットワーク公開機能(NEF)がNCS110の代わりに用いられ得る。
階層VRコンテンツ配信システム200において、端末装置102はVRコンテンツサーバ112と通信し、ネットワーク104を介してVRコンテンツサーバ112からVRコンテンツパケットを受信する。NCS110はUPF206およびVRコンテンツサーバ112と通信し、UPF206からのネットワークデータをVRコンテンツサーバ112に送信し、VRコンテンツサーバ112からQoS処理ルールを受信する。PCF208はNCS110およびSMF204と通信し、QoS処理ルールをNCS110からSMF204に送信し、QoS処理ルールは、PCF208により生成されるポリシおよび課金制御(PCC)ルールに含まれる。SMF204はUPF206と通信し、ポリシおよび課金制御(PCC)ルールにおけるQoS処理ルールをUPF206に送信する。
ネットワークに対して正常機能することに加えて、ネットワーク202は、特に本発明の様々な実施形態および態様に関するので、ネットワーク104とある程度の類似性を有するプロセスを実行する。例えば、UFP206はPGW106の機能を実行し、PCF208はPCRF108の機能を実行する。UPF206、NCS110およびPCF208の手順についての詳細は開示されるべきではなく、図1の説明を参照してよい。
図1および図2は、VRコンテンツサーバ112がネットワーク104および202から分離されている階層VRコンテンツ配信システム100および200のいくつかの実施形態を示す。代替的実施形態において、VRコンテンツサーバ112は、ネットワークに含まれるネットワークエンティティであり得る。
図3は、単一の360度映像コンテンツのシーンの異なる部分に対する伝送優先度レベルの2次元表現を図示する。図3を参照すると、360度映像コンテンツは、端末の見通し線に関連する単一のVRコンテンツシーンの異なる部分に画定される、300において概して示される複数のVRコンテンツ領域を含む。具体的に、水平方向において示されるコンテンツは、左右に方向へのユーザの頭部運動に基づいて端末の見通し線に関連する複数のVRコンテンツ領域を図示し、垂直方向において示されるコンテンツは、上下方向へのユーザの頭部運動に基づいて端末の見通し線に関連する複数のVRコンテンツ領域を図示す。VRコンテンツ領域300は、ユーザの視界(FOV)に関連して画定され、VRコンテンツ領域は、領域306で表されるFOV領域(例えば、ユーザの見通し線の周りの領域)同様、垂直方向の隣接領域304および308を横方向に隣接領域314および316に含む。VRコンテンツ領域300は、不可視領域302、310、312および318も含む。不可視領域302および310が垂直方向における不可視領域を表す一方、不可視領域312および318は、水平方向における不可視領域を表す。FOV領域304は、ユーザの見通し線により貫通される領域に対応する。FOV領域304に隣接する領域はFOV領域に隣接する領域に対応し、領域314、316、304および308を含む。不可視領域は、ユーザから見えない領域を意味し、領域312および318、310および302を含む。
図3において、FOV領域に隣接する領域は、水平または垂直方向におけるユーザの頭部運動に基づいて、FOV領域になり得るVRコンテンツシーンの4つの部分を含むことに留意すべきである。4つの部分の各々は、VRコンテンツシーンの一部分に対応する。図3における領域312および318、310および302を含む不可視領域の各々は、VRコンテンツシーンの一部分に対応する。本実施形態の1つの態様において、FOV領域306が第1QoSで伝送され、FOV領域306に隣接する各領域(すなわち、領域314、316、304および308)は第1QoSまたは第1QoSより低い第2QoSで伝送され得て、不可視領域(すなわち、領域312および318、310および302)の各々は、第1QoSより低く、第2QoSより低くてもよい第3QoSで伝送され得る。図3の全ての領域は異なるQoS評価で伝送されるが、単一のシーンの一部である。説明される実施形態においては、単一の360度のシーンである。
図4は、本発明の1つの実施形態に係る360度映像コンテンツのシーンの異なる部分の2次元FOV領域図を図示する。図4において、端末装置を有するユーザは、360度映像コンテンツのシーンを示す円の中心点にいる。線「a」は、コンテンツサーバ112により設定され、360度映像の中心点から360度映像のある点までの基準線である。いくつかの実施形態において、線aが指す360度映像のその点は、格子で繋ぎ合わせたある360度映像のシーンのパノラマ映像の中心点であり得る。線AIは、ユーザ端末の現在の方向での端末(またはユーザ)見通し線を図示する。端末の見通し線は、ユーザ端末の中心点およびユーザ視界の中心点からの線である。線BIおよび線CIは、FOVを画定する端末の見通し線の両側にある。線DIおよびEIは互いに両側にあり、FOV領域に隣接する領域を画定することを容易にする。より具体的には、線BIおよびEIは1つの隣接領域を画定する一方、線CIおよびDIは第2隣接領域を画定する。FOV領域は、線BIおよびCIにより画定され得る。
線BIおよびEI並びにCIおよびDIにより形成される角は、VRコンテンツサーバにより決定され得る。線BIおよびCIにより形成されるFOVに対する角は、一実施形態ではVRコンテンツサーバによりお決定され、別の実施形態では端末により決定され得る。必須ではないが、一実施形態においては、FOVに対する角は、隣接領域に対する角より大きい。
図4に示されるように、360度映像コンテンツのシーンは複数の領域を含む。線BIおよびCIにより含まれる領域は、1つの方向(水平方向または垂直方向など)においてFOV領域に対応し、与えられた任意の瞬間に見られる観察可能な世界の範囲を識別する。線BIおよびEIにより含まれる領域、および線CIおよびDIにより含まれる領域は、1つの方向(水平方向または垂直方向など)においてFOV領域に隣接する領域である。線DIから線EIまでの領域は不可視領域であり、FOV領域およびFOV領域に隣接する領域を含まない360度映像コンテンツの領域を含んでよい。
図5は、例示的な実施形態に係る、水平における(左右に頭部を回転させることに対応する)、または垂直における(上下に頭部を移動させる)ユーザの頭部運動に基づく360度映像のコンテンツサーバ112により設定されるFOV IDを図示する。図5において、端末装置102を有するユーザは、360度映像コンテンツシーンを示す円の中心点にいる。線「a」は、コンテンツサーバ112により設定され、360度映像の中心点から360度映像のある点までの基準線である。線02、04、06、08および10は、VRコンテンツサーバ112によりユーザの頭部運動に基づいて異なる端末の見通し線に対応するように設定されたFOV IDである。VRコンテンツサーバ112は、FOV IDと端末の見通し線との間の関係を端末装置102に送信してよく、いくつかの実施形態において、VRコンテンツサーバ112はFOV ID02を端末の見通し線にマッピングしてよく、端末の見通し線は基準線「a」より左に20度大きく、各見通し線の間隔は20度または任意の他の角度である。他の実施形態において、VRコンテンツサーバ112は、端末の見通し線の情報をFOV IDとして設定してよい。20、40、80など、およびFOV ID20は端末の見通し線を左に20度回転させる線を意味し、各見通し線の間隔は20度または任意の他の数字の角度である。
図4および図5は、単に左右に頭部を回転させるユーザなど、2つの方向においてユーザの頭部運動に基づいて2次元に360度映像コンテンツのシーンを示したものであることを留意すべきである。他の説明において、ユーザの頭部運動は上下などの他の方向においてもあり得る。FOV領域およびユーザの頭部運動の他の方向におけるFOV IDについての説明は、図4および5における説明を参照してよい。
図6は、例示的な実施形態に係るユーザの頭部運動に基づいて360度映像のシーンのパノラマ映像を繋ぎ合わせた格子の異なる領域を図示する。格子600は、VRコンテンツサーバ112により記憶される全体フィールドを図示する。全体フィールドは、いくつかの実施形態において、1つまたは複数のカメラにより取得される360度ビューであってよい。
図6において、点AはVRコンテンツサーバ112により設定される格子で繋ぎ合わせたパノラマ映像の中心点である。点Aは、図4および図5における線「a」の点であり得る。点Bはユーザの視界の中心点であり、点Bは図4における線「1」の点であり得る。単なる例として、図6における点Bは、水平および垂直方向におけるユーザの頭部運動を図示する。格子600はFOV領域601、FOV領域602に隣接する領域、および不可視領域603を含む。
図6は、360度映像のシーンの領域がどのように分割され得るかの単なる例であることに留意されたい。他の実施形態において、FOV領域は、端末の見通し線を水平方向に関して2つの側に第1の予め定められた角度まで端末の見通し線を向け、垂直方向に関して2つの側に第2の予め定められた角度まで向けることによって形成される矩形領域であってよい。水平方向に関して2つの側において端末の見通し線を動かす際の第1の予め定められた角度は、それぞれ異なってもよいことに留意されたい。第2の予め定められた角度は、垂直の2つの側における端末の見通し線をユーザが回転させる場合に異なり得る。
図7は、VRコンテンツを伝送するための方法の実施形態の信号フロー図を図示する。方法は、図1または図2に示されるようなシステムの状況において実行されてよく、図4から図6に示されるような例としてFOV情報を用いてもよい。
最初に、ネットワークデータを求めて、NCS110がPGW106またはUPF206にクエリ要求を送信する(701)。ネットワークデータは、任意の既知のネットワーク性能メトリックを含み得て、任意の1つの遅延、スループット、エラー率、およびパケット損失情報を含み得て、これらは異なるQoS評価に関連し得る。いくつかの実施形態において、NCS202は、NCS202とPGW201またはUPF401との間の接続の間、ネットワークデータを周期的に取得する。NCSはクエリ要求を送信するために任意のメッセージを用いてよい。
NCS110は、PGW106/UPF206からクエリ応答を受信する(702)。クエリ応答には、ネットワークデータが格納されている。次に、VRコンテンツサーバ112はNCS110にネットワークデータ要求を送信する(703)。いくつかの実施形態において、VRコンテンツサーバ112は、VRコンテンツサーバ112がNCS110との接続を確立する場合にネットワークデータ要求を送信してよい。他の実施形態において、VRコンテンツサーバ112は、VRコンテンツサーバ112が必要とする場合はいつでもネットワークデータ要求を送信するか、または周期的にネットワークデータ要求を送信し得る。VRコンテンツサーバ112は、ネットワークデータ応答を介してNCS110からネットワークデータを受信する(704)。ネットワークデータは、遅延、スループット、エラー率、および異なるQoS評価に対するパケット損失情報のうち少なくとも1つを含んでよい。いくつかの実施形態において、NCS110はVRコンテンツサーバ112の要求に基づいてVRコンテンツサーバ112にネットワークデータを送信してよい。他の実施形態において、NCS110は、NCS110がPGW106/UPF206からネットワークデータを受信した後にVRコンテンツサーバ112にネットワークデータを送信するか、またはNCS110はネットワークデータが変更されたことまたは他の状況であることを決定してよい。
VRコンテンツサー112は次に、NCS110にQoS処理ルールを送信する(705)。NCS110からネットワークデータを受信した後、VRコンテンツサーバ112はVRコンテンツパケットに対するQoS処理ルールを決定する。QoS処理ルールは、VRコンテンツサーバのインターネットプロトコル(IP)アドレス、VRコンテンツサーバポート番号、端末装置アドレス、端末装置ポート番号、プロトコル種別、およびVRコンテンツパケットに対するQoSをいかに識別するかに関連する情報のうち少なくとも1つを含んでよい。
NCS110からネットワークデータを受信すると、VRコンテンツサーバはアルゴリズムに従ってネットワーク状態を決定してよく、例えば、VRコンテンツサーバは各ネットワークデータの閾値を構成し、閾値に従ってネットワーク状態を決定してよい。表1の例と同様である。
表1:ネットワーク状態およびネットワークaをマッピングする
Figure 0006973709
表1は、ネットワーク状態とネットワークデータとの間の関係の例を示す。VRコンテンツサーバ112により受信されるネットワークデータが帯域幅、遅延およびパケット損失のうち1つのみを含む場合、VRコンテンツサーバは表1における閾値に従ってネットワーク状態を決定してよい。さらに、VRコンテンツサーバは、例えば、帯域幅に対応するネットワーク状態は30%であってよく、遅延に対応するネットワーク状態は30%であってよいなどの各ネットワークデータに対するレートを設定してもよい。そしてVRコンテンツサーバ112は、各ネットワークデータに対するネットワーク状態のレートに従ってネットワーク状態を決定する。注記されている通り、VRコンテンツサーバ112は他の解決手段を用いてネットワーク状態を決定してよい。 表2:VRコンテンツの領域、QoSおよびネットワーク状態間をマッピングする
Figure 0006973709
ネットワーク状態を決定した後、VRコンテンツサーバ112は、端末の見通し線に関連するVRコンテンツの異なる領域におけるVRコンテンツパケットに対応するQoS伝送優先度を決定する。
NCS110はこの後、PCRF108/PCF208にQoS処理ルールを送信し(706)、その後、PCRF108/PCF208は、ポリシおよび課金制御(PCC)ルールを介して、QoS処理ルールをPGW106にまたはUPF206に送信する(707)。
QoS処理ルールは、ネットワーク要素エンティティ(PGW106またはUPF206など)がVRコンテンツパケットに対するQoS伝送優先度を取得するように促す。いくつかの実施形態において、QoS処理ルールは、VRコンテンツサーバのインターネットプロトコル(IP)アドレス、VRコンテンツサーバポート、端末装置IPアドレス、端末装置ポート、プロトコル種別、およびQoS処理ルールを受信するネットワーク要素エンティティ(PGW106またはUPF206など)が、VRコンテンツパケットに対するQoS伝送優先度を取得するように促すためのVRコンテンツパケットに対するQoSをいかに識別するかに関連する情報のうち少なくとも1つであってもよい。例えば、QoS処理ルールは、VRコンテンツサーバアドレスを有するVRコンテンツサーバ112からVRコンテンツパケットに対するQoS伝送優先度を、ネットワーク要素エンティティが取得することを可能にするVRコンテンツサーバアドレスを含んでもよく、またはQoS処理ルールは、ネットワーク要素エンティティが端末装置アドレスを有する端末装置102に送信されたVRコンテンツパケットに対するQoS伝送優先度を取得することを可能にする端末装置アドレスを含んでもよい。
段階708−710において、PGW106またはUPF206は、PCRF108およびNCS110を介して、またはPCF208およびNCS110を介してVRコンテンツサーバ112にQoS応答を返す。他の実施形態において、PGW106/UPF206によりVRコンテンツサーバ112に送信されたQoS応答は、1または複数のネットワーク要素を介して直接的または間接的に行われてよい。
端末装置102は、VRコンテンツサーバ112にVRコンテンツ要求を送信し、VRコンテンツ要求は、端末装置102により選択されるFOV IDおよび端末装置102により要求される複数のVRコンテンツパケットのURLを含んでよい(711)。いくつかの実施形態において、端末の見通し線に関連するVRコンテンツ要求におけるFOV IDは、VRコンテンツの中心点からの端末の見通し線の位置を示す。FOV IDは、端末装置(HMDなど)の運動に基づいて端末装置102により選択される。
端末装置102がVRコンテンツ要求を送信する前に、端末装置102は、VRコンテンツサーバ300からの端末の見通し線に関するセンサ906の決定および複数のFOV IDを介してユーザの頭部運動に従ってFOV IDを選択する。FOV IDの選択の詳細は図5および図7の説明に説明され得る。別の実施形態において、VRコンテンツ要求は端末装置102により選択されるFOV IDを含まないが、端末の見通し線情報を含む。その後、VRコンテンツサーバ112は、FOV IDに対応するVRコンテンツパケットについてのQoS情報を決定する(712)。
端末装置102からVRコンテンツ要求を受信した後、VRコンテンツサーバ112は、過去に生成されたVRコンテンツパケットであって、VRコンテンツ要求におけるFOV IDに対応するVRコンテンツパケットを取得する。VRコンテンツ要求が、端末装置102により選択されるFOV IDを含まないが、端末の見通し線情報を含む場合、VRコンテンツサーバは、端末の見通し線情報および図5におけるコンテンツサーバ112により設定されるFOV IDに基づいてVRコンテンツ要求のFOV IDを決定してよい。そして、過去に生成されたVRコンテンツパケットであって、VRコンテンツサーバ112により決定されるFOV IDに対応するVRコンテンツパケットを取得する。
VRコンテンツパケットの各々は、端末の見通し線に関連して単一のVRコンテンツシーンの異なる部分に対して画定されるVRコンテンツ領域に属する。そして、VRコンテンツサーバ112は、VRコンテンツ領域におけるVRコンテンツパケットに対応するサービス品質(QoS)伝送優先度を決定する。いくつかの実施形態において、VRコンテンツサーバは、表2の情報に従って、VRコンテンツパケットが属するVRコンテンツ領域に対応するQoS伝送優先度を決定する。QoS伝送優先度は、VRコンテンツパケットの優先レベルを示す。表2を参照すると、QoS伝送優先度は、それぞれ第1、第2、および第3QoS伝送優先度に対応する高い優先度、中間優先度、および低い優先度のうち少なくとも1つを含んでよい。VRコンテンツ領域は、FOV領域、FOV領域に隣接する領域、および不可視領域を含んでよい。
したがって、コンテンツサーバ112は、端末の見通し線と基準線「a」との間の角度を示すFOV IDに従って、360度映像のシーンが属するVRコンテンツパケットに対するVRコンテンツ領域を決定してよい。
FOV IDに基づいて、複数組のVRコンテンツパケットから過去にエンコードされたコンテンツパケットを選択する場合、コンテンツサーバ112は、VRコンテンツ要求における、またはVRコンテンツサーバ112により決定されるFOV IDに基づいて、VRコンテンツパケットを選択する。例えば、見通し線と360度の基準線との間の角度が40度であると示すFOV IDは04であり、ユーザの頭部が図5における基準線「a」から40度左に回転したと仮定する。
VRコンテンツパケットを選択した後、VRコンテンツサーバ112は、VRコンテンツパケットに対する各領域に対応するサービス品質(QoS)情報を決定してよい。表2を参照すると、VRコンテンツサーバ112は、ネットワーク状態に基づいて、VRコンテンツパケットに対する各領域に対応するサービス品質(QoS伝送優先度(高い優先度、中間優先度、または低い優先度など)を決定してよい。
VRコンテンツサーバ112はそして、単一のVRコンテンツシーンに対する異なるQoS伝送優先度に対応するVRコンテンツパケットを、PGW106またはUPF406に送信する(713)。具体的に、VRコンテンツパケットは、単一のフローでPGW106またはUPF406に送信される。フローは、IP送信元アドレス(VRコンテンツサーバIPアドレス)、宛先IPアドレス(端末装置IPアドレス)、送信元ポート(VRコンテンツサーバポート番号)、宛先ポート(端末装置ポー)、およびプロトコル種別を備える5つの要素により画定されるものにより画定される。これは、VRコンテンツサーバ112により送信される全てのVRコンテンツパケットが、同一IP送信元アドレス、宛先IPアドレス、送信元ポート、宛先ポート、およびプロトコル種別を有することを意味する。
いくつかの実施形態において、QoS伝送優先度は、第1の複数のVRコンテンツパケットに対応する第1QoS伝送優先度、および第2の複数のVRコンテンツパケットに対応する第2QoS伝送優先度、または第3の複数のVRコンテンツパケットに対応する第3QoS伝送優先度のうち少なくとも1つを含む。VRコンテンツサーバにより送信されるVRコンテンツパケットは、第1QoS伝送優先度に対応する第1の複数のVRコンテンツパケット、第2QoS伝送優先度に対応する第2の複数のVRコンテンツパケット、および第QoS伝送優先度に対応する第3の複数のVRコンテンツパケットのうち少なくとも2つを含む。
いくつかの実施形態において、QoS伝送優先度は各VRコンテンツパケットに含まれてよく、他の実施形態において、QoS伝送優先度はVRコンテンツパケットに対応するメッセージヘッダに含まれてよい。例えば、QoS伝送優先度は、区別されるサービス制御ポイント(DSCP)手法を介して、PGW106またはUPF406にVRコンテンツパケットが送信される場合、IPヘッダにおけるサーバフィールドのタイプに含まれ得る。別の例の場合、QoS伝送優先度は、HTTPによるダイナミック適応ストリーミング(DASH)手法を介して、PGW106またはUPF406にVRコンテンツパケットが送信される場合、カスタムペイロードに含まれ得る。
いくつかの実施形態において、VRコンテンツサーバ112が端末装置102からVRコンテンツ要求を受信した後、VRコンテンツサーバ112は、VRコンテンツ要求における端末の見通し線に関する情報を記憶してよく、記憶された前のVRコンテンツ要求および端末の見通し線に関する情報に従って、次のVRコンテンツ要求に対する予測されたFOV ID(次のVRコンテンツ要求に対するFOV IDは、最後に取得されるFOV IDとも呼ばれてもよい)を予測し、次のVRコンテンツ要求に対する予測されたFOV IDに対応する複数のVRコンテンツをエンコードし、各エンコードされたVRコンテンツパケットはVRコンテンツ領域に属する。他の実施形態において、VRコンテンツ要求は端末装置102により選択されるFOV IDを含まないが、端末の見通し線情報を含み、VRコンテンツサーバ112はVRコンテンツ要求に対するFOV IDを決定してよい。VRコンテンツ要求に対するFOV IDを決定した後、VRコンテンツサーバ112はVRコンテンツ要求に対するFOV IDを記憶し、記憶されたFOV IDに従って、次のVRコンテンツ要求に対するFOV IDを決定し、次のVRコンテンツ要求に対して決定されたFOV IDに対応する複数のVRコンテンツをエンコードしてよく、各エンコードされたVRコンテンツパケットはVRコンテンツ領域に属する。
VRコンテンツサーバ112が次のVRコンテンツ要求に対して予測されたFOV IDに対応する複数のVRコンテンツをエンコードする場合、予測エラーを克服するために、VRコンテンツサーバ112は、次のVRコンテンツサーバ112に対して予測されたFOV IDに隣接するFOV IDに対応する複数のVRコンテンツをさらにエンコードする。例えば、図5を参照すると、次のVRコンテンツ要求に対して決定されたFOV IDは02であり、FOV ID02に隣接するFOV IDはFOV ID04およびFOV ID00である。具体的に、予測されたFOV ID(最後に取得されるFOV IDとも呼ばれる)、および次のVRコンテンツ要求に対して最後に取得されるFOV IDに隣接するFOV IDは第1予想FOV ID、第2予想FOV ID、および第3予想FOV IDとも呼ばれ、VRコンテンツサーバ112は次のVRコンテンツ要求において予測されたFOV IDが02(ユーザの頭部が左に20度回転することを示す)であると決定する場合、VRコンテンツサーバ112は、複数組のVRコンテンツパケットをエンコードして、次のVRコンテンツ要求に対する予測されたFOV02に対応し、00に対応するなど、予測されたFOV IDに隣接するFOV IDに対応するか、または04に対応する。他の実施形態において、複数組のVRコンテンツパケットはより多くのFOV IDに対応してよい。
最後に、PGW2106/UPF406は、QoS伝送優先度に対応して示される優先レベルに基づいて端末装置102にVRコンテンツパケットののうち少なくとも1つを送信する(714)。いくつかの実施形態において、PGW2106/UPF406は、VRコンテンツパケットのQoS優先度をモバイルネットワークにおけるQCI(QoS分類識別子)にマッピングし、最初に高い伝送優先度を有するVRコンテンツパケットを送信し、そして中間QoS伝送優先度および低い伝送優先度を有するVRコンテンツパケットを送信する。他の実施形態において、VRコンテンツサーバ112はより低いQoS伝送優先度を有するVRコンテンツパケットを破棄し、PGW201/UPF401は、特にネットワーク状態が良好でない場合に、低い伝送優先度を有するVRコンテンツパケットを破棄してよい。これは、PGW201/UPF401が、QoS伝送優先度と一致する示された優先レベルに基づいて、およびネットワーク状態に基づいて、複数のVRコンテンツパケットのうち少なくとも1つを端末装置に送信することを意味する。
VRコンテンツパケットの優先レベルを示し、VRコンテンツパケットが属するVRコンテンツ領域に対応するサービス品質(QoS)伝送優先度を含むことで、PGW2106/UPF406は、QoS伝送優先度と一致する示された優先レベルに基づいてVRコンテンツパケットを端末装置100に送信してよい。したがって、QoS情報に基づいて転送解決手段が実行されることが可能であり、ユーザ体験が改善され得る。ネットワーク状態に基づいて、高い伝送優先度を有するVRコンテンツパケットを送信し、低い伝送優先度を有するVRコンテンツパケットを破棄することで、高い伝送優先度を有するVRコンテンツパケットが端末装置に送信可能であることは確実であり、したがって、ユーザが良好な体験をし得る。
図8は、VRコンテンツシーンに対するVRコンテンツパケットを送信するための方法の実施形態の信号フロー図を図示する。図8の実施形態は、図1または図2に示されるようなシステムの状況において実行されてよく、図4から図6に示されるような例としてFoVを用いてもよい。
最初に、VRコンテンツサーバ112は、VRコンテンツパケットを端末装置102に送信する。この段階は、段階713および714と同一である(801)。段階802および803において、VRコンテンツサーバ112は、VRコンテンツシーンのインデックスを端末装置102に送信する。その後、VRコンテンツサーバ112は、次のVRコンテンツ要求に対して予測されたFOV IDを含む複数のFOV IDに対応する複数組のVRコンテンツパケットをエンコードする(711)。いくつかの実施形態において、VRコンテンツサーバ112は、予測されたFOV IDに隣接するFOV IDに対応する複数組のVRコンテンツパケットをエンコードしてよい。例えば、予測されたFOV IDは04であり、予測されたFOV IDに隣接するFOV IDは04および02であると仮定する。そして、VRコンテンツサーバ300は、FOV ID(予測されたFOV ID、および予測されたFOV IDに隣接するFOV ID、または予測されたFOV IDに隣接するFOV IDに隣接するFOV ID他のFOV IDなどを含む)に基づいて複数のVRコンテンツパケットを記憶する。
VRコンテンツサーバ300は、様々なFOV IDに対応するVRコンテンツパケットをエンコードするインデックスを生成する。VRコンテンツのインデックスは、VRコンテンツパケットのFOV ID、複数のFOV IDの各FOV IDに対応するVRコンテンツパケットのURLを含む。
例として、段階711において、VRコンテンツサーバ112は、FOV ID04に対応するVRコンテンツパケットをエンコードし、図5を参照してFOV ID06に対応するVRコンテンツパケットおよびFOV ID02に対応するVRコンテンツパケットをエンコードする。端末装置100に送信されるインデックスは、FOV ID04、FOV ID06およびFOV ID02のインデックス、FOV ID04に対応するVRコンテンツパケットURL、およびFOV ID02に対応するVRコンテンツパケットのURLを含む。他の例において、VRコンテンツサーバ112はさらに、FOV ID00またはFOV ID08などに対応するVRコンテンツパケットをエンコードしてよい。
端末装置102は、端末の見通し線に基づいて、次のVRコンテンツ要求に対するインデックスからFOV IDを選択する(804)。
VRコンテンツサーバ112からインデックスを受信すると、端末装置102は、端末装置のセンサ103からユーザの端末の見通し線を取得し、ユーザの頭部位置に基づいてユーザの端末の見通し線を決定する。いくつかの実施形態において、センサ806はユーザの頭部運動を検出し、そして端末装置のVRコンテンツクライアントなどの端末装置が、ユーザの頭部位置に基づいて端末の見通し線を決定し、端末装置により決定される端末の見通し線に最も近いFOV IDを選択する。
段階805−806において、端末装置102は、PGW106/UPF206を介してVRコンテンツ要求をVRコンテンツサーバに送信する。VRコンテンツ要求は、視界(field of view,FOV)IDを含む。これにより、VRコンテンツサーバ112は、VRコンテンツ要求におけるFOV IDに基づいてVRコンテンツパケットを選択し得る。いくつかの実施形態において、VRコンテンツ要求は、VRコンテンツサーバ112がVRコンテンツパケットのURLに従ってVRコンテンツパケットを選択し得るように、VRコンテンツパケットのURLを含んでもよい。
いくつかの実施形態において、VRコンテンツシーンのインデックスはFOV IDを含まなくてよく、VRコンテンツ要求は端末装置102により選択されるFOV IDを含まないが、端末の見通し線情報を含む。
VRコンテンツサーバ112は、FOV IDに対応するVRコンテンツパケットに対するQoS伝送優先度を決定する(807)。この段階は、段階712と同一である。
段階808−809において、VRコンテンツサーバ112は、PGW106/UPF206を介してVRコンテンツパケットを端末装置102に送信する。この段階は、段階713−714と同一である。
図9は、本発明の実施形態に係る階層ネットワーク102のブロック図を図示する。端末装置10は、汎用パーソナルコンピュータ(PC)、カスタムメイドのPCなどのマイクロプロセッサベースのコンピュータ、およびタブレットコンピュータまたはスマートフォンなどのポータブル機器に具現化されてよいが、発明の範囲はそのような例に限定されるものではない。端末装置102は、トランシーバ902、VRクライアント904、およびセンサ906を含む。VRクライアント904は、トランシーバ902およびセンサ906に接続される。
トランシーバ902は、無線伝送のための信号を生成および/または無線で受信される信号を処理するための任意の適切な構造を含む。トランシーバ902は、(3G、4G、5G)、汎用モバイル電気通信サービス(UMTS)、符号分割多重接続(CDMA)、移動体通信用グローバルシステム(GSM(登録商標))などのネットワークから信号を受信してもよく、または信号を送信してもよい。VRクライアント904、および端末装置のセンサ906は、汎用中央処理装置(CPU)、汎用プロセス、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)または本発明により特定されるプログラムルーチンの実行を制御するように構成されている1または複数の集積回路に、場合によっては具現化されてよい。端末装置の上記モジュールは、例えば1または複数のマイクロプロセッサを含む組み合わせ、DSPおよびマイクロプロセッサを含む組み合わせなどの演算処理機能の組み合わせであってもよい。センサ906は、3軸ジャイロスコープ、3軸加速センサ、および3軸磁気センサを含む9軸姿勢センサであってよい。センサ906は、ユーザの運動姿勢を感知してよい。
トランシーバ902は、ネットワーク104/204などのネットワークを介して、VRコンテンツサーバ112から送信されるVRコンテンツシーンのインデックスを受信する。インデックスは、端末の見通し線に関連する少なくとも2つの視界識別子(FOV ID)を含む。
VRクライアント904は、トランシーバ902からインデックスを受信し、センサ906から端末の見通し線を取得し、端末の見通し線に基づいてインデックスからFOV IDを選択する。
トランシーバ902は、VRコンテンツシーンに対して選択されたFOV IDを備えるVRコンテンツ要求を送信する。加えて、トランシーバ902はさらに、第2のQoSまたはより低いQoSを有し、VRコンテンツシーンの異なるFOV IDも有するVRコンテンツパケットを受信する。そしてVRクライアント904はVRコンテンツパケットを表示してよい。
センサ906は、端末の見通し線を端末に提供する。VRクライアント904は、第1の複数のVRコンテンツパケットおよび第2の複数のVRコンテンツパケットを表示してよい。
上記機能を除き、トランシーバ902、VRクライアント904およびセンサ906は、図1から図8に説明される端末装置102の機能を実行してもよいことを理解されたい。
図10は、本発明の実施形態に係る階層仮想現実(VR)コンテンツサーバ112のブロック図を図示する。VRコンテンツサーバ112は、汎用パーソナルコンピュータ(PC)、カスタムメイドのPCなどのマイクロプロセッサベースのコンピュータ、およびタブレットコンピュータまたはスマートフォンなどのポータブル機器に具現化されてよいが、発明の範囲はそのような例に限定されるものではない。VRコンテンツサーバ112は、トランシーバ1002、学習エンジン1004、VRエンコーディングエンジン1006およびFOV&QoSマッピングエンジン1008を含む。
トランシーバ1002は、学習エンジン1004およびVRエンコーディングエンジン1006に接続され、学習エンジン1004およびVRエンコーディングエンジン1006にVRコンテンツ要求を送信する。学習エンジン1004も、VRエンコーディングエンジン1006に接続され、次のVRコンテンツ要求に対して予測されたFOV IDをVRエンコーディングエンジン1004に提供する。VRエンコーディングエンジン1006は、FOV&QoSマッピングエンジン1006に接続され、VRコンテンツパケットをFOV&QoSマッピングエンジン1008に送信してよい。FOV&QoSマッピングエンジン1008は、トランシーバ1002に接続され、VRコンテンツパケットおよびQoS伝送優先度をFOV&QoSマッピングエンジン1008に送信してよい。
トランシーバ1002は、ネットワーク200またはネットワーク400で端末装置102により送信される情報を受信し、端末装置102に情報を送信する。例えばトランシーバ301は、単一のVRコンテンツシーンに対するVRコンテンツ要求を受信し、VRコンテンツ要求は端末の見通し線に関する情報を含む。VRエンコーディングエンジン1006は、端末の見通し線に関する情報に基づいて、VRコンテンツ要求に対する視界識別子(FOV ID)を取得し、FOV IDに基づいて、複数組のVRコンテンツパケットから過去にエンコードされたVRコンテンツパケットを選択する。FOV&QoSマッピングエンジン1008は、VRコンテンツ要求に対するVRエンコーディングエンジン1006により選択されるVRコンテンツパケットを受信し、VRコンテンツパケットに対するサービス品質(QoS)伝送優先度を決定する。QoS伝送優先度は、第1の複数のVRコンテンツパケットに対する第1QoS伝送優先度、および第2の複数のVRコンテンツパケットに対する第2QoS伝送優先度を含む。
トランシーバ1002はさらに、VRコンテンツパケットおよびQoS伝送優先度を伝送する。VRコンテンツパケットは、第1QoS伝送優先度に対応する第1の複数のVRコンテンツパケット、および第2QoS伝送優先度に対応する第2の複数のVRコンテンツパケットを含むトランシーバ1002により送信される。
いくつかの実施形態において、VRコンテンツ要求を受信した後、トランシーバ1002は学習エンジン1004にVRコンテンツ要求を送信する。学習エンジン1004は、過去のVRコンテンツ要求の記憶されたFOV ID、および端末の見通し線に関する情報に従って次のVRコンテンツ要求に対するFOV IDを決定する。いくつかの実施形態において、端末の見通し線に関する情報はFOV IDである。他の実施形態において、端末の見通し線に関する情報は、端末の見通し線の情報(端末の見通し線の位置など)を含み、学習エンジン1004は、端末の見通し線の情報に対応するFOV IDを決定してもよい。加えて、次のVRコンテンツ要求に対するFOV IDを決定することを除き、学習エンジン1004はVRコンテンツ要求のFOV IDを記憶し、次のVRコンテンツ要求に対するFOV IDをVRエンコーディングエンジン1006に送信する。VRエンコーディングエンジン1006は、次のVRコンテンツ要求に対して決定されたFOV IDに対応する複数組のVRコンテンツパケットをエンコードする。
上記機能を除き、トランシーバ1002、学習エンジン1004、VRエンコーディングエンジン1006およびFOV&QoSマッピングエンジン1008は、図1から図8に説明されるVRコンテンツサーバ112の機能を実行してもよいことが理解されよう。
学習エンジン1004、VRエンコーディングエンジン1006、およびFOV&QoSマッピングエンジン1008のいずれかは、汎用中央処理装置(CPU)、汎用プロセス、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)または本発明により特定されるプログラムルーチンの実行を制御するように構成されている1または複数の集積回路に、場合によっては具現化されてよい。学習エンジン1004、VRエンコーディングエンジン1006およびFOV&QoSマッピングエンジン1008は、例えば1または複数のマイクロプロセッサを含む組み合わせ、DSPおよびマイクロプロセッサを含む組み合わせなどの演算処理機能の組み合わせであってもよい。トランシーバ1002は、無線伝送のための信号を生成および/または無線で受信される信号を処理するための任意の適切な構造を含む。トランシーバ902は、(3G、4G、5G)、汎用モバイル電気通信サービス(UMTS)、符号分割多重接続(CDMA)、移動体通信用グローバルシステム(GSM)などのネットワークから信号を受信してもよく、または信号を送信してよい。
図11は、本発明の実施形態に係る階層ネットワークエンティティ1100のブロック図を図示する。ネットワークエンティティ1100は、PGW106またはUPF206または任意の他の機能エンティティであってよい。ネットワークエンティティ1100は、汎用パーソナルコンピュータ(PC)、カスタムメイドのPCなどのマイクロプロセッサベースのコンピュータ、およびタブレットコンピュータまたはスマートフォンなどのポータブル機器に具現化されてよいが、発明の範囲はそのような例に限定されるものではない。ネットワークエンティティ1100は、受信機1102および伝送機1106を含む。受信機1102は伝送機1106に接続される。
受信機1102は、単一のVRコンテンツシーンに対してVRコンテンツサーバにより伝送されるVRコンテンツパケットと、VRコンテンツパケットに対するサービス品質(QoS)伝送優先度を受信する。QoS処理1104は、VRコンテンツパケットにマッピングされたQoS伝送優先度を取得する。QoS伝送優先度は、第1の複数のVRコンテンツパケットに対応する第1QoS伝送優先度、および第2の複数のVRコンテンツパケットに対応する第2QoS伝送優先度を含む。伝送機1106は、第1QoS伝送優先度に基づく第1の複数のVRコンテンツパケットおよび第2伝送優先度に基づく第2の複数のVRコンテンツパケットを伝送し、第2QoS伝送優先度は第1QoS伝送優先度とは異なる。
少なくとも一実施形態において、ネットワークエンティティ1100は、図1から図8に説明されるPGW106およびUPF206の機能を実行してもよい。
QoS処理は、汎用中央処理装置(CPU)、汎用プロセス、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)または本発明により特定されるプログラムルーチンの実行を制御するように構成されている1または複数の集積回路に、場合によっては具現化されてよい。VRコンテンツサーバ112の上記モジュールは、例えば1または複数のマイクロプロセッサを含む組み合わせ、DSPおよびマイクロプロセッサを含む組み合わせなどの演算処理機能の組み合わせであってもよい。トランシーバ1102および伝送機1106は、無線伝送のための信号を生成および/または無線で受信される信号を処理するための任意の適切な構造を含んでよい。トランシーバ902は、(3G、4G、5G)、汎用モバイル電気通信サービス(UMTS)、符号分割多重接続(CDMA)、移動体通信用グローバルシステム(GSM)などのネットワークから信号を受信してもよく、または信号を送信してよい。
図12は、本発明の説明される態様および実施形態に係る、VRコンテンツを伝送、受信または処理するために例示的な実施形態に係る方法を実行するための、VRコンテンツサーバ、ネットワーク要素(PGW、UPF、PCRF、基地局など)、ルーター、端末装置、または他の機器などの1または複数の要素を実施する回路を図示するブロック図を図示する。全ての構成要素は、様々な実施形態に用いられる必要はない。例えば、VRコンテンツサーバはクラウドコンピューティングリソースを含んでよく、ダイレクトユーザI/Oデバイスへの必要性はほとんどない。UEはディスクドライブタイプストレージデバイスを含まなくてよく、他の機器は異なる組の構成要素を用いてよい。コンピュータ1200の形の1つの例示的なコンピューティングデバイスは、バス1220を介してプロセッサ1202と通信するプロセッサ1202およびメモリ1203を含んでよい。メモリ1203は、伝送のためのコンピュータ命令を含むリムーバブルストレージ1210または非リムーバブルストレージ1212の1つまたは両方を含み得て、本発明の説明される態様および実施形態に係るVRコンテンツを受信または処理する。例えば、メモリは、プロセッサにより実行される場合、プロセッサを、またはより一般的にはプロセッサを収容するデバイスを、ここに説明される機能、特に本明細書の方法の説明のいずれかを実行するように促すコンピュータ命令を含んでよいことを留意すべきである。メモリ1203は、揮発性メモリ1214および/または非揮発性メモリ1208を含んでよい。例示的なコンピューティングデバイスがコンピュータ1200として示され説明されているが、コンピューティングデバイスは異なる実施形態において異なる形であってよい。例えば、コンピューティングデバイスは代わりに、スマートフォン、タブレット、スマートウォッチ、または図12を参照して示され説明されるように、同一または類似の要素を含む他のコンピューティングデバイスであってよく、VRコンテンツを受信および表示できる。スマートフォン、タブレットおよびスマートウォッチなどのデバイスは、一般的にモバイルデバイスまたはユーザ機器とまとめて称される。さらに、様々なデータストレージ要素がコンピュータ1200の一部として示されるが、ストレージは、インターネットまたはサーバベースのストレージなどのネットワークを介してアクセス可能なクラウドベースのストレージをさらにまたは代替的に含んでよい。
コンピュータ1200は、バス1220に連結されている揮発性メモリ1214および/または非揮発性メモリ1208、リムーバブルストレージ1210および/または非リムーバブルストレージ1212などのさまざまなコンピュータ可読媒体を含むコンピューティング環境を含むか、または当該環境にアクセスし得る。コンピュータ記憶は、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROM)および電気消去可能プログラマブルリードオンリメモリ(EEPROM)、フラッシュメモリまたは他のメモリ技術、コンパクトディスク読み取り専用メモリ(CD ROM)、デジタルバーサタイルディスク(DVD)または他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたは他の磁気ストレージデバイス、または任意の他のコンピュータ可読命令を記憶することが可能な媒体を含む。
コンピュータ1200は、バス1220に連結されている入力インタフェース1206、出力インタフェース1204および通信インタフェース1216を含むか、または当該インタフェースにアクセスし得る。出力インタフェース1204は、入力デバイスとして機能もし得るタッチスクリーンなどの表示デバイスを含み得る。入力インタフェース1206は、1または複数のタッチスクリーン、タッチパッド、マウス、キーボード、カメラ、1または複数のデバイス固有のボタン、有線または無線データ接続を介してコンピュータ500内に統合または連結される1または複数のセンサ、および他の入力デバイスを含み得る。コンピュータ1200は、通信インタフェース1216を用いるネットワーク接続環境において動作し、データベースサーバまたは他のデバイスまたはシステムなどの1または複数のリモートコンピュータに接続し得る。リモートコンピュータは、パーソナルコンピュータ(PC)、サーバ、ルーター、ネットワークPC、ピアデバイスまたは他の一般的なDFDネットワークスイッチなどを含み得る。通信インタフェース1216は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、セルラネットワーク、WiFi(登録商標)、Bluetooth(登録商標)、または他のネットワークまたはシステム上で通信し得る。一実施形態によると、コンピュータ1200の様々な構成要素はシステムバス1220で接続される。
コンピュータ可読媒体に記憶される(例えば、メモリ1203内に記憶される)コンピュータ可読命令1218は、コンピュータ1200のプロセッサ1202により実行可能である。コンピュータ可読媒体およびストレージデバイスという用語は、搬送波および信号が過度に一時的とみなされる範囲までの搬送波または信号を含まない。ストレージは、ストレージエリアネットワーク(SAN)などのネットワーク接続ストレージも含み得る。
一例において、コンピュータ1200は、コンピュータ1200がネットワーク要素として実行される場合、命令1218、およびメモリ1203と通信する1または複数のプロセッサ1202を含むメモリ1203を含み、1または複数のプロセッサ1202は命令1218を実行して、単一のVRコンテンツシーンのVRコンテンツサーバにより伝送されるVRコンテンツパケットおよびVRコンテンツパケットのサービス品質(QoS)伝送優先度を受信し、第1QoS伝送優先度に基づく第1の複数のVRコンテンツパケットおよび第2伝送優先度に基づく第2の複数のVRコンテンツパケットを伝送する。
本発明の実施形態のさらなる態様は、以下のように示される。
例1.仮想現実(VR)コンテンツを伝送するためのネットワーク要素による方法であって、単一のVRコンテンツシーンのVRコンテンツサーバにより伝送されるVRコンテンツパケットおよびVRコンテンツパケットに対するサービス品質(QoS)伝送優先度を受信する段階であって、QoS伝送優先度は、第1の複数のVRコンテンツパケットに対応する第1QoS伝送優先度および第2の複数のVRコンテンツパケットに対応する第2QoS伝送優先度を含む、受信する段階と、第1QoS伝送優先度に基づく第1の複数のVRコンテンツパケットおよび第2QoS伝送優先度に基づく第2の複数のVRコンテンツパケットを伝送する段階であって、第2QoS伝送優先度と第1QoS伝送優先度とは異なる、伝送する段階とを備える、方法。
例2.複数のVRコンテンツ領域はユーザの視界(FOV)に関連する単一のVRコンテンツシーンの異なる部分に画定される、例1の方法。
例3.複数のQoS伝送優先度が複数のVRコンテンツ領域の複数のVRコンテンツパケットにそれぞれ対応する、例1または2に記載の方法。
例4.ポリシおよび課金制御(PCC)ルールを受信する段階をさらに備え、当該PCCルールは、ネットワーク要素エンティティがVRコンテンツパケットに対するQoS伝送優先度を決定するように促すQoS処理ルールを含む、例1から3の何れか1つに記載の方法。
例5.QoS処理ルールは、ネットワーク要素エンティティがVRコンテンツサーバからVRコンテンツパケットに対するQoS伝送優先度を取得することを可能にするVRコンテンツサーバアドレスを含む、例1から4の何れか1つに記載の方法。
例6.第3QoS伝送優先度を有する第3の複数のVRコンテンツパケットを破棄する段階をさらに備える、例1から5の何れか1つに記載の方法。
例7.第1QoS伝送優先度に基づく第1の複数のVRコンテンツパケットおよび第2伝送優先度に基づく第2の複数のVRコンテンツパケットは、VRコンテンツとネットワーク要素エンティティとの間における単一のフローを介してVRコンテンツサーバにより送信される、例1から6の何れか1つに記載の方法。
例8.VRコンテンツを伝送するための仮想現実(VR)コンテンツサーバによる方法であって、単一のVRコンテンツシーンに対するVRコンテンツ要求を受信する段階であって、VRコンテンツ要求は端末の見通し線に関する情報を含む、受信する段階と、端末の見通し線に関する情報に基づいて、VRコンテンツ要求に対する視界識別子(FOV ID)を取得する段階と、FOV IDに基づいて、過去にエンコードされたVRコンテンツパケットを複数組のVRコンテンツパケットから選択する段階と、VRコンテンツパケットに対するサービス品質(QoS)伝送優先度を決定する段階であって、当該QoS伝送優先度は、第1の複数のVRコンテンツパケットに対する第1QoS伝送優先度、および第2の複数のVRコンテンツパケットに対する第2QoS伝送優先度を含む、決定する段階と、VRコンテンツパケットおよびQoS伝送優先度を伝送する段階とを備える、方法。
例9.QoS優先度を決定する段階は、ネットワークデータ情報を受信する段階を含み、QoS優先度を決定する段階は、ネットワーク状態に基づいてQoS優先度を決定することを含む、例8に記載の方法。
例10.ネットワークデータは、スループット情報、遅延情報、パケット損失情報およびエラー率情報のうち少なくとも1つを含む、例8または9に記載の方法。
例11.QoS処理ルールをネットワーク要素に送信する段階をさらに備え、QoS処理ルールは、ネットワーク要素がQoS情報に基づいてQoS伝送優先度を使用するように促す、例8から10の何れか1つに記載の方法。
例12.QoS処理ルールは、リソースアドレスおよび宛先アドレスのうち少なくとも1つを含む、例8から11の何れか1つに記載の方法。
例13.VR端末装置からVRコンテンツ要求を受信する前に、VRコンテンツシーンのインデックスを端末装置に送信する段階であって、インデックスは、端末の見通し線に関する少なくとも2つの視界識別子(FOV ID)を含み、VRコンテンツ要求におけるFOV IDは、端末の見通し線に従ってインデックスから選択される、送信する段階をさらに備える、例8から12の何れか1つに記載の方法。
例14.VRコンテンツ要求を受信する前に、複数組のVRコンテンツパケットをエンコードする段階であって、第1のセットは第1予想FOV IDに対応し、第2のセットは第2予想FOV IDに対応し、第3セットは第3予想IDに対応する、エンコードする段階をさらに備える、例8から13の何れか1つに記載の方法。
例15.第1、第2および第3予想FOV IDは、最後の端末の見通し線に関連する最後に取得されるFOV IDに基づいて予測される、例8から14の何れか1つに記載の方法。
例16.端末の見通し線に関する情報は、端末の見通し線に関するFOV ID、または端末の見通し線情報である、例8から15の何れか1つに記載の方法。
例17.VRコンテンツパケットおよびQoS伝送優先度は、単一のチャネルを介してネットワーク要素に伝送される、例8から16の何れか1つに記載の方法。
例18.仮想現実(VR)コンテンツを受信するための端末装置による方法であって、VRコンテンツシーンのインデックスを受信する段階であって、インデックスは端末の見通し線に関連する少なくとも2つの視界識別子(FOV ID)を含む、受信する段階と、端末の見通し線に基づいてインデックスからFOV IDを選択する段階と、VRコンテンツシーンのために選択されたFOV IDを含むVRコンテンツ要求を送信する段階と、VRコンテンツシーンの選択されたFOV IDに対応する第1QoSを有するVRコンテンツパケットを受信する段階と、第2のQoSまたはより低いQoSを有し、VRコンテンツシーンの異なるFOV IDを有するVRコンテンツパケットを受信する段階とを備える、方法。
例19.VRコンテンツパケットは異なるサービス品質(QoS)伝送優先度を有し、当該方法は、QoS伝送優先度に基づいてVRコンテンツパケットを表示する段階をさらに含む、例18に記載の方法。
例20.VRコンテンツパケットは、第1QoS伝送優先度に対応する第1の複数のVRコンテンツパケット、第2QoS伝送優先度に対応する第2の複数のVRコンテンツパケット、および第3QoS伝送優先度に対応する第3の複数のVRコンテンツパケットを含み、QoS情報に基づいてVRコンテンツパケットを表示する段階は、第1の複数のVRコンテンツパケットおよび第2の複数の前記VRコンテンツパケットを表示する段階を有する、例18または19に記載の方法。
例21.FOV IDと端末の見通し線との間の関係を送信する段階をさらに備える、例18から20の何れか1つに記載の方法。
例22.命令を含む非一時的メモリと、メモリとの通信における1または複数のプロセッサとを備え、1または複数のプロセッサは、単一のVRコンテンツシーンのVRコンテンツサーバにより伝送されるVRコンテンツパケットおよびVRコンテンツパケットに対するサービス品質(QoS)伝送優先度を受信し、QoS伝送優先度は、第1の複数のVRコンテンツパケットに対応する第1QoS伝送優先度および第2の複数のVRコンテンツパケットに対応する第2QoS伝送優先度を含む、受信する命令と、第1QoS伝送優先度に基づく第1の複数のVRコンテンツパケットおよび第2伝送優先度に基づく第2の複数のVRコンテンツパケットを伝送し、第2QoS伝送優先度は第1QoS伝送優先度とは異なる、伝送する命令とを実行するように構成される、ネットワーク要素。
例23.1または複数のプロセッサはさらに、ポリシおよび課金制御(PCC)ルールを受信する命令を実行するように構成され、PCCルールは、VRコンテンツパケットのQoS伝送優先度を決定するようにネットワーク要素エンティティを促すQoS処理ルールを含む、例22に記載のネットワーク要素。
例24.1または複数のプロセッサはさらに、第3QoS伝送優先度を有する第3の複数のVRコンテンツパケットを破棄する命令を実行するように構成される、例22または23のいずれか1つに記載のネットワーク要素。
例25.命令を含む非一時的メモリ、およびメモリと通信する1または複数のプロセッサを備え、1または複数のプロセッサは、単一のVRコンテンツシーンに対するVRコンテンツ要求を受信する命令であって、VRコンテンツ要求は端末の見通し線に関する情報を含む、受信する命令と、端末の見通し線に関する情報に基づいて、VRコンテンツ要求に対する視界識別子(FOV ID)を取得する命令と、FOV IDに基づいて、過去にエンコードされたVRコンテンツパケットを複数組のVRコンテンツパケットから選択する命令と、VRコンテンツパケットに対するサービス品質(QoS)伝送優先度を決定する命令であって、当該QoS伝送優先度は、第1の複数のVRコンテンツパケットに対する第1QoS伝送優先度、および第2の複数のVRコンテンツパケットに対する第2QoS伝送優先度を含む、決定する命令と、VRコンテンツパケットおよびQoS伝送優先度を伝送する命令とを実行するように構成される、仮想現実(VR)コンテンツサーバ。
例26.1または複数のプロセッサはさらに、ネットワークデータ情報を受信する命令を実行するように構成され、QoS優先度を決定することは、ネットワーク状態に基づくQoS優先度を決定することを含む、例25に記載のネットワーク要素。
例27.命令を含む非一時的メモリ、およびメモリと通信する1または複数のプロセッサを備え、1または複数のプロセッサは、VRコンテンツシーンのインデックスを受信する命令であって、インデックスは端末の見通し線に関連する少なくとも2つの視界識別子(FOV ID)を含む、受信する命令と、端末の見通し線に基づいてインデックスからFOV IDを選択するVRコンテンツシーンのために選択されたFOV IDを含むVRコンテンツ要求を送信する命令と、VRコンテンツシーンの選択されたFOV IDに対応する第1QoSを有するVRコンテンツパケットを受信する命令と、第2のQoSまたはより低いQoSを有し、VRコンテンツシーンの異なるFOV IDも有するVRコンテンツパケットを受信する命令とを実行するように構成される、端末装置。
いくつかの実施形態は上記に詳細に説明されてきたが、他の改良が可能である。例えば、望ましい結果を得るのに、図に示された論理フローは、示された特定の順序または順番を必要としない。他の段階が提供されてよく、または説明されたフローから段階が削除されてよい。また、他のコンポーネントが、説明されたシステムに追加されてよく、または説明されたシステムから除外されてよい。他の実施形態が、以下の特許請求の範囲の範囲内であり得る。

Claims (25)

  1. 仮想現実(VR)コンテンツを伝送するためのネットワーク要素による方法であって
    ポリシおよび課金制御(PCC)ルールを受信する段階であって、前記PCCルールは、前記ネットワーク要素が単一のVRコンテンツシーンの複数のVRコンテンツパケットに対するサービス品質(QoS)伝送優先度を決定するように促すQoS処理ルールを含み、前記QoS処理ルールは、前記ネットワーク要素がVRコンテンツサーバから前記複数のVRコンテンツパケットに対する複数の前記QoS伝送優先度を取得することを可能にするVRコンテンツサーバアドレスを含む、受信する段階と、
    前記VRコンテンツサーバにより伝送される前記複数のVRコンテンツパケットおび前記複数のVRコンテンツパケットに対する前記複数のQS伝送優先度を受信する段階であって、前記複数のQoS伝送優先度は、第1の複数の前記VRコンテンツパケットに対応する第1QoS伝送優先度および第2の複数の前記VRコンテンツパケットに対応する第2QoS伝送優先度を含む、受信する段階と、
    前記第1QoS伝送優先度に基づく前記第1の複数の前記VRコンテンツパケットおよび前記第2QoS伝送優先度に基づく前記第2の複数の前記VRコンテンツパケットを伝送する段階であって、前記第2QoS伝送優先度は、前記第1QoS伝送優先度とは異なる、伝送する段階と
    を備える、方法。
  2. 複数のVRコンテンツ領域はユーザの視界(FOV)に関連する前記単一のVRコンテンツシーンの異なる複数の部分に画定される、
    請求項1に記載の方法。
  3. 記複数のQoS伝送優先度が前記複数のVRコンテンツ領域の前記VRコンテンツパケットにそれぞれ対応する、
    請求項2に記載の方法。
  4. 第3QoS伝送優先度を有する第3の複数のVRコンテンツパケットを破棄する段階をさらに備える、
    請求項1から3の何れか1項に記載の方法。
  5. 前記第1QoS伝送優先度に基づく前記第1の複数の前記VRコンテンツパケットおよび前記第2QoS伝送優先度に基づく前記第2の複数の前記VRコンテンツパケットは、前記VRコンテンツサーバと前記ネットワーク要素との間における単一のフローを介して前記VRコンテンツサーバにより送信される、
    請求項1から4の何れか1項に記載の方法。
  6. VRコンテンツを伝送するための仮想現実(VR)コンテンツサーバによる方法であって、
    単一のVRコンテンツシーンに対するVRコンテンツ要求を受信する段階であって、前記VRコンテンツ要求は端末の見通し線に関する情報を含む、受信する段階と、
    前記端末の見通し線に関する前記情報に基づいて、前記VRコンテンツ要求に対する視界識別子(FOV ID)を取得する段階と、
    前記FOV IDに基づいて、過去にエンコードされた複数のVRコンテンツパケットを複数組の複数のVRコンテンツパケットから選択する段階と
    複数のVRコンテンツパケットに対するサービス品質(QoS)伝送優先度を決定する段階であって、前記QoS伝送優先度は、第1の複数の前記VRコンテンツパケットに対する第1QoS伝送優先度、および第2の複数の前記VRコンテンツパケットに対する第2QoS伝送優先度を含む、決定する段階と、
    記複数のVRコンテンツパケットおよび前記QoS伝送優先度を伝送する段階と
    を備える、方法。
  7. 前記QS伝送優先度を決定する段階は、ネットワークデータの情報を受信する段階を含み、
    前記QS伝送優先度を決定する段階は、ネットワーク状態に基づいて前記QS伝送優先度を決定する段階を含む、
    請求項6に記載の方法。
  8. 前記ネットワークデータは、スループット情報、遅延情報、パケット損失情報およびエラー率情報のうち少なくとも1つを含む、
    請求項7に記載の方法。
  9. QoS処理ルールをネットワーク要素に送信する段階をさらに備え、前記QoS処理ルールは、前記ネットワーク要素がQoS情報に基づいて複数のQoS伝送優先度を使用するように促す、
    請求項6から8の何れか一項に記載の方法。
  10. 前記QoS処理ルールは、リソースアドレスおよび宛先アドレスのうち少なくとも1つを含む、
    請求項9に記載の方法。
  11. VR端末装置から前記VRコンテンツ要求を受信する前に、前記単一のVRコンテンツシーンのインデックスを前記端末装置に送信する段階であって、前記インデックスは、端末の見通し線に関する少なくとも2つの視界識別子(FOV ID)を含み、前記VRコンテンツ要求における前記FOV IDは、前記端末の見通し線に従って前記インデックスから選択される、送信する段階をさらに備える、
    請求項6から10の何れか1項に記載の方法。
  12. VRコンテンツ要求を受信する前に、前記複数組の複数のVRコンテンツパケットをエンコードする段階であって、第1のセットは第1予想FOV IDに対応し、第2のセットは第2予想FOV IDに対応し、第3セットは第3予想FOV IDに対応する、エンコードする段階をさらに備える、
    請求項6から11の何れか1項に記載の方法。
  13. 前記第1予想FOV ID、前記第2予想FOV IDおよび前記第3予想FOV IDは、最後の端末の見通し線に関連する最後に取得されるFOV IDに基づいて予測される、
    請求項12に記載の方法。
  14. 前記端末の見通し線に関する前記情報は、前記端末の見通し線に関するFOV ID、または前記端末の見通し線情報である、
    請求項6から13の何れか1項に記載の方法。
  15. 記複数のVRコンテンツパケットおよび前記QoS伝送優先度は、単一のチャネルを介してネットワーク要素に伝送される、
    請求項6から14の何れか1項に記載の方法。
  16. 仮想現実(VR)コンテンツを受信するための端末装置による方法であって、
    VRコンテンツシーンのインデックスを受信する段階であって、前記インデックスは端末の見通し線に関連する少なくとも2つの視界識別子(FOV ID)を含む、受信する段階と、
    端末の見通し線に基づいて前記インデックスからFOV IDを選択する段階と、
    前記VRコンテンツシーンのために選択された前記FOV IDを含むVRコンテンツ要求を送信する段階と、
    前記VRコンテンツシーンの選択された前記FOV IDに対応する第1QoSを有する複数のVRコンテンツパケットを受信する段階と、
    第2のQoSまたはより低いQoSを有し、前記VRコンテンツシーンの異なるFOV IDも有る複数のVRコンテンツパケットを受信する段階と
    を備える、方法。
  17. 記複数のVRコンテンツパケットは異なる複数のサービス品質(QoS)伝送優先度を有し、前記方法は、前記複数のQoS伝送優先度に基づいて前記複数のVRコンテンツパケットを表示する段階をさらに含む、
    請求項16に記載の方法。
  18. 記複数のVRコンテンツパケットは、第1QoS伝送優先度に対応する第1の複数の前記VRコンテンツパケット、第2QoS伝送優先度に対応する第2の複数の前記VRコンテンツパケット、および第3QoS伝送優先度に対応する第3の複数の前記VRコンテンツパケットを含み、前記複数のQoS伝送優先度に基づいて前記複数のVRコンテンツパケットを表示する前記段階は、前記第1の複数の前記VRコンテンツパケットおび前記第2の複数の前記VRコンテンツパケットを表示する段階を有する、
    請求項17に記載の方法。
  19. 前記FOV IDと前記端末の見通し線との間の関係を送信する段階をさらに備える、請求項16から18の何れか1項に記載の方法。
  20. ネットワーク要素であって、
    令を含む非一時的メモリと、
    記非一時的メモリと通信する1または複数のプロセッサと
    を備え、
    前記1または複数のプロセッサは
    ポリシおよび課金制御(PCC)ルールを受信する命令であって、前記PCCルールは、単一のVRコンテンツシーンの複数のVRコンテンツパケットに対するサービス品質(QoS)伝送優先度を決定するように前記ネットワーク要素を促すQoS処理ルールを含み、前記QoS処理ルールは、前記ネットワーク要素がVRコンテンツサーバから前記複数のVRコンテンツパケットに対する複数の前記QoS伝送優先度を取得することを可能にするVRコンテンツサーバアドレスを含む、受信する命令と、
    前記VRコンテンツサーバにより伝送される前記複数のVRコンテンツパケットおび前記複数のVRコンテンツパケットに対する前記複数のQS伝送優先度を受信する命令であって、前記複数のQoS伝送優先度は、第1の複数の前記VRコンテンツパケットに対応する第1QoS伝送優先度および第2の複数の前記VRコンテンツパケットに対応する第2QoS伝送優先度を含む、受信する命令と、
    前記第1QoS伝送優先度に基づく前記第1の複数の前記VRコンテンツパケットおよび前記第2QoS伝送優先度に基づく前記第2の複数の前記VRコンテンツパケットを伝送する命令であって、前記第2QoS伝送優先度は前記第1QoS伝送優先度とは異なる、伝送する命令と
    を実行するように構成される、
    ネットワーク要素。
  21. 前記1または複数のプロセッサはさらに、第3QoS伝送優先度を有する第3の複数のVRコンテンツパケットを破棄する命令を実行するように構成される、請求項20に記載のネットワーク要素。
  22. 命令を含む非一時的メモリ、および前記非一時的メモリと通信する1または複数のプロセッサを備え
    前記1または複数のプロセッサは、
    単一のVRコンテンツシーンに対するVRコンテンツ要求を受信する命令であって、前記VRコンテンツ要求は端末の見通し線に関する情報を含む、受信する命令と
    前記端末の見通し線に関する前記情報に基づいて、前記VRコンテンツ要求に対する視界識別子(FOV ID)を取得する命令と
    前記FOV IDに基づいて、過去にエンコードされた複数のVRコンテンツパケットを複数組の複数のVRコンテンツパケットから選択する命令と、
    複数のVRコンテンツパケットに対するサービス品質(QoS)伝送優先度を決定する命令であって、前記QoS伝送優先度は、第1の複数の前記VRコンテンツパケットに対する第1QoS伝送優先度、および第2の複数の前記VRコンテンツパケットに対する第2QoS伝送優先度を含む、決定する命令と
    前記複数のVRコンテンツパケットおよび前記QoS伝送優先度を伝送する命令と
    を実行するように構成される、
    仮想現実(VR)コンテンツサーバ。
  23. 前記1または複数のプロセッサはさらに、ネットワークデータ情報を受信する命令を実行するように構成され、前記QoS伝送優先度を決定する命令は、ネットワーク状態に基づいてQoS伝送優先度を決定することを含む、
    請求項22に記載の仮想現実(VR)コンテンツサーバ。
  24. 命令を含む非一時的メモリ、および前記非一時的メモリと通信する1または複数のプロセッサを備え、
    前記1または複数のプロセッサは、
    VRコンテンツシーンのインデックスを受信する命令であって、前記インデックスは端末の見通し線に関連する少なくとも2つの視界識別子(FOV ID)を含む、受信する命令と、
    端末の見通し線に基づいて前記インデックスからFOV IDを選択する命令と、
    記VRコンテンツシーンのために選択された前記FOV IDを含むVRコンテンツ要求を送信する命令と、
    前記VRコンテンツシーンの選択された前記FOV IDに対応する第1QoSを有する複数のVRコンテンツパケットを受信する命令と、
    第2のQoSまたはより低いQoSを有し、前記VRコンテンツシーンの異なるFOV IDも有する複数のVRコンテンツパケットを受信する命令
    実行するように構成される、
    端末装置。
  25. 実行される場合に、コンピュータが請求項1、6おび16の何れか一項に記載の方法を実行することを可能にする、コンピュータ可読記憶媒体に記録されたプログラム。
JP2019566899A 2017-06-08 2018-05-23 仮想現実(vr)コンテンツを伝送するための方法、ネットワーク要素、vrコンテンツサーバ、端末装置およびプログラム Active JP6973709B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/617,859 2017-06-08
US15/617,859 US10477105B2 (en) 2017-06-08 2017-06-08 Method and system for transmitting virtual reality (VR) content
PCT/CN2018/087940 WO2018223839A1 (en) 2017-06-08 2018-05-23 A method and system for transmitting virtual reality (vr) content

Publications (2)

Publication Number Publication Date
JP2020522944A JP2020522944A (ja) 2020-07-30
JP6973709B2 true JP6973709B2 (ja) 2021-12-01

Family

ID=64564257

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019566899A Active JP6973709B2 (ja) 2017-06-08 2018-05-23 仮想現実(vr)コンテンツを伝送するための方法、ネットワーク要素、vrコンテンツサーバ、端末装置およびプログラム

Country Status (6)

Country Link
US (1) US10477105B2 (ja)
EP (1) EP3625961A4 (ja)
JP (1) JP6973709B2 (ja)
KR (2) KR20200014355A (ja)
CN (2) CN112887843B (ja)
WO (1) WO2018223839A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10330935B2 (en) * 2016-09-22 2019-06-25 Apple Inc. Predictive, foveated virtual reality system
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US10812774B2 (en) 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
US10616621B2 (en) * 2018-06-29 2020-04-07 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
US10560759B1 (en) * 2018-10-23 2020-02-11 At&T Intellectual Property I, L.P. Active network support on adaptive virtual reality video transmission
CN111565422B (zh) 2019-02-13 2022-04-05 华为技术有限公司 策略控制方法、装置及系统
CN113452474B (zh) * 2020-03-27 2022-12-02 华为技术有限公司 扩展现实数据传输方法及装置
EP4062571A4 (en) * 2020-03-27 2023-01-04 Samsung Electronics Co., Ltd. IMAGE DISPLAY APPARATUS AND DATA PACKET LOSS MANAGEMENT METHOD
CN113747510A (zh) * 2020-05-28 2021-12-03 华为技术有限公司 通信方法及装置
US11677840B2 (en) 2021-01-11 2023-06-13 Cisco Technology, Inc. Preserving transmission properties of real-time scenes in an environment when an increasing number of users join a session
US11895170B2 (en) 2021-03-09 2024-02-06 Cisco Technology, Inc. Synchronicity for virtual reality/augmented reality interactive sessions in wireless networks
US11917011B2 (en) 2022-01-10 2024-02-27 Meta Platforms Technologies, Llc Resilient rendering for augmented-reality devices
WO2023136754A1 (en) * 2022-01-12 2023-07-20 Telefonaktiebolaget Lm Ericsson (Publ) Application server node, network node, core network node, and methods in a wireless communications network
US11758104B1 (en) 2022-10-18 2023-09-12 Illuscio, Inc. Systems and methods for predictive streaming of image data for spatial computing
CN117348932B (zh) * 2023-12-04 2024-03-15 中科亿海微电子科技(苏州)有限公司 支持axi深度乱序传输的从机装置及工作方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8146142B2 (en) * 2004-09-03 2012-03-27 Intel Corporation Device introduction and access control framework
KR20070119905A (ko) * 2006-06-16 2007-12-21 삼성에스디아이 주식회사 연료 전지용 막-전극 어셈블리 및 이를 포함하는 연료 전지시스템
JP4111231B2 (ja) * 2006-07-14 2008-07-02 富士ゼロックス株式会社 立体表示システム
US7630314B2 (en) * 2006-12-05 2009-12-08 Latitue Broadband, Inc. Methods and systems for dynamic bandwidth management for quality of service in IP Core and access networks
WO2009049684A1 (en) * 2007-10-19 2009-04-23 Telefonaktiebolaget Lm Ericsson (Publ) Methods and apparatuses for notifying an application function of resource restrictions relating to a communication session
US9407718B2 (en) * 2010-07-01 2016-08-02 Broadcom Corporation Method and system for service discovery and deployment in an IP multimedia network
US8718837B2 (en) * 2011-01-28 2014-05-06 Intouch Technologies Interfacing with a mobile telepresence robot
JP2014515599A (ja) * 2011-03-25 2014-07-03 セダーズ−シナイ メディカル センター 炎症性腸疾患における腸の肉芽腫および低骨密度を診断および処置する方法
US10514541B2 (en) * 2012-12-27 2019-12-24 Microsoft Technology Licensing, Llc Display update time reduction for a near-eye display
CN103533367B (zh) * 2013-10-23 2015-08-19 传线网络科技(上海)有限公司 一种无参考视频质量评价方法及装置
EP3033907B1 (en) * 2014-01-08 2018-09-19 Huawei Technologies Co., Ltd. Method and system of quality of service (qos) negotiation for network assisted adaptive streaming
US9699437B2 (en) * 2014-03-03 2017-07-04 Nextvr Inc. Methods and apparatus for streaming content
ES2642263T3 (es) * 2014-12-23 2017-11-16 Nokia Technologies Oy Control de contenido de realidad virtual
CN106162513B (zh) * 2015-04-09 2020-03-17 上海诺基亚贝尔股份有限公司 支持优先级的接近业务直接通信的方法和装置
US10575008B2 (en) 2015-06-01 2020-02-25 Apple Inc. Bandwidth management in devices with simultaneous download of multiple data streams
CN106303404A (zh) * 2015-06-29 2017-01-04 北京智谷睿拓技术服务有限公司 可视化内容传输控制方法、发送方法、及其装置
US10217877B2 (en) * 2015-07-27 2019-02-26 Lg Electronics Inc. Solar cell
CN105898138A (zh) 2015-12-18 2016-08-24 乐视致新电子科技(天津)有限公司 全景视频播放方法及装置
CN106919248A (zh) 2015-12-26 2017-07-04 华为技术有限公司 应用于虚拟现实的内容传输方法以及设备
EP3456090B1 (en) * 2016-05-12 2021-03-31 Convida Wireless, Llc Connecting to virtualized mobile core networks
US11395020B2 (en) * 2016-09-08 2022-07-19 Telefonaktiebolaget Lm Ericsson (Publ) Bitrate control in a virtual reality (VR) environment
CN106454321A (zh) 2016-10-26 2017-02-22 深圳市道通智能航空技术有限公司 全景视频的处理方法、装置及系统

Also Published As

Publication number Publication date
JP2020522944A (ja) 2020-07-30
CN110622506A (zh) 2019-12-27
US10477105B2 (en) 2019-11-12
CN112887843A (zh) 2021-06-01
KR20200014355A (ko) 2020-02-10
WO2018223839A1 (en) 2018-12-13
EP3625961A4 (en) 2020-04-01
KR102419114B1 (ko) 2022-07-07
KR20210106034A (ko) 2021-08-27
EP3625961A1 (en) 2020-03-25
US20180359189A1 (en) 2018-12-13
CN110622506B (zh) 2021-02-12
CN112887843B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
JP6973709B2 (ja) 仮想現実(vr)コンテンツを伝送するための方法、ネットワーク要素、vrコンテンツサーバ、端末装置およびプログラム
US10231014B2 (en) Virtual reality (VR) video distribution using edge resources
WO2015101237A1 (en) Methods, devices, and systems for allocating service nodes in a network
US10924388B1 (en) Multi-path routing
US11979450B2 (en) Communication method and apparatus
CN107534981B (zh) 资源重分配
US11640368B2 (en) Acceleration system for facilitating processing of API calls
WO2020135461A1 (zh) 一种视频同步显示的方法、装置及系统
US11070466B2 (en) Method for link aggregation and related devices
US10929953B2 (en) Method and apparatus for selecting communication interface in wireless communication system
CN114339928B (zh) 无线路由器及其数据传输方法
US10713935B2 (en) Control service for controlling devices with body-action input devices
US11265356B2 (en) Network assistance functions for virtual reality dyanmic streaming
JP2023109707A (ja) ビデオ分析システムおよびデータ配信方法
US20220303852A1 (en) Systems and methods for device-assisted seamless transfer between edge computing systems in a wireless network
US9497088B2 (en) Method and system for end-to-end classification of level 7 application flows in networking endpoints and devices
CN114846810A (zh) 通信方法及装置
US20230076650A1 (en) Image content transmission method and apparatus using edge computing service
US20240284493A1 (en) Systems and methods for facilitating delay aware scheduling of network data communications
US20240259869A1 (en) Systems and methods of prioritized data discard for wireless communication
US20240284259A1 (en) Systems and methods for mapping protocol data units to communication channels according to data metrics
US20240236190A9 (en) Method, apparatus and computer program product providing quality of service management for extended reality applications
WO2023246752A1 (zh) 通信方法和通信装置
CN115460266A (zh) 会话建立方法、装置、计算机设备、终端以及存储介质
TW202344117A (zh) 使用互補上行鏈路的系統和方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200106

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211020

R150 Certificate of patent or registration of utility model

Ref document number: 6973709

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150