KR20200014355A - 가상 현실(vr) 콘텐츠를 전송하기 위한 방법과 시스템 - Google Patents

가상 현실(vr) 콘텐츠를 전송하기 위한 방법과 시스템 Download PDF

Info

Publication number
KR20200014355A
KR20200014355A KR1020197038556A KR20197038556A KR20200014355A KR 20200014355 A KR20200014355 A KR 20200014355A KR 1020197038556 A KR1020197038556 A KR 1020197038556A KR 20197038556 A KR20197038556 A KR 20197038556A KR 20200014355 A KR20200014355 A KR 20200014355A
Authority
KR
South Korea
Prior art keywords
content
qos
fov
transmission priority
packet
Prior art date
Application number
KR1020197038556A
Other languages
English (en)
Inventor
잉화 예
항 시
훼이다 다이
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Priority to KR1020217026574A priority Critical patent/KR102419114B1/ko
Publication of KR20200014355A publication Critical patent/KR20200014355A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/61—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04L67/322—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/756—Media network packet handling adapting media to device capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H04L67/38—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H04N5/23238—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/38—Image reproducers using viewer tracking for tracking vertical translational head movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

가상 현실(VR) 콘텐츠 전송 방법이 개시된다. VR 콘텐츠 전송 방법은, 네트워크 엘리먼트가 단일 VR 콘텐츠 장면에 대해 VR 콘텐츠 서버에 의해 전송된 VR 콘텐츠 패킷, 및 VR 콘텐츠 패킷에 대한 서비스 품질(QoS) 전송 우선 순위를 수신하는 단계를 포함한다. 여기서, QoS 전송 우선 순위는 복수의 제1 VR 콘텐츠 패킷에 대응하는 제1 QoS 전송 우선순위와 복수의 제2 VR 콘텐츠 패킷에 대응하는 제2 QoS 전송 우선순위를 포함한다. 본 실시예에서, VR 콘텐츠 전송 방법은, 네트워크 엘리먼트가 제1 QoS 전송 우선순위에 기초한 복수의 제1 VR 콘텐츠 패킷과 제2 전송 우선순위에 기초한 복수의 제2 VR 콘텐츠 패킷을 전송하는 단계를 더 포함한다. 여기서, 제2 QoS 전송 우선순위는 제1 QoS 전송 우선순위와 다르다.

Description

가상 현실(VR) 콘텐츠를 전송하기 위한 방법과 시스템
본 출원은 2017년 6월 8일에 출원된 미국출원 제15/617,859호("A Method and System for Transmitting Virtual Reality (VR) Content")에 대해 우선권을 주장하는 바이며, 그 전체 내용이 원용에 의해 본 명세서에 포함된다.
본 개시는 가상 현실(VR) 비디오에 관한 것으로, 상세하게는 네트워크를 통해 VR 콘텐츠를 송신하는 것에 관한 것이다.
가상 현실(virtual reality) 비디오 시스템은 바람직하게는 360도의 뷰를 지원하여 사용자에게 파노라마 뷰를 제공한다. 가상 현실 시스템은 사용자로 하여금 비디오 재생 중에 시청 방향(viewing direction)을 자유롭게 제어할 수 있게 한다. 이러한 360도 비디오 시스템은 디스플레이와 사용자의 방향, 및 사용자가 어떤 주어진 시청 방향에 대해 볼 가능성이 있는 시야(field of view, FOV)에 기초하여 시청 영역을 계산하고 표시한다.
현재의 360도 비디오 전달 기술은 통상적으로 전통적인 비디오에 사용되는 전달 방식을 이용한다. 일반적으로, VR 컨텐츠 제공자는 가시적 부분과 현재 시청 방향 쪽으로 비가시 부분을 포함하는 VR 컨텐츠를 인코딩하여 전송한다. VR 컨텐츠의 이러한 인코딩된 부분을 모두 전송하려면 기존의 전달 방식(delivery scheme)을 이용하여 이러한 뷰의 현재 가시적 부분을 전달하는 데 필요한 것보다 높은 대역폭을 필요로 하고 또한 더 많은 자원을 소비한다. 기존의 전송 방식을 지원하기 위해 이러한 자원을 사용하면 네트워크 로딩 문제가 발생하고, 네트워크 대기 시간(latency)이 길어지고, 네트워크 성능이 저하되고, 시청 경험이 저하될 수 있다.
예시적인 실시예의 제1 양태는 가상 현실(virtual reality, VR) 컨텐츠를 전송하기 위해 네트워크 엘리먼트에 의해 수행되는 방법을 포함한다. 상기 방법에서, 상기 네트워크 엘리먼트는 단일 VR 컨텐츠 장면에 대해 VR 컨텐츠 서버에 의해 전송된 VR 컨텐츠 패킷, 및 서비스 품질(quality of service, QoS) 전송 우선순위를 수신한다. 여기서, 상기 QoS 전송 우선순위는 복수의 제1 VR 콘텐츠 패킷에 대응하는 제1 QoS 전송 우선순위와 복수의 제2 VR 콘텐츠 패킷에 대응하는 제2 QoS 전송 우선순위를 포함한다. 그런 다음, 상기 네트워크 엘리먼트는 상기 제1 QoS 전송 우선순위에 기초하여 상기 복수의 제1 VR 콘텐츠 패킷을 전송하고, 상기 제2 전송 우선순위에 기초하여 상기 복수의 제2 VR 콘텐츠 패킷을 전송한다. 여기서, 상기 제2 QoS 전송 우선순위는 상기 제1 QoS 전송 우선순위와 다르다. 전술한 실시예를 통해, 단일 VR 콘텐츠 장면 내의 상이한 VR 콘텐츠 패킷이 상이한 QoS 전송 우선순위를 이용하여 전송될 수 있도록, QoS 전송 우선순위는 VR 콘텐츠 패킷에 대응하고 있다. 따라서, 높은 QoS 전송 우선순위를 가진 VR 콘텐츠 패킷에 대한 전송이 보장될 수 있다.
예시적인 실시예의 제2 양태는 VR 콘텐츠를 전송하기 위해 가상 현실(VR) 콘텐츠 서버에 의해 수행되는 방법을 포함한다. 상기 방법에서, 상기 VR 콘텐츠 서버는 단일 VR 콘텐츠 장면에 대한 VR 콘텐츠 요청을 수신한다. 여기서, 상기 VR 콘텐츠 요청은 단말 가시선(terminal line of sight)에 관한 정보를 포함한다. 그런 다음, 상기 VR 콘텐츠 서버는 상기 단말 가시선에 관한 상기 정보에 기초하여, 상기 VR 콘텐츠 요청에 대한 시야각 식별자(field of view identifier, FOV ID)를 획득하고, 상기 FOV ID에 기초하여, VR 콘텐츠 패킷의 복수의 세트로부터 미리 인코딩된 VR 콘텐츠 패킷을 선택하며; VR 콘텐츠 패킷에 대한 서비스 품질(QoS) 전송 우선순위를 결정한다. 여기서, 상기 QoS 전송 우선순위는 복수의 제1 VR 콘텐츠 패킷에 대한 제1 QoS 전송 우선순위와 복수의 제2 VR 콘텐츠 패킷에 대한 제2 QoS 전송 우선순위를 포함한다. 마지막으로, 상기 VR 콘텐츠 서버는 상기 VR 콘텐츠 패킷과 상기 QoS 전송 우선순위를 전송한다. 상기 방법을 통해, 단일 VR 콘텐츠 장면의 영역 모두가 상이한 QoS 우선순위로 전송될 수 있도록, VR 콘텐츠 서버는 단일 VR 콘텐츠 장면 내의 상이한 VR 콘텐츠 패킷에 대한 상이한 QoS 전송을 결정한다.
예시적인 실시예의 제3 양태는 가상 현실(VR) 콘텐츠를 수신하기 위해 단말 장치에 의해 수행되는 방법을 포함한다. 상기 방법에서, 상기 단말 장치는 VR 콘텐츠 장면의 인덱스를 수신한다. 여기서, 상기 인덱스는 단말 가시선에 관한 적어도 2개의 시야각 식별자(FOV ID)를 포함한다. 그런 다음, 상기 단말 장치는 단말 가시선에 기초하여 상기 인덱스로부터 FOV ID를 선택하고, 상기 VR 콘텐츠 장면에 대한 상기 선택된 FOV ID를 포함하는 VR 콘텐츠 요청을 송신한다. 그 이후에, 상기 단말 장치는 상기 VR 콘텐츠 장면의 선택된 FOV ID에 대응하는 제1 QoS를 가진 상기 VR 콘텐츠 패킷을 수신하고; 더 낮은 제2 QoS를 가진 VR 콘텐츠 패킷으로서 상기 VR 콘텐츠 장면의 상이한 FOV ID를 가진 VR 콘텐츠 패킷을 수신한다. 상기 방법을 통해, FOV ID에 기초하여 VR 콘텐츠 서버로부터 상이한 QoS 우선순위를 가진 VR 콘텐츠 패킷을 수신할 수 있도록, 단말 장치는 VR 콘텐츠 요청을 송신하기 전에 FOV ID를 선택할 수 있다.
예시적인 실시예의 제4 양태는 네트워크 엘리먼트를 포함한다. 여기서, 상기 네트워크 엔티티는 명령을 포함하는 비일시적 메모리를 포함하고, 하나 이상의 프로세서는 상기 메모리와 통신한다. 여기서, 상기 하나 이상의 프로세서는 단일 VR 콘텐츠 장면에 대해 VR 콘텐츠 서버에 의해 전송된 VR 콘텐츠 패킷, 및 상기 VR 콘텐츠 패킷에 대한 서비스 품질(QoS) 전송 우선순위를 수신하고 - 여기서, 상기 QoS 전송 우선순위는 복수의 제1 VR 콘텐츠 패킷에 대응하는 제1 QoS 전송 우선순위와 복수의 제2 VR 콘텐츠 패킷에 대응하는 제2 QoS 전송 우선순위를 포함하고 있음 -; 상기 제1 QoS 전송 우선순위에 기초한 상기 복수의 제1 VR 콘텐츠 패킷과 상기 제2 전송 우선순위에 기초한 상기 복수의 제2 VR 콘텐츠 패킷을 전송하기 위해 상기 명령을 실행하도록 구성된다. 여기서, 상기 제2 QoS 전송 우선순위는 상기 제1 QoS 전송 우선순위와 다르다.
예시적인 실시예의 제5 양태는 가상 현실(VR) 콘텐츠 서버를 포함한다. 여기서, 상기 VR 콘텐츠 서버는 명령을 포함하는 비일시적 메모리를 포함하고, 하나 이상의 프로세서는 상기 메모리와 통신한다. 여기서, 상기 하나 이상의 프로세서는 예시적인 실시예의 제2 양태의 VR 콘텐츠 서버에 의해 수행되는 상기 명령을 실행하도록 구성된다.
예시적인 실시예의 제6 양태는 단말 장치를 포함한다. 여기서, 상기 단말 장치는 명령을 포함하는 비일시적 메모리, 및 상기 메모리와 통신하는 하나 이상의 프로세서를 포함한다. 여기서, 상기 하나 이상의 프로세서는 예시적인 실시예의 제3 양태의 단말 장치에 의해 수행되는 상기 명령을 수행하도록 구성된다.
예시적인 실시예의 제7 양태는 네트워크 엘리먼트를 포함한다. 여기서, 상기 네트워크 엘리먼트는 예시적인 실시예의 제1 양태의 네트워크 엘리먼트의 기능을 포함한다. 상기 기능은 하드웨어에 의해 구현될 수 있거나, 또는 하드웨어에 의해 수행되는 소프트웨어에 의해 구현될 수 있다. 그리고, 상기 하드웨어 또는 상기 소프트웨어는 상기 기능에 대응하는 하나 이상의 모듈을 포함한다.
예시적인 실시예의 제8 양태는 VR 콘텐츠 서버를 포함한다. 여기서, 상기 VR 콘텐츠 서버는 예시적인 실시예의 제2 양태의 VR 콘텐츠 서버의 기능을 포함한다. 상기 기능은 하드웨어에 의해 구현될 수 있거나, 또는 하드웨어에 의해 수행되는 소프트웨어에 의해 구현될 수 있다. 그리고, 상기 하드웨어 또는 상기 소프트웨어는 상기 기능에 대응하는 하나 이상의 모듈을 포함한다.
예시적인 실시예의 제9 양태는 단말 장치를 포함한다. 여기서, 상기 단말 장치는 예시적인 실시예의 제3 양태의 단말 장치의 기능을 포함한다. 상기 기능은 하드웨어에 의해 구현될 수 있거나, 또는 하드웨어에 의해 수행되는 소프트웨어에 의해 구현될 수 있다. 그리고, 상기 하드웨어 또는 상기 소프트웨어는 상기 기능에 대응하는 하나 이상의 모듈을 포함한다.
예시적인 실시예의 제10 양태는 컴퓨터 저장 매체를 포함한다. 여기서, 상기 컴퓨터 저장 매체는 예시적인 실시예의 제1 양태 또는 제4 양태의 네트워크 엘리먼트에 의해 수행되는 명령을 저장하고, 예시적인 실시예의 제1 양태 또는 제4 양태에서 수행되는 상기 프로그램을 저장한다.
예시적인 실시예의 제11 양태는 컴퓨터 저장 매체를 포함한다. 상기 컴퓨터 저장 매체는 예시적인 실시예의 제2 양태 또는 제5 양태의 VR 콘텐츠 서버에 의해 수행되는 명령을 저장하고, 예시적인 실시예의 제2 양태 또는 제5 양태에서 수행되는 상기 프로그램을 저장한다.
예시적인 실시예의 제12 양태는 컴퓨터 저장 매체를 포함한다. 여기서, 상기 컴퓨터 저장 매체는 예시적인 실시예의 제3 양태 또는 제6 양태의 단말 장치에 의해 수행되는 명령을 저장하고, 예시적인 실시예의 제3 양태 또는 제6 양태에서 수행되는 상기 프로그램을 저장한다.
도 1은 예시적인 실시예에 따른 VR 콘텐츠 분배 시스템(100)을 도시한 네트워크도이다.
도 2는 예시적인 실시예에 따른 계층적 VR 컨텐츠 분배 시스템(200)을 도시한 블록도이다.
도 3은 단일 360도 비디오 컨텐츠 장면의 상이한 부분에 대한 전송 우선순위 레벨을 2차원으로 표현한 도면이다.
도 4는 본 발명의 일 실시예에 따른 360도 비디오 컨텐츠 장면의 상이한 부분의 2차원 FOV 영역 뷰를 도시한 도면이다.
도 5는 예시적인 실시예에 따라, 사용자의 머리를 수평으로 움직이는 것(머리를 좌우로 돌리는 것에 대응함) 또는 수직으로 움직이는 것(머리를 상하로 움직이는 것)에 기초하여 360도 비디오의 컨텐츠 서버(112)에 의해 설정되는 FOV ID를 도시한 도면이다.
도 6은 예시적인 실시예에 따른 네 방향(좌우, 상하를 포함)으로의 사용자 머리 움직임에 기초하여 2차원으로 360도 비디오 장면의 그리드 스티칭된(grid stitched) 파노라마 비디오의 상이한 영역을 도시한 도면이다.
도 7은 VR 콘텐츠를 송신하기 위한 방법의 일 실시예의 신호 흐름도이다.
도 8은 VR 컨텐츠 장면에 대해 VR 컨텐츠 패킷을 송신하는 방법의 일 실시예의 신호 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 계층적 단말 장치(102)의 블록도이다.
도 10은 본 발명의 일 실시예에 따른 계층적 가상 현실(VR) 컨텐츠 서버(112)의 블록도이다.
도 11은 본 발명의 일 실시예에 따른 계층적 네트워크 엔티티(1100)의 블록도이다.
도 12는 본 발명의 전술한 양태와 실시예에 따라 VR 콘텐츠를 전송하거나, 또는 수신하거나, 또는 처리하기 위한 예시적인 실시예에 따른 방법을 수행하기 위한 하나 이상의 엘리먼트, 예컨대 VR 콘텐츠 서버, 또는 네트워크 엘리먼트(PGW, UPF, PCRF, 및 기지국 등), 또는 라우터, 또는 단말 장치, 또는 다른 장비를 구현하기 위한 회로를 도시한 블록도이다.
이하의 설명에서, 본 명세서의 일부를 구성하는 첨부 도면을 참조하고, 이 첨부 도면에는 실시될 수 있는 구체적인 실시예가 실례로서 도시되어 있다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있게 충분히 상세하게 설명되어 있고, 다른 실시예가 사용될 수 있다는 것 그리고 본 발명의 범위에서 벗어나지 않고 구조적, 논리적, 및 전기적 변경이 이루어질 수 있다는 것을 이해해야 한다. 그러므로, 예시적인 실시예의 이하의 설명은 제한적인 의미로 간주되어서는 안 되며, 본 발명의 범위가 첨부된 청구 범위에 의해 정의된다.
본 명세서에 기술된 기능 또는 알고리즘이 일 실시예에서의 소프트웨어로 구현될 수 있다. 소프트웨어는 컴퓨터 판독가능 매체에 저장되거나 또는 로컬의 컴퓨터 판독가능 저장 장치 또는 네트워크에 연결된 컴퓨터 판독가능 저장 장치, 예컨대 하나 이상의 비일시적 메모리, 또는 다른 유형의 하드웨어 기반의 저장 장치에 저장되는 컴퓨터 실행가능 명령으로 구성될 수 있다. 또한, 이러한 기능은 소프트웨어, 또는 하드웨어, 또는 펌웨어, 또는 이들의 임의의 조합일 수 있는 모듈에 대응하고 있다. 복수의 기능이 원하는 대로 하나 이상의 모듈에서 수행될 수 있으며, 설명된 실시예는 예일 뿐이다. 소프트웨어는 디지털 신호 프로세서, ASIC, 마이크로프로세서, 또는 컴퓨터 시스템, 예컨대 개인용 컴퓨터, 서버, 또는 다른 컴퓨터 시스템 상에서 작동하는 다른 유형의 프로세서 상에서 실행될 수 있으며, 구체적으로 이러한 컴퓨터 시스템을 프로그래밍된 기계로 바꿔 놓는다.
360도 비디오를 포함하는 가상 현실(virtual reality, VR) 애플리케이션이 낮은 지연(latency)과 높은 처리량으로 가장 잘 작동한다. 양호한 체감 품질(quality of experience, QoE)을 위하여 VR 콘텐츠가 약 20 밀리초(ms) 이내에 사람의 눈에 전달되어야 한다. VR 컨텐츠 서버에서의 VR 처리 시간, 하나 이상의 네트워크를 통해 VR 컨텐츠를 전달하기 위한 전송 시간, 및 단말 장치의 비디오 렌더링 시간을 고려하면, 최종 표시 이후 20ms 이내에 VR 컨텐츠를 표시하는 목표는 도전적이다.
네트워크 로딩, 간섭, 및 전송 에러율과 같은 무선 링크의 조건은 무선 링크를 이용하는 통신의 대역폭 및/또는 지연에 영향을 미치는 무선 링크의 측면이다. 나쁜 링크 조건하에서 고화질 VR 콘텐츠를 스트리밍하면 혼잡이 발생하고, 패킷 손실과 과도한 패킷 재전송을 유발하며, 바람직하지 않은 체감 품질(Quality of Experience, QoE)를 초래할 뿐만 아니라 네트워크 운용에 악영향을 줌으로써 다른 전송에 영향을 미칠 수 있다.
도 1은 예시적인 실시예에 따른 VR 콘텐츠 분배 시스템(100)을 도시한 네트워크도이다. VR 서비스 분배 시스템(100)은 단말 장치(102), 네트워크(104), 및 VR 콘텐츠 서버(112)를 포함할 수 있다. 네트워크(104)는 패킷 데이터 네트워크 게이트웨이(packet data network gateway, PGW) 엔티티(106), 네트워크 제어 서비스(network control service, NCS) 엔티티(110), 및 정책 및 과금 규칙 기능(Policy and Charging Rules Function, PCRF) 엔티티(110)를 포함할 수 있다. 임의의 알려진 네트워크가 네트워크(104) 대신에 사용될 수 있다. 또한, 서비스 능력 노출 기능(service capability exposure function, SCEF)이 NCS 대신에 사용될 수 있다. 무선 단말 장치(102)는 네트워크 (104)에 연결되고, 여기서, 더 구체적으로 무선 통신 링크를 통해 PGW(106)에 연결된다.
단말 장치(102)는 VR 컨텐츠 서버(112)와 통신하고, 네트워크(104)를 통해 VR 컨텐츠 서버(112)로부터 VR 컨텐츠 패킷을 수신한다. 일반적으로, VR 컨텐츠 장면의 VR 컨텐츠 패킷은 VR 컨텐츠 서버(112)에 의해 전송되는 VR 컨텐츠 패킷의 형태로 전달된다. 도 1의 예에서, VR 콘텐츠 패킷은 PGW(106)를 통해 전송된다. NCS(110)는 PGW(106)와 통신하고, 네트워크 조건을 학습하며, VR 데이터 서버(112)에 네트워크 데이터를 전송한다. PCRF(108)는 NCS(110) 및 PGW(106)와 통신하여 NCS(110)에서 PGW(106)로 QoS 처리 규칙을 송신한다. NCS(110)는 VR 컨텐츠 서버로부터 QoS 처리 규칙을 수신한다. 설명된 실시예에서, QoS 처리 규칙은 네트워크 엘리먼트 엔티티로 하여금 VR 콘텐츠 서버로부터 수신된 VR 콘텐츠 패킷에 대한 QoS 전송 우선순위를 획득하도록 촉발한다.
일 실시예에서, 단말 장치(102)는 VR 컨텐츠 서버(112)에 의해 전송된 VR 컨텐츠 장면의 인덱스를 수신하도록 구성된다. VR 컨텐츠 장면의 인덱스는 적어도 2개의 시야각 식별자(field of view identifier, FOV ID)를 포함한다. 단말 장치(102)는 사용자의 머리 움직임과 관련된 단말 가시선(terminal line of sight)에 기초하여 인덱스로부터 FOV ID를 선택하고, 컨텐츠 요청 내의 선택된 FOV ID를 VR 컨텐츠 서버(112)에 송신한다. 여기서, 네트워크(100)에서, 도면에 도시되지 않은 다른 네트워크 엘리먼트를 통해 전송될 수 있지만, 콘텐츠 요청과 인덱스는 PGW (106)를 통해 전송된다. 또한, 단말 장치(102)는 선택된 FOV ID에 대응하는 VR 컨텐츠 패킷을 PGW(106)를 통해 VR 컨텐츠 서버(112)로부터 수신한다.
PGW(106)는 VR 컨텐츠 서버(112)로부터 VR 컨텐츠 패킷을 수신한다. 여기서, 상이한 영역으로부터의 VR 컨텐츠 패킷에는 상이한 서비스 품질(Quality of Service, QoS) 전송 우선순위가 할당된다. 예를 들어, 복수의 제1 VR 컨텐츠 패킷이 제1 QoS 전송 우선순위에 대응하고, 복수의 제2 VR 컨텐츠 패킷이 제2 QoS 전송 우선순위에 대응하며, 복수의 제3 VR 컨텐츠 패킷이 제3 QoS 전송 우선순위에 대응한다. 그리고, 네트워크 엘리먼트 엔티티는 각각 제1, 또는 제2, 또는 제3 QoS 전송 우선순위에 기초하여 복수의 제1, 또는 제2, 또는 제3 VR 콘텐츠 패킷을 전송한다. 또한, PGW(106)는 NCS(110)에 네트워크 데이터를 제공할 수 있다. 네트워크 데이터는 처리량 정보(throughput information), 지연 정보(latency information), 패킷 손실 정보, 및 오류율 정보(error rate information) 중 적어도 하나를 포함한다.
NCS(110)는 PGW(106)로부터 네트워크 데이터를 수신하고, VR 데이터 서버 (112)에 네트워크 데이터를 전송한다. 또한, NCS는 VR 콘텐츠 서버(112)로부터 QoS 처리 규칙을 수신하고, PCRF(108)에 QoS 처리 규칙을 송신한다. PCRF(108)는 NCS(110)로부터 QoS 처리 규칙을 수신하고, PGW(106)에 QoS 처리 규칙을 송신한다.
VR 컨텐츠 서버(112)는 네트워크(104)를 통해 VR 컨텐츠 장면의 VR 컨텐츠 패킷을 단말 장치(102)에 송신한다. 일 실시예에서, VR 컨텐츠 서버는 단말 장치에 의해 선택된 시야 식별자(field of view identifier, FOV ID)를 수신하고, 수신된 FOV ID에 기초하여 VR 컨텐츠 패킷을 생성한다. VR 콘텐츠 서버는 그런 다음 장면의 VR 콘텐츠 패킷을 전송하지만, VR 콘텐츠 패킷은 요청된 FOV ID와의 관계에 기초하여 VR 콘텐츠 패킷에 할당되는 상이한 QoS 전송 우선순위 값을 가지고 있다. VR 컨텐츠 서버(112)는 네트워크(104)를 통해 단말 장치(100)로부터 FOV ID를 포함하는 VR 컨텐츠 요청을 수신한다(106). 또한, VR 컨텐츠 서버(112)는 VR 컨텐츠 패킷을 전송하기 전에 VR 컨텐츠 패킷의 인덱스를 전송한다. 단말기가 단말 가시선에 기초하여 FOV ID로부터 상기 FOV ID를 선택할 수 있도록, VR 콘텐츠 패킷의 인덱스는 단말 가시선에 관한 적어도 2개의 FOV ID를 포함한다.
따라서, 네트워크 상태와 QoS를 고려하지 않고 각각의 가상 현실(VR) 패킷을 송신하는 대신에, PGW(106)는, 즉 더 일반적으로, 개발 중인 차세대 무선 네트워크(현재 "5G"라고 함)에서의 사용자 평면 기능(UPF) 장치, 및 다른 네트워크의 임의의 다른 장치는 QoS 전송 우선순위에 기초하여 VR 콘텐츠 패킷을 송신할 수 있다. (QoS) 전송 우선순위는 제1 QoS 전송 우선순위, 제2 QoS 전송 우선순위, 및 제3 QoS 전송 우선순위 등을 포함할 수 있다. 상이한 QoS 전송 우선순위는 단일 장면의 상이한 시청 영역으로부터의 VR 컨텐츠 패킷에 대응하고 있다. 예를 들어, 복수의 제1 VR 콘텐츠 패킷은 제1 QoS 전송 우선순위에 대응하고, 복수의 제2 VR 콘텐츠 패킷은 제2 QoS 전송 우선순위에 대응하며, 복수의 제3 VR 콘텐츠는 제3 QoS 전송 우선순위에 대응한다 .
따라서, 상이한 QoS 전송 우선순위를 가진 상이한 VR 컨텐츠 패킷이 QoS 전송 우선순위에 따라 전달될 수 있고, 사용자의 FOV 내의 패킷에 대해 컨텐츠 전송 서비스 품질이 보장될 수 있으며, 네트워크 지연이 감소되어야 하고, 사용자의 FOV 내에 있지 않은 단일 장면의 다른 부분에 대응하는 데이터 패킷에 대해 낮은 QoS 등급이 사용될 수 있기 때문에 네트워크 성능이 향상될 수 있다.
또한, 단말기(102)는 단말기 시야에 따라 FOV ID를 결정하고, 결정된 FOV ID에 대응하는 VR 컨텐츠 패킷을 요청할 수 있다. 이와 같이, VR 컨텐츠 서버는 VR 컨텐츠 요청을 수신한 후 FOV ID를 결정하고, FOV ID를 결정한 후 VR 컨텐츠 패킷을 생성하는 것이 방지된다. 따라서, VR 컨텐츠 서버로부터 VR 컨텐츠 패킷을 수신하기 위해 대기하는 시간이 절약된다.
도 2는 예시적인 실시예에 따른 계층적 VR 컨텐츠 분배 시스템(200)을 도시한 블록도이다. VR 서비스 분배 시스템(100)과는 달리, VR 서비스 분배 시스템(200)은 사용자 평면 기능(user plane function, UPF) 엔티티 (206), NCS(110), 정책 제어 기능(policy control function, PCF) 엔티티(208), 및 SMF 엔티티(204)를 포함하는 5G 네트워크에 사용될 수 있는 다른 네트워크(202)를 포함한다. 임의의 알려진 네트워크가 네트워크(104) 대신에 사용될 수 있고, 네트워크 노출 기능(network exposure function, NEF)이 NCS(110) 대신에 사용될 수 있다.
계층적 VR 컨텐츠 분배 시스템(200)에서, 단말 장치(102)는 VR 컨텐츠 서버(112)와 통신하고, 네트워크(104)를 통해 VR 컨텐츠 서버(112)로부터 VR 컨텐츠 패킷을 수신한다. NCS(110)는 UPF(206) 및 VR 컨텐츠 서버(112)와 통신하고, UPF(206)에서 VR 컨텐츠 서버(112)로 네트워크 데이터를 송신하며, VR 컨텐츠 서버(112)로부터 QoS 처리 규칙을 수신한다. PCF(208)는 NCS(110) 및 SMF(204)와 통신하여 NCS에서 SMF(204)로 QoS 처리 규칙을 전송하고, QoS 처리 규칙은 PCF(208)에 의해 생성되는 정책 및 과금 제어(policy and charging control, PCC) 규칙에 포함된다. SMF(204)는 UPF(206)와 통신하여 정책 및 과금 제어(PCC) 규칙 중 QoS 처리 규칙을 UPF(206)에 송신한다.
일반적으로 네트워크를 위한 기능 외에, 네트워크(202)는 특히 본 발명의 다양한 실시예와 양태에 관한 것이기 때문에, 네트워크(104)의 프로세스와 일부 유사성을 가진 프로세스를 수행한다. 예를 들어, UFP(206)는 PGW(106)의 기능을 수행하고, PCF(208)는 PCRF(108)의 기능을 수행한다. UPF(206), NCS(110), 및 PCF(208)의 절차에 대한 세부사항은 개시되지 말아야 하며, 도 1의 설명을 참조할 수 있다.
도 1과 도 2는 VR 컨텐츠 서버(112)가 네트워크(104, 202)로부터 분리되어 있는 계층적 VR 컨텐츠 분배 시스템(100, 200)의 일부 실시예를 도시하고 있다. 대안적인 실시예에서, VR 컨텐츠 서버(112)는 네트워크에 포함된 네트워크 엔티티일 수 있다.
도 3은 단일 360도 비디오 컨텐츠 장면의 상이한 부분에 대한 전송 우선순위 레벨을 2차원으로 표현한 도면이다. 도 3을 참조하면, 360도 비디오 컨텐츠는 일반적으로 300으로 표시된 복수의 VR 컨텐츠 영역을 포함하며, 단말 가시선과 관련하여 단일 VR 컨텐츠 장면의 상이한 부분에 대해 복수의 VR 컨텐츠 영역이 정의된다. 구체적으로, 수평 방향으로 제공되는 컨텐츠는 사용자의 좌우 방향으로의 머리 움직임에 기초하여 단말 가시선과 관련된 복수의 VR 컨텐츠 영역을 나타내고, 수직 방향으로 제공되는 컨텐츠는 상하 방향으로의 사용자의 머리 움직임에 기초하여 단말 가시선과 관련된 복수의 VR 컨텐츠 영역을 나타낸다. 수평으로 인접한 영역(314, 316)에서, VR 컨텐츠 영역(300)은 사용자의 시야(FOV)와 관련하여 정의되고, VR 컨텐츠 영역은 영역(306)(예를 들어, 사용자의 가시선 주변 영역)뿐만 아니라 수직으로 인접한 영역(304, 308)에 의해 표현되는 FOV 영역을 포함한다. VR 콘텐츠 영역(300)은 또한 비가시 영역(302, 310, 312, 318)을 포함한다. 비가시 영역(312, 318)은 수평 방향에서의 비가시 영역을 나타내고, 영역(302, 310)은 수직 방향에서의 비가시 영역을 나타낸다. FOV 영역(304)은 사용자의 가시선에 의해 침투된 영역에 대응한다. FOV 영역(304)에 인접한 영역은 FOV 영역에 인접한 영역에 대응하고, 영역(314, 316, 304, 308)을 포함한다. 비가시 영역은 사용자가 볼 수 없는 영역을 의미하며, 영역(312, 318)과 영역(310, 302)를 포함한다.
도 3에서, FOV 영역에 인접한 영역은 수평 방향 또는 수직 방향으로의 사용자의 머리 움직임에 기초하여 FOV 영역이 될 수 있는 VR 콘텐츠 장면의 4개의 부분을 포함한다는 것을 유의해야 한다. 4개의 부분 각각은 VR 컨텐츠 장면의 하나의 부분에 대응한다. 도 3의 영역(312, 318)과 영역(310, 302)을 포함하는 각각의 비가시 영역은 VR 컨텐츠 장면의 하나의 부분에 대응한다. 본 실시예의 일 양태는 FOV 영역(306)이 제1 QoS로 전송되고, FOV 영역(306)에 인접한 각각의 영역(즉, 영역(314, 316, 304, 308)이 제1 QoS 또는 제1 QoS보다 낮은 제2 QoS로 전송될 수 있다. 비가시 영역(즉, 영역(312, 318)과 영역(310, 302)) 각각은 제1 Qos 이하이고 또한 제2 QoS 이하일 수 있는 제3 QoS로 전송될 수 있다. 도 3의 영역 모두가 (비록 상이한 QoS 등급으로 전송되지만) 단일 장면의 일부이다. 설명된 실시예에서, 단일 360도 장면.
도 4는 본 발명의 일 실시예에 따른 360도 비디오 컨텐츠 장면의 상이한 부분의 2차원 FOV 영역 뷰를 도시한 도면이다. 도 4에서, 단말 장치를 가진 사용자가 360도 비디오 컨텐츠 장면을 보여주는 원의 중심점에 있다. 선 "a"가 콘텐츠 서버(112)에 의해 360도 비디오의 중심점에서 360도 비디오의 지점까지 설정된 기준선이다. 일부 실시예에서, 선 a가 나타내는 360도 비디오의 지점은 그리드 스티치된(grid stitched) 360도 비디오 장면의 파노라마 비디오의 중심점일 수 있다. 선 AI가 사용자 단말기의 현재 방향에 대한 단말기(또는 사용자) 가시선을 나타낸다. 단말 가시선은 사용자 단말기의 중심점과 사용자 시야의 중심점으로부터의 선이다. 선 BI와 선 CI가 FOV를 정의하는 단말 가시선의 반대쪽에 있다. 선 DI와 선 EI가 서로 반대측에 있으며, FOV 영역에 인접한 영역을 정의하는 데 도움이 된다. 더 구체적으로, 선 BI와 선 EI가 하나의 인접 영역을 정의하고, 선 CI와 선 DI가 제2 인접 영역을 정의한다. FOV 영역은 선 BI와 선 CI에 의해 정의될 수 있다.
선 BI와 선 EI 그리고 선 CI와 선 DI에 의해 생성되는 각도는 VR 콘텐츠 서버에 의해 결정될 수 있다. 선 BI와 선 CI에 의해 생성되는 FOV에 대한 각도는 일 실시예에서 VR 콘텐츠 서버에 의해 그리고 다른 실시예에서 단말기에 의해 결정될 수 있다. 필수는 아니지만, 일 실시예에서, FOV에 대한 각도가 인접한 영역에 대한 각도보다 크다.
도 4에 도시된 바와 같이, 360도 비디오 컨텐츠 장면은 복수의 영역을 포함한다. 여기서, 선 BI와 선 CI에 의해 포함되는 영역이 한 방향(예를 들어 수평 방향 또는 수직 방향)에서 FOV 영역에 대응하며, 이는 주어진 순간에 보여지는 관찰 가능한 세계의 한도(extent)를 식별한다. 선 BI와 선 EI 그리고 선 CI와 선 DI에 의해 포함되는 영역이 한 방향(가로 방향 또는 세로 방향)에서 FOV 영역에 인접한 영역이다. 그리고, 선 DI에서 선 EI까지의 영역이 비가시 영역으로, 비가시 영역은 FOV 영역과 FOV 영역에 인접한 영역을 제외한 360도 비디오 컨텐츠의 영역을 포함할 수 있다.
도 5는 예시적인 실시예에 따라, 사용자의 머리를 수평으로 움직이는 것(머리를 좌우로 돌리는 것에 대응함) 또는 수직으로 움직이는 것(머리를 상하로 움직이는 것)에 기초하여 360도 비디오의 컨텐츠 서버(112)에 의해 설정되는 FOV ID를 도시한 도면이다. 도 5에서, 단말 장치(102)를 가진 사용자가 360도 비디오 컨텐츠를 보여주는 원의 중심점에 있다. 선 "a"가 360도 비디오의 중심점에서 360도 비디오의 지점까지 콘텐츠 서버(112)에 의해 설정되는 기준선이다. 선 02, 선 04, 선 06, 선 08, 및 선 10은 사용자의 머리 움직임에 기초하여 상이한 단말기 시선에 대응하도록 VR 콘텐츠 서버(112)에 의해 설정되는 FOV ID이다. VR 컨텐츠 서버(112)는 FOV ID와 단말 가시선 사이의 관계를 단말 장치(102)에 송신할 수 있다. 일부 실시예에서, VR 컨텐츠 서버(112)는 FOV ID 02를 기준선 "a" 왼쪽으로 20도를 더한 단말 가시선에 매핑할 수 있고, 각각의 가시선의 간격은 20도이거나 또는 임의의 다른 각도이다. 다른 실시예에서, VR 컨텐츠 서버(112)는 단말 가시선의 정보를 FOV ID로 설정할 수 있다. 예를 들어, 20, 40, 및 80 등과 같이, FOV ID 20은 단말 가시선을 왼쪽으로 20도 회전시키는 선을 의미하며, 각각의 가시선의 간격은 20도이거나 또는 다른 각도이다.
도 4와 도 5가 두 방향으로의 사용자 머리 움직임(예컨대, 사용자가 머리를 좌우로 돌리는 것)에 기초하여 2차원의 360도 비디오 컨텐츠 장면으로서 제공된다는 것을 유의해야 한다. 다른 예시에서, 사용자 머리 움직임은 다른 방향(예컨대, 위와 아래)일 수도 있다. 다른 방향으로의 사용자 머리 움직임의 FOV 영역과 FOV ID에 대한 설명은 도 4와 도 5의 설명을 참조할 수 있다.
도 6은 예시적인 실시예에 따른 사용자 머리 움직임에 기초하여 360도 비디오 장면의 그리드 스티칭된(grid stitched) 파노라마 비디오의 상이한 영역을 도시한 도면이다. 그리드(600)는 VR 컨텐츠 서버(112)에 의해 저장되는 전체 필드를 나타낸다. 일부 실시예에서, 전체 필드는 하나 또는 복수의 카메라에 의해 획득되는 360도 뷰일 수 있다.
도 6에서, 점 A가 VR 컨텐츠 서버(112)에 의해 설정되는, 그리드 스티칭된 파노라마 비디오의 중심점이다. 점 A는 도 4와 도 5에서 선 "a"에 있는 점일 수 있다. 점 B가 사용자 시야의 중심점이며, 점 B는 도 4에서 선 "1"에 있는 점일 수 있다. 예를 들어, 도 6의 점 B는 사용자의 머리가 수평 방향과 수직 방향으로 움직이는 것을 나타낸다. 그리드(600)는 FOV 영역(601), 그리고 FOV 영역(602)과 비가시 영역(603)에 인접한 영역을 포함한다.
도 6이 360도 비디오 장면의 영역이 어떻게 분할될 수 있는지를 나타내는 예에 불과하다는 것을 유의해야 한다. 다른 예에서, FOV 영역은 수평선 양측의 단말 가시선을 사전 설정된 제1 각도로 회전시키고, 수직선 양측의 단말기의 가시선을 사전 설정된 제2 각도로 회전시키는 직사각형 영역일 수 있다. 단말 가시선을 수평선의 양측에서 회전시킬 때 사전 설정된 제1 각도가 상이할 수 있다는 것을 유의해야 한다. 사용자가 단말기의 가시선을 수직선의 양측에서 회전시킬 때 사전 설정된 제2 각도가 상이할 수 있다.
도 7은 VR 콘텐츠를 전송하기 위한 방법의 일 실시예의 신호 흐름도이다. VR 콘텐츠를 전송하기 위한 방법은 도 1 또는 도 2에 도시 된 바와 같이 시스템의 맥락에서 수행될 수 있고, 도 4 내지 6에 도시된 바와 같이 FOV 정보를 예로 사용할 수 있다.
초기에, NCS(110)가 네트워크 데이터에 대해 질의 요청을 PGW(106) 또는 UPF(206)에 송신한다(701). 네트워크 데이터는 임의의 공지된 네트워크 성능 메트릭(network performance metric)을 포함할 수 있고, 지연(latency), 에러율(error rate), 및 패킷 손실 정보 중 어느 하나를 포함할 수 있으며, 이들은 상이한 QoS 등급과 관련될 수 있다. 일부 실시예에서, NCS(202)가 NCS(202)와 PGW (201) 또는 NCS(202)와 UPF(401) 사이의 연결 중에 주기적으로 네트워크 데이터를 획득한다. 그리고, NCS는 질의 요청을 송신하기 위해 어떠한 메시지도 사용할 수 있다.
NCS(110)가 PGW(106)/UPF(206)으로부터 질의 응답을 수신한다(702). 질의 응답은 네트워크 데이터를 포함한다.
다음, VR 컨텐츠 서버(112)가 NCS(110)에 네트워크 데이터 요청을 송신한다(703). 일부 실시예에서, VR 컨텐츠 서버(112)가 NCS(110)로의 연결을 구축할 때, VR 컨텐츠 서버(112)가 네트워크 데이터 요청을 송신할 수 있다. 다른 실시예에서, VR 컨텐츠 서버(112)가 필요할 때 언제든지 VR 컨텐츠 서버(112)가 네트워크 데이터 요청을 송신할 수 있거나, 또는 주기적으로 네트워크 데이터 요청을 송신한다. VR 컨텐츠 서버(112)가 네트워크 데이터 응답을 통해 NCS(110)로부터 네트워크 데이터를 수신한다(704). 네트워크 데이터는 상이한 QoS 등급에 대한 지연, 처리량, 및 에러율, 및 패킷 손실 정보 중 적어도 하나를 포함할 수 있다. 일부 실시예에서, NCS(110)가 VR 콘텐츠 서버(112)의 요청에 기초하여 VR 콘텐츠 서버(112)에 네트워크 데이터를 송신할 수 있다. 다른 실시예에서, NCS(110)가 PGW(106)/UPF(206)로부터 네트워크 데이터를 수신한 후에, 또는 NCS(110)가 네트워크 데이터가 변경되었다고 결정한 후에, 또는 다른 상황에, NCS(110)가 VR 콘텐츠 서버(112)에 네트워크 데이터를 송신할 수 있다.
그런 다음, VR 컨텐츠 서버(112)가 NCS(110)에 QoS 처리 규칙을 송신한다(705). NCS(110)로부터 네트워크 데이터를 수신한 후에, VR 컨텐츠 서버(112)가 VR 컨텐츠 패킷에 대한 QoS 처리 규칙을 결정한다. QoS 처리 규칙은 VR 컨텐츠 서버 인터넷 프로토콜(Internet Protocol, IP) 주소, VR 컨텐츠 서버 포트 번호, 및 단말 장치 주소, 단말 장치 포트 번호, 프로토콜 유형, 및 VR 콘텐츠 패킷에 대한 QoS를 식별하는 방법에 관한 정보 중 적어도 하나를 포함할 수 있다.
NCS(110)로부터 네트워크 데이터를 수신할 때, VR 콘텐츠 서버는 각각의 네트워크 데이터에 대한 임계값을 구성하는 알고리즘에 따라 네트워크 상태를 결정하고, 이 임계값에 따라 네트워크 상태를 결정할 수 있다. 표 1의 예는 다음과 같다.
표 1： 네트워크 상태와 네트워크 a를 매핑하기
Figure pct00001
표 1은 네트워크 상태와 네트워크 데이터 사이의 관계의 예를 나타낸다. VR 컨텐츠 서버(112)에 의해 수신된 네트워크 데이터가 대역폭, 지연, 및 패킷 손실 중 하나만을 포함하면, VR 컨텐츠 서버는 표 1의 임계값에 따라 네트워크 상태를 결정할 수 있다. 또한, VR 컨텐츠 서버는 각각의 네트워크 데이터에 대한 레이트를 구성할 수 있다. 예컨대, 대역폭에 대응하는 네트워크 상태가 30%일 수 있고, 지연에 대응하는 네트워크 상태가 30%일 수 있으며, 기타 등등이다. 그리고, VR 콘텐츠 서버(112)가 각각의 네트워크 데이터에 대한 네트워크 상태의 레이트에 따라 네트워크 상태를 결정한다. 언급된 바와 같이, VR 컨텐츠 서버(112)가 다른 해결책을 이용하여 네트워크 상태를 결정할 수 있다.
표 2： VR 콘텐츠의 영역, QoS, 및 네트워크 상태 사이의 매핑
Figure pct00002
네트워크 상태를 결정한 후에, VR 컨텐츠 서버(112)가 단말 가시선과 관련된 VR 컨텐츠의 상이한 영역에서 VR 컨텐츠 패킷에 대응하는 QoS 전송 우선순위를 결정한다.
그 후에, NCS(110)가 PCRF(108)/PCF(208)에 QoS 처리 규칙을 송신하고(706), 그런 다음 CRF(108)/PCF(208)가 정책 및 과금 제어(PCC) 규칙을 통해 PGW(106) 또는 UPF 206(707)에 QoS 처리 규칙을 송신한다.
QoS 처리 규칙은 네트워크 엘리먼트 엔티티(예컨대, PGW(106) 또는 UPF(206))로 하여금 VR 콘텐츠 패킷에 대한 QoS 전송 우선순위를 획득하도록 촉발한다. 일부 실시예에서, QoS 처리 규칙은 또한 VR 컨텐츠 서버 인터넷 프로토콜(IP) 주소, VR 컨텐츠 서버 포트, 및 단말 장치 IP 주소 중 적어도 하나, 단말 장치 포트, 프로토콜 유형, 및 QoS 처리 규칙(예컨대, PGW(106) 또는 UPF(206))을 수신하는 네트워크 엘리먼트 엔티티로 하여금 VR 콘텐츠 패킷에 대한 QoS 전송 우선순위를 획득하도록 촉발하기 위해 VR 콘텐츠 패킷에 대한 QoS를 식별하는 방법에 관한 정보이다. 예를 들어, QoS 처리 규칙은 네트워크 엘리먼트 엔티티로 하여금 VR 콘텐츠 서버 주소를 가진 VR 콘텐츠 서버(112)로부터 VR 콘텐츠 패킷에 대한 QoS 전송 우선순위를 획득할 수 있도록 촉발하는 VR 콘텐츠 서버 주소를 포함하거나, 또는 QoS 처리 규칙은 네트워크 엘리먼트 엔티티로 하여금 단말 장치 주소를 가진 단말 장치(102)에 송신되는 VR 콘텐츠 패킷에 대한 QoS 전송 우선순위를 획득할 수 있게 하는 단말 장치 주소를 포함한다.
단계 708 내지 단계 710에서, PGW(106) 또는 UPF(206)가 PCRF(108)와 NCS (110)를 통해 또는 PCF(208)와 NCS(110)를 통해 QoS 응답을 VR 컨텐츠 서버(112)에 반환한다. 다른 실시예에서, PGW(106)/UPF(206)에 의해 VR 콘텐츠 서버(112)에 송신된 QoS 응답은 하나 또는 복수의 네트워크 엘리먼트를 통해 직접 또는 간접적으로 송신될 수 있다.
단말 장치(102)가 VR 컨텐츠 서버(112)에 VR 컨텐츠 요청을 송신한다. 여기서, VR 컨텐츠 요청은 단말 장치(102)에 의해 선택된 FOV ID와 단말 장치(102)에 의해 요청된 복수의 VR 컨텐츠 패킷의 URL을 포함할 수 있다(711). 일부 실시예에서, 단말 가시선과 관련된 VR 콘텐츠 요청 내의 FOV ID가 VR 콘텐츠의 중심점으로부터의 단말 가시선의 위치를 나타낸다. FOV ID가 단말 장치(예컨대, HMD) 움직임에 기초하여 단말 장치(102)에 의해 선택된다.
단말 장치(102)가 VR 컨텐츠 요청을 송신하기 전에, 단말 장치(102)가 VR 컨텐츠 서버(300)로부터 센서(906)와 단말 가시선에 관한 FOV ID의 결정을 통해 사용자의 머리 움직임에 따라 FOV ID를 선택한다. FOV ID를 선택하는 세부 사항이 도 5와 도 7의 설명에 기술될 수 있다. 다른 실시예에서, VR 컨텐츠 요청이 단말 장치(102)에 의해 선택되는 FOV ID를 포함하지 않지만, 단말 가시선 정보를 포함한다. 그 후에, VR 컨텐츠 서버(112)가 FOV ID에 대응하는 VR 컨텐츠 패킷에 대한 QoS 정보를 결정한다(712).
단말 장치(102)로부터 VR 컨텐츠 요청을 수신한 후에, VR 컨텐츠 서버(112)가 미리 생성된 VR 컨텐츠 패킷으로서 VR 컨텐츠 요청 내의 FOV ID에 대응하는 VR 컨텐츠 패킷을 검색한다. VR 컨텐츠 요청이 단말 장치(102)에 의해 선택된 FOV ID를 포함하지 않고 단말 가시선 정보를 포함하면, VR 컨텐츠 서버가 단말 가시선 정보와 도 5의 컨텐츠 서버(112)에 의해 설정된 FOV ID에 기초하여 VR 컨텐츠 요청에 대한 FOV ID를 결정할 수 있다. 그리고, VR 컨텐츠 서버가 이전에 생성된 VR 컨텐츠 패킷으로서 VR 컨텐츠 서버(112)에 의해 결정되는 FOV ID에 대응하는 VR 컨텐츠 패킷을 검색한다.
VR 컨텐츠 패킷 각각은 단말 가시선과 관련하여 단일 VR 컨텐츠 장면의 상이한 부분에 대해 정의된 VR 컨텐츠 영역에 속한다. 그런 다음, VR 컨텐츠 서버(112)가 VR 컨텐츠 영역에서 VR 컨텐츠 패킷에 대응하는 서비스 품질(Quality of Service, QoS) 전송 우선순위를 결정한다. 일부 실시예에서, VR 컨텐츠 서버가 표 2의 정보에 따라 VR 컨텐츠 패킷이 속하는 VR 컨텐츠 영역에 대응하는 QoS 전송 우선순위를 결정한다. 여기서, QoS 전송 우선순위는 VR 컨텐츠 패킷의 우선순위 레벨을 나타낸다. 표 2를 참조하면, QoS 전송 우선순위는 각각 제1, 제2, 및 제3 QoS 전송 우선순위에 대응하는 높은 우선순위, 중간 우선순위, 및 낮은 우선순위 중 적어도 하나를 포함할 수 있다. 그리고, VR 컨텐츠 영역은 FOV 영역, FOV 영역에 인접한 영역, 및 비가시 영역을 포함할 수 있다.
따라서, 콘텐츠 서버(112)가 360도 비디오 씬의 VR 콘텐츠 패킷에 대한 VR 콘텐츠 영역이 단말 가시선과 기준선 "a" 사이의 각도를 나타내는 FOV ID에 속한다고 결정할 수 있다.
VR 컨텐츠 패킷의 복수의 세트로부터 미리 인코딩된 컨텐츠 패킷을 FOV ID에 기초하여 선택하는 경우, 컨텐츠 서버(112)가 VR 컨텐츠 요청 내의 FOV ID에 기초하여 또는 VR 컨텐츠 서버(112)에 의해 결정되는 FOV ID에 기초하여 VR 콘텐츠 패킷을 선택한다. 예를 들어, 가시선과 360도의 기준선 사이의 각도가 40도이고 또한 사용자의 머리가 도 5의 기준선 "a"에서 왼쪽으로 40도 회전된 것을 나타내는 FOV ID가 04라고 가정한다.
VR 컨텐츠 패킷을 선택한 후에, VR 컨텐츠 서버(112)가 VR 컨텐츠 패킷에 대한 각각의 영역에 대응하는 서비스 품질(QoS) 정보를 결정할 수 있다. 표 2를 참조하면, VR 컨텐츠 서버(112)가 네트워크 상태에 기초하여 VR 컨텐츠 패킷에 대한 각각의 영역에 대응하는 서비스 품질(QoS) 전송 우선순위(높은 우선순위, 중간 우선순위, 또는 낮은 우선순위)를 결정할 수 있다.
그런 다음, VR 컨텐츠 서버(112)가 단일 VR 컨텐츠 장면에 대한 상이한 QoS 전송 우선순위에 대응하는 VR 컨텐츠 패킷을 PGW(106) 또는 UPF(406)에 송신한다(713). 구체적으로, VR 콘텐츠 패킷이 단일 플로우로 PGW(106) 또는 UPF(406)에 송신된다. 단일 플로우는 IP 소스 주소(VR 컨텐츠 서버 IP 주소), IP 목적지 주소(단말 장치 IP 주소), 소스 포트(VR 컨텐츠 서버 포트 번호), 목적지 포트(단말 장치 포트), 및 프로토콜 유형을 포함하는 5가지 요소에 의해 정의된다. 이는 VR 컨텐츠 서버(112)에 의해 송신되는 모든 VR 컨텐츠 패킷이 동일한 IP 소스 주소, IP 목적지 주소, 소스 포트, 목적지 포트, 및 프로토콜 유형을 가지고 있다는 것을 의미한다.
일부 실시예에서, QoS 전송 우선순위는 복수의 제1 VR 콘텐츠 패킷에 대응하는 제1 QoS 전송 우선순위와 복수의 제2 VR 콘텐츠 패킷에 대응하는 제2 QoS 전송 우선순위, 또는 복수의 제3 VR 콘텐츠 패킷에 대응하는 제3 QoS 전송 우선순위 중 적어도 하나를 포함한다. VR 콘텐츠 서버에 의해 송신되는 VR 콘텐츠 패킷은 제1 QoS 전송 우선순위에 대응하는 제1 복수의 VR 콘텐츠 패킷, 제2 QoS 전송 우선순위에 대응하는 복수의 제2 VR 콘텐츠 패킷, 제2 QoS 전송 우선순위에 대응하는 제3 복수 VR 콘텐츠 패킷 중 중 적어도 2개를 포함한다.
일부 실시예에서, QoS 전송 우선순위는 각각의 VR 컨텐츠 패킷에 포함될 수 있고, 다른 실시예서, QoS 전송 우선순위는 VR 컨텐츠 패킷에 대응하도록 메시지 헤더에 포함될 수 있다. 예를 들어, VR 컨텐츠 패킷이 DSCP(differential service control point) 접근법을 통해 PGW(106) 또는 UPF(406)에 송신되면, QoS 전송 우선순위는 IP 헤더의 서버 필드의 유형에 포함될 수 있다. 다른 예에서, VR 콘텐츠 패킷이 HTTP 동적 적응 스트리밍(Dynamic Adaptive Streaming over HTTP, DASH) 접근법을 통해 PGW(106) 또는 UPF(406)에 송신되면, QoS 전송 우선순위는 커스텀 페이로드(custom payload)에 포함될 수 있다.
일부 실시예에서, VR 콘텐츠 서버(112)가 단말 장치(102)로부터 VR 콘텐츠 요청을 수신한 후에, VR 콘텐츠 서버(112)가 단말 가시선에 관한 정보를 VR 콘텐츠 요청에 저장할 수 있고, 이전 VR 콘텐츠 요청의 저장된 정보와 단말 가시선에 관한 정보에 따라, 다음 VR 콘텐츠 요청에 대한 예측된 FOV ID(다음의 VR 콘텐츠 요청에 대한 FOV ID도 마지막으로 획득된 FOV ID를 호출할 수 있음)를 예측하며, 다음 VR 콘텐츠 요청에 대한 예측된 FOV ID에 대응하는 복수의 VR 콘텐츠 패킷을 인코딩한다. 여기서, 각각의 인코딩된 VR 콘텐츠 패킷은 VR 콘텐츠 영역에 속한다. 다른 실시예에서, VR 컨텐츠 요청이 단말 장치(102)에 의해 선택된 FOV ID를 포함하지 않고 단말 가시선 정보를 포함하면, VR 컨텐츠 서버(112)가 VR 컨텐츠 요청에 대한 FOV ID를 결정할 수 있다. VR 콘텐츠 요청에 대한 FOV ID를 결정한 후에, VR 콘텐츠 서버(112)가 VR 콘텐츠 요청에 대한 FOV ID를 저장하고, 저장된 FOV ID에 따라 다음 VR 콘텐츠 요청에 대한 FOV ID를 결정하고, 다음 VR 콘텐츠 요청에 대한 결정된 FOV ID에 대응하는 복수의 VR 콘텐츠 패킷을 인코딩할 수 있다. 여기서, 인코딩된 VR 콘텐츠 패킷 각각이 VR 콘텐츠 영역에 속한다.
VR 콘텐츠 서버(112)가 다음 VR 콘텐츠 요청에 대한 예측된 FOV ID에 대응하는 복수의 VR 콘텐츠 패킷을 인코딩하는 경우, 예측 오차를 극복하기 위해, VR 콘텐츠 서버(112)가 다음 VR 컨텐츠 서버(112)에 대한 예측된 FOV에 인접한 FOV ID에 대응하는 복수의 VR 콘텐츠 패킷을 추가로 인코딩한다. 예를 들어, 도 5를 참조하면, 다음 VR 콘텐츠 요청에 대한 결정된 FOV ID는 02이고, FOV ID 02에 인접한 FOV ID는 FOV ID 04와 FOV ID 00이다. 구체적으로, 예측된 FOV ID(마지막으로 획득된 FOV ID라고도 함), 다음 VR 콘텐츠 요청에 대한 마지막으로 획득된 FOV ID에 인접한 FOV ID는 예측된 제1 FOV ID, 예측된 제2 FOV ID, 및 예측된 제3 FOV ID이다. VR 컨텐츠 서버(112)가 다음 VR 컨텐츠 요청 내의 예측된 FOV ID가 02라고 결정하면(사용자의 머리가 왼쪽으로 20도 회전된 것을 나타내면), VR 컨텐츠 서버(112)가 다음 VR 콘텐츠 요청에 대한 예측된 FOV 02에 대응하도록, 또는 00에 대응하는 것과 같이 예측된 FOV ID에 인접한 FOV ID에 대응하도록, 또는 04에 대응하도록 복수의 VR 컨텐츠 패킷 세트를 인코딩한다. 다른 실시예에서, 복수의 VR 콘텐츠 패킷 세트가 더 많은 FOV ID에 대응할 수 있다.
마지막으로, PGW(2106)/UPF(406)가 QoS 전송 우선순위에 대응하는 지시된 우선순위 레벨에 기초하여 VR 콘텐츠 패킷 중 적어도 하나를 단말 장치(102)에 송신한다(714). 일부 실시예에서, PGW 2106/UPF(406)가 VR 콘텐츠 패킷의 QoS 우선순위를 모바일 네트워크에서의 QoS 분류 식별자(QoS Classification Identifier, QCI)에 매핑하고, 높은 QoS 우선순위를 가진 VR 콘텐츠 패킷을 처음에 송신하고, 그런 다음 중간 QoS 전송 우선순위와 낮은 QoS 전송 우선순위를 가진 VR 콘텐츠 패킷을 송신한다. 다른 실시예에서, VR 컨텐츠 서버(112)가 낮은 QoS 전송 우선순위를 가진 VR 컨텐츠 패킷을 폐기하고, 특히 네트워크 상태가 양호하지 않은 경우, PGW201/UPF(401)가 낮은 QoS 송신 우선순위를 가진 VR 컨텐츠 패킷을 폐기할 수 있다. 즉, PGW(201)/UPF(401)가 QoS 전송 우선순위에 대응하는 지시된 우선순위 레벨과 네트워크 상태에 기초하여 복수의 VR 콘텐츠 패킷 중 적어도 하나를 단말 장치에 전송한다.
VR 컨텐츠 패킷의 우선순위 레벨을 나타내고 또한 VR 컨텐츠 패킷이 속하는 VR 컨텐츠 영역에 대응하는 서비스 품질(Quality of Service, QoS) 전송 우선순위를 포함함으로써, PGW(2106)/UPF(406)가 QoS 전송 우선순위에 대응하는 지시된 우선순위 레벨에 기초하여 VR 컨텐츠 패킷을 단말 장치(100)에 전송할 수 있다. 따라서, QoS 정보에 기초하여 전송 해결책이 수행될 수 있고, 사용자 경험이 개선될 수 있다. 높은 QoS 전송 우선순위를 가진 VR 컨텐츠 패킷을 송신하고 또한 네트워크 상태에 기초하여 낮은 QoS 전송 우선순위를 가진 VR 컨텐츠 패킷을 폐기함으로써, 높은 QoS 전송 우선순위를 가진 VR 컨텐츠 패킷이 단말 장치에 송신될 수 있도록 보장될 수 있으며, 따라서 사용자는 좋은 경험을 가질 수 있다.
도 8은 VR 컨텐츠 장면에 대해 VR 컨텐츠 패킷을 송신하는 방법의 일 실시예의 신호 흐름도이다. 도 8의 실시예는 도 1 또는 도 2에 도시된 바와 같이 시스템의 관점에서 수행될 수 있고, 도 4 내지 도 6에 도시된 바와 같이 FoV를 예로 사용할 수 있다.
초기에, VR 컨텐츠 서버(112)가 VR 컨텐츠 패킷을 단말 장치(102)에 전송한다. 이 단계는 단계 713과 단계 714와 동일하다(801). 단계 802와 단계 803에서, VR 컨텐츠 서버(112)가 VR 컨텐츠 장면의 인덱스를 단말 장치(102)에 송신한다. 그 후에, VR 컨텐츠 서버(112)가 다음 VR 컨텐츠 요청에 대한 예측된 FOV ID를 포함하는 복수의 FOV ID에 대응하는 VR 컨텐츠 패킷의 복수의 세트를 인코딩한다(711). 일부 실시예에서, VR 컨텐츠 서버(112)가 예측된 FOV ID에 인접한 FOV ID에 대응하는 VR 컨텐츠 패킷의 복수의 세트를 인코딩할 수 있다. 예를 들어, 예측된 FOV ID가 04이고, 예측된 FOV ID에 인접한 FOV ID가 04와 02라고 가정한다. 그런 다음, VR 컨텐츠 서버(300)가 FOV ID(예측된 FOV ID, 및 예측된 FOV ID에 인접한 FOV ID, 또는 다른 FOV ID, 에컨대 예측된 FOV ID에 인접한 FOV ID)에 기초하여 복수의 VR 컨텐츠 패킷을 저장한다.
VR 컨텐츠 서버(300)가 다양한 FOV ID에 대응하는 VR 컨텐츠 패킷을 인코딩하기 위한 인덱스를 생성한다. VR 컨텐츠의 인덱스는 VR 컨텐츠 패킷의 FOV ID와 VR 컨텐츠 패킷의 FOV ID 중 각각의 FOV ID에 대응하는 VR 컨텐츠 패킷의 URL을 포함한다.
일 예로서, 단계 711에서, VR 컨텐츠 서버(112)가 FOV ID 04에 대응하는 VR 컨텐츠 패킷을 인코딩하고, 도 5를 참조하여 FOV ID 06에 대응하는 VR 컨텐츠 패킷과 FOV ID 02에 대응하는 VR 컨텐츠 패킷을 인코딩한다. 단말 장치(100)에 송신된 인덱스는 FOV ID 04의 인덱스를 포함한다. FOV ID 06과 FOV ID 02, 및 FOV ID 04에 대응하는 VR 콘텐츠 패킷의 URL, FOV ID 02에 대응하는 VR 콘텐츠 패킷의 URL, FOV ID 02에 대응하는 VR 콘텐츠 패킷의 URL. 다른 예에서, VR 컨텐츠 서버(112)는 FOV ID 00 또는 FOV ID 08에 대응하는 VR 컨텐츠 패킷을 추가로 인코딩할 수 있다.
단말 장치(102)가 단말 가시선에 기초하여 다음 VR 컨텐츠 요청에 대한 인덱스로부터 FOV ID를 선택한다(804).
VR 컨텐츠 서버(112)로부터 인덱스를 수신할 때, 단말 장치(102)가 단말 장치의 센서(103)로부터 사용자의 가시선을 획득하고, 사용자의 머리 위치에 기초하여 사용자의 단말 가시선을 결정한다. 일부 실시예에서, 센서(806)가 사용자의 머리 움직임을 검출하고, 그런 다음 단말 장치의 VR 컨텐츠 클라이언트와 같은 단말 장치가 사용자의 머리 위치에 기초하여 단말 가시선을 결정하고, 단말 장치에 의해 결정된 단말 가시선에 가장 가까운 FOV ID를 선택한다.
단계 805 내지 단계 806에서, 단말 장치(102)가 PGW(106)/UPF(206)를 통해 VR 컨텐츠 요청을 VR 컨텐츠 서버에 송신한다. VR 콘텐츠 요청은 시야(field of view, FOV) ID를 포함한다. VR 컨텐츠 서버(112)가 VR 컨텐츠 요청 내의 FOV ID에 기초하여 VR 컨텐츠 패킷을 선택할 수 있다. 일부 실시예에서, VR 컨텐츠 패킷의 URL에 따라 VR 컨텐츠 패킷을 선택할 수 있도록, VR 컨텐츠 요청이 VR 컨텐츠 패킷의 URL을 포함할 수도 있다.
일부 실시예에서, VR 컨텐츠 장면의 인덱스가 FOV ID를 포함하지 않을 수 있고, VR 컨텐츠 요청이 단말 장치(102)에 의해 선택된 FOV ID를 포함하지 않지만, 단말 가시선 정보를 포함한다.
VR 컨텐츠 서버(112)가 FOV ID(807)에 대응하는 VR 컨텐츠 패킷에 대한 QoS 전송 우선순위를 결정한다. 이 단계는 단계 712와 동일하다.
단계 808 내지 단계 809에서, VR 컨텐츠 서버(112)가 PGW(106)/UPF(206)를 통해 VR 컨텐츠 패킷을 단말 장치(102)에 송신한다. 이 단계는 단계 713 내지 단계 714와 동일하다.
도 9는 본 발명의 일 실시예에 따른 계층적인 단말 장치(102)의 블록도이다. 단말 장치(10)는 마이크로프로세서 기반의 컴퓨터, 예컨대 범용 개인용 컴퓨터(personal computer, PC), 주문형 PC, 태블릿 컴퓨터 또는 스마트 폰과 같은 휴대용 장치로 구현될 수 있지만, 본 발명의 범위가 이러한 예에 한정되지 않는다. 단말 장치(102)는 송수신기(902), VR 클라이언트(904), 및 센서(906)를 포함한다. VR 클라이언트(904)는 송수신기(902)와 센서(906)에 연결된다.
송수신기(902)는 무선 전송을 위한 신호를 생성하거나 및/또는 무선으로 수신된 신호를 처리하기 위한 어떤 적절한 구조를 포함한다. 송수신기(902)는 (3G, 4G, 5G), 범용 이동 통신 서비스(Universal Mobile Telecommunications Service, UMTS), 코드분할 다중 접속(Code Division Multiple Access), 또는 GMS (Global System for Mobiles) 네트워크에서 이러한 네트워크로 신호를 수신하거나 또는 송신할 수 있다. 단말 장치의 VR 클라이언트(904)와 센서(906)는 본 발명에 의해 지정된 바와 같이 프로그램 루틴의 실행을 제어하도록 구성된 범용 중앙처리장치(central procession unit, CPU), 범용 프로세서, 디지털 신호 처리 장치(digital signal processor, DSP), 필드 프로그래머블 게이트 어레이(field programmable gate array, FPGA), 주문형 반도체(application-specific integrated circuit, ASIC), 또는 하나 이상의 집적 회로로 구현될 수 있다. 단말 장치의 전술한 모듈은 또한 하나 이상의 마이크로프로세서를 포함하는 조합, 및 DSP와 마이크로 프로세서를 포함하는 조합 등과 같은 컴퓨팅 기능의 조합일 수 있다. 센서(906)는 3축 자이로스코프(gyroscope), 3축 가속도 센서, 및 3축 자기 센서를 포함하는 9축 자세 센서(attitude sensor)일 수 있다. 센서(906)는 사용자의 움직임 자세를 감지할 수 있다.
송수신기(902)는 네트워크, 예컨대 네트워크(104/204)를 통해 VR 컨텐츠 서버(112)로부터 송신되는 VR 컨텐츠 장면의 인덱스를 수신한다. 여기서, VR 컨텐츠 장면의 인덱스는 단말 가시선에 관한 적어도 2개의 시별자(FOV ID)를 포함한다.
VR 클라이언트(904)는 송수신기(902)로부터 인덱스를 수신하고, 센서(906)로부터 단말 가시선을 획득하며, 단말 가시선에 기초하여 인덱스로부터 FOV ID를 선택한다.
송수신기(902)는 VR 컨텐츠 장면에 대한 선택된 FOV ID를 포함하는 VR 컨텐츠 요청을 송신한다. 또한, 송수신기(902)는 제2 QoS와 그 이하의 QoS를 가진 VR 컨텐츠 패킷으로서 VR 컨텐츠 장면의 상이한 FOV ID를 가진 VR 컨텐츠 패킷을 추가로 수신한다. VR 클라이언트(904)는 VR 컨텐츠 패킷을 표시할 수 있다.
센서(906)는 단말기에 단말 가시선을 제공한다. VR 클라이언트(904)는 복수의 제1 및 제2 VR 컨텐츠 패킷을 표시할 수 있다.
전술한 기능을 제외하고, 송수신기(902), VR 클라이언트(904), 및 센서 (906)가 또한 도 1 내지 도 8에 설명된 단말 장치(102)의 기능을 수행할 수 있다고 이해해야 한다.
도 10은 본 발명의 일 실시예에 따른 계층적 가상 현실(VR) 콘텐츠 서버(112)의 블록도이다. VR 컨텐츠 서버(112)는 마이크로 프로세서 기반의 컴퓨터, 예컨대 범용 개인용 컴퓨터(PC), 주문형 PC, 태블릿 컴퓨터, 또는 스마트 폰과 같은 휴대용 장치로 구현될 수 있지만, 본 발명은 이러한 예에 한정되지 않는다. VR 컨텐츠 서버(112)는 송수신기(1002), 학습 엔진(1004), VR 인코딩 엔진(1006), 및 FOV & QoS 매핑 엔진(1008)을 포함한다.
송수신기(1002)는 학습 엔진(1004)과 VR 인코딩 엔진(1006)에 VR 콘텐츠 요청을 송신하기 위해 학습 엔진(1004)과 VR 인코딩 엔진(1006)에 연결된다. 학습 엔진(1004)은 또한 다음 VR 콘텐츠 요청에 대한 예측된 FOV ID를 VR 인코딩 엔진(1004)에 제공하기 위해 VR 인코딩 엔진(1006)에 연결된다. VR 인코딩 엔진(1006)은 또한 VR 콘텐츠 패킷을 FOV & QoS 매핑 엔진(1008)에 송신하기 위해 FOV & QoS 매핑 엔진(1006)에 연결될 수 있다. FOV & QoS 매핑 엔진(1008)은 VR 콘텐츠 패킷과 QoS 전송 우선순위를 FOV & QoS 매핑 엔진(1008)에 송신하기 위해 송수신기(1002)에 연결될 수 있다.
송수신기(1002)는 네트워크(200) 또는 네트워크(400)에 걸쳐 단말 장치(102)에 의해 송신되는 정보를 수신하고, 단말 장치(102)에 정보를 송신한다. 예를 들어, 송수신기(301)는 단일 VR 컨텐츠 장면에 대한 VR 컨텐츠 요청을 수신한다. 여기서, VR 컨텐츠 요청은 단말 가시선에 관한 정보를 포함한다. VR 인코딩 엔진(1006)은 단말 가시선에 관한 정보에 기초하여 VR 컨텐츠 요청에 대한 시야각 식별자(FOV ID)를 획득하고, FOV ID에 기초하여, VR 컨텐츠의 복수의 세트로부터 이전에 인코딩된 VR 컨텐츠 패킷을 선택한다. FOV&QoS 매핑 엔진(1008)은 VR 콘텐츠 요청에 대해 VR 인코딩 엔진(1006)에 의해 선택된 VR 콘텐츠 패킷을 수신하고, 서비스 품질(QoS) VR 콘텐츠 패킷에 대한 전송 우선순위를 결정한다. 여기서, QoS 전송 우선순위는 복수의 제1 VR 콘텐츠 패킷에 대한 제1 QoS 전송 우선순위와 복수의 복수의 제2 VR 콘텐츠 패킷에 대한 제2 QoS 전송 우선순위를 포함한다.
송수신기(1002)는 VR 콘텐츠 패킷과 QoS 전송 우선순위를 추가로 전송한다. 여기서, 송수신기(1002)에 의해 송신된 VR 콘텐츠 패킷은 제1 QoS 전송 우선순위에 대응하는 복수의 제1 VR 콘텐츠 패킷과 제2 QoS 전송 우선순위에 대응하는 복수의 제2 VR 콘텐츠 패킷을 포함한다.
일부 실시예에서, VR 콘텐츠 요청을 수신한 후에, 송수신기(1002)는 VR 콘텐츠 요청을 학습 엔진(1004)에 송신한다. 학습 엔진(1004)은 이전 VR 컨텐츠 요청의 저장된 FOV ID와 단말 가시선에 관한 정보에 따라 다음 VR 컨텐츠 요청에 대한 FOV ID를 결정한다. 일부 실시예에서, 단말 가시선에 관한 정보는 FOV ID이다. 다른 실시예에서, 단말 가시선에 관한 정보는 단말 가시선의 정보(예컨대, 단말 가시선의 위치)를 포함하고, 학습 엔진(1004)은 또한 단말 가시선의 정보에 대응하는 FOV ID를 결정할 수 있다. 또한, 다음 VR 콘텐츠 요청에 대한 FOV ID를 결정하는 것을 제외하고, 학습 엔진(1004)은 VR 콘텐츠 요청의 FOV ID를 저장하고, 다음 VR 콘텐츠 요청에 대한 FOV ID를 VR 인코딩 엔진(1006)에 송신한다. VR 인코딩 엔진(1006)은 다음 VR 컨텐츠 요청에 대한 결정된 FOV ID에 대응하는 VR 컨텐츠 패킷의 복수의 세트를 인코딩한다.
전술한 기능을 제외하고, 송수신기(1002), 학습 엔진(1004), VR 인코딩 엔진(1006), 및 FOV & QoS 매핑 엔진(1008)이 또한 도 1 내지 도 8에서 설명된 VR 콘텐츠 서버(112)의 기능을 수행할 수 있다고 이해해야 한다.
학습 엔진(1004), VR 인코딩 엔진(1006), 및 FOV&QoS 매핑 엔진(1008) 중 어느 것도 본 발명에 의해 지정된 프로그램 루틴의 실행을 제어하도록 구성된 범용 중앙처리장치(CPU), 범용 프로세서, 디지털 신호 처리 장치(DSP), 필드 프로그래머블 게이트 어레이(FPGA), 주문형 반도체(ASIC), 또는 하나 이상의 집적 회로로 구현될 수 있다. 학습 엔진(1004), VR 인코딩 엔진(1006), 및 FOV&QoS 매핑 엔진(1008)은 또한 컴퓨팅 기능의 조합, 예컨대 하나 이상의 마이크로프로세서를 포함하는 조합, 및 DSP와 마이크로프로세서를 포함하는 조합 등일 수 있다. 송수신기(1002)는 무선 전송을 위한 신호를 생성하거나 및/또는 무선으로 수신된 신호를 처리하기 위한 어떤 적합한 구조를 포함한다. 송수신기(902)는 (3G, 4G, 5G), 범용 이동 통신 서비스(Universal Mobile Telecommunications Service, UMTS), 코드분할 다중접속(Code Division Multiple Access, CDMA), GMS(Global System for Mobiles) 등의 네트워크에서 이러한 네트워크로 신호를 수신하거나 또는 송신할 수 있다.
도 11은 본 발명의 일 실시예에 따른 계층적 네트워크 엔티티(1100)의 블록도이다. 네트워크 엔티티(1100)는 PGW(106)이거나, 또는 UPF(206) 또는 임의의 다른 기능 엔티티일 수 있다. 그리고, 네트워크 엔티티(1100)는 마이크로프로세서 기반의 컴퓨터, 예컨대 범용 개인용 컴퓨터(PC), 주문형 PC, 태블릿 컴퓨터, 또는 스마트 폰과 같은 휴대용 장치로 구현 될 수 있지만, 본 발명은 이러한 예에 한정되지 않는다. 네트워크 엔티티(1100)는 수신기(1102)와 송신기(1106)를 포함한다. 수신기(1102)는 송신기(1106)에 연결된다.
수신기(1102)는 단일 VR 콘텐츠 장면에 대해 VR 콘텐츠 서버에 의해 전송된 VR 콘텐츠 패킷, 및 VR 콘텐츠 패킷에 대한 서비스 품질(QoS) 전송 우선순위를 수신하고, QoS 처리(1104)는 VR 콘텐츠 패킷에 매핑되는 QoS 전송 우선순위를 획득한다. QoS 전송 우선순위는 복수의 제1 VR 콘텐츠 패킷에 대응하는 제1 QoS 전송 우선순위와 복수의 제2 VR 콘텐츠 패킷에 대응하는 제2 QoS 전송 우선순위를 포함한다. 그리고, 송신기(1106)는 제1 QoS 전송 우선순위에 기초하여 복수의 제1 VR 콘텐츠 패킷을 전송하고, 제2 전송 우선순위에 기초하여 복수의 제2 VR 콘텐츠 패킷을 전송한다. 여기서, 제2 QoS 전송 우선순위는 제1 QoS 전송 우선순위와 다르다.
적어도 하나의 실시예에서, 네트워크 엔티티(1100)는 도 1 내지 도 8에서 설명된 PGW(106)와 UPF(206)의 기능을 수행할 수도 있다.
QoS 처리는 본 발명에 의해 지정된 프로그램 루틴의 실행을 제어하도록 구성된 범용 중앙처리장치(CPU), 범용 프로세서, 디지털 신호 처리 장치(DSP), 필드 프로그래머블 게이트 어레이(FPGA), 주문형 반도체(ASIC), 또는 하나 이상의 집적 회로로 구현될 수 있다. VR 콘텐츠 서버(112)의 전술한 모듈은 또한 컴퓨팅 기능의 조합, 하나 이상의 마이크로프로세서를 포함하는 조합, 및 DSP와 마이크로프로세서를 포함하는 조합 등일 수 있다. 송수신기(1102)와 송신기(1106)는 무선 전송을 위한 신호를 생성하거나 및/또는 무선으로 수신된 신호를 처리하기 위한 어떤 적합한 구조를 포함할 수 있다. 송수신기(902)는 (3G, 4G, 5G), 범용 이동 통신 서비스(UMTS), 코드분할 다중접속(Code Division Multiple Access, CDMA), GMS(Global System for Mobiles) 등의 네트워크에서 이러한 네트워크로 신호를 수신하거나 또는 송신할 수 있다.
도 12는 하나 이상의 엘리먼트, 예컨대 본 발명의 설명된 양태와 실시예에 따라 VR 콘텐츠를 전송하거나, 또는 수신하거나, 또는 처리하기 위한 예시적인 실시예에 따른 방법을 수행하기 위한 하나 이상의 엘리먼트, 예컨대 VR 컨텐츠 서버, 네트워크 엘리먼트(PGW, UPF, PCRF, 및 기지국 등), 또는 라우터, 또는 단말 장치, 또는 다른 장비를 구현하기 위한 회로를 도시한 블록도이다. 모든 구성 요소가 다양한 실시예에 사용될 필요는 없다. 예를 들어, VR 컨텐츠 서버는 클라우드 컴퓨팅 자원을 포함하고, 직접적인 사용자 I/O 장치를 거의 필요로 하지 않는다. UE는 디스크 드라이브 유형 저장 장치를 포함하지 않을 수 있으며, 다른 장비는 다른 세트의 구성 요소를 사용할 수 있다. 컴퓨터(1200) 형태의 하나의 예시적인 컴퓨팅 장치는 프로세서(1202)와 버스(1220)를 통해 프로세서(1202)와 통신하는 메모리(1203)를 포함할 수 있다. 메모리(1203)는 본 발명의 설명된 양태와 실시예에 따라 VR 콘텐츠를 전송하거나, 또는 수신하거나, 또는 처리하기 위한 컴퓨터 명령을 포함하는 착탈식 스토리지(1210) 또는 비착탈식 스토리지(1212) 중 하나 또는 둘 다를 포함할 수 있다. 예를 들어, 메모리가 컴퓨터 명령을 포함할 수 있고, 컴퓨터 명령이 프로세서에 의해 실행될 때, 본 명세서에서, 특히 프로세서, 또는 더 일반적으로, 프로세서를 수용하는 장치로 하여금 본 명세서의 방법 설명에서 설명된 기능 중 어느 것을 수행하도록 촉발한다는 것을 유의해야 한다. 메모리(1203)는 휘발성 메모리(1214) 및/또는 비휘발성 메모리(1208)를 포함할 수 있다. 예시적인 컴퓨팅 장치가 컴퓨터(1200)로서 도시되어 설명되지만, 다른 실시예에서는 컴퓨팅 장치가 다른 형태일 수 있다. 예를 들어, 컴퓨팅 장치는 대신에 VR 콘텐츠를 수신하고 표시할 수 있는, 도 12와 관련하여 도시되고 설명된 동일하거나 유사한 엘리먼트를 포함하는 스마트폰, 태블릿, 스마트워치, 또는 다른 컴퓨팅 장치일 수 있다. 스마트폰, 태블릿, 및 스마트워치와 같은 장치는 일반적으로 집합적으로 모바일 장치 또는 사용자 장비라고 한다. 또한, 다양한 데이터 스토리지 엘리먼트가 컴퓨터(1200)의 일부로서 도시되어 있지만, 이 스토리지는 또한 또는 대안적으로 네트워크를 통해 액세스 가능한 클라우드 기반의 스토리지, 예컨대 인터넷 또는 서버 기반의 스토리지를 포함한다.
컴퓨터(1200)는 컴퓨팅 환경을 포함하거나 또는 컴퓨팅 환경에 접근할 수 있고, 컴퓨팅 환경은 다양한 컴퓨터 판독가능 매체, 예컨대 휘발성 메모리(1214) 및/또는 비휘발성 메모리(1208), 버스(1220)에 연결된 착탈식 스토리지(1210) 및/또는 비착탈식 스토리지(1212)를 포함한다. 컴퓨터 스토리지는 랜덤 액세스 메모리(random access memory, RAM), 읽기 전용 메모리(read only memory, ROM), 소거 및 프로그램 가능 읽기용 기억 장치(erasable programmable read-only memory, EPROM)과 전기적 소거 및 프로그램 가능 읽기용 기억 장치(electrically erasable programmable read-only memory, EEPROM), 플래시 메모리 또는 다른 메모리 기술, 읽기용 콤팩트 디스크 기억 장치(compact disc read-only memory, CD ROM), 디지털 다기능 디스크(Digital Versatile Disk, DVD) 또는 다른 광디스크 스토리지, 자기 카세트, 자기 테이프, 자기 디스크 스토리지 또는 다른 자기 저장 장치, 또는 컴퓨터 판독가능 명령을 저장할 수 있는 임의의 다른 매체를 포함한다.
컴퓨터(1200)는 버스(1220)에 연결된 입력 인터페이스(1206), 출력 인터페이스(1204), 및 통신 인터페이스(1216)를 포함하거나 또는 액세스할 수 있다. 출력 인터페이스(1204)는 입력 장치로서 기능할 수 있는 터치스크린과 같은 표시 장치를 포함할 수도 있다. 입력 인터페이스(1206)는 터치 스크린, 터치패드, 마우스, 키보드, 카메라, 하나 이상의 장치 특화(device-specific) 버튼, 컴퓨터(500) 내에 통합되거나 또는 유선이나 무선 데이터 연결을 통해 컴퓨터(500)에 연결되는 하나 이상의 센서, 및 다른 입력 장치 중 하나 이상을 포함할 수 있다. 컴퓨터(1200)는 데이터베이스 서버 또는 다른 장치 또는 시스템과 같은 하나 이상의 원격 컴퓨터에 연결하기 위해 통신 인터페이스(1216)를 이용하여 네트워크 환경에서 동작할 수 있다. 원격 컴퓨터는 개인용 컴퓨터(PC), 서버, 라우터, 네트워크 PC, 피어 장치, 또는 다른 공용 DFD 네트워크 스위치 등을 포함할 수 있다. 통신 인터페이스(1216)는 근거리 통신망(LAN), 광역 통신망(WAN), 셀룰러 네트워크, WiFi, 블루투스, 또는 다른 네트워크나 시스템을 통해 통신할 수 있다. 일 실시예에 따르면, 컴퓨터(1200)의 다양한 구성 요소는 시스템 버스(1220)와 연결된다.
컴퓨터 판독 가능 매체 상에 저장되는(예컨대, 메모리(1203) 내에 저장된) 컴퓨터 판독 가능 명령(1218)은 컴퓨터(1200)의 프로세서(1202)에 의해 실행 가능하다. 컴퓨터 판독 가능 매체와 저장 장치라는 용어는 반송파 또는 신호를 포함하지 않으며, 반송파와 신호는 너무 일시적인 것으로 간주된다. 스토리지는 스토리지 전용 네트워크(storage area network, SAN)와 같은 네트워크 스토리지를 포함할 수도 있다.
일 예로서, 컴퓨터(1200)가 네트워크 엘리먼트로서 기능할 때, 컴퓨터(1200)는 명령(1218)을 포함하는 메모리(1203), 및 메모리(1203)와 통신하는 하나 이상의 프로세서(1202)를 포함한다. 여기서, 적어도 하나의 프로세서(1202)는 단일 VR 콘텐츠 장면에 대해 VR 콘텐츠 서버에 의해 전송된 VR 콘텐츠 패킷과 VR 콘텐츠 패킷에 대한 서비스 품질(QoS) 전송 우선순위를 수신하고, 제1 QoS 전송 우선순위에 기초하여 복수의 제1 VR 콘텐츠 패킷을 전송하며, 제2 전송 우선순위에 기초하여 복수의 제2 VR 콘텐츠 패킷을 전송하기 위해 명령(1218)을 실행한다.
본 실시예의 추가적 양태는 다음의 예를 예시한다.
예 1. 가상 현실(VR) 콘텐츠를 전송하기 위해 네트워크 엘리먼트에 의하는 방법으로서,
단일 VR 콘텐츠 장면에 대해 VR 콘텐츠 서버에 의해 전송된 VR 콘텐츠 패킷, 및 VR 콘텐츠 패킷에 대한 서비스 품질(QoS) 전송 우선순위를 수신하는 단계 - QoS 전송 우선순위는 복수의 제1 VR 콘텐츠 패킷에 대응하는 제1 QoS 전송 우선순위와 복수의 제2 VR 콘텐츠 패킷에 대응하는 제2 QoS 전송 우선순위를 포함하고 있음 -; 및
제1 QoS 전송 우선순위에 기초한 복수의 제1 VR 콘텐츠 패킷과 제2 전송 우선순위에 기초한 복수의 제2 VR 콘텐츠 패킷을 전송하는 단계 - 제2 QoS 전송 우선순위는 제1 QoS 전송 우선순위와 다름 - 을 포함하는 가상 현실(VR) 콘텐츠를 전송하기 위해 네트워크 엘리먼트에 의하는 방법.
예 2. 복수의 VR 콘텐츠 영역이 사용자의 시야(FOV)와 관련하여 단일 VR 콘텐츠 장면의 상이한 부분에 대해 정의되는 예 1의 가상 현실(VR) 콘텐츠를 전송하기 위해 네트워크 엘리먼트에 의하는 방법.
예 3. QoS 전송 우선순위가 VR 콘텐츠 영역의 VR 콘텐츠 패킷에 각각 대응하는 예 1 내지 예 2 중 어느 하나에 따른 가상 현실(VR) 콘텐츠를 전송하기 위해 네트워크 엘리먼트에 의하는 방법.
예 4. 정책 및 과금 제어(PCC) 규칙을 수신하는 단계 - PCC 규칙은 네트워크 엘리먼트 엔티티로 하여금 VR 콘텐츠 패킷에 대한 QoS 전송 우선순위를 결정할 수 있게 하는 QoS 처리 규칙을 포함하고 있음 - 를 더 포함하는 예 1 내지 예 3 중 어느 하나에 따른 가상 현실(VR) 콘텐츠를 전송하기 위해 네트워크 엘리먼트에 의하는 방법.
예 5. QoS 처리 규칙이 네트워크 엘리먼트 엔티티로 하여금 VR 콘텐츠 서버로부터 VR 콘텐츠 패킷에 대한 QoS 전송 우선순위를 획득할 수 있게 하는 VR 콘텐츠 서버 주소를 포함하는 예 1 내지 예 4 중 어느 하나에 따른 가상 현실(VR) 콘텐츠를 전송하기 위해 네트워크 엘리먼트에 의하는 방법.
예 6. 제3 QoS 전송 우선순위를 가진 복수의 제3 VR 콘텐츠 패킷을 폐기하는 단계를 더 포함하는 예 1 내지 예 5 중 어느 하나에 따른 가상 현실(VR) 콘텐츠를 전송하기 위해 네트워크 엘리먼트에 의하는 방법.
예 7. 제1 QoS 전송 우선순위에 기초한 복수의 제1 VR 콘텐츠 패킷과 제2 전송 우선순위에 기초한 복수의 제2 VR 콘텐츠 패킷이 VR 콘텐츠 서버와 네트워크 엘리먼트 엔티티 사이의 단일 플로우를 통해 VR 콘텐츠 서버에 의해 송신되는 예 1 내지 예 6 중 어느 하나에 따른 가상 현실(VR) 콘텐츠를 전송하기 위해 네트워크 엘리먼트에 의하는 방법.
예 8. 가상 현실(VR) 콘텐츠를 전송하기 위해 VR 콘텐츠 서버에 의하는 방법으로서,
단일 VR 콘텐츠 장면에 대한 VR 콘텐츠 요청을 수신하는 단계 - VR 콘텐츠 요청은 단말 가시선에 관한 정보를 포함하고 있음 -;
단말 가시선에 관한 정보에 기초하여, VR 콘텐츠 요청에 대한 시야각 식별자(FOV ID)를 획득하는 단계;
FOV ID에 기초하여, 복수의 VR 콘텐츠 패킷의 집합으로부터 미리 인코딩된 VR 콘텐츠 패킷을 선택하는 단계;
VR 콘텐츠 패킷에 대한 서비스 품질(QoS) 전송 우선순위를 결정하는 단계 - QoS 전송 우선순위는 복수의 제1 VR 콘텐츠 패킷에 대한 제1 QoS 전송 우선순위와 복수의 제2 VR 콘텐츠 패킷에 대한 제2 QoS 전송 우선순위를 포함하고 있음 -; 및
VR 콘텐츠 패킷과 QoS 전송 우선순위를 전송하는 단계를 포함하는 가상 현실(VR) 콘텐츠를 전송하기 위해 VR 콘텐츠 서버에 의하는 방법.
예 9. 예 8에 따른 가상 현실(VR) 콘텐츠를 전송하기 위해 VR 콘텐츠 서버에 의하는 방법으로서,
QoS 우선순위를 결정하는 단계가 네트워크 데이터 정보를 수신하는 단계를 포함하고; QoS 우선순위를 결정하는 단계가 네트워크 상태에 기초하여 QoS 우선순위를 결정하는 단계를 포함하는 가상 현실(VR) 콘텐츠를 전송하기 위해 VR 콘텐츠 서버에 의하는 방법.
예 10. 네트워크 데이터가 처리량 정보, 또는 지연 정보, 또는 패킷 손실 정보 또는 오류율 정보 중 적어도 하나를 포함하는 예 8 내지 예 9 중 어느 하나에 따른 가상 현실(VR) 콘텐츠를 전송하기 위해 VR 콘텐츠 서버에 의하는 방법.
예 11. QoS 처리 규칙을 네트워크 엘리먼트에 송신하는 단계 - QoS 처리 규칙은 네트워크 엘리먼트로 하여금 QoS 정보에 기초하여 QoS 전송 우선순위를 이용하도록 촉발함 - 를 더 포함하는 예 8 내지 예 10 중 어느 하나에 따른 가상 현실(VR) 콘텐츠를 전송하기 위해 VR 콘텐츠 서버에 의하는 방법.
예 12. QoS 처리 규칙이 자원 주소와 목적지 주소 중 적어도 하나를 포함하는 예 8 내지 예 11 중 어느 하나에 따른 가상 현실(VR) 콘텐츠를 전송하기 위해 VR 콘텐츠 서버에 의하는 방법.
예 13. 예 8 내지 예 12 중 어느 하나에 따른 가상 현실(VR) 콘텐츠를 전송하기 위해 VR 콘텐츠 서버에 의하는 방법으로서,
VR 단말 장치로부터 VR 콘텐츠 요청을 수신하는 단계 이전에, 단말 장치에 VR 콘텐츠 장면의 인덱스를 송신하는 단계 - VR 콘텐츠 장면의 인덱스는 단말 가시선에 관한 적어도 2개의 시야각 식별자(FOV ID)를 포함하고, VR 콘텐츠 요청 내의 FOV ID가 단말 가시선에 따라 인덱스로부터 선택됨 - 를 더 포함하는 가상 현실(VR) 콘텐츠를 전송하기 위해 VR 콘텐츠 서버에 의하는 방법.
예 14. VR 콘텐츠 요청을 수신하는 단계 이전에, 복수의 VR 콘텐츠 패킷의 세트를 인코딩하는 단계 - 제1 세트는 예측된 제1 FOV ID에 대응하고, 제2 세트는 제2 추정 FOV ID에 대응하며, 제3 세트는 제3 추정 ID에 대응하고 있음 - 를 더 포함하는 예 8 내지 예 13 중 어느 하나에 따른 가상 현실(VR) 콘텐츠를 전송하기 위해 VR 콘텐츠 서버에 의하는 방법.
예 15. 제1, 제2, 및 제3 추정 FOV ID가 마지막 단말 가시선에 관한 마지막으로 획득된 FOV ID에 기초하여 예측되는 예 8 내지 예 14 중 어느 하나에 따른 가상 현실(VR) 콘텐츠를 전송하기 위해 VR 콘텐츠 서버에 의하는 방법.
예 16. 단말 가시선에 관한 정보가 단말 가시선에 관한 FOV ID, 또는 단말 가시선 정보인 예 8 내지 예 15 중 어느 하나에 따른 가상 현실(VR) 콘텐츠를 전송하기 위해 VR 콘텐츠 서버에 의하는 방법.
예 17. VR 콘텐츠 패킷과 QoS 전송 우선순위가 단일 채널을 통해 네트워크 엘리먼트에 전송되는 예 8 내지 예 16 중 어느 하나에 따른 가상 현실(VR) 콘텐츠를 전송하기 위해 VR 콘텐츠 서버에 의하는 방법.
예 18. 가상 현실(VR) 콘텐츠를 수신하기 위한 단말 장치에 의하는 방법으로서,
VR 콘텐츠 장면의 인덱스를 수신하는 단계 - 인덱스는 단말 가시선에 관한 적어도 2개의 시야각 식별자(FOV ID)를 포함하고 있음 -;
단말 가시선에 기초하여 인덱스로부터 FOV ID를 선택하는 단계;
VR 콘텐츠 장면에 대한 선택된 FOV ID를 포함하는 VR 콘텐츠 요청을 송신하는 단계;
VR 콘텐츠 장면의 선택된 FOV ID에 대응하는 제1 QoS를 가진 VR 콘텐츠 패킷을 수신하는 단계; 및
더 낮은 제2 QoS를 가진 VR 콘텐츠 패킷으로서 VR 콘텐츠 장면의 상이한 FOV ID를 가진 VR 콘텐츠 패킷을 수신하는 단계를 포함하는 가상 현실(VR) 콘텐츠를 수신하기 위한 단말 장치에 의하는 방법.
예 19. VR 콘텐츠 패킷이 상이한 서비스 품질(QoS) 전송 우선순위를 가진 예 18에 따른 가상 현실(VR) 콘텐츠를 수신하기 위한 단말 장치에 의하는 방법으로서,
QoS 전송 우선순위에 기초하여 VR 콘텐츠 패킷을 표시하는 단계를 더 포함하는 예 18에 따른 가상 현실(VR) 콘텐츠를 수신하기 위한 단말 장치에 의하는 방법.
예 20. 예 18 내지 예 19 중 어느 하나에 따른 가상 현실(VR) 콘텐츠를 수신하기 위한 단말 장치에 의하는 방법으로서, VR 콘텐츠 패킷이 제1 QoS 전송 우선순위에 대응하는 복수의 제1 VR 콘텐츠 패킷, 제2 QoS 전송 우선순위에 대응하는 복수의 제2 VR 콘텐츠 패킷, 및 제3 QoS 전송 우선순위에 대응하는 복수의 제3 VR 콘텐츠 패킷을 포함하고; QoS 정보에 기초하여 VR 콘텐츠 패킷을 표시하는 단계는,
복수의 제1 콘텐츠 패킷과 복수의 제2 VR 콘텐츠 패킷을 표시하는 단계를 포함하는 가상 현실(VR) 콘텐츠를 수신하기 위한 단말 장치에 의하는 방법.
예 21. 예 18 내지 예 20 중 어느 하나에 따른 가상 현실(VR) 콘텐츠를 수신하기 위한 단말 장치에 의하는 방법으로서,
FOV ID와 단말 가시선 사이의 관계를 송신하는 단계를 더 포함하는 가상 현실(VR) 콘텐츠를 수신하기 위한 단말 장치에 의하는 방법.
예 22. 네트워크 엘리먼트로서, 비일시적 메모리가 명령을 포함하고, 하나 이상의 프로세서가 메모리와 통신하며, 하나 이상의 프로세서가,
단일 VR 콘텐츠 장면에 대해 VR 콘텐츠 서버에 의해 전송된 VR 콘텐츠 패킷, 및 VR 콘텐츠 패킷에 대한 서비스 품질(QoS) 전송 우선순위를 수신하고 - 여기서, QoS 전송 우선순위는 복수의 제1 VR 콘텐츠 패킷에 대응하는 제1 QoS 전송 우선순위와 복수의 제2 VR 콘텐츠 패킷에 대응하는 제2 QoS 전송 우선순위를 포함하고 있음 -; 및
제1 QoS 전송 우선순위에 기초한 복수의 제1 VR 콘텐츠 패킷과 제2 전송 우선순위에 기초한 복수의 제2 VR 콘텐츠 패킷을 전송하기 위해 명령을 실행하도록 구성되고, 제2 QoS 전송 우선순위는 제1 QoS 전송 우선순위와 다른, 네트워크 엘리먼트.
예 23. 예 22에 따른 네트워크 엘리먼트로서, 하나 이상의 프로세서가,
정책 및 과금 제어(PCC) 규칙을 수신하기 위해 명령을 추가로 실행하도록 구성되고, PCC 규칙은 네트워크 엘리먼트 엔티티로 하여금 VR 콘텐츠 패킷에 대한 QoS 전송 우선순위를 결정하게 하는 QoS 처리 규칙을 포함하는, 네트워크 엘리먼트.
예 24. 예 22 내지 예 23 중 어느 하나에 따른 네트워크 엘리먼트로서, 하나 이상의 프로세서가
제3 QoS 전송 우선순위를 가진 복수의 제3 VR 콘텐츠 패킷을 폐기하기 위해 명령을 추가로 실행하도록 구성된, 네트워크 엘리먼트.
예 25. 가상 현실(VR) 콘텐츠 서버로서, 비일시적 메모리가 명령을 포함하고, 하나 이상의 프로세서가 메모리와 통신하며, 하나 이상의 프로세서가,
단일 VR 콘텐츠 장면에 대한 VR 콘텐츠 요청을 수신하고 - 여기서, VR 콘텐츠 요청은 단말 가시선에 관한 정보을 포함하고 있음 -;
단말 가시선에 관한 정보에 기초하여, VR 콘텐츠 요청에 대한 시야각 식별자(FOV ID)를 획득하며;
FOV ID에 기초하여, 복수의 세트의 VR 콘텐츠 패킷로부터 미리 인코딩된 VR 콘텐츠 패킷을 선택하며;
VR 콘텐츠 패킷에 대한 서비스 품질(QoS) 전송 우선순위를 결정하고 - 여기서, QoS 전송 우선순위는 복수의 제1 VR 콘텐츠 패킷에 대한 제1 QoS 전송 우선순위와 복수의 제2 VR 콘텐츠 패킷에 대한 제2 QoS 전송 우선순위를 포함하고 있음 -; 및
VR 콘텐츠 패킷과 QoS 전송 우선순위를 전송하기 위해 명령을 실행하도록 구성된, 가상 현실(VR) 콘텐츠 서버.
예 26. 예 25에 따른 네트워크 엘리먼트로서, 하나 이상의 프로세서가,
네트워크 데이터 정보를 수신하기 위해 명령을 추가로 실행하도록 구성되고;
QoS 우선순위를 결정하는 것이 네트워크 상태에 기초하여 QoS 우선순위를 결정하는 것을 포함하는, 네트워크 엘리먼트.
예 27. 단말 장치로서, 비일시적 메모리가 명령을 포함하고, 하나 이상의 프로세서가 메모리와 통신하며, 하나 이상의 프로세서가,
VR 콘텐츠 장면의 인덱스를 수신하고 - 여기서, 인덱스는 단말 가시선에 관한 적어도 2개의 시야각 식별자(FOV ID)를 포함하고 있음 -;
단말 가시선에 기초하여 인덱스로부터 FOV ID를 선택하며;
VR 콘텐츠 장면에 대한 선택된 FOV ID를 포함하는 VR 콘텐츠 요청을 송신하고;
VR 콘텐츠 장면의 선택된 FOV ID에 대응하는 제1 QoS를 가진 VR 콘텐츠 패킷을 수신하며;
더 낮은 제2 QoS를 가진 VR 콘텐츠 패킷으로서 VR 콘텐츠 장면의 상이한 FOV ID를 가진 VR 콘텐츠 패킷을 수신하기 위해 명령을 실행하도록 구성된, 네트워크 엘리먼트.
몇몇 실시예들이 앞에서 상세하게 설명되었지만, 다른 수정이 가능하다. 예를 들어, 바람직한 결과를 달성하기 위해, 도면에 도시된 논리 흐름은 도시된 특정 순서 또는 순차적 순서를 요구하지 않는다. 다른 단계가 제공될 수 있거나, 단계들이 설명된 흐름으로부터 제거될 수 있고, 다른 구성 요소들이 설명된 시스템에 추가되거나 또는 설명된 시스템으로부터 제거될 수 있다. 다른 실시예는 다음의 청구항의 범위에 속할 수 있다.

Claims (27)

  1. 가상 현실(virtual reality, VR) 콘텐츠를 전송하기 위해 네트워크 엘리먼트에 의하는 방법으로서,
    단일 VR 콘텐츠 장면(single VR content scene)에 대해 VR 콘텐츠 서버에 의해 전송된 VR 콘텐츠 패킷, 및 상기 VR 콘텐츠 패킷에 대한 서비스 품질(quality of service, QoS) 전송 우선순위를 수신하는 단계 - 상기 QoS 전송 우선순위는 복수의 제1 VR 콘텐츠 패킷에 대응하는 제1 QoS 전송 우선순위와 복수의 제2 VR 콘텐츠 패킷에 대응하는 제2 QoS 전송 우선순위를 포함하고 있음 -; 및
    상기 제1 QoS 전송 우선순위에 기초하여 상기 복수의 제1 VR 콘텐츠 패킷을 전송하고, 상기 제2 전송 우선순위에 기초하여 상기 복수의 제2 VR 콘텐츠 패킷을 전송하는 단계 - 상기 제2 QoS 전송 우선순위는 상기 제1 QoS 전송 우선순위와 다름 -
    를 포함하는 가상 현실(VR) 콘텐츠를 전송하기 위해 네트워크 엘리먼트에 의하는 방법.
  2. 제1항에 있어서,
    사용자의 시야(field of view, FOV)에 관한 상기 단일 VR 콘텐츠 장면의 상이한 부분에 대해 복수의 VR 콘텐츠 영역이 정의되는, 가상 현실(VR) 콘텐츠를 전송하기 위해 네트워크 엘리먼트에 의하는 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 QoS 전송 우선순위는 각각 상기 VR 콘텐츠 영역의 VR 콘텐츠 패킷에 대응하는, 가상 현실(VR) 콘텐츠를 전송하기 위해 네트워크 엘리먼트에 의하는 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    정책 및 과금 제어(policy and charging control, PCC) 규칙을 수신하는 단계 - 상기 PCC 규칙은 상기 네트워크 엘리먼트 엔티티로 하여금 상기 VR 콘텐츠 패킷에 대한 상기 QoS 전송 우선순위를 결정하도록 촉발하는 QoS 처리 규칙을 포함하고 있음 -
    를 더 포함하는 가상 현실(VR) 콘텐츠를 전송하기 위해 네트워크 엘리먼트에 의하는 방법.
  5. 제4항에 있어서,
    상기 QoS 처리 규칙은, 상기 네트워크 엘리먼트 엔티티로 하여금 상기 VR 콘텐츠 서버로부터 상기 VR 콘텐츠 패킷에 대한 상기 QoS 전송 우선순위를 획득할 수 있게 하는 VR 콘텐츠 서버 주소를 포함하는, 가상 현실(VR) 콘텐츠를 전송하기 위해 네트워크 엘리먼트에 의하는 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    제3 QoS 전송 우선순위를 가진 복수의 제3 VR 콘텐츠 패킷을 폐기하는 단계
    를 더 포함하는 가상 현실(VR) 콘텐츠를 전송하기 위해 네트워크 엘리먼트에 의하는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 제1 QoS 전송 우선순위에 기초한 상기 복수의 제1 VR 콘텐츠 패킷과 상기 제2 전송 우선순위에 기초한 상기 복수의 제2 VR 콘텐츠 패킷은, 상기 VR 콘텐츠 서버에 의해 상기 VR 콘텐츠 서버와 상기 네트워크 엘리먼트 엔티티 사이의 단일 플로우를 통해 송신되는, 가상 현실(VR) 콘텐츠를 전송하기 위해 네트워크 엘리먼트에 의하는 방법.
  8. 가상 현실(virtual reality VR) 콘텐츠를 전송하기 위해 VR 콘텐츠 서버에 의하는 방법으로서,
    단일 VR 콘텐츠 장면에 대한 VR 콘텐츠 요청을 수신하는 단계 - 상기 VR 콘텐츠 요청은 단말 가시선(terminal line of sight)에 관한 정보를 포함하고 있음 -;
    상기 단말 가시선에 관한 상기 정보에 기초하여, 상기 VR 콘텐츠 요청에 대한 시야각 식별자(field of view identifier, FOV ID)를 획득하는 단계;
    상기 FOV ID에 기초하여, VR 콘텐츠 패킷의 복수의 세트로부터 미리 인코딩된 VR 콘텐츠 패킷을 선택하는 단계;
    VR 콘텐츠 패킷에 대한 서비스 품질(quality of service, QoS) 전송 우선순위를 결정하는 단계 - 상기 QoS 전송 우선순위는 복수의 제1 VR 콘텐츠 패킷에 대한 제1 QoS 전송 우선순위와 복수의 제2 VR 콘텐츠 패킷에 대한 제2 QoS 전송 우선순위를 포함하고 있음 -; 및
    상기 VR 콘텐츠 패킷과 상기 QoS 전송 우선순위를 전송하는 단계
    를 포함하는 가상 현실(VR) 콘텐츠를 전송하기 위해 VR 콘텐츠 서버에 의하는 방법.
  9. 제8항에 있어서,
    상기 QoS 우선순위를 결정하는 단계는,
    네트워크 데이터 정보를 수신하는 단계
    를 포함하고,
    상기 QoS 우선순위를 결정하는 단계는,
    상기 네트워크 상태에 기초하여 QoS 우선순위를 결정하는 단계
    를 포함하는, 가상 현실(VR) 콘텐츠를 전송하기 위해 VR 콘텐츠 서버에 의하는 방법.
  10. 제9항에 있어서,
    상기 네트워크 데이터는 처리량 정보(throughput information), 또는 지연 정보(latency information), 또는 패킷 손실 정보, 또는 오류율 정보(error rate information) 중 적어도 하나를 포함하는, 가상 현실(VR) 콘텐츠를 전송하기 위해 VR 콘텐츠 서버에 의하는 방법.
  11. 제8항 내지 제10항 중 어느 한 항에 있어서,
    네트워크 엘리먼트에 QoS 처리 규칙을 송신하는 단계 - 상기 QoS 처리 규칙은 상기 네트워크 엘리먼트로 하여금 QoS 정보에 기초하여 QoS 전송 우선순위를 이용하도록 촉발하는 규칙임 -
    를 더 포함하는 가상 현실(VR) 콘텐츠를 전송하기 위해 VR 콘텐츠 서버에 의하는 방법.
  12. 제11항에 있어서,
    상기 QoS 처리 규칙은 자원 주소와 목적지 주소 중 적어도 하나를 포함하는, 가상 현실(VR) 콘텐츠를 전송하기 위해 VR 콘텐츠 서버에 의하는 방법.
  13. 제8항 내지 제12항 중 어느 한 항에 있어서,
    상기 VR 단말 장치로부터 VR 콘텐츠 요청을 수신하는 단계 이전에, 상기 VR 단말 장치에 상기 VR 콘텐츠 장면의 인덱스를 송신하는 단계 - 상기 인덱스는 단말 가시선(terminal line of sight)에 관한 적어도 2개의 시야각 식별자(field of view identifier, FOV ID)를 포함하고, 상기 VR 콘텐츠 요청 내의 상기 FOV ID는 상기 단말 가시선에 따라 상기 인덱스로부터 선택됨 -
    를 더 포함하는 가상 현실(VR) 콘텐츠를 전송하기 위해 VR 콘텐츠 서버에 의하는 방법.
  14. 제8항 내지 제13항 중 어느 한 항에 있어서,
    상기 VR 콘텐츠 요청을 수신하는 단계 이전에, 상기 VR 콘텐츠 패킷의 복수의 세트를 인코딩하는 단계 - 제1 세트가 예측된 제1 FOV ID에 대응하고, 제2 세트가 예측된 제2 FOV ID에 대응하며, 제3 세트가 예측된 제3 ID에 대응하고 있음 -
    를 더 포함하는 가상 현실(VR) 콘텐츠를 전송하기 위해 VR 콘텐츠 서버에 의하는 방법.
  15. 제14항에 있어서,
    상기 예측된 제1, 제2, 및 제3 FOV ID는 마지막 단말 가시선(terminal line of sight)에 관한 마지막으로 획득된 FOV에 기초하여 예측되는, 가상 현실(VR) 콘텐츠를 전송하기 위해 VR 콘텐츠 서버에 의하는 방법.
  16. 제8항 내지 제15항 중 어느 한 항에 있어서,
    상기 단말 가시선에 관한 상기 정보는 상기 단말 가시선에 관한 FOV ID이거나, 또는 상기 단말 가시선 정보인, 가상 현실(VR) 콘텐츠를 전송하기 위해 VR 콘텐츠 서버에 의하는 방법.
  17. 제8항 내지 제16항 중 어느 한 항에 있어서,
    상기 VR 콘텐츠 패킷과 상기 QoS 전송 우선순위는 단일 채널을 통해 상기 네트워크 엘리먼트에 전송되는, 가상 현실(VR) 콘텐츠를 전송하기 위해 VR 콘텐츠 서버에 의하는 방법.
  18. 가상 현실(virtual reality, VR) 콘텐츠를 수신하기 위해 단말 장치에 의하는 방법으로서,
    VR 콘텐츠 장면의 인덱스를 수신하는 단계 - 상기 인덱스는 단말 가시선(line of sight)에 관한 적어도 2개의 시야각 식별자(field of view identifier, FOV ID)를 포함하고 있음 -;
    단말 가시선(terminal line of sight)에 기초하여 상기 인덱스로부터 FOV ID를 선택하는 단계;
    상기 VR 콘텐츠 장면에 대한 상기 선택된 FOV ID를 포함하는 VR 콘텐츠 요청을 송신하는 단계;
    상기 VR 콘텐츠 장면의 선택된 FOV ID에 대응하는 제1 QoS를 가진 상기 VR 콘텐츠 패킷을 수신하는 단계; 및
    더 낮은 제2 QoS를 가진 VR 콘텐츠 패킷으로서 상기 VR 콘텐츠 장면의 상이한 FOV ID를 가진 VR 콘텐츠 패킷을 수신하는 단계
    를 포함하는 가상 현실(VR) 콘텐츠를 수신하기 위해 단말 장치에 의하는 방법.
  19. 제18항에 있어서,
    상기 VR 콘텐츠 패킷은 상이한 서비스 품질(quality of service, QoS) 전송 우선순위를 가지고 있으며,
    상기 가상 현실(VR) 콘텐츠를 수신하기 위한 단말 장치에 의한 방법이,
    상기 QoS 전송 우선순위에 기초하여 상기 VR 콘텐츠 패킷을 표시하는 단계
    를 더 포함하는 가상 현실(VR) 콘텐츠를 수신하기 위해 단말 장치에 의하는 방법.
  20. 제18항 또는 제19항에 있어서,
    상기 VR 콘텐츠 패킷은 제1 QoS 전송 우선순위에 대응하는 복수의 제1 VR 콘텐츠 패킷, 제2 QoS 전송 우선순위에 대응하는 복수의 제2 VR 콘텐츠 패킷, 및 제3 QoS 전송 우선순위에 대응하는 복수의 제3 VR 콘텐츠 패킷을 포함하고;
    상기 QoS 정보에 기초하여 상기 VR 콘텐츠 패킷을 표시하는 단계는,
    상기 복수의 제1 콘텐츠 패킷과 상기 복수의 제2 VR 콘텐츠 패킷을 표시하는 단계
    를 포함하는, 가상 현실(VR) 콘텐츠를 수신하기 위해 단말 장치에 의하는 방법.
  21. 제18항 내지 제20항 중 어느 한 항에 있어서,
    상기 FOV ID와 상기 단말 가시선 사이의 관계를 송신하는 단계
    를 더 포함하는 가상 현실(VR) 콘텐츠를 수신하기 위해 단말 장치에 의하는 방법.
  22. 네트워크 엘리먼트로서,
    명령을 포함하는 비일시적 메모리; 및
    상기 메모리와 통신하는 하나 이상의 프로세서
    를 포함하고,
    상기 하나 이상의 프로세서는,
    VR 콘텐츠 서버에 의해 전송된 단일 VR 콘텐츠 장면(single VR content scene)에 대한 VR 콘텐츠 패킷, 및 상기 VR 콘텐츠 패킷에 대한 서비스 품질(quality of service, QoS) 전송 우선순위를 수신하고 - 여기서, 상기 QoS 전송 우선순위는 복수의 제1 VR 콘텐츠 패킷에 대응하는 제1 QoS 전송 우선순위와 복수의 제2 VR 콘텐츠 패킷에 대응하는 제2 QoS 전송 우선순위를 포함하고 있음 -; 및
    상기 제1 QoS 전송 우선순위에 기초한 상기 복수의 제1 VR 콘텐츠 패킷과 상기 제2 전송 우선순위에 기초한 상기 복수의 제2 VR 콘텐츠 패킷을 전송하기 위해 상기 명령을 실행하도록 구성되고, 상기 제2 QoS 전송 우선순위는 상기 제1 QoS 전송 우선순위와 다른, 네트워크 엘리먼트.
  23. 제22항에 있어서,
    상기 하나 이상의 프로세서는,
    정책 및 과금 제어(policy and charging control, PCC) 규칙을 수신하기 위해 상기 명령을 추가로 실행하도록 구성되고, 상기 PCC 규칙은 상기 네트워크 엘리먼트 엔티티로 하여금 상기 VR 콘텐츠 패킷에 대한 상기 QoS 전송 우선순위를 결정하도록 촉발하는 QoS 처리 규칙을 포함하는, 네트워크 엘리먼트.
  24. 제22항 또는 제23항에 있어서,
    상기 하나 이상의 프로세서는,
    제3 QoS 전송 우선순위를 가진 복수의 제3 VR 콘텐츠 패킷을 폐기하기 위해 상기 명령을 추가로 실행하도록 구성된, 네트워크 엘리먼트.
  25. 가상 현실(virtual reality, VR) 콘텐츠 서버로서,
    명령을 포함하는 비일시적 메모리; 및
    상기 메모리와 통신하는 하나 이상의 프로세서
    를 포함하고,
    상기 하나 이상의 프로세서는,
    단일 VR 콘텐츠 장면(single VR content scene)에 대한 VR 콘텐츠 요청을 수신하고 - 여기서, 상기 VR 콘텐츠 요청은 단말 가시선(terminal line of sight)에 관한 정보를 포함하고 있음 -;
    상기 단말 가시선에 관한 상기 정보에 기초하여, 상기 VR 콘텐츠 요청에 대한 시야각 식별자(field of view identifier, FOV ID)를 획득하며;
    상기 FOV ID에 기초하여, VR 콘텐츠 패킷의 복수의 세트로부터 미리 인코딩된 VR 콘텐츠 패킷을 선택하고;
    VR 콘텐츠 패킷에 대한 서비스 품질(quality of service, QoS) 전송 우선순위를 결정하며 - 여기서, 상기 QoS 전송 우선순위는 복수의 제1 VR 콘텐츠 패킷에 대한 제1 QoS 전송 우선순위와 복수의 제2 VR 콘텐츠 패킷에 대한 제2 QoS 전송 우선순위를 포함하고 있음 -;
    상기 VR 콘텐츠 패킷과 상기 QoS 전송 우선순위를 전송하기 위해 상기 명령을 실행하도록 구성된, 가상 현실(VR) 콘텐츠 서버.
  26. 제25항에 있어서,
    상기 하나 이상의 프로세서는,
    네트워크 데이터 정보를 수신하기 위해 상기 명령을 추가로 실행하도록 구성되고,
    상기 QoS 우선순위를 결정하는 것은,
    상기 네트워크 상태에 기초하여 QoS 우선순위를 결정하는 것
    을 포함하는, 가상 현실(VR) 콘텐츠 서버.
  27. 단말 장치로서,
    명령을 포함하는 비일시적 메모리; 및
    상기 메모리와 통신하는 하나 이상의 프로세서
    를 포함하고,
    상기 하나 이상의 프로세서는,
    VR 콘텐츠 장면(VR content scene)의 인덱스를 수신하고 - 여기서, 상기 인덱스는 단말 가시선(terminal line of sight)에 관한 적어도 2개의 시야각 식별자(field of view identifier, FOV ID)를 포함하고 있음 -;
    단말 가시선에 기초하여 상기 인덱스로부터 FOV ID를 선택하며;
    상기 VR 콘텐츠 장면에 대한 상기 선택된 FOV ID를 포함하는 VR 콘텐츠 요청을 송신하고;
    상기 VR 콘텐츠 장면의 선택된 FOV ID에 대응하는 제1 QoS를 가진 상기 VR 콘텐츠 패킷을 수신하며;
    더 낮은 제2 QoS를 가진 VR 콘텐츠 패킷으로서 상기 VR 콘텐츠 장면의 상이한 FOV ID를 가진 VR 콘텐츠 패킷을 수신하기 위해 상기 명령을 실행하도록 구성된, 단말 장치.
KR1020197038556A 2017-06-08 2018-05-23 가상 현실(vr) 콘텐츠를 전송하기 위한 방법과 시스템 KR20200014355A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217026574A KR102419114B1 (ko) 2017-06-08 2018-05-23 가상 현실(vr) 콘텐츠를 전송하기 위한 방법과 시스템

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/617,859 US10477105B2 (en) 2017-06-08 2017-06-08 Method and system for transmitting virtual reality (VR) content
US15/617,859 2017-06-08
PCT/CN2018/087940 WO2018223839A1 (en) 2017-06-08 2018-05-23 A method and system for transmitting virtual reality (vr) content

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217026574A Division KR102419114B1 (ko) 2017-06-08 2018-05-23 가상 현실(vr) 콘텐츠를 전송하기 위한 방법과 시스템

Publications (1)

Publication Number Publication Date
KR20200014355A true KR20200014355A (ko) 2020-02-10

Family

ID=64564257

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020197038556A KR20200014355A (ko) 2017-06-08 2018-05-23 가상 현실(vr) 콘텐츠를 전송하기 위한 방법과 시스템
KR1020217026574A KR102419114B1 (ko) 2017-06-08 2018-05-23 가상 현실(vr) 콘텐츠를 전송하기 위한 방법과 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020217026574A KR102419114B1 (ko) 2017-06-08 2018-05-23 가상 현실(vr) 콘텐츠를 전송하기 위한 방법과 시스템

Country Status (6)

Country Link
US (1) US10477105B2 (ko)
EP (1) EP3625961A4 (ko)
JP (1) JP6973709B2 (ko)
KR (2) KR20200014355A (ko)
CN (2) CN112887843B (ko)
WO (1) WO2018223839A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10330935B2 (en) * 2016-09-22 2019-06-25 Apple Inc. Predictive, foveated virtual reality system
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US10812774B2 (en) 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
US10616621B2 (en) * 2018-06-29 2020-04-07 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
US10560759B1 (en) * 2018-10-23 2020-02-11 At&T Intellectual Property I, L.P. Active network support on adaptive virtual reality video transmission
CN111565422B (zh) * 2019-02-13 2022-04-05 华为技术有限公司 策略控制方法、装置及系统
CN113452474B (zh) * 2020-03-27 2022-12-02 华为技术有限公司 扩展现实数据传输方法及装置
WO2021194268A1 (en) * 2020-03-27 2021-09-30 Samsung Electronics Co., Ltd. Image display apparatus and method for managing data packet loss
CN113747510A (zh) * 2020-05-28 2021-12-03 华为技术有限公司 通信方法及装置
US11677840B2 (en) 2021-01-11 2023-06-13 Cisco Technology, Inc. Preserving transmission properties of real-time scenes in an environment when an increasing number of users join a session
US11895170B2 (en) * 2021-03-09 2024-02-06 Cisco Technology, Inc. Synchronicity for virtual reality/augmented reality interactive sessions in wireless networks
US11917011B2 (en) 2022-01-10 2024-02-27 Meta Platforms Technologies, Llc Resilient rendering for augmented-reality devices
WO2023136754A1 (en) * 2022-01-12 2023-07-20 Telefonaktiebolaget Lm Ericsson (Publ) Application server node, network node, core network node, and methods in a wireless communications network
US11758104B1 (en) * 2022-10-18 2023-09-12 Illuscio, Inc. Systems and methods for predictive streaming of image data for spatial computing
CN117348932B (zh) * 2023-12-04 2024-03-15 中科亿海微电子科技（苏州）有限公司 支持axi深度乱序传输的从机装置及工作方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8146142B2 (en) * 2004-09-03 2012-03-27 Intel Corporation Device introduction and access control framework
KR20070119905A (ko) * 2006-06-16 2007-12-21 삼성에스디아이 주식회사 연료 전지용 막-전극 어셈블리 및 이를 포함하는 연료 전지시스템
JP4111231B2 (ja) * 2006-07-14 2008-07-02 富士ゼロックス株式会社 立体表示システム
US7630314B2 (en) * 2006-12-05 2009-12-08 Latitue Broadband, Inc. Methods and systems for dynamic bandwidth management for quality of service in IP Core and access networks
WO2009049684A1 (en) * 2007-10-19 2009-04-23 Telefonaktiebolaget Lm Ericsson (Publ) Methods and apparatuses for notifying an application function of resource restrictions relating to a communication session
US9407718B2 (en) * 2010-07-01 2016-08-02 Broadcom Corporation Method and system for service discovery and deployment in an IP multimedia network
KR102068216B1 (ko) * 2011-01-28 2020-01-20 인터치 테크놀로지스 인코퍼레이티드 이동형 원격현전 로봇과의 인터페이싱
JP2014515599A (ja) * 2011-03-25 2014-07-03 セダーズ−シナイ メディカル センター 炎症性腸疾患における腸の肉芽腫および低骨密度を診断および処置する方法
US10514541B2 (en) * 2012-12-27 2019-12-24 Microsoft Technology Licensing, Llc Display update time reduction for a near-eye display
CN103533367B (zh) * 2013-10-23 2015-08-19 传线网络科技（上海）有限公司 一种无参考视频质量评价方法及装置
EP3033907B1 (en) * 2014-01-08 2018-09-19 Huawei Technologies Co., Ltd. Method and system of quality of service (qos) negotiation for network assisted adaptive streaming
US9699437B2 (en) * 2014-03-03 2017-07-04 Nextvr Inc. Methods and apparatus for streaming content
EP3037915B1 (en) * 2014-12-23 2017-08-16 Nokia Technologies OY Virtual reality content control
CN106162513B (zh) * 2015-04-09 2020-03-17 上海诺基亚贝尔股份有限公司 支持优先级的接近业务直接通信的方法和装置
US10575008B2 (en) 2015-06-01 2020-02-25 Apple Inc. Bandwidth management in devices with simultaneous download of multiple data streams
CN106303404A (zh) 2015-06-29 2017-01-04 北京智谷睿拓技术服务有限公司 可视化内容传输控制方法、发送方法、及其装置
US10217877B2 (en) * 2015-07-27 2019-02-26 Lg Electronics Inc. Solar cell
CN105898138A (zh) 2015-12-18 2016-08-24 乐视致新电子科技（天津）有限公司 全景视频播放方法及装置
CN106919248A (zh) 2015-12-26 2017-07-04 华为技术有限公司 应用于虚拟现实的内容传输方法以及设备
EP3456090B1 (en) * 2016-05-12 2021-03-31 Convida Wireless, Llc Connecting to virtualized mobile core networks
US11395020B2 (en) * 2016-09-08 2022-07-19 Telefonaktiebolaget Lm Ericsson (Publ) Bitrate control in a virtual reality (VR) environment
CN106454321A (zh) 2016-10-26 2017-02-22 深圳市道通智能航空技术有限公司 全景视频的处理方法、装置及系统

Also Published As

Publication number Publication date
US10477105B2 (en) 2019-11-12
JP6973709B2 (ja) 2021-12-01
KR20210106034A (ko) 2021-08-27
CN110622506A (zh) 2019-12-27
WO2018223839A1 (en) 2018-12-13
EP3625961A1 (en) 2020-03-25
JP2020522944A (ja) 2020-07-30
US20180359189A1 (en) 2018-12-13
CN110622506B (zh) 2021-02-12
KR102419114B1 (ko) 2022-07-07
EP3625961A4 (en) 2020-04-01
CN112887843A (zh) 2021-06-01
CN112887843B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
KR102419114B1 (ko) 가상 현실(vr) 콘텐츠를 전송하기 위한 방법과 시스템
US10231014B2 (en) Virtual reality (VR) video distribution using edge resources
EP3993320A1 (en) Training method, device, and system using mos model
EP3412055B1 (en) Triggering transmissions using location information
US11979450B2 (en) Communication method and apparatus
US11070466B2 (en) Method for link aggregation and related devices
US10929953B2 (en) Method and apparatus for selecting communication interface in wireless communication system
TW201707419A (zh) 多寬頻訂閱共享
US11265356B2 (en) Network assistance functions for virtual reality dyanmic streaming
CN109587053B (zh) 网络分流方法及相关设备
US11700563B2 (en) Systems and methods for device-assisted seamless transfer between edge computing systems in a wireless network
US9750072B2 (en) Mobile device and communication control method
WO2021212999A1 (zh) 媒体报文的传输方法、装置及系统
US11297634B2 (en) Systems, methods, and media for scheduling traffic of a communication session between an application on a WiFi network and another device
WO2023211941A1 (en) Methods for robust link performance management for xr
WO2024088575A1 (en) Quality of service sustainability in a wireless communication network
WO2023064764A1 (en) Method and apparatus for data flow coordination in multi-modal communications
CN117859298A (zh) 计费处理方法及装置、通信设备及存储介质
CN116156576A (zh) 一种服务质量QoS管理方法以及装置

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
E601 Decision to refuse application
E801 Decision on dismissal of amendment
A107 Divisional application of patent