KR20210126794A - 360도 적응형 스트리밍에 대한 경험을 개선하기 위한 메트릭 및 메시지 - Google Patents
360도 적응형 스트리밍에 대한 경험을 개선하기 위한 메트릭 및 메시지 Download PDFInfo
- Publication number
- KR20210126794A KR20210126794A KR1020217032830A KR20217032830A KR20210126794A KR 20210126794 A KR20210126794 A KR 20210126794A KR 1020217032830 A KR1020217032830 A KR 1020217032830A KR 20217032830 A KR20217032830 A KR 20217032830A KR 20210126794 A KR20210126794 A KR 20210126794A
- Authority
- KR
- South Korea
- Prior art keywords
- viewport
- interface
- metric
- metric data
- data associated
- Prior art date
Links
- 230000003044 adaptive effect Effects 0.000 title claims description 11
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000004891 communication Methods 0.000 claims description 40
- 238000009877 rendering Methods 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 26
- 230000033001 locomotion Effects 0.000 description 55
- 238000005259 measurement Methods 0.000 description 38
- 230000035945 sensitivity Effects 0.000 description 32
- 230000008859 change Effects 0.000 description 27
- 238000005516 engineering process Methods 0.000 description 24
- 230000000875 corresponding effect Effects 0.000 description 22
- 239000013598 vector Substances 0.000 description 19
- 230000006870 function Effects 0.000 description 18
- 238000007726 management method Methods 0.000 description 17
- 230000004886 head movement Effects 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 12
- 238000012384 transportation and delivery Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 230000006978 adaptation Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 9
- 241000760358 Enodes Species 0.000 description 8
- 238000013459 approach Methods 0.000 description 8
- 230000001419 dependent effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000001228 spectrum Methods 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 239000002356 single layer Substances 0.000 description 6
- 238000012856 packing Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 239000000969 carrier Substances 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 101100172132 Mus musculus Eif3a gene Proteins 0.000 description 2
- 241000700159 Rattus Species 0.000 description 2
- 238000004873 anchoring Methods 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 229910001416 lithium ion Inorganic materials 0.000 description 2
- 206010025482 malaise Diseases 0.000 description 2
- 239000012092 media component Substances 0.000 description 2
- QELJHCBNGDEXLD-UHFFFAOYSA-N nickel zinc Chemical compound [Ni].[Zn] QELJHCBNGDEXLD-UHFFFAOYSA-N 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000005355 Hall effect Effects 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- OJIJEKBXJYRIBZ-UHFFFAOYSA-N cadmium nickel Chemical compound [Ni].[Cd] OJIJEKBXJYRIBZ-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000002716 delivery method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000013028 medium composition Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229910052987 metal hydride Inorganic materials 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- PXHVJJICTQNCMI-UHFFFAOYSA-N nickel Substances [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 1
- -1 nickel metal hydride Chemical class 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000000411 transmission spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 229910052727 yttrium Inorganic materials 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/764—Media network packet handling at the destination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Computer Hardware Design (AREA)
- Mobile Radio Communication Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
미디어 콘텐트를 수신 및 디스플레이하기 위한 방법이 제공될 수 있다. 방법은 다양한 뷰포트 및 품질과 관련된 DASH 비디오 세그먼트 세트를 요청하는 단계를 포함할 수 있다. 방법은 DASH 비디오 세그먼트를 디스플레이하는 단계를 포함할 수 있다. 방법은 DASH 비디오 세그먼트의 디스플레이와, 디바이스가 움직이기 시작한 시간, 디바이스가 움직임을 중단한 시간, 디바이스가 움직이기 시작했다고 디바이스가 결정한 시간, 디바이스가 움직임을 정지했다고 디바이스가 결정한 시간, 또는 상이한 DASH 비디오 세그먼트의 디스플레이 중 하나 사이의 시간 차이에 기초하여 레이턴시 메트릭을 결정하는 단계를 포함할 수 있다. 상이한 DASH 비디오 세그먼트는 상이한 품질 또는 상이한 뷰포트 중 하나 이상과 관련될 수 있다.
Description
[관련 출원에 대한 상호 참조]
본 출원은 2017년 3월 23일자에 출원된 미국 가출원 제 62/475,563 호, 2017년 6월 26일자에 출원된 미국 가출원 제 62/525,065 호 및 2018년 2월 28일자에 출원된 미국 가출원 제 62/636,795 호의 이익을 주장하며, 이 출원들의 내용은 본 명세서에 참조로 포함된다.
360° 비디오는 미디어 산업에서 빠르게 성장하는 포맷이다. VR(virtual reality, 가상 현실) 디바이스의 가용성이 높아짐에 따라 360° 비디오가 가능하다. 360° 비디오는 시청자에게 새로운 존재감을 제공할 수 있다. 직선 비디오(예를 들어, 2D 또는 3D)와 비교할 때, 360° 비디오는 비디오 처리 및/또는 전달에 어려운 엔지니어링 문제를 제기할 수 있다. 편안함 및/또는 몰입형 사용자 경험을 가능하게 하려면 높은 비디오 품질 및/또는 매우 낮은 레이턴시가 필요할 수 있다. 360° 비디오의 큰 비디오 크기는 360° 비디오를 규모에 맞는 품질로 전달하는 데 방해가 될 수 있다.
360° 비디오 애플리케이션 및/또는 서비스는 전체 360° 비디오를 점진적 다운로드 및/또는 적응형 스트리밍을 위해 표준 준수 스트림으로 인코딩할 수 있다. 전체 360° 비디오를 클라이언트에 전달하면 레이턴시가 짧은 렌더링이 가능할 수 있다(예를 들어, 클라이언트는 360° 비디오 콘텐트 전체에 액세스할 수 있고/있거나 추가 제약 없이 보고 싶은 부분을 렌더링하도록 선택할 수 있다). 서버 관점에서, 동일한 스트림은 상이한 뷰포트를 가진 다수의 사용자를 지원할 수 있다. 비디오 크기는 엄청나게 클 수 있으며, 비디오가 전달될 때, 높은 전송 대역폭을 유발할 수 있다(예를 들어, 전체 360° 비디오가 눈 당 4K@60fps 또는 6K@90fps와 같은 고품질로 인코딩될 수 있기 때문이다). 예를 들어, 사용자가 전체 픽처의 작은 부분(예를 들어, 뷰포트)만을 볼 수 있기 때문에, 전달 동안 높은 대역폭 소비는 낭비될 수 있다.
스트리밍 클라이언트(들), 콘텐트 오리진 서버(들), 측정/분석 서버(들) 및/또는 다른 비디오 스트리밍 지원 네트워크 요소들 사이에서 정보를 교환하기 위한 시스템, 방법 및 수단이 제공될 수 있다.
예를 들어, 스트리밍 클라이언트들은 자신들이 지원하는 메트릭을 일관된 방식으로 생성 및 보고할 수 있고, 다양한 네트워크 요소들은 스트리밍 지원 메시지를 생성하여 스트리밍 클라이언트들에게 또는 서로에게 전송할 수 있다. 상이한 클라이언트들, 플레이어들, 디바이스들 및 네트워크들의 성능이 모니터링되고 비교될 수 있다. 문제점이 디버깅될 수 있으며, 실시간으로 또는 오프라인으로 결함(들)을 분리할 수 있다.
예를 들어, 뷰포트 뷰 통계가 하이퍼 텍스트 전송 프로토콜을 통한 서버 및 네트워크 지원 동적 적응형 스트리밍(SAND) 메시지(들)을 통해 클라이언트들로부터 메트릭 서버에 보고될 수 있다. VR 디바이스와 관련된 정보가 보고될 수 있다. 뷰포트 스위칭 레이턴시, 초기 레이턴시 및 정착 레이턴시와 같은 하나 이상의 레이턴시 파라미터들이 스트리밍 클라이언트에 의해 측정 및 보고될 수 있다. 헤드 마운티드 디바이스(Head Mounted Device; HMD)(들)의 정밀도 및 감도는 오리진 서버, 콘텐트 전달 네트워크 서버 및 클라이언트 또는 메트릭 서버와 같은 네트워크 요소들 사이에서 측정 및 교환될 수 있다. 초기 렌더링 방향 정보는 SAND 메시지(들)를 통해 VR 디바이스로 전송될 수 있다.
시스템, 방법 및 수단이 하이퍼 텍스트 전송 프로토콜을 통한 동적 적응형 스트리밍(Dynamic Adaptive Streaming over Hypertext Transfer Protocol; DASH) 용어를 사용하여 본 명세서에서 설명되지만, 당업자는 이들을 다른 스트리밍 표준 및 구현에 적용할 수 있음을 이해할 것이다.
미디어 콘텐트를 수신 및 디스플레이하는 디바이스가 제 1 뷰포트를 디스플레이할 수 있다. 제 1 뷰포트는 하나 이상의 HTTP를 통한 동적 적응형 스트리밍(DASH) 비디오 세그먼트들 중 적어도 일부로 구성될 수 있다. 제 1 뷰포트는 제 1 품질을 가질 수 있다. 디바이스는 제 1 시간에 디바이스의 움직임을 결정할 수 있다. 디바이스의 움직임은 제 1 뷰포트 외부로의 디바이스의 움직임, 디바이스의 방향 변경 또는 줌 동작 중 하나 이상을 포함할 수 있다. 디바이스는 하나 이상의 뷰포트 스위칭 파라미터들의 변화가 문턱치 이상일 때 디바이스의 움직임을 검출할 수 있다. 뷰포트 스위칭 파라미터들은, 예를 들어, centre_azimuth, centre_elevation, centre_tilt, azimuth_range 및 elevation_range 중 하나 이상을 포함할 수 있다.
디바이스는 제 2 뷰포트를 디스플레이할 수 있다. 제 2 뷰포트는 제 2 시간에 하나 이상의 DASH 비디오 세그먼트들 중 적어도 일부로 구성될 수 있다. 제 2 뷰포트는 제 1 품질 미만의 제 2 품질을 가질 수 있다. 대안적으로, 제 2 뷰포트는 제 1 품질 이상의 제 2 품질을 가질 수 있다. 디바이스는 제 1 시간 및 제 2 시간에 기초하여 뷰포트 스위칭 레이턴시 메트릭을 결정하고, 뷰포트 스위칭 레이턴시 메트릭을 전송할 수 있다.
디바이스는 제 3 뷰포트를 디스플레이할 수 있다. 제 3 뷰포트는 제 3 시간에 하나 이상의 DASH 비디오 세그먼트들 중 적어도 일부로 구성될 수 있다. 제 3 뷰포트는 제 2 품질보다 큰 제 3 품질을 가질 수 있다. 제 3 품질은 제 1 품질 이상일 수 있거나, 제 3 품질은 품질 문턱치 이상이지만 제 1 품질 미만일 수 있다. 일례에서, 제 1 품질과 제 3 품질 사이의 절대 차이는 품질 문턱치 이하일 수 있다. 각각의 DASH 비디오 세그먼트는 각각의 품질을 가질 수 있다. 디바이스는 각각의 뷰포트를 구성하기 위해 사용되는 하나 이상의 DASH 비디오 세그먼트들의 상대적인 부분 및 각각의 품질에 기초하여 제 1 품질, 제 2 품질 또는 제 3 품질을 결정할 수 있다. 예를 들어, 디바이스는 뷰포트를 구성하기 위해 사용되는 하나 이상의 DASH 비디오 세그먼트들 각각의 개개의 품질의 평균, 최대값, 최소값 또는 가중 평균을 사용하여 뷰포트의 품질을 결정할 수 있다. 디바이스는 제 1 시간과 제 3 시간 사이의 차이에 기초하여 품질 뷰포트 스위칭 레이턴시 메트릭을 결정하고, 품질 뷰포트 스위칭 레이턴시 메트릭을 전송할 수 있다.
디바이스는 뷰포트 손실 및 뷰포트 손실이 디스플레이된 제 1 뷰포트, 제 2 뷰포트 또는 제 3 뷰포트 중 적어도 하나에 영향을 미치는지 여부를 결정할 수 있다. 디바이스는, 예를 들어, 뷰포트 손실이 디스플레이된 제 1 뷰포트, 제 2 뷰포트 또는 제 3 뷰포트 중 적어도 하나에 영향을 미치는 조건에 기초하여, 뷰포트 손실과 관련된 정보를 결정할 수 있다. 뷰포트 손실과 관련된 정보는 뷰포트 손실에 대한 이유 및 뷰포트 손실과 관련된 DASH 비디오 세그먼트를 포함할 수 있다. 디바이스는 뷰포트 손실과 관련된 정보를 나타내는 뷰포트 손실 메트릭을 전송할 수 있다. 뷰포트 손실과 관련된 정보는 뷰포트 손실이 결정되는 시간, 패킷의 소스 URL, 및 뷰포트 손실의 오류 타입 중 하나 이상을 포함할 수 있다. 뷰포트 손실에 대한 이유는 서버 오류, 클라이언트 오류, 패킷 손실, 패킷 오류 또는 패킷 폐기 중 하나를 포함할 수 있다.
디바이스는 다양한 뷰포트 및 품질과 관련된 DASH 비디오 세그먼트 세트를 요청할 수 있다. 디바이스는 DASH 비디오 세그먼트를 디스플레이할 수 있다. 디바이스는 DASH 비디오 세그먼트의 디스플레이와, 디바이스가 움직이기 시작한 시간, 디바이스가 움직임을 중단한 시간, 디바이스가 움직이기 시작했다고 디바이스가 결정한 시간, 디바이스가 움직임을 정지했다고 디바이스가 결정한 시간, 또는 상이한 DASH 비디오 세그먼트의 디스플레이 중 하나 사이의 시간 차이에 기초하여 레이턴시 메트릭을 결정할 수 있다. 상이한 DASH 비디오 세그먼트는 상이한 품질 및/또는 상이한 뷰포트와 관련될 수 있다.
미디어 콘텐트를 수신 및 디스플레이하는 디바이스가 제 1 시간에 제 1 뷰포트를 디스플레이할 수 있다. 제 1 뷰포트는 하나 이상의 DASH 비디오 세그먼트들 중 적어도 일부를 포함할 수 있다. 제 1 뷰포트는 제 1 품질을 가질 수 있다. 디바이스는 제 2 시간에 디바이스의 움직임을 검출할 수 있다. 디바이스는 디바이스가 제 2 뷰포트와 관련된 제 3 시간에 움직임을 정지했다고 결정할 수 있다. 디바이스는 제 4 시간에 제 2 뷰포트를 디스플레이할 수 있다. 제 2 뷰포트는 하나 이상의 DASH 비디오 세그먼트들 중 적어도 일부를 포함할 수 있다. 제 2 뷰포트는 제 2 품질과 관련될 수 있다. 디바이스는 제 5 시간에 제 3 뷰포트를 디스플레이할 수 있다. 제 3 뷰포트는 하나 이상의 DASH 비디오 세그먼트들 중 적어도 일부를 포함할 수 있다. 제 3 뷰포트는 제 2 품질보다 큰 제 3 품질과 관련될 수 있다. 제 3 품질은 제 1 품질 이상일 수 있거나, 제 3 품질은 품질 문턱치보다 크지만 제 1 품질 미만일 수 있다. 디바이스는 제 1 시간, 제 2 시간, 제 3 시간, 제 4 시간 및 제 5 시간 중 둘 이상의 시간 차이에 기초하여 레이턴시 메트릭을 결정 및 전송한다.
도 1a는 하나 이상의 개시된 실시예들이 구현될 수 있는 예시적인 통신 시스템을 도시하는 시스템도이다.
도 1b는 일 실시예에 따른 도 1a에 도시된 통신 시스템 내에서 사용될 수 있는 예시적인 무선 송수신 유닛(wireless transmit/receive unit; WTRU)을 도시하는 시스템도이다.
도 1c는 일 실시예에 따른 도 1a에 도시된 통신 시스템 내에서 사용될 수 있는 예시적인 무선 액세스 네트워크(radio access network; RAN) 및 예시적인 코어 네트워크(core network; CN)를 도시하는 시스템도이다.
도 1d는 일 실시예에 따른 도 1a에 도시된 통신 시스템 내에서 사용될 수 있는 추가의 예시적인 RAN 및 추가의 예시적인 CN을 도시하는 시스템도이다.
도 2는 헤드 마운티드 디바이스(HMD) 상에 디스플레이된 360° 비디오의 예시적인 부분을 도시한다.
도 3은 360° 비디오에 대한 예시적인 등장방형 도법을 도시한다.
도 4는 예시적인 360° 비디오 매핑을 도시한다.
도 5는 예시적인 MPD(media presentation description) 계층적 데이터 모델을 도시한다.
도 6은 네트워크 요소들과 클라이언트 간에 교환된 SAND 메시지의 예를 도시한다.
도 7은 VR 메트릭 클라이언트 참조 모델의 예를 도시한다.
도 8은 3D 모션 추적 범위의 예를 도시한다.
도 9는 다수의 센서를 사용하는 2D 모션 추적 교차 범위의 예를 도시한다.
도 10은 뷰포트 스위치 이벤트의 예를 도시한다.
도 11은 360 비디오 줌 동작의 예를 도시한다.
도 12는 서브 픽처 경우에 대한 가중 뷰포트 품질의 예를 도시한다.
도 13은 RWQR(region-wise quality ranking) 인코딩 경우에 대한 가중 뷰포트 품질의 예를 도시한다.
도 14는 동일 품질 뷰포트 스위치 이벤트의 예를 도시한다.
도 15는 360 비디오 줌 동작의 예를 도시한다.
도 16은 레이턴시 간격의 예를 도시한다.
도 17은 DANE와 DASH 클라이언트 사이 또는 DASH 클라이언트와 메트릭 서버 사이의 SAND 메시지의 메시지 흐름의 예를 도시한다.
도 1b는 일 실시예에 따른 도 1a에 도시된 통신 시스템 내에서 사용될 수 있는 예시적인 무선 송수신 유닛(wireless transmit/receive unit; WTRU)을 도시하는 시스템도이다.
도 1c는 일 실시예에 따른 도 1a에 도시된 통신 시스템 내에서 사용될 수 있는 예시적인 무선 액세스 네트워크(radio access network; RAN) 및 예시적인 코어 네트워크(core network; CN)를 도시하는 시스템도이다.
도 1d는 일 실시예에 따른 도 1a에 도시된 통신 시스템 내에서 사용될 수 있는 추가의 예시적인 RAN 및 추가의 예시적인 CN을 도시하는 시스템도이다.
도 2는 헤드 마운티드 디바이스(HMD) 상에 디스플레이된 360° 비디오의 예시적인 부분을 도시한다.
도 3은 360° 비디오에 대한 예시적인 등장방형 도법을 도시한다.
도 4는 예시적인 360° 비디오 매핑을 도시한다.
도 5는 예시적인 MPD(media presentation description) 계층적 데이터 모델을 도시한다.
도 6은 네트워크 요소들과 클라이언트 간에 교환된 SAND 메시지의 예를 도시한다.
도 7은 VR 메트릭 클라이언트 참조 모델의 예를 도시한다.
도 8은 3D 모션 추적 범위의 예를 도시한다.
도 9는 다수의 센서를 사용하는 2D 모션 추적 교차 범위의 예를 도시한다.
도 10은 뷰포트 스위치 이벤트의 예를 도시한다.
도 11은 360 비디오 줌 동작의 예를 도시한다.
도 12는 서브 픽처 경우에 대한 가중 뷰포트 품질의 예를 도시한다.
도 13은 RWQR(region-wise quality ranking) 인코딩 경우에 대한 가중 뷰포트 품질의 예를 도시한다.
도 14는 동일 품질 뷰포트 스위치 이벤트의 예를 도시한다.
도 15는 360 비디오 줌 동작의 예를 도시한다.
도 16은 레이턴시 간격의 예를 도시한다.
도 17은 DANE와 DASH 클라이언트 사이 또는 DASH 클라이언트와 메트릭 서버 사이의 SAND 메시지의 메시지 흐름의 예를 도시한다.
도 1a는 하나 이상의 개시된 실시예들이 구현될 수 있는 예시적인 통신 시스템(100)을 도시하는 도면이다. 통신 시스템(100)은 음성, 데이터, 비디오, 메시징, 방송 등과 같은 콘텐트를 다수의 무선 사용자들에게 제공하는 다중 액세스 시스템일 수 있다. 통신 시스템(100)은 다수의 무선 사용자들이 무선 대역폭을 포함하는 시스템 자원의 공유를 통해 이러한 콘텐트에 액세스하게 할 수 있다. 예를 들어, 통신 시스템(100)은 코드 분할 다중 접속(code division multiple access; CDMA), 시분할 다중 접속(time division multiple access; TDMA), 주파수 분할 다중 접속(frequency division multiple access; FDMA), 직교 FDMA(orthogonal FDMA; OFDMA), 단일 캐리어 FDMA(single-carrier FDMA; SC-FDMA), 제로 테일 유니크 워드 DFT 확산 OFDM(zero-tail unique-word DFT Spread OFDM; ZT-UW-DFT-S-OFDM), 유니크 워드 OFDM(UW-OFDM), 자원 블록 필터링 OFDM, 필터 뱅크 멀티 캐리어(filter bank multicarrier; FBMC) 등과 같은 하나 이상의 채널 액세스 방법들을 사용할 수 있다.
도 1a에 도시된 바와 같이, 통신 시스템(100)은 무선 송수신 유닛(WTRU)들(102a, 102b, 102c, 102d), RAN(104/113), CN(106/115), 공중 교환 전화망(public switched telephone network; PSTN)(108), 인터넷(110), 및 다른 네트워크들(112)을 포함할 수 있지만, 개시된 실시예들은 임의의 수의 WTRU들, 기지국들, 네트워크들 및/또는 네트워크 요소들을 고려한다는 것을 이해할 것이다. WTRU들(102a, 102b, 102c, 102d) 각각은 무선 환경에서 동작 및/또는 통신하도록 구성된 임의의 타입의 디바이스일 수 있다. 예로서, WTRU들(102a, 102b, 102c, 102d)은 "스테이션" 및/또는 "STA"로 지칭될 수 있으며, 무선 신호를 송신 및/또는 수신하도록 구성될 수 있으며, 사용자 장비(user equipment; UE), 이동국, 고정 또는 이동 가입자 유닛, 가입 기반 유닛, 페이저, 셀룰러 전화기, 개인 휴대 정보 단말기(personal digital assistant; PDA), 스마트폰, 랩톱, 넷북, 개인용 컴퓨터, 무선 센서, 핫스팟 또는 Mi-Fi 디바이스, 사물 인터넷(Internet of Things; IoT) 디바이스, 시계 또는 기타 착용 가능 장치, 헤드 마운티드 디스플레이(head-mounted display; HMD), 차량, 드론, 의료 기기 및 애플리케이션(예컨대, 원격 수술), 산업 기기 및 애플리케이션(예컨대, 산업 및/또는 자동화된 프로세싱 체인 컨텍스트에서 동작하는 로봇 및/또는 기타 무선 디바이스), 가전제품 기기, 상업 및/또는 산업용 무선 네트워크 상에서 동작하는 디바이스 등을 포함할 수 있다. WTRU들(102a, 102b, 102c 및 102d) 중 임의의 WTRU는 UE로 교환 가능하게 지칭될 수 있다.
통신 시스템(100)은 또한 기지국(114a) 및/또는 기지국(114b)을 포함할 수 있다. 기지국들(114a, 114b)의 각각은 CN(106/115), 인터넷(110) 및/또는 다른 네트워크들(112)과 같은 하나 이상의 통신 네트워크들로의 액세스를 용이하게 하기 위해서, WTRU들(102a, 102b, 102c, 102d) 중 적어도 하나와 무선으로 인터페이스하도록 구성된 임의의 타입의 디바이스일 수 있다. 예로서, 기지국들(114a, 114b)은 베이스 트랜시버 스테이션(base transceiver station; BTS), 노드 B, e노드 B, 홈 노드 B, 홈 e노드 B, gNB, NR 노드 B, 사이트 제어기, 액세스 포인트(access point; AP), 무선 라우터 등일 수 있다. 기지국들(114a, 114b)은 단일 요소로서 각각 도시되었지만, 기지국들(114a, 114b)은 임의의 수의 상호 연결된 기지국들 및/또는 네트워크 요소들을 포함할 수 있음을 이해할 것이다.
기지국(114a)은 RAN(104/113)의 일부일 수 있고, RAN(104/113)는 또한 기지국 제어기(base station controller; BSC), 무선 네트워크 제어기(radio network controller; RNC), 중계 노드 등과 같은 네트워크 요소들(도시되지 않음) 및/또는 다른 기지국들을 포함할 수 있다. 기지국(114a) 및/또는 기지국(114b)은 셀(도시되지 않음)로 지칭될 수 있는 하나 이상의 캐리어 주파수를 통해 무선 신호를 송신 및/또는 수신하도록 구성될 수 있다. 이러한 주파수는 인가 스펙트럼, 비인가 스펙트럼 또는 인가 스펙트럼과 비인가 스펙트럼의 조합일 수 있다. 셀은 상대적으로 고정될 수 있거나 시간에 따라 변할 수 있는 특정 지리적 영역에 무선 서비스를 위한 커버리지를 제공할 수 있다. 셀은 셀 섹터로 더욱 분할될 수 있다. 예를 들어, 기지국(114a)과 연관된 셀은 3개의 셀 섹터로 분할될 수 있다. 따라서, 일 실시예에서, 기지국(114a)은 3개의 트랜시버, 즉 셀의 각 섹터에 대해 한 개씩을 포함할 수 있다. 일 실시예에서, 기지국(114a)은 다중 입력 다중 출력(multiple input multiple output; MIMO) 기술을 사용할 수 있고, 셀의 각 섹터에 대해 다수의 트랜시버를 사용할 수 있다. 예를 들어, 원하는 공간 방향으로 신호를 송신 및/또는 수신하기 위해 빔 형성이 사용될 수 있다.
기지국들(114a, 114b)은 임의의 적합한 무선 통신 링크(예를 들어, 무선 주파수(RF), 마이크로파, 센티미터파, 마이크로미터파, 적외선(IR), 자외선(UV), 가시광 등)일 수 있는 무선 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c, 102d) 중 하나 이상과 통신할 수 있다. 무선 인터페이스(116)는 임의의 적합한 무선 액세스 기술(radio access technology; RAT)을 사용하여 확립될 수 있다.
보다 구체적으로, 앞서 언급한 바와 같이, 통신 시스템(100)은 다중 액세스 시스템일 수 있고, CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등과 같은 하나 이상의 채널 액세스 방식을 사용할 수 있다. 예를 들어, RAN(104/113) 내의 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 광대역 CDMA(wideband CDMA; WCDMA)를 사용하여 무선 인터페이스(116)를 확립할 수 있는 UTRA(범용 이동 통신 시스템(Universal Mobile Telecommunications System; UMTS) 지상 무선 액세스(Terrestrial Radio Access))와 같은 무선 기술을 구현할 수 있다. WCDMA는 고속 패킷 액세스(High-Speed Packet Access; HSPA) 및/또는 진화된 HSPA(Evolved HSPA; HSPA+)와 같은 통신 프로토콜을 포함할 수 있다. HSPA는 고속 다운링크(DL) 패킷 액세스(High-Speed Downlink Packet Access; HSDPA) 및/또는 고속 업링크(UL) 패킷 액세스(High-Speed Uplink Packet Access; HSUPA)를 포함할 수 있다.
일 실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 LTE(Long Term Evolution; 롱 텀 에볼루션) 및/또는 LTE-A(LTE-Advanced) 및/또는 LTE-A Pro(LTE-Advanced Pro)를 사용하여 무선 인터페이스(116)를 확립할 수 있는 E-UTRA(진화된 범용 지상 무선 접속; Evolved UMTS Terrestrial Radio Access)와 같은 무선 기술을 구현할 수 있다.
일 실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 NR(New Radio)을 사용하여 무선 인터페이스(116)를 확립할 수 있는 NR 무선 액세스와 같은 무선 기술을 구현할 수 있다.
일 실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 다수의 무선 액세스 기술을 구현할 수 있다. 예를 들어, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 예를 들어 이중 연결(dual connectivity; DC) 원리를 사용하여 LTE 무선 액세스 및 NR 무선 액세스를 함께 구현할 수 있다. 따라서, WTRU들(102a, 102b, 102c)에 의해 사용되는 무선 인터페이스는 다수 타입의 기지국들(예를 들어, eNB 및 gNB)로/로부터 전송되는 다수 타입의 무선 액세스 기술 및/또는 전송에 의해 특징지어질 수 있다.
다른 실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 IEEE 802.11(즉, 무선 충실도(Wireless Fidelity; WiFi)), IEEE 802.16(즉, WiMAX(Worldwide Interoperability for Microwave Access)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, 잠정 표준 2000(Interim Standard 2000; IS-2000), 잠정 표준 95(Interim Standard 95; IS-95), 잠정 표준 856(Interim Standard 856; IS-856), GSM(Global System for Mobile Communication), EDGE(Enhanced Data rates for GSM Evolution), GERAN(GSM EDGE) 등과 같은 무선 기술을 구현할 수 있다.
도 1a의 기지국(114b)은, 예를 들어, 무선 라우터, 홈 노드 B, 홈 e노드 B 또는 액세스 포인트일 수 있고, 사업장, 집, 차량, 캠퍼스, 산업 시설, 공중 회랑(예컨대, 드론용), 도로 등과 같은 국부적인 영역에서의 무선 연결을 용이하게 하기 위한 임의의 적절한 RAT를 사용할 수 있다. 일 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)은 IEEE 802.11과 같은 무선 기술을 구현하여 무선 근거리 네트워크(wireless local area network; WLAN)를 확립할 수 있다. 일 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)은 IEEE 802.15와 같은 무선 기술을 구현하여 무선 사설 네트워크(wireless personal area network; WPAN)를 확립할 수 있다. 또 다른 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)은 셀룰러 기반 RAT(예컨대, WCDMA, CDMA2000, GSM, LTE, LTE-A, LTE-A Pro, NR 등)을 사용하여 피코셀 또는 펨토셀을 확립할 수 있다. 도 1a에서 도시된 바와 같이, 기지국(114b)은 인터넷(110)에 직접 연결될 수 있다. 따라서, 기지국(114b)은 CN(106/115)를 통해 인터넷(110)에 액세스할 필요가 없다.
RAN(104/113)은 CN(106/115)과 통신할 수 있고, CN(106/115)은 하나 이상의 WTRU들(102a, 102b, 102c, 102d)에 음성, 데이터, 애플리케이션 및/또는 VoIP(voice over internet protocol) 서비스를 제공하도록 구성된 임의의 타입의 네트워크일 수 있다. 데이터는 상이한 처리량 요구 사항, 레이턴시 요구 사항, 오류 허용 요구 사항, 신뢰성 요구 사항, 데이터 처리량 요구 사항, 이동성 요구 사항 등과 같은 다양한 서비스 품질(quality of service; QoS) 요구 사항을 가질 수 있다. 예를 들어, CN(106/115)은 호 제어, 요금 서비스, 모바일 위치 기반 서비스, 선불 전화(pre-paid calling), 인터넷 연결, 비디오 분배 등을 제공 및/또는 사용자 인증과 같은 고급 보안 기능을 수행할 수 있다. 도 1a에 도시되지는 않았지만, RAN(104/113) 및/또는 CN(106/115)은 RAN(104/113)과 동일한 RAT를 사용하거나 상이한 RAT를 사용하는 다른 RAN들과 직접 또는 간접 통신할 수 있다는 것이 이해될 것이다. 예를 들어, NR 무선 기술을 사용할 수 있는 RAN(104/113)에 연결되는 것 이외에, CN(106/115)은 또한 GSM, UMTS, CDMA 2000, WiMAX, E-UTRA, 또는 WiFi 무선 기술을 사용하는 다른 RAN(도시되지 않음)과 통신할 수 있다.
CN(106/115)은 또한 WTRU들(102a, 102b, 102c, 102d)이 PSTN(108), 인터넷(110) 및/또는 다른 네트워크들(112)에 액세스하기 위한 게이트웨이의 역할을 할 수도 있다. PSTN(108)은 기존 전화 서비스(plain old telephone service; POTS)를 제공하는 회선 교환 전화 네트워크를 포함할 수 있다. 인터넷(110)은 TCP/IP 인터넷 프로토콜 스위트에서 전송 제어 프로토콜(transmission control protocol; TCP), 사용자 데이터그램 프로토콜(user datagram protocol; UDP) 및/또는 인터넷 프로토콜(internet protocol; IP)과 같은 공통 통신 프로토콜들을 사용하는 상호 연결된 컴퓨터 네트워크들 및 디바이스들의 글로벌 시스템을 포함할 수 있다. 네트워크들(112)은 다른 서비스 제공자들에 의해 운영 및/또는 소유되는 유선 및/또는 무선 통신 네트워크를 포함할 수 있다. 예를 들어, 네트워크들(112)은 RAN(104/113)과 동일한 RAT를 사용하거나 상이한 RAT를 사용할 수 있는 하나 이상의 RAT들에 연결되는 또 다른 CN을 포함할 수 있다.
통신 시스템(100)에서의 WTRU들(102a, 102b, 102c, 102d) 중 일부 또는 모두는 다중 모드 능력(예컨대, WTRU들(102a, 102b, 102c, 102d)은 상이한 무선 링크를 통해 상이한 무선 네트워크들과 통신하기 위해 다수의 트랜시버를 포함할 수 있다)을 포함할 수 있다. 예를 들어, 도 1a에 도시된 WTRU(102c)는 셀룰러 기반 무선 기술을 사용할 수 있는 기지국(114a) 및 IEEE 802 무선 기술을 사용할 수 있는 기지국(114b)과 통신하도록 구성될 수 있다.
도 1b는 예시적인 WTRU(102)를 도시하는 시스템도이다. 도 1b에 도시된 바와 같이, WTRU(102)는 무엇보다도 프로세서(118), 트랜시버(120), 송수신 요소(122), 스피커/마이크로폰(124), 키패드(126), 디스플레이/터치패드(128), 비분리형 메모리(130), 분리형 메모리(132), 전원(134), 글로벌 위치 시스템(global positioning system; GPS) 칩셋(136) 및/또는 다른 주변 장치(138)를 포함할 수 있다. WTRU(102)는 실시예와 일관성을 유지하면서 앞서 말한 요소들의 임의의 하위 조합을 포함할 수 있음을 이해할 것이다.
프로세서(118)는 범용 프로세서, 특수 목적 프로세서, 종래의 프로세서, 디지털 신호 프로세서(digital signal processor; DSP), 복수의 마이크로 프로세서, DSP 코어와 관련된 하나 이상의 마이크로 프로세서, 제어기, 마이크로 제어기, 주문형 반도체(Application Specific Integrated Circuit; ASIC), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Arrays; FPGA) 회로, 임의의 다른 타입의 집적 회로(IC), 상태 머신(state machine) 등일 수 있다. 프로세서(118)는 신호 코딩, 데이터 처리, 전력 제어, 입출력 처리 및/또는 WTRU(102)가 무선 환경에서 동작하는 것을 가능하게 하는 임의의 다른 기능을 수행할 수 있다. 프로세서(118)는 송수신 요소(122)에 결합될 수 있는 트랜시버(120)에 결합될 수 있다. 도 1b는 프로세서(118)와 트랜시버(120)를 별도의 컴포넌트로서 도시하였지만, 프로세서(118)와 트랜시버(120)는 전자 패키지 또는 칩 내에 함께 통합될 수 있음을 이해할 것이다.
송수신 요소(122)는 무선 인터페이스(116)를 통해 기지국(예컨대, 기지국(114a))에 신호를 송신하거나 그 기지국으로부터 신호를 수신하도록 구성될 수 있다. 예를 들어, 일 실시예에서, 송수신 요소(122)는 RF 신호를 송신 및/또는 수신하도록 구성된 안테나일 수 있다. 일 실시예에서, 송수신 요소(122)는 예를 들어 IR, UV, 또는 가시광 신호를 송신 및/또는 수신하도록 구성된 방사체/검출기일 수 있다. 또 다른 실시예에서, 송수신 요소(122)는 RF와 광신호 모두를 송신 및/또는 수신하도록 구성될 수 있다. 송수신 요소(122)는 무선 신호들의 임의의 조합을 송신 및/또는 수신하도록 구성될 수 있음을 이해할 것이다.
또한, 송수신 요소(122)는 도 1b에서 단일 요소로서 도시되어 있지만, WTRU(102)는 임의의 수의 송수신 요소(122)를 포함할 수 있다. 보다 구체적으로, WTRU(102)는 MIMO 기술을 사용할 수 있다. 따라서, 일 실시예에서, WTRU(102)는 무선 인터페이스(116)를 통해 무선 신호를 송신 및 수신하기 위해 2개 이상의 송수신 요소(122)(예컨대, 다수의 안테나)를 포함할 수 있다.
트랜시버(120)는 송수신 요소(122)에 의해 송신될 신호를 변조하고, 송수신 요소(122)에 의해 수신되는 신호를 복조하도록 구성될 수 있다. 앞서 언급한 바와 같이, WTRU(102)는 다중 모드 능력을 가질 수 있다. 따라서, 트랜시버(120)는 WTRU(102)가 예를 들어 NR 및 IEEE 802.11와 같은 다수의 RAT들을 통해 통신하는 것을 가능하게 하는 다수의 트랜시버를 포함할 수 있다.
WTRU(102)의 프로세서(118)는 스피커/마이크로폰(124), 키패드(126) 및/또는 디스플레이/터치패드(128)(예컨대, 액정 디스플레이(liquid crystal display; LCD) 디스플레이 유닛 또는 유기 발광 다이오드(organic light-emitting diode; OLED) 디스플레이 유닛)에 결합될 수 있고, 이들로부터 사용자 입력 데이터를 수신할 수 있다. 프로세서(118)는 또한 스피커/마이크로폰(124), 키패드(126) 및/또는 디스플레이/터치패드(128)에 사용자 데이터를 출력할 수도 있다. 게다가, 프로세서(118)는 비분리형 메모리(130) 및/또는 분리형 메모리(132)와 같은 임의의 타입의 적합한 메모리로부터 정보를 액세스하고, 이 메모리에 데이터를 저장할 수 있다. 비분리형 메모리(130)는 랜덤 액세스 메모리(random-access memory; RAM), 읽기 전용 메모리(read-only memory; ROM), 하드 디스크 또는 임의의 다른 타입의 메모리 저장 디바이스를 포함할 수 있다. 분리형 메모리(132)는 가입자 식별 모듈(subscriber identity module; SIM) 카드, 메모리 스틱, 보안 디지털(Secure Digital; SD) 메모리 카드 등을 포함할 수 있다. 다른 실시예들에서, 프로세서(118)는 서버 또는 홈 컴퓨터(도시되지 않음)와 같이 WTRU(102) 상에 물리적으로 위치하지 않는 메모리로부터 정보를 액세스하고 이 메모리에 데이터를 저장할 수 있다.
프로세서(118)는 전원(134)으로부터 전력을 수신할 수 있고, WTRU(102) 내의 다른 구성 요소에 전력을 분배 및/또는 제어하도록 구성될 수 있다. 전원(134)은 WTRU(102)에 전력을 공급하기 위한 임의의 적합한 디바이스일 수 있다. 예를 들어, 전원(134)은 하나 이상의 건전지(예를 들어, 니켈-카드뮴(NiCd) 니켈-아연(NiZn), 니켈 금속 하이드라이드(NiMH), 리튬 이온(Li-ion) 등), 태양 전지, 연료 전지 등을 포함할 수 있다.
프로세서(118)는 또한 WTRU(102)의 현재 위치에 관한 위치 정보(예를 들어, 경도 및 위도)를 제공하도록 구성될 수 있는 GPS 칩셋(136)에 결합될 수 있다. GPS 칩셋(136)으로부터의 정보에 더하여 또는 대신에, WTRU(102)는 기지국(예를 들어, 기지국들(114a, 114b))으로부터 무선 인터페이스(116)를 통해 위치 정보를 수신하고/하거나 신호의 타이밍이 둘 이상의 인접 기지국들로부터 수신되는 것에 기초하여 자신의 위치를 결정할 수 있다. WTRU(102)는 실시예와의 일관성을 유지하면서 임의의 적합한 위치 결정 방법에 의해 위치 정보를 획득할 수 있다는 것이 이해될 것이다.
또한, 프로세서(118)는 추가의 특징, 기능 및/또는 유선 또는 무선 연결성을 제공하는 하나 이상의 소프트웨어 모듈 및/또는 하드웨어 모듈을 포함할 수 있는 다른 주변 장치(138)에 결합될 수 있다. 예를 들어, 주변 장치(138)는 가속도계, 전자 나침반, 위성 트랜시버, 디지털 카메라(사진 및/또는 비디오용), 범용 직렬 버스(Universal Serial Bus; USB) 포트, 진동 디바이스, 텔레비전 트랜시버, 핸즈프리 헤드셋, 블루투스® 모듈, 주파수 변조(frequency modulated; FM) 무선 유닛, 디지털 뮤직 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저, 가상 현실(Virtual Reality; VR) 및/또는 증강 현실(Augmented Reality; AR) 디바이스, 활동 추적기 등을 포함할 수 있다. 주변 장치(138)는 하나 이상의 센서들을 포함할 수 있고, 센서들은 자이로스코프, 가속도계, 홀 효과 센서, 자력계, 방향 센서, 근접 센서, 온도 센서, 시간 센서, 지오로케이션 센서, 고도계, 광 센서, 터치 센서, 자력계, 기압계, 제스처 센서, 생체 센서 및/또는 습도 센서 중 하나 이상일 수 있다.
WTRU(102)는 신호들((예를 들어, 송신을 위한) 업링크 및 (예를 들어, 수신을 위한) 다운링크 모두에 대해 특정 서브 프레임과 관련됨)의 일부 또는 전부의 송신 및 수신이 동시에 발생 및/또는 동시에 존재할 수 있는 전 이중 통신(full duplex radio)을 포함할 수 있다. 전 이중 통신은 하드웨어(예를 들어, 초크) 또는 프로세서(예를 들어, 별도의 프로세서(도시되지 않음) 또는 프로세서(118))를 통한 신호 처리를 통해 자기 간섭을 감소 및/또는 실질적으로 제거하는 간섭 관리 유닛을 포함할 수 있다. 일 실시예에서, WTRU(102)는 신호들((예를 들어, 송신을 위한) 업링크 또는 (예를 들어, 수신을 위한) 다운링크 중 어느 하나에 대해 특정 서브 프레임과 관련됨)의 일부 또는 전부의 송신 및 수신을 위한 반 이중 통신(half-duplex radio)을 포함할 수 있다.
도 1c는 실시예에 따른 RAN(104) 및 CN(106)을 도시하는 시스템도이다. 앞서 언급한 바와 같이, RAN(104)은 무선 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위해 E-UTRA 무선 기술을 사용할 수 있다. RAN(104)은 또한 CN(106)과 통신할 수 있다.
RAN(104)은 e노드 B들(160a, 160b, 160c)을 포함할 수 있지만, RAN(104)은 실시예와의 일관성을 유지하면서 임의의 수의 e노드 B들을 포함할 수 있음을 이해할 것이다. e노드 B들(160a, 160b, 160c)은 무선 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위한 하나 이상의 트랜시버를 각각 포함할 수 있다. 일 실시예에서, e노드 B들(160a, 160b, 160c)은 MIMO 기술을 구현할 수 있다. 따라서, e노드 B(160a)는, 예를 들어, WTRU(102a)에 무선 신호를 송신 및/또는 WTRU(102a)로부터 무선 신호를 수신하기 위해 다수의 안테나를 사용할 수 있다.
e노드 B들(160a, 160b, 160c)의 각각은 특정한 셀(도시되지 않음)과 연관될 수 있고, UL 및/또는 DL에서 사용자들의 스케줄링, 무선 자원 관리 결정, 핸드오버 결정 등을 다루도록 구성될 수 있다. 도 1c에 도시된 바와 같이, e노드 B들(160a, 140b, 140c)은 X2 인터페이스를 통해 서로 통신할 수 있다.
도 1c에 도시된 CN(106)은 이동성 관리 엔티티(mobility management entity; MME)(162), 서빙 게이트웨이(serving gateway; SGW)(164), 및 패킷 데이터 네트워크(packet data network; PDN) 게이트웨이(PGW)(166)를 포함할 수 있다. 앞서 말한 요소들 각각은 CN(106)의 일부로서 도시되어 있지만, 이들 요소들 중 임의의 요소는 CN 운영자 이외의 엔티티에 의해 소유 및/또는 운영될 수 있음을 이해할 것이다.
MME(162)는 S1 인터페이스를 통해 RAN(104) 내의 e노드 B들(162a, 162b, 162c)의 각각에 연결될 수 있고, 제어 노드로서 기능 할 수 있다. 예를 들어, MME(162)는 WTRU들(102a, 102b, 102c)의 사용자 인증, 베어러 활성화/비활성화, WTRU들(102a, 102b, 102c)의 초기 부착 동안 특정한 서빙 게이트웨이의 선택 등을 담당할 수 있다. MME(162)는 GSM 및/또는 WCDMA와 같은 다른 무선 기술을 사용하는 다른 RAN들(도시되지 않음)과 RAN(104) 사이를 스위칭하기 위해 제어 평면 기능을 제공할 수 있다.
SGW(164)는 S1 인터페이스를 통해 RAN(104) 내의 e노드 B들(160a, 160b, 160c) 각각에 연결될 수 있다. SGW(164)는 일반적으로 WTRU들(102a, 102b, 102c)로/로부터 사용자 데이터 패킷을 라우팅 및 포워딩할 수 있다. SGW(164)는 e노드B 간의 핸드오버 동안 사용자 평면의 앵커링(anchoring), DL 데이터가 WTRU들(102a, 102b, 102c)에 사용 가능할 때의 페이징 트리거링, WTRU들(102a, 102b, 102c)의 콘텍스트의 관리 및 저장 등과 같은 다른 기능을 수행할 수 있다.
SGW(164)는 IP 가능 디바이스들과 WTRU들(102a, 102b, 102c) 간의 통신을 용이하게 하기 위해, 인터넷(110)과 같은 패킷 교환 네트워크에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있는 PGW(166)에 연결될 수 있다.
CN(106)은 다른 네트워크들과의 통신을 용이하게 할 수 있다. 예를 들어, CN(106)은 WTRU들(102a, 102b, 102c)과 종래의 지상 라인 통신 디바이스들 간의 통신을 용이하게 하기 위해, PSTN(108)과 같은 회선 교환 네트워크에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있다. 예를 들어, CN(106)은 CN(106)과 PSTN(108) 사이에서 인터페이스의 역할을 하는 IP 게이트웨이(예컨대, IP 멀티미디어 서브시스템(IP multimedia subsystem; IMS) 서버)를 포함하거나, IP 게이트웨이와 통신할 수 있다. 게다가, CN(106)은 다른 서비스 제공자들에 의해 운영 및/또는 소유된 다른 유선 및/또는 무선 네트워크를 포함할 수 있는 다른 네트워크들(112)에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있다.
WTRU는 도 1a 내지 도 1d에서 무선 단말기로 설명되었지만, 특정 대표적인 실시예에서 이러한 단말기는 통신 네트워크와의 유선 통신 인터페이스를 (예를 들어, 일시적으로 또는 영구적으로) 사용할 수 있는 것으로 고려된다.
대표적인 실시예에서, 다른 네트워크(112)는 WLAN일 수 있다.
인프라스트럭처 기본 서비스 세트(Basic Service Set; BSS) 모드의 WLAN은 BSS에 대한 액세스 포인트(AP) 및 AP와 관련된 하나 이상의 스테이션(STA)들을 가질 수 있다. AP는 BSS로 및/또는 BSS로부터 트래픽을 전달하는 다른 타입의 유선/무선 네트워크 또는 분배 시스템(Distribution System; DS)에 대한 액세스 또는 인터페이스를 가질 수 있다. BSS 외부에서 시작된 STA들로의 트래픽은 AP를 통해 도착할 수 있으며, STA들에 전달될 수 있다. STA들로부터 시작하여 BSS 외부의 목적지까지의 트래픽은 각 목적지에 전달되도록 AP에 전송될 수 있다. BSS 내의 STA들 간의 트래픽은 AP를 통해 전송될 수 있는데, 예를 들어, 소스 STA가 트래픽을 AP에 전송할 수 있고, AP가 그 트래픽을 목적지 STA에 전달할 수 있다. BSS 내의 STA들 간의 트래픽은 피어 투 피어 트래픽으로서 고려 및/또는 지칭될 수 있다. 피어 투 피어 트래픽은 직접 링크 설정(direct link setup; DLS)으로 소스 STA와 목적지 STA 사이에서 (예를 들어, 직접적으로) 전송될 수 있다. 특정 대표적인 실시예에서, DLS는 802.11e DLS 또는 802.11z 터널링 DLS(tunneled DLS; TDLS)를 사용할 수 있다. IBSS(Independent BSS; 독립 BSS) 모드를 사용하는 WLAN은 AP를 갖지 않을 수 있고, IBSS 내의 또는 IBSS를 사용하는 STA들(예를 들어, 모든 STA들)은 서로 직접 통신할 수 있다. IBSS 통신 모드는 때때로 본 명세서에서 "애드혹(ad-hoc)" 통신 모드로 지칭될 수 있다.
802.11ac 인프라스트럭처 동작 모드 또는 유사한 동작 모드를 사용할 때, AP는 주 채널과 같은 고정 채널을 통해 비콘을 송신할 수 있다. 주 채널은 고정 폭(예를 들어, 20MHz 폭 대역폭)이거나, 시그널링을 통해 동적으로 설정된 폭일 수 있다. 주 채널은 BSS의 동작 채널일 수 있으며, AP와의 연결을 확립하기 위해 STA들에 의해 사용될 수 있다. 특정 대표적인 실시예들에서, 캐리어 감지 다중 접속/충돌 회피(Carrier Sense Multiple Access with Collision Avoidance; CSMA/CA)가 예를 들어 802.11 시스템에서 구현될 수 있다. CSMA/CA의 경우, AP를 포함하는 STA들(예를 들어, 모든 STA들)은 주 채널을 감지할 수 있다. 주 채널이 특정 STA에 의해 사용 중인 것으로 감지/검출 및/또는 결정되면, 특정 STA는 백오프할 수 있다. 하나의 STA(예를 들어, 단지 하나의 스테이션)가 주어진 BSS에서 임의의 주어진 시간에 송신할 수 있다.
높은 처리량(High Throughput; HT) STA는 통신을 위해 40MHz 폭 채널을 사용할 수 있으며, 예를 들어, 20MHz 주 채널과 인접하거나 인접하지 않은 20MHz 채널의 결합을 통해 40MHz 폭 채널을 형성할 수 있다.
매우 높은 처리량(Very High Throughput; VHT) STA는 20MHz, 40MHz, 80MHz 및/또는 160MHz 폭 채널을 지원할 수 있다. 40MHz 및/또는 80MHz 채널은 연속된 20MHz 채널을 결합하여 형성될 수 있다. 160MHz 채널은 8개의 연속된 20MHz 채널을 결합하거나, 80 + 80 구성으로 지칭될 수 있는 2개의 불연속 80MHz 채널을 결합하여 형성될 수 있다. 80 + 80 구성의 경우, 채널 인코딩 이후의 데이터는 데이터를 2개의 스트림으로 나눌 수 있는 세그먼트 파서를 통과할 수 있다. 역 고속 푸리에 변환(Inverse Fast Fourier Transform; IFFT) 처리 및 시간 도메인 처리가 각각의 스트림 상에 개별적으로 수행될 수 있다. 스트림은 2개의 80MHz 채널 상에 매핑될 수 있으며, 데이터는 송신 STA에 의해 송신될 수 있다. 수신 STA의 수신기에서, 80 + 80 구성에 대한 상기 기술된 동작은 반대로 될 수 있고, 결합된 데이터는 매체 접근 제어(Medium Access Control; MAC)에 전송될 수 있다.
서브 1GHz 동작 모드는 802.11af 및 802.11ah에 의해 지원된다. 채널 동작 대역폭 및 캐리어는 802.11n 및 802.11ac에서 사용되는 것과 관련하여 802.11af 및 802.11ah에서 감소된다. 802.11af는 TV 화이트 스페이스(TV White Space; TVWS) 스펙트럼에서 5MHz, 10MHz 및 20MHz 대역폭을 지원하며, 802.11ah는 비 TVWS 스펙트럼을 사용하여 1MHz, 2MHz, 4MHz, 8MHz 및 16MHz 대역폭을 지원한다. 대표적인 실시예에 따르면, 802.11ah는 매크로 커버리지 영역에서 MTC 디바이스와 같은 미터 타입 제어(Meter Type Control)/사물 통신(Machine-Type Communication)을 지원할 수 있다. MTC 디바이스는 특정 능력, 예를 들어, 특정 및/또는 제한된 대역폭에 대한 지원(예를 들어, 지원만)을 포함하는 제한된 능력을 가질 수 있다. MTC 디바이스는 (예를 들어, 매우 긴 배터리 수명을 유지하기 위해) 배터리 수명이 문턱 값 이상인 배터리를 포함할 수 있다.
다수의 채널 및 채널 대역폭을 지원할 수 있는 WLAN 시스템들, 예컨대, 802.11n, 802.11ac, 802.11af 및 802.11ah는 주 채널로서 지정될 수 있는 채널을 포함한다. 주 채널은 BSS 내의 모든 STA들에 의해 지원되는 최대 공통 동작 대역폭과 동일한 대역폭을 가질 수 있다. 주 채널의 대역폭은 BSS에서 동작하는 모든 STA들 중에서 가장 작은 대역폭 동작 모드를 지원하는 STA에 의해 설정 및/또는 제한될 수 있다. 802.11ah의 예에서, 주 채널은 AP 및 BSS 내의 다른 STA들이 2MHz, 4MHz, 8MHz, 16MHz 및/또는 다른 채널 대역폭 동작 모드를 지원하는 경우에도, 1 MHz 모드를 지원하는 (예를 들어, 단지 지원하는) STA(예를 들어, MTC 타입 디바이스)에 대해 1MHz 폭일 수 있다. 캐리어 감지 및/또는 네트워크 할당 벡터(Network Allocation Vector; NAV) 설정은 주 채널의 상태에 따라 달라질 수 있다. 주 채널이, 예를 들어, STA(1MHz 동작 모드만 지원)이 AP에 전송하는 것으로 인해 사용 중이면, 대부분의 전체 가용 주파수 대역이 유휴 상태로 있고 사용 가능하더라도 전체 가용 주파수 대역은 사용 중으로 간주될 수 있다.
미국에서, 802.11ah에 의해 사용될 수 있는 사용 가능한 주파수 대역은 902MHz 내지 928MHz이다. 한국에서, 사용 가능한 주파수 대역은 917.5MHz 내지 923.5MHz이다. 일본에서, 사용 가능한 주파수 대역은 916.5MHz 내지 927.5MHz이다. 802.11ah를 위해 사용 가능한 총 대역폭은 국가 코드에 따라 6MHz 내지 26MHz이다.
도 1d는 실시예에 따른 RAN(113) 및 CN(115)을 도시하는 시스템도이다. 앞서 언급한 바와 같이, RAN(113)은 무선 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위해 NR 무선 기술을 사용할 수 있다. RAN(113)은 또한 CN(115)과 통신할 수 있다.
RAN(113)은 gNB들(180a, 180b, 180c)을 포함할 수 있지만, RAN(113)은 실시예와의 일관성을 유지하면서 임의의 수의 gNB들을 포함할 수 있음을 이해할 것이다. gNB들(180a, 180b, 180c) 각각은 무선 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위해 하나 이상의 트랜시버를 포함할 수 있다. 일 실시예에서, gNB들(180a, 180b, 180c)은 MIMO 기술을 구현할 수 있다. 예를 들어, gNB들(180a, 108b)은 gNB들(180a, 180b, 180c)에 신호를 송신하고/하거나 gNB들(180a, 180b, 180c)로부터 신호를 수신하기 위해 빔 형성을 사용할 수 있다. 따라서, gNB(180a)는, 예를 들어, WTRU(102a)에 무선 신호를 송신하고/하거나 WTRU(102a)로부터 무선 신호를 수신하기 위해 다수의 안테나를 사용할 수 있다. 일 실시예에서, gNB들(180a, 180b, 180c)은 캐리어 애그리게이션 기술을 구현할 수 있다. 예를 들어, gNB(180a)는 다수의 컴포넌트 캐리어(도시되지 않음)를 WTRU(102a)에 송신할 수 있다. 이들 컴포넌트 캐리어의 서브 세트가 비인가 스펙트럼 상에 있을 수 있지만, 나머지 컴포넌트 캐리어는 인가된 스펙트럼 상에 있을 수 있다. 일 실시예에서, gNB들(180a, 180b, 180c)은 다지점 협력 통신(Coordinated Multi-Point; CoMP) 기술을 구현할 수 있다. 예를 들어, WTRU(102a)는 gNB(180a) 및 gNB(180b)(및/또는 gNB(180c))로부터 조정된 전송을 수신할 수 있다.
WTRU들(102a, 102b, 102c)은 스케일러블 수비학과 관련된 전송을 사용하여 gNB들(180a, 180b, 180c)과 통신할 수 있다. 예를 들어, OFDM 심볼 간격 및/또는 OFDM 서브 캐리어 간격은 상이한 전송, 상이한 셀 및/또는 무선 전송 스펙트럼의 상이한 부분마다 다를 수 있다. WTRU들(102a, 102b, 102c)은 다양한 또는 스케일러블 길이의 서브 프레임 또는 전송 시간 간격(transmission time interval; TTI)(예를 들어, OFDM 심볼의 가변 수 포함 및/또는 절대 시간의 가변 길이 지속)을 사용하여 gNB들(180a, 180b, 180c)과 통신할 수 있다.
gNB들(180a, 180b, 180c)은 독립형 구성 및/또는 비 독립형 구성으로 WTRU들(102a, 102b, 102c)과 통신하도록 구성될 수 있다. 독립형 구성에서, WTRU들(102a, 102b, 102c)은 (예를 들어, e노드 B들(160a, 160b, 160c)과 같은) 다른 RAN들에 액세스하지 않고 gNB들(180a, 180b, 180c)과 통신할 수 있다. 독립형 구성에서, WTRU들(102a, 102b, 102c)은 이동성 앵커 포인트로서 하나 이상의 gNB들(180a, 180b, 180c)을 사용할 수 있다. 독립형 구성에서, WTRU들(102a, 102b, 102c)은 비인가 대역의 신호를 사용하여 gNB들(180a, 180b, 180c)과 통신할 수 있다. 비 독립형 구성에서, WTRU들(102a, 102b, 102c)은 e노드 B들(160a, 160b, 160c)과 같은 다른 RAN과도 통신/연결하면서 gNB들(180a, 180b, 180c)과 통신/연결할 수 있다. 예를 들어, WTRU들(102a, 102b, 102c)은 실질적으로 동시에 하나 이상의 gNB들(180a, 180b, 180c) 및 하나 이상의 e노드 B들(160a, 160b, 160c)과 통신하기 위해 DC 원리를 구현할 수 있다. 비 독립형 구성에서, e노드 B들(160a, 160b, 160c)은 WTRU들(102a, 102b, 102c)을 위한 이동성 앵커의 역할을 할 수 있고, gNB들(180a, 180b, 180c)은 WTRU들(102a, 102b, 102c)을 서비스하기 위한 추가적인 커버리지 및/또는 처리량을 제공할 수 있다.
gNB들(180a, 180b, 180c) 각각은 특정 셀(도시되지 않음)과 관련될 수 있으며, UL 및/또는 DL에서 사용자들의 스케줄링, 무선 자원 관리 결정, 핸드오버 결정, 네트워크 슬라이싱 지원, 이중 연결, NR과 E-UTRA 간의 연동, 사용자 평면 기능(User Plane Function; UPF)(184a, 184b)을 향한 사용자 평면 데이터의 라우팅, 액세스 및 이동성 관리 기능(Access and Mobility Management Function; AMF)(182a, 182b)을 향한 제어 평면 정보의 라우팅 등을 다루도록 구성될 수 있다. 도 1d에 도시된 바와 같이, gNB들(180a, 180b, 180c)은 Xn 인터페이스를 통해 서로 통신할 수 있다.
도 1d에 도시된 CN(115)은 적어도 하나의 AMF(182a, 182b), 적어도 하나의 UPF(184a, 184b), 적어도 하나의 세션 관리 기능(Session Management Function; SMF)(183a, 183b) 및 가능하게는 데이터 네트워크(Data Network; DN)(185a, 185b)를 포함할 수 있다. 앞서 말한 요소들 각각은 CN(115)의 일부로서 도시되어 있지만, 이들 요소들 중 임의의 요소는 CN 운영자 이외의 엔티티에 의해 소유 및/또는 운영될 수 있음을 이해할 것이다.
AMF(182a, 182b)는 N2 인터페이스를 통해 RAN(113) 내의 하나 이상의 gNB들(180a, 180b, 180c)에 연결될 수 있고, 제어 노드의 역할을 할 수 있다. 예를 들어, AMF(182a, 182b)는 WTRU들(102a, 102b, 102c)의 사용자 인증, 네트워크 슬라이싱에 대한 지원 (예를 들어, 상이한 요구 사항을 갖는 상이한 PDU 세션의 핸들링), 특정 SMF(183a, 183b) 선택, 등록 영역의 관리, NAS 시그널링의 종료, 이동성 관리 등을 담당할 수 있다. 네트워크 슬라이싱은 WTRU들(102a, 102b, 102c)이 사용하는 서비스 타입에 기초하여 WTRU들(102a, 102b, 102c)에 대한 CN 지원을 맞춤화하기 위해 AMF(182a, 182b)에 의해 사용될 수 있다. 예를 들어, 상이한 네트워크 슬라이스는 초고신뢰 낮은 레이턴시 통신(ultra-reliable low latency communication; URLLC) 액세스에 의존하는 서비스, 향상된 모바일 브로드밴드(enhanced massive mobile broadband; eMBB) 액세스에 의존하는 서비스, 사물 통신(machine type communication; MTC) 액세스를 위한 서비스 등과 같은 상이한 유스 케이스에 대해 확립될 수 있다. AMF(182)는 LTE, LTE-A, LTE-A Pro 및/또는 WiFi와 같은 비 3GPP 액세스 기술들과 같은 다른 무선 기술들을 사용하는 다른 RAN들(도시되지 않음)과 RAN(113) 사이를 스위칭하는 제어 평면 기능을 제공할 수 있다.
SMF(183a, 183b)는 N11 인터페이스를 통해 CN(115) 내의 AMF(182a, 182b)에 연결될 수 있다. SMF(183a, 183b)는 또한 N4 인터페이스를 통해 CN(115) 내의 UPF(184a, 184b)에 연결될 수 있다. SMF(183a, 183b)는 UPF(184a, 184b)를 선택 및 제어하고, UPF(184a, 184b)를 통한 트래픽의 라우팅을 구성할 수 있다. SMF(183a, 183b)는 UE IP 어드레스 관리 및 할당, PDU 세션 관리, 정책 시행 및 QoS 제어, 다운링크 데이터 통지 제공 등과 같은 다른 기능들을 수행할 수 있다. PDU 세션 타입은 IP 기반, 비 IP 기반, 이더넷 기반 등일 수 있다.
UPF(184a, 184b)는 IP 가능 디바이스들과 WTRU들(102a, 102b, 102c) 간의 통신을 용이하게 하기 위해, 인터넷(110)과 같은 패킷 교환 네트워크에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있는 N3 인터페이스를 통해 RAN(113) 내의 하나 이상의 gNB들(180a, 180b, 180c)에 연결될 수 있다. UPF(184a, 184b)는 패킷 라우팅 및 포워딩, 사용자 평면 정책 시행, 멀티 홈 PDU 세션 지원, 사용자 평면 QoS 처리, 다운링크 패킷 버퍼링, 이동성 앵커링 제공 등과 같은 다른 기능들을 수행할 수 있다.
CN(115)은 다른 네트워크들과의 통신을 용이하게 할 수 있다. 예를 들어, CN(115)은, CN(115)과 PSTN(108) 사이에서 인터페이스의 역할을 하는 IP 게이트웨이(예컨대, IP 멀티미디어 서브시스템(IP multimedia subsystem; IMS) 서버)를 포함하거나, IP 게이트웨이와 통신할 수 있다. 게다가, CN(115)은 다른 서비스 제공자들에 의해 운영 및/또는 소유된 다른 유선 및/또는 무선 네트워크를 포함할 수 있는 다른 네트워크들(112)에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있다. 일 실시예에서, WTRU들(102a, 102b, 102c)은 UPF(184a, 184b)에 대한 N3 인터페이스 및 UPF(184a, 184b)와 DN(185a, 185b) 사이의 N6 인터페이스를 통해 UPF(184a, 184b)를 거쳐 로컬 데이터 네트워크(DN)(185a, 185b)에 연결될 수 있다.
도 1a 내지 도 1d 및 도 1a 내지 도 1d의 상응하는 설명을 고려하여, WTRU(102a-d), 기지국(114a-b), e노드 B(160a-c), MME(162), SGW(164), PGW(166), gNB(180a-c), AMF(182a-ab), UPF(184a-b), SMF(183a-b), DN(185a-b) 및/또는 본 명세서에 설명된 임의의 다른 디바이스(들) 중 하나 이상과 관련하여 본 명세서에 설명된 기능들 중 하나 이상, 또는 전부는 하나 이상의 에뮬레이션 디바이스들(도시되지 않음)에 의해 수행될 수 있다. 에뮬레이션 디바이스는 본 명세서에 설명된 기능들 중 하나 이상 또는 전부를 에뮬레이션하도록 구성된 하나 이상의 디바이스일 수 있다. 예를 들어, 에뮬레이션 디바이스는 다른 디바이스를 테스트하고/하거나 네트워크 및/또는 WTRU 기능을 시뮬레이션하기 위해 사용될 수 있다.
에뮬레이션 디바이스는 랩 환경 및/또는 운영자 네트워크 환경에서 다른 디바이스들의 하나 이상의 테스트를 구현하도록 설계될 수 있다. 예를 들어, 하나 이상의 에뮬레이션 디바이스는 통신 네트워크 내의 다른 디바이스들을 테스트하기 위해서 유선 및/또는 무선 통신 네트워크의 일부로서 완전히 또는 부분적으로 구현 및/또는 배치되면서 하나 이상의 기능 또는 모든 기능을 수행할 수 있다. 하나 이상의 에뮬레이션 디바이스는 유선 및/또는 무선 통신 네트워크의 일부로서 일시적으로 구현/배치되면서 하나 이상의 기능 또는 모든 기능을 수행할 수 있다. 에뮬레이션 디바이스는 테스트를 위해 다른 디바이스에 직접 결합될 수 있고/있거나 무선 통신을 사용하여 테스트를 수행할 수 있다.
하나 이상의 에뮬레이션 디바이스는 유선 및/또는 무선 통신 네트워크의 일부로서 구현/배치되지 않으면서 모든 기능을 포함하는 하나 이상의 기능을 수행할 수 있다. 예를 들어, 에뮬레이션 디바이스는 하나 이상의 컴포넌트의 테스트를 구현하기 위해, 비 배치된 (예를 들어, 테스트용) 유선 및/또는 무선 통신 네트워크 및/또는 시험소에서 테스트 시나리오에 사용될 수 있다. 하나 이상의 에뮬레이션 디바이스는 테스트 장비일 수 있다. 데이터를 송신 및/또는 수신하기 위해 RF 회로(예를 들어, 하나 이상의 안테나를 포함할 수 있음)를 통한 무선 통신 및/또는 직접 RF 결합이 에뮬레이션 디바이스에 의해 사용될 수 있다.
도 2는 헤드 마운티드 디바이스(HMD) 상에 디스플레이된 360° 비디오의 예시적인 부분을 도시한다. 360° 비디오를 볼 때, 예를 들어, 도 2에 도시된 바와 같이, 비디오의 일부가 사용자에게 제시될 수 있다. 비디오의 일부는 사용자가 비디오의 이미지를 둘러보기 및/또는 줌할 때 변경될 수 있다. 비디오의 일부는 HMD 및/또는 다른 타입의 사용자 인터페이스(예를 들어, 무선 송수신 유닛(WTRU))에 의해 제공되는 피드백에 기초하여 변경될 수 있다. 전체 360° 비디오의 공간 영역을 뷰포트라고 할 수 있다. 뷰포트는 사용자에게 완전히 또는 부분적으로 제시될 수 있다. 뷰포트는 360° 비디오의 다른 부분들과 하나 이상의 상이한 품질을 가질 수 있다.
360° 비디오는 구 상에서 캡처 및/또는 렌더링될 수 있다(예를 들어, 사용자에게 임의의 뷰포트를 선택할 수 있는 기능을 제공하기 위해). 구형 비디오 포맷은 종래의 비디오 코덱을 사용하여 직접 전달될 수 없다. 360° 비디오(예컨대, 구형 비디오)는 투영 방법을 사용하여 구형 비디오를 2D 평면에 투영함으로써 압축될 수 있다. 투영된 2D 비디오는 (예를 들어, 종래의 비디오 코덱을 사용하여) 코딩될 수 있다. 투영 방법의 예는 등장방형 도법을 포함할 수 있다. 도 3은 360° 비디오에 대한 예시적인 등장방형 도법을 도시한다. 예를 들어, 등장방형 도법은 다음 수학식 중 하나 이상을 사용하여 구의 좌표(θ, 
)를 갖는 제 1 포인트 P를 2D 평면의 좌표(u, v)를 갖는 제 2 포인트 P에 매핑할 수 있다.
도 4는 360° 비디오 매핑의 예(들)를 도시한다. 예를 들어, 하나 이상의 다른 투영 방법(예를 들어, 매핑)이 360 비디오를 2D 평면 비디오로 변환하기 위해 사용될 수 있다(예를 들어, 대역폭 요구 사항, 대안을 줄이기 위해). 예를 들어, 하나 이상의 다른 투영 방법은 피라미드 맵, 큐브 맵 및/또는 오프셋 큐브 맵을 포함할 수 있다. 하나 이상의 다른 투영 방법은 더 적은 데이터로 구형 비디오를 표현하기 위해 사용될 수 있다. 예를 들어, 큐브 맵 투영 방법은 등장방형 도법에 비해 픽셀을 20% 더 적게 사용할 수 있다(예를 들어, 큐브 맵 투영은 뒤틀림이 덜 발생할 수 있기 때문에). 피라미드 투영과 같은 하나 이상의 다른 투영 방법은 시청자가 볼 수 없는 하나 이상의 픽셀을 서브 샘플링할 수 있다(예를 들어, 투영된 2D 비디오의 크기를 감소시키기 위해).
뷰포트 특정 표현은 서버와 클라이언트 사이에 전체 360 비디오를 저장 및/또는 전달하는 대안으로서 사용될 수 있다. 예를 들어, 큐브 맵 및/또는 피라미드 투영과 같은 도 4에 도시된 하나 이상의 투영 방법은 상이한 뷰포트에 대해 불균일한 품질 표현을 제공할 수 있다(예를 들어, 일부 뷰포트는 다른 뷰포트보다 더 높은 품질로 표현될 수 있다). 상이한 타겟 뷰포트를 갖는 동일한 비디오의 여러 버전이 서버 측에 생성 및/또는 저장될 필요가 있다(예를 들어, 구형 비디오의 모든 뷰포트를 지원하기 위해). 예를 들어, Facebook 구현의 VR 비디오 전달에서, 도 4에 도시된 오프셋 큐브 맵 포맷이 사용될 수 있다. 오프셋 큐브 맵은 전면 뷰포트에 최고 해상도(예를 들어, 최고 품질), 후면 뷰포트에 최저 해상도(예를 들어, 최저 품질) 및 하나 이상의 측면 뷰포트에 중간 해상도(예를 들어, 중간 품질)를 제공할 수 있다. 서버는 동일한 콘텐트의 여러 버전을 저장할 수 있다(예를 들어, 동일한 콘텐트의 상이한 뷰포트에 대한 클라이언트 요청을 수용하기 위해). 예를 들어, 동일한 콘텐트의 총 150개의 상이한 버전(예를 들어, 30개의 뷰포트 곱하기 각 뷰포트에 대해 5개의 해상도)이 있을 수 있다. 전달 (예를 들어, 스트리밍) 중에, 클라이언트는 클라이언트의 현재 뷰포트에 해당하는 특정 버전을 요청할 수 있다. 특정 버전은 서버에 의해 전달될 수 있다. 클라이언트가 클라이언트의 현재 뷰포트에 해당하는 특정 버전을 요청하는 것은, 전송 대역폭을 절약하고, 서버에 대한 증가된 저장 요구 사항을 포함하며 및/또는 클라이언트가 제 1 뷰포트에서 제 2 뷰포트로 변경할 때 레이턴시를 잠재적으로 증가시킬 수 있다. 이러한 뷰포트 변경이 빈번한 경우 레이턴시 문제가 심각할 수 있다.
클라이언트 디바이스는 전방향 미디어 포맷(Omnidirectional Media Format; OMAF)에 따라 인코딩된 비디오 스트림을 수신할 수 있다. 서브 픽처는 원본 콘텐트의 공간적 서브 세트를 나타내는 픽처일 수 있다. 서브 픽처 비트 스트림은 원본 콘텐트의 공간적 서브 세트를 나타내는 비트 스트림일 수 있다. 시청 방향은 사용자가 시청각 콘텐트를 소비하는 방향을 특징짓는 3부분(방위각, 고도 및 경사각)으로 구성될 수 있다. 뷰포트는 사용자가 디스플레이 및 시청하기에 적합한 전방향 이미지(들) 및/또는 비디오(들)의 영역에 있을 수 있다. 뷰포트는 뷰포트의 중심점에 있을 수 있다. 콘텐트 커버리지는 트랙 또는 이미지 아이템으로 표현되는 콘텐트에 의해 커버되는 하나 이상의 구 영역을 포함할 수 있다.
OMAF는 뷰포트 독립 비디오 프로파일 및 뷰포트 종속 비디오 프로파일을 지정할 수 있다. 뷰포트 독립 비디오 스트리밍의 경우, 360 비디오 픽처가 단일 계층 비트 스트림으로 인코딩될 수 있다. 전체 코딩된 비트 스트림은 서버에 저장될 수 있고, 필요한 경우, OMAF 플레이어로 완전히 전송되고, 디코더에 의해 완전히 디코딩될 수 있다. 현재 뷰포트에 대응하는 디코딩된 픽처의 영역은 사용자에게 렌더링될 수 있다. 뷰포트 종속 비디오 스트리밍의 경우, 비디오 스트리밍 접근법 중 하나 또는 조합이 사용될 수 있다. OMAF 플레이어는 단일 계층 스트림 기반 접근법에 따라 인코딩된 비디오를 수신할 수 있다. 단일 계층 스트림 기반 접근법에서, 다수의 단일 계층 스트림이 생성될 수 있다. 예를 들어, 각 스트림은 전방향 비디오 전체를 포함할 수 있지만, 각 스트림은 RWQR(region-wise quality rating) 메타 데이터로 표시된 바와 같이 상이한 고품질 인코딩된 영역을 가질 수 있다. 현재 뷰포트에 따라, 현재 뷰포트 위치와 일치하는 고품질 인코딩된 영역을 포함하는 스트림이 선택 및/또는 OMAF 플레이어로 송신될 수 있다.
OMAF 플레이어는 서브 픽처 스트림 기반 접근법에 따라 인코딩된 비디오를 수신할 수 있다. 서브 픽처 스트림 기반 접근법에서, 360 비디오는 서브 픽처 시퀀스로 분할될 수 있다. (예를 들어, 각각의) 서브 픽처 시퀀스는 전방향 비디오 콘텐트의 공간 영역의 서브 세트를 커버할 수 있다. (예를 들어, 각각의) 서브 픽처 시퀀스는 단일 계층 비트 스트림으로서 서로 독립적으로 인코딩될 수 있다. OMAF 플레이어는 예를 들어 OMAF 플레이어의 방향/뷰포트 메타 데이터에 기초하여, 스트리밍될 서브 픽처(들)를 선택할 수 있다. 나머지 현재 렌더링되지 않은 나머지 영역을 커버하는 품질 또는 해상도와 비교하여 RWQR(region-wise quality rating) 메타 데이터로 표시되는 더 양호한 품질 또는 더 높은 해상도 스트림이 현재 뷰포트에 대해 수신, 디코딩 및/또는 렌더링될 수 있다.
HTTP 스트리밍은 상업적 전개에서 지배적인 접근법이 되었다. 예를 들어, Apple의 HTTP Live Streaming(HLS), Microsoft의 Smooth Streaming(SS) 및/또는 Adobe의 HTTP Dynamic Streaming(HDS)과 같은 스트리밍 플랫폼은 HTTP 스트리밍을 기본 전달 방법으로 사용할 수 있다. 멀티미디어 콘텐트의 HTTP 스트리밍에 대한 표준은 표준 기반 클라이언트가 임의의 표준 기반 서버로부터의 콘텐트를 스트리밍할 수 있게 한다(예를 들어, 서버와 다른 벤더의 클라이언트 사이의 상호 운용성을 가능하게 함). MPEG-DASH(MPEG Dynamic Dynamic Streaming over HTTP)는 변화하는 네트워크 조건에 동적으로 적응함으로써 최종 사용자에게 최상의 비디오 경험을 제공하는 범용 전달 포맷일 수 있다. DASH는 HTTP/TCP/IP 스택의 상부에 구축될 수 있다. DASH는 매니페스트 포맷, MPD(Media Presentation Description) 및 ISO 베이스 미디어 파일 포맷 및 MPEG-2 전송 스트림에 대한 세그먼트 포맷을 정의할 수 있다.
동적 HTTP 스트리밍은 서버에서 사용 가능한 멀티미디어 콘텐트의 다양한 비트 레이트 대안을 요구할 수 있다. 멀티미디어 콘텐트는 일부 또는 전부가 상이한 특성을 가질 수 있는 몇 가지 미디어 컴포넌트(예를 들어, 오디오, 비디오, 텍스트)를 포함할 수 있다. MPEG-DASH에서, 특성은 MPD에 의해 기술될 수 있다.
MPD는 DASH 클라이언트가 스트리밍 세션 동안 (예를 들어, 본 명세서에 설명된 바와 같이) 적응형 방식으로 비디오 세그먼트에 액세스하기 위해 적절한 HTTP-URL을 구성하는 데 필요한 메타 데이터를 포함하는 XML 문서일 수 있다. 도 5는 예시적인 MPD 계층적 데이터 모델을 도시한다. MPD는 기간(Period) 시퀀스를 기술할 수 있으며, 여기서 미디어 콘텐트 컴포넌트의 인코딩된 버전의 일관된 세트는 기간 동안 변경되지 않는다. (예를 들어, 각각의) 기간은 시작 시간 및 지속 기간을 가질 수 있다. (예를 들어, 각각의) 기간은 하나 이상의 적응 세트(예를 들어, Adaptation Set)로 구성될 수 있다. DASH 스트리밍 클라이언트는 도 8a 내지 도 8e와 관련하여 본 명세서에 설명된 바와 같은 WTRU일 수 있다.
적응 세트는 하나 이상의 동일한 속성(예를 들어, 언어, 미디어 타입, 픽처 종횡비, 역할, 접근성, 시점 및/또는 순위 속성)을 공유하는 하나 이상의 미디어 콘텐트 컴포넌트의 인코딩된 버전의 세트를 나타낼 수 있다. 예를 들어, 제 1 적응 세트는 동일한 멀티미디어 콘텐트의 비디오 컴포넌트의 상이한 비트 레이트를 포함할 수 있다. 제 2 적응 세트는 동일한 멀티미디어 콘텐트의 오디오 컴포넌트의 상이한 비트 레이트(예를 들어, 저품질 스테레오 및/또는 고품질 서라운드 사운드)를 포함할 수 있다. (예를 들어, 각각의) 적응 세트는 다수의 표현(Representation)을 포함할 수 있다.
표현은 비트 레이트, 해상도, 채널 수 및/또는 다른 특성으로, 다른 표현과는 다른 하나 또는 여러 미디어 컴포넌트의 전달 가능한 인코딩된 버전을 기술할 수 있다. (예를 들어, 각각의) 표현은 하나 이상의 세그먼트를 포함할 수 있다. 표현 요소의 하나 이상의 속성(예를 들어, @id, @bandwidth, @qualityRanking 및 @dependencyId)은 연관된 표현의 하나 이상의 속성을 지정하는 데 사용될 수 있다.
세그먼트(Segment)는 단일 HTTP 요청으로 검색할 수 있는 데이터의 가장 큰 단위일 수 있다. (예를 들어, 각각의) 세그먼트는 URL(예를 들어, 서버 상의 어드레싱 가능한 위치)을 가질 수 있다. (예를 들어, 각각의) 세그먼트는 HTTP GET 또는 바이트 범위를 갖는 HTTP GET을 사용하여 다운로드될 수 있다.
DASH 클라이언트는 MPD XML 문서를 구문 분석할 수 있다. DASH 클라이언트는 예를 들어 하나 이상의 적응 세트 요소에 제공된 정보에 기초하여, DASH 클라이언트의 환경에 적합한 적응 세트 모음을 선택할 수 있다. (예를 들어, 각각의) 적응 세트 내에서, 클라이언트는 표현을 선택할 수 있다. 클라이언트는 @bandwidth 속성 값, 클라이언트 디코딩 능력 및/또는 클라이언트 렌더링 능력에 기초하여, 표현을 선택할 수 있다. 클라이언트는 선택된 표현의 초기화 세그먼트를 다운로드할 수 있다. 클라이언트는 (예를 들어, 전체 세그먼트 또는 세그먼트의 바이트 범위를 요청함으로써) 콘텐트에 액세스할 수 있다. 프리젠테이션이 시작되면, 클라이언트는 미디어 콘텐트를 계속 소비할 수 있다. 예를 들어, 클라이언트는 프리젠테이션 동안 미디어 세그먼트(Media Segment) 및/또는 미디어 세그먼트의 일부를 요청(예를 들어, 연속적으로 요청)할 수 있다. 클라이언트는 미디어 프리젠테이션 타임 라인에 따라 콘텐트를 재생할 수 있다. 클라이언트는 클라이언트 환경의 업데이트된 정보에 기초하여, 제 1 표현에서 제 2 표현으로 스위칭할 수 있다. 클라이언트는 둘 이상의 기간에 걸쳐 콘텐트를 연속적으로 재생할 수 있다. 클라이언트가 표현 내의 발표된 미디어의 끝쪽에 있는 세그먼트에 포함된 미디어를 소비하는 경우, 미디어 프리젠테이션은 종료되고, 기간이 시작하고/하거나, MPD가 재페치될 수 있다(예를 들어, 재페치될 필요가 있다).
DASH 클라이언트와 같은 스트리밍 클라이언트와 네트워크 요소 사이 또는 다양한 네트워크 요소들 사이의 메시지는 DASH 클라이언트의 성능과 상태뿐만 아니라 네트워크, 서버, 프록시, 캐시, CDN의 실시간 동작 특성에 대한 정보를 제공할 수 있다. 도 6은 네트워크 요소들과 클라이언트(들) 간에 교환된 서버 및 네트워크 지원 DASH(SAND) 메시지의 예를 도시한다. 도시된 바와 같이, PED(parameters enhancing delivery) 메시지가 DASH 인식 네트워크 요소들(예를 들어, 602 또는 604) 또는 DASH 지원 네트워크 요소(DANE)들(예를 들어, 602 또는 604) 사이에서 교환될 수 있다. PER(parameters enhancing reception) 메시지가 DANE(들)(602 및 604)로부터 DASH 클라이언트(606)로 전송될 수 있다. 상태 메시지가 DASH 클라이언트(들)(606)로부터 DANE(들)(602 및 604)로 전송될 수 있다. 상태 메시지는 실시간 동작을 지원하기 위해 DASH 클라이언트(606)로부터 DANE(들)(602 및 604)로 실시간 피드백을 제공할 수 있다. 메트릭 메시지가 DASH 클라이언트(들)(606)로부터 메트릭 서버(608)로 전송될 수 있다. 메트릭 메시지는 세션 요약 또는 더 긴 시간 간격을 제공할 수 있다.
DASH 클라이언트는 지원하는 메트릭을 일관된 방식으로 생성 및 보고할 수 있다. 다른 클라이언트들, 플레이어들, 디바이스들 및 네트워크들의 성능이 모니터링되고 비교될 수 있다. 문제점이 디버깅될 수 있으며, 실시간으로 또는 오프라인으로 결함(들)을 분리할 수 있다. 메트릭을 생성, 보고, 처리 및 시각화할 수 있는 엔티티는 메시지, 메트릭 및 보고에 포함된 정보에 대한 일반적인 이해를 가질 수 있다.
일부 DASH 메트릭은 기존 미디어를 스트리밍하는 클라이언트에서 사용된 것과 동일한 방식으로 전방향 미디어를 스트리밍하는 DASH 클라이언트에서 사용될 수 있다. 전방향 미디어는 더 높은 비트 레이트 요구 사항, 더 높은 렌더링 지연 및 레이턴시에 대한 더 높은 감도와 관련될 수 있다. 이러한 미디어 타입을 스트리밍하는 DASH 클라이언트에 특정 메트릭이 사용될 수 있다. SAND를 지원하는 DASH 엔티티의 경우, 특정 PED/PER 메시지가 사용될 수 있다.
VR 디바이스는 정밀도와 감도를 측정할 수 있다. VR 디바이스는 HMD(들)를 포함할 수 있다. 초기 렌더링 방향 정보가 VR 디바이스로 전송될 수 있다. 뷰포트 뷰 통계가 예를 들어 VR 디바이스에 의해 보고될 수 있다. 관심 영역(ROI)이 파일 포맷 레벨에서 시그널링될 수 있다. ROI는 (예를 들어, 각각의) 세그먼트와 함께 전달되는 이벤트로서 시그널링될 수 있다. 추가 PED 메시지와 함께 DANE 요소에 데이터를 프리 페치하기 위한 시그널링이 MPD 레벨에 있을 수 있다. ROI 정보는 시간 메타 데이터 트랙 또는 이벤트 스트림 요소로 전달될 수 있다.
VR 메트릭 클라이언트 참조 모델은 예를 들어 도 6에 설명된 바와 같이 스트리밍 클라이언트, 오리진 서버 또는 측정/분석 서버 및 다른 DANE들 중 하나 이상 사이에 교환되는 상이한 타입의 정보와 함께 사용될 수 있다.
시멘틱(Semantic)이 추상 구문을 사용하여 정의될 수 있다. 추상 구문의 아이템은 정수, 실수, 불, 이넘, 스트링, 벡터 등을 포함하는 하나 이상의 기본형을 가질 수 있다. 추상 구문의 아이템은 하나 이상의 복합형을 가질 수 있다. 복합형은 객체, 리스트 등을 포함할 수 있다. 객체는 비정렬 키 시퀀스 및/또는 값 쌍을 포함할 수 있다. 키는 스트링형을 가질 수 있다. 키는 시퀀스 내에서 고유할 수 있다. 리스트는 정렬된 아이템 리스트를 포함할 수 있다. 여러(예컨대, 2가지) 종류의 타임 스탬프가 사용되거나 정의될 수 있다. 타임 스탬프의 종류는 Real-Time 유형의 실시간(예를 들어, 벽시계 시간) 및/또는 Media-Time 유형의 미디어 시간을 포함할 수 있다.
VR 메트릭 클라이언트 참조 모델은 메트릭 수집 및/또는 처리에 사용될 수 있다. VR 메트릭 클라이언트 참조 모델은 메트릭 수집 및 처리를 위해 하나 이상의 관측점(observation point; OP)을 사용하거나 정의할 수 있다. 도 7은 VR 메트릭 클라이언트 참조 모델의 예일 수 있다. VR 디바이스는 VR 클라이언트(718)를 포함할 수 있다. VR 디바이스 또는 VR 플레이어는 VR 메트릭 클라이언트 참조 모델(700)에 기초하여 사용될 수 있다.
도 7은 VR 메트릭 클라이언트 참조 모델(700)의 기능적 요소들을 도시할 수 있다. 기능 요소들은 네트워크 액세스(706), 미디어 처리(708), 센서(710), 미디어 프리젠테이션(712), VR 클라이언트 제어 및 관리(714), 또는 메트릭 수집 및 처리(MCP)(716) 중 하나 이상을 포함할 수 있다. VR 애플리케이션은 다양한 기능 요소들과 통신하여 몰입형 사용자 경험을 제공할 수 있다. 네트워크 액세스(706)는 네트워크(704)로부터 VR 콘텐트를 요청할 수 있다. 네트워크 액세스(706)는 (예를 들어, 동적 센서 데이터에 기초하여) 뷰포트 종속 스트리밍을 위해 상이한 품질의 하나 이상의 뷰포트 세그먼트를 요청할 수 있다. 미디어 처리 요소(708)는 (예를 들어, 각각의) 미디어 샘플(들)을 디코딩하고/하거나 디코딩된 미디어 샘플(들)을 미디어 프리젠테이션(712)에 전달할 수 있다. 미디어 프리젠테이션(712)은 디바이스(들)(예를 들어, HMD(들), 라우드 스피커 또는 헤드폰 중 하나 이상)를 통해 대응하는 VR 콘텐트를 제시할 수 있다.
센서(710)는 사용자의 방향 및/또는 움직임을 검출할 수 있다. 센서(710)는 예를 들어 사용자의 방향 및/또는 움직임에 기초하여, 센서 데이터를 생성할 수 있다. VR 클라이언트(718) 및/또는 서버는 다양한 방식으로 센서 데이터를 사용할 수 있다. 예를 들어, 센서 데이터는 요청될 뷰포트 세그먼트(예를 들어, 특정 고품질 뷰포트 세그먼트)를 결정하기 위해 사용될 수 있다. 센서 데이터는 디바이스(예를 들어, HMD(들) 및/또는 헤드폰) 상에 제시될 미디어 샘플(예를 들어, 오디오 및 비디오)의 일부 또는 어느 부분을 결정하기 위해 사용될 수 있다. 센서 데이터는 미디어 샘플 프리젠테이션을 사용자 움직임(예를 들어, 최근의 사용자 움직임)과 일치시키기 위해 후 처리를 적용하기 위해 사용될 수 있다.
VR 클라이언트 제어 및/또는 관리 모듈(714)은 VR 애플리케이션을 위해 VR 클라이언트(718)를 구성할 수 있다. VR 클라이언트 제어 및/또는 관리 모듈(714)은 일부 또는 모든 기능적 요소들과 상호 작용할 수 있다. VR 클라이언트 제어 및/또는 관리 모듈(714)은 작업 흐름을 관리할 수 있다. 작업 흐름은 엔드-투-엔드 미디어 프로세스 절차를 포함할 수 있다. 예를 들어, 작업 흐름은 VR 클라이언트(718)의 경우, 미디어 데이터의 수신에서부터 미디어 샘플의 프리젠테이션까지의 프로세스를 포함할 수 있다.
MCP(716)는 예를 들어 다양한 관측점(OP)으로부터의 데이터를 종합할 수 있다. 데이터는 사용자 위치, 이벤트 시간, 미디어 샘플 파라미터 등 중 하나 이상을 포함할 수 있다. MCP(716)는 메트릭 서버(702)에 의해 사용되거나 메트릭 서버(702)로 전송되는 하나 이상의 메트릭을 도출할 수 있다. 예를 들어, 뷰포트 스위칭 레이턴시 메트릭 도출은 OP3(예를 들어, 모션 트리거 시간) 및/또는 OP4(예를 들어, 뷰포트 디스플레이 업데이트 시간)로부터의 입력 데이터에 기초할 수 있다.
메트릭 서버(702)는 데이터(예를 들어, 메트릭 데이터)를 수집할 수 있다. 메트릭 서버(702)는 사용자 행동 분석, VR 디바이스 성능 비교, 또는 다른 디버그 또는 추적 목적 중 하나 이상을 위해 데이터를 사용할 수 있다. 전체 몰입형 VR 경험은 네트워크, 플랫폼 및/또는 디바이스에 걸쳐 향상될 수 있다.
VR 서비스 애플리케이션(예를 들어, CDN 서버, 콘텐트 제공자 및/또는 클라우드 게임 서버)은 예를 들어 클라이언트 능력 및 성능에 기초하여, 상이한 레벨의 품질 및/또는 몰입형 경험 서비스를 VR 클라이언트(예를 들어, VR 클라이언트(718)를 포함하는 VR 디바이스)에 전달하기 위해 메트릭 서버(702)에 의해 수집된 메트릭을 사용할 수 있다. 예를 들어, VR 클라우드 게임 서버는 하나 이상의 엔드-투-엔드 레이턴시, 추적 감도 및 정확성, 시야 등을 포함하는 VR 클라이언트의 성능 메트릭을 검사할 수 있다. VR 클라우드 게임 서버는 VR 클라이언트(718)가 적절한 레벨의 VR 경험을 사용자에게 제공할 수 있는지 여부를 결정할 수 있다. VR 클라우드 게임 서버는 적격의 VR 클라이언트(들)에 VR 게임에 대한 액세스를 허가할 수 있다. 적격의 VR 클라이언트(들)는 사용자에게 적절한 레벨의 VR 경험을 제공할 수 있다.
VR 클라우드 게임 서버는 무자격의 VR 클라이언트(들)에 VR 게임에 대한 액세스를 허가하지 않을 수 있다. 무자격의 VR 클라이언트(들)는 사용자에게 적절한 레벨의 VR 경험을 제공하지 못할 수 있다. 예를 들어, 클라이언트(예를 들어, VR 클라이언트(718))가 비교적 높은 엔드-투-엔드 레이턴시를 겪고/겪거나 불충분한 추적 감도 파라미터를 갖는다고 VR 클라우드 게임 서버가 결정하면, VR 클라우드 게임 서버는 VR 클라이언트가 라이브 VR 게임 세션에 참여하는 것을 허용하지 않을 수 있다. VR 클라우드 게임 서버는 클라이언트(예를 들어, VR 클라이언트(718))에게 종래의 게임 세션을 부여할 수 있다. 예를 들어, 클라이언트는 몰입형 경험 없이 2D 버전으로만 게임에 참여할 수 있다. VR 클라우드 게임 서버는 클라이언트의 동적 성능 변화를 모니터링할 수 있다. VR 메트릭이 즉시 성능 저하를 나타내는 경우 VR 클라우드 게임 서버는 저품질 VR 게임 콘텐트 또는 덜 몰입형 VR 게임으로 스위칭할 수 있다. 예를 들어, 클라이언트의 동일 품질 뷰포트 스위칭 레이턴시가 비교적 높다고 VR 클라우드 게임 서버가 결정하면, VR 클라우드 게임 서버는 품질 불일치를 줄이기 위해 타일(예를 들어, 더 유사한 품질의 타일)을 클라이언트에 전달할 수 있다. VR 사용자의 VR 경험은 네트워크 조건에 의해 영향을 받을 수 있다. 콘텐트 전송 네트워크(content delivery network; CDN) 또는 에지 서버는 VR 콘텐트 및/또는 서비스를 클라이언트(예를 들어, VR 사용자)에 더 가까운 캐시로 푸시할 수 있다.
MCP(716)는 다양한 방식으로 다양한 관측점(OP)으로부터의 데이터를 종합할 수 있다. 예시적인 OP들(OP1-OP5)이 본 명세서에 제공되지만, MCP(716)는 예를 들어 본 명세서에 설명된 OP의 임의의 순서 또는 조합으로부터 데이터를 종합할 수 있음을 이해해야 한다. MCP(716)는 클라이언트의 일부이거나 메트릭 서버(예를 들어, 메트릭 서버(702))에 있을 수 있다.
OP1은 네트워크 액세스(706)로부터 MCP(716)를 향한 인터페이스에 대응하거나 이를 포함할 수 있다. 네트워크 액세스(706)는 네트워크 요청(들)을 발행하고, 네트워크(704)로부터 VR 미디어 스트림을 수신하고/하거나 VR 미디어 스트림을 디캡슐레이트(decapsulate)할 수 있다. OP1은 네트워크 연결 세트를 포함할 수 있다. (예를 들어, 각각의) 네트워크 연결은 목적지 주소, 개시, 연결 또는 종료 시간 중 하나 이상에 의해 정의될 수 있다. OP1은 전송된 네트워크 요청의 시퀀스를 포함할 수 있다. (예를 들어, 각각의) 전송된 네트워크 요청(들)은 네트워크 요청(들)이 전송되는 전송 시간, 콘텐트, 또는 TCP 연결 중 하나 이상에 의해 정의될 수 있다. OP1은 (예를 들어, 각각의) 네트워크 응답의 경우, 수신 시간, 응답 헤더의 콘텐트 및/또는 응답 본문의 (예를 들어, 각각의) 바이트의 수신 시간 중 하나 이상을 포함할 수 있다.
OP2는 미디어 처리(708)로부터 MCP(716)를 향한 인터페이스에 대응하거나 이를 포함할 수 있다. 미디어 처리(708)는 디먹스 및/또는 디코딩(예를 들어, 오디오, 이미지, 비디오 및/또는 명시야 디코딩)을 수행할 수 있다. OP2는 인코딩된 미디어 샘플을 포함할 수 있다. (예를 들어, 각각의) 인코딩된 미디어 샘플은 미디어 타입, 미디어 코덱, 미디어 디코딩 시간, 전방향 미디어 메타 데이터, 전방향 미디어 투영, 전방향 미디어 영역 별 패킹, 전방향 비디오 뷰포트, 프레임 패킹, 색 공간, 동적 범위 등 중 하나 이상을 포함할 수 있다.
OP3은 센서(710)로부터 MCP(716)를 향한 인터페이스에 대응할 수 있다. 센서(710)는 사용자의 머리 또는 신체 방향 및/또는 움직임을 획득할 수 있다. 센서(710)는 빛, 온도, 자기장, 중력 및/또는 생체 인식과 같은 환경 데이터를 획득할 수 있다. OP3은 6DoF(X, Y, Z, Yaw, Pitch 및 Roll), 깊이, 속도 등 중 하나 이상을 포함하는 센서 데이터의 리스트를 포함할 수 있다.
OP4는 미디어 프리젠테이션(712)으로부터 MCP(716)를 향한 인터페이스에 대응할 수 있다. 미디어 프리젠테이션(712)은 예를 들어 사용자에게 완전한 몰입형 VR 경험을 제공하기 위해, 혼합된 자연 및 합성 VR 미디어 요소를 동기화 및/또는 제시할 수 있다. 미디어 프리젠테이션(712)은 (예를 들어, 각각의) VR 미디어 요소에 대한 컬러 변환, 투영, 미디어 구성 및/또는 뷰 합성을 수행할 수 있다. OP4는 디코딩된 미디어 샘플을 포함할 수 있다. 샘플(예를 들어, 각각의 미디어 샘플)은 미디어 타입, 미디어 샘플 프리젠테이션 타임 스탬프, 벽시계 카운터, 실제 프리젠테이션 뷰포트, 실제 프리젠테이션 시간, 실제 플레이 아웃 프레임 레이트, 오디오-비디오 동기화 등 중 하나 이상을 포함할 수 있다.
OP5는 VR 클라이언트 제어 및 관리(714)로부터 MCP(716)를 향한 인터페이스에 대응할 수 있다. VR 클라이언트 제어 및 관리 요소(714)는 디스플레이 해상도, 프레임 레이트, 시야(field of view; FOV), 시선 거리, lensSeparation 거리 등과 같은 클라이언트 파라미터를 관리할 수 있다. OP5는 VR 클라이언트 구성 파라미터를 포함할 수 있다. (예를 들어, 각각의) 파라미터는 디스플레이 해상도, 디스플레이 밀도(예를 들어, PPI), 수평 및 수직 FOV(예를 들어, 도), 추적 범위(예를 들어, mm), 추적 정밀도(예를 들어, mm), 모션 예측(예를 들어, ms), 미디어 코덱 지원, OS 지원 등 중 하나 이상을 포함할 수 있다.
VR 클라이언트 제어 및 관리(714)는 사용자(예를 들어, VR 사용자)가 허가를 한 경우, (예를 들어, 디바이스 정보 외에) 사용자의 개인 프로파일 정보를 수집할 수 있다. 개인 프로파일 정보는 VR 사용자의 성별, 연령, 위치, 인종, 종교 등 중 하나 이상을 포함할 수 있다. VR 서비스 애플리케이션은 메트릭 서버(702)로부터 개인 프로파일 정보를 수집할 수 있다. VR 서비스 애플리케이션은 VR 클라이언트(718)(예를 들어, VR 디바이스를 포함함)로부터 개인 프로파일 정보를 (예를 들어, 직접) 수집할 수 있다. VR 서비스 애플리케이션은 (예를 들어, 개인) VR 사용자에 대한 적절한 VR 콘텐트 및/또는 서비스를 식별할 수 있다.
VR 스트리밍 서비스 제공자는 360도 비디오 타일의 상이한 세트를 상이한 사용자에게 전달할 수 있다. VR 스트리밍 서비스 제공자는 상이한 잠재적 시청자의 특성에 기초하여 360도 비디오 타일의 상이한 세트를 전달할 수 있다. 예를 들어, 성인은 제한된 콘텐트에 대한 액세스를 포함하여 360도 비디오 전체를 수신할 수 있다. 미성년자 사용자는 동일한 비디오를 볼 수 있지만 제한된 콘텐트(예를 들어, 지역 및/또는 타일)에 액세스할 수는 없다. VR 서비스 제공자는 법률 및 규정(예를 들어, 지방 정부 법률 및 규정)을 준수하기 위해 특정 VR 콘텐트를 위치 및/또는 시간(예를 들어, 특정 위치 및/또는 특정 시간)에 전달하는 것을 정지할 수 있다. VR 클라우드 게임 서버는 잠재적인 시뮬레이션 멀미(simulation sickness)를 피하기 위해 다양한 시뮬레이션 멀미 민감도의 상이한 몰입형 레벨 게임(들)을 사용자(예를 들어, 남성, 여성, 노인 및/또는 청소년)에게 전달할 수 있다. VR 디바이스는 (예를 들어, 개인 프로파일 정보를 사용하여) 로컬 VR 프리젠테이션을 제어할 수 있다. 예를 들어, VR 서비스 제공자는 제한된 장면(들)을 포함하는 360도 비디오를 (예를 들어, 모든 사람에게 비차별적인 방식으로) 멀티 캐스트/브로드 캐스트할 수 있다. (예를 들어, 각각의) VR 수신기는 개인 프로파일 정보에 기초하여 프리젠테이션을 구성할 수 있다. VR 수신기는 개인 프로파일 정보에 기초하여, 제한된 콘텐트(예를 들어, 장면(들))에 대한 상이한 레벨의 액세스를 부여할 수 있다. 예를 들어, VR 수신기는 잠재적 시청자의 연령, 인종 또는 종교 정보에 기초하여, 제한된 장면(들)의 일부 또는 전부를 필터링하거나 흐리게 할 수 있다. VR 수신기는 잠재적 시청자의 연령, 인종 또는 종교 정보에 기초하여, 제한된 장면(들)의 일부 또는 전부에 대한 액세스를 허용하는 것이 적절한지 여부를 결정할 수 있다. 본 명세서의 접근법 및/또는 기술은 VR 서비스 제공자가 VR 콘텐트(예를 들어, 단일 버전의 VR 콘텐트)를 더 많은 수의 사용자에게 및/또는 효율적인 방식으로 제공할 수 있게 한다.
MCP(716)는 하나 이상의 OP들로부터 메트릭을 획득하고/하거나 VR 메트릭(예를 들어, 레이턴시와 같은 특정 VR 메트릭)을 도출할 수 있다.
디바이스(예를 들어, VR 디바이스, HMD, 전화, 태블릿 또는 개인용 컴퓨터)는 시청 관련 메트릭 및 메시지를 생성 및/또는 보고할 수 있다. 시청 관련 메트릭 및 메시지는 뷰포트 뷰, 뷰포트 일치, 렌더링 디바이스, 초기 렌더링 방향, 뷰포트 스위칭 레이턴시, 품질 뷰포트 스위칭 레이턴시, 초기 레이턴시, 정착 레이턴시, 6DoF 좌표, 시선 데이터, 프레임 레이트, 뷰포트 손실, 정밀도, 감도, ROI 등 중 하나 이상을 포함할 수 있다.
디바이스는 어떤 뷰포트(들)가 요청되었는지 및/또는 몇 시에 시청되었는지를 나타내는 메트릭을 사용할 수 있다. 메트릭은 뷰포트 뷰(ViewportViews) 메트릭을 포함할 수 있다. ViewportViews와 같은 메트릭에 대한 보고는 어떤 뷰포트(들)가 요청되어 몇 시에 시청되었는지 나타낼 수 있다. 디바이스 또는 메트릭 서버는 OP4로부터 ViewportViews 메트릭(예를 들어, 표 1에 도시됨)을 도출할 수 있다. 표 1은 ViewportViews에 대한 보고의 예시적인 콘텐트를 도시한다.
| 키 | 타입 | 설명 | ||
| ViewportViews | 리스트 | 재생 중 뷰포트 뷰 측정 리스트 | ||
| Entry | 객체 | (예를 들어, 하나의) 뷰포트 뷰 측정 | ||
| source | 스트링 | VR 미디어 샘플 소스 | ||
| timestamp | 미디어 시간 | 미디어 샘플 프리젠테이션 시간 | ||
| t | 실시간 | 측정 시간 | ||
| duration | 정수 | 뷰포트가 렌더링되는 시간 간격 | ||
| viewport | 뷰포트 | 시청된 뷰포트 | ||
엔트리(예를 들어, 엔트리 "소스(source)")는 오리진 VR 미디어 샘플의 소스를 포함(예를 들어, 지정)할 수 있다. 디바이스는 MPD의 URL, DASH 스트리밍을 위한 미디어 요소 표현, 또는 점진적 다운로드를 위한 미디어 샘플 파일의 원래 URL 중 하나 이상으로부터 엔트리 "소스"를 추론할 수 있다.
엔트리(예를 들어, 엔트리 "타임 스탬프(timestamp)")는 미디어 샘플 프리젠테이션 시간을 포함(예를 들어, 지정)할 수 있다.
엔트리(예를 들어, 엔트리 "지속 기간(duration)")는 클라이언트가 각각의 뷰포트에 계속 남아 있는 시간을 보고하기 위해 클라이언트에 의해 사용되는 시간 간격을 지정할 수 있다.
엔트리(예를 들어, 엔트리 "뷰포트(viewport)")는 미디어 시간(t)에 존재하는 전방향 미디어의 영역을 포함(예를 들어, 지정)할 수 있다. 영역은 존재하는 경우 center_yaw, center_pitch, static_hor_range, static_ver_range 또는 hor_range 및 ver_range 중 하나 이상에 의해 정의될 수 있다. 6DoF의 경우, 엔트리 "뷰포트"는 사용자 위치 또는 추가 사용자 위치(x, y, z)를 포함할 수 있다.
엔트리(예를 들어, 엔트리 "뷰포트")는 다양한 사양 및 구현에 사용되는 하나 이상의 표기법 또는 표현을 사용하여 시청된 뷰포트를 나타낼 수 있다. 상이한 사용자의 뷰포트 뷰 메트릭은 예를 들어 메트릭 서버(예를 들어, 메트릭 서버(702))에 의해 서로 비교 및/또는 서로 관련될 수 있다. 예를 들어, 메트릭 서버는 더 인기 있는 뷰포트를 결정할 수 있다. 네트워크(예를 들어, CDN)는 캐싱 또는 콘텐트 제작을 위해 정보(예를 들어, 엔트리 "뷰포트")를 사용할 수 있다. 디바이스(예를 들어, VR 디바이스)는 재생을 위해 특정 정밀도(들)로 하나 이상의 뷰포트 뷰를 기록할 수 있다. 기록된 뷰포트 뷰는 이전에 시청된 360 비디오의 특정 버전을 재생하기 위해 나중에 (예를 들어, 다른 시청자에 의해) 사용될 수 있다. 브로드 캐스트/멀티 캐스트 서버 또는 VR 클라이언트(들)와 같은 네트워크 요소는 뷰포트 뷰 메트릭에 기초하여 다수의 시청자의 시청된 뷰포트를 동기화할 수 있다. 시청자들은 예를 들어 실시간으로 유사하거나 동일한 경험을 가질 수 있다.
디바이스(예를 들어, 클라이언트)는 뷰포트 뷰 메트릭을 (예를 들어, 주기적으로) 기록하고/하거나 시청 방향 변경(들)(예를 들어, 센서에 의해 검출됨)에 의해 뷰포트 뷰 메트릭을 보고하도록 트리거될 수 있다.
디바이스는 클라이언트가 권장된 뷰포트(예를 들어, 디렉터스 컷)를 따르는지 여부를 나타내는 메트릭을 사용할 수 있다. 메트릭은 뷰포트 일치(ViewportMatchList) 메트릭을 포함할 수 있다. 디바이스(예를 들어, 클라이언트)는 클라이언트의 시청 방향을 대응하는 권장된 뷰포트 메타 데이터와 비교하고/하거나 클라이언트의 시청 방향이 대응하는 권장된 뷰포트 메타 데이터와 일치하는 경우 일치 이벤트를 기록할 수 있다. 표 2는 ViewportMatchList 메트릭에 대한 보고의 예시적인 콘텐트를 도시한다.
| 키 | 타입 | 설명 | ||
| ViewportMatchList | 리스트 | 뷰포트 일치 리스트 | ||
| Entry | 객체 | 뷰포트 일치 이벤트 | ||
| Flag | 불 | 값 '참'은 시청 방향이 권장된 뷰포트와 일치함을 나타낼 수 있고, 값 '거짓'은 시청 방향이 권장된 뷰포트와 일치하지 않음을 나타낼 수 있다. | ||
| source | 스트링 | 미디어 데이터의 위치(들)(예를 들어, 일반적으로 URL)을 지정할 수 있음. | ||
| trackId | 정수 | 일치된 권장된 뷰포트 타이밍 메타 데이터의 트랙 ID를 지정할 수 있음. 이 값은 1이상 일 수 있다. | ||
| timestamp | 미디어 시간 | 미디어 샘플의 미디어 프리젠테이션 시간 | ||
| t | 실시간 | 측정 시간 | ||
| count | 정수 | 동일한 트랙Id 값을 갖는 일치 수 | ||
| duration | 정수 | 연속적인 뷰포트 일치의 시간 간격 | ||
| type | 정수 | 권장된 뷰포트 타입을 지정할 수 있음. 값 0은 권장된 뷰포트가 디렉터스 컷임을 나타내고, 값 1은 측정 통계에 기초하여 권장된 뷰포트가 선택되었음을 나타낼 수 있다. | ||
엔트리(예를 들어, 엔트리 "플래그(Flag)")는 측정 간격 동안 뷰포트(예를 들어, 현재 뷰포트)가 권장된 뷰포트와 일치하는지 여부를 지정하는 불 파라미터일 수 있다. 엔트리 "플래그"의 값이 참일 때, 다음 파라미터 중 임의의 하나 또는 조합이 제시될 수 있다. 엔트리(예를 들어, 엔트리 "트랙Id(trackId)")는 일련의 권장된 뷰포트 타이밍 메타 데이터의 식별자일 수 있고/있거나 하나 이상의 권장된 뷰포트 중 어떤 권장된 뷰포트가 일치되는지를 식별하기 위해 사용될 수 있다. 엔트리(예를 들어, 엔트리 "카운트(count)")는 "트랙Id"에 의해 지정된, 권장된 뷰포트에 대한 누적된 일치 수를 지정할 수 있다. 엔트리(예를 들어, 엔트리 "지속 기간(duration)")는 측정 간격 동안 연속적인 뷰포트 일치의 시간 간격을 지정할 수 있다. 엔트리(예를 들어, 엔트리 "타입(type)")은 일치하는 뷰포트 타입을 지정할 수 있으며, 여기서 값 0은 권장된 뷰포트가 디렉터스 컷임을 나타내고/나타내거나, 값 1은 시청 통계에 기초하여 권장된 뷰포트가 선택되었음을 나타낼 수 있다. 디바이스(예를 들어, 클라이언트)는 뷰포트 일치를 (예를 들어, 주기적으로) 기록하고/하거나, 시청 방향이 변경되거나 권장된 뷰포트 위치 및/또는 크기가 변경될 때 이벤트에 의해 뷰포트 일치를 보고하도록 트리거될 수 있다.
디바이스는 렌더링 디바이스 메트릭 및 메시지를 나타내는 메트릭을 사용할 수 있다. 메트릭은 렌더링 디바이스(RenderingDevice)를 포함할 수 있다. 예를 들어, 메트릭 RenderingDevice에 대한 VR 디바이스 타입 보고는 브랜드, 모델, 운영 체제(OS), 해상도, 밀도, 재생률, 코덱, 투영, 패킹, 추적 범위, 추적 정밀도, 추적 감도, 및/또는 디바이스에 대한 다른 디바이스 특정 정보(예를 들어, 전방향 미디어가 렌더링되는 경우) 중 하나 이상을 나타낼 수 있다. 메트릭 서버는 콘텐트가 TV 대 HMD 또는 데이드림 타입의 HMD에서 소비되고 있는지의 여부를 보고에 기초하여 결정할 수 있다. 메트릭 서버 또는 클라이언트는 더 양호한 분석을 위해 이 정보를 콘텐트 타입과 관련시킬 수 있다. VR 디바이스가 HMD인 경우, 지원되는 HMD 특정 정보와 같은 정보가 메트릭에 포함될 수 있다. 클라이언트(예를 들어, VR 클라이언트)는 메트릭 서버에 보고하기 위해 적절한 디바이스 정보를 결정할 수 있다. 메트릭 서버는 VR 디바이스로부터 적절한 정보를 요청할 수 있다. 지원되는 HMD 특정 정보는 정밀도, 감도, 최대 지원 프레임 레이트, 최대 지원 해상도 및/또는 지원되는 코덱/투영 방법의 리스트를 포함할 수 있지만, 이에 제한되지는 않는다. 표 3은 VR 디바이스(예를 들어, 메트릭 RenderingDevice)에 대한 보고의 예시적인 콘텐트를 도시한다. 메트릭 서버는 표 3의 정보와 같은 정보를 분석을 위해 콘텐트 타입과 관련시킬 수 있다. 예를 들어, 클라이언트 또는 메트릭 서버는 OP5로부터 표 3에 포함된 바와 같은 메트릭 RenderingDevice 및/또는 하나 이상의 엔트리를 도출할 수 있다.
| 키 | 타입 | 설명 | ||
| RenderingDevice | 객체 | VR 디바이스 관련 정보 | ||
| Brand | 스트링 | VR 디바이스 브랜드 | ||
| Model | 스트링 | VR 디바이스 모델 | ||
| OS | 스트링 | VR 디바이스 OS 및 버전 정보 | ||
| Resolution | 스트링 | VR 디바이스의 디스플레이 해상도 | ||
| Density | 스트링 | PPI 단위의 디스플레이 픽셀 밀도 | ||
| RefreshRate | 스트링 | VR 디바이스의 디스플레이 재생률 | ||
| Codec | 스트링 | 미디어 코덱 지원 | ||
| Projection | 스트링 | 투영 포맷 지원 | ||
| Packing | 스트링 | 영역 별 패킹 지원 | ||
| TrackingRange | 벡터 | 밀리미터 단위의 최대 6DoF 추적 범위 | ||
| trackingPrecision | 벡터 | 활주 움직임을 위해 밀리미터 단위 및 회전 움직임을 위해 밀리도의 최소 6DoF 추적 표기 단위 | ||
| trackingSensitivity | 벡터 | 활주 움직임을 위해 밀리미터 단위 및 회전 움직임을 위해 밀리도로 검출되는 최소 6DoF 움직임 | ||
| TrackingLatency | 정수 | |||
| RenderingLatency | 정수 | |||
| Other | 스트링 | 임의의 다른 디바이스 특정 정보 | ||
엔트리(예를 들어, 엔트리 "추적 범위(trackingRange)")는 VR 사용자 모션 검출을 위해 VR 디바이스에 의해 지원되는 최대 또는 가장 큰 2D 또는 3D 추적 범위를 포함(예를 들어, 지정)할 수 있다. 최대 또는 가장 큰 2D 또는 3D 추적 범위는 모션 추적 및 검출이 최대 또는 가장 큰 2D 또는 3D 추적 범위를 초과하면 부정확할 수 있음을 의미할 수 있다. 최소 또는 가장 작은 범위는 점일 수 있다. TrackingRange는 예를 들어 VR 방의 폭, 길이 및 높이(예를 들어, 밀리미터 단위)로 정의될 수 있다. 도 8은 3D 추적 범위의 측정 예를 도시할 수 있다. 엔트리 "TrackingRange"는 3D 공간(800)의 폭(802), 높이(804) 및 길이(806) 또는 (예를 들어, 단일) 추적 센서를 사용하는 2D 범위의 경우 원 범위로 정의될 수 있다. 엔트리 "trackingRange"는 다수의 추적 센서를 사용하는 2D 교차 영역의 경우 폭, 길이로 정의될 수 있다. 도 9는 다수의 센서, 예를 들어 추적 센서(904-910)를 사용하는 2D 모션 추적 교차 범위의 예를 도시한다. 도 9에 도시된 바와 같이, 2D 교차 영역(902)의 길이 및 폭은 엔트리 "trackingRange"를 정의할 수 있다.
엔트리(예를 들어, 엔트리 "추적 정밀도(trackingPrecision)")는 활주 움직임(x, y, z)을 위한 밀리미터 및 회전 움직임(요(yaw), 피치(pitch), 롤(roll))을 위한 밀리도의 추적 표기 단위(예를 들어, 최소 추적 표기 단위)를 포함(예를 들어, 지정)할 수 있다.
엔트리(예를 들어, 엔트리 "추적 감도(trackingSensitivity)")는 활주(Δx, Δy, Δz)를 위해 밀리미터로 회전(Δyaw, Δpitch, Δroll)을 위해 밀리도로, VR 디바이스에 의해 검출될 수 있는 최소 모션 변위(예를 들어, 미묘한 모션)를 포함(예를 들어, 지정)할 수 있다.
엔트리(예를 들어, 엔트리 "추적 레이턴시(TrackingLatency)")는 움직임과 센서가 움직임을 검출하여 애플리케이션에 보고하는 것 사이의 시간 간격을 표시(예를 들어, 지정)할 수 있다.
엔트리(예를 들어, 엔트리 "렌더링 레이턴시(RenderingLatency)")는 미디어 샘플이 렌더링 모듈로부터 출력되는 것과 미디어 샘플이 디스플레이 및/또는 헤드폰 상에 제시되는 것 사이의 시간 간격을 표시(예를 들어, 지정)할 수 있다.
디바이스(예를 들어, VR 디바이스)는 초기 렌더링 방향 메시지를 생성 및/또는 보고할 수 있다. 디바이스는 재생이 시작될 방향을 나타내는 메트릭을 사용할 수 있다. 메트릭은 초기 렌더링 방향(InitialRenderingOrientation)를 포함할 수 있다. 메트릭 "InitialRenderingOrientation"에 대한 초기 렌더링 방향 보고는 재생이 시작되어야 하는 방향을 나타낼 수 있다. 메트릭 "InitialRenderingOrientation"에 대한 초기 렌더링 방향 보고는 재생이 시작되어야 하는 방향을 나타낼 수 있다. 초기 방향은 프리젠테이션의 시작 부분에 및/또는 프리젠테이션 전체의 특정 지점(예를 들어, 장면 변경)에 표시될 수 있다. 콘텐트 제작자는 표시를 제공할 수 있다. 초기 렌더링 방향 메시지(들)는 PER 타입일 수 있다. 예를 들어, 초기 렌더링 방향 메시지(들)는 DANE로부터 DASH 클라이언트로 전송될 수 있다. 정보(예를 들어, initialRenderingOrientation)는 타이밍 메타 데이터 트랙, 이벤트 스트림 요소 또는 SAND-PER 메시지로 전달될 수 있다. 메트릭 서버는 초기 렌더링 방향 메트릭을 사용하여 (예를 들어, 장면 변경이 발생할 때) VR 콘텐트에 대한 렌더링 위치의 좌표(들)를 재설정하도록 HMD 방향을 구성할 수 있다. 초기 렌더링 방향 메시지와 함께, HMD는 다른 비디오 영역을 정면으로 이동시킬 수 있다. 표 4는 초기 렌더링 방향 메시지의 예시적인 콘텐트를 도시한다. 메트릭 서버 또는 클라이언트는 OP2로부터 표 4에 포함된 바와 같은 메트릭 및/또는 하나 이상의 엔트리를 도출할 수 있다.
| 파라미터 | 타입 | 기수 | 설명 | |
| initialRenderingOrientation | 객체 | 1 | 재생이 시작될 수 있는 방향. | |
| t | 미디어 시간 | 1 | 렌더링 방향 설정에 대응하는 시간. | |
| orientation | 뷰포트 | 1 | 뷰포트로서의 초기 렌더링 방향. | |
디바이스는 클라이언트가 뷰포트에서 다른 뷰포트로 스위칭할 때 경험하는 레이턴시를 나타내는 메트릭을 생성할 수 있다. 메트릭은 "뷰포트 스위칭 레이턴시(ViewportSwitchingLatency)"를 포함할 수 있다. 예를 들어, 메트릭 "ViewportSwitchingLatency"에 대한 뷰포트 스위칭 레이턴시 메트릭 보고(들)는 클라이언트가 뷰포트에서 다른 뷰포트로 스위칭할 때 경험하는 레이턴시를 나타낼 수 있다. 네트워크 또는 클라이언트(예를 들어, VR 디바이스)는 뷰포트 스위칭 레이턴시 메트릭을 사용하여 시청자의 경험 품질(QoE)을 측정할 수 있다. (SAND) DANE 요소 및/또는 오리진 서버는 콘텐트 인코딩, 패키징, 캐싱 또는 전달 중 하나 이상에서 뷰포트 스위칭 레이턴시 메트릭을 사용할 수 있다. 표 5는 뷰포트 스위칭 레이턴시 메트릭에 대한 예시적인 보고를 도시한다. 메트릭 서버 또는 클라이언트는 OP3 및/또는 OP4로부터 표 5에 도시된 뷰포트 스위칭 레이턴시 메트릭 및/또는 하나 이상의 엔트리를 도출할 수 있다.
| 키 | 타입 | 설명 | ||
| ViewportSwitchingLatency | 리스트 | 재생 중 뷰포트 스위칭 레이턴시 측정 리스트. | ||
| Entry | 객체 | 하나의 뷰포트 스위칭 레이턴시 측정. | ||
| translation | 벡터 | 활주 변위. | ||
| rotation | 벡터 | 회전 변위. | ||
| first_viewport | 벡터 | 제 1 뷰포트의 위치와 크기. | ||
| second_viewport | 벡터 | 제 2 뷰포트의 위치와 크기. | ||
| t | 실시간 | 제 2 뷰포트로의 움직임의 검출 시간. | ||
| latency | 정수 | 밀리초 단위의 뷰포트 스위칭 레이턴시. | ||
엔트리(예를 들어, 엔트리 "활주(translation)")는 전/후, 상/하, 좌/우와 같은 사용자의 활주 움직임을 포함(예를 들어, 지정)할 수 있고/있거나 변위 벡터(Δx, Δy, Δz)에 의해 표현될 수 있다.
엔트리(예를 들어, 엔트리 "회전(rotation)")는 요, 피치 및 롤과 같은 사용자 각도 움직임을 포함(예를 들어, 지정)할 수 있고/있거나 라디안 또는 각도로 각도 변위(Δyaw, Δpitch, Δroll)에 의해 표현될 수 있다.
엔트리(예를 들어, 엔트리 "first_viewport")는 제 1 뷰포트의 중심점 좌표(들) 및 제 1 뷰포트의 크기를 포함(예를 들어, 지정)할 수 있다.
엔트리(예를 들어, 엔트리 "second_viewport")는 제 2 뷰포트의 중심점 좌표(들) 및 제 2 뷰포트의 크기를 표시(예를 들어, 지정)할 수 있다.
엔트리(예를 들어, 엔트리 "레이턴시(latency)")는 입력 활주 움직임 및/또는 회전 움직임과 VR 프리젠테이션 상에 업데이트되거나 디스플레이되는 하나 이상의 관련 VR 미디어 요소(비디오, 오디오, 이미지, 명시야 등)의 대응하는 뷰포트 사이의 지연을 포함(예를 들어, 지정)할 수 있다. 예를 들어, 엔트리 "latency"는 제 1 뷰포트에서 제 2 뷰포트로의 머리 움직임이 발생하는 시간(예를 들어, 클라이언트가 머리 움직임을 검출할 때)과 대응하는 제 2 뷰포트가 디스플레이에 제시되는 시간 사이의 시간 간격을 지정할 수 있다.
예를 들어, 뷰포트 스위칭 레이턴시는 HMD가 머리 움직임에 응답하고, 시프트된 뷰포트에 대한 콘텐트를 언패킹하고 렌더링하는 속도에 대응할 수 있다. 뷰포트 스위칭 레이턴시는 시청자의 머리가 움직이는 시간(예를 들어, HMD가 시청자의 머리 움직임을 검출)과 시청자의 머리 움직임이 시청자가 관찰한 비디오에 영향을 미치는 시간 사이의 시간에 대응할 수 있다. 예를 들어, 뷰포트 스위칭 레이턴시는 현재 뷰포트에서 다른 뷰포트로의 머리 움직임과 다른 뷰포트가 HMD 상에 디스플레이되는 것 사이에서 측정될 수 있다. 예를 들어, 네트워크 또는 클라이언트가 대응하는 뷰포트를 페치하고 렌더링하기 위해 사용하는 뷰포트 스위칭 레이턴시는, 예를 들어, 네트워크 또는 클라이언트의 불충분한 처리 능력에 의해 발생할 수 있다. 네트워크 및/또는 클라이언트 플레이어는 타임 라인을 따라 뷰포트 스위칭 레이턴시 메트릭 보고(들)를 수신 및 분석한 후 상이한 지능형 접근법을 사용하여 뷰포트 스위칭 레이턴시를 최소화할 수 있다.
디바이스(예를 들어, HMD, 전화, 태블릿 또는 개인용 컴퓨터)는 디바이스의 움직임(예를 들어, 머리 움직임)을 결정할 수 있다. 디바이스의 움직임은 현재 뷰포트 외부로 디바이스가 움직이는 것, 방향 변경, 줌 동작 등 중 하나 이상을 포함할 수 있다. 디바이스는 디바이스의 움직임에 기초하여 뷰포트 스위칭 레이턴시를 결정할 수 있다.
도 10은 뷰포트 스위치 이벤트의 예를 도시한다. 디바이스는 뷰포트 스위치 이벤트에 기초하여 디바이스의 움직임을 결정할 수 있다. 뷰포트는 파라미터 세트로 표현될 수 있다. 도 10에 도시된 바와 같이, 제 1 뷰포트(1002)는 first_azimuth_range(1010), first_elevation_range(1012) 및 first_centre_azimuth 및/또는 first_centre_elevation(1006)으로 표현될 수 있다. 제 2 뷰포트(1004)는 second_azimuth_range(1014), second_elevation_range(1016) 및 second_centre_azimuth 및/또는 second_centre_elevation(1008)으로 표현될 수 있다.
디바이스는 파라미터 세트 중 하나 이상의 변화가 문턱치 이상인 경우 뷰포트 스위치 이벤트를 결정할 수 있다. 디바이스는 파라미터 세트 중 하나 이상의 변화가 문턱치 이상인 경우 디바이스의 움직임을 결정할 수 있다. 디바이스는 상이한 애플리케이션 및/또는 디바이스에 걸쳐 일관된 측정을 유지하기 위해 뷰포트 스위치 이벤트를 결정할 때 하나 이상의 제약을 적용할 수 있다.
디바이스는, 예를 들어, 제 1 뷰포트(1002)와 연관된 하나 이상의 파라미터들(first_azimuth_range(1010), first_elevation_range(1012), 및 first_centre_azimuth 및/또는 first_centre_elevation(1006))에 기초하여, 뷰포트 스위치 이벤트 전에 제 1 렌더링된 뷰포트와 연관된 제 1 뷰포트(1002)가 안정하다고 결정할 수 있다. 유사하게, 디바이스는, 예를 들어, 제 2 뷰포트와 연관된 하나 이상의 파라미터들(second_azimuth_range(1014), second_elevation_range(1016), 및 second_centre_azimuth 및/또는 second_centre_elevation(1008))에 기초하여, 뷰포트 스위치 이벤트 후에 제 2 렌더링된 뷰포트와 연관된 제 2 뷰포트(1004)가 안정하다고 결정할 수 있다. 예를 들어, 뷰포트는 예를 들어 도 10에 도시된 바와 같이 center_azimuth, centre_elevation 및/또는 centre_tilt 중 하나 이상으로 표현될 수 있다. centre_azimuth 및 centre_elevation은 뷰포트의 중심을 나타낼 수 있다. centre_tilt는 뷰포트의 경사각(예를 들어, 전역 좌표축에 대해 2-16 도의 단위)을 나타낼 수 있다. 예를 들어, 제 1 뷰포트의 값(center_azimuth, centre_elevation 및/또는 centre_tilt)은 뷰포트 스위치 이벤트 전에 n 밀리초 내에 2-16 도의 m 단위를 초과하여 변경될 수 없으며, 제 2 뷰포트의 값(center_azimuth, center_elevation 및/또는 center_tilt)은 뷰포트 스위치 이벤트 후에 n 밀리초 내에 2-16 도의 m 단위를 초과하여 변경될 수 없다. m 및 n은 모두 양의 정수일 수 있다. 다바이스는 m과 n으로 구성될 수 있다. 예를 들어, 디바이스는 (예를 들어, 콘텐트 서버로부터 또는 메트릭 서버로부터) m 및 n의 값을 수신할 수 있다. 디바이스는 뷰포트 스위치 이벤트를 식별하기 위해 사용되는 m 및 n으로 메트릭을 기록 및/또는 보고할 수 있다.
뷰포트 스위치 이벤트는 (예를 들어, 시청자에 대한) 뷰포트가 디바이스의 현재 렌더링되거나 디스플레이된 뷰포트 밖으로 움직일 때 트리거될 수 있다. 디바이스는 (예를 들어, 시청자에 대한) 뷰포트가 현재 렌더링되거나 디스플레이된 뷰포트 밖으로 이동할 때 디바이스의 움직임을 결정할 수 있다. 제 1 뷰포트(1002) 또는 제 1 렌더링된 뷰포트는 예를 들어 도 10에 도시된 바와 같이 제 1 뷰포트(1002) 또는 제 1 렌더링된 뷰포트의 중심 위치(1006)(예를 들어, first_centre_azimuth, first_centre_elevation, first_centre_tilt) 및/또는 제 1 뷰포트 또는 제 1 렌더링된 뷰포트의 영역(예를 들어, first_azimuth_range(1010) 및 first_elevation_range(1012))으로 표현될 수 있다. 제 2 뷰포트(1004) 또는 제 2 렌더링된 뷰포트는 제 2 뷰포트(1004) 또는 제 2 렌더링된 뷰포트의 중심 위치(1008)(예를 들어, second_centre_azimuth, second_centre_elevation, second_centre_tilt) 및/또는 제 2 뷰포트 또는 제 2 렌더링된 뷰포트의 영역(예를 들어, second_azimuth_range(1014) 및 second_elevation_range(1016))으로 표현될 수 있다.
디바이스는 파라미터의 변화(예를 들어, 제 1 뷰포트(1002)의 파라미터와 제 2 뷰포트(1004)의 파라미터 사이의 차이)가 문턱치 이상일 때 뷰포트 스위치 이벤트가 발생한다고 결정할 수 있다. 예를 들어, first_centre_azimuth(1006)과 second_centre_azimuth(1008) 사이의 거리가 문턱 값(예를 들면, first_azimuth_range/2) 이상인 경우, 뷰포트 스위치 이벤트가 발생할 수 있다. first_centre_elevation(1006)과 second_centre_elevation(1008) 사이의 거리가 문턱 값(예를 들어, first_centre_range/2) 이상인 경우, 뷰포트 스위치 이벤트가 발생할 수 있다.
뷰포트 스위치 이벤트는 디바이스의 시청 방향 변경 검출로 트리거될 수 있다. 시청 방향은 사용자가 시청각 콘텐트를 소비하는 방향을 특징짓는 3부분(방위각, 고도 및 경사각)에 의해 정의될 수 있다. 시청 방향은 사용자가 이미지 또는 비디오를 소비할 때 뷰포트의 방향을 특징짓는 3부분(방위각, 고도 및 경사각)에 의해 정의될 수 있다. 예를 들어, 디바이스는 디바이스가 시청 방향 변경을 검출할 때 디바이스의 움직임을 결정할 수 있다. 시청 방향은 예를 들어 뷰포트의 상대 위치 또는 위치 결정과 관련될 수 있다.
줌 동작(들) 동안 뷰포트 스위치 이벤트가 발생할 수 있다. 예를 들어, 디바이스는 줌 동작(들) 동안 디바이스가 움직이고 있다고 결정할 수 있다. 예를 들어, 렌더링되거나 디스플레이된 뷰포트 중심 위치는 변하지 않지만, 대응하는 뷰포트 크기 및/또는 대응하는 구 면적은 변경되는 줌 동작이 발생할 수 있다. 도 11은 360 비디오 뷰포트 줌의 예를 도시할 수 있다. 파라미터들(ViewportSwitchingLatency의 first_viewport 및 second_viewport)은 각각 줌 동작(들)을 위해 제 1 뷰포트 크기(1102) 및 제 2 뷰포트 크기(1108)로 대체될 수 있다. 파라미터들(azimuth_range 및/또는 elevation_range)은 렌더링되는 뷰포트의 중심점을 통해 범위(들)(예를 들어, 2-16도 단위)를 지정할 수 있다. 디바이스는 제 1 뷰포트 크기(1102)와 제 2 뷰포트 크기(1108) 사이의 차이가 문턱치 이상일 때 뷰포트 스위치 이벤트가 발생한다고 결정할 수 있다. 제 1 뷰포트 크기(1102) 및 제 2 뷰포트 크기(1108)는 제 1 뷰포트의 경우 azimuth_range(1104) 및/또는 elevation_range(1106)에 의해 그리고 제 2 뷰포트의 경우 azimuth_range(1110) 및/또는 elevation_range(1112)에 의해 결정될 수 있다. 디바이스는 제 1 및 제 2 뷰포트의 뷰포트 스위치 이벤트 이전의 제 1 뷰포트 크기(1102) 및 뷰포트 스위치 이후의 제 2 뷰포트 크기(1108)가 각각 안정하다고 결정될 수 있다. 예를 들어, 디바이스는 제 1 뷰포트 크기(1102)가 뷰포트 스위치 이벤트 이전에 n 밀리초 내에 2-16 도의 m 단위를 초과하여 변경되지 않을 때 제 1 뷰포트가 안정하다고 결정할 수 있고, 디바이스는 제 2 뷰포트 크기(1108)가 뷰포트 스위치 이벤트 이후에 n 밀리초 내에 2-16 도의 m 단위를 초과하여 변경되지 않을 때 제 2 뷰포트가 안정하다고 결정할 수 있다.
디바이스는 레이턴시 또는 디스플레이된 뷰포트의 품질이 디바이스의 움직임 변경 이후에 품질 문턱치로 회복하는데 걸리는 시간을 나타내는 메트릭을 생성할 수 있다. 예를 들어, 디바이스는 디바이스가 제 1 뷰포트에서 제 2 뷰포트로 움직인 후, 예를 들어, 제 2 뷰포트의 품질이 품질 문턱치에 도달할 때, 제 1 뷰포트와 제 2 뷰포트 사이의 시간 간격에 기초하여 품질 뷰포트 스위칭 레이턴시 메트릭을 결정할 수 있다. 예를 들어, 제 2 뷰포트의 품질이 제 1 뷰포트의 품질에 도달하거나 제 1 뷰포트의 품질보다 양호 및/또는 우수한 품질에 도달할 때, 품질 뷰포트 스위칭 레이턴시 메트릭은 동일 품질 뷰포트 스위칭 레이턴시 메트릭으로 표현될 수 있다. 동일 품질 뷰포트 스위칭 레이턴시 메트릭은 품질 뷰포트 스위칭 레이턴시 메트릭의 서브 세트일 수 있다. 품질 뷰포트 스위칭 레이턴시 메트릭에 있어서, 제 2 뷰포트의 품질은 제 1 뷰포트의 품질에 도달하거나 도달하지 않을 수 있다. 제 2 뷰포트의 품질은 제 1 뷰포트의 품질보다 낮지만 품질 문턱치보다 클 수 있다. 디바이스는 품질 문턱치로 구성되거나 (예를 들어, 메트릭 서버로부터) 품질 문턱치를 수신할 수 있다. 디바이스는 품질 문턱치를 결정 또는 지정하고/하거나 품질 문턱치를 메트릭 서버에 보고할 수 있다.
품질 문턱치는 다수의 (예를 들어, 2개의) 품질 간의 차이를 사용하여 정의될 수 있다. 예를 들어, 품질 문턱치는 제 1 뷰포트의 품질과 제 2 뷰포트의 품질 사이의 차이(예를 들어, 품질 또는 품질 순위의 절대 차이 또는 절대 값 사이의 차이)가 문턱치 이하일 때 도달될 수 있다.
디바이스는 현재 뷰포트에서 다른 뷰포트로 스위칭할 때 그리고 다른 뷰포트가 현재 뷰포트와 동일하거나 유사한 프리젠테이션 품질에 도달할 때까지 디바이스가 경험하는 레이턴시를 나타내는 메트릭을 생성할 수 있다. 예를 들어, 디바이스는 동일 품질 뷰포트 스위칭 레이턴시 메트릭을 결정할 수 있다. 메트릭 "EQViewportSwitchingLatency"에 대한 동일 품질 뷰포트 스위칭 레이턴시 메트릭 보고(들)는 현재 뷰포트에서 다른 뷰포트로 스위칭할 때 그리고 다른 뷰포트가 현재 뷰포트와 같거나 더 높은 품질에 도달할 때까지 또는 다른 뷰포트가 품질 문턱치를 초과하지만 현재 뷰포트의 품질보다 낮은 품질 레벨에 도달할 때까지 디바이스가 경험하는 레이턴시를 나타낼 수 있다. 메트릭 서버는 예를 들어, 동일 품질 뷰포트 스위칭 레이턴시 메트릭을 사용하여 시청자의 QoE를 측정할 수 있다. 표 6은 동일 품질 뷰포트 스위칭 레이턴시 메트릭에 대한 예시적인 보고를 도시한다. 디바이스 또는 메트릭 서버는 OP3 및/또는 OP4로부터 표 6에 도시된 동일 품질 뷰포트 스위칭 레이턴시 메트릭 및/또는 하나 이상의 엔트리를 도출할 수 있다.
표 6은 동일 품질 뷰포트 스위칭 레이턴시 메트릭에 대한 보고의 예시적인 콘텐트를 도시한다.
| 키 | 타입 | 설명 | ||
| EQViewportSwitchingLatency | 리스트 | 재생 중 동일 품질 뷰포트 스위칭 레이턴시 측정 리스트. | ||
| Entry | 객체 | 하나의 동일 품질 뷰포트 스위칭 레이턴시 측정. | ||
| translation | 벡터 | 활주 변위. | ||
| rotation | 벡터 | 회전 변위. | ||
| quality_ranking | 정수 | 뷰포트의 품질 순위. | ||
| first_viewport | 벡터 | 제 1 뷰포트의 위치와 크기. | ||
| second_viewport | 벡터 | 제 2 뷰포트의 위치와 크기. | ||
| t | 실시간 | 제 2 뷰포트로의 움직임의 검출 시간. | ||
| latency | 정수 | 밀리초 단위의 동일 품질 뷰포트 스위칭 레이턴시. | ||
예를 들어, 사용자가 머리를 움직여 뷰포트 B를 볼 때 사용자는 뷰포트 A를 품질(예를 들어, 고품질(HQ))로 볼 수 있다. 뷰포트 B의 품질은 상이한 품질(예를 들어, 뷰포트 적응형 스트리밍으로 인해 저품질(LQ))일 수 있다. 모션 검출, 뷰포트 요청 스케줄링 및 네트워크 조건(들) 중 하나 이상에 따라 뷰포트 B의 품질을 LQ에서 HQ로 증가시키는데 시간이 걸릴 수 있다. 사용자는 뷰포트 B의 품질이 LQ에서 HQ로 증가하기 전에 머리를 뷰포트 C로 움직일 수 있다. 품질 뷰포트 스위칭 레이턴시 메트릭은 제 1 품질의 뷰포트 A의 프리젠테이션에서부터 디스플레이(예를 들어, HMD 디스플레이 또는 종래의 디스플레이) 상의 품질 문턱치보다 큰 품질의 뷰포트 B 및/또는 뷰포트 C의 프리젠테이션으로 스위칭하는 사이의 시간에 대응할 수 있다. 동일 품질 뷰포트 스위칭 레이턴시 메트릭은 제 1 품질의 뷰포트 A의 프리젠테이션에서부터 디스플레이(예를 들어, HMD 디스플레이 또는 종래의 디스플레이) 상의 뷰포트 A의 제 1 품질과 같거나 큰 품질의 뷰포트 B 및/또는 뷰포트 C의 프리젠테이션으로 스위칭하는 사이의 시간에 대응할 수 있다. 품질 문턱치는 뷰포트 A의 제 1 품질보다 낮을 수 있다. 품질 문턱치는 뷰포트 A의 제 1 품질과 뷰포트 B 및/또는 뷰포트 C의 품질 사이의 차이(예를 들어, 품질 또는 품질 순위의 절대 차이 또는 절대 값 사이의 차이)가 문턱치 이하일 때 도달될 수 있다.
메트릭 "EQViewportSwitchingLatency"의 엔트리(예를 들어, 엔트리 "translation")는 다수의(예를 들어, 3개의) 자유도(전/후, 상/하, 좌/우)로 HMD 위치 활주 움직임을 포함(예를 들어, 지정)할 수 있고/있거나 벡터(들)(예를 들어, 상수 벡터(Δx, Δy, Δz))에 의해 표현될 수 있다. 엔트리(예를 들어, 엔트리 "rotation")는 다수의(예를 들어, 3개의) 자유도(예를 들어, 요, 피치 및 롤)로 HMD 회전 움직임을 포함(예를 들어, 지정)할 수 있고/있거나 벡터(들)(예를 들어, 상수 벡터(Δyaw, Δpitch, Δroll))에 의해 표현될 수 있다. 엔트리(예를 들어, 엔트리 "quality_ranking")는 뷰포트 스위치 후 (예를 들어, 종점에서) 사용자에게 렌더링되는 뷰포트의 품질을 포함(예를 들어, 지정)할 수 있다. 뷰포트의 품질은 프리젠테이션의 품질을 나타낼 수 있다. 품질 순위 값이 높을수록, 프레젠테이션 품질은 낮아진다. 엔트리(예를 들어, 엔트리 "latency")는 입력 활주 움직임 및/또는 회전 움직임과 VR 프리젠테이션 상에 업데이트된 대응하는 뷰포트의 품질 사이의 지연을 포함(예를 들어, 지정)할 수 있다.
뷰포트는 다수의 영역들로 커버될 수 있다. 뷰포트는 하나 이상의 DASH 비디오 세그먼트들 중 하나 이상의 부분을 포함할 수 있다. 예를 들어, 뷰포트는 다수의 DASH 비디오 세그먼트들에 기초한 다수의 영역들에 의해 커버될 수 있다. 영역은 하나 이상의 DASH 비디오 세그먼트들 또는 하나 이상의 DASH 비디오 세그먼트들의 하나 이상의 부분으로 구성될 수 있다. 뷰포트는 품질에 의해 정의될 수 있다. 영역(예를 들어, 각각의 영역)은, 예를 들어 하나 이상의 영역 별 품질 순위(region-wise quality rating; RWQR)에 기초한 품질 순위 값으로 표시되는 바와 같이, 품질에 의해 정의될 수 있다. 영역은 독립적으로 코딩된 서브 픽처(예를 들어, 비디오 세그먼트) 및/또는 단일 계층 표현의 영역 별 품질 순위 영역일 수 있다. 디바이스 또는 메트릭 서버는 영역의 품질의 평균으로서 뷰포트의 품질(예를 들어, 품질 순위 값으로 표시됨)을 도출할 수 있다. 영역의 품질은 영역의 품질 순위 값, 또는 뷰포트가 구성되는 영역의 품질 순위 값 중 최소 또는 최대 품질 순위 값에 기초하여 결정될 수 있다. 뷰포트의 품질은, 예를 들어, 뷰포트가 구성되는 각각의 영역 또는 비디오 세그먼트의 품질의 가중 평균으로서 계산될 수 있다. 뷰포트의 품질은, 예를 들어, 뷰포트가 구성되는 각각의 영역 또는 비디오 세그먼트의 품질의 가중 평균(예를 들어, 품질 순위 값으로 표시됨)으로서 계산될 수 있다. 가중치는 각각의 개별 영역에 의해 커버되는 뷰포트의 영역, 크기 및/또는 부분에 대응할 수 있다. 뷰포트의 품질은 품질 레벨, 품질 값 및/또는 품질 순위로 표시될 수 있다.
도 12는 서브 픽처 기반 스트리밍의 예이다. 서브 픽처는 하나 이상의 DASH 비디오 세그먼트들 또는 DASH 비디오 세그먼트들의 하나 이상의 부분에 대응할 수 있다. 도 12에서, 뷰포트는 4개의 서브 픽처로 구성될 수 있으며, 여기서 각각의 서브 픽처는 그 서브 픽처 자체의 품질(예를 들어, 품질 순위 값으로 표시됨)을 갖는다. 예를 들어, 서브 픽처 A(1202)의 품질 순위 값은 1일 수 있고, 서브 픽처 B(1204)의 품질 순위 값은 3일 수 있고, 서브 픽처 C(1206)의 품질 순위 값은 2일 수 있으며, 서브 픽처 D(1208)의 품질 순위 값은 5일 수 있다. 서브 픽처의 커버리지는 대응하는 서브 픽처에 의해 커버되는 뷰포트 영역의 백분율로 표현될 수 있다. 도 12에 도시된 바와 같이, 뷰포트 영역의 70%는 서브 픽처 A(1202)에 의해 커버될 수 있고, 뷰포트 영역의 10%는 서브 픽처 B(1204)에 의해 커버될 수 있고, 뷰포트 영역의 15%는 서브 픽처 C(1206)에 의해 커버될 수 있으며, 뷰포트 영역의 5%는 서브 픽처 D(1208)에 의해 커버될 수 있다. 뷰포트의 품질은, 예를 들어, 수학식 3을 사용하여 계산될 수 있다. quality(viewport)는 뷰포트의 품질 순위 값을 나타낼 수 있다. quality(subpicture(n))은 서브 픽처 n의 품질 순위 값을 나타낼 수 있다. coverage(subpicture(n))은 뷰포트에서 서브 픽처 n의 면적의 백분율을 나타낼 수 있다.
수학식 4는 수학식 3을 사용하여 도출된 도 12의 뷰포트의 품질 순위 값의 예를 제공한다.
도 13은 영역 별 품질 순위(RWQR) 인코딩 경우의 예로서, 여기서 뷰포트는 고품질 영역(예를 들어, 영역 A(1306)) 및 저품질 영역(예를 들어, 영역 B(1304)) 양자 모두에 의해 커버된다. 영역 품질은 대응하는 RWQR 값으로 표시될 수 있다. 영역 A(1306)에 대한 RWQR 값은 1일 수 있다. 영역 B(1304)에 대한 RWQR 값은 5일 수 있다. 뷰포트의 90%는 영역 A에 의해 커버될 수 있고, 뷰포트의 10%는 영역 B(1304)에 의해 커버될 수 있다. 뷰포트의 품질 순위 값은 예를 들어 수학식 5를 사용하여 계산될 수 있다.
품질 뷰포트 스위치 이벤트는 디바이스에 의해 렌더링되는 제 2 뷰포트의 품질이 문턱 품질보다 클 때 식별될 수 있다. 예를 들어, 품질 뷰포트 스위치 이벤트는 렌더링되는 제 2 뷰포트의 품질 순위 값이 스위치 전에 렌더링된 제 1 뷰포트의 품질 순위 값 이하일 때 식별될 수 있다. 동일 품질 뷰포트 스위치 이벤트는 렌더링되는 제 2 뷰포트의 품질 순위 값이 뷰포트 스위치 이벤트 이전의 제 1 뷰포트의 품질 순위 값보다 작을 때 식별될 수 있다.
EQViewportSwitchingLatency는 방향 변경에 대한 동일 품질 뷰포트 스위치 이벤트와 관련된 레이턴시를 정의하기 위해 사용될 수 있다. EQViewportSwitchingLatency는 디바이스(예를 들어, 디바이스의 센서)가 제 1 뷰포트에서 제 2 뷰포트로의 사용자 방향 변경(예를 들어, 본 명세서의 뷰포트 스위치는 동일 품질 뷰포트 스위치로 식별될 수 있음)을 검출한 시간과 제 2 뷰포트가 제 1 뷰포트의 품질과 동일하거나 유사한 품질로 사용자에게 완전히 렌더링되는 시간 사이의 시간 간격일 수 있다.
도 14는 동일 품질 뷰포트 스위치 이벤트의 예를 도시한다. 디바이스는 서브 픽처 A-F와 같은 복수의 서브 픽처(예를 들어, DASH 비디오 세그먼트)를 수신 및 디코딩할 수 있다. 서브 픽처 A-F는 각각의 비디오 세그먼트(들) 및 각각의 품질(예를 들어, 품질 순위 값(들)에 의해 표시됨)에 대응할 수 있다. 디바이스는 서브 픽처 B 및 C를 사용하여 뷰포트 #1을 생성할 수 있다. 디바이스는 사용자를 위해 디바이스의 디스플레이 상에 뷰포트 #1을 렌더링(예를 들어, 디스플레이)할 수 있다. 디바이스 또는 메트릭 서버는 서브 픽처 B 및 C의 품질 순위 값(들)으로부터 뷰포트 #1의 품질 순위 값을 도출할 수 있다. 뷰포트 적응형 스트리밍 시나리오에서, 서브 픽처 B 및 C의 품질 순위 값은 (예를 들어, 일반적으로) 서브 픽처 A, D, E 및 F의 품질 순위 값보다 낮을 수 있다. 도 14(b)에 도시된 바와 같이, 디바이스가 움직이고 사용자 시청 방향이 뷰포트 #1에서 뷰포트 #2로 움직일 때, 뷰포트 #2는 서브 픽처 B 및 C에 의해 커버될 수 있다. 뷰포트 #2의 서브 픽처 B 및 C는 뷰포트 #1을 생성하기 위해 사용된 서브 픽처 B 및 C와 동일하거나 상이할 수 있다. 뷰포트 #2는 뷰포트 #1의 품질과 동일한 품질을 갖거나, 뷰포트 #2는 뷰포트 #1의 품질과 상이한 품질을 가질 수 있다. 디바이스 또는 메트릭 서버는 서브 픽처 B 및 C의 품질 순위 값(들)으로부터 뷰포트 #2의 품질(예를 들어, 품질 순위 값으로 표시됨)을 도출할 수 있다.
도 14(c)에 도시된 바와 같이, 디바이스가 움직이고 사용자 시청 방향이 뷰포트 #2에서 뷰포트 #3으로 움직이게 되면, 뷰포트 #3은 서브 픽처 C 및 D에 의해 커버될 수 있다. 뷰포트 #3을 생성하기 위해 사용되는 서브 픽처 C 및 D는 클라이언트가 뷰포트 #1 및/또는 뷰포트 #2를 제시할 때 클라이언트에 의해 요청된 서브 픽처 C 및 D와 동일하거나 상이할 수 있다. 서브 픽처 C 및 D는 뷰포트 #1 및 뷰포트 #2를 생성하는 데 사용되지 않을 수 있다. 서브 픽처 C 및 D는 변경(예를 들어, 갑작스런 시청 방향 변경)을 처리하도록 요청될 수 있다. 디바이스 또는 메트릭 서버는 서브 픽처 C 및 D의 품질 순위(들)로부터 뷰포트 #3의 품질을 도출할 수 있다. 디바이스는 뷰포트 #3의 품질을 뷰포트 #1의 품질, 뷰포트 #2의 품질 및/또는 뷰포트 #2의 품질보다 크지만 뷰포트 #1의 품질보다 낮은 품질 문턱치와 비교할 수 있다. 디바이스는, 예를 들어, 디바이스가 뷰포트 #3의 품질이 뷰포트 #1의 품질보다 낮거나 또는 문턱치보다 낮은 것으로 결정하는 경우, 더 양호한 품질의 서브 픽처 D의 상이한 (예를 들어, 새로운) 표현을 요청할 수 있다. 더 양호한 품질은 예를 들어 서브 픽처 D의 원래 품질 순위 값보다 낮은 품질 순위 값으로 표현될 수 있다. 디바이스는, 예를 들어, 서브 픽처 D의 상이한 (예를 들어, 새로운) 표현을 수신하여 뷰포트 #3을 생성하기 위해 사용될 때 디바이스가 뷰포트 #3의 품질이 품질 문턱치보다 크거나 뷰포트 #1의 품질 이상이라고 결정하는 경우, 품질 뷰포트 스위치 이벤트(예를 들어, 동일 품질 뷰포트 스위치 이벤트)를 결정 및/또는 보고할 수 있다.
도 15는 360 줌 동작의 예를 도시하며, 예를 들어, 줌 동작 동안 동일 품질 뷰포트 스위칭 레이턴시를 측정한다. 디바이스는 서브 픽처 A, B, C, D, E 및 F와 같은 복수의 서브 픽처를 요청 및 수신할 수 있다. 디바이스는 1510에 도시된 바와 같이, 서브 픽처 B 및 C를 사용하여 제 1 뷰포트를 생성할 수 있다. 서브 픽처 B 및 C는 고품질 서브 픽처일 수 있다. 디바이스는 1520에 도시된 바와 같이, 줌을 위한 입력을 수신하고, 이에 응답하여 제 2 뷰포트를 생성 및 디스플레이할 수 있다. 제 2 뷰포트는 서브 픽처 A, B, C 및 D에 걸쳐 구형 영역을 포함할 수 있다. 서브 픽처 B 및 C는 고품질일 수 있고, 서브 픽처 A 및 D는 저품질일 수 있다. 이와 같이, 제 2 뷰포트는 제 1 뷰포트의 품질보다 낮은 품질로 정의될 수 있다. 디바이스는 1530에 도시된 바와 같이, 더 높은 품질(예를 들어, 더 낮은 품질 순위 값)을 갖는 서브 픽처 A 및 D의 상이한 (예를 들어, 새로운) 표현을 요청하고, 서브 픽처 A 및 D를 낮은 품질에서 높은 품질로 스위치하며, 도 15(c)에 도시된 바와 같이 고품질의 전체 제 2 뷰포트를 생성할 수 있다.
디바이스는, 예를 들어, 동일 품질 뷰포트 스위치 이벤트를 결정하기 위해 사용되는 다음 중 하나 이상에 따라, 예를 들어, 도 15(a)와 도 15(c) 사이의 시간 간격, 또는 예를 들어, 도 15(b)와 도 15(c) 사이의 시간 간격에 기초하여 EQViewportSwitchingLatency 메트릭을 생성할 수 있다. EQViewportSwitchingLatency는 제 2 뷰포트 위치에서 사용자의 시청 방향의 센서 검출로부터의 시간(예를 들어, 밀리초) 및 제 2 뷰포트 콘텐트가 이전에 렌더링된 제 1 뷰포트의 품질과 동일하거나 더 높은 품질로 사용자에게 완전히 렌더링되는 시간으로서 측정될 수 있다. EQViewportSwitchingLatency는 제 2 뷰포트 위치에서 사용자의 시청 방향의 센서 검출로부터의 시간(예를 들어, 밀리초) 및 제 2 뷰포트 콘텐트가 제 1 뷰포트가 렌더링될 때의 제 1 뷰포트의 품질보다 높은 품질로 사용자에게 완전히 렌더링되는 시간으로서 측정될 수 있다.
메트릭 계산 및 보고 모듈은 DASH MPD에서 시그널링되는 표현 비트 레이트 및/또는 해상도를 사용하여 (예를 들어, RWQR 값 대신) 대응하는 표현의 상대 품질을 결정할 수 있다. 디바이스(예를 들어, 메트릭 계산 및 보고 모듈)는 뷰포트를 커버하기 위해 요청, 디코딩 또는 렌더링되는 (예를 들어, 각각의) 표현의 비트 레이트 및/또는 해상도로부터 뷰포트의 품질을 도출할 수 있다. 표현이 제시되지 않으면, 표현의 품질은 디폴트로 최고 품질 순위 값으로 도출될 수 있다.
디바이스(예를 들어, VR 디바이스)는 초기 레이턴시 메트릭 및 메시지를 생성 및 보고할 수 있다. 디바이스는 머리 움직임의 시작과 VR 도메인에서의 대응하는 피드백 사이의 시간 차이를 나타내는 메트릭을 사용할 수 있다. 메트릭은 (예를 들어, HMD가 사용될 때) 초기 레이턴시(InitialLatency) 메트릭을 포함할 수 있다. 뷰포트 스위칭 레이턴시와 비교하여, 초기 레이턴시는 (예를 들어, 센서 등에 기초하여) HMD 종속 지연을 가질 수 있다. 표 7은 초기 레이턴시 메트릭에 대한 보고의 예시적인 콘텐트를 도시한다. 디바이스 또는 메트릭 서버는 OP3 및/또는 OP4로부터 표 7에 도시된 초기 레이턴시 메트릭 및/또는 하나 이상의 엔트리를 도출할 수 있다.
표 7은 초기 레이턴시 메트릭에 대한 보고의 예시적인 콘텐트를 도시한다.
| 키 | 타입 | 설명 | ||
| InitialLatency | 리스트 | 재생 중 초기 레이턴시 측정 리스트. | ||
| Entry | 객체 | 하나의 초기 레이턴시 측정. | ||
| t | 실시간 | 측정 시간. | ||
| latency | 정수 | 밀리초 단위의 초기 레이턴시. | ||
디바이스는 머리 움직임의 정지와 VR 도메인에서의 대응하는 피드백 사이의 시간 차이를 나타내는 메트릭을 사용할 수 있다. 메트릭은 (예를 들어, HMD를 사용할 때) 정착 레이턴시(SettlingLatency) 메트릭을 포함할 수 있다. 표 8은 정착 레이턴시 메트릭에 대한 보고의 예시적인 콘텐트를 도시한다. 디바이스 또는 메트릭 서버는 OP3 및/또는 OP4로부터 표 8에 도시된 정착 레이턴시 메트릭 및/또는 하나 이상의 엔트리를 도출할 수 있다.
| 키 | 타입 | 설명 | ||
| SettlingLatency | 리스트 | 재생 중 정착 레이턴시 측정 리스트. | ||
| Entry | 객체 | 하나의 정착 레이턴시 측정. | ||
| t | 실시간 | 측정 시간. | ||
| latency | 정수 | 밀리초 단위의 정착 레이턴시. | ||
디바이스(예를 들어, VR 디바이스)는, 예를 들어, 모든 시청자의 머리 움직임 및/또는 뷰포트 변경에 대해 개별적으로 레이턴시 메트릭을 보고할 수 있다. 디바이스는, 예를 들어, 특정 간격으로, 미리 결정된 기간 동안의 평균 값을 계산 및/또는 보고할 수 있다. 메트릭 서버는 레이턴시 메트릭에 기초하여, 상이한 VR 디바이스들의 레이턴시 성능을 측정할 수 있다. 메트릭 서버는 레이턴시 메트릭을 콘텐트 타입, 총 시청 시간 및 뷰포트 변경 빈도 중 하나 이상을 포함하는 다른 데이터와 상관시켜 VR 디바이스 특정 기능(들)이 사용자 만족도에 얼마나 영향을 미치는지를 결정할 수 있다. 메트릭 서버는, 예를 들어, HMD를 벤치마킹 및/또는 벤더에 피드백을 제공하기 위해, 초기 레이턴시 및 정착 레이턴시를 사용할 수 있다.
디바이스(예를 들어, HMD, 전화, 태블릿 또는 개인용 컴퓨터)는 하나 이상의 DASH 비디오 세그먼트들을 요청하고 DASH 비디오 세그먼트들을 상이한 품질의 다양한 뷰포트에 디스플레이할 수 있다. 디바이스는 상이한 타입의 레이턴시를 결정하고, 레이턴시 메트릭(들)으로서 레이턴시를 보고할 수 있다. 디바이스는 현재 뷰포트를 디스플레이하는 시점과 상이한 시점 사이의 시간 차이에 기초하여, 레이턴시 메트릭(들)을 결정할 수 있다. 시점은 디바이스가 움직이기 시작하는 것, 디바이스가 움직임을 중단하는 것, 디바이스가 움직이기 시작했다고 프로세서가 결정하는 것, 디바이스가 움직임을 정지했다고 프로세서가 결정하는 것, 또는 상이한 뷰포트 및/또는 상이한 품질의 디스플레이 중 하나 이상을 포함할 수 있다.
도 16은 DASH 클라이언트(예를 들어, VR 디바이스)에 의해 보고될 수 있는 예시적인 레이턴시 간격을 도시한다. 시간 t0에서, 사용자의 머리/디바이스(예를 들어, HMD)는 뷰포트 #1에서 뷰포트 #2로 움직이기 시작할 수 있다. t0에서, 사용자는 뷰포트 #1(예를 들어, HQ)을 볼 수 있다. t1에서(t1 >= t0), 디바이스는 뷰포트 #1에서 뷰포트 #2로의 움직임을 검출할 수 있고/있거나 HMD의 움직임에 작용할 수 있다. 뷰포트 #1에서 뷰포트 #2로의 움직임은 사용자의 QoE에 영향을 줄 수 있다. 예를 들어, 디바이스는 (예를 들어, HMD 디스플레이 상에) 이러한 머리 움직임을 반영할 수 있고, t1 이후에 뷰포트 #1의 품질은 감소할 수 있다. t0과 t1 사이의 레이턴시는 상이한 디바이스(예를 들어, 센서, 프로세서 등)에 따라 달라질 수 있다. 모션(예를 들어, 머리 움직임)이 미묘한 경우(예를 들어, 문턱치 미만), 디바이스는 모션을 검출할 수 있지만 모션에 작용하지 않을 수 있다. t2에서, 머리 또는 디바이스는 뷰포트 #2에서 정지할 수 있다. t3(t3 >= t2)에서, 디바이스는 뷰포트 #2를 검출할 수 있고, 뷰포트 #2에 작용할 수 있다. 예를 들어, t3에서, 디바이스는 HMD가 미리 결정된 시간(예를 들어, n 밀리초) 동안 뷰포트 #2와 연관된 위치에서 정지했다고 결정할 수 있다. t4에서, 사용자는 HMD(예를 들어, HMD의 디스플레이)에서의 뷰포트 시프트 및/또는 품질 변화를 관찰할 수 있다. t4는 t2보다 작거나 시간적으로 t2 이전일 수 있다(예를 들어, 사용자는 계속 머리를 움직일 수 있다). 뷰포트 변경이 완료될 수 있고(예를 들어, t5에서), t5에서, 디바이스는 초기 저품질 뷰포트에 디스플레이할 수 있다. 디바이스에 디스플레이되는 품질은 복구될 수 있다. 예를 들어, 디바이스는 뷰포트 #2를 생성하기 위해 더 높은 품질의 하나 이상의 비디오 세그먼트들(예를 들어, DASH 세그먼트들)을 요청할 수 있다. 이와 같이, 뷰포트 #2의 품질은 고품질일 수 있다(예를 들어, t6(t6 >= t5)에서, 이전 뷰포트 #1의 품질과 동일한 품질 또는 이전 뷰포트 #1보다 높은 품질). 디바이스(예를 들어, 메트릭 수집 및 처리(MCP) 모듈)는 OP3로부터의 입력 타이밍 정보 및/또는 OP4에서의 뷰포트 프리젠테이션을 수집할 수 있다. 디바이스(예를 들어, MCP 요소)는, 예를 들어, 시간 t1-t6 중 하나 이상에 기초하여, (예를 들어, 도 7의 클라이언트 참조 모델에 도시된 바와 같이) 메트릭 서버에 보고될 대응하는 레이턴시 메트릭을 도출할 수 있다.
다양한 레이턴시 파라미터들이, 예를 들어, VR 디바이스에 의해 측정될 수 있다. 뷰포트 스위칭 레이턴시는 t5와 t1 사이의 시간 차이에 대응할 수 있다. 동일 품질 뷰포트 스위칭 레이턴시는 t6과 t1 사이의 시간 차이에 대응할 수 있다. 초기 레이턴시는 t4와 t0 사이에 대응할 수 있다. 정착 레이턴시는 t5와 t2 사이의 시간 차이에 대응할 수 있다. 일 실시예에서, 시점(예를 들어, 도 16의 특정 시간)은 디바이스에 의해 기록 및/또는 보고될 수 있다. 예를 들어, 디바이스는 메트릭 보고를 생성할 수 있고, 메트릭 보고는 머리 움직임을 검출할 때 t0, t1, t2, t3, t4, t5 및 t6을 나타낼 수 있다.
디바이스는 사용자의 위치를 나타내는 메트릭을 사용할 수 있다. 메트릭은 예를 들어 표 9에 설명된 바와 같이 6DoF 좌표 메트릭을 포함할 수 있다. 디바이스(예를 들어, VR 디바이스)는 6DoF 좌표 메트릭을 예를 들어 메트릭 서버에 보고할 수 있다. 로컬 센서는 사용자의 위치를 제공할 수 있다. 디바이스는 사용자의 위치 및/또는 HMD 뷰포트 데이터에 기초하여 6DoF 좌표를 추출할 수 있다. 6DoF 위치는 사용자의 HMD의 3D 좌표(예를 들어, X, Y, Z)를 통해 표현될 수 있다. 6DoF 위치는 VR 룸에서의 제어기 위치 및 사용자의 HMD 또는 제어기의 상대 구면 좌표(들)(예를 들어, 요, 피치 및 롤, 구면 좌표 중심은 X, Y 및 Z일 수 있음)를 통해 표현될 수 있다. 사용자에게 다수의 제어기가 장착된 경우, 디바이스 또는 사용자는 다수의 6DoF 위치를 시그널링할 수 있다. 표 9는 6DoF 좌표에 대한 보고의 예시적인 콘텐트를 도시한다. 디바이스 또는 메트릭 서버는 OP3로부터 표 9에 도시된 6DoF 좌표 메트릭 및/또는 하나 이상의 엔트리를 도출할 수 있다.
| 키 | 타입 | 설명 | ||
| 6DoFCoordinates | 리스트 | 재생 중 6DoF 좌표 측정 리스트. | ||
| Entry | 객체 | 하나의 6DoF 좌표 측정. | ||
| t | 실시간 | 측정 시간. | ||
| 6dofcoor | 스트링 | 6DoF 좌표는 측정 시간에 대응한다. | ||
디바이스(예를 들어, VR 디바이스)는 시선 데이터를 보고할 수 있다. 메트릭 서버는 분석(예를 들어, 광고 타겟팅)을 위해 시선 데이터를 사용할 수 있다. 표 10은 시선 데이터에 대한 보고의 예시적인 콘텐트를 도시한다. 디바이스 또는 메트릭 서버는 OP3로부터 표 10에 포함된 시선 데이터 메트릭 및/또는 하나 이상의 엔트리를 도출할 수 있다. 디바이스는 시선 데이터를 사용하여 타일 기반 스트리밍을 구성 및/또는 개선하는 방법(예를 들어, 타일 구성 선택)을 결정할 수 있다.
| 키 | 타입 | 설명 | ||
| GazeData | 리스트 | 재생 중 시선 데이터 측정 리스트. | ||
| Entry | 객체 | 하나의 시선 데이터 측정. | ||
| t | 실시간 | 측정 시간. | ||
| gazedata | 스트링 | 시선 데이터는 측정 시간에 대응한다. | ||
디바이스(예를 들어, VR 디바이스)는 프레임 레이트 메트릭을 보고할 수 있다. 렌더링된 프레임 레이트는 기본 프레임 레이트와 상이할 수 있다. 표 11은 렌더링된 프레임 레이트에 대한 보고의 예시적인 콘텐트를 도시한다. 디바이스 또는 메트릭 서버는 OP4로부터 표 11에 포함된 프레임 레이트 메트릭 및/또는 하나 이상의 엔트리를 도출할 수 있다.
| 키 | 타입 | 설명 | ||
| FrameRate | 리스트 | 재생 중 프레임 레이트 측정 리스트. | ||
| Entry | 객체 | 하나의 프레임 레이트 측정. | ||
| tstart | 실시간 | 측정 시작 시간. | ||
| tend | 실시간 | 측정 종료 시간. | ||
| framerate | 실수 | 시작 시간과 종료 시간 사이의 평균 프레임 레이트. | ||
패킷/프레임 손실 비율, 프레임 오류 비율 및/또는 프레임 폐기 비율과 같은 일반적인 시스템 서비스 품질(QoS) 메트릭 또는 파라미터는 (예를 들어, 종래의 비디오 스트리밍의 경우) 서비스 품질을 나타낼 수 있다. 일반적인 QoS 메트릭은 일부 스트리밍의 경우(예를 들어, 타일 기반 스트리밍과 같은 뷰포트 종속 360도 비디오 스트리밍의 경우), VR 사용자 경험을 반영하지 않을 수 있다. 종래의 비디오 스트리밍의 경우, 일부 또는 모든 패킷 또는 프레임은 사용자 경험에 유사하거나 동등한 영향을 미칠 수 있다. 타일 기반 스트리밍과 같은 뷰포트 종속 360도 비디오 스트리밍의 경우, 사용자 경험은 사용자에게 제시되는 뷰포트에 의해 결정(예를 들어, 부분적으로 또는 대부분 결정)될 수 있다. 타일 기반 스트리밍과 같은 뷰포트 종속 360도 비디오 스트리밍의 경우, 다른 비 뷰포트 타일의 패킷 또는 프레임 손실은 사용자 경험에 영향을 미치지 않을 수 있다. 예를 들어, 사용자는 다른 비 뷰포트 타일을 볼 수 없다. 사용자가 보는 뷰포트 타일(들)의 패킷 또는 프레임 손실은 사용자 경험에 영향을 미칠 수 있다(예를 들어, 상당한 영향을 미칠 수 있다). 일반적인 QoS 메트릭(들)은 VR 사용자 경험을 반영하지 않을 수 있다.
디바이스는 뷰포트 손실 이벤트(들)를 나타내는 메트릭을 사용할 수 있다. 메트릭은 예를 들어 표 12에 설명된 뷰포트 손실 메트릭을 포함할 수 있다. 디바이스는 (예를 들어, 타일 기반 스트리밍과 같은 뷰포트 종속 360도 비디오 스트리밍의 경우) 사용자 경험 분석을 위해 뷰포트 손실 이벤트(들)를 보고하는 뷰포트 손실 메트릭을 사용할 수 있다. 예를 들어, 클라이언트는 손실 이벤트(들)가 사용자에게 디스플레이된 뷰포트에 영향을 미쳤는지 여부를 결정할 수 있고/있거나 디스플레이된 뷰포트에 영향을 미치는 손실 이벤트만을 뷰포트 손실(ViewportLoss) 메트릭을 통해 보고할 수 있다. 뷰포트 손실 메트릭은 표 12에 도시된 바와 같이 손실이 관찰되는 시간을 나타내는 타이밍 정보 및/또는 다른 손실 정보 중 하나 이상을 포함할 수 있다. 디바이스 또는 메트릭 서버는 OP1 및/또는 OP3으로부터 표 12에 포함된 뷰포트 손실 메트릭 및/또는 하나 이상의 엔트리를 도출할 수 있다.
| 키 | 타입 | 설명 | ||
| ViewportLoss | 리스트 | 재생 중 뷰포트 세그먼트 손실 리스트. | ||
| Entry | 객체 | |||
| t | 실시간 | 측정 시간. | ||
| sourceUrl | 실수 | 손실된 뷰포트와 관련된 세그먼트 Url. | ||
| lossreason | 이넘 | 세그먼트가 손실된 이유(들) - 서버 오류 - 클라이언트 오류 - 패킷 손실 - 패킷 오류 - 패킷 폐기 중 하나 이상. |
||
| error | 스트링 | 오류 설명. | ||
ViewportLoss 메트릭은 뷰포트 세그먼트 손실의 이벤트를 보고하고/하거나 손실 상태에 관한 정보 또는 추가 정보를 제공할 수 있다. 엔트리(예를 들어, 엔트리 "sourceUrl")는 손실된 뷰포트 세그먼트에 대한 URL을 표시(예를 들어, 지정)할 수 있다. 엔트리(예를 들어, 엔트리 "lossreason")는 예를 들어 본 명세서에 설명된 하나 이상의 이유를 포함하여 세그먼트 손실의 원인(들)(예를 들어, 원인)을 나타낼 수 있다.
ViewportLoss 메트릭의 엔트리(예를 들어, 엔트리 "서버 오류")는 서버가 뷰포트 세그먼트 요청(예를 들어, 특정 뷰포트 세그먼트 요청)을 이행하지 못하는 이유를 표시(예를 들어, 지정)할 수 있다. HTTP 응답 상태 5xx 서버 오류 코드 리스트가 사용될 수 있으며, 예를 들어, "Gateway Timeout"의 경우 504, "HTTP version not supported"의 경우 505 등이 사용될 수 있다. ViewportLoss 메트릭의 엔트리(예를 들어, 엔트리 "클라이언트 오류")는 클라이언트가 (예를 들어, 특정) 뷰포트 세그먼트를 요청할 때 클라이언트 오류를 표시(예를 들어, 지정)할 수 있다. HTTP 응답 상태 4xx 클라이언트 오류 코드 리스트가 사용될 수 있으며, 예를 들어, "Unauthorized"의 경우 401, "Not Found"의 경우 404 등이 사용될 수 있다. ViewportLoss 메트릭의 엔트리(예를 들어, 엔트리 "패킷 손실")는 sourceUrl과 관련된 하나 이상의 뷰포트 세그먼트 패킷이 목적지에 도달하지 못했음을 표시(예를 들어, 지정)할 수 있다. ViewportLoss 메트릭의 엔트리(예를 들어, 엔트리 "패킷 오류")는 sourceUrl과 관련된 하나 이상의 뷰포트 세그먼트 패킷이 유효하지 않음을 표시(예를 들어, 지정)할 수 있다. ViewportLoss 메트릭의 엔트리(예를 들어, 엔트리 "패킷 폐기")는 sourceUrl과 관련된 하나 이상의 뷰포트 세그먼트 패킷이 폐기됨을 표시(예를 들어, 지정)할 수 있다. ViewportLoss 메트릭의 엔트리(예를 들어, 엔트리 "오류(error)")는 상세한 (예를 들어, 더욱 상세한) 오류 메시지를 제공할 수 있다. 예를 들어, "error" 필드는 "Gateway Timeout"에 해당하는 504, ""HTTP version not supported"에 해당하는 505, "unauthorized"에 해당하는 401, "not found"에 해당하는 404 등과 같은 HTTP 응답 오류 코드를 제공할 수 있다. 본 명세서에 설명된 ViewportLoss 메트릭으로, 메트릭 서버는 VR 사용자 경험에 대한 네트워크 조건의 영향을 분석하고/하거나 근본 원인(들)을 추적할 수 있다.
디바이스(예를 들어, VR 디바이스)는 정밀도 및/또는 감도와 같은 HMD 관련 메트릭을 생성 및/또는 보고할 수 있다. 디바이스는 물리적 이동과 VR 도메인에서의 시각적 피드백 사이의 각도 위치 일관성을 도 단위로 나타내는 메트릭을 사용할 수 있다. 메트릭은 정밀도 메트릭을 포함할 수 있다. 표 13은 HMD 정밀도에 대한 보고의 예시적인 콘텐트를 도시한다. 디바이스 또는 메트릭 서버는 OP3 및/또는 OP5로부터 표 13에 포함된 정밀도 메트릭 및/또는 하나 이상의 엔트리를 도출할 수 있다.
| 키 | 타입 | 설명 | ||
| Precision | 리스트 | 재생 중 정밀도 측정 리스트. | ||
| Entry | 객체 | 하나의 정밀도 측정. | ||
| t | 실시간 | 측정 시간. | ||
| precision | 실수 | 도 단위의 각도 위치 일관성. | ||
예를 들어, 시각 t에서, 사용자의 머리는 좌표 A를 가리킬 수 있지만, 사용자에게 디스플레이되는 이미지는 좌표 B를 반영할 수 있다. 정밀도 메트릭은 차이(예를 들어, 좌표 B - 좌표 A)에 대응할 수 있다. 예를 들어, 사용자는 머리를 오른쪽으로 3도 움직일 수 있으며, HMD 상에 디스플레이되는 이미지는 사용자가 오른쪽으로 2.5도, 아래로 0.2도 움직였다고 반영할 수 있다. 정밀도 메트릭은 측정된 차이, 예를 들어 수평 0.5도 차이 및 수직 0.2도 차이를 나타낼 수 있다. 메트릭은 차이를 보고할 수 있다. 차이는 델타 좌표(예를 들어, 벡터)의 형태일 수 있다. 차이는 절대치 차이(예를 들어, 단일 값)의 형태일 수 있다. HMD 및/또는 제어기는 정밀도 메트릭을 제공할 수 있다. HMD는 VR 디바이스에 포함될 수 있다. 이러한 델타 값은 센서와 사용자 사이의 거리에 따라 달라질 수 있다.
디바이스는 미묘한 움직임을 감지하고 그 후에 사용자에게 피드백을 제공하기 위해 HMD 관성 센서의 능력을 나타내는 메트릭을 사용할 수 있다. 메트릭은 감도 메트릭을 포함할 수 있다. 표 14는 HMD 감도에 대한 보고의 예시적인 콘텐트를 도시한다. 디바이스 또는 메트릭 서버는 OP3 및/또는 OP5로부터 표 14에 포함된 감도 메트릭 및/또는 하나 이상의 엔트리를 도출할 수 있다.
| 키 | 타입 | 설명 | ||
| Sensitivity | 리스트 | 재생 중 감도 측정 리스트. | ||
| Entry | 객체 | 하나의 감도 측정. | ||
| t | 실시간 | 측정 시간. | ||
| sensitivity | 실수 | 도 단위의 감도. 이 값보다 작은 움직임은 HMD에서 검출하지 못할 수 있다. | ||
디바이스 및/또는 메트릭 서버는 다양한 방식으로 정밀도 및 감도를 사용할 수 있다. 콘텐트 제공자 또는 서버는 HMD의 정밀도 및/또는 감도에 기초하여 사용자 맞춤형 콘텐트 권장 사항(들)을 사용자에게 제공할 수 있다. 콘텐트 제공자, 서버 또는 디바이스는 VR 디바이스 모델/브랜드 레벨에서 정밀도 및/또는 감도 메트릭을 수집하고/하거나 메트릭을 제조사(예를 들어, VR 디바이스의)와 공유하여 문제를 해결 및/또는 디바이스를 개선할 수 있다.
디바이스(예를 들어, VR 디바이스)는 PER 메시지로서 정밀도 및/또는 감도를 전송할 수 있다. DANE는 정밀도 및/또는 감도 메시지를 DASH 클라이언트(예를 들어, VR 디바이스를 포함함)에 전송할 수 있다. 디바이스 또는 DANE는 선택된 콘텐트에 대한 적절한 정밀도/감도 설정을 구성 가능한 HMD에 전송할 수 있다. 선택된 콘텐트에 대한 시청자의 시청 경험이 향상될 수 있다. 표 15는 정밀도 메시지의 예시적인 콘텐트를 도시한다. 표 16은 감도 메시지의 예시적인 콘텐트를 도시한다.
| 파라미터 | 타입 | 기수 | 설명 | |
| Precision | 객체 | 1 | ||
| t | 미디어 시간 | 1 | 정밀도 설정에 해당하는 시간. | |
| precision | 실수 | 1 | 도 단위의 각도 위치 일관성. | |
| 파라미터 | 타입 | 기수 | 설명 | |
| Sensitivity | 객체 | 1 | ||
| t | 미디어 시간 | 1 | 감도 설정에 해당하는 시간. | |
| sensitivity | 실수 | 1 | 도 단위의 감도. 이 값보다 작은 움직임은 HMD에서 무시될 것이다. | |
디바이스(예를 들어, VR 디바이스)는 ROI 관련 메시지를 생성할 수 있다. ROI 메시지는 PER 타입일 수 있다. ROI 메시지는 시청자에게 원하는 ROI를 나타낼 수 있다. DASH 클라이언트는 원하는 ROI를 미리 프리 페치할 수 있다. ROI 메시지는 원하는 ROI를 미리 프리 페치하도록 DASH 클라이언트에 나타낼 수 있다. ROI는 시간에 따라 달라질 수 있다. 디바이스 또는 콘텐트 제공자는 뷰포트 뷰 통계로부터 ROI를 추론할 수 있다. 디바이스 또는 콘텐트 제공자는 ROI(예를 들어, 디렉터스 컷)를 지시할 수 있다. 디바이스 또는 콘텐트 제공자는 실시간 분석에 기초하여 ROI를 결정할 수 있다. DANE는 ROI 정보를 PER 메시지로서 DASH 클라이언트에 전송할 수 있다. ROI 정보에 기초하여, DASH 클라이언트는 서버로부터 페치할 타일/세그먼트/바이트 범위를 결정할 수 있다. 예를 들어, 디바이스 또는 메트릭 서버는 OP4로부터 ROI 메시지를 도출할 수 있다.
ROI는 매력, 중요성 또는 품질(예를 들어, 사용자가 미리 결정을 내리기 위한 힌트) 측면에서 우선 순위가 높은 VR 영역을 나타낼 수 있다. 사용자는 정면을 지속적으로 볼 수 있다. ROI 메시지를 사용하면, 사용자가 다른 영역을 보도록 유도할 수 있지만, 사용자는 여전히 비디오의 정면을 볼 수 있다.
DANE는 프리 페칭 및 개선된 캐싱 성능을 위해 PED 메시지로서 ROI 정보를 수신할 수 있다. PED 메시지에서, ROI가 제공되면, DANE는 페치될 타일/세그먼트/바이트 범위를 결정할 수 있다. PED 메시지에서, 특정 URL(들)이 제공될 수 있다. ROI 정보 메시지는 DANE에서 다른 DANE로 전송될 수 있다. 표 17은 ROI 정보 메시지의 예시적인 콘텐트를 도시한다.
| 파라미터 | 타입 | 기수 | 설명 | |
| ROI | 객체 | 1 | ||
| t | 미디어 시간 | 1 | ROI 설정에 해당하는 시간. | |
| ROI | 뷰포트 | 1 | 관심 영역. | |
ROI 정보는 타이밍 메타 데이터 트랙 또는 이벤트 스트림 요소로 전달될 수 있다.
도 17은 DANE와 DASH 클라이언트 사이 또는 DASH 클라이언트와 메트릭 서버 사이의 SAND 메시지의 메시지 흐름을 도시한다. DANE(1704)(예를 들어, 오리진 서버)는 비디오 세그먼트를 DANE(1706)(예를 들어, CDN/캐시)에 전송할 수 있다. DANE(1706)(예를 들어, CDN/캐시)는 비디오 세그먼트를 DASH 클라이언트(1708)에 전송할 수 있다. DASH 클라이언트(1708)는 메트릭을 메트릭 서버(1702)에 전송할 수 있다. 메트릭은 ViewportViews, RenderingDevice, ViewportSwitchingLatency, InitialLatency, SettlingLatency, 6DoFCoordinates, GazeData, FrameRate, Precision, Sensitivity 등 중 하나 이상을 포함할 수 있다. DANE(1704)(예를 들어, 오리진 서버)는 정보(예를 들어, initialRenderingOrientation, Precision, Sensitivity, ROI, 등)를 DASH 클라이언트(1708)에 전송할 수 있다. DANE(1706)(예를 들어, CDN/캐시)는 정보(예를 들어, initialRenderingOrientation, Precision, Sensitivity, ROI, 등)를 DASH 클라이언트(1708)에 전송할 수 있다. DASH 클라이언트(1708)는 DANE(1706)(예를 들어, CDN/캐시) 또는 DANE(1704)(예를 들어, 오리진 서버)에 정보(예를 들어, RenderingDevice, ViewportSwitchingLatency, FrameRate 등)를 전송할 수 있다.
디바이스는 메트릭 서버(들) 상에서의 분석 및/또는 계산을 위해 본 명세서의 메트릭 및/또는 메트릭의 변화를 검출, 도출하고/하거나 메트릭 서버(들)에 보고할 수 있다. VR 디바이스, 메트릭 서버 및/또는 제어기는 검출, 도출, 분석 및/또는 계산 중 하나 이상을 수행할 수 있다.
특징들 및 요소들이 특정한 조합으로 앞서 설명되었지만, 각각의 특징 또는 요소는 단독으로 사용될 수 있거나, 다른 특징들 및 요소들과 임의의 조합으로 사용될 수 있다는 것을 관련 기술 분야의 당업자는 이해할 것이다. 게다가, 본 명세서에서 설명된 방법은, 컴퓨터 또는 프로세서에 의한 실행을 위해 컴퓨터 판독 가능 매체에 통합된 컴퓨터 프로그램, 소프트웨어 또는 펌웨어로 구현될 수 있다. 컴퓨터 판독 가능 매체의 예에는 전자 신호(유무선 연결에 의해 송신됨) 및 컴퓨터 판독 가능 저장 매체를 포함할 수 있다. 컴퓨터 판독 가능 저장 매체의 예에는 읽기 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 디바이스, 내부 하드 디스크와 제거형 디스크와 같은 자기 매체, 광자기 매체, 및 CD-ROM 디스크, 디지털 다용도 디스크(digital versatile disk; DVD)와 같은 광학 매체가 포함될 수 있지만, 이에 한정되는 것은 아니다. WTRU, UE, 단말기, 기지국, RNC, 또는 임의의 호스트 컴퓨터에서 사용하기 위한 무선 주파수 트랜시버를 구현하기 위해 소프트웨어와 관련된 프로세서가 사용될 수 있다.
Claims (15)
- 미디어 콘텐트를 수신 및 디스플레이하기 위한 디바이스에 있어서,
상기 디바이스는 프로세서를 포함하고,
상기 프로세서는,
네트워크 액세스 컴포넌트에 커플링된 제1 인터페이스 관측점(observation point; OP)1 - 상기 제1 인터페이스 OP1은 상기 네트워크 액세스 컴포넌트로부터 제1 메트릭 데이터를 수신하도록 구성되고, 상기 제1 메트릭 데이터는 네트워크로부터 HTTP를 통한 동적 적응형 스트리밍(dynamic adaptive streaming over HTTP; DASH) 비디오 세그먼트들을 요청 및 수신하는 것과 연관됨 - ,
미디어 처리 컴포넌트에 커플링된 제2 인터페이스 OP2 - 상기 제2 인터페이스 OP2는 상기 미디어 처리 컴포넌트로부터 제2 메트릭 데이터를 수신하도록 구성되고, 상기 제2 메트릭 데이터는 상기 네트워크로부터 수신된 상기 DASH 비디오 세그먼트들을 디코딩하는 것과 연관됨 - ,
센서 컴포넌트에 커플링된 제3 인터페이스 OP3 - 상기 제3 인터페이스 OP3는 상기 센서 컴포넌트로부터 사용자의 방향(orientation)과 연관된 제3 메트릭 데이터를 수신하도록 구성됨 - ,
렌더링 컴포넌트에 커플링된 제4 인터페이스 OP4 - 상기 제4 인터페이스 OP4는 상기 렌더링 컴포넌트로부터 상기 디코딩된 DASH 비디오 세그먼트들을 렌더링하는 것과 연관된 제4 메트릭 데이터를 수신하도록 구성됨 - , 및
제어 컴포넌트에 커플링된 제5 인터페이스 OP5 - 상기 제5 인터페이스 OP5는 상기 제어 컴포넌트로부터 상기 디바이스에 대응하는 구성 파라미터들과 연관된 제5 메트릭 데이터를 수신하도록 구성됨 - ,
에 커플링되고;
DASH 비디오 세그먼트들을 요청 및 수신하는 것과 연관된 상기 제1 메트릭 데이터, 상기 네트워크로부터 수신된 상기 DASH 비디오 세그먼트들을 디코딩하는 것과 연관된 상기 제2 메트릭 데이터, 상기 사용자의 방향과 연관된 상기 제3 메트릭 데이터, 상기 디코딩된 DASH 비디오 세그먼트들을 렌더링하는 것과 연관된 상기 제4 메트릭 데이터, 또는 상기 디바이스에 대응하는 구성 파라미터들과 연관된 상기 제5 메트릭 데이터 중 적어도 하나에 기초하여, 하나 이상의 시청 관련(viewing-related) 메트릭을 생성하고; 그리고
메트릭 서버로 상기 하나 이상의 시청 관련 메트릭을 전송
하도록 구성되는 것인, 미디어 콘텐트를 수신 및 디스플레이하기 위한 디바이스. - 제 1 항에 있어서,
상기 디바이스는 상기 제1 인터페이스 OP1, 상기 제2 인터페이스 OP2, 상기 제3 인터페이스 OP3, 상기 제4 인터페이스 OP4, 및 상기 제5 인터페이스 OP5를 포함하고, 상기 프로세서는 메트릭 처리 컴포넌트를 포함하고, 상기 메트릭 처리 컴포넌트는 상기 제1 인터페이스 OP1, 상기 제2 인터페이스 OP2, 상기 제3 인터페이스 OP3, 상기 제4 인터페이스 OP4, 및 상기 제5 인터페이스 OP5에 커플링되고, 상기 하나 이상의 시청 관련 메트릭은 상기 메트릭 처리 컴포넌트에 의해 생성되는 것인, 미디어 콘텐트를 수신 및 디스플레이하기 위한 디바이스. - 제 1 항에 있어서,
상기 하나 이상의 시청 관련 메트릭은 상기 네트워크로부터 상기 DASH 비디오 세그먼트들을 요청 및 수신하는 것과 연관된 상기 제1 메트릭 데이터, 상기 네트워크로부터 수신된 상기 DASH 비디오 세그먼트들을 디코딩하는 것과 연관된 상기 제2 메트릭 데이터, 상기 사용자의 방향과 연관된 상기 제3 메트릭 데이터, 상기 디코딩된 DASH 비디오 세그먼트들을 렌더링하는 것과 연관된 상기 제4 메트릭 데이터, 또는 상기 디바이스에 대응하는 구성 파라미터들과 연관된 상기 제5 메트릭 데이터 중 적어도 둘을 사용하여 생성되는 것인, 미디어 콘텐트를 수신 및 디스플레이하기 위한 디바이스. - 제 1 항에 있어서,
상기 하나 이상의 시청 관련 메트릭은 레이턴시 메트릭을 포함하는 것인, 미디어 콘텐트를 수신 및 디스플레이하기 위한 디바이스. - 제 4 항에 있어서,
상기 레이턴시 메트릭은 뷰포트 스위칭 레이턴시, 품질 뷰포트 스위칭 레이턴시, 초기 레이턴시, 및 정착(settling) 레이턴시로 구성된 그룹으로부터 선택되는 것인, 미디어 콘텐트를 수신 및 디스플레이하기 위한 디바이스. - 제 1 항에 있어서,
상기 하나 이상의 시청 관련 메트릭은 뷰포트 뷰, 뷰포트 일치(match), 및 뷰포트 손실(loss)로 구성된 그룹으로부터 선택되는 것인, 미디어 콘텐트를 수신 및 디스플레이하기 위한 디바이스. - 제 1 항에 있어서,
상기 네트워크 액세스 컴포넌트는 통신 네트워크를 통해 상기 제1 인터페이스 OP1, 상기 제2 인터페이스 OP2, 상기 제3 인터페이스 OP3, 상기 제4 인터페이스 OP4, 및 상기 제5 인터페이스 OP5 중 적어도 하나에 커플링되는 것인, 미디어 콘텐트를 수신 및 디스플레이하기 위한 디바이스. - 제 1 항에 있어서,
상기 디바이스는 가상 현실 클라이언트 디바이스를 포함하는 것인, 미디어 콘텐트를 수신 및 디스플레이하기 위한 디바이스. - 미디어 콘텐트를 수신 및 디스플레이하기 위한 디바이스에 있어서,
센서 컴포넌트에 커플링된 제1 인터페이스 - 상기 제1 인터페이스는 상기 센서 컴포넌트로부터 사용자의 방향과 연관된 제1 메트릭 데이터를 수신하도록 구성됨 - ;
렌더링 컴포넌트에 커플링된 제2 인터페이스 - 상기 제2 인터페이스는 상기 렌더링 컴포넌트로부터 HTTP를 통한 동적 적응형 스트리밍(dynamic adaptive streaming over HTTP; DASH) 비디오 세그먼트들을 렌더링하는 것과 연관된 제2 메트릭 데이터를 수신하도록 구성됨 - ; 및
프로세서를 포함하고,
상기 프로세서는,
상기 센서 컴포넌트에 커플링된 상기 제1 인터페이스를 통해 상기 사용자의 방향과 연관된 상기 제1 메트릭 데이터를 수신하고,
상기 렌더링 컴포넌트에 커플링된 상기 제2 인터페이스를 통해 상기 DASH 비디오 세그먼트들을 렌더링하는 것과 연관된 상기 제2 메트릭 데이터를 수신하고,
상기 사용자의 방향과 연관된 상기 제1 메트릭 데이터 및 상기 DASH 비디오 세그먼트들을 렌더링하는 것과 연관된 상기 제2 메트릭 데이터에 기초하여 레이턴시 메트릭을 생성하고, 그리고
메트릭 서버로 상기 레이턴시 메트릭을 전송
하도록 구성되는 것인, 미디어 콘텐트를 수신 및 디스플레이하기 위한 디바이스. - 제 9 항에 있어서,
상기 디바이스는 또한,
네트워크 액세스 컴포넌트에 커플링된 제3 인터페이스 - 상기 제3 인터페이스는 상기 네트워크 액세스 컴포넌트로부터 제3 메트릭 데이터를 수신하도록 구성되고, 상기 제3 메트릭 데이터는 네트워크로부터 상기 DASH 비디오 세그먼트들을 요청 및 수신하는 것과 연관됨 - ;
미디어 처리 컴포넌트에 커플링된 제4 인터페이스 - 상기 제4 인터페이스는 상기 미디어 처리 컴포넌트로부터 제4 메트릭 데이터를 수신하도록 구성되고, 상기 제4 메트릭 데이터는 상기 네트워크로부터 수신된 상기 DASH 비디오 세그먼트들을 디코딩하는 것과 연관됨 - ; 및
제어 컴포넌트에 커플링된 제5 인터페이스 - 상기 제5 인터페이스는 상기 제어 컴포넌트로부터 상기 디바이스에 대응하는 구성 파라미터들과 연관된 제5 메트릭 데이터를 수신하도록 구성됨 -
중 적어도 하나를 포함하고,
상기 레이턴시 메트릭은, 상기 네트워크로부터 상기 DASH 비디오 세그먼트들을 요청 및 수신하는 것과 연관된 상기 제3 메트릭 데이터, 상기 네트워크로부터 수신된 상기 DASH 비디오 세그먼트들을 디코딩하는 것과 연관된 상기 제4 메트릭 데이터, 및 상기 디바이스에 대응하는 구성 파라미터들과 연관된 상기 제5 메트릭 데이터 중 적어도 하나에도 또한 기초하여 생성되는 것인, 미디어 콘텐트를 수신 및 디스플레이하기 위한 디바이스. - 제 9 항에 있어서,
상기 레이턴시 메트릭은 비교 가능한(comparable) 품질 뷰포트 스위칭 레이턴시를 포함하는 것인 것인, 미디어 콘텐트를 수신 및 디스플레이하기 위한 디바이스. - 디바이스에 의해 수행되는 미디어 콘텐트를 수신 및 디스플레이하기 위한 방법에 있어서,
네트워크로부터 HTTP를 통한 동적 적응형 스트리밍(dynamic adaptive streaming over HTTP; DASH) 비디오 세그먼트들을 요청 및 수신하는 것과 연관된 제1 메트릭 데이터, 상기 네트워크로부터 수신된 상기 DASH 비디오 세그먼트들을 디코딩하는 것과 연관된 제2 메트릭 데이터, 사용자의 방향과 연관된 제3 메트릭 데이터, 상기 디코딩된 DASH 비디오 세그먼트들을 렌더링하는 것과 연관된 제4 메트릭 데이터, 또는 상기 디바이스에 대응하는 구성 파라미터들과 연관된 제5 메트릭 데이터 중 적어도 하나에 기초하여, 하나 이상의 시청 관련(viewing-related) 메트릭을 생성하는 단계 - 상기 디바이스는 제1 인터페이스 관측점(observation point; OP)1, 제2 인터페이스 OP2, 제3 인터페이스 OP3, 제4 인터페이스 OP4, 및 제5 인터페이스 OP5를 포함하고, 상기 제1 인터페이스 OP1은 네트워크 액세스 컴포넌트에 커플링되고 상기 네트워크 액세스 컴포넌트로부터 상기 제1 메트릭 데이터를 수신하도록 구성되고, 상기 제1 메트릭 데이터는 상기 네트워크로부터 상기 DASH 비디오 세그먼트들을 요청 및 수신하는 것과 연관되고, 상기 제2 인터페이스 OP2는 미디어 처리 컴포넌트에 커플링되고 상기 미디어 처리 컴포넌트로부터 상기 제2 메트릭 데이터를 수신하도록 구성되고, 상기 제2 메트릭 데이터는 상기 네트워크로부터 수신된 상기 DASH 비디오 세그먼트들을 디코딩하는 것과 연관되고, 상기 제3 인터페이스 OP3는 센서 컴포넌트에 커플링되고 상기 센서 컴포넌트로부터 상기 사용자의 방향과 연관된 상기 제3 메트릭 데이터를 수신하도록 구성되고, 상기 제4 인터페이스 OP4는 렌더링 컴포넌트에 커플링되고 상기 렌더링 컴포넌트로부터 상기 디코딩된 DASH 비디오 세그먼트들을 렌더링하는 것과 연관된 상기 제4 메트릭 데이터를 수신하도록 구성되고, 상기 제5 인터페이스 OP5는 제어 컴포넌트에 커플링되고 상기 제어 컴포넌트로부터 상기 디바이스에 대응하는 구성 파라미터들과 연관된 상기 제5 메트릭 데이터를 수신하도록 구성됨 - ; 및
메트릭 서버로 상기 하나 이상의 시청 관련 메트릭을 전송하는 단계
를 포함하는 미디어 콘텐트를 수신 및 디스플레이하기 위한 방법. - 제 12 항에 있어서,
상기 하나 이상의 시청 관련 메트릭은 상기 네트워크로부터 상기 DASH 비디오 세그먼트들을 요청 및 수신하는 것과 연관된 상기 제1 메트릭 데이터, 상기 네트워크로부터 수신된 상기 DASH 비디오 세그먼트들을 디코딩하는 것과 연관된 상기 제2 메트릭 데이터, 상기 사용자의 방향과 연관된 상기 제3 메트릭 데이터, 상기 디코딩된 DASH 비디오 세그먼트들을 렌더링하는 것과 연관된 상기 제4 메트릭 데이터, 또는 상기 디바이스에 대응하는 구성 파라미터들과 연관된 상기 제5 메트릭 데이터 중 적어도 둘을 사용하여 생성되는 것인, 미디어 콘텐트를 수신 및 디스플레이하기 위한 방법. - 제 12 항에 있어서,
상기 하나 이상의 시청 관련 메트릭은 레이턴시 메트릭을 포함하는 것인, 미디어 콘텐트를 수신 및 디스플레이하기 위한 방법. - 제 14 항에 있어서,
상기 레이턴시 메트릭은 뷰포트 스위칭 레이턴시, 품질 뷰포트 스위칭 레이턴시, 초기 레이턴시, 및 정착(settling) 레이턴시로 구성된 그룹으로부터 선택되는 것인, 미디어 콘텐트를 수신 및 디스플레이하기 위한 방법.
Applications Claiming Priority (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762475563P | 2017-03-23 | 2017-03-23 | |
| US62/475,563 | 2017-03-23 | ||
| US201762525065P | 2017-06-26 | 2017-06-26 | |
| US62/525,065 | 2017-06-26 | ||
| US201862636795P | 2018-02-28 | 2018-02-28 | |
| US62/636,795 | 2018-02-28 | ||
| PCT/US2018/023971 WO2018175855A1 (en) | 2017-03-23 | 2018-03-23 | Metrics and messages to improve experience for 360-degree adaptive streaming |
| KR1020197027607A KR102314172B1 (ko) | 2017-03-23 | 2018-03-23 | 360도 적응형 스트리밍에 대한 경험을 개선하기 위한 메트릭 및 메시지 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197027607A Division KR102314172B1 (ko) | 2017-03-23 | 2018-03-23 | 360도 적응형 스트리밍에 대한 경험을 개선하기 위한 메트릭 및 메시지 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210126794A true KR20210126794A (ko) | 2021-10-20 |
| KR102391126B1 KR102391126B1 (ko) | 2022-04-27 |
Family
ID=61966077
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217032830A KR102391126B1 (ko) | 2017-03-23 | 2018-03-23 | 360도 적응형 스트리밍에 대한 경험을 개선하기 위한 메트릭 및 메시지 |
| KR1020197027607A KR102314172B1 (ko) | 2017-03-23 | 2018-03-23 | 360도 적응형 스트리밍에 대한 경험을 개선하기 위한 메트릭 및 메시지 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197027607A KR102314172B1 (ko) | 2017-03-23 | 2018-03-23 | 360도 적응형 스트리밍에 대한 경험을 개선하기 위한 메트릭 및 메시지 |
Country Status (8)
| Country | Link |
|---|---|
| US (3) | US11166072B2 (ko) |
| EP (2) | EP3603006B1 (ko) |
| JP (3) | JP6872631B2 (ko) |
| KR (2) | KR102391126B1 (ko) |
| CN (2) | CN110622483B (ko) |
| FI (1) | FI3603006T3 (ko) |
| IL (1) | IL269519B (ko) |
| WO (1) | WO2018175855A1 (ko) |
Families Citing this family (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018049221A1 (en) | 2016-09-09 | 2018-03-15 | Vid Scale, Inc. | Methods and apparatus to reduce latency for 360-degree viewport adaptive streaming |
| GB2554877B (en) * | 2016-10-10 | 2021-03-31 | Canon Kk | Methods, devices, and computer programs for improving rendering display during streaming of timed media data |
| FI3603006T3 (fi) * | 2017-03-23 | 2024-06-18 | Vid Scale Inc | Metriikat ja sanomat kokemuksen parantamiseen 360 asteen adaptiivista striimausta varten |
| CN116723338A (zh) | 2018-03-22 | 2023-09-08 | Vid拓展公司 | 用于全向视频的等待时间报告方法和系统 |
| CN111869222B (zh) * | 2018-03-22 | 2022-05-17 | 华为技术有限公司 | 基于http的dash客户端网元、方法及介质 |
| WO2019199379A1 (en) * | 2018-04-13 | 2019-10-17 | Futurewei Technologies, Inc. | Immersive media metrics for virtual reality content with multiple viewpoints |
| US11917127B2 (en) | 2018-05-25 | 2024-02-27 | Interdigital Madison Patent Holdings, Sas | Monitoring of video streaming events |
| US11659222B2 (en) * | 2018-08-14 | 2023-05-23 | Comcast Cable Communications, Llc | Adaptive multicast streaming |
| US10931979B2 (en) | 2018-10-18 | 2021-02-23 | At&T Intellectual Property I, L.P. | Methods, devices, and systems for decoding portions of video content according to a schedule based on user viewpoint |
| US11051206B2 (en) | 2018-10-31 | 2021-06-29 | Hewlett Packard Enterprise Development Lp | Wi-fi optimization for untethered multi-user virtual reality |
| US10846042B2 (en) * | 2018-10-31 | 2020-11-24 | Hewlett Packard Enterprise Development Lp | Adaptive rendering for untethered multi-user virtual reality |
| WO2020116154A1 (ja) * | 2018-12-03 | 2020-06-11 | ソニー株式会社 | 情報処理装置および方法 |
| CN118573920A (zh) * | 2019-01-24 | 2024-08-30 | 交互数字Vc控股公司 | 用于自适应空间内容流传输的方法和装置 |
| CA3130880C (en) | 2019-02-25 | 2024-01-02 | Niantic, Inc. | Augmented reality mobile edge computing |
| US12101453B2 (en) | 2019-03-20 | 2024-09-24 | Beijing Xiaomi Mobile Software Co., Ltd. | Method and device for transmitting viewpoint switching capabilities in a VR360 application |
| WO2020198164A1 (en) * | 2019-03-26 | 2020-10-01 | Pcms Holdings, Inc. | System and method for multiplexed rendering of light fields |
| WO2020201632A1 (en) * | 2019-04-05 | 2020-10-08 | Nokia Technologies Oy | An apparatus, a method and a computer program for omnidirectional video |
| US11012675B2 (en) | 2019-04-16 | 2021-05-18 | At&T Intellectual Property I, L.P. | Automatic selection of viewpoint characteristics and trajectories in volumetric video presentations |
| US10970519B2 (en) | 2019-04-16 | 2021-04-06 | At&T Intellectual Property I, L.P. | Validating objects in volumetric video presentations |
| US11153492B2 (en) | 2019-04-16 | 2021-10-19 | At&T Intellectual Property I, L.P. | Selecting spectator viewpoints in volumetric video presentations of live events |
| US11074697B2 (en) | 2019-04-16 | 2021-07-27 | At&T Intellectual Property I, L.P. | Selecting viewpoints for rendering in volumetric video presentations |
| CN114375583A (zh) * | 2019-07-23 | 2022-04-19 | Pcms控股公司 | 用于自适应小透镜光场传输和渲染的系统和方法 |
| US11303956B2 (en) * | 2019-09-11 | 2022-04-12 | Verizon Patent And Licensing Inc. | Systems and methods for internet protocol tuning |
| US11729243B2 (en) * | 2019-09-20 | 2023-08-15 | Intel Corporation | Dash-based streaming of point cloud content based on recommended viewports |
| US10893218B1 (en) | 2019-09-20 | 2021-01-12 | Gopro, Inc. | Systems and methods for generating panoramic visual content |
| US11297387B2 (en) | 2019-09-24 | 2022-04-05 | Verizon Patent And Licensing Inc. | Systems and methods for digital video recording of internet protocol content |
| CN111265863B (zh) * | 2020-01-17 | 2022-05-24 | 腾讯科技（深圳）有限公司 | 一种目标对象的位置纠正方法、装置、设备及介质 |
| JP7504632B2 (ja) | 2020-03-13 | 2024-06-24 | キヤノン株式会社 | 電子機器及びその制御方法 |
| JP7512055B2 (ja) * | 2020-03-13 | 2024-07-08 | キヤノン株式会社 | 電子機器及びその制御方法 |
| CN115225937B (zh) * | 2020-03-24 | 2023-12-01 | 腾讯科技（深圳）有限公司 | 沉浸式媒体提供方法、获取方法、装置、设备及存储介质 |
| CN113452474B (zh) * | 2020-03-27 | 2022-12-02 | 华为技术有限公司 | 扩展现实数据传输方法及装置 |
| US20210304705A1 (en) * | 2020-03-27 | 2021-09-30 | Samsung Electronics Co., Ltd. | Image display apparatus and method for managing data packet loss |
| US11303849B2 (en) * | 2020-03-30 | 2022-04-12 | Tencent America LLC | Signaling of the RTCP viewport feedback for immersive teleconferencing and telepresence for remote terminals |
| US20240033624A1 (en) * | 2020-07-20 | 2024-02-01 | Telefonaktiebolaget Lm Ericsson (Publ) | 5g optimized game rendering |
| CN114125499A (zh) * | 2020-09-01 | 2022-03-01 | 中兴通讯股份有限公司 | 虚拟现实视频处理方法及其终端、服务器及存储介质 |
| US11743442B2 (en) * | 2020-11-09 | 2023-08-29 | Tencent America LLC | Bitstream structure for immersive teleconferencing and telepresence for remote terminals |
| WO2022117185A1 (en) * | 2020-12-03 | 2022-06-09 | Nokia Technologies Oy | Methods, user equipment and apparatus for controlling vr image in a communication network |
| KR20230117447A (ko) * | 2020-12-15 | 2023-08-08 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 시각적 콘텐츠의 스트리밍을 위한 클라이언트-서버통신 |
| US11677840B2 (en) * | 2021-01-11 | 2023-06-13 | Cisco Technology, Inc. | Preserving transmission properties of real-time scenes in an environment when an increasing number of users join a session |
| CN112866669B (zh) * | 2021-01-15 | 2023-09-15 | 聚好看科技股份有限公司 | 一种数据切换时间确定方法及设备 |
| CN113065240B (zh) * | 2021-03-19 | 2023-04-07 | 成都安智杰科技有限公司 | 一种自适应巡航仿真方法、装置、电子设备和存储介质 |
| US11882169B1 (en) * | 2021-06-04 | 2024-01-23 | PicsArt, Inc. | Adaptive media streaming |
| US11394758B1 (en) * | 2021-07-02 | 2022-07-19 | Rovi Guides, Inc. | Systems and methods for selecting a local device in a collaborative environment |
| US11930059B2 (en) * | 2021-11-05 | 2024-03-12 | Tencent America LLC | Immersive media streaming prioritized by frequency of asset reuse |
| KR20230094695A (ko) * | 2021-12-21 | 2023-06-28 | 한국전자통신연구원 | 멀티뷰 스트림을 위한 적응적 스트리밍 처리 방법 및 장치 |
| US20230291781A1 (en) * | 2022-03-11 | 2023-09-14 | Qualcomm Incorporated | Techniques for multimedia uplink packet handling |
| WO2023194648A1 (en) * | 2022-04-08 | 2023-10-12 | Nokia Technologies Oy | A method, an apparatus and a computer program product for media streaming of immersive media |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150004394A (ko) * | 2012-04-24 | 2015-01-12 | 브이아이디 스케일, 인크. | Mpeg/3gpp-dash에서의 원활한 스트림 스위칭을 위한 방법 및 장치 |
| KR20170123656A (ko) * | 2015-05-27 | 2017-11-08 | 구글 엘엘씨 | 구면 영상 스트리밍 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101872243B (zh) * | 2010-06-13 | 2012-10-10 | 上海杰图软件技术有限公司 | 一种实现跟随现实空间方向的360°全景播放系统及其方法 |
| EP2805523B1 (en) | 2012-01-19 | 2019-03-27 | VID SCALE, Inc. | Methods and systems for video delivery supporting adaption to viewing conditions |
| US9246842B2 (en) | 2012-04-27 | 2016-01-26 | Intel Corporation | QoE-aware radio access network architecture for http-based video streaming |
| CN103293689B (zh) * | 2013-05-31 | 2015-05-13 | 京东方科技集团股份有限公司 | 一种可在不同显示模式之间切换的方法和显示装置 |
| CN110620893A (zh) | 2013-08-29 | 2019-12-27 | Vid拓展公司 | 第一无线发射/接收单元（wtru）及由第一wtru执行的方法 |
| GB2523554B (en) * | 2014-02-26 | 2020-12-09 | Sony Interactive Entertainment Inc | Head-mountable apparatus and systems |
| GB2536025B (en) * | 2015-03-05 | 2021-03-03 | Nokia Technologies Oy | Video streaming method |
| JP6359993B2 (ja) * | 2015-03-09 | 2018-07-18 | 日本電信電話株式会社 | 映像配信方法、映像配信装置及び映像配信プログラム |
| US11095537B2 (en) * | 2015-06-19 | 2021-08-17 | Qualcomm Incorporated | Middleware delivery of dash client QoE metrics |
| WO2018049221A1 (en) * | 2016-09-09 | 2018-03-15 | Vid Scale, Inc. | Methods and apparatus to reduce latency for 360-degree viewport adaptive streaming |
| CN107888993B (zh) * | 2016-09-30 | 2020-11-06 | 华为技术有限公司 | 一种视频数据的处理方法及装置 |
| CN114928736B (zh) * | 2016-10-12 | 2024-04-19 | 弗劳恩霍夫应用研究促进协会 | 空间不均等流媒体化 |
| FI3603006T3 (fi) * | 2017-03-23 | 2024-06-18 | Vid Scale Inc | Metriikat ja sanomat kokemuksen parantamiseen 360 asteen adaptiivista striimausta varten |
-
2018
- 2018-03-23 FI FIEP18717479.2T patent/FI3603006T3/fi active
- 2018-03-23 JP JP2019552034A patent/JP6872631B2/ja active Active
- 2018-03-23 IL IL269519A patent/IL269519B/en unknown
- 2018-03-23 EP EP18717479.2A patent/EP3603006B1/en active Active
- 2018-03-23 WO PCT/US2018/023971 patent/WO2018175855A1/en unknown
- 2018-03-23 CN CN201880031651.3A patent/CN110622483B/zh active Active
- 2018-03-23 KR KR1020217032830A patent/KR102391126B1/ko active IP Right Grant
- 2018-03-23 US US16/496,670 patent/US11166072B2/en active Active
- 2018-03-23 KR KR1020197027607A patent/KR102314172B1/ko active IP Right Grant
- 2018-03-23 EP EP24162475.8A patent/EP4415354A2/en active Pending
- 2018-03-23 CN CN202211176352.3A patent/CN115766679A/zh active Pending
-
2021
- 2021-04-19 JP JP2021070513A patent/JP7333802B2/ja active Active
- 2021-10-20 US US17/505,982 patent/US11849178B2/en active Active
-
2023
- 2023-05-24 JP JP2023085403A patent/JP2023109935A/ja not_active Withdrawn
- 2023-12-18 US US18/543,660 patent/US20240129581A1/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150004394A (ko) * | 2012-04-24 | 2015-01-12 | 브이아이디 스케일, 인크. | Mpeg/3gpp-dash에서의 원활한 스트림 스위칭을 위한 방법 및 장치 |
| KR20170123656A (ko) * | 2015-05-27 | 2017-11-08 | 구글 엘엘씨 | 구면 영상 스트리밍 |
Non-Patent Citations (1)
| Title |
|---|
| Xavier Corbillon et al.,"Viewport-Adaptive Navigable 360-Degree Video Delivery",(2016.09) (URL:https://www.researchgate.net/publication/308647414_Viewport-Adaptive_Navigable_360-Degree_Video_Delivery). * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102391126B1 (ko) | 2022-04-27 |
| US11849178B2 (en) | 2023-12-19 |
| EP3603006B1 (en) | 2024-05-01 |
| US20220046320A1 (en) | 2022-02-10 |
| JP2023109935A (ja) | 2023-08-08 |
| US11166072B2 (en) | 2021-11-02 |
| JP2021114783A (ja) | 2021-08-05 |
| FI3603006T3 (fi) | 2024-06-18 |
| JP2020516122A (ja) | 2020-05-28 |
| US20240129581A1 (en) | 2024-04-18 |
| KR102314172B1 (ko) | 2021-10-20 |
| KR20190142765A (ko) | 2019-12-27 |
| JP6872631B2 (ja) | 2021-05-19 |
| IL269519A (en) | 2019-11-28 |
| CN110622483A (zh) | 2019-12-27 |
| IL269519B (en) | 2022-09-01 |
| WO2018175855A1 (en) | 2018-09-27 |
| EP4415354A2 (en) | 2024-08-14 |
| CN110622483B (zh) | 2022-10-18 |
| CN115766679A (zh) | 2023-03-07 |
| EP3603006A1 (en) | 2020-02-05 |
| US20200037029A1 (en) | 2020-01-30 |
| JP7333802B2 (ja) | 2023-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102314172B1 (ko) | 360도 적응형 스트리밍에 대한 경험을 개선하기 위한 메트릭 및 메시지 | |
| KR102509753B1 (ko) | 뷰포트 의존성 비디오 스트리밍 이벤트 | |
| US12108125B2 (en) | 360-degree video delivery over next generation network | |
| WO2021061725A1 (en) | Video-based point cloud streams | |
| US11917127B2 (en) | Monitoring of video streaming events |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E701 | Decision to grant or registration of patent right |