KR20220076496A

KR20220076496A - 뷰포트 의존성 비디오 스트리밍 이벤트

Info

Publication number: KR20220076496A
Application number: KR1020227014878A
Authority: KR
Inventors: 영 헤; 얀 예; 아흐메드 함자
Original assignee: 브이아이디 스케일, 인크.
Priority date: 2018-03-22
Filing date: 2019-03-20
Publication date: 2022-06-08
Also published as: EP3769539A1; KR102509753B1; KR102638415B1; WO2019183217A1; CN112219406B; KR102395395B1; CN112219406A; US11616942B2; US20210021806A1; KR20230039761A; CN116708847A; KR20210002475A; CN116723338A

Abstract

본원에 개시된 시스템 및 방법은 360도 비디오의 렌더링 및 그 렌더링의 품질 모니터링을 제공한다. 상기 비디오는 상이한 영역에 상이한 품질 레벨을 갖는 복수의 표현을 갖고 있다. 예시적 방법에서, 클라이언트 디바이스는 상기 360도 비디오에 대하여 뷰포트의 위치를 트래킹하고, 상기 표현의 선택된 세트를 상기 뷰포트에 렌더링한다. 상기 클라이언트는 상기 뷰포트 위치에 기초하여, 적응식으로, 표현을 상기 선택된 세트에 추가하고 그로부터 제거한다. 상기 클라이언트는 또한, 뷰포트 전환 레이턴시를 측정하고 보고한다. 일부 실시예에 있어서, 상기 뷰포트 전환 레이턴시는, 뷰포트 전환 후, 전환전 뷰포트 품질에 비견할만한 품질로 돌아가는데에 소요되는 시간을 나타내는 비견할만한-품질 뷰포트 전환 레이턴시이다.

Description

뷰포트 의존성 비디오 스트리밍 이벤트{VIEWPORT DEPENDENT VIDEO STREAMING EVENTS}

관련 출원에 대한 상호 참조

본 출원은, 모두 "뷰포트에 의존적인 비디오 스트리밍 이벤트"라는 명칭의 미국 가출원 번호 제62/646,750호(2018년 3월 22일 출원), 미국 가출원 번호 제62/693,177호(2018년 7월 2일 출원), 미국 가출원 번호 제62/699,501(2018년 7월 17일 출원) 및 미국 가출원 번호 제62/737,657호(2018년 9월 27일 출원)의 가출원이고, 이들 출원에 대하여 35 U.S.C.§119(e)의 이익을 주장하며, 이들 출원은 모두 그 전체가 참조로 본원에 통합된다.

360°비디오는 미디어 산업에서 떠오르고 있는 급속 성장 포맷이다. 360°비디오는 가상 현실(VR) 디바이스의 이용 가능성을 증가시키는 것에 의해 가능하게 되고, 뷰어(viewer)에게 새로운 존재감을 제공할 수 있다. 종래의 직선적(rectilinear) 비디오(2D 또는 3D)와 비교하여, 360°비디오는 비디오 프로세싱 및 전달시 새롭고 어려운 엔지니어링 도전 과제들의 세트를 부여한다. 안락한 몰입형 사용자 체험을 가능하게 하는 것은 높은 비디오 품질 및 매우 낮은 레이턴시(latency)를 필요로 하는 반면에, 대형 비디오 사이즈는 고품질로 360°비디오를 전달하는 데에 장애가 될 수 있다.

일부 실시예에 있어서, 전방향성 비디오 플레이어(omnidirectional video player)에 의해 수행되는 방법은, 전방향성 비디오의 일부를 뷰포트에 렌더링하는 것; 상기 뷰포트의 복수의 뷰포트 품질 측정치 및 연관된 측정 시간들을 기록하는 것(logging); 뷰포트 전환 이벤트를 검출하는 것; 상기 뷰포트 품질 측정치 중에서, (i) 선택된 전환전 측정 시간(pre-switch measurement time)이 상기 뷰포트 전환 이벤트 전의 미리결정된 전환전 간격(pre-switch interval) 내에 있고 (ii) 선택된 전환전 측정 시간과 연관된 뷰포트 품질 측정치가 상기 전환전 간격 내에 최대 뷰포트 품질 측정치가 되도록 전환전 측정 시간을 선택하는 것; 상기 뷰포트 품질 측정치 중에서, (i) 선택된 전환후 측정 시간(post-switch measurement time)이 상기 뷰포트 전환 이벤트 후의 미리결정된 전환후 간격(post-switch interval) 내에 있고 (ii) 선택된 전환후 측정 시간이 상기 전환전 간격 내의 최대 뷰포트 품질 측정치에 비견할만한(예컨대, 적어도 그 최대 뷰포트 품질 측정치만큼 큰) 연관된 뷰포트 품질 측정치를 갖도록 전환후 측정 시간을 선택하는 것; 레이턴시 값(latency value)을 보고하는 것을 포함하며, 상기 레이턴시 값은 상기 선택된 전환전 측정 시간과 상기 선택된 전환후 측정 시간 사이의 간격을 나타낸다.

일부 실시예에 있어서, 상기 전방향성 비디오는 복수의 서브-픽쳐(a plurality of sub-pictures)를 포함하고, 전방향성 비디오의 일부를 뷰포트에 렌더링하는 것은 상기 서브-픽쳐들 중 적어도 하나의 액티브 세트를 렌더링하는 것을 포함한다. 이러한 일부 실시예에 있어서, 뷰포트 전환 이벤트를 검출하는 것은 상기 액티브 세트에의 새로운 서브-픽쳐의 추가를 검출하는 것을 포함한다. 일부 실시예에 있어서, 상기 액티브 세트 내의 각각의 서브-픽쳐는 서브-픽쳐 품질 레벨과 연관되고, 상기 뷰포트 품질 측정치는 상기 액티브 세트 내의 서브-픽쳐의 서브-픽쳐 품질 레벨에 기초하여 결정된다. 예컨대, 상기 뷰포트 품질 측정치는 상기 액티브 세트 내의 서브-픽쳐의 품질 레벨의 가중 평균(weighted average)을 이용하여 계산될 수도 있고, 상기 품질 레벨은 상기 각각의 서브-픽쳐에 의해 커버되는 상기 뷰포트의 에어리어에 의해 가중된다.

일부 실시예에 있어서, 상기 플레이어는 상기 전환전 간격의 지속 시간(duration) M과 상기 전환후 간격의 지속 시간 N을 상기 레이턴시와 함께 보고한다. 일부 실시예에 있어서, 상기 플레이어는 사용되는 M 및 N의 값들의 지시를 서버로부터 수신한다.

일부 실시예에 있어서, 상기 복수의 뷰포트 품질 측정치 및 연관된 측정 시간의 기록은 주기적으로 수행된다. 그 주기는 상기 전환전 간격 및 전환후 간격의 최소값보다 작을 수 있다.

일부 실시예에 있어서, 상기 플레이어는 상기 선택된 전환전 측정 시간과 연관된 상기 뷰포트 품질 측정치 및 상기 선택된 전환후 측정 시간과 연관된 상기 뷰포트 품질 측정치를 보고한다.

일부 실시예에 있어서, 상기 선택된 전환전 측정 시간은, 상기 전환전 간격 내의 최대 뷰포트 품질 측정치와 동일한 연관된 뷰포트 품질 측정치를 갖는 가장 최근의(latest) 전환전 측정 시간이다. 일부 실시예에 있어서, 상기 선택된 전환후 측정 시간은, 상기 전환전 간격 내의 상기 최대 뷰포트 품질 측정치만큼 적어도 큰 연관된 뷰포트 품질 측정치를 갖는 가장 이른(earliest) 전환후 측정 시간이다.

추가의 실시예는 본원에서 설명한 실시예를 수행하도록 작동하는 플레이어 디바이스를 포함한다. 일부 실시예에 있어서, 플레이어 디바이스 또는 기타 시스템은 프로세서, 디스플레이, 그리고 상기 프로세서 상에서 실행되어 본원에서 설명한 방법을 수행할 때에 작동하는 명령어를 저장하는 비-일시적 컴퓨터-판독가능 저장 매체를 포함한다.

도 1a는 하나 이상의 개시된 실시예가 구현될 수도 있는 예시적인 통신 시스템을 보여주는 시스템 도면이다.
도 1b는 실시예에 따라 도 1a에 도시한 통신 시스템 내에서 사용될 수도 있는 예시적인 무선 송수신 유닛(wireless transmit/receive unit; WTRU)을 보여주는 시스템 도면이다.
도 2는 미디어 프레젠테이션 기술(media presentation description; MPD) 계층 데이터 모델이다.
도 3은 네 개의 트랙의 일예를 보여주는 도면으로서, 각 트랙은 360 커버리지의 등장방형 투영 프레임(equirectangular projection frame)을 포함하지만, 점채한 사각형으로 나타낸 바와 같이 상이한 고품질의 인코딩된 영역을 갖고 있다.
도 4는 표현-기반 뷰포트 전환 예를 보여주는 도면이다.
도 5a 및 도 5b는 360 비디오 픽쳐의 서브-픽쳐의 예를 보여주는 도면이다.
도 6은 서브-픽쳐 기반 뷰포트 전환의 예를 보여주는 도면이다.
도 7은 몰입형 미디어 메트릭스(metrics) 클라이언트 참조 모델이다.
도 8은 액티브 뷰포트 표현 세트 및 뷰포트 표현 세트의 일예를 보여주는 도면이다.
도 9는 서브-픽쳐 기반 뷰포트 전환의 예를 보여주는 도면이다.
도 10은 서브-픽쳐 기반 뷰포트 전환의 다른 예를 보여주는 도면이다.
도 11은 액티브 서브-픽쳐 세트의 예를 보여주는 도면이다.
도 12는 제1 뷰포트, 제1 액티브 뷰포트 표현 세트 및 품질 랭킹 값(quality ranking value)의 예를 보여주는 도면이다.
도 13은 제2 뷰포트, 제2 액티브 뷰포트 표현 세트 및 품질 랭킹 값의 예를 보여주는 도면이다.
도 14는 서브-픽쳐 기반의 비견할만한 품질 뷰포트 전환 예를 보여주는 도면이다.
도 15는 영역마다의 품질 랭크된(region-wise quality ranked) 인코딩 콘텐트에 비견할만한 품질 뷰포트 전환의 예를 보여주는 도면이다.
도 16은 일부 실시예에 따라 전환전 간격 및 전환후 간격을 이용하는 측정 과정의 일예를 보여주는 도면이다.
도 17a 및 도 17b는 시간에 따른 기록된(logged) 뷰포트 품질 측정치의 개략적인 그래프로서, 일부 실시예에 따른 전환전 측정 시간 및 전환후 측정 시간의 선택을 보여준다.

실시예의 구현을 위한 네트워크의 예

도 1a는 하나 이상의 개시된 실시예가 구현될 수도 있는 예시적인 통신 시스템(100)을 보여주는 도면이다. 통신 시스 템(100)은 음성, 데이터, 비디오, 메시징, 브로드캐스트(broadcast) 등과 같은 콘텐트를 다수의 무선 유저에게 제공하는 다중 액세스 시스템(multiple access system)일 수도 있다. 통신 시스템(100)은, 무선 대역폭을 포함하는, 시스템 리소스의 공유를 통해 다수의 무선 유저가 이러한 콘텐트에 액세스하는 것을 가능하게 할 수도 있다. 예컨대, 통신 시스템(100)은, 코드 분할 다중 액세스(code division multiple access; CDMA), 시분할 다중 액세스(time division multiple access; TDMA), 주파수 분할 다중 액세스(frequency division multiple access; FDMA), 직교 FDMA(orthogonal FDMA; OFDMA), 싱글 캐리어 FDMA(single-carrier FDMA; SC-FDMA), 제로-테일 유니크-워드 DFT-스프레드 OFDM(zero-tail unique-word DFT-Spread OFDM; ZT UW DTS-s OFDM), 유니크 워드OFDM(unique word OFDM; UW-OFDM), 리소스 블록-필터 OFDM(resource block-filtered OFDM), 필터 뱅크 멀티캐리어(filter bank multicarrier; FBMC) 등과 같은 하나 이상의 채널 액세스 방법을 채용할 수도 있다.

도 1a에 도시한 바와 같이, 통신 시스템(100)은 무선 송수신 유닛(WTRU)(102a, 102b, 102c, 102d), RAN(104/113), 코어 네트워크(CN)(106/115), 공중 교환식 전화망(public switched telephone network; PSTN)(108), 인터넷(110), 및 기타 네트워크(112)를 포함할 수도 있지만, 개시된 실시예는 임의의 수의 WTRU, 기지국, 네트워크, 및/또는 네트워크 요소를 고려한다는 것이 인식될 것이다. WTRU(102a, 102b, 102c, 102d) 각각은 무선 환경에서 동작하도록 및/또는 통신하도록 구성되는 임의의 타입의 디바이스일 수도 있다. 예로서, WTRU(102a, 102b, 102c, 102d)-이들 중 임의의 WTRU는 "스테이션" 및/또는 "STA"라 지칭될 수도 있다-는 무선 신호를 송신 및/또는 수신하도록 구성될 수도 있고, 유저 기기(user equipment; UE), 이동국(mobile station), 고정식 또는 이동식 가입자 유닛, 가입-기반 유닛, 페이저, 셀룰러 전화, 개인 휴대형 정보 단말(personal digital assistant; PDA), 스마트폰, 랩탑, 넷북, 퍼스널 컴퓨터, 무선 센서, 핫스팟 또는 Mi-Fi 디바이스, 사물 인터넷(IoT) 디바이스, 워치 또는 기타 웨어러블, 헤드 장착형 디스플레이(HMD), 차량, 드론, 의료용 디바이스 및 애플리케이션(예컨대, 원격 수술), 산업용 디바이스 및 애플리케이션(예컨대, 산업 및/또는 자동화된 프로세싱 체인 컨텍스트 내에서 동작하는 로봇 및/또는 기타 무선 디바이스), 가전 제품 디바이스(consumer electronics device), 상업용 및/또는 산업용 무선 네트워크 상에서 동작하는 디바이스 등을 포함할 수도 있다. WTRU(102a, 102b, 102c, 102d) 중 임의의 WTRU는 UE라고 교환가능하게 지칭될 수도 있다.

통신 시스템(100)은 또한 기지국(114a) 및/또는 기지국(114b)을 포함할 수도 있다. 기지국(114a, 114b) 각각은, CN(106/115), 인터넷(110), 및/또는 기타 네트워크(112)와 같은 하나 이상의 통신 네트워크에 대한 액세스를 용이하게 하기 위해 WTRU(102a, 102b, 102c, 102d) 중 적어도 하나와 무선으로 인터페이싱하도록 구성된 임의의 타입의 디바이스일 수도 있다. 예로서, 기지국(114a, 114b)은 기지국 트랜시버 스테이션(base transceiver station; BTS), Node-B, eNode B, 홈 노드 B, 홈 eNode B, 사이트 컨트롤러(site controller), 액세스 포인트(access point; AP), 무선 라우터, 등일 수도 있다. 기지국(114a, 114b) 각각이 단일의 요소로서 묘사되지만, 기지국(114a, 114b)은 임의의 수의 상호 연결된 기지국 및/또는 네트워크 요소를 포함할 수도 있다는 것이 인식될 것이다.

기지국(114a)은, 기지국 컨트롤러(base station controller; BSC), 무선 네트워크 컨트롤러(radio network controller; RNC), 중계 노드 등과 같은 기타 기지국 및/또는 네트워크 요소(도시 생략)를 또한 포함할 수도 있는 RAN(104/113)의 일부일 수도 있다. 기지국(114a) 및/또는 기지국(114b)은, 셀(도시 생략)이라 지칭될 수도 있는 하나 이상의 캐리어 주파수 상에서 무선 신호를 송신 및/또는 수신하도록 구성될 수도 있다. 이들 주파수는 인가된 스펙트럼(licensed spectrum), 인가되지 않은 스펙트럼 또는 인가된 스펙트럼과 인가되지 않은 스펙트럼의 조합일 수도 있다. 비교적 고정되거나 시간에 따라 변화할 수도 있는 특정 지리적 에어리어에 무선 서비스를 위한 커버리지를 셀이 제공할 수도 있다. 셀은 셀 섹터로 추가로 분할될 수도 있다. 예컨대, 기지국(114a)과 관련된 셀은 세 개의 섹터로 분할될 수도 있다. 따라서, 하나의 실시예에서, 기지국(114a)은 세 개의 트랜시버, 즉, 셀의 각 섹터에 대해 하나의 트랜시버(transceiver)를 포함할 수도 있다. 하나의 실시예에서, 기지국(114a)은 다중입력 다중출력(multiple-input multiple-output; MIMO) 기술을 채용할 수도 있고, 셀의 각 섹터에 대해 다수의 트랜시버를 활용할 수도 있다. 예컨대, 빔포밍을 이용하여, 원하는 공간 방향으로 신호를 송신 및/또는 수신할 수도 있다.

기지국(114a, 114b)은, 임의의 적절한 무선 통신 링크(예컨대, 무선 주파수(radio frequency; RF), 마이크로파, 센티미터파, 마이크로미터 파, 적외선(IR), 자외선(UV) , 가시광 등)일 수도 있는 에어 인터페이스(air interface; 116)를 통해 WTRU(102a, 102b, 102c, 102d) 중 하나 이상과 통신할 수도 있다. 에어 인터페이스(116)는 임의의 적절한 무선 액세스 기술(radio access technology; RAT)을 이용하여 확립될 수도 있다.

보다 구체적으로는, 상기한 바와 같이, 통신 시스템(100)은 다중 액세스 시스템일 수도 있고, CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등과 같은 하나 이상의 채널 액세스 스킴(channel access scheme)을 채용할 수도 있다. 예컨대, RAN(104/113) 내의 기지국(114a) 및 WTRU(102a, 102b, 102c)은, 광대역 CDMA(wideband CDMA; WCDMA)를 이용하여 에어 인터페이스(115/116/117)를 확립할 수도 있는, 범용 이동 통신 시스템(Universal Mobile Telecommunications System; UMTS) 지상 무선 액세스(Terrestrial Radio Access)(UTRA)와 같은 무선 기술을 구현할 수도 있다. WCDMA는 고속 패킷 액세스(High-Speed Packet Access; HSPA) 및/또는 진화된 HSPA(Evolved HSPA; HSPA+)와 같은 통신 프로토콜을 포함할 수도 있다. HSPA는 고속 다운링크 패킷 액세스(High-Speed Downlink Packet Access; HSDPA) 및/또는 고속 업링크 패킷 액세스(High-Speed Uplink Packet Access; HSUPA) 를 포함할 수도 있다.

한 가지 실시예에서, 기지국(114a) 및 WTRU(102a, 102b, 102c)는, 롱텀 에볼루션(LTE) 및/또는 LTE-어드밴스드(LTE-Advanced; LTE-A) 및/또는 LTE-어드밴스드 프로(LTE-A Pro)를 이용하여 에어 인터페이스(116)를 확립할 수도 있는 진화형 UMTS 지상 무선 액세스(Evolved UMTS Terrestrial Radio Access; E-UTRA)와 같은 무선 기술을 구현할 수도 있다.

한 가지 실시예에서, 기지국(114a) 및 WTRU(102a, 102b, 102c)는 뉴 무선(new radio; NR)을 이용하여 에어 인터페이스(116)를 확립할 수도 있는 NR 무선 액세스(NR Radio Access)와 같은 무선 기술을 구현할 수도 있다.

한 가지 실시예에서, 기지국(114a) 및 WTRU(102a, 102b, 102c)는 다중 무선 액세스 기술을 구현할 수도 있다. 예컨대, 기지국(114a) 및 WTRU(102a, 102b, 102c)는, 예컨대 듀얼 연결성(dual connectivity; DC) 원리를 이용하여 LTE 무선 액세스 및 NR 무선 액세스를 함께 구현할 수도 있다. 따라서, WTRU(102a, 102b, 102c)가 활용하는 에어 인터페이스는, 복수 종류의 액세스 기술 및/또는 복수 종류의 기지국(예컨대, eNB 및 gNB)과의 사이에서 송수신되는 송신을 특징으로 한다.

다른 실시예에서, 기지국(114a) 및 WTRU(102a, 102b, 102c)는, IEEE 802.11(즉, WiFi(Wireless Fidelity)), IEEE 802.16(예컨대, WiMAX(Worldwide Interoperability for Microwave Access), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, IS-2000(Interim Standard 2000), IS-95(Interim Standard 95), IS-856(Interim Standard 856), GSM(Global System for Mobile communications), EDGE(Enhanced Data rates for GSM Evolution), GSM EDGE(GERAN), 등과 같은 무선 기술을 구현할 수도 있다.

도 1a의 기지국(114b)은, 예컨대, 무선 라우터, 홈 노드 B, 홈 eNode B, 또는 액세스 포인트일 수도 있고, 사업장, 가정, 차량, 캠퍼스, 산업 설비, 공중 회랑(air corridor)(예컨대, 드론에 의해 사용하기 위한), 도로 등과 같은 국소화된 에어리어에서 무선 연결성을 용이하게 하기 위해 임의의 적절한 RAT를 활용할 수도 있다. 하나의 실시예에서, 기지국(114b) 및 WTRU(102c, 102d)는 무선 근거리 통신망(wireless local area network; WLAN)을 확립하기 위해 IEEE 802.11과 같은 무선 기술을 구현할 수도 있다. 하나의 실시예에서, 기지국(114b) 및 WTRU(102c, 102d)는 무선 개인 에어리어 네트워크(wireless personal area network; WPAN)를 확립하기 위해 IEEE 802.15와 같은 무선 기술을 구현할 수도 있다. 다른 실시예에서, 기지국(114b) 및 WTRU(102c, 102d)는 피코셀 또는 펨토셀을 확립하기 위해 셀룰러 기반의 RAT(예컨대, WCDMA, CDMA2000, GSM, LTE, LTE-A, LTE-A Pro, NR등)를 활용할 수도 있다. 도 1a에 도시한 바와 같이, 기지국(114b)은 인터넷(110)에 직접 접속할 수도 있다. 따라서, 기지국(114b)은 CN(106/107/109)을 통해 인터넷(110)에 액세스할 필요가 없을 수도 있다.

RAN(104/113)은, WTRU(102a, 102b, 102c, 102d) 중 하나 이상에 음성, 데이터, 애플리케이션, 및/또는 인터넷 전화 프로토콜(voice over internet protocol; VoIP) 서비스를 제공하도록 구성된 임의 종류의 네트워크일 수도 있는 CN(106/107/109)과 통신할 수도 있다. 데이터는 상이한 스루풋 요건, 레이턴시 요건, 에러 허용 요건, 신뢰성 요건, 데이터 스루풋 요건, 모빌리티 요건 등과 같은 가변적인 서비스 품질(QoS) 요건을 포함할 수도 있다. CN(106/115)은 호 제어(call control), 과금 서비스, 모바일 위치 기반 서비스, 선불 통화, 인터넷 연결성, 비디오 분배 등을 제공할 수도 있고, 및/또는 유저 인증과 같은 하이 레벨의 보안 기능을 수행할 수도 있다. 도 1a에 도시하지는 않지만, RAN(104/113) 및/또는 CN(106/115)은, RAN(104/113)과 동일한 RAT 또는 상이한 RAT를 채용하는 다른 RAN과 직접 또는 간접 통신할 수도 있다는 것을 이해할 것이다. 예컨대, NR 무선 기술을 활용하고 있을 수도 있는 RAN(104/113)에 접속되는 것에 추가하여, CN(106/115)은 GSM, UMTS, CDMA 2000, WiMAX, E-UTRA, 또는 WiFi 무선 기술을 채용하는 다른 RAN(도시 생략)과 또한 통신할 수도 있다.

CN(106/115)은 WTRU(102a, 102b, 102c, 102d)가 PSTN(108), 인터넷(110), 및/또는 기타 네트워크(112)에 액세스하기 위한 게이트웨이로서 기능할 수도 있다. PSTN(108)은, 기존 전화 서비스(plain old telephone service; POTS)를 제공하는 회선 교환식 전화 네트워크(circuit-switched telephone network)를 포함할 수도 있다. 인터넷(110)은, TCP/IP 인터넷 프로토콜 일군(suite)에서의 송신 제어 프로토콜(transmission control protocol; TCP), 유저 데이터그램 프로토콜(user datagram protocol; UDP) 및 인터넷 프로토콜(internet protocol; IP)과 같은 일반적인 통신 프로토콜을 이용하는 상호 연결된 컴퓨터 네트워크 및 디바이스의 글로벌 시스템을 포함할 수도 있다. 네트워크(112)는 기타 서비스 제공자에 의해 소유되는 및/또는 운영되는 유선 및/또는 무선 통신 네트워크를 포함할 수도 있다. 예컨대, 네트워크(112)는, RAN(104/113)과 동일한 RAT 또는 상이한 RAT를 채용할 수도 있는 하나 이상의 RAN에 연결되는 다른 CN을 포함할 수도 있다.

통신 시스템(102d) 내의 WTRU(102a, 102b, 102c, 102d) 중 일부 또는 전체는 다중 모드 능력을 포함할 수도 있다(예컨대, WTRU(102a, 102b, 102c, 102d)는 상이한 무선 링크를 통해 상이한 무선 네트워크와 통신하기 위한 다수의 트랜시버를 포함할 수도 있다). 예컨대, 도 1a에 도시한 WTRU(102c)는, 셀룰러 기반 무선 기술을 채용할 수도 있는 기지국(114a)과, 그리고 IEEE 802 무선 기술을 채용할 수도 있는 기지국(114b)과 통신하도록 구성될 수도 있다.

도 1b는 WTRU(102)의 일예를 보여주는 시스템 도면이다. 도 1b에 도시한 바와 같이, WTRU(102)는 다른 것 중에서도, 프로세서(118), 트랜시버(120), 송수신 요소(122), 스피커/마이크로폰(124), 키패드(126), 디스플레이/터치 패드(128), 비-착탈식 메모리(130), 착탈식 메모리(132), 전원(134), 글로벌 위치 결정 시스템(GPS) 칩셋(136), 및/또는 기타 주변장치(138)를 포함할 수도 있다. WTRU(102)는 한 실시예와 부합하면서 전술한 요소의 임의의 부조합을 포함할 수도 있다는 것을 이해할 것이다.

프로세서(118)는 범용 프로세서, 특수 목적의 프로세서, 종래의 프로세서, 디지털 신호 프로세서(DSP), 복수의 마이크로프로세서, DSP 코어와 관련하는 하나 이상의 마이크로프로세서, 컨트롤러, 마이크로컨트롤러, 주문형 반도체(Application Specific Integrated Circuit; ASIC), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array; FPGA) 회로, 임의의 다른 종류의 집적 회로(IC), 상태 머신 등일 수도 있다. 프로세서(118)는 신호 코딩, 데이터 프로세싱, 전력 제어, 입출력 프로세싱, 및/또는 WTRU(102)가 무선 환경에서 동작하는 것을 가능하게 하는 임의의 다른 기능성(functionality)을 수행할 수도 있다. 프로세서(118)는, 송수신 요소(122)에 커플링될 수도 있는 트랜시버(120)에 커플링될 수도 있다. 도 1b가 프로세서(118) 및 트랜시버(120)를 별개의 컴포넌트로서 묘사하지만, 프로세서(118) 및 트랜시버(120)는 전자 패키지 또는 칩에 함께 집적될 수도 있다는 것을 이해할 것이다.

송수신 요소(122)는 에어 인터페이스(116)를 통해 기지국(예컨대, 기지국(114a))으로 신호를 송신하도록, 또는 그 기지국으로부터 신호를 수신하도록 구성될 수도 있다. 예를 들면, 하나의 실시예에서, 송수신 요소(122)는 RF 신호를 송신하도록 및/또는 수신하도록 구성되는 안테나일 수도 있다. 하나의 실시예에서, 송수신 요소(122)는, 예를 들면, IR, UV, 또는 가시광 신호를 송신하도록 및/또는 수신하도록 구성되는 이미터(emitter)/검출기(detector)일 수도 있다. 다른 실시예에서, 송수신 요소(122)는 RF 신호 및 광 신호 둘 모두를 송신 및/또는 수신하도록 구성될 수도 있다. 송수신 요소(122)는 무선 신호의 임의의 조합을 송신하도록 및/또는 수신하도록 구성될 수도 있다는 것을 이해할 것이다.

비록 송수신 요소(122)가 도 1b에서 단일의 요소로서 묘사되지만, WTRU(102)는 임의의 수의 송수신 요소(122)를 포함할 수도 있다. 보다 구체적으로는, WTRU(102)는 MIMO 기술을 채용할 수도 있다. 따라서, 하나의 실시예에서, WTRU(102)는, 에어 인터페이스(116)를 통해 무선 신호를 송신 및 수신하기 위한 두 개 이상의 송수신 요소(122)(예를 들면, 다수의 안테나)를 포함할 수도 있다.

트랜시버(120)는, 송수신 요소(122)에 의해 송신될 신호를 변조하도록 그리고 송수신 요소(122)에 의해 수신되는 신호를 복조하도록 구성될 수도 있다. 상기한 바와 같이, WTRU(102)는 다중 모드 능력(multi-mode capabilities)을 가질 수도 있다. 따라서, 트랜시버(120)는, WTRU(102)가, 예를 들면, NR 및 IEEE 802.11과 같은 다수의 RAT를 통해 통신하는 것을 가능하게 하기 위한 다수의 트랜시버를 포함할 수도 있다.

WTRU(102)의 프로세서(118)는, 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/터치패드(128)(예를 들면, 액정 디스플레이(LCD) 디스플레이 유닛 또는 유기 발광 다이오드(OLED) 디스플레이 유닛)에 커플링될 수도 있고, 그리고 이들로부터 유저 입력 데이터를 수신할 수도 있다. 프로세서(118)는 유저 데이터를 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/ 터치패드(128)에 출력할 수도 있다. 또한, 프로세서(118)는, 비-착탈식 메모리(130) 및/또는 착탈식 메모리(132)와 같은 임의의 종류의 적절한 메모리의 정보로부터 액세스할 수도 있고, 그리고 그 메모리에 데이터를 저장할 수도 있다. 비-착탈식 메모리(130)는 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM), 하드디스크, 또는 임의의 다른 종류의 메모리 스토리지 디바이스를 포함할 수도 있다. 착탈식 메모리(132)는 가입자 식별 모듈(SIM) 카드, 메모리 스틱, 시큐어 디지털(secure digital; SD) 메모리 카드 등을 포함할 수도 있다. 다른 실시예에서, 프로 세서(118)는, WTRU(102) 상에 물리적으로 위치되지 않는 메모리, 예컨대 서버 또는 가정용 컴퓨터(도시 생략) 상의 메모리로부터 정보에 액세스할 수도 있고, 그리고 그 메모리에 데이터를 저장할 수도 있다.

프로세서(118)는 전원(134)으로부터 전력을 수신할 수도 있고, WTRU(102)의 다른 컴포넌트에 전력을 분배하도록 및/또는 그 전력을 제어하도록 구성될 수도 있다. 전원(134)은 WTRU(102)에 전력을 공급하기 위한 임의의 적절한 디바이스일 수도 있다. 예를 들면, 전원(134)은 하나 이상의 드라이 셀 배터리(예를 들면, 니켈 카드뮴(NiCd), 니켈 아연(NiZn), 니켈 금속 수소(NiMH), 리튬 이온(Li ion) 등), 태양 전지, 연료 전지 등을 포함할 수도 있다.

프로세서(118)는, WTRU(102)의 현재 위치에 관한 위치 정보(예를 들면, 경도 및 위도)를 제공하도록 구성될 수도 있는 GPS 칩셋(136)에도 커플링될 수도 있다. 또한, GPS 칩셋(136)으로부터의 정보 외에, 또는 그 정보 대신, WTRU(102)는 에어 인터페이스(116)를 통해 기지국(예를 들면, 기지국(114a, 114b))으로부터 위치 정보를 수신할 수도 있고 및/또는 두 개 이상의 근처의 기지국으로부터 수신되는 신호의 타이밍에 기초하여 자신의 위치를 결정할 수도 있다. WTRU(102)는 하나의 실시예와 부합하면서 임의의 적절한 위치 결정 방법을 통해 위치 정보를 획득할 수도 있다는 것을 이해할 것이다.

프로세서(118)는 또한, 추가의 특징, 기능성, 및/또는 유선 또는 무선 연결성을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈을 포함할 수도 있는 기타 주변장치(138)에 커플링될 수도 있다. 예를 들면, 주변장치(138)는 가속도계, 전자 콤파스, 위성 트랜시버, (사진 및/또는 비디오용의) 디지털 카메라, 범용 직렬 버스(universal serial bus; USB) 포트, 진동 디바이스, 텔레비전 트랜시버, 핸즈프리 헤드셋, Bluetooth® 모듈, 주파수 변조(FM) 무선 유닛, 디지털 뮤직 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저, 가상 현실 및/또는 증강 현실(VR/AR) 디바이스, 액티비티 트래커(activity tracker) 등을 포함할 수도 있다. 주변 장치(138)는 하나 이상의 센서를 포함할 수도 있고, 이들 센서는 자이로스코프, 가속도계, 홀 효과 센서, 자력계, 방위 센서, 근접 센서, 온도 센서, 시간 센서, 지오로케이션(geolocation) 센서, 고도계, 광 센서, 터치 센서, 자력계, 기압계, 제스처 센서, 생체 인증 센서, 및/또는 습도 센서 중 하나 이상일 수도 있다.

WTRU(102)는 (예컨대, UL(예컨대, 송신용) 및 다운링크(예컨대, 수신용) 양자를 위한 특정 서브프레임과 관련된) 신호의 일부 또는 전부의 송신 및 수신이 병렬 및/또는 동시일 수 있는 전 이중무선(full duplex radio)을 포함할 수도 있다. 전이중 무선은, 하드웨어(예컨대, 초크(choke)) 또는 프로세서(예컨대, 별개의 프로세서(도시 생략) 또는 프로세서(118))를 통한 신호 처리 중 하나를 통해 자기 간섭을 감소 및/또는 실질상 제거하기 위하여 간섭 관리 유닛을 포함할 수도 있다. 한 가지 실시예에서, WRTU(102)는 (예컨대, UL(예컨대, 송신용) 및 DL(예컨대, 수신용) 양자를 위한 특정 서브프레임과 관련된) 신호의 일부 또는 전부의 절반 이중 무선(half-duplex radio)을 포함할 수도 있다.

도 1a 및 도 1b에서 WTRU를 무선 터미널로서 도시하였지만, 어떤 대표적인 실시예에서, 이러한 터미널은 (예컨대, 일시적으로 또는 영구적으로) 통신 네트워크와의 유선 통신 인터페이스를 이용할 수도 있다는 것이 고려된다.

대표적인 실시예에서, 기타 네트워크(112)는 WLAN일 수도 있다.

인프라스트럭쳐 기본 서비스 세트(Infrastructure Basic Service Set(BSS)) 모드의 WLAN은 상기 BSS용 액세스 포인트(AP) 및 상기 AP와 연관된 하나 이상의 스테이션(STA)를 구비할 수도 있다. 상기 AP는 상기 BSS에 트래픽을 출입시키는 DS(Distribution System) 또는 다른 종류의 유선/무선 네트워크에의 액세스 또는 인터페이스를 구비할 수도 있다. 상기 BSS 외부로부터 발신되는 STA에의 트래픽은 상기 AP를 통해 도달할 수도 있고, 상기 STA에 전달될 수도 있다. STA로부터 BSS 외부의 목적지에 발신되는 트래픽은 상기 AP에 송신되어 각 목적지에 전달될 수도 있다. 상기 BSS 내의 STA 사이에서의 트래픽은 상기 AP를 통해 송신될 수도 있다. 예컨대, 송신원 STA가 트래픽을 AP에 송신하고, AP는 그 트래픽을 목적지 STA에 전달할 수도 있다. BSS 내의 STA 사이에서의 트래픽은 peer-to-peer 트래픽인 것으로 고려될 수도 있고, 및/또는 지칭될 수도 있다. peer-to-peer 트래픽은 다이렉트 링크 셋업(DLS)을 이용하여 송신원 STA와 목적지 STA 사이에서(예컨대, 그 사이에서 직접) 송신될 수도 있다. 어떤 대표적인 실시예에서, DLS는 802.11e DLS 또는 802.11z tunneled DLS(TDLS)를 이용할 수도 있다. 독립적 BSS(IBSS) 모드를 이용하는 WLAN은 AP를 구비하지 않을 수도 있고, IBSS 내부의 또는 IBSS를 이용하는 STA (예컨대, 모든 STA)는 서로 직접 통신할 수도 있다. IBSS 통신 모드는 본원에서 때로는 "ad-hoc" 통신 모드라고도 지칭한다.

802.11ac 인프라스트럭처 동작 모드 또는 유사한 동작 모드를 이용하는 경우, AP는 일차 채널(primary channel)과 같은 고정 채널 상에서 비컨(beacon)을 송신할 수도 있다. 상기 일차 채널은 고정폭 (예컨대, 20 MHz의 광대역폭) 또는 시그널링을 통해 동적으로 설정된 폭으로 할 수도 있다. 상기 일차 채널은 BSS의 동작 채널일 수도 있고 AP와의 접속을 확립하기 위해 STA에 의해 이용될 수도 있다. 어떤 대표적인 실시예에서, 예컨대 802.11 시스템 내에서 CSMA/CA(Carrier Sense Multiple Access with Collision Avoidance)가 구현될 수도 있다. CSMA/CA의 경우, AP를 포함하는 STA(예컨대, 모든 STA)가 상기 일차 채널을 감지할 수도 있다. 만일 상기 일차 채널이 특정 STA에 의해 감지/검출되거나 및/또는 비지(busy)하다고 판정되는 경우, 그 특정 STA는 백오프(back off) 할 수도 있다. 하나의 STA (예컨대, 하나의 스테이션만)가 특정의 BSS에서 임의의 주어진 시간에서 송신할 수도 있다.

하이 스루풋(HT) STA는, 예컨대 40 MHz 폭 채널(wide channel)을 형성하는 일차 20 MHz 채널과 인접 또는 비인접 20 MHz 채널과의 조합을 통해, 통신을 위해 40 MHz 폭 채널을 이용할 수도 있다.

매우 높은 스루풋(VHT) STA는 20MHz, 40 MHz, 80 MHz, 및/또는 160 MHz 폭 채널을 지원할 수도 있다. 40 MHz, 및/또는 80 MHz 채널은 인접하는 20 MHz 채널들을 조합함으로써 형성될 수도 있다. 8개의 인접하는 20 MHz 채널들을 조합함으로써 또는 2개의 인접하지 않는 80 MHz 채널들을 조합함으로써-이는 80+80 구성이라 지칭할 수도 있다-160 MHz 채널이 형성될 수도 있다. 80+80 구성의 경우, 채널 인코딩 후, 데이터를 두 개의 스트림으로 분할할 수도 있는 세그먼트 파서(segment parser)를 통해 데이터를 통과시킬 수도 있다. 각각의 스트림 상에서 IFFT(Inverse Fast Fourier Transform) 처리 및 시간 도메인 처리를 별도로 행할 수도 있다. 상기 스트림들은 두 개의 80 MHz 채널에 매핑될 수도 있고, 상기 데이터는 송신 STA에 의해 송신될 수도 있다. 수신 STA의 수신기에서, 80+80 구성에 대한 상기 동작은 역으로 될 수도 있고, 조합된 데이터는 MAC(Medium Access Control)에 보내질 수 있다.

서브 1 GHz 동작 모드는 802.11af 및802.11ah에 의해 지원된다. 채널 동작 대역폭 및 캐리어는 802.11n, 및 802.11ac에서 사용되는 것에 비교하여 802.11af 및 802.11ah에서 감소된다. 802.11af는 TVWS(TV White Space) 스펙트럼 내의 5 MHz, 10 MHz 및 20 MHz 대역폭을 지원하고, 802.11ah는 비- TVWS 스펙트럼을 이용하는 1 MHz, 2 MHz, 4 MHz, 8 MHz, 및 16 MHz 대역폭을 지원한다. 대표적인 실시예에 따르면, 802.11ah는 매크로 커버리지 에어리어 내의 MTC 디바이스와 같이, 미터형 제어/머신형 통신(Meter Type Control/Machine-Type Communications)을 지원한다. MTC 디바이스는 특정 능력, 예컨대 특정 및/또는 제한된 대역폭을 지원(예컨대, 지원만)하는 것을 포함하는 제한된 능력을 갖고 있을 수도 있다. MTC 디바이스는 임계치를 넘는 배터리 수명을 갖는 배터리(예컨대, 매우 긴 배터리 수명을 유지하기 위해)를 포함할 수도 있다.

복수의 채널을 지원할 수도 있는 WLAN 시스템 및 802.11n, 802.11ac, 802.11af, 및 802.11ah등의 채널 대역폭은 상기 일차 채널로서 지정될 수도 있는 채널을 포함한다. 상기 일차 채널은 BBS 내의 모든 STA에 의해 지원되는 가장 큰 공통 동작 대역폭과 동일한 대역폭을 가질 수도 있다. 상기 일차 채널의 대역폭은 BSS 내에서 동작하는 모든 STA 중에서, 가장 작은 대역폭 동작 모드를 지원하는 STA에 의해 설정 및/또는 제한될 수도 있다. 802.11ah의 예에서, 상기 일차 채널은, AP 및 BSS 내의 기타 STA가 2 MHz, 4 MHz, 8 MHz, 16 MHz, 및/또는 기타 채널 대역폭 동작 모드를 지원하더라도, 1 MHz 모드를 지원하는(예컨대, 지원만 하는) STA(예컨대, MTC-형 디바이스)에 대하여 1 NHz 폭일 수 있다. 캐리어 감지 및/또는 NAV(Network Allocation Vector) 세팅은 상기 일차 채널의 스테이터스에 의존할 수도 있다. 예컨대, (1 MHz 동작 모드만을 지원하는) STA가 AP에 송신하고 있기 때문에, 상기 일차 채널이 비지하다면, 이용 가능한 전체 주파수 대역의 대부분이 아이들(idle) 상태인 채로 남아 있고 이용 가능하더라도, 그 이용 가능한 주파수 대역 전체가 비지한 것으로 여겨질 수도 있다.

미국에서, 802.11ah 에 의해 이용될 수도 있는 상기 이용 가능한 주파수 대역은 902 MHz 내지 928 MHz이다. 대한민국에서, 상기 이용 가능한 주파수 대역은 917.5 MHz 내지 923.5 MHz이다. 일본에서, 상기 이용 가능한 주파수 대역은 916.5 MHz 내지 927.5 MHz이다. 802.11ah의 경우 이용 가능한 총 대역폭은 나라 코드에 따라 6 MHz 내지 26 MHz이다.

도 1a 및 도 1b 그리고 대응되는 설명을 고려하여, 본원에서 설명하는 WTRU(102a-102d), 기지국(114a-114b), eNode-B(160a-160c), MME(162), SGW(164), PGW(166), gNB(180a-180c), AMF(182a-182b), UPF(184a-184b), SMF(183a-183b), DN(185a-185b), 및/또는 임의의 기타 디바이스 중 하나 이상과 관련하여 본원에서 설명하는 하나 이상 또는 모든 기능은 하나 이상의 에뮬레이션 디바이스(도시 생략)에 의해 수행될 수도 있다. 에뮬레이션 디바이스는 본원에서 설명하는 기능 중 하나 이상 또는 모두를 모방하도록 구성된 하나 이상의 디바이스일 수도 있다. 예컨대, 에뮬레이션 디바이스는 기타 디바이스를 테스트하거나 및/또는 네트워크 및/또는 WTRU 기능을 시뮬레이션하는 데에 사용될 수도 있다.

에뮬레이션 디바이스는 실험실 환경 및/또는 조작자 네트워크 환경에서 기타 디바이스에 대한 하나 이상의 테스트를 구현하도록 설계될 수도 있다. 예컨대, 하나 이상의 에뮬레이션 디바이스는, 통신 네트워크 내의 기타 디바이스를 테스트하기 위하여, 유선 및/또는 무선 통신 네트워크의 일부로서 완전히 또는 부분적으로 구현 및/또는 전개되면서 하나 이상 또는 모든 기능을 수행할 수도 있다. 하나 이상의 에뮬레이션 디바이스는 유선 및/또는 무선 통신 네트워크의 일부로서 일시적으로 구현/전개되면서 하나 이상 또는 모든 기능을 수행할 수도 있다. 에뮬레이션 디바이스는 테스트하기 위한 목적으로 다른 디바이스에 직접 커플링될 수도 있고 및/또는 에어 무선 통신을 이용하여 시험을 수행할 수도 있다.

하나 이상의 에뮬레이션 디바이스는 유선 및/또는 무선 통신 네트워크의 일부로서 구현/전개되지 않으면서 모든 기능을 포함하여 하나 이상의 기능을 수행할 수도 있다. 예컨대, 에뮬레이션 디바이스는 하나 이상의 컴포넌트의 시험을 구현하기 위하여, 시험 실험실 및/또는 전개되지 않은(예컨대, 시험) 유선 및/또는 무선 통신 네트워크에서의 시험 시나리오에 이용될 수도 있다. 하나 이상의 에뮬레이션 디바이스는 시험 설비일 수도 있다. RF 회로(예컨대, 하나 이상의 안테나를 포함할 수도 있다)를 통한 무선 통신 및/또는 다이렉트 RF 커플링이 데이터를 송신 및/또는 수신하기 위하여 에뮬레이션 디바이스에 의해 이용될 수도 있다.

HTTP를 통한 동적 스트리밍(dynamic streaming over HTTP)(DASH)

MPEG-DASH(MPEG Dynamic Adaptive Streaming over HTTP)는 변화하는 네트워크 조건에 동적으로 적응함으로써 엔드 유저에게 좋은 품질의 비디오 체험을 제공하는 전달 포맷이다.

동적 HTTP 스트리밍은 서버에서 이용 가능할 멀티미디어 콘텐트의 다양한 비트레이트 대안을 요구한다. 또한, 멀티미디어 콘텐트는 여러 가지 미디어 컴포넌트(예를 들면, 오디오, 비디오, 텍스트)로 이루어질 수도 있는데, 이들 각각의 컴포넌트는 상이한 특성을 가질 수도 있다. MPEG-DASH에서, 이들 특성은 미디어 프레젠테이션 기술(MPD)에 의해 설명된다.

도 2는 MPD 계층 데이터 모델을 보여준다. MPD는, 미디어 콘텐트 컴포넌트의 일관된 한 세트의 인코딩된 버전이 한 기간(Period) 동안 변하지 않는, 일련의 기간을 기술한다. 각각의 기간은 시작 시간 및 지속 기간을 갖고 있고, 하나 또는 복수의 적응 세트(Adaptation Set)로 구성된다.

Adaptation Set는, 언어, 미디어 타입, 픽쳐 종횡비, 역할, 액세스 가능성(accessibility), 시점(viewpoint), 및 등급(rating) 성질과 같은 성질을 공유하는 하나 또는 여러 개의 미디어 콘텐트 컴포넌트의 한 세트의 인코딩된 버전을 나타낸다. 예를 들면, Adaptation Set는 동일한 멀티미디어 콘텐트의 비디오 컴포넌트의 상이한 비트레이트를 포함할 수도 있다. 다른 Adaptation Set는 동일한 멀티미디어 콘텐트의 오디오 컴포넌트(예를 들면, 더 낮은 품질의 스테레오 및 보다 고품질의 서라운드 사운드)의 상이한 비트레이트를 포함할 수 도 있다. 각각의 Adaptation Set는 보통 다수의 Representation(표현)을 포함한다.

Representation은, 비트레이트, 해상도, 채널의 수, 또는 기타 특성에 의해 다른 표현과 달라지는, 하나 또는 여러 개의 미디어 컴포넌트의 전달 가능한 인코딩된 버전을 기술한다. 각각의 표현은 하나 또는 복수의 세그먼트로 이루어진다. @id, @bandwidth, @qualityRanking, 및 @dependencyId와 같은 Representation 요소의 속성(attribute)이, 관련된 Representation의 성질(property)을 특정하기 위해 사용된다.

Representation은 또한 sub-representation을 포함할 수도 있다. sub-representation은 통상의 표현에 매립되고 sub-representation 요소에 의해 기술된다. 예컨대, 어느 표현이 오디오 및 비디오 양자를 포함한다면, 그 표현은 오디오에만 적용되는 추가의 정보를 제공하는 서브-표현을 가질 수도 있다. 서브-표현은 또한 다중화된 컨테이너(multiplexed container)로부터 하나의 스트림을 추출하거나, 패스트-포워드 모드에서 유용한, I-프레임만을 포함하는 버전과 같이, 더 낮은 품질 버전의 스트림을 추출하는 데에 사용되는 정보를 제공할 수도 있다.

Segment(세그먼트)는 단일의 HTTP 요청으로 검색될 수 있는 가장 큰 데이터 단위이다. 각각의 세그먼트는 서버 상의 어드레스 가능한 위치를 식별하는 URL을 갖고 있으며, 이는 HTTP GET 또는 바이트 범위를 갖는 HTTP GET을 이용하여 다운로드될 수 있다.

이러한 데이터 모델을 이용하기 위하여, DASH 클라이언트는 MPD XML 문서를 파싱하고, Adaptation Set 요소들의 각각에 제공되는 정보에 기초하여, 자신의 환경에 적절한 Adaptation Sets의 콜렉션을 선택한다. 각 Adaptation Set 내에서, 클라이언트는, 통상, @bandwidth 속성의 값에 기초하여, 그러나 클라이언트 디코딩 성능 및 클라이언트 렌더링 성능도 고려하여, 하나의 표현을 선택한다. 클라이언트는 선택한 표현의 초기화 세그먼트를 다운로드한 다음에, 전체 세그먼트 또는 세그먼트의 바이트 범위를 요청하는 것에 의해 콘텐트에 액세스한다. 일단 프레젠테이션이 시작하면, 클라이언트는 Media Segment(미디어 세그먼트) 또는 미디어 세그먼트의 일부를 계속 요청함으로써 그리고 미디어 프레젠테이션 타임라인에 따라 콘텐트를 플레이함으로써 미디어 콘텐트를 계속 소비한다. 클라이언트는, 클라이언트의 환경으로부터의 업데이트된 정보를 고려하여, 표현을 전환할 수도 있다. 클라이언트는 복수의 기간에 걸쳐 지속적으로 콘텐트를 플레이하여야 한다. 클라이언트가 표현 내의 발표된 미디어의 끝을 향해 세그먼트 내에 포함되는 미디어를 소비하고 있으면, 미디어 프레젠테이션이 종료되고, 새로운 기간이 시작되거나 또는 MPD가 재페치된다(re-fetched).

전방향성 미디어 포맷 및 뷰포트에 의존적인 적응형 스트리밍

전방향성 미디어 포맷(Omnidirectional Media Format; OMAF)은, 전방향성 미디어 애플리케이션을 가능케 하고 주로 360°비디오, 이미지, 오디오 및 관련된 시간지정 텍스트(timed text)에 초점을 맞춘 미디어 포맷을 정의하는 MPEG 에 의해 개발된 시스템 표준이다. 2018년 2월의 ISO/IEC JTC1/SC29/WG11 N17399 FDIS 23090-2 Omnidirectional Media Format"에 기술된 OMAF의 DFIS(Final Draft of International Standard)가 2018년 초반에 릴리스되었다.

다음은 OMAF 표준에 기술되어 있다.

서브-픽쳐(sub-picture)는 오리지널 콘텐트의 공간 서브셋(spatial sub set)를 나타내는 픽쳐이다.

서브-픽쳐 비트스트림은 오리지널 콘텐트의 공간 서브셋을 나타내는 비트스트림이다.

시선 방위(viewing orientation)는 유저가 시청각 콘텐트를 소비하는 방위를 특징지우는 방위각(azimuth), 앙각(elevation) 및 경사각 3개의 조(triple)이다.

뷰포트(viewport)는 유저에 의한 디스플레이 및 보기(viewing)에 적절한 전방향성 이미지 또는 비디오의 영역이다.

시점(viewpoint)은 뷰포트의 중심점 또는 그로부터 유저가 장면(scene)을 보는 포인트이고, 보통 카메라 위치에 대응한다.

트랙은 ISO 베이스 미디어 파일 내의 관련된 샘플들의 콜렉션이다. 미디어 데이터의 경우, 트랙은 일련의 이미지 또는 샘플링된 오디오에 대응한다.

콘텐트 커버리지는 트랙 또는 이미지 아이템에 의해 표현되는 콘텐트에 의해 커버되는 하나 이상의 구체 영역(sphere region)이다.

품질 랭킹 영역(quality ranking region)은 품질 랭킹 값에 관련되고, 디코딩된 픽쳐 또는 구체에 관련하여 특정된 영역이다.

품질 랭킹 값은 품질 랭킹 영역의 상대적 품질 순서를 나타낸다. 품질 랭킹 영역 A가 품질 랭킹 영역 B의 것보다 작은 제로가 아닌 품질 랭킹 값을 갖는 경우, 품질 랭킹 영역 A의 품질은 품질 랭킹 영역 B보다 높다. 품질 랭킹 값이 제로가 아닌 경우, 지시된 전체 품질 랭킹 영역 내의 픽쳐 품질은 대략 일정하다. 최대 하나의 영역마다의 품질 랭킹(RWQR) 기술자(descriptor)는 DASH Adaptation set 레벨에 존재할 수도 있고, 최대 하나의 RWQR 기술자는 DASH Representation 레벨에 존재할 수도 있다.

OMAF의 제1 버전은 2개의 프로파일, 즉 뷰포트에 독립적인 베이스라인 프레젠테이션 프로파일 및 뷰포트에 의존적인 베이스라인 프레젠테이션 프로파일을 특정한다.

뷰포트에 독립적인 스트리밍의 경우, 360개의 비디오 픽쳐가 단일 비트스트림으로서 인코딩된다. 코딩된 전체 비트스트림은 서버에 저장되고, 필요에 따라, 통상 OMAF 플레이어에 온전히 송신되고, 디코더에 의해 완전히 디코딩되며, 현재의 뷰포트에 대응하는 디코딩된 픽쳐의 에어리어가 유저에게 렌더링된다.

뷰포트에 의존적인 비디오 스트리밍의 경우, 두 개의 비디오 처리 어프로치, 즉 영역마다의 품질 랭크된 인코딩 어프로치 및 서브-픽쳐 기반 어프로치를 이하에 설명한다.

영역마다의 품질 랭크된 인코딩 어프로치(Region-Wise Quality Ranked Encoding Approach)

영역마다의 품질 랭크된 인코딩 어프로치는, 복수의 독립적 스트림을 생성하고, 각각의 스트림은 전방향성 비디오 전체를 포함하지만, 영역마다의 품질 랭킹(RWQR) 메타데이터에 의해 나타낸 바와 같이 각각 상이한 고품질의 인코딩된 영역을 갖는다. 현재의 뷰포트에 따라, 현재의 뷰포트 위치의 것과 일치하는 고품질의 인코딩된 영역을 포함하는 스트림이 선택되어 OMAF 플레이어에 송신된다. 도 3에 주어진 예에서, 유저의 현재 뷰포트의 영역과 일치하는 고품질의 인코딩된 영역에 기초하는 선택 기준으로, 하나의 대응 트랙만이 전달된다. 처음에, 상기 플레이어에의 송신을 위해 스트림(302)이 선택된다. 스트림(302)은 보다 고품질의 영역(303)을 포함한다. 후속 스트림(304, 306, 308)은 각각, 현재의 뷰포트의 변화하는 위치에 대응하도록 한 보다 고품질의 영역(305, 307, 309)을 포함한다.

도 4는 이러한 RWQR 스트리밍의 일예를 보여준다. 도 4의 예에서, 상기 플레이어는 시간 t0에서 제1 표현(400)(Representation #1)을 렌더링하는데, 표현(400)의 고품질 영역(402)이 제1 뷰포트(404)를 커버한다. 제1 뷰포트(404)는 시간 t1에서 제2 뷰포트(406)로 전환할 수도 있고, 상기 플레이어는 표현(400)(Representation #1)을 계속 렌더링할 수도 있지만, 제2 뷰포트(406)의 고품질 커버리지를 얻기 위해 새로운 표현(410)(Representation #2)을 요청하기 시작한다. 시간 t2에서, 새로이 요청된 표현(410)(Representation #2)이 렌더링되고 있고, 제2 뷰포트(406)는, 표현(410)의 고품질 영역(412)이 뷰포트(406)를 커버하기 때문에, 고품질로 렌더링된다. 시간 t3에서, 뷰포트는 제3 뷰포트(416)로 전환할 수도 있다. 고품질 영역(422)을 갖는 제3 표현(420)(Representation #3)이 요청되고 나중에 시간 t4에서 렌더링된다.

도 4 및 후속 도면에서, 전방향성 비디오의 영역 및 서브-픽쳐는 직사각형인 것으로 도시되어 있는 반면에, 뷰포트는 아치형 엣지를 갖는 것으로서 도시되어 있다. 이들 형태는 이해를 쉽게 하기 위해 선택된 것이며, 영역, 서브-픽쳐, 및 뷰포트는 다른 실시예에서 상이한 형태를 가질 수도 있다는 것을 이해하여야 한다.

서브-픽쳐 기반 어프로치

서브-픽쳐 스트림 기반 어프로치는 360 비디오를 서브-픽쳐 시퀀스로 분할한다. 각 서브-픽쳐 시퀀스는 전방향성 비디오 콘텐트의 공간 에어리어의 서브셋을 커버한다. 각각의 서브-픽쳐 시퀀스는 이어서, 다른 서브-픽쳐 시퀀스로부터 독립적으로 하나의 비트스르림으로서 인코딩된다. OMAF 플레이어는, OMAF 플레이어의 방위/뷰포트 메타데이터에 기초하여, 스트리밍할 서브-픽쳐를 선택한다. 현재 렌더링되지 않고 남아 있는 에어리어를 커버하는 서브-픽쳐 스트림의 품질 또는 해상도와 비교하여, 현재의 뷰포트에 대응하는 서브-픽쳐 스트림에 대하여, 보다 나은 품질 또는 더 높은 해상도의 스트림이 수신, 디코딩 및 렌더링된다.

도 5a 및 도 5b에 주어진 예에서, 360°비디오 픽쳐는 4개의 서브-픽쳐로 분할된다. 도 5a는 오버랩되지 않은 서브-픽쳐 예를 보여준다. 도 5a에서, 픽쳐(500)는 오버랩되지 않은 서브-픽쳐(501, 502, 503, 및 504)로 구성되어 있다. 도 5b에서, 픽쳐(510)는 서브-픽쳐(511, 512, 513, 및 514)로 구성되지만, 서브-픽쳐(512)는 서브-픽쳐(501) 및 서브-픽쳐(514)와 오버랩된다.

도 6은 뷰포트 전환 및 대응하는 서브-픽쳐 표현 전환의 일예를 보여준다. 도 6의 예에서 서브-픽쳐들은 오버랩되어 있지 않다. 도 6의 예에서, 각각의 서브-픽쳐는 두 표현으로 인코딩되는데, Representation H은 보다 고품질의 표현(점묘로 나타냄)이고, Representation L은 더 낮은 품질의 표현이다.

도 6의 예에서, 시간 t0에서, 비디오 픽쳐(600)는 서브-픽쳐로 구성되어 있다. 시간 t0에서, 뷰포트(620)에 고품질 비디오를 제공하기 위하여 고품질(예컨대, RWQR 값에 의해 나타낸다) 표현(611)(Rep(1,H))이 이용된다. 표현(602, 603, 및 604)은 뷰포트(620) 외부에 있고 더 낮은 품질로 수신된다. 시간 t0에서, 표현(611)의 품질은 표현(602, 603, 604)의 품질보다 더 높다. 표현(611)을 이용하여 제공되는 서브-픽쳐 내에 뷰포트(620)가 남아 있는 한, 상기 플레이어는 고품질 표현(611) 및 저품질 표현(602, 603, 604)의 세그먼트를 계속 요청하여 수신할 수도 있다.

플레이어에 의해 요청된(및 렌더링된) 표현은, 뷰포트 위치의 변화에 따라, 변화할 수도 있다. 시간 t1에서 제1 뷰포트(620)로부터 제2 뷰포트(622)로의 뷰포트 전환에 응답하여, 고품질 표현(611)(Rep(1,H)) 및 저품질 표현(602)(Rep(2,L)) 양자가 렌더링되어 뷰포트(622)를 제공한다. 그러나, 고품질 표현(611)의 세그먼트를 계속 요청하는 대신에, 상기 플레이어는 표현(611)의 더 낮은 품질의 버전(601)(Rep(1,L))의 세그먼트를 요청하기 시작한다. 유사하게, 저품질 표현(602)의 세그먼트를 계속 요청하는 대신에, 상기 플레이어는 표현(602)의 보다 고품질의 버전(612)(Rep(2,H))의 세그먼트를 요청하기 시작한다. 일단 이들 새로이 요청된 세그먼트가 수신되면, 시간 t2에서, 대부분의 뷰포트(622)가 고품질로 렌더링되도록, 표현(601 및 612)을 이용하여 뷰포트(622)가 제시된다. 뷰포트의 품질은 뷰포트를 커버하도록 렌더링되고 있는 영역 또는 표현의 품질로부터 유도될 수 있다. 시간 t3에서, 뷰포트는 뷰포트(624)로 이동한다. 처음에, 고품질 표현(612) 및 저품질 표현(603)을 이용하여 뷰포트(624)가 제시된다. 상기 플레이어는 표현(603)의 보다 고품질의 버전(613)을 요구하기 시작한다. 일단 그것이 수신되면, 고품질 표현(612 및 613)을 이용하여 뷰포트(624)가 제시된다.

몰입형 미디어 메트릭스(Immersive Media Metrics)

2018년 2월의 ISO/IEC JTC1/SC29/WG11 N17400 "WD of ISO/IEC 23090-6 Immersive Media Metrics"에 기술된 MPEG 몰입형 미디어 메트릭스는 몰입형 미디어 품질 및 클라이언트 체험을 기록 및/또는 보고하는 몰입형 애플리케이션을 위한 측정 프레임워크 및 몰입형 미디어 메트릭스의 컬렉션을 특정한다. 상기 메트릭스의 컬렉션을 위한 인터페이스를 정의하는 관찰점 및 측정점을 갖는 클라이언트 참조 모델 역시 작업 드래프트에 포함된다.

도 7은 5개의 관찰점을 갖는 클라이언트 참조를 도시한다. 메트릭스 컴퓨팅 및 리포팅 모듈은 각 OP로부터의 데이터를 집약하여 상기 메트릭스를 유도할 수도 있다. 뷰포트 전환 레이턴시(viewport switch latency), 렌더링 FOV 등과 같은 몇몇 메트릭스 후보는 2017년 10월의 MPEG 문서인 ISO/IEC JTC1/SC29/WG11 N17239, "Immersive Media Metrics Under Considerations"에 기술되어 있다. 도 7은 미디어 프레젠테이션 모듈(702), 센서 모듈(704), 미디어 처리 모듈(706), 네트워크 액세스 모듈(708) 및 클라이언트 컨트롤러(710)를 포함하는 VR 클라이언트(700)를 보여준다. 미디어 프레젠테이션 모듈은 투영(projection), 구성(composition) 및 렌더링을 수행한다. 센서 모듈은 머리, 눈 및 모션 트래킹을 수행하고, 센서 데이터를 미디어 프레젠테이션 모듈, 미디어 처리 모듈, 및 네트워크 액세스 모듈에 제공한다. 미디어 처리 모듈은 네트워크 액세스 모듈에 의해 네트워크(712)를 통해 검색된 미디어 및 메타데이터의 캡슐화해제(decapsulation), 디코딩, 및 파싱을 수행한다. VR 클라이언트의 모듈들은 모두, 본원에 설명한 것과 같은 메트릭스에 대해 컴파일하고 보고하는 메트릭스 컴퓨팅 및 리포팅(MCS) 모듈(714)과 통신한다.

예시적인 실시예에서 대처되는 이슈

가상 현실(VR)은 유저가 몰입형 체험에 자연스럽게 관여할 기회를 제공하여, 가상 환경에서의 물리적 존재감을 제공한다. 몰입형 VR 체험의 충격 및 가치는 전개되는 VR 디바이스, 콘텐트 제작 및 VR 기술에 의존한다. 이러한 충격을 캡처하고, 측정하고 분석하는 일관된 방법은 VR 제품 및 애플리케이션의 성능 및 유효성을 정량화하고 평가하며, 존재감 및 즐거운 느낌을 향상시키고, 제품 및 체험 디자인을 더 향상시키는 데에 유용하다.

예컨대, 2017년 10월의 SO/IEC JTC1/SC29/WG11 N17239, "Immersive Media Metrics Under Considerations"에서 몇몇 VR 고유의 메트릭스가 제안되었고, 이들 메트릭스는 애플리케이션 및 기술에 의존하지 않는다. 정확하고 일관성 있는 메트릭스 기록 및 리포팅 기기가 부족하면, 콘텐트를 보는 엔드 유저를 위한 서비스와 체험의 전체적인 품질과 관련된 메트릭스의 일관된 세트를 전달하려 하는 과제가 업계에 부여될 수도 있다.

뷰포트에 독립적인 스트리밍 애플리케이션의 경우, 종래의 비디오 처리 및 분배 기술이 전개될 수 있고, 사용자 체험은 주로, 네트워크 스루풋, 시스템 엔드-투-엔드 지연(system end-to-end delay) 및 디바이스 성능에 의존한다.

뷰포트에 의존적인 스트리밍 애플리케이션의 경우, 네트워크 대역폭을 좀 더 효율적으로 활용하기 위하여 뷰포트에 의존적인 코딩 및 스트리밍 기술이 제안되었다. 뷰포트에 의존적인 어프로치의 한 가지 목적은, 보다 고품질로 유저에 의한 디스플레이 및 보기를 위해 그리고 더 낮은 품질로 잔여 영역의 디스플레이 및 보기를 위해 전방향성 비디오의 뷰포트 부분을 전달하는 것이다. 사용자가 시선 방위를 변경하면, 상기 시스템은, 사용자가 일관성 있는 보다 고품질의 비디오를 계속 체험할 수 있게 상기 프레젠테이션을 갱신하여 새로운 뷰포트를 보다 고품질로 신속히 렌더링한다. 뷰포트 전환 또는 천이 레이턴시(transition latency)는 사용자 체험에 영향을 주고, 비디오 코딩, 전달, 센서 트래킹 및 렌더링과 같은 기술은 그 지연의 요인으로 된다. 모든 기술 컴포넌트 중에서 시스템 성능을 평가하고 최적화하기 위하여, 상이한 기술의 성능을 측정하고 분석하는, 실행가능하고 일관성 있는 방법론이 뷰포트에 의존적인 서비스 디버깅, 개선 및 평가에 가치가 있다. 실용적인 API 및 이벤트 주도의 측정 프레임워크를 지원하는 일관성 있는 방법론을 개발하는 것이 바람직하므로, 제3자 분석에 의해 상기 메트릭스를 이용하여 체험 품질의 평가 및 검증을 행할 수 있다.

실시예의 개요

뷰포트에 의존적인 비디오 코딩 및 스트리밍 어프로치에는 적어도 두 개의 주요 카테고리가 있다.

제1 어프로치는 전방향성 콘텐트의 영역마다의 품질 랭크된(RWQR) 인코딩이다. 각각의 Rrepresentation은 360°비디오 프레임 전체를 커버하지만 고품질의 인코딩된 영역이 상이하다. 현재의 뷰포트에 따라서, 현재의 뷰포트 위치의 것과 일치하는 고품질의 인코딩된 영역을 포함하는 트랙이 그 트랙의 영역마다의 품질 랭킹 메타데이터에 기초하여 선택되어 VR 플레이어에 송신된다.

제2 어프로치는 서브-픽쳐 기반 스트리밍이고, 소스 콘텐트는 인코딩 전에 서브-픽쳐 시퀀스로 분할된다. 각각의 서브-픽쳐 시퀀스는 전방향성 비디오 콘텐트의 공간 에어리어의 서브셋을 커버한다. 서브-픽쳐가 중첩할 가능성이 있다. 이어서, 각각의 서브-픽쳐 시퀀스는 다른 서브-픽쳐 시퀀스로부터 독립하여, 단일 비트스트림으로서 인코딩된다. 추가로, 레이트 적응(rate adaption)을 가능케하기 위하여, 하나의 서브-픽쳐 시퀀스에 대해, 예컨대 상이한 비트레이트, 상이한 해상도 등에 대하여 몇몇 비트스트림이 인코딩된다. 플레이어는 뷰포트를 렌더링하기 위하여, 영역마다의 품질 랭킹 메타데이터로 나타내는 상이한 품질의 상이한 복수의 서브-픽쳐 트랙을 요청할 수도 있다. 플레이어는 현재의 뷰포트를 커버하지 않는 서브-픽쳐 트랙을 요청할 수도 있고, 이들 트랙은 나중에, 사용자의 시선 방위 또는 뷰포트가 변화하면, 디코딩되고 렌더링될 수도 있다.

시선 방위 변화는, 예컨대, 플랫 디스플레이를 구비한 종래의 디바이스에서의 유저의 상호작용에 의해 또는 헤드 장착형 디바이스에서의 유저의 머리의 움직임에 의해 촉발될 수도 있다.

표현 세트

서브-픽쳐 기반 스트리밍 어프로치에서, 구상 영역이 복수의 서브-픽쳐 스트림으로 코딩된다. 각각의 서브-픽쳐는, 각각 상이한 해상도, 비트레이트 및/또는 품질을 갖는 복수의 표현으로 인코딩될 수도 있다. 목표는 현재의 뷰포트를 제시하기 위해 수신되는 표현 스트림의 품질을 높이는 것이다.

본원에서 사용되는 용어 "액티브 뷰포트 표현 세트(active viewport representation set)"는 뷰포트를 제시하기 위해 렌더링되는 표현들의 세트를 지칭하기 위해 사용된다.

본원에서 사용되는 용어 "뷰포트 표현 세트"는, 액티브 뷰포트 표현 세트 내의 Representations과 동일한 적응 세트에 속하는 표현들의 세트를 지칭하기 위해 사용된다. 환언하면, "뷰포트 표현 세트"는 뷰포트를 제시하기 위해 렌더링되는 서브-픽쳐의 표현들의 세트이다. 상기 플레이어는 제1 뷰포트 Representation 세트로부터 Representations 또는 sub-Representations를 요청하여, 상기 제1 뷰포트를 렌더링할 수도 있다.

예로서, 제1 액티브 뷰포트 표현 세트는, 제1 뷰포트 내의 콘텐트를 렌더링하기 위하여 클라이언트에 의해 요청되는 제1 뷰포트를 커버하는 하나 이상의 서브-픽쳐 표현 및/또는 서브-표현 스트림을 포함한다. 남아 있는 에어리어를 커버하는 서브-픽쳐 표현 및/또는 서브-표현은 플레이어에 의해 요청, 디코딩 또는 렌더링될 수도 있고 되지 않을 수도 있다. 유저의 시선 방위가 제1 뷰포트로부터 제2 뷰포트로 변화하면, 제1 액티브 뷰포트 표현 세트 로부터의 표현은 제2 뷰포트의 전체 에어리어를 커버하지 않을 수도 있다. 이어서, 상기 플레이어는 제2 뷰포트를 커버하는 하나 이상의 서브-픽쳐 표현 및/또는 서브-표현을 포함하는 제2 액티브 뷰포트 표현 세트로부터 표현을 요청, 디코딩 및 렌더링한다.

도 8은 뷰포트 표현 세트의 일예를 보여준다. 도 8의 예에서, 각각의 서브-픽쳐는 보다 고품질 및 더 낮은 품질의 두 표현으로 인코딩되고, 동일한 서브-픽쳐의 두 표현은 동일한 적응 세트에 포함된다.

도 8의 예에서, sub-picture #1(801)은 두 Representations, 즉 Rep(1,H) 및 Rep(1,L)를 갖고 있으며; sub-picture #2(802)는 두 Representations, 즉 Rep(2,H) 및 Rep(2,L)를; sub-picture #3(804)는 두 Representations, 즉 Rep(3,H) 및 Rep(3,L); 그리고 sub-picture #4(804)는 두 Representations, Rep(4,H) 및 Rep(4,L)를 갖고 있다.

뷰포트(806)가 도 8에 도시한 두 sub-picture #2 및 #3를 커버하는 경우, 뷰포트를 제시하기 위해 표현 Rep(2,H) 및 Rep(3,H)가 요청, 디코딩 및 렌더링된다. 이 경우, 표현 Rep(2,H) 및 Rep(3,H)은 액티브 뷰포트 표현 세트를 형성한다. 표현 Rep(2,H) 및 Rep(2,L)은 동일한 적응 세트를 공유하고, 표현 Rep(3,H) 및 Rep(3,L)은 동일한 적응 세트를 공유한다. 따라서, 표현 Rep(2,H), Rep(2,L), Rep(3,H) 및 Rep(3,L)은 뷰포트 표현 세트를 형성한다.

뷰포트 전환 이벤트

VR은 가상 세계에서의 존재감을 전달하고, 유저가 360도 주변을 탐색할 수 있도록 해준다. VR 애플리케이션은 이상적으로는, 유저의 시선 방위와 일치하도록 즉시, 변화하는 뷰포트를 제시하고 지각의 불일치(perceptual conflicts)를 피할 수도 있지만, 실제 상당한 지연이 발생한다. 전환 레이턴시, 트래킹 정밀도, 품질의 일관성 등과 같은 뷰포트 전환-관련 메트릭스를 이용하여 보기 체험(viewing experience)을 평가할 수 있다.

단일 스트림 어프로치를 이용하는 시스템에서, 전방향성 콘텐트 전체가 세그먼트 내에 전달되어 상기 플레이측에서 디코딩된다. 상기 플레이어는 전방향성 콘텐트의 일부를 렌더링하고, 디스플레이 상에 뷰포트로서 제시한다. 시선방위가 변하면, 상기 플레이어는 상기 콘텐트의 다른 부분을 제시하여, 그 방위의 변화를 직접 반영한다. 이러한 어프로치에서, 뷰포트 전환 레이턴시는 주로 모션-투-포톤 레이턴시(motion-to-photon latency)에 의해 야기된다.

모션-투-포톤 레이턴시는 주로, 디스플레이 리프레시 레이트(display refresh rate), 콘텐트 프레임 레이트(content frame rate), 렌더링 엔진 사이클(rendering engine cycles) 및 센서 모션 트래킹 성능 등과 같은 요인에 의해 결정된다. 표 1은 일부 실시예에 있어서 사용될 수도 있는 모션-투-포톤 레이턴시 메트릭을 제공한다. 모션-투-포톤 레이턴시 메트릭은 측정 시간 및 기록된 레이턴시를 포함할 수도 있다.

Key			Type	Description
MotionPhotonLatency			List	플레이아웃 동안의 모션-투-포톤 레이턴시의 리스트
	Entry		Object	하나의 모션-투-포톤 레이턴시 측정치
		t	Real-time	측정 시간
		latency	Integer	밀리초 단위의 모션-투-포톤 레이턴시

<모션-투-포톤 레이턴시>서브-픽쳐 기반 뷰포트에 의존적인 스트리밍의 경우, 상기 플레이어는 뷰포트를 커버하는 표현의 세그먼트만을 요청할 수도 있다. 유저가, 현재의 세그먼트에 의해 (전체적으로 또는 부분적으로) 커버되지 않는 새로운 뷰포트에로 유저의 머리를 신속히 돌리면, 새로운 뷰포트를 커버하는 세그먼트가 요청, 수신, 디코딩 및 렌더링되기 전에, 새로운 에어리어에는 아무것도 보이질 않을 수 있다. 다른 시나리오에서는, 상기 플레이어는 전방향성 콘텐트 전체를 커버하는 복수의 표현의 세그먼트를 요청할 수도 있고, 상기 플레이어는 뷰포트를 커버하는 이들 세그먼트만을 디코딩 및 렌더링할 수도 있다. 유저가, 현재 렌더링되고 있는 세그먼트에 의해 (전체적으로 또는 부분적으로) 커버되지 않는 새로운 뷰포트에로 유저의 머리를 신속히 돌리면, 상기 플레이어는 새로운 뷰포트를 커버하는 세그먼트를 식별하고, 새로운 뷰포트를 제시하기 위해 이들 새로운 세그먼트를 디코딩 및 렌더링하기 시작한다. 두 시나리오에 있어서, 뷰포트 전환 레이턴시는 네트워크 스루풋, 엔드-투-엔드 시스템 레이턴시, 서브-픽쳐 해상도, 세그먼트 길이 및 디바이스 디코딩 (예컨대, 단일의 디코더 대 복수의 디코더) 및 렌더링 능력과 같은 요인에 의존한다. 이하, 서브-픽쳐 기반 스트리밍 어프로치에서의 뷰포트 전환 레이턴시를 측정하는 방법을 제안한다.

뷰포트 전환 메트릭은, 서브-픽쳐 기반 뷰포트에 의존적인 스트리밍을 위한 뷰포트 전환 이벤트에 기초하여 검출 및 측정될 수도 있다. 일부 실시예에 있어서, 제1 뷰포트로부터 제2 뷰포트로의 전환 이벤트는, 제1 뷰포트 표현 세트에 포함되지 않은 표현이 요청되고, 나중에 디코딩 및 렌더링되어 제2 뷰포트를 제시하는 경우 검출된다.

본원에 설명한 예에 있어서, Rep(i, j) 형태의 표현은 i번째 서브-픽쳐의 j번째 표현을 나타내기 위하여 이용된다. 도 9는 표현 전환에 기초하여 뷰포트 전환 이벤트를 검출하는 예를 보여준다.

도 9의 예에서, 단계(952), 시간t0에서, 제1 뷰포트를 제시하기 위하여 보다 고품질의 표현 Rep(1, H)(911)이 렌더링된다. 제1 액티브 뷰포트 표현 세트는 Rep(1,H)(911)를 포함하고, 제1 뷰포트 표현 세트는 sub-picture #1에 속하는 Rep(1,H)(911) 및 Rep(1,L)(901)를 포함한다. Rep(1,H)(911)만이 플레이어에 의해 요청되고, 디코딩되고 렌더링된다. 상기 플레이어는 또한, (단계(954))에서), 전체가 제1 서브-픽쳐 내에 놓이는 제1 뷰포트를 제시하는 경우 구체 상의 잔여 에어리어를 커버하기 위하여, Rep(2,L)(902), Rep(3,L)(903) 및 Rep(4,L)(904)와 같은 기타 서브-픽쳐 표현을 요청할 수도 있다.

시간 t2, 단계(956)에서, 센서는 제2 뷰포트(922)에 위치한 시선 방위로의 변화를 검출한다. 단계(958)에서, 제2 뷰포트(922)로의 변화를 검출하는 것에 응답하여, 상기 플레이어는 레이턴시 측정을 위한 시작 시간으로서 시간 t2를 기록한다. 단계(960), 시간 t3에서, 상기 플레이어는 sub-picture #2의 보다 고품질의 표현 Rep(2, H)(912)을 요청한다. 단계(962), 시간 t4에서, 상기 플레이어는 제1 뷰포트 표현 세트 내에 포함되지 않았던 표현 Rep(2, L)(902)을 렌더링하기 시작한다. (단계(960 및 962)의 순서는 뒤바뀔 수도 있다). 제2 액티브 뷰포트 표현 세트는 Rep(2,L)를 포함하고, 제2 뷰포트 표현 세트는, sub-picture #2에 속하고 동일한 적응 세트를 공유하는 Rep(2, H) 및 Rep(2, L)를 포함한다. Rep(2, L)(902)를 렌더링하는 단계(962)에서의 시작에 응답하여, 상기 플레이어는, 단계(964)에서 레이턴시 측정 종료 시간으로서 시간 t4을 기록한다. 도 9의 기법을 이용하여 생성한 레이턴시 측정치는 시작 시간 t2 및 종료 시간 t4 사이의 차이로서 계산될 수도 있다. 단계(964), 시간 t5에서, 단계(960)에서 요청한 sub-picture #2의 보다 고품질의 표현 Rep(2, H)(912)이 렌더링된다.

본 예에서, 뷰포트 전환 레이턴시는, 제2 뷰포트를 제시하기 위해 요청되어 렌더링되는 제1 표현 세트에 포함되지 않은 새로운 표현 또는 서브-표현이 생기게 되는, 제2 뷰포트에서의 유저의 시선 방위의 센서 검출 시간과, 제2 뷰포트 콘텐트를 커버하는 표현이 완전히 렌더링되는 시간 사이에서, 예컨대 밀리초의 시간으로서 측정된다. 도 9의 예에서, 뷰포트 레이턴시는 t2와 t4 사이의 시간 간격이다.

도 10은 플레이어가, 뷰포트를 커버하는 표현 세그먼트를 요청만 하는 경우의 뷰포트 전환의 다른 예를 보여준다.

도 10의 예에서, 시간 t0에서, 뷰포트(920)는 전체가, 표현(911)에 의해 커버되는 영역 내에 위치한다. 그 결과, 뷰어는 표현(911)만을 검색하고, 단계(1052)에서, 뷰어는 표현(911)을 뷰포트(920)에 렌더링한다. 시간 t2, 단계(1054)에서, 상기 플레이어 뷰포트(922)에의 변화를 검출한다. 이러한 뷰포트의 변화에 응답하여, 단계(1056)에서, t2가 레이턴시 측정 시작 시간으로서 기록된다. 단계(1058), 시간 t3에서, 상기 플레이어는 새로운 뷰포트 위치(922)를 커버하는 표현(912)을 요청한다. 상기 플레이어는 표현(912)을 수신하고, 단계(1060), 시간 t4에서, 표현(912)을 뷰포트(922)에 렌더링하기 시작한다. 뷰포트(922)에의 표현(912) 렌더링 개시에 응답하여, 시간 t4이 단계(1062)에서 레이턴시 측정 종료 시간으로서 플레이어에 의해 기록된다. 도 10의 기법을 이용하여 생성된 레이턴시 측정치는 시작시간 t2과 종료 시간 t4 사이의 차이로서 계산될 수도 있다. 도 10의 뷰포트 전환 레이턴시는 일반적으로, 도 9의 뷰포트 전환 레이턴시보다 더 높은데, 왜냐하면 도 10에서, 상기 제2 뷰포트를 커버하는 세그먼트 Rep(2,H)(922)는 센서가 시선 방위 변화를 검출할 때까지 요청되지 않기 때문이다.

표 2는 센서가 방위 변화를 검출하는 시간, 플레이어가 새로운 표현에 대한 HTTP 요청을 발행하는 시간, 새로운 뷰포트를 제시하기 위해 새로운 표현이 렌더링되는 시간, 총 뷰포트 전환 레이턴시와 같은 파라미터를 포함하는 뷰포트 레이턴시 메트릭을 제공한다.

Key			Type	Description
ViewportSwitchingLatency			List	플레이아웃 동안 뷰포트 전환 레이턴시 측정치의 리스트
	Entry		Object	하나의 뷰포트 전환 레이턴시 측정치
		sensorDetectionTim	Real-Time	센서가 방위 변화를 검출하는 시간
		HTTPRequestingTime	Real-Time	플레이어가 새로운 표현 세그먼트에 대한 HTTP 요청을 전송한 시간
		ViewportRenderingTime	Real-Time	새로운 뷰포트가 렌더링된 시간
		latency	Integer	밀리초 단위의 뷰포트 전환 레이턴시

<뷰포트 전환 레이턴시>시점 전환 레이턴시

시점은 그로부터 유저가 장면을 보는 포인트이다. 시점은 종종 카메라 위치에 대응한다. 시점은 타임라인을 따라 정적으로 또는 동적으로 위치될 수 있다. 실제 시점은 비디오가 촬영되었을 때 카메라의 위치에 대응하고, 가상 시점이 뷰 합성 방법을 통해 생성될 수도 있다. 스포츠 경기 또는 음악 콘서트와 같은 이벤트는 필드 또는 스테디움 상에 복수의 시점을 갖고 있을 수 있어, 유저에게 상이한 시선을 제공한다. 유저는 한 번에 하나의 시점을 요청할 수도 있고, 온 더 플라이(on the fly)로 시점 사이에서 전환할 수도 있다. 시점 전환 레이턴시는, 디바이스의 응답 시간, 비디오가 인코딩된 랜더 액세스 기간, 시점 천이 효과의 렌더링, 뷰 합성 프로세스를 이용하여 가상 뷰포트를 생성하는 데에 걸리는 시간과 같은 각종의 요인에 의해 야기될 수도 있다.

표 3은 시점 전환 레이턴시 메트릭의 일예를 제공한다.

Key			Type	Description
ViewpointSwitchingLatency			List	시점 전환 레이턴시의 리스트
	Entry		Object
		firstViewpoint	ViewpointDataType	(전환 전) 제1 시점의 위치 또는 ID를 특정한다
		secondViewpoint	ViewpointDataType	(전환 후) 제2 시점의 위치 또는 ID를 특정한다
		측정Time	Real-Time	시점 전환 레이턴시의 측정 시간을 실시간으로 특정한다
		latency	Integer	제1 시점으로부터 제2 시점을 향한 유저의 움직임이 선택되는 시간과, 제2 시점에 대응하는 콘텐트가 디스플레이에 반영되는 시간 사이의 지연을 밀리초 단위로 특정한다

<시점 전환 레이턴시>ViewpointDataType은 시점 식별자, 라벨 및 시점의 위치를 특정한다. 표 4는 VR 메트릭스에 사용되는 ViewpointDataType 구조의 일예를 보여준다.

Key		Type	Description
ViewpointDataType		Object
	Viewpoint_id	Integer	시점의 유일 식별자를 특정한다.
	viewpoint_label	String	사람이 읽을 수 있는 텍스트를 특정하는, null로 종료되는 UTF-8 문자열이다.
	x	Integer	시점 위치의 X 좌표를 밀리미터 단위로, (0,0,0)을 갖는 3D 공간에, 공통 참조 좌표계의 중심으로서 특정한다.
	y	Integer	시점 위치의 Y 좌표를 밀리미터 단위로, (0,0,0)을 갖는 3D 공간에, 공통 참조 좌표계의 중심으로서 특정한다.
	z	Integer	시점 위치의 Z 좌표를 밀리미터 단위로, (0,0,0)을 갖는 3D 공간에, 공통 참조 좌표계의 중심으로서 특정한다.
	longitude	Integer	시점의 지오로케이션(geolocation)의 경도 좌표를 특정한다.
	latitude	Integer	시점의 지오로케이션의 위도 좌표를 특정한다.
	altitude	Integer	시점의 지오로케이션의 고도 좌표를 특정한다.

<시점 데이터 타입>예시적인 실시예에서, 시점 전환 이벤트는, 제1 시점의 콘텐트가 렌더링되고 있는 동안에, 센서가 유저의 제2 시점 선택을 검출하면, 시작한다. 유저는, 시점의 디폴트 방위 또는 유저가 선택한 방위에 기초하여, 제2 시점의 하나 또는 복수의 세그먼트를 요청할 수도 있다. 제2 시점이 가상 시점인 경우에, 기준 시점들의 트랙의 세그먼트가 새로운 뷰를 생성하기 위해 요청될 수도 있다. 디스플레이는 제1 시점과 제2 시점 사이의 천이를 렌더링할 수도 있다. 시점 전환 이벤트는, 제2 시점의 뷰포트가 유저에게 렌더링되면 종료한다.

일부 실시예에 있어서, 명시적인 유저의 요청 또는 유저의 장면과의 상호작용에 응답하여, 표현이 현재 렌더링되지 않고 있는 새로운 시점의 표현으로부터의 세그먼트에 대한 네트워크 요청이 이루어지면, 잠재적 시점 전환 이벤트가 검출된다. 서브-픽쳐-기반 뷰포트 의존적 스트림의 경우에, 상기 새로운 시점의 서브-픽쳐에 대응하는 하나 이상의 세그먼트가 요청될 수도 있다. 그 이벤트는, (현재 렌더링되지 않고 있는) 상기 새로운 시점으로부터의 뷰포트가, 요청된 세그먼트가 다운로드되어 디코딩된 후에, 결국 렌더링되면, 최종적으로 식별(완료)된다.

일부 실시예에 있어서, 잠재적 시점 전환의 검출에 응답하여, 클라이언트는 검출 시간 및 타겟 시점을 포함하는 레코드를 생성하고, 그 레코드를 펜딩중인 모든 시점 전환 측정치의 트랙을 보존하고 있는 메모리 내 데이터 구조(예컨대, 리스트)에 추가한다. 이전의 렌더링된 뷰포트의 시점 id와는 상이한 새로운 시점 id를 갖는 뷰포트를 렌더링 모듈이 렌더링하는 것에 응답하여, 클라이언트는 가장 최근의 검출 시간 및 렌더링되고 있는 뷰포트의 것과 동일한 타겟 시점 id의 레코드에 대하여 펜딩중 시점 전환 측정치의 리스트를 체크한다. 그러한 레코드가 존재하면, 시점 전환 이벤트가 식별된다. 새로운 뷰포트 및 그 관련된 시점 id가 secondViewpoint 필드에 할당되고, 렌더링 시간이 측정 시간 필드 measurementTime에 할당된다. 리턴된 레코드보다 검출시간이 더 이른 모든 레코드가 펜딩중 시점 전환 측정치의 리스트로부터 제거된다. 이어서, 식별된 시점 전환 이벤트(및 그 관련된 시점 id) 전에 렌더링되고 있었던 뷰포트가 firstViewpoint 필드에 할당된다. (i) 새로운 뷰포트의 표현에 대한 요청이 이루어졌던 시간과, (ii) 시점의 표현이 렌더링되는 시간 사이의 시간 간격으로서 뷰포트 전환 레이턴시가 계산된다. 이 시간 간격은 latency 필드에 할당되고, 시점 전환 레이턴시로서 보고된다.

이하의 타임라인은 서브-픽쳐-기반 뷰포트 의존적 스트리밍의 경우에 측정 프로세스의 일예를 제공한다:

시간 t0: 클라이언트는 시점 A로부터 뷰포트를 렌더링한다.

시간 t1: 유저의 상호작용에 응답하여, 시점 B로부터의 하나 이상의 세그먼트가 네트워크를 통해 요청된다. 클라이언트는 펜딩중 시점 전환 측정치를 나타내는 레코드 <t1, B>를 생성하여, 메모리 내 데이터 구조에 저장한다.

시간 t2: 요청된 세그먼트의 다운로드가 완료된다.

시간 t3: 요청된 세그먼트는 디코딩되고, 시점 B로부터의 뷰포트는 렌더링 준비 상태에 있다.

시간 t4: 시점 B 뷰포트를 위한 서브-픽쳐가 액티브 서브-픽쳐 세트에 추가되고, 시점 전환이 식별된다. 클라이언트는 메모리 내 데이터 구조에서 <t1, B>(가장 이른 시작 시간 및 타겟 시점 B를 갖고 있는 레코드)를 검색한다. 시점 전환 이벤트가 식별되기 전에 렌더링되는 마지막 뷰포트가 firstViewpoint에 할당되고, 시점 B로부터의 새로운 뷰포트가 secondViewpoint에 할당된다. 측정 시간 t4가 measurementTime 필드에 할당된다. 시간차(t4-t1)가 latency 필드에 할당되고, 시점 전환 레이턴시로서 보고된다.

서비스 제공자 및 디바이스 제조업자는 유저 체험 및 시스템 성능을 평가하기 위해 이러한 메트릭을 이용할 수도 있다. 중간 시점 또는 가상 시점의 경우, 이러한 메트릭을 이용하여, 뷰 합성 알고리듬 및 디바이스 처리 능력의 성능을 특징지울 수도 있다.

렌더링된 시점

일부 실시예에 있어서, 렌더링된 시점 메트릭은, 특정 미디어 프레젠테이션 시간 간격을 두고 렌더링된 시점들의 리스트를 보고한다. 렌더링된 시점 메트릭의 일예가 표 5에 특정된다.

Key			Type	Description
RenderedViewpoints			List	렌더링된 뷰포트의 리스트
	Entry		Object
		startTime	Media-Time	현재의 엔트리 내에 표시된 시점의 뷰포트가 그 미디어 샘플로부터 시작하여 렌더링되었을 때, 최초로 재생된 미디어 샘플의 미디어 프레젠테이션 시간을 특정한다.
		duration	Integer	현재의 엔트리 내에 표시된 시점과 연관된 뷰포트가 startTime 으로 나타낸 미디어 샘플로부터 시작하여 렌더링되었을 때, 연속적으로 제시된 미디어 샘플들의 밀리초 단위의 지속 시간이다.이 예에서 "연속적으로 제시된"은 미디어 시계가 그 간격 전체에 걸쳐 플레이아웃 속도로 계속 진행한 기간을 지칭한다.
		viewpoint	ViewpointDataType	startTime으로 나타내는 미디어 샘플로부터 시작하여 렌더링되는 뷰포트의 위치 및 회전을 나타낸다.

<렌더링된 시점 메트릭>엔드 유저는 온더플라이(on-the-fly)에서 복수의 시점 사이에서 전환할 수도 있고, key인 startTime과 duration은 시점으로부터 생성된 전체 콘텐트의 특정 부분이 엔드 유저에 의해 렌더링되고 있는 것을 나타낸다. 서버는 복수의 엔드 유저로부터 이러한 메트릭을 집약하고, 특정 시점의 사용상황과, 시점으로부터의 콘텐트의 상이한 부분의 매력의 통계를 도출할 수도 있다.

다른 실시예에 있어서, 시점 정보는 2018년 4월의 ISO/IEC JTC1/SC29/WG11 N17564, "WD of ISO/IEC 23090-6 Immersive Media Metrics"에 특정된 렌더링된 뷰포트 메트릭스에 추가될 수도 있다. 표 6은 관련된 시점 정보를 갖는 렌더링된 뷰포트 메트릭의 일예를 보여준다.

Key			Type	Description
RenderedViewports			List	렌더링된 뷰포트의 리스트
	Entry		Object
		startTime	Media-Time	현재의 엔트리 내에 표시된 뷰포트가 그 미디어 샘플로부터 시작하여 렌더링되었을 때, 최초로 재생된 미디어 샘플의 미디어 프레젠테이션 시간을 특정한다.
		duration	Integer	현재의 엔트리 내에 표시된 뷰포트가 startTime 으로 나타낸 미디어 샘플로부터 시작하여 렌더링되었을 때, 연속적으로 제시된 미디어 샘플들의 밀리초 단위의 지속 시간이다."연속적으로 제시된"은 미디어 시계가 그 간격 전체에 걸쳐 플레이아웃 속도로 계속 진행한 기간을 지칭한다.
		viewport	ViewportDataType	startTime으로 나타내는 미디어 샘플로부터 시작하여 렌더링되는 뷰포트에 대응하는 전방향성 미디어의 영역을 나타낸다.
		viewpoint	ViewpointDataType	현재 엔트리 내에 표시된 뷰포트와 관련된 시점을 특정한다.

<제안된 렌더링된 뷰포트 메트릭>콘텐트 제작자는 가장 많이 본 시점을 식별하기 위하여, 렌더링된 시점 메트릭을 이용할 수 있고, 추천된 복수 시점의 뷰포트를 생성하고, 또는 더 많은 리소스를 이들 시점 콘텐트에 할당하여, 보는 체험을 개선하고, 또는 가장 인기 있는 시점 둘레에 더 많은 물리적 또는 가상 시점을 추가하여 유저에게 더 많은 보는 시점을 제공할 수도 있다. 예컨대, 클라이언트측에서 중간 뷰를 합성하는 대신에, 유저의 요청에 대해 서버 측에서 공통적으로 렌더링된 가상 시점을 합성할 수도 있다. 서비스 제공자는 또한 가장 많이 렌더링된 시점 콘텐트의 세그먼트를 엔드 유저에 더 가까운 캐쉬(cache)에 할당하여 보는 체험을 개선하기 위하여 이러한 메트릭에 의존할 수도 있다.

렌더링된 추천된 뷰포트

OMAF는 단일의 시점 또는 복수의 시점에 대하여, 추천된 뷰포트를 특정한다. 추천된 뷰포트 시간지정 메타데이터 트랙은, 유저가 시선 방위에 대한 제어를 갖고 있지 않거나 시선 방위에 대한 제어를 해제한 경우에 표시되어야 하는 뷰포트를 나타낸다. 추천된 뷰포트 타입은 디렉터스 컷(director's cut) 또는 측정 통계에 기초할 수도 있다. 재생 중에, 유저는 시선 방위의 제어를 해제하는 것을 선택하고 추천된 뷰포트 시간지정 메타데이터 트랙을 따라갈 수도 있고, 또는 하나의 추천된 뷰포트 트랙으로부터 다른 추천된 뷰포트 트랙으로 전환할 수도 있다. 유저는 다시 온 더 플라이로 시선 방위에 대한 제어를 취할 수도 있다.

일부 실시예에 있어서, 유저가 추천된 뷰포트 시간지정 메타데이터 트랙으로 전환할 때와, 대응하는 추천된 뷰포트 트랙을 유저가 얼마나 오랫동안 시청하는 지를 평가하기 위하여, 렌더링된 추천된 뷰포트 메트릭이 이용된다. 클라이언트 디바이스는, 유저가 시선 방위에 대한 제어를 갖고 있지 않거나 시선 방위에 대한 제어를 해제할 때마다 이벤트를 기록할 수도 있다. 렌러딩된 추천된 뷰포트 메트릭은 또한, 추천된 뷰포트 트랙의 인기와, 추천된 뷰포트 트랙의 인기 부분을 결정하는 데에 사용될 수 있다. 표 7은 추천된 뷰포트 히트 메트릭의 일예를 보여준다.

메트릭은 유저가 추천된 뷰포트 시간지정 메타데이터 트랙으로 전환할 때마다 기록될 수도 있다.

Key			Type	Description
RenderedRecommendedViewport			List	추천된 뷰포트 히트의 리스트
	Entry		Object
		id	Integer	추천된 뷰포트 시간지정 메타데이터 트랙의 표현 id
		measurementTime	Real-Time	렌더링된 추천된 뷰포트의 측정 시간을 실시간으로 특정한다.
		startTime	Media-Time	현재 엔트리 내에 표시된 추천된 뷰포트의 최초 재생된 미디어 샘플의 미디어 프레젠테이션 시간을 특정한다.
		duration	Integer	추천된 뷰포트의 연속적으로 제시된 미디어 샘플의 밀리초 단위의 지속시간. "연속적으로 제시된"은 미디어 시계가 그 간격 전체에 걸쳐 플레이아웃 속도로 계속 진행한 기간을 의미한다.

<추천된 뷰포트 히트 메트릭>표 7의 예에서:

id는 MPD 내의 추천된 뷰포트 시간지정 메타데이터 표현의 식별자이다;

measurementTime 은 유저가 추천된 뷰포트 시간지정 메타데이터 트랙으로 전환하였을 때 메트릭이 측정된 실시간을 나타낸다;

startTime 은 추천된 뷰포트 샘플의 최초 재생된 미디어 샘플의 미디어 프레젠테이션 시간을 특정한다.

duration 은 측정되고 있는 추천된 뷰포트의 연속 렌더링의 지속 시간을 특정한다.

디바이스는, 측정이 언제 수행되었는가를 보고하기 위해 measurementTime을 기록할 수도 있다. startTime 및 duration은 유저에게 흥미가 있는 추천된 뷰포트 트랙의 특정 부분을 결정하는 데에 이용될 수도 있다. id는 뷰포트 영역 및 관련된 시점 위치와 같은 정보를 포함하는 특정의 추천된 뷰포트 시간지정 메타데이터 트랙을 나타낸다.

콘텐트 제공자 및 서비스 제공자는 이러한 메트릭을 이용하여, 어느 추천된 뷰포트 트랙 및 이러한 트랙의 어느 부분이 엔드 유저에게 어필하는지를 식별할 수도 있다. 가장 많이 렌더링된 추천된 뷰포트 트랙 또는 추천된 트랙 중 가장 많이 렌더링된 세그먼트가 엔드 유저에 더 가까운 캐쉬에 할당될 수 있고, 가장 적게 렌더링된 추천된 뷰포트 트랙은 MPD 파일로부터 제거될 수도 있다. 유저 프로화일과 조합하여, 분석 서버는 영역, 나이, 성 및 콘텐트에 기초하여, 상이한 그룹의 사람들의 보는 습관을 식별할 수도 있다. 디바이스 제조업자는 이러한 메트릭을 이용하여, UI 디자인이 유저로 하여금 보기 추천을 쉽게 따라가도록 고무시키는지 여부를 평가할 수도 있다.

서브-픽쳐 세트

본원에서, 용어, 액티브 서브-픽쳐 세트는 뷰포트를 제시하기 위해 렌더링되고 있는 서브-픽쳐의 그룹을 지칭하는 데에 사용된다. 액티브 서브-픽쳐 세트는 뷰포트를 제시하기 위해 렌더링되고 있는 이들 서브-픽쳐의 모든 표현을 포함한다.

제1 액티브 서브-픽쳐 세트의 서브-픽쳐는 제1 뷰포트를 제시하기 위하여 렌더링되고, 뷰포트 전환 이벤트는, 제1 액티브 서브-픽쳐 세트에 포함되지 않은 적어도 하나의 새로운 서브-픽쳐가 렌더링되어 제2 뷰포트를 제시할 때에 식별될 수도 있다.

도 11은 액티브 서브-픽쳐 세트를 이용하는 일예를 보여준다. sub-picture #1(1101)이 단계(1152)에서 렌더링되어 시간 t1에서 제1 뷰포트(1120)를 커버하면, 제1 액티브 서브-픽쳐 세트는 sub-picture #1(1101)을 포함한다. 단계(1154)에서 센서가 시선 방위가 시간 t2에서 상기 제2 뷰포트(1122)로 이동한 것을 검출하면, 상기 플레이어는 sub-picture #2(1102)를 요청하기 시작한다. sub-picture #1 및 #2 양자는 단계(1154)에서, 시간 t3에서 렌더링되어 제2 뷰포트(1102)를 커버한다. 그 결과, 시간 t3 에서 액티브 서브-픽쳐 세트는 sub-picture #1(1101) 및 #2 (1102)를 포함한다. 유저 방위가 제3 뷰포트(1124)로 이동하면, 단계(1156)에서 sub-picture #2(1102)만이 렌더링되어, 시간 t4에서 상기 제3 뷰포트를 커버한다. 그 결과, 시간 t4에서, 제3 액티브 서브-픽쳐 세트는 오직 하나의 서브-픽쳐, sub-picture #2(1102)만을 포함한다. 뷰포트 전환 레이턴시는, 시간 t2(단계(1158)에서 기록된다) 및 t3(단계(1160)에서 기록된다) 사이의 시간 간격으로서 측정될 수도 있다.

비견할만한 품질의 뷰포트 전환 이벤트(Comparable-Quality Viewport Switch Event)

보기 체험에 영향을 주는 한 가지 요인은 뷰포트 품질의 일관성이다. 뷰포트에 독립적인 스트리밍의 경우, 전방향성 콘텐트 전체의 품질은 대략 일정하고, 가변 뷰포트 의 품질 역시 일정하다. 서브-픽쳐 기반 뷰포트에 의존적인 스트리밍의경우, 유저의 시선 방위가 제1 뷰포트에서 제2 뷰포트로 바뀐 것을 센서가 검출하면, 비견할만한 품질 뷰포트 전환이 시작된다. 상기 제1 뷰포트가 제시되고 있는 경우에, 유저는 일부 또는 온전한 전방향성 콘텐트를 커버하기 위해 하나 또는 복수의 표현을 요청할 수도 있다. 제1 뷰포트의 에어리어를 부분적으로 또는 온전히 커버하는 모든 렌더링된 표현은 제1 액티브 뷰포트 표현 세트라 지칭하고, 상기 제1 뷰포트를 제시하기 위해 렌더링되고 있는 서브-픽쳐의 모든 표현은 제1 뷰포트 표현 세트라 지칭한다. 뷰포트 표현 세트는 현재 렌더링되고 있는 각 서브-픽쳐의 표현뿐만 아니라, 뷰포트에 대하여 렌더링되고 있지 않은 동일한 서브-픽쳐의 기타 표현(예컨대 더 높은- 또는 더 낮은 품질의 표현)도 포함한다. i번째 서브-픽쳐 표현의 j번째 표현의 영역마다의 품질 랭킹(RWQR) 값은 qr(i, j)로서 나타낸다. 제1 뷰포트를 렌더링할 때 i번째 서브-픽쳐 표현의 j번째 표현의 품질 랭킹 값은 qr₁(i,　j)이다. 각 표현의 품질 랭킹 값은 상이할 수도 있다. 상기 제1 뷰포트를 커버하기 위해 렌더링되고 있는 표현의 품질 랭킹 값은 제1 뷰포트를 커버하지 않는 표현의 품질 랭킹 값보다 낮을 수 있다.

도 12는 제1 뷰포트(1200) 및 각 표현의 품질 랭킹 값을 보여준다. 도 12의 예에서, 제1 액티브 뷰포트 표현 세트는 {Rep(2,H), Rep(3,H), Rep(6,H), Rep(7,H)}인데, 왜냐하면 이들 표현이 현재 뷰포트(1200)에 렌더링되고 있기 때문이다. 상기 제1 뷰포트 표현 세트는 액티브 뷰포트 표현 세트 내의 서브-픽쳐의 기타 모든 표현, 예컨대 {Rep(2,H), Rep(2,L), Rep(3,H), Rep(3,L) Rep(6,H), Rep(6,L), Rep(7,H), Rep(7,L)}을 포함한다.

상기 플레이어는, 상기 제1 뷰포트 표현 세트에 포함되지 않지만, 시선 방위가 제2 뷰포트로 변화한 것을 센서가 검출한 후에 나중에 렌더링되는 적어도 하나의 표현에 대해 HTTP 요청을 전송한다. 상기 제2 뷰포트를 렌더링하는 서브-픽쳐의 표현 또는 서브-표현은 제2 액티브 뷰포트 표현 세트를 형성한다. 상기 제2 뷰포트가 렌더링될 때 요청되는 i번째 서브-픽쳐의 j번째 표현의 품질 랭킹 값은 qr₂(i, j)이다. 상기 제2 뷰포트를 커버하기 위해 렌더링되고 있는 표현의 품질 랭킹 값은 제2 뷰포트를 커버하지 않는 표현의 품질 랭킹 값보다 작을 수도 있다.

도 13은 제2 뷰포트(1300) 및 각 표현의 품질 랭킹 값을 보여준다. 도 13의 예에서, 제2 액티브 뷰포트 표현 세트는 Rep(5,H), Rep(6,H), Rep(9,H), Rep(10,H)}인데, 왜냐하면 이들 표현이 현재 뷰포트(1300)에 렌더링되고 있기 때문이다. 상기 제2 뷰포트 표현 세트는 액티브 뷰포트 표현 세트 내의 서브-픽쳐의 기타 모든 표현, 예컨대 {Rep(5,H), Rep(5,L), Rep(6,H), Rep(6,L) Rep(9,H), Rep(9,L), Rep(10,H), Rep(10,L)}을 포함한다.

뷰포트의 품질 랭킹 값은 뷰포트를 커버하는 모든 표현의 품질 랭킹 값으로부터 유도될 수 있다. 예컨대, 도 12의 제1 뷰포트의 품질 랭킹 값은 qr₁(2, H), qr₁(3, H), qr₁(6, H) 및 qr₁(7, H)으로부터 유도될 수 있고, 도 13의 제2 뷰포트의 품질 랭킹 값은 qr₂(5, H), qr₂(6,　H), qr₂(9, H) 및 qr₂(10, H)로부터 유도될 수 있다. 일부 실시예에 있어서, 뷰포트의 품질 랭킹 값은 뷰포트를 커버하는 모든 표현의 품질 랭킹 값의 평균값, 최대값 또는 최소값으로서 유도될 수 있다. 일부 실시예에 있어서, 뷰포트의 품질 랭킹 값은 각 영역의 품질 랭킹 값의 가중된 평균(weighted average)으로서 유도될 수도 있는데, 가중치는 각 영역에 의해 커버되는 뷰포트의 에어리어 크기에 대응(예컨대, 비례)할 수도 있다.

품질 랭킹을 채용하는 실시예에서, 보다 고품질의 랭킹 값은 더 낮은 뷰포트 품질에 대응한다. 다른 실시예에 있어서, 보다 고품질의 측정치가 더 높은 뷰포트 품질에 대응하는 품질 측정치가 채용될 수도 있다. 본 개시에 있어서, 기초가 되는 이미지 품질을 참고하여 품질 측정치 사이의 비교를 설명하여, 기초를 이루는 메트릭이 뷰포트 품질의 증가와 함께 증가하는 메트릭인지 아니면 뷰포트 품질이 증가함에 따라 감소하는 메트릭인지에 관계 없이, 더 높은 "품질 측정치"가 더 높은 이미지 품질에 대응한다.

도 9에 도시한 바와 같이, 뷰포트에 의존적인 스트리밍은, 뷰포트 전환 천이 중에 저품질의 제2 뷰포트를 제시할 수도 있다. 이상적으로, 센서는 유저의 상기 제2 뷰포트에의 이동을 검출할 것이고, 상기 플레이어는 멀미를 피하기 위해 동일한 품질로 즉시 유저에게 상기 제2 뷰포트를 제시할 것이다. 그러나, 실제 세계에서의 구현에 있어서, 상기 플레이어는, 센서가 시선 방위의 변화를 검출할 때가지, 상기 제2 뷰포트를 커버하는 새로운 고품질 표현에 대한 HTTP 요청을 전송하지 않을 수도 있다. 상이한 기술들에 따라서는, 플레이어가 새로운 표현의 새로운 고품질 세그먼트를 요청하는 데에 시간이 소요되고, 요청된 세그먼트를 다운로드하고, 대응하는 세그먼트를 디코딩 및 렌더링을 위해 버퍼로부터 검색하는 데에 시간이 소요된다. 이러한 모든 시간 간격은 비견할만한 품질 뷰포트 전환 레이턴시에 기여하고, 이러한 레이턴시는 보는 체험에 상당한 영향을 줄 수도 있다. 뷰포트에 의존적인 스트리밍 어프로치에 대하여 비견할만한 품질 뷰포트 전환 레이턴시를 측정하는 방법을 이하 제안한다.

도 14의 예에서, 단계(1452)에서, 플레이어는 시간 t0에서 제1 품질(예컨대, 고품질)의 제1 뷰포트(911)에 상기 제1 뷰포트 표현 세트로부터 표현을 제공한다. 플레이어는, 단계(1454)에서, 제2 품질(예컨대, 저품질)의 제1 표현 세트(예컨대 표현(902, 903, 904))에 포함되지 않은 표현을 요청할 수도 있다. 단계(1456)에서, 센서는 시간 t2에서 뷰포트 변화를 검출한다. 뷰포트 변화에 응답하여, 단계(1460)에서, 플레이어는 레이턴시 측정 시작 시간을 기록한다. 단계(1458)에서, 플레이어는, 시간 t3에서, 제3 품질의 Rep(2, H)(912)의 새로운 세그먼트에 대한 제1 HTTP 요청을 전송한다. 프레젠테이션 시간 t4에서, 제3 품질의 Rep(2, H)의 상기 요청된 세그먼트는 완전히 다운로드되지 않을 수도 있고, 또는 제2 품질의 Rep(2, L)의 이전 세그먼트가 버퍼 내에 있다. 단계(1462)에서, 플레이어는 시간 t4에서 제2 품질의 Rep(2, L)(902)의 세그먼트를 렌더링한다. 뷰포트 전환 검출 전에, 시간 t1에서 제2 품질의 Rep(2, L)(902)의 세그먼트가 요청되었을 수도 있다. 단계(1464)에서, 제3 품질의 Rep(2, H)의 새로이 요청된 세그먼트가 시간 t5에서 디코딩되고 렌더링된다. 단계(1466)에서, 시간 t5이 레이턴시 측정 종료 시간으로서 기록된다.

상기 비견할만한 품질 뷰포트 전환 이벤트는, (i) 상기 제1 뷰포트 표현 세트에 포함되지 않은 표현이 제2 뷰포트를 제시하기 위해 렌더링되고, (ii) 상기 제2 뷰포트의 품질이 제1 뷰포트와 연관된 제1 품질 이상인 경우, 결정될 수도 있다. 이러한 이벤트의 시간은 단계(1460)에서 기록될 수도 있다.

다른 실시예에 있어서, 비견할만한 품질 뷰포트 전환 이벤트는, (i) 상기 제1 뷰포트 표현 세트에 포함되지 않은 표현이 제2 뷰포트를 제시하기 위해 렌더링되고, (ii) 상기 제2 뷰포트와 연관된 품질이 제1 뷰포트가 제시되었을 때 동일한 뷰포트의 품질보다 더 높은 경우, 결정될 수도 있다. 환언하면, 뷰포트 전환 후의 상기 제2 뷰포트의 품질은 뷰포트 전환 전의 상기 제2 뷰포트의 품질보다 더 높을 것이다. 센서가 제2 뷰포트에서 시선 방위를 검출하는 시간(예컨대, 시간 t2)과 제2 뷰포트가 비견할만한 품질로 제시되었을 때의 시간(예컨대, t5) 사이의 레이턴시는 비견할만한-품질 뷰포트 전환 레이턴시로서 측정될 수도 있다.

도 15는 영역마다의 품질 랭크된(RWQR) 인코딩된 전방향성 콘텐트에 대한 비견할만한-품질 뷰포트 전환 예를 보여준다. 각각의 표현은 전방향성 콘텐트 전체를 커버하지만, 영역마다의 품질 랭킹 메타데이터에 의해 나타낸 바와 같이 상이한 고품질의 인코딩된 영역이 있다. 단계(1552)에서, 상기 플레이어가 시간 t0에서 제1 뷰포트(1520)를 제시하고 있으면, 상기 제1 뷰포트 위치(Rep#1)의 것과 일치하는 고품질의 인코딩된 영역(1511)을 포함하는 표현(1502)이, 영역마다의 품질 랭킹 메타데이터에 기초하여, 플레이어에 의해 요청되고, 디코딩되고 렌더링된다. 단계(1554)에서, 상기 플레이어는 시간 t2에서 제2 뷰포트 위치(1522)로의 시선 방위 변화를 검출할 수도 있다. 뷰포트 위치의 변화에 응답하여, 단계(1556)에서, 시간 t2가 레이턴시 측정 시작 시간으로서 기록된다. 단계(1558)에서, 상기 플레이어는 시간 t3에서, 상이한 RWQR 표현(1504)에 대한 HTTP 요청을 전송한다. 표현(1504)은 제2 뷰포트 위치(1522)를 포함하는 고품질의 인코딩된 영역(1512)을 포함한다. Rep#2(1504)는 프레젠테이션 시간 t4에서 준비되지 않을 수도 있어, 단계(1560)에서, 제2 뷰포트(1522)를 제시하기 위하여 Rep#1가 디코딩되고, 표현(1502)의 저품질의 인코딩된 영역이 렌더링된다. 단계(1562)에서, 고품질의 인코딩된 영역(1512)을 갖는 Rep#2(1504)가 시간 t5에서 뷰포트(1522)에 렌더링된다. 고품질의 인코딩된 영역(1512)의 뷰포트(1522)에의 렌더링에 응답하여, 시간 t5이 단계(1564)에서 레이턴시 측정 종료 시간으로서 기록된다. t2 및 t5 사이의 간격은 비견할만한 품질 뷰포트 전환 레이턴시로서 측정되고, 리포트로 메트릭스 서버에 송신될 수도 있다.

RWQR 인코딩된 콘텐트의 경우, 상이한 고품질의 인코딩된 영역을 갖는 표현은 동일한 적응 세트에 속할 수도 있다. 이러한 경우에, 서브-픽쳐 시나리오에 대해 특정된 상기 비견할만한 품질 전환 이벤트는 RWQR 인코딩된 콘텐트에 적용되지 않을 수도 있다.

RWQR 인코딩된 콘텐트의 경우, 제1 고품질의 인코딩된 영역을 갖는 제1 표현은 제1 뷰포트를 제시하기 위해 렌더링된다. 센서는 유저 방위 변화를 검출하고, 제1 고품질의 인코딩된 영역과 상이한 제2 고품질의 인코딩된 영역을 갖는 제2 표현을 요청할 수도 있다. 상기 비견할만한 품질 뷰포트 전환은, (i) 제2 고품질의 인코딩된 영역을 갖는 제2 표현이 렌더링되고 (ii) 제2 고품질의 인코딩된 영역이 제1 고품질의 인코딩된 영역과 동일하지 않으며 (iii) 제2 뷰포트의 품질이 제1 뷰포트의 품질과 비견할만한 경우에, 식별될 수도 있다. 뷰포트 품질은, 영역마다의 품질 랭킹 값에 의해 나타내는 뷰포트를 커버하는 인코딩된 영역의 품질로부터 유도될 수도 있다. 일부 실시예에 있어서, 비견할만한 품질은, 상기 제2 뷰포트의 품질이 제1 뷰포트의 품질 이상인 경우 발견된다. 다른 실시예에 있어서, 비견할만한 품질은, 제2 뷰포트의 품질이, 제1 뷰포트가 제시된 경우 제2 뷰포트를 커버하는 에어리어의 품질보다 더 높은 경우에, 발견된다.

표 8은, 센서가 방위 변화를 검출하였을 때의 시간, 플레이어가 새로운 표현에 대한 HTTP 요청을 발행하였을 때의 시간, 새로운 표현이 새로운 뷰포트를 제시하기 위해 렌더링된 시간, 비견할만한 품질 뷰포트 전환 이벤트 전의 제1 뷰포트의 품질 랭킹 값, 비견할만한 품질 뷰포트 전환 이벤트 후의 제2 뷰포트의 품질 랭킹 값, 총 비견할만한 품질 뷰포트 전환 레이턴시와 같은 파라미터를 포함하는, 비견할만한 품질 뷰포트 레이턴시 메트릭의 일예를 제시한다.

Key			Type	Description
QualityViewportSwitchingLatency			List	플레이아웃 동안의 뷰포트 전환 레이턴시 측정치의 리스트
	Entry		Object	하나의 비견할만한 품질 뷰포트 전환 레이턴시 측정치
		sensorDetectionTime	Real-Time	센서가 방위 변화를 검출하였을 때의 시간
		HTTPRequestingTime	Real-Time	플레이어가 새로운 표현 세그먼트에 대한 HTTP 요청을 전송하였을 때의 시간
		viewportRenderingTime	Real-Time	새로운 뷰포트가 렌더링된 시간
		firstViewportQualityRankingValue	Integer	제1 뷰포트의 품질 랭킹 값
		secondViewportQualityRankingValue	Integer	제2 뷰포트의 품질 랭킹 값
		latency	Integer	밀리초 단위의 뷰포트 전환 레이턴시

<비견할만한 품질 뷰포트 전환 레이턴시>일부 실시예에 있어서, 뷰포트 전환 이벤트는, 현재의 액티브 서브-픽쳐 세트에 속하지 않는 하나 이상의 서브-픽쳐의 트랙 또는 표현이 렌더링되면, 식별된다. 뷰포트 전환 이벤트 시간은, 표 8에 나타낸 바와 같이, viewportRenderingTime에 할당된다.

일부 실시예에 있어서, 뷰포트 전환 시간은 새로운 서브-픽쳐가 렌더링되는 시간이다. 뷰포트 품질은, 뷰포트 전환 시간 전의 기간 내에를 비롯하여, (예컨대, 주기적으로) 기록될 수도 있다. 일부 실시예에 있어서, 뷰포트 전환 레이턴시의 측정시, 두 개의 측정 시간 간격을 이용하여 측정 범위를 설정한다. 전환전 간격 값인 M 밀리초(M은 정수)는 뷰포트 전환 시간보다 전의 시간으로 소급하는 기간이다. 전환후 간격 값인 N 밀리초(N은 정수)는 뷰포트 전환 시간으로부터 시작하는 기간이다.

다양한 방법을 채용하여, M 및 N의 시간 간격의 값을 특정할 수도 있다. 이러한 방법의 예는 다음과 같다.

M 및 N은 표준으로 특정될 수 있고, 모든 클라이언트는 메트릭을 측정 및 보고할 때에, 공통으로 특정된 값을 이용할 것이다.

M 및 N은 네트워크 서버에 의해 결정되어, MPD로 통지되거나(signaled) 또는 DASH 서버와 네트워크 지원 DASH 메시지를 이용하여 통지되는 메타데이터로서 클라이언트에 통지될 수도 있다.

M 및 N은 클라이언트에 의해 선택되어, 리포트를 생성하기 위해 내부적으로 사용될 수도 있다. M 및 N의 값은, 모션 투 포톤 레이턴시, 방위 센서 검출 레이턴시, 다운로드 및 디코더 버퍼 사이즈, 및 시야 등과 같은 요인에 기초하여 선택될 수도 있다.

클라이언트가 리포트 생성에 사용하기 위해M 및 N의 값을 선택한다면, 클라이언트는 이들 값을 메트릭스 서버에 통지하여, 리포트가 어떻게 생성되었는지를 이해하도록 할 수 있다. 예컨대, M 및 N의 값은 보고하는 메타데이터에 추가될 수도 있다.

일부 실시예에 있어서, 클라이언트는 뷰포트 정보, 뷰포트 품질 및 실시간을 주기적으로 기록한다. 기록 기간은 M 및 N의 최소값보다 작다. 기록 기간은 QualityViewportSwitchingLatency 메트릭에 대해 설정된 최소 레이턴시보다 작을 수도 있다. 표 8에 도시한 바와 같이, 뷰포트 전환 시간 전의 과거 M 밀리초 내에 기록된 최고의 뷰포트 품질에 대응하는 뷰포트 품질 값은 FirstViewportQualityRankingValue으로서 설정된다. 전환전 간격 이내의 복수의 측정치가 최대 뷰포트 품질 값과 같은 뷰포트 품질 값을 갖는다면, 이들 측정치 중 가장 최근의 측정치가 선택된 전환전 측정 시간으로서 사용될 수도 있다.

비견할만한-품질 뷰포트 전환 레이턴시 측정 사이클 동안에, 새로운 뷰포트의 품질값이 뷰포트 전환 시간 후의 다음 N 밀리초 동안 firstViewportQualityRankingValue과 일치할 수 없다면, 측정 사이클이 중단되고 메트릭은 보고되지 않는다. 비견할만한 뷰포트 품질이 뷰포트 전환 이벤트 후에 식별될 수 있기 전에 새로운 뷰포트 전환 이벤트가 검출된다면, 메트릭 역시 보고되지 않는다.

일부 실시예에 있어서, 뷰포트 품질은, 주관적으로 동등한 또는 주관적으로 유사한 주관적인 보기 품질을 제공한다면, 서로 비견할만하다고 여겨진다. 일부 실시예에 있어서, 뷰포트 품질은, 적어도 이전의 뷰포트 품질과 같이 높다면, 이전의 뷰포트 품질과 비견할만하다고 여겨진다. 일부 실시예에 있어서, 뷰포트 품질은, 이전의 뷰포트 품질의 미리결정된 임계값(예컨대, 미리결정된 비율(percentage)) 내에 있다면, 이전의 뷰포트 품질과 비견할만하다고 여겨진다.

firstViewportQualityRankingValue과 비견할만한 새로운 뷰포트의 품질 값은 econdViewportQualityRankingValue으로서 설정된다.

QualityViewportSwitchingLatency의 레이턴시는, firstViewportQualityRankingValue의 기록된 시간과 secondViewportQualityRankingValue이 측정된 전환후 측정 시간 사이의 시간 간격으로서 측정된다.

도 16은 일부 실시예에 따른 측정 과정의 일예를 보여준다. 유저의 시선 방위가 왼쪽(예컨대, 시간 t1에서의 뷰포트(1620))로부터 오른쪽(예컨대, 시간 t4에서의 뷰포트(1623))로 점차 이동된다. 단계(1652)에서, 시간 t1에서, 고품질 표현(1611)이 뷰포트(1620)에 렌더링된다.

시간 t2에서, 뷰포트는 위치(1621)로 이동하였지만, 여전히 sub-picture #1 내에 있고, 단계(1654)에서, 상기 플레이어는 표현(1611)을 계속 렌더링한다.

시간 t3에서, 뷰포트는, sub-picture #1 및 sub-picture #2 양자에 걸쳐 있는 위치(1622)로 이동하였다. 단계(1656)에서, 플레이어는 표현(1611)(sub-picture #1의 고품질 표현) 및 표현(1602)(sub-picture #2의 버퍼링된 저품질 표현)을 뷰포트(1602)에 렌더링한다. 시간 t3에서, 렌더링 모듈은, 새로운 서브 픽쳐(sub-picture #2)가 액티브 서브-픽쳐 세트에 추가된 것을 검출함으로써, 뷰포트 전환 이벤트를 식별한다.

시간 t4에서, 뷰포트는 뷰포트 위치(1623)로 이동하였고, sub-picture #2의 보다 고품질의 표현(1612)이 수신되어 뷰포트(1623)에 렌더링되고 있다.

도 16의 실시예에서, 비견할만한-품질 뷰포트 전환 레이턴시를 결정하기 위하여, 복수의 뷰포트 품질 측정치 및 연관된 측정 시간이 기록된다. 예컨대, 시간 및 품질 측정치가 시간s t1(단계(1660)), t2(단계(1662)), t3(단계(1664)), 및 t4 (단계(1666))에서 기록된다. 상기 플레이어는, sub-picture #2의 액티브 서브-픽쳐 세트에의 추가에 응답하여, 시간 t3에서 뷰포트 전환 이벤트를 검출한다. 단계(1668)에서, 상기 플레이어는, 레이턴시 측정치를 계산하기 위해 사용될 시간들을 선택한다. 구체적으로, 상기 플레이어는 전환전 측정 시간 및 전환후 측정 시간을 선택한다. 전환전 측정 시간 및 전환후 측정 시간은 다음과 같이 결정될 수도 있다.

일부 실시예에 있어서, 전환전 측정 시간은, 다음의 두 기준, 즉 (i) 선택된 전환전 측정 시간이 뷰포트 전환 이벤트 전의 미리결정된 전환전 간격 내에 있고, (ii) 선택된 전환전 측정 시간과 관련된 뷰포트 품질 측정치가 전환전 간격 내의 최대 뷰포트 품질 측정치이다 라는 기준 두 개를 갖는 기록된 시간으로서 선택된다. 상기 미리결정된 전환전 간격의 길이는 M으로 나타낼 수 있고, 이는 밀리초 단위로 표현될 수 있다. 복수의 전환전 측정 시간이 상기 전환전 간격 내의 최대 품질 측정치를 갖고 있다면, 이들 측정 시간 중마지막 시간이 전환전 측정 시간으로서 선택될 수도 있다. 상기 전환전 간격은 뷰포트 전환 이벤트의 시간을 포함할 수도 있다.

일부 실시예에 있어서, 전환후 측정 시간은, 다음의 두 기준, 즉 (i) 선택된 전환후 측정 시간이 뷰포트 전환 이벤트 후의 미리결정된 전환후 간격 내에 있고, (ii) 선택된 전환후 측정 시간이, 적어도, 전환전 간격 내의 최대 뷰포트 품질 측정치만큼 큰 관련된 뷰포트 품질 측정치를 갖는다는 기준 두 개를 갖는 기록된 시간으로서 선택된다. 상기 미리결정된 전환후 간격의 길이는 N으로 나타낼 수 있고, 이는 밀리초 단위로 표현될 수 있다. 상기 선택된 전환후 측정 시간은 상기 기준을 만족하는 전환후 간격 내의 제1 측정 시간일 수 있다. 몇몇 경우에 있어서, 상기 기준을 만족하는 기록된 시간은 없다. 이는, 예컨대 시간 N이 경과할 때까지 뷰포트 품질이 전환전 레벨에 도달하지 않는 경우에 해당될 것이다. 이러한 경우에, 상기 플레이어는 레이턴시 값을 보고하지 않는 결정을 할 수도 있다. 유사하게, 뷰포트 품질이 전환전 레벨이 도달하기 전에 제2 뷰포트 전환 이벤트가 일어난다면, 상기 플레이어는 레이턴시 값을 보고하지 않는 결정을 할 수도 있다.

레이턴시 값은, 선택된 전환후 측정 시간에서 선택된 전환전 측정 시간을 차감하여 선택된 전환전 측정 시간과 선택된 전환후 측정 시간 사이의 간격을 결정함으로써 계산될 수도 있다. 단계(1670)에서, 상기 플레이어는 레이턴시 값을 예컨대 메트릭스 서버에 보고한다.

일부 실시예에 있어서, 과거 M 밀리초 이내에 기록된 최고 뷰포트 품질과 연관된 뷰포트 품질 값이 firstViewportQualityRankingValue으로서 설정되고, 대응하는 전환전 측정 시간이 저장된다. firstViewportQualityRankingValue에 일치하는 새로운 뷰포트에 대한 품질 값은 시간 t4에서 전환후 측정 시간으로서 기록되고, 이 값은 secondViewportQualityRankingValue에 할당된다. 레이턴시는 firstViewportQualityRankingValue 및 secondViewportQualityRankingValue에 대해 기록된 시간 사이의 시간 간격으로서 보고된다.

도 17a 및 도 17b는 뷰포트 품질 측정치를 개략적으로 나타내는 그래프이다. 각 그래프의 점은 기록된 뷰포트 품질 측정치 및 관련된 측정 시간을 나타낸다.

도 17a에서, 시간(1702)에서, 뷰포트 전환 이벤트가 검출된다. 뷰포트 전환 이벤트는, 이전에 렌더링되지 않은 적어도 하나의 서브-픽쳐의 렌더링에 응답하여 검출될 수도 있다. 시간(1702)은 임의의 뷰포트 품질 측정치의 시간과 일치할 수도 또는 일치하지 않을 수도 있다. 전환전 간격은 뷰포트 전환 이벤트의 M 밀리초 전으로 연장된다. 전환전 측정 시간은, 측정치(1704)의 시간이 되도록 선택되는데, 왜냐하면 그 측정치가 전환전 간격 내에서 가장 높은 품질 레벨(이는, 예컨대 가장 낮은 "품질 랭킹"일 수도 있다)을 갖고 있기 때문이다. 전환후 측정 시간은 측정치(1706)의 시간이 되도록 선택하는데, 왜냐하면 (i) 그 측정치가, 적어도 측정치(1704)에서의 품질값만큼 큰 값을 갖는 제1 측정치이기 때문이고, (ii) 그 측정치가 뷰포트 전환 이벤트의 N 밀리초 후까지 연장되는 미리결정된 전환후 간격 내에 있기 때문이다. 상기 플레이어는, 측정치(1704, 1706) 사이의 간격으로서 레이턴시를 계산하여, 그 레이턴시를 서버에 보고할 수도 있다.

도 17a를 참조하면, 제2 뷰포트 전환 이벤트가 만일 적절한 전환후 측정의 발생 전에 검출된다면, 예컨대 제2 뷰포트 전환 이벤트가 시간(1708)에서 검출된다면, 상기 플레이어는 시간(1702)의 뷰포트 전환 이벤트에 대해 어떠한 레이턴시도 보고하지 않는 것으로 결정할 수도 있다. 그러나, 이러한 상황에서 플레이어는 여전히 시간(1708)의 뷰포트 전환 이벤트에 대해 레이턴시를 결정하는 단계를 취할 수도 있다.

도 17b에서, 뷰포트 전환 이벤트가 시간(1712)에서 검출된다. 뷰포트 전환 이벤트는, 이전에 렌더링되지 않은 적어도 하나의 서브-픽쳐의 렌더링에 응답하여 검출될 수도 있다. 전환전 간격은 뷰포트 전환 이벤트의 M 밀리초 전으로 연장된다. 전환전 측정 시간은, 측정치(1714)의 시간이 되도록 선택되는데, 왜냐하면 그 측정치가 전환전 간격 내에서 가장 높은 품질 레벨을 갖고 있기 때문이다. 그러나, (i) 적어도 측정치(1714)에서의 품질값만큼 큰 값을 갖고, (ii) 뷰포트 전환 이벤트의 N 밀리초 후까지 연장되는 미리결정된 전환후 간격 내에 있다는 기준을 만족하는 전환후 측정치는 없다. 적절한 전환후 측정치가 선택되지 않기 때문에, 시간(1712)에서 뷰포트 전환 이벤트에 대하여 어떠한 레이턴시도 서버에 보고되지 않는다.

추가 실시예

일부 실시예에 있어서, 뷰포트의 위치가 복수의 표현을 포함하는 360도 비디오와 관련하여 트래킹된다. 표현 중 적어도 하나의 선택된 세트가 상기 뷰포트에 렌더링된다. 표현들은 상기 뷰포트 위치에 기초하여, 상기 선택된 세트에 적응식으로 추가되고 그 세트로부터 제거된다. 뷰포트 위치의 변화가 상기 선택된 세트에의 새로운 표현의 추가를 촉발하는 제1 시간과, 상기 새로운 표현의 렌더링이 시작하는 제2 시간 사이의 레이턴시를 나타내는 뷰포트 전환 레이턴시가 측정된다. 상기 뷰포트 전환 레이턴시는, 예컨데 메트릭스 서버에 보고될 수도 있다. 각각의 표현은 상기 비디오의 각 영역에 대응할 수도 있고, 상기 선택된 세트는 상기 뷰포트 전체를 커버하기에 충분한 표현들의 적어도 한 세트를 포함할 수도 있다.

일부 실시예에 있어서, 방법은 복수의 표현을 포함하는 360도 비디오와 관련하여 뷰포트의 위치를 트래킹하는 것을 포함한다. 표현 중 적어도 하나의 선택된 세트가 상기 뷰포트에 렌더링된다. 상기 선택된 세트 내의 표현들은 상기 뷰포트 위치에 기초하여 액티브하게 변화된다. 뷰포트 위치의 변화가 상기 선택된 세트 내의 표현들을 변화시키는 것을 촉발하는 제1 시간과, 뷰포트 위치의 변화 후 상기 렌더링된 뷰포트의 품질이 적어도, 뷰포트 위치의 변화 전 상기 렌더링된 뷰포트의 품질만큼 높게 되는 제2 시간 사이의 레이턴시를 나타내는 비견할만한-품질 뷰포트 전환 레이턴시가 측정된다.

일부 실시예에 있어서, 360도 비디오를 렌더링하는 방법이 제공된다. 상기 비디오는 복수의 서브-픽쳐 표현을 포함하고, 각각의 서브-픽쳐 표현은 상기 비디오의 각 영역에 대응한다. 제1 시간에서, 뷰포트가 제1 위치에 있는 동안에, 액티브 표현의 제1 세트 내의 각 서브-픽쳐 표현의 적어도 일부가 렌더링되고, 상기 액티브 세트 내의 각 서브-픽쳐 표현은 상기 뷰포트의 적어도 일부와 중첩한다. 상기 뷰포트의 적어도 일부가 액티브 뷰포트 표현의 제1 세트 내의 임의의 서브-픽쳐 표현과 중첩하지 않는 제2 위치로 상기 뷰포트가 이동한 제2 시간이 검출된다. 상기 제2 시간 후의 제3 시간에서, 뷰포트 표현의 상기 제1 세트 내에 있지 않은 새로운 서브-픽쳐 표현의 적어도 일부의 렌더링이 시작한다. 상기 제2 시간 및 제3 시간 사이의 레이턴시가 계산되고 보고된다.

일부 실시예에 있어서, 360도 비디오를 렌더링하는 방법이 제공되며, 상기 비디오는 복수의 서브-픽쳐 표현을 포함하고, 각각의 서브-픽쳐 표현은 상기 비디오의 각 영역에 대응한다. 제 1 시간에서, 뷰포트가 제1 위치에 있는 동안에, 액티브 표현의 제1 세트 내의 각 서브-픽쳐 표현의 적어도 일부가 렌더링되고, 상기 액티브 세트 내의 각 서브-픽쳐 표현은 상기 뷰포트의 적어도 일부와 중첩한다. 상기 제1 시간에서, 제1 뷰포트 품질이 결정된다. 상기 뷰포트의 적어도 일부가 액티브 뷰포트 표현의 제1 세트 내의 임의의 서브-픽쳐 표현과 중첩하지 않는 제2 위치로 상기 뷰포트가 이동한 제2 시간이 검출된다. 상기 제2 시간 후에, 상기 뷰포트 표현의 제1 세트 내에 있지 않은 새로운 서브-픽쳐 표현의 적어도 일부가 렌더링된다. 상기 뷰포트 품질이 상기 제1 뷰포트 품질과 비견할만하게 되는 제3 시간이 검출된다. 상기 제2 시간 및 제3 시간 사이의 레이턴시가 계산되고 보고된다. 일부 실시예에 있어서, 상기 뷰포트 품질이 상기 제1 뷰포트 품질과 비견할만하게 되는 제3 시간을 검출하는 것은 상기 뷰포트 품질이 상기 제1 뷰포트 품질 이상으로 되는 때를 검출하는 것을 포함한다. 일부 실시예에 있어서, 상기 뷰포트 품질이 상기 제1 뷰포트 품질과 비견할만하게 되는 제3 시간을 검출하는 것은 상기 제2 시간 후 뷰포트 품질의 증가를 검출하는 것을 포함한다.

일부 실시예에 있어서, 영역마다의 품질 랭크된(RWQR) 인코딩된 전방향성 콘텐트로서 인코딩된 360도 비디오를 렌더링하는 방법이 제공된다. 제1 시간에서, 뷰포트가 제1 위치에 있는 동안에, 상기 비디오의 제1 표현의 적어도 일부가 렌더링되며, 상기 제1 표현은 상기 제1 뷰포트 위치와 적어도 부분적으로 중첩하는 고품질 영역을 갖고 있다. 제2 시간에서, 제2 뷰포트 위치로의 뷰포트 위치의 변화가 검출된다. 상기 뷰포트 위치의 변화에 응답하여, 상기 비디오의 제2 표현이 검색되고, 상기 제2 표현은 상기 제1 표현의 고품질 영역과 상이한 고품질 영역을 갖고 상기 제2 뷰포트 위치와 적어도 부분적으로 중첩한다. 제3 시간에서, 상기 제2 표현의 적어도 일부의 렌더링이 시작한다. 상기 제2 시간 및 제3 시간 사이의 레이턴시가 계산되고 보고된다.

일부 실시예에 있어서, 방법은 유저를 위해 360도 비디오의 적어도 제1 시점 표현을 렌더링하는 것을 포함한다. 상기 360도 비디오의 제2-시점 표현의 선택이 유저로부터 수신된다. 유저가 상기 제2-시점 표현을 선택하는 제1 시간과, 상기 제2-시점 표현의 렌더링이 시작하는 제2 시간 사이의 레이턴시를 나타내는 시점 전환 레이턴시가 측정된다. 상기 레이턴시는 예컨대, 메트릭스 서버에 보고된다.

일부 실시예에 있어서, 360도 비디오의 일련의 시점 고유 표현이 유저를 향해 렌더링된다. 상기 렌더링된 시점-고유 표현에 대응하는 렌더링된 시점의 리스트가 생성되고, 그 렌더링된 시점의 리스트는 렌더링된 시점 메트릭 내에 보고된다. 일부 실시예에 있어서, 각각의 시점이 계속 제시되는 지속 시간이 측정되고, 각각의 지속 시간이 상기 렌더링된 시점 메트릭 내에 보고된다.

일부 실시예에 있어서, 가변 위치 및 방위를 갖는, 360도 비디오의 뷰포트가 사용자를 위해 렌더링된다. 상기 유저는 (i) 상기 뷰포트 위치 및 방위에 대한 유저의 제어와, (ii) 추천된-뷰포트 메타데이터 트랙을 이용한 상기 뷰포트 위치 및 방위에 대한 자동 제어 사이에서 제어를 선택할 수 있다. 상기 유저가 상기 뷰포트 위치 및 방위에 대한 자동 제어를 선택하는 하나 이상의 기간이 식별된다. 렌더링된 추천된 뷰포트 메트릭에서, 상기 뷰포트 위치 및 방위에 대한 자동 제어가 선택되는 상기 기간이 보고된다. 상기 기간의 지속 시간 역시 보고될 수도 있다.

설명한 하나 이상의 실시예의 다양한 하드웨어 요소는, 각각의 모듈과 관련하여 본원에서 설명한 다양한 기능을 실행(즉, 수행, 실행 등)하는 모듈이라 지칭되는 것에 유의하여야 한다. 본원에서 사용한 바와 같이, 모듈은 주어진 실현을 위해 당업자에 의해 적절한 것으로 여겨지는 하드웨어(예컨대, 하나 이상의 프로세서, 하나 이상의 마이크로프로세서, 하나 이상의 마이크로컨트롤러, 하나 이상의 마이크로칩, 하나 이상의 ASIC(application-specific integrated circuit), 하나 이상의 FPGA(field programmable gate array), 하나 이상의 메모리 디바이스)를 포함한다. 설명한 각각의 모듈은 또한, 각각의 모듈에 의해 실행되는 것으로 설명한 하나 이상의 기능을 실행하기 위한 실행가능 명령어를 포함할 수 있고, 이들 명령은 하드웨어(즉, 하드와이어드) 명령어, 펌웨어 명령어, 소프트웨어 명령어 및/또는 등의 형태를 취하거나 또는 그 명령어를 포함할 수 있고, 흔히 RAM, ROM 등으로 지칭하는 임의의 적절한 비-일시적 컴퓨터-판독가능한 매체에 저장될 수 있다는 것에 유의하여야 한다.

특징 및 요소를 특정 조합으로 위에서 설명하였지만, 당업자라면, 각 특징 또는 요소는 단독으로 또는 다른 특징 및 요소와 조합하여 사용될 수 있다는 것을 이해할 것이다. 또한, 본원에서 설명한 방법은 컴퓨터 또는 프로세서에 의해 실행가능하도록 컴퓨터-판독가능 매체에 통합된 컴퓨터 프로그램, 소프트웨어 또는 펌웨어에 구현될 수도 있다. 컴퓨터-판독가능 저장 매체의 예는 ROM(read only memory), RAM(random access memory), 레지스터, 캐쉬 메모리, 반도체 메모리 디바이스, 내장 하드 디스크 및 착탈식 디스크와 같은 자기 매체, 자기 광학 매체, CD-ROM 디스크와 같은 광학 매체, 및 DVD(digital versatile disk) 등을 포함하지만, 이들에 제한되는 것은 아니다. 소프트웨어와 관련하는 프로세서를 이용하여, WTRU, UE, 터미널, 기지국, RNC, 또는 임의의 호스트 컴퓨터에 사용하기 위한 무선 주파수 트랜시버를 구현할 수도 있다.

Claims

방법에 있어서,
펜딩중 시점 전환 측정치(pending viewpoint-switching measurements)의 리스트를 생성하는 단계 - 상기 리스트 내의 각 레코드는 잠재적 시점 전환 이벤트의 검출에 응답하여 생성되고 검출 시간 및 타겟 시점을 식별함 - ;
렌더링 모듈이 제1 시점을 렌더링하는 것으로부터 제2 시점을 렌더링하는 것으로 전환되었다는 결정에 응답하여, 상기 펜딩중 시점 전환 측정치의 리스트로부터, 상기 제2 시점을 식별하는 레코드 중에서 가장 최근의 검출 시간을 가진 레코드를 선택하는 단계;
상기 가장 최근의 검출 시간과 상기 렌더링 모듈이 상기 제1 시점을 렌더링하는 것으로부터 상기 제2 시점을 렌더링하는 것으로 전환된 시간 사이의 시간 간격으로서 시점 전환 레이턴시를 결정하는 단계; 및
상기 시점 전환 레이턴시를 보고하는 단계
를 포함하는 방법.
제1항에 있어서, 잠재적 시점 전환 이벤트의 검출은, 그 표현이 현재 렌더링되고 있지 않는 새로운 시점의 표현으로부터 세그먼트에 대한 네트워크 요청의 검출을 포함하는 것인 방법.
제1항 또는 제2항에 있어서, 렌더링 모듈이 제1 시점을 렌더링하는 것으로부터 제2 시점을 렌더링하는 것으로 전환되었다는 결정은, 상기 렌더링 모듈이 이전 렌더링된 시점의 시점 식별자와는 상이한 시점 식별자로 시점을 렌더링하고 있다는 결정을 포함하는 것인 방법.
제1항 또는 제2항에 있어서, 상기 시점 전환 레이턴시를 보고하는 단계는, 상기 제2 시점의 시점 식별자를 보고하는 단계를 더 포함하는 것인 방법.
제1항 또는 제2항에 있어서, 상기 시점 전환 레이턴시를 보고하는 단계는, 상기 제1 시점의 시점 식별자를 보고하는 단계를 더 포함하는 것인 방법.
제1항 또는 제2항에 있어서, 상기 시점 전환 레이턴시를 보고하는 단계는, 상기 렌더링 모듈이 상기 제1 시점을 렌더링하는 것으로부터 상기 제2 시점을 렌더링하는 것으로 전환된 시간을 나타내는 측정 시간을 보고하는 단계를 더 포함하는 것인 방법.
제1항 또는 제2항에 있어서,
상기 펜딩중 시점 전환 측정치의 리스트로부터, 상기 선택된 레코드의 검출 시간보다 빠른 검출 시간을 갖는 모든 레코드를 제거하는 단계
를 더 포함하는 것인 방법.
전방향성 비디오(omnidirectional video)를 위한 시스템에 있어서,
프로세서, 및 상기 프로세서 상에서 실행될 때, 방법을 수행하도록 동작가능한 명령어들을 저장하는 컴퓨터-판독가능 저장 매체를 포함하고,
상기 방법은,
펜딩중 시점 전환 측정치의 리스트를 생성하고 - 상기 리스트 내의 각 레코드는 잠재적 시점 전환 이벤트의 검출에 응답하여 생성되고 검출 시간 및 타겟 시점을 식별함 - ;
렌더링 모듈이 제1 시점을 렌더링하는 것으로부터 제2 시점을 렌더링하는 것으로 전환되었다는 결정에 응답하여, 상기 펜딩중 시점 전환 측정치의 리스트로부터, 상기 제2 시점을 식별하는 레코드 중에서 가장 최근의 검출 시간을 가진 레코드를 선택하고;
상기 가장 최근의 검출 시간과 상기 렌더링 모듈이 상기 제1 시점을 렌더링하는 것으로부터 상기 제2 시점을 렌더링하는 것으로 전환된 시간 사이의 시간 간격으로서 시점 전환 레이턴시를 결정하고;
상기 시점 전환 레이턴시를 보고하는 것
을 포함하는 것인, 전방향성 비디오를 위한 시스템.
제8항에 있어서, 잠재적 시점 전환 이벤트의 검출은, 그 표현이 현재 렌더링되고 있지 않는 새로운 시점의 표현으로부터 세그먼트에 대한 네트워크 요청의 검출을 포함하는 것인, 전방향성 비디오를 위한 시스템.
제8항 또는 제9항에 있어서, 렌더링 모듈이 제1 시점을 렌더링하는 것으로부터 제2 시점을 렌더링하는 것으로 전환되었다는 결정은, 상기 렌더링 모듈이 이전 렌더링된 시점의 시점 식별자와는 상이한 시점 식별자로 시점을 렌더링하고 있다는 결정을 포함하는 것인, 전방향성 비디오를 위한 시스템.
제8항 또는 제9항에 있어서, 상기 시점 전환 레이턴시를 보고하는것은, 상기 제2 시점의 시점 식별자를 보고하는 것을 더 포함하는 것인, 전방향성 비디오를 위한 시스템.
제8항 또는 제9항에 있어서, 상기 시점 전환 레이턴시를 보고하는것은, 상기 제1 시점의 시점 식별자를 보고하는 것을 더 포함하는 것인, 전방향성 비디오를 위한 시스템.
제8항 또는 제9항에 있어서, 상기 시점 전환 레이턴시를 보고하는것은, 상기 렌더링 모듈이 상기 제1 시점을 렌더링하는 것으로부터 상기 제2 시점을 렌더링하는 것으로 전환된 시간을 나타내는 측정 시간을 보고하는 것을 더 포함하는 것인, 전방향성 비디오를 위한 시스템.
제8항 또는 제9항에 있어서,
상기 명령어들은 또한, 상기 펜딩중 시점 전환 측정치의 리스트로부터, 상기 선택된 레코드의 검출 시간보다 빠른 검출 시간을 갖는 모든 레코드를 제거하도록 동작가능한 것인, 전방향성 비디오를 위한 시스템.