KR102420290B1

KR102420290B1 - 공간적으로 불균등한 스트리밍

Info

Publication number: KR102420290B1
Application number: KR1020217031521A
Authority: KR
Inventors: 로버트 스쿠핀; 코넬리우스 헬지; 토마스 쉬를; 야고 산체스 드 라 푸엔테; 디미트리 포드보르스키; 토마스 비에그란트
Original assignee: 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date: 2016-10-12
Filing date: 2017-10-11
Publication date: 2022-07-13
Also published as: JP7464673B2; US20190238609A1; CN114928733B; JP7436598B2; US20220166817A1; KR20220100112A; MX2022004793A; KR102498840B1; MX2019004221A; US11516273B2; US11496541B2; CN114928737A; CN114928734A; JP7464674B2; CN114928735A; TW202408246A; US11283850B2; KR20220101760A; MX2022004790A; MX2022004789A

Abstract

미디어 콘텐츠 스트리밍에 대한 다양한 개념들이 설명된다. 일부 개념들은 사용자에 대한 가시 품질이 증가되거나 스트리밍 검색 사이트에서의 처리 복잡성 또는 필요한 대역폭이 감소되도록 공간적으로 불균등한 방식으로 공간 장면 콘텐츠를 스트리밍하는 것을 가능하게 한다. 다른 개념들은 추가 애플리케이션 시나리오들에 대한 적용 가능성을 확대하는 방식으로 공간 장면 콘텐츠를 스트리밍하는 것을 가능하게 한다.

Description

공간적으로 불균등한 스트리밍 {SPATIALLY UNEQUAL STREAMING}

본 출원은 이를테면, 가상 현실(VR: virtual reality) 스트리밍에서 발생하는 공간적으로 불균등한 스트리밍에 관한 것이다.

VR 스트리밍은 통상적으로 매우 고해상도 비디오의 송신을 수반한다. 인간 와(human fovea)의 해상 능력은 1도당 약 60개의 픽셀들이다. 360°× 180°를 갖는 전체 구형(sphere)의 송신이 고려된다면, 약 22k×11k 픽셀들의 해상도를 전송함으로써 결국 송신이 이루어질 것이다. 이러한 고해상도를 전송하는 것은 엄청나게 높은 대역폭 요건들로 이어질 것이므로, 다른 솔루션은 90°× 90°의 FoV를 갖는 헤드 마운트형 디스플레이(HMD: Head Mounted Display)들에 도시된 뷰포트만을 전송하는 것이며: 이는 6k×6k 픽셀 정도의 비디오로 이어진다. 가장 높은 해상도로 전체 비디오를 전송하는 것과 뷰포트만을 전송하는 것 사이의 절충은 뷰포트를 고해상도로 그리고 일부 인근 데이터(또는 구형 비디오의 나머지)를 보다 낮은 해상도 또는 보다 낮은 품질로 전송하는 것이다.

DASH 시나리오에서, 전방향성 비디오(일명 구형 비디오)는 이전에 설명한 혼합 해상도 또는 혼합 품질 비디오가 DASH 클라이언트에 의해 제어되는 식으로 제공될 수 있다. DASH 클라이언트는 콘텐츠가 어떻게 제공되는지를 설명하는 정보만을 알 필요가 있다.

한 가지 예는 비디오의 서로 다른 부분들에 대해 서로 다른 품질 및 왜곡과 같은 비대칭 특징들을 갖는 서로 다른 투영들로 서로 다른 표현들을 제공하는 것일 수 있다. 각각의 표현은 주어진 뷰포트에 대응할 것이며 나머지 콘텐츠보다 더 높은 품질/해상도로 인코딩된 뷰포트를 가질 것이다. 배향 정보(콘텐츠가 더 높은 품질/해상도로 인코딩된 뷰포트의 방향)를 알면, DASH 클라이언트는 언제든지 사용자의 보기 방향과 일치할 하나의 또는 다른 표현을 동적으로 선택할 수 있다.

DASH 클라이언트가 전방향성 비디오에 대해 이러한 비대칭 특징을 선택하기 위한 보다 유연한 옵션은 비디오가 여러 공간 영역들로 분할되는 경우일 것이며, 각각의 영역은 서로 다른 해상도 또는 품질로 이용 가능하다. 하나의 옵션은 격자를 기반으로 비디오를 직사각형 영역들(일명 타일들)로 분할하는 것일 수 있지만, 다른 옵션들이 예상될 수 있다. 이러한 경우, DASH 클라이언트는 서로 다른 영역들이 제공되는 서로 다른 품질들에 관한 어떤 시그널링을 필요로 할 것이고, 사용자에게 보이는 뷰포트가 다른 보이지 않는 콘텐츠보다 더 나은 품질을 갖도록 서로 다른 영역들을 서로 다른 품질들로 다운로드할 수 있다.

이전 경우들 중 임의의 경우에서, 사용자 상호 작용이 발생하고 뷰포트가 변경되면, DASH 클라이언트는 사용자 움직임에 반응하고 새로운 뷰포트와 일치하는 식으로 콘텐츠를 다운로드할 어떤 시간을 필요로 할 것이다. 사용자가 이동하고 DASH 클라이언트가 자신의 요청들을 새로운 뷰포트와 매칭시키도록 적응하는 사이의 시간 동안, 사용자는 뷰포트에서 일부 영역들을 고품질 및 저품질로 동시에 볼 것이다. 수용 가능한 품질/해상도 차이는 콘텐츠에 좌우되지만, 사용자가 보는 품질은 어떠한 경우에도 저하된다.

따라서 적응 스트리밍에 의해 스트리밍된 공간 장면 콘텐츠의 부분적인 표현에 관해 사용자에 대한 가시 품질을 완화하는, 또는 보다 효율적으로 렌더링하는, 또는 심지어 향상시키는 당면한 개념을 갖는 것이 유리할 것이다.

따라서 본 발명의 과제는 사용자에 대한 가시 품질이 증가되거나 스트리밍 검색 사이트에서의 처리 복잡성 또는 필요한 대역폭이 감소되도록 공간적으로 불균등한 방식으로 공간 장면 콘텐츠를 스트리밍하기 위한 개념들을 제공하는 것, 또는 추가 애플리케이션 시나리오들에 대한 적용 가능성을 확대하는 방식으로 공간 장면 콘텐츠를 스트리밍하기 위한 개념들을 제공하는 것이다.

이러한 과제는 계류 중인 독립 청구항들의 요지에 의해 달성된다.

본 출원의 제1 양상은, 선택되고 검색된 미디어 세그먼트들 및/또는 서버로부터 획득된 신호화가 시간적으로 변화하는 공간 장면의 서로 다른 부분들이 선택되고 검색된 미디어 세그먼트들로 인코딩되는 품질들로 컴파일될 미리 결정된 관계에 대한 힌트들을 검색 디바이스에 제공한다면, 비교 가능한 대역폭 소비에서의 가시 품질 및/또는 스트리밍 수신 사이트에서의 계산 복잡성 면에서 공간적으로 불균등한 방식으로 비디오와 같은 시간적으로 변화하는 공간 장면에 관계된 미디어 콘텐츠의 스트리밍이 개선될 수 있다는 결론에 기반한다. 그렇지 않으면, 검색 디바이스는, 선택되고 검색된 미디어 세그먼트로 서로 다른 품질로 인코딩된 부분들의 병치가 사용자에 의해 경험되는 전체적인 가시 품질에 어떤 부정적인 영향을 가질 수 있는지에 대해 미리 알지 못할 수 있다. 미디어 세그먼트들에 포함된 정보 및/또는 서버로부터 획득된, 이를테면 예컨대, 매니페스트 파일(미디어 표현 기술(media presentation description)) 내의 신호화 또는 서버로부터 클라이언트로의 추가 스트리밍 관련 제어 메시지들, 이를테면 SAND 메시지들은 검색 디바이스가 서버에서 제공된 미디어 세그먼트들 중에서 적절히 선택할 수 있게 한다. 이런 식으로, 비디오 콘텐츠의 가상 현실 스트리밍 또는 부분 스트리밍은 품질 저하에 대해 보다 견고하게 이루어질 수 있는데, 이는 그렇지 않으면 사용자에게 제시되는 시간적으로 변화하는 공간 장면의 이러한 공간 섹션으로의 가용 대역폭의 불충분한 분배로 인해 발생할 수 있기 때문이다.

본 발명의 추가 양상은, 이를테면 제1 부분에서 제1 품질을 그리고 제2 부분에서 보다 낮은 제2 품질을 사용하여 또는 제2 부분은 스트리밍되지 않게 하여, 공간적으로 불균등한 방식으로 비디오와 같은 시간적으로 변화하는 공간 장면에 관계된 미디어 콘텐츠를 스트리밍하는 것은 가시 품질이 개선될 수 있고 그리고/또는 미디어 세그먼트들에 포함된 정보 및/또는 서버로부터 획득된 신호화에 따라 제1 부분의 크기 및/또는 위치를 결정함으로써 스트리밍 검색 측에서의 대역폭 소비 및/또는 계산 복잡성 면에서 덜 복잡하게 이루어질 수 있다는 결론에 기반한다. 예컨대, 시간적으로 변화하는 공간 장면이 타일 기반 스트리밍을 위해 타일 기반 방식으로 서버에서 제공될 것이라고, 즉 미디어 세그먼트들은 시간적으로 변화하는 공간 장면의 스펙트럼 시간 부분들을 나타낼 것이라고 가정하며, 이러한 부분들 각각은 공간 장면이 세분되는 타일들의 분포의 대응하는 타일 내의 공간 장면의 시간 세그먼트가 될 것이다. 이러한 경우, 가용 대역폭 및/또는 계산력을 공간 장면에 대해, 즉 타일들의 입도로 어떻게 분배할지에 관해 결정하는 것은 검색 디바이스(클라이언트)에 달려있다. 검색 디바이스는, 뒤따르는 공간 장면의 제1 부분이 공간 장면의 시간적으로 변화하는 뷰 섹션(view section)을 각각 추적하고 예컨대, 현재 대역폭 및/또는 계산력 조건들로 실현 가능한 가장 높은 품질일 수 있는 미리 결정된 품질로, 선택되고 검색된 미디어 세그먼트들로 인코딩되는 정도까지 미디어 세그먼트들의 선택을 수행할 것이다. 공간 장면의 공간적으로 이웃하는 제2 부분은 예컨대, 선택되고 검색된 미디어 세그먼트들로 인코딩되지 못할 수 있고, 또는 미리 결정된 품질에 비해 감소된 추가 품질로 그곳에서 인코딩될 수 있다. 이러한 상황에서, 인접한 타일들의 수/카운트를 계산하는 것은 계산상 복잡한 문제이거나 심지어 실현 가능하지도 않은데, 이러한 타일들의 집성은 뷰 섹션의 배향에 상관없이 시간적으로 변화하는 뷰 섹션을 완전히 커버한다. 공간 장면을 개별 타일들에 매핑하기 위해 선택된 투영법에 따라, 타일별 각도 장면 커버리지가 이 장면에 따라 달라질 수 있으며, 개별 타일들이 서로 겹칠 수 있다는 사실은 심지어, 뷰 섹션의 배향과 상관없이 뷰 섹션을 공간 면에서 커버하기에 충분한 인접한 타일들의 카운트의 계산을 더 어렵게 만든다. 이에 따라, 이러한 상황에서, 앞서 언급한 정보는 제1 부분의 크기를 각각 타일들의 카운트(N) 또는 타일들의 수로 나타낼 수 있다. 이러한 수단에 의해, 디바이스는 미리 결정된 품질로 그곳에서 인코딩된 N개의 타일들의 동일 위치 집성을 갖는 그러한 미디어 세그먼트들을 선택함으로써 시간적으로 변화하는 뷰 섹션을 추적할 수 있을 것이다. 이러한 N개의 타일들의 집성이 뷰 섹션을 충분히 커버한다는 사실은 N을 나타내는 정보에 의해 보장될 수 있다. 다른 예는 미디어 세그먼트들에 포함된 정보 및/또는 서버로부터 획득된 신호화일 것이며, 이는 뷰 섹션 자체의 크기에 대한 제1 부분의 크기를 나타낸다. 예를 들어, 이 정보는 시간적으로 변화하는 뷰 섹션의 움직임들을 설명하기 위해 실제 뷰 섹션 주위에 "안전 구역" 또는 프리페치 구역을 어떻게든 설정할 수 있다. 시간적으로 변화하는 뷰 섹션이 공간 장면을 가로질러 움직이는 속도가 빠를수록 안전 구역이 더 커야 한다. 이에 따라, 앞서 언급한 정보는 이를테면, 증분 또는 스케일링 방식으로 시간적으로 변화하는 뷰 섹션의 크기에 비례하는 방식으로 제1 부분의 크기를 나타낼 수 있다. 이러한 정보에 따라 제1 부분의 크기를 설정하는 검색 디바이스는, 다른 경우에는 뷰 섹션에서 볼 수 있는 공간 장면의 검색되지 않은 또는 저품질 부분들로 인해 발생할 수 있는 품질 저하를 피할 수 있을 것이다. 여기서 이 장면이 타일 기반 방식으로 제공되는지 아니면 다른 어떤 방식으로 제공되는지는 관련이 없다.

본 출원의 방금 언급한 양상과 관련하여, 그에 인코딩된 비디오를 갖는 비디오 비트 스트림은, 비디오를 디코딩하기 위한 디코딩 파워가 집중되어야 하는 비디오 내의 집중 영역의 크기의 신호화가 비디오 비트 스트림에 제공된다면, 증가된 품질로 디코딩 가능하게 만들어질 수 있다. 이 수단에 의해, 비트 스트림으로부터 비디오를 디코딩하는 디코더는 비디오 비트 스트림에서 신호화된 집중 영역의 크기를 갖는 부분으로의 비디오의 디코딩으로 그 디코딩 파워를 집중시키거나 심지어 제한할 수 있어, 이로써 예컨대, 이와 같이 디코딩된 부분이 이용 가능한 디코딩 파워에 의해 디코딩 가능하고, 비디오의 원하는 섹션을 공간적으로 커버함을 알 수 있다. 예컨대, 이와 같이 신호화된 집중 영역의 크기는, 비디오를 디코딩할 때 디코딩 레이턴시를 고려하여, 뷰 섹션의 크기 및 이 뷰 섹션의 움직임을 커버하기 위해 충분히 크게 선택될 수 있다. 또는, 달리 말해서, 비디오 비트 스트림에 포함된 비디오의 권장되는 바람직한 뷰 섹션 영역의 신호화는 디코더가 바람직한 방식으로 이 영역을 처리할 수 있게 함으로써, 이에 따라 디코더가 그 디코딩 파워를 집중할 수 있게 할 수 있다. 영역 특정 디코딩 파워 집중을 수행하는 것과 상관없이, 영역 신호화가 어느 미디어 세그먼트들을 다운로드할지, 즉 어느 위치 그리고 증가된 품질 부분의 치수를 어떻게 정할지를 선택하는 스테이지로 전달될 수 있다.

본 출원의 제1 양상 및 제2 양상은 본 출원의 제3 양상과 밀접하게 관련되는데, 이에 따라 제1 부분의 크기, 또는 크기 및/또는 위치를 설정할 수 있게 하고 그리고/또는 제1 품질과 제2 품질 간의 미리 결정된 관계를 적절히 설정할 수 있게 하는 앞서 언급한 타입들의 정보를 적절히 설정하기 위해 후속적으로 사용될 수 있는 정보를 얻도록, 엄청난 수의 검색 디바이스들이 서버로부터 미디어 콘텐츠를 스트리밍한다는 사실이 이용될 수 있다. 따라서 본 출원의 이러한 양상에 따르면, 검색 디바이스(클라이언트)는 제1 부분의 공간 위치 및/또는 움직임을 측정하는 순간(momentaneous) 측정 또는 통계 값, 선택된 미디어 세그먼트들로 인코딩되는 한 그리고 뷰 섹션에서 볼 수 있는 한 시간적으로 변화하는 공간 장면의 품질을 측정하는 순간 측정 또는 통계 값, 및 선택된 미디어 세그먼트들로 인코딩되는 한 그리고 뷰 섹션에서 볼 수 있는 한 시간적으로 변화하는 공간 장면의 품질 또는 제1 부분의 품질을 측정하는 순간 측정 또는 통계 값 중 하나를 로깅하는 로그 메시지를 전송한다. 순간 측정들 및/또는 통계 값들에는 각각의 순간 측정 또는 통계 값이 획득된 시간에 관한 시간 정보가 제공될 수 있다. 로그 메시지들은 미디어 세그먼트들이 제공되는 서버에, 또는 인바운드 로그 메시지들을 평가하는 다른 어떤 디바이스에 전송되어, 제1 부분의 크기, 또는 크기 및/또는 위치를 설정하고 그리고/또는 그에 기초하여 미리 결정된 관계를 도출하는 데 사용된 앞서 언급한 정보의 현재 설정들을 그에 기초하여 업데이트할 수 있다.

본 출원의 추가 양상에 따르면, 비디오와 같은 시간적으로 변화하는 공간 장면에 관계된 미디어 콘텐츠의, 특히 타일 기반 방식으로의 스트리밍은 시간적으로 변화하는 공간 장면이 타일 기반 스트리밍을 위해 제공되는 적어도 하나의 버전을 포함하는 미디어 표현 기술에, 적어도 하나의 버전 각각에 대한 시간적으로 변화하는 공간 장면의 각각의 버전에 대해 타일 기반 스트리밍으로부터 도움이 될 이익 요건들의 표시를 제공함으로써 쓸데없는 스트리밍 시험들의 회피 측면에서 보다 효과적이 된다. 이러한 수단에 의해, 검색 디바이스는 적어도 하나의 버전의 이익 요건들을 검색 디바이스 자체의 또는 타일 기반 스트리밍에 관해 검색 디바이스와 상호 작용하는 다른 디바이스의 디바이스 성능과 매칭시킬 수 있다. 예를 들어, 이익 요건들은 디코딩 성능 요건들과 관련될 수 있다. 즉, 스트리밍된/검색된 미디어 콘텐츠를 디코딩하기 위한 디코딩 파워가 시간적으로 변화하는 공간 장면의 뷰 섹션을 커버하는 데 필요한 모든 미디어 세그먼트들을 디코딩하기에 충분하지 않다면, 미디어 콘텐츠를 스트리밍하고 표현하려는 시도는 시간, 대역폭, 계산력의 낭비일 것이고, 이에 따라 어떤 경우든 이를 시도하지 않는 것이 더 효과적일 것이다. 예컨대, 특정 타일에 관련된 미디어 세그먼트들이 다른 타일에 관계된 미디어 세그먼트들과는 별개인 비디오 스트림과 같은 미디어 스트림을 형성한다면, 디코딩 성능 요건들은 예컨대, 각각의 버전에 대해 필요한 다수의 디코더 인스턴스화들을 나타낼 수 있다. 디코딩 성능 요건은 예컨대, 미리 결정된 디코딩 프로파일 및/또는 레벨에 맞추기 위해 필요한 디코더 인스턴스화들의 특정 부분과 같은 추가 정보에 관련될 수 있거나, 사용자가 장면을 보게 되는 뷰포트/섹션을 충분히 빠른 방식으로 이동시킬 사용자 입력 디바이스의 특정 최소 성능을 나타낼 수 있다. 장면 콘텐츠에 따라, 낮은 이동 능력은 사용자가 장면의 흥미로운 부분들을 조사하기에 충분하지 않을 수 있다.

본 발명의 추가 양상은 시간적으로 변화하는 공간 장면들에 관계된 미디어 콘텐츠의 스트리밍의 확장에 관한 것이다. 특히, 이 양상에 따른 아이디어는, 공간 장면이 사실상 시간적으로 변할 뿐만 아니라, 적어도 하나의 추가 파라미터의 측면에서 예컨대, 뷰들 및 위치, 뷰 깊이 또는 다른 어떤 물리적 파라미터를 또한 제안할 수 있다는 것이다. 검색 디바이스는 뷰포트 방향 및 적어도 하나의 추가 파라미터에 따라, 미디어 세그먼트들의 어드레스들을 계산하고, 미디어 세그먼트들이 시간에 따라 변화하는 공간 장면 및 적어도 하나의 파라미터를 기술하고, 서버로부터 계산된 어드레스들을 사용하여 미디어 세그먼트들을 검색함으로써 이와 관련하여 적응 스트리밍을 사용할 수 있다.

본 출원의 위에서 개요가 기술된 양상들 및 종속 청구항들의 요지인 이들의 유리한 구현들은 개별적으로 또는 모두 함께 결합될 수 있다.

본 출원의 바람직한 실시예들이 다음 중의 도면들에 관해 아래에 제시된다.
도 1은 다음의 도면들에서 제시되는 실시예들이 어디에서 유리하게 사용될 수 있는지에 관한 예로서 가상 현실 애플리케이션들을 위한 클라이언트 및 서버의 시스템을 예시하는 개략도를 도시한다.
도 2는 본 출원의 일 실시예에 따른 클라이언트 디바이스의 가능한 동작 모드를 설명하기 위한 미디어 세그먼트 선택 프로세스의 개략적인 예시와 함께 클라이언트 디바이스의 블록도를 도시하며, 여기서 서버(10)는 사용자에게 제시된 미디어 콘텐츠 내에서 수용 가능한 또는 견딜 수 있는(endurable) 품질 변화들에 관한 정보를 디바이스에 제공한다.
도 3은 도 2의 변형을 도시하며, 향상 품질의 부분은 뷰포트의 뷰 섹션을 추적하는 부분이 아니라 서버로부터 클라이언트로 시그널링되는 미디어 장면 콘텐츠의 관심 영역과 관련된다.
도 4는 일 실시예에 따른 미디어 세그먼트 선택 프로세스의 개략적인 예시와 함께 클라이언트 디바이스의 블록도를 도시하며, 여기서 서버는 향상된 품질 부분의 크기, 크기 및/또는 위치 또는 미디어 장면의 실제로 검색된 섹션의 크기, 또는 크기 및/또는 위치를 어떻게 설정할지에 관한 정보를 제공한다.
도 5는 서버에 의해 전송된 정보가 뷰포트의 예상된 움직임들에 따라 부분(64)의 크기를 스케일링하기보다는 이를 직접 표시한다는 점에서 도 5의 변형을 도시한다.
도 6은 도 4의 변형을 도시하며, 이에 따르면 검색된 섹션이 미리 결정된 품질을 가지며 그 크기가 서버에서 생겨난 정보에 의해 결정된다.
도 7a - 도 7c는 도 4 및 도 6에 따른 정보(74)가 미리 결정된 품질로 검색된 부분의 크기를 뷰포트의 크기의 대응하는 확대를 통해 증가시키는 방식을 예시하는 개략도들을 도시한다.
도 8a는 클라이언트 디바이스가 로그 메시지들을 서버 또는 이러한 로그 메시지들을 평가하기 위한 특정 평가기에 전송하여, 예컨대 도 2 - 도 7c와 관련하여 논의되는 정보의 타입들에 대한 적절한 설정들을 유도하는 실시예를 예시하는 개략도를 도시한다.
도 8b는 타일들로의 360 장면의 타일 기반 입체 투영의 개략도 및 타일들 중 일부가 뷰포트의 예시적인 위치에 의해 어떻게 커버되는지의 일례를 도시한다. 작은 원들은 등각으로 분포된 뷰포트의 위치들을 나타내며, 해칭된 타일들은 해칭이 없는 타일들보다 다운로드된 세그먼트들에서 더 높은 해상도로 인코딩된다.
도 8c 및 도 8d는 클라이언트의 서로 다른 버퍼들의 버퍼 충만도(수직 축)가 어떻게 전개될 수 있는지에 대해 시간 축(수평)을 따라 도시하는 도표의 개략도를 도시하며, 여기서 도 8c는 특정 타일들을 코딩하는 표현들을 버퍼링하는 데 사용될 버퍼들을 가정하는 한편, 도 8d는 불균등한 품질로, 즉 각각의 버퍼에 특정한 특정 방향 쪽으로 향상된 품질로 인코딩된 장면을 갖는 전방향성 표현들을 버퍼링하는데 사용되는 버퍼를 가정한다.
도 8e 및 도 8f는 구면 또는 뷰 평면 의미에서 균등성이 서로 다른, 뷰포트(28) 내의 서로 다른 픽셀 밀도 측정들의 3차원 도표를 도시한다.
도 9는 클라이언트 디바이스의 블록도 및 서버에 의해 타일 기반 스트리밍이 제공되는 특정 버전이 클라이언트 디바이스에 대해 수용 가능한지 여부를 평가하기 위해 서버에서 생겨나는 정보를 검사할 때의 미디어 세그먼트 선택 프로세스의 개략적인 예시를 도시한다.
도 10은 시간뿐만 아니라 다른 비-시간 파라미터, 즉 여기서는 예시적으로 장면 중심 위치에 있어서의 미디어 장면의 의존성을 허용하는 실시예에 따라 서버에 의해 제공되는 복수의 미디어 세그먼트들을 예시하는 개략도를 도시한다.
도 11은 비트 스트림으로 인코딩된 비디오 내의 집중 영역의 크기를 조정 또는 제어하는 정보를 포함하는 비디오 비트 스트림을, 이 정보를 이용할 수 있는 비디오 디코더에 대한 일례와 함께 예시하는 개략도를 도시한다.

본 출원의 다양한 양상들에 관한 본 출원의 실시예들의 설명의 이해를 용이하게 하기 위해, 도 1은 본 출원의 뒤에 설명되는 실시예들이 적용되고 유리하게 사용될 수 있는 환경에 대한 일례를 도시한다. 특히, 도 1은 적응 스트리밍을 통해 상호 작용하는 클라이언트(10) 및 서버(20)로 구성된 시스템을 도시한다. 예컨대, HTTP를 통한 동적 적응 스트리밍(DASH: dynamic adaptive streaming over HTTP)이 클라이언트(10)와 서버(20) 간의 통신(22)에 사용될 수 있다. 그러나 뒤에 개요가 기술되는 실시예들은 DASH의 사용으로 한정되는 것으로 해석되지 않아야 하며, 마찬가지로 미디어 표현 기술(MPD: media presentation description)과 같은 용어들은 DASH에서와는 다르게 정의된 매니페스트 파일들을 또한 커버하도록 넓게 이해되어야 한다.

도 1은 가상 현실 애플리케이션을 구현하도록 구성된 시스템을 예시한다. 즉, 시스템은 헤드업 디스플레이(24)를 착용한 사용자에게, 즉 헤드업 디스플레이(24)의 내부 디스플레이(26)를 통해, 시간적으로 변화하는 공간 장면(30)으로부터 뷰 섹션(28)을 제시하도록 구성되는데, 이 섹션(28)은 헤드업 디스플레이(24)의 관성 센서와 같은 내부 배향 센서(32)에 의해 예시적으로 측정된 헤드업 디스플레이(24)의 배향에 대응한다. 사용자에게 제시된 섹션(28)은 공간 위치가 헤드업 디스플레이(24)의 배향에 대응하는 공간 장면(30)의 섹션을 형성한다. 도 1의 경우에, 시간적으로 변화하는 공간 장면(30)은 전방향성 비디오 또는 구형 비디오로서 도시되지만, 도 1 및 뒤에 설명되는 실시예들의 설명은 다른 예들, 이를테면 섹션(28)의 공간 위치가 가상 또는 실제 프로젝터 벽 등과의 얼굴 접근 또는 눈 접근의 교차에 의해 결정되는 섹션을 비디오로부터 제시하는 것으로도 또한 용이하게 전달될 수 있다. 또한, 센서(32) 및 디스플레이(26)는 예컨대, 원격 제어 및 대응하는 텔레비전과 같은 서로 다른 디바이스들로 각각 구성될 수 있거나, 또는 이들은 태블릿 또는 휴대 전화와 같은 모바일 디바이스와 같은 휴대용 디바이스의 일부일 수 있다. 마지막으로, 뒤에 설명되는 실시예들 중 일부는 사용자에게 제시되는 영역(28)이 시간적으로 변화하는 공간 장면(30) 전체를 항상 예컨대, 공간 장면에 대한 품질의 불균등한 분배와 관련된 시간적으로 변화하는 공간 장면을 제시할 때 불균등하게 커버하는 시나리오들에도 또한 적용될 수 있다는 점이 주목되어야 한다.

서버(20), 클라이언트(10) 그리고 공간 콘텐츠(30)가 서버(20)에서 제공되는 방식에 관한 추가 세부사항들이 도 1에 예시되고 다음에 설명된다. 그러나 이러한 세부사항들은 또한 뒤에 설명되는 실시예들을 제한하는 것으로 취급되어야 하는 것이 아니라, 그보다는 뒤에 설명되는 실시예들 중 임의의 실시예를 어떻게 구현할지의 예로서 제공되어야 한다.

특히, 도 1에 도시된 바와 같이, 서버(20)는 저장소(34) 및 제어기(36), 이를테면 적절하게 프로그래밍된 컴퓨터, 주문형 집적 회로 등을 포함할 수 있다. 저장소(34)는 시간적으로 변화하는 공간 장면(30)을 나타내는 미디어 세그먼트들을 그에 저장한다. 특정 예가 도 1의 예시와 관련하여 이하에서 보다 상세히 개요가 기술될 것이다. 제어기(36)는 요청된 미디어 세그먼트들, 미디어 표현 기술을 클라이언트(10)에 재전송함으로써 클라이언트(10)에 의해 전송된 요청들에 응답하고 추가 정보를 저절로 클라이언트(10)에 전송할 수 있다. 이 점에 대한 세부사항들은 또한 아래에 제시된다. 제어기(36)는 요청된 미디어 세그먼트들을 저장소(34)로부터 패치할 수 있다. 이 저장소 내에서, 서버(20)로부터 클라이언트(10)로 전송된 다른 신호들에 미디어 표현 기술 또는 그 일부들과 같은 다른 정보가 또한 저장될 수 있다.

도 1에 도시된 바와 같이, 서버(20)는 예컨대, 이런 식으로 클라이언트(10)에 의해 검색된 미디어 세그먼트들이 실제로 여러 미디어 스트림들로부터 집성되더라도, 클라이언트(10)에서 미디어 데이터 스트림이 하나의 연관 디코더에 의해 디코딩 가능한 하나의 단일 미디어 스트림을 형성하는 결과를 야기하도록, 클라이언트(10)로부터의 요청들에 대한 응답으로 서버(20)로부터 클라이언트(10)로 전송된 미디어 세그먼트들을 수정하는 스트림 수정기(38)를 선택적으로 추가하여 포함할 수 있다. 그러나 그러한 스트림 수정기(38)의 존재는 선택적이다.

도 1의 클라이언트(10)는 클라이언트 디바이스 또는 제어기(40) 또는 하나 이상의 디코더들(42) 및 리프로젝터(reprojector)(44)를 포함하는 것으로 예시적으로 도시된다. 클라이언트 디바이스(40)는 적절하게 프로그래밍된 컴퓨터, 마이크로프로세서, 프로그래밍된 하드웨어 디바이스, 이를테면 FPGA 또는 주문형 집적 회로 등일 수 있다. 클라이언트 디바이스(40)는 서버(20)에서 제공되는 복수(46)의 미디어 세그먼트들 중에서 서버(20)로부터 검색될 세그먼트들을 선택할 책임을 가정한다. 이를 위해, 클라이언트 디바이스(40)는 먼저 서버(20)로부터 매니페스트 또는 미디어 표현 기술을 검색한다. 이로부터, 클라이언트 디바이스(40)는 복수(46)의 미디어 세그먼트들 중에서 공간 장면(30)의 특정한 필요한 공간 부분들에 대응하는 미디어 세그먼트들의 어드레스들을 계산하기 위한 계산 규칙을 획득한다. 이와 같이 선택된 미디어 세그먼트들은 서버(20)에 각각의 요청들을 전송함으로써 서버(20)로부터 클라이언트 디바이스(40)에 의해 검색된다. 이러한 요청들은 계산된 어드레스들들을 포함한다.

클라이언트 디바이스(40)에 의해 이와 같이 검색된 미디어 세그먼트들은 디코딩을 위해 클라이언트 디바이스(40)에 의해 하나 이상의 디코더들(42)에 전달된다. 도 1의 예에서, 이와 같이 검색되고 디코딩된 미디어 세그먼트들은 시간적으로 변화하는 공간 장면(30) 중에서 공간 섹션(48)만을 각각의 일시적 시간 단위에 대해 나타내지만, 이미 앞서 지적한 바와 같이, 이것은 예컨대, 제시될 뷰 섹션(28)이 전체 장면을 연속적으로 커버하는 다른 양상들에 따라 다를 수 있다. 리프로젝터(44)는 선택된 검색되고 디코딩된 미디어 세그먼트들의 검색되고 디코딩된 장면 콘텐츠 중에서 사용자에게 디스플레이될 뷰 섹션(28)을 선택적으로 다시 투영하고 컷아웃(cut-out)할 수 있다. 이를 위해, 도 1에 도시된 바와 같이, 클라이언트 디바이스(40)는 예컨대, 센서(32)로부터의 사용자 배향 데이터에 대한 응답으로 뷰 섹션(28)의 공간 위치를 지속적으로 추적 및 업데이트하고, 예컨대 장면 섹션(28)의 이 현재 공간 위치뿐만 아니라 뷰 섹션(28)을 형성하는 영역에 매핑되도록 검색되고 디코딩된 미디어 콘텐츠에 적용될 재투영 매핑에 대해 리프로젝터(44)에 알릴 수 있다. 리프로젝터(44)는 이에 따라, 예컨대 디스플레이(26) 상에 디스플레이될 픽셀들의 정규 격자에 매핑 및 보간을 적용할 수 있다.

도 1은 공간 장면(30)을 타일들(50)에 매핑하기 위해 입체 매핑이 사용된 경우를 예시한다. 따라서 타일들은 구체의 형태를 갖는 장면(30)이 투영된 입방체의 직사각형 하위 영역들로서 도시된다. 리프로젝터(44)는 이 투영을 반전시킨다. 그러나 다른 예들도 또한 적용될 수 있다. 예컨대, 입체 투영 대신, 절단된 피라미드 또는 절단 없는 피라미드로의 투영이 사용될 수 있다. 또한, 도 1의 타일들은 공간 장면(30)의 커버리지 면에서 겹치지 않는 것으로 도시되지만, 타일들로의 세분은 상호 타일 중첩을 수반할 수 있다. 그리고 아래에서 보다 상세히 개요가 기술되는 바와 같이, 아래에서 추가 설명되는 바와 같이 각각의 타일이 하나의 표현을 형성하는 타일들(50)로 공간적으로 장면(30)을 세분하는 것은 또한 의무 사항이 아니다.

따라서 도 1에 도시된 바와 같이, 전체 공간 장면(30)은 공간적으로 타일들(50)로 세분된다. 도 1의 예에서, 입방체의 6개의 면들 각각은 4개의 타일들로 세분된다. 예시 목적으로, 타일들이 열거된다. 각각의 타일(50)에 대해, 서버(20)는 도 1에 도시된 바와 같은 비디오(52)를 제공한다. 보다 정확히 한다면, 서버(20)는 심지어 타일(50)마다 하나보다 많은 비디오(52)를 제공하는데, 이러한 비디오들은 품질(Q#)이 서로 다르다. 또 추가로, 비디오들(52)은 시간 세그먼트들(54)로 시간상 세분된다. 모든 타일들(T#)의 모든 비디오들(52)의 시간 세그먼트들(54)은 서버(20)의 저장소(34)에 저장된 복수(46)의 미디어 세그먼트들 중 하나로 각각 인코딩된다.

도 1에 예시된 타일 기반 스트리밍의 예조차도 단지 많은 편차들이 가능한 예를 형성한다는 점이 다시 강조된다. 예컨대, 도 1은 더 높은 품질의 장면(30)의 표현에 관계된 미디어 세그먼트들이 품질(Q1)로 장면(30)이 인코딩된 미디어 세그먼트들이 속하는 타일들과 일치하는 타일들에 관련이 있음을 시사하는 것으로 보이지만, 이러한 일치는 필수적인 것은 아니며 서로 다른 품질의 타일들이 심지어 장면(30)의 서로 다른 투영의 타일들에 대응할 수 있다. 더욱이, 지금까지 논의되지 않았지만, 도 1에 도시된 서로 다른 품질 레벨들에 대응하는 미디어 세그먼트들은 공간 해상도 및/또는 신호대 잡음비 및/또는 시간 해상도 등이 상이할 수 있다.

마지막으로, 장면(30)이 공간적으로 세분되는 타일들(50)과 서버(20)로부터 디바이스(40)에 의해 개별적으로 검색될 수 있는 미디어 세그먼트들이 관련되게 하는 타일 기반 스트리밍 개념과는 달리, 서버(20)에서 제공되는 미디어 세그먼트들은 대안으로, 예컨대 공간적으로 변화하는 샘플링 해상도를 갖는, 그러나 장면(30) 내의 서로 다른 공간 위치들에서 최대인 샘플링 해상도를 갖는 공간적으로 완전한 방식으로 장면(30)을 각각이 인코딩할 수 있다. 예컨대, 이는 절단된 팁이 서로 다른 방향들로 배향될 절단된 피라미드들로의 장면(30)의 투영에 관련된 세그먼트들(54)의 시퀀스들을 서버(20)에서 제공함으로써 달성될 수 있는데, 이로써 서로 다르게 배향된 해상도 피크들로 이어질 수 있다.

또한, 선택적으로 스트림 수정기(38)를 제시하는 것에 관해, 이는 대안으로 클라이언트(10)의 일부일 수 있거나, 이는 심지어 클라이언트(10)와 서버(20)가 본 명세서에서 설명되는 신호들을 교환하게 하는 네트워크 디바이스 내에서 그 사이에 위치될 수 있다.

서버(20) 및 클라이언트(10)의 시스템을 다소 일반적으로 설명한 후에, 본 출원의 제1 양상에 따른 일 실시예와 관련하여 클라이언트 디바이스(40)의 기능이 보다 상세히 설명된다. 이를 위해, 디바이스(40)를 보다 상세히 도시하는 도 2가 참조된다. 이미 위에서 설명한 바와 같이, 디바이스(40)는 시간적으로 변화하는 공간 장면(30)에 관계된 미디어 콘텐츠를 스트리밍하기 위한 것이다. 도 1과 관련하여 설명된 바와 같이, 디바이스(40)는 스트리밍된 미디어 콘텐츠가 공간 면에서 전체 장면에 연속적으로 또는 단지 그 섹션(28)에만 관계되도록 구성될 수 있다. 어떤 경우든, 디바이스(40)는 서버(20)에서 이용 가능한 복수(46)의 미디어 세그먼트들 중 적절한 미디어 세그먼트들(58)을 선택하기 위한 선택기(56), 및 HTTP 요청들과 같은 각각의 요청들에 의해 서버(20)로부터 선택된 미디어 세그먼트들을 검색하기 위한 검색기(60)를 포함한다. 앞서 설명한 바와 같이, 선택기(56)는 선택된 미디어 세그먼트들(58)을 검색할 때 이러한 어드레스들을 사용하는 검색기(60)로 선택된 미디어 세그먼트들의 어드레스들을 계산하도록 미디어 표현 기술을 사용할 수 있다. 예를 들어, 미디어 표현 기술에 표시된 어드레스들을 계산하기 위한 계산 규칙은 품질 파라미터(Q), 타일(T) 및 일부 시간 세그먼트(t)에 좌우될 수 있다. 어드레스들은 예컨대, URL들일 수 있다.

위에서 또한 논의된 바와 같이, 선택기(56)는 선택된 미디어 세그먼트들이 시간적으로 변화하는 공간 장면의 적어도 하나의 공간 섹션을 가지며 그 안에 인코딩되게 선택을 수행하도록 구성된다. 공간 섹션은 전체 장면을 공간적으로 연속적으로 커버할 수 있다. 도 2는 디바이스(40)가 장면(30)의 공간 섹션(62)에 겹치고 뷰 섹션(28)을 둘러싸도록 적응시키는 예시적인 경우를 61에서 예시한다. 그러나 이는, 이미 앞서 언급한 바와 같이, 반드시 그런 경우는 아니며, 공간 섹션은 전체 장면(30)을 연속적으로 커버할 수 있다.

또한, 선택기(56)는 선택된 미디어 세그먼트들이 공간적으로 불균등한 품질의 방식으로 섹션(62)을 인코딩하도록 선택을 수행한다. 보다 정확하게는, 도 2에 해칭으로 표시된, 공간 섹션(62)의 제1 부분(64)은 미리 결정된 품질로 선택된 미디어 세그먼트로 인코딩된다. 이 품질은 예컨대, 서버(20)에 의해 제공되는 최고 품질일 수 있거나 "양호한" 품질일 수 있다. 디바이스(42)는 예컨대, 시간적으로 변화하는 뷰 섹션(28)을 공간적으로 따르는 방식으로 제1 부분(64)을 이동시키거나 적응시킨다. 예컨대, 선택기(56)는 뷰 섹션(28)의 현재 위치를 상속하는 그러한 타일들의 현재 시간 세그먼트들(54)을 선택한다. 그렇게 할 때, 선택기(56)는 선택적으로, 이하의 추가 실시예들과 관련하여 설명되는 바와 같이, 제1 부분(64)을 구성하는 타일들의 수를 일정하게 유지할 수 있다. 어떤 경우든, 섹션(62)의 제2 부분(66)은 더 낮은 품질과 같은 다른 품질로, 선택된 미디어 세그먼트들(58)로 인코딩된다. 예를 들어, 선택기(56)는 부분(64)의 타일들에 공간적으로 이웃하고 더 낮은 품질에 속하는 타일들의 현재 시간 세그먼트들에 대응하는 미디어 세그먼트들을 선택한다. 예컨대, 선택기(56)는 현재 시간 세그먼트에 대응하는 시간 간격이 종료하기 전에 부분(64)을 남기고 부분(66)에 겹치도록 뷰 섹션(28)이 너무 빠르게 이동하는 가능한 경우를 해결하기 위해 부분(66)에 대응하는 미디어 세그먼트들을 주로 선택하고, 선택기(56)는 부분(64)을 새로 공간적으로 배치할 수 있을 것이다. 이러한 상황에서, 부분(66)으로 돌출하는 섹션(28)의 부분은 그럼에도, 즉 감소된 품질로 사용자에게 제시될 수 있다.

디바이스(40)가 사용자에 대해 보다 높은 품질인 부분(64) 내의 장면 콘텐츠와 함께 감소된 품질의 장면 콘텐츠를 사용자에게 예비적으로 제시하는 것으로부터 어떤 부정적인 품질 저하가 야기될 수 있는지에 대해 평가할 수 없다. 특히, 사용자가 명확하게 볼 수 있는 이 두 품질들 사이의 전환이 발생한다. 적어도 이러한 전환들은 섹션(28)의 현재 장면 콘텐츠에 따라 볼 수 있다. 사용자의 시야 내에서 이러한 전환의 부정적인 영향의 심각도는 서버(20)에 의해 제공되는 장면 콘텐츠의 특징이며, 디바이스(40)에 의해 예측될 수 없다.

이에 따라, 도 2의 실시예에 따르면, 디바이스(40)는 부분(64)의 품질과 부분(66)의 품질 사이에서 이행되어야 할 미리 결정된 관계를 도출하는 도출기(66)를 포함한다. 도출기(66)는 미디어 세그먼트(58) 내의 전송 박스들과 같이 미디어 세그먼트들에 포함될 수 있는 그리고/또는 서버(20)로부터 획득된 신호화에, 이를테면 SAND 메시지 등과 같은 서버(20)로부터 전송된 미디어 표현 기술 또는 전용 신호들 내에 포함될 수 있는 정보로부터 이러한 미리 결정된 관계를 도출한다. 정보(68)가 어떻게 보이는지에 대한 예들이 다음에 제시된다. 정보(68)에 기초하여 도출기(66)에 의해 도출된 미리 결정된 관계(70)는 선택을 적절히 수행하기 위해 선택기(56)에 의해 사용된다. 예컨대, 부분(64, 66)에 대한 품질들의 완전히 독립적인 선택과 비교하여 부분들(64, 66)의 품질들을 선택하는 데 있어서의 제한은 섹션(62)에 관한 미디어 콘텐츠를 검색하기 위한 가용 대역폭을 부분들(64, 66)에 분배하는 것에 영향을 미친다. 어떤 경우든, 선택기(56)는 부분들(64, 66)이 최종적으로 검색된 미디어 세그먼트들로 인코딩되는 품질들이 미리 결정된 관계를 충족시키도록 미디어 세그먼트들을 선택한다. 미리 결정된 관계가 어떻게 보일 수 있을지에 대한 예들도 또한 아래에 제시된다.

검색기(60)에 의해 선택되고 최종적으로 검색된 미디어 세그먼트들은 최종적으로 디코딩을 위해 하나 이상의 디코더들(42)로 전달된다.

제1 예에 따르면, 예컨대 정보(68)로 구현된 시그널링 메커니즘은 제공된 비디오 콘텐츠에 대해 어떤 품질 조합들이 수용 가능한지를 DASH 클라이언트일 수 있는 디바이스(40)에 지시하는 정보(68)를 포함한다. 예를 들어, 정보(68)는 서로 다른 영역들(64, 66)이 최대 품질(또는 해상도) 차이로 혼합될 수 있음을 사용자 또는 디바이스(40)에 나타내는 품질 쌍들의 리스트일 수 있다. 디바이스(40)는 부분(64)에 대해 서버(10)에서 제공되는 최상위 품질 레벨과 같은 특정 품질 레벨을 반드시 사용하도록 구성될 수 있고, 부분(66)이 예컨대, 부분(68)에 대한 품질 레벨들의 리스트의 형태로 포함될 수 있는 정보(68)로부터 선택된 미디어 세그먼트들로 코딩될 수 있는 품질 레벨들을 도출하도록 구성될 수 있다.

정보(68)는 부분(68)의 품질과 부분(64)의 품질 사이의 차이의 측정에 대해 견딜 수 있는 값을 나타낼 수 있다. 품질의 차이에 대한 "측정"으로서, 미디어 세그먼트들이 미디어 표현 기술에서 구별되게 하는 그리고 미디어 표현 기술에서 기술된 계산 규칙을 사용하여 미디어 세그먼트들의 어드레스들이 계산되게 하는 미디어 세그먼트들(58)의 품질 인덱스가 사용될 수 있다. MPEG-DASH에서, 품질을 나타내는 해당 속성은 예컨대 @qualityRanking에 있을 것이다. 디바이스(40)는 부분들(64, 66)이 선택된 미디어 세그먼트들로 코딩될 수 있는 선택 가능한 품질 레벨 쌍들의 제한을 선택의 수행시 고려할 수 있다.

그러나 이러한 차이 측정 대신에, 비트 레이트는 대개 품질이 높아질수록 단조롭게 증가한다고 가정하여, 예컨대 비트 레이트 차이, 즉 부분들(64, 66)이 각각 대응하는 미디어 세그먼트들로 인코딩되는 비트 레이트의 견딜 수 있는 차이로 품질의 차이가 대안으로 측정될 수 있다. 정보(68)는 부분들(64, 66)이 선택된 미디어 세그먼트들로 인코딩되는 품질들에 대한 옵션들의 허용된 쌍들을 나타낼 수 있다. 대안으로, 정보(68)는 부분(66)을 코딩하기 위한 허용된 품질들을 단순히 표시함으로써, 주 부분(64)이 예컨대, 가능한 또는 이용 가능한 최고 품질 최고 품질과 같은 어떤 디폴트 품질을 사용하여 인코딩된다고 가정하여 허용되는 또는 견딜 수 있는 품질 차이들을 간접적으로 표시한다. 예컨대, 정보(68)는 수용 가능한 표현 ID들의 리스트일 수 있거나 부분(66)에 관한 미디어 세그먼트들에 대한 최소 비트 레이트 레벨을 나타낼 수 있다.

그러나 보다 점진적인 품질 차이가 대안으로 요구될 수 있는데, 여기서는 품질 쌍들 대신에, 품질 그룹들(2개보다 많은 품질들)이 표시될 수 있으며, 섹션(28), 즉 뷰포트까지의 거리에 따라, 품질 차이가 증가될 수 있다. 즉, 정보(68)는 뷰 섹션(28)까지의 거리에 의존하는 방식으로 부분(64, 66)에 대한 품질들 사이의 차이의 측정에 대해 견딜 수 있는 값을 나타낼 수 있다. 이는 뷰 섹션까지의 각각의 거리와 각각의 거리를 초과하는 품질의 차이의 측정에 대한 대응하는 견딜 수 있는 값의 쌍들의 리스트를 통해 이루어질 수 있다. 각각의 거리보다 미만에서는, 품질 차이가 더 낮아야 한다. 즉, 각각의 쌍은 대응하는 거리보다 섹션(28)으로부터 더 멀리 떨어져 있는 부분(66) 내의 부분이 이 리스트 항목의 대응하는 견딜 수 있는 값을 초과하는 부분(64)의 품질과 품질 차이를 가질 수 있는 대응하는 거리를 나타낼 것이다.

견딜 수 있는 값은 뷰 섹션(28)까지의 증가하는 거리 내에서 증가할 수 있다. 방금 논의된 품질 차이의 수용은 종종 이러한 서로 다른 품질들이 사용자에게 도시되는 시간에 좌우된다. 예컨대, 품질 차이가 높은 콘텐츠는 200 마이크로초 동안만 도시된다면 수용 가능할 수도 있지만, 품질 차이가 더 낮은 콘텐츠는 500 마이크로초 동안 도시된다면 수용 가능할 수도 있다. 따라서 추가 예에 따르면, 정보(68)는 예컨대, 앞서 언급한 품질 조합들에 추가하여, 또는 허용된 품질 차이에 추가하여, 조합/품질 차이가 수용 가능할 수 있는 시간 간격을 또한 포함할 수 있다. 즉, 정보(68)는 부분(66)이 부분(64)과 동시에 뷰 섹션(28) 내에 보여질 수 있는 최대 허용 시간 간격의 표시와 함께 부분들(66, 64)의 품질들 사이의 견딜 수 있는 또는 최대 허용 차이를 나타낼 수 있다.

이미 앞서 언급한 바와 같이, 품질 차이들의 수용은 콘텐츠 자체에 좌우된다. 예컨대, 서로 다른 타일들(50)의 공간 위치는 수용에 영향을 미친다. 저주파 신호들을 갖는 균등한 배경 영역에서의 품질 차이들은 전경 객체의 품질 차이들보다 더 수용 가능할 것으로 기대된다. 더욱이, 시간상 위치가 또한 콘텐츠 변경으로 인해 수용률에 영향을 미친다. 따라서 다른 예에 따르면, 정보(68)를 형성하는 신호들은 이를테면, 예컨대 DASH에서의 표현 또는 주기마다 디바이스(40)에 간헐적으로 전송된다. 즉, 정보(68)에 의해 표시된 미리 결정된 관계는 간헐적으로 업데이트될 수 있다. 추가로 그리고/또는 대안으로, 정보(68)에 의해 실현되는 시그널링 메커니즘은 공간에 따라 다를 수 있다. 즉, 정보(68)는 이를테면, DASH의 SRD 파라미터에 의해 공간 의존적이 될 수 있다. 즉, 서로 다른 미리 결정된 관계들이 장면(30)의 서로 다른 공간 영역들에 대한 정보(68)에 의해 표시될 수 있다.

도 2와 관련하여 설명되는 디바이스(40)의 실시예는, 디바이스(40)가 섹션(28)에 의한 위치 변경과 동일하게 가능한 한 한 낮게 적응시키도록 섹션(62) 및 부분(64)의 위치를 변경할 수 있기 전에 섹션(28)에서 간단하게 볼 수 있는 비디오 콘텐츠(30)의 검색된 섹션(62) 내의 프리페치된 부분들(66)로 인한 품질 저하들을 유지하기를 원한다는 사실에 관련된다. 즉, 도 2에서, 가능한 조합들이 정보(68)에 의해 관련되는 한 품질들이 제한된 부분들(64, 66)은, 움직이는 뷰 섹션(28)을 추적 또는 선행시키기 위해 연속적으로 시프트 또는 적응되는 두 부분들(64, 66) 사이의 전환을 갖는 섹션(62)의 서로 다른 부분들이었다. 도 3에 도시된 다른 실시예에 따르면, 디바이스(40)는 부분들(64, 66)의 품질들의 가능한 조합들을 제어하기 위해 정보(68)를 사용하지만, 이 부분들은 도 3의 실시예에 따라, 예컨대 미디어 표현 기술에 정의된, 즉 뷰 섹션(28)의 위치와 독립적인 방식으로 정의된 방식으로 서로 구별 또는 구분되는 부분들로 정의된다. 부분들(64, 66)의 위치들과 그 사이의 전환은 일정하거나 시간에 따라 변할 수 있다. 시간에 따라 변화한다면, 그 변화는 장면(30)의 콘텐츠의 변경에 기인한다. 예를 들어, 부분(64)은 보다 높은 품질의 지출이 가치 있는 관심 영역에 대응하는 한편, 부분(66)은 예컨대, 낮은 대역폭 조건들로 인한 품질 감소가 부분(64)에 대한 품질 감소들을 고려하기 전에 고려되어야 하는 부분이다.

다음에, 디바이스(40)의 유리한 구현을 위한 추가 실시예가 설명된다. 특히, 도 4는 디바이스(40)를 도 2 및 도 3에 구조상 대응하는 방식으로 도시하지만, 동작 모드는 본 출원의 제2 양상에 대응하도록 변경된다.

즉, 디바이스(40)는 선택기(56), 검색기(60) 및 도출기(66)를 포함한다. 선택기(56)는 서버(20)에 의해 제공되는 복수(46)의 미디어 세그먼트들(58) 중에서 선택하고 검색기(60)는 서버로부터 선택된 미디어 세그먼트들을 검색한다. 도 4는 디바이스(40)가 도 2 및 도 3과 관련하여 도시되고 예시된 바와 같이 동작하는 것으로, 즉 선택된 미디어 세그먼트들(58)이 장면(30)의 공간 섹션(62)을 이 공간 섹션이 그 공간 위치가 시간에 따라 달라지는 뷰 섹션(28)을 따르는 방식으로 인코딩하도록 선택기(56)가 선택을 수행한다고 간주한다. 그러나 본 출원의 동일한 양상에 대응하는 변형이 도 5와 관련하여 뒤에 설명되는데, 여기서 각각의 시간 인스턴트(t)에 대해, 선택되고 검색된 미디어 세그먼트들(58)은 전체 장면 또는 일정 공간 섹션(62)을 인코딩한다.

어떤 경우든, 선택기(56)는 섹션(62) 내의 제1 부분(64)이 선택되고 검색된 미디어 세그먼트들로 미리 결정된 품질로 인코딩되도록 미디어 세그먼트들(58)을 도 2 및 도 3에 대한 설명과 유사하게 선택하는 반면, 제1 부분(64)과 공간적으로 이웃하는 부분(62)의 제2 부분(66)은 선택된 미디어 세그먼트들로 부분(64)의 미리 결정된 품질에 비해 감소된 품질로 인코딩된다. 선택기(56)가 뷰포트(28)의 위치를 추적하는 이동 템플릿에 관한 미디어 세그먼트들로의 선택 및 검색을 제한하고 미디어 세그먼트들이 섹션(62)을 완전히 미리 결정된 품질로 인코딩하여 제1 부분(64)이 섹션(62)을 완전히 커버하는 한편, 인코딩되지 않은 부분(72)으로 둘러싸이는 변형이 도 6에 도시된다. 어떤 경우든, 선택기(56)는 제1 부분(64)이 시간적으로 공간 위치가 변하는 뷰 섹션(28)을 따르도록 선택을 수행한다.

이러한 상황에서, 얼마나 큰 섹션(62) 또는 부분(64)이 되어야 하는지를 클라이언트(40)가 예측하는 것도 쉽지 않다. 장면 콘텐츠에 따라, 대부분의 사용자들은 장면(30)을 가로질러 움직이는 뷰 섹션(28)에서 유사하게 행동할 수 있고, 이에 따라 아마도 장면(30)을 가로질러 뷰 섹션(28)이 이동할 수 있는 뷰 섹션(28) 속도들의 간격에도 동일하게 적용된다. 이에 따라, 도 4 - 도 6의 실시예에 따라, 정보(74)가 서버(20)에 의해 디바이스(40)에 제공되어 디바이스(40)가 제1 부분(64)의 크기, 또는 크기 및/또는 위치, 또는 섹션(62)의 크기, 크기 및/또는 위치를 각각 정보(74)에 따라 설정하는 것을 돕는다. 서버(20)로부터 디바이스(40)로 정보(74)를 송신할 가능성들에 관해, 도 2 및 도 3과 관련하여 앞서 설명한 바와 동일하게 적용된다. 즉, 정보는 미디어 세그먼트들(58) 내에, 이를테면 이들의 이벤트 박스들 내에 포함될 수 있거나, SAND 메시지들과 같이 서버로부터 디바이스(40)로 전송된 미디어 표현 기술 또는 독점 메시지들 내의 송신이 이를 위해 사용될 수 있다.

즉, 도 4 - 도 6의 실시예들에 따르면, 선택기(56)는 서버(20)에서 생기는 정보(74)에 따라 제1 부분(64)의 크기를 설정하도록 구성된다. 도 4 - 도 6에 예시된 실시예들에서, 크기는 타일들(50)의 단위로 설정되지만, 도 1과 관련하여 앞서 이미 설명한 바와 같이, 공간적으로 변화하는 품질로 서버(20)에서 장면(30)을 제공하는 다른 개념을 사용할 때 상황은 약간 다를 수 있다.

일례에 따르면, 정보(70)는 예컨대, 뷰 섹션(28)의 뷰포트의 주어진 이동 속도에 대한 확률을 포함할 수 있다. 정보(74)는 이미 앞서 언급한 바와 같이, 예컨대 DASH 클라이언트일 수 있는 클라이언트 디바이스(40)에 대해 이용 가능하게 된 미디어 표현 기술 내에서 발생할 수 있거나, 일부 대역 내 메커니즘들은 이벤트 박스들과 같은 정보(74), 즉 DASH의 경우 EMSG 또는 SAND 메시지들을 전달하는 데 사용될 수 있다. 정보(74)는 또한, MPEG-2TS와 같은 MPEG-DASH 이외의 ISO 파일 포맷 또는 전송 포맷과 같은 임의의 컨테이너 포맷으로 포함될 수 있다. 이는 또한, 뒤에 설명되는 바와 같이, 비디오 비트 스트림으로, 이를테면 SEI 메시지로 전달될 수 있다. 즉, 정보(74)는 뷰 섹션(28)의 공간 속도의 측정에 대한 미리 결정된 값을 나타낼 수 있다. 이런 식으로, 정보(74)는 부분(64)의 크기를 스케일링의 형태로 또는 뷰 섹션(28)의 크기에 대한 증분의 형태로 표시한다. 즉, 정보(74)는 섹션(28)의 크기를 커버하는 데 필요한 부분(64)에 대한 어떤 "기본 크기"에서부터 시작하여, 이를테면 점진적으로 또는 스케일링에 의해 적절하게 이 "기본 크기"를 증가시킨다. 예를 들어, 뷰 섹션(28)의 앞서 언급한 이동 속도는 예를 들어, 이 시간 간격 후에, 예컨대 미디어 세그먼트들(58)의 시간 길이에 대응하는 시간 세그먼트들(54)의 시간 지속기간과 같은 부분(64)의 공간 위치를 조정할 때의 레이턴시를 결정한 후 실행 가능한 임의의 공간 방향을 따라 예컨대, 뷰 섹션(28)의 둘레의 가장 먼 위치들을 결정하도록 뷰 섹션(28)의 현재 위치의 둘레를 대응하게 스케일링하는 데 사용될 수 있다. 따라서 이 시간 지속기간이 전방향성인 뷰포트(28)의 현재 위치의 둘레에 가산하는 속도 시간들은 이러한 최악의 경우의 둘레가 될 수 있고 움직이지 않는 뷰포트(28)를 가정하여 부분(64)의 어떤 최소 팽창에 대한 부분(64)의 확대를 결정하는 데 사용될 수 있다.

정보(74)는 심지어 사용자 행동의 통계치의 평가와 관련될 수 있다. 이후에, 이러한 평가 프로세스를 공급하기에 적합한 실시예들이 설명된다. 예컨대, 정보(74)는 일정 비율들의 사용자들에 대해 최대 속도들을 나타낼 수 있다. 예를 들어, 정보(74)는 90%의 사용자들이 0.2rad/s보다 더 낮은 속도로 이동하고 98%의 사용자들이 0.5rad/s보다 더 낮은 속도로 이동한다는 것을 나타낼 수 있다. 정보(74) 또는 이를 전달하는 메시지들은 확률-속도 쌍들이 정의되는 식으로 정의될 수 있거나, 일정 비율의 사용자들, 예컨대 항상 99%의 사용자들에 대해 최대 속도를 시그널링하는 메시지가 정의될 수 있다. 이동 속도 시그널링(74)은 방향 정보, 즉 광 필드 애플리케이션으로도 또한 알려진 2D 또는 2D 플러스 3D의 깊이의 각도를 추가로 포함할 수 있다. 정보(74)는 서로 다른 이동 방향들에 대해 서로 다른 확률-속도 쌍들을 나타낼 것이다.

즉, 정보(74)가 예컨대, 미디어 세그먼트의 시간 길이와 같은 주어진 시간 범위에 적용될 수 있다. 이 정보는 궤도 기반(x 백분위수, 평균 사용자 경로) 또는 속도 기반 쌍들(x 백분위수, 속도) 또는 거리 기반 쌍들(x 백분위수, 구경/직경/선호) 또는 면적 기반 쌍들(x 백분위수, 권장 선호 면적) 또는 경로, 속도, 거리 또는 선호 면적에 대한 단일 최대 경계 값들로 구성될 수 있다. 정보를 백분위수들과 관련시키는 대신, 대부분의 사용자들이 특정 속도로 이동하고 두 번째로 많은 사용자들이 추가 속도로 이동하는 등에 따라 간단한 빈도 랭킹이 이루어질 수 있다. 추가로 또는 대안으로, 정보(74)는 뷰 섹션(28)의 속도를 나타내도록 제한되는 것이 아니라, 마찬가지로 해당 표시를 따르는 사용자들의 비율 또는 표시가 가장 자주 로깅된 사용자 보기 속도들/뷰 섹션들과 일치하는지 여부의 표시와 같은 표시의 통계적 유의도에 대한 표시가 있거나 없이, 그리고 표시의 시간 지속성이 있거나 없이, 뷰 섹션(28)을 추적하고자 하는 부분(62 및/또는 64)을 지시하도록 각각 보이게 될 선호 면적을 나타낼 수 있다. 정보(74)는 특정 시간 기간 내에, 이를테면 미디어 세그먼트들의 시간 길이 또는 보다 상세하게는 시간 세그먼트들(54)의 시간 길이 내에 뷰 섹션(28)의 이동 거리에 대한 측정과 같은 뷰 섹션(28)의 속도의 다른 측정을 나타낼 수 있다. 대안으로, 정보(74)는 뷰 섹션(28)이 이동할 수 있는 특정 이동 방향들을 구별하는 방식으로 시그널링될 수 있다. 이것은 특정 방향으로의 뷰 섹션(28)의 속도 또는 속력의 표시뿐만 아니라 특정 이동 방향에 대한 뷰 섹션(28)의 이동된 거리의 표시 모두에 관계된다. 또한, 부분(64)의 확장은 전방향으로 또는 서로 다른 이동 방향들을 구별하는 방식으로 정보(74)에 의해 직접 시그널링될 수 있다. 게다가, 정보(74)는 뷰 섹션(28)의 이동시 사용자들의 통계적 행동을 설명하기 위해 이러한 값들이 충분한 사용자들의 비율과 함께 이러한 값들을 표시한다는 점에서 방금 개요가 기술된 모든 예들이 수정될 수 있다. 이와 관련하여, 뷰 속도, 즉 뷰 섹션(28)의 속도는 상당할 수 있으며, 예컨대 사용자 머리에 대한 속도 값들로 제한되지 않는다는 점이 주목되어야 한다. 오히려, 뷰 섹션(28)은 예컨대, 사용자의 안구 움직임에 따라 이동될 수 있는데, 이 경우 뷰 속도는 상당히 더 높을 수 있다. 뷰 섹션(28)은 또한 다른 입력 디바이스 움직임에 따라, 이를테면 태블릿 등의 움직임에 따라 이동될 수 있다. 사용자가 섹션(28)을 움직일 수 있게 하는 이러한 모든 "입력 가능성들"이 뷰 섹션(28)의 서로 다른 예상 속도들을 초래하므로, 정보(74)는 심지어 뷰 섹션(28)의 움직임을 제어하기 위한 서로 다른 개념들을 구별하도록 설계될 수 있다. 즉, 정보(74)는 뷰 섹션(28)의 움직임을 제어하는 서로 다른 방식들에 대한 서로 다른 크기들을 나타내는 방식으로 부분(64)의 크기를 나타내거나 표시할 수 있고, 디바이스(40)는 정보(74)에 의해 표시된 크기를 올바른 뷰 섹션 제어를 위해 사용할 것이다. 즉, 디바이스(40)는 뷰 섹션(28)이 사용자에 의해 제어되는 방식에 관한 지식을 얻는데, 즉 뷰 섹션(28)이 머리 움직임, 안구 움직임 또는 태블릿 움직임 등에 의해 제어되는지 여부를 확인하고 이러한 종류의 뷰 섹션 제어에 대응하는 정보(74)의 해당 부분에 따라 크기를 설정한다.

일반적으로, 이동 속도는 콘텐츠, 기간, 표현, 세그먼트별, SRD 위치별, 픽셀별, 타일별로, 예컨대 임의의 시간 또는 공간 입도 등에 따라 시그널링될 수 있다. 이동 속도는 또한 방금 개요가 기술된 바와 같이, 머리 움직임 및/또는 안구 움직임이 구별될 수 있다. 또한, 사용자 움직임 확률에 관한 정보(74)는 고해상도 프리페치, 즉 사용자 뷰포트 외부의 비디오 영역 또는 구형 커버리지에 관한 권고로서 전달될 수 있다.

도 7a - 도 7c는 부분(64) 또는 부분(62)의 크기를 각각 그리고/또는 그 위치를 수정하기 위해 디바이스(40)에 의해 사용되는 방식으로 정보(74)에 관해 설명된 옵션들 중 일부를 간략하게 요약한다. 도 7a에 도시된 옵션에 따르면, 디바이스(40)는 시그널링된 속도(v)와 시간 지속기간(Δt)의 곱에 대응하는 거리만큼 섹션(28)의 둘레를 확대하는데, 이 시간 지속기간은 개별 미디어 세그먼트들(50a)에서 인코딩된 시간 세그먼트들(54)의 시간 길이에 대응하는 시간 기간에 대응할 수 있다. 추가로 그리고/또는 대안으로, 부분(62 및/또는 64)의 위치는 속도가 더 빠를수록, 섹션(28)의 현재 위치 또는 부분(62 및/또는 64)의 현재 위치로부터 정보(74)에 의해 시그널링된 것과 같은, 시그널링된 속도 또는 움직임의 방향으로 더 멀리 배치될 수 있다. 속도 및 방향은 정보(74)에 의한 권장 선호 면적 표시의 최근 전개 또는 변화를 측량하거나 외삽하는 것으로부터 도출될 수 있다. 전방향으로 v×Δt를 적용하는 대신, 속도는 서로 다른 공간 방향들에 대해 서로 다르게 정보(74)에 의해 시그널링될 수 있다. 도 7b에 도시된 대안은 정보(74)가 뷰 섹션(28)의 둘레를 확대시키는 거리를 직접적으로 나타낼 수 있는데, 이 거리는 도 7b에서 파라미터(s)로 표시된다. 다시, 섹션의 방향성 있게 변화하는 확대가 적용될 수 있다. 도 7c는 섹션(28)의 둘레 확대가 면적 증가로, 이를테면 예컨대, 섹션(28)의 원래 면적 대비 확대된 섹션의 면적의 비로 정보(74)에 의해 표시될 수 있음을 보여준다. 어떤 경우든, 도 7a - 도 7c에서 76으로 표시된, 확대 이후 영역(28)의 둘레는 부분(64)이 확대된 섹션(76) 내의 전체 영역을 적어도 그 미리 결정된 양으로 커버하도록 부분(64)의 크기를 설정하거나 치수를 정하는 데 선택기(56)에 의해 사용될 수 있다. 명백하게, 섹션(76)이 클수록, 부분(64) 내에 예컨대, 타일들의 수가 더 많다. 추가 대안에 따르면, 섹션(74)은 이를테면, 부분(64)을 구성하는 타일들의 수의 형태로 직접적으로 부분(64)의 크기를 나타낼 수 있다.

그 섹션이 부분(64)의 크기를 시그널링할 가능성이 도 5에 도시된다. 도 5의 실시예는 도 4의 실시예가 도 6의 실시예에 의해 수정된 것과 동일한 방식으로 수정될 수 있는데, 즉 섹션(62)의 전체 영역이 부분(64)의 품질로 세그먼트들(58)에 의해 서버(20)로부터 페치될 수 있다.

어떤 경우든, 도 5의 맨 마지막에서, 정보(74)는 뷰 섹션(28)의 서로 다른 크기들 간에, 즉 뷰 섹션(28)에 의해 보여지는 서로 다른 시야들 간에 구별한다. 정보(74)는 디바이스(40)가 현재 목표로 하는 뷰 섹션(28)의 크기에 따라 부분(64)의 크기를 간단히 나타낸다. 이는 부분(64)이 도 4, 도 6 및 도 7과 관련하여 논의한 바와 같이 섹션(28)의 어떠한 움직임에도 관계없이 뷰 섹션(28)을 커버하기에 충분하도록, 서버(20)의 서비스가 디바이스(40)와 같은 디바이스가 부분(64)의 크기를 계산하거나 아니면 추측하는 문제에 대처할 필요 없이 서로 다른 시야들 또는 서로 다른 크기들의 뷰 섹션(28)을 갖는 디바이스들에 의해 사용될 수 있게 한다. 도 1의 설명으로부터 명백해질 수 있었던 것처럼, 공간 포지셔닝(30)을 위한 뷰 섹션(28)의 방향과 무관하게, 예컨대 특정 크기의 뷰 섹션(28), 즉 특정 시야를 완전히 커버하기에 충분할 수 있는 일정한 수의 타일들에 관해 평가하는 것이 거의 용이하다. 여기서 정보(74)는 이러한 상황을 완화하고 디바이스(40)는 디바이스(40)에 적용되는 뷰 섹션(28)의 크기에 사용될 부분(64)의 크기의 값을 정보(74) 내에서 간단히 검색할 수 있다. 즉, 도 5의 실시예에 따르면, DASH 클라이언트 또는 이벤트 박스들 또는 SAND 메시지들 같은 일부 대역 내 메커니즘들에 대해 이용 가능해진 미디어 표현 기술은 표현들의 세트들 또는 타일들의 세트들의 구형 커버리지 또는 시야에 관한 정보(74)를 각각 포함할 수 있다. 일례는 도 1에 도시된 바와 같이 M개의 표현들을 갖는 타일링된 제공일 수 있다. 정보(74)는 예컨대, 도 1에 도시된 바와 같이 6×4 타일들로 타일링된 입체 표현 중에서 예컨대, 주어진 최종 디바이스 시야의 커버리지를 위해 다운로드할 (표현들이라 하는) 타일들의 권고되는 수(n <M)를 나타낼 수 있는데, 12개의 타일들이 90°×90° 시야를 커버하기에 충분한 것으로 간주된다. 최종 디바이스 시야가 타일 경계들과 항상 완벽하게 정렬되는 것은 아니기 때문에, 이 권고는 디바이스(40)에 의해 저절로 사소하게 생성될 수 없다. 디바이스(40)는 예컨대, 적어도 N개의 타일들, 즉 N개의 타일들에 관한 미디어 세그먼트들(58)을 다운로드함으로써 정보(74)를 사용할 수 있다. 정보를 이용할 다른 방법은 최종 디바이스의 현재 뷰 중심에 가장 가까운 섹션(62) 내의 N개의 타일들의 품질을 강조하는, 즉 섹션(62)의 부분(64)을 구성하기 위해 N개의 타일들을 사용하는 것일 것이다.

도 8a와 관련하여, 본 출원의 추가 양상에 관한 실시예가 설명된다. 여기서 도 8a는 도 1 - 도 7과 관련하여 앞서 설명한 가능성들 중 임의의 가능성에 따라 서로 통신하는 클라이언트 디바이스(10) 및 서버(20)를 도시한다. 즉, 디바이스(10)는 도 2 - 도 7과 관련하여 설명된 실시예들 중 임의의 실시예에 따라 구현될 수 있거나 도 1과 관련하여 앞서 설명한 방식으로 이러한 특성 없이 단순히 작용할 수 있다. 그러나 바람직하게는, 디바이스(10)는 도 2 - 도 7 또는 이들의 임의의 조합과 관련하여 앞서 설명한 실시예들 중 임의의 실시예에 따라 구현되며, 도 8a와 관련하여 지금 설명되는 동작 모드를 추가로 상속한다. 특히, 디바이스(10)는 도 2 - 도 8과 관련하여 앞서 설명한 바와 같이 내부적으로 해석되는데, 즉 디바이스(40)는 선택기(56), 검색기(60) 및 선택적으로 도출기(66)를 포함한다. 선택기(56)는 불균등한 스트리밍을 목표로 하는 선택, 즉 공간적으로 품질이 변화하는 방식으로 그리고/또는 인코딩되지 않은 부분이 있는 방식으로, 선택되고 검색된 미디어 세그먼트들로 미디어 콘텐츠가 인코딩되는 방식으로 미디어 세그먼트들을 선택하는 것을 수행한다. 그러나 이에 추가하여, 디바이스(40)는 서버(20) 또는 평가 디바이스(82)에 예컨대, 다음과 같이 로깅된 로그 메시지들을 전송하는 로그 메시지 전송기(80)를 포함한다:

제1 부분(64)의 공간 위치 및/또는 움직임을 측정하는 순간 측정 또는 통계 값,

선택된 미디어 세그먼트들로 인코딩되는 한 그리고 뷰 섹션(28)에서 볼 수 있는 한 시간적으로 변화하는 공간 장면의 품질을 측정하는 순간 측정 또는 통계 값, 및/또는

선택된 미디어 세그먼트들로 인코딩되는 한 그리고 뷰 섹션(28)에서 볼 수 있는 한 시간적으로 변화하는 공간 장면(30)의 품질 또는 제1 부분의 품질을 측정하는 순간 측정 또는 통계 값.

동기 부여는 다음과 같다.

앞서 설명한 것처럼, 가장 관심 있는 영역들 또는 속도-확률 쌍들과 같은 통계를 도출할 수 있도록, 사용자들로부터의 보고 메커니즘들이 필요하다. ISO/IEC23009-1의 부록 D에 정의된 것들에 대한 추가 DASH 메트릭들이 필요하다.

하나의 메트릭은 DASH 메트릭인 클라이언트의 FoV일 것이며, 여기서 DASH 클라이언트들은 FoV에 관해 최종 디바이스의 특징들을 메트릭 서버(이는 DASH 서버 또는 다른 서버와 동일할 수 있음)로 다시 전송한다.

하나의 메트릭은 ViewportList일 것이며, 여기서 DASH 클라이언트들은 시간에 따라 각각의 클라이언트가 시청한 뷰포트를 메트릭 서버(이는 DASH 서버 또는 다른 서버와 동일할 수 있음)로 다시 전송한다. 이러한 메시지의 인스턴스화는 다음과 같을 수 있다:

뷰포트(관심 영역) 메시지의 경우, DASH 클라이언트는 뷰포트 변경이 발생할 때마다, 잠재적으로 주어진 입도에 따라(매우 작은 움직임들의 보고를 피하거나 피하지 않고) 또는 주어진 주기성에 따라 보고하도록 요청받을 수 있다. 이러한 메시지는 @reportViewPortPeriodicity 속성 또는 엘리먼트 또는 기술자(descriptor)로서 MPD에 포함될 수 있다. 이는 또한 이를테면, SAND 메시지 또는 임의의 다른 수단으로 대역 외로 표시될 수 있다.

뷰포트는 또한 타일 입도로 시그널링될 수 있다.

추가로 또는 대안으로, 로그 메시지들은 사용자 입력에 대한 응답으로 변화하는 다른 현재 장면 관련 파라미터들, 이를테면 장면 중심으로부터의 현재 사용자 거리 및/또는 현재 뷰 깊이와 같이 도 10과 관련하여 이하에서 논의되는 파라미터들 중 임의의 파라미터 상에서 보고할 수 있다.

다른 메트릭은 ViewportSpeedList인데, 여기서 DASH 클라이언트들은 움직임이 발생할 때 주어진 뷰포트의 이동 속도를 시간으로 나타낸다.

이 메시지는 클라이언트가 뷰포트 이동을 수행하는 경우에만 전송될 것이다. 그러나 서버는 이전 사례와 마찬가지로 움직임이 중요한 경우에만 메시지가 전송되어야 함을 나타낼 수 있다. 이러한 구성은 크기를 픽셀들 또는 각도로 또는 전송될 메시지에 대해 변경했어야 하는 임의의 다른 크기를 시그널링하는 @minViewportDifferenceForReporting과 같은 어떤 것일 수 있다.

위에서 설명한 바와 같이 비대칭 품질이 제공되는 VR-DASH 서비스의 다른 중요한 점은 사용자들이 비대칭 표현 또는 뷰포트에 대한 한 세트의 불균등한 품질/해상도 표현들에서 다른 뷰포트에 보다 적합한 다른 표현 또는 표현 세트로 얼마나 빠르게 전환하는지를 평가하는 것이다. 이러한 메트릭을 통해, 서버들은 QoE에 영향을 미치는 관련 요소들을 이해하는 데 서버들에 도움이 되는 통계를 도출할 수 있다. 이러한 메트릭은 다음과 같다:

대안으로, 이전에 설명한 지속기간이 평균으로 주어질 수 있다:

이러한 모든 메트릭들은 다른 DASH 메트릭들에 대해서와 같이 측정이 수행된 시간을 추가로 가질 수 있다.

어떤 경우들에는, 불균등한 품질의 콘텐츠가 다운로드되고 나쁜 품질(또는 좋은 품질과 나쁜 품질의 혼합)이 (단지 몇 초일 수 있는) 충분히 오랜 시간 동안 도시된다면, 사용자는 만족스럽지 않고 세션을 떠난다. 세션을 떠나는 조건으로, 사용자는 마지막 x 시간 간격에 도시된 품질의 메시지를 전송할 수 있다.

대안으로, 최대 품질 차이 또는 뷰포트의 max_quality 및 min_quality가 보고될 수 있다.

도 8a에 관한 상기 설명으로부터 명백해진 바와 같이, 타일 기반 DASH 스트리밍 서비스 운영자가 (예컨대, 해상도비들, 비트 레이트들 및 세그먼트 지속기간들과 관련하여) 의미 있는 방식으로 자신의 서비스를 설정하고 최적화하기 위해서는, 서비스 운영자가 위에서 예들이 설명된 클라이언트 보고 메커니즘들을 필요로 하는 통계를 도출할 수 있다면 유리하다. 위에서 정의된 것들에 대한 그리고 [A1]의 부록 D에 추가하여 추가 DASH 메트릭들이 이후에 설명된다.

도 1에 도시된 바와 같이 입체 투영을 갖는 비디오를 사용하는 타일 기반 스트리밍 서비스를 가정한다. 클라이언트 측의 재구성이 도 8b에 예시되는데, 여기서 작은 원들(198)은 개별 타일들(50)에 의해 커버된 화상 영역들에 수평 및 수직으로 등각 분포된 클라이언트의 뷰포트(28) 내에서 뷰 방향들의 2차원 분포의 투영들을 나타낸다. 해칭 표시된 타일들은 고해상도 타일들을 나타내며, 따라서 고해상도 부분(64)을 형성하는 한편, 해칭되지 않고 도시된 타일들(50)은 저해상도 타일들을 나타내며, 따라서 저해상도 부분(66)을 형성한다. 다운로드 가능한 세그먼트들(58)로 인코딩된 타일들(50)의 투영 평면들 또는 픽셀 어레이들이 있는 입방체 상의 각각의 타일의 해상도를 결정하는 세그먼트 선택 및 다운로드에 대한 최종 업데이트 이후에 뷰포트(28)가 변경되었기 때문에 사용자에게 부분적으로 저해상도 타일들이 제시된다는 점이 확인될 수 있다.

위의 설명은 다소 일반적으로, 비디오가 뷰포트에서 사용자에게 제시되는 품질을 나타내는 피드백 또는 로그 메시지를 나타냈지만, 다음에는 이와 관련하여 보다 특정하고 유리한 메트릭의 개요가 기술될 것이다. 이제 설명되는 메트릭은 클라이언트 측에서 다시 보고될 수 있으며 유효 뷰포트 해상도로 지칭될 수 있다. 서비스 운영자에게 클라이언트의 뷰포트에서 유효 해상도를 표시하도록 되어 있다. 보고된 유효 뷰포트 해상도들이 사용자에게 단지 저해상도 타일들의 해상도를 향한 해상도만이 제시되었음을 나타내는 경우, 서비스 운영자는 타일링 구성, 해상도비들 또는 세그먼트 길이를 그에 따라 변경하여 더 높은 유효 뷰포트 해상도를 달성할 수 있다.

일 실시예는 세그먼트들(58)로 코딩된 타일들(50)의 픽셀 어레이가 놓이는 투영 평면에서 측정된 뷰포트(28)의 평균 픽셀 카운트일 것이다. 측정은 뷰포트(28)의 커버된 시야(FOV: Field of View)와 관련하여 수평 방향(204)과 수직 방향(206)을 구별하거나 이들에 대해 특정할 수 있다. 다음 표는 개요가 기술된 뷰포트 품질 측정을 시그널링하도록 로그 메시지들에 포함될 수 있는 적합한 구문 및 의미에 대한 가능한 예를 보여준다.

평균 픽셀 카운트에 대한 스칼라 값을 대신 사용하여 수평 및 수직 방향으로의 분해는 제외될 수 있다. 로그 메시지들의 수신 측에 또한 보고될 수도 있는 뷰포트(28)의 구경 또는 크기, 즉 평가기(82)의 표시와 함께, 평균 카운트는 뷰포트 내의 픽셀 밀도를 나타낸다.

메트릭에 대해 고려되는 FoV를 실제로 사용자에게 제시된 뷰포트의 FoV보다 더 작게 감소시킴으로써, 주변 시야에서만 사용되고 그에 따라 주관적인 품질 인식에 영향을 주지 않는 뷰포트의 경계들을 향하는 영역들을 제외하는 것이 유리할 수 있다. 이 대안은 뷰포트(28)의 이러한 중앙 섹션에 놓인 픽셀들을 둘러싸는 파선(202)으로 예시된다. 뷰포트(28)의 전체 FoV와 관련하여 보고된 메트릭에 대해 고려된 FoV(202)의 보고는 또한 로그 메시지 수신 측(82)에 시그널링될 수도 있다. 다음 표는 이전 예의 해당 확장을 보여준다.

추가 실시예에 따르면, 평균 픽셀 밀도는 EffectiveFoVResolutionH/V를 포함하는 예들에 관해 지금까지 설명된 예에서의 경우와 같이 효과적으로 투영 평면에서 공간적으로 균등한 방식으로 품질을 평균함으로써 측정되는 것이 아니라, 픽셀들, 즉 투영 평면에 대해 불균등한 방식으로 이 평균을 가중하는 방식으로 측정된다. 평균은 구형으로 균등한 방식으로 수행될 수 있다. 일례로, 평균은 원들(198)과 같이 분포된 샘플 포인트들에 대해 균등하게 수행될 수 있다. 즉, 국소적인 투영 평면 거리가 증가하고 뷰 포인트와 연결하는 선에 대한 국소적인 기울기의 투영의 사인에 따라 증가하는 2차 방식으로 감소하는 가중치로 국소 밀도들을 가중함으로써 평균이 수행될 수 있다. 메시지는 예컨대, 균등한 구형 샘플링 격자를 사용함으로써 (정방형 도법(Equirectangular Projection)과 같은) 이용 가능한 투영들의 고유한 오버샘플링을 조정하기 위한 선택적(플래그로 제어되는) 단계를 포함할 수 있다. 일부 투영들은 큰 오버샘플링 문제가 없으며 오버샘플링의 계산 제거를 강제하는 것은 불필요한 복잡성 문제들로 이어질 수도 있다. 이것은 정방형 도법으로 제한되지 않아야 한다. 보고는 수평 해상도와 수직 해상도를 구별할 필요는 없지만 이들을 결합할 수 있다. 다음은 일 실시예를 제공한다.

투영 영역에서 열들과 행들로 어레이에 배열된 픽셀들(308)의 픽셀 밀도의 평균을 수행하여, 픽셀 밀도에 대한 국소 가중치를 포인트들(302)의 투영들(198)의 투영 평면 상으로의 국소 밀도에 따라 설정하도록 뷰 포인트(306)에 중심을 둔 구면(304) 상의 등각 수평 및 수직으로 분포된 포인트들(302)이 뷰포트(28) 내에 있는 한, 타일, 여기서는 구체의 투영 평면(308)으로 어떻게 투영되는지를 보여줌으로써 평균에 등각 균등성을 적용하는 것이 도 8e에 예시된다. 상당히 유사한 접근 방식이 도 8f에 도시된다. 여기서 포인트들(302)은 뷰 방향(312)에 수직인 뷰포트 평면에서 등간격으로, 즉 열들 및 행들에 균등하게 수평 및 수직으로 분포되고, 투영 평면(308) 상의 투영은 포인트들(198)을 정의하는데, 이들의 국소 밀도는 (뷰포트(28) 내의 고해상도 및 저해상도 타일들로 인해 변화하는) 국소 밀도 픽셀 밀도(308)가 평균에 기여하는 가중치를 제어한다. 도 8f의 대안은 가장 최근의 표와 같은 상기 예들에서 도 8e에 도시된 것 대신에 사용될 수 있다.

다음에, 도 8a에 예시적으로 도시된 바와 같은 다수의 미디어 버퍼들(300)을 갖는 DASH 클라이언트들(10), 즉 다운로드된 세그먼트들(58)을 하나 이상의 디코더(42)(도 1 참조)에 의한 후속 디코딩으로 전달하는 DASH 클라이언트들(10)과 관련된 추가 종류의 로그 메시지에 대한 실시예가 설명된다. 버퍼들로의 세그먼트들(58)의 분포는 서로 다른 방식들로 이루어질 수 있다. 예를 들어, 360 비디오의 특정 영역들이 서로 별도로 다운로드되거나 별도의 버퍼들로 다운로드한 후 버퍼링되도록 분포가 이루어질 수 있다. 다음의 예들은 도 1에 도시된 바와 같이 #1 내지 #24로 인덱싱된 어떤 타일들(T)(대척점들은 25의 합을 가짐)이 (1이 가장 좋고 M이 최악인) 품질들(#1 내지 #M) 중 어떤 품질(Q)로 개별적으로 다운로드 가능한 어떤 표현(R #1 내지 #P)으로 인코딩되는지 그리고 이러한 P개의 표현들(R)이 (선택적인) MPD에서 #1 내지 #S로 인덱싱된 적응 세트들(A)로 어떻게 그룹화될 수 있는지 그리고 P개의 표현들(R)의 세그먼트들(58)이 #1 내지 #N으로 인덱싱된 버퍼들(B)의 버퍼에 어떻게 분배될 수 있는지를 나타냄으로써 서로 다른 분포들을 예시한다:

여기서 표현들은 서버에서 제공되고 다운로드를 위해 MPD에서 통보될 것이며, 이들 각각은 하나의 타일(50), 즉 장면의 하나의 섹션에 관련된다. 하나의 타일(50)에 관련되지만 서로 다른 품질들로 이 타일(50)을 인코딩하는 표현들은 그룹화가 선택적인 적응 세트로 요약될 수 것이지만, 정확하게 이 그룹은 버퍼에 대한 연관에 사용된다. 따라서 이 예에 따르면, 타일(50)마다, 또는 다시 말해서 뷰포트(뷰 섹션) 인코딩마다 하나의 버퍼가 존재할 것이다.

다른 표현 세트 및 분포는 다음과 같을 것이다:

이 예에 따르면, 각각의 표현은 전체 영역을 커버할 것이지만, 고품질 영역은 하나의 반구에 초점을 맞추는 한편, 보다 낮은 품질은 다른 반구에 사용된다. 이런 식으로 소비되는 정확한 품질들만이 서로 다른, 즉 더 높은 품질의 반구의 위치가 동등한 표현들이 하나의 적응 세트로 수집될 것이며, 이 특징에 따라 여기서는 예시적으로 6개인 버퍼들로 분산된다.

따라서 다음의 설명은 서로 다른 뷰포트 인코딩들, AdaptationSets 등과 연관된 비디오 하위 영역, 이를테면 타일들 등에 따른 버퍼들로의 그러한 분포가 적용된다고 가정한다. 도 8c는 마지막이지만, 최소 테이블로 예시된 바와 같이, 타일 기반 스트리밍 시나리오에서 2개의 개별 버퍼들, 예컨대 타일 1 및 타일 2에 대한 시간에 따른 버퍼 충만도 레벨들을 예시한다. 클라이언트가 자신의 모든 버퍼들의 충만도 레벨을 보고할 수 있는 것은, 서비스 운영자가 데이터를 다른 스트리밍 파라미터들과 상관시켜 자신의 서비스 설정의 체감 품질(QoE: Quality of Experience) 영향을 이해할 수 있는 것을 가능하게 한다.

그로부터의 이점은 클라이언트 측의 다수의 미디어 버퍼들의 버퍼 충만도가 메트릭에 의해 보고될 수 있고 버퍼의 타입으로 식별되고 연관될 수 있다는 점이다. 연관 타입들은 예를 들어, 다음과 같다:

타일

뷰포트

영역

AdaptationSet

표현

전체 콘텐츠의 저품질 버전

본 발명의 일 실시예는 식별 및 연관을 갖는 각각의 버퍼에 대한 버퍼 레벨 상태 이벤트들을 보고하기 위한 메트릭을 정의하는 표 1로 주어진다.

키					타입	설명
ComponentBufferLevels					리스트	컴포넌트 버퍼들의 리스트
	항목				객체	단일 컴포넌트 BufferLevel에 대한 항목
		bufferId			정수	컴포넌트 BufferLevel의 식별자
		componentType			정수	컴포넌트 BufferLevel의 컴포넌트 식별자
		BufferLevel			리스트	정상 속도로 재생하는 동안 컴포넌트 버퍼 점유 레벨 측정들의 리스트.
			항목		객체	하나의 컴포넌트 버퍼 레벨 측정.
				t	실시간	버퍼 레벨의 측정 시간.
				레벨		정수	밀리초 단위의 버퍼 레벨 현재 재생 시간에서부터 시작하여 모든 활성 미디어 컴포넌트들의 미디어 데이터가 이용 가능한 재생 지속기간을 나타낸다.

표 1: 버퍼 레벨들의 리스트

뷰포트 의존 인코딩들을 사용하는 추가 실시예는 다음과 같다:

뷰포트 의존 스트리밍 시나리오에서, DASH 클라이언트는 특정 보기 배향(뷰포트)과 관련된 여러 미디어 세그먼트들을 다운로드하고 사전 버퍼링한다. 사전 버퍼링된 콘텐츠의 양이 너무 많고 클라이언트가 자신의 보기 배향을 변경한다면, 뷰포트 변경 후에 재생될 사전 버퍼링된 콘텐츠의 일부가 제시되지 않고 각각의 미디어 버퍼가 제거된다. 이 시나리오는 도 8d에 도시된다.

다른 실시예는 동일한 콘텐츠의 다중 표현(품질/비트 레이트들) 및 아마도 비디오 콘텐츠가 인코딩되는 공간적으로 균등한 품질을 갖는 종래의 비디오 스트리밍 시나리오에 관한 것일 것이다.

그러면, 배포는 다음과 같이 보일 수 있다:

R	T	Q	T	Q	T	Q	T	Q	T	Q	T	Q	A	버퍼
1	1 2 3 4	1 1 1 1	5 6 7 8	1 1 1 1	9 10 11 12	1 1 1 1	13 14 15 16	1 1 1 1	17 18 19 20	1 1 1 1	21 22 23 24	1 1 1 1	1	1
2	1 2 3 4	2 2 2 2	5 6 7 8	2 2 2 2	9 10 11 12	2 2 2 2	13 14 15 16	2 2 2 2	17 18 19 20	2 2 2 2	21 22 23 24	2 2 2 2	1	2
3	1 2 3 4	3 3 3 3	5 6 7 8	3 3 3 3	9 10 11 12	3 3 3 3	13 14 15 16	3 3 3 3	17 18 19 20	3 3 3 3	21 22 23 24	3 3 3 3	1	3
…

즉, 여기서 각각의 표현은 예컨대, 파노라마 360 장면이 아닌, 서로 다른 품질, 즉 공간적으로 균등한 품질일 수 있는 전체 장면을 커버할 것이며, 이러한 표현들은 버퍼들에 개별적으로 분배될 것이다. 마지막 3개의 표들에 제시된 모든 예들은 서버에서 제공되는 표현들의 세그먼트들(58)이 버퍼들에 분배되는 방식을 제한하지 않는 것으로 취급되어야 한다. 서로 다른 방식들이 존재하며, 규칙은 표현들에 대한 세그먼트들(58)의 멤버십, 적응 세트들에 대한 세그먼트들(58)의 멤버십, 각각의 세그먼트가 속하는 표현들로의 장면의 공간적으로 불균등한 코딩의 국소적으로 향상된 품질의 방향, 장면이 각각의 세그먼트로 인코딩되는 품질 등을 기반으로 할 수 있다.

클라이언트는 표현마다 버퍼를 유지할 수 있으며, 이용 가능한 스루풋의 증가 경험시, 재생 전에 나머지 저품질/비트 레이트 미디어 버퍼를 제거하고 이미 존재하는 저품질/비트 레이트 버퍼 내에서 시간 지속기간들의 고품질 미디어 세그먼트들을 다운로드하기로 결정할 수 있다. 타일들 및 뷰포트 의존 인코딩들에 기초한 스트리밍을 위해 유사한 실시예들이 구성될 수 있다.

서비스 운영자는 어떤 양의 그리고 어떤 데이터가 제시되지 않고 다운로드되었는지를 이해하는 데 관심이 있을 수 있는데, 이는 서버 측에서 이득 없이 비용을 가져오고 클라이언트 측에서는 품질을 떨어뜨리기 때문이다. 따라서 본 발명은 쉽게 해석될 2개의 이벤트들인 '미디어 다운로드'와 '미디어 표현'을 상관시키는 보고 메트릭을 제공하는 것이다. 본 발명은 각각의 그리고 모든 미디어 세그먼트 다운로드 및 재생 상태에 대해 자세하게 보고된 정보가 분석되는 것을 피하고 제거 이벤트들의 효율적인 보고만을 허용한다. 본 발명은 또한 버퍼의 식별 및 상기와 같은 타입에 대한 연관을 포함한다. 본 발명의 일 실시예가 표 2에 주어진다.

표 3: 제거 이벤트들의 리스트

키			타입	설명
ComponentBufferPurging			리스트	컴포넌트 버퍼 제거 측정들의 리스트
	항목		객체	하나의 컴포넌트 버퍼 제거 측정
		bufferId	정수	컴포넌트 BufferLevel의 식별자
		componentType	정수	컴포넌트 BufferLevel의 컴포넌트 식별자
		T	실시간	컴포넌트 버퍼 제거의 측정 시간.
		D	정수	밀리초 단위의 컴포넌트 버퍼 제거 지속기간의 측정

도 9는 디바이스(40)를 어떻게 유리하게 구현할지의 추가 실시예를 도시하는데, 도 9의 디바이스(40)는 도 1 - 도 8에 관해 앞서 제시된 예들 중 임의의 예에 대응할 수 있다. 즉, 이는 도 8a와 관련하여 앞서 논의한 바와 같이, 가능하게는 잠금 메신저(lock messenger)를 포함할 수 있지만, 도 2 및 도 3과 관련하여 앞서 논의한 바와 같은 정보(68) 또는 도 5 - 도 7c와 관련하여 앞서 논의한 바와 같은 정보(74)를 사용할 수 있지만 이들을 갖지는 않는다. 그러나 도 2 - 도 8의 설명과 달리, 도 9와 관련하여, 타일 기반 스트리밍 접근 방식이 실제로 적용된다고 가정된다. 즉, 장면 콘텐츠(30)가 도 2 - 도 8과 관련하여 상기 옵션으로서 논의된 타일 기반 방식으로 서버(20)에서 제공된다.

디바이스(40)의 내부 구조는 도 9에 도시된 것과 상이할 수 있지만, 디바이스(40)는 도 2 - 도 8에 관련하여 이미 앞서 논의한 선택기(56) 및 검색기(60), 그리고 선택적으로 도출기(66)를 포함하는 것으로 예시적으로 도시된다. 그러나 추가로, 디바이스(40)는 미디어 표현 기술 분석기(90) 및 매칭기(matcher)(92)를 포함한다. MPD 분석기(90)는 서버(20)로부터 획득된 미디어 표현 기술로부터: 시간적으로 변화하는 공간 장면(30)이 타일 기반 스트리밍을 위해 제공되는 적어도 하나의 버전을 그리고 적어도 하나의 버전 각각에 대해, 시간적으로 변화하는 공간 장면의 각각의 버전을 타일 기반 스트리밍으로부터 이익을 얻기 위한 이익 요건들의 표시로 도출하기 위한 것이다. "버전"의 의미는 다음 설명으로부터 명확해질 것이다. 특히, 매칭기(92)는 이와 같이 얻어진 이익 요건들을 디바이스(40) 또는 디바이스(40)와 상호 작용하는 다른 디바이스의 디바이스 성능, 이를테면 하나 이상의 디코더들(42)의 디코딩 성능, 디코더들(42)의 수 등과 매칭시킨다. 도 9의 개념을 뒷받침하는 배경 또는 사상은 다음과 같다. 예를 들어, 타일 기반 접근 방식은 특정 크기의 뷰 섹션(28)을 가정하면, 섹션(62)에 포함되는 특정 개수의 타일들을 필요로 한다고 가정한다. 또한, 특정 타일에 속하는 미디어 세그먼트들이 다른 타일에 속하는 미디어 세그먼트들을 디코딩하는 것과는 별개로 개별 디코딩 인스턴스화에 의해 디코딩될 하나의 미디어 스트림 또는 비디오 스트림을 형성하는 것으로 가정될 수 있다. 이에 따라, 대응하는 미디어 세그먼트들이 선택기(56)에 의해 선택되는 섹션(62) 내의 특정 수의 타일들의 이동 집성은 특정한 디코딩 성능, 이를테면 예를 들어, 대응하는 수의 디코딩 인스턴스화들, 즉 대응하는 수의 디코더들(42)의 형태로 각각의 디코딩 자원들의 존재를 필요로 한다. 그러한 수의 디코더들이 존재하지 않는다면, 서버(20)에 의해 제공되는 서비스는 클라이언트에 유용하지 않을 수 있다. 이에 따라, 서버(20)에 의해 제공되는 MPD는 "이익 요건", 즉 제공된 서비스를 사용하는 데 필요한 디코더들의 수를 나타낼 수 있다. 그러나 서버(20)는 서로 다른 버전들에 대해 MPD를 제공할 수 있다. 즉, 서로 다른 버전들에 대한 서로 다른 MPD들이 서버(20)에 의해 이용 가능할 수 있거나 서버(20)에 의해 제공되는 MPD들이 서비스가 사용될 수 있는 서로 다른 버전들을 구별하도록 내부적으로 구조화될 수 있다. 예컨대, 버전들은 시야, 즉 뷰 섹션(28)의 크기가 서로 다를 수 있다. 시야의 차이 크기들은 섹션(62) 내의 서로 다른 수의 타일들에서 이들 자체를 나타내며, 따라서 예컨대, 이러한 버전들에 서로 다른 수의 디코더들이 필요할 수 있다는 점에서 이익 요건들이 서로 다를 수 있다. 다른 예들도 역시 상상할 수 있다. 예를 들어, 시야가 서로 다른 버전들은 동일한 복수의 미디어 세그먼트들(46)을 수반할 수 있지만, 다른 예에 따르면, 서버(20)에서 타일 스트리밍을 위해 장면(30)이 제공되는 서로 다른 버전들은 대응하는 버전에 따라 수반되는 복수(46)의 미디어 세그먼트들도 서로 다를 수 있다. 예를 들어, 하나의 버전에 따른 타일 분할은 다른 버전에 따른 장면의 타일 분할과 비교할 때 더 개략적이며, 이로써 예컨대, 더 적은 수의 디코더들을 필요로 한다.

매칭기(92)는 이익 요건들을 매칭시키며, 따라서 대응하는 버전을 선택하거나 모든 버전들을 완전히 거부한다.

그러나 이익 요건들은 추가로, 하나 이상의 디코더들(42)이 대처할 수 있는 프로파일들/레벨들에 관련될 수 있다. 예를 들어 DASH MPD는 프로파일들을 표시할 수 있게 하는 여러 위치들을 포함한다. 일반적인 프로파일들은 각각의 표현에 대해 제공되는 스트림들의 비디오 또는 오디오 프로파일들뿐만 아니라 속성들, MPD에 존재할 수 있는 엘리먼트들을 기술한다.

이익 요건들에 대한 추가 예들은 예를 들어, 장면을 가로질러 뷰포트(28)를 이동시키는 클라이언트 측의 성능에 관한 것이다. 이익 요건들은 제공된 장면 콘텐츠를 실제로 즐길 수 있도록 사용자가 뷰포트를 이동시키기 위해 이용 가능해야 하는 필수 뷰포트 속도를 나타낼 수 있다. 매칭기는 예컨대, HMD(26)와 같은, 예를 들어 플러그-인된 사용자 입력 디바이스가 이 요건을 충족시키는지 여부를 확인할 것이다. 대안으로, 뷰포트를 이동시키기 위한 서로 다른 타입들의 입력 디바이스가 배향 의미에서 일반적인 이동 속도들과 연관된다고 가정하여, 한 세트의 "충분한 타입들의 입력 디바이스들"이 이익 요건들로 표시될 수 있다.

구형 비디오의 타일링된 스트리밍 서비스에서는, 동적으로 설정될 수 있는 구성 파라미터들, 예컨대 품질들이 수, 타일들의 수가 너무 많다. 타일들이 개별 디코더들에 의해 디코딩될 필요가 있는 독립적인 비트 스트림들인 경우, 타일들의 수가 너무 많다면, 적은 디코더들을 갖는 하드웨어 디바이스들이 모든 비트 스트림들을 동시에 디코딩하는 것이 불가능할 수도 있다. 가능성은, 이를 자유도로 남겨두고 DASH 디바이스가 모든 가능한 표현들을 파싱하고 모든 표현들을 디코딩하는 데 얼마나 많은 디코더들이 필요한지를 그리고 디바이스들의 FoV를 커버하는 주어진 수를 카운트하고, 이에 따라 해당 DASH 클라이언트가 콘텐츠를 소비할 수 있을지 여부를 도출하는 것이다. 그러나 상호 운용성 및 성능 협상들을 위한 보다 현명한 솔루션은 프로파일이 지원된다면, 제공되는 VR 콘텐츠가 소비될 수 있다는 클라이언트에 대한 약속으로서 사용되는 프로파일의 종류에 매핑되는 MPD에서 시그널링을 사용하는 것이다. 이러한 시그널링은 urn::dash-mpeg::vr::2016과 같은 URN의 형태로 이루어져야 하는데, 이는 MPD 레벨로 또는 적응 세트들로 압축될 수 있다. 이러한 프로파일링은 X 프로파일의 N개의 디코더들이 콘텐츠를 소비하기에 충분하다는 것을 의미할 것이다. 프로파일들에 따라, DASH 클라이언트는 MPD 또는 MPD(적응 세트)의 일부를 무시 또는 수락할 수 있다. 또한, Xlink 또는 MPD 체인화와 같은 모든 정보를 포함하지는 않는 여러 메커니즘들이 있는데, 여기서는 선택을 위한 시그널링이 거의 이용 가능하지 않게 된다. 이러한 상황에서, DASH 클라이언트는 자신이 콘텐츠를 소비할 수 있는지 여부를 도출할 수 없을 것이다. DASH 클라이언트가 Xlink 또는 MPD 체인화 또는 이와 유사한 메커니즘을 수행하든 아니든, 이제 이해할 수 있도록, 이러한 urn(또는 이와 유사한 어떤 것)에 의해 디코더들의 수 및 각각의 디코더의 프로파일/레벨의 관점에서 디코딩 성능들을 노출하는 것이 요구된다. 시그널링은 또한 X 프로파일/레벨을 갖는 N개의 디코더들 또는 Y 프로파일/레벨을 갖는 Z 디코더들과 같은 서로 다른 동작 포인트들을 의미할 수 있다.

도 10은 시간적으로 변화하는 공간 장면이 시간에 따라 달라질 뿐만 아니라 다른 파라미터에 따라서도 달라지는 범위로 제공된 서비스가 확장되는 범위까지 클라이언트, 디바이스(40), 서버 등에 대해 도 1 - 도 9와 관련하여 제시된 앞서 설명한 실시예들 및 설명들 중 임의의 것이 확장될 수 있음을 추가로 예시한다. 도 10은 예컨대, 도 1의 변형을 예시하는데, 여기서는 서버 상에서 야기되는 이용 가능한 복수의 미디어 세그먼트들이 뷰 중심(100)의 서로 다른 위치들에 대한 장면 콘텐츠(30)를 기술한다. 도 10에 도시된 개략도에서, 장면 중심은 단지 하나의 방향(X)을 따라 변하는 것으로 도시되어 있지만, 뷰 중심은 하나보다 많은 공간 방향을 따라, 이를테면 2차원 또는 3차원으로 변할 수 있음이 명백하다. 이는 예를 들어, 특정 가상 환경에서 사용자 위치에 있는 사용자의 변경에 해당한다. 가상 환경에서의 사용자 위치에 따라, 그 이용 가능한 뷰가 변경되고 이에 따라, 장면(30)이 변경된다. 이에 따라, 서로 다른 품질들뿐만 아니라 타일들 및 시간 세그먼트들로 세분된 장면(30)을 기술하는 미디어 세그먼트들에 추가하여, 추가 미디어 세그먼트들은 장면 중심(100)의 서로 다른 위치에 대한 장면(30)의 서로 다른 콘텐츠를 기술한다. 디바이스(40) 또는 선택기(56)는 각각 뷰 섹션 위치 및 파라미터(X)와 같은 적어도 하나의 파라미터에 따라, 복수(46)의 미디어 세그먼트들 중에서 선택 프로세스 내에서 검색될 미디어 세그먼트들의 어드레스들을 계산할 것이고, 이러한 미디어 세그먼트들은 다음에, 계산된 어드레스들을 사용하여 서버로부터 검색될 것이다. 이를 위해, 미디어 표현 기술은 타일 인덱스, 품질 인덱스, 장면 중심 위치뿐만 아니라 시간(t)에 따른 기능을 기술할 수 있으며, 각각의 미디어 세그먼트의 대응하는 어드레스를 야기한다. 따라서 도 10의 실시예에 따르면, 미디어 표현 기술은 도 1 - 도 9와 관련하여 앞서 제시된 파라미터들에 추가하여, 하나 이상의 추가 파라미터들에 의존하는 그러한 계산 규칙을 포함할 것이다. 파라미터(X)는 각각의 장면 표현들이 서버(20) 내의 복수(46) 내의 대응하는 미디어 세그먼트들에 의해 코딩되는 레벨들 중 임의의 하나로 양자화될 수 있다.

대안으로서, X는 뷰 깊이, 즉 방사상으로 장면 중심(100)으로부터의 거리를 정의하는 파라미터일 수 있다. 뷰 중심 부분(X)이 서로 다른 여러 버전들로 장면을 제공하는 것은 사용자가 장면을 통해 "걷는" 것을 가능하게 하는 한편, 뷰 깊이가 서로 다른 여러 버전들로 장면을 제공하는 것은 사용자가 장면을 통해 앞뒤로 "반경 방향으로 줌"하는 것을 가능하게 할 것이다.

따라서 다수의 비동심 뷰포트들의 경우, MPD는 현재 뷰포트의 위치에 대한 추가 시그널링을 사용할 수 있다. 시그널링은 세그먼트, 표현 또는 기간 레벨 등으로 이루어질 수 있다.

비동심 구체들: 사용자가 이동하기 위해서는 여러 구체들의 공간 관계가 MPD로 시그널링되어야 한다. 이것은 구 직경과 관련하여 임의의 단위로 좌표들(x, y, z)을 통해 이루어질 수 있다. 또한, 각각의 구체에 대해 구의 직경이 표시되어야 한다. 구체는 그 중심에 있는 사용자와 콘텐츠가 괜찮을 추가 공간의 합에 사용하기에 "충분히 양호"할 수 있다. 사용자가 그 시그널링된 직경을 넘어 이동한다면, 콘텐츠를 보여주기 위해 다른 구체가 사용되어야 한다.

뷰포트의 예시적인 시그널링은 공간 내의 미리 정의된 중심 포인트에 대해 이루어질 수 있다. 각각의 뷰포트는 해당 중심 포인트에 대해 시그널링된다. MPEG-DASH에서, 이는 예컨대, AdaptationSet 엘리먼트에서 시그널링될 수 있다.

엘리먼트 또는 속성명		용도	설명
	AdaptationSet		적응 세트 설명
	ViewPortPosition	0…1	Viewportcenter까지의 상대 거리를 기술한다.

레전드: 속성들에 대해: M=필수, O=선택적, OD=디폴트 값으로 선택적, CM=조건부 필수, F=고정. 엘리먼트들에 대해: <minOccurs>...<maxOccurs> (N=무제한) 조건들은 xlink:href를 사용하지 않고서만 유지된다는 점에 주목한다. 링크가 사용된다면, 모든 속성들은 "선택적"이고 <minOccurs=0>이다 엘리먼트들은 굵게 표시되고; 속성들은 굵게 표시되지 않으며 앞에 @가 붙고, 엘리먼트들과 속성들의 리스트는 *기울임꼴로 굵게 표시되어* 이러한 타입으로 확장된 기본 타입에서 가져온 것들을 참조한다.
엘리먼트 또는 속성명		용도	설명
	ViewPortPosition		뷰포트 위치 설명
	@viewport_x	M	x = 0, y = 0, z = 0의 좌표를 갖는 전역 중심까지의 수평 거리를 나타내는 구 중심 포인트의 거리.
	@viewport_y	M	x = 0, y = 0, z = 0의 좌표를 갖는 전역 중심까지의 수직 거리를 나타내는 구 중심 포인트의 거리.
	@viewport_z	M	x = 0, y = 0, z = 0의 좌표를 갖는 전역 중심까지의 깊이(z) 거리를 나타내는 구 중심 포인트의 거리.
	@viewport_diameter	M	구체의 직경
레전드: 속성들에 대해: M=필수, O=선택적, OD=디폴트 값으로 선택적, CM=조건부 필수, F=고정. 엘리먼트들에 대해: <minOccurs>...<maxOccurs> (N=무제한) 조건들은 xlink:href를 사용하지 않고서만 유지된다는 점에 주목한다. 링크가 사용된다면, 모든 속성들은 "선택적"이고 <minOccurs=0>이다 엘리먼트들은 굵게 표시되고; 속성들은 굵게 표시되지 않으며 앞에 @가 붙고, 엘리먼트들과 속성들의 리스트는 *기울임꼴로 굵게 표시되어* 이러한 타입으로 확장된 기본 타입에서 가져온 것들을 참조한다.

마지막으로, 도 11은 비디오(112)가 인코딩되는 비디오 비트 스트림(110)에 참조 번호(74)와 관련하여 앞서 설명한 것과 같은 또는 그와 유사한 정보가 상주할 수 있음을 예시한다. 이러한 비디오(110)를 디코딩하는 디코더(114)는 비디오(110)를 디코딩하기 위한 디코딩 파워가 집중되어야 하는, 비디오(112) 내의 집중 영역(116)의 크기를 결정하기 위해 정보(74)를 사용할 수 있다. 정보(74)는 예컨대, 비디오 비트 스트림(110)의 SEI 메시지 내에서 전달될 수 있다. 예를 들어, 집중 영역은 독점적으로 디코딩될 수 있거나, 디코더(114)가 예를 들어, 좌측 상부 화상 코너 대신에, 집중 영역에서 비디오의 각각의 화상을 디코딩하기 시작하도록 구성될 수 있고, 그리고/또는 디코더(114)가 집중 영역(116)을 디코딩했을 때 비디오의 각각의 화상의 디코딩을 중단할 수 있다. 추가로 또는 대안으로, 정보(74)는 후속하는 렌더러 또는 뷰포트 제어 또는 클라이언트의 스트리밍 장치 또는 어떤 공간 섹션을 완전히 또는 증가된 또는 미리 결정된 품질로 커버하기 위해 어떤 세그먼트들을 다운로드 또는 스트리밍할지를 결정하기 위한 세그먼트 선택기에 전달되도록 데이터 스트림에 단순히 존재할 수 있다. 정보(74)는 예를 들어, 위에 개요가 기술된 바와 같이, 이 영역과 일치하는 또는 이를 커버하거나 추적하도록 뷰 섹션(62) 또는 섹션(66)을 배치하기 위한 권고로서 권장 선호 면적을 나타낸다. 이는 클라이언트의 세그먼트 선택기에 의해 사용될 수 있다. 도 4 - 도 7c에 대한 설명과 관련하여 사실인 것처럼, 정보(74)는 절대적으로 영역(116)의 치수를 이를테면, 타일들의 수로 설정할 수 있고, 또는 비디오의 관심 콘텐츠를 시공간적으로 따르도록, 영역이 이동되는 영역(116)의 속도를 예를 들어, 사용자 입력 등에 따라 설정함으로써, 속도의 표시가 증가함에 따라 증가하도록 영역(116)을 스케일링할 수 있다.

일부 양상들은 장치와 관련하여 설명되었지만, 이러한 양상들은 또한 대응하는 방법의 설명을 나타내며, 여기서 블록 또는 디바이스는 방법 단계 또는 방법 단계의 특징에 대응한다는 점이 명백하다. 비슷하게, 방법 단계와 관련하여 설명한 양상들은 또한 대응하는 장치의 대응하는 블록 또는 항목 또는 특징의 설명을 나타낸다. 방법 단계들의 일부 또는 전부가 예를 들어, 마이크로프로세서, 프로그래밍 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 사용하여) 실행될 수도 있다. 일부 실시예들에서, 가장 중요한 방법 단계들 중 하나 또는 그보다 많은 단계가 이러한 장치에 의해 실행될 수도 있다.

스트리밍된 신호, MPD 또는 언급한 신호들 중 임의의 다른 신호와 같은 위에서 발생하는 신호들은 디지털 저장 매체 상에 저장될 수 있고 또는 송신 매체, 예컨대 무선 송신 매체 또는 유선 송신 매체, 예컨대 인터넷을 통해 송신될 수 있다.

특정 구현 요건들에 따라, 본 발명의 실시예들은 하드웨어로 또는 소프트웨어로 구현될 수 있다. 구현은 각각의 방법이 수행되도록 프로그래밍 가능 컴퓨터 시스템과 협력하는(또는 협력할 수 있는) 전자적으로 판독 가능 제어 신호들이 저장된 디지털 저장 매체, 예를 들어 플로피 디스크, DVD, 블루레이, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리를 사용하여 수행될 수 있다. 따라서 디지털 저장 매체는 컴퓨터 판독 가능할 수도 있다.

본 발명에 따른 일부 실시예들은 본 명세서에서 설명한 방법들 중 하나가 수행되도록, 프로그래밍 가능 컴퓨터 시스템과 협력할 수 있는 전자적으로 판독 가능 제어 신호들을 갖는 데이터 반송파를 포함한다.

일반적으로, 본 발명의 실시예들은 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때, 방법들 중 하나를 수행하기 위해 작동하는 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 프로그램 코드는 예를 들어, 기계 판독 가능 반송파 상에 저장될 수 있다.

다른 실시예들은 기계 판독 가능 반송파 상에 저장된, 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.

즉, 본 발명의 방법의 한 실시예는 이에 따라, 컴퓨터 상에서 컴퓨터 프로그램이 실행될 때 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.

따라서 본 발명의 방법들의 추가 실시예는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함하여 그 위에 기록된 데이터 반송파(또는 디지털 저장 매체, 또는 컴퓨터 판독 가능 매체)이다. 데이터 반송파, 디지털 저장 매체 또는 레코딩된 매체는 통상적으로 유형적이고 그리고/또는 비-일시적이다.

따라서 본 발명의 방법의 추가 실시예는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 신호들의 데이터 스트림 또는 시퀀스이다. 신호들의 데이터 스트림 또는 시퀀스는 예를 들어, 데이터 통신 접속을 통해, 예를 들어 인터넷을 통해 전송되도록 구성될 수 있다.

추가 실시예는 처리 수단, 예를 들어 본 명세서에서 설명한 방법들 중 하나를 수행하도록 구성 또는 적응된 컴퓨터 또는 프로그래밍 가능 로직 디바이스를 포함한다.

추가 실시예는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.

본 발명에 따른 추가 실시예는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 수신기에(예를 들어, 전자적으로 또는 광학적으로) 전송하도록 구성된 장치 또는 시스템을 포함한다. 수신기는 예를 들어, 컴퓨터, 모바일 디바이스, 메모리 디바이스 등일 수도 있다. 장치 또는 시스템은 예를 들어, 컴퓨터 프로그램을 수신기에 전송하기 위한 파일 서버를 포함할 수도 있다.

일부 실시예들에서, 프로그래밍 가능 로직 디바이스(예를 들어, 필드 프로그래밍 가능 게이트 어레이)는 본 명세서에서 설명한 방법들의 기능들 중 일부 또는 전부를 수행하는 데 사용될 수 있다. 일부 실시예들에서, 필드 프로그래밍 가능 게이트 어레이는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위해 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법들은 바람직하게 임의의 하드웨어 장치에 의해 수행된다.

본 명세서에서 설명한 장치는 하드웨어 장치를 사용하여, 또는 컴퓨터를 사용하여, 또는 하드웨어 장치와 컴퓨터의 결합을 사용하여 구현될 수도 있다.

본 명세서에서 설명된 장치 또는 본 명세서에서 설명된 장치의 임의의 컴포넌트들은 적어도 부분적으로는 하드웨어로 그리고/또는 소프트웨어로 구현될 수 있다.

본 명세서에서 설명한 방법들은 하드웨어 장치를 사용하여, 또는 컴퓨터를 사용하여, 또는 하드웨어 장치와 컴퓨터의 결합을 사용하여 수행될 수도 있다.

본 명세서에서 설명한 방법들 또는 본 명세서에서 설명한 장치의 임의의 컴포넌트들은 적어도 부분적으로는 하드웨어에 의해 그리고/또는 소프트웨어에 의해 수행될 수 있다.

앞서 설명한 실시예들은 단지 본 발명의 원리들에 대한 예시일 뿐이다. 본 명세서에서 설명한 배열들 및 세부사항들의 수정들 및 변형들이 다른 당업자들에게 명백할 것이라고 이해된다. 따라서 이는 본 명세서의 실시예들의 묘사 및 설명에 의해 제시된 특정 세부사항들로가 아닌, 첨부된 특허청구범위로만 한정되는 것을 취지로 한다.

참조들

[A1] ISO/IEC 23009-1:2014, Information technology -- Dynamic adaptive streaming over HTTP (DASH) -- Part 1: Media presentation description and segment formats

Claims

비디오가 공간 장면을 보여주며, 또한 입체 투영을 사용하여 상기 공간 장면이 상기 비디오의 화상들 상에 매핑되도록 하는 방식으로, 비디오를 비디오 비트 스트림으로 인코딩하기 위한 인코더로서,
상기 인코더는 마이크로프로세서 또는 전자 회로를 포함하고,
상기 마이크로 프로세서 또는 상기 전자 회로는
상기 비디오의 권장 뷰 섹션 영역의 크기 및 위치의 신호화와 함께 상기 비디오 비트 스트림의 SEI 메시지를 제공하도록 구성 또는 컴퓨터 프로그래밍되고,
상기 권장 뷰 섹션 영역은 상기 공간 장면에서 부터 뷰포트 섹션(view port section)을 형성하고, 또한,
상기 인코더는 상기 신호화의 시간 지속성의 표시와 함께 사용자 행동의 통계를 통해서 획득된 빈도 랭킹에 따라 랭킹되는 방식으로 상기 신호화가 상기 크기 및 위치를 여러번 나타내도록하여 상기 신호화를 제공하도록 구성되고,
상기 비디오 비트 스트림은 내부에 인코딩된 전방향성 또는 구면 비디오를 포함하고, 또한,
상기 인코더는 상기 비디오 비트 스트림의 상기 SEI 메시지를 상기 권장 뷰 섹션 영역의 뷰포트를 시공간적으로 따르도록 하는 권고로서 상기 비디오의 상기 권장 뷰 섹션 영역의 상기 크기 및 상기 위치의 신호화와 함께 제공하도록 구성되는
인코더.
제1항에 있어서,
뷰 섹션의 움직임을 제어하기 위한 서로 다른 방법들 사이에서 구별화시키는 방식으로 상기 신호화가 상기 크기 및 상기 위치를 나타내는 방식으로 상기 신호화를 제공하도록 구성되는,
인코더.
제1항에 있어서,
머리 움직임에 의해 적어도 두 뷰 섹션 제어 사이에서 구별화시키는 방식으로 상기 신호화가 상기 크기 및 상기 위치를 나타내는 방식으로 상기 신호화를 제공하도록 구성되는,
인코더.
삭제
삭제
인코딩된 비디오를 포함하는 비디오 비트 스트림을 디코딩하기 위한 디코더로서,
상기 비디오 비트 스트림은 공간 장면을 보여주며 또한 상기 비디오 비트 스트림은 입체 투영을 사용하여 상기 공간 장면이 상기 비디오의 화상들 상에 매핑되도록 하는 방식으로 인코딩된 비디오를 포함하고,
상기 디코더는 마이크로프로세서 또는 전자 회로를 포함하고,
상기 마이크로 프로세서 또는 상기 전자 회로는 상기 비디오 비트 스트림의 SEI 메시지로 부터 상기 비디오의 권장 뷰 섹션 영역의 크기 및 위치의 신호화를 도출하도록 구성 또는 컴퓨터 프로그래밍되고,
상기 권장 뷰 섹션 영역은 상기 공간 장면으로 부터 뷰포트 섹션을 형성하며, 또한,
상기 신호화는 상기 신호화의 시간 지속성의 표시와 함께 사용자 행동의 통계를 통해서 획득된 빈도 랭킹에 따라 랭킹되는 방식으로 상기 크기 및 위치를 여러번 나타내며,
상기 비디오 비트 스트림은 내부에 인코딩된 전방향성 또는 구면 비디오를 포함하고, 또한,
상기 디코더는 상기 비디오 비트 스트림의 상기 SEI 메시지로 부터 상기 권장 뷰 섹션 영역의 뷰포트를 시공간적으로 따르도록 하는 권고로서 상기 비디오의 상기 권장 뷰 섹션 영역 상기 크기 및 상기 방향의 신호화를 도출하도록 구성되는,
디코더.
제6항에 있어서,
상기 신호화는 뷰 섹션의 움직임을 제어하기 위한 서로 다른 방법들 사이에서 구별화시키는 방식으로 상기 크기 및 상기 위치를 나타내는,
디코더.
제6항에 있어서,
상기 신호화는, 머리 움직임, 안구 움직임, 및 태블릿 움직임에 의해서 제어되는 적어도 두 뷰 섹션 제어 사이에서 구별화시키는 방식으로 상기 크기 및 상기 위치를 나타내는,
디코더.
삭제
제6항에 있어서,
상기 크기 및 상기 위치에 대한 상기 신호화 또는 정보를 렌더러 또는 뷰포트 제어 또는 스트리밍 장치로 전달하도록 구성되는,
디코더.
삭제
비디오가 인코딩된 비디오 비트 스트림을 저장하는 비일시적 디지털 저장 매체로서,
상기 비디오는 공간 장면을 보여주며, 상기 비디오 비트 스트림은, 입체 투영을 사용하여 상기 공간 장면이 상기 비디오의 화상들 상에 매핑되도록 하는 방식으로, 인코딩된 비디오를 포함하며,
상기 비트 스트림은 상기 비디오의 권장 뷰 섹션 영역의 크기 및 위치의 신호화와 함께 상기 비디오 비트 스트림의 SEI 메시지를 포함하고,
상기 권장 뷰 섹션 영역은 상기 공간 장면에서 부터 뷰포트 섹션(view port section)을 형성하고, 또한,
상기 신호화는 시간 지속성의 표시와 함께 사용자 행동의 통계를 통해서 획득된 빈도 랭킹에 따라 랭킹되는 방식으로 상기 신호화가 상기 크기 및 위치를 여러 번 나태내며,
상기 비디오 비트 스트림은 내부에 인코딩된 전방향성 또는 구면 비디오를 포함하고, 또한,
상기 비디오 비트 스트림의 상기 SEI 메시지는 상기 권장 뷰 섹션 영역의 뷰포트를 시공간적으로 따르도록 하는 권고로서 상기 비디오의 상기 권장 뷰 섹셔 영역 상기 크기 및 상기 위치의 신호화와 함께 제공되는,
비디오가 인코딩된 비디오 비트 스트림을 저장하는 비일시적 디지털 저장 매체.
제12항에 있어서,
상기 신호화는 뷰 섹션의 움직임을 제어하기 위한 서로 다른 방법들 사이에서 구별화시키는 방식으로 상기 크기 및 상기 위치를 나타내는,
비디오가 인코딩된 비디오 비트 스트림을 저장하는 비일시적 디지털 저장 매체.
제12항에 있어서,
상기 신호화는, 머리 움직임, 안구 움직임, 및 태블릿 움직임에 의해서 제어되는 적어도 두 뷰 섹션 제어 사이에서 구별화시키는 방식으로 상기 크기 및 상기 위치를 나타내는,
비디오가 인코딩된 비디오 비트 스트림을 저장하는 비일시적 디지털 저장 매체.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제