KR20220034922A - 분할된 비디오 스트리밍 개념 - Google Patents

분할된 비디오 스트리밍 개념 Download PDF

Info

Publication number
KR20220034922A
KR20220034922A KR1020227007136A KR20227007136A KR20220034922A KR 20220034922 A KR20220034922 A KR 20220034922A KR 1020227007136 A KR1020227007136 A KR 1020227007136A KR 20227007136 A KR20227007136 A KR 20227007136A KR 20220034922 A KR20220034922 A KR 20220034922A
Authority
KR
South Korea
Prior art keywords
sub
picture
bitstream
bitstreams
image
Prior art date
Application number
KR1020227007136A
Other languages
English (en)
Other versions
KR102649892B1 (ko
Inventor
로버트 스커핀
코넬리우스 헬지
토마스 쉬를
드 라 푸엔떼 야고 산체스
디미트리 포드보르스키
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority to KR1020247008930A priority Critical patent/KR20240038175A/ko
Publication of KR20220034922A publication Critical patent/KR20220034922A/ko
Application granted granted Critical
Publication of KR102649892B1 publication Critical patent/KR102649892B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H04N21/23476—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption by partially encrypting, e.g. encrypting the ending portion of a movie
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/60—Digital content management, e.g. content distribution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

부분-기반 또는 타일-기반 비디오 스트리밍 개념이 설명된다.

Description

분할된 비디오 스트리밍 개념{PORTIONED VIDEO STREAMING CONCEPTS}
본 출원은 부분-기반 또는 타일-기반 비디오 스트리밍 개념과 관련된다.
최근에 비디오 스트리밍 시스템들에서의 미디어 암호화는, 순방향 암호 함수 및 키를 이용하여 미디어 데이터(평문으로 지칭됨)를 암호화하고, 예를 들어, AES(Advanced Encryption Standard)[1]의 방법들에 따라 역함수 및 키를 이용하여 블록 단위 방식으로 그 결과(암호문으로 지칭됨)를 복호하게 하는 암호 함수들을 기반으로 한다. 또한, 미디어 암호화의 기본 개념은 암호문 블록의 유일성(즉, 공통된 단어 또는 구문 구조와 같은 동일한 평문 블록의 반복이 동일한 암호문 블록을 초래하지 않음)을 보장하기 위해, 순방향 암호 함수로 전달되기 전에 평문을 변경하는 것이다. 평문은 암호 함수에 입력되기 전에(그리고 마찬가지로, 역함수를 실행한 후에) 각각의 평문 블록 및 암호화 메타데이터의 계산적으로 비싸지 않은 연산, 즉 배타적 OR(XOR)을 사용하여 변경된다. 대부분의 접근법에서, 제1 블록에 대한 암호화 메타데이터는 초기화 값 또는 초기화 벡터(initialization vector, IV)로 구성된다. 후속하는 평문 블록의 암호화 메타데이터가 생성되는 방법을 정의하는 많은 블록 연산 모드 변형들 [2]이 존재한다. 오늘날 암호화된 미디어 스트리밍 시장에서 가장 널리 사용되는 이러한 개념의 2개의 변형들은, 도 1a, 도 1b에서 도시된 바와 같이, 암호화 메타데이터의 일부로서 카운터(counter, CTR)를 유지하는 것과, 현재의 암호문 블록이 후속하는 평문 블록의 암호화 메타데이터로서 사용되는 암호 블록 체이닝(cipher block chaining, CBC)에 기초한다.
MPEG 공통 암호화 표준 [3]은 MPEG 생태계에서의 미디어 데이터의 암호화, 즉, AES-CTR및 AES-CBC에 의해 영감을 받는 다양한 기법들을 정의함으로써, ISO 베이스 미디어 파일 포맷(Base Media File Format) [4][5](FF) 컨테이너에 캡슐화된 코딩된 미디어 데이터를 정의한다. 특히, 이 기법들은 코딩된 미디어 데이터의 어느 부분이 암호화될 평문을 구성하는지를 기술한다. 이 암호화 기법은 16바이트의 평문 블록에서 동작한다. 당연히, 코딩된 미디어 데이터의 일부를 암호화할 수 있고, 코딩된 데이터 내의 다양한 공간 및 시간 의존성을 통해, 암호화된 미디어 데이터의 비인가된 사용(즉, 암호화 키의 부재 하에서의 비인가된 복호)을 여전히 금지할 수 있다.
FF 컨테이너에 포함된 코딩된 비디오 데이터의 맥락에서, 단일 시간 인스턴스에 연관되고 디코딩 이후에 비디오 영상을 야기하는 코딩된 데이터는 통상적으로 샘플로 지칭된다. FF 컨테이너 내의 샘플들은 코덱 관점으로부터 특정 수준의 독립을 달성하기 위해, 서브샘플로 보다 논리적으로 그리고 공간적으로(예를 들어, 공간적 서브분할(예를 들어, HEVC [6]에서의 슬라이스 또는 타일들)을 위한 비디오 코덱 툴들이 사용되는 경우) 세분화될 수 있다.
몇몇 암호화 방식들(CTR에 기반한 'cenc' 및 'cens', CBC에 기반한 'cbc1' 및 'cbcs')은 [3]에서 정의되고, 코딩된 미디어 데이터의 스트림 중 어느 부분, 즉 [6]에 따른 비디오 코딩 계층(video coding layer, VCL)과 연관된 NAL 유닛이, 평문을 구성하고 이에 따라 암호화되는지를 시그널링할 수 있게 한다. 도 2는 코딩된 미디어 데이터의 하나의 샘플과 연관된 NAL 유닛의 연쇄(즉, 예를 들어, 각각이 별도의 NAL 유닛 내에 있는, 2개의 타일로 구성된 비디오 영상)뿐만 아니라, 헤더 및 엔트로피 코딩된 페이로드로 구성되는 비디오 슬라이스의 구조를 도시한다. 후자는 도면에서 비디오 슬라이스 데이터로 지칭된다. ISO 미디어 크기 헤더는 NAL 유닛(NALU)의 길이를 기술하고, 종종, 이하 Part 15 NAL 크기 헤더로 지칭된다. 비디오 슬라이스 데이터(또는 슬라이스 페이로드)는 일반적으로, 코딩된 데이터 스트림의 가장 큰 부분을 구성한다.
전술한 바와 같이, 코딩된 비디오에서의 다양한 코딩 및 예측 의존성들은 모든 샘플들(예를 들어, 모든 다른 샘플들, 또는 심지어는, 소위 패턴 암호화 기법들 'cens' 및 'cbcs'에서의 모든 다른 평문 블록 또는 또다른 신호 비율)의 일부만을 암호화하면서도, 여전히 콘텐츠 보호를 잘 유지하게 하여, 프로세싱 전력을 절약시킨다. 또한, 코딩된 픽셀 값들을 포함하지 않지만 예를 들어, 코딩된 미디어 데이터 스트림을 HEVC Annex B 바이트 스트림 포맷으로 재기록하기 위해 암호화된 미디어 데이터의 스트림을 다루기 위한 시스템 계층에서 유용할 수 있는 제어 정보를 포함하는, 미디어 데이터의 일부를, 구체적으로는, NAL 유닛 헤더 또는 슬라이스 헤더를, 암호화되지 않게 남기는 것이 유리할 수도 있다. 따라서 [3]에서의 서브샘플 암호화 포맷은 특정 부분(예컨대, NAL 유닛 및 슬라이스 헤더)을 암호화되지 않게 남겨둔다. 암호화 기법에 따라, 서브샘플의 끝에 있는 부분 평문 블록은 다르게 처리된다. CTR 기반 기법 'cenc'에서, 평문 블록들은 서브샘플 경계들에 걸쳐 있을 수 있는 반면, CBC 기반 기법 'cbcs'에서, 서브샘플들의 끝에 있는 부분 평문 블록들은 암호화되지 않은 채로 남아있다. 'cens' 및 'cbc1'에서는 부분 평문 블록이 발생하지 않도록 서브샘플 시작 시 암호화되지 않은 바이트의 범위가 적절하게 선택된다.
전방향 미디어 포맷(Omnidirectional Media Format)(OMAF) [7]에 의해 정의된 바와 같은 타일 기반 비디오 스트리밍 어플리케이션에서, 클라이언트측 비디오 데이터 스트림 내의 비디오 영상은 사용자-의존 방식으로 다른 것들과 상이한 해상도 또는 품질로 비디오의 부분들 또는 영역들을 도시하는 타일들로 분할될 수 있다. 이것은 사용자 관심의 중심에 있는 비디오 영역(예를 들어, 360° 비디오 스트리밍 어플리케이션 내에서 사용자가 바라보는 방향의 콘텐츠를 나타내는 영역)에 대해 관련 시스템 자원(네트워크 스루풋 또는 비디오 디코더 픽셀 스루풋)을 집중시킬 수 있게 한다.
이러한 콘텐츠는 종종, 잘 확립된 HTTP 기반의 스트리밍 포맷(예를 들어, 코딩된 미디어 데이터가 세그먼트화된 FF 컨테이너 내의 HTTP 서버에 존재하되, 가용한 세그먼트, 즉, 적응 세트(개개의 미디어 콘텐츠 조각, 예를 들어, 타일) 및 표현들(동일한 콘텐츠 조각의 다양한 비트레이트 변형)로 더 구조화되는, 미디어 프리젠테이션 설명(media presentation description, MPD)의 다운로드 가능한 XML 설명을 제공함으로써 광고되는, MPEG DASH [8])을 사용하여 전달된다. 360° 비디오의 서브영상들 또는 타일들은 적응 세트들로서 제공될 수 있는 반면, 적응 세트들의 다른 세트는 소위 FF 추출기 트랙을 통해 개개의 서브영상 또는 타일들의 (뷰포트-의존적인 혼합-해상도의) 구성을 기술한다. 이러한 FF 추출기 트랙은 다음 2개의 통합 개념을 통해, 대응하는 서브영상 트랙을 참조한다:
- 의존성 Id(도 3에서, 하나의 추출기 트랙이 해당 구성의 콘텐츠 조각을 포함하는 적응 세트 내의 표현들(즉, 콘텐츠 조각의 특정 비트레이트 변형)을 명시적으로 참조하는)로 지칭되는 개념을 이용한다. 이는 추출기 트랙을 생성하는 동안, 클라이언트 측에서 재생될 때 추출기 트랙에 의해 추출된 서브샘플들의 정확한 바이트 크기가 알려짐을 의미한다.
- 사전선택(도 4에서, 하나의 추출기 트랙이 적응 세트 수준에서만 해당 구성의 콘텐츠를 참조하고, 정확한 표현에 대한 결정은 클라이언트 측에 남겨두는)으로 지칭되는 개념을 이용한다. 이는 추출기 트랙을 생성하는 동안, 클라이언트 측에서 재생될 때 추출기 트랙에 의해 추출된 서브샘플의 정확한 바이트 크기가 알려지지 않고, 클라이언트가 다운로드한 이후에만 알려짐을 의미한다.
도 3에 도시된 바와 같이, 의존성 Id (dependencyId)가 본 예시의 2개의 상이한 타일들의 모든 잠재적인 조합들을 3개의 상이한 비트레이트로 시그널링하는 데에 사용되는 경우, 적응 세트 3에는 9개의 표현들(도면에는 6개만 도시됨)이 시그널링된다. 모든 표현들은 각각의 표현이 생성될 필요가 있는 서버 및 추출기 트랙에서 가용하게 될 필요가 있다. 도 4는, 사전선택을 이용할 경우, 9개의 가능한 조합들 중 임의의 것으로부터 유효한 비트스트림을 생성하기 위해 단일 추출기 트랙을 포함하는 적응 세트 3 내에 단일 표현이 가용함을 나타낸다.
적어도 일부 플랫폼에서 지원되는 암호화된 타일 기반 DASH 서비스를 위한 최신 접근 방식은 다음과 같다:
- MPD는 의존성 Id를 사용하며, 모든 서브영상/타일은 'cbcs'로 암호화된다.
- MPD는 의존성 Id를 사용하며, 임의의 단일 서브영상/타일만 CTR, 즉, 'cenc' 또는 'cens'로 암호화된다.
그러나, 이러한 컨텐츠가 디지털 저작권 관리(DRM)를 달성하기 위해서 암호화된 형태로 광범위한 기존 플랫폼들, 즉, 안드로이드 또는 iOS 기반의 모바일 디바이스, 스마트 TV및 셋톱박스, 브라우저 구현 등과 같은 장치 생태계에 제공되어야 하는 경우에, 광범위한 문제가 발생한다:
- 일부 플랫폼들은 오직 CBC 기반의 암호화 접근법들만 지원할 수 있는 반면, 다른 플랫폼들은 오직 CTR 기반 암호화만을 지원할 수 있다.
- 전술한 의존성 Id 기반 접근법을 사용하는 타일-기반 스트리밍 서비스는 서비스 운영자에게 매력적이지 않은 비교적 장황하고 큰 MPD가 유지될 것을 필요로 한다. 타일 기반 스트리밍 서비스의 MPD 크기 및 복잡도는 전술한 사전선택 방식을 이용하여 상당히 감소될 수 있다(비교를 위해 도 3 및 도 4를 참조할 수 있다).
- CTR 기반 암호화 기법에서의 평문은 샘플의 모든 서브샘플/타일들의 페이로드 데이터의 연결(concatenation)로부터 구성되는데, 이는 영상 내의 타일들의 순서 또는 비트레이트(바이트 크기)가 변경될 수 있는 타일 기반 접근법들을 금지시킨다.
상기 다양한 문제점들로부터 명백한 바와 같이, 기존의 암호화 기법들은 오늘날 타일-기반 비디오 스트리밍의 맥락에서 DRM을 달성하는 것을 허용하지 않는다.
본 출원이 관련되는 다른 측면은, 장면에 걸쳐 비디오 품질이 변하는 경우에서의 전방향 비디오 및 그 처리에 관한 것이다. 전방향 비디오의 품질은 영역마다 다를 수 있다. 품질의 공간적 차이를 설명하기 위해, 전방향 미디어 포맷(Omnidirectional MediA Format, OMAF)은 ISOBMFF 및 DASH 모두를 위한 시그널링 방법을 지정한다. ISOBMFF의 경우, 영역별 품질 차이는 시각적 샘플 엔트리에서 SphereRegionQualityRankingBox(도 5a를 참조) 또는 2DRegionQualityRankingBox(도 5b를 참조)를 사용하여 표시될 수 있다.
두 박스들은 quality_ranking 속성들에 대한 값을 지정함으로써 전방향성 비디오의 상이한 영역들에 대한 상대적 품질 차이들을 시그널링할 수 있게 한다. 영역(A)의 quality_ranking 값이 영역(B)의 값보다 작은 경우, 영역(A)은 영역(B)보다 더 높은 품질을 갖는다.
DASH에서 상이한 영역들의 상대적 품질 차이들을 시그널링하기 위해, OMAF는 하기 표에 지정된 바와 같은 값들의 쉼표로 분리된(comma separated) 리스트로서 Uurn:mpeg:omaf:rwqr:201 T 및 @value와 같은 @schemeldUri를 갖는 SupplementalProperty 요소를 사용하는 영역별 품질 디스크립터를 정의한다:
Figure pat00001
이 디스크립터는 적응 세트 레벨에서 표시되어야 하며 다른 레벨에서는 존재하지 않아야 한다. 예를 들어, 2개의 타일이 2개의 상이한 해상도(고해상도 및 저해상도)로 인코딩되는 경우, 이러한 타일 각각은 도 6에 도시된 바와 같이 별개의 적응 세트를 이용하여 기술될 수 있다. 각각의 적응 세트는 서로 다른 비트레이트로 인코딩된 동일한 타일의 상이한 표현들을 포함할 수 있다. 또한, 각각의 표현은 동일한 적응 세트에서 다른 표현들과 비교하여 현재의 표현의 품질 순위(더 낮은 값들은 더 높은 품질을 나타냄)를 지정하는, 선택적인(optional) 속성 @qualityRanking을 포함할 수 있다. 적응 세트 3(및 적응 세트 6)의 표현들은 적응 세트 1 중의 하나의 표현 및 적응 세트 2 중 하나의 표현(또는, 적응 세트 4 및 적응 세트 5 각각)의 조합을 허용하는 추출기 트랙을 포함한다.
클라이언트가 뷰포트 의존 솔루션에 대응하는 적응 세트 3 또는 6을 선택하는 경우, 콘텐츠의 초점이 어디에 있는지를 이해하기 위해서 영역별 품질의 설명을 제공하는 것이 바람직할 것이다. 주어진 예시에서, 우리는 2개의 영역을 가질 것인데, 하나는 quality_ranking=1의 값을 갖는 고해상도를 포함하고, 하나는 quality_ranking=2(또는 더 높은 해상도 영역이 더 높은 품질을 가짐을 나타내는 임의의 다른 수)를 갖는 저해상도를 포함한다.
Figure pat00002
따라서, 사용자는 해당 적응 세트를 선택할 때 뷰포트에 의존하는 표현의 초점이 위치되는 곳을 즉시 이해할 것이다. 그러나, 사전선택들이 적응 세트 레벨에서 사용되는 경우, 대응하는 표현들의 가능한 조합들이 정의되지 않고, 대응하는 적응 세트로부터의 임의의 표현이 사용될 수 있다(반면, 동시에, 이러한 표현들의 @qualityRariking 속성이 존재할 수도 있다). @qualityRanking 값은 영역별 품질 디스크립터가 지정하는 값과 상충할 수 있다.
NIST, "ADVANCED ENCRYPTION STANDARD (AES)； 2001, online: http://nvlpubs.nist.gov/nistpubs/FIPS/NIST.FIPS.197.pdf NIST, "Recommendation for Block 2001 Edition Cipher Modes of Operation", NIST Special Publication 800-38A 2001 Edition, online: http://dx.doi.org/10.6028/NIST.SP.800-38A ISO/IEC 23001-7:2016, Information technology -- MPEG systems technologies -- Part 7: Common encryption in ISO base media file format files ISO/IEC 14496-12:2015, Information technology - Coding of audio-visual objects - -Part 12: ISO base media file format ISO/IEC 14496-15:2017, Information technology - Coding of audio-visual objects - -Part 15: Carriage of network abstraction layer (NAL) unit structured video in the ISO base media file format ISO/IEC 23008-2:2013, Information technology -- High efficiency coding and media delivery in heterogeneous environments - Part 2: High efficiency video coding Byeongdoo Choi, Ye-Kui Wang, Miska M. Hannuksela, Youngkwon Lim (editors), "OMAF DIS text with updates based on Berlin OMAF AHG meeting agreements", m40849, 2017-06-16 ISO/IEC 23009-1:2014, Information technology - Dynamic adaptive streaming over HTTP (DASH) - Part 1: Media presentation description and segment formats
따라서, 본 발명의 목적은 분할된(portioned) 비디오 스트리밍을 위한 보다 효율적인 개념들을 제공하는 것이다.
이 목적은 본 출원의 독립 청구항들의 청구대상에 의해 달성된다.
본 출원의 제1 측면은 타일-기반 비디오 스트리밍에 대한 암호화/복호화를 적용하는 개념과 관련된다. 제1 변형에 따르면, 각각의 서브세트가 예를 들어, 비디오 영상 영역의 대응하는 부분과 관련되고 서로 다른 품질의 비트스트림들을 수집하는, 하나 이상의 비트스트림들의 서브세트가 암호화되어, 이러한 서브세트들 각각으로부터 하나의 추출기로 하나의 비트스트림씩, 선택되어 초래되는 컴파일된 비트스트림이 현재의 영상 프레임에 대해, 각각의 암호화된 서브세트 중 상기 하나의 비트스트림의 하나의 암호화된 영상 부분을 갖는다. 이 제1 측면에 따르면, 암호화 및 복호화가 모두 평문 마스크 및/또는 블록-복호화 키의 순차적 변경을 사용하여 발생하되, 블록별 암호화로 암호화가 발생하고, 블록별 복호화로 복호화가 발생하며, 특히, 순차적 변경은 컴파일된 비트스트림의 각각의 서브영상 부분을 형성하는 각각의 영상 부분을 위해 재초기화된다. 따라서, 서브영상 부분마다의 재초기화로 인해, 컴파일된 비트스트림의 컴파일을 위해 암호화된 서브세트 중 어느 비트스트림이 선택되었는지는 중요하지 않다. 특정한 영상 프레임에 관한 영상 부분의 길이는, 암호화/복호화에서의 문제를 발생시키지 않고도 영상 영역의 특정 부분에 관련된 특정한 서브세트 중에서 바뀔 수 있다. 이어서, 클라이언트측에서, 즉, 다운로드측에서, 암호화된 서브영상 부분들의 코딩 페이로드 섹션의 경계들은 다음의 대안들 중 하나에 기초하여 검출된다: 이러한 암호화된 서브영상 부분의 코딩 페이로드 섹션을 현재 복호화된 위치까지 파싱(parsing)함으로써, 및/또는 각각의 서브영상 부분 내의 헤더로부터 각각의 서브영상 부분의 코딩 페이로드 섹션의 길이를 유도함으로써, 및/또는 각각의 서브영상 부분이 속하고 영상 부분이 추출되는 비트스트림 내에서 시그널링된 비트스트림 길이 또는 포인터 표시를 사용하여, 검출된다. 그 결과, 이러한 방식으로 타일-기반 비디오 스트리밍 환경에 효율적으로 암호화/복호화를 적용하는 솔루션이 발견되었는데, 즉 이러한 환경에서는 다운로드된 구성된 비트스트림을 형성하기 위해 사전선택을 또한 사용할 기회가 주어진다.
다른 변형예에 따르면, 암호화/복호화가, 현재의 영상 프레임에 대한 비디오 영상 영역의 한 부분을 식별하는 것과 동일한 환경인, 현재 영상 프레임당 비트스트림들의 서브세트들 중 식별된 하나에 초점을 맞추는 방식으로 타일-기반 비디오 스트리밍 환경들에 암호화/복호화가 적용된다. 식별은, 예를 들어, 추출기 내에, 또는 암호화에 적용되는 서브영상 부분들 내에 시그널링된다. 여기서, 암호화/복호화는, 평문 마스크 및/또는 블록-복호화 키의 순차적인 변형을 이용하거나, 또는 장면의 다양한 부분들 중 단지 하나에 대한 암호화/복호화 노력의 효율적인 포커싱에 이점을 갖는 몇몇 다른 수단에 의해 수행될 수 있다.
본 출원의 또다른 측면은, 분할된 비디오 스트리밍 환경 내의 클라이언트에게, 특정한 사전선택된 적응 세트가 자신의 관심영역(ROI)을 갖는 장소의 이해를 유도하고/하거나 품질 면에서 이러한 사전선택된 적응 세트에 의해 제공되는 개별 조합 옵션들 간의 상대적 순위의 양호한 추정치를 유도하는 기회가 주어지는, 효과적인 방식에 관한 것이다. 본 측면에 따르면, 제1 변형에서, 매니페스트 파일은 매니페스트 파일의 각각의 파라미터 세트에 의해서도 정의되는 영상-부분에 특정된 적응 세트들 중 하나를 출력 영상 영역의 각각의 영역들에 대해 할당하는 사전선택 적응 세트를 정의하는, 적어도 하나의 파라미터 세트를 포함한다. 다음 상황들 중 적어도 하나가 적용된다: 적어도 하나의 제2 파라미터 세트는 각각의 영역에 대해 할당되는 영상-부분에 특수한 적응 세트의 표현들의 품질 레벨을 커버하는 품질 레벨 범위를 나타내어, 클라이언트측에서, 이러한 범위들이 출력 영상 영역의 해당 영역들에 걸쳐서 공간적으로 변하는 품질들의 보다 양호한 이해를 획득하는 것을 돕고, 그에 의해, ROI가 어디에 있는지, 즉 더 높은 품질의 영역들이 위치하는 곳을 제안하는, 및/또는 각각의 사전선택 적응 세트에 의해 제공되는 다양한 조합 옵션과 관련된 품질을 보다 양호한 이해를 획득하는 것을 돕는, 출력 영상 영역의 각각의 영역에 대한 하나 이상의 파라미터들을 포함한다. 부가적으로 또는 대안적으로, 매니페스트 파일은 영상-부분에 특정된 적응 세트들을 정의하는 파라미터 세트들에 의해 표시된 품질 레벨들이 제1 파라미터 세트들 중 서로 다른 세트들에 걸쳐 순서대로 스케일링되도록 공통의 순서 스케일로 정의되는지 여부의 표시를 포함한다. 따라서, 클라이언트는, 출력 영상 영역을 생성하는 영역들(214)의 콜레이션(collation)에서 ROI의 위치에 대한 정보를 얻기 위해, 참조된 부분에 특정된 적응 세트들의 파라미터 세트들 내의 품질 레벨들을 검사할 수 있다. 부가적으로 또는 대안적으로, 이에 따라, 사전선택 적응 세트에 의해 제공되는 다양한 조합 옵션과 관련된 품질의 정확한 이해가 가능하게 된다. 부가적으로 또는 대안적으로, 사전선택 적응 세트의 파라미터 세트는, 출력 영상 영역의 영역마다, 품질 레벨과 같은 고유의 품질 힌트, 및 참조된 부분에 특정된 적응 세트의 파라미터 세트에 의해 포함되는 국부적으로 정의된 품질 레벨들을 갖는 공통의 스케일로 품질 힌트가 존재하는지 여부의 표시를 포함한다. 품질 힌트가 공통 파라미터 세트, 즉, 사전선택 적응 세트 중 하나에 정의되어 있기 때문에, 이는 공통 스케일로 정의되고, 클라이언트 장치로 하여금 대응하는 사전선택 적응 세트와 연관된 관심영역(ROI)에 위치할 수 있게 한다. 부가적으로, 사전선택 적응 세트의 파라미터 세트의 품질뿐만 아니라 해당 부분에 특정된 적응 세트에서의 품질이 공통 스케일로 정의되고, 그에 의해, 사전선택 적응 세트의 가용한 옵션들의 정확한 이해가 가능해진다. 부가적으로 또는 대안적으로, 사전선택 적응 세트의 파라미터 세트는, 출력 영상 영역의 영역마다, 클라이언트가 영역들의 콜레이션에 걸친, 즉, 출력 영상 영역의 원주 내의, 품질의 공간적 분포의 관점에서 사전선택 적응 세트를 적어도 해석하여, 그에 의해, 대응하는 사전선택 적응 세트와 연관된 관심영역(ROI)을 위치시킬 수 있는 것을 이용하는, 품질 레벨과 같은 고유의 품질 힌트를 포함한다. 유사하게, 대응하는 측면에 따르면, 품질 힌트가 부분적으로 변하는 품질의 표현들을 서로 관련시키는 데에 사용되고, 해당 표현들은 가장 높은 품질 부분의 위치와 일치한다. 또한, 파일 포맷 디스크립터에는 수신측에서 유사한 이점들을 달성하기 위해 유사한 정보가 제공될 수 있다.
클라이언트는, 예를 들어, 사용자 뷰잉 속도, 가용한 네트워크 다운로드 속도 등과 같은 현재 상황에 기초하여 선택할 옵션을 결정하도록, 다양한 옵션들의 ROI 관련 영역들 및 ROI 무관 영역들 사이의 품질 오프셋을 더 잘 이해하기 위해, 가이던스 정보를 사용할 수 있다. 그리고 무엇보다도, 클라이언트는 특정한 사전선택 적응 세트의 ROI가 어디에 있는지를 추론할 수 있고, 그에 따라, 여러 사전선택 적응 세트들 중에서 ROI가 예컨대, 현재 사용자의 뷰포트와 일치하는 가용한 사전선택 적응 세트를 선택할 수 있다.
quality_ranking 파라미터 Q'(j)에 의해 구현되는 바와 같은 할당된 영상-부분에 특정된 적응 세트들(200) 간의 단순한 순위는 클라이언트 장치(80)로 하여금 ROI를 찾기 위해 영역(216)에 걸친 일반적인 품질 기울기를 적어도 정확하게 평가할 수 있게 한다.
특정한 사전선택 적응 세트(206)의 ROI 위치를 평가하고/하거나, 품질 면에서 그리고 심지어 사전선택 적응 세트의 ROI에 특수함을 고려하는 옵션들의 의미 면에서, 특정한 사전선택 적응 세트(206)에 대한 조합 옵션들 간의 순위를 평가하는 효율적인 가이던스를 클라이언트 장치(80)에 제공할 수 있다.
본 출원의 유리한 실시예들은 종속 청구항들의 대상이다. 본 출원의 바람직한 실시예들은 도면들과 관련하여 이하에서 설명된다.
도 1a는 서브샘플 경계들에 걸쳐 계속되는 방식으로 수행되는 것으로서 예시적으로 도시되는 바와 같이, 암호 블록 체인을 사용하는 블록별 암호화를 예시하는 개략도이지만, 후속 실시예들은 서브샘플마다 재초기화가 일어날 수 있음을 명백히 할 것이다.
도 1b는 CTR을 이용한 블록별 암호화를 예시하는 개략도를 도시한다.
도 2는 [3]에 따른 FF 컨테이너의 코딩된 미디어 데이터 내의 NAL 유닛들의 연쇄 및 슬라이스 구조를 예시하는 개략도를 도시한다.
도 3은 매니페스트 파일/MPD의 표현들(고해상도에서 2개의 타일 및 의존성 ID를 사용하는 저해상도에서의 하나의 타일을 위한)을 도시하는 개략도를 도시한다.
도 4는 사전선택을 이용하여, 2개 타일들(고해상도에서의 하나 및 저해상도에서의 하나)을 위한 매니페스트 파일(MPD)에서의 표현들을 나타내는 개략도를 도시한다.
도 5a 및 도 5b는 ISOMBMFF에 따른 중간 대문자들과도 함께 기록된, 중간 대문자 또는 2D 영역 품질 순위 박스와 함께 기록된 구형 영역의 품질 순위 박스에 대한 예를 도시한다.
도 6은 매니페스트 파일에서 정의되는 2개의 사전선택 적응 세트들을 예시하는 개략도를 도시한다.
도 7은 본 출원의 실시예들에 따라 타일-기반 비디오 스트리밍을 이용하여 암호화/복호화를 조합하는 개념을 예시하는 개략도를 도시한다.
도 8은 일 실시예에 따라 추출기를 사용하여 다운로드된 비트스트림을 기초로 하여 구성된 비트스트림의 성분을 예시하는 개략도를 도시한다.
도 9는 구성된 비트스트림의 서브영상 부분의 유닛들의 암호화된, 그리고 그 후에 암호화/복호화되는, 코딩된 페이로드 섹션들의 구체화를 도시한 것으로, 도 9는 블록별 암호화/복호화와 연관된 블록 분할 내에서의 코딩된 페이로드 섹션들의 경계들을 도시한다.
도 10은 일 실시예에 따른 다운로드 장치의 개략적인 블록도를 도시한다.
도 11은 본 출원의 실시예들에 따라 사용되는 교대되는 복호화/통과 경계 검출의 프로세스를 도시하는 개략적인 흐름도를 도시한다.
도 12는 사전선택, 2개의 타일들 및 하나의 추출기 트랙을 사용하여 매니페스트 파일(MPD)에서의 표현들을 예시하는 개략도를 도시한다.
도 13은 서브샘플 초기화 벡터들(IV) 및 카운터들을 갖는 CTR 기반 암호화를 예시하는 개략도를 도시한다.
도 14는 품질 레벨 범위를 정의하는 본 출원의 일 실시예에 따른 RWQR 디스크립터에 대한 예시를 도시한다.
도 15는 해당 영역에 특정된 적응 세트들 내의 표현들에 대해 표시된 품질 레벨들이 공통의 순서 스케일로 정의되는지, 따라서 서로 간에 비교가능한지 아닌지 여부를 나타내는 표시를 사용하는 일 실시예에 따른 RWQR 디스크립터에 대한 예시를 도시한다.
도 16은 해당 영역에 특정된 적응 세트의 품질 레벨들에 대해 표시된 품질 레벨들을 상대적으로 서로 상쇄하는 방법에 대해 사전선택 적응 세트를 위해 시그널링됨에 따른 일 실시예를 예시하는 개략도를 도시한다.
도 17은 절단된 사각형 피라미드들에 대한 RWQR 오프셋의 사용을 예시하는 개략도를 도시한다.
도 18은 클라이언트측에서 개선된 품질 평가와 관련된 본 출원의 실시예들에 포함되는 표현들 및 매니페스트 파일을 포함하는 클라이언트 장치 및 데이터를 예시하는 개략도를 도시한다.
도 19는 품질 평가를 개선하기 위해 품질 레벨 범위 표시의 사용을 예시하는 개략도를 도시한다.
도 20은 글로벌리티(globality) 표시를 이용하여 클라이언트측에서 보다 쉬운 품질 평가를 예시하는 개략도를 도시한다.
본 출원의 제1 측면과 관련된 실시예들의 다음 설명은 명세서의 도입 부분에서 전술된 분할된 또는 타일-기반 비디오 스트리밍과 관련된 암호화의 처리에 대한 설명을 예비적으로 재개한다. 이를 위해, MPEG의 환경에서의 공지된 기술들의 가능한 변경들이 제시된다. 따라서, 이러한 변경들은 본 출원의 제1 측면의 실시예들을 나타내며, 이 변경들이 MPEG 환경에서 사용되도록 제한되지 않고 다른 곳에서도 유리하게 사용될 수 있기 때문에, 이들은 이하에서 추상화된다.
특히, 이하에서 더 설명되는 실시예들은 효율적인 방식으로 보다 광범위한 가용한 플랫폼들의 세트에 걸쳐 타일-기반 비디오 스트리밍 시스템들에서의 콘텐츠 미디어 암호화를 가능하게 하고, 이와 관련하여 명세서의 도입 부분에 제시된 암호화 기법들의 단점을 극복시킨다. 특히, 이는 다음과 같은 타일-기반 스트리밍 서비스를 포함한다:
- 모든 서브영상들의 CTR 기반 암호화
- DASH 사전선택을 이용한 암호화된 미디어(CTR 또는 CBC)
'cbcs' 모두가 사전선택을 이용하여 서브샘플 암호화를 가능하게 하는, 후속하여 설명되는 변경 실시예에 따라 사용되는 제1 도구는, 이하에서, 필수 서브샘플 식별 개념 또는 알고리즘으로 불린다. 이 알고리즘은 사전선택이 MPD에서 사용될 때 CBC 기반 암호화 기법을 이용하는 것을 허용한다. 보통의 암호화 [3]는 서브샘플 경계들, 및 따라서 다음에서 참조를 위해 재생성되는 바와 같은, 암호화된 데이터 및 암호화되지 않은 데이터의 바이트 범위들을 식별하기 위한 2가지 방식들을 제공한다: 복호기는 그들의 타입 헤더에 의해 비디오 NAL을 위치시키기 위해 NAL 유닛들을 파싱하고, 그 후 암호화 패턴의 시작을 위치시키기 위해 그들의 슬라이스 헤더들을 파싱하며, NAL의 종료 및 매칭되는 서브샘플 보호된 데이터 범위를 결정하기 위해 그들의 Part 15 NAL 크기 헤더들을 파싱함으로써 복호할 수 있다. 그러므로, (a) 이 알고리즘, 즉, 샘플 보조 정보를 파싱, 무시하는 것, 또는 (b) 이 알고리즘을 무시하는 샘플 보조 정보 중 어느 하나를 사용하여 트랙을 복호할 수 있다.
샘플 보조 정보(sample auxiliary information, SAI)는 암호화된 데이터 및 암호화되지 않은 데이터의 바이트들의 위치 및 범위를 함께 표시하는 [4]에 정의된 2개의 박스들 'saiz' 및 'saio'로 구성된다. 그러나, 사전선택을 이용한 타일-기반 스트리밍 시나리오에서는, 최종 클라이언트측 비트스트림에서의 각각의 서브영상/타일의 비트레이트(및 따라서 바이트 크기)를 알 수 없다. 따라서, 추출기 트랙은 미리 정확한 SAI를 포함할 수 없다.
그러므로, 본원에 설명된 실시예들에 따르면, OMAF와 같은 어플리케이션 포맷 사양에 있어서는, 만일 존재하는 경우, 추출기 트랙 내의 보호되지 않은/보호된 바이트 범위와 관련된 부정확한 SAI 파라미터들이 고려되지 않고, 그 대신, 암호화된 데이터 및 암호화되지 않은 데이터의 바이트들의 위치 및 범위들의 유도를 위해 상기 알고리즘이 이용될 필요가 있다.
제1 실시예에 따르면, 이 개념은 이하에 설명되는 바와 같이 비디오 콘텐츠 부분별/타일별 암호화와 함께 사용된다.
특히, 도 7은 타일-기반 비디오 스트리밍에 의해 관심영역(ROI)에 특정된 비디오 스트림을 다운로드하기 위한 데이터의 컬렉션(10)을 도시한다. 실제 스트리밍을 위한 실시예들 및 거기에 포함된 실체들에 대한 실시예들은 이하에서 더 설명된다. 데이터(10)는, 각각이 비디오 영상 영역(16)의 부분들(14)(이하 교시되는 바와 같이 타일들일 수 있음) 중 하나로 인코딩된 비트스트림들(12)을 포함하고, 따라서 비디오 영상 영역(16)의 각각의 부분(14)은 상이한 품질들에서 비트스트림들(12)의 서브세트(18)로 인코딩된다. 이에 따라, 서브세트들(18)은 부분에 특정된(portion specific) 서브세트들(18)을 형성한다. 이들 서브세트들(18)은, 적응적 스트리밍 및 매니페스트(24)에서의 설명의 관점에서, 도 3 및 도 4에 도시된 바와 같은 개별적인 적응 세트들로서 취급될 수 있는데, 여기서, 예시적으로, 하나의 적응 세트(따라서, 서브세트(18)를 형성하는 것)는 타일마다 존재하고(이에 따라 부분(14)을 형성함), 각각의 타일은 타일에 특정된(tile-specific) 표현들의 세트를 형성한다(따라서, 비트스트림들(12)을 형성함). 특히, 예시적으로, 타일 1에 대해서는 하나의 적응 세트인, 적응 세트 1이 존재하고, 타일 2에 대해서는 또다른 적응 세트인, 적응 세트 2가 존재한다. 따라서, 비트스트림들(12)은 MPD(24)에서 표현들로서 취급될 수 있거나, 다르게 말하면, 상이한 표현들 상에 분포될 수 있다.
데이터(10)는 적어도 하나의 추출기(20), 즉, 비디오 영상 영역의 관심영역(ROI)(22)과 연관된 추출기 데이터 또는 추출기 파일 또는 추출기 트랙과, 매니페스트 파일(24)을 더 포함한다. 후자는 화살표(26)로 도시된 바와 같이 미리 결정된 ROI(22)에 대해, 비트스트림들(12)의 세트를 식별하는데, 이 세트는 비디오 영상 영역(16)이 ROI(22) 상에 포커싱하는 방식으로 분할되는 서로 다른 부분들(14) 안으로 인코딩하기 위해, 서브세트(18)당 하나의 비트스트림(12)으로 구성된다. 이러한 포커싱은, 예를 들어, 대응하는 서브세트들(18) 중에서 선택되고 ROI에 특정된 세트에 의해 구성되는 비트스트림이 더 낮은 품질을 갖는 ROI(22) 외부의 부분들(13)에 관한 서브세트들(18)에 비해, ROI(18) 내의 서브세트들(18)에 대해, 상기 구성된 세트에 기여하는 이 서브세트(18) 중 하나의 비트스트림이 더 높은 품질을 갖도록 상기 세트를 구성함으로써 수행된다. 따라서, 도면부호(26)를 참조하여 형성되고 매니페스트(24)에 의해 표시되는 상기 세트는 비트스트림들의 ROI에 특정된 세트이다. 일 예시가 도 8에 도시되고 아래에서 더 설명될 것이다.
비트스트림들(12)은 예를 들어, M개의 타일들(14)의 유닛들 내에 인코딩된, 그러나 서로 다른 품질 레벨에서 인코딩된 비디오 영상 영역(16)을 각각 갖는 N개의 비디오 데이터 스트림들의 M개의 독립적으로 코딩된 타일들에 의해 형성될 수 있음에 유의한다. 따라서, N개의 M 비트스트림들은 도 7에서 M = 16으로 예시되고, N은, 예를 들어, 서브세트(18)당 비트스트림들(12)의 개수를 나타낸다. ROI에 특정된 세트는 M개의 비트스트림들(각각의 서브세트(18) 중 하나)을 포함할 것이다. 그러나, 이것은 단지 예시일 뿐이며, 다른 경우들도 가능할 것이다. 예를 들어, N은 M개의 부분들(14) 중에서 바뀔 수 있다. ROI에 특정된 세트는 적어도 ROI(22)를 커버하는 부분들(14)에 관련된 서브세트들(18) 중의 서브세트만으로 구성될 수 있다.
비트스트림(12)은 이하 교시되는 바와 같이 클라이언트에 의해 조각별로 그리고 선택적으로, 다운로드되기 위해 스토리지에 저장될 수 있지만, 클라이언트에 의해서 다운로드를 위해 또한 저장되며 비트스트림들(12)의 다운로드를 위한 클라이언트 주소를 표시하는 MPD(24) 내의 개별적인 표현으로서 취급될 수 있다. 그러나, 비트스트림들(12)에 대응하는 표현들은 개별적으로 재생을 위해 전용되지는 않는 것으로, 즉, 적응 세트에 의해 형성되는 ROI에 특정된 세트(s)의 일부가 아닌 것을 재생하지 않기 위한 것으로 표시될 수 있다. 추출기(20)는 또한, 매니페스트(24)에 표시되는 주소들에 의해 개별적으로, 또는 미디어 파일의 트랙과 같은 비트스트림들 중 임의의 것과 함께, 클라이언트들에 의한 다운로드를 위해 저장된다. 본원의 부가적인 설명에서, 추출기(20)는 FF 추출기 파일로도 표시되어 있다. 하나의 서브세트(18)에서 표현들이 관련되는 품질 레벨들은, 예를 들어, SNR 및/또는 공간 해상도 및/또는 색도(colorness)에 따라 달라질 수 있다.
추출기 파일(20)은 ROI에 특정된 세트로부터 컴파일된 비트스트림을 구성하기 위한 준(quasi) 생성자이다. 이는 비트스트림들(12)의 ROI에 특정된 세트와 함께 클라이언트에 의해 다운로드될 수 있다. 이는, 포인터들 및/또는 구성 명령들을 통해, 비트스트림들의 각각의 서브세트들(18)에 대해 ROI에 특정된 세트에 의해 구성되는 비트스트림들의 각각의 서브세트(18)의 하나의 비트스트림으로부터 현재의 영상 프레임에 관한 영상 부분을 식별하고, 식별된 영상 부분 중 컴파일된 비트스트림의 컴파일을 시그널링하여 컴파일된 비트스트림이 형성되는 비트스트림들의 각각의 서브세트들(18) 중 선택된 비트스트림의 영상 부분에 대한 서브영상 부분을 컴파일된 비트스트림이 포함하도록 함으로써, 비트스트림들의 ROI에 특정된 세트 중의 컴파일된 비트스트림의 컴파일을 나타낸다. 도 7에서는, 예를 들어, 3개의 연속적인 영상 프레임들이 도시된다. 도 8은 하나의 그러한 영상 프레임(30), 비트스트림들(12)의 ROI에 특정된 세트(32) 및 영상 프레임(30)에 관련된 세트(32)의 각각의 비트스트림의 영상 부분(34)을 도시하고 있다. 영상 부분들(34)은, 번호 13 부분에 관련된 세트(32)의 비트스트림(12)에 대해 예시적으로 도시되는 바와 같이, 각각의 유닛이 각각의 영상 부분이 관련되는 부분(14)의 대응하는 파티션(38)을 인코딩하는 NAL 유닛(36)과 같은 하나 이상의 유닛으로 공간적으로 분할될 수 있다. 추출기(20)에 따라 함께 구성되는 경우, 구성된 비트 스트림(40)은, 액세스 유닛(42)을 갖게 되거나, 또는 본원의 다른 곳에서 사용된 바와 같이 파일 포맷 도메인에서 말하는, 영상 프레임(30)과 같은 각각의 영상 프레임에 대한 샘플을 초래한다. 각각의 액세스 유닛들(42)은 ROI(22) 내의 향상된 품질을 갖는 공간적으로 변하는 품질에서 영상 영역(16)으로 인코딩되고, 그리고 부분(14)마다 하나의 서브영상 부분(44)으로 세분되는데, 각각의 서브영상 부분(44)은 대응하는 영상 부분(32), 즉 동일한 부분(14)에 관한 영상 부분에 의해 형성된다.
도 4에 도시된 사전선택의 경우, 추출기(20)는 ROI와 연관되지만, 이 추출기(20)는 ROI(22) 내에서 품질을 향상시킨, 즉, 서브세트(18) 중에서 향상된 품질의 비트스트림들을 선택하는, ROI에 특정된 서로 다른 세트들(32)을 구성하는 데에 사용되는 것에 유의해야 한다. 즉, 원하는 ROI를 위해 클라이언트가 세트(32)를 선택할 수 있는 자유도가 존재한다. 매니페스트(24) 내의 ROI(22)에 대해, ROI에 특정된 서로 다른 세트(32) 중 하나를 이용하여 하나의 특정된 ROI(22)의 각각의 쌍을 정의하는, 도 3에 도시된, 적응 세트를 정의하는 경우, 추출기(20)는 해당 ROI 및 대응하는 ROI에 특정된 세트(32)에 연관되는 반면, 구체적으로, 또다른 추출기(20)는 전자의 세트(32)에 비해, 예를 들어, 해당 ROI 내의 부분들(14)에 관한 서브세트들(18) 중 선택된 비트스트림(12) 및/또는 해당 ROI 외부의 부분들(14)에 관한 서브세트들(18) 중 선택된 비트스트림(12)이 상이한, 해당 ROI(22)의 또다른 쌍 및 ROI에 특정된 또다른 세트(32)에 대응하여 존재할 수 있다. 또한, 아래에 언급되는 바와 같이, 하나 이상의 ROI(22)가 데이터(10)에서 예상될 수 있어서, 이들 ROIs의 각각에 대해, 하나 이상의 추출기(20)가, 대응하는 정보를 포함하는 매니페스트와 함께 데이터 내에 존재할 수 있다.
비트스트림들의 각각의 서브세트(18)의 각각의 비트스트림(12)의 영상 부분(34)의 코딩 페이로드 섹션은 각각의 영상 부분(34)에 대한 순차적인 변화를 재초기화하여, 평문 마스크 및/또는 블록-암호화 키의 순차적인 변화를 이용함으로써, 블록별 암호화를 이용하여 암호화된다. 즉, 비트스트림들의 컬렉션의 영상 부분들(34), 영상 영역(16)을 함께 커버하고 공통의 영상 프레임(30)에 모두 속하는 부분들(14)의 코딩 페이로드 섹션들을 암호화하는 대신에, 세트(32)에 대한 것과 같은 이들 사이의 순차적인 변형들을 순차적으로 재초기화하지 않고, 암호화는 각각의 영상 부분(34)에 대해 개별적으로 수행된다.
코딩 페이로드 섹션의 암호화는 영상(16)의 중앙의 부분(14)에 관한 서브세트들(18) 또는 예를 들어, 체스판 패턴과 같은 영역(16)에 걸쳐 분포된 모든 제2 부분(14)에 관한 서브세트들(18)과 같은, 비트스트림들의 하나 이상의 서브세트들(18)의 "암호화된 세트" 중 임의의 것에 속하는, 비트스트림들(12)의 영상 부분들(34)로 제한될 수 있음에 유의해야 한다.
도 9는, 예를 들어, 구성된 비트스트림(40)에 기여할 수 있는 영상 부분(34)을 도시한다. 이는 하나 이상의 유닛(36)의 시퀀스로 예시적으로 구성된다. 각각의 유닛(예를 들어, NAL 유닛)은 헤더(46) 및 페이로드 섹션(48)을 포함한다. 후자는 영상 부분(34)에 대응하고, 영역(16)의 부분(14)이 인코딩되는 모든 예측 파라미터 및 예측 잔차(residual) 관련 구문 요소를 포함할 수 있고, 전자는 자신의 페이로드 섹션(36)이 모션 정보 및 잔차 데이터를 인코딩하는 전체 파티션(38)에 대해 유효한 코딩 설정을 포함할 수 있다. 이어서, 서브-부분(44)을 형성하는 영상 부분(34)의 페이로드 섹션들(48)의 연결(concatenation)(50)이 암호화된다. 결정론적 방식으로, 평문 마스크 및/또는 블록-복호화 키의 순차적인 변형이 연결(50)의 블록별 암호화에서 발생한다. 즉, 연결된 데이터(50)는 도 1a 및 도 1b에서 평문 블록들로 지칭된 블록(52)으로 분할되고, 한 블록에서 다음으로, CTR이 발생하는 경우, 연속적인 평문 블록에 대한 상이한 블록-암호화 키를 획득하기 위해 암호의 점진적 변화(비-선형 전단사, non-linear bijection)가 입력된다. 즉, 특정한 일반 키에 의해 제어되는 비-선형 함수 또는 암호 함수(도 1b에서, CIPH로 지칭되는 함수이고, 일반 키는 키로 지칭됨)는, 하나의 평문 블록에서 다음으로 변경되는, 카운터로 불리는 증분 또는 카운터 값이 제공됨으로써, 암호화된 암호 블록을 각각 획득하기 위해 대응하는 암호화/복호화 키를 이용하여 XOR되는(XORed), 연속된 블록에 대한 서로 다른 암호화/복호화 키들을 획득하게 된다. 중간 암호화 키(연속된 평문 블록들 "평문"에 대한 도 4의 "출력 블록 #"에서의 출력)는 복호화에 사용되는 복호화 키와 동일하다. CBR에서, 선행하는 암호 블록, 즉 선행 블록(52)의 암호화된 버전은, 후자가 비-선형 전단사 함수를 이용하여 암호 화되기 전에 현재의 평문 블록을 마스킹하기 위한 평문 마스크로서 사용된다. 페이로드 섹션들(48) 사이의 경계가 블록 경계와 일치하도록 암호화의 블록 길이의 정수배에 대응하는 길이를 갖는 방식으로 섹션들(48)이 인코더에 의해 생성되었을 수 있다. 이는 전술된 경계 검출을 위한 복호화 및 파싱 알고리즘을 교대로 사용하는 경우에 특히 유리하다. 특히, 클라이언트와 같은 수신 엔티티는, 예를 들어, 연속된 페이로드 섹션들 사이의 경계들(54)뿐만 아니라, 연결(50)의 끝, 즉, 최종 페이로드 섹션의 끝에서의 경계(56)를 검출할 필요가 있다.
따라서, 비트스트림들의 RIO에 특정된 세트(32)는 아직 복호화되지 않은 형태이고, 추출기(20)는 암호화된 비디오 스트림을 함께 표현한다. 비트스트림들(12)의 ROI에 특정된 세트(32)는 비디오 영상 영역(16)의 부분들(14) 내에 인코딩되고, 추출기(20)는 이 세트(32)로부터의 컴파일된 비트스트림의 컴파일을 나타낸다. 세트(32)(또는 단순히 비트스트림들 중의 암호화된 세트의)의 각각의 비트스트림(12)의 영상 부분(34)의 코딩 페이로드 섹션(48)은 평문 마스크 및/또는 블록-암호화 키의 순차적인 변경을 이용한 블록별 암호화를 이용함으로써, 그리고 각각의 영상 부분에 대한 순차적인 변화를 재초기화함으로써, 암호화된다.
도 10은 타일-기반 비디오 스트리밍에 의해 ROI에 특정된 비디오 스트림을 다운로드하기 위한 장치(80)에 대한 일 실시예를 도시한다. 그러므로, 장치는 클라이언트 또는 클라이언트 장치로 지칭될 수 있다. 도시된 바와 같이, 장치는 DASH 클라이언트(82), 파일 핸들러(84) 및 복호기(86)의 연결로, 그리고 선택적으로 디코더(88)의 연결로 구성될 수 있다. DASH는 적응적 스트리밍 환경에 대한 예시일 뿐임에 유의해야 한다. 다른 것이 사용될 수도 있다. 파일 핸들러(84) 및 복호기(86)는 병렬로 동작할 수 있거나, 다르게 말하면, 엄격하게 순차적으로 동작할 필요가 없고, 이는 파일 핸들러(84), 복호기(86) 및 디코더(88)를 고려할 때에도 마찬가지로 적용된다. 이 장치는, 도 7과 관련하여 설명된 바와 같이, 모든 서브샘플들(44), 즉, 모든 부분(14)이 현재의 예상되는 ROI 또는 뷰포트와 무관하게 암호화되는, 다운로드된 구성 스트림(40)에서 종료될 수 있는, 준비된 비디오 장면을 처리, 즉 다운로드 및 복호화할 수 있다. 전술한 바를 언급하지 않고, 도 7의 데이터는 부가적인 추출기들(20)을 가지며, 하나 이상의 ROI에 대한 비트스트림(12) 세트들(32), 즉, 예를 들어 장면 내의 사용자의 시야 방향을 따를 수 있도록 영역(16) 상에 분포된 ROI들의 세트를 나타내는 매니페스트 파일(24)을 갖는다. 장치(80)는 예를 들어 인터넷과 같은 네트워크(90)를 통해 데이터(10)에 액세스할 수 있다.
DASH 클라이언트(82)는, 예를 들어 도 7의 22와 같은, 대응하는 뷰포트를 보고 있는 사용자가 현재 관심있는 ROI에 따라, 해당 ROI에 연관되는, 비트스트림들(12)의 ROI에 특정된 세트(32) 및 추출기 파일(20)을 식별하고 다운로드하기 위해, 매니페스트 파일(24)을 다운로드 및 검사한다.
파일 핸들러(84)는 추출기 파일(20)을 사용하여, 현재의 영상 프레임(30)에 관련된 영상 부분(34)을 각각의 비트스트림들로부터 추출하고, 각각의 비트스트림을 파싱하며 추출된 영상 부분들(34) 중 컴파일된 비트스트림(40)을 형성함으로써, 비트스트림들(12)의 ROI에 특정된 세트(32) 중 컴파일된 비트스트림(40)을 컴파일하며, 그 결과, 컴파일된 비트스트림(40)은 각각의 부분(14)에 대해 하나씩, 대응하는 서브영상 부분들(44)로 구성된다. ROI에 특정된 세트(32)의 비트스트림들을 수신하는 때에, 영상 부분들(5) 페이로드 섹션들은 여전히 암호화됨을 유의해야 한다. 그러나, 영상 부분들은, 파일 핸들러가 이들을 처리할 수 있도록 패킷화된다.
복호기(86)는, 평문 마스크 및/또는 블록-복호화 키의 순차적인 변경을 이용하는 블록별 암호화를 이용함으로써, 각각의 서브영상 부분(44)의 암호화된 코딩 페이로드 섹션(48)을 복호화한다. 이를 위해, 복호 기(86)는 복호될 각각의 서브영상 부분(44), 즉, 연결(50)의 시작부(92) 또는 제1 유닛(36)의 페이로드 섹션(48)의 시작 경계에서 순차적인 변경을 다시 초기화한다. 현재 복호화된 위치까지 각각의 서브영상 부분(44)의 코딩 페이로드 섹션을 파싱함으로써, 또는 다르게 말하면, 연결(50)의 페이로드 섹션(들)을 교대로 복호 및 파싱함으로써, 복호될 각각의 서브영상 부분(44)의 코딩 페이로드 섹션(들)의 경계들(54, 56)이 확인된다.
예를 들어, 도 11을 참조하면, 페이로드 데이터(50)의 제1 블록에 대한 순차적 변경을 위한 평문 마스크 및/또는 블록-복호화 키를 초기화한 후, 복호기는 예를 들어, 전술한 바와 같은 CTR 또는 CBR을 사용하여, 현재 블록을 복호(단계 100)하여 그 평문 버전을 획득하고 후속하여 후자를 파싱(단계 102)한다, 즉, 현재 암호화된 블록의 끝까지 현재 유닛(36)의 현재의 페이로드 섹션(48)에 대한 파싱을 진행한다. 단계(104)에서는 현재 블록(52)의 끝이 현재 페이로드 섹션(48)의 끝을 나타내는지 체크되고, 그렇지 않은 경우, 절차는 단계(106)로 진행되어 현재의 섹션(48)의 다음 블록(52)으로 넘어간다. 그러나, 만일 끝을 나타낸다면, 단계(108)에서 연결(50)의 마지막 섹션(48)의 끝에 도달했는지 여부가 체크되고, 도달했다면, 현재 섹션(48)의 경계 또는 끝이 탐색되었고, 현재의 서브영상 부분(44)에 대한 절차는 종료되고, 만일 도달하지 않았다면, 다음 섹션(48) 또는 다음 유닛(36)의 제1 블록이 단계(110)에서 진행된다. 기본적으로, 각각의 영상 부분(34) 또는 서브영상 부분(44)은 단지 하나의 유닛(36)으로 구성되고, 이 경우에는 단계들(108 및 110)이 생략될 수 있다. 그 결과, 이런 식으로, 절차는 페이로드 섹션(48)의 시작 및 끝을 탐색한다.
페이로드 데이터 섹션(48)은 도 2에서 비디오 슬라이스 데이터로 표시되었음에 유의해야 한다. 서브영상 부분(44)은 위에서 서브샘플로서 표시되었다. 매니페스트(24)가 ROI(2) 및 ROI에 특정된 세트(32) 간의 관계를 정의하는 방식에 유의해야 하고, 추출기는 도 4에 도시된 사전선택의 개념에 따른 것, 또는 도 3의 개념에 따른 것일 수 있음에 유의해야 한다. 또한, 전술한 설명은 가용한 전체 비디오 영상 영역(16)과 관련된 다운로드를 전제로 하고 있지만, ROI를 포함하는 그의 단지 하나의 섹션이, 다운로드되는 스트림(40)에 의해 커버될 수 있음을 또한 유의해야 한다. 즉, 각각의 서브영상 부분의 코딩 페이로드 섹션(48)의 또다른 블록(52)이 복호화될지 아닐지 여부를 판단하기 위해 복호화 및 계속되는 파싱이 교대로 수행됨으로써 경계들이 탐색된다.
사실상, 장치로부터의 파일 핸들러(84) 및 복호기(86)의 연결 또는 조합은, 비트스트림들(12)의 다운로드된 ROI에 특정된 세트(32) 및 대응하는 추출기(20)로부터 비디오 스트림을 복원하기 위한 것이다. 비디오 스트림은, 선택적으로 그 장치의 일부이거나 또는 아닐 수 있는 디코더(88)에 제공될 수 있다. 파일 핸들러는 추출기 파일(20)을 사용하여 컴파일을 수행하고, 복호기(86)는 도 11의 교대되는 파싱/복호 개념을 사용하여 코딩 페이로드 섹션(48)의 복호화를 수행한다.
이어서, 복호기(86)는, 컴파일된 비트스트림(40)으로부터 디코더(88)에 의해 디코딩되는 비디오 스트림을 복원하기 위한 장치를 나타내고, 상기 장치는 도 11의 교대되는 파싱/복호 개념을 이용하여 각각의 서브영상 부분(44)의 코딩 페이로드 섹션들을 복호하도록 구성된다.
설명된 바와 같이, 페이로드 섹션 경계들을 탐색하기 위해 도 11에 따라 코딩 페이로드 섹션(48)을 파싱하는 것은, 추출기(20)에 포함될 수 있으나, 잘못되었을 수 있고 단순히 파일 포맷 표준 부합을 위해서 존재할 수 있는 명시적인 경계 위치 정보의 무시를 수반할 수 있다.
이상의 실시예들은 다운로드된 모든 서브샘플들(44)의 암호화를 가능하게 하였다. 그러나, 다음에 설명되는 실시예들에 따르면, 암호화는 예를 들어, 하나의 서브샘플(44)에 집중될 수 있다. 실시예들을 넓혀 제공하기 전에 먼저, 다시, 명세서의 도입에서 전술된 설명이 재개된다. 특히, 여기서, 암호화된 서브샘플의 인덱스는 단일(하나의 / 가장 중요한 / 고해상도의)의 서브샘플 암호화를 교대로(또는 교대가 가능하도록) 어드레싱하는 데에 사용되는데, 이는 CTR 또는 cbc1 암호화 및 사전선택의 사용과 조합될 수 있다.
도 11에 도시된 서브샘플 식별 알고리즘에 기초하여, 매니페스트(24) 내의 사전선택을 갖는 암호화 기법은, 교대하는 방식으로 영상 평면(16) 내에서 변하는 타일들(14)에 대해 서브영상 단위로 암호화가 적용되어 달성되는데, 이는 타일들 및 영상들을 다음과 관련될 수 있는 전략으로 선택한다:
- 코딩 구조 및 의존성에 대한 상대적 '중요도'. 예를 들어, 보다 낮은 시간 레벨을 갖는 키 프레임은, 예를 들어, 에러 전파의 관점에서 디코딩 결과에 훨씬 더 중요하다.
- 도시된 콘텐츠의 상대적인 '중요도'. 예를 들어, 더 높은 해상도 타일들이 360° 비디오 어플리케이션에서 촬영된 현재의 또는 예상된 뷰포트 또는 디렉터들을 도시한다.
이러한 서브샘플 암호화를 가능하게 하기 위해, 복호기가 암호화된 서브샘플(44)을 식별할 수 있도록, 암호화된 서브샘플에 대한 인덱스가 시그널링된다. 예를 들어, 복호기가 암호화된 서브샘플의 시그널링된 인덱스에 도달할 때까지 복호기는 샘플(42) 내의 서브샘플(44)을 통과하면서 단순히 카운트할 수 있고, Part 15 헤더로부터 NALU 길이를 수집하고, 도 11과 관련하여 교시된 바와 같이 복호화할 바이트 수를 식별함으로써, 해당 서브샘플(44)의 섹션(48)을 복호할 수 있다. 일 실시예는 OMAF 사양의 경우, 암호화된 서브샘플(44)의 인덱스를 나타내거나, 또는 SAI 로부터 암호화된 바이트 및 암호화되지 않은 바이트를 유도하는 데에 사용되는 공통 암호화 [3]에 정의된 'sene' 박스를 개선하기 위해, FF 박스를 정의하는 것이다. 현재의 'sene' 박스는 다음과 같이 정의된다:
Figure pat00003
일 실시예는 부정확한 바이트 범위들의 시그널링을 생략하고 대신에 다음과 같이 암호화된 서브샘플들의 인덱스들을 나타내는 'sene' 박스의 새로운 버전이다.
Figure pat00004
여기서, EncryptedSubsamplelndex는 현재 샘플(42) 내의 암호화된 서브샘플(44)을 가리킨다.
방금 설명된 변경은 도 7 내지 도 11을 참조함으로써 설명될 수 있는 실시예들로 이어진다. 이러한 추상화된 실시예들의 이하의 설명은 이들 도면들에 대해 지금까지 설명된 실시예들에 대한 수정들에 초점을 맞춘다. 특히, 다운로드된 스트림(40)의 모든 서브샘플들(44)이 하나의 샘플(42) 내에서 암호화되는 것은 아니며, 오히려 하나의 서브샘플(44)이 암호화된다. 예를 들어, "관심있는" 장면 콘텐츠에 대응하고, 하나의 서브세트(18) 내의 임의의 비트스트림들(12)에 속하는, 대응하는 영상 프레임(30)의 영상 부분들(34)이 암호화되어, 다운로드된 스트림(40) 내에서 대응하는 암호화된 서브샘플(44)을 야기하도록, 즉시 또는 특별히 요청된 ROI(22)에 대해 암호화하기 전에 특정한 서브샘플이 결정되었을 수 있다.
이를 고려하여 도 7을 참조하면, 후자의 대안에 따라, 타일-기반 비디오 스트리밍에 의해 ROI에 특정된 비디오 스트림을 다운로드하기 위한 데이터의 컬렉션(10)은, 비디오 영상 영역의 각각의 부분(14)이 서로 다른 품질로 비트스트림들(12)의 서브세트(18)로 인코딩되도록 비디오 영상 영역(16)의 부분들(141) 중 하나로 각각이 인코딩되는 비트스트림들(12)과, 비디오 영상 영역의 ROI(22)와 연관되는 적어도 하나의 추출기(20)와, 미리 결정된 ROI(22)에 대해, 예를 들어, ROI(22) 내부의 품질이 그 외부에 비해 더 높은 관점에서 ROI에 포커싱하는 방식으로 비디오 영상 영역(16)의 부분들(14)에 인코딩되는 비트스트림들(12)의 ROI에 특정된 세트(32)를 식별하는 매니페스트 파일(24)을 포함한다. 상기 추출기(20)는 상기 설명된 방식으로 ROI에 특정된 세트(32)로부터 컴파일된 비트스트림(40)의 컴파일을 나타낸다. 그러나, 미리 결정된 서브영상 부분(40)은 컴파일된 비트스트림(40) 중 서브영상 부분들(44)로부터 식별된다. 이는, 비트스트림들의 서브세트들(18)로부터 비트스트림들의 미리 결정된 서브세트를, 또는 동일하게는, 미리 결정된 부분(14)을 식별하여, 비트스트림들(12) 중 미리 결정된 서브세트(18)의 선택된 비트스트림(12)의 영상 부분(34)이, 즉, ROI에 특정된 세트(32)에 포함된 부분이, 암호화되고 이어서 복호될, 미리 결정된 서브영상 부분(44)이 되게 함으로써 수행될 수 있다. 시그널링은 전술된 바와 같이 추출기(20)에 포함될 수 있다. 그러나, 대안적으로, 이러한 시그널링은 서브영상 부분들(40)에 의해 구성될 수 있다. 비트스트림들(12) 중 미리 결정된 서브세트(18)의 비트스트림들(18)의 영상 부분(34)의 코딩 페이로드 섹션은, 즉 미리 결정된 부분(14)에 대응하는 서브세트는, 해당 서브세트(18) 내의 모든 비트스트림(12)에 대해 암호화되어, 다운로드된 스트림(40)은 ROI에 특정된 세트(32)에 따른 해당 부분(14)에 대해 선택된 품질에 상관없이, 미리 결정된 부분에 대해 암호화된 서브영상 부분 또는 서브샘플(44)을 포함하게 된다.
후자의 실시예에 따라 다운로드된 데이터는 비트스트림들(12)의 ROI에 특정된 세트(32) 및 추출기(20)를 포함하는 비디오 스트림을 나타내는데, 여기서 비트스트림들(12)의 ROI에 특정된 세트(32)는 비디오 영상 영역의 부분들(14) 내에 인코딩되고, 추출기(20)는 위에서 설명된 방식으로 비트스트림들(12)의 ROI에 특정된 세트(32)로부터 컴파일된 비트스트림(40)의 컴파일을 나타낸다. 이 컴파일된 비트스트림 내의 미리 결정된 서브영상 부분(44)은, 추출기(20) 또는 서브영상 부분들(44) 중 적어도 하나에 포함된 시그널링에 의해, 컴파일된 비트스트림(40)의 서브영상 부분(44)으로부터 식별된다. 미리 결정된 서브영상 부분의 코딩 페이로드 섹션은 암호화된다.
대응하는 대안적인 실시예에 따라, 도 7의 재해석에 부합하는 도 10은, 타일-기반 비디오 스트리밍에 의해 ROI에 특정된 비디오 스트림을 다운로딩하기 위한 장치, 즉 단순히 식별된 서브영상 부분의 암호화와 관련한 상기 설명과는 상이한 클라이언트를 도시한다. 즉, DASH 클라이언트는 원하는 ROI(22)에 따라, 추출기(20)와 함께, 비트스트림들(12)의 ROI에 특정된 세트(32), 즉 이전 단락에서 설명된 비디오 스트림을 식별 및 다운로드하기 위해 매니페스트 파일(24)을 검사한다. 파일 핸들러(84)는 추출기(20)를 이용하여, 각각의 비트스트림들로부터 현재의 영상 프레임(30)에 관련된 영상 부분(34)을 추출하고, 각각의 비트스트림(12)을 파싱하며 추출된 영상 부분들(34)로부터 컴파일된 비트스트림(40)을 형성함으로써 비트스트림들(12)의 ROI에 특정된 세트(32)로부터 컴파일된 비트스트림(40)을 컴파일하며, 컴파일된 비트스트림(40)은 해당 컴파일된 비트스트림이 형성되는 비트스트림들(12)의 ROI에 특정된 세트(32)의 각각의 영상 부분(34)에 대한 그리고 그에 의해 형성되는 서브영상 부분(44)을 포함한다. 복호기(86)는 전술된 바와 같이, 이상의 EncryptedSubsamplelndex로 불리는 시그널링을 갖는 추출기 또는 서브영상 부분들 중 적어도 하나 내에 있을 수 있는 시그널링에 기초하여 현재의 영상 프레임(30)에 대한 컴파일된 비트스트림(40)의 서브영상 부분들(40) 중 미리 결정된 서브영상 부분(44)을 식별한다. 그 뒤, 복호기(86)는 도 11에서 설명된 교번적인 파싱-복호화 프로세스에 의해 복호화될 미리 결정된 서브영상 부분(44)의 코딩 페이로드 섹션(48)의 경계를 탐색함으로써 미리 결정된 서브영상 부분(44)의 코딩 페이로드 섹션(48)을 복호화한다. 마찬가지로, 파일 핸들러(84) 및 복호기(86)는 함께, 추출기(20)를 사용하여 컴파일링을 수행하고, 추출기 파일 또는 서브영상 부분들 중 적어도 하나에서의 시그널링을 기초로 하여 미리 결정된/암호화된 서브영상 부분(44)을 식별함으로써, 비트스트림들의 ROI에 특정된 세트(32) 및 추출기(20)로부터 비디오 스트림을 복원하기 위한 장치를 형성한다. 그 뒤, 도 11에 따라 경계 검출을 수행함으로써 암호화된 서브영상 부분의 코딩 페이로드 섹션(48)을 복호화한다.
이어서, 복호기(86)는 비트스트림(40)으로부터 비디오 스트림을 복원하기 위한 장치를 나타내는데, 여기서, 상기 장치는 외부로부터 내부로의(즉, 추출기(20) 내의 시그널링으로부터 얻어진 정보를 전달하는 파일 핸들러(84)로부터의, 또는 그 자체가 서브영상 부분(44)에서의 시그널링으로부터 전달되는) 시그널링에 기초하여 암호화된 서브영상 부분(44)을 식별하도록 구성된다. 그 뒤, 도 11의 경계 검출을 형성하면서 암호화된 서브영상 부분(44)의 코딩 페이로드 섹션(48)의 복호화를 수행한다.
이러한 시그널링은, 샘플(42) 내에서의 순위(rank)의 형태로 컴파일된 비트스트림(40)의 현재의 샘플(42) 중 서브샘플(44)로부터 암호화된 서브샘플(44)을 인덱싱 또는 어드레싱하여, 복호기(84)가 샘플(42)에서의 n번째(n은 시그널링에 의해 표시되는 순위임) 서브샘플(44)을 검출하기 위해 현재 샘플(42) 내의 서브샘플들(44)을 카운트하게 할 수 있다.
몇몇 영상 프레임들에 대한 암호화된 서브영상 부분의 식별은, 암호화된 서브영상 부분(44)이 서로 다른 부분들(14)에 대응하는 영상 프레임들(30)을 상기 몇몇 영상 프레임들이 포함하게 하는 방식으로 및/또는 상기 몇몇 영상 프레임들이 정확히 하나의 암호화된 서브영상 부분(44)이 존재하는 제1 영상 프레임들과, 상기 제1 영상 프레임들 사이에 산재되고 암호화될 서브영상 부분이 전혀 식별되지 않는 제2 영상 프레임들을 포함하는 방식으로 수행될 수 있다. 즉, 일부 프레임의 경우, 임의의 부분(14)에 대하여 암호화가 전혀 발생하지 않을 수 있다.
다시, 도 7 내지 도 11에 관련하여 위에서 먼저 설명된 모든 세부사항들은, 전부 또는 2 이상의 서브샘플들이 암호화되는 것에 관한 모든 세부사항들을 제외하면 1개의 서브샘플 암호화 변경에 관하여 설명된 실시예들에도 또한 적용될 것이다.
도 11에 관해 명시적으로 언급하지 않았지만, 단계(104)에서 섹션 1(48)의 후미 경계 또는 끝에 도달한 이후 복호화를 재개(106)하는 경우 복호기(86)는, 후속 유닛(36)의 페이로드 섹션(48)의 시작을 검출하기 위해 후속 유닛(36)의 슬라이스 헤더(46)를 파싱할 수 있음에 유의해야 한다.
다음으로, 암호화된 범위들(48)을 검출하기 위한 교대되는 복호화/파싱 절차를 필요로 하지 않는 전술한 실시예들의 변경들이 설명된다. 다음에 설명되는 사전선택을 이용한 'cbcs' 모든 서브샘플 암호화를 가능하게 하는 확장된 SAI 변형을 사용하면, 이러한 1cbcs, 즉, 사전선택을 이용한 모든 서브샘플 암호화가 가능해지지만, 슬라이스 헤더를 파싱할 필요가 없을 것이다. 다음 변형에 따르면, 추출기 트랙 내에서 보호되지 않는 데이터 범위 및 보호되는 데이터 범위의 명시적인 시그널링 또는 직접적인 유도가 가능해진다.
먼저, 암호화된 바이트 범위를 유도하기 위한 NAL 길이(즉, 추출된 바이트)를 사용하는 'sene' 박스 확장이 설명된다. 전술한 바와 같이, 구성된 비트스트림(32) 내의 개별적인 서브샘플들의 크기들은 사전선택이 사용되는 경우 추출된 데이터에 따라 변할 수 있다. 비디오 비트스트림 구조는 암호화된 바이트 범위, 특히 Part 15 NALU 길이 헤더를 유도하는 데에 사용될 수 있다. 일 실시예는 다음과 같이 박스의 제2 버전을 정의하는 것이다.
Figure pat00005
이 실시예에서, 서브샘플은 NAL 유닛과 동일해야 한다는 단순화가 전제된다. 서브샘플의 크기는 NALU 길이에 의해 결정된다. 이는 샘플의 제1 위치(예를 들어, 첫번째 4바이트)(샘플 내의 제1 서브샘플의 경우 적용됨) 및 위치 Pos_i=Sum{i=1..N}( NALULengthi) (샘플 내의 나머지 서브샘플의 경우)에서 탐색된다. BytesOfProtectedData의 길이는 WholeDataClear가 1이 아닌 경우, 서브샘플-BytesOfClearData의 길이로서 유도된다. WholeDataClear가 1인 경우, BytesOfProtectedData는 0과 같을 것으로 추정되고, BytesOfClearData는(비록 이 경우에 박스/구문에서 0으로 시그널링되겠지만) Part 15 NALU 길이 헤더로부터 유도된 서브샘플 길이와 같을 것으로 추정된다.
즉, 도 10을 참조하여 전술한 장치들에 대한 모든 실시예들에 따르면, 도 11에 따라 교대되는 복호화 및 파싱을 이용한 경계 검출은 다음의 방식으로 불필요하게 렌더링될 수 있다: 데이터(10)의 비트스트림들(12)은 암호화된 비트스트림들(12)의 모든 영상 부분들(34)이 단지 하나의 유닛(36)(NAL 유닛)으로 구성되도록 생성된다. 즉, 서브세트(18)가 암호화되는 부분(14)마다, 현재 프레임(30)의 영상 부분당 하나의 NAL 유닛만이 존재한다. 구성된 비트스트림의 각각의 서브샘플(44)은 영상 부분(즉, 동일하게, ROI에 특정된 세트(32)에 속하는 비트스트림(21)의 일부인 경우)에 의해 형성되기 때문에, 각각의 암호화된 서브 샘플(44) 또한, 하나의 NAL 유닛 길이이다. 위의 대안들에 유의해야 한다: 프레임(30)마다 암호화된 서브샘플들은 전부이거나 또는 단지 하나일 수 있다. 그 뒤, 교대되는 복호화/파싱 경계 검출은 이들 서브영상 부분들(44) 내의 헤더로부터, 즉 NAL 유닛 헤더(46)로부터, 암호화된 서브영상 부분들(44)의 코딩 페이로드 섹션(48)의 길이의 간단한 유도에 의해 대체될 수 있다. 길이 표시와 관련하여 암호화된 서브샘플들(44)의 헤더들을 파싱하는 프로세스는 쉽게 수행되고, 서브샘플들 및 NAL 유닛들 사이의 일대일 대응에 의거하여 즉시 이루어질 수 있으며, 이 정보는 길이 표시가 암호화된 서브샘플의 시작에 훨씬 많이 위치하는, 대응하는 단 하나의 NAL 유닛에서의 길이 표시에 기초하여 유도될 수 있다.
교대되는 복호화/파싱 경계 검출을 피하기 위한 다른 옵션은 CENC로 불리는 것일 수 있다: "FF-'senc' 유래 박스"는 각각, 임의의 서브영상 트랙 또는 비트스트림(12)으로부터 추출기 트랙 또는 구성된 비트스트림(40)으로의 서브샘플 크기를 유래하는 데에 사용된다.
이 옵션의 목적은 의존성 트랙들(세트(32)의 비트스트림들(12))로부터 서브샘플 값들을 유도하는 유래 박스를 정의하는 것이다. 의존성 트랙들은 'moov' 박스, 즉 추출기(20) 내의 'tref' 박스에서 시그널링된다. 이 정보는 의존성 트랙들로부터 샘플들을 얻는 데에, 그에 의해, 구성된 비트스트림(40)의 서브샘플들(44)이 되는 데에 사용된다. 유사한 방식으로, BytesOfProtected Data는 몇몇 힌트(예를 들어, 이를 찾기 위한 오프셋)를 갖는 의존성 트랙의 박스(예를 들어, 'sene')로부터 유래될 수 있고, BytesOfClearData는, 항상 동일한 크기를 가지며 사전선택을 사용하는 경우 사용되는 표현과는 독립적이므로, 상기 유래된 박스 내에서 시그널링될 수 있다. 따라서, 서브샘플을 운반하는 의존성 트랙 내에 시그널링된 정보로부터의 'sene' 관련 정보의 유래가 가능해진다. 이 정보를 수집하기 위한 힌트는 추출기(20)에서 시그널링된다. 도 12에 도시된 바와 같이, 도 12는 상이한 비트레이트 버전들을 갖는 3개의 표현들을 각각 포함하는 타일당 하나의 적응 세트 및 추출기 트랙을 갖는 하나의 적응 세트(최우측)를 갖는 MPD 구조를 도시한다. "유래된 'senc'"라고 불리는 박스는 클라이언트 측에서 선택된 바와 같이 각각의 타일 표현 내의 'sene' 박스로부터 보호되는 데이터의 바이트 범위를 유래한다.
즉, 도 10을 참조하여 전술된 장치들에 대한 모든 실시예들에 따르면, 도 11에 따라 교대되는 복호화 및 파싱을 이용한 경계 검출은 다음의 방식으로 불필요하게 렌더링될 수 있다: 데이터(10)의 비트스트림들(12)은, 암호화된 비트스트림들(12)의 모든 영상 부분들(34)이 각각의 영상 부분의 유닛들의 페이로드 섹션들을 나타내는 파일 포맷(FF) 박스들에서와 같은 정보를 수반하도록 생성된다. 이는, ROI에 특정된 세트(32)에 속하는 서브세트(18)의, 구성된 비트스트림의 서브샘플(44)로부터 얻어져야 하는 비트스트림(12)에 관계없이, 정보가 추출기(20)로부터 참조될 수 있게 하는 방식으로 수행된다. 예를 들어, 서브스트림들의 영상 부분들 사이에 함께 배치되는 것은 동일한 서브세트(18)에 속하고 동일한 프레임(30)에 속한다. 그 뒤, 교대되는 복호화/파싱 경계 검출은 세트(32) 내의 비트스트림들(12)로부터의 이 정보를 유래함으로써 암호화된 서브영상 부분들(44) 내의 코딩 페이로드 섹션들(48) 위치의 간단한 유도에 의해 대체될 수 있다. 즉, 각각의 서브영상 부분(44)이 속하고 암호화된 영상 부분(34)이 추출되는 비트스트림(12) 내에 시그널링된 비트스트림 길이 또는 포인터 표시가 그 안의 경계들(54, 56)을 검출하는 데에 사용된다.
어떠한 경계 검출 대안이 사용되든지 간에, 클라이언트 장치(10)는, 잘못되었을 수 있고 단지 표준에 부합하기 위해 존재할 수 있는, 또는 다르게 말하면, 예를 들어, 표준에 따라 필수적이기 때문에 그러나 각각의 적응 세트 내에서의 표현들 중에서 선택함에 있어서 사전선택-유래의 자유로 인해 정확하지 않을 수 있는, 추출기(20) 내의 명시적인 경계 위치 정보를 무시할 수 있다.
다음으로, 전술된 실시예들의 가능한 확장들이 제시된다. 이들은 서브샘플 초기화 벡터를 이용한 'ces2'-CTR 기반 암호화로 지칭될 수 있다.
여기서, CTR 기반 서브영상 암호화 기법은 각각의 타일들의 암호화된 데이터 스트림들의 독립을 허용하는 암호화 메타데이터(즉, 서브샘플 초기화 벡터(들)마다 각각의 서브샘플에 대한 암호화 체인의 재-초기화를 허용하는 수단)로 보강된다. 도 13은 블록 연산도의 관점에서 이를 도시한다. 샘플마다 IV 대신에, 서브샘플 IV(IVAJVBJVC)를 사용하고 각각의 카운터들을 유지하여, 샘플의 각각의 서브샘플(N, N+1, N+2...)에 대한 암호화 체인이 재시작된다.
CBC 기반 'cbcs' 기법에 사용될 수 있는 비교 접근법은 샘플의 모든 서브샘플에 대해 하나의 IV를 사용하는 것이다. 이는 평문 블록이 유사할 경우, 각각의 서브샘플의 초기에서 유사한 암호문 블록을 초래하는 단점을 갖는다.
현재 설명된 가능성들은 클라이언트 측에서 다양한 서브샘플마다의 IVs들을 유도하기 위한 다양한 모드들을 수반한다. 먼저, IVs는 아래에 주어진 바와 같이 'sene' 박스의 새로운 버전에서 명시적으로 시그널링될 수 있다.
Figure pat00006
다른 가능성은 기존의 'sene' 박스에서와 같은, 그러나 추가적인 서브샘플 의존성 오프셋을 갖는, 샘플당 하나의 시그널링된 IV에 기초하여 클라이언트 측에서 서브샘플 IVs를 유도하는 것이다. 이 경우, 오프셋은 다음 중 하나일 수 있다.
- N 바이트 카운터에 대한 수치 함수를 통해 계산될 수 있다(예를 들어, 오프셋 = subsample_index*((2(N*8)- 1)/subsample_count).
- 사전-배열된 의사-랜덤 시퀀스의 subsampleIndex-번째 엔트리로부터 유도될 수 있다.
도 7 내지 도 11에 관련하여 전술한 실시예들 및 도 12에 관해 설명된 그 변형을 요약하면, 현재 영상 프레임(30) 내의 각각의 영상 부분(34)에 대한 재초기화는 서로 다른 초기화 상태들에 기초할 수 있다. 즉, 2 이상의 서브세트(18)의 비트스트림들(12)을 암호화하는 경우에, 서로 다른 초기화 상태들이 각각의 서브세트(18)에 대해 하나씩, 이들 서브세트들에 대해 사용된다. 그에 의해, 서로 다른 초기화 상태들은 구성된 비트스트림 내의 암호화된 서브영상 부분들(44) 각각에 대해 유도된다. 서로 다른 초기화 상태들은 앞서 샘플당 하나의 시그널링되는 IV로 지칭되는, 현재 영상 프레임에 대한 기본 초기화 상태에 대해 서로 다른 변경들을 적용한 결과일 수 있다. 따라서, 도 8과 관련하여 전술한 장치들은, 현재의 영상 프레임(30)에 대한 기본 초기화 상태에 대해 서로 다른 변경들을 적용함으로써, 액세스 유닛(4) 또는 현재 프레임(30)마다 서브영상 부분들(44)의 암호화된 서브세트에 대한 서로 다른 초기화 상태들을 유도할 수 있다. 각각의 서브영상 부분(44) 또는 서브세트(18)에 대한 서로 다른 변경들은 각각의 서브영상 부분(44) 또는 서브세트(18)가 관련되는 비디오 영상 영역(16)의 부분(14)에 따라서, 또는, 각각의 서브영상 부분(44) 또는 서브세트(18) 또는 부분(14)의 인덱스에 따라서, 각각 유도될 수 있다. 계산 또는 테이블 룩업은 위에 설명된 바와 같이 이러한 목적을 위해 사용될 수 있다. 인덱스는 위에서 서브샘플 인덱스로 지칭되었다. 추출기(20)는 현재 영상 프레임(30) 내의 각각의 영상 부분(34)에 대한 초기화 상태를 시그널링하는 초기화 상태 리스트를 포함할 수 있다. 초기화 상태는 각각의 영상 부분이 속하거나 유래되는 비트스트림 내에서 더 시그널링될 수 있다.
다음의 설명은 본 출원의 다른 측면에 초점을 맞춘다. 특히, 여기서, 실시예들은 사전선택 적응 세트들의 사용과 관련된 문제를 극복하도록 구성되는데, 즉, 사전선택 적응 세트에 의해 출력 영상 영역의 각각의 영역들에 대해 할당되는 각각의 영상 부분에 특정된 적응 세트 중 하나의 표현을 선택함으로써 클라이언트를 위해 이러한 사전선택 적응 세트들에 의해 제공되는 조합적 옵션들이 이러한 조합적인 옵션들 간의 품질 순위의 관점에서뿐만 아니라 이들이 대응하는 출력 영상 영역의 둘레 내의 ROI의 전체적인 위치의 관점에서 이해하기 어렵다는 문제를 극복하도록 구성된다. 다음 실시예는 이러한 문제를 극복하도록 구성된다. 암호화/복호화 관련 실시예들에 관하여 앞서 수행된 바와 같이, 이하의 설명은 본 출원의 명세서의 개요 부분에서 설정된 설명들을 전제로 시작하여, 개요 부분에서 설정된 기술들의 가능한 변경들을 제시한다. 이후에, 이러한 변경들에 의해 표현되는 실시예들은 더 넓은 실시예들에 의해 확장된다.
특히, 방금 언급된 문제를 다루기 위해, 다음과 같은 솔루션이 사용될 수 있다:
제1 실시예: 도 14에 도시된 바와 같이, 영역별 품질 디스크립터에 대해 max_quality_ranking 및 min_quality_ranking 속성을 부가한다.
제2 실시예: 도 15에 도시된 바와 같이, 품질 값들의 범위를 나타내는 플래그를 적응 세트 내에만 부가한다.
표현들에 걸쳐 서로 다른 영역의 품질들의 의미를 해석하는 것은 어렵기 때문에, 국부적인 quality_ranking이 서로 다른 값들을 갖는 RWQR 디스크립터에 정의된 영역들을 갖는 것은 바람직하지 않을 것이다. 따라서, 적응 세트 내의 모든 RWQR 디스크립터들이 local_quality_ranking에 대하여 동일한 값을 갖도록 할 수 있다. 대안적으로, 시그널링은 RWQR 디스크립터로부터 이루어질 수 있고, MPD에서(예를 들어, 적응 세트 레벨에서) 이를 부가할 수 있다.
제3 실시예: 표현을 위해 표시되는 qualityRanking에 델타(delta)로서 RWQR을 부가한다.
동일한 뷰포트를 갖는 모든 표현들을 적응 세트 내에서 포커스로서 그룹화하는 것이 바람직할 것이다. 따라서, 영역이 강조되는 주어진 적응 세트를 나타내고, 각각의 영역에 대한 품질 관계를 설명하는 것이 유용하다. 이러한 표시는 그룹화 메커니즘으로 사용될 수 있다. 예를 들어, 도 16에서, 2개의 영역들 및 1의 품질 차이를 갖는 3개의 표현들이 지정되는 반면, 각각의 표현은 서로 다른 비트레이트로 인코딩되고, 따라서 서로 다른 품질들을 갖는다(Rep1 = 3,4; Rep2 = 2,3; Rep3 = 1,2).
이 예에서는, RWQR1의 영역이 RWQR2과 같이 양호한 품질을 가지며, 이를 시그널링하기 위해 영역별 품질 디스크립터가 적응 세트 레벨에서 사용되는 것으로 가정한다. 따라서, RWQR은 표현들을 그룹화하고 영역들의 품질 관계를 나타내기 위해 사용된다. 이는 표현들 자체에 대해 표시되는 품질 순위에 대한 델타(delta)/오프셋으로서 수행된다. 그러므로, 동일한 적응 세트 내의 모든 표현들로부터의 @qualityRanking 속성들은 영역별 품질 순위 디스크립터들(RWQR1 및 RWQR2)과 함께 상기 영역들의 실제 품질 값들을 계산하는 데에 사용된다.
영역별 품질 순위 디스크립터들이 위치하는 적응 세트 내에서 표현들 및 그들의 @qualityRanking 속성들이 동일한 관계(제안된 RWQR의 시그널링된 델타)를 갖는 방식으로 의존성 Id들(dependencyIds)이 사용되는 경우, 상기 설명된 디스크립터를 타일-기반 스트리밍에 적용하는 데에 옵션이 적용될 수 있다. 예를 들어, RWQR1 및 RWQR2 값들이 1의 델타/오프셋 값을 정의하는 경우, 품질 순위 속성들은 항상 동일한 관계를 가져야 한다.
분명히, 다른 뷰포트 의존성 솔루션에도 동일한 접근법이 사용될 수 있다. 만일 예를 들어, 360°비디오의 일부가 피라미드의 베이스에 맵핑함으로써 강조되는 정사각뿔대 투사(truncated square pyramid projection, TSP)(도 17의 투사를 위한 예시를 참조하라)의 경우와 같은 특정한 투사법을 사용하여 뷰포트 의존성이 달성되는 경우, 피라미드의 베이스는 피라미드의 다른 면들보다 고해상도를 갖는다. 이러한 경우에, 영역별 품질 순위 디스크립터들은 해당 투사의 영역들의 품질에서의 관계를 시그널링하는 데에 사용된다. 예를 들어, 도 17에서, 전면(RWQR1 디스크립터로 표현됨)의 영역은 나머지 모든 면들(RWQR2)에 대해 보다 양호한 품질을 갖는다.
방금 설명된 변경 실시예들에 대한 특정한 확장된 실시예들을 설명하기 위해, 이하의 실시예들이 다루는 일반적인 환경을 나타내는 도 18에 대한 참조가 이루어진다. 부분적으로, 도 1 내지 도 17의 설명과 관련하여 사용된 도면부호들은 도 18의 설명과 관련하여 재사용된다. 이러한 재사용은 이하의 설명의 용이한 이해를 돕기 위해 사용되지만, 예를 들어, 암호화/복호화에 대해 이상에서 설정된 세부사항들이 이하 설명되는 실시예들로 자연히, 호환가능할 수 있어야 함을 의미하는 것은 아니다.
도 18은 타일-기반 스트리밍을 이용하여, 서버 등으로부터 비디오 콘텐츠를 다운로드하기 위한 다운로드 장치 또는 클라이언트(80)를 도시한다. 다운로드 장치(80)의 내부 구조가 도 10에 도시된 것과 반드시 대응하지는 않는다. 그러나, 다운로드 장치(80)는 도 10에 도시된 바와 같이 예를 들어, 대시 클라이언트(82)를 포함할 수 있고, 선택적으로는 파일 핸들러(84) 및 선택적으로 디코더(88) 및 심지어 선택적으로 복호기(86)를 더 포함할 수 있다. 다운로드 장치(80)는 네트워크(90)를 통해, 복수의 비트스트림들(12) 및 매니페스트 파일(24)을 포함하는 데이터(10)에 대한 액세스를 갖는다. 비트스트림들(12)은 타일 또는 부분-기반 방식으로 인코딩되는 비디오 영상 영역(16)을 갖는다. 이를 위해, 비트스트림들(12)은 각각의 서브세트(18)가 비디오 영상 영역이 분할되는 특정 부분 또는 타일(14)과 연관되는 서브세트들(18)로 분할되는데, 하나의 서브세트(18)의 비트스트림들(12)은 서로 다른 품질로 인코딩된, 연관된 동일한 부분/타일(14)을 갖는다. 전술한 바와 같이, 품질은 SNR, 공간 해상도 등의 측면에서와 같은 다양한 측면 중 하나 이상에서 서로 다를 수 있다. 이해의 편의를 위해, 단지 2개의 부분들/타일들(14)이 도 18에 도시되어 있으며, 이에 의해 도 6에 도시된 경우에 대응한다. 도 6에 더 대응하게, 도 18은 각각의 서브세트(18)가 6개의 상이한 비트스트림들(12)을 포함하는 예시적인 경우를 도시한다. 매니페스트 파일(24)을 통해, 각각의 비트스트림(12)은 적응 세트들(200), 소위, 장면-부분 또는 영상-부분에 특정된 적응 세트들 중 적어도 하나 내의 표현으로서 클라이언트(80)에 표시된다. 도 18에서, 도 6에 도시된 적응 세트들(1 내지 4)에 대응하여, 각각의 타일(14)에 대해 2개의 그러한 부분-특정된 적응 세트들(200)이 존재하지만, 타일(14)당 적응 세트들의 개수는 2로 제한되지 않고, 부분들(14) 중에서도 달라질 수 있음을 이해해야 한다. 또한, 물리적 비트스트림들(12)은 부분적으로 2 이상의 적응 세트들(200)에 할당될 수 있거나, 다르게 말하면, 2 이상의 적응 세트(200)에 의해 공유되는 표현을 나타낼 수 있음에 유의해야 한다. 솔직히 말해서, 하나의 서브세트(18)에 속하고, 따라서, 동일한 장면 부분(14)을 참조하는 표현들(12)의 그룹화는, 하나의 적응 세트(200)에 속하는 표현들이 다른 적응 세트에 속하는 동일한 서브세트(18)의 표현들보다 적어도 평균적으로 품질이 더 높게 하는 방식으로 수행된다. 심지어, 서브세트(18)의 표현들(12)의 적응 세트들(200)로의 그룹화는, 해당 서브세트(18)의 하나의 적응 세트(200)의 임의의 표현이 다른 적응 세트 내의 다른 표현에서보다 품질이 더 높게 하는 방식으로 수행될 수 있다. 그러나, 이는 필수적인 것은 아니며 이하 제공된 설명으로부터 더 명확해질 것이다.
매니페스트 파일(24)은 적어도, 제1 파라미터 세트들(202), 즉 각각의 적응 세트(200)에 대한 하나의 파라미터 세트를 포함한다. 각각의 파라미터 세트 #i(202)는 각각의 이러한 적응 세트들(200) 내의 표현들(12)이 동일한 장면 부분(14) 내에, 그러나 서로 다른 품질들로 인코딩되도록, 이러한 적응 세트 #i와 하나의 서브세트(18) 내의 표현들(12)의 특정한 서브그룹을 연관시킴으로써, 대응하는 장면-부분에 특정된 적응 세트 #i(200)를 정의한다. 이러한 파라미터 세트들(202) 각각은, 각각의 파라미터 세트가 정의하는 적응 세트 내의 각각의 표현(12)에 대한 품질 레벨, 또는 품질 레벨을 나타내는 구문 성분(204)을 포함한다. 이를 위해, 적응 세트 #i를 정의하는 파라미터 세트(202)는 해당 적응 세트(i) 내의 각각의 표현 #\에 대한 품질 레벨 Qi(j)을 갖는다. 이는 또한 도 6에서, 적응 세트 1이 부분/타일 1에 대응하고 적응 세트들 2 및 5가 부분/타일 2에 대응하는, 대응하는 적응 세트들(1, 2, 4 및 5)에 도시되었다. 여기서, Q는 각각의 우선순위 세트(202)에 의해 표시되는 품질 레벨에 대응한다.
또한, 매니페스트 파일(24)은 사전선택 적응 세트들을 정의하는 파라미터 세트들(206)을 포함한다. 각각의 사전선택 적응 세트(208)는 타일에 특정된 적응 세트들(200) 중 하나를, 출력 영상 영역의 각각의 영역들에 할당한다. 이렇게 정의되는 사전선택 적응 세트들(208)은 타일에 특정된 적응 세트들(200)의 영역들에 대한 할당이 서로 다르다. 솔직히 말해서, 사전선택 적응 세트들은 예를 들어, ROI로부터 멀리 떨어진 영역들에 할당되는 적응 세트들의 표현들(12)의 품질들에 비해, ROI에 대응하는 영역(들)에 대해 더 높은 품질의 표현들(12)의 적응 세트들(200)을 할당하는 점에서, 또는, 예를 들어, ROI로부터 멀리 떨어진 영역들을 남겨둔 채 ROI 및 그 주변의 영역들에 관한 적응 세트들(200)만을 수집하는 점에서, ROI에 특수하다(ROI specific). 그러나, 특정한 사전선택 적응 세트들이 어느 ROI에 관련된 것인지에 관하여, 클라이언트 스스로, 그리고 아래에 더욱 설명되는 방식으로, 확인해야 한다는 점에서 문제가 존재한다. 품질(204)은 이들이 구성하는 동일한 세트(202) 내에서 단지 순서대로 스케일링되기 때문에, 그들 단독으로는 이에 적절하지 않다.
일반적으로, 언급된 영역들 및 출력 영상 영역은 비트스트림들(12)이 타일-기반 인코딩에 의해 획득될 수 있는 부분들(14)로의 영상 또는 장면 영역(16)을 분할하는 것에 대응할 수 있지만, 출력 영상 영역은 대안적으로 출력 영상 영역으로 귀결되기 위해 부분들(14)을 재배열 및/또는 스케일링 및/또는 회전할 수 있는데, 이러한 재배열 및/또는 스케일링 및/또는 회전은 매니페스트 파일(24) 내에 표시될 수도 있거나, 출력 영상 영역이 단지, 부분들(14)의 적절한 서브세트로 구성된다. 이하의 실시예들의 주요 주제들의 설명을 용이하게 하기 위하여, 출력 영상 영역이 장면 영역(16)과 같이 보이고, 부분들(14)은 각각의 사전선택 적응 세트(208)가 대응하는 적응 세트들(200) 중 하나를 할당하는 영역들(14)을 나타내는 것으로 미리 전제된다. 도 18은 예를 들어, 적응 세트(6)가 이와 연관되고 영역들(214)로 세분화되는 출력 영상 영역(216)을 갖는 것을 도시한다. 데이터(10)에 의해 구성되는 그리고 도면부호(20)에 의해 표시되는 추출기 또는 추출기 파일/트랙은 예를 들어, 하나의 영역을 인코딩하기 위한 적응 세트 5로부터 클라이언트(80)에 의해 선택된 표현 및 다른 영역(214)을 인코딩하기 위한 적응 세트 4로부터 클라이언트(80)에 의해 선택된 표현을 사용하여 출력 영상 영역(216)을 도시하는, 대응하는 비디오 데이터 스트림을 구성한다. 그러나, 방금 언급된 바와 같이, 출력 영상 영역(216)은 비트스트림들(12)이 타일-기반 인코딩을 사용하여 서로 다른 품질로 생성되는 것에 기초하여 영상 영역들(14)의 임의의 부분과는 상이할 수 있다. 적응 세트 3은 그와 연관되는 추출기 파일(20)과도 연관될 수 있고, 다른 적응 세트 6의 출력 영상 영역(216)과 비교하여 영역들의 형상, 크기 및 개수가 적응 세트 6과 일치할 수 있다.
도 18을 참조하면, 예를 들어, 표현들(12)의 원점은 본질적으로, 이들 표현들로 개별적으로 코딩되는 영상 부분들(14)이 공통의 비디오 영상 영역(16) 상에 정의되지 않고, 대신에, 사전선택 적응 세트들(206)을 사용하여 그 부분들에 의해서만 영상 콘텐츠가, 즉 영상 부분들(14)이, 영역들(214)로(따라서, 출력 영상 영역(216)으로) 함께 귀결되도록 개별적인 비디오 영상 영역 상에 정의될 수 있게 되는 점에서, 추출기(20)의 존재가 필수적이지는 않음에 유의해야 한다.
도 18과 관련하여 지금까지 제공된 설명을 요약하면, 각각의 사전선택 적응 세트(206)는 출력 영상 영역(216)의 각각의 영역(214)에 대해 선택된 표현들(12)에 대한 일부 결정을 클라이언트 장치(80)에 넘긴다. 각각의 적응 세트(206)는 단지, 각각의 영역(214)에 대하여, 각각의 사전선택 적응 세트(206)에 의해 해당 영역(214)에 할당되는 표현들(12) 중 하나를 선택할 자유를 갖는 클라이언트 장치(80)를 사용하여, 영상-부분에 특정된 적응 세트들(200)을 영역들(214)에 연관시킨다. 여기서, 도 18의 이 예시에서, 이는 이론적으로, 각각의 사전선택 적응 세트(206) 중에서 선택할 수 있는 9개의 옵션들이 있음을 의미한다. 불행하게도, 파라미터 세트들에 제공된 품질들(204)은 사전선택 적응 세트(208)의 출력 영상 영역(216) 내에서 어떠한 다른 수단도 없이, 부분에 특정된 적응 세트별로 ROI가 위치하는 것과 동일한 품질로 순서대로 스케일링될 것으로 단순히 보장되는 평가가 가능하지 않다. 또한 심지어, 클라이언트는 품질 면에서 특정한 사전선택 적응 세트의 다양한 조합 옵션들을 합리적으로 순위매기지 않을 수도 있다. 전술한 실시예들은 특정한 사전선택 적응 세트(206)의 ROI 위치를 평가하고/하거나, 품질 면에서 그리고 심지어 사전선택 적응 세트의 ROI에 특수함을 고려하는 옵션들의 의미 면에서, 특정한 사전선택 적응 세트(206)에 대한 조합 옵션들 간의 순위를 평가하는 효율적인 가이던스를 클라이언트 장치(80)에 제공할 수 있다.
이를 위해, 각각의 사전선택 적응 세트(206)는 특정한 부가적인 품질 가이던스 데이터(218), 즉, 품질 면에서 각각의 사전선택 적응 세트(206)에 의해 영역들(214)에 서로 할당되는 영상-부분에 특정된 적응 세트들(200) 간의 순위를 정의할 수 있고, 선택적으로는 품질 면에서 특정한 사전선택 적응 세트(206)에 의해 할당되는 할당된 영상-부분에 특정된 적응 세트들(200)에 의해 구성된 표현들(12) 사이의 상호관계의 더 정교한 평가를 가능하게 할 수 있는, 가이던스 데이터(218)를 포함할 수 있다.
본 출원의 명세서의 개요 부분에서 설정된 기술의 변경의 상기 설명에 의해 전달되는 제1 실시예는 도 19와 관련하여 설명된다. 도 19에 따르면, 각각의 사전선택 파라미터 세트(206)는 각각의 영역(214)에 대한 하나 이상의 파라미터들을 포함하고, 이는 이 파라미터 세트(216)에 의해 정의되는 사전선택 적응 세트(214)에 의해 각각의 영역(214)에 할당된 영상-부분에 특정된 적응 세트(200)의 표현들(12)의 품질 레벨(204)을 커버하는 품질 레벨 범위(220)를 나타낸다. 예를 들어, 도 19는, 부가적인 품질 가이던스 정보(218)가, 도면부호(219)에 의해 표시된 바와 같이, 각각의 가이던스 정보(218)가 그 일부인, 파라미터 세트(206)에 의해 각각의 영역 i에 할당되는 영상-부분에 특정된 적응 세트들(200)에 의해 구성된 표현들 j의 품질이 속하는 범위들(220), 즉 Q1…3(i)을 표시하기 위해 각각의 영역 i에 대한 품질 최대 레벨 파라미터 및 품질 최소 레벨 파라미터 Qj,max 및 Qi,min을 포함하는 것으로 도시한다. 가이던스 정보(218)의 파라미터들은 클라이언트 장치(80)가 공통 스케일(222) 상의 다양한 영역들에 대해 표시된 품질 레벨 범위(220)의 상호 위치를 이용하여, 제2 파라미터 세트(206)가 속하는 사전선택 적응 세트(208)의 ROI가 위치하는지, 즉 더 높은 품질의 영역(들)이 위치하는지를 평가할 수 있도록, 공통의 품질 스케일(222) 상의 품질 레벨 범위(220)를 정의한다. 클라이언트는, 예를 들어, ROI를, 품질 범위(220)가 가장 높은 영역(들)(214)의 콜레이션, 또는 품질 범위(220)가 영역(216) 내의 모든 영역들(214)의 영역들(220) 중 최소가 아닌 영역(들)(214)의 콜레이션이 되는 것으로 가정할 수 있다. 클라이언트는 심지어, 품질 레벨 범위(220)로부터, 품질 면에서 대응하는 파라미터 세트(206)에 의해 정의되는 대응하는 사전선택 적응 세트에 의해 제공되는 가능한 표현 조합들 중의 순서를 유도될 수 있다. 특히, 품질 가이던스 정보(218) 내의 범위 정보(219)의 순수한(pure) 존재는, 부분 로컬 품질 레벨이 공통 스케일로도 정의되는, 클라이언트에 대한 신호를 나타낼 수도 있다. 즉, 특정 영역 i의 품질 레벨 Qj(i)은 영역 i에 대해 표시된 범위 내에 있을 것이다. 이 경우, 클라이언트는, 가이던스 정보(218) 내의 범위 정보의 순수한 존재로부터, 품질들이 부분에 특정된 적응 세트들(200)에 걸쳐 서로 비교가능함을 추론할 수 있다. 대안적으로, 품질 가이던스 정보(218) 내의 범위 정보의 존재는 품질들(204)이 하나의 세트(202), 즉, 하나의 적응 세트(200) 내에서 단순히 순서대로 스케일링되는 환경을 바꾸지 않는다. 그러나, 후자의 경우, 클라이언트 장치(80)는 공통 스케일(222) 상에 정의된 품질들에 상기 품질 레벨들(204)을 맵핑하기 위해 범위 정보를 사용할 수 있다. 클라이언트는, 예를 들어, 영상-부분에 특정된 적응 세트(200) 내의 표현들(12)의 개수가 품질 면에서, 대응하는 영역에 대한 가이던스 정보(218)에 의해 표시된, 이에 따라, 영상-부분에 특정된 적응 세트(200)의 대응하는 적응 세트(202)에 의해 표시된 상호 품질 표시 또는 순위 값들(204)을 더 사용함으로써 표시되는, 품질 레벨 범위(220)에 걸쳐 균일하게 분포되는 것으로 가정할 수 있다. 클라이언트 장치(80)는 공통의 품질 스케일(222) 상에서 특정한 사전선택 적응 세트에 기여하는 모든 비트스트림들의 품질들을 판단할 수 있다. 방금 설명된 예를 가정해보자. Qi,max 및 Qi,min를 사용하여 클라이언트는 Qj(i)를 Qj(i) -> (j-1) (Qi.max - Qi.min) + Qi.min Oder Qj(i) -> (Qj(i)- minj{Qj(i)}) (maxj{Qj(i)} - minj{Qj(i)}) (Qi,max - Qi.min) + Qi.min으로 맵핑할 수 있다. 결과적인 품질들은 모든 j 및 i에 대해서, 서로에 대해 모두 순서대로 스케일링된다. 가이던스 정보가 없다면, 클라이언트는 단지, 각각의 적응 세트 i(200) 내의 표현들 j를 개별적으로 순위매길 수 있다.
도 14의 상기 예에서, 가이던스 정보(218)는 각각의 영역에 대한 RwQR 디스크립터에서의 구문 성분 max_quality_ranking 및 min_quality_ranking를 포함했다. 따라서, 클라이언트는, 사전선택 적응 세트에 의해 제공되는 비트스트림들의 가능한 조합 옵션들 중에서, 예를 들어, ROI 내의 영역 (들)보다 높은 품질의 ROI 외부의 영역들로 이어지는 옵션으로 인해, 사전선택 적응 세트의 ROI 특정됨과 충돌할 수 있는 비트스트림들의 조합 옵션들을 배제할 수 있다. 부가적으로 또는 대안적으로, 클라이언트는, 예를 들어, 사용자 뷰잉 속도, 가용한 네트워크 다운로드 속도 등과 같은 현재 상황에 기초하여 선택할 옵션을 결정하도록, 다양한 옵션들의 ROI 관련 영역들 및 ROI 무관 영역들 사이의 품질 오프셋을 더 잘 이해하기 위해, 가이던스 정보를 사용할 수 있다. 그리고 무엇보다도, 클라이언트는 특정한 사전선택 적응 세트의 ROI가 어디에 있는지를 추론할 수 있고, 그에 따라, 여러 사전선택 적응 세트들 중에서 ROI가 예컨대, 현재 사용자의 뷰포트와 일치하는 가용한 사전선택 적응 세트를 선택할 수 있다.
도 15의 설명으로부터 유도될 수 있는 다른 실시예는 매니페스트 파일(24)에 대한 다음의 세부 설명에 관련된다. 특히, 도 20에 관하여 다시 설명되는 바와 같이, 품질 가이던스 정보(218)는 실제로, 영상-부분에 특정된 적응 세트들(200)에 대한 파라미터 세트들(202) 내에 표시된 바와 같은 영역 j의 품질 레벨들 Qi(j)이 도 20에 도시된 바와 같은 공통의 순서 스케일(222) 상에서 하반부에 정의되는지, 또는 이들 파라미터 세트들(202)에 의해 표시되는 품질 레벨들 Qj(j)이 별개의 순서 스케일들(224) 상에 정의되는지 여부를 나타내는 표시(223)를 포함할 수 있다. 공통의 순서 스케일(222)상에 정의될 때, 도 20의 타일 1에 대한 것과 같은 특정 파라미터 세트(202)를 이용한 특정한 영상-부분에 특정된 적응 세트 내의 표현들에 대해 표시된 품질 레벨들(204)은, 표시(218)가 속하는 동일한 사전선택 적응 세트(206)에 의해 다른 영역에 할당된 또다른 영상-부분에 특정된 적응 세트(200)에 대한 또다른 파라미터 세트(202)에 의해 표시되는 품질 레벨들과 순서대로 비교될 수 있다. 지금까지, 표시(218)는 일종의 "글로벌리티(globality)" 표시이다. 개별 순서 스케일로 정의되는 다른 경우에서, 품질 레벨(204)은 파라미터 세트(202)가 속하는 영상-부분에 특정된 적응 세트(200) 내의 표현들의 품질들 간의 상호 순서관계를 나타내고, 이는 이러한 품질 레벨들(204)을 포함하지만, 글로벌 표시(218)가 속하는 사전선택 적응 세트에 의해 서로 다른 영역(214)에 할당된 서로 다른 영상-부분에 특정된 적응 세트들(200)의 품질 레벨(204)은 서로 비교되지 못한다, 즉, 대응하는 품질 레벨(204)에 기초하여 어느 비트스트림의 품질이 더 좋은지 판단하지 못할 수 있다. 즉, 글로벌리티가 적용되는 경우, 클라이언트는 모든 j 및 i에 대해 모든 Qj(i)를 비교할 수 있다. 이들은 글로벌하게 서로에 대해 순서대로 스케일링된다. 글로벌리티가 없으면, 클라이언트는 단지 각각의 적응 세트 i내의 표현들 j를 개별적으로 순위매길 수 있다. 그 뒤, 클라이언트는, 예를 들어, 사전선택 적응 세트에 대한 ROI가, 품질 레벨(204)이 가장 높은 영역(들)(214)의 콜레이션인지, 또는, 품질 레벨(204)이 영역(216) 내의 모든 영역들(214)의 품질 레벨들(204) 중에서 최소가 아닌 영역(들)(214)의 콜레이션인지를 판단할 수 있다.
도 19에서, 사전선택 파라미터 세트(206)의 제2 파라미터 세트(206)는 출력 영상 영역(216)의 각각의 영역(214)에 대하여, 각각의 영역(214)에 대한 품질 레벨 힌트를 나타내는, 여기서는 영역 i에 대해 표현하는 품질 레벨 Q'(i) 및 참조된 적응 세트(200)에 의해 각각 예시되는, 하나 이상의 파라미터들을 포함할 수 있음이 도시된다. 이들은 하나의 파라미터 세트, 즉, 296에 정의되므로, 서로 공통의 스케일로 정의된다. 그러나, 가이던스 정보(218)는, 각각의 영역 i에 대한 표시(표시(223)와 일치하여 2개의 표시들을 동시에 제어할 수 있거나, 표시(223)와 교대로 사용될 수 있는 표시)로서, 각각의 영역(214) i에 대한 품질 레벨 힌트 및 각각의 영역(214)에 할당된 영상-부분에 특정된 적응 세트(200)의 제1 파라미터 세트(200)에 의해 정의된 품질 레벨들(204)이 서로 순서대로 스케일링되도록 공통의 순서 스케일로 정의되는지, 또는 각각의 영역 i에 할당되는 영상-부분에 특정된 적응 세트(200)의 제1 파라미터 세트(202)에 의해 정의된 품질 레벨 힌트 Q'(i) 및 품질 레벨들(204)이 개별적인 순서 스케일들(224) 상에 정의되는지의 표시를 포함할 수 있다. 전자의 경우, 모든 품질 레벨들 Q'(i) 및 Qj(i)은 사실, 동일한 세트(206) 내의 그들의 정의에 의해서 품질 레벨들 Q'(i)이 서로 순서대로 스케일링되기 때문에, 공통의 순서 스케일(222) 상에 정의될 수 있다. 다시, 클라이언트는 Q'(i)들에 기초하여 특정한 적응 세트(208)의 ROI가 위치하는 곳을 유도할 수 있고, 만일 표시(223)가 적용되는 경우, 클라이언트는 품질 면에서 개별 조합 옵션들의 이해를 더 얻을 수 있다.
또다른 실시예에 따르면, 가이던스 정보(2018)는 단지 223 또는 218이 없이 Q'(i)들을 포함한다. 여기에서도, 클라이언트는 특정한 사전선택 적응 세트(206)의 ROI를 결정할 수 있고, 그에 따라 원하는 뷰포트에 대한 매칭되는 사전선택 적응 세트를 선택할 수 있다. 특히, 이러한 quality_ranking 파라미터 Q'(j)에 의해 구현되는 바와 같은 할당된 영상-부분에 특정된 적응 세트들(200) 간의 단순한 순위는 클라이언트 장치(80)로 하여금 ROI를 찾기 위해 영역(216)에 걸친 일반적인 품질 기울기를 적어도 정확하게 평가할 수 있게 한다.
표시(223)는, 시점과 일치하는, 즉, 비디오 영상 영역(16)의 각각의 부분(14)이 포착되고 예를 들어 각각의 파라미터 세트(202)에서 표시되는 시점과 일치하는, 모든 영상-부분에 특정된 적응 세트들(200)의 모든 품질 레벨들(204)에 대해 공통의 순서 스케일(222)을 시그널링하도록 해석될 수 있음을 유의해야 한다. 이는 다음을 명확하게 한다: 도 15와 관련하여 상술된 바와 같이, 글로벌리티 표시(223)는 사전선택 적응 세트들에 관한 파라미터 세트(206) 내에 존재할 필요가 없을 것이다. 글로벌리티 표시(223)는 매니페스트 파일(24) 또는 다른 곳에 위치할 수 있다.
품질 가이던스 정보(223)가 파라미터 세트들(206) 외부의 매니페스트 파일(24)에 대안적으로 배치될 수 있는 후자의 측면은 도 18에서 점선으로 도시되어 있다.
도 19의 설명에 대한 대안으로서, 특정한 파라미터 세트(206)가 관련되는 각각의 영역(214)에 대한 품질 레벨 범위들(220)의 표시는, 영상-부분에 특정된 적응 세트 관련 파라미터 세트들(202) 내에 표시된 품질 레벨들, 즉 품질 레벨들(204) 사이의 단순한 품질 레벨 오프셋의 표시에 의해 대체될 수 있음을 유의해야 한다. 따라서, 부가적인 품질 가이던스(218)는 서로 비교될 수 있도록 품질 레벨들(204)에 적용될 상대적인 오프셋을 표시할 것이다. 예를 들어, 품질 가이던스(218)는 공통된 순서 스케일(222) 상에 정의되도록 다른 타일의 품질 레벨들(204)과 비교되기 전에, 타일 1의 품질 레벨들이 특정 값만큼 증가되어야 함을 나타낼 수 있다. 세트들(202)에 의해 표시된 품질들 Q(i) 간의 오프셋들 ΔQmn에 대한 이러한 정보(218)를 사용하여, 클라이언트는 특정 세트 k(200)의 Qj(k)와 비교하기 위해 특정 세트 i(200)의 Qj(i)를 Qj(i) -> Qj(i) - ΔQik로 맵핑할 수 있다. 그 결과 얻어지는 품질들은 모든 j 및 i에 대해 서로 모두 순서대로 스케일링된다. 가이던스 정보가 없다면, 클라이언트는 단지 각각의 적응 세트 i(200)내의 표현들 j를 개별적으로 순위매길 수 있다.
이미 상술한 바와 같이, 추출기(20)의 존재는 도 18 내지 도 20에 대해 설명된 이점을 달성하기 위해 필수적이지 않다. 그러나, 존재한다면, SphereRegionQualityRankingBox 과 같은 파일 포맷 디스크립터/박스가 상술된 바와 같은 정보를 매니페스트 파일로 전달하는 데에 사용될 수 있다. 특히, 추출기는 각각의 부분에 대해 비트스트림들의 연관된 서브세트의 하나의 비트스트림을 선택할 자유를 남겨둔 채 비디오 영상 영역(216)의 부분들(214) 중 서로 다른 부분에 각각 연관되는 비트스트림들의 서브세트들로부터 40과 같은 컴파일된 비트스트림의 컴파일을 나타내는 반면, 파일 포맷 디스크립터는, 각각의 부분(214)에 할당된 표현들의 서브세트의 표현들(12)(여기서는, 트랙들) 내에 시그널링된 품질 레벨들을 커버하는 품질 레벨 범위(220)를 나타내거나, 표현들의 서브세트들 중의 서로 다른 것들의 표현들(12)의 품질 레벨들 간의 품질 오프셋들을 나타내는, 비디오 영상 영역(216)의 각각의 부분(214)에 대한 하나 이상의 파라미터를 포함할 것이고, 및/또는, 파일 포맷 디스크립터는 표현들에 표시되는 품질 레벨들이 서로 다른 서브세트들의 표현들의 서로 다른 것들에 걸쳐 순서대로 스케일링되도록 공통의 순서 스케일로 정의되는지, 또는 표현들에 의해 표시되는 품질 레벨들이 서브세트들에 대해 개별적으로 개별적인 순서 스케일들(224) 상에 정의되는지의 표시를 포함할 것이다. 즉, 도 18의 한 세트(200) 내의 모든 비트스트림들(12)은 그 박스들 중 하나에서의 품질 값을 가질 수 있다. 마찬가지로, 파일 포맷 디스크립터는 부가적으로 또는 대안적으로, 출력 영상 영역(216)의 각각의 부분(214)에 대해, 각각의 부분들에 대한 품질 레벨 힌트를 나타내는 하나 이상의 파라미터와, 각각의 부분에 대한 품질 레벨 힌트 및 각각의 부분에 관련된 서브세트에 의해 구성되는 표현들에 표시되는 품질 레벨들이 순서대로 스케일링되도록 공통의 순서 스케일로 정의되는지 또는 각각의 부분에 관련된 서브세트에 의해 구성되는 표현들에 표시되는 품질 레벨 힌트 및 품질 레벨들이 개별적인 순서 스케일(224) 상에 정의되는지의 표시를 포함할 수 있고, 및/또는 파일 포맷 디스크립터는, 출력 영상 영역(216)의 부분들(214)에 대해, 부분들(214) 간의 품질 순위를 나타내는 하나 이상의 파라미터들을 포함할 수 있다. 특정 추출기(20)에 의해 함께 배치되고 참조되는 경우에, 비트스트림들 내의 품질들이 서로 어떻게 관련되는지 및/또는 이러한 다운로드된 비디오 스트림에 대한 ROI가 어디에 있는지에 관하여 의문점이 발생할 수 있다. 이를 위해, 추출기가 속한 대응하는 ROI을 제시하고자 하는 클라이언트에 의해 다운로드할 준비가 된 파일 포맷 박스 또는 디스크립터가 사용될 수 있다. 언급된 파일 포맷 박스는 MPD에 대한 218에 의해 교시된 바와 유사한 정보를 갖는다. 그것은 다양한 서브세트들(200)의 비트스트림들에서의 품질들이 서로 관련되는 방법 및 이들 부분들(214)이 더 높은 품질을 갖는 영역(216) 내에 있는지를 나타내며, 이에 의해 ROI가 어디에 있는지를 나타낸다. 즉, 특정 ROI와 관련된 추출기(20)는, 참조에 의해, 영역(214)마다의 표현들 중 하나의 서브세트(200)를 수집한다. 이후, 실제 다운로드 시에, 추출기는 각각의 서브세트(200) 중에서 선택된(각각의 서브세트(200) 및 연관된 영역에 대해 하나씩) 표현들과 함께 파일을 형성한다. 비트스트림들(12)을 참조한 후자는 파일의 트랙들을 형성한다. 이들은 세트(32)를 형성한다. 각각은 MPD 내의 품질(204)과 같은 품질 값을 갖는다. 언급된 FF 디스크립터는 부가적으로 얻어지고, 예를 들어, 서로 다른 영역들(214)에 관련된 서로 다른 서브세트들(200)로부터 유래한 서로 다른 트랙들에 존재하는 모든 품질 값들이 공통의 스케일(222) 또는 별도의 스케일(224) 상에 정의되는지를 나타내거나, 공통의 스케일(222) 상의 범위들(220)을 나타낼 것이다. FF 디스크립터는, 품질 글로벌리티를 나타내는 FF 디스크립터가 속하는 추출기(20)에 관련된 ROI 내의 관심이 있는, 클라이언트에 의해 다운로드되는 구성된 비디오 스트림의 초기화 세그먼트의 일부일 수 있다. 파일은 전술한 바와 같이, 그 안에 세트(32)의 참조된 트랙들(12) 및 추출기(20)를 갖는다. 각각의 참조된 트랙은 로컬 FF 박스/디스크립터에서의 품질 값을 가지며, 예를 들어, 본원에서 설명된 FF 디스크립터/박스는 파일의 세팅을 획득하기 위해 클라이언트에 의해 먼저 다운로드되는 초기화 세그먼트의 일부일 수 있다.
완성도를 위해, 각각의 영상-부분에 특정된 적응 세트(200)에 대하여, 대응하는 제1 파라미터 세트(202)는 각각의 영상-부분에 특정된 적응 세트의 표현들로 인코딩되는 영상 부분(14)에 대한 뷰 정보의 필드를 정의할 수 있다. 이어서, 제2 파라미터 세트(206)는, 영역들(214)의 콜레이션, 즉, 모든 영역들(214)의 오버레이로부터 기인하는 시야에 대한 뷰 정보의 필드를 정의할 수 있다. 도 18에 도시된 바와 같이, 각각의 사전선택 적응 세트들(208)의 2 이상의 제2 파라미터 세트들(206)이 존재하는 경우, 각각은 그 영역들(214)의 콜레이션에 대한 뷰 정보의 필드를 정의할 수 있고, 여기서 콜레이션은 상기 적어도 2개의 제2 파라미터 세트들 사이에서 일치한다. 즉, 출력 영상 영역(216)의 둘레는 이들 세트들(208)에 대해 일치할 수 있다. 그러나, 사전선택 적응 세트들(206)은 그들의 파라미터 세트들(206)이, 콜레이션 내의 위치가 파라미터 세트들(206)에 걸쳐 변화하는 영역들(214) 중에서 가장 높은 품질의 영역을 정의하는 점에서 상이하다. 따라서, 최고 품질의 영역은 다양한 적응 세트들(208)이 연관되는 ROI에 대응할 것이다.
클라이언트 장치는, 설명된 바와 같이, 매니페스트 파일(24)을 검사하고, 품질 레벨 범위 및/또는 표시에 기초하여, 서버로부터 비디오를 적응적으로 스트리밍하는 스트리밍 전략을 변경할 수 있다. 이는 원하는 뷰포트에 대한 사전선택 적응 세트들을 순위매기기 위해, 품질 레벨, 품질 레벨 범위, 품질 레벨 힌트 및/또는 표시를 이용할 수 있다.
도 17과 관련하여 설명된 바와 같이, 사전선택 적응 세트들의 옵션들을 정의하는 비트스트림들의 컬렉션들은 대안적으로, 매니페스트 파일에서 하나의 적응 세트로 그룹화된 서로 다른 표현들로서 정의될 수 있다. 이는 영역들(214) 내의 비디오 영상 영역(216)의 분할부분과 일치하는 표현들의 세트를 정의하는 영역별로 컴파일된 적응 세트에 대한 파라미터 세트를 포함하는 매니페스트 파일을 산출하는데, 상기 표현들은 각각의 영역에 대해, 영역에 특정된 품질 레벨을 할당하는 서로 다른 품질 레벨 튜플들로 비디오 영상 영역의 영역들(214) 내에 인코딩된다. 따라서, 표현들은 영역(216)을 개별적으로 커버한다. 이들은 다양한 영역에 할당된 품질들의 연관이 서로 다를 것이다. 그 후, 파라미터 세트는 도 17에서 RWQR로 도시되는, 모든 영역들에 대한 적응 세트 품질 레벨 표시를 포함할 것이고, 각각의 표현에 대해, @qualityRanking으로 표시되는, 표현에 특정된 품질 레벨 표시를 포함할 것이다. 그 뒤, 각각의 표현에 대해, 도 17의 괄호에 표시된 각각의 표현의 품질 레벨 튜플은, 합산에 의한 것과 같이, 각각의 표현에 대한 표현에 특정된 품질 레벨 표시 및 적응 세트 품질 레벨 표시의 조합으로부터 유도될 수 있다. 클라이언트 디바이스는 매니페스트 파일을 검사하고, 서버로부터 비디오를 적응적으로 스트리밍하기 위한 스트리밍 전략에서 표현들의 품질 레벨 튜플들을 사용할 수 있다. 이는 원하는 뷰포트에 대한 표현들을 순위 지정하기 위해, 표현의 품질 레벨 튜플들을 이용할 수 있다.
비록 일부 측면들이 장치의 맥락에서 설명되었지만, 이들 측면들은 블록 또는 디바이스가 방법 단계 또는 방법 단계의 특징에 대응하는, 대응하는 방법의 설명을 나타냄이 명백하다. 유사하게, 방법 단계의 맥락에서 설명되는 측면들은 대응하는 장치의 대응하는 블록 또는 아이템 또는 특징의 설명을 또한 나타낸다. 상기 방법 단계들의 일부 또는 전부는, 예를 들어, 마이크로프로세서, 프로그램가능한 컴퓨터 또는 전자회로와 같은 하드웨어 장치에 의해(를 사용하여) 실행될 수 있다. 일부 실시예들에서, 가장 중요한 방법 단계들 중 하나 이상은 이러한 장치에 의해 실행될 수 있다.
데이터 컬렉션, 비디오 스트림, 매니페스트 파일, 디스크립터 등과 같은 본 발명의 데이터 신호는 디지털 저장매체에 저장될 수 있거나, 또는 인터넷과 같은 유선 전송 매체 또는 무선 전송 매체와 같은 전송 매체를 통해 전송될 수 있다.
특정한 구현 요건에 따라, 본 발명의 실시예들은 하드웨어로 또는 소프트웨어로 구현될 수 있다. 구현은 전자적으로 판독가능한 제어 신호가 저장되는 디지털 저장매체, 예를 들어, 플로피 디스크, DVD, 블루레이, CD, ROM, PROM, EPROM, EEPROM 또는 FLASH 메모리를 이용하여 수행될 수 있고, 각각의 방법이 수행되도록 프로그램가능한 컴퓨터 시스템과 협력한다(또는 협력할 수 있다). 따라서, 디지털 저장매체는 컴퓨터 판독가능 매체일 수 있다.
본 발명에 따른 일부 실시예들은 본원에 설명된 방법들 중 하나가 수행되도록, 프로그램가능한 컴퓨터 시스템과 협력할 수 있는, 전자적으로 판독가능한 제어 신호들을 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있고, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때 상기 방법들 중 하나를 수행하도록 동작한다. 프로그램 코드는 예를 들어, 기계 판독가능한 캐리어 상에 저장될 수 있다.
다른 실시예들은 기계 판독가능한 캐리어 상에 저장된, 본원에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
즉, 본 발명의 방법의 일 실시예는, 그러므로, 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때, 본원에 설명된 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서, 본 발명의 방법의 다른 실시예는, 본원에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 기록되고, 이를 포함하는 데이터 캐리어(또는 디지털 저장매체, 또는 컴퓨터-판독가능 매체)이다. 데이터 캐리어, 디지털 저장매체 또는 기록된 매체는 통상적으로 유형의 것이고/이거나 비일시적인 것이다.
따라서, 본 발명의 방법의 다른 실시예는, 본원에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호들의 시퀀스이다. 데이터 스트림 또는 신호들의 시퀀스는 예를 들어, 인터넷을 통해, 데이터 통신 접속을 통해 전송되도록 구성될 수 있다.
다른 실시예는 본원에 설명된 방법들 중 하나를 수행하도록 구성되는 처리 수단, 예를 들어 컴퓨터, 또는 프로그램가능한 로직 디바이스를 포함한다.
다른 실시예는 본원에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치되어 있는 컴퓨터를 포함한다.
본 발명에 따른 다른 실시예는 본원에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 수신기로 전송(예를 들어, 전자적으로 또는 광학적으로)하도록 구성되는 장치 또는 시스템을 포함한다. 수신기는, 예를 들어, 컴퓨터, 모바일 디바이스, 메모리 디바이스 등일 수 있다. 장치 또는 시스템은, 예를 들어, 컴퓨터 프로그램을 수신기로 전달하기 위한 파일 서버를 포함할 수 있다.
일부 실시예들에서, 프로그램가능한 로직 디바이스(예를 들어, 필드 프로그래밍가능 게이트 어레이)가 본원에 설명된 방법들의 기능들의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 일부 실시예들에서, 필드 프로그램가능 게이트 어레이는 본원에 설명된 방법들 중 하나를 수행하기 위해 마이크로프로세서와 협력할 수 있다. 일반적으로, 상기 방법들은 임의의 하드웨어 장치에 의해 수행되는 것이 바람직하다.
본원에 설명된 장치는 하드웨어 장치를 사용하거나, 컴퓨터를 사용하거나, 또는 하드웨어 장치와 컴퓨터의 조합을 사용하여 구현될 수 있다.
본원에 설명된 장치 또는 본원에 설명된 장치의 임의의 구성요소들은 하드웨어 및/또는 소프트웨어에서 적어도 부분적으로 구현될 수 있다.
본원에 설명된 방법들은 하드웨어 장치를 사용하거나, 컴퓨터를 사용하거나, 또는 하드웨어 장치와 컴퓨터의 조합을 이용하여 수행될 수 있다.
본원에 설명된 방법 또는 본원에 설명된 장치의 임의의 구성요소는 적어도 부분적으로 하드웨어 및/또는 소프트웨어에 의해 수행될 수 있다.
전술된 실시예들은 단지 본 발명의 원리를 위한 예시적인 것이다. 본원에 설명된 배열 및 세부사항의 변경 및 변형은 통상의 기술자에게 명백할 것으로 이해해야 한다. 따라서, 본 발명은 여기의 실시예들에 대한 설명을 통해 제시되는 구체적인 세부사항들이 아니라, 하기의 특허 청구범위들의 범위에 의해서만 제한되는 것으로 의도된다.

Claims (49)

  1. 타일-기반 비디오 스트리밍에 의해 관심 영역(ROI) 특정 비디오스트림(ROI-specific video stream)(40)을 다운로드하기 위한 장치로서,
    관심 영역(ROI)(22)에 따라, 추출기(20)와 함께 비트스트림들(12)의 세트(32) - 상기 비트스트림들(12)의 세트(32)는 비디오 영상 영역(16)의 서로 다른 부분들(14)로 인코딩됨 - 를 식별 및 다운로드하기 위해 매니페스트 파일(manifest file)(24)을 검사하도록 구성되고;
    상기 추출기(20)를 사용하여, 각각의 상기 비트스트림을 파싱(parsing)하여 현재 영상 프레임(30)에 관련된 영상 부분(34)을 상기 비트스트림들의 세트(32) 각각으로부터 추출하고, 컴파일된 비트스트림(40)이 형성되는 상기 비트스트림들의 세트 각각의 상기 영상 부분(34)에 대한 서브영상 부분(44)을 상기 컴파일된 비트스트림(40)이 포함하도록 상기 추출된 영상 부분들(34)로부터 상기 컴파일된 비트스트림(40)을 형성함으로써, 상기 비트스트림들의 세트(32)로부터 상기 컴파일된 비트스트림(40)을 컴파일하도록 구성되고;
    평문 마스크의 순차적 변경(sequential variation)의 사용에 의한 블록별 복호화(block-wise decryption), 및/또는 복호화될 각각의 서브영상 부분을 위한 순차적 변경을 재초기화하고 복호화될 각각의 서브영상 부분(44)의 코딩 페이로드 섹션(48)의 경계를 탐색하는 것에 의한 블록-복호화(block-decryption) 키를 사용하여, 상기 컴파일된 비트스트림(40)의 하나 이상의 상기 서브영상 부분들(44)의 서브세트의 각각의 서브영상 부분(44)의 상기 코딩 페이로드 섹션(48)을 복호화하도록 구성되며,
    상기 탐색은,
    각각의 상기 서브영상 부분(44)의 상기 코딩 페이로드 섹션(48)을 현재 복호화된 위치까지 파싱(102)하고, 및/또는
    각각의 상기 서브영상 부분(44) 내의 헤더(46)로부터 각각의 상기 서브영상 부분의 상기 코딩 페이로드 섹션의 길이를 유도하고, 및/또는
    각각의 상기 서브영상 부분이 속하고 상기 영상 부분이 추출되는 상기 비트스트림 내에 시그널링되는 비트스트림 길이 또는 포인터 표시를 이용함으로써 수행되는 것인, 장치.
  2. 비트스트림들의 세트 및 추출기 파일로부터 비디오 스트림을 복원하기 위한 장치로서, 상기 비트스트림들의 세트는 비디오 영상 영역의 서로 다른 부분들로 인코딩되고, 상기 장치는,
    상기 추출기(20)를 사용하여, 상기 비트스트림들의 세트 각각으로부터, 각각의 상기 비트스트림을 파싱하여 현재 영상 프레임에 관련된 영상 부분을 추출함으로써, 그리고 컴파일된 비트스트림이 형성되는 상기 비트스트림들의 세트 각각의 상기 영상 부분에 대한 서브영상 부분을 상기 컴파일된 비트스트림이 포함하도록 상기 추출된 영상 부분들로부터 상기 컴파일된 비트스트림을 형성함으로써, 상기 비트스트림들의 세트로부터 상기 컴파일된 비트스트림을 컴파일하도록 구성되고;
    평문 마스크 및/또는 블록-복호화 키의 순차적 변경을 사용함으로써 블록별 복호화를 사용하고, 복호화될 각각의 서브영상 부분에 대한 상기 순차적 변경을 재초기화하며, 복호화될 각각의 서브영상 부분의 코딩 페이로드 섹션의 경계를 탐색함으로써, 상기 컴파일된 비트스트림의 하나 이상의 상기 서브영상 부분들의 서브세트의 각각의 서브영상 부분의 상기 코딩 페이로드 섹션을 복호화하도록 구성되며,
    상기 탐색은,
    각각의 상기 서브영상 부분의 상기 코딩 페이로드 섹션을 현재 복호화된 위치까지 파싱하고, 및/또는
    각각의 상기 서브영상 부분 내의 헤더로부터 각각의 상기 서브영상 부분의 상기 코딩 페이로드 섹션의 길이를 유도하고, 및/또는
    각각의 상기 서브영상 부분이 속하고 상기 영상 부분이 추출되는 상기 비트스트림 내에 시그널링되는 비트스트림 길이 또는 포인터 표시를 이용함으로써 수행되도록 구성되는 것인, 장치.
  3. 비디오 영상 영역의 서로 다른 부분들에 대한 서브영상 부분들을 포함하는 비트스트림으로부터 비디오 스트림을 복원하기 위한 장치로서,
    복호화될 각각의 서브영상 부분에 대한 상기 순차적 변경을 재초기화함으로써 그리고 복호화될 각각의 서브영상 부분의 코딩 페이로드 섹션의 경계를 탐색함으로써, 평문 마스크 및/또는 블록-복호화 키의 순차적 변경의 사용에 의해 블록별 복호화를 사용하여, 상기 비트스트림의 하나 이상의 상기 서브영상 부분들 중 한 서브세트의 각각의 서브영상 부분의 상기 코딩 페이로드 섹션을 복호화하도록 구성되며,
    상기 탐색은,
    각각의 상기 서브영상 부분의 상기 코딩 페이로드 섹션을 현재 복호화된 위치까지 파싱하고, 및/또는
    각각의 상기 서브영상 부분 내의 헤더로부터 각각의 상기 서브영상 부분의 상기 코딩 페이로드 섹션의 길이를 유도하며, 및/또는
    각각의 상기 서브영상 부분에 대해 외부로부터 시그널링되는 비트스트림 길이 또는 포인터 표시를 이용함으로써 수행되도록 구성되는 것인, 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 하나 이상의 서브영상 부분들 중의 상기 서브세트에 대해 서로 다른 초기화 상태들을 유도함으로써, 복호화될 각각의 서브영상 부분에 대한 상기 재초기화를 수행하도록 구성되는, 장치.
  5. 제4항에 있어서,
    상기 현재 영상 프레임에 대한 기본 초기화 상태에 서로 다른 변경들을 적용함으로써, 상기 하나 이상의 서브영상 부분들 중의 상기 서브세트에 대한 상기 서로 다른 초기화 상태들의 유도를 수행하도록 구성되는, 장치.
  6. 제5항에 있어서,
    각각의 서브영상 부분에 대한 상기 서로 다른 변경들의 유도는, 각각의 상기 서브영상 부분이 관련되는 상기 비디오 영상 영역의 상기 부분에 따라서 또는 각각의 상기 서브영상 부분의 인덱스에 따라서 수행되도록 구성되는, 장치.
  7. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 추출기 파일 내의 초기화 상태 리스트로부터 상기 하나 이상의 서브영상 부분들 중의 상기 서브세트의 각각에 대한 초기화 상태를 유도함으로써, 암호화될 각각의 서브영상 부분에 대한 상기 재초기화를 수행하도록 구성되는, 장치.
  8. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 추출기 파일 내의 명시적인 경계 위치 정보를 무시하면서, 상기 코딩 페이로드 섹션의 파싱, 상기 코딩 페이로드 섹션의 길이의 유도, 또는 상기 탐색을 위한 상기 비트스트림 길이 또는 포인터 표시의 사용을 수행하도록 구성되는, 장치.
  9. 타일-기반 비디오 스트리밍에 의해 ROI에 특정된 비디오 스트림을 다운로드하기 위한 데이터 수집 장치로서,
    비디오 영상 영역의 각각의 부분이 서로 다른 품질로 비트스트림들의 서브세트로 인코딩되도록, 상기 비디오 영상 영역의 부분들 중 하나로 각각 인코딩되는 비트스트림들;
    상기 비디오 영상 영역의 ROI와 관련되는 적어도 하나의 추출기;
    상기 ROI에 포커싱되는 비디오 영상 영역의 서로 다른 부분들로 인코딩되는 비트스트림들의 세트를 식별하는 매니페스트 파일을 포함하고,
    상기 추출기는, 상기 비트스트림들의 서브세트들 각각에 대해, 상기 각각의 비트스트림들의 서브세트 중 선택된 비트스트림으로부터, 현재 영상 프레임에 관련된 영상 부분을 식별함으로써, 그리고 컴파일된 비트스트림이 형성되는 상기 비트스트림들의 서브세트들 각각의 상기 선택된 비트스트림의 영상 부분에 대한 서브영상 부분을 상기 컴파일된 비트스트림이 포함하도록 상기 식별된 영상 부분들로부터 상기 컴파일된 비트스트림의 컴파일을 시그널링함으로써, 상기 비트스트림들의 세트로부터의 상기 컴파일된 비트스트림의 컴파일을 표시하고;
    상기 비트스트림들의 하나 이상의 서브세트들 중 암호화된 세트로부터의 비트스트림들의 각각의 서브세트 중 각각의 비트스트림의 상기 영상 부분의 코딩 페이로드 섹션은, 평문 마스크 및/또는 블록-암호화 키의 순차적 변경을 사용함으로써 블록별 암호화를 사용하고, 각각의 영상 부분에 대해 상기 순차적 변경을 재초기화하여 암호화되는 것인, 장치.
  10. 제9항에 있어서,
    상기 현재 영상 프레임 내의 각각의 영상 부분에 대한 상기 재초기화는, 서로 다른 초기화 상태들에 기초하는 것인, 장치.
  11. 제9항에 있어서,
    상기 서로 다른 초기화 상태들은 서로 다른 변경들을 상기 현재 영상 프레임에 대한 기본 초기화 상태에 적용한 결과인 것인, 장치.
  12. 제11항에 있어서,
    각각의 영상 부분에 대한 상기 서로 다른 변경들은,
    각각의 상기 영상 부분이 속하고 상기 비트스트림으로 인코딩되는 상기 비디오 영상 영역의 상기 부분에 따라서, 또는
    각각의 상기 영상 부분이 상기 추출기에서 참조되는 각각의 상기 영상 부분의 인덱스에 따라서 수행되는 것인, 장치.
  13. 제9항에 있어서,
    상기 추출기는 상기 현재 영상 프레임 내의 각각의 영상 부분에 대한 초기화 상태를 시그널링하는 초기화 상태 리스트를 포함하는 것인, 장치.
  14. 비디오 스트림 장치로서,
    비트스트림들의 세트 및 추출기를 포함하고,
    상기 비트스트림들의 세트는 비디오 영상 영역의 서로 다른 부분들로 인코딩되며,
    상기 추출기는, 상기 비트스트림들의 세트 각각에 대해, 현재 영상 프레임에 관련된 영상 부분을 식별함으로써, 그리고 컴파일된 비트스트림이 형성되는 상기 비트스트림들의 세트 각각의 상기 영상 부분에 대한 서브영상 부분을 상기 컴파일된 비트스트림이 포함하도록 상기 식별된 영상 부분들로부터 상기 컴파일된 비트스트림의 컴파일을 시그널링함으로써, 상기 비트스트림들의 세트로부터의 상기 컴파일된 비트스트림의 컴파일을 표시하고;
    상기 비트스트림들의 하나 이상의 세트 중 암호화된 세트로부터의 각각의 비트스트림의 상기 영상 부분의 코딩 페이로드 섹션은, 평문 마스크 및/또는 블록-암호화 키의 순차적 변경을 사용함으로써 블록별 암호화를 사용하고, 각각의 영상 부분에 대해 상기 순차적 변경을 재초기화하여 암호화되는 것인, 장치.
  15. 제14항에 있어서,
    상기 현재 영상 프레임 내의 각각의 영상 부분에 대한 상기 재초기화는 서로 다른 초기화 상태들에 기초하는 것인, 장치.
  16. 제14항에 있어서,
    상기 서로 다른 초기화 상태들은 상기 현재 영상 프레임에 대한 기본 초기화 상태에 대해 서로 다른 변경들을 적용한 결과인 것인, 장치.
  17. 제16항에 있어서,
    각각의 영상 부분에 대한 상기 서로 다른 변경들은,
    각각의 상기 영상 부분이 속하고 상기 비트스트림으로 인코딩되는 상기 비디오 영상 영역의 상기 부분에 따라서, 또는
    각각의 상기 영상 부분이 상기 추출기에서 참조되는 각각의 상기 영상 부분의 인덱스에 따라서 수행되는 것인, 장치.
  18. 제14항에 있어서,
    상기 추출기는 상기 현재 영상 프레임 내의 각각의 영상 부분에 대한 초기화 상태를 시그널링하는 초기화 상태 리스트를 포함하는 것인, 장치.
  19. 타일-기반 비디오 스트리밍에 의해 ROI에 특정된 비디오 스트림을 다운로드하기 위한 장치로서,
    ROI에 따라, 추출기와 함께 비트스트림들의 세트를 식별 및 다운로드하기 위해 매니페스트 파일을 검사하도록 구성되되, 상기 비트스트림들의 세트는 비디오 영상 영역의 서로 다른 부분들로 인코딩되고;
    상기 추출기를 사용하여, 상기 비트스트림들의 세트 각각으로부터, 각각의 상기 비트스트림을 파싱하여 현재 영상 프레임에 관련된 영상 부분을 추출함으로써, 그리고 컴파일된 비트스트림이 형성되는 상기 비트스트림들의 세트 각각의 상기 영상 부분에 대한 서브영상 부분을 상기 컴파일된 비트스트림이 포함하도록 상기 추출된 영상 부분들로부터 상기 컴파일된 비트스트림을 형성함으로써, 상기 비트스트림들의 세트로부터 상기 컴파일된 비트스트림을 컴파일하도록 구성되고;
    상기 추출기 또는 상기 서브영상 부분들 중 적어도 하나에서의 시그널링에 기초하여 상기 컴파일된 비트스트림의 상기 서브영상 부분들로부터 미리 결정된 서브영상 부분을 식별하도록 구성되고;
    복호화될 상기 미리 결정된 서브영상 부분의 코딩 페이로드 섹션의 경계를 탐색함으로써 상기 컴파일된 비트스트림의 상기 서브영상 부분들 중 상기 미리 결정된 서브영상 부분의 상기 코딩 페이로드 섹션을 복호화하도록 구성되되,
    상기 탐색은,
    상기 코딩 페이로드 섹션을 현재 복호화된 위치까지 파싱하고, 및/또는
    상기 하나의 미리 결정된 서브영상 부분 내의 헤더로부터 상기 코딩 페이로드 섹션의 길이를 유도하며, 및/또는
    상기 미리 결정된 서브영상 부분이 속하고 상기 영상 부분이 추출되는 상기 비트스트림 내에 시그널링되는 비트스트림 길이 또는 포인터 표시를 이용함으로써 수행되도록 구성되는 것인, 장치.
  20. 비트스트림들의 세트 및 추출기 파일로부터 비디오 스트림을 복원하기 위한 장치로서, 상기 비트스트림들의 세트는 비디오 영상 영역의 서로 다른 부분들로 인코딩되고, 상기 장치는,
    상기 추출기 파일을 사용하여, 상기 비트스트림들의 세트 각각으로부터, 각각의 상기 비트스트림을 파싱하여 현재 영상 프레임에 관련된 영상 부분을 추출함으로써, 그리고 컴파일된 비트스트림이 형성되는 상기 비트스트림들의 세트 각각의 상기 영상 부분에 대한 서브영상 부분을 상기 컴파일된 비트스트림이 포함하도록 상기 추출된 영상 부분들로부터 상기 컴파일된 비트스트림을 형성함으로써, 상기 비트스트림들의 세트로부터 상기 컴파일된 비트스트림을 컴파일하는 수단;
    상기 추출기 파일 또는 상기 서브영상 부분들 중 적어도 하나에서의 시그널링에 기초하여 상기 컴파일된 비트스트림의 상기 서브영상 부분들로부터 미리 결정된 서브영상 부분을 식별하는 수단; 및
    복호화될 상기 미리 결정된 서브영상 부분의 코딩 페이로드 섹션의 경계를 탐색함으로써 상기 컴파일된 비트스트림의 상기 서브영상 부분들 중 상기 미리 결정된 서브영상 부분의 상기 코딩 페이로드 섹션을 복호화하는 수단을 포함하고,
    상기 탐색은,
    상기 코딩 페이로드 섹션을 현재 복호화된 위치까지 파싱하고, 및/또는
    상기 하나의 미리 결정된 서브영상 부분 내의 헤더로부터 상기 코딩 페이로드 섹션의 길이를 유도하며, 및/또는
    상기 미리 결정된 서브영상 부분이 속하고 상기 영상 부분이 추출되는 상기 비트스트림 내에 시그널링되는 비트스트림 길이 또는 포인터 표시를 이용하는 것에 의해 이루어지는 것인, 장치.
  21. 비디오 영상 영역의 서로 다른 부분들에 대한 서브영상 부분들을 포함하는 비트스트림으로부터 비디오 스트림을 복원하기 위한 장치로서, 상기 장치는:
    외부로부터의 내부로의 시그널링 또는 상기 서브영상 부분들에서의 시그널링에 기초하여 상기 비트스트림의 상기 서브영상 부분들로부터 미리 결정된 서브영상 부분을 식별하도록 구성되고,
    복호화될 상기 미리 결정된 서브영상 부분의 코딩 페이로드 섹션의 경계를 탐색함으로써 상기 비트스트림의 상기 서브영상 부분들 중 상기 미리 결정된 서브영상 부분의 상기 코딩 페이로드 섹션을 복호화하도록 구성되며,
    상기 탐색은,
    상기 코딩 페이로드 섹션을 현재 복호화된 위치까지 파싱하고, 및/또는
    상기 미리 결정된 서브영상 부분 내의 헤더로부터 상기 코딩 페이로드 섹션의 길이를 유도하며, 및/또는
    상기 미리 결정된 서브영상 부분에 대해 외부로부터 시그널링되는 비트스트림 길이 또는 포인터 표시를 이용하여 이루어지는 것인, 장치.
  22. 제19항 내지 제21항 중 어느 한 항에 있어서,
    상기 복호화는 평문 마스크 및/또는 블록-복호화 키의 순차적 변경을 사용한 블록-복호화를 포함하는 것인, 장치.
  23. 제19항 내지 제21항 중 어느 한 항에 있어서,
    복수의 영상 프레임들에 대한 상기 미리 결정된 서브영상 부분의 식별을 함으로써,
    상기 복수의 영상 프레임들은 상기 미리 결정된 서브영상 부분이 상기 서로 다른 부분들 중의 서로 다른 부분들에 대응하는 영상 프레임들을 포함하고, 및/또는
    상기 복수의 영상 프레임들은 정확히 하나의 상기 서브영상 부분이 상기 미리 결정된 서브영상 부분이 되도록 식별되는 제1 영상 프레임들과, 상기 제1 영상 프레임들 사이에 산재되고 어떠한 서브영상 부분도 상기 미리 결정된 서브영상 부분이 되도록 식별되지 않는 제2 프레임들을 포함하도록 이루어지는 것인, 장치.
  24. 타일-기반 비디오 스트리밍에 의해 ROI에 특정된 비디오 스트림을 다운로드하기 위한 데이터 수집 장치로서,
    비디오 영상 영역의 각각의 부분이 서로 다른 품질로 비트스트림들의 서브세트로 인코딩되도록, 상기 비디오 영상 영역의 부분들 중 하나로 각각 인코딩되는 비트스트림들;
    상기 비디오 영상 영역의 ROI와 연관된 적어도 하나의 추출기;
    상기 ROI에 포커싱되는 비디오 영상 영역의 서로 다른 부분들로 인코딩되는 비트스트림들의 세트를 식별하는 매니페스트 파일을 포함하고,
    상기 추출기는, 상기 비트스트림들의 서브세트들 각각에 대해, 각각의 상기 비트스트림들의 서브세트 중 선택된 비트스트림으로부터 현재 영상 프레임에 관련된 영상 부분을 식별함으로써, 그리고 컴파일된 비트스트림들이 형성되는 상기 비트스트림들의 서브세트들 각각의 상기 선택된 비트스트림의 상기 영상 부분에 대한 서브영상 부분을 상기 컴파일된 비트스트림이 포함하도록 상기 식별된 영상 부분들로부터 상기 컴파일된 비트스트림의 컴파일을 시그널링함으로써, 상기 비트스트림들의 세트로부터 상기 컴파일된 비트스트림의 컴파일을 표시하며;
    미리 결정된 비트스트림들의 서브세트 중 상기 선택된 비트스트림의 영상 부분이 미리 결정된 서브영상 부분이 되도록 상기 비트스트림들의 서브세트들로부터 상기 미리 결정된 비트스트림들의 서브세트를 식별함으로써, 그리고 상기 추출기 또는 상기 서브영상 부분들 중 적어도 하나에 포함되는 시그널링에 의해, 상기 컴파일된 비트스트림의 상기 서브영상 부분들로부터 상기 미리 결정된 서브영상 부분이 식별되고,
    상기 미리 결정된 비트스트림들의 서브세트 중 상기 비트스트림들의 상기 영상 부분의 코딩 페이로드 섹션이 암호화되는 것인, 장치.
  25. 제24항에 있어서,
    상기 암호화는 평문 마스크 및/또는 블록-암호화 키의 순차적 변경을 이용함으로써 블록별 암호화를 수반하는 것인, 장치.
  26. 비디오 스트림 장치로서,
    비트스트림들의 세트 및 추출기 파일을 포함하고,
    상기 비트스트림들의 세트는 비디오 영상 영역의 서로 다른 부분들로 인코딩되며,
    상기 추출기 파일은, 상기 비트스트림들의 세트 각각에 대해, 현재 영상 프레임에 관련된 영상 부분을 식별함으로써, 그리고 컴파일된 비트스트림들이 형성되는 상기 비트스트림들의 세트 각각의 상기 영상 부분에 대한 서브영상 부분을 상기 컴파일된 비트스트림이 포함하도록 상기 식별된 영상 부분들로부터 상기 컴파일된 비트스트림의 컴파일을 시그널링함으로써, 상기 비트스트림들의 세트로부터 상기 컴파일된 비트스트림의 컴파일을 표시하고,
    상기 추출기 파일 또는 상기 서브영상 부분들 중 적어도 하나에 포함되는 시그널링에 의해, 상기 컴파일된 비트스트림의 상기 서브영상 부분들로부터 미리 결정된 서브영상 부분이 식별되고,
    상기 미리 결정된 서브영상 부분의 코딩된 페이로드 섹션이 암호화되는 것인, 장치.
  27. 제26항에 있어서,
    상기 암호화는 평문 마스크 및/또는 블록-암호화 키의 순차적 변경을 이용함으로써 블록별 암호화를 수반하는 것인, 장치.
  28. 매니페스트 파일(manifest file)로서,
    제1 파라미터 세트들(202) - 상기 제1파라미터 세트들 각각은, 표현들(12)의 영상-부분에 특정된 적응 세트들(200) 중 하나를 정의하고, 상기 각각의 영상-부분에 특정된 적응 세트의 표현들은 서로 다른 품질로 서로 다른 영상 부분들(14) 중 하나로 인코딩되고, 상기 각각의 제1 파라미터 세트(202)는 상기 각각의 제1 파라미터 세트(202)에 의해 정의되는 상기 영상-부분에 특정된 적응 세트(200)의 각각의 표현에 대한 품질 레벨(204)을 포함함 -; 및
    적어도 하나의 제2 파라미터 세트(206) - 상기 적어도 하나의 제2 파라미터 세트(206)는 출력 영상 영역(216)의 각각의 영역들(214)에 대해 상기 영상-부분에 특정된 적응 세트들 중 하나를 할당하는 사전선택 적응 세트(208)를 정의함 - 를 포함하고,
    상기 적어도 하나의 제2 파라미터 세트(206)는, 상기 각각의 영역(214)에 할당되는 상기 영상-부분에 특정된 적응 세트(200)의 상기 표현들(12)의 상기 품질 레벨들(204)을 커버하는 품질 레벨 범위(220)를 나타내는, 상기 출력 영상 영역(216)의 각각의 영역(214)에 대한 하나 이상의 파라미터들을 포함하고, 및/또는
    상기 매니페스트 파일(24)은, 상기 제1 파라미터 세트들(202)에 의해 표시되는 상기 품질 레벨들(204)이, 상기 제1 파라미터 세트들(202) 중 서로 다른 세트들에 걸쳐 순서대로 스케일링되도록 공통의 순서 스케일(222)로 정의되는지, 또는, 상기 제1 파라미터 세트들(202)에 의해 표시되는 상기 품질 레벨들(204)이 상기 제1 파라미터 세트들(202)에 개별적인, 별도의 순서 스케일들(224)로 정의되는지 여부의 표시를 포함하며, 및/또는
    상기 적어도 하나의 제2 파라미터 세트(206)는, 상기 출력 영상 영역(216)의 각각의 영역(214)에 대해 상기 각각의 영역에 대한 품질 레벨 힌트를 나타내는 하나 이상의 파라미터들과, 상기 각각의 영역(214)에 할당되는 상기 영상-부분에 특정된 적응 세트(200)의 상기 제1 파라미터 세트(202)에 의해 정의되는 상기 품질 레벨들(204) 및 상기 각각의 영역(214)에 대한 상기 품질 레벨 힌트가 순서대로 스케일링되도록 공통의 순서 스케일로 정의되는지 또는 상기 각각의 영역에 할당되는 상기 영상-부분에 특정된 적응 세트(200)의 상기 제1 파라미터 세트(202)에 의해 정의되는 상기 품질 레벨들(204) 및 상기 품질 레벨 힌트가 별도의 순서 스케일들(224)로 정의되는지 여부의 표시를 포함하고, 및/또는
    상기 적어도 하나의 제2 파라미터 세트(206)는, 상기 출력 영상 영역(216)의 상기 영역들(214)에 대해, 상기 영역들(214) 중의 품질 순위를 나타내는 하나 이상의 파라미터들을 포함하는 것인, 매니페스트 파일.
  29. 제28항에 있어서,
    각각의 영상-부분에 특정된 적응 세트(200)에 대해, 상기 제1 파라미터 세트(202)는 상기 각각의 영상-부분에 특정된 적응 세트의 상기 표현들로 인코딩되는 상기 서로 다른 영상 부분들(14) 중 하나에 대한 시야 정보를 정의하는 것인, 매니페스트 파일.
  30. 제28항에 있어서,
    상기 제2 파라미터 세트(206)는 상기 영역들(214)의 콜레이션(collation)에 관한 시야 정보를 정의하는 것인, 매니페스트 파일.
  31. 제30항에 있어서,
    각각이, 자신의 영역들(214)의 콜레이션에 관한 시야 정보를 정의하는, 각각의 사전선택 적응 세트들(208)의 둘 이상의 제2 파라미터 세트들(206)이 존재하며, 상기 콜레이션은 상기 적어도 2개의 제2 파라미터 세트들 사이에서 일치하는 것인, 매니페스트 파일.
  32. 제31항에 있어서,
    상기 둘 이상의 제2 파라미터 세트들(206)은 상기 콜레이션 내에서의 위치가 상기 둘 이상의 제2 파라미터 세트들(206)에 걸쳐서 변하는, 상기 영역들(214) 중에서 가장 높은 품질의 영역을 정의하는 것인, 서버.
  33. 제28항의 매니페스트 파일을 검사하고 상기 품질 레벨 범위 및/또는 상기 표시에 기초하여 서버로부터 비디오를 적응적으로 스트리밍하는 데 있어 스트리밍 전략을 변경하도록 구성되는, 클라이언트 디바이스.
  34. 제33항에 있어서,
    원하는 뷰포트에 대해 상기 사전선택 적응 세트들을 순위매기기 위해 상기 품질 레벨들, 상기 품질 레벨 범위들, 상기 품질 레벨 힌트들, 및/또는 상기 표시를 사용하도록 구성되는, 클라이언트 디바이스.
  35. 제33항에 있어서,
    상기 매니페스트 파일의 품질 정보에 기초하여 사전선택 적응 세트의 출력 영상 영역 내의 향상된 품질을 갖는 ROI의 위치를 결정하고, 상기 스트리밍 전략을 결정하기 위해 원하는 뷰포트와 상기 ROI의 상기 위치를 비교하도록 구성되는, 클라이언트 디바이스.
  36. 매니페스트 파일로서,
    영역들 내의 비디오 영상 영역의 서브분할에 일치하는 표현들의 일 세트를 정의하는 영역별 컴파일된 적응 세트에 대한 제1 파라미터 세트 - 상기 표현들은 각각의 영역에 대해 영역에 특정된 품질 레벨을 할당하는 서로 다른 품질 레벨 튜플들에서 비디오 영상 영역의 상기 영역들로 인코딩됨 - 를 포함하고,
    상기 제1 파라미터 세트는,
    모든 영역들에 대한 적응 세트 품질 레벨 표시, 및
    각각의 표현에 대해, 표현에 특정된 품질 레벨 표시를 포함하며,
    각각의 표현에 대해, 상기 각각의 표현의 상기 품질 레벨 튜플(tuple)이, 상기 각각의 표현에 대한 상기 적응 세트 품질 레벨 표시 및 상기 표현에 특정된 품질 레벨 표시의 조합으로부터 유도될 수 있는 것인, 매니페스트 파일.
  37. 제36항에 있어서,
    상기 표현들의 상기 품질 레벨 튜플은, 상기 영역들 중에서 가장 높은 품질의 영역의 위치가 상기 표현들에 걸쳐 변하도록 변화하는, 매니페스트 파일.
  38. 제36항의 매니페스트 파일을 검사하고 서버로부터 미디오를 적응적으로 스트리밍하는 데 있어 상기 표현들의 품질 레벨 튜플들을 사용하도록 구성된 클라이언트 디바이스.
  39. 제38항에 있어서,
    원하는 뷰포트에 대해 상기 표현들을 순위매기기 위해 상기 표현의 품질 레벨 튜플들을 사용하도록 구성되는, 클라이언트 디바이스.
  40. 비디오 영상 영역(216)의 부분들(214) 중 서로 다른 부분과 각각 연관된 비트스트림들의 서브세트들로부터 컴파일된 비트스트림의 컴파일을 표시하되, 비트스트림들의 상기 연관된 서브세트(200)로부터의 하나의 비트스트림(12)의 각각의 부분(214)에 대해 선택할 자유를 남겨두는 추출기(20)를 위한 파일 포맷 디스크립터(file format descriptor)로서,
    상기 파일 포맷은,
    상기 각각의 부분(214)에 할당되는 상기 표현들의 서브세트 중 상기 표현들(12)에 시그널링되는 품질 레벨들을 커버하는 품질 레벨 범위(220)를 나타내는, 상기 비디오 영상 영역(216)의 각각의 부분(214)에 대한 하나 이상의 파라미터들을 포함하고, 및/또는
    상기 표현들에 표시된 품질 레벨들이, 서로 다른 서브세트들의 상기 표현들 중 서로 다른 표현들에 걸쳐 순서대로 스케일링되도록 공통의 순서 스케일(222)로 정의되는지, 또는 상기 표현들에 의해 표시된 상기 품질 레벨들이 상기 서브세트들에 대해 개별적인 별도의 순서 스케일들(224)로 정의되는지 여부의 표시를 포함하며; 및/또는
    상기 출력 영상 영역(216)의 각각의 부분(214)에 대해, 상기 각각의 부분에 대한 품질 레벨 힌트를 나타내는 하나 이상의 파라미터들과, 상기 각각의 부분에 관련된 상기 서브세트에 의해 구성되는 상기 표현들에 표시되는 상기 품질 레벨들 및 상기 각각의 부분에 대한 상기 품질 레벨 힌트가 순서대로 스케일링되도록 공통의 순서 스케일로 정의되는지, 또는 상기 각각의 부분에 관련된 상기 서브세트에 의해 구성되는 상기 표현들에 표시되는 상기 품질 레벨들(204) 및 상기 품질 레벨 힌트가 별도의 순서 스케일들(224)로 정의되는지 여부의 표시를 포함하고, 및/또는
    상기 출력 영상 영역(216)의 상기 부분들(214)에 대해, 상기 부분들(214) 중의 품질 순위를 나타내는 하나 이상의 파라미터들을 포함하는 것을 특징으로 하는 파일 포맷 디스크립터.
  41. 타일-기반 비디오 스트리밍에 의해 ROI에 특수한 비디오 스트림(40)을 다운로드하기 위한 방법으로서, 상기 방법은,
    관심 영역(ROI)(22)에 따라, 추출기(20)와 함께 비트스트림들(12)의 세트(32)를 식별 및 다운로드하되, 상기 비트스트림들(12)의 세트(32)는 비디오 영상 영역(16)의 서로 다른 부분들(14)로 인코딩되도록 매니페스트 파일(24)을 검사하는 단계;
    상기 추출기(20)를 이용하여, 상기 비트스트림들의 세트(32) 각각으로부터, 각각의 상기 비트스트림을 파싱하여 현재 영상 프레임(30)에 관련된 영상 부분(34)을 추출함으로써, 그리고 컴파일된 비트스트림(40)이 형성되는 상기 비트스트림들의 세트 각각의 상기 영상 부분(34)에 대한 서브영상 부분(44)을 상기 컴파일된 비트스트림(40)이 포함하도록 상기 추출된 영상 부분들(34)로부터 상기 컴파일된 비트스트림(40)을 형성함으로써, 상기 비트스트림들의 세트(32)로부터 상기 컴파일된 비트스트림(40)을 컴파일하는 단계; 및
    평문 마스크 및/또는 블록-복호화 키의 순차적 변경을 사용함으로써 블록별 복호화를 사용하고, 복호화될 각각의 서브영상 부분에 대한 상기 순차적 변경을 재초기화하며, 복호화될 각각의 서브영상 부분(44)의 코딩 페이로드 섹션(48)의 경계를 탐색함으로써, 상기 컴파일된 비트스트림(40)의 하나 이상의 상기 서브영상 부분들 중 한 서브세트의 각각의 서브영상 부분(44)의 상기 코딩 페이로드 섹션(48)을 복호화하는 단계를 포함하고, 상기 탐색은,
    상기 각각의 서브영상 부분(44)의 상기 코딩 페이로드 섹션(48)을 현재 복호화된 위치까지 파싱(102)하는 단계 및/또는
    상기 각각의 서브영상 부분(44) 내의 헤더(46)로부터 상기 각각의 서브영상 부분의 상기 코딩 페이로드 섹션의 길이를 유도하는 단계, 및/또는
    상기 각각의 서브영상 부분이 속하고 상기 영상 부분이 추출되는 상기 비트스트림 내에 시그널링되는 비트스트림 길이 또는 포인터 표시를 사용하는 단계에 의해 수행되는 것을 특징으로 하는 타일-기반 비디오 스트리밍에 의해 ROI에 특수한 비디오 스트림(40)을 다운로드하기 위한 방법.
  42. 비트스트림들의 세트 및 추출기 파일로부터 비디오 스트림을 복원하기 위한 방법으로서, 상기 비트스트림들의 세트는 비디오 영상 영역의 서로 다른 부분들로 인코딩되고, 상기 방법은,
    상기 추출기 파일을 이용하여, 상기 비트스트림들의 세트 각각으로부터, 각각의 상기 비트스트림을 파싱하여 현재 영상 프레임에 관련된 영상 부분을 추출함으로써, 그리고 컴파일된 비트스트림이 형성되는 상기 비트스트림들의 세트 각각의 상기 영상 부분에 대한 서브영상 부분을 상기 컴파일된 비트스트림이 포함하도록 상기 추출된 영상 부분들로부터 상기 컴파일된 비트스트림을 형성함으로써, 상기 비트스트림들의 세트로부터 상기 컴파일된 비트스트림을 컴파일하는 단계; 및
    평문 마스크 및/또는 블록-복호화 키의 순차적 변경을 사용함으로써 블록별 복호화를 사용하고, 복호화될 각각의 서브영상 부분에 대한 상기 순차적 변경을 재초기화하며, 복호화될 각각의 서브영상 부분의 코딩 페이로드 섹션의 경계를 탐색함으로써, 상기 컴파일된 비트스트림의 하나 이상의 상기 서브영상 부분들 중 한 서브세트의 각각의 서브영상 부분의 상기 코딩 페이로드 섹션을 복호화하는 단계를 포함하고, 상기 탐색은,
    상기 각각의 서브영상 부분의 상기 코딩 페이로드 섹션을 현재 복호화된 위치까지 파싱하고, 및/또는
    상기 각각의 서브영상 부분 내의 헤더로부터 상기 각각의 서브영상 부분의 상기 코딩 페이로드 섹션의 길이를 유도하고, 및/또는
    상기 각각의 서브영상 부분이 속하고 상기 영상 부분이 추출되는 상기 비트스트림 내에 시그널링되는 비트스트림 길이 또는 포인터 표시를 사용하는 것에 의해 이루어지는 것을 특징으로 하는 비트스트림들의 세트 및 추출기 파일로부터 비디오 스트림을 복원하기 위한 방법.
  43. 비디오 영상 영역의 서로 다른 부분들에 대한 서브영상 부분들을 포함하는 비트스트림으로부터 비디오 스트림을 복원하기 위한 방법으로서, 상기 방법은,
    평문 마스크 및/또는 블록-복호화 키의 순차적 변경을 사용함으로써 블록별 복호화를 사용하고, 복호화될 각각의 서브영상 부분에 대한 상기 순차적 변경을 재초기화하며, 복호화될 각각의 서브영상 부분의 코딩 페이로드 섹션의 경계를 탐색함으로써, 상기 비트스트림의 하나 이상의 상기 서브영상 부분들 중 한 서브세트의 각각의 서브영상 부분의 상기 코딩 페이로드 섹션을 복호화하는 단계를 포함하고, 상기 탐색은,
    상기 각각의 서브영상 부분의 상기 코딩 페이로드 섹션을 현재 복호화된 위치까지 파싱하는 단계 및/또는
    상기 각각의 서브영상 부분 내의 헤더로부터 상기 각각의 서브영상 부분의 상기 코딩 페이로드 섹션의 길이를 유도하는 단계, 및/또는 상기 각각의 서브영상 부분에 대해 외부로부터 시그널링되는 비트스트림 길이 또는 포인터 표시를 사용하는 단계에 의해 수행되는 것을 특징으로 하는 비디오 영상 영역의 서로 다른 부분들에 대한 서브영상 부분들을 포함하는 비트스트림으로부터 비디오 스트림을 복원하기 위한 방법.
  44. 타일-기반 비디오 스트리밍에 의해 ROI에 특수한 비디오 스트림을 다운로드하기 위한 방법으로서, 상기 방법은,
    ROI에 따라, 추출기 파일과 함께 비트스트림들의 세트를 식별 및 다운로드하되 상기 비트스트림들의 세트는 비디오 영상 영역의 서로 다른 부분들로 인코딩되도록 매니페스트 파일을 검사하는 단계;
    상기 추출기 파일을 이용하여, 상기 비트스트림들의 세트 각각으로부터, 각각의 상기 비트스트림을 파싱하여 현재 영상 프레임에 관련된 영상 부분을 추출함으로써, 그리고 컴파일된 비트스트림이 형성되는 상기 비트스트림들의 세트 각각의 상기 영상 부분에 대한 서브영상 부분을 상기 컴파일된 비트스트림이 포함하도록 상기 추출된 영상 부분들로부터 상기 컴파일된 비트스트림을 형성함으로써, 상기 비트스트림들의 세트로부터 상기 컴파일된 비트스트림을 컴파일하는 단계;
    상기 추출기 파일 또는 상기 서브영상 부분들 중 적어도 하나에서의 시그널링에 기초하여 상기 컴파일된 비트스트림의 상기 서브영상 부분들로부터 미리 결정된 서브영상 부분을 식별하는 단계; 및
    복호화될 상기 미리 결정된 서브영상 부분의 코딩 페이로드 섹션의 경계를 탐색함으로써, 상기 컴파일된 비트스트림의 상기 서브영상 부분들 중 상기 미리 결정된 서브영상 부분의 상기 코딩 페이로드 섹션을 복호화하는 단계를 포함하고, 상기 탐색은,
    상기 코딩 페이로드 섹션을 현재 복호화된 위치까지 파싱하고, 및/또는
    상기 하나의 미리 결정된 서브영상 부분 내의 헤더로부터 상기 코딩 페이로드 섹션의 길이를 유도하고, 및/또는
    상기 미리 결정된 서브영상 부분이 속하고 상기 영상 부분이 추출되는 상기 비트스트림 내에 시그널링되는 비트스트림 길이 또는 포인터 표시를 사용하는 것에 의해 수행되는 것을 특징으로 하는, 타일-기반 비디오 스트리밍에 의해 ROI에 특수한 비디오 스트림을 다운로드하기 위한 방법.
  45. 비트스트림들의 세트 및 추출기 파일로부터 비디오 스트림을 복원하기 위한 방법으로서, 상기 비트스트림들의 세트는 비디오 영상 영역의 서로 다른 부분들로 인코딩되고, 상기 방법은,
    상기 추출기 파일을 이용하여, 상기 비트스트림들의 세트 각각으로부터, 각각의 상기 비트스트림을 파싱하여 현재 영상 프레임에 관련된 영상 부분을 추출함으로써, 그리고 컴파일된 비트스트림이 형성되는 상기 비트스트림들의 세트 각각의 상기 영상 부분에 대한 서브영상 부분을 상기 컴파일된 비트스트림이 포함하도록 상기 추출된 영상 부분들로부터 상기 컴파일된 비트스트림을 형성함으로써, 상기 비트스트림들의 세트로부터 상기 컴파일된 비트스트림을 컴파일하는 단계;
    상기 추출기 파일 또는 상기 서브영상 부분들 중 적어도 하나에서의 시그널링에 기초하여 상기 컴파일된 비트스트림의 상기 서브영상 부분들로부터 미리 결정된 서브영상 부분을 식별하는 단계; 및
    복호화될 상기 미리 결정된 서브영상 부분의 코딩 페이로드 섹션의 경계를 탐색함으로써, 상기 컴파일된 비트스트림의 상기 서브영상 부분들 중 상기 미리 결정된 서브영상 부분의 상기 코딩 페이로드 섹션을 복호화하는 단계를 포함하고, 상기 탐색은,
    상기 코딩 페이로드 섹션을 현재 복호화된 위치까지 파싱하는 단계 및/또는
    상기 하나의 미리 결정된 서브영상 부분 내의 헤더로부터 상기 코딩 페이로드 섹션의 길이를 유도하는 단계, 또는
    상기 미리 결정된 서브영상 부분이 속하고 상기 영상 부분이 추출되는 상기 비트스트림 내에 시그널링되는 비트스트림 길이 또는 포인터 표시를 사용하는 단계에 의해 수행되는 것을 특징으로 하는 비트스트림들의 세트 및 추출기 파일로부터 비디오 스트림을 복원하기 위한 방법.
  46. 비디오 영상 영역의 서로 다른 부분들에 대한 서브영상 부분들을 포함하는 비트스트림으로부터 비디오 스트림을 복원하기 위한 방법으로서, 상기 방법은,
    외부로부터 내부로의 시그널링 또는 상기 서브영상 부분들 내의 시그널링에 기초하여 상기 비트스트림의 상기 서브영상 부분들로부터 미리 결정된 서브영상 부분을 식별하는 단계,
    복호화될 상기 미리 결정된 서브영상 부분의 코딩 페이로드 섹션의 경계를 탐색함으로써, 상기 비트스트림의 상기 서브영상 부분들 중 상기 미리 결정된 서브영상 부분의 상기 코딩 페이로드 섹션을 복호화하는 단계를 포함하고, 상기 탐색은,
    상기 코딩 페이로드 섹션을 현재 복호화된 위치까지 파싱하는 단계 및/또는
    상기 미리 결정된 서브영상 부분 내의 헤더로부터 상기 코딩 페이로드 섹션의 길이를 유도하는 단계, 및/또는
    상기 미리 결정된 서브영상 부분에 대해 외부로부터 시그널링되는 비트스트림 길이 또는 포인터 표시를 사용하는 단계에 의해 수행되는 것을 특징으로 하는 비디오 영상 영역의 서로 다른 부분들에 대한 서브영상 부분들을 포함하는 비트스트림으로부터 비디오 스트림을 복원하기 위한 방법.
  47. 클라이언트 디바이스를 작동하기 위한 방법으로서, 제28항의 매니페스트 파일을 검사하는 단계, 및 상기 품질 레벨 범위 및/또는 상기 표시에 기초하여, 서버로부터 비디오를 적응적으로 스트리밍하는 스트리밍 전략을 변경하는 단계를 포함하는 것을 특징으로 하는 클라이언트 디바이스를 작동하기 위한 방법.
  48. 클라이언트 디바이스를 작동하기 위한 방법으로서, 제36항의 매니페스트 파일을 검사하는 단계, 및 서버로부터 비디오를 적응적으로 스트리밍하기 위한 스트리밍 전략에서 상기 표현들의 품질 레벨 튜플들을 이용하는 단계를 포함하는 것을 특징으로 하는 클라이언트 디바이스를 작동하기 위한 방법.
  49. 컴퓨터 상에서 실행될 때 제41항 내지 제48항 중 어느 한 항의 방법을 수행하는 명령을 저장하는 컴퓨터 판독가능 매체를 포함하는 비일시적(non-transitory) 컴퓨터 프로그램 제품.
KR1020227007136A 2017-07-06 2018-07-06 분할된 비디오 스트리밍 개념 KR102649892B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020247008930A KR20240038175A (ko) 2017-07-06 2018-07-06 분할된 비디오 스트리밍 개념

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP17180149 2017-07-06
EP17180149.1 2017-07-06
KR1020207000348A KR102371574B1 (ko) 2017-07-06 2018-07-06 분할된 비디오 스트리밍 개념
PCT/EP2018/068445 WO2019008174A1 (en) 2017-07-06 2018-07-06 CONCEPTS FOR CONTINUOUSLY DISPLAYING VIDEOS CUT INTO PARTS

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207000348A Division KR102371574B1 (ko) 2017-07-06 2018-07-06 분할된 비디오 스트리밍 개념

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020247008930A Division KR20240038175A (ko) 2017-07-06 2018-07-06 분할된 비디오 스트리밍 개념

Publications (2)

Publication Number Publication Date
KR20220034922A true KR20220034922A (ko) 2022-03-18
KR102649892B1 KR102649892B1 (ko) 2024-03-21

Family

ID=59298327

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020207000348A KR102371574B1 (ko) 2017-07-06 2018-07-06 분할된 비디오 스트리밍 개념
KR1020247008930A KR20240038175A (ko) 2017-07-06 2018-07-06 분할된 비디오 스트리밍 개념
KR1020227007136A KR102649892B1 (ko) 2017-07-06 2018-07-06 분할된 비디오 스트리밍 개념

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020207000348A KR102371574B1 (ko) 2017-07-06 2018-07-06 분할된 비디오 스트리밍 개념
KR1020247008930A KR20240038175A (ko) 2017-07-06 2018-07-06 분할된 비디오 스트리밍 개념

Country Status (6)

Country Link
US (3) US11172011B2 (ko)
EP (1) EP3649789A1 (ko)
JP (1) JP7142040B2 (ko)
KR (3) KR102371574B1 (ko)
CN (1) CN111052748B (ko)
WO (1) WO2019008174A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2554877B (en) * 2016-10-10 2021-03-31 Canon Kk Methods, devices, and computer programs for improving rendering display during streaming of timed media data
US10715310B2 (en) * 2018-05-07 2020-07-14 Qualcomm Incorporated Method and apparatus for decrypting data blocks of a pattern-encrypted subsample
US11743502B2 (en) * 2018-07-05 2023-08-29 Telefonaktiebolaget Lm Ericsson (Publ) Compact description of region-wise packing information
US11511351B2 (en) * 2018-08-10 2022-11-29 Canon Kabushiki Kaisha Additive manufacturing apparatus and method for manufacturing three-dimensionally shaped object
JP7439762B2 (ja) * 2018-10-02 2024-02-28 ソニーグループ株式会社 情報処理装置および情報処理方法、並びにプログラム
JP7296219B2 (ja) * 2019-03-07 2023-06-22 日本放送協会 受信装置、送信装置、及びプログラム
EP3761647A1 (en) 2019-07-05 2021-01-06 Tiledmedia B.V. Methods and devices for rendering a video on a display
CN114270831A (zh) 2019-08-10 2022-04-01 北京字节跳动网络技术有限公司 视频处理中的子图片尺寸定义
US11729243B2 (en) * 2019-09-20 2023-08-15 Intel Corporation Dash-based streaming of point cloud content based on recommended viewports
MX2022003765A (es) 2019-10-02 2022-04-20 Beijing Bytedance Network Tech Co Ltd Sintaxis para la se?alizacion de subimagen en un flujo de bits de video.
JP7482220B2 (ja) 2019-10-18 2024-05-13 北京字節跳動網絡技術有限公司 サブピクチャのパラメータセットシグナリングにおける構文制約
US11509938B2 (en) * 2019-11-05 2022-11-22 Hfi Innovation Inc. Method and apparatus of signaling subpicture information in video coding
US11792432B2 (en) * 2020-02-24 2023-10-17 Tencent America LLC Techniques for signaling and identifying access unit boundaries
EP3920539A1 (en) * 2020-06-04 2021-12-08 MK Systems USA Inc. Systems and methods for providing audio-video streams with alternative content
KR20230023359A (ko) * 2021-08-10 2023-02-17 한화테크윈 주식회사 감시카메라 시스템
CN115834926B (zh) * 2022-11-21 2023-11-21 深圳市超时代软件有限公司 基于h.265熵编码二值化的视频加密方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005528631A (ja) * 2001-10-04 2005-09-22 ヒューレット・パッカード・カンパニー 安全なスケーラブルデータストリーミング用の符号化／暗号化デバイス
KR20140063862A (ko) * 2011-09-21 2014-05-27 퀄컴 인코포레이티드 미디어 데이터의 네트워크 스트리밍을 위한 세그먼트들의 시그널링 특성들
KR20170012396A (ko) * 2014-07-01 2017-02-02 캐논 가부시끼가이샤 Hevc 적층된 미디어 데이터를 캡슐화하기 위한 방법, 디바이스, 및 컴퓨터 프로그램
KR20170018352A (ko) * 2014-06-27 2017-02-17 코닌클리즈케 케이피엔 엔.브이. Hevc-타일드 비디오 스트림을 기초로 한 관심영역 결정
KR20170040298A (ko) * 2014-08-07 2017-04-12 쏘닉 아이피, 아이엔씨. 독립적으로 인코딩된 타일을 포함한 기본 비트스트림을 보호하는 시스템 및 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6983049B2 (en) * 2001-05-04 2006-01-03 Hewlett-Packard Development Company, Lp. Storage devices for secure scalable data streaming
AU2005295030A1 (en) 2004-10-05 2006-04-20 Vectormax Corporation Method and system for loss-tolerant multimedia multicasting
WO2012093304A1 (en) 2011-01-05 2012-07-12 Koninklijke Philips Electronics N.V. Video coding and decoding devices and methods preserving ppg relevant information
US9270461B2 (en) 2012-04-27 2016-02-23 Futurewei Technologies, Inc. System and method for efficient support for short cryptoperiods in template mode
US9125073B2 (en) * 2012-08-03 2015-09-01 Intel Corporation Quality-aware adaptive streaming over hypertext transfer protocol using quality attributes in manifest file
WO2014113486A1 (en) 2013-01-15 2014-07-24 Futurewei Technologies, Inc. Using quality information for adaptive streaming of media content
US9386308B2 (en) 2013-07-16 2016-07-05 Cisco Technology, Inc. Quality optimization with buffer and horizon constraints in adaptive streaming
CN106233745B (zh) * 2013-07-29 2021-01-15 皇家Kpn公司 向客户端提供瓦片视频流
GB2524531B (en) * 2014-03-25 2018-02-07 Canon Kk Methods, devices, and computer programs for improving streaming of partitioned timed media data
US10631070B2 (en) * 2014-05-22 2020-04-21 Idomoo Ltd System and method to generate a video on-the-fly
CN104284208B (zh) * 2014-10-23 2017-11-10 航天数字传媒有限公司 通过aes‑cbc算法进行并行加密的方法及系统
US10084838B2 (en) * 2014-10-29 2018-09-25 DLVR, Inc. Generating and using manifest files including content delivery network authentication data
WO2016180486A1 (en) * 2015-05-12 2016-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Composite scalable video streaming
CN105187851A (zh) * 2015-07-31 2015-12-23 北京邮电大学 一种面向海量编码多媒体数据的速度可调节加密方法以及采用该方法的视频处理平台
US10313745B2 (en) * 2016-01-17 2019-06-04 Bitmovin Gmbh Adaptive streaming of an immersive video scene
US10291910B2 (en) * 2016-02-12 2019-05-14 Gopro, Inc. Systems and methods for spatially adaptive video encoding
US10491964B2 (en) * 2017-01-23 2019-11-26 Cisco Technology, Inc. Assisted acceleration for video streaming clients

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005528631A (ja) * 2001-10-04 2005-09-22 ヒューレット・パッカード・カンパニー 安全なスケーラブルデータストリーミング用の符号化／暗号化デバイス
KR20140063862A (ko) * 2011-09-21 2014-05-27 퀄컴 인코포레이티드 미디어 데이터의 네트워크 스트리밍을 위한 세그먼트들의 시그널링 특성들
KR20170018352A (ko) * 2014-06-27 2017-02-17 코닌클리즈케 케이피엔 엔.브이. Hevc-타일드 비디오 스트림을 기초로 한 관심영역 결정
KR20170012396A (ko) * 2014-07-01 2017-02-02 캐논 가부시끼가이샤 Hevc 적층된 미디어 데이터를 캡슐화하기 위한 방법, 디바이스, 및 컴퓨터 프로그램
KR20170040298A (ko) * 2014-08-07 2017-04-12 쏘닉 아이피, 아이엔씨. 독립적으로 인코딩된 타일을 포함한 기본 비트스트림을 보호하는 시스템 및 방법

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
Byeongdoo Choi, Ye-Kui Wang, Miska M. Hannuksela, Youngkwon Lim (editors), "OMAF DIS text with updates based on Berlin OMAF AHG meeting agreements", m40849, 2017-06-16
ISO/IEC 14496-12:2015, Information technology - Coding of audio-visual objects - -Part 12: ISO base media file format
ISO/IEC 14496-15:2017, Information technology - Coding of audio-visual objects - -Part 15: Carriage of network abstraction layer (NAL) unit structured video in the ISO base media file format
ISO/IEC 23001-7:2016, Information technology -- MPEG systems technologies -- Part 7: Common encryption in ISO base media file format files
ISO/IEC 23008-2:2013, Information technology -- High efficiency coding and media delivery in heterogeneous environments - Part 2: High efficiency video coding
ISO/IEC 23009-1:2014, Information technology - Dynamic adaptive streaming over HTTP (DASH) - Part 1: Media presentation description and segment formats
NIST, "ADVANCED ENCRYPTION STANDARD (AES)； 2001, online: http://nvlpubs.nist.gov/nistpubs/FIPS/NIST.FIPS.197.pdf
NIST, "Recommendation for Block 2001 Edition Cipher Modes of Operation", NIST Special Publication 800-38A 2001 Edition, online: http://dx.doi.org/10.6028/NIST.SP.800-38A

Also Published As

Publication number Publication date
CN111052748B (zh) 2022-05-17
EP3649789A1 (en) 2020-05-13
KR102649892B1 (ko) 2024-03-21
US11172011B2 (en) 2021-11-09
KR20200031093A (ko) 2020-03-23
JP7142040B2 (ja) 2022-09-26
US20200137136A1 (en) 2020-04-30
US11711413B2 (en) 2023-07-25
CN111052748A (zh) 2020-04-21
JP2020526136A (ja) 2020-08-27
WO2019008174A1 (en) 2019-01-10
US20230412663A1 (en) 2023-12-21
KR102371574B1 (ko) 2022-03-07
US20220086213A1 (en) 2022-03-17
US11943274B2 (en) 2024-03-26
KR20240038175A (ko) 2024-03-22

Similar Documents

Publication Publication Date Title
KR102371574B1 (ko) 분할된 비디오 스트리밍 개념
JP7418533B2 (ja) 独立的に符号化されたタイルを組み込む基本ビットストリームを保護するためのシステムおよび方法
US11509878B2 (en) Methods and apparatus for using track derivations for network based media processing
KR102027410B1 (ko) 계층화된 신호 품질 계층에서의 재구성 데이터의 송신
KR100805604B1 (ko) 데이터 스케일링 방법 및 데이터 처리 방법
US8838954B2 (en) Media processing devices for adaptive delivery of on-demand media, and methods thereof
JP2013141253A (ja) ビットストリームを選択的にスクランブルする方法
US20180302674A1 (en) File generating method and file generating apparatus
CN105491399A (zh) 图像处理装置及其控制方法
US20240187470A1 (en) Portioned video streaming concepts
KR102348633B1 (ko) 비디오 암호화 및 복호화 방법 및 장치
US11134307B2 (en) Image processing apparatus and control method thereof
WO2015072127A1 (ja) ファイル生成方法およびファイル生成装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant