KR20220164549A

KR20220164549A - 효율적인 관심영역, 스트림 액세스 및 파라미터 세트 처리를 허용하는 파일 포맷 체계

Info

Publication number: KR20220164549A
Application number: KR1020227038516A
Authority: KR
Inventors: 야고 산체즈 데 라 푸엔테; 디미트리 포드보르스키; 카르스텐 구르네베르그; 코르넬리우스 헤르게; 토마스 쉬를; 로버트 스쿠핀; 토마스 위건드
Original assignee: 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date: 2020-04-02
Filing date: 2021-04-01
Publication date: 2022-12-13
Also published as: US20230015840A1; EP4128786A1; WO2021198491A1

Abstract

비디오 파일의 파일 포맷 개념이 기술된다. 첫 번째 파일 포맷 개념에 따르면, 트랙의 서브-스트림과 추가 트랙을 공동으로 디코딩할 때 파일의 설명 데이터가 파일의 트랙에 대해 설정된 파라미터가 포워딩되는지 여부를 나타낸다. 두 번째 파일 포맷 개념에 따르면, 파일은 파일에서 시그널링되는 비디오 스트림의 서브-스트림에 대해 트랙을 완전히 디코딩하기 위한 파라미터 세트로 설정된 대안 파라미터를 포함하는데, 이 대안 파라미터 세트는 서브-스트림을 디코딩하기 위한 것이다. 두 번째 파일 포맷 개념을 사용하면 파일의 다수의 트랙들 간에 스위칭을 할 수 있다. 세 번째 양태는 파일의 트랙의 단계적 스트림 액세스 픽처를 트랙에 액세스하기 위한 스트림 액세스 포인트 픽처로 표시하는 개념을 제공한다. 네 번째 파일 포맷 개념에 따르면, 다수의 트랙에 분산된 서브-스트림을 공동 디코딩하는 경우 디코더 리프레쉬의 시간 길이가 파일에 표시된다. 다섯 번째 파일 포맷 개념에 따르면, 파일은 픽셀 종횡비가 변하는지 여부를 도출할 수 있는 정보를 제공한다.

Description

효율적인 관심영역, 스트림 액세스 및 파라미터 세트 처리를 허용하는 파일 포맷 체계

본 발명의 실시예들은 비 맷 파서에 관한 것이다. 추가적인 실시예들은 비디오 스트림의 하나 이상의 픽처에 대한 정보를 포함하는 파일을 생성하기 위한 파일 생성기에 관한 것이다. 추가적인 실시예들은 비디오 디코더 및 비디오 인코더에 관한 것이다. 본 발명의 실시예들은 비디오 스트림의 하나 이상의 픽처에 대한 정보를 포함하는 파일을 파싱하는 방법에 관한 것이다. 추가적인 실시예들은 비디오 스트림의 하나 이상의 픽처에 대한 정보를 포함하는 파일을 생성하는 방법에 관한 것이다.

추가적인 실시예들은 서버로부터 미디어 데이터를 다운로드하는 클라이언트 장치에 관한 것이다. 본 발명의 추가적인 실시예들은 비디오 스트림의 하나 이상의 픽처에 대한 정보를 포함하는 데이터 파일들과 같은 파일들에 관한 것이다. 본 발명의 추가적인 실시예들은 클라이언트에 의해 서버로부터 다운로드될 수 있는 미디어 데이터를 기술하는 매니페스트 파일에 관한 것이다. 추가적인 실시예들은 서버로부터 미디어 데이터를 다운로드하는 방법에 관한 것이다.

인코딩된 비디오 데이터는 하나 이상의 파일 형태로 저장되거나 전송될 수 있다. 이 파일들은, 코딩된 비디오 데이터 자체를 넘어, 코딩된 비디오 데이터의 구조에 대한 정보 및/또는 코딩된 비디오 데이터가 파일 내에서 어떻게 구조화되는지에 대한 정보를 포함할 수 있다. 파일에 저장된 비디오 데이터의 효율적으로 디코딩되게 하고/하거나 서로 다른 성능을 갖는 디코더들과 파일이 높은 호환성을 갖도록 하거나 및/또는 파일에 저장된 비디오 스트림의 일부가 효율적으로 추출될 수 있도록 하여, 디코더의 리소스들을 효율적으로 이용할 수 있도록 하기 위해서는, 파일 생성 및/또는 파싱에 대한 유연한 개념을 갖는 것이 바람직하며, 이러한 개념을 견지하는 것은 낮은 코딩 오버헤드도 필요로 한다.

파일에 표시된 비디오 스트림은 다수의 서브-스트림들을 포함할 수 있다. 서브-스트림들은, 비디오 스트림의 픽처의 서브-픽처(sub-picture)의 스트림 측면에서, 또는 시간적 서브-스트림 측면에서 예컨대 프레임 레이트가 더 낮은 스트림의 측면에서, 비디오 스트림의 일부일 수 있다. 비디오 스트림 및/또는 서브-스트림들은 파일의 하나 이상의 트랙에 걸쳐 분산되어 있을 수 있다. 예를 들어, 서브-스트림들 각각은 파일의 별도 트랙에 저장될 수 있으며, 이에 따라 비디오 스트림은 다수의 트랙에 걸쳐 분산되어 있을 수 있다. 예에 따라서는, 어느 한 서브-스트림도 파일의 여러 트랙에 걸쳐 분산될 수 있다. 파일의 트랙은 코딩된 픽처 또는 그 일부를 포함할 수 있다. 아울러, 트랙은 그 트랙 또는 다른 트랙의 코딩된 비디오 데이터에 대한 정보를 나타내는 파라미터 세트를 포함할 수 있다. 예를 들어, 파라미터 세트는 파일로부터 비디오 스트림이나 서브-스트림을 추출하는 방법 또는 비디오 스트림이나 서브-스트림을 디코딩하는 방법을 나타낼 수 있다. 파라미터 세트의 파라미터들은 특정 서브-스트림, 예컨대, 파라미터 세트를 포함하는 트랙에 의해 표시되는 서브-스트림을 참조할 수 있다. 다른 예들에서, 파라미터 세트는 다수의 서브-스트림들을 포함하는 스트림, 또는 다수의 트랙들에 걸쳐 분포하는 전체 비디오 스트림을 참조할 수도 있다. 이 경우, 예컨대 단일 서브-스트림을 참조하는 파라미터 세트는 다수의 서브-스트림들로 구성된 스트림을 디코딩하는 디코더에 필요하지 않을 수 있다.

본 발명의 예시적 실시예들은 비디오 스트림의 하나 이상의 픽처에 대한 정보를 포함하는 파일을 파싱하는 파일 포맷 파서를 제공한다. 추가적인 실시예들은 비디오 스트림의 하나 이상의 픽처에 대한 정보를 포함하는 파일을 생성하기 위한 파일 생성기를 제공한다. 추가적인 실시예들은 비디오 디코더 및 비디오 인코더에 관한 것이다. 본 발명의 실시예들은 비디오 스트림의 하나 이상의 픽처에 대한 정보를 포함하는 파일을 파싱하는 방법을 제공한다. 추가적인 실시예들은 비디오 스트림의 하나 이상의 픽처에 대한 정보를 포함하는 파일을 생성하는 방법을 제공한다.

추가적인 실시예들은 서버로부터 미디어 데이터를 다운로드하는 클라이언트 장치를 제공한다. 본 발명의 추가적인 실시예들은 비디오 스트림의 하나 이상의 픽처에 대한 정보를 포함하는 데이터 파일들과 같은 파일들을 제공한다. 본 발명의 추가적인 실시예들은 클라이언트에 의해 서버로부터 다운로드될 수 있는 미디어 데이터를 기술하는 매니페스트 파일을 제공한다. 추가적인 실시예들은 서버로부터 미디어 데이터를 다운로드하는 방법을 제공한다.

본 발명의 제1 양태는, 파일을 파싱하는 동안, 소정의 트랙을 포함하는 다수의 트랙들에 분산된 스트림을 디코딩할 때 파일의 상기 소정의 트랙이 무시되어야 할지 여부가 파라미터 세트와 같은 파일 내 설명 데이터(descriptive data)로부터 도출될 수 있다는, 아이디어에 의존한다. 이 양태에 따르면, 상기 소정의 트랙의 파라미터 세트는 상기 스트림과 함께 전달되며, 상기 소정의 트랙에 대한 파라미터 세트가 상기 스트림의 디코딩 중에 무시되어야 함을 상기 기술적 데이터가 나타내지 않는다면, 디코딩을 위해 다수의 트랙들에 분산된다. 만약 상기 소정의 트랙에 대한 파라미터 세트가 상기 스트림의 디코딩 중에 무시되어야 함을 상기 기술적 데이터가 나타낸다면, 다수의 트랙에 걸쳐 분산된 스트림은 파라미터 세트 없이 전달된다.

결과적으로, 다수의 트랙에 걸쳐 분산된 스트림을 디코딩하는 데 필요하지 않은 소정의 트랙에 대한 파라미터 세트는 상기 다수의 트랙들을 포함하는 스트림의 디코딩 과정에서 처리되거나 디코딩될 필요가 없다. 그러므로 디코딩 리소스들이 보다 효율적으로 사용될 수 있다. 예를 들어, 더 적은 버퍼 공간이 필요하게 되고, 불필요한 파라미터 세트를 디코딩하기 위한 연산 동작이 절약될 수 있다.

본 발명의 제2 양태는, 비디오 비트스트림의 픽처 시퀀스 상에서 동적으로 변화하는 서브-픽처에 의해 표현되는 관심영역인, 파일에서 시그널링되는 비디오 스트림의 서브-픽처를 포함하는 비트스트림을 파일로부터 추출할 수 있게 해주는 파일 포맷 개념을 제공한다.

본 발명의 제3 양태는, 파일이 동적 크기의 비디오 비트스트림을 상기 파일로부터 추출할 수 있게 해주는 비디오 시퀀스를 포함하는, 파일 포맷 개념을 제공한다. 특히, 본 발명의 세 번째 양태의 개념은, 디코더가 비-랜덤 액세스 포인트 픽처들(non-random access point pictures)이 속하는 트랙의 디코딩을 시작할 수 있도록, 파일 파서가 상기 비-랜덤 액세스 포인트 픽처들을 식별할 수 있게 해준다. 따라서 파일 파서에 의해 디코더에 제공되는 비디오 비트스트림은 추가적인 트랙에 의해, 심지어 랜덤 액세스 포인트 픽처들의 두 발생 지점들 간으로도 확장될 수 있다. 이 개념은 스트리밍 시나리오를 위한 클라이언트 및 매니페스트 파일을 제공할 수 있으며, 매니페스트 파일은 상기 비-랜덤 액세스 포인트 픽처에 대한 표시를 포함하는 세그먼트들을 표시하여 클라이언트가 상기 세그먼트부터 트랙을 계속 다운로드할 수 있게 해준다. 따라서 추가적인 스위칭 포인트가 제공되거나, 대안으로서 액세스 포인트를 검색하기 위한 세그먼트의 불필요한 다운로드가 회피될 수 있다.

본 발명의 제4 양태는, 파일 형식 개념을 제공하며, 이에 따르면 파일은 비디오 시퀀스를 포함하고, 상기 파일은 비디오 스트림의 전체 픽처 영역에 걸쳐 디코더 리프레시가 완료되는 간격의 시간 길이를 나타내며, 비디오 스트림은 개별적인 디코더 리프레시 위치 및/또는 디코더 리프레시 사이클 길이를 가질 수 있는 적어도 2개의 서브-스트림들의 파일에 표시된다.

본 발명의 제5 양태는 파일, 파일 파서, 및 파일 생성기를 포함하는 파일 포맷 개념을 제공하며, 이에 따르면 파일 파서는 파일 내에서 시그널링되는 픽처들 간에 픽셀 종횡비가 변하는지 여부를 파일 내에 있는 정보로부터 도출할 수 있다. 파일 파서가 파일 내의 정보를 토대로 픽셀 종횡비가 변하는지 여부를 검출할 수 있기 때문에, 파일 파서는 파일로부터 디코딩되는 일련의 픽처를 재생할 수 있는 비디오 플레이어에 각각의 정보를 제공할 수 있다. 따라서 픽셀 종횡비는 픽처의 코딩 과정에서 변동될 수 있고, 이는 더 높은 압축률을 허용할 수 있다. 이 개념은 샘플 레벨에서 픽셀 종횡비를 시그널링하지 않고도 픽셀 종횡비를 변동시키는 것을 허용할 수 있다. 더욱이, 파일 파서가 변하는 픽셀 종횡비를 검출할 수 있기 때문에, 파일 파서에 의해 제공되는 비디오 비트스트림을 디코딩하는 비디오 디코더는 픽셀 종횡비에 관계없이 비디오 비트스트림을 디코딩할 수 있고/있거나 샘플 레벨에서의 픽셀 종횡비에 대한 정보를 디코딩할 필요가 없을 수 있다.

본 발명의 제1 양태에 따르면, 다수의 트랙에 걸쳐 분산된 스트림을 디코딩하는 데 필요하지 않은 소정의 트랙에 대한 파라미터 세트는 상기 다수의 트랙들을 포함하는 스트림의 디코딩 과정에서 처리되거나 디코딩될 필요가 없다. 그러므로 디코딩 리소스들이 보다 효율적으로 사용될 수 있다. 예를 들어, 더 적은 버퍼 공간이 필요하게 되고, 불필요한 파라미터 세트를 디코딩하기 위한 연산 동작이 절약될 수 있다.

본 발명의 제3 양태에 따르면, 스트리밍 시나리오를 위한 클라이언트 및 매니페스트 파일을 제공할 수 있으며, 매니페스트 파일은 상기 비-랜덤 액세스 포인트 픽처에 대한 표시를 포함하는 세그먼트들을 표시하여 클라이언트가 상기 세그먼트부터 트랙을 계속 다운로드할 수 있게 해준다. 따라서 추가적인 스위칭 포인트가 제공되거나, 대안으로서 액세스 포인트를 검색하기 위한 세그먼트의 불필요한 다운로드가 회피될 수 있다.

본 발명의 제5 양태에 따르면, 픽셀 종횡비가 픽처의 코딩 과정에서 변동될 수 있고, 이는 더 높은 압축률을 허용할 수 있다. 이 개념은 샘플 레벨에서 픽셀 종횡비를 시그널링하지 않고도 픽셀 종횡비를 변동시키는 것을 허용할 수 있다. 더욱이, 파일 파서가 변하는 픽셀 종횡비를 검출할 수 있기 때문에, 파일 파서에 의해 제공되는 비디오 비트스트림을 디코딩하는 비디오 디코더는 픽셀 종횡비에 관계없이 비디오 비트스트림을 디코딩할 수 있고/있거나 샘플 레벨에서의 픽셀 종횡비에 대한 정보를 디코딩할 필요가 없을 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 예시적 실시예들을 보다 구체적으로 설명한다. 도면 중,
도 1은 파일 및 파일 파서의 일 예를 보여준다.
도 2는 파일 생성기의 일 예를 보여준다.
도 3은 제1 양태에 따른 파일 및 파일 파서의 일 예를 보여준다.
도 4는 서브-픽처의 일 예를 보여준다.
도 5는 제1 양태에 따른 파일 및 파일 파서의 다른 예를 보여준다.
도 6은 제1 양태에 따른 파일 및 파일 파서의 다른 예를 보여준다.
도 7은 제1 양태에 따른 파일 및 파일 파서의 다른 예를 보여준다.
도 8은 제1 양태에 따른 파일 및 파일 파서의 다른 예를 보여준다.
도 9는 제1 양태에 따른 파일 및 파일 파서의 다른 예를 보여준다.
도 10은 제1 양태에 따른 파일 및 파일 파서의 다른 예를 보여준다.
도 11은 단일-트랙 시나리오에 대한 제1 양태에 따른 파일 및 파일 파서의 일 예를 보여준다.
도 12는 단일-트랙 시나리오에 대한 제1 양태에 따른 파일 및 파일 파서의 다른 예를 보여준다.
도 13은 단일-트랙 시나리오에 대한 제1 양태에 따른 파일 및 파일 파서의 다른 예를 보여준다.
도 14는 제2 양태에 따른 파일 및 파일 파서의 일 예를 보여준다.
도 15는 제2 양태에 따른 파일의 다른 예를 보여준다.
도 16a는 제2 양태에 따른 파일의 다른 예를 보여준다.
도 16b는 제2 양태에 따른 파일의 다른 예를 보여준다.
도 17은 제3 양태에 따른 파일의 일 예를 보여준다.
도 18은 제3 양태에 따른 클라이언트 장치 및 매니페스트 파일의 일 예를 보여준다.
도 19는 제4 양태에 따른 파일의 일 예를 보여준다.
도 20은 제4 양태에 따른 파일의 다른 예를 보여준다.
도 21은 제5 양태에 따른 파일 및 파일 파서의 일 예를 보여준다.

아래에서 본 발명의 실시예들을 구체적으로 설명하지만, 이러한 실시예들은 매우 다양한 비디오 코딩 및 비디오 스트리밍으로 구현될 수 있는 많은 적용 가능한 개념들을 제공한다는 것을 이해해야만 한다. 본 명세서에서 설명하는 특정 실시예들은 단지 본 발명의 개념을 구현하고 사용하는 특정 방식을 예시하는 것에 지나지 않으며, 실시예들의 범위를 한정하지 않는다. 다음 설명에서는, 본 발명의 실시예들을 매우 구체적으로 설명하기 위하여 복수의 세부사항들을 제시한다. 그렇지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에게는 이러한 특정 세부사항들이 없이도 다른 실시예들을 실시할 수 있다는 것이 자명할 것이다. 다른 예에서는, 본 명세서에 설명된 예들이 모호해지는 것을 피할 수 있도록, 주지된 구조 및 장치를 상세하기 묘사하기보다 블록도 형태로 제시한다. 또한, 본 명세서에서 설명된 서로 다른 실시예들의 특징들은, 달리 구체적으로 언급되지 않는 한, 서로 결합될 수 있다.

실시예들에 대한 다음 설명에서, 동일하거나 유사한 요소 내지 동일한 기능을 갖는 요소들은 동일한 참조부호를 부여하거나 동일한 명칭으로 식별하고, 동일한 참조 번호를 부여하거나 동일한 명칭으로 식별되는 요소에 대해서는 중복된 설명을 가급적 생략한다. 따라서 동일하거나 유사한 참조번호를 가지거나 동일한 명칭으로 식별되는 요소들에 대한 설명은 서로 교환될 수 있으며 서로 다른 실시예들에서 서로 적용될 수 있다.

도면에 대한 다음 설명은, 섹션 0에서, 도 1 및 도 2와 관련하여 각각 제시된 비디오 디코더와 연계된 파일 파서와, 비디오 인코더와 연계된 파일 생성기에 대한 설명으로 시작된다. 도 1의 파일 파서와 도 2의 파일 생성기는 본 발명의 실시예들이 구축되는 프레임웍의 일 예를 제공한다. 그 다음, 본 발명의 개념에 따른 실시예들의 설명이, 어떻게 그와 같은 개념들로부터 도 1의 파일 파서와 도 2의 파일 생성기가 구축될 수 있는지에 대한 설명과 함께 제공된다. 그렇지만, 후속하는 도 3 및 뒤이은 도면들과 관련된 실시예들이 사용되어, 도 1 및 도 2와 관련하여 설명된 프레임웍에 따라 동작하는 것이 아닌 파일 파서 및 파일 생성기를 형성할 수도 있다.

0. 도 1에 따른 파일 파서(10) 및 도 2에 따른 파일 생성기(20)

도 1은 비디오 디코더(17)와 연계된 파일 파서(10)의 일 예를 보여준다. 파일 파서(10)는 파일(8)을 받아들이고, 파일(8)을 토대로 비디오 비트스트림(15)을 생성한다. 파일(8)은 비디오 파일, 파일 데이터, 비디오의 파일 등으로 지칭될 수도 있다. 비디오 비트스트림(15)은 비디오 비트스트림(15)을 디코딩하는 비디오 디코더(17)에 제공된다. 파일 파서(10)는 상기 파일을 수신하는 임의의 수단을 나타낼 수 있다. 예를 들어, 파일 파서(10)는 비디오 디코더도 포함할 수 있는 비디오 플레이어의 일부일 수 있다. 즉, 비디오 비트스트림(15)을 수신하는 엔티티는 비디오 디코더(17)일 수도 있고 비디오 디코더(17)를 포함하는 비디오 플레이어일 수도 있다. 마찬가지로, 파일 포맷 파서(10) 자체는 비디오 디코더(17) 및/또는 비디오 플레이어 및/또는 DASH 클라이언트 등과 같은 애플리케이션과 함께 하나의 엔티티를 형성할 수 있다. 파일 파서(10)에 의해 생성되는 비디오 비트스트림(15)은 파일(8)의 컨텐트 전체 또는 발췌된 일부를 포함할 수 있다. 예를 들어, 비디오 비트스트림(15)은 대역내(in-band) 파라미터 세트를 구비할 수 있고, 또는 비디오 비트스트림(15)이 대역외(out-of-band) 파라미터 세트를 수반할 수 있다.

상기 파일(8)은 코딩된 비디오 데이터(12)를 포함하며, 설명 데이터(descriptive data: 14)를 더 포함한다. 설명 데이터(14)는 비디오 데이터(12)의 구조, 코딩된 비디오 데이터(12) 내의 의존성, 비디오 데이터(12)의 디코딩을 위한 정보, 및/또는 비디오 데이터(12)의 파싱을 위한 정보를 나타낼 수 있다. 코딩된 비디오 데이터(12)는 코딩된 비디오 데이터(12)의 복수의 샘플들(11), 예컨대 복수의 비디오 코딩 레이어(VCL) 네트웍 추상화 레이어(NAL) 단위들을 포함할 수 있으며, 상기 복수의 비디오 코딩 레이어(VCL) 네트웍 추상화 레이어(NAL) 단위들 각각은 코딩된 비디오 시퀀스의 코딩된 픽처, 또는 코딩된 픽처의 슬라이스나 타일과 같은 코딩된 픽처의 일부를 포함할 수 있다. 따라서 예시적으로, 코딩된 비디오 데이터 (12)의 다수의 샘플들은 코딩된 픽처를 함께 포함할 수 있다. 다시 말해서, 샘플들(11)은 코딩된 비디오 데이터(12) 즉, 잔여 샘플들 및 예측 모드, 움직임 벡터 등이 실제로 코딩된 데이터를 포함한다.

설명 데이터(14)는 각각이 하나 이상의 파라미터를 포함할 수 있는 복수의 파라미터 세트(9)를 포함할 수 있다. 파라미터 세트(9)는 샘플들(11) 중 하나와 연관될 수 있거나, 코딩된 비디오 데이터(12)의 복수의 샘플들의 부분집합과 연관될 수 있거나, 코딩된 비디오 데이터(12)의 복수의 샘플들과 연관될 수 있다. 파라미터 세트(9)는 그것과 연관된 하나 이상의 샘플(11)의 디코딩을 위한 정보 또는 파싱을 위한 정보를 포함할 수 있다. 예들에서, 샘플(11)과 연관된 파라미터 세트는 파라미터 세트와 연관된 샘플의 파싱 또는 디코딩을 위해 요구되는 어느 하나의 추가적인 샘플(11)을 추가적으로 나타낼 수 있다. 이 경우, 연관된 파라미터 세트에 의해 나타내어지는 정보는 샘플(11)의 디코딩에 필요한 추가적인 샘플을 참조할 수도 있다.

파일(8)은 코딩된 비디오 데이터(12) 및 설명 데이터(14)가 분산되어 있을 수 있는 하나 이상의 트랙을 포함할 수 있다. 예를 들어, 코딩된 비디오 데이터(12)는 다수의 트랙들에 분산될 수 있고, 코딩된 비디오 데이터(12)가 분산되는 트랙들 각각은 각각의 트랙에 포함된 코딩된 비디오 데이터(12)의 샘플들을 참조하는 설명 데이터(14)의 파라미터 세트(9)를 포함할 수 있다. 그렇지만, 예를 들어 만약 추가적인 트랙의 코딩된 비디오 데이터가 각각의 트랙의 코딩된 비디오 데이터의 디코딩에 필요하고/하거나 만약 상기 트랙 또는 그 샘플이 추가적인 트랙을 참조한다면, 트랙들 중 하나의 파라미터 세트(9)가 트랙들 중 추가적인 트랙의 코딩된 비디오 데이터를 추가적으로 참조할 수 있다.

예를 들어, 샘플(11)은 코딩된 비디오 데이터(12)의 다수의 레이어들 중 하나와 연관되어 있을 수 있다. 코딩된 비디오 데이터(12)의 레이어들 중 하나 이상을 선택함으로써, 특정 크기의 비디오 비트스트림, 또는 보다 일반적인 특정 제약조건 및/또는 요건을 충족하는 비디오 비트스트림이 파일(8)로부터 추출될 수 있다. 추가적으로 또는 대안으로서, 코딩된 비디오 데이터(12)의 각 부분이 다수의 시간적 레이어들 중 하나와 연관되어 있을 수 있다. 코딩된 비디오 데이터(12)의 시간적 레이어들 중 하나 이상을 추출함으로써, 코딩된 비디오 데이터(12)로부터 도출되는 비디오 비트스트림의 프레임 레이트가 선택될 수 있고, 이에 따라, 획득된 비디오 비트스트림(15)의 비트스트림 요건에 적합화시킬 수 있게 된다. 예를 들어, 파일(8)의 트랙은 특정 레이어와 연관된 및/또는 특정 시간적 레이어와 연관된 샘플들(11)을 포함할 수 있다.

따라서 파일(8)은 파일(8)의 코딩된 비디오 데이터(12)를 토대로 재생을 수행함에 있어 여러 선택지를 제공할 수 있다. 다시 말해서, 파일(8)은 하나 이상의 서브-스트림을 추출하는 것을 허용할 수 있으며, 여기서 각 서브-스트림은 코딩된 비디오 데이터(12)의 일부 즉 샘플들(11)의 부분집합을 포함한다. 서브-스트림들 중 하나는 전체 코딩된 비디오 데이터(12)를 포함할 수 있다. 예를 들어, 파일(8)의 트랙은 다른 트랙들과 독립적으로 디코딩 즉 재생될 수 있는 서브-스트림을 포함할 수 있다. 즉, 상기 트랙은 디코딩 가능한 비디오 비트스트림(15)을 생성하는 데 필요한 모든 샘플들과 파라미터 세트를 포함할 수 있다. 트랙의 다른 예는 다른 트랙들과 독립적으로는 디코딩될 수 없는 코딩된 비디오 데이터(12)의 서브-스트림을 포함할 수 있다. 예를 들어, 트랙의 서브-스트림(예컨대 상기 서브-스트림은, 예컨대 상기 서브-스트림에 속하거나 상기 서브-스트림이 필요로 하는 샘플들을 표시함으로써, 예컨대 하나 이상의 레이어 및/또는 하나 이상의 시간적 레이어를 참조함으로써, 트랙의 파라미터 세트에 의해 정의됨)은 추가적인 트랙의 샘플들(11)을 필요로 할 수 있으므로 추가적인 트랙에 의존할 수 있다. 또한, 코딩된 비디오 데이터(12)의 서브-스트림은 독립적인 서브-스트림들 자체를 포함하거나 정의할 수 있는 다수의 트랙들을 포함할 수 있다. 다수의 트랙들을 기초로 하는 비디오 비트스트림(15)의 생성은 각각의 트랙들 내지 서브-스트림들의 공동 디코딩(joint decoding)으로 지칭될 수 있다. 다시 말해서, "공동 디코딩"은 파일(8)에 기초하여 재생을 수행하기 위한 여러 선택지 중 하나일 수 있다. 추가적인 선택은 트랙만의 하나 이상의 서브트랙의 재생일 수 있다는 점에 유의해야 한다. 즉, 트랙의 샘플들(11)의 일부는 그 자체로 서브-스트림을 형성할 수 있다. 코딩된 비디오 데이터(12)의 재생을 위한 선택지들 사이의 결정은 비디오 디코더(17) 또는 비디오 플레이어 또는 일부 애플리케이션과 같은 외부 수단으로부터 파일 파서(10)에 제공될 수 있으며, 또는 파일 파서(10) 자체에 의해 이루어질 수도 있고, 파일 파서(10)는 적절하게 비디오 비트스트림(15)을 제공할 수 있다. 예를 들어, 파일 파서(10)는 비디오 디코더(17)의 성능을 나타내는 동작 포인트(operation point)에 기초하여 서브-스트림을 선택할 수 있다. 따라서 파일 파서(10)는, 코딩된 비디오 데이터(12)의 샘플들 세트(11)와 상기 샘플들과 연관된 설명 데이터(14)의 파라미터 세트들(9)의 세트를 비디오 스트림(15) 내에 포함시킴으로써, 비디오 스트림(15)을 발생한다.

예를 들어, 파일 파서(10)는 디코딩 순으로, 즉 디코더(17)에 의해 디코딩하는데 필요한 순서로 샘플들(11) 및 파라미터 세트들(9)을 제공할 수 있다.

도 2는 비디오 인코더(27)에 연계된 파일 생성기(20)의 일 예를 보여준다. 비디오 인코더(27)는 비디오 스트림(19)을 생성하며, 이에 기초하여 파일 생성기(20)는 파일(8)을 생성한다. 비디오 스트림(19)은 비디오 비트스트림(15)과 유사할 수 있으며, 일부 예에서는 동일할 수도 있다. 비디오 스트림(19)과 대조적으로, 도 1의 비디오 스트림(15)은 예컨대 파일(8)의 코딩된 비디오 데이터(12)의 일부만을 포함할 수 있으며, 비디오 스트림(19)은 파일(8)의 코딩된 비디오 데이터 전체를 포함할 수 있다.

예를 들어, 파일 파서(10) 및 파일 생성기(20)는, 파일(8)을 각각 파싱하고 생성하기 위하여, 예컨대 ISO 기본 미디어 파일 형식(ISOBMFF: ISO base media file format)과 같은 파일 포맷의 개념을 사용할 수 있다.

다용도 비디오 부호화(VVC: Versatile Video Coding)에는 ISOBMFF에서의 특별한 처리를 필요로 할 수 있는 몇 가지 새로운 기능이 포함되어 있다. 이러한 기능에는 다음이 포함된다:

서브-픽처(sub-pictures): 서브-픽처는 그 경계들이 마치 픽처 경계인 것처럼 취급되는 픽처 내 영역이다. 시간적 움직임 벡터의 예측은 오른쪽 하단 병치 움직임 벡터(collocated motion vector) 대신 참조픽처 내에 있는 병치 움직임 벡터를 사용하여 수행되거나, 움직임 보상은 동일한 서브-픽처의 샘플만을 사용하여 수행되고 움직임 벡터가 서브-픽처 영역 외부의 샘플 위치를 가리키는 경우에만 수행되며, 샘플 패딩에 의한 경계 확장은 서브-픽처의 경계가 마치 픽처 경계인 것처럼 수행된다. 이러한 기능은 360 비디오 또는 관심영역(RoI)에 매우 유용하다.

확장 가능한(scalable) 비트스트림: 이전의 비디오 코딩 표준과 마찬가지로 VVC는 확장 가능한 비트스트림을 명시한다. 이 경우, 프로파일링은 확장 가능과 확장 불가능을 구분하지 않는다. 어떤 디코더든지, 관련된 복잡성이 동일한 한, 마치 비트스트림이 확장 가능하지 않은 경우와 같이 확장 가능한 비트스트림을 복호화할 수 있다.

점진적 복호화 리프레시(GDR: Gradual Decoding Refresh): 해당 RAP의 AU 크기에서 피크를 생성하는 IDR 또는 CRA 임의 액세스 포인트를 회피할 수 있게 해준다. 그 대신, GDR AU는 여러 픽처들에 걸쳐서 픽처의 "리프레시"를 확산시키는 비트스트림 내에 존재하며, 이들 모든 픽처가 처리될 때 스트림은 마치 RAP가 비트스트림에 있는 것처럼 액세스될 수 있다.

참조픽처 리샘플링(RPR: Reference Picture Resampling): 참조픽처 리샘플링은 서로 다른 픽처 크기가 비트스트림 내에 존재할 수 있도록 허용하는 것과 시간적 예측을 크기가 다른 참조픽처로부터 하는 것을 허용하는 것으로 구성된다. 그 결과, 현재 픽처에 대한 예측을 수행할 수 있도록, 참조픽처를 리샘플링할 필요가 있다.

VVC는 혼합된 NAL 유닛 타입을 가지는 AU를 정의한다. 그 이유는 일부 시나리오에서 다수의 비트스트림이 디코더가 디코딩하는 단일 비트스트림으로 병합되는 경우가 있을 수 있고, 이러한 경우 여러 비트스트림에 걸친 시간 내에 모든 NAL 유닛 타입을 동기화하는 것이 불가능할 수 있기 때문이다. 그러므로 병합된 비트스트림에는 NAL 유닛 타입이 혼합된 AU가 있을 수 있다.

본 명세서에서 고려되는 RoI 태양에는 두 가지가 있다. ISOBMFF에서 정적인 RoI를 어떻게 저장하고 처리할 것인가 하는 것(섹션 1 참조)과, 다중 레이어 비트스트림을 사용하는 동적 RoI를 어떻게 가질 것인가 하는 것(섹션 2 참조)이다.

비트스트림의 코딩 구조가 시간적 확장성을 허용할 때 염두에 둘 수 있는 한 가지 사용예(use case)는 시간적 레이어의 부분집합만을 복호화하여 현재의 네트워크 처리량(network throughput 참고후 삭제)에 적합화할 수 있게 하는 것이다. 그러므로 섹션 3은 시간적 레이어들이 트랙들로 분리될 때와 관련된 측면들과 시간적으로 확장 가능한 비트스트림의 한 트랙에서 다른 트랙으로 전환하는 것과 관련된 다양한 측면들을 다룬다.

섹션 4에서는 비트스트림 데이터가 다수의 트랙들에 분산되는 점진적 복호화기 리프레시의 다양한 측면을 다룬다.

RPR이 비트율 조정 및 개방형 GOP 해상도 전환을 허용한다는 점에서는 여러 이점을 제공하지만, 시간이 지남에 따라 픽셀 종횡비가 변경될 수 있다는 단점이 있다. 섹션 5에서는 이 문제를 해소하기 위한 특정 해결책을 다룬다.

이하의 설명에서는 파일 생성기(20), 파일 파서(10), 및 파일(8)의 다양한 실시예들이 제공되는데, 이들은 서로 독립적으로 구현될 수 된다는 점을 강조하고자 한다. 파일 파서(10)에 대하여 기재된 실시예들 각각은 그에 상응한 파일 생성기(20)의 설명으로 이해될 수 있고 그 역도 성립하며, 여기서 파일 생성기(20)와 파일 파서(10)의 설명된 특징들은 도 1 및 도 2를 참조하여 설명한 파일 파서(10)와 파일 생성기(20) 사이의 관계에 따라서 서로 교환될 수 있다.

1. 도 3 내지 도 13에 따른 파일 파서(10), 파일 생성기(20), 및 파일(8)

도 3은 제1 양태에 따른 파일 포맷 파서(10)의 일 실시예를 보여준다. 도 3의 파일 포맷 파서(10)는 선택적으로 도 1의 파일 파서(10)에 해당할 수도 있다. 파일 포맷 파서(10)는 예컨대 하나 이상의 트랙에 분배된 서브-스트림들을 갖는 비디오 비트스트림을 처리하기 위한 특정 방식의 관점에서 정의될 수 있다. 파일 포맷 파서(10)는 공동 디코딩을 위해 여러 트랙들으로부터 서브-스트림들을 수집할 수 있는데, 다시 말해서 여러 트랙들으로부터 수집된 서브-스트림들을 포함하는 비디오 비트스트림(15)(도 1 참조. 도 3에서는 비디오 비트스트림(16) 또는 비디오 비트스트림(18)로 표시됨)을 제공할 수 있다. 파일 포맷 파서(10)는 파일(8)을 수신하도록 구성되는데, 상기 파일(8)은 도 1의 파일(8)에 해당할 수 있다. 도 3의 실시예에 따르면, 파일(8)은 트랙 세트(트랙들의 집합), 예컨대 트랙 그룹을 포함한다. 도 3에서, 상기 트랙 세트(트랙들의 집합)는 트랙 i 또는 소정의 트랙으로도 칭해지는 트랙(13¹)과, 트랙 i+1로도 칭해지는 추가적인 트랙(13²)을 예시적으로 포함한다. 예를 들어, 상기 트랙(13¹)과 상기 추가적인 트랙(13²)은 동일한 트랙 그룹의 일부이다. 비디오 비트스트림의 서브-스트림들은 파일(8)에 포함되는 트랙 세트(트랙들의 집합) 상으로 분산된다. 도 1과 관련하여 설명한 바와 같이, 서브-스트림은 그 안에 어떤 서브-픽처가 부호화되어 있는 서브-스트림(즉, 비디오 비트스트림으로 인코딩된 픽처 시퀀스에서 서브-픽처 시퀀스로 인코딩된 서브-스트림)과 같이 비디오 비트스트림의 NAL 유닛들의 임의의 서브-컬렉션일 수 있다. 예를 들어, 비디오 비트스트림으로 인코딩되는 각 픽처는 서브-픽처들로 분할될 수 있으며, 이때 함께 배치되는(collocated) 서브-픽처들은 그와 같은 서브-스트림에서 오프셋 병치된 서브-픽처들(offset collocated sub-pictures)을 다른 서브-비트스트림으로 인코딩하는 것과 독립적으로 부호화된다. 도 3을 참조하면, 트랙(13¹)은 부호화된 비디오 데이터(12¹)를 포함하고, 부호화된 비디오 데이터(12¹)는 VCL¹로 칭해지는 VCL NAL 유닛 세트를 포함한다. 도 1과 관련하여 설명한 바와 같이, VCL NAL 유닛은 샘플(11)을 나타내게 된다. 본 명세서에서 발명의 설명이 NAL 유닛의 예에 대하여 이루어지지만, 여기서 설명하는 개념은 이에 한정되지 않고 다른 샘플 구조를 사용하는 경우에도 적용될 수 있다. 발명의 설명의 다른 섹션에서 대해서도 마찬가지이다. 트랙(13¹)은 설명 데이터(14¹)를 더 포함하며, 트랙(13¹)의 설명 데이터(14¹)는 도 3에 파라미터 세트(PS1¹, PS2¹ 및 PS3¹)로 나타낸 하나 이상의 파라미터 세트(PS¹)를 포함한다. 설명 데이터(14¹) 및 코딩된 비디오 데이터(12¹)는 서브-스트림을 형성할 수 있다. 따라서 서브-스트림은 픽처 콘텐츠가 실제로 코딩되는 즉, 잔차 샘플 및 예측 모드, 모션 벡터 등이 코딩되는, VCL NAL 유닛들에 더하여 파라미터 세트 NAL 유닛들을 포함할 수 있다. 트랙 또는 서브-스트림은 심지어 파라미터 세트 NAL 유닛들을 단독으로 포함할 수 있는데, 더 정확하게 표현하자면, VCL NAL 유닛들 중 어느 것도 갖지 않고 파라미터 세트 NAL 유닛들을 포함할 수 있다는 점을 유의해야 한다. 예를 들어, 이와 같은 트랙은 파일(8)의 하나 이상의 추가적인 트랙을 참조함으로써 서브-스트림을 정의할 수 있다. 트랙(13¹)과 마찬가지로, 트랙(13²)는 트랙(13²)의 코딩된 비디오 데이터(12²)를 형성하고 VCL²로 참조되는 VCL NAL 유닛 세트를 포함할 수 있다. 트랙(13²)은 하나 이상의 파라미터 세트(PS²), 예컨대 파라미터 세트(PS1², PS2² 및 PS3²)를 포함할 수 있는 설명 데이터(14²)를 더 포함할 수 있다. 또한, 트랙(13²)은 서브-스트림을 형성할 수 있어서, 트랙들(13¹, 13²)이 모두 파일(8)의 비디오 스트림의 개별 서브-스트림을 형성할 수 있다. 예시적 실시예들에서, 추가적인 트랙(13²)의 서브-스트림은 트랙(13¹)에 의존할 수 있다. 따라서 파일 포맷 파서(10)는 코딩된 비디오 데이터(12¹) 또는 그 일부를 트랙(13²) 또는 그 일부의 코딩된 비디오 데이터(12²)와 결합함으로써 비디오 비트스트림(15)을 생성할 수 있다.

다시 말해서, 도 1에 도시된 바와 같은 코딩된 비디오 데이터(12)와 설명 데이터(14)는 하나 이상의 트랙들, 예컨대 소정의 트랙(13¹)과 추가적인 트랙(13²)에 분포될 수 있다. 설명 데이터(14¹)의 파라미터 세트(PS1¹, PS2¹, 및 PS3¹)는, 예컨대 VCL NAL 유닛(VCL¹)을 단독으로 사용하여, 소정의 트랙(13¹)으로부터 추출되는 비디오 비트스트림을 생성하는데 특이적으로 작용할 수 있다. 트랙(13¹)은 설명 데이터(14¹) 이외에 추가적인 파라미터 세트를 포함할 수 있다는 점을 유의해야 한다.

파라미터 세트는, 설명 데이터(14¹)의 파라미터 세트이든 선택적으로 도입되는 추가적인 파라미터 세트이든, 도 3에 설명 데이터(14¹)의 경우에 대하여 예시된 바와 같이 대역외에서(out-of-band) 파일(8)에 저장될 수도 있고, 대안으로서 대역내에(in-band) 저장될 수도 있다. 대역내 파라미터 세트는 VCL과 연관된, 즉 VCL들의 시간적 순서에 통합된, 파라미터 세트를 참조할 수 있다. 예를 들어 코딩된 비디오 데이터(12)는 VCL NAL 유닛들과 PS NAL 유닛들의 양자 모두를 포함하는 샘플들을 포함할 수 있다. 이에 반하여, 트랙의 대역외 파라미터 세트들은 트랙의 모든 샘플들과 관련이 있을 수 있고 샘플들과 별도로 저장될 수 있다. 본 명세서에 기술된 개념은 두 가지 유형의 파라미터 세트들 즉, 대역내 및 대역외 파라미터 세트들에 모두 적용될 수 있는데, 이는 도 5 내지 도 7의 설명으로부터 명확해질 것이다. 즉, 설명 데이터(14¹)의 파라미터 세트들은 대역내 또는 대역외 파라미터 세트들일 수 있다. 마찬가지로, 트랙(13²)의 설명 데이터(14²)도 대역내 또는 대역외일 수 있다.

도 3의 실시예에 따르면, 파일 포맷 파서(10)는 파일(8) 내에 있는 설명 데이터(14), 예컨대 설명 데이터(14¹) 및/또는 설명 데이터(14²) 또는 추가적인 설명 데이터(예컨대, 트랙(13¹) 또는 트랙(13²)의 대역내 또는 대역외 설명 데이터)를 검사하도록 구성되어, 트랙들 세트 중에서 소정의 트랙(13¹)에 대하여, 트랙들 세트 중에서 상기 소정의 트랙(13¹)보다 많은 수의 트랙들로 분산된 서브-스트림들을 함께 디코딩할 때(예컨대 공동 디코딩의 경우) 상기 소정의 트랙(13¹)에 대하여 파일(8) 내에 존재하는 파라미터 세트(예컨대, 파라미터 세트들(PS1¹, PS2¹, 및 PS3¹))가 무시되어야 함을 설명 데이터가 표시하는지를, 검사된 설명 데이터로부터 도출할 수 있다. 무시되어야 할지 여부를 파일 포맷 파서(10)가 도출하는 파라미터 세트들은 소정의 파라미터 세트들(PS¹)로 지칭될 수 있다. 예를 들어, 파일 포맷 파서(10)는, 트랙(13¹)과 추가적인 트랙(13²)에 분포하는 서브스트림을 함께 디코딩할 때(즉, 트랙(13¹)이 제공하는 서브-스트림과 트랙(13²)이 제공하는 서브-스트림을 함께 디코딩할 때), 상기 소정의 파라미터 세트가 무시되어야 하는지 여부를 설명 데이터(14)가 표시하는지를 검사할 수 있다. 앞서 설명한 바와 같이, 공동 디코딩은 파일을 토대로 재생을 수행하는 여러 선택지들 중 하나일 수 있다.

트랙들 세트 중에서 트랙(13¹)의 서브-스트림과 트랙(13²)의 서브-스트림을 함께 디코딩할 때 상기 소정의 트랙(13¹)에 대하여 상기 소정의 파라미터 세트가 무시되어야 함을 설명 데이터(14)가 표시하는 경우, 파일 포맷 파서(10)는 디코딩을 위해 소정의 파라미터 세트(PS¹)는 전달하지 않고 적어도 트랙(13¹)과 추가적인 트랙(13²)에 분포하는 서브-스트림들을 전달한다. 다시 말해서, 파일 포맷 파서(10)는 트랙(13¹)의 서브-스트림을 포함하며, 이 서브-스트림은 코딩된 비디오 데이터(12¹) 또는 그 일부와, 선택적으로 상기 소정의 파라미터 세트(PS¹)와 다른 소정의 트랙(13¹)의 하나 이상의 파라미터 세트를 포함할 수 있다. 이 경우의 비트스트림(15)의 결과적인 컨텐트의 일 예가 도 3에 도시되어 있고 부호(16)로 참조된다. 만약 트랙(13¹)과 적어도 추가적인 트랙(13²)의 서브-스트림을 함께 디코딩할 때 상기 소정의 트랙(13¹)에 대하여 상기 소정의 파라미터 세트가 무시되어야 함을 설명 데이터가 표시하지 않는 경우에는, 파일 포맷 파서(10)는 상기 소정의 트랙(13¹)과 적어도 상기 추가적인 트랙(13²) 상에 분포된 서브-스트림과 함께 상기 소정의 파라미터 세트(PS¹)를 전달한다. 즉, 이 경우, 파일 포맷 파서(10)는 비디오 비트스트림(15)에 소정의 파라미터 세트(PS¹)를 포함한다. 이 경우에 대한 비트스트림(15)의 결과적인 콘텐츠의 이 예가 도 3에 도시되어 있고 부호(18)로 참조된다.

파일 포맷 파서(10)는 소정의 파라미터 세트(PS¹)를 무시할지 여부를, 상기 소정의 파라미터 세트(PS¹) 자체로부터, 또는 소정의 트랙(13¹)의 추가적인 설명 데이터로부터, 또는 설명 데이터(예컨대, 추가적인 트랙(13²)의 설명 데이터(14²))로부터, 또는 이들의 조합으로부터 도출할 수 있다. 예를 들어, 아래에서 설명하는 바와 같이, 파일 포맷 파서(10)는 , 추가적인 트랙(13²)의 설명 데이터(14²)에 표시되어 있거나 소정의 트랙(13¹)의 설명 데이터에 표시되어 있는 트랙 참조에 기초하여, 소정의 파라미터 세트(PS¹)를 비트스트림(15)으로 전달할지 여부에 대한 결정을 도출할 수 있다. 다른 예들에서, 설명 데이터(14)(예컨대, 소정의 트랙(13¹)의 설명 데이터(14¹))는 소정의 파라미터 세트(PS¹)를 비트스트림(15)으로 전달할지 여부를 표시하는 명시적 신호들을 포함한다.

예를 들어, 소정의 파라미터 세트(PS¹)가 참조하는 소정의 트랙(13¹)의 서브-스트림은 파일(8)로 코딩될 수 있는 픽처 시퀀스의 서브-픽처 시퀀스를 나타낸다.

도 4는 관심영역(ROI)으로도 칭해지는 서브-픽처(51)의 일 예를 보여준다. 도 4의 예에 따르면, 파일(8) 내에 코딩된 비디오 시퀀스의 픽처(50)는 9개의 타일들을 포함하고 9개의 타일 중에서 중앙 타일은, 예컨대 도 3의 트랙(13¹) 내에, 독립적으로 코딩되며, 따라서 서브-픽처(51), 예컨대 RoI 서브-픽처로서 추출될 수 있다. 다시 말해서, 예를 들어 픽처는 3x3 그리드의 VVC 타일을 가질 수 있으며, 여기서 중앙 타일은 예를 들어 도 4에 도시된 바와 같은 관심영역을 갖는다. 모든 9개의 타일은 동일한 비디오 트랙/비트스트림 내에 있을 수 있지만, 중앙에 있는 타일은 추출될 수 있는 독립적인 서브-픽처일 수 있다.

RoI 서브-픽처에 대한 접근을 허용하는 것은 다음과 같이 다양한 방식으로 수행될 수 있다:

1) 다중 트랙을 사용하는 케이스: RoI 타일을 개별 트랙으로 분리시킴:

a. 각 타일/서브-픽처를 별도의 트랙에 배치함

b. 추출 불가능한 타일들에 대한 공동 트랙의 사용: 첫 번째 트랙에 래스터스캔 방식으로 처음 4개의 타일을 배치하고, 두 번째 트랙에 RoI를 배치하고, 세 번째 트랙에 래스터스캔 방식의 순서로 나머지 4개 타일을 배치함

2) 단일 트랙을 사용하는 케이스: 모든 타일을 단일 공통 트랙의 배치함

트랙을 재생(또는 캡슐화를 해제)할 때, 파일 포맷 파서(10)는 트랙 내에 있는 샘플들을 추출해야 할 뿐만 아니라 파라미터 세트들(예컨대, VPS, SPS, PPS, APS)을 올바르게 처리해야만 한다. 파일 포맷 컨테이너 내에 파라미터 세트들을 저장하는 옵션에는 여러 가지가 있다. 한 가지 옵션은 대역내 파라미터 세트들을 개별 샘플과 함께 (즉, 필요할 때 즉시) 저장하는 것이고, 다른 옵션은 대역외 파라미터 세트들을 샘플 입력위치(entry)에 (시점에 무관하게) 저장하는 것이다. 어떤 경우든, 파일 파서(10)는 복호화기가 필요로 할 때 파라미터 세트들을 디코더에 전달할 책임이 있을 수 있으며, 파라미터 세트들이 샘플 입력위치에 존재하는 경우 파라미터 세트들은 필요한 순간에 디코더에 전달되어야 한다.

다중 트랙을 사용하는 케이스 1)을 살펴보면, 다음이 적용된다.

앞서 설명한 바와 같이, RoI를 포함하는 트랙만을 파싱할 때에는, RoI 트랙에 포함된 파라미터들이 처리된다. 그렇지만, 다중 트랙(더 큰 픽처에 해당함)을 파싱할 때에는, RoI에 특이성을 가진 각각의 파라미터 세트들은 무시될 필요가 있으며, 그 대신 보다 큰 픽처에 대한 파라미터 세트들이 디코더에 전달될 필요가 있다.

여러 트랙을 사용하는 케이스의 경우 비트스트림 복원 프로세스는 이와 같은 파라미터 세트 처리가 필요하다는 점을 고려해야 한다. 다른 다중 트랙 사용 사례(예컨대 다중 해상도 내지 품질을 지원하는 계층화된 비디오, 다중-뷰 비디오)의 경우에는, 레이어-특이성을 갖는 파라미터 세트들이 그에 상응하는 트랙에 저장되고 다중-레이어 비트스트림을 복원하기 위해 여러 트랙들을 파싱할 때 모든 파라미터 세트들이 포함되기 때문에, 이러한 처리가 보통 필요하지 않다. 그렇지만, 설명하는 시나리오에서는 다음과 같이 처리가 다르다.

도 3의 설명을 계속하면, 제1 실시예에서 파일은, 하나 이상의 트랙으로부터 비트스트림을 복원할 때(단일 트랙으로부터 비트스트림을 복원하는 것과 대비되는 상황임) 샘플 엔트리의 파라미터 세트들 또는 샘플들이 무시되어야 함(즉, 건너뛰고 디코더로 전달되지 않아야 함)을 표시하는 샘플 입력위치에서의, 샘플 엔트리 타입 또는 플래그/구문을 통한 시그널링을 포함한다. 다시 말해서, 파일 포맷 파서(10)는 소정의 트랙의 샘플 엔트리로부터 설명 데이터를 도출할 수 있다. 예를 들어, 파일 포맷 파서(10)는 샘플 엔트리의 타입(예컨대, 샘플 엔트리는 타입 인덱스를 포함함)에 기초하거나 또는 소정의 트랙의 샘플 엔트리 내에 있는 구문 요소(예컨대, 플래그)에 기초하여 검사를 수행할 수 있다. 제1 실시예의 그와 같은 예의 한 가지는, 비트스트림이 한 개를 초과하는 트랙으로부터 복원되는 경우로서, 트랙 그룹 식별자(track_group_id)가 공통되는 트랙들이 또는 트랙 그룹의 활성 트랙들의 일부(부분집합)만이 재생되는(즉, 디코더로 전달되는) 경우이다. 예를 들어, 트랙들 세트를 형성하기 위하여 트랙들 세트는 트랙들 세트의 트랙들에 공통의 트랙 그룹 식별자를 할당함으로써 링크되는 것으로 표시된다.

일 실시예에서, 이 시그널링은, 시그널링이 존재할 때 대역내 파라미터 세트들이 없거나 대역내 파라미터 세트들의 존재가 금지되었을 때, 적용된다. 예를 들어, 소정의 트랙이 적어도 하나의 대역내 파라미터 세트를 포함하는 경우, 트랙들 세트에 분산된 서브-스트림들을 함께 디코딩할 때, 파일 포맷 파서(10)는 검사를 억제하고, 소정의 트랙에 대한 파일 내에 존재하는 파라미터 세트가 무시되지 않아야 한다고 추론할 수 있다.

다른 실시예에서는, 그와 같은 시그널링이 대역내 및 대역외 파라미터 세트들에 특이성을 가져서, 무시되어야 하는 파라미터 세트들은 이중 한 종류에 한정되고 나머지 파라미터 세트들은 특별한 처리의 영향을 받지 않게 될 수 있다. 이러한 실시예들은 도 5 내지 도 7과 관련하여 설명된다.

파일 파서(10)가 그것을 전달할지 여부를 결정하는 소정의 파라미터 세트(PS¹)는 도 3에서 대역외인 것으로 도시되어 있다. 즉, 각각의 설명 데이터의 파라미터 세트들은 코딩된 픽처 데이터(12)의 VCL NAL 유닛들의 시퀀스와 시간 정렬되거나 통합되지 않았을 수 있다. 그렇지만, 도 3에 대한 이상의 설명은 대역외 파라미터 세트에 한정되지 않는다. 오히려, 동일한 방식 즉, 비디오 스트림(15)에 소정의 파라미터 세트(PS¹)를 포함시킬지 여부에 대한 결정은 대역내 파라미터 세트 즉, 시간-정렬된 코딩된 비디오 데이터(12)의 특정 VCL과 연관된 파라미터 세트에 추가적으로 또는 대안으로서 적용될 수 있다. 일부 실시예들에서, 소정의 트랙(13¹)의 설명 데이터의 파라미터 세트를 전달할지 여부에 대한 파일 포맷 파서(10)의 결정은 모든 대역내 파라미터 세트들을, 또는 대안으로서 모든 대역외 파라미터 세트들을, 참조할 수 있다.

도 5는 도 3의 파일 포맷 파서(10)의 일 예를 보여준다. 도 5의 예에 따르면, 소정의 트랙(131)은 코딩된 비디오 데이터(12¹)와 함께 VCL NAL 유닛들의 시퀀스에 통합된 대역내 설명 데이터(14¹')를 포함한다. 도 5의 예에 따르면, 소정의 파라미터 세트(PS¹)는 대역내 설명 데이터(14¹')의 일부이다. 도 5의 예에 따르면, 파일 포맷 파서(10)는 소정의 파라미터 세트(PS¹)를 비디오 스트림에 포함시킬지 여부에 대한 검사 결과와 독립적으로 대역내 설명 데이터(14¹')를 전달하지만, 대역외 파라미터 세트는 검사 결과에 따라서 선택적으로 전달한다. 도 5는 도 3에 기초한 것으로서, 도 3과의 차이점만을 도시한 것이라는 점을 유의해야 한다. 추가적인 트랙(13²)은 도 5에 도시된 시나리오에서도 존재할 수 있지만 도 5에는 도시되지 않았다.

도 6은 도 3 및 도 5의 파일 포맷 파서(10)에 대한 다른 시나리오를 도시한 것으로서, 특히 도 5의 시나리오에 따른 것이다. 즉, 도 6의 파일 포맷 파서(10)는 도 5와 관련하여 설명한 바와 같이 구성될 수 있다. 도 6은 대역외 설명 데이터(14¹)가 파라미터 세트들(PS1¹, PS2¹, PS3¹)을 포함하는 시나리오를 보여준다. 파일(8)의 설명 데이터에 의존하여, 파일 포맷 파서(10)는 대역외 설명 데이터(14¹)의 파라미터 세트들을 비디오 비트스트림(18)에 의해 도시된 바와 같이 전달하거나, 대안으로서 대역외 설명 데이터(14¹)의 파라미터 세트들을 비디오 비트스트림(16)에 의해 도시된 바와 같이 미전달한다. 이에 반하여, 두 경우 모두에 있어서, 파일 포맷 파서(10)는 대역내 설명 데이터 즉, 파라미터 세트들(PS4¹, PS5¹)을 전달한다.

도 7은 도 5 및 도 6의 파일 포맷 파서(10)의 실시예를 따르는 다른 시나리오를 보여준다. 도 6의 파일 포맷 파서(10)와 대조적으로, 도 7의 파일 포맷 파서(10)는 대역내 설명 데이터(14¹') 즉, 파라미터 세트들(PS4¹, PS5¹, PS6¹)을, 파일(8)의 설명 데이터의 검사 결과에 따라서 선택적으로 전달한다. 더욱이, 도 7의 파일 포맷 파서(10)는, 파일(8)의 설명 데이터의 검사 결과와 독립적으로, 대역외 설명 데이터(14¹)의 파라미터 세트들을 전달한다.

도 8은 파일 포맷 파서(10)의 다른 예를 보여준다. 도 8의 실시예에 따르면, 파일(8)은 정의된 파라미터 세트(VPS, SPS, PPS, APS) 각각에 대한 특정 시그널링을 포함하는데, 이는 이들 중 일부가 서브-픽처 범위를 가지고 있어서, 픽처의 한 영역에 대해서만 적용되고 따라서 다수의 트랙들로부터 비트스트림을 복원할 때 유지되어야(디코더로 전달되어야) 하기 때문이다. 이것은 다음과 같이 샘플 엔트리의 VVCDecoderConfigurationRecord에 있는 구문으로 표시된다(array_irrelevant 참조).

즉, 그것은 샘플 엔트리에서 주어진 타입의 NAL 유닛들이 필요하지 않음을, 즉 스트림이 주어진 트랙을 고유하게 파싱한 결과가 아닐 때(예컨대, 스트림을 추출하는 데 둘 이상의 트랙이 필요한 때 array_irrelevant는 irrelevant(관련 없음) 값을 가짐) 생략되거나 무시됨(디코더에 전달되지 않음)을 나타낸다. 도 8은 그와 같은 메커니즘이 어떻게 작용하는지에 대한 일 예를 보여준다.

도 9는 도 3의 파일 포맷 파서(10)의 다른 실시예를 보여주는데, 이 실시예에 따르면 파일 포맷 파서(10)는 소정의 트랙에 대한 파라미터 세트가 현재 디코딩되는 비디오 스트림(15)에 대하여 전달될 필요가 있어 이를 전달해야 할지 여부를 파일(8)의 파라미터 세트에 기초하여 결정한다.

다시 말해서, 관련 없는 파라미터들을 포함하는 트랙들이 되는 대신에, 트랙들은 파라미터 세트들이 무시되어야 할지 여부를 표시하며, 이것은 확실하게 유지되는 파라미터 세트들을 포함하는 파라미터들에서 시그널링될 수 있다. 예를 들어 도면에 도시된 두 개의 트랙을 살펴본다. 제2 트랙(track 2)는 RoI를 포함하며, 예컨대 샘플 엔트리 내에 있는 파라미터 세트들로 단독 재생될 수 있다. 제1 트랙(track 1)은 제2 트랙(track 2)의 샘플들이 필요함을 나타내는 'tref' 박스에 의해 시그널링되는 제2 트랙(track 2)에 대한 참조를 가질 수 있을 것이다. 그런데, 제1 트랙(track 1)의 샘플 엔트리 내에 있는 구성 레코드(configuration record)는 제2 트랙(track 2)에 있는 추가적인 파라미터 세트들이 필요한지 여부를 표시할 수 있을 것이다. 즉, 파일 포맷 파서(10)는 소정의 트랙(13¹)에 의존하는 트랙들 세트의 추가적인 소정 트랙(13²)의 샘플 엔트리로부터 검사를 위한 설명 데이터를 도출할 수 있다.

샘플 엔트리의 구문이 어떻게 생겼는지에 대한 예는 다음과 같다.

여기서 array_completeness는 1의 값을 가질 때 주어진 타입의 모든 NAL 유닛들이 다음 배열 내에 있고 스트림에는 없음을 표시하며, 0의 값을 가질 때 표시된 타입의 추가적인 NAL 유닛들이 스트림에 있을 수 있음을 표시한다. 기본값 및 허용되는 값들은 샘플 엔트리 명칭에 의해 제한된다.

·array_uniqueness: 1이면 다음 배열에 있는 주어진 타입의 모든 NAL 유닛들이 스트림에 대해서 충분하고, 다른 트랙의 다른 샘플 엔트리에 있는 동일한 타입의 다른 NAL 유닛들은 스트림 디코딩에 필요하지 않음(따라서 디코더로 전달되는 것을 방지할 필요가 있음)을 나타낸다. 0의 값을 가질 때에는, 다른 트랙의 다른 샘플 엔트리에 있는 동일한 타입의 NAL 유닛들이 존재하는 경우 이 NAL 유닛들이 스트림 디코딩에 필요함을 나타낸다.

도 3의 설명을 계속하자면, 다른 실시예에 따르면, 어떤 파라미터 세트 타입들(VPS, SPS, PPS)은 대역내 버전으로는 (예컨대 파일 생성기용으로는) 금지될 수 있는 반면, 다른 유형은 트랙 내에서 표시 수단을 통해서(예컨대, 샘플 엔트리에서의 플래그와 함께 또는 샘플 엔트리 타입과 함께) 허용될 수 있다(APS). 예를 들어, 파일 파싱의 결과로서, 여기에서 파일 파서는 모든 샘플들이 전달되기 때문에 샘플 데이터 NAL 유닛들을 구별할 필요가 없으며(무시하거나 하지 않음), 대역외 파라미터 세트들만 적절하게 처리하면 된다.

즉, 파일 포맷 파서(10)는 소정의 트랙에 대한 파일 내에 대역내 파라미터 세트가 존재하지 않는지 여부에 대한 정보를 설명 데이터(14)로부터 도출할 수 있다. 대안으로서, 파일 포맷 파서(10)는 파일(8) 내의 소정의 트랙(13¹)에 대한 정보를 설명 데이터(14)로부터 도출할 수 있다. 이때, 하나 이상의 파라미터 세트 타입들의 제1 세트의 파라미터 세트들만이 상기 소정의 블록(13¹)에 의해 포함된 하나 이상의 서브-스트림들 내에 대역내 존재하는 반면, 파라미터 세트는 파일의 하나 이상의 박스 내에 포함되고 상기 제1 세트와 분리되어 있는 하나 이상의 파라미터 세트 타입들의 제2 세트로 구성된 파라미터 세트 타입으로 되어 있을 수 있다

도 3의 설명을 계속하자면, 위에서 설명한 바와 같이, 파일 포맷 파서는 트랙 참조 또는 트랙 의존성을 표시하는 파라미터 또는 파라미터 세트로부터 검사를 위한 설명 데이터를 도출할 수 있다. 예를 들어, 추가적인 트랙(13²)의 설명 데이터(14²)는 트랙(13²)의 코딩된 비디오 데이터(12²)가 소정의 트랙(13¹)의 코딩된 비디오 데이터(12¹)에 의존한다는 것을 나타내는 트랙 참조를 포함할 수 있다. 예를 들어, 트랙 참조를 표시하는 파라미터 또는 파라미터 세트는 대역내 또는 대역외일 수 있다. 즉, 트랙 참조를 표시하는 파라미터 세트는 도 3에 도시된 바와 같은 별도의 파라미터 박스에 저장될 수 있거나 대안으로서 코딩된 픽처 데이터(12²)의 VCL²의 샘플 또는 샘플 엔트리에 표시될 수 있다. 추가적인 예들에서, 파일(8)은 선택적으로 비-VCL 트랙일 수 있는(즉, 코딩된 비디오 데이터, VCL NAL 유닛들을 포함하지 않음) 추가적인 소정의 트랙을 포함하지만, 파라미터 세트 NAL 유닛들을, 즉 파일(8)에 있는 하나 이상의 다른 트랙들(예컨대, 소정의 트랙(13¹) 및 추가적인 트랙(13²)을 참조함으로써 서브-스트림을 정의할 수 있는 하나 이상의 파라미터 세트들을 포함할 수 있다. 추가적인 소정 트랙을 갖는 구현예가 도 10에 도시되어 있다.

도 10은 도 1의 파일 포맷 파서(10) 및/또는 도 3의 파일 포맷 파서(10)에 선택적으로 상응할 수 있는 파일 포맷 파서(10)의 다른 예를 보여준다. 도 10에 따르면, 파일(8)은 서브-픽처(예컨대 도 4에 도시된 관심영역)의 코딩된 비디오 데이터(12¹)를 포함하는 소정의 트랙(13¹)을 포함한다. 소정의 트랙(13¹)은 하나 이상의 파라미터 세트(도 3과 관련하여 설명한 소정의 파라미터 세트(PS¹))를 포함하는 설명 데이터(14¹)를 추가적으로 포함하여, 트랙(1)이 다른 트랙들과 독립적으로 파일에서 추출될 때(도 10의 비트스트림(16) 참조) 디코더(17)에 의해 디코딩될 수 있게 해준다. 즉, 파일 포맷 파서(10)는, 예를 들어 특정 동작 포인트가 선택되는 경우, 소정의 트랙(13¹)(제1 트랙)을 배타적으로 전달할 수 있다. 도 10에 따르면, 파일(8)은 추가적인 트랙 즉, 제2 트랙(track 2) 및 제3 트랙(track 3)을 더 포함한다. 제2 트랙(track 2) 및 제3 트랙(track 3)은 코딩된 비디오 데이터(12³, 12⁴)를 각각 포함하며, 이들은 부호화되어 파일(8)에 저장된 코딩된 픽처의 서브-픽처들을 나타낼 수 있고, 추가적인 트랙들의 서브-픽처들은 소정의 트랙의 코딩된 비디오 데이터(121)에 의해 나타내어지는 서브-픽처에 선택적으로 상보적이다(optionally complementary). 도 10에 따르면, 파일(8)은 추가적인 소정의 트랙(13²)을 더 포함하는데, 이 트랙은 0번째 트랙(track 0)으로 칭해질 수도 있다. 상기 추가적인 소정의 트랙(13²)은 제1 트랙(track 1)의 서브-픽처는 물론, 하나 이상의 추가적인 트랙들 예컨대 제2 트랙(track 2) 및/또는 제3 트랙(track 3)의 서브-픽처들을 포함하는 서브-스트림에 대한 파라미터 세트(14²)를 포함한다. 다시 말해서, 상기 추가적인 소정의 트랙(13²)의 파라미터 세트는 제1 트랙(track 1)과 하나 이상의 추가적인 트랙들(track 2 및/또는 track 3)을 참조할 수 있어서, 소정의 트랙과 하나 이상의 추가적인 트랙의 코딩된 비디오 데이터 또는 그 일부가 상기 추가적인 소정의 트랙(track 0)에 의해 기술되는 서브-스트림의 일부라는 것을 표시할 수 있다. 추가적인 소정의 트랙(13²)에 의해 기술되는 서브-스트림을 추출하는 경우에 즉. 상기 소정의 트랙(13¹), 제1 트랙(track 1), 및 하나 이상의 추가적인 트랙들(track 2 및/또는 track 3)을 함께 디코딩하는 경우에, 상기 소정의 트랙(13¹), 제1 트랙(track 1)의 파라미터 세트들 중 하나 이상 또는 모두는 관련이 없을 수 즉, 선택된 비디오 비트스트림을 디코딩하는 데 필요하지 않을 수 있다. 따라서 파일 포맷 파서(10)가 추가적인 소정의 트랙(13²) 즉 0번째 트랙(track 0)에 의해 기술되는 서브-스트림을 포함하는 비디오 스트림(15)을 생성하는 경우, 파일 포맷 파서(10)는 생성된 비디오 스트림(15) 내에 있는 소정의 트랙(13¹)의 파라미터 세트들 중에서 하나 이상 또는 모두를 생략할 수 있다. 예를 들어, 도면에서, 0번째 트랙(track 0)이 상기 소정의 트랙(track 1)에 대한 상기 추가적인 소정의 트랙(track 0)의 트랙 참조를 가리키는 파라미터 세트 또는 파라미터 또는 파라미터 세트 박스를 포함한다면, 파일 포맷 파서(10)는 상기 소정의 트랙(13¹)의 파라미터 세트들(14¹) 중에서 하나 이상 또는 모두를 전달하지 않고서 비디오 스트림(15)에 있는 소정의 트랙(13¹)의 코딩된 픽처 데이터(12¹)를 전달할 수 있다(비트스트림(18) 참조). 예를 들어, 상기 소정의 트랙을 참조하는 추가적인 소정의 트랙 내의 트랙 참조는 상기 소정의 트랙의 코딩된 픽처 데이터가 비디오 스트림(15)에 포함되어야 하는 서브-픽처를 포함함을 표시하는 서브-픽처 참조일 수 있다.

다시 말해서, 파일 포맷 파서(10)는 트랙 의존성 박스로부터 설명 데이터를 도출할 수 있으며, 상기 트랙 의존성 박스는, 트랙들 세트 상으로 분산되어 있는 서브-스트림들을 함께 디코딩할 때 상기 소정의 트랙(13¹)에 대한 파일(8) 내에 있는 파라미터 세트가 무시되어야 할지 여부를 표시하는 것 이외에, 트랙들 세트 중에서 추가적인 소정의 트랙(13²), 0번째 트랙(track 0)에 대하여 상기 소정의 트랙(13¹)에 대한 의존성을 표시한다.

다시 말해서, 일 실시예에 따르면, 트랙의 파라미터 세트들은 트랙 참조 타입에 의해서 무시된다. 트랙 참조들은 예를 들어 다음과 같이 트랙 식별자에 의해 참조되는 트랙들을 가리키는 박스로써 주어진다.

이 박스는 이를 포함하는 트랙(containing track)으로부터 프레젠테이션 내에 있는 다른 트랙에 대한 참조를 제공한다. 이러한 참조들은 분류된다. 예를 들어, 'scal' 참조 타입은 비트스트림의 액세스 유닛을 형성하기 위한 관련된 트랙들로부터의 NAL 유닛들의 다중화를 표현하는데 사용된다. 이제, 도 4에 주어진 예와, 제1 트랙(track 1)이 자체 포함된 방식으로 ROI를 나타내는 도 10에 도시된 트랙 할당을 살펴본다. 도 10에서, 트랙 1은 자체 포함하는 방식으로(예컨대, 모든 필요한 VCL(슬라이스) 및 비-VCL 데이터(파라미터 세트들의 변형 1)를 포함하는, 규범에 따른 비트스트림을 포함하는 방식으로) RoI를 나타낸다. 트랙 0은 전체 비디오(ROI + 비-ROI)를 디코딩하는데 필요한 파라미터 세트 변형을 포함하고, 트랙 2 및 3은 파라미터 세트 데이터는 없이 상기 예의 비-ROI 타일들을 포함하며, 이에 따라 가능한 경우 비-ROI 타일들에 대한 조인트 트랙이 있는 케이스 1b)를 나타낸다. 트랙 0은 트랙 참조들을 사용하여 트랙 1 내지 3을, 즉 전체 픽처 비트스트림의 모든 슬라이스 데이터를 참조한다. 그렇지만, 본 발명의 일부로서, 이 실시예에서는, 특별한 트랙 참조 타입 'ovcl'이, 비트스트림을 복원할 때 참조 트랙의 VCL 데이터만이 재생되고('scal' 참조 타입과 유사한 액세스 유닛을 형성함에 있어서 다중화됨) 비-VCL 데이터(예컨대 파라미터 세트들)는 무시되어야함을, 표시한다. 다른 실시예에서는, 트랙 참조 시그널링에 있어서 플래그가 사용되어, 트랙 0을 재생하는 플레이어가 트랙 1에 저장된 파라미터 세트들을 무시한다는 것을 표시할 수 있다.

도 11은 도 1의 파일 포맷 파서(10)의 다른 예를 보여주는데, 이 예는 단일 트랙의 경우에 대하여 즉, 파일(8)이 단일 트랙을 포함하고, 파일(8)의 단일 트랙으로부터 하나 이상의 트랙 부분을 추출함으로써 파일(8)에 의해 표현되는 코딩된 비디오 데이터(12)의 서브스트림이 추출될 수 있는 경우에 대하여, 트랙의 파라미터 세트를 선택적으로 전달하는 도 3의 파일 포맷 파서(10)의 개념을 구현할 수 있다.

도 11에 따른 파일 포맷 파서(10)는 비디오 비트스트림 또는 그 일부를 포함하는 트랙(트랙 i)을 포함하는 파일(8)을 받아들이도록 구성된다. 예를 들어 트랙은 위에서 설명한 종류의, 하나 이상의 "서브트랙"을 포함할 수 있다. 파일 포맷 파서(10)는 파일(8)로부터 하나 이상의 트랙 파티션들의 표시(20), 예컨대 도 11 및 12에 있는 NAL 유닛 박스들 내에 있는 위첨자로 표시된 바와 같은 트랙 파티션들의 표시를 도출할 수 있다. 예를 들어, 트랙 파티션들은 서브-트랙들이거나 트랙 파티션들은 서브-샘플들이다. 각 트랙 파티션은 비디오 비트스트림으로부터의 서브-스트림과 관련 있을 수 있다. 트랙의 각 NAL 유닛이 반드시 트랙 파티션들 중 적어도 하나와 연관되어 있어야만 하는 것은 아니라는 점을 유의해야 한다. 오히려, 하나 이상의 NAL 유닛은 트랙 파티션이 없다는 속성을 가질 수 있다. 도 11에 따르면, 파라미터 세트(도 11에서 크로스해칭됨)를 포함하며, 이 파라미터 세트는 도 11에 도시된 바와 같이 대역내 배치되거나 도 12에 도시된 바와 같이 대역외 위치할 수 있고, 이 파라미터 세트는 비디오 비트스트림의 첫 번째 버전을 재생하는데 트랙이 사용되도록 하고 이것은 트랙을 완전히 디코딩하는 것을 포함하며 이 경우 파일 포맷 파서(10)는 디코더(17)로 전달할 비디오(15)로서 비디오 스트림(22)을 생성할 수 있다. 즉, 트랙(13)을 완전히 디코딩하는 경우, VCL NAL 유닛들과, 크로스해칭된 PS NAL 유닛들이 디코딩으로 전달된다. 도 11에 따르면, 파일 포맷 파서(10)는, 하나 이상의 트랙 파티션 세트 중에서 소정의 트랙 파티션(예컨대 서브트랙 #1)에 대한 파일(8)로부터, 도 11에서 단방향 해칭으로 표시된 대안이 되는 파라미터 세트(24)를 도출하고, 대안이 되는 파라미터 세트(24)를 서브-스트림에 삽입하고 이를 크로스해칭된 파라미터 세트 없이 디코딩에 전달하여, 비디오 비트스트림의 두 번째 버전이 재생되게 할 수 있는데, 이는 상기 서브-스트림에 대한 트랙의 나머지 부분을 제외하고 서브트랙을 디코딩하는 것을 내포한다. 상기 나머지 부분은 서브트랙 #1에 속하지 않는 트랙 i의 모든 NAL 유닛을 포함한다.

비디오 비트스트림의 첫 번째 버전에 대한 파라미터 세트는, 도 11에 예시적으로 도시된 바와 같이, 대역내 위치할 수 있다. 대안으로서, 도 12에 도시된 바와 같이, 비디오 비트스트림의 첫 번째 버전에 대한 파라미터 세트나, 두 번째 버전 이외의 타 버전에 대한 파라미터 세트는 대역외 저장될 수 있으며, 여기서 타 버전은 반드시 풀 디코딩을 내포하는 것은 아니다. 이 경우, 파일 포맷 파서(10)는, 디코딩할 버전에 따라서 비디오 비트스트림의 상이한 버전에 대한 파라미터 세트들 중 하나를 포함할 수 있다.

도 13은 도 11 및/또는 도 12의 파일 포맷 파서(10)에 따라 선택적으로 구현될 수 있는 파일 포맷 파서(10)의 다른 예를 보여준다. 단일 트랙 케이스의 경우, 각 샘플에서 NAL 유닛들의 서브세트를 추출하는 것과 이 서브세트가 유효한 비트스트림에 부합한다는(예컨대 서브-픽처에 해당한다는) 점을 허용하는 것이 필요할 수도 있다.

이를 위해 기존의 서로 다른 메커니즘들이 사용될 수 있는데, 이러한 메커니즘의 예를 들면 다음과 같다.

- 서브-트랙들

- 서브샘플 정보

서브-트랙들은 스트림의 일부 구문요소들의 값을 정의하는 각 트랙 내에 있는 박스로 기술된다. 박스(Box)를 정의하고 서브트랙 정의 박스 'strd'에 포함시킬 필요가 있다.

이들은, 예를 들어 VVC의 layer_id에 관해서는, 구문요소들(상기 예에서는 syntax_element_1 또는 syntax_element_2)의 값을 명시한다. 또한 이것은, XXXXSubTrackBox가 어떻게 정의되는지에 따라서 값들의 범위가 될 수도 있다. 그러면, 파서는 도 13에 도시된 바와 같이 각 샘플 내에 있는 NAL 유닛들을 파싱하고 NAL 유닛들이 서브트랙에 속하는지 여부를 결정할 필요가 있다. 다시 말해서, 트랙에 대해서, 어떤 NAL 유닛들이 트랙의 특정 서브트랙에 속하는지가 정의되며; NAL 유닛들의 헤더들(NAL 유닛의 타입과 layer_ID)에서 하나 이상의(상기 예에서는 두 개의) 필드들 또는 구문요소들이 반드시 어떤 서브트랙에 속해야만 하는 값들의(그리고 syntax_element_#의) 개수(item_count)를 표시함으로써, 속성 내지 멤버십 표시가 이루어진다.

서브샘플 정보 박스의 경우, 표를 사용하여 각 샘플에 대한 서브샘플들의 크기를 식별한다.

이러한 메커니즘들 중 하나를 사용하여, VCL NAL 유닛들의 부분집합이 추출될 수 있다. 그렇지만, VCL NAL 유닛들의 부분집합이 규칙에 부합되는 비트스트림을 형성하는 데 필요할 뿐만 아니라 파라미터 세트들과 같은 비-VCL NAL 유닛들도 정확해야 하며 모든 VCL NAL 유닛들의 비트스트림을 반영하는 것들과 다를 가능성이 있다는 문제가 남는다.

일 실시예에서, 파일 내에는 서브-트랙/서브샘플의 샘플 엔트리를 포함하는 새로운 박스가 있다. 이 서브-트랙 샘플 엔트리는 트랙에 적용되는 엔트리와 비슷하지만 필요한 파라미터 세트들이 포함되는 샘플 엔트리를 포함한다. 예를 들면 다음과 같다.

추출가능한 서브트랙이 2 개 이상 있을 수 있으므로(예컨대, 관심영역이 2개인 비트스트림 또는 크기가 다른 2개의 RoI), 이러한 서브트랙 구성 박스를 두 개 이상 추가한 다음 그것이 속한 서브트랙에 추가적인 매핑을 하는 것이 필요할 수 있다. 그와 같은 시그널링의 예는 서브트랙 구성 박스 바로 다음에 오는 subtrack_id일 것이다.

다시 말해서, 완전히 디코딩될 때 사용될 구성 레코드의 파라미터 세트들이 트랙의 샘플 엔트리에 포함될 수 있다는 개념이다. 그 부분집합이 디코딩되면, 파라미터 세트들을 포함하는 서브트랙 구성 레코드가 있게 되는데; 이는 "정상적인" 구성 레코드의 파라미터 세트들이 무시되어야 하고 잠재적으로 연관 정보(본 명세서에서 아래의 설명 참조)를 가진 서브트랙에 대한 파라미터 세트들이 사용되어야 함을 의미한다.

도 3 내지 도 13과 관련하여 설명한 파일(8)의 실시예들과 파일 포맷 파서(10)의 실시예들이 본 발명의 독립적인 실시예들을 나타낸다는 것을 유의해야 한다. 파일(8)을 생성하도록 구성되는 파일 생성기(20)에 의해서 추가적인 실시예들이 제공된다. 따라서 여기에서 설명되는 파일 포맷 파서(10)의 실시예들 각각은 파일 생성기(20)에 대한 그에 상응한 설명으로서 이해되어야 한다. 예를 들어, 파일 생성기(20)는 설명 데이터(14) 및 코딩된 비디오 데이터(20)를 파일(8)에 저장하여, 소정의 파라미터 세트(13¹)가 선택된 비디오 비트스트림의 디코딩에 필요하지 않다고 파일 파서(10)가 설명 데이터로부터 결론짓도록 설명 데이터(14)가 되어 있는 경우에, 선택된 비디오 비트스트림의 서브스트림이 소정의 파라미터 세트(13¹) 없이 공동으로 디코딩 가능하게 해준다.

2. 도 14 내지 도 16에 따른 파일 포맷 파서(10), 파일 생성기(20), 및 파일(8)

도 14는 본 발명의 제2 양태의 실시예에 따른 파일 포맷 파서(10)를 보여준다. 도 14에 따른 파일 포맷 파서(10)는 도 1에 따른 파일 포맷 파서(10)에 선택적으로 기초할 수 있다. 도 14에 따른 파일 포맷 파서(10)는 파일(8)을 받아들인다. 도 14의 실시예에 따르면, 파일(8)은 첫 번째 트랙(예컨대, 트랙 i, 또는 후속 도면을 참조하면 트랙 0)을 포함하고, 제1 트랙(예컨대, 트랙 i+1, 또는 후속 도면을 참조하면 트랙 1)을 더 포함한다. 제2 트랙은 제1 트랙에 종속된다. 제1 및 제2 트랙들은, 예를 들어 도 1과 관련하여 또는 섹션 1과 관련하여 설명한 바와 같이, 비디오 비트 스트림의 서브-스트림들을 포함한다. 파일 포맷 파서(10)는 파일로부터 제1 정보(34)를 도출할 수 있는데, 이 정보는 IRAP 샘플들을 표시하며, IRAP 샘플들은 도 14에서 크로스해칭된 픽처 아래에 크로스해칭된 샘플들로 도시되어 있다. 도 14에서, 대응하는 픽처(32)와 연관된 트랙의 각 샘플(30)은 그것이 코딩되는 상기 대응하는 샘플 바로 위에 도시되어 있다. 제1 정보(34)는 제2 트랙에 있는 IRAP 샘플들을 표시한다. 더욱이, 파일 포맷 파서(10)는 파일(8)로부터 제2 정보(36)를 도출할 수 있는데, 상기 제2 정보(36)는 제2 트랙 내에 있는 소정의 IRAP 샘플들을 표시하며, 여기서 제1 트랙에도 의존하는 파일의 제3 트랙에서 제2 트랙으로 트랙을 전환하는 것이 허용된다. 도 14에서, 상기 소정의 IRAP 샘플들은 크로스해칭된 픽처들 아래에 단순 해칭된 샘플들로 도시되어 있다. 상기 제3 트랙은 트랙 i+2로 표시되거나, 후속 도면을 참조하면 트랙 2로 표시된다. 예를 들어, 제3 트랙에서 제2 트랙으로의 전환은 그 경우의 제1 트랙에 대하여 또는 소정의 IRAP 샘플들에 대하여 대체 파라미터 세트 NAL 유닛들 또는 다른 대역외 파라미터 세트 NAL 유닛들이 존재하기 때문에 허용될 수 있으며, 이에 따라 RPR 참조가 올바르게 이루어지면서 다른 IRAP 샘플들에 대하여 그와 같은 파라미터 세트 NAL 유닛들이 이용가능하지 않게 된다.

예를 들어, 도 14에 따른 파일 포맷 파서(10)는 동적 관심영역(dynamic RoI)에 대한 지원을 제공한다.

동적 RoI 확장성(scalability)에 대한 지원(예컨대, 두 개 이상의 RoI의 고해상도 버전을 제공하거나, 전체 개요 비디오와 함께 공간적으로 움직이는 RoI를 비트스트림으로 제공하는 것)은 VVC에서 제한적이다. 그와 같은 지원은 스케일링 윈도우 시그널링(scaling window signaling)을 기반으로 하는 다중-레이어 접근법 및 RPR을 사용하여 부분적으로 행해질 수 있다. 도 15는 L0의 비디오에 대해 제공되는 2개의 ROI의 예를 보여준다.

VVC에서 스케일링 윈도우 시그널링은 움직임 벡터 옵셋으로 작용하고, 예컨대 스케일링 윈도우의 크기가 일정하게 유지되어 참조 픽처의 크기조정과 리샘플링이 없을 때, 픽처들 간의 스케일링 팩터(scaling factor)를 유도하기 위한 기초로 작용한다.

그렇지만, 스케일링 윈도우는 최초 레이어(아래 예에서 L0)의 파라미터 세트들에는 표시되고, 타겟 레이어(L1, L2)의 파라미터 세트들에는 표시되지 않는다(SHVC에서 그러한 것과 같음). 또한, 스케일링 윈도우는 레이어간 및 레이어내 움직임 보상 예측 모두에서 사용되며, 따라서 최초 레이어(L0)가 참조 픽처 리샘플링을 수행하지 않는 동적 ROI 확장성을 위해 RPR이 사용될 때, IDR 주기 동안 스케일링 윈도우는 시간에 따라 크기와 위치가 일정해야만 한다. 그러므로 스케일링 윈도우들은 IDR 픽처들의 베이스 레이어에서만 변경될 수 있으며, 여기서 이전의 모든 참조 픽처들은 폐기되고 스케일링 윈도우의 변경은 영향을 미치지 않는다. 어떠한 애플리케이션이든지 PPS를 변경할 수 있고 디코딩 프로세스를 변경하지 않고서 일정하게 유지되는(또는 참조 픽처 리샘플링이 L0에서 사용되는 경우, 즉 코딩된 픽처 크기가 변경되는 경우, 적어도 일관성 있는(coherent)) 스케일링 윈도우를 추가할 수 있다. 이 접근 방식을 사용하면 향상 레이어(L1, L2)마다 서로 다른 RoI가 제공될 수 있으며, 다시 말해서 다중 레이어 접근법으로 동적 RoI를 지원할 수 있게 된다.

도 15의 예에서, 디코더가 디코딩할 수 있는 레이어들 즉 비트스트림에는 다음 세 가지 부분집합이 있다: 전체 장면(L0), RoI1(즉, L0+L1), RoI2(즉, L0+L2).

도 16a는 예시적인 구성에 대한 디코딩가능한 부분집합들을 보여준다. 도 16a에서 볼 수 있는 바와 같이, 디코딩되는 것에 따라서 레이어(L0)가 특정 스케일링 윈도우(RoI1, RoI2와 매칭시키거나, 또는 "기본 스케일링 윈도우"로 표시되는 전체 픽처)를 표시하는 데에는 서로 다른 PPS가 필요하다.

스케일링 윈도우는 위에서 설명한 바와 같이 움직임 보상 프로세스에 영향을 끼치며, 다시 말해서 각 움직임 벡터에 대한 옵셋으로 작용하고, 적용 가능한 경우 참조를 리샘플링하기 위한 스케일링 팩터를 위한 기초로 작용한다. RoI1에서 RoI2로 디코딩을 전환하고자 할 때, L0에 표시된 스케일링 윈도우가 적절하게 변경되어야 할 것이다. 즉, PPS가 변경되어야 한다. 위에서 설명한 이유로 인하여, 이것은 예측 중단(prediction break)이 있는 베이스 레이어의 픽처들 즉, IDR 픽처들에서만 발생할 수 있다. 향상 레이어 의존성 트랙들(즉, 모든 하위 레이어 트랙들에 IDR을 가짐)의 이와 같은 샘플들은 동기화 샘플들로 마킹되어야 한다. 하위 레이어 트랙들에서 IDR과 정렬되지 않은 EL 트랙들의 잔여 IDR 샘플들의 경우, 예컨대 빨리 감기용 트릭 모드를 위해, 여전히 플레이어가 인식하는 것과 관련이 있다. 그와 같은 모드에서는, 비트스트림의 축소된 버전이 원래 프레임 레이트보다 더 빠른 속도로 재생되는데, 상기 비트스트림의 축소된 버전은 예컨대 EL 트랙의 모든 IDR 샘플들(및 종속성)을 포함한다. L0 후행 픽처들이 있는 EL IDR 화상이 올바르게 디코딩되려면, L0의 모든 샘플들이 디코딩되어야 하거나 각각의 L0 후행 픽처들이, 종속 RAP(DRAP) 타입으로 마킹되고 관련 L0 IDR을 참조로 사용할 때와 같은, 특별한 방식으로 인코딩되어야 한다.

그러므로 일 실시예에서는, 샘플 엔트리 또는 SAP 타입 또는 동기화 샘플 표시 내에 있는 샘플 엔트리 타입 또는 플래그가 종속 트랙에서 2가지 타입의 샘플들: 즉 그로부터 종속 트랙 전환을 허용하는 트랙의 첫 번째 샘플들, 및 예컨대 검색(seeking)과 같은 트릭 모드 재생을 허용하지만 다른 트랙으로부터의 전환에는 충분하지 않은 종속 트랙의 두 번째 샘플들을 구별할 수 있게 해준다.

도 16b는 본 발명의 표시가 시그널링해야 하는 상위 레이어 IDR 샘플들의 2가지 분류 간의 차이를 보여준다. 예를 들어, 도 17의 실시예는 트릭 플레이에 사용될 수 있는 트랙으로부터의 트랙 전환에 적합한 종속 트랙 샘플들을 구별하는 것을 구현할 수 있다.

그렇지만, 설명된 시나리오에서 발생하는 추가적인 문제는 선택된 트랙 조합에 대한 올바른 파라미터 세트들을 플레이어가 인식하는 것이다. 일 실시예에서는, 섹션 1에서 옵션 1으로 설명하였던 것과 유사한 해결책(예컨대, 도 3과 같은 다중 트랙을 사용하는 케이스)을 사용한다. 즉, 언제 베이스 레이어(또는 베이스 트랙)에서의 파라미터들을 유지해야 하고 언제 이들을 올바른 파라미터로서 무시해야 할지를 나타내는 샘플 엔트리 또는 샘플 엔트리에서의 플래그/구문을 통한 시그널링이 다른 레이어(또는 트랙)에 포함된다.

다시 말해서, 파일 포맷 파서(10)는 제1 트랙에 대하여 파일 내에 존재하는 파라미터 세트들이 제1 트랙에 의존하는 종속 트랙의 재생의 경우에 제거되어야 하는지 여부에 대한 제4 정보를 파일로부터 도출할 수 있다. 만약 제4 정보가, 제1 트랙에 대하여, 제1 트랙에 있는 파라미터 세트들이 제1 트랙에 의존하는 종속 트랙의 재생시에 제거되어야 함을 나타낸다면, 파일 포맷 파서(10)는 제2 및 제3 트랙들 중 어느 하나의 재생시에 파라미터 세트들 없이 제1 트랙을 비디오 디코더에 전달할 수 있다. 만약 제4 정보가, 제1 트랙에 대하여, 제1 트랙에 있는 파라미터 세트들이 제1 트랙에 의존하는 종속 트랙의 재생시에 제거되어야 함을 나타내지 않는다면, 파일 포맷 파서(10)는 제2 및 제3 트랙들 중 어느 하나의 재생시에 파라미터 세트들과 함께 제1 트랙을 비디오 디코더에 전달할 수 있다.

다른 선택지로서, 파라미터 세트들은 제1 트랙에 대역내로 포함될 수 있고, 파일 포맷 파서(10)는, 제4 정보가 제1 트랙에 대하여 제1 트랙에 있는 파라미터 세트들이 제1 트랙에 의존하는 종속 트랙의 재생시에 제거(strip)되어야 함을 나타내는 경우, 제2 및 제3 트랙들 중 어느 하나의 재생시에 파라미터 세트들이 제거된 제1 트랙을 비디오 디코더에 전달할 수 있고, 제4 정보가 제1 트랙에 대하여 제1 트랙에 있는 파라미터 세트들이 제1 트랙에 의존하는 종속 트랙의 재생시에 제거되어야 함을 나타내지 않는 경우, 파일 포맷 파서(10)는 제2 및 제3 트랙들 중 어느 하나의 재생시에 파라미터 세트들이 남아있는 제1 트랙을 비디오 디코더에 전달할 수 있다.

다른 실시예에서는, 상이한 샘플 엔트리들이 베이스 레이어에서 사용되고, 샘플 엔트리들 각각은 베이스 레이어가 단독으로, 또는 하나의 트랙 또는 다른 트랙과 함께 재생되는 경우에 대한 정확한 파라미터 세트들을 포함한다. 이는 위의 예에서 3개의 상이한 샘플 엔트리들을 의미한다.

즉, 파일 포맷 파서(10)는 파일에서 제1 트랙에 대하여 존재하는 정보 박스들 세트 중 적어도 하나를 파일로부터 도출할 수 있으며, 여기서 상기 정보 박스들 세트 각각은 제1 트랙으로부터의 연관 트랙 그리고 제1 트랙에 의존하는 종속 트랙들에 연관되어 있고, 상기 연관 트랙의 재생시에 제1 트랙과 함께 전달되어야 하는 파라미터 세트들의 버전을 포함하며, 여기서 도출되는 정보 박스들 중 적어도 하나는 재생될 트랙에 연관된 정보 박스이다.

현재 ISOBMFF에서는 기본 스트림에 대하여 상이한 샘플 엔트리를 사용할 수 있다. 각 순간에 어떤 샘플 엔트리가 있는지 결정하는 방법으로는 상이한 방법들이 있다.

1) 샘플 엔트리에 샘플을 인덱싱하거나 샘플 엔트리에 샘플을 인덱싱하는 미디어 단편(fragment)에 샘플이 저장되지 않은 경우, 샘플-투-청크 박스 'stsc'가 있다.

2) 파일에 미디어 조각이 포함된 경우, 트랙 단편 헤더(track fragment header) 'tfhd'에 샘플 설명 인덱스가 있다.

그러나 이들 메커니즘 중 어느 것도, 본 명세서에서 설명하는 경우처럼, 샘플 엔트리를 포함하는 트랙에서가 아니라 다른 트랙에서 상기 샘플 엔트리를 결정하는 것은 계획에 담고 있지 않다. 그러므로 본 발명의 일부는 어떤 트랙이 다른 트랙에 있는 "활성" 샘플 엔트리를 수정하게 하는 것이다.

예를 들어 단편화된 미디어에서는, 위에서 상정한 종속 트랙의 경우에, 트랙 단편 헤더 'tfhd' 또는 종속 트랙들의 종속 트랙 'dtfh'라는 새로운 박스가 참조 트랙들에서 어떤 샘플 엔트리를 사용할지를 나타내기 위하여 트랙 참조 식별자들과 샘플 설명 인덱스들로 된 쌍들을 포함한다. 다음은 'tfhd'의 예이다.

3. 도 17에 따른 파일(8), 파일 생성기(20), 및 파일 파서(10)와, 도 18에 따른 클라이언트(90) 및 매니페스트 파일(5)

도 17은 본 발명의 제3 양태에 따른 도 2의 파일 생성기(20)에 의해 생성될 수 있는 파일(8)의 일 예를 보여주는데, 상기 파일(8)은 본 발명의 제3 양태에 따라 도 1의 파일 파서(10)에 의해 파싱될 수 있다.

도 1과 관련하여 설명한 바와 같이, 파일(8)에 포함되는 비디오 비트스트림은 다수의 시간적 레이어들을 포함하거나 이들로 구성될 수 있다. 도 17은 파일(8)이 복수의 시간적 레이어(14)를 포함하고, 복수의 시간적 레이어들(14)이 제1 시간적 레이어들 그룹과 제2 시간적 레이어들 그룹을 포함하는 그러한 예를 보여준다. 제1 시간적 레이어들 그룹은 서브레이어(71)와 서브레이어(72)를 포함한다. 제2 시간적 레이어들 그룹은 서브레이어(73)와 서브레이어(74)를 포함한다. 제1 시간적 레이어들 그룹은 파일(8)의 제1 트랙(61)에 연관되어 있다. 즉, 제1 서브레이어(71) 및 제2 서브레이어(72)는 파일(8)의 제1 트랙(61)에 포함된다. 제2 시간적 레이어들 그룹의 서브레이어(73) 및 서브레이어(74)는 파일(8)의 제2 트랙(62)의 일부이다.

서브레이어(73)은 제2 트랙(62)과 연관된 제2 시간적 레이어들 그룹의 가장 낮은 시간적 레이어이며, 단계적 시간적 서브레이어 액세스(STSA: stepwise temporal sublayer access) 픽처(38), 즉 STSA 타입의 픽처를 포함한다. 서브레이어(74)는 서브레이어(73)에 비해 더 높은 시간적 레이어이며, 디코딩 순서상 STSA 픽처(38) 다음의 첫 번째 픽처인 STSA 픽처(42)를 포함한다. 즉, 소정의 트랙(62)에 연관된 제2 시간적 레이어들 그룹에 속하는 시간적 레이어로서 STSA 픽처(38)와 연관된 시간적 레이어(73)가 아닌 각 시간적 레이어 즉, 서브레이어(74)에 대하여, 서브레이어(74)의 픽처들 중에서 디코딩 순서상 STSA 픽처(38)를 가장 먼저 뒤따르는 것이 STSA 타입이다. 이 기준에 따라서 파일 포맷 생성기(20)는 STSA 픽처(38)를 가능한 스트림 액세스 포인트로 마킹하는, 예컨대 STSA 픽처(38)를 스트림 액세스 포인트 픽처(SAP 픽처)로 마킹하는, 정보를 파일(8) 내에서 제공할 수 있다. 따라서 파일(8)에서 STSA 픽처(38)는 가능한 스트림 액세스 포인트로서, 예컨대 STSA 타입 1 또는 2의 픽처로서 마킹될 수 있으며: 도 17의 예에서 STSA 픽처(42)는 프리젠테이션 순서상 STSA 픽처(38)보다 선행하게 된다. 이 경우, 예들에 따라서는, 파일(8) 내의 정보가 STSA 픽처(38)를 STSA 타입 2로 마킹할 수 있다. 소정의 트랙(62)과 연관된 제2 트랙들 그룹이 프리젠테이션 순서상 STSA 픽처(38)보다 선행하는 STSA 픽처를 포함하지 않는 다른 예들에서는, 파일(8) 내의 정보가 STSA 픽처(38)를 STSA 타입 2로 마킹할 수 있다(예컨대, 표 1 참조). 디코더(17)가 트랙들(61 및 62)의 픽처들을 디코딩할 것으로 예상되는 디코딩 순서와, 픽처들이 제공되는 프리젠테이션 순서가 도 17에 표시되어 있다.

대안적인 기준으로서, 소정의 트랙과 연관된 하나 이상의 시간적 레이어들 그룹, 예컨대 서브레이어(73) 및 서브레이어(74)를 포함하는 제2 시간적 레이어들 그룹의 여타의 각 시간적 레이어에 대하여 프리젠테이션 순서상 STSA 픽처(38)를 가장 먼저 뒤따르는 픽처(예컨대 픽처(43))가 STSA 타입으로 되어 있다면, 파일 생성기(20)는 소정의 트랙의 가장 낮은 시간적 레이어에 위치하는 소정의 트랙의 소정의 STSA 픽처, 예컨대 제2 트랙(62)의 STSA 픽처(38)를 마킹하는 정보를 가능한 스트림 액세스 포인트(예컨대, STSA 타입 3)로서 파일(8) 내에서 제공할 수 있다. 이 대안적인 시나리오의 예는, 픽처(43)의 타입을 STSA 타입으로 대체하면, 도 17의 시나리오로 표현될 수 있으며, 이때 선택적으로 STSA 픽처(42)를 비-STSA 픽처로 대체할 수도 있다. 따라서 예에 따라서 만약, 추가적으로, 소정의 트랙(62)과 연관된 서브레이어 그룹의 추가적인 서브레이어(즉, 도 17의 경우 서브레이어(74))에서 디코딩 순서상 STSA 픽처(38)를 가장 먼저 뒤따르는 픽처(즉, 도 17의 픽처(42))가 STSA 픽처가 아니라면(예를 들어, 표 1 참조), 파일 생성기(20)는 STSA 픽처(38)를 스트림 액세스 포인트로서, 예컨대 STSA 타입 3으로서 마킹할 수 있다.

서브레이어들(71, 72, 73, 74)은 계층적이라는 점을 유의해야 한다. 예를 들어, 각 서브레이어는 하나 이상의 하위 서브레이어의 픽처와 조합되어 더 높은 프레임 레이트를 갖는 비트스트림을 하위 서브레이어들에만 의존하는 비트스트림으로서 제공하는 픽처들을 포함한다. 예를 들어, 파일(8)의 코딩된 비디오 데이터의 최하위 서브레이어보다 상위에 있는 서브레이어들은 적어도 코딩된 비디오 데이터의 최하위 서브레이어, 예컨대 도 17의 서브레이어(71)과 조합해서만 디코딩될 수 있다. 예에 따라서 서브레이어의 디코딩은 모든 하위 서브레이어들을 필요로 할 수 있다. 특히, 상이한 그룹들의 시간적 레이어들은 계층적으로 서로 인터리링되지 않을 수 있다.

예에 따라서는, 앞서 설명한 두 가지 방식이 결합되고, STSA 픽처를 SAP 픽처로서 마킹하는 정보가 이 두 가지 방식을 구별할 수 있는데, 예컨대 STSA 픽처를 각 방식에 특유한 STSA 타입을 사용하여 마킹함으로써 구별할 수 있다.

시간적 레이어들은 디코더(17)에 제공되는 비디오 스트림(15)의 확장성(scalability)을 제공할 수 있다. 예를 들어, 디코더(20)는 SAP 픽처(예컨대 STSA 픽처(38))로부터 시작하여 예컨대 제1 트랙(61)에 추가하여 트랙(예컨대 제2 트랙(62))의 디코딩을 시작할 수 있다. STSA 픽처(38)를 SAP 픽처로서 마킹하는 것에 기초하여, 파일 파서(10)는 디코더(17)가 STSA 픽처(38)로부터 제2 트랙(61)의 디코딩을 시작할 수 있다는 것을 인식하고, 이후에 SAP 픽처로 표시된 STSA 픽처(38)부터 비디오 비트스트림(15)의 제2 트랙(62)의 샘플들 즉, 픽처들을 제공할 수 있다. 즉, 파일 파서(10)는 디코딩 및/또는 프리젠테이션 순서에서 SAP 픽처로 마킹된 STSA 픽처(38)를 따르는 모든 픽처들을 포함시킬 수 있다. 이것은 STSA 픽처(38)가 속하는 제2 트랙의 상위 서브레이어들의 모든 픽처들을 포함할 수 있다.

예를 들어, 소정의 트랙(62)은 제1 트랙(61)에 의존하는 종속 트랙이며, 제1 트랙(61)은 제2 트랙인 소정의 트랙(62)이 속하는 트랙들 세트의 추가적인 트랙으로 지칭될 수 있다. 도 17에 도시된 바와 같이, 추가적인 트랙(61)은 추가적인 시간적 레이어들 그룹과 연관되어 있고, 제1 시간적 레이어들 그룹에 포함되는 서브레이어들은 계층적으로 제2 시간적 레이어들 그룹의 서브레이어들의 하위에 있으며, 제2 시간적 레이어들 그룹은 소정의 트랙(62)와 연관되어 있다.

예들에서, 파일 생성기(20)는 도 17에 도시된 바와 같이, 파일(8)의 최하위 시간적 레이어 즉, 시간적 서브레이어(71)에 있는 랜덤 액세스 포인트(RAP) 픽처를 SAP 픽처로서 마킹할 수 있다. 본 발명의 제3 양태의 일 예에 따르면, 참조부호(41)로 표시된 RAP 픽처는, STSA 픽처(38)가 SAP로 표시되는 샘플 타입으로서 다른 샘플 타입 예컨대 NAL 유닛 타입을 사용하여, SAP 픽처로서 마킹될 수 있다.

본 발명의 제3 양태의 실시예에 따르면, 도 1의 파일 파서(10)는 픽처를 가능한 스트림 액세스 포인트로서 마킹하는 정보를 도출할 수 있고, 마킹된 픽처를 스트림 액세스 포인트로 사용할 수 있다. 예를 들어, 파일 파서(10)는 스트림 액세스 포인트로 마킹된 픽처(38)와 연관된 소정의 트랙(62)과 연관된 픽처들의 포워딩을 앞으로 스트림 액세스 포인트로 마킹되는 픽처(38)부터 시작할 수 있다. 즉, 예를 들어 파일 파서는 SAP 픽처(38)와 SAP 픽처(38)를 뒤따르는 소정의 트랙(62)의 모든 픽처들을 프리젠테이션 순서 또는 디코딩 순서대로 전달할 수 있다.

예들에서, 위에서 언급된 STSA 타입 3의 경우에, 파일 파서(10)는 픽처(42)를 디코딩할 비디오 비트스트림(15)으로 전달하는 것에서 제외하고/하거나 픽처(42)가 디코딩되지 않게 할 수 있다. 예를 들어, 파일 파서(10)는 픽처(42)가 출력되지 않게 처리할 수 있다. 또한, 예에 따라서 파일 파서(10)는 디코딩이 픽처(42)에 의존하는 픽처들을 전달 또는 디코딩으로부터 제외시킬 수 있다.

다시 말해서, VVC의 간단한 확장성 변형예는 시간적 확장성이다. 그와 같은 경우, layer_id는 같지만 temporal_id들은 다른 NAL 유닛들, 즉 서브-레이어들만이 있게 된다. VVC 비트스트림에서 코딩된 레이어의 시간적 서브레이어들이 개별 ISOBMFF 트랙에 배치될 때, STSA 픽처들은 스트림 액세스 포인트 역할을 할 수 있다. 즉, 디코더는 이후에 STSA 샘플부터 트랙의 디코딩을 시작할 수 있다.

예를 들어, 도 17에 따르면, 하위 2개의 시간적 서브레이어들 0 및 1은 단일 트랙 0에 공동으로 포함되는 반면, 상위 2개의 시간적 서브레이어들 2 및 3은 단일 트랙 1에 공동으로 포함된다. 트랙 0의 시작 부분에 있는 IDR 픽처를 타입 1 또는 2의 스트림 액세스 포인트(SAP)로 표시하여, 디코더가 지금부터 트랙 디코딩을 시작할 수 있음을 FF 파서가 알 수 있게 하는 것이 최신 기술이다.

그렇지만, 트랙의 비-RAP 샘플 SAP도 나타낼 수 있는지, 예를 들어 상기 예에서 디코딩 순서상의 첫 번째 STSA(프레젠테이션 시간 2번째, 디코딩 시간 3번째)가 SAP를 나타낼 수 있는지가 분명하지 않다. 그러므로 본 발명은 트랙에서 최하위 시간적 서브레이어(예에서 서브레이어 2)에 속하는 STSA 샘플들을, 트랙에서 디코딩 순서상 뒤따르는 각 상위 시간적 서브레이어(서브레이어 3)의 모든 첫 번째 샘플들(프레젠테이션 시간 1번째, 디코딩 시간 4번째)도 STSA 타입이라는 조건 하에서, 스트림 액세스 포인트로 마킹한다. 이와 같은 경우들은 SAP 타입 1 또는 SAP 타입 2에 해당한다. 본 발명의 다른 부분은 트랙에서 최하위 시간적 서브레이어(예에서 서브레이어 2)에 속하는 STSA 샘플들을, 트랙에서 프리젠테이션 시간상 뒤따르는 각 상위 시간적 서브레이어(서브레이어 3)의 모든 첫 번째 샘플들도 STSA 타입이라는 조건 하에서, 스트림 액세스 포인트로 마킹하는 것이다. 이 경우는 SAP 타입 3에 해당한다.

스트림 액세스 포인트(SAP)는 미디어 스트림의 컨테이너에 대한 랜덤 액세스를 가능하게 해준다. SAP는 파일 포맷에서 'sidx'(세그먼트 인덱스) 박스를 사용하여 표시될 수 있는 식별된 미디어 스트림의 재생을 가능하게 하는 컨테이너에서의 위치이다. 'sidx' 박스는 파일 내에서의 바이트 범위를 나타내고, 파일 내 위치가 어떤 SAP 타입에 해당하는지를 표시한다. 또한 샘플들을 속하는 샘플 그룹에 매핑시키는 테이블에 의해 유사한 정보가 제공될 수도 있다. 'sap' 타입의 샘플 그룹이 상이한 타입들 1,2,3…과 함께 사용될 수 있다.

SAP는 스트리밍에도 사용할 수 있다. 예를 들어, SAP는 DASH 스트리밍에 사용될 수 있는데, 여기서 랜덤 액세스 또는 DASH의 한 표현에서 다른 표현으로의 전환이 대개 SAP 위치에서 행해진다. DASH에서의 매니페스트 즉, MPD는 세그먼트들이 주어진 SAP로 시작하는지 여부를 표시하여 DASH 클라이언트가 이에 대응할 수 있도록 한다. 어떤 경우든, 'sidx' 박스 정보와 MPD 정보는 균등한데, 주어진 타입의 SAP들에 해당하는 비트스트림 내 위치들을 표시하기 때문이다.

NAL 유닛 타입	ISOBMFF 동기화 샘플 상태	DASH SAP 타입
STSA	Tid가 트랙의 가장 작은 Tid와 같고, 디코딩 순서상 뒤따르는 추가적인 서브레이어의 첫 번째 샘플이 STSA 유형이면 참임. 다른 트랙에 의존하기 때문에, 대안으로서 이들 샘플은 달리, 예컨대 종속 동기화 샘플로 마킹될 수 있음.	2 (STSA에 프리젠테이션 순서상 앞서고 디코딩 순서상 뒤따르는 픽처들이 있고, 디코딩 순서상 추가적인 서브레이어들 각각의 첫 번째 후속 샘플이 STSA 타입인 경우) 1 (STSA에 프리젠테이션 순서상 앞서고 디코딩 순서상 뒤따르는 픽처들이 없고, 디코딩 순서상 추가적인 서브레이어들 각각의 첫 번째 후속 샘플이 STSA 타입인 경우) 3 (STSA에 프리젠테이션 순서상 앞서고 디코딩 순서상 뒤따르는 픽처들이 있고, 프리젠테이션 순서상 추가적인 서브레이어들 각각의 첫 번째 후속 샘플이 STSA 유형이며, 디코딩 순서상 추가 서브레이어들 각각의 첫 번째 다음 샘플들이 모두 STSA 타입인 것은 아닌 경우)

이는 ISOBMFF에서 STSA가 트랙 내에서 가장 작은 Tid를 가지고 있고 상기 표에 설명한 바와 같이 디코딩 순서 또는 프리젠테이션에 있어 각 추가적인 서브레이어의 첫 번째 후속 샘플이 STSA 타입인 한, STSA가 타입 1 또는 2 또는 3의 SAP 타입으로 시그널링될 수 있음을 의미한다.

도 18은 일 실시예에 따른 클라이언트(90)를 보여주는데, 도면에서 상기 클라이언트(90)는 도 1의 파일 파서(10) 및 디코더(17)와 함께 도시되어 있다. 클라이언트(90)는 파일 파서(10) 및/또는 디코더(17)를 포함하는 장치의 일부일 수 있거나, 별도로 구성되어 파일 파서(10)와 통신하도록 구성될 수 있다. 예를 들어, 클라이언트(90)는 본 발명의 양태들 중 어느 하나와 관련하여 설명한 바와 같이 서버로부터 파일(8)을 읽어들이고, 예컨대 스트리밍 시나리오에서, 상기 파일(8)을 파일 파서(10)에 제공할 수 있다. 클라이언트(90)는 매니페스트 파일(5), 예컨대 MPEG-DASH 스트리밍의 경우 MPD 파일을 서버로부터 받아들일 수 있다. 매니페스트 파일(5)은 서버로부터 다운로드 가능한 미디어 표현에 대한 하나 이상의 정의, 예컨대 비디오 시퀀스의 비디오 비트스트림에 대한 하나 이상의 선택지를 포함할 수 있다. 예를 들어, 상이한 선택지들은 도 1과 관련하여 설명된 바와 같이 비트율, 프레임율, RoI 즉 서브-픽처가 다를 수 있다. 파일 파서(10)는 비트스트림 즉, 비디오 시퀀스의 하나 이상의 서브스트림을 포함하는 비디오 스트림에 대한 한 가지 가능한 선택지를 선택하고, 선택된 비트스트림의 표시(92)를 송신할 수 있다. 클라이언트(90)는 선택된 비디오 스트림에 기초하여 매니페스트 파일(5)에 표시된 미디어 표현들 중 어느 것을 서버로부터 다운로드 할지 결정할 수 있고, 선택된 미디어 표현을 포함하는 파일(8)을 다운로드할 수 있다. 예를 들어, 파일(8)은 파일 파서(10)에 의해 선택된 비디오 스트림에 필요한 트랙들만을 포함할 수 있다.

예를 들어, 미디어 표현은 설명 데이터(14), 예컨대 트랙 종속성, 레이어들 및/또는 시간적 레이어들 간의 종속성을 설명하는 파라미터 세트들의 적어도 일부를 나타낼 수 있다. 다시 말해서, 매니페스트 파일은 하나 이상의 트랙, 레이어, 및/또는 시간적 레이어를 표시함으로써 미디어 표현을 정의할 수 있다.

매니페스트 파일은 적어도 미디어 표현들 집합에 대한 제1 정의(6)를 포함할 수 있고, 선택적으로 미디어 표현 세트 집합, 예컨대 제1 정의(6)에서 정의된 집합의 미디어 표현들(즉, 소정의 미디어 표현) 중 하나의 하위 표현들의 집합에 대한 제2 정의(8)를 포함할 수 있다.

특히, 매니페스트 파일(8)은 미디어 표현들 중 하나에 대한 세그먼트들의 표시를 포함할 수 있으며, 상기 세그먼트들은 하나의 미디어 표현(예컨대, 소정의 미디어 표현)의 디코딩을 시작(또는 디코딩으로의 전환)하기 위한 스트림 액세스 포인트를 포함한다. 세그먼트는 비디오 스트림이 나타내는 비디오 시퀀스의 서브-시퀀스를 참조할 수 있다. 특히, 매니페스트 파일은 본 섹션에서 설명한 STSA 픽처들을 포함하는 세그먼트들을 표시할 수 있다.

매니페스트 파일에 SAP 픽처들의 위치를 표시하면, 스트림 액세스 포인트에 선행하는 픽처들의 다운로드가 방지될 수 있으므로 클라이언트가 디코딩가능한 데이터를 선택적으로 다운로드할 수 있다. 다시 말해서, 비디오 스트림의 전환이 요망될 때, 클라이언트는 SAP가 표시될 때까지 대기하면서 연관된 미디어 표현을 다운로드할 수 있다.

4. 도 19 및 도 20에 따른 파일(8), 파일 생성기(20), 및 파일 파서(10)

도 19는 제4 양태의 일 예에 따른 파일(8)을 보여준다. 파일(8)은 트랙들 그룹(81)으로 독립적으로 코딩된 복수의 비디오 서브-스트림들을 포함한다. 예를 들어, 트랙 그룹(81)은 파일(8)의 트랙들 세트의 서브-그룹일 수 있다. 도 19의 예에서, 상기 복수의 비디오 서브-스트림들은 제1 트랙(83)에 코딩된 제1 비디오 서브-스트림과, 제2 트랙(82)에 코딩된 제2 비디오 서브-스트림을 포함한다. 제1 및 제2 비디오 서브-스트림들은 독립적으로 코딩되어, 제1 및 제2 서브-스트림들 각각은 서로 독립적으로 디코딩될 수 있다. 더욱이, 제1 트랙(83) 및 제2 트랙(82)의 제1 및 제2 서브-스트림들은 함께 디코딩될 수 있다. 예를 들어, 제1 서브-스트림 및 제2 서브-스트림은 제1 서브-스트림 및 제2 서브-스트림을 포함하는 함께 디코딩된 비디오 스트림으로부터 도출 가능한 픽처들 시퀀스의 상보적인 서브-픽처들을 나타낼 수 있다. 제1 및 제2 서브-스트림들은 둘 다 각각의 서브-스트림들의 픽처들 즉, 그들 각각의 서브-스트림들의 이전 픽처들로부터 독립적으로 코딩된 제 1 및 제 2 서브스트림의 조인트 픽처의 서브-픽처들을 포함한다. 따라서 디코더는 도 19에서 참조부호 8을 사용하여 표시된 각각의 독립적으로 코딩된 픽처들로부터 각각의 서브스트림을 디코딩하기 시작할 수 있다. 예를 들어, 독립적으로 코딩된 픽처는 인트라-코딩된 픽처, 예컨대 인트라-코딩된 랜덤 액세스 픽처(RAP)이다. 제1 트랙(83) 및 제2 트랙(82)의 제 1 서브스트림 및 제 2 서브스트림의 각각의 독립적으로 코딩된 픽처들은 반드시 서로 시간적으로 정렬될 필요는 없다. 예를 들어, 제1 트랙(83) 및 제2 트랙(82)의 독립적으로 코딩된 픽처들을 일시적으로 정렬하지 않음으로써 상이한 시간 프레임들에 높은 비트레이트가 분배되도록 하는 것이 유리할 수 있다. 제1 및 제2 서브-스트림들의 공동 복호화에서, 이전 픽처에 의존하지 않는 조인트 픽처는 제1 및 제2 서브-스트림들 모두에 대한 독립적으로 코딩된 서브-픽처를 필요로 할 수 있다. 따라서 디코더 리프레시 즉, 제1 및 제2 서브-스트림들을 포함하는 조인트 픽처의 전체 픽처 영역을 커버하는 독립적으로 코딩된 픽처의 이용가능 상태가 두 서브-스트림들의 독립적으로 코딩된 픽처의 디코딩 전에 완성되지 않을 수 있다. 따라서 디코더 리프레시가 완료된 후의 시구간의 시간 길이는 제1 및 제2 서브-스트림들의 독립적으로 코딩된 픽처들 사이의 시간적 거리에 의해 결정될 수 있다. 섹션 4의 실시예들은 제4 양태를 실시할 수 있다.

파일 생성기(20)는 디코더 리프레시가 완료된 후의 시구간의 시간 길이(도 19의 참조부호 85)를 결정할 수 있고, 파일(8)에 각각의 정보(91)을 통합함으로써 파일(8) 내에 제1 및 제2 서브-스트림들의 공동 디코딩을 위한 시간 길이(85)를 표시할 수 있다. 결과적으로, 파일(8)은 제1 및 제2 서브-스트림들의 공동 디코딩을 위한 시간 길이(85)의 표시(91)를 포함할 수 있다.

예를 들어, 정보(91)는 다수의 픽처들 또는 샘플들에서의 시간 길이(85)를 나타낼 수 있으며, 여기서 상기 픽처들 또는 샘플들의 개수는 예컨대 각각의 서브-그룹의 어느 한 트랙의 IRAP 픽처들로부터 시작하여 (순방향 또는 되감기 방향의) 디코딩 순서에 따라 연이어진 바로 연속된 픽처들의 개수를 나타낼 수 있고, 상기 개수의 연속된 픽처들에 대하여, 각각의 서브 그룹의 각기 다른 트랙에서 다수의 바로 연속된 픽처들 중 어느 하나와 같은 시간인 적어도 하나의 IRAP 픽처가 존재하는 개수를 말한다.

파일 생성기(20)는 상기 시간 길이(85)를 결정할 수 있다. 예를 들어, 파일 생성기(20)는, 트랙의 그룹(81)에 대하여, 각각의 트랙들 서브-그룹에 분배되는 비디오 서브-스트림들(82, 83)의 IDR 픽처들을 찾아서, 시간 길이(85)를 결정할 수 있다. 대안으로서, 파일 생성기(20)는 인코더 또는 파일 설계기로부터 그와 같은 정보를 획득할 수 있다.

도 20은 본 발명의 제4 양태의 추가적인 실시예에 따른 파일(8)의 다른 예를 보여준다. 도 20의 파일(8)은, 예컨대 점진적 디코더 리프레시(GDR)를 구현함으로써, 서브-스트림들의 리프레시가 서브-스트림의 복수의 픽처들에 걸쳐 분산된다는 점에서 도 19의 파일과 상이하다. 즉, 리프레시가 분산되는 복수의 픽처들 각각은 이전 픽처들로부터 독립적으로 코딩된 픽처 부분(87)을 포함할 수 있다. 따라서 픽처들이 독립적으로 코딩된 부분의 높은 데이터 볼륨이 서브-스트림들의 복수의 픽처들에 걸쳐서 분포된다. 도 20의 예에 따르면, 제1 트랙(83)의 서브-스트림의 리프레시는 제1 기간(84)에 픽처들에 걸쳐 분포된 반면, 제2 트랙(82)의 서브-스트림의 서브-픽처의 리프레시는 기간(86)의 복수의 서브-픽처들에 걸쳐 분포되며, 기간(86)은 기간(84)와 다르다. 도 20에 도시된 바와 같이, 기간(84)와 기간(86)은 중첩되지 않을 수 있다. 제1 트랙(83) 및 제2 트랙(82)의 제1 및 제2 서브-스트림들을 포함하는 공통 디코딩 스트림의 완전한 리프레시가 이루어지는 시간 길이(85)는 개별 서브-스트림들이 완전히 리프레쉬되는 적어도 하나의 기간(84) 및 기간(86)을 포함한다.

예를 들어, 도 20의 예에서는 상기 정보(91)가 각각의 서브-그룹의 어느 한 트랙의 GDR 사이클들의 픽처들로부터 시작하여 (순방향 또는 되감기 방향의) 디코딩 순서에 따라 연이어진 다수의 바로 연속된 픽처들의 시간 길이를 나타낼 수 있으며, 여기서 상기 개수의 연속된 픽처들에 대하여, 각각의 서브 그룹의 각기 다른 트랙에서 모든 픽처들이 바로 연속된 픽처들 중 어느 하나와 같은 시간인 적어도 하나의 GDR 사이클이 존재하는 개수를 말한다.

파일 생성기(20)는 상기 시간 길이(85)를 결정할 수 있다. 예를 들어, 파일 생성기(20)는, 트랙의 그룹(81)에 대하여, 각각의 트랙들 서브-그룹에 분배되는 비디오 서브-스트림들(82, 83)의 GDR 픽처들을 찾아서, 시간 길이(85)를 결정할 수 있다. 대안으로서, 파일 생성기(20)는 인코더 또는 파일 설계기로부터 그와 같은 정보를 획득할 수 있다.

파일 파서(10)는 파일(8)로부터 정보(91)를 읽어들이고, 그 정보를 하나 이상의 서브-그룹 간의 공동 디코딩을 전환할 때를 결정하기 위한 결정 기초로 사용하거나, 외부 장치가 상기 시간 길이를 하나 이상의 서브-그룹들 간의 공동 디코딩을 전환할 때를 결정하기 위한 결정 기초로서 이용할 수 있도록 할 수 있다. 예를 들어, 정보(91)는 파일 파서(10)가 비디오 비트스트림(15)에서 2개의 서브-스트림들(82, 83) 중 하나만을 전달하는 것에서 둘 모두를 공동으로 전달하는 것으로 전환하는 위치를 결정하는데 사용될 수 있다.

위에서 언급한 점진적 디코더 리프레시(GDR) 접근법은 인트라-코딩된 랜덤 액세스 픽처의 비트율 피크를 다수의 N개의 연속된 픽처들에 걸쳐 확산시키는데 사용된다. 이와 같은 비트스트림에 랜덤 액세스할 때, 디코더는 올바르게 복원된 픽처가 제공되기 전에 그와 같은 GDR 주기(예컨대, 매 IRAP-거리-번째 시간적 거리마다 발생하는 소위 GDR 픽처인 것으로 표시됨)의 시작 시점부터 N개의 프레임들을 디코딩해야 한다.

통상적으로, N 프레임 기간은 롤 거리 파라미터(roll distance parameter)(파일 포맷) 또는 POC(Picture Order Count) 정보(VVC 구문의 recoveryPOC)로 전달된다. 참고로, 비디오 신호의 롤 거리 파라미터에 대한 파일 포맷 구문이 복제되어 아래에 인용되어 있는데, 이 구문은 트랙 내에 있는 한 개의 샘플 그룹에 대해 설명하고 시그널링한다.

VisualRollRecoveryEntry는 동기화 샘플들의 대안인 스트림들에 대한 엔트리 포인트를 인에이블시키는 샘플들을 문서처럼 정리한 것이다.

roll_distance는 샘플이 올바르게 디코딩될 수 있도록 하기 위해 디코딩되어야 하는 샘플 개수를 제공하는 부호 있는 정수이다. 양수 값은, 복원의 마지막에서 완결될 수 있도록 즉 마지막 샘플이 정확하도록 디코딩되어야 하는, 그룹 구성원인 샘플 이후의 샘플들의 개수를 나타낸다. 음수 값은, 마킹된 샘플에서 복원이 완료될 수 있도록 디코딩되어야 하는, 그룹 구성원인 샘플 이전의 샘플들의 개수를 나타낸다. 0 값은 사용하면 안되고; 동기화 샘플 테이블은 복원 롤이 필요하지 않은 랜덤 액세스 포인트들을 문서처럼 정리한 것이다.

그렇지만, 그와 같은 비트스트림의 코딩된 픽처들이 공간적 분할(예: 상하 서브-픽처들)을 허용하고 파일 포맷의 상이한 트랙에 분포하며, 도 19에 도시된 바와 같이 각 트랙이 시간적으로 상이한 샘플들(예컨대, N과 N+16)에서 인트라-코딩된 랜덤 액세스 픽처들의 속성들을 가진다고 상상해보자. 공동 롤 거리 파라미터의 인식은 플레이어에게 사소한 것이 아니다. 이들 트랙들 중 여러 개가 함께 재생되어 단일 비트스트림을 생성할 때, 파일 포맷에서의 파일 포맷 롤 거리의 시그널링이 트랙마다 다르기 때문에 비트스트림의 속성을 쉽고 정확하게 기술하는 것은 가능하지 않다. 각 트랙을 파싱하여 실질적인 이유로 바람직하지 않은 관련 정보를 도출하는 것이 가능하다는 것은 분명하다.

여러 트랙을 함께 재생할 때 GDR 속성을 달성하는 방법으로서 위에서 설명한 간단한 방법은 원래부터 트랙들이 GDR 포인트는 없이 정렬되지 않은 IDR만 있게 하는 것이다. 함께 재생될 때, 해당 비트스트림은 GDR 속성을 갖게 되며, 여기서 모든 트랙들이 해당 영역에 대한 IDR을 얻게 되면, roll_distance는 포함된 트랙들/영역들에 대해 가장 떨어져 있는 IDR 사이의 거리와 같다.

일 실시예에서는, 일반적인 최악의 경우의 롤 거리를 표시하는 트랙 그룹 박스 타입이 정의된다. 따라서 파서는 탐색할 때 roll_distance가 탐색 시간보다 빠른 IDR을 찾기만 하면 되며, 모든 트랙에 대한 파싱이 시작될 수 있다.

track_group_type은 그룹핑 타입을 나타내며, 다음 값들 중 하나, 또는 등록된 값, 또는 도출된 사양 내지 등록정보의 값으로 설정된다.

'cwrd'는 이 트랙이, 일반적인 최악의 경우의 롤 거리가 재생될 때의 common_worstcase_roll_distance와 같은, track_group_id 값을 동일하게 가지는 트랙들 그룹에 속함을 표시한다.

위에서 설명한 시나리오에서, 개별 트랙에는 roll_distance 파라미터가 없다. 또 다른 시나리오는 개별 서브-픽처 내에 GDR 기능도 구비되어, 인트라 데이터가 각 서브-픽처 트랙 내의 단일 픽처보다 더 긴 지속시간에 걸쳐 확산되고, 이 섹션의 시작 부분에서 설명한 바와 같이 각 서브-픽처 트랙이 샘플 그룹 시그널링마다 개별 roll_distance 파라미터를 전달한다. 더욱이, 각 서브-픽처별 GDR 주기의 시작은 영역마다 상이한 시간적 인스턴스에서 발생한다. 예를 들어, 상기 예에 기초하여, 도 20은 두 개의 서브-픽처(상하 서브-픽처)를 가지고 각 서브-픽처에서 개별적으로 GDR을 사용하는 설정을 보여주는데, 예를 들어 이 GDR 예는 상하 서브-픽처들을 가지고 있고 서브-픽처들 각각은 GDR 주기의 시작이 상이하다. 두 서브-픽처들은 32 프레임의 동일한 IRAP 거리를 가지며, 서브-픽처별로 개별적으로 고려할 때 롤 거리 파라미터는 더 작은 수 예컨대 16 프레임이다. 이 설정에서, 상부 서브-픽처의 GDR 주기의 시작은 하부 서브-픽처의 GDR 주기가 시작된 후 16 프레임이 경과되었을 때 발생하며 이에 따라, 예컨대 공동 디코딩의 경우에, 전체적으로 볼 때 32 프레임의 전체 IRAP-거리 구간에 걸쳐서 IRAP/인트라 오버헤드가 균등하게 확산되며, 이 값이 도 20에서 공동 롤 거리 파라미터(joint roll distance parameter)로 표시되어 있다.

그렇지만, 예를 들어 MPEG OMAF 뷰포트 종속 프로필을 사용하여 360도 비디오 스트리밍을 하는 경우에서와 같이, 그와 같은 독립된 영역들 내지 서브-픽처들이 별도의 트랙에 배치되는 경우, FF 구문에 표시하거나 함께 재생되어야 할 트랙들에 걸쳐 그와 같은 공동 롤 거리 파라미터를 쉽게 도출하는 것은, 심층적인 트랙 내지 비트스트림 파싱 및 분석의 경우를 제외하면, 현재 가능하지 않다. 그렇지만 후자 즉 함께 재생되어야 할 트랙들에 걸쳐 공동 롤 거리 파라미터를 도출하는 것은 실용성이 없어서 시스템에서 회피해야 한다.

그러므로 일 실시예에서는 동일한 트랙들 그룹에 있는 트랙들 세트가 재생될 때에 대하여 공동 롤 거리 파라미터를 표시하는 것이 본 발명의 일부이다. 이 시그널링은 단일-트랙-재생 롤 거리 파라미터에 대한 보통의 샘플 그룹 시그널링을 보강하는 추가적인 샘플 그룹 시그널링에 의하여 행해질 수 있다.

track_group_id는, 트랙 그룹 식별자가 track_group_id와 같은 트랙들이 재생될 때, 표시된 롤 거리가 적용되는 트랙 그룹 식별자 값이다.

common_roll_distance는, track_group_id와 동일한 트랙 그룹 식별자를 가진 트랙 그룹의 트랙들이 재생될 때 샘플이 올바르게 디코딩될 수 있도록 하기 위해 디코딩되어야 하는, track_group_id와 동일한 트랙 그룹 식별자를 가진 트랙 그룹의 모든 트랙들로부터의 샘플 개수를 제공하는 부호있는 정수이다. 양수 값은, 복원의 마지막에서 완결될 수 있도록 즉 마지막 샘플이 정확하도록 디코딩되어야 하는, 그룹 구성원인 샘플 이후의 샘플들의 개수를 나타낸다. 음수 값은, 마킹된 샘플에서 복원이 완료될 수 있도록 디코딩되어야 하는, 그룹 구성원인 샘플 이전의 샘플들의 개수를 나타낸다. 0 값은 사용하면 안되고; 동기화 샘플 테이블은 복원 롤이 필요하지 않은 랜덤 액세스 포인트들을 문서처럼 정리한 것이다.

5. 도 21에 따른 파일 생성기(20), 파일 파서(10) 및 파일(8)

도 21은 도 1의 파일 파서(10)에 선택적으로 상응할 수 있는 파일 파서(10)의 일 예를 도시한 것이다. 도 21은 파일 파서(10)를 비디오 디코더(17) 및 비디오 플레이어(21)와 함께 보여준다. 파일 파서(10), 비디오 디코더(17) 및 비디오 플레이어(21)는 서로 별도로 구현될 수도 있고, 하나의 장치 내에서 구현될 수도 있다. 파일 파서(10)는 비디오 비트스트림이 삽입된 파일(8)을 수신하도록 구성된다. 파일(8)은 비디오 비트스트림이 적어도 부분적으로 삽입된 트랙(13)을 포함한다. 파일 파서(10)는, 비디오 비트스트림이 코딩된 픽셀 종횡비가 시간적으로 변하는지 여부를 표시하는 정보인, 트랙(13)에 대한 정보를 파일(8)로부터 도출하도록 구성된다. 섹션 5의 실시예들은 본 발명의 제5 양태를 구현할 수 있다.

도 21에 예시적으로 도시된 바와 같이, 비디오 비트스트림은 제1 픽셀 종횡비로 코딩된 제1 샘플(11¹)과 제2 픽셀 종횡비로 코딩된 제2 샘플(11²)을 포함할 수 있다. 결과적으로, 비디오 비트스트림(15)으로부터 비디오 디코더(17)에 의해 디코딩되어 도 1과 관련하여 설명한 바와 같이 파일 파서(10)에 의해 비디오 디코더(17)에 제공될 수 있는 디코딩된 픽처들(26)의 종횡비는 디코딩되는 픽처가 그로부터 디코딩되는 샘플들의 픽셀 종횡비에 의존할 수 있다. 비디오 플레이어(25)는 디코딩된 픽처들을 디스플레이와 같은 출력장치에 제공하기 전에 디코딩된 픽처들(26)의 리샘플링(23)을 수행할 수 있다. 리샘플링(23)은 디코딩된 픽처들(26)의 상이한 종횡비를 설명할 수 있다.

선택적으로, 파일 파서(10)는 디코딩된 픽처들의 종횡비에 대한 표시(28)를 예컨대 API를 통해서 직접 비디오 플레이어(21)에 제공할 수 있다. 대안으로서, 파일 파서(10)는 상기 정보를 비디오 비트스트림(15)으로 제공할 수 있다.

예를 들어, 파일 파서(10)는 상기 정보와, 픽셀 종횡비가 변경되는지 여부를 파일(8)의 설명 데이터로부터 도출할 수 있다. 예를 들어, 상기 설명 데이터는 트랙(13)과 연관되어 있을 수 있다. 예를 들어, 상기 설명 데이터는 픽셀 종횡비가 변하는 위치에 있는 하나 이상의 샘플을 표시할 수 있거나, 픽셀 종횡비를 표시하기 위하여 각 샘플(11)을 샘플 그룹과 연관시킴으로써 예컨대 테이블을 시그널링함으로써 샘플들(11) 각각에 대한 픽셀 종횡비를 표시할 수 있다. 예를 들어, 파일 파서(10)는 각 샘플을 픽셀 종횡비에 연관시키는 그와 같은 샘플 그룹 또는 테이블을 검사함으로써 픽셀 종횡비가 변경되는지 여부를 도출할 수 있다. 일 예에 따르면, 샘플 그룹 또는 테이블에 표시된 픽셀 종횡비에 대한 디폴트 값은 픽셀 종횡비가 변경되지 않음을 표시한다.

따라서 파일 파서(10)는, 비디오 비트스트림의 각 픽처에 대하여, 예컨대 각 샘플에 대해 사전에 정의된 잠재적 픽셀 종횡비가 각 샘플의 위치에서 무엇인지를 알려주는 표와 같이, 각각의 픽처에 대해 유효한 픽셀 폭과 픽셀 높이를 파일(8)로부터 도출할 수 있다.

예를 들어, 비디오 비트스트림의 각 픽처에 대하여, 각각의 픽처에 대해 유효한 픽셀 폭과 픽셀 높이는 상응하는 SEI 메시지를 통해서 파일(8)에 표시될 수 있다.

파일 생성기(20) 예컨대 도 2에 도시된 파일 생성기는 픽셀 종횡비가 변하는지 여부를 표시하는 정보를 파일(8)에 적절하게 코딩할 수 있다.

이하에서는, 픽셀 종횡비가 파일(8)에서 변하는지 여부를 표시하는 정보를 시그널링하는 몇 가지 대안들을 설명한다.

예를 들어, MPEG의 Part 12 즉, MPEG 베이스 미디어 파일 포맷(MPEG Base Media File Format)에는, 픽셀 종횡비를 나타내고 샘플 엔트리에 위치하여 트랙 내에서 일정한 값을 유지하는 'pasp' 박스가 있다. 임의의 유닛에서의 픽셀 종횡비는 다음과 같이 주어진다.

hSpacing, vSpacing: 픽셀의 상대적인 폭과 높이를 정의한다.

VVC에서 RPR을 사용하면, 픽처 크기를 픽처마다 다르게 변경할 수 있을 뿐만 아니라 픽처의 종횡비도 변경할 수 있다. 즉, 하나의 픽처에 해당하는 업샘플링/다운샘플링은 한 방향(수평으로 또는 수직으로)만 일어날 수도 있고, 상이한 비율로 양방향으로 일어날 수도 있다.

'pasp' 박스가 파일 포맷에서 선택사항이고 정보가 VVC 사양에 명시된대로 VVC 비트스트림에 포함되지만, 일부 응용예에서는 'pasp' 박스가 필수적으로 요구되고 'pasp' 박스가 비디오 특이적 시그널링을 오버라이트하게 된다.

“이들은 모두 선택사항이며; 존재하는 경우 비디오 코덱 특이적인 구조에서 선언(만약에 있다면)을 재정의하고, 이들 박스가 없다면 비디오 코덱의 구조를 검사해야 한다."

일 실시예에서, 'pasp' 박스는 픽셀 종횡비가 동적임을 나타내는 정보를 포함한다. 예를 들어, 픽셀 폭과 픽셀 높이를 각각 정의하는 기존 구문 요소 hSpacing, vSpacing을 사용하고 이 요소들을 0으로 설정함으로써 이 작업을 행할 수 있다.

hSpacing, vSpacing: 픽셀의 상대적인 폭과 높이를 정의하며; hSpacing과 vSpacing이 모두 0이면, 트랙 내의 모든 샘플에서 종횡비가 변경될 수 있음을 표시한다.

대안으로서, 픽셀 종횡비가 동적임을 나타내는 동적 픽셀 종횡비 'dpar'를 나타내는 새 박스가 포함될 수 있다.

각 픽처에 대한 정보를 전달하기 위한 한 가지 솔루션은 픽셀 종횡비가 동적인 경우 대역내에서 전달될 해당 SEI의 존재를 의무화하는 것이다. 그러므로 다른 실시예에서는, 'pasp' 또는 'dpar'가 픽셀 종횡비가 동적임을 나타낼 때, sample_aspect_ratio_info SEI 메시지가 트랙의 샘플들 내에 존재해야 한다. 즉, 파일 생성기는 이 메시지를 포함해야 한다. 결과적으로 비트스트림이 그 정보를 가지고 있어야 한다. 그리고 클라이언트는 그 정보가 비트스트림에 있다는 것과 올바른 시각적 이미지를 얻기 위해서는 그 정보가 처리되어야 함을 인식하게 된다.

다른 실시예에서는, 비디오 신호가 예컨대 VVC의 vui_aspect_ratio_constant_flag를 통해서 동적 종횡비를 가짐을 표시할 때, 'pasp' 또는 'dpar' 박스가 반드시 존재해야 한다.

일부 응용예에서는, 파일 포맷 파서가 종횡비의 변경이 발생하는 트랙에서의 샘플들도 정확히 인식할 수 있을 때 즉, 트랙의 샘플들에 언제 랜덤 액세스할지 인식할 수 있을 때, 선택적으로 표시되던 종횡비의 변경이 샘플 엔트리에 표시되면 유익할 수 있다. 그러므로 본 발명의 일 실시예에서는, 종횡비 변경을 표시하는 샘플 그룹이 정의된다. 즉, 파일은 픽셀 종횡비가 변경되는 비디오 비트스트림의 픽처들의 표시를 포함하며, 파일 생성기(20)는 픽셀 종횡비가 변경되는 비디오 비트스트림의 픽처들을 파일에 표시할 수 있다.

또한, 이러한 종횡비 변경 지점들 각각에서의 정확한 샘플 종횡비를 파일 포맷 구문으로부터 직접 인식하는 것이 파일 포맷 파서에 유용할 수 있다. 그러므로 다른 실시예에서는, 종횡비 변경을 표시하는 샘플 그룹핑은 다음과 같이 그로부터의 동일한 샘플 종횡비에 대한 정보도 포함한다. 즉, 파일 생성부(20)는 픽셀 종횡비가 변하는 비디오 비트스트림의 픽처들과 상기 픽처들로부터의 이후에 유효한 픽셀 폭 및 픽셀 높이를 표시할 수 있다. 결과적으로, 파일(8)은 그와 같은 표시를 포함할 수 있다.

hSpacing, vSpacing: 픽셀의 상대적인 폭과 높이를 정의한다.

항상 그러한 것은 아니지만, 일부 응용예에서는 픽셀 종횡비를 비트스트림 내에서 일정하게 제한하는 것이 유익할 수 있다. 이는, 샘플 종횡비를 적용할 때 출력 비디오 내에서 픽처 종횡비가 일정하게 유지될 수 있도록, 픽셀 종횡비가 정해져야 함을 의미한다. 그러므로 다른 실시예에서는, 비디오 내에서 픽처들의 업샘플링/다운샘플링에 대항하여 작용하게 하는 방식으로 픽셀 종횡비를 제한함으로써(H1.1 제1 대안) 픽처 종횡비가 일정하게 유지되는 것을 결정하기 위하여, 예컨대 브랜드를 사용하여 파일의 트랙이 마킹될 수 있다. 예를 들어, 비디오가 x:y의 샘플 종횡비로 시작하고 (비디오 디코더에서 크롭핑(cropping) 윈도우를 적용한 후) 출력 픽처 크기가 WxH이며 어떤 시점 즉, 샘플에서 출력 픽처의 크기가 W²xH로 변경되는 경우에, 크기가 다른 해당 픽처의 샘플 종횡비는 2*x:y가 된다.

이 샘플 종횡비는 일반적으로 도 21에 예시된 바와 같이 추가적인 처리를 위해 디코딩된 픽처의 속성들을 디스플레이에 알려주는데 사용된다. 아래에 보여지는 바와 같이, (비디오 디코더 이후의) 2개의 디코딩된 픽처들은 상이한 크기와 종횡비를 가질 수 있다. 디스플레이는 해당 픽처를 적절한 디스플레이 목표 크기로 재-샘플링할 수 있도록 해당 정보를 알 필요가 있다.

비디오 비트스트림에서 픽처들의 하나 이상의 종횡비 쌍에 대한 정보는, 예컨대 장치 성능과 같이 API를 통해 제공되는 특정 정보가 일치하는 트랙을 재생을 위해 선택하도록 구성되는, 장치/파일 포맷 파서에 대한 선택 기준으로 작용할 수 있다. 예를 들어, 파일 포맷 파서는 재생을 시작할 트랙을 선택할 수 있지만, 일단 트랙의 종횡비가 변경되면 다른 트랙으로 전환할 수 있다. 또는 장치/파일 포맷 파서는, 장치의 디스플레이가 그와 같은 컨텐트를 소비하지 못할 수 있으므로, 동적 픽셀 종횡비를 가지는 트랙을 파싱하지 않기로 결정할 수 있다.

더욱이, 예컨대 목표 해상도와의 관계와 같은 공통 속성 또는 추가 처리 동작을 위한 장치의 종횡비와 관련하여 종횡비 쌍 정보를 분류함으로써(예컨대, 상기 표시를 보내는 것에 추가하여 또는 그 대신에), 종횡비 쌍 정보는 일반적으로 파일 포맷 파서에서 추가적으로 처리된다. 비디오 비트스트림에 있는 픽처들의 하나 이상의 종횡비 쌍들의 추가적인 처리의 다른 예는 장치 상의 재-샘플링/업샘플링/다운샘플링 필터와 같은 이용가능한 처리 블록들에 따라서 종횡비를 그룹핑하는 것이다.

6. 추가적인 실시예들

아래에서는, 모든 이전 섹션들을 참조하여 추가적인 실시예들을 설명한다.

비록 일부 양태가 장치의 맥락에서 특징으로 설명되었지만, 그와 같은 설명은 방법의 상응하는 특징에 대한 설명으로 간주될 수도 있다. 일부 양태가 방법의 맥락에서 특징으로 설명되었지만, 그와 같은 설명은 장치의 기능에 관한 상응하는 특징의 설명으로 간주될 수도 있다.

방법 단계들의 일부 또는 전부는 예를 들어 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 사용하여) 실행될 수 있다. 일부 실시예에서, 가장 중요한 방법 단계들 중 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.

본 발명의 인코딩된 영상 신호 또는 파일은 디지털 저장 매체에 저장되거나 무선 전송 매체 또는 인터넷과 같은 유선 전송 매체와 같은 전송 매체를 통해 전송될 수 있다.

어떤 구현 요건들에 따라서는, 본 발명의 실시예들이 하드웨어로 또는 소프트웨어로 또는 적어도 부분적으로 하드웨어로 또는 적어도 부분적으로 소프트웨어로 구현될 수 있다. 구현은 전자적으로 판독가능한 제어신호들이 저장되어 있고 각각의 방법이 수행될 수 있도록 프로그래밍 가능한 컴퓨터 시스템과 협력하는(또는 협력할 수 있는) 디지털 저장 매체, 예컨대 플로피 디스크, 디지털 비디오 디스크(DVD), 블루레이(Blu-Ray), 컴팩트 디스크(CD), 롬(ROM), 프로그래머블 롬(PROM), 삭제기록 가능형 롬(EPROM), 전기적 삭제기록 가능형 롬(EEPROM) 또는 플래시 메모리를 사용하여 이루어질 수 있다. 그러므로 디지털 저장 매체는 컴퓨터 판독 가능할 수 있다.

본 발명에 따른 일부 실시예들은 전자적으로 판독가능한 제어신호를 갖는 데이터 캐리어를 포함하고, 이 데이터 캐리어는 본 명세서에서 설명한 방법들 중 하나가 수행될 수 있도록 프로그램 가능한 컴퓨터 시스템과 협력할 수 있다.

일반적으로, 본 발명의 실시예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 상기 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때 방법들 중 하나를 수행하기 위하여 동작할 수 있다. 상기 프로그램 코드는 예컨대 기계 판독 가능한 캐리어에 저장될 수 있다.

다른 실시예들은 기계 판독 가능 캐리어에 저장되어 있고 본 명세서에서 설명한 방법들 중 하나를 수행하는 컴퓨터 프로그램을 포함한다.

다시 말해서, 본 발명에 의한 방법의 실시예는 컴퓨터 프로그램이 컴퓨터에서 실행될 때 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.

그러므로 본 발명에 의한 방법들의 추가적인 실시예는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 기록되어 있는 데이터 캐리어(또는 디지털 저장 매체 또는 컴퓨터로 판독가능한 매체)이다. 상기 데이터 캐리어, 디지털 저장 매체, 또는 기록 매체는 일반적으로 유형의 매체 그리고/또는 비일시적 매체이다.

그러므로 본 발명에 의한 방법의 추가적인 실시예는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 내지 신호 시퀀스이다. 데이터 스트림 내지 신호 시퀀스는 예컨대 인터넷을 통한 데이터 통신 연결을 통해 전송되도록 구성될 수 있다.

추가적인 실시예는 본 명세서에서 설명한 방법들 중 하나를 수행하도록 구성되거나 적합화된 처리 수단, 예컨대 컴퓨터 또는 프로그래밍 가능한 논리 장치를 포함한다.

추가적인 실시예는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.

본 발명에 따른 추가적인 실시예는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 수신기에 (예컨대, 전자적으로 또는 광학적으로) 전송하도록 구성된 장치 또는 시스템을 포함한다. 수신기는 예컨대 컴퓨터, 모바일 장치, 메모리 장치 등일 수 있다. 상기 장치 또는 시스템은 예컨대 컴퓨터 프로그램을 수신기로 전송하기 위한 파일 서버를 포함할 수 있다.

일부 실시예들에서는, 프로그래밍 가능한 논리 장치(예컨대, 필드 프로그래머블 게이트 어레이)를 사용하여 본 명세서에서 설명한 방법들의 기능 중 일부 또는 전부를 수행할 수 있다. 일부 실시예들에서, 필드 프로그래머블 게이트 어레이는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위하여 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법들은 바람직하기로는 어떤 하드웨어 장치에 의해 수행된다.

본 명세서에서 설명한 장치는 하드웨어 장치를 사용하여 또는 컴퓨터를 사용하여, 또는 하드웨어 장치와 컴퓨터의 조합을 사용하여 구현될 수 있다.

본 명세서에서 설명한 방법들은 하드웨어 장치를 사용하여 또는 컴퓨터를 사용하여, 또는 하드웨어 장치와 컴퓨터의 조합을 사용하여 수행될 수 있다.

전술한 상세한 설명에서는, 개시를 간소화할 목적으로 다양한 특징들이 예시에서 함께 그룹핑된 것을 볼 수 있다. 이 개시 방법은 특허청구한 예들이 각 청구항에서 명시적으로 인용한 것보다 더 많은 특징들을 필요로 한다는 의도를 반영한 것이라고 해석되어서는 안된다. 오히려, 다음 청구항들이 반영하는 바와 같이, 발명의 주제는 개시된 단일 예의 모든 특징들보다 적은 수의 특징들로 구성될 수 있다.

따라서 다음 청구항들은 상세한 설명에 통합되며, 여기서 각 청구항은 그 자체로서 별도의 예일 수 있다. 각 청구항이 그 자체로서 별도의 예로 성립될 수 있지만, 비록 종속항이 청구항에서 하나 이상의 다른 청구항의 특정 조합을 언급할지라도, 다른 예들은 종속항과 각 다른 종속항의 주제의 조합, 또는 각 특징과 다른 종속항 또는 독립항의 조합을 포함할 수 있다. 특정 조합은 의도하지 않는다고 명시되지 않는 한, 그와 같은 조합들은 여기에서 제시된다. 더욱이, 어느 한 청구항의 특징들을 다른 임의의 독립항에 포함시킬 수도 있는데, 비록 이와 같은 청구항이 해당 독립항에 직접적으로 종속하도록 되어 있지 않더라도 이러한 구성이 가능하다.

위에서 설명한 실시예들은 본 발명의 원리를 단지 예시하기 위한 것일 뿐이다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람은 본 명세서에 설명한 배치들과 세부사항들을 수정하거나 변형할 수 있음이 자명함을 이해할 것이다. 그러므로 본 발명의 범위는 후술하는 청구항들에 의해서 정해져야 하고, 본 명세서의 실시예들에 대한 기술과 설명을 통해 제공된 특정 세부사항에 한정되어서는 안된다.

Claims

비디오 비트스트림의 서브-스트림들이 분산되어 있는 트랙들 세트를 포함하는 파일(8)을 받아들이고;
트랙들 세트 중에서 소정의 트랙(13¹)보다 많은 수의 트랙들로 분산된 서브-스트림들을 공동으로 디코딩할 때, 상기 소정의 트랙(13¹)에 대하여 상기 파일(8) 내에 존재하는 파라미터 세트(PS1¹)가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙(13¹)에 대한 설명 데이터(14)가 표시하는지 상기 파일(8) 내에 있는 상기 설명 데이터(14)를 검사하고;
상기 트랙들 세트 중에서 상기 소정의 트랙(13¹)보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 소정의 트랙(13¹)에 대하여 상기 파일(8) 내에 존재하는 상기 파라미터 세트(PS1¹)가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙(13¹)에 대한 상기 설명 데이터가 표시하는 경우, 상기 파라미터 세트는 포워딩하지 않고 상기 트랙들 세트 중에서 상기 소정의 트랙(13¹)보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 디코딩에 포워딩하고;
상기 트랙들 세트 중에서 상기 소정의 트랙(13¹)보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 소정의 트랙(13¹)에 대하여 상기 파일(8) 내에 존재하는 상기 파라미터 세트(PS1¹)가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙(13¹)에 대한 상기 설명 데이터가 표시하지 않는 경우, 상기 트랙들 세트 중에서 상기 소정의 트랙(13¹)보다 많은 수의 트랙들로 분산된 상기 서브-스트림들과 함께 상기 파라미터 세트를 디코딩에 포워딩하도록
구성되는, 파일 포맷 파서(10).
청구항 1에 있어서, 상기 소정의 트랙(13¹)의 샘플 엔트리로부터 상기 설명 데이터를 도출하도록 구성되는, 파일 포맷 파서(10).
청구항 1 또는 청구항 2에 있어서, 상기 트랙들 세트로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 소정의 트랙(13¹)에 대하여 상기 파일(8) 내에 존재하는 상기 파라미터 세트가 무시되어야 함을 표시하는 것에 더하여 상기 트랙들 세트 중에서 추가적인 소정의 트랙(13¹)에 대하여 상기 소정의 트랙(13¹)에 대한 의존성을 표시하는 트랙 의존성 박스로부터, 상기 설명 데이터를 도출하도록 구성되는, 파일 포맷 파서(10).
청구항 1 내지 3 중 어느 한 항에 있어서, 상기 트랙들 세트 중에서 상기 소정의 트랙(13¹)에 의존하는 추가적인 소정의 트랙(13¹)의 샘플 엔트리로부터 상기 설명 데이터를 도출하도록 구성되는, 파일 포맷 파서(10).
청구항 1 내지 4 중 어느 한 항에 있어서,
상기 샘플 엔트리의 타입 또는 상기 소정의 트랙(13¹)의 샘플 엔트리 내에 있는 구문 요소에 기초하여 검사를 수행하도록
구성되는, 파일 포맷 파서(10).
청구항 1 내지 5 중 어느 한 항에 있어서,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림 내에서 상기 소정의 트랙에 대역내로 포함되고, 상기 파일 포맷 파서(10)가
상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 소정의 트랙에 존재하는 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하는 경우,
상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에서 상기 파라미터 세트를 제거하여 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림의 스트립된 버전을 생성하고, 상기 스트립된 버전을 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께 디코딩에 포워딩하고,
상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 소정의 트랙에 존재하는 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하지 않는 경우,
상기 소정의 트랙에 포함된 하나 이상의 서브-스트림을 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에 남아있는 상기 파라미터 세트에 의한 디코딩에 포워딩하며, 또는
상기 파라미터 세트가 상기 파일(8)의 하나 이상의 박스에 포함되고, 상기 파일 포맷 파서(10)가
상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하는 경우,
상기 파라미터 세트는 없이, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림을 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께 디코딩에 포워딩하고,
상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하지 않는 경우,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에 남아있는 상태로, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림을, 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께, 디코딩에 포워딩하도록
구성되는, 파일 포맷 파서(10).
청구항 1 내지 6 중 어느 한 항에 있어서,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림 내에서 상기 소정의 트랙에 대역내로 포함된 경우,
만약 상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시한다면,
상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에서 상기 파라미터 세트를 제거하여 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림의 스트립된 버전을 생성하고, 상기 스트립된 버전을 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께 디코딩에 포워딩하고,
만약 상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하지 않는다면,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에 남아있는 상태로, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림을, 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께, 디코딩에 포워딩하며,
상기 파라미터 세트가 상기 파일(8)의 하나 이상의 박스에 포함된 경우,
만약 상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시한다면,
상기 파라미터 세트는 없이, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림을 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께 디코딩에 포워딩하고,
만약 상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하지 않는다면,
상기 소정의 트랙에 포함된 하나 이상의 서브-스트림을 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 연관된 서브-스트림과 함께, 그리고 상기 하나 이상의 박스에 존재하는 파라미터 세트와 함께, 디코딩에 포워딩하도록
구성되는, 파일 포맷 파서(10).
청구항 1 내지 7 중 어느 한 항에 있어서,
상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하는 경우,
만약 상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림 내에서 상기 소정의 트랙에 대역내로 포함되어 있다면,
상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에서 상기 파라미터 세트를 제거하여 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림의 스트립된 버전을 생성하고, 상기 스트립된 버전을 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께 디코딩에 포워딩하고,
만약 상기 파라미터 세트가 상기 파일(8)의 하나 이상의 박스에 포함되어 있다면,
상기 소정의 트랙에 포함된 하나 이상의 서브-스트림을 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께, 그리고 상기 하나 이상의 박스에 존재하는 파라미터 세트와 함께, 디코딩에 포워딩하며
상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하지 않는 경우,
만약 상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림 내에서 상기 소정의 트랙에 대역내로 포함되어 있다면,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에 남아있는 상태로, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림을, 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 연관된 서브-스트림과 함께, 디코딩에 포워딩하고,
만약 상기 파라미터 세트가 상기 파일(8)의 하나 이상의 박스에 포함되어 있다면,
상기 소정의 트랙에 포함된 하나 이상의 서브-스트림을 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께, 그리고 상기 하나 이상의 박스에 존재하는 파라미터 세트와 함께, 디코딩에 포워딩하며, 또는
상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하는 경우,
만약 상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림 내에서 상기 소정의 트랙에 대역내로 포함되어 있다면,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에 남아있는 상태로, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림을, 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께, 디코딩에 포워딩하고,
만약 상기 파라미터 세트가 상기 파일(8)의 하나 이상의 박스에 포함되어 있다면,
상기 파라미터 세트는 없이, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림을 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께 디코딩에 포워딩하며,
상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하지 않는 경우,
만약 상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림 내에서 상기 소정의 트랙에 대역내로 포함되어 있다면,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에 남아있는 상태로, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림을, 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께, 디코딩에 포워딩하고,
만약 상기 파라미터 세트가 상기 파일(8)의 하나 이상의 박스에 포함되어 있다면,
상기 소정의 트랙에 포함된 하나 이상의 서브-스트림을 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께, 그리고 상기 하나 이상의 박스에 존재하는 파라미터 세트와 함께, 디코딩에 포워딩하도록
구성되는, 파일 포맷 파서(10).
청구항 7 또는 청구항 8에 있어서, 상기 하나 이상의 박스가 상기 소정의 트랙의 샘플 엔트리 또는 상기 소정의 트랙과 연관된 파라미터 세트 트랙 내에 포함되는, 파일 포맷 파서(10).
청구항 1 내지 9 중 어느 한 항에 있어서, 상기 파라미터 세트가 VPS, PPS, SPS 및 APS 중 하나 이상과 관련 있는 것인, 파일 포맷 파서(10).
청구항 1 내지 10 중 어느 한 항에 있어서, 상기 파라미터 세트가 NAL 유닛 타입(예컨대, PPS, VPS 또는 APS)에 의해서 상기 파일(8) 내에 있는 상기 설명 데이터에 의해 명시되는, 파일 포맷 파서(10).
청구항 1 내지 11 중 어느 한 항에 있어서, 상기 설명 데이터로부터
상기 소정의 트랙에 대하여 상기 파일(8) 내에 대역내 파라미터 세트가 없는지 여부에 대한 정보; 또는
상기 파일(8)의 상기 소정의 트랙에 대하여 하나 이상의 파라미터 세트 타입의 제1 세트의 파라미터 세트만이 소정의 블록에 포함된 하나 이상의 서브-스트림들 내에 대역내 존재하는지 여부에 대한 정보,
를 도출하도록 구성되며,
상기 파라미터 세트는 파일(8)의 하나 이상의 박스 내에 포함되고, 상기 제1 세트와 분리된 하나 이상의 파라미터 세트 타입의 제2 세트로 구성된 파라미터 세트 타입으로 되어 있는, 파일 포맷 파서(10).
청구항 1 내지 12 중 어느 한 항에 있어서,
상기 트랙들 세트의 트랙들에 공통의 트랙 그룹 식별자를 할당함으로써, 상기 트랙들 세트가 형성될 수 있도록 상기 트랙들 세트가 링크되는 것으로 표시되는, 파일 포맷 파서(10).
청구항 1 내지 13 중 어느 한 항에 있어서,
상기 소정의 트랙이 적어도 하나의 대역내 파라미터 세트를 포함하는 경우에, 상기 검사를 억제하고, 상시 소정의 트랙에 대하여 상기 파일(8) 내에 있는 상기 파라미터 세트가 상기 트랙들 세트로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 무시되어서는 안된다고 추정하도록
구성되는, 파일 포맷 파서(10).
비디오 비트스트림의 서브-스트림들이 분산되어 있는 트랙들 세트; 및
상기 트랙들 세트 중에서 상기 소정의 트랙(트랙 i)에 대하여, 상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 소정의 트랙에 대하여 상기 파일(8) 내에 있는 파라미터 세트가 무시되어야 함을 표시하는 설명 데이터(14);
를 포함하는, 비디오 파일(8).
청구항 15에 있어서, 상기 설명 데이터가 상기 소정의 트랙의 샘플 엔트리에 포함되어 있는, 비디오 파일(8).
청구항 15 또는 청구항 16에 있어서, 상기 트랙들 세트로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 소정의 트랙에 대하여 상기 파일(8) 내에 존재하는 상기 파라미터 세트가 무시되어야 함을 표시하는 것에 더하여 상기 트랙들 세트 중에서 추가적인 소정의 트랙에 대하여 상기 소정의 트랙에 대한 의존성을 표시하는 트랙 의존성 박스에, 상기 설명 데이터가 포함되어 있는, 비디오 파일(8).
청구항 15 내지 17 중 어느 한 항에 있어서, 상기 설명 데이터가 상기 트랙들 세트 중에서 상기 소정의 트랙에 의존하는 추가적인 소정의 트랙의 샘플 엔트리에 포함되어 있는, 비디오 파일(8).
청구항 15 내지 18 중 어느 한 항에 있어서, 상기 설명 데이터가 상기 트랙들 세트의 서브-스트림들을 공동으로 디코딩할 때 상기 소정의 트랙에 대하여 상기 파일(8) 내에 있는 파라미터 세트가 무시되어야 할지 여부를, 상기 샘플 엔트리를 통해서 또는 상기 소정의 트랙에 있는 구문 요소를 통해서 표시하는, 비디오 파일(8).
청구항 15 내지 19 중 어느 한 항에 있어서,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림 내에서 상기 소정의 트랙에 대역내로 포함되고,
상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 소정의 트랙에 존재하는 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하는 경우,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에서 제거되어 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림의 스트립된 버전이 생성되고, 상기 스트립된 버전이 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께 디코딩에 포워딩되고,
상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 소정의 트랙에 존재하는 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하지 않는 경우,
상기 소정의 트랙에 포함된 하나 이상의 서브-스트림이 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에 남아있는 상기 파라미터 세트에 의한 디코딩에 포워딩되며, 또는
상기 파라미터 세트가 상기 파일(8)의 하나 이상의 박스에 포함되고,
상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하는 경우,
상기 파라미터 세트는 없이, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림이 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께 디코딩에 포워딩되고,
상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하지 않는 경우,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에 남아있는 상태로, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림이, 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께, 디코딩에 포워딩되도록
구성되는, 비디오 파일(8).
청구항 15 내지 20 중 어느 한 항에 있어서,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림 내에서 상기 소정의 트랙에 대역내로 포함된 경우,
만약 상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시한다면,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에서 제거되어 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림의 스트립된 버전이 생성되고, 상기 스트립된 버전을 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께 디코딩에 포워딩되고,
만약 상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하지 않는다면,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에 남아있는 상태로, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림이, 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께, 디코딩에 포워딩되며,
상기 파라미터 세트가 상기 파일(8)의 하나 이상의 박스에 포함된 경우,
만약 상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시한다면,
상기 파라미터 세트는 없이, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림이 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께 디코딩에 포워딩되고,
만약 상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하지 않는다면,
상기 소정의 트랙에 포함된 하나 이상의 서브-스트림이 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 연관된 서브-스트림과 함께, 그리고 상기 하나 이상의 박스에 존재하는 파라미터 세트와 함께, 디코딩에 포워딩되도록
구성되는, 비디오 파일(8).
청구항 15 내지 21 중 어느 한 항에 있어서,
상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하는 경우,
만약 상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림 내에서 상기 소정의 트랙에 대역내로 포함되어 있다면,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에서 제거되어 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림의 스트립된 버전이 생성되고, 상기 스트립된 버전을 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께 디코딩에 포워딩되고,
만약 상기 파라미터 세트가 상기 파일(8)의 하나 이상의 박스에 포함되어 있다면,
상기 소정의 트랙에 포함된 하나 이상의 서브-스트림이 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께, 그리고 상기 하나 이상의 박스에 존재하는 파라미터 세트와 함께, 디코딩에 포워딩되며
상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하지 않는 경우,
만약 상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림 내에서 상기 소정의 트랙에 대역내로 포함되어 있다면,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에 남아있는 상태로, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림이, 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 연관된 서브-스트림과 함께, 디코딩에 포워딩되고,
만약 상기 파라미터 세트가 상기 파일(8)의 하나 이상의 박스에 포함되어 있다면,
상기 소정의 트랙에 포함된 하나 이상의 서브-스트림이 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께, 그리고 상기 하나 이상의 박스에 존재하는 파라미터 세트와 함께, 디코딩에 포워딩되며, 또는
상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하는 경우,
만약 상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림 내에서 상기 소정의 트랙에 대역내로 포함되어 있다면,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에 남아있는 상태로, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림이, 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께, 디코딩에 포워딩되고,
만약 상기 파라미터 세트가 상기 파일(8)의 하나 이상의 박스에 포함되어 있다면,
상기 파라미터 세트는 없이, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림이 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께 디코딩에 포워딩되며,
상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하지 않는 경우,
만약 상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림 내에서 상기 소정의 트랙에 대역내로 포함되어 있다면,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에 남아있는 상태로, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림이, 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께, 디코딩에 포워딩되고,
만약 상기 파라미터 세트가 상기 파일(8)의 하나 이상의 박스에 포함되어 있다면,
상기 소정의 트랙에 포함된 하나 이상의 서브-스트림이 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께, 그리고 상기 하나 이상의 박스에 존재하는 파라미터 세트와 함께, 디코딩에 포워딩되도록
구성되는, 비디오 파일(8).
청구항 21 또는 청구항 22에 있어서, 상기 하나 이상의 박스가 상기 소정의 트랙의 샘플 엔트리 또는 상기 소정의 트랙과 연관된 파라미터 세트 트랙 내에 포함되는, 비디오 파일(8).
청구항 15 내지 청구항 23 중 어느 한 항에 있어서, 상기 파라미터 세트가 VPS, PPS, SPS 및 APS 중 하나 이상에 관한 것인, 비디오 파일(8).
청구항 15 내지 청구항 24 중 어느 한 항에 있어서, 상기 파라미터 세트가 NAL 유닛 타입(예컨대, PPS, VPS 또는 APS)에 의해서 상기 파일(8) 내에 있는 상기 설명 데이터에 의해 명시되는, 비디오 파일(8).
청구항 15 내지 청구항 25 중 어느 한 항에 있어서, 상기 설명 데이터가
상기 소정의 트랙에 대하여 상기 파일(8) 내에 대역내 파라미터 세트가 없는지 여부; 또는
상기 파일(8)의 상기 소정의 트랙에 대하여 하나 이상의 파라미터 세트 타입의 제1 세트의 파라미터 세트만이 소정의 블록에 포함된 하나 이상의 서브-스트림들 내에 대역내 존재하는지 여부,
를 추가로 표시하도록 구성되며,
상기 파라미터 세트는 파일(8)의 하나 이상의 박스 내에 포함되고, 상기 제1 세트와 분리된 하나 이상의 파라미터 세트 타입의 제2 세트로 구성된 파라미터 세트 타입으로 되어 있는, 비디오 파일(8).
청구항 15 내지 청구항 26 중 어느 한 항에 있어서,
상기 트랙들 세트의 트랙들에 공통의 트랙 그룹 식별자를 할당함으로써, 상기 트랙들 세트가 형성될 수 있도록 상기 트랙들 세트가 링크되는 것으로 표시되는, 파일 포맷 파서(10).
구성되는, 비디오 파일(8).
비디오 비트스트림의 서브-스트림들을 트랙들 세트 상으로 분산시키고;
상기 트랙들 세트 중에서 상기 소정의 트랙(트랙 i)에 대하여, 상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 소정의 트랙에 대하여 상기 파일(8) 내에 있는 파라미터 세트가 무시되어야 함을 표시하는 설명 데이터(14)를 상기 파일(8) 내에 삽입하도록;
구성되는, 파일 생성기(20).
청구항 28에 있어서, 상기 설명 데이터가 상기 소정의 트랙의 샘플 엔트리에 포함되어 있는, 파일 생성기(20).
청구항 28 또는 청구항 29에 있어서, 상기 트랙들 세트로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 소정의 트랙에 대하여 상기 파일(8) 내에 존재하는 상기 파라미터 세트가 무시되어야 함을 표시하는 것에 더하여 상기 트랙들 세트 중에서 추가적인 소정의 트랙에 대하여 상기 소정의 트랙에 대한 의존성을 표시하는 트랙 의존성 박스에, 상기 설명 데이터가 포함되는, 파일 생성기(20).
청구항 28 내지 30 중 어느 한 항에 있어서, 상기 설명 데이터가 상기 트랙들 세트 중에서 상기 소정의 트랙에 의존하는 추가적인 소정의 트랙의 샘플 엔트리에 포함되는, 파일 생성기(20).
청구항 28 내지 31 중 어느 한 항에 있어서, 상기 설명 데이터가 상기 트랙들 세트의 서브-스트림들을 공동으로 디코딩할 때 상기 소정의 트랙에 대하여 상기 파일(8) 내에 있는 파라미터 세트가 무시되어야 할지 여부를, 상기 샘플 엔트리를 통해서 또는 상기 소정의 트랙에 있는 구문 요소를 통해서 표시하는, 파일 생성기(20).
청구항 28 내지 32 중 어느 한 항에 있어서,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림 내에서 상기 소정의 트랙에 대역내로 포함되고,
상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 소정의 트랙에 존재하는 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하는 경우,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에서 제거되어 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림의 스트립된 버전이 생성되고, 상기 스트립된 버전이 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께 디코딩에 포워딩되고,
상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 소정의 트랙에 존재하는 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하지 않는 경우,
상기 소정의 트랙에 포함된 하나 이상의 서브-스트림이 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에 남아있는 상기 파라미터 세트에 의한 디코딩에 포워딩되며, 또는
상기 파라미터 세트가 상기 파일(8)의 하나 이상의 박스에 포함되고,
상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하는 경우,
상기 파라미터 세트는 없이, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림이 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께 디코딩에 포워딩되고,
상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하지 않는 경우,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에 남아있는 상태로, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림이, 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께, 디코딩에 포워딩되도록
구성되는, 파일 생성기(20).
청구항 28 내지 33 중 어느 한 항에 있어서,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림 내에서 상기 소정의 트랙에 대역내로 포함된 경우,
만약 상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시한다면,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에서 제거되어 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림의 스트립된 버전이 생성되고, 상기 스트립된 버전을 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께 디코딩에 포워딩되고,
만약 상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하지 않는다면,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에 남아있는 상태로, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림이, 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께, 디코딩에 포워딩되며,
상기 파라미터 세트가 상기 파일(8)의 하나 이상의 박스에 포함된 경우,
만약 상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시한다면,
상기 파라미터 세트는 없이, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림이 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께 디코딩에 포워딩되고,
만약 상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하지 않는다면,
상기 소정의 트랙에 포함된 하나 이상의 서브-스트림이 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 연관된 서브-스트림과 함께, 그리고 상기 하나 이상의 박스에 존재하는 파라미터 세트와 함께, 디코딩에 포워딩되도록
구성되는, 파일 생성기(20).
청구항 28 내지 34 중 어느 한 항에 있어서,
상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하는 경우,
만약 상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림 내에서 상기 소정의 트랙에 대역내로 포함되어 있다면,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에서 제거되어 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림의 스트립된 버전이 생성되고, 상기 스트립된 버전을 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께 디코딩에 포워딩되고,
만약 상기 파라미터 세트가 상기 파일(8)의 하나 이상의 박스에 포함되어 있다면,
상기 소정의 트랙에 포함된 하나 이상의 서브-스트림이 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께, 그리고 상기 하나 이상의 박스에 존재하는 파라미터 세트와 함께, 디코딩에 포워딩되며
상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하지 않는 경우,
만약 상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림 내에서 상기 소정의 트랙에 대역내로 포함되어 있다면,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에 남아있는 상태로, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림이, 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 연관된 서브-스트림과 함께, 디코딩에 포워딩되고,
만약 상기 파라미터 세트가 상기 파일(8)의 하나 이상의 박스에 포함되어 있다면,
상기 소정의 트랙에 포함된 하나 이상의 서브-스트림이 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께, 그리고 상기 하나 이상의 박스에 존재하는 파라미터 세트와 함께, 디코딩에 포워딩되며, 또는
상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하는 경우,
만약 상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림 내에서 상기 소정의 트랙에 대역내로 포함되어 있다면,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에 남아있는 상태로, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림이, 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께, 디코딩에 포워딩되고,
만약 상기 파라미터 세트가 상기 파일(8)의 하나 이상의 박스에 포함되어 있다면,
상기 파라미터 세트는 없이, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림이 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께 디코딩에 포워딩되며,
상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 파라미터 세트가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙에 대한 상기 설명 데이터가 표시하지 않는 경우,
만약 상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림 내에서 상기 소정의 트랙에 대역내로 포함되어 있다면,
상기 파라미터 세트가 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림에 남아있는 상태로, 상기 소정의 트랙에 포함된 하나 이상의 서브-스트림이, 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께, 디코딩에 포워딩되고,
만약 상기 파라미터 세트가 상기 파일(8)의 하나 이상의 박스에 포함되어 있다면,
상기 소정의 트랙에 포함된 하나 이상의 서브-스트림이 상기 트랙들 세트 중 다른 트랙에 포함된 하나 이상의 서브-스트림과 함께, 그리고 상기 하나 이상의 박스에 존재하는 파라미터 세트와 함께, 디코딩에 포워딩되도록
구성되는, 파일 생성기(20).
청구항 34 또는 청구항 35에 있어서, 상기 하나 이상의 박스가 상기 소정의 트랙의 샘플 엔트리 또는 상기 소정의 트랙과 연관된 파라미터 세트 트랙 내에 포함되는, 파일 생성기(20).
청구항 28 내지 36 중 어느 한 항에 있어서, 상기 파라미터 세트가 VPS, PPS, SPS 및 APS 중 하나 이상에 관한 것인, 파일 생성기(20).
청구항 28 내지 37 중 어느 한 항에 있어서, 상기 파라미터 세트가 NAL 유닛 타입(예컨대, PPS, VPS 또는 APS)에 의해서 상기 파일(8) 내에 있는 상기 설명 데이터에 의해 명시되는, 파일 생성기(20).
청구항 28 내지 38 중 어느 한 항에 있어서, 상기 설명 데이터가
상기 소정의 트랙에 대하여 상기 파일(8) 내에 대역내 파라미터 세트가 없는지 여부; 또는
상기 파일(8)의 상기 소정의 트랙에 대하여 하나 이상의 파라미터 세트 타입의 제1 세트의 파라미터 세트만이 소정의 블록에 포함된 하나 이상의 서브-스트림들 내에 대역내 존재하는지 여부,
를 추가로 표시하도록 구성되며,
상기 파라미터 세트는 파일(8)의 하나 이상의 박스 내에 포함되고, 상기 제1 세트와 분리된 하나 이상의 파라미터 세트 타입의 제2 세트로 구성된 파라미터 세트 타입으로 되어 있는, 파일 생성기(20).
청구항 28 내지 39 중 어느 한 항에 있어서,
상기 트랙들 세트의 트랙들에 공통의 트랙 그룹 식별자를 할당함으로써, 상기 트랙들 세트가 형성될 수 있도록 상기 트랙들 세트가 링크되는 것으로 표시되는, 파일 생성기(20).
비디오 비트스트림의 서브-스트림들이 분산되어 있는 트랙들 세트를 포함하는 파일(8)을 받아들이는 단계;
트랙들 세트 중에서 소정의 트랙(13¹)보다 많은 수의 트랙들로 분산된 서브-스트림들을 공동으로 디코딩할 때, 상기 소정의 트랙(13¹)에 대하여 상기 파일(8) 내에 존재하는 파라미터 세트(PS1¹)가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙(13¹)에 대한 설명 데이터(14)가 표시하는지 상기 파일(8) 내에 있는 상기 설명 데이터(14)를 검사하는 단계;
상기 트랙들 세트 중에서 상기 소정의 트랙(13¹)보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 소정의 트랙(13¹)에 대하여 상기 파일(8) 내에 존재하는 상기 파라미터 세트(PS1¹)가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙(13¹)에 대한 상기 설명 데이터가 표시하는 경우, 상기 파라미터 세트는 포워딩하지 않고 상기 트랙들 세트 중에서 상기 소정의 트랙(13¹)보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 디코딩에 포워딩하는 단계; 및
상기 트랙들 세트 중에서 상기 소정의 트랙(13¹)보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 소정의 트랙(13¹)에 대하여 상기 파일(8) 내에 존재하는 상기 파라미터 세트(PS1¹)가 무시되어야 함을 상기 트랙들 세트 중에서 상기 소정의 트랙(13¹)에 대한 상기 설명 데이터가 표시하지 않는 경우, 상기 트랙들 세트 중에서 상기 소정의 트랙(13¹)보다 많은 수의 트랙들로 분산된 상기 서브-스트림들과 함께 상기 파라미터 세트를 디코딩을 위해 포워딩하는 단계를 포함하는,
파일(8) 처리 방법.
비디오 비트스트림의 서브-스트림들을 트랙들 세트 상으로 분산시키는 단계; 및
상기 트랙들 세트 중에서 상기 소정의 트랙(트랙 i)에 대하여, 상기 트랙들 세트 중에서 상기 소정의 트랙보다 많은 수의 트랙들로 분산된 상기 서브-스트림들을 공동으로 디코딩할 때 상기 소정의 트랙에 대하여 상기 파일(8) 내에 있는 파라미터 세트가 무시되어야 함을 표시하는 설명 데이터(14)를 상기 파일(8) 내에 삽입하는 단계를 포함하는,
파일(8) 생성 방법.
비디오 비트스트림 또는 그 일부를 포함하는 트랙을 포함하는 파일(8)을 받아들이고;
상기 파일(8)로부터 하나 이상의 트랙 파티션 세트의 표시(20)를 도출하되, 여기서 각 트랙 파티션은 상기 비디오 비트스트림으로부터의 서브-스트림과 관련되고, 상기 파일(8)은 상기 비디오 비트스트림의 제1 버전의 재생에 사용할 상기 트랙에 대한 파라미터 세트를 포함하며, 상기 제1 버전의 재생은 상기 트랙의 완전한 디코딩을 내포하고,
상기 파일(8)로부터, 상기 하나 이상의 트랙 파티션 세트 중 소정의 트랙 파티션에 대하여, 대안 파라미터 세트(24)를 도출하고 상기 대안 파라미터 세트를 상기 서브-스트림에 삽입하며, 상기 비디오 비트스트림의 제2 버전의 재생을 위한 파라미터 세트가 없이 디코딩을 위해 포워딩하되, 여기서 상기 제2 버전의 재생은 상기 서브-스트림에 대한 상기 트랙의 나머지 부분을 제외하고 서브트랙을 디코딩하는 것을 내포하도록
구성되는, 파일 포맷 파서(10).
청구항 43에 있어서,
상기 파라미터 세트가 상기 트랙에 포함되는 상기 비디오 비트스트림 또는 그 일부 내에서 상기 트랙에 대역내로 포함되고,
상기 파일(8)은 상기 비디오 비트스트림의 상기 제1 버전의 재생에 사용할 상기 트랙에 대한 추가 파라미터 세트를 상기 파일(8)의 하나 이상의 박스 내에 포함하며,
상기 파일 포맷 파서(10)는 상기 비디오 비트스트림의 상기 제2 버전의 재생을 위하여 상기 파라미터 세트는 남겨두고 상기 추가 파라미터 세트와 대안 파라미터 세트를 포워딩하도록
구성되는, 파일 포맷 파서(10).
청구항 43에 있어서,
상기 파라미터 세트가 상기 파일(8)의 하나 이상의 박스에 포함되고,
상기 파일(8)은 상기 비디오 비트스트림의 상기 제1 버전의 재생에 사용할 상기 트랙에 대한 추가 파라미터 세트를 상기 비디오 비트스트림 또는 그 일부 내에서 상기 트랙에 대역내로 포함하며,
상기 파일 포맷 파서(10)는 상기 비디오 비트스트림의 상기 제2 버전의 재생을 위하여 상기 파라미터 세트는 남겨두고 상기 추가 파라미터 세트와 대안 파라미터 세트를 포워딩하도록
구성되는, 파일 포맷 파서(10).
청구항 43에 있어서,
상기 파라미터 세트가 상기 트랙에 포함되는 상기 비디오 비트스트림 또는 그 일부 내에서 상기 트랙에 대역내로 포함되고,
상기 파일(8)은 상기 비디오 비트스트림의 상기 제1 버전의 재생에 사용할 상기 트랙에 대한 추가 파라미터 세트를 상기 파일(8)의 하나 이상의 박스 내에 포함하며,
상기 파일 포맷 파서(10)는
상기 파일(8)로부터, 상기 하나 이상의 트랙 파티션 세트 중 상기 소정의 트랙 파티션에 대하여, 추가 대안 파라미터 세트를 도출하고 상기 대안 파라미터 세트와 상기 추가 대안 파라미터 세트를 상기 서브-스트림에 삽입하며, 상기 비디오 비트스트림의 상기 제2 버전의 재생을 위하여 상기 파라미터 세트 및 상기 추가 파라미터 세트가 없이 디코딩을 위해 포워딩하도록 구성되는,
파일 포맷 파서(10).
청구항 44 내지 46 중 어느 한 항에 있어서, 상기 하나 이상의 박스가 상기 트랙의 샘플 엔트리에 포함되는, 파일 포맷 파서(10).
청구항 43 내지 47 중 어느 한 항에 있어서, 상기 서브-스트림을 상기 제1 버전의 재생을 위한 상기 파라미터 세트와 함께 디코딩에 포워딩하는 파일 포맷 파서(10).
청구항 43 내지 48 중 어느 한 항에 있어서, 상기 파라미터 세트가 VPS, PPS, SPS 및 APS 중 하나 이상과 관련 있는 것인, 파일 포맷 파서(10).
청구항 43 내지 49 중 어느 한 항에 있어서, 상기 파라미터 세트가 NAL 유닛 타입(예컨대, PPS, VPS 또는 APS)에 의해서 상기 파일(8) 내에 있는 상기 설명 데이터에 의해 명시되는, 파일 포맷 파서(10).
비디오 비트스트림 또는 그 일부를 포함하는 트랙;
각 트랙 파티션이 상기 비디오 비트스트림으로부터의 서브-스트림과 관련 있는, 하나 이상의 트랙 파티션 세트의 표시(20), 여기서 상기 파일(8)은 상기 비디오 비트스트림의 제1 버전의 재생에 사용할 상기 트랙에 대한 파라미터 세트를 포함하며, 상기 제1 버전의 재생은 상기 트랙의 완전한 디코딩을 내포함; 및
상기 하나 이상의 트랙 파티션 세트 중 소정의 트랙 파티션에 대하여, 상기 비디오 비트스트림의 제2 버전의 재생을 위한 파라미터 세트가 없이 디코딩을 위해 포워딩하되, 여기서 상기 제2 버전의 재생은 상기 서브-스트림에 대한 상기 트랙의 나머지 부분을 제외하고 서브트랙을 디코딩하는 것을 내포하도록 하기 위하여, 상기 서브-스트림에 삽입되는 대안 파라미터 세트(24);
를 포함하는, 비디오 파일(8).
청구항 51에 있어서,
상기 파라미터 세트가 상기 트랙에 포함되는 상기 비디오 비트스트림 또는 그 일부 내에서 상기 트랙에 대역내로 포함되고,
상기 파일(8)은 상기 비디오 비트스트림의 상기 제1 버전의 재생에 사용할 상기 트랙에 대한 추가 파라미터 세트를 상기 파일(8)의 하나 이상의 박스 내에 포함하며,
상기 비디오 비트스트림의 상기 제2 버전의 재생을 위하여, 상기 파라미터 세트는 남겨진 채 상기 추가 파라미터 세트와 대안 파라미터 세트가 포워딩될 수 있도록
구성되는, 비디오 파일(8).
청구항 51에 있어서,
상기 파라미터 세트가 상기 파일(8)의 하나 이상의 박스에 포함되고,
상기 파일(8)은 상기 비디오 비트스트림의 상기 제1 버전의 재생에 사용할 상기 트랙에 대한 추가 파라미터 세트를 상기 비디오 비트스트림 또는 그 일부 내에서 상기 트랙에 대역내로 포함하며,
상기 비디오 비트스트림의 상기 제2 버전의 재생을 위하여, 상기 파라미터 세트는 남겨진 채 상기 추가 파라미터 세트와 대안 파라미터 세트가 포워딩될 수 있도록
구성되는, 비디오 파일(8).
청구항 51에 있어서,
상기 파라미터 세트가 상기 트랙에 포함되는 상기 비디오 비트스트림 또는 그 일부 내에서 상기 트랙에 대역내로 포함되고,
상기 파일(8)은 상기 비디오 비트스트림의 상기 제1 버전의 재생에 사용할 상기 트랙에 대한 추가 파라미터 세트를 상기 파일(8)의 하나 이상의 박스 내에 포함하며,
상기 파일(8)은 상기 하나 이상의 트랙 파티션 세트 중 상기 소정의 트랙 파티션에 대하여, 상기 추가 대안 파라미터 세트와 함께 상기 서브-스트림에 삽입되어 상기 비디오 비트스트림의 상기 제2 버전의 재생을 위하여 상기 파라미터 세트 및 상기 추가 파라미터 세트가 없이 디코딩을 위해 포워딩되는 추가 대안 파라미터 세트를 포함하는,
비디오 파일(8).
청구항 52 내지 54 중 어느 한 항에 있어서, 상기 하나 이상의 박스가 상기 트랙의 샘플 엔트리에 포함되는, 비디오 파일(8).
청구항 51 내지 55 중 어느 한 항에 있어서, 상기 서브-스트림이 상기 제1 버전의 재생을 위한 상기 파라미터 세트와 함께 디코딩에 포워딩될 수 있는, 비디오 파일(8).
청구항 51 내지 56 중 어느 한 항에 있어서, 상기 파라미터 세트가 VPS, PPS, SPS 및 APS 중 하나 이상과 관련 있는 것인, 비디오 파일(8).
청구항 51 내지 57 중 어느 한 항에 있어서, 상기 파라미터 세트가 NAL 유닛 타입(예컨대, PPS, VPS 또는 APS)에 의해서 상기 파일(8) 내에 있는 상기 설명 데이터에 의해 명시되는, 비디오 파일(8).
비디오 비트스트림 또는 그 일부를 포함하는 트랙(track i)를 가진 파일(8)을 제공하고;
하나 이상의 트랙 파티션 세트의 표시(20)를 상기 파일(8)에 삽입하되, 여기서 각 트랙 파티션은 상기 비디오 비트스트림으로부터의 서브-스트림과 관련되고, 상기 파일(8)은 상기 비디오 비트스트림의 제1 버전의 재생에 사용할 상기 트랙에 대한 파라미터 세트를 포함하며, 상기 제1 버전의 재생은 상기 트랙의 완전한 디코딩을 내포하고;
상기 하나 이상의 트랙 파티션 세트 중 소정의 트랙 파티션에 대하여, 상기 대안 파라미터 세트를 상기 서브-스트림에 삽입되고, 상기 비디오 비트스트림의 제2 버전의 재생을 위한 파라미터 세트가 없이 디코딩을 위해 포워딩할 대안 파라미터 세트(24)를 상기 파일(8)에 삽입하되, 여기서 상기 제2 버전의 재생은 상기 서브-스트림에 대한 상기 트랙의 나머지 부분을 제외하고 서브트랙을 디코딩하는 것을 내포하도록
구성되는, 파일 생성기(20).
청구항 59에 있어서,
상기 파라미터 세트가 상기 트랙에 포함되는 상기 비디오 비트스트림 또는 그 일부 내에서 상기 트랙에 대역내로 포함되고,
상기 파일(8)은 상기 비디오 비트스트림의 상기 제1 버전의 재생에 사용할 상기 트랙에 대한 추가 파라미터 세트를 상기 파일(8)의 하나 이상의 박스 내에 포함하며,
상기 비디오 비트스트림의 상기 제2 버전의 재생을 위하여, 상기 파라미터 세트는 남겨진 채 상기 추가 파라미터 세트와 대안 파라미터 세트가 포워딩되도록
구성되는, 파일 생성기(20).
청구항 59에 있어서,
상기 파라미터 세트가 상기 파일(8)의 하나 이상의 박스에 포함되고,
상기 파일(8)은 상기 비디오 비트스트림의 상기 제1 버전의 재생에 사용할 상기 트랙에 대한 추가 파라미터 세트를 상기 비디오 비트스트림 또는 그 일부 내에서 상기 트랙에 대역내로 포함하며,
상기 비디오 비트스트림의 상기 제2 버전의 재생을 위하여, 상기 파라미터 세트는 남겨진 채 상기 추가 파라미터 세트와 대안 파라미터 세트가 포워딩되있도록
구성되는, 파일 생성기(20).
청구항 59에 있어서,
상기 파라미터 세트가 상기 트랙에 포함되는 상기 비디오 비트스트림 또는 그 일부 내에서 상기 트랙에 대역내로 포함되고,
상기 파일(8)은 상기 비디오 비트스트림의 상기 제1 버전의 재생에 사용할 상기 트랙에 대한 추가 파라미터 세트를 상기 파일(8)의 하나 이상의 박스 내에 포함하며,
상기 파일(8)은 상기 하나 이상의 트랙 파티션 세트 중 상기 소정의 트랙 파티션에 대하여, 상기 추가 대안 파라미터 세트와 함께 상기 서브-스트림에 삽입되어 상기 비디오 비트스트림의 상기 제2 버전의 재생을 위하여 상기 파라미터 세트 및 상기 추가 파라미터 세트가 없이 디코딩을 위해 포워딩되는 추가 대안 파라미터 세트를 포함하는,
파일 생성기(20).
청구항 60 내지 62 중 어느 한 항에 있어서, 상기 하나 이상의 박스가 상기 트랙의 샘플 엔트리에 포함되는, 파일 생성기(20).
청구항 59 내지 63 중 어느 한 항에 있어서, 상기 서브-스트림이 상기 제1 버전의 재생을 위한 상기 파라미터 세트와 함께 디코딩에 포워딩될 수 있는, 파일 생성기(20).
청구항 59 내지 64 중 어느 한 항에 있어서, 상기 파라미터 세트가 VPS, PPS, SPS 및 APS 중 하나 이상과 관련 있는 것인, 파일 생성기(20).
청구항 59 내지 65 중 어느 한 항에 있어서, 상기 파라미터 세트가 NAL 유닛 타입(예컨대, PPS, VPS 또는 APS)에 의해서 상기 파일(8) 내에 있는 상기 설명 데이터에 의해 명시되는, 파일 생성기(20).
비디오 비트스트림 또는 그 일부를 포함하는 트랙을 포함하는 파일(8)을 받아들이는 단계;
상기 파일(8)로부터 하나 이상의 트랙 파티션 세트의 표시(20)를 도출하되, 여기서 각 트랙 파티션은 상기 비디오 비트스트림으로부터의 서브-스트림과 관련되고, 상기 파일(8)은 상기 비디오 비트스트림의 제1 버전의 재생에 사용할 상기 트랙에 대한 파라미터 세트를 포함하며, 상기 제1 버전의 재생은 상기 트랙의 완전한 디코딩을 내포하도록 하는 단계; 및
상기 파일(8)로부터, 상기 하나 이상의 트랙 파티션 세트 중 소정의 트랙 파티션에 대하여, 대안 파라미터 세트(24)를 도출하고 상기 대안 파라미터 세트를 상기 서브-스트림에 삽입하며, 상기 비디오 비트스트림의 제2 버전의 재생을 위한 파라미터 세트가 없이 디코딩을 위해 포워딩하되, 여기서 상기 제2 버전의 재생은 상기 서브-스트림에 대한 상기 트랙의 나머지 부분을 제외하고 서브트랙을 디코딩하는 것을 내포하도록 하는 단계:
를 포함하는 파일(8) 처리 방법.
비디오 비트스트림 또는 그 일부를 포함하는 트랙(track i)를 가진 파일(8)을 제공하는 단계;
하나 이상의 트랙 파티션 세트의 표시(20)를 상기 파일(8)에 삽입하되, 여기서 각 트랙 파티션은 상기 비디오 비트스트림으로부터의 서브-스트림과 관련되고, 상기 파일(8)은 상기 비디오 비트스트림의 제1 버전의 재생에 사용할 상기 트랙에 대한 파라미터 세트를 포함하며, 상기 제1 버전의 재생은 상기 트랙의 완전한 디코딩을 내포하도록 하는 단계:
상기 하나 이상의 트랙 파티션 세트 중 소정의 트랙 파티션에 대하여, 상기 대안 파라미터 세트를 상기 서브-스트림에 삽입되고, 상기 비디오 비트스트림의 제2 버전의 재생을 위한 파라미터 세트가 없이 디코딩을 위해 포워딩할 대안 파라미터 세트(24)를 상기 파일(8)에 삽입하되, 여기서 상기 제2 버전의 재생은 상기 서브-스트림에 대한 상기 트랙의 나머지 부분을 제외하고 서브트랙을 디코딩하는 것을 내포하도록 하는 단계:
를 포함하는 파일(8) 생성 방법.
비디오 비트스트림의 서브-스트림을 포함하는 제1 트랙과, 비디오 비트스트림의 서브-스트림을 포함하고 상기 제1 트랙에 의존하는 제2 트랙을 포함하는 파일(8)을 받아들이고;
상기 파일(8)로부터 상기 제2 트랙의 IRAP 샘플들을 표시하는 제1 정보(34)를 도출하고;
상기 파일(8)로부터 상기 제2 트랙의 소정의 IRAP 샘플들을 표시하는 제2 정보(36)를 도출하되, 여기서 상기 제1 트랙에 의존하는 제3 트랙으로부터 상기 제2 트랙으로의 트랙 전환 트랙이 허용되도록
구성되는, 파일 포맷 파서(10).
청구항 69에 있어서,
상기 제2 트랙의 재생 시에 상기 제1 트랙과 함께 상기 제2 트랙을 비디오 디코더로 포워딩하고, 상기 제3 트랙의 재생 시에 상기 제1 트랙과 함께 상기 제3 트랙을 포워딩하도록
구성되는, 파일 포맷 파서(10).
청구항 69 또는 청구항 70에 있어서,
상기 파일(8)로부터, 위치 벡터들이 한편으로는 레이어간 예측 및 레이어내 예측을 통해 참조 픽처에서의 참조되는 부분을 가리키는 참조 픽처에서의 스케일링 윈도우의 위치 차이 및 차원 차이에 따라서 옵셉 및 스케일링되고 다른 한편으로는 상기 레이어간 예측 및 상기 레이어내 예측을 통해 상기 참조 픽처를 참조하는 참조하는-픽처에서의 스케일링 윈도우의 위치 차이 및 차원 차이에 따라서 옵셉 및 스케일링되는, 참조 픽처 리샘플링을 지원하는 코덱을 사용하여 상기 비디오 비트스트림이 코딩되었다는 것을 나타내는 제3 정보를 도출하고,
상기 비디오 비트스트림이 파라미터 세트들에서 각 픽처에 대하여 개별적으로 상기 스케일링 윈도우를 표시하도록
구성되는, 파일 포맷 파서(10).
청구항 69 내지 71 중 어느 한 항에 있어서,
상기 파일(8)로부터, 상기 제1 트랙에 의존하는 종속 트랙의 재생의 경우에 상기 제1 트랙에 대하여 상기 파일(8)에 존재하는 파라미터 세트들이 제거되어야 하는지 여부를 나타내는 제4 정보를 도출하고;
상기 제4 정보가 상기 제1 트랙에 대하여 상기 제1 트랙에 의존하는 종속 트랙의 재생 시에 상기 제1 트랙에 있는 상기 파라미터 세트들이 제거되어야 함을 표시하는 경우, 상기 제2 및 제3 트랙들 중 하나의 재생 시에 상기 파라미터 세트들 없이 상기 제1 트랙을 비디오 디코더에 포워딩하고;
상기 제4 정보가 상기 제1 트랙에 대하여 상기 제1 트랙에 의존하는 종속 트랙의 재생 시에 상기 제1 트랙에 있는 상기 파라미터 세트들이 제거되어야 함을 표시하지 않는 경우, 상기 제2 및 제3 트랙들 중 하나의 재생 시에 상기 파라미터 세트들과 함께 상기 제1 트랙을 비디오 디코더에 포워딩하도록
구성되는, 파일 포맷 파서(10).
청구항 72에 있어서,
상기 파라미터 세트들이 상기 제1 트랙에 대역내로 포함되며,
상기 파일 포맷 파서(10)가
상기 제4 정보가 상기 제1 트랙에 대하여 상기 제1 트랙에 의존하는 종속 트랙의 재생 시에 상기 제1 트랙에 있는 상기 파라미터 세트들이 제거되어야 함을 표시하는 경우, 상기 제2 및 제3 트랙들 중 하나의 재생 시에 상기 파라미터 세트들이 제거된 제1 트랙을 상기 디코더에 포워딩하고;
상기 제4 정보가 상기 제1 트랙에 대하여 상기 제1 트랙에 의존하는 종속 트랙의 재생 시에 상기 제1 트랙에 있는 상기 파라미터 세트들이 제거되어야 함을 표시하지 않는 경우, 상기 제2 및 제3 트랙들 중 하나의 재생 시에 상기 파라미터 세트들이 남아있는 상기 제1 트랙을 상기 비디오 디코더에 포워딩하도록
구성되는, 파일 포맷 파서(10).
청구항 69 내지 73 중 어느 한 항에 있어서,
상기 파일(8)로부터, 상기 제1 트랙에 대한 상기 파일(8) 내에 존재하는 정보 박스들 세트 중에서 적어도 하나를 도출하도록 구성되되, 여기서 상기 정보 박스들 각각은 상기 제1 트랙 및 상기 제1 트랙에 의존하는 상기 종속 트랙들로부터의 연관 트랙과 연관되어 있고, 상기 연관 트랙의 재생 시에 상기 제1 트랙과 함께 포워딩되어어야 하는 파라미터 세트들의 버전을 포함하며,
도출되는 적어도 하나의 박스는 재생되어야 할 트랙과 연관되어 있는 정보 박스인, 파일 포맷 파서(10).
청구항 73 또는 청구항 74에 있어서,
상기 비디오 비트스트림이, 위치 벡터들이 한편으로는 레이어간 예측 및 레이어내 예측을 통해 참조 픽처에서의 참조되는 부분을 가리키는 참조 픽처에서의 스케일링 윈도우의 위치 차이 및 차원 차이에 따라서 옵셉 및 스케일링되고 다른 한편으로는 상기 레이어간 예측 및 상기 레이어내 예측을 통해 상기 참조 픽처를 참조하는 참조하는-픽처에서의 스케일링 윈도우의 위치 차이 및 차원 차이에 따라서 옵셉 및 스케일링되는, 참조 픽처 리샘플링을 지원하는 코덱을 사용하여 코딩되어 있는, 파일 포맷 파서(10).
비디오 비트스트림의 서브-스트림을 포함하는 제1 트랙과, 비디오 비트스트림의 서브-스트림을 포함하고 상기 제1 트랙에 의존하는 제2 트랙;
상기 제2 트랙의 IRAP 샘플들을 표시하는 제1 정보(34); 및
상기 제2 트랙의 소정의 IRAP 샘플들을 표시하는 제2 정보(36);
를 포함하며, 상기 제1 트랙에 의존하는 제3 트랙으로부터 상기 제2 트랙으로의 트랙 전환 트랙이 허용되도록
구성되는, 비디오 파일(8).
청구항 76에 있어서,
상기 제2 트랙의 재생 시에 상기 제2 트랙이 상기 제1 트랙과 함께 비디오 디코더로 포워딩되고, 상기 제3 트랙의 재생 시에 상기 제3 트랙이 상기 제1 트랙과 함께 포워딩되도록
구성되는, 비디오 파일(8).
청구항 76 또는 청구항 77에 있어서,
위치 벡터들이 한편으로는 레이어간 예측 및 레이어내 예측을 통해 참조 픽처에서의 참조되는 부분을 가리키는 참조 픽처에서의 스케일링 윈도우의 위치 차이 및 차원 차이에 따라서 옵셉 및 스케일링되고 다른 한편으로는 상기 레이어간 예측 및 상기 레이어내 예측을 통해 상기 참조 픽처를 참조하는 참조하는-픽처에서의 스케일링 윈도우의 위치 차이 및 차원 차이에 따라서 옵셉 및 스케일링되는, 참조 픽처 리샘플링을 지원하는 코덱을 사용하여 상기 비디오 비트스트림이 코딩되었다는 것을 나타내는 제3 정보
를 더 포함하며, 상기 비디오 비트스트림이 파라미터 세트들에서 각 픽처에 대하여 개별적으로 상기 스케일링 윈도우를 표시하도록 구성되는, 비디오 파일(8).
청구항 76 내지 78 중 어느 한 항에 있어서,
상기 파일(8)로부터, 상기 제1 트랙에 의존하는 종속 트랙의 재생의 경우에 상기 제1 트랙에 대하여 상기 파일(8)에 존재하는 파라미터 세트들이 제거되어야 하는지 여부를 나타내는 제4 정보
를 더 포함하며,
상기 제4 정보가 상기 제1 트랙에 대하여 상기 제1 트랙에 의존하는 종속 트랙의 재생 시에 상기 제1 트랙에 있는 상기 파라미터 세트들이 제거되어야 함을 표시하는 경우, 상기 제2 및 제3 트랙들 중 하나의 재생 시에 상기 제1 트랙이 상기 파라미터 세트들 없이 비디오 디코더에 포워딩되고;
상기 제4 정보가 상기 제1 트랙에 대하여 상기 제1 트랙에 의존하는 종속 트랙의 재생 시에 상기 제1 트랙에 있는 상기 파라미터 세트들이 제거되어야 함을 표시하지 않는 경우, 상기 제2 및 제3 트랙들 중 하나의 재생 시에 상기 파라미터 세트들과 함께 상기 제1 트랙이 비디오 디코더에 포워딩되도록
구성되는, 비디오 파일(8).
청구항 79에 있어서,
상기 파라미터 세트들이 상기 제1 트랙에 대역내로 포함되며,
상기 제4 정보가 상기 제1 트랙에 대하여 상기 제1 트랙에 의존하는 종속 트랙의 재생 시에 상기 제1 트랙에 있는 상기 파라미터 세트들이 제거되어야 함을 표시하는 경우, 상기 제2 및 제3 트랙들 중 하나의 재생 시에 상기 파라미터 세트들이 제거된 제1 트랙이 상기 디코더에 포워딩되고;
상기 제4 정보가 상기 제1 트랙에 대하여 상기 제1 트랙에 의존하는 종속 트랙의 재생 시에 상기 제1 트랙에 있는 상기 파라미터 세트들이 제거되어야 함을 표시하지 않는 경우, 상기 제2 및 제3 트랙들 중 하나의 재생 시에 상기 파라미터 세트들이 남아있는 상기 제1 트랙이 상기 비디오 디코더에 포워딩되도록
구성되는, 비디오 파일(8).
청구항 76 내지 80 중 어느 한 항에 있어서,
상기 제1 트랙에 대한 상기 파일(8) 내에 존재하는 정보 박스들 세트 중에서 적어도 하나
를 포함하고,
상기 정보 박스들 각각은 상기 제1 트랙 및 상기 제1 트랙에 의존하는 상기 종속 트랙들로부터의 연관 트랙과 연관되어 있고, 상기 연관 트랙의 재생 시에 상기 제1 트랙과 함께 포워딩되어어야 하는 파라미터 세트들의 버전을 포함하며,
상기 적어도 하나의 박스는 재생되어야 할 트랙과 연관되어 있는 정보 박스인, 비디오 파일(8).
청구항 80 또는 청구항 81에 있어서,
상기 비디오 비트스트림이, 위치 벡터들이 한편으로는 레이어간 예측 및 레이어내 예측을 통해 참조 픽처에서의 참조되는 부분을 가리키는 참조 픽처에서의 스케일링 윈도우의 위치 차이 및 차원 차이에 따라서 옵셉 및 스케일링되고 다른 한편으로는 상기 레이어간 예측 및 상기 레이어내 예측을 통해 상기 참조 픽처를 참조하는 참조하는-픽처에서의 스케일링 윈도우의 위치 차이 및 차원 차이에 따라서 옵셉 및 스케일링되는, 참조 픽처 리샘플링을 지원하는 코덱을 사용하여 코딩되어 있는, 비디오 파일(8).
비디오 비트스트림의 서브-스트림을 포함하는 제1 트랙과, 비디오 비트스트림의 서브-스트림을 포함하고 상기 제1 트랙에 의존하는 제2 트랙을 포함하는 파일(8)을 제공하고;
상기 제2 트랙의 IRAP 샘플들을 표시하는 제1 정보(34)를 상기 파일(8)에 삽입하고;
상기 제2 트랙의 소정의 IRAP 샘플들을 표시하는 제2 정보(36)를 상기 파일(8)에 삽입하되, 여기서 상기 제1 트랙에 의존하는 제3 트랙으로부터 상기 제2 트랙으로의 트랙 전환 트랙이 허용되도록
구성되는, 파일 생성기(20).
비디오 비트스트림의 서브-스트림을 포함하는 제1 트랙과, 비디오 비트스트림의 서브-스트림을 포함하고 상기 제1 트랙에 의존하는 제2 트랙을 포함하는 파일(8)을 받아들이는 단계;
상기 파일(8)로부터 상기 제2 트랙의 IRAP 샘플들을 표시하는 제1 정보(34)를 도출하는 단계; 및
상기 파일(8)로부터 상기 제2 트랙의 소정의 IRAP 샘플들을 표시하는 제2 정보(36)를 도출하되, 여기서 상기 제1 트랙에 의존하는 제3 트랙으로부터 상기 제2 트랙으로의 트랙 전환 트랙이 허용되도록 하는 단계;
를 포함하는 파일(8) 처리 방법.
비디오 비트스트림의 서브-스트림을 포함하는 제1 트랙과, 비디오 비트스트림의 서브-스트림을 포함하고 상기 제1 트랙에 의존하는 제2 트랙을 포함하는 파일(8)을 제공하는 단계;
상기 제2 트랙의 IRAP 샘플들을 표시하는 제1 정보(34)를 상기 파일(8)에 삽입하는 단계;
상기 제2 트랙의 소정의 IRAP 샘플들을 표시하는 제2 정보(36)를 상기 파일(8)에 삽입하되, 여기서 상기 제1 트랙에 의존하는 제3 트랙으로부터 상기 제2 트랙으로의 트랙 전환 트랙이 허용되도록 하는 단계;
를 포함하는 파일(8) 생성 방법.
비디오 비트스트림이 계층적으로 구성된 시간적 레이어들(40, 71, 72, 73, 74)을 파일(8)의 트랙들(61, 62) 세트에 삽입하되, 상기 시간적 레이어들을 하나 이상의 시간적 레이어들의 그룹으로써 상기 트랙들 세트로 분산시켜서 각 그룹이 각각의 그룹과 연관된 트랙에 삽입되도록 하고,
상기 트랙들 세트 중 소정의 트랙(62)에 대하여,
소정의 STSA 픽처(38)를
상기 소정의 트랙(62)과 연관된 하나 이상의 시간적 레이어(73, 74)의 그룹 중에서 가장 낮은 시간적 레이어(73)에서,
상기 소정의 트랙(62)과 연관된 상기 하나 이상의 시간적 레이어(73, 74)의 그룹 중에서 각각의 다른 시간적 레이어(74)에 대하여, 각각의 시간적 레이어 중에서 디코딩 순서상 상기 소정의 STSA 픽처(38)를 가장 먼저 뒤따르는 픽처(42)가 STSA 타입으로 되어 있는 경우, 또는
상기 소정의 트랙과 연관된 상기 하나 이상의 시간적 레이어의 그룹 중에서 각각의 다른 시간적 레이어(74)에 대하여, 각각의 시간적 레이어 중에서 프리젠테이션 순서상 상기 소정의 STSA 픽처(38)를 가장 먼저 뒤따르는 픽처(42)가 STSA 타입으로 되어 있는 경우에,
상기 소정의 트랙에서 가능한 스트림 액세스 포인트로서 마킹하도록
구성되는, 파일 생성기(20).
청구항 86에 있어서,
상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어의 그룹으로서, 상기 소정의 STSA 픽처보다 프리젠테이션 순서상 앞서고 디코딩 순서상 뒤따르는 적어도 하나의 픽처를 포함하고, 상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어들의 그룹의 각각의 다른 시간적 레이어에 대하여 각각의 시간적 레이어의 픽처들 중에서 디코딩 순서상 각각의 STSA 픽처를 가장 먼저 뒤따르는 픽처가 STSA 타입인 그룹과,
상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어의 그룹으로서, 상기 소정의 STSA 픽처보다 프리젠테이션 순서상 앞서고 디코딩 순서상 뒤따르는 픽처로 구성되고, 상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어들의 그룹의 각각의 다른 시간적 레이어에 대하여 각각의 시간적 레이어의 픽처들 중에서 디코딩 순서상 각각의 STSA 픽처를 가장 먼저 뒤따르는 픽처가 STSA 타입인 그룹과,
상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어의 그룹으로서, 상기 소정의 STSA 픽처보다 프리젠테이션 순서상 앞서고 디코딩 순서상 뒤따르는 적어도 하나의 픽처를 포함하고, 상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어들의 그룹의 각각의 다른 시간적 레이어에 대하여 각각의 시간적 레이어의 픽처들 중에서 프리젠테이션 순서상 각각의 STSA 픽처를 가장 먼저 뒤따르는 픽처가 STSA 타입인 그룹
중에서 둘 이상을 구분하는 방식으로 상기 소정의 STSA 픽처(38)의 마킹을 수행하도록
구성되는, 파일 생성기(20).
청구항 86에 있어서,
상기 소정의 트랙은 상기 트랙들 세트의 추가 트랙에 의존하는 종속 트랙이며, 상기 추가 트랙은 상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어의 그룹의 각 시간적 레이어 아래에 계층적으로 있는 하나 이상의 시간적 레이어의 추가 그룹에 연관되어 있는,
파일 생성기(20).
청구항 86 내지 88 중 어느 한 항에 있어서,
상기 트랙들 세트에서 상기 비디오 비트스트림의 가장 낮은 시간적 레이어가 삽입되는 트랙에 대하여, 상기 비디오 비트스트림의 상기 가장 낮은 시간적 레이어에 있는 각 RAP 픽처를 상기 소정의 STSA 픽처(38)가 마킹되는 샘플 타입과 다른 샘플 타입으로 마킹하도록
구성되는, 파일 생성기(20).
비디오 비트스트림이 계층적으로 구성된 시간적 레이어들(40)을 가지는 트랙들 세트로서, 상기 시간적 레이어들을 하나 이상의 시간적 레이어들의 그룹으로써 상기 트랙들 세트로 분산시켜서 각 그룹이 각각의 그룹과 연관된 트랙에 삽입되어 있는 트랙들 세트;
상기 트랙들 세트 중 소정의 트랙(62)에 대하여
소정의 STSA 픽처(38)를
상기 소정의 트랙(62)과 연관된 하나 이상의 시간적 레이어(73, 74)의 그룹 중에서 가장 낮은 시간적 레이어(73)에서,
상기 소정의 트랙(62)과 연관된 상기 하나 이상의 시간적 레이어(73, 74)의 그룹 중에서 각각의 다른 시간적 레이어(74)에 대하여, 각각의 시간적 레이어 중에서 디코딩 순서상 상기 소정의 STSA 픽처(38)를 가장 먼저 뒤따르는 픽처(42)가 STSA 타입으로 되어 있는 경우, 또는
상기 소정의 트랙과 연관된 상기 하나 이상의 시간적 레이어의 그룹 중에서 각각의 다른 시간적 레이어(74)에 대하여, 각각의 시간적 레이어 중에서 프리젠테이션 순서상 상기 소정의 STSA 픽처(38)를 가장 먼저 뒤따르는 픽처(42)가 STSA 타입으로 되어 있는 경우에,
상기 소정의 트랙에서 가능한 스트림 액세스 포인트로서 마킹하는 정보;
를 포함하는, 비디오 파일(8).
청구항 90에 있어서, 상기 정보가
상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어의 그룹으로서, 상기 소정의 STSA 픽처보다 프리젠테이션 순서상 앞서고 디코딩 순서상 뒤따르는 적어도 하나의 픽처를 포함하고, 상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어들의 그룹의 각각의 다른 시간적 레이어에 대하여 각각의 시간적 레이어의 픽처들 중에서 디코딩 순서상 각각의 STSA 픽처를 가장 먼저 뒤따르는 픽처가 STSA 타입인 그룹과,
상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어의 그룹으로서, 상기 소정의 STSA 픽처보다 프리젠테이션 순서상 앞서고 디코딩 순서상 뒤따르는 픽처로 구성되고, 상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어들의 그룹의 각각의 다른 시간적 레이어에 대하여 각각의 시간적 레이어의 픽처들 중에서 디코딩 순서상 각각의 STSA 픽처를 가장 먼저 뒤따르는 픽처가 STSA 타입인 그룹과,
상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어의 그룹으로서, 상기 소정의 STSA 픽처보다 프리젠테이션 순서상 앞서고 디코딩 순서상 뒤따르는 적어도 하나의 픽처를 포함하고, 상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어들의 그룹의 각각의 다른 시간적 레이어에 대하여 각각의 시간적 레이어의 픽처들 중에서 프리젠테이션 순서상 각각의 STSA 픽처를 가장 먼저 뒤따르는 픽처가 STSA 타입인 그룹
중에서 둘 이상에 대해 구분되어 있는, 비디오 파일(8).
청구항 90에 있어서,
상기 소정의 트랙은 상기 트랙들 세트의 추가 트랙에 의존하는 종속 트랙이며, 상기 추가 트랙은 상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어의 그룹의 각 시간적 레이어 아래에 계층적으로 있는 하나 이상의 시간적 레이어의 추가 그룹에 연관되어 있는,
비디오 파일(8).
청구항 90 내지 92 중 어느 한 항에 있어서,
상기 트랙들 세트에서 상기 비디오 비트스트림의 가장 낮은 시간적 레이어가 삽입되는 트랙에 대하여, 상기 비디오 비트스트림의 상기 가장 낮은 시간적 레이어에 있는 각 RAP 픽처를 상기 소정의 STSA 픽처(38)가 마킹되는 샘플 타입과 다른 샘플 타입으로 마킹하는 추가 정보
를 더 포함하는, 비디오 파일(8).
비디오 비트스트림이 계층적으로 구성된 시간적 레이어들(40)을 가지는 파일(8)을 받아들이되, 상기 파일(8)의 트랙들 세트에 상기 시간적 레이어들이 하나 이상의 시간적 레이어들의 그룹으로써 상기 트랙들 세트로 분산시켜서 각 그룹이 각각의 그룹과 연관된 트랙에 삽입되어 있는 형태로 받아들이고;
상기 트랙들 세트 중 소정의 트랙(62)에 대하여,
소정의 STSA 픽처(38)에 대한 표시를
상기 소정의 트랙(62)과 연관된 하나 이상의 시간적 레이어(73, 74)의 그룹 중에서 가장 낮은 시간적 레이어(73)에서,
상기 소정의 트랙(62)과 연관된 상기 하나 이상의 시간적 레이어(73, 74)의 그룹 중에서 각각의 다른 시간적 레이어(74)에 대하여, 각각의 시간적 레이어 중에서 디코딩 순서상 상기 소정의 STSA 픽처(38)를 가장 먼저 뒤따르는 픽처(42)가 STSA 타입으로 되어 있는 경우, 또는
상기 소정의 트랙과 연관된 상기 하나 이상의 시간적 레이어의 그룹 중에서 각각의 다른 시간적 레이어(74)에 대하여, 각각의 시간적 레이어 중에서 프리젠테이션 순서상 상기 소정의 STSA 픽처(38)를 가장 먼저 뒤따르는 픽처(42)가 STSA 타입으로 되어 있는 경우에,
결정하고;
상기 소정의 STSA 픽처(38)를 상기 소정의 트랙에서 스트림 액세스 포인트로서 사용하도록
구성되는, 파일 포맷 파서(10).
청구항 94에 있어서, 상기 소정의 STSA 픽처에 대한 표시를 결정함에 있어서,
상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어의 그룹으로서, 상기 소정의 STSA 픽처보다 프리젠테이션 순서상 앞서고 디코딩 순서상 뒤따르는 적어도 하나의 픽처를 포함하고, 상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어들의 그룹의 각각의 다른 시간적 레이어에 대하여 각각의 시간적 레이어의 픽처들 중에서 디코딩 순서상 각각의 STSA 픽처를 가장 먼저 뒤따르는 픽처가 STSA 타입인 그룹과,
상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어의 그룹으로서, 상기 소정의 STSA 픽처보다 프리젠테이션 순서상 앞서고 디코딩 순서상 뒤따르는 픽처로 구성되고, 상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어들의 그룹의 각각의 다른 시간적 레이어에 대하여 각각의 시간적 레이어의 픽처들 중에서 디코딩 순서상 각각의 STSA 픽처를 가장 먼저 뒤따르는 픽처가 STSA 타입인 그룹과,
상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어의 그룹으로서, 상기 소정의 STSA 픽처보다 프리젠테이션 순서상 앞서고 디코딩 순서상 뒤따르는 적어도 하나의 픽처를 포함하고, 상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어들의 그룹의 각각의 다른 시간적 레이어에 대하여 각각의 시간적 레이어의 픽처들 중에서 프리젠테이션 순서상 각각의 STSA 픽처를 가장 먼저 뒤따르는 픽처가 STSA 타입인 그룹
중에서 둘 이상의 표시를 기초로 구분하도록
구성되는, 파일 포맷 파서(10).
청구항 94에 있어서, 상기 소정의 STSA 픽처에 대한 표시를 결정함에 있어서,
상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어의 그룹으로서, 상기 소정의 STSA 픽처(38)보다 프리젠테이션 순서상 앞서고 디코딩 순서상 뒤따르는 적어도 하나의 픽처(42)를 포함하고, 상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어들의 그룹의 각각의 다른 시간적 레이어(74)에 대하여 각각의 시간적 레이어의 픽처들 중에서 디코딩 순서상 각각의 STSA 픽처를 가장 먼저 뒤따르는 픽처가 STSA 타입인 그룹과,
상기 소정의 트랙(62)과 연관된 하나 이상의 시간적 레이어(73, 74)의 그룹으로서, 상기 소정의 STSA 픽처보다 프리젠테이션 순서상 앞서고 디코딩 순서상 뒤따르는 픽처로 구성되고, 상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어들의 그룹의 각각의 다른 시간적 레이어에 대하여 각각의 시간적 레이어의 픽처들 중에서 디코딩 순서상 각각의 STSA 픽처를 가장 먼저 뒤따르는 픽처가 STSA 타입인 그룹과,
상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어의 그룹으로서, 상기 소정의 STSA 픽처보다 프리젠테이션 순서상 앞서고 디코딩 순서상 뒤따르는 적어도 하나의 픽처를 포함하고, 상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어들의 그룹의 각각의 다른 시간적 레이어에 대하여 각각의 시간적 레이어의 픽처들 중에서 프리젠테이션 순서상 각각의 STSA 픽처를 가장 먼저 뒤따르는 픽처가 STSA 타입인 그룹
중에서 적어도 하나를 상기 표시를 토대로 구분하도록 구성되며,
상기 파일 포맷 파서(10)는, 상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어의 그룹이 상기 소정의 STSA 픽처보다 프리젠테이션 순서상 앞서고 디코딩 순서상 뒤따르는 적어도 하나의 픽처를 포함하는 경우, 그리고 상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어들의 그룹의 각각의 다른 시간적 레이어에 대하여, 상기 각각의 시간적 레이어의 픽처들 중에서 프리젠테이션 순서상 각각의 STSA 픽처를 가장 먼저 뒤따르는 픽처가 STSA 타입으로 되어 있는 경우에
적어도 하나의 픽처를 디코딩되지 않게 하거나,
적어도 하나의 픽처를 출력되지 않게 처리하도록,
구성되는, 파일 포맷 파서(10).
청구항 94에 있어서,
상기 소정의 트랙은 상기 트랙들 세트의 추가 트랙에 의존하는 종속 트랙이며, 상기 추가 트랙은 상기 소정의 트랙과 연관된 하나 이상의 시간적 레이어의 그룹의 각 시간적 레이어 아래에 계층적으로 있는 하나 이상의 시간적 레이어의 추가 그룹에 연관되어 있는,
파일 포맷 파서(10).
청구항 94 내지 97 중 어느 한 항에 있어서,
상기 트랙들 세트에서 상기 비디오 비트스트림의 가장 낮은 시간적 레이어가 삽입되는 트랙에 대하여, 상기 비디오 비트스트림의 상기 가장 낮은 시간적 레이어에 있는 각 RAP 픽처의 표시로서 상기 소정의 STSA 픽처(38)가 상기 파일(8)에서 표시되는 샘플 타입과 다른 샘플 타입으로 된 표시를 도출하도록
구성되는, 파일 포맷 파서(10).
클라이언트에 의해 서버로부터 다운로드 가능한 미디어를 기술하는 매니페스트 파일(5)로서,
미디어 표현들 간의 종속성과 함께 클라이언트가 다운로드할 수 있는 미디어 표현들 세트에 대한 제1 정의;
소정의 미디어 표현에 대하여, 하위-표현들 간의 의존성과 함께 상기 소정의 미디어 표현에 임베딩된 하위-표현들 세트에 대한 제2 정의; 및
상기 미디어 표현에 대하여, 상기 소정의 미디어 표현으로 임베딩되는 상기 하위-표현들 세트의 독립적 하위-표현에서 스트림 액세스 포인트를 포함하며, 상기 하위-표현들 세트의 다른 하위-표현과 독립적이고 여기서 상기 소정의 미디어 표현으로의 스위칭이 가능한, 상기 소정의 미디어 표현의 세그먼트들 표시;를 포함하는,
매니페스트 파일(5).
청구항 99에 있어서, 상기 세그먼트들이
상기 하위-표현들 세트 중에서 직접적으로 또는 상기 하위-표현들 세트의 하나 이상의 추가 하위-표현들을 통해서 간접적으로 의존하는 각각의 다른 하위-표현에 대하여, 각각의 하위-표현의 픽처들 중에서 디코딩 순서상 소정의 STSA 픽처(38)를 가장 먼저 뒤따르는 픽처(42)가 STSA 타입으로 되어 있는 경우, 또는
상기 하위-표현들 세트 중에서 직접적으로 또는 상기 하위-표현들 세트의 하나 이상의 추가 하위-표현들을 통해서 간접적으로 의존하는 각각의 다른 하위-표현에 대하여, 각각의 하위-표현의 픽처들 중에서 프리젠테이션 순서상 소정의 STSA 픽처(38)를 가장 먼저 뒤따르는 픽처(42)가 STSA 타입으로 되어 있는 경우에,
상기 독립적 하위-표현에 상기 STSA 픽처를 포함하는 것들인,
매니페스트 파일(5).
클라이언트에 의해 서버로부터 다운로드 가능한 미디어를 기술하는 매니페스트 파일(5)로서,
미디어 표현들 간의 종속성과 함께 클라이언트가 다운로드할 수 있는 미디어 표현들 세트에 대한 제1 정의;
를 포함하며,
비디오 비트스트림이 계층적으로 구성된 시간적 레이어들(40)이 상기 미디어 표현들 세트로 분산되고,
상기 시간적 레이어들 중에서 소정의 시간적 레이어(예컨대, 도면 참조번호 2)를 포함하는 소정의 미디어 표현에 대하여:
각 상위 시간적 레이어에 대하여, 각각의 상위 시간적 레이어의 픽처들 중에서 디코딩 순서상 STSA 픽처(38)를 가장 먼저 뒤따르는 픽처(42)가 STSA 타입으로 되어 있는 경우, 또는
각 상위 시간적 레이어에 대하여, 각각의 상위 시간적 레이어의 픽처들 중에서 프리젠테이션 순서상 STSA 픽처(38)를 가장 먼저 뒤따르는 픽처(42)가 STSA 타입으로 되어 있는 경우에,
STSA 픽처(38)를 포함하는 상기 소정의 미디어 표현의 세그먼트들을 표시하는,
매니페스트 파일(5).
청구항 101에 있어서, 상기 표시가 상기 소정의 미디어 표현의 세그먼트들 간에
상기 소정의 STSA 픽처보다 프리젠테이션 순서상 앞서고 디코딩 순서상 뒤따르는 적어도 하나의 픽처를 포함하고, 각 상위 시간적 레이어에 대하여, 각각의 상위 시간적 레이어의 픽처들 중에서 디코딩 순서상 STSA 픽처를 가장 먼저 뒤따르는 픽처가 STSA 타입으로 되어 있는 상기 상위 시간적 레이어들과,
상기 소정의 STSA 픽처보다 프리젠테이션 순서상 앞서고 디코딩 순서상 뒤따르는 픽처로 구성되고, 각 상위 시간적 레이어에 대하여, 각각의 상위 시간적 레이어의 픽처들 중에서 디코딩 순서상 STSA 픽처를 가장 먼저 뒤따르는 픽처가 STSA 타입으로 되어 있는 상기 상위 시간적 레이어들과,
상기 소정의 STSA 픽처보다 프리젠테이션 순서상 앞서고 디코딩 순서상 뒤따르는 적어도 하나의 픽처를 포함하고, 각 상위 시간적 레이어에 대하여, 각각의 상위 시간적 레이어의 픽처들 중에서 프리젠테이션 순서상 STSA 픽처를 가장 먼저 뒤따르는 픽처가 STSA 타입으로 되어 있는 상기 상위 시간적 레이어들
을 구분할 수 있게 되어 있는, 매니페스트 파일(5).
청구항 99 내지 100, 및 101 내지 102 중 어느 한 항에 따른 매니페스트 파일(5)을 다운로드하고 검사하며;
상기 매니페스트 파일(5)을 토대로 서버에서 다운로드할 미디어 표현 또는 하위-표현을 결정하도록
구성되는, 클라이언트 장치(90).
비디오 비트스트림이 계층적으로 구성된 시간적 레이어들(40, 71, 72, 73, 74)을 파일(8)의 트랙들(61, 62) 세트에 삽입하되, 상기 시간적 레이어들을 하나 이상의 시간적 레이어들의 그룹으로써 상기 트랙들 세트로 분산시켜서 각 그룹이 각각의 그룹과 연관된 트랙에 삽입되도록 하는 단계; 및,
상기 트랙들 세트 중 소정의 트랙(62)에 대하여,
소정의 STSA 픽처(38)를
상기 소정의 트랙(62)과 연관된 하나 이상의 시간적 레이어(73, 74)의 그룹 중에서 가장 낮은 시간적 레이어(73)에서,
상기 소정의 트랙(62)과 연관된 상기 하나 이상의 시간적 레이어(73, 74)의 그룹 중에서 각각의 다른 시간적 레이어(74)에 대하여, 각각의 시간적 레이어 중에서 디코딩 순서상 상기 소정의 STSA 픽처(38)를 가장 먼저 뒤따르는 픽처(42)가 STSA 타입으로 되어 있는 경우, 또는
상기 소정의 트랙과 연관된 상기 하나 이상의 시간적 레이어의 그룹 중에서 각각의 다른 시간적 레이어(74)에 대하여, 각각의 시간적 레이어 중에서 프리젠테이션 순서상 상기 소정의 STSA 픽처(38)를 가장 먼저 뒤따르는 픽처(42)가 STSA 타입으로 되어 있는 경우에,
상기 소정의 트랙에서 가능한 스트림 액세스 포인트로서 마킹하는 단계;
를 포함하는, 파일(8) 생성 방법.
비디오 비트스트림이 계층적으로 구성된 시간적 레이어들(40)을 가지는 파일(8)을 받아들이되, 상기 파일(8)의 트랙들 세트에 상기 시간적 레이어들이 하나 이상의 시간적 레이어들의 그룹으로써 상기 트랙들 세트로 분산시켜서 각 그룹이 각각의 그룹과 연관된 트랙에 삽입되어 있는 형태로 받아들이는 단계;
상기 트랙들 세트 중 소정의 트랙(62)에 대하여,
소정의 STSA 픽처(38)에 대한 표시를
상기 소정의 트랙(62)과 연관된 하나 이상의 시간적 레이어(73, 74)의 그룹 중에서 가장 낮은 시간적 레이어(73)에서,
상기 소정의 트랙(62)과 연관된 상기 하나 이상의 시간적 레이어(73, 74)의 그룹 중에서 각각의 다른 시간적 레이어(74)에 대하여, 각각의 시간적 레이어 중에서 디코딩 순서상 상기 소정의 STSA 픽처(38)를 가장 먼저 뒤따르는 픽처(42)가 STSA 타입으로 되어 있는 경우, 또는
상기 소정의 트랙과 연관된 상기 하나 이상의 시간적 레이어의 그룹 중에서 각각의 다른 시간적 레이어(74)에 대하여, 각각의 시간적 레이어 중에서 프리젠테이션 순서상 상기 소정의 STSA 픽처(38)를 가장 먼저 뒤따르는 픽처(42)가 STSA 타입으로 되어 있는 경우에,
결정하는 단계; 및
상기 소정의 STSA 픽처(38)를 상기 소정의 트랙에서 스트림 액세스 포인트로서 사용하는 단계;
를 포함하는, 파일(8) 처리 방법.
청구항 99 내지 100, 및 101 내지 102 중 어느 한 항에 따른 매니페스트 파일(5)을 다운로드하고 검사하는 단계; 및
상기 매니페스트 파일(5)을 토대로 서버에서 다운로드할 미디어 표현 또는 하위-표현을 결정하는 단계;
를 포함하는,
서버로부터의 미디어 데이터 다운로딩 방법.
독립적으로 코딩된 복수의 비디오 서브-스트림을 트랙들(82, 83) 세트로 분산시키고;
공동 디코딩을 위하여 상기 트랙들(82, 83)의 하나 이상의 서브-그룹(81)을 형성하고, 파일에 그룹핑을 표시하고;
상기 하나 이상의 서브-그룹들(81) 각각에 대하여, 한 시구간 내의 트랙들 서브-그룹으로 분산된 상기 비디오 서브-스트림의 픽처들이 디코딩될 때, 각각의 트랙들 서브-그룹 상으로 분산된 서브-스트림들과 연관된 전체 픽처 영역에 걸쳐 디코더 리프레시가 완료된 이후의 상기 시구간의 시간 길이(85)를 결정하고, 상기 파일 내에 있는 상기 각각의 서브-그룹에 대한 상기 시간 길이를 표시하도록
구성되는, 파일 생성기(20).
청구항 107에 있어서,
바로 연속된 픽처들 중 어느 하나와 같은 시간인 각각의 다른 트랙의 IRAP 픽처가 적어도 한 개 존재하는 각각의 서브-그룹의 각 다른 트랙에서, 상기 각각의 서브-그룹의 어느 한 트랙의 IRAP 픽처들로부터 시작하여 디코딩 순서에 따라 연이어진 바로 연속된 픽처들의 개수를 결정함으로써, 상기 시간 길이를 결정하도록
구성되는, 파일 생성기(20).
청구항 107 또는 청구항 108에 있어서,
모든 픽처들이 바로 연속된 픽처들 중 어느 하나와 같은 시간이고 각각의 다른 트랙의 GDR 사이클이 적어도 한 개 존재하는 각각의 서브-그룹의 각 다른 트랙에서, 상기 각각의 서브-그룹의 어느 한 트랙의 GDR 사이클의 픽처들로부터 시작하여 디코딩 순서에 따라 연이어진 바로 연속된 픽처들의 개수를 결정함으로써, 상기 시간 길이를 결정하도록
구성되는, 파일 생성기(20).
독립적으로 코딩된 복수의 비디오 서브-스트림을 갖는 트랙들 세트;
공동 디코딩을 위해 트랙들을 하나 이상의 트랙들 서브-그룹으로 그룹핑한 표시; 및
상기 하나 이상의 서브-그룹들 각각에 대하여, 한 시구간 내의 트랙들 서브-그룹으로 분산된 상기 비디오 서브-스트림의 픽처들이 디코딩될 때, 각각의 트랙들 서브-그룹 상으로 분산된 서브-스트림들과 연관된 전체 픽처 영역에 걸쳐 디코더 리프레시가 완료된 이후의 상기 시구간의 시간 길이에 대한 추가 표시;
를 포함하는, 비디오 파일(8).
청구항 110에 있어서,
상기 시간 길이가 바로 연속된 픽처들 중 어느 하나와 같은 시간인 각각의 다른 트랙의 IRAP 픽처가 적어도 한 개 존재하는 각각의 서브-그룹의 각 다른 트랙에서, 상기 각각의 서브-그룹의 어느 한 트랙의 IRAP 픽처들로부터 시작하여 디코딩 순서에 따라 연이어진 바로 연속된 픽처들의 개수로써 결정되는,
비디오 파일(8).
청구항 110 또는 청구항 111에 있어서,
상기 시간 길이가 바로 연속된 픽처들 중 어느 하나와 같은 시간이고 각각의 다른 트랙의 GDR 사이클이 적어도 한 개 존재하는 각각의 서브-그룹의 각 다른 트랙에서, 상기 각각의 서브-그룹의 어느 한 트랙의 GDR 사이클의 픽처들로부터 시작하여 디코딩 순서에 따라 연이어진 바로 연속된 픽처들의 개수로써 결정되는,
비디오 파일(8).
독립적으로 코딩되어 파일(8)의 트랙들 세트로 분산되어 있는 복수의 비디오 서브-스트림들을 갖는 상기 파일(8)을 받아들이고;
공동 디코딩을 위하여, 상기 파일(8)로부터, 하나 이상의 트랙들 서브-그룹으로 그룹핑한 표시를 도출하고;
상기 하나 이상의 서브-그룹들 각각에 대하여, 한 시구간 내의 트랙들 서브-그룹으로 분산된 상기 비디오 서브-스트림의 픽처들이 디코딩될 때, 각각의 트랙들 서브-그룹 상으로 분산된 서브-스트림들과 연관된 전체 픽처 영역에 걸쳐 디코더 리프레시가 완료된 이후의 상기 시구간의 시간 길이를 결정하도록
구성되는, 파일 포맷 파서(10).
청구항 113에 있어서,
상기 시간 길이를 상기 하나 이상의 서브-그룹들 간의 공동 디코딩 간에 스위칭할 시기를 결정하기 위한 결정 기준으로서 사용하거나, 또는 상기 시간 길이를 상기 하나 이상의 서브-그룹들 간의 공동 디코딩 간에 스위칭할 시기를 결정하기 위한 결정 기준으로 사용하도록 상기 시간 길이를 외부 디바이스가 이용가능하게 하도록
구성되는, 파일 포맷 파서(10).
청구항 113 또는 청구항 114에 있어서,
상기 시간 길이가 바로 연속된 픽처들 중 어느 하나와 같은 시간인 각각의 다른 트랙의 IRAP 픽처가 적어도 한 개 존재하는 각각의 서브-그룹의 각 다른 트랙에서, 상기 각각의 서브-그룹의 어느 한 트랙의 IRAP 픽처들로부터 시작하여 디코딩 순서에 따라 연이어진 바로 연속된 픽처들의 개수로써 결정되는,
파일 포맷 파서(10).
청구항 113 내지 115 중 어느 한 항에 있어서,
상기 시간 길이가 바로 연속된 픽처들 중 어느 하나와 같은 시간이고 각각의 다른 트랙의 GDR 사이클이 적어도 한 개 존재하는 각각의 서브-그룹의 각 다른 트랙에서, 상기 각각의 서브-그룹의 어느 한 트랙의 GDR 사이클의 픽처들로부터 시작하여 디코딩 순서에 따라 연이어진 바로 연속된 픽처들의 개수로써 결정되는,
파일 포맷 파서(10).
독립적으로 코딩된 복수의 비디오 서브-스트림을 파일(8)의 트랙들(82, 83) 세트로 분산시키는 단계;
공동 디코딩을 위하여 상기 트랙들(82, 83)의 하나 이상의 서브-그룹(81)을 형성하고, 파일에 그룹핑을 표시하는 단계;
상기 하나 이상의 서브-그룹들(81) 각각에 대하여, 한 시구간 내의 트랙들 서브-그룹으로 분산된 상기 비디오 서브-스트림의 픽처들이 디코딩될 때, 각각의 트랙들 서브-그룹 상으로 분산된 서브-스트림들과 연관된 전체 픽처 영역에 걸쳐 디코더 리프레시가 완료된 이후의 상기 시구간의 시간 길이(85)를 결정하고, 상기 파일 내에 있는 상기 각각의 서브-그룹에 대한 상기 시간 길이를 표시하는 단계;
를 포함하는, 파일(8) 생성 방법.
독립적으로 코딩되어 파일(8)의 트랙들 세트로 분산되어 있는 복수의 비디오 서브-스트림들을 갖는 상기 파일(8)을 받아들이는 단계;
공동 디코딩을 위하여, 상기 파일(8)로부터, 하나 이상의 트랙들 서브-그룹으로 그룹핑한 표시를 도출하는 단계; 및
상기 하나 이상의 서브-그룹들(81) 각각에 대하여, 한 시구간 내의 트랙들 서브-그룹으로 분산된 상기 비디오 서브-스트림의 픽처들이 디코딩될 때, 각각의 트랙들 서브-그룹 상으로 분산된 서브-스트림들과 연관된 전체 픽처 영역에 걸쳐 디코더 리프레시가 완료된 이후의 상기 시구간의 시간 길이(85)를 결정하고, 상기 파일 내에 있는 상기 각각의 서브-그룹에 대한 상기 시간 길이를 표시하는 단계;
를 포함하는, 파일(8) 처리 방법.
비디오 비트스트림을 받아들이고;
상기 비디오 비트스트림이 삽입되는 트랙에 대한 정보로서, 상기 비디오 비트스트림이 코딩되는 픽셀 종횡비가 시간적으로 변하는지 여부를 나타내는 정보를 파일(8) 내에 코딩하도록
구성되는, 파일 생성기(20).
청구항 119에 있어서,
상기 비트스트림이 시간적으로 정적인 픽셀 종횡비를 사용하여 코딩된 경우, 상기 트랙에 대한 픽셀 너비 및 픽셀 높이를 상기 비트스트림 내에 코딩하고,
상기 비트스트림이 시간적으로 변하는 픽셀 종횡비를 사용하여 코딩된 경우, 상기 트랙에 대하여 픽셀 너비가 0이고 픽셀 높이가 0인 것으로 상기 비트스트림 내에 코딩하도록
구성되는, 파일 생성기(20).
청구항 119에 있어서,
상기 비트스트림이 시간적으로 정적인 픽셀 종횡비를 사용하여 코딩된 경우, 상기 트랙에 대한 픽셀 너비 및 픽셀 높이를 상기 파일(8)의 제1 타입의 박스 안에 코딩하고,
상기 비트스트림이 시간적으로 변하는 픽셀 종횡비를 사용하여 코딩된 경우, 상기 비트스트림이 코딩되는 상기 픽셀 종횡비가 시간적으로 변한다는 것을 상기 파일(8)의 제2 타입의 박스에 의해 표시하도록
구성되는, 파일 생성기(20).
청구항 119 내지 120 중 어느 한 항에 있어서,
상기 픽셀 종횡비가 변하는 상기 비디오 비트스트림의 픽처들을 표시하도록
구성되는, 파일 생성기(20).
청구항 119 내지 122 중 어느 한 항에 있어서,
상기 픽셀 종횡비가 변하는 상기 비디오 비트스트림의 픽처들과, 상기 픽처들로부터 그 이후로 유효한 픽셀 너비 및 픽셀 높이를 표시하도록
구성되는, 파일 생성기(20).
청구항 119 내지 122 중 어느 한 항에 있어서,
상기 비디오 비트스트림의 각 픽처에 대하여, 각각의 픽처에 대해 유효한 픽셀 너비 및 픽셀 높이를 표시하도록
구성되는, 파일 생성기(20).
청구항 119 내지 122 중 어느 한 항에 있어서,
상기 비디오 비트스트림의 각 픽처에 대하여, 각각의 픽처에 대해 유효한 픽셀 너비 및 픽셀 높이가 표시되어 있는지 해당 SEI 메시지에 의해 점검하도록
구성되는, 파일 생성기(20).
청구항 119 내지 125 중 어느 한 항에 있어서,
상기 비디오 비트스트림의 상이한 버전들이 삽입되는 하나를 초과하는 트랙들 각각에 대하여, 상기 비디오 비트스트림의 상이한 버전들이 코딩되는데 사용된 픽셀 종횡비가 시간에 따라 변하는지 여부를 나타내는 각각의 정보를 파일(8) 내에 코딩하도록
구성되는, 파일 생성기(20).
비디오 비트스트림이 삽입된 파일(8)을 받아들이고,
상기 파일(8)로부터, 상기 비디오 비트스트림이 삽입된 트랙에 대한 정보로서, 상기 비디오 비트스트림이 코딩된 픽셀 종횡비가 시간적으로 변하는지 여부를 나타내는 정보를 도출하도록
구성되는, 파일 포맷 파서(10).
청구항 127에 있어서,
상기 비디오 비트스트림으로부터 상기 트랙의 픽셀 너비와 픽셀 높이를 디코딩하고,
픽셀 너비와 픽셀 높이가 0인 경우, 상기 비트스트림이 시간적으로 변하는 픽셀 종횡비를 사용하여 코딩되었다고 추론하고,
픽셀 너비와 픽셀 높이가 0이 아닌 경우, 상기 비트스트림이 정적이고 상기 픽셀 너비와 상기 픽셀 높이의 비율에 해당하는 픽셀 종횡비를 사용하여 코딩되었음을 추론하도록
구성되는, 파일 포맷 파서(10).
청구항 127에 있어서,
상기 파일(8)의 상기 파일(8)의 제1 타입의 박스로부터 상기 트랙에 대한 픽셀 너비와 픽셀 높이를 디코딩하고,
상기 비디오 비트스트림이 코딩되는데 사용된 픽셀 종횡비가 시간적으로 변하는지 여부를 나타내는 정보를 상기 파일(8)의 제2 타입의 박스로부터 도출하도록
구성되는, 파일 포맷 파서(10).
청구항 127 내지 129 중 어느 한 항에 있어서,
상기 파일(8)로부터 상기 픽셀 종횡비가 변하는 상기 비디오 비트스트림의 픽처들을 도출하도록
구성되는, 파일 포맷 파서(10).
청구항 127 내지 130 중 어느 한 항에 있어서,
상기 파일(8)로부터 상기 픽셀 종횡비가 변하는 상기 비디오 비트스트림의 픽처들과, 상기 픽처들로부터 그 이후로 유효한 픽셀 너비 및 픽셀 높이를 도출하도록
구성되는, 파일 포맷 파서(10).
청구항 127 내지 130 중 어느 한 항에 있어서,
상기 파일(8)로부터 픽셀 너비 및 픽셀 높이가 유효한 상기 비디오 비트스트림의 각 픽처를 도출하도록
구성되는, 파일 포맷 파서(10).
청구항 127 내지 130 중 어느 한 항에 있어서,
상기 비디오 비트스트림의 각 픽처에 대하여, 각각의 픽처에 대해 유효한 픽셀 너비 및 픽셀 높이가 해당 SEI 메시지에 의해 표시되도록
구성되는, 파일 포맷 파서(10).
청구항 127 내지 133 중 어느 한 항에 있어서,
상기 파일(8)로부터, 상기 비디오 비트스트림의 상이한 버전들이 삽입되는 하나를 초과하는 트랙들 각각에 대하여, 상기 비디오 비트스트림의 각각의 버전들이 코딩되는데 사용된 픽셀 종횡비가 시간에 따라 변하는지 여부를 나타내는 각각의 정보를 도출하도록
구성되는, 파일 포맷 파서(10).
비디오 파일(8)로서,
상기 비디오 비트스트림이 삽입되는 트랙에 대하여, 상기 비디오 비트스트림이 코딩되는데 사용된 픽셀 종횡비가 시간적으로 변하는지 여부를 나타내는 정보를 포함하는,
비디오 파일(8).
청구항 135에 있어서,
상기 비트스트림이 시간적으로 정적인 픽셀 종횡비를 사용하여 코딩된 경우, 상기 트랙에 대해 상기 비트스트림 내에 코딩된 픽셀 너비 및 픽셀 높이; 및
상기 비트스트림이 시간적으로 변하는 픽셀 종횡비를 사용하여 코딩된 경우, 상기 트랙에 대해 상기 비트스트림 내에 모두 0의 값으로 코딩된 픽셀 너비 및 픽셀 높이;를 포함하는,
비디오 파일(8).
청구항 135에 있어서,
상기 비트스트림이 시간적으로 정적인 픽셀 종횡비를 사용하여 코딩된 경우, 상기 트랙에 대해 상기 파일(8)의 제1 타입의 박스 안에 코딩된 픽셀 너비 및 픽셀 높이; 및
상기 비트스트림이 시간적으로 변하는 픽셀 종횡비를 사용하여 코딩된 경우, 상기 비트스트림이 코딩된 상기 픽셀 종횡비가 시간적으로 변한다는 것을 상기 파일(8)의 제2 타입의 박스에 의해 표시된 정보;를 포함하는,
비디오 파일(8).
청구항 135 내지 137 중 어느 한 항에 있어서,
상기 픽셀 종횡비가 변하는 상기 비디오 비트스트림의 픽처들의 표시를 포함하는,
비디오 파일(8).
청구항 135 내지 138 중 어느 한 항에 있어서,
상기 픽셀 종횡비가 변하는 상기 비디오 비트스트림의 픽처들과, 상기 픽처들로부터 그 이후로 유효한 픽셀 너비 및 픽셀 높이의 표시를 포함하는,
비디오 파일(8).
청구항 135 내지 138 중 어느 한 항에 있어서,
상기 비디오 비트스트림의 각 픽처에 대하여, 각각의 픽처에 대해 유효한 픽셀 너비 및 픽셀 높이에 대한 각각의 표시를 포함하는,
비디오 파일(8).
청구항 135 내지 138 중 어느 한 항에 있어서,
상기 비디오 비트스트림의 각 픽처에 대하여, 해당 SEI 메시지에 의해 표시되는 각각의 픽처에 대해 유효한 픽셀 너비 및 픽셀 높이를 포함하는,
파일 생성기(20).
청구항 135 내지 141 중 어느 한 항에 있어서,
상기 비디오 비트스트림의 상이한 버전들이 삽입되는 하나를 초과하는 트랙들 각각에 대하여, 상기 비디오 비트스트림의 상이한 버전들이 코딩되는데 사용된 픽셀 종횡비가 시간에 따라 변하는지 여부를 나타내는 각각의 정보를 포함하는,
비디오 파일(8).
비디오 비트스트림을 수신하는 단계; 및
상기 비디오 비트스트림이 코딩되는 픽셀 종횡비가 시간적으로 변하는지 여부를 나타내는, 상기 비디오 비트스트림이 삽입되는 트랙에 대한, 정보를 파일(8) 내에 코딩하는 단계;를 포함하는,
파일 생성 방법.
비디오 비트스트림이 삽입된 파일(8)을 수신하는 단계; 및
상기 비디오 비트스트림이 코딩된 픽셀 종횡비가 시간적으로 변하는지 여부를 나타내는, 상기 비디오 비트스트림이 삽입된 트랙에 대한, 정보를 상기 파일(8)로부터 도출하는 단계;를 포함하는,
파일 처리 방법.
컴퓨터 또는 신호 프로세서 상에서 실행될 때 청구항 41, 42, 67, 68, 84, 85, 104, 105, 106, 117, 118, 143, 및 144 중 어느 한 항의 방법을 구현하기 위한 컴퓨터 프로그램.