KR20160068936A

KR20160068936A - Hevc 확장을 위한 하이 레벨 구문

Info

Publication number: KR20160068936A
Application number: KR1020167012399A
Authority: KR
Inventors: 용 헤; 얀 예; 시아오유 시우; 유웬 헤
Original assignee: 브이아이디 스케일, 인크.
Priority date: 2013-10-11
Filing date: 2014-10-10
Publication date: 2016-06-15
Also published as: TW201921933A; US20200107027A1; JP6212212B2; KR20180069136A; IL245013B; TW201531090A; JP6515159B2; US10547853B2; TWI646825B; US9648333B2; US20170214923A1; WO2015054634A3; CN105706451A; IL245013A0; EP3056004A2; JP2018026833A; JP2019146239A; US20150103886A1; MY178305A; EP3989585A1

Abstract

비디오 코딩 디바이스는 네트워크 추상 레이어(NAL) 단위를 식별할 수도 있다. 비디오 코딩 디바이스는, NAL 단위가 현재 레이어에 대한 액티브 파라미터 세트(active parameter set)를 포함하는지 여부를 결정할 수도 있다. NAL 단위가 현재 레이어에 대한 액티브 파라미터 세트를 포함하는 경우, 비디오 코딩 디바이스는 NAL 단위와 관련되는 NAL 단위 헤더 레이어 식별자를 다음 중 적어도 하나로 설정할 수도 있다: 제로, 현재 레이어를 나타내는 값, 또는 현재 레이어의 참조 레이어를 나타내는 값. NAL 단위는 픽쳐 파라미터 세트(picture parameter set; PPS) NAL 단위일 수도 있다. NAL 단위는 시퀀스 파라미터 세트(sequence parameter set; SPS) NAL 단위일 수도 있다.

Description

HEVC 확장을 위한 하이 레벨 구문{HIGH LEVEL SYNTAX FOR HEVC EXTENSIONS}

본 출원은 2013년 10월 11일자로 출원된 미국 가출원 제61/889,787호 및 2013년 10월 11일자로 출원된 미국 가출원 제61/889,919호의 이익을 주장하는데, 이들 출원의 내용은 그 전체가 참조에 의해 본원에 통합된다.

효율적인 디지털 비디오 통신, 분배, 및 소비를 가능하게 하기 위해, 디지털 비디오 압축 기술이 개발되어 왔고 표준화되어 왔다. ISO/IEC 및/또는 ITU-T에 개발되고 있는 표준의 예는, H.261, MPEG-1, MPEG-2, H.263, MPEG-4 (파트 2), 및 H.264/AVC(MPEG-4 파트 10 어드밴스드 비디오 코딩)를 포함한다. 고효율 비디오 코딩(HEVC)으로 알려진 비디오 코딩 표준은 ITU-T 비디오 코딩 전문가 그룹(Video Coding Experts Group; VCEG) 및 ISO/IEC MPEG에 의해 공동으로 개발되었다. HEVC(ITU-T H.265 및 ISO/IEC 23008-2)는 H.264/AVC 표준보다 실질적으로 더 높은 코딩 효율성을 달성할 수도 있다.

비디오 코딩 디바이스는 네트워크 추상 레이어(network abstraction layer; NAL) 단위를 식별할 수도 있다. 비디오 코딩 디바이스는, NAL 단위가 현재 레이어에 대한 액티브 파라미터 세트(active parameter set)를 포함하는지 여부를 결정할 수도 있다. NAL 단위가 현재 레이어에 대한 액티브 파라미터 세트를 포함한다는 결정에 기초하여, 비디오 코딩 디바이스는 NAL 단위와 관련되는 NAL 단위 헤더 레이어 식별자를 다음 중 적어도 하나로 설정할 수도 있다: 제로, 현재 레이어를 나타내는 값, 또는 현재 레이어의 참조 레이어를 나타내는 값. NAL 단위는 픽쳐 파라미터 세트(picture parameter set; PPS) NAL 단위일 수도 있다. NAL 단위는 시퀀스 파라미터 세트(sequence parameter set; SPS) NAL 단위일 수도 있다. 현재 레이어를 나타내는 값은 현재 레이어와 관련되는 레이어 식별자를 포함할 수도 있다. 현재 레이어의 참조 레이어를 나타내는 값은 현재 레이어의 참조 레이어와 관련되는 레이어 식별자를 포함할 수도 있다. 비디오 코딩 디바이스는 NAL 단위를 포함하는 비디오 비트스트림을 비디오 디코딩 디바이스로 전송할 수도 있다.

비디오 코딩 디바이스는 SPS 및 비디오 파라미터 세트(video parameter set; VPS)를 포함하는 비디오 비트스트림을 수신할 수도 있다. VPS는 비디오 표현 포맷(video representation format)의 리스트를 포함할 수도 있다. 비디오 코딩 디바이스는, 예를 들면, SPS에서의 업데이트 비디오 표현 포맷 플래그에 기초하여, SPS와 관련되는 레이어에 대한 비디오 표현 포맷을 결정할 수도 있다. 표현 포맷 인덱스가 SPS에 존재한다는 것을 업데이트 비디오 표현 포맷 플래그가 나타내면, 비디오 코딩 디바이스는 표현 포맷 인덱스에 기초하여 비디오 표현 포맷의 리스트로부터 비디오 표현 포맷을 결정할 수도 있다. 업데이트 표현 포맷 리스트가 SPS에 존재하지 않으면, 비디오 코딩 디바이스는 디폴트 비디오 표현 포맷으로부터 비디오 표현 포맷을 결정할 수도 있다. 비디오 코딩 디바이스는, 예를 들면, SPS에서의 업데이트 비디오 표현 포맷 플래그에 기초하여, 표현 포맷 인덱스가 SPS에 존재하는지 여부를 결정할 수도 있다. 예를 들면, 업데이트 비디오 표현 포맷 플래그가 1과 동일하면, 비디오 코딩 디바이스는 표현 포맷 인덱스가 SPS에 존재한다는 것을 결정할 수도 있다. 업데이트 비디오 표현 포맷 플래그가 0과 동일하면, 비디오 코딩 디바이스는 표현 포맷 인덱스가 SPS에 존재하지 않는다는 것을 결정할 수도 있다. 디폴트 비디오 표현 포맷은 레이어에 대한 VPS에서 특정되는 디폴트 비디오 표현 포맷을 포함할 수도 있다. 비디오 업데이트 표현 포맷 인덱스는, 0 이상 (표현 포맷의 VPS 개수의 값 마이너스 1) 이하의 범위에 있을 수도 있다.

비디오 코딩 디바이스는 SPS와 관련되는 레이어에 대한 표현 포맷을 할당할 수도 있다. 비디오 코딩 디바이스는, 예를 들면, SPS와 관련되는 레이어에 대한 할당된 표현 포맷에 기초하여, 표현 포맷 인덱스를 SPS에 포함시킬지의 여부를 결정할 수도 있다. 표현 포맷 인덱스는, 예를 들면, 할당된 표현 포맷이 디폴트 표현 포맷이면, SPS에 포함되지 않을 수도 있다. 표현 포맷 인덱스는, 예를 들면, 할당된 표현 포맷이 VPS에서 특정되면, SPS에 포함될 수도 있다. 비디오 코딩 디바이스는, 표현 포맷 인덱스가 SPS에 포함되는지의 여부를 나타내기 위해 업데이트 비디오 표현 포맷 플래그를 설정할 수도 있다. 비디오 코딩 디바이스는, 표현 포맷 인덱스가 SPS에 존재한다는 것을 나타내기 위해, 업데이트 비디오 표현 포맷 플래그를 1과 동일하게 설정할 수도 있다. 비디오 코딩 디바이스는, 표현 포맷 인덱스가 SPS에 존재하지 않는다는 것을 나타내기 위해, 업데이트 비디오 표현 포맷 플래그를 0과 동일하게 설정할 수도 있다.

비디오 코딩 디바이스는 VPS 및 하나 이상의 레이어를 포함하는 비디오 비트스트림을 수신할 수도 있다. 비디오 코딩 디바이스는, 예를 들면, VPS에서의 디폴트 직접 의존성 플래그에 기초하여, 레이어의 하나 이상의 플래그와 관련되는 직접 의존성 관계를 결정할 수도 있다. 직접 의존성 타입 정보가 VPS에 존재한다는 것을 디폴트 직접 의존성 플래그가 나타내면, 비디오 코딩 디바이스는 VPS에서의 직접 의존성 타입 정보로부터 직접 의존성 관계를 결정할 수도 있다. 직접 의존성 타입 정보가 VPS에 존재하지 않는다는 것을 디폴트 직접 의존성 플래그가 나타내면, 비디오 코딩 디바이스는 디폴트에 기초하여 직접 의존성 관계를 결정할 수도 있다. 디폴트 의존성은 복수의 레이어의 모든 레이어에 적용될 수도 있다.

비디오 코딩 디바이스는, 직접 의존성 타입 정보를 VPS에 포함시킬지의 여부를 결정할 수도 있다. 디폴트 의존성을 사용할 것을 비디오 코딩 디바이스가 결정하면, 비디오 코딩 디바이스는 VPS에서 직접 의존성 타입 정보를 시그널링하는 것을 바이패스할 수도 있다. 디폴트 의존성을 사용하지 않을 것을 비디오 코딩 디바이스가 결정하면, 비디오 코딩 디바이스는 VPS에 직접 의존성 타입 정보를 포함시킬 수도 있다. 비디오 코딩 디바이스는, 직접 의존성 타입 정보가 VPS에서 시그널링되는지의 여부를 나타내기 위해, VPS에 디폴트 직접 의존성 플래그를 설정할 수도 있다.

다중 루프 SHVC 인코더는, 프로파일에 대한 참조 레이어의 수를 제한하기 위한 실행가능 명령어를 갖는 프로세서를 포함할 수도 있다. 다중 루프 SHVC 인코더는 참조 레이어 한계를 설정할 수도 있다. 다중 루프 SHVC 인코더는, 인코딩된 비디오 신호에서의 주어진 레이어에 대한 직접 및 간접 참조 레이어의 총 수가 참조 레이어 한계 미만이 되도록, 프로파일에 대한 레이어에 비디오 신호를 인코딩할 수도 있다.

다중 루프 SHVC 인코더는, 프로파일에 대한 참조 레이어의 수를 제한하기 위한 실행가능 명령어를 갖는 프로세서를 구비할 수도 있다. 다중 루프 SHVC 인코더는 참조 레이어 한계를 설정할 수도 있다. 다중 루프 SHVC 인코더는 직접 및 간접 레이어를 포함하는 프로파일에 대한 레이어에 비디오 신호를 인코딩할 수도 있다. 각각의 레이어에 대해, 다중 루프 SHVC 인코더는 직접 및 간접 참조 레이어의 총 수를 결정할 수도 있다. 다중 루프 SHVC 인코더는, 레이어에 대한 직접 및 간접 참조 레이어의 총 수가 참조 레이어 한계보다 작은지의 여부를 결정할 수도 있다. 다중 루프 SHVC 인코더는, 예를 들면, 각각의 레이어에 대한 직접 및 간접 참조 레이어의 총 수가 참조 레이어 한계보다 더 작으면, 인코딩된 비디오 신호를 디코더로 전송할 수도 있다.

비디오 코딩 디바이스는, 예를 들면, 레이어의 수를 제한하기 위해 하나 이상의 제약을 적용하는 것에 의해, 다중 루프 SHVC 코덱에 대한 코딩 복잡도를 제한하고/하거나 감소시킬 수도 있다. 레이어는 직접 의존 레이어, 간접 의존 레이어, 및/또는 베이스 레이어일 수도 있다. 하나 이상의 제약은, 예를 들면, 직접 의존 레이어의 최대 수 또는 직접 및 또는 간접 의존 레이어의 최대 수를 제한할 수도 있다. 비디오 코딩 디바이스는, VPS 확장에서의 구문 엘리먼트, SPS에서의 구문 엘리먼트, 프로파일 표시(profile indication) 중 적어도 하나를 통해, 및/또는 프로파일, 단(tier) 및/또는 레벨(예를 들면, 스케일러블 메인 프로파일)에 따라, 프로파일에서의 직접 의존 레이어의 최대 수를 제한할 수도 있다. 비디오 코딩 디바이스는, VPS 확장에서의 구문 엘리먼트, SPS에서의 구문 엘리먼트, 프로파일 표시 중 적어도 하나를 통해, 및/또는 프로파일, 단 및/또는 레벨(예를 들면, 스케일러블 메인 프로파일)에 따라, 프로파일에서의 직접 및 또는 간접 의존 레이어의 최대 수를 제한할 수도 있다. 제약은 베이스 레이어에 대한 제약일 수도 있다. 베이스 레이어에 대한 제약은 적합한(conforming) SHVC 비트스트림을 사용할 수도 있다. 적합한 SHVC 비트스트림은, 예를 들면, 0과 동일한 nuh_layer_id 및 0과 동일한 TemporalId를 갖는 픽쳐를 포함하는 하나 이상의 액세스 단위일 수도 있다. 0과 동일한 nuh_layer_id 및 0과 동일한 TemporalId를 갖는 픽쳐를 포함하는 레이어는, 레이어 식별자 리스트인 TargetDecLayerIdList에서의 각각의 nuh_layer_id 값에 대한 레이어의 직접 또는 간접 의존 레이어일 수도 있다. 비디오 코딩 디바이스는 유도된 변수를 통해 하나 이상의 제약을 시그널링할 수도 있다. 비디오 코딩 디바이스는 구문 엘리먼트를 통해 하나 이상의 제약을 시그널링할 수도 있다.

도 1은 예시적인 다중 레이어 스케일러블 비디오 코딩 시스템을 묘사한다.
도 2는 입체 비디오 코딩을 위한 시간 및 레이어간 예측의 예를 묘사한다.
도 3은 HD-UHD 스케일러빌러티(HD to UHD scalability)를 수행하도록 구성될 수도 있는 예시적인 2 레이어의 스케일러블 비디오 인코더를 예시하는 단순화된 블록도이다.
도 4는 HD-UHD 스케일러빌러티를 수행하도록 구성될 수도 있는 예시적인 2 레이어의 스케일러블 비디오 디코더를 예시하는 단순화된 블록도이다.
도 5는 시퀀스 파라미터 세트(SPS) 및 픽쳐 파라미터 세트(PPS) 활성화의 예를 예시하는 도면이다.
도 6은 예시적인 다수의 레이어 예측 구조를 예시한다.
도 7은 예시적인 간접 의존 레이어를 예시한다.
도 8은 계층적 비디오 코딩 구조의 예시적인 시간적 레이어를 예시한다.
도 9a는 하나 이상의 개시된 실시형태가 구현될 수도 있는 예시적인 통신 시스템의 시스템 도면이다.
도 9b는 도 9a에서 예시되는 통신 시스템 내에서 사용될 수도 있는 예시적인 무선 송수신 유닛(wireless transmit/receive unit; WTRU)의 시스템 도면이다.
도 9c는 도 9a에서 예시되는 통신 시스템 내에서 사용될 수도 있는 예시적인 코어 네트워크와 예시적인 무선 액세스 네트워크의 시스템 도면이다.
도 9d는 도 9a에서 예시되는 통신 시스템 내에서 사용될 수도 있는 다른 예시적인 코어 네트워크 및 다른 예시적인 무선 액세스 네트워크의 시스템 도면이다.
도 9d는 도 9a에서 예시되는 통신 시스템 내에서 사용될 수도 있는 다른 예시적인 코어 네트워크 및 다른 예시적인 무선 액세스 네트워크의 시스템 도면이다.

상세한 설명

이제, 예시적인 실시형태의 상세한 설명이 다양한 도면을 참조로 설명될 것이다. 이 설명이 가능한 구현예의 상세한 예를 제공하지만, 상세는 예시적인 것으로 의도된 것이며 본 출원의 범위를 어떤 식으로든 제한하도록 의도된 것이 아니다는 것을 유의해야 한다.

전통적인 디지털 비디오 서비스, 예컨대 위성, 케이블 및 지상 송신 채널을 통해 TV 신호를 전송하는 것과 비교하여, IPTV, 비디오 챗(video chat), 모바일 비디오, 및 스트리밍 비디오와 같은 점점 더 많은 비디오 애플리케이션이 이질적인 환경(heterogeneous environment)에서 배치될 수도 있다. 예를 들면, 비디오 애플리케이션은 상이한 사이즈의 셀, 및/또는 등등을 갖는 네트워크에서 비디오 스트림을 제공할 수도 있다. 이질성은 클라이언트 상에 또는 클라이언트에서뿐만 아니라, 네트워크에서 존재할 수도 있다. 예를 들면, 클라이언트 측에서, 스마트폰, 태블릿, PC 및 TV, 및/또는 등등을 포함해서, 다양한 스크린 사이즈 및 디스플레이 성능을 갖는 디바이스 상에서 비디오 컨텐츠를 소비하고 있는 N 스크린(N-screen) 시나리오가 제공될 수도 있고/있거나 사용될 수도 있다. 네트워크 측에서, 비디오는 인터넷, 와이파이(WiFi) 네트워크, 모바일(3G 및 4G) 네트워크, 및/또는 이들의 임의의 조합을 통해 송신될 수도 있다.

스케일러블 비디오 코딩은 가장 높은 해상도에서 한 번 신호를 인코딩할 수도 있다. 스케일러블 비디오 코딩은 소정의 애플리케이션에 의해 요구되는 및/또는 클라이언트 디바이스에 의해 지원되는 특정 레이트 및 해상도에 의존하여 스트림의 서브셋으로부터의 디코딩을 인에이블할 수도 있다. 해상도는, 공간 해상도(예를 들면, 픽쳐 사이즈), 시간 해상도(예를 들면, 프레임 레이트), 비디오 품질(예를 들면, MOS와 같은 주관적 품질, 및/또는 PSNR 또는 SSIM 또는 VQM과 같은 객관적 품질), 및/또는 등등을 포함하지만 이들로 제한되지는 않는 다수의 비디오 파라미터에 의해 정의될 수도 있다. 다른 공통적으로 사용되는 비디오 파라미터는, (예를 들면, YUV420 또는 YUV422 또는 YUV444와 같은) 크로마 포맷, (예를 들면, 8비트 또는 10비트와 같은) 비트 깊이, 복잡도, 뷰, 색역(gamut), 및/또는 종횡비(예를 들면, 16:9 또는 4:3)를 포함할 수도 있다. MPEG-2 비디오, H.263, MPEG4 비주얼 및 H.264와 같은 국제 비디오 표준은 스케일러빌러티 모드를 지원하는 프로파일 및/또는 툴을 구비할 수도 있다.

스케일러블 비디오 코딩은 부분적인 비트스트림의 송신 및 디코딩을 인에이블할 수도 있다. 부분적인 비트스트림의 송신 및 디코딩은, (예를 들면, 부분적인 비트스트림의 각각의 레이트가 주어지면) 상대적으로 높은 재구성 품질을 유지하면서, 스케일러블 비디오 코딩(scalable video coding; SVC) 시스템이, 더 낮은 시간 및/또는 공간 해상도를 갖는 비디오 서비스를 제공하는 것을 가능하게 할 수도 있다. SVC는 단일 루프 디코딩으로 구현될 수도 있고, 따라서, SVC 디코더는 디코딩되고 있는 레이어에서 모션 보상 루프를 셋업할 수도 있고, 하나 이상의 다른 하위 레이어(들)에서 모션 보상 루프(들)를 셋업하지 않을 수도 있다. 예를 들면, 비트스트림은, 베이스 레이어일 수도 있는 제1 레이어(레이어1) 및 향상 레이어일 수도 있는 제2 레이어(레이어2)를 포함하는 두 개의 레이어를 포함할 수도 있다. 이러한 SVC 디코더가 레이어2 비디오를 재구성하는 경우, 모션 보상된 픽쳐 및 디코딩된 픽쳐 버퍼의 셋업은 레이어2로 제한될 수도 있다. SVC의 이러한 구현예에서, 하위 레이어(lower layer)로부터의 각각의 참조 픽쳐는 완전히 재구성되지 않을 수도 있고, 이것은 디코더에서 계산적 복잡도 및/또는 메모리 소비를 감소시킬 수도 있다.

단일 루프 디코딩은 제약된 레이어간 텍스쳐 예측(inter-layer texture prediction)에 의해 달성될 수도 있는데, 여기서는, 주어진 레이어의 현재 블록에 대해, 대응하는 하위 레이어 블록이 인트라 모드에서 코딩되면, 하위 레이어로부터의 공간 텍스쳐 예측이 허용될 수도 있다. 이것은 제한된 인트라 예측으로 칭해질 수도 있다. 하위 레이어 블록이 인트라 모드에서 코딩되는 경우, 하위 레이어 블록은 모션 보상 동작 및/또는 디코딩된 픽쳐 버퍼 없이 재구성될 수도 있다.

SVC는, 하나 이상의 하위 레이어로부터, 모션 벡터 예측, 잔차 예측, 모드 예측 등등과 같은 하나 이상의 추가적인 레이어간 예측을 구현할 수도 있다. 이것은 향상 레이어(enhancement layer)의 레이트-왜곡 효율성을 향상시킬 수도 있다. 단일 루프 디코딩을 갖는 SVC 구현은, 디코더에서, 감소된 계산적 복잡도 및/또는 감소된 메모리 소비를 나타낼 수도 있고, 예를 들면, 블록 레벨 레이어간 예측에 대한 의존성에 기인하여, 증가된 구현 복잡도를 나타낼 수도 있다. 단일 루프 디코딩 제약을 부과하는 것에 의해 초래될 수도 있는 성능 페널티를 보상하기 위해, 인코더 설계 및 계산 복잡성은, 소망의 성능이 달성되도록, 증가될 수도 있다. 인트레이스식 컨텐츠(interlaced content)의 코딩은 SVC에 의해 지원되지 않을 수도 있다.

도 1은 예시적인 블록 기반의 하이브리드 스케일러블 비디오 코딩(SVC) 시스템을 묘사하는 단순화된 블록도이다. 레이어1(예를 들면, 베이스 레이어)에 의해 표현될 공간 및/또는 시간 신호 해상도는 입력 비디오 신호의 다운샘플링에 의해 생성될 수도 있다. 후속하는 인코딩 단계에서, Q1과 같은 양자화기의 설정은 기본 정보의 품질 레벨로 이어질 수도 있다. 하나 이상의 후속하는 상위(higher) 레이어(들)는, 상위 레이어 해상도 레벨의 근사를 나타낼 수도 있는 베이스 레이어 재구성(Y1)을 사용하여 인코딩될 수도 있고/있거나 디코딩될 수도 있다. 업샘플링 유닛은, 베이스 레이어 재구성 신호를 레이어2의 해상도로 업샘플링하는 것을 수행할 수도 있다. 다운샘플링 및/또는 업샘플링은 복수의 레이어(예를 들면, N개의 레이어의 경우, 레이어1, 레이어2, …, 레이어N) 전체에 걸쳐 수행될 수도 있다. 다운샘플링 및/또는 업샘플링 비율은, 예를 들면, 두 레이어 사이의 스케일러빌러티의 차원에 의존하여 상이할 수도 있다.

도 1의 예시적인 스케일러블 비디오 코딩 시스템에서, 주어진 상위 레이어n(예를 들면, 2 ≤ n ≤ N, N은 레이어의 총 수)에 대해, 현재의 레이어n 신호로부터, 업샘플링된 하위 레이어 신호(예를 들면, 레이어n-1 신호)를 감산하는 것에 의해 상이한 신호가 생성될 수도 있다. 이 차분 신호는 인코딩될 수도 있다. 두 레이어(레이어n1 및 레이어n2)에 의해 표현되는 각각의 비디오 신호가 동일한 공간 해상도를 가지면, 대응하는 다운샘플링 및/또는 업샘플링 동작은 바이패스될 수도 있다. 상위 레이어로부터의 디코딩 정보를 사용하지 않고도 레이어n(예를 들면, 1 ≤ n ≤ N) 또는 복수의 레이어가 디코딩될 수도 있다.

예를 들면, 도 1의 예시적인 SVC 시스템을 사용하여, 베이스 레이어 이외의 레이어에 대한 잔차 신호(예를 들면, 두 레이어 사이의 차분 신호)의 코딩에 의존하는 것은, 시각적 아티팩트(visual artifact)를 야기할 수도 있다. 이러한 시각적 아티팩트는, 예를 들면, 잔차 신호의 다이나믹 레인지를 제한하기 위한 잔차 신호의 양자화 및/또는 정규화 및/또는 잔차의 코딩 동안 수행되는 양자화에 기인할 수도 있다. 하나 이상의 상위 레이어 인코더는, 각각의 인코딩 모드로서 모션 추정 및/또는 모션 보상된 예측을 채택할 수도 있다. 잔차 신호에서의 모션 추정 및/또는 보상은 종래의 모션 추정과는 상이할 수도 있고, 시각적 아티팩트로 나타나기 쉬울 수도 있다. 시각적 아티팩트의 발생을 감소시키기 위해(예를 들면, 최소화하기 위해), 예를 들면, 잔차 신호의 다이나믹 레인지를 제한하기 위한 잔차 신호의 양자화 및/또는 정규화 및/또는 잔차의 코딩 동안 수행되는 양자화 둘 다를 포함할 수도 있는 조인트 양자화 프로세스와 함께, 더 복잡한 잔차 양자화가 구현될 수도 있다. 이러한 양자화 프로세스는 SVC 시스템의 복잡도를 증가시킬 수도 있다.

다중 뷰 비디오 코딩(multi-view video coding; MVC)은 뷰 스케일러빌러티를 제공할 수도 있다. 뷰 스케일러빌러티의 한 예에서, 종래의 2차원(two dimensional; 2D) 비디오를 재구성하기 위해 베이스 레이어 비트스트림이 디코딩될 수도 있고, 동일한 비디오 신호의 다른 뷰 표현을 재구성하기 위해, 하나 이상의 추가적인 향상 레이어가 디코딩될 수도 있다. 이러한 뷰가 결합되어 3차원(three dimensional; 3D) 디스플레이에 의해 디스플레이될 때, 적절한 깊이감을 갖는 3D 비디오가 생성될 수도 있다.

도 2는 좌측 뷰(레이어1) 및 우측 뷰(레이어2)를 갖는 입체 비디오를 코딩하기 위해 MVC를 사용하는 예시적인 예측 구조를 묘사한다. 좌측 뷰 비디오는 I-B-B-P 예측 구조로 코딩될 수도 있고, 우측 뷰 비디오는 P-B-B-B 예측 구조로 코딩될 수도 있다. 도 2에서 도시되는 바와 같이, 우측 뷰에서, 좌측 뷰의 제1의 I픽쳐와 병치되는(collocated) 제1 픽쳐는 P 픽쳐로서 코딩될 수도 있고, 우측 뷰에서의 후속하는 픽쳐는 우측 뷰에서 시간 참조로부터 유래하는 제1 예측, 및 좌측 뷰에서 레이어간 참조로부터 유래하는 제2 예측을 갖는 B 픽쳐로서 코딩될 수도 있다. MVC는 단일 루프 디코딩 피쳐를 지원하지 않을 수도 있다. 예를 들면, 도 2에서 도시되는 바와 같이, 우측 뷰(레이어2) 비디오의 디코딩은, 좌측 뷰(레이어1)의 픽쳐 전체의 이용가능성을 조건으로 할 수도 있는데, 각각의 레이어(뷰)는 각각의 보상 루프를 갖는다. MVC의 구현은 하이 레벨 구문 변경을 포함할 수도 있고, 블록 레벨 변경을 포함하지 않을 수도 있다. 이것은 MVC의 구현을 용이하게 할 수도 있다. 예를 들면, MVC는 슬라이스 및/또는 픽쳐 레벨에서 참조 픽쳐를 구성하는 것에 의해 구현될 수도 있다. MVC는, 다수의 뷰에 걸쳐 레이어간 예측을 수행하도록 도 2에서 도시되는 예를 확장하는 것에 의해, 두 개보다 많은 뷰의 코딩을 지원할 수도 있다.

MPEG 프레임 호환(MPEG frame compatible; MFC) 비디오 코딩은 3D 비디오 코딩에 대해 스케일러블 확장을 제공할 수도 있다. 예를 들면, MFC는 프레임 호환 베이스 레이어 비디오(예를 들면, 동일한 프레임으로 패킹된 두 개의 뷰)에 스케일러블 확장을 제공할 수도 있고, 풀 해상도 뷰를 복원하기 위한 하나 이상의 향상 레이어를 제공할 수도 있다. 입체 3D 비디오는 좌측 및 우측 뷰를 포함하는 두 개의 뷰를 구비할 수도 있다. 입체 3D 컨텐츠는, 두 개의 뷰를 하나의 프레임으로 패킹하고/하거나 멀티플렉싱하는 것에 의해, 그리고 패킹된 비디오를 압축하여 송신하는 것에 의해 전달될 수도 있다. 수신기 측에서, 디코딩 이후, 프레임은 언패킹되고 두 개의 뷰로서 디스플레이될 수도 있다. 뷰의 이러한 멀티플렉싱은 시간 도메인 및/또는 공간 도메인에서 수행될 수도 있다. 공간 도메인에서 수행되는 경우, 동일한 픽쳐 사이즈를 유지하기 위해, 두 개의 뷰는 (예를 들면, 2의 인자에 의해) 공간적으로 다운샘플링될 수도 있고 하나 이상의 배치예에 따라 패킹될 수도 있다. 예를 들면, 나란한 배치예는 다운샘플링된 좌측 뷰를 픽쳐의 좌측 절반 상에 그리고 다운샘플링된 우측 뷰를 픽쳐의 우측 절반 상에 둘 수도 있다. 다른 배치예는 상하(top-and-bottom), 라인별(line-by-line), 체커보드 등등을 포함할 수도 있다. 프레임 호환 3D 비디오를 달성하기 위해 사용되는 배치예는, 예를 들면, 하나 이상의 프레임 패킹 배치 SEI 메시지에 의해 전달될 수도 있다. 이러한 배치예가 대역폭 소비를 최소한으로 증가시키면서 3D 전달을 달성할 수도 있지만, 공간적 다운샘플링은 뷰에서 앨리어싱(aliasing)을 야기할 수도 있고/있거나 3D 비디오의 시각적 품질 및 유저 경험을 감소시킬 수도 있다.

비디오 애플리케이션, 예컨대 IPTV, 비디오 챗, 모바일 비디오, 및/또는 스트리밍 비디오는 이질적 환경에서 배치될 수도 있다. 이질성은 클라이언트 측에서 존재할 수도 있다. 이질성은 네트워크에서 존재할 수도 있다. N 스크린은, 스마트폰, 태블릿, PC, 및/또는 TV를 포함하는, 다양한 스크린 사이즈 및/또는 디스플레이 성능을 갖는 디바이스 상에서 비디오 컨텐츠를 소비하는 것을 포함할 수도 있다. N 스크린은, 예를 들면, 클라이언트 측에 대한 이질성에 기여할 수도 있다. 비디오는, 예를 들면, 네트워크 측에서, 인터넷, 와이파이 네트워크, 모바일 네트워크(예를 들면, 3G 및/또는 4G), 및/또는 이들 네트워크의 임의의 조합을 통해 송신될 수도 있다. 스케일러블 비디오 코딩은 서비스의 유저 경험 및/또는 비디오 품질을 향상시킬 수도 있다. 스케일러블 비디오 코딩은 가장 높은 해상도에서 한 번 신호를 인코딩하는 것을 포함할 수도 있다. 스케일러블 비디오 코딩은, 예를 들면, 소정의 애플리케이션에 의해 사용되는 및/또는 클라이언트 디바이스에 의해 지원되는 이용가능한 네트워크 대역폭 및/또는 비디오 해상도에 의존하여 스트림의 서브셋으로부터의 디코딩을 인에이블하는 것을 수반할 수도 있다. 해상도는 비디오 파라미터의 수를 특징으로 할 수도 있다. 비디오 파라미터는 다음 중 하나 이상을 포함할 수도 있다: 공간 해상도, 시간 해상도, 비디오 품질, 크로마 포맷, 비트 깊이, 복잡도, 뷰, 컬러 색역, 및/또는 종횡비 등등. 공간 해상도는 픽쳐 사이즈를 포함할 수도 있다. 시간 해상도는 프레임 레이트를 포함할 수도 있다. 비디오 품질은 MOS와 같은 주관적 품질 및/또는 PSNR, SSIM 또는 VQM과 같은 객관적 품질을 포함할 수도 있다. 크로마 포맷은 YUV420, YUV422 또는 YUV444 등등을 포함할 수도 있다. 비트 깊이는 8비트 비디오, 10비트 비디오 등등을 포함할 수도 있다. 종횡비는 16:9 또는 4:3 등등을 포함할 수도 있다. HEVC 스케일러블 확장은 적어도 공간적 스케일러빌러티(예를 들면, 스케일러블 비트스트림은 하나보다 많은 공간 해상도의 신호를 포함할 수도 있다), 품질 스케일러빌러티(예를 들면, 스케일러블 비트스트림은 하나보다 많은 품질 레벨의 신호를 포함할 수도 있다), 및/또는 표준 스케일러빌러티(예를 들면, 스케일러블 비트스트림은 H.264/AVC를 사용하여 코딩된 베이스 레이어 및 HEVC를 사용하여 코딩된 하나 이상의 향상 레이어를 포함할 수도 있다)를 지원할 수도 있다. 공간적 스케일러빌러티에서, 스케일러블 비트스트림은 하나 이상의 공간 해상도의 신호를 포함할 수도 있다. 품질 스케일러빌러티에서, 스케일러블 비트스트림은 하나 이상의 품질 레벨의 신호를 포함할 수도 있다. 표준 스케일러빌러티에서, 스케일러블 비트스트림은, 예를 들면, H.264/AVC를 사용하여 코딩된 베이스 레이어, 및 예를 들면, HEVC를 사용하여 코딩된 하나 이상의 향상 레이어를 포함할 수도 있다. 품질 스케일러빌러티는 SNR 스케일러빌러티로 칭해질 수도 있다. 뷰 스케일러빌러티는 3D 비디오 애플리케이션을 지원할 수도 있다. 뷰 스케일러빌러티, 스케일러블 비트스트림은 2D 및 3D 비디오 신호 둘 다를 포함할 수도 있다.

비디오 코딩 시스템(예를 들면, 고효율 비디오 코딩의 스케일러블 확장(scalable extensions of high efficiency video coding; SHVC)에 따른 비디오 코딩 시스템)은, 비디오 코딩을 수행하도록 구성되는 하나 이상의 디바이스를 포함할 수도 있다. 비디오 코딩을 수행하도록(예를 들면, 비디오 신호를 인코딩하도록 및/또는 디코딩하도록) 구성되는 디바이스는 비디오 코딩 디바이스로서 칭해질 수도 있다. 이러한 비디오 코딩 디바이스는 비디오 대응 디바이스(video-capable device), 예를 들면, 텔레비전, 디지털 미디어 플레이어, DVD 플레이어, Blue-ray™ 플레이어, 네트워크형 미디어 플레이어 디바이스(networked media player device), 데스크탑 컴퓨터, 랩탑 퍼스널 컴퓨터, 태블릿 디바이스, 모바일 폰, 비디오 회의 시스템, 하드웨어 및/또는 소프트웨어 기반의 비디오 인코딩 시스템, 또는 등등을 포함할 수도 있다. 이러한 비디오 코딩 디바이스는 무선 통신 네트워크 엘리먼트, 예컨대 무선 송수신 유닛(wireless transmit/receive unit; WTRU), 기지국, 게이트웨이, 또는 다른 네트워크 엘리먼트를 포함할 수도 있다.

도 3은 예시적인 인코더(예를 들면, SHVC 인코더)를 예시하는 단순화된 블록도이다. 도시된 예의 인코더는 두 레이어의 HD-UHD 스케일러블 비트스트림을 생성하기 위해 사용될 수도 있다. 도 3에서 도시되는 바와 같이, 베이스 레이어(base layer; BL) 비디오 입력(330)은 HD 비디오 신호일 수도 있고, 향상 레이어(enhancement layer; EL) 비디오 입력(302)은 UHD 비디오 신호일 수도 있다. HD 비디오 신호(330) 및 UHD 비디오 신호(302)는, 예를 들면, 다음 중 하나에 의해 서로 대응할 수도 있다: 하나 이상의 다운샘플링 파라미터(예를 들면, 공간적 스케일러빌러티); 하나 이상의 컬러 그레이딩 파라미터(color grading parameter)(예를 들면, 컬러 색역 스케일러빌러티), 또는 하나 이상의 색조(tone) 매핑 파라미터(예를 들면, 비트 깊이 스케일러빌러티)(328).

BL 인코더(318)는, 예를 들면, 고효율 비디오 코딩(HEVC) 비디오 인코더 또는 H.264/AVC 비디오 인코더를 포함할 수도 있다. BL 인코더(318)는, 예측을 위해 하나 이상의 BL 재구성 픽쳐(BL reconstructed picture)(예를 들면, BL DPB(320)에 저장됨)를 사용하여 BL 비트스트림(332)을 생성하도록 구성될 수도 있다. EL 인코더(304)는, 예를 들면, HEVC 인코더를 포함할 수도 있다. EL 인코더(304)는, 예를 들면, EL DPB에 레이어간 참조 픽쳐를 추가하는 것에 의해 레이어간 예측을 지원하기 위한 하나 이상의 하이 레벨 구문 수정을 포함할 수도 있다. EL 인코더(304)는, 예측을 위해 하나 이상의 EL 재구성 픽쳐(예를 들면, EL DPB(306)에 저장됨)를 사용하여 EL 비트스트림(308)을 생성하도록 구성될 수도 있다.

BL DPB(320)의 하나 이상의 재구성된 BL 픽쳐는, 업샘플링(예를 들면, 공간적 스케일러빌러티의 경우), 컬러 색역 변환(예를 들면, 컬러 색역 스케일러빌러티의 경우), 또는 역 색조 매핑(예를 들면, 비트 깊이 스케일러빌러티의 경우) 중 하나 이상을 포함하는 하나 이상의 픽쳐 레벨 레이어간 프로세싱 기술을 사용하여, 레이어간 프로세싱(inter-layer processing; ILP) 유닛(322)에서 프로세싱될 수도 있다. 하나 이상의 프로세싱된 재구성된 BL 픽쳐는 EL 코딩에 대한 참조 픽쳐로서 사용될 수도 있다. 레이어간 프로세싱은 EL 인코더(304)로부터 수신되는 향상 비디오 정보(314) 및/또는 BL 인코더(318)로부터 수신되는 기본 비디오 정보(316)에 기초하여 수행될 수도 있다. 이것은 EL 코딩 효율성을 향상시킬 수도 있다.

326에서, EL 비트스트림(308), BL 비트스트림(332), 및 레이어간 프로세싱에서 사용되는 파라미터, 예컨대 ILP 정보(324)는, 함께, 스케일러블 비트스트림(312)으로 멀티플렉싱될 수도 있다. 예를 들면, 스케일러블 비트스트림(312)은 SHVC 비트스트림을 포함할 수도 있다.

도 4는, 도 3에서 묘사되는 예시적인 인코더에 대응할 수도 있는 예시적인 디코더(예를 들면, SHVC 디코더)를 예시하는 단순화된 블록도이다. 도시된 예의 디코더는, 예를 들면, 두 레이어의 HD-UHD 비트스트림을 디코딩하기 위해 사용될 수도 있다.

도 4에서 도시되는 바와 같이, 디멀티플렉서 모듈(412)은 스케일러블 비트스트림(402)을 수신할 수도 있고, 스케일러블 비트스트림(402)을 디멀티플렉싱하여 ILP 정보(414), EL 비트스트림(404) 및 BL 비트스트림(418)을 생성할 수도 있다. 예를 들면, 스케일러블 비트스트림(402)은 SHVC 비트스트림을 포함할 수도 있다. EL 비트스트림(404)은 EL 디코더(406)에 의해 디코딩될 수도 있다. EL 디코더(406)는, 예를 들면, HEVC 비디오 디코더를 포함할 수도 있다. EL 디코더(406)는, 예측을 위해 하나 이상의 EL 재구성 픽쳐(예를 들면, EL DPB(408)에 저장됨)를 사용하여 UHD 비디오 신호(410)를 생성하도록 구성될 수도 있다. BL 비트스트림(418)은 BL 디코더(420)에 의해 디코딩될 수도 있다. BL 디코더(420)는, 예를 들면, HEVC 비디오 디코더 또는 H.264/AVC 비디오 디코더를 포함할 수도 있다. BL 디코더(420)는 예측을 위해 하나 이상의 BL 재구성 픽쳐(예를 들면, BL DPB(422)에 저장됨)를 사용하여 HD 비디오 신호(424)를 생성하도록 구성될 수도 있다. UHD 비디오 신호(410) 및 HD 비디오 신호(424)와 같은 재구성된 비디오 신호는 디스플레이 디바이스를 구동하기 위해 사용될 수도 있다.

BL DPB(422)의 하나 이상의 재구성된 BL 픽쳐는, 하나 이상의 픽쳐 레벨 레이어간 프로세싱 기술을 사용하여, ILP 유닛(916)에서 프로세싱될 수도 있다. 이러한 픽쳐 레벨 레이어간 프로세싱 기술은, 업샘플링(예를 들면, 공간적 스케일러빌러티의 경우), 컬러 색역 변환(예를 들면, 컬러 색역 스케일러빌러티의 경우), 또는 역 색조 매핑(예를 들면, 비트 깊이 스케일러빌러티의 경우) 중 하나 이상을 포함할 수도 있다. 하나 이상의 프로세싱된 재구성된 BL 픽쳐는 EL 코딩에 대한 참조 픽쳐로서 사용될 수도 있다. 레이어간 프로세싱은 ILP 정보(414)와 같은 레이어간 프로세싱에서 사용되는 파라미터에 기초하여 수행될 수도 있다. 예측 정보는 예측 블록 사이즈, 하나 이상의 모션 벡터(예를 들면, 이것은 모션의 방향 및 양을 나타낼 수도 있다), 및/또는 하나 이상의 참조 인덱스(예를 들면, 이것은 어떤 참조 픽쳐로부터 예측 신호가 획득되어야 하는지를 나타낼 수도 있다)를 포함할 수도 있다. 이것은 EL 디코딩 효율성을 향상시킬 수도 있다.

참조 인덱스 기반의 프레임워크는, 단일 레이어 코덱에서의 블록 레벨 동작과 유사한 블록 레벨 동작을 수행할 수도 있다. 단일 레이어 코덱 로직은 스케일러블 코딩 시스템 내에서 재사용될 수도 있다. 참조 인덱스 기반의 프레임워크는 스케일러블 코덱 설계를 단순화할 수도 있다. 참조 인덱스 기반의 프레임워크는, 예를 들면, 적절한 하이 레벨 구문 시그널링에 의해 및/또는 코딩 효율성을 달성하기 위해 레이어간 프로세싱을 활용하는 것에 의해, 상이한 타입의 스케일러빌러티를 지원하기 위한 유연성을 제공할 수도 있다. 하나 이상의 하이 레벨 구문 변경은 SHVC의 레이어간 프로세싱 및/또는 다중 레이어 시그널링을 지원할 수도 있다.

SHVC에 대한 하이 레벨 구문 설계는, 예를 들면, 파라미터 세트 식별 제약, 하이 레벨 구문 엘리먼트 및 시맨틱 개선, 및/또는 대응하는 구문/시맨틱 변경에 대한 디코딩 프로세스를 포함할 수도 있다.

파라미터 세트는 비디오 파라미터 세트(VPS), 시퀀스 파라미터 세트(SPS), 및/또는 픽쳐 파라미터 세트(PPS)일 수도 있다. 파라미터 세트는, 구문 엘리먼트를 포함할 수도 있는 하이 레벨 구문 구조일 수도 있다. 구문 엘리먼트는 다수의 비트스트림 레이어에 적용될 수도 있다. 구문 엘리먼트는 하나의 레이어 내의 다수의 코딩된 픽쳐에 적용될 수도 있다. 파라미터 세트는 비디오 비트스트림의 코딩된 픽쳐와 함께 전송될 수도 있다. 예를 들면, 비디오 코딩 디바이스는 비디오 비트 스트림의 코딩된 픽쳐와 함께 파라미터 세트를 전송하도록 구성될 수도 있다. 파라미터 세트는, 신뢰할 수 있는 채널, 하드 코딩(hard coding) 등등을 사용하여 다른 수단, 예컨대 대역외 송신을 통해 전송될 수도 있다. 비디오 코딩 디바이스는, 신뢰할 수 있는 채널, 하드코딩 등등을 사용하여 다른 수단, 예컨대 대역외 송신을 통해 파라미터 세트를 전송하도록 구성될 수도 있다. 슬라이스 헤더는, 상대적으로 작을 수도 있는 또는 소정의 슬라이스 또는 픽쳐 타입에 적절할 수도 있는 픽쳐 관련 정보를 포함할 수도 있다. 슬라이스 헤더는 하이 레벨 구문의 일부로서 고려될 수도 있다.

표 1은 예시적인 NAL 단위 헤더 구문 구조를 예시한다. 식별자(nuh_layer_id)는 레이어의 식별자를 명시할 수도 있다. nuh_layer_id의 값은 0과 동일할 수도 있다. 예를 들면, nuh_layer_id의 값은 VPS에 대해 0과 동일할 수도 있다. 표 2는 부분적인 SPS 구문 구조의 예를 예시한다. 표 3은 부분적인 PPS 구문 구조의 예를 예시한다. 표 4는 부분적인 슬라이스 헤더 구문 구조의 예를 예시한다.

도 5는 SPS, PPS, 및 슬라이스 세그먼트 헤더의 NAL 단위를 이용한 SPS 및 PPS 활성화의 예를 예시한다. NAL 단위는 NAL 단위 헤더 및/또는 NAL 단위 헤더 레이어 식별자를 포함할 수도 있다. NAL 단위는 페이로드 데이터를 포함할 수도 있다. 예시적인 NAL 단위 헤더는 표 1에서 예시된다. NAL 단위 페이로드 데이터는, 예를 들면, NAL 단위 타입(nal_unit_type)에 의존하여, SPS, PPS, 및/또는 슬라이스 세그먼트 데이터와 같은 데이터를 포함할 수도 있다.

도 5에서 도시되는 예에서, 하나 이상의 SPS NAL 단위(502, 504, 506)는 고유의 SPS 식별자(sps_seq_parameter_set_id)를 구비할 수도 있다. 하나 이상의 PPS NAL 단위(508, 510, 512)는 고유의 PPS 식별자(pps_pic_parameter_set_id)를 포함할 수도 있다. 코딩 픽쳐 슬라이스 헤더는 구문 엘리먼트인 slice_pic_parameter_set_id를 포함할 수도 있다. 구문 엘리먼트 slice_pic_parameter_set_id는 슬라이스가 참조하고 있는 PPS NAL 단위를 나타낼 수도 있다. 예를 들면, 비디오 코딩 디바이스는, 슬라이스가 참조하고 있는 PPS NAL 단위를 나타내기 위해 구문 엘리먼트 slice_pic_parameter_set_id를 설정할 수도 있다. 비디오 디코딩 디바이스는, 슬라이스가 참조하고 있는 PPS NAL 단위를 결정하기 위해 구문 엘리먼트 slice_pic_parameter_set_id를 사용할 수도 있다. 비디오 코딩 디바이스, 예컨대, 도 1에서 예시되는 비디오 코딩 디바이스, 도 3에서 예시되는 비디오 인코더 및/또는 도 4에서 예시되는 비디오 디코더는 비디오 신호 및/또는 비디오 신호의 레이어를 활성화할 수도 있다. 예를 들면, 도 5에서, 슬라이스는 2와 동일한 pps_pic_parameter_set_id를 갖는 PPS NAL 단위(510)를 참조하고 있을 수도 있다. 비디오 코딩 디바이스는 2와 동일한 pps_pic_parameter_set_id를 갖는 PPS NAL 단위(510)를 활성화하도록 구성될 수도 있다. 2와 동일한 pps_pic_parameter_set_id를 갖는 PPS NAL 단위(510)는 자신의 구문 엘리먼트 pps_seq_parameter_set_id를 갖는 SPS NAL 단위를 참조할 수도 있다. 도 5에서 도시되는 예에서, 활성 PPS NAL 단위의 pps_seq_parameter_set_id는 2와 동일할 수도 있다. 비디오 코딩 디바이스는 2와 동일한 sps_seq_parameter_set_id를 갖는 SPS NAL 단위(504)를 활성화하도록 구성될 수도 있다.

비디오 코딩 디바이스는, SPS 및/또는 PPS 단위가 다른 NAL 단위에 의해 참조될 때 SPS 및/또는 PPS를 활성화할 수도 있다. 예를 들면, PPS는 코딩된 슬라이스를 포함하는 NAL 단위에 의해 활성화될 수도 있다. 코딩된 슬라이스의 슬라이스 헤더는 slice_pic_parameter_set_id의 구문 엘리먼트를 포함할 수도 있다. PPS는 pps_seq_parameter_set_id의 구문 엘리먼트를 포함할 수도 있다. 다른 NAL 단위에서 slice_pic_parameter_set_id 및/또는 pps_seq_parameter_set_id 구문 엘리먼트에 의해 식별되는 SPS 및/또는 PPS가 활성화될 수도 있다.

비디오 코딩 디바이스는, 예를 들면, 활성 중인(activating) SPS 또는 PPS의 nuh_layer_id 값이, 비디오 코딩 디바이스가 활성화하는 레이어보다 작거나 또는 같으면, SPS 또는 PPS를 활성화할 수도 있다. 활성 중인 SPS 또는 PPS nuh_layer_id의 값은 활성화된 레이어의 nuh_layer_id와 동일하지 않을 수도 있다. 활성 중인 SPS 또는 PPS nuh_layer_id의 값은 활성화된 레이어의 의존 레이어 중 하나의 nuh_layer_id의 값과 동일하지 않을 수도 있다. 비디오 코딩 디바이스, 예컨대 디코더는 서브 비트스트림 추출 프로세스 동안 SPS 또는 PPS NAL 단위를 제거할 수도 있다. SPS 또는 PPS NAL 단위는, 예를 들면, 서브 비트스트림 추출 프로세스 동안 제거될 수도 있는데, SPS 또는 PPS가 특정 레이어에 대한 정보(예를 들면, 필수 정보)를 제공한다는 것을 식별하는 것이 어려울 수도 있기 때문이다. 비트스트림 추출에서 오류가 발생하고, 비디오 코딩 디바이스가 비트스트림 추출에서 SPS 또는 PPS(예를 들면, 필수 SPS 또는 PPS)를 제거하면, 결과적으로 나타나는 비트스트림에서의 레이어 중 적어도 하나는, 누락된 SPS 및/또는 PPS로 인해 정확하게 디코딩되지 않을 수도 있다. 비트스트림 추출 프로세스에서, 비디오 코딩 디바이스, 예컨대 디코더는, 비디오 코딩 디바이스가 보존하기를 원할 수도 있는 레이어에서 NAL 단위의 각각을 파싱할 수도 있다. 비디오 코딩 디바이스는, 예를 들면, 비디오 코딩 디바이스가 보존하기를 원할 수도 있는 레이어에서 NAL 단위의 각각을 파싱하는 것에 의해, SPS 또는 PPS(예를 들면, 필수 SPS 또는 PPS)가 드랍되지 않는 것을 보장할 수도 있다.

비디오 코딩 디바이스는 NAL 단위를 식별할 수도 있고 NAL 단위가 현재 레이어의 액티브 파라미터 세트를 포함하는지 여부를 결정할 수도 있다. NAL 단위가 현재 레이어에 대한 액티브 파라미터 세트를 포함한다는 결정에 기초하여, 비디오 코딩 디바이스는 NAL 단위와 관련되는 NAL 단위 헤더 레이어 식별자를 다음 중 적어도 하나로 설정할 수도 있다: 제로, 현재 레이어를 나타내는 값, 또는 현재 레이어의 참조 레이어를 나타내는 값. 참조 레이어는 의존 레이어를 포함할 수도 있고, 이들은 본원에서 상호교환적으로 사용될 수도 있다. NAL 단위는 PPS NAL 단위, SPS NAL 단위, 및/또는 등등일 수도 있다. 현재 레이어를 나타내는 값은 NAL 단위 헤더에서 시그널링되는 현재 레이어와 관련되는 레이어 식별자를 나타내는 값일 수도 있다. 현재 레이어의 참조 레이어를 나타내는 값은 NAL 단위 헤더에서 시그널링되는 현재 레이어의 참조 레이어의 레이어 식별자를 나타내는 값일 수도 있다. 비디오 코딩 디바이스는 NAL 단위를 포함하는 비디오 비트스트림을 비디오 디코딩 디바이스로 전송할 수도 있다.

예를 들면, 비디오 코딩 디바이스, 예컨대 인코더는 0과 동일한 활성 중인 SPS 또는 PPS NAL 단위의 nuh_layer_id의 값을 설정하도록 구성될 수도 있다. 비디오 코딩 디바이스는 활성 중인 SPS 또는 PPS NAL 단위의 nuh_layer_id의 값을 0으로 제약할 수도 있다.

비디오 코딩 디바이스는 활성 중인 SPS 또는 PPS NAL 단위의 nuh_layer_id의 값을 현재 레이어의 값과 동일하게 설정할 수도 있다. 비디오 코딩 디바이스는 활성 중인 SPS 또는 PPS NAL 단위의 nuh_layer_id의 값을 현재 레이어의 의존 레이어의 값과 동일하게 설정할 수도 있다. 비디오 코딩 디바이스는 활성 중인 SPS 또는 PPS NAL 단위의 nuh_layer_id의 값을 현재 레이어의 값과 동일하도록 제약할 수도 있다. 비디오 코딩 디바이스는 활성 중인 SPS 또는 PPS NAL 단위의 nuh_layer_id의 값을 현재 레이어의 의존 레이어의 값과 동일하도록 제약할 수도 있다.

비디오 코딩 디바이스는, 예를 들면, 주어진 레이어의 디코딩에서 수반되는 대응하는 SPS 또는 PPS NAL 단위의 식별을 인에이블하기 위해, 제약을 적용할 수도 있다. 비디오 코딩 디바이스는, 예를 들면, 대응하는 SPS 또는 PPS NAL 단위의 nuh_layer_id의 값을 식별하는 것에 의해, 주어진 레이어의 디코딩에서 수반되는 대응하는 SPS 또는 PPS NAL 단위의 식별을 인에이블할 수도 있다. 비디오 코딩 디바이스는 대응하는 SPS 또는 PPS NAL 단위의 nuh_layer_id의 값을 식별할 수도 있다. 비디오 코딩 디바이스는, 예를 들면, 서브 비트스트림 추출에서, 심층 패킷 검사(deep packet inspection)를 생략할 수도 있다. 서브 비트스트림 추출은, SPS 또는 PPS NAL 단위가 드랍되지 않는 것을 보장할 수도 있다.

비디오 코딩 디바이스는 서브 비트스트림 추출을 활용하도록 구성될 수도 있다. 서브 비트스트림 추출에서, 비디오 코딩 디바이스는 입력으로서 비트스트림, 타겟 최고 TemporalId 값(tIdTarget), 및/또는, 타겟 레이어 식별자 리스트(layerIdListTarget)를 취할 수도 있다. 서브 비트스트림 추출에서, 비디오 코딩 디바이스는 서브 비트스트림을 출력할 수도 있다. 입력 비트스트림에 대한 비트스트림 적합성을 위해, 적합한 비트스트림은, 타겟 최고 TemporalId 값(tIdTarget) 및 타겟 레이어 식별자 리스트(layerIdListTarget)를 갖는 출력 서브 비트스트림일 수도 있다. 타겟 최고 TemporalId 값(tIdTarget)은, 예를 들면, 0 이상 6 이하의 범위에서의 임의의 값과 동일할 수도 있다. 타겟 레이어 식별자 리스트(layerIdListTarget)는, 예를 들면, 액티브 비디오 파라미터 세트에서 식별되는 레이어 세트와 관련되는 레이어 식별자 리스트와 동일할 수도 있다. 적합한 비트스트림은 0과 동일한 nuh_layer_id 및 0과 동일한 TemporalId를 갖는 하나 이상의 코딩된 슬라이스 세그먼트 NAL 단위를 포함할 수도 있다.

비디오 코딩 디바이스는 출력 서브 비트스트림을 유도하도록 구성될 수도 있다. 비디오 코딩 디바이스는, 예를 들면, 0과 동일한 nuh_layer_id를 갖는 그리고 비내재 버퍼링 기간 SEI 메시지(non-nested buffering period SEI message), 비내재 픽쳐 타이밍 SEI 메시지(non-nested picture timing SEI message), 및/또는 비내재 디코딩 단위 정보 SEI 메시지(non-nested decoding unit information SEI message)를 포함할 수도 있는 부가 향상 정보(supplemental enhancement information; SEI) NAL 단위를 제거하는 것에 의해, 출력 서브 비트스트림을 유도할 수도 있다. 비디오 코딩 디바이스는, 예를 들면, 비내재 버퍼링 기간 SEI 메시지, 비내재 픽쳐 타이밍 SEI 메시지, 및/또는 비내재 디코딩 단위 정보 SEI 메시지를 포함할 수도 있는 부가 향상 정보(SEI) NAL 단위를 제거하는 것에 의해, 출력 서브 비트스트림을 유도할 수도 있다. 비디오 코딩 디바이스는, 예를 들면, layerIdListTarget가 비트스트림의 각각의 NAL 단위에 nuh_layer_id의 값의 각각을 포함하지 않으면, VCL NAL 단위를 제거할 수도 있다. 비디오 코딩 디바이스는, 예를 들면, tIdTarget가 비트스트림의 각각의 NAL 단위에서의 가장 큰 TemporalId보다 작으면, VCL NAL 단위를 제거할 수도 있다. 비트스트림 추출기는, 예를 들면, 서브 비트스트림에 적용가능한 SEI 메시지가 원래의 비트스트림에서 내재된 SEI 메시지로서 존재하면, 적절한 비내재 버퍼링 픽쳐 SEI 메시지, 비내재 픽쳐 타이밍 SEI 메시지, 및/또는 비내재 디코딩 단위 정보 SEI 메시지를 추출된 서브 비트스트림에 포함할 수도 있다. 비트스트림 추출기는 미들박스(middle bod)일 수도 있다. 비트스트림 추출기는 엔드 유저에 의해 요청되는 레이어를 통과시킬 수도 있다. 비디오 코딩 디바이스, 예컨대 디코더는, layerIdListTarget에 포함되는 값 중에 없는 nuh_layer_id 또는 tIdTarget보다 더 큰 TemporalId를 갖는 비디오 코딩 레이어(video coding layer; VCL) NAL 단위를 제거하도록 구성될 수도 있다. 비디오 코딩 디바이스, 예컨대 디코더는 비VCL NAL 단위, 예컨대 SPS 및 PPS를 유지하도록 구성될 수도 있다. 비디오 코딩 디바이스, 예컨대 디코더는, 비VCL NAL 단위의 nuh_layer_id가 layerIdListTarget로부터 배제될 수도 있더라도, 비VCL NAL 단위를 유지할 수도 있다. 비VCL NAL 단위를 유지하는 것은, 비VCL NAL이 활성화하는 레이어에 대한 서브 비트스트림 추출 이후에 SPS 및/또는 PPS가 이용가능할 수도 있다는 것을 보장할 수도 있다. 비디오 코딩 디바이스는 서브 비트스트림 추출 동안 layerIdListTarget에 포함되는 값 중에 없는 nuh_layer_id 또는 tIdTarget보다 더 큰 TemporalId를 갖는 VCL NAL 단위를 제거할 수도 있다.

표 5는 의존성 시그널링의 예를 예시한다. 레이어 의존성(예를 들면, direct_dependency_flag) 및 레이어 의존성 타입(direct_dependency_type)은 VPS 확장의 일부로서 별개로 시그널링될 수도 있다.

비디오 코딩 디바이스, 예컨대 인코더는 구문 엘리먼트의 값을 설정하도록 구성될 수도 있다. 예를 들면, 비디오 코딩 디바이스는, 정보를 디코더에게 나타내기 위해, 구문 엘리먼트의 값을 설정할 수도 있다.

구문 엘리먼트 direct_dependency_flag[i][j]가 0과 동일하면, 인덱스 j를 갖는 레이어는 인덱스 i를 갖는 레이어에 대한 직접 참조 레이어가 아닐 수도 있다. direct_dependency_flag[i][j]가 1과 동일하면, 인덱스 j를 갖는 레이어는 인덱스 i를 갖는 레이어에 대한 직접 참조 레이어일 수도 있다. direct_dependency_flag[i][j]가 0과, vps_max_layers_minus1 사이의 범위에서 i 및 j에 대해 존재하지 않으면, direct_dependency_flag[i][j]는 0과 동일하다고 추론될 수도 있다.

구문 엘리먼트 direct_dep_type_len_minus2 플러스 2는 direct_dependency_type[i][j] 구문 엘리먼트의 비트의 수를 명시할 수도 있다. 비트스트림에서, direct_dep_type_len_minus2의 값은 0과 동일할 수도 있다. 디코더는, 0 이상 30 이하의 범위에 있는 direct_dep_type_len_minus2의 다른 값이 구문에서 나타나는 것을 허용할 수도 있다.

비디오 코딩 디바이스는 정보를 나타내기 위해 구문 엘리먼트를 활용하도록 구성될 수도 있다. 예를 들면, 구문 엘리먼트 direct_dependency_type[i][j]는, layer_id_in_nuh[i]와 동일한 nuh_layer_id를 갖는 레이어와 layer_id_in_nuh[j]와 동일한 nuh_layer_id를 갖는 레이어 사이의 의존성의 타입을 나타낼 수도 있다. 0과 동일한 direct_dependency_type[i][j]는, layer_id_in_nuh[j]와 동일한 nuh_layer_id를 갖는 레이어가 레이어간 샘플 예측에 대해 사용될 수도 있다는 것을 나타낼 수도 있다. 0과 동일한 direct_dependency_type[i][j]는, layer_id_in_nuh[j]와 동일한 nuh_layer_id를 갖는 레이어가 layer_id_in_nuh[i]와 동일한 nuh_layer_id를 갖는 레이어의 레이어간 모션 예측에서 배제될 수도 있다는 것을 나타낼 수도 있다. 1과 동일한 direct_dependency_type[i][j]는, layer_id_in_nuh[j]와 동일한 nuh_layer_id를 갖는 레이어가 레이어간 모션 예측에 대해 사용될 수도 있다는 것을 나타낼 수도 있다. 1과 동일한 direct_dependency_type[i][j]는, layer_id_in_nuh[j]와 동일한 nuh_layer_id를 갖는 레이어가 layer_id_in_nuh[i]와 동일한 nuh_layer_id를 갖는 레이어의 레이어간 샘플 예측에서 배제될 수도 있다는 것을 나타낼 수도 있다. 2와 동일한 direct_dependency_type[i][j]는, layer_id_in_nuh[j]와 동일한 nuh_layer_id를 갖는 레이어가, layer_id_in_nuh[i]와 동일한 nuh_layer_id를 갖는 레이어의 레이어간 샘플 모션 예측 및 레이어간 모션 예측 둘 다에 대해 사용될 수도 있다는 것을 나타낼 수도 있다. direct_dependency_type[i][j]의 값이 0 이상 2 이하의 범위 안에 있을 수도 있지만, 디코더는 3 이상 2³²-2 이하의 범위에 있는 direct_dependency_type[i][j]의 값이 구문에서 나타나는 것을 허용할 수도 있다.

비디오 코딩 디바이스, 예컨대 도 1에서 예시되는 비디오 코딩 디바이스, 도 3에서 예시되는 비디오 인코더 및/또는 도 3에서 예시되는 비디오 디코더는, 어떤 레이어가 각각의 향상 레이어의 직접 의존 레이어인지 및 각각의 직접 의존 레이어가 지원할 수도 있는 레이어간 예측의 타입을 나타내기 위해, 구문 엘리먼트를 사용할 수도 있다. 예를 들면, 어떤 레이어가 각각의 향상 레이어의 직접 의존 레이어인지 및 각각의 직접 의존 레이어가 지원할 수도 있는 레이어간 예측의 타입을 나타내기 위해, 구문 엘리먼트 direct_dependency_flag[i][j], direct_dep_type_len_minus2, 및 direct_dependency_type[i][j]가 비디오 코딩 디바이스에 의해 사용될 수도 있다.

예를 들면, 비디오 코딩 디바이스, 예컨대 인코더는, 어떤 레이어가 각각의 향상 레이어의 직접 의존 레이어인지 및 각각의 직접 의존 레이어가 지원할 수도 있는 레이어간 예측의 타입을 나타내기 위해, 구문 엘리먼트 direct_dependency_flag[i][j], direct_dep_type_len_minus2, 및 direct_dependency_type[i][j]를 설정하도록 구성될 수도 있다. 예를 들면, 비디오 코딩 디바이스, 예컨대 디코더는, 어떤 레이어가 각각의 향상 레이어의 직접 의존 레이어인지 및 각각의 직접 의존 레이어가 지원할 수도 있는 레이어간 예측의 타입을 결정하기 위해, 구문 엘리먼트 direct_dependency_flag[i][j], direct_dep_type_len_minus2, 및 direct_dependency_type[i][j]를 사용하도록 구성될 수도 있다.

SHVC는 레이어간 예측 타입을 지원할 수도 있다. 예를 들면, SHVC는 텍스쳐 샘플 예측 및 모션 예측을 지원할 수도 있다. 비디오 코딩 디바이스는 구문 엘리먼트 direct_dep_type_len_minus2를 생략할 수도 있다. 비디오 코딩 디바이스는 direct_dependency_type[i][j]의 디스크립터를 u(v)로부터 u(2)로 변경할 수도 있다.

비디오 코딩 디바이스, 예컨대 도 1에서 예시되는 비디오 코딩 디바이스, 도 3에서 예시되는 비디오 인코더 및/또는 도 3에서 예시되는 비디오 디코더는 레이어 사이의 의존성을 나타낼 수도 있다. 비디오 코딩 디바이스는, 두 레이어 사이의 의존성을 나타내기 위해, 레이어 의존성 플래그(direct_dependency_flag) 및 의존성 타입(direct_dependency_type)을 사용할 수도 있다. 예를 들면, 인코더는, 두 레이어 사이의 의존성을 나타내기 위해 레이어 의존성 플래그(direct_dependency_flag) 및 의존성 타입(direct_dependency_type)을 사용하도록 구성될 수도 있다. 예를 들면, 디코더는, 두 레이어 사이의 의존성을 결정하기 위해 레이어 의존성 플래그(direct_dependency_flag) 및 의존성 타입(direct_dependency_type)을 사용하도록 구성될 수도 있다. 두 레이어 사이의 의존성을 나타내기 위한, 레이어 의존성 플래그(direct_dependency_flag) 및 의존성 타입(direct_dependency_type)의 사용은, 중복적인 시그널링으로 나타날 수도 있다. 구문 엘리먼트 direct_dependency_flag 및 direct_dependency_type은, 예를 들면, 표 6에서 나타내어지는 바와 같이, 디스크립터 ue(v)를 갖는 하나의 구문 엘리먼트인 direct_dependency_type으로 병합될 수도 있다. 표 6에서, 취소선 텍스트는 생략될 수도 있는 구문 엘리먼트를 나타낸다.

구문 엘리먼트 direct_dependency_type은 구문 엘리먼트 direct_dependency_flag를 대체할 수도 있다. 비디오 코딩 디바이스, 예컨대 도 1에서 예시되는 비디오 코딩 디바이스, 도 3에서 예시되는 비디오 인코더 및/또는 도 3에서 예시되는 비디오 디코더는, 레이어 사이의 의존성을 나타내기 위해, 구문 엘리먼트를 사용할 수도 있다. 구문 엘리먼트 direct_dependency_type[i][j]는, layer_id_in_nuh[i]와 동일한 nuh_layer_id를 갖는 레이어와 layer_id_in_nuh[j]와 동일한 nuh_layer_id를 갖는 레이어 사이의 의존성의 타입을 나타낼 수도 있다. 예를 들면, 인코더는, layer_id_in_nuh[i]와 동일한 nuh_layer_id를 갖는 레이어와 layer_id_in_nuh[j]와 동일한 nuh_layer_id를 갖는 레이어 사이의 의존성의 타입을 나타내기 위해, 구문 엘리먼트 direct_dependency_type[i][j]를 설정하도록 구성될 수도 있다. 예를 들면, 디코더는, layer_id_in_nuh[i]와 동일한 nuh_layer_id를 갖는 레이어와 layer_id_in_nuh[j]와 동일한 nuh_layer_id를 갖는 레이어 사이의 의존성의 타입을 결정하기 위해, 구문 엘리먼트 direct_dependency_type[i][j]를 사용하도록 구성될 수도 있다.

예를 들면, direct_dependency_type[i][j]가 0과 동일하면, layer_id_in_nuh[j]와 동일한 nuh_layer_id를 갖는 레이어는, layer_id_in_nuh[i]와 동일한 nuh_layer_id를 갖는 레이어에 대한 직접 참조 레이어가 아닐 수도 있다. direct_dependency_type[i][j]가 1과 동일하면, layer_id_in_nuh[j]와 동일한 nuh_layer_id를 갖는 레이어는, layer_id_in_nuh[i]와 동일한 nuh_layer_id를 갖는 레이어에 대한 직접 참조 레이어일 수도 있다. 비디오 코딩 디바이스는, 레이어간 샘플 예측에 대해, layer_id_in_nuh[j]와 동일한 nuh_layer_id를 갖는 레이어를 사용하도록 구성될 수도 있다. direct_dependency_type[i][j]가 2와 동일하면, layer_id_in_nuh[j]와 동일한 nuh_layer_id를 갖는 레이어는, layer_id_in_nuh[i]와 동일한 nuh_layer_id를 갖는 레이어에 대한 직접 참조 레이어일 수도 있다. 비디오 코딩 디바이스는, 레이어간 샘플 예측 및 레이어간 모션 예측 둘 다에 대해, layer_id_in_nuh[j]와 동일한 nuh_layer_id를 갖는 레이어를 사용하도록 구성될 수도 있다. direct_dependency_type[i][j]가 3과 동일하면, layer_id_in_nuh[j]와 동일한 nuh_layer_id를 갖는 레이어는, layer_id_in_nuh[i]와 동일한 nuh_layer_id를 갖는 레이어에 대한 직접 참조 레이어일 수도 있다. 비디오 코딩 디바이스는, 레이어간 모션 예측에 대해, layer_id_in_nuh[j]와 동일한 nuh_layer_id를 갖는 레이어를 사용하도록 구성될 수도 있다. 비디오 코딩 디바이스는, 레이어간 샘플 예측에 대해, layer_id_in_nuh[j]와 동일한 nuh_layer_id를 갖는 레이어를 생략하도록 구성될 수도 있다.

변수 NumDirectRefLayers[i], RefLayerId[i][j], SamplePredEnabledFlag[i][j], MotionPredEnabledFlag[i][j], 및 DirectRefLayerIdx[i][j]는 다음과 같이 유도될 수도 있다:

비디오 코딩 디바이스, 예컨대 도 1에서 예시되는 비디오 코딩 시스템, 도 3에서 예시되는 비디오 인코더 및/또는 도 3에서 예시되는 비디오 디코더는, 레이어간 모션 예측을 제공하기 위해, 의존층을 사용할 수도 있다. 비디오 코딩 디바이스는, 레이어간 샘플 예측을 제공할 때 의존 레이어를 생략할 수도 있다. 레이어간 샘플 예측은 레이어간 모션 예측보다 코딩 성능 이득에 대해 유의미하게 더 많이 기여할 수도 있다(예를 들면, 레이어간 모션 예측 경우 대략 1%인 것과 비교하여, 레이어간 샘플 예측의 경우 대략 25-30%). 레이어간 샘플 예측은 레이어간 예측의 기본 형태로서 사용될 수도 있고 레이어간 모션 예측을, 가능한 추가로서 허용할 수도 있다. 예를 들면, 레이어간 모션 예측은, 레이어간 샘플 예측이 허용될 때 허용될 수도 있다. 레이어간 샘플 예측을 지원하기 위한 직접 의존 레이어에 대한 제약은 SHVC 메인 프로파일에 적용될 수도 있다.

VPS 확장에서의 레이어 의존성 시그널링은 표 7에서 나타내어지는 바와 같이 수정될 수도 있다. 표 7에서, 취소선 텍스트는 생략될 수도 있는 구문 엘리먼트를 나타낸다. 구문 구조는 표 8에서 나타내어지는 바와 같이 통합 정리될 수도 있다.

표 7 및 표 8에서 나타내어지는 바와 같이, 구문 엘리먼트 direct_dependency_type은 구문 엘리먼트 il_motion_prediction_flag에 의해 대체될 수도 있다. direct_dependency_flag 및 il_motion_prediction_flag의 시맨틱은 본원에서 개시되는 바와 같을 수도 있다.

direct_dependency_flag[i][j]가 0과 동일하면, 인덱스 j를 갖는 레이어는 인덱스 i를 갖는 레이어에 대한 직접 참조 레이어가 아닐 수도 있다. direct_dependency_flag[i][j]가 1과 동일하면, 인덱스 j를 갖는 레이어는 인덱스 i를 갖는 레이어에 대한 직접 참조 레이어일 수도 있다. 비디오 코딩 디바이스는, 레이어간 샘플 예측에 대해, layer_id_in_nuh[j]와 동일한 자신의 nuh_layer_id를 갖는 레이어를 사용하도록 구성될 수도 있다. direct_dependency_flag[i][j]가 0과, vps_max_layers_minus1 사이의 범위에서 i 및 j에 대해 존재하지 않으면, direct_dependency_flag[i][j]는 0과 동일하다고 추론될 수도 있다.

il_motion_prediction_flag[i][j]가 0과 동일하면, 비디오 코딩 디바이스는, layer_id_in_nuh[i]와 동일한 nuh_layer_id를 갖는 레이어의 레이어간 모션 예측에 대해, layer_id_in_nuh[j]와 동일한 nuh_layer_id를 갖는 레이어를 배제할 수도 있다. il_motion_prediction_flag[i][j]가 1과 동일하면, 비디오 코딩 디바이스는, layer_id_in_nuh[i]와 동일한 nuh_layer_id를 갖는 레이어의 레이어간 모션 예측에 대해, layer_id_in_nuh[j]와 동일한 nuh_layer_id를 갖는 레이어를 사용할 수도 있다. 0과, vps_max_layers_minus1 사이의 범위의 i 및 j에 대해 il_motion_prediction_flag[i][j]가 존재하지 않는 경우, 비디오 코딩 디바이스는 il_motion_prediction_flag[i][j]를 0과 동일하다고 추론할 수도 있다.

예시적인 SHVC 비트스트림에서, 비디오 코딩 디바이스는, 하나 이상의 또는 모든 직접 의존 레이어에 대한 레이어간 샘플 예측 및/또는 레이어간 모션 예측을 인에이블할 수도 있다. 비디오 코딩 디바이스는, 하나 이상의(예를 들면, 각각의) 개별적인 의존 레이어에 대한 direct_dependency_type의 시그널링을 바이패스할 수도 있다. 예를 들면, 인코더는, 각각의 개별적인 의존 레이어에 대한 direct_dependency_type의 시그널링이 바이패스될 수도 있다는 것을 나타내기 위해, 표 9에서 나타내어지는 바와 같이, 게이팅 플래그인 default_all_ilp_enable_flag를 사용할 수도 있다. 예를 들면, 디코더는, 각각의 개별적인 의존 레이어에 대한 direct_dependency_type의 시그널링이 바이패스될 수도 있는지를 결정하기 위해, 게이팅 플래그인 default_all_ilp_enable_flag를 사용할 수도 있다.

default_all_ilp_enable_flag가 1과 동일하면, 비디오 코딩 디바이스는, iNuhLId와 동일한 nuh_layer_id를 갖는 레이어에 대한 레이어간 샘플 예측 및 레이어간 모션 예측에 대해, iNuhLId와 동일한 nuh_layer_id를 갖는 레이어의 직접 의존 레이어(예를 들면, 모든 직접 의존 레이어)를 사용할 수도 있다. default_all_ilp_enable_flag가 0과 동일하면, 비디오 코딩 디바이스는, iNuhLId와 동일한 nuh_layer_id를 갖는 레이어에 대한 레이어간 샘플 예측 및 레이어간 모션 예측에 대해, iNuhLId와 동일한 nuh_layer_id를 갖는 레이어의 직접 의존 레이어(예를 들면, 모든 직접 의존 레이어)를 배제할 수도 있다.

비디오 코딩 디바이스는, 직접 의존성 타입 정보를 VPS에 포함시킬지의 여부를 결정할 수도 있다. 디폴트 의존성을 사용할 것을 비디오 코딩 디바이스가 결정하면, 비디오 코딩 디바이스는 VPS에서 직접 의존성 타입 정보를 시그널링하는 것을 바이패스할 수도 있다. 디폴트 의존성을 사용하지 않을 것을 비디오 코딩 디바이스가 결정하면, 비디오 코딩 디바이스는 VPS에 직접 의존성 타입 정보를 포함시킬 수도 있다. 비디오 코딩 디바이스는 VPS에 디폴트 직접 의존성 플래그를 설정할 수도 있다.

비디오 코딩 디바이스는 의존성 타입 존재 플래그, 예를 들면, direct_dependency_type_presence_flag를 시그널링하도록 구성될 수도 있다. 비디오 코딩 디바이스는 direct_dependency_type_presence_flag를 설정하도록 구성될 수도 있다. 비디오 코딩 디바이스는 VPS 확장에서 direct_dependency_type[i][j]를 시그널링하도로 구성될 수도 있다. 비디오 코딩 디바이스는, direct_dependency_type[i][j]를 시그널링하기 위해, direct_dependency_type_presence_flag를 설정하도록 구성될 수도 있다. direct_dependency_type_presence_flag가 1로 설정되면, 비디오 코딩 디바이스는 VPS 확장에서 구문 엘리먼트 direct_dependency_type[i][j]를 명시적으로 시그널링할 수도 있다. 구문 엘리먼트 direct_dependency_type[i][j]는 VPS 확장에 존재하지 않을 수도 있다.

비디오 코딩 디바이스는 비디오 파라미터 세트(VPS) 및 하나 이상의 레이어를 포함하는 비디오 비트스트림을 수신할 수도 있다. 비디오 코딩 디바이스는, 예를 들면, VPS에서의 디폴트 직접 의존성 플래그에 기초하여, 레이어의 하나 이상과 관련되는 직접 의존성 관계를 결정할 수도 있다. 직접 의존성 타입 정보가 VPS에 존재한다는 것을 디폴트 직접 의존성 플래그가 나타내면, 비디오 코딩 디바이스는 VPS에서의 직접 의존성 타입 정보로부터 직접 의존성 관계를 결정할 수도 있다. 직접 의존성 타입 정보가 VPS에 존재하지 않는다는 것을 디폴트 직접 의존성 플래그가 나타내면, 비디오 코딩 디바이스는 디폴트에 기초하여 직접 의존성 관계를 결정할 수도 있다. 디폴트 의존성은 복수의 레이어의 모든 레이어에 적용될 수도 있다.

비디오 코딩 디바이스는 SamplePredEnabledFlag 및 MotionPredEnabledFlag의 값을 추론할 수도 있다. 비디오 코딩 디바이스는 SamplePredEnabledFlag 및 MotionPredEnabledFlag의 값을 추론하도록 구성될 수도 있다. 예를 들면, i 번째 향상 레이어의 각각의 j 번째 의존 레이어의 SamplePredEnabledFlag[i][j] 및 SamplePredEnabledFlag[i][j]의 둘 다는, 디폴트로, 1인 것으로 추론될 수도 있다.

구문 엘리먼트 direct_dependency_type[i][j]는, layer_id_in_nuh[i]와 동일한 nuh_layer_id를 갖는 레이어와 layer_id_in_nuh[j]와 동일한 nuh_layer_id를 갖는 레이어 사이의 의존성의 타입을 나타낼 수도 있다. 비디오 코딩 디바이스, 예컨대 인코더는, layer_id_in_nuh[i]와 동일한 nuh_layer_id를 갖는 레이어와 layer_id_in_nuh[j]와 동일한 nuh_layer_id를 갖는 레이어 사이의 의존성의 타입을 나타내기 위해, 구문 엘리먼트 direct_dependency_type[i][j]를 설정하도록 구성될 수도 있다. direct_dependency_type[i][j]가 0과 동일하면, 비디오 코딩 디바이스는, 레이어간 샘플 예측에 대해, layer_id_in_nuh[j]와 동일한 nuh_layer_id를 갖는 레이어를 사용할 수도 있다. direct_dependency_type[i][j]가 0과 동일하면, 비디오 코딩 디바이스는, layer_id_in_nuh[i]와 동일한 nuh_layer_id를 갖는 레이어의 레이어간 모션 예측에 대해, layer_id_in_nuh[j]와 동일한 nuh_layer_id를 갖는 레이어를 사용할 수도 있다. direct_dependency_type[i][j]가 1과 동일하면, 비디오 코딩 디바이스는, 레이어간 모션 예측에 대해, layer_id_in_nuh[j]와 동일한 nuh_layer_id를 갖는 레이어를 사용하도록 구성될 수도 있다. direct_dependency_type[i][j]가 1과 동일하면, 비디오 코딩 디바이스는, layer_id_in_nuh[i]와 동일한 nuh_layer_id를 갖는 레이어의 레이어간 샘플 예측에 대해, layer_id_in_nuh[j]와 동일한 nuh_layer_id를 갖는 레이어를 사용할 수도 있다. direct_dependency_type[i][j]가 2와 동일하면, 비디오 코딩 디바이스는, layer_id_in_nuh[i]와 동일한 nuh_layer_id를 갖는 레이어의 레이어간 샘플 모션 예측 및 레이어간 모션 예측 둘 다에 대해, layer_id_in_nuh[j]와 동일한 nuh_layer_id를 갖는 레이어를 사용하도록 구성될 수도 있다.

비디오 코딩 디바이스는 SPS와 관련되는 레이어에 대한 표현 포맷을 할당할 수도 있다. VPS는 비디오 표현 포맷(video representation format)의 리스트를 포함할 수도 있다. 예를 들면, 비디오 코딩 디바이스, 예컨대 인코더는 비디오 표현 포맷(예를 들면, 표 10에서 도시되는 rep_format())을 VPS 확장의 룩업 리스트로 시그널링하도록 구성될 수도 있다. 인덱스, 예를 들면, 표 11에서 나타내어지는 vps_rep_format_idx[i]를 rep_format()의 리스트 안으로 대응시키는 것은, VPS에서 레이어(예를 들면, 각각의 레이어)에 대해 특정될 수도 있다.

예를 들면, 특정 레이어의 rep_format()이 VPS 확장에서 특정되는 미리 정의된 rep_format()과 매치하지 않으면, 비디오 코딩 디바이스, 예컨대 인코더는 업데이트 플래그인 표 12에서 나타내어지는 바와 같은 update_rep_format_flag를 SPS에서 설정하도록 구성될 수도 있다. 특정 레이어의 rep_format()이, VPS 확장에서 특정되는 미리 정의된 rep_format()과 매치하지 않으면, 비디오 코딩 디바이스, 예컨대 인코더는 SPS에서 rep_format()의 구문 엘리먼트(예를 들면, 모든 구문 엘리먼트)를 시그널링하도록(예를 들면, 명시적으로 시그널링하도록) 구성될 수도 있다.

비디오 코딩 디바이스는, 예를 들면, SPS와 관련되는 레이어에 대한 할당된 표현 포맷에 기초하여, 표현 포맷 인덱스를 SPS에 포함시킬지의 여부를 결정할 수도 있다. 표현 포맷 인덱스는, 예를 들면, 할당된 표현 포맷이 디폴트 표현 포맷이면, SPS에 포함되지 않을 수도 있다. 표현 포맷 인덱스는, 예를 들면, 할당된 표현 포맷이 VPS에서 특정되면, SPS에 포함될 수도 있다.

비디오 코딩 디바이스, 예컨대 도 1에서 예시되는 비디오 코딩 디바이스, 도 3에서 예시되는 비디오 인코더 및/또는 도 3에서 예시되는 비디오 디코더는, 정보를 VPS의 구문 구조에 정보를 지정할 수도 있다. 예를 들면, 구문 엘리먼트, 예를 들면, update_rep_format_idx_present_flag 및 update_rep_format_idx는 VPS의 rep_format() 구문 구조의 리스트에 대한 인덱스를 명시할 수도 있다. 표현 포맷이 VPS에서 시그널링되는 rep_format() 리스트와 매치하면, rep_format()의 리스트의 인덱스가 시그널링될 수도 있다. 구문 엘리먼트는 rep_format() 구문 구조의 리스트에 대한 인덱스를 VPS에서 명시할 수도 있다. 표 13은 SPS에서의 예시적인 구문 엘리먼트를 예시한다.

비디오 코딩 디바이스는, 표현 포맷 인덱스가 SPS에 포함되는지의 여부를 나타내기 위해 업데이트 비디오 표현 포맷 플래그를 설정할 수도 있다. 예를 들면, update_rep_format_idx_present_flag가 1과 동일하면, 구문 엘리먼트 update_rep_format_idx가 존재할 수도 있다. update_rep_format_idx_present_flag가 0과 동일하면, 구문 엘리먼트 update_rep_format_idx가 존재하지 않을 수도 있다.

구문 엘리먼트 update_rep_format_idx는, rep_format() 구문 구조의 VPS에서 rep_format() 구문 구조의 리스트에 대한 인덱스를 명시할 수도 있다. 존재하지 않는 경우, update_rep_format_idx의 값은 0과 동일한 것으로 추론될 수도 있다. update_rep_format_idx의 값은 0 이상 vps_num_rep_formats_minus1 이하의 범위에 있을 수도 있다.

비디오 코딩 디바이스는, 예를 들면, SPS에서의 업데이트 비디오 표현 포맷 플래그에 기초하여, SPS와 관련되는 레이어에 대한 비디오 표현 포맷을 결정할 수도 있다. 업데이트 비디오 표현 포맷 플래그가 표현 포맷 인덱스의 존재를 나타내면, 비디오 표현 포맷은 표현 포맷 인덱스에 기초하여 VPS에서의 비디오 표현 포맷의 리스트로부터 결정될 수도 있다. 업데이트 표현 포맷 리스트가 존재하지 않으면, 비디오 표현 포맷은 디폴트 비디오 표현 포맷으로부터 결정될 수도 있다. 비디오 코딩 디바이스는, 예를 들면, SPS에서의 업데이트 비디오 표현 포맷 플래그에 기초하여, 표현 포맷 인덱스가 SPS에 존재하는지 여부를 결정할 수도 있다. 업데이트 비디오 표현 포맷 플래그가 1과 동일하면, 비디오 코딩 디바이스는 표현 포맷 인덱스가 SPS에 존재한다는 것을 결정할 수도 있다. 업데이트 비디오 표현 포맷 플래그가 0과 동일하면, 비디오 코딩 디바이스는 표현 포맷 인덱스가 SPS에 존재하지 않는다는 것을 결정할 수도 있다. 디폴트 비디오 표현 포맷은 레이어에 대한 VPS에서 특정되는 디폴트 비디오 표현 포맷일 수도 있다. 비디오 업데이트 표현 포맷 인덱스는, 0 이상이며 표현 포맷의 VPS 개수의 값 마이너스 1 이하의 범위에 있을 수도 있다.

VPS 확장 및 슬라이스 헤더에서의 구문 엘리먼트는 다른 구문 엘리먼트의 값으로부터 추론될 수도 있다. 구문 엘리먼트의 시그널링을 조건으로 하는 것은 오버헤드를 절약할 수도 있다.

비디오 코딩 디바이스, 예컨대 인코더는, 현재 향상 레이어의 각각의 픽쳐에 대해, 하나의 의존 레이어로부터의 단일의 픽쳐가 레이어간 예측에 대해 사용될 수도 있는지를 명시하기 위해, 비디오 파라미터 세트(VPS) 확장에서 구문 엘리먼트 max_one_active_ref_layer_flag를 시그널링하도록 구성될 수도 있다. 예를 들면, 현재의 향상 레이어의 상이한 픽쳐에 대해서는, 레이어간 예측에 대해 상이한 의존 레이어로부터의 픽쳐가 사용되어야 한다. 동일한 VPS 확장에서의 구문 엘리먼트인 all_ref_layers_active_flag는, 현재의 향상 레이어의 각각의 픽쳐에 대해, all_ref_layers_active_flag의 값이 1과 동일한 경우, 현재 액세스 단위에서 이용가능한 자신의 직접 의존 레이어의 참조 픽쳐가 레이어간 예측에 대해 사용될 수도 있다는 것을 명시할 수도 있다.

비디오 코딩 디바이스, 예컨대 인코더는 all_ref_layers_active_flag의 값을 설정하도록 구성될 수도 있다. all_ref_layers_active_flag가 1과 동일하게 설정되면, 비디오 코딩 디바이스, 예컨대 디코더는, 예를 들면, i가 1과 레이어의 최대 수 사이의 범위 내에 있는 경우, NumDirectRefLayers[i]의 최대 값으로부터 max_one_active_ref_layer_flag의 값을 추론하도록 구성될 수도 있다.

표 14는 VPS 확장에서의 예시적인 구문 컨디셔닝(syntax conditioning)을 예시한다.

변수 MaxNumDirectDependentRefLayers는 향상 레이어의 직접 의존 참조 레이어의 최대 수를 나타낼 수도 있다. 변수 MaxNumDirectDependentRefLayers는 다음과 같이 유도될 수도 있다:

비디오 코딩 디바이스, 예컨대 인코더는 max_one_active_ref_layer_flag의 값을 설정하도록 구성될 수도 있다. max_one_active_ref_layer_flag가 1과 동일하면, 비디오 코딩 디바이스, 예컨대 디코더는, CVS에서의 각각의 픽쳐에 대한 레이어간 예측에 대해 최대 하나의 픽쳐를 사용하도록 구성될 수도 있다. max_one_active_ref_layer_flag가 0과 동일하면, 비디오 코딩 디바이스, 예컨대 디코더는, CVS에서의 각각의 픽쳐에 대한 레이어간 예측에 대해 최대 하나보다 많은 픽쳐를 사용하도록 구성될 수도 있다. max_one_active_ref_layer_flag가 존재하지 않으면, max_one_active_ref_layer_flag는 다음과 같이 유도될 수도 있다:

비디오 코딩 디바이스, 예컨대 비디오 인코더는, 현재 픽쳐의 픽쳐 순서 카운트의 LSB를 명시하기 위해, 비IDR 슬라이스에 대한 슬라이스 헤더에서 구문 엘리먼트 slice_pic_order_cnt_lsb를 시그널링할 수도 있다. 구문 엘리먼트는 픽쳐 타입에 무관하게 향상 레이어에 대해 시그널링될 수도 있다. 예를 들면, 비디오 코딩 디바이스, 예컨대 비디오 인코더는, 픽쳐 타입에 무관하게 향상 레이어에 대한 구문 엘리먼트를 시그널링하도록 구성될 수도 있다. 비디오 코딩 디바이스, 예컨대 인코더는, 인트라 랜덤 액세스 포인트(intra random access point; IRAP) 픽쳐가 레이어에 걸쳐 오정렬되는 경우, 동일한 또는 유사한 액세스 단위 내에서 픽쳐에 대한 POC 값을 정렬하기 위해 구문 엘리먼트를 사용할 수도 있다. 레이어에 걸쳐 IRAP 픽쳐가 오정렬되면, 예를 들면, IDR 픽쳐의 POC 값이 제로일 수도 있기 때문에, IDR 픽쳐에 대한 slice_pic_order_cnt_lsb를 시그널링하는 것은 중복일 수도 있다. 비디오 코딩 디바이스, 예컨대 비디오 인코더는, IRAP 픽쳐가 상이한 레이어에 걸쳐 정렬되는지의 여부를 나타내기 위해 VPS에서 구문 엘리먼트 cross_layer_irap_aligned_flag를 시그널링하도록 구성될 수도 있다.

cross_layer_irap_aligned_flag가 1과 동일하면, CVS에서의 IRAP 픽쳐는, 예를 들면, 액세스 단위에서의 레이어(레이어A)의 픽쳐(픽쳐A)가 IRAP 픽쳐인 경우, 레이어를 교차하여 할당될 수도 있다. 레이어A의 직접 참조 레이어에 속할 수도 있는 또는 레이어A가 직접 참조 레이어일 수도 있는 레이어에 속할 수도 있는 동일한 또는 유사한 액세스 단위에서의 픽쳐(픽쳐B)는 IRAP 픽쳐일 수도 있다. 픽쳐B의 VCL NAL 단위는 픽쳐A의 것과 동일한 또는 유사한 값의 nal_unit_type을 가질 수도 있다. cross_layer_irap_aligned_flag가 0과 동일하면, 이들 관계는 적용될 수도 있거나 또는 적용되지 않을 수도 있다.

구문 엘리먼트는, 표 15에서 나타내어지는 바와 같이, slice_pic_order_cnt_lsb의 시그널링을 컨디셔닝하기 위해 사용될 수도 있다.

HEVC는 스케일러블 코딩을 지원하도록 확장될 수도 있다. 예를 들면, HEVC는 공간적 스케일러빌러티, 품질 스케일러빌러티, 및 표준 스케일러빌러티를 지원할 수도 있다. 공간적 스케일러빌러티는, 하나보다 많은 공간 해상도일 수도 있는 신호를 스케일러블 비트스트림이 포함하는 경우일 수도 있다. 품질 스케일러빌러티는, 스케일러블 비트스트림이 하나보다 많은 품질 레벨의 신호를 포함하는 경우일 수도 있다. 품질 스케일러빌러티는 SNR 스케일러빌러티로 또한 칭해질 수도 있다. 표준 스케일러빌러티는, 스케일러블 비트스트림이 H.264/AVC를 사용하여 코딩된 베이스 레이어, 및 HEVC를 사용하여 코딩된 하나 이상의 향상 레이어를 포함하는 경우일 수도 있다. HEVC는 뷰 스케일러빌러티를 지원할 수도 있다. 뷰 스케일러빌러티는, 스케일러블 비트스트림이 2D 및 3D 비디오 신호 둘 다를 포함하는 경우일 수도 있다.

HEVC의 스케일러블 확장(SHVC)은 참조 인덱스 베이스 프레임워크(reference index base framework)를 활용할 수도 있다. SHVC는 구문, 하나 이상의 시맨틱 및/또는 하나 이상의 디코딩 프로세스를 활용할 수도 있다.

비디오 코딩 디바이스는, 알고리즘 피쳐의 서브셋, 예컨대 압축 툴, 비디오 입력 포맷 예컨대 비트 깊이 및 크로마 포맷, 및/또는 등등을 정의하기 위해 프로파일을 활용할 수도 있다. 비디오 코딩 디바이스는, 최대 비트 레이트, 최대 프레임 사이즈, 초당 샘플의 최대 수, 및/또는 등등과 같은 정량적 성능의 세트를 정의하기 위해 레벨 및/또는 단을 활용할 수도 있다. H.265 및/또는 HEVC에서의 비디오 코딩 디바이스는 세 개의 프로파일(예를 들면, 메인 프로파일, 메인 10 프로파일(main 10 profile), 메인 스틸 픽쳐 프로파일) 및/또는, 예를 들면, 하나 이상의 레벨이 두 개의 단을 갖는 열 세개의 레벨을 활용할 수도 있다. 비디오 코딩 디바이스는, 프로파일, 레벨, 및/또는 단에 적합한 비디오 코딩 디바이스의 최대 복잡도를 규정하기 위해 그 프로파일, 레벨, 및/또는 단을 활용할 수도 있다.

프로파일, 단 및 레벨은 다수의 제약(예를 들면, 세 개의 제약)을 구비할 수도 있다. 제약은 다음 중 하나 이상을 포함할 수도 있다. 비디오 코딩 디바이스, 예컨대 비디오 디코딩 디바이스는, 특정 픽쳐의 디코딩에 대해, 픽쳐 샘플 값의 픽쳐 재샘플링을 1회 이상 호출하지 않을 수도 있다. 비디오 코딩 디바이스는, 특정 픽쳐의 디코딩에 대해 픽쳐 모션 필드의 재샘플링을 1회 이상 호출하지 않을 수도 있다. 비디오 코딩 디바이스가 특정 픽쳐의 디코딩에 대해 픽쳐 샘플 값 및 픽쳐 모션 필드 재샘플링 둘 다를 호출할 수도 있는 경우, 비디오 코딩 디바이스는, 픽쳐 샘플 값 및/또는 픽쳐 모션 필드 재샘플링을, 동일한 참조 레이어 픽쳐에 적용할 수도 있다. DependencyId[i]가 1과 동일한 경우, 비디오 코딩 디바이스는, i와 동일한 nuh_layer_id를 갖는 코딩된 픽쳐에 대해, 2와 동일하지 않을 수도 있는 0 이상 15이하의 smIdx 값에 대해 0과 동일한 ScalabilityId[LayerIdxInVps[i]][smIdx]를 설정할 수도 있다. avc_base_layer_flag가 1과 동일할 수도 있는 경우, 비디오 코딩 디바이스는, 예를 들면, 비트스트림 적합성을 위해, 비트스트림에서 존재하는 nuh_layer_id의 값과 동일한 iNuhLId에 대해 0과 동일한 MotionPredEnabledFlag[iNuhLId]를 설정할 수도 있다.

비디오 코딩 디바이스는, 픽쳐를 디코딩할 때 픽쳐 텍스쳐 재샘플링 및 모션 재샘플링이 1회 이상 호출되지 않을 수도 있다는 것을 규정하기 위해 스케일러블 메인 프로파일을 사용할 수도 있다. 예를 들면, 공간적 스케일러빌러티를 위한 레이어간 샘플 예측 및 레이어간 모션 예측의 각각은 하나의 참조 레이어로부터 유래할 수도 있다. 비디오 코딩 디바이스는, 예를 들면, 레이어간 샘플 예측 및 모션 예측 둘 다가 인에이블되는 경우, 동일한 참조 레이어를 사용할 수도 있다.

비디오 코딩 디바이스는 제약, 예컨대 현재 제약을 픽쳐 레벨에서 규정할 수도 있다. NAL 단위 헤더에서의 layer_id의 비트 길이는 6비트일 수도 있다. NAL 단위 헤더에서의 6비트 길이의 layer_id는 최대 64 레이어를 허용할 수도 있고/있거나 인에이블할 수도 있다. 예를 들면, 비디오 코딩 디바이스가 비트스트림의 하나 이상의 코딩된 픽쳐에 대한 샘플 및/또는 모션 예측에 대해 참조 레이어 중 하나를 사용하면, 63개까지의 직접 의존 레이어가 비트스트림이나 코딩된 비디오 시퀀스(coded video sequence; CVS) 레벨에 존재할 수도 있다. 직접 의존 레이어는, 특정한 향상 레이어 픽쳐에 대한 레이어간 샘플 및/또는 모션 예측에 대해 참조 픽쳐로서 사용될 수도 있는 적어도 하나의 픽쳐를 포함하는 레이어일 수도 있다.

비디오 코딩 디바이스는, 예를 들면, SHVC 프로파일에 대한 레이어의 수를 제한하기 위해 하나 이상의 제약을 시그널링하는 것에 의해 그리고 하나 이상의 제약을 적용하는 것에 의해, 다중 루프 SHVC 코덱에 대한 코딩 복잡도를 제한할 수도 있고/있거나 감소시킬 수도 있다. 레이어는 직접 의존 레이어, 간접 의존 레이어, 및/또는 베이스 레이어일 수도 있다. 하나 이상의 제약은, 예를 들면, 직접 의존 레이어의 최대 수 또는 직접 및 또는 간접 의존 레이어의 최대 수를 제한할 수도 있다. 비디오 코딩 디바이스는, VPS 확장에서의 구문 엘리먼트, SPS에서의 구문 엘리먼트, 프로파일 표시 중 적어도 하나를 통해, 및/또는 프로파일, 단 및/또는 레벨(예를 들면, 스케일러블 메인 프로파일)에 따라 직접 의존 레이어의 최대 수를 제한할 수도 있다. 비디오 코딩 디바이스는, VPS 확장에서의 구문 엘리먼트, SPS에서의 구문 엘리먼트, 프로파일 표시 중 적어도 하나를 통해, 및/또는 프로파일, 단 및/또는 레벨(예를 들면, 스케일러블 메인 프로파일)에 따라, 직접 및 간접 의존 레이어의 최대 수를 제한할 수도 있다. 제약은 베이스 레이어에 대한 제약일 수도 있다. 베이스 레이어에 대한 제약은 적합한(conforming) SHVC 비트스트림을 사용할 수도 있다. 적합한 SHVC 비트스트림은, 예를 들면, 0과 동일한 nuh_layer_id 및 0과 동일한 TemporalId를 갖는 픽쳐를 포함하는 하나 이상의 액세스 단위일 수도 있다. 0과 동일한 nuh_layer_id 및 0과 동일한 TemporalId를 갖는 픽쳐를 포함하는 레이어는, 레이어 식별자 리스트인 TargetDecLayerIdList에서의 각각의 nuh_layer_id 값에 대한 레이어의 직접 또는 간접 의존 레이어일 수도 있다. 비디오 코딩 디바이스는 유도된 변수를 통해 하나 이상의 제약을 시그널링할 수도 있다. 비디오 코딩 디바이스는 구문 엘리먼트를 통해 하나 이상의 제약을 시그널링할 수도 있다.

도 6은 다수의 레이어 예측 구조의 예를 예시한다. 도 6에서, 상부 레이어인 레이어63(610)은 비디오 시퀀스 내에 63 개까지의 직접 의존 레이어를 구비할 수도 있다. 비디오 코딩 디바이스는, 예를 들면, SHVC 메인 프로파일 제약을 이행하기 위해, 레이어간 샘플 및 모션 예측에 대해 레이어63(610)의 각각의 픽쳐에 대한 63 개의 참조 레이어 중 하나로부터 참조 픽쳐를 선택하도록 구성될 수도 있다. 예를 들면, 비디오 코딩 디바이스는 레이어63의 POC0 픽쳐(630)에 대한 레이어간 예측에 대해 (예를 들면, 화살표 640에 의해 나타내어진 바와 같이) 레이어62로부터의 POC0 픽쳐(632)를 사용할 수도 있다. 비디오 코딩 디바이스는 레이어63의 POC1 픽쳐(650)에 대한 레이어간 예측에 대해 레이어61로부터의 POC1 픽쳐(652)를 사용할 수도 있고, 등등이다. 구현 복잡도를 제한하는 것은, 현재의 제약으로는 달성되지 않을 수도 있는데, 예를 들면, 이러한 레이어가 그 자신의 레이어 내에서 레이어간 예측 및 시간 예측 둘 다에 대해 사용되지 않을 수도 있다는 것이 결정될 수도 있지 않는 한, 예를 들면, 직접 의존 레이어의 참조 픽쳐가 디코딩되는 것을 필요로 할 수도 있기 때문이다. 구현 복잡도를 제한하기 위해, 레이어간 모션 예측 및 샘플 예측 동작의 수는 제한될 수도 있다. 직접 또는 간접 의존 레이어의 참조 픽쳐는 디코딩될 수도 있다. 비디오 코딩 디바이스는, 예를 들면, 레이어간 예측 및/또는 샘플 예측에 의해, 직접 또는 간접 의존 레이어의 참조 픽쳐를 디코딩할 수도 있다. 비디오 코딩 디바이스는, 예를 들면, 하나 이상의 픽쳐가 시간 및/또는 레이어간 예측에 대해 참조 픽쳐가 아니면, 직접 또는 간접 의존 레이어의 하나 이상의 픽쳐를 디코딩하지 않을 수도 있다. 예를 들면, 비디오 코딩 디바이스는, 예를 들면, 레이어63에서의 POC63을 갖는 픽쳐(670)가, 레이어간 예측에 대해 레이어0에서의 POC63을 갖는 픽쳐(672)에 직접적으로 의존하면, 레이어0의 POC63을 갖는 픽쳐(672)를 디코딩하기 위해, 레이어0의 POC0을 갖는 픽쳐(612), POC1을 갖는 픽쳐(614), …, POC62를 갖는 픽쳐(616)를 디코딩해야만 할 수도 있다.

다중 루프 SHVC 인코더는, 프로파일에 대한 참조 레이어의 수를 제한하기 위한 실행가능 명령어를 갖는 프로세서를 구비할 수도 있다. 다중 루프 SHVC 인코더는 참조 레이어 한계를 설정할 수도 있다. 다중 루프 SHVC 인코더는, 프로파일에 대한 레이어가 직접 및 간접 참조 레이어를 포함하고 인코딩된 비디오 신호에서의 한 레이어에 대한 직접 및 간접 참조 레이어의 총 수가 참조 레이어 한계보다 작도록, 비디오 신호를 프로파일에 대한 레이어로 인코딩할 수도 있다.

도 7은 예시적인 간접 의존 레이어를 예시한다. 간접 의존 레이어의 수는 SHVC 코덱 구현의 복잡도에 영향을 끼칠 수도 있다. 간접 의존 레이어는, 특정 향상 레이어의 직접 의존 레이어의 한 픽쳐에 대한 레이어간 샘플 및/또는 모션 예측에 대해 참조 픽쳐로서 사용될 수도 있는 적어도 하나의 픽쳐를 포함하는 레이어일 수도 있다. 도 7에서 도시되는 바와 같이, 레이어63(702)은, 비디오 시퀀스 내에서, 하나의 직접 의존 레이어(레이어62(704))를 가질 수도 있다. 비디오 코딩 디바이스는, 레이어62(712)의 함께 위치된 참조 픽쳐로부터 레이어63(702)의 하나 이상의 코딩 픽쳐를 예측할 수도 있다. 레이어63(702)은 도 7에서 도시되는 바와 같이 62 개까지의 간접 의존 레이어를 구비할 수도 있다. 도 7에서, 하나 이상의 또는 각각의 레이어는 참조 레이어로서 자신의 바로 아래의 레이어에 의존할 수도 있는데, 예를 들면, 레이어63(702)은 레이어62(704)에 직접적으로 의존하고, 레이어62(704)는 레이어61(706)에 직접적으로 의존하고, 등등이다. 레이어63의 픽쳐를 정확하게 디코딩하기 위해, 비디오 코딩 디바이스는 레이어0(710)으로부터 레이어62(704)까지의 병치된 픽쳐(708, 714, 716, 712)를 정확히 디코딩해야 할 수도 있다. 간접 의존 레이어의 수는 SHVC 코딩 시스템에 필요한 메모리의 총량에 영향을 줄 수도 있다. 간접 의존 레이어의 수는 시스템의 에러 복원 성능(error resilience capability)에 영향을 줄 수도 있다. 직접 및/또는 간접 의존 레이어의 수에 대한 제약은, SHVC 코덱의 최대 구현 복잡도를 구현하는 임계일 수도 있다.

SHVC 메인 프로파일 제약은, 픽쳐 레벨에서 이용가능한 레이어간 참조 픽쳐의 수를 제한하기 위해 샘플 및/또는 모션 재샘플링 프로세스의 수를 제한할 수도 있다. SNR 스케일러빌러티에서, 비디오 코딩 디바이스는 샘플 또는 모션 재샘플링 프로세스를 사용하지 않을 수도 있다. SNR 스케일러빌러티에서, 비디오 코딩 디바이스는 다중 루프 디코딩 아키텍쳐를 따를 수도 있다. SNR 스케일러빌러티에서, 비디오 코딩 디바이스는 주어진 향상 레이어를 디코딩하기 위해 디코딩될 의존 레이어(예를 들면, 직접 및 간접)를 사용할 수도 있다. 의존 레이어의 수에 대한 제약은 SNR 스케일러빌러티에 적용될 수도 있다.

SHVC 비디오 코딩 디바이스, 예컨대 비디오 디코딩 디바이스는 비트스트림의 64 개의 레이어를 완전히 디코딩할 수도 있다. 비트스트림의 64 개의 레이어를 디코딩하는 것은, SHVC 디코더에서 64 개의 싱글 레이어 디코더를 구비하는 것과 등가일 수도 있다. 비디오 코딩 디바이스는 SHVC 디코더 복잡도를 제한하기 위해 프로파일 제약을 추가할 수도 있다.

한 예에서, 메인 프로파일 제약은 의존 레이어의 수에 대해 제공될 수도 있다. 예를 들면, 다중 루프 SHVC 코덱에 대한 코딩 복잡도를 제한하기 위해, SHVC 메인 프로파일에 대한 직접 및 또는 간접 의존 레이어의 수 및 그것의 레벨을 제한하도록 추가 제약이 다음과 같이 제공될 수도 있다.

iNuhLId와 동일한 nuh_layer_id를 갖는 레이어의 직접 의존 레이어의 수(NumDirectRefLayers[iNuhLId])가 결정될 수도 있다. 비디오 코딩 디바이스는 iNuhLId와 동일한 nuh_layer_id를 갖는 레이어의 간접 의존 레이어의 수(NumlndirectRefLayers[iNuhLId])를 다음과 같이 유도할 수도 있다.

여기서 함수 getIndirectDependentLayers()는 다음일 수도 있다:

비디오 코딩 디바이스는, iNuhLId와 동일한 nuh_layer_id를 갖는 레이어의 직접 및 또는 간접 의존 레이어의 총 수(NumRefLayers[iNuhLId])를, NumDirectRefLayers[iNuhLId]와 NumlndirectRefLayers[iNuhLId]를 합산하는 것에 의해 결정할 수도 있다. 예를 들면, NumRefLayers[iNuhLId] = NumDirectRefLayers[iNuhLId] + NumlndirectRefLayers[iNuhLId]이다.

비디오 코딩 디바이스는 직접 의존 레이어의 수에 대한 제약을 사용할 수도 있다. 예를 들면, 비디오 코딩 디바이스는, 메인 프로파일에서의 직접 의존 레이어의 최대 수를 제한하기 위한 제약 옵션을 사용할 수도 있다. 비디오 코딩 디바이스는, SHVC 메인 프로파일에서의 하나 이상의 또는 각각의 향상 레이어에 대해 이용가능한 직접 의존 참조 레이어의 총 수의 최대 값을 제한하기 위해, VPS 확장 또는 SPS에서, 구문 엘리먼트 예컨대 max_num_direct_dependent_ref_layers_minus1을 시그널링할 수도 있다. 비디오 코딩 디바이스는, 변수 NumDirectRefLayers[i]를 설정할 수도 있는데, 여기서 i는 1에서부터, max_num_direct_depedent_ref_layers_minus1의 값과 동일하거나 또는 더 작은 레이어의 최대 수(예를 들면, 63)까지의 범위에 있을 수도 있다. 특정 레이어를 디코딩하기 위해 비디오 코딩 디바이스가 디코딩할 수도 있는 레이어의 총 수는 63 개까지일 수도 있는데, 예를 들면, 각각의 의존 레이어가, 디코딩될 하나 이상의 자기 자신의 의존 레이어에 의존할 수도 있기 때문이다.

비디오 코딩 디바이스는 스케일러블 메인 프로파일에 대한 제약을 활용할 수도 있다. 예를 들면, iNuhLId와 동일한 nuh_layer_id를 갖는 특정한 향상 레이어의 직접 의존 레이어의 수(NumDirectRefLayers[iNuhLId])는 N을 초과하지 않을 수도 있는데, 여기서 N은 스케일러블 메인 프로파일에 의해 허용될 수도 있는 직접 의존 레이어의 최대 수일 수도 있다. 비디오 코딩 디바이스는, 직접 의존 레이어의 최대 수(N)를 SHVC 메인 프로파일의 경우 1과 동일하게 설정할 수도 있다.

예를 들면, 비디오 코딩 디바이스는, SHVC 메인 프로파일에서의 하나 이상의 또는 각각의 향상 레이어에 대해 이용가능한 직접 및 간접 의존 참조 레이어의 총 수의 최대 값을 제한하기 위해, VPS 확장 또는 SPS에서, 구문 엘리먼트 예컨대 max_num_dependent_ref_layers_minus1을 시그널링할 수도 있다. 비디오 코딩 디바이스는 변수 NumRefLayers[i]를, max_num_dependent_ref_layers_minus1 더하기 1의 값보다 작거나 같아지도록 설정할 수도 있는데 여기서 i는 1에서부터 레이어의 최대 수(예를 들면, 63)까지의 범위에 있을 수도 있다.

비디오 코딩 디바이스는, SHVC 코덱의 복잡도를 감소시키거나 제한하기 위해, 직접 및 또는 간접 의존 레이어 둘 다를 포함할 수도 있는 의존 레이어의 수에 대한 제약을 활용할 수도 있다. 예를 들면, 다중 루프 SHVC 인코더는, 프로파일에 대한 참조 레이어의 수를 제한하기 위한 실행가능 명령어를 갖는 프로세서를 포함할 수도 있다. 다중 루프 SHVC 인코더는 참조 레이어 한계를 설정할 수도 있다. 예를 들면, 참조 레이어 한계는, 직접 및 또는 간접 의존 레이어의 최대 수를 제한하기 위한 제약으로서 사용될 수도 있다. 다중 루프 SHVC 인코더는, 인코딩된 비디오 신호에서의 주어진 레이어에 대한 직접 및 간접 참조 레이어의 총 수가 참조 레이어 한계 미만이 되도록, 프로파일에 대한 레이어에 비디오 신호를 인코딩할 수도 있다.

예를 들면, 각각의 레이어에 대해, 다중 루프 SHVC 인코더는 직접 및 간접 참조 레이어의 총 수를 결정할 수도 있다. 다중 루프 SHVC 인코더는, 레이어에 대한 직접 및 간접 참조 레이어의 총 수가 참조 레이어 한계보다 작은지의 여부를 결정할 수도 있다. 인코딩된 비디오 신호는, 예를 들면, 각각의 레이어에 대한 직접 및 간접 참조 레이어의 총 수가 참조 레이어 한계보다 작으면, 디코더로 전송될 수도 있다.

예를 들면, 비디오 코딩 디바이스는 스케일러블 메인 프로파일에 대한 제약을 활용할 수도 있다. 특정 향상 레이어의 직접 및 또는 간접 의존 레이어의 총 수(NumRefLayers[iNuhLId])는 N을 초과하지 않을 수도 있는데, 여기서 N은 사용될 수도 있는 및/또는 스케일러블 메인 프로파일, 단, 및/또는 레벨에 의해 허용될 수도 있는 의존 레이어의 최대 수일 수도 있다.

예를 들면, SHVC 메인 프로파일은, 소정의 또는 특정한 단 및/또는 레벨에 대해 허용될 수도 있는 또는 사용될 수도 있는 CTB(Coding Tree Block; 코딩 트리 블록)의 최대 수를 명시할 수도 있다. 한 예에서, 비디오 코딩 디바이스는, 하나 이상의 또는 각각의 의존 레이어의 비디오 해상도에 기초하여, CTB의 최대 수로부터 N을 유도할 수도 있다.

비디오 코딩 디바이스는 제약을 제공하기 위해 하나 이상의 방식으로 시그널링할 수도 있다. 예를 들면, 비디오 코딩 디바이스는 SHVC에서 본원에서 설명된 하나 이상의 제약을 제공하기 위해 두 가지 방식으로 시그널링할 수도 있다.

예를 들면, 비디오 코딩 디바이스는 엑스트라 구문 엘리먼트를 시그널링하지 않을 수도 있고 제약은 NumDirectRefLayers[iNuhLId] 및 NumRefLayers[iNuhLId]와 같은 유도된 변수에 대해 제공될 수도 있다. 비디오 코딩 디바이스는, 직접 및/또는 간접 의존 레이어의 최대 수를 갖는 제약을 이행하기 위해, 구문 엘리먼트, 예컨대 직접 의존성 플래그의 값을 설정할 수도 있다. 비디오 코딩 디바이스는, 변수 NumDirectRefLayers[iNuhLId] 및 NumRefLayers[iNuhLId]를 유도하기 위해, 구문 엘리먼트, 예컨대 direct_dependency_flag를 사용할 수도 있다.

비디오 코딩 디바이스는, 의존성 레이어의 총 수를 나타내기 위해, 파라미터 세트에서, 구문 엘리먼트, 예컨대 max_num_direct_dependent_layer_minus1 및/또는 max_num_dependent_layers_minus1을 시그널링할 수도 있다. 파라미터 세트는 SPS 또는 VPS일 수도 있다. 비디오 코딩 디바이스는, 예를 들면, 코덱이 지원할 수도 있는 프로파일, 단, 및/또는 레벨에 기초하여, 구문 엘리먼트의 값을 설정할 수도 있다. 비디오 코딩 디바이스는 구문 엘리먼트 max_num_dependent_layer_minus1을 사용할 수도 있다.

비디오 코딩 디바이스는, (예를 들면, 표 16에서 나타내어지는 바와 같은) 레이어 중 의존 레이어의 최대 수 및/또는 (예를 들면, 표 17에서 나타내어지는 같은) 각각의 개개의 향상 레이어의 의존 레이어의 최대 수를 나타내기 위해 구문 엘리먼트를 사용할 수도 있는데, 예를 들면, 구문 엘리먼트가 VPS 확장에서 시그널링될 수도 있는 경우, 각각의 레이어가 상이한 프로파일 및/또는 레벨을 지원할 수도 있기 때문이다.

비디오 코딩 디바이스는, 각각의 레이어에 대한 직접 및 또는 간접 의존 레이어의 최대 수를 명시하기 위해, max_num_dependent_layers_minus1을 사용할 수도 있다. max_num_dependent_layers_minus1의 값은 0과 62 사이의 범위에 있을 수도 있다. 그것이 존재하지 않을 수도 있는 경우, max_num_dependent_layers_minus1의 값은 0과 동일할 수도 있다.

비디오 코딩 디바이스는, i 번째 레이어에 대한 직접 및 또는 간접 의존 레이어의 최대 수를 명시하기 위해, max_num_dependent_layers_minus1[i[]를 사용할 수도 있다. max_num_dependent_layers_minus1의 값은 0과 62 사이의 범위에 있을 수도 있다. 그것이 존재하지 않을 수도 있는 경우, max_num_dependent_layers_minus1의 값은 0과 동일할 수도 있다.

비디오 코딩 디바이스는, VPS에서 시그널링되는 구문 엘리먼트의 일부를 컨디셔닝하기 위해, max_num_dependent_layers_minus1을 사용할 수도 있다. 예를 들면, 각각의 레이어에 대해 이용가능한 의존 레이어가 존재할 수도 있는 경우(max_num_dependent_layers_minus1 = 0), 표 18에서 나타내어지는 바와 같이, 구문 엘리먼트 예컨대 "all_ref_layers_active_flag" 및 "max_one_active_ref_layer_flag"는 존재하지 않을 수도 있다.

비디오 코딩 디바이스는, SPS와 관련될 수도 있는 활성 레이어의 의존 레이어의 최대 수를 나타내기 위해, (예를 들면, 표 19에서 나타내어지는 바와 같이) SPS에서 시그널링되는 구문 엘리먼트를 사용할 수도 있다. 비디오 코딩 디바이스는, SPS 확장에서 시그널링되는 스케일링된 오프셋 구문 엘리먼트를 컨디셔닝하기 위해, 구문 엘리먼트를 사용할 수도 있다. 표 20은, 제공될 수도 있는 및/또는 활용될 수도 있는 예시적인 SPS 확장 구문 변경을 예시한다.

비디오 코딩 디바이스는 베이스 레이어에 대한 메인 프로파일 제약을 사용할 수도 있다. 예를 들면, 비디오 코딩 디바이스는 서브 비트스트림 추출을 사용할 수도 있다. 비디오 코딩 디바이스는 서브 비트스트림 추출로의 입력을 사용할 수도 있다. 서브 비트스트림 추출로의 입력은, 비트스트림, 타겟 최고 TemporalId 값(tIdTarget), 및/또는 타겟 레이어 식별자 리스트(layerIdListTarget)일 수도 있다. 서브 비트스트림 추출의 출력은 서브 비트스트림일 수도 있다. 입력 비트스트림에 대한 비트스트림 적합성은, tIdTarget를 갖는 프로세스의 출력 서브 비트스트림이 0 이상 6 이하의 범위에 있는 값과 동일해야 한다는 것을 규정할 수도 있다. 활성 비디오 파라미터 세트에서 규정되는 레이어 세트와 관련되는 레이어 식별자 리스트와 동일한 layerIdListTarget은 적합한 비트스트림일 수도 있다. 적합한 비트스트림은 0과 동일한 nuh_layer_id 및 0과 동일한 TemporalId를 갖는 하나 이상의 코딩된 슬라이스 세그먼트 NAL 단위를 포함할 수도 있다.

비디오 코딩 디바이스는 출력 서브 비트스트림을 다음과 같이 유도할 수도 있다. 다음의 조건 중 하나 이상이 참일 수도 있는 경우, 비디오 코딩 디바이스는, 0과 동일한 nuh_layer_id를 가질 수도 있는 그리고 비내재 버퍼링 기간 SEI 메시지, 비내재 픽쳐 타이밍 SEI 메시지, 또는 비내재 디코딩 단위 정보 SEI 메시지를 포함할 수도 있는 SEI NAL 단위를 제거할 수도 있다. 비디오 코딩 디바이스는, layerIdListTarget이 (예를 들면, 한 상태에서) 비트스트림의 NAL 단위에서 nuh_layer_id의 값을 포함하지 않을 수도 있는 경우 SEI NAL 단위를 제거할 수도 있다. 비디오 코딩 디바이스는, tIdTarget이 (예를 들면, 한 상태에서) 비트스트림의 NAL 단위에서 가장 큰 TemporalId보다 작을 수도 있는 경우 SEI NAL 단위를 제거할 수도 있다. 비디오 코딩 디바이스는, 서브 비트스트림에 적용가능한 SEI 메시지가 원래의 비트스트림에서 내재된 SEI 메시지로서 존재했다면, "스마트" 비트스트림 추출기가 적절한 비내재 버퍼링 픽쳐 SEI 메시지, 비내재 픽쳐 타이밍 SEI 메시지, 및 비내재 디코딩 단위 정보 SEI 메시지를 추출된 서브 비트스트림에 포함할 수도 있는 경우, SEI NAL 단위를 제거할 수도 있다. 비디오 코딩 디바이스는, layerIdListTarget에 포함되는 값 중에 있지 않을 수도 있는 nuh_layer_id 또는 tIdTarget보다 더 큰 TemporalId를 갖는 NAL 단위를 제거할 수도 있다.

도 8은 단일 레이어의 계층적 비디오 코딩 구조의시간적 레이어 예를 예시한다. 0과 동일한 TemporalId를 갖는 제1 시간 레이어는, 픽쳐(POC810 및 POC890)를 포함할 수도 있고; 1과 동일한 TemporalId를 갖는 제2 시간 레이어는, 픽쳐(POC850)를 포함할 수도 있고; 2와 동일한 TemporalId를 갖는 제3 시간 레이어는, 픽쳐(POC830 및 POC870)를 포함할 수도 있고; 그리고 3과 동일한 TemporalId를 갖는 마지막 시간 레이어는, 픽쳐(POC820, POC840, POC860 및 POC880)를 포함할 수도 있다. 서브 비트스트림 추출에 대해 tIdTarget가 2와 동일하게 설정되는 예에서, 서브 비트스트림 추출로부터의 출력 비트스트림은, POC810, POC830, POC850, POC870 및 POC890의 픽쳐를 포함할 수도 있다.

적합한 비트스트림은 0과 동일한 nuh_layer_id 및 0과 동일한 TemporalId를 갖는 하나 이상의 코딩된 슬라이스 세그먼트 NAL 단위를 포함할 수도 있다. 추출 프로세스의 출력 서브 비트스트림은 적합한 비트스트림일 수도 있다. 비디오 코딩 디바이스는, 예를 들면, 동일한 적합성 요건이 HEVC의 멀티뷰 및 스케일러블 확장에 적용될 수도 있다면, 0과 동일한 nuh_layer_id 및 0과 동일한 TemporalId의 베이스 레이어 NAL 단위가 추출된 서브 비트스트림에 포함되는 것을 보장하는 것을 돕기 위해 SHVC 메인 프로파일에 대한 제약을 사용할 수도 있다.

예시적인 제약은 다음과 같을 수도 있다. 비디오 코딩 디바이스는, 자신의 0과 동일한 nuh_layer_id 및 0과 동일한 TemporalId를 갖는 픽쳐를 포함하는 하나 이상의 액세스 단위를 적합한 SHVC 비트스트림에 포함시킬 수도 있다. 예를 들면, 0과 동일한 nuh_layer_id 및 0과 동일한 TemporalId를 갖는 픽쳐를 포함하는 레이어는, 레이어 식별자 리스트인 TargetDecLayerIdList에서의 각각의 nuh_layer_id 값에 대한 레이어의 직접 또는 간접 의존 레이어일 수도 있다. 비디오 코딩 디바이스는, 동시 전송(simulcast) 레이어가 SHVC 비트스트림에서 이용가능할 수도 있다는 것을 명시하기 위해 제약을 활용할 수도 있다.

도 9a는 하나 이상의 개시된 실시형태가 구현될 수도 있는 예시적인 통신 시스템(900)의 도면이다. 통신 시스템(900)은 보이스, 데이터, 비디오, 메시징, 브로드캐스트 등등과 같은 컨텐츠를 다수의 무선 유저에게 제공하는 다중 액세스 시스템일 수도 있다. 통신 시스템(900)은, 무선 대역폭을 포함하는 시스템 리소스의 공유를 통해 다수의 무선 유저가 이러한 컨텐츠에 액세스하는 것을 가능하게 할 수도 있다. 예를 들면, 통신 시스템(900)은, 코드 분할 다중 액세스(code division multiple access; CDMA), 시분할 다중 액세스(time division multiple access; TDMA), 주파수 분할 다중 액세스(frequency division multiple access; FDMA), 직교 FDMA(orthogonal FDMA; OFDMA), 싱글 캐리어 FDMA(single-carrier FDMA; SC-FDMA) 등등과 같은 하나 이상의 채널 액세스 방법을 활용할 수도 있다.

도 9a에서 도시되는 바와 같이, 통신 시스템(900)은 무선 송수신 유닛(WTRU)(902a, 902b, 902c, 및/또는 902d)(일반적으로 또는 일괄적으로 WTRU(902)로 칭해질 수도 있음), 무선 액세스 네트워크(radio access network; RAN)(903/904/905), 코어 네트워크(906/907/909), 공중 교환 전화망(public switched telephone network; PSTN)(908), 인터넷(910), 및 기타 네트워크(912)를 포함할 수도 있지만, 개시된 실시형태는 임의의 수의 WTRU, 기지국(base station), 네트워크, 및/또는 네트워크 엘리먼트를 고려해야 한다는 것을 알 수 있을 것이다. WTRU(902a, 902b, 902c, 902d)의 각각은 무선 환경에서 동작 및/또는 통신하도록 구성되는 임의의 타입의 디바이스일 수도 있다. 예로서, WTRU(902a, 902b, 902c, 902d)는 무선 신호를 송신 및/또는 수신하도록 구성될 수도 있고 유저 기기(user equipment; UE), 이동국(mobile station), 고정식 또는 이동식 가입자 유닛, 페이저, 셀룰러 전화, 개인 휴대형 정보 단말기(personal digital assistant; PDA), 스마트폰, 랩탑, 넷북, 퍼스널 컴퓨터, 무선 센서, 가전기기(consumer electronics) 등등을 포함할 수도 있다.

통신 시스템(900)은 기지국(914a) 및 기지국(914b)을 또한 포함할 수도 있다. 기지국(914a, 914b)의 각각은, 코어 네트워크(906/907/909), 인터넷(910), 및/또는 기타 네트워크(912)와 같은 하나 이상의 통신 네트워크에 대한 액세스를 용이하게 하기 위해 WTRU(902a, 902b, 902c, 902d) 중 적어도 하나와 무선으로 인터페이싱하도록 구성되는 임의의 타입의 디바이스일 수도 있다. 예로서, 기지국(914a, 914b)은 기지국 트랜시버(base transceiver station; BTS), 노드 B, eNode B, 홈 노드 B, 홈 eNode B, 사이트 컨트롤러, 액세스 포인트(AP), 무선 라우터 등등일 수도 있다. 기지국(914a, 914b) 각각이 단일의 엘리먼트로서 묘사되지만, 기지국(914a, 914b)은 임의의 수의 인터커넥트된(interconnected) 기지국 및/또는 네트워크 엘리먼트를 포함할 수도 있다는 것을 알 수 있을 것이다.

기지국(914a)은, 기지국 컨트롤러(base station controller; BSC), 무선 네트워크 컨트롤러(radio network controller; RNC), 중계 노드 등등과 같은 다른 기지국 및/또는 네트워크 엘리먼트(도시되지 않음)를 또한 포함할 수도 있는 RAN(903/904/905)의 일부일 수도 있다. 기지국(914a) 및/또는 기지국(914b)은 특정 지리적 영역 내에서 무선 신호를 송신 및/또는 수신하도록 구성될 수도 있으며, 셀(도시되지 않음)로서 칭해질 수도 있다. 셀은 셀 섹터로 더 분할될 수도 있다. 예를 들면, 기지국(914a)과 관련되는 셀은 3개의 섹터로 분할될 수도 있다. 따라서, 하나의 실시형태에서, 기지국(914a)은 3개의 트랜시버, 즉, 셀의 각각의 섹터에 대해 하나의 트랜시버를 포함할 수도 있다. 다른 실시형태에서, 기지국(914a)은 다중입력 다중출력(multiple-input multiple-output; MIMO) 기술을 활용할 수도 있고, 따라서, 셀의 각각의 섹터에 대해 다수의 트랜시버를 활용할 수도 있다.

기지국(914a, 914b)은, 임의의 적절한 무선 통신 링크(예를 들면, 무선 주파수(radio frequency; RF), 마이크로파, 적외선(infrared; IR), 자외선(ultraviolet; UV), 가시광 등등)일 수도 있는 무선 인터페이스(air interface; 915/916/917)를 통해 WTRU(902a, 902b, 902c, 902d) 중 하나 이상과 통신할 수도 있다. 무선 인터페이스(915/916/917)는 임의의 적절한 무선 액세스 기술(radio access technology; RAT)을 사용하여 확립될 수도 있다.

더 구체적으로는, 위에서 언급된 바와 같이, 통신 시스템(900)은 다중 액세스 시스템일 수도 있고 CDMA, TDAM, FDAM, OFDMA, SC-FDMA 등등과 같은 하나 이상의 채널 액세스 방식을 활용할 수도 있다. 예를 들면, RAN(903/904/905) 내의 기지국(914a) 및 WTRU(902a, 902b, 902c)는, 광대역 CDMA(wideband CDMA; WCDMA)를 사용하여 무선 인터페이스(915/916/917)를 확립할 수도 있는, 범용 이동 통신 시스템(Universal Mobile Telecommunications System; UMTS) 지상 무선 액세스(Terrestrial Radio Access)(UTRA)와 같은 무선 기술을 구현할 수도 있다. WCDMA는 고속 패킷 액세스(High-Speed Packet Access; HSPA) 및/또는 진화된 HSPA(Evolved HSPA; HSPA+)와 같은 통신 프로토콜을 포함할 수도 있다. HSPA는 고속 다운링크 패킷 액세스(High-Speed Downlink Packet Access; HSDPA) 및/또는 고속 업링크 패킷 액세스(High-Speed Uplink Packet Access; HSUPA)를 포함할 수도 있다.

다른 실시형태에서, 기지국(914a) 및 WTRU(902a, 902b, 902c)는, 롱 텀 에볼루션(LTE) 및/또는 LTE-어드밴스드(LTE-Advanced; LTE-A)를 사용하여 무선 인터페이스(915/916/917)를 확립할 수도 있는 무선 기술 예컨대 진화된 UMTS 지상 무선 액세스(Evolved UMTS Terrestrial Radio Access; E-UTRA)를 구현할 수도 있다.

하나의 실시형태에서, 기지국(914a) 및 WTRU(902a, 902b, 902c)는, IEEE 802.16(예를 들면, 와이맥스(Worldwide Interoperability for Microwave Access; WiMAX)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, IS-2000(Interim Standard 2000), IS-95(Interim Standard 95), IS-856(Interim Standard 856), 이동 통신용 글로벌 시스템(Global System for Mobile communications; GSM), EDGE(Enhanced Data rates for GSM Evolution), GSM EDGE(GERAN) 등등과 같은 무선 기술을 구현할 수도 있다.

도 9a의 기지국(914b)은, 예를 들면, 무선 라우터, 홈 노드 B, 홈 eNode B, 또는 액세스 포인트일 수도 있고, 사업장, 가정, 차량, 캠퍼스 등등과 같은 국소화된 영역에서 무선 연결성을 용이하게 하기 위해 임의의 적절한 RAT를 활용할 수도 있다. 하나의 실시형태에서, 기지국(914b) 및 WTRU(902c, 902d)는 무선 근거리 통신망(wireless local area network; WLAN)을 확립하기 위해 IEEE 802.11과 같은 무선 기술을 구현할 수도 있다. 다른 실시형태에서, 기지국(914b) 및 WTRU(902c, 902d)는 무선 사설 영역 네트워크(wireless personal area network; WPAN)를 확립하기 위해 IEEE 802.15와 같은 무선 기술을 구현할 수도 있다. 또 다른 실시형태에서, 기지국(914b) 및 WTRU(902c, 902d)는 피코셀 또는 펨토셀을 확립하기 위해 셀룰러 기반 RAT(예를 들면, WCDMA, CDMA2000, GSM, LTE, LTE-A 등등)를 활용할 수도 있다. 도 9a에서 도시되는 바와 같이, 기지국(914b)은 인터넷(910)에 대한 직접 연결을 구비할 수도 있다. 따라서, 기지국(914b)은 코어 네트워크(906/907/909)를 통해 인터넷(910)에 액세스할 필요가 없을 수도 있다.

RAN(903/904/905)은, WTRU(902a, 902b, 902c, 902d) 중 하나 이상으로 보이스, 데이터, 애플리케이션, 및/또는 인터넷 전화 프로토콜(voice over internet protocol; VoIP) 서비스를 제공하도록 구성되는 임의의 타입의 네트워크일 수도 있는 코어 네트워크(906/907/909)와 통신할 수도 있다. 예를 들면, 코어 네트워크(906/907/909)는 호 제어(call control), 과금 서비스, 모바일 위치 기반 서비스, 선불 통화, 인터넷 연결성, 비디오 분배 등등을 제공할 수도 있고 및/또는 유저 인증과 같은 하이 레벨의 보안 기능을 수행할 수도 있다. 도 9a에서 도시되지는 않지만, RAN(903/904/905) 및/또는 코어 네트워크(906/907/909)는, RAN(903/904/905)과 동일한 RAT 또는 상이한 RAT를 활용하는 다른 RAN과 직접 또는 간접 통신할 수도 있다는 것을 알 수 있을 것이다. 예를 들면, E-UTRA 무선 기술을 활용할 수도 있는 RAN(903/904/905)에 연결되는 것 외에, 코어 네트워크(906/907/909)는 GSM 무선 기술을 활용하는 다른 RAN(도시되지 않음)과 또한 통신할 수도 있다.

코어 네트워크(906/907/909)는, PSTN(908), 인터넷(910), 및/또는 기타 네트워크(912)에 액세스할 WTRU(902a, 902b, 902c, 902d)에 대해 게이트웨이로서 또한 기능할 수도 있다. PSTN(908)은, 기존 전화 서비스(plain old telephone service; POTS)를 제공하는 회선 교환 전화 네트워크를 포함할 수도 있다. 인터넷(910)은, TCP/IP(transmission control protocol/internet protocol; 전송 제어 프로토콜/인터넷 프로토콜) 일군(suite)에서의 TCP, 유저 데이터그램 프로토콜(user datagram protocol; UDP) 및 IP와 같은 공통 통신 프로토콜을 사용하는 인터커넥트된 컴퓨터 네트워크 및 디바이스의 글로벌 시스템을 포함할 수도 있다. 네트워크(912)는 다른 서비스 공급자에 의해 소유되는 및/또는 다른 서비스 공급자에 의해 운영되는 유선 또는 무선 통신 네트워크를 포함할 수도 있다. 예를 들면, 네트워크(912)는, RAN(903/904/905)과 동일한 RAT 또는 상이한 RAT를 활용할 수도 있는 하나 이상의 RAN에 연결되는 다른 코어 네트워크를 포함할 수도 있다.

통신 시스템(900)에서의 WTRU(902a, 902b, 902c, 902d) 중 몇몇 또는 전체는 다중 모드 성능을 포함할 수도 있다, 예를 들면, WTRU(902a, 902b, 902c, 902d)는 상이한 무선 링크를 통해 상이한 무선 네트워크와 통신하기 위한 다수의 트랜시버를 포함할 수도 있다. 예를 들면, 도 9a에서 도시되는 WTRU(902c)는, 셀룰러 기반 무선 기술을 활용할 수도 있는 기지국(914a)과, 그리고 IEEE 802 무선 기술을 활용할 수도 있는 기지국(914b)과 통신하도록 구성될 수도 있다.

도 9b는 예시적인 WTRU(902)의 시스템 도면이다. 도 9b에서 도시되는 바와 같이, WTRU(902)는 프로세서(918), 트랜시버(920), 송신/수신 엘리먼트(922), 스피커/마이크(924), 키패드(926), 디스플레이/터치패드(928), 비착탈식 메모리(930), 착탈식 메모리(932), 전원(934), 글로벌 포지셔닝 시스템(global positioning system; GPS) 칩셋(936), 및 기타 주변장치(938)를 포함할 수도 있다. WTRU(902)는 한 실시형태와 여전히 일치하면서 상기 엘리먼트의 임의의 부조합을 포함할 수도 있다는 것을 알 수 있을 것이다. 또한, 실시형태는, 기지국(914a 및 914b), 및/또는, 다른 것들 중에서도, 기지국 트랜시버(BTS), 노드 B, 사이트 컨트롤러, 액세스 포인트(AP), 홈 노드 B, 진화형 홈 노드 B(eNodeB), 홈 진화형 노드 B(home evolved node-B; HeNB 또는 HeNodeB), 홈 진화형 노드 B 게이트웨이, 및 프록시 노드와 같은 그러나 이들로 한정되지는 않는, 기지국(914a 및 914b)이 나타낼 수도 있는 노드가, 도 9b에서 묘사되고 본원에서 설명되는 엘리먼트 중 일부 또는 전체를 포함할 수도 있다는 것을 고려한다.

프로세서(918)는 범용 프로세서, 특수 목적의 프로세서, 종래의 프로세서, 디지털 신호 프로세서(digital signal processor; DSP), 복수의 마이크로프로세서, DSP 코어와 관련하는 하나 이상의 마이크로프로세서, 컨트롤러, 마이크로컨트롤러, 주문형 반도체(Application Specific Integrated Circuit; ASIC), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array; FPGA) 회로, 임의의 다른 타입의 집적 회로(integrated circuit; IC), 상태 머신 등등일 수도 있다. 프로세서(918)는 신호 코딩, 데이터 프로세싱, 전력 제어, 입/출력 프로세싱, 및/또는 WTRU(902)가 무선 환경에서 동작하는 것을 가능하게 하는 임의의 다른 기능성(functionality)을 수행할 수도 있다. 프로세서(918)는, 송신/수신 엘리먼트(922)에 커플링될 수도 있는 트랜시버(920)에 커플링될 수도 있다. 도 9b가 프로세서(918)와 트랜시버(920)를 별개의 컴포넌트로서 묘사하지만, 프로세서(918)와 트랜시버(920)는 전자적 패키지 또는 칩에 함께 집적될 수도 있다는 것을 알 수 있을 것이다.

송신/수신 엘리먼트(922)는 무선 인터페이스(915/916/917)를 통해 기지국(예를 들면, 기지국(914a))으로 신호를 송신하거나, 또는 그 기지국으로부터 신호를 수신하도록 구성될 수도 있다. 예를 들면, 하나의 실시형태에서, 송신/수신 엘리먼트(922)는 RF 신호를 송신 및/또는 수신하도록 구성되는 안테나일 수도 있다. 다른 실시형태에서, 송신/수신 엘리먼트(922)는, 예를 들면, IR, UV, 또는 가시광 신호를 송신 및/또는 수신하도록 구성되는 방출기(emitter)/검출기일 수도 있다. 또 다른 실시형태에서, 송신/수신 엘리먼트(922)는 RF 및 광 신호 둘 다를 송신 및 수신하도록 구성될 수도 있다. 송신/수신 엘리먼트(922)는 무선 신호의 임의의 조합을 송신 및/또는 수신하도록 구성될 수도 있다는 것을 알 수 있을 것이다.

또한, 송신/수신 엘리먼트(922)가 도 9b에서 단일의 엘리먼트로서 묘사되지만, WTRU(902)는 임의의 수의 송신/수신 엘리먼트(922)를 포함할 수도 있다. 더 구체적으로는, WTRU(902)는 MIMO 기술을 활용할 수도 있다. 따라서, 하나의 실시형태에서, WTRU(902)는, 무선 인터페이스(915/916/917)를 통해 무선 신호를 송신 및 수신하기 위한 두 개 이상의 송신/수신 엘리먼트(922)(예를 들면, 다수의 안테나)를 포함할 수도 있다.

트랜시버(920)는, 송신/수신 엘리먼트(922)에 의해 송신될 신호를 변조하도록 그리고 송신/수신 엘리먼트(922)에 의해 수신되는 신호를 복조하도록 구성될 수도 있다. 위에서 언급된 바와 같이, WTRU(902)는 다중 모드 성능을 가질 수도 있다. 따라서, 트랜시버(920)는, WTRU(902)가, 예를 들면, UTRA 및 IEEE 802.11과 같은 다수의 RAT를 통해 통신하는 것을 가능하게 하기 위해, 다수의 트랜시버를 포함할 수도 있다.

WTRU(902)의 프로세서(918)는, 스피커/마이크(924), 키패드(926), 및/또는 디스플레이/터치패드(928)(예를 들면, 액정 디스플레이(liquid crystal display; LCD) 디스플레이 유닛 또는 유기 발광 다이오드(organic light- emitting diode; OLED) 디스플레이 유닛)에 커플링될 수도 있고, 그리고 이들로부터 유저 입력 데이터를 수신할 수도 있다. 프로세서(918)는 유저 데이터를 스피커/마이크(924), 키패드(926), 및/또는 디스플레이/터치패드(928)로 또한 출력할 수도 있다. 또한, 프로세서(918)는, 비착탈식 메모리(930) 및/또는 착탈식 메모리(932)와 같은 임의의 타입의 적절한 메모리로부터의 정보에 액세스할 수도 있고, 그리고 그 임의의 타입의 적절한 메모리에 데이터를 저장할 수도 있다. 비착탈식 메모리(930)는 랜덤 액세스 메모리(random-access memory; RAM), 리드 온리 메모리(read-only memory; ROM), 하드디스크, 또는 임의의 다른 타입의 메모리 스토리지 디바이스를 포함할 수도 있다. 착탈식 메모리(932)는 가입자 식별 모듈(subscriber identity module; SIM) 카드, 메모리 스틱, 시큐어 디지털(secure digital; SD) 메모리 카드 등등을 포함할 수도 있다. 다른 실시형태에서, 프로세서(918)는, 서버 또는 가정용 컴퓨터(도시되지 않음)와 같은 WTRU(902)에 물리적으로 위치되지 않는 메모리로부터의 정보에 액세스할 수도 있고, 그리고 그 메모리에 데이터를 저장할 수도 있다.

프로세서(918)는 전원(934)으로부터 전력을 수신할 수도 있고, WTRU(902)의 다른 컴포넌트로 전력을 분배하도록 및/또는 그 전력을 제어하도록 구성될 수도 있다. 전원(934)은 WTRU(902)에 전력을 공급하기 위한 임의의 적절한 디바이스일 수도 있다. 예를 들면, 전원(934)은 하나 이상의 드라이 셀 배터리(예를 들면, 니켈 카드뮴(NiCd), 니켈 아연(NiZn), 니켈 금속 수소(NiMH), 리튬 이온(Li ion) 등등), 솔라 셀, 연료 전지 등등을 포함할 수도 있다.

프로세서(918)는, WTRU(902)의 현재 위치에 관한 위치 정보(예를 들면, 경도 및 위도)를 제공하도록 구성될 수도 있는 GPS 칩셋(936)에 또한 커플링될 수도 있다. 또한, GPS 칩셋(936)으로부터의 정보 외에, 또는 그 정보 대신, WTRU(902)는 무선 인터페이스(915/916/917)를 통해 기지국(예를 들면, 기지국(914a, 914b))으로부터 위치 정보를 수신할 수도 있고/있거나 두 개 이상의 가까운 기지국으로부터 수신되고 있는 신호의 타이밍에 기초하여 자신의 위치를 결정할 수도 있다. WTRU(902)는 한 실시형태와 여전히 일치하면서 임의의 적절한 위치 결정 방법 구현예를 통해 위치 정보를 획득할 수도 있다는 것을 알 수 있을 것이다.

프로세서(918)는, 추가적인 피쳐, 기능성, 및/또는 유선 또는 무선 연결성을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈을 포함할 수도 있는 기타 주변장치(938)에 추가로 커플링될 수도 있다. 예를 들면, 주변장치(938)는 가속도계, 전자 콤파스, 위성 트랜시버, (사진 및 비디오용의) 디지털 카메라, 범용 직렬 버스(universal serial bus; USB) 포트, 진동 디바이스, 텔레비전 트랜시버, 핸즈프리 헤드셋, Bluetooth® 모듈, 주파수 변조(frequency modulated; FM) 라디오 유닛, 디지털 뮤직 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저 등등을 포함할 수도 있다.

도 9c는 한 실시형태에 따른 RAN(903)과 코어 네트워크(906)의 시스템 도면이다. 위에서 언급된 바와 같이, RAN(903)은 무선 인터페이스(915)를 통해 WTRU(902a, 902b, 902c)와 통신하기 위해 UTRA 무선 기술을 활용할 수도 있다. RAN(903)은 코어 네트워크(906)와 또한 통신할 수도 있다. 도 9c에서 도시되는 바와 같이, RAN(903)은, 무선 인터페이스(915)를 통해 WTRU(902a, 902b, 902c)와 통신하기 위한 하나 이상의 트랜시버를 각각 포함할 수도 있는 노드 B(940a, 940b, 940c)를 포함할 수도 있다. 노드 B(940a, 940b, 940c) 각각은 RAN(903) 내의 특정 셀(도시되지 않음)과 관련될 수도 있다. RAN(903)은 RNC(942a, 942b)를 또한 포함할 수도 있다. RAN(903)은, 한 실시형태와 여전히 일치하면서, 임의의 수의 노드 B 및 RNC를 포함할 수도 있다는 것을 알 수 있을 것이다.

도 9c에서 도시되는 바와 같이, 노드 B(940a, 940b)는 RNC(942a)와 통신할 수도 있다. 추가적으로, 노드 B(940c)는 RNC(942b)와 통신할 수도 있다. 노드 B(940a, 940b, 940c)는 Iub 인터페이스를 통해 각각의 RNC(942a, 942b)와 통신할 수도 있다. RNC(942a, 942b)는 다른 Iur 인터페이스를 통해 서로 통신할 수도 있다. RNC(942a, 942b)의 각각은, 자신이 연결되는 각각의 노드 B(940a, 940b, 940c)를 제어하도록 구성될 수도 있다. 또한, RNC(942a, 942b)의 각각은 다른 기능성, 예컨대 외부 루프 전력 제어, 부하 제어, 수락 제어(admission control), 패킷 스케줄링, 핸드오버 제어, 매크로다이버시티, 보안 기능, 데이터 암호화 등등을 수행하거나 지원하도록 구성될 수도 있다.

도 9c에서 도시되는 코어 네트워크(906a)는 미디어 게이트웨이(media gateway; MGW)(944), 모바일 스위칭 센터(mobile switching center; MSC)(946), 서빙 GPRS 지원 노드(serving GPRS support node; SGSN)(948), 및/또는 게이트웨이 GPRS 지원 노드(gateway GPRS support node; GGSN)(950)를 포함할 수도 있다. 상기 엘리먼트의 각각이 코어 네트워크(906)의 일부로서 묘사되지만, 이들 엘리먼트 중 임의의 하나는 코어 네트워크 오퍼레이터 이외의 엔티티에 의해 소유되거나 및/또는 그 엔티티에 의해 동작될 수도 있다는 것을 알 수 있을 것이다.

RAN(903)에서의 RNC(942a)는 IuCS 인터페이스를 통해 코어 네트워크(906)의 MSC(946)에 연결될 수도 있다. MSC(946)는 MGW(944)에 연결될 수도 있다. MSC(946) 및 MGW(944)는, WTRU(902a, 902b, 902c)와 전통적인 지상 회선(land-line) 통신 디바이스 사이의 통신을 용이하게 하기 위해, PSTN(908)과 같은 회선 교환 네트워크에 대한 액세스를 WTRU(902a, 902b, 902c)에게 제공할 수도 있다.

RAN(903)에서의 RNC(942a)는 IuPS 인터페이스를 통해 코어 네트워크(906)의 SGSN(948)에 또한 연결될 수도 있다. SGSN(948)은 GGSN(950)에 연결될 수도 있다. SGSN(948) 및 GGSN(950)은, WTRU(902a, 902b, 902c)와 IP 대응 디바이스(IP-enabled device) 사이의 통신을 용이하게 하기 위해, 패킷 교환 네트워크, 예컨대 인터넷(910)에 대한 액세스를 WTRU(902a, 902b, 902c)에게 제공할 수도 있다.

위에서 언급된 바와 같이, 코어 네트워크(906)는 네트워크(912)에 또한 연결될 수도 있는데, 네트워크(912)는 다른 서비스 공급자에 의해 소유되는 및/또는 운영되는 다른 유선 또는 무선 네트워크를 포함할 수도 있다.

도 9d는 한 실시형태에 따른 RAN(904)과 코어 네트워크(907)의 시스템 도면이다. 위에서 언급된 바와 같이, RAN(904)은 무선 인터페이스(916)를 통해 WTRU(902a, 902b, 902c)와 통신하기 위해 E-UTRA 무선 기술을 활용할 수도 있다. RAN(904)은 코어 네트워크(907)와 또한 통신할 수도 있다.

RAN(904)은 eNode B(960a, 960b, 960c)를 포함할 수도 있지만, RAN(904)은 한 실시형태와 여전히 일치하면서 임의의 수의 eNode B를 포함할 수도 있다. eNode B(960a, 960b, 960c) 각각은 무선 인터페이스(916)를 통해 WTRU(902a, 902b, 902c)와 통신하기 위한 하나 이상의 트랜시버를 포함할 수도 있다. 하나의 실시형태에서, eNode B(960a, 960b, 960c)는 MIMO 기술을 구현할 수도 있다. 따라서, eNode B(960a)는, 예를 들면, WTRU(902a)로 무선 신호를 송신하고 그 WTRU(902a)로부터 무선 신호를 수신하기 위해 다수의 안테나를 사용할 수도 있다.

eNode B(960a, 960b, 960c)의 각각은 특정 셀(도시되지 않음)과 관련될 수도 있고 무선 리소스 관리 결정, 핸드오버 결정, 업링크 및/또는 다운링크에서의 유저의 스케줄링 등등을 핸들링하도록 구성될 수도 있다. 도 9d에서 도시되는 바와 같이, eNode B(960a, 960b, 960c)는 X2 인터페이스를 통해 서로 통신할 수도 있다.

도 9d에서 도시되는 코어 네트워크(907)는 이동성 관리 엔티티 게이트웨이(mobility management entity gateway; MME)(962), 서빙 게이트웨이(964), 및 패킷 데이터 네트워크(packet data network; PDN) 게이트웨이(966)를 포함할 수도 있다. 상기 엘리먼트의 각각이 코어 네트워크(907)의 일부로서 묘사되지만, 이들 엘리먼트 중 임의의 하나는 코어 네트워크 오퍼레이터 이외의 엔티티에 의해 소유되거나 및/또는 그 엔티티에 의해 동작될 수도 있다는 것을 알 수 있을 것이다.

MME(962)는 S1 인터페이스를 통해 RAN(904) 내의 eNode B(960a, 960b, 960c)의 각각에 연결될 수도 있고 제어 노드로서 기능할 수도 있다. 예를 들면, MME(962)는 WTRU(902a, 902b, 902c)의 유저를 인증하는 것, 베어러 활성/비활성, WTRU(902a, 902b, 902c)의 초기 연결 동안 특정 서빙 게이트웨이를 선택하는 것을 담당할 수도 있다. MME(962)는, GSM 또는 WCDMA와 같은 다른 무선 기술을 활용하는 다른 RAN(도시되지 않음)과 RAN(904) 사이를 스위칭하는 제어 플레인 기능을 또한 제공할 수도 있다.

서빙 게이트웨이(964)는 S1 인터페이스를 통해 RAN(904) 내의 eNode B(960a, 960b, 960c)의 각각에 연결될 수도 있다. 서빙 게이트웨이(964)는 일반적으로 유저 데이터 패킷을 WTRU(902a, 902b, 902c)로 라우팅하고 WTRU(902a, 902b, 902c)로부터 포워딩할 수도 있다. 서빙 게이트웨이(964)는 다른 기능, 예컨대 eNode B간 핸드오버 동안 유저 플레인을 앵커링하는 것, 다운링크 데이터가 WTRU(902a, 902b, 902c)에 대해 이용가능할 때 페이징을 트리거하는 것, WTRU(902a, 902b, 902c)의 상황(context)를 관리하고 저장하는 것 등등을 또한 수행할 수도 있다.

서빙 게이트웨이(964)는, WTRU(902a, 902b, 902c)와 IP 대응 디바이스 사이의 통신을 용이하게 하기 위해, 인터넷(910)과 같은 패킷 교환 네트워크에 대한 액세스를 WTRU(902a, 902b, 902c)에 제공할 수도 있는 PDN 게이트웨이(966)에 또한 연결될 수도 있다.

코어 네트워크(907)는 다른 네트워크와의 통신을 용이하게 할 수도 있다. 예를 들면, 게이트웨이(907)는, WTRU(902a, 902b, 902c)와 전통적인 지상 회선 통신 디바이스 사이의 통신을 용이하게 하기 위해, PSTN(908)과 같은 회선 교환 네트워크에 대한 액세스를 WTRU(902a, 902b, 902c)에게 제공할 수도 있다. 예를 들면, 코어 네트워크(907)는, 코어 네트워크(907)와 PSTN(908) 사이의 인터페이스로서 기능하는 IP 게이트웨이(예를 들면, IP 멀티미디어 서브시스템(IP multimedia subsystem; IMS) 서버)를 포함할 수도 있거나, 또는 그 IP 게이트웨이와 통신할 수도 있다. 또한, 코어 네트워크(907)는, 다른 서비스 공급자에 의해 소유되는 및/또는 다른 서비스 공급자에 의해 운영되는 다른 유선 또는 무선 네트워크를 포함할 수도 있는 네트워크(912)에 대한 액세스를 WTRU(902a, 902b, 902c)에게 제공할 수도 있다.

도 9e는 한 실시형태에 따른 RAN(905)과 코어 네트워크(909)의 시스템 도면이다. RAN(905)은, 무선 인터페이스(917)를 통해 WTRU(902a, 902b, 902c)와 통신하기 위해 IEEE 802.16 무선 기술을 활용하는 액세스 서비스 네트워크(access service network; ASN)일 수도 있다. 하기에 더 논의되는 바와 같이, WTRU(902a, 902b, 902c), RAN(905), 및 코어 네트워크(909)의 상이한 기능적 엔티티 사이의 통신 링크는 참조 포인트(reference point)으로서 정의될 수도 있다.

도 9e에서 도시되는 바와 같이, RAN(905)은 기지국(980a, 980b, 980c) 및 ASN 게이트웨이(982)를 포함할 수도 있지만, RAN(905)은, 실시형태와 여전히 일치하면서, 임의의 수의 기지국 및 ASN 게이트웨이를 포함할 수도 있다는 것을 알 수 있을 것이다. 기지국(980a, 980b, 980c) 각각은, RAN(905) 내의 특정 셀(도시되지 않음)과 관련될 수도 있고 무선 인터페이스(917)를 통해 WTRU(902a, 902b, 902c)와 통신하기 위한 하나 이상의 트랜시버를 포함할 수도 있다. 하나의 실시형태에서, 기지국(980a, 980b, 980c)은 MIMO 기술을 구현할 수도 있다. 따라서, 기지국(980a)은, 예를 들면, WTRU(902a)로 무선 신호를 송신하고 그 WTRU(102a)로부터 무선 신호를 수신하기 위해 다수의 안테나를 사용할 수도 있다. 또한, 기지국(980a, 980b, 980c)은, 핸드오프 트리거링(handoff triggering), 터널 확립, 무선 리소스 관리, 트래픽 분류, 서비스 품질(quality of service; QoS) 정책 강화(enforcement) 등등과 같은 이동성 관리 기능을 제공할 수도 있다. ASN 게이트웨이(982)는 트래픽 애그리게이션 포인트(traffic aggregation point)로서 기능할 수도 있으며 페이징, 가입자 프로파일의 캐싱, 코어 네트워크(909)로의 라우팅 등등을 담당할 수도 있다.

WTRU(902a, 902b, 902c)와 RAN(905) 사이의 무선 인터페이스(917)는, IEEE 802.16 명세(specification)를 구현하는 R1 참조 포인트로서 정의될 수도 있다. 또한, WTRU(902a, 902b, 902c)의 각각은 코어 네트워크(909)와의 논리 인터페이스(logical interface)(도시되지 않음)를 확립할 수도 있다. WTRU(902a, 902b, 902c)와 코어 네트워크(909) 사이의 논리 인터페이스는 R2 참조 포인트로서 정의될 수도 있는데, R2 참조 포인트는 인증(authentication), 인가(authorization), IP 호스트 구성 관리, 및/또는 이동성 관리를 위해 사용될 수도 있다.

기지국(980a, 980b, 980c) 각각의 사이의 통신 링크는, WTRU 핸드오버 및 기지국 사이의 데이터의 전송을 용이하게 하기 위한 프로토콜을 포함하는 R8 참조 포인트로서 정의될 수도 있다. 기지국(980a, 980b, 980c)과 ASN 게이트웨이(982) 사이의 통신 링크는 R6 참조 포인트로서 정의될 수도 있다. R6 참조 포인트는 WTRU(902a, 902b, 902c)의 각각과 관련되는 이동성 이벤트에 기초하여 이동성 관리를 용이하게 하기 위한 프로토콜을 포함할 수도 있다.

도 9e에서 도시되는 바와 같이, RAN(905)은 코어 네트워크(909)에 연결될 수도 있다. RAN(905)과 코어 네트워크(909) 사이의 통신 링크는, 예를 들면, 데이터 전송 및 이동성 관리 성능을 용이하게 하기 위한 프로토콜을 포함하는 R3 참조 포인트로서 정의될 수도 있다. 코어 네트워크(909)는 모바일 IP 홈 에이전트(mobile IP home agent; MIP-HA)(984), 인증, 인가, 어카운팅(authentication, authorization, accounting; AAA) 서버(986), 및 게이트웨이(988)를 포함할 수도 있다. 상기 엘리먼트의 각각이 코어 네트워크(909)의 일부로서 묘사되지만, 이들 엘리먼트 중 임의의 하나는 코어 네트워크 오퍼레이터 이외의 엔티티에 의해 소유되거나 및/또는 그 엔티티에 의해 동작될 수도 있다는 것을 알 수 있을 것이다.

MIP-HA는 IP 어드레스 관리를 담당할 수도 있고, WTRU(902a, 902b, 902c)가 상이한 ASN 및/또는 상이한 코어 네트워크 사이에서 로밍하는 것을 가능하게 할 수도 있다. MIP-HA(984)는, WTRU(902a, 902b, 902c)와 IP 대응 디바이스 사이의 통신을 용이하게 하기 위해, 패킷 교환 네트워크, 예컨대 인터넷(910)에 대한 액세스를 WTRU(902a, 902b, 902c)에게 제공할 수도 있다. AAA 서버(986)는 유저 인증 및 유저 서비스 지원을 담당할 수도 있다. 게이트웨이(988)는 다른 네트워크와의 상호연동(interworking)을 용이하게 할 수도 있다. 예를 들면, 게이트웨이(988)는, WTRU(902a, 902b, 902c)와 전통적인 지상 회선 통신 디바이스 사이의 통신을 용이하게 하기 위해, PSTN(908)과 같은 회선 교환 네트워크에 대한 액세스를 WTRU(902a, 902b, 902c)에게 제공할 수도 있다. 또한, 게이트웨이(988)는, 다른 서비스 공급자에 의해 소유되는 및/또는 다른 서비스 공급자에 의해 운영되는 다른 유선 또는 무선 네트워크를 포함할 수도 있는 네트워크(912)에 대한 액세스를 WTRU(902a, 902b, 902c)에게 제공할 수도 있다.

도 9e에서 도시되지는 않지만, RAN(905)은 다른 ASN에 연결될 수도 있고 코어 네트워크(909)는 다른 코어 네트워크에 연결될 수도 있다는 것을 알 수 있을 것이다. RAN(905)과 다른 ASN 사이의 통신 링크는 R4 참조 포인트로서 정의될 수도 있는데, R4 참조 포인트는 RAN(905)과 다른 ASN 사이에서 WTRU(902a, 902b, 902c)의 이동성을 조정하기(coordinating) 위한 프로토콜을 포함할 수도 있다. 코어 네트워크(909)와 다른 코어 네트워크 사이의 통신 링크는 R5 참조로서 정의될 수도 있는데, R5 참조는 홈 코어 네트워크와 방문 코어 네트워크(visited core network) 사이에서의 상호연동을 용이하게 하기 위한 프로토콜을 포함할 수도 있다.

본원에서 설명되는 프로세스 및 수단은 임의의 조합으로 적용될 수도 있고, 다른 무선 기술에, 그리고 다른 서비스를 위해 적용될 수도 있다.

WTRU는 물리적 디바이스의 아이덴티티를, 또는 가입 관련 아이덴티티와 같은 유저의 아이덴티티, 예를 들면, MSISDN, SIP URI 등등을 참조할 수도 있다. WTRU는 애플리케이션 기반 아이덴티티, 예를 들면, 애플리케이션마다 사용될 수도 있는 유저명을 참조할 수도 있다.

상기에서 설명되는 프로세스는, 컴퓨터 및/또는 프로세서에 의한 실행을 위해 컴퓨터 판독가능 매체에 통합되는 컴퓨터 프로그램, 소프트웨어, 및/또는 펌웨어로 구현될 수도 있다. 컴퓨터 판독가능 매체의 예는 전자 신호(유선 및/또는 무선 연결을 통해 송신됨) 및/또는 컴퓨터 판독가능 저장 매체를 포함하지만, 이들로 제한되지는 않는다. 컴퓨터 판독가능 저장 매체의 예는, 리드 온리 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 디바이스, 내장 하드 디스크 및 착탈식 디스크와 같은 그러나 이들로 제한되지 않는 자기 매체, 광자기 매체, 및/또는 CD-ROM 디스크 및/또는 디지털 다기능 디스크(digital versatile disk; DVD)와 같은 광학 매체를 포함하지만, 이들로 제한되지는 않는다. 프로세서는 소프트웨어와 관련하여, WTRU, UE, 단말, 기지국, RNC, 및/또는 임의의 호스트 컴퓨터에서 사용하기 위한 무선 주파수 트랜시버를 구현하기 위해 사용될 수도 있다.

Claims

비디오 코딩 디바이스에 있어서,
프로세서를 포함하고, 상기 프로세서는:
네트워크 추상 레이어(network abstraction layer; NAL) 단위를 식별하고;
현재 레이어에 대한 액티브 파라미터 세트를 상기 NAL 단위가 포함하는지 여부를 결정하며;
상기 NAL 단위가 상기 현재 레이어에 대한 상기 액티브 파라미터 세트를 포함한다는 결정에 기초하여, 상기 NAL 단위와 관련되는 NAL 단위 헤더 레이어 식별자를, 제로, 상기 현재 레이어를 나타내는 값, 또는 상기 현재 레이어의 참조 레이어를 나타내는 값 중 적어도 하나로 설정하도록
구성되는 것인, 비디오 코딩 디바이스.
제1항에 있어서,
상기 NAL 단위는 픽쳐 파라미터 세트(picture parameter set; PPS) NAL 단위인 것인, 비디오 코딩 디바이스.
제1항에 있어서,
상기 NAL 단위는 시퀀스 파라미터 세트(sequence parameter set; SPS) NAL 단위인 것인, 비디오 코딩 디바이스.
제1항에 있어서,
상기 현재 레이어를 나타내는 상기 값은 상기 현재 레이어와 관련되는 레이어 식별자를 나타내는 값을 포함하는 것인, 비디오 코딩 디바이스.
제1항에 있어서,
상기 현재 레이어의 상기 참조 레이어를 나타내는 상기 값은, 상기 현재 레이어의 상기 참조 레이어와 관련되는 레이어 식별자를 나타내는 값을 포함하는 것인, 비디오 코딩 디바이스.
제1항에 있어서,
상기 프로세서는, 상기 NAL 단위를 포함하는 비디오 비트스트림을 비디오 디코딩 디바이스로 전송하도록 구성되는 것인, 비디오 코딩 디바이스.
비디오 코딩 방법에 있어서,
네트워크 추상 레이어(NAL) 단위를 식별하는 단계;
현재 레이어에 대한 액티브 파라미터 세트를 상기 NAL 단위가 포함하는지 여부를 결정하는 단계; 및
상기 NAL 단위가 상기 현재 레이어에 대한 상기 액티브 파라미터 세트를 포함한다는 결정에 기초하여, 상기 NAL 단위와 관련되는 NAL 단위 헤더 레이어 식별자를, 제로, 상기 현재 레이어를 나타내는 값, 또는 상기 현재 레이어의 참조 레이어를 나타내는 값 중 적어도 하나로 설정하는 단계
를 포함하는, 비디오 코딩 방법.
제7항에 있어서,
상기 NAL 단위는 픽쳐 파라미터 세트(PPS) NAL 단위인 것인, 비디오 코딩 방법.
제7항에 있어서,
상기 NAL 단위는 시퀀스 파라미터 세트(SPS) NAL 단위인 것인, 비디오 코딩 방법.
제7항에 있어서,
상기 현재 레이어를 나타내는 상기 값은 상기 현재 레이어와 관련되는 레이어 식별자를 나타내는 값을 포함하는 것인, 비디오 코딩 방법.
제7항에 있어서,
상기 현재 레이어의 상기 참조 레이어를 나타내는 상기 값은, 상기 현재 레이어의 상기 참조 레이어와 관련되는 레이어 식별자를 나타내는 값을 포함하는 것인, 비디오 코딩 방법.
제7항에 있어서,
상기 프로세서는, 상기 NAL 단위를 포함하는 비디오 비트스트림을 비디오 디코딩 디바이스로 전송하도록 구성되는 것인, 비디오 코딩 방법.
비디오 코딩 디바이스에 있어서,
프로세서를 포함하고, 상기 프로세서는:
비디오 표현 포맷(video representation format)의 리스트를 구비하는 비디오 파라미터 세트(video parameter set; VPS) 및 시퀀스 파라미터 세트(SPS)를 포함하는 비디오 비트스트림을 수신하며;
상기 SPS에서의 업데이트 비디오 표현 포맷 플래그에 기초하여 상기 SPS와 관련되는 레이어에 대한 비디오 표현 포맷을 결정하도록
구성되고,
상기 업데이트 비디오 표현 포맷 플래그가 표현 포맷 인덱스의 존재를 나타내는 조건 하에, 상기 비디오 표현 포맷은 상기 표현 포맷 인덱스에 기초하여 상기 VPS에서의 비디오 표현 포맷의 상기 리스트로부터 결정되고,
상기 업데이트 표현 포맷 인덱스가 존재하지 않는 조건 하에, 상기 비디오 표현 포맷은 디폴트 비디오 표현 포맷으로부터 결정되는 것인, 비디오 코딩 디바이스.
제13항에 있어서,
상기 프로세서는:
상기 SPS에서의 상기 업데이트 비디오 표현 포맷 플래그에 기초하여 상기 표현 포맷 인덱스가 상기 SPS에서 존재하는지 여부를 결정하도록 구성되고,
상기 업데이트 비디오 표현 포맷 플래그가 1과 동일한 조건 하에, 상기 표현 포맷 인덱스가 상기 SPS에 존재한다는 것을 결정하고, 상기 업데이트 비디오 표현 포맷 플래그가 0과 동일한 조건 하에, 상기 표현 포맷 인덱스가 상기 SPS에 존재하지 않는다는 것을 결정하는 것인, 비디오 코딩 디바이스.
제13항에 있어서,
상기 디폴트 비디오 표현 포맷은 상기 레이어에 대한 상기 VPS에서 특정되는 디폴트 비디오 표현 포맷인 것인, 비디오 코딩 디바이스.
제13항에 있어서,
상기 표현 포맷 인덱스는, 0과, 표현 포맷의 VPS 개수의 값 마이너스 1 사이의 범위인 것인, 비디오 코딩 디바이스.
비디오 코딩 방법에 있어서,
비디오 표현 포맷의 리스트를 구비하는 비디오 파라미터 세트(VPS) 및 시퀀스 파라미터 세트(SPS)를 포함하는 비디오 비트스트림을 수신하는 단계; 및
상기 SPS에서의 업데이트 비디오 표현 포맷 플래그에 기초하여 상기 SPS와 관련되는 레이어에 대한 비디오 표현 포맷을 결정하는 단계
를 포함하고,
상기 업데이트 비디오 표현 포맷 플래그가 표현 포맷 인덱스의 존재를 나타내는 조건 하에, 상기 표현 포맷 인덱스에 기초하여 상기 VPS에서의 비디오 표현 포맷의 상기 리스트로부터 상기 비디오 표현 포맷을 결정하고,
상기 업데이트 표현 포맷 인덱스가 존재하지 않는 조건 하에, 디폴트 비디오 표현 포맷으로부터 상기 비디오 표현 포맷을 결정하는 것인, 비디오 코딩 방법.
제17항에 있어서,
상기 SPS에서의 상기 업데이트 비디오 표현 포맷 플래그에 기초하여 상기 표현 포맷 인덱스가 상기 SPS에서 존재하는지 여부를 결정하는 단계를 포함하고,
상기 업데이트 비디오 표현 포맷 플래그가 1과 동일한 조건 하에, 상기 표현 포맷 인덱스가 상기 SPS에 존재한다는 것을 결정하고, 상기 업데이트 비디오 표현 포맷 플래그가 0과 동일한 조건 하에, 상기 표현 포맷 인덱스가 상기 SPS에 존재하지 않는다는 것을 결정하는 것인, 비디오 코딩 방법.
제17항에 있어서,
상기 디폴트 비디오 표현 포맷은 상기 레이어에 대한 상기 VPS에서 특정되는 디폴트 비디오 표현 포맷인 것인, 비디오 코딩 방법.
제17항에 있어서,
상기 표현 포맷 인덱스는, 0과, 표현 포맷의 VPS 개수의 값 마이너스 1 사이의 범위인 것인, 비디오 코딩 방법.
비디오 코딩 디바이스에 있어서,
프로세서를 포함하고, 상기 프로세서는:
시퀀스 파라미터 세트(SPS)와 관련되는 레이어에 대한 표현 포맷을 할당하고;
상기 SPS와 관련되는 상기 레이어에 대한 상기 할당된 표현 포맷에 기초하여 표현 포맷 인덱스를 상기 SPS에 포함시킬지의 여부를 결정하며;
상기 결정에 기초하여 상기 표현 포맷 인덱스가 상기 SPS에 포함되는지의 여부를 나타내기 위해 업데이트 비디오 표현 포맷 플래그를 설정하도록
구성되고,
상기 표현 포맷 인덱스는, 상기 할당된 표현 포맷이 디폴트 표현 포맷인 조건 하에, 상기 SPS에 포함되지 않으며, 상기 표현 포맷 인덱스는, 상기 할당된 표현 포맷이 비디오 파라미터 세트(VPS)에서 특정되는 조건 하에, 상기 SPS에 포함되는 것인, 비디오 코딩 디바이스.
제21항에 있어서,
상기 프로세서는 상기 표현 포맷 인덱스가 상기 SPS에 존재한다는 것을 나타내기 위해 상기 업데이트 비디오 표현 포맷 플래그를 1과 동일하게 설정하도록 구성되는 것인, 비디오 코딩 디바이스.
제21항에 있어서,
상기 프로세서는 상기 표현 포맷 인덱스가 상기 SPS에 존재하지 않는다는 것을 나타내기 위해 상기 업데이트 비디오 표현 포맷 플래그를 0과 동일하게 설정하도록 구성되는 것인, 비디오 코딩 디바이스.
제21항에 있어서,
상기 프로세서는 상기 설정된 업데이트 비디오 표현 포맷 플래그를 비디오 비트스트림에서 시그널링하도록 구성되는 것인, 비디오 코딩 디바이스.
비디오 코딩 방법에 있어서,
시퀀스 파라미터 세트(SPS)와 관련되는 레이어에 대한 표현 포맷을 할당하는 단계;
상기 SPS와 관련되는 상기 레이어에 대한 상기 할당된 표현 포맷에 기초하여 표현 포맷 인덱스를 상기 SPS에 포함시킬지의 여부를 결정하는 단계; 및
상기 결정에 기초하여 상기 표현 포맷 인덱스가 상기 SPS에 포함되는지의 여부를 나타내기 위해 업데이트 비디오 표현 포맷 플래그를 설정하는 단계
를 포함하고,
상기 표현 포맷 인덱스는, 상기 할당된 표현 포맷이 디폴트 표현 포맷인 조건 하에, 상기 SPS에 포함되지 않으며, 상기 표현 포맷 인덱스는, 상기 할당된 표현 포맷이 비디오 파라미터 세트(VPS)에서 특정되는 조건 하에, 상기 SPS에 포함되는 것인, 비디오 코딩 방법.
제25항에 있어서,
상기 프로세서는 상기 표현 포맷 인덱스가 상기 SPS에 존재한다는 것을 나타내기 위해 상기 업데이트 비디오 표현 포맷 플래그를 1과 동일하게 설정하도록 구성되는 것인, 비디오 코딩 방법.
제25항에 있어서,
상기 프로세서는 상기 표현 포맷 인덱스가 상기 SPS에 존재하지 않는다는 것을 나타내기 위해 상기 업데이트 비디오 표현 포맷 플래그를 0과 동일하게 설정하도록 구성되는 것인, 비디오 코딩 방법.
제25항에 있어서,
상기 프로세서는 상기 설정된 업데이트 비디오 표현 포맷 플래그를 비디오 비트스트림에서 시그널링하도록 구성되는 것인, 비디오 코딩 방법.
비디오 코딩 디바이스에 있어서,
프로세서를 포함하고, 상기 프로세서는:
비디오 파라미터 세트(VPS) 및 복수의 레이어를 포함하는 비디오 비트스트림을 수신하며;
상기 VPS에서의 디폴트 직접 의존성 플래그에 기초하여 상기 복수의 레이어와 관련되는 직접 의존성 관계를 결정하도록
구성되고,
직접 의존성 타입 정보가 상기 VPS에 존재한다는 것을 상기 디폴트 직접 의존성 플래그가 나타내는 조건 하에, 상기 직접 의존성 관계는 상기 VPS에서의 상기 직접 의존성 타입 정보로부터 결정되고;
상기 직접 의존성 타입 정보가 상기 VPS에 존재하지 않는다는 것을 상기 디폴트 직접 의존성 플래그가 나타내는 조건 하에, 상기 직접 의존성 관계는 디폴트에 기초하여 결정되는 것인, 비디오 코딩 디바이스.
비디오 코딩 방법에 있어서,
비디오 파라미터 세트(VPS) 및 복수의 레이어를 포함하는 비디오 비트스트림을 수신하는 단계; 및
상기 VPS에서의 디폴트 직접 의존성 플래그에 기초하여 상기 복수의 레이어와 관련되는 직접 의존성 관계를 결정하는 단계
를 포함하고,
직접 의존성 타입 정보가 상기 VPS에 존재한다는 것을 상기 디폴트 직접 의존성 플래그가 나타내는 조건 하에, 상기 VPS에서의 상기 직접 의존성 타입 정보로부터 상기 직접 의존성 관계를 결정하고;
상기 직접 의존성 타입 정보가 상기 VPS에 존재하지 않는다는 것을 상기 디폴트 직접 의존성 플래그가 나타내는 조건 하에, 상기 직접 의존성 관계는 디폴트에 기초한다는 것을 결정하는 것인, 비디오 코딩 방법.
제30항에 있어서,
상기 디폴트 의존성은 상기 복수의 레이어의 각각의 레이어에 적용되는 것인, 비디오 코딩 방법.
비디오 코딩 디바이스에 있어서,
프로세서를 포함하고, 상기 프로세서는:
직접 의존성 타입 정보를 VPS에 포함시킬지의 여부를 결정하며;
상기 결정에 기초하여, 상기 VPS의 디폴트 직접 의존성 플래그를 설정하도록
구성되고,
디폴트 의존성이 사용되는 조건 하에, 상기 VPS에서 상기 직접 의존성 타입 정보를 시그널링하는 것을 바이패스하며, 디폴트 의존성이 사용되지 않는 조건 하에, 상기 VPS에 상기 직접 의존성 타입 정보를 포함시키는 것인, 비디오 코딩 디바이스.
비디오 코딩 방법에 있어서,
직접 의존성 타입 정보를 VPS에 포함시킬지의 여부를 결정하는 단계; 및
상기 결정에 기초하여, 상기 VPS의 디폴트 직접 의존성 플래그를 설정하는 단계
를 포함하고,
디폴트 의존성이 사용되는 조건 하에, 상기 VPS에서 상기 직접 의존성 타입 정보를 시그널링하는 것을 바이패스하며, 디폴트 의존성이 사용되지 않는 조건 하에, 상기 VPS에 상기 직접 의존성 타입 정보를 포함시키는 것인, 비디오 코딩 방법.
다중 루프 SHVC 인코더에 있어서,
프로파일에 대한 참조 레이어의 수를 제한하기 위한 실행가능 명령어를 갖는 프로세서를 포함하고, 상기 프로파일에 대한 참조 레이어의 수를 제한하는 것은,
참조 레이어 한계를 설정하는 것; 및
상기 프로파일에 대한 레이어가 직접 및 간접 참조 레이어를 포함하고 인코딩된 비디오 신호에서의 한 레이어에 대한 직접 및 간접 참조 레이어의 총 수가 상기 참조 레이어 한계보다 작도록, 비디오 신호를 상기 프로파일에 대한 상기 레이어로 인코딩하는 것
을 포함하는 것인, 다중 루프 SHVC 인코더.
다중 루프 SHVC 인코더에 있어서,
프로파일에 대한 참조 레이어의 수를 제한하기 위한 실행가능 명령어를 갖는 프로세서를 포함하고, 상기 프로파일에 대한 참조 레이어의 수를 제한하는 것은,
참조 레이어 한계를 설정하는 것;
비디오 신호를, 직접 및 간접 레이어를 포함하는 상기 프로파일에 대한 레이어로 인코딩하는 것;
각각의 레이어에 대해, 직접 및 간접 참조 레이어의 총 수를 결정하고, 상기 레이어에 대한 직접 및 간접 참조 레이어의 상기 총 수가 상기 참조 레이어 한계보다 작은지의 여부를 결정하는 것; 및
각각의 레이어에 대한 직접 및 간접 참조 레이어의 상기 총 수가 상기 참조 레이어 한계보다 작으면, 상기 인코딩된 비디오 신호를 디코더로 전송하는 것
을 포함하는 것인, 다중 루프 SHVC 인코더.
다중 루프 SHVC 코덱에 대한 코딩 복잡도를 제한 및/또는 감소시키기 위한 방법에 있어서,
레이어의 수를 제한하기 위해 하나 이상의 제약을 시그널링하는 단계; 및
상기 하나 이상의 제약을 적용하는 단계
를 포함하는 것인, 다중 루프 SHVC 코덱에 대한 코딩 복잡도를 제한 및/또는 감소시키기 위한 방법.
제36항에 있어서,
상기 레이어는, 직접 의존 레이어, 간접 의존 레이어, 또는 베이스 레이어 중 적어도 하나를 포함하는 것인, 다중 루프 SHVC 코덱에 대한 코딩 복잡도를 제한 및/또는 감소시키기 위한 방법.
제37항에 있어서,
상기 하나 이상의 제약은, 상기 직접 의존 레이어의 최대 수를 제한하는 것 또는 직접 및 또는 간접 의존 레이어의 최대 수를 제한하는 것 중 적어도 하나를 포함하는 것인, 다중 루프 SHVC 코덱에 대한 코딩 복잡도를 제한 및/또는 감소시키기 위한 방법.
제38항에 있어서,
상기 직접 의존 레이어의 최대 수는 VPS 확장에서의 구문 엘리먼트, SPS에서의 구문 엘리먼트 또는 프로파일 표시(profile indication) 중 적어도 하나를 통해 제한되는 것인, 다중 루프 SHVC 코덱에 대한 코딩 복잡도를 제한 및/또는 감소시키기 위한 방법.
제38항에 있어서,
직접 및 또는 간접 의존 레이어 상기 최대 수는 VPS 확장에서의 구문 엘리먼트, SPS에서의 구문 엘리먼트 또는 프로파일 표시 중 적어도 하나를 통해 제한되는 것인, 다중 루프 SHVC 코덱에 대한 코딩 복잡도를 제한 및/또는 감소시키기 위한 방법.
제36항에 있어서,
상기 하나 이상의 제약은 유도된 변수를 통해 시그널링되는 것인, 다중 루프 SHVC 코덱에 대한 코딩 복잡도를 제한 및/또는 감소시키기 위한 방법.
제36항에 있어서,
상기 하나 이상의 제약은 구문 엘리먼트를 통해 시그널링되는 것인, 다중 루프 SHVC 코덱에 대한 코딩 복잡도를 제한 및/또는 감소시키기 위한 방법.