KR101930152B1 - 네스팅 보충 강화 정보 (sei) 메시지들의 확장가능한 설계 - Google Patents

Abstract

예시에서, 비디오 코딩을 위한 방법은, 하나 이상의 SEI 메시지 구조가 하나 이상의 SEI 메시지들을 가지는 적어도 하나의 네스팅 SEI 메시지 구조를 포함하도록, 원시 바이트 시퀀스 페이로드 (RBSP) 에서 하나 이상의 SEI 메시지 구조들을 포함하는 보충 강화 정보 (SEI) 네트워크 추상 계층 (NAL) 유닛을 프로세싱하는 단계를 포함한다. 다양한 실시형태들에서, SEI NAL 유닛이 프로세싱되며, 적어도 하나의 네스팅 메시지 구조 내 포함된 SEI 메시지들의 수를 나타내는 신택스 엘리먼트가 코딩된다.

Description

네스팅 보충 강화 정보 (SEI) 메시지들의 확장가능한 설계 {EXTENSIBLE DESIGN OF NESTING SUPPLEMENTAL ENHANCEMENT INFORMATION (SEI) MESSAGES}

본 개시물은 일반적으로 비디오 코딩 및 압축에 관한 것이며, 더욱 상세하게는 네스팅 보충 강화 정보 (SEI) 메시지 구조들의 분석을 향상시키는 것에 관한 것이다.

디지털 비디오 기능들은, 디지털 텔레비전들, 디지털 다이렉트 브로드캐스트 시스템들, 무선 브로드캐스트 시스템들, 개인 정보 단말 (personal digital assistant; PDA) 들, 랩톱 또는 데스크톱 컴퓨터들, 태블릿 컴퓨터들, 전자책 리더들, 디지털 카메라들, 디지털 레코딩 디바이스들, 디지털 미디어 플레이어들, 비디오 게임용 디바이스들, 비디오 게임 콘솔들, 셀룰러 또는 위성 라디오 전화들, 소위 "스마트폰들", 화상 원격회의 디바이스들, 비디오 스트리밍 디바이스들 및 기타 등등을 포함하는 광범위한 디바이스들 내에 통합될 수 있다. 디지털 비디오 디바이스들은 하나 이상의 비디오 코딩 기술들을 구현한다. 비디오 디바이스들은 이와 같은 비디오 코딩 기술들을 구현함으로써 디지털 비디오 정보를 더욱 효율적으로 송신하고, 수신하고, 인코딩하고, 디코딩하고, 및/또는 저장할 수도 있다.

비디오 코딩 기술들은, 제한 없이, ITU-T H.261, ISO/IEC MPEG-1 비주얼 (Visual), ITU-T H.262 또는 ISO/IEC MPEG-2 비주얼, ITU-T H.263, ISO/IEC MPEG-4 비주얼, 및 ITU-T H.264 또는 ISO/IEC MPEG-4 진보된 비디오 코딩 (Advanced Video Coding; AVC) (그 스케일러블 비디오 코딩 (Scalable Video Coding; SVC) 및 멀티뷰 비디오 코딩 (Multiview Video Coding; MVC) 확장들을 포함하는), 그리고 비교적 새로운 고효율 비디오 코딩 (High Efficiency Video Coding; HEVC) 표준에 의해 정의되는 표준들에 설명된 기술들을 포함한다. HEVC 표준은 최근 ITU-T (International Telecommunication Union's Telecommunication Standardization Sector) 의 비디오 코딩 전문가 그룹 (Video Coding Experts Group; VCEG) 및 ISO (International Organization for Standardization) 및 IEC (International Electrotechnical Commission) 에 의해 형성된 모션 픽처 전문가 그룹 (Motion Picture Experts Group; MPEG) 의 비디오 코딩에 관한 합동 협력 팀 (Joint Collaboration Team on Video Coding; JCT-VC) 에 의해 완결되었다. "HEVC WD" 으로서 지칭되는 HEVC 사양의 최신 작업 초안 (working draft; WD) 은 phenix.it-sudparis.eu/jct/doc_end_user/documents/17_Valencia/wg11/JCTVC-Q1003-v1.zip 로부터 입수가능하다. HEVC 에 대한 멀티뷰 확장, 즉 MV-HEVC 는 또한 JCT-3V 에 의해 개발되고 있다. 이하에서 MV-HEVC WD3 의 최신 작업 초안은 phenix.it-sudparis.eu/jct2/doc_end_user/documents/8_Valencia/wg11/JCT3V-H1002-v5.zip 로부터 입수가능하다. SHVC 로서 지칭되는 HEVC 에 대한 스케일러블 확장은 또한 JCT-VC 에 의해 개발되고 있다. 이하에서 SHVC WD2 로서 지칭되는 SHVC 의 최신 작업 초안은 http://phenix.it-sudparis.eu/jct/doc_end_user/documents/17_Valencia/wg11/JCTVC-Q1008-v2.zip 로부터 입수가능하다.

비디오 코딩 기술들은 비디오 시퀀스들에 내재된 리던던시 (redundancy) 를 감소시키거나 제거하기 위한 공간적 (인트라-픽처 (intra-picture)) 예측 및/또는 시간적 (인터-픽처 (inter-picture)) 예측을 포함한다. 블록-기반 비디오 코딩을 위하여, 비디오 슬라이스 (예컨대, 비디오 프레임 또는 비디오 프레임의 부분) 는 비디오 블록들로 파티셔닝 (partitioning) 될 수도 있으며, 이 비디오 블록들은 또한, 트리블록 (treeblock) 들, 코딩 유닛들 (coding units; CUs) 및/또는 코딩 노드들로서 지칭될 수도 있다. 픽처의 인트라-코딩된 (I) 슬라이스 내의 비디오 블록들은 동일한 픽처에서의 이웃하는 블록들 내의 참조 샘플들에 대한 공간적 예측을 사용하여 인코딩된다. 픽처의 인터-코딩된 (P 또는 B) 슬라이스 내의 비디오 블록들은 동일한 픽처에서의 이웃하는 블록들 내의 참조 샘플들에 대한 공간적 예측, 또는 다른 참조 픽처들에서의 참조 샘플들에 대한 시간적 예측을 사용할 수도 있다. 픽처들은 프레임들로서 지칭될 수도 있고, 참조 픽처들은 참조 프레임들로서 지칭될 수도 있다.

공간적 또는 시간적 예측은 코딩되어야 할 블록에 대한 예측 블록으로 귀착된다. 잔차 데이터 (residual data) 는 코딩되어야 할 원래의 블록과 예측 블록 간 픽셀 차이들을 나타낸다. 인터-코딩된 블록은 예측 블록을 형성하는 참조 샘플들의 블록을 지시하는 모션 벡터, 및 코딩된 블록과 예측 블록 간 차이를 나타내는 잔차 데이터에 따라 인코딩된다. 인트라-코딩된 블록은 인트라-코딩 모드 및 잔차 데이터에 따라 인코딩된다. 추가의 압축을 위하여, 잔차 데이터는 픽셀 도메인으로부터 변환 도메인으로 변환되어 잔차 변환 계수들로 귀착될 수도 있고, 그 후 이들은 양자화될 수도 있다. 초기에 2 차원 어레이로 배치된 양자화된 변환 계수들은 변환 계수들의 1 차원 벡터를 생성하기 위해 스캔될 수도 있고, 엔트로피 코딩은 훨씬 더 많은 압축을 달성하기 위해 적용될 수도 있다.

일반적으로, 본 개시물은 네스팅 보충 강화 정보 (supplemental enhancement information; SEI) 메시지 구조들의 분석 (parsing) 을 향상시키는 것에 관한 기법들을 설명한다. 이하에서 설명된 다양한 기법들은 네스팅 SEI 메시지 구조들의 분석 동안의 분석 에러들을 감소시키거나 제거하기 위한 방법들 및 디바이스들을 제공한다.

일 실시형태에서, 비디오 코딩을 위한 방법이 개시된다. 방법은: SEI 네트워크 추상 계층 (Network Abstraction Layer; NAL) 유닛을 프로세싱하는 단계로서, SEI NAL 유닛은 하나 이상의 SEI 메시지 구조들을 포함하는 원시 바이트 시퀀스 페이로드 (raw byte sequence payload; RBSP) 를 포함하며, 하나 이상의 SEI 메시지 구조들은 하나 이상의 SEI 메시지들을 가지는 적어도 하나의 네스팅 SEI 메시지 구조를 포함하는, SEI NAL 유닛을 프로세싱하는 단계; 및 적어도 하나의 네스팅 SEI 메시지 구조 내 포함된 SEI 메시지들의 수를 나타내는 신택스 엘리먼트들을 코딩하는 단계를 포함한다.

다른 실시형태에서, 비디오 코딩을 위한 디바이스가 개시된다. 디바이스는: 비디오 데이터를 저장하도록 구성된 메모리, 및 메모리와 통신하는 프로세서를 포함한다. 프로세서는: 비디오 데이터와 연관된 SEI NAL 유닛을 프로세싱하는 것으로서, SEI NAL 유닛은 하나 이상의 SEI 메시지 구조들을 포함하는 RBSP 를 포함하며, 하나 이상의 SEI 메시지 구조들은 하나 이상의 SEI 메시지들을 가지는 적어도 하나의 네스팅 SEI 메시지 구조를 포함하는, SEI NAL 유닛을 프로세싱하고; 그리고 적어도 하나의 네스팅 SEI 메시지 구조 내 포함된 SEI 메시지들의 수를 나타내는 신택스 엘리먼트를 코딩하도록 구성된다.

다른 실시형태에서, 비디오 코딩을 위한 디바이스가 개시된다. 디바이스는: 비디오 데이터와 연관된 SEI NAL 유닛을 프로세싱하는 수단으로서, SEI NAL 유닛은 하나 이상의 SEI 메시지 구조들을 포함하는 RBSP 를 포함하며, 하나 이상의 SEI 메시지 구조들은 하나 이상의 SEI 메시지들을 가지는 적어도 하나의 네스팅 SEI 메시지 구조를 포함하는, SEI NAL 유닛을 프로세싱하는 수단; 및 적어도 하나의 네스팅 SEI 메시지 구조 내 포함된 SEI 메시지들의 수를 나타내는 신택스 엘리먼트를 코딩하는 수단을 포함한다.

다른 실시형태에서, 비일시적 컴퓨터 판독가능 매체가 개시된다. 비일시적 컴퓨터 판독가능 매체는 그 안에 저장된 명령들을 가지며, 명령들은 실행될 때 하나 이상의 프로세서들로 하여금: SEI NAL 유닛을 프로세싱하게 하는 것으로서, 하나 이상의 SEI 메시지 구조들을 포함하는 RBSP 를 포함하며, 하나 이상의 SEI 메시지 구조들은 하나 이상의 SEI 메시지들을 가지는 적어도 하나의 네스팅 SEI 메시지 구조를 포함하는, SEI NAL 유닛을 프로세싱하게 하고; 그리고 적어도 하나의 네스팅 SEI메시지 구조 내 포함된 SEI 메시지들의 수를 나타내는 신택스 엘리먼트를 코딩하게 한다.

이러한 각각의 실시형태들에서, 적어도 하나의 네스팅 SEI 메시지 구조는 스케일러블 네스팅 SEI 메시지 구조 또는 비트스트림 파티션 네스팅 SEI 메시지 구조의 하나를 포함할 수도 있다.

추가적으로 또는 대안적으로, 이러한 각각의 실시형태들에서, 신택스 엘리먼트를 코딩하는 것은 신택스 엘리먼트를 디코딩하는 것을 포함할 수도 있으며, 적어도 하나의 네스팅 SEI 메시지 구조 내 포함된 SEI 메시지들의 수는 디코딩된 신택스 엘리먼트에 기초하여 (예컨대, 방법, 프로세서, 수단들 및/또는 명령들에 의해) 결정될 수도 있다.

추가적으로 또는 대안적으로, 이러한 각각의 실시형태들에서, 적어도 하나의 네스팅 SEI 메시지 구조는 적어도 하나의 네스팅 SEI 메시지 구조 내 포함된 SEI 메시지들의 결정된 수에 기초하여 분석될 수도 있다.

추가적으로 또는 대안적으로, 이러한 각각의 실시형태들에서, 신택스 엘리먼트는 적어도 하나의 네스팅 SEI 메시지 구조로부터 디코딩될 수도 있다.

추가적으로 또는 대안적으로, 이러한 각각의 실시형태들에서, 신택스 엘리먼트를 코딩하는 것은 신택스 엘리먼트를 인코딩하는 것을 포함할 수도 있으며, 적어도 하나의 네스팅 SEI 메시지 구조 내 포함된 SEI 메시지들의 수는 (예컨대, 방법, 프로세서, 수단들, 및/또는 명령들에 의해) 신택스 엘리먼트를 인코딩하기 이전에 결정될 수도 있다.

추가적으로 또는 대안적으로, 이러한 각각의 실시형태들에서, 신택스 엘리먼트는 적어도 하나의 네스팅 SEI 메시지 구조로 인코딩된다.

하나 이상의 예들의 세부 사항들은 동반된 도면들 및 이하의 설명에서 기재되며, 본원에 설명된 발명적 개념들의 전 범위를 제한하도록 의도되지는 않는다. 다른 특징들, 목적들, 및 장점들은 설명 및 도면들로부터, 그리고 청구범위로부터 명백해질 것이다.

도면들에 걸쳐, 참조 번호들은 참조 엘리먼트들 간 대응관계를 나타내기 위해 재사용될 수도 있다. 도면들은 본원에 설명된 예시적인 실시형태들을 예시하도록 제공되며 본 개시물의 범위를 제한하도록 의도되지는 않는다.
도 1 은 본 개시물에 설명되는 양태들에 따른 기법들을 활용할 수도 있는 예시적인 비디오 인코딩 및 디코딩 시스템을 예시하는 블록도이다.
도 2a 는 본 개시물에 설명되는 양태들에 따른 기법들을 구현할 수도 있는 비디오 인코더의 일 예를 예시하는 블록도이다.
도 2b 는 본 개시물에 설명되는 양태들에 따른 기법들을 구현할 수도 있는 비디오 인코더의 일 예를 예시하는 블록도이다.
도 3a 는 본 개시물에 설명되는 양태들에 따른 기법들을 구현할 수도 있는 비디오 디코더의 일 예를 예시하는 블록도이다.
도 3b 는 본 개시물에 설명되는 양태들에 따른 기법들을 구현할 수도 있는 비디오 디코더의 일 예를 예시하는 블록도이다.
도 4 는 본 개시물에 설명되는 양태들에 따른 보충 강화 정보 (supplemental enhancement information; SEI) 네트워크 추상 계층 (Network Abstraction Layer; NAL) 유닛의 구조를 예시한다.
도 5 는 본 개시물에 설명되는 양태들에 따른 비디오 코딩 프로세스의 일부 예를 예시하는 블록도이다.
도 6 은 본 개시물에 설명되는 양태들에 따른 비디오 디코딩 프로세스의 일부 예를 예시하는 블록도이다.
도 7 은 본 개시물에 설명되는 양태들에 따른 비디오 인코딩 프로세스의 일부 예를 예시하는 블록도이다.
도 8 은 본 개시물에 설명되는 양태들에 따른 비디오 인코딩 프로세스의 일부 예를 예시하는 블록도이다.

일반적으로, 본 개시물은 고효율 비디오 코딩 (HEVC) 과 같은, 진보된 비디오 코덱들의 콘텍스트에서 멀티-계층 (또는 멀티-뷰) 코딩을 위한 네스팅 보충 강화 정보 (SEI) 메시지들에 관한 것이다. 더욱 상세하게는, 본 개시물에 설명된 기법들은 각각 MV-HEVC 및 SHVC 로 지칭되는 HEVC 의 멀티-뷰 및 스케일러블 확장들에서 네스팅 SEI 메시지 구조들의 분석 동안 분석 에러들 (parsing errors) 을 감소시키거나 제거하기 위한 시스템들, 장치들, 및 방법들에 관한 것이다.

SEI NAL 유닛은 원시 바이트 시퀀스 페이로드 (RBSP) 구조를 포함할 수도 있으며, 그 결과, 하나 이상의 SEI 메시지 구조들을 포함할 수도 있다. RBSP 구조 내 포함될 수도 있는 SEI 메시지 구조들의 상이한 타입들이 있다. 이러한 타입들은 하나 또는 복수의 SEI 메시지들을 포함할 수도 있는 네스팅 SEI 메시지 구조들을 포함한다. 예를 들어, 스케일러블 네스팅 SEI 메시지 구조 및 비트스트림 파티션 네스팅 SEI 메시지 구조가 네스팅 SEI 메시지 구조들의 이러한 두 타입들이다.

스케일러블 네스팅 SEI 메시지 구조들 및 비트스트림 파티션 네스팅 SEI 메시지 구조들을 위한 종래의 신택스 구조들에 기초하여, 디코더들은 바이트 포지션이 1 의 값을 가지는 RBSP 구조의 트레일링 비트들에서, 제 1 비트의 포지션과 동일할 때까지 네스팅 SEI 메시지 구조 내 SEI 메시지들을 분석한다. 따라서, 네스팅 SEI 메시지 구조가 RBSP 구조 내 다른 데이터 (예컨대, RBSP 트레일링 비트들 외의 데이터) 에 앞서는 경우, 이러한 종래의 신택스 구조들을 구현하는 디코더는 네스팅 SEI 메시지 구조 내 SEI 메시지로서 다른 데이터를 분석하도록 시도할 것이며, 분석 에러로 귀착할 것이다.

본원에 개시된 실시형태들은 네스팅 SEI 메시지들에 대한 종래의 신택스 구조들 (예컨대, 스케일러블 네스팅 SEI 메시지 구조들 및/또는 비트스트림 파티션 네스팅 SEI 메시지 구조들) 을 수정함으로써, 디코더들이 RBSP 트레일링 비트들 대신에 네스팅 SEI 메시지 구조 내 SEI 메시지들의 수에 기초하여 SEI 메시지들을 분석할 수 있게 하여, 네스팅 SEI 메시지 구조들과 관련된 이러한 분석 에러들을 방지한다. 예를 들어, 네스팅 SEI 메시지 구조 내 SEI 메시지들의 수의 표시는 네스팅 SEI 메시지 구조 내 신택스 엘리먼트로서 인코딩될 수도 있다. 이 신택스 엘리먼트는 그 다음 SEI 메시지들의 수만 분석되는 것을 보장하기 위해 디코딩 동안 사용될 수도 있다.

특정 실시형태들은 HEVC 및/또는 H.264 표준들의 콘텍스트에서 본원에 설명되나, 통상의 기술자는 본원에 개시된 시스템들 및 방법들이 임의의 적절한 비디오 코딩 표준에 적용될 수도 있음을 잘 이해할 것이다. 예를 들어, 본원에 개시된 실시형태들은 하나 이상의 다음의 표준들: ITU (International Telecommunication Union) ITU-T (Telecommunication Standardization Sector) H.261, ISO/IEC (International Organization for Standardization/International Electrotechnical Commission) MPEG-1 비주얼, ITU-T H.262 또는 ISO/IEC MPEG-2 비주얼, ITU-T H.263, ISO/IEC MPEG-4 비주얼 및 그 스케일러블 및 멀티-뷰 확장들을 포함하는 ITU-T H.264 (ISO/IEC MPEG-4 AVC 로도 알려져 있는) 에 적용될 수도 있다. 또한, 본 개시물에 설명된 기법들은 미래에 개발되는 표준들의 일부가 될 수도 있다. 다시 말해, 본 개시물에 설명된 기법들은 이전에 개발된 비디오 코딩 표준들, 현재 개발 중인 비디오 코딩 표준들, 그리고 다가오는 비디오 코딩 표준들에 적용될 수도 있다.

HEVC 는 일반적으로 여러 면에서 이전의 비디오 코딩 표준들의 프레임워크를 따른다. HEVC 에서의 예측 유닛은 이전의 특정 비디오 코딩 표준들에서의 예측 유닛들 (예컨대, 매크로블록들) 과는 상이하다. 사실상, 매크로블록의 개념은 이전의 특정 비디오 코딩 표준들에서 이해된 바와 같이 HEVC 에서 존재하지 않는다. 매크로블록은 쿼드트리 방식에 기초하여 계층 구조로 대체되어 다른 가능한 이점들 중 높은 유연성을 제공할 수도 있다. 예를 들어, HEVC 방식 내에서, 3 개의 타입들의 블록들, 코딩 유닛 (Coding Unit; CU), 예측 유닛 (Prediction Unit; PU), 및 변환 유닛 (Transform Unit; TU) 이 정의된다. CU 는 영역 스플리팅 (splitting) 의 기초 유닛을 지칭할 수도 있다. CU 는 매크로 블록의 개념과 유사하다고 고려될 수도 있으나, HEVC 는 CUs 의 최대 크기를 제한하지 않으며 콘텐츠 적응성을 향상시키기 위해 4 개의 동일한 크기의 CUs 로의 반복적인 스플리팅을 허용할 수도 있다. PU 는 인터/인트라 예측의 기초 유닛으로 고려될 수도 있으며, 단일 PU 는 비정규 이미지 패턴들을 효과적으로 코딩하기 위해 복수의 임의적 형상 파티션들을 포함할 수도 있다. TU 는 변환의 기초 유닛으로 고려될 수도 있다. TU 는 PU 로부터 독립적으로 정의될 수도 있다; 그러나, TU 의 크기는 그 TU 가 속한 CU 의 크기로 제한될 수도 있다. 블록 구조의 3 개의 상이한 개념들로의 이러한 분리는 각 유닛이 유닛의 각각의 역할에 따라 최적화되는 것을 허용할 수도 있으며, 이는 향상된 코딩 효율로 귀착될 수도 있다.

예시의 목적들로만, 본원에 개시된 특정 실시형태들은 비디오 데이터의 2 개의 계층들 (예컨대, 기본 계층과 같은 하위 계층, 및 강화 계층 (enhancement layer) 과 같은 상위 계층) 을 포함하는 예들로 설명된다. 비디오 데이터의 "계층" 은 적어도 하나의 공통 특성, 예컨대 뷰, 프레임 레이트, 해상도 등을 갖는 픽처들의 시퀀스를 일반적으로 지칭할 수도 있다. 예를 들어, 계층이 멀티-뷰 비디오 데이터의 특정 뷰 (예컨대, 관점) 와 연관된 비디오 데이터를 포함할 수도 있다. 다른 예로서, 계층이 스케일러블 비디오 데이터의 특정 계층과 연관된 비디오 데이터를 포함할 수도 있다. 따라서, 본 개시물은 비디오 데이터의 계층 및 뷰를 상호교환가능하게 지칭할 수도 있다. 즉, 비디오 데이터의 뷰가 비디오 데이터의 계층이라고 지칭될 수도 있고, 비디오 데이터의 계층이 비디오 데이터의 뷰라고 지칭될 수도 있다. 또한, 멀티-계층 코덱 (또한 멀티-계층 비디오 코더 또는 멀티-계층 인코더-디코더라고도 지칭됨) 은 멀티뷰 코덱 또는 스케일러블 코덱 (예컨대, MV-HEVC, 3D-HEVC, SHVC, 또는 다른 멀티-계층 코딩 기법을 사용하여 비디오 데이터를 인코딩 및/또는 디코딩하도록 구성된 코덱) 을 공동으로 지칭할 수도 있다. 비디오 인코딩과 비디오 디코딩은 양쪽 모두가 비디오 코딩이라고 일반적으로 지칭될 수도 있다. 이러한 예들은 복수의 기본 및/또는 강화 계층들을 포함하는 구성들에 적용가능할 수도 있다는 것이 이해되어야 한다. 또한, 설명의 용이를 위해, 다음의 개시물은 특정 실시형태들에 관하여 "프레임들" 또는 "블록들" 이라는 용어들을 포함한다. 그러나, 이들 용어들은 제한하는 것으로 의도되지 않는다. 예를 들어, 아래에 설명되는 기법들은 임의의 적합한 비디오 유닛들, 예컨대 블록들 (예컨대, CU, PU, TU, 매크로블록들 등), 슬라이스들, 프레임들 등에 사용될 수 있다.

비디오 코딩 표준들

디지털 이미지, 예컨대 비디오 이미지, TV 이미지, 스틸 이미지 또는 비디오 레코더 또는 컴퓨터에 의해 생성된 이미지는, 수평 및 수직 라인들에 배열된 픽셀들 또는 샘플들로 이루어질 수도 있다. 단일 이미지에서의 픽셀들의 개수는 통상적으로 수만개이다. 각각의 픽셀은 통상적으로 루미넌스 (luminance) 및 크로미넌스 (chrominance) 정보를 포함한다. 압축 없이, 이미지 인코더로부터 이미지 디코더로 전달될 정보의 순수한 양은 실시간 이미지 송신을 불가능하게 할 것이다. 송신될 정보의 양을 감소시키기 위해, 다수의 상이한 압축 방법들, 예컨대 JPEG, MPEG 및 H.263 표준들이 개발되었다.

ITU-T H.261, ISO/IEC MPEG-1 비주얼, ITU-T H.262 또는 ISO/IEC MPEG-2 비주얼, ITU-T H.263, ISO/IEC MPEG-4 비주얼 및 ITU-T H.264 (또한 ISO/IEC MPEG-4 AVC 라고도 알려짐) 를 포함하는 비디오 코딩 표준들은, 각각 SVC 및 MVC 라고 지칭되는 그 스케일러블 및 멀티-뷰 확장들을 포함한다.

또한, HEVC 는 ITU-T 비디오 코딩 전문가 그룹 (Video Coding Experts Group; VCEG) 과 ISO/IEC 모션 픽처 전문가 그룹 (Motion Picture Experts Group; MPEG) 의 비디오 코딩에 관한 합동 협력 팀 (Joint Collaboration Team on Video Coding; JCT-VC) 에 의해 개발되고 있다. HEVC 에 대한 멀티-뷰 확장, 즉 MV-HEVC, 및 HEVC 에 대한 스케일러블 확장, 즉 SHVC 는, 각각 JCT-3V (ITU-T/ISO/IEC Joint Collaborative Team on 3D Video Coding Extension Development) 및 JCT-VC 에 의해 또한 개발되고 있다.

비디오 코딩 시스템

신규한 시스템들, 장치들, 및 방법들의 다양한 양태들이 첨부 도면들을 참조하여 이하 더 완전히 설명된다. 그러나, 본 개시물은 많은 상이한 형태들로 구현될 수도 있고 본 개시물 전반에 걸쳐 제시된 임의의 특정 구조 또는 기능으로 제한되는 것으로서 해석되어서는 안된다. 오히려, 이들 양태들이 제공되어 본 개시물이 철저하고 완전해지도록 하고, 통상의 기술자들에게 본 개시물의 범위를 충분히 전달하도록 할 것이다. 본원에서의 교시들에 기초하여, 당업자는 본 개시물의 임의의 다른 양태와는 독립적으로 구현되든지 또는 그 임의의 다른 양태와 조합되든지 간에 본 개시물의 범위가 본 명세서에 개시된 신규한 시스템들, 장치들, 및 방법들의 임의의 양태를 커버하도록 의도된다는 것을 이해해야 한다. 예를 들어, 본원에서 제시된 임의의 개수의 양태들을 사용하여 장치가 구현될 수도 있거나 또는 방법이 실시될 수도 있다. 또한, 본 개시물의 범위는 본원에 제시된 본 개시물의 다양한 양태들에 부가적으로 또는 그 이외에 다른 구조, 기능성, 또는 구조 및 기능성을 사용하여 실시되는 장치 또는 방법을 커버하도록 의도된다. 본원에 개시된 임의의 양태는 청구항의 하나 이상의 엘리먼트들에 의해 구현될 수도 있다는 것이 이해되어야 한다.

특정 양태들이 본원에서 설명되지만, 이들 양태들의 많은 변형들 및 치환들은 본 개시물의 범위 내에 있다. 선호되는 양태들의 일부 이익들 및 이점들이 언급되지만, 본 개시물의 범위는 특정 이익들, 용도들 또는 목적들로 제한되는 것으로 의도되지 않는다. 오히려, 본 개시물의 양태들은 도면들에서 그리고 선호되는 양태들의 다음 설명에서 일부가 예시의 방법으로 설명되는 상이한 무선 기술들, 시스템 구성들, 네트워크들, 및 송신 프로토콜들에 폭넓게 적용가능하도록 의도된다. 상세한 설명 및 도면들은 본 개시물을 제한하기보다는 단순히 예시할 뿐이고, 본 개시물의 범위는 첨부된 청구항들 및 그의 동등물들에 의해 정의된다.

도 1 은 본원 다른 곳에서 설명되는 바와 같이 (예컨대, 네스팅 SEI 메시지 구조 내 포함된, SEI 메시지들의 수를 나타내는 신택스 엘리먼트를 네스팅 SEI 메시지 구조 내로 코딩함으로써 및/또는 SEI 메시지들을 분석하는데 신택스 엘리먼트를 사용함으로써) SEI 메시지들의 분석에서 분석 에러들을 제거하거나 감소시키기 위한 기법들을 활용할 수도 있는 예시적인 비디오 코딩 시스템 (10) 을 예시하는 블록도이다. 본원에서 사용될 때, 용어 “비디오 코더”는 일반적으로 비디오 인코더들 및 비디오 디코더들 모두를 지칭한다. 본 개시물에서, 용어 "비디오 코딩" 또는 "코딩"은 일반적으로 비디오 인코딩 및 비디오 디코딩을 지칭할 수도 있다.

도 1 에 도시된 바와 같이, 비디오 코딩 시스템 (10) 은 소스 디바이스 (12) 및 목적지 디바이스 (14) 를 포함한다. 소스 디바이스 (12) 는 인코딩된 비디오 데이터를 생성한다. 목적지 디바이스 (14) 는 소스 디바이스 (12) 에 의해 생성된 인코딩된 비디오 데이터를 디코딩할 수도 있다. 소스 디바이스 (12) 는 컴퓨터 판독가능 저장 매체 또는 다른 통신 채널을 포함할 수도 있는 통신 채널 (16) 을 통해 목적지 디바이스 (14) 에 비디오 데이터를 제공할 수 있다. 도 1 의 예에서, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 별개의 디바이스들을 구성한다. 그러나, 소스 디바이스 (12) 및 목적지 디바이스 (14) 가 동일한 디바이스의 일부일 수도 있음 (미도시) 이 유의된다.

소스 디바이스 (12) 및 목적지 디바이스 (14) 는 각각, 데스크톱 컴퓨터들, 노트북 (예컨대, 랩톱) 컴퓨터들, 태블릿 컴퓨터들, 셋톱 박스들 (set-top boxes), 전화기 핸드셋들, 소위 "스마트" 폰들 및/또는 소위 "스마트" 패드들과 같은 무선 통신 디바이스들, 텔레비전들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 콘솔들, 차내 컴퓨터들, 비디오 스트리밍 디바이스들, 안경류 및/또는 웨어러블 컴퓨팅 디바이스들과 같이 엔티티 (예컨대, 사람, 동물, 및/또는 다른 컨트롤된 디바이스) 에 의해 착용가능한 (또는 착탈식으로 부착가능한) 디바이스들, 엔티티 및/또는 유사한 것들 내에서 소비되거나, 섭취되거나, 또는 위치될 수 있는 디바이스들 또는 장치를 포함하는 넓은 범위의 디바이스들을 포함할 수도 있다. 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 무선 통신 (예컨대, 셀룰러 통신, 로컬 및/또는 와이드 영역 통신, 피어-투-피어 통신, 근접장 통신, 및/또는 기타) 을 위해 구비될 수도 있다.

목적지 디바이스 (14) 는, 통신 체널 (16) 을 통해, 디코딩될 인코딩된 비디오 데이터를 수신할 수도 있다. 통신 채널 (16) 은 인코딩된 비디오 데이터를 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 이동 (예컨대, 통신 또는 송신) 시키는 것이 가능한 타입의 매체 또는 디바이스를 포함할 수도 있다. 예를 들어, 통신 채널 (16) 은 소스 디바이스 (12) 로 하여금 인코딩된 비디오 데이터를 목적지 디바이스 (14) 에 직접적으로 실시간 송신할 수 있게 하는 통신 매체를 포함할 수도 있다. 인코딩된 비디오 데이터는 무선 통신 프로토콜과 같은 통신 표준에 따라 변조되고, 목적지 디바이스 (14) 에 송신될 수도 있다. 통신 매체는 무선 또는 유선 통신 매체, 예컨대 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적 송신 라인들을 포함할 수도 있다. 통신 매체는 패킷 기반 네트워크, 예컨대 로컬 영역 네트워크, 와이드 영역 네트워크, 또는 인터넷과 같은 글로벌 네트워크의 부분을 형성할 수도 있다. 통신 매체는 라우터들, 스위치들, 기지국들, 또는 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로의 통신을 용이하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다.

본 개시물의 일부 실시형태들에서, 인코딩된 데이터는 출력 인터페이스 (22) 로부터 저장 디바이스로 출력될 수도 있다. 이러한 예들에서, 채널 (16) 은 소스 디바이스 (12) 에 의해 생성된 인코딩된 비디오 데이터를 저장하는 저장 디바이스 또는 컴퓨터 판독가능 저장 매체에 대응할 수도 있다. 예를 들어, 목적지 디바이스 (14) 는 디스크 (disk) 액세스 또는 카드 액세스를 통해 컴퓨터 판독가능 저장 매체에 액세스할 수도 있다. 이와 유사하게, 인코딩된 데이터는 입력 인터페이스 (28) 에 의해 컴퓨터 판독가능 저장 매체로부터 액세스될 수도 있다. 컴퓨터 판독가능 저장 매체는 하드 드라이브, 블루-레이 디스크들 (discs), DVD들, CD-ROM들, 플래시 메모리, 휘발성 또는 비휘발성 메모리, 또는 비디오 데이터를 저장하기 위한 다른 디지털 저장 매체들과 같은 다양한 분산된 또는 로컬로 액세스되는 데이터 저장 매체들 중 임의의 것을 포함할 수도 있다. 컴퓨터 판독가능 저장 매체는 소스 디바이스 (12) 에 의해 생성된 인코딩된 비디오를 저장할 수도 있는 파일 서버 또는 다른 중간 저장 디바이스에 대응할 수도 있다. 목적지 디바이스 (14) 는 스트리밍 또는 다운로드를 통해 컴퓨터 판독가능 저장 매체로부터 저장된 비디오 데이터에 액세스할 수도 있다. 파일 서버는 인코딩된 비디오 데이터를 저장하고 그 인코딩된 비디오 데이터를 목적지 디바이스 (14) 에 송신하는 것이 가능한 타입의 서버일 수도 있다. 예시적인 파일 서버들은 웹 서버 (예컨대, 웹사이트용), 파일 전송 프로토콜 (file transfer protocol; FTP) 서버, NAS (network attached storage) 디바이스들, 또는 로컬 디스크 (disk) 드라이브를 포함한다. 목적지 디바이스 (14) 는 인터넷 연결을 포함한 표준 데이터 연결을 통해 인코딩된 비디오 데이터에 액세스할 수도 있다. 이것은 파일 서버 상에 저장된 인코딩된 비디오 데이터에 액세스하기에 적합한, 무선 채널 (예컨대, 무선 로컬 영역 네트워크 (wireless local area network; WLAN) 연결), 유선 연결 (예컨대, 디지털 가입자 라인 (digital subscriber line; DSL), 케이블 모뎀 등), 또는 이들 양쪽의 조합을 포함할 수도 있다. 컴퓨터 판독가능 저장 매체로부터의 인코딩된 비디오 데이터의 송신은 스트리밍 송신, 다운로드 송신, 또는 이들 양쪽의 조합일 수도 있다.

본 개시물의 기법들은 무선 애플리케이션들 또는 설정들에 추가적으로 애플리케이션들 또는 설정들을 적용할 수 있다. 이 기법들은 다양한 멀티미디어 애플리케이션들, 예컨대 오버-더-에어 (over-the-air) 텔레비전 브로드캐스트들, 케이블 텔레비전 송신들, 위성 텔레비전 송신들, 하이퍼텍스트 전송 프로토콜 (Hypertext Transfer Protocol; HTTP) 을 통한 동적 적응적 스트리밍과 같은 인터넷 스트리밍 비디오 송신들, 데이터 저장 매체 상에 인코딩된 디지털 비디오, 데이터 저장 매체 상에 저장된 디지털 비디오의 디코딩, 또는 다른 애플리케이션들의 지원 하에서 비디오 코딩에 적용될 수도 있다. 일부 실시형태들에서, 시스템 (10) 은 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅, 및/또는 비디오 전화통신과 같은 애플리케이션들을 지원하기 위한 1-방향 또는 2-방향 비디오 송신을 지원하도록 구성될 수도 있다.

도 1 에서, 소스 디바이스 (12) 는 비디오 소스 (18), 비디오 인코더 (20), 및 출력 인터페이스 (22) 를 포함한다. 목적지 디바이스 (14) 는 입력 인터페이스 (28), 비디오 디코더 (30), 및 디스플레이 디바이스 (32) 를 포함한다. 소스 디바이스 (12) 의 비디오 인코더 (20) 는 복수의 표준들 (예컨대, HEVC) 또는 표준 확장들을 준수하는 비디오 데이터를 포함하는 비트스트림을 코딩하기 위한 기법들을 적용하도록 구성될 수도 있다. 본 개시물의 다른 실시형태들에서, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 다른 컴포넌트들 또는 배열들을 포함할 수도 있다. 예를 들어, 소스 디바이스 (12) 는 외부 카메라와 같이 비디오 소스 (18) “외부의” 비디오 소스 (예컨대, 비디오 소스 (18) 이외의 소스) 로부터 비디오 데이터를 수신할 수도 있다. 이와 마찬가지로, 목적지 디바이스 (14) 는 디스플레이 디바이스 (32) 와 같은 집적 디스플레이 디바이스를 포함하기보다는, 외부의 디스플레이 디바이스와 인터페이싱할 수도 있다.

소스 디바이스 (12) 의 비디오 소스 (18) 는 비디오 카메라와 같은 비디오 캡처 디바이스, 이전에 캡처된 비디오를 포함하는 비디오 아카이브, 및/또는 비디오를 비디오-콘텐츠 제공자로부터 수신하기 위한 비디오 피드 인터페이스를 포함할 수도 있다. 비디오 소스 (18) 는 소스 비디오, 또는 라이브 비디오, 아카이브된 비디오, 및/또는 컴퓨터-생성된 비디오의 조합으로서 컴퓨터 그래픽-기초 데이터를 생성할 수도 있다. 일부 실시형태들에서, 비디오 카메라인 비디오 소스 (18) 에 기초하여, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 소위 "카메라 폰들" 또는 "비디오 폰들"을 형성할 수도 있다. 캡처되는, 이미-캡처된, 및/또는 컴퓨터-생성된 비디오는 비디오 인코더 (20) 에 의해 인코딩될 수도 있다. 인코딩된 비디오 정보는 출력 인터페이스 (22) 에 의해 통신 채널 (16) 로 출력될 수도 있으며, 상술한 바와 같이, 통신 채널 (16) 은 컴퓨터 판독가능 저장 매체를 포함할 수도 있다.

컴퓨터 판독가능 저장 매체는 무선 브로드캐스트 또는 유선 네트워크 송신과 같은 과도 매체들 (transient media), 또는 하드 디스크 (disk), 플래시 드라이브, 콤팩트 디스크 (disc), 디지털 비디오 디스크 (disc), 블루-레이 디스크 (Blu-ray disc), 또는 다른 컴퓨터 판독가능 매체들과 같은 저장 매체들 (예컨대, 비-일시적 저장 매체들) 을 포함할 수도 있다. 네트워크 서버 (미도시) 는 소스 디바이스 (12) 로부터 인코딩된 비디오 데이터를 수신하고 목적지 디바이스 (14) 에 (예컨대, 네트워크 송신을 통해) 그 인코딩된 비디오 데이터를 제공할 수도 있다. 디스크 (disc) 스탬핑 설비와 같은 매체 생산 설비의 컴퓨팅 디바이스는 소스 디바이스 (12) 로부터 인코딩된 비디오 데이터를 수신하고 그 인코딩된 비디오 데이터를 포함하는 디스크 (disc) 를 생성할 수도 있다. 따라서, 통신 채널 (16) 은 다양한 형태들의 하나 이상의 컴퓨터 판독가능 매체들을 포함하는 것을 이해될 수도 있다.

목적지 디바이스 (14) 의 입력 인터페이스 (28) 는 통신 채널 (16) 을 통해 (예컨대, 통신 채널로부터 또는 통신 채널에 걸쳐) 정보를 수신할 수 있다. 통신 채널 (16) 을 통해 수신된 정보는 비디오 인코더 (20) 에 의해 정의된 신택스 정보를 포함할 수도 있으며, 신택스 정보는 특성들을 설명하거나 및/또는 블록들 및/또는 다른 코딩된 유닛들 (예컨대, 픽처들의 그룹 (group of pictures; GOP)) 을 프로세싱하는 신택스 엘리먼트들을 포함하며, 비디오 디코더 (30) 에 의해 사용될 수 있다. 디스플레이 디바이스 (32) 는 디코딩된 비디오 데이터를, 예를 들어, 사용자에게 디스플레이하고, 음극선관 (cathode ray tube; CRT), 액정표시장치 (liquid crystal display; LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (organic light emitting diode; OLED) 디스플레이, 또는 다른 타입의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스들 중 임의의 것을 포함할 수도 있다.

비디오 인코더 (20) 및/또는 비디오 디코더 (30) 는 HEVC 표준과 같은 비디오 코딩 표준에 따라 동작할 수도 있고, HEVC 테스트 모델 (HEVC Test Model; HM) 을 준수할 수도 있다. 대안적으로, 비디오 인코더 (20) 및 비디오 디코더 (30) 는, 다른 전용 (proprietary) 또는 산업 표준들, 예를 들어, MPEG-4, Part 10, 진보된 비디오 코딩 (Advanced Video Coding; AVC) 이라고 대안적으로 지칭되는 ITU-T H.264 표준, 또는 이러한 표준들의 확장들에 따라 동작할 수도 있다. 그러나, 본 개시물의 기법들은 임의의 특정 코딩 표준으로 제한되지 않는다. 비디오 코딩 표준들의 다른 예들은 MPEG-2 및 ITU-T H.263 을 포함한다.

도 1 에서 도시되지는 않았으나, 일부 양태들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 오디오 인코더 및 오디오 디코더와 각각 통합될 수도 있으며, 공통 데이터 스트림 또는 별개의 데이터 스트림들에서 오디오와 비디오 양쪽의 인코딩을 처리하기 위해 적절한 MUX-DEMUX 유닛들, 또는 다른 하드웨어 및/또는 소프트웨어를 포함할 수도 있다. 적용가능하다면, MUX-DEMUX 유닛들은 ITU H.223 멀티플렉서 프로토콜, 또는 다른 프로토콜들, 예컨대 사용자 데이터그램 프로토콜 (user datagram protocol; UDP) 을 준수할 수도 있다.

도 1 은 단지 일 예이며, 본원 다른 곳에서 설명된 (예컨대, SEI 메시지들의 수를 나타내는 신택스 엘리먼트를 활용함으로써, 네스팅 SEI 메시지 구조로 코딩되는) SEI 메시지들의 분석에서 분석 에러들을 제거하거나 감소시키기 위한 기법들은, 인코딩 및 디코딩 디바이스들 사이에 임의의 데이터 통신을 필수적으로 포함하지는 않는 비디오 코딩 설정들 (예컨대, 비디오 인코딩 또는 비디오 디코딩) 에 적용될 수도 있다. 다른 예들에서, 데이터는 로컬 메모리로부터 취출되며, 네트워크를 통해 스트리밍되는 등등이 될 수 있다. 인코딩 디바이스는 데이터를 인코딩하고 메모리에 저장할 수도 있고, 및/또는 디코딩 디바이스는 메모리로부터 데이터를 취출하고 디코딩할 수도 있다. 많은 예들에서, 인코딩 및 디코딩은 서로 통신하지는 않지만 단순히 데이터를 메모리에 인코딩하고 및/또는 메모리로부터 데이터를 취출하고 디코딩하는 디바이스들에 의해 수행된다.

비디오 인코더 (20) 및 비디오 디코더 (30) 각각은, 하나 이상의 마이크로 프로세서들, 디지털 신호 프로세서들 (DSPs), 주문형 집적 회로들 (ASICs), 필드 프로그래밍가능 게이트 어레이들 (FPGAs), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합들과 같은 다양한 적합한 인코더 회로부 중 임의의 것으로서 구현될 수도 있다. 이 기법들이 부분적으로 소프트웨어로 구현될 때, 디바이스는 그 소프트웨어에 대한 명령들을 비일시적 컴퓨터 판독가능 매체에 저장할 수도 있고, 본 개시물의 기법들을 수행하기 위해 하나 이상의 프로세서들을 사용하는 하드웨어에서 그 명령들을 실행할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있고, 이들 중 어느 하나는 각각의 디바이스에서 결합된 인코더/디코더 (CODEC) 의 부분으로서 통합될 수도 있다. 비디오 인코더 (20) 및/또는 비디오 디코더 (30) 를 포함하는 디바이스는 집적 회로, 마이크로프로세서, 및/또는 셀룰러 전화와 같은 무선 통신 디바이스를 포함할 수도 있다.

JCT-VC 는 HEVC 표준의 개발에 대한 작업을 계속한다. HEVC 표준화 노력들은 HEVC 테스트 모델 (HM) 이라고 지칭되는 비디오 코딩 디바이스의 진화 모델에 기초한다. HM 은, 예를 들어, ITU-T H.264/AVC 에 따른 기존 디바이스들에 비해 비디오 코딩 디바이스들의 몇몇 추가적인 성능들을 가정한다. 예를 들어, H.264 가 9 개의 인트라-예측 인코딩 모드들을 제공하는 반면, HM 은 33 개만큼 많은 인트라-예측 인코딩 모드들을 제공할 수도 있다.

일반적으로, HM 의 작업 모델은 비디오 프레임 또는 픽처가 루마 (luma) 및 크로마 (chroma) 샘플들을 둘 모두 포함하는 최대 코딩 유닛들 (largest coding units; LCU) 또는 트리블록들의 시퀀스로 분할될 수도 있다는 것을 설명한다. 비트스트림 내의 신택스 데이터는, 픽셀들의 수에 관한 최대 코딩 유닛인 LCU 의 사이즈를 정의할 수도 있다. 슬라이스는 코딩 순서에서 다수의 연속적인 트리블록들을 포함한다. 비디오 프레임 또는 픽처는 하나 이상의 슬라이스들로 파티셔닝될 수도 있다. 각각의 트리블록은 쿼드트리에 따라 코딩 유닛들 (coding units; CUs) 로 스플릿될 수도 있다. 일반적으로, 쿼드트리 데이터 구조는 CU 당 하나의 노드를 포함하고, 루트 노드는 트리블록에 대응한다. CU 가 4 개의 서브-CU들로 스플릿되는 경우, CU 에 대응하는 노드는 4 개의 리프 노드들을 포함하며, 그 각각은 서브-CU들 중 하나에 대응한다.

쿼드트리 데이터 구조의 각각의 노드는 대응 CU 에 대한 신택스 데이터를 제공할 수도 있다. 예를 들어, 쿼드트리에서의 노드는 노드에 대응하는 CU 가 서브-CU들로 스플릿되는지 여부를 나타내는 스플릿 플래그를 포함할 수도 있다. CU 에 대한 신택스 엘리먼트들은 회귀적으로 정의될 수도 있고, CU 가 서브-CU들로 스플릿되는지 여부에 의존할 수도 있다. CU 가 추가로 스플릿되지 않는 경우, 리프-CU 로서 지칭된다. 본 개시물에서, 리프-CU 의 4 개의 서브-CU들은 또한 원래의 리프-CU 의 명시적인 스플릿이 없는 경우에도 리프-CU들로서 지칭될 것이다. 예를 들어, 16x16 사이즈에서 CU 가 추가로 스플릿되지 않는 경우, 4 개의 8x8 서브-CU 들은 또한 16x16 CU 가 절대 스플릿되지 않았더라도 리프-CU들로서 지칭될 것이다.

CU 가 사이즈 구별이 없는 것을 제외하고, CU 는 H.264 표준의 매크로블록과 유사한 목적을 갖는다. 예를 들어, 트리블록은 4 개의 자식 노드들 (또한 서브-CU들로서 지칭됨) 로 스플릿될 수도 있고, 결국 각각의 자식 노드는 부모 노드일 수도 있고 또 다른 4 개의 자식 노드들로 스플릿될 수도 있다. 쿼드트리의 리프 노트로서 지칭되는 최종, 스플릿되지 않은 자식 노드는 또한 리프-CU 로서 지칭되는 코딩 노드를 포함한다. 코딩된 비트스트림과 연관된 신택스 데이터는 최대 CU 깊이로서 지칭되는, 스플릿될 수도 있는 트리블록의 최대 횟수를 정의할 수도 있고, 또한 코딩 노드들의 최소 사이즈를 정의할 수도 있다. 따라서, 비트스트림은 또한 최소 코딩 유닛 (SCU) 을 정의할 수도 있다. 본 개시물은 HEVC 의 콘텍스트에서의 CU, PU, 또는 TU 중 임의의 것, 또는 다른 표준들의 콘텍스트에서의 유사한 데이터 구조들 (예컨대, H.264/AVC 에서의 매크로블록들 및 그 서브-블록들) 을 지칭하기 위해 용어 "블록" 을 사용한다.

CU 는 코딩 노드 및 코딩 노드와 연관된 변환 유닛들 (transform units; TUs) 및 예측 유닛들 (prediction units; PUs) 을 포함한다. CU 의 사이즈는 코딩 노드의 사이즈에 대응하고 정사각형 형상이어야 한다. CU 의 사이즈는 8x8 픽셀들에서 최대 64x64 픽셀들 이상의 픽셀들을 갖는 트리블록의 사이즈까지의 범위에 있을 수도 있다. 각각의 CU 는 하나 이상의 PU들 및 하나 이상의 TU들을 포함할 수도 있다. CU 와 연관된 신택스 데이터는, 예를 들어, CU 를 하나 이상의 PU들로 파티셔닝하는 것을 설명할 수도 있다. 파티셔닝 모드들은, CU 가 스킵 또는 다이렉트 모드 인코딩되는지, 인트라-예측 모드 인코딩되는지, 또는 인터-예측 모드 인코딩되는지의 사이에서 상이할 수도 있다. PU들은 비정사각형의 형상으로 파티셔닝될 수도 있다. CU 와 연관된 신택스 데이터는 또한, 예를 들어, CU 를 쿼드트리에 따라 하나 이상의 TU들로 파티셔닝하는 것을 설명할 수도 있다. TU 는 형상이 정사각형 또는 비정사각형 (예컨대, 직사각형) 일 수 있다.

HEVC 표준은 TU들에 따른 변환들을 허용하는데, 이는 상이한 CU들에 대해 상이할 수도 있다. TU들은 파티셔닝된 LCU 에 대해 정의된 주어진 CU 내에서의 PU들의 사이즈에 기초하여 통상 사이징되지만, 이것이 항상 그 경우는 아닐 수도 있다. TU들은 통상 PU들과 동일한 사이즈이거나 또는 더 작다. 일부 예들에서, CU에 대응하는 잔차 샘플들은, "잔차 쿼드 트리 (residual quad tree; RQT)" 로서 알려진 쿼드트리 구조를 사용하여 더 작은 유닛들로 서브분할될 수도 있다. RQT 의 리프 노드들은 변환 유닛들 (TUs) 로 지칭될 수도 있다. TU들과 연관된 픽셀 차이값들은 변환되어 변환 계수들을 생성할 수도 있고, 변환 계수들은 양자화될 수도 있다.

리프-CU 는 하나 이상의 예측 유닛들 (PUs) 을 포함할 수도 있다. 일반적으로, PU 는 대응 CU 의 전부 또는 부분에 대응하는 공간 영역을 나타내고, PU 에 대한 참조 샘플을 취출하기 위한 데이터를 포함할 수도 있다. 게다가, PU 는 예측과 관련된 데이터를 포함한다. 예를 들어, PU 가 인트라-모드 인코딩될 때, PU 에 대한 데이터는, PU 에 대응하는 TU 에 대한 인트라-예측 모드를 기술하는 데이터를 포함할 수도 있는, 잔차 쿼드트리 (RQT) 에 포함될 수도 있다. 다른 예로서, PU 가 인터-모드 인코딩될 때, PU 는 PU 에 대한 하나 이상의 모션 벡터들을 정의하는 데이터를 포함할 수도 있다. PU 에 대한 모션 벡터를 정의하는 데이터는, 예를 들어, 모션 벡터의 수평 성분, 모션 벡터의 수직 성분, 모션 벡터에 대한 해상도 (예컨대, 1/4 픽셀 정밀도 또는 1/8 픽셀 정밀도), 모션 벡터가 가리키는 참조 픽처, 및/또는 모션 벡터에 대한 참조 픽처 리스트 (예컨대, List 0, List 1, 또는 List C) 를 설명할 수도 있다.

하나 이상의 PU들을 갖는 리프-CU 는 하나 이상의 변환 유닛들 (TUs) 을 포함할 수도 있다. 상술한 바와 같이, 변환 유닛들은 RQT (TU 쿼드트리 구조로서 또한 지칭됨) 를 사용하여 특정될 수도 있다. 예를 들어, 스플릿 플래그는 리프-CU 가 4 개의 변환 유닛들로 스플릿되는지 여부를 나타낼 수도 있다. 그 후, 각각의 변환 유닛은 추가 서브-TU들로 더 스플릿될 수도 있다. TU 가 더 스플릿되지 않을 때, 리프-TU 로서 지칭될 수도 있다. 일반적으로, 인트라 코딩에 대하여, 리프-CU 에 속하는 모든 리프-TU들은 동일한 인트라 예측 모드를 공유한다. 즉, 동일한 인트라-예측 모드는 일반적으로 리프-CU 의 모든 TU들에 대해 예측된 값들을 계산하기 위해 적용된다. 인트라 코딩에 대하여, 비디오 인코더는 원래 블록과 TU 에 대응하는 CU 의 부분 사이의 차이로서, 인트라 예측 모드를 사용하여 각각의 리프-TU 에 대한 잔차값을 계산할 수도 있다. TU 는 PU 의 사이즈로 반드시 제한되지 않는다. 따라서, TU들은 PU 보다 크거나 작을 수도 있다. 인트라 코딩에 대하여, PU 는 동일한 CU 에 대해 대응 리프-TU 와 병치 (collocated) 될 수도 있다. 일부 예들에서, 리프-TU 의 최대 사이즈는 대응 리프-CU 의 사이즈에 대응할 수도 있다.

또한, 리프-CU들의 TU들은 또한 잔차 쿼드트리들 (RQTs) 로서 지칭되는, 각각의 쿼드트리 데이터 구조들과 연관될 수도 있다. 즉, 리프-CU 는 리프-CU 가 어떻게 TU들로 파티셔닝되는지를 나타내는 쿼드트리를 포함할 수도 있다. TU 쿼드트리의 루트 노드는 일반적으로 리프-CU에 대응하는 한편, CU 쿼드트리의 루트 노드는 일반적으로 트리블록 (또는 LCU) 에 대응한다. 스플릿되지 않은 RQT 의 TU들은 리프-TU들로서 지칭된다. 일반적으로, 본 개시물은 달리 언급되지 않으면, 리프-CU 및 리프-TU 로 각각 지칭되도록 용어들 CU 및 TU 를 사용한다.

비디오 시퀀스는 통상 일련의 비디오 프레임들 또는 픽처들을 포함한다. 픽처들의 그룹 (group of pictures; GOP) 은 일반적으로 일련의 하나 이상의 비디오 픽처들을 포함한다. GOP 는 GOP 의 헤더, 하나 이상의 픽처들의 헤더, 또는 그 외의 곳에서의 신택스 데이터를 포함할 수도 있고, 신택스 데이터는 상기 GOP 에 포함된 픽처들의 수를 설명한다. 픽처의 각각의 슬라이스는 각각의 슬라이스에 대한 인코딩 모드를 설명하는 슬라이스 신택스 데이터를 포함할 수도 있다. 비디오 인코더 (20) 는 통상 비디오 데이터를 인코딩하기 위해 개별 비디오 슬라이스들 내의 비디오 블록들 상에서 동작한다. 비디오 블록은 CU 내의 코딩 노드에 대응할 수도 있다. 비디오 블록들은 고정 또는 가변 사이즈들을 가질 수도 있고, 특정 코딩 표준에 따라 사이즈가 상이할 수도 있다.

일 예로서, HM 은 다양한 PU 사이즈들에서의 예측을 지원한다. 특정 CU 의 사이즈가 2Nx2N 이라고 가정하면, HM 은 2Nx2N 또는 NxN 의 PU 사이즈들에서의 인트라-예측, 및 2Nx2N, 2NxN, Nx2N, 또는 NxN 의 대칭 PU 사이즈들에서의 인터-예측을 지원한다. HM 은 또한 2NxnU, 2NxnD, nLx2N, 및 nRx2N 의 PU 사이즈들에서 인터-예측에 대한 비대칭 파티셔닝을 지원한다. 비대칭 파티셔닝에서, CU 의 일 방향은 파티셔닝되지 않지만, 다른 방향은 25% 및 75% 로 파티셔닝된다. 25% 파티셔닝에 대응하는 CU 의 부분은 "n" 다음에 "상", "하", "좌", 또는 "우" 의 표시에 의해 나타난다. 따라서, 예를 들어, "2NxnU" 는 상부의 2Nx0.5N PU 와 하부의 2Nx1.5N PU 로 수평적으로 파티셔닝되는 2Nx2N CU 를 지칭한다.

본 개시물에서, "NxN" 및 "N 대 N", 예컨대 16x16 픽셀들 또는 16 대 16 픽셀들과 같이 수직 및 수평 차원들의 측면에서 비디오 블록의 픽셀 차원들을 지칭하기 위해 상호 교환적으로 사용될 수도 있다. 일반적으로, 16x16 블록은 수직 방향으로 16 픽셀들 (y=16) 및 수평 방향으로 16 픽셀들 (x=16) 을 가질 것이다. 마찬가지로, NxN 블록은 일반적으로 수직 방향으로 N 픽셀들 및 수평 방향으로 N 픽셀들을 갖는데, 여기서 N 은 음이 아닌 정수값을 나타낸다. 블록에서의 픽셀들은 행들 및 열들로 배치될 수도 있다. 또한, 블록들은 수직 방향에서의 것과 동일한 수의 픽셀들을 수평 방향에서 가질 필요가 없다. 예를 들어, 블록들은 NxM 픽셀들을 포함할 수도 있으며, 여기서 M 은 N 과 반드시 동일하지는 않다.

CU 의 PU들을 사용한 인트라-예측 또는 인터-예측 코딩에 후속하여, 비디오 인코더 (20) 는 CU 의 TU들에 대한 잔차 데이터를 계산할 수도 있다. PU들은 공간 도메인 (또한 픽셀 도메인이라고 지칭됨) 에서의 예측 픽셀 데이터를 생성하는 방법 또는 모드를 설명하는 신택스 데이터를 포함할 수도 있고, TU들은 잔차 비디오 데이터에 대한, 예를 들어, 이산 사인 변환 (DST), 이산 코사인 변환 (DCT), 정수 변환, 웨이블릿 변환, 또는 개념적으로 유사한 변환과 같은 변환의 적용에 후속하는, 변환 도메인에서의 계수들을 포함할 수도 있다. 잔차 데이터는 인코딩되지 않은 픽처의 픽셀들과 PU들에 대응하는 예측 값들 간의 픽셀 차이들에 대응할 수도 있다. 비디오 인코더 (20) 는 CU 에 대한 잔차 데이터를 포함하는 TU들을 형성할 수도 있고, 그 후 TU들을 변환하여 CU 에 대한 변환 계수들을 생성할 수도 있다.

변환 계수들을 생성하기 위한 임의의 변환들에 후속하여, 비디오 인코더 (20) 는 변환 계수들의 양자화를 수행할 수도 있다. 양자화는 가장 광범위한 통상의 의미를 가지도록 의도된 광범위한 용어이다. 일 실시형태에서, 양자화는 계수들을 나타내기 위해 사용되는 데이터의 양을 가능한 감소시키기 위해 변환 계수들이 양자화되어 추가 압축을 제공하는 프로세서를 지칭한다. 양자화 프로세스는 계수들의 일부 또는 전부와 연관된 비트 깊이를 감소시킬 수도 있다. 예를 들어, n-비트값은 양자화 동안 m-비트값으로 내림 (round down) 될 수도 있는데, 여기서 n 은 m 보다 더 크다.

양자화 다음에, 비디오 인코더 (20) 는 양자화된 변환 계수들을 포함하는 2-차원 매트릭스로부터 1-차원 벡터를 생성하는, 변환 계수들을 스캔할 수도 있다. 스캔은 어레이의 전방에서 고 에너지 (그리고 이에 따라 저 주파수) 계수들을 배치하고 어레이의 후방에서 저 에너지 (그리고 이에 따라 고 주파수) 계수들을 배치하도록 설계될 수도 있다. 일부 예들에서, 비디오 인코더 (20) 는 엔트로피 인코딩될 수 있는 직렬화된 벡터를 생성하기 위해 양자화된 변환 계수들을 스캔하기 위한 미리 정의된 스캔 순서를 활용할 수도 있다. 다른 예들에서, 비디오 인코더 (20) 는 적응 스캔 (adaptive scan) 을 수행할 수도 있다. 1 차원 벡터를 형성하기 위하여 양자화된 변환 계수들을 스캐닝 한 후, 비디오 인코더 (20) 는, 예를 들어, 콘텍스트-적응 가변 길이 코딩 (CAVLC), 콘텍스트-적응 이진 산술 코딩 (CABAC), 신택스-기반 콘텍스트-적응 이진 산술 코딩 (SBAC), 확률 간격 파티셔닝 엔트로피 (PIPE) 코딩, 또는 다른 엔트로피 인코딩 방법에 따라, 1-차원 벡터를 엔트로피 인코딩할 수도 있다. 비디오 인코더 (20) 는 또한, 비디오 데이터를 디코딩함에 있어서 비디오 디코더 (30) 에 의해 사용하기 위한 인코딩된 비디오 데이터와 연관된 신택스 엘리먼트들을 엔트로피 인코딩할 수도 있다.

CABAC 를 수행하기 위해, 비디오 인코더 (20) 는 콘텍스트 모델 내의 콘텍스트를 송신될 심볼에 할당할 수도 있다. 콘텍스트는, 예를 들어, 심볼의 이웃 값들이 비제로 (non-zero) 인지 아닌지의 여부에 관련될 수도 있다. CAVLC 를 수행하기 위해, 비디오 인코더 (20) 는 송신될 심볼에 대한 가변 길이 코드를 선택할 수도 있다. VLC 에서의 코드워드들은, 상대적으로 더 짧은 코드들이 더 큰 확률의 심볼들에 대응하는 한편, 더 긴 코드들이 더 적은 확률의 심볼들에 대응하도록 구성될 수도 있다. 이러한 방식으로, VLC 의 사용은, 예를 들어, 송신될 각각의 심볼에 대해 동일한 길이의 코드워드들을 사용하는 것을 통해 비트 절약들을 달성할 수도 있다. 확률 결정은 심볼에 할당된 콘텍스트에 기초할 수도 있다.

비디오 인코더는 (20) 는 나아가, 예컨대 프레임 헤더, 블록 헤더, 슬라이스 헤더, 또는 GOP 헤더에서, 비디오 디코더 (30) 에 블록-기반 신택스 데이터, 프레임-기반 신택스 데이터, 및 GOP-기반 신택스 데이터와 같은 신택스 데이터를 전송할 수도 있다. GOP 신택스 데이터는 각각의 GOP 에서의 프레임들의 수를 설명할 수도 있으며, 프레임 신택스 데이터는 대응하는 프레임을 인코딩하는데 사용되는 인코딩/예측 모드를 나타낼 수도 있다.

비디오 인코더

도 2a 는 본 개시물에 설명되는 양태들에 따른 기법들을 구현할 수도 있는 비디오 인코더 (20) 의 일 예를 예시하는 블록도이다. 비디오 인코더 (20) 는 비디오 비트스트림의 단일 계층을, 이를테면 HEVC 에 대해, 프로세싱하도록 구성될 수도 있다. 게다가, 비디오 인코더 (20) 는, SEI 메시지들에서 분석 에러들을 방지하거나 감소시키는 방법들 및 본원 전반에 보다 구체적으로 설명된 관련 프로세스들을 포함하되 이에 제한되지 않으면서, 본 개시물의 기법들 중 일부 또는 전부를 수행하도록 구성될 수도 있다. 일 예로서, 인터-계층 예측 유닛 (66) (제공되는 경우) 본 개시물에 설명된 기법들 중 일부 또는 전부를 수행하도록 구성될 수도 있다. 그러나, 본 개시물의 양태들은 그렇게 제한되지 않는다. 일부 예들에서, 본 개시물에 설명된 기법들은 비디오 인코더 (20) 의 다양한 컴포넌트들 간에 공유될 수도 있다. 일부 예들에서, 추가적으로 또는 대안적으로, 프로세서 (미도시) 가 본 개시물에 설명된 기법들 중 일부 또는 전부를 수행하도록 구성될 수도 있다.

설명의 목적으로, 본 개시물은 HEVC 코딩의 콘텍스트에서 비디오 인코더 (20) 를 설명한다. 그러나, 본 개시물의 기법들은 다른 코딩 표준들 또는 방법들에 적용가능할 수도 있다. 도 2a 의 비디오 인코더 (20) 는 코덱의 단일 계층을 예시한다. 그러나, 도 2b 에서 관해 더 상세히 설명될 바와 같이, 비디오 인코더 (20) 의 일부 또는 전부는 멀티-계층 코덱에 따른 프로세싱을 위해 중복될 수도 있다.

비디오 인코더 (20) 는 비디오 슬라이스들 내의 비디오 블록들의 인트라-, 인터-, 및 인터-계층 예측 (종종 인트라-, 인터- 또는 인터-계층 코딩으로 지칭됨) 을 수행할 수도 있다. 인트라-코딩은 소정의 비디오 프레임 또는 픽처 내의 비디오에 있어서 공간적 리던던시 (spatial redundancy) 를 감소시키거나 제거하기 위해, 공간적 예측에 의존한다. 인터-코딩은 비디오 시퀀스의 인접한 프레임들 또는 픽처들 내의 비디오에 있어서 시간적 리던던시 (temporal redundancy) 를 감소시키거나 제거하기 위해, 시간적 예측에 의존한다. 인터-계층 코딩은 동일 비디오 코딩 시퀀스 내 상이한 계층(들) 내의 비디오에 기초한 예측에 의존한다. 인트라-모드 (I 모드) 는 몇몇 공간 기반 코딩 모드들 중 임의의 것을 지칭할 수도 있다. 단방향 예측 (P 모드) 또는 양 예측 (B 모드) 과 같은 인터-모드들은 몇몇 시간-기반 코딩 모드들 중 임의의 것을 지칭할 수도 있다.

도 2a 에 도시된 바와 같이, 비디오 인코더 (20) 는 인코딩될 비디오 프레임 내 현재 비디오 블록을 수신한다. 도 2a 의 일 예에서, 비디오 인코더 (20) 는 모드 선택 유닛 (40), 참조 프레임 메모리 (64), 합산기 (50), 변환 프로세싱 유닛 (52), 양자화 유닛 (54), 및 엔트로피 인코딩 유닛 (56) 을 포함한다. 모드 선택 유닛 (40) 은, 그 결과, 모션 보상 유닛 (44), 모션 예측 유닛 (42), 인트라 예측 유닛 (46), 인터 계층 예측 유닛 (66), 및 파티션 유닛 (48) 을 포함한다. 참조 프레임 메모리 (64) 는 디코딩된 픽처 버퍼를 포함할 수도 있다. 디코딩된 픽처 버퍼는 그 통상의 의미를 가진 광범위한 용어이며, 일부 실시형태들에서는 참조 프레임들의 비디오 코덱-관리 데이터 구조를 지칭한다.

비디오 블록 재구성을 위해, 비디오 인코더 (20) 는 또한 역양자화 유닛 (58), 역변환 유닛 (60), 및 합산기 (62) 를 포함한다. 재구성된 비디오로부터 블록화 아티팩트들 (blockiness artifacts) 을 제거하기 위해 블록 경계들을 필터링하기 위한 디블록킹 필터 (deblocking filter) (도 2a 에 도시되지 않음) 가 또한 포함될 수도 있다. 원한다면, 디블록킹 필터는 전형적으로 합산기 (62) 의 출력을 필터링할 것이다. 추가적인 필터들 (인 루프 또는 포스트 루프) 이 또한 디블록킹 필터에 더하여 사용될 수도 있다. 그러한 필터들은 간결성을 위해 도시하지는 않았으나, 원한다면, (인 루프 필터로서) 합산기 (50) 의 출력을 필터링할 수도 있다.

인코딩 프로세스 동안, 비디오 인코더 (20) 는 코딩될 비디오 프레임 또는 슬라이스를 수신한다. 프레임 또는 슬라이스는 복수의 비디오 블록들로 분할될 수도 있다. 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 시간 예측을 제공하기 위해 하나 이상의 참조 프레임들에서의 하나 이상의 블록들에 대해 수신된 비디오 블록의 인터 예측 코딩을 수행한다. 인트라 예측 유닛 (46) 은 대안적으로 공간 예측을 제공하기 위해 코딩될 블록과 동일한 프레임 또는 슬라이스에서의 하나 이상의 이웃 블록들에 대해 수신된 비디오 블록의 인트라 예측 코딩을 수행할 수도 있다. 비디오 인코더 (20) 는, 예컨대 비디오 데이터의 각각의 블록에 대한 적절한 코딩 모드를 선택하기 위해, 복수의 코딩 패스들을 수행할 수도 있다.

또한, 파티션 유닛 (48) 은 이전 코딩 패스들에서의 이전 파티셔닝 스킴들의 평가에 기초하여, 비디오 데이터의 블록들을 서브 블록들로 파티셔닝할 수도 있다. 예를 들어, 파티션 유닛 (48) 은 초기에 프레임 또는 슬라이스들을 LCU들로 파티셔닝하고, 레이트 왜곡 분석 (예컨대, 레이트 왜곡 최적화, 등) 에 기초하여 LCU들의 각각을 서브 CU들로 파티셔닝할 수도 있다. 모드 선택 유닛 (40) 은 서브 CU들로의 LCU 의 파티셔닝을 나타내는 쿼드트리 데이터 구조를 더 생성할 수도 있다. 쿼드트리의 리프 노드 CU들은 하나 이상의 PU들 및 하나 이상의 TU들을 포함할 수도 있다.

모드 선택 유닛 (40) 은, 예컨대 에러 결과들에 기초하여 코딩 모드들, 인트라, 인터, 또는 인터-계층 예측 모드 중 하나를 선택하고, 결과적인 인터-, 인트라-, 또는 인터-계층 코딩된 블록을 합산기 (50) 에 제공하여 잔차 블록 데이터를 생성하고, 합산기 (62) 에 제공하여 참조 프레임으로서 사용하기 위해 인코딩된 블록을 재구성한다. 모드 선택 유닛 (40) 은 또한 모션 벡터들, 인트라 모드 표시자들, 파티션 정보, 및 다른 그러한 신택스 정보와 같은 신택스 엘리먼트들을 엔트로피 인코딩 유닛 (56) 에 제공한다.

모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 고도로 통합될 수도 있지만, 개념적 목적들을 위해 별도로 예시되어 있다. 모션 추정 유닛 (42) 에 의해 수행되는 모션 추정은, 비디오 블록들에 대해 모션을 추정하는, 모션 벡터들을 생성하는 프로세스이다. 모션 벡터는, 예를 들어, 현재 프레임 (또는 다른 코딩된 유닛) 내에서 코딩될 현재 블록에 관한 참조 프레임 (또는 다른 코딩된 유닛) 내의 예측 블록과 관련하여 현재 비디오 프레임 또는 픽처 내의 비디오 블록의 PU 의 변위를 나타낼 수도 있다. 예측 블록은, 절대 차의 합 (sum of absolute difference; SAD), 제곱 차의 합 (sum of square difference; SSD), 또는 다른 차이 메트릭들 (metrics) 에 의해 결정될 수도 있는 픽셀 차이의 측면에서 코딩될 블록을 근접하게 일치시키는 것으로 발견된 블록이다. 일부 예들에서, 비디오 인코더 (20) 는 참조 프레임 메모리 (64) 내에 저장된 참조 픽처들의 정수 미만 픽셀 포지션들에 대한 값들을 계산할 수도 있다. 예를 들어, 비디오 인코더 (20) 는 참조 픽처의 1/4 픽셀 포지션들, 1/8 픽셀 포지션들, 또는 다른 분수의 픽셀 포지션들의 값들을 보간할 수도 있다. 따라서, 모션 추정 유닛 (42) 은 전체 (full) 픽셀 포지션들 및 분수적 (fractional) 픽셀 포지션들에 관한 모션 검색을 수행할 수도 있고, 분수적 픽셀 정밀도를 갖는 모션 벡터를 출력할 수도 있다.

모션 추정 유닛 (42) 은 PU 의 포지션을 참조 픽처의 예측 블록의 포지션과 비교함으로써 인터 코딩된 슬라이스에서 비디오 블록의 PU 에 대한 모션 벡터를 계산한다. 참조 픽처는 그 각각이 참조 프레임 메모리 (64) 에 저장된 하나 이상의 참조 픽처들을 식별하는, 제 1 참조 픽처 리스트 (List 0) 또는 제 2 참조 픽처 리스트 (List 1) 로부터 선택될 수도 있다. 모션 추정 유닛 (42) 은 계산된 모션 벡터를 엔트로피 인코딩 유닛 (56) 및 모션 보상 유닛 (44) 으로 전송한다.

모션 보상 유닛 (44) 에 의해 수행된 모션 보상은, 모션 추정 유닛 (42) 에 의해 결정된 모션 벡터에 기초한 예측 블록의 페칭 (fetching) 또는 생성을 수반할 수도 있다. 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은, 일부 예들에서, 기능적으로 통합될 수도 있다. 현재 비디오 블록의 PU 에 대한 모션 벡터를 수신하면, 모션 보상 유닛 (44) 은 참조 픽처 리스트들 중 하나에서 모션 벡터가 가지키는 예측 블록을 위치시킬 수도 있다. 합산기 (50) 는 코딩되고 있는 현재 비디오 블록의 픽셀 값들로부터 예측 블록의 픽셀 값들을 감산함으로써 잔차 비디오 블록을 형성하여, 하기에서 논의되는 바와 같이, 픽셀 차이값들을 형성한다. 일부 실시형태들에서, 모션 추정 유닛 (42) 은 루마 컴포넌트들에 관한 모션 추정을 수행할 수 있고, 모션 보상 유닛 (44) 은 크로마 컴포넌트들 및 루마 컴포넌트들 양자에 대한 루마 컴포넌트들에 기초하여 계산된 모션 벡터를 사용할 수 있다. 모드 선택 유닛 (40) 은 비디오 슬라이스의 비디오 블록들을 디코딩하는데 있어서 비디오 디코더 (30) 에 의한 사용을 위해 비디오 블록들 및 비디오 슬라이스와 연관된 신택스 엘리먼트들을 생성할 수도 있다.

인트라 예측 유닛 (46) 은, 상술한 바와 같이 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 에 의해 수행되는 인터 예측에 대한 대안으로서, 현재 블록을 인트라 예측 또는 계산할 수도 있다. 특히, 인트라 예측 유닛 (46) 은 현재 블록을 인코딩하기 위해 사용하기 위한 인트라 예측 모드를 결정할 수도 있다. 일부 예들에서, 인트라 예측 유닛 (46) 은, 다양한 인트라 예측 모드들을 사용하여 (예컨대, 별도의 인코딩 패스들 동안) 현재 블록을 인코딩할 수도 있고, 인트라 예측 유닛 (46) (또는, 일부 예들에서, 모드 선택 유닛 (40)) 은 테스트된 모드들로부터 사용하기 위한 적합한 인트라 예측 모드를 선택할 수도 있다.

예를 들어, 인트라 예측 유닛 (46) 은 다양한 테스트된 인트라 예측 모드들에 대한 레이트 왜곡 분석을 사용하여 레이트 왜곡값들을 계산할 수도 있고, 테스트된 모드들 중에서 최적의 레이트 왜곡 특성들을 갖는 인트라 예측 모드를 선택할 수도 있다. 레이트 왜곡 분석은 일반적으로, 인코딩된 블록을 생성하는데 사용되는 비트레이트 (즉, 비트들의 수) 뿐만 아니라, 인코딩된 블록과, 인코딩된 블록을 생성하기 위하여 인코딩되었던 원래의 인코딩되지 않은 블록 간의 왜곡 (또는 에러) 의 양을 결정한다. 인트라 예측 유닛 (46) 은 어느 인트라 예측 모드가 블록에 대해 최적의 레이트 왜곡값을 나타내는지를 결정하기 위하여 다양한 인코딩된 블록들에 대한 레이트들 및 왜곡들로부터 비율들을 계산할 수도 있다.

블록에 대한 인트라 예측 모드를 선택한 후에, 인트라 예측 유닛 (46) 은 블록에 대한 선택된 인트라 예측 모드를 나타내는 정보를 엔트로피 인코딩 유닛 (56) 에 제공할 수도 있다. 엔트로피 인코딩 유닛 (56) 은 선택된 인트라 예측 모드를 나타내는 정보를 인코딩할 수도 있다. 비디오 인코더 (20) 는 복수의 인트라 예측 모드 인덱스 테이블들 및 복수의 수정된 인트라 예측 모드 인덱스 테이블들 (또한, 코드워드 매핑 테이블들이라고 지칭됨) 을 포함할 수도 있는 송신된 비트스트림 구성 데이터에서 다양한 블록들에 대한 인코딩 콘텍스트들의 정의들과, 콘텍스트들의 각각에 대해 사용하기 위한 가장 가능성 있는 인트라 예측 모드, 인트라 예측 모드 인덱스 테이블, 및 수정된 인트라 예측 모드 인덱스 테이블의 표시들을 포함할 수도 있다.

비디오 인코더 (20) 는 인터-계층 예측 유닛 (66) 을 포함할 수도 있다. 인터 계층 예측 유닛 (66) 은 SVC 에서 이용가능한 하나 이상의 상이한 계층들 (예컨대, 기본 또는 참조 계층) 을 사용하여 현재 블록 (예컨대, 강화 계층에서의 현재 블록) 을 예측하도록 구성된다. 이러한 예측은 인터-계층 예측이라고 지칭될 수도 있다. 인터-계층 예측 유닛 (66) 은 인터-계층 리던던시를 감소시키는 예측 방법들을 활용하여, 그에 의해 코딩 효율을 개선시키고 연산 리소스 요건들을 감소시킨다. 인터-계층 예측의 일부 예들은 인터-계층 인트라 예측, 인터-계층 모션 예측, 및 인터-계층 잔차 예측을 포함한다. 인터-계층 인트라 예측은 강화 계층에서 현재 블록을 예측하기 위해 기본 계층에서의 병치된 블록들의 재구성을 사용한다. 인터-계층 모션 예측은 강화 계층에서 모션을 예측하기 위해 기본 계층의 모션 정보를 사용한다. 인터-계층 잔차 예측은 강화 계층의 잔차를 예측하기 위해 기본 계층의 잔차를 사용한다. 기본 및 강화 계층들이 상이한 공간적 해상도들을 가질 때, 공간적 모션 벡터 스케일링 및/또는 시간적 스케일링 함수를 사용한 인터-계층 포지션 매핑은, 이하 상세히 설명되는 바와 같이, 인터-계층 예측 유닛 (66) 에 의해 수행될 수도 있다.

비디오 인코더 (20) 는 코딩될 원래 비디오 블록으로부터 모드 선택 유닛 (40) 으로부터의 예측 데이터를 감산하는 것에 의해 잔차 비디오 블록을 형성한다. 합산기 (50) 는 이러한 감산 동작을 수행하는 컴포넌트 또는 컴포넌트들을 나타낸다. 변환 프로세싱 유닛 (52) 은 이산 코사인 변환 (DCT) 또는 개념적으로 유사한 변환과 같은 변환을 잔차 블록에 적용하여, 잔차 변환 계수값들을 포함하는 비디오 블록을 생성한다. 변환 프로세싱 유닛 (52) 은 DCT 와 개념적으로 유사한 다른 변환들을 수행할 수도 있다. 예를 들어, 이산 사인 변환들 (DST), 웨이블릿 변환들, 서브-밴드 변환들 또는 변환들의 다른 타입들이 또한 사용될 수 있다.

변환 프로세싱 유닛 (52) 은 변환을 잔차 블록에 적용하여, 잔차 변환 계수들의 블록을 생성할 수 있다. 변환은 픽셀값 도메인으로부터의 잔차 정보를 주파수 도메인과 같은 변환 도메인으로 컨버팅할 수도 있다. 변환 프로세싱 유닛 (52) 은 결과적인 변환 계수들을 양자화 유닛 (54) 에 전송할 수도 있다. 양자화 유닛 (54) 은 비트 레이트를 더욱 감소시키기 위해 변환 계수들을 양자화한다. 양자화 프로세스는 계수들의 일부 또는 전부와 연관된 비트 깊이를 감소시킬 수도 있다. 양자화의 정도는 양자화 파라미터를 조절함으로써 수정될 수도 있다. 일부 예들에서는, 다음으로, 양자화 유닛 (54) 이 양자화된 변환 계수들을 포함하는 행렬의 스캔을 수행할 수도 있다. 대안적으로, 엔트로피 인코딩 유닛 (56) 은 스캔을 수행할 수도 있다.

양자화에 후속하여, 엔트로피 인코딩 유닛 (56) 은 양자화된 변환 계수들을 엔트로피 인코딩한다. 예를 들어, 엔트로피 인토딩 유닛 (56) 은 콘텍스트 적응 가변 길이 코딩 (CAVLC), 콘텍스트 적응 이진 산술 코딩 (CABAC), 신택스 기반 콘텍스트 적응 이진 산술 코딩 (SBAC), 확률 인터벌 간격 엔트로피 (PIPE) 코딩 또는 다른 엔트로피 코딩 기법을 수행할 수도 있다. 콘텍스트 기반 엔트로피 코딩의 경우, 콘텍스트는 이웃 블록들에 기초할 수도 있다. 엔트로피 인코딩 유닛 (56) 에 의한 엔트로피 코딩에 후속하여, 인코딩된 비트스트림은 다른 디바이스 (예컨대, 비디오 디코더 (30)) 로 송신될 수도 있거나, 또는 이후의 송신 또는 취출을 위해 아카이브될 수도 있다.

역양자화 유닛 (58) 및 역변환 유닛 (60) 은 각각 역양자화 및 역변환을 적용하여, (예컨대, 참조 블록으로서의 이후 사용을 위해) 픽셀 도메인에서 잔차 블록을 복원한다. 모션 보상 유닛 (44) 은 참조 프레임 메모리 (64) 의 프레임들 중 하나의 예측 블록에 잔차 블록을 가산함으로써 참조 블록을 계산할 수도 있다. 모션 보상 유닛 (44) 은 또한 모션 추정에서의 사용을 위한 정수 미만 픽셀값들을 계산하기 위해 재구성된 잔차 블록에 하나 이상의 보간 필터들을 적용할 수도 있다. 합산기 (62) 는 참조 프레임 메모리 (64) 에서 저장을 위한 재구성된 비디오 블록을 생성하기 위해 모션 보상 유닛 (44) 에 의해 생성된 모션 보상된 예측 블록에 재구성된 잔차 블록을 가산한다. 재구성된 비디오 블록은 후속 비디오 프레임에서 블록을 인터 코딩하기 위해 참조 블록으로서 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 에 의해 사용될 수도 있다.

멀티-계층 비디오 인코더

도 2b 는 본 개시물에 설명되는 양태들에 따른 기법들을 구현할 수도 있는 멀티-계층 비디오 인코더 (21) (또한 단순히 비디오 인코더 (21) 라고도 지칭됨) 의 일 예를 예시하는 블록도이다. 비디오 인코더 (21) 는 SHVC, 3D-HEVC, 및/또는 MV-HEVC 와 같은 멀티-계층 비디오 프레임들을 프로세싱하도록 구성될 수도 있다. 게다가, 비디오 인코더 (21) 는 본 개시물의 기법들 중 일부 또는 전부를 수행하도록 구성될 수도 있으며, 본원 전반에 개시된 (예컨대, 네스팅 SEI 메시지 구조에서 SEI 메시지들의 수를 나타내는 신택스 엘리먼트를 코딩함으로써) SEI 메시지들의 분석에서 분석 에러들을 제거하거나 감소시키기 위한 방법들을 포함하되 이에 한정되지는 않는다.

비디오 인코더 (21) 는, 도 2a 의 비디오 인코더 (20) 로서 각각이 구성될 수도 있고 비디오 인코더 (20) 에 관해 위에서 설명된 기능들을 수행할 수도 있는 비디오 인코더 (20A) 및 비디오 인코더 (20B) 를 포함한다. 게다가, 참조 번호들의 재사용에 의해 나타낸 바와 같이, 비디오 인코더들 (20A 및 20B) 은 비디오 인코더 (20) 에 포함된 동일한 또는 유사한 시스템들 및 서브시스템들의 적어도 일부를 포함할 수도 있다. 비록 비디오 인코더 (21) 가 2 개의 비디오 인코더들 (20A 및 20B) 을 포함하는 것으로 예시되나, 비디오 인코더 (21) 는 그와 같이 제한되지 않고 임의의 수의 비디오 인코더 계층들을 포함할 수도 있다. 일부 실시형태들에서, 비디오 인코더 (21) 는 액세스 유닛에서의 각각의 픽처 또는 프레임을 위해 비디오 인코더 (20) 를 포함할 수도 있다. 예를 들어, 5 개의 픽처들을 포함하는 액세스 유닛이 5 개의 인코더 계층들을 포함하는 비디오 인코더에 의해 프로세싱되거나 인코딩될 수도 있다. 일부 실시형태들에서, 비디오 인코더 (21) 는 액세스 유닛에서의 프레임들보다 더 많은 인코더 계층들을 포함할 수도 있다. 이러한 일부 경우들에서, 비디오 인코더 계층들의 일부는 일부 액세스 유닛들을 프로세싱할 경우 비활성 될 수도 있다.

비디오 인코더들 (20A 및 20B) 에 더하여, 비디오 인코더 (21) 는 리샘플링 유닛 (90) 을 포함할 수도 있다. 리샘플링 유닛 (90) 은, 몇몇 경우들에서, 예를 들어, 강화 계층을 생성하기 위해 수신된 비디오 프레임의 기본 계층을 업샘플링할 수도 있다. 리샘플링 유닛 (90) 은 다른 정보가 아니라, 프레임의 수신된 기본 계층에 연관되는 특정 정보를 업샘플링할 수도 있다. 예를 들어, 리샘플링 유닛 (90) 은 기본 계층의 공간적 사이즈 또는 픽셀들의 수를 업샘플링할 수도 있지만, 슬라이스들 또는 픽처 오더 카운트의 수는 일정하게 유지될 수도 있다. 일부 경우들에서, 리샘플링 유닛 (90) 은 수신된 비디오를 프로세싱하지 않을 수도 있고 및/또는 선택적일 수도 있다. 예를 들어, 일부 경우들에서, 모드 선택 유닛 (40) 은 업샘플링을 수행할 수도 있다. 일부 실시형태들에서, 리샘플링 유닛 (90) 은 슬라이스 경계 규칙들 및/또는 래스터 (raster) 스캔 규칙들의 세트를 준수하도록 계층을 업샘플링하고 하나 이상의 슬라이스들을 재편성, 재정의, 수정, 또는 조정하도록 구성된다. 비록 기본 계층, 또는 액세스 유닛에서의 하위 계층을 업샘플링하는 것으로서 주로 설명되나, 일부 경우들에서, 리샘플링 유닛 (90) 은 계층을 다운샘플링할 수도 있다. 예를 들어, 비디오의 스트리밍 동안 대역폭이 감소되면, 프레임이 업샘플링되는 대신 다운샘플링될 수도 있다. 리샘플링 유닛 (90) 은 또한, 동작들의 크로핑 (cropping) 및/또는 패딩 (padding) 을 수행하도록 추가로 구성될 수도 있다.

리샘플링 유닛 (90) 은 하위 계층 인코더 (예컨대, 비디오 인코더 (20A)) 의 디코딩된 픽처 버퍼 (114) 로부터 픽처 또는 프레임 (또는 픽처에 연관된 픽처 정보) 을 수신하고 그리고 그 픽처 (또는 수신된 픽처 정보) 를 업샘플링하도록 구성될 수도 있다. 그 다음에, 이 업샘플링된 픽처는 하위 계층 인코더와 동일한 액세스 유닛으로 픽처를 인코딩하도록 구성된 상위 계층 인코더 (예컨대, 비디오 인코더 (20B)) 의 모드 선택 유닛 (40) 에 제공될 수도 있다. 일부 경우들에서, 상위 계층 인코더는 하위 계층 인코더로부터 한 계층 떨어져 있다. 다른 경우들에서, 도 2b 의 계층 0 비디오 인코더 및 계층 1 인코더 간에는 하나 이상의 상위 계층 인코더들이 있을 수도 있다.

일부 경우들에서, 리샘플링 유닛 (90) 은 생략되거나 우회될 수도 있다. 이러한 경우들에서, 비디오 인코더 (20A) 의 디코딩된 픽처 버퍼 (64) 로부터의 픽처는 비디오 인코더 (20B) 의 모드 선택 유닛 (40) 에 직접적으로, 또는 적어도 리샘플링 유닛 (90) 에 제공되는 일 없이, 제공될 수도 있다. 예를 들어, 비디오 인코더 (20B) 에 제공된 비디오 데이터 및 비디오 인코더 (20A) 의 디코딩된 픽처 버퍼 (64) 로부터의 참조 픽처가 동일한 사이즈 또는 해상도이면, 참조 픽처는 어떠한 리샘플링 없이 비디오 인코더 (20B) 에 제공될 수도 있다.

일부 실시형태들에서, 비디오 인코더 (21) 는 비디오 데이터를 비디오 인코더 (20A) 에 제공하기 전에 다운샘플링 유닛 (94) 을 사용하여 하위 계층 인코더에 제공될 비디오 데이터를 다운샘플링한다. 대안적으로, 다운샘플링 유닛 (94) 은 비디오 데이터를 업샘플링 또는 다운샘플링할 수 있는 리샘플링 유닛 (90) 일 수도 있다. 또 다른 실시형태들에서, 다운샘플링 유닛 (94) 은 생략될 수도 있다.

도 2b 에 예시된 바와 같이, 비디오 인코더 (21) 는 멀티플렉서 (98), 또는 mux 를 더 포함할 수도 있다. Mux (98) 는 비디오 인코더 (21) 로부터의 결합된 비트스트림을 출력할 수 있다. 결합된 비트스트림은 비디오 인코더들 (20A 및 20B) 의 각각으로부터 비트스트림을 취하고 주어진 시간에 어떤 비트스트림이 출력될지를 교번시킴으로써 생성될 수도 잇다. 일부 경우들에서 2 개 (또는 2 개를 초과하는 비디오 인코더 계층들에서는 그 이상) 의 비트스트림들로부터의 비트들이 한번에 한 비트씩 교번될 수도 있으나, 많은 경우들에서 비트스트림들은 상이하게 결합된다. 예를 들어, 출력 비트스트림은 한번에 한 블록씩 선택된 비트스트림을 교번시킴으로써 생성될 수도 있다. 다른 예에서, 출력 비트스트림은 비디오 인코더들 (20A 및 20B) 의 각각으로부터 1 아닌 수:1 의 비율의 블록들을 출력함으로써 생성될 수도 있다. 예를 들면, 비디오 인코더 (20A) 로부터 출력되는 각 블록에 대해 2 개의 블록들이 비디오 인코더 (20B) 로부터 출력될 수도 있다. 일부 실시형태들에서, mux (98) 로부터의 출력 스트림은 미리 프로그래밍될 수도 있다. 다른 실시형태들에서, mux (98) 는 비디오 인코더 (21) 외부의 시스템으로부터, 이를테면 소스 디바이스 (12) 상의 프로세서로부터 수신된 제어 신호에 기초하여 비디오 인코더들 (20A 및 20B) 로부터의 비트스트림들을 결합할 수도 있다. 제어 신호는 비디오 소스 (18) 로부터의 비디오의 해상도 또는 비트레이트에 기초하여, 채널 (16) 의 대역폭에 기초하여, 사용자의 연관된 가입 (예컨대, 유료 가입 대 무료 가입) 에 기초하여, 또는 비디오 인코더 (21) 로부터의 원하는 해상도 출력을 결정하기 위한 임의의 다른 팩터에 기초하여 생성될 수도 있다.

비디오 디코더

도 3a 는 본 개시물에 설명되는 양태들에 따른 기법들을 구현할 수도 있는 비디오 디코더 (30) 의 일 예를 예시하는 블록도이다. 비디오 디코더 (30) 는 HEVC 와 같은 비디오 비트스트림의 단일 계층을 프로세싱하도록 구성될 수도 있다. 또한, 비디오 디코더 (30) 는 본 개시물의 기법들 중 일부 또는 전부를 수행하도록 구성될 수도 있으며, 본원 전반에 설명된 SEI 메시지들의 분석에서 분석 에러들을 제거하거나 감소시키는 방법들을 포함하되, 이에 제한되지 않는다. 일 예로서, 인터-계층 예측 유닛 (75) 은 본 개시물에 설명된 기법들 중 일부 또는 전부를 수행하도록 구성될 수도 있으며, 본원 전반에 설명된 (예컨대, 네스팅 SEI 메시지 내의, SEI 메시지들의 수를 나타내는 신택스 엘리먼트를 활용함으로써) SEI 메시지들의 분석에서 분석 에러들을 제거하거나 감소시키기 위한 방법들을 포함하되 이에 제한되지 않는다. 그러나, 본 개시물의 양태들은 그러한 것에 제한되지 않는다. 일부 예들에서, 이러한 기법들은 비디오 디코더 (30) 의 다양한 컴포넌트들간에 공유될 수도 있다. 일부 예들에서, 추가적으로 또는 대안적으로, 프로세서 (미도시) 는 이들 중 일부 또는 전부를 수행하도록 구성될 수도 있다.

설명의 목적으로, 본 개시물은 HEVC 코딩의 콘텍스트에서 비디오 디코더 (30) 를 설명한다. 그러나, 본원 전반에 설명된 SEI 메시지들의 분석에서 분석 에러들을 제거하거나 감소시키기 위한 방법들을 포함하되 이에 제한되지 않는, 본 개시물의 기법들은, 다른 코딩 표준들 또는 방법들에 적용가능할 수도 있다. 도 3a 의 비디오 디코더 (30) 는 코덱의 단일 계층을 예시한다. 그러나, 도 3b 에 관해 추가로 설명될 바와 같이, 비디오 디코더 (30) 의 일부 또는 전부는 멀티-계층 코덱에 따른 프로세싱을 위해 중복될 수도 있다.

도 3a 의 예에서, 비디오 디코더 (30) 는 엔트로피 디코딩 유닛 (70), 모션 보상 유닛 (72), 인트라 예측 유닛 (74), 인터 계층 예측 유닛 (75), 역양자화 유닛 (76), 역변환 유닛 (78), 참조 프레임 메모리 (82), 및 합산기 (80) 를 포함한다. 일부 실시형태들에서, 모션 보상 유닛 (72) 및/또는 인트라 예측 유닛 (74) 은 인터 계층 예측을 수행하도록 구성될 수도 있으며, 이 경우 인터 계층 예측 유닛 (75) 은 생략될 수도 있다. 비디오 디코더 (30) 는, 일부 예들에서, 도 2a 에서 비디오 인코더 (20) 에 관해 설명된 인코딩 패스와 대체로 상반되는 디코딩 패스를 수행할 수도 있다. 모션 보상 유닛 (72) 은 엔트로피 디코딩 유닛 (70) 으로부터 수신된 모션 벡터들에 기초하여 예측 데이터를 생성할 수도 있고, 인트라 예측 유닛 (74) 은 엔트로피 디코딩 유닛 (70) 으로부터 수신된 인트라 예측 모드 표시자들에 기초하여 예측 데이터를 생성할 수도 있다. 참조 프레임 메모리 (82) 는 디코딩된 픽처 버퍼를 포함할 수도 있다. 디코딩된 픽처 버퍼는 그 통상의 의미를 가진 광범위한 용어이며, 일부 실시형태들에서는 참조 프레임들의 비디오 코덱-관리 데이터 구조를 지칭한다.

디코딩 프로세스 동안, 비디오 디코더 (30) 는 비디오 인코더 (20) 로부터 인코딩된 비디오 슬라이스의 비디오 블록들 및 연관된 신택스 엘리먼트들을 나타내는 인코딩된 비디오 비트스트림을 수신한다. 비디오 디코더 (30) 의 엔트로피 디코딩 유닛 (70) 은 비트스트림을 엔트로피 디코딩하여 양자화된 계수들, 모션 벡터들, 또는 인트라 예측 모드 표시자들, 및 다른 신택스 엘리먼트들을 생성한다. 엔트로피 디코딩 유닛 (70) 은 모션 벡터들 및 다른 신택스 엘리먼트들을 모션 보상 유닛 (72) 에 포워딩한다. 비디오 디코더 (30) 는 비디오 슬라이스 레벨 및/또는 비디오 블록 레벨에서 신택스 엘리먼트들을 수신할 수도 있다.

비디오 슬라이스가 인트라 코딩된 (I) 슬라이스로서 코딩될 때, 인트라 예측 유닛 (74) 은 시그널링된 인트라 예측 모드와, 현재 프레임 또는 픽처의 이전에 디코딩된 블록들로부터의 데이터에 기초하여, 현재 비디오 슬라이스의 비디오 블록에 대한 예측 데이터를 생성할 수도 있다. 비디오 프레임이 인터 코딩된 (예컨대, B, P, 또는 GPB) 슬라이스로서 코딩될 때, 모션 보상 유닛 (72) 은 엔트로피 디코딩 유닛 (70) 으로부터 수신된 모션 벡터들 및 다른 신택스 엘리먼트들에 기초하여 현재 비디오 슬라이스의 비디오 블록에 대한 예측 블록들을 생성한다. 예측 블록들은 참조 픽처 리스트들 중 하나의 참조 픽처 리스트 내의 참조 픽처들 중 하나로부터 생성될 수도 있다. 비디오 디코더 (30) 는 참조 프레임 메모리 (82) 에 저장된 참조 픽처들에 기초하여, 디폴트 구성 기법들을 사용하여, 참조 프레임 리스트들, List 0 및 List 1 을 구성할 수도 있다.

모션 보상 유닛 (72) 은 모션 벡터들 및 다른 신택스 엘리먼트들을 분석함으로써 현재 비디오 슬라이스의 비디오 블록에 대한 예측 정보를 결정하고, 디코딩되고 있는 현재 비디오 블록에 대한 예측 블록들을 생성하기 위하여 예측 정보를 사용한다. 예를 들어, 모션 보상 유닛 (72) 은, 비디오 슬라이스의 비디오 블록들을 코딩하는데 사용되는 예측 모드 (예컨대, 인트라- 또는 인터- 예측), 인터 예측 슬라이스 타입 (예컨대, B 슬라이스, P 슬라이스, 또는 GPB 슬라이스), 슬라이스에 대한 하나 이상의 참조 픽처 리스트들에 대한 구성 정보, 슬라이스의 각각의 인터-인코딩된 비디오 블록에 대한 모션 벡터들, 슬라이스의 각각의 인터-코딩된 비디오 블록에 대한 인터-예측 상태, 및 현재 비디오 슬라이스에서 비디오 블록들을 디코딩하는 다른 정보를 결정하기 위해, 수신된 신택스 엘리먼트들 중 일부를 사용한다.

모션 보상 유닛 (72) 은 또한 보간 필터들에 기초하여 보간을 수행할 수도 있다. 모션 보상 유닛 (72) 은 참조 블록들의 정수 미만 픽셀들에 대한 보간값들을 계산하기 위해 비디오 블록들의 인코딩 동안 비디오 인코더 (20) 에 의해 사용되는 바와 같이 보간 필터들을 사용할 수도 있다. 이 경우, 모션 보상 유닛 (72) 은 수신된 신택스 엘리먼트들로부터 비디오 인코더 (20) 에 의해 사용되는 보간 필터들을 결정하고 예측 블록들을 생성하기 위해 보간 필터들을 사용할 수도 있다.

비디오 디코더 (30) 는 또한 인터-계층 예측 유닛 (75) 을 포함할 수도 있다. 인터-계층 예측 유닛 (75) 은 SVC (예컨대, 기본 또는 참조 계층) 에서 사용가능한 하나 이상의 상이한 계층들을 사용하여 현재 블록 (예컨대, 강화 계층에서의 현재 블록) 을 예측하도록 구성된다. 그러한 예측은 인터 계층 예측이라고 지칭될 수도 있다. 인터-계층 예측 유닛 (75) 은 예측 방법들을 활용하여 인터-계층 리던던시를 감소시킴으로써, 코딩 효율을 향상시키고 연산 리소스 요구들을 감소시킨다. 인터-계층 예측의 일부 예들은 인터-계층 인트라 예측, 인터-계층 모션 예측, 및 인터-계층 잔차 예측을 포함한다. 인터-계층 인트라 예측은 기본 계층에서의 병치된 블록들의 복원을 사용하여 강화 계층에서의 현재 블록을 예측한다. 인터-계층 모션 예측은 기본 계층의 모션 정보를 사용하여 강화 계층에서의 모션을 예측한다. 인터-계층 잔차 예측은 기본 계층의 잔차를 사용하여 강화 계층의 잔차를 예측한다. 기본 및 강화 계층들이 상이한 공간적 해상도들을 가질 때, 공간적 모션 벡터 스케일링 및/또는 인터-계층 포지션 매핑은, 이하 상세히 설명되는 바와 같이 시간적 스케일링 함수를 사용하여 인터-계층 예측 유닛 (75) 에 의해 수행될 수도 있다.

역양자화 유닛 (76) 은 비트스트림에 제공되고 엔트로피 디코딩 유닛 (70) 에 의해 디코딩된 양자화된 변환 계수들을 역양자화 (예컨대, 탈양자화 (de-quantize)) 한다. 역양자화 프로세스는 적용되어야 할 양자화의 정도와, 마찬가지로, 역양자화의 정도를 결정하기 위하여, 비디오 슬라이스에서의 각 비디오 블록에 대해 비디오 디코더 (30) 에 의해 계산된 양자화 파라미터 (QPY) 의 사용을 포함할 수도 있다.

역변환 유닛 (78) 은 픽셀 도메인에서 잔차 블록들을 생성하기 위해 변환 계수들에 역변환 (예컨대, 역 DCT, 역 DST, 역 정수 변환, 또는 개념적으로 유사한 역변환 프로세스) 을 적용한다.

모션 보상 유닛 (72) 이 모션 벡터들 및 다른 신택스 엘리먼트들에 기초하여 현재 비디오 블록에 대한 예측 블록을 생성한 후, 비디오 인코더 (30) 는 역변환 유닛 (78) 으로부터의 잔차 블록들을 모션 보상 유닛 (72) 에 의해 생성된 대응하는 예측 블록들과 합산함으로써 디코딩된 비디오 블록을 형성한다. 합산기 (90) 는 이 합산 동작을 수행하는 컴포너트 또는 컴포넌트들을 나타낸다. 원한다면, 디블로킹 필터는 블록화 아티팩트들을 제거하기 위해 디코딩된 블록들을 필터링하는데 적용될 수도 있다. 다른 루프 필터들 (코딩 루프 또는 코딩 루프 이후 중 어느 하나) 은 또한 픽셀 트랜지션들을 평활화하거나, 또는 그렇지 않을 경우에는 비디오 품질을 향상시키는데 사용될 수도 있다. 그 후, 소정의 프레임 또는 픽처에서 디코딩된 비디오 블록들은 이후의 모션 보상을 위해 사용되는 참조 픽처들을 저장하는 참조 프레임 메모리 (82) 에 저장된다. 참조 프레임 메모리 (82) 는 또한, 도 1의 디스플레이 디바이스 (32) 와 같은 디스플레이 디바이스 상에 나중에 표시하기 위해 디코딩된 비디오를 저장한다.

멀티-계층 비디오 디코더

도 3b 는 본 개시물에 설명되는 양태들에 따른 기법들을 구현할 수도 있는 멀티-계층 비디오 디코더 (31) (또한 단순히 비디오 디코더 (31) 라고도 지칭됨) 의 일 예를 예시하는 블록도이다. 비디오 디코더 (31) 는 SHVC, 3D-HEVC, 및/또는 MV-HEVC 와 같은 멀티-계층 비디오 프레임들을 프로세싱하도록 구성될 수도 있다. 또한, 비디오 디코더 (31) 는 본 개시물의 기법들 중 일부 또는 전부를 수행하도록 구성될 수도 있다.

비디오 디코더 (31) 는 비디오 디코더 (30A) 및 비디오 디코더 (30B) 를 포함하며, 이들 각각은 도 3a 의 비디오 디코더 (30) 와 같이 구성될 수도 있고 비디오 디코더 (30) 에 관해 상술한 기능들을 수행할 수도 있다. 또한, 참조 번호들의 재사용에 의해 나타낸 바와 같이, 비디오 디코더들 (30A 및 30B) 은 비디오 디코더 (30) 에 포함되는 시스템들 및 서브시스템들과 동일 또는 유사한 것들의 적어도 일부를 포함할 수도 있다. 비디오 디코더 (31) 가 2 개의 비디오 디코더들 (30A 및 30B) 을 포함하는 것으로 예시되었으나, 비디오 디코더 (31) 는 이와 같이 제한되지 않고 임의의 수의 비디오 디코더 계층들을 포함할 수도 있다. 일부 실시형태들에서, 비디오 디코더 (31) 는 액세스 유닛에서 각 픽처 또는 프레임에 대한 비디오 디코더 (30) 를 포함할 수도 있다. 예를 들어, 5 개의 픽처들을 포함하는 액세스 유닛은 5 개의 디코더 계층들을 포함하는 비디오 디코더에 의해 프로세싱되거나 디코딩될 수도 있다. 일부 실시형태들에서, 비디오 디코더 (31) 는 액세스 유닛에서의 프레임들보다 더 많은 디코더 계층들을 포함할 수도 있다. 이러한 일부 경우들에서, 비디오 디코더 계층들의 일부는 일부 액세스 유닛들을 프로세싱할 때 비활성일 수도 있다.

비디오 디코더들 (30A 및 30B) 에 더하여, 비디오 디코더 (31) 는 업샘플링 유닛 (92) 을 포함할 수도 있다. 일부 실시형태들에서, 업샘플링 유닛 (92) 은 수신된 비디오 프레임의 기본 계층을 업샘플링하여 프래임 또는 액세스 유닛에 대한 참조 픽처 리스트에 추가될 강화 계층을 생성할 수도 있다. 이 강화 계층은 참조 프레임 메모리 (82) 에 (예컨대, 그 디코딩된 픽처 버퍼, 등에) 저장될 수 있다. 일부 실시형태들에서, 업샘플링 유닛 (92) 은 도 2b 의 리샘플링 유닛 (90) 에 관해 설명된 실시형태들의 일부 또는 전부를 포함할 수 있다. 일부 실시형태들에서, 업샘플링 유닛 (92) 은 슬라이스 경계 규칙들 및/또는 래스터 (raster) 스캔 규칙들의 세트를 준수하도록 하나 이상의 슬라이스들을 재편성, 재정의, 수정, 또는 조정하도록 구성된다. 일부 경우들에서, 업샘플링 유닛 (92) 은 수신된 비디오 프레임의 계층을 업샘플링 및/또는 다운샘플링하도록 구성된 리샘플링 유닛일 수도 있다.

업샘플링 유닛 (92) 은 하위 계층 디코더 (예컨대, 비디오 디코더 (30A)) 의 디코딩된 픽처 버퍼 (82) 로부터 픽처 또는 프레임 (또는 픽처와 연관된 픽처 정보) 을 수신하고, 그 픽처 (또는 수신된 픽처 정보) 를 업샘플링하도록 구성될 수도 있다. 그 후, 이 업샘플링된 픽처는 하위 계층 디코더와 동일한 액세스 유닛에서의 픽처를 디코딩하도록 구성된 상위 계층 디코더 (예컨대, 비디오 디코더 (30B)) 의 모드 선택 유닛 (71) 에 제공될 수도 있다. 일부 경우들에서, 상위 계층 디코더는 하위 계층 디코더로부터 한 계층 떨어져 있다. 다른 경우들에서, 도 3b 의 계층 0 디코더 및 계층 1 디코더 간에는 하나 이상의 상위 계층 디코더들이 있을 수도 있다.

일부 경우들에서, 업샘플링 유닛 (92) 은 생략되거나 우회될 수도 있다. 이러한 경우들에서, 비디오 디코더 (30A) 의 디코딩된 픽처 버퍼 (82) 로부터의 픽처는 비디오 디코더 (30B) 의 모드 선택 유닛 (71) 에 직접적으로, 또는 적어도 업샘플링 유닛 (92) 에 제공되는 일 없이, 제공될 수도 있다. 예를 들어, 비디오 디코더 (30A) 에 제공된 비디오 데이터 및 비디오 디코더 (30A) 의 디코딩된 픽처 버퍼 (82) 로부터의 참조 픽처가 동일한 사이즈 또는 해상도이면, 참조 픽처는 어떠한 업샘플링 없이 비디오 디코더 (30B) 에 제공될 수도 있다. 또한, 일부 실시형태들에서, 업샘플링 유닛 (92) 은, 비디오 디코더 (30A) 의 디코딩된 픽처 버퍼 (82) 로부터 수신된 참조 픽처를 업샘플링하거나 다운샘플링하도록 구성된 리샘플링 유닛 (90) 일 수도 있다.

도 3b 에 예시된 바와 같이, 비디오 디코더 (31) 는 디멀티플렉서 (99), 또는 demux 를 더 포함할 수도 있다. Demux (99) 는 인코딩된 비디오 비트스트림을 상이한 비디오 디코더 (30A 및 30B) 에 제공되는 demux (99) 에 의해 출력되는 각 비트스트림들과 복수의 비트스트림들로 스플릿할 수 있다. 복수의 비트스트림들은 비트스트림을 수신함으로써 생성될 수도 있으며 각각의 비디오 디코더들 (30A 및 30B) 은 소정 시간에 비트스트림의 일부를 수신한다. 일부 경우들에서 demux (99) 에서 수신된 비트스트림으로부터의 비트들이 각 비디오 디코더들 (예컨대, 도 3b 의 예에서 비디오 디코더들 (30A 및 30B)) 간에 한번에 한 비트씩 교번될 수도 있으나, 많은 경우들에서 비트스트림은 상이하게 분할된다. 예를 들어, 비트스트림은 한번에 한 블록씩 비트스트림을 수신하는 비디오 디코더를 교번시킴으로써 분할될 수도 있다. 다른 예에서, 비트스트림은 비디오 디코더들 (30A 및 30B) 각각에 대해 1 이 아닌 수:1 의 비율의 블록들로 분할될 수도 있다. 예를 들어, 비디오 디코더 (30A) 에 제공된 각 블록에 대해 비디오 디코더 (30B) 에 2 개의 블록이 제공될 수도 있다. 일부 실시형태들에서, demux (99) 에 의한 비트스트림의 분할은 미리 프로그래밍될 수도 있다. 다른 실시형태들에서, demux (99) 는, 비디오 디코더 (31) 외부의 시스템으로부터, 이를테면 목적지 디바이스 (14) 상의 프로세서로부터 수신된 제어 신호에 기초하여 비트스트림을 분할할 수도 있다. 제어 신호는 입력 인터페이스 (28) 로부터의 비디오의 해상도 또는 비트레이트에 기초하여, 채널 (16) 의 대역폭에 기초하여, 사용자의 연관된 가입 (예컨대, 유료 가입 대 무료 가입) 에 기초하여, 또는 비디오 디코더 (31) 에 의해 얻어질 수 있는 해상도를 결정하기 위한 임의의 다른 팩터에 기초하여 생성될 수도 있다.

보충 강화 정보 ( SEI ) 메시지들

HEVC 표준에 따르면, 코딩된 비디오 데이터는 액세스 유닛들로 형성된, 네트워크 추상 계층 (Network Abstraction Layer; NAL) 유닛들로서 지칭되는 일련의 데이터 유닛들로 조직화된다. 액세스 유닛은 동일한 출력 시간에 대응하는 픽처들을 집합적으로 나타내는 하나 이상의 NAL 유닛들의 세트를 포함한다. 액세스 유닛에서의 하나 이상의 NAL 유닛들은 동일한 출력 시간에 대응하는 픽처들을 집합적으로 구성하는 하나 이상의 비디오 코딩 계층 (video coding layer; VCL) NAL 유닛들의 세트, 및 0 이상의 비-VCL NAL 유닛들 (즉, VCL NAL 유닛들이 아닌 NAL 유닛들) 을 포함한다. VCL NAL 유닛들은 코딩된 비디오 데이터의 슬라이스 세그먼트들을 전달한다. 비-VCL NAL 유닛들은 통상적으로 제어 정보를 포함한다. 액세스 유닛에서 존재할 수도 있는 비-VCL NAL 유닛의 일 타입은 보충 강화 정보 (SEI) NAL 유닛으로서, 이는 유용성을 강화시킬 수도 있는 보충 데이터 (예컨대, 타이밍 정보) 를 포함하나, 디코딩된 비디오 신호에 대해 일반적으로 필요하지는 않다. SEI NAL 유닛들은 후술할 SEI 메시지 구조를 가진 SEI 메시지들을 포함한다. SEI 메시지들은, 예를 들어 픽처 출력 타이밍, 디스플레잉, 칼라 공간의 해석 및/또는 프레이밍 (framing) 패킹과 관련한 정보를 제공할 수도 있는, 코딩된 비디오 데이터와 연관된 다양한 유형들의 메타데이터를 포함할 수도 있다.

SEI NAL 유닛은 하나 이상의 SEI 메시지 구조들을 포함할 수도 있다. 일 예에 따라, SEI NAL 유닛의 전체 구조가 도 4 에 예시된다. 개시된 기법들의 이해에 유용하지 않은 구조의 일부들은 생략되었다. 이러한 생략들은 줄임표에 의해 도 4 에서 식별된다.

SEI NAL 유닛 (410) 은 RBSP, 예컨대 sei_rbsp() 구조 (420) (sei_rbsp() 구조 (420) 는 또한 SEI RBSP (420) 라고도 지칭됨) 를 포함한다. 그 결과, sei_rbsp() 구조 (420) 는 (2 개의 구조들 (430A 및 430B) 로 예시된) 하나 이상의 sei_message() 구조들 (430) 을 포함할 수도 있다. 2 개의 sei_message() 구조들 (430A 및 430B) 이 예시되었으나, sei_rbsp() (420) 는 1 개의 sei_message() 구조 (430) 또는 3 개 이상의 sei_message() 구조들 (430) 을 포함하여, 임의의 수의 sei_message() 구조들 (430) 을 포함할 수도 있음이 이해되어야 한다.

각 sei_message() 구조 (430) 는 sei_payload 구조 (440) (각각, sei_message() 구조들 (430A 및430B) 에 대해 (440A 및 440B) 로서 예시됨) 를 포함한다. sei_message() 구조들 (430) 의 신택스 구조는 sei_payload 구조들 (440) 에 포함되며 도 4 에서 xxx(payloadSize) 구조들 (442) (각각, sei_payload 구조들 (440A 및 440B) 에 대해 (442A 및 442B) 로서 예시됨) 로 나타난다. 선택적으로, 각 sei_payload 구조 (440) 는 또한, SEI_message() 구조들 (430) 의 미래 확장가능성을 위해 사용될 수도 있는 payload extension (444) (각각, sei_payload 구조들 (440A 및 440B) 에 대해 (444A 및 444B) 로서 예시됨) 을 포함할 수도 있다.

일부 SEI 메시지 구조들은 네스팅 SEI 메시지 구조들이다. 네스팅 SEI 메시지 구조들은 하나 이상의 SEI 메시지들을 포함할 수도 있다. 예를 들어, sei_message() 구조 (430A) 는 sei_message() 구조 (430A) 내 네스팅된 복수의 SEI 메시지들을 포함할 수도 있다. 네스팅 SEI 메시지 구조에 포함된 각각의 SEI 메시지는, 네스팅 SEI 메시지 구조에 의해 특정된 바와 같이, 계층들의 세트, 동작 포인트들, 출력 계층 세트들, 및/또는 비트스트림 파티션들에 적용가능하다.

종래의 실행, 예를 들어 HEVC 사양의 현재 초안, HEVC 버전 1은 네스팅 SEI 메시지 구조의 한 타입: 스케일러블 네스팅 SEI 메시지 구조들을 특정한다. 추가로, 멀티-계층 (또는 멀티-뷰) 확장들의 현재 초안들은 네스팅 SEI 메시지 구조의 또 다른 타입: 비트스트림 파티션 네스팅 SEI 메시지 구조들을 특정한다. 용어들 "네스팅 SEI 메시지 구조" 및 "네스팅 SEI 구조"는, 단수 또는 복수의 형태로, 집합적으로, 스케일러블 네스팅 SEI 메시지 구조 및 비트스트림 파티션 네스팅 SEI 메시지 구조를 지칭하도록 본원에서 사용된다.

스케일러블 네스팅 SEI 메시지 구조에 대한 현재 (즉, 종래의) 신택스 구조가 다음의 표에 예시된다. 개시된 기법들의 이해에 유용하지 않은 신택스 구조의 일부들은 생략되었다. 이러한 생략들은 줄임표에 의해 아래에 식별된다.

비트스트림 파티션 네스팅 SEI 메시지 구조의 현재 신택스 구조가 다음의 표에 예시된다.

위에 예시된 바와 같이, 스케일러블 네스팅 SEI 메시지 구조 및 비트스트림 파티션 네스팅 SEI 메시지 구조 모두에 대한 신택스 구조들은 "do sei_message() while( more_rbsp_data() )" 의 do-while 신택스를 포함한다.

이 do-while 신택스는 하나 이상의 SEI 메시지들이 네스팅 SEI 메시지 구조에 네스팅되는 것을 허용하지만, 이러한 종래의 신택스 구조들의 do-while 신택스는 유의한 결함들을 가진다. 구체적으로, 네스팅 SEI 메시지 구조를 포함하는 SEI RBSP 에서의 현재 바이트 포지션이, 그 특정 SEI RBSP (예컨대, 도 4 의 SEI RBSP (420)) 에서의 1 의 값을 가지는 최종 (즉, 최하위 (least significant), 최우측) 비트의 포지션과 동일할 때까지, do-while 신택스의 조건으로서 세팅되는 함수 "more_rbsp_data()" 는 "1" 의 값 (즉, TRUE) 을 리턴한다. SEI RBSP 신택스 에서 1 의 값을 가지는 이 최종 비트는, 1 의 값을 가지는 rbsp_trailing_bits() 신택스 구조 (450) 에서의 제 1 비트에 대응한다. 도 4 에 보이는 바와 같이, rbsp_trailing_bits() 신택스 구조 (450) 는 SEI RBSP (420) 의 마지막에 존재한다. 결과적으로, SEI NAL 유닛이 네스팅 SEI 메시지 구조를 포함하고, 네스팅 SEI 메시지 구조가 SEI NAL 유닛 내에서 다른 데이터 (즉, RBSP 트레일링 비트들 외의 데이터) 보다 선행하는 경우, 네스팅 SEI 메시지 구조의 do-while 신택스는 함수 sei_message() 를 사용하여 그 다른 데이터를 프로세싱하여, SEI NAL 유닛의 분석 에러에 귀착할 것이다.

예를 들어, 도 4 를 참조하여, sei_payload 구조 (440A) 가 구조 (442A) 로서 네스팅 SEI 메시지 구조를 포함하는 경우, 디코더는, 네스팅된 SEI 메시지의 do-while 신택스에 기초하여, sei_rbsp 구조 (420) 의 마지막에서 RBSP 트레일링 비트들 (즉, rbsp_trailing_bits() (450)) 에 도달할 때까지 sei_rbsp 구조 (420) 를 프로세싱할 것이다. 따라서, 구조 (442A) 의 do-while 신택스는, 함수 "sei_message()" 에 따라, 존재하는 경우, sei_message 구조 (430B) 뿐 아니라, sei_payload 구조 (440A) 의 페이로드 확장을 프로세싱하여, 분석 에러에 귀착할 것이다.

따라서, 비트스트림은 적절히 분석될 수 없다 - 그러므로, 비-준수 (non-conforming) 비트스트림이다 - 비트스트림이 현재 스킴들에 따른 네스팅 SEI 메시지 구조 (예컨대, 스케일러블 네스팅 SEI 메시지 구조 또는 비트스트림 파티션 네스팅 SEI 메시지 구조 중 어느 하나) 를 포함하는 SEI NAL 유닛을 포함하는 경우 및 이하 중 임의의 것이 사실인 경우:

(1) SEI NAL 유닛이 디코딩 순서에서, 네스팅 SEI 메시지 구조를 포함하는 sei_payload 구조를 따르는 임의의 SEI 메시지를 포함한다; 또는

(2) 네스팅 SEI 메시지 구조를 포함하는 sei_payload 구조가 페이로드 확장 데이터 (예컨대, 다음의 신택스 엘리먼트들 중 임의의 것: reserved_payload_extension_data, payload_bit_equal_to_one, 또는 payload_bit_equal_to_zero) 를 포함한다.

네스팅 SEI 메시지 구조들 (예컨대, 스케일러블 네스팅 SEI 메시지 구조들 및/또는 비트스트림 파티션 네스팅 SEI 메시지 구조들) 의 현재 신택스 구조에서의 이러한 결함들의 결과로서, 네스팅 SEI 메시지 구조들은 sei_payload 구조에 제공되는 확장 메커니즘을 사용하여 확장될 수 없다. 따라서, SEI 메시지 구조들의 현재 신택스 구조에서의 이러한 결함들을 해결하는 방법들이 이제 논의될 것이다. 이들 각각의 예시적인 실시형태들의 다양한 특징들은 독립적으로 또는 서로 결합하여 적용될 수도 있다.

본 개시물의 다양한 실시형태들에서, 네스팅 SEI 메시지 구조에 포함된 sei_message() 의 수는 비디오 인코더 (예컨대, 비디오 인코더 (20) 또는 비디오 인코더 (21)) 에 의해 시그널링되고 비디오 디코더 (예컨대, 비디오 디코더 (30) 또는 비디오 디코더 (31)) 에 의해 수신될 수도 있으며, 네스팅 SEI 메시지 구조의 신택스 구조는, 예를 들어 비디오 디코더에 의해, 그 수에 기초하여 분석될 수도 있다. 예를 들어, 스케일러블 네스팅 SEI 메시지 구조 및 비트스트림 파티션 네스팅 SEI 메시지 구조 중 하나 또는 모두는, 함수 "sei_message()" 를 호출하는 do-while 신택스를, 함수 "more_rbsp_data()" 가 상술한 바와 같이 1 의 값을 리턴하는 동안, 함수 "sei_message()" 를 시그널링된 횟수로 호출 (즉, 실행 또는 수행을 명령) 하는 신택스로 대체함으로써 변경될 수도 있다.

예를 들어, 본 개시물에 따라, 스케일러블 네스팅 SEI 메시지 구조의 신택스 구조는 다음의 표에 예시된 바와 같이 수정될 수도 있다. 다시, 개시된 기법들의 이해에 유용하지 않은 신택스 구조의 부분들은 생략되었다. 이러한 생략들은 줄임표에 의해 아래에 식별된다.

유사하게, 비트스트림 파티션 네스팅 SEI 메시지 구조의 신택스 구조는 다음의 표에 예시된 바와 같이 수정될 수도 있다.

구체적으로, 상기 표 1 에 예시된 스케일러블 네스팅 SEI 메시지 구조의 현재 신택스 구조에서의 라인 09-11 는, 표 3 에서 변수 (즉, 신택스 엘리먼트) "num_seis_in_scalable_minus1" 에 의해 특정되는 수에 기초하여 함수 "sei_message()" 를 호출하는 신택스 구조로 대체되었다. 유사하게, 표 2 에 예시된 비트스트림 파티션 네스팅 SEI 메시지 구조의 현재 신택스 구조에서의 라인 05-07 은, 표 4 에서 변수 "num_seis_in_bsp_minus1" 에 저장된 수에 기초하여 함수 "sei_message()" 를 호출하는 신택스 구조로 대체되었다.

변수 "num_seis_in_scalable_minus1" 에 의해 특정되는 수는 스케일러블 네스팅 SEI 메시지 구조에 포함된 sei_message 구조들의 수보다 하나 작다. 유사하게, 변수 "num_seis_in_bsp_minus1" 에 의해 특정되는 수는 비트스트림 파티션 네스팅 SEI 메시지 구조에 포함된 sei_message 구조들의 수보다 하나 작다. 보다 구체적으로, "num_seis_in_bsp_minus1" 에 1을 더한 값은 bsp_nesting() 신택스 구조에 포함된 sei_message() 구조들의 수를 특정한다. 다시 말해, 각 신택스 엘리먼트에 의해 특정된 수 보다 하나 많은 값은 각각의 네스팅 SEI 메시지 구조의 신택스 구조에 포함된 sei_message 구조들의 수를 나타낸다. 변수 "num_seis_in_scalable_minus1" 및 "num_seis_in_bsp_minus1" 은 정수들이거나 수를 나타낼 수 있는 다른 데이터 타입들일 수도 있다.

표 3 및 4 모두에서, 대체된 구조는, 각각, "num_seis_in_scalable_minus1" 에 의해 특정되는 수보다 하나 많은 수 (즉, "num_seis_in_scalable_minus1" + 1) 와 동일하고, 그리고 "num_seis_in_bsp_minus1" (즉, "num_seis_in_bsp_minus1") 에서의 수보다 하나 많은 수와 동일한 횟수로 명령 "sei_message()" 을 반복하는 "for" 루프를 포함한다. 시그널링된 횟수로 하나 이상의 명령들의 세트를 반복하는 다른 타입들의 구조들이 예시된 "for" 루프를 대신하여 사용될 수 있음이 이해되어야 한다. "for" 루프는, 예를 들어, 시작 반복을 1 (즉, "i=0" 대신 "i=1") 로 증가시킴으로써 또는 less-than-or-equal 오퍼레이터를 less-than 오퍼레이터로 (즉, "i <= num_seis_in_scalable_minus1" 대신 "i < num_seis_in_scalable", 및 "i <= num_seis_in_bsp_minus1" 대신 "i < num_seis_in_bsp") 대체함으로써, 각각의 네스팅 SEI 메시지 구조에서의 sei_message 구조들의 수보다 하나 작은 수 대신, 각각의 네스팅 SEI 메시지 구조에서의 sei_message 구조들의 수를 사용하도록 수정될 수도 있음이 또한 이해되어야 한다.

다양한 실시형태들에서, num_seis_in_scalable_minus1 의 값 및/또는 num_seis_in_bsp_minus1 의 값은 0 부터 15 까지의 범위로 제약될 수도 있다. 그러나, num_seis_in_scalable_minus1 의 값 및/또는 num_seis_in_bsp_minus1 의 값은 서로 상이한 범위 및/또는 상이한 범위들로 제약되거나, 또는 전혀 제한되지 않을 수도 있다는 것이 이해되어야 한다. 하나 이상의 이러한 값들이 값들의 범위로 제약될 때, 그 제약은 인코더 또는 디코더 중 어느 하나에서, 또는 인코더 및 디코더 모두에서 부과될 수도 있다. 예를 들어, 비디오 인코더 (20) 는 소정 수의 SEI 메시지 이상이 SEI NAL 유닛의 네스팅 SEI 메시지 구조에 추가되는 것을 방지할 수도 있다.

수정된 네스팅 SEI 메시지 신택스 구조로, 네스팅 SEI 메시지 구조들은 상술한 현재의 (즉, 종래의) 네스팅 SEI 메시지 구조들의 제한들을 갖지 않는다. 구체적으로, 네스팅 SEI 메시지 구조들은 더 이상 SEI NAL 유닛에서의 최종 SEI 메시지 구조로 제약받지 않으며, (예컨대, reserved_payload_extension_data 신택스 엘리먼트를 사용하여) 확장될 수도 있다.

도 5 는 본 개시물의 다양한 실시형태들에 따른, 비디오 코딩을 위한 예시적인 프로세스 (500) 를 예시한다. 단계 (510) 에서 시작하는 프로세스 (500) 는, 비디오 인코더 (20), 비디오 인코더 (21), 비디오 디코더 (30), 및/또는 비디오 디코더 (31), 또는 임의의 다른 컴포넌트에 의해 구현될 수도 있다. 단계 (520) 에서, SEI NAL 유닛이 프로세싱된다. SEI NAL 유닛은 하나 이상의 SEI 메시지 구조들을 포함하는 RBSP 를 포함할 수도 있다. 하나 이상의 이러한 SEI 메시지 구조들은 하나 이상의 SEI 메시지들을 포함하도록 구성된 적어도 하나의 네스팅 SEI 메시지 구조를 포함한다. 단계 (530) 에서, 적어도 하나의 네스팅 SEI 메시지 구조 내 포함된 SEI 메시지들의 수를 나타내는 신택스 엘리먼트가 코딩된다. 이 코딩은 (예컨대, 도 6 에서 단계 (650) 에 관해 설명되는 바와 같이) 신택스 엘리먼트를 디코딩하는 것 또는 (예컨대, 도 7 에서 단계 (770) 에 관해 설명되는 바와 같이) 신택스 엘리먼트를 인코딩하는 것을 포함할 수도 있다. 추가로, 단계 (530) 은 단계 (520) 에서의 프로세싱의 일부로서, 또는 이와 분리되어 수행될 수도 있다. 프로세스 (500) 는 단계 (580) 에서 종료된다.

도 6 은 본 개시물의 다양한 실시형태들에 따라, 비디오 디코딩에서 사용되는 예시적인 프로세스 (600) 를 예시한다. 단계 (610) 에서 시작하는 프로세스 (600) 는, 비디오 디코더 (30) 및/또는 비디오 디코더 (31), 또는 임의의 다른 컴포넌트들에 의해 수행될 수도 있다. 편의상, 프로세스 (600) 는 비디오 디코더 (30) 에 의해 수행되는 것으로 설명된다. 단계 (620) 에서, SEI 메시지 구조가 수신된다. 단계 (630) 에서, SEI 메시지 구조가 네스팅 SEI 메시지 구조 (예컨대, 스케일러블 네스팅 SEI 메시지 구조 및/또는 비트스트림 파티션 네스팅 SEI 메시지 구조) 인지 또는 비-네스팅 SEI 메시지 구조인지 여부가 결정된다. 단계 (630) 은 하나의 특정 타입의 네스팅 SEI 메시지 구조 (예컨대, 스케일러블 네스팅 SEI 메시지 구조들 또는 비트스트림 파티션 네스팅 SEI 메시지 구조들 중 어느 하나) 에 대해서만 또는 복수의 타입들의 네스팅 SEI 메시지 구조 (예컨대, 스케일러블 네스팅 SEI 메시지 구조들 및 비트스트림 파티션 네스팅 SEI 메시지 구조들 모두) 에 대해서 수행될 수도 있음이 이해되어야 한다.

단계 (630) 에서 SEI 메시지 구조가 비-네스팅 SEI 메시지 구조라고 결정되는 경우, SEI 메시지 구조가 단계 (640) 에서 통상적으로 (즉, HEVC 사양의 현재 초안에서 나타낸 바와 같이) 분석되고, 프로세스 (600) 는 단계 (680) 에서 종료된다.

한편, 단계 (630) 에서 SEI 메시지 구조가 네스팅 SEI 메시지 구조라고 결정되는 경우, 단계 (650) 에서 네스팅 SEI 메시지 구조에서의 SEI 메시지(들)의 수가 결정된다. 예를 들어, 이 수는 네스팅 SEI 메시지 구조를 인코딩하는 비디오 인코더 (예컨대, 비디오 인코더 (20) 또는 비디오 인코더 (21) 에 의해 SEI 메시지 구조 또는 다른 구조에 통합되었을 수도 있으며, 이 경우 비디오 디코더 (30) 는 네스팅 SEI 메시지 구조 또는 다른 구조에서의 수의 코딩된 위치로부터 수의 값을 추출함으로써 이 수를 결정한다. 대안적으로, 네스팅 SEI 메시지 구조에서의 SEI 메시지(들)의 수는 비디오 인코더에 의해 다른 방식으로 (예컨대, 일부 외부의 수단들을 통해 제공됨) 시그널링될 수도 있다. 어느 경우든, 네스팅 SEI 메시지 구조에서의 SEI 메시지(들)의 시그널링된 수는 SEI 메시지(들)의 실제 수 또는 SEI 메시지(들)의 수 빼기 1 (예컨대, 스케일러블 네스팅 SEI 메시지들에 대해 변수 "num_seis_in_scalable_minus1", 또는 비트스트림 파티션 네스팅 SEI 메시지들에 대해 변수 "num_seis_in_bsp_minus1") 일 수도 있다.

단계 (660) 에서, 네스팅 SEI 메시지 구조에서 결정된 수의 SEI 메시지(들)이 분석되었는지 여부가 결정된다. 네스팅 SEI 메시지 구조에서 결정된 수의 SEI 메시지(들)이 분석되지 않은 경우, 단계 (670) 에서 다음 SEI 메시지가 분석되고, 프로세스 (600) 는 그 후 단계 (660) 로 리턴한다. 한편, 네스팅 SEI 메시지 구조에서 결정된 수의 SEI 메시지(들)이 분석된 경우, 프로세스 (600) 는 단계 (680) 에서 종료된다. 단계들 (660 및 670) 에 의해 형성된 이 루프는, 상술한 바와 같이 그리고 표 3 의 라인 10-11 및 표 4 의 라인 06-07 에 의해 예시된 바와 같이, "for loop" 를 사용하여 구현될 수도 있다. 대안적으로, 단계들 (660 및 670) 에 의해 형성된 루프는 상이한 타입의 루프 구조를 사용하여 구현될 수도 있다.

도 7 은 본 개시물의 다양한 실시형태들에 따라, 비디오 인코딩에 사용되는 프로세스 (700) 를 예시한다. 단계 (710) 에서 시작하는 프로세스 (700) 는, 비디오 인코더 (20) 및/또는 비디오 인코더 (21), 또는 임의의 다른 컴포넌트에 의해 구현될 수도 있다. 단계 (720) 에서, SEI 메시지 구조를 생성하기 위해 하나 이상의 SEI 메시지들이 수신된다. 단계 (730) 에서, 생성될 SEI 메시지 구조가 네스팅 SEI 메시지 구조 (예컨대, 스케일러블 네스팅 SEI 메시지 구조 및/또는 비트스트림 파티션 네스팅 SEI 메시지 구조) 인지 여부가 결정된다. 단계 (730) 는 하나의 특정 타입의 네스팅 SEI 메시지 구조 (예컨대, 스케일러블 네스팅 SEI 메시지 구조들 또는 비트스트림 파티션 네스팅 SEI 메시지 구조들 중 어느 하나) 에 대해서만 또는 복수의 타입의 네스팅 SEI 메시지 구조 (예컨대, 스케일러블 네스팅 SEI 메시지 구조들 및 비트스트림 파티션 네스팅 SEI 메시지 구조들 모두) 에 대해 수행될 수도 있음이 이해되어야 한다.

단계 (730) 에서 SEI 메시지 구조가 비-네스팅 SEI 메시지 구조라고 결정되는 경우, 단계 (740) 에서 수신된 SEI 메시지가 통상적으로 (즉, HEVC 사양의 현재 초안에서 나타난 바와 같이) SEI 메시지 구조에 추가되며, 프로세스 (700) 는 단계 (780) 에서 종료한다.

한편, 단계 (730) 에서 SEI 메시지 구조가 네스팅 SEI 메시지 구조라고 결정되는 경우, 단계 (750) 에서 네스팅 SEI 메시지 구조 내 포함될 SEI 메시지(들)의 수가 (예컨대, 카운팅, 분석, 등을 함으로써) 결정된다. 예를 들어, 비디오 인코더는, 비디오 인코더가 SEI 메시지 구조에 SEI 메시지(들)을 추가하는 동안 SEI 메시지(들)의 수를 카운팅할 수도 있으며, 또는 SEI 메시지 구조에 임의의 SEI 메시지(들)을 추가하기 전에 SEI 메시지(들)의 수를 카운팅할 수도 있다. 임의의 경우에, 단계 (760) 에 나타난 바와 같이, SEI 메시지(들)이 네스팅 SEI 메시지 구조에 추가 (예컨대, 그 안에서 코딩) 된다.

단계 (770) 에서, 단계 (750) 에서 결정된 SEI 메시지(들)의 수가 네스팅 SEI 메시지 구조 또는 다른 구조로 통합 (예컨대, 코딩) 된다. 대안적으로, SEI 메시지(들)의 수는 다른 방식으로 시그널링될 수도 있다. 어느 경우든, 네스팅 SEI 메시지 구조에서 SEI 메시지(들)의 시그널링된 수는 SEI 메시지(들)의 실제 수 또는 SEI 메시지(들)의 수 빼기 1 (예컨대, 스케일러블 네스팅 SEI 메시지들에 대해 변수 "num_seis_in_scalable_minus1", 또는 비트스트림 파티션 네스팅 SEI 메시지들에 대해 변수 "num_seis_in_bsp_minus1") 일 수도 있다. 프로세스 (700) 는 단계 (780) 에서 종료된다.

다양한 실시형태들에서, 제약들이 추가되어, 네스팅 SEI 메시지 구조 (예컨대, 스케일러블 네스팅 SEI 메시지 구조 및/또는 비트스트림 파티션 네스팅 SEI 메시지 구조) 가 SEI NAL 유닛에서 최종 SEI 메시지 구조이도록 제약된다. 이 제약은, 상술한 본 개시물의 다른 실시형태들의 특징(들)과 함께, 또는 대안으로서 사용될 수도 있다.

예를 들어, 비디오 인코더 (20) 및/또는 비디오 인코더 (21) 는 네스팅 SEI 메시지 구조가 sei_rbsp 구조 (420) 에서의 다른 데이터 (즉, RBSP 트레일링 비트들 구조 (450) 외의 데이터) 에 선행하는 위치에서 SEI NAL 유닛에 추가되는 것을 방지할 수도 있다. 다시 말해, 비디오 인코더 (20) 는, 네스팅 SEI 메시지 구조가 SEI NAL 유닛에 추가되는 경우, 네스팅 SEI 메시지 구조가 SEI NAL 유닛 내 임의의 다른 SEI 메시지 구조들 후에 추가되는 것을 보장할 수도 있다.

추가로, 비디오 인코더 (20) 및/또는 비디오 인코더 (21) 는 SEI NAL 유닛이 2 개의 네스팅 SEI 메시지 구조들을 포함하는 상황을 방지하기 위해, 단일 SEI NAL 유닛에 2 개 이상의 네스팅 SEI 메시지 구조들의 추가를 방지할 수도 있다. 이러한 상황에서, 네스팅 SEI 메시지 구조들 중 하나는 필연적으로 다른 데이터 (즉, 2 개 이상의 네스팅 SEI 메시지들 중 다른 네스팅 SEI 메시지) 를 선행하여, 상술한 바와 같이, 분석 에러에 귀착할 것이다.

도 8 은 본 개시물의 다양한 실시형태들에 따라, 비디오 인코딩에 사용되는 프로세스 (800) 를 예시한다. 단계 (810) 에서 시작하는 프로세스 (800) 는, 비디오 인코더 (20) 및/또는 비디오 인코더 (21), 또는 임의의 다른 컴포넌트에 의해 구현될 수도 있다. 단계 (820) 에서, SEI NAL 유닛을 생성하기 위해 하나 이상의 SEI 메시지 구조들이 수신된다. 단계 (830) 에서, SEI NAL 유닛에 통합될 SEI 메시지 구조(들)이 네스팅 SEI 메시지 구조 (예컨대, 스케일러블 네스팅 SEI 메시지 구조 및/또는 비트스트림 파티션 네스팅 SEI 메시지 구조) 를 포함하는지 여부가 결정된다. 단계 (830) 는 하나의 특정 타입의 네스팅 SEI 메시지 구조 (예컨대, 스케일러블 네스팅 SEI 메시지 구조들 또는 비트스트림 파티션 네스팅 SEI 메시지 구조들 중 어느 하나) 에 대하여만 또는 복수의 타입들의 네스팅 SEI 메시지 구조 (예컨대, 스케일러블 네스팅 SEI 메시지 구조들 및 비트스트림 파티션 네스팅 SEI 메시지 구조들 모두) 에 대해 수행될 수도 있음이 이해되어야 한다.

단계 (830) 에서 SEI NAL 유닛에 통합될 SEI 메시지 구조(들)이 임의의 네스팅 SEI 메시지들을 포함하지 않는 것으로 결정되는 경우, 단계 (840) 에서 수신된 SEI 메시지 구조(들)이 통상적으로 (즉, HEVC 사양의 현재 초안에서 나타난 바와 같이) SEI NAL 유닛에 추가되며, 프로세스 (800) 는 단계 (880) 에서 종료된다.

한편, 단계 (830) 에서 SEI NAL 유닛에 통합될 SEI 메시지 구조(들)이 네스팅 SEI 메시지 구조를 포함하는 것으로 결정되는 경우, 단계 (820) 에서 수신된 SEI 메시지 구조(들)은 순서화되어, 네스팅 SEI 메시지 구조가 모든 SEI 메시지 구조(들) 중 최종이도록 한다. 예를 들어, 단계 (820) 에서 4 개의 SEI 메시지 구조들, A, B, C, 및 D 가 수신되고 구조 C 가 네스팅 SEI 메시지 구조인 반면 A, B, 및 D 는 비-네스팅 SEI 메시지 구조들인 경우, 구조들은 네스팅 SEI 메시지 구조 C 가 최종이 되도록 (예컨대, A-B-D-C, B-A-D-C, B-D-A-C, 등) 순서화된다. 비-네스팅 SEI 메시지 구조들, A, B, 및 D 의 순서는, 구조들 A, B, 및 D 가 각각 구조 C 를 순서에서 선행하는 한, 임의의 방식으로 (예컨대, 비-네스팅 SEI 메시지 구조들이 수신된 순서에 따라, 랜덤으로, 다른 조건들 또는 파라미터들에 따라, 등) 결정될 수도 있다.

단계 (820) 에서 수신된 SEI 메시지 구조(들)의 순서가 단계 (850) 에서 결정된 후, SEI 메시지 구조(들)이 단계 (860) 에서 결정된 순서로 SEI NAL 유닛에 통합된다. 그 순서는 임의의 SEI 메시지 구조(들)을 SEI NAL 유닛에 추가하기 전에 결정될 수도 있다는 것이 이해되어야 한다. 대안적으로, 순서는 SEI 메시지 구조(들)이 SEI NAL 유닛에 추가되는 때에, 예를 들어, 비-네스팅 SEI 메시지들 구조들을 비-네스팅 SEI 메시지 구조들이 수신된 순서로 추가함으로써, 그러나 다른 모든 SEI 메시지 구조들이 추가된 후 추가되도록 조우 시 네스팅 SEI 메시지 구조를 저장함으로써, 결정될 수도 있다. 프로세스 (800) 는 단계 (880) 에서 종료된다.

SEI 메시지들의 분석에서 페이로드 사이즈 정보의 사용

SEI 메시지 구조 (예컨대, 도 4 에서 sei_message() (430A 또는 430B)) 는 SEI 메시지 구조의 페이로드 (예컨대, 도 4 에서 sei_payload() (440A 또는 440B)) 에서 RBSP 바이트들의 수를 표시하는 변수 "payloadSize" 를 포함한다. "payloadSize" 로 나타나는 이 수는, 존재하는 경우 페이로드 확장 (예컨대, 도 4 에서 (444A 또는 444B)) 에서의 바이트들을 포함하는, 페이로드의 모든 바이트들을 포함한다.

그러나, 여러 SEI 메시지 신택스 구조들은 특정 SEI 메시지 신택스 구조, 이를테면 recovery_point() 내의 모든 payloadSize 바이트들을 포함한다. 이는 존재하는 임의의 페이로드 확장에 대한 여지를 두지 않는다. 현재 HEVC 에 대해 정의되고 이 카테고리에 속하는 SEI 메시지 신택스 구조들은 다음과 같다: 필러 페이로드 SEI 메시지; 등록된 사용자 데이터; 등록되지 않은 사용자 데이터; 예약된 SEI 메시지, 및 비디오 파라미터 세트 (Video Parameter Set; VPS) 재기록 SEI 메시지.

이 예시에 따라, 본원에 설명된 임의의 기법들 중 특정 동작들 또는 이벤트들은 상이한 시퀀스로 수행될 수 있으며, 추가, 병합, 또는 함께 생략될 수도 있음 (예컨대, 설명된 모든 동작들 또는 이벤트들이 기법들의 실시에 필수적인 것은 아님) 이 인식되어야 한다. 더욱이, 특정 예시들에서, 동작들 또는 이벤트들은, 순차적이라기보다는, 예컨대 멀티-스레드 (multi-threaded) 프로세싱, 인터럽트 프로세싱, 또는 복수의 프로세서들을 통해 동시에 수행될 수도 있다.

본원에 개시된 정보와 신호들이 다양한 상이한 기술들 및 기법들 중 임의의 것을 사용하여 나타날 수도 있다. 예를 들어, 위의 설명 전체에 걸쳐 언급될 수도 있는 데이터, 명령들, 커맨드들, 정보, 신호들, 비트들, 심볼들, 및 칩 (chip) 들은 전압들, 전류들, 전자기파들, 자기적 장들 또는 입자들, 광학적 장들 또는 입자들, 또는 그것들의 임의의 조합에 의해 나타날 수도 있다.

본원에 개시된 실시형태들과 관련하여 설명되는 다양한 예시적인 논리 블록들, 모듈들, 회로들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합들로 구현될 수도 있다. 하드웨어 및 소프트웨어의 이러한 교환가능성을 명백하게 예증하기 위하여, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들이 일반적으로 그것들의 기능성의 관점에서 설명되어 있다. 이러한 기능성이 하드웨어 또는 소프트웨어 중 어느 것으로 구현되는지는 전체 시스템에 부과되는 특정 애플리케이션 및 설계 제약들에 달려있다. 당업자들은 설명된 기능을 각각의 특정한 애플리케이션에 대하여 다양한 방식들로 구현할 수도 있지만, 이러한 구현 결정들은 본 개시물의 범위를 벗어나게 하는 것으로 해석되지 않아야 한다.

본원에 설명된 기법들은 하드웨어, 소프트웨어, 펌웨어, 또는 그것들의 임의의 조합으로 구현될 수도 있다. 이러한 기법들은 범용 컴퓨터들, 무선 통신 디바이스 핸드셋들, 또는 무선 통신 디바이스 핸드셋들 및 다른 디바이스들에서의 애플리케이션을 포함한 다수의 용도들을 갖는 집적회로 디바이스들과 같은 다양한 디바이스들 중 임의의 것에 구현될 수도 있다. 모듈들 또는 컴포넌트들로서 설명되는 임의의 특징부들은 통합형 로직 디바이스에 함께 또는 개별적이지만 상호작용하는 로직 디바이스들로서 별개로 구현될 수도 있다. 소프트웨어로 구현된다면, 이 기법들은, 실행될 때 위에서 설명된 방법들 중의 하나 이상을 수행하는 명령들을 포함한 프로그램 코드를 포함하는 컴퓨터 판독가능 데이터 저장 매체에 의해 적어도 부분적으로 실현될 수도 있다. 컴퓨터 판독가능 데이터 저장 매체는 패키징 자료들을 포함할 수도 있는 컴퓨터 프로그램 제품의 부분을 형성할 수도 있다. 컴퓨터 판독가능 매체는 메모리 또는 데이터 저장 매체, 이를테면 동기식 다이나믹 랜덤 액세스 메모리 (SDRAM) 와 같은 랜덤 액세스 메모리 (RAM), 판독전용 메모리 (ROM), 비휘발성 랜덤 액세스 메모리 (NVRAM), 전기 소거가능 프로그램가능 판독전용 메모리 (EEPROM), 플래시 메모리, 자기 또는 광 데이터 저장 매체 등을 포함할 수도 있다. 본 기법들은 추가적으로, 또는 대안적으로, 컴퓨터에 의해 액세스, 판독, 및/또는 실행될 수 있는 명령들 또는 데이터 구조들의 형태로 프로그램 코드를 담거나 또는 통신하는 컴퓨터 판독가능 통신 매체, 이를테면 전파되는 신호들 또는 파들에 의해 적어도 부분적으로 실현될 수도 있다.

프로그램 코드는 하나 이상의 프로세서들, 이를테면 하나 이상의 디지털 신호 프로세서들 (DSP들), 범용 마이크로프로세서들, 주문형 집적회로들 (ASIC들), 필드 프로그램가능 로직 어레이들 (FPGA들), 또는 다른 동등한 집적 또는 개별 로직 회로를 포함할 수도 있는 프로세서에 의해 실행될 수도 있다. 이러한 프로세서는 본 개시물에서 설명되는 기법들 중 임의의 것을 수행하도록 구성될 수도 있다. 범용 프로세서가 마이크로프로세서일 수도 있지만, 대체예에서, 그 프로세서는 기존의 임의의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신 (state machine) 일 수도 있다. 프로세서가 또한, 컴퓨팅 디바이스들의 조합, 예컨대, DSP 및 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 협력하는 하나 이상의 마이크로프로세서들, 또는 임의의 다른 이러한 구성으로서 구현될 수도 있다. 따라서, 본원에서 사용되는 바와 같은 "프로세서"라는 용어는 앞서의 구조, 앞서의 구조의 임의의 조합, 또는 본원에 설명된 기법들의 구현에 적합한 임의의 다른 구조 또는 장치 중 임의의 것을 지칭할 수도 있다. 덧붙여서, 일부 양태들에서, 본원에 설명된 기능은 인코딩 및 디코딩을 위해 구성된 전용 소프트웨어 모듈들 또는 하드웨어 모듈들 내에 제공될 수도 있거나, 또는 결합형 비디오 인코더-디코더 (CODEC) 에 통합될 수도 있다.

본 개시물의 다양한 실시형태들이 설명되었다. 이들 및 다른 실시형태들은 다음의 청구항들의 범위 내에 있다.

Claims (30)

1. 비디오 코딩을 위한 방법으로서,
   하나 이상의 sei_message() 신택스 구조들을 포함하는 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조를 포함하는 원시 바이트 시퀀스 페이로드 (raw byte sequence payload; RBSP) 를 포함하는, 보충 강화 정보 (Supplemental Enhancement Information; SEI) 네트워크 추상 계층 (Network Abstraction Layer; NAL) 유닛을 프로세싱하는 단계; 및
   상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내에서 또는 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조로부터, num_seis_in_bsp_minus1 신택스 엘리먼트를 코딩하는 단계로서, 상기 num_seis_in_bsp_minus1 신택스 엘리먼트 플러스 1은 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내 포함된 상기 하나 이상의 sei_message() 신택스 구조들의 수를 특정하고, 상기 num_seis_in_bsp_minus1 신택스 엘리먼트는 상기 하나 이상의 sei_message() 신택스 구조들과는 별개인, 상기 코딩하는 단계를 포함하는, 비디오 코딩을 위한 방법.
2. 제 1 항에 있어서,
   상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내 포함된 상기 하나 이상의 sei_message() 신택스 구조들의 상기 수는, 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내 포함된 상기 하나 이상의 sei_message() 신택스 구조들의 카운트를 포함하는, 비디오 코딩을 위한 방법.
3. 제 1 항에 있어서,
   상기 신택스 엘리먼트를 코딩하는 단계는 상기 신택스 엘리먼트를 디코딩하는 단계를 포함하고, 그리고 상기 방법은 디코딩된 상기 신택스 엘리먼트에 기초하여 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내 포함된 상기 하나 이상의 sei_message() 신택스 구조들의 상기 수를 결정하는 단계를 더 포함하는, 비디오 코딩을 위한 방법.
4. 제 3 항에 있어서,
   상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내 포함된 상기 하나 이상의 sei_message() 신택스 구조들의 결정된 상기 수에 기초하여 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조를 분석 (parsing) 하는 단계를 더 포함하는, 비디오 코딩을 위한 방법.
5. 제 3 항에 있어서,
   상기 신택스 엘리먼트는 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조로부터 디코딩되는, 비디오 코딩을 위한 방법.
6. 제 1 항에 있어서,
   상기 신택스 엘리먼트를 코딩하는 단계는 상기 신택스 엘리먼트를 인코딩하는 단계를 포함하고, 그리고 상기 방법은 상기 신택스 엘리먼트를 인코딩하는 단계 이전에 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내 포함된 상기 하나 이상의 sei_message() 신택스 구조들의 상기 수를 결정하는 단계를 더 포함하는, 비디오 코딩을 위한 방법.
7. 제 6 항에 있어서,
   상기 신택스 엘리먼트는 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조로 인코딩되는, 비디오 코딩을 위한 방법.
8. 비디오 코딩을 위한 디바이스로서,
   비디오 데이터를 저장하도록 구성된 메모리, 및
   상기 메모리와 통신하는 프로세서를 포함하고,
   상기 프로세서는,
   상기 비디오 데이터와 연관된 보충 강화 정보 (SEI) 네트워크 추상 계층 (NAL) 유닛을 프로세싱하는 것으로서, 상기 SEI NAL 유닛은 하나 이상의 sei_message() 신택스 구조들을 포함하는 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조를 포함하는 원시 바이트 시퀀스 페이로드 (RBSP) 를 포함하는, 상기 SEI NAL 유닛을 프로세싱하고; 그리고
   상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내에서 또는 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조로부터, num_seis_in_bsp_minus1 신택스 엘리먼트를 코딩하는 것으로서, 상기 num_seis_in_bsp_minus1 신택스 엘리먼트 플러스 1은 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내 포함된 상기 하나 이상의 sei_message() 신택스 구조들의 수를 특정하고, 상기 num_seis_in_bsp_minus1 신택스 엘리먼트는 상기 하나 이상의 sei_message() 신택스 구조들과는 별개인, 상기 num_seis_in_bsp_minus1 신택스 엘리먼트를 코딩하도록 구성되는, 비디오 코딩을 위한 디바이스.
9. 제 8 항에 있어서,
   상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내 포함된 상기 하나 이상의 sei_message() 신택스 구조들의 상기 수는, 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내 포함된 상기 하나 이상의 sei_message() 신택스 구조들의 카운트를 포함하는, 비디오 코딩을 위한 디바이스.
10. 제 8 항에 있어서,
    상기 프로세서는 또한, 상기 신택스 엘리먼트를 디코딩하고 디코딩된 상기 신택스 엘리먼트에 기초하여 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내 포함된 상기 하나 이상의 sei_message() 신택스 구조들의 상기 수를 결정하도록 구성되는, 비디오 코딩을 위한 디바이스.
11. 제 10 항에 있어서,
    상기 프로세서는 또한, 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내 포함된 상기 하나 이상의 sei_message() 신택스 구조들의 결정된 상기 수에 기초하여 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조를 분석 (parsing) 하도록 구성되는, 비디오 코딩을 위한 디바이스.
12. 제 10 항에 있어서,
    상기 프로세서는 또한, 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조로부터 상기 신택스 엘리먼트를 디코딩하도록 구성되는, 비디오 코딩을 위한 디바이스.
13. 제 8 항에 있어서,
    상기 프로세서는 또한, 상기 신택스 엘리먼트를 인코딩하고, 상기 신택스 엘리먼트를 인코딩하기 이전에 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내 포함된 상기 하나 이상의 sei_message() 신택스 구조들의 상기 수를 결정하도록 구성되는, 비디오 코딩을 위한 디바이스.
14. 제 13 항에 있어서,
    상기 프로세서는 또한, 상기 신택스 엘리먼트를 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조로 인코딩하도록 구성되는, 비디오 코딩을 위한 디바이스.
15. 제 8 항에 있어서,
    상기 비디오 데이터를 디스플레이하도록 구성된 디스플레이를 더 포함하는, 비디오 코딩을 위한 디바이스.
16. 제 8 항에 있어서,
    상기 디바이스는,
    집적 회로;
    마이크로프로세서; 또는
    무선 통신 디바이스 중 적어도 하나를 포함하는, 비디오 코딩을 위한 디바이스.
17. 비디오 코딩을 위한 디바이스로서, 비디오 데이터와 연관된 보충 강화 정보 (SEI) 네트워크 추상 계층 (NAL) 유닛을 프로세싱하는 수단으로서, 상기 SEI NAL 유닛은 하나 이상의 sei_message() 신택스 구조들을 포함하는 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조를 포함하는 원시 바이트 시퀀스 페이로드 (RBSP) 를 포함하는, 상기 SEI NAL 유닛을 프로세싱하는 수단; 및
    상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내에서 또는 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조로부터, num_seis_in_bsp_minus1 신택스 엘리먼트를 코딩하는 수단으로서, 상기 num_seis_in_bsp_minus1 신택스 엘리먼트 플러스 1은 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내 포함된 상기 하나 이상의 sei_message() 신택스 구조들의 수를 특정하고, 상기 num_seis_in_bsp_minus1 신택스 엘리먼트는 상기 하나 이상의 sei_message() 신택스 구조들과는 별개인, 상기 코딩하는 수단을 포함하는, 비디오 코딩을 위한 디바이스.
18. 제 17 항에 있어서,
    상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내 포함된 상기 하나 이상의 sei_message() 신택스 구조들의 상기 수는, 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내 포함된 상기 하나 이상의 sei_message() 신택스 구조들의 카운트를 포함하는, 비디오 코딩을 위한 디바이스.
19. 제 17 항에 있어서,
    상기 신택스 엘리먼트를 코딩하는 수단은 상기 신택스 엘리먼트를 디코딩하는 수단을 포함하고, 그리고 상기 디바이스는 디코딩된 상기 신택스 엘리먼트에 기초하여 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내 포함된 상기 하나 이상의 sei_message() 신택스 구조들의 상기 수를 결정하는 수단을 더 포함하는, 비디오 코딩을 위한 디바이스.
20. 제 19 항에 있어서,
    상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내 포함된 상기 하나 이상의 sei_message() 신택스 구조들의 결정된 상기 수에 기초하여 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조를 분석 (parsing) 하는 수단을 더 포함하는, 비디오 코딩을 위한 디바이스.
21. 제 19 항에 있어서,
    상기 신택스 엘리먼트를 디코딩하는 수단은 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조로부터 상기 신택스 엘리먼트를 디코딩하는, 비디오 코딩을 위한 디바이스.
22. 제 17 항에 있어서,
    상기 신택스 엘리먼트를 코딩하는 수단은 상기 신택스 엘리먼트를 인코딩하는 수단을 포함하고, 그리고 상기 디바이스는 상기 신택스 엘리먼트를 인코딩하기 이전에 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내 포함된 상기 하나 이상의 sei_message() 신택스 구조들의 상기 수를 결정하는 수단을 더 포함하는, 비디오 코딩을 위한 디바이스.
23. 제 22 항에 있어서,
    상기 신택스 엘리먼트를 인코딩하는 수단은 상기 신택스 엘리먼트를 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조로 인코딩하는, 비디오 코딩을 위한 디바이스.
24. 명령들이 저장된 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 명령들이 실행될 때, 하나 이상의 프로세서들로 하여금,
    하나 이상의 sei_message() 신택스 구조들을 포함하는 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조를 포함하는 원시 바이트 시퀀스 페이로드 (RBSP) 를 포함하는, 보충 강화 정보 (SEI) 네트워크 추상 계층 (NAL) 유닛을 프로세싱하게 하고; 그리고
    상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내에서 또는 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조로부터, num_seis_in_bsp_minus1 신택스 엘리먼트를 코딩하게 하는 것으로서, 상기 num_seis_in_bsp_minus1 신택스 엘리먼트 플러스 1은 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내 포함된 상기 하나 이상의 sei_message() 신택스 구조들의 수를 특정하고, 상기 num_seis_in_bsp_minus1 신택스 엘리먼트는 상기 하나 이상의 sei_message() 신택스 구조들과는 별개인, 상기 num_seis_in_bsp_minus1 신택스 엘리먼트를 코딩하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
25. 제 24 항에 있어서,
    상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내 포함된 상기 하나 이상의 sei_message() 신택스 구조들의 상기 수는, 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내 포함된 상기 하나 이상의 sei_message() 신택스 구조들의 카운트를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
26. 제 24 항에 있어서,
    상기 하나 이상의 프로세서들로 하여금 상기 신택스 엘리먼트를 코딩하게 하는 명령들은, 상기 하나 이상의 프로세서들로 하여금 상기 신택스 엘리먼트를 디코딩하게 하는 명령들을 포함하고, 그리고 상기 비일시적 컴퓨터 판독가능 저장 매체는 상기 하나 이상의 프로세서들로 하여금 디코딩된 상기 신택스 엘리먼트에 기초하여 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내 포함된 상기 하나 이상의 sei_message() 신택스 구조들의 상기 수를 결정하게 하는 명령들을 더 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
27. 제 26 항에 있어서,
    상기 하나 이상의 프로세서들로 하여금 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내 포함된 상기 하나 이상의 sei_message() 신택스 구조들의 결정된 상기 수에 기초하여 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조를 분석 (parsing) 하게 하는 명령들을 더 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
28. 제 26 항에 있어서,
    상기 하나 이상의 프로세서들로 하여금 상기 신택스 엘리먼트를 디코딩하게 하는 명령들은 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조로부터 상기 신택스 엘리먼트를 디코딩하게 하는 명령들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
29. 제 24 항에 있어서,
    상기 하나 이상의 프로세서들로 하여금 상기 신택스 엘리먼트를 코딩하게 하는 명령들은 상기 하나 이상의 프로세서들로 하여금 상기 신택스 엘리먼트를 인코딩하게 하는 명령들을 포함하고, 그리고 상기 비일시적 컴퓨터 판독가능 저장 매체는 상기 하나 이상의 프로세서들로 하여금 상기 신택스 엘리먼트를 인코딩하기 이전에 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조 내 포함된 상기 하나 이상의 sei_message() 신택스 구조들의 상기 수를 결정하게 하는 명령들을 더 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
30. 제 29 항에 있어서,
    상기 하나 이상의 프로세서들로 하여금 상기 신택스 엘리먼트를 인코딩하게 하는 명령들은 상기 신택스 엘리먼트를 상기 적어도 하나의 비트스트림 파티션 네스팅 SEI 메시지 구조로 인코딩하게 하는 명령들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.

Images