KR20150024909A

KR20150024909A - 비디오 코딩에서 장기 참조 화상들의 랜덤 액세스 및 시그널링

Info

Publication number: KR20150024909A
Application number: KR1020157001833A
Authority: KR
Inventors: 아다르쉬 크리쉬난 라마수브라모니안; 예-쿠이 왕; 라잔 랙스맨 조쉬; 잉 천
Original assignee: 퀄컴 인코포레이티드
Priority date: 2012-06-28
Filing date: 2013-06-19
Publication date: 2015-03-09
Also published as: HK1204183A1; IL235970B; HUE037703T2; MX2014015161A; AU2013280848A1; CA2875697C; US20140003537A1; SG10201610756PA; DK2868083T3; TWI532383B; JP2015526024A; US9591303B2; MY167919A; CN104396257B; WO2014004201A1; TW201406160A; PH12014502859A1; MX346210B; PH12014502859B1; SG11201408112XA

Abstract

비디오 코더는, 랜덤 액세스 포인트 (random access point; RAP) 화상을 코딩하고, 및 폐기 대상이 되는 모든 화상들이 디스플레이 순서에서 RAP 화상과 연관된 디코딩가능한 리딩 화상들 (decodable leading pictures; DLP들) 에 선행하게 RAP 화상에 대한 하나 이상의 DLP들을 코딩하도록 구성될 수 있다.

Description

비디오 코딩에서 장기 참조 화상들의 랜덤 액세스 및 시그널링{RANDOM ACCESS AND SIGNALING OF LONG-TERM REFERENCE PICTURES IN VIDEO CODING}

본 출원은 2012년 6월 28일자에 출원된 미국 가출원 번호 제 61/665,862호, 및 2012년 6월 29일자에 출원된 미국 가출원 번호 제 61/666,688호의 이익을 주장하며, 이의 각각은 그들 전체로 참조로 본원에 포함된다.

기술 분야

본 개시물은 일반적으로 비디오 코딩에 관한 것이다.

디지털 비디오 능력들은, 디지털 텔레비전들, 디지털 직접 브로드캐스트 시스템들, 무선 브로드캐스트 시스템들, 개인 휴대정보 단말기들 (PDA들), 랩탑 또는 데스크탑 컴퓨터들, 태블릿 컴퓨터들, e-북 리더들, 디지털 카메라들, 디지털 리코딩 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 디바이스들, 비디오 게임 콘솔들, 셀룰러 또는 위성 무선 전화기들, 소위 "스마트폰들", 원격 화상회의 디바이스들, 비디오 스트리밍 디바이스들 등을 포함한, 광범위한 디바이스들에 포함될 수 있다. 디지털 비디오 디바이스들은 MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, 파트 10, AVC (Advanced Video Coding), 현재 개발중인 HEVC (High Efficiency Video Coding) 표준, 및 이러한 표준들의 확장판들에 의해 정의된 표준들에서 설명되는 비디오 코딩 기법들과 같은, 비디오 코딩 기법들을 구현한다. "HEVC Working Draft 7", 또는 "WD7"로서 지칭되는, 차기 HEVC 표준의 최신 안은, ITU-T SG16 WP3와 ISO/IEC JTC1/SC29/WG11 의 JCT-VC (Joint Collaborative Team on Video Coding), 9차 회의: 2012년 4월 27일 내지 2012년 5월 7일, 스위스, 제네바, 문서 HCTVC-I1003, Bross 등, "High Efficiency Video Coding (HEVC) Text Specification Draft 7"에 설명되어 있으며, 이 문서는 2013년 2월 5일 현재, http://phenix.it-sudparis.eu/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I1003-v5.zip 로부터 다운로드가능하다. 비디오 디바이스들은 이러한 비디오 코딩 기법들을 구현함으로써, 디지털 비디오 정보를 좀더 효율적으로 송신하거나, 수신하거나, 인코딩하거나, 디코딩하거나, 및/또는 저장할 수도 있다.

비디오 코딩 기법들은 비디오 시퀀스들에 고유한 리던던시를 감소시키거나 또는 제거하기 위해, 공간 (인트라-화상) 예측 및/또는 시간 (인터-화상) 예측을 포함한다. 블록-기반 비디오 코딩에 있어, 비디오 슬라이스 (예컨대, 비디오 프레임 또는 비디오 프레임의 부분) 은 비디오 블록들로 파티셔닝될 수도 있으며, 이 비디오 블록들은 또한 트리블록들, 코딩 트리 유닛들, 코딩 유닛들 (coding units; CU들) 및/또는 코딩 노드들로서 지칭될 수도 있다. 화상의 인트라-코딩된 (I) 슬라이스에서 비디오 블록들은 동일한 화상에서 이웃하는 블록들에서의 참조 샘플들에 대한 공간 예측을 이용하여 인코딩된다. 화상의 인터-코딩된 (P 또는 B) 슬라이스에서 비디오 블록들은 동일한 화상에서 이웃하는 블록들에서의 참조 샘플들에 대한 공간 예측, 또는 다른 참조 화상들에서의 참조 샘플들에 대한 시간 예측을 이용할 수도 있다. 화상들은 프레임들로 지칭될 수 있으며, 참조 화상들은 참조 프레임들로서 지칭될 수도 있다.

공간 또는 시간 예측은 코딩되는 블록에 대한 예측 블록을 초래한다. 잔여 데이터는 코딩되는 원래 블록과 예측 블록 사이의 픽셀 차이들을 나타낸다. 인터-코딩된 블록은 예측 블록을 형성하는 참조 샘플들의 블록을 가리키는 모션 벡터, 및 코딩된 블록과 예측 블록 사이의 차이를 나타내는 잔여 데이터에 따라서 인코딩된다. 인트라-코딩된 블록은 인트라-코딩 모드 및 잔여 데이터에 따라서 인코딩된다. 추가적인 압축을 위해, 잔여 데이터는 픽셀 도메인으로부터 변환 도메인으로 변환되어, 잔여 변환 계수들을 초래할 수도 있으며, 이 잔여 변환 계수는 그후 양자화될 수도 있다. 처음에 2차원 어레이로 배열된, 양자화된 변환 계수들은 변환 계수들의 1차원 벡터를 발생하기 위해 스캐닝될 수도 있으며, 엔트로피 코딩이 더욱 더 많은 압축을 달성하기 위해 적용될 수도 있다.

일반적으로, 본 개시물은 비디오 코딩에서 장기 참조 화상들의 랜덤 액세스 및 시그널링을 지원하는 기법들을 기술한다. 본 개시물은 여러 유형들의 화상들에 기초하여 랜덤 액세스를 지원하기 위한 여러 제한 사항들을 제안한다. 일 예에서, 랜덤 액세스 포인트 (random access point; RAP) 화상에 대한 모든 폐기 태그된 (tagged for discard; TFD) 화상들은 RAP에 대한 모든 디코딩가능한 리딩 화상들 (decodable leading pictures; DLP들) 에 대한 디스플레이 순서 값보다 이른 디스플레이 순서 값을 가질 수도 있다. 본 개시물은 또한 디코딩 순서에서 "트레일링 화상들" 과의 리딩 화상들의 인터리빙이 방지되는 제한 사항을 제안한다. 즉, 본 개시물의 기법들에 따르면, 비디오 코더들은 (TFD 화상들 및 DLP들 양쪽을 포함하는) 모든 리딩 화상들이 대응하는 RAP 화상의 디스플레이 순서 값보다 큰 디스플레이 순서 값들 및 대응하는 RAP 화상의 디코딩 순서 값들보다 큰 디코딩 순서 값들 양쪽을 가지는 화상들의 디코딩 순서 값들보다 이른 디코딩 순서 값들을 갖도록 보장할 수도 있다. 디스플레이 순서는 또한 출력 순서로서 지칭될 수도 있다. TFD 화상들은 또한 랜덤 액세스 스킵된 리딩 (random access skipped leading; RASL) 화상들로서 지칭될 수도 있으며, DLP 화상들은 또한 랜덤 액세스 디코딩가능한 리딩 (random access decodable leading; RADL) 화상들로서 지칭될 수도 있다.

일 예에서, 비디오 데이터를 코딩하는 방법은 랜덤 액세스 포인트 (RAP) 화상을 코딩하는 단계; 및 폐기 대상이 되는 모든 화상들이 디스플레이 순서에서 RAP 화상과 연관된 디코딩가능한 리딩 화상들 (DLP들) 에 선행하게 RAP 화상에 대한 하나 이상의 DLP들을 코딩하는 단계를 포함한다.

또 다른 예에서, 비디오 데이터를 코딩하는 디바이스는 랜덤 액세스 포인트 (RAP) 화상을 코딩하고; 그리고 폐기 대상이 되는 모든 화상들이 디스플레이 순서에서 RAP 화상과 연관된 디코딩가능한 리딩 화상들 (DLP들) 에 선행하게 RAP 화상에 대한 하나 이상의 DLP들을 코딩하도록 구성된 비디오 코더를 포함한다.

또 다른 예에서, 비디오 데이터를 코딩하는 장치는, 랜덤 액세스 포인트 (RAP) 화상을 코딩하는 수단; 및 폐기 대상이 되는 모든 화상들이 디스플레이 순서에서 RAP 화상과 연관된 디코딩가능한 리딩 화상들 (DLP들) 에 선행하게 RAP 화상에 대한 하나 이상의 DLP들을 코딩하는 수단을 포함한다.

또 다른 예에서, 컴퓨터 판독가능 저장 매체는, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 랜덤 액세스 포인트 (RAP) 화상을 코딩하고; 그리고, 폐기 대상이 되는 모든 화상들이 디스플레이 순서에서 RAP 화상과 연관된 디코딩가능한 리딩 화상들 (DLP들) 에 선행하게 RAP 화상에 대한 하나 이상의 DLP들을 코딩하도록 하는 명령들을 저장한다.

또 다른 예에서, 비디오 데이터를 인코딩하는 방법은 랜덤 액세스 포인트 (RAP) 화상을 인코딩하는 단계, 및 폐기 대상이 되는 모든 화상들이 디스플레이 순서에서 RAP 화상과 연관된 디코딩가능한 리딩 화상들 (DLP들) 에 선행하게 RAP 화상에 대한 하나 이상의 DLP들을 인코딩하는 단계를 포함한다.

또 다른 예에서, 비디오 데이터를 인코딩하는 디바이스는 랜덤 액세스 포인트 (RAP) 화상을 인코딩하고; 그리고 폐기 대상이 되는 모든 화상들이 디스플레이 순서에서 RAP 화상과 연관된 디코딩가능한 리딩 화상들 (DLP들) 에 선행하게 RAP 화상에 대한 하나 이상의 DLP들을 인코딩하도록 구성된 비디오 인코더를 포함한다.

또 다른 예에서, 비디오 데이터를 인코딩하는 장치는 랜덤 액세스 포인트 (RAP) 화상을 인코딩하는 수단, 및 폐기 대상이 되는 모든 화상들이 디스플레이 순서에서 RAP 화상과 연관된 디코딩가능한 리딩 화상들 (DLP들) 에 선행하게 RAP 화상에 대한 하나 이상의 DLP들을 인코딩하는 수단을 포함한다.

또 다른 예에서, 컴퓨터 판독가능 저장 매체는 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 랜덤 액세스 포인트 (RAP) 화상을 인코딩하고; 그리고 폐기 대상이 되는 모든 화상들이 디스플레이 순서에서 RAP 화상과 연관된 디코딩가능한 리딩 화상들 (DLP들) 에 선행하게 RAP 화상에 대한 하나 이상의 DLP들을 인코딩하도록 하는 명령들을 저장한다.

하나 이상의 예들의 세부 사항들이 첨부도면 및 아래의 상세한 설명에서 개시된다. 다른 특성들, 목적들, 및 이점들은 설명 및 도면들로부터, 그리고 청구항들로부터 명백히 알 수 있을 것이다.

도 1은 슬라이스 헤더들에서 장기 참조 화상들을 시그널링하는 기법들을 이용할 수도 있는 예시적인 비디오 인코딩 및 디코딩 시스템을 예시하는 블록도이다.
도 2는 슬라이스 헤더들에서 장기 참조 화상들을 시그널링하는 기법들을 구현할 수도 있는 비디오 인코더의 일 예를 예시하는 블록도이다.
도 3은 슬라이스 헤더들에서 장기 참조 화상들을 시그널링하는 기법들을 구현할 수도 있는 비디오 디코더의 일 예를 예시하는 블록도이다.
도 4는 코딩된 비디오 화상들의 시퀀스를 예시하는 개념도이다.
도 5는 네트워크의 부분을 형성하는 디바이스들의 예시적인 세트를 예시하는 블록도이다.
도 6은 본 개시물의 기법들에 따른, 랜덤 액세스 포인트 (RAP) 화상들을 코딩하는 예시적인 동작을 예시하는 플로우차트이다.
도 7은 본 개시물의 기법들에 따른, RAP 화상들을 코딩하는 예시적인 동작을 예시하는 플로우차트이다.
도 8은 본 개시물의 기법들에 따른, RAP 화상들을 코딩하는 예시적인 동작을 예시하는 플로우차트이다.
도 9은 본 개시물의 기법들에 따른, RAP 화상들을 코딩하는 예시적인 동작을 예시하는 플로우차트이다.
도 10은 본 개시물의 기법들에 따른, RAP 화상들을 코딩하는 예시적인 동작을 예시하는 플로우차트이다.
도 11은 본 개시물의 기법들에 따른, RAP 화상들을 코딩하는 예시적인 동작을 예시하는 플로우차트이다.

일반적으로, 비디오 데이터는 빨리 계속해서 캡쳐되거나 또는 디스플레이되는 화상들의 시퀀스로 표현된다. 일부 예들에서, 화상들 또는 화상들의 부분들은 캡쳐되는 대신 (또는, 더해서), 예컨대, 컴퓨터 그래픽스를 이용하여, 발생될 수도 있는 것으로 이해되어야 한다. 화상들이 디스플레이되는 (화상들이 캡쳐되거나 또는 발생된 순서와 동일하거나 또는 동일하지 않은) 순서는 코딩된 화상들이 비트스트림에 포함되는 순서와 상이할 수도 있다. 코딩된 비디오 시퀀스 내 화상들의 디스플레이 순서는 POC (picture order count; 화상 순서 카운트) 값들에 의해 표현될 수도 있으며, 반면 화상들의 코딩 순서는 프레임 번호 (frame_num) 값들에 의해 표현될 수도 있다

화상들의 코딩은 일반적으로 화상들에서 발생하는 여분의 데이터를 이용하는 것을 수반한다. 예를 들어, 인트라-예측 코딩으로서 또한 지칭되는, 공간 코딩은 공통 화상의 픽셀 값들의 공간적으로 이웃하는 블록들 사이에 발생하는 리던던시들을 이용한다. 또 다른 예로서, 인터-예측 코딩으로서 또한 지칭되는 시간 코딩은, 상이한 시간 인스턴스들에서 캡쳐되거나, 발생되거나, 또는 디스플레이되는 상이한 화상들 사이에 발생하는 리던던시들을 이용한다. 좀더 자세하게 설명하면, 화상은 인트라- 또는 인터-예측용으로 지정될 수도 있는 슬라이스들로 분할될 수도 있다. 더욱이, 각각의 슬라이스는 블록들 (예컨대, 코딩 트리 유닛들로서 또한 지칭되는 최대 코딩 유닛들 (largest coding units; LCU들)) 로 분할될 수도 있으며, 블록들의 각각은 대응하는 슬라이스가 인트라-예측용으로 지정되었는지 또는 인터-예측용으로 지정되었는지의 여부에 기초하여 추가로 파티셔닝되거나 또는 코딩될 수도 있다.

인터-예측 코딩의 예에 대해, 현재 코딩되고 있는 화상의 블록들 (또한, "현재의 화상"으로 지칭됨) 은 참조 화상으로부터 예측될 수도 있다. WD7은 "참조 화상"을 1과 동일한 nal_ref_flag를 가진 화상으로서 정의한다. nal_ref_flag는 NAL 유닛에 포함된 데이터가 참조 화상으로서 취급될 것인지의 여부를 표시하는 네트워크 추상화 계층 (network abstraction layer; NAL) 유닛의 구문 엘리먼트이다. WD7은 또한 참조 화상이 디코딩 순서에서 후속 화상들의 디코딩 프로세스에서 인터-예측용으로 사용될 수도 있는 샘플들 (즉, 픽셀 값들) 을 포함한다고 규정한다.

위에서 소개한 바와 같이, 일반적으로, 비디오 데이터는 여러 유형들의 화상들을 포함한다. 예를 들어, 비디오 데이터는 비디오 데이터의 스트림을 시작하는데 사용될 수 있는 랜덤 액세스 포인트들 (RAP들) 을 포함한다. RAP들은 예컨대, 인트라-예측 코딩된 화상들 (I-화상들) 로서 독립적으로 코딩되는 화상들이다. RAP들은 IDR (instantaneous decoder refresh; 순시 디코더 리프레시) 화상들, 파괴된 링크 액세스 (broken link access; BLA) 화상들, 클린 랜덤 액세스 (clean random access; CRA) 화상들, 및 점진적 디코딩 리프레시 (gradual decoding refresh; GDR) 화상들을 포함한다. 다른 유형들의 화상들은 폐기 대상이 되는 화상들 (TFD), 디코딩가능한 리딩 화상들 (DLP들), 및 트레일링 화상들을 포함한다. 일반적으로, (모든 리딩 화상들과 같이) DLP들은 대응하는 RAP의 출력 순서보다 이른 출력 순서를 갖지만, 대응하는 RAP의 디코딩 순서보다 늦은 디코딩 순서를 갖는 화상들이다. 그러나, DLP들은 디코딩 순서에서 대응하는 RAP에 선행하는 데이터를 취출함이 없이 디코딩가능한 리딩 화상들이다. 트레일링 화상들은, 한편, 대응하는 RAP의 디코딩 순서보다 늦은 디코딩 순서 뿐만 아니라, 대응하는 RAP의 출력 순서보다 늦은 출력 순서를 갖는다. TFD인 화상들은 대응하는 RAP로부터의 랜덤 액세스를 수행할 때 적절히 디코딩될 수 없다. 이것은 일반적으로 TFD 화상이 디코딩 순서에서 대응하는 RAP에 선행하는 데이터로부터 예측되기 때문이다. RAP로부터의 랜덤 액세스가 디코딩 순서에서 RAP보다 이른 데이터를 취출하는 것을 생략하기 때문에, 디코딩 순서에서 RAP보다 이른 데이터에 의존하는 TFD 화상들은 RAP가 랜덤 액세스 포인트로서 이용될 때 정확히 디코딩할 수 없으며, 따라서 디코딩되지 않고 폐기될 수도 있다. TFD 화상들은, 그들이 디코딩 순서에서 RAP보다 일찍 발생하는 하나 이상의 화상들에 대해 예측된다는 점에서 볼 때, 더 이른 데이터에 "의존한다".

NAL 유닛들은 대응하는 NAL 유닛에 포함되는 데이터의 유형을 표시하기 위해, 특정의 NAL 유닛 유형 값들을, 예컨대, NAL 유닛 헤더에, 할당받을 수도 있다. NAL 유닛들은 일반적으로 VCL NAL 유닛들로서 또한 지칭되는 비디오 코딩 계층 (video coding layer; VCL) 데이터, 또는 비-VCL NAL 유닛들로서 또한 지칭되는 비-VCL 데이터를 포함할 수도 있다. 비-VCL 데이터는 예를 들어, 화상 파라미터 세트들 (picture parameter sets; PPS들), 시퀀스 파라미터 세트들 (sequence parameter sets; SPS들), 및 적응 파라미터들 세트들 (adaptation parameters sets; APS들) 과 같은 파라미터 세트들 뿐만 아니라, 보충 강화 정보 (supplemental enhancement information; SEI) 메시지들을 포함한다. VCL 데이터는 일반적으로 코딩된 비디오 데이터를 포함한다. NAL 유닛 유형은 NAL 유닛에서의 코딩된 비디오 데이터가 RAP에 대응하는지의 여부, 그리고, 만약 그렇다면, 코딩된 비디오 데이터가 CRA, BLA, 또는 IDR 화상에 대응하는지의 여부를 포함하여, NAL 유닛에 포함되는 데이터의 유형의 표시를 제공할 수도 있다. NAL 유닛 유형은 NAL 유닛이 다른 유형들의 데이터도 또한 포함하는지의 여부를 표시할 수도 있다. 아래의 테이블 1은 WD7에 제공된 바와 같은, 일부 NAL 유닛 유형 값들 및 대응하는 NAL 유닛에 포함되는 데이터의 일 예를 제공한다:

테이블 1

더욱이, WD7은 장기 참조 화상들을 단기 참조 화상들과 구별한다. 예를 들어, WD7은 장기 참조 화상을 "장기 참조용으로 사용됨"으로 마킹되는 참조 화상으로서 정의한다. WD7은 시퀀스 파라미터 세트 (SPS) 에서의 플래그가 장기 참조 화상들이 코딩된 비디오 시퀀스에 대해 조금이라도 시그널링되는지의 여부를 표시하는 것을 제공한다. WD7에 따르면, 비디오 코더들은 장기 참조 화상들의 POC 값들의 최하위 비트들 (least significant bits; LSB들) 을 슬라이스들의 슬라이스 헤더들에서 시그널링한다. LSB들을 시그널링하는 것은, 풀 POC 값을 시그널링하는 것에 비해서, 비트 절감을 초래할 수도 있다. 비디오 코더들은, WD7에 따르면, 장기 참조 화상과 동일한 LSB 비트들을 갖는 디코딩 화상 버퍼 (decoded picture buffer; DPB) 에 하나 보다 많은 참조 화상이 존재하면, 장기 참조 화상의 POC 값들의 최상위 비트들 (MSB들) 을 시그널링할 수도 있다. 더욱이, WD7에 따르면, 비디오 코더들은 시그널링된 장기 참조 화상들이 참조를 위해 현재의 화상에 의해 이용될 수 있는지 여부를 표시하기 위해 플래그를 이용할 수도 있다.

HEVC 의 참조 화상 세트 (reference picture set; RPS) 설계를 위한 하나의 가정은, 상대적인 POC 값들이 단기 참조 화상들 (short-term reference pictures; STRP들) 및 장기 참조 화상들 (long-term reference pictures; LTRP들) 양쪽에 대해 정확하게 설정될 수 있는 한, RPS 유도가 화상 손실들에 대해 강건해야 한다는 것이다. 이를 달성하기 위해, 임의의 화상에 대한 RPS 유도가 독립되어 있을 수도 있다, 즉, 디코딩 화상 버퍼 (DPB) 상태에 의존하지 않을 수도 있다. 이 설계 원리에 따라, STRP들은, WD7에 따르면, 현재의 화상에 대해, 그들의 delta POC 값들을 이용하여 시그널링된다. 그러므로, 디코더는 일부 화상들이 손실되었더라도 이들 참조 화상들의 POC 값들을 유도하고, 따라서 STRP들의 각각이 존재하고 있는지의 여부를 체크할 수도 있다.

본 개시물은 WD7의 화상 손실들의 존재 하에서 LTRP들의 현재의 슬라이스 헤더 시그널링에서의 어떤 문제들을 인식한다. RPS의 잘못된 유도는 손실들의 존재 하에서 가능하다. 이것은, 일부 경우들에서, delta_poc_msb_cycle_lt 구문 엘리먼트를 이용하는 풀 POC 값들이 LTRP들에 대해 시그널링되더라도, 각각의 현재의 화상에 대한 POC 값 (즉, pic_order_cnt_lsb) 의 시그널링을 위한 POC LSB들의 양과 동일한 LTRP들에 대한 POC LSB들의 양을 단지 시그널링하기 때문이다. LTRP에 대해 시그널링되는 것과 동일한 LSB를 갖는 DPB에서 화상이 있다면, 아래에서 제시된 예들에서 나타낸 바와 같이, RPS의 유도에서 모호성이 존재할 것이며, RPS의 부정확한 결과가 발생할 수 있다. 아래에서 설명되는 예들에서, "MaxPicOrderCntLsb"는 256과 동일한 것, 또는, 즉, 4와 동일한 log2_max_pic_order_cnt_lsb_minus4 인 것으로 가정된다.

위에서 설명된 문제들을 예시하는 제 1 예로서, 디코딩 순서에서 연속하는 3개의 화상들 n-1, n, 및 n+1을 고려한다. 화상 n-1이 0 및 256의 POC 값들을 가진 참조 화상들을 LTRP들로서 갖고, 화상들 n 및 n+1이 POC 256을 가진 참조 화상을 LTRP로서 오직 갖는다고 가정한다. 화상들 n-1, n, 및 n+1의 POC 값들은 모두 257부터 511까지의 범위 내이다. 또한, 화상들 n-1, n, 및 n+1 또는 DPB에서의 임의의 다른 화상이 0과 동일한 LSB 값을 갖지 않는다고 가정한다. HEVC WD7의 시그널링 하에서, 적합 (conforming) 비트스트림의 관련된 구문 엘리먼트들은 테이블 2에 나타낸 것과 같다.

테이블 2

화상 n에 대해, 단지 화상 256이 LTRP로서 시그널링되더라도, 화상 n의 RPS가 유도될 때, 화상 0이 DPB에 여전히 존재할 것이다. 그러므로, 심지어 화상 n에 대해서도, delta_poc_msb_present_flag는 1로 설정되며, delta_poc_msb_msb_cycle_lt 값이 전송된다. 화상 n에 대한 RPS 유도 이후, 화상 0은 "참조용으로 미사용됨"으로 마킹되며, DPB로부터 제거될 수도 있다. 그러나, 화상 n+1에 대해, 오직 하나의 LTRP가 DPB에 존재하므로, delta_poc_msb_present_flag는 0으로 설정되며 delta_poc_msb_cycle_lt는 존재하지 않는다.

WD7의 구문 구조 하에서, 상기 테이블은 적합 비트스트림에 대응할 것이다. 그러나, 화상 n이 손실되면, 화상 n+1에 대한 LTRP 시그널링은 DPB로부터의 어느 화상이 LTRP로서 선택될 것인지를 결정하기에는 불충분할 것이다. 0 및 256 양쪽은 0 의 LSB를 가지며, 디코더는 문제를 해결할 수 없을 것이다. 디코더는, 단지 LTRP로서 사용되는 화상을 고유하게 식별하기 위해, delta_poc_msb_present_flag가 화상 n+1에 대해 1과 동일할 것을 필요로 할 것이다.

상기 제 1 예에 관련된, 위에서 설명된 문제들의 제 2 예는, 다음과 같다. 테이블 3의 설명은, 화상 0이 LTRP로서 시그널링되고 화상 256이 화상 n-1에 대한 STRP로서 시그널링된다는 것을 제외하고는, 테이블 2의 설명과 유사하다.

테이블 3

여기서 또한, 화상 n이 손실되면, 디코더는 화상 256으로서 시그널링된 그 LTRP를 정확히 식별할 수 없을 것이며, 디코더는 단지 LTRP로서 사용되는 화상을 고유하게 식별하기 위해, delta_poc_msb_present_flag가 1과 동일할 것을 필요로 할 것이다.

위에서 설명된 문제들의 제 3 예는 테이블 4에 대하여 설명된다.

테이블 4

테이블 4 의 예에 대해, POC 255를 가진 화상이 수신되고 화상 258이 뒤따른다 (즉, 화상들 256 및 257이 손실되었다) 고 가정한다. 화상 258에 대한 슬라이스 헤더를 디코딩한 후, (화상 256 대신) 화상 0은 LTRP로서 마킹될 것이다. 참조 화상 256이 화상 258에 대해 존재하지 않는다고 계산해 내기 보다는, 디코더는, 화상 0이 시그널링된 LTRP라고 부정확하게 유도하고 (디코딩 프로세스의 다른 양태들이 이 손실에 대해 작용한다고 하면) 계속해서 디코딩할 것이다.

상기 예들로부터, 상기 문제들을 해결하는 믿을 수 없게 간단한 솔루션은 LTRP들의 실제 풀 POC 값을 시그널링하는 것인 것처럼 보일 수도 있다. 또한, RPS 유도가 풀 POC 시그널링과 독립적이라고 보일 것이다. 그러나, CRA 화상들이 비트스트림을 시작할 수 있거나, 또는 CRA 화상들이 서플라이서에 의해 BLA 화상으로 변환될 수 있는 가능성은 풀 POC 값을 시그널링하는 것을 배제한다. 예를 들어, 256의 POC 값을 가진 비트스트림에서의 CRA 화상을 고려하고 (MaxPicOrderCntLsb = 256이라고 여전히 가정하고), 그리고, 디코딩 순서에서 CRA 화상에 뒤따르는 일부 화상들이 CRA 화상을 LTRP로서 갖는다고 하자. 256인 CRA 화상의 풀 POC가 시그널링되고, 그리고 CRA 화상이 BLA 화상으로 변환되거나 또는 비트스트림을 시작하면, LTRP는 부정확하게 유도될 것이며, 비트스트림은 비-적합하게 될 것이다. CRA 화상이 BLA 화상으로 변환되거나 또는 비트스트림을 시작할 때, 디코더는 WD7의 기법들에 따라서, 그의 LSB에 오직 기초하여, 그의 POC 값을 유도한다. 상기 예에서, (현재 BLA 화상인) CRA 화상의 POC는 0인 것으로 결정될 것이다. 디코더가 POC 256을 가진 LTRP를 탐색할 때, DPB는 CRA 화상이 0의 유도된 POC를 현재 갖기 때문에 임의의 이러한 화상을 포함하지 않을 것이다. 이것은 RPS에 "참조 화상 없음"을 초래할 것이며, 현재의 화상이 CRA 화상과 연관된 TFD 화상이 아니면, 최종 비트스트림은 비-적합할 것이다.

본 개시물은 비디오 데이터에 대한 랜덤 액세스를 지원하는 기법들을 기술한다. 일부의 경우, 이들 기법들은 WD7의 상기 문제들을 극복하기 위해 이용될 수도 있다. 좀더 자세하게 설명하면, 본 개시물은 여러 유형들의 화상들에 기초하여 랜덤 액세스를 지원하기 위한 여러 제한 사항들을 제안한다. 먼저, 본 개시물의 일 기법에 따르면, RAP 화상에 대한 모든 TFD 화상들은 RAP에 있어 모든 DLP들에 대한 디스플레이 순서 값보다 이른 디스플레이 순서 값을 가져야 한다. 이 제한 사항은 프레임 레이트에서의 심한 변동을 회피함으로써 뷰어의 뷰잉 경험을 향상시킬 수도 있다. 즉, 정확하게 디코딩될 수 없는 하나 이상의 화상들 (즉, TFD 화상들) 이 존재하면 그리고 이들 화상들이 DLP들과 혼합된 디스플레이 순서 값들을 가지면, 프레임 레이트는 고르지 못한 것처럼 보일 것이며, 이것은 사용자 경험을 저하시킬 것이다. 또 다른 기법에 따르면, 본 개시물은 또한 디코딩 순서에서 "트레일링 화상들" 과의 리딩 화상들의 인터리빙이 방지되는 제한 사항을 제안한다. 즉, 본 개시물의 기법들에 따르면, 비디오 코더들은, (TFD 화상들 및 DLP들 양쪽을 포함하는) 모든 리딩 화상들이 대응하는 RAP 화상의 디스플레이 순서 값보다 큰 디스플레이 순서 값들을 가지는 화상들의 디코딩 순서 값들보다 이른 디코딩 순서 값들을 갖도록 보장할 수도 있다. 위에서 언급한 바와 같이, "트레일링 화상들"은 디코딩 순서 및 디스플레이 순서 양쪽에서 RAP 화상에 뒤따르는 화상들이다.

위에서 소개한 바와 같이, 일반적으로, 비디오 데이터는 여러 유형들의 화상들을 포함한다. 예를 들어, 비디오 데이터는 비디오 데이터의 스트림을 시작하는데 사용될 수 있는 RAP들을 포함한다. RAP들은 예컨대, 인트라-예측 코딩된 화상들 (I-화상들) 로서 독립적으로 코딩되는 화상들이다. RAP들은 IDR 화상들, BLA 화상들 및 CRA 화상들을 포함한다.

다른 유형들의 화상들은 TFD, DLP들, 및 트레일링 화상들을 포함한다. 일반적으로, DLP들 (유사한 모든 리딩 화상들) 은 대응하는 RAP 화상의 출력 순서보다 이른 출력 순서를 갖지만, 대응하는 RAP의 디코딩 순서보다 늦은 디코딩 순서를 갖는 화상들이다. 그러나, DLP들은 디코딩 순서에서 대응하는 RAP 화상에 선행하는 데이터를 취출함이 없이 디코딩가능한 리딩 화상들이다. 즉, DLP들은 대응하는 RAP를 포함하거나 및/또는 뒤따르는 하나 이상의 화상들의 데이터에 대해 예측되는 리딩 화상들이다. 한편, 트레일링 화상들은, 대응하는 RAP 화상의 디코딩 순서보다 늦은 디코딩 순서 뿐만 아니라, 대응하는 RAP의 출력 순서보다 늦은 출력 순서를 갖는다.

TFD 화상들인 화상들은 대응하는 RAP 화상으로부터의 랜덤 액세스를 수행할 때 적절히 디코딩될 수 없다. 이것은 일반적으로 TFD 화상이 디코딩 순서에서 대응하는 RAP 화상에 선행하는 데이터로부터 예측되기 때문이다. RAP 화상으로부터의 랜덤 액세스가 RAP 화상보다 이른 데이터를 취출하는 것을 생략하기 때문에, RAP 화상보다 이른 데이터에 의존하는 TFD 화상들은 정확하게 디코딩가능하지 않을 것이며, 따라서, 디코딩되지 않고 폐기될 수도 있다.

본 개시물은 이들 여러 유형들의 화상들에 기초하여 랜덤 액세스를 지원하기 위한 여러 제한 사항들을 제안한다. 먼저, RAP 화상의 모든 TFD 화상들은 RAP 화상의 모든 DLP들에 대한 디스플레이 순서 값보다 이른 디스플레이 순서 값을 가져야 한다. 이 제한 사항은, 프레임 레이트에서의 심한 변동을 회피하기 때문에, 뷰어의 뷰잉 경험을 향상시킬 수도 있다. 즉, 정확하게 디코딩될 수 없는 (TFD 화상들과 같은) 하나 이상의 화상들이 존재하면 그리고 이들 화상들이 DLP들과 혼합된 디스플레이 순서 값들을 가지면, 프레임 레이트는 고르지 못한 것처럼 보일 것이며, 이것은 사용자 경험을 저하시킬 것이다.

본 개시물은 또한 디코딩 순서에서 "트레일링 화상들" 과의 리딩 화상들의 인터리빙이 방지되는 제한 사항을 제안한다. 즉, 본 개시물의 기법들에 따르면, 비디오 코더들은, (TFD 화상들 및 DLP들 양쪽을 포함하는) 모든 리딩 화상들이 대응하는 RAP 화상의 디스플레이 순서 값보다 큰 디스플레이 순서 값들을 가지는 화상들의 디코딩 순서 값들보다 이른 디코딩 순서 값들을 갖는 것을 보장할 수도 있다. 위에서 언급한 바와 같이, "트레일링 화상들"은 디코딩 순서 및 디스플레이 순서 양쪽에서 RAP 화상에 뒤따르는 화상들이다. 본 개시물의 기법들을 구현할 때, 비디오 인코더는, RAP 화상을 인코딩하고, 그리고, 폐기 대상이 되는 모든 화상들이 출력 순서에서 RAP 화상과 연관된 DLP들에 선행하게 RAP 화상에 대한 하나 이상의 DLP들을 인코딩하도록 구성될 수 있다. 이와 유사하게, 비디오 디코더는 랜덤 액세스 포인트로서 이용되는 RAP 화상에 뒤따르는 TFD 화상들을 디코딩하려고 시도할 필요가 없다. 대신, 비디오 디코더는 데이터를 디코딩하려고 시도하지 않고, 이러한 TFD 화상들에 대한 데이터를 간단히 파싱할 수도 있다. 이것은 비디오 디코더와 같은 디바이스에 대해 리소스 절감들을 제공할 수도 있다. 예를 들어, 이들 기법들은 배터리 전력을 절감하거나 및/또는 프로세싱 효율을 향상시킬 수도 있다. 디코딩 순서에서 리딩 및 트레일링 화상들을 인터리빙하지 않음으로써, (MANE 또는 비디오 디코더와 같은) 시스템은 연관된 RAP 화상에 후행하는 제 1 트레일링 화상을 지나서 파싱할 필요 없이, RAP 화상과 연관된 리딩 화상들을 용이하게 식별할 수 있다. 리딩 화상들을 식별하는 것은 리딩 화상이 디스플레이 순서에서 RAP 이전에 발생하기 때문에 랜덤 액세스에서의 출력을 결정할 때에 유용할 수도 있으며, 중간 시스템이 그렇게 하도록 구성되면, 리딩 화상들을 제거하는데 유용할 수도 있다. 더욱이, 위에서 언급한 바와 같이, 이들 기법들은 프레임 레이트 심한 변동을 회피함으로써 향상된 사용자 경험을 초래할 수도 있다.

도 1은 슬라이스 헤더들에서 장기 참조 화상들을 시그널링하는 기법들을 이용할 수도 있는 예시적인 비디오 인코딩 및 디코딩 시스템 (10) 을 예시하는 블록도 이다. 도 1에 나타낸 바와 같이, 시스템 (10) 은 목적지 디바이스 (14) 에 의해 추후에 디코딩되는 인코딩된 비디오 데이터를 제공하는 소스 디바이스 (12) 를 포함한다. 특히, 소스 디바이스 (12) 는 비디오 데이터를 목적지 디바이스 (14) 에 컴퓨터-판독가능 매체 (16) 를 통해서 제공한다. 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 데스크탑 컴퓨터들, 노트북 (즉, 랩탑) 컴퓨터들, 태블릿 컴퓨터들, 셋-탑 박스들, 소위 "스마트" 폰들과 같은 전화기 핸드셋들, 소위 "스마트" 패드들, 텔레비전, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 콘솔들, 비디오 스트리밍 디바이스 등을 포함한, 광범위한 디바이스들 중 임의의 디바이스를 포함할 수도 있다. 일부의 경우, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 무선 통신용으로 탑재될 수도 있다.

목적지 디바이스 (14) 는 디코딩되는 인코딩된 비디오 데이터를 컴퓨터-판독가능 매체 (16) 를 통해서 수신할 수도 있다. 컴퓨터-판독가능 매체 (16) 는 인코딩된 비디오 데이터를 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 이동시킬 수 있는 임의 종류의 매체 또는 디바이스를 포함할 수도 있다. 일 예에서, 컴퓨터-판독가능 매체 (16) 는 소스 디바이스 (12) 로 하여금 인코딩된 비디오 데이터를 직접 목적지 디바이스 (14) 로 실시간으로 송신할 수 있게 하는 통신 매체를 포함할 수도 있다. 인코딩된 비디오 데이터는 무선 통신 프로토콜과 같은 통신 표준에 따라서 변조되어 목적지 디바이스 (14) 로 송신될 수도 있다. 통신 매체는 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적인 송신 라인들과 같은, 임의의 무선 또는 유선 통신 매체를 포함할 수도 있다. 통신 매체는 근거리 네트워크, 광역 네트워크, 또는 글로벌 네트워크, 예컨대 인터넷과 같은 패킷-기반 네트워크의 일부를 형성할 수도 있다. 통신 매체는 라우터들, 스위치들, 기지국들, 또는 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 통신을 용이하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다.

일부 예들에서, 인코딩된 데이터는 출력 인터페이스 (22) 로부터 저장 디바이스로 출력될 수도 있다. 이와 유사하게, 인코딩된 데이터는 입력 인터페이스에 의해 저장 디바이스로부터 액세스될 수도 있다. 저장 디바이스는 하드 드라이브, Blu-ray 디스크들, DVD들, CD-ROM들, 플래시 메모리, 휘발성 또는 비-휘발성 메모리, 또는 인코딩된 비디오 데이터를 저장하기 위한 임의의 다른 적합한 디지털 저장 매체들과 같은 다양한 분산된 또는 로컬 액세스되는 데이터 저장 매체들 중 임의의 데이터 저장 매체를 포함할 수도 있다. 추가 예에서, 저장 디바이스는 소스 디바이스 (12) 에 의해 발생된 인코딩된 비디오를 저장할 수도 있는 파일 서버 또는 또 다른 중간 저장 디바이스에 대응할 수도 있다. 목적지 디바이스 (14) 는 저장된 비디오 데이터에 저장 디바이스로부터 스트리밍 또는 다운로드를 통해서 액세스할 수도 있다. 파일 서버는 인코딩된 비디오 데이터를 저장하고 그 인코딩된 비디오 데이터를 목적지 디바이스 (14) 로 송신하는 것이 가능한 임의 종류의 서버일 수도 있다. 예시적인 파일 서버들은 웹 서버 (예컨대, 웹사이트용), FTP 서버, NAS (network attached storage) 디바이스들, 또는 로컬 디스크 드라이브를 포함한다. 목적지 디바이스 (14) 는 인터넷 접속을 포함한, 임의의 표준 데이터 접속을 통해서, 인코딩된 비디오 데이터에 액세스할 수도 있다. 이것은 파일 서버 상에 저장된 인코딩된 비디오 데이터에 액세스하는데 적합한, 무선 채널 (예컨대, Wi-Fi 접속), 유선 접속 (예컨대, DSL, 케이블 모뎀 등), 또는 양쪽의 조합을 포함할 수도 있다. 저장 디바이스로부터의 인코딩된 비디오 데이터의 송신은 스트리밍 송신, 다운로드 송신, 또는 이들의 조합일 수도 있다.

본 개시물의 기법들은 반드시 무선 애플리케이션들 또는 설정들에 한정되지는 않는다. 이 기법들은 오버-디-에어 텔레비전 브로드캐스트들, 케이블 텔레비전 송신들, 위성 텔레비전 송신들, 인터넷 스트리밍 비디오 송신들, 예컨대 HTTP (DASH) 를 통한 동적 적응 스트리밍, 데이터 저장 매체 상에 인코딩된 디지털 비디오, 데이터 저장 매체 상에 저장된 디지털 비디오의 디코딩, 또는 다른 애플리케이션들과 같은, 다양한 멀티미디어 애플리케이션들 중 임의의 애플리케이션의 지원 하에 비디오 코딩에 적용될 수도 있다. 일부 예들에서, 시스템 (10) 은 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅, 및/또는 비디오 전화 통신과 같은, 지원 애플리케이션들로의 1-방향 또는 2-방향 비디오 송신을 지원하도록 구성될 수도 있다.

도 1 의 예에서, 소스 디바이스 (12) 는 비디오 소스 (18), 비디오 인코더 (20), 및 출력 인터페이스 (22) 를 포함한다. 목적지 디바이스 (14) 는 입력 인터페이스 (28), 비디오 디코더 (30), 및 디스플레이 디바이스 (32) 를 포함한다. 본 개시물에 따르면, 소스 디바이스 (12) 의 비디오 인코더 (20) 는 슬라이스 헤더들에서 장기 참조 화상들을 시그널링하는 기법들을 적용하도록 구성될 수도 있다. 다른 예들에서, 소스 디바이스 및 목적지 디바이스는 다른 구성요소들 또는 배열들을 포함할 수도 있다. 예를 들어, 소스 디바이스 (12) 는 비디오 데이터를 외부 카메라와 같은 외부 비디오 소스 (18) 로부터 수신할 수도 있다. 이와 유사하게, 목적지 디바이스 (14) 는 통합된 디스플레이 디바이스를 포함하는 대신, 외부 디스플레이 디바이스와 인터페이스할 수도 있다.

도 1 의 예시된 시스템 (10) 은 단지 일 예이다. 슬라이스 헤더들에서 장기 참조 화상들을 시그널링하는 기법들은 임의의 디지털 비디오 인코딩 및/또는 디코딩 디바이스에 의해 수행될 수도 있다. 일반적으로 본 개시물의 기법들은 비디오 인코딩 디바이스에 의해 수행되지만, 그 기법들은 또한 "코덱" 으로서 일반적으로 지칭되는, 비디오 인코더/디코더에 의해 수행될 수도 있다. 더욱이, 본 개시물의 기법들은 또한 비디오 프리프로세서에 의해 수행될 수도 있다. 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 단지 코딩 디바이스들의 예들이며, 여기서, 소스 디바이스 (12) 는 목적지 디바이스 (14) 로의 송신을 위해 코딩된 비디오 데이터를 발생한다. 일부 예들에서, 디바이스들 (12, 14) 은 디바이스들 (12, 14) 의 각각이 비디오 인코딩 및 디코딩 구성요소들을 포함하도록, 실질적으로 대칭적 방식으로 동작할 수도 있다. 그러므로, 시스템 (10) 은 예컨대, 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅, 또는 비디오 전화 통신을 위해, 비디오 디바이스들 (12, 14) 사이에 1-방향 또는 2-방향 비디오 송신을 지원할 수도 있다.

소스 디바이스 (12) 의 비디오 소스 (18) 는 비디오 카메라와 같은 비디오 캡쳐 디바이스, 이전에 캡쳐된 비디오를 포함하는 비디오 아카이브, 및/또는 비디오 콘텐츠 제공자로부터 비디오를 수신하는 비디오 공급 인터페이스를 포함할 수도 있다. 추가 대안적인 예로서, 비디오 소스 (18) 는 컴퓨터 그래픽스-기반의 데이터를 소스 비디오, 또는 라이브 비디오, 아카이브된 비디오, 및 컴퓨터 발생된 비디오의 조합으로서 발생할 수도 있다. 어떤 경우, 비디오 소스 (18) 가 비디오 카메라이면, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 소위 카메라 폰들 또는 비디오 폰들을 형성할 수도 있다. 그러나, 위에서 언급한 바와 같이, 본 개시물에서 설명하는 기법들은 비디오 코딩에 일반적으로 적용가능할 수도 있으며, 무선 및/또는 유선 애플리케이션들에 적용될 수도 있다. 각 경우, 캡쳐되거나, 사전-캡쳐되거나, 또는 컴퓨터-발생된 비디오는 비디오 인코더 (20) 에 의해 인코딩될 수도 있다. 인코딩된 비디오 정보는 그후 출력 인터페이스 (22) 에 의해 컴퓨터-판독가능 매체 (16) 상으로 출력될 수도 있다.

컴퓨터-판독가능 매체 (16) 는 무선 브로드캐스트 또는 유선 네트워크 송신과 같은 일시성 매체, 또는 하드 디스크, 플래시 드라이브, 컴팩트 디스크, 디지털 비디오 디스크, Blu-ray 디스크, 또는 다른 컴퓨터-판독가능 매체들과 같은 저장 매체들 (즉, 비일시성 저장 매체들) 을 포함할 수도 있다. 일부 예들에서, 네트워크 서버 (미도시) 는 인코딩된 비디오 데이터를 소스 디바이스 (12) 로부터 수신하고 그 인코딩된 비디오 데이터를 목적지 디바이스 (14) 로, 예컨대, 네트워크 송신을 통해서 제공할 수도 있다. 이와 유사하게, 디스크 스탬핑 설비와 같은 매체 생산 설비의 컴퓨팅 디바이스는 인코딩된 비디오 데이터를 소스 디바이스 (12) 로부터 수신하고 그 인코딩된 비디오 데이터를 포함하는 디스크를 제조할 수도 있다. 따라서, 컴퓨터-판독가능 매체 (16) 는 여러 예들에서, 여러 형태들의 하나 이상의 컴퓨터-판독가능 매체들을 포함하는 것으로 이해될 수도 있다.

목적지 디바이스 (14) 의 입력 인터페이스 (28) 는 컴퓨터-판독가능 매체 (16) 로부터 정보를 수신한다. 컴퓨터-판독가능 매체 (16) 의 정보는 블록들 및 다른 코딩된 유닛들, 예컨대, GOP들의 특성들 및/또는 프로세싱을 기술하는 구문 엘리먼트들을 포함하는, 비디오 인코더 (20) 에 의해 정의되고 또한 비디오 디코더 (30) 에 의해 사용되는, 구문 정보를 포함할 수도 있다. 디스플레이 디바이스 (32) 는 그 디코딩된 비디오 데이터를 사용자에게 디스플레이하며, 음극선관 (CRT), 액정 디스플레이 (LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 또 다른 유형의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스들 중 임의의 디바이스를 포함할 수도 있다.

비디오 인코더 (20) 및 비디오 디코더 (30) 는 현재 개발중인 HEVC (High Efficiency Video Coding) 표준과 같은 비디오 코딩 표준에 따라서 동작할 수도 있으며, HEVC 테스트 모델 (HM) 에 따를 수도 있다. 이의 대안으로, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 MPEG 4, 파트 10, AVC (Advanced Video Coding) 로서 대안적으로 지칭되는 ITU-T H.264 표준, 또는 이러한 표준들의 확장판들과 같은 다른 독점 (proprietary) 또는 산업 표준들에 따라서 동작할 수도 있다. 본 개시물의 기법들은, 그러나, 임의의 특정의 코딩 표준에 한정되지 않는다. 비디오 코딩 표준들의 다른 예들은 MPEG-2 및 ITU-T H.263을 포함한다. 도 1에 나타내지는 않지만, 일부 양태들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 오디오 인코더 및 디코더와 각각 통합될 수도 있으며, 오디오 및 비디오 양쪽의 인코딩을 공통 데이터 스트림 또는 별개의 데이터 스트림들로 처리하기에 적합한 MUX-DEMUX 유닛들, 또는 다른 하드웨어 및 소프트웨어를 포함할 수도 있다. 적용가능한 경우, MUX-DEMUX 유닛들은 ITU H.223 멀티플렉서 프로토콜, 또는 다른 프로토콜들, 예컨대, 사용자 데이터그램 프로토콜 (UDP) 을 따를 수도 있다.

ITU-T H.264/MPEG-4 (AVC) 표준은 ISO/IEC 동화상 전문가 그룹 (MPEG) 과 함께, ITU-T 비디오 코딩 전문가 그룹 (VCEG) 에 의해 조인트 비디오 팀 (JVT) 으로서 알려진 공동 파트너쉽의 성과로서, 정식화되었다. 일부 양태들에서, 본 개시물에서 설명하는 기법들은 일반적으로 H.264 표준에 따르는 디바이스들에 적용될 수도 있다. H.264 표준은 2005 년 3월, ITU-T 스터디 그룹에 의한, ITU-T 권고안 H.264, Advanced Video Coding for generic audiovisual services에 설명되어 있으며, 본원에서 H.264 표준 또는 H.264 사양, 또는 H.264/AVC 표준 또는 사양으로서 지칭될 수도 있다. 조인트 비디오 팀 (JVT) 은 H.264/MPEG-4 AVC에 대한 확장판들에 대해 계속 노력을 기울이고 있다.

비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSP들), 주문형 집적회로들 (ASIC들), 필드 프로그래밍가능 게이트 어레이들 (FPGA들), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 임의의 이들의 조합들과 같은, 다양한 적합한 인코더 회로 중 임의의 회로로 구현될 수도 있다. 이 기법들이 소프트웨어로 부분적으로 구현되는 경우, 디바이스는 본 개시물의 기법들을 수행하기 위해 소프트웨어용 명령들을 적합한 비일시성 컴퓨터-판독가능 매체에 저장하고, 그 명령들을 하드웨어에서 하나 이상의 프로세서들을 이용하여 실행할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있으며, 이들 중 어느 쪽이든 각각 디바이스에서 결합된 인코더/디코더 (코덱) 의 일부로서 통합될 수도 있다.

JCT-VC는 HEVC 표준의 개발에 노력을 들이고 있다. HEVC 표준화 노력들은 HEVC 테스트 모델 (HM) 로서 지칭되는 비디오 코딩 디바이스의 진화 모델 (evolving model) 에 기초한다. HM은 예컨대, ITU-T H.264/AVC에 따른 기존 디바이스들에 관련된 비디오 코딩 디바이스들의 여러 추가적인 능력들을 가정한다. 예를 들어, H.264는 9개의 인트라-예측 인코딩 모드들을 제공하는 반면, HM은 33개 만큼이나 많은 인트라-예측 인코딩 모드들을 제공할 수도 있다. 본 개시물은 설명의 목적들을 위해 HEVC 의 WD7에 때때로 의존할 수도 있지만, 본 개시물의 기법들은 WD7에 결코 제한되지 않는다. HEVC 표준은 계속해서 발전하며, 본 개시물의 기법들이 HEVC 의 미래 버전들과 호환가능할 수 있는 것으로 고려된다. 예를 들어, 본 개시물에서의 기법들은 ITU-T SG16 WP3와 ISO/IEC JTC1/SC29/WG11 의 JCT-VC (Joint Collaborative Team on Video Coding), 12차 회의: 2013년 1월 14-23일, 스위스, 제네바, 문서 JCTVC-L1003_v18, Bross 등, "High Efficiency Video Coding (HEVC) Text Specification Draft 10"에 기술되어 있는 "HEVC Working Draft 10", 또는 "WD10"과 함께 이용될 수도 있으며, 이 문서는 2013년 2월 5일 현재, http://phenix.it-sudparis.eu/jct/doc_end_user/documents/12_Geneva /wg11/JCTVC-L1003-v18.zip 로부터 다운로드가능하다.

일반적으로, HM 의 작업 모델은 비디오 프레임 또는 화상이 루마 샘플 및 크로마 샘플 양쪽을 포함하는 트리블록들 또는 최대 코딩 유닛들 (LCU) 의 시퀀스로 분할될 수도 있다고 기술한다. 비트스트림 내 구문 데이터는 LCU에 대한 사이즈를 정의할 수도 있으며, 이 최대 코딩 유닛은 픽셀들의 개수의 관점에서 최대 코딩 유닛이다. 슬라이스는 코딩 순서에서 다수의 연속되는 트리블록들을 포함한다. 비디오 프레임 또는 화상은 하나 이상의 슬라이스들로 파티셔닝될 수도 있다. 각각의 트리블록은 쿼드트리에 따라 코딩 유닛들 (CU들) 로 분할될 수도 있다. 일반적으로, 쿼드트리 데이터 구조는 CU 당 하나의 노드를 포함하며, 동시에, 루트 노드는 트리블록에 대응한다. CU가 4개의 서브-CU들로 분할되면, CU에 대응하는 노드는 4개의 리프 노드들을 포함하며, 그 리프 노드 각각은 서브-CU들 중 하나에 대응한다.

쿼드트리 데이터 구조의 각각의 노드는 대응하는 CU에 대해 구문 데이터를 제공할 수도 있다. 예를 들어, 쿼드트리에서 노드는 그 노드에 대응하는 CU가 서브-CU들로 분할되는지의 여부를 나타내는 분할 플래그를 포함할 수도 있다. CU에 대한 구문 엘리먼트들은 회귀적으로 정의될 수도 있으며, CU가 서브-CU들로 분할되는지의 여부에 의존할 수도 있다. CU가 추가로 분할되지 않으면, 리프-CU로서 지칭된다. 본 개시물에서, 리프-CU 의 4개의 서브-CU들은 또한 원래 리프-CU 의 명시적인 분할이 없더라도 리프-CU들로 지칭될 것이다. 예를 들어, 16x16 사이즈에서 CU가 추가로 분할되지 않으면, 4개의 8x8 서브-CU들이 또한 16x16 CU가 전혀 분할되지 않았더라도 리프-CU들로서 지칭될 것이다.

CU는 CU가 사이즈 구별을 갖지 않는다는 점을 제외하고는, H.264 표준의 매크로블록과 유사한 목적을 갖는다. 예를 들어, 트리블록은 4개의 자식 노드들 (또한, 서브-CU들로서 지칭됨) 로 분할될 수도 있으며, 각각의 자식 노드는 결국 부모 노드일 수도 있으며 또 다른 4개의 자식 노드들로 분할될 수도 있다. 쿼드트리의 리프 노드로서 지칭되는, 최종, 미분할된 자식 노드는 또한 리프-CU로서 지칭되는, 코딩 노드를 포함한다. 코딩된 비트스트림과 연관되는 구문 데이터는 최대 CU 깊이로서 지칭되는, 트리블록이 분할될 수도 있는 최대 횟수를 정의할 수도 있으며, 또한 코딩 노드들의 최소 사이즈를 정의할 수도 있다. 따라서, 비트스트림은 또한 최소 코딩 유닛 (SCU) 을 정의할 수도 있다. 본 개시물은 HEVC 의 상황에서, CU, PU, 또는 TU 중 임의의 것, 또는 다른 표준들의 상황에서 유사한 데이터 구조들 (예컨대, H.264/AVC에서의 매크로블록들 및 그의 서브-블록들) 을 지칭하는데 용어 "블록"을 사용한다.

CU는 코딩 노드, 및 이 코딩 노드와 연관되는 변환 유닛들 (transform units; TU들) 및 예측 유닛들 (prediction units; PU들) 을 포함한다. CU 의 사이즈는 코딩 노드의 사이즈에 대응하며 정사각형 형태이어야 한다. CU 의 사이즈는 8x8 픽셀들로부터 64x64 픽셀들 이상의 최대치를 갖는 트리블록의 사이즈까지 이를 수도 있다. 각각의 CU는 하나 이상의 PU들 및 하나 이상의 TU들을 포함할 수도 있다. CU와 연관되는 구문 데이터는 예를 들어, 하나 이상의 PU들로의 CU 의 파티셔닝을 기술할 수도 있다. 파티셔닝 모드들은 CU가 스킵되는지 또는 직접 모드 인코딩될지, 인트라-예측 모드 인코딩될지, 또는 인터-예측 모드 인코딩될지 여부의 사이에 상이할 수도 있다. PU들은 비-정사각형의 형태로 파티셔닝될 수도 있다. CU와 연관되는 구문 데이터는 또한 예를 들어, 쿼드트리에 따른 하나 이상의 TU들로의 CU 의 파티셔닝을 기술할 수도 있다. TU는 정사각형 또는 비-정사각형 (예컨대, 직사각형) 의 형태일 수 있다.

HEVC 표준은 TU들에 따라서 변환들을 허용하며, 이 TU들은 상이한 CU들에 대해 상이할 수도 있다. TU들은 일반적으로 파티셔닝된 LCU에 대해 정의된 주어진 CU 내 PU들의 사이즈에 기초하여 사이징되지만, 이것이 항상 그런 것은 아니다. TU들은 일반적으로 PU들과 동일한 사이즈이거나 또는 그보다 작다. 일부 예들에서, CU에 대응하는 잔여 샘플들은 "잔여 쿼드 트리" (residual quad tree; RQT) 로서 알려진 쿼드트리 구조를 이용하여 더 작은 유닛들로 세분될 수도 있다. RQT 의 리프 노드들은 변환 유닛들 (TU들) 로서 지칭될 수도 있다. TU들과 연관되는 픽셀 차이 값들은 변환 계수들을 발생하기 위해 변환될 수도 있으며, 그 변환 계수들은 양자화될 수도 있다.

리프-CU는 하나 이상의 예측 유닛들 (PU들) 을 포함할 수도 있다. 일반적으로, PU는 대응하는 CU 의 모두 또는 부분에 대응하는 공간 영역을 나타내며, PU에 대한 참조 샘플을 취출하기 위한 데이터를 포함할 수도 있다. 더욱이, PU는 예측에 관련된 데이터를 포함한다. 예를 들어, PU가 인트라-모드 인코딩될 때, PU에 대한 데이터는 잔여 쿼드트리 (RQT) 에 포함될 수도 있으며, PU에 대응하는 TU에 대한 인트라-예측 모드를 기술하는 데이터를 포함할 수도 있다. 또 다른 예로서, PU가 인터-모드 인코딩될 때, PU는 PU에 대한 하나 이상의 모션 벡터들을 정의하는 데이터를 포함할 수도 있다. PU에 대한 모션 벡터를 정의하는 데이터는 예를 들어, 모션 벡터의 수평 성분, 모션 벡터의 수직 성분, 모션 벡터에 대한 해상도 (예컨대, 1/4 픽셀 정밀도 또는 1/8 픽셀 정밀도), 모션 벡터가 가리키는 참조 화상, 및/또는 모션 벡터에 대한 참조 화상 리스트 (예컨대, 리스트 0, 리스트 1, 또는 리스트 C) 를 기술할 수도 있다.

하나 이상의 PU들을 갖는 리프-CU는 또한 하나 이상의 변환 유닛들 (TU들) 을 포함할 수도 있다. 변환 유닛들은 위에서 설명한 바와 같이, RQT (또한, TU 쿼드트리 구조로서 지칭됨) 를 이용하여 규정될 수도 있다. 예를 들어, 분할 플래그는 리프-CU가 4개의 변환 유닛들로 분할되는지 여부를 나타낼 수도 있다. 그 후, 각각의 변환 유닛은 추가적인 서브-TU들로 추가로 분할될 수도 있다. TU가 추가로 분할되지 않을 때, 리프-CU로서 지칭될 수도 있다. 일반적으로, 인트라 코딩에 있어, 리프-CU에 속하는 모든 리프-TU들은 동일한 인트라 예측 모드를 공유한다. 즉, 동일한 인트라-예측 모드가 일반적으로 리프-CU 의 모든 TU들에 대해 예측된 값들을 계산하기 위해 적용된다. 인트라 코딩에 있어, 비디오 인코더는 각각 리프-TU에 대한 잔여 값을 인트라 예측 모드를 이용하여, TU에 대응하는 CU 의 부분과 원래 블록 사이의 차이로서 계산할 수도 있다. TU는 PU 의 사이즈에 반드시 제한될 필요는 없다. 따라서, TU들은 PU 보다 더 크거나 또는 더 작을 수도 있다. 인트라 코딩에 있어, PU는 동일한 CU에 대한 대응하는 리프-TU와 연어를 이룰 수도 있다 (collocated). 일부 예들에서, 리프-TU 의 최대 사이즈는 대응하는 리프-CU 의 사이즈에 대응할 수도 있다.

더욱이, 리프-CU들의 TU들은 또한 잔여 쿼드트리들 (RQT들) 로서 지칭되는, 각각의 쿼드트리 데이터 구조들과 연관될 수도 있다. 즉, 리프-CU는 리프-CU가 어떻게 TU들로 파티셔닝되는 지를 나타내는 쿼드트리를 포함할 수도 있다. TU 쿼드트리의 루트 노드는 일반적으로 리프-CU에 대응하는 반면, CU 쿼드트리의 루트 노드는 일반적으로 트리블록 (또는, LCU) 에 대응한다. 분할되지 않은 RQT 의 TU들은 리프-TU들로서 지칭된다. 일반적으로, 본 개시물은 달리 언급하지 않는 한, 리프-CU 및 리프-TU를 지칭하기 위해, 각각 용어들 CU 및 TU를 사용한다.

비디오 시퀀스는 일반적으로 비디오 프레임들 또는 화상들의 시리즈를 포함한다. 화상들의 그룹 (GOP) 은 일반적으로 비디오 화상들의 하나 이상의 시리즈를 포함한다. GOP는 GOP의 헤더, 화상들의 하나 이상의 헤더, 또는 다른 곳에, GOP에 포함된 다수의 화상들을 기술하는 구문 데이터를 포함할 수도 있다. 화상의 각각의 슬라이스는 각각의 슬라이스에 대한 인코딩 모드를 기술하는 슬라이스 구문 데이터를 포함할 수도 있다. 비디오 인코더 (20) 는 일반적으로 비디오 데이터를 인코딩하기 위해 개개의 비디오 슬라이스들 내 비디오 블록들에 대해 동작한다. 비디오 블록은 CU 내 코딩 노드에 대응할 수도 있다. 비디오 블록들은 고정 또는 가변 사이즈들을 가질 수도 있으며, 규정된 코딩 표준에 따라서 사이즈가 상이할 수도 있다.

일 예로서, HM은 여러 PU 사이즈들에서 예측을 지원한다. 특정의 CU 의 사이즈가 2Nx2N 이라고 가정하면, HM은 2Nx2N 또는 NxN 의 PU 사이즈들에서는 인트라-예측을, 그리고 2Nx2N, 2NxN, Nx2N, 또는 NxN 의 대칭적인 PU 사이즈들에서는 인터-예측을 지원한다. HM은 또한 2NxnU, 2NxnD, nLx2N, 및 nRx2N 의 PU 사이즈들에서의 인터-예측에 대해 비대칭적인 파티셔닝을 지원한다. 비대칭적인 파티셔닝에서, CU 의 하나의 방향은 파티셔닝되지 않지만, 다른 방향은 25% 및 75% 로 파티셔닝된다. 25% 파티션에 대응하는 CU 의 부분은 "상부 (Up)", "하부 (Down)", "좌측 (Left)", 또는 "우측 (Right)" 의 표시가 뒤따르는 "n"으로 표시된다. 따라서, 예를 들어, "2NxnU"는 최상부에서 2Nx0.5N PU 로 그리고 최저부에서 2Nx1.5N PU 로 수평으로 파티셔닝된 2Nx2N CU를 지칭한다.

본 개시물에서, "NxN" 및 "N 곱하기 N"은 수직 및 수평 치수들의 관점에서 비디오 블록의 픽셀 치수들, 예컨대, 16x16 픽셀들 또는 16 곱하기 16 픽셀들을 지칭하기 위해 상호교환가능하게 사용될 수도 있다. 일반적으로, 16x16 블록은 수직 방향으로 16개의 픽셀들 (y = 16) 및 수평 방향으로 16개의 픽셀들 (x = 16) 을 가질 것이다. 이와 유사하게, NxN 블록은 일반적으로 수직 방향으로 N 개의 픽셀들 및 수평 방향으로 N 개의 픽셀들을 가지며, 여기서 N은 음이 아닌 정수 값을 나타낸다. 블록에서 픽셀들은 로우들 및 칼럼들로 배열될 수도 있다. 더욱이, 블록들은 수직 방향에서와 같이 수평 방향에서 동일한 픽셀들의 개수를 반드시 가질 필요는 없다. 예를 들어, 블록들은 NxM 픽셀들을 포함할 수도 있으며, 여기서 M은 반드시 N과 같을 필요는 없다.

CU 의 PU들을 이용한 인트라-예측 또는 인터-예측 코딩 이후, 비디오 인코더 (20) 는 CU 의 TU들에 대한 잔여 데이터를 계산할 수도 있다. PU들은 공간 도메인 (또한, 픽셀 도메인으로 지칭됨) 에서 예측 픽셀 데이터를 발생하는 방법 또는 모드를 기술하는 구문 데이터를 포함할 수도 있으며, TU들은 이산 코사인 변환 (DCT), 정수 변환, 웨이블릿 변환, 또는 잔여 비디오 데이터에 개념적으로 유사한 변환과 같은 변환의 적용 이후 변환 도메인에서의 계수들을 포함할 수도 있다. 잔여 데이터는 미인코딩된 화상의 픽셀들과 PU들에 대응하는 예측 값들 사이의 픽셀 차이들에 대응할 수도 있다. 비디오 인코더 (20) 는 CU에 대한 잔여 데이터를 포함하는 TU들을 형성하고, 그후 그 TU들을 변환하여, 그 CU에 대한 변환 계수들을 발생할 수도 있다.

변환 계수들을 발생하는 임의의 변환들 이후, 비디오 인코더 (20) 는 변환 계수들의 양자화를 수행할 수도 있다. 양자화는 일반적으로 계수들을 나타내는데 사용되는 데이터의 양을 가능한 한 감축하기 위해 변환 계수들이 양자화되는 프로세스를 지칭하며, 추가적인 압축을 제공한다. 양자화 프로세스는 그 계수들의 일부 또는 모두와 연관되는 비트 심도를 감소시킬 수도 있다. 예를 들어, n-비트 값은 양자화 동안 m-비트 값까지 절사될 수도 있으며, 여기서, n은 m 보다 더 크다.

양자화 이후, 비디오 인코더는 변환 계수들을 스캐닝하여, 양자화된 변환 계수들을 포함하는 2차원 매트릭스로부터 1차원 벡터를 발생할 수도 있다. 스캐닝은 어레이의 전면에서 더 높은 에너지 (따라서, 더 낮은 주파수) 계수들을 배치하고, 그리고 어레이의 후면에서 더 낮은 에너지 (따라서, 더 높은 주파수) 계수들을 배치하도록 설계될 수도 있다. 일부 예들에서, 비디오 인코더 (20) 는 엔트로피 인코딩될 수 있는 직렬화된 벡터를 발생하기 위해, 미리 정의된 스캐닝 순서를 이용하여, 양자화된 변환 계수들을 스캐닝할 수도 있다. 다른 예들에서, 비디오 인코더 (20) 는 적응적 스캐닝을 수행할 수도 있다. 양자화된 변환 계수들을 스캐닝하여 1차원 벡터를 형성한 후, 비디오 인코더 (20) 는 예컨대, 컨텍스트-적응 가변 길이 코딩 (context-adaptive variable length coding; CAVLC), 컨텍스트-적응 2진 산술 코딩 (context-adaptive binary arithmetic coding; CABAC), 구문-기반의 컨텍스트-적응 2진 산술 코딩 (syntax-based context-adaptive binary arithmetic coding; SBAC), 확률 간격 파티셔닝 엔트로피 (probability interval partitioning entropy; PIPE) 코딩 또는 또 다른 엔트로피 인코딩 방법론에 따라서, 1차원 벡터를 엔트로피 인코딩할 수도 있다. 비디오 인코더 (20) 는 또한 비디오 데이터를 디코딩할 때에 비디오 디코더 (30) 에 의해 사용하기 위한 인코딩된 비디오 데이터와 연관되는 구문 엘리먼트들을 엔트로피 인코딩할 수도 있다.

CABAC를 수행하기 위해, 비디오 인코더 (20) 는 컨텍스트 모델 내 컨텍스트를 송신되는 심볼에 할당할 수도 있다. 컨텍스트는 예를 들어, 심볼의 이웃하는 값들이 비-제로인지 여부에 관련될 수도 있다. CAVLC를 수행하기 위해, 비디오 인코더 (20) 는 송신되는 심볼에 대해 가변 길이 코드를 선택할 수도 있다. VLC에서의 코드워드들은 상대적으로 더 짧은 코드들이 더 가능성 있는 심볼들에 대응하지만, 더 긴 코드들이 덜 가능성 있는 심볼들에 대응하도록, 구성될 수도 있다. 이와 같이, VLC 의 사용은 예를 들어, 송신되는 각각의 심볼에 대해 동일-길이 코드워드들을 사용하는 것에 비해 비트 절감을 달성할 수도 있다. 확률 결정은 그 심볼에 할당된 컨텍스트에 기초할 수도 있다.

본 개시물의 기법들에 따르면, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 다음과 같은 예시적인 함수 "GetLSB(poc, len)"를 실행하도록 구성될 수도 있으며, 여기서, poc는 정수이고 len은 양의 정수이다.

함수 (1) 의 예에서, "<<"는 비트 단위 좌측-시프트 연산자를 나타내며, Floor() 는 전달되어 절사된 인수의 값을 반환한다.

비디오 인코더 (20) 및 비디오 디코더 (30) 는 참조 화상 세트들 (RPS들) 의 유도 및 코딩된 화상의 RPS에 포함될 장기 참조 화상들 (LTRP들) 의 시그널링을 위한 하나 이상의 여러 기법들을 수행하도록 구성될 수도 있다. 일반적으로, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 본 개시물에서 설명하는 예들의 임의의 것 또는 모두를, 단독으로 또는 임의의 조합으로 수행하도록 구성될 수도 있다. 일반적으로, 본 개시물은 다음 인코딩 및 디코딩 기법들에 관련된 기법들을 기술하며, 여기서 비디오 인코더 (20) 및 비디오 디코더 (30) 는 이들 기법들 중 임의의 기법 또는 모두를 WD7 또는 다른 비디오 코딩 프레임워크들의 다른 기법들과 조합하여 수행하도록 구성될 수도 있다.

일 예에서, 현재의 화상의 RPS에 포함될 특정의 LTRP에 대해 시그널링되는 정보는 현재의 화상과 LTRP 사이 또는 LTRP와 디코딩 순서에서 이전 RAP 화상 사이, delta POC 값일 수도 있다. 하나의 대안예로서, LTRP 시그널링 및 유도는, 구문 엘리먼트 delta_poc_msb_present_flag[i]를 제거함으로써, 또는 delta_poc_msb_present_flag[i]가 모든 LTRP들에 대해 1 이라고 위임함으로써, 구문 엘리먼트 delta_poc_msb_cycle_lt[i]가 슬라이스 헤더에서 모든 LTRP에 대해 항상 시그널링된다는 점을 제외하고는, WD7에서와 동일하게 유지할 수도 있다. 또 다른 대안예로서, 현재의 화상의 RPS에 포함될 특정의 LTRP에 대해 시그널링되는 정보는 LTRP와 디코딩 순서에서 이전 RAP 화상 사이, delta POC 값일 수도 있거나, 또는 상기 대안 방법이 적용될 수도 있다.

일 대안예에서, 디코딩 순서에서 CRA 또는 BLA 화상에 뒤따르는 화상들은 디코딩 순서에서 CRA 또는 BLA 화상들에 선행하는 화상들을 LTRP들로서 사용하도록 허용되지 않을 수도 있다. 그 결과, 리딩 화상들은 디코딩 순서에서, 연관된 CRA 또는 BLA 화상에 선행하는 화상들을, LTRP들로서 참조하도록 허용되지 않을 수도 있다. 비-TFD 화상들에 대해, LTRP LSB를 시그널링하는데 요구되는 비트수는 TFD로 마킹되지 않은 가장 작은 POC를 갖고, 디코딩 순서에서, 현재의 화상에 선행하고, 그리고 디코딩 순서에서 이전 RAP 화상을 포함하여, 디코딩 순서에서 이전 RAP 화상에 디코딩 순서에서 후행하는 화상에 의해 결정될 수도 있다. TFD 화상들에 대해, LTRP LSB를 시그널링하는데 요구되는 비트수는 디코딩 순서에서 현재의 화상에 선행하는 가장 작은 POC를 갖고, 디코딩 순서에서 이전 RAP 화상을 포함하여, 디코딩 순서에서 이전 RAP 화상에 디코딩 순서에서 후행하는 화상에 의해 결정될 수도 있다.

일 대안예에서, RAP 화상과 연관된 TFD 화상들은 디코딩 순서에서, 동일한 RAP 화상과 연관되는 임의의 DLP 화상에 후행하도록 허용되지 않을 수도 있다. 비-TFD 화상들에 대해, LTRP LSB를 시그널링하는데 요구되는 비트수는 TFD 화상으로서 마킹되지 않은 가장 작은 POC를 갖고, 디코딩 순서에서 현재의 화상에 선행하고, 그리고 디코딩 순서에서 이전 RAP 화상을 포함하여, 디코딩 순서에서 이전 RAP 화상에 디코딩 순서에서 후행하는 화상에 의해 결정될 수도 있다. TFD 화상들에 대해, LTRP LSB를 시그널링하는데 요구되는 비트수는 디코딩 순서에서 현재의 화상에 선행하는 가장 작은 POC를 갖고, 디코딩 순서에서 이전 RAP 화상 이전 RAP를 포함하여, 디코딩 순서에서 이전 RAP 화상 이전 RAP에 출력 순서에서 후행하는 화상에 의해 결정될 수도 있다.

일 대안예에서, CRA 또는 BLA 화상과 연관된 리딩 화상들은 연관된 CRA 또는 BLA 화상 또는 동일한 CRA 또는 BLA 화상과 연관된 다른 리딩 화상들을 LTRP들로서 참조하도록 허용되지 않을 수도 있다. LTRP LSB를 시그널링하는데 요구되는 비트수는 출력 순서에서, 현재의 화상에 선행하는 RAP 화상에 의해 결정될 수도 있다.

일 대안예에서, 다음 제약이 가해질 수도 있다. 디코딩 순서에서 CRA 또는 BLA 화상에 선행하는 임의의 화상은 출력 순서에서 CRA 또는 BLA 화상과 연관된 임의의 DLP 화상에 선행할 것이다. 더욱이, 다음 제약이 또한 CRA 또는 BLA 화상과 연관된 임의의 TFD 화상이 출력 순서에서 CRA 또는 BLA 화상과 연관된 임의의 DLP 화상에 선행할 것이라고 가해질 수도 있다. 이들 예시적인 제약들은 DLP 화상들이 TFD 화상들 또는 디코딩 순서에서, 연관된 CRA 또는 BLA 화상보다 이른 화상들과, 출력 순서로 인터리브되는 경우들을 허용하지 않는다. 그들 경우들에, CRA 또는 BLA 화상으로부터 스트림 스위칭을 수행하거나 또는 랜덤 액세스할 때, 시작 화상 레이트는 DLP 화상들이 출력된 이후보다 더 작을 것이다. 빈번한 스트림 스위칭에 의한 적응 스트리밍에서, 예컨대, HTTP (DASH) 를 통한 동적 적응 스트리밍 상황에서, 레이트에서의 이러한 요동은 바람직하지 않은 사용자 경험을 초래할 수도 있다. CRA 또는 BLA 화상에 대해, WD7은, 디코딩 순서에서 CRA 또는 BLA 화상에 선행하고 출력 순서에서 CRA 또는 BLA 화상에 뒤따르는 화상이 존재하지 않을 것이라고 규정하였다. 그 제한 사항에 대한 포함은 유사한 이유 때문이었다.

일 대안예에서, 제 1 화상과 연관된 리딩 화상들 (좀더 구체적으로는, TFD 화상들) 은 인터 예측 참조를 위한 제 2 화상과 연관된 DLP 화상들을 STRP들 또는 LTRP들로서 이용하도록 허용되며, 여기서, 제 1 화상은 CRA 화상이고, 제 2 화상은 CRA 또는 BLA 화상이고, 그리고 제 2 화상 및 제 1 화상들은 디코딩 순서에서 2개의 연속적인 RAP 화상들이며, 제 1 화상은 디코딩 순서에서 제 2 화상에 후행한다. 리딩 화상들에 의한 DLP 화상들의 이러한 인터-예측 참조는 이러한 DLP 화상들이 이러한 리딩 화상들의 참조 화상 세트에 존재가능하게 함으로써 인에블링될 수 있으며, 리딩 화상들의 더 유연하고 더 높은-효율 코딩을 가능하게 할 수도 있다. 따라서, CRA 및 BLA 화상들의 정의들은 이러한 인터 예측을 허용하도록 변경될 수도 있다.

일 대안예에서, CRA 또는 BLA 화상과 연관된 TFD 화상들과, 디코딩 순서 및 출력 순서 양쪽에서 CRA 또는 BLA 화상에 후행하는 화상들, 즉, CRA 또는 BLA 화상의 트레일링 화상들의 디코딩-순서 인터리빙은 허용되지 않을 수도 있다. 즉, CRA 또는 BLA 화상과 연관된 임의의 TFD 화상들은 디코딩 순서에서, CRA 또는 BLA 화상의 임의의 트레일링 화상에 선행하도록 요구될 수도 있다.

이의 대안으로, CRA 또는 BLA 화상과 연관된 리딩 화상들과 디코딩 순서 및 출력 순서 양쪽에서 CRA 또는 BLA 화상에 후행하는 화상들의 디코딩-순서 인터리빙이 허용되지 않을 수도 있다. 즉, CRA 또는 BLA 화상과 연관된 임의의 리딩 화상은 디코딩 순서 및 출력 순서 양쪽에서 CRA 또는 BLA 화상에 선행하는 임의의 화상에 디코딩 순서에서 선행하도록 요구될 수도 있다.

구현예들의 다음 예들은 위에서 설명된 예들에 대해 추가적인 세부 사항을 제공한다. 예시적인 구현예들에서 설명된 여러 기법들이 단독으로 또는 임의의 조합으로 이용될 수도 있는 것으로 이해되어야 한다.

제 1 예시적인 구현예는 에러 복원 문제를 해결하려고, 그리고 RPS 편차가 독립적이고 (즉, DPB 상태에 의존하지 않고) 그리고 동시에, 랜덤 액세스가 CRA 화상으로부터 수행될 때 또는 CRA 화상이 BLA 화상으로 변환될 때 문제가 없음을 보장하려고 시도하는 방법을 제공한다. 이 제 1 예시적인 구현예에서, 현재의 화상의 RPS에 포함될 특정의 LTRP에 대해 시그널링되는 정보는 현재의 화상과 LTRP 사이 (모드 1) 또는 LTRP와 디코딩 순서에서 이전 RAP 화상 사이 (모드 2), delta POC 값이다. 이 제 1 예시적인 구현예는 또한 현재의 RPS 시그널링 및 WD7의 STRP들에 대한 유도와 연합된다. 비디오 인코더 (20) 와 같은, 인코더들은 더 적은 비트들이 사용되게 초래할 시그널링될 각각의 LTRP에 대해 2개의 모드들 중 하나를 선택할 수도 있다. 예를 들어, LTRP가 출력/디스플레이 순서 거리에서 현재의 화상보다 디코딩 순서에서 이전 RAP에 더 가까우면, 비디오 인코더 (20) 는 모드 2를 이용하도록 구성될 수도 있다. 그렇지 않으면, 비디오 인코더 (20) 는 모드 1을 이용할 수도 있다. 이와 유사하게, 비디오 디코더 (30) 는 사용할 모드를 기술하는 구문 데이터를 수신하고, 구문 데이터에 의해 시그널링된 모드를 이용할 수도 있다.

제 1 예시적인 구현예를 달성하기 위해, WD7에 비해, 다음 구문, 의미들, 및 코딩 프로세스 변화들이, 사용될 수도 있으며, 여기서, 밑줄친 텍스트는 WD7에 대한 변화를 나타낸다. 아래의 테이블 5는 화상 파라미터 세트 (PPS) 에 대한 구문의 예시적인 세트를 제공한다.

테이블 5

이 제 1 예시적인 구현예에서, 테이블 5에 나타낸 바와 같이, PPS 구문은 WD7에 비해, 추가적인 구문 엘리먼트, poc_lt_idc를 포함한다. 다른 구문 엘리먼트들에 대한 의미들은 동일하게 유지할 수도 있다. 이 예에서, poc_lt_idc는 슬라이스 헤더에 delta_poc_lt_curr_pic_flag[i] 의 존재를 표시하기 위해, 그리고, delta_poc_lt_curr_pic_flag[i]가 슬라이스 헤더에 존재하지 않을 때, 슬라이스 헤더에서 delta_poc_lt_curr_pic_flag[i] 의 추론된 값을 결정하기 위해, 사용될 수도 있다. 이 예에서, poc_lt_idc가 0 또는 1과 동일하면, delta_poc_lt_curr_pic_flag[i]는 슬라이스 헤더에 존재하지 않고 그 값은 poc_lt_idc와 동일한 것으로 추론된다. 이 예에서, poc_lt_idc가 2와 동일할 때, delta_poc_lt_curr_pic_flag[i]는 슬라이스 헤더에서 시그널링된다. 이 예에서, poc_lt_idc에 대해 값 3이 미래 사용을 위해 예약된다.

테이블 6은 제 1 예시적인 구현예에 따른, 슬라이스 헤더에 대한 구문의 예시적인 세트를 제공한다.

테이블 6

이 예에서, 슬라이스 헤더는 delta_poc_lt_curr_pic_flag[i], delta_poc_lt_len[i], 및 일부 경우들에서는, delta_poc_lt[i] 의 추가적인 구문 엘리먼트들을 포함한다. 예시적인 의미들의 세트가 아래에 이들 구문 엘리먼트들에 대해 설명된다. 다른 구문 엘리먼트들에 대한 의미들은 WD7에서와 동일하게 유지할 수도 있다.

이 제 1 예시적인 구현예에서, 1과 동일한 delta_poc_lt_curr_pic_flag[i]는 delta_poc_lt[i]가 현재의 화상과 i-번째 장기 참조 화상 사이에서 화상 순서 카운트 차이를 나타낸다고 규정할 수도 있다. 0과 동일한 delta_poc_lt_curr_pic_flag[i]는 delta_poc_lt[i]가 디코딩 순서에서 이전 RAP 화상과 i-번째 장기 참조 화상 사이에서 화상 순서 카운트 차이를 나타낸다고 규정할 수도 있다. (예컨대, 테이블 5 의) poc_lt_idc가 0 또는 1과 동일하면, delta_poc_lt_curr_pic_flag[i] 의 값은 poc_lt_idc와 동일한 것으로 추론될 수도 있다.

이 제 1 예시적인 구현예에서, delta_poc_lt_len[i]는 delta_poc_lt[i]를 표현하기 위한 비트수를 규정하는데 이용될 수도 있다. delta_poc_lt_curr_pic_flag[i]가 0과 동일하면, delta_poc_lt_len[i]의 값은 0부터 24까지의 범위 이내에 있을 수도 있다. 그렇지 않으면, (delta_poc_lt_curr_pic_flag[i]가 1과 동일하면), delta_poc_lt_len[i] 의 값은 1부터 24까지의 범위 이내에 있을 수도 있다.

변수 DeltaPocLtLen[i]는 다음과 같이 유도될 수도 있다:

이의 대안으로, delta_poc_lt_len[i]는 u(N) 으로서 고정된-길이 코딩되는 poc_lt_len[i] 로 변경될 수도 있으며, 여기서, N은 5 이다. 이 경우, 의미들은 다음과 같을 수도 있다. poc_lt_len[i]는 delta_poc_lt[i]를 표현하기 위한 비트수를 규정할 수도 있다. delta_poc_lt_curr_pic_flag[i]가 0과 동일하면, poc_lt_len[i] 의 값은 0부터 24까지의 범위 내에 있을 수도 있으며, 그렇지 않으면, (delta_poc_lt_curr_pic_flag[i]가 1과 동일하면), poc_lt_len[i] 의 값은 1부터 24까지의 범위 이내에 있을 수도 있다. 변수 DeltaPocLtLen[i]는 poc_lt_len[i]과 동일하게 설정될 수도 있다.

이 제 1 예시적인 구현예에서, delta_poc_lt[i]는 현재의 화상의 장기 참조 화상 세트에 포함되는 i-번째 장기 참조 화상의 delta 화상 순서 카운트 값을 규정할 수도 있다. delta_poc_lt[i] 의 길이는 DeltaPocLtLen[i] 일 수도 있다.

비디오 디코더 (30) 는 다음과 같이 이 제 1 예시적인 구현예에 따라서 참조 화상 세트에 대한 디코딩 프로세스를 수행하도록 구성될 수도 있다. 비디오 인코더 (20) 는 유사한 프로세스를 수행하는 한편, 비디오 데이터를 인코딩하여 참조 화상 세트를 발생할 수도 있다. 비디오 디코더 (30) 는 슬라이스 헤더의 디코딩 이후 그러나 임의의 코딩 유닛의 디코딩 이전, 그리고 WD7의 하위 조항 8.3.3에 규정된 바와 같은 슬라이스의 참조 화상 리스트 구성을 위한 디코딩 프로세스 이전에, 이 디코딩 프로세스를 화상 당 한번 호출할 수도 있다. 프로세스는 하나 이상의 참조 화상들을 "참조용으로 미사용됨"으로 마킹하도록 초래할 수도 있다. "주 (NOTE)"에서 시작하는 WD7로부터의 인용문들은 WD7로부터 직접 취한 인용문들로서 단지 인식되어야 하며, 본 개시물의 기법들에 필수적인 것으로 인식되지 않아야 한다.

주 1 - 참조 화상 세트는 현재 및 미래 코딩되는 화상들의 디코딩 프로세스에 사용되는 참조 화상들의 완벽한 설명이다. 참조 화상 세트 시그널링은, 참조 화상 세트에 포함된 모든 참조 화상들이 명시적으로 리스트되고 디코딩 화상 버퍼의 상태에 의존하는 디코더에서 디폴트 참조 화상 세트 구성 프로세스가 존재하지 않는다는 점에서 볼 때 명시적이다 (explicit).

참조 화상들은 그들의 PicOrderCntVal 값들에 의해 식별될 수도 있다.

화상 순서 카운트 값들의 5개의 리스트들은 참조 화상 세트 - 엘리먼트들의 NumPocStCurrBefore, NumPocStCurrAfter, NumPocStFoll, NumPocLtCurr, 및 NumPocLtFoll 수를 각각 가진 PocStCurrBefore, PocStCurrAfter, PocStFoll, PocLtCurr, 및 PocLtFoll을 유도하도록 구성될 수도 있다.

현재의 화상이 비트스트림에서 제 1 코딩된 화상인 CRA 화상, IDR 화상, 또는 BLA 화상이면, PocStCurrBefore, PocStCurrAfter, PocStFoll, PocLtCurr, 및 PocLtFoll은 모두 공백 (empty) 으로 설정되며, NumPocStCurrBefore, NumPocStCurrAfter, NumPocStFoll, NumPocLtCurr, 및 NumPocLtFoll은 모두 0으로 설정될 수도 있다.

그렇지 않으면, 다음이 화상 순서 카운트 값들의 5개의 리스트들 및 엔트리들의 수들 (numbers of entries) 의 유도에 적용될 수도 있다.

주 2 - 0부터 num_short_term_ref_pic_sets - 1까지의 범위 내인 StRpsIdx 의 값은, 활성 시퀀스 파라미터 세트로부터의 단기 참조 화상 세트가 사용되고 있다는 것을 표시할 수도 있으며, 여기서, StRpsIdx는 단기 참조 화상 세트들이 시퀀스 파라미터 세트에서 시그널링되는 순서에서 단기 참조 화상 세트들의 리스트에 대한 단기 참조 화상 세트의 인덱스이다. num_short_term_ref_pic_sets와 동일한 StRpsIdx는 슬라이스 헤더에서 명시적으로 시그널링되는 단기 참조 화상 세트가 사용되고 있다는 것을 표시한다.

참조 화상 세트는 참조 화상들의 5개의 리스트들 - RefPicSetStCurrBefore, RefPicSetStCurrAfter, RefPicSetStFoll, RefPicSetLtCurr 및 RefPicSetLtFoll을 포함할 수도 있다. 변수 NumPocTotalCurr은 NumPocStCurrBefore + NumPocStCurrAfter + NumPocLtCurr과 동일하게 설정될 수도 있다. P 또는 B 슬라이스를 디코딩할 때, WD7은 비트스트림 순응성을 위해, NumPocTotalCurr의 값이 0과 동일하지 않을 것을 요구한다.

주 3 - RefPicSetStCurrBefore, RefPicSetStCurrAfter 및 RefPicSetLtCurr은 현재의 화상의 인터 예측에 사용될 수도 있고 디코딩 순서에서 현재의 화상에 뒤따르는 화상들의 하나 이상의 인터 예측에 사용될 수도 있는 모든 참조 화상들을 포함할 수도 있다. RefPicSetStFoll 및 RefPicSetLtFoll은 현재의 화상의 인터 예측에 사용되지 않지만 디코딩 순서에서 현재의 화상에 뒤따르는 화상들의 하나 이상의 인터 예측에 사용될 수도 있는 모든 참조 화상들을 포함할 수도 있다.

참조 화상의 마킹은 "참조용으로 미사용됨", "단기 참조용으로 사용됨", 또는 "장기 참조용으로 사용됨" 일 수 있으며, 그러나 WD7에서는, 이들 3개 중 오직 하나이다. 참조 화상이 "참조용으로 사용됨" 으로서 마킹되는 것으로 지칭될 때, 이것은 일괄하여 "단기 참조용으로 사용됨" 또는 "장기 참조용으로 사용됨" 으로서 마킹되는 화상을 지칭한다 (그러나, WD7에서 둘다는 아니다). "단기 참조용으로 사용됨"으로 마킹되는 참조 화상은 단기 참조 화상으로 지칭된다. "장기 참조용으로 사용됨"으로 마킹되는 참조 화상은 장기 참조 화상으로 지칭된다.

참조 화상 세트에 대한 유도 프로세스 및 화상 마킹은 다음 순서로 된 단계들에 따라서 수행되며, 여기서, DPB는 WD7의 부속서 C에서 설명된 바와 같은 디코딩 화상 버퍼를 지칭하며, 여기서 (#-#) 는 WD7의 수식 번호를 지칭한다:

1. 다음이 적용된다:

2. RefPicSetLtCurr 및 RefPicSetLtFoll에 포함된 모든 참조 화상들은 "장기 참조용으로 사용됨"으로 마킹된다

3. 다음이 적용된다:

4. RefPicSetStCurrBefore, RefPicSetStCurrAfter 및 RefPicSetStFoll에 포함된 모든 참조 화상들은 "단기 참조용으로 사용됨"으로 마킹된다.

RefPicSetLtCurr, RefPicSetLtFoll, RefPicSetStCurrBefore, RefPicSetStCurrAfter 또는 RefPicSetStFoll에 포함되지 않는 디코딩 화상 버퍼 내 모든 참조 화상들은 "참조용으로 미사용됨"으로 마킹될 수도 있다.

주 4 - 참조 화상 세트에 포함되지만 디코딩 화상 버퍼에 존재하지 않는 하나 이상의 참조 화상들이 있을 수도 있다. "참조 화상 없음"과 동일한 RefPicSetStFoll 또는 RefPicSetLtFoll에서의 엔트리들은 무시되어야 한다. 다음 2개의 조건들 중 어느 조건도 참이 아니면, 의도하지 않은 화상 손실은 WD7에서, "참조 화상 없음"과 동일한 RefPicSetStCurrBefore, RefPicSetStCurrAfter 및 RefPicSetLtCurr에서 각각의 엔트리에 대해, 추론되어야 한다: a) 비트스트림에서 제 1 코딩된 화상은 CRA 화상이고 현재의 코딩된 화상은 비트스트림에서 제 1 코딩된 화상과 연관된 TFD 화상이다; b) 디코딩 순서에서 현재의 코딩된 화상에 선행하는 이전 RAP 화상은 BLA 화상이고 현재의 코딩된 화상은 BLA 화상과 연관된 TFD 화상이다.

이의 대안으로, WD7은 상기에서, DPB에서의 각각의 식별된 picX가 "참조용으로 사용됨"으로 마킹될 것을 요구할 수도 있다. 이의 대안으로, WD7은 "참조용으로 미사용됨"으로 마킹된 화상이 "참조용으로 사용됨"으로 결코 마킹되지 않도록 제한할 수도 있다.

이의 대안으로, 상기 5개의 단계들은 다음에 의해 대체될 수도 있다:

1. 다음이 적용된다:

3. 다음이 적용된다:

5. RefPicSetLtCurr, RefPicSetLtFoll, RefPicSetStCurrBefore, RefPicSetStCurrAfter 또는 RefPicSetStFoll에 포함되지 않는 디코딩 화상 버퍼 내 모든 참조 화상들은 "참조용으로 미사용됨"으로 마킹된다.

주 4 - 참조 화상 세트에 포함되지만 디코딩 화상 버퍼에 존재하지 않는 하나 이상의 참조 화상들이 있을 수도 있다. "참조 화상 없음"과 동일한 RefPicSetStFoll 또는 RefPicSetLtFoll에서의 엔트리들은 WD7에 따라서, 무시되어야 한다. 다음 2개의 조건들 중 어느 조건도 참이 아니면, 의도하지 않은 화상 손실은 WD7에서, "참조 화상 없음"과 동일한 RefPicSetStCurrBefore, RefPicSetStCurrAfter 및 RefPicSetLtCurr에서 각각의 엔트리에 대해, 추론되어야 한다: a) 비트스트림에서 제 1 코딩된 화상은 CRA 화상이고 현재의 코딩된 화상은 비트스트림에서 제 1 코딩된 화상과 연관된 TFD 화상이다; b) 디코딩 순서에서 현재의 코딩된 화상에 선행하는 이전 RAP 화상은 BLA 화상이고 현재의 코딩된 화상은 BLA 화상과 연관된 TFD 화상이다.

이의 대안으로, 상기 단계들의 순서는 3, 4, 1, 2, 및 5로 변경될 수도 있다.

일부 예들에서, WD7은 비트스트림 순응성을 위해, 참조 화상 세트가 다음과 같이 제한될 것을 요구한다:

- RefPicSetStCurrBefore, RefPicSetStCurrAfter 및 RefPicSetLtCurr에 포함된 현재의 화상의 temporal_id 보다 큰 temporal_id를 가진 어떤 참조 화상도 존재하지 않을 것이다.

- 현재의 화상이 TLA 화상일 때, 현재의 화상의 temporal_id 보다 크거나 또는 동일한 temporal_id를 가진 참조 화상 세트에 포함되는 어떤 참조 화상도 존재하지 않을 것이다.

- 출력 순서에서, 디코딩 순서 및 출력 순서 양쪽에서 현재의 화상에 선행하는 임의의 RAP 화상에 선행하는 참조 화상 세트에 포함되는 어떤 참조 화상도 존재하지 않을 것이다.

- 다음 조건들 중 어느 조건도 참이 아니면, "참조 화상 없음"과 동일한 RefPicSetStCurrBefore, RefPicSetStCurrAfter 또는 RefPicSetLtCurr에서 어떤 엔트리도 존재하지 않을 것이다: a) 비트스트림에서 제 1 코딩된 화상은 CRA 화상이고 현재의 코딩된 화상은 비트스트림에서 제 1 코딩된 화상과 연관된 TFD 화상이다; b) 디코딩 순서에서 현재의 코딩된 화상에 선행하는 이전 RAP 화상은 BLA 화상이고 현재의 코딩된 화상은 BLA 화상과 연관된 TFD 화상이다.

주 5 - 참조 화상은 5개의 참조 화상 세트 리스트들 중 하나 이상에 포함될 수 없다.

일부 예들에서, WD7은 상기 제한 사항들이 다음과 같을 수도 있음을 규정한다:

- RefPicSetStCurrBefore, RefPicSetStCurrAfter 또는 RefPicSetLtCurr에 포함된 현재의 화상의 temporal_id 보다 큰 temporal_id를 가진 어떤 참조 화상도 존재하지 않을 것이다.

- prevRapPic가 디코딩 순서에서 이전 RAP 화상이라 하자. 현재의 화상이 RAP 화상이거나 또는 출력 순서에서, prevRapPic에 선행할 때, 디코딩 순서 및 출력 순서 양쪽에서 현재의 화상에 선행하는 임의의 RAP 화상에 출력 순서에서 선행하는 참조 화상 세트에 포함되는 어떤 참조 화상도 존재하지 않을 것이다.

- prevRapPic가 디코딩 순서에서 이전 RAP 화상이라 하자. 현재의 화상이 RAP 화상이 아니고 출력 순서에서 prevRapPic에 뒤따를 때, 디코딩 순서에서 prevRapPic에 선행하는 참조 화상 세트에 포함되는 어떤 참조 화상도 존재하지 않을 것이며, TFD 화상들인 참조 화상 세트에 포함되는 어떤 참조 화상도 존재하지 않을 것이다.

주 5 - 참조 화상은 WD7에 따라서, 5개의 참조 화상 세트 리스트들 중 하나 이상에 포함될 수 없다.

HEVC WD7에서의 구문 구조에 기초하는, 제 2 예시적인 구현예는 LTRP의 MSB 사이클을 항상 시그널링하고 구문 엘리먼트 delta_poc_msb_present_flag[i]를 제거하는 방법을 포함한다. 또, 제 1 예시적인 구현예 및 제 2 예시적인 구현예의 여러 기법들이 임의의 조합으로 결합될 수도 있는 것으로 이해되어야 한다. 비디오 인코더 (20) 및 비디오 디코더 (30) 는 이 제 2 예시적인 구현예의 기법들 중 임의의 기법 또는 모두를, 단독으로, 또는 위에서 설명된 제 1 예시적인 구현예의 기법들 중 하나 이상과 임의의 조합으로, 수행하도록 구성될 수도 있다. 아래의 테이블 7은 이 제 2 예시적인 구현예에 따른, 슬라이스 헤더에 대한 구문의 예시적인 세트를 제공한다.

테이블 7

테이블 7 의 예시적인 슬라이스 헤더 구문에서, WD7에 비해, 구문 엘리먼트 delta_poc_msb_cycle_lt[i]가 추가된다. 이 구문 엘리먼트에 대한 의미들은 아래에서 설명하는 바와 같을 수도 있으며, 반면 다른 구문 엘리먼트들에 대한 의미들은, 달리 언급하지 않는 한, WD7에서와 동일하게 유지할 수도 있다. 이 제 2 예시적인 구현예에서, delta_poc_msb_cycle_lt[i]는 현재의 화상의 장기 참조 화상 세트에 포함되는 i-번째 장기 참조 화상의 화상 순서 카운트 값의 최상위 비트들의 값을 결정하기 위해 이용될 수도 있다.

이 제 2 예시적인 구현예에서, 변수 DeltaPocMSBCycleLt[i]는 다음과 같이 유도될 수도 있으며, 여기서, (#-#) 는 WD7의 수식 번호를 지칭하며 밑줄친 텍스트는 WD7에 대한 변화를 나타낸다:

비디오 디코더 (30) 는 참조 화상 세트에 대해 다음 디코딩 프로세스를 수행할 수도 있다. 비디오 인코더 (20) 는 실질적으로 유사한 프로세스를 수행하는 한편, 비디오 데이터를 인코딩하여 참조 화상 세트를 발생하도록 구성될 수도 있다. 이 프로세스는 슬라이스 헤더의 디코딩 이후 그러나 임의의 코딩 유닛의 디코딩 이전에, 그리고 WD7의 하위 조항 8.3.3에 규정된 바와 같은 슬라이스의 참조 화상 리스트 구성을 위한 디코딩 프로세스 이전에, 화상 당 한번 호출된다. 프로세스는 하나 이상의 참조 화상들을 "참조용으로 미사용됨"으로 마킹하도록 초래할 수도 있다.

이 제 2 예시적인 구현예에서, 참조 화상들은 그들의 PicOrderCntVal 값들에 의해 식별된다.

- 현재의 화상이 비트스트림에서 제 1 코딩된 화상인 CRA 화상, IDR 화상, 또는 BLA 화상이면, PocStCurrBefore, PocStCurrAfter, PocStFoll, PocLtCurr, 및 PocLtFoll은 모두 공백으로 설정되며, NumPocStCurrBefore, NumPocStCurrAfter, NumPocStFoll, NumPocLtCurr, 및 NumPocLtFoll은 모두 0으로 설정된다.

- 그렇지 않으면, 다음이 화상 순서 카운트 값들의 5개의 리스트들 및 엔트리들의 수들의 유도에 적용된다.

주 2 - 이 예에서, 0부터 num_short_term_ref_pic_sets - 1까지의 범위 내에서의 StRpsIdx 의 값은, 활성 시퀀스 파라미터 세트로부터의 단기 참조 화상 세트가 사용되고 있다는 것을 표시하며, 여기서, StRpsIdx는 단기 참조 화상 세트들이 시퀀스 파라미터 세트에서 시그널링되는 순서에서 단기 참조 화상 세트들의 리스트에 대한 단기 참조 화상 세트의 인덱스이다. num_short_term_ref_pic_sets와 동일한 StRpsIdx는 슬라이스 헤더에서 명시적으로 시그널링되는 단기 참조 화상 세트가 사용되고 있다는 것을 표시한다.

참조 화상 세트는 참조 화상들의 5개의 리스트들 - RefPicSetStCurrBefore, RefPicSetStCurrAfter, RefPicSetStFoll, RefPicSetLtCurr 및 RefPicSetLtFoll을 포함할 수도 있다. 변수 NumPocTotalCurr는 NumPocStCurrBefore + NumPocStCurrAfter + NumPocLtCurr과 동일하게 설정될 수도 있다. P 또는 B 슬라이스를 디코딩할 때, WD7은 비트스트림 순응성을 위해, NumPocTotalCurr 의 값이 0과 동일하지 않을 것을 요구한다.

참조 화상의 마킹은 "참조용으로 미사용됨", "단기 참조용으로 사용됨", 또는 "장기 참조용으로 사용됨" 일 수 있으며, 그러나 WD7에서는 이들 3개 중 오직 하나이다. 참조 화상이 "참조용으로 사용됨" 으로서 마킹되는 것으로 지칭될 때, 이것은 일괄하여 "단기 참조용으로 사용됨" 또는 "장기 참조용으로 사용됨" 으로서 마킹되는 화상을 지칭한다 (그러나, WD7에서 둘다는 아니다). "단기 참조용으로 사용됨"으로 마킹되는 참조 화상은 단기 참조 화상으로 지칭된다. "장기 참조용으로 사용됨"으로 마킹되는 참조 화상은 장기 참조 화상으로 지칭된다.

참조 화상 세트에 대한 유도 프로세스 및 화상 마킹은 제 2 예시적인 구현예에 대해, 제 1 예시적인 구현예와 동일한 방법으로 수행될 수도 있다.

제 3 예시적인 구현예는, 디코딩 순서에서 CRA 또는 BLA 화상에 뒤따르는 화상들이 디코딩 순서에서 CRA 또는 BLA 화상들에 선행하는 화상들을 LTRP들로서 사용하도록 허용되지 않는다는 제한 사항과 함께, 단순화된 LTRP 시그널링 방법을 제공한다. 그 결과, 리딩 화상들은 디코딩 순서에서, 연관된 CRA 또는 BLA 화상에 선행하는 화상들을, LTRP들로서 참조하도록 허용되지 않는다. 비-TFD 화상들에 대해, LTRP LSB를 시그널링하는데 요구되는 비트수는 TFD로 마킹되지 않은 가장 작은 POC를 갖고, 디코딩 순서에서, 현재의 화상에 선행하고, 그리고 디코딩 순서에서 이전 RAP 화상을 포함하여, 디코딩 순서에서 이전 RAP 화상에 디코딩 순서에서 후행하는 화상에 의해 결정될 수도 있다.

TFD 화상들에 대해, LTRP LSB를 시그널링하는데 요구되는 비트수는 디코딩 순서에서 현재의 화상에 선행하는 가장 작은 POC를 갖고, 디코딩 순서에서 이전 RAP 화상을 포함하여, 디코딩 순서에서 이전 RAP 화상에 디코딩 순서에서 후행하는 화상에 의해 결정된다. 구문 구조는 JCTVC-I0342, JCTVC에 대한 기고문, 9차 회의: 2012년 4월 27 일 내지 5월 7일, 스위스, 제네바, Wang 등, "On Reference Picture Set"에 기초하며, 이는 2013년 2월 5일 현재 http://phenix.int-evry.fr/jct/doc_end_user/documents/9_Geneva /wg11/JCTVC-I0342-v1.zip 로부터 입수가능하며, 참조로 본원에 포함되며, 여기서, LTRP LSB의 길이가 시그널링되고 LSB 비트들 자신들이 뒤따른다. 아래 이 제 3 예시적인 구현예의 설명에서, HEVC WD7에 대한, 참조 화상 세트의 의미들 및 디코딩 프로세스에서의 변화들은 밑줄쳐 진다. 더욱이, 제 3 예시적인 구현예의 기법들은 제 1 및/또는 제 2 예시적인 구현예들의 기법들과, 임의의 조합으로 결합될 수도 있는 것으로 이해되어야 한다.

테이블 8은 이 제 3 예시적인 구현예에 따른, 슬라이스 헤더에 대한 구문의 예시적인 세트를 제공한다.

테이블 8

테이블 8 의 예에서, 슬라이스 헤더는 추가적인 구문 엘리먼트들 poc_lsb_len_delta[i] 및 poc_lsb_lt[i]를 포함한다. 이들 구문 엘리먼트들에 대한 의미들이 아래에 설명되며, WD7에 대해 변경되는 어떤 구문 엘리먼트들에 대한 의미들이 또한 아래에 설명된다. 달리 언급하지 않는 한, 다른 구문 엘리먼트들에 대한 의미들은 WD7에서와 동일하게 유지할 수도 있다.

테이블 8 의 예에서, poc_lsb_len_delta[i]는 poc_lsb_lt[i]를 표현하기 위한 비트수를 규정하는데 이용될 수도 있다.

CurrPicOrderCntVal이 현재의 화상의 PicOrderCntVal이라 하자. 변수들 PrevLtRefPicPoc 및 PrevLtRefPicPocForTFD는 다음과 같이 유도된다.

변수 MaxPocLsbLtLen은 다음과 같이 유도될 수도 있다.

변수 PocLsbLtLen[i]은 MaxPocLsbLtLen과 동일하게 설정될 수도 있다.

이의 대안으로, 변수 PocLsbLtLen[i]은 다음과 같이 유도될 수도 있다.

PocLsbLtLen[i] 의 값은 log2_max_pic_order_cnt_lsb_minus4 + 4 내지 MaxPocLsbLtLen 의 범위 이내에 있을 수도 있다.

이의 대안으로, 구문 엘리먼트는 시그널링될 필요가 없으며, 변수 PocLsbLtLen[i]은 MaxPocLsbLtLen과 동일하게 설정될 수도 있다.

테이블 8 의 예에서, poc_lsb_lt[i]는 현재의 화상의 장기 참조 화상 세트에 포함되는 i-번째 장기 참조 화상의 화상 순서 카운트 값의 최하위 비트들을 규정할 수도 있다. poc_lsb_lt[i]는 0부터 (1<< PocLsbLtLen[i])-1까지의 범위 이내에 있을 것이다. poc_lsb_lt[i] 의 길이는 PocLsbLtLen[i] 이다.

비디오 디코더 (30) 는 이 제 3 예시적인 구현예에 따라서 참조 화상 세트에 대해 다음 디코딩 프로세스를 수행할 수도 있다. 비디오 인코더 (20) 는 실질적으로 유사한 프로세스를 수행하는 한편, 비디오 데이터를 인코딩하여 참조 화상 세트를 발생하도록 구성될 수도 있다. 이 프로세스는 슬라이스 헤더의 디코딩 이후 그러나 임의의 코딩 유닛의 디코딩 이전, 그리고 WD7의 하위 조항 8.3.3에 규정된 바와 같은 슬라이스의 참조 화상 리스트 구성을 위한 디코딩 프로세스 이전에, 화상 당 한번 호출될 수도 있다. 프로세스는 하나 이상의 참조 화상들을 "참조용으로 미사용됨"으로 마킹하도록 초래할 수도 있다.

주 1 - 참조 화상 세트는 현재 및 미래 코딩되는 화상들의 디코딩 프로세스에 사용되는 참조 화상들의 완벽한 설명일 수도 있다. 참조 화상 세트 시그널링은, 참조 화상 세트에 포함된 모든 참조 화상들이 명시적으로 리스트되고 디코딩 화상 버퍼의 상태에 의존하는 디코더에서 디폴트 참조 화상 세트 구성 프로세스가 존재하지 않는다는 점에서 볼 때 명시적일 수도 있다.

단기 참조 화상들은 그들의 PicOrderCntVal 값들에 의해 식별될 수도 있다. 장기 참조 화상들은 그들의 PicOrderCntVal 값들의 최하위 비트들에 의해 식별될 수도 있다.

화상 순서 카운트 값들의 5개의 리스트들 또는 화상 순서 카운트 값들의 최하위 비트들은 참조 화상 세트 - 엘리먼트들의 NumPocStCurrBefore, NumPocStCurrAfter, NumPocStFoll, NumPocLtCurr, 및 NumPocLtFoll 수를 각각 가진 PocStCurrBefore, PocStCurrAfter, PocStFoll, PocLtCurr, 및 PocLtFoll을 유도하도록 구성될 수도 있다.

- 현재의 화상이 비트스트림에서 제 1 코딩된 화상인 CRA 화상, IDR 화상, 또는 BLA 화상이면, PocStCurrBefore, PocStCurrAfter, PocStFoll, PocLtCurr, 및 PocLtFoll은 모두 공백으로 설정될 수도 있으며, NumPocStCurrBefore, NumPocStCurrAfter, NumPocStFoll, NumPocLtCurr, 및 NumPocLtFoll은 모두 0으로 설정될 수도 있다.

- 그렇지 않으면, 다음이 화상 순서 카운트 값들의 5개의 리스트들 및 엔트리들의 수들의 유도에 적용될 수도 있다.

여기서, PicOrderCntVal은 WD7의 하위 조항 8.2.1에 규정된 바와 같은 현재의 화상의 화상 순서 카운트이다.

주 2 - 0부터 num_short_term_ref_pic_sets - 1까지의 범위 내인 StRpsIdx 의 값은, 활성 시퀀스 파라미터 세트로부터의 단기 참조 화상 세트가 사용되고 있다는 것을 표시할 수도 있으며, 여기서, StRpsIdx는 단기 참조 화상 세트들이 시퀀스 파라미터 세트에서 시그널링되는 순서에서 단기 참조 화상 세트들의 리스트에 대한 단기 참조 화상 세트의 인덱스이다. num_short_term_ref_pic_sets와 동일한 StRpsIdx는 슬라이스 헤더에서 명시적으로 시그널링되는 단기 참조 화상 세트가 사용되고 있다는 것을 표시할 수도 있다.

참조 화상 세트는 참조 화상들의 5개의 리스트들 - RefPicSetStCurrBefore, RefPicSetStCurrAfter, RefPicSetStFoll, RefPicSetLtCurr 및 RefPicSetLtFoll을 포함할 수도 있다. 변수 NumPocTotalCurr은 NumPocStCurrBefore + NumPocStCurrAfter + NumPocLtCurr와 동일하게 설정된다. P 또는 B 슬라이스를 디코딩할 때, WD7은 비트스트림 순응성을 위해, NumPocTotalCurr 의 값이 0과 동일하지 않을 것을 요구한다.

참조 화상 세트에 대한 유도 프로세스 및 화상 마킹은 다음 순서로 된 단계들에 따라서 수행되며, 여기서, DPB는 WD7의 부속서 C에서 설명된 바와 같은 디코딩 화상 버퍼를 지칭한다:

1. 다음이 적용된다:

3. 다음이 적용된다:

주 4 - 참조 화상 세트에 포함되지만 디코딩 화상 버퍼에 존재하지 않는 하나 이상의 참조 화상들이 있을 수도 있다. "참조 화상 없음"과 동일한 RefPicSetStFoll 또는 RefPicSetLtFoll에서의 엔트리들은 WD7에 따라서, 무시되어야 한다. 다음 2개의 조건들 중 어느 조건도 참이 아니면, 의도하지 않은 화상 손실이 "참조 화상 없음"과 동일한 RefPicSetStCurrBefore, RefPicSetStCurrAfter 및 RefPicSetLtCurr에서의 각각의 엔트리에 대해 추론될 수도 있다: a) 비트스트림에서 제 1 코딩된 화상은 CRA 화상이고 현재의 코딩된 화상은 비트스트림에서 제 1 코딩된 화상과 연관된 TFD 화상이다; b) 디코딩 순서에서 현재의 코딩된 화상에 선행하는 이전 RAP 화상은 BLA 화상이고 현재의 코딩된 화상은 BLA 화상과 연관된 TFD 화상이다.

WD7은 비트스트림 순응성을 위해, 참조 화상 세트가 이 제 3 예시적인 구현예에 의해 수정된 바와 같이, 다음과 같이 제한되도록 요구한다:

- 0부터 NumPocLtCurr - 1까지의 범위 내에서의 i의 각각의 값에 대해, RefPicSetStCurrBefore, RefPicSetStCurrAfter 또는 RefPicSetStFoll에 포함되지 않고 그리고 GetLSB(PicOrderCntVal, PocLsbLenCurr[i])가 PocLtCurr[i]와 동일한 PicOrderCntVal을 가지는 DPB에, 하나 보다 많은 참조 화상이 존재하지 않을 것이다. 0부터 NumPocLtFoll- 1까지의 범위 내에서의 i의 각각의 값에 대해, RefPicSetStCurrBefore, RefPicSetStCurrAfter 또는 RefPicSetStFoll에 포함되지 않고 그리고 GetLSB(PicOrderCntVal, PocLsbLenFoll[i])가 PocLtFoll[i]와 동일한 PicOrderCntVal을 가지는 DPB에, 하나 보다 많은 참조 화상이 존재하지 않을 것이다.

- prevRapPic가 디코딩 순서에서 이전 RAP 화상이라 하자. 현재의 화상이 RAP 화상이거나 또는 출력 순서에서, prevRapPic에 선행할 때, 디코딩 순서에서, prevRapPic에 선행하는 RefPicSetLtCurr 또는 RefPicSetLtFoll에 포함된 어떤 참조 화상도 없을 것이다.

제 4 예시적인 구현예는 위에서 설명된 제 3 예시적인 구현예에서의 구문 구조에 기초하여 LTRP 시그널링 방법을 제공하며, 여기서, LTRP LSB의 길이가 시그널링되며, LSB 비트들 자신들이 뒤따른다. 리딩 화상들이 연관된 RAP 이전 화상들을 참조하지 않는다는 제한 사항은 이 제 4 예시적인 구현예에서 제거된다. 이 제 4 예시적인 구현예에서, RAP 화상과 연관된 TFD 화상들은 디코딩 순서에서, 동일한 RAP 화상과 연관되는 임의의 DLP 화상에 후행하는 것이 허용되지 않는다. 비-TFD 화상들에 대해, LTRP LSB를 시그널링하는데 요구되는 비트수는 TFD 화상으로서 마킹되지 않은 가장 작은 POC를 갖고, 디코딩 순서에서 현재의 화상에 선행하고, 그리고 디코딩 순서에서 이전 RAP 화상을 포함하여, 디코딩 순서에서 이전 RAP 화상에 디코딩 순서에서 후행하는 화상에 의해 결정될 수도 있다. TFD 화상들에 대해, LTRP LSB를 시그널링하는데 요구되는 비트수는 디코딩 순서에서 현재의 화상에 선행하는 가장 작은 POC를 갖고, 디코딩 순서에서 이전 RAP 화상 이전 RAP를 포함하여, 디코딩 순서에서 이전 RAP 화상 이전 RAP에 출력 순서에서 후행하는 화상에 의해 결정될 수도 있다. 제 3 예시적인 구현예로부터의 의미들 및 RPS 유도 프로세스에 대한 변화들만이 단지 아래에 제시된다. 제 4 예시적인 구현예의 기법들은 제 1, 제 2, 및/또는 제 3 예시적인 구현예들의 기법들 중 임의의 기법과, 임의의 조합으로 결합될 수도 있는 것으로 이해되어야 한다. 밑줄친 텍스트는 위에서 설명된 제 3 예시적인 구현예에 대한 변화들을 나타낸다.

이 제 4 예시적인 구현예에서, poc_lsb_len_delta[i]는 poc_lsb_lt[i]를 표현하기 위한 비트수를 규정하는데 사용될 수도 있다.

CurrPicOrderCntVal이 현재의 화상의 PicOrderCntVal 이라 하자. PrevRapPicPoc가 디코딩 순서에서 현재의 화상에 선행하는 RAP 화상의 PicOrderCntVal 이라 하자. 변수들 PrevPrevLtRefPicPoc 및 PrevLtRefPicPoc는 다음과 같이 유도된다.

변수 MaxPocLsbLtLen은 다음과 같이 유도될 수도 있다.

PocLsbLtLen[i]에 대한 유도 프로세스는 위에서 설명한 바와 같이 제 3 예시적인 구현예에서와 같은 동일한 방법으로 수행될 수도 있다.

비디오 디코더 (30) 는 참조 화상 세트에 대해 다음 디코딩 프로세스를 수행할 수도 있다. 비디오 인코더 (20) 는 실질적으로 유사한 프로세스를 수행하는 한편, 비디오 데이터를 인코딩하여 참조 화상 세트를 발생하도록 구성될 수도 있다. 이 프로세스는 슬라이스 헤더의 디코딩 이후 그러나 임의의 코딩 유닛의 디코딩 이전, 그리고 WD7의 하위 조항 8.3.3에 규정된 바와 같은 슬라이스의 참조 화상 리스트 구성을 위한 디코딩 프로세스 이전에, 화상 당 한번 호출될 수도 있다. 프로세스는 하나 이상의 참조 화상들을 "참조용으로 미사용됨"으로 마킹하도록 초래할 수도 있다.

주 1 - 참조 화상 세트는 현재 및 미래 코딩되는 화상들의 디코딩 프로세스에 사용되는 참조 화상들의 완벽한 설명일 수도 있다. 참조 화상 세트 시그널링은, 참조 화상 세트에 포함된 모든 참조 화상들이 명시적으로 리스트되고 디코딩 화상 버퍼의 상태에 의존하는 디코더에서 디폴트 참조 화상 세트 구성 프로세스가 존재하지 않는다는 점에서 볼 때 명시적이다.

이 제 4 예시적인 구현예에서, 참조 화상들은 그들의 PicOrderCntVal 값들에 의해 식별된다.

아래 타원들은 텍스트가 제 3 예시적인 구현예 및/또는 WD7의 현재의 버전에서와 동일하게 유지할 수도 있다는 것을 나타낸다:

- …

- CRA 또는 BLA 화상과 연관된 임의의 TFD 화상은 TFD로 마킹되지 않고, 출력 순서에서 CRA 또는 BLA 화상에 선행하고 그리고 디코딩 순서에서 CRA 또는 BLA 화상에 후행하는 임의의 화상에 선행할 것이다.

제 5 예시적인 구현예는 또한, 제 3 예시적인 구현예에 일반적으로 기초한다. 이 제 5 예시적인 구현예는, CRA 또는 BLA 화상과 연관된 리딩 화상들이 그 연관된 CRA 또는 BLA 화상, 또는 동일한 CRA 또는 BLA 화상과 연관된 다른 리딩 화상들을 LTRP들로서 참조하는 것을 허용하지 않는 방법을 개시한다. 제 3 예시적인 구현예에서, 리딩 화상들이 연관된 RAP 이전 화상들을 LTRP들로서 참조하지 않는다는 제한 사항은 이 제 5 예시적인 구현예에서 제거된다. 이 제 5 예시적인 구현예에서, LTRP LSB를 시그널링하는데 요구되는 비트수는 출력 순서에서, 현재의 화상에 선행하는 RAP 화상에 의해 결정될 수도 있다. 더욱이, 이 제 5 예시적인 구현예의 기법들이 제 1, 제 2, 제 3, 및/또는 제 4 예시적인 구현예들의 기법들 중 임의의 기법과, 임의의 조합으로 결합될 수도 있는 것으로 이해되어야 한다.

이 제 5 예시적인 구현예에서, 제 3 예시적인 구현예의 슬라이스 헤더 의미들은 아래에 밑줄친 텍스트에 의해 표시된 바와 같이 변경될 수도 있다:

CurrPicOrderCntVal이 현재의 화상의 PicOrderCntVal이라 하자. PrevRapPicPoc가 출력 순서에서, 현재의 화상에 선행하는 RAP 화상의 PicOrderCntVal이라 하자.

변수 MaxPocLsbLtLen은 다음과 같이 유도될 수도 있다.

PocLsbLtLen[i]에 대한 유도 프로세스는 제 3 예시적인 구현예에서와 같은 동일한 방법으로 수행될 수도 있다.

이 제 5 예시적인 구현예에서, 참조 화상들은 그들의 PicOrderCntVal 값들에 의해 식별된다.

- …

- prevRapPic이 디코딩 순서에서 이전 RAP 화상이라 하자. 현재의 화상이 출력 순서에서, prevRapPic에 선행할 때, prevRapPic, 또는 출력 순서에서 prevRapPic에 선행하지만 디코딩 순서에서 prevRapPic에 후행하는 임의의 화상인 RefPicSetLtCurr 또는 RefPicSetLtFoll에 포함되는 어떤 참조 화상도 존재하지 않을 것이다.

비디오 인코더 (20) 및 비디오 디코더 (30) 각각은, 적용가능한 경우, 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSP들), 주문형 집적회로들 (ASIC들), 필드 프로그래밍가능 게이트 어레이들 (FPGA들), 이산 로직 회로, 소프트웨어, 하드웨어, 펌웨어 또는 임의의 이들의 조합들과 같은, 다양한 적합한 인코더 또는 디코더 회로 중 임의의 회로로서 구현될 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있으며, 이들 중 어느 쪽이든 결합된 비디오 인코더/디코더 (코덱) 의 일부로서 통합될 수도 있다. 비디오 인코더 (20) 및/또는 비디오 디코더 (30) 를 포함하는 디바이스는 집적 회로, 마이크로프로세서, 및/또는 무선 통신 디바이스, 예컨대 셀룰러 전화기를 포함할 수도 있다.

도 2는 슬라이스 헤더들에서 장기 참조 화상들을 시그널링하는 기법들을 구현할 수도 있는 비디오 인코더 (20) 의 일 예를 예시하는 블록도이다. 비디오 인코더 (20) 는 비디오 슬라이스들 내 비디오 블록들의 인트라-코딩 및 인터-코딩을 수행할 수도 있다. 인트라 코딩은 주어진 비디오 프레임 또는 화상 내 비디오에서 공간 리던던시를 감소시키거나 또는 제거하기 위해, 공간 예측에 의존한다. 인터-코딩은 비디오 시퀀스의 인접 프레임들 또는 화상들 내 비디오에서 시간 리던던시를 감소시키거나 또는 제거하기 위해, 시간 예측에 의존한다. 인트라-모드 (I 모드) 는 여러 공간 기반의 압축 모드들 중 임의의 코딩 모드를 지칭할 수도 있다. 단방향 예측 (P 모드) 또는 양방향-예측 (B 모드) 과 같은 인터-모드들은 여러 시간-기반의 코딩 모드들 중 임의의 모드를 지칭할 수도 있다.

도 2에 나타낸 바와 같이, 비디오 인코더 (20) 는 인코딩되는 비디오 프레임 내 현재의 비디오 블록을 수신한다. 도 2 의 예에서, 비디오 인코더 (20) 는 모드 선택 유닛 (40), 참조 화상 메모리 (64), 합산기 (50), 변환 프로세싱 유닛 (52), 양자화 유닛 (54), 및 엔트로피 인코딩 유닛 (56) 을 포함한다. 모드 선택 유닛 (40) 은, 결과적으로, 모션 보상 유닛 (44), 모션 추정 유닛 (42), 인트라-예측 프로세싱 유닛 (46), 및 파티션 유닛 (48) 을 포함한다. 비디오 블록 재구성을 위해, 비디오 인코더 (20) 는 또한 역양자화 유닛 (58), 역변환 프로세싱 유닛 (60), 및 합산기 (62) 를 포함한다. 디블록킹 필터 (도 2에 미도시) 가 또한 블록 경계들을 필터링하여 재구성된 비디오로부터 블록킹 현상 아티팩트들을 제거하기 위해 포함될 수도 있다. 원할 경우, 디블록킹 필터는 일반적으로 합산기 (62) 의 출력을 필터링할 것이다. (루프 내의 또는 루프 이후의) 추가적인 필터들이 또한 디블록킹 필터에 추가하여 사용될 수도 있다. 이러한 필터들은 간결성을 위해 도시되지 않지만, 그러나 원할 경우, 합산기 (50) 의 출력을 (인-루프 필터로서) 필터링할 수도 있다.

인코딩 프로세스 동안, 비디오 인코더 (20) 는 코딩될 비디오 프레임 또는 슬라이스를 수신한다. 프레임 또는 슬라이스는 다수의 비디오 블록들로 분할될 수도 있다. 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 시간 예측을 제공하기 위해 하나 이상의 참조 프레임들에서 하나 이상의 블록들에 대해 그 수신된 비디오 블록의 인터-예측 코딩을 수행한다. 인트라-예측 프로세싱 유닛 (46) 은 대안적으로, 공간 예측을 제공하기 위해, 코딩되는 블록과 동일한 프레임 또는 슬라이스에서의 하나 이상의 이웃하는 블록들에 대한 수신된 비디오 블록의 인트라-예측 코딩을 수행할 수도 있다. 비디오 인코더 (20) 는 예컨대, 비디오 데이터의 각각의 블록에 대해 적합한 코딩 모드를 선택하기 위해, 다수의 코딩 패스들 (passes) 을 수행할 수도 있다.

더욱이, 파티션 유닛 (48) 은 이전 코딩 패스들에서의 이전 파티셔닝 방식들의 평가에 기초하여, 비디오 데이터의 블록들을 서브-블록들로 파티셔닝할 수도 있다. 예를 들어, 파티션 유닛 (48) 은 레이트-왜곡 분석 (예컨대, 레이트-왜곡 최적화) 에 기초하여, 처음에 프레임 또는 슬라이스를 LCU들로 파티셔닝하고, LCU들의 각각을 서브-CU들로 파티셔닝할 수도 있다. 모드 선택 유닛 (40) 은 서브-CU들로의 LCU 의 파티셔닝을 나타내는 쿼드트리 데이터 구조를 추가로 발생할 수도 있다. 쿼드트리의 리프-노드 CU들은 하나 이상의 PU들 및 하나 이상의 TU들을 포함할 수도 있다.

모드 선택 유닛 (40) 은 에러 결과들에 기초하여 코딩 모드들, 즉 인트라 또는 인터 중 하나를 선택할 수도 있으며, 그리고, 최종 인트라- 또는 인터-코딩된 블록을 합산기 (50) 에 제공하여 잔여 블록 데이터를 발생할 수도 있으며, 그리고 합산기 (62) 에 제공하여 참조 프레임으로서 사용을 위한 인코딩된 블록을 재구성할 수도 있다. 모드 선택 유닛 (40) 은 또한 모션 벡터들, 인트라-모드 표시자들, 파티션 정보, 및 다른 이러한 구문 정보와 같은 구문 엘리먼트들을, 엔트로피 인코딩 유닛 (56) 에 제공한다.

모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 고도로 통합될 수도 있지만, 개념적인 목적들을 위해 별개로 예시된다. 모션 추정 유닛 (42) 에 의해 수행되는 모션 추정은 모션 벡터들을 발생하는 프로세스이며, 이 프로세스는 비디오 블록들에 대한 모션을 추정한다. 모션 벡터는, 예를 들어, 현재의 프레임 (또는, 다른 코딩된 유닛) 내 코딩중인 현재의 블록에 대한 참조 프레임 (또는, 다른 코딩된 유닛) 내 예측 블록에 상대적인, 현재의 비디오 프레임 또는 화상 내 비디오 블록의 PU 의 변위를 나타낼 수도 있다. 예측 블록은 픽셀 차이의 관점에서 코딩되는 블록에 가깝게 매칭하는 것으로 발견되는 블록이며, SAD (sum of absolute difference), SSD (sum of square difference), 또는 다른 차이 메트릭들에 의해 결정될 수도 있다. 일부 예들에서, 비디오 인코더 (20) 는 참조 화상 메모리 (64) 에 저장된 참조 화상들의 서브-정수 픽셀 위치들에 대한 값들을 계산할 수도 있다. 예를 들어, 비디오 인코더 (20) 는 참조 화상의 1/4 픽셀 위치들, 1/8 픽셀 위치들, 또는 다른 분수 픽셀 위치들의 값들을 내삽할 수도 있다. 따라서, 모션 추정 유닛 (42) 은 풀 픽셀 위치들 및 분수 픽셀 위치들에 대해, 모션 탐색을 수행하고, 분수 픽셀 정밀도를 가진 모션 벡터를 출력할 수도 있다.

모션 추정 유닛 (42) 은 PU 의 위치를 참조 화상의 예측 블록의 위치와 비교함으로써 인터-코딩된 슬라이스에서의 비디오 블록의 PU에 대한 모션 벡터를 계산한다. 참조 화상은 제 1 참조 화상 리스트 (리스트 0) 또는 제 2 참조 화상 리스트 (리스트 1) 로부터 선택될 수도 있으며, 이 리스트 각각은 하나 이상의 참조 화상 메모리 (64) 에 저장된 참조 화상들을 식별한다. 모션 추정 유닛 (42) 은 그 계산된 모션 벡터를 엔트로피 인코딩 유닛 (56) 및 모션 보상 유닛 (44) 으로 전송한다.

모션 보상 유닛 (44) 에 의해 수행되는 모션 보상은 모션 추정 유닛 (42) 에 의해 결정된 모션 벡터에 기초하여 예측 블록을 페치하거나 또는 발생하는 것을 수반할 수도 있다. 또, 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 일부 예들에서, 기능적으로 통합될 수도 있다. 현재의 비디오 블록의 PU에 대한 모션 벡터를 수신하자 마자, 모션 보상 유닛 (44) 은 모션 벡터가 참조 화상 리스트들 중 하나에서 가리키는 예측 블록을 로케이트할 수도 있다. 합산기 (50) 는 이하에서 설명하는 바와 같이, 코딩중인 현재의 비디오 블록의 픽셀 값들로부터 예측 블록의 픽셀 값들을 감산하여 픽셀 차이 값들을 형성함으로써, 잔여 비디오 블록을 형성한다. 일반적으로, 모션 추정 유닛 (42) 은 루마 성분들에 대해 모션 추정을 수행하고, 모션 보상 유닛 (44) 은 크로마 성분들 및 루마 성분들 양쪽에 대해 루마 성분들에 기초하여 계산된 모션 벡터들을 이용한다. 모드 선택 유닛 (40) 은 또한 비디오 슬라이스의 비디오 블록들을 디코딩할 때에 비디오 디코더 (30) 에 의한 사용을 위해 비디오 블록들 및 비디오 슬라이스와 연관되는 구문 엘리먼트들을 발생할 수도 있다.

모드 선택 유닛 (40) 은 참조 화상 메모리 (64) 로부터 참조 화상들을 선택할 때, 본 개시물의 제한 사항들을 구현할 수 있다. 예를 들어, 모드 선택 유닛 (40) 은 특정의 화상이 RAP로서 선택된 화상에 뒤따르는지의 여부를 결정할 수도 있다. 그렇다면, 모드 선택 유닛 (40) 은 그 화상이 리딩 화상인지 그리고 출력 순서에서 동일한 RAP와 연관되는 DLP 화상에 뒤따르는지의 여부를 결정할 수도 있다. 그렇다면, 모드 선택 유닛 (40) 은 그 화상이 DLP 화상으로서 취급되도록 그 화상에 대한 인코딩 모드들을 선택한다. 즉, 모드 선택 유닛 (40) 은, 현재의 화상이 RAP에 선행하는 임의의 화상들 또는 임의의 연관된 TFD 화상들로부터 예측되지 않는, 따라서 모든 TFD 화상들이 출력 순서에서, 모든 DLP 화상들에 선행하도록, 보장한다. 즉, 그렇지 않으면 TFD 화상으로서 코딩되었을지도 모르는 화상은, 그 화상이 코딩 순서에서 또 다른 DLP 화상에 뒤따르면, DLP 화상으로서 코딩된다. 이와 유사하게, 모드 선택 유닛 (40) 은 모든 리딩 화상들이 디코딩 순서에서 RAP에 대한 모든 트레일링 화상들에 선행한다는 것을 보장하도록 코딩 모드들을 선택할 수도 있다.

인트라-예측 프로세싱 유닛 (46) 은 위에서 설명한 바와 같이, 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 에 의해 수행되는 인터-예측에 대한 대안으로서, 현재의 블록을 인트라-예측할 수도 있다. 특히, 인트라-예측 프로세싱 유닛 (46) 은 현재의 블록을 인코딩하는데 사용할 인트라-예측 모드를 결정할 수도 있다. 일부 예들에서, 인트라-예측 프로세싱 유닛 (46) 은 예컨대, 별개의 인코딩 과정들 동안 여러 인트라-예측 모드들을 이용하여 현재의 블록을 인코딩할 수도 있으며, 인트라-예측 프로세싱 유닛 (46) (또는, 일부 예들에서, 모드 선택 유닛 (40)) 은 테스트된 모드들로부터 사용할 적합한 인트라-예측 모드를 선택할 수도 있다.

예를 들어, 인트라-예측 프로세싱 유닛 (46) 은 여러 테스트된 인트라-예측 모드들에 대한 레이트-왜곡 분석을 이용하여 레이트-왜곡 값들을 계산하고, 그 테스트된 모드들 중에서 최상의 레이트-왜곡 특성들을 갖는 인트라-예측 모드를 선택할 수도 있다. 레이트-왜곡 분석은 일반적으로 인코딩된 블록과 그 인코딩된 블록을 발생하기 위해 인코딩되었던 원래의 미인코딩된 블록 사이의 왜곡의 양 (또는, 에러) 뿐만 아니라, 그 인코딩된 블록을 발생하는데 사용된 비트레이트 (즉, 다수의 비트들) 를 결정한다. 인트라-예측 프로세싱 유닛 (46) 은 여러 인코딩된 블록들에 대한 왜곡들 및 레이트들로부터 비율들을 계산하여, 어느 인트라-예측 모드가 그 블록에 대해 최상의 레이트-왜곡 값을 나타내는 지를 결정할 수도 있다.

블록에 대한 인트라-예측 모드를 선택한 후, 인트라-예측 프로세싱 유닛 (46) 은 블록에 대한 그 선택된 인트라-예측 모드를 나타내는 정보를 엔트로피 인코딩 유닛 (56) 에 제공할 수도 있다. 엔트로피 인코딩 유닛 (56) 은 그 선택된 인트라-예측 모드를 나타내는 정보를 인코딩할 수도 있다. 비디오 인코더 (20) 는 복수의 인트라-예측 모드 인덱스 테이블들 및 복수의 수정된 인트라-예측 모드 인덱스 테이블들 (또한, 코드워드 맵핑 테이블들로서 지칭됨) 을 포함할 수도 있는 그 송신되는 비트스트림 구성 데이터에, 여러 블록들에 대한 인코딩 컨텍스트들의 정의들, 및 가장 가능성있는 인트라-예측 모드, 인트라-예측 모드 인덱스 테이블 및 컨텍스트들의 각각에 사용할 수정된 인트라-예측 모드 인덱스 테이블의 표시들을 포함할 수도 있다.

비디오 인코더 (20) 는 코딩중인 원래 비디오 블록으로부터, 모드 선택 유닛 (40) 으로부터의 예측 데이터를 감산함으로써 잔여 비디오 블록을 형성한다. 합산기 (50) 는 이 감산 동작을 수행하는 구성요소 또는 구성요소들을 나타낸다. 변환 프로세싱 유닛 (52) 은 이산 코사인 변환 (DCT) 또는 개념적으로 유사한 변환과 같은 변환을 잔여 블록에 적용하여, 잔여 변환 계수 값들을 포함하는 비디오 블록을 발생한다. 변환 프로세싱 유닛 (52) 은 DCT와 개념적으로 유사한 다른 변환들을 수행할 수도 있다. 웨이블릿 변환들, 정수 변환들, 서브밴드 변환들 또는 다른 유형들의 변환들이 또한 이용될 수 있다. 어쨌든, 변환 프로세싱 유닛 (52) 은 그 변환을 잔여 블록에 적용하여, 잔여 변환 계수들의 블록을 발생한다. 변환은 잔여 정보를 픽셀 값 도메인으로부터 주파수 도메인과 같은 변환 도메인으로 변환할 수도 있다. 변환 프로세싱 유닛 (52) 은 최종 변환 계수들을 양자화 유닛 (54) 으로 전송할 수도 있다. 양자화 유닛 (54) 은 비트 레이트를 추가로 감소시키기 위해 변환 계수들을 양자화한다. 양자화 프로세스는 그 계수들의 일부 또는 모두와 연관되는 비트 심도를 감소시킬 수도 있다. 양자화의 정도는 양자화 파라미터를 조정함으로써 변경될 수도 있다. 일부 예들에서, 양자화 유닛 (54) 은 그후 양자화된 변환 계수들을 포함하는 매트릭스의 스캐닝을 수행할 수도 있다. 이의 대안으로, 엔트로피 인코딩 유닛 (56) 은 그 스캐닝을 수행할 수도 있다.

양자화 이후, 엔트로피 인코딩 유닛 (56) 은 양자화된 변환 계수들을 엔트로피 코딩한다. 예를 들어, 엔트로피 인코딩 유닛 (56) 은 컨텍스트 적응 가변 길이 코딩 (CAVLC), 컨텍스트 적응 2진 산술 코딩 (CABAC), 구문-기반의 컨텍스트-적응 2진 산술 코딩 (SBAC), 확률 간격 파티셔닝 엔트로피 (PIPE) 코딩 또는 또 다른 엔트로피 코딩 기법을 수행할 수도 있다. 컨텍스트-기반의 엔트로피 코딩의 경우, 컨텍스트는 이웃하는 블록들에 기초할 수도 있다. 엔트로피 인코딩 유닛 (56) 에 의한 엔트로피 코딩 이후, 인코딩된 비트스트림은 또 다른 디바이스 (예컨대, 비디오 디코더 (30)) 로 송신되거나 또는 추후 송신 또는 취출을 위해 아카이브될 수도 있다.

역양자화 유닛 (58) 및 역변환 프로세싱 유닛 (60) 은 역양자화 및 역변환을 각각 적용하여, 예컨대, 참조 블록으로 추후 사용을 위해, 픽셀 도메인에서 잔여 블록을 재구성한다. 모션 보상 유닛 (44) 은 잔여 블록을 참조 화상 메모리 (64) 의 프레임들 중 하나의 예측 블록에 가산함으로써 참조 블록을 계산할 수도 있다. 모션 보상 유닛 (44) 은 또한 하나 이상의 내삽 필터들을 그 재구성된 잔여 블록에 적용하여, 모션 추정에 사용하기 위한 서브-정수 픽셀 값들을 계산할 수도 있다. 합산기 (62) 는 재구성된 잔여 블록을 모션 보상 유닛 (44) 에 의해 발생되는 모션 보상된 예측 블록에 가산하여, 참조 화상 메모리 (64) 에의 저장을 위한 재구성된 비디오 블록을 발생한다. 재구성된 비디오 블록은 후속 비디오 프레임에서 블록을 인터-코딩하기 위해 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 에 의해 참조 블록으로서 사용될 수도 있다.

도 2 의 비디오 인코더 (20) 는 본 개시물의 기법들 중 임의의 기법을 수행하도록 구성될 수도 있는 비디오 인코더의 일 예를 나타낸다. 예를 들어, 비디오 인코더 (20) 는, RAP 화상을 코딩하고, 그리고, 폐기 대상이 되는 모든 화상들이 디스플레이 순서에서 RAP 화상과 연관된 DLP들에 선행하게 RAP 화상에 대한 하나 이상의 디코딩가능한 리딩 화상들 DLP들을 코딩하도록 구성될 수 있다. DLP들은 RAP 화상의 디스플레이 순서 값보다 이른 디스플레이 순서 값들을 갖지만 디코딩 순서에서 RAP 화상보다 이른 비디오 데이터를 참조하지 않는 하나 이상의 화상들을 포함할 수도 있다. 비디오 인코더 (20) 는 또한, RAP 화상에 대한 리딩 화상들의 모두가 디코딩 순서에서, RAP 화상에 대한 모든 트레일링 화상들에 선행하도록 RAP 화상에 대한 하나 이상의 리딩 화상들을 코딩할 수도 있으며, 여기서, 트레일링 화상들은 RAP 화상의 디스플레이 순서 값보다 큰 디스플레이 순서 값들을 가지는 화상들을 포함한다. RAP 화상은 예를 들어, CRA 화상 및 BLA 화상 중 하나를 포함할 수도 있다. 디코딩 순서에서 CRA 또는 BLA 화상에 선행하는 임의의 화상은 디스플레이 순서에서 CRA 화상 또는 BLA 화상과 연관된 임의의 DLP 화상에 선행할 수도 있다. 비디오 인코더 (20) 는 또한 RAP 화상과 연관된 하나 이상의 리딩 화상들을 코딩할 수도 있으며, 여기서, 리딩 화상들은 디스플레이 순서 값에서 RAP 화상에 선행하고 디코딩 순서에서 RAP 화상에 후행하며, 그리고, 비디오 인코더 (20) 는 리딩 화상들의 모두가 디코딩 순서에서 모든 트레일링 화상들에 선행하도록 RAP 화상과 연관된 하나 이상의 트레일링 화상들을 코딩할 수도 있으며, 여기서, 트레일링 화상들은 디스플레이 순서 값 및 디코딩 순서 양쪽에서 RAP 화상에 뒤따른다.

비디오 인코더 (20) 는 또한 RAP 화상과 연관된 하나 이상의 폐기 태그된 (TFD) 화상들을 코딩할 수도 있다. 하나 이상의 TFD 화상들은 디스플레이 순서 값에서 RAP 화상에 선행하고 디코딩 순서에서 RAP 화상에 후행하며, 그리고 디코딩 순서에서 RAP 화상보다 이른 비디오 데이터를 참조할 수도 있다. 비디오 인코더 (20) 는 모든 TFD 화상들이 디스플레이 순서에서 DLP들에 선행하도록 RAP 화상과 연관된 하나 이상의 DLP들을 코딩함으로써 RAP 화상에 대한 하나 이상의 DLP들을 코딩할 수도 있으며, 여기서, DLP들은 디스플레이 순서에서 RAP 화상에 선행하고 디코딩 순서에서 RAP 화상에 후행하며, 그리고 디코딩 순서에서 RAP 화상보다 이른 비디오 데이터를 참조하지 않는다.

비디오 인코더 (20) 는 또한 디코딩 순서에서 RAP 화상에 선행하는 하나 이상의 화상들을 코딩할 수도 있다. 비디오 인코더 (20) 는 디코딩 순서에서 RAP 화상에 선행하는 모든 화상들이 또한 디스플레이 순서에서 모든 DLP들에 선행하도록 RAP 화상과 연관된 하나 이상의 DLP들을 코딩함으로써 하나 이상의 DLP들을 코딩할 수도 있다. DLP들은 디스플레이 순서에서 RAP 화상에 선행하고 디코딩 순서에서 RAP 화상에 후행하며, 그리고 디코딩 순서에서 RAP 화상보다 이른 비디오 데이터를 참조하지 않는다.

도 3은 슬라이스 헤더들에서 장기 참조 화상들을 시그널링하는 기법들을 구현할 수도 있는 비디오 디코더 (30) 의 일 예를 예시하는 블록도이다. 도 3 의 예에서, 비디오 디코더 (30) 는 엔트로피 디코딩 유닛 (70), 모션 보상 유닛 (72), 인트라-예측 프로세싱 유닛 (74), 역양자화 유닛 (76), 역변환 프로세싱 유닛 (78), 참조 화상 메모리 (82) 및 합산기 (80) 를 포함한다. 비디오 디코더 (30) 는 일부 예들에서, 비디오 인코더 (20) 에 대해 설명된 인코딩 과정과는 일반적으로 반대인 디코딩 과정을 수행할 수도 있다 (도 2). 모션 보상 유닛 (72) 은 엔트로피 디코딩 유닛 (70) 으로부터 수신된 모션 벡터들에 기초하여 예측 데이터를 발생할 수도 있으며, 반면 인트라-예측 프로세싱 유닛 (74) 은 디코딩 유닛 (70) 으로부터 수신된 인트라-예측 모드 표시자들에 기초하여 예측 데이터를 발생할 수도 있다.

디코딩 프로세스 동안, 비디오 디코더 (30) 는 인코딩된 비디오 슬라이스의 비디오 블록들 및 연관되는 구문 엘리먼트들을 나타내는 인코딩된 비디오 비트스트림을 비디오 인코더 (20) 로부터 수신한다. 비디오 디코더 (30) 의 엔트로피 디코딩 유닛 (70) 은 그 비트스트림을 엔트로피 인코딩하여, 양자화된 계수들, 모션 벡터들 또는 인트라-예측 모드 표시자들, 및 다른 구문 엘리먼트들을 발생한다. 엔트로피 디코딩 유닛 (70) 은 모션 벡터들, 및 다른 구문 엘리먼트들을 모션 보상 유닛 (81) 으로 포워딩한다. 비디오 디코더 (30) 는 구문 엘리먼트들을 비디오 슬라이스 레벨 및/또는 비디오 블록 레벨에서 수신할 수도 있다.

비디오 슬라이스가 인트라-코딩된 (I) 슬라이스로서 코딩될 때, 인트라-예측 프로세싱 유닛 (74) 은 시그널링된 인트라 예측 모드 및 현재의 프레임 또는 화상의 이전에 디코딩된 블록들로부터의 데이터에 기초하여, 현재의 비디오 슬라이스의 비디오 블록에 대한 예측 데이터를 발생할 수도 있다. 비디오 프레임이 인터-코딩된 (즉, B, P 또는 GPB) 슬라이스로서 코딩될 때, 모션 보상 유닛 (72) 은 엔트로피 디코딩 유닛 (70) 으로부터 수신된 모션 벡터들 및 다른 구문 엘리먼트들에 기초하여 현재의 비디오 슬라이스의 비디오 블록에 대한 예측 블록들을 발생한다. 예측 블록들은 참조 화상 리스트들 중 하나 내 참조 화상들 중 하나로부터 발생될 수도 있다. 비디오 디코더 (30) 는 디폴트 구성 기법들을 이용하여, 참조 프레임 메모리 (92) 에 저장된 참조 화상들에 기초하여, 참조 프레임 리스트들, 즉, 리스트 0 및 리스트 1을 구성할 수도 있다. 모션 보상 유닛 (72) 은 모션 벡터들 및 다른 구문 엘리먼트들을 파싱하여 현재의 비디오 슬라이스의 비디오 블록에 대한 예측 정보를 결정하고, 그리고, 그 예측 정보를 이용하여, 디코딩중인 현재의 비디오 블록에 대한 예측 블록들을 발생한다. 예를 들어, 모션 보상 유닛 (72) 은 그 수신된 구문 엘리먼트들 중 일부를 이용하여, 비디오 슬라이스의 비디오 블록들을 코딩하는 사용되는 예측 모드 (예컨대, 인트라- 또는 인터-예측), 인터-예측 슬라이스 유형 (예컨대, B 슬라이스, P 슬라이스, 또는 GPB 슬라이스), 슬라이스에 대한 참조 화상 리스트들 중 하나 이상에 대한 구성 정보, 슬라이스의 각각의 인터-인코딩된 비디오 블록에 대한 모션 벡터들, 슬라이스의 각각의 인터-코딩된 비디오 블록에 대한 인터-예측 상태, 및 다른 정보를 결정하여, 현재의 비디오 슬라이스에서의 비디오 블록들을 디코딩한다.

모션 보상 유닛 (72) 은 또한 내삽 필터들에 기초하여 내삽을 수행할 수도 있다. 모션 보상 유닛 (72) 은 비디오 블록들의 인코딩 동안 비디오 인코더 (20) 에 의해 사용되는 것과 같은 내삽 필터들을 이용하여, 참조 블록들의 서브-정수 픽셀들에 대해 내삽된 값들을 계산할 수도 있다. 이 경우, 모션 보상 유닛 (72) 은 수신된 구문 엘리먼트들로부터 비디오 인코더 (20) 에 의해 사용되는 내삽 필터들을 결정하고 그 내삽 필터들을 이용하여 예측 블록들을 발생할 수도 있다.

역양자화 모듈 (86) 은 비트스트림으로 제공되어 엔트로피 디코딩 유닛 (80) 에 의해 디코딩되는 양자화된 변환 계수들을 역양자화한다, 즉 양자화 해제한다. 역양자화 프로세스는 양자화의 정도를 결정하기 위해, 그리고, 이와 유사하게, 적용되어야 하는 역양자화의 정도를 결정하기 위해, 비디오 슬라이스에서의 각각의 비디오 블록에 대한, 비디오 디코더 (30) 에 의해 계산된 양자화 파라미터 QP_Y 의 사용을 포함할 수도 있다.

역변환 프로세싱 유닛 (78) 은 역 DCT, 역 정수 변환, 또는 개념적으로 유사한 역변환 프로세스와 같은 역변환을 변환 계수들에 적용하여, 픽셀 도메인에서 잔여 블록들을 발생한다.

모션 보상 유닛 (72) 이 모션 벡터들 및 다른 구문 엘리먼트들에 기초하여 현재의 비디오 블록에 대한 예측 블록을 발생한 후, 비디오 디코더 (30) 는 역변환 프로세싱 유닛 (78) 으로부터의 잔여 블록들을 모션 보상 유닛 (72) 에 의해 발생된 대응하는 예측 블록들과 합산함으로써, 디코딩된 비디오 블록을 형성한다. 합산기 (90) 는 이 합산 동작을 수행하는 구성요소 또는 구성요소들을 나타낸다. 원할 경우, 블록킹 현상 아티팩트들 (blockiness artifacts) 을 제거하기 위해 디블록킹 필터가 또한 그 디코딩된 블록들을 필터링하는데 적용될 수도 있다. (코딩 루프 중에 또는 코딩 루프 이후에) 다른 루프 필터들이 또한 픽셀 전환들 (pixel transitions) 을 평활화하거나 또는 아니면 비디오 품질을 향상시키기 위해 사용될 수도 있다. 주어진 프레임 또는 화상에서 디코딩된 비디오 블록들은 그후 참조 화상 메모리 (92) 에 저장되며, 이 메모리는 후속 모션 보상을 위해 사용되는 참조 화상들을 저장한다. 참조 화상 메모리 (82) 는 또한 도 1 의 디스플레이 디바이스 (32) 와 같은 디스플레이 디바이스 상에의 추후 프리젠테이션을 위해, 디코딩된 비디오를 저장한다.

본 개시물의 기법들을 구현할 때, 비디오 디코더 (30) 는 RAP 화상을 수신하고, RAP 화상이 비트스트림에 대한 랜덤 액세스 포인트로 사용된다고 결정할 수도 있다. RAP 화상이 비디오 디코더 (30) 에 의해 랜덤 액세스 포인트로서 사용될 것이라는 결정은 예를 들어, 비트스트림에서의 시그널링에 기초할 수도 있다. 코딩 순서에서 RAP 화상에 뒤따르는 화상들에 대해, 비디오 디코더는 그 화상들이 TFD 화상들인지의 여부를 결정할 수도 있다. 화상이 TFD 화상이면, 비디오 디코더 (30) 는 TFD 화상을 반드시 디코딩함이 없이, TFD 화상과 연관된 구문을 파싱할 수도 있다. 예를 들어, NAL 유닛 유형에 기초하여, 비디오 디코더는 TFD 화상들을 식별하고 TFD 화상을 완전히 디코딩하지 않을 수도 있다. 화상이 DLP라고 비디오 디코더 (30) 가 결정하면, 비디오 디코더 (30) 는 그 화상을 디코딩할 수도 있다.

도 3의 비디오 디코더 (30) 는 본 개시물의 기법들 중 임의의 기법을 수행하도록 구성될 수도 있는 비디오 인코더의 일 예를 나타낸다. 예를 들어, 비디오 인코더 (20) 는, RAP 화상을 코딩하고, 그리고, 폐기 대상이 되는 모든 화상들이 디스플레이 순서에서 RAP 화상과 연관된 DLP들에 선행하게 RAP 화상에 대한 하나 이상의 디코딩가능한 리딩 화상들 DLP들을 코딩하도록 구성될 수 있다. DLP들은 RAP 화상의 디스플레이 순서 값보다 이른 디스플레이 순서 값들을 갖지만 디코딩 순서에서 RAP 화상보다 이른 비디오 데이터를 참조하지 않는 하나 이상의 화상들을 포함할 수도 있다. 비디오 디코더 (30) 는 또한 RAP 화상에 대한 리딩 화상들의 모두가 디코딩 순서에서, RAP 화상에 대한 모든 트레일링 화상들에 선행하도록 RAP 화상에 대한 하나 이상의 리딩 화상들을 코딩할 수도 있으며, 여기서, 트레일링 화상들은 RAP 화상의 디스플레이 순서 값보다 큰 디스플레이 순서 값들을 가지는 화상들을 포함한다. RAP 화상은 예를 들어, CRA 화상 및 BLA 화상 중 하나를 포함할 수도 있다. 디코딩 순서에서 CRA 또는 BLA 화상에 선행하는 임의의 화상은 디스플레이 순서에서 CRA 화상 또는 BLA 화상과 연관된 임의의 DLP 화상에 선행할 수도 있다. 비디오 인코더 (20) 는 또한 RAP 화상과 연관된 하나 이상의 리딩 화상들을 코딩할 수도 있으며, 여기서, 리딩 화상들은 디스플레이 순서 값에서 RAP 화상에 선행하고 디코딩 순서에서 RAP 화상에 후행하며, 그리고, 비디오 디코더 (30) 는 리딩 화상들의 모두가 디코딩 순서에서 모든 트레일링 화상들에 선행하도록 RAP 화상과 연관된 하나 이상의 트레일링 화상들을 코딩할 수도 있으며, 여기서, 트레일링 화상들은 디스플레이 순서 값 및 디코딩 순서 양쪽에서 RAP 화상에 뒤따른다.

비디오 디코더 (30) 는 또한, RAP 화상과 연관된 하나 이상의 폐기 태그된 (TFD) 화상들을 코딩할 수도 있다. 하나 이상의 TFD 화상들은 디스플레이 순서 값에서 RAP 화상에 선행하고 디코딩 순서에서 RAP 화상에 후행하며, 그리고 디코딩 순서에서 RAP 화상보다 이른 비디오 데이터를 참조할 수도 있다. 비디오 인코더 (20) 는 모든 TFD 화상들이 디스플레이 순서에서 DLP들에 선행하도록 RAP 화상과 연관된 하나 이상의 DLP들을 코딩함으로써 RAP 화상에 대한 하나 이상의 DLP들을 코딩할 수도 있으며, 여기서, DLP들은 디스플레이 순서에서 RAP 화상에 선행하고 디코딩 순서에서 RAP 화상에 후행하며, 그리고 디코딩 순서에서 RAP 화상보다 이른 비디오 데이터를 참조하지 않는다.

비디오 디코더 (30) 는 또한, 디코딩 순서에서 RAP 화상에 선행하는 하나 이상의 화상들을 코딩할 수도 있다. 비디오 디코더 (30) 는 디코딩 순서에서 RAP 화상에 선행하는 모든 화상들이 또한 디스플레이 순서에서 모든 DLP들에 선행하도록 RAP 화상과 연관된 하나 이상의 DLP들을 코딩함으로써 하나 이상의 DLP들을 코딩할 수도 있다. DLP들은 디스플레이 순서에서 RAP 화상에 선행하고 디코딩 순서에서 RAP 화상에 후행하며, 그리고 디코딩 순서에서 RAP 화상보다 이른 비디오 데이터를 참조하지 않는다.

도 4는 코딩된 비디오 화상들 (100-132) 의 시퀀스를 예시하는 개념도이다. 도 4는 RAP들, 리딩 화상들, TFD들, 및 트레일링 화상들 사이의 관계들을 예시한다. 화상들은 계층적 예측 구조 내에서 위치들을 표시하기 위해 상이하게 음영처리된다. 예를 들어, 화상들 (100, 116, 및 132) 은, 화상들 (100, 116, 132) 이 계층적 예측 구조의 상부에 있는 것을 표현하기 위해, 블랙으로 음영처리된다. 화상들 (100, 116, 132) 은 예를 들어, 다른 화상들로부터 단일 방향으로 예측되는 인트라-코딩된 화상들 또는 인터-코딩된 화상들 (예컨대, P-화상들) 을 포함할 수도 있다. 인트라-코딩될 때, 화상들 (100, 116, 132) 은 동일한 화상 내 데이터로부터 오직 예측된다. 인터-코딩될 때, 화상 (116) 은, 예를 들어, 화상 (116) 으로부터 화상 (100) 까지의 점선 화살표로 나타낸 바와 같이, 화상 (100) 의 데이터에 대해서 코딩될 수도 있다. 화상들 (116, 132) 은 화상들의 그룹들 (GOP들) 의 키 화상들 (key pictures) (134, 136) 을 각각 형성한다.

화상들 (108, 124) 은 그들이 화상들 (100, 116, 및 132) 에 뒤따르는 인코딩 계층에서 다음에 있다는 것을 표시하기 위해 어둡게 음영처리된다. 화상들 (108, 124) 은 양방향의, 인터-모드 예측 인코딩된 화상들을 포함할 수도 있다. 예를 들어, 화상 (108) 은 화상들 (100 및 116) 의 데이터로부터 예측될 수도 있으며, 반면 화상 (124) 은 화상들 (116 및 132) 로부터 예측될 수도 있다. 화상들 (104, 112, 120, 및 128) 은 그들이 화상들 (108 및 124) 에 뒤따르는 인코딩 계층에서 다음에 있다는 것을 표시하기 위해 밝게 음영처리된다. 화상들 (104, 112, 120, 및 128) 은 또한 양방향의, 인터-모드 예측 인코딩된 화상들을 포함할 수도 있다. 예를 들어, 화상 (104) 은 화상들 (100 및 108) 로부터 예측될 수도 있으며, 화상 (112) 은 화상들 (108 및 116) 로부터 예측될 수도 있으며, 화상 (120) 은 화상 (116 및 124) 로부터 예측될 수도 있으며, 화상 (128) 은 화상 (124 및 132) 로부터 예측될 수도 있다. 일반적으로, 계층에서 낮은 화상들은, 참조 화상들이 디코딩 화상 버퍼에 여전히 버퍼되어 있다고 가정하여, 그리고 참조 화상들이 현재 코딩되고 있는 화상보다 빨리 코딩되었다고 가정하여, 계층에서 더 높은 임의의 참조 화상들로부터 인코딩될 수도 있다.

마지막으로, 화상들 (102, 106, 110, 114, 118, 122, 126, 및 130) 은 이들 화상들이 인코딩 계층에서 마지막인 것을 표시하기 위해 백색으로 음영처리된다. 화상들 (102, 106, 110, 114, 118, 122, 126, 및 130) 은 양방향의, 인터-모드 예측 인코딩된 화상들일 수도 있다. 화상 (102) 은 화상들 (100 및 104) 로부터 예측될 수도 있으며, 화상 (106) 은 화상들 (104 및 108) 로부터 예측될 수도 있으며, 화상 (110) 은 화상들 (108 및 112) 로부터 예측될 수도 있으며, 화상 (114) 은 화상들 (112 및 116) 로부터 예측될 수도 있으며, 화상 (118) 은 화상 (116 및 120) 로부터 예측될 수도 있으며, 화상 (122) 은 화상들 (120 및 124) 로부터 예측될 수도 있으며, 화상 (126) 은 화상들 (124 및 128) 로부터 예측될 수도 있으며, 및 화상 (130) 은 화상들 (128 및 132) 로부터 예측될 수도 있다. 또, 코딩 계층에서 더 낮은 화상들이 코딩 계층에서 더 높은 다른 화상들로부터 코딩될 수도 있는 것으로 이해되어야 한다. 예를 들어, 화상들 (102, 106, 110, 또는 114) 중 임의의 화상 또는 모두는 화상들 (100, 116, 또는 108) 중 임의의 화상에 대해서, 추가적으로 또는 대안적으로 예측될 수도 있다.

화상들 (100-132) 은 디스플레이 순서로 예시된다. 즉, 디코딩 이후, 화상 (100) 이 화상 (102) 이전에 디스플레이되며, 화상 (102) 이 화상 (104) 이전에 디스플레이되는, 등등으로 디스플레이된다. 위에서 설명한 바와 같이, POC 값들은 일반적으로 화상들에 대한 디스플레이 순서를 기술하며, 그 순서는 또한 인코딩되기 전에 미가공 화상들이 캡쳐되거나 또는 발생된 순서와 실질적으로 동일하다. 그러나, 인코딩 계층으로 인해, 화상들 (100-132) 은 상이한 순서로 디코딩될 수도 있다. 더욱이, 인코딩되는 동안, 화상들 (100-132) 은 화상들 (100-132) 에 대한 인코딩된 데이터를 포함하는 비트스트림에서 디코딩 순서로 배열될 수도 있다. 예를 들어, 화상 (116) 은 GOP (134) 의 화상들 중에서 마지막으로 디스플레이될 수도 있다. 그러나, 인코딩 계층으로 인해, 화상 (116) 은 GOP (134) 중 첫번째로 디코딩될 수도 있다. 즉, 화상 (108) 을 적절히 디코딩하기 위해, 예를 들어, 화상 (116) 은 화상 (108) 에 대한 참조 화상으로서 역할을 하도록, 첫번째로 디코딩되어야 할 수도 있다. 이와 유사하게, 화상 (108) 은 화상들 (104, 106, 110, 및 112) 에 대한 참조 화상으로서 역할을 할 수도 있으며, 따라서, 화상들 (104, 106, 110, 및 112) 이전에 디코딩되어야 할 수도 있다.

더욱이, 어떤 화상들은 장기 참조 화상들로서 취급될 수도 있으며, 반면 다른 화상들은 단기 참조 화상들로서 취급될 수도 있다. 예를 들어, 화상들 (100 및 116) 이 장기 참조 화상들을 나타내고, 반면 화상들 (108, 104, 및 112) 이 단기 참조 화상들을 나타낸다고 가정한다. 이 예에서, 화상들 (102 및 106) 이 화상들 (100, 116, 108, 또는 104) 중 임의의 화상에 대해 예측될 수도 있으며, 그러나 화상들 (110 및 114) 이 화상들 (100, 116, 108, 또는 112) 중 임의의 화상에 대해 예측될 수도 있는 경우가 있을 수도 있다. 즉, 화상 (104) 은 화상들 (110 및 114) 을 코딩할 때 참조용으로 이용할 수 없을 수도 있다. 또 다른 예로서, 화상들 (100 및 116) 이 장기 참조 화상들을 나타내고 화상들 (108, 104, 및 112) 이 단기 참조 화상들을 나타낸다고 가정하면, 화상들 (108, 104, 및 112) 은 화상들 (118, 122, 126, 및 130) 을 코딩할 때 참조용으로 이용할 수 없을 수도 있다. 본 개시물의 기법들에 따르면, 장기 참조 화상들에 관련된 데이터는 화상들 (100-132) 중 임의의 화상 또는 모두에 대한 슬라이스들의 슬라이스 헤더들에서 시그널링될 수도 있다.

도 4 의 예에서, 화살표들은 잠재적인 예측 관계들을 나타내며, 여기서, 각각의 화살표의 맨 끝은 예측될 수도 있는 화상을 나타내고, 각각의 화살표의 머리는 그로부터 그 화상이 예측될 수도 있는 화상을 나타낸다 (즉, 화살표 머리는 잠재적인 참조 화상을 가리킨다). 화상 (116) 이 화상 (100) 을 가리키는 화살표를 갖더라도, 예의 목적들을 위해, 화상 (116) 이 인트라-예측 코딩된다 (즉, 임의의 다른 화상을 참조함이 없이 코딩된다) 고 가정한다. 더욱이, 화상 (108) 이 화상 (116) 을 참조하여 P-화상으로서 코딩된다고 가정한다. 더욱이, 화상 (116) 이 랜덤 액세스 포인트로서, 예컨대, IDR, BLA, 또는 CRA 화상으로서 이용되고 있다고 가정한다. 즉, 화상 (116) 에서 시작하여 취출된 비트스트림은 화상들 (102-132) 의 각각을 디코딩 순서로 포함하지만, 화상 (100) 을 포함하지 않을 것이다.

이 예에서, 위에서 언급한 가정들 하에서, 화상들 (102, 104, 및 106) 이 화상 (100) 에 직접적으로 또는 간접적으로 의존하기 때문에, 화상들 (102, 104, 및 106) 은, TFD 화상들을 나타낸다. 화상들 (108-114) 이 화상 (100) 에 직접적으로 또는 간접적으로 의존하지 않고, 화상 (116) 보다 이른 디스플레이 순서, 그러나 화상 (116) 보다 늦은 디코딩 순서를 갖기 때문에, 화상들 (108-114) 은, DLP들의 예들을 나타낸다. 이 예에서, 화상들 (118-132) 의 디스플레이 순서 및 디코딩 순서가 화상 (116) 보다 모두 늦기 때문에, 화상들 (118-132) 은 트레일링 화상들을 나타낸다. 본 개시물의 기법들에 따르면, RAP 화상에 대한 하나 이상의 DLP들을 코딩할 때, DLP들은, 폐기 대상이 되는 모든 화상들이 디스플레이 순서에서 RAP 화상과 연관된 DLP들에 선행하도록 코딩될 수 있다. 예를 들어, 도 2에 대해 위에서 설명된 바와 같이, 화상 (108) 을 코딩할 때, 모드 선택 유닛 (40) 은 화상 (108) 을 예컨대, 화상 (116) 에 대해, P-화상으로서 코딩하도록 결정할 수도 있다. 이러한 방법으로, 화상 (108) 은 DLP로서 분류될 수도 있다. 따라서, 모드 선택 유닛 (40) 은 화상들 (110, 112, 114) 의 각각을, TFD들보다는, DLP들로서 또한 코딩하도록 결정할 수도 있다. 이와 유사하게, 비디오 디코더 (30) 는 화상 (108) 이 DLP라고 결정하자 마자, 출력 순서에서 후속 화상들이 디코딩가능하다고 결정할 수도 있다. 한편, 비디오 디코더 (30) 는 TFD인 임의의 화상들에 대한 데이터를, 디코딩함이 없이, 간단히 파싱할 수도 있다. 이 예에서, 비디오 디코더 (30) 는, 화상들 (102, 104, 및 106) 이 TFD 화상들이라고 결정하고, 따라서, 그 화상들을 디코딩하려고 시도함이 없이, 이들 화상들에 대한 데이터를 간단히 파싱할 수도 있다. 화상 (108) 보다 늦은 출력 순서를 가지는 화상들에 대해, 비디오 디코더 (30) 는, 본 개시물에 제안된 제한 사항들에 따라서, 모든 TFD 화상들이 출력 순서에서 모든 DLP 화상들에 선행하기 때문에, 화상들이 TFD 또는 DLP 인지의 여부를 결정함이 없이, 정상적으로 디코딩하기 시작할 수도 있다.

위에서 설명한 바와 같이, 본 개시물은 이들 여러 유형들의 화상들에 기초하여 랜덤 액세스를 지원하기 위한 여러 제한 사항들을 제안한다. 먼저, RAP 화상에 대한 모든 TFD 화상들은 RAP에 있어 모든 DLP들에 대한 디스플레이 순서 값보다 이른 디스플레이 순서 값을 가지고 있어야 한다. 이 제한 사항은, 프레임 레이트에서의 심한 변동을 회피하기 때문에, 뷰어의 뷰잉 경험을 향상시킬 수도 있다. 즉, 정확하게 디코딩될 수 없는 하나 이상의 화상들 (즉, TFD 화상들) 이 존재하면, 이들 화상들이 DLP들과 혼합된 디스플레이 순서 값들을 가지면, 프레임 레이트는 고르지 못한 것처럼 보일 것이며, 이것은 사용자 경험을 저하시킬 것이다. 본 개시물은 또한 디코딩 순서에서 "트레일링 화상들" 과의 리딩 화상들의 인터리빙이 방지되는 제한 사항을 제안한다. 즉, 본 개시물의 기법들에 따르면, 비디오 코더들은, (TFD 화상들 및 DLP들 양쪽을 포함하는) 모든 리딩 화상들이 대응하는 RAP 화상의 디스플레이 순서 값보다 큰 디스플레이 순서 값들을 가지는 화상들의 디코딩 순서 값들보다 이른 디코딩 순서 값들을 갖도록 보장할 수도 있다. 위에서 언급한 바와 같이, "트레일링 화상들"은 디코딩 순서 및 디스플레이 순서 양쪽에서 RAP 화상에 뒤따르는 화상들이다.

도 5는 네트워크 (150) 의 부분을 형성하는 디바이스들의 예시적인 세트를 예시하는 블록도이다. 이 예에서, 네트워크 (150) 는 라우팅 디바이스들 (154A, 154B) (라우팅 디바이스들 (154)) 및 트랜스코딩 디바이스 (156) 를 포함한다. 라우팅 디바이스들 (154) 및 트랜스코딩 디바이스 (156) 는 네트워크 (150) 의 부분을 형성할 수도 있는 소수의 디바이스들을 나타내도록 의도된다. 다른 네트워크 디바이스들, 예컨대, 스위치들, 허브들, 게이트웨이들, 방화벽들, 브릿지들, 및 다른 이러한 디바이스들이 또한 네트워크 (150) 내에 포함될 수도 있다. 더욱이, 추가적인 네트워크 디바이스들이 서버 디바이스 (152) 와 클라이언트 디바이스 (158) 사이에서 네트워크 경로를 따라서 제공될 수도 있다. 서버 디바이스 (152) 는 소스 디바이스 (12) 에 대응할 수도 있으며 (도 1), 반면 클라이언트 디바이스 (158) 는 목적지 디바이스 (14) 에 대응할 수도 있다 (도 1).

일반적으로, 라우팅 디바이스들 (154) 은 네트워크 (150) 를 통해서 네트워크 데이터를 교환하도록 하나 이상의 라우팅 프로토콜들을 구현한다. 일반적으로, 라우팅 디바이스들 (154) 은 라우팅 프로토콜들을 실행하여, 네트워크 (150) 를 통해서 루트들을 발견한다. 이러한 라우팅 프로토콜들을 실행함으로써, 라우팅 디바이스 (154B) 는 라우팅 디바이스 (154A) 를 경유해서 자신으로부터 서버 디바이스 (152) 까지 네트워크 루트를 발견할 수도 있다.

도 6은 본 개시물의 예시적인 기법을 예시하는 플로우차트이다. 도 6 의 기법들은 일반적인 비디오 코더를 참조하여 설명될 것이다. 이 일반적인 비디오 코더는 예를 들어, 비디오 인코더 (20) 또는 비디오 디코더 (30) 에 대응할 수도 있다. 비디오 코더는 RAP 화상을 코딩한다 (161). RAP 화상은 클린 랜덤 액세스 화상 및 파괴된 링크 액세스 화상 중 하나를 포함할 수 있다. 비디오 코더는 폐기 대상이 되는 모든 화상들이 디스플레이 순서에서 RAP 화상과 연관된 DLP들에 선행하게 RAP 화상에 대한 하나 이상의 DLP들을 코딩한다 (162). DLP들은 RAP 화상의 디스플레이 순서 값보다 이른 디스플레이 순서 값들을 갖지만 디코딩 순서에서 RAP 화상보다 이른 비디오 데이터를 참조하지 않는 하나 이상의 화상들을 포함할 수 있다.

도 7은 본 개시물의 예시적인 기법을 예시하는 플로우차트이다. 도 7 의 기법들은 일반적인 비디오 코더를 참조하여 설명될 것이다. 이 일반적인 비디오 코더는 예를 들어, 비디오 인코더 (20) 또는 비디오 디코더 (30) 에 대응할 수도 있다. 비디오 코더는 RAP 화상을 코딩한다 (171). 비디오 코더는 RAP 화상과 연관된 하나 이상의 TFD 화상들을 코딩하며, 여기서, TFD 화상들은 디스플레이 순서에서 RAP 화상에 선행하고 디코딩할 때에 RAP 화상에 후행하며 그리고 디코딩 순서에서 RAP 화상보다 이른 비디오 데이터를 참조한다 (172). 비디오 코더는 모든 TFD 화상들이 디스플레이 순서에서 DLP들에 선행하도록 RAP 화상과 연관된 하나 이상의 DLP들을 코딩하며, 여기서, DLP들은 디스플레이 순서에서 RAP 화상에 선행하고 디코딩할 때에 RAP 화상에 후행하며 그리고 디코딩 순서에서 RAP 화상보다 이른 비디오 데이터를 참조하지 않는다 (173).

도 8은 본 개시물의 예시적인 기법을 예시하는 플로우차트이다. 도 8 의 기법들은 일반적인 비디오 코더를 참조하여 설명될 것이다. 이 일반적인 비디오 코더는 예를 들어, 비디오 인코더 (20) 또는 비디오 디코더 (30) 에 대응할 수도 있다. 비디오 코더는 RAP 화상을 코딩한다 (181). 비디오 코더는 RAP 화상과 연관된 하나 이상의 리딩 화상들을 코딩하며, 여기서, 리딩 화상들은 디스플레이 순서에서 RAP 화상에 선행하고 디코딩 순서에서 RAP 화상에 후행한다 (182). 비디오 코더는 리딩 화상들의 모두가 디코딩 순서에서 모든 트레일링 화상들에 선행하도록 RAP 화상과 연관된 하나 이상의 트레일링 화상들을 코딩하며, 여기서, 트레일링 화상들은 디스플레이 순서 및 디코딩 순서 양쪽에서 RAP 화상에 후행한다 (183).

도 9는 본 개시물의 예시적인 기법을 예시하는 플로우차트이다. 도 9 의 기법들은 일반적인 비디오 코더를 참조하여 설명될 것이다. 이 일반적인 비디오 코더는 예를 들어, 비디오 인코더 (20) 또는 비디오 디코더 (30) 에 대응할 수도 있다. 비디오 코더는 디코딩 순서에서 RAP 화상에 선행하는 하나 이상의 화상들을 코딩한다 (191). 비디오 코더는 RAP 화상을 코딩한다 (192). 비디오 코더는 디코딩 순서에서 RAP 화상에 선행하는 모든 화상들이 또한 디스플레이 순서에서 모든 DLP들에 선행하도록 RAP 화상과 연관된 하나 이상의 DLP들을 코딩하며, 여기서, DLP들은 디스플레이 순서에서 RAP 화상에 선행하고 디코딩할 때에 RAP 화상에 후행하며, 그리고 디코딩 순서에서 RAP 화상보다 이른 비디오 데이터를 참조하지 않는다 (193).

도 10은 본 개시물의 예시적인 기법을 예시하는 플로우차트이다. 도 10 의 기법들은 예를 들어, 비디오 인코더 (20) 의 모드 선택 유닛 (40) 에 의해 수행될 수도 있다. 모드 선택 유닛 (40) 은 RAP 화상을 인코딩할 수도 있다 (202). 다음 화상에 대해, RAP 화상에 뒤이어서, 모드 선택 유닛 (40) 은 다음 화상을 TFD 또는 DLP로서 코딩할지 여부를 결정할 수도 있다 (204). 모드 선택 유닛 (40) 이 다음 화상을 TFD로서 인코딩하면 (206), 후속 화상에 대해, 모드 선택 유닛 (40) 은 그 화상을 TFD 또는 DLP로서 코딩할지 여부를 또다시 결정할 수도 있다 (204). 일단 모드 선택 유닛 (40) 이 DLP로서 RAP 화상에 뒤따르는 화상을 코딩하면 (208), 모드 선택 유닛은 후속 화상들을 DLP들로서 인코딩한다 (210). 도 10 의 예에서, "다음 화상"은 일반적으로 출력 순서에서 후속하는 화상을 지칭한다. DLP들과 TFD들의 디코딩 순서 인터리빙이 여전히 허용되며, 반면 출력 순서 인터리빙은 허용되지 않을 수도 있다.

도 11은 본 개시물의 예시적인 기법을 예시하는 플로우차트이다. 도 11 의 기법들은 예를 들어, 비디오 디코더 (30) 에 의해 수행될 수도 있다. 비디오 디코더 (30) 는 RAP 화상을 디코딩하고 그 화상이 비트스트림에의 랜덤 액세스용으로 사용된다고 결정할 수도 있다. 비트스트림에서 다음 화상에 대해, 비디오 디코더 (30) 는 예를 들어, 그 화상에 대한 NAL 유닛 유형에 기초하여, 그 화상이 TFD 화상 또는 DLP인지 여부를 결정할 수도 있다 (214). 그 화상이 TFD이면, 비디오 디코더 (30) 는 TFD 화상의 디코딩을 스킵할 수도 있다 (216). 그 화상이 DLP 이면, 비디오 디코더 (30) 는 DLP를 디코딩할 수도 있다 (218).

도면들 6, 7, 8, 9, 10, 및 11 의 기법들이 별개로 제시되었지만, 도들 6, 7, 8, 9, 10 및 11에 제시된 기법들의 양태들은 동시에 구현될 수도 있는 것으로 고려된다. 또한, 그 예에 따라서, 본원에서 설명되는 기법들 중 임의의 기법의 어떤 행위들 또는 이벤트들이 상이한 시퀀스로 수행될 수 있으며, 추가되거나, 병합되거나, 또는 모두 제외시킬 수도 있는 (예컨대, 모든 설명되는 행위들 또는 이벤트들이 기법들의 실시에 필수적인 것은 아닌) 것으로 인식되어야 한다. 더욱이, 어떤 예들에서, 행위들 또는 이벤트들은 순차적으로 보다는, 동시에, 예컨대, 멀티-쓰레드된 프로세싱, 인터럽트 프로세싱, 또는 다수의 프로세서들을 통해서 수행될 수도 있다.

하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되는 경우, 그 기능들은 하나 이상의 명령들 또는 코드로서, 컴퓨터-판독가능 매체 상에 저장되거나 또는 컴퓨터-판독가능 매체를 통해서 송신될 수도 있으며, 하드웨어-기반의 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터-판독가능 매체는 컴퓨터-판독가능 저장 매체들을 포함할 수도 있으며, 이 컴퓨터-판독가능 저장 매체들은 데이터 저장 매체와 같은 유형의 매체, 또는 예컨대, 통신 프로토콜에 따라서 한 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함한 통신 매체들에 대응한다. 이런 방법으로, 컴퓨터-판독가능 매체들은 일반적으로 (1) 비일시성 유형의 컴퓨터-판독가능 저장 매체, 또는 (2) 신호 또는 캐리어 파와 같은 통신 매체에 대응할 수도 있다. 데이터 저장 매체는 본 개시물에서 설명하는 기법들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 가용 매체들일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터-판독가능 매체를 포함할 수도 있다.

일 예로서, 이에 한정하지 않고, 이런 컴퓨터-판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광디스크 스토리지, 자기디스크 스토리지, 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터-판독가능 매체로 적절히 지칭된다. 예를 들어, 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선 (DSL), 또는 무선 기술들 예컨대 적외선, 라디오, 및 마이크로파를 이용하여 명령들이 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되는 경우, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 무선 기술들 예컨대 적외선, 라디오, 및 마이크로파가 그 매체의 정의에 포함된다. 그러나, 컴퓨터-판독가능 저장 매체 및 데이터 저장 매체는 접속부들, 캐리어 파들, 신호들, 또는 다른 일시성 매체를 포함하지 않고, 그 대신, 비-일시성 유형의 저장 매체로 송신되는 것으로 해석되어야 한다. 디스크 (disk) 및 디스크 (disc) 는, 본원에서 사용할 때, 컴팩트 디스크 (CD), 레이저 디스크, 광 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 Blu-ray 디스크를 포함하며, 디스크들 (disks) 은 데이터를 자기적으로 보통 재생하지만, 디스크들 (discs) 은 레이저로 데이터를 광학적으로 재생한다. 앞에서 언급한 것들의 조합들이 또한 컴퓨터-판독가능 매체들의 범위 내에 포함되어야 한다.

명령들은 하나 이상의 디지털 신호 프로세서들 (DSP들), 범용 마이크로프로세서들, 주문형 집적회로들 (ASIC들), 필드 프로그래밍가능 로직 어레이들 (FPGA들), 또는 다른 등가의 통합 또는 이산 로직 회로와 같은, 하나 이상의 프로세서들에 의해 실행될 수도 있다. 따라서, 용어 "프로세서" 는, 본원에서 사용될 때 전술한 구조 중 임의의 구조 또는 본원에서 설명하는 기법들의 구현에 적합한 임의의 다른 구조를 지칭할 수도 있다. 게다가, 일부 양태들에서, 본원에서 설명하는 기능 전용 하드웨어 및/또는 인코딩 및 디코딩을 위해 구성되는 소프트웨어 모듈들 내에 제공되거나, 또는 결합된 코덱에 포함될 수도 있다. 또한, 이 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들로 전적으로 구현될 수 있다.

본 개시물의 기법들은 무선 핸드셋, 집적 회로 (IC) 또는 IC들의 세트 (예컨대, 칩 세트) 를 포함한, 매우 다양한 디바이스들 또는 장치들로 구현될 수도 있다. 개시한 기법들을 수행하도록 구성되는 디바이스들의 기능적 양태들을 강조하기 위해서 여러 구성요소들, 모듈들, 또는 유닛들이 본 개시물에서 설명되지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 필요로 하지는 않는다. 대신, 위에서 설명한 바와 같이, 여러 유닛들이 코덱 하드웨어 유닛에 결합되거나 또는 적합한 소프트웨어 및/또는 펌웨어와 함께, 위에서 설명한 바와 같은 하나 이상의 프로세서들을 포함한, 상호작용하는 하드웨어 유닛들의 컬렉션으로 제공될 수도 있다.

여러 예들이 설명되었다. 이들 및 다른 예들은 다음 청구항들의 범위 이내이다.

Claims

비디오 데이터를 디코딩하는 방법으로서,
랜덤 액세스 포인트 (random access point; RAP) 화상을 디코딩하는 단계; 및
폐기 대상이 되는 모든 화상들이 디스플레이 순서에서 상기 RAP 화상과 연관된 디코딩가능한 리딩 화상들 (decodable leading pictures; DLP들) 에 선행하도록, 상기 RAP 화상에 대한 하나 이상의 DLP들을 디코딩하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.
제 1 항에 있어서,
상기 DLP들은, 상기 RAP 화상의 디스플레이 순서 값보다 이른 디스플레이 순서를 표시하는 디스플레이 순서 값들을 가지고 상기 RAP 화상의 디코딩 순서 값보다 늦은 디코딩 순서를 표시하는 디코딩 순서 값들을 가지는 하나 이상의 화상들을 포함하며,
상기 하나 이상의 화상들은 디코딩 순서에서 상기 RAP 화상보다 이른 비디오 데이터를 참조하지 않는, 비디오 데이터를 디코딩하는 방법.
제 1 항에 있어서,
상기 RAP 화상에 대한 리딩 화상들의 모두가 디코딩 순서에서, 상기 RAP 화상에 대한 모든 트레일링 화상들에 선행하도록, 상기 RAP 화상에 대해 하나 이상의 리딩 화상들을 디코딩하는 단계를 더 포함하며,
상기 트레일링 화상들은 상기 RAP 화상의 디스플레이 순서 값보다 큰 디스플레이 순서 값들을 가지는 화상들을 포함하는, 비디오 데이터를 디코딩하는 방법.
제 1 항에 있어서,
상기 RAP 화상은 클린 랜덤 액세스 (clean random access; CRA) 화상 및 파괴된 링크 액세스 (broken link access; BLA) 화상 중 하나를 포함하는, 비디오 데이터를 디코딩하는 방법.
제 4 항에 있어서,
디코딩 순서에서 CRA 또는 BLA 화상에 선행하는 임의의 화상은, 디스플레이 순서에서 상기 CRA 화상 또는 상기 BLA 화상과 연관된 임의의 DLP 화상에 선행하는, 비디오 데이터를 디코딩하는 방법.
제 1 항에 있어서,
상기 방법은,
상기 RAP 화상과 연관된 하나 이상의 리딩 화상들을 디코딩하는 단계; 및
상기 리딩 화상들의 모두가 디코딩 순서에서 모든 트레일링 화상들에 선행하도록 상기 RAP 화상과 연관된 하나 이상의 트레일링 화상들을 디코딩하는 단계를 더 포함하며,
상기 리딩 화상들은 디스플레이 순서 값에서 상기 RAP 화상에 선행하고 디코딩 순서에서 상기 RAP 화상에 후행하며,
상기 트레일링 화상들은 디스플레이 순서 값 및 디코딩 순서 양쪽에서 상기 RAP 화상에 후행하는, 비디오 데이터를 디코딩하는 방법.
제 1 항에 있어서,
상기 방법은, 상기 RAP 화상과 연관된 하나 이상의 폐기 태그된 (tagged for discard; TFD) 화상들을 디코딩하는 단계를 더 포함하며,
상기 하나 이상의 TFD 화상들은, 디스플레이 순서 값에서 상기 RAP 화상에 선행하고 디코딩 순서에서 상기 RAP 화상에 후행하며, 그리고 상기 디코딩 순서에서 상기 RAP 화상보다 이른 비디오 데이터를 참조하는, 비디오 데이터를 디코딩하는 방법.
제 7 항에 있어서,
상기 RAP 화상에 대한 상기 하나 이상의 DLP들을 디코딩하는 단계는, 모든 상기 TFD 화상들이 디스플레이 순서에서 상기 DLP들에 선행하도록 상기 RAP 화상과 연관된 상기 하나 이상의 DLP들을 디코딩하는 단계를 포함하며,
상기 DLP들은, 디스플레이 순서에서 상기 RAP 화상에 선행하고 상기 디코딩 순서에서 상기 RAP 화상에 후행하며, 그리고 상기 디코딩 순서에서 상기 RAP 화상보다 이른 비디오 데이터를 참조하지 않는, 비디오 데이터를 디코딩하는 방법.
제 1 항에 있어서,
상기 방법은, 디코딩 순서에서 상기 RAP 화상에 선행하는 하나 이상의 화상들을 디코딩하는 단계를 더 포함하며;
상기 하나 이상의 DLP들을 디코딩하는 단계는, 디코딩 순서에서 상기 RAP 화상에 선행하는 모든 화상들이 또한 디스플레이 순서에서 모든 상기 DLP들에 선행하도록 상기 RAP 화상과 연관된 상기 하나 이상의 DLP들을 디코딩하는 단계를 포함하며,
상기 DLP들은, 디스플레이 순서에서 상기 RAP 화상에 선행하고 디코딩 순서에서 상기 RAP 화상에 후행하며, 그리고 디코딩 순서에서 상기 RAP 화상보다 이른 비디오 데이터를 참조하지 않는, 비디오 데이터를 디코딩하는 방법.
제 1 항에 있어서,
상기 RAP 화상을 디코딩하는 단계는, 비디오 인코딩 프로세스의 부분으로서 수행되는, 비디오 데이터를 디코딩하는 방법.
비디오 데이터를 디코딩하는 디바이스로서,
랜덤 액세스 포인트 (random access point; RAP) 화상을 디코딩하고; 그리고
폐기 대상이 되는 모든 화상들이 디스플레이 순서에서 상기 RAP 화상과 연관된 디코딩가능한 리딩 화상들 (decodable leading pictures; DLP들) 에 선행하게, 상기 RAP 화상에 대한 하나 이상의 DLP들을 디코딩하도록 구성된 비디오 디코더를 포함하는, 비디오 데이터를 디코딩하는 디바이스.
제 11 항에 있어서,
상기 DLP들은, 상기 RAP 화상의 디스플레이 순서 값보다 이른 디스플레이 순서를 표시하는 디스플레이 순서 값들을 가지고 상기 RAP 화상의 디코딩 순서 값보다 늦은 디코딩 순서를 표시하는 디코딩 순서 값들을 가지는 하나 이상의 화상들을 포함하며,
상기 하나 이상의 화상들은, 디코딩 순서에서 상기 RAP 화상보다 이른 비디오 데이터를 참조하지 않는, 비디오 데이터를 디코딩하는 디바이스.
제 11 항에 있어서,
상기 비디오 디코더는, 상기 RAP 화상에 대한 리딩 화상들의 모두가 디코딩 순서에서, 상기 RAP 화상에 대한 모든 트레일링 화상들에 선행하게, 상기 RAP 화상에 대해 하나 이상의 리딩 화상들을 디코딩하도록 추가로 구성되며,
상기 트레일링 화상들은 상기 RAP 화상의 디스플레이 순서 값보다 큰 디스플레이 순서 값들을 가지는 화상들을 포함하는, 비디오 데이터를 디코딩하는 디바이스.
제 11 항에 있어서,
상기 RAP 화상은 클린 랜덤 액세스 (clean random access; CRA) 화상 및 파괴된 링크 액세스 (broken link access; BLA) 화상 중 하나를 포함하는, 비디오 데이터를 디코딩하는 디바이스.
제 14 항에 있어서,
디코딩 순서에서 CRA 또는 BLA 화상에 선행하는 임의의 화상은, 디스플레이 순서에서 상기 CRA 화상 또는 상기 BLA 화상과 연관된 임의의 DLP 화상에 선행하는, 비디오 데이터를 디코딩하는 디바이스.
제 11 항에 있어서,
상기 비디오 디코더는, 상기 RAP 화상과 연관된 하나 이상의 리딩 화상들을 디코딩하고; 그리고 상기 리딩 화상들의 모두가 디코딩 순서에서 모든 트레일링 화상들에 선행하게 상기 RAP 화상과 연관된 하나 이상의 트레일링 화상들을 디코딩하도록 추가로 구성되며,
상기 리딩 화상들은 디스플레이 순서 값에서 상기 RAP 화상에 선행하고 디코딩 순서에서 상기 RAP 화상에 후행하며,
상기 트레일링 화상들은 디스플레이 순서 값 및 디코딩 순서 양쪽에서 상기 RAP 화상에 후행하는, 비디오 데이터를 디코딩하는 디바이스.
제 11 항에 있어서,
상기 비디오 디코더는, 상기 RAP 화상과 연관된 하나 이상의 폐기 태그된 (tagged for discard; TFD) 화상들을 디코딩하도록 추가로 구성되며,
상기 하나 이상의 TFD 화상들은, 디스플레이 순서 값에서 상기 RAP 화상에 선행하고 디코딩 순서에서 상기 RAP 화상에 후행하며, 그리고 상기 디코딩 순서에서 상기 RAP 화상보다 이른 비디오 데이터를 참조하는, 비디오 데이터를 디코딩하는 디바이스.
제 17 항에 있어서,
상기 비디오 디코더는, 모든 상기 TFD 화상들이 디스플레이 순서에서 상기 DLP들에 선행하도록 상기 RAP 화상과 연관된 상기 하나 이상의 DLP들을 디코딩함으로써 상기 RAP 화상에 대한 상기 하나 이상의 DLP들을 디코딩하도록 구성되며,
상기 DLP들은, 디스플레이 순서에서 상기 RAP 화상에 선행하고 상기 디코딩 순서에서 상기 RAP 화상에 후행하며, 그리고 상기 디코딩 순서에서 상기 RAP 화상보다 이른 비디오 데이터를 참조하지 않는, 비디오 데이터를 디코딩하는 디바이스.
제 11 항에 있어서,
상기 비디오 디코더는, 디코딩 순서에서 상기 RAP 화상에 선행하는 하나 이상의 화상들을 디코딩하도록 추가로 구성되며;
상기 비디오 디코더는, 디코딩 순서에서 상기 RAP 화상에 선행하는 모든 화상들이 또한 디스플레이 순서에서 모든 상기 DLP들에 선행하도록 상기 RAP 화상과 연관된 상기 하나 이상의 DLP들을 디코딩함으로써 상기 하나 이상의 DLP들을 디코딩하도록 구성되며,
상기 DLP들은, 디스플레이 순서에서 상기 RAP 화상에 선행하고 디코딩 순서에서 상기 RAP 화상에 후행하며, 그리고 디코딩 순서에서 상기 RAP 화상보다 이른 비디오 데이터를 참조하지 않는, 비디오 데이터를 디코딩하는 디바이스.
제 11 항에 있어서,
상기 디바이스는,
집적 회로;
마이크로프로세서; 및
상기 비디오 디코더를 포함하는 무선 통신 디바이스 중 적어도 하나를 포함하는, 비디오 데이터를 디코딩하는 디바이스.
비디오 데이터를 디코딩하는 장치로서,
랜덤 액세스 포인트 (random access point; RAP) 화상을 디코딩하는 수단; 및
폐기 대상이 되는 모든 화상들이 디스플레이 순서에서 상기 RAP 화상과 연관된 디코딩가능한 리딩 화상들 (decodable leading pictures; DLP들) 에 선행하도록, 상기 RAP 화상에 대한 하나 이상의 DLP들을 디코딩하는 수단을 포함하는, 비디오 데이터를 디코딩하는 장치.
제 21 항에 있어서,
상기 DLP들은, 상기 RAP 화상의 디스플레이 순서 값보다 이른 디스플레이 순서를 표시하는 디스플레이 순서 값들을 가지고 상기 RAP 화상의 디코딩 순서 값보다 늦은 디코딩 순서를 표시하는 디코딩 순서 값들을 가지는 하나 이상의 화상들을 포함하며,
상기 하나 이상의 화상들은 디코딩 순서에서 상기 RAP 화상보다 이른 비디오 데이터를 참조하지 않는, 비디오 데이터를 디코딩하는 장치.
제 21 항에 있어서,
상기 RAP 화상에 대한 리딩 화상들의 모두가 디코딩 순서에서 상기 RAP 화상에 대한 모든 트레일링 화상들에 선행하도록, 상기 RAP 화상에 대해 하나 이상의 리딩 화상들을 디코딩하는 수단을 더 포함하며,
상기 트레일링 화상들은 상기 RAP 화상의 디스플레이 순서 값보다 큰 디스플레이 순서 값들을 가지는 화상들을 포함하는, 비디오 데이터를 디코딩하는 장치.
제 21 항에 있어서,
상기 RAP 화상은 클린 랜덤 액세스 (clean random access; CRA) 화상 및 파괴된 링크 액세스 (broken link access; BLA) 화상 중 하나를 포함하는, 비디오 데이터를 디코딩하는 장치.
제 24 항에 있어서,
디코딩 순서에서 CRA 또는 BLA 화상에 선행하는 임의의 화상은, 디스플레이 순서에서 상기 CRA 화상 또는 상기 BLA 화상과 연관된 임의의 DLP 화상에 선행하는, 비디오 데이터를 디코딩하는 장치.
제 21 항에 있어서,
상기 장치는,
상기 RAP 화상과 연관된 하나 이상의 리딩 화상들을 디코딩하는 수단; 및
상기 리딩 화상들의 모두가 디코딩 순서에서 모든 트레일링 화상들에 선행하도록 상기 RAP 화상과 연관된 하나 이상의 트레일링 화상들을 디코딩하는 수단을 더 포함하며,
상기 리딩 화상들은 디스플레이 순서 값에서 상기 RAP 화상에 선행하고 디코딩 순서에서 상기 RAP 화상에 후행하며,
상기 트레일링 화상들은 디스플레이 순서 값 및 디코딩 순서 양쪽에서 상기 RAP 화상에 후행하는, 비디오 데이터를 디코딩하는 장치.
제 21 항에 있어서,
상기 장치는, 상기 RAP 화상과 연관된 하나 이상의 폐기 태그된 (tagged for discard; TFD) 화상들을 디코딩하는 수단을 더 포함하며,
상기 하나 이상의 TFD 화상들은, 디스플레이 순서 값에서 상기 RAP 화상에 선행하고 디코딩 순서에서 상기 RAP 화상에 후행하며, 그리고 상기 디코딩 순서에서 상기 RAP 화상보다 이른 비디오 데이터를 참조하는, 비디오 데이터를 디코딩하는 장치.
제 27 항에 있어서,
상기 RAP 화상에 대한 상기 하나 이상의 DLP들을 디코딩하는 수단은, 모든 상기 TFD 화상들이 디스플레이 순서에서 상기 DLP들에 선행하도록 상기 RAP 화상과 연관된 상기 하나 이상의 DLP들을 디코딩하는 수단을 포함하며,
상기 DLP들은, 디스플레이 순서에서 상기 RAP 화상에 선행하고 상기 디코딩 순서에서 상기 RAP 화상에 후행하며, 그리고 상기 디코딩 순서에서 상기 RAP 화상보다 이른 비디오 데이터를 참조하지 않는, 비디오 데이터를 디코딩하는 장치.
제 21 항에 있어서,
상기 장치는, 디코딩 순서에서 상기 RAP 화상에 선행하는 하나 이상의 화상들을 디코딩하는 수단을 더 포함하며;
상기 하나 이상의 DLP들을 디코딩하는 수단은, 디코딩 순서에서 상기 RAP 화상에 선행하는 모든 화상들이 또한 디스플레이 순서에서 모든 상기 DLP들에 선행하도록 상기 RAP 화상과 연관된 상기 하나 이상의 DLP들을 디코딩하는 수단을 포함하며,
상기 DLP들은, 디스플레이 순서에서 상기 RAP 화상에 선행하고 디코딩 순서에서 상기 RAP 화상에 후행하며, 그리고 디코딩 순서에서 상기 RAP 화상보다 이른 비디오 데이터를 참조하지 않는, 비디오 데이터를 디코딩하는 장치.
명령들을 저장하고 있는 컴퓨터 판독가능 저장 매체로서,
상기 명령들은,
하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금,
랜덤 액세스 포인트 (random access point; RAP) 화상을 디코딩하게 하고; 그리고
폐기 대상이 되는 모든 화상들이 디스플레이 순서에서, 상기 RAP 화상과 연관된 디코딩가능한 리딩 화상들 (decodable leading pictures; DLP들) 에 선행하도록, 상기 RAP 화상에 대한 하나 이상의 DLP들을 디코딩하게 하는, 명령들을 저장하고 있는 컴퓨터 판독가능 저장 매체.
비디오 데이터를 인코딩하는 방법으로서,
랜덤 액세스 포인트 (random access point; RAP) 화상을 인코딩하는 단계; 및
폐기 대상이 되는 모든 화상들이 디스플레이 순서에서, 상기 RAP 화상과 연관된 디코딩가능한 리딩 화상들 (decodable leading pictures; DLP들) 에 선행하도록, 상기 RAP 화상에 대한 하나 이상의 DLP들을 인코딩하는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법.
제 31 항에 있어서,
상기 DLP들은, 상기 RAP 화상의 디스플레이 순서 값보다 이른 디스플레이 순서를 표시하는 디스플레이 순서 값들을 가지고 상기 RAP 화상의 디코딩 순서 값보다 늦은 디코딩 순서를 표시하는 디코딩 순서 값들을 가지는 하나 이상의 화상들을 포함하며,
상기 하나 이상의 화상들은 디코딩 순서에서 상기 RAP 화상보다 이른 비디오 데이터를 참조하지 않는, 비디오 데이터를 인코딩하는 방법.
제 31 항에 있어서,
상기 RAP 화상에 대한 리딩 화상들의 모두가 디코딩 순서에서 상기 RAP 화상에 대한 모든 트레일링 화상들에 선행하도록 상기 RAP 화상에 대해 하나 이상의 리딩 화상들을 인코딩하는 단계를 더 포함하며,
상기 트레일링 화상들은 상기 RAP 화상의 디스플레이 순서 값보다 큰 디스플레이 순서 값들을 가지는 화상들을 포함하는, 비디오 데이터를 인코딩하는 방법.
제 31 항에 있어서,
상기 RAP 화상은 클린 랜덤 액세스 (clean random access; CRA) 화상 및 파괴된 링크 액세스 (broken link access; BLA) 화상 중 하나를 포함하는, 비디오 데이터를 인코딩하는 방법.
제 34 항에 있어서,
디코딩 순서에서 CRA 또는 BLA 화상에 선행하는 임의의 화상은, 디스플레이 순서에서 상기 CRA 화상 또는 상기 BLA 화상과 연관된 임의의 DLP 화상에 선행하는, 비디오 데이터를 인코딩하는 방법.
제 31 항에 있어서,
상기 방법은, 상기 RAP 화상과 연관된 하나 이상의 리딩 화상들을 인코딩하는 단계; 및
상기 리딩 화상들의 모두가 디코딩 순서에서 모든 트레일링 화상들에 선행하도록 상기 RAP 화상과 연관된 하나 이상의 트레일링 화상들을 인코딩하는 단계를 더 포함하며,
상기 리딩 화상들은 디스플레이 순서 값에서 상기 RAP 화상에 선행하고 디코딩 순서에서 상기 RAP 화상에 후행하며,
상기 트레일링 화상들은 디스플레이 순서 값 및 디코딩 순서 양쪽에서 상기 RAP 화상에 후행하는, 비디오 데이터를 인코딩하는 방법.
제 31 항에 있어서,
상기 방법은, 상기 RAP 화상과 연관된 하나 이상의 폐기 태그된 (tagged for discard; TFD) 화상들을 인코딩하는 단계를 더 포함하며,
상기 하나 이상의 TFD 화상들은, 디스플레이 순서 값에서 상기 RAP 화상에 선행하고 디코딩 순서에서 상기 RAP 화상에 후행하며, 그리고 상기 디코딩 순서에서 상기 RAP 화상보다 이른 비디오 데이터를 참조하는, 비디오 데이터를 인코딩하는 방법.
제 37 항에 있어서,
상기 RAP 화상에 대한 상기 하나 이상의 DLP들을 인코딩하는 단계는, 모든 상기 TFD 화상들이 디스플레이 순서에서 상기 DLP들에 선행하도록 상기 RAP 화상과 연관된 상기 하나 이상의 DLP들을 인코딩하는 단계를 포함하며,
상기 DLP들은, 디스플레이 순서에서 상기 RAP 화상에 선행하고 상기 디코딩 순서에서 상기 RAP 화상에 후행하며, 그리고 상기 디코딩 순서에서 상기 RAP 화상보다 이른 비디오 데이터를 참조하지 않는, 비디오 데이터를 인코딩하는 방법.
제 31 항에 있어서,
상기 방법은, 디코딩 순서에서 상기 RAP 화상에 선행하는 하나 이상의 화상들을 인코딩하는 단계를 더 포함하며;
상기 하나 이상의 DLP들을 인코딩하는 단계는, 디코딩 순서에서 상기 RAP 화상에 선행하는 모든 화상들이 또한 디스플레이 순서에서 모든 상기 DLP들에 선행하도록 상기 RAP 화상과 연관된 상기 하나 이상의 DLP들을 인코딩하는 단계를 포함하며,
상기 DLP들은, 디스플레이 순서에서 상기 RAP 화상에 선행하고 디코딩 순서에서 상기 RAP 화상에 후행하며, 그리고 디코딩 순서에서 상기 RAP 화상보다 이른 비디오 데이터를 참조하지 않는, 비디오 데이터를 인코딩하는 방법.
제 31 항에 있어서,
상기 RAP 화상을 인코딩하는 단계는, 비디오 인코딩 프로세스의 부분으로서 수행되는, 비디오 데이터를 인코딩하는 방법.
비디오 데이터를 인코딩하는 디바이스로서,
랜덤 액세스 포인트 (random access point; RAP) 화상을 인코딩하고; 그리고 폐기 대상이 되는 모든 화상들이 디스플레이 순서에서, 상기 RAP 화상과 연관된 디코딩가능한 리딩 화상들 (decodable leading pictures; DLP들) 에 선행하게, 상기 RAP 화상에 대한 하나 이상의 DLP들을 인코딩하도록 구성된 비디오 인코더를 포함하는, 비디오 데이터를 인코딩하는 디바이스.
제 41 항에 있어서,
상기 DLP들은, 상기 RAP 화상의 디스플레이 순서 값보다 이른 디스플레이 순서를 표시하는 디스플레이 순서 값들을 가지고 상기 RAP 화상의 디코딩 순서 값보다 늦은 디코딩 순서를 표시하는 디코딩 순서 값들을 가지는 하나 이상의 화상들을 포함하며,
상기 하나 이상의 화상들은 디코딩 순서에서 상기 RAP 화상보다 이른 비디오 데이터를 참조하지 않는, 비디오 데이터를 인코딩하는 디바이스.
제 41 항에 있어서,
상기 비디오 인코더는, 상기 RAP 화상에 대한 리딩 화상들의 모두가 디코딩 순서에서 상기 RAP 화상에 대한 모든 트레일링 화상들에 선행하도록 상기 RAP 화상에 대해 하나 이상의 리딩 화상들을 인코딩하도록 추가로 구성되며,
상기 트레일링 화상들은 상기 RAP 화상의 디스플레이 순서 값보다 큰 디스플레이 순서 값들을 가지는 화상들을 포함하는, 비디오 데이터를 인코딩하는 디바이스.
제 41 항에 있어서,
상기 RAP 화상은 클린 랜덤 액세스 (clean random access; CRA) 화상 및 파괴된 링크 액세스 (broken link access; BLA) 화상 중 하나를 포함하는, 비디오 데이터를 인코딩하는 디바이스.
제 44 항에 있어서,
디코딩 순서에서 CRA 또는 BLA 화상에 선행하는 임의의 화상은, 디스플레이 순서에서 상기 CRA 화상 또는 상기 BLA 화상과 연관된 임의의 DLP 화상에 선행하는, 비디오 데이터를 인코딩하는 디바이스.
제 41 항에 있어서,
상기 비디오 인코더는, 상기 RAP 화상과 연관된 하나 이상의 리딩 화상들을 인코딩하고; 그리고 상기 리딩 화상들의 모두가 디코딩 순서에서 모든 트레일링 화상들에 선행하게 상기 RAP 화상과 연관된 하나 이상의 트레일링 화상들을 인코딩하도록 추가로 구성되며,
상기 리딩 화상들은 디스플레이 순서 값에서 상기 RAP 화상에 선행하고 디코딩 순서에서 상기 RAP 화상에 후행하며,
상기 트레일링 화상들은 디스플레이 순서 값 및 디코딩 순서 양쪽에서 상기 RAP 화상에 후행하는, 비디오 데이터를 인코딩하는 디바이스.
제 41 항에 있어서,
상기 비디오 인코더는, 상기 RAP 화상과 연관된 하나 이상의 폐기 태그된 (tagged for discard; TFD) 화상들을 인코딩하도록 추가로 구성되며,
상기 하나 이상의 TFD 화상들은, 디스플레이 순서 값에서 상기 RAP 화상에 선행하고 디코딩 순서에서 상기 RAP 화상에 후행하며, 그리고 상기 디코딩 순서에서 상기 RAP 화상보다 이른 비디오 데이터를 참조하는, 비디오 데이터를 인코딩하는 디바이스.
제 47 항에 있어서,
상기 비디오 인코더가 상기 RAP 화상에 대한 상기 하나 이상의 DLP들을 인코딩하도록 구성되는 것은, 모든 상기 TFD 화상들이 디스플레이 순서에서 상기 DLP들에 선행하도록 상기 RAP 화상과 연관된 상기 하나 이상의 DLP들을 인코딩하는 것을 포함하며,
상기 DLP들은, 디스플레이 순서에서 상기 RAP 화상에 선행하고 상기 디코딩 순서에서 상기 RAP 화상에 후행하며, 그리고 상기 디코딩 순서에서 상기 RAP 화상보다 이른 비디오 데이터를 참조하지 않는, 비디오 데이터를 인코딩하는 디바이스.
제 41 항에 있어서,
상기 비디오 인코더는 디코딩 순서에서 상기 RAP 화상에 선행하는 하나 이상의 화상들을 인코딩하도록 추가로 구성되며;
상기 비디오 인코더는, 디코딩 순서에서 상기 RAP 화상에 선행하는 모든 화상들이 또한 디스플레이 순서에서 모든 상기 DLP들에 선행하도록 상기 RAP 화상과 연관된 상기 하나 이상의 DLP들을 인코딩함으로써 상기 하나 이상의 DLP들을 인코딩하도록 구성되며,
상기 DLP들은, 디스플레이 순서에서 상기 RAP 화상에 선행하고 디코딩 순서에서 상기 RAP 화상에 후행하며, 그리고 디코딩 순서에서 상기 RAP 화상보다 이른 비디오 데이터를 참조하지 않는, 비디오 데이터를 인코딩하는 디바이스.
제 41 항에 있어서,
상기 디바이스는,
집적 회로;
마이크로프로세서; 및
상기 비디오 인코더를 포함하는 무선 통신 디바이스 중 적어도 하나를 포함하는, 비디오 데이터를 인코딩하는 디바이스.
비디오 데이터를 인코딩하는 장치로서,
랜덤 액세스 포인트 (random access point; RAP) 화상을 인코딩하는 수단; 및
폐기 대상이 되는 모든 화상들이 디스플레이 순서에서 상기 RAP 화상과 연관된 디코딩가능한 리딩 화상들 (decodable leading pictures; DLP들) 에 선행하도록, 상기 RAP 화상에 대한 하나 이상의 DLP들을 인코딩하는 수단을 포함하는, 비디오 데이터를 인코딩하는 장치.
제 51 항에 있어서,
상기 DLP들은, 상기 RAP 화상의 디스플레이 순서 값보다 이른 디스플레이 순서를 표시하는 디스플레이 순서 값들을 가지고 상기 RAP 화상의 디코딩 순서 값보다 늦은 디코딩 순서를 표시하는 디코딩 순서 값들을 가지는 하나 이상의 화상들을 포함하며,
상기 하나 이상의 화상들은 디코딩 순서에서 상기 RAP 화상보다 이른 비디오 데이터를 참조하지 않는, 비디오 데이터를 인코딩하는 장치.
제 51 항에 있어서,
상기 RAP 화상에 대한 리딩 화상들의 모두가 디코딩 순서에서 상기 RAP 화상에 대한 모든 트레일링 화상들에 선행하도록 상기 RAP 화상에 대해 하나 이상의 리딩 화상들을 인코딩하는 수단을 더 포함하며,
상기 트레일링 화상들은 상기 RAP 화상의 디스플레이 순서 값보다 큰 디스플레이 순서 값들을 가지는 화상들을 포함하는, 비디오 데이터를 인코딩하는 장치.
제 51 항에 있어서,
상기 RAP 화상은 클린 랜덤 액세스 (clean random access; CRA) 화상 및 파괴된 링크 액세스 (broken link access; BLA) 화상 중 하나를 포함하는, 비디오 데이터를 인코딩하는 장치.
제 54 항에 있어서,
디코딩 순서에서 CRA 또는 BLA 화상에 선행하는 임의의 화상은, 디스플레이 순서에서 상기 CRA 화상 또는 상기 BLA 화상과 연관된 임의의 DLP 화상에 선행하는, 비디오 데이터를 인코딩하는 장치.
제 51 항에 있어서,
상기 장치는,
상기 RAP 화상과 연관된 하나 이상의 리딩 화상들을 인코딩하는 수단; 및
상기 리딩 화상들의 모두가 디코딩 순서에서 모든 트레일링 화상들에 선행하도록 상기 RAP 화상과 연관된 하나 이상의 트레일링 화상들을 인코딩하는 수단을 더 포함하며,
상기 리딩 화상들은 디스플레이 순서 값에서 상기 RAP 화상에 선행하고 디코딩 순서에서 상기 RAP 화상에 후행하며,
상기 트레일링 화상들은 디스플레이 순서 값 및 디코딩 순서 양쪽에서 상기 RAP 화상에 후행하는, 비디오 데이터를 인코딩하는 장치.
제 51 항에 있어서,
상기 장치는, 상기 RAP 화상과 연관된 하나 이상의 폐기 태그된 (tagged for discard; TFD) 화상들을 인코딩하는 수단을 더 포함하며,
상기 하나 이상의 TFD 화상들은, 디스플레이 순서 값에서 상기 RAP 화상에 선행하고 디코딩 순서에서 상기 RAP 화상에 후행하며, 그리고 상기 디코딩 순서에서 상기 RAP 화상보다 이른 비디오 데이터를 참조하는, 비디오 데이터를 인코딩하는 장치.
제 57 항에 있어서,
상기 RAP 화상에 대한 상기 하나 이상의 DLP들을 인코딩하는 수단은, 모든 상기 TFD 화상들이 디스플레이 순서에서 상기 DLP들에 선행하도록 상기 RAP 화상과 연관된 상기 하나 이상의 DLP들을 인코딩하는 수단을 포함하며,
상기 DLP들은, 디스플레이 순서에서 상기 RAP 화상에 선행하고 상기 디코딩 순서에서 상기 RAP 화상에 후행하며, 그리고 상기 디코딩 순서에서 상기 RAP 화상보다 이른 비디오 데이터를 참조하지 않는, 비디오 데이터를 인코딩하는 장치.
제 51 항에 있어서,
상기 장치는, 디코딩 순서에서 상기 RAP 화상에 선행하는 하나 이상의 화상들을 인코딩하는 수단을 더 포함하며;
상기 하나 이상의 DLP들을 인코딩하는 수단은, 디코딩 순서에서 상기 RAP 화상에 선행하는 모든 화상들이 또한 디스플레이 순서에서 모든 상기 DLP들에 선행하도록 상기 RAP 화상과 연관된 상기 하나 이상의 DLP들을 인코딩하는 수단을 포함하며,
상기 DLP들은, 디스플레이 순서에서 상기 RAP 화상에 선행하고 디코딩 순서에서 상기 RAP 화상에 후행하며, 그리고 디코딩 순서에서 상기 RAP 화상보다 이른 비디오 데이터를 참조하지 않는, 비디오 데이터를 인코딩하는 장치.
명령들을 저장하고 있는 컴퓨터 판독가능 저장 매체로서,
상기 명령들은,
하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금,
랜덤 액세스 포인트 (random access point; RAP) 화상을 인코딩하게 하고; 그리고
폐기 대상이 되는 모든 화상들이 디스플레이 순서에서, 상기 RAP 화상과 연관된 디코딩가능한 리딩 화상들 (decodable leading pictures; DLP들) 에 선행하도록, 상기 RAP 화상에 대한 하나 이상의 DLP들을 인코딩하게 하는, 명령들을 저장하고 있는 컴퓨터 판독가능 저장 매체.