KR101813769B1

KR101813769B1 - 레퍼러스 픽처 시그널링

Info

Publication number: KR101813769B1
Application number: KR1020157009078A
Authority: KR
Inventors: 야나탄 사무엘슨; 리카르드 셰베르그
Original assignee: 텔레폰악티에볼라겟엘엠에릭슨(펍)
Priority date: 2011-06-30
Filing date: 2012-04-26
Publication date: 2017-12-29
Also published as: BR112013033191B1; RU2014102959A; US20170041633A1; CA2967452A1; EP3902258A1; KR20140053117A; RU2595562C2; MA35202B1; JP2015015756A; AU2012276348C1; RU2765751C2; DK3229474T3; PL3410725T3; EP2727342A1; TR201901275T4; US20130215975A1; US10063882B2; ZA201309396B; CA2840349A1; US11770552B2

Abstract

비디오 스트림(1)의 픽처(10)의 인코딩된 표현(60)은 인코딩된 표현(60)으로부터 버퍼 디스크립션을 검색함으로써 디코딩된다. 버퍼 디스크립션 정보는, 각각의 레퍼런스 픽처(40, 42)를 식별하는 적어도 하나의 픽처 식별자를, 픽처(10)용의 디코딩 레퍼런스로서 결정하는데 사용된다. 디코딩된 픽처 버퍼(530, 650)는 결정된 픽처 식별자에 기반해서 갱신된다. 픽처(10)의 인코딩된 표현(60) 자체는, 인코딩된 표현(60)을 디코딩하는데 요구된 레퍼런스 픽처(40, 42)를 식별하기 위해서, 디코더(400)에 의해 요구되는 정보를 포함하여 구성된다.

Description

레퍼러스 픽처 시그널링{Reference picture signaling}

본 실시형태는, 일반적으로 비디오 인코딩 및 디코딩과 연관된 레퍼런스 픽처 관리에 관한 것으로, 특히 레퍼런스 픽처 시그널링 및 버퍼 관리에 관한 것이다.

MPEG-4(Moving Picture Experts Group-4) 어드벤스드 비디오 코딩(AVC: Advanced Video Coding)으로도 언급되는 H.264는, 본 기술의 비디오 코딩 표준의 상태이다. 이는, 시간적인 및 공간적인 예측을 활용하는 블록 기반 하이브리드 비디오 코딩 방안으로 이루어진다.

고성능 비디오 코딩(HEVC: High Efficiency Video Coding)은, JCT-VC(Joint Collaborative Team-Video Coding)로 개발된 새로운 비디오 코딩 표준이다. JCT-VC는 MPEG과 ITU-T(International Telecommunication Union Telecommunication standization sector) 간의 협동 프로젝트이다. 현재, 워킹 드라프트(WD: Working Draft)는 큰 매크로블록(가장 큰 코딩 유닛에 대해서 LCU로 약술됨) 및 다수의 다른 새로운 툴을 포함하는 것으로 규정되고, H.264/AVC보다 더 효율적인 것으로 고려된다.

수신기에서, 디코더는 픽처를 나타내는 비트 스트림, 예를 들어 압축된 데이터의 비디오 데이터 패킷을 수신한다. 압축된 데이터는 패이로드 및 제어 정보를 포함하여 구성된다. 제어 정보는, 예를 들어 어떤 레퍼런스 픽처가, 디코딩된 픽처 버퍼(DPB: decoded picture buffer)로도 언급되는, 레퍼런스 픽처 버퍼 내에 기억되어야 하는지의 정보를 포함하여 구성된다. 이 정보는 이전에 수신된 픽처에 대한 상대적인 레퍼런스이다. 더욱이, 디코더는 수신된 비트 스트림을 디코딩하고, 디코딩된 픽처를 디스플레이한다. 부가적으로, 디코딩된 픽처는 제어 정보에 따라서 디코딩된 픽처 버퍼 내에 기억된다. 이들 기억된 레퍼런스 픽처는, 후속하는 픽처를 디코딩할 때 디코더에 의해서 사용된다.

HEVC의 워킹 드라프트에서의 디코딩된 픽처 버퍼 동작의 처리들에 대한 워킹 추정(working assumption)은, 이들이 H.264/AVC로부터 매우 큰 범위로 승계되게 한다. H.264/AVC에서 설계되는 방안의 단순화된 흐름도를 도 1에 나타낸다.

픽처의 실제 디코딩 전에, 시퀀스 파라미터 세트(SPS) 신택스 엘리먼트 gaps_in_frames_num_value_allowed_flag가 1이면, frame_num 내의 가능한 갭을 검출하기 위해서, 슬라이스 헤더 내의 frame_num은 파싱되어야 한다. frame_num는 디코딩 순서를 가리킨다. frame_num 내의 갭이 검출되면, "존재하지 않는(non-existing)" 프레임이 생성되고, 디코딩된 픽처 버퍼(DPB) 내에 삽입된다.

frame_num 내에 갭이 있었는지에 관계없이, 다음 단계가 현재 픽처의 실제 디코딩이 된다. 픽처의 슬라이스 헤더가 메모리 관리 제어 동작(MMCO: Memory Management Control Operations) 커멘드를 포함하면, 디코딩된 픽처 버퍼 내에 기억되는 픽처의 상대적인 레퍼런스를 획득하기 위해서, 적응 메모리 제어 처리가, 픽처의 디코딩 후에 적용되고; 그렇지 않으면 슬라이딩 윈도우 처리가 디코딩된 픽처 버퍼 내에 기억되는 픽처에 대한 상대적인 레퍼런스를 획득하기 위해서 적용된다. 최종 단계로서 "범핑(bumping)" 처리가 정확한 순서로 픽처를 전달하기 위해서 적용된다.

H.264/AVC의 문제점은, 이하의 표 2에 개시된 바와 같이, 타입 2, 3, 4, 5 또는 6의 MMCO를 포함하는 픽처의 손실에 대한 자체의 취약성(vulnerability)이다.

memory_management_control_operation	메모리 관리 제어 동작
0	memory_management_control_operation 신택스 엘리먼트엘리먼트 루프 종료
1	"레퍼런스용으로 사용되지 않는"으로서 단기간 레퍼런스 픽처를 마크
2	"레퍼런스용으로 사용되지 않는"으로서 장기간 레퍼런스를 픽처 마크
3	"장기간 레퍼런스용으로 사용됨"으로서 단기간 레퍼런스 픽처를 마크 및 장기간 프레임 인덱스를 이에 할당
4	최대 장기간 인덱스를 명기하고, "레퍼런스용으로 사용되지 않는"으로서 최대 값보다 큰 장기간 프레임 인덱스를 갖는 모든 장기간 레퍼런스 픽처를 마크
5	"레퍼런스용으로 사용되지 않는"으로서 모든 레퍼런스를 마크 및, MaxLongTermFrameIdx를 "장기간 프레임 인덱스 없음"으로 설정
6	"장기간 레퍼런스용으로 사용됨"으로서 현재 픽처를 마크 및 장기간 프레임 인덱스를 이에 할당

- H.264/AVC에 대한 메모리 관리 제어 동작 값

MMCO를 포함하지 않는 픽처 또는 타입 0 또는 1의 MMCO를 포함하는 픽처의 손실은, 물론 디코딩 처리에 대해서 매우 심각하다. 손실 픽처의 화소 값은 이용 가능하지 않고, 부정확한 인터 예측에 기인해서 장기간 동안 미래의 픽처에 영향을 줄 수 있다. 또한, 예를 들어, 그렇지 않으면 다음 픽처의 레퍼런스 픽처 리스트 내에 포함되는 "레퍼런스용으로 사용되지 않는"으로서 하나의 단기간 레퍼런스 픽처가 마크된 MMCO에 손실 픽처가 포함되면, 손실 픽처를 뒤따르는 소수의 픽처에 대한 레퍼런스 픽처 리스트가 잘못되게 되는 리스크가 있게 된다. 그런데, 디코딩 처리는, 일반적으로, 제약된 인트라 블록, 인트라 슬라이스의 사용을 통해서 또는, 다른 수단에 의해, 이러한 손실을 복구할 수 있다.

그러나, 타입 2, 3, 4, 5 또는 6의 MMCO를 포함하는 픽처가 손실되면, DPB 내의 장기간 픽처의 번호는, 픽처가 수신되었으면, 되었을 것과 다르게 되는 리스크가 있게 되어, 모든 뒤따르는 픽처에 대한 "부정확한" 슬라이딩 윈도우 처리로 귀결된다. 즉, 인코더 및 디코더는 다른 번호의 단기간 픽처를 포함하게 되어, 슬라이딩 윈도우 처리의 아웃 오브 싱크(out-of-sync) 행동으로 귀결된다. 이 손실은 제약된 인트라 블록, 인트라 슬라이스 또는 유사한 기술(오픈 GOP(Group Of Picture) 인트라 픽처도 아닌)의 사용을 통해 복구될 수 없다. 이러한 손실로부터의 복구를 보장하기 위한 유일한 방법은, 순시 디코더 리프레시(IDR: Instantaneous Decoder Refresh) 픽처를 통해서 또는 손실 MMCO의 효과를 상쇄하는 MMCO를 통해서이다. 상황을 더 악화시키는 것은, 슬라이딩 윈도우 처리가, 아웃 오브 싱크이고, 따라서 피드백 채널이 이용 가능한 적용에서도 인코더에 대한 문제점을 리포트할 수 없거나 또는 IDR 픽처를 요청할 수 없는 것을, 디코더가 반드시 알게 되지 않는 것이다.

중요한 MMCO 정보를 손실하는 리스크를 감소시키기 위한 하나의 방법은, dec_ref_pic_marking_repetition 보충 증대 정보(SEI: Supplementary Enhancement Infrormation) 메시지를 사용하는 것이다. 그런데, 인코더는, 디코더가 dec_ref_pic_marking_repetition SEI 메시지를 사용하게 만들 수 있는지를 알 수 없게 된다. 더욱이, dec_ref_pic_marking_repetition SEI 메시지가 또한 손실되는 리스크가 있다.

따라서, 종래 기술의 해결책의 단점 및 제한을 극복한 효과적인 레퍼런스 픽처 시그널링 및 버퍼 관리에 대한 요구가 있다.

본 발명의 일반적인 목적은, 비디오 인코딩 및 디코딩과 연관된 효과적인 레퍼런스 픽처 시그널링 및 버퍼 관리를 제공하는 것이다.

본 발명의 목적은, 본 명세서에 개시된 실시형태에 의해 충족된다.

실시형태의 측면은, 다중 픽처의 비디오 스트림의 픽처의 인코딩된 표현을 디코딩하는 방법에 관한 것이다. 본 방법은, 상기 픽처의 상기 인코딩된 표현으로부터 적어도 하나의 레퍼런스 픽처를 규정하는 스크립션 정보를 검색하는 단계를 포함하여 구성된다. 상기 적어도 하나의 레퍼런스 픽처의 각각의 레퍼런스 픽처를 식별하는 적어도 하나의 픽처 식별자가 상기 버퍼 디스크립션 정보에 기반해서 결정된다. 각각의 레퍼런스 픽처는 픽처에 대한 디코딩 레퍼런스로서 사용된다. 디코딩된 픽처 버퍼는, 상기 적어도 하나의 픽처 식별자에 기반해서 갱신된다.

실시형태의 관련된 측면은, 다중 픽처의 비디오 스트림의 픽처의 인코딩된 표현을 디코딩하는 디코더를 규정한다. 본 디코더는, 상기 픽처의 상기 인코딩된 표현으로부터 적어도 하나의 레퍼런스 픽처를 규정하는 버퍼 디스크립션 정보를 검색하도록 구성된 검색기를 포함하여 구성된다. 디코더의 픽처 식별자 검색기는, 상기 버퍼 디스크립션 정보에 기반해서, 상기 적어도 하나의 레퍼런스 픽처의 각각의 레퍼런스 픽처를, 픽처에 대한 디코딩 레퍼런스로서, 식별하는 적어도 하나의 픽처 식별자가 결정하도록 구성된다. 각각의 레퍼런스 픽처는 픽처에 대한 디코딩 레퍼런스로서 사용된다. 또한, 디코더는, 상기 적어도 하나의 픽처 식별자에 기반해서, 디코딩된 픽처를 갱신하도록 구성된 버퍼 관리기를 포함하여 구성된다.

실시형태의 관련된 측면은, 비디오 스트림의 다중 픽처의 인코딩된 표현을 디코딩하도록 구성된 디코더를 규정한다. 또한, 본 디코더는, 메모리 내에 기억된 컴퓨터 프로그램의 코드 수단을 처리하도록 구성된 프로세서를 포함하여 구성된다. 상기 코드 수단은, 상기 프로세서 상에서 구동할 때, 상기 프로세서가, 상기 픽처의 상기 인코딩된 표현으로부터 적어도 하나의 레퍼런스 픽처를 규정하는 버퍼 디스크립션 정보를 검색하도록 한다. 또한, 프로세서는, 상기 버퍼 디스크립션 정보에 기반해서, 상기 픽처에 대한 디코딩 레퍼런스로서, 상기 적어도 하나의 레퍼런스 픽처의 각각의 레퍼런스 픽처를 식별하는 적어도 하나의 픽처 식별자를, 결정하도록 한다. 더욱이, 상기 코드 수단은, 프로세서가, 상기 적어도 하나의 픽처 식별자에 기반해서, 디코딩된 픽처 버퍼를 갱신하도록 한다. 디코더의 출력 섹션은 상기 비디오 스트림의 디코딩된 픽처를 출력하도록 구성된다.

실시형태의 다른 측면은, 다중 픽처의 비디오 스트림의 픽처를 인코딩하는 방법에 관한 것이다. 본 방법은, 상기 픽처에 대해서, 상기 다중 픽처의 적어도 하나의 레퍼런스 픽처를, 상기 픽처에 대한 인코딩 레퍼런스로서 결정하는 단계를 포함하여 구성된다. 또한, 본 방법은, 각각의 레퍼런스 픽처에 대해서, 상기 레퍼런스 픽처를 식별하는 픽처 식별자를 제공하는 단계를 포함하여 구성된다. 버퍼 디스크립션 정보는, 상기 적어도 하나의 픽처 식별자에 기반해서, 상기 적어도 하나의 레퍼런스 픽처를 규정한다. 버퍼 디스크립션 정보는 상기 픽처의 인코딩된 표현 내에 삽입된다.

실시형태의 관련된 측면은, 다중 픽처의 비디오 스트림의 픽처를 인코딩하는 인코더를 규정한다. 인코더는, 상기 픽처에 대해서, 비디오 스트림의 적어도 하나의 레퍼런스 픽처를, 상기 픽처에 대한 인코딩 레퍼런스로서 결정하도록 구성된 레퍼런스 픽처 결정기를 포함하여 구성된다. 또한, 인코더는, 각각의 레퍼런스 픽처에 대해서, 상기 레퍼런스 픽처를 식별하는 픽처 식별자를 제공하도록 구성된 픽처 식별자 프로바이더를 포함하여 구성된다. 버퍼 디스크립션 정보 생성기는, 상기 적어도 하나의 픽처 식별자에 기반해서, 버퍼 디스크립션 정보를 생성하도록 구성된다. 상기 버퍼 디스크립션 정보는 데이터 삽입기에 의해, 상기 픽처의 인코딩된 표현 내에 삽입된다.

실시형태의 다른 관련된 측면은, 비디오 스트림의 다중 픽처를 수신하도록 구성된 입력 섹션과, 메모리 내에 기억된 컴퓨터 프로그램의 코드 수단을 처리하도록 구성된 프로세서를 포함하여 구성되는 인코더를 규정한다. 상기 코드 수단은, 상기 프로세서 상에서 구동할 때, 상기 프로세서가, 상기 비디오 스트림의 픽처에 대해서, 상기 비디오 스트림의 적어도 하나의 레퍼런스 픽처를, 상기 픽처에 대한 인코딩 레퍼런스로서 결정하게 한다. 또한, 프로세서는, 각각의 레퍼런스 픽처에 대해서, 상기 레퍼런스 픽처를 식별하는 픽처 식별자를 제공하고, 상기 적어도 하나의 픽처 식별자에 기반해서, 버퍼 디스크립션 정보를 생성한다. 더욱이, 코드 수단은, 상기 프로세서가, 상기 버퍼 디스크립션 정보를 상기 픽처의 인코딩된 표현 내에 삽입하게 한다. 더욱이, 인코더는, 픽처의 인코딩된 표현을 출력하도록 구성된 출력 섹션을 포함하여 구성된다.

정확한 레퍼런스 픽처 관리가, 사전에 인코딩된 픽처가 정확하게 수신된 및 디코딩되는 것에 의존하는, 종래 기술 솔루션과의 명확한 대조되는, 본 실시형태는, 상대적인 또는 암시의 방식 대신 절대적이고 명확한 방식으로 레퍼런스 픽처용으로 사용되는 버퍼 디스크립션 정보를 제공한다. 따라서, 픽처의 인코딩된 표현은, 비디오 스트림 내의 이전의 픽처의 인코딩된 표현에 독립적인 디코딩 동안, 어떤 레퍼런스 픽처가 레퍼런스용으로 사용되는 지의 정보를 포함한다.

이에 의해, 실시형태는, 디코더가 이전의 픽처 내에 정확하게 전달 및 해석된 버퍼 동작에 의존하는 대신, 현재 픽처의 레퍼런스 픽처 관리를 위해 현재 픽처 내에 포함된 정보에 의존하므로, 레퍼런스 픽처 관리 및 시그널링이 에러에 대해서 덜 취약하게 만들 수 있다.

또 다른 목적 및 장점과 함께 본 발명은, 첨부 도면과 함께 이하의 상세한 설명을 참조해서, 최상으로 이해될 수 있는데,
도 1은 H.264/AVC 레퍼런스 버퍼 방안의 단순화된 흐름도;
도 2는 2개의 시간적인 계층을 갖는 코딩 구조의 예를 나타낸 도면;
도 3은 실시형태에 따른 픽처의 인코딩 방법의 흐름도;
도 4는 실시형태에 따른 다중 픽처의 비디오 스트림;
도 5는 실시형태에 따른 픽처의 인코딩된 표현;
도 6은 도 3의 단계의 부가적인, 옵션의 단계의 흐름도;
도 7은 도 3의 방법 및 도 3의 버퍼 디스크립션 정보를 생성하는 실시형태의 부가적인, 옵션의 단계의 흐름도;
도 8은 (서브)GOP 사이즈 8을 갖는 코딩 구조의 예를 나타낸 도면;
도 9는 실시형태에 따른 픽처의 인코딩된 표현을 디코딩하는 방법의 흐름도;
도 10은 도 9의 픽처 식별자를 결정하는 실시형태의 흐름도;
도 11은 도 9의 버퍼 디스크립션 정보를 검색하는 실시형태의 흐름도;
도 12는 도 9의 픽처 식별자를 결정하는 다른 실시형태의 흐름도;
도 13은 도 9의 방법의 부가적인, 옵션의 단계의 흐름도;
도 14는 도 9의 방법의 부가적인, 옵션의 단계의 흐름도;
도 15는 일례의 코딩 구조;
도 16은 실시형태에 따른 레퍼런스 버퍼 방안의 단순화된 흐름도;
도 17은 실시형태에 따른 송신기의 개략적인 블록도;
도 18은 실시형태에 따른 인코더의 개략적인 블록도;
도 19는 다른 실시형태에 따른 인코더의 개략적인 블록도;
도 20은 실시형태에 따른 수신기의 개략적인 블록도;
도 21은 실시형태에 따른 디코더의 개략적인 블록도; 및
도 22는 다른 실시형태에 따른 디코더의 개략적인 블록도이다.

도면을 통해서, 유사한 또는 대응하는 엘리먼트에는 동일한 참조 부호를 사용했다.

본 발명 실시형태는, 일반적으로, 비디오 스트림의, 종래 기술에서 프레임으로도 언급되는, 픽처의 인코딩 및 디코딩과 관련된다. 특히, 본 실시형태는 비디오 인코딩 및 디코딩과 연관된 레퍼런스 픽처의 관리 및 인코더부터 디코더로의 이러한 레퍼런스 픽처의 시그널링에 관한 것이다.

H.264/MPEG-4 AVC 및 HEVC로 표현되는 것과 같은 비디오 인코딩은, 레퍼런스 픽처를, 현재 픽처의 화소 데이터의 인코딩 및 디코딩을 위한 예측(prediction) 또는 레퍼런스(reference)로서 사용한다. 이는, 일반적으로, 픽처가 이러한 레퍼런스 픽처에 관해서 인코딩 및 디코딩되는 본 기술에서 인터 코딩으로서 언급된다. 인코딩된 픽처를 디코딩할 수 있게 하기 위해서, 이에 의해, 디코더는 어떤 레퍼런스 픽처가 현재의 인코딩된 픽처에 대해서 사용되는지를 알아야 하고, 이들 레퍼런스 픽처에 액세스해야 한다. 일반적으로, 디코더는, 디코딩된 픽처 버퍼(DPB)를 사용하는데, 이는 본 명세서에서 레퍼런스 픽처를 기억하기 위한 레퍼런스 픽처 버퍼로도 표시된다. 그 다음, 인코딩된 픽처를 디코딩할 때, 디코딩된 픽처 버퍼 내에 기억된 레퍼런스 픽처가 확실히 정확한 레퍼런스 픽처인 것은 중요한데, 그렇지 않으면 디코더는 디코딩 처리 동안 잘못된 레퍼런스 픽처를 사용하게 되어, 나타낸 비디오의 품질을 저하시킨다.

종래 기술은, 본 발명의 배경 섹션에서 논의된 바와 같이, 픽처 반송 MMCO 정보가 의도하지 않게 손실될 때, 부정확한 레퍼런스 픽처를 사용하는 것에 관한 문제점을 겪게 될 수 있다. 종래 기술의 이 문제점은, 이하의 H.264-실행된 예에 의해 분명히 보여질 수 있다. 디코딩된 픽처 버퍼가 픽처 식별자 300, 302 및 303을 갖는 3개의 단기간 픽처 및 픽처 식별자 0 및 3을 갖는 2개의 장기간 픽처를 기억하는 것으로 상정하자. 그러면, 인코더는 장기간 픽처 0이 레퍼런스용으로 사용되지 않게 되는 것을 진술하는 MMCO 타입 2 커멘드를 갖는 새로운 인코딩된 픽처를 생성할 수도 있다. 이 인코딩된 픽처가 디코더에서 정확하게 수신된다면, 장기간 픽처 0은 레퍼런스용으로 사용되지 않는으로서 마크될 것이고, 레퍼런스 픽처 리스트는 {300, 302, 303, 3}로 될 것이다. 그런데, MMCO 타입 2 커멘드를 갖는 인코딩된 픽처가 손실되면, 디코더는, 장기간 픽처 0이 레퍼런스용으로 사용되지 않는으로서 마크되어야 하는 것을 통보하지 않고, 레퍼런스 픽처 리스트는 그러므로 대신 {300, 302, 303, 0, 3}이 된다. 디코더에서 수신된 다음 인코딩된 픽처가, 레퍼런스 픽처 리스트 내의 위치 3에서의 레퍼런스 픽처가 픽처 내의 매크로블록에 대한 예측으로서 사용되는, 정보를 포함하여 구성되면, MMCO 타입 2 커멘드가 손실되면, 문제점이 있게 된다. MMCO 타입 2 커멘드가 디코더에서 정확하게 수신되면, 이 레퍼런스 픽처가 레퍼런스 픽처 리스트 내의 위치 3(0에서 시작하면)을 점유함에 따라, 레퍼런스 픽처 리스트 내의 위치 3에서의 레퍼런스 픽처는 장기간 픽처 3에 대응하게 된다. 그런데, 손실 MMCO 타입 2 커멘드와 함께, 레퍼런스 픽처 리스트 내의 위치 3은 장기간 픽처 0으로 대신 점유된다. 이는, 장기간 픽처 0으로부터의 화소 데이터가, 장기간 픽처 식별자 3으로부터의 정확한 화소 데이터 대신 예측 기반으로서 사용되는 것을 의미한다.

따라서, 종래 기술 솔루션은, 정확한 레퍼런스 픽처 관리가 사전에 디코딩된 픽처가 정확하게 수신 및 디코딩되었는지에 의존하는, 문제점을 갖게 된다.

본 발명 실시형태는, 종래 기술과 비교해서 레퍼런스 픽처를 시그널링하는데 근본적으로 다른 접근을 사용함으로써, 이들 종래 기술의 문제점들을 갖지 않는다. 대신, 본 발명 실시형태는, 상대적인 또는 암시의 방식 대신, 절대적인 또는 명확한 방식으로 어떤 디코딩된 픽처가 사용되는 지를 명기한다. 다른 방식은, 현재 픽처에 대한 인코딩된 표현, 예를 들어 비트 스트림이, 이전 픽처의 인코딩된 표현에 독립적인, 레퍼런스에 대해서 어떤 픽처, 예를 들어 레퍼런스 픽처를 사용하는 것에 관한 정보를 포함한다. 그러므로, 정확한 디코딩된 픽처 버퍼를 유지하기 위한 논리적인 책임이 디코더로부터 비트 스트림으로 이동한다고 말할 수 있다. 이를 바라보는 한 방식은, 소위 픽처에 대한 인터 예측 및 모션 벡터 예측용으로 어떤 레퍼런스 픽처가 사용되는 것에 관한 정보가 픽처의 제어 정보 내에 포함되는 것이다. 그러므로, 디코딩된 픽처 버퍼의 상태가, 다른 픽처에 대해서 인코딩된 및 디코딩된 픽처마다에 대해서 시그널링된다.

실시형태의 측면에 따르면, 예를 들어 후속하는 코딩을 위해 사용되는 디코딩된 픽처 버퍼(또는 레퍼런스 픽처 버퍼로도 언급됨) 내에 기억된, 레퍼런스 픽처에 대해서 어떤 픽처가 사용되는 지의 절대적인 정보를 갖는 일반적인 표와 같은, 버퍼 디스크립션 정보, 예를 들어 데이터 구조를 생성하는 방법이 제공된다. 버퍼 디스크립션 정보의 적어도 부분은, 인코더에 의해 인코딩된 비트 스트림 내에 삽입된다.

도 3은 실시형태에 따른 픽처의 인코딩 방법의 흐름도이다. 본 방법은, 일반적으로 단계 S1에서 시작하는데, 여기서 다중 픽처의 비디오 스트림의 적어도 하나의 레퍼런스 픽처가 인코딩 레퍼런스로서 결정된다. 실시형태에 있어서, 단계 S1는, 인코딩되는 현재 픽처에 대한 인코딩 레퍼런스로서 사용되는 하나 이상의 레퍼런스 픽처를 결정한다. 그러므로, 현재 픽처의 화소 데이터가, 그 다음 하나 이상의 레퍼런스 픽처를 참조해서 인코딩된다. 대안적으로, 또는 부가적으로 단계 S1에서 결정된 적어도 하나의 레퍼런스 픽처는, 예를 들어 현재 픽처 다음에 인코딩 및 디코딩되는 픽처인 비디오 스트림의 후속하는 픽처에 대한 인코딩 레퍼런스로서 사용될 수 있다. 이에 의해, 이 후속하는 픽처는 디코딩 순서(및 인코딩 순서)에 따라서, 현재 픽처의 다음이 된다. 특정 실시형태에 있어서, S1은, 현재 픽처에 대해서, 비디오 스트림의 소정의 레퍼런스 픽처를 현재 픽처에 대한 인코딩 레퍼런스로서 그리고, 비디오 스트림의 소정의 레퍼런스 픽처를 후속하는 픽처에 대한 인코딩 레퍼런스로서 결정한다. 그러므로, 특정 실시형태에 있어서, 단계 S1은 디코딩 순서로 현재 픽처에 앞선 그리고, 현재 픽처에 대한 인터 예측을 위해서 사용될 수 있는 모든 레퍼런스 픽처 또는, 디코딩 순서에 따라서 현재 픽처를 뒤따르는 소정의 픽처를 결정한다.

도 4는 다중 픽처(10, 40, 42, 50)의 비디오 스트림(1)을 나타냄으로써, 본 발명의 개념을 개략적으로 나타낸다. 현재 픽처(10)는, 디코딩되는 트리블록(treeblock)으로도 언급되는 매크로블록과 같은 화소 블록(30) 또는 코딩 유닛을 포함하여 구성되는, 하나 이상의 슬라이스(20, 22)를 포함하여 구성될 수 있다. 픽처(10, 40, 42, 50) 아래의 화살표는 디코딩 관계를 가리킨다. 현재 픽처(10)는 이전의 레퍼런스 픽처(40) 및 후속하는 레퍼런스 픽처(42)와 관련해서 디코딩된다. 출력 순서에 따라서 현재 픽처(10)에 관해서 선행하는 레퍼런스 픽처(40)는 선행하고, 후속하는 레퍼런스 픽처(42)는 후속하지만, 양쪽은 디코딩 순서에 따라서 현재 픽처(10)에 선행한다. 게다가, 이 후속하는 레퍼런스 픽처(42)는 비디오 스트림(1) 내의 후속하는 픽처(50)에 대한 레퍼런스 픽처로서 사용된다. 그러므로, 특정 실시형태에 있어서, 단계 S1은 레퍼런스 픽처를 도 4의 픽처(40, 42)로서 결정할 수 있다.

도 3의 다음 단계 S2는 단계 S1에서 결정된 적어도 하나의 레퍼런스 픽처의 각각의 레퍼런스 픽처에 대한 각각의 픽처 식별자를 제공한다. 픽처 식별자는, 가능하게는 다른 데이터와 함께 사용되어, 레퍼런스 픽처를 분명하게 식별한다. 그러므로, 픽처 식별자는 레퍼런스 픽처로서 사용되는 픽처에 대한 절대적인 레퍼런스로서 간주될 수 있다. 이는, 자체의 픽처 식별자 및 옵션으로 다른 데이터가 주어진 관련 레퍼런스 픽처를 정확하게 식별하는 것이 가능한 것을 의미한다.

실시형태에 따라서 픽처 식별자로서 사용될 수 있는 가능한 다양한 대안들이 있게 된다. 예를 들어, 픽처 식별자는 디코딩 순서 번호, 디스플레이 순서 번호, 출력 순서 번호 또는 디스플레이 순서 번호와 부가적인 식별자의 결합 또는 픽처를 분명하게 식별하는데 사용될 수 있는 확실히 소정의 다른 정보가 될 수 있다.

이러한 픽처 식별자의 예는, 픽처 순서 카운트(POC: Picture Order Count), 프레임 번호(frame_num) 또는 POC 및 부가적인 식별자(additionl_picture_id)를 포함한다.

특정 실시형태에 있어서, 픽처 식별자의 실제 값은, 관련 레퍼런스 픽처를 분명하게 식별하기 위해서, 단계 S3에서 생성된 버퍼 디스크립션 정보 내의 픽처 식별자의 위치와 같은, 부가적인 정보 또는 다른 데이터와 함께 사용된다. 그러므로, 버퍼 디스크립션 정보에 의해 식별된 또는 획득된 버퍼 디스크립션은 관련 레퍼런스 픽처(들)의 분명한 식별을 가능하게 한다. 실시형태에 있어서, POC 또는 POC 플러스 부가적인 식별자와 같은 픽처 식별자 자체는, 레퍼런스 픽처를 분명하게 식별하는데 사용될 수 있다.

레퍼런스 픽처를 분명하게 식별하는 것은, 본 명세서에서, 버퍼 디스크립션 정보가 픽처 식별자를 규정하는 순서와 같은, 픽처 식별자 자체 또는 버퍼 디스크립션 정보 내의 다른 정보와 함께인 픽처 식별자가 레퍼런스 픽처를 명확하게 식별하는데 사용되는 것을, 나타내는데 사용된다. 그러므로, 픽처 식별자 또는 픽처 식별자 및 다른 정보가 주어지면, 비디오 스트림의 픽처 중 관련 레퍼런스 픽처의 식별을 할 수 있게 된다.

*단계 S1의 특정 실시형태에 있어서, 현재 픽처에 대해 결정된 레퍼런스 픽처의 전체 수는, 파라미터 표시된 max_num_ref_frames과 같은 인코더로부터 디코더로 시그널링될 수 있는 파라미터에 의해 제한될 수 있다.

바람직하게는, 단계 S2는 단계 S1에서 결정된 각각의 레퍼런스 픽처에 대해서 수행되는데, 이는 라인 L1으로 개략적으로 도시된다.

단계 S2에서 제공된 픽처 식별자(들)는 단계 S1에서 결정된 레퍼런스 픽처(들)의 헤더 부분으로부터 판독될 수 있거나, 그렇지 않으면 단계 S1으로부터 레퍼런스 픽처(들)를 나타내는 데이터로부터 검색될 수 있다.

다음 단계 S3은, 레퍼런스 픽처 세트(RPS: Reference Picture Set)로도 언급되는 버퍼 디스크립션의 정보를 생성한다. 이 정보는, 본 명세서에서, 버퍼 디스크립션 정보를 나타낸다. 버퍼 디스크립션 정보는, 단계 S2에서 제공된 픽처 식별자(들)에 기반해서 생성된다. 이 버퍼 디스크립션 정보는, 바람직하게는 단계 S1에서 결정된 적어도 하나의 레퍼런스 픽처를 분명하게 규정한다. 그러므로, 버퍼 디스크립션 정보로부터 적어도 하나의 레퍼런스 픽처의 각각의 픽처 식별자를 도출하는 것이 가능하다.

생성된 버퍼 디스크립션 정보는 현재 픽처의 인코딩된 표현 내에 단계 S4에서 삽입된다. 그러므로, 인코딩된 픽처는, 비디오 스트림의 현재 픽처 및/또는 소정의 후속하는 픽처를 디코딩하는데 필요한 레퍼런스 픽처를 규정 및 식별하기 위해서 디코더에서 사용될 수 있는, 버퍼 디스크립션 정보를 반송한다.

그러므로, 버퍼 디스크립션 정보가, 인코더로부터 디코더로 제공된 인코딩된 픽처의 제어 정보로 제공된다. 최소한도로, 버퍼 디스크립션 정보는 디코더에 의해 필요로 되는 정보를 포함하여, 디코딩된 픽처 버퍼 내에서 사용되는 레퍼런스 픽처를 식별한다.

그러므로, 버퍼 디스크립션 정보는, 현재 픽처와 연관된 레퍼런스 픽처의 세트인 버퍼 디스크립션을 식별하는 정보로서 간주될 수 있다. 이것은, 디코딩 순서로 현재 픽처에 앞선 그리고, 디코딩 순서로 현재 픽처를 뒤따르는 현재 픽처 또는 소정의 픽처의 인터 예측에 대해서 사용될 수 있는, 모든 레퍼런스 픽처로 이루어진다.

실시형태에 있어서, 버퍼 디스크립션 정보는, 픽처가 인터 예측 또는 모션 벡터 예측 또는 소정의 다른 예측용으로 사용되지 않더라도, 디코딩 처리에서 디코더에 의해 사용된, 각각의 픽처에 관한 정보를 포함 또는 규정한다. 이러한 정보는, 이에 제한되지 않지만, 디코딩 순서, 디스플레이 순서, 시간적인 계층 정보 및 뷰우(view) 정보를 포함할 수 있다.

상기된 바와 같이, 버퍼 디스크립션 정보로 시그널링될 수 있는 레퍼런스 픽처의 수는, 파라미터 max_num_ref_frames로 제한될 수 있다. 그런데, 버퍼 디스크립션 정보는 이 최대 수 픽처보다 적은 수를 규정할 수 있는데, 이 경우 나머지 것들은 "엠프티"로 해석된다.

단계 S1 내지 S4의 도 3의 방법은, 바람직하게는 비디오 스트림 내의 각각의 픽처에 대해서, 디코딩된 픽처 버퍼를 리프레시하게 하고, 이에 의해 소정의 버퍼 디스크립션 정보를 필요로 하지 않는, 소정의 순시 디코더 리프레시(IDR: Instantaneous Decoder Refresh) 픽처를 제외하고 수행되는데, 이는 라인 L2로 개략적으로 도시된다. 그러므로, 인코더에 의해 생성된 각각의 인코딩된 표현은, 바람직하게는, 비디오 스트림 내의 현재 픽처 및/또는 소정의 후속하는 픽처를 인코딩 및 디코딩하기 위해서 사용된 레퍼런스 픽처를 규정하는 버퍼 디스크립션 정보를 반송한다.

실시형태의 이 접근은, MMCO 커멘드를 사용하는 종래 기술의 상대적인 레퍼런스 픽처 시그널링에 걸친 상당한 장점을 제공한다. 비디오 스트림 내의 픽처의 각각의 인코딩된 표현 내의 버퍼 디스크립션 정보를 통한 레퍼런스 픽처의 명확한 시그널링은, 에러에 대해서 덜 취약할 수 있는 레퍼런스 픽처 관리를 만들고, 디코더의 에러 강건함(error robustness) 레벨을 증가시킨다. 따라서, 이전의 픽처의 정확하게 전달 및 해석된 버퍼 동작에 의존하는 대신, 디코더는 현재 픽처의 인코딩된 표현 내에 포함된 정보에 의존하게만 된다.

특정 실시형태에 있어서, 단계 S4에서 픽처의 인코딩된 표현 내에 삽입된 버퍼 디스크립션 정보는, 실제로 버퍼 디스크립션 자체이다. 따라서, 버퍼 디스크립션 정보는, 그러면 단계 S2에서 제공된 픽처 식별자(들)의 리스트 또는 단계 S2에서 제공된 픽처 식별자(들)의 계산을 허용하는 데이터를 포함하여 구성된다. 후자의 경우는, 도 6과 연관해서 더 상세히 설명된다.

예를 들어, 버퍼 디스크립션은, 현재 픽처에 대한 레퍼런스 픽처로서 픽처 식별자 3, 5 및 6을 갖는 리스트를 규정할 수 있다. 그러면, 단계 S4에서 인코딩된 표현 내에 삽입된 버퍼 디스크립션 정보는 이들 픽처 식별자 3, 5 및 6을 포함하게 된다.

일반적으로 더 비트 효과적인, 예를 들어 픽처 식별자를 규정하기 위한 더 적은 수의 비트 또는 심볼을 일반적으로 요구하는 대안적인 접근은, 현재 픽처에 대해서 시그널링됨에 따라, 이들 성질의 값에 대해서 레퍼런스 픽처 성질, 예를 들어 픽처 식별자를 시그널링하는 것이다. 예를 들어, 현재 픽처가 픽처 식별자 7을 가지면, 식별자 3, 5 및 6을 갖는 레퍼런스 픽처의 리스트는 -1, -2 및 -4로서 규정될 수 있는데, 이는, 특히 가변 길이 코딩이 픽처 식별자에 대해서 채용되면, 전형적으로 3, 5 및 6과 비교해서 더 적은 비트로 표현될 수 있다.

도 6은 이 접근을 개략적으로 도시한다. 방법은, 도 3의 단계 S2로부터 계속된다. 다음 단계 S10에서, 차이가, 상기 픽처 식별자와 현재 픽처를 식별하는 픽처 식별자 사이에서, 단계 S2에서 제공된 각각의 픽처 식별자에 대해서, 계산된다. 이 계산의 결과로서, 차이 또는 델타 식별자 또는 값이 획득된다. 그 다음, 방법은 도 3의 단계 S3으로 계속되는데, 여기서 버퍼 디스크립션 정보가 계산된 차이(들) 또는 델타 식별자(들)에 기반해서 생성된다.

그러므로, 버퍼 디스크립션 정보는, 이 경우, 3, 5 및 6 대신 델타 식별자 -1, -2 및 -4를 포함할 수 있다.

실시형태에 있어서, 델타 디스플레이 순서 정보 또는 deltaPOC는 가변 길이 코드(VLC: variable length code)로 인코딩된 버퍼 디스크립션 내에 포함된다. 특정 실시형태에 있어서, deltaPOC는 absolute_delta_POC_minus_one에 대한 VLC 및 number_of_reorder_frames > 0일 때만 시그널링되고, 그렇지 않으면 사인(sign)이 음을 시사하는, 플래그, 예를 들어 deltaPOC_sign에 대한 싱글 비트와 함께 인코딩된다.

픽처 식별자들, 픽처 식별자들 자체 또는 델타 식별자들의 명확한 시그널링을 제공하는 상기 실시형태에 있어서, 버퍼 디스크립션 정보는 실제로, 현재 픽처의 버퍼 디스크립션을 구성하게 된다. 그 다음, 이 버퍼 디스크립션 정보는, 픽처의 인코딩된 표현 내에 삽입된다.

버퍼 디스크립션 정보는, 적합한 위치에서의 제어 정보로서, 인코딩된 표현 내에 포함될 수 있다. 도 5는, 픽처의 일례의 인코딩된 표현(60)을 개략적으로 도시한다. 인코딩된 표현(60)은 슬라이스 내의 화소 블록의 인코딩된 화소 데이터를 나타내는 비디오 패이로드 데이터(66: VIDEO PAYLOAD data)를 포함하여 구성된다. 또한, 인코딩된 표현(60)은, 제어 정보를 반송하는 슬라이스 헤더(65: SLICE HEADER)를 포함하여 구성된다. 슬라이스 헤더(65)는 비디오 패이로드 및 네트워크 앱스트랙션 계층(NAL: Network Abstraction Layer) 헤더(64)와 함께, 인코더로부터 출력되는 엔티티인 NAL 유닛을 형성한다. 이 NAL 유닛에 대해서, 실시간 전송 프로토콜(RTP: Real-time Transport Protocol) 헤더(63), 유저 데이터그램 프로토콜(UDP: User Datagram Protocol) 헤더(62) 및 인터넷 프로토콜(IP) 헤더(61)와 같은 부가적인 헤더가, 인코더로부터 디코더로 전송될 수 있는 데이터 패킷을 형성하기 위해서, 부가될 수 있다. NAL 유닛의 패킷화의 이 형태는, 단지 비디오 전송과 연관된 예를 구성한다. 파일 포맷, MPEG-2 전송 스트림, MPEG-2 프로그램 스트림 등과 같은 NAL 유닛을 핸들링하는 다른 접근이 가능하다.

그 다음, 버퍼 디스크립션 정보는, 인코더 및 디코더가 따르는 표준에 의해 명기된 슬라이스 헤더(65), 다른 픽처 헤더 또는 다른 데이터 구조 내에 포함될 수 있다.

다른 실시형태에 있어서, 픽처의 인코딩된 표현(60) 내에 삽입된 버퍼 디스크립션 정보는, 현재 픽처의 버퍼 디스크립션과 반드시 동일하게 될 필요는 없지만, 대신 버퍼 디스크립션의 식별 및 검색을 가능하게 한다. 따라서, 이 실시형태에 있어서, 픽처의 인코딩된 표현(60) 내에 삽입된 버퍼 디스크립션 정보는, 픽처 식별자의 계산을 가능하게 하는, 델타 식별자와 같은, 픽처 식별자 또는 데이터를 반송하는 버퍼 디스크립션을 향해 포인팅함으로써, 단계 S1에서 결정된 적어도 하나의 레퍼런스 픽처를 간접적으로 규정한다.

이 경우, 버퍼 디스크립션은 픽처의 인코딩된 표현(60)과 연관된 데이터 구조에 의해 반송될 수 있다. 이러한 데이터 구조의 예는, 픽처 파라미터 세트(PPS: 67) 및 시퀀스 파라미터 세트(SPS: 68)를 포함한다. PPS(67) 및/또는 SPS(68)는 인코딩된 표현(60) 내에 직접적으로 포함될 수 있지만, 전형적으로는 인코딩된 표현(60) 내의 PPS 식별자 및/또는 SPS 식별자의 포함을 통해서 이에 연관된다. 예를 들어, 각각의 슬라이스 헤더(65)는, 그 PPS(67)가 현재 픽처에 대해서 적용되는 것을 통지하는 PPS 식별자를 포함할 수 있다. 관련 PPS(67)는, 차례로, 그 SPS(68)가 PPS(67)에 대해서 적용되고, 그러므로 현재 픽처에 대해서 적용되는 것을 통지하는 SPS 식별자를 포함할 수 있다.

그 다음, 버퍼 디스크립션은, 현재 픽처에 할당된 PPS(67) 또는 SPS(68) 내에 삽입될 수 있다. 이 경우, 인코딩된 표현(60) 내에 삽입된 PPS 식별자 또는 SPS 식별자는, 인코딩된 표현(60) 내에 삽입된 버퍼 디스크립션 정보를 구성한다. 이 PPS 식별자 또는 SPS 식별자는, 레퍼런스 픽처의 픽처 식별자 및 PPS 식별자 또는 SPS 식별자를 규정하는, 그러므로 픽처 식별자를 간접적으로 규정하는, 버퍼 디스크립션의 검색을 가능하게 한다.

PPS(67) 및 SPS(68)는 단지 픽처의 인코딩된 표현(60)과 연관되고, 본 실시형태에 따른 버퍼 디스크립션 정보를 반송하는데 사용될 수 있는 데이터 구조의 예를 구성한다.

도 7은 하나 이상의 버퍼 디스크립션이 데이터 구조로 시그널링되므로, 동일한 버퍼 디스크립션이 다중 픽처에 대해서 사용될 수 있는 대안적인 실시형태를 도시한다.

방법은 단계 S20에서 시작하는데, 여기서 표와 같은 데이터 구조가 생성된다. 데이터 구조는 다중의 사전 규정된 버퍼 디스크립션을 포함하여 구성되며, 각각은 적어도 하나의 레퍼런스 픽처를 규정한다.

생성된 데이터 구조의 각각의 버퍼 디스크립션은, 픽처 식별자를 직접적으로 규정할 수 있는데, 예를 들어 픽처 식별자의 리스트를 포함한다. 그런데, 이러한 접근은 데이터 구조 내에 상당수의 사전 규정된 버퍼 디스크립션을 일반적으로 요구한다. 더 효과적인 접근은, 다중의 사전 규정된 버퍼 디스크립션의 사용과 상기 논의된 바와 같이 델타 식별자의 시그널링을 결합하는 것이다. 이 경우, 각각의 사전 규정된 버퍼 디스크립션은 적어도 하나의 각각의 델타 식별자를 포함하여 구성되는데, 이들은 디코더에서 현재 픽처의 픽처 식별자와 함께 사용되어, 사전 규정된 버퍼 디스크립션의 픽처 식별자(들)를 계산한다.

표 1은 도 8에 도시된 바와 같이 비디오 스트림에 대해서 사용될 수 있는 델타 식별자를 갖는 이러한 데이터 구조의 일례를 도시한다. 도 8의 비디오 스트림은 IDR 픽처와 함께 시작하는데, 이는 IDR 픽처에 앞서서 전송된 데이터에 대한 모든 의존성을 제거하는 인트라(I) 프레임이고, 예를 들어 이는 모든 레퍼런스 픽처를 "레퍼런스용으로 사용되지 않는"으로서 마크한다. IDR 픽처는, 디코딩된 픽처 버퍼를 엠프티하지 않으므로, 버퍼 디스크립션을 필요로 하지 않는다. 도 8의 비디오 스트림은, 도 8의 시간적인 식별자(temporal_id) n, n+1 및 n+2에 의해 식별된 다른 시간적인 계층 내에 픽처를 제공하는 계층의 비디오 형태이다.

엔트리	픽처 버퍼 1	픽처 버퍼 2	픽처 버퍼 3	픽처 버퍼 4
0	dP: -1 tId: 2	dP: -2 tId: 1	dP: -4 tId: 0	dP: -8 tId: 0
1	dP: -1 tId: 0	dP: -2 tId: 2	dP: -5 tId: 0	dP: -9 tId: 0
2	dP: -1 tId: 2	dP: -2 tId: 0	dP: -6 tId: 0	dP: -10 tId: 0
3	dP: -1 tId: 1	dP: -2 tId: 2	dP: -3 tId: 0	dP: -7 tId: 0

- 사전 규정된 버퍼 디스크립션을 갖는 데이터 구조

표 1은 일례의 버퍼 디스크립션 표를 나타내는데, 여기서 deltaPOC(dP) 및 temporal_id(tId)를 나타낸다. 표는 2개의 가장 밀접한 레퍼런스 픽처(POC(current)-1 및 POC(current)-2) 및 POC(current)-3로부터 POC(current)-10으로의 범위 내의 가장 낮은 시간적인 계층으로부터의 2개를 포함하는 방안을 사용해서 구성된다.

인코더에 의한 이 표의 사용 예는, POC=n을 갖는 픽처에 대해서, 시그널 표 엔트리(n%4), 예를 들어 디코더에 대해서 n 모둘러(modulo) 4이다. 이 예에 있어서, 디코딩된 픽처 버퍼는 4개의 픽처(픽처 버퍼 1 내지 픽처 버퍼 4)로 이루어진다. 픽처는 현재 픽처의 POC에 의존하고, 엔트리가 사용된다. 예를 들어, POC=7을 갖는 픽처가 엔트리 3을 사용하면, 디코딩된 픽처 버퍼 내의 레퍼런스 픽처는 POC{6, 5, 4, 0}를 갖는 픽처로 이루어지게 된다.

단계 S20에서 생성된 데이터 구조는 인코더로부터 디코더로 시그널링된다. 이 시그널링은 다양한 실시형태에 따라서 수행될 수 있다. 데이터 구조는, PPS, SPS, 새로운 파라미터 세트 또는 인코더 및 디코더가 따르는 표준에 의해 명기된 다른 데이터 구조로 반송될 수 있다. 이는, 단계 S21에 의해 개략적으로 도시되는데, 여기서 데이터 구조는 비디오 스트림의 인코딩된 표현과 연관된 PPS 또는 SPS 내에 삽입된다. 이 경우, 단계 S22는, 바람직하게는 PPS 식별자 또는 SPS 식별자를, 슬라이스 헤더 내에서와 같이, 픽처의 인코딩된 표현 내에 삽입한다. 그 다음, 이 PPS 식별자 또는 SPS 식별자는, 현재 픽처를 디코딩할 때, 이용 가능한 데이터 구조의 식별을 가능하게 한다.

방법은 도 7의 단계 S1 및 S2로 계속되는데, 여기서 레퍼런스 픽처가 결정되고, 픽처 식별자가 현재 픽처에 대해서 제공된다. 다음 단계 S23는, 단계 S20에서 제공된 적어도 하나의 픽처 식별자에 기반해서, 단계 S20에서 생성된 데이터 구조로부터 버퍼 디스크립션을 선택한다.

표 1 내의 엔트리와 같이, 이러한 버퍼 디스크립션이 선택되면, 단계 S24는 선택된 버퍼 디스크립션의, 엔트리 번호와 같은, 식별자를 포함하여 구성되는 버퍼 디스크립션 정보를 생성한다. 방법은 단계 S4로 계속되고, 여기서 버퍼 디스크립션 정보는 픽처의 인코딩된 표현 내에 삽입된다.

따라서, 어떤 버퍼 디스크립션이 현재 픽처에 대해서 사용되는 지를 명기하기 위해서, 식별자가 현재 픽처에 대해서 시그널링될 수 있다. 일례의 이러한 식별자는, 버퍼 디스크립션이 시그널링된 순서로 버퍼 디스크립션의 번호를 나타내는 현재 픽처의 슬라이스 헤더(들)로 시그널링된, 음이 아닌 정수이다.

전형적인 실행에 있어서, 단계 S20은 비디오 스트림에 대해서 한번, 비디오 스트림의 다중 픽처의 세트에 대해서 한번 수행된다. 이는, 그러면, 싱글의 이러한 데이터 구조가 비디오 스트림에 대해서 또는 다중 픽처의 세트에 대해서 생성되는 것을 의미한다. 도 7의 다음 단계 S21 내지 S24는, 바람직하게는 비디오 스트림 내의 각각의 픽처 또는 다중 픽처의 세트에 대해서 수행된다.

따라서, 표와 같은 데이터 구조가 인코더에서 생성되고 디코더로 송신될 수 있다. 인코딩된 비트 스트림의 제어 정보에 있어서는, 사용되는 엔트리 번호가 제공된다. 상기 표를 사용함으로써, 디코더는, 디코딩된 비트 스트림 내의 엔트리 번호를 검출하고, 표 내의 엔트리를 룩업하기 위해서 그 엔트리 번호를 사용함으로써, 레퍼런스 픽처로서 사용되는 픽처의 절대 정보를 획득할 수 있다. 그 다음, 엔트리는, 디코딩된 픽처 버퍼 내에 기억되는 픽처를 결정하는데 사용된다.

예를 들어, SPS 내의 버퍼 디스크립션 엔트리의 도입은, 슬라이스 헤더 내에서 버퍼 디스크립션의 시그널링의 비트 오버헤드를 명확하게 감소시킨다. 이들 버퍼 디스크립션은, 동일 시퀀스 내의 다중 슬라이스/픽처, 예를 들어 비디오 스트림에 대해서 사용될 수 있고, 따라서 픽처마다 요구되는 비트 수를 감소시킨다.

PPS 내의 각각의 버퍼 디스크립션 엔트리에 대해서, 모든 레퍼런스 픽처의 delta_POC 및 temporal_id가 실시형태 내에 존재할 수 있다. 옵션의 additional_picture_id는, 바람직하게는 PPS 내의 엔트리에 의해 기술된 픽처에 대해서 0이 되는 것으로 추론된다.

또 다른 실시형태에 따라서, 상기 표 내의 엔트리와 같이, 다중의 사전 규정된 버퍼 디스크립션을 갖는 일반적인 데이터 구조 내의 엔트리에 대한 버퍼 디스크립션의 명확한 시그널링 및 레퍼런스 시그널링은, 결합될 수 있다. 이 경우, 이들은 현재 픽처에 대한 최종 버퍼 디스크립션을 형성하기 위해 디코더에 의해 결합될 수 있다. 명확한 시그널링 및 레퍼런스 시그널링을 결합하는 하나의 방식은, 명확한 시그널링에 의해 기술된 레퍼런스 픽처의 세트와 레퍼런스 시그널링에 의해 기술된 레퍼런스 픽처의 세트를 접합해서, 레퍼런스 픽처의 접합 세트를 형성하는 것이다.

이 경우, 도 3의 단계 S3은, 바람직하게는, 단계 S23에서 선택된 버퍼 디스크립션의 식별자를 포함하여 구성되기 위해서 그리고, 적어도 하나의 레퍼런스 픽처를 규정하는 정보를 포함하여 구성되기 위해서, 버퍼 디스크립션 정보를 생성하는 단계를 포함하여 구성된다. 적어도 하나의 레퍼런스 픽처를 규정하는 이 정보는, 픽처 식별자가 계산될 수 있는, 레퍼런스 픽처 자체의 픽처 식별자 또는 델타 식별자가 될 수 있다.

긴 시간 주기(장기간 레퍼런스 픽처)를 위한 레퍼런스용으로 사용되는 픽처는, 바람직하게는 레퍼런스용으로 이용 가능한 픽처의 슬라이스 헤더 내의 명확한 디스크립션에 의해 가리켜질 수 있다. 이유는, PPS 또는 SPS로 시그널링된 사전 규정된 버퍼 디스크립션 내의 POC 번호 내에 모든 거리마다 포함시키는 것은 불편하게 되기 때문이다.

특정 실시형태에 있어서, 픽처의 인코딩된 표현은, 바람직하게는, 버퍼 디스크립션 정보의 명확한 시그널링 및/또는 버퍼 디스크립션 정보의 암시의 시그널링이 현재 픽처에 대해서 선택되었는지를 가리키기 위해서, 플래그를 포함하여 구성된다. 이 플래그는, 예를 들어 픽처의 인코딩된 표현의 슬라이스 헤더 내 또는 몇몇 다른 제어 정보 필드 내에 포함될 수 있다.

특정 실시형태에 있어서, 픽처(10)는 도 4에 나타낸 바와 같이 하나 또는 다중 슬라이스(20, 22)로 구성될 수 있다. 이 경우, 슬라이스(20, 22)는 픽처(10)의 독립적으로 디코딩 가능한 부분이다. 즉, 인코딩된 슬라이스는, 동일한 픽처(10)의 다른 인코딩된 슬라이스의 데이터가 손실되더라도 디코딩될 수 있다.

이러한 접근에 있어서, 도 3의 단계 S1은, 바람직하게는, 픽처 내의 각각의 슬라이스에 대한 비디오 스트림의 적어도 하나의 레퍼런스 픽처를 결정한다. 그 다음, 제1슬라이스가 하나 이상의 레퍼런스 픽처의 제1세트를 사용하게 되고, 제2슬라이스가 하나 이상의 레퍼런스 픽처의 제2세트를 사용하게 된다. 제2세트는 제1세트와 동일하게 될 수 있고 또는 제1세트와 다르게 될 수 있다. 또한, 적어도 하나의 레퍼런스 픽처가 제1세트 및 제2세트에 대해서 공통인 것이 가능하다.

바람직하게는, 단계 S2는, 픽처 내의 적어도 하나의 슬라이스에 대해서, 바람직하게는 모든 슬라이스에 대해서, 단계 S1에서 결정된 모든 레퍼런스 픽처에 대해서 픽처 식별자를 결정한다. 그 다음, 버퍼 디스크립션 정보는, 이들 픽처 식별자에 기반해서 단계 S3에서 생성되고, 이에 의해 레퍼런스 픽처를 규정한다. 실시형태에 있어서, 단계 S3에서 생성된 버퍼 디스크립션은 각각의 슬라이스에 대한 픽처의 인코딩된 표현의 각각의 슬라이스 헤더 내에 삽입된다. 따라서, 바람직하게는, 픽처의 인코딩된 표현의 각각의 슬라이스 헤더는 버퍼 디스크립션 정보의 각각의 예를 반송한다. 더 바람직하게는, 픽처의 제1슬라이스의 슬라이스 헤더로 반송된 버퍼 디스크립션 정보는 픽처의 제2슬라이스의 슬라이스 헤더로 반송된 버퍼 디스크립션 정보와 동일하다.

또한, 비디오 인코딩 및 디코딩은, 소위 스케일 가능한(scalable) 또는 계층의 비디오에 적용될 수 있다. 예를 들어, 시간적인 스케일러빌리티(scalability)는, H.264/MPEG-4 AVC 및 스케일 가능한 비디오 코딩(SVC)으로, SVC 내의 temporal_id의 서브시퀀스 및 사용의 규정 및 "존재하지 않는" 프레임의 삽입을 통해서, 지원된다. 그런데, 시간적인 스케일러빌리티를 지원하기 위해서, 더 높은 시간적인 계층 내의 픽처는, MMCO를 사용할 때, 제한된다. 인코더는, 하나의 시간적인 계층 내의 MMCO가, 시간적인 계층이 드롭되고, "존재하지 않는" 픽처가 삽입되며, 슬라이딩 윈도우 처리가 적용되는 지에 비교해서, 더 낮은 시간적인 계층의 픽처에 다르게 영향을 주지 않는 것을, 보장하도록 만드는데 책임이 있다.

이는, 코딩 구조 및 레퍼런스 픽처 사용의 선택에서 인코더에 제한을 부가한다. 예를 들어, 도 2의 예를 고려하자. 디코딩된 픽처 버퍼(max_num_ref_frames) 내의 최대 수의 레퍼런스 프레임은, 각각의 픽처가 인터 예측에 대해서 2개의 레퍼런스 픽처만을 사용하더라도 3개인 것으로 상정한다. 그 이유는, 각각의 픽처는 다음 픽처에 의한 인터 예측을 위해 사용될 다른 시간적인 계층으로부터 하나의 가외의 픽처를 유지해야 한다는 것이다.

픽처 POC=4를 디코딩할 때 이용 가능한 픽처 POC=0 및 픽처 POC=2를 갖기 위해서, 픽처 POC=3은, 픽처 1을 이용할 수 없음으로서 마크하는 명확한 레퍼런스 픽처 마킹 커멘드(MMCO)를 가져야 한다.

그런데, 시간적인 계층 1이 제거되면(예를 들어, 네트워크 노드에 의해), 모든 홀수의 픽처에 대해서 frame_num 내에는 갭이 있게 된다. "존재하지 않는" 픽처는 이들 픽처에 대해서 생성되고, 슬라이딩 윈도우 처리가 적용된다. 이는, 픽처 POC=0을 이용할 수 없음으로서 마크하는 "존재하지 않는" 픽처 POC=3을 갖는 것으로 귀결된다. 따라서, 이는, 픽처 POC=4가 디코딩될 때의 예측에 대해서 이용 가능할 수 없게 된다. 인코더는 디코딩 처리가 2개의 경우에 대해서 동일하게 되도록 만들 수 없으므로; 모든 픽처가 디코딩될 때 그리고, 가장 낮은 계층만 디코딩될 때; 도 2의 코딩 구조 예는 종래 기술에 따른 시간적인 스케일러빌리티에 대해서 사용될 수 없다.

따라서, 종래 기술의 솔루션은, 레퍼런스 픽처 정보가 상대적인 방식으로 시그널링됨에 따라, 현재 픽처의 레퍼런스 픽처에 관한 정보가 비트 스트림으로부터의 이전의 픽처의 제거에 의해 영향받으므로, 소정의 코딩 구조에 대한 시간적인 스케일러빌리티의 문제점을 갖는다. 실시형태를 사용하면, 절대적인 방식으로 시그널링되므로, 비트 스트림으로부터 이전의 픽처의 제거에 의해 현재 픽처에 대한 레퍼런스 픽처가 영향받지 않으므로, 시간적인 스케일러빌리티는 종래 기술에서와 같이 제한되지 않게 된다.

다중 계층 내로 그룹화된 픽처를 갖는 스케일 가능한 비디오 스트림의 경우에 있어서, 도 3의 단계 S2는, 바람직하게는, 레퍼런스 픽처가 속하는 다중 계층의 계층을 식별하는 픽처 식별자 및 시간적인 계층 정보를 제공하는 단계를 포함하여 구성된다. 그 다음, 버퍼 디스크립션 정보는, 적어도 하나의 픽처 식별자 및 시간적인 계층 정보에 기반해서, 단계 S3에서 생성된다. 이는, 이에 의해 버퍼 디스크립션 정보가 적어도 하나의 픽처 식별자 및 시간적인 계층 정보를 규정하는 것을 의미한다.

예를 들어, temporal_id와 같은 시간적인 계층 정보는, temporal_id의 시그널링을 위해 ceil(log2(max_temporal_layers_minus1)) 비트를 사용해서 시그널링된 버퍼 디스크립션 내의 각각의 픽처에 대해서 포함된다. 시간적인 스케일러빌리티는, 실시형태가 적용될 수 있는 다중-계층 비디오의 예일 뿐이다. 다른 타입은 다중-계층 비디오를 포함하는데, 여기서 각각의 픽처는 픽처 식별자 및 뷰우 식별자를 갖는다. 스케일러빌리티의 또 다른 예는, 공간적인 스케일러빌리티, 신호대 노이즈비(SNR) 스케일러빌리티, 비트-K스(depth) 스케일러빌리티 및 크로마(chroma) 포맷 스케일러빌리티를 포함한다.

이 실시형태는, 시간적인 다운-스위칭이 항상 가능한 것을 시사한다. 더 낮은 계층과 함께 각각의 시간적인 계층은 서브-시퀀스를 구성한다. 이러한 서브-시퀀스는 명확한 시그널링을 필요로 하지 않는다.

일반적으로, 인코더는, 버퍼 디스크립션 내에 포함시키기 위해서 어떤 픽처를 자유롭게 선택할 수 있고, 이 선택은, 디스플레이 순서로 가장 근접한 픽처와 같은 소정의 측면에 기반할 수 있다. 전형적으로, 인코더는 최대 압축을 달성하는 한편 사이드 제약(side constraints)의 세트를 따르게 하기 위해서 버퍼 디스크립션을 선택한다. 이러한 제약의 하나의 예는, 메모리 사이즈에 기인한 레퍼런스 픽처의 최대 수 이다. 다른 예는, 비트 스트림 내의 소정의 코딩된 픽처가 디코딩 전에 비트 스트림으로부터 제거될 때도, 비디오 스트림이 디코딩 가능하게 될 것이다. 또 다른 예는, 디코딩된 픽처 버퍼 내에서 레퍼런스용으로 이용 가능한 픽처만이 레퍼런스 픽처로서 선택될 수 있는 것이다.

따라서, 실시형태에 있어서 도 3의 단계 S1은, 픽처의 인코딩된 표현의 압축 성능을 최대화하는 한편, 적어도 하나의 사이드 제약을 따름으로써, 현재 픽처에 대한 적어도 하나의 레퍼런스 픽처를 결정하는 단계를 포함하여 구성된다. 그 다음, 적어도 하나의 사이드 제약은, 바람직하게는 사전 규정된 레퍼런스 픽처의 최대 수 로부터 선택되고, 픽처의 적어도 하나의 인코딩된 표현이 비디오 스트림의 인코딩된 표현으로부터 제거될 때, 또한 비디오 스트림의 디코딩 가능한 인코딩된 표현을 생성한다.

실시형태의 다른 측면에 따라서, 인코딩된 비디오 또는 데이터 스트림이 수신되는 방법이 제공되는데, 버퍼 디스크립션 정보가 인코딩된 비디오 스트림 내에서 검출되고, 현재 픽처를 디코딩하기 위한 레퍼런스 픽처로서 또는, 미래의 디코딩을 위한 레퍼런스 픽처로서 사용되는 픽처에 대한 절대 레퍼런스가 버퍼 디스크립션 정보에 기반해서 결정된다. 레퍼런스 픽처로서 사용되는 픽처는 디코딩된 픽처 버퍼 내에 기억된다.

도 9는 실시형태에 따른 픽처의 인코딩된 표현을 디코딩하는 방법의 흐름도이다. 본 방법은 단계 S30에서 시작하는데, 여기서 적어도 하나의 레퍼런스 픽처를 규정하는 버퍼 디스크립션 정보가 픽처의 인코딩된 표현으로부터 검색된다. 버퍼 디스크립션 정보는, 픽처용의 디코딩 레퍼런스로서 각각의 레퍼런스 픽처를 바람직하게는 분명하게 식별하는 적어도 하나의 픽처 식별자를 결정하기 위해서, 단계 S31에서 사용된다. 단계 S31에서 결정된 적어도 하나의 레퍼런스 픽처 식별자는 디코딩된 픽처 버퍼를 갱신하기 위해서 단계 S32에 사용된다.

픽처를 디코딩하기 위해 필요로 되는 정확한 레퍼런스 픽처를 포함하여 구성하기 위해서 디코딩된 픽처 버퍼가 갱신될 때, 본 방법은, 전형적으로 단계 S33으로 계속되는데, 여기서 픽처는 디코딩된 픽처 버퍼 내에 포함, 존재 또는 기억된 픽처 및 적어도 하나의 레퍼런스 픽처의 인코딩된 표현을 기반으로 디코딩되고, 버퍼 디스크립션 정보를 기반으로 식별된다.

바람직한 실시형태에 있어서, 디코딩 단계 S33는, 도 9에서 나타낸 바와 같이, 디코딩된 픽처 버퍼를 갱신한 후 수행된다.

단계 S32에서의 디코딩된 픽처 버퍼의 갱신은, 바람직하게는, 결정된 픽처 식별자에 의해 식별된 레퍼런스 픽처가, 이 레퍼런스 픽처가 현재 픽처 및/또는 소정의 후속하는 픽처에 대한 디코딩 레퍼런스 또는 예측으로서 사용되는 것을 가리키기 위해서, "레퍼런스용으로 사용"으로 마크되거나 또는 "예측용으로 사용"으로 마크되는 것을 시사한다. 특정 실시형태에 있어서, 레퍼런스 픽처는 단기간 레퍼런스용으로 사용으로서 또는 장기간 레퍼런스용으로 사용으로서 마크될 수 있다.

특정 실시형태에 있어서, 단계 S30은 픽처의 인코딩된 표현으로부터 다중 레퍼런스 픽처를 규정하는 버퍼 디스크립션 정보를 검색한다. 이러한 실시형태에 있어서, 단계 S31은, 버퍼 디스크립션 정보에 기반해서, i) 픽처용의 디코딩 레퍼런스로서 각각의 레퍼런스 픽처를 식별하는 적어도 하나의 픽처 식별자 및 ii) 비디오 스트림의, 디코딩 순서에 따른, 후속하는 픽처용의 디코딩 레퍼런스로서 각각의 레퍼런스 픽처를 식별하는 적어도 하나의 픽처 식별자를, 결정할 수 있다. 대안적인 실시형태에 있어서, 버퍼 디스크립션 정보는, 현재 픽처용의 디코딩 레퍼런스로서 각각의 레퍼런스 픽처(들)의 하나 이상의 픽처 식별자 및/또는, 비디오 스트림의, 디코딩 순서에 따른, 후속하는 픽처용의 디코딩 레퍼런스로서 각각의 레퍼런스 픽처(들)의 하나 이상의 픽처 식별자를 식별한다.

단계 S32는, 바람직하게는, 단계 S31에서 결정된 적어도 하나의 픽처 식별자에 의해 식별된 각각의 레퍼런스 픽처를 포함하여 구성되기 위해서, 디코딩된 픽처 버퍼를 갱신한다.

본 명세서에서 이전에 논의된 바와 같이, 버퍼 디스크립션 정보는 슬라이스 헤더 내 또는 픽처의 인코딩된 표현의 다른 제어 정보 필드 내에 제공될 수 있다. 이 경우, 도 9의 단계 S30은 픽처의 인코딩된 표현의 슬라이스 헤더로부터 버퍼 디스크립션 정보를 검색하는 단계를 포함하여 구성된다. 다중-슬라이스 픽처는, 일반적으로 다중 슬라이스 헤더를 포함하여 구성된다. 이 경우, 각각의 슬라이스 헤더는, 바람직하게는 동일한 버퍼 디스크립션 정보를 포함하여 구성된다. 그 다음, 픽처의 소정의 나머지 슬라이스 헤더가 동일한 버퍼 디스크립션 정보를 포함하게 됨에 따라서, 단계 S30에서, 픽처의 제1슬라이스 헤더로부터 버퍼 디스크립션 정보를 검색하면 된다. 그 다음, 다른 슬라이스 헤더 내의 버퍼 디스크립션 정보는, 제1슬라이스가 손실되면, 에러 회복력(error resilience)에 대해서 사용될 수 있다.

버퍼 디스크립션 정보는, 레퍼런스 픽처(들)의 픽처 식별자(들)를 명확하게 포함할 수 있다. 이 경우, 단계 S30는 버퍼 디스크립션 정보로부터 적어도 하나의 픽처 식별자를 간단히 검색한다.

대안적인 실시형태에 있어서, 버퍼 디스크립션 정보는 델타 값 또는 델타 식별자를 포함하여 구성된다. 도 10은 이러한 경우에 대해서 도 9 내의 단계 S31의 실시형태를 도시하는 흐름도이다. 그 다음, 방법은 도 9의 단계 S30로부터 계속된다. 다음 단계 S40은 버퍼 디스크립션 정보에 기반해서 각각의 델타 식별자를 검색한다. 델타 식별자(들)는, 단계 S41에서, 레퍼런스 픽처(들)의 픽처 식별자(들)를 계산하기 위해서 현재 픽처의 픽처 식별자와 함께 사용된다. 그 다음, 방법은 도 10의 단계 S32로 계속된다.

따라서, 이 실시형태에 있어서는, 현재 픽처에 대해서 이용 가능한 정보가, 시그널링된 버퍼 디스크립션 정보로부터 현재 픽처에 대한 최종 버퍼 디스크립션을 구성하기 위해서, 디코더에 의해 사용된다. 이러한 정보는, 이에 제한되지 않지만, 현재 POC(POC(curr))를 포함하는데, 이는 시그널링된 deltaPOC와 함께, POC(ref)=POC(curr) + deltaPOC로서 레퍼런스 픽처(POC(ref))의 POC를 계산하는데 사용될 수 있다.

다른 실시형태는 다중의 사전 규정된 버퍼 디스크립션을 사용하는 것과 관련된다. 도 11은 이러한 접근을 개략적으로 도시한다. 제1단계 S50에 있어서, 다중의 사전 규정된 버퍼 디스크립션을 포함하여 구성되는 데이터 구조가 검색된다. 바람직한 실시형태에 있어서, 데이터 구조는 픽처의 인코딩된 표현으로 반송된 정보에 기반해서 검색된다. 예를 들어, 데이터 구조는, 인코더 측면으로부터 디코더 측면으로, 픽처의 인코딩된 표현의 PPS 또는 SPS의 부분으로서, 시그널링될 수 있다. 이 경우, 데이터 구조는, 슬라이스 헤더 내에서와 같이, 픽처의 인코딩된 표현 내의 버퍼 디스크립션 정보의 부분으로서 사용된 PPS 식별자 또는 SPS 식별자에 기반해서, 단계 S50에서, PPS 또는 SPS로부터 검색된다. 대안적으로, PPS 식별자는 슬라이스 헤더로부터 검색되고, 차례로 PPS는, 데이터 구조가 SPS의 부분으로서 시그널링되면, 사용될 수 있는 SPS 식별자를 포함하여 구성된다.

다음 단계 S51는, 슬라이스 헤더로부터와 같이, 픽처의 인코딩된 표현으로부터 버퍼 디스크립션 정보의 부분으로서 버퍼 디스크립션의 식별자를 검색한다. 이 식별자는, 단계 S52에서 현재 픽처에 대해서 사용하기 위해서, 단계 S50에서 검색된 데이터 구조로부터 어떤 사전 규정된 버퍼 디스크립션을 식별하기 위해서 채용된다. 그 다음, 이 방법은, 도 1의 단계 S31로 계속되는데, 여기서 픽처 식별자가 식별된 사전 규정된 버퍼 디스크립션으로부터 결정된다.

실시형태를 사용해서, 매우 작은 오버헤드를 갖는 소정의 코딩 구조에 대해서 최적의 버퍼 방안을 적용하는 것이 가능하다. 슬라이스 헤더에서 필요로 되는 것은, 간단히 PPS 등의 내의 정확한 버퍼 디스크립션에 대한 레퍼런스이다. 또한, 버퍼 디스크립션은 픽처 헤더 등이나 또는 픽처 내의 모든 슬라이스 사이에서 공유되는 파라미터 세트 내에 놓일 수 있는 것을 주지하자. 중요한 성질은, 특정 픽처를 디코딩하기 위해 사용된 버퍼 디스크립션이 종래 기술에서와 같은 디코딩 순서로, 픽처와 함께 그리고 이전의 픽처 없이 송신되는 특정 픽처를 디코딩하기 위해서 사용되는 것이다. 부가적으로, 버퍼 디스크립션 정보는, 싱글 데이터 패킷이 의도하지 않게 손실될 때, 인코더 측면과 디코딩 측면 사이에서 장기간 부정합을 일으킬 수 있는 델타 정보를 시그널링하는 대신, 비디오 스트림 내의 각각의 픽처를 디코딩하기 위해 유지되어야 하는, 디코딩된 픽처 버퍼 내의 모든 레퍼런스 픽처를 시그널링하기 위해서 사용된다.

본 명세서에서 이전에 논의된 바와 같이, 픽처의 인코딩된 표현 내의 버퍼 디스크립션의 명확한 시그널링 및 데이터 구조 내의 사전 규정된 버퍼 디스크립션에 대한 레퍼런스 시그널링이 결합될 수 있다. 명확한 시그널링 및 레퍼런스 시그널링을 결합하는 하나의 방식은, 명확한 시그널링으로 기술된 레퍼런스 픽처의 세트와 레퍼런스 시그널링으로 기술된 레퍼런스 픽처의 세트를 접합해서, 레퍼런스 픽처의 접합 세트를 형성하는 것이다. 그러면, 레퍼런스 시그널링으로 기술된 레퍼런스 픽처의 세트 내에 포함되지만 명확한 시그널링 내에 포함되지 않는 하나 이상의 레퍼런스 픽처가, 레퍼런스 픽처의 최대 수(max_num_ref_frames) 미만을 갖는 최종 버퍼 디스크립션을 갖기 위해서, 레퍼런스 픽처의 접합 세트로부터 가능하게는 제거된다. 바람직하게는, 픽처는, 이들이, 마지막 것으로부터 시작해서 앞으로 진행하는, 예를 들어 사전 규정된 버퍼 디스크립션인 일반적인 버퍼 디스크립션 내에서 리스트된 순서로 제거된다.

도 12는 이러한 접근을 도시하는 흐름도이다. 방법은, 도 9의 단계 S30 및 도면 S31 내의 단계 S52로부터 계속된다. 그러므로, 이 실시형태에 있어서, 버퍼 디스크립션 정보는 도 11의 단계 S51 내에서 검색된 버퍼 디스크립션의 식별자와 도 9의 단계 S30에서 검색된 적어도 하나의 레퍼런스 픽처를 규정하는 정보 모두를 포함하여 구성된다. 단계 S30에서 검색된 이 정보는, 실제 픽처 식별자(들) 또는 사전에 언급된 델타 식별자(들)이 될 수 있었다.

다음 단계 S60은, 도 11의 단계 S52에서 식별된 사전 규정된 버퍼 디스크립션으로부터 각각의 레퍼런스 픽처를 식별하는 적어도 하나의 픽처 식별자의 제1세트를 결정한다. 대응해서, 각각의 레퍼런스 픽처를 식별하는 적어도 하나의 픽처 식별자의 제2세트는, 도 9의 단계 S30에서 검색된 정보로부터 단계 S61에서 결정된다. 단계 S60 및 S61은, 소정의 순서로 후속해서 또는 적어도 부분적으로 병렬로 수행될 수 있다.

다음 단계 S62는, 단계 S60에서 결정된 제1세트 및 단계 S61에서 결정된 제2세트에 기반해서, 픽처 식별자의 접합 세트를 형성한다.

옵션의 그렇지만 바람직한 다음 단계 S63는, 레퍼런스 픽처의 최대 수 (MAX), 예를 들어 전형적으로 SPS로 시그널링되는 파라미터 max_num_ref_frames를 갖는 접합 세트 내의 픽처 식별자(IDS)의 전체 수를 포함하여 구성된다. 접합 세트 내의 픽처 식별자의 전체 수가 디코딩된 픽처 버퍼 내에 기억될 수 있는 레퍼런스 픽처의 최대 수를 초과하면, 방법은 단계 S64로 계속된다. 이 단계 S64는, 접합 세트 내의 픽처 식별자의 전체 수가 레퍼런스 픽처의 최대 수를 더 이상 초과하지 않을 때까지, 제1세트 내에 포함되지만 제2세트 내에 포함되지 않은 하나 이상의 픽처 식별자를 제거한다. 따라서, 이에 의해, 접합 세트는, 단계 S60에서 결정된 픽처 식별자를 제거함으로써 갱신된다. 픽처 식별자는, 바람직하게는, 이들이, 마지막 픽처 식별자로부터 시작해서, 앞으로 진행하는, 도 11의 단계 S52에서 식별된 사전 규정된 버퍼 디스크립션 내에 리스트된 순서로, 제거된다.

특정 실시형태에 있어서, 픽처의 인코딩된 표현은, 바람직하게는, 버퍼 디스크립션 정보의 명확한 시그널링 및/또는 버퍼 디스크립션 정보의 암시의 시그널링이 현재 픽처에 대해서 선택되었는지를 가리키는 플래그를 포함하여 구성된다. 이 경우, 디코더는, 현재 픽처에 대해서 사용된 버퍼 디스크립션 정보의 시그널링 타입을 결정하기 위해서, 슬라이스 헤더로부터 또는 몇몇 다른 제어 정보 필드로부터와 같이, 픽처의 인코딩된 표현으로부터 플래그를 검색한다.

도 13은 도 9의 방법의 부가적인 단계를 도시한 흐름도로, 이에 의해 단계 S32에서 갱신된 디코딩된 픽처 버퍼가 디코딩 목적을 위해 사용된다.

디코딩된 픽처 버퍼가 단계 S32에서 갱신되면, 픽처는 디코딩된 픽처 버퍼 내에서 이용 가능하지만 버퍼 디스크립션 내에 포함되지 않는다. 그러므로, 실시형태에 있어서, 디코딩된 픽처 버퍼 내에서 이용 가능하지만 버퍼 디스크립션 내에 포함되지 않는 픽처가, 디코딩된 픽처 버퍼로부터 디코더에 의해 제거되거나 또는 "레퍼런스용으로 사용되지 않는" 또는 "예측용으로 사용되지 않는"으로서 마크된다. 따라서, 이 실시형태에 있어서, 디코딩된 픽처 버퍼로부터 레퍼런스 픽처를 제거하는 것 또는 픽처를 "레퍼런스용으로 사용되지 않는"으로서 마크하는 것이, 버퍼 디스크립션을 포함하는 픽처의 픽처 디코딩 처리에 앞서서 디코더에 의해 수행된다.

단계 S70은, 디코딩된 픽처 버퍼로부터, 디코딩된 픽처 버퍼 내에 기억된 그리고 버퍼 디스크립션 정보로부터 결정된 소정의 적어도 하나의 픽처 식별자와 연관되지 않은, 소정의 레퍼런스 픽처를 제거함으로써, 이 과정을 도시한다. 이 단계 S70의 대안적인 실시형태에 있어서, 레퍼런스 픽처(들)은 디코딩된 픽처 버퍼로부터 반드시 제거되지 않는다. 단계 S70의 이 실시형태는 디코딩된 픽처 버퍼 내에 기억되고, 레퍼런스용으로 사용되지 않는 또는 예측용으로 사용되지 않는으로서 버퍼 디스크립션 정보로부터 결정된 소정의 적어도 하나의 픽처 식별자와 연관되지 않은 소정의 레퍼런스 픽처를 마크한다. 이는, 마크된 레퍼런스 픽처가 비디오 스트림 내의 현재 픽처 또는 소정의 후속하는 픽처에 대한 예측 기반으로서 사용되지 않게 되는 것을 의미한다. 그러므로, 디코더는, 디코딩된 픽처 버퍼 내의 이용 가능한 위치를 얻을 필요가 있으면, 마크된 레퍼런스 픽처를 출력할 수 있다. 특정 실시형태에 있어서, 레퍼런스용으로 사용되지 않는으로서 마크된 픽처는 버퍼 디스크립션 내에 포함될 수 없고, 레퍼런스용으로 사용으로서 재마크될 수 없다.

특정 실시형태에 있어서, 디코딩된 픽처 버퍼 내에 존재하고, 버퍼 디스크립션 정보에 기반해서 결정된 소정의 픽처 식별자와 연관된 소정의 레퍼런스 픽처는, 바람직하게는 단계 S70에서 레퍼런스용으로 사용으로서 마크된다. 실시형태에 있어서, 레퍼런스 픽처는 단기간 레퍼런스용으로 사용 또는 장기간 레퍼런스용으로 사용으로서 마크될 수 있다. 이들 2개의 특정 대안들 간의 선택은, 바람직하게는 버퍼 디스크립션 정보에 기반해서 수행된다.

단계 S71은 부가적인 옵션의 실시형태를 도시한다. 이 실시형태는, 디코더에 의해 디스플레이하기 위해서 버퍼 디스크립션에 따라서 디코더에 의해 레퍼런스용으로 사용되지 않는으로서 마크된 제로 이상의 픽처를 출력한다. 출력을 위한 하나의 이러한 예의 처리는, H.264/MPEG-4 AVC로부터의 범핑 처리이다. 출력은 본 명세서에서는 디스플레이하기 위한 출력으로 언급된다. 레퍼런스 픽처로서 사용하기 위한 픽처 및, 예를 들어 디스플레이에 출력하기 위한 픽처는, H.264 및 HEVC로 분리된다. 이는, 픽처가, 레퍼런스 픽처로서 제거, 예를 들어 레퍼런스용으로 사용되지 않는으로서 마크되기 전에 출력될 수 있고 또는, 출력되기 전에 레퍼런스용으로 사용되지 않는으로서 마크됨으로써 레퍼런스 프레임으로서 제거될 수 있는 것을, 의미한다.

디코딩 처리 동안, 버퍼 디스크립션은, 이용 가능하지 않는 픽처(프레임으로도 언급됨)에 관한 정보를 포함하고, 그러므로 레퍼런스 픽처에 대해서 사용될 수 없을 수 있다. 실시형태에 있어서, 버퍼 디스크립션이 디코딩된 픽처 버퍼에서 이용 가능하지 않는 픽처에 관한 정보를 포함하면, 다수의 "존재하지 않는" 픽처가 디코더에 의해 생성된다. 각각의 이러한 픽처는, 픽처가 인터 예측 또는 모션 벡터 예측용으로 사용되지 않더라도, 디코딩 처리에서 디코더에 의해 사용된 정보를 유지하는 변수에 대해서 값을 제공한다. 이러한 정보는, 이에 제한되지 않지만, 디코딩 순서 번호, 디스플레이 순서 번호, 시간적인 계층 정보, 뷰우 정보, 예를 들어 frame_num, POC, termporal_id 및 view_id와 같은 파라미터를 포함할 수 있다.

실시형태에 있어서, 존재하지 않는 픽처의 생성은, 버퍼 디스크립션 정보를 포함하는 픽처의 픽처 디코딩 처리에 앞서서 디코더에 의해 수행된다.

단계 S72 및 S73은 이러한 실시형태를 도시한다. 단계 S72는, 디코딩된 픽처 버퍼 내에 이미 기억된 레퍼런스 픽처와 연관된 픽처 식별자를 갖는 버퍼 디스크립션 정보로부터 결정된 적어도 하나의 픽처 식별자를 포함하여 구성된다. 결정된 픽처 식별자가 디코딩된 픽처 버퍼 내에 기억된 레퍼런스 픽처의 픽처 식별자 중에서 발견되지 않으면, 결정된 픽처 식별자와 연관된 픽처가 분실 또는 존재하지 않는으로 결정된다. 실시형태에 있어서, 존재하지 않는 픽처는 옵션으로 단계 S73에서 생성되고 디코딩된 픽처 버퍼 내에 기억된다. 그 다음, 이 존재하지 않는 픽처는, 특정 픽처에 관한 버퍼 디스크립션 정보로부터 획득된 픽처 식별자와 같은 소정의 파라미터가 할당된다. 그 다음, 방법은 도 9의 단계 S33으로 계속되는데, 여기서 디코딩 처리가 시작될 수 있다.

버퍼 디스크립션으로 시그널링되지만 디코딩된 픽처 버퍼 내에 존재하지 않는 픽처는, 바람직하게는 "존재하지 않는"으로서 마크된다. 그런데, 이러한 픽처의 POC 및 temporal_id는 버퍼 디스크립션 내에 포함되지 않으므로, 레퍼런스 픽처 리스트 변경의 명확한 시그널링은 요구되지 않는다. "존재하지 않는" 픽처가 레퍼런스용으로 사용되지 않으면, 디코딩 처리는 가외의 시그널링 없이(및 시그널링 레퍼런스 픽처 리스트 변경과 명확하게 통합되는 오버헤드 없이) 정확하게 처리된다.

실시형태에 있어서, 단계 S70에서의 제로 이상의 픽처의 마크는 제1단계에서 디코더에 의해 수행된다. 제2단계에서, 제로 이상의 픽처는 디코더에 의해 단계 S71에서 출력된다. 제3단계에서, 제로 이상의 "존재하지 않는" 픽처는 디코더에 의해 단계 S73에서 생성된다.

대안적인 실시형태에 있어서, 제로 이상의 픽처의 마크는 단계 S70의 제1단계에서 디코더에 의해 수행된다. 그 다음, 픽처의 출력(S71) 및 존재하지 않는 픽처의 생성(S73)의 반복 처리가 디코딩된 픽처 버퍼에서 이용 가능하지 않은 버퍼 디스크립션 내에 기술된 각각의 픽처에 대해서 디코더에 의해 수행된다.

실시형태는, 현재 픽처의 픽처 디코딩 전에, 버퍼 동작, 예를 들어 픽처 마킹 처리를 적용하고, 따라서 현재 픽처에 적용하기 위해서 명확한 버퍼 디스크립션을 가짐으로써, 더 강화된다. 이는, 레퍼런스 픽처 관리를, 에러에 대해서 덜 취약하게 만듦으로써, 시간적인 스케일러빌리티에 대한 가능성을 개선하고, 레퍼런스 픽처 리스트 변경 시그널링에 의해 도입된 오버헤드를 감소시키게 한다.

실시형태에 있어서, 버퍼 디스크립션은, 레퍼런스 픽처 리스트 초기화 또는 레퍼런스 픽처 리스트 변경 또는 레퍼런스 픽처 리스트 결합에서, 디코더에 의해 사용된 정보를 포함할 수 있다. 한 예는, 픽처가 버퍼 디스크립션 내에 리스트된 순서가 레퍼런스 픽처 리스트 초기화에서 레퍼런스 픽처 리스트 중 하나에 대한 개시 순서로서 사용될 수 있는 것이다. 그러므로, 버퍼 디스크립션 정보는, 레퍼런스 픽처 리스트가 생성될 때, 사용될 수 있다.

도 14는 이러한 접근을 도시한 흐름도이다. 방법은 도 9의 단계 S32로부터 계속된다. 다음 단계 S80은 버퍼 디스크립션 정보에 기반해서, 레퍼런스 픽처 리스트 초기화를 수행한다. 단계 S80의 특정 실시형태에 있어서, 레퍼런스 픽처 리스트 초기화는, 버퍼 디스크립션 정보가 도 9의 단계 S31에서 결정된 적어도 하나의 픽처 식별자를 규정하는 순서에 따라서, 레퍼런스 픽처 리스트 내에 레퍼런스 픽처를 순서로 배열함으로써, 버퍼 디스크립션 정보에 기반해서 수행된다.

실시형태에 있어서는, 제한이 버퍼 디스크립션 내에 포함된 픽처에 대해서 명기된다. 일례의 제한은, temporal_id tId(B)를 갖는 픽처 B에 대한 버퍼 디스크립션 내에 기술된 temporal_id tId(A)를 갖는 픽처 A가, tId(A) < tId(B)이면, 존재하지 않는 픽처로 되지 않을 수 있다.

실시형태에 있어서는, 버퍼 디스크립션을 통해서, 디코딩된 픽처 버퍼 내의 픽처의 성질에 대한 변화를 시그널링하는 것이 또한 가능하다. 일례는, 시간적인 계층에 대한 새로운 값 및/또는 버퍼 디스크립션 내의 디스플레이 순서를 시그널링하는 것을 통해 픽처의 시간적인 계층 및/또는 디스플레이 순서를 변화시키는 것이다.

도 16은 실시형태에 따른 레퍼런스 버퍼 방안의 단순화된 흐름도이다. 이 방안에 있어서, 모든 디코딩된 픽처 버퍼 동작은, 픽처의 제1슬라이스 헤더의 파싱 후지만 픽처 디코딩 전에, 도 16에 도시된 바와 같이 디코딩된 픽처 버퍼의 디스크립션을 사용해서, 적용된다. 버퍼 디스크립션은, 명확하게 또는 PPS로 시그널링된 사전 규정된 구조에 대한 레퍼런스에 의해, 예를 들어 슬라이스 헤더로 시그널링된다.

이에 의해, 실시형태는 디코딩 처리에 대해서 큰 개념적인 변화를 제공한다. 통상적인 H.264/MPEG-4 AVC 및 현재 설계의 HEVC에 있어서는, 상대적인 동작은 디코더에 암시적으로, 예를 들어 슬라이딩 윈도우로, 또는 명확하게 MMCO로 제공하고, 디코더는 이들 상대적인 동작을 적용하고, 예를 들어 그 픽처가 레퍼런스용으로 사용될 수 있는 레퍼런스 픽처의 트랙을 유지하는 책임이 있다. 제안된 방안에 있어서는, 예를 들어 픽처가 레퍼런스용으로 사용될 수 있는 레퍼런스 픽처는, 슬라이스 헤더에서와 같이, 현재 픽처 내에서 시그널링되고, 따라서 암시적으로 및 명확하게 시그널링된 상대적인 동작의 필요를 제거한다.

이는, 각각의 픽처가, 델타 정보가 MMCO로부터 또는 슬라이딩 윈도우 처리를 사용해서 검색되는 H.264/MEPG-4 AVC에서와 같이, 상대적인 디스크립션 대신 레퍼런스 픽처의 절대적인 디스크립션을 갖게 되는 것을 의미한다.

특정 실시형태에 따라서, 버퍼 디스크립션은, 레퍼런스 픽처로서 사용되는 픽처에 대한 절대적인 레퍼런스를 제공하기 위해서, 디코딩된 픽처 버퍼 내의 모든 레퍼런스 픽처의 delta_POC, termporal_id 및 additional_picture_id를 포함한다. delta_POC는 레퍼런스 픽처의 POC를 POC(ref) = POC(current) + delta_POC로서 계산하는데 사용된다. 픽처는, 실시형태에 있어서, 쌍의 POC 및 additional_picture_id에 의해 식별된다. temporal_id는, 손실 또는 제거된 픽처, 예를 들어 시간적인 스케일러빌리티의 경우에 있어서, 정확한 레퍼런스 픽처 리스트 변경을 가능하게 하기 위해서, 버퍼 디스크립션 내에 포함된다. 방안은, 하지만, 코드워드 delta_POC, temporal_id 및 additional_picture_id에 제한되지 않는다. 픽처와 연관되고 레퍼런스 픽처 핸들링에서 사용된 소정의 코드워드는 픽처 식별자로서 사용될 수 있고, 예를 들어 POC 및 delta_POC인 현재 픽처의 값에 상대적이거나, 또는 절대적인, 예를 들어 temporal_id인, 버퍼 디스크립션 내에 포함될 수 있다.

버퍼 디스크립션의 부분이 아닌 디코딩된 픽처 버퍼 내의 모든 픽처는, 바람직하게는 레퍼런스용으로 사용되지 않는으로서 마크된다.

H.264/MPEG-4 AVC에 있어서, 출력을 위해 픽처를 전달하는 처리(도 1에서 "범핑" 처리로 언급됨)는, 예를 들어 frame_num 내에 갭이 있었으면, 때때로 디코딩에 앞서서 수행된다. 또한, "범핑" 처리는 디코딩 및 픽처 마킹 후에 수행된다.

도 16의 제안된 방안에 있어서, "범핑" 처리는 디코딩에 앞서서 적용된다. 이는, 출력을 위한 픽처의 전달 전에, 디코딩 처리에서 가외의 지연을 부가하는 것으로 주장될 수 있다. 그런데, 디코딩된 픽처 버퍼 내의 디스플레이되지 않은 픽처의 수가 num_reorder_frames보다 크거나 동일하게 됨에 따라, 디코딩 처리 단계 후, 디스플레이하기 위한 제1픽처가 이미 독특하게 규정되는 것을 주지해야 한다. 따라서, 디코더는 디코딩 처리 단계 후, 직접적으로 디스플레이하기 위해서 그 픽처를 전달할 수 있다. 따라서, 제안된 방안의 지연은 현재 HEVC 방안의 지연과 동일하다.

H.264/MPEG-4 AVC에 있어서, 신택스 엘리먼트 frame_num는 디코딩된 픽처 버퍼 내의 픽처를 식별하고, frame_num 내의 갭을 검출하기 위해서 사용된다. gaps_in_frames_num_allowed이 1과 동일하면, 디코더는 슬라이딩 윈도우 처리를 정확하게 동작시키기 위해서, 디코딩된 픽처 버퍼 내의 "존재하지 않는" 프레임을 삽입하게 된다.

도 16에 제안된 방안에 있어서, POC 및 additional_picture_id의 결합은, 디코딩된 픽처 버퍼 내의 픽처를 식별하기 위해서 사용될 수 있다. 제안된 방안은 슬라이딩 윈도우 처리를 포함할 필요가 없다. 그러므로, 이는, 신택스 엘리먼트 frame_num 및 gaps_in_frames_num_allowed을 제거하기 위해 제안된다.

도 15는 실시형태가 적용될 수 있는 일례의 코딩 구조이다. 예로서, 도 15에 있어서, 디코딩 순서로 제2픽처는 자체의 버퍼 디스크립션 내에서 POC 0을 포함하게 되는 한편, 디코딩 순서로 제3픽처는 자체의 버퍼 디스크립션 내에서 POC 0 및 POC 4을 포함하게 된다. 디코딩 순서로 제4픽처는 자체의 버퍼 디스크립션 내에서 POC 0 및 POC 2만 아니라, 그 픽처가 미래에 레퍼런스용으로 사용되므로, POC 4도 포함해야 한다. 디코딩 순서로 제5픽처는, 미래에 레퍼런스용으로 사용되지 않는 한, 자체의 버퍼 디스크립션 내에서 POC 0을 포함할 필요가 없게 된다. POC 0이 버퍼 디스크립션 내에 포함되지 않으면, 레퍼런스용으로 사용되지 않게 만들어진다.

도 15의 예에 있어서, additional_picture_id(or additional_id)는 모든 픽처에 대해서 0이다. 이는, POC 랩-어라운드(wrap-around)에 기인해서, 동일한 POC를 갖는 레퍼런스에 대해서 이용 가능한 2개의 다른 픽처가 있지 않으면, additional_picture_id를 0으로 설정하는 것이 추천된다. POC가 2개의 다른 픽처에 대해서 동일하면, additional_picture_id는, 더 오래된 픽처를 새로운 것으로 무조건적으로 대체하지 않기 위해서, 다르게 된다. additional_picture_id는 H.264/MPEG-4 AVC에서 장기간 픽처에 의해 제공되는 모든 기능성 및 가능성을 제공하기 위해서 사용될 수 있다. 그러므로, 특정 실시형태에 있어서, 픽처 식별자의 부분을 구성하는 additional_picture_id는, 레퍼런스 픽처가 장기간 레퍼런스용으로 또는 단기간 레퍼런스용으로 사용되는지를 시그널링하는데 사용될 수 있다.

인코더가 POC 14를 갖는 픽처 A를 사용하고 싶어하고, 장기간 픽처로서 additional_picture_id이 0으로 설정되는 것을 고려하자. 그러면, 인코더는, 인코더가 픽처 A가 레퍼런스용으로 이용 가능하게 되는 것을 원하는 동안, A를 뒤따르는 모든 픽처의 슬라이스 헤더 내의 버퍼 디스크립션 내에 픽처 A가 포함되는 것을 보장해야 한다. 인코더가 POC 14(POC 랩-어라운드에 기인해서)를 갖는 다른 픽처를 인코딩하고 싶어하는 한편, A가 여전히 레퍼런스용으로 이용 가능하면, 인코더는, additional_picture_id의 다른 값, 예를 들어 1을 선택하여, A가 레퍼런스 픽처로서 대체되는 것을 회피하게 된다.

짧은 시간 주기용의 레퍼런스에 대해서 사용되는 픽처(단기간 레퍼런스 픽처)에 대해서, 비트 오버헤드를 최소화하기 위해서 additional_picture_id를 0으로 설정하는 것이 추천된다. 긴 시간 주기용의 레퍼런스에 대해서 사용되는 픽처(장기간 레퍼런스 픽처)에 대해서, 인코더가 동일한 POC 및 동일한 additional_picture_id를 갖는 2개의 픽처가 동일한 시간에서 예측을 위해 이용 가능하지 않는 것을 보장하는 것이 추천된다.

실시형태의 또 다른 측면은, 후속하는 디코딩을 위해 사용되는, 예를 들어 디코딩된 픽처 버퍼 내에 기억된, 레퍼런스용으로 사용되는 어떤 픽처를 규정하는 버퍼 디스크립션 정보를 생성하도록 구성된 인코더를 규정한다. 버퍼 디스크립션 정보의 적어도 부분은 인코더에 의해 인코딩된 비트 스트림 내에 삽입된다.

도 18은 인코더(100)의 실시형태의 개략적인 블록도이다. 인코더(100)는 다중 픽처를 포함하여 구성되는 비디오 스트림의 픽처를 인코딩하도록 구성된다. 인코더(100)는 비디오 스트림의 다중 픽처 중의 현재 픽처에 대한 적어도 하나의 레퍼런스 픽처를 결정하도록 구성된 레퍼런스 픽처 결정기(110)를 포함하여 구성된다. 적어도 하나의 레퍼런스 픽처는 현재 픽처에 대한 인코딩 레퍼런스로서 사용된다. 인코더(100)의 픽처 식별자 프로바이더(120)는, 레퍼런스 픽처 결정기(110)에 의해 결정된 각각의 레퍼런스 픽처의 각각의 픽처 식별자를 제공하도록 구성된다. 픽처 식별자 프로바이더(120)에 의해 제공된 픽처 식별자는, 자체의 연관된 레퍼런스 픽처를 식별한다. 픽처 식별자 프로바이더(120)에 의해 제공된 픽처 식별자(들)은, 비디오 스트림의 후속하는 픽처를 인코딩 및 디코딩하기 위해 요구된 비디오 스트림의 현재 픽처 및 옵션으로 또한 소정의 이전의 레퍼런스 픽처(들)을 인코딩 및 디코딩하기 위해 요구된 레퍼런스 픽처(들)의 픽처 식별자(들)를 리스팅함으로써, 현재 픽처에 대한 버퍼 디스크립션을 집합적으로 구성한다.

또한, 인코더(100)는, 레퍼런스 픽처 결정기(110)에 의해 결정된 적어도 하나의 레퍼런스 픽처를 규정하는, 예를 들어 버퍼 디스크립션 정보인 버퍼 디스크립션의 정보를 생성하도록 구성된, 버퍼 디스크립션 정보 생성기(130)를 포함하여 구성된다. 버퍼 디스크립션 정보 생성기(130)는, 픽처 식별자 프로바이더(120)로부터의 적어도 하나의 픽처 식별자에 기반해서, 이 버퍼 디스크립션 정보를 생성하도록 구성된다.

데이터 삽입기(140)는, 현재 픽처의 인코딩된 표현 내에 버퍼 드스트립션 정보 생성기(130)에 의해 생성된 버퍼 디스크립션 정보를 삽입하기 위해서, 인코더(100) 내에서 실행된다. 그러므로, 현재 픽처에 관한 비디오 스트림의 코딩된 비트 스트림은 버퍼 디스크립션 정보를 반송한다. 이는, 픽처의 인코딩된 표현이, 이에 의해 픽처의 인코딩된 표현의 디코딩을 가능하게 하기 위해서, 현재 픽처에 대해서 디코딩된 픽처 버퍼를 갱신하기 위해서, 디코더에 의해 요구되는, 예를 들어 픽처 식별자인 관련 정보를 규정하는 버퍼 디스크립션 정보를 반송하게 되는 것을, 의미한다.

본 명세서에서 이전에 논의된 바와 같이, 바람직하게는, 레퍼런스 픽처 결정기(110)는, 디코딩 순서에 따라서 하나 이상의 후속하는 픽처에 대한 인코딩 레퍼런스로서, 현재 픽처에 대해서만 아니라 디코딩 순서로 현재 픽처에 앞서서 비디오 스트림 내에 바람직하게는 존재하는, 소정의 레퍼런스 픽처에 대해서도 인코딩 레퍼런스로서, 비디오 스트림의 소정의 레퍼런스 픽처를, 결정하도록 구성된다.

특정 실시형태에 있어서, 각각의 픽처는 하나 이상의 슬라이스로 구성될 수 있다. 그러면, 각각의 이러한 슬라이스는 동일한 픽처의 다른 슬라이스에 독립적으로 인코딩된 및 디코딩될 수 있다. 그러므로, 레퍼런스 픽처 결정기(110)는, 바람직하게는 픽처의 적어도 하나의 슬라이스에 대해서, 바람직하게는 각각의 슬라이스에 대해서, 특정 슬라이스의 인코딩 및 디코딩을 위해 사용되는 적어도 하나의 레퍼런스 픽처를 결정한다. 픽처 식별자 프로바이더(120)는, 바람직하게는 현재의 픽처에 대해서 레퍼런스 픽처 결정기(110)에 의해 결정된 모든 레퍼런스 픽처에 대해서, 예를 들어 모든 자체의 슬라이스에 대해서, 각각의 픽처 식별자를 제공한다. 이에 의해, 버퍼 디스크립션 정보는, 이들 제공된 픽처 식별자에 기반해서 버퍼 디스크립션 정보 생성기(130)에 의해 생성된다. 바람직한 실시형태에 있어서, 데이터 삽입기(140)는 픽처의 인코딩된 표현의 각각의 슬라이스 헤더 내에 버퍼 디스크립션 정보를 삽입하도록 구성된다. 이 경우, 현재 픽처의 각각의 슬라이스 헤더는, 바람직하게는 동일한 버퍼 디스크립션 정보를 반송한다. 이는, 픽처의 다른 슬라이스가 의도하지 않게 손실되더라도, 제공된 슬라이스의 디코딩을 가능하게 한다.

*또한, 픽처의 인코딩된 표현 내의 제어 정보 중 다른 위치가, 본 명세서에서 이전에 논의된 바와 같이, 버퍼 디스크립션 정보를 반송하기 위해 가능하다.

실시형태의 버퍼 디스크립션은 레퍼런스 픽처(들)의 픽처 식별자(들)를 포함할 수 있다. 대안적으로, 버퍼 디스크립션은, 레퍼런스 픽처(들)의 픽처 식별자(들)를 계산하기 위해서 현재 픽처의 픽처 식별자와 함께 사용될 수 있는, 이전에 논의된 델타 식별자(들)를 포함하여 구성된다.

이 경우, 인코더(100)는, 바람직하게는, 픽처 식별자 프로바이더(120)에 의해 제공된 각각의 픽처 식별자에 대해서, 픽처 식별자와 현재 픽처의 픽처 식별자 사이의 차이를 계산하도록 구성된 식별자 계산기(150)를 포함하여 구성된다. 이 차이는 레퍼런스 픽처에 대한 델타 식별자에 대응한다. 그러면, 버퍼 디스크립션 정보 생성기(130)는, 식별자 계산기(150)에 의해 계산된 적어도 하나의 차이/델타 식별자에 기반해서 버퍼 디스크립션 정보를 생성하도록 구성된다. 이에 의해, 버퍼 디스크립션 정보는, 현재 픽처의 픽처 식별자에 대한 레퍼런스 픽처(들)의 적어도 하나의 픽처 식별자를 규정한다.

픽처의 인코딩된 표현은, 픽처 식별자 프로바이더(120)에 의해 제공된 픽처 식별자 또는 식별자 계산기(150)에 의해 계산된 델타 식별자를, 예를 들어 슬라이스 헤더 내의 버퍼 디스크립션 정보로서 반송할 수 있다. 이는, 픽처의 인코딩된 표현 내에 버퍼 디스크립션의 명확한 시그널링을 제공한다.

대안적인 실시형태에 있어서, 인코더(100)는 다중의 사전 규정된 버퍼 디스크립션을 포함하여 구성되는 데이터 구조를 생성하도록 구성된 데이터 구조 생성기(160)를 포함하여 구성된다. 이에 의해, 각각의 이러한 사전 규정된 버퍼 디스크립션은 적어도 하나의 레퍼런스 픽처를 규정한다. 이에 의해, 데이터 구조는, 픽처에 대한 디코딩 동안 사용되는 버퍼 디스크립션을 제공하는 목적을 위해 비디오 스트림 내의 다중 픽처에 대해서 사용될 수 있다. 이에 의해, 버퍼 디스크립션 정보 생성기(130)는, 현재 픽처에 대해서 픽처 식별자 프로바이더(120)에 의해 제공된 적어도 하나의 픽처 식별자에 기반해서, 데이터 구조의 버퍼 디스크립션을 선택하도록 구성된다. 이에 의해, 적어도 레퍼런스 픽처 식별자와 정확하게 정합하는 버퍼 디스크립션이 선택되고, 버퍼 디스크립션 정보 생성기(130)에 의해 생성된 버퍼 디스크립션 정보는 선택된 버퍼 디스크립션의 식별자를 포함하여 구성된다.

그 다음, 데이터 구조 생성기(160)에 의해 생성된 데이터 구조는, PPS 또는 SPS에서와 같은, 비디오 스트림의 인코딩된 표현과 연관된 제어 정보 필드 내에 삽입될 수 있다. 관련 제어 정보의 식별자, 예를 들어 PPS 식별자 또는 SPS 식별자(차례로 관련 SPS에 대한 SPS 식별자를 포함하여 구성되는 PPS에 대한 PPS 식별자 형태로 될 수 있다)는, 바람직하게는 슬라이스 헤더에서와 같이, 현재 픽처의 인코딩된 표현의 제어 정보 내에 포함될 수 있다. 실시형태에 있어서는, 이에 의해, 슬라이스 헤더 또는 다른 제어 정보 필드가 제어 정보 식별자 및 선택된 버퍼 디스크립션의 식별자를, 버퍼 디스크립션 정보로서 반송한다.

픽처 식별자의 명확한 시그널링 및 픽처 식별자의 레퍼런스 시그널링의 상기 디스크립션 실시형태는 결합될 수 있다. 이 경우, 버퍼 디스크립션 정보 생성기(130)는, 선택된 버퍼 디스크립션의 식별자, 바람직하게는 제어 정보 식별자를 포함하여 구성되고, 레퍼런스 픽처의 픽처 식별자를 규정하는, 델타 식별자 또는 명확한 픽처 식별자와 같은 정보를 포함하여 구성되는, 버퍼 디스크립션 정보를 생성하도록 구성된다.

인코더(100)는, 레퍼런스 픽처 또는 POC 값 및 부가적인 식별자를 분명하게 식별하는 POC 값과 같은, 소정의 이전에 논의된 예의 픽처 식별자를 사용할 수 있다.

비디오 스트림은, 픽처가 다중 계층 내로 그룹화된 스케일 가능한 비디오 스트림이 될 수 있다. 이 경우, 픽처 식별자 프로바이더(120)는, 각각의 레퍼런스 픽처에 대해서, 픽처 식별자 및 시간적인 계층 정보 또는 레퍼런스 픽처가 속하는 계층을 식별하는 식별자를 제공하도록 구성된다. 그 다음, 버퍼 디스크립션 정보 생성기(130)는, 적어도 하나의 픽처 식별자에 기반해서 그리고 시간적인 계층 정보에 기반해서, 버퍼 디스크립션 정보를 생성한다. 따라서, 버퍼 디스크립션 정보는, 바람직하게는 적어도 하나의 픽처 식별자 및 시간적인 계층 정보를 규정한다.

레퍼런스 픽처 결정기(110)는, 바람직하게는 현재 픽처에 대한 인터 예측 및/또는 모션 벡터 예측을 위한 인코딩 레퍼런스로서, 적어도 하나의 레퍼런스 픽처를 결정하도록 구성된다. 이에 의해, 적어도 하나의 레퍼런스 픽처는, 픽처의 인코딩된 표현의 압축 또는 코딩 성능을 최대화함으로써, 예를 들어 인코딩된 표현을 나타내기 위해 요구되는 비트와 같은 심볼의 수를 최소화함으로써, 결정될 수 있다. 이 압축 최대화는, 바람직하게는, 또한 픽처의 적어도 하나의 인코딩된 표현이 비디오 스트림의 인코딩된 표현으로부터 제거될 때, 사전 규정된 최대 수의 레퍼런스 픽처를 갖고, 비디오 스트림의 디코딩 가능한 표현을 생성하는 것으로부터 선택된 적어도 하나의 사이드 제약을 따르는 동안, 수행된다. 대안적인 또는 부가적인 사이드 제약은, 선택된 레퍼런스 픽처가 디코딩된 픽처 버퍼 내의 레퍼런스 및 예측용으로 이용 가능해야 하는 것이다.

인코더는, 적어도 부분적으로 소프트웨어로 실행될 수 있다. 이러한 실시형태에 있어서, 도 19에 나타낸 바와 같이, 인코더(300)는 비디오 스트림의 다중 픽처를 수신하도록 구성된 입력 섹션(310)을 포함하여 구성된다. 또한, 인코더(300)는, 메모리(340) 내에 기억된 컴퓨터 프로그램의 코드 수단을 처리하도록 구성된 프로세서(330)를 포함하여 구성된다. 코드 수단은, 프로세서(330) 상에서 구동할 때, 프로세서(330)가, 비디오 스트림의 픽처에 대해서, 비디오 스트림의 적어도 하나의 레퍼런스 픽처를, 픽처에 대한 인코딩 레퍼런스로서 결정하게 한다. 또한, 프로세서(330)는, 각각의 레퍼런스 픽처에 대해서, 레퍼런스 픽처를 식별하는 픽처 식별자를 제공하고, 적어도 하나의 픽처 식별자에 기반해서, 적어도 하나의 레퍼런스 픽처를 규정하는 버퍼 디스크립션 정보를 생성하게 한다. 더욱이, 프로세서(330)는 픽처의 인코딩된 표현 내에 버퍼 디스크립션 정보를 삽입하게 한다. 또한, 인코더(300)는, 픽처의 인코딩된 표현을 출력하도록 구성된 출력 섹션(320)을 포함하여 구성된다.

프로세서(330)는, 중앙 처리 유닛(CPU)과 같은, 일반 목적 또는 특별하게 적용된 컴퓨터, 프로세서 또는 마이크로프로세서가 될 수 있다. 소프트웨어는, 도 18의 적어도 레퍼런스 픽처 결정기(110), 픽처 식별자 프로바이더(120), 버퍼 디스크립션 정보 생성기(130), 및 데이터 삽입기(140)의 동작에 영향을 미치는, 컴퓨터 프로그램 코드 엘리먼트 또는 소프트웨어 코드 부분을 포함한다.

프로그램은, RAM과 같은 하나 이상의 적합한 휘발성 컴퓨터 판독 가능한 매체 또는 데이터 스토리지 수단 또는, ROM 또는 플래시 메모리 내의, 자기 디스크, CD-ROM, DVD 디스크, 하드 디스크와 같은 하나 이상의 비휘발성 컴퓨터 판독 가능한 매체 또는 데이터 스토리지 수단 상의 또는 내의 전체 또는 적어도 부분 내에 기억될 수 있다. 데이터 스토리지 수단은 로컬 데이터 스토리지 수단이 될 수 있고 또는, 데이터 서버 내에서와 같이 원격으로 제공될 수 있다. 따라서, 소프트웨어는, 프로세서에 의한 실행을 위해, 컴퓨터 또는 동등한 처리 시스템의 동작 메모리 내에 로드될 수 있다. 컴퓨터/프로세서는 상기된 기능만을 실행하는 전용으로 될 수 있지만 또한 다른 소프트웨어 임무를 실행할 수도 있다. 인코더(300)를 규정하는데 사용되는 비제한적인 예의 프로그램 코드는, 싱글 명령 다중 데이터(SIMD: single instruction muliple data) 코드를 포함한다.

대안적으로, 인코더는 하드웨어로 실행될 수 있다. 도 18의 인코더(100)의 유닛 110-160의 기능을 달성하기 위해서 사용되고 결합될 수 있는 다수의 변형의 회로 엘리먼트가 있다. 이러한 변형은 실시형태에 포함된다. 인코더(100)의 특정 예의 하드웨어 실행은, 일반-목적 전자 회로 및 주문형 회로를 모두 포함하는, 디지털 신호 프로세서(DSP) 하드웨어 및 집합 회로 기술로 실행된다.

실시형태의 측면을 따르면, 도 17에 나타낸 송신기(200)가 제공된다. 송신기(200)는, 비디오 스트림의 다중 픽처(10)를 수신하도록 구성된 입력 섹션(210)을 포함하여 구성된다. 픽처(10)는, 도 18 또는 도 19에 도시된 바와 같이 인코더(100)로 보내지는데, 이 인코더는 다중 픽처의 각각의 인코딩된 표현을 생성하기 위해서 다중 픽처(10)를 인코딩하도록 구성된다. 송신기(200)의 출력 섹션(220)은, 실시형태의 버퍼 디스크립션 정보를 반송하는 코딩된 비트 스트림으로서, 다중 픽처의 각각의 인코딩된 표현을 출력하도록 구성된다.

실시형태의 측면은, 검출된 버퍼 디스크립션 및 레퍼런스 픽처로서 사용되는 픽처를 기억하기 위한 버퍼에 기반해서, 디코딩하기 위한 레퍼런스 픽처로서 사용되는 픽처에 대한 버퍼 디스크립션 정보를 결정하기 위한 및 절대 레퍼런스를 결정하기 위한 디코드에 관한 것이다.

도 21은 실시형태에 따른 디코더(400)의 개략적인 블록도이다. 디코더(400)는 다중 픽처를 포함하여 구성되는 비디오 스트림의 픽처의 인코딩된 표현을 디코딩하도록 구성된다. 디코더(400)는 픽처의 인코딩된 표현으로부터 적어도 하나의 레퍼런스 픽처를 규정하는 버퍼 디스크립션 정보를 검색하도록 구성된 데이터 검색기(410)를 포함하여 구성된다. 버퍼 디스크립션 정보는, 픽처용의 디코딩 레퍼런스로서 각각의 레퍼런스 픽처를 식별하는 적어도 하나의 픽처 식별자를 결정하도록 구성된 픽처 식별자 결정기(420)에 의해 사용된다. 또한, 디코더(400)는, 픽처 식별자 결정기(420)에 의해 결정된 적어도 하나의 픽처 식별자에 기반해서, 디코더(400)에 연관된 또는 디코더의 디코딩된 픽처 버퍼를 갱신하도록 구성된 버퍼 관리기(430)를 포함하여 구성된다.

특정 실시형태에 있어서, 데이터 검색기(410)는 픽처의 인코딩된 표현으로부터 다중 픽처 식별자를 규정하는 버퍼 디스크립션 정보를 검색하도록 구성된다. 그 다음, 픽처 식별자 결정기(420)는, 검색된 버퍼 디스크립션 정보에 기반해서, 픽처용의 디코딩 레퍼런스로서 각각의 레퍼런스 픽처를 식별하는 적어도 하나의 픽처 식별자 및 비디오 스트림의, 디코딩 순서에 따른, 후속하는 픽처에 대한 디코딩 레퍼런스로서, 각각의 레퍼런스 픽처를 식별하는 적어도 하나의 픽처 식별자를, 결정하도록 구성된다.

버퍼 관리기(430)는, 바람직하게는, 적어도 하나의 픽처 식별자에 의해 식별된 각각의 레퍼런스 픽처를 포함하여 구성되는 디코딩된 픽처 버퍼를 갱신하도록 구성된다.

따라서, 픽처의 인코딩된 표현에 의해 반송된 버퍼 디스크립션 정보는, 비디오 스트림의 현재 픽처를 디코딩하기 위해 그리고 후속하는 픽처를 디코딩하기 위해 디코딩된 픽처 버퍼 내에 기억될 필요가 있는 레퍼런스 픽처(들)를 식별하는데 사용된다. 이에 의해, 버퍼 디스크립션 정보는, 정확한 레퍼런스 픽처(들)를 기억하기 위해서 디코딩된 픽처 버퍼를 갱신하는데 요구되는 디코더(400)에 정보를 제공한다.

버퍼 관리기(430)가 디코딩된 픽처 버퍼를 갱신하면, 디코더(400)는, 갱신된 디코딩된 픽처 버퍼 내에 기억된 픽처의 인코딩된 표현 및 적어도 하나의 레퍼런스 픽처에 기반해서, 픽처를 디코딩할 수 있다.

버퍼 디스크립션 정보는, 바람직하게는 픽처의 인코딩된 표현의 제어 정보 내에 제공된다. 예를 들어, 데이터 검색기(410)는 픽처의 인코딩된 표현의 슬라이스 헤더로부터 버퍼 디스크립션 정보를 검색하도록 구성될 수 있다. 이 경우, 픽처의 소정의 나머지 슬라이스 헤더가 바람직하게는 동일한 버퍼 디스크립션 정보를 반송하게 되므로, 버퍼 디스크립션 정보는, 바람직하게는 현재 픽처에 대해서 수신된 제1슬라이스 헤더로부터 검색된다.

검색된 버퍼 디스크립션 정보는, 디코딩된 픽처 버퍼 내에 기억되는 레퍼런스 픽처의 명확한 픽처 식별자를 포함할 수 있다. 대안적인 실시형태에 있어서, 버퍼 디스크립션 정보는 레퍼런스 픽처에 대한 각각의 델타 식별자를 규정한다. 그 다음, 픽처 식별자 결정기(420)는, 버퍼 디스크립션 정보로부터 적어도 하나의 델타 식별자를 검색하고, 바람직하게는 델타 식별자 및 현재 픽처의 픽처 식별자의 합으로서, 각각의 델타 식별자 및 현재 픽처의 픽처 식별자에 기반해서, 적어도 하나의 픽처 식별자를 계산한다.

픽처의 인코딩된 표현 내의 픽처 식별자 또는 델타 식별자의 명확한 시그널링 대신, 레퍼런스 시그널링이 사용될 수 있다. 데이터 검색기(410)는, 이 실시형태에 있어서, 픽처의 인코딩된 표현으로부터 버퍼 디스크립션의 식별자를 검색하도록 구성된다. 디코더(400)는, 바람직하게는, 버퍼 디스크립션의 검색된 식별자를 사용해서, 다중의 사전 규정된 버퍼 디스크립션을 포함하여 구성되는 데이터 구조로부터 버퍼 디스크립션을 식별하도록 구성된 버퍼 디스크립션 식별자(480)를 포함하여 구성된다.

또한, 데이터 검색기(410)는, 바람직하게는, 이 실시형태에 있어서, PPS 또는 SPS로부터와 같이, 비디오 스트림의 인코딩 표현의 또는 이와 연관된 제어 정보 필드로부터 다중의 사전 규정된 버퍼 디스크립션을 규정하는 데이터 구조를 검색하도록 구성된다.

특정 실시형태에 있어서, 슬라이스 헤더와 같은, 픽처의 인코딩된 표현의 제어 정보 필드는, 바람직하게는 데이터 구조를 반송하는 PPS 또는 SPS와 같은 제어 정보 필드의 식별자를 포함하여 구성된다. 이에 의해, 데이터 검색기(410)는 이 식별자를 검색하고, 이를 데이터 구조를 갖는 관련 제어 정보 필드를 식별하는데 사용한다.

다른 실시형태에 있어서, 버퍼 디스크립션 정보는, 적어도 하나의 픽처 식별자를 식별하는, 픽처 식별자 또는 델타 식별자와 같은, 버퍼 디스크립션 및 정보의 식별자를 포함하여 구성된다. 그 다음, 픽처 식별자 결정기(420)는, 식별된 버퍼 디스크립션으로부터, 바람직하게는 데이터 구조로부터, 적어도 하나의 픽처 식별자의 제1세트를 결정하도록 구성된다. 또한, 픽처 식별자 결정기(420)는, 적어도 하나의 픽처 식별자를 규정하는 정보로부터 적어도 하나의 픽처 식별자의 제2세트를 규정하는데, 여기서 이 정보는 픽처 식별자 또는 델타 식별자 형태와 같이, 픽처의 인코딩된 표현으로 명확하게 시그널링된다. 그 다음, 픽처 식별자의 접합 세트가, 픽처 식별자 결정기(420)에 의해 제1세트 및 제2세트로부터 형성된다.

특정 실시형태에 있어서, 디코더(400)는, 접합 세트 내의 픽처 식별자의 전체 수와 디코딩된 픽처 버퍼 내에 기억될 수 있는 레퍼런스 픽처의 최대 수를 비교하는 수 비교기(440)를 포함하여 구성된다. 접합 세트 내의 픽처 식별자의 전체 수가 레퍼런스 픽처의 최대 수를 초과하면, 픽처 식별자 결정기(420)는, 접합 세트 내의 픽처 식별자의 전체 수가 레퍼런스 픽처의 최대 수를 더 이상 초과하지 않을 때까지, 제1세트 내에 포함되지만 제2세트 내에 포함되지 않는 하나 이상의 픽처 식별자를 제거하도록 구성된다.

디코더(400)의 버퍼 관리기(430)는, 특정 실시형태에 있어서, 디코딩된 픽처 버퍼 내에 존재하지만, 버퍼 디스크립션 정보로부터 결정된 소정의 적어도 하나의 픽처 식별자와 연관되지 않은 소정의 레퍼런스 픽처를 제거하도록 구성된다. 그러므로, 디코딩된 픽처 버퍼 내에 기억되지만 버퍼 디스크립션 정보로부터 식별되지 않는 소정의 레퍼런스 픽처는, 바람직하게는 버퍼 관리기(430)에 의해 디코딩된 픽처 버퍼로부터 제거된다.

대안적인 및 바람직한 접근에 있어서, 버퍼 관리기(430)는, 디코딩된 픽처 버퍼 내에 기억되지만, 예측용으로 사용되지 않는으로서도 언급되는, 레퍼런스용으로 사용되지 않는으로서, 버퍼 디스크립션 정보로부터의 소정의 적어도 하나의 픽처 식별자와 연관되지 않은, 모든 레퍼런스 픽처를 마크하도록 구성된다.

특정 실시형태에 있어서, 디코딩된 픽처 버퍼 내에 존재하고, 버퍼 디스크립션 정보에 기반해서 결정된 소정의 픽처 식별자와 연관된 소정의 레퍼런스 픽처는, 바람직하게는, 레퍼런스용으로 사용으로서 버퍼 관리기(430)에 의해 마크된다. 실시형태에 있어서, 레퍼런스 픽처는, 단기간 레퍼런스용으로 사용 또는 장기간 레퍼런스용으로 사용으로서 마크될 수 있다. 이들 2개의 특정 대안 간의 선택은, 바람직하게는, 버퍼 디스크립션 정보에 기반해서 수행된다.

디코더(400)의 버퍼 관리기(430)는, 바람직하게는, 현재 픽처를 디코딩하는 디코더(400)에 앞서서, 소정의 레퍼런스 픽처를 마크하도록 구성된다.

특정 실시형태에 있어서, 디코더(400)는, 디코더(400)가 현재 픽처를 디코딩하는데 앞서서, 디스플레이하기 위해 디코딩된 픽처 버퍼로부터 제로 이상의 픽처를 출력하도록 구성된 출력 섹션(450)을 포함하여 구성된다. 특정 실시형태에 있어서, 출력 섹션(450)은 버퍼 관리기(430)에 의해 레퍼런스용으로 사용되지 않는으로서 마크된 소정의 레퍼런스 픽처를 출력한다.

디코더(400)의 옵션의 실시형태는, 픽처 식별자 결정기(420)에 의해 결정된 적어도 하나의 픽처 식별자와 디코딩된 픽처 버퍼 내에 기억된 레퍼런스 픽처(들)의 픽처 식별자(들)를 비교하도록 구성된 식별자 비교기(460)를 포함하여 구성된다. 버퍼 디스크립션 정보에 의해 규정된 소정의 적어도 하나의 픽처 식별자가 디코딩된 픽처 버퍼 내의 정합하는 레퍼런스 픽처를 갖지 않으면, 주어진 픽처 식별자와 연관된 픽처는, 존재하지 않는 또는 분실되는으로 픽처 식별자 결정기(420)에 의해 결정된다.

옵션의 실시형태에 있어서, 픽처 식별자 결정기(420)는, 소정의 존재하지 않는 픽처를 생성하고, 디코딩된 픽처 버퍼 내에 이러한 생성 픽처를 기억하도록 구성된다. 존재하지 않는 픽처에 대해서 버퍼 디스크립션 정보로부터 획득 가능한 픽처 식별자 및 소정의 다른 정보는, 바람직하게는 픽처 식별자 결정기(420)에 의해 생성된 픽처에 할당된다.

또한, 디코더(400)는, 버퍼 디스크립션 정보에 기반해서 레퍼런스 픽처 리스트 초기화를 수행하도록 구성된 리스트 관리기(470)를 포함하여 구성될 수 있다. 특정 실시형태에 있어서, 리스트 관리기(470)는, 버퍼 디스크립션 정보가 적어도 하나의 픽처 식별자를 규정하는 순서에 따라서 레퍼런스 픽처 리스트 내의 레퍼런스 픽처의 순서를 배열함으로써, 레퍼런스 픽처 리스트 초기화를 수행하도록 구성된다. 그러므로, 버퍼 디스크립션 정보는 레퍼런스 픽처의 픽처 식별자를 규정할뿐 아니라, 이들이 버퍼 디스크립션 정보 내에 규정된 순서가 또한 레퍼런스 픽처 리스트를 형성하는 것에 대해서 리스트 관리기(470)에 대해서, 명령을 제공한다.

디코더는 적어도 부분적으로 소프트웨어로 실행될 수 있다. 이러한 실시형태에 있어서, 도 22에 나타낸 바와 같이, 디코더(600)는 비디오 스트림의 다중 픽처의 인코딩된 표현을 수신하도록 구성된 입력 섹션(610)을 포함하여 구성된다. 또한, 디코더(600)는, 메모리(640) 내에 기억된 컴퓨터 프로그램의 코드 수단을 처리하도록 구성된 프로세서(630)를 포함하여 구성된다. 코드 수단은, 프로세서(630) 상에서 구동할 때, 프로세서(630)가 픽처의 인코딩된 표현으로부터 적어도 하나의 레퍼런스 픽처를 규정하는 버퍼 디스크립션 정보를 검색하도록 한다. 또한, 코드 수단은, 프로세서(630)가 버퍼 디스크립션 정보로부터 각각의 레퍼런스 픽처를 식별하는 적어도 하나의 픽처 식별자를 결정하도록 한다. 각각의 레퍼런스 픽처는, 픽처용의 디코딩 레퍼런스로서 사용된다. 더욱이, 프로세서(630)는, 적어도 하나의 픽처 식별자에 기반해서, 디코딩된 픽처 버퍼(650)를 갱신하게 한다. 또한, 디코더(600)는 비디오 스트림의 디코딩된 픽처를 출력하도록 구성된 출력 섹션(620)를 포함하여 구성된다.

프로세서(630)는, 중앙 처리 유닛(CPU)과 같은 일반-목적 또는 특별하게 적용된 컴퓨터, 프로세서 또는 마이크로프로세서로 될 수 있다. 소프트웨어는, 도 21의 적어도 데이터 검색기(410), 픽처 식별자 결정기(420) 및 버퍼 관리기(430)의 동작에 영향을 주는 컴퓨터 프로그램 코드 엘리먼트 또는 소프트웨어 코드 부분을 포함한다.

프로그램은, RAM과 같은 하나 이상의 적합한 휘발성 컴퓨터 판독 가능한 매체 또는 데이터 스토리지 수단 또는, ROM 또는 플래시 메모리 내의, 자기 디스크, CD-ROM, DVD 디스크, 하드 디스크와 같은 하나 이상의 비휘발성 컴퓨터 판독 가능한 매체 또는 데이터 스토리지 수단 상의 또는 내의 전체 또는 적어도 부분 내에 기억될 수 있다. 데이터 스토리지 수단은 로컬 데이터 스토리지 수단이 될 수 있고 또는, 데이터 서버 내에서와 같이 원격으로 제공될 수 있다. 따라서, 소프트웨어는, 프로세서에 의한 실행을 위해, 컴퓨터 또는 동등한 처리 시스템의 동작 메모리 내에 로드될 수 있다. 컴퓨터/프로세서는 상기된 기능만을 실행하는 전용으로 될 수 있지만 또한 다른 소프트웨어 임무를 실행할 수도 있다. 디코더(600)를 규정하는데 사용되는 비제한적인 예의 프로그램 코드는, 싱글 명령 다중 데이터(SIMD: single instruction muliple data) 코드를 포함한다.

대안적으로, 디코더는 하드웨어로 실행될 수 있다. 도 21의 디코더(400)의 유닛 410-480의 기능을 달성하기 위해서 사용되고 결합될 수 있는 다수의 변형의 회로 엘리먼트가 있다. 이러한 변형은 실시형태에 포함된다. 디코더(400)의 특정 예의 하드웨어 실행은, 일반-목적 전자 회로 및 주문형 회로를 모두 포함하는, 디지털 신호 프로세서(DSP) 하드웨어 및 집합 회로 기술로 실행된다.

실시형태의 측면을 따르면, 도 20에 나타낸 수신기(500)가 제공된다. 수신기(500)는, 비디오 스트림의 다중 픽처의 인코딩된 표현을 수신하도록 구성된 입력 섹션(510)을 포함하여 구성된다. 인코딩된 표현은 실시형태에 따른 버퍼 디스크립션 정보를 반송한다. 인코딩된 표현은, 도 21 또는 도 22에 도시된 바와 같이, 디코더(400)로 보내지는데, 이 디코더는 다중 픽처의 인코딩된 표현을 디코딩하도록 구성된다. 수신기(500)의 출력 섹션(520)은, 비디오 스트림의 디코딩된 픽처를 출력하도록 구성된다. 또한, 수신기(500)는, 픽처를 디코딩할 때, 디코더(400)에 의해 사용되는 레퍼런스 픽처를 기억하는 디코딩된 픽처 버퍼(530)를 포함하여 구성된다.

부록(ANNEX)

본 발명 부록은 실시형태의 제안된 신택스를 나타낸다. 부록에 있어서는, 종래 기술 HEVC 제안에 대해서 부가된 신택스 엘리먼트가 밑줄로 마크되고, 제거된 신택스 엘리먼트는 지움 선으로 마크한다.

슬라이스 헤더

픽처 파라미터 세트

제안된 시맨틱스(semantics)

버퍼 디스크립션 적용을 위한 디코딩 처리

이 처리는, 픽처의 제1슬라이스 내의 제1코딩 유닛의 디코딩에 앞서서, 그리고 레퍼런스 픽처 리스트 구성에 대한 디코딩 처리에 앞서서, 각각의 I, P 또는 B 픽처에 대한 디코딩 처리의 시작에서 적용된다.

처리는, 하나 이상의 픽처를 "레퍼런스용으로 사용되지 않는"으로서 마킹하는 것으로 귀결될 수 있다.

처리는, 존재하지 않는 픽처의 생성(Creation)에서 기술되는 바와 같이, "존재하지 않는" 픽처의 구성으로 귀결될 수 있다.

레퍼런스 픽처는 변수 POC 및 additional_picture_id에 의한 디코딩 처리에서 사용하기 위해 식별된다.

디코딩된 픽처 버퍼 내의 레퍼런스 픽처 r은, number_pictures_in_buffer_description에 대한 0의 범위 내의 소정의 i에 대해서, POC(r) = POC(curr) + delta_POC(i) 및 additional_picture_id(r) = additional_picture_id(i)이 필요 충분이면, 소위 버퍼 디스크립션의 부분이 된다.

버퍼 디스크립션 적용을 위한 동작의 시퀀스

버퍼 디스크립션 적용은, 다음 순서의 단계로 처리된다.

1. 현재 픽처가 IDR 픽처인지에 의존해서, 다음이 적용된다.

- 현재 픽처가 IDR 픽처이면, 모든 레퍼런스 픽처는 레퍼런스용으로 사용되지 않는으로서 마크된다.

- 그렇지 않으면(현재 픽처가 IDR 픽처가 아님), 다음 순서의 단계가 적용된다:

I. 현재 픽처의 제1슬라이스의 슬라이스 헤더 내의 버퍼 디스크립션 정보는, 버퍼 디스크립션의 생성에서 기술된 바와 같이, 버퍼 디스크립션으로서 언급되는, 레퍼런스 픽처의 리스트를 생성하는데 사용된다.

II. 버퍼 디스크립션의 부분이 아닌 모든 레퍼런스 픽처(디코딩된 픽처 버퍼 내의)가 "레퍼런스용으로 사용되지 않는"으로서 마크된다.

III. 버퍼 디스크립션 내에 포함된 하나 이상의 픽처가 레퍼런스용으로 이용 가능하지 않으면(예를 들어, "레퍼런스용으로 사용되지 않는"으로서 마크된 레퍼런스 버퍼 내에 존재하는), 존재하지 않는 픽처의 생성에서 기술된 처리가 적용된다.

2. 현재 픽처의 슬라이스가 디코딩된다.

버퍼 디스크립션의 생성

buffer_description_reference_flag가 1이면, 0으로부터 number_of_pictures_in_buffer_description-1의 범위 내에서, 각각의 픽처 i에 대해서, 버퍼 디스크립션이 생성되어, deltaPOC를 buffer_description_id에 의해 식별된 PPS 버퍼 디스크립션 엔트리의 deltaPOC로 설정하고, temporal_id를 buffer_description_id에 의해 식별된 PPS 버퍼 디스크립션 엔트리의 temporal_id로 설정하며, additional_picture_id를 0으로 설정한다.

buffer_description_reference_flag가 0이면, 0으로부터 number_of_explicitly_signaled_pictures -1의 범위 내에서, 각각의 픽처 i에 대해서, 버퍼 디스크립션이 생성되어, deltaPOC를 명확하게 시그널링된 버퍼 디스크립션의 deltaPOC로 설정하고, temporal_id를 명확하게 시그널링된 버퍼 디스크립션의 temporal_id로 설정하며, additional_picture_id를 명확하게 시그널링된 버퍼 디스크립션의 additional_picture_id로 설정한다.

존재하지 않는 픽처의 생성

이 처리는, 바람직하게는, 현재 픽처의 버퍼 디스크립션 내에 포함되지만 디코딩된 픽처 버퍼 내에서 이용 가능하지 않은 각각의 픽처에 대해서 적용된다. 즉, 현재 픽처의 버퍼 디스크립션이 POC(i) 및 additional_picture_id(i)와 함께, 엔트리 i를 포함하면, 디코딩된 픽처 버퍼 내의 픽처 j는, POC(j) == POC(i) 및 additional_picture_id(j) == additional_picture_id(i)와 함께, "레퍼런스용으로 사용"으로 마크된다.

각각의 이러한 디스크립션에 대해서, "존재하지 않는" 픽처가 생성되는데, POC는 POC(i)로 설정되고, additional_picture_id는 additional_picture_id(i)로 설정되며, temporal_id는 temporal_id(i)로 설명되며, "존재하지 않는" 및 "레퍼런스용으로 사용"으로서 마크된다. 생성된 프레임의 샘플 값은 소정의 값으로 설정될 수 있다. "존재하지 않는"으로 마크된 이들 생성된 프레임은, 인터 예측 처리에서 언급되지 않게 된다.

개시된 실시형태는 본 발명의 몇몇 예시적인 실시예로서 이해되어야 한다. 본 발명은, 본 발명의 범위를 벗어남이 없이, 실시형태에 대해서 다양한 변형, 결합 및 변화가 만들어질 수 있는 것으로, 당업자에게 이해된다. 특히, 다른 실시형태의 다른 부분의 해결은, 기술적으로 가능한 다른 구성에 결합될 수 있다. 그러므로, 본 발명의 범위는, 첨부된 청구항에 의해 규정된다.

100 - 인코더, 160 - 데이터 구조 생성기,
200 - 송신기, 300 - 인코더
330 - 프로세서, 400 - 디코더,
500 - 수신기,
530 - 디코딩된 픽처 버퍼,
600 - 디코더.

Claims

다중 픽처(10, 40, 42, 50)의 비디오 스트림(1)의 픽처(10)의 인코딩된 표현(60)을 디코딩하는 방법으로서:
상기 픽처(10)의 상기 인코딩된 표현(60)으로부터 적어도 하나의 레퍼런스 픽처(40, 42)를 규정하는 버퍼 디스크립션 정보를 검색(S30)하는 단계와;
상기 버퍼 디스크립션 정보에 기반해서, 상기 픽처(10)에 대한 디코딩 레퍼런스로서, 상기 적어도 하나의 레퍼런스 픽처(40, 42)의 각각의 레퍼런스 픽처(40, 42)를 식별하는 적어도 하나의 픽처 식별자를, 결정(S31)하는 단계와;
상기 적어도 하나의 픽처 식별자에 기반해서, 디코딩된 픽처 버퍼(530, 650)를 갱신(S32)하는 단계를 포함하여 구성되고,
상기 적어도 하나의 픽처 식별자를 결정(S31)하는 단계는:
상기 버퍼 디스크립션 정보에 기반해서, 각각의 델타 식별자를 검색(S40)하는 단계와;
상기 픽처(10)를 식별하는 픽처 식별자 및 상기 각각의 델타 식별자에 기반해서, 상기 적어도 하나의 픽처 식별자를 계산(S41)하는 단계를 포함하여 구성되며,
상기 디코딩된 픽처 버퍼(530, 650)를 갱신(S32)하는 단계는, 상기 디코딩된 픽처 버퍼(530, 650) 내에 존재하고, 상기 버퍼 디스크립션 정보에 기반해서 결정된 소정의 상기 적어도 하나의 픽처 식별자와 연관되지 않는 모든 레퍼런스 픽처를, 레퍼런스용으로 사용되지 않는으로서 마킹(S70)하는 단계를 포함하여 구성되는 것을 특징으로 하는 디코딩하는 방법.
제1항에 있어서,
상기 디코딩된 픽처 버퍼(530, 650)를 갱신(S32)하는 단계가, 상기 적어도 하나의 픽처 식별자에 의해 식별된 상기 각각의 레퍼런스 픽처(40, 42)를 포함하여 구성되기 위해서, 상기 디코딩된 픽처 버퍼(530, 650)를 갱신(S32)하는 단계를 더 포함하여 구성되는 것을 특징으로 하는 디코딩하는 방법.
제1항 또는 제2항에 있어서,
상기 버퍼 디스크립션 정보를 검색(S30)하는 단계는,
상기 픽처(10)의 상기 인코딩된 표현(60)으로부터 다중 레퍼런스 픽처(40, 42)를 규정하는 상기 버퍼 디스크립션 정보를 검색(S30)하는 단계를 포함하여 구성되고;
상기 적어도 하나의 픽처 식별자를 결정(S31)하는 단계는, 상기 버퍼 디스크립션 정보에 기반해서, i) 상기 다중 레퍼런스 픽처(40, 42)의 각각의 레퍼런스 픽처(40, 42)를, 상기 픽처(10)에 대한 디코딩 레퍼런스로서 식별하는 적어도 하나의 픽처 식별자 및 ii) 상기 다중 레퍼런스 픽처(40, 42)의 각각의 레퍼런스 픽처(42)를, 상기 비디오 스트림(1)의, 디코딩 순서에 따른, 후속하는 픽처(50)에 대한 디코딩 레퍼런스로서 식별하는 적어도 하나의 픽처 식별자를, 결정(S31)하는 단계를 포함하여 구성되는, 것을 특징으로 하는 디코딩하는 방법.
제1항 또는 제2항에 있어서,
상기 픽처(10)의 상기 인코딩된 표현(60) 및 상기 디코딩된 픽처 버퍼(530, 650) 내에 존재하는 적어도 하나의 레퍼런스 픽처(40, 42)에 기반해서, 상기 픽처(10)를 디코딩(S33)하는 단계를 더 포함하여 구성되고,
상기 픽처(10)의 디코딩은, 상기 디코딩된 픽처 버퍼(530, 650)의 갱신 후에 수행되는 것을 특징으로 하는 디코딩하는 방법.
제1항 또는 제2항에 있어서,
상기 디코딩된 픽처 버퍼(530, 650)를 갱신(S32)하는 단계는,
상기 디코딩된 픽처 버퍼(530, 650) 내에 존재하고, 상기 버퍼 디스크립션 정보에 기반해서 결정된 상기 적어도 하나의 픽처 식별자의 픽처 식별자와 연관된 레퍼런스 픽처를, 레퍼런스용으로 사용으로서, 단기간 레퍼런스용으로 사용 또는 장기간 레퍼런스용으로 사용으로서 마킹(S70)하는 단계를 포함하여 구성되는 것을 특징으로 하는 디코딩하는 방법.
제4항에 있어서,
소정의 레퍼런스 픽처를 마킹하는 단계는, 상기 픽처(10)를 디코딩하는 단계에 앞서서 수행되는 것을 특징으로 하는 디코딩하는 방법.
제1항 또는 제2항에 있어서,
상기 픽처(10)를 디코딩하는 단계에 앞서서, 디스플레이하기 위해서, 상기 디코딩된 픽처 버퍼(530, 650)로부터 제로 이상의 픽처를 출력(S71)하는 단계를 더 포함하여 구성되는 것을 특징으로 하는 디코딩하는 방법.
제1항 또는 제2항에 있어서,
상기 버퍼 디스크립션 정보를 검색(S30)하는 단계는, 상기 픽처(10)의 상기 인코딩된 표현(60)의 슬라이스 헤더(65)로부터 상기 버퍼 디스크립션 정보를 검색하는 단계를 더 포함하여 구성되는 것을 특징으로 하는 디코딩하는 방법.
제1항 또는 제2항에 있어서,
상기 버퍼 디스크립션 정보를 검색(S30)하는 단계는:
상기 픽처(10)의 상기 인코딩된 표현(60)으로부터, 상기 적어도 하나의 레퍼런스 픽처(40, 42)를 규정하는 버퍼 디스크립션을 식별하는 상기 버퍼 디스크립션 정보를 검색(S51)하는 단계와;
상기 버퍼 디스크립션 정보에 기반해서, 적어도 하나의 레퍼런스 픽처(40, 42)를 각각 규정하는 다중의 사전 규정된 버퍼 디스크립션을 포함하여 구성되는 데이터 구조로부터 상기 버퍼 디스크립션을 식별(S52)하는 단계를 포함하여 구성되는 것을 특징으로 하는 디코딩하는 방법.
제9항에 있어서,
상기 비디오 스트림(1)의 인코딩된 표현과 연관된 픽처 파라미터 세트(67) 또는 시퀀스 파라미터 세트(68)로부터 상기 데이터 구조를 검색(S50)하는 단계를 더 포함하여 구성되는 것을 특징으로 하는 디코딩하는 방법.
제9항에 있어서,
상기 버퍼 디스크립션 정보는, 상기 버퍼 디스크립션을 식별하는 식별자 및 적어도 하나의 레퍼런스 픽처(40, 42)를 규정하는 정보를 포함하여 구성되고, 상기 적어도 하나의 픽처 식별자를 결정(S31)하는 단계는:
상기 버퍼 디스크립션에 기반해서, 각각의 레퍼런스 픽처를 식별하는 제1세트의 적어도 하나의 레퍼런스 픽처(40, 42)를 결정(S60)하는 단계와;
적어도 하나의 픽처 식별자를 규정하는 상기 정보에 기반해서, 각각의 레퍼런스 픽처를 식별하는 제2세트의 적어도 하나의 픽처 식별자를 결정(S61)하는 단계와;
상기 제1세트 및 상기 제2세트에 기반해서, 픽처 식별자의 접합 세트를 형성(S62)하는 단계를 포함하여 구성되는 것을 특징으로 하는 디코딩하는 방법.
제11항에 있어서,
상기 접합 세트 내의 픽처 식별자의 전체 수와 레퍼런스 픽처의 최대 수를 비교(S63)하는 단계와;
상기 픽처 식별자의 전체 수가 상기 레퍼런스 픽처의 최대 수를 초과하면, 그리고 상기 접합 세트로부터, 상기 제1세트 내에 포함되지만 상기 제2세트 내에 포함되지 않은 하나 이상의 픽처 식별자를, 상기 접합 세트 내의 상기 픽처 식별자의 전체 수가 상기 레퍼런스 픽처의 최대 수를 초과하지 않을 때까지, 제거(S64)하는 단계를 더 포함하여 구성되는 것을 특징으로 하는 디코딩하는 방법.
제1항 또는 제2항에 있어서,
상기 디코딩된 픽처 버퍼(530, 650)를 갱신(S32)하는 단계는, 상기 디코딩된 픽처 버퍼(530, 650)로부터, 상기 디코딩된 픽처 버퍼(530, 650) 내에 존재하고, 상기 버퍼 디스크립션 정보로부터 결정된 소정의 상기 적어도 하나의 픽처 식별자와 연관되지 않는 모든 레퍼런스 픽처를, 제거(S70)하는 단계를 포함하여 구성되는 것을 특징으로 하는 디코딩하는 방법.
제1항 또는 제2항에 있어서,
상기 결정된 적어도 하나의 픽처 식별자와 상기 디코딩된 픽처 버퍼(530, 650) 내에 존재하는 레퍼런스 픽처와 연관된 픽처 식별자를 비교(S72)하는 단계와;
주어진 픽처를 식별하는 픽처 식별자가 상기 결정된 적어도 하나의 픽처 식별자 중에서 발견되지만 주어진 픽처가 상기 디코딩된 픽처 버퍼(530, 650) 내에 존재하지 않으면, 주어진 픽처를, 존재하지 않는으로서 결정(S73)하는 단계를 더 포함하여 구성되는 것을 특징으로 하는 디코딩하는 방법.
제1항 또는 제2항에 있어서,
상기 버퍼 디스크립션 정보에 기반해서, 레퍼런스 픽처 리스트 초기화를 수행(S80)하는 단계를 더 포함하여 구성되는 것을 특징으로 하는 디코딩하는 방법.
제1항 또는 제2항에 있어서,
상기 적어도 하나의 픽처 식별자를 결정(S31)하는 단계는, 상기 버퍼 디스크립션 정보에 기반해서, 상기 픽처(10)에 대한 디코딩 레퍼런스로서 상기 각각의 레퍼런스 픽처(40, 42)를 식별하는 적어도 하나의 픽처 순서 카운트, POC, 값을 결정(S31)하는 단계를 포함하여 구성되는 것을 특징으로 하는 디코딩하는 방법.
제16항에 있어서,
상기 적어도 하나의 POC 값을 결정(S31)하는 단계는, 상기 버퍼 디스크립션 정보에 기반해서, 상기 적어도 하나의 픽처 순서 카운트, POC, 값 및 상기 각각의 레퍼런스 픽처(40, 42)를 상기 픽처(10)에 대한 디코딩 레퍼런스로서 식별하는 적어도 하나의 부가적인 식별자를 결정(S31)하는 단계를 포함하여 구성되는 것을 특징으로 하는 디코딩하는 방법.
제1항 또는 제2항에 있어서,
상기 비디오 스트림(1)은 다중 계층 내로 그룹화된 픽처(10, 40, 42, 50)를 갖는 스케일 가능한 비디오 스트림이고, 상기 버퍼 디스크립션 정보를 검색(S30)하는 단계는, 상기 적어도 하나의 픽처 식별자를 규정하는 상기 버퍼 디스크립션 정보 및 상기 각각의 레퍼런스 픽처(40, 42)가 속하는 상기 다중 계층의 각각의 계층을 식별하는 계층 정보를 포함하여 구성되는 것을 특징으로 하는 디코딩하는 방법.
다중 픽처(10, 40, 42, 50)의 비디오 스트림(1)의 픽처(10)의 인코딩된 표현(60)을 디코딩하도록 구성된 디코더(400)로서, 상기 디코더(400)는:
상기 픽처(10)의 상기 인코딩된 표현(60)으로부터 적어도 하나의 레퍼런스 픽처(40, 42)를 규정하는 버퍼 디스크립션 정보를 검색하도록 구성된 데이터 검색기(410)와;
상기 버퍼 디스크립션 정보에 기반해서, 상기 픽처(10)에 대한 디코딩 레퍼런스로서, 상기 적어도 하나의 레퍼런스 픽처(40, 42)의 각각의 레퍼런스 픽처(40, 42)를 식별하는 적어도 하나의 픽처 식별자를, 결정하도록 구성된 픽처 식별자 결정기(420)와;
상기 적어도 하나의 픽처 식별자에 기반해서, 디코딩된 픽처 버퍼(530)를 갱신하도록 구성된 버퍼 관리기(430)를 포함하여 구성되고,
상기 픽처 식별자 결정기(420)는, i) 상기 버퍼 디스크립션 정보에 기반해서, 각각의 델타 식별자를 검색하고, ii) 상기 픽처(10)를 식별하는 픽처 식별자 및 상기 각각의 델타 식별자에 기반해서, 상기 적어도 하나의 픽처 식별자를 계산하도록 구성되며,
상기 버퍼 관리기(430)는, 상기 디코딩된 픽처 버퍼(530) 내에 존재하고, 상기 버퍼 디스크립션 정보에 기반해서 결정된 소정의 상기 적어도 하나의 픽처 식별자와 연관되지 않는 모든 레퍼런스 픽처를, 레퍼런스용으로 사용되지 않는으로서 마킹하도록 구성되는 것을 특징으로 하는 디코더.
제19항에 있어서,
상기 버퍼 관리기(430)는, 상기 적어도 하나의 픽처 식별자에 의해 식별된 상기 각각의 레퍼런스 픽처(40, 42)를 포함하여 구성되기 위해서, 상기 디코딩된 픽처 버퍼(530)를 갱신하도록 구성되는 것을 특징으로 하는 디코더.
제19항 또는 제20항에 있어서,
상기 데이터 검색기(410)는 상기 픽처(10)의 상기 인코딩된 표현(60)으로부터 다중 레퍼런스 픽처(40, 42)를 규정하는 상기 버퍼 디스크립션 정보를 검색하도록 구성되고;
상기 픽처 식별자 결정기(420)는, 상기 버퍼 디스크립션 정보에 기반해서, i) 상기 다중 레퍼런스 픽처(40, 42)의 각각의 레퍼런스 픽처(40, 42)를, 상기 픽처(10)에 대한 디코딩 레퍼런스로서 식별하는 적어도 하나의 픽처 식별자 및 ii) 상기 다중 레퍼런스 픽처(40, 42)의 각각의 레퍼런스 픽처(42)를, 상기 비디오 스트림(1)의, 디코딩 순서에 따른, 후속하는 픽처(50)에 대한 디코딩 레퍼런스로서 식별하는 적어도 하나의 픽처 식별자를, 결정하도록 구성되는 것을 특징으로 하는 디코더.
제19항 또는 제20항에 있어서,
상기 디코더(400)는, 상기 버퍼 관리기(430)가 상기 디코딩된 픽처 버퍼(530)를 갱신한 후, 상기 픽처(10)의 상기 인코딩된 표현(60) 및 상기 디코딩된 픽처 버퍼(530) 내에 존재하는 적어도 하나의 레퍼런스 픽처(40, 42)에 기반해서, 상기 픽처(10)를 디코딩하도록 구성되는 것을 특징으로 하는 디코더.
제19항 또는 제20항에 있어서,
상기 버퍼 관리기(430)는, 상기 디코딩된 픽처 버퍼(530, 650) 내에 존재하고, 상기 버퍼 디스크립션 정보에 기반해서 결정된 상기 적어도 하나의 픽처 식별자의 픽처 식별자와 연관된 레퍼런스 픽처를, 레퍼런스용으로 사용으로서, 단기간 레퍼런스용으로 사용 또는 장기간 레퍼런스용으로 사용으로서 마킹하도록 구성되는 것을 특징으로 하는 디코더.
제22항에 있어서,
상기 버퍼 관리기(430)는, 상기 디코더(400)가 상기 픽처(10)를 디코딩하기에 앞서서, 소정의 레퍼런스 픽처를 마킹하도록 구성되는 것을 특징으로 하는 디코더.
제19항 또는 제20항에 있어서,
상기 디코더(400)가 상기 픽처(10)를 디코딩하기에 앞서서, 디스플레이하기 위해서, 상기 디코딩된 픽처 버퍼(530)로부터 제로 이상의 픽처를 출력하도록 구성되는 출력 섹션(450)을 더 포함하여 구성되는 것을 특징으로 하는 디코더.
제19항 또는 제20항에 있어서,
상기 데이터 검색기(410)는, 상기 픽처(10)의 상기 인코딩된 표현(60)의 슬라이스 헤더(65)로부터 상기 버퍼 디스크립션 정보를 검색하도록 구성되는 것을 특징으로 하는 디코더.
제19항 또는 제20항에 있어서,
상기 데이터 검색기(410)는, 상기 픽처(10)의 상기 인코딩된 표현(60)으로부터, 상기 적어도 하나의 레퍼런스 픽처(40, 42)를 규정하는 버퍼 디스크립션을 식별하는 상기 버퍼 디스크립션 정보를 검색하고,
상기 디코더(400)는, 상기 버퍼 디스크립션 정보에 기반해서, 적어도 하나의 레퍼런스 픽처(40, 42)를 각각 규정하는 다중의 사전 규정된 버퍼 디스크립션을 포함하여 구성되는 데이터 구조로부터 상기 버퍼 디스크립션을 식별하도록 구성된 버퍼 디스크립션 식별자(480)을 더 포함하여 구성되는 것을 특징으로 하는 디코더.
제27항에 있어서,
상기 데이터 검색기(410)는, 상기 비디오 스트림(1)의 인코딩된 표현과 연관된 픽처 파라미터 세트(67) 또는 시퀀스 파라미터 세트(68)로부터 상기 데이터 구조를 검색하도록 구성된 것을 특징으로 하는 디코더.
제27항에 있어서,
상기 버퍼 디스크립션 정보는, 상기 버퍼 디스크립션을 식별하는 식별자 및 적어도 하나의 레퍼런스 픽처(40, 42)를 규정하는 정보를 포함하여 구성되고, 상기 픽처 식별자 결정기(420)는, i) 상기 버퍼 디스크립션에 기반해서, 각각의 레퍼런스 픽처를 식별하는 제1세트의 적어도 하나의 레퍼런스 픽처를 결정하고, ii) 적어도 하나의 레퍼런스 픽처(40, 42)를 규정하는 상기 정보에 기반해서, 각각의 레퍼런스 픽처를 식별하는 제2세트의 적어도 하나의 픽처 식별자를 결정하며, iii) 상기 제1세트 및 상기 제2세트에 기반해서, 픽처 식별자의 접합 세트를 형성하도록 구성되는 것을 특징으로 하는 디코더.
제29항에 있어서,
수 비교기(440)는, 상기 접합 세트 내의 픽처 식별자의 전체 수와 레퍼런스 픽처의 최대 수를 비교하도록 구성되고, 상기 픽처 식별자 결정기(420)는, 상기 픽처 식별자의 전체 수가 상기 레퍼런스 픽처의 최대 수를 초과하면, 그리고 상기 접합 세트로부터, 상기 제1세트 내에 포함되지만 상기 제2세트 내에 포함되지 않은 하나 이상의 픽처 식별자를, 상기 접합 세트 내의 상기 픽처 식별자의 전체 수가 상기 레퍼런스 픽처의 최대 수를 초과하지 않을 때까지, 제거하도록 구성되는 것을 특징으로 하는 디코더.
제19항 또는 제20항에 있어서,
상기 버퍼 관리기(430)는, 상기 디코딩된 픽처 버퍼(530)로부터, 상기 디코딩된 픽처 버퍼(530) 내에 기억되고, 상기 버퍼 디스크립션 정보로부터 결정된 소정의 상기 적어도 하나의 픽처 식별자와 연관되지 않는 모든 레퍼런스 픽처를, 제거하도록 구성되는 것을 특징으로 하는 디코더.
제19항 또는 제20항에 있어서,
상기 결정된 적어도 하나의 픽처 식별자와 상기 디코딩된 픽처 버퍼(530) 내에 존재하는 레퍼런스 픽처와 연관된 픽처 식별자를 비교하도록 구성되는 식별자 비교기(460)를 더 포함하여 구성되고, 상기 픽처 식별자 결정기(420)는, 주어진 픽처를 식별하는 픽처 식별자가 상기 결정된 적어도 하나의 픽처 식별자 중에서 발견되지만 주어진 픽처가 상기 디코딩된 픽처 버퍼(530) 내에 존재하지 않으면, 주어진 픽처를, 존재하지 않는으로서 결정하도록 구성되는 것을 특징으로 하는 디코더.
제19항 또는 제20항에 있어서,
상기 버퍼 디스크립션 정보에 기반해서, 레퍼런스 픽처 리스트 초기화를 수행하도록 구성된 리스트 관리기(470)를 더 포함하여 구성되는 것을 특징으로 하는 디코더.
수신기(500)로서,
비디오 스트림(1)의 다중 픽처(10, 40, 42, 50)의 인코딩된 표현(60)을 수신하도록 구성된 입력 섹션(510)과;
상기 다중 픽처(10, 40, 42, 50)의 상기 인코딩된 표현(60)을 디코딩하도록 구성된 청구항 제19항 또는 제20항에 따른 디코더(400)와;
상기 비디오 스트림(1)의 디코딩된 픽처를 출력하도록 구성된 출력 섹션(520)을 포함하여 구성되는 것을 특징으로 하는 수신기.
디코더(600)로서,
비디오 스트림(1)의 다중 픽처(10, 40, 42, 50)의 인코딩된 표현(60)을 수신하도록 구성된 입력 섹션(610)과;
메모리(640) 내에 기억된 컴퓨터 프로그램의 코드 수단을 처리하도록 구성된 프로세서(630)로서, 상기 코드 수단은, 상기 프로세서(630) 상에서 구동할 때, 상기 프로세서(630)가:
상기 픽처(10)의 인코딩된 표현(60)으로부터 적어도 하나의 레퍼런스 픽처(40, 42)를 규정하는 버퍼 디스크립션 정보를 검색하고;
상기 버퍼 디스크립션 정보에 기반해서, 상기 픽처(10)에 대한 디코딩 레퍼런스로서, 상기 적어도 하나의 레퍼런스 픽처(40, 42)의 각각의 레퍼런스 픽처(40, 42)를 식별하는 적어도 하나의 픽처 식별자를, 결정하며;
상기 적어도 하나의 픽처 식별자에 기반해서, 디코딩된 픽처 버퍼(650)를 갱신하고,
i) 상기 버퍼 디스크립션 정보에 기반해서, 각각의 델타 식별자를 검색하고, ii) 상기 픽처(10)를 식별하는 픽처 식별자 및 상기 각각의 델타 식별자에 기반해서, 상기 적어도 하나의 픽처 식별자를 계산하도록 하는, 프로세서와;
상기 비디오 스트림(1)의 디코딩된 픽처를 출력하도록 구성된 출력 섹션(620)을 포함하여 구성되고,
상기 디코딩된 픽처 버퍼(650)의 갱신은, 상기 디코딩된 픽처 버퍼(650) 내에 존재하고, 상기 버퍼 디스크립션 정보에 기반해서 결정된 소정의 상기 적어도 하나의 픽처 식별자와 연관되지 않는 모든 레퍼런스 픽처를, 레퍼런스용으로 사용되지 않는으로서 마킹하는 것을 특징으로 하는 디코더.