KR101631774B1 - 절대 또는 명확한 레퍼러스 픽처 시그널링 - Google Patents

절대 또는 명확한 레퍼러스 픽처 시그널링 Download PDF

Info

Publication number
KR101631774B1
KR101631774B1 KR1020147001763A KR20147001763A KR101631774B1 KR 101631774 B1 KR101631774 B1 KR 101631774B1 KR 1020147001763 A KR1020147001763 A KR 1020147001763A KR 20147001763 A KR20147001763 A KR 20147001763A KR 101631774 B1 KR101631774 B1 KR 101631774B1
Authority
KR
South Korea
Prior art keywords
picture
identifier
list
delta
reference picture
Prior art date
Application number
KR1020147001763A
Other languages
English (en)
Other versions
KR20140051906A (ko
Inventor
야나탄 사무엘슨
리카르드 셰베르그
Original Assignee
텔레폰악티에볼라겟엘엠에릭슨(펍)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=46197674&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101631774(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 텔레폰악티에볼라겟엘엠에릭슨(펍) filed Critical 텔레폰악티에볼라겟엘엠에릭슨(펍)
Publication of KR20140051906A publication Critical patent/KR20140051906A/ko
Application granted granted Critical
Publication of KR101631774B1 publication Critical patent/KR101631774B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • H04N19/433Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 스트림(1)의 픽처(10)의 인코딩된 표현(60)이, 인코딩된 표현(60)으로부터 비디오 스트림(1)의 다중 레퍼런스 픽처(40, 42)를 규정하는 버퍼 디스크립션을 식별하는 형성에서, 버퍼 디스크립션을 검색함으로써, 디코딩된다. 레퍼런스 픽처(42)의 픽처 식별자는, 레퍼런스(42)에 대한 버퍼 디스크립션으로부터 검색된 픽처 식별자 정보 및, 버퍼 디스크립션 내의 리스트 순서에 따른 레퍼런스 픽처에 선행하는 레퍼런스 픽처에 기반해서, 결정된다. 결정된 픽처 식별자는, 픽처(10) 및/또는 비디오 스트림(1)의 소정의 후속하는 픽처(50)에 대한 디코딩 레퍼런스로서 사용되는 레퍼런스 픽처(40, 42)를 기억하는 디코딩된 픽처 버퍼(230, 350)을 갱신하는데 사용된다.

Description

절대 또는 명확한 레퍼러스 픽처 시그널링{Absolute or explicit reference picture signaling}
본 실시형태는, 일반적으로 비디오 인코딩 및 디코딩과 연관된 레퍼런스 픽처 관리에 관한 것으로, 특히 레퍼런스 픽처 시그널링 및 버퍼 관리에 관한 것이다.
MPEG-4(Moving Picture Experts Group-4) 어드벤스드 비디오 코딩(AVC: Advanced Video Coding)으로도 언급되는 H.264는, 본 기술의 비디오 코딩 표준의 상태이다. 이는, 시간적인 및 공간적인 예측을 활용하는 블록 기반 하이브리드 비디오 코딩 방안으로 이루어진다.
고성능 비디오 코딩(HEVC: High Efficiency Video Coding)은, JCT-VC(Joint Collaborative Team-Video Coding)으로 개발된 새로운 비디오 코딩 표준이다. JCT-VC는 MPEG과 ITU-T(International Telecommunication Union Telecommunication standization sector) 간의 협동 프로젝트이다. 현재, 워킹 드라프트(WD: Working Draft)는 큰 매크로블록(가장 큰 코딩 유닛에 대해서 LCU로 약술됨) 및 다수의 다른 새로운 툴을 포함하는 것으로 규정되고, H.264/AVC보다 더 효율적인 것으로 고려된다.
수신기에서, 디코더는 픽처를 나타내는 비트 스트림, 예를 들어 압축된 데이터의 비디오 데이터 패킷을 수신한다. 압축된 데이터는 패이로드 및 제어 정보를 포함하여 구성된다. 제어 정보는, 예를 들어 어떤 레퍼런스 픽처가, 디코딩된 픽처 버퍼(DPB: decoded picture buffer)로도 언급되는, 레퍼런스 픽처 버퍼 내에 기억되어야 하는지의 정보를 포함하여 구성된다. 이 정보는 이전에 수신된 픽처에 대한 상대적인 레퍼런스이다. 더욱이, 디코더는 수신된 비트 스트림을 디코딩하고, 디코딩된 픽처를 디스플레이한다. 부가적으로, 디코딩된 픽처는 제어 정보에 따라서 디코딩된 픽처 버퍼 내에 기억된다. 이들 기억된 레퍼런스 픽처는, 후속하는 픽처를 디코딩할 때 디코더에 의해서 사용된다.
HEVC의 워킹 드라프트에서의 디코딩된 픽처 버퍼 동작의 처리들에 대한 워킹 추정(working assumption)은, 이들이 H.264/AVC로부터 매우 큰 범위로 승계되게 되는 것이다. H.264/AVC에서 설계되는 방안의 단순화된 흐름도가 도 1에 나타낸다.
픽처의 실제 디코딩 전에, 시퀀스 파라미터 세트(SPS) 신택스 엘리먼트 gaps_in_frames_num_value_allowed_flag가 1이면, frame_num 내의 가능한 갭을 검출하기 위해서, 슬라이스 헤더 내의 frame_num은 파싱되어야 한다. frame_num는 디코딩 순서를 가리킨다. frame_num 내의 갭이 검출되면, "존재하지 않는(non-existing)" 프레임이 생성되고, 디코딩된 픽처 버퍼(DPB) 내에 삽입된다.
frame_num 내에 갭이 있었는지에 관계없이, 다음 단계가 현재 픽처의 실제 디코딩이다. 픽처의 슬라이스 헤더가 메모리 관리 제어 동작(MMCO: Memory Management Control Operations) 커멘드를 포함하면, 디코딩된 픽처 버퍼 내에 기억되는 픽처의 상대적인 레퍼런스를 획득하기 위해서, 적응 메모리 제어 처리가, 픽처의 디코딩 후에 적용되고; 그렇지 않으면 슬라이딩 윈도우 처리가 디코딩된 픽처 버퍼 내에 기억되는 픽처에 대한 상대적인 레퍼런스를 획득하기 위해서 적용된다. 최종 단계로서 "범핑(bumping)" 처리가 정확한 순서로 픽처를 전달하기 위해서 적용된다.
H.264/AVC의 문제점은, 이하의 표 1에 개시된 바와 같이, 타입 2, 3, 4, 5 또는 6의 MMCO를 포함하는 픽처의 손실에 대한 자체의 취약성(vulnerability)이다.
memory_management_control_operation 메모리 관리 제어 동작
0 memory_management_control_operation 신택스 엘리먼트엘리먼트 루프 종료
1 "레퍼런스용으로 사용되지 않는"으로서 단기간 레퍼런스 픽처를 마크
2 "레퍼런스용으로 사용되지 않는"으로서 장기간 레퍼런스를 픽처 마크
3 "장기간 레퍼런스용으로 사용됨"으로서 단기간 레퍼런스 픽처를 마크 및 장기간 프레임 인덱스를 이에 할당
4 최대 장기간 인덱스를 명기하고, "레퍼런스용으로 사용되지 않는"으로서 최대 값보다 큰 장기간 프레임 인덱스를 갖는 모든 장기간 레퍼런스 픽처를 마크
5 "레퍼런스용으로 사용되지 않는"으로서 모든 레퍼런스를 마크 및, MaxLongTermFrameIdx를 "장기간 프레임 인덱스 없음"으로 설정
6 "장기간 레퍼런스용으로 사용됨"으로서 현재 픽처를 마크 및 장기간 프레임 인덱스를 이에 할당
- H.264/AVC에 대한 메모리 관리 제어 동작 값
MMCO를 포함하지 않는 픽처 또는 타입 0 또는 1의 MMCO를 포함하는 픽처의 손실은, 물론 디코딩 처리에 대해서 매우 심각하다. 손실 픽처의 화소 값은 이용 가능하지 않고, 부정확한 인터 예측에 기인해서 장기간 동안 미래의 픽처에 영향을 줄 수 있다. 또한, 예를 들어, 그렇지 않으면 다음 픽처의 레퍼런스 픽처 리스트 내에 포함되게 되는 "레퍼런스용으로 사용되지 않는"으로서 하나의 단기간 레퍼런스 픽처가 마크된 MMCO에 손실 픽처가 포함되면, 손실 픽처를 뒤따르는 소수의 픽처에 대한 레퍼런스 픽처 리스트가 잘못되게 되는 리스크가 있게 된다. 그런데, 디코딩 처리는, 일반적으로, 제약된 인트라 블록, 인트라 슬라이스의 사용을 통해서 또는, 다른 수단에 의해, 이러한 손실을 복구할 수 있다.
그러나, 타입 2, 3, 4, 5 또는 6의 MMCO를 포함하는 픽처가 손실되면, DPB 내의 장기간 픽처의 번호는, 픽처가 수신되었으면, 되었을 것과 다르게 되는 리스크가 있게 되어, 모든 뒤따르는 픽처에 대한 "부정확한" 슬라이딩 윈도우 처리로 귀결된다. 즉, 인코더 및 디코더는 다른 번호의 단기간 픽처를 포함하게 되어, 슬라이딩 윈도우 처리의 아웃 오브 싱크(out-of-sync) 행동으로 귀결된다. 이 손실은 제약된 인트라 블록, 인트라 슬라이스 또는 유사한 기술(오픈 GOP(Group Of Picture) 인트라 픽처도 아닌)의 사용을 통해 복구될 수 없다. 이러한 손실로부터의 복구를 보장하기 위한 유일한 방법은, 순시 디코더 리프레시(IDR: Instantaneous Decoder Refresh) 픽처를 통해서 또는 손실 MMCO의 효과를 상쇄하는 MMCO를 통해서이다. 상황을 더 악화시키는 것은, 슬라이딩 윈도우 처리가, 아웃 오브 싱크이고, 따라서 피드백 채널이 이용 가능한 적용에서도 인코더에 대한 문제점을 리포트할 수 없거나 또는 IDR 픽처를 요청할 수 없는 것을, 디코더가 반드시 알게 되지 않는 것이다.
중요한 MMCO 정보를 손실하는 리스크를 감소시키기 위한 하나의 방법은, dec_ref_pic_marking_repetition 보충 증대 정보(SEI: Supplementary Enhancement Infrormation) 메시지를 사용하는 것이다. 그런데, 인코더는, 디코더가 dec_ref_pic_marking_repetition SEI 메시지를 사용하게 만들 수 있는지를 알 수 없게 된다. 더욱이, dec_ref_pic_marking_repetition SEI 메시지가 또한 손실되는 리스크가 있다.
따라서, 종래 기술의 해결책의 단점 및 제한을 극복한 효과적인 레퍼런스 픽처 시그널링 및 버퍼 관리에 대한 요구가 있다.
본 발명의 일반적인 목적은, 비디오 인코딩 및 디코딩과 연관된 효과적인 레퍼런스 픽처 시그널링 및 버퍼 관리를 제공하는 것이다.
본 발명의 목적은, 본 명세서에 개시된 실시형태에 의해 충족된다.
실시형태의 측면은, 다중 픽처의 비디오 스트림의 픽처의 인코딩된 표현을 디코딩하는 방법에 관한 것이다. 본 방법은, 상기 픽처의 상기 인코딩된 표현으로부터 다중 레퍼런스 픽처를 규정하는 버퍼 디스크립션을 식별하는 버퍼 디스크립션 정보를 검색하는 단계를 포함하여 구성된다. 상기 레퍼런스 픽처에 대한 상기 버퍼 디스크립션으로부터 검색된 픽처 식별자 정보 및 상기 버퍼 디스크립션 내의 리스트 순서에 따른 상기 레퍼런스 픽처에 선행하는 레퍼런스 픽처에 대한 상기 버퍼 디스크립션으로부터 검색된 픽처 식별자 정보에 기반해서, 상기 다중 레퍼런스 픽처의 레퍼런스 픽처를 식별하는 픽처 식별자가 결정된다. 이에 의해, 상기 결정된 픽처 식별자에 기반해서, 디코딩된 픽처 버퍼가 갱신된다.
실시형태의 관련된 측면은, 다중 픽처의 비디오 스트림의 픽처의 인코딩된 표현을 디코딩하도록 구성된 디코더를 규정한다. 본 디코더는, 상기 픽처의 상기 인코딩된 표현으로부터 다중 레퍼런스 픽처를 규정하는 버퍼 디스크립션을 식별하는 버퍼 디스크립션 정보를 검색하도록 구성된 데이터 검색기를 포함하여 구성된다. 상기 레퍼런스 픽처에 대한 상기 버퍼 디스크립션으로부터 상기 데이터 검색기에 의해 검색된 픽처 식별자 정보 및 상기 버퍼 디스크립션 내의 리스트 순서에 따른 상기 레퍼런스 픽처에 선행하는 레퍼런스 픽처에 대한 상기 버퍼 디스크립션으로부터 데이터 검색기에 의해 검색된 픽처 식별자 정보에 기반해서, 상기 다중 레퍼런스 픽처의 레퍼런스 픽처를 식별하는 픽처 식별자를 결정하도록 픽처 식별자 결정기가 구성된다. 또한, 디코더는, 상기 픽처 식별자에 기반해서, 디코딩된 픽처 버퍼를 갱신하도록 구성된 버퍼 관리기를 포함하여 구성된다.
실시형태의 관련된 다른 측면은, 비디오 스트림의 다중 픽처의 인코딩된 표현을 수신하도록 구성된 입력 섹션을 포함하여 구성되는 디코더를 규정한다. 또한, 디코더는 메모리 내에 기억된 컴퓨터 프로그램의 코드 수단을 처리하도록 구성된 프로세서를 포함하여 구성된다. 상기 코드 수단은, 상기 프로세서 상에서 구동할 때, 상기 프로세서가, 상기 픽처의 인코딩된 표현으로부터 다중 레퍼런스 픽처를 규정하는 버퍼 디스크립션을 식별하는 버퍼 디스크립션 정보를 검색하게 한다. 또한, 프로세서는, 상기 레퍼런스 픽처에 대한 상기 버퍼 디스크립션으로부터 검색된 픽처 식별자 정보 및 상기 버퍼 디스크립션 내의 리스트 순서에 따른 상기 레퍼런스 픽처에 선행하는 레퍼런스 픽처에 대한 상기 버퍼 디스크립션으로부터 검색된 픽처 식별자 정보에 기반해서, 상기 다중 레퍼런스 픽처의 레퍼런스 픽처를 식별하는 픽처 식별자를 결정하게 한다. 더욱이, 프로세서는, 상기 픽처 식별자에 기반해서, 디코딩된 픽처 버퍼를 갱신하게 한다. 디코더의 출력 섹션은, 상기 비디오 스트림의 디코딩된 픽처를 출력하도록 구성된다.
실시형태의 다른 측면은, 다중 픽처의 비디오 스트림의 픽처를 인코딩하는 방법에 관한 것이다. 본 발명은, 상기 픽처에 대해서, 상기 다중 픽처의 다중 레퍼런스 픽처를, 픽처 및/또는 비디오 스트림 내의 후속하는 픽처에 대한 인코딩 레퍼런스로서 결정하는 단계를 포함하여 구성된다. 또한, 본 방법은, 각각의 레퍼런스 픽처에 대해서, 상기 레퍼런스 픽처를 식별하는 픽처 식별자를 제공하는 단계를 포함하여 구성된다. 리스트 순서에 따른 제1레퍼런스 픽처를 제외한 상기 다중 레퍼런스 픽처의 적어도 부분의 각각의 레퍼런스 픽처에 대해서, 픽처 식별자 정보를 결정한다. 픽처 식별자 정보는, 레퍼런스 픽처를 식별하는 픽처 식별자에 기반해서 그리고, 리스트 순서에 따른 선행하는 레퍼런스 픽처를 식별하는 픽처 식별자에 기반해서, 결정된다. 다중 레퍼런스 픽처를 규정하는 버퍼 디스크립션을 식별하는 버퍼 디스크립션 정보가 생성된다. 상기 픽처의 인코딩된 표현 내에 상기 버퍼 디스크립션 정보가 삽입된다.
실시형태의 관련된 측면은, 다중 픽처의 비디오 스트림의 픽처를 인코딩하도록 구성된 인코더를 규정한다. 인코더는, 상기 픽처에 대해서, 비디오 스트림의 다중 레퍼런스 픽처를, 픽처 및/또는 비디오 스트림 내의 후속하는 픽처에 대한 인코딩 레퍼런스로서 결정하도록 구성된 레퍼런스 픽처 결정기를 포함하여 구성된다. 또한, 인코더는, 각각의 레퍼런스 픽처에 대해서, 상기 레퍼런스 픽처를 식별하는 픽처 식별자를 제공하도록 구성된 픽처 식별자 프로바이더를 포함하여 구성된다. 정보 결정기는, 리스트 순서에 따른 제1레퍼런스 픽처를 제외한 상기 다중 레퍼런스 픽처의 적어도 부분의 각각의 레퍼런스 픽처에 대해서, 픽처 식별자를 생성하도록 구성된다. 픽처 식별자 정보는, 상기 레퍼런스 픽처를 식별하는 픽처 식별자에 기반해서 그리고, 리스트 순서에 따른 선행하는 레퍼런스 픽처를 식별하는 픽처 식별자에 기반해서 결정된다. 인코더는 또한, 상기 픽처 식별자 정보에 기반해서, 상기 다중 레퍼런스 픽처를 규정하는 버퍼 디스크립션을 식별하는 버퍼 디스크립션 정보를 생성하도록 구성된 버퍼 디스크립션 정보 생성기를 포함하여 구성된다. 인코더의 데이터 삽입기는, 상기 픽처의 인코딩된 표현 내에 상기 버퍼 디스크립션을 삽입하도록 구성된다.
실시형태의 다른 관련된 측면은, 비디오 스트림의 다중 픽처를 수신하도록 구성된 입력 섹션과; 메모리 내에 기억된 컴퓨터 프로그램의 코드 수단을 처리하도록 구성된 프로세서를 포함하여 구성되는 인코더를 규정한다. 상기 코드 수단은, 상기 프로세서 상에서 구동할 때, 상기 프로세서가, 비디오 스트림의 상기 픽처에 대해서,비디오 스트림의 상기 다중 레퍼런스 픽처를, 픽처 및/또는 비디오 스트림의 후속하는 픽처에 대한 인코딩 레퍼런스로서 결정하게 한다. 또한, 프로세서는, 각각의 레퍼런스 픽처에 대해서, 상기 레퍼런스 픽처를 식별하는 픽처 식별자를 제공하고, 적어도 하나의 픽처 식별자에 기반해서 버퍼 디스크립션 정보를 생성한다. 더욱이, 코드 수단은, 프로세서가, 리스트 순서에 따른 제1레퍼런스 픽처를 제외한 상기 다중 레퍼런스 픽처의 적어도 부분의 각각의 레퍼런스 픽처에 대해서, 픽처 식별자 정보를 결정하게 한다. 픽처 식별자 정보는, 레퍼런스 픽처를 식별하는 상기 픽처 식별자 정보에 기반해서 그리고, 리스트 순서에 따른 선행하는 레퍼런스 픽처를 식별하는 픽처 식별자에 기반해서, 결정된다. 또한, 코드 수단은, 프로세서가, 픽처 식별자 정보에 기반해서, 다중 레퍼런스 픽처를 규정하는 버퍼 디스크립션을 식별하는 버퍼 디스크립션 정보를 생성하게 한다. 부가적으로, 코드 수단은, 프로세서가, 상기 버퍼 디스크립션 정보를 상기 픽처의 인코딩된 표현 내에 삽입되게 한다. 더욱이, 인코더는, 픽처의 인코딩된 표현을 출력하도록 구성된 출력 섹션을 포함하여 구성된다.
정확한 레퍼런스 픽처 관리가, 사전에 인코딩된 픽처가 정확하게 수신된 및 디코딩되는 것에 의존하는, 종래 기술 솔루션과의 명확한 대조되는, 본 실시형태는, 상대적인 또는 암시의 방식 대신 절대적이고 명확한 방식으로 레퍼런스 픽처용으로 사용되는 버퍼 디스크립션 정보를 제공한다. 따라서, 픽처의 인코딩된 표현은, 비디오 스트림 내의 이전의 픽처의 인코딩된 표현에 독립적인 디코딩 동안, 어떤 레퍼런스 픽처가 레퍼런스용으로 사용되는 지의 정보를 포함한다.
이에 의해, 실시형태는, 디코더가 이전의 픽처 내에 정확하게 전달 및 해석된 버퍼 동작에 의존하는 대신, 현재 픽처의 레퍼런스 픽처 관리를 위해 현재 픽처 내에 포함된 정보에 의존하므로, 레퍼런스 픽처 관리 및 시그널링이 에러에 대해서 덜 취약하게 만들 수 있다.
부가적으로, 버퍼 디스크립션 내의 선행하는 레퍼런스 픽처에 대한 픽처 식별자의 인코딩 및 디코딩은 픽처 식별자의 비트의 효과적인 표현을 가능하게 하고, 이는 버퍼 디스크립션을 시그널링하는데 있어서 소정의 오버헤드를 감소하게 한다. 이에 의해, 본 실시형태는, 절대적인 레퍼런스 픽처 시그널링에 있어서, 식별 값의 시그널링에 요구되는 비트 레이트를 감소시킨다.
또 다른 목적 및 장점과 함께 본 발명은, 첨부 도면과 함께 이하의 상세한 설명을 참조해서, 최상으로 이해될 수 있는데,
도 1은 H.264/AVC 레퍼런스 버퍼 방안의 단순화된 흐름도;
도 2는 실시형태에 따른 픽처의 인코딩된 표현을 디코딩하는 방법의 흐름도;
도 3은 실시형태에 따른 다중 픽처의 비디오 스트림;
도 4는 실시형태에 따른 픽처의 인코딩된 표현;
도 5는 실시형태에 따른 도 2의 제1픽처 식별자를 결정하는 단계의 흐름도;
도 6은 실시형태에 따른 도 5의 계산 단계 및 도 2의 픽처 식별자 결정 단계의 흐름도;
도 7은 실시형태에 따른 도 2의 제1픽처 식별자를 결정하는 단계 및 픽처 식별자를 결정하는 단계의 흐름도;
도 8은 도 2의 방법의 부가적인, 옵션의 단계의 흐름도;
도 9는 실시형태에 따른 레퍼런스 버퍼 방안의 단순화된 흐름도;
도 10은 실시형태에 따른 픽처를 인코딩하는 방법의 흐름도;
도 11은 실시형태에 따른 도 10의 제1픽처 식별자를 결정하는 단계 및 픽처 식별자를 결정하는 단계의 흐름도;
도 12는 실시형태에 따른 도 10의 단계 S50 내지 S53의 흐름도;
도 13은 도 10의 방법의 부가적인, 옵션의 단계의 흐름도;
도 14는 실시형태에 따른 수신기의 개략적인 블록도;
도 15는 실시형태에 따른 디코더의 개략적인 블록도;
도 16은 실시형태에 따른 도 16의 픽처 식별자 결정기의 개략적인 블록도;
도 17은 다른 실시형태에 따른 디코더의 개략적인 블록도;
도 18은 실시형태에 따른 송신기의 개략적인 블록도;
도 19는 실시형태에 따른 인코더의 개략적인 블록도;
도 20은 실시형태에 따른 도 19의 정보 결정기의 개략적인 블록도;
도 21은 다른 실시형태에 따른 인코더의 개략적인 블록도이다.
도면을 통해서, 유사한 또는 대응하는 엘리먼트에는 동일한 참조 부호를 사용했다.
본 발명 실시형태는, 일반적으로, 비디오 스트림의, 종래 기술에서 프레임으로도 언급되는, 픽처의 인코딩 및 디코딩과 관련된다. 특히, 본 실시형태는 비디오 인코딩 및 디코딩과 연관된 레퍼런스 픽처의 관리 및 인코더부터 디코더로의 이러한 레퍼런스 픽처의 시그널링에 관한 것이다.
H.264/MPEG-4 AVC 및 HEVC로 표현되는 것과 같은 비디오 인코딩은, 레퍼런스 픽처를, 현재 픽처의 화소 데이터의 인코딩 및 디코딩을 위한 예측 또는 레퍼런스로서 사용한다. 이는, 일반적으로, 픽처가 이러한 레퍼런스 픽처에 관해서 인코딩 및 디코딩되는 본 기술에서 인터 코딩으로서 언급된다. 인코딩된 픽처를 디코딩할 수 있게 하기 위해서, 이에 의해, 디코더는 어떤 레퍼런스 픽처가 현재의 인코딩된 픽처에 대해서 사용되는지를 알아야 하고, 이들 레퍼런스 픽처에 액세스해야 한다. 일반적으로, 디코더는, 디코딩된 픽처 버퍼(DPB)를 사용하는데, 이는 본 명세서에서 레퍼런스 픽처를 기억하기 위한 레퍼런스 픽처 버퍼로도 표시된다. 그 다음, 인코딩된 픽처를 디코딩할 때, 디코딩된 픽처 버퍼 내에 기억된 레퍼런스 픽처가 실제로 정확한 레퍼런스 픽처인 것은 중요한데, 그렇지 않으면 디코더는 디코딩 처리 동안 잘못된 레퍼런스 픽처를 사용하게 되어, 나타낸 비디오의 품질을 저하시킨다.
종래 기술은, 본 발명의 배경 섹션에서 논의된 바와 같이, 픽처 반송 MMCO 정보가 의도하지 않게 손실될 때, 부정확한 레퍼런스 픽처를 사용하는 것에 관한 문제점을 겪게 될 수 있다. 종래 기술의 이 문제점은, 이하의 H.264-실행된 예에 의해 분명히 보여질 수 있다. 디코딩된 픽처 버퍼가 픽처 식별자 300, 302 및 303를 갖는 3개의 단기간 픽처 및 픽처 식별자 0 및 3을 갖는 2개의 장기간 픽처를 기억하는 것으로 상정하자. 그러면, 인코더는 장기간 픽처 0이 "레퍼런스용으로 사용되지 않는"으로서 마크되게 되는 것을 진술하는 MMCO 타입 2 커멘드를 갖는 새로운 인코딩된 픽처를 생성할 수도 있다. 이 인코딩된 픽처가 디코더에서 정확하게 수신된다면, 장기간 픽처 0은 레퍼런스용으로 사용되지 않는으로서 마크될 것이고, 레퍼런스 픽처 리스트는 {300, 302, 303, 3}로 될 것이다. 그런데, MMCO 타입 2 커멘드를 갖는 인코딩된 픽처가 손실되면, 디코더는, 장기간 픽처 0이 레퍼런스용으로 사용되지 않는으로서 마크되어야 하는 것을 통보하지 않고, 레퍼런스 픽처 리스트는 그러므로 대신 {300, 302, 303, 0, 3}이다. 디코더에서 수신된 다음 인코딩된 픽처가, 레퍼런스 픽처 리스트 내의 위치 3에서의 레퍼런스 픽처가 픽처 내의 매크로블록에 대한 예측으로서 사용되는, 정보를 포함하여 구성되면, MMCO 타입 2 커멘드가 손실되면, 문제점이 있게 된다. MMCO 타입 2 커멘드가 디코더에서 정확하게 수신되면, 이 레퍼런스 픽처가 레퍼런스 픽처 리스트 내의 위치 3(0에서 시작하면)을 점유함에 따라, 레퍼런스 픽처 리스트 내의 위치 3에서의 레퍼런스 픽처는 장기간 픽처 3에 대응하게 된다. 그런데, 손실 MMCO 타입 2 커멘드와 함께, 레퍼런스 픽처 리스트 내의 위치 3은 장기간 픽처 0으로 대신 점유된다. 이는, 장기간 픽처 0으로부터의 화소 데이터가, 장기간 픽처 식별자 3으로부터의 정확한 화소 데이터 대신 예측 기반으로서 사용되는 것을 의미한다.
따라서, 종래 기술 솔루션은, 정확한 레퍼런스 픽처 관리가 사전에 디코딩된 픽처가 정확하게 수신 및 디코딩되었는지에 의존하는, 문제점을 갖게 된다.
본 발명 실시형태는, 종래 기술과 비교해서 레퍼런스 픽처를 시그널링하는데 근본적으로 다른 접근을 사용함으로써, 이들 종래 기술의 문제점들을 갖지 않는다. 대신, 본 발명 실시형태는, 상대적인 또는 암시의 방식 대신, 절대적인 또는 명확한 방식으로 어떤 디코딩된 픽처가 사용되는 지를 명기한다. 다른 방식은, 현재 픽처에 대한 인코딩된 표현, 예를 들어 비트스트림이, 이전 픽처의 인코딩된 표현에 독립적인, 레퍼런스에 대해서 어떤 픽처, 예를 들어 레퍼런스 픽처를 사용하는 것에 관한 정보를 포함한다. 그러므로, 정확한 디코딩된 픽처 버퍼를 유지하기 위한 논리적인 책임이 디코더로부터 비트스트림으로 이동한다고 말할 수 있다. 이를 바라보는 한 방식은, 소위 픽처에 대한 인터 예측 및 모션 벡터 예측용으로 어떤 레퍼런스 픽처가 사용되는 것에 관한 정보가 픽처의 제어 정보 내에 포함되는 것이다. 그러므로, 디코딩된 픽처 버퍼의 상태가, 다른 픽처에 대해서 인코딩된 및 디코딩된 픽처마다에 대해서 시그널링된다.
실시형태에 따라서, 픽처는 현재 픽처를 인코딩 및 디코딩하는데 필요한, 및/또는, 디코더에서의 픽처의 출력 순서에 따라서, 비디오 스트림의 후속하는 픽처를 인코딩 및 디코딩하는데 필요한, 레퍼런스 픽처를 규정하는 버퍼 디스크립션과 연관된다. 그 다음, 이 버퍼 디스크립션을 규정하는 버퍼 디스크립션 정보는, 인코더에 의해 픽처의 인코딩된 표현 내에 도입되고, 그러므로 현재 픽처의 인코딩된 데이터와 함께, 디코더에 대해서 이용 가능하다.
본 실시형태는, 비트 효과적인(bit efficient) 레퍼런스 픽처를 규정하기 위한 버퍼 디스크립션을 사용하는 효과적인 방법에 관한 것이다.
버퍼 디스크립션 내의 픽처 식별자를 직접적으로 시그널링하는 것은, 일반적으로, 특히 가변 길이 코딩(variable length coding)을 사용할 때, 효과적이지 않다. 한 이유는, 픽처 식별자가 인코딩에 대해서 많은 비트를 요구하는 상대적으로 큰 수로 될 수 있기 때문이다. 더욱이, 현재 픽처 및/또는 비디오 스트림 내의 후속하는 픽처에 대한 예측 기반으로서 사용된 레퍼런스 픽처는, 일반적으로 픽처에 인접하거나 또는 비디오 스트림 내의 현재 픽처에 대해서 적어도 근접해서 존재한다. 그러므로, 더 비트 효과적인 접근은, 현재 픽처의 픽처 식별자에 대한 델타 픽처 식별자로서, 버퍼 디스크립션 내의 픽처 식별자들을 규정하는 것이다.
이러한 접근에 있어서, 레퍼런스 픽처는, 현재 픽처에 대해서, 델타 픽처 식별자, deltaPOC를 갖는 버퍼 디스크립션으로 시그널링된다. 그 다음, 레퍼런스 픽처의 픽처 식별자, POC(ref)가 POC(ref) = POC(currPic) + deltaPOC로 계산되는데, 여기서 POC(currPic)는 현재 픽처의 픽처 식별자를 표시한다.
특정 실시형태에 있어서는, 동일한 픽처, 예를 들어 동일한 deltaPOC가 동일한 버퍼 디스크립션 내에 일회 이상 나타나지 않을 수 있게, 제한이 명기될 수 있다. 이는, 버퍼 디스크립션이 현재 픽처를 위해 시크널링되는 각각의 레퍼런스 픽처를 분명하게 그리고 명확하게 규정할 수 있게 한다. 그런데, 이는 버퍼 디스크립션 내의 픽처 식별자를 비효율적으로 시그널링할 수도 있다.
예를 들어, 모든 레퍼런스 픽처가 음의 델타 픽처 식별자를 갖는 버퍼 디스크립션을 상정하자. 더욱이, 현재 픽처에 대한 버퍼 디스크립션 내의 제1레퍼런스 픽처가, 언사인된 가변 길이 코드(UVLC: unsigned variable length code)와 같은 가변 길이 코드를 사용해서 1비트로 인코딩되는 델타 픽처 식별자 deltaPOC = -1를 갖는 것으로 상정하자. 그 다음, -1의 델타 픽처 식별자는, 다음 레퍼런스 픽처에 대한 가장 짧은 코드워드가 된다. 그런데, 상기된 제한이 버퍼 디스크립션에 적용되면, 1비트로 표현된 이러한 -1의 값은, 그 코드워드를 갖는 레퍼런스 픽처가 버퍼 디스크립션 내에 이미 있으므로, 다음 레퍼런스 픽처에 대해서 금지된다. 따라서, 버퍼 디스크립션 내의 제2레퍼런스 픽처는 UVLC를 사용하는 자체의 델타 픽처 식별자를 나타내기 위해서 적어도 3비트를 사용해야 한다.
본 실시형태는 레퍼런스 픽처를 시그널링하는 이 제한을 해결한다.
본 실시형태의 측면은, 버퍼 디스크립션 내의 레퍼런스 픽처의 절대 시그널링으로 시그널링되는, 레퍼런스 픽처의 이미 디코딩된 식별 값을 사용해서, 레퍼런스 픽처의 절대 시그널링으로 시그널링되는, 레퍼런스 픽처의 식별 값을 디코딩하는 것이다.
따라서, 본 실시형태는, 레퍼런스 픽처가 버퍼 디스크립션 내에서 나타나는 순서를 사용한다. 그러므로, 버퍼 디스크립션 내의 인덱스 i를 갖는 레퍼런스 픽처의 픽처 식별자를 디코딩할 때, 버퍼 디스크립션(들) 내에서 이미 디코딩된 레퍼런스 픽처(들)로부터의 픽처 식별자(들)가 사용된다. 이는, 인덱스 i를 갖는 레퍼런스 픽처에 대해서, 픽처 식별자를 시그널링하는 비트 스트림 비트 코스트의 절감을 가능하게 한다.
도 2는, 다중 픽처 또는 프레임의 비디오 스트림의 픽처의 인코딩된 표현을 디코딩하는 방법을 나타낸 흐름도이다. 본 방법은 단계 S1에서 시작하는데, 여기서 버퍼 디스크립션을 식별하는 버퍼 디스크립션 정보가 픽처의 인코딩된 표현으로부터 검색된다.
버퍼 디스크립션 정보는, 픽처의 인코딩된 표현의 소정의 규정된 부분 내에 제공될 수 있지만, 전형적으로 픽처의 인코딩된 표현 내의 제어 정보 필드 내에 제공된다. 그러므로, 버퍼 디스크립션 정보의 검색은, 픽처의 인코딩된 표현의 제어 정보를 디코딩하는 것과 연관해서, 그러므로, 바람직하게는 인코딩된 표현의 실제의 패이로드 데이터의 디코딩에 앞서서 수행된다.
도 4는, 픽처의 일례의 인코딩된 표현(60)을 개략적으로 도시한다. 인코딩된 표현(60)은 슬라이스 내의 화소 블록의 인코딩된 화소 데이터를 나타내는 비디오 패이로드 데이터(66: VIDEO PAYLOAD data)를 포함하여 구성된다. 또한, 인코딩된 표현(60)은, 제어 정보를 반송하는 슬라이스 헤더(65: SLICE HEADER)를 포함하여 구성된다. 슬라이스 헤더(65)는 비디오 패이로드 및 네트워크 앱스트랙션 계층(NAL: Network Abstraction Layer) 헤더(64)와 함께, 인코더로부터 출력되는 엔티티인 NAL 유닛을 형성한다. 이 NAL 유닛에 대해서, 실시간 전송 프로토콜(RTP: Real-time Transport Protocol) 헤더(63), 유저 데이터그램 프로토콜(UDP: User Datagram Protocol) 헤더(62) 및 인터넷 프로토콜(IP) 헤더(61)와 같은 부가적인 헤더가, 인코더로부터 디코더로 전송될 수 있는 데이터 패킷을 형성하기 위해서, 부가될 수 있다. NAL 유닛의 패킷화의 이 형태는, 단지 비디오 전송과 연관된 예를 구성한다. 파일 포맷, MPEG-2 전송 스트림, MPEG-2 프로그램 스트림 등과 같은 NAL 유닛을 핸들링하는 다른 접근이 가능하다.
그 다음, 버퍼 디스크립션 정보는, 인코더 및 디코더가 따르는 표준에 의해 명기된 슬라이스 헤더(65), 다른 픽처 헤더 또는 다른 데이터 구조 내에 포함될 수 있다.
단계 S1에서 검색된 버퍼 디스크립션 정보는, 다중 레퍼런스 픽터를 규정하는, 레퍼런스 픽처 세트(RPS: Reference Picture Set)로도 언급되는 버퍼 디스크립션을 식별한다. 그러므로, 버퍼 디스크립션은 디코딩되는 현재 픽처에 대한 디코딩 레퍼런스로서 사용되는 레퍼런스 픽처를 규정한다. 이는, 현재 픽처의 화소 데이터가 하나 이상의 레퍼런스 픽처를 참조로 디코딩되는 것을 의미한다. 대안적으로 또는 부가적으로, 버퍼 디스크립션에 의해 규정된 적어도 하나의 레퍼런스 픽처는, 예를 들어 현재 픽처 다음에 디코딩되는 픽처인 비디오 스트림의 후속하는 픽처에 대한 디코딩 레퍼런스로서 사용될 수 있다. 따라서, 버퍼 디스크립션은, 디코딩 순서로 현재 픽처에 앞선 그리고, 디코딩 순서에 따른 현재 픽처를 뒤따르는, 본 명세서에서 후속하는 픽처로서 언급된, 현재 픽처 또는 소정 픽처에 대한 인터 예측을 위해서 사용될 수 있는, 모든 레퍼런스 픽처를 규정한다.
그러므로, 버퍼 디스크립션 정보는, 현재 픽처와 연관된 레퍼런스 픽처의 세트인 버퍼 디스크립션을 식별하는 정보로서 간주될 수 있다. 이것은, 디코딩 순서로 현재 픽처에 앞선 그리고, 디코딩 순서로 현재 픽처를 뒤따르는 현재 픽처 또는 소정의 픽처의 인터 예측에 대해서 사용될 수 있는, 모든 레퍼런스 픽처로 이루어진다.
도 3은 다중 픽처(10, 40, 42, 50)의 비디오 스트림(1)을 나타냄으로써, 본 발명의 개념을 개략적으로 나타낸다. 현재 픽처(10)는, 디코딩되는 트리블록(treeblock)으로도 언급되는 매크로블록과 같은 화소 블록(30) 또는 코딩 유닛을 포함하여 구성되는, 하나 이상의 슬라이스(20, 22)를 포함하여 구성될 수 있다. 픽처(10, 40, 42, 50) 아래의 화살표는 디코딩 관계를 가리킨다. 현재 픽처(10)는 이전의 레퍼런스 픽처(40) 및 후속하는 레퍼런스 픽처(42)와 관련해서 디코딩된다. 출력 순서에 따라서 현재 픽처(10)에 관해서 선행하는 레퍼런스 픽처(40)는 선행하고, 후속하는 레퍼런스 픽처(42)는 후속하지만, 양쪽은 디코딩 순서에 따라서 현재 픽처(10)에 선행한다. 게다가, 이 후속하는 레퍼런스 픽처(42)는 비디오 스트림(1) 내의, 디코딩 순서에 따라서, 후속하는 픽처(50)에 대한 레퍼런스 픽처로서 사용된다.
옵션이지만 바람직한 도 2의 단계 S2가 이하 더 기술된다.
다음 단계 S3은 단계 S1에서 검색된 버퍼 디스크립션 정보를 사용해서 획득된 버퍼 디스크립션을 사용해서, 버퍼 디스크립션에 의해 규정된 레퍼런스 픽처를 식별하는 픽처 식별자를 결정한다. 실시형태에 따라서, 레퍼런스 픽처의 픽처 식별자는, 레퍼런스 픽처에 대한 버퍼 디스크립션으로부터 검색된 픽처 식별자 정보 및, 버퍼 디스크립션 내의 리스트 순서에 따라서 레퍼런스 픽처를 선행하는 레퍼런스 픽처에 대해서 버퍼 디스크립션으로부터 검색된 픽처 식별자 정보에 기반해서, 단계 S3에서 결정된다.
그러므로, 버퍼 디스크립션에 의해 규정된 주어진 레퍼런스 픽처의 픽처 식별자가, 버퍼 디스크립션에 의해 규정된 적어도 하나의 선행하는 레퍼런스 픽처의 픽처 식별자 정보에 대해서 결정된다. 이 선행하는 레퍼런스 픽처는, 또는 이들 선행하는 레퍼런스 픽처는, 버퍼 디스크립션 내에서 규정된 리스트 순서에 따라서 주어진 레퍼런스 픽처에 선행한다. 그러므로, 버퍼 디스크립션은 리스트 순서로 레퍼런스 픽처를 리스트 또는 식별한다. 그러므로, 본 실시형태는, 버퍼 디스크립션으로부터 검색된 주어진 레퍼런스 픽처의 픽처 식별자 정보만 아니라, 소정의 선행하는 레퍼런스 픽처(들)의 픽처 식별자 정보도 사용한다.
특정 실시형태에 있어서, 버퍼 디스크립션은 레퍼런스 픽처의 적어도 하나의 리스트를 규정한다. 이 경우, 단계 S3은, 바람직하게는, 각각의 적어도 하나의 리스트 내의 레퍼런스 픽처의, 리스트 순서에 따른, 제1의 레퍼런스 픽처를 제외한, 적어도 하나의 리스트의 각각의 레퍼런스 픽처에 대해서 수행된다. 이는, 개략적으로, 도 2의 라인 L1으로 도시된다. 리스트 순서에 따른 제1레퍼런스 픽처는, 이하 더 상세히 기술되는 단계 S2에서 결정된 자체의 픽처 식별자를 갖는다. 따라서, 버퍼 디스크립션이 리스트 내의 N 레퍼런스 픽처의 리스트를 규정하면, 단계 S3는, 바람직하게는 N-1회 수행된다.
현재 픽처의 버퍼 디스크립션에 의해 규정된 레퍼런스 픽처의 픽처 식별자가 단계 S3(및 단계 S2)에서 결정되면, 본 방법은 단계 S4로 계속되는데, 여기서 디코딩된 픽처 버퍼는 디코더에서 결정된 픽처 식별자에 기반해서 갱신된다.
그러므로, 현재 픽처의 버퍼 디스크립션을 사용해서 결정된 픽처 식별자는, 디코딩된 픽처 버퍼를 갱신하기 위해서 사용되어, 비디오 스트림의, 현재 픽처 및/또는 디코딩 순서에 따른, 후속하는 픽처를 디코딩하기 위해서 필요한 정확한 레퍼런스 픽처를 기억 및 포함하여 구성된다. 이 디코딩은 본 기술 분야에서 널리 공지되며, 전형적으로 인터 예측 및 모션 벡터 디코딩을 사용한다.
디코딩된 픽처 버퍼가 갱신되어 현재 픽처를 디코딩하기 위해 필요한 정확한 레퍼런스 픽처를 포함하여 구성되면, 픽처는, 디코딩된 픽처 버퍼 내에 포함, 존재 또는 기억된 픽처 및 적어도 하나의 레퍼런스 픽처의 인코딩된 표현에 기반해서 디코딩되고, 픽처의 인코딩된 표현을 반송하는 버퍼 디스크립션 정보에 기반해서 식별된다.
단계 S4의 디코딩된 픽처 버퍼의 갱신은, 바람직하게는, 결정된 픽처 식별자에 의해 식별된 레퍼런스 픽처가, 이 레퍼런스 픽처가 현재 픽처 및/또는 소정의 후속하는 픽처에 대한 디코딩 레퍼런스 또는 예측으로서 사용되는 것을 가리키기 위해서, "레퍼런스용으로 사용"으로 마크되거나 또는 "예측용으로 사용"으로 마크되는 것을 시사한다. 특정 실시형태에 있어서, 레퍼런스 픽처는 단기간 레퍼런스용으로 사용으로서 또는 장기간 레퍼런스용으로 사용으로서 마크될 수 있다.
디코딩된 픽처 버퍼가, 현재 픽처의 버퍼 디스크립션에 의해 규정되지 않은 레퍼런스 픽처를 포함하여 구성되고, 그러므로 단계 S2 및 S3에서 결정된 픽처 식별자와 다른 픽처 식별자를 갖는 것이 가능하게 될 수 있다. 일실시형태에 있어서, 디코딩된 픽처 버퍼 내에서 이용 가능하지만 버퍼 디스크립션 내에 포함되지 않는 픽처가, 디코딩된 픽처 버퍼로부터 디코더에 의해 제거되거나 또는 "레퍼런스용으로 사용되지 않는" 또는 "예측용으로 사용되지 않는"으로서 마크된다. 따라서, 이 실시형태에 있어서, 디코딩된 픽처 버퍼로부터 레퍼런스 픽처를 제거하는 것 또는 픽처를 "레퍼런스용으로 사용되지 않는"으로서 마크하는 것이, 디코딩된 픽처 버퍼를 갱신하는 부분으로서 그러므로 현재 픽처의 비디오 패이로드를 디코딩하는데 앞서서, 디코더에 의해 수행된다.
부가적인 실시형태에 있어서는, 버퍼 디스크립션에 따라서 디코더에 의해 레퍼런스용으로 사용되지 않는으로서 마크된 제로 이상의 픽처가, 디코더에 의해 디스플레이하기 위해 출력된다. 출력을 위한 하나의 이러한 예의 처리는, H.264/MPEG-4 AVC로부터의 범핑 처리이다. 출력은, 본 명세서에서는 디스플레이하기 위한 출력으로 언급된다. 레퍼런스 픽처로서 사용하기 위한 픽처 및, 예를 들어 디스플레이에 출력하기 위한 픽처는, H.264 및 HEVC로 분리된다. 이는, 픽처가, 레퍼런스 픽처로서 제거, 예를 들어 레퍼런스용으로 사용되지 않는으로서 마크되기 전에 출력될 수 있고 또는, 출력되기 전에 레퍼런스용으로 사용되지 않는으로서 마크됨으로써 레퍼런스 프레임으로서 제거될 수 있는 것을, 의미한다.
단계 S3과 연관해서 상기 논의된 바와 같이, 레퍼런스 픽처의 픽처 식별자는, 관련 레퍼런스 픽처에 대한 버퍼 디스크립션으로부터 검색된 픽처 식별자 정보에 기반하고 또한, 버퍼 디스크립션 내의 리스트 순서에 따른, 관련 레퍼런스 픽처를 선행하는 소정의 레퍼런스 픽처에 대한 픽처 식별자 정보에 기반해서, 결정된다.
물론, 픽처의 인코딩된 표현으로부터 단계 S1에서 검색된 버퍼 디스크립션으로부터 식별된 버퍼 디스크립션에 의해 규정된 리스트 순서에 따른 제1레퍼런스 픽처는, 버퍼 디스크립션 내의 리스트 순서에 따른 제1레퍼런스 픽처에 선행하는 소정의 레퍼런스 픽처를 포함하여 구성되지 않는다.
도 2의 단계 S2는 버퍼 디스크립션 정보에 기반해서 어떻게 이 제1레퍼런스 픽처의 픽처 식별자를 결정하는지의 실시형태를 규정한다. 단계 S2는 제1레퍼런스 픽처의 픽처 식별자를, 제1레퍼런스 픽처에 대한 버퍼 디스크립션으로부터 검색된 픽처 식별자 정보에 기반해서, 그리고 디코딩되는 현재 픽처의 픽처 식별자에 기반해서 결정한다. 그러므로, 버퍼 디스크립션으로부터 획득된 픽처 식별자 정보는 현재 픽처의 실재의 픽처 식별자와 결합해서, 리스트 순서에 따른 제1레퍼런스 픽처의 픽처 식별자를 얻게 한다.
특정 실시형태에 있어서, 버퍼 디스크립션은, 레퍼런스 픽처의 다중의, 예를 들어 적어도 2개의 리스트를 규정할 수 있는데, 이는 이하 더 논의된다. 이 경우, 각각의 이러한 리스트는, 각각의 리스트 순서에 따른 각각의 제1레퍼런스 픽처를 갖는다. 그 다음, 단계 S2는, 바람직하게는 각각의 리스트 내의 제1레퍼런스 픽처의 픽처 식별자를 결정한다. 그러므로, 제1픽처 식별자의 픽처 식별자를 결정하는 특정 실시형태에 관해서 이하 제공되는 논의는, 각각의 리스트 내의 각각의 제1레퍼런스 픽처에 대해서 적용될 수 있다.
도 5는 제1픽처 식별자를 결정하는 특정 실시형태를 도시하는 흐름도이다. 본 방법은 도 2의 단계 S1으로부터 계속되어, 단계 S10으로 계속된다. 이 단계 S10은 버퍼 디스크립션으로부터 제1레퍼런스 픽처에 대한 델타 픽처 식별자 및 사인 식별자(sign identifier)를 검색한다. 본 명세서에서, absolute_delta_poc(0)는 델타 픽처 식별자를 나타내고 사인(sign)은 사인 식별자를 나타낸다. 사인 식별자는, 레퍼런스 픽처가 비디오 스트림 내의, 그리고 픽처의 출력 순서에 관해서, 현재 픽처를 0에 관한 오름 또는 내림 순서인지를 가리킨다. 따라서, 사인 식별자가 "+"를 가리키면, 레퍼런스 픽처는 출력 순서에 따라서 현재 픽처를 뒤따르지만 디코딩 순서로 현재 픽처에 선행하는 한편, "-"를 가리키는 사인 식별자는 출력 순서 및 디코딩 순서에 따라서 현재 픽처에 선행하는 것을 가리킨다.
다음 단계 S11은, 제1레퍼런스 픽처의 픽처 식별자를, 델타 식별자, 사인 식별자 및, 본 명세서에서 POC(currPic)로 표시되는 현재 픽처의 픽처 식별자에 기반해서, 계산한다. 그 다음, 본 방법은 도 2의 단계 S3으로 계속되는데, 여기서 버퍼 디스크립션에 의해 규정된 나머지 레퍼런스 픽처의 픽처 식별자가 결정될 수 있다.
도 6은 도 5의 단계 S11의 특정 실시형태 및 도 2의 단계 S3의 특정 실시형태를 도시한 흐름도이다. 본 방법은 도 5의 단계 S10으로부터 계속된다. 다음 단계 S20은, 파라미터 deltaPOC(0)를 deltaPOC(0) = sign × absolute_delta_poc(0)로서 계산한다. 그 다음, 제1레퍼런스 픽처의, 픽처 식별자, POC(0)는 단계 S21에서 POC(0) = POC(currPic) + deltaPOC(0)로서 계산된다.
뒤따르는 단계 S22 내지 S24는, 버퍼 디스크립션으로 규정된, 예를 들어 제1이 아닌 레퍼런스 픽처인 소정의 나머지 레퍼런스 픽처에 대한 픽처 식별자를 결정하는 실시형태를 도시한다. 이들 단계 S22 내지 S24는, 버퍼 디스크립션 내의 레퍼런스 픽처의 각각의 리스트에 대해서 수행된다.
단계 S22는 현재 리스트 내의 제1레퍼런스 픽처를 제외한 버퍼 디스크립션에 의해 규정된 각각의 레퍼런스 픽처 번호 i에 대한 버퍼 디스크립션으로부터, 각각의 델타 픽처 식별자, absolute_delta_poc(i)를 검색한다. 후속하는 단계 S23은, 파라미터 deltaPOC(i)를, 리스트가 레퍼런스 픽처를 오름 순서로 규정하면, deltaPOC(i) = deltaPOC(i-1) + absolute_delta_poc(i)로서 또는, 리스트가 레퍼런스 픽처를 내림 순서로 규정하면, deltaPOC(i) = deltaPOC(i-1) - absolute_delta_poc(i)로서 계산한다. 특정 실시형태에 있어서, 인코더 및 디코더는, 바람직하게는, 오름 또는 내림 순서를 사용하기 위해서 모두 사전 구성된다.
최종적으로 단계 S24는, 레퍼런스 픽처 번호 i의 픽처 식별자, POC(i)를 POC(i) = POC(currPic) + deltaPOC(i)로서 계산한다. 따라서, 버퍼 디스크립션 내에 규정된 레퍼런스 픽처의 픽처 식별자는, 레퍼런스 픽처에 대한 버퍼 디스크립션으로부터 검색된 델타 픽처 식별자 absolute_delta_poc(i)에 의해 이 실시형태에서 표현된 픽처 식별자 정보에 기반해서 그리고, 리스트 순서에 따른 선행하는 레퍼런스 픽처에 대한 버퍼 디스크립션으로부터 검색된 픽처 식별자 정보에 기반해서, 결정된다. 특정 실시형태에 있어서, 픽처 식별자는, 또한 디코딩되는 현재 픽처의 픽처 식별자, 예를 들어 POC(currPic)에 기반해서 결정된다. 따라서, 픽처 식별자, POC(i)의 일반적인 공식은,
Figure 112014006609145-pct00001
이고,
여기서 "+"와 "-" 간의 선택은 사인(sign)의 값에 의존한다.
단계 S22 내지 S24는 제1레퍼런스 픽처를 제외한 리스트 내의 각각의 레퍼런스 픽처에 대해서 수행되는데, 이는 개략적으로 라인 L2으로 도시한다. 그 다음, 본 방법은, 도 2의 단계 S4로 계속된다.
단계 S20 내지 S24의 순서는 도 6에 나타낸 것과 다를 수 있다. 일실시형태에 있어서, 본 방법은 단계 S22, S23으로 형성된 루프가 수반되는 단계 S20을 먼저 수행한다. 최종적으로, 픽처 식별자가 단계 S21 및 S24의 처리를 결합하는 제1 및 모든 뒤따르는 레퍼런스 픽처에 대해서 계산된다.
상기된 실시형태에 있어서, 버퍼 디스크립션 내의 레퍼런스 픽처는 오름 또는 내림의 deltaPOC 순서로 순서가 배열된다. deltaPOC의 사인은, 바람직하게는 제1레퍼런스 픽처에 대해서만 시그널링되고, 델타 픽처 식별자, absolute_delta_poc는 버퍼 디스크립션 내의 선행하는 레퍼런스 픽처에 대해서 시그널링된다. 버퍼 디스크립션 내의 제1레퍼런스 픽처는, absolute_delta_poc는 현재 픽처에 대해서 시그널링된다.
이 실시형태에 있어서, 디코더는, 사인 식별자에 기반해서, 버퍼 디스크립션 내의 제1레퍼런스 픽처의 사인을 디코딩한다. 그 다음, 디코더는 현재 픽처에 대해서 제1레퍼런스 픽처의 absolute_delta_poc를 디코딩한다. 그 다음, 제1레퍼런스 픽처에 대한 deltaPOC가 계산된다. 디코더는, 1(제1레퍼런스 픽처가 인덱스 0을 가지면)로부터 버퍼 디스크립션의 엔드로, 예를 들어 NrOfPicturesInBufferDescription-1로의 범위 내의 인덱스 i를 갖는 버퍼 디스크립션 내의 모든 나머지 픽처에 대해서 absolute_delta_poc을 디코딩함으로써 계속되고, 상기된 바와 같이 현재 픽처에 대해서 deltaPOC를 계산한다.
특정 실시형태에 있어서, 인코딩된 픽처의 인코딩된 표현으로부터 도 2의 단계 S1에서 검색된 버퍼 디스크립션 정보는, 레퍼런스 픽처의 제1리스트 및 레퍼런스 픽처의 제2리스트를 규정하는 버퍼 디스크립션을 식별한다.
따라서, 이 실시형태에 있어서, 버퍼 디스크립션은 레퍼런스 픽처의 2개의 리스트의 연속으로 구성된다. 한 리스트는 양의 deltaPOC를 갖는 레퍼런스 픽처를 포함하고, 한 리스트는 음의 deltaPOC를 갖는 픽처를 포함한다. 양쪽 리스트들은, 바람직하게는 델타 픽처 식별자, absolute_delta_poc에 의해, 오름 순서로 순서가 배열되고, 델타 픽처 식별자의 값은 대응하는 리스트 내의 선행하는 레퍼런스 픽처에 대해서 시그널링된다.
이 실시형태에 있어서, 디코더는 2개의 리스트를 디코딩하는데, 리스트 A 및 리스트 B로 이하 표시되며, 각각은 제로 이상의 픽처 델타 식별자, absolute_delta_poc를 포함할 수 있다. 양쪽 리스트 내의 각각의 인덕스에 대해서, 값 absolute_delta_poc는 파싱(parsed)된다.
도 7은 본 실시형태에 따른, 도 2의 단계 S2 및 S3의 실행을 도시하는 흐름도이다. 본 방법은 도 7의 단계 S1으로부터 계속된다. 단계 S30은, 디코딩되는 현재 픽처의 픽처 식별자와 제1리스트 내의 제1레퍼런스 픽처에 대한 버퍼 디스크립션으로부터 검색된 델타 픽처 식별자 사이의 차이에 기반해서, 제1리스트 내의 제1레퍼런스 픽처를 식별하는 픽처 식별자를 계산한다. 대응해서, 단계 S31은, 현재 픽처의 픽처 식별자와 제2리스트 내의 제1레퍼런스 픽처에 대한 버퍼 디스크립션으로부터 검색된 델타 픽처 식별자의 합에 기반해서, 제2리스트 내의 제1레퍼런스 픽처를 식별하는 픽처 식별자를 계산한다.
특정 실시형태에 있어서, 단계 S30은 POCA(0) = POC(currPic) - absolute_delta_pocA(0)를 계산하고, 단계 S31은 POCB(0) = POC(currPic) + absolute_delta_pocB(0)를 계산한다. 이 실시형태에 있어서, 델타 픽처 식별자 absolute_delta_pocA(0) 및 absolute_delta_pocB(0)는 언사인된 값, 예를 들어 음이 아닌 값이다. 대안적인 실시형태에 있어서, 델타 픽처 식별자는 사인된 값이 될 수 있다. 이 경우, 제1리스트 내의 제1레퍼런스 픽처의 델타 픽처 식별자는, 바람직하게는 양이 아닌 값인 반면, 제2리스트 내의 제1레퍼런스 픽처의 델타 픽처 식별자는 바람직하게는 음이 아닌 값이다. 그 다음, 단계 S30은 POCA(0) = POC(currPic) + absolute_delta_pocA(0)를 계산하고, 단계 S31은 POCB(0) = POC(currPic) + absolute_delta_pocB(0)를 계산한다.
단계 S30 및 S31은 직렬로 소정의 순서로 수행될 수 있는데, 예를 들어 단계 S30이 먼저 그 다음 단계 S31이 수행되거나 단계 S31이 먼지 그 다음 단계 S30이 수행될 수 있다. 대안적으로, 2개의 단계 S30 및 S31이 적어도 부분적으로 병렬로 수행될 수 있다.
다음 단계 S32 및 S33은 2개의 리스트 내의 나머지 레퍼런스 픽처에 대한 픽처 식별자를 계산한다.
실시형태에 있어서, 단계 S32는, 제1리스트 내의 선행하는 레퍼런스 픽처의 픽처 식별자와 레퍼런스 픽처에 대한 버퍼 디스크립션으로부터 검색된 언사인된 델타 픽처 식별자 간의 차이에 기반해서, 제1리스트 순서에 따라서, 제1리스트 내의 제1레퍼런스 픽처를 제외한 제1리스트 내의 각각의 레퍼런스 픽처에 대해서 픽처 식별자를 계산한다. 대응해서, 단계 S33은, 제2리스트 내의 선행하는 레퍼런스 픽처의 픽처 식별자와 레퍼런스 픽처에 대한 버퍼 디스크립션으로부터 검색된 언사인된 델타 픽처 식별자의 합에 기반해서, 제2리스트 순서에 따른 제2리스트 내의 제1레퍼런스 픽처를 제외한 제2리스트 내의 각각의 레퍼런스 픽처에 대해서 픽처 식별자를 계산한다. 제1리스트 순서는, 바람직하게는 감소하는 픽처 식별자 값 형태인 반면, 제2리스트 순서는 바람직하게는 증가하는 픽처 식별자 값 형태이다. 예를 들어, 픽처 식별자가 출력 순서를 가리키면, 제1리스트 내의 레퍼런스 픽처는 현재 픽처에 앞서서 디스플레이를 위해 출력되는 한편, 제2리스트 내의 레퍼런스 픽처는 현재 픽처 다음에 디스플레이를 위해 출력된다. 그 다음, 제1리스트 내의 레퍼런스 픽처는, 픽처 식별자 값에 대해서 내림의 리스트 순서로 배열되고, 제2리스트 내의 레퍼런스 픽처는 픽처 식별자 값에 대해서 내림의 리스트 순서로 배열된다.
단계 S32의 특정 실시형태는, 제1리스트 내의 픽처 번호 i에 대한 픽처 식별자, POCA(i)를, POCA(i) = POCA(i-1) - absolute_delta_pocA(i)로서 계산한다. 대응해서, 단계 S33은 제2리스트 내의 픽처 번호 i에 대한 픽처 식별자, POCB(i)를, POCB(i) = POCB(i-1) + absolute_delta_pocB(i)로서 계산한다.
대안적인 실시형태에 있어서, 버퍼 디스크립션으로부터 검색된 델타 픽처 식별자는 사인된 델타 픽처 식별자이다. 특정 실행에 있어서, 제1세트 내의 레퍼런스 픽처에 대한 델타 픽처 식별자는 바람직하게는 양이 아닌 값을 갖고, 제2세트 내의 레퍼런스 픽처에 대한 델타 픽처 식별자는 바람직하게는 넌-제로 값을 갖는다.
본 실시형태에 따른 단계 S32의 실행은, 제1리스트 내의 선행하는 레퍼런스 픽처의 픽처 식별자와 레퍼런스 픽처에 대한 버퍼 디스크립션으로부터 검색된 사인된 델타 식별자의 합에 기반해서, 제1리스트 내의 제1레퍼런스 픽처를 제외한 제1리스트 내의 각각의 레퍼런스 픽처에 대해서 픽처 식별자를 계산한다. 바람직하게는, 픽처 식별자는 단계 S32에서, POCA(i) = POCA(i-1) + absolute_delta_pocA(i)로서 계산된다. 대응해서, 단계 S33은, 제2리스트 내의 선행하는 레퍼런스 픽처의 픽처 식별자와 레퍼런스 픽처에 대한 버퍼 디스크립션으로부터 검색된 사인된 델타 픽처 식별자의 합에 기반해서, 제2리스트 내의 제1레퍼런스 픽처를 제외한 제2리스트 내의 각각의 레퍼런스 픽처에 대해서 픽처 식별자를 계산한다. 이 픽처 식별자는, 바람직하게는 단계 S33에서, POCB(i) = POCB(i-1) + absolute_delta_pocB(i)로서 계산된다.
상기 언급된 제1 또는 제2리스트 내의 선행하는 레퍼런스 픽처의 픽처 식별자는, 바람직하게는, 주어진 레퍼런스 픽처가 번호 i를 가지면, 가장 근접한 선행하는 레퍼런스 픽처, 예를 들어 레퍼런스 픽처 번호 i-1의 픽처 식별자이다.
단계 S32 및 S33은, 상기된 바와 같이, 바람직하게는 제1 및 제2리스트 내의 제1픽처를 제외한 제1 및 제2리스트 내의 각각의 레퍼런스 픽처에 대해서 수행되는데, 이는 개략적으로 도 7의 라인 L3 및 L4로 가리켜진다. 따라서, 단계 S32는, 바람직하게는 인덱스 i마다, 1로부터 NrOfValuesInListA-1(인덱스 0이 제1리스트 내의 제1레퍼런스 픽처를 가리키면)로의 범위에서 수행되고, 단계 S33은 바람직하게는 인덱스 i마다, 1로부터 NrOfValuesListB-1(인덱스 0이 제2리스트 내의 제1레퍼런스 픽처를 가리키면)로의 범위에서 수행된다.
단계 S32 및 S33은 소정의 직렬 순서로 또는 실제로 적어도 부분적으로 병렬로 수행될 수 있다. 그 다음, 본 방법은 도 2의 단계 S4로 계속되는데, 여기서 디코딩된 픽처 버퍼가, 단계 S30 내지 S33에서 계산된 픽처 식별자에 기반해서 갱신된다.
일실시형태에 있어서, 제1리스트와 관련되는 단계 S30 및 S32는 서브-처리를 구성하고, 제2단계와 관련되는 단계 S31 및 S33은 서브-처리를 구성한다. 그 다음, 2개의 서브-처리는 직렬로 소정의 순서로 또는 적어도 부분적으로 병렬로 수행될 수 있다.
버퍼 디스크립션 내의 리스트 순서(들)에 따른 선행하는 레퍼런스 픽처에 대한 픽처 식별자를 인코딩 및 디코딩함으로써, 버퍼 디스크립션 내의 레퍼런스 픽처를 시그널링하는 상기된 실시형태는, 특히 가변 길이 코딩과 관련해서 적합할 수 있다. 이러한 접근에 있어서, 델타 픽처 식별자와 같은 낮은 값의 픽처 식별자 정보는, 일반적으로, 더 높은 값의 픽처 식별자 정보와 비교해서, 심볼 또는 비트로, 짧은 코드워드에 의해 표현된다.
예를 들어, 현재 픽처는 48의 픽처 식별자를 갖고, 현재 픽처는 픽처 식별자 46, 47, 49 및 51을 갖는 4개의 레퍼런스 픽처를 참조로 인코딩되는 것을 상정하자. 또한, 가장 큰 가능한 값의 픽처 식별자가 255인 것을 상정하자. 고정된 길이 코딩이 적용되고, 서로에 대한 인코딩 픽처 식별자가 없으면, 4×8=32 비트가 이들 4개의 픽처 식별자를 시그널링하는데 요구된다. 대신, 가변 길이 코딩이 46, 47, 49 및 51을 표현하기 위해서 사용되면, 전체 32비트보다 더 긴 코드워드가 필요하게 된다. 도 7과 연관해서 상기된 실시형태가 언사인된 델타 픽처 식별자를 사용하면, 제1리스트는 델타 픽처 식별자 1, 1을 포함하게 되고, 제2리스트는 델타 픽처 식별자 1, 2를 포함하게 된다. 이들 값 1, 1, 1, 2는, 전체 1+1+1+3=6 비트와 같은, 32 비트보다 작은 비트를 사용해서 가변 길이 코드에 의해 효과적으로 인코딩될 수 있다. 이 유효 비트(significant bit) 감소는, 하나의 버퍼 디스크립션에 대해서만이다. 전형적인 비디오 스트림에 있어서는, 인코더로부터 디코더로 보내지는 수백 또는 수천의 버퍼 디스크립션이 있을 수 있다.
버퍼 디스크립션 내의 픽처 식별자의 상기된 시그널링은, 고정된 길이 코딩을 사용하는 것과 같이, 절대적인 방법으로, 적어도 하나의 픽처 식별자를 규정하는 리스트로 보충될 수 있다. 예를 들어, 버퍼 디스크립션은 상기 언급된 4개의 레퍼런스 픽처 46, 47, 49 및 51을 포함할 수 있고, 옵션으로 2와 같은 이들 4개의 레퍼런스 픽처의 픽처 식별자 값과 상당히 다른 픽처 식별자 값을 갖는 또 다른 레퍼런스 픽처를 포함할 수도 있다. 이 경우, 이는, 픽처 식별자가 현재 레퍼런스 픽처 및 리스트 내의 현재 픽처에 선행하는 소정의 레퍼런스 픽처에 대한 버퍼 디스크립션으로부터 검색된 픽처 식별자 정보에 기반해서 디코딩되는, 레퍼런스 픽처의 적어도 하나의 리스트를 포함하여 구성하기 위해서, 버퍼 디스크립션을 규정하기 위한 인코딩 시점으로부터, 더 효과적이 될 수 있다. 상기 나타낸 예에 있어서, 제1리스트는 레퍼런스 픽처 46 및 47을 규정하게 되고, 제2리스트는 레퍼런스 픽처 49 및 51을 규정하게 된다. 그 다음, 이 적어도 하나의 리스트(나타낸 예에 있어서는 2개의 리스트)는, 예에 있어서, 예를 들어 레퍼런스 픽처 2인 각각의 레퍼런스 픽처의 적어도 하나의 픽처 식별자를 포함하여 구성되는 리스트로 보충된다. 그 다음, 이 픽처 식별자는, 바람직하게는 고정된 길이 코드 내에 제공되고, 버퍼 디스크립션 내에 규정된 소정의 다른 레퍼런스 픽처에 대해서 인코딩되지 않는다.
대안적으로, 이 부가적인 리스트는 적어도 하나의 레퍼런스 픽처를 규정하고, 적어도 하나의 레퍼런스 픽처에 대한 각각의 델타 픽처 식별자를 규정한다. 그 다음, 이 델타 픽처 식별자는 현재 픽처의 픽처 식별자와 레퍼런스 픽처의 픽처 식별자 간의 차이를 계산함으로써, 획득된다. 그 다음, 이 적어도 하나의 델타 픽처 식별자는 버퍼 디스크립션 내의 부가적인 리스트 내에 제공되고, 바람직하게는 고정 길이 코드로 제공되거나 또는, 예를 들어 이전의 델타 픽처 식별자에 대해서 상기된 리스트와 유사하게 인코딩될 수 있다. 이 경우, 가변 길이 코드는, 비트를 세이브(save)하기 위해 적용될 수 있는 선택 모둘로 동작(selective modulo operation)과 함께 사용될 수 있다.
도 8은 상기 부가적인 리스트를 포함하여 구성되는 버퍼 디스크립션을 갖는 도 2의 방법의 부가적인 단계를 도시한 흐름도이다. 본 방법은 도 2의 단계 S3으로부터 계속된다. 다음 단계 S40은 각각의 레퍼런스 픽처의 적어도 하나의 픽처 식별자를 포함하여 구성되는 리스트를 제공한다. 이 단계 S40은, 픽처의 인코딩된 표현 내에 포함된 버퍼 디스크립션 정보로부터 리스트를 검색하기 위해서 실행될 수 있다. 대안적으로, 리스트는 픽처의 인코딩된 표현의 규정된 제어 정보 필드로부터 검색될 수 있다.
다음 단계 S41는 단계 S40에서 제공된 리스트를 사용해서 버퍼 디스크립션을 수정한다. 이는, 제공된 리스트 내에서 규정된 적어도 하나의 픽처 식별자가 수정된 또는 갱신된 버퍼 디스크립션을 형성하기 위해서 버퍼 디스크립션으로부터 결정된 픽처 식별자에 부가되는 것을, 시사한다.
그 다음, 본 방법은 단계 S4로 계속되는데, 여기서 디코딩된 픽처 버퍼는 수정된 버퍼 디스크립션을 기반으로 갱신된다.
절대적인 방법으로 코딩된 레퍼런스 픽처를 묘사하는 다른 리스트를 사용해서, 바람직하게는 고정된 길이 코딩을 사용해서, 버퍼 디스크립션을 수정하는 실시형태는, 버퍼 디스크립션이 델타 픽처 식별자의 높은 값을 갖는 레퍼런스 픽처를 포함하면, 버퍼 디스크립션에 대한 비트 레이트를 감소시킬 수 있다.
일실시형태에 있어서, 픽처의 인코딩된 표현으로부터 검색된 버퍼 디스크립션 정보는, 버퍼 디스크립션 자체를 포함할 수 있다. 그러므로, 이에 의해, 픽처의 인코딩된 표현은 버퍼 디스크립션에 의해 규정된 레퍼런스 픽처의, 델타 픽처 식별자와 같은 픽처 식별자 정보를 포함하여 구성된다.
그 다음, 이 버퍼 디스크립션은 인코더 및 디코더가 따르는 표준에 의해 명기된 슬라이스 헤더, 다른 픽처 헤더 또는 다른 데이터 구조를 포함할 수 있다. 일반적으로, 도 3에 나타낸 바와 같은 픽처(10)는 하나 이상의 슬라이스(20, 22)로 분해될 수 있는데, 여기서 각각의 슬라이스는 픽처(10)의 다른 슬라이스에 대해서 독립적으로 인코딩 및 디코딩 가능하다. 일실시형태에 있어서, 주어진 픽처의 각각의 슬라이스 헤더는 동일한 버퍼 디스크립션 정보를 포함하여 구성된다. 이는, 픽처의 슬라이스 중 하나의 비디오 패이로드 및 제어 정보를 반송하는 데이터 패킷이 인코더로부터 디코더로의 전송 중 손실되더라도, 픽처의 나머지 슬라이스는, 각각의 이러한 나머지 슬라이스가 버퍼 디스크립션 정보의 각각의 카피를 포함하여 구성되므로, 디코더에 의해 디코딩 가능하게 될 수 있는 것을, 의미한다.
다른 실시형태에 있어서, 픽처의 인코딩된 표현 내에 존재하는 버퍼 디스크립션 정보는, 현재 픽처의 버퍼 디스크립션과 반드시 동일하게 될 필요는 없지만, 대신 버퍼 디스크립션의 식별 및 검색을 가능하게 한다. 따라서, 이 실시형태에 있어서, 픽처의 인코딩된 표현 내에 존재하는 버퍼 디스크립션 정보는, 본 명세서에 개시된 바와 같이, 레퍼런스 픽처의 픽처 식별자의 계산을 가능하게 하는, 델타 픽처 식별자와 같은, 픽처 식별자 정보를 반송하는 버퍼 디스크립션을 향해 포인팅함으로써, 레퍼런스 픽처를 간접적으로 규정한다.
이 경우, 버퍼 디스크립션은 픽처의 인코딩된 표현(60)과 연관된 데이터 구조에 의해 반송될 수 있다(도 4 참조). 이러한 데이터 구조의 예는, 픽처 파라미터 세트(PPS: 67) 및 시퀀스 파라미터 세트(SPS: 68)를 포함한다. PPS(67) 및/또는 SPS(68)는 인코딩된 표현(60) 내에 직접적으로 포함될 수 있지만, 전형적으로는 인코딩된 표현(60) 내의 PPS 식별자 및/또는 SPS 식별자의 포함을 통해서 이에 연관된다. 예를 들어, 각각의 슬라이스 헤더(65)는, 그 PPS(67)가 현재 픽처에 대해서 적용되는 것을 통지하는 PPS 식별자를 포함할 수 있다. 관련 PPS(67)는, 차례로, 그 SPS(68)가 PPS(67)에 대해서 적용되고, 그러므로 현재 픽처에 대해서 적용되는 것을 통지하는 SPS 식별자를 포함할 수 있다.
그 다음, 버퍼 디스크립션은, 현재 픽처에 할당된 PPS(67) 또는 SPS(68) 내에 삽입될 수 있다. 이 경우, 인코딩된 표현(60) 내에 존재하는 PPS 식별자 또는 SPS 식별자는, 인코딩된 표현(60) 내에 존재하는 버퍼 디스크립션 정보를 구성한다. 그 다음, 이 PPS 식별자 또는 SPS 식별자는, 레퍼런스 픽처 및 PPS 식별자 또는 SPS 식별자를 규정하는, 그러므로 레퍼런스 픽처를 간접적으로 규정하는, 버퍼 디스크립션의 검색을 가능하게 한다.
PPS(67) 및 SPS(68)는 단지 픽처의 인코딩된 표현(60)과 연관되고, 본 실시형태에 따른 버퍼 디스크립션 정보를 반송하는데 사용될 수 있는 데이터 구조의 예를 구성한다.
PPS 및 SPS는, 전형적으로 비디오 스트림 내의 다중 픽처 사이에서 공유된다. 그러므로, PSS 및 SPS 내의 픽처의 버퍼 디스크립션을 시그널링하는 것은, 바람직하게는 각각의 레퍼런스 픽처를 각각 규정하는 다중의 사전 규정된 버퍼 디스크립션을 포함하여 구성되는, 테이블과 같은, 데이터 구조를 제공함으로써 수행된다.
그 다음, 생성된 데이터 구조의 각각의 버퍼 디스크립션은, 픽처 식별자가 현재 픽처의 픽처 식별자에 기반해서 그리고, 버퍼 디스크립션 내의 선행하는 레퍼런스 픽처의 픽처 식별자 정보에 기반해서 계산될 수 있는, 픽처 식별자 정보로, 본 명세서에 개시된 바와 같이, 레퍼런스 픽처를 규정한다.
데이터 구조는 인코더로부터 디코더로 시그널링된다. 이 시그널링은 다양한 실시형태에 따라서 수행될 수 있다. 데이터 구조는, PPS, SPS, 새로운 파라미터 세트 또는 인코더 및 디코더가 따르는 표준에 의해 명기된 다른 데이터 구조로 반송될 수 있다. 이 경우, 픽처의 인코딩된 표현은, 슬라이스 헤더 내에서와 같이, PPS 식별자 또는 SPS 식별자를 포함하여 구성된다. 버퍼 디스크립션 정보의 부분을 형성하는 이 PPS 식별자 또는 SPS 식별자는, 현재 픽처를 디코딩할 때, 이용 가능한 데이터 구조의 식별을 가능하게 한다.
데이터 구조의 어떤 버퍼 디스크립션이 현재 픽처에 대해서 사용되는 지를 명기하기 위해서, 버퍼 디스크립션 정보의 부분을 형성하는 식별자가 현재 픽처에 대해서 시그널링되고, 픽처의 인코딩된 표현 내에 포함된다. 일례의 이러한 식별자는, 버퍼 디스크립션이 데이터 구조 내에서 나타나는 순서로 버퍼 디스크립션의 번호를 나타내는 현재 픽처의 슬라이스 헤더(들) 내의 시그널링된, 음이 아닌 정수이다.
예를 들어, SPS 내의 버퍼 디스크립션 엔트리의 도입은, 슬라이스 헤더 내에서 버퍼 디스크립션의 시그널링의 비트 오버헤드를 명확하게 감소시킨다. 이들 버퍼 디스크립션은, 동일 시퀀스 내의 다중 슬라이스/픽처, 예를 들어 비디오 스트림에 대해서 사용될 수 있고, 따라서 픽처마다 요구되는 비트 수를 감소시킨다.
또 다른 실시형태에 따라서, 버퍼 디스크립션의 명확한 시그널링 및 상기 표 내의 엔트리와 같이, 다중의 사전 규정된 버퍼 디스크립션을 갖는 일반적인 데이터 구조 내의 엔트리에 대한 레퍼런스 시그널링은, 결합될 수 있다. 이 경우, 이들은 현재 픽처에 대한 최종 버퍼 디스크립션을 형성하기 위해 디코더에 의해 결합될 수 있다. 명확한 시그널링 및 레퍼런스 시그널링을 결합하는 하나의 방식은, 명확한 시그널링에 의해 기술된 레퍼런스 픽처의 세트와 레퍼런스 시그널링에 의해 기술된 레퍼런스 픽처의 세트를 접합해서, 레퍼런스 픽처의 접합 세트를 형성하는 것이다.
특정 실시형태에 있어서, 픽처의 인코딩된 표현은, 바람직하게는, 버퍼 디스크립션 정보의 명확한 시그널링 및/또는 버퍼 디스크립션 정보의 암시의 시그널링이 현재 픽처에 대해서 선택되었는지를 가리키는 플래그를 포함하여 구성된다. 이 플래그는, 예를 들어 픽처의 인코딩된 표현의 슬라이스 헤더 내에 또는 몇몇 다른 제어 정보 필드 내에 포함될 수 있다.
본 명세서에 실시형태에 있어서, 버퍼 디스크립션은 버퍼 디스크립션에 의해 규정된 레퍼런스 픽처에 대한 각각의 델타 픽처 식별자를 포함할 수 있다. 이러한 델타 픽처 식별자의 실시형태는, 이전에 논의된 파라미터 absolute_delta_poc이다. 대안적인 실시형태에 있어서, 파라미터 absolute_delta_poc는 레퍼런스 픽처의 델타 픽처 식별자에 기반해서 획득된다. 예를 들어, 레퍼런스 픽처에 대한 버퍼 디스크립션 내에 포함된 델타 픽처 식별자는, 파라미터 absolute_delta_poc_minus1이 될 수 있다. 그 다음, 이 파라미터 absolute_delta_poc는 absolute_delta_poc_minus1 + 1로서 획득된다. 그러므로, 본 실시형태는, 또한 파라미터 absolute_delta_poc가 파라미터 absolute_delta_poc_minus1 + 1 또는 유사한 변형을 갖는 개시된 공식으로 대체되는 경우도 포함한다. 그러면, 예를 들어, 공식 POCA(i) = POCA(i-1) - abslute_delta_pocA(i)는, POCA(i) = POCA(i-1) - (abslute_delta_poc_minus1A(i) + 1)로 대체된다.
도 9는 실시형태에 따른 레퍼런스 버퍼 방안의 단순화된 흐름도이다. 이 방안에 있어서, 모든 디코딩된 픽처 버퍼 동작은, 픽처의 제1슬라이스 헤더의 파싱 후지만 픽처 디코딩 전에, 도 9에 도시된 바와 같이 디코딩된 픽처 버퍼의 디스크립션을 사용해서, 적용된다. 버퍼 디스크립션은, 명확하게 또는 PPS 또는 SPS로 시그널링된 사전 규정된 데이터 구조에 대한 레퍼런스에 의해, 예를 들어 슬라이스 헤더로 시그널링된다.
이에 의해, 실시형태는 디코딩 처리에 대해서 큰 개념적인 변화를 제공한다. 통상적인 H.264/MPEG-4 AVC 및 이전 설계의 HEVC에 있어서는, 상대적인 동작은 디코더에 암시적으로, 예를 들어 슬라이딩 윈도우로, 또는 명확하게 MMCO로 제공하고, 디코더는 이들 상대적인 동작을 적용하고, 예를 들어 그 픽처가 레퍼런스용으로 사용될 수 있는 레퍼런스 픽처의 트랙을 유지하는 책임이 있다. 제안된 방안에 있어서는, 예를 들어 픽처가 레퍼런스용으로 사용될 수 있는 레퍼런스 픽처는, 슬라이스 헤더에서와 같이, 현재 픽처 내에서 시그널링되고, 따라서 암시적으로 및 명확하게 시그널링된 상대적인 동작의 필요를 제거한다.
이는, 각각의 픽처가, 델타 정보가 MMCO로부터 또는 슬라이딩 윈도우 처리를 사용해서 검색되는 H.264/MEPG-4 AVC에서와 같이, 상대적인 디스크립션 대신 레퍼런스 픽처의 절대적인 디스크립션을 갖게 되는 것을 의미한다.
특정 실시형태에 따라서, 버퍼 디스크립션은, 레퍼런스 픽처로서 사용되는 픽처에 대한 절대적인 레퍼런스를 제공하기 위해서, 디코딩된 픽처 버퍼 내에서 필요로 되는 모든 레퍼런스 픽처의 픽처 식별자 정보를 포함한다. 이 픽처 식별자 정보는, 본 명세서에서 이전에 논의된 바와 같이, 레퍼런스 픽처의 픽처 식별자를 계산하는데 사용된다.
버퍼 디스크립션의 부분이 아닌 디코딩된 픽처 버퍼 내의 모든 픽처는, 바람직하게는 레퍼런스용으로 사용되지 않는으로서 마크된다.
H.264/MPEG-4 AVC에 있어서, 출력을 위해 픽처를 전달하는 처리(도 1에서 "범핑" 처리로 언급됨)는, 예를 들어 frame_num 내에 갭이 있었으면, 때때로 디코딩에 앞서서 수행된다. 또한, "범핑" 처리는 디코딩 및 픽처 마킹 후에 수행된다.
도 9의 제안된 방안에 있어서, "범핑" 처리는 디코딩에 앞서서 적용된다. 이는, 출력을 위한 픽처의 전달 전에, 디코딩 처리에서 가외의 지연을 부가하는 것으로 주장될 수 있다. 그런데, 디코딩된 픽처 버퍼 내의 디스플레이되지 않은 픽처의 수가 num_reorder_frames보다 크거나 동일하게 되자마자, 디코딩 처리 단계 후, 디스플레이하기 위한 제1픽처가 이미 독특하게 규정되는 것을 주지해야 한다. 따라서, 디코더는 디코딩 처리 단계 후, 직접적으로 디스플레이하기 위해서 그 픽처를 전달할 수 있다. 따라서, 제안된 방안의 지연은 현재 HEVC 방안의 지연과 동일하다.
옵션의 접근에 있어서, 디코더는 버퍼 디스크립션으로 규정되지만 레퍼런스 픽처 내에 존재하지 않는 레퍼런스 픽처를 분실로서 결정할 수 있다. 옵션으로, 상쇄된 또는 존재하지 않는 픽처는, 그러면 버퍼 디스크립션에 기반해서 생성될 수 있고, 이에 의해 분실 픽처에 대해서 결정된 픽처 식별자를 상쇄된 또는 존재하지 않는 픽처에 할당한다.
상기 언급된 픽처 마킹 처리, 범핑 처리 및 존재하지 않는 픽처의 옵션의 생성은, 바람직하게는, 도 9에서 나타낸 바와 같이, 현재 픽처의 비디오 패이로드 데이터의 실재 디코딩에 앞서서 수행된다.
실시형태에 따른 픽처 식별자로서 사용될 수 있는 다양한 대안이 있게 된다. 예를 들어, 픽처 식별자는, 디코딩 순서 번호, 디스플레이 순서 번호, 출력 순서 번호 또는 디스플레이 순서 번호 및 부가적인 식별자의 결합 또는 픽처를 분명하게 식별하는데 사용될 수 있는 확실한 소정의 다른 정보가 될 수 있다.
이러한 픽처 식별자의 예는, 픽처 순서 카운트(POC: Picture Order Count), 프레임 번호(frame_num) 또는 POC 및 부가적인 식별자(additionl_picture_id)를 포함한다.
특정 실시형태에 있어서, 픽처 식별자의 실제 값은, 관련 레퍼런스 픽처를 분명하게 식별하기 위해서, 버퍼 디스크립션 내의 레퍼런스 픽처의 위치(리스트 순서 위치)와 같은, 부가적인 정보 또는 다른 데이터와 함께 사용된다. 그러므로, 버퍼 디스크립션 정보에 의해 식별된 또는 획득된 버퍼 디스크립션은 관련 레퍼런스 픽처의 분명한 식별을 가능하게 한다. 실시형태에 있어서, POC 또는 POC 플러스 부가적인 식별자와 같은 픽처 식별자 자체는, 레퍼런스 픽처를 분명하게 식별하는데 사용될 수 있다.
레퍼런스 픽처를 분명하게 식별하는 것은, 본 명세서에서, 버퍼 디스크립션이 레퍼런스 픽처를 규정하는 순서와 같은, 픽처 식별자 자체 또는 버퍼 디스크립션 정보 내의 다른 정보와 함께인 픽처 식별자가 레퍼런스 픽처를 명확하게 식별하는데 사용되는 것을, 나타내는데 사용된다. 그러므로, 픽처 식별자 또는 픽처 식별자 및 다른 정보가 주어지면, 비디오 스트림의 픽처 중 관련 레퍼런스 픽처의 식별이 가능하다.
도 10은 다중 픽처의 비디오 스트림의 픽처의 인코딩 방법을 도시한 흐름도이다. 본 방법은, 일반적으로 단계 S50에서 시작하는데, 여기서 비디오 스트림의 레퍼런스 픽처가 인코딩 레퍼런스로서 결정된다. 실시형태에 있어서, 단계 S50은, 인코딩되는 현재 픽처에 대한 인코딩 레퍼런스로서 사용되는 하나 이상의 레퍼런스 픽처를 결정한다. 그러므로, 그 다음, 현재 픽처의 화소 데이터가 하나 이상의 레퍼런스 픽처를 참조해서 인코딩된다. 대안적으로, 또는 부가적으로 단계 S50에서 결정된 적어도 하나의 레퍼런스 픽처는, 예를 들어 현재 픽처를 뒤따르는 인코딩 및 디코딩되는 픽처인 비디오 스트림의 후속하는 픽처에 대한 인코딩 레퍼런스로서 사용될 수 있다. 특정 실시형태에 있어서, S50은, 현재 픽처에 대해서, 비디오 스트림의 소정의 레퍼런스 픽처를 현재 픽처에 대한 인코딩 레퍼런스로서 그리고, 비디오 스트림의 소정의 레퍼런스 픽처를 후속하는 픽처에 대한 인코딩 레퍼런스로서 결정한다. 그러므로, 특정 실시형태에 있어서, 단계 S50은 디코딩 순서로 현재 픽처에 앞선 그리고, 현재 픽처에 대한 인터 예측을 위해서 사용될 수 있는 모든 레퍼런스 픽처 또는, 디코딩 순서에 따라서 현재 픽처를 뒤따르는 소정의 픽처를 결정한다.
다음 단계 S51은 단계 S50에서 결정된 레퍼런스 픽처의 각각의 레퍼런스 픽처에 대한 각각의 픽처 식별자를 제공한다. 픽처 식별자는, 가능하게는 다른 데이터와 함께 사용되어, 레퍼런스 픽처를 분명하게 식별한다. 그러므로, 픽처 식별자는 레퍼런스 픽처로서 사용되는 픽처에 대한 절대적인 레퍼런스로서 간주될 수 있다. 이는, 자체의 픽처 식별자 및 옵션으로 다른 데이터가 주어진 관련 레퍼런스 픽처를 정확하게 식별하는 것이 가능한 것을 의미한다.
바람직하게는, 단계 S51은 단계 S50에서 결정된 각각의 레퍼런스 픽처에 대해서 수행되는데, 이는 라인 L5로 개략적으로 도시된다.
단계 S51에서 제공된 픽처 식별자는 단계 S50에서 결정된 레퍼런스 픽처의 헤더 부분으로부터 판독될 수 있거나, 그렇지 않으면 단계 S50으로부터 레퍼런스 픽처를 나타내는 데이터로부터 검색될 수 있다.
버퍼 디스크립션의 각각의 리스트 내의 제1레퍼런스 픽처의 픽처 식별자 정보의 결정과 관련된 단계 S52가 이하 더 기술된다.
단계 S53은, 레퍼런스 픽처의 리스트 순서에 따른 제1레퍼런스 픽처를 제외한 단계 S50에서 결정된 레퍼런스 픽처의 적어도 부분의 각각의 레퍼런스 픽처에 대해서 수행된다. 상기된 바와 같이, 레퍼런스 픽처가 단일 리스트 내에 수립되면, 단계 S53는, 바람직하게는, 라인 L6으로 개략적으로 도시된 제1레퍼런스 픽처를 제외한 각각의 레퍼런스 픽처에 대해서 수행된다. 그런데, 레퍼런스 픽처가 다중 리스트로 수립되면, 단계 S53은, 바람직하게는 각각의 리스트 내의 각각의 제1레퍼런스 픽처를 제외한 각각의 레퍼런스 픽처에 대해서 수행된다.
단계 S53은, 레퍼런스 픽처를 식별하는 픽처 식별자에 기반해서 그리고, 리스트 순서에 따른 현재 리스트 내의 선행하는 레퍼런스 픽처를 식별하는 픽처 식별자에 기반해서, "제1이 아닌" 레퍼런스 픽처에 대한 픽처 식별자 정보를 결정한다.
다음 단계 S54는, 레퍼런스 픽처 세트(RPS: Reference Picture Set)로도 언급되는 버퍼 디스크립션의 정보를 생성한다. 이 정보는, 본 명세서에서 버퍼 디스크립션 정보를 나타낸다. 버퍼 디스크립션 정보는, 단계 S53(및 단계 S52)에서 결정된 픽처 식별자 정보에 기반해서 생성된다. 이 버퍼 디스크립션 정보는, 바람직하게는 단계 S50에서 결정된 레퍼런스 픽처 및, 이에 의해 단계 S51에서 제공된 픽처 식별자를 분명하게 규정한다. 그러므로, 버퍼 디스크립션 정보로부터 적어도 하나의 픽처 식별자를 도출하는 것이 가능하다.
생성된 버퍼 디스크립션 정보는 단계 S55에서 현재 픽처의 인코딩된 표현 내에 삽입된다. 그러므로, 인코딩된 픽처는, 현재 픽처 및/또는 비디오 스트림의 소정의 후속하는 픽처를 디코딩하는데 필요한 레퍼런스 픽처를 규정 및 식별하기 위해서 디코더에서 사용될 수 있는, 버퍼 디스크립션 정보를 반송한다.
단계 S50 내지 S55를 갖는 도 10의 방법은, 바람직하게는, IDR 픽처를 제외하고 비디오 스트림 내에서 각각의 픽처에 대해서 수행되어, 디코딩된 픽처 버퍼를 리프레시하게 하며, 이에 의해 소정의 버퍼 디스크립션 정보를 필요로 하지 않게 된다.
도 10의 단계 S52는 제1레퍼런스 픽처에 대해서 또는 버퍼 디스크립션 내의 리스트마다 각각의 제1레퍼런스 픽처에 대해서 픽처 식별자 정보를 결정한다. 픽처 식별자 정보는, 제1레퍼런스 픽처를 식별하고 단계 S51에서 제공된 픽처 식별자 및 인코딩되는 현재 픽처의 픽처 식별자에 기반해서, 결정된다.
도 11은 도 10의 이 단계 S52 및 다음 단계 S53의 특정 실시형태를 도시한 흐름도이다. 본 방법은 도 10의 단계 S51로부터 계속된다. 다음 단계 S60은, 제1레퍼런스 픽처의 픽처 식별자와 현재 픽처의 픽처 식별자 간의 차이에 기반해서, 델타 값을 계산한다. 다음 단계 S61은 델타 값의 절대 값에 기반해서 델타 픽처 식별자를 결정하고, 단계 S62는 델타 값의 사인에 기반해서 사인 식별자를 결정한다. 이에 의해, 제1레퍼런스 픽처의 픽처 식별자 정보는 델타 픽처 식별자 및 사인 식별자를 포함하여 구성된다. 따라서, 실시형태에 있어서 deltaPOC(0) = POC(0) - POC(currPic)이고 absolute_delta_poc = |deltaPOC(0)|이며, 사인(sign)은 sign(deltaPOC(0))를 나타낸다.
단계 S63은 제1레퍼런스 픽처를 제외한 각각의 레퍼런스 픽처(각각의 리스트 내의)에 대한 델타 값을 계산한다. 이 델타 값은, 레퍼런스 픽처의 픽처 식별자와 리스트 순서에 따른 선행하는 레퍼런스 픽처(리스트 내의)를 식별하는 픽처 식별자 간의 차이에 기반해서, 계산된다. 특정 실시형태에 있어서, 이 델타 값은 레퍼런스 픽처 번호 i에 대해서 deltaPOC(i) = POC(i)-POC(i-1)로서 계산된다.
다음 단계 S64는 레퍼런스 픽처에 대한 델타 픽처 식별자를 결정한다. 이 델타 픽처 식별자는, 단계 S63에서 계산된 델타 값과 리스트 순서에 따른 선행하는 레퍼런스 픽처에 대해서 결정된 델타 픽처 식별자 간의 차이에 기반해서, 또는 델타 값과 리스트 순서에 따른 선행하는 레퍼런스 픽처에 대해서 결정된 델타 픽처 식별자의 합에 기반해서, 결정된다. 차이 또는 합의 사용 간의 선택은, 실시형태에 있어서, 인코더 및 디코더가 오림 또는 내림 순서로 레퍼런스 픽처를 수립하도록 구성되는지에 의존한다. 따라서, 실시형태에 있어서 absolute_delta_poc(i) = deltaPOC(i)±absolute_delta_poc(i-1)이다.
따라서, 단계 S63 및 S64가 각각의 제1레퍼런스 픽처를 제외한 리스트마다 각각의 레퍼런스 픽처에 대해서 수행되는데, 이는 라인 L7로 개략적으로 도시한다.
그 다음, 본 방법은 도 10의 단계 S54로 계속된다.
도 12는 도 10의 단계 S51-S53의 특정 실시형태를 도시한 흐름도이다. 본 방법은 도 10의 단계 S50으로부터 계속된다. 다음 단계 S70은, 출력 순서와 같은 규정된 순서에 따른 현재 픽처에 선행하는 도 10의 단계 S50에서 결정된 소정의 레퍼런스 픽처를 식별하는 픽처 식별자의 제1리스트를 제공한다. 대응해서, 단계 S71은, 규정된 순서에 따른 현재 픽처에 뒤따르는 도 10의 단계 S50에서 결정된 소정의 레퍼런스 픽처를 식별하는 픽처 식별자의 제2리스트를 제공한다. 따라서, 단계 S70은 제1리스트 내의 다수의 엘리먼트, 예를 들어 픽처 식별자를 제공하고, 대응해서 단계 S71은 제2리스트 내의 다수의 엘리먼트를 제공한다.
단계 S70 및 S71은, 소정의 순서로 후속해서 또는 적어도 부분적으로 병렬로 수행될 수 있다.
다음 단계 S72는, 현재 픽처의 픽처 식별자와 제1리스트 내의 제1레퍼런스 픽처의 픽처 식별자 간의 차이에 기반해서, 제1리스트 내의 제1레퍼런스 픽처에 대한 델타 픽처 식별자를 결정한다. 특정 실시형태에 있어서, 단계 S72는 absolute_delta_pocA(0) = POC(currPic) - POCA(0)를 결정한다. 대응해서, 단계 S73은, 제2리스트 내의 제1레퍼런스 픽처의 픽처 식별자와 현재 픽처의 픽처 식별자 간의 차이에 기반해서, 제2리스트 내의 제1레퍼런스 픽처 식별자에 대한 델타 픽처 식별자를 결정한다. 특정 실시형태에 있어서, 단계 S73은 absolute_delta_pocB(0) = POCB(0) - POC(currPic)를 결정한다.
단계 S72 및 S73은, 소정의 순서로 후속해서 또는 적어도 부분적으로 병렬로 수행될 수 있다.
단계 S74는 제1리스트 내의 제1레퍼런스 픽처를 제외한 제1리스트 내의 각각의 나머지 레퍼런스 픽처에 대해서 수행되는데, 이는 라인 L8로 개략적으로 도시된다. 단계 S74는, 제1리스트 순서에 따른 제1리스트 내의 선행하는 레퍼런스 픽처의 픽처 식별자와 레퍼런스 픽처의 픽처 식별자 간의 차이에 기반해서, 델타 픽처 식별자를 결정한다. 특정 실시형태에 있어서, 단계 S74는 absolute_delta_pocA(i) = POCA(i-1) - POCA(i)를 결정한다. 대응해서, 단계 S75는 제2리스트 내의 제1레퍼런스 픽처를 제외한 제2리스트 내의 각각의 나머지 레퍼런스 픽처에 대해서 수행되는데, 이는 라인 L9로 개략적으로 도시된다. 단계 S75는, 현재 픽처를 식별하는 픽처 식별자와 제2리스트 순서에 따른 제2리스트 내의 선행하는 레퍼런스 픽처의 픽처 식별자 간의 차이에 기반해서, 델타 픽처 식별자를 결정한다. 특정 실시형태에 있어서, 단계 S75는 absolute_delta_pocB(i) = POCB(i) - POCB(i-1)를 결정한다. 그 다음, 레퍼런스 픽처에 대해서 결정된 픽처 식별자 정보는 델타 픽처 식별자를 포함하여 구성된다.
일실시형태에 있어서, 단계 S70, S72, S74는 제1리스트와 관련되는 서브-처리를 형성하고, 단계 S71, S73, S75는 제2리스트와 관련되는 다른 서브-처리를 형성한다. 그 다음, 2개의 서브-처리는 직렬로 소정의 순서로 또는 적어도 부분적으로 병렬로 수행될 수 있다.
도 8과 연관해서 상기 논의된 바와 같이, 현재 픽처의 픽처 식별자를 사용해서 이러한 픽처 식별자의 계산을 가능하게 하는 적어도 하나의 레퍼런스 픽처 또는 정보의 명확한 픽처 식별자를 포함하여 구성되지만 버퍼 디스크립션 내의 선행하는 레퍼런스 픽처에 대한 소정의 레퍼런스가 없는 리스트가 사용될 수 있다. 도 13은 인코더와 연관해서 이 접근을 도시한다. 본 방법은 도 10의 단계 S54로부터 계속된다. 다음 단계 S80은 각각의 레퍼런스 픽처의 적어도 하나의 픽처 식별자를 포함하여 구성되는 리스트를 제공한다. 이 리스트는, 관련 레퍼런스 픽처의 최종 픽처 식별자를 형성하기 위해서, 버퍼 디스크립션으로부터 결정된 픽처 식별자에 대해서 적어도 하나의 픽처 식별자를 부가함으로써, 버퍼 디스크립션을 수정하는데 사용되도록 구성된다. 이 리스트는, 픽처의 인코딩된 표현의 슬라이스 헤더 내, 인코딩된 표현의 다른 제어 정보 필드 내 또는, 픽처의 인코딩된 표현과 연관된 PPS 또는 SPS 내에 삽입될 수 있다.
도 15는 실시형태에 따른 디코더(100)의 개략적인 블록도이다. 디코더(100)는 다중 픽처의 비디오 스트림의 픽처의 인코딩된 표현을 디코딩하도록 구성된다. 디코더(100)는 픽처의 인코딩된 표현으로부터 픽처 식별자를 규정하는 버퍼 디스크립션을 식별하는 버퍼 디스크립션 정보를 검색하도록 구성된 데이터 검색기(110)를 포함하여 구성된다. 픽처 식별자 결정기(120)는, 레퍼런스 픽처 및 버퍼 디스크립션 내의 리스트 순서에 따른 레퍼런스 픽처에 선행하는 레퍼런스 픽처에 대한 버퍼 디스크립션으로부터 데이터 검색기(110)에 의해 검색된 픽처 식별자 정보에 기반해서, 버퍼 디스크립션 내에 규정된 레퍼런스 픽처를 식별하는 픽처 식별자를 결정하도록 구성된다. 또한, 디코더(100)는, 픽처 식별자 결정기(120)에 의해 결정된 픽처 식별자에 기반해서, 디코더(100)에 연관된 또는 디코더의 디코딩된 픽처 버퍼를 갱신하도록 구성된 버퍼 관리기(130)를 포함하여 구성된다.
특정 실시형태에 있어서, 픽처 식별자 결정기(110)는, 리스트 내의 리스트 순서에 따른 제1레퍼런스 픽처를 제외한 버퍼 디스크립션 내의 리스트의 각각의 레퍼런스 픽처에 대한 픽처 식별자를 결정하도록 구성된다. 픽처 식별자는, 상기된 바와 같이, 레퍼런스 픽처 및 리스트 내의 리스트 순서에 따른 레퍼런스 픽처에 선행하는 소정의 레퍼런스 픽처에 대한 버퍼 디스크립션으로부터 데이터 검색기(110)에 의해 검색된 픽처 식별자 정보에 기반해서, 결정된다.
픽처 식별자 결정기(120)는, 바람직하게는 리스트 순서에 따른 제1레퍼런스 픽처를 식별하는 픽처 식별자를 결정하도록 구성된다. 픽처 식별자 결정기(120)는, 제1레퍼런스 픽처에 대한 버퍼 디스크립션으로부터 데이터 검색기(110)에 의해 검색된 픽처 식별자 정보에 기반해서 그리고, 디코더(100)에 의해 디코딩되는 현재 픽처의 픽처 식별자에 기반해서, 이 픽처 식별자를 결정한다.
특정 실시형태에 있어서, 데이터 검색기(110)는 버퍼 디스크립션으로부터 제1레퍼런스 픽처에 대한 델타 픽처 식별자 및 사인 식별자 검색하도록 구성된다. 이 경우, 픽처 식별자 결정기(120)는, 델타 픽처 식별자, 사인 식별자 및 현재 픽처의 픽처 식별자에 기반해서 제1레퍼런스 픽처의 픽처 식별자를 계산하도록 구성된다.
도 16은 도 15의 픽처 식별자 결정기(120)의 실행의 개략적인 블록도이다. 픽처 식별자 결정기(120)는, 도 15의 데이터 검색기(110)에 의해 검색된 사인 식별자 및 델타 픽처 식별자에 기반해서, 제1레퍼런스 픽처에 대해서 델타 값 deltaPOC(0) = sign×absolute_delta_poc(0)을 계산하도록 구성된다. 그 다음, 식별자 계산기(124)는 픽처 식별자를 POC(0) = POC(currPic) + deltaPOC(0)로서 계산한다.
이 실시형태에 있어서, 데이터 검색기(110)는, 버퍼 디스크립션으로부터, 적어도 하나의 리스트 내의 (각각의) 제1레퍼런스 픽처를 제외한 버퍼 디스크립션 내에 규정된 적어도 하나의 리스트의 각각의 레퍼런스 픽처 번호 i에 대한 각각의 델타 픽처 식별자를 검색하도록 구성된다. 그 다음, 도 16의 델타 계산기(122)는, 델타 값을, 버퍼 디스크립션이 적어도 하나의 리스트 내의 레퍼런스 픽처를 오름 순서로 규정하면, deltaPOC(i) = deltaPOC(i-1) + absolute_delta_poc(i)로서 또는, 버퍼 디스크립션이 적어도 하나의 리스트 내의 레퍼런스 픽처를 내림 순서로 규정하면, deltaPOC(i) = deltaPOC(i-1) - absolute_delta_poc(i)로서 계산하도록 구성된다. 특정 순서는, 바람직하게는 디코더(100) 내에 사전 구성된다.
식별자 계산기(124)는 레퍼런스 픽처 번호 i의 픽처 식별자를 POC(i) = POC(currPic) + deltaPOC(i)로서 계산하도록 구성된다.
특정 실시형태에 있어서, 버퍼 디스크립션은 레퍼런스 픽처의 제1리스트 및 레퍼런스 픽처의 제2리스트를 규정한다. 픽처 식별자 결정기(120)는, 바람직하게는, 현재 픽처의 픽처 식별자 및 제1리스트 내의 제1레퍼런스 픽처에 대한 버퍼 디스크립션으로부터 데이터 검색기(110)에 의해 검색된 델타 픽처 식별자에 기반해서, 제1리스트 내의 제1레퍼런스 픽처의 픽처 식별자를 계산하도록 구성된 제1식별자 계산기(126)를 포함하여 구성된다. 픽처 식별자는, 바람직하게는, POCA(0) = POC(currPic) - absolute_delta_pocA(0)로서 계산된다. 대응해서, 제2식별자 계산기(128)는, 현재 픽처의 픽처 식별자 및 제2리스트 내의 제1레퍼런스 픽처에 대한 버퍼 디스크립션으로부터 데이터 검색기에 의해 검색된 델타 픽처 식별자에 기반해서, 제2리스트 내의 제1레퍼런스 픽처를 식별하는 픽처 식별자를 계산하도록 구성된다. 픽처 식별자는, 바람직하게는 POCB(0) = POC(currPic) + absolute_delta_pocB(0)로서 계산된다. 상기된 실시형태에 있어서는, 언사인된 델타 픽처 식별자가 상정된다. 델타 픽처 식별자가 사인된 값이면, 픽처 식별자는, 현재 픽처의 픽처 식별자와 제1 또는 제2리스트 내의 제1레퍼런스 픽처의 사인된 델타 픽처 식별자의 각각의 합으로서 계산된다.
또한, 제1식별자 계산기(126)는, 제1리스트 내의 제1레퍼런스 픽처를 제외한 제1리스트 내의 각각의 레퍼런스 픽처 번호 i에 대한 픽처 식별자를 계산하도록 구성된다. 이 픽처 식별자는, 제1리스트 순서에 따른 제1리스트 내의 선행하는 레퍼런스 픽처의 픽처 식별자 및 레퍼런스 픽처 번호 i에 대한 버퍼 디스크립션으로부터 데이터 검색기(110)에 의해 검색된 델타 픽처 식별자에 기반해서, 계산된다. 특정 실시형태에 있어서, 제1식별자 계산기(126)는, 픽처 식별자를, 델타 픽처 식별자가 언사인된 값이면, POCA(i) = POCA(i-1) - absolute_delta_pocA(i)로서, 또는 델타 픽처 식별자가 사인된 값이면, POCA(i) = POCA(i-1) + absolute_delta_pocA(i)로서 계산한다.
대응해서, 제2식별자 계산기(128)는, 제2리스트 내의 제1레퍼런스 픽처를 제외한 제2리스트 내의 각각의 레퍼런스 픽처 번호 i에 대한 픽처 식별자를 계산하도록 구성된다. 픽처 식별자는, 제2리스트 순서에 따른 제2리스트 내의 선행하는 레퍼런스 픽처의 픽처 식별자 및 레퍼런스 픽처 번호 i에 대한 버퍼 디스크립션으로부터 데이터 검색기(110)에 의해 검색된 델타 픽처 식별자에 기반해서 계산된다. 특정 실시형태에 있어서, 제2식별자 계산기(128)는 픽처 식별자를 POCB(i) = POCB(i-1) + absolute_delta_pocB(i)로서 계산한다. 델타 픽처 식별자는 언사인된 또는 사인된 값이다.
픽처의 인코딩된 표현에 의해 반송된 버퍼 디스크립션 정보는, 현재 픽처를 디코딩하기 위해 그리고 비디오 스트림의 소정의 후속하는 픽처를 디코딩하기 위해서, 디코딩된 픽처 버퍼 내에 존재할 필요가 있는 레퍼런스 픽처(들)를 식별하는데 사용된다. 이에 의해, 버퍼 디스크립션 정보는, 정확한 레퍼런스 픽처(들)를 기억하기 위해 디코딩된 픽처 버퍼를 갱신하도록 요구된 디코더(100)에 정보를 제공한다.
바람직한 접근에 있어서, 버퍼 관리기(130)는, 디코딩된 픽처 버퍼 내에 기억되지만 버퍼 디스크립션으로부터의 소정의 픽처 식별자와 연관되지 않은, 모든 레퍼런스 픽처를, 레퍼런스용으로 사용되지 않는으로서 마크하도록 구성된다. 대신, 디코딩된 픽처 버퍼 내에 존재하고 버퍼 디스크립션으로부터의 소정의 픽처 식별자와 연관된 레퍼런스 픽처는, 바람직하게는 레퍼런스용으로 사용으로서 마크된다.
디코더(100)의 버퍼 관리기(130)는, 바람직하게는, 현재 픽처를 디코딩하는 디코더(100)에 앞서서, 소정의 레퍼런스 픽처를 마크하도록 구성된다.
특정 실시형태에 있어서, 디코더(100)는, 디코더(100)가 현재 픽처를 디코딩하는데 앞서서, 디스플레이하기 위해 디코딩된 픽처 버퍼로부터 제로 이상의 픽처를 출력하도록 구성된다. 특정 실시형태에 있어서, 디코더(100)는 버퍼 관리기(130)에 의해 레퍼런스용으로 사용되지 않는으로서 마크된 소정의 레퍼런스 픽처를 출력한다.
버퍼 관리기(130)가 디코딩된 픽처 버퍼를 갱신하면, 디코더(100)는, 픽처의 인코딩된 표현 및 갱신된 디코딩된 픽처 버퍼 내에 기억된 적어도 하나의 레퍼런스 픽처에 기반해서, 픽처, 예를 들어 비디오 패이로드 데이터를 디코딩할 수 있다.
버퍼 디스크립션 정보는, 바람직하게는 픽처의 인코딩된 표현의 제어 정보 내에 제공된다. 예를 들어, 데이터 검색기(110)는 픽처의 인코딩된 표현의 슬라이스 헤더로부터 버퍼 디스크립션 정보를 검색하도록 구성될 수 있다. 이 경우, 픽처의 소정의 나머지 슬라이스 헤더가 바람직하게는 동일한 버퍼 디스크립션 정보를 반송하게 되므로, 버퍼 디스크립션 정보는, 바람직하게는 현재 픽처에 대해서 수신된 제1슬라이스 헤더로부터 검색된다.
특정 실시형태에 있어서, 버퍼 디스크립션 정보는 상기 언급된 픽처 식별자 정보를 갖는 버퍼 디스크립성을 구성한다. 이에 의해, 이 데이터는, 픽처의 인코딩된 표현으로부터 데이터 검색기(110)에 의해 직접 검색된다.
대안적인 실시형태에 있어서, 버퍼 디스크립션 정보는 버퍼 디스크립션의 식별자이다. 이에 의해, 데이터 검색기(110)는, 픽처의 인코딩된 표현으로부터 식별자를 검색하고, 이를 사용해서 픽처의 인코딩된 표현에 대해서 사용하기 위해 정확한 버퍼 디스크립션을 식별한다. 식별자는 다중의 사전 규정된 버퍼 디스크립션을 포함하여 구성되는 데이터 구조 또는 테이블 내의 엔트리에 대한 식별자가 될 수 있다. 이 데이터 구조는, PPS 또는 SPS에서 제공된 바와 같이, 비디오 스트림에 연관된 제어 데이터에 의해 반송될 수 있다. 이 경우, 버퍼 디스크립션 정보는, 바람직하게는, 데이터 구조 내의 엔트리의 식별자 및, 데이터 구조를 반송하는 특정 PPS 또는 SPS의 식별을 허용하는 PPS 및/또는 SPS 식별자를 포함하여 구성된다.
특정 실시형태에 있어서, 디코더(100)는, 각각의 레퍼런스 픽처의 적어도 하나의 픽처 식별자를 포함하여 구성되는 리스트를 제공하도록 구성된 리스트 프로바이더(140)를 포함하여 구성된다. 이 픽처 식별자는, 바람직하게는, 고정된 길이 코드로, 버퍼 디스크립션 내의 소정의 선행하는 레퍼런스 픽처에 대한 레퍼런스 없이, 인코딩된다. 이에 의해, 이 리스트는, 선행하는 레퍼런스 픽처 식별자에 대해서 인코딩 및 디코딩되는 버퍼 디스크립션의 적어도 하나의 리스트 내의 레퍼런스 픽처와 상당히 다른 픽처 식별자를 갖는 소정의 홀수의 레퍼런스 픽처의 픽처 식별자를 포함하여 구성될 수 있다.
슬라이스 헤더로부터 또는 버퍼 디스크립션 내의 분리 리스트로부터 실제로 검색되는 것과 같은, 리스트 프로바이더에 의해 제공된 적어도 하나의 픽처 식별자는, 버퍼 디스크립션을 수정하기 위해서, 버퍼 디스크립션 수정기(150)에 의해 사용된다. 따라서, 적어도 하나의 픽처 식별자가 버퍼 디스크립션에 의해 규정된 픽처 식별자에 부가된다.
디코더는 적어도 부분적으로 소프트웨어로 실행될 수 있다. 이러한 실시형태에 있어서, 도 17에 나타낸 바와 같이, 디코더(300)는 비디오 스트림의 다중 픽처의 인코딩된 표현을 수신하도록 구성된 입력 섹션(310)을 포함하여 구성된다. 또한, 디코더(300)는, 메모리(340) 내에 기억된 컴퓨터 프로그램의 코드 수단을 처리하도록 구성된 프로세서(330)를 포함하여 구성된다. 코드 수단은, 프로세서(330) 상에서 구동할 때, 프로세서(330)가 픽처의 인코딩된 표현으로부터 다중 레퍼런스 픽처를 규정하는 버퍼 디스크립션을 식별하는 버퍼 디스크립션 정보를 검색하도록 한다. 또한, 코드 수단은, 프로세서(330)가, 레퍼런스 픽처 및 버퍼 디스크립선 내의 리스트 순서에 따른 레퍼런스 픽처에 선행하는 선행하는 레퍼런스 픽처에 대해서 버퍼 디스크립션 정보로부터 검색된 픽처 식별자 정보에 기반해서, 레퍼런스 픽처를 식별하는 픽처 식별자를 결정하도록 한다. 레퍼런스 픽처는, 픽처 및/또는 비디오 스트림 내의 후속하는 픽처에 대한 디코딩 레퍼너스로서 사용된다. 더욱이, 프로세서(330)는, 픽처 식별자에 기반해서, 디코딩된 픽처 버퍼(330)를 갱신하게 한다. 또한, 디코더(300)는 비디오 스트림의 디코딩된 픽처를 출력하도록 구성된 출력 섹션(320)를 포함하여 구성된다.
프로세서(330)는, 중앙 처리 유닛(CPU)과 같은 일반-목적 또는 특별하게 적용된 컴퓨터, 프로세서 또는 마이크로프로세서로 될 수 있다. 소프트웨어는, 도 15의 적어도 데이터 검색기(110), 픽처 식별자 결정기(120) 및 버퍼 관리기(130)의 동작에 영향을 주는 컴퓨터 프로그램 코드 엘리먼트 또는 소프트웨어 코드 부분을 포함한다.
프로그램은, RAM과 같은 하나 이상의 적합한 휘발성 컴퓨터 판독 가능한 매체 또는 데이터 스토리지 수단 또는, ROM 또는 플래시 메모리 내의, 자기 디스크, CD-ROM, DVD 디스크, 하드 디스크와 같은 하나 이상의 비휘발성 컴퓨터 판독 가능한 매체 또는 데이터 스토리지 수단 상의 또는 내의 전체 또는 적어도 부분 내에 기억될 수 있다. 데이터 스토리지 수단은 로컬 데이터 스토리지 수단이 될 수 있고 또는, 데이터 서버 내에서와 같이 원격으로 제공될 수 있다. 따라서, 소프트웨어는, 프로세서에 의한 실행을 위해, 컴퓨터 또는 동등한 처리 시스템의 동작 메모리 내에 로드될 수 있다. 컴퓨터/프로세서는 상기된 기능만을 실행하는 전용으로 될 수 있지만 또한 다른 소프트웨어 임무를 실행할 수도 있다. 디코더(300)를 규정하는데 사용되는 비제한적인 예의 프로그램 코드는, 싱글 명령 다중 데이터(SIMD: single instruction muliple data) 코드를 포함한다.
대안적으로, 디코더는 하드웨어로 실행될 수 있다. 도 15의 디코더(100)의 유닛 110-150의 기능을 달성하기 위해서 사용되고 결합될 수 있는 다수의 변형의 회로 엘리먼트가 있다. 이러한 변형은 실시형태에 포함된다. 디코더(100)의 특정 예의 하드웨어 실행은, 일반-목적 전자 회로 및 주문형 회로를 모두 포함하는, 디지털 신호 프로세서(DSP) 하드웨어 및 집합 회로 기술로 실행된다.
실시형태의 측면을 따르면, 도 14에 나타낸 수신기(200)가 제공된다. 수신기(200)는, 비디오 스트림의 다중 픽처의 인코딩된 표현을 수신하도록 구성된 입력 섹션(210)을 포함하여 구성된다. 인코딩된 표현은 실시형태에 따른 버퍼 디스크립션 정보를 반송한다. 인코딩된 표현은, 도 15 또는 도 17에 도시된 바와 같이, 디코더(100)로 보내지는데, 이 디코더는 다중 픽처의 인코딩된 표현을 디코딩하도록 구성된다. 수신기(200)의 출력 섹션(220)은, 비디오 스트림의 디코딩된 픽처를 출력하도록 구성된다. 또한, 수신기(200)는, 픽처를 디코딩할 때, 디코더(100)에 의해 사용되는 레퍼런스 픽처를 기억하는 디코딩된 픽처 버퍼(230)를 포함하여 구성된다.
도 19는 인코더(400)의 실시형태에 따른 개략적인 블록도이다. 인코더(400)는 다중 픽처의 비디오 스트림을 픽처의 인코딩된 표현 내에 인코딩하도록 구성된다. 인코더(400)는 비디오 스트림의 다중 레퍼런스 픽처를 픽처에 대한 인코딩 레퍼런스 및/또는 비디오 스트림 내의 소정의 후속의 픽처를 결정하도록 구성된 레퍼런스 픽처 결정기(410)를 포함하여 구성된다. 인코더(400)의 픽처 식별자 프로바이더(420)는, 레퍼런스 픽처 결정기(410)에 의해 결정된 각각의 레퍼런스 픽처의 각각의 픽처 식별자를 제공하도록 구성된다. 픽처 식별자 프로바이더(420)에 의해 제공된 픽처 식별자는, 자체의 연관된 레퍼런스 픽처를 식별한다.
또한, 인코더(400)는, 리스트 순서에 따른 제1레퍼런스 픽처를 제외한 레퍼런스 픽처 결정기(410)에 의해 결정된 레퍼런스 픽처의 적어도 부분의 각각의 레퍼런스 픽처에 대한 픽처 식별자 정보를 결정하도록 구성된 정보 결정기(430)를 포함하여 구성된다. 픽처 식별자 정보는, 레퍼런스 픽처의 픽처 식별자에 기반해서 그리고, 픽처 리스트 순서에 따른 선행하는 레퍼런스의 픽처 식별자에 기반해서 결정된다. 버퍼 디스크립션 정보 생성기(440)는 결정된 픽처 식별자 정보에 기반해서 버퍼 디스크립션 정보를 생성하도록 구성된다. 버퍼 디스크립션 정보 생성기(440)에 의해 생성된 버퍼 디스크립션 정보는 레퍼런스 픽처 결정기(410)에 의해 결정된 다중 레퍼런스 픽처를 규정하는 버퍼 디스크립션을 식별한다.
데이터 삽입기(450)는, 버퍼 디스크립션 정보 생성기(440)에 의해 생성된 버퍼 디스크립션 정보를 현재 픽처의 인코딩된 표현 내로 삽입하기 위해서 인코더(400) 내에서 실행된다. 그러므로, 현재 픽처에 대한 비디오 스트림의 코딩된 비트 스트림은 버퍼 디스크립션 정보를 반송한다. 이는, 픽처의 인코딩된 표현이, 이에 의해 픽처의 인코딩된 표현의 디코딩을 가능하게 하기 위해, 현재 픽처에 대해서 디코딩된 픽처 버퍼를 갱신하기 위해서, 디코더에 의해 요구되는, 예를 들어 픽처 식별자인 관련 정보를 규정하는 버퍼 디스크립션 정보를 반송하게 되는 것을, 의미한다.
정보 결정기(430)는, 바람직하게는, 또한, 리스트 순서에 따른 제1레퍼런스 픽처에 대한 픽처 식별자 정보를 결정하도록 구성된다. 그 다음, 이 픽처 식별자 정보는, 제1레퍼런스 픽처의 픽처 식별자 및 현재 픽처의 픽처 식별자에 기반해서 결정된다.
도 20은 도 19의 정보 결정기(430)의 특정 실행을 도시한다. 정보 결정기(430)는, 바람직하게는, 제1레퍼런스 픽처의 픽처 식별자와 현재 픽처의 픽처 식별자 간의 차이, deltaPOC(0) = POC(0) - POC(currPic)에 기반해서, 델타 값을 계산하도록 구성된 델타 계산기(432)를 포함하여 구성된다. 그 다음, 델타 식별자 결정기(434)는, 델타 값의 절대 값, absolute_delta_poc(0) = |deltaPOC(0)|에 기반해서 델타 픽처 식별자를 결정하도록 구성된다. 사인 식별자 결정기(433)는, 사인(sign)이 sign(deltaPOC(0))과 같은 델타 값의 사인에 기반해서, 사인 식별자를 결정하도록 구성된다. 그 다음, 제1레퍼런스 픽처의 픽처 식별자 정보는 델타 픽처 식별자 및 사인 식별자를 포함하여 구성된다.
바람직하게는, 버퍼 디스크립션은 레퍼런스 픽처의 적어도 하나의 리스트를 포함하여 구성되고, 각각은 각각의 제1레퍼런스 픽처를 갖는다. 이 경우, 델타 픽처 식별자 및 사인 식별자가 각각의 제1레퍼런스 픽처에 대해서 결정된다. 대안적으로, 델타 픽처 식별자 및 사인 식별자는 제1리스트의 제1레퍼런스 픽처에 대해서 결정되는 반면, 제2리스트의 제1레퍼런스 픽처만이 자체의 픽처 식별자 정보로서 델타 픽처 식별자를 포함하여 구성되고, 그 다음 이 제1레퍼런스 픽처는 제1리스트의 제1레퍼런스 픽처에 대한 사인과 비교해서 반대의 사인을 사용한다.
그 다음, 델타 계산기(432)는, 바람직하게는, 각각의 제1레퍼런스 픽처를 제외한 적어도 하나의 리스트의 각각의 레퍼런스 픽처 번호 i에 대한 델타 값을 계산하도록 구성된다. 델타 값은, 레퍼런스 픽처의 픽처 식별자 및 리스트 순서에 따른 리스트 내의 선행하는 레퍼런스 픽처를 식별하는 픽처 식별자에 기반해서, 바람직하게는 deltaPOC(i) = POC(i) - POC(i-1)와 같은 이들 픽처 식별자 간의 차이에 기반해서, 계산된다. 그 다음, 델타 식별자(434)가, 델타 값 및 선행하는 레퍼런스 픽처에 대해서 결정된 델타 픽처 식별자에 기반해서, 레퍼런스 픽처 번호 i에 대한 델타 픽처 식별자를 결정하도록 구성된다. 특정 실시형태에 있어서, 델타 식별자 결정기(434)는, absolute_delta_poc(i) = deltaPOC(i) - absolute_delta_poc(i-1)와 같은, 델타 값과 선행하는 델타 픽처 식별자 간의 차이에 기반해서, 델타 픽처 식별자를 결정하도록 구성된다. 대안적으로, 델타 식별자 결정기(434)는, absolute_delta_poc(i) = deltaPOC(i) + absolute_delta_poc(i-1)과 같은 델타 값과 선행하는 델타 픽처 식별자의 합에 기반해서, 델타 픽처 식별자를 결정한다. 이들 대안 중 어느 것의 사용은, 리스트가 오름 또는 내림 순서로 레퍼런스 픽처를 순서 배열하는 지에 의존해서, 바람직하게는 인코더(400) 내에 사전 구성된다.
특정 실시형태에 있어서, 픽처 식별자 프로바이더(420)는, 출력 순서와 같은 규정된 순서에 따른 현재 픽처에 선행하는 레퍼런스 픽처의 제1리스트의 픽처 식별자를 제공하도록 구성된다. 또한, 픽처 식별자 프로바이더(420)는, 출력 순서와 같은 규정된 순서에 따른 현재 픽처에 뒤따르는 레퍼런스 픽처의 제2리스트의 픽처 식별자를 제공하도록 구성된다.
그 다음, 델타 식별자 결정기(434)는, 바람직하게는, 제1리스트 순서에 따른 제1리스트 내의 제1레퍼런스 픽처를 제외한 제1리스트 내의 각각의 레퍼런스 픽처 번호 i에 대한 델타 픽처 식별자를 결정하도록 구성된다. 델타 픽처 식별자는, 바람직하게는, 제1리스트 순서에 따른 제1리스트 내의 선행하는 레퍼런스 픽처의 픽처 식별자와 레퍼런스 픽처를 식별하는 픽처 식별자 간의 차이, absolute_delta_pocA(i) =POCA(i-1) - POCA(i)에 기반해서 결정된다. 또한, 델타 식별자 결정기(434)는, 제2리스트 순서에 따른 제2리스트 내의 제1레퍼런스 픽처를 제외한 제2리스트 내의 각각의 레퍼런스 픽처 번호 i에 대한 델타 픽처 식별자를 결정한다. 델타 픽처 식별자는, 바람직하게는 상기 레퍼런스 픽처의 식별자와 제2리스트 순서에 따른 상기 제2리스트 내의 선행하는 레퍼런스 픽처를 식별하는 픽처 식별자 간의 차이, absolute_delta_pocB(i) =POCB(i) - POCB(i-1)에 기반해서 결정된다. 대안적인 접근에 있어서는, 이전에 논의된 바와 같이, 사인된 델타 픽처 식별자는 델타 식별자 결정기(434)에 의해 결정된다.
델타 식별자 결정기(430)는, 바람직하게는, 현재 픽처의 픽처 식별자와 제1리스트 내의 제1레퍼런스 픽처의 픽처 식별자 간의 차이, absolute_delta_pocA(0) = POC(currPic) - POCA(0)에 기반해서, 제1리스트 내의 제1레퍼런스 픽처에 대한 델타 픽처 식별자를 결정하도록 구성된다. 또한, 델타 식별자 결정기(430)는, 제2리스트 내의 제1레퍼런스 픽처의 픽처 식별자와 현재 픽처의 픽처 식별자 간의 차이, absolute_delta_pocB(0) = POCB(0)- POC(currPic)에 기반해서, 제2리스트 내의 제1레퍼런스 픽처에 대한 델타 픽처 식별자를 결정한다.
도 19의 인코더(400)는, 옵션으로, 각각의 레퍼런스 픽처의 적어도 하나의 픽처 식별자를 구비하여 구성되는 리스트를 제공하도록 구성된 리스트 프로바이더(460)를 포함하여 구성된다. 이 리스트는, 본 명세서에서 이전에 논의된 바와 같이, 현재 픽처에 대해서 생성된 버퍼 디스크립션 정보에 의해 식별된 버퍼 디스크립션을 수정하기 위해서, 디코더에 의해 사용된다.
바람직한 실시형태에 있어서, 데이터 삽입기(450)는 픽처의 인코딩된 표현의 각각의 슬라이스 헤더 내에 버퍼 디스크립션 정보를 삽입하도록 구성된다. 이 경우, 현재 픽처의 각각의 슬라이스 헤더는, 바람직하게는 동일한 버퍼 디스크립션 정보를 반송한다. 이는, 픽처의 다른 슬라이스가 의도하지 않게 손실되더라도, 제공된 슬라이스의 디코딩을 가능하게 한다.
또한, 픽처의 인코딩된 표현 내의 제어 정보 중 다른 위치가, 본 명세서에서 이전에 논의된 바와 같이, 버퍼 디스크립션 정보를 반송하기 위해 가능하다.
픽처의 인코딩된 표현은, 예를 들어 슬라이스 헤더 내의 버퍼 디스크립션 정보로서, 정보 결정기(430)에 의해 결정된 픽처 식별자 정보를 반송할 수 있다. 이는, 픽처의 인코딩된 표현 내에 버퍼 디스크립션의 명확한 시그널링을 제공한다.
대안적인 실시형태에 있어서, 인코더(400)는 다중의 사전 규정된 버퍼 디스크립션을 포함하여 구성되는 데이터 구조를 생성하도록 구성된다. 이에 의해, 각각의 이러한 사전 규정된 버퍼 디스크립션은 레퍼런스 픽처를 규정한다. 이에 의해, 데이터 구조는, 픽처에 대한 디코딩 동안 사용되는 버퍼 디스크립션을 제공하는 목적을 위해 비디오 스트림 내의 다중 픽처에 대해서 사용될 수 있다. 이에 의해, 버퍼 디스크립션 정보 생성기(440)는, 현재 픽처에 대해서 픽처 식별자 프로바이더(420)에 의해 제공된 픽처 식별자에 기반해서, 데이터 구조의 버퍼 디스크립션을 선택하도록 구성된다. 이에 의해, 픽처 식별자와 정확하게 정합하는 버퍼 디스크립션이 선택되고, 버퍼 디스크립션 정보 생성기(440)에 의해 생성된 버퍼 디스크립션 정보는 선택된 버퍼 디스크립션의 식별자를 포함하여 구성된다.
그 다음, 데이터 구조는, PPS 또는 SPS에서와 같은, 비디오 스트림의 인코딩된 표현과 연관된 제어 정보 필드 내에 삽입될 수 있다. 관련 제어 정보의 식별자, 예를 들어 PPS 식별자 또는 SPS 식별자(차례로 관련 SPS에 대한 SPS 식별자를 포함하여 구성되는 PPS에 대한 PPS 식별자 형태로 될 수 있다)는, 바람직하게는 슬라이스 헤더에서와 같이, 현재 픽처의 인코딩된 표현의 제어 정보 내에 포함된다. 실시형태에 있어서는, 이에 의해, 슬라이스 헤더 또는 다른 제어 정보 필드가 제어 정보 식별자 및 선택된 버퍼 디스크립션의 식별자를, 버퍼 디스크립션 정보로서 반송한다.
인코더는, 적어도 부분적으로 소프트웨어로 실행될 수 있다. 이러한 실시형태에 있어서, 도 21에 나타낸 바와 같이, 인코더(600)는 비디오 스트림의 다중 픽처를 수신하도록 구성된 입력 섹션(610)을 포함하여 구성된다. 또한, 인코더(600)는, 메모리(640) 내에 기억된 컴퓨터 프로그램의 코드 수단을 처리하도록 구성된 프로세서(630)를 포함하여 구성된다. 코드 수단은, 프로세서(630) 상에서 구동할 때, 프로세서(630)가, 비디오 스트림의 픽처에 대해서, 비디오 스트림의 레퍼런스 픽처를, 픽처 및/또는 비디오 스트림의 후속하는 픽처에 대한 인코딩 레퍼런스로서 결정하게 한다. 또한, 프로세서(630)는, 각각의 레퍼런스 픽처에 대해서, 레퍼런스 픽처를 식별하는 픽처 식별자를 제공하고, 리스트 순서에 따른 제1레퍼런스 픽처를 제외한 결정된 레퍼런스 픽처의 적어도 부분의 각각의 레퍼런스 픽처에 대해서, 레퍼런스 픽처의 픽처 식별자에 기반해서 그리고, 리스트 순서에 따른 선행하는 레퍼런스 픽처의 픽처 식별자에 기반해서, 픽처 식별자 정보를 결정하게 한다. 더욱이, 프로세서(630)는 픽처 식별자 정보에 기반해서, 레퍼런스 픽처를 규정하는 버퍼 디스크립션을 식별하는 버퍼 디스크립션 정보를 생성하게 한다. 또한, 프로세서(630)는, 픽처의 인코딩된 표현 내에 버퍼 디스크립션 정보를 삽입하게 한다. 또한, 인코더(600)는, 픽처의 인코딩된 표현을 출력하도록 구성된 출력 섹션(620)을 포함하여 구성된다.
프로세서(630)는, 중앙 처리 유닛(CPU)과 같은, 일반 목적 또는 특별하게 적용된 컴퓨터, 프로세서 또는 마이크로프로세서가 될 수 있다. 소프트웨어는, 도 19의 적어도 레퍼런스 픽처 결정기(410), 픽처 식별자 프로바이더(420), 정보 결정기(430) 및 버퍼 디스크립션 정보 생성기(440)의 동작에 영향을 미치는, 컴퓨터 프로그램 코드 엘리먼트 또는 소프트웨어 코드 부분을 포함한다.
프로그램은, RAM과 같은 하나 이상의 적합한 휘발성 컴퓨터 판독 가능한 매체 또는 데이터 스토리지 수단 또는, ROM 또는 플래시 메모리 내의, 자기 디스크, CD-ROM, DVD 디스크, 하드 디스크와 같은 하나 이상의 비휘발성 컴퓨터 판독 가능한 매체 또는 데이터 스토리지 수단 상의 또는 내의 전체 또는 적어도 부분 내에 기억될 수 있다. 데이터 스토리지 수단은 로컬 데이터 스토리지 수단이 될 수 있고 또는, 데이터 서버 내에서와 같이 원격으로 제공될 수 있다. 따라서, 소프트웨어는, 프로세서에 의한 실행을 위해, 컴퓨터 또는 동등한 처리 시스템의 동작 메모리 내에 로드될 수 있다. 컴퓨터/프로세서는 상기된 기능만을 실행하는 전용으로 될 수 있지만 또한 다른 소프트웨어 임무를 실행할 수도 있다. 인코더(600)를 규정하는데 사용되는 비제한적인 예의 프로그램 코드는, 싱글 명령 다중 데이터(SIMD: single instruction muliple data) 코드를 포함한다.
대안적으로, 인코더는 하드웨어로 실행될 수 있다. 도 19의 인코더(400)의 유닛 410-460의 기능을 달성하기 위해서 사용되고 결합될 수 있는 다수의 변형의 회로 엘리먼트가 있다. 이러한 변형은 실시형태에 포함된다. 인코더(400)의 특정 예의 하드웨어 실행은, 일반-목적 전자 회로 및 주문형 회로를 모두 포함하는, 디지털 신호 프로세서(DSP) 하드웨어 및 집합 회로 기술로 실행된다.
실시형태의 측면을 따르면, 도 18에 나타낸 송신기(500)가 제공된다. 송신기(500)는, 비디오 스트림의 다중 픽처(10)를 수신하도록 구성된 입력 섹션(510)을 포함하여 구성된다. 픽처(10)는, 도 19 또는 도 21에 도시된 바와 같이 인코더(400)로 보내지는데, 이 인코더는 다중 픽처의 각각의 인코딩된 표현을 생성하기 위해서 다중 픽처(10)를 인코딩하도록 구성된다. 송신기(500)의 출력 섹션(520)은, 실시형태의 버퍼 디스크립션 정보를 반송하는 코딩된 비트스트림으로서, 다중 픽처의 각각의 인코딩된 표현을 출력하도록 구성된다.
부록(ANNEX)
본 발명 부록은 2개의 실시형태의 제안된 신택스를 나타낸다.
실시형태1
Figure 112014006609145-pct00002
실시형태2
Figure 112014006609145-pct00003
개시된 실시형태는 본 발명의 몇몇 예시적인 실시예로서 이해되어야 한다. 본 발명은, 본 발명의 범위를 벗어남이 없이, 실시형태에 대해서 다양한 별형, 결합 및 변화가 만들어질 수 있는 것으로, 당업자에게 이해된다. 특히, 다른 실시형태의 다른 부분의 해결은, 기술적으로 가능한 다른 구성에 결합될 수 있다. 그러므로, 본 발명의 범위는, 첨부된 청구항에 의해 규정된다.
100 - 디코더, 110 - 데이터 검색기,
120 - 픽처 식별자 결정기, 130 - 버퍼 관리기,
200 - 수신기, 220 - 출력 섹션,
300 - 디코더, 400 - 인코더,
500 - 송신기.

Claims (42)

  1. 다중 픽처(10, 40, 42, 50)의 비디오 스트림(1)의 현재 픽처(10)의 인코딩된 표현(60)을 디코딩하는 방법으로서,
    상기 현재 픽처(10)의 상기 인코딩된 표현(60)으로부터, 이전 픽처의 인코딩된 표현과 관계없이 다중 레퍼런스 픽처(40, 42) 중 하나 이상의 리스트를 규정하는 버퍼 디스크립션을 검색(S1)하는 단계와;
    상기 하나 이상의 리스트의 리스트 순서에 따라 상기 하나 이상의 리스트의 제1레퍼런스 픽처(40)를 제외한 상기 하나 이상의 리스트의 각각의 레퍼런스 픽처(42) 번호 i에 대해,
    상기 버퍼 디스크립션으로부터 상기 레퍼런스 픽처에 대한 각각의 델타 픽처 식별자, absolute_delta_poc(i)를 검색하고(S22), 상기 델타 픽처 식별자는 상기 리스트 순서에 따라 상기 하나 이상의 리스트의 이전 레퍼런스 픽처에 대해 시그널링되고,
    상기 하나 이상의 리스트가 상기 다중 레퍼런스 픽처(40, 42)를 오름 순서로 규정하면 deltaPOC(i) = deltaPOC(i-1) + absolute_delta_poc(i)를 계산하고, 또는 상기 하나 이상의 리스트가 상기 다중 레퍼런스 픽처(40, 42)를 내림 순서로 규정하면 deltaPOC(i) = deltaPOC(i-1) - absolute_delta_poc(i)를 계산하며(S23),
    상기 레퍼런스 픽처를 식별하는 상기 픽처 식별자, POC(i)를 POC(i) = POC(currPic) + deltaPOC(i)로서 계산하며(S24), POC(currPic)는 상기 현재 픽처(10)의 픽처 식별자를 나타냄으로써,
    상기 레퍼런스 픽처를 식별하는 픽처 식별자를 결정하는 단계와;
    상기 제 1 레퍼런스 픽처(40)에 대한 상기 버퍼 디스크립션으로부터 검색된 픽처 식별자 정보 및 상기 현재 픽처(10)의 상기 픽처 식별자에 기초하여 상기 제 1 레퍼런스 픽처(40)를 식별하는 픽처 식별자를 결정(S2)하는 단계와;
    결정된 픽처 식별자에 기초하여 디코딩된 픽처 버퍼(230, 350)를 갱신(S4)하는 단계를 포함하는 디코딩하는 방법.
  2. 다중 픽처(10, 40, 42, 50)의 비디오 스트림(1)의 현재 픽처(10)의 인코딩된 표현(60)을 디코딩하는 방법으로서,
    상기 현재 픽처(10)의 상기 인코딩된 표현(60)으로부터, 이전 픽처의 인코딩된 표현과 관계없이 다중 레퍼런스 픽처(40)의 제 1 리스트 및 다중 레퍼런스 픽처(42)의 제 2 리스트를 규정하는 버퍼 디스크립션을 검색(S1)하는 단계와;
    제 1 리스트 순서에 따른 상기 제 1 리스트 내의 제 1 레퍼런스 픽처를 제외한 상기 제 1 리스트 내의 각각의 레퍼런스 픽처 번호 i에 대해, 상기 레퍼런스 픽처를 식별하는 픽처 식별자 POCA(i)를 POCA(i) = POCA(i-1) - absolute_delta_pocA(i)로서 계산(S32)하는 단계로서, POCA(i-1)는 상기 제1리스트 순서에 따른 상기 제1리스트 내의 가장 근접한 선행하는 레퍼런스 픽처의 픽처 식별자를 나타내고, absolute_delta_pocA(i)는 상기 레퍼런스 픽처에 대한 상기 버퍼 디스크립션으로부터 검색된 언사인된 델타 픽처 식별자를 나타내고, 상기 델타 픽처 식별자는 상기 제 1 리스트 순서에 따른 상기 제 1 리스트의 이전 레퍼런스 픽처에 대해 시그널링되는 상기 계산(S32)하는 단계와;
    제 2 리스트 순서에 따른 상기 제 2 리스트 내의 제 1 레퍼런스 픽처를 제외한 상기 제 2 리스트 내의 각각의 레퍼런스 픽처 번호 i에 대해, 상기 레퍼런스 픽처를 식별하는 픽처 식별자 POCB(i)를 POCB(i) = POCB(i-1) + absolute_delta_pocB(i)로서 계산(S33)하는 단계로서, POCB(i-1)는 상기 제2리스트 순서에 따른 상기 제2리스트 내의 가장 근접한 선행하는 레퍼런스 픽처의 픽처 식별자를 나타내고, absolute_delta_pocB(i)는 상기 레퍼런스 픽처에 대한 상기 버퍼 디스크립션으로부터 검색된 언사인된 델타 픽처 식별자를 나타내고, 상기 델타 픽처 식별자는 상기 제 2 리스트 순서에 따른 상기 제 2 리스트의 이전 레퍼런스 픽처에 대해 시그널링되는 상기 계산(S33)하는 단계와;
    결정된 픽처 식별자에 기초하여 디코딩된 픽처 버퍼(230, 350)를 갱신(S4)하는 단계를 포함하는 디코딩하는 방법.
  3. 제 2 항에 있어서,
    상기 현재 픽처(10)의 픽처 식별자와 상기 제 1 리스트 내의 상기 제 1 레퍼런스 픽처에 대한 상기 버퍼 디스크립션으로부터 검색된 델타 픽처 식별자 간의 차이에 기초하여 상기 제 1 리스트 내의 상기 제1레퍼런스 픽처를 식별하는 픽처 식별자를 계산(S30)하는 단계로서, 상기 델타 픽처 식별자는 상기 현재 픽처에 대해 시그널링되는 상기 계산(S30)하는 단계와;
    상기 현재 픽처(10)의 상기 픽처 식별자와 상기 제 2 리스트 내의 상기 제 1 레퍼런스 픽처에 대한 상기 버퍼 디스크립션으로부터 검색된 델타 픽처 식별자의 합에 기초하여 상기 제 2 리스트 내의 상기 제1레퍼런스 픽처를 식별하는 픽처 식별자를 계산(S31)하는 단계로서, 상기 델타 픽처 식별자는 상기 현재 픽처에 대해 시그널링되는 상기 계산(S31)하는 단계를 더 포함하는 디코딩하는 방법.
  4. 디코더(300)로서,
    비디오 스트림(1)의 다중 픽처(10, 40, 42, 50)의 인코딩된 표현(60)을 수신하도록 구성된 입력 섹션(310)과;
    메모리(340) 내에 기억된 컴퓨터 프로그램의 코드 수단을 처리하도록 구성된 프로세서(330)로서, 상기 코드 수단은 상기 프로세서(330) 상에서 구동할 때 상기 프로세서(330)가
    현재 픽처(10)의 상기 인코딩된 표현(60)으로부터, 이전 픽처의 인코딩된 표현과 관계없이 다중 레퍼런스 픽처(40, 42) 중 하나 이상의 리스트를 규정하는 버퍼 디스크립션을 검색(S1)하고;
    상기 하나 이상의 리스트의 리스트 순서에 따라 상기 하나 이상의 리스트의 제1레퍼런스 픽처(40)를 제외한 상기 하나 이상의 리스트의 각각의 레퍼런스 픽처(42) 번호 i에 대해,
    상기 버퍼 디스크립션으로부터 상기 레퍼런스 픽처에 대한 각각의 델타 픽처 식별자, absolute_delta_poc(i)를 검색하고(S22), 상기 델타 픽처 식별자는 상기 리스트 순서에 따라 상기 하나 이상의 리스트의 이전 레퍼런스 픽처에 대해 시그널링되고,
    상기 하나 이상의 리스트가 상기 다중 레퍼런스 픽처(40, 42)를 오름 순서로규정하면 deltaPOC(i) = deltaPOC(i-1) + absolute_delta_poc(i)를 계산하고, 또는 상기 하나 이상의 리스트가 상기 다중 레퍼런스 픽처(40, 42)를 내림 순서로 규정하면 deltaPOC(i) = deltaPOC(i-1) - absolute_delta_poc(i)를 계산하며(S23),
    상기 레퍼런스 픽처를 식별하는 상기 픽처 식별자, POC(i)를 POC(i) = POC(currPic) + deltaPOC(i)로서 계산하며(S24), POC(currPic)는 현재 픽처(10)의 픽처 식별자를 나타냄으로써,
    상기 레퍼런스 픽처를 식별하는 픽처 식별자를 결정하고;
    상기 제 1 레퍼런스 픽처(40)에 대한 상기 버퍼 디스크립션으로부터 검색된 픽처 식별자 정보 및 현재 픽처(10)의 상기 픽처 식별자에 기초하여 상기 제 1 레퍼런스 픽처(40)를 식별하는 픽처 식별자를 결정(S2)하며;
    결정된 픽처 식별자에 기초하여 디코딩된 픽처 버퍼(230, 350)를 갱신(S4)하도록 하는 상기 프로세서(330)와;
    상기 비디오 스트림(1)의 디코딩된 픽처를 출력하도록 구성된 출력 섹션(320)을 포함하는 디코더.
  5. 디코더(300)로서,
    비디오 스트림(1)의 다중 픽처(10, 40, 42, 50)의 인코딩된 표현(60)을 수신하도록 구성된 입력 섹션(310)과;
    메모리(340) 내에 기억된 컴퓨터 프로그램의 코드 수단을 처리하도록 구성된 프로세서(330)로서, 상기 코드 수단은 상기 프로세서(330) 상에서 구동할 때 상기 프로세서(330)가
    현재 픽처(10)의 상기 인코딩된 표현(60)으로부터, 이전 픽처의 인코딩된 표현과 관계없이 다중 레퍼런스 픽처(40)의 제 1 리스트 및 다중 레퍼런스 픽처(42)의 제 2 리스트를 규정하는 버퍼 디스크립션을 검색(S1)하고;
    제 1 리스트 순서에 따른 상기 제 1 리스트 내의 제 1 레퍼런스 픽처를 제외한 상기 제 1 리스트 내의 각각의 레퍼런스 픽처 번호 i에 대해, 상기 레퍼런스 픽처를 식별하는 픽처 식별자 POCA(i)를 POCA(i) = POCA(i-1) - absolute_delta_pocA(i)로서 계산(S32)하고, POCA(i-1)는 상기 제1리스트 순서에 따른 상기 제1리스트 내의 가장 근접한 선행하는 레퍼런스 픽처의 픽처 식별자를 나타내고, absolute_delta_pocA(i)는 상기 레퍼런스 픽처에 대한 상기 버퍼 디스크립션으로부터 검색된 언사인된 델타 픽처 식별자를 나타내고, 상기 델타 픽처 식별자는 상기 제 1 리스트 순서에 따른 상기 제 1 리스트의 이전 레퍼런스 픽처에 대해 시그널링되고;
    제 2 리스트 순서에 따른 상기 제 2 리스트 내의 제 1 레퍼런스 픽처를 제외한 상기 제 2 리스트 내의 각각의 레퍼런스 픽처 번호 i에 대해, 상기 레퍼런스 픽처를 식별하는 픽처 식별자 POCB(i)를 POCB(i) = POCB(i-1) + absolute_delta_pocB(i)로서 계산(S33)하고, POCB(i-1)는 상기 제2리스트 순서에 따른 상기 제2리스트 내의 가장 근접한 선행하는 레퍼런스 픽처의 픽처 식별자를 나타내고, absolute_delta_pocB(i)는 상기 레퍼런스 픽처에 대한 상기 버퍼 디스크립션으로부터 검색된 언사인된 델타 픽처 식별자를 나타내고, 상기 델타 픽처 식별자는 상기 제 2 리스트 순서에 따른 상기 제 2 리스트의 이전 레퍼런스 픽처에 대해 시그널링되고;
    결정된 픽처 식별자에 기초하여 디코딩된 픽처 버퍼(230, 350)를 갱신(S4)하도록 하는 상기 프로세서(330)와;
    상기 비디오 스트림(1)의 디코딩된 픽처를 출력하도록 구성된 출력 섹션(320)을 포함하는 디코더.
  6. 제 5 항에 있어서,
    상기 코드 수단은 추가로 상기 프로세서(330)가
    상기 현재 픽처(10)의 픽처 식별자와 상기 제 1 리스트 내의 상기 제 1 레퍼런스 픽처에 대한 상기 버퍼 디스크립션으로부터 검색된 델타 픽처 식별자 간의 차이에 기초하여 상기 제 1 리스트 내의 상기 제1레퍼런스 픽처를 식별하는 픽처 식별자를 계산(S30)하고, 상기 델타 픽처 식별자는 상기 현재 픽처에 대해 시그널링되며;
    상기 현재 픽처(10)의 상기 픽처 식별자와 상기 제 2 리스트 내의 상기 제 1 레퍼런스 픽처에 대한 상기 버퍼 디스크립션으로부터 검색된 델타 픽처 식별자의 합에 기초하여 상기 제 2 리스트 내의 상기 제1레퍼런스 픽처를 식별하는 픽처 식별자를 계산(S31)하고, 상기 델타 픽처 식별자는 상기 현재 픽처에 대해 시그널링되도록 하는 디코더.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
KR1020147001763A 2011-06-30 2012-04-27 절대 또는 명확한 레퍼러스 픽처 시그널링 KR101631774B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161503019P 2011-06-30 2011-06-30
US61/503,019 2011-06-30
US201161509690P 2011-07-20 2011-07-20
US61/509,690 2011-07-20
PCT/SE2012/050444 WO2013002701A1 (en) 2011-06-30 2012-04-27 Absolute or explicit reference picture signaling

Publications (2)

Publication Number Publication Date
KR20140051906A KR20140051906A (ko) 2014-05-02
KR101631774B1 true KR101631774B1 (ko) 2016-06-24

Family

ID=46197674

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147001763A KR101631774B1 (ko) 2011-06-30 2012-04-27 절대 또는 명확한 레퍼러스 픽처 시그널링

Country Status (11)

Country Link
US (2) US9247262B2 (ko)
EP (1) EP2687012A1 (ko)
JP (2) JP5624693B2 (ko)
KR (1) KR101631774B1 (ko)
CN (1) CN103765900B (ko)
AU (1) AU2012276349A1 (ko)
BR (1) BR112013033934B1 (ko)
MX (1) MX2013015397A (ko)
MY (1) MY166191A (ko)
RU (1) RU2581566C2 (ko)
WO (1) WO2013002701A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022225369A1 (ko) * 2021-04-23 2022-10-27 엘지전자 주식회사 레이어 식별자 정보를 포함하는 sei 메시지 기반의 영상 부호화/복호화 방법, 장치, 및 비트스트림을 전송하는 방법

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6008334B2 (ja) 2011-08-25 2016-10-19 サン パテント トラスト 復号装置及び復号方法
ES2625097T3 (es) 2011-09-07 2017-07-18 Sun Patent Trust Método de codificación de imágenes y aparato de codificación de imágenes
EP2760205B1 (en) 2011-09-19 2020-11-04 Sun Patent Trust Image decoding method, image decoding device
EP2750387B1 (en) 2011-09-22 2019-06-19 LG Electronics Inc. Video decoding method and video decoding apparatus
US9420307B2 (en) * 2011-09-23 2016-08-16 Qualcomm Incorporated Coding reference pictures for a reference picture set
US9451284B2 (en) * 2011-10-10 2016-09-20 Qualcomm Incorporated Efficient signaling of reference picture sets
US20130094774A1 (en) * 2011-10-13 2013-04-18 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US8768079B2 (en) 2011-10-13 2014-07-01 Sharp Laboratories Of America, Inc. Tracking a reference picture on an electronic device
JP5995111B2 (ja) 2011-10-19 2016-09-21 サン パテント トラスト 画像符号化方法及び画像符号化装置
GB2497914B (en) * 2011-10-20 2015-03-18 Skype Transmission of video data
CN107277533B (zh) 2011-10-28 2020-04-24 三星电子株式会社 帧间预测的方法及其装置和运动补偿的方法及其装置
US10003817B2 (en) * 2011-11-07 2018-06-19 Microsoft Technology Licensing, Llc Signaling of state information for a decoded picture buffer and reference picture lists
JP6078927B2 (ja) * 2012-01-10 2017-02-15 サン パテント トラスト 動画像符号化方法、動画像符号化装置、動画像復号方法、及び、動画像復号装置
US9532046B2 (en) 2012-04-16 2016-12-27 Qualcomm Incorporated Reference picture set prediction for video coding
MY198315A (en) 2012-04-16 2023-08-23 Samsung Electronics Co Ltd Method And Apparatus For Determining Reference Picture Set Of Image
US9979959B2 (en) 2012-04-20 2018-05-22 Qualcomm Incorporated Video coding with enhanced support for stream adaptation and splicing
WO2014002385A1 (ja) * 2012-06-25 2014-01-03 日本電気株式会社 映像符号化/復号装置、方法、プログラム
US9332255B2 (en) * 2012-06-28 2016-05-03 Qualcomm Incorporated Signaling long-term reference pictures for video coding
US9479776B2 (en) * 2012-07-02 2016-10-25 Qualcomm Incorporated Signaling of long-term reference pictures for video coding
US9313500B2 (en) 2012-09-30 2016-04-12 Microsoft Technology Licensing, Llc Conditional signalling of reference picture list modification information
JP6365924B2 (ja) * 2013-05-09 2018-08-01 サン パテント トラスト 画像復号方法及び画像復号装置
GB2524726B (en) * 2014-03-25 2018-05-23 Canon Kk Image data encapsulation with tile support
KR20160071569A (ko) * 2014-12-11 2016-06-22 삼성전자주식회사 비디오 장치에서의 영상 처리 방법 및 그에 따른 비디오 장치
US10097836B2 (en) * 2015-09-28 2018-10-09 Samsung Electronics Co., Ltd. Method and device to mark a reference picture for video coding
EP3563571A4 (en) 2016-12-30 2020-02-12 Telefonaktiebolaget LM Ericsson (publ) DECODED IMAGE BUFFER MEMORY MANAGEMENT FOR PROCESSING PREDICTION OF CROSS IMAGE DATA
KR20210024164A (ko) 2018-07-01 2021-03-04 샤프 가부시키가이샤 코딩된 비디오에 포함된 픽처에 대한 픽처 순서 카운트 값을 시그널링하기 위한 시스템 및 방법
US10904545B2 (en) * 2018-12-26 2021-01-26 Tencent America LLC Method for syntax controlled decoded picture buffer management
CN110012295B (zh) * 2019-05-07 2021-05-25 杭州当虹科技股份有限公司 一种avs2解码器参考图像管理的容错方法
JP7431330B2 (ja) 2019-12-26 2024-02-14 バイトダンス インコーポレイテッド ビデオコーディングにおけるプロファイル、層及びレイヤの指示
JP7425204B2 (ja) 2019-12-26 2024-01-30 バイトダンス インコーポレイテッド ビデオビットストリームにおける仮想参照デコーダパラメータのシグナリングに対する制約
EP4066387A4 (en) * 2019-12-27 2023-02-15 ByteDance Inc. SUBPICTURE SIGNALING IN PARAMETER SETS
KR20220125235A (ko) 2020-01-09 2022-09-14 바이트댄스 아이엔씨 상이한 sei 메시지들의 디코딩 순서

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100208828A1 (en) * 2009-02-18 2010-08-19 Novatek Microelectronics Corp. Picture decoder, reference picture information communication interface, and reference picture control method

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050207490A1 (en) 2004-03-18 2005-09-22 Wang Jason N Stored picture index for AVC coding
CN101491095B (zh) * 2006-03-30 2013-07-10 Lg电子株式会社 用于解码/编码视频信号的方法和装置
US8532178B2 (en) 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
MY149409A (en) * 2006-10-20 2013-08-30 Nokia Corp Virtual decoded reference picture marking and reference picture list
RU2426227C2 (ru) * 2006-11-14 2011-08-10 Квэлкомм Инкорпорейтед Кодирование кодов переменной длины с эффективным использованием памяти
JP5023739B2 (ja) 2007-02-28 2012-09-12 ソニー株式会社 画像情報符号化装置及び符号化方法
US8494049B2 (en) * 2007-04-09 2013-07-23 Cisco Technology, Inc. Long term reference frame management with error video feedback for compressed video communication
KR20090090152A (ko) * 2008-02-20 2009-08-25 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
JP2009260736A (ja) * 2008-03-24 2009-11-05 Fujitsu Ltd エンコーディング装置、デコーディング装置、動画像処理方法、動画像処理システム、エンコーディングプログラムおよびデコーディングプログラム
US8743970B2 (en) * 2009-04-13 2014-06-03 Freescale Semiconductor, Inc. Video decoding with error detection and concealment
US9008181B2 (en) * 2011-01-24 2015-04-14 Qualcomm Incorporated Single reference picture list utilization for interprediction video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100208828A1 (en) * 2009-02-18 2010-08-19 Novatek Microelectronics Corp. Picture decoder, reference picture information communication interface, and reference picture control method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Multi-picture Buffer Semantics for Interlaced Coding," JVT-C049 (2002.05.10.)*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022225369A1 (ko) * 2021-04-23 2022-10-27 엘지전자 주식회사 레이어 식별자 정보를 포함하는 sei 메시지 기반의 영상 부호화/복호화 방법, 장치, 및 비트스트림을 전송하는 방법

Also Published As

Publication number Publication date
MY166191A (en) 2018-06-07
CN103765900B (zh) 2016-12-21
US20150078458A1 (en) 2015-03-19
MX2013015397A (es) 2014-03-31
RU2581566C2 (ru) 2016-04-20
US9247262B2 (en) 2016-01-26
AU2012276349A1 (en) 2014-01-16
BR112013033934A2 (pt) 2017-02-14
JP2015029338A (ja) 2015-02-12
US20140126640A1 (en) 2014-05-08
CN103765900A (zh) 2014-04-30
JP2014523691A (ja) 2014-09-11
JP5848810B2 (ja) 2016-01-27
EP2687012A1 (en) 2014-01-22
KR20140051906A (ko) 2014-05-02
BR112013033934B1 (pt) 2022-05-10
WO2013002701A1 (en) 2013-01-03
JP5624693B2 (ja) 2014-11-12
RU2014102955A (ru) 2015-08-10

Similar Documents

Publication Publication Date Title
KR101631774B1 (ko) 절대 또는 명확한 레퍼러스 픽처 시그널링
KR101813769B1 (ko) 레퍼러스 픽처 시그널링

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190531

Year of fee payment: 4