KR20230175325A - 영상 정보 전송 방법 및 장치와 이를 이용한 복호화 방법 및 장치 - Google Patents

영상 정보 전송 방법 및 장치와 이를 이용한 복호화 방법 및 장치 Download PDF

Info

Publication number
KR20230175325A
KR20230175325A KR1020237043151A KR20237043151A KR20230175325A KR 20230175325 A KR20230175325 A KR 20230175325A KR 1020237043151 A KR1020237043151 A KR 1020237043151A KR 20237043151 A KR20237043151 A KR 20237043151A KR 20230175325 A KR20230175325 A KR 20230175325A
Authority
KR
South Korea
Prior art keywords
ltrp
reference picture
information
sps
poc
Prior art date
Application number
KR1020237043151A
Other languages
English (en)
Inventor
전병문
헨드리헨드리
박승욱
임재현
전용준
박준영
김정선
김철근
정상오
박내리
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20230175325A publication Critical patent/KR20230175325A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

본 발명에 따른 영상 복호화 방법은, 수신한 비트스트림의 정보를 엔트로피 복호화함으로써, 현재 픽쳐의 참조 픽쳐 세트를 구성하기 위한 정보를 획득하는 단계 및 참조 픽쳐 세트에 기반하여 구성된 참조 픽쳐 리스트를 이용하여, 현재 픽쳐 내의 예측 대상 블록에 대한 예측을 수행하는 단계를 포함한다.

Description

영상 정보 전송 방법 및 장치와 이를 이용한 복호화 방법 및 장치{METHOD AND DEVICE FOR TRANSMITTING IMAGE INFORMATION, AND DECODING METHOD AND DEVICE USING SAME}
본 발명은 영상 처리에 관한 것으로서, 보다 상세하게는 영상 정보를 효율적으로 전송하는 방법 및 장치와 이를 이용한 복호화 방법 및 장치에 관한 것이다.
최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 하지만, 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가한다.
따라서 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 정보를 전송하거나 기존의 저장 매체를 기반으로 영상 정보가 저장되는 경우에는, 정보의 전송 비용과 저장 비용이 증가하게 된다.
고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술이 이용될 수 있다.
영상 압축의 효율을 높이기 위해, 인터 예측과 인트라 예측이 이용될 수 있다. 인터 예측(inter prediction) 방법에서는 다른 픽쳐의 정보를 참조하여 현재 픽쳐(picture)의 픽셀 값이 예측될 수 있으며, 인트라 예측(intra prediction) 방법에서는 동일한 픽쳐 내에서 픽셀 간 연관 관계를 이용하여 픽셀값이 예측될 수 있다.
인터 예측이 적용되는 경우에, 부호화 장치와 복호화 장치는 현재 블록(현재 픽쳐)이 이용할 수 있는 참조 픽쳐들을 지시하는 참조 픽쳐 리스트에 기반해서 예측을 수행할 수 있다.
참조 픽쳐 리스트를 구성하기 위한 정보는 부호화 장치로부터 복호화 장치로 전송될 수 있다. 복호화 장치는 부호화 장치로부터 수신한 정보를 기반으로 참조 픽쳐 리스트를 구성해서 인터 예측을 효과적으로 수행할 수 있다.
본 발명의 기술적 과제는 영상 부호화/복호화 효율을 향상시킬 수 있는 영상 부호화 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 영상 부호화/복호화 효율을 향상시킬 수 있는 영상 복호화 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 영상 부호화/복호화 효율을 향상시킬 수 있는 영상 정보 전송 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 영상 부호화/복호화 효율을 향상시킬 수 있는 예측 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 영상 부호화/복호화 효율을 향상시킬 수 있는 참조 픽쳐 리스트 생성 방법 및 장치를 제공함에 있다.
본 발명의 일 실시 형태는 영상 복호화 방법이다. 상기 방법은, 수신한 비트스트림의 정보를 엔트로피 복호화함으로써, 현재 픽쳐의 참조 픽쳐 세트(reference picture set)를 구성하기 위한 정보를 획득하는 단계 및 상기 참조 픽쳐 세트에 기반하여 구성된 참조 픽쳐 리스트(reference picture list)를 이용하여, 상기 현재 픽쳐 내의 예측 대상 블록에 대한 예측을 수행하는 단계를 포함할 수 있다. 여기서, 상기 참조 픽쳐 세트를 구성하기 위한 정보는, 현재 시퀀스(sequence)에 속한 적어도 하나의 픽쳐에서 LTRP(Long-Term Reference Picture)가 인터 예측에 사용되는지 여부를 지시하는 제1 플래그 정보를 포함할 수 있고, 상기 제1 플래그 정보는 SPS(Sequence Parameter Set)에 포함되어 시퀀스 별로 전송될 수 있다.
상기 제1 플래그 정보가, 현재 시퀀스에 속한 적어도 하나의 픽쳐에서 LTRP가 인터 예측에 사용된다는 것을 지시하는 경우, 상기 참조 픽쳐 세트는 장기 참조 픽쳐 세트(long-term reference picture set)를 포함할 수 있고, 상기 참조 픽쳐 세트를 구성하기 위한 정보는, 상기 장기 참조 픽쳐 세트에 포함될 LTRP의 POC(Picture Order Count)를 유도하기 위한 정보를 더 포함할 수 있다.
상기 POC를 유도하기 위한 정보는, SPS를 통해 전송되는 적어도 하나의 SPS 후보 LTRP 중에서 상기 장기 참조 픽쳐 세트에 포함될 LTRP를 지시하는 SPS LTRP 인덱스 정보를 포함할 수 있고, 상기 장기 참조 픽쳐 세트에 포함될 LTRP의 POC는 상기 SPS LTRP 인덱스 정보가 지시하는 LTRP의 POC의 LSB(Least Significant Bit)를 기반으로 도출될 수 있으며, 상기 SPS LTRP 인덱스 정보는 상기 현재 픽쳐에 대응되는 슬라이스 헤더(slice header)에 포함되어 전송될 수 있다.
상기 참조 픽쳐 세트를 구성하기 위한 정보는, 상기 SPS LTRP 인덱스 정보가 지시하는 LTRP가 상기 현재 시퀀스에 속한 픽쳐에 의해 참조 픽쳐로 사용되는지 여부를 지시하는 제2 플래그 정보를 포함할 수 있고, 상기 제2 플래그 정보가 상기 SPS LTRP 인덱스 정보가 지시하는 LTRP가 상기 현재 시퀀스에 속한 픽쳐에 의해 참조 픽쳐로 사용되지 않는다는 것을 지시하는 경우, 상기 장기 참조 픽쳐 세트는 상기 SPS LTRP 인덱스 정보가 지시하는 LTRP를 포함하지 않을 수 있으며, 상기 제2 플래그 정보는 SPS(Sequence Parameter Set)에 포함되어 시퀀스 별로 전송될 수 있다.
상기 SPS LTRP 인덱스 정보는 고정된 개수의 비트를 기반으로 부호화되어 전송될 수 있다.
상기 POC를 유도하기 위한 정보는, 상기 장기 참조 픽쳐 세트에 포함될 LTRP의 POC의 LSB를 나타내는 POC LSB 정보를 포함할 수 있고, 상기 장기 참조 픽쳐 세트에 포함될 LTRP의 POC는 상기 POC LSB 정보를 기반으로 도출될 수 있으며, 상기 POC LSB 정보는 상기 현재 픽쳐에 대응되는 슬라이스 헤더에 포함되어 전송될 수 있다.
상기 참조 픽쳐 세트를 구성하기 위한 정보는, 상기 POC LSB 정보를 기반으로 도출되는 POC를 갖는 LTRP가 상기 현재 픽쳐에 의해 참조 픽쳐로 사용되는지 여부를 지시하는 제3 플래그 정보를 포함할 수 있고, 상기 제3 플래그 정보가 상기 POC LSB 정보를 기반으로 도출되는 POC를 갖는 LTRP가 상기 현재 픽쳐에 의해 참조 픽쳐로 사용되지 않는다는 것을 지시하는 경우, 상기 장기 참조 픽쳐 세트는 상기 POC LSB 정보를 기반으로 도출되는 POC를 갖는 LTRP를 포함하지 않을 수 있으며, 상기 제3 플래그 정보는 상기 현재 픽쳐에 대응되는 슬라이스 헤더에 포함되어 전송될 수 있다.
본 발명의 다른 실시 형태는 영상 복호화 장치이다. 상기 장치는, 수신한 비트스트림의 정보를 엔트로피 복호화함으로써, 현재 픽쳐의 참조 픽쳐 세트(reference picture set)를 구성하기 위한 정보를 획득하는 엔트로피 복호화부, 상기 참조 픽쳐 세트에 기반하여 구성된 참조 픽쳐 리스트(reference picture list)를 이용하여 상기 현재 픽쳐 내의 예측 대상 블록에 대한 예측을 수행함으로써, 상기 예측 대상 블록에 대응되는 예측 블록을 생성하는 예측부 및 상기 예측 블록을 기반으로 복원 블록을 생성하는 복원 블록 생성부를 포함할 수 있다. 여기서, 상기 참조 픽쳐 세트를 구성하기 위한 정보는, 현재 시퀀스(sequence)에 속한 적어도 하나의 픽쳐에서 LTRP(Long-Term Reference Picture)가 인터 예측에 사용되는지 여부를 지시하는 제1 플래그 정보를 포함할 수 있고, 상기 제1 플래그 정보는 SPS(Sequence Parameter Set)에 포함되어 시퀀스 별로 전송될 수 있다.
본 발명의 또 다른 실시 형태는 영상 정보 전송 방법이다. 상기 방법은, 참조 픽쳐 리스트(reference picture list)를 이용하여 현재 픽쳐에 대한 인터 예측을 수행하는 단계 및 상기 참조 픽쳐 리스트의 생성에 이용되는 참조 픽쳐 세트를 구성하기 위한 정보를 엔트로피 부호화하여 전송하는 단계를 포함할 수 있다. 여기서, 상기 참조 픽쳐 세트를 구성하기 위한 정보는, 현재 시퀀스(sequence)에 속한 적어도 하나의 픽쳐에서 LTRP(Long-Term Reference Picture)가 인터 예측에 사용되는지 여부를 지시하는 제1 플래그 정보를 포함할 수 있고, 상기 엔트로피 부호화하여 전송하는 단계에서는, 상기 제1 플래그 정보를 SPS(Sequence Parameter Set)에서 시퀀스 별로 전송할 수 있다.
상기 제1 플래그 정보가, 현재 시퀀스에 속한 적어도 하나의 픽쳐에서 LTRP가 인터 예측에 사용된다는 것을 지시하는 경우, 상기 참조 픽쳐 세트는 장기 참조 픽쳐 세트(long-term reference picture set)를 포함할 수 있고, 상기 참조 픽쳐 세트를 구성하기 위한 정보는, 상기 장기 참조 픽쳐 세트에 포함될 LTRP의 POC(Picture Order Count)를 유도하기 위한 정보를 더 포함할 수 있다.
상기 POC를 유도하기 위한 정보는, SPS를 통해 전송되는 적어도 하나의 SPS 후보 LTRP 중에서 상기 장기 참조 픽쳐 세트에 포함될 LTRP를 지시하는 SPS LTRP 인덱스 정보를 포함할 수 있고, 상기 엔트로피 부호화하여 전송하는 단계에서는, 상기 적어도 하나의 SPS 후보 LTRP 각각의 POC의 LSB(Least Significant Bit)를 나타내는 SPS POC LSB 정보를 SPS에서 시퀀스 별로 전송할 수 있고, 상기 SPS LTRP 인덱스 정보를 상기 현재 픽쳐에 대응되는 슬라이스 헤더(slice header)에서 전송할 수 있다.
상기 참조 픽쳐 세트를 구성하기 위한 정보는, 상기 SPS LTRP 인덱스 정보가 지시하는 LTRP가 상기 현재 시퀀스에 속한 픽쳐에 의해 참조 픽쳐로 사용되는지 여부를 지시하는 제2 플래그 정보를 포함할 수 있고, 상기 제2 플래그 정보가 상기 SPS LTRP 인덱스 정보가 지시하는 LTRP가 상기 현재 시퀀스에 속한 픽쳐에 의해 참조 픽쳐로 사용되지 않는다는 것을 지시하는 경우, 상기 장기 참조 픽쳐 세트는 상기 SPS LTRP 인덱스 정보가 지시하는 LTRP를 포함하지 않을 수 있으며, 상기 엔트로피 부호화하여 전송하는 단계에서는, 상기 제2 플래그 정보를 SPS에서 시퀀스 별로 전송할 수 있다.
상기 엔트로피 부호화하여 전송하는 단계에서는, 고정된 개수의 비트를 기반으로 상기 SPS LTRP 인덱스 정보에 대한 엔트로피 부호화를 수행할 수 있다.
상기 POC를 유도하기 위한 정보는, 상기 장기 참조 픽쳐 세트에 포함될 LTRP의 POC의 LSB를 나타내는 POC LSB 정보를 포함할 수 있고, 상기 엔트로피 부호화하여 전송하는 단계에서는, 상기 POC LSB 정보를 상기 현재 픽쳐에 대응되는 슬라이스 헤더에서 전송할 수 있다.
상기 참조 픽쳐 세트를 구성하기 위한 정보는, 상기 POC LSB 정보에 대응되는 POC를 갖는 LTRP가 상기 현재 픽쳐에 의해 참조 픽쳐로 사용되는지 여부를 지시하는 제3 플래그 정보를 포함할 수 있고, 상기 제3 플래그 정보가 상기 POC LSB 정보에 대응되는 POC를 갖는 LTRP가 상기 현재 픽쳐에 의해 참조 픽쳐로 사용되지 않는다는 것을 지시하는 경우, 상기 장기 참조 픽쳐 세트는 상기 POC LSB 정보에 대응되는 POC를 갖는 LTRP를 포함하지 않을 수 있으며, 상기 엔트로피 부호화하여 전송하는 단계에서는, 상기 제3 플래그 정보를 상기 현재 픽쳐에 대응되는 슬라이스 헤더에서 전송할 수 있다.
본 발명의 또 다른 실시 형태는 영상 정보 전송 장치이다. 상기 장치는, 참조 픽쳐 리스트(reference picture list)를 이용하여 현재 픽쳐에 대한 인터 예측을 수행하는 예측부 및 상기 참조 픽쳐 리스트의 생성에 이용되는 참조 픽쳐 세트를 구성하기 위한 정보를 엔트로피 부호화하여 전송하는 엔트로피 부호화부를 포함할 수 있다. 여기서, 상기 참조 픽쳐 세트를 구성하기 위한 정보는, 현재 시퀀스(sequence)에 속한 적어도 하나의 픽쳐에서 LTRP(Long-Term Reference Picture)가 인터 예측에 사용되는지 여부를 지시하는 제1 플래그 정보를 포함할 수 있고, 상기 엔트로피 부호화부는, 상기 제1 플래그 정보를 SPS(Sequence Parameter Set)에서 시퀀스 별로 전송할 수 있다.
본 발명에 따른 영상 부호화 방법에 의하면, 영상 부호화/복호화 효율이 향상될 수 있다.
본 발명에 따른 영상 복호화 방법에 의하면, 영상 부호화/복호화 효율이 향상될 수 있다.
본 발명에 따른 영상 정보 전송 방법에 의하면, 영상 부호화/복호화 효율이 향상될 수 있다.
본 발명에 따른 예측 방법에 의하면, 영상 부호화/복호화 효율이 향상될 수 있다.
본 발명에 따른 참조 픽쳐 리스트 생성 방법에 의하면, 영상 부호화/복호화 효율이 향상될 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 복호화 장치를 개략적으로 나타낸 블록도이다.
도 3은 현재 블록에 대해 인터 예측이 수행되는 경우에 이용될 수 있는 후보 블록의 일 실시예를 개략적으로 설명하는 도면이다.
도 4는 참조 픽쳐 세트를 기반으로 참조 픽쳐 리스트를 구성하는 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 5는 참조 픽쳐 리스트의 초기화를 수행하는 장치의 일 실시예를 개략적으로 나타내는 블록도이다.
도 6은 본 발명에 따라서 부호화 장치가 수행하는 부호화 과정을 개략적으로 설명하는 흐름도이다.
도 7은 본 발명에 따라서 복호화 장치가 수행하는 복호화 과정을 개략적으로 설명하는 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 영상 부호화 장치/복호화 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 도시한 블록도이다. 도 1을 참조하면, 영상 부호화 장치(100)는 픽쳐 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 부호화부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(150)를 구비한다.
픽쳐 분할부(105)는 입력된 픽쳐를 적어도 하나의 처리 단위 블록으로 분할할 수 있다. 이때, 처리 단위로서의 블록은 예측 유닛(Prediction Unit, 이하 'PU'라 함)일 수도 있고, 변환 유닛(Transform Unit, 이하 'TU'라 함)일 수도 있으며, 코딩 유닛(Coding Unit, 이하 'CU'라 함)일 수도 있다.
예측부(110)는 인터 예측을 수행하는 인터 예측부와 인트라 예측을 수행하는 인트라 예측부를 포함할 수 있다. 예측부(110)는, 픽쳐 분할부(105)에서 픽쳐의 처리 단위에 대하여 예측을 수행하여 예측 블록을 생성할 수 있다. 예측부(110)에서 픽쳐의 처리 단위는 CU일 수도 있고, TU일 수도 있고, PU일 수도 있다. 또한, 예측부(110)는 해당 처리 단위에 대하여 실시되는 예측이 인터 예측인지 인트라 예측인지를 결정하고, 각 예측 방법의 구체적인 내용(예컨대, 예측 모드 등)을 정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 예측 방법의 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 PU 단위로 결정되고, 예측의 수행은 TU 단위로 수행될 수도 있다.
인터 예측을 통해서는 현재 픽쳐의 이전 픽쳐 및/또는 이후 픽쳐 중 적어도 하나의 픽쳐의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 또한, 인트라 예측을 통해서는 현재 픽쳐 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 예측의 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Prediction) 등이 이용될 수 있다. 인터 예측에서는 PU에 대하여, 참조 픽쳐가 선택되고 PU와 동일한 크기의 참조 블록이 선택될 수 있다. 참조 블록은 정수 픽셀 단위로 선택될 수 있다. 이어서, 현재 PU와의 잔차(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되는 예측 블록이 생성될 수 있다.
예측 블록은 정수 샘플 단위로 생성될 수도 있고, 1/2 픽셀 단위 또는 1/4 픽셀 단위와 같이 정수 이하 픽셀 단위로 생성될 수도 있다. 이 때, 움직임 벡터 역시 정수 픽셀 이하의 단위로 표현될 수 있다. 예컨대 루마(luma) 샘플에 대해서는 1/4 픽셀 단위로, 크로마(chroma) 샘플에 대해서는 1/8 픽셀 단위로 표현될 수 있다.
인터 예측을 통해 선택된 참조 픽쳐의 인덱스, 움직임 벡터(ex. Motion Vector Predictor), 잔차 신호 등의 정보는 엔트로피 부호화되어 복호화 장치에 전달될 수 있다. 스킵 모드가 적용되는 경우에는 예측 블록이 복원 블록으로 사용될 수 있으므로, 잔차 신호가 생성, 변환, 양자화, 전송되지 않을 수 있다.
인트라 예측이 수행되는 경우에는, PU 단위로 예측 모드가 정해져서 PU 단위로 예측이 수행될 수 있다. 또한, PU 단위로 예측 모드가 정해지고 TU 단위로 인트라 예측이 수행될 수도 있다.
인트라 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비향성성 모드는 DC 예측 모드 및 플래너 모드(Planar 모드)을 포함할 수 있다.
인트라 예측에서는 참조 샘플에 필터가 적용된 후 예측 블록이 생성될 수 있다. 이때, 참조 샘플에 필터를 적용할 것인지는 현재 블록의 인트라 예측 모드 및/또는 사이즈에 따라 결정될 수 있다.
PU는 다양한 사이즈/형태의 블록일 수 있으며, 예컨대 인터 예측의 경우에 PU는 2N×2N 블록, 2N×N 블록, N×2N 블록, 또는 N×N 블록 (N은 정수) 등일 수 있다. 인트라 예측의 경우에 PU는 2N×2N 블록 또는 N×N 블록 (N은 정수) 등일 수 있다. 이 때, N×N 블록 크기의 PU는 특정한 경우에만 적용하도록 설정될 수 있다. 예컨대 최소 크기 CU에 대해서만 NxN 블록 크기의 PU가 이용되도록 정해지거나 인트라 예측에 대해서만 이용되도록 정해질 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN 블록, mN×N 블록, 2N×mN 블록 또는 mN×2N 블록 (m<1) 등의 PU가 더 정의되어 사용될 수도 있다.
생성된 예측 블록과 원본 블록 사이의 잔차 값(잔차 블록 또는 잔차 신호)은 변환부(115)로 입력될 수 있다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터 정보 등은 잔차 값과 함께 엔트로피 부호화부(130)에서 부호화되어 복호화 장치에 전달될 수 있다.
변환부(115)는 변환 단위로 잔차 블록에 대한 변환을 수행하고 변환 계수를 생성할 수 있다. 변환부(115)에서의 변환 단위는 TU일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다. 이 때, 변환 단위의 크기는 소정의 최대 및 최소 크기의 범위 내에서 정해질 수 있다. 변환부(115)는 잔차 블록을 DCT(Discrete Cosine Transform) 및/또는 DST(Discrete Sine Transform)를 이용하여 변환할 수 있다.
양자화부(120)는 변환부(115)에서 변환된 잔차 값들을 양자화하여 양자화 계수를 생성할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공될 수 있다.
재정렬부(125)는 양자화부(120)로부터 제공된 양자화 계수를 재정렬할 수 있다. 양자화 계수를 재정렬함으로써 엔트로피 부호화부(130)에서의 부호화 효율이 향상될 수 있다. 재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원 블록 형태의 양자화 계수들을 1차원의 벡터 형태로 재정렬할 수 있다. 재정렬부(125)는 양자화부에서 전송된 계수들의 확률적인 통계를 기반으로 계수 스캐닝의 순서를 변경함으로써 엔트로피 부호화부(130)에서의 엔트로피 부호화 효율을 높일 수도 있다.
엔트로피 부호화부(130)는 재정렬부(125)에 의해 재정렬된 양자화 계수들에 대한 엔트로피 부호화를 수행할 수 있다. 엔트로피 부호화에는 예를 들어, 지수 골룸(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 부호화 방법이 사용될 수 있다. 엔트로피 부호화부(130)는 재정렬부(125) 및 예측부(110)로부터 전달받은 CU의 양자화 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, PU 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 픽쳐 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 부호화할 수 있다.
또한, 엔트로피 부호화부(130)는 필요한 경우에, 전송하는 파라미터 셋(parameter set) 또는 신택스에 일정한 변경을 가할 수도 있다.
역양자화부(135)는 양자화부(120)에서 양자화된 값들을 역양자화하고, 역변환부(140)는 역양자화부(135)에서 역양자화된 값들을 역변환할 수 있다. 역양자화부(135) 및 역변환부(140)에서 생성된 잔차 값과 예측부(110)에서 예측된 예측 블록이 합쳐져 복원 블록(Reconstructed Block)이 생성될 수 있다.
도 1에서는 가산기를 통해서, 잔차 블록과 예측 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)으로 볼 수도 있다.
필터부(145)는 디블록킹 필터, SAO(Sample Adaptive Offset) 및/또는 ALF(Adaptive Loop Filter)를 복원된 픽쳐에 적용할 수 있다.
디블록킹 필터는 복원된 픽쳐에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. SAO는 디블록킹 필터가 적용된 잔차 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용될 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터 및/또는 SAO를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. ALF는 고효율을 적용하는 경우에만 수행될 수도 있다.
한편, 인터 예측에 사용되는 복원 블록에 대해서 필터부(145)는 필터링을 적용하지 않을 수도 있다.
메모리(150)는 필터부(145)를 통해 산출된 복원 블록 또는 픽쳐를 저장할 수 있다. 메모리(150)에 저장된 복원 블록 또는 픽쳐는 인터 예측을 수행하는 예측부(110)에 제공될 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 복호화 장치를 개략적으로 나타낸 블록도이다. 도 2를 참조하면, 영상 복호화 장치(200)는 엔트로피 복호화부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 및 메모리(240)를 포함할 수 있다.
영상 부호화 장치로부터 영상 비트스트림이 입력된 경우, 입력된 비트스트림은 영상 부호화 장치에서 영상 정보가 처리된 절차에 따라서 복호화될 수 있다.
예컨대, 영상 부호화 장치에서 엔트로피 부호화를 수행하기 위해 CAVLC 등의 가변 길이 부호화(Variable Length Coding: VLC, 이하 'VLC' 라 함)가 사용된 경우에, 엔트로피 복호화부(210)도 부호화 장치에서 사용한 VLC 테이블과 동일한 VLC 테이블로 구현하여 엔트로피 복호화를 수행할 수 있다. 또한, 영상 부호화 장치에서 엔트로피 부호화를 수행하기 위해 CABAC을 이용한 경우에, 엔트로피 복호화부(210)는 이에 대응하여 CABAC을 이용한 엔트로피 복호화를 수행할 수 있다.
엔트로피 복호화부(210)에서 복호화된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(230)로 제공될 수 있고, 엔트로피 복호화부(210)에서 엔트로피 복호화가 수행된 잔차 값은 재정렬부(215)로 입력될 수 있다.
재정렬부(215)는 엔트로피 복호화부(210)에서 엔트로피 복호화된 비트스트림을 영상 부호화 장치에서 재정렬한 방법을 기초로 재정렬할 수 있다. 재정렬부(215)는 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부(215)는 부호화 장치에서 수행된 계수 스캐닝에 관련된 정보를 제공받고 부호화 장치에서 수행된 스캐닝 순서에 기초하여 역으로 스캐닝하는 방법을 통해 재정렬을 수행할 수 있다.
역양자화부(220)는 부호화 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(225)는 영상 부호화 장치에서 수행된 양자화 결과에 대해, 부호화 장치의 변환부가 수행한 DCT 및 DST에 대해 역DCT 및/또는 역DST를 수행할 수 있다. 역변환은 부호화 장치에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 부호화 장치의 변환부에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 복호화 장치의 역변환부(225)는 부호화 장치의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예측부(230)는 엔트로피 복호화부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(240)에서 제공된 이전에 복호화된 블록 및/또는 픽쳐 정보를 기초로 예측 블록을 생성할 수 있다.
현재 PU에 대한 예측 모드가 인트라 예측(intra prediction) 모드인 경우에, 예측부(230)는 현재 픽쳐 내의 픽셀 정보를 기초로 예측 블록을 생성하는 인트라 예측을 수행할 수 있다.
현재 PU에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 예측부(230)는 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐에 포함된 정보를 기초로 현재 PU에 대한 인터 예측을 수행할 수 있다. 이때, 영상 부호화 장치에서 제공된 현재 PU의 인터 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽쳐 인덱스 등에 관한 정보는 부호화 장치로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도될 수 있다.
복원 블록은 예측부(230)에서 생성된 예측 블록과 역변환부(225)에서 제공된 잔차 블록을 이용해 생성될 수 있다. 도 2에서는 가산기에서 예측 블록과 잔차 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수도 있다.
스킵 모드가 적용되는 경우에는 잔차 신호가 전송되지 않으며 예측 블록이 복원 블록으로 사용될 수 있다.
복원된 블록 및/또는 픽쳐는 필터부(235)로 제공될 수 있다. 필터부(235)는 복원된 블록 및/또는 픽쳐에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 ALF 등을 적용할 수 있다.
메모리(240)는 복원된 픽쳐 또는 블록을 저장하여 참조 픽쳐 또는 참조 블록으로 사용될 수 있도록 할 수 있고 또한 복원된 픽쳐를 출력부로 제공할 수 있다.
한편, 부호화되거나 복호화된 픽쳐들은 메모리, 예컨대 DPB(Decoded Picture Buffer)에 저장될 수 있다. 현재 픽쳐를 부호화하거나 복호화하는 경우에, 현재 픽쳐에 대한 예측을 수행하기 위해 DPB에 저장된 이전의 픽쳐들이 참조될 수 있다.
구체적으로 부호화 장치와 복호화 장치는 인터 예측에 사용하기 위해 이전에 부호화/복호화된 픽쳐들을 참조 픽쳐 리스트에 유지할 수 있다.
인터 예측이 적용되는 경우에, 부호화 장치와 복호화 장치는 다른 픽쳐를 참조하여 현재 픽쳐의 대상 블록(현재 블록)에 대한 예측을 수행할 수 있다. 인터 예측은 도 1 및 도 2에 도시된 바와 같이, 부호화 장치와 복호화 장치 내 예측부에서 수행될 수도 있다.
인터 예측이 수행되는 경우에는 상술한 바와 같이, 현재 블록에 인접하고 이용 가능한(available) 주변 블록의 정보를 이용하여 현재 블록에 대한 예측이 수행될 수 있다. 이 때, 주변 블록은 현재 블록이 참조할 수 있는 참조 픽쳐들에 속한 'Col 블록'을 포함할 수 있다. 여기서, Col 블록은 현재 블록이 참조할 수 있는 참조 픽쳐 내에서, 현재 블록과 공간적으로 동일한 위치에 존재하는 '동일 위치 블록'에 대한 상대적인 위치를 기반으로 결정될 수 있다. 예컨대, 동일 위치 블록에 대응되는 소정의 상대적인 위치의 픽셀을 커버하는 저장 단위가 특정될 수 있고, Col 블록은 상기 저장 단위 내의 가장 좌측 상단 픽셀을 커버하는 블록일 수 있다.
이하, 본 명세서에서는 설명의 편의를 위해, 인터 예측에서 현재 블록에 대한 예측을 수행하기 위해 이용되는 주변 블록을 '후보 블록'이라고 한다.
인터 예측에서는 후보 블록의 정보를 기반으로 현재 블록에 대한 예측이 수행될 수 있다. 스킵 모드 또는 머지 모드의 경우에는, 후보 블록 중 선택된 블록에 대한 움직임 정보(예컨대, 움직임 벡터) 및/또는 참조 픽쳐가 현재 블록에 대한 움직임 정보 및/또는 참조 픽쳐로 이용될 수 있다.
MVP가 적용되는 경우에는, 후보 블록 중 선택된 블록에 대한 움직임 정보(예컨대, 움직임 벡터)가 현재 블록에 대한 움직임 벡터의 예측 값으로 이용될 수 있고 현재 블록에 대한 참조 픽쳐 정보는 부호화 장치로부터 복호화 장치로 전송될 수 있다. 후보 블록으로부터 유도된 MVP 및 현재 블록에 대한 움직임 벡터 간의 차이 MVD(Motion Vector Difference)는 부호화 장치로부터 복호화 장치로 전송될 수 있고, 복호화 장치의 예측부는 MVP 및 MVD를 기반으로 현재 블록에 대한 움직임 정보를 유도할 수 있다.
도 3은 현재 블록에 대해 인터 예측이 수행되는 경우에 이용될 수 있는 후보 블록의 일 실시예를 개략적으로 설명하는 도면이다.
부호화 장치 및 복호화 장치의 예측부는 현재 블록(400) 주변 소정 위치의 블록을 후보 블록으로 이용할 수 있다. 예컨대, 도 3의 예에서는 현재 블록 좌하단에 위치하는 두 개의 블록 A0(410)와 A1(420) 그리고 현재 블록 우상단과 좌상단의 세 블록 B0(430), B1(440), B2(450)이 공간적인 후보 블록으로 선택될 수 있다. 또한, 공간적으로 인접하는 블록 외에 시간적인 후보 블록으로서, 상술한 Col 블록(460)이 후보 블록으로 이용될 수 있다.
한편, 인터 예측에 사용되는 참조 픽쳐에 관해서, 현재 블록에 대한 참조 픽쳐는 주변 블록의 참조 픽쳐로부터 유도되거나 부호화 장치로부터 수신된 정보에 의해 지시될 수 있다. 스킵 모드 또는 머지 모드의 경우에, 복호화 장치의 예측부는 주변 블록의 참조 픽쳐를 현재 블록의 참조 픽쳐로 이용할 수 있다. MVP가 적용되는 경우에, 복호화 장치의 예측부는 현재 블록에 대한 참조 픽쳐를 지시하는 정보를 부호화 장치로부터 수신할 수 있다.
현재 픽쳐보다 이전에 부호화/복호화된 픽쳐들은 메모리(예컨대, Decoded Picture Buffer: DPB)에 저장되어 현재 블록(현재 픽쳐)의 예측에 이용될 수 있다. 현재 블록의 인터 예측에 이용 가능한 픽쳐들은 참조 픽쳐 리스트로 유지될 수 있다. 이 때, 참조 픽쳐 리스트에 포함된 참조 픽쳐들 중에서 현재 블록의 인터 예측에 사용되는 참조 픽쳐는 참조 픽쳐 인덱스에 의해 지시될 수 있다. 즉, 참조 픽쳐 인덱스는 참조 픽쳐 리스트를 구성하는 참조 픽쳐들 중에서 현재 블록의 인터 예측에 사용되는 참조 픽쳐를 지시하는 인덱스를 의미할 수 있다.
I 슬라이스는 인트라 예측을 통해 복호화되는 슬라이스이다. P 슬라이스는 인트라 예측 또는 최대 하나의 움직임 벡터와 하나의 참조 픽쳐를 이용하는 인터 예측을 통해 복호화되는 슬라이스이다. B 슬라이스는 인트라 예측 또는 최대 두 개의 움직임 벡터와 두 개의 참조 픽쳐를 이용하는 인터 예측을 통해 복호화되는 슬라이스이다. 이때, 참조 픽쳐는 단기 참조 픽쳐(Short Term Reference Picture: STRP, 이하 STRP라 함) 및 장기 참조 픽쳐(Long Term Reference Picture: LTRP, 이하 LTRP라 함)를 포함할 수 있다.
여기서, 단기 참조 픽쳐 및 장기 참조 픽쳐는 DPB(Decoded Picture Buffer)에 저장되어 있는 복원된 픽쳐일 수 있다. 단기 참조 픽쳐는 "단기 참조 픽쳐로 이용됨" 또는 "참조 픽쳐로 이용됨"으로 마킹될 수 있다(marked as "used for short-term reference" or "used for reference"). 또한, 장기 참조 픽쳐는 "장기 참조 픽쳐로 이용됨" 또는 "참조 픽쳐로 이용됨"으로 마킹될 수 있다(marked as "used for long-term reference" or "used for reference"). 일례로, 복호화 대상 픽쳐와 장기 참조 픽쳐 간의 POC 차이는 '1'부터 '224-1'까지의 범위에 해당되는 값을 가질 수 있다. 여기서, POC(Picture Order Count)는 픽쳐의 표시 순서를 나타낼 수 있다.
참조 픽쳐 리스트 0 (reference picture list 0, 이하 설명의 편의를 위해 'L0'이라 함)는 P 슬라이스 또는 B 슬라이스의 인터 예측에 이용되는 참조 픽쳐 리스트이다. 참조 픽쳐 리스트 1 (reference picture list 1, 이하 설명의 편의를 위해 'L1'이라 함)은 B 슬라이스의 인터 예측을 위해 이용될 수 있다. 따라서, P 슬라이스의 블록에 대한 인터 예측 시에는 L0를 기반으로 하는 단방향 예측이 수행될 수 있고, B 슬라이스의 블록에 대한 인터 예측 시에는 L0와 L1을 기반으로 하는 쌍예측(bi-prediction)이 수행될 수 있다.
부호화 장치 및/또는 복호화 장치는 인터 예측을 통해 P 슬라이스와 B 슬라이스에 대한 부호화 및/또는 복호화를 수행하는 경우에, 참조 픽쳐 리스트를 구성(construct)할 수 있다. 이 때, 인터 예측에 이용되는 참조 픽쳐는 참조 픽쳐 인덱스를 통해 지정될 수 있다. 상술한 바와 같이, 참조 픽쳐 인덱스는 인터 예측에 이용되는 참조 픽쳐 리스트 상의 참조 픽쳐를 지시하는 인덱스를 의미할 수 있다.
참조 픽쳐 리스트는 부호화 장치 및 복호화 장치에서 결정되거나 생성되는 참조 픽쳐 세트(reference picture set)를 기반으로 구성될 수 있다. 참조 픽쳐 리스트를 구성하는 참조 픽쳐들은 메모리(예컨대, DPB)에 저장될 수 있다. 메모리에 저장되는 픽쳐들(현재 픽쳐 이전에 부호화/복호화된 픽쳐들)은 부호화 장치와 복호화 장치에 의해 관리될 수 있다.
참조 픽쳐를 관리하는 방법으로서 슬라이딩 윈도우(sliding window) 방식이 이용되는 경우에는 참조 픽쳐를 메모리에 저장한 후 일정 시간이 지나면 방출하는 간단한 방법에 의해 참조 픽쳐가 관리될 수 있지만, 몇 가지 문제를 가지고 있다. 예컨대, 더 이상 필요하지 않게 된 참조 픽쳐가 있다고 해도 메모리에서 바로 방출될 수 없기 때문에 효율이 저하될 수 있다. 또한, 저장된 참조 픽쳐가 일정 시간 후에는 메모리로부터 방출되므로, LTRP(Long Term Reference Picture)를 관리하기가 어려워질 수 있다.
슬라이딩 윈도우 방식의 문제를 고려하여, 부호화 장치로부터 참조 픽쳐의 관리에 관한 지시 정보가 직접 시그널링되는 MMCO(Memory Management Command Operation) 방법이 이용될 수도 있다. 특히 MMCO에서는 LTRP 관리(management)와 관련하여, 픽쳐를 LTRP로 할당하기 위한 커맨드(command), LTRP의 상태를 STRP로 변경하기 위한 커맨드 및 LTRP를 "참조 픽쳐로 이용되지 않음"으로 마킹하기 위한(to mark LTRP as "unused for reference") 커맨드 등이 정의될 수 있다.
하지만, MMCO 방법이 이용되는 경우에도 시그널링 과정에서 픽쳐 손실(picture loss)이 발생할 수 있고, 손실된 픽쳐가 MMCO 명령(command)을 포함하고 있었다면, 손실된 MMCO 정보를 복원할 수 없게 됨으로써, 메모리(DPB)가 현재 필요한 픽쳐들이 관리되는 정확한 상태로 유지될 수 없다. 따라서, 인터 예측도 부정확하게 수행될 우려가 있다.
상술한 문제들을 해결하기 위해, 슬라이스(및/또는 픽쳐)의 복호화 과정에 필요한 참조 픽쳐 세트와 관련된 정보를 SPS(Sequence Parameter Set), PPS(Picture Parameter Set) 및/또는 슬라이스 헤더(slice header)에서 전송하는 방법이 이용될 수 있다. 이 때, 참조 픽쳐 리스트는 참조 픽쳐 세트를 기반으로 구성될 수 있다.
참조 픽쳐 세트는 현재 픽쳐/슬라이스 또는 미래(future) 픽쳐/슬라이스의 참조를 위해 이용되는 참조 픽쳐들을 포함할 수 있다. 슬라이스(및/또는 픽쳐)의 복호화 과정에서 사용되는 참조 픽쳐는 단기 참조 픽쳐(STRP) 및 장기 참조 픽쳐(LTRP)를 포함할 수 있다. 또한, 단기 참조 픽쳐(STRP)에는 현재 픽쳐보다 작은 POC를 갖는 순방향 단기 참조 픽쳐 및 현재 픽쳐보다 큰 POC를 갖는 역방향 단기 참조 픽쳐가 있을 수 있다. 이 때, 참조 픽쳐 세트는 순방향 단기 참조 픽쳐, 역방향 단기 참조 픽쳐 및 장기 참조 픽쳐 각각에 대해 결정되거나 생성될 수 있다.
이하, 본 명세서에서는 설명의 편의를 위해 순방향 단기 참조 픽쳐에 대한 참조 픽쳐 세트는 순방향 단기 참조 픽쳐 세트라 하고, 역방향 단기 참조 픽쳐에 대한 참조 픽쳐 세트는 역방향 단기 참조 픽쳐 세트라 하며, 장기 참조 픽쳐에 대한 참조 픽쳐 세트는 장기 참조 픽쳐 세트라 한다. 여기서, 일례로 순방향 단기 참조 픽쳐 세트는 RefPicSetStCurrBefore로 나타내어질 수 있고, 역방향 단기 참조 픽쳐 세트는 RefPicSetStCurrAfter로 나타내어질 수 있으며, 장기 참조 픽쳐 세트는 RefPicSetLtCurr로 나타내어질 수 있다.
도 4는 참조 픽쳐 세트를 기반으로 참조 픽쳐 리스트를 구성하는 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 4의 실시예는 설명의 편의상 복호화 장치의 동작을 중심으로 서술된다. 후술되는 참조 픽쳐 리스트 생성 과정은 참조 픽쳐 리스트 초기화(initialization) 과정으로 볼 수도 있다.
도 4를 참조하면, 복호화 장치는 부호화 장치로부터 전송된 참조 픽쳐 세트 관련 정보를 기반으로 참조 픽쳐 세트를 구성할 수 있다(S410). 일례로, 참조 픽쳐 세트는 인터 예측이 적용되는 픽쳐마다 구성될 수 있다.
여기서, 참조 픽쳐 세트는 순방향 단기 참조 픽쳐 세트, 역방향 단기 참조 픽쳐 세트 및 장기 참조 픽쳐 세트를 포함할 수 있다. 각각의 참조 픽쳐 세트에 포함되는 참조 픽쳐들은 POC(Picture Order Count)에 의해 특정될 수 있다. POC(Picture Order Count)는 픽쳐의 표시 순서를 나타낸다.
순방향 단기 참조 픽쳐 세트 및 역방향 단기 참조 픽쳐 세트에 포함되는 참조 픽쳐들의 POC는 상대적 POC(relative POC)에 의해 결정될 수 있다. 여기서, 상대적 POC에 관한 정보는 부호화 장치에서 복호화 장치로 전송될 수 있다.
상대적 POC는 참조 픽쳐 세트 내 두 픽쳐들 간의 POC 차를 나타낼 수 있다. POC 순서상 현재 픽쳐 이전의 참조 픽쳐들(현재 픽쳐의 POC보다 POC가 작은 참조 픽쳐들)의 상대적 POC는 참조 픽쳐 세트 내에서 바로 전의 참조 픽쳐와의 POC 차이에 해당될 수 있다. POC 순서상 현재 픽쳐 이후의 참조 픽쳐들(현재 픽쳐의 POC보다 POC가 큰 참조 픽쳐들)의 상대적 POC도 참조 픽쳐 세트 내에서 바로 전의 참조 픽쳐와의 POC 차이에 해당될 수 있다.
순방향 단기 참조 픽쳐 세트에서는 현재 픽쳐의 POC 보다 작은 POC 값을 갖는 순방향 단기 참조 픽쳐들이 POC의 내림차순으로 위치할 수 있다. 다시 말하면, DPB에 존재하는 픽쳐들 중에서 현재 픽쳐의 POC 보다 작은 POC 값을 갖는 픽쳐들이 순방향 단기 참조 픽쳐 세트의 처음부터 POC의 내림차순으로 위치할 수 있다.
역방향 단기 참조 픽쳐 세트에서는 현재 픽쳐의 POC 보다 큰 POC 값을 갖는 역방향 단기 참조 픽쳐들이 POC의 오름차순으로 위치할 수 있다. 다시 말하면, DPB에 존재하는 픽쳐들 중에서 현재 픽쳐의 POC 보다 작은 POC 값을 갖는 픽쳐들이 역방향 단기 참조 픽쳐 세트의 처음부터 POC의 오름차순으로 위치할 수 있다.
장기 참조 픽쳐 세트에 포함되는 참조 픽쳐들은 부호화기로부터 전송된 장기 참조 픽쳐 세트 관련 정보를 기반으로 결정될 수 있다. 여기서, 장기 참조 픽쳐 세트 관련 정보에는 장기 참조 픽쳐 세트에 포함되는 참조 픽쳐들(및/또는 상기 참조 픽쳐들의 POC)를 결정하기 위한 정보 등이 포함될 수 있다. 부호화 장치에서 복호화 장치로 전송되는 장기 참조 픽쳐 세트 관련 정보의 실시예들은 후술하기로 한다.
다시 도 4를 참조하면, 복호화 장치는 참조 픽쳐 세트를 기반으로 참조 픽쳐 리스트를 생성할 수 있다(S420).
참조 픽쳐 리스트 L0를 구성하는 경우, 복호화 장치는 순방향 단기 참조 픽쳐 세트를 구성하는 순방향 단기 참조 픽쳐, 역방향 단기 참조 픽쳐 세트를 구성하는 역방향 단기 참조 픽쳐, 장기 참조 픽쳐 세트를 구성하는 장기 참조 픽쳐의 순서로 참조 픽쳐 인덱스를 할당함으로써 참조 픽쳐 리스트를 구성할 수 있다. 즉, 참조 픽쳐 리스트 L0에는 순방향 단기 참조 픽쳐들이 할당된 후 역방향 단기 참조 픽쳐들이 추가될 수 있으며, 마지막으로 장기 참조 픽쳐들이 추가될 수 있다.
순방향 단기 참조 픽쳐 세트를 구성하는 순방향 단기 참조 픽쳐들은, 순방향 단기 참조 픽쳐 세트에 포함된 순서와 동일한 순서로 참조 픽쳐 리스트 L0에 추가될 수 있다. 즉, 순방향 단기 참조 픽쳐들은 참조 픽쳐 리스트 L0 내에서 POC의 내림차순으로 위치할 수 있으며, POC가 작을수록 큰 참조 픽쳐 인덱스 값이 할당될 수 있다. 또한, 역방향 단기 참조 픽쳐 세트를 구성하는 역방향 단기 참조 픽쳐들은, 역방향 단기 참조 픽쳐 세트에 포함된 순서와 동일한 순서로 참조 픽쳐 리스트 L0에 추가될 수 있다. 즉, 역방향 단기 참조 픽쳐들은 참조 픽쳐 리스트 L0 내에서 POC의 오름차순으로 위치할 수 있으며, POC가 클수록 큰 참조 픽쳐 인덱스 값이 할당될 수 있다. 그리고, 장기 참조 픽쳐 세트를 구성하는 장기 참조 픽쳐들은, 장기 참조 픽쳐 세트에 포함된 순서와 동일한 순서로 참조 픽쳐 리스트 L0에 추가될 수 있다.
B 슬라이스의 경우 참조 픽쳐 리스트 L0뿐만 아니라, 참조 픽쳐 리스트 L1도 생성될 수 있다. 참조 픽쳐 리스트 L1을 구성하는 경우, 복호화 장치는 역방향 단기 참조 픽쳐 세트를 구성하는 역방향 단기 참조 픽쳐, 순방향 단기 참조 픽쳐 세트를 구성하는 순방향 단기 참조 픽쳐, 장기 참조 픽쳐 세트를 구성하는 장기 참조 픽쳐의 순서로 참조 픽쳐 인덱스를 할당함으로써 참조 픽쳐 리스트를 구성할 수 있다. 즉, 참조 픽쳐 리스트 L1에는 역방향 단기 참조 픽쳐들이 할당된 후 순방향 단기 참조 픽쳐들이 추가될 수 있으며, 마지막으로 장기 참조 픽쳐들이 추가될 수 있다.
역방향 단기 참조 픽쳐 세트를 구성하는 역방향 단기 참조 픽쳐들은, 역방향 단기 참조 픽쳐 세트에 포함된 순서와 동일한 순서로 참조 픽쳐 리스트 L1에 추가될 수 있다. 즉, 역방향 단기 참조 픽쳐들은 참조 픽쳐 리스트 L1 내에서 POC의 오름차순으로 위치할 수 있으며, POC가 클수록 큰 참조 픽쳐 인덱스 값이 할당될 수 있다. 또한, 순방향 단기 참조 픽쳐 세트를 구성하는 순방향 단기 참조 픽쳐들은, 순방향 단기 참조 픽쳐 세트에 포함된 순서와 동일한 순서로 참조 픽쳐 리스트 L1에 추가될 수 있다. 즉, 순방향 단기 참조 픽쳐들은 참조 픽쳐 리스트 L1 내에서 POC의 내림차순으로 위치할 수 있으며, POC가 작을수록 큰 참조 픽쳐 인덱스 값이 할당될 수 있다. 그리고, 장기 참조 픽쳐 세트를 구성하는 장기 참조 픽쳐들은, 장기 참조 픽쳐 세트에 포함된 순서와 동일한 순서로 참조 픽쳐 리스트 L1에 추가될 수 있다.
참조 픽쳐 리스트 L0 및 L1에 추가되는 참조 픽쳐들에는 순서대로 참조 픽쳐 인덱스가 할당될 수 있다.
복호화 장치는 참조 픽쳐 리스트에 포함된 참조 픽쳐들 중에서 첫 N개(참조 픽쳐 인덱스 0부터 참조 픽쳐 인덱스 N-1까지의 참조 픽쳐들, 여기서 N은 자연수임)를 이용 가능한 참조 픽쳐로서 활용할 수 있다. 이 때, 이용 가능한 참조 픽쳐의 개수 N에 관한 정보는 부호화 장치로부터 전송될 수 있다.
상술한 과정에서는 참조 픽쳐 리스트가 묵시적으로(implicitly) 유도되는 것으로 볼 수 있다. 참조 픽쳐 리스트가 묵시적으로 유도되는 경우에, 부호화 장치와 복호화 장치는 픽쳐들의 POC를 기반으로 현재 픽쳐의 인터 예측에 이용될 참조 픽쳐 리스트를 상술한 바와 같이 유도할 수 있다.
한편, 복호화 장치는 부호화 장치에서 명시적으로(explicitly) 전송된 정보를 기반으로, 묵시적으로 유도된 참조 픽쳐 리스트를 수정(modify)할 수도 있다. 이 때, 부호화 장치는 묵시적으로 유도되는 참조 픽쳐 리스트가 수정(modify)된다는 것을 지시하는 참조 픽쳐 리스트 수정 정보와 함께 참조 픽쳐 리스트를 구성하는 구체적인 엔트리(entry)를 지시하는 엔트리 정보를 전송할 수 있다. 부호화 장치로부터 명시적으로 전송된 정보를 기반으로 참조 픽쳐 리스트를 수정함으로써 최종적으로 참조 픽쳐 리스트가 특정되는 경우, 참조 픽쳐 리스트가 명시적으로 특정되는 것으로 볼 수도 있다.
부호화 장치는 L0가 명시적으로 특정되는 경우에는 L0에 관한 엔트리 정보를 전송할 수 있다. L0에 관한 엔트리 정보는 L0 상에서의 인덱스에 대응되는 참조 픽쳐를 지시할 수 있다. 또한 부호화 장치는 L1이 명시적으로 특정되는 경우에는 L1에 관한 엔트리 정보를 전송할 수 있다. L1에 관한 엔트리 정보는 L1 상에서의 인덱스에 대응되는 참조 픽쳐를 지시할 수 있다.
예컨대, 엔트리 정보에 의해 참조 픽쳐 리스트가 명시적으로 특정되면, 순방향 단기 참조 픽쳐들, 역방향 단기 참조 픽쳐들 및 장기 참조 픽쳐들의 참조 픽쳐 리스트 내에서의 순서(및/또는 참조 픽쳐 인덱스)가 묵시적으로 유도되는 참조 픽쳐 리스트 내에서의 순서(및/또는 참조 픽쳐 인덱스)와 달라질 수 있다. 또한, 엔트리 정보에 의해 참조 픽쳐 리스트가 특정되면, 활용되는 가용 참조 픽쳐들도 묵시적으로 유도되는 참조 픽쳐 리스트의 경우와는 달라질 수 있다.
참조 픽쳐 리스트가 명시적으로 특정되는 경우에는, 참조 픽쳐 리스트 수정 정보 및 엔트리 정보를 기반으로 복호화 장치는 부호화 장치가 구성한 참조 픽쳐 리스트와 동일한 참조 픽쳐 리스트를 구성할 수 있다.
앞서 설명한 참조 픽쳐 리스트의 묵시적 유도 방법에서는, 설명의 편의를 위해 이용 가능한 픽쳐들만을 고려하여 참조 픽쳐 세트 및 참조 픽쳐 리스트를 설명하였으나, 부호화 장치 및 복호화 장치에서 참조 픽쳐들의 이용 가부 혹은 이용 여부를 고려하여 참조 픽쳐 세트 및/또는 참조 픽쳐 리스트를 구성할 수도 있다.
도 5는 참조 픽쳐 리스트의 초기화를 수행하는 장치의 일 실시예를 개략적으로 나타내는 블록도이다.
도 5의 실시예에서, 참조 픽쳐 리스트 초기화 장치(500)는 참조 픽쳐 세트 구성부(510) 및 참조 픽쳐 리스트 생성부(520)를 포함할 수 있다.
도 5를 참조하면, 참조 픽쳐 세트 구성부(510)는 입력되는 참조 픽쳐 세트 관련 정보를 기반으로 참조 픽쳐 세트를 구성할 수 있다. 일례로, 참조 픽쳐 세트는 인터 예측이 적용되는 픽쳐마다 구성될 수 있다. 부호화 장치에서 복호화 장치로 전송되는 참조 픽쳐 세트 관련 정보의 실시예들은 후술하기로 한다.
여기서, 참조 픽쳐 세트는 순방향 단기 참조 픽쳐 세트, 역방향 단기 참조 픽쳐 세트 및 장기 참조 픽쳐 세트를 포함할 수 있다. 각각의 참조 픽쳐 세트에 포함되는 참조 픽쳐들은 POC(Picture Order Count)에 의해 특정될 수 있다. POC(Picture Order Count)는 픽쳐의 표시 순서를 나타낸다.
참조 픽쳐 세트 구성부(510)가 수행하는 동작의 구체적인 내용은 도 4의 참조 픽쳐 세트 구성 단계(S410)에서 설명한 바와 동일하므로, 여기서는 생략하기로 한다.
다시 도 5를 참조하면, 참조 픽쳐 리스트 생성부(520)는 참조 픽쳐 세트를 기반으로 참조 픽쳐 리스트를 생성할 수 있다. 참조 픽쳐 리스트 생성부(520)에서 생성되는 참조 픽쳐 리스트에는 L0 및 L1이 있을 수 있다. 참조 픽쳐 리스트 생성부(520)가 수행하는 동작의 구체적인 내용은 도 4의 참조 픽쳐 리스트 생성 단계(S420)에서 설명한 바와 동일하므로, 여기서는 생략하기로 한다.
참조 픽쳐 리스트 생성부(520)에서 생성된 참조 픽쳐 리스트는 예측을 위해 DPB에 저장되거나 예측부에 전달되어 예측에 참조될 수 있다.
여기서는 참조 픽쳐 리스트 초기화가 별도의 구성(참조 픽쳐 리스트 초기화 장치)에서 수행되는 것으로 설명하였으나, 이는 설명의 편의와 발명의 이해를 위한 것으로서, 본 발명은 이에 한정되지 않는다. 예컨대, 참조 픽쳐 리스트의 초기화는 도 1 및 도 2에서 설명한 부호화 장치 및 복호화 장치의 메모리, 예컨대, DPB에서 수행될 수도 있다. 이 경우, 상술한 참조 픽쳐 리스트 장치는 DPB일 수 있다. 또한, 참조 픽쳐 리스트의 초기화는 도 1 및 도 2에서 설명한 부호화 장치 및 복호화 장치의 예측부에서 수행될 수도 있다. 이 경우, 상술한 참조 픽쳐 리스트 초기화 장치는 예측부일 수 있다. 뿐만 아니라, 참조 픽쳐 리스트 초기화 장치가 부호화 장치 및 복호화 장치 내에 별도의 구성으로서 포함될 수도 있다.
이하, 본 명세서에서는 장기 참조 픽쳐에 대하여, 장기 참조 픽쳐 세트에 관련된 정보를 전송하거나 시그널링하고 장기 참조 픽쳐 세트를 구성하는 방법의 실시예들이 서술된다. 이하에서 참조 픽쳐라 함은 장기 참조 픽쳐를 의미할 수 있으며, 장기 참조 픽쳐는 LTRP로 지칭될 수도 있다. 또한, 본 명세서에서 정보를 시그널링한다는 것은 정보가 명시적으로 또는 직접적으로 전송되는 것뿐만 아니라 상기 정보를 유도하기 위해 사용될 수 있는 다른 정보가 전송되는 것을 포함하는 의미로 사용될 수 있다.
또한, 본 명세서에서 부호화 장치에서 복호화 장치로 전송되는 장기 참조 픽쳐 세트 관련 정보는 복수의 신택스 요소(syntax element)로 서술될 수 있다. 후술되는 실시예들에서 SPS(Sequence Parameter Set), PPS(Picture Parameter Set) 및/또는 슬라이스 헤더(slice header)에서 정의되는 신택스 요소들 및 변수들의 명칭은 임의적인 것이며, 이와 동일하거나 유사한 기능을 갖는 신택스 요소들 및 변수들은 그 명칭에 관계 없이 본 발명의 권리 범위에 포함된다 할 것이다.
일 실시예로, 부호화 장치는 현재 비트스트림 및/또는 현재 시퀀스(sequence)에 LTRP가 존재하는지 여부를 나타내는 시퀀스 단위의 LTRP 플래그 정보를 복호화 장치로 전송할 수 있다. 상기 플래그 정보를 나타내는 신택스 요소는 SPS에서 정의될 수 있으며, 이는 다음 표 1에 의해 나타내어질 수 있다.
표 1에서 use_long_term_reference_flag는 현재 비트스트림 및/또는 현재 시퀀스에 LTRP가 존재하는지 여부를 지시하는 플래그를 의미할 수 있다. 표 1을 참조하면, use_long_term_reference_flag는 SPS에서 정의될 수 있다. 일례로 use_long_term_reference_flag에 0이 할당되는 경우에 상기 플래그는 현재 비트스트림 및/또는 현재 시퀀스에 LTRP가 존재하지 않는다는 것을 지시할 수 있다. 또한 use_long_term_reference_flag에 1이 할당되는 경우에 상기 플래그는 현재 비트스트림 및/또는 현재 시퀀스에 LTRP가 존재한다는 것을 지시할 수 있다. 이 경우, 부호화 장치는 현재 비트스트림 및/또는 현재 시퀀스에 LTRP가 존재하는지 여부를 지시하는 LTRP 플래그 정보를 시퀀스 별로 전송할 수 있다.
use_long_term_reference_flag가 현재 시퀀스에 LTRP가 존재하지 않음을 지시하는 경우, 부호화 장치는 현재 시퀀스에 대해 use_long_term_reference_flag를 제외한 다른 장기 참조 픽쳐 세트 관련 정보를 복호화 장치로 전송하지 않을 수 있다. 따라서, 복호화 장치는 현재 시퀀스에서 use_long_term_reference_flag를 제외한 다른 장기 참조 픽쳐 세트 관련 정보를 수신하거나 처리하지 않을 수 있다. use_long_term_reference_flag가 현재 시퀀스에 LTRP가 존재한다는 것을 지시하는 경우, 부호화 장치는 현재 시퀀스에 대해 use_long_term_reference_flag 외에 다른 장기 참조 픽쳐 세트 관련 정보를 추가로 복호화 장치로 전송할 수 있다.
LTRP 플래그 정보가 시퀀스 단위로 전송되는 경우에는 LTRP 존재 여부가 시퀀스 단위로 결정될 수 있다. 즉, use_long_term_reference_flag에 할당된 값은 시퀀스 내에서 변경되지 않을 수 있다. 따라서, 현재 시퀀스 내에 LTRP가 존재하는지 여부가 결정되면, 이러한 결정은 픽쳐마다 변경되지 않고 현재 시퀀스 내에서 유지될 수 있다. 이 경우, 부호화 장치는 하나의 시퀀스에 대해 하나의 LTRP 플래그 정보만을 전송하므로 부호화 장치에서 복호화 장치로 전송되는 정보량이 감소될 수 있다. 또한, 복호화 장치는 픽쳐마다 LTRP 존재 여부를 확인하지 않을 수 있으므로, 복잡도가 감소될 수 있다.
한편, 상술한 바와 같이, 표 1의 실시예에 따라 SPS에서 정의된 신택스 요소의 명칭은 임의적인 것이며, LTRP 플래그 정보는 다른 명칭의 신택스 요소에 의해 나타내어질 수도 있다. 예를 들어, LTRP 플래그 정보는 use_long_term_reference_flag가 아닌 long_term_ref_pics_present_flag로 나타내어질 수도 있다.
SPS에서 정의된 use_long_term_reference_flag에 따라 현재 시퀀스에서 LTRP가 인터 예측에 사용되는 경우, 현재 시퀀스 내의 각각의 픽쳐(및/또는 슬라이스)는 LTRP로 사용되거나 할당될 수 있다. 이 경우, 부호화 장치는 현재 슬라이스가 속한 픽쳐가 LTRP로 사용되는지 여부를 지시하는 플래그 정보를 복호화 장치로 전송할 수 있다. 또한, LTRP로 사용되는 모든 픽쳐에는 LTRP_Id라는 LTRP 식별 번호(identification number)가 할당될 수 있다. 이와 같이 LTRP 식별 번호를 기반으로 LTRP 관련 정보가 전송되는 경우, 이와 관련된 정보들은 슬라이스 헤더에서 정의될 수 있다. 이 때, 슬라이스 헤더에서 전송된 LTRP 관련 정보들은 장기 참조 픽쳐 세트의 구성에 사용될 수 있다. 이하, 슬라이스 헤더에서 정의되는 LTRP 관련 정보의 실시예들이 서술된다.
다음 표 2는 슬라이스 헤더에서 정의되는 LTRP 관련 정보의 일 실시예를 나타낸다.
표 2의 실시예에서 slice_type은 현재 슬라이스의 슬라이스 타입을 나타낼 수 있다. 또한, LTRP_flag는 현재 슬라이스가 속한 현재 픽쳐가 LTRP로 사용되는지 여부를 지시할 수 있다. 예컨대, LTRP_flag에 할당된 값이 0인 경우, LTRP_flag는 현재 픽쳐가 LTRP로 사용되지 않음을 지시할 수 있다. 또한, LTRP_flag에 할당된 값이 1인 경우, LTRP_flag는 현재 픽쳐가 LTRP로 사용됨을 지시할 수 있다. 표 2를 참조하면, LTRP_flag는 현재 슬라이스가 I 슬라이스이고(또는 현재 픽쳐가 I 픽쳐이고), 현재 시퀀스에 LTRP가 존재하는 경우, 즉 현재 시퀀스에서 LTRP가 인터 예측을 위해 사용되는 경우에 전송될 수 있다.
또한, LTRP_flag에 할당된 값이 1인 경우, 즉 현재 픽쳐가 LTRP로 사용되는 경우에는 LTRP와 관련된 추가의 정보가 슬라이스 헤더를 통해 전송될 수 있다. 표 2를 참조하면, 현재 픽쳐가 LTRP로 사용되는 경우에는 LTRP_Id, log2_OLC_msb_minus4 및 OLC_cnt가 슬라이스 헤더에 포함되어 전송될 수 있다.
여기서, LTRP_Id는 현재 픽쳐의 LTRP 식별 번호(LTRP identification number)를 지시할 수 있다. 이 때, DPB(Decoded Picture Buffer) 내에서는, 동일한 LTRP_Id 값이 할당된 LTRP가 2개 이상 존재할 수 없으며 하나의 LTRP_Id 값에 대해서는 하나의 LTRP만이 DPB 내에 존재할 수 있다. 일례로, DPB 내에는 현재 픽쳐에 할당된 LTRP_Id와 동일한 값을 갖는 LTRP가 이미 존재할 수도 있다. 이러한 경우, 현재 픽쳐가 DPB에 저장되기 전에, 이미 DPB에 존재하는 동일한 LTRP_Id 값의 LTRP는 "참조 픽쳐로 이용되지 않는 것"으로 마킹될 수 있다(marked as "unused for reference").
표 2의 실시예에서 LTRP_flag에 할당된 값이 1인 경우에는 LTRP_Id 뿐만 아니라, LTRP로 사용되는 현재 픽쳐의 OLC(Output Latency Count)를 유도하기 위한 정보도 함께 슬라이스 헤더를 통해 전송될 수 있다. 여기서, OLC는 LTRP가 얼마나 오래 DPB에 저장되는지, 즉 LTRP가 DPB에 저장되어 있을 시간을 나타낼 수 있다.
슬라이스 헤더에서 정의되어 복호화 장치로 전송되는 OLC 관련 정보는 OLC에 대응되는 LSB(Least Significant Bit) 정보 및 MSB(Most Significant Bit) 정보일 수 있다. 여기서, 상기 LSB는 OLC를 나타내는 2진수의 비트열에서, 가장 하위 자리에 위치하는 적어도 하나의 비트를 나타낼 수 있다. 이 때, MSB는 OLC와 LSB의 차이에 해당될 수 있으며, OLC를 나타내는 2진수의 비트열에서 LSB를 제외한 상위 비트들로 구성될 수 있다. LSB 및 MSB는 부호화 장치에서 결정될 수 있다. LSB 및 MSB가 사용되는 경우에는 OLC 자체를 전송하는 경우에 비해 부호화 장치에서 복호화 장치로 전송되는 비트량이 감소될 수 있다.
표 2의 실시예에서 log2_OLC_msb_minus4는 OLC의 MSB(예컨대, OLC_msb)를 위해 사용되거나 할당되는 비트의 개수에서 4를 뺀 값에 해당될 수 있다. 즉, log2_OLC_msb_minus4+4는 OLC의 MSB를 위해 사용되거나 할당되는 비트의 개수를 나타낼 수 있다. log2_OLC_msb_minus4가 전송되면, 복호화 장치는 다음 수학식 1에 의해 OLC의 MSB 값을 유도할 수 있다.
또한 표 2의 실시예에서 OLC_cnt는 LTRP로 사용되는 현재 픽쳐의 OLC에 대응되는, LSB를 나타낼 수 있다. OLC_msb 및 OLC_cnt가 결정되면, LTRP로 사용되는 현재 픽쳐의 OLC는 다음 수학식 2에 의해 유도될 수 있다.
여기서, OLC(CurrPic)는 LTRP로 사용되는 현재 픽쳐의 OLC를 나타낼 수 있다.
OLC가 할당된 LTRP는 OLC에 해당되는 시간이 지나면 메모리(예컨대, DPB)에서 방출될 수 있다. 따라서, 현재 픽쳐의 복호화가 수행되기 전에 메모리에 저장된 LTRP 중에서는 이미 방출되어 현재 픽쳐의 인터 예측에 참조 픽쳐로 이용될 수 없는 픽쳐가 존재할 수 있다. 이러한 LTRP는 일정한 조건에 따라 "참조 픽쳐로 이용되지 않는 것"으로 마킹될 수 있다(marked as "unused for reference"). 일례로, LTRP는 다음 수학식 3의 조건을 만족하는 경우에 "참조 픽쳐로 이용되지 않는 것"으로 마킹될 수 있다.
여기서, POC(LTRP)는 LTRP의 POC를 나타낸다. 또한, OLC(LTRP)는 LTRP가 얼마나 오래 DPB에 저장되는지를 지시하는 OLC일 수 있다.
다음 표 3은 슬라이스 헤더에서 정의되는 LTRP 관련 정보의 다른 실시예를 나타낸다.
표 3을 참조하면, 슬라이스 헤더에서는 LTRP-flag 및 LTRP_Id가 정의될 수 있다. 즉 표 3의 실시예에서는 표 2에서와 같이 현재 슬라이스가 속한 현재 픽쳐가 LTRP로 사용되는지 여부를 지시하는 플래그 정보 및 현재 픽쳐의 LTRP 식별 번호에 관한 정보가 슬라이스 헤더에 포함되어 복호화 장치로 전송될 수 있다. 그러나, LTRP로 사용되는 현재 픽쳐의 OLC에 관한 정보는 슬라이스 헤더에 포함되지 않을 수 있다. 이 경우, 상기 OLC에 관한 정보는 복호화 장치로 전송되지 않을 수 있다. LTRP-flag 및 LTRP_Id에 대해서는 표 2의 실시예에서 상술한 바 있으므로, 여기서는 이에 대한 구체적인 설명은 생략하기로 한다.
다음 표 4는 슬라이스 헤더에서 정의되는 LTRP 관련 정보의 또 다른 실시예를 나타낸다.
표 4를 참조하면, 슬라이스 헤더에서는 LTRP-flag, LTRP_Id, log2_OLC_msb_minus4 및 OLC_cnt가 정의될 수 있다. 즉 표 4의 실시예에서는 표 2에서와 같이 현재 슬라이스가 속한 현재 픽쳐가 LTRP로 사용되는지 여부를 지시하는 플래그 정보, 현재 픽쳐의 LTRP 식별 번호에 관한 정보 및 현재 픽쳐의 OLC에 관한 정보가 슬라이스 헤더에 포함되어 복호화 장치로 전송될 수 있다.
그러나, 표 4의 실시예에서는 표 2에서와 달리 I 슬라이스(및/또는 I 픽쳐)만이 아닌 모든 슬라이스(및/또는 픽쳐)가 LTRP로 사용될 수 있다. 따라서, 현재 슬라이스가 I 슬라이스인지 여부에 관계 없이 LTRP_flag 및 LTRP_Id가 전송될 수 있다. 즉, 표 2의 실시예에서는 현재 슬라이스가 I 슬라이스인지 여부에 관계 없이 현재 픽쳐에 LTRP_Id가 할당될 수 있다.
LTRP-flag, LTRP_Id, log2_OLC_msb_minus4 및 OLC_cnt에 대해서는 표 2의 실시예에서 상술한 바 있으므로, 여기서는 이에 대한 구체적인 설명은 생략하기로 한다.
다음 표 5는 슬라이스 헤더에서 정의되는 LTRP 관련 정보의 다른 실시예를 나타낸다.
표 5를 참조하면, 슬라이스 헤더에서는 LTRP-flag 및 LTRP_Id가 정의될 수 있다. 즉 표 5의 실시예에서는 표 4에서와 같이 현재 슬라이스가 속한 현재 픽쳐가 LTRP로 사용되는지 여부를 지시하는 플래그 정보 및 현재 픽쳐의 LTRP 식별 번호에 관한 정보가 슬라이스 헤더에 포함되어 복호화 장치로 전송될 수 있다. 그러나, LTRP로 사용되는 현재 픽쳐의 OLC에 관한 정보는 슬라이스 헤더에 포함되지 않을 수 있다. 이 경우, 상기 OLC에 관한 정보는 복호화 장치로 전송되지 않을 수 있다. LTRP-flag 및 LTRP_Id에 대해서는 표 4의 실시예에서 상술한 바 있으므로, 여기서는 이에 대한 구체적인 설명은 생략하기로 한다.
상술한 표 2 내지 표 5 중에서 어느 하나의 실시예에 따라 LTRP로 사용되는 각 픽쳐에 LTRP_Id가 할당되는 경우, 복호화 장치는 각 픽쳐에 할당된 LTRP_Id를 기반으로 장기 참조 픽쳐 세트를 구성하는 LTRP를 결정할 수 있다.
LTRP_Id는 특히 명시적 참조 픽쳐 시그널링(Explicit Reference Picture Signaling: ERPS, 이하 ERPS라 함) 과정에서 유용하게 사용될 수 있다. ERPS 과정에서 LTRP의 POC가 직접 전송되거나, 현재 픽쳐와 LTRP 간의 POC 차이가 전송되는 경우에는 전송되는 정보량이 매우 클 수 있다. LTRP_Id를 기반으로 LTRP 관련 정보가 전송되는 경우에는 전송되는 정보량이 감소될 수 있으므로, 상술한 문제점이 해결될 수 있다.
상술한 표 2 내지 표 5의 실시예에서와 같이 각 픽쳐(및/또는 슬라이스)에 할당되는 LTRP_Id가 전송되는 경우, 복호화 대상 슬라이스의 슬라이스 헤더에서는 LTIP_Id를 기반으로 장기 참조 픽쳐 세트를 구성하기 위한 정보가 정의될 수 있다. ERPS 방식이 이용될 때, LTRP에 관한 정보는 STRP에 관한 정보와 별개로 시그널링되어야 한다. 따라서, 장기 참조 픽쳐 세트를 구성하기 위한 LTRP 관련 신택스 요소는 슬라이스 헤더 내에서 STRP 관련 신택스 요소와 별개로 정의될 수 있다. 다음 표 6은 LTIP_Id를 기반으로 장기 참조 픽쳐 세트를 구성하기 위한 정보를 포함하는, 슬라이스 헤더의 일 실시예를 나타낸다.
표 6은 ERPS 방식이 이용되는 경우에 슬라이스 헤더에서 LTRP 관련 정보를 시그널링하는 방법을 나타낸다. 표 6의 슬라이스 헤더에서는 num_used_long_term_pics 및 used_LTRP_Id[i]가 정의될 수 있다. 즉, 표 6의 실시예에서는 num_used_long_term_pics 및 used_LTRP_Id[i]가 슬라이스 헤더에 포함되어 복호화 장치로 전송될 수 있다. 표 6을 참조하면 num_used_long_term_pics 및 used_LTRP_Id[i]는, 표 1의 실시예를 통해 서술된 use_long_term_reference_flag에 1의 값이 할당된 경우, 즉 현재 시퀀스에서 LTRP가 인터 예측을 위해 사용되는 경우에 복호화 장치로 전송될 수 있다.
num_used_long_term_pics는 현재 픽쳐에서 인터 예측 시에 필요한 LTRP의 개수를 나타낸다. 또한, used_LTRP_Id[i](여기서, i는 0 이상의 정수임)는 현재 픽쳐에서 인터 예측에 사용되는 i번째(또는 i+1번째) LTRP의 LTRP 식별 번호를 지시할 수 있다. 복호화 장치는 used_LTRP_Id[i]가 지시하는 픽쳐(및/또는 슬라이스)를 현재 픽쳐(및/또는 현재 슬라이스)의 LTRP로 사용할 수 있다. 예컨대, 이 경우 장기 참조 픽쳐 세트는 used_LTRP_Id[i]가 지시하는 픽쳐들로 구성될 수 있다. 이 때, 복호화 장치는 used_LTRP_Id[i]가 지시하는 픽쳐를 i 크기의 오름차순으로 할당함으로써 장기 참조 픽쳐 세트를 구성할 수 있다. 장기 참조 픽쳐 세트를 기반으로 참조 픽쳐 리스트를 생성하는 과정은 도 4에서 상술한 바 있으므로, 여기서는 생략하기로 한다.
상술한 표 6의 실시예에서는 현재 픽쳐에서 인터 예측에 사용되는 LTRP가 used_LTRP_Id[i]에 의해 지시되지만, 본 발명은 이에 한정되는 것은 아니다. 예컨대, LTRP로 사용되는 픽쳐는 LTRP의 POC나 상기 POC에 대응되는 LSB(Least Significant Bit), MSB(Most Significant Bit)에 의해 지시될 수도 있다. 이에 대한 구체적인 실시예들은 후술하기로 한다.
또한 LTIP_Id를 기반으로 장기 참조 픽쳐 세트를 구성하기 위한 정보(예컨대, used_LTRP_Id[i] 등)를 포함하는 슬라이스 헤더는 상술한 실시예에 한정되지 않는다. 표 6의 실시예에서, ERPS 방식을 기반으로 한 LTRP 관련 정보의 시그널링에 관한 신택스 요소들(예컨대, use_long_term_reference_flag, num_used_long_term_pics, used_LTRP_Id[i] 등)을 제외한 다른 신택스 요소들은, 구현 및/또는 필요에 따라 다르게 적용될 수도 있다.
한편, 상술한 실시예들에서는 현재 시퀀스에서 LTRP가 인터 예측을 위해 사용되는 경우에 use_long_term_reference_flag를 제외한 LTRP 관련 정보들이 슬라이스 헤더를 통해 전송된다. 그러나, LTRP 관련 정보의 일부는 PPS(Picture Parameter Set)에 포함되어 복호화 장치로 전송될 수도 있다.
다음 표 7은 PPS에서 정의되는 LTRP 관련 정보의 일 실시예를 나타낸다.
표 7의 실시예에서 num_long_term_pics_list는 현재 PPS를 참조하는 슬라이스들, 즉 현재 픽쳐에 포함된 슬라이스들에서 사용될 수 있는 후보 LTRP의 개수를 나타낼 수 있다. 표 7을 참조하면, num_long_term_pics_list는 use_long_term_reference_flag에 할당된 값이 1인 경우에 슬라이스 헤더에 포함되어 복호화 장치로 전송될 수 있다.
이하, 본 명세서에서는 설명의 편의상 현재 PPS를 참조하는 슬라이스에서 사용될 수 있는 후보 LTRP, 즉 PPS에서 특정되는 후보 LTRP를 'PPS 후보 LTRP'라 지칭하기로 한다.
ltrp_poc_len_minus4는 신택스 요소 ltrp_poc[i]를 나타내기 위해 필요한 비트수에서 4를 뺀 값을 나타낼 수 있다. 즉, 'ltrp_poc_len_minus4+4'는 신택스 요소 ltrp_poc[i]를 나타내기 위해 필요한 비트의 수를 지시할 수 있다. ltrp_poc[i](여기서, i는 0 이상의 정수임)는 PPS 후보 LTRP들 중에서 i번째(또는 i+1번째) PPS 후보 LTRP의 POC(예컨대, POC의 절대값)를 나타낼 수 있다. 즉, PPS 후보 LTRP로 사용되는 픽쳐들은 ltrp_poc[i]에 의해 지시될 수 있다. ltrp_poc[i]를 나타내기 위한 비트수는 일례로, 'ltrp_poc_len_minus4+4'일 수 있다. 표 7을 참조하면, ltrp_poc_len_minus4 및 ltrp_poc[i]는 num_long_term_pics_list에 할당된 값이 0보다 큰 경우, 즉 PPS 후보 LTRP의 개수가 0보다 큰 경우에 슬라이스 헤더에 포함되어 복호화기로 전송될 수 있다.
상술한 표 7의 실시예에서와 같이 PPS에서 PPS 후보 LTRP에 관한 정보가 전송되는 경우, 슬라이스 레벨에서는 PPS 후보 LTRP를 기반으로, 장기 참조 픽쳐 세트 구성에 사용될 LTRP를 결정할 수 있다. 따라서, 이 경우 슬라이스 헤더에서는 PPS 후보 LTRP를 기반으로 장기 참조 픽쳐 세트 구성에 사용될 LTRP를 결정하기 위한 정보가 정의될 수 있다. 다음 표 8은, 표 7의 실시예에 따라 PPS 후보 LTRP가 결정되는 경우에 슬라이스 헤더를 통해 전송되는 정보의 실시예를 나타낸다.
표 8의 슬라이스 헤더에서는 num_long_term_pics, ltrp_idx[i] 및 used_by_curr_pic_lt_flag[i]가 정의될 수 있다. 표 8을 참조하면 num_long_term_pics, ltrp_idx[i] 및 used_by_curr_pic_lt_flag[i]는, 표 1의 실시예를 통해 서술된 use_long_term_reference_flag에 1의 값이 할당된 경우, 즉 현재 시퀀스에서 LTRP가 인터 예측을 위해 사용되는 경우에 복호화 장치로 전송될 수 있다.
num_long_term_pics는 현재 픽쳐의 장기 참조 픽쳐 세트에 포함될 LTRP의 개수를 나타낼 수 있다. num_long_term_pics는 '0'에서 'max_num_ref_frames-NumNegativePics[StRpsIdx]-NumPositivePics[StRpsIdx]'까지의 범위에 해당되는 값을 가질 수 있다. 여기서, max_num_ref_frames은 DPB에 저장되는 참조 픽쳐의 최대 개수를 나타낼 수 있다. 또한, NumNegativePics[StRpsIdx]는 순방향 단기 참조 픽쳐의 개수를 나타내고, NumPositivePics[StRpsIdx]는 역방향 단기 참조 픽쳐의 개수를 나타낼 수 있다. 또한, num_long_term_pics는 상기 범위에 포함됨과 동시에 '0'부터 'num_long_term_pics_list'(또는 'num_long_term_pics_list-1')까지의 범위에 해당되는 값을 가질 수 있다. 상술한 바와 같이, num_long_term_pics_list는 PPS 후보 LTRP의 개수를 나타낼 수 있다. num_long_term_pics가 존재하지 않는 경우에 num_long_term_pics의 값은 0으로 간주되거나 추정될 수 있다.
또한, ltrp_idx[i](여기서, i는 0 이상의 정수임)는 PPS 후보 LTRP들의 인덱스 중에서, 현재 픽쳐(및/또는 현재 슬라이스)의 인터 예측에 사용되는 i번째(또는 i+1번째) LTRP의 인덱스를 지시할 수 있다. 따라서, 복호화 장치는 슬라이스 헤더를 통해 전송된 ltrp_idx[i]를 기반으로, 현재 픽쳐의 LTRP로 사용될 PPS 후보 LTRP를 결정할 수 있다. 이 경우, POC에 관한 정보가 인덱스화될 수 있으므로, 부호화 장치에서 복호화 장치로 전송되는 정보량이 감소될 수 있다.
여기서, PPS 후보 LTRP의 인덱스는 표 7의 PPS에서 정의되는 신택스 요소 ltrp_poc[i]에서의 i를 의미할 수 있다. 따라서, 이 경우 현재 픽쳐(및/또는 현재 슬라이스)의 인터 예측에 사용되는 i번째(또는 i+1번째) LTRP의 POC는 ltrp_poc[ltrp_idx[i]]일 수 있다.
used_by_curr_pic_lt_flag[i]는 ltrp_idx[i]에 의해 지시되는 i번째 LTRP가 현재 픽쳐에 대한 참조 픽쳐로 사용되는지 여부를 지시할 수 있다. 예컨대, used_by_curr_pic_lt_flag[i]에 1이 할당된 경우, i번째 LTRP는 현재 픽쳐에 대한 참조 픽쳐로 사용될 수 있다. 그러나, used_by_curr_pic_lt_flag[i]에 0이 할당된 경우, i번째 LTRP는 현재 픽쳐에 대한 참조 픽쳐로 사용되지 않을 수 있다.
표 8의 실시예에 따르면, 복호화 장치는 ltrp_idx[i]에 의해 지시되는 LTRP들 중에서 used_by_curr_pic_lt_flag[i]에 1이 할당된 LTRP들을 장기 참조 픽쳐 세트 구성에 이용할 수 있다. 예컨대, 복호화 장치는 ltrp_idx[i]에 의해 지시되는 LTRP들 중에서 used_by_curr_pic_lt_flag[i]에 1이 할당된 LTRP들을 i 크기의 오름차순으로 할당함으로써 장기 참조 픽쳐 세트를 구성할 수 있다. 장기 참조 픽쳐 세트를 기반으로 참조 픽쳐 리스트를 생성하는 과정은 도 4에서 상술한 바 있으므로, 여기서는 생략하기로 한다.
한편, 참조 픽쳐 세트 구성 및/또는 참조 픽쳐 리스트 생성 과정에서, 각각의 참조 픽쳐는 "참조 픽쳐로 이용되지 않음(unused for reference)", "단기 참조 픽쳐로 이용됨(used for short-term reference)" 또는 "장기 참조 픽쳐로 이용됨(used for long-term reference)"으로 마킹될 수 있다. 예컨대, 참조 픽쳐 세트 생성에 사용되지 않는 픽쳐는 "참조 픽쳐로 이용되지 않음(unused for reference)"으로 마킹될 수 있다. 또한, 단기 참조 픽쳐 세트를 구성하는 STRP는 "단기 참조 픽쳐로 이용됨(used for short-term reference)"으로 마킹될 수 있고, 장기 참조 픽쳐 세트를 구성하는 LTRP는 "장기 참조 픽쳐로 이용됨(used for long-term reference)"으로 마킹될 수 있다.
상술한 바와 같이, PPS에서는 PPS 후보 LTRP의 POC(예컨대, POC의 절대값)를 나타내는 ltrp_poc[i]가 정의될 수 있다. 따라서, 부호화 장치는 임의의 참조 픽쳐를 새로운 LTRP로 설정하기로 결정한 경우, 새로운 LTRP를 기반으로 결정되는 PPS 후보 LTRP의 POC 정보를 포함한, 새로운 PPS를 복호화 장치로 전송하여야 한다. 이 경우, 일례로 PPS 후보 LTRP의 POC 정보를 매핑시키는 테이블에 새로운 LTRP의 POC가 포함되어 고려될 수 있다.
이 때, PPS에서 정의된 ltrp_poc[i]에 의해 지시되는 PPS 후보 LTRP들(PPS에 포함된 LTRP) 중에서, 슬라이스 헤더의 ltrp_idx[i]에 의해 지시되지 않는 LTRP(슬라이스 헤더에 포함되지 않는 LTRP)가 존재할 수 있다. 이 때, PPS에 포함된 PPS 후보 LTRP에 해당되면서 슬라이스 헤더에 포함되지 않는 LTRP는 "참조 픽쳐로 이용되지 않음(unused for reference)"으로 마킹될 수 있다.
또한, 현재 비트스트림에서 임의의 LTRP가 현재 픽쳐의 슬라이스 헤더에 포함되고 현재 픽쳐보다 작은 POC를 갖는 픽쳐의 슬라이스 헤더에는 포함되지 않는 경우, 해당 비트스트림은 불법인(illegal) 것으로 볼 수 있다.
한편, 표 1의 실시예에서 상술한 바와 같이 SPS에서 정의되는 SPS 단위의 LTRP 플래그 정보는 use_long_term_reference_flag가 아닌 long_term_ref_pics_present_flag로 나타내어질 수도 있다. 이 경우, SPS에서 정의되는 LTRP 플래그 정보는 다음 표 9의 실시예에서와 같이 나타내어질 수 있다.
표 9의 실시예에서, long_term_ref_pics_present_flag는 현재 부호화된 비디오 시퀀스에서 LTRP가 적어도 하나의 부호화된 픽쳐의 인터 예측을 위해 사용되는지 여부, 즉 현재 시퀀스에서 LTRP가 사용되는지 여부를 지시할 수 있다. 예컨대, long_term_ref_pics_present_flag에 0이 할당된 경우, 상기 플래그는 현재 부호화된 비디오 시퀀스에서 LTRP가 어떤 부호화된 픽쳐의 인터 예측에도 사용되지 않음을 지시할 수 있다. 이 경우, 현재 부호화된 비디오 시퀀스 내에는 LTRP로 사용되는 픽쳐가 존재하지 않을 수 있다. 또한, long_term_ref_pics_present_flag에 1이 할당된 경우, 상기 플래그는 현재 부호화된 비디오 시퀀스에서 적어도 하나의 부호화된 픽쳐의 인터 예측을 위해 LTRP가 사용된다는 것을 지시할 수 있다.
표 9의 실시예에서, long_term_ref_pics_present_flag가 현재 부호화된 비디오 시퀀스에서 LTRP가 인터 예측에 사용되지 않는다는 것을 지시하는 경우, 부호화 장치는 현재 시퀀스에 대해 long_term_ref_pics_present_flag을 제외한 다른 장기 참조 픽쳐 세트 관련 정보를 복호화 장치로 전송하지 않을 수 있다. 따라서, 복호화 장치는 현재 시퀀스에서 long_term_ref_pics_present_flag를 제외한 다른 장기 참조 픽쳐 세트 관련 정보를 수신하거나 처리하지 않을 수 있다.
표 9의 SPS에서 정의된 long_term_ref_pics_present_flag에 따라 현재 시퀀스에서 LTRP가 인터 예측에 사용되는 경우, 슬라이스 헤더에서는 다른 장기 참조 픽쳐 세트 관련 정보들이 정의될 수 있다. 이 경우, 부호화 장치는 long_term_ref_pics_present_flag를 제외한 장기 참조 픽쳐 세트 관련 정보들을 슬라이스 헤더를 통해 복호화기로 전송할 수 있다. 다음 표 10은 표 9에서와 같이 SPS를 통해 long_term_ref_pics_present_flag가 전송되는 경우, 슬라이스 헤더를 통해 전송되는 장기 참조 픽쳐 세트 관련 정보의 실시예를 나타낸다.
표 10의 슬라이스 헤더에서는 num_long_term_pics, poc_lsb_lt[i], delta_poc_msb_present_flag[i], delta_poc_msb_cycle_lt[i] 및 used_by_curr_pic_lt_flag[i]가 정의될 수 있다. 표 10의 실시예에서는 long_term_ref_pics_present_flag에 할당된 값이 1인 경우, 즉 현재 시퀀스에서 LTRP가 인터 예측을 위해 사용되는 경우에 num_long_term_pics, poc_lsb_lt[i], delta_poc_msb_present_flag[i], delta_poc_msb_cycle_lt[i] 및 used_by_curr_pic_lt_flag[i]가 슬라이스 헤더에 포함되어 복호화 장치로 전송될 수 있다.
num_long_term_pics는 현재 픽쳐의 장기 참조 픽쳐 세트에 포함될 LTRP의 개수를 나타낼 수 있다. 여기서, 장기 참조 픽쳐 세트에 포함될 LTRP는 현재 슬라이스의 복호화 수행 전에 DPB에 저장되어 있는 픽쳐일 수 있다.
표 10의 실시예에서, 장기 참조 픽쳐 세트에 포함될 LTRP의 POC는 POC에 대응되는 LSB(Least Significant Bit) 및 MSB(Most Significant Bit) 관련 정보를 기반으로 특정될 수 있다. 여기서, 상기 LSB 관련 정보(poc_lsb_lt[i]) 및 MSB 관련 정보(delta_poc_msb_present_flag[i], delta_poc_msb_cycle_lt[i])는 부호화 장치에서 복호화 장치로 전송될 수 있다. 이하, 본 명세서에서는 설명의 편의상 POC의 LSB는 POC LSB라 하고, POC의 MSB는 POC MSB라 한다.
POC LSB는 참조 픽쳐의 POC를 나타내는 2진수의 비트열에서, 가장 하위 자리에 위치하는 적어도 하나의 비트를 나타낼 수 있다. 또한, POC MSB는 POC와 LSB의 차이에 해당될 수 있으며, POC를 나타내는 2진수의 비트열에서 POC LSB를 제외한 상위 비트들로 구성될 수 있다. 여기서, POC LSB 및 POC MSB는 부호화 장치에서 결정되어 복호화 장치로 전송될 수 있다. POC LSB 및 POC MSB가 사용되는 경우에는 POC 자체를 전송하는 경우에 비해 부호화 장치에서 복호화 장치로 전송되는 비트량이 감소될 수 있다.
부호화 장치는 POC에 대응되는 LSB의 최대 값에 관한 정보를 복호화 장치로 전송할 수 있다. 이 때, 상기 정보는 LSB로 사용되는 비트의 최대 개수를 나타낼 수도 있다. 일례로, LSB의 최대 값에 관한 정보는 SPS에 포함되어 복호화기로 전송될 수 있으며, log2_max_pic_order_cnt_lsb_minus4로 나타내어질 수 있다. 여기서, log2_max_pic_order_cnt_lsb_minus4는 LSB로 사용되는 비트의 최대 개수에서 4를 뺀 값에 해당될 수 있다. 또한, log2_max_pic_order_cnt_lsb_minus4가 수신되면, 복호화 장치는 다음 수학식 4에 의해 POC의 LSB 최대 값을 유도할 수 있다.
여기서, MaxPicOrderCntLsb는 LTRP의 POC에 대응되는 LSB의 최대 값을 의미할 수 있다.
poc_lsb_lt[i](여기서, i는 0 이상의 정수임)는 현재 픽쳐의 장기 참조 픽쳐 세트에 포함될 i번째 후보 LTRP의 POC LSB를 나타낼 수 있다. 즉, LTRP의 POC LSB는 poc_lsb_lt[i]에 의해 지시될 수 있다.
또한, delta_poc_msb_present_flag[i]는 delta_poc_msb_cycle_lt[i]이 존재하는지 여부를 지시할 수 있다. 즉, 부호화 장치는 LTRP의 POC MSB를 구별 짓기 위한(to distinguish) MSB 정보가 존재하는지 여부를 지시하는 플래그 정보를 복호화 장치로 전송할 수 있다. 일례로 서로 동일한 POC LSB 값을 갖는 LTRP가 둘 이상 존재할 가능성이 없다면, 상기 플래그에는 0의 값이 할당될 수 있다. 그렇지 않으면, 상기 플래그에는 1의 값이 할당될 수 있다.
표 10을 참조하면, delta_poc_msb_present_flag[i]에 1이 할당된 경우, 즉 LTRP의 POC MSB를 구별 짓기 위한(to distinguish) MSB 정보가 존재하는 경우, delta_poc_msb_cycle_lt[i]가 슬라이스 헤더에 포함되어 복호화 장치로 전송될 수 있다. delta_poc_msb_cycle_lt[i]는 현재 픽쳐의 장기 참조 픽쳐 세트에 포함될 i번째 후보 LTRP의 POC의 MSB를 결정하기 위해 사용될 수 있다. 즉, i번째 후보 LTRP의 POC의 MSB는 delta_poc_msb_cycle_lt[i]를 기반으로 소정의 연산을 통해 결정될 수 있다.
poc_lsb_lt[i], delta_poc_msb_present_flag[i] 및/또는 delta_poc_msb_cycle_lt[i]를 통해 POC LSB 및/또는 POC MSB가 결정되면, 복호화 장치는 이를 기반으로 현재 픽쳐의 장기 참조 픽쳐 세트에 포함될 i번째 후보 LTRP의 POC를 도출할 수 있다.
또한, 표 10의 실시예에서 used_by_curr_pic_lt_flag[i]는 상술한 i번째 후보 LTRP가 현재 픽쳐(및/또는 현재 슬라이스)의 참조 픽쳐로 사용되는지 여부를 지시할 수 있다. 예컨대, used_by_curr_pic_lt_flag[i]에 0이 할당된 경우 i번째 후보 LTRP는 현재 픽쳐(및/또는 현재 슬라이스)의 참조 픽쳐로 사용되지 않을 수 있다. 이 때, 상기 i번째 후보 LTRP는 참조 픽쳐 리스트 생성에 사용되는 장기 참조 픽쳐 세트에 포함되지 않을 수 있다.
표 10의 실시예에 따르면, 복호화 장치는 POC LSB 및/또는 POC MSB를 기반으로 도출된 POC에 의해 지시되는 LTRP들을 장기 참조 픽쳐 세트 구성에 이용할 수 있다. 예컨대, 복호화 장치는 POC LSB 및/또는 POC MSB를 기반으로 유도되는 LTRP들 중에서 used_by_curr_pic_lt_flag[i]에 0이 할당된 LTRP를 제외한 나머지 LTRP들을 i 크기의 오름차순으로 할당함으로써 장기 참조 픽쳐 세트를 구성할 수 있다. 장기 참조 픽쳐 세트를 기반으로 참조 픽쳐 리스트를 생성하는 과정은 도 4에서 상술한 바 있으므로, 여기서는 생략하기로 한다.
상술한 표 9 및 표 10의 실시예에 의하면, LTRP가 인터 예측을 위해 사용되는 경우 DPB에 존재하는 LTRP는 POC LSB(예컨대, poc_lsb_lt[i])에 의해 각각의 슬라이스 헤더에서 시그널링될 수 있다. 그러나, 슬라이스마다 POC LSB가 전송되는 경우에는 하나의 시퀀스 내에서 동일한 POC LSB 값이 중복적으로 전송될 수 있으므로, LTRP 관련 정보의 시그널링 효율에 문제가 있을 수 있다.
또한, 표 10의 실시예에서는 poc_lsb_lt[i]에 대한 디스크립터(descriptor)로서 u(v)가 할당되어 있으므로, poc_lsb_lt[i]에 대해서는 v(여기서, v는 자연수임)개의 고정된 개수의 비트를 기반으로 하는 '고정 길이 부호화' 방식이 적용될 수 있다. 이 경우, 현재 시퀀스 내에서 poc_lsb_lt[i]의 부호화에 사용되는 비트수는 변경되지 않을 수 있다. 여기서, v는 SPS에서 정의되는 log2_max_pic_order_cnt_lsb_minus4에 의해 결정될 수 있다. 상술한 바와 같이 'log2_max_pic_order_cnt_lsb_minus4+4'는 LSB로 사용되는 비트의 최대 개수를 나타낼 수 있다. 따라서, poc_lsb_lt[i]의 부호화에 사용되는 비트수는 POC LSB가 가질 수 있는 비트의 최대 개수에 해당될 수 있다.
그러나, LTRP는 매우 오랜 기간(period) 동안 변경되지 않는 특징을 가지므로, 실제 부호화/복호화 과정에서 사용되는 LTRP의 POC LSB 값의 종류는 많지 않을 수 있다. 이러한 상황에서 LTRP의 POC LSB를 시그널링하기 위해 최대 개수의 비트를 할당하는 것은 비효율적일 수 있다.
따라서, 표 9 및 표 10의 실시예에서 발생되는 문제점을 해결하기 위한 LTRP 시그널링 방법이 제공될 수 있다. 이하, 상술한 문제점을 해결하기 위한 LTRP 시그널링 방법의 실시예들이 서술된다.
상술한 바와 같이, LTRP는 매우 오랜 시간 동안 DPB에 저장되어 변경되지 않는 특징을 가진다. 따라서, 매 슬라이스 헤더마다 동일한 POC LSB 값을 전송하는 것은 리둔던시(redundancy)에 해당될 수 있다. 따라서, 시그널링 효율을 향상시키기 위해, LTRP의 POC LSB로 사용될 가능성이 높은 POC LSB 값들은 SPS에 포함되어 복호화 장치로 전송될 수 있다.
이하, 본 명세서에서는 SPS에서 전송되는 POC LSB는 'SPS POC LSB'라 한다. 이 때, SPS에서 전송되는 복수의 POC LSB는 하나의 세트를 구성하는 것으로도 볼 수 있으며, 본 명세서에서 상기 세트는 'SPS POC LSB 세트' 또는 'SPS LSB 세트'로도 지칭될 수 있다. 또한, SPS에서 전송되는 POC LSB는 LTRP에 대응되므로, 이하 본 명세서에서는 SPS에서 전송되는 POC LSB가 'SPS 후보 LTRP'로도 지칭될 수 있다. SPS에서 전송되는 복수의 SPS 후보 LTRP는 'SPS 후보 LTRP 리스트'를 구성하는 것으로도 볼 수 있다.
슬라이스에서 시그널링될 LTRP의 POC LSB가 SPS에서 전송될 SPS POC LSB와 동일할 때, 슬라이스에서는 LTRP의 POC LSB 대신, 상기 SPS POC LSB를 지시하는 인덱스를 전송할 수 있다. 따라서, 이 경우에는 LTRP의 POC LSB를 시그널링하기 위해 필요한 비트량이 감소될 수 있다.
다음 표 11은 SPS POC LSB에 관한 정보를 포함하는 SPS의 일 실시예를 나타낸다.
표 11을 참조하면, SPS에서는 long_term_ref_pics_present_flag가 정의될 수 있다. 즉, 부호화 장치는 SPS를 통해 long_term_ref_pics_present_flag를 복호화 장치로 전송할 수 있다. 상기 플래그는 표 9의 실시예에서와 동일하므로, 여기서는 이에 대한 구체적인 설명은 생략하기로 한다.
long_term_ref_pics_present_flag에 할당된 값이 1인 경우, 즉 현재 시퀀스에서 LTRP가 인터 예측을 위해 사용되는 경우에는 num_long_term_ref_pics_sps 및 lt_ref_pic_poc_lsb_sps[i] 가 SPS에 포함되어 복호화 장치로 전송될 수 있다.
num_long_term_ref_pics_sps는 SPS에서 특정되거나 전송되는 SPS 후보 LTRP의 개수를 나타낼 수 있다. 즉, 부호화 장치는 LTRP의 POC LSB로 사용될 가능성이 높은 후보 POC LSB의 개수에 관한 정보를 SPS를 통해 복호화 장치로 전송할 수 있다. 여기서, 일례로 num_long_term_ref_pics_sps는 0에서 32까지 범위의 값을 가질 수 있다.
num_long_term_ref_pics_sps가 0보다 큰 경우, 즉 SPS에서 전송되는 SPS 후보 LTRP의 개수가 0보다 큰 경우, lt_ref_pic_poc_lsb_sps[i]가 SPS에 포함되어 복호화 장치로 전송될 수 있다. lt_ref_pic_poc_lsb_sps[i](여기서, i는 0 이상의 정수임)는 SPS에서 특정되거나 전송되는 i번째 SPS 후보 LTRP의 POC LSB를 나타낼 수 있다. 이는 POC LSB 세트가 SPS를 통해 전송되는 것으로도 볼 수 있다. 여기서, lt_ref_pic_poc_lsb_sps[i]를 나타내기 위해 필요한 비트수는 'log2_max_pic_order_cnt_lsb_minus4+4'일 수 있다. log2_max_pic_order_cnt_lsb_minus4에 대해서는 상술한 바 있으므로, 여기서는 이에 대한 구체적인 설명은 생략하기로 한다.
표 11의 실시예에서와 같이 SPS에서 SPS POC LSB에 관한 정보가 전송되는 경우, 슬라이스 헤더에서 정의되는 LTRP 관련 정보들은 일 실시예로 다음 표 12에서와 같이 나타내어질 수 있다.
슬라이스 헤더에서는, long_term_ref_pics_present_flag에 할당된 값이 1인 경우, 즉 현재 시퀀스에서 LTRP가 인터 예측을 위해 사용되는 경우에 LTRP 관련 정보들이 전송될 수 있다.
표 12의 실시예에서, num_long_term_sps는 현재 픽쳐(및/또는 현재 슬라이스)의 장기 참조 픽쳐 세트에 포함될 SPS 후보 LTRP의 개수를 나타낼 수 있다. 즉, 부호화 장치는 SPS에서 전송되는 SPS POC LSB의 개수가 0보다 큰 경우에, 현재 픽쳐의 장기 참조 픽쳐 세트에 포함될 SPS 후보 LTRP의 개수에 관한 정보를 복호화 장치로 전송할 수 있다. 이 경우, 현재 픽쳐(및/또는 현재 슬라이스)의 장기 참조 픽쳐 세트에 포함될 SPS 후보 LTRP는 현재 슬라이스의 복호화 수행 전에 DPB에 저장되어 있는 픽쳐일 수 있다.
num_long_term_sps가 존재하지 않는 경우에, num_long_term_sps의 값은 0으로 간주되거나 추정될 수 있다. 또한, num_long_term_sps는 '0'부터 'Min(num_long_term_ref_pics_sps, max_dec_pic_buffering[max_temporal_layers_minus1]-NumNegativePics[StRpsIdx]-NumPositivePics[StRpsIdx]-num_long_term_pics)'까지의 값을 가질 수 있다. 여기서, max_dec_pic_buffering[max_temporal_layers_minus1]는 DPB에 저장되는 참조 픽쳐의 최대 개수를 나타낼 수 있다. num_long_term_ref_pics_sps, NumNegativePics[StRpsIdx] 및 NumPositivePics[StRpsIdx]에 관한 내용은 상술한 바 있으므로, 여기서는 이에 대한 설명은 생략하기로 한다.
표 12의 실시예에서, num_long_term_pics는 현재 픽쳐(및/또는 현재 슬라이스)의 장기 참조 픽쳐 세트에 포함될 LTRP로서 현재 슬라이스 헤더에서 직접적으로(directly) 시그널링되거나 특정되는 LTRP의 개수를 나타낼 수 있다. 즉, 부호화 장치는 현재 픽쳐(및/또는 현재 슬라이스)의 장기 참조 픽쳐 세트에 포함될 LTRP로서 SPS 후보 LTRP가 아닌(또는 SPS 후보 LTRP를 참조하지 않는) LTRP의 개수에 관한 정보를 복호화 장치로 전송할 수 있다. 이 경우, 현재 픽쳐(및/또는 현재 슬라이스)의 장기 참조 픽쳐 세트에 포함될 LTRP는 현재 슬라이스의 복호화 수행 전에 DPB에 저장되어 있는 픽쳐일 수 있다.
num_long_term_pics가 존재하지 않는 경우에, num_long_term_pics의 값은 0으로 간주되거나 추정될 수 있다. 또한, num_long_term_pics는 '0'부터 'max_dec_pic_buffering[max_temporal_layers_minus1]-NumNegativePics[StRpsIdx]-NumPositivePics[StRpsIdx]-num_long_term_sps'까지의 값을 가질 수 있다.
한편, 상술한 바와 같이, 슬라이스에서 시그널링될 LTRP의 POC LSB가 SPS에서 전송될 SPS POC LSB와 동일할 때, 슬라이스에서는 LTRP의 POC LSB 대신, 상기 SPS POC LSB를 지시하는 인덱스를 전송할 수 있다. 즉, 슬라이스 헤더에서는 SPS POC LSB를 기반으로 결정되는 LTRP들의 리스트가 전송될 수 있다.
표 12를 참조하면, lt_idx_sps[i](여기서, i는 0 이상의 정수임)는 SPS 후보 LTRP 리스트에 포함된 픽쳐(SPS 후보 LTRP) 중에서, 현재 픽쳐의 장기 참조 픽쳐 세트에 i번째 LTRP로서 포함될 픽쳐(SPS 후보 LTRP)의 인덱스를 나타낼 수 있다. 즉, lt_idx_sps[i]는 현재 픽쳐의 장기 참조 픽쳐 세트에 포함될 픽쳐의 식별(identification)을 위한, SPS 후보 LTRP 리스트로의 인덱스를 나타낼 수 있다. 따라서, 복호화 장치는 슬라이스 헤더를 통해 전송된 lt_idx_sps[i]를 기반으로, 현재 픽쳐의 LTRP로 사용될 SPS 후보 LTRP를 결정할 수 있다. 이 경우, POC LSB에 관한 정보가 인덱스화될 수 있으므로, 부호화 장치에서 복호화 장치로 전송되는 정보량이 감소될 수 있다.
여기서, SPS 후보 LTRP의 인덱스는 표 11의 SPS에서 정의되는 신택스 요소 lt_ref_pic_poc_lsb_sps[i]에서의 i를 의미할 수 있다. 따라서, 이 경우 현재 픽쳐(및/또는 현재 슬라이스)의 장치 참조 픽쳐 세트에 포함될 i번째 후보 LTRP의 POC LSB는 lt_ref_pic_poc_lsb_sps[lt_idx_sps[i]]일 수 있다.
lt_idx_sps[i]는 일례로 '0'부터 'num_long_term_ref_pics_sps-1'까지의 범위의 값을 가질 수 있다. 이 때, lt_idx_sps[i]를 나타내기 위해 사용되는 비트의 개수는 'ceil(log2(num_long_term_ref_pics_sps))'일 수 있다. 여기서, 'ceil(X)'는 X보다 크거나 같은 최소의 정수를 의미할 수 있다.
슬라이스에서 시그널링될 LTRP의 POC LSB가 SPS에서 전송될 SPS POC LSB와 동일하지 않을 때, 슬라이스에서는 LTRP의 POC LSB가 직접적으로 전송될 수 있다. 즉, 슬라이스 헤더에서는 SPS POC LSB를 기반으로 결정되지 않는 LTRP들의 리스트가 추가적으로 전송될 수 있다.
표 12를 참조하면, poc_lsb_lt[i]는 현재 픽쳐의 장기 참조 픽쳐 세트에 포함될 i번째 후보 LTRP의 POC LSB를 나타낼 수 있다. 즉, 부호화 장치는 현재 픽쳐의 장기 참조 픽쳐 세트에 포함될 LTRP의 POC LSB를 슬라이스 헤더에서 직접적으로 또는 명시적으로 복호화 장치로 전송할 수 있다.
poc_lsb_lt[i]는 일례로, '0'부터 'MaxPicOrderCntLsb'까지의 범위의 값을 가질 수 있다. 이 때, poc_lsb_lt[i]를 나타내기 위해 사용되는 비트의 개수는 'log2_max_pic_order_cnt_lsb_minus4+4'일 수 있다.
표 12의 실시예에서, 현재 픽쳐의 장기 참조 픽쳐 세트에 포함될 후보 LTRP들 중에서 일부의 LTRP(이하, 제1 후보 LTRP라 함)의 POC LSB는 SPS POC LSB를 기반으로 결정될 수 있다. 또한, 현재 픽쳐의 장기 참조 픽쳐 세트에 포함될 후보 LTRP들 중에서 나머지 LTRP(이하, 제2 후보 LTRP라 함)의 POC LSB는 슬라이스 헤더에서 명시적으로 전송된 poc_lsb_lt[i]를 기반으로 결정될 수 있다. 이 때, 현재 픽쳐의 장기 참조 픽쳐 세트에 포함될 후보 LTRP들은 제1 후보 LTRP들 및 제2 후보 LTRP들로 구성되는 것으로 볼 수 있다. 따라서, 제1 후보 LTRP들의 POC LSB 및 제2 후보 LTRP들의 POC LSB가 모두 결정되면, 현재 픽쳐의 장기 참조 픽쳐 세트에 포함될 후보 LTRP들의 POC LSB가 모두 결정된 것으로 볼 수 있다.
다시 표 12를 참조하면, 슬라이스 헤더에서는 현재 픽쳐의 장기 참조 픽쳐 세트에 포함될 후보 LTRP의 POC MSB를 유도하기 위한 정보가 전송될 수 있다. POC MSB를 유도하기 위한 슬라이스 헤더 내 정보에는 delta_poc_msb_present_flag[i] 및 delta_poc_msb_cycle_lt[i]가 있을 수 있다.
delta_poc_msb_present_flag[i]는 delta_poc_msb_cycle_lt[i]가 존재하는지 여부를 지시할 수 있다. 즉, 부호화 장치는 LTRP의 POC MSB를 구별 짓기 위한(to distinguish) MSB 정보가 존재하는지 여부를 지시하는 플래그 정보를 복호화 장치로 전송할 수 있다.
예컨대, 서로 동일한 POC LSB 값을 갖는 LTRP가 둘 이상 존재할 가능성이 없다면, delta_poc_msb_present_flag[i]에는 0의 값이 할당될 수 있다. 이 때 상기 플래그는 delta_poc_msb_cycle_lt[i]가 존재하지 않는다는 것을 지시할 수 있다. 반면 DPB 내에 poc_lsb_lt[i]와 동일한 POC LSB 값을 갖는 참조 픽쳐가 두 개 이상 존재한다면, delta_poc_msb_present_flag[i]에는 1의 값이 할당될 수 있다. 이 때 상기 플래그는 delta_poc_msb_cycle_lt[i]가 존재한다는 것을 지시할 수 있다. 일 실시예로, j가 '0'에서 'num_long_term_pics-1'까지의 범위 내에서 i와 동일하지 않은 정수 값을 갖는다고 가정한다. 이 때, j가 가질 수 있는 값 중에서 poc_lsb_lt[i] 및 poc_lsb_lt[j]가 서로 동일해지는 값이 존재하는 경우에는, delta_poc_msb_present_flag[i]에 1이 할당될 수 있다.
다시 표 12를 참조하면, delta_poc_msb_present_flag[i] 에 1이 할당된 경우에는 delta_poc_msb_cycle_lt[i]가 슬라이스 헤더에 포함되어 복호화 장치로 전송될 수 있다. delta_poc_msb_cycle_lt[i]는 현재 픽쳐의 장기 참조 픽쳐 세트에 포함될 i번째 후보 LTRP의 POC MSB를 결정하기 위해 사용될 수 있다. 즉, i번째 후보 LTRP의 POC MSB는 delta_poc_msb_cycle_lt[i]를 기반으로 소정의 연산을 통해 결정될 수 있다.
POC MSB 유도 과정에서 복호화 장치는 부호화 장치로부터 전송된 delta_poc_msb_cycle_lt[i]를 기반으로 DeltaPocMSBCycleLt[i]라는 변수를 도출할 수 있다. 이 때, POC MSB는 DeltaPocMSBCycleLt[i]에 할당된 값을 기반으로 계산될 수 있다. DeltaPocMSBCycleLt[i] 도출 과정은 일례로 다음과 같이 나타내어질 수 있다.
lt_idx_sps[i], poc_lsb_lt[i], delta_poc_msb_present_flag[i] 및/또는 delta_poc_msb_cycle_lt[i]를 통해 POC LSB 및/또는 POC MSB가 결정되면, 복호화 장치는 이를 기반으로 현재 픽쳐의 장기 참조 픽쳐 세트에 포함될 i번째 후보 LTRP의 POC를 도출할 수 있다.
또한, 표 12의 실시예에서 used_by_curr_pic_lt_flag[i]는 현재 픽쳐의 장기 참조 픽쳐 세트에 포함될 i번째 후보 LTRP가 현재 픽쳐(및/또는 현재 슬라이스)의 참조 픽쳐로 사용되는지 여부를 지시할 수 있다. 예컨대, used_by_curr_pic_lt_flag[i]에 0이 할당된 경우 i번째 후보 LTRP는 현재 픽쳐(및/또는 현재 슬라이스)의 참조 픽쳐로 사용되지 않을 수 있다. 이 때, 상기 i번째 후보 LTRP는 참조 픽쳐 리스트 생성에 사용되는 장기 참조 픽쳐 세트에 포함되지 않을 수 있다.
표 12의 실시예에 따르면, 복호화 장치는 POC LSB 및/또는 POC MSB를 기반으로 도출된 POC에 의해 지시되는 LTRP들을 장기 참조 픽쳐 세트 구성에 이용할 수 있다. 예컨대, 복호화 장치는 POC LSB 및/또는 POC MSB를 기반으로 유도되는 후보 LTRP들 중에서 used_by_curr_pic_lt_flag[i]에 0이 할당된 LTRP를 제외한 나머지 LTRP들을 i 크기의 오름차순으로 할당함으로써 장기 참조 픽쳐 세트를 구성할 수 있다. 장기 참조 픽쳐 세트를 기반으로 참조 픽쳐 리스트를 생성하는 과정은 도 4에서 상술한 바 있으므로, 여기서는 생략하기로 한다.
다음 표 13은 SPS에서 LTRP 관련 정보가 표 11의 실시예에서와 같이 전송되는 경우, 슬라이스 헤더에서 정의되는 LTRP 관련 정보의 다른 실시예를 나타낸다.
상술한 표 12의 실시예에서는 lt_idx_sps[i]에 대한 디스크립터로서 u(v)가 할당된다. 따라서, lt_idx_sps[i]에 대해서는 v개의 고정된 개수의 비트를 기반으로 하는 '고정 길이 부호화' 방식이 적용될 수 있다. 그러나, LTRP는 매우 오랜 시간 동안 변경되지 않는 특징을 가지므로, lt_idx_sps[i]에 고정 길이 부호화를 적용하는 것은 비효율적일 수 있다.
따라서, lt_idx_sps[i]에 대해서는 적응적으로 비트 길이를 결정하는 부호화 방식이 적용될 수 있다. 일례로, 적응적으로 비트 길이를 결정하는 부호화 방식에는 지수 골룸(Exponential Golomb) 부호화 방식이 있을 수 있다.
표 13을 참조하면, lt_idx_sps[i]에 대한 디스크립터로서 ue(v)가 할당될 수 있다. 즉, lt_idx_sps[i]는 ue(v)로 슬라이스 헤더에서 부호화되어 전송될 수 있다. ue(v)는 지수 골룸 방식을 기반으로 부호화되는 신택스 요소를 나타낼 수 있다. 따라서, 표 13의 실시예에서 lt_idx_sps[i]는 지수 골룸 코드를 기반으로 부호화되어 복호화 장치로 전송될 수 있다. 여기서, 일례로 상기 지수 골룸 코드는 0차 지수 골룸 코드(0-th order Exponential Golomb code)에 해당될 수 있다.
표 12의 실시예에서와 같이 고정 길이 부호화 방식이 적용되는 경우에는, lt_idx_sps[i]를 나타내기 위해 사용되는 비트의 개수가 'ceil(log2(num_long_term_ref_pics_sps))'일 수 있다. 그러나, 지수 골룸 부호화 방식이 적용되는 경우에는 지수 골룸 코드에 따라 가변적으로 비트의 길이가 결정될 수 있으므로, lt_idx_sps[i]를 나타내기 위해 사용되는 비트의 개수는 가변적일 수 있다. 따라서, 표 13의 실시예에서 lt_idx_sps[i]를 나타내기 위해 사용되는 비트의 개수는 'ceil(log2(num_long_term_ref_pics_sps))'가 아닐 수도 있다.
표 13의 실시예에 따라 슬라이스 헤더에서 정의되는 LTRP 관련 정보들에 대한 내용은, 상술한 내용을 제외하고는 표 12의 실시예에서와 동일하므로 여기서는 이에 대한 구체적인 설명은 생략하기로 한다.
다음 표 14는 SPS POC LSB에 관한 정보를 포함하는 SPS의 다른 실시예를 나타낸다.
상술한 표 11 내지 표 13의 실시예에서는 제1 후보 LTRP(예컨대, 현재 픽쳐의 장기 참조 픽쳐 세트에 포함될 후보 LTRP들 중에서 SPS POC LSB를 기반으로 POC LSB가 결정되는 LTRP) 및 제2 후보 LTRP(예컨대, 현재 픽쳐의 장기 참조 픽쳐 세트에 포함될 후보 LTRP들 중에서 슬라이스 헤더에서 명시적으로 전송된 poc_lsb_lt[i]를 기반으로 POC LSB가 결정되는 LTRP)가 현재 픽쳐에 의해 참조 픽쳐로 사용되는지 여부는, 모두 슬라이스 헤더에서 전송되는 used_by_curr_pic_lt_flag[i]에 의해 결정될 수 있다. 그러나, 제1 후보 LTRP의 POC LSB는 SPS POC LSB를 기반으로 결정될 수 있으므로, 제1 후보 LTRP가 현재 픽쳐에 의해 참조 픽쳐로 사용되는지 여부는 SPS에서 전송되는 별개의 플래그에 의해 결정될 수도 있다. 즉, SPS에서는 SPS POC LSB가 상기 SPS에 속한 픽쳐(예컨대, 현재 픽쳐)에 의해 참조 픽쳐로 사용되는지 여부를 지시하는 플래그 정보가 전송될 수 있다.
표 14를 참조하면, used_by_curr_pic_lt_sps_flag[i](여기서, i는 0 이상의 정수임)는, i번째 SPS 후보 LTRP가 상기 i번째 SPS 후보 LTRP를 제1 후보 LTRP로 이용하는 픽쳐에 의해 참조 픽쳐로 사용되는지 여부를 지시할 수 있다. 예컨대, used_by_curr_pic_lt_sps_flag[i]에 0이 할당된 경우, i번째 SPS 후보 LTRP는 상기 i번째 SPS 후보 LTRP를 제1 후보 LTRP로 이용하는 픽쳐에 의해 참조로 사용되지 않을 수 있다. 이 때, 상기 i번째 SPS 후보 LTRP에 대응되는 제1 후보 LTRP는 참조 픽쳐 리스트 생성에 사용되는 장기 참조 픽쳐 세트에 포함되지 않을 수 있다.
표 14의 실시예에 따라 SPS에서 정의되는 LTRP 관련 정보들에 대한 내용은, 상술한 내용을 제외하고는 표 11의 SPS에서와 동일하므로 여기서는 이에 대한 구체적인 설명은 생략하기로 한다.
표 14의 실시예에서와 같이 SPS에서 SPS POC LSB에 관한 정보가 전송되는 경우, 슬라이스 헤더에서 정의되는 LTRP 관련 정보들은 일 실시예로 다음 표 15에서와 같이 나타내어질 수 있다.
상술한 표 11 내지 표 13의 실시예에서는, used_by_curr_pic_lt_flag[i]가 제1 후보 LTRP 및 제2 후보 LTRP 모두에 대해 적용될 수 있다. 즉, 제1 후보 LTRP 및 제2 후보 LTRP가 현재 픽쳐에 의해 참조 픽쳐로 사용되는지 여부는 모두 슬라이스 헤더에서 전송되는 used_by_curr_pic_lt_flag[i]에 의해 결정될 수 있다. 상술한 바와 같이, 제1 후보 LTRP는 lt_idx_sps[i]를 기반으로 결정될 수 있고 제2 후보 LTRP는 poc_lsb_lt[i]를 기반으로 결정될 수 있다.
표 14의 실시예에서와 같이 used_by_curr_pic_lt_sps_flag[i]가 SPS에서 전송되는 경우, 제1 후보 LTRP가 현재 픽쳐에 의해 참조로 사용되는지 여부는 used_by_curr_pic_lt_sps_flag[i]를 기반으로 결정될 수 있다. 예컨대, 표 12의 실시예에서 상술한 바와 같이, 현재 픽쳐(및/또는 현재 슬라이스)의 장치 참조 픽쳐 세트에 포함될 i번째 후보 LTRP의 POC LSB는 lt_ref_pic_poc_lsb_sps[lt_idx_sps[i]]일 수 있다. 이 때, i번째 후보 LTRP가 현재 픽쳐에 의해 참조로 사용되는지 여부는 used_by_curr_pic_lt_sps_flag[lt_idx_sps[i]]에 할당된 값에 따라 결정될 수 있다.
따라서, 표 15의 슬라이스 헤더에서 전송되는 used_by_curr_pic_lt_flag[i]는 제2 후보 LTRP가 현재 픽쳐에 의해 참조로 사용되는지 여부를 결정하기 위해 사용될 수 있다. 따라서, used_by_curr_pic_lt_flag[i]는 lt_idx_sps[i]가 전송되는 경우에는 전송되지 않을 수 있고, poc_lsb_lt[i]가 전송되는 경우에만 전송될 수도 있다. 표 15를 참조하면, used_by_curr_pic_lt_flag[i]는 lt_idx_sps[i]가 아닌 poc_lsb_lt[i]와 함께 전송될 수 있다. 즉, 표 15의 실시예에서 used_by_curr_pic_lt_flag[i]는 poc_lsb_lt[i]를 기반으로 결정되는 제2 후보 LTRP가 현재 픽쳐에 의해 참조로 사용되는지 여부를 지시할 수 있다.
표 15의 실시예에 따라 슬라이스 헤더에서 정의되는 LTRP 관련 정보들에 대한 내용은, 상술한 내용을 제외하고는 표 12의 슬라이스 헤더에서와 동일하므로 여기서는 이에 대한 구체적인 설명은 생략하기로 한다.
다음 표 16은 SPS에서 LTRP 관련 정보가 표 14의 실시예에서와 같이 전송되는 경우, 슬라이스 헤더에서 정의되는 LTRP 관련 정보의 다른 실시예를 나타낸다.
상술한 표 15의 실시예에서는 lt_idx_sps[i]에 대한 디스크립터로서 u(v)가 할당된다. 따라서, lt_idx_sps[i]에 대해서는 v개의 고정된 개수의 비트를 기반으로 하는 '고정 길이 부호화' 방식이 적용될 수 있다. 그러나, LTRP는 매우 오랜 시간 동안 변경되지 않는 특징을 가지므로, lt_idx_sps[i]에 고정 길이 부호화를 적용하는 것은 비효율적일 수 있다.
따라서, lt_idx_sps[i]에 대해서는 적응적으로 비트 길이를 결정하는 부호화 방식이 적용될 수 있다. 일례로, 적응적으로 비트 길이를 결정하는 부호화 방식에는 지수 골룸(Exponential Golomb) 부호화 방식이 있을 수 있다.
표 16을 참조하면, lt_idx_sps[i]에 대한 디스크립터로서 ue(v)가 할당될 수 있다. 즉, lt_idx_sps[i]는 ue(v)로 슬라이스 헤더에서 부호화되어 전송될 수 있다. ue(v)는 지수 골룸 방식을 기반으로 부호화되는 신택스 요소를 나타낼 수 있다. 따라서, 표 16의 실시예에서 lt_idx_sps[i]는 지수 골룸 코드를 기반으로 부호화되어 복호화 장치로 전송될 수 있다. 여기서, 일례로 상기 지수 골룸 코드는 0차 지수 골룸 코드(0-th order Exponential Golomb code)에 해당될 수 있다.
표 16의 실시예에서와 같이 고정 길이 부호화 방식이 적용되는 경우에는, lt_idx_sps[i]를 나타내기 위해 사용되는 비트의 개수가 'ceil(log2(num_long_term_ref_pics_sps))'일 수 있다. 그러나, 지수 골룸 부호화 방식이 적용되는 경우에는 지수 골룸 코드에 따라 가변적으로 비트의 길이가 결정될 수 있으므로, lt_idx_sps[i]를 나타내기 위해 사용되는 비트의 개수는 가변적일 수 있다. 따라서, 표 16의 실시예에서 lt_idx_sps[i]를 나타내기 위해 사용되는 비트의 개수는 'ceil(log2(num_long_term_ref_pics_sps))'가 아닐 수도 있다.
표 16의 실시예에 따라 슬라이스 헤더에서 정의되는 LTRP 관련 정보들에 대한 내용은, 상술한 내용을 제외하고는 표 15의 실시예에서와 동일하므로 여기서는 이에 대한 구체적인 설명은 생략하기로 한다.
도 6은 본 발명에 따라서 부호화 장치가 수행하는 부호화 과정을 개략적으로 설명하는 흐름도이다. 도 6의 부호화 과정을 수행하는 부호화 장치는 도 1에서 상술한 부호화 장치에 대응될 수 있다.
도 6을 참조하면, 부호화 장치는 현재 블록에 대한 예측을 수행할 수 있다(S610). 부호화 장치는 현재 블록에 대하여 인터 예측 또는 인트라 예측을 수행할 수 있다. 인터 예측이 수행되는 경우에는 참조 픽쳐 리스트를 기반으로 현재 블록의 움직임 보상에 이용될 참조 픽쳐를 결정할 수 있다. 여기서, 참조 픽쳐 리스트는 상술한 바와 같이 참조 픽쳐 세트를 기반으로 생성되거나 초기화될 수 있다. 참조 픽쳐 세트 구성 과정 및 참조 픽쳐 세트를 기반으로 참조 픽쳐 리스트를 생성하는 과정의 실시예들은 상술한 바 있으므로, 여기서는 생략하기로 한다.
부호화 장치는 현재 블록에 대한 예측 결과를 변환/양자화할 수 있다(S620). 이 때, 부호화 장치는 예측 결과와 원본 블록의 차이에 해당되는 잔차 블록을 변환/양자화할 수 있다.
부호화 장치는 변환/양자화된 정보를 엔트로피 부호화할 수 있다(S630). 이 때, 부호화 장치는 참조 픽쳐 세트를 구성하기 위해 필요한 정보들을 함께 엔트로피 부호화할 수 있다. 엔트로피 부호화의 방법으로서 CABAC이 이용될 수 있다.
부호화 장치는 엔트로피 부호화된 정보를 시그널링할 수 있다(S640). 이 때, 시그널링되는 정보는 현재 픽쳐(및/또는 현재 블록)에 대한 참조 픽쳐 세트를 구성하기 위해 필요한 정보를 포함할 수 있다. 참조 픽쳐 세트는 슬라이스(및/또는 픽쳐) 별로 구성될 수 있으며, 참조 픽쳐 세트를 구성하기 위한 정보는 상술한 바와 같이 SPS, PPS 및/또는 슬라이스 헤더에 포함되어 전송될 수 있다. 참조 픽쳐 세트를 구성하기 위해 필요한 정보의 구체적인 실시예들은 상술한 바 있으므로, 여기서는 이에 대한 구체적인 설명은 생략하기로 한다.
도 6에서는 참조 픽쳐 세트 및 참조 픽쳐 리스트에 관한 내용을 고려하여, 발명이 용이하게 이해될 수 있도록 부호화 장치의 동작을 개략적으로 설명하였으나, 이는 설명의 편의를 위한 것으로서, 본 발명에서 부호화 장치의 동작은 도 1에서 설명한 제 동작을 포함할 수 있다.
도 7은 본 발명에 따라서 복호화 장치가 수행하는 복호화 과정을 개략적으로 설명하는 흐름도이다. 도 7의 복호화 과정을 수행하는 복호화 장치는 도 2에서 상술한 복호화 장치에 대응될 수 있다.
도 7을 참조하면, 복호화 장치는 부호화 장치로부터 비트스트림을 수신하고, 엔트로피 복호화를 수행할 수 있다(S710). 부호화 장치로부터 수신된 비트스트림은 참조 픽쳐 세트를 구성하기 위해 필요한 정보를 포함할 수 있다. 상술한 바와 같이, 참조 픽쳐 세트를 구성하기 위한 정보는 SPS, PPS 및/또는 슬라이스 헤더에 포함되어 수신될 수 있다. 참조 픽쳐 세트를 구성하기 위해 필요한 정보의 구체적인 실시예들은 상술한 바 있으므로, 여기서는 이에 대한 구체적인 설명은 생략하기로 한다.
복호화 장치는 엔트로피 복호화된 정보를 기반으로 현재 블록에 대한 예측을 수행할 수 있다(S720). 현재 블록에 대한 예측 방법은 부호화 장치로부터 전송될 수 있다. 현재 블록에 대한 예측 방법이 인터 예측인 경우에 복호화 장치는 수신된 정보를 기반으로 생성된 참조 픽쳐 리스트를 이용하여 예측을 수행할 수 있다.
여기서, 참조 픽쳐 리스트는 상술한 바와 같이 참조 픽쳐 세트를 기반으로 생성되거나 초기화될 수 있다. 참조 픽쳐 세트 구성 과정 및 참조 픽쳐 세트를 기반으로 참조 픽쳐 리스트를 생성하는 과정의 실시예들은 상술한 바 있으므로, 여기서는 생략하기로 한다. 구성된 참조 픽쳐 리스트는 복호화 장치의 메모리에 저장될 수 있다.
복호화 장치는 영상을 복원할 수 있다(S730). 복호화 장치는 현재 블록에 대한 예측을 기반으로 현재 블록을 복원하고 복원된 블록들을 통해 영상을 복원할 수 있다. 스킵 모드가 적용되는 경우에는 잔차 신호가 전송되지 않으므로, 예측 블록이 복원 블록으로 사용될 수 있다. 머지 모드 또는 MVP가 적용되는 경우, 복호화 장치는 예측 블록 및 잔차 블록을 함하여 현재 블록을 복원할 수 있다.
본 명세서에서는, "참조 픽쳐 세트에 포함된 픽쳐", "참조 픽쳐 세트의 x번째 픽쳐", "참조 픽쳐 리스트에 포함된 픽쳐", "참조 픽쳐 리스트의 x번째 픽쳐"라는 표현을 사용하였으나, 이는 설명의 편의를 위한 것임에 유의한다. 참조 픽쳐 세트 또는 참조 픽쳐 리스트에 포함된 픽쳐는 참조 픽쳐 세트 또는 참조 픽쳐 리스트에 대응되는 POC 정보가 포함되어 있는 픽쳐를 의미할 수 있다. 또한, 참조 픽쳐 세트의 x번째 픽쳐 또는 참조 픽쳐 리스트의 x번째 픽쳐는 참조 픽쳐 세트 또는 참조 픽쳐 리스트 내에서 대응되는 POC 정보가 x번째로 정렬되는 픽쳐를 의미할 수 있다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
지금까지 본 발명에 관한 설명에서 일 구성 요소가 타 구성 요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 상기 일 다른 구성 요소가 상기 타 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 두 구성 요소 사이에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. 반면에, 일 구성 요소가 타 구성 요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 두 구성 요소 사이에 다른 구성요소가 존재하지 않는 것으로 이해되어야 한다.

Claims (4)

  1. 디코딩 장치에 의해 수행되는 영상 디코딩 방법에 있어서,
    비트스트림으로부터 LTRP (Long Term Reference Picture) 정보를 포함하는 영상 정보를 획득하는 단계;
    상기 LTRP 정보를 기반으로 참조 픽처 세트를 구성하는 단계;
    상기 참조 픽처 세트 내의 LTRP를 기반으로 현재 픽처 내의 현재 블록의 예측 샘플들을 생성하는 단계;
    상기 예측 샘플들에 기반하여 복원 샘플들을 생성하는 단계를 포함하되,
    상기 LTRP 정보는 상기 비트스트림의 SPS (Sequence Parameter Set)에 포함된 제1 LTRP 정보 및 상기 비트스트림의 슬라이스 헤더에 포함된 제2 LTRP 정보를 포함하고,
    상기 LTRP는 상기 제1 LTRP 정보에 의해 명시되는 후보 LTRP들 중 하나이고,
    상기 참조 픽처 세트는 적어도 하나의 LTRP를 포함하는 LTRP 세트를 포함하고,
    상기 제1 LTRP 정보는 장기 참조 픽처 존재 플래그를 포함하고,
    상기 장기 참조 픽처 존재 플래그의 값이 1인 경우, 상기 제1 LTRP 정보는 상기 SPS에서 명시되는 상기 후보 LTRP들의 개수를 나타내는 LTRP 개수 신텍스 요소 및 상기 후보 LTRP들 각각에 대한 POC(picture order count)의 LSB(least significant bit)를 나타내는 POC LSB 정보를 포함하고,
    상기 제1 LTRP 정보는 상기 SPS에서 명시되는 상기 후보 LTRP들 각각이 상기 현재 픽처에 의해 참조 픽처로 사용되지 않는지 여부를 나타내는 장기 SPS 플래그 정보를 포함하고,
    상기 제2 LTRP 정보는 상기 SPS에서 명시되는 상기 후보 LTRP들 중에서 상기 LTRP 세트에 포함될 LTRP를 나타내는 LTRP 인덱스 정보를 포함하고,
    상기 LTRP 인덱스 정보는 가변 비트를 이용하는 부호 없는(unsigned) 정수를 나타내는 디스크립터(descriptor) u(v)를 기반으로 디코딩되는 것을 특징으로 하는 영상 디코딩 방법.
  2. 인코딩 장치에 의해 수행되는 영상 인코딩 방법에 있어서,
    참조 픽처 세트 내의 LTRP (Long Term Reference Picture)를 기반으로 현재 픽처 내의 현재 블록의 예측 샘플을 생성하는 단계;
    상기 참조 픽처 세트를 구성하기 위한 LTRP 정보를 생성하는 단계; 및
    상기 LTRP 정보를 포함하는 영상 정보를 인코딩하는 단계를 포함하되,
    상기 LTRP 정보는 상기 영상 정보의 SPS (Sequence Parameter Set)에 포함된 제1 LTRP 정보 및 상기 영상 정보의 슬라이스 헤더에 포함된 제2 LTRP 정보를 포함하고,
    상기 LTRP는 상기 제1 LTRP 정보에 의해 명시되는 후보 LTRP들 중 하나이고,
    상기 참조 픽처 세트는 적어도 하나의 LTRP를 포함하는 LTRP 세트를 포함하고,
    상기 제1 LTRP 정보는 장기 참조 픽처 존재 플래그를 포함하고,
    상기 장기 참조 픽처 존재 플래그의 값이 1인 경우, 상기 제1 LTRP 정보는 상기 SPS에서 명시되는 상기 후보 LTRP들의 개수를 나타내는 LTRP 개수 신텍스 요소 및 상기 후보 LTRP들 각각에 대한 POC(picture order count)의 LSB(least significant bit)를 나타내는 POC LSB 정보를 포함하고,
    상기 제1 LTRP 정보는 상기 SPS에서 명시되는 상기 후보 LTRP들 각각이 상기 현재 픽처에 의해 참조 픽처로 사용되지 않는지 여부를 나타내는 장기 SPS 플래그 정보를 포함하고,
    상기 제2 LTRP 정보는 상기 SPS에서 명시되는 상기 후보 LTRP들 중에서 상기 LTRP 세트에 포함될 LTRP를 나타내는 LTRP 인덱스 정보를 포함하고,
    상기 LTRP 인덱스 정보는 가변 비트를 이용하는 부호 없는(unsigned) 정수를 나타내는 디스크립터(descriptor) u(v)를 기반으로 인코딩되는 것을 특징으로 하는 영상 인코딩 방법.
  3. 특정 방법에 의해 생성된 영상 정보를 저장하는 컴퓨터 판독 가능한 디지털 저장 매체로서, 상기 특정 방법은, 참조 픽처 세트 내의 LTRP (Long Term Reference Picture)를 기반으로 현재 픽처 내의 현재 블록의 예측 샘플을 생성하는 단계, 상기 참조 픽처 세트를 구성하기 위한 LTRP 정보를 생성하는 단계, 및 상기 LTRP 정보를 포함하는 영상 정보를 인코딩하는 단계를 포함하되,
    상기 LTRP 정보는 상기 영상 정보의 SPS (Sequence Parameter Set)에 포함된 제1 LTRP 정보 및 상기 영상 정보의 슬라이스 헤더에 포함된 제2 LTRP 정보를 포함하고,
    상기 LTRP는 상기 제1 LTRP 정보에 의해 명시되는 후보 LTRP들 중 하나이고,
    상기 참조 픽처 세트는 적어도 하나의 LTRP를 포함하는 LTRP 세트를 포함하고,
    상기 제1 LTRP 정보는 장기 참조 픽처 존재 플래그를 포함하고,
    상기 장기 참조 픽처 존재 플래그의 값이 1인 경우, 상기 제1 LTRP 정보는 상기 SPS에서 명시되는 상기 후보 LTRP들의 개수를 나타내는 LTRP 개수 신텍스 요소 및 상기 후보 LTRP들 각각에 대한 POC(picture order count)의 LSB(least significant bit)를 나타내는 POC LSB 정보를 포함하고,
    상기 제1 LTRP 정보는 상기 SPS에서 명시되는 상기 후보 LTRP들 각각이 상기 현재 픽처에 의해 참조 픽처로 사용되지 않는지 여부를 나타내는 장기 SPS 플래그 정보를 포함하고,
    상기 제2 LTRP 정보는 상기 SPS에서 명시되는 상기 후보 LTRP들 중에서 상기 LTRP 세트에 포함될 LTRP를 나타내는 LTRP 인덱스 정보를 포함하고,
    상기 LTRP 인덱스 정보는 가변 비트를 이용하는 부호 없는(unsigned) 정수를 나타내는 디스크립터(descriptor) u(v)를 기반으로 인코딩되는 것을 특징으로 하는 저장매체.
  4. 영상에 대한 데이터의 전송 방법에 있어서, 상기 전송 방법은,
    비트스트림을 획득하는 단계, 여기서 상기 비트스트림은, 참조 픽처 세트 내의 LTRP (Long Term Reference Picture)를 기반으로 현재 픽처 내의 현재 블록의 예측 샘플을 생성하는 단계, 상기 참조 픽처 세트를 구성하기 위한 LTRP 정보를 생성하는 단계, 및 상기 LTRP 정보를 포함하는 영상 정보를 인코딩하는 단계를 기반으로 생성됨; 및
    상기 비트스트림을 포함하는 상기 데이터를 전송하는 단계를 포함하되,
    상기 LTRP 정보는 상기 영상 정보의 SPS (Sequence Parameter Set)에 포함된 제1 LTRP 정보 및 상기 영상 정보의 슬라이스 헤더에 포함된 제2 LTRP 정보를 포함하고,
    상기 LTRP는 상기 제1 LTRP 정보에 의해 명시되는 후보 LTRP들 중 하나이고,
    상기 참조 픽처 세트는 적어도 하나의 LTRP를 포함하는 LTRP 세트를 포함하고,
    상기 제1 LTRP 정보는 장기 참조 픽처 존재 플래그를 포함하고,
    상기 장기 참조 픽처 존재 플래그의 값이 1인 경우, 상기 제1 LTRP 정보는 상기 SPS에서 명시되는 상기 후보 LTRP들의 개수를 나타내는 LTRP 개수 신텍스 요소 및 상기 후보 LTRP들 각각에 대한 POC(picture order count)의 LSB(least significant bit)를 나타내는 POC LSB 정보를 포함하고,
    상기 제1 LTRP 정보는 상기 SPS에서 명시되는 상기 후보 LTRP들 각각이 상기 현재 픽처에 의해 참조 픽처로 사용되지 않는지 여부를 나타내는 장기 SPS 플래그 정보를 포함하고,
    상기 제2 LTRP 정보는 상기 SPS에서 명시되는 상기 후보 LTRP들 중에서 상기 LTRP 세트에 포함될 LTRP를 나타내는 LTRP 인덱스 정보를 포함하고,
    상기 LTRP 인덱스 정보는 가변 비트를 이용하는 부호 없는(unsigned) 정수를 나타내는 디스크립터(descriptor) u(v)를 기반으로 인코딩되는 것을 특징으로 하는 전송방법.
KR1020237043151A 2011-11-11 2012-11-09 영상 정보 전송 방법 및 장치와 이를 이용한 복호화 방법 및 장치 KR20230175325A (ko)

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
US201161558435P 2011-11-11 2011-11-11
US61/558,435 2011-11-11
US201161563816P 2011-11-27 2011-11-27
US61/563,816 2011-11-27
US201261609364P 2012-03-11 2012-03-11
US61/609,364 2012-03-11
US201261612404P 2012-03-19 2012-03-19
US61/612,404 2012-03-19
US201261667405P 2012-07-02 2012-07-02
US61/667,405 2012-07-02
PCT/KR2012/009475 WO2013070028A1 (ko) 2011-11-11 2012-11-09 영상 정보 전송 방법 및 장치와 이를 이용한 복호화 방법 및 장치
KR1020227027708A KR102615301B1 (ko) 2011-11-11 2012-11-09 영상 정보 전송 방법 및 장치와 이를 이용한 복호화 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020227027708A Division KR102615301B1 (ko) 2011-11-11 2012-11-09 영상 정보 전송 방법 및 장치와 이를 이용한 복호화 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20230175325A true KR20230175325A (ko) 2023-12-29

Family

ID=48290319

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020217004759A KR102332492B1 (ko) 2011-11-11 2012-11-09 영상 정보 전송 방법 및 장치와 이를 이용한 복호화 방법 및 장치
KR1020147008842A KR102219082B1 (ko) 2011-11-11 2012-11-09 영상 정보 전송 방법 및 장치와 이를 이용한 복호화 방법 및 장치
KR1020227027708A KR102615301B1 (ko) 2011-11-11 2012-11-09 영상 정보 전송 방법 및 장치와 이를 이용한 복호화 방법 및 장치
KR1020237043151A KR20230175325A (ko) 2011-11-11 2012-11-09 영상 정보 전송 방법 및 장치와 이를 이용한 복호화 방법 및 장치
KR1020217038447A KR102433985B1 (ko) 2011-11-11 2012-11-09 영상 정보 전송 방법 및 장치와 이를 이용한 복호화 방법 및 장치

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020217004759A KR102332492B1 (ko) 2011-11-11 2012-11-09 영상 정보 전송 방법 및 장치와 이를 이용한 복호화 방법 및 장치
KR1020147008842A KR102219082B1 (ko) 2011-11-11 2012-11-09 영상 정보 전송 방법 및 장치와 이를 이용한 복호화 방법 및 장치
KR1020227027708A KR102615301B1 (ko) 2011-11-11 2012-11-09 영상 정보 전송 방법 및 장치와 이를 이용한 복호화 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020217038447A KR102433985B1 (ko) 2011-11-11 2012-11-09 영상 정보 전송 방법 및 장치와 이를 이용한 복호화 방법 및 장치

Country Status (3)

Country Link
US (4) US10440389B2 (ko)
KR (5) KR102332492B1 (ko)
WO (1) WO2013070028A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130188709A1 (en) * 2012-01-25 2013-07-25 Sachin G. Deshpande Video decoder for tiles with absolute signaling
US9584825B2 (en) * 2012-09-27 2017-02-28 Qualcomm Incorporated Long-term reference picture signaling in video coding
EP2946558B1 (en) * 2013-01-15 2020-04-29 Huawei Technologies Co., Ltd. Method for decoding an hevc video bitstream
CN104937942B (zh) * 2013-01-16 2016-09-07 瑞典爱立信有限公司 用于视频序列编码的解码器、编码器和方法
WO2015002444A1 (ko) * 2013-07-01 2015-01-08 삼성전자 주식회사 필터링을 수반한 비디오 부호화 및 복호화 방법 및 그 장치
CN105453564B (zh) 2013-07-30 2019-05-10 株式会社Kt 支持多个层的图像编码和解码方法以及使用该方法的装置
US9894369B2 (en) 2013-07-30 2018-02-13 Kt Corporation Image encoding and decoding method supporting plurality of layers and apparatus using same
WO2015016536A1 (ko) * 2013-07-30 2015-02-05 주식회사 케이티 복수의 레이어를 지원하는 영상의 부호화 및 복호화 방법 및 이를 이용하는 장치
US20170359577A1 (en) * 2014-10-07 2017-12-14 Samsung Electronics Co., Ltd. Method and device for encoding or decoding multi-layer image, using interlayer prediction
US10250904B2 (en) * 2015-05-05 2019-04-02 Avago Technologies International Sales Pte. Limited Apparatus and method for overlapped motion compensation for video coding
WO2019234607A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Interaction between ibc and affine
TWI739120B (zh) 2018-06-21 2021-09-11 大陸商北京字節跳動網絡技術有限公司 合併仿射模式與非合併仿射模式的統一拘束
EP3788782A1 (en) 2018-06-21 2021-03-10 Beijing Bytedance Network Technology Co. Ltd. Sub-block mv inheritance between color components
MX2021001743A (es) * 2018-08-17 2021-06-23 Huawei Tech Co Ltd Gestión de imágenes de referencia en codificación de video.
TWI818086B (zh) 2018-09-24 2023-10-11 大陸商北京字節跳動網絡技術有限公司 擴展Merge預測
CN112997480B (zh) 2018-11-10 2023-08-22 北京字节跳动网络技术有限公司 成对平均候选计算中的取整

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7403660B2 (en) * 2003-04-30 2008-07-22 Nokia Corporation Encoding picture arrangement parameter in picture bitstream
KR100959536B1 (ko) * 2006-03-30 2010-05-27 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
US20090304068A1 (en) * 2006-07-06 2009-12-10 Purvin Bibhas Pandit Method and Apparatus for Decoupling Frame Number and/or Picture Order Count (POC) for Multi-View Video Encoding and Decoding
JP5184539B2 (ja) * 2006-10-13 2013-04-17 トムソン ライセンシング 多視点ビデオ符号化のための参照ピクチャ・リスト管理方法
EP2393296A1 (en) * 2009-01-29 2011-12-07 Panasonic Corporation Image coding method and image decoding method
WO2011074919A2 (ko) 2009-12-17 2011-06-23 에스케이텔레콤 주식회사 영상 부호화/복호화 방법 및 장치
US8885711B2 (en) * 2009-12-17 2014-11-11 Sk Telecom Co., Ltd. Image encoding/decoding method and device
KR20110071047A (ko) 2009-12-20 2011-06-28 엘지전자 주식회사 비디오 신호 디코딩 방법 및 장치
KR20110090841A (ko) * 2010-02-02 2011-08-10 (주)휴맥스 가중치 예측을 이용한 영상 부호화/복호화 장치 및 방법
ES2685431T3 (es) * 2011-09-07 2018-10-09 Sun Patent Trust Procedimiento de decodificación de imágenes y aparato de decodificación de imágenes
US9338474B2 (en) * 2011-09-23 2016-05-10 Qualcomm Incorporated Reference picture list construction for video coding
US10003817B2 (en) * 2011-11-07 2018-06-19 Microsoft Technology Licensing, Llc Signaling of state information for a decoded picture buffer and reference picture lists
US20130188709A1 (en) * 2012-01-25 2013-07-25 Sachin G. Deshpande Video decoder for tiles with absolute signaling
CN104412588B (zh) * 2012-07-01 2018-06-08 夏普株式会社 用于在参数集中发信号通知长期参考图片的设备
US9264737B2 (en) * 2012-10-01 2016-02-16 Apple Inc. Error resilient transmission of random access frames and global coding parameters

Also Published As

Publication number Publication date
KR20210024192A (ko) 2021-03-04
WO2013070028A1 (ko) 2013-05-16
KR20220116363A (ko) 2022-08-22
KR20140092807A (ko) 2014-07-24
US11812056B2 (en) 2023-11-07
US20210258609A1 (en) 2021-08-19
KR102332492B1 (ko) 2021-12-01
US10440389B2 (en) 2019-10-08
KR102433985B1 (ko) 2022-08-19
KR102219082B1 (ko) 2021-02-23
KR102615301B1 (ko) 2023-12-19
KR20210144962A (ko) 2021-11-30
US20200053389A1 (en) 2020-02-13
US20240031601A1 (en) 2024-01-25
US11025954B2 (en) 2021-06-01
US20140286416A1 (en) 2014-09-25

Similar Documents

Publication Publication Date Title
KR102615301B1 (ko) 영상 정보 전송 방법 및 장치와 이를 이용한 복호화 방법 및 장치
CN107087177B (zh) 视频帧编码方法及装置、视频帧解码方法及装置
KR102610089B1 (ko) 비디오 코딩의 참조 픽처 관리
KR102381380B1 (ko) 영상 디코딩 방법 및 이를 이용하는 장치
KR102362841B1 (ko) 영상 정보 시그널링 방법 및 장치와 이를 이용한 디코딩 방법 및 장치
JP7270725B2 (ja) ビデオエンコーダ、ビデオデコーダ、および対応する方法
JP2015508577A (ja) ビデオ復号方法およびビデオ符号化方法
KR102574869B1 (ko) 영상 복호화 방법 및 이를 이용하는 장치
KR20130118798A (ko) 영상 복호화 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent