KR20210023869A

KR20210023869A - 적어도 하나의 이미지를 대표하는 데이터 스트림을 코딩 및 디코딩하기 위한 방법들 및 디바이스들

Info

Publication number: KR20210023869A
Application number: KR1020207036787A
Authority: KR
Inventors: 펠릭스 헨리; 모센 압돌리
Original assignee: 오렌지
Priority date: 2018-06-27
Filing date: 2019-06-18
Publication date: 2021-03-04
Also published as: US11889081B2; US20210274178A1; US20220400264A1; US11457213B2; CN112292858A; US20220400263A1; EP3815366A1; WO2020002795A1; JP7466469B2; US11863751B2; FR3081656A1; JP2021530140A; BR112020024456A2; JP2024050770A

Abstract

본 발명은 블록들로 분할되는 적어도 하나의 이미지를 대표하는 코딩된 데이터 스트림을 위한 코딩 방법 및 이를 디코딩하기 위한 방법에 관한 것이다. 현재 블록으로서 지칭되는, 이미지의 적어도 하나의 블록에 대해, 현재 블록의 코딩 모드를 표시하는 정보의 아이템이 데이터 스트림으로부터 디코딩된다(E42). 현재 블록의 코딩 모드가 제1 코딩 모드에 대응할 때, 현재 블록은 변환 도메인에서 현재 블록과 연관된 예측 잔차를 역양자화하기 위한 제1 결정된 양자화 스텝(E430)을 사용하여 디코딩(E43)된다. 현재 블록의 코딩 모드가 제2 코딩 모드에 대응할 때, 현재 블록은 공간 도메인에서 현재 블록과 연관된 예측 잔차를 역양자화하기 위한 제2 결정된 양자화 스텝(E441)을 사용하여 디코딩(E44)된다. 본 발명에 따라, 제1 양자화 스텝 및 제2 양자화 스텝은 동일한 양자화 파라미터에 따라 결정된다.

Description

적어도 하나의 이미지를 대표하는 데이터 스트림을 코딩 및 디코딩하기 위한 방법들 및 디바이스들

1. 발명의 분야

본 발명의 분야는 이미지들 또는 이미지들의 시퀀스들, 특히 비디오 스트림들을 코딩 및 디코딩하는 분야이다.

보다 구체적으로, 본 발명은 이미지들의 블록 표현을 사용한 이미지들 또는 이미지들의 시퀀스들의 압축에 관한 것이다.

본 발명은 특히, 현재 또는 미래의 인코더들(JPEG, MPEG, H.264, HEVC 등 및 이들의 수정안들)에서 구현되는 이미지 또는 비디오 코딩 및 대응하는 디코딩에 적용될 수 있다.

2. 선행 기술

디지털 이미지들 및 이미지들의 시퀀스들은 메모리 관점에서 많은 공간을 차지하며, 이는 이러한 이미지들을 송신할 때 이 송신을 위해 사용되는 네트워크 상의 혼잡 문제들을 회피하기 위해 이 이미지들을 압축하도록 요구한다.

비디오 데이터를 압축하기 위한 다수의 기술들이 이미 알려져 있다. 이들 중에서, HEVC 압축 표준("High Efficiency Video Coding, Coding Tools and Specification", Matthias Wien, Signals and Communication Technology, 2015)은 동일한 이미지(인트라 예측) 또는 이전 또는 후속 이미지(인터 예측)에 속하는 다른 픽셀들과 관련하여 현재 이미지의 픽셀들의 예측을 구현할 것을 제안한다.

보다 구체적으로, 인트라 예측은 이미지 내의 공간 중복들을 사용한다. 이를 위해, 이미지들은 픽셀들의 블록들로 분할된다. 그 후, 픽셀들의 블록들은 이미지의 블록들의 스캐닝 순서에 따라 현재 이미지의 이전에 코딩/디코딩된 블록에 대응하도록 이미 재구성된 정보를 사용하여 예측된다.

또한, 종래의 방식에서, 현재 블록의 코딩은 예측기 블록(predictor block)으로서 지칭되는, 현재 블록의 예측, 및 현재 블록과 예측기 블록 간의 차이에 대응하는 예측 잔차(prediction residue) 또는 "잔차 블록(residual block)"을 사용하여 수행된다. 그 후, 결과적인 잔차 블록은 예컨대, DCT(discrete cosine transform) 유형 변환을 사용하여 변환된다. 그 후, 변환된 잔차 블록의 계수들은 양자화되고, 엔트로피 코딩에 의해 코딩되고 디코더로 송신되며, 이 디코더는 이 잔차 블록을 예측기 블록에 더함으로써 현재 블록을 재구성할 수 있다.

디코딩은 이미지별로 그리고 각각의 이미지에 대해 블록별로 이루어진다. 각각의 블록에 대해, 스트림의 대응하는 엘리먼트들이 판독된다. 잔차 블록의 계수들의 역 양자화 및 역 변환이 수행된다. 그 후, 예측기 블록을 획득하기 위해 블록 예측이 계산되고, 디코딩된 잔차 블록에 예측(즉, 예측기 블록)을 더함으로써 현재 블록이 재구성된다.

US9253508에서, 인트라 모드에서 블록들을 코딩하기 위한 DPCM(Differential Pulse Code Modulation) 코딩 기술이 HEVC 인코더에 통합된다. 이러한 기술은 인트라 블록의 픽셀들의 세트를 이전에 재구성된 그 동일한 블록의 다른 픽셀들의 세트에 의해 예측하는 것에 있다. US9253508에서, 코딩될 인트라 블록의 픽셀 세트는 블록의 행 또는 열, 또는 행 및 열에 대응하고, 픽셀 세트를 예측하는 데 사용되는 인트라 예측은 HEVC 표준에 정의된 방향성 인트라 예측들 중 하나이다.

그러나 이러한 기술은 최적이 아니다. 실제로, 인트라 블록의 픽셀 세트의 재구성은, 무손실 코딩의 경우에 예측 잔차의 추가에 대응하고 이에 따라 상당히 낮은 압축 비율을 제공하거나, 또는 예측으로서 역할을 하는 상기 다른 픽셀 세트의 역 변환 및/또는 역 양자화 후 예측 잔차의 추가에 대응한다. 따라서, 이러한 기술은 인트라 블록의 각각의 픽셀이 로컬 예측 함수를 사용하여 예측되는 것 그리고 후속 픽셀이 예측되기 전에 예측된 픽셀이 재구성되는 것을 가능하게 하지 않는다. 실제로, 이 기술은 다른 픽셀 세트를 예측하기 위해 픽셀 세트(예컨대, 블록의 행/열)가 재구성될 것을 요구한다. 즉, 블록의 부분을 예측 및 재구성할 때마다, 블록의 여러 픽셀들이 예측 및 재구성된다.

또한, US9253508에서는, 예컨대, HEVC 표준에 정의된 바와 같은 종래의 인트라 예측 모드들 및 DPCM 예측 모드가 공존하게 하는 방법에 대해 그리고 D + λR(여기서 R은 이미지를 코딩하기 위한 레이트를, D는 연관된 왜곡을, 그리고 λ는 라그랑지안(Lagrangian)을 표현함) 함수를 최소화하는 것을 목표로 하는 레이트/왜곡 최적화 메커니즘에 대해 적응되는, US9253508에서 설명된 바와 같이 DPCM 인트라 예측에 의해 코딩된 블록들에 대한 양자화 스텝(quantization step)을 결정하는 방법에 대해 설명하지 않는다.

따라서, 이미지 또는 비디오 데이터의 압축을 개선하기 위한 새로운 코딩 및 디코딩 방법이 필요하다.

3. 본 발명의 요약

본 발명은 최신 기술을 개선한다. 이를 위해, 본 발명은 블록들로 분할되는 적어도 하나의 이미지를 대표하는 코딩된 데이터 스트림을 디코딩하기 위한 방법에 관한 것이며, 디코딩하기 위한 방법은, 현재 블록으로서 지칭되는, 이미지의 적어도 하나의 블록에 대해:

현재 블록의 코딩 모드를 표시하는 정보의 아이템을 디코딩하는 단계,

현재 블록의 코딩 모드가 제1 코딩 모드에 대응할 때, 현재 블록을 디코딩하는 단계 ― 현재 블록을 디코딩하는 단계는 변환 도메인에서 현재 블록과 연관된 예측 잔차(prediction residue)를 역양자화하기 위한 제1 양자화 스텝의 결정을 포함함 ― ,

현재 블록의 코딩 모드가 제2 코딩 모드에 대응할 때, 현재 블록을 디코딩하는 단계 ― 현재 블록을 디코딩하는 단계는 공간 도메인에서 현재 블록과 연관된 예측 잔차를 역양자화하기 위한 제2 양자화 스텝의 결정을 포함함 ― 를 포함하고,

제1 양자화 스텝 및 제2 양자화 스텝은 동일한 양자화 파라미터에 따라 결정된다.

따라서, 본 발명에 따라, 예측 잔차들이 변환 도메인에서 양자화/역양자화되기 위해 제1 양자화 스텝 및 예측 잔차들이 공간 도메인에서 양자화/역양자화되기 위해 제2 양자화 스텝을 정의하는 것이 가능하며, 제1 및 제2 양자화 스텝들은 동일한 양자화 파라미터에 의해 결정된다. 따라서, 제1 및 제2 양자화 스텝들은 링크되고 함께 사용될 수 있다.

유리하게는, 본 발명에 따라, 현재 블록에 대해 이용 가능한 상이한 코딩 모드들에서 사용되는 양자화 스텝들은 특히, 현재 블록에 적용되는 레이트/왜곡 최적화 메커니즘에 대해 불변(consistent)이지만, 양자화 스텝들은 또한, 특히 일부 블록들이 제1 코딩 모드에 따라 코딩되고 다른 블록들이 제2 코딩 모드에 따라 코딩될 때 이미지에 적용되는 레이트/왜곡 최적화 메커니즘에 대해, 블록들 간에 불변이다. 실제로 양자화 스텝들이 서로 링크되지 않는 경우, 두 양자화 스텝들 중 하나가 다른 양자화 스텝에 비해 매우 커질 수 있다. 그러면, 매우 큰 양자화 스텝을 사용하는 코딩 모드에 따라 코딩된 블록들은 더 작은 양자화 스텝을 사용하는 다른 코딩 모드에 따라 코딩된 다른 블록들과 달리 고도로 압축되며, 이는 이미지의 시각적 품질의 상당한 공간적 변동성, 및 이에 따른 전체 이미지의 더 낮은 시각적 품질을 초래할 것이다.

본 발명에 따라, 제1 코딩 모드는 변환 도메인에서의 블록의 코딩에 대응한다. 즉, 이 제1 코딩 모드에 따라, 공간 도메인에서, 즉 오리지널 블록과 예측된 블록 사이에서 계산된 현재 블록의 예측 잔차는 예컨대, 변환 계수들의 블록을 제공하도록 DCT 변환에 의해 변환된다. 이러한 변환 계수들의 블록은 그 후, 제1 양자화 스텝을 사용하여 양자화된다.

제2 코딩 모드는 공간 도메인에서의 블록의 코딩에 대응한다. 즉, 이 제2 코딩 모드에 따라, 공간 도메인에서 계산된 현재 블록의 예측 잔차는 어떠한 변환 동작도 거치지 않고 직접 양자화된다.

본 발명의 특정 실시예에 따라, 현재 블록의 코딩 모드가 제2 코딩 모드에 대응할 때, 현재 블록을 디코딩하는 단계는, 현재 블록의 각각의 픽셀에 대해:

다른 이전에 디코딩된 픽셀로부터 상기 픽셀의 예측을 획득하는 단계 ― 상기 다른 이전에 디코딩된 픽셀은 이미지의 이전에 디코딩된 블록 또는 상기 현재 블록에 속함 ― ,

상기 픽셀과 연관된 예측 잔차를 디코딩하는 단계,

상기 제2 양자화 스텝을 사용하여 상기 픽셀과 연관된 상기 예측 잔차를 역양자화하는 단계,

역양자화된 예측 잔차에 상기 픽셀의 예측을 더함으로써 상기 픽셀을 재구성하는 단계를 더 포함한다.

본 발명의 이 특정 실시예에 따르면, 제2 코딩 모드에 따라, 현재 블록의 예측은 이전에 디코딩된 현재 블록의 픽셀 또는 이전에 디코딩된 이웃 블록의 픽셀을 사용한 현재 블록의 각각의 픽셀의 로컬 예측에 의해 획득된다. 따라서, 픽셀 예측이 개선된다.

본 발명은 또한, 블록들로 분할되는 적어도 하나의 이미지를 대표하는 코딩된 데이터 스트림을 코딩하기 위한 방법에 관한 것이며, 코딩하기 위한 방법은, 현재 블록으로서 지칭되는, 이미지의 적어도 하나의 블록에 대해:

현재 블록의 코딩 모드를 표시하는 정보의 아이템을 코딩하는 단계,

현재 블록의 코딩 모드가 제1 코딩 모드에 대응할 때, 현재 블록을 코딩하는 단계 ― 상기 현재 블록을 코딩하는 단계는 변환 도메인에서 현재 블록과 연관된 예측 잔차를 양자화하기 위한 제1 양자화 스텝의 결정을 포함함 ― ,

현재 블록의 코딩 모드가 제2 코딩 모드에 대응할 때, 현재 블록을 코딩하는 단계 ― 현재 블록을 코딩하는 단계는 공간 도메인에서 현재 블록과 연관된 예측 잔차를 양자화하기 위한 제2 양자화 스텝의 결정을 포함함 ― 를 포함하고,

본 발명의 특정 실시예에 따라, 현재 블록의 코딩 모드가 제2 코딩 모드에 대응할 때, 현재 블록을 코딩하는 단계는, 현재 블록의 각각의 픽셀에 대해:

상기 픽셀의 예측으로부터 상기 픽셀과 연관된 예측 잔차를 획득하는 단계,

상기 제2 양자화 스텝을 사용하여 상기 픽셀과 연관된 상기 예측 잔차를 양자화하는 단계,

상기 양자화된 예측 잔차를 코딩하는 단계를 포함한다.

본 발명에 따라, 현재 블록은 종래의 인트라 예측(제1 코딩 모드), 예컨대, HEVC 표준에 정의된 예측 모드들 중 임의의 것에 따른 공간 예측에 의해, 또는 이전에 디코딩된 현재 블록의 픽셀들의 사용에 기초한 새로운 인트라 예측(제2 코딩 모드)에 의해 코딩/디코딩될 수 있다.

이하 ILR(In-Loop Residual)로서 또한 지칭되는 이 새로운 인트라 예측에 따라, 각각의 픽셀이 예측되고, 그 후 예측된 픽셀에 대해 잔차가 계산되고 잔차가 양자화된다. 그 후, 양자화된 잔차는 역양자화되고 픽셀의 예측에 추가되어 픽셀의 값을 재구성하고 그의 디코딩된 값을 획득한다. 그 후, 이러한 픽셀의 디코딩된 값은 현재 블록의 다른 픽셀들을 예측하는 데 사용될 수 있다.

유리하게는, 이러한 인트라 예측 방법은 종래의 인트라 예측에서 사용된 기준 픽셀들보다 공간적으로 더 근접한 픽셀들을 사용하여 현재 블록의 픽셀들을 예측할 수 있다. 따라서, 예측이 개선된다.

위에서 언급된 디코딩 방법 또는 코딩 방법의 다른 특정 실시예에 따라, 제2 양자화 스텝은 제1 양자화 스텝에 따라 결정된다.

본 발명의 이 특정 실시예에 따라, 양자화 파라미터는 그 후 제1 양자화 스텝에 대응하고, 두 양자화 스텝들은 서로 의존한다.

이 특정 실시예의 변형으로서, 제2 양자화 스텝은

또는

에 의해 결정되며, δ₁은 제1 양자화 스텝에 대응하고, a, b, c, d, e는 미리 결정된 파라미터들이다.

위에서 언급된 디코딩 방법 또는 코딩 방법의 다른 특정 실시예에 따라, 제1 양자화 스텝은 양자화 파라미터의 값들에 대해 미리 결정된 양자화 스텝 테이블로부터 획득된다.

위에서 언급된 디코딩 방법 또는 코딩 방법의 다른 특정 실시예에 따라, 양자화 파라미터는 D+λ*R 함수를 최적화하는 데 사용되는 라그랑지안 λ에 대응하며, 여기서 R은 데이터 스트림의 레이트에 대응하고 D는 디코딩된 이미지의 연관된 왜곡에 대응한다.

위에서 언급된 디코딩 방법 또는 코딩 방법의 다른 특정 실시예에 따라, 양자화 파라미터는 데이터 스트림에서 코딩되거나 데이터 스트림으로부터 디코딩된다.

다른 특정 실시예에 따라, 제2 코딩 모드에 따라 현재 블록을 디코딩하는 단계는,

상기 현재 블록과 연관된 다른 예측 잔차를 디코딩하는 단계,

상기 제1 양자화 스텝을 사용하여 상기 현재 블록과 연관된 상기 다른 예측 잔차를 역양자화하는 단계,

상기 다른 역양자화된 예측 잔차 및 현재 블록의 재구성된 픽셀들로부터 상기 현재 블록을 재구성하는 단계를 더 포함한다.

본 발명의 이 특정 실시예에 따라, 현재 블록이 제2 코딩 모드에 따라 코딩될 때, 제1 예측 잔차를 픽셀별로 코딩할 때 획득된 예측으로부터 현재 블록에 대해 제2 예측 잔차가 코딩/디코딩된다. 이 특정 실시예의 부가적인 특징들은 제1 코딩 모드에 따라 코딩된 블록의 디코딩 단계들에 대응한다. 따라서, 특히 엔트로피 인코더/디코더 레벨에서 두 코딩 모드들에 대해 유사한 코딩/디코딩을 유지하고, 따라서, 압축 성능을 추가로 개선하는 것이 가능하다.

본 발명은 또한 적어도 하나의 이미지를 대표하는 코딩된 데이터의 스트림 또는 신호에 관한 것이며, 상기 이미지는 블록들로 분할되고, 코딩된 데이터 스트림은 현재 블록으로서 지칭되는, 이미지의 적어도 하나의 블록에 대해:

현재 블록의 코딩 모드를 표시하는 정보의 아이템,

현재 블록의 코딩 모드가 제1 코딩 모드에 대응할 때, 제1 양자화 스텝을 사용하여 변환되고 양자화된 계수들을 포함하는, 현재 블록과 연관된 예측 잔차,

현재 블록의 코딩 모드가 제2 코딩 모드에 대응할 때, 제2 양자화 스텝을 사용하여 공간 도메인에서 양자화된 예측 잔차 값들을 포함하는, 현재 블록과 연관된 예측 잔차를 포함하고,

본 발명의 특정 실시예에 따라, 코딩된 데이터 스트림은 상기 양자화 파라미터를 더 포함한다.

본 발명은 또한 위에서 정의된 특정 실시예들 중 임의의 하나에 따른 디코딩 방법을 구현하도록 구성된 디코딩 디바이스에 관한 것이다. 물론, 이 디코딩 디바이스는 본 발명에 따른 디코딩 방법과 관련된 상이한 특성들을 포함할 수 있다. 따라서, 이 디코딩 디바이스의 특성들 및 이점들은 디코딩 방법의 특성들 및 이점들과 동일하며, 이것들은 추가로 상세하게 설명되지 않는다.

디코딩 디바이스는 프로세서를 포함하며, 이 프로세서는, 특히, 현재 블록으로 지칭되는, 이미지의 적어도 하나의 블록에 대해,

현재 블록의 코딩 모드를 표시하는 정보의 아이템을 디코딩하고,

현재 블록의 코딩 모드가 제1 코딩 모드에 대응할 때, 변환 도메인에서 현재 블록과 연관된 예측 잔차를 역양자화하기 위한 제1 양자화 스텝을 결정함으로써, 현재 블록을 디코딩하고,

현재 블록의 코딩 모드가 제2 코딩 모드에 대응할 때, 공간 도메인에서 현재 블록과 연관된 예측 잔차를 역양자화하기 위한 제2양자화 스텝을 결정함으로써, 현재 블록을 디코딩하도록 구성되며,

본 발명의 특정 실시예에 따라, 이러한 디코딩 디바이스는 단말에 포함된다.

본 발명은 또한 위에서 정의된 특정 실시예들 중 임의의 하나에 따른 코딩 방법을 구현하도록 구성된 코딩 디바이스에 관한 것이다. 물론, 이 코딩 디바이스는 본 발명에 따른 코딩 방법과 관련된 상이한 특성들을 포함할 수 있다. 따라서, 이 코딩 디바이스의 특성들 및 이점들은 코딩 방법의 특성들 및 이점들과 동일하며, 이것들은 추가로 상세하게 설명되지 않는다.

코딩 디바이스는 프로세서를 포함하며, 이 프로세서는, 특히, 현재 블록으로 지칭되는, 이미지의 적어도 하나의 블록에 대해,

현재 블록의 코딩 모드를 표시하는 정보의 아이템을 코딩하고,

현재 블록의 코딩 모드가 제1 코딩 모드에 대응할 때, 변환 도메인에서 현재 블록과 연관된 예측 잔차를 양자화하기 위한 제1 양자화 스텝을 결정함으로써, 현재 블록을 코딩하고,

현재 블록의 코딩 모드가 제2 코딩 모드에 대응할 때, 공간 도메인에서 현재 블록과 연관된 예측 잔차를 양자화하기 위한 제2 양자화 스텝을 결정함으로써, 현재 블록을 코딩하도록 구성되며,

본 발명의 특정 실시예에 따라, 이러한 코딩 디바이스는 단말 또는 서버에 포함된다.

본 발명에 따른 디코딩 방법, 각자의 코딩 방법은 다양한 방식들로, 특히 유선 형태 또는 소프트웨어 형태로 구현될 수 있다. 본 발명의 특정 실시예에 따라, 디코딩 방법, 각자의 코딩 방법은 컴퓨터 프로그램에 의해 구현된다. 본 발명은 또한 명령들을 포함하는 컴퓨터 프로그램에 관한 것이며, 이 명령들은, 상기 프로그램이 프로세서에 의해 실행될 때, 이전에 설명된 특정 실시예들 중 임의의 하나에 따른 디코딩 방법 또는 코딩 방법을 구현하기 위한 것이다. 이러한 프로그램은 임의의 프로그래밍 언어를 사용할 수 있다. 프로그램은 통신 네트워크로부터 다운로드될 수 있고 그리고/또는 컴퓨터-판독 가능 매체 상에 레코딩될 수 있다.

이 프로그램은 임의의 프로그래밍 언어를 사용할 수 있고, 소스 코드, 객체 코드 또는 소스 코드와 객체 코드 사이의 중간 코드의 형태, 이를테면, 부분적으로 컴파일된 형태 또는 임의의 다른 바람직한 형태일 수 있다.

본 발명은 또한 위에서 언급된 바와 같은 컴퓨터 프로그램의 명령들을 포함하는 컴퓨터-판독 가능 저장 매체 또는 데이터 매체에 관한 것이다. 위에서 언급된 레코딩 매체들은 프로그램을 저장할 수 있는 임의의 엔티티 또는 디바이스일 수 있다. 예컨대, 매체는 메모리와 같은 저장 수단을 포함할 수 있다. 다른 한편으로, 레코딩 매체들은 전기 또는 광학 케이블을 통해, 라디오에 의해 또는 다른 수단에 의해 전달될 수 있는 송신 가능한 매체 이를테면, 전기 또는 광학 신호에 대응할 수 있다. 본 발명에 따른 프로그램은 특히 인터넷-유형 네트워크 상에서 다운로드될 수 있다.

대안적으로, 레코딩 매체들은 프로그램이 매립된 집적 회로에 대응할 수 있고, 회로는 해당 방법을 실행하도록 또는 그 방법의 실행에 사용되도록 구성된다.

4. 도면들의 리스트
본 발명의 다른 특성들 및 이점들은 간단한 예시적인 비-제한적 예로서 제공된 특정 실시예의 다음의 설명 및 첨부된 도면들을 읽을 때보다 명확하게 드러날 것이다.
도 1은 본 발명의 특정 실시예에 따른 코딩 방법의 단계들을 도시한다.
도 2는 본 발명의 특정 실시예에 따라 인트라 예측 모드를 결정하기 위한 현재 블록의 이웃 블록들의 포지션 예를 예시한다.
도 3은 본 발명의 특정 실시예에 따라 현재 블록의 픽셀들을 예측하는 데 사용되는 기준 픽셀들의 포지션 예를 예시한다.
도 4는 본 발명의 특정 실시예에 따른 디코딩 방법의 단계들을 도시한다.
도 5는 본 발명의 특정 실시예에 따라 이미지의 적어도 하나의 블록을 대표하는 코딩된 데이터를 포함하는 신호 예를 예시한다.
도 6은 본 발명의 특정 실시예들 중 임의의 하나에 따른 코딩 방법을 구현하도록 구성된 코딩 디바이스의 단순화된 구조를 도시한다.
도 7은 본 발명의 특정 실시예들 중 임의의 하나에 따른 디코딩 방법을 구현하도록 구성된 디코딩 디바이스의 단순화된 구조를 도시한다.

5. 본 발명의 실시예의 설명

5.1 일반 원리

본 발명의 일반 원리는 예측 잔차의 변환 계수들을 양자화하는 데 사용되는 제1 양자화 스텝 및 공간 도메인에서 예측 잔차의 값들을 직접 양자화하는 데 사용되는(즉, 어떠한 변환 동작도 없음) 제2 양자화 스텝을 공동으로 결정하는 것이다. 이를 위해, 제1 및 제2 양자화 스텝들은 동일한 양자화 파라미터에 의존한다.

본 발명의 다른 특정 실시예들에 따라, 양자화 파라미터는 제1 및 제2 양자화 스텝들 중 하나 또는 다른 하나에, 또는 인코더에 의해 또는 사용자에 의해 결정된 양자화 파라미터에, 또는 인코더에서 레이트/왜곡 최적화 동안 사용되는 라그랑지안에 대응할 수 있다.

양자화 파라미터는 또한 데이터 스트림에서 코딩되고 디코더로 송신될 수 있다.

양자화 파라미터가 제1 양자화 스텝에 대응할 때, 제2 양자화 스텝은 제1 양자화 스텝의 선형 또는 다항식 함수 또는 보다 일반적인 함수에 따라 결정될 수 있다.

따라서, 본 발명은, 각각 변환 동작을 사용하여 그리고 사용함 없이 예측 잔차의 코딩을 수행하는 상이한 코딩 모드들이 이미지들 또는 이미지들의 시퀀스들을 코딩/디코딩하기 위해 동일 시스템에서 사용될 때 압축 성능을 개선한다.

5.2. 실시예들

도 1은 본 발명의 특정 실시예에 따른 코딩 방법의 단계들을 도시한다. 예컨대, 이미지들의 시퀀스(I₁, I₂, ..., I_Nb)는 본 발명의 특정 실시예에 따라 코딩된 데이터 스트림(STR)의 형태로 코딩된다. 예컨대, 이러한 코딩 방법은 도 6과 관련하여 추후에 설명되는 바와 같은 코딩 디바이스에 의해 구현된다.

이미지들의 시퀀스(I₁, I₂, ..., I_Nb)(Nb는 코딩될 시퀀스의 이미지들 수임)가 코딩 방법의 입력으로서 제공된다. 코딩 방법은 입력으로서 제공된 이미지들의 시퀀스를 대표하는 코딩된 데이터 스트림(STR)을 출력한다.

알려진 방식으로, 이미지들의 시퀀스(I₁, I₂, ..., I_Nb)의 코딩은 이전에 설정되고 인코더에 알려진 코딩 순서에 따라 이미지별로 행해진다. 예컨대, 이미지들은 시간 순서(I₁, I₂, ..., I_Nb)로 또는 다른 순서 예컨대, I₁, I₃, I₂, ..., I_Nb로 코딩될 수 있다.

단계(E0)에서, 이미지들의 시퀀스(I₁, I₂, ..., I_Nb)의 코딩될 이미지(I_j)는 블록들로, 예컨대, 크기 32x32 또는 64x64 픽셀 이상의 블록들로 분할된다. 이러한 블록은 정사각형 또는 직사각형 서브-블록들, 예컨대, 16x16, 8x8, 4x4, 16x8, 8x16 ...으로 세분될 수 있다.

선택적 단계(E10)에서, 본 발명의 특정 실시예에 따라, 양자화 파라미터(QP)가 이미지(I_j)에 대해 코딩된 데이터 또는 이미지들의 시퀀스에 대해 코딩된 데이터의 데이터 스트림(STR)에서 코딩된다.

그 후, 단계(E1)에서, 이미지(I_j)의 미리 결정된 스캐닝 순서에 따라 이미지(I_j)의 코딩될 제1 블록 또는 서브-블록(X_b)이 선택된다. 예컨대, 이것은 이미지의 사전식 스캐닝 순서에서 제1 블록이 될 수 있다.

단계(E2)에서, 인코더는 현재 블록(X_b)을 코딩하기 위한 코딩 모드를 선택할 것이다.

여기에 설명된 특정 실시예에 따라, 인코더는 제1 코딩 모드(M1) 및 제2 코딩 모드(M2)로부터 현재 블록(X_b)을 코딩하기 위한 코딩 모드를 선택한다. 부가적인 코딩 모드들(여기에 설명되지 않음)이 사용될 수 있다.

여기서 설명된 특정 실시예에 따라, 제1 코딩 모드(M1)는 예컨대, HEVC 표준에 따라 정의된 바와 같이 종래의 인트라 예측에 의한 현재 블록의 코딩에 대응하고, 제2 코딩 모드(M2)는 ILR(In-Loop Residual) 예측 코딩에 대응한다.

본 발명의 원리는 제1 코딩 모드(M1)에 대해서든 또는 제2 코딩 모드(M2)에 대해서든 다른 유형들의 코딩 모드들로 확장될 수 있다. 예컨대, 제1 코딩 모드는 변환 동작(인터-이미지 예측 코딩, 템플릿 매칭 코딩을 사용한 공간 예측 등)으로부터 발생되는 계수들을 양자화하기 전에 예측 잔차의 변환을 사용하는 임의의 유형의 코딩 모드들에 대응할 수 있다. 제2 코딩 모드는 공간 도메인에서 예측 잔차의 값들의 양자화를 사용하는, 즉 예측 잔차의 임의의 변환 동작, 예컨대, DCT를 수행하지 않는 임의의 유형의 코딩 모드들에 대응할 수 있다.

단계(E2)에서, 인코더는 현재 블록을 코딩하기 위한 최상의 코딩 모드를 결정하기 위해 레이트/왜곡 최적화를 수행할 수 있다. 이러한 레이트/왜곡 최적화 동안, 제1 및 제2 코딩 모드들과 구별되는 부가적인 코딩 모드들, 예컨대, 인터 모드 코딩 모드가 테스트될 수 있다. 이 레이트/왜곡 최적화 동안, 인코더는 각각의 코딩 모드와 연관된 레이트 및 왜곡을 결정하기 위해 상이한 이용 가능한 코딩 모드들에 따라 현재 블록(X_b)의 코딩을 시뮬레이팅하고, 예컨대, D + λR 함수에 따라 최상의 레이트/왜곡 절충안을 제공하는 코딩 모드를 선택하며, 여기서 R은 평가된 코딩 모드에 따라 현재 블록을 코딩하는 데 요구되는 레이트이고, D는 디코딩된 블록과 오리지널 현재 블록 사이에서 측정된 왜곡이고, λ는 예컨대, 사용자에 의해 입력되거나 인코더에서 정의한 라그랑지안 승수이다.

단계(E20)에서, 현재 블록에 대해 선택된 코딩 모드를 표시하는 정보의 아이템이 데이터 스트림(STR)에서 코딩된다.

현재 블록(X_b)이 제1 코딩 모드(M1)에 따라 코딩된 경우, 방법은 M1에 따라 블록을 코딩하기 위해 단계(E21)로 진행한다. 현재 블록(X_b)이 제2 코딩 모드(M2)에 따라 코딩되는 경우, 방법은 M2에 따라 블록을 코딩하기 위해 단계(E22)로 진행한다.

본 발명의 특정 실시예에 따라, 제1 코딩 모드(M1)에 따라 블록을 코딩하기 위한 단계(E21)가 아래에서 설명된다. 여기에 설명된 특정 모드에 따라, 제1 코딩 모드는 HEVC 표준에서 정의된 것과 같은 종래의 인트라 예측에 대응한다.

단계(E210)에서, 양자화 스텝(δ₁)이 결정된다. 예컨대, 양자화 스텝(δ₁)은 사용자에 의해 세팅되거나, 또는 압축과 품질 간의 절충안을 세팅하는 양자화 파라미터를 사용하여 계산되고 사용자에 의해 입력되거나 인코더에 의해 정의될 수 있다. 따라서, 이러한 양자화 파라미터는 레이트 왜곡 비용 함수 D + λ.R에서 사용되는 파라미터 λ일 수 있으며, 여기서 D는 코딩에 의해 도입된 왜곡을 표현하고 R은 코딩에 사용되는 레이트를 표현한다. 이 함수는 코딩 선택을 행하는 데 사용되며, 통상적으로 이 함수를 최소화하는 이미지 코딩 방식이 추구된다.

변형으로서, 양자화 파라미터는 AVC 또는 HEVC 표준들에서 종래에 사용되는 양자화 파라미터에 대응하는 QP일 수 있다. 따라서, HEVC 표준에서 양자화 스텝(δ₁)은 수식 δ₁=levelScale[QP%6]<<(QP/6))에 의해 결정되며, 여기서 levelScale[k]={40, 45, 51, 57, 64, 72}(k=0..5에 대해)이다.

단계(E211)에서, 현재 블록의 예측은 종래의 인트라 예측 모드를 사용하여 결정된다. 이 종래의 인트라 예측에 따라, 각각의 예측된 픽셀은 현재 블록 위에 그리고 현재 블록 좌측에 로케이팅된 이웃 블록들(기준 픽셀들)로부터 기원하는 디코딩된 픽셀들로부터만 계산된다. 픽셀들이 기준 픽셀들로부터 예측되는 방식은 디코더로 송신되는 예측 모드에 의존하며, 이는 인코더 및 디코더에 알려진 미리 결정된 세트의 모드들로부터 인코더에 의해 선택된다.

따라서, HEVC에서, 35개의 가능한 예측 모드들: 33개의 상이한 각도 방향들로 기준 픽셀들을 보간하는 33개의 모드들 및 다른 2개의 모드들: 예측된 블록의 각각의 픽셀이 기준 픽셀들의 평균으로부터 생성되는 DC 모드, 및 평면 및 비-방향성 보간을 수행하는 PLANAR 모드가 존재한다. 이러한 "종래의 인트라 예측"은 잘 알려져 있으며 ITU-T H.264 표준(단 9개의 상이한 모드들만이 존재함)에서는 물론, 인터넷 어드레스(https://jvet.hhi.fraunhofer.de/)에서 이용 가능한 실험적인 JEM 소프트웨어(67개의 상이한 예측 모드들이 존재함)에서 또한 사용된다. 모든 경우들에서, 종래의 인트라 예측은 위에서 언급된 두 양상들(이웃 블록들로부터의 픽셀들의 예측 및 최적 예측 모드의 디코더로의 송신)을 고려한다.

단계(E211)에서, 따라서, 인코더는 예측 모드들의 미리 결정된 리스트로부터 이용 가능한 예측 모드들 중 하나를 선택한다. 선택하는 하나의 방식은 예컨대, 모든 예측 모드들을 평가하고 고전적으로, 레이트-왜곡 비용과 같은 비용 함수를 최소화하는 예측 모드를 유지하는 것으로 구성된다.

단계(E212)에서, 현재 블록에 대해 선택된 예측 모드는 현재 블록의 이웃 블록들로부터 코딩된다. 도 2는 현재 블록(X_b)의 예측 모드를 코딩하기 위해 현재 블록(X_b)의 이웃 블록들(A_b 및 B_b)의 포지션 예를 도시한다.

단계(E212)에서, 현재 블록에 대해 선택된 인트라 예측 모드는 이웃 블록들과 연관된 인트라 예측 모드들을 사용하여 코딩된다.

여기에 설명된 본 발명의 특정 실시예의 변형에 따라, 블록과 연관된 인트라 예측 모드는,

- 블록이 종래의 인트라 예측 코딩 모드에 의해 코딩된 경우, 블록을 예측하는 데 사용된 인트라 예측 모드.

- 블록이 종래의 인트라 예측과 구별되는 코딩 모드에 의해 코딩된 경우, 블록과 연관된 인트라 예측 모드이다. 이러한 연관의 예는 단계(E229)를 참조하여 추후에 설명된다.

따라서, 현재 블록의 예측 모드를 코딩하기 위해 HEVC 표준에서 설명된 접근법이 사용될 수 있다. 도 2의 예에서, 이러한 접근법은 현재 블록 위에 로케이팅된 블록(A_b)과 연관된 인트라 예측 모드(m_A) 및 현재 블록 바로 좌측에 로케이팅된 블록(B_b)과 연관된 인트라 예측 모드(m_B)를 식별하는 것으로 구성된다. m_A 및 m_B 값에 의존하여, 3개의 인트라 예측 모드들을 포함하는, MPM(Most Probable Mode)이라 불리는 리스트 및 32개의 다른 예측 모드들을 포함하는, 비(non)-MPM이라 불리는 리스트가 생성된다.

여기에 설명된 특정 실시예의 변형에 따라, HEVC 표준에 따라 특정된 MPM 리스트를 생성하기 위한 메커니즘은, 이 블록이 종래의 인트라 코딩 모드(추후에 설명되는 단계 E229)에 따라 코딩되지 않을 때, 그의 코딩 동안 블록과 인트라 예측 모드의 연관을 고려하도록 구성된다. 이 변형에 따라, 현재 블록의 이웃 블록은, 이 블록이 인트라 코딩 모드에 따라 코딩되었든지 또는 다른 코딩 모드(ILR, 인터 등)에 따라 코딩되었든지 간에, 항상 그것과 연관된 인트라 예측 모드를 갖는다.

MPM 리스트를 생성하기 위한 나머지 메커니즘은 HEVC 표준에 따라 특정된 메커니즘과 유사하게 유지된다. m_A 및 m_B 둘 모두가 동일한 인트라 예측 모드와 동일하고 그 인트라 예측 모드가 DC 또는 PLANAR 예측 모드인 경우, MPM 리스트는 다음 예측 모드들: MPM[0]=PLANAR, MPM[1]=DC, HEVC 인트라 예측 모드 테이블의 인덱스 26의 각도 예측 모드에 대응하는 MPM[2]=A(26)을 포함한다.

m_A 및 m_B 둘 모두가 동일한 각도 예측 모드(m(n))와 동일한 경우, MPM 리스트는 다음 예측 모드들: MPM[0]=m(n), MPM[1]=m(2+(n+29)mod32), MPM[2]=m(2+(n-1)mod32)를 포함한다.

m_A 및 m_B가 상이한 경우, MPM 리스트는 다음 예측 모드들: MPM[0]=m_B, MPM[1]=m_A, MPM[2]=Mlast를 포함하며, 여기서 Mlast는 다음에 의해 정의된다:

- m_B가 PLANAR 모드와 동일하지 않고 m_A가 PLANAR 모드와 동일하지 않은 경우, Mlast는 PLANAR 모드와 동일하고,

- 그렇지 않은 경우에, m_B가 DC 모드와 동일하지 않고 m_A가 DC 모드와 동일하지 않은 경우, Mlast는 DC 모드와 동일하고,

- 그렇지 않으면, Mlast는 각도 모드 A(26)와 동일하다.

비-MPM 리스트는 MPM 리스트에 포함되지 않은 다른 모든 인트라 예측 모드들을 포함한다.

여기에 설명된 특정 실시예의 다른 변형에 따라, HEVC 표준에 따라 특정된 MPM 리스트를 생성하기 위한 메커니즘에 따라, 이웃 블록들(A_b 또는 B_b) 중 하나가 인트라 예측 모드에 따라 코딩되지 않은 경우, DC 예측 모드가 디폴트로 거기에 할당된다. MPM 리스트를 생성하기 위한 나머지 메커니즘은 위에서 설명되고 HEVC 표준에 따라 특정된 메커니즘과 유사하게 유지된다.

HEVC 표준에 따라, 현재 블록의 인트라 예측 모드를 코딩하기 위해, 신택스 엘리먼트가 송신된다:

- 현재 블록에 대해 코딩될 예측 모드가 MPM 리스트에 있는지 여부를 표시하는 이진 표시기(binary indicator),

- 현재 블록의 예측 모드가 MPM 리스트에 속하는 경우, 현재 블록의 예측 모드에 대응하는 MPM 리스트의 인덱스가 코딩되고,

- 현재 블록의 예측 모드가 MPM 리스트에 속하지 않는 경우, 현재 블록의 예측 모드에 대응하는 비-MPM 리스트의 인덱스가 코딩된다.

단계(E213)에서, 현재 블록에 대한 예측 잔차(R)가 구성된다.

단계(E213)에서, 종래 방식으로, 예측된 블록(P)은 단계(E211)에서 선택된 예측 모드에 따라 구성된다. 그 후, 예측된 블록(P)과 오리지널 현재 블록 사이의 각각의 픽셀에 대한 차이를 계산함으로써 예측 잔차(R)가 획득된다.

단계(E214)에서, 예측 잔차(R)는 R_T로 변환된다.

단계(E214)에서, 변환 계수들을 포함하는 블록(R_T)을 생성하기 위해 잔차 블록(R)에 주파수 변환이 적용된다. 예컨대, 변환은 DCT-유형 변환일 수 있다. 미리 결정된 세트의 변환들(E_T)로부터 사용될 변환을 선택하고 사용된 변환을 디코더에 통지하는 것이 가능하다.

단계(E215)에서, 변환된 잔차 블록(R_T)은 예컨대, 양자화 스텝 스칼라 양자화(δ₁)를 사용하여 양자화된다. 이는 양자화된 변환된 예측 잔차 블록(R_TQ)을 생성한다.

단계(E216)에서, 양자화된 블록(R_TQ)의 계수들이 엔트로피 인코더에 의해 코딩된다. 예컨대, HEVC 표준에서 특정된 엔트로피 코딩이 사용될 수 있다.

여기서 설명된 실시예 변형에 따라, 단계(E217)에서, 단계(E211)에서 결정된 예측 모드가 현재 블록과 연관된다.

알려진 방식으로, 현재 블록은 양자화된 블록(R_TQ)의 계수들을 역양자화하고, 그 후 역양자화된 계수들에 역 변환을 적용하여 디코딩된 예측 잔차를 획득함으로써 디코딩된다. 그 후, 예측은 현재 블록을 재구성하고 그의 디코딩된 버전을 획득하기 위해 디코딩된 예측 잔차에 더해진다. 현재 블록의 디코딩된 버전은 그 후, 이미지의 다른 이웃 블록들을 공간적으로 예측하거나 인터-이미지 예측에 의해 다른 이미지들의 블록들을 예측하기 위해 추후에 사용될 수 있다.

본 발명의 특정 실시예에 따라, 제2 코딩 모드(M2)에 따라 블록을 코딩하기 위한 단계(E22)가 아래에서 설명된다. 여기에 설명된 특정 실시예에 따라, 제2 코딩 모드는 ILR 예측 코딩에 대응한다.

단계(E220)에서, 현재 블록에 대한 로컬 예측기(PL)가 결정된다. 여기에 설명된 코딩 모드에 따라, 현재 블록의 픽셀들은 현재 블록 그 자체의 또는 현재 블록의 이웃 블록들의 이전에 재구성된 픽셀들에 의해 예측된다.

바람직하게는, 예측을 위해, 예측될 픽셀에 가능한 한 근접한 픽셀들이 선택된다. 이것이 로컬 예측기로 지칭되는 이유이다. 로컬 예측기(PL)는 또한 제2 코딩 모드(M2)와 연관된 현재 블록의 예측 모드에 비유될 수 있다. 이 해석에 따라, 여기에 설명된 특정 실시예에서, 제1 코딩 모드는 제1 그룹의 인트라 예측 모드들 예컨대, HEVC 표준에 의해 정의된 인트라 예측 모드를 사용하고, 제2 코딩 모드, 여기서 ILR 모드는 제1 그룹의 인트라 예측 모드들과 구별되는 제2 그룹의 예측 모드들을 사용한다. 추후에 설명되는 실시예 변형에 따라, 이러한 두 그룹들의 예측 모드들 간의 대응이 결정될 수 있다.

로컬 예측기(PL)는 고유할 수 있거나, 또는 미리 결정된 세트의 로컬 예측기들(제2 그룹의 예측 모드들)로부터 선택될 수 있다.

실시예 변형에 따라, 4개의 로컬 예측기들이 정의된다. 따라서, 현재 블록(X_b)을 도시하는 도 3에 예시된 바와 같이, X를 현재 블록으로부터 예측될 현재 픽셀이라 하고, A를 X의 바로 좌측에 로케이팅된 픽셀이라 하고, B를 X의 바로 좌측 위에 로케이팅된 픽셀이라 하고, C를 X 바로 위에 로케이팅된 픽셀이라고 하면, 4개의 로컬 예측기들(PL1, PL2, PL3, PL4)은 다음과 같이 정의될 수 있다:

PL1(X)= C ≥ max(A,B)인 경우, min(A,B)

C ≤ min(A,B)인 경우, max(A,B)

그렇지 않으면, A+B-C

PL2(X)=A

PL3(X)=B

PL4(X)=C

여기서 min(A, B)는 A의 값과 B의 값 중 가장 작은 값을 리턴하는 함수에 대응하고, max(A, B)는 A의 값과 B의 값 중 가장 큰 값을 리턴하는 함수에 대응한다.

단계(E220)에서, 현재 블록에 대해 사용되는 로컬 예측기(PL)가 결정된다. 즉, 동일한 로컬 예측기가 현재 블록의 모든 픽셀들, 즉 동일한 예측 함수에 대해 사용될 것이다. 이를 위해, 여러 실시예 변형들이 가능하다.

예측기들 각각을 이용한 현재 블록의 코딩은 (현재 블록에 대한 코딩 모드를 선택하기 위한 최적화와 유사하게) 시뮬레이팅될 수 있고, 비용 함수를 최적화하는(예컨대, D + λ.R 함수를 최소화하는(여기서 R은 블록을 코딩하는 데 사용되는 레이트이고, D는 오리지널 블록에 대한 디코딩된 블록의 왜곡이며, λ는 사용자에 의해 세팅된 파라미터임)) 로컬 예측기가 선택된다.

또는, 현재 블록에 대한 로컬 예측기를 선택하는 복잡성을 제한하기 위해, 이전에 코딩된 픽셀들의 텍스처의 배향이 분석된다. 예컨대, 현재 블록의 위 또는 좌측에 로케이팅된 블록에서 이전에 코딩된 픽셀들은 소벨(Sobel)-유형 연산자를 사용하여 분석된다.

- 배향이 수평인 경우, 로컬 예측기(PL2)가 선택되고,

- 배향이 수직인 경우, 로컬 예측기(PL3)가 선택되고,

- 배향은 대각인 경우, 로컬 예측기(PL4)가 선택되고,

- 배향이 드러나지 않은 경우, 로컬 예측기(PL1)가 선택되는 것으로 결정된다.

현재 블록을 예측하기 위해 어떤 로컬 예측기가 사용되었는지를 디코더에 표시하기 위해 데이터 스트림(STR)에 신택스 엘리먼트가 코딩된다.

단계(E221)에서, 양자화 스텝(δ₂)이 결정된다. 여기에 설명된 특정 실시예에 따라, 양자화 스텝(δ₂)은, 현재 블록이 제1 코딩 모드에 따라 코딩된 경우, 단계(E210)에서 결정되었을 양자화 스텝(δ₁)과 동일한 양자화 파라미터에 의존한다.

하나의 변형에 따라, 양자화 스텝(δ₂)은 양자화 스텝(δ₁)에 따라 결정될 수 있다. 예컨대,

과 같이 선형 또는 다항식 함수가 사용될 수 있으며, 여기서 a₁ 및 b₁은 미리 결정된 정수들 또는 실수들이거나, 또는

여기서 c₁, d₁ 및 e₁은 미리 결정된 정수들 또는 실수들이다. 예컨대, a₁=2, b₁=10, c₁=0.1, d₁=2 및 e₁=10이다. 다른 값들이 가능하다.

다른 변형에 따라, 양자화 스텝(δ₂)은 압축과 품질 사이의 절충안을 세팅하는 파라미터(λ)로부터 결정될 수 있다. 이 라그랑지안 파라미터(λ)는 δ₁과 유사하게 사용자에 의해 입력되거나 인코더에 의해 정의되거나 이전에 언급된 양자화 파라미터(QP)로부터 결정될 수 있다.

다른 변형에 따라, 양자화 스텝(δ₂)은 사용자에 의해 직접 세팅될 수 있으며, 그러면 이는 δ₂에 의존하는 양자화 스텝(δ₁)이다.

단계(E222)에서, 현재 블록에 대한 예측 잔차(R1)가 계산된다. 이를 위해, 로컬 예측기가 선택되면, 현재 블록의 각각의 현재 픽셀에 대해:

- 현재 블록의 현재 픽셀(X)은 예측된 값(PRED)을 획득하기 위해 블록 외부에 있고 이미 재구성된 픽셀들(따라서, 그의 디코딩된 값으로 이용 가능함), 또는 현재 블록에서 이전에 재구성된 픽셀들 중 어느 하나, 또는 둘 모두를 사용하여, 선택된 로컬 예측기(PL)에 의해 예측된다. 모든 경우들에서, 예측기(PL)는 이전에 재구성된 픽셀들을 사용한다. 도 3에서, 현재 블록의 제1 행 및/또는 제1 열 상에 로케이팅된 현재 블록의 픽셀들은 (예측된 값(PRED)을 구성하기 위한) 기준 픽셀들로서, 블록 외부에 있고 이미 재구성된 픽셀들(도 3에서 회색의 픽셀들) 및 어쩌면, 현재 블록의 이미 재구성된 픽셀들을 사용할 것이란 점을 알 수 있다. 현재 블록의 다른 픽셀들에 대해, 예측된 값(PRED)을 구성하는 데 사용되는 기준 픽셀들은 현재 블록 내부에 로케이팅된다.

- PRED와 X 간의 차이(DIFF)는 Q(X) = ScalarQuant(DIFF) = ScalarQuant(δ₂, X-PRED)에 따라, 양자화 스텝 스칼라 양자화기(δ₂)에 의해 값(Q(X))으로 양자화되고, 스칼라 양자화기는 예컨대,

와 같은 최근접-이웃 스칼라 양자화기이다.

Q(X)는 X와 연관된 양자화된 잔차이다. 그것은 공간 도메인에서 계산되는데 즉, 픽셀(X)의 예측된 값(PRED)과 X의 오리지널 값 간의 차이로부터 직접 계산된다. 픽셀(X)에 대한 이러한 양자화된 잔차(Q(X))는 추후에 코딩될 양자화된 예측 잔차 블록(R1_Q)에 저장된다.

- X의 디코딩된 예측된 값(P1(X))은 예측된 값(PRED)에 양자화된 잔차(Q(X))의 역양자화된 값을 더함으로써 계산된다. 따라서, X의 디코딩된 예측된 값(P1(X))은 P1(X) = PRED + ScalarDequant(δ₂, Q(X))에 의해 획득된다. 예컨대, 최근접 스칼라 양자화 역 함수는 ScalarDequant(Δ, x) = Δ× x에 의해 주어진다.

따라서, 디코딩된 예측된 값(P1(X))은 현재 블록에서 프로세싱될 남아있는 가능한 픽셀들을 예측하는 것을 가능하게 한다. 더욱이, 현재 블록의 픽셀들의 디코딩된/재구성된 값들을 포함하는 블록(P1)은 (종래의 인트라 예측기와 대조적으로) 현재 블록의 ILR 예측기이다.

위에서 설명된 서브-단계들은 현재 블록의 모든 픽셀들에 대해, PL1, ..., PL4로부터 선택된 예측에 대해 사용되는 픽셀들이 이용 가능하도록 보장하는 스캐닝 순서로 수행된다.

실시예 변형에 따라, 현재 블록의 스캐닝 순서는 사전식 순서, 즉 좌측으로부터 우측으로, 그리고 위로부터 아래로이다.

다른 실시예 변형에 따라, 현재 블록의 여러 스캐닝 순서가 사용될 수 있는데, 예컨대,

- 사전식 순서, 또는

- 제1 열을 위로부터 아래로 스캔한 다음, 그 열 바로 우측의 열을 스캔하는 식이거나, 또는

- 대각선들을 번갈아 스캐닝하는 것.

이 다른 변형에 따라, 스캐닝 순서들 각각과 연관된 코딩 비용을 시뮬레이팅하고 레이트/왜곡 관점에서 현재 블록에 대한 최상의 스캐닝 순서를 선택하고, 그 후 현재 블록에 대해, 선택된 스캐닝 순서를 대표하는 정보의 아이템을 코딩하는 것이 가능하다.

단계(E222)의 종료시에, 양자화된 잔차 블록(R1_Q)이 결정되었다. 이 양자화된 잔차 블록(R1_Q)은 디코더로의 송신을 위해 코딩되어야 한다. 현재 블록의 예측기(P1)가 또한 결정되었다.

단계(E223)에서, 양자화된 잔차 블록(R1_Q)은 디코더로의 송신을 위해 코딩된다. HEVC에서 설명된 방법과 같은 임의의 알려진 접근법은 종래의 예측 잔차의 양자화된 계수들을 코딩하는데 사용될 수 있다. 예컨대, 실시예 변형에 따라, 양자화된 잔차 블록(R1_Q)의 값들은 데이터 스트림(STR)에서 엔트로피 인코더를 사용하여 코딩된다.

본 발명의 특정 실시예에 따라, 현재 블록에 대해 획득된 ILR 예측기로부터 부가적인 예측 잔차(R2)를 결정 및 코딩하는 것이 가능하다. 그러나 부가적인 예측 잔차(R2)의 코딩은 선택적이다. 현재 블록의 예측된 버전(P1)과 양자화된 잔차(R1_Q)에 의해 현재 블록을 간단히 코딩하는 것이 실제로 가능하다.

현재 블록에 대한 부가적인 예측 잔차(R2)를 코딩하기 위해, 다음 단계들이 구현된다.

단계(E224)에서, 예측기(P1)와 오리지널 현재 블록(X_b) 사이의 차이(R2)가 계산되어 부가적인 잔차(R2): R2 = X_{b ―}P1를 형성한다. 다음 단계들은 이 잔차(R2)에 대한 종래의 코딩 단계들에 대응한다.

단계(E225)에서, 잔차(R2)는 계수들의 블록(R2_T)을 생성하기 위해 주파수 변환을 사용하여 변환된다.

예컨대, 변환은 DCT-유형 변환일 수 있다. 미리 결정된 세트의 변환들(E_T2)로부터 사용될 변환을 선택하고 사용된 변환을 디코더에 통지하는 것이 가능하다. 이 경우에, 세트(E_T2)는 잔차(R2)의 특정 통계에 적응하도록 세트(E_T)와 상이할 수 있다.

단계(E226)에서, 계수들의 블록(R2_T)은 예컨대, 양자화 스텝 스칼라 양자화(δ)를 사용하여 양자화된다. 이는 블록(R2_TQ)을 생성한다.

양자화 스텝(δ)은 사용자에 의해 세팅될 수 있다. 그것은 또한, 압축과 품질 간의 절충안을 세팅하는 다른 파라미터(λ)를 사용하여 계산되고 사용자 또는 인코더에 의해 입력될 수 있다. 예컨대, 양자화 스텝(δ)은 양자화 스텝(δ₁)에 대응하거나 그것과 유사하게 결정될 수 있다.

단계(E227)에서, 양자화된 블록(R2_TQ)의 계수들은 그 후 코딩된 방식으로 송신된다. 예컨대, HEVC 표준에서 특정된 코딩이 사용될 수 있다.

알려진 방식으로, 현재 블록은 양자화된 블록(R2_TQ)의 계수들을 역양자화하고, 그 후 역양자화된 계수들에 역 변환을 적용하여 디코딩되어 예측 잔차를 획득한다. 그 후, 예측(P1)은 현재 블록을 재구성하고 그의 디코딩된 버전(X_rec)을 획득하기 위해 디코딩된 예측 잔차에 더해진다. 현재 블록의 디코딩된 버전(X_rec)은 그 후, 이미지의 다른 이웃 블록들을 공간적으로 예측하거나 인터-이미지 예측에 의해 다른 이미지들의 블록들을 예측하기 위해 추후에 사용될 수 있다.

본 발명의 특정 실시예에 따라, 종래의 인트라 예측 모드가 결정되고 현재 블록과 연관된다. 이를 위해, 단계(E228)에서, 종래의 인트라 코딩 모드에서 이용 가능한 인트라 예측 모드의 리스트로부터 현재 블록에 대한 인트라 예측 모드가 결정된다.

여러 실시예 변형들이 가능하다.

변형에 따라, MPM 예측 모드들의 리스트는 제1 코딩 모드(M1)에 따른 코딩을 위해 위에서 설명된 메커니즘에 따라 현재 블록에 대해 생성된다. 이 변형에 따라, 예측 모드는 MPM 리스트에서 제1 모드로서 결정된다.

다른 변형에 따라, 예측 모드는 미리 결정되는데, 예컨대, 그것은 데이터 스트림으로 송신되거나 디폴트로 정의된 예측 모드일 수 있다. 예컨대, 미리 결정된 예측 모드는 HEVC 표준의 PLANAR 모드이다.

다른 변형에 따라, 예측 모드는 디코딩된 현재 블록(X_rec)에 최상으로 근접한 인트라 예측 모드로서 결정된다. 이 변형에 따라, 모든 예측 모드들은 평가된 예측 모드에 의해 획득된 예측된 블록과 디코딩된 현재 블록(X_rec) 사이의 왜곡을 측정함으로써 평가된다. 가장 작은 왜곡을 제공하는 인트라 예측 모드가 선택된다.

다른 변형에 따라, 예측 모드는 ILR 예측에 의해 획득된 예측된 현재 블록(P1)에 최상으로 근접한 인트라 예측 모드로서 결정된다. 이 변형에 따라, 모든 예측 모드들은 평가된 예측 모드에 의해 획득된 예측된 블록과 예측된 현재 블록(P1) 사이의 왜곡을 측정함으로써 평가된다. 가장 작은 왜곡을 제공하는 인트라 예측 모드가 선택된다.

다른 변형에 따라, ILR 코딩된 블록에 대해 여러 가능한 로컬 예측기들이 존재할 때, 인트라 예측 모드는 현재 블록을 예측하기 위해 선택된 로컬 예측기에 의존할 수 있다. 예컨대, 연관 테이블은 선택된 로컬 예측기에 따라 어느 인트라 예측 모드가 현재 블록과 연관되어야 하는지를 표시한다.

단계(E229)에서, 결정된 인트라 예측 모드는 현재 블록과 연관된다. 여기서, 아이디어는 디코더에 인트라 예측 모드를 송신하는 것이 아니라 인트라 예측 모드를 연관시키는 것이다. 현재 블록과 연관될 인트라 모드를 결정하는 방법은 디코더에서 재현 가능하며 어떠한 정보의 송신도 요구하지 않는다.

위에서 여러 실시예 변형들이 설명되었지만, 인코더 및 디코더는 물론, 동일한 변형을 구현해야 한다.

여기에 설명된 특정 실시예에 따라, 현재 블록과 연관된 인트라 예측 모드는 그 후,

- 종래의 인트라 모드에서 코딩될 후속 블록의 인트라 예측 모드를 예측하거나, 또는

- 적절한 경우, 종래의 인트라 예측 모드와 구별되는 다른 코딩 모드에 따라 코딩될 후속 블록과 연관될 인트라 예측 모드를 결정하기 위해 사용될 수 있다. 이 다른 코딩 모드는 ILR 코딩 모드 또는 다른 것(인터 등)일 수 있다.

단계(E23)에서, 현재 블록이 이전에 정의된 스캐닝 순서를 고려하여, 코딩 방법에 의해 프로세싱될 이미지의 마지막 블록인지가 체크된다. 만약 그렇다면, 방법은 비디오의 다음 이미지(만약 있다면)를 코딩(단계 E25)하는 것으로 진행한다. 만약 그렇지 않다면, 단계(E24)에서, 프로세싱될 이미지의 후속 블록은 이미지의 이전에 정의된 스캐닝 순서에 따라 선택되고 코딩 방법은 단계(E2)로 진행하며, 여기서 선택된 블록은 프로세싱될 현재 블록이 된다.

도 4는 본 발명의 특정 실시예에 따라, 디코딩될 이미지들의 시퀀스(I₁, I₂, ..., I_Nb)를 대표하는 코딩된 데이터의 스트림(STR)을 디코딩하기 위한 방법의 단계들을 도시한다.

예컨대, 데이터 스트림(STR)은 도 1과 관련하여 도시된 코딩 방법을 통해 생성되었다. 데이터 스트림(STR)은 도 7과 관련하여 설명된 바와 같은 디코딩 디바이스(DEC)에 대한 입력으로서 제공된다.

디코딩 방법은 스트림을 이미지별로 디코딩하고 각각의 이미지는 블록별로 디코딩된다.

단계(E40)에서, 디코딩될 이미지(I_j)는 블록들로 세분된다. 각각의 블록은 이후에 상세히 설명되는 일련의 단계들로 구성된 디코딩 동작을 거친다. 블록들은 동일한 크기 또는 상이한 크기들일 수 있다.

선택적 단계(E401)에서, 본 발명의 특정 실시예에 따라, 양자화 파라미터(QP)가 데이터 스트림(STR)으로부터 판독된다.

단계(E41)에서, 이미지(I_j)의 미리 결정된 스캐닝 순서에 따라 이미지(I_j)의 디코딩될 제1 블록 또는 서브-블록(X_b)이 현재 블록으로서 선택된다. 예컨대, 이것은 이미지의 사전식 스캐닝 순서에서 제1 블록이 될 수 있다.

단계(E42)에서, 현재 블록에 대한 코딩 모드를 표시하는 정보의 아이템이 데이터 스트림(STR)으로부터 판독된다. 여기에 설명된 특정 실시예에 따라, 이 정보의 아이템은 현재 블록이 제1 코딩 모드(M1)에 따라 또는 제2 코딩 모드(M2)에 따라 코딩되는지를 표시한다. 여기서 설명된 특정 실시예에 따라, 제1 코딩 모드(M1)는 예컨대, HEVC 표준에 따라 정의된 바와 같이 현재 블록의 종래의 인트라 예측 코딩에 대응하고, 제2 코딩 모드(M2)는 ILR(In-Loop Residual) 예측 코딩에 대응한다.

다른 특정 실시예들에서, 스트림(STR)으로부터 판독된 정보의 아이템은 또한 현재 블록(여기서 설명되지 않음)을 코딩하기 위한 다른 코딩 모드들의 사용을 표시할 수 있다.

현재 블록이 제1 코딩 모드(M1)에 따라 코딩될 때 현재 블록을 디코딩하기 위한 단계(E43)는 아래에서 설명된다.

단계(E430)에서, 양자화 스텝(δ₁)이 결정된다. 예컨대, 양자화 스텝(δ₁)은 인코더에서 행해진 것과 유사하게 또는 단계(E401)에서 판독된 양자화 파라미터(QP)로부터 결정된다. 예컨대, 양자화 스텝(δ₁)은 단계(E401)에서 판독된 양자화 파라미터(QP)를 사용하여 계산될 수 있다. 예컨대, 양자화 파라미터(QP)는 AVC 또는 HEVC 표준들에서 종래에 사용되는 양자화 파라미터일 수 있다. 따라서, HEVC 표준에서 양자화 스텝(δ₁)은 수식 δ₁ =levelScale[QP % 6]<<(QP/6))에 의해 결정되며, 여기서 levelScale[k]={40, 45, 51, 57, 64, 72}(k=0..5에 대해)이다.

단계(E431)에서, 현재 블록을 코딩하기 위해 선택된 예측 모드가 이웃 블록으로부터 디코딩된다. 이를 위해 인코더에서 행해진 것처럼, 현재 블록에 대해 선택된 인트라 예측 모드는 현재 블록의 이웃 블록들과 연관된 인트라 예측 모드들을 사용하여 코딩된다.

여기에 설명된 본 발명의 특정 실시예의 변형에 따라, 블록과 연관된 인트라 예측 모드는:

- 블록이 종래의 인트라 예측 코딩 모드에 의해 코딩된 경우, 블록을 예측하는 데 사용된 인트라 예측 모드,

- 블록이 종래의 인트라 예측과 구별되는 코딩 모드에 의해 코딩된 경우 블록과 연관된 인트라 예측 모드이다. 이러한 연관의 예는 단계들(E449 및 E450)을 참조하여 추후에 설명된다.

MPM 및 비-MPM 리스트들 둘 다의 구성은 코딩 동안 행해진 것과 엄격히 유사하다. HEVC 표준에 따라, 다음 유형의 신택스 엘리먼트들이 디코딩된다:

- 현재 블록에 대해 코딩될 예측 모드가 MPM 리스트에 있는지 여부를 표시하는 이진 표시기,

따라서, 현재 블록의 인트라 예측 모드를 디코딩하기 위해, 데이터 스트림(STR)으로부터 현재 블록에 대한 이진 표시기 및 예측 모드 인덱스가 판독된다.

단계(E432)에서, 디코더는 디코딩된 예측 모드로부터 현재 블록에 대한 예측된 블록(P)을 구성한다.

단계(E433)에서, 디코더는 예컨대, HEVC 표준에서 특정된 디코딩을 사용하여 데이터 스트림(STR)으로부터 양자화된 블록(R_TQ)의 계수들을 디코딩한다.

단계(E434)에서, 디코딩된 블록(R_TQ)은 예컨대, 양자화 스텝 스칼라 역양자화(δ₁)를 사용하여 역양자화된다. 이는 역양자화된 계수들의 블록(R_TQD)을 생성한다.

단계(E435)에서, 디코딩된 예측 잔차 블록(R_TQDI)을 생성하기 위해 역양자화된 계수들의 블록(R_TQD)에 역 주파수 변환이 적용된다. 예컨대, 변환은 역 DCT-유형 변환일 수 있다. 데이터 스트림(STR)으로부터 표시기를 디코딩함으로써 미리 결정된 세트의 변환들(E_TI)로부터 사용될 변환을 선택하는 것이 가능하다.

단계(E436)에서, X_rec = P + R_TQDI에 의해, 디코딩된 현재 블록(X_rec)을 생성하기 위해, 단계(E432)에서 획득된 예측된 블록(P) 및 단계(E435)에서 획득된 디코딩된 잔차 블록(R_TQDI)으로부터 현재 블록이 재구성된다.

여기서 설명된 실시예 변형에 따라, 단계(E437)에서, 단계(E431)에서 디코딩된 인트라 예측 모드가 현재 블록과 연관된다.

현재 블록이 제2 코딩 모드(M2)에 따라 코딩될 때 현재 블록을 디코딩하기 위한 단계(E44)는 아래에서 설명된다.

단계(E440)에서, 현재 블록의 픽셀들을 예측하기 위해 사용되는 로컬 예측기(PL)가 결정된다. 단 하나의 예측기만이 이용 가능한 경우에, 로컬 예측기는 예컨대, 디코더 레벨에서 디폴트로 세팅되며, 로컬 예측기를 결정하기 위해 어떠한 신택스 엘리먼트도 스트림(STR)으로부터 판독될 필요가 없다.

여러 로컬 예측기들 예컨대, 위에서 설명된 예측기들(PL1-PL4)이 사용 가능한 경우에, 현재 블록을 예측하기 위해 어떤 로컬 예측기가 사용되었는지를 식별하기 위해 신택스 엘리먼트가 데이터 스트림(STR)으로부터 디코딩된다. 따라서, 로컬 예측기는 그 디코딩된 신택스 엘리먼트로부터 결정된다.

단계(E441)에서, 인코더에서 행해진 것과 유사하게 양자화 스텝(δ₂)이 결정된다.

단계(E442)에서, 양자화된 잔차(R1_Q)가 데이터 스트림(STR)으로부터 디코딩된다. HEVC에서 설명된 방법과 같은 임의의 알려진 접근법은 종래의 예측 잔차의 양자화된 계수들을 디코딩하는데 사용될 수 있다.

단계(E443)에서, 양자화된 잔차 블록(R1_Q)은 역양자화된 잔차 블록(R1_QD)을 생성하기 위해 양자화 스텝(δ₂)을 사용하여 역양자화된다.

단계(E444)에서, 역양자화된 잔차 블록(R1_QD)이 획득될 때, 예측된 블록(P1)은 단계(E440)에서 결정된 로컬 예측기(PL)를 이용하여 구성된다.

단계(E444)에서, 현재 블록의 각각의 픽셀은 다음과 같이 예측 및 재구성된다:

- 현재 블록의 현재 픽셀(X)은 예측된 값(PRED)을 획득하기 위해 블록 외부에 있고 이미 재구성된 픽셀들, 또는 현재 블록의 이전에 재구성된 픽셀들 중 어느 하나, 또는 둘 모두를 사용하여, 선택된 예측기(PL)에 의해 예측된다. 모든 경우들에서, 예측기(PL)는 이전에 디코딩된 픽셀들을 사용한다.

- 현재 픽셀(X)의 디코딩된 예측된 값(P1(X))은 P1(X) = PRED + R1_QD(X)가 되도록 예측된 값(PRED)에 예측 잔차의 역양자화된 값(R1_QD)을 더함으로써 계산된다.

이들 단계들은 현재 블록의 모든 픽셀들에 대해, PL1, ..., PL4로부터 선택된 예측에 대해 사용되는 픽셀들이 이용 가능하도록 보장하는 스캐닝 순서로 구현된다.

예컨대, 스캐닝 순서는 사전식(좌측으로부터 우측으로, 그 후 행들에서 위로부터 아래로)이다.

본 발명의 특정 실시예에 따라, 현재 블록의 각각의 픽셀의 디코딩된 예측된 값(P1(X))을 포함하는 예측된 블록(P1)은 여기서 디코딩된 현재 블록(X_rec)을 형성한다.

본 발명의 다른 특정 실시예에 따라, 여기서는 부가적인 예측 잔차가 현재 블록에 대해 코딩된 것으로 간주된다. 그러므로, 현재 블록(X_rec)의 디코딩된 버전을 재구성하기 위해 이 부가적인 예측 잔차를 디코딩할 필요가 있다.

예컨대, 이 다른 특정 실시예는 인코더 및 디코더 레벨에서 디폴트로 활성화되거나 활성화되지 않을 수 있다. 또는, ILR 코딩 모드에 따라 코딩된 각각의 블록에 대해 부가적인 예측 잔차가 코딩되는지를 표시하도록 블록 레벨 정보와 함께 표시자가 데이터 스트림에서 코딩될 수 있다. 또는, 추가로, ILR 코딩 모드에 따라 코딩된 이미지들의 시퀀스 또는 이미지의 모든 블록들에 대해 부가적인 예측 잔차가 코딩되는지를 표시하도록 이미지 또는 이미지들의 시퀀스 레벨 정보와 함께 표시자가 데이터 스트림에서 코딩될 수 있다.

현재 블록에 대해 부가적인 예측 잔차가 코딩될 때, 단계(E445)에서, 양자화된 예측 잔차(R2_TQ)의 계수들은, 인코더에서 구현된 것들에 적응된 수단, 예컨대 HEVC 디코더에서 구현된 수단을 사용하여 데이터 스트림(STR)으로부터 디코딩된다.

단계(E446)에서, 양자화된 계수들의 블록(R2_TQ)은 예컨대, 양자화 스텝 스칼라 역양자화(δ₁)를 사용하여 역양자화된다. 이는 역양자화된 계수들의 블록(R2_TQD)을 생성한다.

단계(E447)에서, 디코딩된 예측 잔차 블록(R2_TQDI)을 생성하기 위해 역 주파수 변환이 블록(R2_TQD)에 적용된다.

예컨대, 역 변환은 역 DCT-유형 변환일 수 있다.

미리 결정된 세트의 변환들(E_T2)로부터 사용될 변환을 선택하고 사용될 변환을 디코더에 통지하는 정보의 아이템을 디코딩하는 것이 가능하다. 이 경우에, 세트(E_T2)는 잔차(R2)의 특정 통계에 적응하도록 세트(E_T)와 상이하다.

단계(E448)에서, 현재 블록은 단계(E444)에서 획득된 예측된 블록(P1)을 디코딩된 예측 잔차(R2_TQDI)에 더함으로써 재구성된다.

본 발명의 특정 실시예에 따라, 종래의 인트라 예측 모드가 결정되고 현재 블록과 연관된다. 이를 위해, 단계(E449)에서, 종래의 인트라 코딩 모드에서 이용 가능한 인트라 예측 모드의 리스트로부터 현재 블록에 대한 인트라 예측 모드가 결정된다. 이 결정은 인코더 레벨에서 구현된 것과 유사하게 구현된다.

단계(E450)에서, 결정된 인트라 예측 모드는 현재 블록과 연관된다.

단계(E45)에서, 현재 블록이 이전에 정의된 스캐닝 순서를 고려하여, 디코딩 방법에 의해 프로세싱될 이미지의 마지막 블록인지가 체크된다. 만약 그렇다면, 방법은 비디오의 다음 이미지(만약 있다면)를 디코딩(단계 E47)하는 것으로 진행한다. 만약 그렇지 않다면, 단계(E46)에서, 프로세싱될 이미지의 후속 블록은 이미지의 이전에 정의된 스캐닝 순서에 따라 선택되고 디코딩 방법은 단계(E42)로 진행하며, 선택된 블록은 프로세싱될 현재 블록이 된다.

도 5는 본 발명의 특정 실시예에 따라 이미지의 적어도 하나의 블록을 대표하는 코딩된 데이터를 포함하는 신호 예 STR을 예시한다. 예컨대, 신호(STR)는 위에서 설명된 양자화 스텝(δ₁) 및 양자화 스텝(δ₂)을 결정하기 위한 양자화 파라미터(QP)를 포함할 수 있다. 이 양자화 파라미터(QP)는 블록 레벨에서, 또는 비디오를 코딩할 때 이미지 또는 이미지들의 시퀀스 레벨에서 코딩될 수 있다.

신호(STR)는 이미지의 블록에 대해, 그 블록에 대한 코딩 모드를 표시하는 코딩된 표시기(TY)를 포함한다. 블록이 제2 코딩 모드(여기서는 ILR 모드)에 따라 코딩된다는 것을 TY 표시기가 표시할 때, 신호는 그 후 양자화된 예측 잔차들(R1_Q)의 코딩된 값들 및 양자화된 변환된 예측 잔차들(R2_TQ)의 가능한 코딩된 값들을 포함한다. 현재 블록에 대해 여러 로컬 예측기들이 가능할 때, 신호는 또한 로컬 예측기(PL) 코딩 표시기를 포함한다.

블록이 제1 코딩 모드(여기서 종래의 인트라 예측 모드)에 따라 코딩됨을 표시기(TY)가 표시할 때, 신호는 그 후, 양자화된 변환된 예측 잔차들(R_TQ)의 코딩된 값들, 현재 블록에 대해 코딩될 예측 모드가 MPM 리스트에 있는지 여부를 표시하는 이진 표시기(i_MPM), 및 대응하는 리스트에서 현재 블록 예측 모드의 인덱스를 표시하는 인덱스(idx_MPM)를 포함한다.

도 6은 본 발명의 특정 실시예 중 임의의 하나에 따른 코딩 방법을 구현하도록 구성된 코딩 디바이스(COD)의 단순화된 구조를 도시한다.

본 발명의 특정 실시예에 따라, 코딩 방법의 단계들은 컴퓨터 프로그램 명령들에 의해 구현된다. 이를 위해, 코딩 디바이스(COD)는 컴퓨터의 표준 아키텍처를 가지며, 특히 메모리(MEM), 및 예컨대, 프로세서(PROC)가 장착되고 메모리(MEM)에 저장된 컴퓨터 프로그램(PG)에 의해 구동되는 프로세싱 유닛(UT)을 포함한다. 컴퓨터 프로그램(PG)은 프로그램이 프로세서(PROC)에 의해 실행될 때 위에서 설명된 바와 같은 코딩 방법의 단계들을 구현하기 위한 명령들을 포함한다.

초기화 시에, 컴퓨터 프로그램(PG)의 코드 명령들은 예컨대, 프로세서(PROC)에 의해 실행되기 전에 RAM 메모리(도시되지 않음)에 로딩된다. 특히, 프로세싱 유닛(UT)의 프로세서(PROC)는 컴퓨터 프로그램(PG)의 명령들에 따라 위에서 설명된 코딩 방법의 단계들을 구현한다.

도 7은 본 발명의 특정 실시예들 중 임의의 하나에 따른 디코딩 방법을 구현하도록 구성된 디코딩 디바이스(DEC)의 단순화된 구조를 도시한다.

본 발명의 특정 실시예에 따라, 디코딩 디바이스(DEC)는 컴퓨터의 표준 아키텍처를 가지며 특히 메모리(MEM0), 및 예컨대, 프로세서(PROC0)가 장착되고 메모리(MEM0)에 저장된 컴퓨터 프로그램(PG0)에 의해 구동되는 프로세싱 유닛(UT0)을 포함한다. 컴퓨터 프로그램(PG0)은 프로그램이 프로세서(PROC0)에 의해 실행될 때 위에서 설명된 바와 같은 디코딩 방법의 단계들을 구현하기 위한 명령들을 포함한다.

초기화 시에, 컴퓨터 프로그램(PG0)의 코드 명령들은 예컨대, 프로세서(PROC0)에 의해 실행되기 전에 RAM 메모리(도시되지 않음)에 로딩된다. 특히, 프로세싱 유닛(UT0)의 프로세서(PROC0)는 컴퓨터 프로그램(PG0)의 명령들에 따라 위에서 설명된 디코딩 방법의 단계들을 구현한다.

Claims

적어도 하나의 이미지를 대표하는 코딩된 데이터 스트림을 디코딩하기 위한 방법으로서,
상기 이미지는 블록들로 분할되고,
상기 디코딩하기 위한 방법은, 현재 블록으로서 지칭되는, 상기 이미지의 적어도 하나의 블록에 대해:
상기 현재 블록의 코딩 모드를 표시하는 정보의 아이템을 디코딩하는 단계(E42),
상기 현재 블록의 코딩 모드가 제1 코딩 모드에 대응할 때, 상기 현재 블록을 디코딩하는 단계(E43) ─ 상기 현재 블록을 디코딩하는 단계(E43)는, 변환 도메인에서 상기 현재 블록과 연관된 예측 잔차(prediction residue)를 역양자화하기 위한 제1 양자화 스텝(quantization step)의 결정(E430)을 포함함 ─ ,
상기 현재 블록의 코딩 모드가 제2 코딩 모드에 대응할 때, 상기 현재 블록을 디코딩하는 단계(E44) ─ 상기 현재 블록을 디코딩 하는 단계(E44)는, 공간 도메인에서 상기 현재 블록과 연관된 예측 잔차를 역양자화하기 위한 제2 양자화 스텝의 결정(E441)을 포함함 ─ 를 포함하고,
상기 제1 양자화 스텝 및 상기 제2 양자화 스텝은 동일한 양자화 파라미터에 따라 결정되는,
적어도 하나의 이미지를 대표하는 코딩된 데이터 스트림을 디코딩하기 위한 방법.
제1 항에 있어서,
상기 현재 블록의 코딩 모드가 상기 제2 코딩 모드에 대응할 때, 상기 현재 블록을 디코딩하는 단계는, 상기 현재 블록의 각각의 픽셀에 대해:
다른 이전에 디코딩된 픽셀로부터 상기 픽셀의 예측을 획득하는 단계 ― 상기 다른 이전에 디코딩된 픽셀은 상기 이미지의 이전에 디코딩된 블록 또는 상기 현재 블록에 속함 ― ,
상기 픽셀과 연관된 예측 잔차를 디코딩하는 단계,
상기 제2 양자화 스텝을 사용하여 상기 픽셀과 연관된 상기 예측 잔차를 역양자화하는 단계,
상기 역양자화된 예측 잔차에 상기 픽셀의 예측을 더함으로써 상기 픽셀을 재구성하는 단계를 더 포함하는,
적어도 하나의 이미지를 대표하는 코딩된 데이터 스트림을 디코딩하기 위한 방법.
제1 항 또는 제2 항에 있어서,
상기 현재 블록의 코딩 모드가 상기 제2 코딩 모드에 대응할 때, 상기 현재 블록과 연관된 예측 잔차의 계수들은, 상기 현재 블록의 코딩 모드가 상기 제1 코딩 모드에 대응할 때 상기 현재 블록과 연관된 예측 잔차의 계수들을 디코딩하는 데 사용된 엔트로피 디코더에 의해 디코딩되는,
적어도 하나의 이미지를 대표하는 코딩된 데이터 스트림을 디코딩하기 위한 방법.
적어도 하나의 이미지를 대표하는 코딩된 데이터 스트림을 코딩하기 위한 방법으로서,
상기 이미지는 블록들로 분할되고,
상기 코딩하기 위한 방법은, 현재 블록으로서 지칭되는, 상기 이미지의 적어도 하나의 블록에 대해:
상기 현재 블록의 코딩 모드를 표시하는 정보의 아이템을 코딩하는 단계(E20),
상기 현재 블록의 코딩 모드가 제1 코딩 모드에 대응할 때, 상기 현재 블록을 코딩하는 단계(E21) ─ 상기 현재 블록을 코딩하는 단계(E21)는, 변환 도메인에서 상기 현재 블록과 연관된 예측 잔차를 양자화하기 위한 제1 양자화 스텝의 결정(E210)을 포함함 ─ ,
상기 현재 블록의 코딩 모드가 제2 코딩 모드에 대응할 때, 상기 현재 블록을 코딩하는 단계(E22) ─상기 현재 블록을 코딩하는 단계(E22)는, 공간 도메인에서 상기 현재 블록과 연관된 예측 잔차를 양자화하기 위한 제2 양자화 스텝의 결정(E221)를 포함함 ─ 를 포함하고,
상기 제1 양자화 스텝 및 상기 제2 양자화 스텝은 동일한 양자화 파라미터에 따라 결정되는,
적어도 하나의 이미지를 대표하는 코딩된 데이터 스트림을 코딩하기 위한 방법.
제4 항에 있어서,
상기 현재 블록의 코딩 모드가 상기 제2 코딩 모드에 대응할 때, 상기 현재 블록을 코딩하는 단계는, 상기 현재 블록의 각각의 픽셀에 대해:
다른 이전에 디코딩된 픽셀로부터 상기 픽셀의 예측을 획득하는 단계 ― 상기 다른 이전에 디코딩된 픽셀은 상기 이미지의 이전에 디코딩된 블록 또는 상기 현재 블록에 속함 ― ,
상기 픽셀의 예측으로부터 상기 픽셀과 연관된 예측 잔차를 획득하는 단계,
상기 제2 양자화 스텝을 사용하여 상기 픽셀과 연관된 상기 예측 잔차를 양자화하는 단계,
상기 양자화된 예측 잔차를 코딩하는 단계를 포함하는,
적어도 하나의 이미지를 대표하는 코딩된 데이터 스트림을 코딩하기 위한 방법.
제4 항 또는 제5 항에 있어서,
상기 현재 블록의 코딩 모드가 상기 제2 코딩 모드에 대응할 때, 상기 현재 블록과 연관된 예측 잔차의 계수들은, 상기 현재 블록의 코딩 모드가 상기 제1 코딩 모드에 대응할 때 상기 현재 블록과 연관된 예측 잔차의 계수들을 코딩하는 데 사용된 엔트로피 인코더에 의해 코딩되는,
적어도 하나의 이미지를 대표하는 코딩된 데이터 스트림을 코딩하기 위한 방법.
제1 항 내지 제6 항 중 어느 한 항에 있어서,
상기 제2 양자화 스텝은 상기 제1 양자화 스텝에 따라 결정되는,
방법.
제7 항에 있어서,
상기 제2 양자화 스텝은
또는
에 의해 결정되며, δ₁은 상기 제1 양자화 스텝에 대응하고, a, b, c, d, e는 미리 결정된 파라미터들인,
방법.
제1 항 내지 제6 항 중 어느 한 항에 있어서,
상기 제1 양자화 스텝은 상기 양자화 파라미터의 값들에 대해 미리 결정된 양자화 스텝 테이블로부터 획득되는,
방법.
제1 항 내지 제6 항 중 어느 한 항에 있어서,
상기 양자화 파라미터는 D+λ*R 함수를 최적화하는 데 사용되는 라그랑지안(Lagrangian) λ에 대응하며, 여기서 R은 상기 데이터 스트림의 레이트에 대응하고 D는 상기 디코딩된 이미지의 연관된 왜곡에 대응하는,
방법.
제1 항 내지 제6 항 중 어느 한 항에 있어서,
상기 양자화 파라미터는 상기 데이터 스트림에서 코딩되거나 상기 데이터 스트림으로부터 디코딩되는,
방법.
제1 항 내지 제3 항 중 어느 한 항에 있어서,
상기 제2 코딩 모드에 따라 상기 현재 블록을 디코딩하는 단계는,
상기 현재 블록과 연관된 다른 예측 잔차를 디코딩하는 단계,
상기 제1 양자화 스텝을 사용하여 상기 현재 블록과 연관된 상기 다른 예측 잔차를 역양자화하는 단계,
상기 다른 역양자화된 예측 잔차 및 상기 현재 블록의 재구성된 픽셀들로부터 상기 현재 블록을 재구성하는 단계를 더 포함하는,
적어도 하나의 이미지를 대표하는 코딩된 데이터 스트림을 디코딩하기 위한 방법.
적어도 하나의 이미지를 대표하는 코딩된 데이터 스트림을 디코딩하기 위한 디바이스로서,
상기 이미지는 블록들로 분할되고,
상기 디코딩하기 위한 디바이스는 프로세서(PROC0)를 포함하며,
상기 프로세서(PROC0)는, 현재 블록으로서 지칭되는, 상기 이미지의 적어도 하나의 블록에 대해:
상기 현재 블록의 코딩 모드를 표시하는 정보의 아이템을 디코딩하고,
상기 현재 블록의 코딩 모드가 제1 코딩 모드에 대응할 때, 변환 도메인에서 상기 현재 블록과 연관된 예측 잔차를 역양자화하기 위한 제1 양자화 스텝을 결정함으로써, 상기 현재 블록을 디코딩하고,
상기 현재 블록의 코딩 모드가 제2 코딩 모드에 대응할 때, 공간 도메인에서 상기 현재 블록과 연관된 예측 잔차를 역양자화하기 위한 제2양자화 스텝을 결정함으로써, 상기 현재 블록을 디코딩하도록 구성되며,
상기 제1 양자화 스텝 및 상기 제2 양자화 스텝은 동일한 양자화 파라미터에 따라 결정되는,
적어도 하나의 이미지를 대표하는 코딩된 데이터 스트림을 디코딩하기 위한 디바이스.
적어도 하나의 이미지를 대표하는 코딩된 데이터 스트림을 코딩하기 위한 디바이스로서,
상기 이미지는 블록들로 분할되고,
상기 코딩하기 위한 디바이스는 프로세서(PROC)를 포함하며,
상기 프로세서(PROC)는, 현재 블록으로서 지칭되는, 상기 이미지의 적어도 하나의 블록에 대해:
상기 현재 블록의 코딩 모드를 표시하는 정보의 아이템을 코딩하고,
상기 현재 블록의 코딩 모드가 제1 코딩 모드에 대응할 때, 변환 도메인에서 상기 현재 블록과 연관된 예측 잔차를 양자화하기 위한 제1 양자화 스텝을 결정함으로써, 상기 현재 블록을 코딩하고,
상기 현재 블록의 코딩 모드가 제2 코딩 모드에 대응할 때, 공간 도메인에서 상기 현재 블록과 연관된 예측 잔차를 양자화하기 위한 제2 양자화 스텝을 결정함으로써, 상기 현재 블록을 코딩하도록 구성되며,
상기 제1 양자화 스텝 및 상기 제2 양자화 스텝은 동일한 양자화 파라미터에 따라 결정되는,
적어도 하나의 이미지를 대표하는 코딩된 데이터 스트림을 코딩하기 위한 디바이스.
적어도 하나의 이미지를 대표하는 코딩된 데이터 스트림으로서,
상기 이미지는 블록들로 분할되고, 상기 코딩된 데이터 스트림은, 현재 블록으로서 지칭되는, 상기 이미지의 적어도 하나의 블록에 대해:
상기 현재 블록의 코딩 모드를 표시하는 정보의 아이템,
상기 현재 블록의 코딩 모드가 제1 코딩 모드에 대응할 때, 제1 양자화 스텝을 사용하여 변환되고 양자화된 계수들을 포함하는, 상기 현재 블록과 연관된 예측 잔차,
상기 현재 블록의 코딩 모드가 제2 코딩 모드에 대응할 때, 제2 양자화 스텝을 사용하여 공간 도메인에서 양자화된 예측 잔차 값들을 포함하는, 상기 현재 블록과 연관된 예측 잔차를 포함하고,
상기 제1 양자화 스텝 및 상기 제2 양자화 스텝은 동일한 양자화 파라미터에 따라 결정되는,
적어도 하나의 이미지를 대표하는 코딩된 데이터 스트림.
제15 항에 있어서,
상기 양자화 파라미터를 더 포함하는,
적어도 하나의 이미지를 대표하는 코딩된 데이터 스트림.
명령들을 포함하는 컴퓨터 프로그램으로서,
상기 명령들은, 상기 프로그램이 프로세서에 의해 실행될 때, 제1 항 내지 제3 항 또는 제7 항 내지 제12 항 중 어느 한 항에 따른 디코딩하기 위한 방법 또는 제4 항 내지 제11 항 중 어느 한 항에 따른 코딩하기 위한 방법을 구현하기 위한 것인,
컴퓨터 프로그램.