KR102269167B1

KR102269167B1 - 이미지들을 인코딩 및 디코딩하기 위한 방법, 인코딩 및 디코딩 디바이스, 및 대응하는 컴퓨터 프로그램들

Info

Publication number: KR102269167B1
Application number: KR1020207024400A
Authority: KR
Inventors: 펠릭스 헨리; 고든 클라레
Original assignee: 돌비 인터네셔널 에이비
Priority date: 2011-11-07
Filing date: 2012-11-06
Publication date: 2021-06-25
Also published as: SI3490258T1; JP2019054531A; LT2991351T; SMT201500241B; US10681389B2; RS54254B1; US9277240B2; CY1116899T1; BR122020015256B1; KR102008151B1; JP6096204B2; US20160142735A1; US9374599B2; CN108055541A; US9001888B2; SI2777270T1; BR112014010839A8; US20160295238A1; KR20230167449A; PL3182707T3

Abstract

본 발명은 파티션들로 분할된 적어도 하나의 이미지를 인코딩하기 위한 방법에 관한 것으로, 상기 방법은: 적어도 하나의 이미 인코딩되고 그 다음으로 디코딩된 기준 파티션에 기초하여, 현재 파티션의 데이터를 예측하고, 예측된 파티션을 발생하는 단계(C2); 상기 현재 파티션과 관련된 데이터를 상기 예측된 파티션과 비교함으로써, 잔여 데이터의 세트를 결정하는 단계(C6) ― 상기 잔여 데이터는, 엔트로피(entropy) 인코딩을 겪도록 의도된 다양한 디지털 정보 아이템들과 각각 연관됨 ― 를 실시한다. 상기 인코딩된 정보를 포함하는 신호를 생성하기 위한 단계 전에, 다음의 단계들: 상기 결정된 잔여 데이터의 세트로부터, 수정될 수 있는 잔여 데이터를 포함하는 서브세트를 결정하는 단계(C71); 상기 결정된 서브세트의 잔여 데이터를 나타내는 함수의 값을 계산하는 단계(C8); 상기 계산된 값을, 상기 디지털 정보 아이템들 중 적어도 하나의 디지털 정보 아이템의 값과 비교하는 단계(C9); 상기 비교의 결과에 기초하여, 상기 서브세트의 잔여 데이터 아이템들 중 적어도 하나의 잔여 데이터 아이템을 수정하거나(C10) 또는 수정하지 않는 단계; 및 수정하는 경우, 상기 적어도 하나의 수정된 잔여 데이터 아이템을 엔트로피 인코딩하는 단계(C20)가 실행된다.

Description

이미지들을 인코딩 및 디코딩하기 위한 방법, 인코딩 및 디코딩 디바이스, 및 대응하는 컴퓨터 프로그램들 {METHOD FOR ENCODING AND DECODING IMAGES, ENCODING AND DECODING DEVICE, AND CORRESPONDING COMPUTER PROGRAMS}

본 발명은 일반적으로 이미지 프로세싱의 분야에 관한 것으로, 더욱 구체적으로는 디지털 이미지들 및 디지털 이미지들의 시퀀스들을 인코딩 및 디코딩하는 것에 관한 것이다.

따라서, 본 발명은 특히, 현재의 비디오 인코더들(MPEG, H.264 등) 또는 미래의 비디오 인코더들(ITU-T/VCEG(H.265) 또는 ISO/MPEG(HEVC))에서 실시되는 비디오 인코딩에 적용될 수 있다.

현재의 비디오 인코더들(MPEG, H.264 등)은 비디오 시퀀스의 블록들에 의한 표현을 이용한다. 이미지들은 매크로블록들로 분할되고, 각각의 매크로블록은 그 자체가 블록들로 분할되고, 각각의 블록, 또는 매크로블록은 인트라(intra) 이미지 또는 인터(inter) 이미지 예측에 의해 인코딩된다. 따라서, 당업자에게 알려진 모션 보상의 도움으로, 하나 또는 둘 이상의 기준 인코딩된-디코딩된 이미지(reference encoded-decoded image)들에 관하여 일부 이미지들이 시간 예측(temporal prediction)(인터 예측)에 의해 인코딩되는 반면, 다른 이미지들은 공간 예측(spatial prediction)(인트라 예측)에 의해 인코딩된다.

각각의 블록에 대해, 예측에 의해 감소된 원래의 블록에 대응하는, 예측 잔여물(prediction residue)로 또한 불리는 잔여 블록(residual block)이 인코딩된다. 잔여 블록들은, 이산 코사인 변환(DCT) 타입의 변환에 의해 변환되고, 그 다음으로, 예를 들어 스칼라 타입 양자화를 이용하여 양자화된다. 계수들 ― 상기 계수들 중 몇몇은 포지티브이고, 다른 계수들은 네거티브임 ― 은 양자화 단계의 종료시 획득된다. 그 다음으로, 이들은 일반적으로, (JPEG 표준에서와 같이) 지그재그 판독 순서(zigzag read order)로 스캔되고, 이에 의해, 높은 주파수들의 상당한 수의 제로 계수들을 활용하는 것을 허용한다. 상술된 스캔의 종료시, 계수들의 1차원 리스트가 획득되고, 이는 "양자화된 잔여물(quantized residue)"로 불릴 것이다. 그 다음으로, 이러한 리스트의 계수들은 엔트로피(entropy) 인코딩에 의해 인코딩된다.

(예를 들어, 산술 코딩(arithmetic coding) 또는 허프만 코딩(Huffman coding) 타입의) 엔트로피 인코딩은 다음과 같이 실행된다:

- 리스트의 마지막 비-제로 계수(non-zero coefficient)의 위치를 표시하기 위해 정보 아이템이 엔트로피적으로(entropically) 인코딩되고,

- 마지막 비-제로 계수 전에 위치된 각각의 계수에 대해, 계수가 0인지 아닌지를 표시하기 위해 정보 아이템이 엔트로피적으로 인코딩되고,

- 이전에 표시된 각각의 비-제로 계수에 대해, 계수가 1과 동등한지 아닌지를 표시하기 위해 정보 아이템이 엔트로피적으로 인코딩되고,

- 0이 아니고 1과 동일하지 않으며, 마지막 비-제로 계수 전에 위치된 각각의 계수에 대해, 진폭 정보 아이템(계수의 절대값, 상기 값은 2만큼 감소됨)이 엔트로피적으로 인코딩되고,

- 각각의 비-제로 계수에 대해, 그에 할당된 부호는 (+ 부호에 대해) '0' 또는 (- 부호에 대해) '1'에 의해 인코딩된다.

예를 들어, H.264 기법에 따르면, 매크로블록이 블록들로 분할될 때, 각각의 블록에 대응하는 데이터 신호가 디코더에 전송된다. 이러한 신호는:

- 상술된 리스트에 포함된 양자화된 잔여물들,

- 이용된 인코딩 모드를 나타내는 정보 아이템들, 특히:

● 예측 모드(인트라 예측, 인터 예측, 어떠한 정보도 디코더에 전송되지 않는 예측을 생성하는 디폴트 예측(default prediction)("스킵(skip)"으로 불림);

● 예측의 타입(배향, 기준 이미지 등)을 명시하는 정보;

● 파티셔닝(partitioning)의 타입;

● 변환의 타입, 예를 들어 4×4 DCT, 8×8 DCT 등;

● 필요한 경우, 모션 정보;

● 등을 포함한다.

디코딩은 이미지 단위로 수행되고, 각각의 이미지에 대해서는, 매크로블록 단위로 수행된다. 매크로블록의 각각의 파티션에 대해, 스트림의 대응하는 엘리먼트들이 판독된다. 디코딩된 예측 잔여물을 생성하기 위해 블록들의 계수들의 역양자화 및 역변환이 수행된다. 그 다음으로, 파티션의 예측이 계산되고, 파티션은, 예측을, 디코딩된 예측 잔여물에 부가함으로써 재구성된다.

따라서, H.264 표준에서 실시되는 바와 같은, 경쟁(competition)에 의한 인트라 또는 인터 인코딩은, 최상의 모드 ― 즉, 상기 최상의 모드는, 미리결정된 성능 기준, 예를 들어 당업자에게 잘 알려진 레이트 왜곡 비용(rate distortion cost)에 따라 해당하는 파티션의 인코딩을 최적화할 것임 ― 를 선택할 목적으로, 다양한 인코딩 정보 아이템들, 이를 테면 상기 언급된 인코딩 정보 아이템들을 경쟁에 두는 것에 의존한다.

선택된 인코딩 모드를 나타내는 정보 아이템들은 인코더에 의해 디코더에 전송되는 데이터 신호에 포함된다. 따라서, 디코더는 인코더에서 선택된 인코딩 모드를 식별하고, 그 다음으로 이러한 모드에 순응하는 예측을 적용할 수 있다.

문서 "Data Hiding of Motion Information in Chroma and Luma Samples for Video Compression", J.-M. Thiesse, J. Jung 및 M. Antonini, International workshop on multimedia signal processing, 2011은, 비디오 압축 동안 실시되는 데이터 은닉(data hiding) 방법을 제공한다.

더욱 구체적으로, 전송될 복수의 경쟁 인덱스들로부터 발행된 바와 같은 적어도 하나의 경쟁 인덱스를, 디코더에 전송될 신호에 포함시키는 것을 회피하는 것이 제안된다. 이러한 인덱스는, 예를 들어, 인터 모드에서 예측된 블록을 위해 이용된 모션 벡터 예측자(predictor)를 식별하기 위한 정보 아이템을 나타내는 인덱스 MVComp이다. 값 0 또는 1을 취할 수 있는 이러한 인덱스는 인코딩된 데이터 아이템들의 신호에 직접적으로 포함되는 것이 아니라, 양자화된 잔여물의 계수들의 합(sum)의 패리티(parity)에 의해 전송된다. 양자화된 잔여물의 패리티와 인덱스 MVComp 사이에 연관성이 생성된다. 예로서, 양자화된 잔여물의 짝수값(even value)은 값 0의 인덱스 MVComp와 연관되는 반면, 양자화된 잔여물의 홀수값(odd value)은 값 1의 인덱스 MVComp와 연관된다. 2개의 경우들이 발생할 수 있다. 첫 번째 경우에서, 양자화된 잔여물의 패리티가, 전송되길 원하는 인덱스 MVComp의 패리티에 이미 대응하는 경우, 양자화된 잔여물은 통상적으로 인코딩된다. 두 번째 경우에서, 양자화된 잔여물의 패리티가, 전송되길 원하는 인덱스 MVComp의 패리티와 상이한 경우, 양자화된 잔여물은, 상기 양자화된 잔여물의 패리티가 인덱스 MVComp의 패리티와 동일하도록 수정된다. 이러한 수정은, 양자화된 잔여물의 하나 또는 둘 이상의 계수들을 홀수값(예를 들어, +1, -1, +3, -3, +5, -5 등)만큼 증가 또는 감소시키는 것, 및 미리결정된 기준 ― 이 경우, 이전에 언급된 레이트 왜곡 비용 ― 을 최적화하는 수정만을 유지(retain)하는 것을 수반한다.

디코더에서, 인덱스 MVComp는 신호에서 판독되지 않는다. 디코더는 단순히, 잔여물을 통상적으로 결정하는 것으로 충족된다. 이러한 잔여물의 값이 짝수인 경우, 인덱스 MVComp는 0으로 설정된다. 이러한 잔여물의 값이 홀수인 경우, 인덱스 MVComp는 1로 설정된다.

방금 제공되었던 기법에 따르면, 수정을 겪는 계수들이 항상 최적으로 선택되는 것은 아니어서, 적용된 수정은, 디코더에 전송되는 신호에서의 교란(disturbance)들을 초래한다. 이러한 교란들은 불가피하게, 비디오 압축의 유효성에 유해하다.

본 발명의 목표들 중 하나는, 상술된 종래 기술의 결점들을 개선하는 것이다.

이를 위해, 본 발명의 목적은, 파티션들로 분할된 적어도 하나의 이미지를 인코딩하기 위한 방법과 관련되며, 이러한 방법은:

- 이미 인코딩되고 그 다음으로 디코딩된 적어도 하나의 기준 파티션의 함수로써, 현재 파티션의 데이터 아이템들을 예측하고, 예측된 파티션을 전달하는 단계;

- 현재 파티션 및 예측된 파티션에 관한 데이터 아이템들의 비교에 의해, 잔여 데이터 아이템들의 세트를 결정하는 단계 ― 잔여 데이터 아이템들은, 엔트로피 인코딩을 겪도록 의도된 다양한 디지털 정보 아이템들과 각각 연관됨 ―;

- 인코딩된 정보 아이템들을 포함하는 신호를 발생하는 단계를 실시한다.

본 발명에 따른 방법은, 상기 방법이, 신호 발생 단계 전에, 다음의 단계들:

- 결정된 잔여 데이터 아이템들의 세트로부터, 수정되기에 적합한 잔여 데이터 아이템들을 포함하는 서브세트를 결정하는 단계,

- 상기 결정된 서브세트의 잔여 데이터 아이템들을 나타내는 함수의 값을 계산하는 단계,

- 계산된 값을, 디지털 정보 아이템들 중 적어도 하나의 디지털 정보 아이템의 값과 비교하는 단계,

- 비교의 결과에 따라, 서브세트의 잔여 데이터 아이템들 중 적어도 하나의 잔여 데이터 아이템을 수정하거나 또는 수정하지 않는 단계,

- 수정하는 경우, 적어도 하나의 수정된 잔여 데이터 아이템을 엔트로피 인코딩하는 단계를 실시하는 것에서 주목할만하다.

이러한 어레인지먼트는, 데이터 은닉 기법을 감소된 잔여 데이터 아이템들 세트에 적용하는 것을 허용하고, 상기 세트에서 잔여 데이터 아이템들은 수정되기에 적합하다.

본 발명에 따르면, 표현 "수정되기에 적합한 잔여 데이터 아이템들"은, 수정의 적용이 인코더와 디코더 사이에 비동기화(desynchronization)를 초래하지 않는 데이터 아이템들을 의미하는 것으로 이해된다.

따라서, 본 발명에 따르면, 수정을 겪도록 의도되는 잔여 데이터 아이템들은, 이전에 인용된 종래 기술보다 훨씬 더 신뢰적으로 선택되고, 이에 의해, 디코더에서 더욱 우수한 품질의 이미지 재구성을 달성하는 것을 허용한다.

더욱이, 감소된 수의 잔여 데이터 아이템들을 수정하는 가능성은, 인코딩을 가속하는 것을 허용한다.

특정 실시예에서, 잔여 데이터 아이템들의 서브세트를 결정하는 단계 다음의 단계들은, 잔여 데이터 아이템들이 수정되기에 적합한지에 의존하는, 미리결정된 기준이 충족되는 경우에만 실시된다.

이러한 어레인지먼트는 부가적으로, 인코더가, 데이터 은닉 기법을 적용하는 것이 적합한지 아닌지를 순리적인 방식으로 결정하는 것을 가능하게 한다. 이러한 결정 단계는, 수정되기에 적합한, 감소된 잔여 데이터 아이템들 세트에만 적용되는 이점을 갖는다. 따라서, 데이터 은닉 기법이, 이전에 인용된 종래 기술보다 훨씬 더 적합하게, 특히, 더 우수하게 선택된 수의 잔여 데이터 아이템들에 적용되는 것이 보장되는데, 일단 이들 데이터 아이템들이 수정되면, 이러한 수정에 의해 발생된 신호의 교란은 디코더에서의 이미지의 재구성의 품질에 악영향을 주지 않을 것이 확실하다.

다른 특정 실시예에서, 미리결정된 결정 기준은, 수정되기에 적합한 잔여 데이터 아이템들의 수와 미리결정된 수 사이의 비교의 결과에 의존한다.

이러한 어레인지먼트는 시그널링 비용을 효율적으로 감소시키면서 산술 인코더의 압축 성능을 개선하는 것을 허용한다. 구체적으로, 이러한 어레인지먼트는, 데이터 은닉 기법이 디코더에 전송될 신호에 높은 교란 레벨들을 초래함이 없이, 데이터 은닉 기법을 적용하는 것이 적절한 잔여 데이터 아이템들의 수를 정확하게 검출하는 것을 허용한다.

또 다른 특정 실시예에서, 복수의 디지털 정보 아이템들이 비교 단계 동안 고려되는 경우, 상기 비교 단계는, 결정된 서브세트의 잔여 데이터 아이템들을 나타내는 함수의 계산된 값을, 복수의 디지털 정보 아이템들을 나타내는 함수의 값과 비교하는 단계를 포함한다.

이러한 어레인지먼트는, 시그널링 비용의 감소를 최적화하면서 산술 인코더의 압축 성능을 최적화하는 것을 허용하는데, 그 이유는 이러한 어레인지먼트가, 여러 디지털 정보 아이템들을 디코더에 전송될 신호에 은닉하는 것을 허용하기 때문이다.

또 다른 특정 실시예에서, 적어도 하나의 디지털 정보 아이템은 잔여 데이터 아이템의 부호(sign)에 대응한다.

부호는, 포지티브 또는 네거티브 부호의 출현의 확률이 같은 정도의 개연성이 있다는 사실로 인해, 은닉될 특히 관련된 정보 아이템(particularly relevant information item)이다. 이와 같이, 부호가 하나의 비트 상에 반드시 인코딩된다는 것을 고려하면, 이러한 정보를 은닉함으로써, 디코더에 전송될 신호에서 1 비트를 절약하는 것이 따라서 가능하고, 이에 의해 시그널링 비용을 상당히 감소시킨다. 이러한 비용의 감소는, 본 발명에 따라 복수의 부호들, 및 결국 복수의 비트들을 은닉하는 것이 가능한 경우에 더욱더 높을 것이다.

상관적으로, 본 발명은 또한, 파티션들로 분할된 적어도 하나의 이미지를 인코딩하기 위한 디바이스와 관련되며, 이러한 디바이스는:

- 이미 인코딩되고 그 다음으로 디코딩된 적어도 하나의 기준 파티션의 함수로써, 현재 파티션의 데이터 아이템들을 예측하고, 예측된 파티션을 전달하는 수단;

- 현재 파티션 및 예측된 파티션에 관한 데이터 아이템들을 비교하기에 적합한 잔여 데이터 아이템들의 세트를 결정하는 수단 ― 잔여 데이터 아이템들은, 엔트로피 인코딩을 겪도록 의도된 다양한 디지털 정보 아이템들과 각각 연관됨 ―;

- 인코딩된 정보 아이템들을 포함하는 신호를 발생하는 수단을 포함한다.

이러한 인코딩 디바이스는, 상기 인코딩 디바이스가, 발생 수단의 업스트림에:

- 결정된 잔여 데이터 아이템들 세트로부터, 수정되기에 적합한 잔여 데이터 아이템들을 포함하는 서브세트를 결정하고,

- 결정된 서브세트의 잔여 데이터 아이템들을 나타내는 함수의 값을 계산하고,

- 계산된 값을, 디지털 정보 아이템들 중 적어도 하나의 디지털 정보 아이템의 값과 비교하고,

- 결정된 서브세트의 잔여 데이터 아이템들 중 적어도 하나의 잔여 데이터 아이템을 수정하거나 또는 수정하지 않을 수 있는 프로세싱 수단뿐만 아니라,

수정의 결과에 따라, 프로세싱 수단에 의한 수정의 경우, 적어도 하나의 수정된 잔여 데이터 아이템을 엔트로피 인코딩하기 위한 수단을 포함하는 것에서 주목할만하다.

대응하는 방식으로, 본 발명은 또한, 이전에 인코딩되었던, 파티션들로 분할된 적어도 하나의 이미지를 나타내는 데이터 신호를 디코딩하기 위한 방법과 관련되고, 상기 방법은, 신호의 데이터를 엔트로피 디코딩함으로써, 적어도 하나의 이전에 인코딩된 파티션에 관한 잔여 데이터 아이템들과 연관된 디지털 정보 아이템들을 획득하는 단계를 포함한다.

이러한 디코딩 방법은, 상기 디코딩 방법이 다음의 단계들:

- 잔여 데이터 아이템들로부터, 이전의 인코딩 동안 수정되었을 수 있는 잔여 데이터 아이템들을 포함하는 서브세트를 결정하는 단계,

- 계산된 값으로부터, 엔트로피 디코딩에 의해 획득된 디지털 정보 아이템들과 상이한 적어도 하나의 디지털 정보 아이템의 값을 획득하는 단계를 포함하는 것에서 주목할만하다.

특정 실시예에서, 잔여 데이터 아이템들의 서브세트를 결정하는 단계 다음의 단계들은, 잔여 데이터 아이템들이 수정되었을 수 있는지에 의존하는, 미리결정된 기준이 충족되는 경우에만 실시된다.

다른 특정 실시예에서, 미리결정된 결정 기준은, 수정되었을 수 있는 잔여 데이터 아이템들의 수와 미리결정된 수 사이의 비교의 결과에 의존한다.

또 다른 특정 실시예에서, 엔트로피 디코딩에 의해 획득된 디지털 정보 아이템들과 상이한 복수의 디지털 정보 아이템들과 각각 연관된 복수의 값들은 상기 계산된 값으로부터 획득된다.

또 다른 특정 실시예에서, 적어도 하나의 디지털 정보 아이템은 잔여 데이터 아이템의 부호에 대응한다.

상관적으로, 본 발명은 또한, 이전에 인코딩되었던, 파티션들로 분할된 적어도 하나의 이미지를 나타내는 데이터 신호를 디코딩하기 위한 디바이스와 관련되며, 상기 디바이스는, 신호의 데이터 아이템들을 엔트로피 디코딩함으로써, 적어도 하나의 이전에 인코딩된 파티션에 관한 잔여 데이터 아이템들과 연관된 디지털 정보 아이템들을 획득하기 위한 수단을 포함한다.

이러한 디코딩 디바이스는, 상기 디코딩 디바이스가:

- 상기 잔여 데이터 아이템들로부터, 이전의 인코딩 동안 수정되었을 수 있는 잔여 데이터 아이템들을 포함하는 서브세트를 결정하고,

- 계산된 값으로부터, 엔트로피 디코딩에 의해 획득된 디지털 정보 아이템들과 상이한 적어도 하나의 디지털 정보 아이템의 값을 획득할 수 있는 프로세싱 수단을 포함하는 것에서 주목할만하다.

본 발명은 또한, 컴퓨터 프로그램이 컴퓨터에 의해 실행될 때, 상기 인코딩 또는 디코딩 방법의 단계들을 실행하기 위한 명령들을 포함하는 컴퓨터 프로그램과 관련된다.

이러한 프로그램은 임의의 프로그래밍 언어를 이용할 수 있고, 부분적으로 컴파일링된 형태 또는 임의의 다른 바람직한 형태와 같이 소스 코드, 객체 코드, 또는 소스 코드와 객체 코드 사이의 중간의 코드의 형태일 수 있다.

본 발명의 또 다른 대상은, 상기 언급된 바와 같은 컴퓨터 프로그램의 명령들을 포함하고 컴퓨터에 의해 판독가능한 기록 매체이다.

기록 매체는 프로그램을 저장할 수 있는 임의의 엔티티 또는 디바이스일 수 있다. 예를 들어, 이러한 매체는 저장 수단, 이를 테면 ROM, 예를 들어 CD-ROM 또는 마이크로전자 회로 ROM, 또는 자기 기록 수단, 예를 들어 플로피 디스크 또는 하드 디스크를 포함할 수 있다.

한편, 이러한 기록 매체는, 무선을 통해 또는 다른 수단을 통해, 전기 또는 광학 케이블을 통해 전달될 수 있는 전기 또는 광학 신호와 같은 전송가능한 매체일 수 있다. 본 발명에 따른 프로그램은 특히 인터넷 타입 네트워크를 통해 다운로딩될 수 있다.

대안적으로, 이러한 기록 매체는 프로그램이 포함되는 집적 회로일 수 있고, 회로는 해당하는 방법을 실행하도록 적응되거나 또는 상기 방법의 실행에서 이용될 것이다.

상기 언급된 인코딩 디바이스, 디코딩 방법, 디코딩 디바이스, 및 컴퓨터 프로그램들은 적어도, 본 발명에 따른 인코딩 방법에 의해 제공되는 이점들과 동일한 이점들을 보인다.

다른 피쳐들 및 이점들은 도면들을 참조하여 기술된 2개의 바람직한 실시예들에 관하여 판독함으로써 명백해질 것이다:
도 1은 본 발명에 따른 인코딩 방법의 메인 단계들을 나타내고,
도 2는 본 발명에 따른 인코딩 디바이스의 실시예를 나타내고,
도 3은 본 발명에 따른 디코딩 방법의 메인 단계들을 나타내고,
도 4는 본 발명에 따른 디코딩 디바이스의 실시예를 나타낸다.

인코딩 부분의 상세한 설명

본 발명의 실시예가 이제 기술될 것이며, 상기 실시예에서 본 발명에 따른 인코딩 방법은, H.264/MPEG-4 AVC 표준에 따른 인코딩에 의해 획득되는 것과 밀접한 이진 스트림에 따라 이미지들의 시퀀스를 인코딩하기 위해 이용된다. 이러한 실시예에서, 본 발명에 따른 인코딩 방법은 예를 들어, 처음에는 H.264/MPEG-4 AVC 표준에 순응하는 인코더의 수정들에 의해 소프트웨어 또는 하드웨어 형태로 실시된다. 본 발명에 따른 인코딩 방법은 도 1에 표현된 단계들(C1 내지 C40)을 포함하는 알고리즘의 형태로 표현된다.

본 발명의 실시예에 따르면, 본 발명에 따른 인코딩 방법은, 인코딩 디바이스 또는 인코더(CO)에서 실시되고, 상기 인코딩 디바이스 또는 인코더(CO)의 실시예는 도 2에 표현된다.

본 발명에 따르면, 실제 인코딩 단계 전에, 미리결정된 순서로 인코딩될 이미지들의 시퀀스의 이미지(IE)가, 도 2에 표현되는 바와 같이, 복수(Z)의 파티션들(B₁, B₂,..., B_i,..., B_Z)로 분할된다.

본 발명의 의미에서, 용어 "파티션"이 코딩 단위(coding unit)를 의미하는 것을 유의하는 것이 적합하다. 이러한 코딩 유닛 기술용어는 특히, 초안이 작성되고 있는 HEVC/H.265 표준, 예를 들어 다음의 인터넷 주소에서 액세스 가능한 문서에서 이용된다:

http://phenix.int-evry.fr/jct/doc_end_user/current_document.php?id=3286

특히, 이러한 코딩 단위는, 블록들, 매크로블록들로 또한 불리는 직사각형 또는 정사각형 형상 픽셀들의 세트들, 또는 다른 기하학적 형상들을 보이는 픽셀들의 세트들을 함께 그룹화한다.

도 2에 표현된 예에서, 상기 파티션들은, 정사각형 형상을 갖고 모두 동일한 크기인 블록들이다. 이미지의 크기에 따라 ― 상기 이미지의 크기는 반드시 블록들의 크기의 배수는 아님 ―, 왼쪽에 있는 마지막 블록들과, 바닥부(bottom)의 마지막 블록들은 정사각형-형상이 아닐 수 있다. 대안적인 실시예에서, 블록들은 예를 들어, 직사각형 크기일 수 있거나 및/또는 서로 정렬되지 않을 수 있다.

더욱이, 각각의 블록 또는 매크로블록 그 자체는 서브블록들로 분할될 수 있으며, 상기 서브블록들 그 자체는 세분가능하다(subdividable).

이러한 분할은 도 2에 표현된 파티셔닝 모듈(PCO)에 의해 수행되고, 상기 파티셔닝 모듈(PCO)은 예를 들어, 이와 같이 잘 알려진 파티셔닝 알고리즘을 이용한다.

상기 분할 단계 다음에, 상기 이미지(IE)의 현재 파티션들(B_i)(여기서, i는 1≤i≤Z인 정수임) 각각이 인코딩된다.

도 2에 표현된 예에서, 이러한 인코딩은, 현재 이미지(IE)의 블록들(B₁ 내지 B_Z) 각각에 연속적으로 적용된다. 블록들은 예를 들어, 당업자에게 잘 알려진 래스터 스캔(raster scan)과 같은 스캔에 따라 인코딩된다.

본 발명에 따른 인코딩은 도 2에 표현된 바와 같은 인코더(CO)의 인코딩 소프트웨어 모듈(MC_CO)에서 실시된다.

도 1에 표현된 단계(C1) 동안, 도 2의 인코딩 모듈(MC_CO)은 현재 이미지(IE)의 인코딩될 제 1 블록(B₁)을 현재 블록(B_i)으로서 선택한다. 도 2에 표현된 바와 같이, 상기 제 1 블록(B₁)은 이미지(IE)의 첫 번째 좌측 블록이다.

도 1에 표현된 단계(C2) 동안, 알려진 인트라 및/또는 인터 예측 기법들에 의해 현재 블록(B₁)의 예측 인코딩이 실행되고, 상기 예측 인코딩 동안, 블록(B₁)은, 적어도 하나의 이전에 인코딩 및 디코딩된 블록에 관하여 예측된다. 이러한 예측은 도 2에 표현된 바와 같은 예측 소프트웨어 모듈(PRED_CO)에 의해 실행된다.

말할 필요도 없이, H.264 표준에서 제안된 바와 같은 다른 인트라 예측 모드들이 가능하다.

현재 블록(B₁)은 또한, 인터 모드에서 예측 인코딩될 수 있으며, 그동안, 현재 블록은 이전에 인코딩 및 디코딩된 이미지로부터의 블록에 관하여 예측된다. 물론, 다른 타입들의 예측이 예상될 수 있다. 현재 블록을 위해 가능한 예측들 중에서, 최적의 예측은, 당업자에게 잘 알려진 레이트 왜곡 기준(rate distortion criterion)에 따라 선택된다.

상기 상술된 예측 인코딩 단계는, 현재 블록(B₁)의 근사치인 예측 블록(Bp₁)을 구성하는 것을 허용한다. 이러한 예측 인코딩과 관련된 정보 아이템들은, 디코더에 전송될 신호에 포함되도록 의도된다. 이러한 정보 아이템들은 특히, 예측의 타입(인터 또는 인트라), 및 필요한 경우 인트라 예측 모드, 블록 또는 매크로블록 ― 이들이 세분된 경우 ― 의 파티셔닝의 타입, 인터 예측 모드에서 이용되는 기준 이미지 인덱스 및 모션 벡터를 포함한다. 이들 정보 아이템들은 인코더(CO)에 의해 압축된다.

도 1에 표현된 다음 단계(C3) 동안, 예측 모듈(PRED_CO)은 현재 블록(B₁)과 관련된 데이터 아이템들을, 예측 블록(Bp₁)의 데이터 아이템들과 비교한다. 더욱 구체적으로, 이러한 단계 동안, 통상적으로 잔여 블록(Br₁)을 생성하기 위해 예측 블록(Bp₁)이 현재 블록(B₁)으로부터 감산된다.

도 1에 표현된 다음 단계(C4) 동안, 잔여 블록(Br₁)은, 변환된 블록(Bt₁)을 생성하기 위해, 예를 들어 DCT 타입 이산 코사인 변환과 같은 통상의 직접 변환 동작에 따라 변환된다. 이러한 동작은 도 2에 표현된 바와 같은 변환 소프트웨어 모듈(MT_CO)에 의해 실행된다.

도 1에 표현된 다음 단계(C5) 동안, 변환된 블록(Bt₁)은 예를 들어, 스칼라 양자화와 같은 통상의 양자화 동작에 따라 양자화된다. 그 다음으로, 양자화된 계수들의 블록(Bq₁)이 획득된다. 이러한 단계는 도 2에 표현된 바와 같은 양자화 소프트웨어 모듈(MQ_CO)에 의해 실행된다.

도 1에 표현된 다음 단계(C6) 동안, 블록(Bq₁)의 양자화된 계수들은 미리규정된 순서로 스캔된다. 표현된 예에서, 이는 통상의 지그재그 스캔이다. 이러한 단계는 도 2에 표현된 바와 같은 판독 소프트웨어 모듈(ML_CO)에 의해 실행된다. 단계(C6)의 종료시, 더욱 일반적으로는 "양자화된 잔여물(quantized residue)"로 알려진, 계수들의 1차원 리스트(E₁=(ε1, ε2,..., εL))가 획득되고, 여기서 L은 1보다 더 큰 또는 1과 동등한 정수이다. 리스트(E₁)의 계수들 각각은, 엔트로피 인코딩을 겪도록 의도된 상이한 디지털 정보 아이템들과 연관된다. 이러한 디지털 정보 아이템들은 아래에서 예로서 기술된다.

표현된 예에서, L=16이고, 리스트(E₁)는 다음의 16개의 계수들: E₁=(0, +9, -7, 0, 0, +1, 0, -1, +2, 0, 0, +1, 0, 0, 0, 0)을 포함하는 것으로 가정한다.

이러한 특정 경우에서:

- 리스트(E₁)의 마지막 비-제로 계수 전에 위치된 각각의 계수에 대해, 디지털 정보 아이템, 이를 테면 비트는, 계수가 제로인지 아닌지를 표시하기 위해 엔트로피적으로 인코딩되도록 의도되고: 계수가 제로인 경우, 예를 들어, 인코딩될 것은 값 0의 비트인 반면, 계수가 제로가 아닌 경우, 인코딩될 것은 값 1의 비트이고;

- 각각의 비-제로 계수 +9, -7, +1, -1, +2, +1에 대해, 디지털 정보 아이템, 이를 테면 비트는, 계수의 절대값이 1과 동등한지 아닌지를 표시하기 위해 엔트로피적으로 인코딩되도록 의도되고: 상기 계수의 절대값이 1과 동등한 경우, 예를 들어, 인코딩될 것은 값 1의 비트인 반면, 상기 계수의 절대값이 1과 동등하지 아닌 경우, 인코딩될 것은 값 0의 비트이고;

- 각각의 비-제로 계수에 대해, 즉 절대값이 1과 동등하지 않고 마지막 비-제로 계수 전에 위치되는 상기 각각의 비-제로 계수, 이를 테면 값 +9, -7, +2의 계수들에 대해, 진폭 정보 아이템(값 2가 감산되는 계수의 절대값)이 엔트로피적으로 인코딩되고;

- 각각의 비-제로 계수에 대해, 상기 각각의 비-제로 계수에 할당되는 부호는, 예를 들어, (+ 부호에 대해) '0'으로 설정된 또는 (- 부호에 대해) '1'로 설정된 비트와 같은 디지털 정보 아이템에 의해 인코딩된다.

도 1을 참조하여, 본 발명에 따른 특정 인코딩 단계들이 이제 기술될 것이다.

본 발명에 따르면, 상술된 정보 아이템들 중 적어도 하나를 엔트로피적으로 인코딩하는 것을 회피하도록 결정된다. 본원에서 이전에 설명된 이유들로, 바람직한 실시예에서, 리스트(E₁)의 상기 계수들 중 하나의 계수의 적어도 하나의 부호를 엔트로피적으로 인코딩하지 않도록 결정된다.

대안적인 예로서, 특히, 상기 리스트(E₁)의 제 1 비-제로 계수의 진폭의 이진 표현의 최하위 비트(least significant bit)를 엔트로피적으로 인코딩하도록 결정될 수 있다.

이를 위해, 도 1에 표현된 단계(C7) 동안, 나중의 엔트로피 인코딩 단계 동안 은닉될 부호들의 수가 선택된다. 이러한 단계는 도 2에 표현된 바와 같은 프로세싱 소프트웨어 모듈(MTR_CO)에 의해 실행된다.

바람직한 실시예에서, 은닉될 부호들의 수는 1 또는 0이다. 부가적으로, 상기 바람직한 실시예에 따르면, 은닉되도록 의도되는 것은 제 1 비-제로 계수의 부호이다. 표현된 예에서, 그러므로 은닉되는 것은 계수 ε2 = +9의 부호이다.

대안적인 실시예에서, 은닉될 부호들의 수는 0, 1, 2, 3, 또는 그 초과 중 하나이다.

단계(C7)의 바람직한 실시예에 따르면, 도 1에 표현된 제 1 서브단계(C71) 동안, 수정되기에 적합한 계수들(ε'1, ε'2,..., ε'M, 여기서 M<L임)을 포함하는 서브리스트(SE₁)가 상기 리스트(E₁)로부터 결정된다. 이러한 계수들은 본원의 이후에서 수정가능 계수들로 불릴 것이다.

본 발명에 따르면, 계수는 수정가능한데, 이러한 수정된 계수가 디코더에서 프로세싱될 때, 상기 계수의 양자화된 값의 수정이 디코더에서 비동기화를 초래하지 않는 것을 조건으로 한다. 따라서, 프로세싱 모듈(MTR_CO)은 처음에:

- 디코더가, 제 1 비-제로 계수 전에 위치된 제로 계수 또는 계수들에서 은닉된 부호의 값에 영향을 미치지 않게, 제 1 비-제로 계수 전에 위치된 이러한 제로 계수 또는 이들 제로 계수들을 수정하지 않도록,

- 그리고, 계산 복잡성의 이유들로, 마지막 비-제로 계수 후에 위치된 제로 계수 또는 계수들을 수정하지 않도록 구성된다.

표현된 예에서, 서브단계(C71)의 종료시, SE₁=(9, -7, 0, 0, 1, 0, -1, 2, 0, 0, 1)이도록 서브리스트(SE₁)가 획득된다. 결과적으로, 11개의 수정가능 계수들이 획득된다.

도 1에 표현된 다음 서브단계(C72) 동안, 프로세싱 모듈(MTR_CO)은, 수정가능 계수들의 수와, 미리결정된 임계치(TSIG)의 비교를 계속한다. 바람직한 실시예에서, TSIG는 값 4를 갖는다.

수정가능 계수들의 수가 임계치(TSIG) 미만인 경우, 도 1에 표현된 단계(C20) 동안, 리스트(E₁)의 계수들의 통상의 엔트로피 인코딩이 실행되는데, 이를 테면, 이는, 예를 들어, 도 2에서 참조부호 CE_CO로 표시된 CABAC 인코더에서 실행된다. 이를 위해, 리스트(E₁)의 각각의 비-제로 계수의 부호가 엔트로피적으로 인코딩된다.

수정가능 계수들의 수가 임계치(TSIG)보다 더 큰 경우, 도 1에 표현된 단계(C8) 동안, 프로세싱 모듈(MTR_CO)은, 서브리스트(SE₁)의 계수들을 나타내는 함수(f)의 값을 계산한다.

단지 하나의 부호만이, 디코더에 전송될 신호에 은닉되도록 의도되는 바람직한 실시예에서, 함수(f)는 서브리스트(SE₁)의 계수들의 합의 패리티이다.

도 1에 표현된 단계(C9) 동안, 인코더(CO)에서 사전에 규정된 컨벤션(convention)에 따라, 프로세싱 모듈(MTR_CO)은, 은닉될 부호의 값의 패리티가 서브리스트(SE₁)의 계수들의 합의 패리티에 대응하는지를 체크한다.

제안된 예에서, 상기 컨벤션은, 포지티브 부호가, 0과 동등한 값의 비트와 연관되도록 되는 반면, 네거티브 부호는 1과 동등한 값의 비트와 연관된다.

본 발명에 따른 인코더(CO)에서 채택된 컨벤션에 따라, 부호가, 0의 인코딩 비트 값에 대응하는 포지티브이고, 서브리스트(SE₁)의 계수들의 합이 짝수인 경우, 상술된 리스트(E₁)의 계수들의 엔트로피 인코딩을 위한 단계(C20)가, 계수 ε2의 부호를 제외하고 실행된다.

또한, 본 발명에 따른 인코더(CO)에서 채택된 컨벤션에 따라, 부호가, 1의 인코딩 비트 값에 대응하는 네거티브이고, 서브리스트(SE₁)의 계수들의 합이 홀수인 경우, 또한, 상술된 리스트(E₁)의 계수들의 엔트로피 인코딩을 위한 단계(C20)가, 계수 ε2의 부호를 제외하고 실행된다.

본 발명에 따른 인코더(CO)에서 채택된 컨벤션에 따라, 부호가, 0의 인코딩 비트 값에 대응하는 포지티브이고, 서브리스트(SE₁)의 계수들의 합이 홀수인 경우, 도 1에 표현된 단계(C10) 동안, 서브리스트(SE₁)의 적어도 하나의 수정가능 계수가 수정된다.

또한, 본 발명에 따른 인코더(CO)에서 채택된 컨벤션에 따라, 부호가, 1의 인코딩 비트 값에 대응하는 네거티브이고, 서브리스트(SE₁)의 계수들의 합이 짝수인 경우, 또한, 단계(C10)에서, 서브리스트(SE₁)의 적어도 하나의 수정가능 계수가 수정된다.

이러한 수정 동작은 도 2의 프로세싱 모듈(MTR_CO)에 의해 실행된다.

SE₁=(+9, -7, 0, 0, +1, 0, -1, +2, 0, 0, +1)인 예시 실시예에서, 계수들의 총합(f)이 5와 동등하고, 그러므로 홀수이다. 디코더가 제 1 비-제로 계수 ε2 = +9에 할당된 포지티브 부호를 ― 인코더(CO)가 이러한 계수를 디코더에 전송해야만 하지 않으면서 ― 재구성할 수 있도록 하기 위해, 합의 패리티는 짝수가 되어야 한다. 결과적으로, 프로세싱 모듈(MTR_CO)은, 상기 단계(S10) 동안, 모두가 계수들의 합의 패리티를 변경하는 것을 목표로 하는, 서브리스트(SE₁)의 계수들의 다양한 수정들을 테스트한다. 바람직한 실시예에서, +1 또는 -1이 각각의 수정가능 계수에 부가되고, 수정은 실행되는 것을 중에서 선택된다.

바람직한 실시예에서, 이러한 선택은, 예를 들어, 당업자에게 잘 알려진 레이트 왜곡 기준인 성능 기준에 따라 최적의 예측을 형성한다. 이러한 기준은 아래의 식(1)에 의해 표현되며:

여기서, D는 원래의 매크로블록과 재구성된 매크로블록 사이의 왜곡을 나타내고, R은 인코딩 정보 아이템들의 비트들의 인코딩 비용을 나타내고, λ는 라그랑주 승수(Lagrange multiplier)를 나타내고, 그의 값은 인코딩 전에 고정될 수 있다.

제안된 예에서, 상술된 레이트 왜곡 기준에 따른 최적의 예측을 초래하는 수정은, 서브리스트(SE₁)의 제 2 계수 -7에 값 1의 부가이다.

단계(C10)의 종료시, 그러므로, 수정된 서브리스트(SEm₁=(+9, -6, 0, 0, +1, 0, -1, +2, 0, 0, +1))가 획득된다.

이러한 단계 동안, 특정 수정들이 금지되는 것을 유의하는 것이 적합하다. 따라서, 제 1 비-제로 계수 ε2가 값 +1을 가질 경우, -1을 그것에 부가하는 것이 가능하지 않을 것인데, 그 이유는 상기 계수 ε2는 0이 될 것이고, 그 다음으로, 상기 계수 ε2는 리스트(E₁)의 제 1 비-제로 계수의 자신의 특징을 상실할 것이기 때문이다. 그래서, 디코더는 나중에 (계수들의 합의 패리티의 계산에 의한) 디코딩된 부호를 다른 계수로 인한 것으로 보게 될 수 있어, 디코딩 에러가 존재할 수도 있을 것이다.

도 1에 표현된 단계(C11) 동안, 프로세싱 모듈(MTR_CO)은 리스트(E₁)의 대응하는 수정을 실행한다. 그 다음으로, 다음번의 수정된 리스트(Em₁=(0, +9, -6, 0, 0, +1, 0, -1, +2, 0, 0, +1, 0, 0, 0, 0))가 획득된다.

그 다음으로, 상술된 리스트(Em₁)의 계수들의 엔트로피 인코딩을 위해 단계(C20)가, 제안된 예에서 계수 9의 + 부호인 계수 ε2의 부호를 제외하고 ― 상기 부호는 계수들의 합의 패리티에 은닉됨 ―, 실행된다.

상기 설명된 바와 같이, 인코딩되지 않는 제 1 비-제로 계수 ε2의 부호를 제외하고, 리스트(E₁)의 또는 수정된 리스트(Em₁)의 계수들의 진폭들의 세트가 부호들의 세트 전에 인코딩되는 것을 유의하는 것이 적합하다.

도 1에 표현된 다음 단계(C30) 동안, 도 2의 인코딩 모듈(MC_CO)은 현재 인코딩된 블록이 이미지(IE)의 마지막 블록인지를 테스트한다.

현재 블록이 이미지(IE)의 마지막 블록인 경우, 도 1에 표현된 단계(C40) 동안, 인코딩 방법이 종료된다.

상기 현재 블록이 이미지(IE)의 마지막 블록이 아닌 경우, 다음 블록(B_i)이 선택되고, 그 다음으로 상기 다음 블록(B_i)은 1≤i≤Z에 대해, 단계들(C1 내지 C20)을 반복함으로써, 이전에 언급된 래스터 스캔의 순서에 따라 인코딩된다.

일단 모든 블록들(B₁ 내지 B_Z)의 엔트로피 인코딩이 실행되면, 이진 형태로 상기 인코딩된 블록들을 나타내는 신호(F)가 구성된다.

이진 신호(F)의 구성은 도 2에 표현된 바와 같은 스트림 구성 소프트웨어 모듈(CF)에서 실시된다.

그 다음으로, 스트림(F)은 통신 네트워크(표시되지 않음)를 통해 원격 단말에 전송된다. 상기 원격 단말은 본원에서 나중에 상세하게 추가로 기술될 디코더를 포함한다.

도 1을 주로 참조하여 본 발명의 다른 실시예가 이제 기술될 것이다.

이러한 다른 실시예는, 0 또는 N 중 하나인 ― 여기서, N은 N≥2인 정수임 ― 은닉될 계수들의 수에 의해서만, 이전의 실시예와 구분된다.

이를 위해, 이전에 언급된 비교 서브단계(C72)는 도 1에서 점선으로 표현된 서브단계(C72a)로 대체되고, 상기 서브단계(C72a) 동안, 수정가능 계수들의 수가 TSIG_N과 TSIG_N+1 사이인 경우 N개의 부호들이 은닉되도록 의도되는 방식으로, 수정가능 계수들의 수가 여러 미리결정된 임계치들(0<TSIG_1<TSIG_2<TSIG_3...)과 비교된다.

수정가능 계수들의 수가 제 1 임계치(TSIG_1) 미만인 경우, 상술된 단계(C20) 동안, 리스트(E₁)의 계수들의 통상의 엔트로피 인코딩이 실행된다. 이를 위해, 리스트(E₁)의 각각의 비-제로 계수의 부호가 엔트로피적으로 인코딩된다.

수정가능 계수들의 수가 임계치 TSIG_N과 TSIG_N+1 사이인 경우, 도 1에 표현된 단계(C8) 동안, 프로세싱 모듈(MTR_CO)은 서브리스트(E₁)의 계수들을 나타내는 함수(f)의 값을 계산한다.

이러한 다른 실시예에서, 인코더에서의 결정은 N개의 부호들을 은닉하는 것이기 때문에, 함수(f)는 서브리스트(SE₁)의 계수들의 합의 모듈로 2^N 나머지(modulo 2^N remainder)이다. 제안된 예에서, N = 2이고, 은닉될 2개의 부호들은 각각, 2개의 제 1 비-제로 계수들, 즉 ε2 및 ε3의 2개의 제 1 부호들이라는 것이 가정된다.

도 1에 표현된 다음 단계(C9) 동안, 프로세싱 모듈(MTR_CO)은 N개의 부호들의 구성, 즉 2^N개의 가능한 구성들이 서브리스트(SE₁)의 계수들의 합의 모듈로 2^N 나머지의 값에 대응하는지를 검증한다.

N = 2인 제안된 예에서, 부호들의 2² = 4개의 상이한 구성들이 존재한다.

이들 4개의 구성들은 인코더(CO)에서 컨벤션에 순응하고, 상기 컨벤션은 예를 들어, 다음과 같이 결정된다:

- 0과 동등한 나머지(remainder)는 2개의 연속적인 포지티브 부호들: +, +에 대응하고;

- 1과 동등한 나머지는 연속적으로, 포지티브 부호 및 네거티브 부호: +, -에 대응하고;

- 2와 동등한 나머지는 연속적으로, 네거티브 부호 및 포지티브 부호: -, +에 대응하고;

- 3과 동등한 나머지는 2개의 연속적인 네거티브 부호들: -, -에 대응한다.

N개의 부호들의 구성이 서브리스트(SE₁)의 계수들의 합의 모듈로 2^N 나머지의 값에 대응하는 경우, 상술된 리스트(E₁)의 계수들의 엔트로피 인코딩을 위해 단계(C20)가, 계수 ε2의 그리고 계수 ε3의 부호를 제외하고 ― 상기 부호들은 계수들의 모듈로 2^N 합(modulo 2^N sum)의 패리티에 은닉됨 ―, 실행된다.

그러한 경우가 아니라면, 서브리스트(SE₁)의 적어도 하나의 수정가능 계수를 수정하기 위해 단계(C10)가 실행된다. 이러한 수정은, 서브리스트(SE₁)의 수정가능 계수들의 합의 모듈로 2^N 나머지가, 은닉될 2개의 부호들의 각각의 값에 이르는 방식으로, 도 2의 프로세싱 모듈(MTR_CO)에 의해 실행된다.

이전에 언급된 단계(C11) 동안, 프로세싱 모듈(MTR_CO)은 리스트(E₁)의 대응하는 수정을 실행한다. 그러므로, 수정된 리스트(Em₁)가 획득된다.

그 다음으로, 상술된 리스트(Em₁)의 계수들의 엔트로피 인코딩을 위해 단계(C20)가, 계수 ε2의 부호 및 계수 ε3의 부호를 제외하고 ― 상기 부호들은 계수들의 모듈로 2^N 합의 패리티에 은닉됨 ―, 실행된다.

디코딩 부분의 상세한 설명

본 발명에 따른 디코딩 방법의 실시예가 이제 기술될 것이며, 상기 실시예에서, 디코딩 방법은, 처음에는 H.264/MPEG-4 AVC 표준에 순응하는 디코더의 수정들에 의해 소프트웨어 또는 하드웨어 형태로 실시된다.

본 발명에 따른 디코딩 방법은 도 3에 표현된 단계들(D1 내지 D12)을 포함하는 알고리즘의 형태로 표현된다.

본 발명의 실시예에 따르면, 본 발명에 따른 디코딩 방법은 도 4에 표현된 바와 같은 디코딩 디바이스 또는 디코더(DO)에서 실시된다.

도 3에 표현되지 않은 예비 단계 동안, 수신된 데이터 신호(F)에서, 인코더(CO)에 의해 이전에 인코딩되었던 파티션들(B₁ 내지 B_Z)이 식별된다. 바람직한 실시예에서, 상기 파티션들은, 정사각형 형상을 갖고 모두 동일한 크기인 블록들이다. 이미지의 크기에 따라 ― 상기 이미지의 크기는 반드시 블록들의 크기의 배수는 아님 ―, 왼쪽에 있는 마지막 블록들, 바닥부의 마지막 블록들은 정사각형-형상이 아닐 수 있다. 대안적인 실시예에서, 블록들은 예를 들어, 직사각형 크기일 수 있거나 및/또는 서로 정렬되지 않을 수 있다.

더욱이, 각각의 블록 또는 매크로블록 그 자체는 서브블록들로 분할될 수 있으며, 상기 서브블록들 그 자체는 세분가능하다.

이러한 식별은 도 4에 표현된 바와 같은 스트림 분석 소프트웨어 모듈(EX_DO)에 의해 실행된다.

도 3에 표현된 단계(D1) 동안, 도 4의 모듈(EX_DO)은 디코딩될 제 1 블록(B₁)을 현재 블록(B_i)으로서 선택한다. 이러한 선택은 예를 들어, 제 1 블록(B₁)의 데이터 아이템들의 시작에 신호(F)의 판독 포인터를 두는 것에 있다.

그 다음으로, 선택된, 인코딩된 블록들 각각의 디코딩이 실행된다.

도 3에 표현된 예에서, 이러한 디코딩은 인코딩된 블록들(B₁ 내지 B_Z) 각각에 연속적으로 적용된다. 블록들은 예를 들어, 래스터 스캔에 따라 디코딩되고, 상기 래스터 스캔은 당업자에게 잘 알려져 있다.

본 발명에 따른 디코딩은 도 4에 표현된 바와 같은 디코더(DO)의 디코딩 소프트웨어 모듈(MD_DO)에서 실시된다.

도 3에 표현된 단계(D2) 동안, 첫 번째로, 선택되었던 제 1 현재 블록(B₁)의 엔트로피 디코딩이 실행된다. 이러한 동작은 예를 들어, CABAC 타입의, 도 4에 표현된 엔트로피 디코딩 모듈(DE_DO)에 의해 실행된다. 이러한 단계 동안, 모듈(DE_DO)은, 리스트(E₁)의 또는 수정된 리스트(Em₁)의 인코딩된 계수들 각각의 진폭에 대응하는 디지털 정보 아이템들의 엔트로피 디코딩을 실행한다. 이러한 단계에서, 리스트(E₁)의 또는 수정된 리스트(Em₁)의 계수들의 부호들만은 디코딩되지 않는다.

도 3에 표현된 단계(D3) 동안, 이전의 엔트로피 인코딩 단계(C20) 동안 은닉되었을 수 있는 부호들의 수가 결정된다. 이러한 단계(D3)는 도 4에 표현된 바와 같은 프로세싱 소프트웨어 모듈(MTR_DO)에 의해 실행된다. 단계(D3)는 은닉될 부호들의 수를 결정하기 위한 이전에 언급된 단계(C7)와 유사하다.

바람직한 실시예에서, 은닉된 부호들의 수는 1 또는 0이다. 부가적으로, 상기 바람직한 실시예에 따르면, 은닉되는 것은 제 1 비-제로 계수의 부호이다. 표현된 예에서, 그러므로 이는 계수 ε2 = +9의 포지티브 부호이다.

대안적인 실시예에서, 은닉된 부호들의 수는 0, 1, 2, 3, 또는 그 초과 중 하나이다.

단계(D3)의 바람직한 실시예에 따르면, 도 3에 표현된 제 1 서브단계(D31) 동안, 인코딩에서 수정되었을 수 있는 계수들(ε'1, ε'2,..., ε'M, 여기서 M<L임)을 포함하는 서브리스트가 상기 리스트(E₁) 또는 수정된 리스트(Em₁)로부터 결정된다.

이러한 결정은 이전에 언급된 인코딩 단계(C7)에서와 동일한 방식으로 수행된다.

이전에 언급된 프로세싱 모듈(MTR_CO) 같이, 프로세싱 모듈(MTR_DO)은 처음에:

- 제 1 비-제로 계수 전에 위치된 제로 계수 또는 계수들을 수정하지 않도록,

표현된 예에서, 서브단계(D31)의 종료시, SEm₁= (9, -6, 0, 0, 1, 0, -1, 2, 0, 0, 1)이도록 서브리스트(SEm₁)가 존재한다. 결과적으로, 수정되었을 수 있는 11개의 계수들이 획득된다.

도 3에 표현된 다음 서브단계(D32) 동안, 프로세싱 모듈(MTR_DO)은, 수정되었을 수 있는 계수들의 수와, 미리 결정된 임계치(TSIG)의 비교를 계속한다. 바람직한 실시예에서, TSIG는 값 4를 갖는다.

수정되었을 수 있는 계수들의 수가 임계치(TSIG) 미만인 경우, 도 3에 표현된 단계(D4) 동안, 리스트(E₁)의 계수들의 모든 부호들의 통상의 엔트로피 디코딩이 실행된다. 이러한 디코딩은, 도 4에서 참조부호 DE_DO로 표시된 CABAC 디코더에 의해 실행된다. 이를 위해, 리스트(E₁)의 각각의 비-제로 계수의 부호가 엔트로피적으로 디코딩된다.

수정되었을 수 있는 계수들의 수가 임계치(TSIG)보다 더 큰 경우, 상기 단계(D4) 동안, 리스트(Em₁)의 계수들의 모든 부호들의 통상의 엔트로피 디코딩이, 제 1 비-제로 계수 ε2의 부호를 제외하고 실행된다.

도 3에 표현된 단계(D5) 동안, 프로세싱 모듈(MTR_DO)은, 계산된 값이 짝수인지 또는 홀수인지를 결정하기 위해, 서브리스트(SEm₁)의 계수들을 나타내는 함수(f)의 값을 계산한다.

단지 하나의 부호만이 신호(F)에 은닉되는 바람직한 실시예에서, 함수(f)는 서브리스트(SEm₁)의 계수들의 합의 패리티이다.

인코더(CO)에서 이용된 컨벤션 ― 상기 컨벤션은 디코더(DO)에서 동일함 ― 에 따라, 서브리스트(SEm₁)의 계수들의 합의 짝수값은, 수정된 리스트(Em₁)제 1 비-제로 계수의 부호가 포지티브라는 것을 의미하는 반면, 서브리스트(SEm₁)의 계수들의 합의 홀수값은, 수정된 리스트(Em₁)의 제 1 비-제로 계수의 부호가 네거티브라는 것을 의미한다.

SEm₁=(+9, -6, 0, 0, +1, 0, -1, +2, 0, 0, +1)인 예시 실시예에서, 계수들의 총합이 6과 동등하며, 그러므로 짝수이다. 결과적으로, 단계(D5)의 종료시, 프로세싱 모듈(MTR_DO)은 그로부터, 제 1 비-제로 계수 ε2의 은닉된 부호가 포지티브라는 것을 추론한다.

도 3에 표현된 단계(D6) 동안, 그리고 단계들(D2, D4, 및 D5) 동안 재구성된 디지털 정보 아이템들 모두의 도움으로, 블록(Bq₁)의 양자화된 계수들이 미리규정된 순서로 재구성된다. 표현된 예에서, 이는, 이전에 언급된 인코딩 단계(C6) 동안 실행되었던 지그재그 스캔에 관한 역 지그재그 스캔이다. 이러한 단계는 도 4에 표현된 바와 같은 판독 소프트웨어 모듈(ML_DO)에 의해 실행된다. 더욱 구체적으로, 모듈(ML_DO)은, 상기 역 지그재그 스캔 순서를 이용하여, 리스트(E₁)(1차원)의 계수들을 블록(Bq₁)(2차원)에 포함시키는 것을 계속한다.

도 3에 표현된 단계(D7) 동안, 양자화된 잔여 블록(Bq₁)은, 디코딩되고 역양자화된 블록(BDq₁)을 생성하기 위해, 이전에 언급된 인코딩 단계(C5)에서 수행된 양자화의 역 동작인 통상의 역양자화 동작에 따라 역양자화된다. 이러한 단계는 도 4에 표현된 바와 같은 역양자화 소프트웨어 모듈(MDQ_DO)에 의해 실행된다.

도 3에 표현된 단계(D8) 동안, 역양자화된 블록(BDq₁)의 역변환이 실행되고, 상기 역변환은 이전에 언급된 단계(C4)에서의 인코딩에서 수행된 직접 변환의 역 동작이다. 그러므로, 디코딩된 잔여 블록(BDr₁)이 획득된다. 이러한 동작은 도 4에 표현된 바와 같은 역-변환 소프트웨어 모듈(MTI_DO)에 의해 실행된다.

도 3에 표현된 단계(D9) 동안, 현재 블록(B₁)의 예측 디코딩이 실행된다. 이러한 예측 디코딩은 알려진 인트라 및/또는 인터 예측 기법들에 의해 통상적으로 실행되고, 상기 예측 디코딩 동안, 적어도 하나의 이전에 디코딩될 블록에 관해 블록(B₁)이 예측된다. 이러한 동작은 도 4에 표현된 바와 같은 예측 디코딩 모듈(PRED_DO)에 의해 실행된다.

이러한 단계 동안, 예측 디코딩은, 이전의 단계에서 디코딩되고, 특히 예측의 타입(인터 또는 인트라), 및 필요한 경우, 인트라 예측 모드, 블록 또는 매크로블록 ― 상기 매크로블록이 세분된 경우 ― 의 파티셔닝의 타입, 인터 예측 모드에서 이용되는 기준 이미지 인덱스 및 모션 벡터를 포함하는 신택스 엘리먼트들을 이용하여 실행된다.

상기 상술된 예측 디코딩 단계는 예측된 블록(Bp₁)을 구성하는 것을 허용한다.

도 3에 표현된 단계(D10) 동안, 디코딩된 블록(BD₁)은, 디코딩된 잔여 블록(BDr₁)을 예측된 블록(Bp₁)에 부가함으로써 구성된다. 이러한 동작은 도 4에 표현된 재구성 소프트웨어 모듈(MR_DO)에 의해 실행된다.

도 3에 표현된 단계(D11) 동안, 디코딩 모듈(MD_DO)은, 현재의 디코딩된 블록이 신호(F)에서 식별된 마지막 블록인지를 테스트한다.

현재 블록이 신호(F)의 마지막 블록인 경우, 도 3에 표현된 단계(D12) 동안, 디코딩 방법이 종료된다.

상기 현재 블록이 신호(F)의 마지막 블록이 아닌 경우, 다음 블록(B_i)이 선택되고, 1≤i≤Z에 대해 단계들(D1 내지 D10)을 반복함으로써, 이전에 언급된 래스터 스캔의 순서에 따라 디코딩될 것이다.

주로 도 3을 참조하여 본 발명의 다른 실시예가 이제 기술될 것이다.

이러한 다른 실시예는, 0 또는 N 중 하나인 ― 여기서, N은 N≥2인 정수임 ― 은닉된 계수들의 수에 의해서만, 이전의 실시예와 구분된다.

이를 위해, 이전에 언급된 비교 서브단계(D32)는 도 3에서 점선으로 표현된 서브단계(D32a)로 대체되고, 상기 서브단계(D32a) 동안, 수정되었을 수 있는 계수들의 수가 TSIG_N과 TSIG_N+1 사이인 경우 N개의 부호들이 은닉되는 방식으로, 상기 수정되었을 수 있는 계수들의 수가, 여러 미리결정된 임계치들(0<TSIG_1<TSIG_2<TSIG_3...)과 비교된다.

상기 계수들의 수가 제 1 임계치(TSIG_1) 미만인 경우, 이전에 언급된 단계(D4) 동안, 리스트(E₁)의 계수들의 모든 부호들의 통상의 엔트로피 인코딩이 실행된다. 이를 위해, 리스트(E₁)의 각각의 비-제로 계수의 부호가 엔트로피적으로 디코딩된다.

상기 계수들의 수가 임계치 TSIG_N과 TSIG_N+1 사이인 경우, 이전에 언급된 단계(D4) 동안, 리스트(E₁)의 계수들의 모든 부호들의 통상의 엔트로피 디코딩이, 상기 수정된 리스트(Em₁)의 제 1 비-제로 계수들의 N개의 각각의 부호들을 제외하고 ― 상기 N개의 부호들은 은닉됨 ― 실행된다.

이러한 다른 실시예에서, 프로세싱 모듈(MTR_DO)은, 단계(D5) 동안, 서브리스트(SEm₁)의 계수들의 합의 모듈로 2^N 나머지인 함수(f)의 값을 계산한다. 제안된 예에서, N=2인 것으로 가정된다.

그러므로, 프로세싱 모듈(MTR_DO)은 그로부터, 인코딩에서 이용된 컨벤션에 따라, 2개의 제 1 비-제로 계수들 ε2 및 ε3의 각각에 각각 할당된 2개의 은닉된 부호들의 구성을 추론한다.

일단 이들 2개의 부호들이 재구성되었다면, 상술된 단계들(D6 내지 D12)이 실행된다.

상술된 실시예들은 단지 표시를 위해 주어졌고, 전혀 제한적이지 않으며, 다수의 수정들이, 이에 의해 본 발명의 범주로부터 벗어남이 없이, 당업자에 의해 용이하게 초래될 수 있다는 것은 말할 필요가 없다.

따라서, 예를 들어, 도 1에 표현된 것에 관해 단순화된 실시예에 따르면, 인코더(CO)는, 0, 1, 또는 N개의 미리결정된 부호들 중 하나 대신에, 적어도 N'개의 미리결정된 부호들 ― 여기서, N'≥1임 ― 을 은닉하도록 구성될 수 있다. 그러한 경우, 비교 단계(C72 또는 C72a)는 제거될 것이다. 대응하는 방식에서, 도 3에 표현된 것에 관해 단순화된 실시예에 따르면, 디코더(DO)는 0, 1, 또는 N개의 미리결정된 부호들 중 하나 대신에 N'개의 미리결정된 부호들을 재구성하도록 구성될 것이다. 그러한 경우, 비교 단계(D32 또는 D32a)는 제거될 것이다.

부가적으로, 인코딩 단계(C72) 및 디코딩 단계(D32)에서 적용된 결정 기준은, 다른 타입의 기준으로 대체될 수 있다. 이를 위해, 수정가능 계수들의 수 또는 수정되었을 수 있는 계수들의 수를 임계치와 비교하는 대신에, 프로세싱 모듈(MTR_CO 또는 MTR_DO)은, 각각, 수정가능한 또는 수정되었을 수 있는 계수들의 진폭들의 합, 또는 각각 수정가능한 또는 수정되었을 수 있는 계수들 중에 존재하는 0들의 수의 함수인 결정 기준을 적용할 수 있다.

Claims

이미지의 부호-데이터-은닉 인에이블된 분할(sign-data-hiding enabled partition)을 인코딩하기 위한 인코더에 있어서,
하나 이상의 프로세서; 및
상기 하나 이상의 프로세서에 의해 실행될 때 상기 하나 이상의 프로세서로 하여금 동작들을 수행하게 하는 명령어들이 저장되어 있고, 상기 하나 이상의 프로세서에 연결된 컴퓨터 판독가능 매체를 포함하고,
상기 동작들은,
원래의(original) 블록과 예측 블록에 기초하여 이미지의 잔여(residual) 블록의 계수들의 세트를 도출하는 것;
변환된 계수들의 세트를 생성하도록 상기 잔여 블록의 계수들의 세트를 변환하는 것;
상기 변환된 계수들의 세트 내의 수정가능한 계수들의 개수(count)를 결정하는 것 - 상기 수정가능한 계수들은 상기 변환된 계수들의 세트 내의 최초 비-제로(non-zero) 계수와 마지막 비-제로 계수를 포함하는, 상기 최초 비-제로 계수와 상기 마지막 비-제로 계수 사이의 계수들임 - ;
상기 수정가능한 계수들의 개수에 기초하여 상기 수정가능한 계수들 내에서 부호 정보를 은닉할 특정 비-제로 계수들의 수(number)를 결정하는 것;
상기 수정가능한 계수들의 합을 계산하는 것;
상기 수정가능한 계수들의 합과 2^N 간의 나누기(division)에 기초하여 나머지(remainder)를 계산하는 것 - 상기 N은 상기 특정 비-제로 계수들의 수임 - ;
상기 나머지가 상기 특정 비-제로 계수들의 부호들에 대응하는지 여부를 결정하는 것;
상기 나머지가 상기 특정 비-제로 계수들의 부호들에 대응하지 않는다고 결정한 것을 조건으로, 상기 수정가능한 계수들 내의 적어도 하나의 비-제로 계수를 수정하는 것; 및
상기 특정 비-제로 계수들의 부호 정보를 제외한 상기 변환된 계수들의 세트를 엔트로피 인코딩하는 것
을 포함하는 것인, 인코더.
이미지의 부호-데이터-은닉 인에이블된 블록을 나타내는 데이터를 저장하는 비일시적(non-transitory)이고 전송 가능하지 않은(non-transmittable) 컴퓨터 판독가능 매체에 있어서,
상기 컴퓨터 판독가능 매체에 기록된 비트 스트림
을 포함하고,
상기 비트 스트림은, 부호-데이터-은닉 인에이블된 블록에 대한 잔여(residual) 블록을 나타내는 계수들의 세트를 생성하도록 디코더에 의해 디코딩될 콘텍스트 기반의 적응 이진 산술 코딩(context-based adaptive binary arithmetic coding; CABAC) 인코딩된 계수들의 세트를 포함하고, 상기 계수들의 세트는 부호 정보가 은닉된 특정 비-제로 계수들을 포함하고,
상기 계수들의 세트 내의 수정가능한 계수들의 합과 2^N 간의 나누기에 기초한 나머지가 상기 특정 비-제로 계수들에 대한 부호들을 지정하기 위해 사용되고, 상기 수정가능한 계수들은 상기 계수들의 세트 내의 최초 비-제로 계수와 마지막 비-제로 계수를 포함하는 상기 최초 비-제로 계수와 상기 마지막 비-제로 계수 사이의 계수들이며, 상기 N은 상기 특정 비-제로 계수들의 수(number)이고,
상기 특정 비-제로 계수들의 수는 상기 수정가능한 계수들의 수에 기초하여 결정되는 것인, 컴퓨터 판독가능 매체.