KR20100024484A

KR20100024484A - 감소된 계수 개수를 가진 다중 변환 블록들의 공동 코딩

Info

Publication number: KR20100024484A
Application number: KR1020107000620A
Authority: KR
Inventors: 츠쑨 장; 케말 우구르; 야니 라이네마; 안티 올리 할라푸로
Original assignee: 노키아 코포레이션
Priority date: 2007-06-12
Filing date: 2008-06-10
Publication date: 2010-03-05
Also published as: WO2008152573A2; RU2010100485A; WO2008152573A3; CN102318342A; US20090016626A1; AU2008263458A1; EP2177033A2

Abstract

복수의 블록들과 연관된 변환 계수들이 재편성되고 함께 코딩되는, 비디오/이미지 인코딩 및 디코딩 시스템 및 방법이 제시된다. 다양한 실시예들에서는 변환 및 양자화를 수행하고 변환 계수들을 생성하는데, 여기서 변환 블록들의 계수들이 재편성되며 인터리빙된다. 또한, 인코딩 프로세스는, 그 변환 블록들에 속한 변환 계수들의 부분집합만을 코딩하여 변환 블록들의 원래 수보다 더 적은 하나 이상의 변환 블록들을 도출토록 그 부분집합만을 코딩하며, 이를 비트스트림에 두는 것을 수반한다. 디코딩 프로세스는 그 비트스트림으로부터 변환 계수들의 부분집합을 포함한 하나 이상의 결과적 변환 블록들을 디코딩하는 것을 수반하며, 여기서 그 변환 계수들은 어레이에 두어지고 디코딩되어진다. 디코더는 디코딩된 변환 계수들을 디-인터리빙하며 그 하나 이상의 변환 블록들의 임의의 잔존 계수들은 복수 개의 상이한 방법들에 따라 채워진다. 그 하나 이상의 변환 블록들이 완전히 디코딩된 이후에, 역 변환 및 역 양자화가 수행되며 잔차 데이터가 생성된다.

Description

감소된 계수 개수를 가진 다중 변환 블록들의 공동 코딩{Joint coding of multiple transform blocks with reduced number of coefficients}

본 발명은 디지털 비디오 및 이미지 자료(material)의 코딩 및 디코딩에 관한 것이다. 더 자세하게는, 본 발명은 비디오 및 이미지 코딩에서 변환 계수(transform coefficient)들의 효율적인 코딩 및 디코딩에 관한 것이다.

이 섹션은 특허청구범위의 청구항들에 기재된 본 발명에 대한 배경기술 또는 콘텍스트(context)를 제공하고자 한다. 여기에서의 설명은 추구될 수 있는 개념들을 포함할 수도 있지만, 반드시 이전에 생각되었거나 추구되었던 것들이지는 않다. 그러므로, 여기서 달리 나타나 있지 않은 한, 이 섹션에서 기술된 것은 이 섹션에 포함됨으로 인하여 본 출원의 발명의 상세한 설명 및 특허청구범위의 청구항들에 대한 선행기술이거나 선행기술인 것으로 인정되는 것은 아니다.

비디오 코덱(video codec)은, 입력된 비디오를 저장 및/또는 전송에 적합화된 압축 표현(compressed representation)으로 변환하는 인코더 및 압축 비디오 표현을 반대로 볼 수 있는 형태(viewable form)로 비압축(uncompress)할 수 있는 디코더를 포함한다. 전형적으로, 그 인코더는 비디오를 더 컴팩트한 폼으로 즉 더 낮은 비트율로 표현하기 위해 원(original) 비디오 시퀀스에서 몇몇 정보를 폐기한다.

기존의 하이브리드 비디오 코덱(hybrid video codec)들 - 예컨대 ITU-T H.263 및 H.264 - 은 비디오 정보를 2개의 상(phase)들로 인코딩한다. 제1 상에서, 일정한 픽셀 영역 또는 "블록"(block) 내의 픽셀 값들이 예측된다. 이들 픽셀 값들은, 예컨대 코딩되어지는 블록에 근접하게 대응되는 이전에 코딩된 비디오 프레임들 중 하나 내에서 영역을 발견하고 나타내는 것을 수반하는 움직임 보상 메커니즘(motion compensation mechanism)들에 의해, 예측될 수 있다. 또한, 픽셀 값들은, 그 블록 주위의 픽셀 값들을 사용하여 그 블록 내부의 픽셀 값들을 추정하는 것을 수반하는 공간적 메커니즘(spatial mechanism)들을 통해, 예측될 수 있다. 제2 상은, 예측 오차, 즉 예측된 픽셀 블록(block of pixels) 및 원 픽셀 블록 간의 차이를 코딩하는 것을 수반한다. 이는 전형적으로, 명세화된 변환(예: 디스크리이트 코사인 변환(Discreet Cosine Transform; DCT) 또는 그것의 다른 형태)을 사용하여 픽셀 값들에서의 차이를 변환하고, 그 변환 계수들을 양자화하며, 그리고 그 양자화된 계수들을 엔트로피 코딩(entropy coding)함으로써 이루어진다. 그 양자화 프로세스의 충실도(fidelity)를 변화시킴으로써, 인코더는 픽셀 표현의 정확도(accuracy)(즉, 화상 품질(picture quality)) 및 결과적인 코딩된 비디오 표현의 크기(즉, 파일 크기 또는 전송 비트율) 간의 균형을 제어할 수 있다. 비디오 및/또는 이미지 압축에 있어서, 계수 변환에 대해 예측을 적용함이 없이 실제 이미지 및/또는 비디오 프레임의 블록들을 변환하는 것이 가능하다는 것이 유념되어야 할 것이다.

도 1은, 예로서, 기존 비디오 인코더의 블록 다이어그램이다. 더 자세하게는, 도 1은 인코딩될 이미지(100)가 어떻게 픽셀 예측(102), 예측 오차 코딩(103) 및 예측 오차 디코딩(104)을 거치는지를 도시하고 있다. 픽셀 예측(102)에 있어, 이미지(100)는 인터-예측(inter-prediction, 106) 및 인트라-예측(intra-prediction, 108) 양자 모두를 거치고, 이는, 모드 선택(110) 후에, 이미지 블록의 예측 표현(112)으로 도출되어진다. 예비적인 재구성 이미지(114)도 또한 인트라-예측(108)을 위해 사용된다. 일단 모든 이미지 블록들이 처리되면, 예비적 재구성 이미지(114)는 116에서 필터링을 거쳐 최종적인 재구성 이미지(140)를 생성하고, 이는 참조 프레임 메모리(reference frame memory, 118)로 송신되어지고 또한 나중 프레임들의 인터-예측(106)을 위해 사용된다.

이미지 블록의 예측 표현(112) 뿐만 아니라 인코딩될 이미지(100)는 함께 사용되어, 예측 오차 코딩(103)에 사용되는 예측 오차 신호(120)를 정의할 수 있다. 예측 오차 코딩(103)에서, 예측 오차 신호(120)는 변환(122) 및 양자화(124)를 거친다. 예측 오차를 기술하는 데이터 및 이미지 블록의 예측된 표현(112)(예: 움직임 벡터들, 모드 정보, 및 양자화된 변환 계수들)은 엔트로피 코딩(126)으로 전해진다. 예측 오차 디코딩(104)은 실질적으로 예측 오차 코딩(103)과 정반대되는 것으로, 그 예측 오차 디코딩은 역 양자화(128) 및 역 변환(130)을 포함한다. 예측 오차 디코딩(104)의 결과는 재구성된 예측 오차 신호(132)이고, 이는 이미지 블록(112)의 예측 표현과 함께 사용되어 예비적 재구성 이미지(114)를 생성할 수 있다.

그 디코더는, (인코더에 의해 생성되고 압축 표현으로 저장된 움직임 또는 공간 정보를 사용하여) 픽셀 블록들의 예측 표현을 형성하기 위해 인코더에 의해 사용된 것들과 유사한 예측 메커니즘들을 적용함으로써 출력 비디오를 재구성한다. 또한, 디코더는, 예측 오차 디코딩(양자화된 예측 오차 신호를 공간 픽셀 도메인에서 복원(recovering)하는, 예측 오차 코딩의 역 작업)을 활용한다. 예측 및 예측 오차 디코딩 프로세스들을 적용한 후에, 디코더는 예측 및 예측 오차 신호들(즉, 픽셀 값들)을 합하여 출력 비디오 프레임을 형성한다. 디코더 (및 인코더)는 또한, 비디오 시퀀스에서 추후 프레임들을 위한 예측 참조(prediction reference)로서 출력 비디오를 저장하고 그리고/또는 디스플레이하려고 그것을 전달하기 전에 그 출력 비디오의 품질을 향상시키기 위해 부가적인 필터링 프로세스들을 적용할 수 있다.

도 2는, 예로서, 기존 비디오 디코더의 블록 다이어그램이다. 도 2에서 보여지는 바와 같이, 엔트로피 디코딩(200) 다음에 예측 오차 디코딩(202) 및 픽셀 예측(204)이라는 두 가지가 뒤따른다. 예측 오차 디코딩(202)에서, 역 양자화(206) 및 역 변환(208)이 사용되고, 궁극적으로 재구성된 예측 오차 신호(210)을 도출하게 된다. 픽셀 예측(204)에 있어서, 인트라-예측 또는 인터-예측 중 어느 하나가 212에서 행해져서 이미지 블록의 예측 표현(214)을 생성한다. 이미지 블록의 예측 표현(214)은 재구성된 예측 오차 신호(210)와 함께 사용되어 예비적 재구성 이미지(216)를 생성하고, 이는 차례로 212에서 인터-예측 도는 인트라-예측을 위해 사용될 수 있다. 일단 이미지 블록들 모두가 프로세싱되면, 예비적 재구성 이미지(216)가 필터링(218) 쪽으로 전달된다. 필터링된 이미지는 최종 재구성 이미지(220)로서 출력될 수 있거나, 그렇지 않으면 필터링된 이미지는 참조 프레임 메모리(222)에 저장될 수 있어서, 그것을 예측(212)에 유용하게 한다.

기존의 비디오 코덱들에서, 움직임 정보는 각 움직임-보상 이미지 블록과 연관된 움직임 벡터들로써 표시된다. 이들 움직임 벡터들 각각은, (인코더 측에서) 코딩될 또는 (디코더 측에서) 디코딩될 화상 내 이미지 블록 및 이전에 코딩된 또는 디코딩된 화상들 중 하나 내 예측 소스 블록의 변위(displacement)를 표현하고 있다. 효율적으로 움직임 벡터들을 표현하기 위해, 움직임 벡터들은 전형적으로 블록별(block-specific) 예측 움직임 벡터들에 관하여 상이하게 코딩된다. 기존의 비디오 코덱에서, 예측 움직임 벡터들은, 기결정된 방식으로, 예컨대 이웃하는 블록들의 인코딩된 또는 디코딩된 움직임 벡터들의 중앙값(median)을 계산함으로써, 생성된다. 기존의 비디오 인코더들은 최적의 코딩 모드들 예컨대 원하는 매크로블록 모드(macroblock mode) 및 연관된 움직임 벡터들 - 여기서 매크로블록은 16×16 픽셀들로 된 블록을 포함함 - 을 발견하기 위해 라그랑주 비용 함수(Lagrangian cost function)들을 활용한다. 이러한 종류의 비용 함수는, 손실 코딩(lossy coding) 방법들에 기인한 정확한 또는 추정되는 이미지 왜곡(distortion) 및 이미지 영역 내 픽셀 값들을 표현하는데 요구되는 정확한 또는 추정되는 정보량을 함께 결합시키기 위해 가중치 팩터(weighting factor) λ를 사용한다:

수학식 1에서, C는 최소화될 라그랑주 함수, D는 모드 및 움직임 벡터들이 고려된 이미지 왜곡(예: 평균 제곱 오차(mean squared error)), 그리고 R은 (후보 움직임 벡터들을 표현하기 위한 데이터량을 포함하여) 디코더에서 이미지 블록을 재구성하기 위해 요구되는 데이터를 표현하는데 필요한 비트들의 개수이다.

기존의 비디오 및 이미지 압축 시스템들은 전형적으로 변환 계수들의 각 블록을 독립적으로 인코딩한다. 그러나, 어떤 시나리오들에서는, 변환 계수들의 각 블록에 관한 독립적 코딩이 효율적이지 않다. 이러한 비효율성은 블록 내 모든 계수들 (특히 고 주파수 계수들)이 코딩 성능에 있어서 중요한 것은 아니기 때문에 발생할 수 있다. 게다가, 다른 정보, 이를테면 비-영(non-zero) 변환 계수들의 개수와 위치가, 각 블록에 대하여 표시된다. 이러한 이유들 때문에, 코딩된 신호를 표현하는데 요구되는 비트율은 불필요하게 증가한다.

요구되는 비트율의 증가를 극복하는 이전의 솔루션들, 이를테면 G.Bjontegaard 및 A.Fuldseth에 의해 제시된 "Larger transform for residual signal coding"이라고 명명된 안(ITU-T Q.6/SG16, doc. VCEG-Y10, Hongkong, China, 2005.1.)이 존재한다. 이 안은 국제 전기통신 연합 전기통신 표준화 부문(International Telecommunication Union Telecommunication Standardization Sector; ITU-T) 표준 기고문이고, 여기서는 16×16 변환이 16×16 블록을 위해 활용된다. 이 안은 더 적은 수의 계수들을 가진 평탄 구역을 코딩하는 것을 다루고 있다. 그러나, 적은 개수의 16×16 변환 계수들은 단지 저 주파수 콘텐트만이 코딩되어야 하는 상황들에서만 코딩될 수 있다.

본 발명의 다양한 실시예들은, 복수의 블록들과 연관된 변환 계수들이 재편성되고(reorganized) 함께 코딩되는, 비디오/이미지 인코딩 및 디코딩 시스템 및 방법을 제공한다. 특히 본 발명의 다양한 실시예들은, 인코딩에서 활용되는 계수들의 수를 감소시키기 위한 것이다.

하나의 실시예에 따르면, 매크로블록은 인코딩을 위해 더 작은 변환 블록들로 나누어질 수 있다. 예측 이미지는 인트라-예측 또는 인터-예측을 활용하여 형성될 수 있고, 인코더는 예측 오차 신호에 대한 변환 및 양자화를 수행하며 변환 계수들을 생성하는데, 여기서 그 변환 블록들의 계수들은 기결정된 인터리빙(interleaving) 기술에 기반하여 어레이(array)로 인터리빙된다. 만약 어떠한 예측도 적용되지 않는다면, 인코더는 실제 이미지 신호에 대한 변환 및 양자화를 수행한다. 또한, 인코더는 단지 더 적은 변환 블록들의 각각에 해당하는 변환 계수들의 부분집합만을 코딩하고, 이것을 비트스트림에 둘 것이다 - 여기서 코딩된 변환 계수들의 수의 감소가 인터리빙 전, 인터리빙 중, 또는 인터리빙 후에 수행될 수 있다. 게다가, 변환 블록들의 부분집합을 포함하는 결과적인 변환 블록(들)은 매크로블록이 나누어졌던 변환 블록들의 원래 개수보다 적을 수 잇다. 비트스트림에서, 인코더는, 변환 계수들의 스캔 순서, 인터리빙 방법, 및 각각의 각자 변환 블록으로부터 사용된 변환 계수들의 개수를 포함하는 다른 정보들에 더하여, 감소된 계수 개수를 가진 다중 변환 블록들의 공동 코딩이 사용되었음을 디코더로 시그널링할 수 있다.

디코딩에 관하여 보면, 디코더는, 감소된 계수 개수를 가진 다중 변환 블록들의 공동 코딩이 관련 매크로블록을 코딩하는 데에서 활용되었음을 나타내는 표시를 수신한다. 그 변환 블록(들)은, 계수들이 어레이에 두어지고 디코딩되는 비트스트림으로부터 디코딩된다. 디코더는, 기결정된 디-인터리빙(de-interleaving) 방법에 따라 각각의 디코딩된 계수를 복수의 변환 블록들 중 하나로 분리함으로써, 디코딩된 계수들을 인터리빙한다. 일단 디코딩된 계수들이 디-인터리빙되었으면, 하나 이상의 변환 블록들의 임의의 잔존 계수들, 즉 인코더 레벨에서 폐기되었거나 코딩되지 않은 계수들이 복수의 여러가지 방법들에 따라 채워진다. 하나 이상의 변환 블록들이 완전히 디코딩된 후에, 역 변환 및 역 양자화가 수행되고 잔차 데이터(residual data)가 생성된다.

인코딩에서 활용되는 계수들의 수를 감소시키기 위한 본 발명의 다양한 실시예들의 기능은 비디오 및 이미지 인코더들의 압축 효율성을 향상시킨다. 동시에, 그 다양한 실시예들에 따르는 디코딩의 복잡성 또한 감소된다.

본 발명의 동작 방식 및 구성과 함께, 본 발명의 이러한 그리고 다른 이점들 및 기술특징들은, 첨부된 도면들과 함께 해석되어질 때 이하의 상세한 설명으로부터 명확해질 것이고, 여기서 유사한 요소들은 아래에서 묘사된 몇몇 도면들에 걸쳐 유사한 숫자부호들을 가진다.

도 1은 기존 비디오 인코더의 블록 다이어그램이고;
도 2는 기존 비디오 인코더의 블록 다이어그램이고;
도 3은 본 발명의 하나의 실시예에 따라 구성된 비디오 인코더의 블록 다이어그램이고;
도 4는 본 발명의 하나의 실시예에 다라 구성된 비디오 디코더의 블록 다이어그램이고;
도 5는 본 발명의 하나의 실시예에 따라 구성된 이미지 인코더의 블록 다이어그램이고;
도 6은 본 발명의 하나의 실시예에 따라 구성된 이미지 디코더의 블록 다이어그램이고;
도 7은 본 발명의 하나의 실시예에 따라 수행되는 재편성 및 인터리빙 프로세스를 예시하고 있고;
도 8은 본 발명의 하나의 실시예에 따라 수행되는 역 재편성 및 디-인터리빙 프로세스를 예시하고 있고;
도 9는 본 발명이 구현되어질 수 있는 시스템의 포괄적인 다이어그램이고;
도 10은 본 발명의 구현에서 사용될 수 있는 모바일 전화기의 원근도이며; 그리고
도 11은 도 8의 모바일 전화기의 전화기 회로에 관한 도식적 표현이다.

이 문서에서 설명되는 다양한 실시예들은 복수의 변환 블록들과 연관된 변환 계수들을 재편성하고, 0 또는 그 이상으로 각 변환 블록으로부터 사용된 계수들의 수를 줄이며 그리고 이들 변환 계수들을 함께 코딩함으로써 비디오/이미지 코더의 코딩 효율성을 향상시킨다. 본 발명의 하나의 실시예에 따라 수행되는 인코딩 및 디코딩 프로세스들이 도 3 및 도 4에 각각 예시되어 있다. 도 3 및 도 4에 예시되어 있는 프로세스들은 예컨대 비디오 신호의 휘도 성분(luminance component)을 인코딩 및 디코딩하는 것에 적용될 수 있음이 유념되어야 할 것이다.

이 실시예에 따르면, 16×16 매크로블록이 4개의 8×8 변환 블록들로 나누어질 수 있는데, 다만 본 발명의 다양한 실시예들이 오로지 이들 블록/매크로블록 크기들에 따라서만 동작하는 것으로 제한되는 것은 아니라는 점이 유념되어야 할 것이다. 즉 16×16과 다른 크기의 매크로블록이 사용될 수 있고 8×8과 다른 크기의 변환 블록들로 나누어질 수 있다. 인코딩 양상에 있어서, 예측 이미지는 다양한 방법들 예컨대 인트라-예측 또는 인터-예측을 활용하여 형성될 수 있다. 인코더는 본 발명의 그 하나의 실시예에 따라 16×16 매크로블록을 코딩할지 여부를 결정한다. 만약 인코더가 그 하나의 실시예에 따라 16×6 매크로블록을 코딩하지 않기로 결정한다면, 기존에 잔차는 변환 및 양자화 수행 이후에 4개의 8×8 변환 블록들의 변환 계수들을 인코딩함으로써 형성된다. 본 발명의 이 실시예 및 다른 실시예들이 16×16 매크로블록들을 코딩하는 것으로 제한되는 것은 아니고, 다른 크기의 화상 영역들에 적용될 수 있음이 유념되어야 할 것이다.

만약 인코더가 그 하나의 실시예에 따라 16×16 매크로블록을 코딩할 것을 결정한다면, 인코더는 변환 및 양자화를 수행하고 변환 계수들을 생성한다. 그러면 4개의 8×8 변환 블록들의 계수들은 기결정된 인터리빙 기술에 기반하여 어레이로 인터리빙된다. 인터리빙을 위한 하나의 이러한 기술이 도 7에 예시되어 있는데, 이는 아래에서 더 상세하게 설명될 것이다. 그러나, 4개의 8×8 변환 블록들의 계수들 모두를 인코딩하는 대신에, 인코더는 그 변환 블록들 각각의 계수들의 일정 부분집합을 코딩하여 이것을 비트스트림으로 넣는다. 인코딩 프로세스들의 순서는 상기에서 기술된 것으로 제한되는 것은 아니라는 점이 유념되어야 할 것이다. 또한, 그 계수들의 부분집합을 포함하는 계수들의 개수는 변환 블록들 모두 (이 경우에서는, 4개의 8×8 변환 블록들)에 대하여 동일할 수도 있거나, 또는 그 변환 블록들 각각으로부터 코딩된 계수들의 개수는 다를 수 있다. 따라서, 결과적인 변환 블록들의 개수는 원래의 4개보다 더 작고, 이 경우에는, 하나의 변환 블록이다.

도 3을 참조하여 더 자세하게 보면, 인코딩될 이미지(100)가 픽셀 예측(102), 예측 오차 코딩(103) 및 예측 오차 디코딩(104)을 거친다. 픽셀 예측(102)에 있어서, 이미지(100)는 인터-예측(106) 및 인트라 예측(108) 중 적어도 하나를 거치며, 이는, 모드 선택(110) 후에, 이미지 블록의 예측 표현(112)을 도출하게 된다. 예비적 재구성 이미지(114)는 또한 인트라-예측(108)에 사용된다. 일단 이미지 블록들 모두가 프로세싱되면, 예비적 재구성 이미지(114)는 116에서 필터링을 거쳐 최종적 재구성 이미지(140)를 생성하고, 이는 참조 프레임 메모리(118)로 송신되며 또한 나중 프레임들의 인터-예측(106)을 위해 사용된다.

이미지 블록의 예측 표현(112) 뿐만 아니라 인코딩될 이미지(100)는 함께 사용되어 예측 오차 신호(120)를 정의하는데, 그 예측 오차 신호는 예측 오차 코딩(103)에 사용된다. 예측 오차 코딩(103)에서, 예측 오차 신호(120)는 변환(122) 및 양자화(124)를 거친다. 그러나, 기존의 비디오/이미지 코덱들에서와 달리, 모드 결정은, 예측 오차 신호(120)가 변환(122) 및 양자화(124)를 거친 후에 300에서 이루어진다. 이 모드 결정(300)은 인코더가 그 하나의 실시예에 따라 16×16 매크로블록을 코딩할 것인지 아닌지 여부를 결정하도록 행해진다. 또다시, 그 매크로블록은 상이한 사이즈일 수 있고, 만약 예측이 적용되지 않는다면, 모드 결정(300)은 인코더가 실제 이미지 또는 비디오 블록을 코딩할 것인지 아닌지 여부를 결정하도록 행해진다는 것이 유념되어야 할 것이다. 모드 결정이 300에서 이루어진 후에, 변환 계수들은, 도 7에서 예시되고 상기에서 유념된 기결정된 인터리빙 기술에 따라 재편성되고 인터리빙된다(310). 그러면 도 7에서의 재편성된 그리고 인터리빙된 8×8 변환 블록(740)은 엔트로피 코딩(126)으로 전달되어 비트스트림에 배치될 것이다.

예측 오차 디코딩(104)은 실질적으로 예측 오차 코딩(103)과 정반대되는 것이다. 즉, 엔트로피 디코딩(127) 시에, 역 재편성 및 디-인터리빙(320), 역 양자화(128) 및 역 변환(130)을 포함하는 예측 오차 디코딩(104)이 실행된다. 예측 오차 디코딩(104)의 결과는 재구성된 예측 오차 신호(132)이고, 이 신호는 이미지 블록의 예측 표현(112)과 함께 사용되어 예비적 재구성 이미지(114)를 생성한다.

그 하나의 실시예의 디코딩 양상에 관하여, 인트라-예측 및 인터-예측 중 적어도 하나에 따라 예측이 일어나고, 이는 이미지 블록의 에측 표현이 도출되게 한다. 만약 디코더가 예컨대 기존에 16×16 매크로블록이 코딩된다는 표시를 수신한다면, 4개의 변환 블록들의 계수들을 디코딩하고 역 변환 및 역 양자화를 수행함을써 잔차가 형성된다. 만약 다른 한편으로, 디코더가 감소된 개수의 계수들을 가진 다중 변환 블록들의 공동 코딩이 16×16 매크로블록을 코딩하는데 활용되었다는 표시를 수신한다면, 그 변환 블록들의 감소된 개수의 계수들이 비트스트림으로부터 디코딩되고 어레이에 놓인다. 도 3에 예시된 예에 뒤이어, 단지 하나의 8×8 결과적 변환 블록이 디코딩된다. 디코더는, 기결정된 디-인터리빙 방법(예: 인코딩 동안 활용된 상기 기결정된 인터리빙 방법에 상관된 디-인터리빙 방법)에 따라 각각의 디코딩된 계수를 4개의 8×8 변환 블록들 중 하나로 분리함으로써, 디코딩된 계수들을 디-인터리빙한다. 감소된 개수의 계수들이 코딩되었기 때문에, 4개의 8×8 변환 블록들은 각각 0 또는 그 이상의 계수들이 빠지게 된다. 이러한 기결정된 디-인터리빙 방법의 예가 도 8에 예시되어 있는데, 이는 아래에서 더 상세하게 설명될 것이다. 일단 디코딩된 계수들이 이-인터리빙되었으면, 그 하나의 8×8 변환 블록의 임의의 잔존 계수들이 디코더 레벨에서 기결정된 값들로 채워진다. 이러한 채우기 프로세스는 복수의 상이한 방법들을 포함할 수 있고, 다만 하나의 예는 도 8에 보여지는 바와 같이 0의 값을 가진 잔존 계수들을 채우는 것이다. 변환 블록이 완전히 디코딩된 후에, 역 변환 및 역 양자화가 수행되고 잔차 데이터가 생성된다. 여기서 기술된 디코딩 프로세스는 다른 순서를 따를 수 있다는 것이 유념되어야 할 것이다.

도 4는, 본 발명의 하나의 실시예에 따라 상기에서 기술된 디코딩 프로세스들을 더 상세하게 예시하는 블록 다이어그램이다. 도 4에서 보여지는 바와 같이, 엔트로피 디코딩(200)은 예측 오차 디코딩(202) 및 픽셀 예측(204)이라는 두 가지가 뒤따른다. 예측 오차 디코딩(202)에서, 역 양자화(206) 및 역 변환(208)이 사용되며, 궁극적으로는 재구성된 예측 오차 신호(210)를 도출케 한다. 그러나, 기존의 비디오/이미지 디코더들과 달리, 감소된 개수의 계수들을 가진 다중 변환 블록들의 공동 코딩이 활용되었다는 표시를 수신 시에 그리고 역 양자화(206) 전에, 디코더는 예컨대, 역 재편성 및 디-인터리빙(400)을 경험함으로써 단지 하나의 결과적인 재편성된 그리고 인터리빙된 8×8 변환 블록(이는 코딩된 변환 계수들의 부분집합을 포함함)만을 디코딩한다. 픽셀 예측(204)에 대하여, 인트라-예측 및 인터-예측 중 적어도 하나가 212에서 일어나서 이미지 블록의 에측 표현(214)을 생성한다. 이미지 블록의 예측 표현(214)은 재구성된 예측 오차 신호(210)와 함께 사용되어 예비적 재구성 이미지(216)을 생성하는데, 이는 차례로 인터-예측 또는 인트라-예측(212)을 위해 사용될 수 있다. 일단 이미지 블록들 모두가 프로세싱되면, 예비적 재구성 이미지(216)가 필터링(218) 쪽으로 전달된다. 필터링된 이미지는 최종 재구성 이미지(220)로서 출력될 수 있거나, 그렇지 않으면 필터링된 이미지는 참조 프레임 메모리(222)에 저장될 수 있어서, 그것을 예측(212)에 유용하게 한다.

도 5 및 도 6은, 본 발명의 일 실시예에 따라, 각각 이미지 인코더 및 이미지 디코더를 예시하고 있는 블록 다이어그램들이다. 도 5에 도시된 바와 같이, 인코딩될 이미지(500)는 텍스쳐 코딩(texture coding)(502)을 거친다. 텍스쳐 코딩(502)에 대하여, 이미지(500)는 변환(504) 및 양자화(506)를 거친다. 그 이후에, 인코더가 감소된 개수의 계수들을 가진 다중 변환 블록들의 공동 코딩을 활용할 것인지 아닌지 여부를 결정하기 위한 모드 선택이 행해진다(508). 만약 인코더가 공동 코딩을 활용할 것이라면, 변환 계수들이 재편성되고 이를테면 예컨대 도 7에서 예시되고 상기에서 언급된 것과 같이 기결정된 인터리빙 기술에 따라 인터리빙된다(510). 그러면 변환 블록(740)의 재편성 및 인터리빙된 변환 계수들은 비트스트림으로의 배치를 위해 엔트로피 코딩(512)으로 전해진다. 이러한 프로세스는 스틸 이미지(still image)들을 위해 또는 예측이 사용되지 않고 예컨대 실제 비디오 신호가 변환 및 양자화를 거치게 하는 경우에 활용될 수 있다.

도 6에 도시된 바와 같이, 엔트로피 디코딩(600) 이후에 텍스쳐 디코딩(602)이 뒤따른다. 텍스쳐 디코딩(602)에서, 예컨대 도 5의 이미지 인코더에서와 같이, 인코딩되는 변환 계수들의 부분집합을 포함하고 있는 결과적 변환 블록이 역 재편성 및 디-인터리빙(604)을 겪게 된다. 역 재편성 및 디-인터리빙(604)이 행해지면, 역 양자화(606) 및 역 변환(608)이 수행되어 재구성 이미지(610)에 도달하게 된다. 도 6에 도해된 이미지 디코더는, 예컨대 감소된 개수의 계수들을 가진 다중 변환 블록들의 공동 코딩이 활용되었음을 나타내는 통지 또는 신호를 수신 시에 역 재편성 및 디-인터리빙을 수행한다는 것이 유념되어야 할 것이다.

상기에서 유념된 바와 같이, 도 7 및 도 8은 각각 본 발명의 다양한 실시예들에 따라 사용되는 재편성/인터리빙 및 역 재편성/디-인터리빙 프로세스들을 예시하고 있다. 도 7은, 변환을 거친 후 4개의 8×8 변환 블록들 예컨대 블록들(700, 710, 720, 730)로 나누어질 수 있는 16×16 매크로블록을 예시하고 있다. 변환 블록(700)의 계수들은 예컨대 A0, A1, A2 등으로써 표현될 수 있다. 마찬가지로, 변환 블록(710)의 계수들은 계수들 B0, B1, B2 등을 포함할 수 있고, 변환 블록(720)의 계수들은 계수들 C0, C1, C2 등을 포함할 수 있으며, 그리고 변환 블록(730)의 계수들은 계수들 D0, D1, D2 등을 포함할 수 있다.

변환 블록들(700, 710, 720, 730)의 각각의 계수들의 재편성 및 인터리빙이 행해지면, 단일 변환 블록(740)이 도출될 수 있다. 다시 한번, 본 발명의 다양한 실시예들에 따라, 하나 이상의 블록들(그러나 블록들 원래 개수보다 더 적은 블록들)이 비트스트림으로 인코딩되고 그 비트스트림으로부터 디코딩될 수 있다는 것이 유념되어야 할 것이다. 상기에서 기술된 바와 같이, 재편성 및 인터리빙의 어떤 기결정된 방식이 활용될 수 있다. 이 경우에, 블록(740)은 대각선의 지그-재그 방법(diagonal, zig-zag method)으로서 설명될 수 있는 것을 포함한다. 예를 들어, 그 계수들은 계수 D0를 가진 블록(740)의 좌측 상부 코너에서 시작되면서 배열될 수 있다(ordered). 그리고 나서 계수들 C0, B0, A0, D1, C1, B1, A1, D2, C2 등이, 인코딩되는 계수 A15가 블록(740)의 하부 최우측 코너에 배열될 때까지 대각선의 지그-재그 방식으로 정렬된다. 그러므로, 이 경우에, 단지 계수들 A0 내지 A15, B0 내지 B15, C0 내지 C15, 및 D0 내지 D15가 인코딩되었다.

도 8은 역 재편성 및 디-인터리빙 프로세스를 예시하고 있으며, 여기서 하나의 8×8 변환 블록(740)이 4개의 8×8 블록들(800, 810, 820, 830)로 디-인터리빙된다. 상기에서 설명된 바와 같이, 단지 변환 블록들(700, 710, 720, 730)의 첫 번째 15개 계수들만이 인코딩되었다. 그러므로, 변환 블록(800)은 디코딩된 계수들 A0 내지 A15를 포함하고 있고, 변환 블록(810)은 디코딩된 계수들 B0 내지 B15를 포함하고 있고, 변환 블록(820)은 디코딩된 계수들 C0 내지 C15를 포함하고 있으며, 그리고 변환 블록(830)은 디코딩된 계수들 D0 내지 D15를 포함하고 있다. 다시, 그 계수들은 대각선의 지그-재그 방식으로 배열되며, 여기서, 계수들의 각 집합의 첫 번째, 예컨대 A0, B0, C0 및 D0는 그들 각자의 변환 블록들(800, 810, 820, 830)의 상위 최좌측 코너에 세팅된다. 잔존 계수들은 기정의된 수 예컨대 0으로 세팅될/채워질 수 있다는 것이 유념되어야 할 것이다. 상기에서 기술된 바와 같이, 한 블록 내 모든 계수들이 코딩 성능에 있어서 중요한 것은 아니며 이에 따라 무시될 수 있다.

또한, 상기의 인코딩 및 디코딩 프로세스들은 예컨대 비디오 신호의 색 성분(chrominance component)들을 포함하도록 확장될 수 있다는 것이 유념되어야 할 것이다. 본 발명의 또 하나의 실시예에 따르면, YUV 컬러 공간(color space)의 U 및 V 색 성분들이 함께 인터리빙될 수 있다. 그러므로, 다중 블록들의 계수들이 총 계수들의 부분집합만을 사용하여 컴팩트한/효율적인 방식으로 코딩될 수 있다. 동시에, 본 발명의 다양한 실시예들이 블록-끝 표시(end-of-block indication), 그 블록 내 모든 0 계수의 표시 등과 같은 다른 정보를 코딩하는데 활용될 수 있고, 여기서 그 코딩은 다중 블록들에 대하여 다수번 일어나는 것과 반대로 단지 한번 일어난다. 그러므로, 전체 비트율은 일정 경우들에서 감소될 수 있다.

상기에서 기술된 바와 같이, 본 발명의 하나의 실시예는 비디오 디코더로 하여금, 코딩된 예측 오차 신호를 수신하고, 하나 이상의 변환 블록들과 연관된 변환 계수들을 디코딩하고, 그 계수들을 재편성하여 각 변환 블록과 연관된 계수들을 복원하며, 그리고 예측 오차 블록들을 재구성할 수 있게 해 준다. 그러나, 본 발명에 따른 비디오/이미지 인코더 및/또는 디코더는 복수 개의 다른 방식들로 구현될 수 있다. 예를 들어, 인터리빙/디-인터리빙 프로세스에서 사용된 블록들은 각각 예컨대 YUV 컬러 공간에서의 동일한 또는 상이한 성분들, 예를 들면 Y (루마(luma)) 성분 또는 U 및 V 성분들에 속할 수 있다. 이와 다르게, 인터리빙/디-인터리빙 프로세스에서 사용된 블록들은 동일한 매크로블록 또는 상이한 (예: 이웃하는) 매크로블록들에 속할 수 있다. 또한, 본 발명의 다양한 실시예들은 인터-잔차 데이터 및 인트라-잔차 데이터 양자 모두를 코딩하는데 활용될 수 있다.

본 발명의 다른 실시예들에 따르면, 다중 블록들의 계수들에 적용되는 서로 다른 인터리빙/디-인터리빙 프로세스들이 사용될 수 있다. 하나의 이러한 다른 실시예에 있어서, 인터리빙/디-인터리빙 프로세스 내 각 블록의 배열(order)은 다를 수 있다. 예를 들어, 인터리빙/디-인터리빙 프로세스에서의 각 블록의 배열은 코딩된 표현 또는 디코딩된 신호의 다른 특징들에 의존적일 수 있다. 또 하나의 예가 인트라-코딩에 관하여 제기되는데, 여기서 인터리빙 프로세스에서의 각 블록의 배열이 각 블록에 대하여 인트라-예측 모드와 연관될 수 있다. 인터-코딩에 관하여, 각 블록의 배열은 예컨대 코딩될 매크로블록 내의 움직임 블록들의 크기들 및 형상들과 연관될 수 있다. 또 다른 예가, 인터리빙/디-인터리빙 프로세스에서의 각 블록의 배열이 시그널링되는 경우에 제기된다.

인터리빙/디-인터리빙 프로세스의 다른 또 하나의 예는 그 인터리빙/디-인터리빙 프로세스에서의 서로 다른 스캔 기술들을 활용하는 것을 포함한다. 예를 들어, 본 발명의 일 실시예에 따르면, 모든 블록들은 도 5 및 도 6에 있어 상기에서 기술된 것과 같은 지그-재그 스캔(zig-zag scan)을 사용하여 인터리빙/디-인터리빙된다. 또 하나의 실시예에서, 스캔 방향은 코딩된 표현 또는 디코딩된 신호의 특징들에 의존적일 수 있다. 환언하면, 인트라-코딩에 있어서, 서로 다른 블록들의 스캔 순서는 각 블록에 대한 인트라-예측 모드와 연관될 수 있다. 인터-코딩에 있어서, 각 블록의 스캔 순서는 예컨대 코딩될 매크로블록 내 움직임 블록들의 크기들 및 형상들과 연관될 수 있다. 다른 또 하나의 실시예에서, 스캔 방향은 시그널링될 수 있다.

디-인터리빙 프로세스 이후에, 다른 실시예들이 구현될 수 있는데, 그 다른 실시예들에서 디코더는 다양한 방법들에 따라 잔존 계수들을 채울 수 있다. 예를 들어, 잔존 계수들은 도 6에서 예시되고 상기에서 기술된 바와 같이 0과 같은 기정의된 수로 세팅될 수 있다. 이와 다르게, 잔존 계수들은 1들 및 0들을 수반하는 기정의된 패턴 (또는 임의의 다른 가능한 조합)으로 세팅될 수 있다. 본 발명의 다른 또 하나의 양상에 따르면, 채우기 프로세스는 시그널링될 수 있다.

서로 다를 수 있는 블록들의 배열처럼, 각 블록 내 계수들의 배열도 마찬가지로 서로 다를 수 있다. 예를 들어, 각 블록 내 계수들의 배열은 시그널링될 수 있거나 또는 코딩된 표현 또는 디코딩된 신호의 다른 특징들에 의존적일 수 있다. 예를 들어, 인트라-코딩에 있어서, 각 블록 내 계수들의 배열은 각 블록에 대한 인트라-예측 모드와 연관될 수 있고, 인터-코딩에 있어서, 계수들의 배열은 예컨대 코딩될 매크로블록 내 움직임 블록들의 크기들 및 형상들과 연관될 수 있다.

여러가지 실시예들에 따라 변할 수 있는 본 발명의 다른 또 하나의 양상은 인터리빙 프로세스에서 선택될 수 있는 서로 다른 블록들 내에 동일한 개수의 또는 서로 다른 개수의 계수들을 수반한다. 예를 들어, 계수들의 개수는 기정의되어 있거나 또는 각 블록의 잔차와 연관될 수 있는 계수들의 개수일 수 있다. 계수들의 개수는 또한 코딩된 표현 또는 디코딩된 신호의 다른 특징들 예를 들어 인트라-코딩을 고려한 블록들의 코딩 모드에 의존적일 수 있고, 각 블록 내 계수들의 개수는 각 블록에 대한 인트라-예측 모드와 연관될 수 있다. 이와 다르게, 본 발명의 다양한 실시예들이 인터-잔차 데이터를 코딩하는데 활용된다면, 계수들의 개수는 움직임 블록들의 형상들 및 크기들에 의존적일 수 있다.

끝으로, 본 발명의 다양한 실시예들은 변화될 수 있고, 서로 다른 블록들 내 계수들 또는 계수들의 예측 오차는 인터리빙/디-인터리빙 프로세스들에서 사용될 수 있다.

따라서, 본 발명의 다양한 실시예들은 비디오 및 이미지 인코더들 및 디코더들의 압축 효율성을 향상시킨다. 동시에, 그 다양한 실시예들에 따른 디코딩의 복잡성은 감소된다. 비록 인코딩의 계산 복잡성이 증가할 수도 있지만, 인코딩 복잡성을 감소시키기 위해 고속 알고리즘들이 적용될 수 있다.

도 9는 본 발명의 다양한 실시예들이 활용될 수 있는 시스템(10)을 도시하고 있으며, 그 시스템은 하나 이상의 네트워크들을 통해 통신할 수 있는 다수의 통신 기기들을 포함하고 있다. 시스템(10)은, 모바일 전화 네트워크, 무선 로컬 영역 네트워크(Local Area Network; LAN), 블루투스 개인 영역 네트워크(Bluetooth personal area network), 에더넷 LAN(Ethernet LAN), 토큰 링 LAN(token ring LAN), 광역 네트워크, 인터넷 등을 포함하는, 그러나 이에 제한되지 않는, 유선 또는 무선 네트워크들의 임의의 조합을 포함할 수도 있다. 시스템(10)은 유선 및 무선 통신 기기들 양자 모두를 포함할 수도 있다.

예시를 위해, 도 9에 도시된 시스템(10)은 모바일 전화 네트워크(11) 및 인터넷(28)을 포함한다. 인터넷(28)에 대한 연결은, 원거리 영역 무선 연결(long range wireless connections), 근거리 영역 무선 연결(short range wireless connections), 그리고 전화 선, 케이블 선, 전력 선 및 기타 등등을 포함하는, 그러나 이에 제한되지 않는, 다양한 유선 연결들을 포함할 수도 있지만, 이에 제한되는 것은 아니다.

시스템(10)의 대표적인 통신 기기들은, 전자 기기(50), PDA(personal digital assistant) 겸용 모바일 전화기(14), PDA(16), 통합 메시징 기기(integrated messaging device; IMD)(18), 데스크탑 컴퓨터(20), 노트북 컴퓨터(22) 등을 포함할 수도 있지만, 이에 제한되는 것은 아니다. 통신 기기들은 고정형(stationary)이거나 또는 이동하고 있는 개인이 지니는 경우에서처럼 모바일형일 수도 있다. 통신 기기들은 또한, 자동차, 트럭, 택시, 버스, 기차, 배, 비행기, 자전거, 오토바이 등을 포함하는, 그러나 이에 제한되지 않는, 운송 형태에 위치해 있을 수도 있다. 통신 기기들의 일부 또는 전부는 기지국(24)으로의 무선 연결(25)을 통해 서비스 제공자들과 통신하고 호 및 메시지를 송수신할 수도 있다. 기지국(24)은, 모바일 전화 네트워크(11) 및 인터넷(28) 간의 통신을 허용하는 네트워크 서버(26)에 연결될 수도 있다. 시스템(10)은 부가적인 통신 기기들 및 여러가지 유형의 통신 기기들을 포함할 수도 있다.

통신 기기들은, 코드 분할 다중 액세스(Code Division Multiple Access; CDMA), GSM(Global System for Mobile Communications), 범용 모바일 전기통신 시스템(Universal Mobile Telecommunications System; UMTS), 시 분할 다중 액세스(Time Division Multiple Access; TDMA), 주파수 분할 다중 액세스(Frequency Division Multiple Access; FDMA), 전송 제어 프로토콜/인터넷 프로토콜(Transmission Control Protocol/Internet Protocol; TCP/IP), 단문 메시징 서비스(Short Messaging Service; SMS), 멀티미디어 메시징 서비스(Multimedia Messaging Service; MMS), 이메일, 인스턴트 메시징 서비스(Instant Messaging Service; IMS), 블루투스, IEEE 802.11 등을 포함하는, 그러나 이에 제한되지 않는, 다양한 전송 기술들을 사용하여 통신할 수도 있다. 본 발명의 다양한 실시예들을 구현하는데 수반되는 통신 기기는, 무선(radio), 적외선, 레이저, 케이블 연결 및 기타 등등을 포함하는, 그러나 이에 제한되지 않는, 다양한 매체들을 사용하여 통신할 수도 있다.

도 10 및 도 11은 본 발명이 구현될 수도 있는 하나의 대표적인 전자 기기(50)를 도시하고 있다. 그러나, 본 발명은 하나의 특정 유형의 기기로 제한되게 하려는 것이 아님이 이해되어야 할 것이다. 도 10 및 도 11의 전자 기기(50)는, 하우징(30), 액정표시장치 형태의 디스플레이(32), 키패드(34), 마이크로폰(36), 이어폰(ear-piece, 38), 배터리(40), 적외선 포트(42), 안테나(44), 본 발명의 하나의 실시예에 따른 UICC 형태의 스마트 카드(46), 카드 리더(48), 무선 인터페이스 회로(radio interface circuitry, 52), 코덱 회로(54), 콘트롤러(56) 및 메모리(58)를 포함한다. 개개의 회로들 및 요소들은 모두 관련 기술분야에서 잘 알려진 유형으로, 예컨대 모바일 전화기들에 관한 노키아 제작영역 내에 있을 수 있다.

여기서 기술된 본 발명의 다양한 실시예들은 방법 단계들 또는 프로세스들에 관한 일반적인 콘텍스트에서 기술된 것이고, 여기서 그러한 방법 단계들이나 프로세스들은, 네트워킹 환경 내 컴퓨터들에 의해 실행되는 프로그램 코드와 같은 컴퓨터-실행가능 명령들을 포함하는, 컴퓨터-판독가능 매체에 구현된, 컴퓨터 프로그램 제품으로써 하나의 실시예로 구현될 수도 있다. 일반적으로, 프로그램 모듈은 특정의 추상 데이터(abstract data) 유형들을 구현하거나 특정 작업들을 수행하는 루틴(routine), 프로그램, 오브젝트(object), 콤포넌트, 데이터 구조 등을 포함할 수도 있다. 컴퓨터-실행가능 명령들, 연관 데이터 구조들, 및 프로그램 모듈들은 이 문서에서 개시된 방법들의 단계들을 실행하기 위한 프로그램 코드의 예들을 나타낸다. 이러한 실행가능 명령들의 특정 시퀀스 또는 연관 데이터 구조들은 이러한 단계들 또는 프로세스들에서 기술된 기능들을 구현하기 위한 해당 활동들의 예들을 나타낸다.

본 발명의 다양한 실시예들의 소프트웨어 및 웹 구현들이 다양한 데이터베이스 탐색 단계들이나 프로세스들, 상관 단계들이나 프로세스들, 비교 단계들이나 프로세스들 및 결정 단계들이나 프로세스들을 이루기 위한 규칙-기반 로직(rule-based logic) 및 다른 로직을 갖는 표준 프로그래밍 기술들로 이루어질 수 있다. 이 문서 및 다음의 청구항들에서 사용되는 "콤포넌트" 및 "모듈"이라는 단어들은 수동 입력들을 수신하기 위한 장비 및/또는 하나 이상의 라인들의 소프트웨어 코드를 이용한 구현들 및/또는 하드웨어 구현들을 포함하도록 의도된다는 것이 유념되어야 할 것이다.

본 발명의 실시예들에 관한 전술한 설명은 예시 및 설명을 위해 제공되었다. 전술한 설명은, 하나도 빠뜨림이 없이 철저하려고 하거나 또는 본 발명의 실시예들을 개시된 정확한 형태로 제한하려고 하는 것이 아니며, 변경예들 및 변화예들이 상기의 교시내용에 비추어 가능하거나 또는 본 발명의 다양한 실시예들의 실행으로부터 획득될 수도 있다. 이 문서에서 논의된 실시예들은, 관련 기술분야에서 숙련된 자로 하여금 고려되는 특정 용도에 적합한 다양한 변형예들로써 그리고 다양한 실시예들에서 본 발명을 활용할 수 있게 하도록 본 발명 및 그것의 실제적 적용에 관한 다양한 실시예들의 속성 및 원리들을 설명하기 위해 선택되었고 설명되었다.

(도 1에 관한 부호의 설명)
100: 인코딩될 이미지
102: 픽셀 예측
103: 예측 오차 코딩
104: 예측 오차 디코딩
106: 인터-예측
108: 인트라-예측
110: 모드 선택
112: 이미지 블록의 예측 표현
114: 예비적 재구성 이미지
116: 필터링
118: 참조 프레임 메모리
120: 예측 오차 신호
122: 변환
124: 양자화
126: 엔트로피 코딩
128: 역 양자화
130: 역 변환
132: 예측 오차 신호
140: 재구성 이미지

Claims

비디오 및 이미지 신호 중 적어도 하나를 인코딩하는 방법에 있어서,
신호를 복수의 변환 블록(transform block)들로 변환 코딩(transform coding)하고;
상기 복수의 변환 블록들의 변환 계수(transform coefficient)들을 양자화하고;
상기 복수의 변환 블록들의 상기 변환 계수들을 재편성(reorganizing) 및 인터리빙(interleaving)하며; 그리고
상기 인터리빙된 변환 계수들의 부분집합을 엔트로피 인코딩(entropy encoding)하는 것을 포함하는 인코딩 방법.
제1항에 있어서,
상기 재편성 및 상기 인터리빙은 상기 복수의 변환 블록들 각각에 적용되는 배열 기술(ordering technique)을 포함하는, 인코딩 방법.
제2항에 있어서,
상기 배열 기술은, 상기 복수의 변환 블록들 각각에 적용되는 상이한 배열, 상기 신호와 연관된 이미지의 코딩된 그리고 디코딩된 표현 중 어느 하나의 특징들에 기반한 의존적 배열(dependent ordering), 상기 복수의 변환 블록들 중 적어도 하나의 코딩 모드에 기반한 의존적 배열, 상기 복수의 변환 블록들 중 적어도 하나와 연관된 인트라-예측(intra- prediction) 모드에 기반한 의존적 배열, 상기 신호를 나타내는 큰(large) 블록에 대응되는 움직임 블록들의 형상 및 크기에 기반한 의존적 배열, 및 시그널링된 배열(signaled order) 중 적어도 하나를 포함하는, 인코딩 방법.
제1항에 있어서,
상기 재편성 및 상기 인터리빙은 상기 복수의 변환 블록들 각각에 적용되는 스캔 기술을 포함하는, 인코딩 방법.
제4항에 있어서,
상기 스캔 기술은, 지그-재그(zig-zag) 스캔 기술, 상기 신호와 연관된 이미지의 코딩된 그리고 디코딩된 표현 중 어느 하나의 특징들에 기반한 의존적 스캔 기술(dependent scanning technique), 상기 복수의 변환 블록들 중 적어도 하나의 코딩 모드에 기반한 의존적 스캔 기술, 상기 복수의 변환 블록들 중 적어도 하나와 연관된 인트라-예측 모드에 기반한 의존적 스캔 기술, 상기 신호를 나타내는 매크로블록에 대응되는 움직임 블록들의 형상 및 크기에 기반한 의존적 스캔 기술, 및 시그널링된 스캔 방향(signaled scan direction) 중 적어도 하나를 포함하는, 인코딩 방법.
제1항에 있어서,
상기 변환 계수들의 배열은, 상기 복수의 변환 블록들 각각에 대한 상이한 배열, 상기 신호와 연관된 이미지의 코딩된 그리고 디코딩된 표현 중 어느 하나의 특징들에 기반한 배열, 상기 복수의 변환 블록들 중 적어도 하나의 코딩 모드에 기반한 의존적 배열, 상기 복수의 변환 블록들 중 적어도 하나와 연관된 인트라-예측 모드에 기반한 의존적 배열, 상기 신호를 나타내는 매크로블록에 대응되는 움직임 블록들의 형상 및 크기에 기반한 의존적 배열, 및 시그널링된 배열 중 적어도 하나인, 인코딩 방법.
제1항에 있어서,
상기 복수의 변환 블록들 각각으로부터의 동일한 개수의 변환 계수들이 인코딩을 위해 선택되고, 상기 동일한 개수는 기정의된 개수, 상기 신호와 연관된 이미지의 코딩된 그리고 디코딩된 표현 중 어느 하나의 특징들에 기반한 개수, 상기 복수의 변환 블록들 중 적어도 하나의 코딩 모드에 기반한 개수, 상기 복수의 변환 블록들 중 적어도 하나와 연관된 인트라-예측 모드에 의존적인 개수 및 상기 신호를 나타내는 매크로블록에 대응되는 움직임 블록들의 형상 및 크기에 기반한 개수 중 어느 하나인, 인코딩 방법.
제1항에 있어서,
상기 복수의 변환 블록들 각각으로부터의 상이한 개수의 계수들이 인코딩을 위해 선택되고, 상기 동일한 개수는, 기정의된 개수, 상기 신호와 연관된 이미지의 코딩된 그리고 디코딩된 표현 중 어느 하나의 특징들에 기반한 개수, 상기 복수의 변환 블록들 중 적어도 하나의 코딩 모드에 기반한 개수, 상기 복수의 변환 블록들 중 적어도 하나와 연관된 인트라-예측 모드에 의존적인 개수 및 상기 신호를 나타내는 매크로블록에 대응되는 움직임 블록들의 형상 및 크기에 기반한 개수 중 어느 하나인, 인코딩 방법.
제1항에 있어서,
상기 신호는 인트라(intra) 예측 오차 또는 인터(inter) 예측 오차 중 어느 하나인, 인코딩 방법.
제1항에 있어서,
상기 복수의 변환 블록들 각각은 단일 콤포넌트, 서로 다른 콤포넌트들, 단일 매크로블록 및 서로 다른 매크로블록들 중 어느 하나에 속하는, 인코딩 방법.
제1항에 있어서,
상기 변환 계수들을 재구성하기 위해 역 재편성(inverse reorganization) 및 디-인터리빙(de-interleaving) 이후에 디코더에 의해 수행될 채우기 프로세스(filling process)를 시그널링하는 것을 더 포함하는, 인코딩 방법.
제1항에 있어서,
상기 신호는, 인터-잔차 데이터(inter-residual data), 인트라-잔차 데이터(intra-residual data), 예측 오차 신호, 어떠한 예측도 행해지지 않는 경우의 실제 비디오 신호 및 예측이 적용되지 않는 경우의 실제 이미지 신호 중 어느 하나를 포함하는, 인코딩 방법.
제1항의 프로세스들을 수행하도록 구성된 컴퓨터 코드를 포함하는, 컴퓨터-판독가능 매체 상에 구현된 컴퓨터 프로그램 제품.
프로세서; 및
상기 프로세서에 통신가능하게 연결된 메모리 유닛을 포함하는 장치로서,
상기 메모리 유닛은,
신호를 복수의 변환 블록(transform block)들로 변환 코딩(transform coding)하도록 구성된 컴퓨터 코드;
상기 복수의 변환 블록들의 변환 계수(transform coefficient)들을 양자화하도록 구성된 컴퓨터 코드;
상기 복수의 변환 블록들의 상기 변환 계수들을 재편성(reorganizing) 및 인터리빙(interleaving)하도록 구성된 컴퓨터 코드; 및
상기 복수의 변환 블록들의 상기 변환 계수들의 부분집합을 인코딩하며, 상기 변환 계수들의 상기 부분집합을 비트스트림으로 배치할 수 있게 하도록 구성된 컴퓨터 코드를 포함하는, 장치.
제14항에 있어서,
재편성 및 인터리빙하도록 구성된 상기 컴퓨터 코드는 상기 복수의 변환 블록들 각각에 적용되는 배열 기술(ordering technique)을 더 포함하는, 장치.
제14항에 있어서,
재편성 및 인터리빙하도록 구성된 상기 컴퓨터 코드는 상기 복수의 변환 블록들 각각에 적용되는 스캔 기술을 더 포함하는, 장치.
제14항에 있어서,
상기 변환 계수들의 배열은, 상기 복수의 변환 블록들 각각에 대한 상이한 배열, 상기 신호와 연관된 이미지의 코딩된 그리고 디코딩된 표현 중 어느 하나의 특징들에 기반한 배열, 상기 복수의 변환 블록들 중 적어도 하나의 코딩 모드에 기반한 의존적 코딩, 상기 복수의 변환 블록들 중 적어도 하나와 연관된 인트라-예측 모드에 기반한 의존적 배열, 상기 신호를 나타내는 큰 블록에 대응되는 움직임 블록들의 형상 및 크기에 기반한 의존적 코딩, 시그널링된 배열(signaled order) 중적어도 하나인, 장치.
제14항에 있어서,
상기 복수의 변환 블록들 각각으로부터의 동일한 개수의 계수들이 인코딩을 위해 선택되고, 상기 동일한 개수는, 기정의된 개수, 상기 신호와 연관된 이미지의 코딩된 그리고 디코딩된 표현 중 어느 하나의 특징들에 기반한 개수, 상기 복수의 변환 블록들 중 적어도 하나의 코딩 모드에 기반한 개수, 상기 복수의 변환 블록들 중 적어도 하나와 연관된 인트라-예측 모드에 의존적인 개수 및 상기 신호를 나타내는 매크로블록에 대응되는 움직임 블록들의 형상 및 크기에 기반한 개수 중 어느 하나인, 장치.
제14항에 있어서,
상기 복수의 변환 블록들 각각으로부터의 상이한 개수의 계수들이 인코딩을 위해 선택되고, 상기 동일한 개수는, 기정의된 개수, 상기 신호와 연관된 이미지의 코딩된 그리고 디코딩된 표현 중 어느 하나의 특징들에 기반한 개수, 상기 복수의 변환 블록들 중 적어도 하나의 코딩 모드에 기반한 개수, 상기 복수의 변환 블록들 중 적어도 하나와 연관된 인트라-예측 모드에 의존적인 개수 및 상기 신호를 나타내는 매크로블록에 대응되는 움직임 블록들의 형상 및 움직임에 기반한 개수 중 어느 하나인, 장치.
제14항에 있어서,
상기 메모리 유닛은, 상기 변환 계수들을 재구성하기 위해 역 재편성 및 디-인터리빙 이후에 디코더에 의해 수행될 채우기 프로세스(filling process)를 시그널링하도록 구성되는 컴퓨터 코드를 더 포함하는, 방법.
제14항에 있어서,
상기 복수의 변환 블록들 각각은 단일 콤포넌트, 서로 다른 콤포넌트들, 단일 매크로블록 및 서로 다른 매크로블록들 중 어느 하나에 속하는, 장치.
비디오 및 이미지 신호 중 적어도 하나를 디코딩하는 방법에 있어서,
코딩된 비트스트림으로부터 변환 계수(transform coefficient)들[상기 변환 계수들은 복수의 변환 블록(transform block)들로부터의 변환 계수들의 부분집합을 포함하며, 상기 복수의 변환 블록들 각각은 신호의 대응되는 변환 부분을 나타냄]을 디코딩하고;
상기 디코딩된 변환 계수들의 역 재편성(inverse reorganizing) 및 디-인터리빙(de-interleaving)을 수행하고;
기결정된 채우기 프로세스(fill process)에 따라 상기 복수의 변환 블록들 각각의 잔존 계수들을 채우며; 그리고
상기 복수의 변환 블록들을 재구성하기 위해 역 양자화 및 역 변환을 수행하는 것을 포함하는 디코딩 방법.
제22항에 있어서,
상기 역 재편성 및 상기 디-인터리빙은 상기 복수의 변환 블록들 각각에 적용되는 배열 기술을 포함하는, 디코딩 방법.
제23항에 있어서,
상기 배열 기술은, 상기 복수의 변환 블록들 각각에 적용되는 상이한 배열, 상기 신호와 연관된 이미지의 코딩된 그리고 디코딩된 표현 중 어느 하나의 특징들에 기반한 의존적 배열, 상기 변환 블록들 중 적어도 하나의 코딩 모드에 기반한 의존적 배열, 상기 복수의 변환 블록들 중 적어도 하나와 연관된 인트라-예측 모드에 기반한 의존적 배열, 상기 신호를 나타내는 매크로블록에 대응되는 움직임 블록들의 형상 및 크기에 기반한 의존적 배열, 및 시그널링된 배열(signaled order) 중 적어도 하나를 포함하는, 디코딩 방법.
제22항에 있어서,
상기 역 재편성 및 상기 디-인터리빙은 상기 복수의 변환 블록들 각각에 적용되는 스캔 기술을 포함하는, 디코딩 방법.
제25항에 있어서,
상기 스캔 기술은, 지그-재그(zig-zag) 스캔 기술, 상기 복수의 변환 블록들 중 적어도 하나의 코딩 모드에 기반한 의존적 스캔 기술, 상기 복수의 변환 블록들 중 적어도 하나와 연관된 인트라-예측 모드에 기반한 의존적 스캔 기술, 및 상기 신호를 나타내는 큰 블록에 대응되는 움직임 블록들의 형상 및 크기에 기반한 의존적 스캔 기술 중 적어도 하나를 포함하는, 디코딩 방법
제22항에 있어서,
상기 변환 계수들의 배열은, 상기 복수의 변환 블록들 각각에 대한 상이한 배열, 상기 신호와 연관된 이미지의 코딩된 그리고 디코딩된 표현 중 어느 하나의 특징들에 기반한 배열, 상기 복수의 변환 블록들 중 적어도 하나의 코딩 모드에 기반한 의존적 배열, 상기 복수의 변환 블록들 중 적어도 하나와 연관된 인트라-예측 모드에 기반한 의존적 배열, 상기 신호를 나타내는 매크로블록에 대응되는 움직임 블록들의 형상 및 크기에 기반한 의존적 배열, 및 시그널링된 배열(signaled order) 중 적어도 하나인, 디코딩 방법.
제22항에 있어서,
상기 복수의 변환 블록들 각각으로부터의 동일한 개수의 계수들이 인코딩을 위해 선택되고, 상기 동일한 개수는, 기정의된 개수, 상기 신호와 연관된 이미지의 코딩된 그리고 디코딩된 표현 중 어느 하나의 특징들에 기반한 개수, 상기 복수의 변환 블록들 중 적어도 하나의 코딩 모드에 기반한 개수, 상기 복수의 변환 블록들 중 적어도 하나와 연관된 인트라-예측 모드에 의존적인 개수 및 상기 신호를 나타내는 매크로블록에 대응되는 움직임 블록들의 형상 및 크기에 기반한 개수 중 어느 하나인, 디코딩 방법.
제22항에 있어서,
상기 복수의 변환 블록들 각각으로부터의 상이한 개수의 계수들이 인코딩을 위해 선택되고, 상기 동일한 개수는, 기정의된 개수, 상기 신호와 연관된 이미지의 코딩된 그리고 디코딩된 표현 중 어느 하나의 특징들에 기반한 개수, 상기 복수의 변환 블록들 중 적어도 하나의 코딩 모드에 기반한 개수, 상기 복수의 변환 블록들 중 적어도 하나와 연관된 인트라-예측 모드에 의존적인 개수 및 상기 신호를 나타내는 매크로블록에 대응되는 움직임 블록들의 형상 및 크기에 기반한 개수 중 어느 하나인, 디코딩 방법.
제22항에 있어서,
상기 신호는 상기 변환 계수들의 인트라 예측 오차 및 인터 예측 오차 중 어느 하나인, 디코딩 방법.
제22항에 있어서,
상기 복수의 변환 블록들 각각은 단일 콤포넌트, 서로 다른 콤포넌트들, 단일 매크로블록, 및 서로 다른 매크로블록들 중 어느 하나에 속하는, 디코딩 방법.
제22항에 있어서,
상기 기결정된 채우기 프로세스는, 잔존 계수들을 0으로 세팅하는 것, 잔존 계수들을 기정의된 패턴의 계수 값들로 세팅하는 것, 및 시그널링되는 기결정된 채우기 프로세스 중 어느 하나를 포함하는, 디코딩 방법.
제22항에 있어서,
상기 신호는, 인터-잔차 데이터(inter-residual data), 인트라-잔차 데이터(intra-residual data), 예측 오차 신호, 어떠한 예측도 행해지지 않는 경우의 실제 비디오 신호, 및 예측이 행해지지 않는 경우의 실제 이미지 신호 중 어느 하나를 포함하는, 디코딩 방법.
제22항의 프로세스들을 수행하도록 구성된 컴퓨터 코드를 포함하는, 컴퓨터-판독가능 매체 상에 구현된 컴퓨터 프로그램 제품.
프로세서; 및
상기 프로세서에 통신가능하게 연결된 메모리 유닛을 포함하는 장치로서,
상기 메모리 유닛은,
코딩된 비트스트림으로부터 변환 계수(transform coefficient)들[상기 변환 계수들은 복수의 변환 블록(transform block)들에서의 변환 계수들의 부분집합을 포함하며, 상기 복수의 변환 블록들 각각은 신호의 대응되는 변환 부분을 나타냄]을 디코딩하도록 구성된 컴퓨터 코드;
상기 디코딩된 변환 계수들의 역 재편성(inverse reorganizing) 및 디-인터리빙(de-interleaving)을 수행하도록 구성된 컴퓨터 코드;
기결정된 채우기 프로세스(fill process)에 따라 상기 복수의 변환 블록들 각각의 잔존 계수들을 채우도록 구성된 컴퓨터 코드; 및
상기 신호를 나타내는 매크로블록을 재구성하기 위해 역 양자화 및 역 변환을 수행하도록 구성된 컴퓨터 코드를 포함하는, 장치.
제35항에 있어서,
상기 역 재편성 및 상기 디-인터리빙은 상기 복수의 변환 블록들 각각에 적용되는 배열 기술(ordering technique)을 포함하는, 장치.
제35항에 있어서,
상기 역 재편성 및 상기 디-인터리빙은 상기 복수의 변환 블록들 각각에 적용되는 스캔 기술을 포함하는, 장치.
제35항에 있어서,
상기 변환 계수들의 배열은 상기 복수의 변환 블록들 각각에 대한 상이한 배열, 상기 신호와 연관된 이미지의 코딩된 그리고 디코딩된 표현 중 어느 하나의 특징들에 기반한 배열, 상기 복수의 변환 블록들 중 적어도 하나의 코딩 모드에 기반한 의존적 배열, 상기 복수의 변환 블록들 중 적어도 하나와 연관된 인트라-예측 모드에 기반한 의존적 배열, 상기 신호를 나타내는 큰 블록에 대응되는 움직임 블록들의 형상 및 크기에 기반한 의존적 배열, 및 시그널링된 배열(signaled order) 중 적어도 하나인, 장치.
제35항에 있어서,
상기 복수의 변환 블록들 각각으로부터의 동일한 개수의 계수들이 인코딩을 위해 선택되고, 상기 동일한 개수는, 기정의된 개수, 상기 신호와 연관된 이미지의 코딩된 그리고 디코딩된 표현 중 어느 하나의 특징들에 기반한 개수, 상기 복수의 변환 블록들 중 적어도 하나의 코딩 모드에 기반한 개수, 상기 복수의 변환 블록들 중 적어도 하나와 연관된 인트라-예측 모드에 의존적인 개수 및 상기 신호를 나타내는 매크로블록에 대응되는 움직임 블록들의 형상 및 크기에 기반한 개수 중 어느 하나인, 방법.
제35항에 있어서,
상기 복수의 변환 블록들 각각으로부터의 상이한 개수의 계수들이 인코딩을 위해 선택되고, 상기 동일한 개수는, 기정의된 개수, 상기 신호와 연관된 이미지의 코딩된 그리고 디코딩된 표현 중 어느 하나의 특징들에 기반한 개수, 상기 복수의 변환 블록들 중 적어도 하나의 코딩 모드에 기반한 개수, 상기 복수의 변환 블록들 중 적어도 하나와 연관된 인트라-예측 모드에 의존적인 개수 및 상기 신호를 나타내는 매크로블록에 대응되는 움직임 블록들의 형상 및 크기에 기반한 개수 중 어느 하나인, 방법.
제35항에 있어서,
상기 복수의 변환 블록들 각각은 단일 콤포넌트, 서로 다른 콤포넌트들, 단일 매크로블록, 및 서로 다른 매크로블록들 중 어느 하나에 속하는, 장치.
제35항에 있어서,
상기 기결정된 채우기 프로세스는, 잔존 계수들을 0으로 세팅하는 것, 잔존 계수들을 기정의된 패턴의 계수 값들로 세팅하는 것, 및 상기 기결정된 채우기 프로세스를 시그널링하는 것 중 어느 하나를 포함하는, 장치.
신호를 복수의 변환 블록(transform block)들로 변환 코딩 및 양자화하는 것을 수행하도록 구성된 인코더 [상기 복수의 변환 블록들의 변환 계수(transform coefficient)들은, 인코딩되고, 양자화되고, 그리고 비트스트림으로 배치되어진 상기 복수의 변환 블록들 각각의 상기 변환 계수들의 부분집합을 도출하도록, 기결정된 인터리빙 프로세스에 따라 어레이(array)로 재편성되며(reorganized) 인터리빙됨(interleaved)]; 및
상기 비트스트림으로부터의 상기 변환 계수들을 디코딩하고, 상기 디코딩된 변환 계수들의 역 재편성(inverse reorganizing) 및 디-인터리빙(de-interleaving)을 수행하고, 기결정된 채우기 프로세스(fill process)에 따라 상기 복수의 변환 블록들 각각의 잔존 계수들을 채우며, 그리고 상기 신호를 나타내는 매크로블록을 재구성하기 위해 역 양자화 및 역 변환을 수행하도록 구성된 디코더를 포함하는 시스템.
제43항에 있어서,
상기 재편성, 상기 역 재편성, 상기 인터리빙, 및 상기 디-인터리빙은 상기 복수의 변환 블록들 각각에 적용되는 배열 기술(ordering technique)을 포함하는, 시스템.
제43항에 있어서,
상기 재편성, 상기 역 재편성, 상기 인터리빙, 및 상기 디-인터리빙은 상기 복수의 변환 블록들 각각에 적용되는 스캔 기술을 포함하는, 시스템.
제43항에 있어서,
상기 변환 계수들의 배열은 상기 복수의 변환 블록들 각각에 대한 상이한 배열, 상기 신호와 연관된 이미지의 코딩된 그리고 디코딩된 표현 중 어느 하나의 특징들에 기반한 배열, 상기 복수의 변환 블록들 중 적어도 하나의 코딩 모드에 기반한 의존적 배열, 상기 복수의 변환 블록들 중 적어도 하나와 연관된 인트라-예측 모드에 기반한 의존적 배열, 상기 신호를 나타내는 큰 블록에 대응되는 움직임 블록들의 형상 및 크기에 기반한 의존적 배열, 및 시그널링된 배열(signaled order) 중 적어도 어느 하나인, 시스템.
제43항에 있어서,
상기 복수의 변환 블록들 각각은 단일 콤포넌트, 서로 다른 콤포넌트들, 단일 매크로블록, 및 서로 다른 매크로블록들 중 어느 하나에 속하는, 시스템.