KR20120034582A

KR20120034582A - 영상／화상을 부호화하기 위한 장치 및 방법

Info

Publication number: KR20120034582A
Application number: KR1020110100591A
Authority: KR
Inventors: 펠릭스 카를로스 페르난데스
Original assignee: 삼성전자주식회사
Priority date: 2010-10-01
Filing date: 2011-10-04
Publication date: 2012-04-12
Also published as: US8693795B2; US20120082391A1

Abstract

화상 또는 영상 프레임 내의 블록과 연관된 입력 데이터를 수신하고, 수신한 입력 데이터를 변환하여 1차 출력 계수 세트를 생성하는 단계를 포함하는, 화상 또는 영상을 부호화하는 방법을 제공한다. 본 방법은 또한 1차 출력 계수 세트를 수신하고, 2차 변환을 수행하여 2차 출력 계수 세트를 생성하는 단계를 포함한다. 본 방법은 또한 2차 출력 계수 세트를 양자화하는 단계를 포함한다. 2차 변환은 회전 변환 행렬을 사용하여 수행되며, 회전 변환 행렬은 직교성의 정도가 최대로 되도록 선택된다.

Description

영상／화상을 부호화하기 위한 장치 및 방법{APPARATUS AND METHOD FOR ENCODING IMAGE/VIDEO}

본 발명은 영상(image) 및 화상(video) 부호화에 관한 것으로서, 더 구체적으로는 영상 및 화상 압축에 사용하기 위한 낮은 복잡도의 2차 변환에 관한 것이다.

영상 및 화상 부호화기에서는, 데이터의 처리량을 감축하기 위해 영상 압축을 사용한다. 영상 압축을 수행하기 위하여, 많은 영상 및 화상 부호화기는 화소 영역의 영상을 주파수 영역의 계수로 변환함으로써 영상을 부호화한다. 이산 코사인 변환(DCT)은 영상(및 음성) 압축에 널리 사용되고 있는 주지의 주파수 변환 기술이다.

상기한 바와 같이 DCT 등의 변환은 압축률을 향상시키기 위해 사용될 수 있지만, 반면에 이러한 변환은 계산 복잡도를 증가시키게 된다. 최근, 더 효율적인 부호화 방법 및 변환을 찾기 위한 많은 연구가 이루어지고 있다.

본 발명은 영상 및 화상을 부호화 및 복호화하기 위한 방법 및 장치를 제공한다.

또한 본 발명은 영상 및 화상 압축에 사용하기 위한 낮은 복잡도의 2차 변환 장치 및 방법을 제공한다.

하나의 관점에 따른, 화상 또는 영상을 부호화하는 방법은, 1차 변환 회로가 화상 또는 영상 프레임 내의 블록과 연관된 입력 데이터를 수신하고, 수신한 입력 데이터를 변환하여, 1차 출력 계수 세트를 생성하는 단계를 포함한다. 상기 방법은 또한 2차 변환 회로가 1차 출력 계수 세트를 수신하고, 제2 변환을 수행하여, 제2 출력 계수 세트를 생성하는 단계를 포함한다. 상기 방법은 또한 2차 출력 계수 세트를 양자화하는 단계를 포함한다. 2차 변환은 회전 변환 행렬을 사용하여 수행되며, 이 회전 변환 행렬은 직교성의 정도(a degree of orthogonality)가 최대로 되도록 선택된다.

본 발명의 다른 관점에 따른 장치는 화상 또는 영상 프레임 내의 블록과 연관된 입력 데이터를 수신하고, 수신한 입력 데이터를 변환하여, 1차 출력 계수 세트를 생성하는 1차 변환 회로를 포함한다. 상기 장치는 또한 1차 출력 계수 세트를 수신하고, 2차 변환을 수행하여, 2차 출력 계수 세트를 생성하는 2차 변환 회로를 포함한다. 상기 장치는 또한 2차 출력 계수 세트를 양자화하는 양자화 회로를 포함한다. 2차 변환 회로는 회전 변환 행렬을 사용하여 2차 변환을 수행하며, 회전 변환 행렬은 직교성의 정도가 최대로 되도록 선택된다.

본 발명의 또 다른 관점에 의하면, 컴퓨터 프로그램을 포함하는 컴퓨터로 판독 가능한 매체를 제공한다. 컴퓨터 프로그램은 실행이 되면 프로세서가 화상 또는 영상 프레임 내의 블록과 연관된 입력 데이터를 수신하고, 수신한 입력 데이터를 변환하여, 1차 출력 계수 세트를 생성하도록 하는 명령어를 포함한다. 이 명령어는 또한 프로세서가 1차 출력 계수 세트를 수신하고, 2차 변환을 수행하여, 2차 출력 계수 세트를 생성하도록 한다. 명령어는 또한 프로세서가 2차 출력 계수 세트를 양자화하는 처리를 실행하도록 한다. 2차 변환은 회전 변환 행렬을 사용하여 수행되며, 이 회전 변환 행렬은 직교성의 정도가 최대로 되도록 선택된다.

이하의 발명의 상세한 설명을 이해하기 전에, 본 특허 명세서 전체를 통해 사용되는 소정의 단어와 구의 정의를 설명하는 것이 바람직할 것이다. 즉, “구비하다” 및 “포함하다”라는 단어와 이로부터 파생된 단어는 제한 없이 포함한다는 의미를 가지며, “또는”이라는 용어는 “및/또는”을 포함하는 의미이고, “~와 관련된”이라는 용어와 이로부터 파생된 용어는 포함하다, 포함되다, 상호 연결되다, 함유하다, 함유되다, 연결되다, 결합되다, 연통될 수 있다, 상호 협력하다, 개재되다, 병치하다, 근접하다, 경계를 이루다, 가지다, 특성을 갖다 등의 의미를 포함할 수 있다. “제어부” 또는 “컨트롤러”라는 용어는 하나 이상의 동작을 제어하는 임의의 장치, 시스템 또는 그 일부를 의미하며, 이러한 장치는 하드웨어, 펌웨어 또는 소프트웨어, 또는 이들 중 적어도 둘 이상의 조합으로 구현될 수 있다. 임의의 제어부와 연관된 기능은 구내 또는 원격을 불문하고, 중앙 통제 방식 또는 분산 방식이 될 수 있다. 소정의 단어와 구에 대한 정의를 본 명세서를 통해 제시하고 있지만, 당업자라면 대부분의 경우는 아니지만 많은 경우에 이러한 정의는 종래의 경우뿐만 아니라 이러한 정의된 단어와 구의 향후의 사용에도 적용되는 것으로 이해하여야 한다.

본 발명에 따르면, 양자화 성능을 향상시키면서 복잡도를 낮춘 2차 변환을 제공할 수 있다.

본 발명과 장점을 더 잘 이해할 수 있도록 하기 위해, 첨부 도면과 함께 이하의 상세한 내용에 대하여 설명한다. 유사한 참조 부호는 유사한 부분을 나타낸다:
도 1은 본 발명의 실시예에 따른 화상 또는 영상 부호화기에서의 2차 회전 변환을 나타낸 도면,
도 2는 본 발명의 실시예에 따른 화상 또는 영상 복호화기를 나타낸 도면.

이하에 설명하는 도 1 및 도 2와 본 발명의 개시 내용의 원리를 설명하는 데에 사용된 여러 다양한 실시예들은 예시에 불과하며, 본 발명의 개시 내용의 범위를 제한하는 것으로 해석되어서는 안 된다. 당업자라면, 본 발명의 개시 내용의 원리가 임의의 적절하게 구성된 화상 또는 영상 부호화기에서 구현될 수 있다는 것을 이해할 수 있을 것이다.

이하에 개시한 문서와 규격 설명은 그 전체 내용을 본 명세서에 참조에 의해 포함하는 것으로 한다.

2010년 4월, 독일 드레스덴, Joint Collaborative Team on Video Coding (JCT-VC) A124, K. McCann, W.-J. Han 및 I.-K. Kim이 저술한 "Samsung's Response to the Call for Proposals on Video Compression Technology"(이하, “참조 문헌 1”이라 함);

T. D. Tran의 1999년 IEEE Signal Processing Letters, 제7권, 페이지 141-144의 “Fast, Multiplierless Approximation of the DCT” (이하, “참조 문헌 2”라고 함);

Y.-J. Chen, S. Oraintara 및 T. D. Tran의 2002년 11월 IEEE Signal Processing Letters, 제9권 페이지 344-347의 “Multiplierless approximation of transforms with adder constraint”(이하, “참조 문헌 3”이라 함);

2000년 터키, K. Komatsu 및 K. Sezaki, Proceedings of International Conference on Acoustics, Speech and Signal Processing, 제4권, 페이지 2119-2122, “Design of Lossless LOT and its performance evaluation” (이하, “참조 문헌 4”라고 함);

JCT-VC, 2010년 7월, 스위스 제네바, Joint Collaborative Team on Video Coding meeting, “Test Model under Consideration”, JCTVC-B205(이하, “참조 문헌 5”라고 함);

JCTVC-B300, 2010년 7월, 스위치 제네바, F. Bossen, “Common test conditions and software reference configurations” (이하, “참조 문헌 6”이라고 함); 및

JCTVC-F294, Joint Collaborative Team on Video Coding meeting, 2011년 7월, 이탈리아 토리노, Zhan Ma, Felix C. Fernandes, Elena Alshina, Alexander Alshin, “CE 7: Experimental Results for the Rotational Transform” (이하, 참조 문헌 7”이라 함”).

영상 및 화상 프레임을 효율적으로 압축하기 위하여, 많은 부호화기는 각각의 프레임을 블록으로 분할하고 프레임 내의 각각의 블록에 대하여 직교 1차 변환(orthogonal primary transform)을 수행한다. 이러한 처리 과정은 각 블록 내의 에너지를 소수의 큰 변환 계수 및 몇몇 작은 변환 계수로 압축시킨다. 작은 계수는 높은 압축률을 얻기 위해 대량으로 양자화된다. 압축률을 높이기 위해서는, 양자화 성능을 향상시키기 위한 1차 변환 이후에, 회전 변환(rotational transform) 등의 직교 2차 변환을 적용할 수 있다. 이에 관해서는 참조 문헌 1에 자세하게 개시되어 있다. 그러나, 2차 변환을 사용하면 계산 복잡도가 높아지게 된다. 따라서, 양자화 성능을 향상시키면서 복잡도를 낮춘 2차 변환이 요구된다.

1차 변환 및 2차 변환의 문제점을 해결하기 위한 몇몇 시도가 있어 왔다. 그 중 한가지 방법은 참조 문헌 2에 개시되어 있는 바와 같이, 리프팅 인수 분해(lifting factorization)를 사용하여 1차 변환의 복잡도를 감소시키는 것이다. 이 방법에서는, 리프팅 승수(lifting multipliers)를 k/2^m이라는 형식을 갖는 유리수로 근사화함으로써, 가산기와 시프트를 사용하여 구현될 수 있도록 하고 있다. 1차 변환의 부호화 이득(coding gain)은 리프팅 인수 분해의 복잡도의 제한 때문에 최대로 된다. 이러한 기술은 높은 부호화 이득을 갖도록 설계된 이산 코사인 변환(DCT) 등의 1차 변환에 대해서는 바람직하게 적용되지만, 부호화 이득을 최대로 하는 것이 아닌 양자화 성능을 향상시키도록 경험적으로 설계된 직교 2차 변환에 대해서는 차선책이 된다.

참조 문헌 3에 개시된 다른 방안은 최초의 변환 결과와 근사화한 변환 결과 사이의 평균 제곱 오차와 부호화 이득을 최소로 하여, 낮은 복잡도의 1차 변환을 얻는 것이다. 그러나, 이 기술은 양자화 성능에 중요한 1차 변환의 직교성(orthogonality)을 고려하고 있지 않다. 이에 대해서는 나중에 설명한다.

참조 문헌 4에 개시된 바와 같은 직교성을 가지며 손실이 없는 1차 변환을 설계하고자 하는 일부 방안은 이하에 설명하는 바와 같이 변환 직교성, 그리고 이에 따른 양자화 성능을 최적화하지 못한다. 대신에, 이러한 기술들은 중첩 직교 변환(lapped orthogonal transform)을 사용하여 최초의 변환을 근사화하고 높은 부호화 효율을 갖는 무손실 버전을 이끌어 낸다. 평균 제곱 오차(MSE)는 근사화 정확도를 측정하기 위한 척도이기 때문에, 최상의 MSE 근사화가 반드시 최상의 직교 근사화는 아니라서, 직교성이 최적화되지 않는 것이 명백하다.

회전 변환(rotational transform) 등의 2차 변환은 구체적으로 변환 영역 양자화 오차 및 재구성된 영상 왜곡 간의 직접적인 관계에 의존하는 양자화 성능을 향상시키기 위한 것이다. 이들 2가지 값을 등식으로 나타내어 최적의 직접적인 관계를 얻기 위하여, 변환 영역 에너지 보존 법칙이 사용된다. 직교성이 변환 영역 에너지 보존을 위한 필요충분 조건이라는 것은 주지된 사실이다. 따라서, 회전 변환은 직교성을 보장하는 매개변수화 구조(parameterized structure)를 갖는다. 매개변수는 부호화 이득이 최대로 되도록 경험적으로 선택한다. 그러나, 행렬 승산(matrix multiplication)에 의해 2차 변환을 구현하면, 계산 복잡도가 증가한다.

앞서 설명한 바와 같이, 종래의 방법들은 2차 변환보다는 1차 변환에 중점을 두고 있어서 복잡도를 낮춘 변환 직교성에 대해서는 전혀 고려하고 있지 않다. 상기 언급한 종래의 문제점을 해결하기 위하여, 낮은 복잡도의 거의 직교성인 2차 변환을 제공한다.

도 1은 본 발명의 실시예에 의한 화상 또는 영상 부호화기의 2차 회전 변환부(rotational transform) (이하, 간단히 "ROT"라고 함)를 나타낸다. 도 1에 나타낸 ROT(140)는 예시를 위한 것이다. ROT(140)의 다른 실시예는 본 발명의 범위를 벗어남이 없이, 도 1의 화상/영상 부호화기(100) 또는 임의의 다른 적절한 시스템에 사용될 수 있다.

도 1에 나타낸 바와 같이, 화상/영상 부호화기(100)는 인트라 예측(intra-prediction) 회로부(120), 이산 코사인 변환부(discrete cosine transform: DCT)(130), ROT(140) 및 양자화(quantization) 회로부(150)를 포함한다. 동작의 관점에서, 영상 데이터(110)가 인트라 예측 회로부(120)에 전송된다. 인트라 예측 회로부(120)는 영상 데이터(110)를 인트라 예측 처리한 다수의 블록으로 분할한다. 인트라 예측 처리한 블록의 사이즈는, 예를 들어 8x8, 16x16, 32x32, 64x64 등이 될 수 있으며, 블록마다 다를 수 있다.

DCT(130)는 인트라 예측 회로부(120)로부터 잔차 신호("m_i"라고 함)를 수신하여 1차 변환을 수행한다. 변환된 잔차 신호를 ROT(140)에서 수신하여 2차 변환을 수행한다. ROT(140)의 동작에 대해서는 나중에 더 상세하게 설명한다. ROT(140)에서 변환한 계수("m_o"라고 함)는 양자화 처리를 수행하는 양자화 회로부(150)에 제공된다. 따라서, ROT(140)를 사용하여 양자화 성능을 향상시킬 수 있다.

ROT(140)의 동작에 대하여 이하 상세하게 설명한다. 일실시예에서, 회전 변환된(ROT-변환된) 계수(m_o)는 인트라 예측 회로부(120)로부터 제공된 잔차 신호(m_i)와 다음과 같은 관계를 갖는다.

상기 수학식 1에서, D, R_h 및 R_v는 각각 DCT 행렬, 수평 ROT 행렬 및 수직ROT 행렬을 나타낸다. DCT(130)는 DCT 행렬(D)을 사용하여 1차 변환을 수행하고, ROT(140)는 수평 ROT 행렬(R_h)과 수직 ROT 행렬(R_v)을 사용하여 2차 변환을 수행한다.

이들 행렬(R_h 및 R_v)은 다음의 복잡한 Givens 회전 행렬 곱으로 정의된다.

상기 수학식 2, 3에서, 행렬 R_x(θ) 및 R_z(θ)은 다음과 같이 정의한다.

행렬 R_x(θ) 및 R_z(θ)이 복잡한 회전 행렬인 이유는 이들 행렬이 8차원의 공간에서 2쌍의 축을 중심으로 동시에 회전하기 때문이다. 미리 정해진 각도를 중심으로 한 회전을 수행함으로써, 회전 행렬에 의해 변환 계수 행렬의 열과 행 사이에서 부분적인 에너지 교환이 가능하게 된다. 이러한 에너지 재분배는 에너지 집중을 향상시키고 양자화 오차를 최소로 한다.

부호화 이득을 높이기 위해, 일부 실시예에서는 행렬 쌍(R_h 및 R_v)을 하나 이상 구현한다. 이러한 실시예들 중 하나로서, 4개 세트의 회전각 θ₁ ⁱ,θ₂ ⁱ,θ₃ ⁱ, θ₄ ⁱ, θ₅ ⁱ, θ₆ ⁱ(i = 1,...,4)에 대응하는 4개의 서로 다른 비자명한(non-trivial) 회전 변환(R_h ⁱ 및 R_v ⁱ)을 정의한다. 각각의 인덱스 값(i)에 해당하는 회전각의 값들을 이하의 표 1에 나타낸다.

각각의 회전 행렬이 단위 행렬이 되는 “단위”(identity) ROT를 정의함으로써, ROT가 효과적으로 스킵되고, DCT 이후에는 변환 계수가 변경되지 않게 된다. 단위 ROT는 인덱스 i=0으로 하여 식별할 수 있다. 이들 5개의 ROT 변환은 대체 가능한 다른 변환식의 사전(dictionary)을 구성한다. 일 실시예에서, 5개의 변환 중의 하나를 부호화기에서 선택하여, 각각의 변환 단위에 대하여 i(i = 0,...,4)를 부호화한 다음 복호화기로 전송한다.

ROT(140)의 복잡도를 감소시키기 위하여, 각각의 Givens 회전 행렬을 아래에 나타낸 것처럼 인수 분해할 수 있다.

상기 수학식 6, 7에서, R _xu (θ), R _xv (θ), R _xw (θ), R _zu (θ), R _zv (θ), and R _zw (θ)는 리프팅 행렬 또는“쉬어”(shear)이며, 다음과 같이 정의한다

상기 수학식 8 내지 13에서,

이며,

이다.

수학식 8 내지 수학식 13에서, u = w = -tan(θ/2)이다. 그러나, 몇몇 실시예에서는, u 및 w를 -tan(θ/2)의 상이한 근사치로 설정하여, u와 w를 구분함으로써, 더 양호한 성능을 달성할 수 있다. 복잡도를 감소시키기 위하여, 리프팅 승수(u, v, w)는 k/2^m의 유리수로 근사화될 수 있다. 이러한 근사화(approximation)에 의해, 각각의 리프팅 승수를 가산기(adder)와 시프터(shifter)로 대체할 수 있다.

낮은 복잡도에 대한 측정 기준에 대하여 이하 더 상세하게 설명한다. 전형적인 하드웨어 구현에 있어서, 변수 x와 상수 c의 승산은 하나 이상의 가산기와 비트 시프터에 의해 이루어진다. 예를 들어, 상수 c가 50인 경우에, 변수 x에 상수 c를 승산하기 위하여, 하드웨어는 상수 c의 이진 표현, 즉 '110010'을 고려하고, 다음 수학식 14를 수행한다.

상기 수학식 14에서, “<<”는 좌측 시프트 연산자이다.

수학식 14에서, 승산은 기본적인 2개의 가산기를 사용하여 이루어진다. 상수 c의 이진 표현이 둘 이상의 연속하는 비트 ‘1’을 가지고 있다면, 감산(subtraction)을 이용하여 가산기의 수를 줄일 수 있다. 예를 들어, 상수 c가 61인 경우(이진 표현으로는 ‘111101’)의 변수 x와 상수 c의 승산은 다음과 같이 4개의 가산기를 필요로 한다.

그러나, 11101 = 1000001 - 0001000을 실현하는 데에 있어서, 이러한 연산은 다음과 같이 단지 2개의 기본적인 가산기만으로 수행될 수 있다.

앞서 설명한 예들이 나타내는 것은 승산에 필요한 기본적인 가산기의 수(N_adders)를 다음과 같이 구할 수 있다는 것이다.

상기 수학식 17에서, N_isolated 는 이진 표현 중에서 연속하지 않는 "1"의 개수이며, N_consecutive 는 연속하는 "1"로 이루어진 그룹의 개수이다. 실제로, x와 c의 곱을 알고리즘으로 구현하면 몇몇 다른 수에 가산하는 경우가 있다. 다음의 수학식 18은 이러한 특별한 가산을 보여준다.

ROT(140)를 최적의 양자화 성능을 제공하는 낮은 복잡도의 2차 변환으로서 구현하기 위하여, N_adders를 최소로 하고, 기존의 ROT에 대한 양호한 근사치를 구하며, 직교성의 정도를 최대로 하는 것이 유리하다. 직교성의 최대화는 종래 기술에서는 구체적으로 언급하고 있지 않다. 그러나, 이러한 특성은 이전에 설명한 바와 같이, 양자화 성능에 중요한 것이다.

따라서, 본 발명의 실시예에 의하면, 다음의 최적화 문제를 해결하여, 최적이면서도 낮은 복잡도의 2차 변환을 구할 수 있다

상기 수학식 19에서, R_h(θ) 및 R_v(θ)는 각각 기존의 수평 ROT 및 수직 ROT이며, R_h(u,v,w) 및 R_v(u,v,w)는 각각 벡터 U, V, W 내에 자유 매개변수를 가진 수평 및 수직 ROT 리프팅 매개변수이다. I는 단위 행렬을 나타낸다. 계수(λ₁, λ₂, λ₃, 및 λ₄)는 수학식 19의 각각의 항에 가중치를 주거나 빼도록 선택될 수 있는 가중 계수(weighting coefficient)이다. λ₁, λ₂, λ₃, 및 λ₄의 값은 경험적으로 정해질 수 있으며, 수학식 19의 항에 동일한 가중치가 주어진 경우에는, 모두 “1”로 설정될 수 있다.

Nadders 는 리프팅 승수 u, v, w 내의 기본적인 가산기의 수이며, 낮은 복잡도를 보장하기 위해 최소화된다. 최적화의 제2항 λ₁？R_h(u,v,w) - R_h(θ)？ 및 제3항 λ₂？R_v(u,v,w) - R_v(θ)？은 각각 수평 변환 및 수직 변환과 관련된다. 제2항 및 제3항은 R_h(u,v,w)를 최대한 R_h(θ)에 가깝도록 정하고 R_v(u,v,w)를 최대한 R_v(θ)에 가깝도록 정함으로써, 충실도 기준을 제공한다. 제4항 λ₃？R_h(u,v,w)R_h ^T(u,v,w) - I？ 및 제5 항 λ₄？R_v(u,v,w)R_v ^T(u,v,w) - I？은 각각 수평 변환 및 수직 변환의 직교성을 최적화하고, 이에 따라 양자화 성능이 최대로 되는 것이 명백하다. 제4항과 제5항은 종래 기술에서는 사용되지 않은 것이 명백하며, 따라서 2차 ROT(140)는 종래 기술에 비해 향상된 것이다.

ROT(140)의 장점을 나타내기 위해, ROT(140)의 복잡도 요건과 참조 문헌 5에 개시된 ROT의 복잡도 요건을 비교할 수 있다. 이러한 복잡도 요건은 각각의 변환을 수행하는 데에 필요한 기본적인 가산기의 수로 나타낼 수 있다.

참조 문헌 5의 ROT를 사용하는 응용 중의 하나로서, 한 쌍의 축을 중심으로 한 회전에 기초하여, 순방향 변환(forward transform)에 대해서는 334개의 기본적인 가산기가 필요하며, 역방향 변환(inverse transform)에 대해서는 224개의 기본적인 가산기를 필요로 한다는 것을 알 수 있다. 두 쌍의 축을 중심으로 한 복잡한 회전을 필요로 하기 때문에, 이들의 개수는 두 배로 된다. 따라서, 참조 문헌 5의 순방향 ROT의 경우에는 668개의 기본 가산기가 필요하며, 참조 문헌 5의 역방향 ROT의 경우에는 448개의 기본 가산기를 필요로 한다.

이에 대하여, ROT(140)를 사용하는 동일한 응용에서는, 한 쌍의 축을 중심으로 한 순방향 변환에 대하여 178개의 기본 가산기를 필요로 하며, 역방향 변환에 대해서는 178개의 기본 가산기를 필요로 한다는 것을 알 수 있다. 따라서, ROT(140)를 사용하는 낮은 복잡도의 순방향 ROT의 경우에는 356개의 기본 가산기가 필요하고, ROT(140)를 사용하는 낮은 복잡도의 역방향 ROT의 경우에는 356개의 기본 가산기를 필요로 한다. 이러한 결과를 이하의 표 2에 요약해서 나타낸다.

표 2로부터 알 수 있는 바와 같이, ROT(140)를 사용하게 되면, 참조 문헌 5에 개시된 ROT에 비해, 순방향 변환에 필요한 기본적인 가산기가 46%까지 감축되며, 역방향 변환에 필요한 기본적인 가산기가 21%까지 감축된다. 이러한 결과는 12비트의 정밀도를 가진 리프팅 인수 분해를 사용하는 ROT(140)와 참조 문헌 5의 ROT의 구현에 기초하고 있다. 다시 말해서, u, v, 및 w는 k/2¹², 즉 k/4096(k는 정수)의 유리수로 근사화된다. 또한, 이러한 복잡도의 감축은 압축률을 낮추지 않고도 실현될 수 있는데, 이는 수학식 19의 최적화에 의해 회전 변환 행렬의 직교성, 그리고 이에 따른 양자화 성능이 최대로 되는 것이 보장되기 때문이다. 다른 실시예에서, 12비트의 정밀도 대신에 5비트의 정밀도를 사용하여(즉, u, v 및 w가 k/2⁵, 즉 k/32의 유리수에 의해 근사화됨), ROT의 복잡도를 더 낮출 수 있다.

5비트의 정밀도를 사용하는 실시예로서, 도 1의 부호화 과정의 역 과정이며 양자화된 계수로부터 영상을 복원하는 복호화기에 대하여 상세하게 설명한다.

도 2는 본 발명의 실시예에 따른 복호화기를 나타낸다. 복호화기(200)는 역양자화(inverse quantizer) 회로부(210), 역ROT(inverse ROT: 이하, 간단히 “I-ROT”라고 함)(220), 역DCT(inverse DCT)(230), 및 역인트라 예측(inverse intra-prediction) 회로부(240)를 포함한다.

동작의 관점에서, 역양자화 회로부(210)는 역양자화된 계수로 이루어진 8x8 어레이(S_ij)를 I-ROT(220)에 제공한다. I-ROT(220)는 1차 변환 계수로 이루어진 8x8 어레이(d_ij)를 복원하여 역DCT(230)에 제공한다. 역DCT(230)는 역인트라 예측 회로부(240)에 잔차 신호(m_i)를 제공하고, 역인트라 예측 회로부(240)에서 영상(250)을 복원한다. I-ROT(220)에서의 연산은 다음과 같이 행해진다.

i=0...7인 경우에, 일련의 중간값 t_ij 를 다음과 같이 구한다.

j=0...7인 경우에, 변환된 결과 S_ij 는 중간값으로부터 다음과 같이 산출된다.

승수 행렬에서, 매개변수 u, v, 및 w의 값을 이하의 표 3, 4, 및 5에 구체적으로 나타내고 있다. 각 매개변수의 1차 차원 값(idx)은 표 3, 4, 및 5의 행(row)과 관련되어 있으며, 매개변수의 제2 차원 값(0~5)은 표 3, 4, 및 5의 열(column)과 관련되어 있다.

상기 표 3은 u의 리프팅 승수를 나타낸다.

상기 표 4는 v 의 리프팅 승수를 나타낸다.

상기 표 5는 w 의 리프팅 승수를 나타낸다.

표 3과 표 5는 제1 행 제4열의 항목을 제외하고는 서로 동일하다는 것을 알 수 있다. 다른 실시예에서, 표 5를 기억하거나 구현하지 않기 위해, 제1 행 제4 열의 항목을 “-2”로 설정하면, 표 5는 표 3과 동일하게 된다. 이 경우, 모든 매개변수 w의 리프팅 승수는 대응하는 매개변수 u의 리프팅 승수와 동일하다.

본 발명에 대하여 실시예로서 설명하였지만, 당업자라면 다양한 변경 및 변형이 가능할 것이다. 이러한 변경 및 변형 또한 청구범위에 포함되는 것으로 해석되어야 한다.

Claims

화상 또는 영상을 부호화하는 방법으로서,
1차 변환 회로가 화상 또는 영상 프레임 내의 블록과 연관된 입력 데이터를 수신하고, 수신한 입력 데이터를 변환하여, 1차 출력 계수 세트를 생성하는 단계;
2차 변환 회로가 상기 1차 출력 계수 세트를 수신하고, 2차 변환을 수행하여, 2차 출력 계수 세트를 생성하는 단계; 및
양자화 회로가 상기 2차 출력 계수 세트를 양자화하는 단계를 포함하며,
상기 2차 변환은 승수(multiplier)를 가진 리프팅 스텝으로 인수 분해되는 회전 변환 행렬(rotational transform matrix)을 사용하여 수행되고, 상기 승수는 상기 회전 변환 행렬의 직교성(orthogonality)의 정도가 최대로 되도록 선택되는 것을 특징으로 하는 화상 또는 영상을 부호화하는 방법.
제1항에 있어서, 상기 회전 변환 행렬은 상기 회전 변환 행렬과 연관된 하나 이상의 행렬 승산(matrix multiplication)을 수행하기 위해 필요한 기본적인 가산기(adder)의 수가 최소로 되도록 선택되는 것을 특징으로 하는 화상 또는 영상을 부호화하는 방법.
제2항에 있어서, 상기 회전 변환 행렬과 연관된 매개변수 u, v 및 w는 하기 수학식을 근거로 정해지는 것을 특징으로 하는 화상 또는 영상을 부호화하는 방법.
[수학식]

상기 수학식에서, R_h(θ) 및 R_v(θ)은 각각 미리 정해진 수평 ROT 및 수직 ROT이고, R_h(u,v,w) 및 R_v(u,v,w)은 각각 수평 ROT 리프팅 행렬 및 수직 ROT 리프팅 행렬이며, N_adders은 R_h(u,v,w) 및 R_v(u,v,w) 와 연관된 기본적인 가산기의 개수이고, I는 단위 행렬이며, λ₁, λ₂, λ₃, 및 λ₄는 가중 계수(weighting coefficient)를 나타냄.
제3항에 있어서, 상기 매개변수 u, v, 및 w는 k/2^m 의 형식을 가지며, k와 m은 정수인 것을 특징으로 하는 화상 또는 영상을 부호화하는 방법.
제1항에 있어서, 상기 화상 또는 영상 프레임은 부호화 과정과 실질적으로 반대인 복호화 과정을 사용하는 복호화기에 의해 복원되도록 구성된 것을 특징으로 하는 화상 또는 영상을 부호화하는 방법.
화상 또는 영상을 부호화하는 장치로서,
화상 또는 영상 프레임 내의 블록과 연관된 입력 데이터를 수신하고, 수신한 입력 데이터를 변환하여, 1차 출력 계수 세트를 생성하는 1차 변환 회로;
상기 1차 출력 계수 세트를 수신하고, 2차 변환을 수행하여, 2차 출력 계수 세트를 생성하는 2차 변환 회로; 및
상기 2차 출력 계수 세트를 양자화하는 양자화 회로를 포함하며,
상기 2차 변환 회로는 승수(multiplier)를 가진 리프팅 스텝으로 인수 분해되는 회전 변환 행렬(rotational transform matrix)을 사용하여 2차 변환을 수행하며, 상기 승수는 상기 회전 변환 행렬의 직교성(orthogonality)의 정도가 최대로 되도록 선택되는 것을 특징으로 하는 화상 또는 영상을 부호화하는 장치.
제6항에 있어서, 상기 회전 변환 행렬은 상기 회전 변환 행렬과 연관된 하나 이상의 행렬 승산(matrix multiplication)을 수행하기 위해 필요한 기본적인 가산기(adder)의 수가 최소로 되도록 선택되는 것을 특징으로 하는 화상 또는 영상을 부호화하는 장치.
제7항에 있어서, 상기 회전 변환 행렬과 연관된 매개변수 u, v 및 w는 하기 수학식을 근거로 정해지는 것을 특징으로 하는 화상 또는 영상을 부호화하는 장치.
[수학식]

상기 수학식에서, R_h(θ) 및 R_v(θ)은 각각 미리 정해진 수평 ROT 및 수직 ROT이고, R_h(u,v,w) 및 R_v(u,v,w)은 각각 수평 ROT 리프팅 행렬 및 수직 ROT 리프팅 행렬이며, N_adders은 R_h(u,v,w) 및 R_v(u,v,w) 와 연관된 기본적인 가산기의 개수이고, I는 단위 행렬이며, λ₁, λ₂, λ₃, 및 λ₄는 가중 계수(weighting coefficient)를 나타냄.
제8항에 있어서, 상기 매개변수 u, v, 및 w는 k/2^m 의 형식을 가지며, k와 m은 정수인 것을 특징으로 하는 화상 또는 영상을 부호화하는 장치.
제6항에 있어서, 상기 화상 또는 영상 프레임은 부호화 과정과 실질적으로 반대인 복호화 과정을 사용하는 복호화기에 의해 복원되도록 구성된 것을 특징으로 하는 화상 또는 영상을 부호화하는 장치.
컴퓨터 프로그램을 포함하는, 컴퓨터로 판독 가능한 매체로서,
컴퓨터 프로그램은 실행될 때에 프로세서로 하여금, 화상 또는 영상 프레임 내의 블록과 연관된 입력 데이터를 수신하고, 수신한 입력 데이터를 변환하여, 1차 출력 계수 세트를 생성하며;
상기 1차 출력 계수 세트를 수신하고, 2차 변환을 수행하여, 2차 출력 계수 세트를 생성하며; 및
상기 2차 출력 계수 세트를 양자화하는 처리를 실행하도록 하는 명령어를 포함하며,
상기 2차 변환은 승수(multiplier)를 가진 리프팅 스텝으로 인수 분해되는 회전 변환 행렬(rotational transform matrix)을 사용하여 수행되고, 상기 승수는 상기 회전 변환 행렬의 직교성(orthogonality)의 정도가 최대로 되도록 선택되는 것을 특징으로 하는 컴퓨터로 판독 가능한 매체.
제11항에 있어서, 상기 회전 변환 행렬은 상기 회전 변환 행렬과 연관된 하나 이상의 행렬 승산(matrix multiplication)을 수행하기 위해 필요한 기본적인 가산기(adder)의 수가 최소로 되도록 선택되는 것을 특징으로 하는 컴퓨터로 판독 가능한 매체.
제12항에 있어서, 상기 회전 변환 행렬과 연관된 매개변수 u, v 및 w는 하기 수학식을 근거로 정해지는 것을 특징으로 하는 컴퓨터로 판독 가능한 매체.
[수학식]

상기 수학식에서, R_h(θ) 및 R_v(θ)은 각각 미리 정해진 수평 ROT 및 수직 ROT이고, R_h(u,v,w) 및 R_v(u,v,w)은 각각 수평 ROT 리프팅 행렬 및 수직 ROT 리프팅 행렬이며, N_adders은 R_h(u,v,w) 및 R_v(u,v,w) 와 연관된 기본적인 가산기의 개수이고, I는 단위 행렬이며, λ₁, λ₂, λ₃, 및 λ₄는 가중 계수(weighting coefficient)를 나타냄.
제13항에 있어서, 상기 매개변수 u, v, 및 w는 k/2^m 의 형식을 가지며, k와 m은 정수인 것을 특징으로 하는 컴퓨터로 판독 가능한 매체.