KR20060012626A - 비디오 처리 장치 및 방법 - Google Patents

Abstract

본 발명은 예측 블럭 기반 인코딩 기법에 따라 픽처의 시퀀스에 대응하는 데이터를 처리하는 비디오 처리 장치에 관한 것이다. 상기 장치는 디코딩된 데이터로부터 픽처를 재구성하는 재구성 회로(16)와, 재구성 회로에 의해 전달된 참조 픽처를 저장하는 외부 메모리(1)를 포함한다. 처리 유닛은 처리 유닛과 외부 메모리 사이의 데이터 교환을 제어하는 메모리 제어기(11)와, 예측 영역에 대응하는 데이터(메모리 제어기를 통해 외부 메모리로부터 판독됨)를 일시 저장하는 캐쉬 메모리(17)와, 캐쉬 메모리로부터 판독된 예측 영역에 근거하여, 움직임 보상 데이터를 재구성 회로에 전달하는 움직임 보상 회로(14)를 더 포함한다.

Description

비디오 처리 장치 및 방법{VIDEO PROCESSING DEVICE WITH LOW MEMORY BANDWIDTH REQUIREMENTS}

본 발명은 예측 블럭 기반 인코딩 기법에 따라 픽처의 시퀀스에 대응하는 데이터를 처리하는 비디오 처리 장치에 관한 것이다.

특히, 본 발명은 MPEG 또는 그와 동등한 비디오 표준에 근거한, 비디오 인코더, 디코더 및 트랜스코더에 관한 것이다.

예를 들면, MPEG-2 또는 H.264와 같은 예측 블럭 기반 인코딩 기법에 근거한 비디오 디코더 또는 인코더는 움직임 추정/보상의 순환적 이용에 근거하여, 송신될 정보의 양을 감소시킨다.

도 1은 이들 인코딩 기법에 따른 종래의 비디오 디코더를 도시한다. 그러한 종래의 비디오 디코더에 대해서는, 예를 들면, 에스. 알. 엘리(S. R. Ely)에 의한 "MPEG video encoding: a basic tutorial introduction", BBC Research and Development Report(1996년 3월)의 문헌에 기술되어 있다.

상기 비디오 디코더(100)는 인코딩된 픽처의 시퀀스에 대응하는 인코딩된 데 이터 스트림 ES를 디코딩하는 디코딩 유닛(10)을 포함한다. MPEG 표준에서, 세 가지 유형의 픽처가 고려되는데, 즉, 다른 픽처에 대한 어떠한 참조도 없이 인코딩된 I (또는, 인트라) 픽처와, 과거 픽처(I 또는 P)를 참조하여 인코딩된 P (또는, 예측) 픽처와, 디스플레이 순서에 있어서 과거 및 미래 픽처(I 또는 P)를 참조하여 인코딩된 B (또는, 양방향 예측) 픽처가 고려된다. 이하, 이들 I 및 P 픽처는 참조 픽처라고 지칭될 것이다. 더욱이, MPEG 시퀀스의 각각의 픽처는 매크로블럭이라고 지칭되는 움직임 보상 영역들로 세분된다.

종래 기술에 따른 디코딩 유닛은,

- 인코딩된 데이터 스트림을 분석하는 파서(parser)(12)와,

- 움직임 벡터 V(n) 및 가변 길이 디코딩된 데이터를 계산하는 매크로블럭 처리 유닛 MBPU(13)와,

- 가변 길이 디코딩된 데이터로부터 잔여 에러 데이터 R'(n)을 전달하는 역양자화 및 역이산 코사인 변환 IQ/IDCT 회로(15)와,

- 움직임 벡터 V(n)를 이용하여 움직임 보상된 데이터를 전달하는 움직임 보상 회로 MC(14)와,

- 움직임 보상된 데이터 및 잔여 에러 데이터의 합으로부터 픽처를 재구성하는 재구성 회로 REC(16)를 포함한다.

알려진 비디오 디코더는 재구성 회로에 의해 전달된 재구성된 픽처를 저장하는 외부 메모리 EMEM(1)을 포함한다. 저장될 픽처는 인트라 또는 예측 유형의 참조 픽처 F0 및 F1이다.

디코딩 유닛은 데이터 버스(2)를 통한, 상기 디코딩 유닛과 외부 메모리 사이의 데이터 교환을 제어하는 메모리 제어기 MMI(11)를 더 포함한다. 상기 데이터 교환은, 예를 들면, 재구성 회로로부터 외부 메모리로 참조 픽처를 저장하는 것, 또는 참조 픽처내의 움직임 보상된 데이터를 외부 메모리로부터 판독하여, 그들을 움직임 보상 회로에 페치하는 것이다.

종래 기술의 첫 번째 단점은, 움직임 보상이 매크로블럭 단위로 수행되어, 연속적인 매크로블럭에 대한 외부 메모리의 상이한 영역들로부터 움직임 보상된 데이터가 일반적으로 판독된다는 것이다. 그 결과, 외부 메모리로부터의 데이터 판독은 불규칙적인 방법으로 달성되며, 종래 기술에 따른 비디오 디코더는 저장될 데이터의 양 및 메모리 제어기에 의해 외부 메모리에 대한 액세스를 최적화하는 것의 어려움으로 인해 상당한 메모리 대역폭을 필요로 한다. 사실상, 판독될 데이터는 메모리 데이터 뱅크에서 정렬될 필요가 없다. 이러한 단점은, 대역폭 자원이 무어의 법칙(Moore' law)에 따라 프로세서 주파수가 증가하는 만큼 빠르게 증가하지 않는다는 사실에 의해 더욱 현저해진다.

이하의 예는, MPEG-2 디코딩의 경우에 있어서, 이러한 점을 도시하고 있다. 외부 메모리가 64 비트의 워드들로 구성된 것으로 가정한다. 그 다음, 워드는 화소들의 8개의 값(휘도(luminance) 및 색도(chrominance))을 포함한다. 움직임 보상 회로는 적어도 16x8 화소의 영역을 판독해야 한다. MPEG-2 표준에서, 움직임 보상은 절반 화소(half-pixel) 정확성을 갖는다. 그 결과, 움직임 보상 유닛은 보간된 화소 값을 계산하기 위해, 17x9 화소의 영역을 판독해야 한다. 워드로 된 메모리 구성으로 인해, 움직임 보상 회로는 사실상, 3 워드의 9 라인, 즉, 24x9 바이트를 판독하는데, 이것은 30%의 대역폭 손실에 대응한다(MPEG-2 고선명 HD 픽처에 대해, 17x9는 대략 180 Mbytes/s의 대역폭에 대응하고, 24x9는 대략 270 Mbytes/s의 대역폭에 대응함).

다른 문제점은 메모리 제어기의 최적화와 관련된 것이다. 이것은 예를 들어, SDRAM과 같은 외부 메모리가 데이터의 불규칙 판독에 적합하지 않은 버스트 모드에서 동작한다는 사실로 인한 것이다. 버스트는 메모리의 각 라인에 대해 발생된다. 버스트는 적어도 7 또는 8 주기를 포함하는데, 본 예에서는, 3 주기이면 3 워드의 라인을 판독하는데 충분할 것이다. 그 결과, 종래 기술에 따른 비디오 디코더에 대해 요구되는 필요한 대역폭은, 디코딩 처리를 위해 이론적으로 필요한 대역폭의 2배보다 크다.

더욱이, 참조 픽처는 외부 메모리 대신에 내장 메모리들에 쉽게 저장될 수 없는데, 그 이유는, 상기 메모리들이 여전히 고가이기 때문이다. 본 예에서는, 고선명 HD 포맷에서 6 Mbyte의 내장 메모리가 필요할 것이며, 그러한 메모리는 CMOS 0.12 미크론 기법에서 대략 50 mm² 크기의 회로에 대응하며, 그것은 너무 커다란 회로 표면을 나타낸다.

발명의 개요

본 발명의 목적은 종래 기술에서의 메모리 대역폭보다 좁은 메모리 대역폭을 필요로 하는 비디오 처리 장치를 제안하는 것이다.

이를 위해, 본 발명에 따른 비디오 처리 장치는,

- 디코딩된 데이터로부터 픽처를 재구성하는 재구성 회로를 포함하는 처리 유닛과,

- 재구성 회로에 의해 전달된 재구성된 픽처를 저장하는 외부 메모리를 포함하되,

처리 유닛은,

- 처리 유닛과 외부 메모리 사이의 데이터 교환을 제어하는 메모리 제어기와,

- 예측 영역에 대응하는 데이터를 일시 저장하는 캐쉬 메모리―상기 데이터는 메모리 제어기를 통해 외부 메모리로부터 판독됨―와,

- 캐쉬 메모리로부터 판독된 예측 영역에 근거하여, 움직임 보상 데이터를 재구성 회로에 전달하는 움직임 보상 회로를 더 포함한다.

본 발명은, 압축 해제 처리 동안, 처리 유닛이 참조 픽처의 사전결정된 영역에 대응하는 외부 메모리의 사전결정된 영역(이하에서는, 예측 영역이라고 지칭됨)을 순환적으로 판독할 필요가 있다는 사실에 근거한 것이다. 상기 예측 영역은 블럭당 현재 픽처 블럭을 재구성하기 위한 참조로서 기능한다.

그러한 예측 영역은 전체 픽처보다 상당히 작기 때문에, 커다란 비용 또는 회로 표면을 필요로 하지 않고서도, 내장 메모리, 즉, 캐쉬 메모리내로 로딩될 수 있다.

그 결과, 본 발명에 따른 처리 장치에 의해 요구된 메모리 대역폭은, 캐쉬 메모리가 없는 해결책에 비해 감소된다.

더욱이, 외부 메모리로부터 캐쉬 메모리내로 데이터를 판독하는 것이 규칙적으로 달성되므로, 메모리 제어기 레벨에서의 대역폭 손실이 발생되지 않는다.

이제, 본 발명은 첨부 도면을 참조하면서, 예를 통해, 보다 상세히 기술될 것이다.

도 1은 종래의 비디오 디코더의 개략도이다.

도 2는 본 발명에 따른 비디오 디코더의 개략도이다.

도 3은 본 발명에 따른 비디오 디코더의 개략도이다.

본 발명은 비디오 디코더 및 비디오 인코더의 예를 통해 기술되지만, 당업자라면, 본 발명이, 인코딩된 픽처의 시퀀스에 대응하는 제 1 인코딩된 데이터 스트림을 제 2 인코딩된 데이터 스트림으로 트랜스코딩하는 트랜스코더와 같이, 예측 블럭 기반 인코딩 기법에 따라 픽처의 시퀀스에 대응하는 데이터를 처리하는 임의의 비디오 처리 장치, 또는 비디오 스케일링을 수행하는 장치에 적용될 수 있음을 명백히 알 것이다.

본 발명은 MPEG-2 표준의 경우에 대해 기술되지만, 예측 영역이 제한된 포맷을 갖는, 예를 들면, H.264와 같은 다른 인코딩 포맷에도 적용될 수 있다.

또한, 본 발명은 (위에서 정의된 바와 같이) 17x9 화소 영역이 발견되어야 하는 예측 영역의 크기가 사전결정된다는 사실에 근거한 것이다. MPEG-2 표준의 예에서, 예측 영역은 디코딩을 위해 256 라인으로 한정된다.

도 2는 본 발명에 따른 비디오 디코더를 기술한다. 상기 비디오 디코더(200)는 인코딩된 픽처의 시퀀스에 대응하는 인코딩된 데이터 스트림 ES를 디코딩하는 디코딩 유닛(20)을 포함한다. 상기 디코딩 유닛은,

- 인코딩된 데이터 스트림을 분석하는 파서(12)와,

- 움직임 벡터 V(n) 및 가변 길이 디코딩된 데이터를 계산하는 매크로블럭 처리 유닛 MBPU(13)와,

- 가변 길이 디코딩된 데이터로부터 잔여 에러 데이터 R'(n)을 전달하는 역양자화 및 역이산 코사인 변환 IQ/IDCT 회로(15)와,

- 움직임 벡터 V(n)를 이용하여 움직임 보상된 데이터를 전달하는 움직임 보상 회로 MC(14)와,

- 움직임 보상된 데이터 및 잔여 에러 데이터의 합으로부터 픽처를 재구성하는 재구성 회로 REC(16)를 포함한다.

비디오 디코더는 재구성 회로에 의해 전달된 참조 픽처 F0 및 F1을 저장하는 외부 메모리 EMEM(1)을 포함한다.

또한, 디코딩 유닛은 데이터 버스(2)를 통한, 상기 디코딩 유닛과 외부 메모리 사이의 데이터 교환을 제어하는 메모리 제어기 MMI(11)를 포함한다.

본 발명에 따른 비디오 디코더는 메모리 제어기를 통해 외부 메모리로부터 판독된 데이터를 일시 저장하는 캐쉬 메모리 CM(17)을 더 포함한다. 상기 캐쉬 메모리는, MPEG-2의 경우에, 256 라인을 포함하며, 예측 영역을 수신한다. 캐쉬 메모리의 내용은 상이한 방법들로 갱신될 수 있다.

제 1 방법에 따르면, 예측 영역에 대응하는 데이터가, 디코딩 처리 동안 규칙적인 방법으로 외부 메모리로부터 판독된다. 캐쉬 메모리의 내용은 행 단위로 변경되며, 매 시간, 매크로블럭의 행이 처리된다. 그 후, 상기 캐쉬 메모리의 내용을 직접적으로 이용하여 움직임 보상이 수행되고, 캐쉬 메모리의 레벨에서 데이터의 불규칙적 판독이 수행되며, 외부 메모리의 레벨에서는 더 이상 수행되지 않으므로, 추가적인 메모리 대역폭을 필요로 하지 않는다. 그 결과, 본 발명에 따른 디코딩 장치에 의해 요구되는 대역폭이 고정되며, 약 180 Mbytes/s와 동일하게 된다.

다른 방법에 따르면, 캐쉬 메모리의 256 라인이 동일한 영역들로 분할된다. 디코딩 유닛이 영역내의 특정 화소에 액세스할 필요가 있는 경우, 캐쉬 메모리에 의해 요청, 예를 들면, 캐쉬 미스(cache miss)가 생성되는데, 그것은 대응하는 영역이 메모리 제어기에 의해 외부 메모리로부터 캐쉬 메모리로 페치되는 경우에만 그러하다. 그러므로, 디코딩 동안 영역으로부터 어떠한 화소도 필요하지 않다면, 픽처의 대응하는 부분을 페치하기 위한 대역폭이 절약된다. 그 결과, 본 발명에 따른 디코딩 장치에 의해 요구되는 대역폭은 가변적이며, 디코딩된 스트림에 따라, 0과 180 Mbyte/s 사이로 구성된다.

본 발명의 제 1 실시예에 따르면, 2개의 참조 픽처의 예측 영역이 캐쉬 메모리에 저장된다. 따라서, 내장 메모리의 크기는, 전체 프레임이 내장되는 해결책에 비해, HD 포맷에서 4개보다 많게 분할된다.

본 발명의 제 2 실시예에 따르면, 과거 참조 픽처의 예측 영역만이 캐쉬 메모리에 저장되는 반면, 미래 참조 픽처는 외부 메모리로부터 판독된다. 이 경우, 내장 메모리 크기는 감소되지만, 본 발명에 따른 비디오 디코더에 의해 요구되는 메모리 대역폭은 제 1 실시예에 비해 약간 증가된다.

본 발명의 제 3 실시예에 따르면, 참조 픽처의 휘도 성분의 예측 영역은 캐쉬 메모리에 저장되는 반면, 상기 참조 픽처의 색도 성분의 예측 영역은 외부 메모리로부터 직접 판독된다. 동일한 방법에서, 내장 메모리는 감소되지만, 비디오 디코더에 의해 요구되는 대역폭은 제 1 실시예에 비해 약간 증가된다.

또한, 본 발명은 비디오 인코더에 적용가능하다. 도 3은 본 발명에 따른 비디오 인코더를 기술한다. 상기 비디오 인코더(300)는 픽처의 시퀀스에 대응하는 입력 데이터 스트림을 인코딩하는 인코딩 유닛(30)을 포함한다. 상기 인코딩 유닛은,

- 제 1 잔여 에러 데이터 R(n)을 전달하는 감산기 SUB(32)와,

- 제 1 잔여 에러 데이터 R(n)을 연속적으로 변환 및 양자화하는 이산 코사인 변환 및 양자화 DCT/Q 회로(33)와,

- 양자화된 데이터로부터 가변 길이 코딩된 데이터를 전달하는 가변 길이 코더 VLC(34)와,

- 양자화된 데이터로부터 제 2 잔여 에러 데이터 R'(n)을 전달하는 역양자화 및 역이산 코사인 변환 IQ/IDCT 회로(35)와,

- 움직임 벡터 V(n)을 이용하여 움직임 보상된 데이터 P(I'(n-1);V(n))을 재구성 회로 REC(36) 및 감산기로 전달하는 움직임 보상 회로 MC(37)―감산기는 입력 데이터 I(n)으로부터 움직임 보상된 데이터를 감산함―와,

- 움직임 보상된 데이터 및 제 2 잔여 에러 데이터 R'(n)의 합으로부터 픽처를 재구성하는 재구성 회로 REC(36)와,

- 참조 픽처에서, 그의 대응하는 움직임 벡터 V(n) 뿐만 아니라, 인코딩된 현재 매크로블럭에 관련된 참조 매크로블럭을 찾는 움직임 추정 회로 ME(38)를 포함한다.

움직임 추정 회로는, 예를 들면, 절대 차분의 합(sum of absolute differences) SAD의 계산에 근거하며, SAD는 다음과 같이 표현된다.

여기서, B(i) 및 A(i)는 크기 k x k(예를 들면, MPEG-2 표준에 대해 16x16 화소)의 현재 매크로블럭 및 참조 픽처에서의 참조 매크로블럭을 각각 나타낸다. SAD를 최소화하는 참조 매크로블럭은 최상의 매칭 매크로블럭으로서 간주되며, 대응하는 데이터 및 움직임 벡터가 도출된다.

비디오 디코더는 인코딩될 현재 픽처 뿐만 아니라, 재구성 회로에 의해 전달된 참조 픽처 F0 및 F1을 저장하는 외부 메모리 EMEM(1)을 포함한다.

인코딩 유닛은 데이터 버스(2)를 통한, 상기 인코딩 유닛과 외부 메모리 사이의 데이터 교환을 제어하는 메모리 제어기 MMI(31)를 포함한다.

본 발명에 따른 비디오 디코더는, 예측 영역에 대응하며 메모리 제어기를 통해 외부 메모리로부터 판독되는 데이터를 일시 저장하는 캐쉬 메모리 CM(39)을 더 포함한다. 그 다음, 상기 캐쉬 메모리를 직접 이용하여 움직임 추정 및 움직임 보상이 수행된다.

비디오 인코더의 경우, 대역폭의 관점에서의 이득은 비디오 디코더에 비해 증가될 수 있는데, 그 이유는, 예측 영역의 크기가 인코딩을 위한 기준이 되는 것은 아니며, 따라서 128 라인으로, 심지어는 64 라인으로 감소될 수 있기 때문이며, 물론, 이 경우 비디오 품질은 저하되게 된다.

앞에서, 도면 및 그들에 대한 설명은 본 발명을 제한하기 위한 것이 아니다. 첨부된 특허 청구 범위에 속하는 다양한 대안이 존재한다는 것은 명백한 것이다. 이러한 측면에서, 아래와 같이 기술된다.

하드웨어의 항목에 의해 기능들을 구현하는 다양한 방법이 존재한다. 이러한 측면에서, 도면은 매우 개략적인 것이며, 각 도면은 본 발명의 한 가지 가능한 실시예만을 나타내는 것이다. 따라서, 도면에서는 상이한 기능들이 상이한 블럭들로 도시되지만, 이것은 하나의 하드웨어 항목이 몇 가지의 기능들을 수행함을 결코 배제하는 것이 아니다. 또한, 하드웨어 항목들의 어셈블리가 하나의 기능을 수행하는 것을 배제하지도 않는다.

이하의 특허 청구 범위에서의 임의의 참조 부호는 특허 청구 범위를 제한하고자 하는 것이 아니다. "포함한다" 는 동사 및 그것의 활용을 이용하는 것은, 소정의 특허 청구 범위에 정의된 것들 이외의 다른 단계 또는 요소가 존재함을 배제하는 것이 아니다. 요소 또는 단계 앞의 "하나" 라는 단어는 그러한 요소 또는 단계가 복수 존재함을 배제하는 것이 아니다.

Claims (10)

1. 예측 블럭 기반 인코딩 기법(predictive block-based encoding technique)에 따라 픽처의 시퀀스에 대응하는 데이터를 처리하는 비디오 처리 장치에 있어서,

   디코딩된 데이터로부터 픽처를 재구성하는 재구성 회로(16;36)를 포함하는 처리 유닛(20;30)과,

   상기 재구성 회로에 의해 전달된 참조 픽처를 저장하는 외부 메모리(1)를 포함하되,

   상기 처리 유닛은,

   상기 처리 유닛과 상기 외부 메모리 사이의 데이터 교환을 제어하는 메모리 제어기(11;31)와,

   예측 영역에 대응하는 데이터를 일시 저장하는 캐쉬 메모리(17;39)―상기 데이터는 상기 메모리 제어기를 통해 상기 외부 메모리로부터 판독됨―와,

   상기 캐쉬 메모리로부터 판독된 상기 예측 영역에 근거하여, 움직임 보상 데이터를 상기 재구성 회로에 전달하는 움직임 보상 회로(14;37)를 더 포함하는

   비디오 처리 장치.
2. 제 1 항에 있어서,

   상기 처리 유닛은 인코딩된 픽처의 시퀀스에 대응하는 인코딩된 데이터 스트 림을 디코딩하는 디코딩 유닛(20)인 비디오 처리 장치.
3. 제 1 항에 있어서,

   상기 처리 유닛은 픽처의 시퀀스에 대응하는 입력 데이터 스트림을 인코딩하는 인코딩 유닛(30)인 비디오 처리 장치.
4. 제 1 항에 있어서,

   상기 처리 유닛은 인코딩된 픽처의 시퀀스에 대응하는 제 1 인코딩된 데이터 스트림을 제 2 인코딩된 데이터 스트림으로 트랜스코딩하는 트랜스코딩 유닛인 비디오 처리 장치.
5. 제 1 항에 있어서,

   상기 메모리 제어기(11;31)는 완전한 예측 영역에 대응하는 데이터를, 상기 외부 메모리(1)로부터 상기 캐쉬 메모리(17;39)로, 자동으로 페치할 수 있는 비디오 처리 장치.
6. 제 1 항에 있어서,

   상기 캐쉬 메모리(17;39)는 동일한 영역들로 분할되고, 상기 메모리 제어기(11;31)는 상기 처리 유닛의 요청시에, 상기 외부 메모리(1)로부터 상기 캐쉬 메모리(17;39)로, 영역에 대응하는 데이터를 페치할 수 있는 비디오 처리 장치.
7. 제 1 항에 있어서,

   상기 캐쉬 메모리(17;39)는 2개의 참조 픽처의 상기 예측 영역을 수신하는 비디오 처리 장치.
8. 제 1 항에 있어서,

   상기 캐쉬 메모리(17;39)는 과거 참조 픽처의 상기 예측 영역을 수신하고, 미래 참조 픽처의 상기 예측 영역은 상기 외부 메모리(1)로부터 판독되는 비디오 처리 장치.
9. 제 1 항에 있어서,

   상기 캐쉬 메모리(17;39)는 적어도 하나의 참조 픽처의 상기 예측 영역의 휘 도 성분을 수신하는 비디오 처리 장치.
10. 예측 블럭 기반 인코딩 기법에 따라 픽처의 시퀀스에 대응하는 데이터를 처리하는 비디오 처리 방법에 있어서,

    디코딩된 데이터로부터 픽처를 재구성하는 단계와,

    상기 재구성 단계에 의해 전달된 참조 픽처를 외부 메모리(1)에 저장하는 단계와,

    예측 영역에 대응하는 데이터를 캐쉬 메모리(17;39)에 일시 저장하는 단계―상기 데이터는 메모리 제어기를 통해 상기 외부 메모리로부터 판독됨―와,

    상기 캐쉬 메모리로부터 판독된 상기 예측 영역에 근거하여, 움직임 보상 데이터를 상기 재구성 단계로 전달할 수 있는 움직임 보상 단계를 포함하는

    비디오 처리 방법.

Images