KR100606812B1 - 비디오 디코딩 시스템 - Google Patents

Abstract

본 발명은 비디오 디코딩 시스템에 관한 것으로서, 특히 외부 메모리로 DDR SDRAM를 이용하는 경우 DDR SDRAM에서 매크로 블록의 메모리 억세스 횟수를 최소화하고 DDR 특성에 의한 불필요한 추가 워드 읽기를 최소화 할 수 있도록 매크로 블록을 재배치하여 저장함으로써, 비디오 디코더의 프레임 디코딩 및 디스플레이를 위한 매크로 블럭의 메모리 억세스를 효율적으로 수행할 수 있다. 특히 전체적인 비디오 디코딩 소요시간을 줄여주어 디지털 방송 수신기에 다른 부가 기능들을 제공할 수 있도록 메모리 사용에 여유를 줄 수 있다.

매크로 블록 재배치, DDR SDRAM, 공유

Description

비디오 디코딩 시스템{Video decoding system}

도 1은 일반적인 디지털 방송 수신기의 구성 블록도

도 2는 본 발명에 따른 비디오 디코딩 시스템의 메모리 억세스 제어 장치의 구성 블록도

도 3은 도 2의 메모리 중재기 인터페이스부의 상세 블록도

도 4는 64비트 외부 메모리 버스 사용시 한 매크로 블록의 Y 신호에 대한 1 로우 내 외부 메모리의 컬럼 배치를 나타낸 본 발명의 도면

도 5는 64비트 외부 메모리 버스 사용시 한 매크로 블록의 C 신호에 대한 1 로우 내 외부 메모리의 컬럼 배치를 나타낸 본 발명의 도면

도 6a, 도 6b는 압축 모드시 외부 메모리의 컬럼별 매크로 블록 배치 예를 나타낸 본 발명의 도면

도 7a는 도 2의 읽기 FIFO부의 상세 구성을 보인 도면

도 7b는 비압축 모드인 경우 도 7a의 읽기 FIFO부의 제어 예를 보인 도면

도 7c는 압축 모드인 경우 도 7a의 읽기 FIFO부의 제어 예를 보인 도면

도 8은 32비트 외부 메모리 버스 사용시 한 매크로 블록의 Y 신호에 대한 1 로우 내 외부 메모리의 컬럼 배치를 나타낸 본 발명의 도면

도면의 주요부분에 대한 부호의 설명

100 : 외부 메모리 110 : 메모리 중재기

121 : CPU 122 : 시스템 디코더

123 : 비디오 디코더 124 : 오디오 디코더

125 : OSD/GFX 126 : 디스플레이 처리부

220 : 메모리 억세스 제어부 221 : 매크로 블록 쓰기 제어부

222 : 쓰기 FIFO부 223 : 메모리 중재기 인터페이스부

224 : 읽기 FIFO부 225 : 매크로 블록 읽기 제어부

본 발명은 디지털 방송 수신기 또는, 디지털 화상회의 시스템 응용분야에 적용하는 엠펙(Moving Picture Experts Group ; MPEG)-2 비디오 디코딩 시스템의 프레임 메모리 억세스 제어 장치에 관한 것이다.

MPEG-2는 현재 전 세계적으로 실시 및 준비되고 있는 디지털 방송의 비디오 압축 표준으로 되어 있다. 이에 따라 각 디지털 방송 수신기에는 MPEG-2 비디오 디코딩 시스템을 포함하여야 한다.

도 1은 이러한 비디오 디코딩 시스템이 포함된 디지털 방송 수신기의 구성 블록도로서, CPU(121), 시스템 디코더(122), 비디오 디코더(123), 오디오 디코더(124), OSD/GFX(On Screen Display/Graphic Engine)(125), 디스플레이 처리부(126), 메모리 중재기(110), 및 외부 메모리(100)를 포함하여 구성된다.

상기 시스템 디코더(121)는 한 채널에 포함된 다수의 프로그램들 중 원하는 한 프로그램을 선택하여 패킷화되어 있는 오디오와 비디오 비트스트림을 분리한다. 그리고 분리된 비디오 비트 스트림은 중재기(110)와 외부 메모리(100)를 통해 비디오 디코더(123)로 출력하고, 분리된 오디오 비트 스트림은 중재기(110)와 외부 메모리(100)를 통해 오디오 디코더(124)로 출력한다.

상기 비디오 디코더(123)는 입력되는 비디오 비트스트림에서 오버헤드(각종 헤더 정보, 스타트 코드등)를 제거한다. 그리고 나서, 순수한 데이터 정보를 가변 길이 디코딩(Variable Length Decoding ; VLD)한 후 역양자화(IQ) 과정, 역 이산 코사인 변환(Inverted Discrete Cosine Transform ; IDCT) 과정, 및 움직임 벡터를 이용한 움직임 보상(MC) 과정을 거쳐 원래 화면의 픽셀 값을 복원한다.

즉 송신측의 MPEG-2 비디오 인코더에서 25~60 프레임의 영상을 I, P, B 픽쳐로 압축하여 전송하면, 디지털 방송 수신기의 MPEG-2 비디오 디코더(123)에서는 이를 수신하여 각각 슬라이스(slice) 단위로 디코딩한다. 상기 슬라이스는 매크로 블록(macro block)의 연속이다.

이때, 인트라(Intra) 매크로 블록의 경우엔 비디오 디코더 내의 VLD(Variable Length Decoder), IQ(Inverse Quantizer), 및 IDCT(Inverse Discrete Cosine Transform)를 거쳐서 원 영상 신호로 복원이 된다. 인터(Inter) 매크로 블록의 경우엔 외부 메모리의 레퍼런스 프레임으로부터 매크로 블록을 읽어와 현재 매크로 블록 데이터와 움직임 보상에 의해 원 영상 신호로 복원한 후 해당 매크로 블록을 외부 메모리에 쓰게 된다. 그리고 한 개의 프레임이 디코딩되어 외부 메모 리에 저장되면 적절한 타이밍에 디스플레이 처리부(126)에 의해 읽혀져서 화면에 디스플레이 되게 된다.

이러한 비디오 디코더(123)는 비디오 디코딩을 위한 비트 스트림의 쓰기와 읽기, 움직임 보상을 위하여 필요한 데이터의 읽기, 디코딩된 데이터의 쓰기를 수행하기 위해 상기 메모리 중재기(110)를 통해 메모리(100)를 억세스한다.

상기 오디오 디코더(124)는 MPEG 알고리즘 또는 오디오 코딩(AC)-3 알고리즘등을 이용하여 입력되는 오디오 비트스트림을 원래의 신호로 복원한다. 상기 오디오 디코더(124)도 비디오 디코더(123)와 마찬가지로 오디오 디코딩을 위한 비트 스트림의 쓰기와 읽기, 디코딩된 데이터의 쓰기를 수행하기 위해 상기 메모리 중재기(110)를 통해 외부 메모리(100)를 억세스한다.

상기 CPU(121)는 디지털 방송 수신기의 전반적인 제어 예를 들면, 상기된 오디오/비디오 데이터 분리, 오디오/비디오 디코딩, 및 디스플레이를 제어하기 위해 메모리 중재기(110)를 통해 외부 메모리(100)를 억세스한다.

이러한 디지털 방송 수신기는 최근 SOC(System On Chip) 형태로 개발되고 있는 것이 추세이다. 즉, CPU(121), 시스템 디코더(122), 비디오 디코더(123), 오디오 디코더(124), OSD/GFX(125), 디스플레이 처리부(126) 등의 메모리 억세스 장치(Memory Access Unit ; MAU)들을 하나의 칩으로 통합하여 구현하는 것이다.

또한 SOC 형태의 디지털 방송 수신기는 CPU(121)가 A/V 관련 처리 블록(122~126)과 메모리(100)를 공유하는 공유 메모리(Unified Memory)를 사용하거나, CPU(121)와 A/V 관련 처리 블록(122~126)이 메모리를 나누어 쓰기도 한다.

상기 공유 메모리의 경우 메모리를 MAU 블록간에 할당하여 사용하기 편한 점과 메모리의 인터페이스 라인이 줄어드는 장점이 있다. 즉, 외부 연결핀의 감소를 기대할 수 있다.

상기된 도 1은 SOC 칩의 내부의 다수개의 MAU들(121~126)이 병렬로 메모리 중재기(memory arbitor)(110)를 통해 외부의 공유 메모리(100)에 연결된 예를 보이고 있다.

상기 메모리 중재기(110)는 메모리(100)를 억세스하기 위해 메모리 데이터 버스 중재에 참가한 다수의 MAU들(121~126) 중에서 하나의 MAU에게 버스의 사용권을 허가한다. 즉, 상기 다수개의 MAU(121~126) 중 임의의 MAU는 상기 메모리(100)에 데이터를 쓰거나 또는 메모리(100)에 저장된 데이터를 읽어오려고 할 때 먼저 메모리 중재기(110)에게 메모리(100)를 억세스하고자 한다는 요청(Request)을 한다. 상기 메모리 중재기(110)는 각 MAU에서 들어온 요청을 확인한 후 어떤 MAU에서 들어온 요청을 먼저 처리해줄 것인가를 결정하고 결정된 MAU에게 메모리(100)를 억세스할 수 있도록 메모리 데이터 버스의 사용권을 허가한다(ack).

이때 공유 메모리에 여러 개의 MAU가 연결되는 시스템에서는 각 MAU의 동작에 지장이 없도록 각 MAU 블록이 메모리에 읽고 쓰기를 할 수 있어야 시스템이 안정적으로 운영된다.

이를 위해 여러 MAU 블록이 하나의 메모리를 공유해서 사용하는 시스템의 경우 각 블록의 동작 속도에 필요한 메모리 억세스가 가능하기 위한 효율적인 메모리 제어가 필요하다. 이를 위해 메모리 밴드폭(Bandwidth)을 확보 해주는 것이 필요하 다. 메모리 밴드폭을 확보하는 방법으로는 메모리의 동작 클럭을 높여 주는 방법이 있을 수 있다. 하지만 동작 클럭을 높여주면 노이즈의 위험에 의해 시스템 구성이 더 어려워지고 또한, 타이밍의 확보를 위해 하드웨어 블록이 추가되는 등으로 인해 비용이 상승하는 문제점이 있으므로, 적절한 메모리 동작 클럭에서 밴드폭을 최대한 확보해주기 위한 방법이 필요하다.

또한 디지털 방송 수신기에서 고화질(High Definition ; HD)급 영상을 디코딩하여 디스플레이하거나, 다양한 데이터 방송 등을 지원하기 위해서는 비디오 디코딩 칩의 처리 속도를 증가시켜야 하며 이를 위해서는 높은 데이터 처리 속도를 가지는 더블 데이터 레이트(double data rate ; DDR) 동기식 DRAM(SDRAM)과 같은 외부 메모리(100)가 필요하다.

즉 HD급 디코딩 기능을 갖는 비디오 디코더는 상대적으로 많은 밴드폭을 요구한다. 이는 HD급 비디오의 메모리 쓰기와 디스플레이를 위한 메모리 읽기 외에 움직임 보상을 위한 메모리 읽기가 원인이 된다. 움직임 보상을 위한 메모리 읽기의 경우에 여러 개의 매크로 블록에 걸쳐있는 데이터를 읽어야 하는 어려움도 있다.

상기 외부 메모리(100)로 DDR SDRAM을 사용할 경우 각 MAU들은 128비트의 내부 버스를 사용하여 메모리 중재기(110)에 데이터를 보내고 받으며, 상기 메모리 중재기(110)는 32비트 또는, 64비트의 외부 데이터 버스로 DDR SDRAM(100)와 데이터를 주고 받는다. 만일 64비트의 외부 데이터 버스를 통해 DDR SDRAM(100)과 통신하는 경우 상기 DDR SDRAM(100)은 한 클럭에 두 번 데이터를 읽거나 쓸 수 있다.

또한 상기 외부 메모리(100)로 DDR SDRAM이나 SDRAM을 사용하는 경우에 특정 어드레스에서 메모리 억세스를 시작하기 위해 여러 클럭의 초기화 과정이 필요하다. 한번의 억세스로 한 뱅크내의 여러 데이터를 읽을 때에는 연속적으로 읽을 수 있다. 여기에 여러 MAU 블록이 메모리를 공유하므로 각 MAU 블록이 메모리를 억세스하는 시간이 일정 시간을 넘지 않는 것이 필요하다. 이는 MAU의 내부 버퍼 사이즈가 제한되어야 하기 때문이기도 하다. 특히 도 1과 같은 디지털 방송 수신기의 경우 다른 MAU들에 비해 비디오 디코더에서의 메모리 억세스가 많이 일어나게 되는데, 그 양은 많게는 전체 메모리 밴드폭의 70%까지를 차지하게 된다.

이때 메모리 억세스 횟수를 줄이는 것으로 초기에 부가되는 타이밍에 의한 지연을 줄일 수 있고, 또한 한 번의 억세스에서 최소한의 억세스를 하므로 동작 시간을 줄여줄 수 있어야 한다.

이러한 HD급 비디오 디코딩을 위해서는 메모리(100)에 비트 버퍼를 위한 메모리 영역과 디코딩된 프레임의 저장을 위한 메모리 영역을 필요로 한다. 특히 디코딩된 프레임의 저장을 위해서는 약 10~13Mbyte의 메모리 공간을 사용하게 된다.

따라서 여러 MAU 블록이 메모리를 공유하는 프레임 저장 메모리의 사용을 줄이기 위한 방법이 필요하다.

본 발명의 목적은 DDR SDRAM용 외부 메모리의 밴드폭 및 디코딩 시간을 줄이기 위한 비디오 디코딩 시스템을 제공함에 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 비디오 디코딩 시스템은, 압축된 비트 스트림을 가변 길이 디코딩, 역 양자화, 역 이산 코사인 변환, 움직임 보상을 수행하여 원 영상 신호로 복원하는 비디오 디코딩부; 다수개의 뱅크 구조로 되고, 각 뱅크의 메모리 맵을 필드 구조로 구성하여 휘도(Y)와 색차(CbCr) 신호를 각각 필드별로 저장하고 출력하는 DDR SDRAM; 그리고 비디오 디코딩된 데이터의 메모리 쓰기 억세스시 비디오 디코딩된 한 매크로 블록의 휘도(Y) 신호와 색차(CbCr) 신호의 화소들을 톱 필드는 톱 필드끼리, 바텀 필드는 바텀 필드끼리 재배치한 후 멀티 뱅크 쓰기 억세스를 통해 상기 DDR SDRAM에 저장하고, 움직임 보상이나 디스플레이를 위한 메모리 읽기 억세스시 멀티 뱅크 읽기 억세스를 통해 상기 DDR SDRAM에 저장된 데이터를 읽어오는 메모리 억세스 제어부를 포함하여 구성되는 것을 특징으로 한다.

상기 메모리 억세스 제어부는 적어도 2단의 파이프라인 구조로 되어, 비디오 디코딩된 데이터를 저장하는 쓰기 FIFO부와, 상기 비디오 디코딩부에서 비디오 디코딩된 한 매크로 블록의 휘도(Y) 신호와 색차(CbCr) 신호의 화소들을 톱 필드는 톱 필드끼리, 바텀 필드는 바텀 필드끼리 재배치하여 상기 쓰기 FIFO부에 저장한 후 이를 멀티 뱅크 쓰기 억세스를 통해 상기 DDR SDRAM에 저장하기 위해 쓰기 FIFO부의 읽기/쓰기 어드레스와 DDR SDRAM 쓰기 어드레스를 생성하는 매크로 블록 쓰기 제어부와, 적어도 3단의 파이프라인 구조로 되어, 상기 DDR SDRAM에서 읽어 온 데이터를 저장하는 읽기 FIFO부와, 한 클럭 주기 동안 멀티 뱅크 읽기 억세스를 통해 상기 DDR SDRAM으로부터 컬럼 쌍의 데이터를 읽어 와 읽기 FIFO부에 저장하기 위해 읽기 FIFO부의 읽기/쓰기 어드레스와 DDR SDRAM 읽기 어드레스를 생성하는 매크로 블록 읽기 제어부로 구성되는 것을 특징으로 한다.

상기 매크로 블록 쓰기 제어부는 상기 비디오 디코딩부에서 비디오 디코딩되어 출력되는 매크로 블록 데이터를 압축하는 압축부를 더 포함하여 구성되는 것을 특징으로 한다.

상기 매크로 블록 읽기 제어부는 상기 DDR SDRAM에서 읽어 온 매크로 블록 데이터가 압축되어 있는 경우 이를 신장하는 신장부를 더 포함하여 구성되는 것을 특징으로 한다.

본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예의 구성과 그 작용을 설명하며, 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.

도 2는 본 발명에 따른 비디오 디코딩 시스템의 메모리 억세스 제어 장치의 구성 블록도로서, 메모리 억세스 제어부(220)는 비디오 디코더(210)와 메모리 중재기(110) 사이에 구비된다. 상기 메모리 억세스 제어부(220)는 매크로 블록 쓰기 제어부(221), 쓰기 선입선출부(First Input First Output ; FIFO)(222), 메모리 중재기 인터페이스부(ARB_IF)(223), 읽기 FIFO부(224), 및 매크로 블록 읽기 제어부(225)를 포함하여 구성된다. 여기서 설명의 편의를 위해 상기 매크로 블록 쓰기 제어부(221)와 쓰기 FIFO부(222)를 매크로 블록(Macro Block ; MB) 쓰기부라 하고, 상기 읽기 FIFO부(224)와 MB 읽기 제어부(225)를 MB 읽기부라 한다.

상기 비디오 디코더(210)는 압축된 비트 스트림에 대해 가변길이 디코딩(VLD), 역 양자화(IQ), 역 이산 코사인 변환(IDCT), 및 움직임 보상(MC) 등을 수행하여 원 영상 신호로 복원한다.

이때, MPEG에서 규정하는 픽쳐의 형태에는 I,P,B 픽쳐의 세가지가 있으며, 상기 IDCT된 데이터가 I 픽쳐일 경우 그대로 디스플레이 할 수 있는 완전한 그림이고, B, P 픽쳐일 경우 움직임 보상을 해야 하는 불완전한 그림이다.

따라서 I 픽쳐의 경우는 IQ/IDCT한 결과가 MB 쓰기부를 통해 외부 메모리(100)에 저장된다.

그러나 B, P 픽쳐일때는 외부 메모리(100)에 저장되어 있는 이전 픽쳐를 읽어 와 움직임 보상을 하여 원래 화면으로 복원해야 한다. 즉 B, P 픽쳐일때는 외부 메모리(100)에 저장된 이전 픽쳐와 가변 길이 디코딩된 움직임 벡터를 이용하여 현재의 픽셀값에 대한 움직임 보상을 수행한 후 IDCT된 값과 더하여 완전한 영상으로 복원한다. 그리고 복원된 영상은 MB 쓰기부를 통해 외부 메모리(100)에 저장된다.

상기 MB 쓰기 제어부(221)는 비디오 디코딩된 데이터를 외부 메모리(100)에 재배열하여 저장하기 위해 쓰기 FIFO부(222)에 쓰기 어드레스 및 인에이블 신호등을 출력하고, 상기 비디오 디코더(210)와 메모리 중재기 인터페이스부(223) 간에 제어 신호를 주고 받는다.

즉 상기 MB 쓰기 제어부(221)는 외부 메모리(100)에서 매크로 블록을 위한 메모리 억세스 횟수를 최소화하고 DDR 특성에 의한 불필요한 추가 워드(word) 읽기를 최소화 할 수 있도록 매크로 블록의 배치를 제어한다.

또한 상기 MB 쓰기 제어부(221) 내에는 압축부를 더 포함하며, 필요시 상기 압축부에서 매크로 블록의 압축을 수행한 후 쓰기 FIFO부(222)를 통해 외부 메모리(100)에 저장한다. 반대로 상기 MB 읽기 제어부(225) 내에는 신장부를 더 포함하며, 외부 메모리(100)에서 읽은 매크로 블록이 압축되어 있는 경우 신장을 통해 원래대로 복원한다.

이와 같이 상기 MB 쓰기 제어부(221)는 해당 매크로 블록의 압축 여부, 압축 방식, 비디오 포맷 정보, 현재 디코딩 중인 프레임 정보 등을 이용하여 메모리 쓰기 요청에 필요한 시작 어드레스와 데이터 양을 계산한 후 비디오 디코더(210)에서 출력되는 데이터를 적절히 재배열하여 쓰기 FIFO부(222)에 저장한다.

한편 상기 MB 읽기 제어부(225)에서는 메모리 읽기 요청과 함께 움직임 보상을 위해 필요한 참조 매크로 블록 위치 정보로부터 메모리 읽기 어드레스를 만들어 메모리 중재기 인터페이스부(223)로 출력하고, 메모리 중재기 인터페이스부(223)를 통해 외부 메모리(100)의 해당 메모리 읽기 어드레스에서 읽어 온 데이터를 적절히 재배열해서 읽기 FIFO부(224)에 저장한다.

만일 메모리(100)에서 읽어 온 데이터가 압축되어 있을 경우 상기 MB 읽기 제어부(225)는 신장부를 통해 복원하고, 하프 펠(Half pel) 모드의 경우에 적절한 값을 계산하는 블록을 거쳐서 움직임 보상을 위한 매크로 블록 형태를 구성한 후 비디오 디코더(210) 내의 움직임 보상부에서 읽어갈 수 있도록 적절한 신호를 만들 어준다.

즉 상기 외부 메모리(100)의 메모리 쓰기 억세스는 비디오 디코더(210)에서 비디오 디코딩된 데이터를 외부 메모리(100)에 저장할 때 일어나고, 메모리 읽기 억세스는 비디오 디코더(210)에서 움직임 보상을 하거나, 비디오 디코딩된 데이터를 디스플레이 장치에 디스플레이할 때 일어난다.

도 3은 상기 메모리 중재기 인터페이스부(223)의 상세 블록도로서, 명령(CMD) 발생부(301), CAS(Column Address Strobe) 발생부(302), 쓰기 데이터 어드레스 발생부(303), 및 읽기 데이터 어드레스 발생부(304)로 구성된다.

상기 명령 발생부(301)는 외부 DDR SDRAM(100) 내 로우 어드레스, 시작 컬럼 어드레스, 외부 DDR SDRAM(100)에서 읽거나 쓰는 데이터 양, 읽기 또는 쓰기 요청에 대한 구분 신호, 멀티 뱅크 억세스 여부 등의 명령을 만들어 주게 된다. 또한 메모리 억세스 요청을 위한 명령을 만들고 메모리 중재기(110)에 메모리 억세스 요청을 한다. 그리고 메모리 중재기(110)의 메모리 데이터 버스의 허용(ack) 신호에 따라 멀티 뱅크의 경우 해당 뱅크의 어드레스를 준비하여 명령을 만들어 주게 된다.

상기 CAS 발생부(302)는 메모리 중재기(110)를 통해 외부 DDR SDRAM(100)으로 전달될 컬럼 어드레스를 모드에 따라 적절히 바꾸어서 만들어 주게 된다.

상기 읽기 데이터 어드레스 발생부(303)는 외부 DDR SDRAM(100)에서 읽어 온 데이터가 적절한 순서로 읽기 FIFO부(224)에 재배열되도록 읽기 FIFO부(224)의 어드레스를 계산하여 만들어 주게 된다.

상기 쓰기 데이터 어드레스 발생부(304)는 쓰기 FIFO부(222)에 저장된 데이터를 외부 DDR SDRAM(100)에 쓰기 위한 메모리 쓰기 어드레스를 만들어 메모리 중재기(110)로 출력한다.

본 발명은 일 실시예로서, 상기 외부 메모리(100)는 DDR SDRAM을 이용하며, 64비트의 외부 데이터 버스를 이용하여 데이터 읽기/쓰기를 수행한다고 가정한다.

즉 상기 외부 DDR SDRAM(100)과 메모리 억세스 제어부(220) 사이에는 64비트의 외부 데이터 버스를 이용하고, 상기 메모리 억세스 제어부(220)와 비디오 디코더(210) 사이에는 128비트 내부 메모리 버스를 사용한다.

상기 메모리 억세스 제어부(220)는 외부 DDR SDRAM(100)에서 매크로 블록의 메모리 억세스 횟수를 최소화하고 DDR 특성에 의한 불필요한 추가 워드 읽기를 최소화 할 수 있도록 매크로 블록을 재배치하여 DDR SDRAM(100)에 저장한다. 이때 상기 외부 DDR SDRAM(100)의 메모리 맵은 비디오 모드와 압축 여부, 압축 방식에 따라 적절한 변형을 갖는다.

이때 고려해야 할 세가지 메모리 억세스는 비디오 디코딩 후 매크로 블록 쓰기와 움직임 보상을 위한 매크로 블록 읽기, 그리고 디스플레이를 위한 매크로 블록 읽기이다.

도 4는 비압축 모드에서 비월주사된 영상의 휘도 매크로 블록 배치 예로서, 필드 구조의 메모리 맵 형태를 보이고 있다. 하나의 매크로 블록 중 휘도(Y) 신호는 8bit x 16 x 16 데이터로 구성되고, 색차(CbCr) 신호는 각각 8bit x 8 x 8 데이터로 구성된다. 상기 휘도 신호는 4개의 Y 블록(8x8)으로 구성되고, 색차 신호는 2 개의 C 블록(8x8)으로 구성된다.

이때, 상기 MB 쓰기 제어부(221)에서 Y 블록들을 톱 필드는 톱 필드끼리, 바텀 필드는 바텀 필드끼리 화소들을 재배열하여 쓰기 FIFO부(222)에 저장한 후 외부 DDR SDRAM(100)에 쓰게 되면 도 4와 같이 필드 단위의 메모리 맵을 구성할 수 있다. 여기서 하나의 Y 블록은 수평쪽으로 64비트를 구성하고, 두 개의 Y 블록을 한번에 억세스하게 되면 128비트가 된다.

결국 한 매크로 블록에 대해서 필드 예측 움직임 보상을 위한 외부 메모리 억세스시 컬럼 어드레스가 필드별로 순차 증가하게 되고, 이로 인해 메모리 리드 레이턴시(read latency)를 줄이므로 효율을 높일 수 있게 된다.

도 4에서 Y 신호의 경우 1 로우에 대한 매크로 블록들의 외부 메모리(100)의 컬럼 어드레스를 나타낸다. Y 신호의 경우 1 로우에 8개의 매크로 블록들로 구성된다.

이때, 외부 DDR SDRAM(100)의 경우 외부 데이터 크기는 64비트로 라이징 에지 클럭과 폴링 에지 클럭을 모두 사용하므로 실제적인 메모리 맵은 도 4와 같이 128비트 단위로 구성되며, 컬럼 어드레스는 짝수 단위로 증가하게 된다. 즉, 어드레스가 0, 2, 4, 6 등으로 증가하며, 이에 따라 메모리 중재기 인터페이스부(223)가 짝수에 해당하는 컬럼 어드레스의 데이터는 라이징 에지 클럭에서, 홀수에 해당하는 컬럼 어드레스의 데이터는 폴링 에지 클럭에서 가져오게 된다. 그러므로, SDRAM 대비 DDR SDRAM(100)은 같은 메모리 클록에서 메모리 효율이 두배가 증가되는 효과를 얻을 수 있다.

즉 도 4에서 하나의 Y 블록(즉 8 화소의 휘도 값)은 64비트의 데이터가 되는데, 매크로 블록의 컬럼 방향의 인접 8화소에 대한 값을 인접 주소의 컬럼에 둔다. 이는 움직임 보상시 하프 펠 예측(Halfpel Prediction)을 위해 3개의 세로 블록에 걸쳐 읽어 주어야 할 때 실제로 4개의 세로 블록을 읽어서 세로 블록 하나를 버리게 되지만, 디스플레이를 위한 메모리 읽기시에 추가적인 데이터 읽기 없이 차례로 읽을 수 있다. 움직임 보상양과 디스플레이 데이터 읽기양을 계산했을 때 도 4와 같은 매크로 블록 배치가 최적의 배치가 된다.

한편 도 5는 비압축 모드에서 비월주사된 영상의 색차 매크로 블록 배치 예로서, 필드 구조의 메모리 맵 형태를 보이고 있다. Cb 성분과 Cr성분이 가로 방향 위치상 같은 값에서 읽게 되므로 한번에 억세스하기 용이하도록 배치된다.

상기 색차(CbCr) 신호의 경우 도 5와 같이 1 로우에 16개의 매크로 블록들로 구성된다.

즉 색차(CbCr) 신호의 경우도 각 화소들을 톱 필드는 톱 필드끼리, 바텀 필드는 바텀 필드끼리 재배열하여 메모리 맵을 도 5와 같이 필드 단위로 구성하는데 이때, 하나의 C 블록은 각각 4*4 크기를 갖는 톱 필드의 Cb 화소, 톱 필드의 Cr 화소, 바텀 필드의 Cb 화소, 바텀 필드의 Cr 화소들로 재배열된다. 또다른 C 블록도 동일한 구조로 CbCr 화소들이 배열된다. 이는 하나의 C 블록이 톱 필드는 톱 필드끼리, 바텀 필드는 바텀 필드끼리 화소들을 재배치한 2개의 Y 블록에 대응하도록 하기 위해서이다.

이와 같이 CbCr 신호의 경우 도 5에서처럼 재배열하여 주므로 64비트 단위로 메모리 억세스시 64비트의 Y 신호에 상응하도록 색 신호를 64비트 단위로 메모리 억세스하여 프로세싱 효율을 증대시킬 수 있다. 또한, 한번의 메모리 억세스시 16워드(= 1워드는 128비트임)까지 쓰고 읽기를 하도록 하여 한 매크로 블록을 외부 메모리에 한번 억세스로 모두 쓸 수 있도록 하였다.

도 6a, 도 6b는 상기 MB 쓰기 제어부(221)의 압축부에서 비디오 디코딩된 데이터를 1/2 압축했을때와 3/4 압축 했을때의 DDR SDRAM(100) 내 매크로 블록의 화소 위치와 컬럼 어드레스 관계를 나타낸다.

즉 도 6a의 1/2 압축과 도 6b의 3/4 압축에서 동일하게 8 화소값의 세로 방향 인접 화소를 다음 컬럼 어드레스에 두는 구조를 사용한다. 이 경우엔 가로방향의 1/2 압축 효과에 의해 가로 방향으로 인접 어드레스 배치시 버려지는 값의 수가 더 많아질 수 있으므로 움직임 보상을 위한 데이터 읽기시 불필요한 읽기를 최소화하고 대신 디스플레이를 위한 데이터 읽기시 한 개씩 읽고 하나씩 버리는 구조를 택한다. 이때 압축 효과에 의해 전체적인 데이터 읽기 억세스가 줄어들기 때문에 전체적인 읽기 억세스의 양이 가장 효율적으로 된다.

또한 3/4 압축의 경우엔 가로, 세로 방향으로 각각 압축을 하여 데이터를 1/4로 줄이는 효과가 있다. 이를 위해 도 6b와 같이 한 번에 억세스 하는 양은 두 개의 슬라이스에 걸친 데이터를 하나의 뱅크에 두는 구조를 사용한다.

도 7은 상기 메모리 중재기 인터페이스부(223)가 읽기 억세스를 통해 외부 메모리(100)에서 읽은 데이터를 MB 읽기 제어부(225)로 전달하기 위한 읽기 FIFO부(224)의 구조와 이때의 어드레스 제어 방법을 나타낸다.

상기 읽기 FIFO부(224)는 MB 읽기 제어부(225) 내의 신장부에 데이터를 전달할 수 있는 버스 폭인 64비트로 압축 데이터를 적절히 재정렬해서 보낼 수 있도록 도 7a와 같이 6개의 32x32 FIFO로 구성된다. 각각은 어드레스 0에서 9까지 10에서 19까지 20에서 29까지의 3단의 버퍼로 사용되어 읽기 억세스시 파이프라인 억세스를 지원한다. 이때 읽기 FIFO의 단수는 요구하는 읽기 성능에 따라 늘일 수 있을 것이다.

비압축의 경우 도 4와 같은 메모리 맵상의 영역으로부터 가로 방향 쌍의 데이터를 읽어 와 읽기 FIFO부(224)를 채우게 되는 데 도 7b에서 보여주는 것은 세로 방향으로 3라인의 데이터를 읽어 오게 될 경우 읽기 억세스는 쌍으로 이루어져 2라인에 대해 이루어지게 되고 그 위치에 따라 1라인에 대해서는 각각 64 비트의 데이터가 버려지게 된다. 한편 압축모드의 경우는 도 7c와 같이 읽기 어드레스와 각 FIFO의 인에이블 신호의 제어를 통해 한번에 읽어온 데이터인 A와 B가 같은 라인에서 써지고 해당 라인에 다 쓰여지면, 다른 라인의 데이터인 D와 C가 쓰여지도록 제어가 된다. 그리고 MB 읽기 제어부(255) 내의 신장부로 데이터를 보낼때는 먼저 A와 D를 같이 읽어 출력한 후 이어 B와 C를 같이 읽어 출력하는 방식으로 제어하게 된다.

즉 본 발명은 메모리 중재기 인터페이스부(223)와 쓰기 FIFO부(222), 그리고 읽기 FIFO부(224) 사이에서 읽기, 쓰기 동작이 독립적으로 읽어날 수 있도록 2단 이상의 파이프라인 구조를 갖는다. 이는 메모리 억세스에 따른 디코딩 지연을 최소화 해준다. 본 발명은 쓰기 FIFO부(222)는 2단, 읽기 FIFO부(224)는 3단 버퍼로 구 성하는 것을 실시예로 한다. 이러한 구조는 MAU 숫자에 따라 단의 수를 늘일 수 있다.

도 8은 외부 메모리(100)가 32비트의 외부 데이터 버스를 사용하여 데이터 읽기/쓰기를 수행하는 경우의 메모리 맵의 변형 예를 보이고 있다. 메모리 가격 등이 이유로 32비트 데이터 핀을 갖는 메모리 하나 또는, 16비트 메모리 두개를 사용하는 경우에 32 비트로 외부 데이터 버스를 구성해야 하며 이에 적합한 변형이 필요하다. 이 경우엔 컬럼 방향으로 배열되는 연속 컬럼 두 개를 이전의 64비트 값으로 취급하고 하나의 클럭당 하나의 데이터가 오는 경우로 취급하여 처리 할 수 있다.

이때, 상기 MB 쓰기 제어부(221)와 메모리 중재기 인터페이스부(223)의 데이터 전달은 쓰기 FIFO부(222)를 통해 이루어진다. 이때의 쓰기 FIFO부(222)는 비압축 기준의 매크로 블록을 저장할 수 있는 크기를 가지고 있다. 따라서 1/2 압축의 경우 두 개의 매크로 블록을 저장할 수 있다.

본 발명은 상기 MB 쓰기 제어부(221)에서 외부 메모리(100)에 저장할 매크로 블록의 압축시엔 두 개의 매크로 블록 단위로 메모리 쓰기 억세스를 제어한다. 즉 짝수 번째 매크로 블록이 억세스 될 때 Y와 C 블록에 대해 쓰기 요청을 하게 된다.

또한 본 발명은 전술한 구조의 메모리 맵을 통해 MPEG 비디오 디코딩시 메모리 억세스 횟수를 줄여 읽기, 쓰기, 및 초기화를 할 때 필요한 클럭에 의한 지연 및 밴드폭 낭비를 줄이기 위해 멀티 뱅크 억세스를 사용한다. 즉 쓰기 억세스이면서 필드 픽쳐인 경우 메모리 맵 상의 두 개의 슬라이스로 나누어 데이터를 쓰기 위 해 2뱅크 억세스를 사용한다. 또한 읽기 억세스인 경우 움직임 보상을 위해 여러 개의 매크로 블록에 걸친 데이터를 읽어와야 하며 이를 위해 1뱅크 억세스나 2 뱅크 억세스 또는, 4 뱅크 억세스를 사용하게 된다. 이를 본 발명의 메모리 맵 구조, 프레임 구조나 비디오 포맷, 데이터 버스 크기에 따라 적절히 지원 할 수 있다.

이상에서와 같이 본 발명에 따른 비디오 디코딩 시스템에 의하면, 여러 MAU 블록이 메모리를 공유하는 경우 비디오 디코더의 프레임 디코딩 및 디스플레이를 위한 매크로 블럭의 메모리 억세스를 효율적으로 수행할 수 있다. 특히 전체적인 비디오 디코딩 소요 시간을 줄여주어 디지털 방송 수신기에 다른 부가 기능들을 제공할 수 있도록 메모리 사용에 여유를 준다. 또한 한 개의 비디오 디코더가 2개의 HD급 비디오 디코딩을 할 수 있도록 고성능 메모리 억세스를 제공한다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.

따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.

Claims (5)

1. 압축된 비트 스트림을 가변 길이 디코딩, 역 양자화, 역 이산 코사인 변환, 움직임 보상을 수행하여 원 영상 신호로 복원하는 비디오 디코딩부;

   다수개의 뱅크 구조로 되고, 각 뱅크의 메모리 맵을 필드 구조로 구성하여 휘도(Y)와 색차(CbCr) 신호를 각각 필드별로 저장하고 출력하는 DDR SDRAM; 그리고

   비디오 디코딩된 데이터의 메모리 쓰기 억세스시 비디오 디코딩된 한 매크로 블록의 휘도(Y) 신호와 색차(CbCr) 신호의 화소들을 톱 필드는 톱 필드끼리, 바텀 필드는 바텀 필드끼리 재배치한 후 멀티 뱅크 쓰기 억세스를 통해 상기 DDR SDRAM에 저장하고, 움직임 보상이나 디스플레이를 위한 메모리 읽기 억세스시 멀티 뱅크 읽기 억세스를 통해 상기 DDR SDRAM에 저장된 데이터를 읽어오는 메모리 억세스 제어부를 포함하여 구성되는 것을 특징으로 하는 비디오 디코딩 시스템.
2. 제 1 항에 있어서, 상기 메모리 억세스 제어부는

   적어도 2단의 파이프라인 구조로 되어, 비디오 디코딩된 데이터를 저장하는 쓰기 FIFO부와,

   상기 비디오 디코딩부에서 비디오 디코딩된 한 매크로 블록의 휘도(Y) 신호와 색차(CbCr) 신호의 화소들을 톱 필드는 톱 필드끼리, 바텀 필드는 바텀 필드끼리 재배치하여 상기 쓰기 FIFO부에 저장한 후 이를 멀티 뱅크 쓰기 억세스를 통해 상기 DDR SDRAM에 저장하기 위해 쓰기 FIFO부의 읽기/쓰기 어드레스와 DDR SDRAM 쓰기 어드레스를 생성하는 매크로 블록 쓰기 제어부와,

   적어도 3단의 파이프라인 구조로 되어, 상기 DDR SDRAM에서 읽어 온 데이터를 저장하는 읽기 FIFO부와,

   한 클럭 주기 동안 멀티 뱅크 읽기 억세스를 통해 상기 DDR SDRAM으로부터 컬럼 쌍의 매크로 블록 데이터를 읽어 와 읽기 FIFO부에 저장하기 위해 읽기 FIFO부의 읽기/쓰기 어드레스와 DDR SDRAM 읽기 어드레스를 생성하는 매크로 블록 읽기 제어부로 구성되는 것을 특징으로 하는 비디오 디코딩 시스템.
3. 제 2 항에 있어서, 상기 매크로 블록 쓰기 제어부는

   상기 비디오 디코딩부에서 비디오 디코딩되어 출력되는 매크로 블록 데이터를 압축하는 압축부를 더 포함하며,

   압축된 한 매크로 블록의 휘도(Y) 신호와 색차(CbCr) 신호의 화소들을 다시 톱 필드는 톱 필드끼리, 바텀 필드는 바텀 필드끼리 재배치하여 상기 쓰기 FIFO부에 저장하는 것을 특징으로 하는 비디오 디코딩 시스템.
4. 제 2 항에 있어서, 상기 매크로 블록 쓰기 제어부는

   상기 DDR SDRAM에 저장할 매크로 블록의 압축시에 상기 압축할 매크로 블록을 두 개의 매크로 블록 단위로 압축한 후 상기 DDR SDRAM에 대한 쓰기 억세스를 제어하는 것을 특징으로 하는 비디오 디코딩 시스템.
5. 제 2 항에 있어서, 상기 매크로 블록 읽기 제어부는

   상기 DDR SDRAM에서 읽어 온 매크로 블록 데이터가 압축되어 있는 경우 이를 신장하는 신장부를 더 포함하여 구성되는 것을 특징으로 하는 비디오 디코딩 시스템.

Images