KR100734348B1

KR100734348B1 - 디지털 티브이의 다운 변환 처리 장치

Info

Publication number: KR100734348B1
Application number: KR1020000065184A
Authority: KR
Inventors: 임진석
Original assignee: 엘지전자 주식회사
Priority date: 2000-11-03
Filing date: 2000-11-03
Publication date: 2007-07-03
Also published as: KR20020034709A

Abstract

본 발명은 SD 입력 포맷과 HD 입력 포맷을 디코딩할 수 있는 SDTV용 비디오 디코더의 메모리 절감을 위한 다운 변환 장치를 구현하기 위한 것으로서, 외부에서 입력된 압축 비트 스트림을 분석하는 가변 길이 디코더부와, 상기 가변 길이 디코더부를 통해 분석된 DCT 계수를 이용하여 상기 압축된 비트 스트림을 역 양자화 시키는 역양자화기와, 상기 역양자화기로부터 매크로 블록 형태로 출력된 비트 스트림을 각 블록에 대해 단일 8x8 역이산 코사인 변환을 수행하여 픽셀의 차분값을 얻는 IDCT기와, 상기 가변 길이 디코더로부터 추출된 움직임 신호들을 이용하여 업 샘플된 데이터의 움직임을 보상하는 움직임 보상부와, 상기 IDCT기로부터 출력된 데이터와 상기 움직임 보상부의 제어신호에 의해 프레임 메모리에서 추출된 데이터를 가산하여 복원된 블록을 출력하는 매크로 블록 가산기와, 상기 매크로 블록 가산기로부터 출력된 픽셀 데이터를 적응 다운 샘플링시킨 후, 프레임 메모리에 저장하는 다운 변환부와, 상기 움직임 보상부의 제어신호에 의해 프레임 메모리에서 추출된 데이터의 블록 크기를 상기 IDCT기로부터 출력된 블록의 크기와 동일하게 업 샘플링 하는 업 변환부를 포함하여 구성되는데 있다.

적응 업/다운 샘플러, 다운 변환 처리

Description

디지털 티브이의 다운 변환 처리 장치{apparatus for down conversion processing in DTV}

도 1 은 종래 기술에 따른 영상 복원 장치를 나타낸 도면

도 2 는 종래 기술에 따른 다른 영상 복원 장치를 나타낸 도면

도 3 은 본 발명에 따른 디지털 티브이의 다운 변환 처리 장치를 나타낸 구성도

도 4 는 본 발명에 따른 다운 변환부의 구조를 상세히 나타낸 도면

도 5는 상기 수학식 5와 같이 3 단으로 구현된 8픽셀-4픽셀 다운 변환부의 구성을 나타낸 도면

*도면의 주요부분에 대한 부호의 설명

110 : 가변길이 디코더 120 : 역양자화기

130 : 계수 버퍼 140 : 역 이산 코사인 변환기

150 ; 매크로 블록 가산기 160 : 움직임 보상부

170 : 예측 버퍼 180 : 프레임 메모리

190 : 저장 버퍼 200 : 움직임 벡터 스케일러

210 : 업 변환부 220 : 다운 변환부

230, 260 : 8x4 다운 변환부 240 : 트랜스포스

250 : 디먹스부 270 : 4x2 다운 변환부

280 : 먹스부 290 : 전처리 가/감산부

300 : 곱셈부 310 : 후처리 가/감산부

본 발명은 디지털 티브이에 관한 것으로, 디지털 티브이의 메모리 절감을 위하여 비디오 디코더 내부의 영상 복원/저장 모듈에서 영상 포맷 변환을 수행하는 다운 변환 처리 장치에 관한 것이다.

디지털 티브이(DTV)는 영상 포맷에 따라 SDTV와 HDTV로 구분되며, SDTV에서 사용되는 SD 포맷은 720 x 480, 704 x 480, 640 x 480 등의 프레임 크기를 갖으며, HDTV에서 사용되는 HD 포맷은 1920 x 1080, 1280 x 720 등의 프레임 크기를 갖는다.

이와 같이 서로 다른 포맷으로 시청자에게 전송하면, 시청자는 자신이 소유하고 있는 디스플레이 장치의 포맷에 맞게 조정한 후, 전송된 방송신호를 시청하여야 한다. 이런 기능을 하는 것이 업/다운 변환처리 장치이다.

현재 HD급 디스플레이 장치가 충분히 보급되지 않은 상태에서, HD급 화질의 비디오 시퀀스는 현존하는 티브이 방송 규격 심의회(National Television System Committee : NTSC) 규격의 텔레비전 수신기를 통해 감소된 해상도로 디스플레이될 경우가 발생된다. 따라서 당장 고가의 고선명도 텔레비전(HDTV) 수신기를 구입하지 않아도, 기존의 NTSC 텔레비전 수신기를 통해 시청자들이 상기 HDTV 방송신호를 시청할 수 있어야 한다.

전술한 바와 같이, 상기 HDTV 방송신호를 상기 NTSC 텔레비전 수신기에 적합하도록 변환하는 장치를 다운 변환 디코더라고 부른다. 결국 이러한 다운 변환 디코더를 이용함으로써, 완전한 HD급 해상도를 갖는 값비싼 티브이 수신기 대신에 훨씬 낮은 가격의 티브이 수신기를 가지고 HDTV 방송을 시청할 수 있게 된다.

이와 같이 제품 생산자 및 소비자 측면을 고려할 때, 가격 및 화질에서 경쟁력을 갖고 있어야 하는데, 이를 위해서는 고가의 메모리 사이즈를 줄여야 하며, 동시에 효과적인 다운 변환을 통해 좋은 화질을 유지하여야 한다.

그러나 최근 각종 온 스크린 디스플레이(On Screen Display : OSD) 및 다양한 서비스를 제공하고 있는 추세로 볼 때, 앞으로는 추가적인 외부 메모리의 증가가 필연적일 것으로 예측된다. 그에 따라 고가의 메모리 사이즈를 줄이는데 많은 어려움이 따르고 있다.

그 예로서 최근 엠펙 2와 같은 비디오 압축 복원 시스템의 경우 여러 종류의 비디오 신호들이 멀티 디코딩 되고, 동시에 디스플레이 되는 것에 의해 다양한 서비스가 제공된다.

이런 경우, 한정된 용량의 메모리를 이용하여 여러 종류의 비디오 신호들을 디코딩 할 수 있어야 하는데, 결국 메모리 용량의 한계성과, 가격 및 데이터 버스의 대역 폭 등을 고려해 볼 때 상기 비디오 디코딩 칩에 고화질 화상 신호의 손실을 최소로 할 수 있는 효과적인 메모리의 용량 감축 장치가 필요하다.

상기 메모리의 용량 감축의 방법으로 기존의 비디오 디코딩 칩에 내재하여 있는 메모리 감축 알고리즘을 살펴보면 다음 세 가지 방식으로 설명할 수 있다.

하나는 50% 감축률을 갖는 적응 미분 펄스 코드된 변조(Adaptive Differential Pulse Coded Modulation : ADPCM) 방식이고, 다른 하나는 75% 감축률을 갖는 벡터 양자화(Vector Quantization : VQ)를 이용하여 공간적인 중복성을 없애는 방식이고, 또 다른 하나는 이산 코사인 변환(Discrete Cosine Transformation) 주파수 영역에서 필터링 하거나 또는 다운 샘플링 방식을 이용하는 압축 방식이다.

이때 상기 적응 미분 펄스 코드된 변조 방식은 Pau와 Sannio("MPEG-2 decoding with a reduced RAM requisite by ADPCM recompression before storing MPEG decompressed data", European Patent EP 0778709A1)에 의해 제안되었으며, 상기 벡터 양자화를 이용하는 방식은 Bruni 등("A novel adaptive vector quantization method for memory reduction in MPEG-2 HDTV decoders", IEEE Trans. On Costomer Electronics, pp. 537-544, 1988)에 의해 제안되었다.

또한, 상기 이산 코사인 변환 주파수 영역에서 필터링하거나 또는 다운 샘플링 방식들을 이용한 압축 방식들은 S. B. Ng("Lower resolution DHTV receivers", US patent 5,362,854, Nov. 16, 1993), S. J. Choi 등("Frame memory reduction for MPEG-2/DTV video coding", Int. workshop on HDTV '98) 그리고 R. Mokry and D. Anastassiou("Minimul error drift in frequency scalability for motion-compensated DCT coding", IEEE Trans. On circuits and Systems for Video Tech., Vol.4, No. 4, August 1994)에 의해 제안된 바 있다.

그러나 상기 적응 미분 펄스 코드된 변조(ADPCM) 방식의 경우는 메모리 내에 압축된 코드가 저장되기 때문에, 바로 비디오 디스플레이 장치를 이용해서 비디오를 디스플레이하기 힘들다. 따라서 압축된 코드를 다시 복원하기 위한 장치가 추가되어야 한다. 또한 적응 미분 펄스 코드된 변조 방식을 75% 감축시에 사용하면 디스플레이된 화질의 손실이 매우 크게 되므로 상기 비디오 디코딩 칩에 적합하지 못한 결과를 가져온다.

이와 달리 상기 벡터 양자화를 이용하는 방식과 상기 이산 코사인 변환 주파수 영역에서 필터링하거나 또는 다운 샘플링 방식들을 이용한 압축 방식은 원 칩의 비디오 디코더로 들어온 여러 개의 고선명도급 영상이나 또는 여러 개의 표준 해상도급 영상들을 다운 변환 알고리즘을 이용하여 한 화면에 동시에 디스플레이할 수 있다. 이 방식은 메모리 용량의 많은 감축에도 불구하고 어느 정도의 좋은 화질을 유지할 수 있으며, 또한 저 해상도 디스플레이 장치를 위한 저가의 디코더에 적용할 수 있다.

따라서 좋은 화질을 유지할 수 있는 동시에 작은 용량의 메모리를 사용할 수 있는 다운 변환 알고리즘 및 다운 변환 알고리즘용 하드웨어의 설계가 필요하게 된다.

이러한 방식들 중 하나가 미국 특허 번호 5,262,854에 제시된 바 있다.

이 특허를 살펴보면 8x8 블록내 48개 고주파수 DCT 계수들을 제거하는 다운 샘플러를 포함한다. 그리고 나머지 저주파수의 4x4 블록에 대해서 IDCT한 결과가 메모리에 저장된다. 따라서, 움직임 보상을 위해 완전 해상도 움직임 벡터를 사용하여 움직임 보상 예측 오차를 줄이려고 할 때, 감소된 해상도를 갖는 화면을 기준으로 사용하게 된다. 결국 감소된 해상도를 완전 해상도를 갖는 픽쳐로 만들기 위하여 업 샘플링 방식을 사용한다.

이와 같은 4x4 IDCT를 사용하여 다운 샘플된 픽쳐를 업 샘플링하여 움직임 보상 예측 오차를 줄이기 위한 효율적인 몇 가지 방식들이 R. Monky 및 D. Anastssiou("Minimul error drift in frequency scalability for motion-compensated DCT coding", IEEE Trans. on circuits and systems for video Tech., Vol.4, No. 4, August 1994)과, Johnson 및 Princen("Drift minimization in frequency scaleable coders using block based filtering", IEEE workshop on visual signal precessing and communication, september 1993)에 의해 제안된바 있다.

이와 같은 종래에 따른 다운 변환 처리 장치를 도면을 통해 상세히 설명하면 다음과 같다.

도 1 은 종래 기술에 따른 영상 복원 장치를 나타낸 도면으로, 도 1을 보면, 외부에서 입력된 압축 비트 스트림을 분석하는 가변 길이 디코더(Variable Length Decoder : VLD)(10)와, 상기 VLD(10)를 통해 분석된 상기 압축된 비트 스트림을 역 양자화 시키는 역양자화기(Inverse Quantizing : IQ)(20)와, 상기 IQ(20)기로부터 매크로 블록 형태로 출력된 비트 스트림을 계수 버퍼에 임시 저장시킨 후, 역이산 코사인 변환시키는 역이산 코사인 변환기(IDCT)(40)와, 상기 VLD(10)로부터 추출된 움직임 벡터등 움직임 신호들을 이용하여 업 샘플된 데이터의 움직임을 보상하는 움직임 보상부(Motion Compensation : MC)(60)와, 상기 IDCT기(40)로부터 출력된 데이터와 상기 매크로 블록의 제어신호에 의해 추출된 데이터를 가산하는 매크로 블록 가산기(50)와, 상기 매크로 블록 가산기(50)에서 출력된 픽쳐 데이터를 저장하고, 상기 매크로 블록의 제어신호에 의해 해당 데이터를 추출하는 프레임 메모리부(80)로 구성된다.

이때 매크로 블록의 제어신호에 따라 프레임 메모리부(80)에서 추출되는 데이터는 예측 버퍼(70)에 임시 저장된 후 상기 IDCT기(40)로부터 출력된 데이터와 동시에 매크로 블록 가산기(50)로 입력되고, 상기 매크로 블록 가산기(50)에서 출력된 데이터는 저장 버퍼(90)에 임시 저장된 후 프레임 메모리부(80)에 저장된다.

그리고 상기 구성된 영상복원 장치에 의해 영상 복원이 끝난 후, 별도의 비디오 후처리부(post-processing)를 통해 다운 변환 처리가 이루어지게 된다.

이때 비디오 디코더가 HD 포맷을 복원하는데 사용되는 프레임 메모리(frame memory)(80)는 SD 포맷을 복원하는데 필요한 메모리의 4 배 이상이 필요하다.

그러므로 도 1에서와 같이 영상 복원이 끝난 후, 픽셀 영역에서 다운 변환을 하기 위해서는 비디오 디코더가 HD와 SD입력에 대해 모두 디코딩하여야 하므로 HD 복원에 필요한 메모리 영역이 필요하게 된다.

따라서 도 2는 이를 해결하기 위해 픽셀 영역이 아닌 주파수 영역(frequency domain)에서 DCT/IDCT 함수와 변환 함수에 의해 포맷 변환하는 방법이 사용된다.

도 2를 보면, 도 1과 동일한 구조를 가지며, 단지 역 이산 코사인 변환기(40')에서 역 이산 코사인 변환과 동시에 다운 변환을 처리한다.

이는 포맷 변환이 주파수 영역에서 이루어짐을 뜻한다.

이에 따라 SD 포맷을 복원하는데 필요한 프레임 메모리(80) 공간만을 이용하여 HD 포맷 복원까지 할 수 있게 된다.

즉, 도 2에서와 같이 주파수 영역에서 포맷 변환이 이루어지게 되면, 영상 복원 과정 중에 SDTV 디스플레이에 적합한 포맷으로 변환하고 낮은 해상도(low resolution)의 영상을 프레임 메모리(80)에 저장하게 되므로 HD 포맷의 영상 복원에도 SD 포맷 복원에 필요한 정도의 메모리 공간만 있으면 복원이 가능하다.

따라서 SDTV의 디스플레이에서 적합한 포맷으로의 변환은 메모리 절감을 위해 비디오 디코딩 과정 중에 주파수 영역에서 다운 변환을 한 후, 비디오 후처리부로 복원된 영상을 전달하여 디스플레이하게 된다.

그럼 도 2를 통해 좀더 자세히 설명하면 다음과 같다.

주파수 영역에서의 다운 변환은 역양자화기(20)에서 8x8 DCT 계수(coefficient)를 8x4 혹은 4x4의 DCT계수로 변환하고, 이를 역이산 코사인 변환(IDCT)하여 픽셀의 차분 값(difference pixel value)을 얻는다.

그리고, VLD(10)에서 출력되는 움직임 벡터(motion vector)를 상기 역양자화기(20)에서 변환된 8x4 혹은 4x4의 블록(block) 영역에 맞게 움직임 벡터 스케일러(100)에서 스케일링(scaling)하여 움직임 보상부(60)에서 픽셀의 움직임 보상 값(compensated pixel value)을 얻는다.

이어 매크로 블록 가산기(50)에서 상기 IDCT기(40')에서 얻어진 매크로 블록(Macro Block : MB)단위의 픽셀 차분 값과 움직임 보상부(60)에서 얻어진 픽셀의 움직임 보상값을 가산하여 최종 픽셀 값을 구하고, 이를 프레임 메모리(80)에 저장한다.

그러나, 도 2에서 나타내는 방법은 블록단위의 변환에서 8x4, 4x4로 변환을 하기 위해 그 각각에 대해 역이산 코사인 변환(IDCT)과 다운 변환이 결합된 처리 장치가 필요하며, 또한 움직임 보상을 위한 움직임 벡터(motion vector)의 스케일링(scaling)시 움직임이 큰 영역에서는 예측에러가 누적되는 현상이 발생되어 보상된 픽셀 값에 찌그러짐(distortion)이 생기게 된다. 이를 해결하기 위해 8x8 DCT 계수들 중에서 저주파수 대역에 해당하는 부분들만 이용하는 방식(4x4 컷)이 주로 사용된다.

그러나 이 경우 고주파수 대역의 신호들은 잃게 되므로 블록 아티펙트(block artifact)가 발생되게 된다.

따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, SD 입력 포맷과 HD 입력 포맷을 디코딩할 수 있는 SDTV용 비디오 디코더의 메모리 절감을 위한 다운 변환 장치를 구현하는데 있다.

본 발명의 다른 목적은 다운 변환 모드에 따라 1/2 다운 변환과 1/4 다운 변환을 선택적으로 수행할 수 있는 다운 변환 장치를 구현하는데 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 디지털 티브이의 다운 변 환 처리 장치의 특징은 외부에서 입력된 압축 비트 스트림을 분석하는 가변 길이 디코더부와, 상기 가변 길이 디코더부를 통해 분석된 DCT 계수를 이용하여 상기 압축된 비트 스트림을 역 양자화 시키는 역양자화기와, 상기 역양자화기로부터 매크로 블록 형태로 출력된 비트 스트림을 각 블록에 대해 단일 8x8 역이산 코사인 변환을 수행하여 픽셀의 차분값을 얻는 IDCT기와, 상기 가변 길이 디코더로부터 추출된 움직임 신호들을 이용하여 업 샘플된 데이터의 움직임을 보상하는 움직임 보상부와, 상기 IDCT기로부터 출력된 데이터와 상기 움직임 보상부의 제어신호에 의해 프레임 메모리에서 추출된 데이터를 가산하여 복원된 블록을 출력하는 매크로 블록 가산기와, 상기 매크로 블록 가산기로부터 출력된 픽셀 데이터를 적응 다운 샘플링시킨 후, 프레임 메모리에 저장하는 다운 변환부와, 상기 움직임 보상부의 제어신호에 의해 프레임 메모리에서 추출된 데이터의 블록 크기를 상기 IDCT기로부터 출력된 블록의 크기와 동일하게 업 샘플링하는 업 변환부를 포함하여 구성되는데 있다.

이때, 상기 다운 변환부는 상기 매크로 블록 가산기에서 출력된 복원된 블록 데이터를 수평방향으로 1/2 다운 샘플링을 수행하는 제 1 다운 변환부와, 상기 제 1 다운 변환부의 결과를 트랜스포스(transpose)하고 트랜스포스된 블록 데이터가 휘도 신호인지 색차 신호인지를 판단하여 그 중 어느 하나를 출력하는 디먹스부와, 상기 디먹스부에서 출력되는 신호가 휘도 신호인 경우 수직 방향으로 1/2 다운 샘플링을 수행하는 제 2 다운 변환부와, 상기 디먹스부에서 출력되는 신호가 색차 신호인 경우 수직 방향으로 1/2 다운 샘플링을 하는 제 3 다운 변환부와, 상기 제 1 다운 변환부, 제 2 다운 변환부, 그리고 제 3 다운 변환부의 출력 중 어느 하나를 출력하는 먹스부를 포함하여 구성되는데 다른 특징이 있다.

그리고 상기 제 1 및 제 2 다운 변환부는 8픽셀-4픽셀(8 pixel to 4 pixel) 다운 샘플링 필터이고, 제 3 다운 변환부는 4픽셀-2픽셀(4 pixel to 2 pixel) 다운 샘플링 필터로 구성되는데 또 다른 특징이 있다.

상기 8픽셀-4픽셀(8 pixel to 4 pixel) 다운 샘플링 필터는 수학식

를 통해 가산기 14개로 구성된 전처리 가/감산부와, 곱셈기 14개로 구성된 곱셈부와, 가산기 18개로 구성된 후처리 가/감산부로 구성되고,

4픽셀-2픽셀(4 pixel to 2 pixel) 다운 샘플링 필터는 수학식

를 통해 가산기 5개로 구성된 전처리 가/감산부와, 곱셈기 3개로 구성된 곱셈부와, 가산기 4개로 구성된 후처리 가/감산부로 구성되는데 또 다른 특징이 있다.

상기 제 1, 제 2, 및 제 3 다운 변환부는 외부에서 입력되는 다운 변환 모드에 따라 매크로 블록 가산기로부터 출력된 디코딩된 최종 픽셀값을 1/2 또는 1/4로 선택적으로 다운 변환을 수행하는데 또 다른 특징이 있다.

본 발명의 다른 목적, 특성 및 잇점들은 첨부한 도면을 참조한 실시 예들의 상세한 설명을 통해 명백해질 것이다.

본 발명에 따른 디지털 티브이의 다운 변환 처리 장치의 바람직한 실시 예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다.

도 3 은 본 발명에 따른 디지털 티브이의 다운 변환 처리 장치를 나타낸 구성도 이다.

도 3을 보면, 외부에서 압축 비트 스트림이 입력되면 가변 길이 디코더(Variable Length Decoder : VLD)부(110)에서 이를 분석하여 DCT 계수를 생성한다.

이어 생성된 DCT 계수를 이용하여 역양자화기(Inverse Quantizing : IQ)(120)는 상기 압축된 비트 스트림을 역 양자화 시킨 후, 계수 버퍼(130)에 매크로 블록 형태로 임시 저장시킨다.

그리고 단일 8x8 역이산 코사인 변환부(140)를 통해 상기 IQ기(120)로부터 매크로 블록 형태로 출력된 비트 스트림을 각 블록에 대해 역이산 코사인 변환을 수행하여 픽셀의 차분값을 얻는다.

또한 상기 VLD(110)에서 출력되는 움직임 벡터(motion vector)를 상기 역양자화기(120)에서 변환된 8x8의 블록(block) 영역에 맞게 움직임 벡터 스케일러(200)에서 스케일링(scaling)하여 움직임 보상부(160)에서 픽셀의 움직임 보상 값(compensated pixel value)을 얻는다.

그리고 매크로 블록 가산기(150)를 통해 상기 IDCT기(140)로부터 출력된 픽셀의 차분값과 상기 매크로 블록의 제어신호에 의해 프레임 메모리에서 추출된 보상된 픽셀값을 가산하고, 상기 매크로 블록 가산기(150)로부터 출력된 픽셀 데이터를 다운 변환부(220)를 통해 8x4 또는 4x4의 블록 영역을 갖도록 적응 다운 샘플링시킨 후, 프레임 메모리(180)에 저장한다.

이때 상기 프레임 메모리(180)에 저장되는 픽셀 데이터는 8x4 또는 4x4의 블록으로 다운 변환되어 저장되어 있고, 상기 IDCT기(140)에서 출력되는 픽셀 데이터는 8x8의 블록을 갖는 데이터이다.

따라서 상기 IDCT기(140)에서 출력되는 8x8 픽셀 데이터와 상기 움직임 보상부(160)의 제어신호에 의해 프레임 메모리에서 추출된 8x4 또는 4x4 픽셀 데이터를 매크로 블록 가산기(150)에서 가산하기 위해서는 동일한 블록 영역의 크기를 가져야 한다.

그에 따라 매크로 블록 가산기(150)와 프레임 메모리(180) 사이에 업 변환부(210)를 두어 프레임 메모리(180)에서 추출된 8x4 또는 4x4 픽셀 데이터를 8x8 픽셀 데이터로 적응 업 샘플링시켜 매크로 블록 가산기(150)에 상기 업 샘플된 보상된 픽셀값을 제공한다.

도 3에서 나타낸 이 방법은 도 2의 다운 변환과 달리 역이산 코사인 변환과 다운 변환 처리 장치를 분리하여, 매크로 블록의 각 블록에 대해 단일 8x8 역이산 코사인 변환을 수행하고 픽셀의 차분값을 얻게 된다.

따라서 다운 변환 모드(mode)에 따라 8x8 처리, 8x4 처리, 4x4 처리를 위한 역이산 코사인 변환(IDCT)과 다운 변환의 통합장치가 개별적으로 존재하지 않으며, 8x8 블록 단일 역이산 코사인 변환(IDCT)만을 수행한다.

그리고 움직임 보상을 위해 프레임 메모리(180)에 저장된 다운 변환된 매크로 블록에 대해 업(up) 변환을 수행하여 매크로 블록의 모든 움직임 보상(full motion compensation)에 의해 움직임이 보상된 픽셀값을 구하게 된다.

이를 8x8 단일 역이산 코사인 변환(IDCT)에 의해서 얻어진 차분값과 가산하여 복원된 매크로 블록을 구한다.

이와 같은 방법을 통해 복원된 매크로 블록은 최종적으로 공간 영역에서의 다운 변환과 픽셀 영역에서의 입/출력이 조합된 필터를 통해 원하는 블록 크기로 다운 변환되고 이를 프레임 메모리(180)에 저장한다.

또한 디스플레이할 해상도에 따라 외부에서 다운 변환 모드를 정의하여 50% 압축, 75% 압축을 모두 수행할 수 있으며, 또한 높은 해상도를 갖는다.

이와 같이 본 발명은 매크로 블록의 복구(reconstruction)가 완료된 후, 압축 모드에 따라 다운 변환을 수행하고 프레임 메모리(180)에 저장한다.

도 4 는 본 발명에 따른 다운 변환부의 구조를 상세히 나타낸 도면이다.

도 4를 보면, 매크로 블록 가산기(150)에서 출력된 복원된 블록 데이터를 수평방향으로 1/2 다운 샘플링을 수행하는 제 1 8x4 다운 변환부(230)와, 상기 8x4 다운 변환부(230)의 결과를 트랜스포스(transpose)하고 트랜스포스된 블록 데이터가 휘도 신호인지 색차 신호인지를 판단하여 그 중 어느 하나를 출력하는 디먹스부(250)와, 상기 디먹스부(250)에서 출력되는 신호가 휘도 신호인 경우 수직 방향으로 1/2 다운 샘플링을 수행하는 제 2 8x4 다운 변환부(260)와, 상기 디먹스부(250)에서 출력되는 신호가 색차 신호인 경우 수직 방향으로 1/2 다운 샘플링을 하는 4x2 다운 변환부(270)와, 상기 제 1 8x4 다운 변환부(230), 제 2 8x4 다운 변환부(260), 그리고 4x2 다운 변환부(270)의 출력 중 어느 하나를 출력하는 먹스부(280)로 구성된다.

이와 같이 구성된 다운 변환부(220)는 외부에서 입력되는 다운 변환 모드에 따라 매크로 블록 가산기(150)로부터 출력된 디코딩된 최종 픽셀값을 1/2, 1/4 다운 변환을 수행한다.

이때, 다운 변환은 블록 단위로 수행되며, 휘도(luminance)의 경우 한 블록은 8x8(픽셀x링크)의 크기를 가지며, 색차(chrominance)의 경우 8x4의 블록 크기를 가지게 된다.

따라서 상기 제 1 8x4 다운 변환부(230)는 매크로 블록 가산기(150)에서 출력된 복원된 블록 데이터를 수평 방향으로 1/2 다운 샘플링을 한다. 즉 8x8(픽셀x링크)의 블록 크기를 갖는 휘도는 입력에 대해 수평방향으로 다운 변환하여 4x8의 다운 샘플링된 블록을 출력하고, 8x4의 블록 크기를 갖는 색차는 입력에 대해 수평방향으로 다운 변환하여 4x4의 다운 샘플링된 블록을 출력한다.

이어 상기 제 1 8x4 다운 변환부(230)에서 수평 방향으로 1/2 다운 샘플링된 결과를 트랜스포스(transpose)하고, 외부에서 인가되는 다운 변환 모드의 제어신호에 의해 디먹스부(250)에서 출력되는 데이터를 다시 제 2 8x4 다운 변환부(260) 또는 제 3 4x2 다운 변환부(270)에서 수직 방향으로 1/2 다운 샘플링하게 된다.

이때 상기 다운 변환 모드를 통해 디먹스부(250)로 출력된 블록이 4x8의 크기를 갖는 휘도의 경우는 4x4로 다운 샘플링되게 되고, 또 입력 블록이 4x4의 크기를 갖는 색차(chrominance)의 경우는 4x2로 다운 샘플링된다.

이와 같이 휘도의 경우에 1/4 다운 변환의 다운 샘플링은 1/2 다운 샘플링에 이용하는 다운 샘플링 필터로 수평 방향에 대해 8 픽셀-4 픽셀(8 pixel to 4 pixel)로 1 차원의 다운 샘플링을 하고, 이를 트랜스포스하고 같은 다운 샘플링 필터로 수직 방향으로 1 차원의 다운 샘플링을 한다.

그리고 색차의 경우에는 휘도와 동일하게 1/2 다운 샘플링에 이용하는 다운 샘플링 필터로 수평 방향에 대해 8 픽셀-4 픽셀(8 pixel to 4 pixel)로 1 차원의 다운 샘플링을 하고, 이를 트랜스포스한 후 수직 방향으로 다운 샘플링을 할 때, 4 픽셀-2 픽셀 다운 샘플링 필터를 사용한다.

상기 8픽셀-4픽셀 1 차원의 다운 샘플링 필터(230)(260)의 수식은 다음 과정에 의해 도출된다.

즉, 픽셀 영역 상의 입력을 받아 주파수 영역 상에서 다운 샘플링을 하고 이를 다시 픽셀 영역으로 출력하게 된다.

우선, 주파수 영역 상에 계수로 표현하는 8x8 DCT 변환의 수식은 수학식 1과 같다.

F는 DCT 계수 표현이고, f는 픽셀 표현 행렬이다.

C는 DCT 변환 상수 행렬이다.

수학식 2 는 주파수 영역 상에서 수평방향으로 다운 샘플링하는 것을 보여준다.

8x4 DCT 계수에 대해 픽셀 영역으로의 IDCT 변환식은 수학식 3과 같다.

8x8 픽셀 블록을 입력받아 주파수 영역에서 다운 샘플링을 수행하고 다시 픽셀 블록으로 출력하는 통합식은 수학식 1, 2, 3을 치환, 변환하여 다음 수학식 4와 같이 얻어진다.

즉,

일 때,

,

로 대입하면 수학식 4와 같다.

다운 샘플링 필터의 행렬식은 수학식 4와 같으며, 이를 하드웨어로 구현하기 위해 옵티미제이션(optimization) 과정을 도출하면 다음과 같다.

위의 상수 행렬의 특성을 고려하여 행렬을 간소화하면 다음과 같이 된다.

이때,

이다.

위의 행렬은 행 방향으로 대칭(symmetric)의 구조를 가지므로 다음과 같이 변환 가능하다.

상기 수학식 5와 같이 최종적으로 얻어진 8 픽셀-4 픽셀 다운 변환 필터 행렬을 살펴보면, 입력 픽셀 값들에 대한 전처리 가산기/감산기(pre-addition/subtraction) 과정을 거치고 그 후에 곱셈(multiplication)을 수행하며, 마지막으로 후처리 가산기/감산기(post-addition/subtraction)을 하면 다운 변환된 출력 픽셀을 얻을 수 있다.

도 5는 상기 수학식 5와 같이 3 단으로 구현된 8픽셀-4픽셀 다운 변환부(230)(260)의 구성을 나타낸 도면이다.

각 단은 하드웨어에서 1 클럭(clock)의 처리 시간이 필요하다.

그리고 다운 변환부(230)(260)로의 입력은 블록의 행 방향, 또는 열 방향 단위로 이루어지며, 각 입력 단위마다 8 픽셀에 대한 다운 샘플링된 4개의 픽셀 값이 출력된다.

따라서 이 8픽셀-4픽셀 다운 변환부(230)(260)를 수학식 5를 토대로 하여 하드웨어로 구현하면, 제 1 단의 전처리 가/감산부(290)는 14개, 제 2 단의 곱셈부(300)는 14개, 제 3 단의 후처리 가/감산부(310)는 18개로 구성된다.

다음으로 색차(chrominance) 블록의 4픽셀-2픽셀의 다운 변환부(270)의 유도 식은 다음과 같다.

이때 4 픽셀-2 픽셀의 다운 변환부(270)의 구조는 도 5의 구조를 입력 4 픽셀, 출력 2 픽셀로 조정한 것과 같은 구조를 가진다.

그리고 블록의 행 또는 열의 입력 단위마다 4 픽셀에 대한 다운 샘플링된 2개의 픽셀 값이 출력된다.

따라서 4픽셀-2픽셀의 다운 변환부(270)를 수학식 6을 토대로 하드웨어로 구현하면 제 1 단의 전처리 가/감산부(290)는 5 개, 제 2 단의 곱셈부(300)는 3 개, 제 3 단의 가/감산부(310)는 4 개로 구성된다.

이상에서 설명한 바와 같은 본 발명에 따른 디지털 티브이의 다운 변환 처리 장치는 다음과 같은 효과가 있다.

첫째, 본 발명에 따른 HD급 엠펙 시퀀스를 위한 다운 변환부를 사용하므로써, 좋은 화질을 유지하면서 효과적으로 메모리 용량을 50% 및 75%만큼 감축시킬 수 있다.

둘째, PIP(Pictures In Pictures)용 비디오 디코더나 저해상도 디스플레이 장치를 위한 비디오 디코더의 구현이 매우 용이해진다.

셋째, 한 개의 HD급 화상 신호를 처리하기 위한 용량의 메모리만 가지고도 여러 개의 HD급 화상 신호 및 여러 종류의 SD급 비디오를 한 화면에 디스플레이할 수 있다.

넷째, 추가적인 하드웨어의 부담 없이 HD급 화상신호들을 저해상도 디스플레이 장치에 디스플레이할 수 있다.

다섯째, 디지털 티브이 방송이나 비디오 화상 회의 등의 응용 분야에 필수적인 원천 기술로서 멀티 디코딩이나 한 화면상에서 여러 개의 화상들을 처리할 수 있는 고성능 비디오의 구현이 가능하다.

여섯째, 다운 변환 장치의 다운 변환 모드에 따라 1/2, 1/4 다운 변환 장치를 선택적으로 이용함으로써, 디스플레이의 해상도, 화질에 따라 모드를 조정하여 다운 변환 할 수 있다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 이탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.

따라서, 본 발명의 기술적 범위는 실시 예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.

Claims

외부에서 입력된 압축 비트 스트림을 분석하는 가변 길이 디코더부와,

상기 가변 길이 디코더부를 통해 분석된 DCT 계수를 이용하여 상기 압축된 비트 스트림을 역 양자화 시키는 역양자화기와,

상기 역양자화기로부터 매크로 블록 형태로 출력된 비트 스트림을 각 블록에 대해 단일 8x8 역이산 코사인 변환을 수행하여 픽셀의 차분값을 얻는 IDCT기와,

상기 가변 길이 디코더로부터 추출된 움직임 신호들을 이용하여 업 샘플된 데이터의 움직임을 보상하는 움직임 보상부와,

상기 IDCT기로부터 출력된 데이터와 상기 움직임 보상부의 제어신호에 의해 프레임 메모리에서 추출된 데이터를 가산하여 복원된 블록을 출력하는 매크로 블록 가산기와,

상기 매크로 블록 가산기로부터 출력된 픽셀 데이터를 적응 다운 샘플링시킨 후, 프레임 메모리에 저장하는 다운 변환부와,

상기 움직임 보상부의 제어신호에 의해 프레임 메모리에서 추출된 데이터의 블록 크기를 상기 IDCT기로부터 출력된 블록의 크기와 동일하게 업 샘플링하는 업 변환부를 포함하여 구성되는 것을 특징으로 하는 디지털 티브이의 다운 변환 처리 장치.
제 1 항에 있어서, 상기 다운 변환부는

상기 매크로 블록 가산기에서 출력된 복원된 블록 데이터를 수평방향으로 1/2 다운 샘플링을 수행하는 제 1 다운 변환부와,

상기 제 1 다운 변환부의 결과를 트랜스포스(transpose)하고 트랜스포스된 블록 데이터가 휘도 신호인지 색차 신호인지를 판단하여 그 중 어느 하나를 출력하는 디먹스부와,

상기 디먹스부에서 출력되는 신호가 휘도 신호인 경우 수직 방향으로 1/2 다운 샘플링을 수행하는 제 2 다운 변환부와,

상기 디먹스부에서 출력되는 신호가 색차 신호인 경우 수직 방향으로 1/2 다운 샘플링을 하는 제 3 다운 변환부와,

상기 제 1 다운 변환부, 제 2 다운 변환부, 그리고 제 3 다운 변환부의 출력 중 어느 하나를 출력하는 먹스부를 포함하여 구성되는 것을 특징으로 하는 디지털 티브이의 다운 변환 처리 장치.
제 2 항에 있어서,

상기 제 1 및 제 2 다운 변환부는 8픽셀-4픽셀(8 pixel to 4 pixel) 다운 샘플링 필터이고, 제 3 다운 변환부는 4픽셀-2픽셀(4 pixel to 2 pixel) 다운 샘플링 필터로 구성되는 것을 특징으로 하는 디지털 티브이의 다운 변환 처리 장치.
제 3 항에 있어서,

상기 8픽셀-4픽셀(8 pixel to 4 pixel) 다운 샘플링 필터는 수학식

를 통해 가산기 14개로 구성된 전처리 가/감산부와, 곱셈기 14개로 구성된 곱셈부와, 가산기 18개로 구성된 후처리 가/감산부로 구성되는 것을 특징으로 하는 디지털 티브이의 다운 변환 처리 장치.
제 3 항에 있어서,

4픽셀-2픽셀(4 pixel to 2 pixel) 다운 샘플링 필터는 수학식

를 통해 가산기 5개로 구성된 전처리 가/감산부와, 곱셈기 3개로 구성된 곱셈부와, 가산기 4개로 구성된 후처리 가/감산부로 구성되는 것을 특징으로 하는 디지털 티브이의 다운 변환 처리 장치.
제 2 항에 있어서, 상기 제 1, 제 2, 및 제 3 다운 변환부는

외부에서 입력되는 다운 변환 모드에 따라 매크로 블록 가산기로부터 출력된 디코딩된 최종 픽셀값을 1/2 또는 1/4로 선택적으로 다운 변환을 수행하는 것을 특 징으로 하는 디지털 티브이의 다운 변환 처리 장치.