KR100463515B1 - 비디오 디코딩 시스템 - Google Patents

비디오 디코딩 시스템 Download PDF

Info

Publication number
KR100463515B1
KR100463515B1 KR10-2001-0087768A KR20010087768A KR100463515B1 KR 100463515 B1 KR100463515 B1 KR 100463515B1 KR 20010087768 A KR20010087768 A KR 20010087768A KR 100463515 B1 KR100463515 B1 KR 100463515B1
Authority
KR
South Korea
Prior art keywords
unit
picture
down sampling
data
output
Prior art date
Application number
KR10-2001-0087768A
Other languages
English (en)
Other versions
KR20030057692A (ko
Inventor
김응태
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-2001-0087768A priority Critical patent/KR100463515B1/ko
Priority to US10/329,700 priority patent/US20030123554A1/en
Publication of KR20030057692A publication Critical patent/KR20030057692A/ko
Application granted granted Critical
Publication of KR100463515B1 publication Critical patent/KR100463515B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428—Recompression, e.g. by spatial or temporal decimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

디지털 텔레비젼 또는 디지털 화상회의 시스템 응용분야에 적용하는 MPEG-2 비디오 디코딩 시스템에 관한 것으로서, 특히 참조 프레임으로 사용되는 I나 P 픽처는 수평 방향으로 1/2 감축하여 메모리에 저장하고, 다른 프레임의 참조 프레임으로 사용치 않는 B 픽처는 수평, 수직 방향으로 각각 1/2씩 총 3/4만큼 감축하여 메모리에 저장함으로써, 좋은 화질을 유지하면서 효율적으로 50% ~ 62.5% 메모리 감축을 얻을 수 있다. 또한 수직방향으로의 필드 정보를 유지하므로 MPEG 비디오를 디코딩하면서 생기는 드리프트 에러를 최대한 줄이면서 좋은 화질을 유지할 수 있다.

Description

비디오 디코딩 시스템{Video decoding system}
본 발명은 디지털 텔레비젼 또는 디지털 화상회의 시스템 응용분야에 적용하는 MPEG-2 비디오 디코딩 칩의 외부 메모리 감축을 위한 비디오 디코딩 시스템에 관한 것이다.
일반적인 MPEG-2 비디오 디코딩 시스템은 TP-디코더, 비디오 디코더, 비디오 디스플레이 처리부, 외부 메모리, 및 호스트 인터페이스 등으로 구성되어져 있다. 이때, 상기 외부 메모리의 경우 입력 비트스트림과 움직임 보상을 위한 프레임 버퍼(frame-buffer)들을 저장하기 위해 DRAM(또는, SDRAM)을 사용한다.
특히, 비디오 디코더의 경우 상기 외부 메모리는 주로 비디오 디코딩을 위한 비트 스트림의 쓰기와 읽기, 움직임 보상을 위하여 필요한 데이터의 읽기, 디코딩된 데이터의 쓰기 및 디스플레이될 데이터의 읽기에 이용될 수 있으며, 메모리 인터페이스를 통해 데이터를 주고받는다.
이때, MPEG-2 표준 규격안에서 MP@HL의 비디오 데이터를 디코딩하기 위해서는 사용되는 메모리의 크기와 데이터의 전송 속도도 그만큼 빨라져야 한다. 즉, MP&HL 모드를 지원하기 위해서는 약 10Mbits의 버퍼 사이즈가 요구되고, 최대 허용 비트 레이트(bit rate)가 약 80Mbit/s에 이른다. 이로 인해, 기존의 16Mbits DRAM을 기반으로 하는 MPEG-2 비디오 디코더의 경우 약 96∼128Mbits의 외부 메모리를 필요로 한다. 이는 메모리의 가격 상승을 의미한다.
그러므로, 제품 및 소비자 응용에 있어서 가격 경쟁력을 갖기 위해서는 고 가격의 메모리를 줄이면서 좋은 화질을 유지할 수 있는 필요성이 대두된다. 또한,각종 OSD(On Screen Display) 및 다양한 서비스를 제공하고 있는 추세에 비추어 앞으로는 추가적인 메모리의 증가가 필연적이다.
예를 들면, 최근에 MPEG-2와 같은 비디오 압축 복원 시스템의 경우 여러 종류의 비디오 신호를 멀티 디코딩하여 동시에 디스플레이함으로써, 다양한 서비스를 제공하고 있다. 이런 경우 한정된 메모리에 여러 개의 비디오 신호를 디코딩할 수 있어야 한다. 결국, 메모리의 한계성, 가격, 및 데이터 버스의 밴드폭(bandwidth)을 고려해 볼 때 비디오 디코딩 칩에 고화질 화상 신호의 손실을 최소로 하는 효과적인 메모리 감축 장치가 필요하다.
따라서, 기존의 비디오 디코딩 칩에 내재하여 있는 메모리 감축 알고리즘들을 살펴보면 50% 감축율을 갖는 ADPCM(Adaptive Differential Pulse Coded Modulation) 방식을 제안하거나, 75% 감축율을 갖는 VQ(Vector Quantization) 등을 이용하여 공간적인 중복성을 없애는 방식들을 제안하고 있다. 또한, 비디오 디코딩 칩에 내재하여 있는 DCT 주파수 영역에서 다운 컨버젼 알고리즘을 통한 압축 방식도 제안하고 있다.
그런데, 상기 ADPCM 방식의 경우는 메모리 내에 압축된 코드가 저장되므로, 바로 비디오 디스플레이 장치를 이용해서 디스플레이 하기가 힘들다. 즉, 압축된 코드를 다시 복원하기 위한 장치가 추가되어야 한다. 또한, 75% 감축시 ADPCM의 경우 화질의 손실이 매우 크므로 비디오 디코더에 적합하지 못한 결과를 가져온다.
이와 달리, 현재 고화질 디스플레이 장치가 많지 않은 상태에서 고해상도 HD급 화질의 비디오 시퀀스를 현존하는 NTSC급의 TV를 통해 감소된 해상도로 디스플레이할 필요가 생긴다. 이때, 시청자들은 고가의 HDTV 디스플레이 장치를 사지 않고도 HDTV 신호를 볼 수 있게 되어야 한다. 이런 장치를 다운 컨버팅 디코더(down-converting decoder)라고 부른다. 그러면, 풀(full) HDTV 해상도를 내는 TV보다는 훨씬 싼 가격의 TV를 얻을 수 있게 된다.
이러한 다운 컨버젼 방식들은 많은 메모리 감축량에도 불구하고 어느 정도의 화질을 유지할 수 있게 된다. 또한 저 해상도 디스플레이 장치를 위한 로우 코스트 디코더(low-cost decoder)에 적용할 수가 있다. 이를 위해 좋은 화질과 적은 메모리를 갖는 다운 컨버젼 알고리즘 및 H/W 설계가 필요로 하게 된다.
이러한 방식들 중 하나가 주파수 영역에서의 다운 컨버젼 방법들이다. 이들 중 하나는 DCT 영역에서 8x8 블록내 48개 고주파수 DCT 계수들을 없애는 다운 샘플링 방식이다. 이때, 나머지 저 주파수 성분의 4x4 블록에 대해서 IDCT한 결과를 외부 메모리에 저장한다. 따라서 움직임 보상시 수평, 수직 방향으로 1/2 해상도가 감축된 영역에 해당하는 움직임 벡터를 이용하여 1/4-펠 움직임 보상을 하게 된다. 하지만, 이러한 방법은 고주파수 데이터의 손실로 인해서 드리프트 에러 및 심한 블록 아티팩트(block artifact)를 볼 수 있게 된다.
이런 드리프트(drift) 문제를 해결하기 위해 업 샘플링(up-sampling)을 이용한 움직임 보상 방식을 사용하기도 한다. 이런 방식들은 풀 해상도(full resolution) 움직임 벡터를 사용하여 움직임 보상 예측오차를 줄이려고 할 때 감축된 해상도(reduced resolution)의 화면을 참조(reference)로 사용하게 된다. 결국 감축된 해상도를 폴 해상도 픽처로 만들기 위해서 업 샘플링 방식이 사용된다.
즉, 주파수 영역에서 4x4 IDCT를 써서 다운 샘플링된 픽처를 업 샘플링하여 움직임 보상 예측오차를 줄이기 위한 효율적인 몇 가지 방식들이 기존에 제안되었다. 이러한 방법들은 전형적으로 예측되는 매크로블록의 움직임 벡터에 따라 5탭이나 8탭을 갖는 2차원 필터를 사용한다. 이때 움직임 벡터에 따라 8탭 필터의 값들의 위치가 변하게 된다. 따라서 하나의 8탭 필터로 4화소들을 8화소로 늘려주게 된다.
그러나, 앞서 설명한 방식들은 움직임이 큰 영역에 있어서 움직임 보상시 예측 에러(prediction error)가 누적되어 좋지 않은 영향을 주게 된다. 이는 기존 비디오 디코더가 프레임 픽처나 필드 픽처에 따라 메모리에서 프레임 단위나 필드 단위로 화소들을 읽어 와서 움직임 보상을 하게 되기 때문이다. 또한, 75% 감축을 위해 수직방향으로 다운 샘플링시 프레임 픽처와 필드 픽처의 다운 샘플된 결과는 다르게 된다. 결국, 움직임 보상시 비월주사에서 필드단위로 디스플레이시 필드에 대한 정보를 잃어버리게 된다.
즉, 화질 저하는 보통 움직임이 큰 부분에 있어서 필드 단위의 움직임 보상을 수행하기 때문이다. 필드 단위로 높은 상관성을 가진 비월주사 시퀀스(interlaced sequence)의 경우 프레임 단위로 수직방향 성분들의 고 주파수 성분을 없애기 때문에 화면에 심한 필드 부정합(field mismatch) 현상 및 플리커링(flickering)을 보이게 된다. 즉, 8x8 DCT 계수중에 저주파수 대역에 해당하는 부분만을 이용하는 방식(4x4 cut 이라 불림)을 주로 사용하는데 이때 필드간의 고주파수 대역 신호를 잃어버려서 생기게 된다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 픽쳐 유형에 따라 메모리 크기를 다르게 감축하여 수직 방향으로의 필드 정보를 유지하면서 화질을 높이는 비디오 디코딩 시스템을 제공함에 있다.
본 발명의 다른 목적은 앵커 프레임은 1/2 감축하여 저장하고, 다른 프레임의 참조 프레임으로 사용하지 않는 B 프레임은 1/4 감축하여 다운 컨버젼 방식의 화질 손상을 줄이는 비디오 디코딩 시스템을 제공함에 있다.
도 1은 본 발명에 따른 비디오 디코딩 시스템의 구성 블록도
도 2는 도 1의 상세 블록도
도 3은 도 1의 다운 샘플링부의 다른 예를 보인 구성 블록도
도 4a 내지 도 4d는 외부 메모리 용량으로 3프레임분을 사용할 때의 각 메모리 사용예를 보인 도면
도 5a 내지 도 5d는 외부 메모리 용량으로 4프레임분을 사용할 때의 각 메모리 사용예를 보인 도면
도 6은 도 1의 움직임 보상부의 상세 블록도
도면의 주요부분에 대한 부호의 설명
101 : VLD부 102 : IQ부
103 : IDCT부 104 : 가산기
105 : 다운 샘플링부 106 : 업 샘플링부
107 : 움직임 보상부 200 : 비디오 디스플레이 프로세서
300 : 외부 메모리
상기와 같은 목적을 달성하기 위한 본 발명에 따른 비디오 디코딩 시스템은, IDCT된 데이터와 움직임 보상된 데이터를 더하는 가산기에서 출력되는 데이터의 픽처 유형에 따라 수평 방향으로만 또는 수평, 수직 방향에 대해 모두 감축을 수행하는 다운 샘플링부와, 상기 다운 샘플링부에서 다운 샘플링된 데이터를 저장하는 감축된 외부 메모리와, 상기 외부 메모리로부터 읽어 온 참조 픽쳐를 수평 방향으로 업 샘플링하는 업 샘플링부와, 상기 업 샘플링부에서 수평 방향으로 업 샘플링된 픽쳐에 대해 상기 VLD된 풀 해상도의 움직임 벡터를 사용하여 움직임 보상을 수행하여 상기 가산기로 출력하는 움직임 보상부를 포함하여 구성되는 것을 특징으로 한다.
상기 다운 샘플링부는 상기 가산기에서 출력되는 데이터의 유형이 I나 P 픽쳐이면 수평 방향으로 1/2 해상도 감축을 수행하고, B 픽쳐이면 수평, 수직 방향으로 각각 1/2씩 해상도 감축을 수행하는 것을 특징으로 한다.
상기 다운 샘플링부는 수직 방향으로의 다운 샘플링시 프레임 픽처는 필드 구조로 변환한 후 다운 샘플링을 수행하는 것을 특징으로 한다.
상기 다운 샘플링부는 수직 방향으로의 다운 샘플링시 휘도 신호와 색 신호를 분리하여 다르게 다운 샘플링을 수행하는 것을 특징으로 한다.
상기 업 샘플링부는 상기 외부 메모리로부터 읽어 온 데이터에 대해 수평 방향으로 2배 업 샘플링을 수행하는 것을 특징으로 한다.
본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예의 구성과 그 작용을 설명하며, 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
도 1은 본 발명에 따른 비디오 디코딩 시스템의 구성 블록도로서, 압축된 비디오 비트 스트림을 가변 길이 디코딩(Variable Length Decoding ; VLD)하여 움직임 벡터, 양자화 값, DCT(Discrete Cosine Transform) 계수로 분리하는 VLD부(101), 상기 VLD된 DCT 계수를 역 양자화(Inverse Quantized ; IQ)하는 역 양자화부(102), 상기 역 양자화된 DCT 계수를 역 이산 여현 변환(Inverse Discrete Cosine Transform ; IDCT)하는 IDCT부(103), 상기 IDCT된 데이터와 움직임 보상된 데이터를 더하는 가산기(104), 상기 가산기(104)에서 출력되는 픽쳐의 유형에 따라 수평, 수직 방향으로의 감축을 다르게 하여 디스플레이를 위해 비디오 디스플레이프로세서(VDP)(200)로 출력함과 동시에 움직임 보상을 위해 외부 프레임 메모리(300)로 출력하는 다운 샘플링부(105), 상기 메모리(300)에 저장된 데이터를 읽어 와 수평 방향으로의 업 샘플링을 수행하는 업 샘플링부(106), 및 상기 업 샘플링부(106)의 출력과 상기 VLD부(101)에서 출력되는 움직임 벡터를 이용하여 움직임 보상을 수행한 후 상기 가산기(104)로 출력하는 움직임 보상부(107)로 구성된다.
상기 다운 샘플링부(105)는 상기 가산기(105)의 출력에 대해 수평 방향으로 1/2 감축하는 수평 감축부(105a), 상기 수평 감축부(105a)에서 출력되는 신호의 픽쳐가 B 픽쳐인지에 따라 스위칭되는 스위칭부(105b), 상기 스위칭부(105b)를 통해 출력되는 B 픽쳐에 대해 다시 수직 방향으로 1/2 감축하는 수직 감축부(105c)로 구성된다. 여기서, I,P 픽쳐는 상기 스위칭부(105b)를 통해 그대로 VDP(200)와 메모리(300)로 바이패스된다.
도 2는 도 1의 각 부의 상세 블록도로서, 가산기(104)의 신호 경로는 톱 필드의 바텀 필드로 구분되어 진행된다. 이를 위해 가산기(104)는 IDCT된 데이터를 일시 저장한 후 톱 필드와 바텀 필드로 구분하여 출력하는 DCT 버퍼(104a), 움직임 보상된 탑 필드와 바텀 필드의 데이터를 일시 저장하는 MC 버퍼(104b), 상기 DCT 버퍼(104a)에서 출력되는 톱 필드의 DCT 계수와 MC 버퍼(104b)에서 출력되는 톱 필드의 데이터를 더하는 가산기(104c), 및 상기 DCT 버퍼(104a)에서 출력되는 바텀 필드의 DCT 계수와 MC 버퍼(104b)에서 출력되는 바텀 필드의 데이터를 더하는 가산기(104d)로 구성된다.
이와 같이 구성된 본 발명에서 압축된 비디오 비트 스트림은 VLD부(101)로 출력되고, 상기 VLD부(101)는 비디오 비트스트림을 가변길이 디코딩하여 움직임 벡터, 양자화 값, DCT(Discrete Cosine Transform) 계수로 분리한 후 움직임 벡터(MV), 움직임 유형(motion_type), 필드 선택 신호(motion_vertical_field_select)등은 움직임 보상부(107)로 출력하고, 양자화 값 및 DCT 계수는 역양자화(Inverse Quantizer ; IQ)부(102)로 출력한다. 또한, 상기 VLD부(101)에서 분리된 dct_type(프레임 또는 필드), picture_structure(프레임 픽쳐 또는 필드 픽쳐), 순차 시퀀스(progressive_seq) 정보등은 톱 필드와 바텀 필드의 구분을 위해 가산기(104)의 DCT 버퍼(104a)와 MC 버퍼(104b)로 출력된다. 이때, 상기 DCT 계수는 지그-재그 스캔 방식 또는 택일 스캔(Alternate scan) 방식으로 코딩되어 있으므로 IQ부(102)는 이를 라스터 스캔(Raster Scan) 방식으로 역스캔한 후 역스캔된 DCT 계수를 양자화 값에 따라 역 양자화하여 역 이산 여현 변환(Inverse Discrete Cosine Transform ; IDCT)부(103)로 출력한다. 상기 IDCT부(103)는 MPEG-2 비디오 신택스에 맞게 8x8 블록 단위로 역 양자화된 DCT 계수를 IDCT하여 가산기(104)로 출력한다.
상기 가산기(104)의 DCT 버퍼(104a)는 프레임인지 필드인지를 나타내는 DCT 유형(dct_type), 프레임 픽쳐인지 필드 픽쳐인지를 나타내는 픽쳐 구조(picture_structure), 순차 시퀀스(progressive_seq) 정보에 따라 IDCT된 데이터를 톱 필드와 바텀 필드로 구분하여 각각의 가산기(104c,104d)로 출력한다. 이때, MC 버퍼(104b)는 picture_structure에 따라 움직임 보상부(107)에서 움직임 보상된 데이터를 프레임이나 필드 구조로 저장한다. 상기 가산기(104c)는 IDCT된 데이터의 톱 필드와 MC 버퍼(104b)에서 움직임 보상되어 출력되는 톱 필드를 더하여 다운 샘플링부(105)로 출력하고, 상기 가산기(104d)는 IDCT된 데이터의 바텀 필드와 MC 버퍼(104b)에서 움직임 보상되어 출력되는 바텀 필드를 더하여 다운 샘플링부(105)로 출력한다. 상기 다운 샘플링부(105)는 톱 필드와 바텀 필드에 대해서 독립적으로 다운 샘플링을 수행한다. 즉, 상기 다운 샘플링부(105)는 가산기(104)를 통해 나온 각각의 필드 신호들에 대해서 픽처 유형에 따라 1/2, 3/4 감축하여 원 신호를 줄인다.
좀 더 상세히 살펴보면, 상기 다운 샘플링부(105)의 수평 감축부(105a)는 가산기(104)의 출력에 대해 8*8 블록 단위로 수평 방향으로 1/2만큼 해상도를 감축한다. 그리고, 상기 감축된 신호가 B 픽쳐이면 스위칭부(105b)를 통해 수직 감축부(105c)로 출력되고, 상기 수직 감축부(105c)는 수평 방향으로 1/2 해상도 감축된 B 픽쳐에 대해 다시 수직 방향으로 1/2만큼 해상도를 감축하여 VDP(200)와 메모리(300)로 출력한다. 즉, B 픽쳐의 경우 원 신호의 크기가 3/4만큼 줄어든다. 한편, 상기 수평 감축부(105a)에서 1/2만큼 해상도가 감축된 신호가 I,P 픽쳐라면 상기 스위칭부(105b)를 통해 그대로 VDP(200)와 메모리(300)로 출력된다.
즉, 참조 픽처인 I나 P픽처는 필드 정보를 유지한 채 수평방향으로만 1/2 해상도 감축하여 메모리(300)로 출력한다.
하지만, 참조 픽처로 사용되지 않는 B 픽쳐인 경우는 수신된 비디오 시퀀스의 DCT 블록이 field DCT coded 블록인지 frame DCT coded 블록인지에 상관없이 프레임 픽처를 필드 구조로 바꾼 후 수평, 수직방향으로 각각 1/2씩 해상도를 감축하여 메모리(300)로 출력한다. 즉, frame DCT coded 블록이면 필드 단위의 신호로 나뉘어 8*8 블록 내의 주파수 성분을 추출한 후 주파수 영역에서 다운 샘플링을 한다.
예컨대, B-픽처의 75% 감축시는 메모리내 필드에 대한 정보를 유지하기 위해서 휘도 신호와 색차(chrominance) 신호를 따로 분리해서 처리해주게 된다. 또한, 프레임 픽처인 경우 색차 신호는 4x8 크기의 톱/바텀 필드로 나뉘어진다. 이와 달리 휘도 신호는 8x8크기의 톱/바텀 필드로 나뉘어진다. 이를 통해 B픽처의 경우 필드에 대한 정보를 잃지 않게 되어 좋은 화질을 유지할 수 있게 된다.
도 3은 상기 다운 샘플링부(105)의 상세 블록도의 다른 예로서, 다운 샘플링 제어부(301), 수평 다운 샘플링부(302), 임시 버퍼(303), 수직 다운 샘플링부(304), 및 먹스(305)로 구성된다.
즉, 가산기(105)에서 출력되는 신호는 다운 샘플링 제어부(301)의 제어에 의해 수평 다운 샘플링부(302)에서 수평 방향으로 1/2 해상도 감축된 후 임시 버퍼(303)와 먹스(305)로 동시에 출력된다. 상기 임시 버퍼(303)는 수평 방향으로 1/2 감축된 데이터를 수직 다운 샘플링부(304)로 출력하고, 상기 수직 다운 샘플링부(304)는 다시 수직 방향으로 1/2 해상도 감축한 후 먹스(305)로 출력한다.
이때, 상기 수직 다운 샘플링부(304)는 휘도 신호와 색차 신호에 대해서 다르게 다운 샘플링을 수행한다. 또한, 프레임 픽처인 경우 색차 신호는 4x8 크기의 톱/바텀 필드로 나누고, 휘도 신호는 8x8크기의 톱/바텀 필드로 나누어 다운 샘플링을 수행한다. 이는 B픽처의 경우 필드에 대한 정보를 잃지 않도록 하기 위해서이다.
상기 먹스(305)는 픽쳐 유형에 따라 즉, I나 P 픽처이면 상기 수평 다운 샘플링부(302)의 출력을 선택하여 VDP(200)와 메모리(300)로 출력하고, B 픽처이면 상기 수직 다운 샘플링부(304)의 출력을 선택하여 VDP(200)와 메모리(300)로 출력한다.
도 4 및 도 5는 메모리 사용예를 보인 것으로서, 도 3은 외부 메모리의 용량으로 3 프레임 분을 사용할 경우의 예이고, 도 4는 4 프레임 분을 사용할 경우의 예를 보이고 있다.
도 4a는 비디오 디코더가 MPEG 시퀀스를 디코딩하기 위해 필요한 최소 프레임으로 3 프레임을 요구하는 경우로서, 한 개는 현재 프레임이고 나머지 2개는 앵커 참조 프레임(anchor reference frame)이다. 도 4b는 기존의 수평,수직방향으로 각각 1/2씩 감축을 하는 다운 컨버젼 방식을 나타내며, 이 경우 메모리는 75% 감축율을 나타낸다. 그러나 수직 방향으로 필드 정보 및 고 주파수의 손실에 의한 화질 저하가 생긴다. 도 4c의 경우는 수평 방향으로만 1/2 감축한 다운 컨버젼한 방식으로 메모리 감축율은 50%이다. 이때, 수직 방향으로의 필드 정보는 계속 유효하며, 수직방향으로의 고주파수 손실만이 존재한다. 도 4d는 본 발명에서 제안된 다운 컨버젼 방식으로 I, P의 참조 프레임은 수평방향으로 1/2 감축하고, B 픽처의 경우는 수평, 수직방향으로 각각 1/2 감축한다. 이를 통해 58%의 메모리 감축율을 얻을 수 있다. 이때, B 픽처의 경우는 다른 픽처에 아무런 영향을 주지 않으므로 드리프트에러가 누적되지 않고, 또한, VDP(200)가 스케일링(scaling) 기능을 가지고 있기 때문에 쉽게 비디오를 늘리거나 줄일 수 있다. 또한, 본 발명에서 제안한 구조로 도 4c의 경우는 쉽게 구현 가능한 장점을 가지고 있다.
도 5는 비디오 디코더의 외부 메모리가 4 프레임분을 사용하는 경우로 보통 특별한 디스플레이 처리나 비디오 디코딩 프리즈(video decoding freeze)등과 같은 기능을 사용시 필요하게 된다. 즉, 디코딩 타임과 디스플레이 타임간의 지연으로 인하여 3 프레임 디코딩에서 생길 수 있는 티어링 문제등을 해결하기 위해서 4프레임을 사용하게 된다. 이때의 메모리 사용량을 보면, 도 5b, 도 5c는 상기된 도 4b,도 4c와 같은 방법으로 다운 컨버젼시켜 메모리 사용량을 감축한 예이다. 본 발명에서 제안된 도 5d의 구조는 기존 방식들이 일정한 메모리 감축율을 갖는데 비해 더 많은 감축 효과를 가지게 된다. 즉, 3프레임시 도 4d와 같이 58%의 감축율은 갖는데 반하여, 4프레임시 도 5d와 같이 62.5%까지 높아진다.
도 6은 상기된 방법으로 다운 샘플링되어 외부 메모리에 저장된 데이터를 읽어와 움직임 보상을 수행하는 업 샘플링부와 움직임 보상부의 상세 블록도이다.
우선, I 픽처의 경우는 IQ/IDCT된 결과가 곧바로 다운 샘플링부(105)에서 다운 샘플링되어 메모리(300)에 저장되나, P나 B픽처의 경우는 움직임 예측 보상한 블록들과 가산기(104)에서 더해진 후 다운 샘플링부(105)에서 다운 샘플링되어 메모리에 저장된다. 이때, 비디오 인코더에서는 움직임 보상된 프레임을 얻기 위해서 풀 해상도의 움직임 벡터를 사용하여 이전 프레임으로부터 현재 프레임의 블록을 재생한다.
그러므로, 본 발명에서는 도 6과 같이 움직임 보상시에 화질을 높이기 위해 수평 방향의 움직임 벡터를 스케일링 다운하기보다는 풀 해상도의 움직임 벡터를 사용한다. 이때, 풀 해상도의 움직임 벡터를 이용하기 위해서는 메모리에 있는 감축된 참조 픽처를 원래 해상도로 업 샘플링하는 과정이 필요로 한다. 이를 업 샘플링부(106)의 수평 업 샘플링 필터(602)에서 수행한다.
이를 위해 MV 스케일링부(601)에서는 움직임 유형(motion_type)과 움직임 벡터 그리고, 필드 선택 신호를 VLD부(101)로부터 입력받아 외부 메모리(300)의 리드 어드레스를 생성하고, 수평 업 샘플링 필터(602)는 상기 리드 어드레스에 상응하는 예측을 위한 참조 픽셀들을 메모리(300)로부터 읽어 와 수평 방향으로 2배 업 샘플링을 수행하여 하프 펠 보간부(603)로 출력한다. 상기 하프 펠 보간부(603)는 움직임 보상부로서, 업 샘플된 블록에 대해 하프-펠 보간을 하여 움직임 보상된 블록을 구성한 후 가산기(104)의 MC 버퍼(104b)로 출력한다.
이때, B 픽처는 참조에 이용되지 않으므로 업 샘플링부에서 수직 방향의 업 샘플링은 수행하지 않는다.
즉, 기존의 75% 감축 방식들은 프레임 예측모드시 각 필드를 수평, 수직방향의 업 샘플링을 한 후 프레임 단위의 매크로 블록으로 만드는 과정이 필요하지만, 본 발명에서는 수평방향으로만 업 샘플링이 수행되므로 움직임 보상이 훨씬 쉬워진다.
이와 같이 본 발명은 픽처 타입에 따라 다른 크기의 메모리 양을 사용하는 메모리 감축 방식에 의해 좋은 화질을 유지하면서 50%이상 메모리 감축을 할 수 있다.
이상에서와 같이 본 발명에 따른 비디오 디코딩 시스템에 의하면, 참조 프레임으로 사용되는 I나 P 픽처는 수평 방향으로 1/2 감축하여 메모리에 저장하고, 다른 프레임의 참조 프레임으로 사용치 않는 B 픽처는 수평, 수직 방향으로 각각 1/2씩 총 3/4만큼 감축하여 메모리에 저장함으로써, 여러 개의 비디오 신호를 저장하거나 메모리 용량 및 데이터 밴드폭을 줄이려고 할 때 효율적이다. 또한, 수직방향으로의 필드 정보를 유지하므로 MPEG 비디오를 디코딩하면서 생기는 드리프트 에러를 최대한 줄이면서 좋은 화질을 유지할 수 있다. 즉, 좋은 화질을 유지하면서 효율적으로 50% ~ 62.5% 메모리 감축을 얻을 수 있다.
본 발명은 디지털 TV나 비디오 화상 회의 등의 응용 분야에 필수적인 기술로서 메모리 감축을 통한 가격 경쟁력 및 한정된 메모리 크기에서 다양한 서비스를 제공할 수 있는 비디오 디코더 및 타 회사의 디지털 TV와의 기술 경쟁력 강화 등의 큰 효과를 얻을 수 있다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.
따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.

Claims (9)

  1. 입력되는 비디오 비트스트림에 대해 가변 길이 디코딩(VLD), 역양자화(IQ), 역 이산 코사인 변환(IDCT) 과정을 순차적으로 거친 후 가산기를 통해 움직임 보상(MC)된 데이터와 더하여 원래 화면의 픽셀 값으로 복원하는 비디오 디코딩 시스템에 있어서,
    상기 가산기에서 출력되는 데이터에 대해 수평 방향으로 다운 샘플링을 수행하고, 이어 상기 다운 샘플링된 데이터의 유형이 B 픽처이면 필드 구조로 변환한 후 다시 수직 방향으로 다운 샘플링을 수행하는 다운 샘플링부;
    상기 다운 샘플링부에서 다운 샘플링된 데이터를 저장하는 감축된 외부 메모리;
    상기 외부 메모리로부터 읽어 온 참조 픽쳐를 수평 방향으로 업 샘플링하는 업 샘플링부; 그리고
    상기 업 샘플링부에서 수평 방향으로 업 샘플링된 픽쳐에 대해 상기 VLD된 풀 해상도의 움직임 벡터를 사용하여 움직임 보상을 수행하여 상기 가산기로 출력하는 움직임 보상부를 포함하여 구성되는 것을 특징으로 하는 비디오 디코딩 시스템.
  2. 삭제
  3. 제 1 항에 있어서, 상기 다운 샘플링부는
    상기 가산기에서 출력되는 데이터의 유형이 I나 P 픽쳐이면 수평 방향으로만 1/2 해상도 감축을 수행하고, B 픽쳐이면 수평 방향으로 1/2 해상도 감축을 수행한 후 필드 구조로 변환하여 다시 수직 방향으로 1/2 해상도 감축을 수행하는 것을 특징으로 하는 비디오 디코딩 시스템.
  4. 삭제
  5. 제 1 항에 있어서, 상기 다운 샘플링부는
    수직 방향으로의 다운 샘플링시 입력되는 B 픽처를 휘도 신호와 색 신호를 분리하고 분리된 색 신호는 4*8 크기의 톱/바텀 필드로 나누고, 상기 휘도 신호는 8*8 크기의 톱/바텀 크기로 나눈 후 각각 다운 샘플링을 수행하는 것을 특징으로 하는 비디오 디코딩 시스템.
  6. 제 1 항에 있어서, 상기 다운 샘플링부는
    상기 가산기의 출력 데이터에 대해 수평 방향으로 1/2 다운 샘플링을 수행하는 수평 감축부와,
    상기 수평 감축된 데이터가 I나 P픽처이면 스위칭에 의해 상기 수평 감축부의 출력을 외부 메모리로 바이패스하는 스위칭부와,
    상기 스위칭부를 통해 출력되는 B 픽처의 데이터에 대해 필드 구조로 변환한 후 다시 수직 방향으로 1/2 다운 샘플링을 수행하여 상기 외부 메모리로 출력하는 수직 감축부로 구성되는 것을 특징으로 하는 비디오 디코딩 시스템.
  7. 제 1 항에 있어서, 상기 다운 샘플링부는
    상기 가산기의 출력 데이터에 대해 수평 방향으로 1/2 다운 샘플링을 수행하는 수평 다운 샘플링부와,
    상기 수평 다운 샘플링부의 출력 데이터에 대해 필드 구조로 변환한 후 다시 수직 방향으로 1/2 다운 샘플링을 수행하는 수직 다운 샘플링부와,
    다운 샘플링이 수행되는 데이터가 I나 P 픽처이면 상기 수평 다운 샘플링부의 출력을 선택하고, B 픽처이면 상기 수직 다운 샘플링부의 출력을 선택하여 상기 외부 메모리로 출력하는 선택부로 구성되는 것을 특징으로 하는 비디오 디코딩 시스템.
  8. 제 1 항에 있어서, 상기 업 샘플링부는
    상기 외부 메모리로부터 읽어 온 데이터에 대해 수평 방향으로 2배 업 샘플링을 수행하는 것을 특징으로 하는 비디오 디코딩 시스템.
  9. 제 1 항에 있어서, 상기 움직임 보상부는
    상기 업 샘플된 블록에 대해 하프-펠 보간을 하여 움직임 보상된 블록을 구성하는 것을 특징으로 하는 비디오 디코딩 시스템.
KR10-2001-0087768A 2001-12-29 2001-12-29 비디오 디코딩 시스템 KR100463515B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR10-2001-0087768A KR100463515B1 (ko) 2001-12-29 2001-12-29 비디오 디코딩 시스템
US10/329,700 US20030123554A1 (en) 2001-12-29 2002-12-27 Video decoding system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0087768A KR100463515B1 (ko) 2001-12-29 2001-12-29 비디오 디코딩 시스템

Publications (2)

Publication Number Publication Date
KR20030057692A KR20030057692A (ko) 2003-07-07
KR100463515B1 true KR100463515B1 (ko) 2004-12-29

Family

ID=19717882

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0087768A KR100463515B1 (ko) 2001-12-29 2001-12-29 비디오 디코딩 시스템

Country Status (2)

Country Link
US (1) US20030123554A1 (ko)
KR (1) KR100463515B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006243043A (ja) * 2005-02-28 2006-09-14 Sanyo Electric Co Ltd 高域補間装置及び再生装置
JP2007166323A (ja) * 2005-12-14 2007-06-28 Matsushita Electric Ind Co Ltd 画像復号装置、および画像復号方法
CN100428799C (zh) * 2006-07-14 2008-10-22 杭州国芯科技有限公司 视频解码图像存储空间管理方法
CN101848383A (zh) * 2009-03-24 2010-09-29 虹软（上海）科技有限公司 对mpeg2格式视频进行降采样解码的方法
JP5496047B2 (ja) * 2010-10-07 2014-05-21 パナソニック株式会社 画像再生方法、画像再生装置、画像再生プログラム、撮像システム、および再生システム
CN102438135B (zh) * 2011-01-14 2013-12-04 展讯通信（上海）有限公司 高分辨率视频在小尺寸显示设备上的降采样解码方法及装置
CN108833918B (zh) * 2018-06-20 2021-09-17 腾讯科技（深圳）有限公司 视频编码方法、解码方法、装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5644361A (en) * 1994-11-30 1997-07-01 National Semiconductor Corporation Subsampled frame storage technique for reduced memory size
KR19990070440A (ko) * 1998-02-20 1999-09-15 구자홍 디지탈 티브이 수신 디코더 장치
JP2000224591A (ja) * 1999-01-25 2000-08-11 Internatl Business Mach Corp <Ibm> 統合ビデオ復号化システム、フレ―ム・バッファ、符号化ストリ―ム処理方法、フレ―ム・バッファ割当て方法及び記憶媒体
WO2000060862A1 (en) * 1999-04-02 2000-10-12 Sony Electronics Inc. Reduced-memory video decoder for compressed high-definition video data

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06284392A (ja) * 1993-03-30 1994-10-07 Toshiba Corp 映像信号送受信装置
US6628714B1 (en) * 1998-12-18 2003-09-30 Zenith Electronics Corporation Down converting MPEG encoded high definition sequences to lower resolution with reduced memory in decoder loop
US6459452B1 (en) * 2000-03-31 2002-10-01 Intel Corporation System, method, and apparatus for decoding digital video sequences
KR100370076B1 (ko) * 2000-07-27 2003-01-30 엘지전자 주식회사 다운 컨버젼 기능을 갖는 비디오 디코더 및 비디오 신호를디코딩 하는 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5644361A (en) * 1994-11-30 1997-07-01 National Semiconductor Corporation Subsampled frame storage technique for reduced memory size
KR19990070440A (ko) * 1998-02-20 1999-09-15 구자홍 디지탈 티브이 수신 디코더 장치
KR100282307B1 (ko) * 1998-02-20 2001-02-15 구자홍 디지탈 티브이 수신 디코더 장치
JP2000224591A (ja) * 1999-01-25 2000-08-11 Internatl Business Mach Corp <Ibm> 統合ビデオ復号化システム、フレ―ム・バッファ、符号化ストリ―ム処理方法、フレ―ム・バッファ割当て方法及び記憶媒体
WO2000060862A1 (en) * 1999-04-02 2000-10-12 Sony Electronics Inc. Reduced-memory video decoder for compressed high-definition video data

Also Published As

Publication number Publication date
US20030123554A1 (en) 2003-07-03
KR20030057692A (ko) 2003-07-07

Similar Documents

Publication Publication Date Title
KR100370076B1 (ko) 다운 컨버젼 기능을 갖는 비디오 디코더 및 비디오 신호를디코딩 하는 방법
JP3591083B2 (ja) デジタル高精細および／またはデジタル標準精細テレビジョン信号を復号化するためのデジタルビデオデコーダ
US5818530A (en) MPEG compatible decoder including a dual stage data reduction network
US6104753A (en) Device and method for decoding HDTV video
KR100598468B1 (ko) Mpeg코딩된데이터스트림처리시스템및방법,mpeg코딩된입력신호처리시스템및방법
US6442201B2 (en) Down conversion decoding device of digital television
KR100504471B1 (ko) 비디오 디코딩 시스템
US6122321A (en) Methods and apparatus for reducing the complexity of inverse quantization operations
US20010016010A1 (en) Apparatus for receiving digital moving picture
JP2001285863A (ja) 画像情報変換装置及び方法
US6333952B1 (en) Decoder for digital TV receiver
KR100323676B1 (ko) 디지털 동영상 수신 장치
KR100463515B1 (ko) 비디오 디코딩 시스템
US20080170628A1 (en) Video decoding method and apparatus having image scale-down function
KR19980021020A (ko) 간이형 에이치디티브이 비디오 디코더 및 디코딩 방법
KR100556357B1 (ko) 디지털 비디오 포맷을 지원하는 엠펙 비디오 디코딩 시스템
EP0955609B1 (en) Decoding compressed image information
KR100323688B1 (ko) 디지털 동영상 수신 장치
KR100359824B1 (ko) 비디오 디코딩 장치 및 방법
KR100255777B1 (ko) 디지탈 티브이 수신 디코더 장치
JP2000004442A (ja) ディジタル符号化画像データの復号・表示装置
KR100296817B1 (ko) 디지탈티브이수신디코더장치
KR100308007B1 (ko) 디지탈티브이수신디코더장치
JP2000244907A (ja) デジタルビデオデータの復号化とフォーマット変換用の低コストビデオ復号器
JP2003143603A (ja) 画像復号装置

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20100929

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee