KR19980080157A

KR19980080157A - 이산 코사인 변환 인코드 화상의 다운 변환을 위한 주파수 영역 필터링

Info

Publication number: KR19980080157A
Application number: KR1019980008190A
Authority: KR
Inventors: 김희용; 에드윈 로버트 마이어; 렌 에가와
Original assignee: 마사아키 우에다; 마쓰시타 덴키 산교 주식회사
Priority date: 1997-03-12
Filing date: 1998-03-12
Publication date: 1998-11-25
Also published as: CN1203500A; US6175592B1; CN1173576C; JPH10262252A

Abstract

공간 영역의 비디오 이미지의 추출 이전에, 매크로블록과 같은, 주파수 영역 계수값으로 나타내어지는 고해상도 인코드 비디오 이미지를 저역 필터링(lowpass filtering)하기 위한 이산 코사인 변환(DCT) 영역 필터. 상기 DCT 필터는 역 DCT에 의한 처리 이전에 비디오 이미지 매크로블록의 DCT 계수를 마스크 또는 가중(weights)한다. 상기 필터는 주파수 영역에서 블록 미러 필터로서 구현될 수 있고, 필터 값은 IDCT 계수값과 결합될 수 있다. 디코더에 의해 사용되는 저해상도 기준 이미지가 원래의 고해상도 이미지와 동등하지 않기 때문에 고해상도 인코드 비디오 이미지의 원래의 모션 벡터는 이동된다(translated). 따라서, 모션 벡터는 공간 영역에서 원래의 픽셀 및 절반-픽셀 값을 생성하기 위해서 업샘플되는 저해상도 예측 블록을 복원하도록 기준화된다(scaled). 업샘플된 예측 블록은 현재의 매크로블록이 비인트라프레임(non-intraframe) 인코드 이미지의 일부인 경우 DCT 여과된 역DCT 변환 픽셀에 가산된다. 원래의 매크로블록의 모션 보상 처리 후에, 저해상도에서 재구성된 매크로블록은 적절하게 추출된다.

Description

이산 코사인 변환 인코드 화상의 다운 변환을 위한 주파수 영역 필터링

발명의 분야

본 발명은 주파수 영역 인코드 신호, 즉 MPEG-2 인코드 비디오 신호의 다운 변환을 위한 필터를 구비하는 디코더에 관한 것으로, 특히, 주파수 영역 신호를 필터링함으로써 고해상도 비디오 신호를 저해상도 비디오 신호로 변환하는 디코더에 관한 것이다.

발명의 배경

디지털적으로 인코드된 고해상도 텔레비젼 신호(high definition television signals; HDTV)용의 표준이 미국에서 제안되었다. 이 표준의 일부는 국제 표준화 기구(International Organization for Standardization; ISO)의 동화상 전문가그룹(Moving Picture Experts Group; MPEG)에 의해 제안된 MPEG-2 표준안과 본질적으로 동일하다. 상기 표준안은 국제 표준안(International Standard; IS) 공보의 『Information Technology-Generic Coding of Moving Pictures and Associated Audio, Recommendation H.626 ISO/IEC 13818-2, IS, 11/94』에 상술되어 있는데, 본원에선 MPEG-2 디지털 비디오 코딩 표준안에 대한 교시를 위해 레퍼런스로 활용되었다.

MPEG-2 표준안은 실질적으로 여러 상이한 표준안을 포함하고 있다. MPEG-2에는 여러 상이한 프로파일(profiles)이 정의되는데, 각각은 인코드된 이미지의 복잡성의 상이한 레벨에 대응한다. 각 프로파일에 대해서, 상이한 레벨이 정의되는데, 각 레벨은 상이한 이미지 해상도에 대응한다. 메인 프로파일, 메인 레벨(Main Profile, Main Level)로 알려진 MPEG-2 표준안의 한 표준안은 현존하는 텔레비젼 표준(즉, NTSC 및 PAL)에 따르는 비디오 신호를 코딩하기 위한 것이다. 메인 프로파일, 하이 레벨(Main Profile, High Level)로 알려진 다른 표준안)은 고해상도 텔레비젼 이미지를 코딩하기 위한 것이다. 메인 프로파일, 하이 레벨 표준안에 따라 인코드된 이미지는 이미지 프레임마다 1,152개의 활성 라인과 라인마다 1,920개의 픽셀을 가질 것이다.

한편, 메인 프로파 일의 메인 레벨 표준안은 프레임당 567 라인과 라인당 720 픽셀의 최대 화상 크기를 정의한다. 초당 30 프레임의 프레임 율에서, 이러한 표준안에 따라 인코드된 신호는 초당 720×567×30 또는 12,247,200픽셀의 데이터 율을 갖는다. 대조적으로, 메인 프로파일, 하이 레벨에 따라 인코드된 이미지는 초당 1,152×1920×30 또는 66,355,200의 픽셀의 최대 데이터 율을 갖는다. 이러한 데이터 율은 메인 프로파일, 메인 레벨 표준안에 따라 인코드된 이미지 데이터의 데이터 율의 5배보다 크다. 미국에서 HDTV 인코딩용으로 제안된 표준안은 이러한 표준안의 부분 집합(subset)인데, 프레임당 1,080 라인과, 라인당 1920 픽셀 및 이러한 프레임 사이즈에 대해서 초당 30 프레임의 최대 프레임 율을 갖는다. 이렇게 제안된 표준안에 대한 최대 데이터 율은 메인 프로파일, 메인 레벨의 표준안에 대한 최대 데이터 율보다 훨씬 더 크다.

MPEG-2 표준안은 데이터 및 제어 정보의 혼합을 포함하는 복합 구문(complex syntax)을 정의한다. 이러한 제어 정보의 몇몇은 여러 상이한 포맷을 구비하는 신호가 표준안에 의해 감춰지는(covered) 것을 가능하도록 하기 위해 사용된다. 이들 포맷은 라인당 상이한 수의 화소(픽셀)와, 프레임 또는 필드당 상이한 수의 라인 및 초당 상이한 수의 프레임 또는 필드를 갖는 이미지를 정의한다. 또한, MPEG-2 메인 프로파일의 기본 구문(basic syntax)은, 시퀀스 층, 화상 그룹 층, 화상 층, 슬라이스 층(slice layer), 매크로블럭 층(macroblock layer), 및 블록 층인 6 개 층에서의 이미지의 시퀀스를 나타내는 압축된 MPEG-2 비트 스트림을 정의한다. 이들 층의 각각은 제어 정보와 함께 도입된다. 최종적으로, 부가적인 정보(side information)(예를들면, 프레임 종류, 매크로블럭 패턴, 이미지 모션 벡터(image motion vector), 계수 지그재그 패턴(coefficient zig-zag pattern)및 역양자화 정보(dequantization information))로 또한 알려진 다른 제어 정보는 코드화된 비트 스트림 전체에 걸쳐 산재되어 있다.

메인 프로파일, 메인 레벨 화상 또는 다른 저해상도 화상 포맷으로의 고해상도 메인 프로파일, 하이 레벨 화상의 다운 변환은 HDTV의 구현 비용을 감소함에 있어서 그 중요성이 증가되었다. 다운 변환은 메인 프로파일, 하일 레벨 인코드 화상과 함께 사용되는 고가의 고해상도 모니터를 예를들면 메인 프로파일, 메인 레벨 인코드 화상을 지원하는 저해상도를 갖는, NTSC 또는 525 순차(progressive) 모니터와 같은 저가의 현존하는 모니터로 대체하는 것을 가능하게 한다. 다운 변환은 고해상도 입력 화상을 저해상도 모니터 상에 디스플레이하기 위한 저해상도 화상으로 변환한다.

디지털 이미지를 효과적으로 수신하기 위해서, 디코더는 비디오 신호 정보를 신속하게 처리해야만 한다. 최적의 효과를 내기 위해서, 코딩 시스템은 상대적으로 저렴하면서도 이들 디지털 신호를 실시간으로 디코드하기 위한 충분한 능력을 가져야만 한다.

종래 기술의 다운 변환의 한 방법은 종래의 텔레비젼 수상기에 디스플레이하기에 적합한 이미지를 형성하기 위해서 디코드된 고해상도의 메인 프로파일, 하이 레벨 화상을 단순히 저역 필터하고(low pass filters) 추출한다. 결과적으로, 현존하는 기술을 이용하면, 다운 변환을 이용하는 디코더는 이러한 기능을 수행하기 위해서 복잡한 디자인과, 상당량의 메모리를 구비하며 높은 데이터 율에서 공간 영역 이미지에 대해 동작하는 단일의 프로세서를 이용해서 구현될 수 있을 것이다. 그러나, 고해상도, 및 높은 데이터 율은 아주 고가의 회로를 필요로 하는데, 이것은 가격이 중요한 요소가 되는 상용 텔레비젼 수상기의 디코더의 구현에 상반된다.

발명의 요약

추출된 비디오 신호를 형성하기 위한 장치는 비디오 이미지를 나타내는 인코드된 비디오 신호를 수신하는데, 인코드된 비디오 신호는 주파수 영역이 변환된 비디오 신호(frequency-domain transformed video signal)이다. 상기 장치는 다수의 고해상도 주파수 영역 비디오 계수값(frequency-domain video coefficient values)으로서 인코드된 비디오 신호를 제공하기 위한 수단을 포함한다. 상기 장치는 한 세트의 여과된(filtered) 주파수 영역 비디오 계수를 형성하기 위해서 다수의 고해상도 주파수 영역 비디오 계수값 중에서 선택된 계수값을 수신하고 가중(weight)하기 위한 다운-변환 필터 수단(down-conversion filter menas), 및 상기 여과된 주파수 영역 비디오 계수를 수신하고 한 세트의 저해상도 픽셀 샘플값으로 변환하기 위한 역-변환 수단을 또한 포함한다. 상기 장치는 추출된 비디오 신호를 제공하기 위해서 상기 한 세트의 저해상도 픽셀 샘플값의 선택된 값을 수신하고 유지하기 위한 추출 프로세서를 또한 포함한다.

본 발명의 이러한 특징 및 다른 특징은 첨부된 도면과 연계해서 하기에 상술되는 설명으로부터 명백하게 될 것이다.

도 1은 종래 기술의 비디오 디코딩 시스템의 개략적인 블록도.

도 2a는 본 발명의 제 1의 실시예의 다운 변환의 개략적인 블록도.

도 2b는 저가의 수평 및 수직 필터링 장치를 이용하는 본 발명의 제 2의 실시에의 다운 변환 시스템의 개략적인 블록도.

도 3a는 본 발명의 3:1 및 2:1의 예증적인 실시예에 대한 서브픽셀(subpixel) 위치 및 대응하는 예정 픽셀을 나타내는 도면.

도 3b는 본 발명의 일 실시예에 대한 입력 매크로블록의 각 열(row)에 대해 수행되는 업샘플링(upsampling)을 도시하는 도면.

도 4는 블록 미러 필터의 일 실시예의 제 1 및 제 2의 출력 픽셀 값에 대한 승산 쌍(multiplication pairs)을 도시하는 도면.

도 5는 직렬의 1차원 IDCTs로서 구현된 수평 및 수직 소자를 처리하는 2 차원 시스템에 대한 다운 변환용 필터의 구현예.

도 6a는 3:1 추출(decimation)을 이용하는 4:2:0 비디오 신호용의 입력 및 추출된(decimated) 출력 픽셀을 나타내는 도면.

도 6b는 2:1 추출을 이용하는 4:2:0 비디오 신호용의 입력 및 추출된 출력 픽셀을 나타내는 도면.

도 7a는 본 발명의 일 실시예의 수직 프로그램가능 필터(vertical programmable filter)를 나타내는 개략적인 블록도.

도 7b는 도 7a의 수직 프로그램가능 필터의 라인의 계수 및 픽셀 샘플값 사이의 공간 관계를 나타내는 도면.

도 8a는 본 발명의 일 실시예의 수평 프로그램가능 필터를 나타내는 개략적인 블록도.

도 8b는 본 발명의 일 실시예의 수평 필터링 계수 및 픽셀 샘플값 사이의 공간 관계를 나타내는 도면.

도 8c는 4:3 화상을 16:9 디스플레이 상에 매핑(mapping)하기 위한 제 1의 비율 프로파일(ratio profile).

도 8d는 4:3 화상을 16:9 디스플레이 상에 매핑하기 위한 제 2의 비율 프로파일.

도 8e는 16:9 화상을 4:3 디스플레이 상에 매핑하기 위한 제 1의 비율 프로파일.

도 8f는 16:9 화상을 4:3 디스플레이 상에 매핑하기 위한 제 2의 비율 프로파일.

도 9a는 2:1 추출을 위한 본 발명의 실시예의 이미지 질을 강화하기 위해 사용되는 수직 보간 처리(vertical interpolation process)를 나타내는 도면.

도 9b는 3:1 추출을 위한 본 발명의 실시예의 이미지 질을 강화하기 위해 사용되는 수직 보간 처리(vertical interpolation process)를 나타내는 도면.

* 도면의 주요 부분에 대한 부호의 설명 *

210 : VLD

212 : R/L 디코더

216 : DCT 영역 필터

218 : IDCT

220 : MV 이동기

282 : VPF 필터

284 : HZPF 필터

상세한 설명

본 발명의 실시예는 MPEG-2 표준안, 특히 메인 프로파일, 하이 레벨 MPEG-2 표준안에 따라 인코드되고 디코드된 HDTV 신호를 여과(filter)한다.

그러나, 본원에 상술되는 본 발명은 디코드된 HDTV 신호의 다운 변환 필터링에 제한되지 않는다. 하기에 상술되는 필터링 방법은 섹션으로 분할되고, 여과(filter)되며, 그 후 재결합될 다른 종류의 주파수 영역 인코드 디지털 신호를 여과하기 위해 사용될 수도 있다.

MPEG-2 메인 프로파일 표준안은, 시퀀스 레벨, 화상 그룹 레벨, 화상 레벨, 슬라이스 레벨, 매크로블록 레벨, 및 블록 레벨인 6 레벨의 이미지 시퀀스를 정의한다. 이들 레벨의 각각은 상기 언급된(listed) 레벨에서 포개진 서브레벨(nested sub-levels)로서 발생하는 하기에 언급되는 레벨과 함께 데이터 스트림에서 레코드(record)로 간주될 수 있을 것이다. 블록 레벨을 제외한 각 레벨에 대한 레코드는 자신의 서브-레코드를 디코딩하는데 사용되는 데이터를 포함하는 헤더 섹션(header section)을 포함한다.

인코드된 HDTV 신호의 각 블록은 HDTV 이미지에서 64 화소(픽셀)의 이산 코사인 변환(Discrete Cosine Transform; DCT) 표현의 64 각각의 계수값을 나타내는 데이터를 포함한다.

인코딩 처리에 있어서, 픽셀 데이터에 대해 이산 코사인 변환 이전에 모션 보상 차동 코딩(motion compensated differential coding)을 수행하고 변환된 계수(transformed-coefficients)의 블록은 런렝스(run-length) 및 가변 길이(variable length) 인코딩 기술을 적용함으로써 또한 인코드된다. 데이터 스트림으로부터 이미지 시퀀스를 복원하는 디코더는 인코딩 순서를 바꾼다. 이러한 디코더는 엔트로피 디코더(예를들면, 가변 길이 디코더), 역이산 코사인 변환 프로세서(inverse discrete cosine transform processor), 모션 보상 프로세서, 및 보간 필터를 사용한다.

도 1은 종래 기술의 전형적인 비디오 디코딩 시스템의 개략적인 블록도이다. 종래 기술의 비디오 디코더는 통상적으로 가변 길이 디코더 및 런렝스 디코더인 엔트로피 디코더(Entropy Decoder; 110)와, 역양자화기(inverse quantizer; 120), 및 역이산 코사인 변환(Inverse Discrete Cosine Transform; IDCT) 프로세서(130)를 포함한다. 전형적인 시스템은 엔트로피 디코더(110)에 의해 입력 비트 스트림으로부터 복원되는 제어 정보에 응답해서 디코딩 시스템의 여러 소자를 제어하는 컨트롤러(170)를 또한 포함한다. 예측 이미지(prediction images)의 처리를 위해서, 종래 기술의 시스템은 메모리(160), 가산기(140), 모션 보상 프로세서(150), 및 블록 래스터 변환기(Block to Raster converter; 180)를 더 포함한다.

가변 길이 디코더(110)는 인코드된 비디오 이미지 신호를 수신하고, 현재 디코드되고 있는 예측된 화상의 매크로블록에 대응하는 이전에 디코드된 이미지에서 매칭 매크로블록의 상대적인 변위를 나타내는 모션 벡터를 포함하는 제어 정보를 생성하기 위해서 인코딩 처리의 순서를 역으로한다. 가변 길이 디코더(110)는, 만약 인트라프레임(intraframe) 인코딩이 사용되는 경우, 현재의 비디오 이미지, 또는 인터프레임(interframe) 인코딩이 사용되는 경우, 현재의 비디오 이미지와 예측된 비디오 이미지 사이의 차이의 블록의 양자화된 DCT 변환 계수(quantized DCT transform coefficients)를 또한 수신한다. 특정 블록용으로 사용될 양자화 매트릭스는 가변 길이 디코더(110)로부터 수신된다.

IDCT 프로세서(130)는 (매크로블록의 휘도(luminance) 또는 색차(chrominance) 성분을 나타내는 8×8의 매트릭스 값의 각 블록에 대해서, 그리고 예측된 매크로블록의 차동 휘도 성분(differential luminance component) 또는 차동 색차 성분을 나타내는 8×8 매트릭스 값의 각 블록에 대해서) 재구성된 DCT 계수를 공간 영역의 픽셀 값으로 변환한다.

현재의 매크로블록이 예측되어 인코드되지 않는 경우, 출력 매트릭스 값은 현재의 비디오 이미지의 대응 매크로블록의 픽셀 값이 된다. 매크로블록이 인터프레임 인코드되는 경우, 이전 비디오 화상 프레임의 대응 매크로블록은 모션 보상 프로세서(150)에 의한 사용을 위해 메모리(160)에 저장된다. 모션 보상 프로세서(150)는 모션 벡터에 응답해서 메모리(160)로부터 이전 매크로블록을 수신하고, 그 다음 현재 비디오 이미지에 대한 픽셀의 대응 매크로블록을 생성하기 위해서 가산기(140)에서 이전 매크로블록을 (현재 예측되어 인코드된 프레임의 잔여 성분(residual component)에 대응하는) 현재의 IDCT 변환된 매크로블록에 부가하며, 이것은 그 다음 메모리(160)에 저장된다.

(a) 다운 변환 필터 시스템

도 2a는 본 발명의 일 실시예의 다운 변환 시스템의 개략적인 블록도이다. 도 2a에 도시된 바와 같이, 다운 변환 시스템은 가변 길이 디코더(variable length decoder; VLD; 210), 런렝스(run-length: R/L) 디코더(212), 역양자화기(214), 및 역이산 코사인 변환(IDCT) 프로세서(218)를 포함한다. 또한, 다운 변환 시스템은 인코드된 화상의 필터링을 위해 다운 변환 필터(216) 및 다운 샘플링 처리(232)를 포함한다. 하기에 메인 레벨 하이, 프로파일 인코드 입력(profile encoded input)에 대한 예증적인 실시예가 상술되지만, 본 발명은 유사하게 인코드된 고해상도 이미지 비트 스트림의 어떠한 것으로도 구현될 수 있을 것이다.

다운 변환 시스템은 모션 벡터 이동기(motion vector translator; MV translator), 업샘플링 프로세서(upsampling processor; 226)와 절반 픽셀 발생기(half-pixel generator; 228)를 포함하는 모션 블록 발생기(224), 및 기준 프레임 메모리(222)를 또한 포함한다.

제 1의 실시예의 시스템은 수직 프로그램가능 필터(vertical programmable filter; VPF; 282) 및 수평 프로그램가능 필터(horizontal programmable filter; HZPF; 284)를 포함하는 디스플레이 변환 블록(280)을 또한 포함한다. 디스플레이 변환 블록(280)은 다운샘플된 이미지를 저해상도를 갖는 특정 디스플레이 상에서 디스플레이 하기 위한 이미지로 변환하는데, 디스플레이 변환에 대한 섹션(f)에서 상세히 논의될 것이다.

다운 변환 필터(216)는 주파수 영역에서 고해상도(예를들면 메인 프로파일, 하이 레벨 DCT) 계수의 저역 필터링(lowpass filtering)을 수행한다. 다운 샘플링 처리(232)는 메인 프로파일, 하일 레벨 화상을 디스플레이하는데 요구되는 것 보다 낮은 해상도를 갖는 모니터 상에서 디스플레이될 수 있는 한 세트의 픽셀 값을 생성하기 위해서 여과된(filtered) 메인 프로파일, 하이 레벨 화상의 추출에 의해 공간 픽셀 값을 제거한다. 예증적인 기준 프레임 메모리(222)는 다운 샘플된 화상에 대응하는 해상도를 갖는 적어도 하나의 이전에 디코드된 기준 프레임에 대응하는 공간 픽셀 값을 저장한다. 인터프레임 인코딩을 위해서, MV 이동기(220)는 해상도 감소와 일관되게 수신된 화상의 각 블록에 대한 모션 벡터의 크기를 기준화(scale)하고, 고해상도 모션 블록 발생기(224)는 기준 프레임 메모리(222)에 의해 제공되는 저해상도 모션 블록을 수신하고, 이들 모션 블록을 업샘플하며, 디코드되고 여과된 차동 픽셀 블록에 양호한 공간 대응을 나타내는 모션 블록을 제공하기 위해서 절반 픽셀 값을 생성한다.

인트라프레임 인코딩을 위한 본 발명의 다운 변환 시스템의 예증적인 실시예의 동작은 이제 설명될 것이다. 메인 프로파일, 하이 레벨 비트 스트림은 VLD(210)에 의해 수신되고 디코드된다. HDTV 시스템에 의해 사용되는 헤더 정보에 부가적으로, VLD(210)는 각 블록 및 매크로블록에 대해 DCT 계수를 제공하고, 모션 벡터 정보를 제공한다. DCT 계수는 R/L 디코더(212)에서 런렝스 디코드되고 역양자화기(214)에 의해 역양자화된다. VLD(210) 및 R/L 디코더(212)는 도 1의 엔트로피 디코더(110)에 대응한다.

DCT 계수에 의해 나타내어지는 수신된 비디오 이미지가 고해상도 화상이기 때문에, 본 발명의 예증적인 실시예는 고해상도 비디오 이미지의 추출 이전에 각 블록의 DCT 계수의 저역 필터링을 사용한다. R/L 디코더(212)는 DCT 필터(216)로 DCT 계수를 제공하는데, 상기 DCT 필터(216)는 상기 DCT 계수를 IDCT 프로세서(218)로 제공하기 전에 선정된 필터 계수값으로 DCT 계수를 가중함으로써 주파수 영역에서 저역 필터링을 수행한다. 본 발명의 예증적인 실시예에 있어서, 이 필터 동작은 한 블록씩 수행된다.

IDCT 프로세서(218)는 여과된 DCT 계수의 역이산 코사인 변환을 수행함으로써 공간 픽셀 샘플값을 제공한다. 다운 샘플링 프로세서(232)는 선정된 추출 비율에 따라 공간 픽셀 샘플값을 제거함으로써 화상 샘플 크기를 감소시키고; 따라서, 저해상도 화상을 저장하는 것은 고해상도 메인 프로파일, 하이 레벨 화상을 저장하는데 요구되는 프레임 메모리와 비교해서 적은 양의 프레임 메모리를 사용한다.

인코딩 표준안의 예측된 프레임을 위한 본 발명의 다운 변환 시스템의 예증적인 실시예의 동작은 이제 설명될 것이다. 예증적인 실시예는 MPEG 표준안을 따른다. 이 실시예에 있어서, 현재 수신된 이미지 DCT 계수는 예측된 이미지 매크로블록의 잔여 성분을 나타내는데, 상기 예측된 이미지 매크로블록은 간편성을 위해 예측된 프레임(P-프레임)으로 언급될 것이다. 상술되는 예증적인 실시예에 있어서, 예측된 프레임에 대한 모션 벡터의 수평 성분은 메모리에 저장된 이전 프레임의 저해상도 기준 화상이 고해상도 예측 프레임(메인 프로파일, 하이 레벨)과 같은 수의 픽셀을 갖지 않기 때문에 기준화된다(scaled).

도 2a를 참조하면, VLD(210)에 의해 제공되는 메인 프로파일, 하이 레벨 비트 스트림의 모션 벡터는 MV 이동기(220)로 제공된다. 각 모션 벡터는 메모리(222)에 저장된 이전 이미지의 기준 프레임의 적절한 예측 블록을 참조하기 위해서 MV 이동기(220)에 의해 기준화된다(scaled). 복원된 블록에서의 크기(픽셀 값의 수)는 현재 이미지를 인코드하기 위해 사용되는 고해상도에 대응하는 블록보다 적다. 따라서, 복원된 블록은 IDCT 프로세서(218)에 의해 제공되는 잔여 블록으로서 동일한 수의 픽셀을 갖는 예측 블록을 형성하기 위해서 업샘플된다.

예측 블록은 원래의 고해상도 픽셀의 블록에 대응하는 블록을 생성하기 위해서 MV 이동기(220)로부터의 제어 신호에 응답해서 업샘플링 프로세서(226)에 의해 업샘플되고, 그 다음 -만약 절반 픽셀 발생기(228)에서 업샘플된 예측 블록용의 모션 벡터에 의해 지적되는 경우- 예측 블록의 적절한 공간 정렬을 보장하기 위해서 절반 픽셀 값이 생성된다. 업샘플되고 정렬된 예측 블록은 가산기(230)에서 현재의 여과된 블록으로 부가되는데, 상기 현재 여과된 블록은, 이 실시예에서, 예측 블록으로부터의 감소된 해상도 잔여 성분이다. 모든 처리는 매크로블록에 근간해서 매크로블록에 대해 수행된다. 현재의 고해상도 매크로블록에 대한 모션 보상 처리가 완료된 후, 재구성된 매크로블록은 다운 샘플링 프로세서(232)에서 적절히 추출된다. 이 처리는 이미지의 해상도를 감소시키지는 않지만, 저해상도의 여과된 이미지로부터 여분의 픽셀을 단지 제거한다.

일단 이미지에 대한 다운 샘플된 매크로블록이 유효하게되면, 디스플레이 변환 블록(280)은 저해상도 텔레비젼 디스플레이 상에서의 디스플레이를 위해 VPF(282) 및 HZPF(284)에서 다운 샘플된 이미지의 수직 및 수평 성분을 각각 필터링함으로써 이미지를 조정한다.

도 2b는 디스플레이 변환용의 저가의 수평 및 수직 필터링 구현을 사용하는 본 발명의 제 2의 예증적인 실시예의 다운 변환 시스템의 개략적인 블록도이다. 도 2의 시스템에 대해서, 이미지의 수평 및 수직 성분을 필터링하는 방법을 제외하면 상기 상술된 다운 변환 처리는 동일하게 유지되고, 예증적인 3:1 및 2:1 변환에 대해서 다음과 같이 구현된다.

제 2의 실시예의 시스템은 처리되고 디코드된 이미지의 저장을 위한 블록 래스터 메모리(block to raster memory; 252), 및 수평적으로 추출된 저해상도 이미지를 제공하기 위한 블록 래스터 프로세서(block to raster processor; 254)를 포함한다. 상기 시스템은 수직 픽셀 값의 저역 필터링을 위한 수직 저역 필터(vertical low pass filter; LPF; 260), 수직 LPF(260)로부터 선택된 수평 라인을 판독하기 위한 스위치, 및 저해상도 화상을 제공하는 FIFO 버퍼(264)를 또한 포함한다.

상기 시스템은 또한 블록 래스터(block to raster; 254)로부터의 수직 픽셀 값의 저역 필터링을 위한 수직 저역 필터(260)를 포함한다. 선택된 수평 라인은 선택 스위치(262)의 사용에 의해 FIFO 버퍼(264)로 수신된다. 수평 라인의 수를 감소하는 것은 화상의 수직 비율(aspect)을 감소시킨다. 상기 FIFO 버퍼(264)는 높은 해상도 클럭율(CLK)에서 수평 라인을 수신한다. 그러나, 저해상도 화상을 제공하기 위해서 FIFO 버퍼(264)는 바람직하게는 감소된 클럭율에서 수평 라인을 제공한다. 2:1 추출에 대해서, 도 2b에 도시된 바와 같이, 클럭율(CLK/2)은 높은 클럭율의 1/2이다. 본 발명의 저가의 구현을 위한 디스플레이 변환의 방법은 섹션(f)에서 상세하게 설명될 것이다.

(b) 매크로블록 예측

이전 이미지의 기준 프레임이 다운사이즈 되었기 때문에, 이들 프레임을 나타내는 수신된 모션 벡터도 또한 변환율에 따라 이동될 것이다. 예를들면, 수평 방향의 휘도 블록(luminance block)에 대한 모션 이동(motion translation)이 하기에 상술된다. 기술적인 분야에서 능숙한 자는 하기의 논의를 만약 필요하면 수직 방향의 모션 이동으로 쉽게 확대할 수 있을 것이다. x 및 y가 원래의 이미지 프레임에서의 현재의 매크로블록 어드레스를, Dx가 수평 추출 인자(factor)를, 그리고 mvx가 원래의 이미지 프레임의 절반 픽셀 수평 모션 벡터를 나타내고, 원래의 이미지 프레임에서의 모션 블록의 상부 왼편 픽셀의 어드레스를 절반 픽셀 유닛에서 XH라 하면, XH는 수학식 1과 같이 표현된다.

다운 샘플된 이미지에서 모션 블록 시작에 대응하는 픽셀의 픽셀 유닛에서의 주소를 x* 및 y*라 하면, x* 및 y*는 수학식 2와 같이 표현된다.

필터(216) 및 다운 샘플링 프로세서(232)가 이미지의 수평 성분을 감소만 시키기 때문에, 모션 벡터의 수직 성분은 영향을 받지 않는다. 색차에 대해서, 모션 벡터는 원래 화상에서의 휘도 모션 벡터의 절반이다. 따라서, 색차 모션 벡터를 이동하기 위한 정의는 상기 수학식 1 및 수학식 2를 또한 사용할 수 있을 것이다.

모션 예측은 두 단계 처리에 의해 수행된다: 먼저, 원래의 이미지 프레임에서 픽셀 정확성 모션 평가(pixel accuracy motion estimation)는 도 2a 및 도 2b의 업샘플링 프로세서(226)에서 다운 샘플된 이미지 프레임의 업샘플링에 의해 실현되고, 절반 픽셀 발생기(228)는 가장 근처의 픽셀 값의 평균에 의해 절반 픽셀 모션 평가를 수행한다.

스브픽셀(subpixels)은, 예를들면, 업샘플링 프로세서(226)의 업샘플링 다상 필터(upsampling polyphase filter)의 사용에 의해 보간되는데(interpolated), 고해상도 화상에서 모션 예측을 제공한다. 모션 예측은 IDCT 프로세서(218)의 출력에 부가된다. 가산기(230)의 출력값이 고해상도 포맷의 이미지에 대응하기 때문에, 이들 값은 저해상도를 갖는 디스플레이 상에서의 디스플레이를 위해 다운샘플될 것이다. 다운 샘플링 프로세서(232)에서의 다운샘플링은 이미지 프레임의 서브샘플링과 실질적으로 동일하지만, 변환율에 기초해서 조정(adjustments)이 이루어질 것이다. 예를들면, 3:1 다운 샘플링의 경우에 있어서, 수평으로 다운샘플된 픽셀의 수는 각 입력 매크로블록에 대해서 6 또는 5이고, 제 1의 다운샘플된 픽셀이 항상 입력 매크로블록에서 제 1의 픽셀이 되는 것은 아니다.

다운샘플된 이미지로부터 보정 모션 예측 블록을 획득한 후, 고해상도 화상에서 대응하는 예측 블록을 얻기 위해서 업샘플링이 요구된다. 결과적으로, 모션 블록 예측에서의 서브픽셀의 정확성은 다운샘플된 화상에서 바람직하다. 예를들면, 3:1 추출을 이용할 때, 모션 예측에서 1/3(또는 1/6)의 서브픽셀 정확성을 갖는 것이 바람직하다. 다운 샘플된 모션 블록에 부가적으로, 모션 벡터에 의해 요구되는 제 1의 픽셀인 서브픽셀이 결정된다. 그 다음, 후속하는 서브픽셀 위치가 하기에 설명될 모듈로 계산(modulo arithmetic)을 사용하여 결정된다. xs로 나타내어진 서브픽셀 위치는 수학식 3과 같이 주어진다.

예를들면, xs의 범위는 3:1 업샘플링에 대해서 0, 1,2이고 2:1 업샘플링에 대해서 0,1이다. 도 3a는 서브픽셀의 위치와 3:1 및 2:1 실시예에 대한 대응하는 17개의 예측된 픽셀을 도시하는데, 표 1은 도 3a에 대한 범례를 나타낸다.

부호	픽셀
●	다운샘플된 픽셀
○	업샘플된 픽셀
△	예측 픽셀
□	업샘플링을 위한 여분의 우측 및 좌측 픽셀

상기 상술된 바와 같이, 업샘플링 필터는 다상 필터를 업샘플링하는데, 표 2a는 이들 업샘플링 다상 보간 필터의 특성을 나타낸다.

	3:1 업샘플링	2:1 업샘플링
다상 필터의 수	3	2
탭(taps)의 수	3	5
수평 다운샘플된 픽셀의 최대 수	9	13

다음의 표 2b 및 표 2c는 예증적인 3:1 및 2:1 업샘플링 다상 필터용 다상 필터 계수를 나타낸다.

3:1 업샘플링 필터

	상 0(Phase 0)	상 1	상 2
이배 정밀도(double precision)	-0.16382317355910.79005893595120.3737642376087	0.02210806910700.95578386178580.0221080691070	0.37376423760780.7900589359512-0.1638231735591
고정 소수점(9 비트)	-0.1640625(-42)0.7890625(202)0.3750000(96)	0.0234375(6)0.95703125(244)0.0234375(6)	0.3750000(96)0.7890625(202)-0.1640625(-42)

2:1 업샘플링 필터

	상 0	상 1
이배 정밀도	0.01103968392600.02838864029200.92114335156360.02838864029200.0110396839260	-0.14333638871130.64333638871130.6433363887113-0.14333638871130.0000000000000
고정 소수점(9비트)	0.01718750(3)0.02734375(7)0.92187500(236)0.02734375(7)0.01718750(3)	-0.14453125(-37)0.64453125(165)0.64453125(165)-0.14453125(-37)0.00000000(0)

고정 소수점 표현에 있어서, 표 2b 및 표 2c의 괄호 안의 숫자는 9 비트에서의 2의 보수 표현이고 대응하는 이배 정밀도 숫자는 왼쪽에 있다. 다운샘플된 기준 이미지 프레임에서의 모션 예측 블록의 서브픽셀 위치에 따라서, 다상 보간 필터의 한 대응하는 상(phase)이 사용된다. 또한, 예증적인 실시예에 대해서 원래의 다운샘플된 이미지 프레임에서 17 수평 픽셀을 보간하기 위해서 왼쪽 및 오른쪽의 많은 픽셀이 필요 되어진다. 예를들면, 3:1 추출의 경우에 있어서, 각 입력 매크로블록에 대해서 최대 6개의 수평적으로 다운샘플된 픽셀이 존재한다. 그러나, 업샘플링의 경우, 필터가 동작하기 위해서 업샘플링 필터가 경계 밖의 더 많은 왼쪽 및 오른쪽 픽셀을 필요로하기 때문에 대응하는 모션 예측 블록값을 생성하기 위해서 9개의 수평 픽셀이 요구된다. 예증적인 실시예가 절반 픽셀 모션 평가를 사용하기 때문에, 가장 근처의 두 픽셀 샘플의 평균값이 16 절반 픽셀을 얻기 위해서 17개의 픽셀이 요구된다. 절반 픽셀 모션 발생기는 이것을 처리한다. 표 3은 서브픽셀 위치와 다상 필터 소자간의 매핑을 나타내는데, 업샘플링 처리를 위해 다수의 왼쪽 픽셀이 부가적으로 필요 되어진다.

	서브픽셀 위치	다상(polyphase)	여분의 왼쪽 필셀의 수	좌표 변환
3:1 업샘플링	012	120	110	x - x-1x - x-1
2:1 업샘플링	01	01	22	x - x-2x - x-2

도 3b는 입력 매크로블록의 각 열에 대해 수행되는 업샘플링 처리를 요약한다. 먼저, 단계(310)에서, 처리될 입력 이미지 프레임의 블록에 대한 모션 벡터가 수신된다. 단계(312)에서, 모션 벡터는 메모리의 다운샘플된 기준 프레임에 대응해서 이동된다. 단계(314)에서, 프레임 메모리에 저장된 예측 블록의 좌표를 복원하기 위해서 기준화된(scaled) 모션 벡터가 사용된다. 단계(316)에서 블록에 대한 서브픽셀 위치가 결정되고 그 다음 업샘플링을 위한 초기의 다상 필터값이 단계(318)에서 복원된다. 저장되어 있는 다운샘플된 기준 프레임의 예측 블록에 대한 식별된 픽셀은 그 다음 단계(320)에서 메모리로부터 복원된다.

필터링 단계(324)에서의 제 1의 pass 이전에, 단계(322)에서 레지스터가 초기화되어야만 하는데, 예증적인 실시예에서 레지스터를 초기의 3 또는 5의 픽셀 값으로 로딩한다. 그 다음, 필터링 단계(324) 이후에, 예증적인 실시예에서 17 픽셀인 모든 픽셀이 처리되었는지를 단계(326)에서 결정한다. 모든 픽셀이 처리되었다면, 업샘플된 블록은 완료된다. 모든 픽셀이 처리되지 않았다면, 상(phase)은 단계(328)에서 갱신되고, 0의 값(0은 요구되는 마지막 다상 필터 처리에 대응한다)에 대해서 상이 점검된다. 상(phase)이 0이 아니라면, 레지스터는 다음 세트의 다상 필터 계수를 위해 갱신되어야만 한다. 그 다음 레지스터를 갱신하는 단계(332)는 상의 값을 예증적인 3:1 업샘플링에 대해서는 필터 루프 주기동안 0, 1, 및 2로, 그리고 2:1 업샘플링에 대해서는 필터 루프 주기동안 1로 단순히 갱신한다. 가장 왼쪽의 픽셀이 블록 경계밖에 있는 예외적인 경우에 있어서, 이전의 픽셀 값이 반복될 것이다.

(c) DCT 계수의 가중을 사용하는 DCT 영역 필터링

본 발명의 예증적인 실시예는 주파수 영역에서 DCT 계수를 처리하는 DCT 필터(216)를 포함하는데, 공간 영역의 저역 필터를 대체한 것이다. MPEG 또는 JPEG 표준안에 의해 예상될 수 있는 것처럼, DCT 코드화된 화상에 대한 공간 영역 필터링 대신 DCT 영역 필터링에서 여러 가지 이점이 나타난다. 특히, DCT 영역필터는 계산적으로 더 효율적이고 공간 픽셀 샘플값에 적용되는 공간 영역 필터보다 적은 하드웨어를 필요로 한다. 예를들면, N 탭(taps)을 구비하는 공간 필터는 각 공간 픽셀 샘플값에 대해서 N 번의 승산(multiplications) 및 가산 횟수만큼 사용된다. 이것은 DCT 영역 필터에서 단지 하나의 승산에 비유된다.

가장 간단한 DCT 영역 필터는 고주파수 DCT 계수의 절삭(truncation)이다. 그러나, 고주파수 DCT 계수의 절삭은 평활 필터(smooth filter)로 나타나지 않게 되고 디코드된 화상의 에지 근처에서 공명(ringing)과 같은 결점이 나타나게 된다. 본 발명이 예증적인 실시예의 DCT 영역 저역 필터는 공간 영역에서의 블록 미러 필터로부터 유도된다. 블록 미러 필터용 필터 계수값은, 예를들면, 공간 영역에서의 숫자 분석(numerical analysis)에 의해 최적화되고, 이들 값은 그 후 DCT 영역 필터용 계수로 변환된다.

예증적인 실시예가 단지 수평 방향에서의 DCT 영역 필터링을 도시하지만, DCT 영역 필터링은 수평 또는 수직 방향 또는 수평 및 수직 필터를 결합함으로써 양 방향 모두에서 수행될 수 있다.

(d) DCT 영역 필터 계수 유도

본 발명의 일 실시예의 필터는 두 가지 제한으로부터 유도된다: 첫째, 필터는 이전 화상의 블록으로부터의 정보를 이용하지 않으면서 각 이미지 블록에 대해서 한 블록씩 이미지 데이터를 처리한다; 둘째, 필터는 필터가 경계 픽셀 값을 처리할 때 발생하는 블록 경계의 가시성을 감소시킨다.

첫 번째 제한에 따르면, DCT에 기초한 MPEG 화상 시퀀스의 압축에 있어서, 예를들면, DCT 계수의 N×N 블록은 공간 픽셀 값의 N×N 블록을 생성한다. 결과적으로, 본 발명의 예증적인 실시예는 현재 수신되는 화상의 블록만을 처리하는 DCT 영역 필터를 구현한다.

두 번째 제한에 따르면, 필터가 단지 공간 픽셀 값의 한 블록에 인가되는 경우, 필터의 잔여분을 채우기 위해서 경계를 넘어서는 부족한 수의 공간 픽셀 값에 의해 유발되는 블록 경계에 대한 필터링의 전이가 존재한다. 즉, 블록의 에지에서의 계수값은 N-탭 필터(N-tap filter)가 단지 N/2 탭에 대한 값만을 가지기 때문에 적절하게 여과될 수 없고, 나머지 값은 블록의 경계를 넘어선다. 픽셀 값을 제공하는 여러 방법이 존재하는데; (1) 경계를 넘어서는 소정의 상수 픽셀 값을 반복한다; (2) 경계 픽셀 값으로써 동일한 픽셀 값을 반복한다; (3) 처리된 블록에 인접한 픽셀 값의 수직의 이전 및 후속하는 블록을 형성하기 위해서 블록의 픽셀 값을 미러(mirror)한다. 이전 또는 후속 블록의 내용에 대한 사전 정보(prior information)없이, 픽셀 값을 반복하는 미러링 방법(mirroring method)은 바람직한 방법으로 간주된다. 따라서, 본 발명의 일 실시예는 필터용의 이러한 미러링 방법을 사용하며, 블록 미러 필터로 칭해진다.

블록의 8 입력 공간 픽셀 샘플값을 저역통과시키는(low filters) 수평 블록 미러 필터를 구현하는 일 실시예가 하기에 상술된다. 입력 블록의 크기가 픽셀 샘플값의 8×8 블록 매트릭스인 경우, 수평 필터링은 블록 미러 필터를 8 픽셀 샘플값의 각 열에 적용함으로써 수행될 수 있다. 필터링 처리가 블록 매트릭스의 필터 계수 행방향(columnwise)을 적용함으로써 적용될 수 있고, 또는 다차원 필터링이 블록 매트릭스의 열을 필터링하고 그 다음 블록 매트릭스의 행을 필터링함으로써 실현될 수도 있음이 기술적인 분야에서 능숙한 자에게는 명백할 것이다.

도 4는 탭 값(h0 내지 h14)에 의해 나타내어지는 15 탭 공간 필터를 사용하는 8 입력 픽셀에 대한 예증적인 미러 필터용의 픽셀 값(x0 내지 x7) 사이의 대응관계를 도시한다. 입력 픽셀은 그룹(X0)의 왼편 상에서 미러되고, 그룹(X1)으로 도시되고, 그룹(X0)의 오른편 상에서 그룹(X2)으로 도시된다. 필터의 출력 픽셀 값은 필터 탭과 대응하는 픽셀 샘플값의 15 승산의 합이다. 도 4는 제 1 및 제 2의 출력 픽셀 값에 대한 승산 쌍(multiplication pairs)을 도시한다.

공간 영역의 블록 미러 필터가 DCT 영역 필터와 동일함이 하기에 나타난다. 미러 필터링은 2N 점(N=8)을 갖는 순환 컨볼루션(circular convolution)과 관련된다.

수학식 4에 도시된 바와 같이 벡터(x')를 정의한다.

N=8인 경우,

x' = (x0, x1, x2, x3, x4, x5, x6, x7, x7, x6, x5, x4, x3, x2, x1, x0)

필터 탭 값(h0 내지 h14)을 정렬하고 정렬된 값을 h'으로 표기하면,

h'=(h7, h8, h9, h10, h11, h12, h13, h14, 0, h0, h1, h2, h3, h4, h5, h6)

따라서, 미러 여과된 출력(y(n))은 수학식 5에 의해 제공되는 x'(n) 및 h'(n)의 순환 컨볼루션이다.

상기 식은 수학식 6과 동일하다.

여기서 x'[n-k]는 x'(n)의 순환 모듈로(circular modulo)이며

n≥0 에 대해서 x'[n] = x'(n)

n0 에 대해서 x'[n] =x'(n+2N)이다.

본 발명자는 수학식 5에 도시된 공간 영역에서의 순환 컨볼루션(circular convolution)이 이산 푸리에 변환(Discrete Fourier Transform; DFT) 영역에서의 스칼라 승산(scalar multiplication)과 일치함을 알게되었다. y(n)의 DFT로서 Y(k)를 정의하면, 수학식 5는 DFT 영역에서 수학식 7로 된다.

여기서 X'(k) 및 H'(k)는 각각 x'(n) 및 h'(n)의 DFTs이다.

수학식 4 내지 수학식 7은 2N보다 적은 다수의 탭을 구비한 필터에 대해 유효하다. 또한, 필터는 홀수(odd number)의 탭을 갖는 대칭형 필터로 제한되며, 이들 제한과 함께 H'(k)는 실수이다. 따라서, x'(n)의 DFT인 X'(k)는 필터링 동작을 구현하기 위해서 DFT 주파수 영역에서 2N 승산 대신 그리고 공간 영역에서 2N 가산 동작 대신 실수(real number)로 가중될 수 있다. X'(k)의 값은 원래의 N-점(x(n))의 DCT 계수와 밀접하게 관련되어 있는데, 그 이유는 N-점 DCTx(n) 및 그 미러(mirror)인 x(2N-1-n)으로 구성된 조인트 시퀀스(joint sequence)인 x'(n)의 2N-점 DFT에 의해 N-점 DCT가 얻어지기 때문이다.

홀수, 즉 2N-1의 탭을 갖는 대칭형 필터를 취함으로서 공간 필터의 DFT 계수, 즉 H'(k)의 유도를 상술하는데, h(n) = h(2N-2-n)이고, 등가적으로 h'(n) = h'(2N-n)이며 h'(N) = 0 이다. H'(k)를 수학식 8과 같이 정의한다.

여기서 W2Nkn은 exp{-2πkn/(2N)}이고, H'(k) = H'(2N-k)이다.

본 발명자는 x'(n)의 2N-점 DFT, 즉 X'(k)는 수학식 9의 그 DCT 계수로 표현될 수 있음을 알았다.

반면 x(n), C(k)의 DCT 계수는 수학식 10에 의해 주어진다.

그 외 C(k) = 0.

x'(n)의 DFT 계수인 X'(k)의 값은 C(k)로 표현될 수 있고, x'(n)의 DCT 계수는 수학식 11의 매트릭스에 의해 표현될 수 있다.

원래의 공간 픽셀 샘플값인 x(n)은 수학식 12에 나타난 IDCT(Inverse Discrete Cosine Transformation; 역이산 코사인 변환)에 의해 얻어질 수 있다.

여기서 k=0일 때 α(k)=1/2, 그 외 α(k)=1이다.

0≤n≤N-1 일 때 y(n)의 값은 수학식 13에 주어진 X'(k)H'(k)의 IDFT에 의해 얻어진다.

수학식 13의 값(y(n))은 C(k)H'(k)의 IDCT의 공간값이다. 따라서, 공간 필터링은 공간 영역에서 여과된 픽셀 값을 재구성하기 위해서 H'(k)를 갖는 이미지 블록을 나타내는 입력 주파수-영역 계수의 DCT 가중과 그 다음 가중된 값의 IDCT를 수행함으로써 대체될 수 있다.

(e) 블록 미러 필터의 예증적인 실시예

본 발명의 예증적인 블록 미러 필터링의 일 실시예는 하기의 단계에 의해 유도된다: (1) 일차원의 저역 대칭 필터(one dimensional symmetric filter)가 2N 탭보다 적은 홀수의 탭을 갖도록 선택된다; (2) 필터 계수는 0으로 패딩(padding)함으로써 2N까지 증가한다; (3) 필터 계수는 원래의 중간 계수가 왼쪽의 원형 시프트(left circular shift)에 의해 0의 위치로 가도록 재정렬된다; (4) 재정렬된 필터 계수의 DFT 계수가 결정된다; (5) DCT 필터 계수가 입력 블록의 실수 DFT 계수로 승산된다; (6) 여과된 DCT 계수의 역이산 코사인 변환(IDCT)의 수행은 IDCT 계수로 승산함으로써 수행되어 추출용으로 준비된 저역 통과된(lowpass-filtered) 픽셀의 블록을 제공한다.

저역 필터의 컷오프 주파수는 추출 비율에 의해 결정된다. 한 예증적인 실시예에 있어서, 3:1 추출에 대해서 컷오프 주파수는 π/3이고 2:1 추출에 대해서 π/2인데, 여기서 π는 샘플링 주파수의 절반이다.

MPEG 및 JPEG 디코더의 DCT 영역 필터는 역양자화기 및 블록의 IDCT 처리가 종래 기술의 디코더에 이미 존재하기 때문에 메모리에 대한 요구를 감소시키며, DCT 영역 필터에 의한 DCT 계수의 부가적인 스칼라 승산만이 요구된다. 따라서, 분리된 DCT 영역 필터 블록 승산은 특정 구현에서 물리적으로 요구되지 않으며; 본 발명의 다른 실시예는 단지 DCT 영역 필터 계수를 IDCT 처리 계수와 결합한다.

본 발명의 예증적인 다운 변환 시스템에 있어서, 수평 필터링 및 DCT 계수의 추출이 고려되는데; 다음의 두 개가 그 예증적인 구현이다.

1. 1920H×1080V 비월에서 640×1080 비월로의 변환(수평 3:1 추출)

2. 1280H×720V 순차에서 640×720 순차로의 변환(수평 3:1 추출)

표 4는 DCT 블록 미러 필터(가중) 계수를 도시한다. 표 4에서 괄호안의 숫자는 10비트의 2의 보수 표현이다. 표 4의 *는 10 비트의 2의 보수에 대한 경계값을 벗어나는 것을 의미하는데, 그 이유는 상기 값이 1 이상이기 때문이다. 그러나, 기술적인 분야에서 능숙한 자가 알고 있는 바와 같이, *에 의해 나타내어지는 상기 값으로 블록의 행 계수를 승산하는 것은 계수값을 필터값의 부분적인 값(나머지(remainder))에 의해 승산된 계수에 가산함으로써 쉽게 구현될 수 있다

	3:1 추출	2:1 추출
H[0]	1.000000000000000(511)	1.0000000000000000(511)
H[1]	0.986934590759779(505)	1.0169628157945179(*)
H[2]	0.790833583171840(405)	1.0000000000000000(511)
H[3]	0.334720213357461(171)	0.82247656390475166(421)
H[4]	-0.0323463361027473(-17)	0.46728234862006007(239)
H[5]	-0.0377450036954524(-19)	0.10634261847436199(54)
H[6]	-0.0726889747390758(37)	-0.052131780559049545(-27)
H[7]	0.00954287167337307(5)	-0.003489737967467715(-2)

이들 수평 DCT 필터 계수는 인코드된 비디오 이미지의 DCT 계수의 8×8 블록의 각 행을 가중한다(weight). 예를들면, 0 행의 DCT 계수는 H[0}에 의해 가중되고, 첫 번째 행의 DCT 계수는 H[1]에 의해 가중된다.

상기 논의는 일차원의 DCTs를 사용하는 수평 필터 구현을 나타낸다. 디지털 신호 처리 기술에서 공지된 바와 같이, 이러한 처리는 2차원 시스템으로 확장될 수 있다. 2차원 시스템에 있어서, 입력 시퀀스는 매트릭스의 값으로 표현되는데, 시퀀스는 행 시퀀스에서 주기(M)를 갖는 주기적인 시퀀스임을 나타내고, 열 시퀀스에서 주기(N, M)를 갖는 주기적인 시퀀스임을 나타내며, M은 정수이다. 2차원 DCT는 입력 시퀀스의 행에 대해 수행되는 하나의 일차원의 DCT로서, 그 다음 DCT 처리된 입력 시퀀스의 열에 대해 수행되는 두 번째 일차원 DCT로서 구현될 수 있다. 또한, 기술적인 분야에서 공지된 바와 같이, 2차원 IDCT는 단일 처리로 구현될 수 있다.

도 5는 직렬의 1차원 IDCTs로서 구현된 수평 및 수직 성분을 처리하는 2차원 시스템용의 다운 변환을 위한 필터의 예증적인 구현을 도시한다. 도 5에 도시된 바와 같이, 도 2의 DCT 필터 마스크(216) 및 IDCT(218)는 수직 DCT 필터(530)와 수직 IDCT(540)을 포함하는 수직 프로세서(510) 및 수직 성분을 구현하기 위한 것과 동일한 수평 DCT 필터와 수평 IDCT를 포함하는 수평 프로세서(520)에 의해 구현될 것이다. 필터링 처리와 IDCT 처리가 선형적이기 때문에, 이들 처리를 구현하는 순서는 재정렬될 수 있다(예를들면, 먼저 수평 및 수직 DCT 필터링과 그 다음의 수평 및 수직 IDCTs, 또는 그 반대, 또는 먼저 수직 프로세서(520)와 그 다음 수평 프로세서(510)).

도 5에 도시된 특정 구현에서, 수직 프로세서(510) 다음에 블록 트랜스포즈 오퍼레이터(block transpose operator; 550)가 뒤따르는데, 상기 블록 트랜스포즈 오퍼레이터는 수직 프로세서에 의해 제공된 수직 처리된 값의 블록의 열과 행을 전환한다. 이 동작은 수평 프로세서(520)에 의한 처리를 위한 블록을 준비함으로써 계산의 효율성을 크게 증가시킨다.

예를들면 매트릭스 값의 8×8 블록인 인코드된 비디오 블록이 수직 DCT 필터(530)에 의해 수신되는데, 상기 필터(530)는 희망하는 수직 추출에 대응하는 DCT 필터값으로 블록의 각 열의 엔트리를 가중한다. 그 다음, 수직 IDCT(540)는 블록의 수직 성분에 대해서 역 DCT를 수행한다. 이전에 상술된 바와 같이, 이들 두 처리가 단지 매트릭스 승산 및 가산을 수행하기 때문에, DCT 필터 계수는 단일의 매트릭스 승산 및 가산 동작을 위해 수직 IDCT 계수와 함께 결합될 수 있다. 그 다음 수직 프로세서(510)는 수직 처리된 블록을 트랜스포즈 오퍼레이터(550)로 제공하는데, 상기 오퍼레이터(550)는 수직 처리된 값의 트랜스포즈된 블록을 수평 프로세서(520)에 제공한다. 트랜스포즈 오퍼레이터(550)는 IDCT 동작이 열 또는 행으로 수행되지 않는 한 필요하지 않다. 수평 프로세서(520)는 희망하는 수평 필터링에 대응하는 DCT 필터값으로 블록의 각 행 엔트리를 가중하는 동작을 수행하고, 그 다음 블록의 수평 성분에 대해 역 DCT를 수행한다.

(f) 다운 샘플링

다운 샘플링은 다운 샘플링 처리(232)에 의해 실행되어 다운변환된 이미지(downconverted image)에서의 픽셀의 수를 감소시킨다. 도 6a는 3:1 추출에 대한 4:2:0 색차 타입을 위한 입력 및 추출된 출력 픽셀을 도시한다. 도 6b는 2:1 추출에 대한 4:2:0 색차 타입을 위한 입력 및 추출된 출력 픽셀을 도시한다. 표 5는 도 6a 및 도 6b의 휘도 및 색차 픽셀용 범례 식별(legend identification)을 제공한다. 도 6a 및 도 6b의 다운 변환 이전 및 이후의 픽셀 위치는 각각 비월된(interlaced)(3:1 추출) 경우 및 순차(progressive)(2:1 추출) 경우이다.

부호	픽셀
+	추출 이전의 휘도
×	추출 이전의 색차
●	추출 이후의 휘도
△	추출 이후의 색차

비월 이미지의 다운 샘플링, 즉 1920×1080 픽셀 사이즈에서 640×1080 픽셀 사이즈로의 다운 샘플링을 위해서, 수평축 상의 매 세 번째 픽셀이 추출된다. 예증적인 3:1 추출에 있어서, 다운 변환 처리 후에 세 개의 상이한 매크로블록 타입이 존재한다. 6 도a에 있어서, 원래의 매크로블록은 MB0, MB1, MB2로 나타내어졌다. MB0의 다운 샘플된 휘도 픽셀은 원래의 매크로블록의 첫 번째 픽셀에서 시작하지만, MB1 및 MB2에서 다운 샘플된 픽셀은 세 번째 및 두 번째 픽셀에서 시작한다. 또한 각 매크로블록의 다운 샘플된 픽셀의 수는 동일하지 않다. MB0에 있어서, 6 개의 다운 샘플된 픽셀이 수평적으로 존재하지만, MB1 및 MB2에는 5 개의 픽셀이 존재한다. 이들 세 개의 MB 타입은 반복되므로, 따라서 모듈로(modulo) 3 계산이 적용될 것이다. 표 6은 픽셀을 다운샘플링한 수와 각 입력 매크로블록(MB0, MB1, MB2)에 대한 오프셋을 나타낸다.

	MB0	MB1	MB2
다운 샘플된 휘도 픽셀의 수	6	5	5
다운 샘플된 색차 픽셀의 수	3	3	2
첫 번째 다운 샘플된 휘도 픽셀의 오프셋	0	2	1
첫 번째 다운 샘플된 색차 픽셀의 오프셋	0	1	2

순차 포맷 이미지의 다운 샘플링을 위해서 휘도 신호는 매 두 번째 샘플에 대해서 수평적으로 서브샘플된다(subsampled). 색차 신호에 대해서, 다운 샘플된 픽셀은 원래의 픽셀 아래의 절반 픽셀이다.

(f) 디스플레이 변환

다운 샘플된 이미지 프레임의 디스플레이 변환은 특정 포맷의 이미지를 디스플레이하기 위해 요구된다. 앞서 지적된 바와 같이, 도 2a에 도시된 디스플레이 변환 블록(280)은 저해상도 스크린 상에서의 디스플레이를 위해 다운 변환된 이미지와 다운 샘플된 이미지를 조정한다.

도 2a를 참조하면, 디스플레이 변환부(280)는, 예증적인 실시예에서 프로그램가능한 다상 수직 필터로서 구현된 수직 라인 보간 프로세서인 VPF(282)와, 예증적인 실시예에서 프로그램 가능한 수평 다상 필터로서 구현된 수평 라인 보간 프로세서인 HZPF(284)를 포함한다. 상기 필터는 프로그램 가능한데, 이것은 다수의 디스플레이 포맷에 대한 디스플레이 변환을 수용하기 위한 디자인에서의 선택사항이다.

도 2a에 도시된 바와 같이, 다운 변환된 픽셀 데이터의 4 라인은 래스터 순서로 VPF(282)에 입력된다. 예증적인 실시예에서 이러한 데이터는 32비트로 VPF(282)에 한꺼번에 입력되는 휘도(Y) 및 색차(U 및 V) 픽셀 쌍을 포함한다. VPF(282)는 데이터의 4 라인을 1 라인으로 여과하고 이 라인을 각각이 휘도 및 색차 데이터를 포함하는 32 비트 값으로서 HZPF(284)에 전달하고, 그 후 HZPF(284)는 희망하는 래스터 포맷과 일치하는 정확한 수의 픽셀을 발생한다.

도 7a는 본 발명의 일 실시예의 VPF(282)를 도시하는 개략적인 블록도이다. 하기에서, VPF(282)는 출력 픽셀의 쌍을 생성하는 입력 픽셀의 쌍(휘도(Y) 및 색차(U 및 V))을 처리하는 것으로 상술되는데, 상기 출력 픽셀의 쌍이 칼라 픽셀로 하여금 대응하는 휘도 픽셀과 관련되는 것을 허용하기 때문에 상기 출력 픽셀의 쌍은 4:2:0 포맷의 처리를 용이하게 한다. 그러나, 기술적인 분야에서 능숙한 자는 단지 하나의 픽셀, 또는 다수의 픽셀이 이렇게 처리될 수 있음을 알 수 있을 것이다. 또한, 상술된 바와 같이 VPF(282)는 순차 포맷의 라인을 생성한다. 이중 출력(dual output)을 사용하고 비월된 포맷을 지원하는 다른 실시예에서, 제 2의 VPF(282)가 부가될 수 있다.

도 7a를 참조하면, VPF(282)는 VPF 컨트롤러(702)와; 휘도 픽셀 멀티플렉서(Luminance Pixel MUXs; LP MUXs; 706, 708, 710, 및 712)와 색차 픽셀 멀티플렉서(Chrominance Pixel MUXs; Chrominance Pixed MUXs; CP MUXs; 714, 716, 718, 및 720)를 포함하는 제 1의 멀티플렉서 네트워크와; 휘도 필터 멀티플렉서(Luminance Filter MUXs; LF MUXs; 726, 728, 730, 및 732)와 색차 필터 멀티플렉서(Chrominance Filter MUXs; CF MUXs; 734, 736, 738, 및 740)를 포함하는 제 2의 멀티플렉서 네트워크와; 휘도 계수 승산기(742, 744, 746, 및 748)와; 색차 계수 승산기(750, 752, 754, 및 756)와; 휘도 가산기(760, 762, 및 764)와; 색차 가산기(766, 768, 및 770)와; 라운드 및 클립 프로세서(Round and Clip processors; 772 및 776)와; 디멀티플렉서(DEMUX/Resisters; 774 및 778); 및 출력 레지스터(780)를 포함한다.

VPF(282)의 동작은 이제 설명될 것이다. 수직 리샘플링(resampling)은 두 개의 4-탭 다상 필터로 실현되는데, 하나는 휘도 픽셀용이고 하나는 색차 픽셀용이다. 색차 픽셀에 대한 동작이 유사하기 때문에, 하기에는 휘도 픽셀용 필터의 동작만을 설명하지만, 이들이 생성되는 경로에서의 차이는 설명할 것이다. 예증적인 실시예에서 휘도 픽셀의 수직 필터링은 4-탭 다상 필터에서 8 상(phase)까지 사용할 수 있고 색차 픽셀의 필터링은 4-탭 다상 필터에서 16 상까지 사용할 수 있다. 필드 또는 프레임의 시작에서, VPF 컨트롤러(702)는 수직 다상 필터를 리세트시키고, 제어 타이밍(control timing)을 제 1 및 제 2의 멀티플렉서 네트워크로 제공하고, 다상 필터상(polyphase filter phases)을 위해 휘도 계수 RAM(704) 및 색차 계수 RAM(724)으로부터 계수 세트를 선택하며, 필드 또는 프레임의 각 라인이 처리될 때 각 라인을 카운트하기 위한 카운터를 포함한다.

MUXs의 네트워크 및 다상 필터의 동작을 조화시키는 것에 부가해서, VPF 컨트롤러(702)는 디코드된 화상에서 수직 위치의 정수 및 분수 부분을 추적함으로써 디스플레이 라인을 추적한다. 정수 부분은 어느 라인이 액세스되어야 하는지를 나타내고 분수 부분은 어느 필터상(filter phase)이 사용되어야 하는지를 나타낸다. 분수 부분을 계산할 때 이러한 모듈로 N 계산의 사용은, 예를들면, 16 상 이하의 상이 사용되도록 하고, 이것은 9 대 5와 같은 정확한 다운샘플링 비율에 대해 효율적일 것이다. 정확한 비율이 필요하지 않다면, 분수 부분은 사용되는 N 상의 한 상으로 절삭된다.

도 7a에 도시된 바와 같이, 4 개의 휘도 및 4 개의 색차 라인으로부터의 휘도 및 색차 픽셀 쌍은 색차 및 휘도 경로로 분리된다. 휘도 경로에서 16 비트 픽셀 쌍 데이터는 LP MUXs(706, 708, 710, 및 712)에 의해 8비트 짝수(Y-짝수) 및 8비트 홀수(Y-홀수) 포맷으로, 그리고 CP MUXs(714, 716, 718, 및 720)에 의해 8비트 U 및 8비트 V 포맷으로 또한 다중화된다(multiplexed). 그 다음, 휘도 필터 MUXs(706, 708, 710, 및 712)는 다상 필터 동작에서 픽셀 중첩(overlap)을 허용하기 위해서 디코드된 이미지의 경계에서 상부(top)에서의 라인 및 하부(bottom)에서의 라인의 픽셀 값을 반복하기 위해 사용된다.

휘도 픽셀 정보 및 색차 픽셀 정보에 대응하는 4 라인에 대한 픽셀 쌍은 그 다음 각각의 필터를 통해 전달된다. 필터상(filter phase)에 대한 픽셀 값을 가중하기 위한 승산기(742, 744, 746)에 의해 사용되는 계수는 프로그램된 업 또는 다운 샘플링 인자(factor)에 기초해서 VPF 컨트롤러(702)에 의해 선택된다. 가중된 휘도 픽셀 정보를 가산기(760, 762, 및 764)에서 결합한 후에, 상기 값은 (계수 승산이 더 높은 정확도로 발생하기 때문에) 8비트 값을 제공하는 라운드 및 클립 프로세서(772)로 인가된다. DEMUX 레지스터(774)는 보간된 8비트 짝수(Y-짝수) 휘도 값에 대응하는 최초의 8비트 값과 보간된 8비트 홀수(Y-홀수) 값에 대응하는 8비트 값을 수신하고, 16비트값을 갖는 단일의 수직 여과된 휘도 픽셀을 제공한다. 레지스터(780)는 휘도 및 색차 경로에서 수직 여과된 픽셀을 모으고 제공하며 이들을 휘도 및 색차 픽셀 쌍을 포함하는 수직으로 여과된 32비트 값으로서 제공한다.

도 7b는 라인의 계수 및 픽셀 샘플 공간 사이의 공간 관계를 도시한다. 휘도 및 색차 다상 필터 경로에 대한 계수 각각은 각 계수 세트에 할당된 40비트를 포함하며, 각 상에 대해 하나의 계수 세트가 존재한다. 계수는 분모로 512를 갖는 분수로 해석된다. 계수는 왼쪽에서 오른쪽으로 40 비트 워드, 즉 C0에서 C3에 위치된다. C0 및 C3은 부호가 있는 10비트의 2의 보수값이고, C1 및 C2는 예를들면 -256에서 767까지의 소정의 범위를 갖는 10 비트이다.

도 7a는 선택적인 휘도 계수 조정(782) 및 색차 계수 조정(784)을 포함한다. 이들 계수 조정(782 및 784)은 예를들면, C1 및 C2에 대한 11비트의 2의 보수를 유도하기 위해 사용될 수 있다. 비트 8 및 9(최상이 비트)가 둘 다 1인 경우, 11 비트 수의 부호는 1(음수)이고, 그 외의 경우 값은 양이다. 도 7b에 도시된 바와 같이, 색차 계수는 4 개의 입력 라인의 색차 라인에 대해 동작하지만, 휘도 계수는 두 개의 중앙 라인의 짝수 및 홀수 휘도 라인에 대해 동작한다.

도 8a는 본 발명의 일 실시예의 HZPF(284)를 나타내는 개략적인 블록도이다. HZPF(284)는 휘도 및 색차 픽셀 정보 쌍을 VPD(282)로부터 수신하는데, 이것은 32 비트 데이터이다. HZPF(284)는 HZPF 컨트롤러(802)와; U 색차 래치(U chrominance latches; 804)와; V 색차 래치(806)와; Y 휘도 래치(808)와; 선택 MUXs(810)와; 수평 필터 계수 RAM(812)과; 결합 네트워크(814)와; 가산 네트워크(816)와; 라운드 및 클립 프로세서(818)와; DEMUX 레지스터(820) 및 출력 레지스터(822)를 포함한다. 하기에는, 예를들면, 순차 디스플레이 포맷을 위한 리샘플링용으로 사용되는 단일의 수평 필터 구현을 상술한다. 이중 출력을 포함하고 더 낮은 출력 전송 속도를 갖는 다른 실시예에 있어서, 제 2의 수평 필터는 비월된 디스플레이 포맷을 지원하기 위해 사용된다.

수평 리샘플링은 8 탭, 8 상 다상 필터를 사용함으로써 실현된다. 디스플레이 픽셀의 발생은 디코드되고 다운샘플된 화상에서 수평 위치의 정수 및 분수 부분을 추적함으로써 HZPF 컨트롤러(802)에 의해 조정된다. 정수 부분은 어느 픽셀이 액세스되는지를 나타내고 분수 부분은 어느 필터상이 사용되어야 하는지를 나타낸다. 분수 부분을 계산할 때 모듈로 N 계산을 사용하는 것은 8상보다 적은 상이 사용되는 것을 허용한다. 예를들면, 이것은 9 대 5와 같은 정확한 다운샘플링 비율이 사용되는 경우 유용할 것이다. 정확한 비율이 사용되지 않는 경우, 분수는 N상의 하나로 절삭된다. 본 발명의 예증적인 실시예의 HZPF(284)는 픽셀 쌍을 여과하고, 4:2:0 포맷의 화상의 처리를 용이하게 하고 U 및 V 색차 픽셀(칼라 픽셀)을 대응하는 Y 휘도 픽셀과 함께 유지하기 위해서 짝수 픽셀의 경계에 대한 정렬을 사용할 것이다.

HZPF(284)의 동작은 도 8a를 참조로 설명될 것이다. 수평 라인의 시작에서 HZPF 컨트롤러(802)는 수평 다상 필터를 레세트시키고, 제어 타이밍을 제 1 및 제 2의 멀티플렉서 네트워크로 제공하고, 각각의 다상 필터상에 대한 U-색차, V-색차 및 Y-휘도 필터 계수를 위한 계수 세트를 수평 계수 RAM(812)로부터 선택하며, 처리를 위한 U-색차, V-색차 및 Y-휘도 값의 각 세트를 선택한다. 또한, 수평 위치가 라인의 왼편 또는 오른편 근처에 있는 경우, HZPF 컨트롤러(802)는 8 탭 다상 필터에 의한 사용을 위해 에지 픽셀 값이 반복되도록 하거나 또는 0으로 설정된다.

VPF(282)로부터 수신되는 픽셀 데이터는 Y 휘도, U 색차 및 V 색차 값으로 분리되고, 이들 값은 필터링을 위해 개별적으로 U 색차 래치(804); V 색차 래치(806); Y 휘도 래치(808)로 래치된다. 그 다음 HZPF 컨트롤러(802)는 선택 MUXs(810)로의 적절한 신호에 의해 Y-휘도, U-색차 및 V-색차 값을 선택한다. 예증적인 실시예에서, Y 휘도 래치(808)에서 부가적인 래치를 필요로 하는 더 많은 Y-휘도 값이 존재한다. 동시에, HZPF 컨트롤러(802)는 필터상, 및 U 또는 V 색차 또는 Y 휘도값을 위해 수평 필터 계수 RAM(812)으로의 제어 신호에 의한 프로그램된 업샘플링 또는 다운샘플링 값에 기초해서 적절한 필터 계수를 선택한다.

그 다음 수평 필터 계수 RAM(812)는 입력 픽셀 값과의 승산을 위해 결합 네트워크(814)의 각 소자로 계수를 출력하여 가중된 픽셀 값을 생성하고, 가중된 픽셀 값은 가산 네트워크(816)에서 결합되어 수평적으로 여과된 U 또는 V 색차 또는 Y 휘도 값을 제공한다.

가산 네트워크(816)에서 가중된 픽셀 값을 결합한 후, 수평적으로 여과된 픽셀 값은 (계수 승산이 더 높은 정확도로 발생하기 때문에) 8 비트 값을 제공하는 라운드 및 클립 프로세서로 인가된다. DEMUX 레지스터(820)는 U 색차값과, 8비트 짝수(Y-짝수) Y 휘도값과, 8비트 V 색차값에 대응하는 일련의 8비트값, 및 최종적으로 8비트 홀수(Y-홀수) Y 휘도값에 대응하는 8비트값을 수신하고, DEMUX 레지스터(820)는 상기 값을 32비트 값(YUYV)을 갖는 수평적으로 여과된 휘도 및 색차 픽셀 쌍으로 다중화한다. 레지스터(822)는 픽셀 쌍을 수직 및 수평적으로 여과된 32비트 픽셀의 휘도 및 색차 픽셀 쌍으로서 제공한다.

도 8b는 수평 필터 계수 RAM(812)에 저장되어 있고 다상 필터에서 사용되는 계수와 수평 라인용의 다운 샘플된 이미지의 픽셀 샘플값 사이의 공간 관계를 나타낸다. 예증적인 실시예에서 계수는 왼쪽에서 오른쪽으로의 64비트 워드, 즉 C0 내지 C7에 위치된다. C0, C1, C6, 및 C7은 부호가 있는 7비트의 2의 보수값이고, C2 및 C5는 부호가 있는 8비트의 2의 보수이며 C3 및 C4는 -256에서 767까지의 범위를 나타내는 10비트의 값이다. C3 및 C4에 대한 11비트의 2의 보수를 유도하기 위해서, 조정이 요구된다. 비트 8 및 비트 9(최상위 비트) 둘 다가 1인 경우, 11비트 수의 부호는 1(음수)이고, 그 외의 경우 값은 0(양수)이다. 모든 계수는 512의 분모를 갖는 분수로서 해석된다.

또한, HZPF(284)의 프로그램 가능한 능력은 비선형 수평 스캔을 허용한다. 도 8c, 도 8d, 도 8e, 및 도 8f에 도시된 바와 같이, HZPF(284)의 리샘플링 비율은 수평 스캔 라인에 걸쳐서 변하게 될 것이고 개별적으로 선형 형태로 변할 것이다. 한 구성에 있어서, 스캔 라인의 시작에서, 리샘플링 비율은 리샘플링 비율이 선형적으로 감소(또는 증가)하는 곳에 제 2의 지점이 도달할 때까지 값이 상수로 유지되는 제 1의 지점까지 선형적으로 증가(또는 감소)한다.

도 8c 및 도 8d는 4:3 화상을 16:9 디스플레이 상에 매핑하기 위한 비율 프로파일을 나타낸다. 상기 비율은 입력값에서 출력값으로의 항목으로 정의되는데, 4/3은 4에서 3으로의 다운샘플링이고 1/3은 1에서 3으로의 업샘플링이다. 도 8c 및 도 8d에 도시된 비율 프로파일은 720 샘플을 갖는 입력 화상 이미지를 720 샘플을 갖는 디스플레이로 매핑한다. 예를들면, 도 8c에서 4:3 종횡비(aspect ratio) 디스플레이를 16:9 종횡비 디스플레이로 매핑하는 것은 4/3 다운샘플링을 사용하지만, 디스플레이의 모든 샘플을 채우는 것은 수평 라인에 걸쳐서 1/1 평균을 필요로 한다. 결과적으로, 도 8c의 프로파일은 디스플레이 픽셀 24 및 480 사이의 중앙에서 정확한 종횡비를 갖지만, 측면에서의 값은 디스플레이를 채우기 위해 업샘플된다. 도 8e 및 도 8f는 도 8c 및 도8d에 도시된 프로파일의 반대인 16:9 디스플레이 이미지에서 4:3 디스플레이로의 크기를 바꾸기 위해 사용되는 프로파일을 도시한다.

표 7은 본 발명의 한 예증적인 실시예의 VPF 및 HZPF용의 계수를 나열한다.

750P에서 525P로의 휘도 수직 필터용 계수

	탭 0(Tap 0)	탭 1	탭 2	탭 3
상 0(Phase 0)	103	306	103	0
상 1	10	246	246	10

750P에서 525P 로의 색차 수직 필터용 계수

	탭 0	탭 1	탭 2	탭 3
상 0	25	462	25	0
상 1	-33	424	145	-24
상 2	-40	296	296	-40
상 3	-24	145	424	-33

750P에서 525I로의 휘도 수직 필터용 계수

	탭 0	탭 1	탭 2	탭 3
상 0	145	222	145	0
상 1	84	172	172	84

750P에서 525I로의 색차 수직 필터용 계수

	탭 0	탭 1	탭 2	탭 3
상 0	57	398	57	0
상 1	-6	382	166	-30
상 2	-29	285	285	-29
상 3	-30	166	382	-6

750P에서 525I로의 수평 필터용 계수

	탭 0	탭 1	탭 2	탭 3	탭 4	탭 5	탭 6	탭 7
상 0	-8	-13	-17	536	-17	13	-8	0
상 1	-13	28	-62	503	48	-9	0	17
상 2	-14	37	-90	477	134	-37	10	-5
상 3	-13	38	-96	406	226	-64	22	-7
상 4	-10	31	-85	320	320	-85	31	-10
상 5	-7	22	-64	226	406	-96	38	-13
상 6	-5	10	-37	134	477	-90	37	-14
상 7	-17	0	-9	48	503	-62	28	-13

도 2b에 도시된 디스플레이 변환의 저가의 구현을 위해서, 도 9a 및 도 9b는 2:1 및 3:1 추출에 대한 본 발명의 예증적인 실시예의 이미지 질을 강화하기 위해 사용될 수 있는 수직 보간 처리를 도시한다. 도 9a에 도시된 바와 같이, 2:1 추출에 대한 예증적인 수직 보간 처리는 필드 메모리9903), 가산기(904), 및 분할기(divider; 905)를 포함한다. 2:1 추출용 다운 변환 디코더(902)는 디코드된 이미지를 저장용 필드 메모리(903)로 제공한다. 프레임 또는 필트에 대해서, 인접한 수평 라인(N 및 N+1)은 필드 메모리(903)로부터 제공되고 가산기(904)에서 가산되며, 그 합은 분할기(905)에서 2로 분할되어 저해상도 스크린 상에서 디스플레이하기 위한 수직으로 보간된 수평 라인을 생성한다.

도 9b에 도시된 바와 같이, 3:1 추출용 수직 보간 처리는 두 개의 단일 수평 라인(1H) 메모리(921 및 922)와, 두 개의 가산기(923 및 924), 및 분할기(925)를 포함한다. 3:1 추출용 다운 변환 디코더(920)는 차례차례 각 수평 라인을 1H 메모리(921)로 제공한다. 현재의 수평 라인(N)에 대해서, 인접한 수평 라인(N-1)은 제 1의 1H 메모리(921)에 저장되고 바로 그 전의 인접 수평 라인은 제 2의 1H 메모리(922)에 저장된다. 인접한 수평 라인(N 및 N+1)은 가산기9924)에 제공되고, 그 합은 가산기(923)에서 바로 그 전의 인접 수평 라인(N-2)으로 가산된다. 3 개가 가산된 인접 라인은 그 다음 분할기(925)에서 3으로 분할되어 저해상도 스크린 상에서 디스플레이하기 위한 수직으로 보간된 수평 라인을 생성한다. 도 9b에 도시된 필터가 도 2b의 수직 LPF(260)용으로 사용되면, FIFO(264)용의 출력 클럭 신호는 최고 클럭율의 1/3의 클럭율을 가질 것이다(즉, CLK/2보다는 CLK/3).

도 9b에 도시된 것과 유사한 디스플레이 변환의 다른 실시예에 있어서, 순차 이미지의 2:1 변환에서의 수직 라인 보간은 새로운 라인을 생성하는 각각의 짝수 및 홀수 수직 라인 쌍의 값의 절반을 가산함으로써 실현될 것이다. 비월 이미지의 2:1 변환에서 수직 라인 보간은 한 필드의 짝수 라인의 쌍과 제 2의 필드의 홀수 라인이 쌍을 처리함으로써 실현될 수 있다. 짝수 라인에 대해서, 제 1의 라인의 3/4이 제 2의 라인의 1/4에 가산되고, 홀수 라인에 대해서 제 1의 라인의 1/4이 제 2의 라인의 3/4에 가산된다.

본 발명의 예증적인 실시예가 본원에서 상술되었지만, 이러한 실시예는 단지 예에 지나지 않음을 알 수 있을 것이다. 기술적인 분야에서 능숙한 자들은 본 발명의 취지를 벗어나지 않으면서 여러 변형예, 변화예, 및 대용예(substitutions)를 고안할 수 있을 것이다. 따라서, 첨부된 특허청구의 범위는 본 발명의 영역 내에 있는 이러한 모든 변화예를 포괄하는 것으로 이해되어져야 한다.

Claims

비디오 이미지를 나타내며, 주파수 영역 변환된 고해상도 비디오 신호인 인코드된 비디오 신호로부터 저해상도 비디오 신호를 형성하기 위한 장치에 있어서,

인코드된 비디오 신호를 수신하고 상기 신호를 다수의 고해상도 주파수 영역 비디오 계수값으로서 제공하기 위한 수단과;

한 세트의 여과된 주파수 영역 비디오 계수를 형성하기 위해서 다수의 고해상도 주파수 영역 비디오 계수값으로부터 선택된 계수값을 수신하고 가중하기 위한 다운 변환 필터 수단과;

상기 여과된 주파수 영역 비디오 계수를 수신하고 상기 계수를 한 세트의 여과된 픽셀 샘플값으로 변환하기 위한 역변환 수단; 및

저해상도 비디오 신호를 제공하기 위해서 상기 한 세트의 여과된 픽셀 샘플값의 선택된 샘플값을 삭제하기 위한 추출 수단을 포함하는 저해상도 비디오 신호 형성 장치.
제 1항에 있어서, 상기 주파수 영역 변환된 비디오 신호는 이산 코사인 변환(DCT) 동작에 의해 변환되고, 상기 역변환 수단은 상기 주파수 영역 비디오 계수를 역이산 코사인 변환(IDCT) 동작으로 변환하는 저해상도 비디오 신호 형성 장치.
제 1항에 있어서, 상기 다운 변환 필터 수단은 추출 비율에 의해 분할된 인코드된 비디오 신호의 샘플링 주파수에 의해 결정된 컷오프 주파수를 구비하는 저역 필터인 저해상도 비디오 신호 형성 장치.
제 1항에 있어서, 상기 다운 변환 필터 수단은 소정 수의 탭을 구비하는 저역 블록 미러 필터의 다수의 주파수 영역 계수를 포함하는 저해상도 비디오 신호 형성 장치.
제 1항에 있어서, 상기 다운 변환 필터 수단은 한 세트의 주파수 영역 필터 계수에 의해 나타내어지는 저역 필터이고, 상기 다운 변환 수단은 상기 한 세트의 주파수 영역 필터 계수를 다수의 고해상도 주파수 영역 비디오 계수값으로 승산함으로써 다수의 고해상도 주파수 영역 비디오 계수값의 선택된 계수값을 가중하는 저해상도 비디오 신호 형성 장치.
제 1항에 있어서, 상기 추출 수단은 추출 비율에 따라 상기 한 세트의 여과된 픽셀 샘플값을 다운 샘플하는 저해상도 비디오 신호 형성 장치.
비디오 이미지를 나타내며, 이산 코사인 변환된(DCT) 고해상도 비디오 신호인 인코드된 비디오 신호로부터 저해상도 비디오 신호를 형성하기 위한 장치에 있어서,

인코드된 비디오 신호를 수신하고 상기 신호를 다수의 DCt 비디오 계수값으로서 제공하기 위한 수단과;

한 세트의 가중된 DCT 계수를 형성하기 위해서 한 세트의 다운 변환 필터링 계수로 한 세트의 이산 코사인 변환(DCT) 계수를 가중하기 위한 수단; 및

DCT 영역으로부터 공간 영역으로의 IDCT 동작에 의해 상기 가중된 DCT 비디오 계수를 한 세트의 여과된 픽셀 샘플값으로 변환하기 위한 수단을 포함하는 역변환 수단; 및

저해상도 비디오 신호를 제공하기 위해서 상기 한 세트의 여과된 픽셀 샘플값의 선택된 샘플값을 삭제하기 위한 추출 수단을 포함하는 저해상도 비디오 신호 형성 장치.
비디오 이미지를 나타내며, 주파수 영역이 변환된 비디오 신호인 인코드된 비디오 신호로부터 저해상도 비디오 신호를 형성하기 위한 방법에 있어서,

a) 다수의 주파수 영역 비디오 계수값으로서 인코드된 비디오 신호를 제공하는 단계와;

b) 한 세트의 여과된 주파수 영역 비디오 계수값을 형성하기 위해서 상기 다수의 주파수 영역 비디오 계수값의 선택된 계수값을 가중하는 단계와;

c) 한 세트의 여과된 픽셀 샘플값을 얻기 위해서 소정의 주파수 영역에서 공간 영역으로의 변환 동작에 따라서 상기 여과된 주파수 영역 비디오 계수값을 변환하는 단계; 및

d) 저해상도 비디오 신호를 제공하기 위해서 상기 세트의 저해상도 픽셀 샘플값의 선택된 샘플값을 유지하는 단계를 포함하는 저해상도 비디오 신호 형성 방법.
비디오 이미지를 나타내며, 주파수 영역이 변환된 비디오 신호인 인코드된 비디오 신호로부터 저해상도 비디오 신호를 형성하기 위한 장치에 있어서,

인코드된 비디오 신호를 수신하고 상기 신호를 다수의 주파수 영역 비디오 계수값으로서 제공하기 위한 수단과;

한 세트의 여과된 픽셀 샘플값을 생성하기 위해서 상기 다수의 주파수 영역 비디오 계수값을 한 세트의 필터링 역변환 계수로 결합하기 위한 결합 수단으로서, 상기 필터링 역변환 계수는 다운 변환용의 한 세트의 가중 계수와 주파수 영역에서 공간 영역으로의 변환을 위한 역변환 계수의 결합인, 결합 수단과;

한 세트의 추출된 픽셀 샘플값을 생성하기 위해서 상기 세트의 여과된 픽셀 샘플값의 선택된 샘플값을 삭제하기 위한 추출 수단; 및

상기 한 세트의 추출된 여과된 픽셀 샘플값을 저장하고 상기 저장된 한 세트의 추출된 여과된 픽셀 샘플값을 저해상도 비디오 신호로서 제공하기 위한 수단을 포함하는 저해상도 비디오 신호 형성 장치.
비디오 이미지를 나타내며, 주파수 영역이 변환된 비디오 신호인 인코드된 비디오 신호를 수신하고, 저해상도 비디오 신호를 형성하는 방법에 있어서,

a) 상기 인코드된 비디오 신호를 다수의 주파수 여역 비디오 계수값으로서 제공하는 단계와;

b) 한 세트의 저해상도 픽셀 샘플값을 생성하기 위해서 상기 다수의 주파수 영역 비디오 계수값을 한 세트의 필터링 역변환 계수값으로 결합하는 결합 단계로서, 상기 필터링 역변환 계수는 저역 필터링용의 한 세트의 가중 계수와 주파수 영역에서 공간 영역으로의 변환을 위한 한 세트의 역변환 계수의 결합인, 결합 단계와;

c) 상기 한 세트의 여과된 픽셀 샘플값의 선택된 샘플값을 추출하는 단계; 및

d) 저장된 픽셀 샘플값을 저해상도 비디오 신호로서 제공하기 위해 상기 한 세트의 저해상도 픽셀 샘플값의 선택된 샘플값을 저장하는 단계를 포함하는 저해상도 비디오 신호 형성 방법.
비디오 이미지를 나타내며, 압축된 주파수 영역 변환 비디오 신호인 인코드된 비디오 신호를 수신하고, 저해상도 비디오 신호를 형성하기 위한 장치에 있어서,

다수의 압축된 주파수 영역 비디오 계수값 및 모션 벡터로서 상기 인코드된 비디오 신호를 제공하기 위한 수단과;

한 세트의 여과되고 압축된 주파수 영역 비디오 계수를 형성하기 위해서, 추출 값에 기초해서, 상기 다수의 압축된 주파수 영역 비디오 계수값의 선택된 계수값을 수신하고 가중하기 위한 다운 변환 필터 수단과;

한 세트의 여과되고 압축된 픽셀 샘플값을 얻기 위해서 소정의 주파수 영역에서 공간 영역으로의 변환 동작을 사용하여 상기 여과되고 압축된 주파수 영역 비디오 계수를 수신하고 변환하기 위한 역변환 수단과;

모션 벡터를 수신하고 추출값에 기초해서 모션 벡터를 기준화(scaling)하기 위한 이동 수단(translation means)과;

기준화된 모션 벡터 및 이전 세트의 여과된 픽셀 샘플값을 수신하고, 한 세트의 에측 픽셀 샘플값을 형성하기 위한 예측 블록 발생 수단과;

한 세트의 여과된 픽셀 샘플값을 형성하기 위해서 상기 한 세트의 여과되고 압축된 픽셀 샘플값을 상기 한 세트의 예측 픽셀 샘플값을로 결합하기 위한 결합 수단; 및

추출 값에 기초해서 상기 한 세트의 여과된 픽셀 샘플값의 선택된 샘플값을 수신하고 유지하며, 상기 한 세트의 여과된 픽셀 샘플값의 선택된 샘플값을 저해상도 비디오 신호로 형성하는 추출 수단을 포함하는 저해상도 비디오 신호 형성 장치.
제 11항에 있어서, 상기 주파수 영역 변환 비디오 신호는 이산 코사인 변환(DCT) 동작에 의해 변환되고, 역변환 수단은 주파수 영역 비디오 계수를 역DCT(IDCT) 동작에 의해 변환하는 저해상도 비디오 신호 형성 장치.
제 11항에 있어서, 상기 다운 변환 필터 수단은 추출 비율에 의해 분할된 인코드된 비디오 신호의 샘플링 주파수에 비례하는 컷오프 주파수를 구비하는 저역 필터인 저해상도 비디오 신호 형성 장치.
제 11항에 있어서, 상기 다운 변환 수단은 소정 수의 탭을 구비하는 저역 블록 미러 필터를 나타내는 다수의 주파수 영역 계수를 포함하는 저해상도 비디오 신호 형성 장치.
제 11항에 있어서, 상기 추출 수단은 상기 한 세트의 여과된 픽셀 샘플값을 추출 비율에 따라 다운 샘플하는 저해상도 비디오 신호 형성 장치.
제 11항에 있어서, 상기 다운 변환 필터 수단은 한 세트의 주파수 영역 필터 계수값에 의해 나타내어지는 저역 필터이고, 상기 다운 변환 수단은 상기 한 세트의 주파수 영역 필터 계수를 다수의 주파수 영역 비디오 계수값으로 결합함으로써 상기 다수의 주파수 영역 비디오 계수값의 선택된 계수값을 가중하는 저해상도 비디오 신호 형성 장치.
제 11항에 있어서, 상기 예측 블록 발생 수단은,

이전 세트의 여과된 픽셀 샘플값으로 나타내어지는 이전에 디코드된 비디오 신호인 적어도 하나의 기준 프레임을 저장하기 위한 메모리 수단과;

상기 기준 프레임을 수신하고 업샘플링하기 위한 업샘플링 수단으로서, 상기 업샘플링 수단 및 메모리 수단은 기준화된(scaled) 모션 벡터에 응답하는, 업샘플링 수단; 및

상기 업샘플된 기준 프레임으로부터 다수의 절반-픽셀 보간된 값을 생성하며, 상기 다수의 절반-픽셀 값을 상기 한 세트의 예측 픽셀 샘플값으로 제공하는 절반-픽셀 발생 수단을 더 포함하는 저해상도 비디오 신호 형성 장치.
비디오 이미지를 나타내며, 압축된 주파수 영역 변환 비디오 신호인 인코드된 비디오 신호를 수신하고, 저해상도 비디오 신호를 형성하는 방법에 있어서,

a) 다수의 압축된 고해상도 주파수 영역 비디오 계수값 및 모션 벡터로서 인코드된 비디오 신호를 제공하는 단계와;

b) 한 세트의 여과되고 압축된 주파수 영역 비디오 계수값을 형성하기 위해서 추출값에 기초하여 상기 다수의 압축된 고해상도 주파수 영역 비디오 계수값의 선택된 계수값을 가중하는 단계와;

c) 한 세트의 여과되고 압축된 픽셀 샘플값을 얻기 이해서 소정의 주파수 영역에서 공간 영역의로의 변환 동작을 이용하여 상기 여과되고 압축된 주파수 영역 비디오 계수를 변환하는 단계와;

d) 상기 추출값에 기초하여 모션 벡터를 기준화(scale)하는 단계와;

e) 상기 기준화된 모션 벡터 및 이전 세트의 여과된 픽셀 샘플값으로부터 한 세트의 예측 픽셀 샘플값을 형성하는 단계와;

f) 한 세트의 여과된 픽셀 샘플값을 형성하기 위해서 상기 한 세트의 여과되고 압축된 픽셀 샘플값을 상기 한 세트의 예측 픽셀 샘플값으로 결합하는 단계와;

g) 저해상도 비디오 신호를 형성하기 위해서 상기 추출값에 기초하여 상기 한 세트의 여과된 픽셀 샘플값의 선택된 샘플값을 삭제하는 단계; 및

h) 상기 저해상도 비디오 신호의 픽셀 샘플값을 저장하는 단계를 포함하는 저해상도 비디오 신호 형성 방법.