KR100667606B1 - 다운 변환 시스템용 업 샘플링 필터 - Google Patents

다운 변환 시스템용 업 샘플링 필터 Download PDF

Info

Publication number
KR100667606B1
KR100667606B1 KR1019990043652A KR19990043652A KR100667606B1 KR 100667606 B1 KR100667606 B1 KR 100667606B1 KR 1019990043652 A KR1019990043652 A KR 1019990043652A KR 19990043652 A KR19990043652 A KR 19990043652A KR 100667606 B1 KR100667606 B1 KR 100667606B1
Authority
KR
South Korea
Prior art keywords
pixel values
video signal
low resolution
values corresponding
current frame
Prior art date
Application number
KR1019990043652A
Other languages
English (en)
Other versions
KR20000028961A (ko
Inventor
김희용
메이어에드윈로버트
네임팰리사이프라사드
필립스래리
Original Assignee
마쯔시다덴기산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마쯔시다덴기산교 가부시키가이샤 filed Critical 마쯔시다덴기산교 가부시키가이샤
Publication of KR20000028961A publication Critical patent/KR20000028961A/ko
Application granted granted Critical
Publication of KR100667606B1 publication Critical patent/KR100667606B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

비디오 신호의 현재 프레임의 잔류 이미지(residual image)에 대응하는 한 세트의 저해상도 화소값들과 상기 비디오 신호의 기준 프레임에 대응하는 한 세트의 다운 샘플링된 저해상도 화소값으로부터, 상기 비디오 신호의 현재 프레임에 대응하는 한 세트의 저해상도 다운 샘플링된(down-sampled) 화소값들을 형성하는 장치를 포함하는 HDTV 다운변환 시스템 장치는 한 세트의 다운 샘플링된 저해상도 화소값들을 저장하는 메모리를 포함한다. 업 샘플링 프로세서(up-sampling processor)는 상기 메모리로부터 수신하며, 상기 비디오 신호의 기준 프레임에 대응하는 한 세트의 다운 샘플링된 저해상도 화소값들을 비디오 신호의 기준 프레임에 대응하는 한 세트의 업 샘플링된 저해상도 화소값들로 변환하도록 라그랑즈 보간을 사용한다. 합산 프로세서는 상기 비디오 신호의 현재 프레임에 대응하는 한 세트의 저해상도 화소값들을 형성하기 위해, 상기 비디오 신호의 현재 프레임의 잔류 이미지에 대응하는 상기 세트의 저해상도 화소값을, 상기 비디오 신호의 기준 프레임에 대응하는 상기 한 세트의 업 샘플링된 저해상도 화소값에 더한다. 데시메이션 수단은 상기 비디오 신호의 현재 프레임에 대응하는 상기 세트의 저해상도 다운 샘플링된 화소값들을 생성하기 위해, 상기 비디오 신호의 현재 프레임에 대응하는 상기 한 세트의 저해상도 화소값 중 선택된 화소값들을 삭제한다.
잔류 이미지,업 샘플링 필터

Description

다운 변환 시스템용 업 샘플링 필터{Up-sampling filter for a down conversion system}
도 1은 종래의 비디오 복호 시스템의 하이레벨 블록도.
도 2는 다운 변환 시스템의 바람직한 실시예의 하이레벨 블록도.
도 3a는 3:1 및 2:1 다운 변환 시스템의 바람직한 실시예에 대한 서브화소 위치 및 대응하는 예측된 화소를 도시한 도면.
도 3b는 다운 변환 시스템에 있어서 입력 매크로블록의 각각의 로우에 대해 수행되는 업 샘플링 처리를 도시한 도면.
도 4는 3개의 상이한 업 샘플링 필터의 주파수 특성을 도시한 도면.
도 5a 내지 5c는 3개의 상이한 업 샘플링 필터를 사용하여 직사각형 펄스의 보간을 도시한 도면.
도 6a 내지 6f는 등-리플 업 샘플링 필터를 사용할 때, 예측된 프레임 번호 1, 2, 4, 5, 8, 10에서 이동하는 직사각형 펄스의 보간을 도시한 도면.
도 7은 라그랑즈 업 샘플링 필터를 사용할 때 예측 프레임 번호 10에서 이동하는 직사각형 펄스의 보간을 도시한 도면.
도 8은 쌍선형 업 샘플링 필터를 사용할 때 예측 프레임 번호 10에서 이동하는 직사각형 펄스의 보간을 도시한 도면.
도 9는 블록 미러 필터의 실시예의 제 1 및 제 2 출력 화소값에 대한 곱셈 쌍을 도시한 도면.
도 10a는 3:1 데시메이션을 사용하는 경우 4:2:0 비디오 신호에 대한 입력 및 데시메이트된 출력 화소를 도시한 도면.
도 10b는 2:1 데시메이션을 사용하는 경우 4:2:0 비디오 신호에 대한 입력 및 데시메이트된 출력 화소를 도시한 도면.
<도면의 주요 부분에 대한 부호의 설명>
210 : 가변길이 복호기 212 : 렁-렌스 복호기
214 : 역 양자화기 216 : DCT 필터
218 : IDCT 프로세서 220 : 모션 벡터 변경기
222 : 기준 프레임 메모리 224 : 고해상도 모션 블록 발생기
226 : 업-샘플링 프로세서 228 : 반-화소 발생기
232 : 다운 샘플링 프로세서 280 : 디스플레이 변환 블록
282 : 수직 프로그램가능 필터 284 : 수평 프로그램가능 필터
본 발명은 부호화된 고해상도 비디오 신호, 예를 들면 MPEG-2 부호화된 비디오 신호를 복호화된 저해상도 출력 비디오 신호로 변환하여 포맷하는 복호기에 관한 것으로, 특히 복호기용 업-샘플링 필터에 관한 것이다.
미국에서 디지털로 부호화된 고해상도 텔레비전 신호(HDTV)용 표준을 제안한 바 있다. 이 표준의 일부는 국제 표준화 기구(ISO)의 동화상 전문가 그룹(MPEG)에서 제안한 MPEG-2 표준과 동일하다. 이 표준은 ISO/IEC 13818-2, IS, 11/94, "정보기술-동화상 및 관련 오디오의 일반적인 부호화, 권고안 H.626" 명칭으로 국제 표준(IS) 간행물에 기술되어 있으며, 이는 ISO로부터 구할 수 있는 것으로 MPEG-2 디지털 비디오 부호화 표준에 관한 교시를 위해 여기 참고로 포함시킨다.
MPEG-2 표준은 실제로는 몇몇 상이한 표준들이다. MPEG-2에서, 몇몇의 상이한 프로파일이 정해져 있는데, 그 각각은 부호화된 이미지의 복잡도 레벨이 서로 다른 것에 대응한다. 각각의 프로파일에 있어서, 상이한 레벨이 정해져 있고, 각각의 레벨은 상이한 이미지 해상도에 대응한다. MPEG-2 표준 중 하나는 주 프로파일로서 알려져 있는 것으로 기존의 텔레비전 표준(즉, NTSC 및 PAL)에 따르는 비디오 신호를 부호화하도록 된 것이다. 주 프로파일, 하이 레벨로서 알려진 또 다른 표준은 고품위 텔레비전 이미지를 부호화하도록 된 것이다. 주 프로파일, 하이 레벨 표준에 따라 부호화된 이미지는 이미지 프레임당 1152 활성라인과 라인당 1920 필셀만큼이나 가질 수 있다.
한편 주 프로파일, 주 레벨 표준은 최대 화상 크기를 라인당 720화소와 프레임당 576 라인로 정하고 있다. 초당 30프레임의 프레임 레이트로, 이 표준에 따라 부호화된 신호는 초당 720*576*30 혹은 12,441,600 화소의 데이터 레이트를 갖는다. 반대로, 주 프로파일, 하일 레벨 표준에 따라 부호화된 이미지는 초당 최대 1,152*1,920*30 혹은 66,355,200화소의 데이터 레이트를 갖는다. 이 데이터 레이 트는 주 프로파일, 주 레벨 표준에 따라 부호화된 이미지 데이터의 데이터 레이트보다 5배 이상이다. 미국에서 HDTV 부호화용으로 제안된 표준은 이 표준의 서브세트이며 프레임당 1,080라인, 라인당 1,920 및 이 프레임 크기에 대해서 초당 30프레임의 최대 프레임 레이트를 갖는다. 제안된 이 표준에 있어서 최대 데이터 레이트는 주 프로파일, 주 레벨 표준의 최대 데이터 레이트보다 훨씬 더 크다.
MPEG-2 표준은 데이터 및 제어 정보의 혼합을 포함하는 복합 신택스(complex syntax)를 정하고 있다. 이 제어정보의 일부의 사용으로 몇몇 상이한 포맷의 신호들에 표준을 적용할 수 있다. 이들 포맷은 라인당 상이한 개수의 화소, 프레임 혹은 필드당 상이한 수의 라인, 및 초당 상이한 개수의 프레임 혹은 필드를 갖는 이미지를 정하고 있다. 더욱이, MPEG-2 주 프로파일의 기본 신택스는 시퀀스 층, 화상 그룹층, 화상층, 슬라이스층 및 매크로브록층인 5층으로 이미지 시퀀스를 나타내는 압축된 MPEG-2 비트 스트림을 정하고 있다. 이들 각각의 층엔 제어정보가 삽입된다. 마지막으로, 사이드 정보라고도 알려진 다른 제어정보(예를 들면 프레임 유형, 매크로블록 패턴, 이미지 모션 벡터, 계수 지그-재그 패턴 및 역양자화 정보)는 부호화된 비트 스트림 전체에 걸쳐 산재되어 있다.
다운 변환(down conversion) 시스템은 고품위 입력 화상을 저해상도 모니터에 디스플레이하기 위해서 저해상도의 화상으로 변환한다. 고해상도의 주 프로파일, 하이 레벨 화상을 주 프로파일, 주 레벨 화상, 혹은 다른 저해상도의 화상 포맷으로 다운 변환이 HDTV의 구현비용을 감소시키므로 그 중요성이 커졌다. 다운 변환으로 주 프로파일, 하이레벨 부호화된 화상에 사용되는 고가의 고품위 모니터 를 저가의 현존하는, 예를 들면 NTSC나 525 순차식(progressive) 모니터와 같은 주 프로파일, 주 레벨 부호화된 화상을 지원하는 낮은 화상 해상도를 갖는 모니터로 대치할 수가 있다.
효과적으로 디지털 이미지를 수신하기 위해서, 복호기는 비디오 신호 정보를 신속하게 처리해야 한다. 최적의 효과를 얻기 위해서, 부호화 시스템은 비교적 저렴해야하고 그러면서 이들 디지털 신호를 실시간으로 복호하는 충분한 능력을 갖추어야 한다.
종래기술의 다운 변환의 한 방법에서는 종래의 텔레비전 수신기에 디스플레이하는데 적합한 이미지를 형성하기 위해서, 복호화된 고해상도, 주 프로파일, 하이레벨 화상을 저역통과 필터처리하여 데시메이트(decimate)한다. 결국, 종래의 기술을 사용할 때, 다운변환을 채용한 복호기는 상술한 기능을 수행하기 위해서 복잡한 설계, 상당한 큰 메모리를 구비하고 데이터 레이트가 높은 공간 영역 이미지(spatial domain image)에 대해 동작하는 단일의 프로세서를 사용해서 구현될 수 있다. 그러나, 고해상도, 및 고 데이터 레이트는 매우 비싼 회로를 필요로 하며, 이것은 비용이 주요 인자인 소비자의 텔레비전 수신기 내에 복호기의 구현에 반하는 것이다.
비디오 신호의 현재 프레임의 잔류 이미지(residual image)에 대응하는 제 2 세트의 저해상도 화소값들과 상기 비디오 신호의 적어도 하나의 기준 프레임에 대응하는 제 1 세트의 다운 샘플링된 저해상도 화소값들로부터, 상기 비디오 신호의 현재 프레임에 대응하는 제 3 세트의 저해상도 다운 샘플링된 화소값들을 형성하는 장치에 있어서, 상기 장치는 비디오 신호의 기준 프레임에 대응하는 한 세트의 다운 샘플링된 저해상도 화소값들을 저장하는 메모리 수단을 포함한다. 업 샘플링 수단은 상기 메모리 수단으로부터 수신하며, 상기 비디오 신호의 기준 프레임에 대응하는 한 세트의 다운 샘플링된 저해상도 화소값들을 비디오 신호의 기준 프레임에 대응하는 한 세트의 업 샘플링된 저해상도 화소값들로 변환하도록 라그랑즈 보간을 사용한다. 합산 수단은 상기 비디오 신호의 현재 프레임에 대응하는 한 세트의 저해상도 화소값들을 형성하도록, 상기 비디오 신호의 현재 프레임의 잔류 이미지에 대응하는 상기 세트의 저해상도 화소값들을 상기 비디오 신호의 기준 프레임에 대응하는 상기 한 세트의 업 샘플링된 저해상도 화소값들에 더한다. 데시메이션 수단은 상기 비디오 신호의 현재 프레임에 대응하는 상기 세트의 저해상도 다운 샘플링된 화소값을 발생하도록, 상기 비디오 신호의 현재 프레임에 대응하는 상기 한 세트의 저해상도 화소값 중 선택된 화소값들을 삭제한다.
본 발명의 이들 및 다른 특징 및 이점은 첨부한 도면과 함께, 취해진 다음의 상세한 설명으로부터 명백하게 될 것이다.
I. 복호기 개요
본 발명의 실시예는 MPEG-2 표준, 특히 주 프로파일, 하이레벨 MPEG-2 표준에 따라 부호화된 것을 복호한 HDTV 신호를 필터링한다.
그러나, 여기 기술된 발명은 복호된 HDTV 신호를 다운 변환 필터링하는 것으 로 한정되지 않는다. 이하 기술된 필터링 방법은 구간(section)으로 나누고, 필터링하고 이어서 재결합될 수 있는, 주파수-영역에서 부호화된 다른 유형의 디지털 신호를 필터링하는데 사용될 수도 있다.
MPEG-2 주 프로파일 표준은 시퀀스 레벨, 화상그룹 레벨, 화상레벨, 슬라이스 레벨, 및 매크로블록 레벨의 5레벨로 이미지 시퀀스를 정하고 있다. 이들 각각의 레벨은 전술한 레벨에서 포개진 서브레벨로서 일어나는 후술하는 레벨로, 데이터 스트림 내 기록물인 것으로 간주될 수 있다. 각 레벨에 대한 기록물은 서브-기록물을 복호할 때 사용되는 데이터를 포함하는 헤더부를 포함한다.
매크로블록들은 6개의 블록, 4개의 휘도 블록 Y 및 2개의 색차 블록 Cr 및 Cb으로 구성된다. 부호화된 HDTV 신호의 각각의 블록은 HDTV 이미지의 64 화소를 2차원 이산 코사인 변환(DCT)으로 표현한 64개의 각각의 계수값을 나타내는 데이터를 포함한다.
부호화 과정에서, 화소 데이터는 이산 코사인 변환에 앞서 모션 보상 차분 부호화되고, 변화된 계수의 블록들은 렁-렌스 및 가변길이 부호화 기술을 적용하여 더 부호화된다. 데이터 스트림으로부터 이미지 시퀀스를 복구하는 복호기는 부호화 과정의 역이다. 이 복호기는 엔트로피 복호기(예를 들면, 가변길이 복호기), 역 이산 코사인 변환 프로세서, 모션 보상 프로세서, 및 보간필터를 채용한다.
도 1은 전형적인 종래의 비디오 복호 시스템의 하이레벨 블록도이다. 종래의 비디오 복호기는 보통 가변길이 복호기 및 렁 렌스 복호기인 엔트로피 복호기(110), 역 양자화기(120), 및 역 이산 코사인 변환(IDCT) 프로세서(130)를 포함한다. 본 시스템은 엔트로피 복호기(110)에 의해 입력된 비트 스트림에서 얻어낸 제어정보에 응답하여 복호 시스템의 여러 가지 구성요소를 제어하는 제어기(170)를 또한 포함한다. 예측 이미지 처리를 위해서, 종래의 시스템은 메모리(160), 가산기(140), 모션 보상 프로세서(150), 및 블록-라스터(block to raster) 변환기(180)를 더 포함한다.
가변길이 복호기(110)는 부호화된 비디오 이미지 신호를 수신하여, 앞서 복호화한 이미지 내의 일치하는 매크로블록의 상대변위를 기술하는 모션 벡터를 포함하는 제어정보를 얻기 위해서 부호화 처리를 역으로 한다. 상기 일치하는 매크로블록은 현재 복호되고 있는 예측화상의 매크로블록에 대응한다. 가변길이 복호기(110)는 만약 프레임내 부호화가 사용된 경우엔 현재의 비디오 이미지, 혹은 프레임간 부호화가 사용된 경우 잔류 이미지(residual image)라고도 하는, 현재의 이미지와 예측 비디오 이미지간 차의 블록들의 양자화된 DCT 변환계수를 또한 수신한다. 역 양자화기(120)는 양자화된 DCT 변환계수를 수신하여 특정 매크로블록에 대해 양자화된 DCT 계수를 재구성한다. 특정 블록에 대해 사용될 양자화 매트릭스는 가변길이 복호기(110)로부터 수신된다.
IDCT 프로세서(130)는 재구성된 DCT 계수를 공간영역(매크로블록의 휘도 혹은 색차 성분을 나타내는 8 x 8 매트릭스 값의 각 블록, 및 예측된 매크로블록의 차분 휘도나 차분 색차성분을 나타내는 8 x 8 매트릭스값의 각각의 블록에 대한) 내 화소값으로 변환한다.
현재의 매크로블록이 예측하여 부호화된 것이 아니면, 출력 매트릭스 값은 현재의 비디오 이미지의 대응하는 매크로블록의 화소값이다. 매크로블록이 프레임간 부호화된 것이면, 이전의 비디오 화상 프레임(기준 프레임)의 대응하는 매크로블록은 모션 보상 프로세서(150)가 사용하기 위해 메모리(160)에 저장된다. 모션 보상 프로세서(150)는 엔트로피 복호기(110)로부터 수신된 모션 벡터에 응하여 메모리(160)로부터 이전의 매크로블록을 수신한다. 모션 보상 프로세서(150)는 이어서 이전의 매크로블록을 현재의 IDCT 변환된 매크로블록(현재의 예측하여 부호화된 프레엠의 잔류 성분에 대응하는)을 가산기(140)에서 가산하여 현재의 비디오 이미지에 대한 화소의 대응하는 매크로블록을 생성하며, 이것은 메모리(160)에 저장된다.
II . 다운 변환 시스템
A. 개요
도 2는 다운 변환 시스템의 바람직한 실시예의 하이레벨 블록도이다. 도 2에 도시한 바와 같이, 다운 변환 시스템은 가변길이 복호기(VLD)(210), 렁-렌스(R/L) 복호기(212), 역 양자화기(214), 역 이산 코사인 변환(IDCT) 프로세서(218)을 포함한다. 더욱이, 다운 변환 시스템은 다운 변환 필터(DCT 필터)(216) 및 부호화된 화상을 필터링하는 다운 샘플링 프로세서(232)를 포함한다. 다음에 주 프로파일, 하이레벨 부호화된 입력에 대한 실시예를 기술하나, 다운 변환 시스템은 유사하게 부호화된 고해상도의 이미지 비트 스트림 어떤 것에 대해서도 실현될 수 있다.
다운 변환 시스템은 또한 모션 벡터(MV) 변환기(translator)(220), 업-샘플링 프로세서(226)와 반-화소(half-pixel) 발생기(228)를 포함하는 고해상도 모션 블록 발생기(224) 및 기준 프레임 메모리(222)를 포함한다.
더욱이, 시스템은 VPF 필터(Vertical Programmable Filter)(282) 및 HZPF 필터(Horizontal Programmable Filter)(84)를 포함하는 디스플레이 변환 블록(280)을 포함한다. 디스플레이 변환 블록(280)은 다운 샘플링된 이미지를 보다 낮은 해상도를 갖는 특정 디스플레이 상에 디스플레이하기 위한 이미지로 변환한다.
다운 변환 필터(216)는 주파수 영역에서 고해상도(예를 들면, 주 프로파일, 하이레벨 DCT) 계수에 대해 저역 필터링을 수행한다. 다운 샘플링 프로세서(232)는 저역 필터링된 주 프로파일, 하이레벨 화상을 데시메이션함으로써 공간 화소값을 제거하여 주 프로파일, 하이레벨 화상을 디스플레이하는데 필요한 낮은 해상도를 갖는 모니터 상에 디스플레이될 수 있는 한 셋트의 화소값을 생성한다. 기준 프레임 메모리(222)는 다운-샘플링된 화상에 대응하는 이전에 복호된 적어도 하나의 기준 프레임에 대응하는 공간 화소값을 저장한다. 비-매크로블록내(non-intra macroblock) 부호화에 있어서, MV 변환기(220)는 수신된 화상의 각 블록에 대해 해상도 감소에 일관되게 모션 벡터의 크기를 조정하고, 저해상도의 모션 블록 발생기(224)는 기준 프레임 메모리(222)에 의해 제공된 데시메이트된 저해상도의 모션 블록을 수신하고, 이들 모션 블록을 업-샘플하여 반 화소값을 발생함으로써 복호되어 필터처리된 차분 화소 블록에 양호한 공간 대응을 나타내는 반 화소 정확성을 갖는 모션 블록을 제공한다.
매크로블록내 부호화용 다운 변환 시스템의 상기한 실시예의 동작을 기술한다. VLD(210)은 주 프로파일, 하이레벨 비트 스트림을 수신하여 복호한다. HDTV 시스템에 의해 사용된 헤더정보 외에, VLD(210)은 각 블록마다 DCT 계수, 및 모션 벡터 정보를 제공한다. DCT 계수는 R/L 복호기(212)에서 복호되고 역 양자화기(214)에 의해 역 양자화된 렁 렌스이다. VLD(210) 및 R/L 복호기(212)는 도 1의 엔트로피 복호기(110)에 대응한다.
DCT 계수로 나타낸 수신된 비디오 이미지는 고해상도 화상이기 때문에, 각 블록의 DCT 계수는 고해상도 비디오 이미지의 데시메이션 전에 저역 필터링된다. 역 양자화기 IQ(Inverse Quantizer)(214)는 DCT 계수를 DCT 필터(216)에 제공하며, 이 DCT 필터는 소정의 필터 계수값으로 DCT 계수에 가중치를 부여함으로써 주파수 영역에서 저역 필터링한 후 이들은 IDCT 프로세서(218)로 제공한다. 본 실시예에서, 이 필터 동작은 블록단위로 수행된다.
IDCT 프로세서(218)는 필터처리된 DCT 계수의 역 이산 코사인 변환을 수행함으로써 공간 화소값을 제공한다. 다운 샘플링 프로세서(232)는 소정의 데시메이션 비에 따라 공간 화소 샘플값을 제거함으로써 화소 샘플 크기를 감소시키므로 낮은 해상도 화소 저장에, 보다 높은 해상도의 주 프로파일, 하이레벨 화상을 저장하는데 필요하는 것에 비해 보다 작은 프레임 메모리(222)가 사용된다.
비-매크로블록내 부호화용 다운 변환 시스템의 실시예의 동작을 기술한다. 이 실시예에서, MPEG 표준에 따라, 현재 수신된 이미지의 DCT 계수는 예측된 이미지 매크로블록의 잔류 성분의 DCT 계수를 나타낸다. 예측된 이미지 매크로블록은 순방향, 역방향, 및 양방향으로 예측될 수 있다. 예를 들면, 양방향인 경우, 순방향으로 예측된 이미지 매크로블록 및 역방향 예측된 이미지 매크로블록은 양방향으로 예측된 이미지 매크로블록을 제공하도록 평균화될 수 있다. 예측 프레임에 대한 모션 벡터의 수평성분은 메모리에 저장된 이전 프레임의 다운 샘플링된 저해상도의 기준 화상은 고해상도 예측 프레임(주 프로파일, 하이레벨)과 동일한 수의 화소를 갖지 않기 때문에 크기조정된다.
도 2에서, VLD(210)에 의해 제공된 주 프로파일, 하이레벨 비트 스트림의 모션 벡터는 MV 변환기(220)에 제공된다. 각각의 모션 벡터는 기준 프레임 메모리(222)에 저장된 이전 이미지의 기준 프레임의 적합한 예측 블록을 기준으로 하여 MV 변환기(220)에 의해 크기가 조정된다. 얻어진 블록의 크기(화소값의 수)는 현재의 이미지를 부호화하는데 사용되는 대응하는 고해상도 블록의 블록보다 작고, 따라서 얻어진 블록을 업 샘플하여, IDCT 프로세서(218)에 의해 제공된 잔류 블록과 동일한 수의 화소를 갖는 예측 블록을 형성한다.
순방향 혹은 역방향 예측블록은 MV 변환기(220)로부터 제어신호에 응하여 업 샘플링 프로세서(226)에 의해 업 샘플됨으로써 원래의 고해상도 화소의 블록에 대응하는 블록을 발생한다. 이어서, 반-화소 발생기(228) 내의 업-샘플링된 예측블록에 대한 모션 벡터가 표시한다면 예측블록의 공간 정렬이 적합히 될 수 있게 반 화소가 발생된다. 예를 들면, 양방향인 경우, 업 샘플링된 화소의 순방향 및 역방향 이미지 매크로블록을 평균하여 양방향으로 예측된 이미지 매크로블록을 제공할 수 있다. 업 샘플 및 정렬된 예측 블록, 본 예에 있어서 예측 블록으로부터 감소된 해상도 잔류성분이, 가산기(230)에서 현재의 필터링된 블록에 합해진다. 모든 처리는 매크로블록마다 행해진다. 업 샘플링 영역에서 현재의 매크로블록에 대해 모션 보상처리가 완료된 후, 재구성된 매크로블록은 다운 샘플링 프로세서(232)에서 적절히 데시메이트된다. 이 처리는 이미지의 해상도를 감소하는 것이 아니라, 단순히 저해상도 필터링된 이미지로부터 중복된 화소를 제거하는 것이다.
일단 이미지에 대해 다운 샘플링된 매크로블록을 사용할 수 있게 되면, 디스플레이 변환블록(280)은 다운 샘플링된 이미지의 수직 및 수평성분을 VPF(282) 및 HZPF(284) 각각에서 필터링함으로써 저해상도 텔레비전 디스플레이 상에 디스플레이하기 위한 이미지를 조정한다.
B. 매크로블록 예측
이전 이미지의 기준 프레임은 크기가 감소되었기 때문에, 이들 프레임을 가리키는 수신된 모션 벡터 역시 변환비에 따라 변경될 수 있다. 다음에 예를 들면 수평방향으로 휘도블록에 대한 모션 변경을 기술한다. 이 분야에 숙련된 자는 사용된다면 수직방향으로 모션 변경으로 다음 기술된 바를 쉽게 확장할 것이다. 원래의 이미지 프레임에서 현재의 매크로블록 어드레스를 x 및 y로 표기하고, 수평 데시메이션 인자로서 Dx로 표기하고, 원래 이미지 프레임의 반 화소 수평 모션 벡터를 mvx라 표기하여, 원래 이미지 프레임에서 모션 블록의 최상단 좌측 화소의 어드레스는 반 화소단위로 XH로서 표기하여 다음 수학식 1 로 주어진다.
Figure 111999012706310-pat00001
모션 블록에 대응하는 화소는 다운 샘플링된 이미지에서 시작하며, 이의 어드레스는 수학식 2 에 주어진, 화소단위로 x* 및 y*로서 나타내어진다.
Figure 111999012706310-pat00002
본 DCT 필터(216) 및 다운 샘플링 프로세서(232)는 이미지의 수평성분만을 감소시키기 때문에, 모션 벡터의 수직성분은 영향을 받지 않는다. 색차에 있어서, 모션 벡터는 원래 화상에서 휘도 모션 벡터의 반이다. 그러므로, 색차 모션 벡터를 변경하기 위한 해상도는 상기 2개의 수학식 1 및 수학식 2 를 사용해도 된다.
모션 예측은 2단계 과정에 의해 행해지는데, 먼저, 도 2의 업 샘플링 프로세서(226)에서 다운 샘플링된 이미지 프레임에 의해 복구된 원래의 이미지 프레임에서 화소 정밀도 움직 추정과, 이어서 반-화소 발생기(228)는 가장 가까운 화소값을 평균함으로써 한 화소 모션 추정을 수행한다.
원래 화상의 화소에 대응하는 데시메이트된 화상의 서브화소는 예를 들면 업 샘플링 프로세서(226)에서 업 샘플링 폴리페이즈(polyphase) 필터를 사용하여 보간되는데, 이것은 원래 화상에서 모션 예측을 제공한다. 모션 벡터는 가산기(230)에서 IDCT 프로세서(218)의 출력에 더해진다. 가산기(230)의 출력값은 업 샘플링된 원래 화상 포맷의 이미지에 대응하기 때문에, 이들 값은 저해상도의 디스플레이에 디스플레이하기 위해서 다운 샘플링된다. 다운 샘플링 프로세서에서 다운 샘플링하는 것은 이미지 프레임의 서브샘프링과 같으나, 조정은 변환비에 기초하여 행해질 수 있다. 예를 들면, 3:1 다운 샘플링인 경우, 수평으로 다운 샘플링된 화소의 수는 각각 입력된 매크로블록에 대해 6 또는 5이며, 제 1 다운 샘플링된 화소가 항상, 입력된 매크로블록 내의 제 1 화소는 아니다.
다운 샘플링된 이미지로부터 정확한 모션 예측 블록을 획득한 후에, 원래 화상에서 대응하는 예측블록을 얻기 위해서 업 샘플링할 필요가 있다. 결국, 모션 블록 예측에서 서브화소 정밀도는 다운 샘플링된 화상에서 바람직하다. 예를 들면, 3:1 데시메이션을 사용할 때, 모션 예측에서 1/3(혹은 1/6) 서브화소 정밀도를 갖는 것이 바람직하다. 다운 샘플링된 모션 블록 뿐만 아니라 모션 벡터에 의해 요구되는 제 1 화소인 서브화소가 결정된다. 그러면, 후속 서브화소 위치는 다음에 기술된 바와 같이 모듈러 산술을 사용하여 결정된다. 서브화소 위치는 수학식 3 에 주어진 바와 같은 Xs로 나타내어진다.
Figure 111999012706310-pat00003
여기서 "%"는 모듈러 나누기를 나타낸다.
예를 들면, Xs의 범위는 3:1 업 샘플링인 경우 0,1,2이며 2:1 업 샘플링인 경우 0, 1이다. 도 3a는 3:1 및 2:1 예에 대해서 서브화소 위치 및 대응하는 17 예측 화소를 나타낸 것이고, 표 1은 도 3a에 대한 범례를 나타낸 것이다.
심볼 화소
Figure 112004045803110-pat00004
 다운 샘플링된 화소
Figure 112004045803110-pat00005
 업 샘플링된 화소
Figure 112004045803110-pat00006
 예측 화소
Figure 112004045803110-pat00007
 업 샘플링을 위한 별도의 우측 및 좌측 화소
전술한 바와 같이, 업 샘플링 필터는 업 샘플링 폴리페이즈 필터일 수 있으며, 표 2a는 이들 업 샘플링 폴리페이즈 보간필터의 특성을 나타낸 것이다.
3:1 업 샘플링 2:1 업 샘플링
폴리페이즈 필터수 3 2
탭수 3 5
수평 다운 샘플링된 화소의 최대수 9 13
다음의 표 2b 및 2C는 본 3:1 및 2:1 업 샘플링 폴리페이즈 등-리플(equi-ripple) 필터에 대한 폴리페이즈 필터 계수를 나타낸 것이다.
Figure 111999012706310-pat00008
Figure 111999012706310-pat00009
표 2b 및 2c에서 계수는 등-리플 필터용으로 주어진 것이나, 데시메이트된 화소를 보간하기 위해서 다른 필터를 사용할 수도 있다. 예를 들면, II.C.절에서, 적합한 업 샘플링 필터를 고르는 것에 관한 설계고찰이 개시되어 있다. 특히, II.C.절은 등-리플과, 쌍선형(bi-linear)과, 라그랑즈(Lagrangian) 업 샘플링 필터간 모션 추적특성의 비교를 개시한다.
고정점 표현에서, 표 2b 및 표 2c의 괄호내 숫자는 좌측에, 대응하는 2배정밀도를 갖는 9비트에서 2의 보수표현이다. 다운 샘플링된 기준 이미지 프레임에서 모션 예측블록의 서브화소 위치에 의존하여, 폴리페이즈 보간필터의 하나의 대응하는 위상이 사용된다. 또한, 본 실시예에서, 다운 샘플링된 이미지 프레임에서 17 수평화소를 보간하는데 좌측 및 우측에 더 많은 화소가 필요하다. 예를 들면, 3:1 데시메이션인 경우, 각각의 입력된 매크로블록에 대해 수평으로 다운 샘플링된 화소가 최대 6개 있다. 그러나, 업 샘플링할 때, 업 샘플링 필터는 필터가 동작하는 경계 밖에 더 많은 좌측 및 우측의 화소를 필요로 하기 때문에 대응하는 모션 예측 블록값을 생성하는데 9개의 수평화소가 필요하다. 본 실시예는 한 화소 모션 추정을 사용하기 때문에, 제 1의 16 완전한 화소 혹은 가장 가까운 2개의 화소 샘플의 평균값일 수 있는 16 반 화소를 얻기 위해서 17개의 화소가 필요하다. 반 화소 모션 발생기는 이를 처리한다. 표 3은 서브화소 위치와 폴리페이즈 필터 요소간 매핑과 또한 업 샘플링 처리에 필요한 좌측 화소수를 나타난 것이다.
서브화소 위치 폴리페이즈 별도의 좌측화소수 좌표 변경
3:1 업 샘플링 0 1 2 1 2 0 1 1 0 x -> x-1 x -> x-1
2:1 업 샘플링 0 1 0 1 2 2 x -> x-2 x -> x-2
도 3b는 입력된 매크로블록의 각각의 로우에 대해 수행되는 업 샘플링 처리를 요약한 것이다. 먼저, 단계 310에서, 처리되는 입력 이미지 프레임의 블록에 대한 모션 벡터가 수신된다. 단계 312에서, 모션 벡터는 메모리 내의 다운 샘플링된 기준 프레임에 대응하도록 변경된다. 단계 314에서, 크기 조정된 모션 벡터는 프레임 메모리에 저장된 예측 블록의 좌표를 검색하는데 사용된다. 단계 316에서, 이 블록에 대한 서브화소점이 결정되고, 이어서 단계 318에서 업 샘플링을 위한 초기 폴리페이즈 필터값이 검색된다. 저장된 다운 샘플링된 기준 프레임의 예측 블록에 대해 확인된 화소들이 단계 320에서 메모리로부터 검색된다.
필터링 단계 324에서 제 1 패스전에, 단계 322에서 레지스터가 초기화되는데, 본 실시예에 있어서 초기화 레지스터 초기 3 또는 5 화소값을 적재한다. 이어서, 단계 324 단계 후에, 모든 화소가 처리되었는지 여부를 단계 326에서 결정한다. 본 실시예에서 17화소가 처리된다. 모든 화소가 처리되었다면, 업 샘플링된 블록이 완료된다. 모든 화소가 처리되었다면, 위상은 단계 328에서 갱신되며, 위상은 0값에 대해 체크된다. 위상이 제로가 아니면, 레지스터는 다음 셋트의 폴리페이즈 필터 계수에 대해 갱신되어야 한다. 레지스터 갱신의 단계 332에서는 단순히 입력 화소를 갱신한다. 가장 좌측의 화소가 블록 경계 밖에 있는 예외적인 경우에, 이전의 화소값이 반복될 수도 있다.
C. 양호한 모션 추적을 위한 업 샘플링
II.B절에 앞서 기술된, 도 2에서, 업 샘플링 프로세서(226)는 기준 프레임 메모리(222)로부터 다운 샘플링된 화소의 블록을 얻는다. 업 샘플링 프로세서(226)는 예측 블록에 제공하기 위해 화소를 생성하기 위해 보간을 이용한다. 이에 따라, 예측 블록은 가산기(230)에서 더해지는 감소한 해상도의 잔류 블록와 동일한 화소수를 갖게 된다.
가산기(230)의 출력이 다운 샘플링 프로세서(232)에 의해 다운 샘플되어 기준 프레임 메모리(222)에 저장되고 업 샘플링 프로세서(226)에 의해 업 샘플되어 다음 예측블록을 발생한다. 이 사이클은 각각의 예측된 프레임, P-프레임 및 B-프레임에 대해 반복된다.
대부분의 부호화 방식은 내부호화된 프레임들간 다수의 예측된 프레임을 사용하기 때문에, 이미지 왜곡이 업 샘플링 프로세서(226)에 의해 유발된다면, 이 이지미 왜곡은 이 프로세서를 통해 순환된다. 이미지 왜곡은 각 순환 동안 업 샘플링 프로세서(226)에 의해 누적될 수도 있다. 많은 연속한 예측된 프레임이 내부호화된 프레임들 사이에서 부호화된다면, 이러한 왜곡은 눈에 보이게 되는 점까지 증폭될 수도 있다.
소스의 이러한 이미지 왜곡은 업 샘플링 프로세서(226)의 나쁜 모션 추적 특성이 될 수 있다. 다운 변환 시스템에서 업 샘플링 필터는, 스무드한 저역 필터링 및 양호한 모션 추적특성을 모두 갖는 것이 바람직하다. 특정한 부호화 구조 및 내부호화된 프레임들간에 순방향 예측된 프레임 수에 의해, 일부 응용에서 모션 추적특성은 재생된 이미지에 눈에 보이는 모션의 흔들림(jerkiness)을 방지하기 위해 저역 필터링에 앞설 수 있다.
도 4는 3:1 수평 다운 변환 시스템에서 3개의 서로 다른 샘플링 필터의 주파수 응답(주파수 대 dB, π는 샘플링 주파수의 반에 대응한다), 즉 등-리플 필터 주파수 응답(410), 쌍선형 필터 주파수 응답(430), 및 라그랑즈 필터 주파수 응답(420)을 도시한 것이다. 차단 주파수(440)는 3:1 데시메이션 시스템(2:1 데시메이션 시스템의 경우 π/2)의 경우 π/3과 같다.
다음의 예는 3:1 다운 변환 시스템에서 이들 필터의 모션 추적 특성을 도시한 것이다. 이들 예는 업 샘플 영역에서 프레임당 하나의 화소를 이동시키는 직사각형 펄스의 이미지에 관한 것이다. 이 예의 목적상, 부호화 구조는 내프레임 다음의 모든 순방향 예측된 프레임들로 구성된다. 다른 화소는 다운 샘플링 동안 없어졌기 때문에 이미지는 매 세 번째 화소에 근거하여 보간된다.
도 5a, 도 5b, 도 5c는 등-리플 필터, 쌍선형 필터, 3차 라그랑즈 필터, 각각에 의한 직사각형 펄스의 보간(520, 530, 540)을 도시한 것이다. 점선(510)(도 5b에는 없음)은 보간되는 직사각형 펄스를 도시한 것이다. 라그랑즈 보간은 이 분야에서 숙련된 자들에게 공지된 것으로, 수치해석 소개, 아트킨슨, 107-10(1978)에 교시되어 있으며, 참고로 여기 포함시킨다. 도 5a-도 5c에 도시한 바와 같이, 등-리플 필터 보간(520)은 라그랑즈 필터 보간(540) 및 쌍선형 필터 보간(530)에 비해 가장 큰 오버슈트와 언더슈트를 갖는다.
도 6a, 6b, 6c, 6d, 6e 및 6f는 예측 프레임 번호 1, 2, 3, 5, 8, 10에서 이동(프레임당 1화소) 직사각형 펄스의 등-리플 필터 보간을 각각 도시한 것이다. 도 6a-6f에서 점선(610)은 원래의 이미지를 나타낸다. 도 6a-6f에서 실선(620)은 다운 샘플링된 원래 이미지(610)의 등-리플 보간을 나타낸 것이다. 도 6d에 도시된 프레임 번호 5에서, 보간된 펄스(620)는 왜곡되며 원래 펄스(610)보다 나아가 이동하여 있다. 도 6f에 도시한 프레임 번호 10에서, 보간된 펄스(620)는 도 6d에 도시한 프레임 번호 5에서보다 원래 펄스(610)보다 더 나아가 위치하여 있다.
다음 내부호화된 프레임이 디스플레이될 때, 도 6f에서 보간된 펄스(620)와 원래 펄스(610)간 차이는 "스냅핑 백(snapping back)" 문제로 될 것이다. 이것은 예측된 프레임에서 보간된 이미지가 원래 이미지의 모션보다 더 나아가 이동하고 이어서 정밀하게 표현된 내부호화된 프레임이 올 때 야기된다. 예측된 프레임에서 에지의 모션이 원래 이미지의 모션 보다 더 나아가 있기 때문에, 다음 내부호화된 프레임은 모션이 현재 역으로 가고 있다는 느낌을 시청자에게 줄 수 있다.
예를 들면, 원래 이미지가 사람이 그의 머리를 서서히 좌측으로 돌리고 있는 이미지일 때, 상기 예의 등-리플 필터가 업 샘플링에 사용될 때 "스냅핑 백" 문제로 인해서 모든 내부호화된 프레임에서 사람의 머리가 우측으로 "스냅핑 백"하게 될 것이다. 이런 유형의 왜곡은 실제 부호화 구조에 의존하여 심하게 된다. 예를 들면, 기준 프레임들 사이에 2개의 쌍선형 프레임을 갖는 IBBP 부호화 구조에 적용될 때, 10개의 연속한 순방향 예측 프레임이 있었던 도 6a-6f에 관련하여 제공된 예의 경우보다 아티팩트는 덜 두드러질 수 있다.
도 7 및 도 8은 등-리플 보간기에 대해 도 6f와 동일한 조건 하에서 예측 프레임 번호 10에 대해, 라그랑즈 및 쌍선형 보간기를 사용하여 보간된 이미지를 각각 도시한 것이다. 도 6f의 등-리플 보간(620)와 비교하여, 도 7에서 라그랑즈 보간(720) 및 도 8에서 쌍선형 보간(820)는 이들의 보간된 펄스(720, 820)이 원래 이미지(610)보다 비교적 덜 나아가기 때문에 보다 양호한 모션 추적을 제공한다.
오버슈트 및 언더슈트는 예측 펄스 왜곡을 분석할 때 고려하는 인자이다. 도 6f의 등-리플 보간(620)은 16% 오버/언더슈트를 가지며, 도 7의 3차 라그랑즈 보간(720)는 6% 오버/언더슈트를 가지며, 도 8의 쌍선형 보간(820)는 오버/언더슈트가 없다.
도 6f, 7, 8를 비교하면, 라그랑즈 필터 및 쌍선형 필터 모드 등-리플 필터보다 더 낳은 모션 추적 특성을 제공함을 보여준다. 본 발명의 실시예에서, 쌍선형 필터 또는 라그랑즈 필터는 업 샘플링 프로세서(226)에서 사용된다.
본 발명의 또 다른 실시예에서, 라그랑즈 필터는 업 샘플링 프로세서(226)에서 사용된다. 3차 라그랑즈 필터는 쌍선형 필터(도 4에 도시한 바와 같은)에 비교하여 더 낳은 주파수 응답을 가지며, 등-리플 필터(도 6f 및 7를 비교함으로써 보인 바와 같이)보다 오버/언더슈트가 덜 하다.
쌍선형 필터는 1차 라그랑즈 필터와 동일한 것으로 나타난다. 수치해석에 대해 이 분야에 숙련된 자들에게 공지된 바와 같이, 데이터 점들을 제공하는 다항식 보간인 라그랑즈 보간기는 다음과 같이 설계될 수 있다.
(n+1) 이산 데이터 점들을 제공하는 n차 라그랑즈 보간기는 다음의 형태이다.
Figure 111999012706310-pat00010
여기서 yi는 xi에서 함수값이며 li(x)는 n차 다항식이며 다음의 형태이다.
Figure 111999012706310-pat00011
상기 식으로부터, n=i인 경우 li(xn)=1이며 n≠1인 경우 li(xn)=0임이 명백하다. 그러므로, Pn(xn)=Yn 및 보간 다항식은 (n+1) 이산 데이터 점을 만족한다.
2차 라그랑즈 보간기는
Figure 111999012706310-pat00012
이며, 여기서 x0<x<x1이다.
1차 라그랑즈 보간기는 쌍선형인 것은 자명하다. 이하 나타낸 2차 라그랑즈 보간기 P2(x) 및 3차 라그랑즈 보간기 P3(x)은 상기 식들로부터 도출될 수 있다.
Figure 111999012706310-pat00013
2:1 업 샘플링에 있어서는, 데시메이트된 이미지에서 화소들 사이의 반 화소 위치에 있는 점들을 보간하는 것에 주목하고, 3:1 업 샘플링에 있어서는 데시메이트된 이미지에서 화소들 사이의 1/3 혹은 2/3 화소 위치에 있는 점들을 보간하는 것에 주목하고 있다. 예를 들면, 2:1 업 샘플링 경우에 반 화소에 대해서, x-x0=1/2, x-x1=-1/2, x1-x0=1이다. 이들 값을 대치함으로써, 필터계수가 도출될 수 있다.
이하 표 7은 2:1 업 샘플링 필터에 대한 라그랑즈 필터계수를 나타낸 것이다.
필터 차수 위상 0 위상 1
1차 (1,0) (1/2, 1/2)
2차 (0,1,0) (-1,6,3)/8
3차 (0,1,0,0) (-1,9,9,-1)/16
4차 (0,0,1,0,0) (3,-20,90,60,-5)/128
다음의 표 8은 3:1 업 샘플링 필터에 대한 라그랑즈 필터 계수를 나타낸 것이다.
필터 차수 위상 0 위상 1 위상 2 입력 시프트
1차 (1,0) (2/3, 1/3) (1/3, 2/3) 위상 0
2차 (0,1,0) (-1/9, 8/9, 2/9) (2/9, 8/9, -1/9) 위상 2
3차 (0,1,0,0) (-5, 60, 30, -4)/81 (-4, 30, 60, -5)/81 위상 0
4차 (0,0,1,0,0) (5, -35, 210, 70, -7)/243 (-7, 70, 210, -35, 5)/243 위상 2
표 7 및 표 8에서, 위상 0은 완전한 화소를 의미하며, 위상 1은 2:1 경우에 반 화소 및 3:1 경우에 화소들간 1/3 점을 의미하며, 위상 2는 3:1 경우에 화소들간 2/3 점을 의미한다. 2:1 경우에, 입력된 화소들은 위상 0에서 필터링을 위해 시프트되나, 3:1 경우에 입력 시프트는 위상 0에서 항상 일어나지 않는다.
이 분야에 숙련된 자들에게 공지된 바와 같이, 필터 차수가 증가함에 따라, 필터의 주파수 응답이 개선된다. 많은 필터 설계 방법이 필터의 주파수 응답 개선에 엄격히 근거하고 있을지라도, 다운 변환 시스템에서, 모션 추적특성에 대응하는 필터의 공간 응답은 부가적인 설계고찰이다. 다음 표 9는 3:1 다운 변환 시스템용의 상이한 차수의 라그랑즈 폴리페이즈 필터에 대한 오버/언더슈트 백분율을 도시한 것이다.
차수 오버/언더슈트 백분률
2차 11%
3차 6%
4차 12.5%
사람의 눈은 추적할 수 있는 한, 에지 모션에 매우 민감하다. 업 샘플링 필터의 오버슈트 및 언더슈트는 더 많은 연속적인 예측 프레임이 복호되고 이전 업 샘플 동작의 결과가 업 샘플 필터를 통해 재순환될 때 매크로블록의 업 샘플링을 악화시킨다. 업 샘플링 필터설계는 동시에 저역 필터링을 제공하면서 충분한 모션 추적 특성을 제공하도록 최적화되어야 한다. 3:1 다운 변환 시스템의 실시예에서, 업 샘플링 프로세서(226)는 다운 샘플링된 이미지의 보간을 위해서 3차 라그랑즈 필터를 사용한다. 이에 따라 모션 추적 특성과 저역 통과 필터링 응답간에 평형이 이루어지게 된다. 따라서, 이 특정한 설계는 이들 인자의 평형을 맞추고 이들간에 절충한다. 전술한 바와 같이, 특정 시스템의 부호화 구조는 이러한 평형을 맞추어야 하는 곳을 결정한다.
D. DCT 계수의 가중을 채용한 DCT 영역 필터링
다운 변환 시스템의 실시예는 주파수 영역에서 DCT 계수를 처리하는 DCT 필터(216)를 포함하며, 이것은 공간영역에서 저역통과 필터를 대신한다. 이를 테면 MPEG 혹은 JPEG 표준에 고찰된, DCT 부호화된 화상에 대한 공간 영역 필터링 대신에 DCT 영역 필터링에 몇가지 이점이 있다. 특히 그중에서도, DCT 영역 필터는 계산면에서 보다 효율적이며 공간 화소에 적용된 공간 영역 필터보다 하드웨어를 덜 필요로 한다. 예를 들면, N 탭을 갖는 공간 필터는 각각의 공간 화소 샘플값에 대해 곱셈과 덧셈을 N개나 사용할 수도 있다. 이것은 DCT 영역 필터에서 단지 하나의 곱셈에 비견한다.
가장 간단한 DCT 영역 필터는 고주파 DCT 계수의 절단(truncation)이다. 그러나, 고주파 DCT 계수의 절단이 평탄화 필터(smooth filter)를 초래하는 것은 아니며, 복호된 화상에서 에지 가까이에 "링잉"과 같은 결함이 있다. 본 발명의 실시예에의 DCT 영역 저역통과 필터는 공간영역에서 블록 미러필터로부터 도출된다. 블록미러필터용 필터 계수값은 예를 들면 공간 영역에서 최적화되며 이들 값은 DCT 영역필터의 계수로 변환된다.
본 실시예에서 수평방향으로만 DCT 영역 필터링을 보였지만, DCT 영역 필터링은 수평 혹은 수직향으로 혹은 수평 및 수직필터를 결합함으로서 이들 양자에서 행해질 수 있다.
E. DCT 영역 필터 계수
본 발명의 실시예는 2가지 제약으로부터 나온 것인데, 첫번째는 필터는 동일화상의 다른 블록들로부터 혹은 이전 화상으로부터 정보를 사용하지 않고 이미지의 각각의 블록에 대해 블록단위로 이미지 데이터를 처리하며, 두 번째는 필터는 필터가 경계 화소값을 처리할 때 일어나는 블록 경계의 시각성(visuality)을 감소시킨다는 것이다.
첫 번째 제약에 따라, DCT에 기반을 둔 MPEG 이미지 시퀀스 압축에서, 예를 들면 N x N DCT 계수 블록은 N x N 공간 화소값의 블록들을 제공한다. 결국, 본 발명의 실시예는 현재 수신된 화상의 블록만을 처리하는 DCT 영역 필터를 구현한다.
두 번째 제약에 따라, 필터가 단순히 공간 화소값의 블록에 적용된다면, 필터의 나머지를 채우도록 경계를 넘어 불충분한 수의 공간 화소값에 의해 야기된 블록경계에서 필터링의 천이가 있다. 즉, N이 우수인지 기수인지 여부에 따라 N-탭 필터는 단지 N/2탭들 혹은 (N/2)-1 탭들 만을 위한 각각의 입력 화소들을 갖기 때문에, 블록 에지는 적절히 필터링될 수 없다. 나머지 입력 화소들은 블록 경계 밖에 존재하게 된다. 화소값을 공급하는 몇 가지 방법이 존재하는데, 1) 경계 밖에는 미리 정해진 일정한 화소값을 반복하는 것, 2) 경계 화소값과 동일한 화소값을 반복하는 것, 3) 처리되는 블록에 인접한 이전 및 후속블록의 화소값을 형성하기 위해 그 블록의 화소값을 반영(mirror)하는 것이다. 그러므로, 본 발명의 실시예는 필터에 대해 이러한 미러방법(mirroring method)을 채용하며 이를 "블록 미러 필터"라 부른다.
블록의 8입력 공간 화소 샘플값을 저역필터링하는 수평 블록 미러 필터를 구현하는 실시예를 다음에 기술한다. 입력블록의 크기가 화소 샘플값의 8 x 8 블록 매트릭스이면, 수평 필터링은 8 화소 샘플값의 각각의 로우에 블록 미러 필터를 적용함으로써 행해질 수 있다. 필터링 처리는 블록 매트릭스에 열로(columnwise) 필터 계수를 적용함으로써 구현될 수 있거나, 로우를 필터링한 후 블록 매트릭스의 컬럼을 필터링함으로써 다차원 필터링을 달성할 수 있음을 이 분야에 숙련된 자에게 명백할 것이다.
공간영역에서 블록 미러 필터는 IEEE Trans. on Consumer Electronics, Vol. 43(4) 1074-8(1997), 김 등에 의한 "ATV 다운 변환용 DCT 영역 필터"에 교시된 바와 같이 DCT 계수를 가중함으로써 DCT 영역에서 동등하게 구현될 수 있다. 도 4는 탭값 h0 내지 h14로 나타낸 15 탭 공간 필터를 채용하는 8입력 화소에 대한 본 미러필터에 있어서 입력된 화소값 x0 내지 x7(그룹 X0)간 상응을 도시한 것이다. 입력된 화소는 그룹 X1로 나타낸, 그룹 X0의 좌측에 반영되고, 그룹 X2로 나타낸, 그룹 X0의 우측에 반영된다. 필터의 출력 화소값은 필터 탭값과 대응하는 화소 샘플 값 과의 15개의 곱한 것들의 합이다. 도 4는 제 1 및 제 2 출력화소값에 대한 곱의 쌍을 도시한 것이다.
F. 블록 미러필터의 실시예
본 발명의 바람직한 블록 미러 필터링의 일실시예는 1) 1차원 저역통과 대칭 필터는 2N 탭미만인 홀수 탭들로 선택되는 단계; 2) 필터계수는 0들을 넣어 2N값으로 증가되는 단계; 3) 필터계수는 원래 중간 계수가 좌측 순환 시프트에 의해 0번째 위치로 가도록 재배열되는 단계; 4) 재배열된 필터 계수의 DFT 계수가 결정되는 단계; 5) DCT 필터 계수와 입력 블록의 실수 DCT 계수를 곱하는 단계; 6) 데시메이션을 위해 준비된 한 블록의 저역통과 필터링된 화소를 제공하도록 IDCT 계수를 곱함으로써, 필터링된 DCT 계수의 역 이산 코사인 변환(IDCT)을 수행하는 단계에 의해 도출된다.
저역통과 필터의 차단 주파수는 데시메이션 비에 의해 결정된다. 본 실시예에 있어서, 차단 주파수는 3:1 데시메이션인 경우 π/3이며 2:1 데시메이션인 경우 π/2이며, 여기서 π는 샘플링 주파수의 반에 대응한다.
MPEG 및 JPEG 복호기의 DCT 영역 필터는 종래의 복호기에 블록들에 대한 역 양화자화기 및 IDCT 처리가 이미 존재하고 부가적으로 DCT 영역 필터 계수로 DCT 계수를 스칼라 곱하는 것만이 필요하기 때무에 필요한 메모리가 감소될 수 있게 한다. 그러므로, 별도의 DCT 영역 필터 블록 곱셈은 특정 실현에서 물리적으로 필요하지 않으며, 본 발명의 또 다른 실시예는 DCT 영역 필터 계수를 IDCT 처리 계수와 결합한다.
본 발명의 다운 변환 시스템에서, DCT 계수의 수평 필터링 및 데시메이션이 고려되었으며, 다음은,
1. 1920H x 1080V 인터레이스를 640H x 1080V 인터레이스 변환(수평 3:1 데시메이션).
2. 1280 x 720V 순차를 630H x 720V 순차로 변환(수평 2:1 데시메이션)
에 대한 2가지 실현이다.
표 4는 DCT 블록 미러 필터(가중치 부여) 계수를 나타낸 것으로 표 4에서 괄호내의 숫자는 10비트 2의 보수 표현이다. 표 4의 "*"는 값이 1보다 크기 때문에 10비트 2의 보수 표현에 대한 한도값을 벗어난 것을 의미하나, 이 분야에 숙련된 자가 아는 바와 같이, *로 표시된 블록씩 컬럼 계수의 곱셈은 필터값의 우수리(나머지)로 곱한 계수에 계수값을 더함으로써 쉽게 실현될 수 있다.
3:1 데시메이션 2:1 데시메이션
H[0] 1.000000000000000(511) 1.0000000000000000(511)
H[1] 0.986934590759779(505) 1.0169628157945179(*)
H[2] 0.790833583171840(405) 1.0000000000000000(511)
H[3] 0.334720213357461(171) 0.82247656390475166(421)
H[4] -0.0323463361027473(-17) 0.46728234862006007(239)
H[5] -0.0377450036954524(-19) 0.10634261847436199(54)
H[6] -0.0726889747390758(37) -0.052131780559049545(-27)
H[7] 0.00954287167337307(5) -0.003489737967467715(-2)
이들 수평 DCT 필터 계수는 부호화된 비디오 이미지의 8 x 8 DCT 계수의 블록에서 각 컬럼에 가중치를 부여한다. 예를 들면, 컬럼 제로의 DCT 계수는 H[0]으로 가중치가 부여되고, 제 1 컬럼의 DCT 계수는 H[1]로 가중치가 부여되며, 이하 마찬가지이다.
상기 기술된 바는 1차원 DCT를 사용하여 수평 필터 구현한 것을 예시한 것이다. 디지털 신호 처리 기술에 공지된 바와 같이, 이러한 처리는 2차원 시스템으로 확장될 수 있다. 2차원 시스템에 있어서, 이 시퀀스는 주기 M으로 컬럼 시퀀스가 주기적이고 로우 시퀀스가 주기 N으로 주기적임을 보이는 입력된 시퀀스는 매트릭스 값으로서 나타내어지고, 여기서 N 및 M은 정수이다. 2차원 DCT는 입력된 시퀀스의 컴럼에 대해 수행되고 이어서 DCT 처리된 입력 시퀀스에 대해 수행되는 제 2 1차원 DCT로서 구현될 수 있다. 또한, 이 분야에 공지된 바와 같이, 2차원 IDCT는 단일 처리로서 구현될 수 있다.
G. 다운 샘플링
다운 샘플링은 다운변환된 이미지에서 화소수를 줄이기 위해서 다운 샘플링 프로세서(232)에 의해 달성된다. 도 5a는 3:1 데시메이션인 경우 4:2:0 색차 유형에 대해 입력 및 데시메이트된 출력 화소를 나타낸 것이다. 도 5b는 2:1 데시메이션인 경우 4:2:0 색차 유형에 대해 입력 및 데시메이트된 출력 화소를 나타낸 것이다. 표 5는 도 5a 및 도 5b의 휘도 및 색차 화소에 대한 범례 식별을 제공한 것이다. 도 5a 및 도 5b의 다운 변환 전후에 화소 위치는 각각 인터레이스된 경우(3:1 데시메이션) 및 순차(2:1 데시메이션) 경우이다.
심볼 화소
+ 데시메이션 전 휘도
x 데시메이션 전 색차
Figure 111999012706310-pat00014
 데시메이션 후 휘도
Figure 111999012706310-pat00015
 데시메이션 후 색차
1920 x 1080 화소크기를 640 x 1080 화소크기로의 변환일 수 있는, 인터레이스된 이미지의 다운 샘플링에 있어서, 매 세 번째 화소는 수평축 상에서 데시메이트된다. 3:1 데시메이션인 경우, 다운 변환 처리 후에 3개의 서로다른 매크로블록 유형이 있다. 도 5a에서, 원래 매크로블록(MB)는 MB0, MB1, MB2로 표기되었다. MB0에서 다운 샘플링된 휘도 화소는 원래 매크로블록 내의 제 1 화소에서 시작하지만, MB1 및 MB2에서 다운 샘플링된 화소는 제 3 및 제 2 화소에서 시작한다. 또한, 각 매크로브록에서 다운 샘플링된 화소수는 동일하지 않다. MB0에서, 수평으로 6 다운 샘플링된 화소가 있으나, MB1 및 MB2에서는 화소가 5개 있다. 이들 3가지 MB 유형은 반복하고 있으므로 모듈러 3 산술이 적용되어야 한다. 표 6은 다운 샘플링 화소수 및 각각의 입력된 매크로블록 MB0, MB1, MB2에 대한 오프셋을 요약한 것이다.
MB0 MB1 MB2
다운 샘플링된 휘도 화소수 6 5 5
다운 샘플링된 색차 화소수 3 3 2
제 1 다운 샘플링된 휘도 화소의 오프셋 0 2 1
제 1 다운 샘플링된 색차 화소의 오프셋 0 1 2
순차 포맷 이미지의 다운 샘플링에 있어서 신호는 수평으로 매 두 번째 샘플마다 서브샘플링된다.
본 발명에 따르면, 효과적으로 디지털 이미지를 수신하기 위해서, 복호기는 비디오 신호 정보를 신속하게 처리할 수 있다.
본 발명의 바람직한 실시예를 보이고 여기 기술하였으나, 이러한 실시예는 단지 예로서 제공된 것임을 알 것이다. 본 발명의 정신에서 벗어남이 없이 이 기술에 숙련된 자들에게 많은 변형, 변경 및 대치가 일어날 것이다. 따라서, 첨부된 청구범위는 본 발명의 범위 내에 드는 모든 이러한 변형을 포괄하도록 된 것이다.

Claims (6)

  1. 비디오 신호의 현재 프레임의 잔류 이미지(residual image)에 대응하는 제 2 세트의 저해상도 화소값들, 및 상기 비디오 신호의 적어도 하나의 기준 프레임에 대응하는 제 1 세트의 다운 샘플링된(down-sampled) 저해상도 화소값들로부터, 상기 비디오 신호의 현재 프레임에 대응하는 제 3 세트의 저해상도 다운 샘플링된 예측 화소값들을 생성하는 장치에 있어서,
    상기 제 1 세트의 다운 샘플링된 저해상도 화소값들을 저장하는 메모리 수단;
    상기 메모리 수단으로부터 상기 제 1 세트의 다운 샘플링된 저해상도 기준 화소값들을 수신하고, 상기 제 1 세트의 다운 샘플링된 저해상도 화소값들을, 상기 비디오 신호의 적어도 하나의 기준 프레임에 대응하는 한 세트의 업 샘플링된 저해상도 화소값들로 변환하도록 라그랑즈 보간(Lagrangian interpolation)을 사용하는 업 샘플링 수단;
    상기 비디오 신호의 현재 프레임에 대응하는 한 세트의 저해상도 예측 화소값들을 생성하기 위해, 상기 비디오 신호의 현재 프레임의 잔류 이미지에 대응하는 상기 제 2 세트의 저해상도 화소값들을, 상기 비디오 신호의 적어도 하나의 기준 프레임에 대응하는 상기 한 세트의 업 샘플링된 저해상도 화소값들에 더하는 합산 수단; 및
    예측 프레임들의 시퀀스에서 비디오 신호들의 후속 예측 프레임들을 생성하기 위해 후속 기준 화소값들을 사용할 때, 상기 메모리 수단에 저장하기 위한 상기 비디오 신호의 현재 프레임에 대응하는 상기 제 3 세트의 저해상도 다운 샘플링된 예측 화소값들을 생성하기 위해, 상기 비디오 신호의 현재 프레임에 대응하는 상기 한 세트의 저해상도 화소값들 중 선택된 화소값들을 삭제하는 데시메이션(decimation) 수단;을 포함하며,
    상기 라그랑즈 보간을 사용하여 생성된 비디오 신호들의 예측 프레임들의 상기 시퀀스는, 실질적으로 일정한 움직임 추적(motion tracking)을 나타내는, 장치.
  2. 비디오 신호의 현재 프레임의 잔류 이미지를 나타내며 주파수 영역 변환된 고해상도 비디오 신호인 부호화된 비디오 신호와, 상기 비디오 신호의 적어도 하나의 기준 프레임에 대응하는 한 세트의 다운 샘플링된 저해상도 화소값들로부터, 상기 비디오 신호의 현재 프레임에 대응하는 한 세트의 저해상도 다운 샘플링된 예측 화소값들을 생성하는 장치에 있어서,
    한 세트의 고해상도 주파수 영역 비디오 계수값들로서, 상기 부호화된 비디오 신호를 수신하는 수신 수단;
    상기 비디오 신호의 현재 프레임의 잔류 이미지에 대응하는 한 세트의 주파수 영역 비디오 계수들을 생성하기 위해, 상기 한 세트의 고해상도 주파수 영역 비디오 계수값들을 수신하여 가중화하는 다운 변환 필터 수단;
    상기 비디오 신호의 현재 프레임의 잔류 이미지에 대응하는 상기 한 세트의 주파수 영역 비디오 계수들을, 상기 비디오 신호의 현재 프레임의 잔류 이미지에 대응하는 한 세트의 화소값들로 변환하는 역 변환 수단;
    상기 비디오 신호의 적어도 하나의 기준 프레임에 대응하는 상기 한 세트의 다운 샘플링된 저해상도 화소값들을 저장하는 메모리 수단;
    상기 메모리 수단으로부터 상기 비디오 신호의 적어도 하나의 기준 프레임에 대응하는 상기 한 세트의 다운 샘플링된 저해상도 기준 화소값들을 수신하고, 상기 비디오 신호의 적어도 하나의 기준 프레임에 대응하는 상기 한 세트의 다운 샘플링된 저해상도 화소값들을, 상기 비디오 신호의 적어도 하나의 기준 프레임에 대응하는 한 세트의 업 샘플링된 저해상도 화소값들로 변환하도록 라그랑즈 보간을 사용하는 업 샘플링 수단;
    상기 비디오 신호의 현재 프레임에 대응하는 한 세트의 저해상도 예측 화소값들을 생성하기 위해, 상기 비디오 신호의 현재 프레임의 잔류 이미지에 대응하는 상기 한 세트의 화소값들을, 상기 비디오 신호의 적어도 하나의 기준 프레임에 대응하는 상기 한 세트의 업 샘플링된 저해상도 화소값들에 더하는 합산 수단; 및
    예측 프레임들의 시퀀스에서 비디오 신호들의 후속 예측 프레임들을 생성하기 위해 후속 기준 화소값들을 사용할 때, 상기 메모리 수단에 저장하기 위한 상기 비디오 신호의 현재 프레임에 대응하는 상기 한 세트의 저해상도 다운 샘플링된 화소값들을 생성하기 위해, 상기 비디오 신호의 현재 프레임에 대응하는 상기 한 세트의 저해상도 화소값들 중 선택된 화소값들을 삭제하는 데시메이션 수단;을 포함하며,
    상기 라그랑즈 보간을 사용하여 생성된 비디오 신호들의 예측 프레임들의 상기 시퀀스는, 실질적으로 일정한 움직임 추적(motion tracking)을 나타내는, 장치.
  3. 제 2항에 있어서,
    상기 데시메이션 수단은 3:1 데시메이션을 수행하며, 상기 업 샘플링 수단은 3차 라그랑즈 필터를 포함하는, 저해상도 비디오 신호를 생성하기 위한 장치.
  4. 비디오 신호의 현재 프레임의 잔류 이미지에 대응하는 제 2 세트의 저해상도 화소값들, 및 상기 비디오 신호의 적어도 하나의 기준 프레임에 대응하는 제 1 세트의 다운 샘플링된 저해상도 화소값들로부터, 상기 비디오 신호의 현재 프레임에 대응하는 제 3 세트의 저해상도 다운 샘플링된 화소값들을 형성하는 방법에 있어서,
    (a) 기준 화소값들로서, 상기 제 1 세트의 다운 샘플링된 저해상도 화소값들을 메모리에 저장하는 단계;
    (b) 상기 메모리로부터 상기 제 1 세트의 다운 샘플링된 저해상도 기준 화소값들을 수신하고, 상기 제 1 세트의 다운 샘플링된 저해상도 기준 화소값들을, 상기 비디오 신호의 상기 적어도 하나의 기준 프레임에 대응하는 한 세트의 업 샘플링된 저해상도 화소값들로 변환하도록 라그랑즈 보간을 사용하는 단계;
    (c) 상기 비디오 신호의 현재 프레임에 대응하는 한 세트의 저해상도 예측 화소값들을 형성하기 위해, 상기 비디오 신호의 현재 프레임의 잔류 이미지에 대응하는 상기 제 2 세트의 저해상도 화소값들을, 상기 비디오 신호의 상기 적어도 하나의 기준 프레임에 대응하는 상기 한 세트의 업 샘플링된 저해상도 화소값들에 더하는 단계; 및
    (d) 예측 프레임들의 시퀀스에서 비디오 신호들의 후속 예측 프레임들을 생성하기 위해 후속 기준 화소값들을 사용할 때, 상기 메모리에 저장하기 위한 상기 비디오 신호의 현재 프레임에 대응하는 상기 제 3 세트의 저해상도 다운 샘플링된 예측 화소값들을 생성하기 위해, 상기 비디오 신호의 현재 프레임에 대응하는 상기 한 세트의 저해상도 화소값들 중 선택된 화소값들을 삭제하는 단계;를 포함하며,
    상기 라그랑즈 보간을 사용하여 생성된 비디오 신호들의 예측 프레임들의 상기 시퀀스는, 실질적으로 일정한 움직임 추적(motion tracking)을 나타내는, 방법.
  5. 비디오 신호의 현재 프레임의 잔류 이미지를 나타내며 주파수-영역 변환된 고해상도 비디오 신호인 부호화된 비디오 신호, 및 상기 비디오 신호의 적어도 하나의 기준 프레임에 대응하는 한 세트의 다운 샘플링된 저해상도의 화소값들로부터, 상기 비디오 신호의 현재 프레임에 대응하는 한 세트의 저해상도 다운 샘플링된 화소값들을 생성하는 방법에 있어서,
    (a) 상기 부호화된 비디오 신호를 한 세트의 고해상도 주파수 영역 비디오 계수값들로서 수신하는 단계;
    (b) 상기 비디오 신호의 현재 프레임의 잔류 이미지에 대응하는 한 세트의 주파수 영역 비디오 계수들을 생성하기 위해, 상기 한 세트의 고해상도 주파수 영역 비디오 계수값들을 가중화하는 단계;
    (c) 상기 비디오 신호의 현재 프레임의 잔류 이미지에 대응하는 상기 한 세트의 주파수 영역 비디오 계수들을, 상기 비디오 신호의 현재 프레임의 잔류 이미지에 대응하는 한 세트의 화소값들로 변환하는 단계;
    (d) 상기 비디오 신호의 적어도 하나의 기준 프레임에 대응하는 상기 한 세트의 다운 샘플링된 저해상도 화소값들을 메모리에 저장하는 단계;
    (e) 상기 메모리로부터 상기 비디오 신호의 적어도 하나의 기준 프레임에 대응하는 상기 한 세트의 다운 샘플링된 저해상도 기준 화소값들을 수신하고, 상기 비디오 신호의 적어도 하나의 기준 프레임에 대응하는 상기 한 세트의 다운 샘플링된 저해상도 기준 화소값들을, 상기 비디오 신호의 적어도 하나의 기준 프레임에 대응하는 한 세트의 업 샘플링된 저해상도 화소값들로 변환하도록, 라그랑즈 보간을 사용하는 단계;
    (f) 상기 비디오 신호의 현재 프레임에 대응하는 한 세트의 저해상도 예측 화소값들을 생성하기 위해, 상기 비디오 신호의 현재 프레임의 잔류 이미지에 대응하는 상기 한 세트의 화소값들을, 상기 비디오 신호의 적어도 하나의 기준 프레임에 대응하는 상기 한 세트의 업 샘플링된 저해상도 화소값들에 더하는 단계; 및
    (g) 상기 메모리에 저장하기 위한 상기 비디오 신호의 현재 프레임에 대응하는 상기 한 세트의 저해상도 다운 샘플링된 예측 화소값들을 생성하기 위해, 상기 비디오 신호의 현재 프레임에 대응하는 상기 한 세트의 저해상도 화소값들 중 선택된 화소값들을 삭제하는 단계;를 포함하며,
    상기 라그랑즈 보간을 사용하여 생성된 비디오 신호들의 예측 프레임들의 상기 시퀀스는, 실질적으로 일정한 움직임 추적(motion tracking)을 나타내는, 방법.
  6. 제5항에 있어서,
    상기 단계 (g)에서, 상기 비디오 신호의 현재 프레임에 대응하는 상기 한 세트의 저해상도 화소값들의 3:1 데시메이션이 수행되며;
    상기 단계 (e)에서, 3차 라그랑즈 필터를 사용하여, 상기 비디오 신호의 적어도 하나의 기준 프레임에 대응하는 상기 한 세트의 다운 샘플링된 저해상도 화소값들을 상기 비디오 신호의 적어도 한 기준 프레임에 대응하는 한 세트의 업 샘플링된 저해상도 화소값들로 변환하는, 저해상도 비디오 신호를 생성하기 위한 방법.
KR1019990043652A 1998-10-09 1999-10-09 다운 변환 시스템용 업 샘플링 필터 KR100667606B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US9/169,297 1998-10-09
US09/169,297 1998-10-09
US09/169,297 US6618443B1 (en) 1997-03-12 1998-10-09 Upsampling filter for a down conversion system

Publications (2)

Publication Number Publication Date
KR20000028961A KR20000028961A (ko) 2000-05-25
KR100667606B1 true KR100667606B1 (ko) 2007-01-15

Family

ID=22615075

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990043652A KR100667606B1 (ko) 1998-10-09 1999-10-09 다운 변환 시스템용 업 샘플링 필터

Country Status (6)

Country Link
US (1) US6618443B1 (ko)
EP (1) EP0993195A3 (ko)
JP (1) JP2000156858A (ko)
KR (1) KR100667606B1 (ko)
CN (1) CN1135840C (ko)
CA (1) CA2281436A1 (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1295390B1 (en) * 2000-06-23 2007-02-14 STMicroelectronics Asia Pacific Pte Ltd. Universal sampling rate converter for digital audio frequencies
KR100421001B1 (ko) * 2001-02-20 2004-03-03 삼성전자주식회사 샘플링 레이트 변환 장치 및 방법
US20030021347A1 (en) * 2001-07-24 2003-01-30 Koninklijke Philips Electronics N.V. Reduced comlexity video decoding at full resolution using video embedded resizing
US6983017B2 (en) * 2001-08-20 2006-01-03 Broadcom Corporation Method and apparatus for implementing reduced memory mode for high-definition television
KR100513042B1 (ko) * 2003-10-29 2005-09-06 한국전자통신연구원 지상파 디지털 텔레비젼 방송 시스템에서 동일채널중계기의 시간지연을 줄이기 위한 변조 장치
CN1926859B (zh) * 2004-01-19 2010-11-24 韩国电子通信研究院 同频转发器的调制设备和方法
JP2006243043A (ja) * 2005-02-28 2006-09-14 Sanyo Electric Co Ltd 高域補間装置及び再生装置
MX2007012708A (es) * 2005-04-13 2008-03-14 Thomson Licensing Codificacion de luma y croma con el uso de un pronosticador comun.
KR100759224B1 (ko) * 2005-12-14 2007-09-17 주식회사 대우일렉트로닉스 디스플레이 장치의 영상 표시방법
US7460133B2 (en) * 2006-04-04 2008-12-02 Sharp Laboratories Of America, Inc. Optimal hiding for defective subpixels
US8229234B2 (en) * 2006-11-24 2012-07-24 Nec Corporation Coding and decoding device, coding and decoding method and program
US8832290B2 (en) * 2007-02-23 2014-09-09 Microsoft Corporation Smart pre-fetching for peer assisted on-demand media
US7889949B2 (en) * 2007-04-30 2011-02-15 Microsoft Corporation Joint bilateral upsampling
CN101442297B (zh) * 2007-11-23 2011-06-08 深圳Tcl工业研究院有限公司 一种数字抽取滤波器
US8270466B2 (en) * 2008-10-03 2012-09-18 Sony Corporation Adaptive decimation filter
US8310592B2 (en) * 2008-10-10 2012-11-13 Panasonic Corporation Signal processing apparatus, signal processing method, and program for signal processing
US8339512B2 (en) 2009-03-05 2012-12-25 Sony Corporation Method and apparatus for enhancement of high-definition video content
US9509994B2 (en) * 2010-04-07 2016-11-29 Linear Algebra Technologies Limited Broadcast video decoder with reduced memory and processing requirements suitable for handheld and mobile applications
JP5700968B2 (ja) * 2010-07-16 2015-04-15 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN102378011B (zh) * 2010-08-12 2014-04-02 华为技术有限公司 一种图像上采样的方法、装置和系统
CN107197258B (zh) * 2011-03-30 2020-04-28 Lg 电子株式会社 视频解码装置和视频编码装置
US9001895B2 (en) * 2011-06-08 2015-04-07 Panasonic Intellectual Property Management Co., Ltd. Image display device and image processing device
US8953907B2 (en) * 2011-06-15 2015-02-10 Marvell World Trade Ltd. Modified bicubic interpolation
US8948248B2 (en) 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction
WO2014015032A2 (en) * 2012-07-19 2014-01-23 Cypress Semiconductor Corporation Touchscreen data processing
GB2496015B (en) * 2012-09-05 2013-09-11 Imagination Tech Ltd Pixel buffering
US20140333669A1 (en) * 2013-05-08 2014-11-13 Nvidia Corporation System, method, and computer program product for implementing smooth user interface animation using motion blur
US9299128B2 (en) * 2013-05-23 2016-03-29 Futurewei Technologies, Inc. Delta interpolation for upsampling imaging solution
JP6409516B2 (ja) 2014-11-13 2018-10-24 富士通株式会社 ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置
US20160170702A1 (en) * 2014-12-12 2016-06-16 Apple Inc. Devices and methods of image-splitting for dual-layer high dynamic range displays
US10616583B2 (en) 2016-06-30 2020-04-07 Sony Interactive Entertainment Inc. Encoding/decoding digital frames by down-sampling/up-sampling with enhancement information

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998041011A1 (en) * 1997-03-12 1998-09-17 Matsushita Electric Industrial Co., Ltd. Hdtv downconversion system

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3997772A (en) 1975-09-05 1976-12-14 Bell Telephone Laboratories, Incorporated Digital phase shifter
DE3177299D1 (de) 1980-04-11 1993-04-15 Ampex Bildverarbeitungssystem fuer raeumliche bildtransformation.
US4472785A (en) 1980-10-13 1984-09-18 Victor Company Of Japan, Ltd. Sampling frequency converter
EP0076259B1 (en) 1981-04-10 1989-08-16 Ampex Corporation Controller for system for spatially transforming images
EP0076260B1 (en) 1981-04-10 1989-08-02 Ampex Corporation System for spatially transforming images
JPS58219841A (ja) 1982-06-15 1983-12-21 Kokusai Denshin Denwa Co Ltd <Kdd> 標本化周波数の高速変換回路
US4652908A (en) 1985-03-25 1987-03-24 Rca Corporation Filtering system for processing a reduced-resolution video image
JP2592810B2 (ja) 1986-09-30 1997-03-19 株式会社東芝 サンプルレート変換回路
US4774581A (en) 1987-04-14 1988-09-27 Rca Licensing Corporation Television picture zoom system
US5057911A (en) 1989-10-19 1991-10-15 Matsushita Electric Industrial Co., Ltd. System and method for conversion of digital video signals
US5367334A (en) 1991-05-20 1994-11-22 Matsushita Electric Industrial Co., Ltd. Video signal encoding and decoding apparatus
JP2634971B2 (ja) 1991-06-27 1997-07-30 住友ゴム工業株式会社 空気入りタイヤ
JP3255179B2 (ja) 1992-02-14 2002-02-12 ソニー株式会社 データ検出装置
GB2264417B (en) 1992-02-17 1995-12-06 Sony Broadcast & Communication Video standards conversion
US5262854A (en) 1992-02-21 1993-11-16 Rca Thomson Licensing Corporation Lower resolution HDTV receivers
JPH05283978A (ja) 1992-03-31 1993-10-29 Sony Corp サンプリングレート変換装置
US5331346A (en) 1992-10-07 1994-07-19 Panasonic Technologies, Inc. Approximating sample rate conversion system
US5274372A (en) 1992-10-23 1993-12-28 Tektronix, Inc. Sampling rate conversion using polyphase filters with interpolation
JP3093494B2 (ja) 1992-11-18 2000-10-03 株式会社東芝 多様性信号処理装置
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
US5477397A (en) 1993-02-23 1995-12-19 Matsushita Electric Corporation Of America Digital high definition television receiver with features that facilitate trick-play modes on a digital VCR
JPH09504917A (ja) 1993-09-13 1997-05-13 アナログ・ディバイセス・インコーポレーテッド 不均一サンプル率を用いたディジタルアナログ変換
US5483474A (en) 1993-11-15 1996-01-09 North Shore Laboratories, Inc. D-dimensional, fractional bandwidth signal processing apparatus
US5613084A (en) 1994-10-04 1997-03-18 Panasonic Technologies, Inc. Interpolation filter selection circuit for sample rate conversion using phase quantization
US5828421A (en) * 1994-10-11 1998-10-27 Hitachi America, Ltd. Implementation efficient digital picture-in-picture decoding methods and apparatus
US5528301A (en) 1995-03-31 1996-06-18 Panasonic Technologies, Inc. Universal video format sample size converter
BR9609462A (pt) 1995-06-29 1999-07-27 Thomson Multimedia Sa Sistema para codificação e descodificação de dadosde vídeo prensadas em camadas
US5737019A (en) 1996-01-29 1998-04-07 Matsushita Electric Corporation Of America Method and apparatus for changing resolution by direct DCT mapping
US6175592B1 (en) 1997-03-12 2001-01-16 Matsushita Electric Industrial Co., Ltd. Frequency domain filtering for down conversion of a DCT encoded picture
US6141456A (en) * 1997-12-31 2000-10-31 Hitachi America, Ltd. Methods and apparatus for combining downsampling and inverse discrete cosine transform operations
US6249549B1 (en) * 1998-10-09 2001-06-19 Matsushita Electric Industrial Co., Ltd. Down conversion system using a pre-decimation filter
US6487249B2 (en) 1998-10-09 2002-11-26 Matsushita Electric Industrial Co., Ltd. Efficient down conversion system for 2:1 decimation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998041011A1 (en) * 1997-03-12 1998-09-17 Matsushita Electric Industrial Co., Ltd. Hdtv downconversion system

Also Published As

Publication number Publication date
CA2281436A1 (en) 2000-04-09
CN1135840C (zh) 2004-01-21
JP2000156858A (ja) 2000-06-06
CN1255018A (zh) 2000-05-31
EP0993195A2 (en) 2000-04-12
US6618443B1 (en) 2003-09-09
KR20000028961A (ko) 2000-05-25
EP0993195A3 (en) 2001-08-22

Similar Documents

Publication Publication Date Title
KR100667606B1 (ko) 다운 변환 시스템용 업 샘플링 필터
US6487249B2 (en) Efficient down conversion system for 2:1 decimation
US6249549B1 (en) Down conversion system using a pre-decimation filter
EP0908057B1 (en) Upsampling filter and half-pixel generator for an hdtv downconversion system
US6175592B1 (en) Frequency domain filtering for down conversion of a DCT encoded picture
US6990241B2 (en) Circuit and method for decoding an encoded version of an image having a first resolution directly into a decoded version of the image having a second resolution
US6584154B1 (en) Moving-picture coding and decoding method and apparatus with reduced computational cost
KR100476486B1 (ko) 해상도변환방법및장치,및해상도변환을위한디코더
US6519288B1 (en) Three-layer scaleable decoder and method of decoding
EP1240785A1 (en) Method and apparatus for performing video image decoding
EP1054566A1 (en) Apparatus and method for deriving an enhanced decoded reduced-resolution video signal from a coded high-definition video signal
KR100739130B1 (ko) 고화질 시퀀스의 저해상도로 시퀀스로의 다운 변환에서드리프트 보상방법
KR100563015B1 (ko) Hdtv다운컨버젼시스템을위한업샘플링필터와하프-픽셀발생기
KR100700515B1 (ko) 디코더 루프에서 메모리 감소를 통한 ｍｐｅｇ 엔코딩고화질 시퀀스의 저해상도로의 다운 변환 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee