KR20010043396A - 압축된 이미지들을 스케일링하는 방법 및 장치 - Google Patents

압축된 이미지들을 스케일링하는 방법 및 장치 Download PDF

Info

Publication number
KR20010043396A
KR20010043396A KR1020007012421A KR20007012421A KR20010043396A KR 20010043396 A KR20010043396 A KR 20010043396A KR 1020007012421 A KR1020007012421 A KR 1020007012421A KR 20007012421 A KR20007012421 A KR 20007012421A KR 20010043396 A KR20010043396 A KR 20010043396A
Authority
KR
South Korea
Prior art keywords
dct coefficient
matrix
blocks
format
image information
Prior art date
Application number
KR1020007012421A
Other languages
English (en)
Other versions
KR100545146B1 (ko
Inventor
시펭 리
케렌 후
Original Assignee
윌리암 제이. 버크
사르노프 코포레이션
비센트 비.인그라시아, 알크 엠 아헨
모토로라 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윌리암 제이. 버크, 사르노프 코포레이션, 비센트 비.인그라시아, 알크 엠 아헨, 모토로라 인코포레이티드 filed Critical 윌리암 제이. 버크
Publication of KR20010043396A publication Critical patent/KR20010043396A/ko
Application granted granted Critical
Publication of KR100545146B1 publication Critical patent/KR100545146B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428—Recompression, e.g. by spatial or temporal decimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/645—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

본 발명은 역양자화된 DCT 계수들을 서브샘플링된 이미지 영역 정보로 트랜스폼하는 복잡성을 감소시키도록 하는 방법으로 DCT 계수들을 역양자화하기 위해 양자화 행렬을 변조함으로써 비교적 낮은 이미지를 갖는 대응 픽셀 블록들 (S4)을 생성하기 위해 비교적 높은 해상도 이미지 정보를 나타내는 양자화된 이산 코사인 변환(DCT)을 포함하는, 예를 들어, MPEG 형 비디오 정보 스트림을 디코딩하는 방법(300) 및 장치(200)에 관한 것이다.

Description

압축된 이미지들을 스케일링하는 방법 및 장치{SCALING COMPRESSED IMAGES}
여러 통신 시스템에 있어서 전송되는 데이터는 이용가능한 대역폭이 더욱 효율적으로 사용되도록 압축된다. 예를 들어, 동화상 표준화 그룹(MPEG)은 디지털 데이터 전송 시스템에 관한 여러 표준들을 공표하였다. 먼저, MPEG-1으로 알려진 것은 ISO/IEC 표준들(11172)로 지칭되며 여기서 참조된다. 둘째로, MPEG-2로 알려진 것은 ISO/IEC 표준들(13818)로 지칭되며 여기서 참조된다. 압축된 디지털 비디오 시스템은 ATSC(Advanced Television Systems Committee) 디지털 텔레비젼 표준 문서 A/53에 기술되며 여기서 참조된다.
상기에 참조된 표준들은 디지털 통신 시스템들에서 고정 또는 가변 길이 코드를 사용하는 비디오, 오디오 및 다른 정보의 압축 및 전송에 잘 맞는 데이터 처리 및 조작 기술을 기술한다. 특히, 상기에 참조된 표준들 및 다른 "MPEG 형" 표준들 및 기술들은 예시적으로 프레임 내 코딩 기술(런 렝스(run length) 코딩, 허프만(Huffman) 코딩 등등) 및 프레임 간 코딩 기술(순방향 및 역방향 예측 코딩, 움직임 보상 등등)을 사용하는 비디오 정보를 압축한다. 특히, 비디오 처리 시스템들의 경우에, MPEG 및 MPEG 형 비디오 처리 시스템들은 프레임 내 및/또는 프레임 간 움직임 보상 엔코딩으로 또는 엔코딩 없이 비디오 프레임들의 예측 기반 압축 엔코딩에 의해 특성화된다.
예를 들어 상대적으로 낮은 해상도 디스플레이 장치들을 이용하는 텔레비젼 시스템들의 디코더 앵커 프레임 메모리 요구들을 감소시키기 위해 또는 디코더 처리 자원들을 감소시키기 위해 이미지 정보를 압축하는것(즉, 리사이즈(resize))은 공지되어 있다. 상기의 애플리케이션은 표준 선명 텔레비젼(SDTV) 디스플레이와 결합되거나 종래의 NTSC, PAL 또는 SECAM 텔레비젼에 비디오 정보를 제공하는 고품위 텔레비젼(HDTV) 수신기의 경우이다.
제 1 공지 기술은 전체 HDTV 해상도에서의 디코딩 방법, 최종 전체 해상도 화상들을 저장하는 방법을 포함하며, 디스플레이 전에 전체 해상도 화상들상에 필터링 및 다운샘플링을 수행한다. 이런 접근은 지원되는 해상도들의 측면에서 매우 융통성 있는 반면, 프레임 저장 메모리가 전체 해상도 화상들을 수용해야 하기 때문에 비용이 비싸다. 필터링 및 다운샘플링이 앵커프레임 저장전에 수행되더라도, 계산의 복잡성은 전체 해상도 디코딩과 동일하다.
제 2 공지 기술은 예를 들어, MPEG 형 디코더에 의해 수신된 DCT 계수들의 8x8 블록들의 경우에, DCT 계수 블록의 4x4 하위(수평 및 수직 공간 해상도의 측면에서) 서브블록만 처리하는 방법(즉, 세개 4x4 상위 서브블록들을 절단)을 포함한다. 하위 4x4 DCT 계수 블록상에 수행된 역 DCT 연산은 4x4 픽셀 블록만을 산출한다. 이 경우에 IDCT 계산 복잡성 및 프레임 저장에 대한 메모리 요구는 감소된다.
제 3 기술은 Bao et al.(J.Bao, H.Sun 및 T.Poon "HDTV 다운컨버젼 디코더", IEEE Transactions on Consumer Electronics, 1996 8월 Vol.42, No.3)에 의해 출판된 논문에 기술되며 여기서 전체에 걸쳐 참조가 된다. 특히, Bao 기술은 8x8 픽셀 블록을 생성하기 위해 역 DCT 처리에 종속하는 새로운 8x8 DCT 계수 블록을 생성하기 위해 네개의 인접한 8x8 DCT 계수 블록들을 주파수 합성 기술을 사용하여 처리한다. 이 방법에서 상기에 기술된 제 2 기술을 사용하여 생성된 것보다 훨씬 적은 시각 인조잡상을 가지면서 IDCT 계산 복잡성 및 프레임 저장에 대한 메모리 요구는 감소된다.
공교롭게도, 상기에 기술된 모든 다운샘플링 디코더들은 역 DCT 함수를 실행하는데 상당한 양의 계산 자원들을 이용한다. 따라서, 적어도 크게 감소된 역 DCT 자원을 제공하는 다운샘플링 비디오 이미지를 제공하는 것이 바람직한 것으로 보인다.
본 발명은 일반적으로 통신 시스템에 관한 것이며, 특히 본 발명은 적어도 MPEG 형 비디오 디코더와 같은 정보 스트림 디코더의 이미지 정보를 리사이징 (resizing)하는 방법 및 장치에 관한 것이다.
도 1은 MPEG 형 디코더의 실시예의 고수준 블록선도를 도시한다.
도 2는 도 1의 MPEG 형 디코더에 사용되는데 적합한 다운샘플 및 필터 모듈의 고수준 블록선도를 도시한다.
도 3은 도 1의 MPEG 형 디코더 및 도 2의 다운샘플 및 필터 모듈에 사용되는 데 적합한 DCT 계수들을 처리하는 방법의 흐름도를 도시한다.
본 발명은 상대적으로 낮은 이미지 해상도를 갖는 대응 픽셀 블록들을 생성하는데 비교적 높은 해상도 이미지 정보를 표시하는 양자화된 이산 코사인 변환(DCT)을 포함하는 예를 들어, MPEG 형 비디오 정보 스트림을 디코딩하는 방법 및 장치를 포함한다. DCT 계수 블록들의 디코딩은 역 DCT 처리를 피하는 방법으로 달성되며, 그로인해 MPEG 형 비디오 정보 스트림으로부터 다운샘플링된 이미지 정보를 회복하기 위해 요구되는 계산 복잡성을 감소시킨다. 본 발명은 서브샘플링된 이미지 영역 정보로 역양자화된 DCT 계수들의 변환 복잡성이 감소되도록 하는 방법으로 DCT 계수들을 역양자화하도록 변조된 양자화 행렬을 이용한다.
MPEG 형 디코더에서, 각각의 픽셀 블록들, 제 1 포맷(format)과 관련된 이미지 정보를 나타내는 DCT 계수 블록들, 제 2 포맷과 관련된 이미지 정보를 나타내는 픽셀 블록들, 제 1 포맷보다 낮은 해상도를 갖는 제 2 포맷을 생성하기 위해 DCT 계수 블록들을 처리하는 본 발명에 따른 방법은: 각각의 역양자화된 DCT 계수 블록들을 생성하기 위해 변조된 양자화 행렬(Qij')를 사용하여 DCT 계수 블록들을 역양자화하는 단계; 및 각각의 픽셀 블록들을 생성하기 위해 다운샘플 변환 C(S=FT=mC)을 사용하여 역양자화된 계수 블록들을 변환하는 단계를 포함한다.
본 발명의 특징들은 첨부한 도면들과 함께 다음의 상세한 기술을 고찰함으로써 쉽게 이해될 수 있다.
이해를 돕기위해, 도면들에 공통인 동일한 엘리먼트들을 지칭하는데 가능한한 동일한 참조 부호들이 사용되었다.
다음의 기술을 고찰한 후에, 당업자는 본 발명의 특징들이 상기 정보 서브스트림의 서브샘플 및 필터 버전을 복구하기 위해 정보 서브스트림을 포함하는 압축된 정보 스트림을 디코딩하는 소정의 시스템에 쉽게 사용될 수 있다는 것을 명백하게 알게 될 것이다. 본 발명이 주로 서브샘플(즉, 감소된 해상도) 이미지 정보를 복구하는 MPEG 형 이미지 스트림 디코더의 측면에서 기술될 것이지만, 당업자는 쉽게 본 발명의 많고도 다양한 응용들을 인식할 것이다.
도 1은 MPEG 형 디코더(100)의 한 실시예를 도시한다. 특히, 도 1의 디코더 (100)는 비디오 출력 스트림(OUT)을 생성하기 위해 압축된 비디오 정보 스트림(IN)을 수신하고 디코딩한다. 상기 비디오 출력 스트림(OUT)은 프레젠테이션 장치(보이지 않음)내에서 예를 들어 디스플레이 구동 회로에 결합하는데 적합하다.
MPEG 형 디코더(100)는 입력 버퍼 메모리 모듈(111), 가변 길이 디코더(VLD) 모듈(112), 다운샘플 및 필터 모듈(200), 가산기(115), 움직임 보상 모듈(116), 출력 버퍼 모듈(118), 앵커 프레임 메모리 모듈(117) 및 움직임 벡터(MV) 처리기 (130)를 포함한다.
입력 버퍼 메모리 모듈(111)은 압축된 비디오 스트림(IN), 예시적으로 전송 디멀티플렉서/디코더 회로(보이지 않음)로부터 예를 들어 고선명 텔레비젼 신호 (HDTV) 또는 표준 선명 텔레비젼 신호(SDTV) 출력을 나타내는 가변 길이 엔코딩 비트 스트림을 수신한다. 입력 버퍼 메모리 모듈(111)은 가변 길이 디코더 모듈(112)이 처리를 위해 비디오 데이터를 받아들일 준비가 될 때까지 수신된 압축 비디오 스트림(IN)을 일시적으로 저장하는데 사용된다. VLD(112)는 예를 들어 데이터 스트림 (S1)처럼 저장된 가변 길이 엔코딩된 비디오 데이터를 검색하기 위해 입력 버퍼 메모리 모듈(111)의 데이터 출력에 결합된 입력을 갖는다.
VLD(112)는 양자화된 예측 에러 DCT 계수들을 포함하는 연속 길이 비트 스트림 (S2), 움직임 벡터 스트림(MV) 및 블록 정보 스트림(DATA)을 생성하기 위해 검색된 데이터를 디코딩한다.
일반적인 MPEG 형 디코더에서, 가변 길이 디코더(VLD(112))는 역 양자화 모듈 및 역 DCT 모듈에 의해 수반된다는 것이 중요하다. 상기의 디코더에서, IQ 모듈은 일반적으로 표준 형태에서 역양자화된 예측 에러 계수들을 포함하는 비트 스트림을 생성하기 위해 연속 길이 비트 스트림(S2)상에 표준 양자화 행렬을 사용하여 역 양자화 연산을 수행할 것이다. IDCT 모듈은 그후에 픽셀당 예측 에러들을 포함하는 비트 스트림(S4)을 생성하기 위해 역양자화된 예측 에러 계수들상에 역 이산 코사인 변환 연산을 수행할 것이다. 도 1의 MPEG 형 디코더(100)는 이런 방법으로 동작하지 않는다.
도 1의 MPEG 형 디코더(100)의 다운샘플 및 필터 모듈(200)은 연속 길이 비트 스트림(S2)내에서 양자화된 예측 에러 DCT 계수들을 수신하고 반응하여 다운샘플링된 픽셀당 예측 에러들을 포함하는 비트 스트림(S4)을 생성한다. 구체적으로, 다운샘플 및 필터 모듈(200)은 제 1 포맷(예를 들어 HDTV)과 관련된 이미지 정보를 나타내는 양자화된 DCT 계수 블록들을 수신하고 반응하여 제 1 포맷보다 더 낮은 해상도를 갖는 제 2 포맷(예를 들어 SDTV)과 관련된 이미지 정보를 나타내는 픽셀 블록들을 생성한다. 예를 들어, 본 발명의 한 실시예에서, 일반적으로 8x8 픽셀 블록들을 생성하도록 처리되는 8x8 DCT 계수 블록들은 대신에 4x4 픽셀 블록들을 생성하도록 처리된다. 이 처리는 주파수 영역에서 전체 역 이산 코사인 변환을 실행하지 않고서 이루어진다. 다운샘플 및 필터 모듈(200)의 동작은 도 2 및 도 3과 관련하여 하기에 더 상세하게 설명될 것이다.
가산기(115)는 움직임 보상 모듈(116)에 의해 생성된 움직임 보상된 예측 픽셀 값 스트림(S6)에 다운샘플링된 픽셀당 예측 에러 스트림(S4)을 부가한다. 따라서, 가산기(115)의 출력은 전형적인 실시예에서, 재형성된 픽셀 값들을 포함하는 감소된 해상도 비디오 스트림(S5)이다. 가산기(115)에 의해 생성된 감소된 해상도 비디오 스트림(S5)은 출력 버퍼 모듈(118) 및 앵커프레임 메모리 모듈(117)에 결합된다.
앵커프레임 메모리 모듈(117)은 감소된 해상도 비디오 스트림(S5)내에서 앵커프레임 정보를 수신하고 저장한다. 유용하게, 앵커프레임 메모리 모듈(117)의 크기는 다운샘플 및 필터 모듈(200)에 의한 수신된 비디오 입력 정보 스트림(IN)내의 비디오 정보에 첨가된 해상도의 감소(즉, 스케일링 또는 압축)에 일관되는 양만큼 감소될 수 있다.
움직임 벡터 리사이저(130)는 VLD(112)로부터 움직임 벡터 스트림(MV) 및 블록 정보 스트림(DATA)을 수신한다. 움직임 벡터 스트림(MV)은 앵커프레임 메모리 모듈에 저장되는 이미지 정보에 기초한 개별 매크로블록들을 예측하기 위해 움직임 보상 모듈(116)에 의해 사용되는 움직임 벡터 정보를 포함한다. 그러나, 앵커프레임 메모리 모듈(117)에 저장된 이미지 정보는 상기에 기술된 바와 같이 다운샘플 및 필터 모듈(200)에 의해 스케일링 되었기 때문에, 스케일링된 픽셀 정보를 사용하여 매크로블록들을 예측하는데 사용되는 움직임 벡터 데이터를 스케일링하는 것이 필요하다. 따라서 VLD 모듈(112)로부터 수신된 움직임 벡터들(MV)은 스케일링된 움직임 벡터들 (MV')로서 움직임 보상 모듈(116)에 스케일링되고 결합된다.
움직임 보상 모듈(116)은 스케일링된 예측 매크로 블록을 생성하기 위해 신호 경로(S7) 및 움직임 벡터 리사이저(130)로부터 스케일링된 움직임 벡터들(MV')을 통해 앵커프레임 메모리 모듈(117)에 저장된 압축(즉, 스케일) 이미지 정보를 액세스한다. 즉, 움직임 보상 모듈(116)은 움직임 보상된 예측 픽셀 값 스트림(S6)으로서 가산기(115)의 입력에 결합되는 다수의 스케일링된 예측 매크로블록들의 각각의 값들을 계산하기 위해 하나 이상의 저장된 앵커프레임들(예를 들어, 가산기(115)의 출력에 생성된 비디오 신호의 가장 최근의 I 프레임 또는 P 프레임에 대해 생성되는 감소된 해상도 픽셀 블록들) 및 움직임 벡터 리사이저(130)로부터 수신된 움직임 벡터들(MV')을 이용한다.
도 1의 디코더(100)의 다운샘플 및 필터 모듈(200)은 연속 길이 비트 스트림 (S2)내에서 수신된 상주 비디오 정보를 형성하는 양자화된 예측 에러 DCT 계수들에 예정된 스케일링 또는 압축 인수를 첨가한다. 유사하게, 움직임 벡터 리사이저 (130)는 연속 길이 비트 스트림(S2)내에서 수신된 상주 비디오 정보와 관련된 움직임 벡터들에 실제로 동일한 스케일링 또는 압축 인수를 첨가한다. 이런 방법으로, 디코더(100)는 출력에서 예를 들어 감소된 해상도 디스플레이 장치상의 디스플레이를 위해 감소된 해상도 또는 스케일링된 이미지 정보 스트림(OUT)을 생성한다.
도 2는 도 1의 MPEG 형 디코더에 사용되는데 적합한 다운샘플 및 필터 모듈의 고수준 블록선도를 도시한다. 구체적으로, 도 2는 역양자화기(210) 및 C 변환 모듈(220)을 포함하는 다운샘플 및 필터 모듈(200)을 도시한다. 역양자화기(210) 및 C 변환 모듈(220)은 선택적으로 제어기(보이지 않음)에 의해 생성된 제어 신호(CONTROL)에 선택적으로 응답한다.
역양자화기(210)는 양자화된 예측 에러 DCT 계수들을 포함하는 연속 길이 비트 스트림(S2)을 수신하고 응답하여 변조된 양자화 행렬에 따라 각각 DCT 계수 블록을 역양자화한다. 즉, 연속 길이 비트 스트림(S2)내에서 DCT 계수 블록들은 예를 들어, MPEG quantizer_scale 및 quantizer_matrix 파라미터들에 따른 MPEG 형 엔코딩 처리동안 공지된 방법으로 양자화 되었다. 역양자화기(210)는 일반적으로 수신된 DCT 계수 블록(즉, 구성상 표준들에 의해 표시된 양자화기 행렬)과 관련된 양자화 행렬 대신에 변조된(즉, 비표준) 양자화 행렬을 이용한다. 변조된 역양자화된 DCT 계수 블록들은 스트림(S3)으로 C 변환 모듈에 결합된다.
C 변환 모듈(220)은 이미지 영역에서 각각의 다운샘플링되고 필터링된 픽셀 블록들을 생성하기 위해 변조된 역양자화 DCT 계수 블록들 및 응답으로 주파수 영역에서 처리된 상기 블록들을 수신한다. C 변환 모듈(220)은 역 DCT 모듈이 아니다. 오히려, C 변환 모듈은 역양자화기(210)에 의해 실행된 변조된 역양자화에 보완하는 방법으로 역양자화 DCT 계수 블록들상에 동작하도록 조절되는 주파수 영역 처리 모듈을 포함한다.
역양자화 및 C 변환 동작들의 보완 특징은 소정의 예들에 관해 더욱 상세하게 설명될 것이다.
공지된 MPEG 형 엔코딩 프로세스동안, 각각(예시적으로) 픽셀 값들의 8x8 블록은 DCT 계수들의 8x8 배열을 생성한다. 64 DCT 계수들의 각각에 다른 상대적 정밀도는 인간의 시각 인식에서의 상대적 중요성에 따라 선택된다. 상대적 계수 정밀 정보는 값들의 8x8 배열인 양자화기 행렬에 의해 표시된다. 양자화기 행렬에서 각 값은 관련된 DCT 계수의 양자화의 열등성을 표시한다.
도 1의 디코더(100)의 다운샘플 및 필터 모듈(200)은 8x8 DCT 계수 블록들이 4x4 픽셀 블록들로 변환된다고 가정할때, 아래의 식 1에 기술된 형태의 다운샘플링 필터를 이용한다.
식 1
DCT 계수 블록들을 픽셀 블록들로 처리하는데 적합한 IDCT 트랜스폼(T)는 다음의 식 2에 의해 주어진다.
식 2
아래의 식들 3-6 에 나타난대로 IDCT 변환(T)에 의해 필터 행렬(F)을 곱함으로써, 새로운 주파수 변환(S)은 제거될 수 있다.
식 3
식 4
식 5
식 6
표준 역양자화 프로세스에 의해 생성된 역양자화된 DCT 계수 블록들(A)의 각각은 다음과 같이 식 7에 기술될 수 있다.
Aij는 예시적으로 역양자화된 8x8 DCT 행렬을 나타낸다;
Qij는 표준 양자화기 행렬을 나타낸다;
q는 표준 양자화 스케일 값을 나타낸다; 및
Zij는 예시적으로 수신된 8x8 DCT 계수 블록 또는 행렬을 나타낸다.
식 7
따라서, 다운사이즈 이미지 영역 4x4 픽셀 블록들 Bij는 식 8로 정의될 수 있다.
B = FT·A(FT)' = C·MA·M'·C' = CYC'
식 8
표준 디코더들은 아래의 식 9에 기술된 형태의 양자화기 함수를 이용한다.
Aij는 예시적으로 역양자화된 8x8 DCT 행렬을 나타낸다;
Qij는 표준 양자화기 행렬을 나타낸다;
q는 표준 양자화 스케일 값을 나타낸다; 및
Zij는 예시적으로 수신된 8x8 DCT 계수 블록 또는 행렬을 나타낸다.
식 9
그러나 본 발명의 디코더는 식 10에 대해 아래에 기술된 형태의 역양자화기를 이용한다.
Yij는 예시적으로 역양자화된 8x8 DCT 행렬을 나타낸다;
Qij는 표준 양자화기 행렬을 나타낸다;
q는 표준 양자화 스케일 값을 나타낸다;
Zij는 예시적으로 수신된 8x8 DCT 계수 블록 또는 행렬을 나타낸다; 및
mi및 mj는 C가 덜 복잡한 계산을 제공하는 형태를 갖는 C·m = F·T가 되도록 행렬(FT)의 각 행 및 열에 대한 공통 인수들이다.
식 10
Qijmimj는 미리 계산될 수 있으며 용어 Qij'로 정의될 수 있으며, 그로인해 역양자화 프로세스를 실행하는데 필요한 계산양을 감소시킨다.
본 발명의 동작을 설명하는 여러 실시예들이 이제 기술될 것이다. 간략하게, 1차원의 실시예가 먼저 두개의 후속 2차원 예들(비인터레이스 비디오 DCT 계수들을 인터레이스 비디오 DCT 계수들)을 검토하는 간략한 프레임워크를 제공하는데 제공될 것이다.
A. 1차원의 예
모든 선형 변환 및 필터링은 행렬 곱셈들의 형태로 나타날 수 있다. 간편화를 위해, 1차원의 경우가 먼저 고려된다. 구체적으로, 1x8 이미지 영역 픽셀 벡터 x={x0,...,x7}가 X={X0,...,X7}의 DCT 변환을 갖는다고 가정하자. IDCT 변환은 T로 표시되는 8x8 행렬이며 바람직한 다운샘플링 필터는 F로 표시되는 4x8 행렬이다. 따라서, 이미지 도메인에서 바람직한 필터링은 식 11에 의해 표시될 수 있다.
식 11
y={y0,...,y7}은 서브샘플링된 이미지 영역 픽셀들이며 직접 이미지 영역 픽셀들을 얻는데 사용되는 4x8 행렬을 포함하는 새로운 변환은 아래에 식 12에 대해 주어진다.
S = F·T 식 12
B. 비인터레이스 프레임 모드 코딩 예
4x4 픽셀 블록들을 생성하기 위해 8x8 프레임 기반의 DCT 계수들로 코딩된 비인터레이스 이미지 정보를 처리하는 MPEG 형 디코더에 사용되는데 적합한 본 발명의 한 실시예가 이제 검토될 것이다. 본 실시예에 대해, 2에서 1로 다운샘플링을 제공하는 필터(F)가 사용되며, 예시적으로 식 13의 다운샘플링 필터를 낱낱이 평균한다.
식 13
따라서, 본 실시예에서 다운샘플 변환(S)은 다음의 식 14에 의해 주어진다:
식 14
8x8 DCT 행렬이 A로 나타난다고 가정하면, B로 나타나는 4x4 이미지 영역 픽셀 블록으로의 필터링 및 다운샘플링은 식 15에 의해 기술될 수 있다.
식 15
여기서, 곱하기 원표시는 두개 행렬들의 엘리먼트 곱에 의한 엘리먼트를 나타내며;
행렬(C)은 식 16(아래)에 의해 주어진다;
c는 루트 2(즉, 0.4142)보다 작은 것과 같게 고정된다;
M은 mT및 m(즉, M = mT·m)의 결과이며; 및
m=[0.3536 0.4531 0.3266 0.3841 0 0.2566 0.1353 0.0900]
식 16
따라서, 행렬의 2, 4, 6 및 8열(즉, "c"를 포함하는 열들)만이 처리동안 곱셈 연산을 필요로 하며, 다른 열들은 덧셈 연산만을 필요로 한다는 것을 식 16을 점검하여 알 수 있다. 이런 방법으로 계산상의 로딩에서 상당한 절약이 생긴다.
Z가 양자화된 8x8 DCT 계수 행렬이라 가정하면, Q는 양자화 행렬이며 q는 양자화 스케일링 인수이며, 역양자화된 DCT 계수 행렬(A)은 다음의 식 17에 의해 주어진다.
식 17
4x4 서브샘플링된 이미지 영역을 얻도록 A의 수평 및 수직 방향으로 S를 적용하는 것은 다음의 식 18을 통해 달성된다.
식 18
위의 식은 양자화된 계수들에 독립하다는 것이 중요하다. 따라서, P는 DCT 계수들에 S를 직접 적용함으로써 계산 시간 및 자원들을 유용하게 절약하는 양자화 행렬로서 Q를 대신하도록 도 1의 장치에 의해 미리 계산될 수 있다.
C. 인터레이스 프레임 모드 코딩 실시예
4x4 픽셀 블록들을 생성하기 위해 8x8 프레임 기반 DCT 계수들로 코딩된 인터레이스 이미지 정보를 처리하는 MPEG 형 디코더에 사용되는데 적합한 본 발명의 실시예가 이제 검토될 것이다. 본 실시예를 위해, 2에서 1로 다운샘플링을 제공하는 필터(F)가 사용되며, 예시적으로 식 19의 다운샘플링 필터를 낱낱이 평균한다. 비인터레이스 프레임 모드 코딩 실시예에 대해 상기에 검토된 특징들은 다르게 정의된 것을 제외하고 본 실시예에 적용된다.
식 19
따라서, 본 실시예에서 다운샘플 변환(S)은 식 20에 의해 주어지며, C는 다음과 같이 식 21에 의해 주어진다.
식 21
c0= 0.1989;
c1= 0.6682; 및
m=[0.3536 0.3841 0.1351 0.1877 0 0.1877 0.3266 0.3841]로 주어진다.
엔코딩된 프레임 모드였던 1920x1080 이미지의 경우에 있어서, 필터(F)는 예시적으로 식 22에 주어진 것처럼, 8에서 3으로의 다운샘플링을 제공한다.
식 22
따라서, 본 실시예에서 다운샘플 변환(S)은 식 23에 의해 주어지며, C는 다음의 식 24에 의해 주어진다.
식 23
식 24
m은 다음과 같이 주어진다.
m=[0.3536 0.4092 0.3943 0.0033 0.1768 0.0553 0.0280 0.0363]
도 3은 도 1의 MPEG 형 디코더 및 도 2의 다운샘플 및 필터 모듈에 사용되는데 적합한 DCT 계수들을 처리하는 방법의 흐름도를 도시한다. 구체적으로, 도 3의 방법(300)은 비교적 낮은 해상도 이미지 영역 픽셀 블록들을 생성하기 위해 비교적 높은 해상도 이미지 정보를 나타내는 DCT 계수들을 처리하는데 적합하다.
방법(300)은 예시적으로 8x8 DCT 계수 블록이 예를 들어 도 2의 다운샘플 및 필터 모듈(200)의 역양자화기(210)에 의해 수신되는 단계(305)에서 시작되어 단계(310)로 진행한다. 상기 방법(300)은 그후에 단계(315)로 진행한다.
단계(315)에서, 수신된 DCT 계수 블록(Zij)은 식 10, 즉 Yij= q(Qijmimj)·Zij,Yij는 변조된 양자화 행렬을 사용하여 생성된 역양자화된 DCT 행렬을 나타내며; Qij는 표준 양자화기 행렬을 나타내며; q는 양자화 스케일 값을 나타내며; Zij는 수신된 DCT 계수 블록; 및 mi,mj는 C·m=F·T일 때 행렬(FT)의 각 행과 열에 대한 공통 인수;에 대해 상기에 검토된대로 변조된 양자화 행렬(Qij')을 사용하여 각각의 역양자화된 DCT 계수 블록(Yij)을 생성하기 위해 역양자화된다.
F는 상기 제 1 포맷을 갖는 이미지 정보를 상기 제 2 포맷, 상기 제 1 포맷에 관련된 상기 제 1 이미지 정보, 제 2 포맷에 관련된 이미지 정보를 나타내는 상기 픽셀 블록들을 갖는 이미지 정보로 축소시키도록 조절된 다운샘플링 필터를 나타내며, T는 역 이산 코사인 변환 함수를 나타낸다. 방법(300)은 그후에 단계(320)로 진행한다.
단계(320)에서, 역양자화된 DCT 계수 블록들(Y)의 각각은 식 8, 즉: B = CYC'(B는 다운사이즈의 이미지 영역 픽셀 블록을 나타내며; C는 새 변환을 나타내며, Y는 변조된 양자화 행렬을 사용하여 생성된 역양자화된 DCT 행렬을 나타내며, C'은 C의 인버스를 나타낸다)에 대해 상기에 검토된 바와 같이 C 변환에 종속된다. 상기 방법(300)은 그후에 단계(325)로 진행한다.
단계(325)에서 처리되어야 할 더이상의 DCT 계수들이 있는지를 질문한다. 만약 질문에 대해 긍정으로 응답이 오면, 상기 방법(300)은 다음 DCT 계수 블록이 수신되는 단계(310)로 진행한다. 만약 질문에 대해 부정으로 응답이 오면, 상기 방법(300)은 출구가 되는 단계(330)로 진행한다.
상기의 실시예들의 특징들은 수평 차원 DCT 또는 수직 차원 DCT에 대해 혼합되거나 매칭될 수 있다는 것을 당업자는 이해할 것이다. 예를 들어, 실시예 B(비인터레이스 프레임 모드 코딩 예)의 특징들은 수직 방향에서 인터레이스된 이미지 정보를 디코딩하는데 유용하게 적용될 수 있다.
D. 계산 복잡성의 감소
프로세서의 1차원 및 2차원 계산 로딩의 다음 실시예들은 본 발명에 의해 달성된 계산 요구들의 감소를 설명하는데 도움이 될 것이다. 특히, 식 16(아래에 표시)에 대해 상기에 전개되고 검토된 C 변환을 사용하는 것은, 1차원의 IDCT 벡터 Y=[y0 y1 y2 y3 y4 y5 y6 y7]T가 1차원 이미지 영역 벡터 B=[b0 b1 b2 b3]를 생성하기 위해 처리될 것이라는 것을 추정한다.
식 16
수학적 조작 세트는 다음과 같이 식 B = C·Y에 따른 1차원 이미지 영역 벡터를 계산하는 프로세서에 의해 수행된다.
x0 = y1-y7 (단계 1)
x1 = y3-y5 (단계 2)
x2 = y2-y6 (단계 3)
z0 = c.x0 (단계 4)
z1 = c.x1 (단계 5)
z3 = y0 + x2 (단계 6)
z4 = y0 - x2 (단계 7)
z5 = x0 + z1 (단계 8)
z6 = z0 - x1 (단계 9)
b0 = z3 + z5 (단계 10)
b1 = z4 + z6 (단계 11)
b2 = z4 - z6 (단계 12)
b3 = z3 - z5 (단계 13)
상기의 13개 단계들은 본 발명의 방법을 사용하는 픽셀 영역 벡터(B)를 계산하기 위해 11개의 덧셈 연산들 및 2개의 곱셈 연산들을 필요로 하는 조합된 1차원 8 포인트 IDCT 및 서브샘플링을 필수적으로 발생시킨다. 반대로, 표준 1차원 8 포인트 IDCT 연산은 평균 연산을 포함하는 표준 픽셀 영역 필터링이 4개 덧셈을 필요로 하는 반면, 11개의 곱셈들 및 29개의 덧셈들을 필요로 한다. 따라서, 본 발명은 처리 및 메모리 자원 이용(33개의 덧셈들 및 11개의 곱셈들에 비해 11개의 덧셈 연산들 및 2개의 곱셈 연산들)의 측면에서 상당한 이점을 제공한다.
비슷하게, 2차원 경우에 있어서 8x8 DCT 계수 블록은 4x4 픽셀 블록을 생성하기 위해 본 발명에 따라 처리되는 것으로 추정된다. 상기 실시예에서, 8x8 DCT 계수 블록은 8x4 중간 행렬을 생성하기 위해 역양자화되고 행렬 필터링된다. 즉, 8x8 DCT 계수 블록을 역양자화하는데 사용되는 변조된 양자화 행렬은 역양자화되고 행렬 필터링된 8x4 DCT 계수 블록을 생성한다. 상기 중간 행렬은 예를 들어, 4x4 이미지 영역 또는 픽셀 블록을 생성하기 위해 더 필터링된다. 중간 행렬의 8개의 열과 4개의 행들의 각각은 1차원의 실시예에 대해 상기에 기술된 연산을 수행하는 13개 단계와 같은 1차원 필터링 연산을 사용하여 처리된다. 따라서 2차원의 실시예(4x4 이미지 영역에 대한 8x8 DCT 영역)에서 총 연산의 수는 종래의 132개 곱셈들(11x12) 및 396개 덧셈들(33x12)에 비해 24개 곱셈들(2x12) 및 132 덧셈들(11x12)을 포함한다. 따라서, 본 발명은 비교적 낮은 해상도를 갖는 이미지 정보를 생성하기 위해 비교적 높은 해상도를 갖는 DCT 계수들을 디코딩하는 경우의 종래 방법들 위에 처리 연산들의 상당한 축소를 제공한다.
본 발명의 특징들과 조합한 여러 실시예들이 상기에 상세히 나타나고 기술되었지만, 당업자는 상기 특징들을 조합하여 많은 다른 다양한 실시예들을 쉽게 고안할 수 있다.

Claims (10)

  1. DCT 계수 블록들은 제 1 포맷과 관련된 이미지 정보를 나타내며, 픽셀 블록들은 제 2 포맷에 관련된 이미지 정보를 나타내며, 상기 제 2 포맷은 상기 제 1 포맷보다 더 낮은 해상도를 갖는, 상기 각각의 픽셀 블록들 (S4)을 생성하기 위해 MPEG형 디코더(100)에서 DCT 계수 블록들(S2)을 처리하는 방법(300)에 있어서,
    각각의 역양자화된 DCT 계수 블록들을 생성하기 위해 변조된 양자화 행렬을 사용하여 상기 DCT 계수 블록들을 역양자화하는 단계(315); 및
    상기 각각의 픽셀 블록들을 생성하기 위해 다운샘플 변환을 사용하여 상기 역양자화된 계수 블록들을 변환하는 단계(320)를 포함하는 것을 특징으로 하는 DCT 계수 블록 처리 방법.
  2. 제 1 항에 있어서, 상기 DCT 계수들을 역양자화하는 단계는,
    Yij= q(Qijmimj)·Zij의 식에 따라 실제적으로 수행되며,
    여기서, Yij는 역양자화된 DCT 행렬을 나타내며; Qij는 표준 양자화기 행렬을 나타내며; q는 표준 양자화 스케일 값을 나타내며; Zij는 수신된 DCT 계수 블록을 나타내며; 및 mi, mj는 식 C·m = F·T에 따른 행렬(FT)의 각 행과 열에 대한 공통 인수들이며,
    여기서, F는 상기 제 1 포맷을 갖는 이미지 정보를 상기 제 2 포맷, 상기 제 1 포맷에 관련된 상기 제 1 이미지 정보, 제 2 포맷과 관련된 이미지 정보를 나타내는 상기 픽셀 블록들을 갖는 이미지 정보로 축소하도록 조절되는 다운샘플링 필터를 나타내며, T는 역 이산 코사인 트랜스폼 함수를 나타내는 것을 특징으로 하는 DCT 계수 블록 처리 방법.
  3. 제 1 항에 있어서, 상기 역양자화된 계수 블록들을 변환하는 단계는,
    B = CYC'의 식에 따라 수행되며,
    여기서, B는 다운사이징된 이미지 영역 픽셀 블록을 나타내며; C는 C 변환 행렬을 나타내며; Y는 역양자화된 DCT 행렬을 나타내며; 및 C'은 C의 인버스를 나타내는 것을 특징으로 하는 DCT 계수 블록 처리 방법.
  4. 제 3 항에 있어서, 상기 DCT 계수 블록들은 8x8 비인터레이스된 프레임 모드 코딩 원시 픽셀 블록들을 나타내는 8x8 DCT 계수 블록들을 포함하며,
    상기 생성된 픽셀 블록들은 4x4 픽셀 블록들을 포함하며, 및
    상기 다운샘플 변환은 상기의 식에 따라 달성되는 것을 특징으로 하는 DCT 계수 블록 처리 방법.
  5. 제 4 항에 있어서,
    및 m = [0.3536 0.4531 0.3266 0.3841 0 0.2566 0.1353 0.0900] 이며,
    F, C 및 m은 상기의 식에 따라 정의되는 것을 특징으로 하는 DCT 계수 블록 처리 방법.
  6. 비교적 낮은 해상도를 갖는 각각의 픽셀 블록들을 생성하기 위해 비교적 높은 해상도 이미지 정보를 나타내는 DCT 계수 블록들을 처리하는 방법(300)에 있어서,
    각각의 역양자화된 DCT 계수 블록들을 생성하기 위해 변조된 양자화 행렬을 사용하여 상기 DCT 계수 블록들을 역양자화하는 단계; 및
    상기 각각의 픽셀 블록들을 생성하기 위해 다운샘플 변환을 사용하여 상기 역양자화된 계수 블록들을 변환(320)하는 단계를 포함하며,
    상기 양자화 행렬은 인수 m에 의해 변조되며, 상기 인수 m은 S=F·T=C·m 식에 의해 상기 변환 행렬과 관련되며,
    상기 F는 상기 비교적 높은 해상도를 갖는 이미지 정보를 상기 비교적 낮은 해상도를 갖는 이미지 정보로 전환하는 다운샘플링 필터 행렬을 포함하며 T는 역 이산 코사인 변환(IDCT)인 것을 특징으로 하는 DCT 계수 블록 처리 방법.
  7. DCT 계수 블록들은 제 1 포맷과 관련된 이미지 정보를 나타내며, 픽셀 블록들은 제 2 포맷에 관련된 이미지 정보를 나타내며, 상기 제 2 포맷은 상기 제 1 포맷보다 더 낮은 해상도를 갖는, 상기의 각각의 픽셀 블록들(S4)을 생성하기 위해 MPEG형 디코더에서 DCT 계수 블록들(S2)을 처리하는 장치에 있어서,
    각각의 역양자화된 DCT 계수 블록들을 생성하기 위해 변조된 양자화 행렬을 사용하여 상기 DCT 계수 블록들을 역양자화하는 역양자화기(210); 및
    상기 각각의 픽셀 블록들을 생성하기 위해 다운샘플 변환을 사용하여 상기 역양자화된 계수 블록들을 변환하는 변환 모듈(220)을 포함하는 것을 특징으로 하는 DCT 계수 블록 처리 장치.
  8. 제 7 항에 있어서, 상기 DCT 계수들을 역양자화하는 상기 역양자화기는 Yij= q(Qijmimj)·Zij의 식에 따라 수행되며,
    여기서, Yij는 역양자화된 DCT 행렬을 나타내며; Qij는 표준 양자화기 행렬을 나타내며; q는 표준 양자화 스케일 값을 나타내며; Zij는 수신된 DCT 계수 블록을 나타내며; 및 mi및 mj는 C·m=F·T의 식에 따라 행렬(FT)의 각 행 및 열에 대한 공통 인수들이며,
    상기 F는 상기 제 1 포맷을 갖는 이미지 정보를 상기 제 2 포맷, 상기 제 1 포맷에 관련된 상기 제 1 이미지 정보, 제 2 포맷과 관련된 이미지 정보를 나타내는 상기 픽셀 블록들을 갖는 이미지 정보로 축소하도록 조절된 다운샘플링 필터를 나타내며, 상기 T는 역 이산 코사인 변환 함수를 나타내는 것을 특징으로 하는 DCT 계수 블록 처리 장치.
  9. 제 8 항에 있어서, 상기 변환 모듈은 실제로 B = CYC'인 식에 따라 동작하며,
    상기 B는 다운사이징된 이미지 영역 픽셀 블록을 나타내며; C는 C 변환 행렬을 나타내며; Y는 역양자화된 DCT 행렬을 나타내며; C'은 C의 인버스를 나타내는 것을 특징으로 하는 DCT 계수 블록 처리 방법.
  10. 제 9 항에 있어서,
    상기 DCT 계수 블록들은 8x8 비인터레이스 프레임 모드 코딩된 원시 픽셀 블록들을 나타내는 8x8 DCT 계수 블록들을 포함하며,
    상기 생성된 픽셀 블록들은 4x4 픽셀 블록들을 포함하며; 및
    상기 변환 모듈은 상기의 식에 따라 실제로 다운샘플 변환을 달성하는 것을 특징으로 하는 DCT 계수 블록 장치.
KR1020007012421A 1998-05-07 1999-05-07 압축된 이미지들을 스케일링하는 방법 및 장치 KR100545146B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US8463298P 1998-05-07 1998-05-07
US60/084,632 1998-05-07
US09/286,972 1999-04-06
US09/286,972 US6222944B1 (en) 1998-05-07 1999-04-06 Down-sampling MPEG image decoder

Publications (2)

Publication Number Publication Date
KR20010043396A true KR20010043396A (ko) 2001-05-25
KR100545146B1 KR100545146B1 (ko) 2006-01-24

Family

ID=26771225

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020007012421A KR100545146B1 (ko) 1998-05-07 1999-05-07 압축된 이미지들을 스케일링하는 방법 및 장치

Country Status (8)

Country Link
US (1) US6222944B1 (ko)
EP (1) EP1076884B1 (ko)
JP (1) JP4319352B2 (ko)
KR (1) KR100545146B1 (ko)
CN (1) CN1302419A (ko)
BR (1) BR9910264A (ko)
DE (1) DE69924102T2 (ko)
WO (1) WO1999057684A1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101315629B1 (ko) * 2009-06-24 2013-10-08 퀄컴 인코포레이티드 미디어 데이터 코딩을 위한 16-포인트 변환
KR101315562B1 (ko) * 2009-06-05 2013-10-10 퀄컴 인코포레이티드 미디어 코딩을 위한 4×4 변환
KR101315565B1 (ko) * 2009-06-24 2013-10-10 퀄컴 인코포레이티드 미디어 데이터 코딩을 위한 16-포인트 변환
US8718144B2 (en) 2009-06-24 2014-05-06 Qualcomm Incorporated 8-point transform for media data coding
US9069713B2 (en) 2009-06-05 2015-06-30 Qualcomm Incorporated 4X4 transform for media coding
US9110849B2 (en) 2009-04-15 2015-08-18 Qualcomm Incorporated Computing even-sized discrete cosine transforms
US9118898B2 (en) 2009-06-24 2015-08-25 Qualcomm Incorporated 8-point transform for media data coding
US9824066B2 (en) 2011-01-10 2017-11-21 Qualcomm Incorporated 32-point transform for media data coding

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6148109A (en) * 1996-05-28 2000-11-14 Matsushita Electric Industrial Co., Ltd. Image predictive coding method
US6310919B1 (en) * 1998-05-07 2001-10-30 Sarnoff Corporation Method and apparatus for adaptively scaling motion vector information in an information stream decoder
AU4701999A (en) * 1998-06-19 2000-01-05 Equator Technologies, Inc. Decoding an encoded image having a first resolution directly into a decoded image having a second resolution
US6487249B2 (en) * 1998-10-09 2002-11-26 Matsushita Electric Industrial Co., Ltd. Efficient down conversion system for 2:1 decimation
WO2002054777A1 (en) * 2000-12-28 2002-07-11 Koninklijke Philips Electronics N.V. Mpeg-2 down-sampled video generation
US7082450B2 (en) * 2001-08-30 2006-07-25 Nokia Corporation Implementation of a transform and of a subsequent quantization
KR100450939B1 (ko) * 2001-10-23 2004-10-02 삼성전자주식회사 이미지 축소를 위한 스케일-다운 기능을 가지는 압축비디오 복호화기 및 방법
KR20030053108A (ko) * 2001-12-22 2003-06-28 한국과학기술원 블록 이산코사인변환 영역에서의 영상 크기 변환 방법
US7656950B2 (en) * 2002-05-29 2010-02-02 Diego Garrido Video interpolation coding
US7260265B2 (en) 2002-10-04 2007-08-21 International Business Machines Corporation Enhancing compression while transcoding JPEG images
US7050656B2 (en) 2002-12-11 2006-05-23 Seiko Epson Corporation Image scaling in the compressed domain
TWI225749B (en) 2003-10-30 2004-12-21 Realtek Semiconductor Corp Method of conversion of image from low-resolution into high-resolution
US20050190836A1 (en) * 2004-01-30 2005-09-01 Jiuhuai Lu Process for maximizing the effectiveness of quantization matrices in video codec systems
US7587671B2 (en) * 2005-05-17 2009-09-08 Palm, Inc. Image repositioning, storage and retrieval
US20070122045A1 (en) * 2005-11-29 2007-05-31 Jiun-Yuan Wu System for scaling a picture unit from a first video resolution format to a second video resolution format
FR2894422A1 (fr) * 2005-12-01 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
FR2894423A1 (fr) * 2005-12-05 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
KR100728921B1 (ko) * 2005-12-26 2007-06-15 삼성전자주식회사 입력 영상에 적응적인 해상도변환장치 및 그의해상도변환방법
US7801223B2 (en) * 2006-07-27 2010-09-21 Lsi Corporation Method for video decoder memory reduction
US8487929B2 (en) * 2009-09-09 2013-07-16 Advanced Micro Devices, Inc. Resolution enhancement of video stream based on spatial and temporal correlation
US9047531B2 (en) * 2010-05-21 2015-06-02 Hand Held Products, Inc. Interactive user interface for capturing a document in an image signal

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3613343A1 (de) * 1986-04-19 1987-10-22 Philips Patentverwaltung Hybrid-codierer
JP3381855B2 (ja) * 1992-12-28 2003-03-04 ソニー株式会社 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
US5872874A (en) 1995-04-26 1999-02-16 Hewlett-Packard Company Method and apparatus for scaling down images that are provided in a compressed data format
US5737019A (en) * 1996-01-29 1998-04-07 Matsushita Electric Corporation Of America Method and apparatus for changing resolution by direct DCT mapping
US5777677A (en) * 1996-02-09 1998-07-07 International Business Machines Corporation Approximate MPEG decoder with compressed reference frames
US5708732A (en) * 1996-03-06 1998-01-13 Hewlett-Packard Company Fast DCT domain downsampling and inverse motion compensation
US5835151A (en) * 1996-05-15 1998-11-10 Mitsubishi Electric Information Technology Center America Method and apparatus for down-converting a digital signal
US5841473A (en) * 1996-07-26 1998-11-24 Software For Image Compression, N.V. Image sequence compression and decompression
US6487249B2 (en) * 1998-10-09 2002-11-26 Matsushita Electric Industrial Co., Ltd. Efficient down conversion system for 2:1 decimation

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9110849B2 (en) 2009-04-15 2015-08-18 Qualcomm Incorporated Computing even-sized discrete cosine transforms
KR101315562B1 (ko) * 2009-06-05 2013-10-10 퀄컴 인코포레이티드 미디어 코딩을 위한 4×4 변환
US8762441B2 (en) 2009-06-05 2014-06-24 Qualcomm Incorporated 4X4 transform for media coding
US9069713B2 (en) 2009-06-05 2015-06-30 Qualcomm Incorporated 4X4 transform for media coding
KR101315629B1 (ko) * 2009-06-24 2013-10-08 퀄컴 인코포레이티드 미디어 데이터 코딩을 위한 16-포인트 변환
KR101315565B1 (ko) * 2009-06-24 2013-10-10 퀄컴 인코포레이티드 미디어 데이터 코딩을 위한 16-포인트 변환
US8718144B2 (en) 2009-06-24 2014-05-06 Qualcomm Incorporated 8-point transform for media data coding
US9075757B2 (en) 2009-06-24 2015-07-07 Qualcomm Incorporated 16-point transform for media data coding
US9081733B2 (en) 2009-06-24 2015-07-14 Qualcomm Incorporated 16-point transform for media data coding
US9118898B2 (en) 2009-06-24 2015-08-25 Qualcomm Incorporated 8-point transform for media data coding
US9319685B2 (en) 2009-06-24 2016-04-19 Qualcomm Incorporated 8-point inverse discrete cosine transform including odd and even portions for media data coding
US9824066B2 (en) 2011-01-10 2017-11-21 Qualcomm Incorporated 32-point transform for media data coding

Also Published As

Publication number Publication date
BR9910264A (pt) 2001-10-02
EP1076884A1 (en) 2001-02-21
JP4319352B2 (ja) 2009-08-26
CN1302419A (zh) 2001-07-04
WO1999057684A1 (en) 1999-11-11
DE69924102D1 (de) 2005-04-14
US6222944B1 (en) 2001-04-24
JP2002514022A (ja) 2002-05-14
KR100545146B1 (ko) 2006-01-24
EP1076884B1 (en) 2005-03-09
DE69924102T2 (de) 2006-05-04

Similar Documents

Publication Publication Date Title
KR100545146B1 (ko) 압축된 이미지들을 스케일링하는 방법 및 장치
US6704358B1 (en) Method and apparatus for resizing image information
KR100370076B1 (ko) 다운 컨버젼 기능을 갖는 비디오 디코더 및 비디오 신호를디코딩 하는 방법
JP4344472B2 (ja) 情報ストリームデコーダへの計算リソース割当
US6104753A (en) Device and method for decoding HDTV video
US5963222A (en) Multi-format reduced memory MPEG decoder with hybrid memory address generation
JP2002517109A5 (ko)
JP2008506294A (ja) デブロッキング・フィルタリングを実行する方法及びシステム
JP4361987B2 (ja) フィールドモード符号化を含む画像フレームのサイズ変更のための方法及び装置
KR100651316B1 (ko) 정보 스트림 디코더에서 메모리 자원 이용을 증가시키는 방법 및 장치
US20070140351A1 (en) Interpolation unit for performing half pixel motion estimation and method thereof
EP1307054A2 (en) Video decoder including a scale-down function for scaling down an image and method thereof
KR20000077135A (ko) 고선명으로 코드화된 비디오 신호로부터 상승 디코드된감소된 해상도의 비디오 신호를 유도하기 위한 장치 및 방법
US20010016010A1 (en) Apparatus for receiving digital moving picture
JP2001285863A (ja) 画像情報変換装置及び方法
KR100282307B1 (ko) 디지탈 티브이 수신 디코더 장치
US6295320B1 (en) Inverse discrete cosine transforming system for digital television receiver
EP1751984B1 (en) Device for producing progressive frames from interlaced encoded frames
JPH0678294A (ja) 符号化方法、符号化装置、および復号化装置
EP0955609B1 (en) Decoding compressed image information
KR100734348B1 (ko) 디지털 티브이의 다운 변환 처리 장치
KR100232182B1 (ko) 디티브의 영상 압축장치 및 그 방법
KR100359824B1 (ko) 비디오 디코딩 장치 및 방법
KR100255777B1 (ko) 디지탈 티브이 수신 디코더 장치
KR100308007B1 (ko) 디지탈티브이수신디코더장치

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130108

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140107

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150106

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160108

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20161229

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20171228

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20181227

Year of fee payment: 14

EXPY Expiration of term