KR101247042B1 - 변환 계수의 예측 코딩을 이용하여 디지털 미디어 데이터를인코딩하는 방법, 디지털 미디어 인코더, 디코더, 및컴퓨터 판독가능 기록 매체 - Google Patents

변환 계수의 예측 코딩을 이용하여 디지털 미디어 데이터를인코딩하는 방법, 디지털 미디어 인코더, 디코더, 및컴퓨터 판독가능 기록 매체 Download PDF

Info

Publication number
KR101247042B1
KR101247042B1 KR1020087003318A KR20087003318A KR101247042B1 KR 101247042 B1 KR101247042 B1 KR 101247042B1 KR 1020087003318 A KR1020087003318 A KR 1020087003318A KR 20087003318 A KR20087003318 A KR 20087003318A KR 101247042 B1 KR101247042 B1 KR 101247042B1
Authority
KR
South Korea
Prior art keywords
coefficients
current macroblock
transform
digital media
directions
Prior art date
Application number
KR1020087003318A
Other languages
English (en)
Other versions
KR20080042816A (ko
Inventor
스리드하르 스리니바산
쳉지에 투
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20080042816A publication Critical patent/KR20080042816A/ko
Application granted granted Critical
Publication of KR101247042B1 publication Critical patent/KR101247042B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Color Television Systems (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

블록 변환-기반 디지털 미디어 코덱은 디지털 미디어 데이터의 우세한 방향성(예를 들면, 강한 가로 특징 또는 강한 세로 특징을 가지는 이미지)을 고려하는 변환 계수 예측을 이용하고, 2-단계 변환과 호환되어 동작한다. 매크로블록의 내부 단계 변환으로부터의 DC 및 DCAC 계수에 대하여, 코덱은 이웃하는 매크로블록의 내부 단계 변환 DC 계수에 기초하여 방향성 메트릭을 계산하고 비교하여 우세한 방향성을 결정한다. 매크로블록 내의 블록들의 외부 단계 변환으로부터의 DCAC 계수에 대하여, 코덱은 매크로블록의 내부 단계 변환 DCAC 계수에 기초하여 방향성 메트릭을 계산하고 비교하여 우세한 방향을 검출한다. 방향적인 우세함의 결정은 다른 채널로부터의 정보(예를 들면, 크로미넌스 및 휘도)를 또한 고려할 수 있다.
변환 계수, 코딩, 디코딩, 런(run), 레벨, 비트스트림

Description

변환 계수의 예측 코딩을 이용하여 디지털 미디어 데이터를 인코딩하는 방법, 디지털 미디어 인코더, 디코더, 및 컴퓨터 판독가능 기록 매체{PREDICTION OF TRANSFORM COEFFICIENTS FOR IMAGE COMPRESSION}
본 특허 명세서의 개시물 중 일부는 저작권 보호를 받는 요소를 포함한다. 특허청 서류 또는 기록에 나타나는 바와 같이, 저작권 소유자는 어떠한 자가 이 특허 문헌 또는 특허 개시물을 복사하여 재생성하는 것에 대한 이의를 제기하지 않지만, 그 외의 모든 저작 판권은 어느 것이든지 소유한다.
블록 변환 기반 코딩( Block Transform - Based Coding )
변환 코딩은 다수의 오디오, 이미지 및 비디오 압축 시스템들에서 사용되는 압축 기술이다. 압축되지 않은 디지털 이미지 및 비디오는 전형적으로 2차원(2D) 격자(grid)로서 배열된 이미지 또는 비디오 프레임 내의 위치들에서 화소(picture element)들 또는 색(color)들의 샘플들로서 표시되거나 캡처된다. 이것은 이미지 또는 비디오의 공간-도메인 표시(spatial-domain representation)라 불린다. 예를 들면, 이미지들에 대한 전형적인 포맷은 격자로서 배열된 24 비트 색 화소 샘플들의 스트림으로 이루어진다. 각 샘플은, 다른 것들 중에서도 특히, RGB, 또는 YIQ와 같은 색공간 내에서 격자 내의 픽셀 위치에서의 색 성분들을 나타내는 숫자이다. 다양한 이미지 및 비디오 시스템들이 샘플링의 여러 가지 서로 다른 색, 공간 및 시간 해상도(resolution)들을 사용할 수 있다. 마찬가지로, 디지털 오디오는 전형적으로 시간-샘플링된 오디오 신호 스트림으로서 표시된다. 예를 들면, 전형적인 오디오 포맷은 규칙적인 시간 간격으로 취해진 오디오 신호의 16 비트 진폭 샘플들의 스트림으로 이루어진다.
통상적으로 제1 이미지 프레임을 압축하고, 이어지는 프레임들 간의 차를 압축함으로써 비디오의 압축이 수행된다. 이러한 프로세스는 비디오 시퀀스 간에 주기적으로 반복된다. 그러므로 비디오의 압축은 "정지" 이미지의 압축과 밀접하게 관련된다.
압축되지 않은 디지털 오디오, 이미지 및 비디오 신호들은 상당한 저장 및 전송 용량을 소비할 수 있다. 변환 코딩은 신호의 공간-도메인 표시를 주파수-도메인(또는 다른 유사한 변환 도메인) 표시로 변환하고, 그 후 변환-도메인 표시의 특정한 일반적으로 덜 인지되는 주파수 성분들의 해상도를 감소시킴으로써 디지털 오디오, 이미지 및 비디오의 크기를 감소시킨다. 이것은 일반적으로 공간 도메인에서의 이미지들 또는 비디오의, 또는 시간 도메인에서의 오디오의 색 또는 공간 해상도를 감소시키는 것에 비하여 디지털 신호의 저하가 훨씬 덜 인지되게 한다.
보다 구체적으로, 도 1에 도시된 전형적인 블록 변환 기반 코덱(block transform-based codec)(100)은 압축되지 않은 디지털 이미지의 픽셀들을 고정 크기의 2차원 블록들(Xl, ... Xn)로 분할하고, 각 블록은 다른 블록들과 오버랩(overlap)될 수 있다. 공간-주파수 분석을 하는 선형 변환(120-121)이 각 블록 에 적용되고, 이는 블록 내의 간격을 둔 샘플들(spaced samples)을 일반적으로 블록 간격에 걸쳐서 대응하는 주파수 대역들에서 디지털 신호의 강도를 나타내는 주파수(또는 변환) 계수들의 세트로 변환한다. 압축을 위하여, 변환 계수들은 선택적으로 양자화(130)될 수 있고(즉, 계수 값들의 최하위 비트들을 버리거나(drop) 또는 보다 높은 해상도 숫자 세트 내의 값들을 보다 낮은 해상도로 매핑하는 것 등에 의해 해상도가 저하되고), 또한 압축된 데이터 스트림으로 엔트로피(entropy) 또는 가변 길이(variable-length) 코딩된다(130). 디코딩 시에, 변환 계수들은 역으로 변환(170-171)하여 원본 색/공간 샘플링된 이미지/비디오 신호를 거의 재구성할 것이다(재구성된 블록들
Figure 112008009995925-pct00001
).
블록 변환(120-121)은 크기가 N인 벡터 x에 대한 수학적 연산으로 정의될 수 있다. 대체로, 그 연산은 선형 곱(linear multiplication)으로, 변형 도메인 출력 y = Mx를 생성하고, 여기서 M은 변환 행렬이다. 입력 데이터가 임의로 길 경우, 그것은 N 크기의 벡터들로 분할(segment)되고 각 세그먼트에 블록 변환이 적용된다. 데이터 압축을 위하여, 가역(reversible) 블록 변환들이 선택된다. 즉, 행렬 M은 가역적(invertible)이다. (예컨대, 이미지 및 비디오에 대한) 다중 차원(multiple dimensions)에서, 블록 변환들은 전형적으로 분리 가능한 연산들로서 구현된다. 행렬 곱은 데이터의 각 차원(즉, 행들과 열들 모두)을 따라서 개별적으로 적용된다.
압축을 위하여, 변환 계수들(벡터 y의 성분들)은 선택적으로 양자화되고(즉, 계수 값들의 최하위 비트들을 버리거나(drop) 또는 보다 높은 해상도 숫자 세트 내 의 값들을 보다 낮은 해상도로 매핑하는 것 등에 의해 해상도가 저하되고), 또한 압축된 데이터 스트림으로 엔트로피 또는 가변 길이 코딩된다.
디코더(150)에서의 디코딩 시에는, 도 1에 도시된 바와 같이, 디코더(150) 측에서 이들 연산들이 역(inverse)(역양자화(dequantization)/엔트로피 디코딩(160) 및 역 블록 변환(inverse block transform)(170-171))으로 적용된다. 데이터를 재구성하는 동안, 역행렬 M-1(역변환(170-171))이 승수(multiplier)로서 변환 도메인 데이터에 적용된다. 변환 도메인 데이터에 적용될 때, 역변환은 원본 시간-도메인 또는 공간-도메인 디지털 미디어를 거의 재구성한다.
다수의 블록 변환-기반 코딩 응용들에서, 변환은 양자화 팩터(quantization factor)에 따라서 손실 및 무손실 압축 모두를 지원하도록 가역적인 것이 바람직하다. 예를 들어 양자화가 없는 경우에(일반적으로 1인 양자화 팩터로서 표시됨), 가역 변환을 이용하는 코덱은 디코딩 시에 입력 데이터를 정확히 재생할 수 있다. 그러나, 이들 응용에서 가역성이 필요하다는 것은 코덱이 설계될 수 있는 변환들의 선택을 제한한다.
다른 것들 중에서도 특히, MPEG 및 윈도 미디어와 같은, 다수의 이미지 및 비디오 압축 시스템들은 이산 코사인 변환(DCT : Discrete Cosine Transform)을 기반으로 한 변환들을 이용한다. DCT는 거의-최적의(near-optimal) 데이터 압축으로 귀결되는 우수한 에너지 집중(energy compaction) 특성들을 갖는 것으로 알려져 있다. 이들 압축 시스템들에서, 역(inverse) DCT(IDCT)는 개개의 이미지 블록들을 재구성하기 위한 압축 시스템의 인코더 및 디코더 양쪽 모두에서의 재구성 루프(recontruction loops)에서 채용된다.
변환 계수 예측
바로 앞서 상술한 바와 같이, 블록 변환은 일반적으로 DCT 또는 그 변형물을 이용한다. 손실 정도가 클 때는, 블록 변환은 블록 끊어짐들(discountinuities)을 건드림에 인해 시각적인 아티펙트(artifact) 문제를 겪게 된다. 손실 하에서도 재구성들을 평활화 하는 데에, 변환 윈도우들이 오버랩되는 "래핑된 변환" 기술이 이용될 수 있다.
블록 변환 및 래핑된 변환 모두에서는, 가로 방향 또는 세로 방향을 향하는 긴 선형 특징이 변환 도메인 블록의 좌측 또는 상단 모서리를 따라 높은 변환 값들을 생성한다. 좌측 또는 상단 모서리를 종종 DCAC 값이라 칭한다. 이 이름은 한쪽 방향에서는 DC이며 다른 쪽 방향에서는 AC인 계수들 때문에 붙여졌다. 상단 좌측 위치는 DC 값이라 칭한다(모든 방향에서 DC이다).
블록 변환은 종종 블록들 간의 상관 관계를 나타낸다. 인접한 블록들의 DC 계수들은 서로 관련되며 확률적인 관점에서 근접하는 경향이 있음이 쉽게 인식될 수 있다. 인접하는 블록들의 대응하는 DCAC 계수들 간의 상관 관계는 덜 분명하다. 유의할 점은, 이미지의 특정 영역이 (선 또는 패턴 등의) 강력한 가로방향 특징을 나타내고 있다면, 가로 방향에서는 DC이고 세로 방향에서는 AC가 되는 변환 계수가 또한 인터 블록(inter block)의 숫자적인 상관 관계를 나타낸다.
이웃하는 블록들로부터 DC 및 DCAC 항에 대한 예측을 형성함으로써 인터-블 록 DC 및 DCAC 연속성을 활용하여, 예측 차를 인코딩하는 프로세스를 일반적으로 "DCAC 예측"이라 칭한다. 이 용어는 본래의 (또는 어림잡은) DC & DCAC 변환 계수를 복구하는 디코더측 프로세스 또한 포함한다. 예측되고 있는 DCAC 항은 예측의 방향에 의해 결정되는 모든 DCAC 항의 서브셋일 수 있다.
도 1은 종래 기술에서의 종래의 블록 변환 기반 코덱의 블록도.
도 2는 예측 변환 계수 코딩을 포함하는 대표적인 인코더의 흐름도.
도 3은 예측 변환 계수 코딩을 포함하는 대표적인 디코더의 흐름도.
도 4는 DC 및 DCAC 계수를 나타내는 4x4 변환 블록 구조의 도면.
도 5는 YUV 4:2:2 색 포맷에 대한 도 3의 인코더의 내부 단계 변환에서 생성된 계수의 422 크로마 로우 패스 블록 구조의 도면.
도 6은 YUV 4:2:0 색 포맷 이미지에 대한 도 3의 인코더의 내부 단계 변환에서 생성된 계수의 420 크로마 로우 패스 블록 구조의 도면.
도 7은 DCAC 예측의 일례를 도시하는 도면.
도 8은 도 7의 예시적인 DCAC 예측에서 예측 방향을 식별하는 도면.
도 9는 매크로블록의 DC 예측 모드를 결정하는 데에 이용되는 매크로블록을 도시하는 도면.
도 10은 도 3의 인코더 및 도 4의 디코더의 예측 변환 계수 코딩에서의 DC 예측 모드 결정의 의사-코드 리스팅.
도 11은 도 3의 인코더 및 도 4의 디코더의 예측 변환 계수 코딩에서의 로우 패스 DCAC 예측 모드 결정의 의사-코드 리스팅.
도 12는 도 3의 인코더 및 도 4의 디코더의 예측 변환 계수 코딩에서의 하이 패스 DCAC 예측 모드 결정의 의사-코드 리스팅.
도 13은 매크로블록의 좌측 하이 패스 DCAC 예측을 도시하는 도면.
도 14는 매크로블록의 상측 하이 패스 DCAC 예측을 도시하는 도면.
도 15는 도 4의 광범위한 계수들의 적응 코딩을 구현하기 위한 적합한 컴퓨팅 환경의 블록도.
본 명세서에서 설명된 디지털 미디어 코딩과 디코딩 기술 및 디지털 미디어 코덱에서의 이러한 기술의 실현은 디지털 미디어 데이터(예를 들면, 강력한 가로 특징 또는 세로 특징을 가지는 이미지)의 우세한 방향성을 고려하는 변환 계수 예측을 이용하며, 또한 2-단계 변환과 호환가능하게 동작한다.
매크로블록의 내부 단계 변환으로부터의 DC 및 DCAC 계수에 대하여, 코덱은 이웃하는 매크로블록들의 내부 단계 변환 DC 계수에 기초하여 방향성 메트릭들을 계산하고 비교하여 우세한 방향성을 결정한다. 방향 우세함의 결정은 또한 다른 채널(예를 들면, 색 또는 크로미넌스)로부터의 정보를 고려할 수도 있다. 방향 우세함이 없다면, 매크로블록의 DC 계수는 선행하는 이웃 매크로블록의 DC 계수의 평균으로부터 예측된다. 매크로블록의 DCAC 계수에 대한 방향 예측은, 이웃하는 매크로블록이 다른 양자화기를 가지는 경우에는 생략될 수 있다. 대안으로, DCAC 계수의 방향 예측은 동일한 양자화기를 가지는 매크로블록(들)에 제한될 수 있다.
매크로블록 내의 블록의 외부 단계 변환으로부터의 DCAC 계수에 대하여, 코덱은 매크로블록의 내부 단계 변환 DCAC 계수에 기초하여 방향성 메트릭들을 계산하고 비교하여 우세한 방향성을 검출한다. 방향 우세함의 결정은 또한 다른 채널(예를 들면, 색 또는 크로미넌스)로부터의 정보를 고려할 수 있다. 이러한 외부 단계 DCAC 계수에 대한 방향 예측 결정 방식은 매크로블록의 정보에만 기초하여 이루어질 수 있다. 방향 우세함이 발견된다면, 매크로블록 내의 블록들의 외부 단계 DCAC 계수는 우세한 방향으로부터 단방향적으로 예측된다.
이 개요는 아래 상세한 설명에서 더 설명되는 간략화한 형태의 개념들 중 선택된 것을 소개하기 위해 제공된다. 이 개요는 청구된 요지의 중요한 특징 또는 필수적인 특징을 식별하기 위한 것도 아니고, 청구된 요지의 범위를 판정하는 데 도움을 주려고 하는 것도 아니다.
다음의 설명은 (본원에서 "예측 변환 계수 코딩"이라 칭하는) 계수 예측에 기초하는 블록 변환-기반 코덱의 변환 계수의 효율적인 코딩/디코딩을 제공하는 코딩 및 디코딩 기술들에 관한 것이다. 다음의 설명은 디지털 미디어 압축 시스템 또는 코덱에 관련하여 이 기술의 구현 예를 설명한다. 디지털 미디어 시스템은 디지털 미디어 데이터를 전송 또는 저장을 위하여 압축된 형태로 코딩하고, 재생(playback) 또는 기타 처리를 위하여 그 데이터를 디코딩한다. 설명을 위하여, 이러한 예측 변환 계수 코딩을 포함하는 이 예시적인 압축 시스템은 이미지 또는 비디오 압축 시스템이다. 대안적으로, 이 기술은 또한 다른 2D 데이터에 대한 압 축 시스템 또는 코덱에 포함될 수 있다. 예측 변환 계수 코딩 기술은 디지털 미디어 압축 시스템이 압축된 디지털 미디어 데이터를 특정 코딩 포맷으로 인코딩할 것을 요구하지 않는다.
1. 인코더/디코더
도 2 및 3는 대표적 2차원(2-dimensional)(2D) 데이터 인코더(200) 및 디코더(300)에서 이용되는 프로세스들의 일반화된 도면이다. 이 도면들은 블록 패턴 코딩을 구현하는 2D 데이터 인코더 및 디코더를 포함하는 압축 시스템의 일반화된 또는 간략화된 예시를 제시한다. 블록 패턴 코딩을 이용하는 대안적인 압축 시스템들에서는, 이 대표적인 인코더 및 디코더에서 예시된 것들보다 많거나 적은 수의 프로세스들이 2D 데이터 압축을 위하여 이용될 수 있다. 예를 들면, 일부 인코더들/디코더들은 또한 색 변환, 색 포맷, 스케일러블 코딩(scalable coding), 무손실 코딩, 매크로블록 모드 등을 포함할 수도 있다. 압축 시스템(인코더 및 디코더)은 무손실(lossless)에서 손실(lossy)까지 변화하는 양자화 파라미터에 기초할 수 있는 양자화에 따라서, 2D 데이터의 무손실 및/또는 손실 압축을 제공할 수 있다.
2D 데이터 인코더(200)는 인코더에의 입력으로서 제시된 2D 데이터(210)의 (전형적인 입력에 대한) 보다 간결한 표현인 압축된 비트스트림(220)을 생성한다. 예를 들면, 2D 데이터 입력은 이미지, 비디오 시퀀스의 프레임, 또는 2 차원(dimension)을 갖는 기타 데이터일 수 있다. 2D 데이터 인코더는 입력 데이터를 이 대표적 인코더에서는 크기가 16×16 픽셀들인 매크로블록들로 타일링(tile)한다(230). 2D 데이터 인코더는 또한 각 매크로블록을 4×4 블록들로 타일링한다. "순방향 오버랩(forward overlap)" 연산자(240)가 블록들 간의 각 에지에 적용되고, 그 후 각 4×4 블록이 블록 변환(250)을 이용하여 변환된다. 이 블록 변환(250)은 스리니바산(Srinivasan)에 의해 2004년 12월 17일에 출원된, "Reversible Transform For Lossy And Lossless 2-D Data Compression"이라는 발명의 명칭을 갖는 미국 특허 출원 11/015,707호에 기재된 가역적이고 스케일 없는(reversible, scale-free) 2D 변환일 수 있다. 오버랩 연산자(240)는 투(Tu) 등에 의해 2004년 12월 17일에 출원된 "Reversible Overlap Operator for Efficient Loseless Data Compression"이라는 발명의 명칭을 갖는 미국 특허 출원 11/015,148호와; 투(Tu) 등에 의해 2005년 1월 14일에 출원된 "Reversible 2-Dimensional Pre-/Post-Filtering For Lapped Biorthogonal Transform"이라는 발명의 명칭을 갖는 미국 특허 출원 11/035,991호에 기재된 가역적인 오버랩 연산자일 수 있다. 대안적으로, 이산 코사인 변환 또는 기타 블록 변환 및 오버랩 연산자들이 이용될 수 있다. 변환에 후속하여, 각 4×4 변환 블록의 DC 계수(260)는 유사한 연쇄적 처리(processing chain)(타일링, 순방향 오버랩에 이어서, 4×4 블록 변환)를 받는다. 결과의 DC 변환 계수들 및 AC 변환 계수들은 양자화(270)되고, 엔트로피 코딩(280)되고, 패킷화(packetize)(290)된다.
디코더는 역 프로세스를 수행한다. 디코더 측에서, 변환 계수 비트들은 그들 각각의 패킷들로부터 추출되고(310), 그로부터 계수들은 스스로 디코딩(320)되고 역양자화(330)된다. 역 변환을 적용함으로써 DC 계수들(340)이 재생성되고, DC 계수들의 평면은 DC 블록 에지들을 가로질러 적용되는 적합한 평활화 연산 자(smoothing operator)를 이용하여 "역 오버랩(inverse overlapped)"된다. 후속하여, 비트스트림으로부터 디코딩된 AC 계수들, 및 DC 계수들에 4×4 역 변환(350)을 적용함으로써 전체 데이터가 재생성된다. 마지막으로, 결과의 이미지 평면들에서의 블록 에지들은 역 오버랩 필터링(inverse overlap filter)(360)된다. 이것은 재구성된 2D 데이터 출력을 생성한다.
예시적 구현에서, 인코더(200)(도 2)는 입력 이미지를 압축된 비트스트림(220)(예컨대, 파일)으로 압축하고, 디코더(300)(도 3)는, 무손실 코딩이 이용되는지 또는 손실 코딩이 이용되는지에 따라서, 원본 입력 또는 그에 근사한 것(approximation)을 재구성한다. 인코딩의 프로세스는 아래에서 논의되는 순방향 랩 변환(forward lapped transform)(LT)의 적용을 수반하고, 그 변환은 마찬가지로 아래에서 더 상세히 설명되는 가역적 2차원 프리(pre)-/포스트(post)-필터링을 이용하여 구현된다. 디코딩 프로세스는 가역적 2차원 프리-/포스트-필터링을 이용한 역 랩 변환(inverse lapped transform)(ILT)의 적용을 수반한다.
예시된 LT 및 ILT는 정확한 의미에서 서로의 역(inverse)이고, 따라서 집합적으로 가역 랩 변환(reversible lapped transform)이라 불릴 수 있다. 가역 변환으로서, LT/ILT 쌍은 무손실 이미지 압축을 위해 사용될 수 있다.
예시된 인코더(200)/디코더(300)에 의해 압축된 입력 데이터(210)는 다양한 색 포맷(예컨대, RGB/YUV4:4:4, RGB/YUV4:2:2 또는 YUV4:2:0 색 이미지 포맷)의 이미지들일 수 있다. 전형적으로, 입력 이미지는 항상 휘도(Y) 성분을 갖는다. 만일 그것이 RGB/YUV4:4:4, RGB/YUV4:2:2 또는 RGB/YUV4:2:0 이미지라면, 그 이미지 는 또한 U 성분 및 V 성분과 같은 크로미넌스 성분들을 갖는다. 이미지의 개별 색 평면들 또는 성분들은 상이한 공간 해상도(spatial resolution)들을 가질 수 있다. 예를 들어 YUV 4:2:0 색 포맷의 이미지 입력인 경우에, U 및 V 성분들은 Y 성분의 1/2의 폭 및 높이를 갖는다.
위에서 논한 바와 같이, 인코더(200)는 입력 이미지 또는 화상(picture)을 매크로블록들로 타일링한다. 예시적 구현에서, 인코더(200)는 입력 이미지를 Y 채널에서 16×16 매크로블록들(색 포맷에 따라서 U 및 V 채널들에서 16×16, 16×8 또는 8×8 영역들일 수도 있음)로 타일링한다. 각 매크로블록 색 평면은 4×4 영역들 또는 블록들로 타일링된다. 따라서, 매크로블록은 이 예시적 인코더 구현을 위하여 다음과 같이 다양한 색 포맷에 대하여 구성된다:
1. 그레이스케일 이미지에 대하여, 각 매크로블록은 16개의 4×4 휘도(Y) 블록들을 포함한다.
2. YUV4:2:0 포맷 색 이미지에 대하여, 각 매크로블록은 16개의 4×4 Y 블록들, 및 4개의 각 4×4 크로미넌스(U 및 V) 블록들을 포함한다.
3. YUV4:2:2 포맷 색 이미지에 대하여, 각 매크로블록은 16개의 4×4 Y 블록들, 및 8개의 각 4×4 크로미넌스(U 및 V) 블록들을 포함한다.
4. RGB 또는 YUV4:4:4 색 이미지에 대하여, 각 매크로블록은 Y, U 및 V 채널들 각각의 16개의 블록들을 포함한다.
도 4, 5, 및 6은 대표적인 인코더/디코더에서의 다양한 변환 블록의 예들을 도시한다. 도 4는 다양한 포맷의 휘도 채널, 및 YUV 4:4:4 색 포맷 이미지의 크로 미넌스 채널에서의 블록들에 대한 4x4 변환 블록을 도시한다. 도 5는 YUV 422 색 포맷 이미지의 크로마 채널의 내부 단계 변환으로부터의 변환 블록 계수를 포함하는 422 크로마 로우 패스 블록 포맷을 도시한다. 도 6은 YUV 4:2:0 색 포맷 이미지의 크로마 채널의 내부 단계 변환으로부터의 계수를 포함하는 420 크로마 로우 패스 블록을 도시한다.
도 4를 참조해 보면, 다음의 설명은, 정렬된 기본 기능과 함께, 매트릭스 표기와 일치하는 블록 변환 규정 또는 표기를 이용한다. 예를 들면, 도 4에 도시된 변환 계수 블록(400)에서, DC 주파수를 나타내는 계수는 (계수 '0'인 라벨이 붙은) 변환 계수 블록의 첫 번째 행/열이며, 가장 높은 AC 주파수를 나타내는 계수는 (계수 '15'인 라벨이 붙은) 마지막 행/열이다. 또한, (도 4에서 '1', '2', 및 '3'인 라벨이 붙은 계수인) 블록의 최상단 행의 DCAC 계수는 세로 줄 패턴에 대응하며, (도 4에서 '4', '8', 및 '12'인 라벨이 붙은 계수인) 좌측 열의 DCAC 값은 가로 줄 패턴에 대응한다. 실제 구현에서는, 변환 블록에서 행과 열이 서로 바뀔 수 있으며, 그 경우 적절한 계수의 재인덱싱이 고려되어야 한다.
2. 예측 변환 계수 코딩 개관
앞서 배경기술 섹션에서 간단히 설명한 바와 같이, DCAC 예측은 이웃하는 블록들로부터 DC 및 DCAC 항들에 대한 예측을 형성함으로써 인터-블록 DC 및 DCAC 연속성을 활용하여, 예측 차를 인코딩하기 위한 프로세스(및 디코서에서의 그 역 프로세스)이다.
도 7 및 도 8을 참조해 보면, DCAC 예측의 일례가 도시된다. 이 예에서, 각 변환 블록의 세로 패턴('1', '2', 및 '3') 또는 가로 패턴('4', '8', 및 '12') 중 하나에 대응하는 DC 계수('0') 및 DCAC 계수 세트는 선행하는 이웃 블록들의 이러한 계수들로부터 예측된다. 즉, 이웃 블록의 대응하는 계수들이 현재 블록의 이러한 계수들에 대한 "예측자"로서 여겨진다. 이 예에서 각 블록에 대한 예측 방향은 (예측이 없음을 나타내는 'N', 좌측 예측을 나타내는 'L', 상단 예측을 나타내는 'T'로 표기한) 도 8의 도면에서 식별되며 도 7의 도면에서는 화살표로 예시하고 있다. 예측 방향이 상단으로부터인 경우, 블록의 대응하는 계수들로부터 상단으로 계수 '1', '2', 및 '3'이 예측된다. 예측 방향이 좌측으로부터인 경우, 블록의 대응하는 계수로부터 좌측으로 계수 '4', '8', 및 '12'가 예측된다. 구체적으로, 상단의 좌측 블록에 대해서는 어떠한 예측도 이용되지 않는다. 상단의 행의 제2 및 제3 블록이 이 블록으로부터 자신들의 좌측으로 예측된다. 제2 행의 블록들은 위로부터, 왼쪽 위로부터, 각각 예측된다. DCAC 계수에서는, 인코더는 이 예측자로부터의 차로서 계수를 인코딩한다. 예측이 상당히 정확하다면, 예측자로부터의 차는 높은 확률을 가지는 0일 것이며, 이러한 경우, (도 2의) 엔트로피 코딩(280)에서 가변 길이 엔트로피 코딩 기술(예를 들면, 런 렝스 코딩)을 이용하여 효과적으로 인코딩될 수 있다. 예를 들면, 가변 길이 엔트로피 코딩 기술은 2005년 8월 12일에 출원된, 스리니바산(Srinivasan)저의 발명의 명칭이 "Efficient Encoding and Decoding of Transform Blocks"인 미국 특허 출원 번호 TBD에 기재되었다.
상기의 (도 2의) 대표적인 인코더(200) 및 (도 3의) 디코더(300)는 DCAC 예측의 이용에 특정 과제를 제시한다. 첫째, 이 대표적인 인코더 및 디코더는 2-단 계 변환을 이용한다. 이들은, 각각이 하이패스 및 로우패스 대역에 대응하는, "외부" 및 "내부" 단계라 칭할 수 있다. 구체적으로는, 블록들의 (도 2의) DC 계수(260)가 제2 단계("내부" 단계) 변환된다. 결과적으로, DC 계수는 그 단계의 역 변환을 먼저 수행하지 않고는 다른 계수를 디코딩하기 위한 디코더에는 이용될 수 없다.
둘째, 대표적인 인코더 및 디코더는 랩 변환(lapped transform)을 이용한다. 그 설계 및 구성에 의하여, 랩 변환은 이미 묵시적으로 인접하는 블록들 간의 연속성을 추출한다. 이 때문에, DCAC 예측을 더 적용하는 것은 결국에는 (DCAC 예측을 하지 않을 때에 비하여) 코딩 성능을 저하시킬 수 있다.
셋째, 메모리 풋프린트(footprint) 및 복잡도를 최소화하기 위하여, 인터-매크로블록 DCAC 예측을 최소한으로 유지하는 것이 바람직하다.
마지막으로, 대표적인 인코더 및 디코더는 서로 다른 매크로블록에 서로 다른 양자화기를 적용할 수 있는데, 이는 DCAC 예측을 더 복잡하게 한다.
본원에 기술된 예측 변환 계수 코딩 기술은 통상적인 DCAC 예측에 여러 가지 개선 사항을 제공한다. 구체적으로는, 이하 기술되는 예측 변환 계수 코딩 기술의 예시적인 구현은 고유한 예측 규칙 세트를 이용하여 상기-열거한 이슈들을 해결한다. 요약하자면, 이들 규칙은:
1. 색 정보가 이용가능할 경우 적어도 일부 기초하여 평상의(causal) 이웃 블록으로부터의 DC 계수에 기초하여 (내부 변환)의 DC 계수가 예측된다.
2. 내부 변환의 DCAC 계수는 DC 계수의 예측 방향으로부터 유도된 예측 방향 을 이용하며, 매크로블록 외의 정보에도 의존한다.
3. 내부 변환의 DCAC 계수의 예측은 현재 매크로블록과 예측된 매크로블록이 서로 다른 양자화기를 가지는 경우에는 생략된다(즉, 0이 예측자로서 이용된다).
4. 외부 변환의 DCAC 계수의 예측은 전적으로 매크로블록 내부에서 수행된다.
5. 외부 변환 DCAC 계수의 예측 방향은 동일한 매크로블록의 내부 변환의 DCAC 계수로부터 유도된다.
를 포함한다.
다음의 설명은, 예측 변환 계수 코딩이 양자화된 변환 계수(예를 들면, 도 2의 인코더(200)의 양자화(270) 이후에, 및 도 3의 디코더(300)의 역양자화(330) 이전의 변환 계수)에서 수행되는 것으로 설명된다. 그러나, 예측 변환 계수 코딩 기술의 대안적인 구현은 양자화되지 않은 변환 계수에서 (또는 디코더 측에서 역양자화된 값에서) 수행될 수 있음이 이해되어야 한다.
대표적인 인코더/디코더의 예측 변환 계수 코딩은 다음의 섹션에 상세히 설명될 3개의 예측 레벨을 포함한다. 이들은 다음을 포함한다:
1. 내부 변환의 DC 계수의 예측인 DC 예측,
2. 내부 변환의 DCAC 계수의 예측인 로우 패스 DCAC 예측,
3. 외부 변환의 DCAC 계수의 예측인, 하이 패스 DCAC 예측
2.1 DC 예측
상술한 바와 같이, (도 2의) 대표적인 인코더(200)는 이미지를 16x16픽셀의 매크로블록으로 타일링(tile)하고, 이 매크로 블록을 각각 4x4 픽셀의 변환 블록으로 더 타일링한다. 외부 단계 변환은 이 변환 블록들에 적용되어, 도 4에 도시된 (휘도 채널, 및 YUV 4:4:4 색 포맷 이미지의 크로미넌스 채널에 대한) 4x4 변환 계수를 포함하는 블록들을 생성한다. 매크로블록의 이들 16개의 변환 계수 블록에서의 DC 계수가 분리되고(4x4 블록을 형성한다), 변환의 내부 단계가 이 블록에 적용된다. 결과인 내부 단계 변환 블록은 다시 4x4 계수를 가진다. 본원에서는 이 내부 단계 변환 블록의 ('0'인 라벨이 붙은) DC 계수를 매크로블록의 DC 계수라 칭한다. 본원에서는 내부 단계 변환 블록의 DCAC 계수('1', '2', '3', '4', '8', 및 '12')를 매크로블록의 로우 패스 DCAC 계수라 칭한다. 이러한 매크로블록 구조는 예측 변환 계수 코딩을 채용하는 대안적인 인코더 및 디코더에서 달라질 수 있다.
매크로블록의 계수를 인코딩할 때, 예측 변환 계수 코딩은 매크로블록의 DC 계수의 예측을 위한 4가지 모드로부터 선택할 수 있다. 이들 모드는 다음과 같다:
1. 좌측으로부터 예측(즉, 매크로블록의 DC 계수에 대한 예측자는 이 매크로블록의 왼쪽으로의 DC 계수, 즉, predictor =DC[left_MB]이다).
2. 상단으로부터 예측(즉, 예측자는 이 매크로블록의 위로의 DC 계수, 즉, predictor =DC[top_MB]이다).
3. 좌측 상단으로부터 예측(즉, 예측자는 이 매크로블록의 왼쪽 위로의 DC 계수의 평균, 즉, predictor =(DC[left_MB]+DC[top_MB])/2이다).
4. 널(null) 예측(즉, 예측이 없다, predictor =0).
인코더는 도 10의 의사-코드 리스팅(1000)에 의해 예시된 프로시저에 따라 매크로블록에 어떤 예측 모드가 사용될지를 결정한다. 이 리스팅(1000)에서, 값 [mx, my]은 매크로블록의 오프셋 수를 상단, 및 좌측 매크로블록이 [0, 0]으로 시작하는 가로(x) 및 세로(y)로 나타낸 이미지(또는 아직도 타일이 이용된다면, 이미지 타일)의 현재 블록의 인덱스이다.
이 예시된 프로시저에서, 인코더는 이미지 내의 매크로블록의 위치에 기초하고, 매크로블록의 좌측, 상단 및 상단-좌측에 대한 매크로블록의 DC 계수도 고려하여 어느 DC 예측 모드가 이용될지를 결정한다. 보다 구체적으로는, 인코더는 이미지의 상단-좌측 매크로블록에 대해서는 어떠한 예측 모드도 선택하지 않는다(즉, 현재 매크로블록 [mx, my]=[0,0]). 인코더는 이미지의 좌측 모서리를 따라(즉, 인덱스(mx)가 0일 경우에) 매크로블록에 대한 상단 예측을 선택한다. 인코더는 이미지의 매크로블록의 상단 행에서(즉, 인덱스(my)가 0일 경우에) 매크로블록에 대한 좌측 예측을 선택한다.
(예를 들면, 이미지의 내부에 있는)모든 다른 매크로블록에 대하여, 인코더는 우세한 방향성의 메트릭에 기초하여 어떤 예측 모드가 이용될지를 결정한다. 예를 들면, 가로줄이 있는 이미지 영역은 가로로 된 우세한 방향성을 가진다. 즉, 현재 매크로블록의 가로의 이웃은 이 매크로블록의 세로 이웃 보다 바람직한 그 DC 계수의 예측자이다. 도 9에 도시된 바와 같이, 이러한 메트릭은 현재 매크로블록(X)의 대각선 이웃(D)과 현재 매크로블록의 좌측(L) 및 상부(T) 이웃의 DC 계수의 방향적인 차에 기초하여 계산된다. 이미지가 (예를 들면, 흑백 이미지가 아닌, YUV 색 포맷 이미지에 대하여) 색 및 크로미넌스 채널을 가지는 경우, 메트릭은 크로미넌스 채널의 대응하는 매크로블록의 DC 계수를 더 고려할 수 있다. 실제로, 프로시저는 대각선 이웃의 DC 계수가 왼쪽 이웃의 DC계수와 거의 근접할 경우에는 세로인 우세한 방향성이 있다고 판정한다. 한편, 대각선 이웃 DC 계수가 상부 이웃의 DC계수와 거의 근접하다면, 이 메트릭은 가로인 우세한 방향성을 보여줄 것이다. 메트릭은 가중 팩터(orient-weight)에 기초하여 "우세함(dominancy)"을 결정한다. 예시된 프로시저에서, 이 가중 팩터는 4이다. 즉, 소정 방향의 차가 다른 방향의 차보다 4배를 초과한다면 그 방향은 우세한 것으로 고려된다. 그러나, 이 가중 팩터는 대안적인 구현에서는 다른 값으로 설정될 수 있는 파라미터이다.
가로 우세함도 없고 세로 우세함도 없는 경우에는, 인코더는 결합된 좌측과 상단 예측 모드(상술한 리스트 중 3번)를 선택하고, 이 경우 예측자는 상단 및 좌측 매크로블록의 DC 계수의 평균이다.
2.2 로우 패스 DCAC 예측
도 2 및 도 4를 다시 참조해 보면, 대표적인 인코더(200)는 외부 단계 변환으로부터의 (도 2의) DC 계수(260)에 적용되는 제2, 즉, 내부 단계 변환을 포함한다. 본원에서는 (도 4의) 결과 계수 블록(400)의 ('1', '2', '3', '4', '8' 및 '12'위치에서의) DCAC 계수를 로우 패스 DCAC 계수라 칭한다.
대표적인 인코더 및 디코더는 매크로블록의 내부 단계 변환으로부터의 로우 패스 DCAC 계수의 예측에 3가지 예측 모드를 이용한다. 이들 모드는 다음과 같다:
1. 왼쪽으로부터 예측(즉, 매크로블록의 로우 패스 DCAC 계수에 대한 예측자 는 이 매크로블록의 왼쪽으로의 대응하는 DCAC 계수, 즉, predictor =DCAC[left_MB]이다) - 이 경우 '4', '8', 및 '12'라 표시된 계수들이 단독으로 예측된다.
2. 상단으로부터 예측(즉, 예측자는 이 매크로블록의 위로의 대응하는 로우 패스 DCAC 계수, 즉, predictor =DCAC[top_MB]이다) - 이 경우 '1', '2', 및 '3'이라 표시된 계수들이 단독으로 예측된다..
3. 널(null) 예측(예측이 없다, predictor =0).
인코더는 도 11의 의사 코드 리스팅(1100)에 예시된 프로시저에 따라 매크로블록에 어떤 예측 모드가 이용될지를 결정한다. 예시된 프로시저에서, 인코더는, DC 예측자인 매크로블록과 현재 매크로블록의 양자화기 인덱스들과 함께 매크로블록의 DC 예측 모드에 기초하여 어떤 로우 패스 DCAC 예측 모드가 이용될지를 결정한다. 이러한 규칙은 내부 변환 DCAC 계수의 예측이 서로 다른 양자화기를 가지는 매크로블록들 간에는 일어나지 않음을 보장한다. 또한, DCAC는 소정 방향이 우세한 경우에만 예측되는데, 이는 상술한 DC 예측 모드 프로시저 마다 유도된다(즉, DC 예측 모드는 가로 우세함이 발견된 경우에는 "좌측으로부터 예측"이며, 세로 우세함이 발견된 경우에는 "상단으로부터 예측"이다).
도 5를 참조해 보면, YUV 4:2:2 색 포맷 이미지에 대한 DCAC 예측 프로시저는 블록 내의 '5'라는 라벨이 붙은 위치의 로우 패스 DCAC 계수에 대하여 특수한 경우를 가진다. 이 특수한 경우에서, DC 예측 모드가 DCAC 예측 모드에 관계 없이 "상단으로부터 예측"인 경우 '5'라는 라벨이 붙은 계수는 계수 '1'로부터 예측된 다.
2.2. 하이 패스 DCAC 예측
도 2를 다시 참조해 보면, 대표적인 인코더/디코더에서 하이 패스 DCAC 계수에 대한 예측은 2 단계 변환 때문에 복잡해진다. 하이 패스 DCAC 계수는 외부 단계 변환(250)으로부터 생성된 하이패스 변환 계수(262)의 DCAC 계수이다. 또한, 상술한 바와 같이, 대표적인 인코더에서 이 예측은 양자화(270) 다음에 수행되어, 대표적인 디코더에서 이 예측 또한 (도 3의) 디코딩(320)에서 (도 3의) 역양자화(330) 이전에 위치하도록 한다. 디코딩 프로세스 중 이 시점에서는, 외부 단계 변환 블록의 DC 계수를 재구성 하기 위한 역 내부 단계 변환이 아직 수행되지 않았다. 마찬가지로, 엔트로피 인코딩(280) 시에는, 대표적인 인코더는 내부 단계 변환을 외부 단계 변환 블록의 이들 DC 계수(260)에 이미 적용한 것이어서, 외부 단계 DC 계수(260)가 역 내부 단계 변환을 또한 수행하지 않고는 더 이상 이용될 수 없도록 한다. 그러므로 하이 패스 DCAC 예측의 기초로 외부 변환의 DC 계수(260)를 두는 것은 바람직하지 않다. 그렇지 않다면, 디코더는 동일한 숫자 정확도를 가지는 것으로 제한될 것이다. 인코더는 디코더 루프를 실행(즉, 역 내부 단계 변환)하는 데에 제한될 것이며, 이는 "오픈-루프" 기반에서 동작하는 코덱에 대하여 융통성이 없다. 이러한 이유 때문에, 대표적인 인코더/디코더는 하이 패스 DCAC 예측 코딩의 기초로 오직 역 변환 이전에 디코딩된 양자화된 값만을 둔다.
대표적인 인코더/디코더의 이러한 2 단계 변환은 하이 패스 변환 계수가 디코딩되기 전에도, 로우 패스 변환 계수로부터 현재 매크로블록의 성질에 대한 소정 정보가 이미 알려질 수 있다는 점에서 바람직하다. 이러한 정보는 예측의 방향성을 결정하는 데에 이용된다. 대표적인 인코더/디코더는 내부 변환 계수만을 기초하여 매크로블록의 우세한 방향성을 판정하는 데에 간단하지만 효과적인 메트릭을 이용한다.
대표적인 인코더 및 디코더는 매크로블록의 외부 단계 변환으로부터의 하이 패스 DCAC 계수의 예측에 3가지 예측 모드를 이용한다. 이들 모드는 다음과 같다:
1. 좌측으로부터 예측(즉, 도 13의 매크로블록(1300)의 좌측-예측된 DCAC 계수에 대하여 도시된 바와 같이, 이 블록의 하이 패스 DCAC 계수에 대한 예측자는 이 블록의 왼쪽으로의 대응하는 위치에 있는 하이 패스 DCAC 계수, 즉, predictor =DCAC[left_MB]이다).
2. 상단으로부터 예측(즉, 도 14의 매크로블록(1400)의 상단-예측된 DCAC 계수에 대하여 도시된 바와 같이, 예측자는 이 블록의 위로의 대응하는 위치의, 하이 패스 DCAC 계수, 즉, predictor =DCAC[top_MB]이다).
3. 널(null) 예측(예측이 없다, predictor =0).
대표적인 인코더/디코더에서, 인-매크로블록(in-macroblock) 예측이 가능한 매크로블록 내의 모든 블록에 동일한 모드가 적용된다(그러나, 대안적인 구현에서는 매크로블록의 모든 블록에 동일한 모드를 적용할 필요는 없다). 즉, 이 매크로블록에 대하여 "좌측으로부터 예측" 또는 "상단으로부터 예측" 모드가 선택된 경우라도, 매크로블록 내에 어떠한 유효 기준도 없는 블록들의 하이 패스 DCAC 계수에 대해서는 어떠한 예측도 이루어지지 않는다.
인코더는 도 12의 의사-코드 리스팅(1200)에 의해 예시된 프로시저에 따라 매크로블록에 어떤 모드가 사용될지를 결정한다. 이 프로시저에서, (도 10의 DC 예측 프로시저(100)와 마찬가지로) 방향적인 우세함을 검사하는 데에 다시 가중 팩터가 이용된다. 대표적인 인코더 및 디코더는 두 프로시저 모두에서 가중 팩터의 값을 이용하지만, 대안적인 구현에서는 두 프로시저에 동일한 값 파라미터가 이용될 필요는 없다. 매크로블록의 내부 단계 변환으로부터의 로우 패스 DCAC 계수, 및 (존재할 경우) 크로미넌스 채널로부터의 로우 패스 DCAC 계수에 기초하여 하이 패스 DCAC 예측 프로시저(1200)의 방향 차가 계산된다. 의사-코드 리스팅(1200)에서, 도 4에 도시된 블록 구조에서와 같이 값 "lowpass[i]"은 좌측에서 우측, 상단에서 하단 순서로 라벨이 달린 대응하는 인덱스 (i) 위치에서의 로우 패스 DCAC 계수이다. 값 "lowpass_U[i]" 및 "lowpass_V[i]"는 YUV 색 포맷 이미지의 U 및 V 크로미넌스 채널의 내부 단계 변환 블록으로부터의 로우 패스 DCAC 계수이다. 이들 크로미넌스 채널은 각각 YUV 4:4:4, YUV 4:2:2, 및 YUV 4:2:0에 대한 도 4, 5, 및 6에 도시된 블록 구조(400, 500, 및 600)에서와 같이 계수 인덱스들을 가진다.
도시된 하이 패스 DCAC 예측 프로시저에서, 이웃하는 매크로블록의 예측에 이용되는 매크로블록으로부터 이용가능하도록 유지될 필요가 있는 정보는 단지 매크로블록 채널 당 하나의 DC 계수 및 6개의 DCAC 계수이다(이는 YUV 4:2:0 및 YUV 4:4:2 색 포맷 이미지의 크로미넌스 채널에 비하여 적은 수이다). 이는 (YUV 4:4:4 경우) 매크로블록당 캐슁될 필요가 있는, 기껏해야 21개의 계수이다. 또한, 좌측으로부터의 예측에 이용되는 계수는 다음 매크로블록이 인코딩/디코딩된 후에 는 버려질 수 있다. 따라서, YUV 4:4:4에서는, 매크로블록의 다음 행에 이용하기 위해서는 매크로블록 당 12개의 계수만을 캐슁할 필요가 있다.
인코더/디코더에 의해 타일링이 이용되는 경우, 각 타일은 예측 변환 계수 코딩을 위하여 개별적인 이미지가 되는 것으로 여겨진다. 이는 이미지 타일의 독립적인 디코딩을 보장한다.
4. 컴퓨팅 환경
상술한 인코더(200)(도 2) 및 디코더(300)(도 3) 및 예측 변환 계수 코딩을 위한 기술은, 여러 예들 중에서도 특히 컴퓨터; 이미지 및 비디오 기록, 송신 및 수신 장비; 휴대형 비디오 플레이어 ; 비디오 회의 등을 포함하는, 디지털 미디어 신호 처리가 수행되는 각종의 디바이스들 중 임의의 것에서 수행될 수 있다. 디지털 미디어 코딩 기술들은 하드웨어 회로에서는 물론, 도 15에 도시된 것과 같은, 컴퓨터 또는 다른 컴퓨팅 환경 내에서 실행하는 디지털 미디어 처리 소프트웨어에서 구현될 수 있다.
도 15는 설명된 실시예들이 구현될 수 있는 적합한 컴퓨팅 환경(1300)의 일반화된 예를 예시한다. 본 발명은 다양한 범용 또는 특수 목적 컴퓨팅 환경들에서 구현될 수 있으므로, 컴퓨팅 환경(1300)은 본 발명의 용도 또는 기능성의 범위에 관해 어떤 제한을 암시하고자 하는 것이 아니다.
도 15를 참조하면, 컴퓨팅 환경(1300)은 적어도 하나의 처리 장치(1510) 및 메모리(1520)를 포함한다. 도 15에서는, 이 가장 기본적인 구성(1530)이 점선 안에 포함되어 있다. 처리 장치(1510)는 컴퓨터 실행가능 명령어들을 실행하고 실제 또는 가상 프로세서일 수 있다. 다중 프로세싱 시스템에서는, 다수의 처리 장치들이 컴퓨터 실행가능 명령어들을 실행하여 처리 능력을 증가시킨다. 메모리(1520)는 휘발성 메모리(예컨대, 레지스터, 캐시, RAM), 비휘발성 메모리(예컨대, ROM, EEPROM, 플래시 메모리 등), 또는 그 둘의 어떤 조합일 수 있다. 메모리(1520)는 설명된 예측 변환 계수 코딩 기술들을 구현하는 소프트웨어(1580)를 저장한다.
컴퓨팅 환경은 부가적인 특징들을 가질 수 있다. 예를 들면, 컴퓨팅 환경(1500)은 저장 장치(1540), 하나 이상의 입력 장치(1550), 하나 이상의 출력 장치(1560), 및 하나 이상의 통신 접속들(1570)을 포함한다. 버스, 컨트롤러, 또는 네트워크와 같은 상호 접속 메커니즘(도시 생략)이 컴퓨팅 환경(1500)의 구성 요소들을 상호 접속시킨다. 전형적으로, 운영 체제 소프트웨어(도시 생략)는 컴퓨팅 환경(1500)에서 실행하는 다른 소프트웨어에 대한 운영 환경을 제공하고, 컴퓨팅 환경(1500)의 구성 요소들의 활동들을 조정(coordinate)한다.
저장 장치(1540)는 이동식 또는 비이동식일 수 있고, 자기 디스크, 자기 테이프 또는 카세트, CD-ROM, CD-RW, DVD, 또는 컴퓨팅 환경(1500) 내에서 액세스될 수 있고 정보를 저장하는 데 이용될 수 있는 임의의 기타 매체를 포함한다. 저장 장치(1540)는 설명된 인코더/디코더 및 예측 변환 계수 코딩 기술들을 구현하는 소프트웨어(1580)용의 명령어들을 저장한다.
입력 장치(들)(1550)는 키보드, 마우스, 펜, 또는 트랙볼 등의 터치 입력 장치, 음성 입력 장치, 스캐닝 장치, 또는 컴퓨팅 환경(1500)에 입력을 제공하는 다른 장치일 수 있다. 오디오의 경우, 입력 장치(들)(1550)는 아날로그 또는 디지털 형태로 오디오 입력을 수신하는 사운드 카드 또는 유사 장치, 또는 컴퓨팅 환경에 오디오 샘플들을 제공하는 CD-ROM 리더(reader)일 수 있다. 출력 장치(들)(1560)는 디스플레이, 프린터, 스피커, CD-라이터(writer), 또는 컴퓨팅 환경(1500)으로부터의 출력을 제공하는 다른 장치일 수 있다.
통신 접속(들)(1570)은 통신 매체를 통한 다른 컴퓨팅 엔티티로의 통신을 가능케 한다. 통신 매체는 피변조 데이터 신호(modulated data signal)에 컴퓨터 실행가능 명령어, 압축된 오디오나 비디오 정보, 또는 기타 데이터 등의 정보를 전달한다. 피변조 데이터 신호는, 신호 내에 정보를 인코딩하도록 그 신호의 특성들 중 하나 이상을 설정 또는 변경시킨 신호이다. 예로서, 통신 매체는 전기, 광, RF, 적외선, 또는 기타 반송파로 구현된 유선 또는 무선 기술들을 포함하지만, 이에 제한되는 것은 아니다.
본 명세서의 디지털 미디어 처리 기술들은 일반적으로 컴퓨터 판독가능 매체와 관련하여 설명될 수 있다. 컴퓨터 판독가능 매체는 컴퓨터 환경 내에서 액세스될 수 있는 임의의 이용 가능한 매체이다. 예로서, 컴퓨팅 환경(1500)에서, 컴퓨터 판독가능 매체는 메모리(1520), 저장 장치(1540), 통신 매체, 및 상기한 것들의 임의의 조합들을 포함하지만, 이에 제한되는 것은 아니다.
본 명세서의 디지털 미디어 처리 기술들은 일반적으로 컴퓨팅 환경에서 대상 실제 또는 가상 프로세서 상에서 실행되는, 프로그램 모듈들에 포함된 것들과 같은, 컴퓨터 실행가능 명령어들과 관련하여 설명될 수 있다. 일반적으로, 프로그램 모듈은 특정 태스크를 수행하거나 특정 추상 데이터 유형을 구현하는 루틴, 프로그 램, 라이브러리, 개체, 클래스, 컴포넌트, 데이터 구조 등을 포함한다. 프로그램 모듈들의 기능성은 다양한 실시예들에서 프로그램 모듈들 간에 원하는 대로 조합 또는 분할될 수 있다. 프로그램 모들 용의 컴퓨터 실행가능 명령어들은 로컬 또는 분산 컴퓨팅 환경 내에서 실행될 수 있다.
프리젠테이션을 위하여, 상세한 설명은 "판정(determine)", "생성(generate)", "조정(adjust)", 및 "적응(apply)"과 같은 용어들을 이용하여 컴퓨팅 환경에서의 컴퓨터 동작들을 설명한다. 이들 용어들은 컴퓨터에 의해 수행되는 동작들에 대한 고급 추상화이고, 인간에 의해 수행되는 행위들과 혼동해서는 안된다. 이들 용어들에 대응하는 실제 컴퓨터 동작들은 구현에 따라서 변한다.
본 명세서에서 설명된 요지의 많은 가능한 변형들을 고려하여, 다음의 청구항들 및 그 균등물들의 범위 내에 들 수 있는 모든 그러한 실시예들을 본 발명으로서 청구한다.

Claims (30)

  1. 디지털 비디오 또는 이미지 데이터를 포함하는 디지털 미디어 데이터를 변환 계수의 예측 코딩을 이용하여 인코딩하는 방법으로서,
    상기 디지털 미디어 데이터의 현재 매크로블록 내의 블록들에 제 1 단계 변환을 적용하는 단계와,
    상기 제 1 단계 변환으로부터 생성된 DC 계수를 DC 계수의 그룹으로 그룹화하는 단계와,
    상기 DC 계수의 그룹에 제 2 단계 변환을 적용하여 상기 현재 매크로블록의 DC 계수를 포함하는 상기 현재 매크로블록에 대한 변환 계수 세트를 생성하는 단계와,
    상기 변환 계수 중 적어도 일부에 대해 예측 코딩을 수행하는 단계를 포함하되,
    상기 예측 코딩은
    상기 현재 매크로블록의 위치에 있어서 상기 디지털 미디어 데이터의 적어도 2개의 방향 중 하나가 우세(dominant)한지를 판정하는 단계 -한 방향의 방향 차가 다른 방향의 방향 차의 가중 팩터 배(weighting factor times)보다 더 큰 경우에 상기 한 방향이 우세한 것으로 고려됨- 와,
    상기 현재 매크로블록의 위치에 있어서 상기 적어도 2개의 방향 중 하나가 우세하다고 판정된 경우, 상기 판정된 우세한 방향에 따라서 상기 현재 매크로블록의 상기 DC 계수의 예측자(predictor)를 선택하는 단계와,
    상기 현재 매크로블록의 상기 DC 계수를 그 예측자에 대해 인코딩하는 단계를 포함하는
    디지털 미디어 데이터 인코딩 방법.
  2. 제1항에 있어서,
    상기 현재 매크로블록의 위치에서 상기 적어도 2개의 방향 중 어느 것도 우세하지 않다고 판정된 경우, 상기 적어도 2개의 방향의 조합에 따라 상기 현재 매크로블록의 상기 DC 계수의 예측자를 선택하는 단계를 포함하는
    디지털 미디어 데이터 인코딩 방법.
  3. 제1항에 있어서,
    상기 방향은 적어도 가로방향 및 세로 방향을 포함하는
    디지털 미디어 데이터 인코딩 방법.
  4. 제1항에 있어서,
    상기 현재 매크로블록의 위치에서 상기 디지털 미디어 데이터의 적어도 2개의 방향 중 하나가 우세한지를 판정하는 단계는
    상기 적어도 2개의 방향에 대한 방향 차 메트릭을, 상기 적어도 2개의 방향에 있어서의 선행하는 매크로블록의 DC 계수의 함수로서 계산하는 단계와,
    상기 계산된 방향 차에 기초하여 상기 적어도 2개의 방향 중 하나가 우세한지를 판정하는 단계를 포함하는
    디지털 미디어 데이터 인코딩 방법.
  5. 제4항에 있어서,
    상기 방향 차 메트릭을 계산하는 단계는
    상기 적어도 2개의 방향에 대한 상기 방향 차 메트릭을, 상기 적어도 2개의 방향에 있어서의 상기 디지털 미디어 데이터의 복수의 채널로부터의 상기 선행하는 매크로블록의 상기 DC 계수의 함수로서 계산하는 단계를 포함하는
    디지털 미디어 데이터 인코딩 방법.
  6. 제5항에 있어서,
    상기 복수의 채널은 휘도 채널 및 적어도 하나의 크로미넌스(chrominance) 채널을 포함하는
    디지털 미디어 데이터 인코딩 방법.
  7. 제1항에 있어서,
    상기 현재 매크로블록에 대한 상기 변환 계수 세트는 상기 현재 매크로블록에 대한 복수의 로우 패스(low pass) 계수를 포함하고,
    상기 방법은
    상기 현재 매크로블록의 위치에 있어서 상기 적어도 2개의 방향 중 하나가 우세하다고 판정되면, 상기 판정된 우세한 방향에 따라서 상기 현재 매크로블록의 상기 로우 패스 계수들 중 적어도 하나의 예측자를 선택하는 단계와,
    상기 현재 매크로블록의 위치에 있어서 상기 적어도 2개의 방향 중 어느 것도 우세하다고 판정되지 않으면, 예측자를 이용하지 않고 상기 현재 매크로블록의 상기 로우 패스 계수들을 인코딩하는 단계를 더 포함하는
    디지털 미디어 데이터 인코딩 방법.
  8. 제7항에 있어서,
    상기 적어도 2개의 방향 중 하나가 우세하다고 판정되고 상기 현재 매크로블록의 상기 로우 패스 계수들 중 적어도 일부의 상기 예측자를 선택하는 경우,
    상기 판정된 우세한 방향에 따라 선택된 상기 예측자를 포함하는 선행 매크로블록이 상기 현재 매크로블록과 동일한 양자화기를 가지는지를 판정하는 단계와,
    동일한 양자화기를 가지지 않은 것으로 판정된 경우, 예측자를 이용하지 않고 상기 현재 매크로블록의 상기 로우 패스 계수를 인코딩하는 단계를 더 포함하는
    디지털 미디어 데이터 인코딩 방법.
  9. 제1항에 있어서,
    상기 제 1 단계 변환은 상기 현재 매크로블록 내의 블록들에 대한 제 1 단계 변환 계수 세트를 생성하고,
    상기 현재 매크로블록 내의 각각의 블록의 상기 제 1 단계 변환 계수는 상기 제 1 단계 변환으로부터의 복수의 제 1 단계 하이 패스 계수(high pass coefficients)를 포함하며,
    상기 방법은 또한,
    상기 적어도 2개의 방향에 있어서의 상기 제 1 단계 하이 패스 계수에 대한 방향 차 메트릭을 상기 제 2 단계 변환으로부터 생성된 제 2 단계 로우 패스 계수(low pass coefficients)의 함수로서 계산하는 단계와,
    상기 제 1 단계 하이 패스 계수에 대한 상기 계산된 방향 차 메트릭에 기초하여 상기 현재 매크로블록에 대한 상기 제 1 단계 하이 패스 계수에 대해 상기 디지털 미디어 데이터의 적어도 2개의 방향 중 하나가 우세한지를 판정하는 단계와,
    상기 현재 매크로블록에 대한 상기 제 1 단계 하이 패스 계수에 대해 상기 적어도 2개의 방향 중 하나가 우세하다고 판정되면, 상기 판정된 우세한 방향에 따라서 상기 제 1 단계 하이 패스 계수들 중 적어도 일부의 예측자를 선택하는 단계와,
    상기 제 1 단계 하이 패스 계수들 중 적어도 일부를 그들의 예측자에 대해 인코딩하는 단계를 더 포함하는
    디지털 미디어 데이터 인코딩 방법.
  10. 제9항에 있어서,
    상기 방향 차 메트릭을 상기 제 2 단계 로우 패스 계수의 함수로서 계산하는 단계는
    상기 디지털 미디어 데이터의 복수의 채널로부터 상기 방향 차 메트릭을 계산하는 단계를 포함하는
    디지털 미디어 데이터 인코딩 방법.
  11. 제10항에 있어서,
    상기 복수의 채널은 휘도 채널 및 적어도 하나의 크로미넌스 채널을 포함하는
    디지털 미디어 데이터 인코딩 방법.
  12. 컴퓨터로 하여금 변환 계수의 예측 코딩을 사용하여 디지털 비디오 또는 이미지 데이터를 포함하는 디지털 미디어 데이터를 인코딩하는 방법을 수행하게 하는 컴퓨터 실행가능한 인스트럭션을 포함하는 적어도 하나의 컴퓨터 판독가능한 매체로서,
    상기 방법은
    상기 디지털 미디어 데이터의 현재 매크로블록 내의 블록들에 제 1 단계 변환을 적용하는 단계와,
    상기 제 1 단계 변환으로부터 생성된 DC 계수를 DC 계수의 그룹으로 그룹화하는 단계와,
    상기 DC 계수의 그룹에 제 2 단계 변환을 적용하여 상기 현재 매크로블록의 DC 계수를 포함하는 상기 현재 매크로블록에 대한 변환 계수 세트를 생성하는 단계와,
    상기 변환 계수 중 적어도 일부에 대해 예측 코딩을 수행하는 단계를 포함하되,
    상기 예측 코딩은
    상기 현재 매크로블록의 위치에서의 상기 디지털 미디어 데이터의 적어도 2개의 방향 중 하나가 우세한지를 판정하는 단계 -한 방향의 방향 차가 다른 방향의 방향 차의 가중 팩터 배(weighting factor times)보다 더 큰 경우에 상기 한 방향이 우세한 것으로 고려됨- 와,
    상기 현재 매크로블록의 위치에서 상기 적어도 2개의 방향 중 하나가 우세하다고 판정된 경우, 상기 판정된 우세한 방향에 따라서 상기 현재 매크로블록의 상기 DC 계수의 예측자를 선택하는 단계와,
    상기 현재 매크로블록의 상기 DC 계수를 그 예측자에 대해 인코딩하는 단계를 포함하는
    적어도 하나의 컴퓨터 판독가능 기록 매체.
  13. 디지털 미디어 처리 장치로서,
    인코딩 또는 디코딩되는 디지털 미디어 데이터를 저장하기 위한 데이터 저장 버퍼와,
    프로세서를 포함하되,
    상기 프로세서는
    현재 매크로블록 내의 블록들에 대한 상기 디지털 미디어 데이터의 적어도 2개의 방향 중 하나가 우세한지를 내부 단계 변환 -상기 내부 단계 변환은 외부 단계 변환으로부터 생성된 DC 계수의 그룹에 적용되고, 상기 외부 단계 변환은 상기 현재 매크로블록 내의 블록들에 적용됨- 으로부터 생성된 계수에 기초하여 판정하고,
    상기 현재 매크로블록 내의 블록들에 대해 상기 적어도 2개의 방향 중 하나가 우세하다고 판정되면, 상기 판정된 우세한 방향에 따라 단방향으로 상기 현재 매크로블록 내의 블록들의 상기 외부 단계 변환으로부터 생성된 복수의 계수들 중 적어도 일부의 예측자를 선택하고,
    상기 현재 매크로블록 내의 상기 블록들의 상기 외부 단계 변환으로부터 생성된 상기 계수들 중 적어도 일부를 그들의 예측자에 대해 인코딩 또는 디코딩하도록 프로그래밍되는
    디지털 미디어 처리 장치.
  14. 제13항에 있어서,
    상기 프로세서는 또한
    선행하는 이웃 매크로블록의 DC 계수에 기초한 DC 예측에 있어 상기 현재 매크로블록의 위치에서 상기 디지털 미디어 데이터의 적어도 2개의 방향 중 하나가 우세한지를 판정하고 -한 방향의 방향 차가 다른 방향의 방향 차의 가중 팩터 배보다 더 큰 경우에 상기 한 방향이 우세한 것으로 고려됨-,
    상기 현재 매크로블록의 위치에서의 DC 예측에 있어서 상기 적어도 2개의 방향 중 하나가 우세하다고 판정된 경우, 상기 판정된 우세한 방향에 따라 상기 현재 매크로블록의 상기 DC 계수의 예측자를 선택하고 - 상기 현재 매크로블록의 상기 DC 계수는 상기 내부 단계 변환으로부터 생성됨 - ,
    상기 현재 매크로블록의 상기 DC 계수를 그 예측자에 대해 인코딩 또는 디코딩하도록 프로그래밍되는
    디지털 미디어 처리 장치.
  15. 제14항에 있어서,
    상기 프로세서는 또한
    상기 현재 매크로블록의 위치에서의 DC 예측에 있어서 상기 적어도 2개의 방향 중 하나가 우세하다고 판정된 경우, 상기 현재의 매크로블록의 양자화기가 상기 판정된 우세한 방향에 따르는 방향의 이웃 매크로블록의 양자화기와 다른 경우를 제외하면, 상기 판정된 우세한 방향에 따라 상기 현재 매크로블록의 상기 계수들 중 적어도 일부의 예측자를 선택하고 -상기 현재 매크로블록의 계수들은 상기 내부 단계 변환으로부터 생성됨- ,
    상기 현재 매크로블록의 상기 계수들 중 적어도 일부를 그들의 예측자에 대해 인코딩 또는 디코딩하도록 프로그래밍되는
    디지털 미디어 처리 장치.
  16. 제15항에 있어서,
    현재 매크로블록 내의 블록들에 대해 그리고 상기 매크로블록의 상기 위치에 대해 적어도 2개의 방향 중 하나가 우세한지에 대한 상기 판정은 상기 디지털 미디어 데이터의 복수의 채널 내의 상기 계수 각각에 기초하고,
    상기 복수의 채널은 휘도 채널 및 적어도 하나의 크로미넌스 채널을 포함하는
    디지털 미디어 처리 장치.
  17. 컴퓨터로 하여금 디지털 비디오 또는 이미지 데이터를 포함하는 디지털 미디어 데이터를 처리하는 방법을 수행하게 하는 컴퓨터 실행가능한 인스트럭션을 포함하는 적어도 하나의 컴퓨터 판독가능한 매체로서,
    상기 방법은
    현재 매크로블록 내의 블록들에 대한 상기 디지털 미디어 데이터의 적어도 2개의 방향에 대한 방향 차 메트릭을 내부 단계 변환으로부터 생성된 계수에 기초하여 계산하는 단계 -상기 내부 단계 변환은 외부 단계 변환으로부터 생성된 DC 계수의 그룹에 적용되고, 상기 외부 단계 변환은 상기 현재 매크로블록 내의 블록들에 적용됨- 와,
    상기 방향 차 메트릭에 기초하여 현재 매크로블록 내의 블록들에 대한 상기 디지털 미디어 데이터의 상기 적어도 2개의 방향 중 하나가 우세한지를 판정하는 단계와,
    상기 현재 매크로블록 내의 블록들에 대하여 상기 적어도 2개의 방향 중 하나가 우세하다고 판정되면, 상기 판정된 우세한 방향에 따라 단방향으로 상기 현재 매크로블록 내의 블록들의 상기 외부 단계 변환으로부터 생성된 복수의 계수 중 적어도 일부의 예측자를 선택하는 단계와,
    상기 현재 매크로블록 내의 블록들의 상기 외부 단계 변환으로부터 생성된 상기 계수들 중 적어도 일부를 그들의 예측자에 대해 인코딩 또는 디코딩하는 단계를 포함하는
    컴퓨터 판독가능 기록 매체.
  18. 제17항에 있어서,
    상기 디지털 미디어 데이터 처리 방법은
    선행하는 이웃 매크로블록의 DC 계수에 기초하여 상기 현재 매크로블록의 위치에서 상기 디지털 미디어 데이터의 적어도 2개의 방향에 대한 방향 차 메트릭을 계산하는 단계와,
    상기 현재 매크로블록의 위치에 있어서의 상기 계산된 방향 차 메트릭에 기초하여, DC 예측에 대해 상기 현재 매크로블록의 위치에서 상기 디지털 미디어 데이터의 상기 적어도 2개의 방향 중 하나가 우세한지를 판정하는 단계와,
    상기 현재 매크로블록의 위치에서의 DC 예측에 있어서 상기 적어도 2개의 방향 중 하나가 우세하다고 판정되면, DC 예측에 대해 상기 판정된 우세한 방향에 따라 상기 현재 매크로블록의 상기 DC 계수의 예측자를 선택하는 단계와,
    상기 현재 매크로블록의 상기 DC 계수를 그 예측자에 대해 인코딩 또는 디코딩하는 단계를 더 포함하는
    컴퓨터 판독가능 기록 매체.
  19. 제18항에 있어서,
    상기 디지털 미디어 데이터 처리 방법은
    상기 현재 매크로블록의 위치에서의 DC 예측에 있어서 상기 적어도 2개의 방향 중 하나가 우세하다고 판정된 경우, 상기 현재의 매크로블록의 양자화기가 상기 판정된 우세한 방향에 따르는 방향의 이웃 매크로블록의 양자화기와 다른 경우를 제외하면, 상기 판정된 우세한 방향에 따라 상기 현재 매크로블록의 상기 계수들 중 적어도 일부의 예측자를 선택하는 단계 -상기 현재 매크로블록의 계수들은 상기 내부 단계 변환으로부터 생성됨- 와,
    상기 현재 매크로블록의 상기 계수들 중 적어도 일부를 그들의 예측자에 대해 인코딩 또는 디코딩하는 단계를 더 포함하는
    컴퓨터 판독가능 기록 매체.
  20. 변환 계수의 예측 코딩을 이용하여 이미지 디코더로 디지털 비디오 또는 이미지 데이터를 포함하는 디지털 미디어 데이터를 디코딩하는 방법에 있어서,
    현재 매크로블록의 위치에서 상기 디지털 미디어 데이터의 적어도 2개의 방향 중 하나가 우세한지를 판정하는 단계 -한 방향의 방향 차가 다른 방향의 방향 차의 가중 팩터 배보다 더 큰 경우에 상기 한 방향이 우세한 것으로 고려됨- 와,
    상기 현재 매크로블록의 위치에서 상기 적어도 2개의 방향 중 하나가 우세하다고 판정된 경우, 상기 판정된 우세한 방향에 따라서 상기 현재 매크로블록의 DC 계수의 예측자를 선택하는 단계와,
    상기 현재 매크로블록의 상기 DC 계수를 그 예측자에 대해 디코딩하는 단계와,
    상기 DC 계수를 포함하는 제 2 단계 변환 계수 세트에 제 2 단계 역변환을 적용하여 제 1 단계 DC 계수 그룹을 생성하는 단계와,
    상기 현재 매크로블록의 블록들에 대해 제 1 단계 변환 계수 세트에 제 1 단게 역변환을 적용하는 단계를 포함하되,
    상기 제 1 단계 변환 계수 세트의 각각은 상기 제 1 단계 DC 계수 그룹으로부터의 각각의 상기 제 1 단계 DC 계수를 포함하는
    디지털 미디어 데이터 디코딩 방법.
  21. 제20항에 있어서,
    상기 현재 매크로블록의 위치에서 상기 적어도 2개의 방향 중 어느 것도 우세하지 않다고 판정된 경우, 상기 적어도 2개의 방향의 조합에 따라 상기 현재 매크로블록의 상기 DC 계수의 예측자를 선택하는 단계를 포함하는
    디지털 미디어 데이터 디코딩 방법.
  22. 제20항에 있어서,
    상기 방향은 적어도 가로방향 및 세로 방향을 포함하는
    디지털 미디어 데이터 디코딩 방법.
  23. 제20항에 있어서,
    상기 현재 매크로블록의 위치에서 상기 디지털 미디어 데이터의 적어도 2개의 방향 중 하나가 우세한지를 판정하는 단계는
    상기 적어도 2개의 방향에 대한 방향 차 메트릭을, 상기 적어도 2개의 방향에 있어서의 선행하는 매크로블록의 DC 계수의 함수로서 계산하는 단계와,
    상기 계산된 방향 차에 기초하여 상기 적어도 2개의 방향 중 하나가 우세한지를 판정하는 단계를 포함하는
    디지털 미디어 데이터 디코딩 방법.
  24. 제23항에 있어서,
    상기 방향 차 메트릭을 계산하는 단계는
    상기 적어도 2개의 방향에 대한 상기 방향 차 메트릭을, 상기 적어도 2개의 방향에 있어서의 상기 디지털 미디어 데이터의 복수의 채널로부터의 상기 선행하는 매크로블록의 상기 DC 계수의 함수로서 계산하는 단계를 포함하는
    디지털 미디어 데이터 디코딩 방법.
  25. 제24항에 있어서,
    상기 복수의 채널은 휘도 채널 및 적어도 하나의 크로미넌스(chrominance) 채널을 포함하는
    디지털 미디어 데이터 디코딩 방법.
  26. 제20항에 있어서,
    상기 현재 매크로블록에 대한 상기 제 2 단계 변환 계수 세트는 상기 현재 매크로블록에 대한 복수의 로우 패스(low pass) 계수를 포함하고,
    상기 방법은
    상기 현재 매크로블록의 위치에서 상기 적어도 2개의 방향 중 하나가 우세하다고 판정되면, 상기 판정된 우세한 방향에 따라서 상기 현재 매크로블록의 상기 로우 패스 계수들 중 적어도 일부의 예측자를 선택하는 단계와,
    상기 현재 매크로블록의 위치에서 상기 적어도 2개의 방향 중 어느 것도 우세하다고 판정되지 않으면, 예측자를 이용하지 않고 상기 현재 매크로블록의 상기 로우 패스 계수들을 디코딩하는 단계를 포함하는
    디지털 미디어 데이터 디코딩 방법.
  27. 제26항에 있어서,
    상기 적어도 2개의 방향 중 하나가 우세하다고 판정되고 상기 현재 매크로블록의 상기 로우 패스 계수들 중 적어도 일부의 상기 예측자를 선택하는 경우,
    상기 판정된 우세한 방향에 따라 선택된 상기 예측자를 포함하는 선행 매크로블록이 상기 현재 매크로블록과 동일한 양자화기를 가지는지를 판정하는 단계와,
    동일한 양자화기를 가지지 않은 것으로 판정된 경우, 예측자를 이용하지 않고 상기 현재 매크로블록의 상기 로우 패스 계수를 디코딩하는 단계를 포함하는
    디지털 미디어 데이터 디코딩 방법.
  28. 제20항에 있어서,
    상기 현재 매크로블록 내의 각각의 블록의 상기 제 1 단계 변환 계수는 복수의 제 1 단계 하이 패스(high pass) 계수를 포함하고, 상기 제 2 단계 변환 계수 세트는 제 2 단계 로우 패스 변환 계수를 포함하며,
    상기 방법은
    상기 적어도 2개의 방향에 있어서의 상기 제 1 단계 하이 패스 계수에 대한 방향 차 메트릭을 제 2 단계 로우 패스 계수의 함수로서 계산하는 단계와,
    상기 제 1 단계 하이 패스 계수에 대한 상기 계산된 방향 차 메트릭에 기초하여 상기 제 1 단계 하이 패스 계수에 대해 적어도 2개의 방향 중 하나가 우세한지를 판정하는 단계와,
    상기 제 1 단계 하이 패스 계수에 대해 상기 적어도 2개의 방향 중 하나가 우세하다고 판정되면, 상기 제 1 단계 하이 패스 계수에 대해 상기 판정된 우세한 방향에 따라서 상기 제 1 단계 하이 패스 계수들 중 적어도 일부의 예측자를 선택하는 단계와,
    상기 제 1 단계 하이 패스 계수들 중 적어도 일부를 그들의 예측자에 대해 디코딩하는 단계를 더 포함하는
    디지털 미디어 데이터 디코딩 방법.
  29. 제28항에 있어서,
    상기 방향 차 메트릭을 상기 제 2 단계 로우 패스 계수의 함수로서 계산하는 단계는
    상기 디지털 미디어 데이터의 복수의 채널로부터 상기 제 1 단계 하이 패스 계수에 대한 상기 방향 차 메트릭을 계산하는 단계를 포함하는
    디지털 미디어 데이터 디코딩 방법.
  30. 제29항에 있어서,
    상기 복수의 채널은 휘도 채널 및 적어도 하나의 크로미넌스 채널을 포함하는
    디지털 미디어 데이터 디코딩 방법.
KR1020087003318A 2005-08-12 2006-08-03 변환 계수의 예측 코딩을 이용하여 디지털 미디어 데이터를인코딩하는 방법, 디지털 미디어 인코더, 디코더, 및컴퓨터 판독가능 기록 매체 KR101247042B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/203,009 US7933337B2 (en) 2005-08-12 2005-08-12 Prediction of transform coefficients for image compression
US11/203,009 2005-08-12
PCT/US2006/030563 WO2007021613A2 (en) 2005-08-12 2006-08-03 Prediction of transform coefficients for image compression

Publications (2)

Publication Number Publication Date
KR20080042816A KR20080042816A (ko) 2008-05-15
KR101247042B1 true KR101247042B1 (ko) 2013-03-25

Family

ID=37742497

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087003318A KR101247042B1 (ko) 2005-08-12 2006-08-03 변환 계수의 예측 코딩을 이용하여 디지털 미디어 데이터를인코딩하는 방법, 디지털 미디어 인코더, 디코더, 및컴퓨터 판독가능 기록 매체

Country Status (16)

Country Link
US (1) US7933337B2 (ko)
EP (1) EP1922874B1 (ko)
JP (1) JP5065272B2 (ko)
KR (1) KR101247042B1 (ko)
CN (1) CN101243685B (ko)
AU (1) AU2006280178B2 (ko)
BR (1) BRPI0614766A2 (ko)
CA (1) CA2617632C (ko)
IL (1) IL189127A0 (ko)
MX (1) MX2008001852A (ko)
MY (1) MY145286A (ko)
NO (1) NO20080533L (ko)
NZ (1) NZ565593A (ko)
RU (1) RU2406255C2 (ko)
TW (1) TWI412265B (ko)
WO (1) WO2007021613A2 (ko)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8532176B2 (en) * 2006-07-10 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for combining layers in a multi-layer bitstream
FR2906433B1 (fr) * 2006-09-22 2009-02-27 Canon Kk Procedes et dispositifs de codage et de decodage d'images, programme d'ordinateur les mettant en oeuvre et support d'informaton permettant de les mettre en oeuvre
CA2665781C (en) 2006-10-30 2014-02-18 Nippon Telegraph And Telephone Corporation Predicted reference information generating method, video encoding and decoding methods, apparatuses therefor, programs therefor, and storage media which store the programs
JP4761566B2 (ja) * 2006-12-13 2011-08-31 キヤノン株式会社 画像処理装置及びその方法とプログラム及び媒体
US8571104B2 (en) * 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
US8488668B2 (en) 2007-06-15 2013-07-16 Qualcomm Incorporated Adaptive coefficient scanning for video coding
US8819095B2 (en) 2007-08-28 2014-08-26 Qualcomm Incorporated Fast computation of products by dyadic fractions with sign-symmetric rounding errors
TWI370690B (en) * 2008-03-21 2012-08-11 Novatek Microelectronics Corp Method and apparatus for generating coded block pattern for highpass coeffecients
TWI349487B (en) * 2008-03-25 2011-09-21 Novatek Microelectronics Corp Entropy encoding circuit and encoding method thereof
JP5061330B2 (ja) * 2008-05-12 2012-10-31 株式会社メガチップス 画像処理装置
US8369638B2 (en) * 2008-05-27 2013-02-05 Microsoft Corporation Reducing DC leakage in HD photo transform
US8447591B2 (en) * 2008-05-30 2013-05-21 Microsoft Corporation Factorization of overlapping tranforms into two block transforms
KR101361005B1 (ko) 2008-06-24 2014-02-13 에스케이 텔레콤주식회사 인트라 예측 방법 및 장치와 그를 이용한 영상부호화/복호화 방법 및 장치
JP5015088B2 (ja) 2008-08-06 2012-08-29 株式会社リコー 画像処理装置、画像処理方法、コンピュータプログラム、及び、情報記録媒体
WO2010041857A2 (en) 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for decoding a video signal
US8275209B2 (en) 2008-10-10 2012-09-25 Microsoft Corporation Reduced DC gain mismatch and DC leakage in overlap transform processing
US9113168B2 (en) * 2009-05-12 2015-08-18 Lg Electronics Inc. Method and apparatus of processing a video signal
CN102474270A (zh) * 2009-08-06 2012-05-23 松下电器产业株式会社 编码方法、解码方法、编码装置及解码装置
TW201136319A (en) * 2009-08-06 2011-10-16 Panasonic Corp Encoding method, decoding method, encoding device and decoding device
WO2011016251A1 (ja) * 2009-08-06 2011-02-10 パナソニック株式会社 符号化方法、復号方法、符号化装置及び復号装置
KR20110015356A (ko) * 2009-08-07 2011-02-15 한국전자통신연구원 차분 신호의 특성에 기반한 적응적인 변환 부호화/양자화 영역을 이용한 동영상 부호화/복호화 장치 및 그 방법
US20110090952A1 (en) * 2009-10-21 2011-04-21 Cohen Robert A Directional Transforms for Video and Image Coding
EP2526696A4 (en) * 2010-01-22 2014-06-04 Thomson Licensing METHOD AND DEVICE FOR ENCODING IMAGE BLOCK OF IMAGE AND METHOD AND DECODING DEVICE THEREOF
CN102763417B (zh) * 2010-01-25 2015-12-02 汤姆森特许公司 单独地针对每个色彩平面的视频编码器、视频解码器、视频编码方法和视频解码方法
US8848779B2 (en) * 2010-07-15 2014-09-30 Sharp Laboratories Of America, Inc. Method of parallel video coding based on block size
CN102447895B (zh) 2010-09-30 2013-10-02 华为技术有限公司 扫描方法及装置、反扫描方法及装置
US9106913B2 (en) * 2011-03-08 2015-08-11 Qualcomm Incorporated Coding of transform coefficients for video coding
US20120230418A1 (en) 2011-03-08 2012-09-13 Qualcomm Incorporated Coding of transform coefficients for video coding
EP2705667B1 (en) * 2011-06-30 2016-09-21 Huawei Technologies Co., Ltd. Lossless coding and associated signaling methods for compound video
CA2842489C (en) * 2011-07-21 2016-09-27 Blackberry Limited Adaptive filtering based on pattern information
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
AU2012232992A1 (en) 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
US9602841B2 (en) * 2012-10-30 2017-03-21 Texas Instruments Incorporated System and method for decoding scalable video coding
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
WO2018041379A1 (en) * 2016-08-29 2018-03-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Improvements for greatest common line index (gcli) video coding
WO2018041843A1 (en) * 2016-08-29 2018-03-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder for Encoding, and Decoder for Decoding, a Digital Image Representation into a Data Stream using Indicating a Number of Leading Zero Bit Planes
US9996949B2 (en) * 2016-10-21 2018-06-12 Disney Enterprises, Inc. System and method of presenting views of a virtual space
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5896176A (en) 1995-10-27 1999-04-20 Texas Instruments Incorporated Content-based video compression
US20030108099A1 (en) 1998-06-26 2003-06-12 Takefumi Nagumo Picture encoding method and apparatus, picture decoding method and apparatus and furnishing medium
US7492950B2 (en) 2003-07-18 2009-02-17 Sony Corporation Image encoding apparatus and method for handling intra-image predictive encoding with various color spaces and color signal resolutions

Family Cites Families (153)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4420771A (en) 1981-02-09 1983-12-13 Bell Telephone Laboratories, Incorporated Technique for encoding multi-level signals
ATE108587T1 (de) 1986-09-13 1994-07-15 Philips Nv Verfahren und schaltungsanordung zur bitratenreduktion.
US4730348A (en) 1986-09-19 1988-03-08 Adaptive Computer Technologies Adaptive data compression system
US4698672A (en) 1986-10-27 1987-10-06 Compression Labs, Inc. Coding system for reducing redundancy
US4968135A (en) 1987-08-17 1990-11-06 Digital Equipment Corporation System for producing pixel image data from CCITT encoded pixel data
US4792981A (en) 1987-09-21 1988-12-20 Am International, Inc. Manipulation of run-length encoded images
US4813056A (en) 1987-12-08 1989-03-14 General Electric Company Modified statistical coding of digital signals
EP0339589A3 (en) 1988-04-28 1992-01-02 Sharp Kabushiki Kaisha Orthogonal transform coding system for image data
US5043919A (en) 1988-12-19 1991-08-27 International Business Machines Corporation Method of and system for updating a display unit
DE3943880B4 (de) 1989-04-17 2008-07-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Digitales Codierverfahren
FR2646978B1 (fr) 1989-05-11 1991-08-23 France Etat Procede et installation a codage de signaux sonores
US5179442A (en) 1989-06-02 1993-01-12 North American Philips Corporation Method and apparatus for digitally processing a high definition television augmentation signal
US5128758A (en) 1989-06-02 1992-07-07 North American Philips Corporation Method and apparatus for digitally processing a high definition television augmentation signal
JPH0360293A (ja) * 1989-07-28 1991-03-15 Victor Co Of Japan Ltd 映像信号圧縮方法および装置ならびに映像信号伸長方法および装置
US5270832A (en) 1990-03-14 1993-12-14 C-Cube Microsystems System for compression and decompression of video data using discrete cosine transform and coding techniques
US5146324A (en) 1990-07-31 1992-09-08 Ampex Corporation Data compression using a feedforward quantization estimator
JPH04199981A (ja) 1990-11-29 1992-07-21 Nec Corp 即時処理型１次元符号器
US5266941A (en) 1991-02-15 1993-11-30 Silicon Graphics, Inc. Apparatus and method for controlling storage of display information in a computer system
JP2670201B2 (ja) 1991-08-30 1997-10-29 富士写真フイルム株式会社 画像データ圧縮符号化装置および方法
JP2586260B2 (ja) 1991-10-22 1997-02-26 三菱電機株式会社 適応的ブロッキング画像符号化装置
JP3134424B2 (ja) 1991-10-31 2001-02-13 ソニー株式会社 可変長符号化方法及び装置
US5227878A (en) 1991-11-15 1993-07-13 At&T Bell Laboratories Adaptive coding and decoding of frames and fields of video
DE69228983T2 (de) 1991-12-18 1999-10-28 Koninkl Philips Electronics Nv System zum Übertragen und/oder Speichern von Signalen von texturierten Bildern
EP0559348A3 (en) 1992-03-02 1993-11-03 AT&T Corp. Rate control loop processor for perceptual encoder/decoder
CA2090052C (en) 1992-03-02 1998-11-24 Anibal Joao De Sousa Ferreira Method and apparatus for the perceptual coding of audio signals
US5227788A (en) 1992-03-02 1993-07-13 At&T Bell Laboratories Method and apparatus for two-component signal compression
US5714950A (en) 1992-07-23 1998-02-03 Samsung Electronics Co., Ltd. System for variable-length-coding and variable-length-decoding digitaldata
KR950010913B1 (ko) 1992-07-23 1995-09-25 삼성전자주식회사 가변장부호화 및 복호화시스템
JP3348310B2 (ja) 1992-09-28 2002-11-20 ソニー株式会社 動画像符号化方法および動画像符号化装置
CA2107727C (en) 1992-10-07 1999-06-01 Hiroaki Ueda Synchronous compression and reconstruction system
US5982437A (en) 1992-10-26 1999-11-09 Sony Corporation Coding method and system, and decoding method and system
JP2959916B2 (ja) 1992-10-28 1999-10-06 松下電器産業株式会社 デジタル・ビデオ・コーダ用のバーサタイルなエスケープ・ラン・レベル・コーダ
KR0166722B1 (ko) 1992-11-30 1999-03-20 윤종용 부호화 및 복호화방법 및 그 장치
US5467134A (en) 1992-12-22 1995-11-14 Microsoft Corporation Method and system for compressing video data
US5535305A (en) 1992-12-31 1996-07-09 Apple Computer, Inc. Sub-partitioned vector quantization of probability density functions
US5400075A (en) 1993-01-13 1995-03-21 Thomson Consumer Electronics, Inc. Adaptive variable length encoder/decoder
US5544286A (en) 1993-01-29 1996-08-06 Microsoft Corporation Digital video data compression technique
TW224553B (en) 1993-03-01 1994-06-01 Sony Co Ltd Method and apparatus for inverse discrete consine transform and coding/decoding of moving picture
US5376968A (en) 1993-03-11 1994-12-27 General Instrument Corporation Adaptive compression of digital video data using different modes such as PCM and DPCM
DE69424909T2 (de) 1993-04-09 2000-12-14 Sony Corp Verfahren und vorrichtung zur bildkodierung
US5408234A (en) 1993-04-30 1995-04-18 Apple Computer, Inc. Multi-codebook coding process
KR100458969B1 (ko) 1993-05-31 2005-04-06 소니 가부시끼 가이샤 신호부호화또는복호화장치,및신호부호화또는복호화방법
US5664057A (en) 1993-07-07 1997-09-02 Picturetel Corporation Fixed bit rate speech encoder/decoder
KR0155784B1 (ko) 1993-12-16 1998-12-15 김광호 영상데이타의 적응형 가변장 부호화/복호화방법
US5504591A (en) 1994-04-25 1996-04-02 Microsoft Corporation System and method for compressing graphic images
US5457495A (en) 1994-05-25 1995-10-10 At&T Ipm Corp. Adaptive video coder with dynamic bit allocation
US6141446A (en) 1994-09-21 2000-10-31 Ricoh Company, Ltd. Compression and decompression system with reversible wavelets and lossy reconstruction
US6195465B1 (en) 1994-09-21 2001-02-27 Ricoh Company, Ltd. Method and apparatus for compression using reversible wavelet transforms and an embedded codestream
US5568167A (en) 1994-09-23 1996-10-22 C-Cube Microsystems, Inc. System for providing antialiased video overlays
JP3474005B2 (ja) 1994-10-13 2003-12-08 沖電気工業株式会社 動画像符号化方法及び動画像復号方法
US5802213A (en) 1994-10-18 1998-09-01 Intel Corporation Encoding video signals using local quantization levels
AU697176B2 (en) 1994-11-04 1998-10-01 Koninklijke Philips Electronics N.V. Encoding and decoding of a wideband digital information signal
JP3371590B2 (ja) 1994-12-28 2003-01-27 ソニー株式会社 高能率符号化方法及び高能率復号化方法
US5574449A (en) 1995-02-24 1996-11-12 Intel Corporation Signal processing with hybrid variable-length and entropy encodidng
US5991451A (en) 1995-03-23 1999-11-23 Intel Corporation Variable-length encoding using code swapping
US5884269A (en) 1995-04-17 1999-03-16 Merging Technologies Lossless compression/decompression of digital audio data
US5864711A (en) 1995-07-05 1999-01-26 Microsoft Corporation System for determining more accurate translation between first and second translator, and providing translated data to second computer if first translator is more accurate
US5825830A (en) 1995-08-17 1998-10-20 Kopf; David A. Method and apparatus for the compression of audio, video or other data
US5796855A (en) 1995-10-05 1998-08-18 Microsoft Corporation Polygon block matching method
US5819215A (en) 1995-10-13 1998-10-06 Dobson; Kurt Method and apparatus for wavelet based data compression having adaptive bit rate control for compression of digital audio or other sensory data
US5889891A (en) 1995-11-21 1999-03-30 Regents Of The University Of California Universal codebook vector quantization with constrained storage
JP3283413B2 (ja) 1995-11-30 2002-05-20 株式会社日立製作所 符号化復号方法、符号化装置および復号装置
JPH09162748A (ja) 1995-12-01 1997-06-20 Fujitsu Ltd データ符号化方法、データ復号方法、データ圧縮装置、データ復元装置、及びデータ圧縮・復元システム
US5956674A (en) 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
US5831559A (en) 1996-01-24 1998-11-03 Intel Corporation Encoding/decoding video signals using multiple run-val mapping tables
US6957350B1 (en) 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US5682152A (en) 1996-03-19 1997-10-28 Johnson-Grace Company Data compression using adaptive bit allocation and hybrid lossless entropy encoding
US5812971A (en) 1996-03-22 1998-09-22 Lucent Technologies Inc. Enhanced joint stereo coding method using temporal envelope shaping
US6215910B1 (en) 1996-03-28 2001-04-10 Microsoft Corporation Table-based compression with embedded coding
US5850482A (en) 1996-04-17 1998-12-15 Mcdonnell Douglas Corporation Error resilient method and apparatus for entropy coding
EP1835762A3 (en) * 1996-05-28 2007-10-03 Matsushita Electric Industrial Co., Ltd. decoding apparatus with intra prediction
DE19628292B4 (de) 1996-07-12 2007-08-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum Codieren und Decodieren von Stereoaudiospektralwerten
DE19628293C1 (de) 1996-07-12 1997-12-11 Fraunhofer Ges Forschung Codieren und Decodieren von Audiosignalen unter Verwendung von Intensity-Stereo und Prädiktion
JP3318825B2 (ja) 1996-08-20 2002-08-26 ソニー株式会社 デジタル信号符号化処理方法、デジタル信号符号化処理装置、デジタル信号記録方法、デジタル信号記録装置、記録媒体、デジタル信号伝送方法及びデジタル信号伝送装置
US5828426A (en) 1996-08-20 1998-10-27 Samsung Electronics Co., Ltd. Apparatus for decoding variable length coded data of both MPEG-1 and MPEG-2 standards
US6233017B1 (en) 1996-09-16 2001-05-15 Microsoft Corporation Multimedia compression system with adaptive block sizes
EP1691560B1 (en) 1996-09-20 2017-03-08 AT&T Corp. Video coder providing implicit coefficient prediction for image coding and intra coding of video
KR100346740B1 (ko) 1996-09-21 2002-09-18 삼성전자 주식회사 이산코사인변환계수예측방법
KR100346728B1 (ko) 1996-09-21 2002-10-12 삼성전자 주식회사 이산코사인변환의 dc 계수예측방법 및 이를 이용한 데이터 부호화방법
KR100303685B1 (ko) 1996-09-30 2001-09-24 송문섭 영상 예측부호화 장치 및 그 방법
US5748789A (en) 1996-10-31 1998-05-05 Microsoft Corporation Transparent block skipping in object-based video coding systems
SG102016A1 (en) 1996-11-06 2004-02-27 Matsushita Electric Ind Co Ltd Image coding and decoding methods
JP4049820B2 (ja) 1996-11-07 2008-02-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビットストリーム信号のデータ処理
EP0876709B1 (en) 1996-11-11 2003-08-06 Koninklijke Philips Electronics N.V. Data compression/expansion using a rice encoder/decoder
JP3484310B2 (ja) 1997-01-17 2004-01-06 松下電器産業株式会社 可変長符号器
NL1005084C2 (nl) 1997-01-24 1998-07-27 Oce Tech Bv Werkwijze voor het uitvoeren van een beeldbewerkingsoperatie op looplengte gecodeerde bitmaps.
US6038536A (en) 1997-01-31 2000-03-14 Texas Instruments Incorporated Data compression using bit change statistics
US6272175B1 (en) 1997-02-13 2001-08-07 Conexant Systems, Inc. Video signal coding systems and processes using adaptive quantization
US5974184A (en) 1997-03-07 1999-10-26 General Instrument Corporation Intra-macroblock DC and AC coefficient prediction for interlaced digital video
US6005980A (en) 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
FI114248B (fi) 1997-03-14 2004-09-15 Nokia Corp Menetelmä ja laite audiokoodaukseen ja audiodekoodaukseen
US6728775B1 (en) 1997-03-17 2004-04-27 Microsoft Corporation Multiple multicasting of multimedia streams
US6404813B1 (en) 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
US6259810B1 (en) 1997-04-15 2001-07-10 Microsoft Corporation Method and system of decoding compressed image data
US5883633A (en) 1997-04-15 1999-03-16 Microsoft Corporation Method and system of variable run length image encoding using sub-palette
US6580834B2 (en) 1997-05-30 2003-06-17 Competitive Technologies Of Pa, Inc. Method and apparatus for encoding and decoding signals
DE19730129C2 (de) 1997-07-14 2002-03-07 Fraunhofer Ges Forschung Verfahren zum Signalisieren einer Rauschsubstitution beim Codieren eines Audiosignals
US6421738B1 (en) 1997-07-15 2002-07-16 Microsoft Corporation Method and system for capturing and encoding full-screen video graphics
JP3884172B2 (ja) 1997-10-02 2007-02-21 株式会社東芝 可変長復号化装置および復号化方法
WO1999022525A1 (en) 1997-10-23 1999-05-06 Mitsubishi Denki Kabushiki Kaisha Image encoding method, image encoder, image decoding method, and image decoder
JPH11161782A (ja) 1997-11-27 1999-06-18 Seiko Epson Corp カラー画像の符号化方法およびその符号化装置ならびにカラー画像の復号化方法およびその復号化装置
US6111914A (en) 1997-12-01 2000-08-29 Conexant Systems, Inc. Adaptive entropy coding in adaptive quantization framework for video signal coding systems and processes
US5946043A (en) 1997-12-31 1999-08-31 Microsoft Corporation Video coding using adaptive coding of block parameters for coded/uncoded blocks
US6226407B1 (en) 1998-03-18 2001-05-01 Microsoft Corporation Method and apparatus for analyzing computer screens
US6054943A (en) 1998-03-25 2000-04-25 Lawrence; John Clifton Multilevel digital information compression based on lawrence algorithm
US6408029B1 (en) 1998-04-02 2002-06-18 Intel Corporation Method and apparatus for simplifying real-time data encoding
KR20010071519A (ko) 1998-06-19 2001-07-28 벤자민 에프 커틀러 제1 해상도를 가지는 인코딩된 이미지를 제2 해상도를가지는 이미지로 직접 디코딩하는 방법 및 장치
US6253165B1 (en) 1998-06-30 2001-06-26 Microsoft Corporation System and method for modeling probability distribution functions of transform coefficients of encoded signal
KR100281967B1 (ko) 1998-08-31 2001-02-15 전주범 공간 상관성을 이용한 영상 부호화 장치 및 그 방법
DE19840835C2 (de) 1998-09-07 2003-01-09 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Entropiecodieren von Informationswörtern und Vorrichtung und Verfahren zum Decodieren von Entropie-codierten Informationswörtern
JP3723740B2 (ja) 1998-10-06 2005-12-07 松下電器産業株式会社 ロスレス圧縮符号方法とその装置およびロスレス圧縮復号方法とその装置
US6377930B1 (en) 1998-12-14 2002-04-23 Microsoft Corporation Variable to variable length entropy encoding
US6300888B1 (en) 1998-12-14 2001-10-09 Microsoft Corporation Entrophy code mode switching for frequency-domain audio coding
US6223162B1 (en) 1998-12-14 2001-04-24 Microsoft Corporation Multi-level run length coding for frequency-domain audio coding
US6404931B1 (en) 1998-12-14 2002-06-11 Microsoft Corporation Code book construction for variable to variable length entropy encoding
US6100825A (en) 1998-12-31 2000-08-08 Microsoft Corporation Cluster-based data compression system and method
US6477280B1 (en) 1999-03-26 2002-11-05 Microsoft Corporation Lossless adaptive encoding of finite alphabet data
US6678419B1 (en) 1999-03-26 2004-01-13 Microsoft Corporation Reordering wavelet coefficients for improved encoding
US6573915B1 (en) 1999-12-08 2003-06-03 International Business Machines Corporation Efficient capture of computer screens
US6567781B1 (en) 1999-12-30 2003-05-20 Quikcat.Com, Inc. Method and apparatus for compressing audio data using a dynamical system having a multi-state dynamical rule set and associated transform basis function
EP1294197A4 (en) 2000-05-23 2004-11-24 Matsushita Electric Ind Co Ltd METHOD AND DEVICE FOR CODING WITH VARIABLE LENGTH
US6542863B1 (en) 2000-06-14 2003-04-01 Intervideo, Inc. Fast codebook search method for MPEG audio encoding
US6683980B1 (en) 2000-07-28 2004-01-27 Microsoft Corporation System and method for compressing data
US6925249B1 (en) 2000-07-28 2005-08-02 Microsoft Corporation System and method for storing compressed data onto a storage medium
US6961685B2 (en) 2000-09-19 2005-11-01 Sy Bon K Probability model selection using information-theoretic optimization criterion
US6735339B1 (en) 2000-10-27 2004-05-11 Dolby Laboratories Licensing Corporation Multi-stage encoding of signal components that are classified according to component value
US6650784B2 (en) 2001-07-02 2003-11-18 Qualcomm, Incorporated Lossless intraframe encoding using Golomb-Rice
US6587057B2 (en) 2001-07-25 2003-07-01 Quicksilver Technology, Inc. High performance memory efficient variable-length coding decoder
US20030033143A1 (en) 2001-08-13 2003-02-13 Hagai Aronowitz Decreasing noise sensitivity in speech processing under adverse conditions
US6825847B1 (en) 2001-11-30 2004-11-30 Nvidia Corporation System and method for real-time compression of pixel colors
US7165028B2 (en) 2001-12-12 2007-01-16 Texas Instruments Incorporated Method of speech recognition resistant to convolutive distortion and additive distortion
US6934677B2 (en) 2001-12-14 2005-08-23 Microsoft Corporation Quantization matrices based on critical band pattern information for digital audio wherein quantization bands differ from critical bands
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
JP4447197B2 (ja) * 2002-01-07 2010-04-07 三菱電機株式会社 動画像符号化装置および動画像復号装置
US7139703B2 (en) 2002-04-05 2006-11-21 Microsoft Corporation Method of iterative noise estimation in a recursive framework
US6653955B1 (en) 2002-05-09 2003-11-25 Lsi Logic Corporation Multi-symbol variable length code decoder
GB2388502A (en) 2002-05-10 2003-11-12 Chris Dunn Compression of frequency domain audio signals
US7016547B1 (en) 2002-06-28 2006-03-21 Microsoft Corporation Adaptive entropy encoding/decoding for screen capture content
JP2004056249A (ja) * 2002-07-17 2004-02-19 Sony Corp 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム
DE10236694A1 (de) 2002-08-09 2004-02-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum skalierbaren Codieren und Vorrichtung und Verfahren zum skalierbaren Decodieren
US7328150B2 (en) 2002-09-04 2008-02-05 Microsoft Corporation Innovations in pure lossless audio compression
EP1734511B1 (en) 2002-09-04 2009-11-18 Microsoft Corporation Entropy coding by adapting coding between level and run-length/level modes
US7433824B2 (en) 2002-09-04 2008-10-07 Microsoft Corporation Entropy coding by adapting coding between level and run-length/level modes
US7424434B2 (en) 2002-09-04 2008-09-09 Microsoft Corporation Unified lossy and lossless audio compression
US7502743B2 (en) 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
US6795584B2 (en) 2002-10-03 2004-09-21 Nokia Corporation Context-based adaptive variable length coding for adaptive block transforms
WO2004038921A2 (en) 2002-10-23 2004-05-06 Divxnetworks, Inc. Method and system for supercompression of compressed digital video
US6646578B1 (en) 2002-11-22 2003-11-11 Ub Video Inc. Context adaptive variable length decoding system and method
US7324927B2 (en) 2003-07-03 2008-01-29 Robert Bosch Gmbh Fast feature selection method and system for maximum entropy modeling
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8311119B2 (en) * 2004-12-31 2012-11-13 Microsoft Corporation Adaptive coefficient scan order
US7565018B2 (en) 2005-08-12 2009-07-21 Microsoft Corporation Adaptive coding and decoding of wide-range coefficients
US8184710B2 (en) 2007-02-21 2012-05-22 Microsoft Corporation Adaptive truncation of transform coefficient data in a transform-based digital media codec

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5896176A (en) 1995-10-27 1999-04-20 Texas Instruments Incorporated Content-based video compression
US20030108099A1 (en) 1998-06-26 2003-06-12 Takefumi Nagumo Picture encoding method and apparatus, picture decoding method and apparatus and furnishing medium
US6608935B2 (en) * 1998-06-26 2003-08-19 Sony Corporation Picture encoding method and apparatus, picture decoding method and apparatus and furnishing medium
US7492950B2 (en) 2003-07-18 2009-02-17 Sony Corporation Image encoding apparatus and method for handling intra-image predictive encoding with various color spaces and color signal resolutions

Also Published As

Publication number Publication date
US7933337B2 (en) 2011-04-26
RU2008105032A (ru) 2009-08-20
NZ565593A (en) 2010-04-30
KR20080042816A (ko) 2008-05-15
BRPI0614766A2 (pt) 2011-04-12
EP1922874A2 (en) 2008-05-21
AU2006280178B2 (en) 2009-12-17
MX2008001852A (es) 2008-04-14
MY145286A (en) 2012-01-13
CN101243685A (zh) 2008-08-13
CA2617632C (en) 2014-04-22
WO2007021613A2 (en) 2007-02-22
CA2617632A1 (en) 2007-02-22
NO20080533L (no) 2008-05-09
RU2406255C2 (ru) 2010-12-10
IL189127A0 (en) 2008-08-07
WO2007021613A3 (en) 2007-12-06
EP1922874B1 (en) 2020-03-25
TWI412265B (zh) 2013-10-11
JP5065272B2 (ja) 2012-10-31
EP1922874A4 (en) 2011-08-31
TW200719694A (en) 2007-05-16
US20070036224A1 (en) 2007-02-15
JP2009505496A (ja) 2009-02-05
CN101243685B (zh) 2015-06-17
AU2006280178A1 (en) 2007-02-22

Similar Documents

Publication Publication Date Title
KR101247042B1 (ko) 변환 계수의 예측 코딩을 이용하여 디지털 미디어 데이터를인코딩하는 방법, 디지털 미디어 인코더, 디코더, 및컴퓨터 판독가능 기록 매체
KR102469145B1 (ko) 영상을 부호화 또는 복호화하는 방법 및 장치
JP4700491B2 (ja) 適応係数スキャン順序付け
JP5873536B2 (ja) 動き予測検索範囲及び拡張動きベクトルの範囲の動的選択
KR101477302B1 (ko) 디지털 미디어 코딩/디코딩 방법, 디지털 미디어 처리 장치및 프로그램 저장 캐리어
KR101507183B1 (ko) 변환-기반 디지털 미디어 코덱에서의 계산 복잡도 및 정밀도 제어
KR101354151B1 (ko) 영상 변환 방법 및 장치, 역변환 방법 및 장치
JP2005333622A (ja) イメージおよびビデオの予測可逆符号化
US9077960B2 (en) Non-zero coefficient block pattern coding
JP2011035902A (ja) 画像シーケンスを表す符号化データストリームの復号方法と画像シーケンスの符号化方法
KR20110114524A (ko) 화상 예측 부호화 장치, 방법 및 프로그램, 화상 예측 복호 장치, 방법 및 프로그램, 및 부호화·복호 시스템 및 방법
KR101512643B1 (ko) 동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체
KR20150096353A (ko) 이미지 인코딩 시스템, 디코딩 시스템 및 그 제공방법
KR101583870B1 (ko) 이미지 인코딩 시스템, 디코딩 시스템 및 그 제공방법
Hu et al. Edge Classification Based DCT Coefficients Reorganization for Wyner-Ziv Distributed Video Coding
JP2012023514A (ja) 適応的に直交変換係数の走査順序を決定する符号化装置及び復号装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160218

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170220

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180219

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200218

Year of fee payment: 8