KR20070046852A

KR20070046852A - 혼합된 그래픽 및 비디오 소스의 압축을 위한 시스템 및방법

Info

Publication number: KR20070046852A
Application number: KR1020077003246A
Authority: KR
Inventors: 슈에준 휴; 릴라 보록츠카이
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2004-08-13
Filing date: 2005-08-10
Publication date: 2007-05-03
Also published as: WO2006018798A1; JP2008510349A; EP1787477A1; CN101002477A; US20070248270A1

Abstract

본 발명은 혼합된 그래픽 및 비디오 신호를 압축하기 위한 시스템 및 방법에 관한 것이다. 복수의 고유한 유형의 블록 중 하나로서 각각의 입력된 픽셀 블록을 분류하기 위한 분류 시스템(22), 각 인코더 서브시스템이 고유한 유형의 블록을 압축하도록 구성되는 복수의 인코더 서브시스템(32, 34, 36, 38) 및 압축된 블록의 스트림에 관한 목표 압축 속도를 달성하기 위한 속도 제어 시스템(54)을 포함하는, 혼합된 그래픽 및 비디오 픽셀 블록(56)을 압축하기 위한 인코더(14)와, 인코더로부터 내장된 통신 채널을 통해 수신된 압축된 픽셀 블록을 디코딩하고, 각각 고유한 유형의 압축된 블록을 압축해제하도록 구성된 복수의 디코더 서브시스템(62, 64, 66, 68)을 포함하는 디코더(18)를 포함하는 시스템이 제공된다.

Description

혼합된 그래픽 및 비디오 소스의 압축을 위한 시스템 및 방법{SYSTEM AND METHOD FOR COMPRESSION OF MIXED GRAPHIC AND VIDEO SOURCES}

본 발명은 일반적으로 혼합된 그래픽 및 비디오 시퀀스를 처리하기 위한 시스템에 관한 것으로, 특히 하이브리드 인코딩 및 디코딩 시스템과, 혼합된 그래픽및 비디오 데이터를 압축하기 위한 방법에 관한 것이다.

최근의 전자 제품은 점점 더 개선된 디지털 신호와 이미지 처리 기술을 이용하고, 이들은 메모리 크기와 시스템의 유닛들 사이의 통신 대역폭에 있어 매우 많은 것을 요구할 수 있다. 실제로, 구현 비용 요구사항을 충족하기 위해 메모리 크기를 감소시키는 것이나 시스템 요구 사항을 충족시키기 위해 통신 대역폭을 감소시키는 것이 종종 필요하다. 따라서, 압축과 같은 신호 처리 기술이 이들 과제를 충족시키기 위해 이용되어야 한다.

예를 들면, 예컨대 드라이버 전자 장치와, 필립스사의 LCoS 프로젝션 디스플레이에서 이용된 것과 같은 디스플레이 패널 사이에서 데이터가 전송되어야 하는 복잡한 내장 애플리케이션에서, 전송되어야 할 처리된 데이터의 양은 많은데 이는 R, G, B 컬러 공간, 높은 디스플레이 해상도, 요구된 180㎐의 디스플레이 프레임 속도 등과 같은 특징 때문이다. 이들 및 다른 특징은 메모리 대역폭과 송신 대역폭 의 "병목 현상(bottleneck)"을 초래하였다.

그러한 과제는 비디오와 그래픽과 같은 혼합된 신호를 처리하는 시스템에 의해, 더 민감하게 된다. 혼합된 신호의 처리는 복잡한 문제가 될 수 있는데, 이는 그 소스가 변하는 신호 통계를 가지기 때문이다. 그래픽 데이터와 비디오 데이터는 그것들의 상이한 특성으로 인해 상이한 비디오 처리를 적용하도록 구별되어야 할 필요가 있다. 예컨대, 표준 비디오 압축 기술은 종종 예리한 가장자리 경우에서 "블러링(blurring)"과 "리플링(rippling)" 아티팩트를 도입한다. 이들 아티팩트는 자주 나타나고 그래픽에 있어 훨씬 더 성가시게 한다. 따라서, 일정한 유형의 압축이 비디오와 같은 한 가지 유형의 신호에 적용되고, 그래픽과 같은 다른 것에는 적용되지 않는 것이 바람직하다.

게다가, 예컨대 드라이버 전자 장치와, 필립스사의 LCoS 프로젝션 디스플레이에서 이용된 것과 같은 디스플레이 패널 사이에서 데이터가 전송되어야 하는 복잡하게 내장된 애플리케이션에서, 전송되어야 하는 처리된 데이터의 양은 많은데 이는 R, G, B 컬러 공간, 높은 디스플레이 해상도, 요구된 180㎐의 디스플레이 프레임 속도 등과 같은 특징 때문이다. 이들 및 다른 특징은 메모리 대역폭과 송신 대역폭의 "병목 현상(bottleneck)"을 초래하였다.

다양한 압축 해결책이 제안되었는데, 이에는 IBM J.Res. Develop., Vol. 43, No.4에 Lam 등에 의해 실린 "HDTV 디코더에 관한 메모리 감소(Memory Reduction for HDTV Decoders)"가 포함되고, 이는 HD MPEG-2 디코더에 대해 메모리 크기를 감소시키기 위한 손실이 있는(lossy) 하다마드 변환 기반의 압축 시스템을 제안하였 다. 이러한 압축 시스템은 다른 변환 기반의 압축 시스템에 비해 계산상 복잡도가 낮다. 하지만, 순수한 비디오 소스에만 적용 가능하고, 그것의 성능은 비디오 프레임의 특정 영역(예컨대, 편평한 영역)에서는 충분하지 않다. 유사하게, Lee 등의 "낮은 복잡도를 가진 프레임 메모리 압축 알고리즘과 MPEG-2 비디오 디코더에 관한 그것의 구현(A low Complexity Frame Memory Compression Algorithm and its Implementation for MPEG-2 Video Decoder)"은 하이브리드 압축 시스템을 제안하지만, 그것은 순수한 비디오 압축에 관해서만 적합하다.

따라서, 혼합된 비디오 및 그래픽 신호를 효율적으로 압축하는 시스템 및 방법에 관한 필요성이 존재한다.

본 발명은 하이브리드 인코딩 및 디코딩 시스템과 혼합된 그래픽 및 비디오 데이터를 압축하기 위한 방법을 제공함으로써, 전술한 문제점과 다른 문제점을 다룬다. 이 시스템은 손실이 있는 압축 기술과 손실이 없는 압축 기술을 결합하여, 순수한 비디오 신호, 순수한 그래픽 신호 및 혼합된 비디오와 그래픽과 같은 상당히 다양한 소스들에 관한 시각적으로 손실이 없는 압축을 달성한다. 이는 분류 정보에 기초하여 블록으로부터 블록으로 압축 방법을 적응시켜 변경한다. 계산상 복잡도는 매우 낮은 실시간 구현을 허용하는데 반해, 높은 화상 품질을 달성한다.

본 발명을 이용하면, 2:1 압축 비율이 시각적으로 주목할 만한 아티팩트 없이 달성될 수 있고, 한 라인의 메모리만으로 필수적인 계산이 달성될 수 있다. 본 발명은 순수한 그래픽, 순수한 비디오 및 혼합된 비디오와 그래픽 소스를, 소스 유형의 사전 지식 없이 처리할 수 있다. 이 시스템은 또한 디스플레이 시스템에 있어서의 메모리 크기를 감소시키도록 확장될 수 있어, 추가 비용 감소를 가능하게 한다.

제 1 양상에서, 본 발명은 혼합된 그래픽 및 비디오 신호를 압축하기 위한 인코더를 제공하는데, 이러한 인코더는 복수의 고유한 유형의 블록 중 하나로서 입력된 픽셀 데이터의 블록을 분류하기 위한 분류 시스템, 각각 고유한 유형의 블록을 압축하도록 구성되는 복수의 인코더 서브시스템 및 압축된 블록의 스트림에 관한 목표 압축 속도를 달성하기 위한 속도 제어 시스템을 포함한다.

제 2 양상에서, 본 발명은 혼합된 그래픽 및 비디오 신호를 처리하기 위한 비디오 처리 시스템을 제공하고, 이러한 비디오 처리 시스템은 복수의 고유한 유형의 블록 중 하나로서 각각의 입력된 픽셀 블록을 분류하기 위한 분류 시스템, 각 인코더 서브시스템이 고유한 유형의 블록을 압축하도록 구성되는 복수의 인코더 서브시스템 및 압축된 블록의 스트림에 관한 목표 압축 속도를 달성하기 위한 속도 제어 시스템을 포함하는, 혼합된 그래픽 및 비디오 픽셀 블록을 압축하기 위한 인코더와, 인코더로부터 내장된 통신 채널을 통해 수신된 압축된 픽셀 블록을 디코딩하고, 각각 고유한 유형의 압축된 블록을 압축해제하도록 구성된 복수의 디코더 서브시스템을 포함하는 디코더를 포함한다.

제 3 양상에서, 본 발명은 혼합된 그래픽 및 비디오 신호를 압축하기 위한 방법을 제공하고, 이러한 방법은 입력된 픽셀 블록을 복수의 소정의 블록 유형으로부터 선택된 고유한 블록 유형으로서 분류하는 단계, 복수의 인코더 서브시스템 중 선택된 인코더 서브시스템으로 입력된 블록을 인코딩하는 단계로서, 상기 선택된 인코더 서브시스템은 블록 유형에 따라 달라지고, 각각의 인코더 서브시스템은 고유한 블록 유형을 압축하도록 구성되는, 인코딩 단계 및 압축된 블록의 스트림에 관한 목표 압축 속도를 달성하기 위해, 속도 제어 전략을 이용하는 단계를 포함한다.

본 발명의 이들 및 다른 특징은 첨부 도면과 함께 취해진 본 발명의 다양한 양상의 다음 상세한 설명으로부터 더 쉽게 이해된다.

도 1은 본 발명의 일 실시예에 따른 비디오 처리 시스템을 도시하는 도면.

도 2는 본 발명의 일 실시예에 따른 인코더를 도시하는 도면.

도 3은 본 발명의 일 실시예에 따른 디코더를 도시하는 도면.

도 4는 하다마드 행렬을 도시하는 도면.

도 5는 본 발명에 따른 헤더 정보를 가지는 압축된 비트 스트림의 패킷 구성을 도시하는 도면.

도 6은 본 발명에 따른 헤더 정보를 생성하기 위한 일 실시예의 흐름도를 도시하는 도면.

이제, 도 1을 참조하면 디스플레이 드라이버 전자 장치(12)("드라이브")와, 높은 데이터 속도를 요구하는 디스플레이(16) 사이에서 데이터를 송신하기 위한 내장된 송신 채널(15)을 포함하는 예시적인 비디오 처리 시스템(10)이 도시되어 있 다. 드라이버(12)와 디스플레이(16) 내부에는, 송신된 데이터를 압축하고 압축 해제하기 위해, 각각 인코더(14)와 디코더(18)가 존재한다. 본 발명이 내장된 비디오 애플리케이션에서 데이터를 압축하는 상황에서 설명되었지만, 본 발명은 혼합된 그래픽 및 비디오 신호를 처리하는 임의의 시스템에 적용될 수 있음을 주목해야 한다.

아래에 더 상세히 설명되는 것처럼, 인코더(14)는 적응성, 하이브리드 코딩 구조를 이용하고, 디코더(16)는 그 역 공정을 구현한다. 예시적인 일 실시예에서, 인코더(14)는 1차원(1D) 1 ×8 블록 세그먼트에 대해 동작하고, 이러한 세그먼트는 입력 신호의 각 행으로부터 얻어진다. 인코더(14)는 블록을 순수한 그래픽, 예리한 전이, 편평한 영역 및 일상적인 비디오 블록으로 검출하고 차별화한다. 이러한 분류에 기초하여, 인코더(14)는 블록 유형에 따라 4가지 상이한 인코딩 경로 중 하나를 이용하게 된다.

도 2는 인코더(14)를 더 상세히 도시한다. 예컨대, RGB 픽셀 데이터의 1 ×8 블록을 포함하는 혼합된 신호 입력 블록(56)은 분류 시스템(22)에 의해 초기에 처리되고, 이러한 분류 시스템은 그러한 블록을 순수한 그래픽 블록(24), 편평한 영역의 블록(26), 예리한 전이 블록(28) 또는 일상적인 비디오 블록(30)으로 분류한다. 블록을 분류하기 위한 임의의 기술이 이용될 수 있다. 예컨대, 본 명세서에 참조로 통합되어 있고, 제목이 "혼합된 그래픽 및 비디오 시퀀스에 관한 적응 분류 시스템 및 방법"이며 2004년 8월 13일 출원된 일련 번호가 60/601,446인 공동 계류중인 특허 출원을 참조하라.

인코더(14)는 4개의 인코더 서브시스템(32, 34, 36, 38)을 포함한다. 분류 시스템(22)에 의해 어느 분류가 선택되는가에 따라, 인코더 서브시스템 중 하나가 블록(56)을 인코딩하기 위해 이용된다. 따라서, 어떤 블록이 순수한 그래픽 블록으로 분류되면, 서브시스템(32)이 이용되고, 그 블록이 편평한 영역의 블록(26)이라고 분류되면, 서브시스템(34)이 이용되며, 그 블록이 예리한 전이 블록이라고 분류되면, 서브시스템(36)이 이용되고, 그 블록이 일상적인 비디오 블록이라고 분류되면, 서브시스템(38)이 이용된다.

다양한 인코더 서브시스템을 사용하여 특별한 압축(예컨대, 2:1 감소)을 달성하기 위해서는, 소정의 비트 속도로 출력 스트림(58)을 생성하는 속도 제어 시스템(54)이 이용된다. 그러한 속도 제어 시스템(54)의 상세한 것은 아래에 제공된다.

제 1 인코더 서브시스템(32)은 순수한 그래픽 블록을 인코딩하기 위해 순수한 그래픽 인코더(40)를 포함한다. 순수한 그래픽 인코더(40)는 다음과 같이 구현될 수 있다. 그러한 블록이 2중 값, 즉 모든 픽셀 값이 배경 값이거나 텍스트 값 중 하나가 된다면, 순수한 그래픽 인코더(40)는 블록을 나타내기 위해 24비트 값을 송신한다. 인코딩된 값은 8비트로 된 배경 값(즉, 최소값), 8비트의 텍스트 값(즉, 최대값) 및 8비트 기호(symbol)를 포함한다. 8비트 기호는 "1"은 텍스트를 표시하고, "0"은 배경을 표시하는 것처럼, 텍스트 값이나 배경 값이 어떤 블록 내에 있는 개별 픽셀 위치 각각을 가지고 있는지를 말해준다. 어떤 블록 내의 모든 픽셀이 동일한 값을 가진다면, 픽셀 값은 8비트만을 사용하여 송신될 수 있다.

예컨대, [10 10 10 255 255 255 10 10]의 픽셀 값을 갖는 2중 값의 순수한 그래픽 블록을 인코딩하기 위해서는, 배경 = 10 = 00001010B(여기서 B는 2진 값을 의미한다)이 되고, 텍스트 값 = 255 = 11111111B가 된다. 기호 값 = 00011100이 되어, 24비트 인코딩된 블록 = 000010101111111100011100이 된다.

제 2 인코더 서브시스템(34)은 선형 예측기(42)와 골럼-라이스(Golumb-Rice) 코딩 시스템(44)을 포함한다. 이 경우, 픽셀의 1 ×8 블록이 선형 예측기에 공급되어 예측 에러를 생성한다. 이후, 예측 에러는 골럼-라이스 코딩 시스템(44)을 통과한다. 첫 번째 것을 제외한 각 픽셀의 예측이 이전의 픽셀 값으로부터 직접 나온다. 어떤 블록에서의 제 1 픽셀에 관해, 이전 블록이 "편평한 영역" 블록이 아니라면, 그것의 고유값이 예측 에러로서 사용되고 그렇지 않으면 이전 블록에서의 마지막 픽셀 값이 그것의 예측된 값으로 사용된다.

골럼-라이스 코딩 시스템(44)은 가변 길이 인코딩 구조를 이용하고, 이러한 구조에서는 대부분의 숫자가 작다면, 양호한 압축이 달성될 수 있다. 골럼-라이스 코딩은 m = 2^k인 파라미터 m과 작동하고, 여기서 k는 LSB(least significant bits)에서의 비트의 개수이다. 숫자 x를 인코딩하는 절차는 다음과 같이 보여진다. 즉,

1. MSB(most significant bits) q = x/m(만약 있다면 분수는 반올림됨)라고 하면, q개의 2진 0을 출력한다.

2. MSB 코딩의 끝을 표시하기 위해 2진 1을 출력한다.

3. LSB의 k비트를 첨부한다.

4. 부호를 위해 1비트를 추가한다(양의 값에 관해서는 0, 음의 값에 관해서 는 1).

예컨대, k = 4인 x = 16 = 10000B를 인코딩하기 위해서는, MSB: x/m = 16/(2^4) = 1{만약 x = 15이고, m=2라면 MSB = floor(15/2) = 7이라는 점을 주목하라}이고, LSB = "0000"이다. 골럼-라이스 코딩은 다음과 같다. 즉 MSB 코딩("0") + 표시기("1") + LSB("0000") + 부호('0") = 0100000.

일반적으로 더 낮은 값의 k는 더 적은 숫자들을 더 짧게 만들고, 더 큰 숫자들을 더 길게 만들며, 더 큰 값의 k는 큰 숫자들을 비교적 짧게 만드는데 반해, 모든 더 적은 값들에 대한 오버헤드를 증가시키고 그것들을 더 길게 만든다. 인코더(14)에서, 편평한 영역 블록(26)에서의 예측기 에러는 작아서, 만족스러운 압축을 달성하기 위해, k는 예컨대 1과 같게 설정될 수 있다.

제 3 인코더 서브시스템(36)은 하다마드 변환(46)과 고정된 균일한 양자화기(48)를 이용하여 예리한 전이 블록(28)에 대해 동작한다. 하다마드 변환(46)은 높은 에너지의 압축(compaction)을 가지고, 기저 벡터들의 요소는 2진 값인 +1과 -1만을 취한다. 그러므로, 그것들은 계산상 단순함이 요구되는 내장된 압축 알고리즘에 매우 적합하다. 8 ×8 하다마드 변환 행렬은 도 4에 도시된 것처럼 정의된다. 그러한 변환은 하다마드 행렬을 구비한 입력된 1 ×8 블록의 행렬 곱셈을 수행하여 구현되며, 하다마드 계수의 1 ×8 블록을 초래한다.

이러한 예시적인 실시예에서, 1 ×8 픽셀 블록을 8개의 하다마드 계수로 변환하기 위해, 8 ×8 하다마드 행렬이 이용된다. 균일한 양자화기(48)는 목표 압축 비율에 도달하고 화상 품질을 만족시키기 위해 비트 할당 이론에 기초한 전통적인 디자인을 포함할 수 있다. 하지만, "예리한 전이" 블록에서는, 예리한 전이 에지가 스펙트럼 블록에서의 에너지 퍼짐(spreading)을 일으키고, 따라서 전통적인 양자화기 디자인이 양호한 화상 품질을 달성하지 않을 수 있다. 따라서 그러한 화상 품질 열화(degradation)를 감소시키기 위해 코딩 효율이 희생될 수 있다. 제안된 알고리즘에서, 스텝(step) 크기가 32인 49비트의 균일한 양자화기가 하다마드 변환(46) 뒤에 사용될 수 있어 예리한 전이를 예리하고 산뜻하게 유지한다.

제 4 인코더 서브시스템(38)은 하다마드 변환(50)과 적응 비-균일 양자화기(52)를 사용하여 일상적인 비디오 블록(30)을 인코딩한다. 입력 블록의 8개의 픽셀은 하다마드 변환되고, 그 결과 주파수 계수는 양자화된다. 하다마드 변환 계수의 통계에 따라, 균일한 양자화기가 DC 성분에 관해 디자인되었다. AC 성분에 관해서는, 균일하지 않은 35비트, 31비트 및 30비트의 스칼라 양자화기가 이용될 수 있고, 이들은 한 프레임에서의 각 행에 관해 목표 압축(예컨대 2:1)을 달성하기 위해 비트 속도 제어 전략 하에서 적응가능하게 이용된다.

스칼라 양자화는 낮은 계산상 비용을 가지고, 쉽게 구현된다. 적절히 적용하면 양호한 압축 성능을 달성할 수 있다. 예시적인 일 실시예에서, 3개의 단계, 즉 (1) 하다마드 변환 계수의 통계 분석, (2) 비트 할당 및 (3) 양자화 테이블 디자인을 사용하여 하다마드 변환 계수를 압축하도록, 스칼라 양자화가 디자인될 수 있다.

하다마드 변환(50)의 통계 분석은, 예컨대 그러한 계수의 일부 통계적 성질을 얻기 위해 몇몇 고 선명도(HD: high definition) 시퀀스를 검사함으로써 달성될 수 있다. 통계 데이터(예컨대, 하다마드 계수의 확률 밀도 함수를 사용하여)는, 정규화 후 변환된 AC 계수가 거의 동일하게 분포하고,

p(x) = 1/σ²e^-2|x|/σ**2(여기서, σ²은 분산을 표시한다)

에 의해 정의된 것처럼 라플라시안 밀도 함수를 닮았다.

DC 계수의 분포는 대칭적이지 않고, 그것의 모양은 시퀀스에서의 화상의 밝기에 따라 달라진다. 이들 특성에 기초하여, 균일한 양자화기가 DC 계수를 압축하기 위해 이용될 수 있고, AC 계수를 인코딩하기 위해 균일하지 않은 스칼라 양자화기의 세트가 이용될 수 있다.

비트 할당은 다음과 같이 결정될 수 있다. 속도 왜곡 이론과 비트 속도 제어는 더 많은 비트를 더 큰 분산을 구비한 계수에 할당할 것을 제안한다. 최적의 비트 할당은

에 의해 주어지고, 여기서 B는 이용 가능한 비트의 총 개수이며, K는 계수의 개수이고, σ²= var[C_i]는 계수의 분산이다. 실험적으로 계산된 분산과 결합된 위의 공식을 사용하여 계산한 후, 32비트 양자화기 디자인에서의 RGB 성분에 관한 동일한 최적 비트 할당이 얻어질 수 있다. 35비트, 31비트 및 30비트 양자화기에 관해서도 유사한 비트 할당 결과가 마찬가지로 얻어질 수 있다.

양자화 테이블 디자인은 다음과 같이 달성될 수 있다. DC 성분에 관해서는 균일한 양자화기가 이용된다. 하다마드 변환 후의 DC 계수는 0부터 2040까지 변하여, 균일한 양자화기는

t_k = 2040(k-1)/2^m, k = 1,...,2^m

r_k = t_k + 2040/2^m, k = 1,...,2^m

에 의해 디자인될 수 있으며, 여기서 m은 양자화기의 비트의 개수이고, t_k는 결정 레벨이며, r_k는 재구성 레벨이다.

AC 성분에 관해서는, 균일하지 않은 양자화기(52)가 이용될 수 있다. 양자화기의 개수를 가능한 작게 유지하기 위해, 7개의 AC 계수가 결합되어 다음과 같이 대응하는 4개의 양자화기, 즉 Q1(5비트, 31개의 레벨), Q2(4비트, 15개의 레벨), Q3(3비트, 7개의 레벨) 및 Q4(3비트, 3개의 레벨)를 구비한 4개의 그룹으로 될 수 있다. 로이드-맥스(Lloyd-Max) 양자화기 디자인이 이용될 수 있고, 이는 평균 제곱 에러를 최소화하기 위해, 바람직한 결정 레벨(t_k)과 재구성 레벨(r_k)을 찾는다.

이제 도 5로 돌아가면, 인코더(14)에 의해 만들어진 예시적인 비트 스트림 구조가 도시되어 있다. 이러한 비트 스트림은 블록 단위로 그리고 라인 단위로 송신된다. 각각의 인코딩된 블록은 헤더와 페이로드(payload)를 포함한다. 헤더는 디코더(18)로 하여금 어떻게 페이로드를 디코딩할지를 알게 한다. 2개의 상이한 종류 의 헤더가 사용된다. "전이 블록" 헤더는 3개의 비트를 포함하는데 반해, "계속적(consecutive)이거나 연속적인 블록" 헤더는 1비트만을 포함한다. 전이 블록은 현재의 블록이 이전 블록과는 상이한 유형의 것이라는 것을 의미한다. 블록 유형의 정보를 운반하는 추가 2비트가 뒤에 오는 전이 블록을 표시하는 "1"이 보내진다. 계속적인 블록이란 현재의 블록이 이전의 블록과 동일한 유형이라는 것을 의미한다.

도 6은 1비트 구조를 만드는 것의 예의 흐름도를 더 상세히 도시한다. 순수한 그래픽 블록에 관해서는, 이전 블록이 순수한 그래픽 블록이라면 "1 00"이 송신되고, 순수한 그래픽 블록이 아니라면 "0"이 송신된다. 모든 픽셀이 동일한 값을 가진다면, 블록이 8비트로 압축될 것을 표시하는 여분의 "1"이 송신된다. 그렇지 않으면, 전술한 바와 같이 블록이 24비트로 압축될 것을 표시하는 여분의 "0"이 송신된다. 블록이 편평한 영역의 블록이라면, 이전 블록이 편평한 영역의 블록일 경우 "1 01"이 송신되고, 그렇지 않으면 0이 송신된다. 블록이 예리한 전이 블록이고, 이전의 블록이 예리한 전이 블록일 경우 "1 01"이 송신되고, 그렇지 않으면 0이 송신된다. 마지막으로, 블록이 일상적인 비디오 블록이라면, 이전 블록이 일상적인 비디오 블록인 경우 "1 11"이 송신되고 그렇지 않으면 0이 송신된다. 분명히, 본 발명의 범주로부터 벗어나지 않으면서 상이한 전략이 이용될 수 있다.

주목된 바와 같이, 목표 압축을 달성하기 위해 비트 속도 제어 시스템(54)(도 1)이 제공된다. 예시적인 실시예에서, 2:1의 목표 압축이 설명된다. 하지만, 본 발명의 범주로부터 벗어나지 않으면서 목표 압축에 대한 변형이 구현될 수 있음이 이해되어야 한다. 비트 속도 제어는 다음과 같이 구현될 수 있다. 4개의 상이한 압축 기술이 상이한 압축 데이터 길이를 만들어낸다. 또한, 골럼-라이스 코딩 자체가 다양한 길이의 코딩이므로, 각 행에 관한 고정된 비트 길이를 달성하기 위해 비트 속도 제어 전략이 이용된다. 많은 계속적인 블록이 한 행의 제 1 절반 부분에서 편평한 영역의 블록이나 순수한 그래픽 블록으로 분류된다면, 그 압축 비율은 일반적으로 그 행의 제 1 절반부의 끝까지 2:1보다 높게 될 것이고, 따라서 더 많은 비트가 그 행의 나머지 부분에서의 하다마드 계수의 양자화를 위해 사용될 수 있다.

전반적으로, 상이한 압축 방법이 한 프레임의 최상의 전반적인 화상 품질을 달성하기 위해, 비트 속도 제어 전략에 기초하여 서로로부터 이득을 얻을 수 있다. 속도 제어의 상세한 것은 다음과 같이 요약될 수 있다. (1) 압축되지 않은 1 ×8 블록은 64비트를 포함한다. 2:1 압축을 가정하면, 압축된 1 ×8 블록은 32비트의 비트 예산(budget)을 가진다. (2) B는 B=32*N인 N개의 블록을 인코딩하기 위한 목표 비트 예산이다. (3) C는 블록 N을 코딩하기 전에 N-1개의 블록에 의해 소모된 비트의 합이다. (4) R은 블록 N을 인코딩하기 위해 남겨진 비트 예산으로, R = B-C이고, R>th1(예컨대, th1=45)라면, 35비트의 양자화를 적용하고, 그 외에는 R>th2(예컨대, th2=31)라면 31비트 양자화를 적용하며, 그 외에는 30비트 양자화를 적용한다. 분명히 본 발명의 범주를 벗어나지 않으면서 상이한 전략이 이용될 수 있다.

도 3은 디코더(18)을 더 상세히 도시한다. 디코더(18)는 인코딩된 데이 터(58)의 스트림을 헤더 디코딩 시스템(60)으로 수신한다. 헤더(전술한)를 검사함으로써, 헤더 디코딩 시스템(60)은 4개의 가능한 디코딩 전략 중 하나가 실시되게 한다. 즉, 디코더(18)는 순수한 그래픽 데이터를 디코딩하기 위해 순수한 그래픽 디코더(62)를 포함하고, 편평한 영역의 데이터를 디코딩하기 위해 골럼-라이스 디코더인 64/DPCM 디코더(70)를 포함하며, 예리한 전이 데이터를 디코딩하기 위해 역(inverse) 균일한 양자화기인 66/역 하다마드 변환(72)을 포함하고, 일상적인 비디오 데이터를 디코딩하기 위해 역 균일하지 않은 양자화기인 68/역 하다마드 변환(72)을 포함한다. 디코딩 후, 출력(76)을 생성하기 위해 상이한 디코더 경로 각각으로부터의 디코딩된 데이터를 재조립하기 위해 멀티플렉서(74)가 이용된다.

본 명세서에서 설명된 시스템, 기능, 메커니즘, 방법, 엔진 및 모듈은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 결합으로 구현될 수 있음이 이해된다. 이들은 본 명세서에서 설명된 방법을 실시하기 위해 적응된 임의의 유형의 컴퓨터 시스템이나 다른 장치로 구현될 수 있다. 하드웨어 및 소프트웨어의 통상적인 결합은, 로딩되고 실행될 때 본 명세서에 설명된 방법을 실시하도록 컴퓨터 시스템을 제어하는 컴퓨터 프로그램을 구비한 범용 컴퓨터 시스템일 수 있다. 대안적으로, 본 발명의 하나 이상의 기능 과제(functional task)를 실시하기 위한 전용 하드웨어를 포함하는 특별한 용도의 컴퓨터가 이용될 수 있다. 추가 실시예에서, 본 발명의 일부 또는 전부가 분산 방식, 예컨대 인터넷과 같은 네트워크를 통해 구현될 수 있다.

본 발명은 또한 본 명세서에서 설명된 방법 및 기능의 구현을 가능하게 하는 모든 특징을 포함하는 컴퓨터 프로그램 제품에 내장될 수 있고, 이러한 컴퓨터 프로그램 제품은 컴퓨터 시스템에 로딩될 때 이들 방법 및 기능을 실시할 수 있다. 본 명세서에서의 컴퓨터 프로그램, 소프트웨어 프로그램, 프로그램, 프로그램 제품, 소프트웨어 등과 같은 용어는, 정보 처리 능력을 가지는 시스템으로 하여금 특별한 기능을 직접적으로 또는 (a) 또 다른 언어, 코드 또는 표시법(notation)으로 변환 및/또는 (b)상이한 자료 형태(material form)로 된 재생성 중 어느 하나 또는 모두의 다음에 수행하게 하도록 의도된 명령어의 세트의 임의의 언어, 코드 또는 표시법으로 된 임의의 표현을 의미한다.

본 발명의 전술한 설명은 예시 및 설명의 목적을 위해 제시되었다. 이는 본 발명을 총망라하거나 개시된 바로 그 형태로 본 발명은 제한하고자 의도된 것은 아니고, 분명히 많은 수정예와 변형예가 가능하다. 당업자에게 명백할 수 있는 그러한 수정예와 변형예는, 첨부된 청구항에 의해 정의된 본 발명의 범위 내에 포함되는 것으로 의도된다.

전술한 바와 같이, 본 발명은 혼합된 그래픽 및 비디오 시퀀스를 처리하기 위한 시스템에 관한 것으로, 특히 하이브리드 인코딩 및 디코딩 시스템과, 혼합된 그래픽및 비디오 데이터를 압축하기 위한 방법에 이용 가능하다.

Claims

혼합된 그래픽 및 비디오 신호(56)를 압축하기 위한 인코더(14)로서,

입력된 픽셀 데이터의 블록을 복수의 고유한 유형의 블록 중 하나로서 분류하기 위한 분류 시스템(22),

각 인코더 서브시스템이 고유한 유형의 블록을 압축하도록 구성되는 복수의 인코더 서브시스템(32, 34, 36, 38) 및

압축된 블록의 스트림에 관한 목표(target) 압축 속도를 달성하기 위한 속도 제어 시스템(54)을

포함하는, 혼합된 그래픽 및 비디오 신호를 압축하기 위한 인코더.
제 1항에 있어서, 상기 복수의 고유한 유형의 블록은 순수한 그래픽 블록(24), 편평한 영역의 블록(26), 예리한 전이 블록(28) 및 일상적인 비디오 블록(30)을 포함하는, 혼합된 그래픽 및 비디오 신호를 압축하기 위한 인코더.
제 2항에 있어서, 복수의 인코더 서브시스템은

순수한 그래픽 인코더(40)를 포함하는 제 1 서브시스템,

예측기(42)와 골럼-라이스(Golumb-Rice) 코딩 시스템(44)을 포함하는 제 2 서브시스템,

하다마드(Hadamard) 변환(46)과 고정된 균일한 양자화기(48)를 포함하는 제 3 서브시스템 및

하다마드 변환(46)과 적응 비-균일 양자화기(52)를 포함하는 제 4 서브시스템을

포함하는, 혼합된 그래픽 및 비디오 신호를 압축하기 위한 인코더.
제 1항에 있어서, 목표 압축 속도는 2:1인, 혼합된 그래픽 및 비디오 신호를 압축하기 위한 인코더.
제 1항에 있어서, 입력된 픽셀 데이터의 각각의 블록은 픽셀 데이터의 1 ×8 블록으로 이루어지는, 혼합된 그래픽 및 비디오 신호를 압축하기 위한 인코더.
제 1항에 있어서, 각각의 압축된 블록은 블록을 압축하기 위해 무슨 인코더 서브시스템이 사용되는지를 지시하는 헤더를 포함하는, 혼합된 그래픽 및 비디오 신호를 압축하기 위한 인코더.
제 6항에 있어서, 상기 헤더는 압축된 블록이 전이 블록인지 연속적인 블록인지를 지시하는, 혼합된 그래픽 및 비디오 신호를 압축하기 위한 인코더.
제 1항에 있어서, 픽셀 데이터의 블록은 RGB 데이터를 포함하는, 혼합된 그래픽 및 비디오 신호를 압축하기 위한 인코더.
제 1항에 있어서, 상기 속도 제어 시스템은 블록의 한 행에 관한 목표 압축 속도를 달성하는, 혼합된 그래픽 및 비디오 신호를 압축하기 위한 인코더.
혼합된 그래픽 및 비디오 신호를 처리하기 위한 비디오 처리 시스템(10)으로서,

복수의 고유한 유형의 블록 중 하나로서 각각의 입력된 픽셀 블록을 분류하기 위한 분류 시스템,

각 인코더 서브시스템이 고유한 유형의 블록을 압축하도록 구성되는 복수의 인코더 서브시스템 및

압축된 블록의 스트림에 관한 목표 압축 속도를 달성하기 위한 속도 제어 시스템을 포함하는, 혼합된 그래픽 및 비디오 픽셀 블록을 압축하기 위한 인코더(14)와,

인코더로부터 내장된 통신 채널을 통해 수신된 압축된 픽셀 블록을 디코딩하고, 각각 고유한 유형의 압축된 블록을 압축해제하도록 구성된 복수의 디코더 서브시스템(62, 64, 66, 68)을 포함하는 디코더(18)를

포함하는, 혼합된 그래픽 및 비디오 신호를 처리하기 위한 비디오 처리 시스템.
제 10항에 있어서, 상기 복수의 고유한 유형의 블록은 순수한 그래픽 블록, 편평한 영역의 블록, 예리한 전이 블록 및 일상적인 비디오 블록을 포함하는, 혼합된 그래픽 및 비디오 신호를 처리하기 위한 비디오 처리 시스템.
제 11항에 있어서, 상기 복수의 인코더 서브시스템은

순수한 그래픽 인코더를 포함하는 제 1 서브시스템,

예측기와 골럼-라이스 코딩 시스템을 포함하는 제 2 서브시스템,

하다마드 변환과 고정된 균일한 양자화기를 포함하는 제 3 서브시스템 및

하다마드 변환과 적응 비-균일 양자화기를 포함하는 제 4 서브시스템을 포함하는, 혼합된 그래픽 및 비디오 신호를 처리하기 위한 비디오 처리 시스템.
제 10항에 있어서, 상기 목표 압축 속도는 2:1인, 혼합된 그래픽 및 비디오 신호를 처리하기 위한 비디오 처리 시스템.
제 10항에 있어서, 각각의 입력된 픽셀 블록은 픽셀 데이터의 1 ×8 블록으로 이루어지는, 혼합된 그래픽 및 비디오 신호를 처리하기 위한 비디오 처리 시스템.
제 10항에 있어서, 각각의 압축된 블록은 블록을 압축하기 위해 무슨 인코더 서브시스템이 사용되는지를 지시하는 헤더를 포함하는, 혼합된 그래픽 및 비디오 신호를 처리하기 위한 비디오 처리 시스템.
제 15항에 있어서, 상기 헤더는 압축된 블록이 전이 블록인지 연속적인 블록인지를 지시하는, 혼합된 그래픽 및 비디오 신호를 처리하기 위한 비디오 처리 시스템.
제 10항에 있어서, 픽셀 블록은 RGB 데이터를 포함하는, 혼합된 그래픽 및 비디오 신호를 처리하기 위한 비디오 처리 시스템.
제 10항에 있어서, 속도 제어 시스템은 입력된 블록의 한 행에 관한 목표 압축 속도를 달성하는, 혼합된 그래픽 및 비디오 신호를 처리하기 위한 비디오 처리 시스템.
제 10항에 있어서, 인코더는 디스플레이 드라이버 내에 포함되고, 디코더는 디스플레이에 포함되는, 혼합된 그래픽 및 비디오 신호를 처리하기 위한 비디오 처리 시스템.
혼합된 그래픽 및 비디오 신호를 압축하기 위한 방법으로서,

입력된 픽셀 블록을 복수의 소정의 블록 유형으로부터 선택된 고유한 블록 유형으로서 분류하는 단계,

복수의 인코더 서브시스템 중 선택된 인코더 서브시스템으로 입력된 블록을 인코딩하는 단계로서, 상기 선택된 인코더 서브시스템은 블록 유형에 따라 달라지고, 각각의 인코더 서브시스템은 고유한 블록 유형을 압축하도록 구성되는, 인코딩 단계 및

압축된 블록의 스트림에 관한 목표 압축 속도를 달성하기 위해, 속도 제어 전략을 이용하는 단계를

포함하는, 혼합된 그래픽 및 비디오 신호를 압축하기 위한 방법.
제 20항에 있어서, 복수의 고유한 블록 유형은 순수한 그래픽 블록, 편평한 영역의 블록, 예리한 전이 블록 및 일상적인 비디오 블록을 포함하는, 혼합된 그래픽 및 비디오 신호를 압축하기 위한 방법.
제 21항에 있어서, 복수의 인코더 서브시스템은

순수한 그래픽 인코더를 포함하는 제 1 서브시스템,

예측기와 골럼-라이스 코딩 시스템을 포함하는 제 2 서브시스템,

하다마드 변환과 고정된 균일한 양자화기를 포함하는 제 3 서브시스템 및

하다마드 변환과 적응 비-균일 양자화기를 포함하는 제 4 서브시스템을

포함하는, 혼합된 그래픽 및 비디오 신호를 압축하기 위한 방법.
제 20항에 있어서, 상기 목표 압축 속도는 2:1인, 혼합된 그래픽 및 비디오 신호를 압축하기 위한 방법.
제 20항에 있어서, 각각의 입력된 픽셀 블록은 픽셀 데이터의 1 ×8 블록으로 이루어지는, 혼합된 그래픽 및 비디오 신호를 압축하기 위한 방법.
제 20항에 있어서, 각각의 압축된 블록은 블록을 압축하기 위해 무슨 인코더 서브시스템이 사용되는지를 지시하는 헤더를 포함하는, 혼합된 그래픽 및 비디오 신호를 압축하기 위한 방법.
제 25항에 있어서, 상기 헤더는 압축된 블록이 전이 블록인지 연속적인 블록인지를 지시하는, 혼합된 그래픽 및 비디오 신호를 압축하기 위한 방법.
제 20항에 있어서, 각각의 입력된 픽셀 블록은 RGB 데이터를 포함하는, 혼합된 그래픽 및 비디오 신호를 압축하기 위한 방법.
제 20항에 있어서, 속도 제어 전략은 블록의 각 행에 관한 목표 압축 속도를 달성하는, 혼합된 그래픽 및 비디오 신호를 압축하기 위한 방법.