KR950006772B1

KR950006772B1 - 압축된 비데오 데이타 표시를 발생하는 방법

Info

Publication number: KR950006772B1
Application number: KR1019920018559A
Authority: KR
Inventors: 아우구스토 곤잘레스 세자르; 람 도브; 비스키토 에릭
Original assignee: 인터내셔널 비지네스 머신즈 코포레이션; 죤 디. 크래인
Priority date: 1991-10-31
Filing date: 1992-10-09
Publication date: 1995-06-22
Also published as: DE69226749D1; EP0539833B1; SG43716A1; JPH05236447A; US5414469A; TW278299B; CN1036303C; DE69226749T2; EP0539833A2; KR930009416A; CN1072051A; EP0539833A3; JP2935934B2

Abstract

내용 없음.

Description

압축된 비데오 데이타 표시를 발생하는 방법

제1도는 내지 제4도는 MPEG-1 데이타 스트립의 비데오 압축층내의 압축된 데이타의 층을 표시하는 설명도.

제2도는 화상의 매크로블록(MB)분할을 도시하는 설명도.

제3도는 프레임의 예시적 슬라이드 분할을 도시하는 설명도.

제4도는 매크록블록의 블록 분할을 도시하는 설명도.

제5도는 MPEG-1 표에 사용된 GOP내의 화상중에서 2-레벨활동 보상하는 설명하는 설명도.

제6도는 본 발명에 따라 매크로블록이 여러가지 해상도 축척에서 어떻게 축적되는지 도시하는 설명도(매크로블록은 도시된 완전 해상도보다 높은 해상도로 축적될 수 있음을 주목하기 바란다.)

제7도는 제6도에 도시된 축적에 대응된 DCT계수의 계층적 예측을 도시하는 설명도.

제8도는 제6도 및 제7도의 4개의 해상도 축척중의 3개를 디코딩할 수 있는 디코더 블록 다이어그램(한 해상도 축척만이 출력으로서 필요한 때 블록중의 여러개는 무시될 수 있다는 것을 주목하기를 바란다).

제9도는 비트스트림 축척성을 가진 디코더의 블록 다이어그램.

제10도는 예측전에 비양자화(deguantiziation)를 가진 계층적 디코더의 블록 다이어그램.

제11도는 본 발명에 사용될 수 있는 신축성 축척성 비데오 압축엔코더의 블록 다이어그램.

제12a도는 제11도의 신축성 축척성 비데오 압축 엔코더 실시에 사용될 수 있는 변환 유닛트의 한 버젼의 블록 다이어 그램.

제12b도는 제11도의 신축성 축척성 비데오 압축 엔코더 실시에 사용될 수 있는 변환 유닛트의 한 버젼의 블록 다이어 그램.

제13a도는 제11도의 신축성 축척성 비데오 압축 엔코더에 실시에 사용될 수 있는 계층적 예측 유닛트의 유닛트의 한 버젼의 블록 다이이어 그램.

제13b도는 제11도의 신축성 축척성 비데오 압축 엔코더 실시에 사용될 수 있는 계층적 예측 유닛트의 다른 버젼의 블록다이어그램.

* 도면의 주요부분에 대한 부호의 설명

GOP : 화상 그룹 MB : 매크로블록

B : 양방향 활동-보상 화상(B-화상) P : 예측 활동-보상 화상(P-화상)

I : 모드내 화상 Y : 휘도

M : P-화상 사이의 거리 Cr : 적색 색도차

N : I-화상 사이의 거리 Cb : 청색 색도차

DCT : 개별적 코사인 변환 IDCT : 역 개별적 코사인 변환

MCP : 활동 보상 예측

본 발명은 데이타 압축 분야에 관한 것으로, 특히 여러가지 축척으로 디지탈 활동 비데오 신호를 압축 및 비압축하는 시스템 및 기술에 관한 것이다. 본 기술은 국제 표준 기구 이동 화상 전문가 그룹(International Standarde Organization's Moving Picture Experts Group)(MPEG)이 제안한 출현될 MPEG 표준과 유사한 알고리즘상에 확장된다.

디지탈 비데오의 전송 및 저장을 여러가지 적용에서 경제성을 갖게 하는데에 디지탈 전송 네트워크, 디지탈 저장 매체, 고집적 소자 비데오 및 오디오 신호의 디지탈 처리의 기술적 발전이 집중된다. 디지탈 비데오 신호의 저장 및 전송은 여러가지 적용에서 중심적인 것이고, 또한 비데오 신호의 압축되지 않은 표시는 큰 기억 용량을 필요로 하기 때문에, 디지탈 비데오 압축 기술의 사용은 이 발전하는 분야에서 중요하다. 이러한 점에서, 디지탈 비데오 신호의 압축을 위한 여러가지 국제 표준이 지난 10년간 출현되었고 현재도 개발중인 것이 많이 있다. 이러한 표준들은 비데오-전화 및 회의 (video-telephony and teleconerencing), 동축 및 광섬유 네트워크상의 고품질 디지탈 텔레비젼 전송 및 지상 및 직접 방송 위성에 의한 방송(hiqh guality digital television transmission on coaxial and fiber-optic neworks as well as broadcast terrestially and over direct broadcast satellites). CO-ROM, 디지탈 오디오 테이프 및 원체스터 디스크 드라이브에 기초한 대화식(interactive) 다중매체 제품을 포함한 여러가지 적용에서 압축 디지탈 비데오의 전송 및 저장을 위한 알고리즘에 적용된다.

이러한 표준중의 여러개는 압축 기술의 공통 코어(core), 즉 CCITT(국제 전신 전화 자문 위원회(Consultative Committee on International Telegraphy and Telephony) 권고 H. 120, CCITT 권고 H. 26 및 ISO/IEC MPEG 표준에 기초한 알고리즘을 포함한다. MPEG 알고리즘은 국제 표준 기구(ISO)와 국제 전기기술 위원회(IEC)의 합동 기술 위원회(joint technical committee)의 일부인 이동 화상 전문 그룹(MPEG)에 의해 개발되었다. MPEG 위원회는 비데오 및 관련 오디오 신호의 멀티플렉스되고 압축된 표시를 위한 표준초안(a draft standard)을 개발해 왔다. 그 표준은 압축 비트스트림의 신택스(syntax)와 한 레벨의 공간 해상도로 디지탈 비데오 신호를 디코딩하는 방법을 규정한다. 이 표준 초안을 그 동일한 위원회가 논의중인 새로운 알고리즘과 구별하기 위해 MPEG-1 표준 또는 알고리즘으로 지정될 것이다. MPEG-1 표준 초안은 1991년 5월의 문서 ISO/IEC JTC1/SC2 WG11 MPEG 91/090에 기술되었다.

본 발명이 동일 압축 비트 스트림으로부터 다수의 비데오 해상도를 발생하기 위해 MPEG-1 디코더의 기능을 연장하기 위해 적용될 수 있기 때문에, MPEG-1 비데오 압축 알고리즘이 몇가지 관련 특징이 검토될 것이다. 그러나, 본 발명은 MPEG 알고리즘의 몇가지 특징을 이용하는데 다른 비데오 코팅 알고리즘에도 적용될 수 있다는 것을 주목하기 바란다.

[MPEG-1 비데오 압축 알고리즘]

우선, 텍스트의 페이지, 영상, 음성 세그먼트(a segrment of speech) 또는 비데오 시퀀스와 같은 데이타 대상(object)의 압축은 그 대상을 토큰의 컬렉션(a collection of tokens)으로 분해(decompostion)하는 단계인 제1단계와, 그 토큰을 어떤 의미에서 최소 길이를 갖는 2진 스트링으로 표시하는 단계인 제2단계와, 스트링을 양호하게 정의된 순서로 연결하는 단계인 제3단계의 시리즈로 생각될 수있다는 것이 이해될 것이다. 제2단계 및 제3단계는 손실이 없고, 즉 , 원래의 데이타는 역변환(reversal)시에 충실히 회복가능하며, 제2단계는 엔트로피 코딩으로 알려졌다. (1977년 Englewood Cliffs, NJ : Prentice-Hall 발행 T.Berger의 “율 왜곡 이론(rate distortion theory)” 1971년 Reading, MA : Addison-Wesley 발행 R.McEliece의 “정보 및 코딩이론”, 1952년 9월 발행 Proc, IRE의 1098-1101 페이지에 게재된 D.A.Huffman의 “최소 용장도(redundany)코드 구성 방법”, 1984년 3월 발행 IBM J. Res. Develop. 볼륨 28의 135-149 페이지에 기재된 G.G. Langdon이 “수학적 코딩의 소개”를 참조하기 바란다). 제1단계는 대체로 손실이 없거나 있을 수 있다(step 1 can be ether lossless or lossy i general). 대부분의 비데오 압축 알고리즘은 손실이 있다. 성공적인 손실 압축 알고리즘 용장(redundant) 및 관련 정보를 제거하며, 가시적으로 심각하지 않을 비교적 큰 오류를 허용하고, 인간 관찰자가 매우 민감한 시퀀스의 특징을 제공한다. 제1단계를 의해 MPEG-1 알고리즘에 이용된 기술은 예측/보간 활동-보상(predictive/interpolative motion-compensated)하이드리브 DCT/PCM 코팅으로 기술될 수 있다. 가변 길이 코팅으로는 알려진 Huffman 코팅(상기 Huffman의 1952년 페이퍼를 참조하기 바란다)은 제2단계에 사용된다. 상기한 바와같이 MPEG-1 표준이 디코더와 압축 비트 스트림 신택스의 진정한 규정이더라도, MPEG-1 규정의 다음 설명은 설명의 용이성을 위해서 주로 엔코더의 관점에서 기술된다.

MPEG-1 비데오 표준은 1991년 ISO-IEC JTC1/SC2/WG11 MPEG CD-11172, MPEG 위원회 초안에 기술된 바와같이 디지탈 저장 매체를 위한 비데오의 코딩된 표시를 정규한다. 그 알고리즘은 비록 2개의 연속 비월 필드를 단일 화상으로 조합하므로써 비월 비데오로 작동하도록 확장될 수 있으나, 비비월 성분 비데오로 작동하도록 설계된다. 각각의 화상은 3개의 성분, 즉, 휘도(Y), 적색 색도차(Cr)와 청색 색도차(Cb)를 갖는다. Cr과 Cb 성분은 각각 수평 및 수직 방향으로 Y성분의 반의 샘플을 갖는다. 또한, 알고리즘은 단일 레벨의 비데오 화상도로 작동한다.

[MPEG-1 시퀀스의 층 구조]

MPEG-1 데이타 스트림은 시스템 정보 및 다른 비트 스트림과 함께 계층화된 것으로 간주될 수있는 시스템 데이타 스트림으로 팩킹된 비데오 스트림 및 오디오 스트림으로 구성된다. MPEG-1 데이타 스트림의 비데오 층내에서, 압축된 데이타는 더욱 계층화된다. 가장 높은 층은 비데오 시퀀스층으로서, 제어 정보와 전체 시퀀스를 위한 변수를 포함한다. 다른 층의 조직이 설명이 본 발명의 이해를 도울 것이다. MPEG-1 비데오 계층 구조의 이러한 층들이 제1도 내지 제4도에 도시되었다.

제1도는 화상 그룹(Groups of Pictures)(GOP)의 설명도이다.

제2도는 화상의 매크로블록(Macroblock)(MB)의 부분할(subdivision)의 설명도이다.

제3도는 화상(예)의 슬라이스 부분할의 설명도이다.

제4도는 매크로블록의 블록 부분할의 설명도이다.

상기 층들은 압축 알고리즘이 작용과 압축된 비트 스트림의 구성에 관련한다. 상기와 같이, 가장 높은 층은 비데오 시퀀스 층이며, 전체 시퀀스에 대한 제어 정보와 변수를 포함한다. 다음 층에는, 시퀀스는 연속화상의 셋트로 분할되며, 각각은 화상그룹(GOP)으로 알려졌다. 이 층의 일반적인 설명은 제1도에 도시된다. 디코딩은 어느 GOP의 시작점에도 시작될 수 있으며, 기본적으로 앞의 GOP와는 무관하다. GOP 내의 화상의 수에는 제한이 없으며, 모든 GOP에 동일한 수의 화상이 있어야만 하는 것도 아니다.

화상층 또는 제3층은 단일 화상이다. 이 층의 일반적인 설명은 제2도에 도시된다. 디코딩은 어느 GOP의 시작점에서도 시작될 수 있으며, 기본적으로 각각의 화상의 휘도 성분은 16×16 영역으로 분할되고, 색도차 성분은 8×8 영역으로 분할되며 16×16 휘도영역과 공간적으로 동일 위치에 위치된다. 동일 위치 휘도영역과 색도차 영역은 제5층을 형성하고 매크로블록(MB)으로 알려졌다.

화상층과 MB층 사이에는 제4층 또는 슬라이스층이 있다. 각각의 슬라이스는 임의의 수 또는 선택적인 수의 연속 MB로 구성된다. 슬라이스는 화상내의 또는 화상마다 크기가 균일할 필요는 없다. 그것들을 크기가 불과 몇개의 매트로블록이거나 또는 제3도와 같이 MB의 복수의 열에 걸쳐 연장될 수 있다.

MB는 아래와 같이 여러가지 속성(attribute)이 관련될 수 있는 기본층이다. MB의 기본 구조는 제4도와 같이 4개의 휘도 블록과 2개의 색도 블록으로 구성된다. 이 블록들은 모두 크기가 MPEG-1에서 8×8이다. 여러 화상 해상도에 걸쳐 MB의 구조와 속성(반드시 크기만이 아니다)을 보존하는 것이 본 발명의 목표중의 하나이다.

GOP내에서 세가지 형태의 화상이 나타날 수 있다. 화상형태중의 뚜렷한 차이는 사용된 압축방법이다. 모드내(Intramode) 화상 또는 I-화상은 다른 화상과 무관하게 압축된다. I-화상 사이의 거리에 대해 고정된 상부 경계(fixed upper bound)는 없지만, 무작위 액세스(randomaccess)와 다른 특별한 작동 모드를 가능하게 하기 위해 시퀀스에 걸쳐서 I-화상들은 종종 산재될(intersperse)것이 예상된다. 각각의 GOP는 I-화상으로 시작되어야만 하고, GOP내에 부가적 I-화상이 나타날 수 있다. 다른 형태의 화상, 즉, 예측활동-보상 화상(predictively motion-compensated pictures)(P-pictures)과 양방향 활동-보상 화상(bidirectionally motion-compensated pictures)(B-pictures)이 아래에서 활동 보상의 논의에서 기술될 것이다.

[활동보상]

대부분의 비데오 시퀀스는 연속 화상 사이에 높은 정도의 상관성(correlation)을 보인다. 화상은 코딩하기전에 이러한 용장도를 제거하는 유용한 방법은 “활동보상”이다. 활동 보상은 한 장면(scene)에서 활동을 모델링하고 추정하는 수단(sone means for modeling and estimating the motion in a scene)을 요구한다. MPEG-1에 있어서, 각각의 화상은 매크로블록으로 분할되며(each picture is partitioned into macroblocks), 각각의 MB는 예측 화상(a prediction picture) 또는 화상들내의 동일 공간 위치에서 16×16 영역과 비교된다. 어떤 의미에서 MB와 가장 잘 매치되는 예측 화상내의 영역은 예측(perdiction)으로 사용된다. MB의 공간 위치와 그 예측자(predeictor)의 공간 위치 사이의 차이는 활동 벡터로 지칭된다. 따라서, 활동 추정과 MB 보상의 출력은 활동 벡터와 활동 보상 차이 매크로블록이다. 이것들은 일반적으로 원래의 MB 자체보다 더 보상될 수 있다. 앞에서, 즉, 시퀀스내에서 시간적으로 앞에서 단일 예측화상을 사용하여 예측가능하게 활동 보상된 화상은 P-화상으로 알려졌다(pictures which are predictively motion-compensated using a signgle predicting picture in the past, i.e., forward-in-time in the seguence, are known as P-pictures.

MPEG-1에서, P-화상과 예측 화상 사이의 시간 간격은 한 화상 간격보다 클 수 있다. P-화상들 사이에 또는 I-화상과 P-화상 사이에 있는 화상에 대해서는 벡크워드-인-타임 예측(backward-in-time prediction)에 추가하여 사용될 수 있다. 그러한 화상은 양방향 활동보상 화상(SB-화상)으로 알려졌다. B-화상에 대해서, 순방향 예측 및 역방향 예측에 추가하여, 예측자가 앞의 예측 화상으로부터 블록과 미래 예측 화상으로부터 블록의 평균인 삽간 활동 보상이 허용된다. 이 경우에 2개의 활동 벡터가 필요하다.

양방향 활동 보상을 사용하면 제5도와 같이 2-레벨 활동 보상 구조를 제공한다. 각각의 화살표는 점과 접하는 화상을 사용하여 화살표 머리를 접하는 화상의 예측을 나타낸다. 각각의 P-화상은 앞의 P-화상(또는 경우에 따라서는 I-화상)을 사용하여 활동-보상된다. 각각의 B-화상은 그 직전 직후에 P-화상 또는 I-화상에 의해 활동-보상되었다. 이 예측 화상은 가끔 “앵커(anchor)”화상으로 지칭된다. 앵커 화상 사이의 거리에도 또한 I-화상 사이의 거리에도 MPEG-1에서는 아무런 제한이 규정되지 않았다. 사실, 이러한 변수는 전체 시퀀스에 걸쳐 일정할 필요는 없다. I-화상 사이의 거리를 N으로, P-화상사이의 거리를 M으로 지칭하면, 제5도에 도시된 시퀀스는 (N,M)=(9,3)를 갖는다.

MPEG-1 시퀀스는 일련의 I-화상 사이에 삽입된 P-화상이 없거나 또는 하나 이상 있는 일련의 I-화상으로 구성된다. 여러가지 I-화상 및 P-화상은 그 사이에 B-화상을 않가지거나 또는 하나이상 가질수도 있으며, 하나이상 가진 경우에는 그것들은 앵커 화상이다.

[MB의 변환 및 양자화]

한가지 매우 유용한 영상 압축 기술은 변환코팅이다(1984년 Englewood Cliffs, NJ : Prentice-Hall 발행 N,S.JAYANT와 P.NOLL의 “파형의 디지탈 코딩, 원리 및 음성과 비데오에 응용”. 1979년 New York, NY : Academic Press가 발행하고 편집인이 W.K. Pratt인 Image Transmission Techniques의 113-115페이지에 게재된 A.C TESCHER의 “변형 영상 코딩”을 참조하기 바란다.) MPEG-1 및 몇가지 다른 압축 표준에서, 개별 코사인 변환(discrete cosine transform)(DCT)은 선택의 변환이다. (1990년 San Diego, CA : Academic Press 발행 K.R.RAO와 P.YIP의 “개별 코사인 변화, 알고리즘, 이점, 응용”, 1974년 1월 IEEE Tarnsactions on Computers의 90-93 페이지에 게재된 N.AHMED, T.NATARAJAN과 K.R. RAO의 “개별 코사인 변환”을 참조하기 바란다). 예로서, I-화상의 압출은 MB내의 휘도 및 색도 화소의 블록의 DCT를 취하고, DCT계수를 양자화하며, 그 결과를 허프만 코딩(Huffman coding) 하므로써 달성된다. 유사한 원리가 P-화상과 B-화상의 압축에 적용되는데, 이 경우에 DCT는 MB내의 화소의 블록과 그 대응 활동-보상 예측 사이의 차이에 적용될 수 있다는 것은 예외이다. DCT n×n 화소의 블록을 n×n 셋트의 변환계수로 변환시킨다. DCT는 압축 응용에서 매우 유용한데, 왜냐하면, 그것은 화소 데이타의 블록의 에너지를 몇개의 DCT 계수에 집중시키고자 하고 또한 DCT 계수는 상호 거의 무관하기 때문이다. 국제 압축 표준중의 몇가지처럼, MPEG-1 알고리즘은 8×8 DCT 블록 크기를 사용하는데, 그것은 MB내의 블록 크기에 대응한다. 본 발명의 한 목적은 MB이 크기를 축척하에 (scale)다중 해상도의 화상을 지지하기 위해 큰 크기 또는 작은 크기의 DCT를 사용하는 것이다.

다음 단계는 DCT계수의 양자화인데, 그것은 MPEG-1 알고리즘의 주요 손실원이다. m과 n이 0과 7사이에 있고, DCT 계수의 2차원 배열의 요소를 Cmn으로 표시하면, 단점(truncation) 또는 반올림(rounding) 교정과는 별도로, 양자화는 각각의 DCT 계수 Cmn을 VmnxQP로 나누므로써 달성되는데, Wmn은 가중계수(weightion factor이고 Qp는 양자화변수(guantizer parameter)이다. 가중계수는 Wmn는 조악한(coarser) 양자화가 덜 중요한 계수에 적용되도록 허용한다. 두가지 셋트의 가중치(weight)가 있을수 있는데, 하나는 I-화상에 대한 것이고, 또 하나는 P-화상 및 B-화상에 대한 것이다. 커스텀 가중치(custom weight)는 비데오 시퀀스 층내에 전송될 수 있다. 양자화변수(QP)는 MPEG-1에서 품질 대 비트율을 평균화하는(trading off) 주요 수단이다. QP는 화상내에서 MB에 따라 변할 수 있음을 주목하는 것이 중요하다. 본 발명에서 다른 크기의 DCT를 위해 개별 가중치 매트릭스를 제공하거나 또는 디코더 처리를 가능하게 하기 위해 수학적으로 관련된 다른 크기의 가중치 매트릭스를 제공하는 것을 선택하는 것이 가능하다는 것에 주목하는 것이 또한 중요하다.

양자화후에, 한 셋트의 허프만 코드를 사용하여 각각의 MB에 대한 DCT계수 정보가 구성되고 코딩된다. 이 단계의 상세사항은 본 발명의 이해에 기본적인 것이 아니기 때문에 본 명세서에는 더이상 설명하지 않으나, 더 이상의 정보를 위해서는 상기 1952년 허프만의 페이프를 참조하기 바란다.

[활동 보상에 기인한 매크로블록 속성]

MB에 적용될 수 있는 활동 보상에는 세가지 종류가, 즉, 순방향(forward), 역방향(backward) 및 보간(Interpolative)이 있음을 알 수 있다. 엔코더는 이 모드중의 하나를 선택해야만 한다. 몇개의 MB에 대해, 활동 보상 모드중에 어느것도 정확한 예측은 주지 못한다. 그러한 경우에, MB는 I-화상에서와 같이 인트러모드 코팅에 대해 선택될 수 있다. 따라서, 활동 보상 모드에 따라 MB는 다음의 형태일 수 있다.

ㆍ순방향

ㆍ역방향

ㆍ보간

ㆍ인트러(..내)

또한 P-화상에서, 활동 벡터의 값에 따라서, MB는 활동 벡터가 0인 형태이거나 또는 0이 아닌 형태일 수 있다. 이러한 형태는 요구되는 활동 벡터 데이터와 함께 각각의 MB를 가지고 오버헤드 데이타로서 코딩된다. 스킵(skip)된 MB는 아래에 설명되는 바와같이 예외이다.

[변환과 양자화에 기인한 매크로블록 속성]

상술한 바와 같이, QP 변수는 MB대 MB 베이스로 변화될 수 있다. 이러한 변화가 일어날 때 새로운 QP가 사용되어야 한다는 것을 나타내기 위하여 부가적 MB형태가 사용된다. 새로운 QP값 자체는 MB와 함께 전송된다.

MB내에서 블록이 DCT와 양자화를 적용한 후에, 몇개의 블록은 0만을 포함할 수도 있다. 이러한 블록은 코딩될 추가적 데이타를 요하지 않으며, 소위 코팅된 블록패턴 코드에 의해 신호된다. 이 코드는 부가적 오버헤드를 나타낸다.

마지막으로, MB가 부가적 새로운 경보를 포함하지 않을 때마다 스킵될 수 있다. 이 정보를 전달하기 위해서 MB어드레스도 매 스킵되지 않은 MB와 함께 전송된다.

MB는 각각의 코팅된 MB를 가진 오버헤드 데이타를 포함하므로써 기술될 필요가 있는 일련의 속성을 갖는다는 것을 주목해야 한다. 활동 벡터의 정확도와 같은 몇가지 변수를 정교하게 하는 경우를 제외하고는, 오버헤드가 한번만 포함되도록 여러가지 축척에서(across a multiplicty of scales) MB의 동일성을 보존하는 것이 본 발명의 한 목적이다.

따라서, MPEG-1 비데오 알고리즘에 대한 상기 설명으로부터, MPEG-1 표준의 목적은 비데오 시퀀스에 대응되는 압축된 비트 스트림의 신택스를 규정하고 또한 단일 레벨의 공간 해상도로 시퀀스를 디코딩하는데 사용된 방법은 규정하는 것이라는 것을 이해할 것이다. 본 발명의 문제점은 디지탈 비데오 시퀀스가 디코딩되고 여러가지 축척으로 엔코딩되도록 신택스의 규정과 MPEG-1의 디코딩 방법을 확장하는 것이다. 이 목적을 위해 축척의 두가지 방법이 구별된다.

1. 해상도 축적

이것은 비스트림의 여러 부분을 선택하므로써 여러가지 공간 해상도로 디코딩될 수 있는 비트스트림을 발생하는 능력을 지칭한다. 다중 비데오 윈도우가 완전한 해상도 스크린(full resolution screen)에 디스플레이 되어야만 하는 적용에서 이러한 특성이 바람직하다. 그것은 또한 여러가지 복합도의 디코더의 실시를 허용하기 때문에 바람직하고, 낮은 공간 해상도만을 디코딩하는 매우 간단한 디코다가 가능할 수 있다.

2. 비스트림의 축척

이것은 코딩된 비트가 무시될 수 있으면서도 사용 가능한 영상이 발생되는 비트스트림을 발생하는 능력을 지칭한다. 해상도 축적가능 알고리즘은 또한 비트스트림 축척 가능 알고리즘이지만, 비트스트림 축척은 본 명세서에서 보다 좁은 의미로 해석된다. 비트스트림 축척성은 항상 완전한 해상도로 비압축하는 것을 뜻하도록 의도한 것이다. 이것은 압축된 비트스트림 데이타중의 일부가 노이즈에 의해 붕괴될 때 비압축된 비데오의 품질의 저하가 허용가능하게 하기 위해 유용한 특성이다(this is a useful feature for graceful deqradation of the guality).

본 발명은 8×8 DCT 성분의 계층적 코딩에 의해 해상도 및 비트스트림 축척을 지원하는 방법 및 장치를 제공함으로써 이 2개의 형태의 축척성을 지원하기 위해 MPEG-1 디코딩 방법을 확장하는 것에 관한 것이다. 그 방법은 신축성이 있으며, 하나 이상의 해상도 척도가 여러가지 적용을 지원하기 위해 겹쳐질 수 있다(stacked up). 계층적 층의 정확한 수는 적용의 요구사항 또는 엔코더의 설계자에게 달려 있다. 또한 본 발명은 매크로블록의 속성이 여러가지 계층적 층에서 보존되도록 신택스와 MPEG-1의 방법을 확장하는 문제를 다룬다.

본 발명의 주제와 관련되는 계층적 코딩 기술의 주제에 관한 논문이 기술 문헌에 수없이 많다. 이러한 많은 참고문헌은 아대역(subband) 코딩과 피라미드 코딩의 주제를 다룬다. 이 주제를 검토한 최근의 2개의 서적은 아래와 같다.

ㆍ1991년 Kuwer Academic Publishers 발행 편집인이 J.W. WOODs 인 “아대역 영상 코딩”

ㆍ1991년 SPIE optical Engineering, Bellingham, W.A. USA 발행 M.RABB ANI와 P. JONES의 “디지탈 영상 압축 기술”

다음의 세가지 문헌이 본 발명에 가장 관련깊은 종래의 기술로 믿어진다.

ㆍ1989년 2월 발행 ISO/JTC1/SC2/WG8, JPEG N-260에 게재된 Ch.GUILLEMOT, T.N'GUYEN 및 A.LEGER의 “계층적 계획(scheme)의 대체안”

ㆍ1991년 5월 네델란드왕국의 PTT RESEARCH 발행 ISO/IEC JTC1/SC2/ WG11 MPEG 91/051에 게재된 “CCIR 601 다목적 코딩 계획(scheme)의 셋트업”

ㆍ1991년 8월 네델란드왕국의 PTT RESETCH 발행 ISC/IEC JTC1/SC2/W Gqq MPEG 91/14에 게재된 “CCIR 601 영상의 호환성 코딩(compatible coding)” : 예측 오류를 예측한다. 첫번째 문헌은 다중해상도 정영상(still image)을 압축 하기 위한 계층적 계획을 기술하는데, 낮은 해상도 영상의 DCT계수는 높은 해상도 DCT 계수를 예측하는데에 사용된다. 이 계획은 DCT가 항상 동일한 크기라는 점에서 본 발명과 다르다. 또한 공통 속성을 가진 화소의 블록으로 세그멘트된 비데오를 압축하는데 계획을 적용하는 것은 고려되지 않았다.

두번째 특히 세번째 문헌은 2개의 해상도 층에 적용될 때 본 발명은 닮은 계획을 기술한다. 이러한 교시(teachings) 에서의 계획의 목적우 CCTR 601 포맷과 MPEG-1 SIF 포맷과 호환적인 화상이 발생되도록 2개의 해상도 축척 레벨을 사용하는 것이다. 해상도 및 비트스트림에서 축척가능한 코더에 대한 기술을 더욱 일반화하려는 시도는 없었다. 또한, 매크로블록의 속성은 2개의 축척 레벨에 걸쳐 보존되지 않으며, 높은 해상도 축척에서의 활동 보상 벡터는 32×16 CCIR 601 매크로블록 레벨이 아니고 16×8 블록 레벨에서 규정되었다. 이것은 이 속성이 해상도 축적들에 공유될 수 없음을 뜻한다. 또한, 다른 속성들이 어떻게 처리되는지 상세사항이 제공되지 않았다.

상기 종래의 기술의 시스템과 알고리즘에 대조적으로, 본 발명의 목적은 여러가지 공간 해상도와 비트스트림 축척으로 비데오 디코딩을 허용하는 비데오 시퀀스를 압축하기 위한 신축성 신택스와 엔코딩/디코딩 구조를 제공하는 것이다.

본 발명의 또 다른 목적은 현존 신택스와 MPEG-1 표준의 방법을 확장하는 방법으로 축척을 지지하기 위한 시스템과 알고리즘을 제공하는 것이다. 그러한 확장은 최소의 부가적 오버헤드 정보를 가지고 수행된다

본 발명의 또 다른 목적은 본 발명의 시스템 및 알고리즘과 일치하는 엔코더 및 디코더를 제공하는 것이다.

본 발명은 해상도 또는 비트스트림 축척에 따라 데이타를 멀티플랙스하는 비데오 데이타를 위한 표시를 형성하는 방법으로 비데오 영상 데이타의 스트림을 처리하기 위한 시스템 및 방법을 포함한다. 이러한 표시는 MPEG-1의 기본적 매크로블록(MB)의 동일성이 모든 해상도 및 비트스트림 축척에 걸쳐 보존되도록된다. 제6도는 4개의 레벨의 해상도에 걸쳐 축척하므로써 어떻게 MB 동일성이 보존되는지 보여준다. MB는 MPEG-1 압축 데이타 스트림에 합체된 오버헤드 데이타 양에 기여하는 일련의 속성과 관련되기 때문에 이 동일성을 보존하는 것이 중요하다. 다중 해상도와 비트스트림 축척에 걸쳐 MB 동일성을 보존하므로써 이러한 축척은 이러한 오보헤드를 공유할 수 있고 따라서 그 오버해드가 데이타 스트림내에 한번만 포함될 것을 요구한다.

MB 동일성을 보존하는 것은 또한 최고 해상도가 아닌 모든 해상도 축척에 대해 활동 추정 벡터 데이타의 도출을 현저히 간략화한다. 기본적으로, 해상도 축척에 대응되는 활동 벡터 데이타는 최고 해상도 활동 벡터 데이타를 적절히 축소하므로써 최고 해상도 활동 벡터 데이타로부터 도출될 수 있다. 예로서, 1/4 해상도에서의 x- 및 y-활동 벡터 성분은 대응 완전 해상도 성분의 1/2이다. 또는, 완전 해상도 활동 벡터는 낮은 해상도 활동 벡터의 적절한 확대에 의해 도출될 수 있다. 후자의 경우에, 확동 벡터 데이타의 정밀도를 개량하기 위해 부가적 교정이 높은 해상도 축척이 첨가될 것이다.

본 발명의 제2특징은 MB 코딩을 위한 방법이 또한 보존된다는 것이다. 상기한 바와 같이, MPEG-1에서 MB는 8×8 블록의 휘도 및 색도 정보로 분할되고, 각각의 블록은 8×8 개별적인 코사인 변환(DCT)을 사용하여 코딩된다. 현재 기술에서, 각각의 축적된 MB는 또한 6개의 서브블록의 휘도 및 색도 정보로 분할되고, 각각의 서브블록은 적절한 크기의 DCT를 사용하여야 코팅된다. 따라서, 제6도의 1/4 해상도 MB에 대해, 4×4 크기의 DCT가 사용될 것이다. 따라서, 예로서 그러한 4×4 DCT는 여러가지 방법으로 대응 8×8 DCT의 명확한 실시예가 요구되지 않는다는 것을 주목하기 바란다.

마지막으로, 본 발명의 세번째 특징은 타겟 해상도 축적으로 화상을 재구성하는데 필요한 DCT 블록 데이타를 발생하는 방법에 관한 것이다. 본 발명의 기술에서, 여하한 해상도 또는 비트스트림 축척의 DCT 계수 데이타는 계층적으로 낮은 축척의 DCT 데이타를 예측자(predictor)로서 사용하는 표준 미분 코딩 기술에 의해 코딩된다.

이하 본 발명을 도면을 참조하여 상세히 설명한다.

본 발명의 특정 실시예의 설명을 하기전에, 디지탈 비데오가 어떤 역할을 할 것으로 예상되는 넓은 범위의 응용은 비데오 압축 알고리즘에 많은 상층(conflict)는 요구사항을 부과한다. 이러한 상충은 표준 호환성, 엔코더 및 디코더 실시 복합성, 기능, 영상 품질등의 조건에서 입증된다. 이러한 상충도는 요구사항은 단일 코딩 알고리즘에 의해 충족될 수 없으며, 특정 적용이 요구사항에 매칭되는 알고리즘의 신축적 구조를 요구한다고 믿어진다.그러한 신축성은 이러한 상충되는 요구사항중의 많은 것을 충족시키는데에 사용될 수 있으며, 또한 구조의 여러가지 실시예 사이의 상당한 호환성을 보존한다. 예로서, 다른 적용에 다른 엔코더 실시가 필요한 반면에, 신축성 구조에 일치하는 모든 비트스트림을 디코딩하는 단열 디코딩 장치를 실시하는 것이 가능하다고 믿어진다. 그러한 일반적인 디코더는 과다하게 복잡하지 않아야 한다고 믿어진다. 본 발명의 한 목적은 그러한 일반적인 디코더를 제공하는 것이다.

몇가지 적용은 상기한 바와 같이 해상도 및 비트스트림 축척성 특성으로부터 이득을 얻을 것이다. 본 발명의 방법 및 장치는 8×8 DCT 성분의 계층적 코딩에 의해 해상도 및 비트스트림 축적을 지원한다. 다른 크기의 DCT가 사용될 수 있지만, 양호한 실시예는 8×8 DCT로 시작하는데, 왜냐하면 그것이 여러가지 표준 압축 알고리즘의 선택이기 때문이다.

해상도 축적을 위해, 본 발명은 예로서 4개의 해상도 레벨까지 제공하도록 사용될 수 있다. 최저 가능 해상도는 8×8 DCT 블록의 좌측 상부 성분의 동등물(the equiv alent)을 코딩하므로써 얻어지며, 이 해상도는 원래의 해상도의 1/64이다. 다음, 원래의 해상도 1/16의 해상도는 DCT 블록의 좌측 상부 2×2 계수의 동등물을 코딩하므로써 얻어질 수 있다. 좌측 상부 4×4 계수의 동등물을 코딩하면 원래 해상도의 1/4의 해상도를 얻는다. 마지막으로, 모든 8×8 계수를 코딩하면 완전 해상도 비데오를 얻는다.

해상도가 고정되었다면, 본 발명은 동일 해상도에서 다중 계층적 층을 코딩하므로써 비트스트림 축적을 지원한다. 그러나, 점진적으로 더욱 정교한 양자화 계수를 가지고, 이러한 층들은 동일 공간 해상도와 품질이 향상된 비데오를 제공할 것이다. 이 경우에, 계층의 제1 및 최저층은 조악한 양자화로 코딩되고, 보다 높은 층은 정밀도가 증가된 양자화를 코딩된다.

구조는 신축적이며, 하나 이상의 이러한 계층적 층은 해상도 또는 정밀도가 증가되는 순서로 적층될 수 있고, 따라서 한 해상도 레벨에서 재구성된 계수는 다음 해상도 레벨에서의 대응 계수를 예측하는데 사용된다. 최저층을 제외하고는, 어느층의 변환 계수도 그 예측에 대해 미분 코딩된다(transform coefficients in any layer are coded differentially with respect to their prediction). 예로서 완전 해상도와 1/16 해상도 축적을 위한 데이타만 포함하는 비트스트림을 발생시키기 위해 엔코더가 선택되어야만 한다. 그러한 경우에, 1/16 해상도 층에서의 계수는 완전 해상도 층에서의 계수를 예측하는데 사용될 것이다. 또는 비트스트림 축척성을 위해서, 한 층의 8×8 DCT 계수의 조악하게 양자화된 셋트는 더욱 정교히 양자화된 다음 층내의 8×8 계수의 대응 셋트의 예측으로서 사용될 수 있다.

본 발명의 구조의 기본적 특징은 MPEG-1의 매크로블록의 구조의 동일성이 모든 해상도 및 정밀도 층에 걸쳐 보존된다는 것이다. 제6도는 4개의 해상도 레벨을 가지고 코딩하는 경우의 이러한 특징을 도시한다. 이 동일성을 보존하는 것은 중요한데, 왜냐하면, MPEG-1 알고리즘의 설명에서와 같이, MB는 압축된 데이타 스트림내에 합체된 오버헤드 데이타의 양에 기여하는 일련의 속성과 연관되기 때문이다. MB 동일성을 보존하면 모든 계층적 층에 대해 이러한 오버헤드 데이타를 재사용할 수 있게 된다. 예로서, 해상도 축척에 대응되는 활동 벡터 데이타는 적절한 축척에 의해 최고 해상도 활동 벡터 데이타로부터 도출될 수 있다.

[축척층의 멀티플랙싱]

본 발명의 주제는 아니지만, 전송 또는 저장 전에 여러가지 축척을 위한 데이타는 엔코딩 소자에 의해 멀티플렉싱 되어야만 한다는 것에 주목하는 것이 중요하다. 이러한 멀티플랙싱을 실시하는데에는 여러가지 옵션이 있다. 예로서는, 계층의 각각의 레벨에서의 완전 화상을 위한 데이타는 해상도 및 정밀도가 증가되는 순서로 연결된다. 데이타는 조작되고 있는 비데오 영상의 화상요소 화소에 관련된 정보를 나타내는 신호를 포함하는 것이 이해될 것이다. 이 신호들은 본 기술분야에 익숙한 자에게 잘 알려지고 이해될 수있는 비데오 카메라, 컴퓨터 및 보조 장치와 같은 적절한 전자 장치에 처리되는 전기 신호이다.

[해상도 및 비트스트림 축척의 양자화]

양호한 실시예에서, 각각의 계층적 층의 양자화는 MPEG-1에 규정된 매트릭스를 사용한다. 따라서, 여러가지 해상도 축척을 위한 DCT 데이타는 완전 해상도 8×8 DCT 매트릭스로부터 도출된다. 가중치의 MPEG-1 양자화 매트릭스가 Q8로 표시되면, 보다 낮은 해상도 DCT에 대한 가중치의 매트릭스는 다음과 같이 도출된다.

양자화기(Quantizer) DCT 계수

Q1 1×1 1/8 Q8

Q2 2×2 1/4 Q8

Q4 4×4 1/2 Q8

본 발명은 일반적인 양자화 매트릭스가 각각의 축척에서 사용되는 경우도 포함되지만, 이것은 디코딩 소자를 더욱 복잡하게 만드는 것에 주목해야 한다.

[해상도 및 비트스트림 축척의 계층적 예측]

양호한 실시예에서, 계층적 층내의 DCT 계수는 계층의 다음 층내의 대응 계수를 예측하기 위해 사용된다. 한 예가 제7도에 설명되었는데, 4개의 해상도 층의 계층이 도시된다. 예측 알고리즘은 적절히 축척된 계수의 간단한 1 : 1맵핑이다. 그러나, 다른 알고리즘도 복잡성이 증가되는 희생을 감수하고 사용될 수 있다는 것을 주목해야 한다.

[계층적 층의 비율 제어를 위한 규정]

양호한 실시예에서, MPEG-1의 양자화 변수 QP가 계층의 최저층에 사용된다. 계층의 다른 층에서의 QP 변수는 이 낮은 층 QP를 참조하여 규정된다. 예로서 보다 높은 층 QP 변수는 보다 낮은 층 QP의 2배로 규정될 수 있다.

[축척가능 디코더 실시]

본 발명은 신축적인 수의 계층적 층을 가진 구조를 포함한다. 그러나, 설명을 용이하게 하기 위해, 해상도 및 비트스트림 축척성 특징을 예시하는 2개의 3-층 디코더를 기술한다. 제8도에 도시된 디코더 장치는 2×2(낮은), 4×4(중간), 8×8(높은) 해상도 축척을 지원한다. 타켓 해상도 축척을 하나만 갖는 디코더는 타켓을 달성하는데 필요하지 않은 제8도의 복스(box)를 제거하므로써 실시될 수 있다. 3개의 해상도 축척을 위해 압축된 데이타를 엔트로피 디코딩과 디멀티플렉싱한 후에, 매 8×8 블록 데이타에 대해 대응 2×2 및 4×4 블록 데이타가 있는데, 그것들은 모두 DCT 계수의 최종 8×8 매트릭스를 형성하는데 필요하다.

양호한 실시예에서, 완전 해상도 8×8 DCT 계수에 도달하기 위해서 다음의 단계를 따른다. 2×2층의 qp₂양자화 변수에 의해 비양자화한 후에, 낮은 해상도 2×2 블록은 대응 4×4 블록의 4개의 가장낮은 차수계수의 예측으로서 사용된다. 이 예측은 비양자화된 4×4 계수에 더해지는데, 4×4 계수의 비양자화는 qp₄양자화 변수에 의해 수행된다. 앞의 합산의 결과는 대응 8×8 블록의 16개의 최저 차수 계수의 예측으로서 유사하게 사용된다. 이 예측의 비양자화된 8×8 계수에 합산되는데, 8×8 계수의 비양자화는 qp₈양자화 변수에 의해 수행된다.

최종 계수의 매트릭스가 재형성될때 DCT 계수는 양자화 변수에 의해서만 비양자화된다는 것을 주목하기 바란다. 가중치의 양자화 매트릭스에 의한 비양자화는 최종 해상도에 도달했을 때에만 필요하다. 이 특징은 가능한데, 왜냐하면, 양호한 실시예에서 여러가지 축척의 가중치 매트릭스는 상술한 바와 같이 비례 관계를 갖기 때문이다.

활동 보상 예측을 포함하여 MPEG-1 기술을 사용하여 완전 해상도 화상을 재구성하는데에 최종 8×8 계수 매트릭스가 사용될 수 있다. 이점에서 제8도를 참조하면, 완전 해상도 레벨에서 16×16 MCP 유닛은 MB 상에서 동작하는 일반적 MGEG-1 활동 보상 유닛트를 표시하고 IDCT 복스는 표준 MPEG-1 8×8 역변환(inverse transf ormation)을 수행하기 위한 유닛트이며, Q8^-1복스는 대응 MPEG-1 가중치 매트릭스에 의해 역 양자화를 수행하기 위한 유닛트를 나타낸다는 것을 알 수 있을 것이다.

다른 해상도 축척에서 비데오 화상을 디코딩하기 위해서, 비양자화된 계수 데이타의 예측을 합산하는 과정은 디코딩하는 것이 바람직한 해상도에서 종료된다. Q4^-1과 Q2^-1으로 표시된 가중치 매트릭스에 의해 비양자화하는 연산은 양호한 실시예의 축척된 매트릭스를 사용한다. 역변환의 연산은 적절한 크기의 변환을 사용하므로써 수행된다. 따라서, 1/4해상도에서의 디코딩에는 4×4 역 DCT가 사용되어야 한다. 지원된 3개의 축척된 해상도에서의 디코딩을 위한 적절한 1차원 DCT 매트릭스는 다음과 같다.

DCT(1×1) 및 DCT(2×2)는 모두 평범한 것이며, 소프트웨어에서도 실시하기 쉽다.

다른 해상도에서의 MCP 유닛은 여러가지 해상도 축척으로 축척된 MB를 위한 활동 보상 예측을 발생시키기 위해 동일 활동 벡터 데이타를 공유한다는 것을 주목하기 바란다. 활동 보상 기술을 사용할때, 완전해상도 활동 벡터는 디코더 해상도와 매칭되기 위해서 적절히 축척되어야 한다는 것을 특히 주의해야 한다.

이것은 앞에서 기술되었다.

비트스트림 축척성을 실시하는 디코더는 제9도에 도시되었다. 이 디코더의 동작은 품질 레벨이 증가된 출력 화상을 발생시키기 위해 8×8 연산만이 사용된다는 것을 제외하고는 제8도의 연산과 유사하다. 이러한 이유로 여러가지 유닛트(예로서, Q8^-1, IDCT 및 MCP등)는 단일 하드웨어에 의해 물리적으로 실시될 수 있으며, 여러가지 계층적 층에 의해 공유될 수 있다.

마지막으로, 양호한 실시예의 일부는 아니지만 본 발명과 일치하는 다른 디코더 실시예가 제10도에 도시되었다. 이 디코더는 제8도의 디코더와 같은 방법으로 동작한다. 그러나, 그것은 어떠한 양자화 가중치 매트릭스도 여러가지 계층적 층으로부터 DCT 계수를 예측하는 일반적인 수단을 실시한다. 이러한 의미에서, P2는 2×2 계수로부터 4×4 계수를 예측하기 위해 사용되고, P4 4×4 계수로부터 8×8 계수를 예측하는데에 사용된다. 사용될 수 있는 예측 알고리즘을 낳으며 그중에는 양호한 실시예의 1 : 1 맵핑이 포함된다.

[엔코더 실시]

상기 본 발명의 디코더와 호환성의 엔코더의 가능한 실시예는 많으나, 예로서 해상도 축척을 위해서만 설계된 2개의 그러한 엔코더가 기술된다. 3개의 해상도 층 엔코더의 일반적인 구조는 제11도에 도시되었다. 엔코더는 3개의 부분으로 구분된다. 제1부분은 3개의 해상도 층을 위해 디지탈 비데오 입력 및 출력 DCT 데이타, 즉, d(8×8), d(4×4) 및 d(2×2)를 취하는 변환 유닛트이다. 제2부분은 변환 유닛트 DCT 출력과, 모든 해상도 층에서의 출력 양자화된 미분 DCT 데이타(q(8×8), q(4×4) 및 q(2×2)를 취하는 계층적 예측 유닛트이다. 이 출력은 멀티플렉스 되었고 최종 압축 비데오를 발생시키기 위해 제3유닛트에서 엔트로피 코딩된다. 예측 유닛트는 또한 재구성된 DCT 데이타 b(8×8), b(4×4) 및 b(2×2)를 발생시키며, 그것들은 대표적인 하이브리드 변환 코덱의 루프를 완료하기 위해 변환 유닛트로 피드백된다.

제12a도는 변환 유닛트의 간단한 실시예를 도시한다. 이 실시예에서, 8×8층은 MPEG-1 엔코더의 일부분이고 더욱 일반적으로는 활동 보상 하이브리드 변환 엔코더의 일부분인 소자(element)를 포함한다. 상부 브랜치(upper branch)는 활동 보상 예측 차이를 발생시키는 가산기(Σ)와, 상기 예측 차이의 8×8 변환계수를 발생시키는 순방향 8×8 DCT 변환과, 가중치 매트릭스(Q8)에 의해 양자화하기 위한 유닛트를 포함한다. 출력은 한 셋트의 부분적으로 양자화된 DCT 계수 d(8×8)이다. 복귀 또는 피드백 브랜치는 한 셋트의 부분적으로 재구성된 DCT 계수 b(8×8)를 수신하고 다음에는 그것들을 다음의 유닛트들을 가지고 처리하는데, 그 유닛트들에는 가중치 매트릭스(Q8^-1)를 위한 역 양자화기 및 예측 차이를 재구성하는 역 DCT 변환기(IDCT 8×8)와, 재구성된 예측 차이를 활동 보상 예측에 첨가하여 원래의 화상 데이터를 재구성하는 가산기와, 마지막으로 다음 화상을 위한 예측을 발생하기 위한 활동 보상 예측(MCP) 유닛트가 포함된다. MPEG-1에서, 이 MCP 유닛트는 도면에서 도시된 바와 같이 16×16 MB상에서 동작하지만, 다른 블록 크기도 사용될 수 있다. 변환 유닛트의 이 실시예에서, d(2×2) 및 d(4×4) 계수는 간단히 대응 8×8 계수로부터 추출된다. 8×8 계수에 적용된 다른 환원(reduction) 또는 가중 알고리즘을 통해 d(2×2) 및 d(4×4) 계수를 도출하는 것도 가능하다는 것을 주목하여야 한다.

하부 해상도 축척에 피드백 루프가 없기 때문에, 이 엔코더는 이러한 해상도 축적에서의 양자화 및 활동 보상 오류를 축척시킬 것이다. 그러나 오류는 새로운 화상 그룹이 시작될때 마다 다시 0으로 자연히 리셋될 것이다. 낮은 해상도 층의 품질이 이러한 오류의 축적으로 인해 제한되지만, 엔코더의 단순성이 이 방법을 매력있게 한다. 특히, 요구되는 것이 비트스트림 축척성만일 때에는 이 방법으로 충분하다.

변환 유닛트의 다른 실시예가 제12b도에 도시된다. 이 버젼은 제12a도의 버젼과 유사하지만, d(2×2) 및 d(4×4)는 각각의 해상도 축척으로 동작되는 유사하지만 완전히 독립적인 루프에 의해 발생된다. 이러한 의미에서, 각각의 경우에 1/4의 계수로 입력 비데오 해상도를 필터링하고 환원하기 위해 H₄및 H₂유닛가 사용된다. 이러한 방법으로, 각각의 층은 적절한 해상도의 입력을 취한다. DCT, 양자화 및 MCP와 같은 모든 연산은 층의 해상도에 따라 역시 축척된다.

복잡성이 증가하는 것을 감수하면, 이 버젼은 일반적으로 제12a도의 유닛트에 의해 발생된 화상보다 더욱 양호한 품질의 저해상도 화상을 발생시킬 것이다. 이 경우에, 코딩 오류는 한 화상 주기 이상으로 축적되지 않을 것이다. 그러나, 본 발명에서 활동 벡터는 모든 축척에서 MB에 의해 공유된 속성중의 하나이기 때문에 16×16활동 추정의 결과는 모든 해상도 루프에 의해 공유될 수 있음을 주목하기 바란다. 이 실시예는 낮은 해상도 비데오의 품질이 중요한 적용에 더욱 적합하다.

제13a도는 계층적 예측 유닛이 한 실시예를 도시한다. 우선, 4×4 및 8×8 층에 대한 계층적 예측 차이가 가산기내에서 발생된다. 다음에는 모든 층이 그들의 각각의 양자화 변수에 의해 양자화되고, 그 결과는 q(2×2), q(4×4) 및 q(8×8)으로 출력된다. 이 결과 역시 대응 양자화 변수에 의해 역 양자화 되고, 다음에는 2개의 다른 가산기내에서 합산되어 부분적으로 재구성된 b(2×2), b(4×4) 및 b(8×8) 데이타를 발생시키고 그것은 변환 유닛트로 피드백된다. 제13b도는 계층적 예측 유닛트를 위한 다른 실시예로서 사용될 수 있는 동일 소자의 재배치를 도시한다.

Claims

압축시에 화상 해상도 또는 품질의 여러가지 계층적 축척으로(at a multiplicity of hierarchical scales) 비데오 스크린상에 디스플레이될 수 있는 압축된 비데오 데이타 표시(a compressed video data representation)를 발생하는 방법에 있어서, 공간 블록 유닛트를 나타내는 비데오 화상 요소 데이타 신호와, 압축된 화상 데이타에 관한 정보와 관련된 매크로블록(macroblock)과, 코딩 결정, 활동 보상 벡터 및 양자화 변수를 포함하는 한 셋트의 코딩 속성(attributes)을 제공하는 단계와, 동일 코딩 속성이 축척된 매크로블록에 의해 공유(share)되도록, 상기 각각의 매크로블록에 대해, 상기 여러가지 축척의 각각의 축척에서 대응 축척된 매크로블록을 발생시키는 단계를 포함하는 것을 특징으로 하는 압축된 비데오 데이타 표시를 발생하는 방법.
제1항에 있어서, 주어진 매크로블록과 연관된 상기 압축된 화상 데이타는 적절한 축척의 양자화된 변환 계수(quantized transform coefficients)에 대응되는 것을 특징으로 하는 압축된 비데오 데이타 표시를 발생하는 방법.
제1항에 있어서, 상기 셋트의 속성에 관한 정보는 상기 속성이 상기 관련 정보의 비압축시(upon decompression)에 상기 축척된 매크로블록의 축척에 일치되도록 적절히 수정 가능하도록 된 것을 특징으로 하는 압축된 비데오 데이타 표시를 발생하는 방법.
제1항에 있어서, 비압축 타겟(target) 축척을 선택하고 상기 타겟 축척에서만 역변환의 연산을 수행하는 단계를 추가로 포함하며, 상기 역변환은 최종 변환 계수 데이타상에서 동작하고, 타겟 축척된 매크로 블록을 위한 상기 최종 변환 계수 데이타는 모든 낮은 축척의 대응 축척된 매크로블록의 변환 계수와 타겟 축척의 변환 계수 데이타로부터 도출되는 것을 특징으로 하는 압축된 비데오 데이타 표시를 발생하는 방법.
제1항에 있어서, 상기 발생 단계는 가변 갯수의 해상도 축척에 관한 정보와 가변 갯수의 비트스트림 축척을 상호 혼합하는 단계를 포함하는 것을 특징으로 하는 압축된 비데오 데이타 표시를 발생하는 방법.
제1항에 있어서, 오류가 발견된 때 축척된 MB 데이타의 일부를 생략하는 단계를 추가로 포함하는 것을 특징으로 하는 압축된 비데오 데이타 표시를 발생하는 방법.