KR100711597B1

KR100711597B1 - 감소된 해상도의 비디오 신호를 유도하기 위한 디코딩 장치 및 방법

Info

Publication number: KR100711597B1
Application number: KR1020000023633A
Authority: KR
Inventors: 코머메리라퓨즈; 홀랜더토마스에드워드
Original assignee: 톰슨 라이센싱
Priority date: 1999-05-11
Filing date: 2000-05-03
Publication date: 2007-04-27
Also published as: US6993076B1; CN1274235A; KR20000077135A; EP1054566A1; CN1197359C; JP2000341695A

Abstract

개선된 영상 처리 시스템(204, 205B, 205E, 206, 207)은, 주파수 영역 계수의 데시메이팅된 서브-세트(sub-set)로부터 디스플레이를 위한 감소된 제 2 해상도의 영상을 제공하기 위하여, 제 1 해상도의 영상을 나타내는 픽셀 값의 블록을 한정하는 주파수 영역 계수를 포함하는 압축된 영상 데이터를 디코딩하는 것을 수반한다. 상기 장치는, 제 1 해상도보다 낮지만 감소된 제 2 해상도보다 더 높은 중간의 제 3 해상도의 영상을 나타내는 픽셀 값의 블록으로 동작하는 향상된 움직임-보상-유니트(MCU)(208)를 포함한다.

Description

감소된 해상도의 비디오 신호를 유도하기 위한 디코딩 장치 및 방법{DECODING APPARATUS AND METHOD FOR DERIVING AN REDUCED-RESOLUTION VIDEO SIGNAL}

도 1은 제 1 데시메이팅된 MPEG 데이터 출력을 PIP 디코딩 수단에 제공하고, 제 2 데시메이팅된 MPEG 데이터 출력을 HD 디코딩 수단에 제공하기 위하여, 입력 HD MPEG 데이터 비트 스트림에 응답하는 가변 길이의 디코더(variable-length decoder : VLD)를 도시하는 기능 블록도.

도 1a는 도 1의 HD 디코딩 수단에 의해 사용되는 64개의 DCT 계수를 포함하는 8×8 블록을 도시하는 도면.

도 1b는 도 1a에 도시된 64개의 DCT 계수 중 순차 주사 시퀀스를 위해 도 1의 PIP 디코딩 수단에 의해 사용된 특정 10개의 DCT 계수를 포함하는 8×8 블록을 도시하는 도면.

도 1c는 도 1a에 도시된 64개의 DCT 계수 중 비월 주사를 위해 도 1의 PIP 디코딩 수단에 의해 사용된 특정 10개의 DCT 계수를 포함하는 8×8 블록을 도시하는 도면.

도 2는 본 발명의 특성을 병합한 도 1의 PIP 디코딩 수단의 실시예의 단순화 된 기능 블록도.

도 3은 도 2의 개선된 MCU 처리 수단의 상세 사항을 도시하는 기능 블록도.

도 4는 도 3의 DCT에 기초한 업샘플 수단에 의해 수행되는 계산 처리를 도시하는 개념도.

도 5는 도 3의 DCT에 기초한 다운샘플 수단에 의해 수행되는 계산 처리를 도시하는 개념도.

<도면 주요 부분에 대한 부호의 설명>

100 : 가변길이 디코더(VLD) 102 : PIP 디코딩 수단

104 : HD 디코딩 수단 200 : 런렝스 디코더(RLD)

202 : 역양자화기(IQ)

207 : 향상-층 인코더 208 : 향상 MCU 처리 수단

210 : 샘플-율 변환기 300 : 향상-층 디코더

302 : 향상-층 픽셀 재구성 수단 304 : DCT에 기초한 업샘플 수단

306 : 최대 해상도 블록 선택 수단

308 : DCT에 기초한 다운샘플 수단

본 발명은, 예컨대 화상내-화상(picture-in-picture : PIP)을 기록하거나 생성하기 위하여 적합하거나 또는 다른 감소된 해상도의 디스플레이에 적합하게 향상 디코딩된 비디오 신호를 유도하기 위하여, 고선명(high-definition : HD)으로 코딩된 비디오 신호를 디코딩하는 것에 관한 것이다.

관련 기술 분야에서 공지된 것은, 기본 텔레비전 채널로부터 유도된 상대적으로 큰 화상을 디스플레이하면서, 또한 동시에 제 2 텔레비전 채널로부터 유도된 작은 화상내 화상(PIP)을 디스플레이하는 텔레비전 수신기이다. 고선명 텔레비전(HDTV) 수신기의 경우, 고선명 디스플레이를 위하여, 수신기는 실시간으로 수신된 코딩된 HD 비디오 신호를 디코딩하기 위하여 MPEG ISO 13818-2 표준에 따른 상대적으로 복잡하고 값비싼 디코더를 포함하여야 한다. 그러나, PIP는 작으므로, 시청자가 고유하게 고선명 PIP의 더 높은 선명도의 요소를 식별할 수 없을 것이기 때문에 고선명 PIP 디스플레이를 제공할 필요는 없다. 그러므로, PIP를 제공하기 위하여, HDTV 수신기에는 ISO 13818-2 표준에 따르지만 더 낮은 해상도의 제 2의 더 단순하고 저렴한 디코더가 제공될 수 있다.

고선명 디스플레이를 제공하는 디코더보다 어느 정도 단순하고 저렴한 낮은 해상도의 제 2 디코더를 제공하는데 있어서, 관련 기술 분야에서 공지된 하나의 방법은, 1997년 3월 25일, 1997년 3월 25일 및 1997년 6월 3일에 각각 보이스(Boyce) 등에 허여된 세 건의 미국 특허(제5,614,952호, 제5,614,957호 및 제5,635,985호)에 개시되었다.

공동계류 중인 미국 특허출원(제09/349,865호, 1999년 7월 8일 출원, 본 발명과 동일한 양수인에게 양도된)의 가르침은, 수신된 HD 코딩된 비디오 신호로부터 실시간에 PIP 디스플레이를 유도하기에 적합한 낮은 해상도의 제 2 디코더 방법을 교시하는데, 상기 디코더는 보이스 등에 의해 개시된 제 2 디코더보다 실현하는데 상당히 단순하고 저렴하지만, 여전히 ISO 13818-2 표준에 따른다.

시스템은, 영상을 감소된 제 2 해상도로 제공하기 위하여, 제 1 해상도로 영상을 나타내는 픽셀 값의 블록을 한정하는 주파수 영역의 계수를 포함하는 압축된 영상 데이터의 디코딩을 수반한다. 상기 시스템은, 감소된 제 2 해상도의 영상을 유도하기 위한 주파수 영역의 계수의 데시메이팅된 부분 집합에 응답하는 움직임-보상-유니트(MCU) 프로세서를 포함한다. 움직임-보상-유니트(MCU) 프로세서는, 제 1 해상도보다는 낮고 감소된 제 2 해상도보다는 높은 중간의 제 3 해상도로 영상 데이터를 나타내는 픽셀 값의 블록을 사용한다.

도 1을 참조하면, VLD(100), PIP 디코딩 수단(102) 및 HD 디코딩 수단(104)이 도시되었다. MPEG ISO 13818-2 표준의 공지된 가르침에 따라, MPEG I, P 및 B 프레임의 시퀀스를 포함하는 입력 코딩된 HD MPEG 데이터에 대한 VLD(100)의 응답들 중 하나는 양자화된 이산 코사인 변환(DCT) 계수의 연속적인 8×8 블록의 각각에 의해 한정된 코딩된 화상 정보를 HD 디코딩 수단(104)의 입력으로서 전달하는 것이다. 더욱이, MPEG ISO 13818-2 표준의 공지된 가르침에 따라, HD 디코딩 수단(104)에 의해 수행되는 기능 중에는, 먼저 DCT 계수의 연속적인 8×8 블록의 각각의 역양자화를 수행하고, 그런 다음 각 연속적인 8×8 블록의 DCT 계수의 역 이산 코사인 변환(IDCT)을 수행한다. 최종적으로, HD 디코딩 수단(104)은, 상기 P 및 B 프레임에 대해 IDCT가 수행된 후, 각 P 프레임 또는 양방향 예측 B 프레임에 대해움직임 보상을 수행하여야 한다.

도 1a는 DCT 계수들로 된 하나의 8×8 블록을 도시하는데, 여기서 (1) 계수 DCT_0,0(이 8×8 블록의 상부 왼쪽 구석에 위치)의 값은 DCT를 수행하기 전 대응하는 픽셀들로 된 8×8 블록의 64개 값에 의해 한정된 화상의 평균(DC) 값(즉, 수평 및 수직 주파수 둘 모두 0)을 나타내고, 반면 (2) 계수 DCT_7,7(이 8×8 블록의 하부 오른쪽 구석에 위치)의 값은 DCT를 수행하기 전 대응하는 픽셀들로 된 8×8 블록의 64개 값에 의해 한정된 화상의 가장 높은 수평 주파수 및 가장 높은 수직 주파수 성분을 나타낸다. HD 화상의 경우에 대해, 도 1a에 포함된 DCT_0,0로부터 DCT_7,7까지의 64 개의 DCT 계수의 모두 또는 대략 모두는 0이 아닌 값을 가질 것이다. 이것은, IDCT를 실시간으로 달성하기 위하여 상당히 많은 양의 영상 처리 계산을 초래한다. 더욱이, 움직임 보상도 역시 많은 양의 실시간 영상 처리 계산을 수반한다. 그러므로, HD 디코딩 수단(104)은 디스플레이하기 전에 MPEG 디코드된 영상 프레임을 일시적으로 저장하기 위하여 대략 96 Mbit의 메모리를 필요로 한다. HD 디코딩 수단(104)은 디스플레이를 위해 정확한 영상을 재구성하기 위하여 움직임 보상을 위한 이들 프레임을 필요로 한다. 따라서, HD 디코딩 수단(104)의 물리적인 실현은 상대적으로 값비싸다.

도 1을 다시 참조하면, 입력 코딩된 HD MPEG 데이터에 대한 VLD(100)의 응답들 중 다른 하나는, 각각의 연속적인 8×8 블록의 낮은-주파수-해상도의, 양자화된 DCT 계수의 상대적으로 적은 주어진 수에 의해 한정된 코딩된 화상 정보만을 PIP 디코딩 수단(102)의 입력으로서 전달하는 것이다. PIP 처리 및 PIP 영상 및 PIP 용어 자체는, 본 명세서에서, 단순히 텔레비전 PIP 영상의 생성뿐만 아니라 임의의 형태의 감소된 해상도의 영상 및 처리를 포괄하는 것으로 사용된다는 것이 주지되어야 한다. 상술한 미국특허 출원(09/349,865)에서 기술된 양호한 예시적인 예가 6개의 가장 낮은 주파수의 양자화된 DCT 계수만을 사용하였지만, 이하에서 상세하게 기술되는 향상된 품질의 PIP 디코딩 수단(102)의 양호한 예시적인 예는 순차 주사용으로 도 1b에 도시된 DCT_0,0, DCT_1,0, DCT_2,0, DCT_3,0, DCT_0,1, DCT_1,1, DCT_2,1, DCT_0,2, DCT_1,2 및 DCT_0,3으로 이루어지거나, 또는 대안적으로, 비월 주사용으로 도 1c에 도시된 DCT_0,0, DCT_1,0, DCT_2,0, DCT_0,1, DCT_1,1, DCT_0,2, DCT_0,3, DCT_0,4, DCT_0,5 및 DCT_0,6으로 이루어진 10개의 DCT 계수를 사용하며, 이에 의해 향상된 PIP 디스플레이를 위한 보다 더 양호한 고주파수 응답을 제공한다. 특히, VLD(100)에 의해 수신된 PIP 비트-스트림은, PIP 디코더에 의해 필요하지 않은 비트스트림 DCT 계수로부터 제거되기 위하여, VLD-PIP 파서(parser)(도 1을 단순화하기 위해 미도시)에 의해 사전-파싱되어 있다.

도 2에 도시된 향상된-품질의 PIP 디코딩 수단(102)의 실시예의 단순화된 기능 블록도는 런렝스 디코더(RLD)(200), 역 양자화기(IQ)(202), 단일의 향상된 IDCT, 필터링 및 픽셀-데시메이션(pixel-decimation) 처리 수단(204), 기본-층 가산기(205B), 향상-층 가산기(205E), 기본 및 향상-층 데시메이팅된-픽셀 메모리(206), 향상-층 인코더(207), 향상된 움직임 보상 유니트(MCU) 처리 수단(208), 및 샘플-율(sample-rate) 변환기(210)를 포함한다. 도 2의 단순화된 기능 블록도가 향상된-품질 PIP 디코딩 수단(102)의 본 실시예의 동작을 제어하기 위한 수단을 도시하지 않는다 할지라도, ISO 13818-2 표준의 요건에 따르는 적절한 제어 수단은 본 실시예의 물리적인 실시예에 포함되는 것으로 이해해야 한다.

도시 목적을 위하여, 요소(200, 202, 204, 205B, 205E, 206, 207, 208 및 210)의 다음의 설명은, 이들 요소 각각이 위에 기술된 양호한 예시예에 따라 동작한다고 간주한다.

본 예에 있어서, RLD(200)는 ISO 13818-2 표준에 정의된 2개의 주사 패턴을 사용하여 8×8 코딩된 블록 각각에 대해 10개의 DCT 계수를 출력한다. 10개의 DCT 계수의 각 8×8 블록 내에서의 위치 설정은 순차_시퀀스 플래그의 상태에 의해 결정되는 바에 따라, 순차 주사에 대해서는 도 1b에 도시되었고, 비월 주사에 대해서는 도 1c에 도시되었다. 순차 시퀀스의 경우인 도 1b에 있어서, 현재의 화상에 대한 화상 코딩 확장으로부터의 대체_주사 플래그(alternate_scan flag)가 0이라면, 10개의 DCT 계수는 1차원 주사 순서에서 계수(0,1,2,3,4,5,6,7,8,9)에 대응하고, 반면 대체_주사 플래그가 1이라면, 문제의 10개의 DCT 계수는 주사 순서에서 계수(0,1,2,3,4,5,6,7,8,20)가 된다. 비월 시퀀스 경우인 도 1c에 있어서, 현재의 화상에 대한 화상 코딩 확장으로부터의 대체_주사 플래그가 0이라면, 10개의 DCT 계수는 1차원 주사 순서에서의 계수(0,1,3,4,5,9,10,20,21)에 대응하는 반면, 대체_주사 플래그가 1이라면, 문제의 10개의 DCT 계수는 주사 순서에서의 계수(0,1,2,3,4,5,6,10,11,12)이다. 대체_주사 및 순차_주사 플래그의 값에 따라, ISO 13818-2 표준에 기술된 것과 다른 RLD(200) 내의 의미를 갖는 2개의 실행 값(run value)이 존재한다. 순차 시퀀스에 대해, 대체_주사가 0이라면, 10의 실행값은 PIP 디코더(102)에 의해 필요한 계수가 모두 0이고, 후속하는 0이 아닌 계수가 존재하지 않음을 나타낸다. 마찬가지로, 대체_주사가 1이라면, 21의 실행값은 디코더(102)에 의해 필요한 계수가 모두 0이고, 후속하는 0이 아닌 계수가 존재하지 않음을 나타낸다. 비월 시퀀스에 대해, 대체_주사가 0이라면, 22의 실행값은 PIP 디코더(102)에 의해 요구되는 계수가 모두 0이고, 후속하는 0이 아닌 계수가 존재하지 않음을 나타낸다. 마찬가지로, 대체_주사가 1이라면, 13의 실행값은 디코더(102)에 의해 요구되는 계수가 모두 0이고, 후속하는 0이 아닌 계수가 존재하지 않음을 나타낸다. 표 1은 순차 시퀀스에 대해 대체_주사 플래그의 두 개의 가능한 값에 대한 10 및 21의 실행 값의 의미를 요약하고, 표 2는 비월 시퀀스에 대해 대체_주사 플래그의 두 개의 가능한 값에 대한 13 및 22의 실행 값의 의미를 요약한다. RLD(200)에 의해 마주치는 다른 모든 대체_주사/실행 값의 조합은 ISO 13818-2 표준에 기술된 바와 같이 해석된다.

순차 시퀀스에 대한 RLD(200)에 의한 실행=10 및 실행=21의 해석

실행	대체_주사	PIP RLD에서의 해석
10	0	모든 DCT 계수 = 0
10	1	ISO 13818-2 표준과 동일
21	0	허용되지 않음
21	1	모든 DCT 계수 = 0

비월 시퀀스에 대해 RLD(200)에 의해 실행=13 및 실행=22의 해석

실행	대체_주사	PIP RLD에서의 해석
13	0	ISO 13818-2 표준과 동일
13	1	모든 DCT 계수 = 0
22	0	모든 DCT 계수 = 0
22	1	허용되지 않음

IQ(202)는, 순차 시퀀스에 대해 도 1b에 도시되고 비월 시퀀스에 대해 도 1c에 도시된 10개의 DCT 계수들에 대해, ISO 13818-2 표준에서 기술된 역양자화 계산 및 포화(inverse quantization arithmetic and saturation)를 수행한다. 역양자화 처리의 비정합 제어부는 필요하지 않다. 종래에, IQ(202)로부터의 출력에서 8×8 블록의 코딩된 주파수 영역의 정보를, 감소된 해상도의 PIP 디스플레이 영상의 더 작은 블록의 데시메이팅된 픽셀들의 각 값을 포함하는 공간 영역 화상 정보로 변환하기 위하여, 세 개의 별도 단계를 요구하는 확장 계산 처리가 요구된다. 제 1 단계는, 화상 정보의 각 8×8 블록의 64개(즉, 최대 픽셀 밀도) 픽셀 값 각각의 값을, 역-양자화된 DCT 계수 값의 IDCT 함수로서 결정하는 것이다. 이후, 픽셀 데시메이션의 제 3 단계를 수반하는 저역 통과 필터링의 제 2 단계는, 원하는 더 적은 블록의 데시메이팅된 픽셀을 제공하기 위하여, 연속적인 각 8 ×8 블록의 픽셀들에 대해 수행될 수 있다. 예컨대, 순차 주사의 경우에 대해 교호하는 수평 및 수직 필터링된 픽셀들의 데시메이션은 픽셀 밀도에서 75% 감축을 초래할 수 있다. 마찬가지로, 비월 주사의 경우에 대해 수평 방향에서 4개의 연속 필터링된 픽셀 중 3개의 데시메이션은 픽셀 밀도에서 75% 감축을 초래할 수 있다. 따라서 두 경우에 있어서, 휘도(luma) 픽셀 및 색차 픽셀에 대해 수행된 이러한 데시메이션은, 이들 각각에 대해 8 ×8 블록 당 64개의 픽셀 밀도로부터 8×8 블록 당 16개만 있는 픽셀 밀도로의 감축을 초래할 수 있다. 그러나, 이러한 종래의 3단계 계산 처리를 실행하기 위하여 요구되는 하드웨어의 양은 비교적 대규모이고, 따라서 상대적으로 값비싸다.

상술한 미국 특허출원(제09/349,865호)에 따라 개시된, 단일의 IDCT, 필터링 및 픽셀-데시메이션 처리 수단은 IQ(202)의 출력에서의 8×8 블록에 포함된 역-양자화된 DCT 계수의 코딩된 각 값을, 단일 단계의 계산 처리에서 더 작은 블록의 데시메이팅된 픽셀들로 변환시킬 수 있다. 따라서, 이러한 단일 단계의 계산 처리를 수단(204)을 통해 실행하기 위하여 요구되는 하드웨어 양은 상대적으로 소규모이고, 따라서 상술한 종래의 3 단계 계산 처리와 비교하여 상대적으로 값이 싸다.

특히, 미국 특허출원(제09/349,865호)에 따라, 데시메이팅된 픽셀 메모리(픽셀 데시메이션 때문에, 대응하는 데시메이팅되지 않은 픽셀 메모리 용량의 단지 1/4의 저장 용량만을 필요로 한다)는 다수의 분리된 버퍼를 포함한다. 이들 버퍼 각각은 데시메이팅된 휘도 및 색차 픽셀을 일시적으로 저장할 수 있다. ISO 13818-2 표준에 따라, 데시메이팅된 픽셀 메모리는, 재구성 인트라코딩된(I), 예측-코딩된(P), 및/또는 양방향 예측-코딩된(B) 프레임 또는 필드 화상을 한정하는 데시메이팅된 픽셀을 저장하기 위한 하나 이상의 버퍼를 포함한다. 더욱이, MCU 처리 수단으로부터의 픽셀 값의 움직임 보상 예측 매크로블록(macroblock) 출력은 가산기 내에서 단일의 IDCT, 필터링 및 픽셀-데시메이션 처리 수단에서 유도된 각 대응하는 매크로블록 출력에 더해진다. 가산기로부터의 출력의 합해진 픽셀 값은 데시메이팅된 픽셀 메모리의 제 1 버퍼 내에 저장된다. 이러한 제 1 버퍼는, 저장된 데이메이팅된 픽셀이 (1) 제 1 버퍼에 기록되고, (2) 제 1 버퍼로부터 판독되어 해당 데시메이팅된 픽셀 메모리의 다른 버퍼에 기록되는 사이에 순서가 다시 결정될 수 있는, 선입선출(FIFO) 버퍼일 수 있다. 현재의 P 또는 B 프레임 또는 필드의 경우, 데시메이팅된 픽셀 메모리는 움직임 보상을 제공하기 위하여 MCU 처리 수단으로 입력할 매크로블록을 저장하기 위한 버퍼를 포함한다.

본 발명의 원리에 따라, 데시메이팅된 픽셀의 두 개 층은, 고품질의 움직임 보상을 얻고 PIP 영상 품질을 개선하기 위하여, 기본-층 및 향상-층에서 데시메이팅된 픽셀 메모리(206)에 각각 저장되는 것이 유리하다. 이들 두 개 층 중 제 1 층은 데시메이팅된 픽셀의 기본-층이고, 제 2 층은 P 화상의 디코딩 도중에 향상된 MCU 처리 수단(208)에서 사용되는 휘도 매크로블록 데시메이팅된 픽셀의 벡터-양자화된 값의 향상-층이다. 향상-층은, 단지 기본-층의 데시메이팅된 픽셀만을 사용하여 얻을 수 있는 것보다 더 큰 해상도의, 감소된 해상도 영상을 제공하기 위하여 사용된다. 기본-층 및 이러한 향상-층 둘 모두는 향상된 MCU 처리 수단(208)에 의해 이하에서 상세하게 설명되는 방법으로 사용된다.

본 발명을 실행하기 위한, IDCT, 필터링 및 픽셀-데시메이션 처리 수단(204), 향상-층 인코더(207) 및 향상된 MCU 처리 수단(208)의 양호한 실시예가 이제 상세하게 설명된다.

단일의 향상된 IDCT, 필터링 및 픽셀-데시메이션 처리 수단(204)은, 순차 주사 및 비월 주사의 각각에 대해 사용된 기본-층 및 향상-층의 각각에 대해 16개의 데시메이팅된 픽셀 값들로 된 아래의 세트(각 세트는 10개 DCT 계수 값들의 함수이다)를 제공한다.

데시메이팅된 픽셀 값의 순차 주사, 기본-층 세트

g₁(0,0)=[8DCT_0,0 + 10DCT_1,0 + 7DCT_2,0 + 4DCT_3,0 + 10DCT_0,1 + 13DCT_1,1 +

9DCT_2,1 + 7DCT_0,2 + 9DCT_1,2 + 4DCT_0,3]/64

g₁(1,0)=[8DCT_0,0 + 4DCT_1,0 - 7DCT_2,0 - 9DCT_3,0 + 10DCT_0,1 + 5DCT_1,1 - 9DCT_2,1 +

7DCT_0,2 + 4DCT_1,2 + 4DCT_0,3]/64

g₁(2,0)=[8DCT_0,0 - 4DCT_1,0 - 7DCT_2,0 + 9DCT_3,0 + 10DCT_0,1 - 5DCT_1,1 - 9DCT_2,1 +

7DCT_0,2 - 4DCT_1,2 + 4DCT_0,3]/64

g₁(3,0)=[8DCT_0,0 - 10DCT_1,0 + 7DCT_2,0 - 4DCT_3,0 + 10DCT_0,1 - 13DCT_1,1 +

9DCT_2,1 + 7DCT_0,2 - 9DCT_1,2 + 4DCT_0,3]/64

g₁(0,1)=[8DCT_0,0 + 10DCT_1,0 + 7DCT_2,0 + 4DCT_3,0 + 4DCT_0,1 + 5DCT_1,1 + 4DCT_2,1 -

7DCT_0,2 - 9DCT_1,2 - 9DCT_0,3]/64

g₁(1,1)=[8DCT_0,0 + 4DCT_1,0 - 7DCT_2,0 - 9DCT_3,0 + 4DCT_0,1 + 2DCT_1,1 - 4DCT_2,1 -

7DCT_0,2 - 4DCT_1,2 - 9DCT_0,3]/64

g₁(2,1)=[8DCT_0,0 - 4DCT_1,0 - 7DCT_2,0 + 9DCT_3,0 + 4DCT_0,1 - 2DCT_1,1 - 4DCT_2,1 -

7DCT_0,2 + 4DCT_1,2 - 9DCT_0,3]/64

g₁(3,1)=[8DCT_0,0 - 10DCT_1,0 + 7DCT_2,0 - 4DCT_3,0 + 4DCT_0,1 - 5DCT_1,1 + 4DCT_2,1 -

7DCT_0,2 + 9DCT_1,2 - 9DCT_0,3]/64

g₁(0,2)=[8DCT_0,0 + 10DCT_1,0 + 7DCT_2,0 + 4DCT_3,0 - 4DCT_0,1 - 5DCT_1,1 - 4DCT_2,1 -

7DCT_0,2 - 9DCT_1,2 + 9DCT_0,3]/64

g₁(1,2)=[8DCT_0,0 + 4DCT_1,0 - 7DCT_2,0 - 9DCT_3,0 - 4DCT_0,1 - 2DCT_1,1 + 4DCT_2,1 -

7DCT_0,2 - 4DCT_1,2 + 9DCT_0,3]/64

g₁(2,2)=[8DCT_0,0 - 4DCT_1,0 - 7DCT_2,0 + 9DCT_3,0 - 4DCT_0,1 + 2DCT_1,1 + 4DCT_2,1 -

7DCT_0,2 + 4DCT_1,2 + 9DCT_0,3]/64

g₁(3,2)=[8DCT_0,0 - 10DCT_1,0 + 7DCT_2,0 - 4DCT_3,0 - 4DCT_0,1 + 5DCT_1,1 - 4DCT_2,1 -

7DCT_0,2 + 9DCT_1,2 + 9DCT_0,3]/64

g₁(0,3)=[8DCT_0,0 + 10DCT_1,0 + 7DCT_2,0 + 4DCT_3,0 - 10DCT_0,1 - 13DCT_1,1 -

9DCT_2,1 + 7DCT_0,2 + 9DCT_1,2 - 4DCT_0,3]/64

g₁(1,3)=[8DCT_0,0 + 4DCT_1,0 - 7DCT_2,0 - 9DCT_3,0 - 10DCT_0,1 - 5DCT_1,1 + 9DCT_2,1 +

7DCT_0,2 + 4DCT_1,2 - 4DCT_0,3]/64

g₁(2,3)=[8DCT_0,0 - 4DCT_1,0 - 7DCT_2,0 + 9DCT_3,0 - 10DCT_0,1 + 5DCT_1,1 + 9DCT_2,1 +

7DCT_0,2 - 4DCT_1,2 - 4DCT_0,3]/64

g₁(3,3)=[8DCT_0,0 - 10DCT_1,0 + 7DCT_2,0 - 4DCT_3,0 - 10DCT_0,1 + 13DCT_1,1 -

9DCT_2,1 + 7DCT_0,2 - 9DCT_1,2 - 4DCT_0,3]/64

데시메이팅된 픽셀 값의 순차-주사, 향상-층 세트

g₀(0,0)=[0DCT_0,0 + 0DCT_1,0 + 0DCT_2,0 + 0DCT_3,0 + 1DCT_0,1 + 1DCT_1,1 + 1DCT_2,1+

3DCT_0,2 + 4DCT_1,2 + 4DCT_0,3]/64

g₀(1,0)=[0DCT_0,0 + 0DCT_1,0 + 0DCT_2,0 + 0DCT_3,0 + 1DCT_0,1 + 1DCT_1,1 - 1DCT_2,1+

3DCT_0,2 + 2DCT_1,2 + 6DCT_0,3]/64

g₀(2,0)=[0DCT_0,0 + 0DCT_1,0 + 0DCT_2,0 + 0DCT_3,0 + 1DCT_0,1 + 0DCT_1,1 - 1DCT_2,1+

3DCT_0,2 - 2DCT_1,2 + 6DCT_0,3]/64

g₀(3,0)=[0DCT_0,0 + 0DCT_1,0 + 0DCT_2,0 + 0DCT_3,0 + 1DCT_0,1 - 1DCT_1,1 + 1DCT_2,1+

3DCT_0,2 - 4DCT_1,2 + 6DCT_0,3]/64

g₀(0,2)=[0DCT_0,0 + 0DCT_1,0 + 0DCT_2,0 + 0DCT_3,0 + 2DCT_0,1 + 3DCT_1,1 + 2DCT_2,1+

3DCT_0,2 + 4DCT_1,2 - 2DCT_0,3]/64

g₀(1,2)=[0DCT_0,0 + 0DCT_1,0 + 0DCT_2,0 + 0DCT_3,0 + 2DCT_0,1 + 1DCT_1,1 - 2DCT_2,1+

3DCT_0,2 + 2DCT_1,2 - 2DCT_0,3]/64

g₀(2,2)=[0DCT_0,0 + 0DCT_1,0 + 0DCT_2,0 + 0DCT_3,0 + 2DCT_0,1 - 1DCT_1,1 - 2DCT_2,1+

3DCT_0,2 - 2DCT_1,2 - 2DCT_0,3]/64

g₀(3,2)=[0DCT_0,0 + 0DCT_1,0 + 0DCT_2,0 + 0DCT_3,0 + 2DCT_0,1 - 3DCT_1,1 + 2DCT_2,1+

3DCT_0,2 - 4DCT_1,2 - 2DCT_0,3]/64

g₀(0,4)=[0DCT_0,0 + 0DCT_1,0 + 0DCT_2,0 + 0DCT_3,0 + 2DCT_0,1 + 3DCT_1,1 + 2DCT_2,1-

3DCT_0,2 - 4DCT_1,2 - 2DCT_0,3]/64

g₀(1,4)=[0DCT_0,0 + 0DCT_1,0 + 0DCT_2,0 + 0DCT_3,0 + 2DCT_0,1 + 1DCT_1,1 - 2DCT_2,1-

3DCT_0,2 - 2DCT_1,2 - 2DCT_0,3]/64

g₀(2,4)=[0DCT_0,0 + 0DCT_1,0 + 0DCT_2,0 + 0DCT_3,0 + 2DCT_0,1 - 1DCT_1,1 - 2DCT_2,1-

3DCT_0,2 + 2DCT_1,2 - 2DCT_0,3]/64

g₀(3,4)=[0DCT_0,0 + 0DCT_1,0 + 0DCT_2,0 + 0DCT_3,0 + 2DCT_0,1 - 3DCT_1,1 + 2DCT_2,1-

3DCT_0,2 + 4DCT_1,2 - 2DCT_0,3]/64

g₀(0,6)=[0DCT_0,0 + 0DCT_1,0 + 0DCT_2,0 + 0DCT_3,0 + 1DCT_0,1 + 1DCT_1,1 + 1DCT_2,1-

3DCT_0,2 - 49DCT_1,2 + 6DCT_0,3]/64

g₀(1,6)=[0DCT_0,0 + 0DCT_1,0 + 0DCT_2,0 + 0DCT_3,0 + 1DCT_0,1 + 0DCT_1,1 - 1DCT_2,1-

3DCT_0,2 - 2DCT_1,2 + 6DCT_0,3]/64

g₀(2,6)=[0DCT_0,0 + 0DCT_1,0 + 0DCT_2,0 + 0DCT_3,0 + 1DCT_0,1 + 0DCT_1,1 - 1DCT_2,1-

3DCT_0,2 + 2DCT_1,2 + 6DCT_0,3]/64

g₀(3,6)=[0DCT_0,0 + 0DCT_1,0 + 0DCT_2,0 + 0DCT_3,0 + 1DCT_0,1 - 1DCT_1,1 + 1DCT_2,1-

3DCT_0,2 + 4DCT_1,2 + 6DCT_0,3]/64

데시메이팅된 픽셀 값의 비월-주사, 기본-층 세트

g₁(0,0)=[8DCT_0,0 + 7DCT_1,0 + 11DCT_0,1 + 10DCT_1,1+ 10DCT_0,2 + 0DCT_2,0 +

9DCT_0,3+ 8DCT_0,4 + 6DCT_0,5 + 4DCT_0,6]/64

g₁(1,0)=[8DCT_0,0 - 7DCT_1,0 + 11DCT_0,1 - 10DCT_1,1+ 10DCT_0,2 + 0DCT_2,0 +

9DCT_0,3+ 8DCT_0,4 + 6DCT_0,5 + 4DCT_0,6]/64

g₁(0,1)=[8DCT_0,0 + 7DCT_1,0 + 9DCT_0,1 + 9DCT_1,1+ 4DCT_0,2 + 0DCT_2,0 - 2DCT_0,3-

8DCT_0,4 - 11DCT_0,5 - 10DCT_0,6]/64

g₁(1,1)=[8DCT_0,0 - 7DCT_1,0 + 9DCT_0,1 - 9DCT_1,1+ 4DCT_0,2 + 0DCT_2,0 - 2DCT_0,3-

8DCT_0,4 - 11DCT_0,5 - 10DCT_0,6]/64

g₁(0,2)=[8DCT_0,0 + 7DCT_1,0 + 6DCT_0,1 + 6DCT_1,1- 4DCT_0,2 + 0DCT_2,0 - 11DCT_0,3- 8DCT_0,4 + 2DCT_0,5 + 10DCT_0,6]/64

g₁(1,2)=[8DCT_0,0 - 7DCT_1,0 + 6DCT_0,1 - 6DCT_1,1- 4DCT_0,2 + 0DCT_2,0 - 11DCT_0,3-

8DCT_0,4 + 2DCT_0,5 + 10DCT_0,6]/64

g₁(0,3)=[8DCT_0,0 + 7DCT_1,0 + 2DCT_0,1 + 2DCT_1,1- 10DCT_0,2 + 0DCT_2,0 - 6DCT_0,3+

8DCT_0,4 + 9DCT_0,5 - 4DCT_0,6]/64

g₁(1,3)=[8DCT_0,0 - 7DCT_1,0 + 2DCT_0,1 - 2DCT_1,1- 10DCT_0,2 + 0DCT_2,0 - 6DCT_0,3+

8DCT_0,4 + 9DCT_0,5 - 4DCT_0,6]/64

g₁(0,4)=[8DCT_0,0 + 7DCT_1,0 - 2DCT_0,1 - 2DCT_1,1- 10DCT_0,2 + 0DCT_2,0 + 6DCT_0,3+

8DCT_0,4 - 9DCT_0,5 - 4DCT_0,6]/64

g₁(1,4)=[8DCT_0,0 - 7DCT_1,0 - 2DCT_0,1 + 2DCT_1,1- 10DCT_0,2 + 0DCT_2,0 + 6DCT_0,3+

8DCT_0,4 - 9DCT_0,5 - 4DCT_0,6]/64

g₁(0,5)=[8DCT_0,0 + 7DCT_1,0 - 6DCT_0,1 - 6DCT_1,1- 4DCT_0,2 + 0DCT_2,0 + 11DCT_0,3-

8DCT_0,4 - 2DCT_0,5 + 10DCT_0,6]/64

g₁(1,5)=[8DCT_0,0 - 7DCT_1,0 - 6DCT_0,1 + 6DCT_1,1- 4DCT_0,2 + 0DCT_2,0 + 11DCT_0,3-

8DCT_0,4 - 2DCT_0,5 + 10DCT_0,6]/64

g₁(0,6)=[8DCT_0,0 + 7DCT_1,0 - 9DCT_0,1 - 9DCT_1,1+ 4DCT_0,2 + 0DCT_2,0 + 2DCT_0,3-

8DCT_0,4 + 11DCT_0,5 - 10DCT_0,6]/64

g₁(1,6)=[8DCT_0,0 - 7DCT_1,0 - 9DCT_0,1 + 9DCT_1,1+ 4DCT_0,2 + 0DCT_2,0 + 2DCT_0,3-

8DCT_0,4 + 11DCT_0,5 - 10DCT_0,6]/64

g₁(0,7)=[8DCT_0,0 + 7DCT_1,0 - 11DCT_0,1 - 10DCT_1,1+ 10DCT_0,2 + 0DCT_2,0 -

9DCT_0,3+ 8DCT_0,4 - 6DCT_0,5 + 4DCT_0,6]/64

g₁(1,7)=[8DCT_0,0 - 7DCT_1,0 - 11DCT_0,1 + 10DCT_1,1+ 10DCT_0,2 + 0DCT_2,0 -

9DCT_0,3+ 8DCT_0,4 - 6DCT_0,5 + 4DCT_0,6]/64

데시메이팅된 픽셀 값의 비월-주사, 향상-층 세트

g₀(0,0)=[0DCT_0,0 + 3DCT_1,0 + 0DCT_0,1 + 4DCT_1,1+ 0DCT_0,2 + 7DCT_2,0 + 0DCT_0,3+

0DCT_0,4 + 0DCT_0,5 + 0DCT_0,6]/64

g₀(2,0)=[0DCT_0,0 + 3DCT_1,0 + 0DCT_0,1 + 4DCT_1,1+ 0DCT_0,2 - 7DCT_2,0 + 0DCT_0,3+

0DCT_0,4 + 0DCT_0,5 + 0DCT_0,6]/64

g₀(0,1)=[0DCT_0,0 + 3DCT_1,0 + 0DCT_0,1 + 4DCT_1,1+ 0DCT_0,2 + 7DCT_2,0 + 0DCT_0,3+

0DCT_0,4 + 0DCT_0,5 + 0DCT_0,6]/64

g₀(2,1)=[0DCT_0,0 + 3DCT_1,0 + 0DCT_0,1 + 4DCT_1,1+ 0DCT_0,2 - 7DCT_2,0 + 0DCT_0,3+

0DCT_0,4 + 0DCT_0,5 + 0DCT_0,6]/64

g₀(0,2)=[0DCT_0,0 + 3DCT_1,0 + 0DCT_0,1 + 2DCT_1,1+ 0DCT_0,2 + 7DCT_2,0 + 0DCT_0,3+

0DCT_0,4 + 0DCT_0,5 + 0DCT_0,6]/64

g₀(2,2)=[0DCT_0,0 + 3DCT_1,0 + 0DCT_0,1 + 2DCT_1,1+ 0DCT_0,2 - 7DCT_2,0 + 0DCT_0,3+

0DCT_0,4 + 0DCT_0,5 + 0DCT_0,6]/64

g₀(0,3)=[0DCT_0,0 + 3DCT_1,0 + 0DCT_0,1 + 1DCT_1,1+ 0DCT_0,2 + 7DCT_2,0 + 0DCT_0,3+

0DCT_0,4 + 0DCT_0,5 + 0DCT_0,6]/64

g₀(2,3)=[0DCT_0,0 + 3DCT_1,0 + 0DCT_0,1 + 1DCT_1,1+ 0DCT_0,2 - 7DCT_2,0 + 0DCT_0,3+

0DCT_0,4 + 0DCT_0,5 + 0DCT_0,6]/64

g₀(0,4)=[0DCT_0,0 + 3DCT_1,0 + 0DCT_0,1 - 1DCT_1,1+ 0DCT_0,2 + 7DCT_2,0 + 0DCT_0,3+

0DCT_0,4 + 0DCT_0,5 + 0DCT_0,6]/64

g₀(2,4)=[0DCT_0,0 + 3DCT_1,0 + 0DCT_0,1 - 1DCT_1,1+ 0DCT_0,2 - 7DCT_2,0 + 0DCT_0,3+

0DCT_0,4 + 0DCT_0,5 + 0DCT_0,6]/64

g₀(0,5)=[0DCT_0,0 + 3DCT_1,0 + 0DCT_0,1 - 2DCT_1,1+ 0DCT_0,2 + 7DCT_2,0 + 0DCT_0,3+

0DCT_0,4 + 0DCT_0,5 + 0DCT_0,6]/64

g₀(2,5)=[0DCT_0,0 + 3DCT_1,0 + 0DCT_0,1 - 2DCT_1,1+ 0DCT_0,2 - 7DCT_2,0 + 0DCT_0,3+

0DCT_0,4 + 0DCT_0,5 + 0DCT_0,6]/64

g₀(0,6)=[0DCT_0,0 + 3DCT_1,0 + 0DCT_0,1 - 4DCT_1,1+ 0DCT_0,2 + 7DCT_2,0 + 0DCT_0,3+

0DCT_0,4 + 0DCT_0,5 + 0DCT_0,6]/64

g₀(2,6)=[0DCT_0,0 + 3DCT_1,0 + 0DCT_0,1 - 4DCT_1,1+ 0DCT_0,2 - 7DCT_2,0 + 0DCT_0,3+

0DCT_0,4 + 0DCT_0,5 + 0DCT_0,6]/64

g₀(0,7)=[0DCT_0,0 + 3DCT_1,0 + 0DCT_0,1 - 4DCT_1,1+ 0DCT_0,2 + 7DCT_2,0 + 0DCT_0,3+

0DCT_0,4 + 0DCT_0,5 + 0DCT_0,6]/64

g₀(2,7)=[0DCT_0,0 + 3DCT_1,0 + 0DCT_0,1 - 4DCT_1,1+ 0DCT_0,2 - 7DCT_2,0 + 0DCT_0,3+

0DCT_0,4 + 0DCT_0,5 + 0DCT_0,6]/64

상기 "데시메이팅된 픽셀 값의 순차-주사 세트" 및 상기 "데시메이팅된 픽셀 값의 비월-주사 세트"의 각각은 다음의 방법으로 유도된다.

1. DCT_u,v가 수평 주파수 지수(u)와 수직 주파수 지수(v)를 갖는 DCT 계수를 나타낸다면, 최대 해상도(full resolution)에서 f(x,y)(x = 0,..,N-1; y = 0,...,N-1)로 표시된 하나의 블록을 디코드하기 위해 사용될 수 있는 IDCT 식은 다음과 같이 주어진다.

2. 도 1b에 도시된 10개의 DCT 계수만을 사용하여 순차-주사 시퀀스에 대한 근사식인 수학식 2를 유도한다.

3. 도 1c에 도시된 10개의 DCT 계수만을 사용하여, 비월 주사 시퀀스에 대한 근사적인 수학식 3을 유도한다.

4. 수학식 2 및 수학식 3 각각의 오른쪽 항을 f'(x,y)로 표시하자. 순차 주사(즉, 순차-시퀀스 플래그=1)의 경우, 기본-층 값{g₁'(x,y)}은 다음의 수학식 4에 따라 계산되고, 향상-층 값{g₀'(x,y)}은 다음의 수학식 5에 따라 계산된다.

g1'(x,y)=1/4[f'(2x,2y)+f'(2x+1,2y)+f'(2x,2y+1)+f'(2x+1,2y+1)],x=0,..,3; y=0,..,3에 대해.

g0'(x,y) = 1/4[f'(2x,y)+f'(2x+1,y)-f'(2x,y+1)-f'(2x+1,y+1)], x=0,..,3; y=0,2,4,6에 대해.

특히, 수학식 4에서 g₁'(x,y)는 최대-해상도 8×8 블록에서 2×2 블록 부분에 배열된 한 세트의 4개의 연속 픽셀(또는 예측 에러) 값들의 평균 값을 한정한다. 수학식 5에서 g₀'(x,y)는 최대-해상도 8×8 블록의 2×2 블록 부분에 배열된 하나의 수직 라인의 2개의 연속 수평 픽셀(또는 예측 에러)의 제 1 세트 값의 평균 값과, 다음의 수직 라인의 2개의 연속 수평 픽셀(또는 예측 에러)의 제 2 세트 값의 평균 값 사이의 차이를 한정한다. 상기 "데시메이팅된 픽셀 값의 순차-주사, 기본-층 세트"의 16개의 수식{g₁(0,0) 내지 g₁(3,3)}은 수학식 4를 수학식 2로 대체하고, g₁'(x,y)에서의 x 및 y를 숫자로 대체하고, N=8로 대체하며, DCT 계수에 대한 가중 계수를 유리수로 근사시킴으로써, 유도된다. 상기 "데시메이팅된 픽셀 값의 순차-주사, 향상-층 세트"의 16개의 수식{g₀(0,0) 내지 g₀(3,6)}은 수학식 5를 수학식 2로 대체하고, g₁'(x,y)에서의 x 및 y를 숫자로 대체하고, N=8로 대체하며, DCT 계수에 대한 가중 계수를 유리수로 근사시킴으로써, 유사한 방법으로 유도된다. 향상-층의 유효 픽셀 데시메이션이 오직 2(기본-층의 4의 유효 픽셀 데시메이션과는 달리)일지라도, y = 0,2,4,6에 대해 g₀(x,y+1) = -g₀(x,y)가 성립하여, 홀수 수직 계수를 갖는 향상-층의 값은 계산될 필요가 없다. 따라서, 16개의 독립적인 g₀(x,y) 향상-층 값만이 순차-주사 I 또는 P 화상 내의 8×8 블록 휘도 블록 각각에 대해 계산될 필요가 있다. 더욱이, 이들 16개 g₀(x,y) 향상-층 값은 여분의 값이기 때문에, 작은 다이내믹 범위를 갖는 경향이 있다.

비월 주사(즉, 순차_시퀀스 플래그가 0)의 경우, 기본-층 값{g₁'(x,y)}은 다음의 수학식 6에 따라 계산되고, 향상-층 값{g₀'(x,y)}은 다음의 수학식 7에 따라 계산된다.

g1'(x,y)=1/4[f'(4x,y)+f'(4x+1,y)+f'(4x+2,y)+f'(4x+3,y)], x=0,1;y=0,..,7에 대해.

g0'(x,y)=1/4[f'(2x,y)+f'(2x+1,y)-f'(2x+2,y)-f'(2x+3,y)], x=0,2;y=0,..,7에 대해.

8 ×8 블록의 비월-주사의 경우, 수학식 6에서 g₁'(x,y)는 8 ×8 블록의 4 ×1 블록 부분에 배열된 4개의 연속 픽셀(또는 예측 에러)의 한 세트 값의 평균 값을 한정한다. 수학식 7에서 g₀'(x,y)는 8 ×8 블록의 4 ×1 블록 부분에 배열된 하나의 수직 라인의 2개의 연속 수평 픽셀(또는 예측 에러)의 제 1 세트 값의 평균 값과, 동일한 수직 라인의 2개의 연속 수평 픽셀(또는 예측 에러)의 제 2 세트 값의 평균 값 사이의 차이를 한정한다. 상기 "데시메이팅된 픽셀 값의 비월-주사, 기본-층 세트"의 16개의 수식{g₁(0,0) 내지 g₁(1,7)}은 수학식 6을 수학식 3으로 대체하고, g₁'(x,y)에서의 x 및 y를 숫자로 대체하고, N=8로 대체하며, DCT 계수에 대한 가중 계수를 유리수로 근사시킴으로써, 유도된다. 상기 "데시메이팅된 픽셀 값의 비월-주사, 향상-층 세트"의 16개의 수식{g₀(0,0) 내지 g₀(2,7)}은 수학식 7을 수학식 3으로 대체하고, g₀'(x,y)에서의 x 및 y를 숫자로 대체하고, N=8로 대체하며, DCT 계수에 대한 가중 계수를 유리수로 근사시킴으로써, 유사한 방법으로 유도된다. 향상-층의 유효 픽셀 선택이 오직 2(기본-층의 4의 유효 픽셀 선택과는 달리)일지라도, x=0 및 x=2에 대해 g₀(x+1,y) = -g₀(x,y)가 성립하여, 홀수 수평 계수를 갖는 향상-층의 값은 계산될 필요가 없다. 따라서, 16개의 독립적인 g₀(x,y) 향상-층 값만이 비월-주사 I 또는 P 화상 내의 8×8 블록 휘도 블록 각각에 대해 계산될 필요가 있다. 더욱이, 이들 16개 g₀(x,y) 향상-층 값은 여분의 값이기 때문에, 작은 다이내믹 범위를 갖는 경향이 있다.

도 2를 다시 참조하면, 유니트(204)는 I, P 및 B 휘도 및 색차 g₁(x,y) 기본-층의 데시메이팅된 픽셀 값의 연속적인 8×8 블록을 포함하는 출력을 기본-층 가산기(205B)의 제 1 입력으로서, 미리 정해진 순서로 전달한다.(코딩되지 않은 블록에 대해 이들 모든 값은 0 이다). 이러한 미리 정해진 순서는 8×8 픽셀 휘도 블록의 각 2×2 배열의 데시메이팅된 픽셀 값 및 향상된 MCU 처리 수단(208)에 의해 사용되기 위한 데시메이팅된 매크로블록을 형성하는 두 개의 색차 블록 각각의 데시메이팅된 픽셀 값을 포함한다. 더욱이, 유니트(208)는 기본-층의 데시메이팅된 픽셀 값의 대응하는 블록{p₁(x,y)}을 기본-층의 가산기(205B)의 제 2 입력으로서, 상기 미리 정해진 순서로 인가한다(인트라코딩된 매크로블록에 대해 이러한 모든 값은 0 이다). 기본-층 가산기(205B)의 합산 출력으로서 유도된 기본-층의 데시메이팅된 픽셀 값의 블록{s₁(x,y)}은 그후 메모리(206)에 저장된다.

유니트(204)는 I 및 P 휘도 g₀(x,y) 향상-층의 데시메이팅된 픽셀 값을 포함하는 출력을 향상-층 가산기(205E)의 제 1 입력으로서, 이전에 언급한 데시메이팅된 픽셀 매크로블록의 미리 정해진 순서로 전달한다(코딩되지 않은 블록에 대해 이들 모든 값은 0 이다). 더욱이, P 휘도 픽셀의 경우, 유니트(208)는 64 개 p₀(x,y) 향상-층의 데시메이팅된 픽셀 값의 대응하는 매크로블록을 가산기(205E)의 제 2 입력으로서, 이와 동일한 미리 정해진 순서로 인가한다. (인트라코딩된 매크로블록에 대해 이러한 모든 값은 0 이다). 가산기(205E)의 합산 출력으로서 유도된 64개의 s₀(x,y) 향상-층 데시메이팅된 픽셀 값의 매크로블록은 향상-층 인코더(207)의 입력으로 인가되고, 이후 인코더(207)로부터의 인코드된 출력 비트-워드는 I 및 P 화상의 디코딩 동안에 메모리(206)에 저장된다.

향상-층의 더 높은 해상도에서의 매크로블록은 128개의 데시메이팅된 휘도 픽셀 값을 정상적으로 포함할 것이다. 그러나, 순차-주사 시퀀스 및 비월-주사 시퀀스 모두에 대해 상기 기술된 대칭 균등성(symmetry equality) 때문에, 블록{s₀(x,y)}에서의 독립적인 데시메이팅된 향상-층 픽셀 값의 총 수는 128에서 64개로 감소된다. 그러므로, 이 미리 정해진 순서는, 향상-층의 데시메이팅된 픽셀 값들 중 오직 절반만이 향상-층 인코더(207)에 의해 고려될 필요가 있게 하는 것이다. 이들 향상-층 값은 단순한 벡터 양자화기를 사용하여 쌍으로 인코드되는데, 각 쌍의 값은 8비트 코드워드로 표시된다. 하나의 매크로블록 내에 인코드될 64개의 향상-층 값이 존재하기 때문에, 향상-층에 대한 저장 비트의 총 수는 매크로블록당 32×8 = 256 비트이다. 양호한 실시예에 있어서, 32 코드워드는 메모리(206)에 저장을 위해, 인코더(207)로부터 두 개의 128 비트 출력 워드로 결합된다.

순차 시퀀스에 대해, 블록{s₀(x,y)} 내의 수평 인접 값의 각 쌍은 2차원 벡터로 인코드되는 반면, 비월 시퀀스에 대해 s₀(x,y) 내의 수직 인접(동일 필드 내에서) 값의 각 쌍이 2차원 벡터로 인코드된다. v₀와 v₁을 함께 인코드될 값의 쌍이라 하면. 쌍(v₀, v₁)을 인코드하기 위해 인코더(207)에 의해 사용되는 계산 절차는 부록 A에서 상세하게 기술된다. 이러한 절차가 s₀(x,y) 내의 각 쌍에 대해 종료된 후, 코드워드들은 두 개의 128비트 워드로 패킷화되는데, 두 개의 128비트 워드 모두 인코더(207)의 출력 신호를 형성하고, 이는 메모리(206)에 저장된다. 다시 도 2를 참조하면, 메모리(206)는 (1) 기본-층 출력{d₁(x,y)}을 유니트(208)에 제공하고[d₁(x,y)는 메모리(206)에 제공되는 기본-층 입력{s₁(x,y)}과 내용에서 유사하다], (2) 향상-층 출력을 유니트(208)에 제공한다{메모리(206)의 향상-층 입력과 내용에서 유사하다}.

향상된 MCU 처리 수단(208)이 예측 블록을 형성하도록, 한 블록의 픽셀 값들이 메모리(206)로부터 페치(fetch)된다. 저장된 기준 화상으로부터 판독되는 픽셀 값의 기본-층은 d₁(x,y)으로 표시된다. 형성되는 예측 블록이 P 화상 내의 휘도 성분을 위한 것일 때만 필요한, 향상-층의 여분의 값은 d₀(x,y)로 표시된다. 향상-층 샘플이 인코드된 형태로 메모리(206)에 저장되므로, 메모리(206) 입력으로부터의 유니트(208)에 대한 향상-층 데이터 출력은 d₀(x,y) 값을 얻기 위하여 향상-층 디코더(300)(도 3)에 의해 디코드된다. 유니트(208)는, 상부 및 바닥 필드 예측 블록에 대응하는 필드 예측 동작을 위한 개별적인 휘도 또는 색차 출력을 별도로 형성한다. 양방향으로 예측된 매크로블록에 있어서, 이들 동작은 순방향 및 역방향 예측에 있어서 독립적으로 수행되고, 그 결과는 ISO 13818-2 표준에 기술된 바와 같이 결합된다. 유니트(208)에 의해 수행되는 계산-처리 동작의 다음의 상세한 설명에 있어서, 기호 "/"는 -∞를 향한 결과의 절단을 갖는 정수 분할을 나타내고, 기호 "//"는 0을 향한 결과의 절단을 갖는 정수 분할을 나타내며, 기호 "%"는 모듈러스 연산자를 나타내는데, 상기 모듈러스 연산자는, x가 음의 수이고, M이 양의 수라면, x%M=M-{(x//M)*M-x}인 것으로, 정의된다.

샘플의 블록이 메모리(206)로부터 판독될 수 있기 전에, 블록의 위치 및 크기가 결정된다. 기준 화상 내에서 픽셀 값 블록의 위치는, 기준 화상 내에서 상기 블록의 개시점(즉, 상부 왼쪽 구석)의 수평 및 수직 좌표로 지정된다. 기본-층에 대해, 이들 좌표는, 비월 시퀀스에 대해 1/4 수평 해상도 및 최대 수직 해상도이고, 순차 시퀀스에 대해 1/2 수평 해상도 및 1/2 수직 해상도인 화상에 대한 계수이다. 향상-층에 대해, 좌표는 비월 및 순차 시퀀스에 대해 1/2 수평 해상도이고 최대 수직 해상도인 화상에 대한 계수이다.

블록{d₁(x,y) 및 d₀(x,y)}을 기준 화상 내에 위치시키기 위하여, 디코드되는 매크로블록에 대한 움직임 벡터가 필요하다. 비트스트림 내의 움직임 벡터 데이터의 디코딩, 움직임 벡터 예측자의 갱신, 및 코딩된 움직임 벡터를 포함하지 않는 비-인트라 매크로블록{예, 스킵(skip)한 매크로블록} 내에서 움직임 벡터의 선택, 모두 ISO 13818-2 표준에서 기술된 바와 같이 유니트(208)에 의해 수행된다. 시퀀스가 최대 해상도로 디코드된다면, 최대-해상도의 기준 휘도 화상 내의 위치{x_b+(dx/2), y_b+(dy/2)}에서 픽셀 값의 블록은 메모리로부터 판독되어, 휘도 예측을 형성하기 위하여 사용될 수 있도록, x_b와 y_b를 디코드되는 매크로블록의 최대-해상도의 수평 및 수직 위치라 하고, mv=(dx, dy)를 디코드된 움직임 벡터라 하자. 마찬가지로, 기준 색차 화상 내에서의 위치{x_b/2+(dx//2), y_b/2+(dy//2)}에서의 색차 값의 블록은, 최대-해상도 모드 내에서 2 개의 색차 성분의 각각에 대한 예측을 형성하기 위하여 요구될 것이다.

유니트(208) 내에서 움직임 보상을 위하여 필요한 블록의 기준 화상 내의 위치는 x_b,y_b,dx 및 dy를 사용하여 결정된다. 표 3은 복수의 예측 모드에 대한 블록의 위치를 도시한다. 유니트(208) 내에서 움직임 보상을 위해 필요한 블록의 크기는 표 4에서 지정된다. 표 4에서 기본-층의 입력은 블록{d₁(x,y)}의 크기를 제공하고, 표 4에서 향상-층의 입력은 블록{d₀(x,y)}의 크기를 제공한다.

향상된 MCU 처리 수단(208)에서 움직임 보상을 위해 필요한 블록의 위치

예측 모드	수평 좌표	수직 좌표
순차 시퀀스, 휘도, 기본-층	[{x_b+(dx/2)}/8]*4	{y_b+(dy/2)}/2
순차 시퀀스, 휘도, 향상-층	[{x_b+(dx/2)}/8]*4	[{y_b+(dy/2)}/2]*2
순차 시퀀스, 색차	x_b/4+{(dx//2)/4}	y_b/4+{(dy//2)/4}
비월 시퀀스, 휘도, 기본-층	[{x_b+(dx/2)}/8]*2	y_b+(dy/2)
비월 시퀀스, 휘도, 향상-층	[{x_b+(dx/2)}/8]*4	y_b+(dy/2)
비월 시퀀스, 색차	x_b/8+{(dx//2)/8}	y_b/2+{(dy//2)/2}

향상된 MCU 처리 수단(208)에서 움직임 보상을 위해 필요한 블록의 크기

예측 모드	수평 크기	수직 크기
순차 시퀀스, 휘도, 기본-층	12	9
순차 시퀀스, 휘도, 향상-층	12	18
순차 시퀀스, 색차	5	5
비월 시퀀스, 휘도, 16×16 예측, 기본-층	6	17
비월 시퀀스, 휘도, 16×8 예측, 기본-층	6	9
비월 시퀀스, 휘도, 16×16 예측, 향상-층	12	17
비월 시퀀스, 휘도, 16×8 예측, 향상-층	12	9
비월 시퀀스, 색차, 8×8 예측	3	9
비월 시퀀스, 색차, 8×4 예측	3	5

도 3은 유니트(208)에 의해 메모리(206)로부터 판독된 휘도 샘플에 대해 수행되는 처리를 도시한다. 도 3에 도시된 바와 같이, 유니트(208)의 휘도-처리부는 향상-층 디코더 수단(300), 향상-층 픽셀 재구성 수단(302), DCT에 기초한 업샘플 수단(304), 최대-해상도 블록 선택 수단(306), DCT에 기초한 다운샘플 수단(308) 및 2개 층 출력 구성 수단(310)을 포함한다. 향상된 MCU 처리 수단(208)의 이들 요소는 디코드된 매크로블록에 대한 예측을 형성하기 위하여 메모리(206)에 저장된 I 및 P 프레임으로부터 감소된-해상도 블록을 사용한다.

도 3의 상기 기술된 구조는 메모리(206)로부터 유니트(208)로 입력된 휘도 픽셀 값의 계산 처리를 수행한다. 이러한 계산 처리는 부록 B 내지 G에 상세하게 기술된다. 그러나 간략히, 디코더(300)는 입력의 128비트 워드를 16개 성분의 8비트 코드워드로 언팩(unpack)시킨다. 부록 B에 기술된 계산 처리를 사용하는 디코더(300)는 출력으로서 d₀(x,y)를 유도한다. 부록 C에 기술된 계산 처리를 사용하는 향상-층 픽셀 재구성 수단(302)은 유니트(208)로 입력되는 d₁(x,y)와 디코더(300)로부터 출력되는 d₀(x,y) 둘 모두에 응답하여 출력으로서 r₀(x,y)를 유도한다. 부록 D에 기술된 계산 처리를 사용하는 DCT에 기초한 업샘플 수단(304)은 최대 해상도로 r(x,y)를 유도하기 위하여 r₀(x,y) 입력을 수평적으로 업샘플한다. 부록 E에 기술된 계산 처리를 사용하는 최대 해상도 블록 선택 수단(306)은, 출력으로서 예측 p(x,y)의 최대 해상도 블록을 유도하기 위하여 r(x,y)를 사용한다. 부록 F에 기술된 계산 처리를 사용하는 DCT에 기초한 다운 샘플 수단(308)은, 절반의 수평 해상도로 q(x,y)를 유도하기 위하여 p(x,y) 입력을 수평적으로 다운샘플한다. 블록{q(x,y)}은, 유니트(208)에 의해 도 2에 도시된 가산기(205B 및 205E)에 제공된 출력{p₁(x,y) 및 p₀(x,y)}을 유도하기 위하여, 부록 G에 기술된 계산 처리를 사용하는 2개 층 출력 구성 수단(310)의 입력으로서 인가된다. 색차 예측을 위해 필요한 계산 처리가 도 3에 도시되지 않았지만, 부록 H에서 상세하게 기술된다.

도 2를 다시 참조하면, 연속적인 픽셀 필드 또는 프레임 각각을 한정하는 기본-층 픽셀을 포함하는 비디오 신호는 메모리(206)로부터 출력되어, 디스플레이 비디오 신호 출력을 유도하는 샘플-율(sample-rate) 변환기(210)에 입력된다. 변환기(210)로부터 출력된 디스플레이 비디오 신호는 PIP 디스플레이 영상을 나타낸다. 예를 들기 위하여, PIP 디스플레이의 크기는 전체 HD 디스플레이 크기 중 수평 크기의 1/3과 수직 크기의 1/3을 점유하도록 의도된다고 가정하자. HD 비트 스트림의 원래의 해상도가 비월 형식의 1920×1080이라면, PIP 디코드된 프레임(수평 방향의 픽셀 수가 3/4의 계수만큼 선택되는)은 비월 형식의 480×1080이 된다. 비월 형식의 1920×1080의 HD 디스플레이를 고려하면, 디스플레이된 PIP 프레임은 비월 형식의 640×360이 되어야만 한다. 그러므로, 본 예에 있어서, 메모리에 저장된 디코드된 프레임은, 샘플-율 변환기(210)에 의해 수평 방향에서 4/3 및 수직 방향에서 1/3의 계수만큼 비율이 정해져야 한다.

본 발명의 실현된 실시예에 있어서, 인코드된 형태로 1/2 해상도의 향상-층의 저장을 위한 1 메모리에 필요한 별도의 용량은, 1/4 해상의 기본-층의 저장을 위해 필요한 17.8 Mbit에 1.98 Mbit만을 추가한다. 따라서, 인코드된 1/2 해상도의 향상-층의 포함물은, 19.78 Mbit에 이르는 상대적으로 적은 양(즉, 11%를 약간 상회할뿐인)만큼 기본 및 향상-층의 데시메이팅된 픽셀 메모리의 필요한 저장 용량을 증가시킨다.

부록 A

향상-층 인코더(207)

향상-층 값의 각 쌍(v₀, v₁)을 인코드하기 위하여 사용된 다음의 절차에 있어서, 기호("DIV")는 결과를 가장 가까운 정수로 반올림하는 정수나눗셈을 나타낸다.

먼저, 값(v₀, v₁)은 범위 [-45, 45]로 제한된다. 그후 8비트 코드워드(C)는 다음의 유사 코드에 도시된 바와 같이 계산된다.

if (v₀ > -4 AND v₀ < 4 AND v₁> -4 AND v₁< 4)

C = 7*(v₁+3) + v₀+ 211

else

if (v₁< v₀-25)

v₀= (v₀+ v₁+ 25)/2

v₁= v₀- 25

else if (v₁> v₀+25)

v₀= (v₀+ v₁- 25)/2

v₁= v₀+ 25

v₀ = 5*(v₀ DIV 5)

v₁ = 5*(v₁ DIV 5)

C = 104 - 2*v₁ - v₀/5

코드워드(C)는 쌍(v₀, v₁)을 나타내기 위하여 메모리에 저장된 값이다.

부록 B

향상-층 디코더(300)

기본-층 및 향상-층 메모리(206)로부터 판독된 128비트 향상-층 워드가 16개의 별도의 8비트 코드워드로 언팩된 후, 각 코드워드는 아래에 기술된 바와 같이 디코드될 수 있다. C를 디코드될 코드워드라 하고, b₀ 및 b₁을 C를 디코딩함으로써 얻어지는 값이라 하면. 다음의 유사 코드는 b₀ 및 b₁의 계산을 보여준다.

if (C < 204)

b₀ = 70 - 5*(C/11) - 5*(C%11)

b₁= 45 - 5*(C/11)

else

b₀ = (C-208)%7 - 3

b₁=(C-208)/7 - 3

각 디코드된 코드워드는 d₀(x,y)의 한 부분을 채우기 위하여 사용된다. 순차 시퀀스에 대해, 기준 화상에서 홀수 계수 라인으로부터 유도된 d₀(x,y)의 라인은 디코드된 적절한 코드워드 값을 음의 값으로 취함으로써 얻어진다. 마찬가지로, 비월 시퀀스에 대해, 기준 화상의 홀수 계수 열로부터 유도된 d₀(x,y)의 열은 디코드된 적절한 코드워드의 음의 값을 취함으로써 얻어진다.

부록 C

향상-층 픽셀 재구성 수단(302)

향상-층 디코더(300)로부터 출력된 블록{d₀(x,y)}과 기본-층 및 향상-층 메모리(206)로부터 판독된 블록{d₁(x,y)}을 사용하여, 향상-층 해상도(즉, 수평의 1/2, 최대 수직 해상도 )의 픽셀 값은 P 화상 및 B 화상 모두에 대해 재구성될 수 있다. P 화상에 대해 d₀(x,y)는 부록 B에 기술된 바와 같이 얻어지고, B 화상에 대해 d₀(x,y)는 모든 x 및 y에 대해 0으로 간주된다.

순차 시퀀스에 대한 2개 층을 결합하기 위하여 사용된 수식은 다음과 같다.

r₀(x,2y) = d₁(x,y) + d₀(x,2y)

r₀(x,2y+1) = d₁(x,y) + d₀(x,2y+1) ; x=0,...,11, y = 0,...,8.

비월 시퀀스에 대한 2개 층을 결합하기 위하여 사용된 수식은 다음과 같다.

r₀(2x,y) = d₁(x,y) + d₀(2x,y)

r₀(2x+1,y) = d₁(x,y) + d₀(2x+1,y)

여기에서, 16×8 예측에 대해 x=0,...,5, y = 0,..,8 이고, 16×16 예측에 대해 x=0,...,5, y = 0,..,16 이다.

상기 수식을 사용하여 얻어진 블록{r₀(x,y)}은 1/2 수평 해상도의 향상-층 픽셀을 포함하여, 향상-층 픽셀은 최대 해상도에 도달하기 위하여 여전히 수평적으로 2의 계수만큼 업샘플될 필요가 있다.

부록 D

DCT에 기초한 업샘플 수단(304)

DCT에 기초한 업샘플 수단(304)은 r₀(x,y)의 각 행에서의 12개 입력 픽셀 값을, 최대 해상도의 r(x,y)의 각 행을 나타내는 24개 출력 픽셀 값으로 선형적으로 변환시킨다. 도 4에 도시된 바와 같이, 한 행에서의 12개 픽셀 값은 4의 세 그룹으로 계산 처리되는데, 12개 입력 픽셀 값은 세 그룹(W₁, W₂, W₃)으로 분할된다. 3 그룹의 각각에 대해, DCT는 0 패드를 수반하는 4점 DCT이고, 상기 0 패드는, 0 패드로부터 출력되는 8점을 초래하기 위하여 4점 DCT 출력의 마지막에 4개의 0를 첨가한다. 3 그룹의 각각에 대한 IDCT는 8점 IDCT인데, 이는 3 그룹(Z₁, Z₂ 및 Z₃)을 포함하는 최대 해상도의 r(x,y)의 각 행을 나타내는 24개 출력 픽셀 값을 초래하고, 여기에서 3 그룹 각각에 대한 출력 픽셀 값은 8개 픽셀 값으로 이루어진다.

도 4에 도시된 선형 변환은, j= 1,2 및 3에 대해 Z_j=(1/64)AW_j로 주어지는, 3개의 매트릭스 벡터 곱셈으로 계산적으로 실현될 수 있고, 여기에서

r₀(x,y) 내의 입력 픽셀 값의 각 행에서 이러한 선형 변환을 수행하는 결과는 최대 해상도의 r(x,y) 출력 픽셀 값의 블록이다.

부록 E

최대 해상도 블록 선택 수단(306)

p(x,y)로 표시되는, 예측의 최종 16×16 또는 16×8 최대 해상도 블록은, 필요하다면 절반의 픽셀 보간을 갖는, r(x,y) 내의 픽셀의 서브 세트를 선택하기 위한 움직임 벡터(dx, dy)를 사용하여, r(x,y)로부터 얻어져야만 한다. 특히, r(x,y) 내의 상부 왼쪽 픽셀이 좌표값(0,0)을 갖고, r(x,y)의 좌표가 절반 픽셀의 정확도로 지정된다면, 최종 예측 블록의 상부 왼쪽 구석은 순차 시퀀스에 대해 r(dx%16, dy%4)이고, 비월 시퀀스에 대해 r(dx%16, dy%2)이다. r(x,y)의 좌표는 절반 픽셀의 정확도로 지정되기 때문에, dx%M 또는 dy%M(M = 2, 4, 16)의 홀수 값은, ISO 13818-2 표준에서 기술된 바와 같이, 절반 픽셀 보간이 수행되어야 함을 의미한다.

부록 F

DCT에 기초한 다운 샘플 수단(308)

DCT에 기초한 다운 샘플 수단(308)은 p(x,y)의 각 행을 16 픽셀로부터 8 픽셀로 선형적으로 변환시킨다. 도 5에 도시된 바와 같이, 16 픽셀 행은 먼저 8픽셀의 2개 그룹(U₁ 및 U₂)으로 나뉜다. 2개 그룹 각각에 대해, DCT는 8-점 DCT인데, 이는 DCT에서 최종 4개 점을 제외시키는 절단을 수반한다. 2개 그룹의 각각에 대한 IDCT는 4-점 IDCT이고, 이는 2개 그룹(V₁ 및 V₂)을 포함하는 절반의 해상도로 q(x,y)의 각 행을 나타내는 8개의 출력 픽셀 값을 초래하는데, 여기에서 2개 그룹의 각각에 대한 출력 픽셀 값은 4개 픽셀 값으로 이루어진다. 도 5에 도시된 DCT에 기초한 다운샘플 수단(308)의 계산 처리 출력은 V₁ 및 V₂의 연결로부터 형성된 8개 픽셀의 한 세트이다.

도 5에 도시된 선형 변환은 j=1 및 2에 대해, 수식 Z_j=BU_j으로 주어진 2개의 매트릭스 벡터 곱셈으로 계산적으로 실현될 수 있다.

최대 해상도로 P(x,y) 내의 입력 픽셀 값의 각 행에서 이러한 선형 변환을 수행하는 결과는, 절반의 수평 해상도의 q(x,y) 출력 픽셀 값의 블록이다.

부록 G

2개 층의 출력 구성 수단(310)

다음의 절차에 있어서, 기호("DIV")는 결과를 가장 가까운 정수값으로 반올림하는 정수 나눗셈이다. p₁(x,y)로 표시된 MCU의 기본-층 출력은 다음의 식을 사용하여 순차 시퀀스에 대해 얻어진다.

p₁(x,y) = {q(x,2y) + q(x, 2y+1)} DIV 128, x=0,..,7; y=0,..7.

p₁(x,y)로 표시된 MCU의 기본-층 출력은 다음의 식을 사용하여 비월 시퀀스에 대해 얻어진다.

p₁(x,y) = {q(2x,y) + q(2x+1, y)} DIV 128, 16×8 예측에 대해 x=0,..,3; y=0,..7이고, 16×16 예측에 대해 x=0,..,3; y=0,..15.

p₀(x,y)로 표시되고 p 화상에 대해서만 계산된 MCU의 향상-층 출력은 다음의 식을 사용하여 순차 시퀀스에 대해 얻어진다.

p₀(x,y) = {q(x,y) - q(x, y+1)} DIV 128, x=0,..,7; y=0,2,4,..,12,14.

p₀(x,y)로 표시되고 p 화상에 대해서만 계산된 MCU의 향상-층 출력은 다음의 식을 사용하여 비월 시퀀스에 대해 얻어진다.

p₀(x,y) = {q(x,y) - q(x+1, y)} DIV 128, 16×8 예측에 대해 x=0,2,4,6; y=0,..7이고, 16×16 예측에 대해 x=0,2,4,6; y=0,..15.

도 2에 도시된 바와 같이, MCU 기본-층 출력{p₁(x,y)}은 가산기(205B)의 입력으로 인가되고, MCU 향상-층 출력{p₀(x,y)}은 가산기(205E)의 입력으로 인가된다.

부록 H

색차 성분에 대한 예측의 형성 블록

다음의 절차에 있어서, 기호("DIV")는 결과를 가장 가까운 정수로 반올림하는 정수 나눗셈이다. 형성되는 예측의 블록이 색차 성분에 대한 것이라면, 샘플{d₁(x,y)}은 픽셀 반복 동작을 사용하여 최대 해상도로 업샘플된다. 예측의 최종 최대 해상도 8×8 또는 8×4 블록은, 필요하다면 절반 픽셀의 보간을 갖는, 움직임 벡터(dx, dy)를 사용하여 데시메이팅된다. 최종적으로, 최대 해상도 예측은 기본 및 향상-층 메모리(206)에 저장될 기본-층 예측을 제공하기 위하여 다운샘플된다.

기본-층 블록{d₁(x,y)}을 최대 해상도의 블록{r(x,y)}으로 변환시키는 픽셀 반복 동작은 다음의 식을 사용하여 순차 시퀀스에 대해 수행된다.

r(x,y) = d₁(x/2,y/2), x=0,...,9; y=0,...,9에 대해.

기본-층 블록{d₁(x,y)}을 최대 해상도의 블록{r(x,y)}으로 변환시키는 픽셀 반복 동작은 다음의 식을 사용하여 비월 시퀀스에 대해 수행된다.

r(x,y) = d₁(x/4,y), 8×4 예측에 대해 x=0,...,11; y=0,..,4, 8×8 예측에 대해 x=0,...,11; y=0,..,8.

최종 8×8 또는 8×4 최대 해상도 블록{p(x,y)}은 r(x,y)로부터 얻어진다. 이러한 최종 블록의 상부 왼쪽 구석은 순차 시퀀스에 대해 r{(dx//2)%4,(dy//2)%4}이고, 비월 시퀀스에 대해 r{(dx//2)%8,(dy//2)%2}이다. (dx//2)%M 또는 (dy//2)%M (M=2,4,8에 대해)의 홀수값은 절반 픽셀의 보간이 필요함을 의미한다.

기본-층 예측 블록{p₁(x,y)}은 p(x,y)를 다운샘플링함으로써 얻어진다. 순차 시퀀스에 대해 이러한 다운샘플을 수행하기 위해 사용된 식은 다음과 같다.

p₁(x,y) = {p(2x,2y)+p(2x+1,2y)+p(2x,2y+1)+p(2x+1,2y+1)} DIV 4,

x = 0,..,3; y=0,..,3. 비월 시퀀스에 대해, 이러한 다운샘플을 수행하기 위해 사용된 수식은 다음과 같다.

p₁(x,y) = {p(4x,y)+p(4x+1,y)+p(4x+2,y)+p(4x+3,y)} DIV 4,

8×4 예측에 대해 x = 0,1; y=0,..,3, 8×8 예측에 대해 x=0,1; y=0,..,7.

도 2에 도시된 바와 같이, MCU 기본-층 출력{p₁(x,y)}는 가산기(205B)의 입력으로 인가된다.

Claims

디스플레이를 위한 감소된 제 2 해상도의 영상을 제공하기 위하여 제 1 해상도의 영상을 나타내는 픽셀 값 블록을 한정하는 주파수 영역의 계수를 포함하는 압축된 영상 데이터를 디코딩하기 위한 장치에 있어서,

디스플레이를 위한 상기 감소된 제 2 해상도의 상기 영상을 유도하기 위한 상기 주파수 영역 계수의 선택된 서브세트(sub-set)에 응답하는 제 1 수단(102)으로서,

향상된 움직임-보상-유니트(MCU : motion-compensation-unit) 처리 수단(208)과,

상기 제 1 해상도보다 낮고 상기 감소된 제 2 해상도보다는 높은 중간의 제 3 해상도의 영상을 나타내는 픽셀 값 블록으로 상기 향상된 MCU 처리 수단을 동작시키기 위한 제 2 수단(204, 205B, 205E, 206, 207)을 포함하는 제 1 수단(102)을 특징으로 하는, 압축된 영상 데이터를 디코딩하기 위한 장치.
제 1항에 있어서, 상기 감소된 제 2 해상도는 상기 제 1 해상도의 1/4이고,

상기 제 2 수단은 상기 제 1 해상도의 1/2인 중간의 제 3 해상도로 상기 향상된 MCU 처리를 동작시키는 것을 특징으로 하는, 압축된 영상 데이터를 디코딩하기 위한 장치.
제 1항에 있어서, 디스플레이를 위한 상기 감소된 제 2 해상도의 상기 영상은 순차-주사 영상인 것을 특징으로 하는, 압축된 영상 데이터를 디코딩하기 위한 장치.
제 1항에 있어서, 디스플레이를 위한 상기 감소된 제 2 해상도의 상기 영상은 비월-주사 영상인 것을 특징으로 하는, 압축된 영상 데이터를 디코딩하기 위한 장치.
제 1항에 있어서, 상기 향상된 MCU 처리 수단은, 제 1 출력으로서 움직임-보상된 기본-층 예측 매크로블록 출력 픽셀 값을 유도하고 제 2 출력으로서 움직임-보상 향상-층 예측 매크로블록 출력 픽셀의 여분의 값을 유도하기 위하여, 상기 감소된 제 2 해상도의 상기 영상을 나타내는 기본-층 픽셀 매크로블록 입력 값과, 상기 중간 제 3의 해상도의 상기 영상을 나타내는 픽셀 값에 응답하는 것을 특징으로 하는, 압축된 영상 데이터를 디코딩하기 위한 장치.
제 5항에 있어서, 상기 제 2 수단은, 상기 기본-층 매크로블록 입력 픽셀 값과 상기 인코드된 향상-층 매크로블록 입력 픽셀의 여분의 값을 유도하기 위하여, 상기 주파수 영역 계수의 상기 선택된 서브 세트에 응답하고, 상기 움직임-보상된 기본-층 매크로블록 출력 픽셀 값과, 상기 향상-층 매크로블록 출력 픽셀의 여분의 값 모두에 응답하는, 제 3 수단을 포함하는 것을 특징으로 하는, 압축된 영상 데이터를 디코딩하기 위한 장치.
제 1항에 있어서, 상기 제 2 수단은,

기본 및 향상-층 데시메이팅된 픽셀 메모리와,

제 1 출력으로서 상기 감소된 제 2 해상도의 상기 영상을 나타내는 출력 픽셀 값의 기본-층 블록과, 제 2 출력으로서 상기 중간 제 3 해상도의 상기 영상을 나타내는 출력 픽셀 여분의 값의 출력 향상-층 블록을 유도하기 위하여, 주파수 영역의 계수의 선택된 서브 세트에 응답하는, 단일의 향상된 역-이산-코사인-변환(IDCT:inverse discrete cosine transform), 필터링 및 픽셀-데시메이션 처리 수단과,

상기 기본 및 향상-층 데시메이팅된 픽셀 메모리에 기본-층 데이터로 저장되는 값을 유도하기 위하여, 상기 향상된 MCU 처리 수단으로부터 상기 움직임-보상된 기본-층 매크로블록 출력 픽셀 값의 대응하는 픽셀 값을, 상기 단일의 IDCT, 필터링 및 픽셀-데시메이션 처리 수단으로부터의 출력 픽셀 값의 상기 기본-층 블록에 가산하는 제 1 가산기를 포함하는 제 4 수단과,

제 2 가산기와 향상-층 인코더로서, 상기 향상-층 인코더에 의한 엔코딩을 위한 상기 제 2 가산기로부터의 합산 출력을 얻기 위하여, 상기 향상된 MCU 처리 수단으로부터 상기 움직임-보상된 향상-층 매크로블록 출력 픽셀 여분의 값의 대응하는 픽셀 여분의 값을, 상기 단일의 IDCT, 필터링 및 픽셀-데시메이션 처리 수단으로부터의 출력 픽셀 여분의 값의 상기 향상-층 블록에 가산하고, 상기 기본 및 향상-층 선택-픽셀 메모리에 인코드된 향상-층 데이터로서 저장되는 제 2 입력 값을 유도하기 위한, 제 2 가산기와 향상-층 인코더를 포함하는 제 5 수단과,

상기 기본 및 향상-층 선택-픽셀 메모리로부터 상기 기본-층 픽셀 매크로블록 입력 값을 상기 향상된 MCU 처리 수단에 제공하고, 상기 저장된 인코드 향상-층 데이터로부터 상기 향상된 MCU 처리 수단에 제 2 입력으로 인가된 상기 인코드 향상-층 픽셀 매크로블록 입력 여분의 값을 유도하기 위한, 제 6 수단을 포함하는 것을 특징으로 하는, 압축된 영상 데이터를 디코딩하기 위한 장치.
제 1항에 있어서, 상기 주파수 영역 계수는, 인트라코딩된(intracoded)(I), 예측 코딩된(P) 제 1 해상도의 순차-주사 영상을 나타내는 픽셀 값의 휘도 블록을 포함하는 영상 정보를 한정하는 것을 특징으로 하는, 압축된 영상 데이터를 디코딩하기 위한 장치.
제 7항에서 있어서, 제 7 수단은, 출력 픽셀 값의 기본-층 블록으로부터 진행중인 디스플레이 비디오 신호를 유도하기 위한 샘플-율 변환기를 포함하는 것을 더 특징으로 하는, 압축된 영상 데이터를 디코딩하기 위한 장치.
삭제
감소된 제 2 해상도의 영상을 제공하기 위하여 제 1 해상도의 영상을 나타내는 픽셀 블록의 형태로 압축된 영상 데이터를 디코딩하기 위한 시스템 내에서, 압축된 영상 데이터를 디코딩하는 방법에 있어서,

상기 제 1 해상도보다 낮지만 상기 감소된 제 2 해상도보다 높은 중간의 제 3 해상도의 영상 픽셀 블록을 나타내는 데이터를 생성하는 단계와,

상기 중간의 제 3 해상도 데이터에 의해 보충되는 상기 감소된 제 2 해상도의 픽셀 블록 데이터로부터 상기 제 3 해상도의 움직임 보상된 픽셀 블록 데이터를 생성하는 단계와,

상기 제 3 해상도의 상기 움직임 보상된 픽셀 블록 데이터로부터 상기 감소된 제 2 해상도의 상기 영상을 나타내는 픽셀 데이터를 유도하는 단계를 특징으로 하는, 압축된 영상 데이터를 디코딩하는 방법.
제 11항에 있어서, 청구항 11항의 단계들은 I 및 B 프레임과는 배타적으로 P 프레임에 대해 수행되는 것을 특징으로 하는, 압축된 영상 데이터를 디코딩하는 방법.
제 11항에 있어서, 청구항 11항의 단계들은 P 프레임과, I 프레임 및 B 프레 임 중 하나에 대해 수행되는 것을 특징으로 하는, 압축된 영상 데이터를 디코딩하는 방법.
제 11항에 있어서, 상기 제 1 해상도의 영상 데이터를 제공하기 위하여 상기 제 3 해상도의 상기 픽셀 블록 데이터를 업샘플링(upsampling)하는 단계를 더 특징으로 하는, 압축된 영상 데이터를 디코딩하는 방법.
제 14항에 있어서, 상기 제 2 해상도의 영상 데이터를 제공하기 위하여 상기 제 1 해상도의 상기 업샘플된 픽셀 블록 데이터를 다운샘플링(downsampling)하는 단계를 더 특징으로 하는, 압축된 영상 데이터를 디코딩하는 방법.
제 14항에 있어서, 상기 중간의 제 3 해상도 데이터를 제공하기 위하여 상기 제 1 해상도의 상기 업샘플된 픽셀 블록 데이터를 다운샘플링하는 단계를 더 특징으로 하는, 압축된 영상 데이터를 디코딩하는 방법.
제 11항에 있어서, 상기 제 3 해상도의 상기 픽셀 블록 데이터는 여분의 데이터를 포함하는 것을 특징으로 하는, 압축된 영상 데이터를 디코딩하는 방법.