KR100913088B1

KR100913088B1 - 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치

Info

Publication number: KR100913088B1
Application number: KR1020050049908A
Authority: KR
Inventors: 전병문; 윤도현; 박지호; 박승욱
Original assignee: 엘지전자 주식회사
Priority date: 2005-01-21
Filing date: 2005-06-10
Publication date: 2009-08-21
Also published as: KR101055738B1; US8228984B2; EP1900217A4; KR20060085157A; EP1900217A1; KR20090018019A; US20090168872A1; WO2006078142A1

Abstract

본 발명은, 보조 레이어의 내부(intra) 모드 블록의 예측정보를 이용하여 영상신호를 엔코딩하고 그에 따라 엔코딩된 영상데이터를 디코딩하는 방법 및 장치에 관한 것으로서, 영상신호를 스케일러블한 MCTF방식으로 엔코딩하여 인핸스드 레이어의 비트 스트림을 출력함과 동시에 상기 영상신호를 기 지정된 방식으로 엔코딩하여 베이스 레이어의 비트 스트림을 출력하되, MCTF 방식으로 엔코딩할 때, 상기 베이스 레이어의 비트 스트림에 포함되어 있는 내부모드로 코딩된 대응블록의 예측정보에 근거하여, 상기 영상신호의 임의의 프레임내에 포함되어 있는 영상블록에 대해, 그 영상블록에 인접된 화소의 코딩전 값을 이용하여 에러값으로 코딩하고, constraint 정보를 해제하여 비트 스트림을 전송한다.

MCTF, 엔코딩, 레이어, 내부모드, 예측모드, 예측방향, 분할, constraint, intra mode

Description

베이스 레이어의 내부모드 블록의 예측정보를 이용하여 영상신호를 엔코딩/디코딩하는 방법 및 장치 {Method and apparatus for encoding/decoding video signal using prediction information of intra-mode macro blocks of base layer}

도 1은, 동일 시간상의 베이스 레이어의 확대된 프레임 내의 동일한 위치의 블록을 인핸스드 레이어의 예측영상으로 만드는 종래의 과정의 예를 도시한 것이고,

도 2는 본 발명에 따른 영상신호 코딩방법이 적용되는 영상신호 엔코딩 장치의 구성블록을 도시한 것이고,

도 3은 도 2의 MCTF 엔코더내의 영상 추정/예측과 갱신동작을 수행하는 구성을 도시한 것이고,

도 4a 내지 4c는, 본 발명의 일 실시예에 따라, 베이스 레이어의 내부모드 블록의 예측정보를 이용하여 인핸스드 레이어의 매크로 블록을 BL 내부모드로 코딩하는 과정의 예를 각기 도시한 것이고,

도 5a 내지 5c는, 본 발명의 다른 일 실시예에 따라, 베이스 레이어의 내부모드 블록의 예측정보를 이용하여 인핸스드 레이어의 매크로 블록을 BL 내부모드로 코딩하는 과정의 예를 각기 도시한 것이고,

도 6은 본 발명에 따라 매크로 블록을, 인접된 화소의 원래의 값을 이용하여 BL 내부모드로 코딩하는 예를 도시한 것이고,

도 7a는 레이어간 데이터 연결성에 따라 현재 블록에 대한 코딩시에 하위 레이어의 블록에 대한 모션 보상동작(motion compensation)을 수행해야 하는 예를 제시한 것이고,

도 7b는 본 발명에 따라, 레이어간 데이터 연결성이 제거되어 현재 블록의 인접 블록에 대한 데이터 복원이 용이함을 보여주는 예이고,

도 8은 도 2의 장치에 의해 엔코딩된 데이터 스트림을 디코딩하는 장치의 블록도이고,

도 9는 도 8의 MCTF 디코더내의 역예측 그리고 역갱신 동작을 수행하는 구성를 도시한 것이다.

<도면의 주요부분에 대한 부호의 설명>

100: MCTF 엔코더 102: 추정/예측기

103: 갱신기

105, 240: 베이스 레이어 디코더

110: 텍스처 엔코더 120: 모션 코딩부

130: 먹서 150: 베이스레이어 엔코더

200: 디먹서 210: 텍스처 디코더

220: 모션 디코딩부 230: MCTF 디코더

231: 역갱신기 232: 역예측기

234: 배열기 235: 모션벡터 디코더

본 발명은, 영상신호의 스케일러블(scalable) 엔코딩 및 디코딩에 관한 것으로, 특히, MCTF (Motion Compensated Temporal Filter) 방식에 의한 스케일러블 코딩 시에, 베이스 레이어(base layer)의 내부 모드(intra mode) 블록의 예측정보를 이용하여 영상신호를 엔코딩하고 그에 따라 엔코딩된 영상데이터를 디코딩하는 방법 및 장치에 관한 것이다.

현재 널리 사용되고 있는 휴대폰과 노트북, 그리고 앞으로 널리 사용하게 될 이동(mobile) TV 와 핸드 PC 등이 무선으로 송수신하는 디지털 영상신호에 대해서는 TV신호를 위한 대역폭과 같은 넓은 대역을 할당하기가 여의치 않다. 따라서, 이와 같은 이동성 휴대장치를 위한 영상 압축방식에 사용될 표준은 좀 더 영상신호의 압축 효율이 높아야만 한다.

더욱이, 상기와 같은 이동성 휴대장치는 자신이 처리 또는 표현(presentation)할 수 있는 능력이 다양할 수 밖에 없다. 따라서, 압축된 영상이 그만큼 다양하게 사전준비되어야만 하는 데, 이는 동일한 하나의 영상원(source)을, 초당 전송 프레임수, 해상도, 픽셀당 비트수 등 다양한 변수들의 조합된 값에 대해 구비하고 있어야 함을 의미하므로 컨텐츠 제공자에게 많은 부담이 될 수 밖에 없다.

이러한 이유로, 컨텐츠 제공자는 하나의 영상원에 대해 고속 비트레이트의 압축 영상 데이터를 구비해 두고, 상기와 같은 이동성 장치가 요청하면 원시 영상을 디코딩한 다음, 요청한 장치의 영상처리 능력(capability)에 맞는 영상 데이터로 적절히 엔코딩하는 과정을 수행하여 제공한다. 하지만 이와 같은 방식에는 트랜스코딩(transcoding)(디코딩+엔코딩) 과정이 필히 수반되므로 이동성 장치가 요청한 영상을 제공함에 있어서 다소 시간 지연이 발생한다. 또한 트랜스코딩도 목표 엔코딩이 다양함에 따라 복잡한 하드웨어의 디바이스와 알고리즘을 필요로 한다.

이와 같은 불리한 점들을 해소하기 위해 제안된 것이 스케일러블 영상 코덱(SVC:Scalable Video Codec)이다. 이 방식은 영상신호를 엔코딩함에 있어, 최고 화질로 엔코딩하되, 그 결과로 생성된 픽처 시퀀스의 부분 시퀀스( 시퀀스 전체에서 간헐적으로 선택된 프레임의 시퀀스 )를 디코딩해 사용해도 저화질의 영상 표현이 가능하도록 하는 방식이다. MCTF (Motion Compensated Temporal Filter) 방식이 상기와 같은 스케일러블 영상코덱에 사용하기 위해 제안된 엔코딩 방식이다.

그런데, 앞서 언급한 바와 같이 스케일러블 방식인 MCTF로 엔코딩된 픽처 시퀀스는 그 부분 시퀀스만을 수신하여 처리함으로써도 저화질의 영상 표현이 가능하지만, 비트레이트(bitrate)가 낮아지는 경우 화질저하가 크게 나타난다. 이를 해소하기 위해서 낮은 전송률을 위한 별도의 보조 픽처 시퀀스, 예를 들어 소화면과 초당 프레임수 등이 낮은 픽처 시퀀스를 제공할 수도 있다. 보조 시퀀스를 베이스 레이어(base layer)로, 주 픽처 시퀀스를 인핸스드(enhanced)( 또는 인핸스먼트(enhancement) ) 레이어라고 부른다. 그런데, 베이스 레이어와 인핸스드 레이어는 동일한 영상신호원을 엔코딩하는 것이므로 양 레이어의 영상신호에는 잉여정보( 리던던시(redundancy) )가 존재한다.

따라서, MCTF방식에 의해 엔코딩되는 인핸스드 레이어의 코딩율(coding rate)을 높이기 위해, 베이스 레이어의 임의 영상 프레임을 기준으로 하여 그와 동시간의 인핸스드 레이어의 영상 프레임을 예측영상으로 만든다. 도 1은 이에 대한 과정을 도식적으로 나타낸 것이다.

도 1에 예시된 과정을 설명하면, 베이스 레이어의 소정갯수의 매크로 블록들을 한 화면으로 구성하여 그 화면을 업샘플링(upsampling)하여 인핸스드 레이어의 영상 프레임의 크기와 동일하게 확대한 다음(S10), 그 확대된 화면(B100)에서, 현재 예측 영상을 만들고자 하는 인핸스드 레이어의 프레임(E100)( 이 프레임은 확대된 베이스 레이어의 화면과 상호 동시간이다 )내의 매크로 블록(EM10)과 동 위치에 있는 매크로 블록(BM10)이 내부모드(intra mode)로 코딩되어 있으면 그 매크로 블록(BM10)을 기준으로 하여, 상기 인핸스드 레이어의 매크로 블록(EM10)에 대해 예측동작(prediction)을 행한다(S11).

즉, 상기 베이스 레이어의 내부모드의 매크로 블록(BM10)에 대해 주변 인접라인의 픽셀값을 이용하여 원래의 블록 이미지로 복구한 후 그 복구된 화소값과의 차이값( 또는 에러값 ), 즉 레지듀얼(residual)이 상기 인핸스드 레이어의 매크로 블록(EM10)에 엔코딩되게 한다. 이와 같이 코딩된 매크로 블록(EM10)의 모드를 BL 내부모드(intraBL mode)라 한다.

그런데, 상기와 같이 베이스 레이어의 내부모드 블록의 원래 이미지를 이 용하는 방법은, 인핸스드 레이어의 임의의 프레임을 엔코딩할 때, 그 프레임내의 영상블록에 이용하고자하는 베이스 레이어의 내부모드의 블록을 그 예측정보(prediction information)에 따라 원래의 이미지로 먼저 복구하여야 한다. 하지만, 이는 상당한 하드웨어의 복잡도를 필요로 한다.

본 발명은 상기의 문제점을 해소하기 위해 창작된 것으로서, 그 목적은 영상을 스케일러블 방식으로 엔코딩함에 있어서, 베이스 레이어의 내부모드 블록의 이미지를 복구하지 않고 그 블록의 예측정보를 이용하여 영상신호를 예측영상으로 코딩하는 방법 및 장치를 제공하는 것이다.

본 발명은 또한, 베이스 레이어의 내부모드 블록의 예측정보를 이용하여 엔코딩된 블록을 갖는 데이터 스트림을 디코딩하는 방법 및 장치를 제공함을 목적으로 한다.

또한, 본 발명의 또 다른 목적은, 임의의 매크로 블록을 BL 내부모드로 코딩할 때, 인접된 블록의 코딩전의 화소 데이터를 사용하여 상기 임의의 매크로 블록을 레지듀얼 데이터로 코딩할 수 있게 방법 및 장치를 제공하는 것이다.

상기한 목적을 달성하기 위해 본 발명은, 영상신호를 스케일러블한 MCTF방식으로 엔코딩하여 제 1레이어의 비트 스트림을 출력함과 동시에 상기 영상신호를 기 지정된 방식으로 엔코딩하여 제 2레이어의 비트 스트림을 출력하되, MCTF 방식으로 엔코딩할 때, 상기 제 2레이어의 비트 스트림에 포함되어 있는 내부모드로 코딩된 제 1블록의 예측정보에 근거하여, 상기 영상신호의 임의의 프레임내에 포함되어 있는 영상 블록에 대해, 그 영상 블록의 인접화소를 이용하여 BL 내부모드로 코딩하는 것을 특징으로 한다.

본 발명에 따른 일 실시예에서는, 상기 예측정보는 예측모드(Prediction Mode)와 예측방향(DoP:Direction of Prediction)에 대한 정보로 구분된다.

본 발명에 따른 일 실시예에서는, 상기 제 2레이어의 프레임은 상기 제 1레이어의 프레임의 화면크기보다 작은 소화면 프레임으로 엔코딩한다.

본 발명에 따른 일 실시예에서는, 상기 제 1블록의 예측모드에 근거하여 상기 영상블록을 복수개의 셀로 분할하고, 분할된 셀의 소정갯수의 그룹마다, 그 그룹과 대응되는, 상기 제 1블록내의 부분영역의 예측방향을 그 그룹내의 각 셀에 동일하게 적용하여 해당 셀의 각 화소값 차이를 코딩한다.

본 발명에 따른 다른 일 실시예에서는, 상기 제 1블록의 예측모드에서 지정된 크기에, 상기 제 2레이어 대비 상기 제 1레이어의 화면크기 비를 곱한 크기로 상기 영상블록을 복수개의 셀로 분할하고, 각 분할된 셀에 대해, 그 셀과 대응되는, 상기 제 1블록내의 부분영역의 예측방향을 적용하여 해당 셀의 각 화소값 차이를 코딩한다.

본 발명에 따른 또 다른 실시예에서는, 상기 영상블록에 대해, 상기 제 1블록의 예측정보에 근거하여 구한 에러데이터와 상기 제 1블록 또는 그 일부영역의 에러 데이터의 차이값을 상기 영상블록에 코딩한다.

본 발명에 따른 일 실시예에서는, BL 내부모드로 코딩된 블록의 기준값을 구함에 있어서 비내부모드의 인접 블록에 대해서 고정값을 사용하도록 지시하는 정보, 예를 들어 constraint 필드의 값을 해제하여 고정값 대신 그 인접블록의 복원된 화소값을 사용하도록 한다.

이하, 본 발명의 바람직한 실시예에 대해 첨부도면을 참조하여 상세히 설명한다.

도 2는 본 발명에 따른 영상신호의 스케일러블(scalable) 코딩방법이 적용되는 영상신호 엔코딩 장치의 구성블록을 도시한 것이다.

도 2의 영상신호 엔코딩 장치는, 본 발명이 적용되는, 입력 영상신호를 MCTF 방식에 의해 각 매크로 블록(macro block) 단위로 엔코딩하고 적절한 관리정보를 생성하는 MCTF 엔코더(100), 상기 엔코딩된 각 매크로 블록의 정보를 압축된 비트열로 변환하는 텍스처(Texture) 코딩부(110), 상기 MCTF 엔코더(100)에 의해 얻어지는 영상블록들의 모션 벡터들(motion vectors)을 지정된 방식에 의해 압축된 비트열로 코딩하는 모션 코딩부(120), 입력 영상신호를 지정된 방식, 예를 들어 MPEG 1, 2, 또는4, 또는 H.261, H.263 또는 H.264방식으로 엔코딩하여 소화면, 예를 들어 원래 크기의 25%크기인 픽처들의 시퀀스를 생성하는 베이스레이어(BL) 엔코더(150), 상기 텍스처 코딩부(110)의 출력 데이터와 상기 BL 엔코더(150)의 소화면 시퀀스와 상기 모션 코딩부(120)의 출력 벡터 데이터를 기 지정된 포맷으로 인 캡슐(encapsulate)한 다음 기 지정된 전송포맷으로 상호 먹싱하여 출력하는 먹서(130)를 포함하여 구성된다.

상기 MCTF 엔코더(100)는, 임의 영상 프레임내의 매크로 블록에 대하여 모션 추정(motion estimation)과 예측(prediction) 동작을 수행하며, 또한 인접 프레임내의 매크로 블록과의 이미지 차에 대해서 그 매크로 블록에 더하는 갱신(update) 동작을 수행한다.

상기 MCTF 엔코더(100)는, 입력 영상 프레임 시퀀스를, 예를 들어 기수 및 우수 프레임으로 분리한 후 추정/예측과 갱신동작을 수차, 예를 들어 하나의 GOP( Group of Pictures )에 L프레임( 갱신동작에 의한 결과 프레임 )의 수가 1개가 될 때까지 수행하는 데, 도 3의 구성은, 그 중 한 단계( 'MCTF 레벨'이라고도 한다 )의 추정/예측 및 갱신동작에 관련된 구성을 도시한 것이다.

도 3의 구성은, 상기 베이스레이어 엔코더(150)의 엔코딩된 소화면 시퀀스의 베이스 레이어 스트림에서 프레임율(frame rate), 매크로 블록의 모드와 같은 엔코딩 정보를 추출하는 베이스 레이어(BL) 디코더(105), 전 또는 후로 인접된 프레임에서, 모션추정(motion estimation)을 통해, 레지듀얼(residual) 데이터로 코딩할 프레임내의 각 매크로 블록에 대한 기준블록을 찾고 실제 매크로블록과의 이미지 차( 각 대응화소의 차값 )를 코딩하고, 그 기준블록에 대한 모션 벡터를 직접 산출하거나, 또는 상기 BL 디코더(105)에 의해 추출되는 각 매크로 블록의 정보를 이용하여 코딩하는 추정/예측기(102), 상기 모션 추정에 의해 그 기준 블록이 찾아진 경우의 매크로 블록에 대해서는 상기 구해진 이미지 차를 정규화(normalize)한 후, 해당 기준 블록에 더하는 갱신(update) 동작을 수행하는 갱신기(103)를 포함하고 있다. 상기 갱신기(103)가 수행하는 동작을 'U' 동작(opeation)이라 하고 'U'동작에 의해 생성된 프레임을 'L' 프레임이라 한다.

도 3의 추정/예측기(102)와 갱신기(103)는 영상 프레임이 아니고 하나의 프레임이 분할된 복수 개의 슬라이스(slice)에 대해 병렬적으로 동시에 수행할 수도 있으며, 상기 추정/예측기(102)에 의해 만들어지는 이미지 차를 갖는 프레임( 또는 슬라이스 )을 'H' 프레임(슬라이스)이라 한다. 'H' 프레임(슬라이스)에 있는 차값의 데이터는 영상신호의 고주파 성분을 반영한다. 이하의 실시예에서 사용되는 '프레임'의 용어는, 슬라이스로 대체하여도 기술의 등가성이 유지되는 경우에는 슬라이스의 의미를 당연히 포함하는 것으로 사용된다.

상기 추정/예측기(102)는 입력되는 영상 프레임들( 또는 전단계에서 얻어진 L프레임들 )의 각각에 대해서, 기 정해진 크기의 매크로블록(macro-block)으로 분할한 다음, 각 분할된 매크로 블록의 이미지와 가장 높은 상관성(correlation)을 갖는 블록을 시간적으로(temporally) 인접된 전/후 프레임에서 찾아서 이에 근거한 매크로 블록의 예측영상을 만들고 모션벡터를 구하는 과정을 수행한다. 만약, 적정한 문턱값이상의 상관성을 갖는 블록을 찾지 못하고 상기 BL 디코더(105)로부터 제공되는 엔코딩정보에 동시간의 프레임에 대한 정보가 없거나 동시간의 프레임내의 대응블록( 프레임내에서의 상대적 위치가 동일한 블록 )이 내부모드(intra mode)가 아니면 현재의 매크로 블록에 대해 인접 화소값을 이용하여 내부모드로 코딩한다. 이와 같은 동작을 'P' 동작(opeation)이라 하며, 이 'P'동작에 의해 생성되는 프레 임이 곧 'H'프레임이다. 이 과정은 기 공지된 기술로서 이에 대한 자세한 설명은 본 발명과 직접적인 관련이 없으므로 생략하고, 본 발명에 따라, 동시간의 베이스 레이어 프레임의 내부모드 블록의 예측정보를 이용하여, 모션추정이 되지않은 매크로 블록을 예측 이미지, 즉 레지듀얼 데이터로 만드는 도 4a 내지 4c 그리고 도 5a 내지 5c의 예시적 과정을 참조하여 상세히 설명한다.

먼저, 도 4a 및 4c에 예시된 본 발명의 일 실시예를 설명한다.

만약, 상기 BL 디코더(105)로부터 제공되는 엔코딩 정보로부터 동시간의 프레임내의 대응블록이 내부모드인 것으로 파악되면, 상기 추정/예측기(102)는 그 대응블록의 예측모드와 예측방향(DoP)을 확인한다. 여기서 대응블록이란, 인핸스드 레이어와 베이스 레이어의 화면크기가 동일한 경우에는, 인핸스드 레이어의 현재의 매크로 블록과 프레임상에서의 상대적 위치가 동일한 블록을, 인핸스드 레이어가 베이스 레이어의 화면크기보다 큰 경우에는, 베이스 레이어의 프레임을 인핸스드 레이어의 프레임크기로 확대(scaling)했을 때 인핸스드 레이어의 현재 매크로 블록을 커버하는 이미지 영역을 갖는 블록을 의미한다.

본 발명의 일 실시예에서는, 상기 MCTF 엔코더(100)에 의해 엔코딩되는 프레임의 화면크기가 상기 BL 엔코더(150)에 의해 엔코딩되는 프레임의 화면크기의 4배로서, 서로 상이한 화면크기를 갖는다.

본 발명에 따른 일 실시예에서는, 상기 베이스 레이어 엔코더(150)가, BL 내부모드( intra BL mode )에 대해 도 4a 내지 4c에 각각 도시된 intra 4x4, intra 8x8 그리고 intra 16x16의 내부모드 유형, 즉 예측모드를 사용하며, intra 4x4, intra 8x8 유형에 대해서는 9가지의, intra 16x16 유형에는 4가지의 DoP( 예를 들어, 도면에서 화살표의 방향 )를 사용한다.

상기 추정/예측기(102)는 예측모드를 확인한 후, 베이스 레이어의 그 예측모드에 따라 현재의 매크로 블록(401)을 셀로 분할한다. 즉, 베이스 레이어의 예측모드가 도 4a에서와 같이 intra 4x4의 유형이면 현재의 매크로 블록(401)을 4x4의 크기를 갖는 셀들로 분할하고, 도 4b에서와 같이 intra 8x8의 모드이면, 현재의 매크로 블록(401)을 8x8의 크기를 갖는 셀들로 분할하고, 도 4c에서와 같이 intra 16x16의 모드이면, 현재의 매크로 블록(401)을 16x16의 크기를 갖는 셀(cell)들로 분할하고, 각 셀들에 대해서 베이스 레이어의 대응 매크로 블록의 DoP 정보를 근거로 필요한 인접 화소들로부터 기준값을 구하고, 상기 DoP를 적용하여 상기 기준값과의 차값(에러값)을 코딩한다.

그런데, 본 발명에 따른 일 실시예에서는, 상기 인핸스드 레이어의 매크로 블록(401)이 베이스 레이어의 대응 매크로 블록 1/4의 이미지에 해당하는 화소들을 갖는데, 현재의 매크로 블록(401)을 베이스 레이어의 대응 매크로 블록의 예측모드와 동일하게 셀로 분할하였으므로, 이용할 DoP 정보의 수가 대응 블록에서 사용된 것보다 더 많이, 즉 4배가 필요하다. 즉, 현재 매크로 블록(401)에 대응되는, 베이스 레이어의 매크로 블록의 1/4 부분블록(402)에는, 도 4a의 intra 4x4 유형인 경우 4개의 DoP 정보가, 도 4b의 intra 8x8 유형에서는 1개의 DoP 정보가 포함되어 있는 데, 각각의 경우에 대해서 분할된 현재 매크로 블록의 셀수는 16개와 4개로서, 이용할 수 있는 DoP 수보다 분할된 셀의 수가 레이어간 화면크기 비율, 예를 들어 4배만큼 많다.

따라서, 상기 추정/예측기(102)는 현재의 매크로 블록(401)의 분할 셀들에 대해서 4개씩을 그룹핑하여, 1/4 부분블록(402)내에서 각 셀 그룹에 대응되는 영역이 갖는 DoP를 동일하게 이용하여 BL 내부모드로 코딩을 한다. 예를 들어, 도 4a의 예에서는, 좌상단 셀그룹(401a)의 각 4개의 셀은 대응블록내의 1/4부분 블록(402)의 좌상단 셀(402a)의 DoP 정보를 동일하게 이용하여 각각 BL 내부모드 코딩되고, 도 4b의 예에서는, 셀그룹(401a)( 이는 매크로 블록(401)의 크기와 동일 )내의 4개의 각 셀이, 그 셀그룹(401a)에 대응되는 베이스 레이어의 1/4부분블록(402)의 DoP 정보를 동일하게 이용하여 각각 BL 내부모드 코딩된다. 매크로 블록의 다른 셀그룹 또는 다른 매크로 블록에 대해서도 마찬가지이다.

BL 내부모드 코딩은 정해진 DoP에 따라, 인접된 좌 및/또는 상단의 픽셀라인의 화소값을 적절히 선택하여 그 평균을 기준으로 한 각 화소의 차이값( 레지듀얼(residual), 또는 에러값 )을 코딩하거나 또는 인접된 두 라인에 있는 화소값을 DoP에 따라 적절히 인터폴레이션(interpolation)한 값과의 차이값(레지듀얼)을 코딩한다.

한편, 베이스 레이어의 대응블록이 도 4c의 예와 같이, intra 16x16으로 코딩되어 있으면, 즉 16x16의 하나의 매크로 블록 전체에 대해 하나의 DoP(41)에 따라 코딩되어 있으면, 상기 추정/예측기(102)는 현재의 매크로 블록(401) 뿐만 아니라 그 매크로 블록(401)과 접한, 모두 동일한 대응블록(41)을 갖는 3개의 매크로 블록들도 대응블록(410)의 DoP(41)를 동일하게 이용하여 각각 에러값으로 코딩한 다.

본 발명에 따른 다른 실시예에서는, 상기 추정/예측기(102)는 현재 매크로 블록의 대응블록에 대한 예측모드와, 베이스 레이어의 프레임대비 자신이 코딩하는 프레임의 화면크기 비율에 근거하여 현재의 매크로 블록(401)을 셀로 분할한다.

인핸스드 레이어 프레임의 화면크기가 베이스 레이어 프레임의 4배인 조건하에서, 베이스 레이어의 내부모드 블록이 도 5a에서와 같이 intra 4x4의 모드이면 현재의 매크로 블록(501)을 그 모드의 4배에 해당하는 8x8의 크기를 갖는 셀들로 분할하고, 도 5b에서와 같이 intra 8x8의 모드이면, 그 모드의 4배에 해당하는 크기는 곧 현재 매크로 블록(501)의 크기이므로 분할하지 않는다. 현재 매크로 블록의 대응블록의 내부모드 유형이 intra 16x16인 도 5c의 경우에도 마찬가지이다.

본 실시예에 따라 매크로 블록이 분할되는 경우, 도 5a에 예시된 바와 같이, 분할된 각 셀은 대응블록의 4x4 부분영역의 DoP정보와 일대일로 대응되므로, 상기 추정/예측기(102)는 분할된 매크로 블록(501)의 각 셀에 대해 상호 위치대응되는 4x4 영역의 DoP정보를 이용하여 에러값으로 코딩한다.

그런데, 이와 같이 베이스 레이어의 임의 매크로 블록에서 내부코딩된 모드보다 더 큰 크기를 갖는 모드를 사용하게 되면, 예를 들어 베이스 레이어가 intra 8x8을 사용하였을 때 인핸스드 레이어가 그 상위인 intra 16x16을 사용하게 되면 동일한 DoP를 이용할 수 없는 경우가 발생한다. 예를 들어, 도 5b에 예시된 바와 같이 베이스 레이어의 대응블록이 intra 8x8 모드로 코딩되어 있고, 현재 매크로 블록(501)에 대응되는 대응블록내의 1/4 부분블록(502)이 대각선 DoP(52)를 가지는 경우, 현재 매크로 블록(501)은 intra 16x16 모드로 대각선 DoP를 사용하여야 하는 데, intra 16x16 모드가 갖는 4개의 DoP에는 대각선 DoP가 정의되어 있지 않아 이용할 수 없다.

따라서, 상기 추정/예측기(102)는 대응블록이 갖고 있는 DoP 정보를 이용할 수 없을 때는 도 5b에서와 같이 현재 매크로 블록(501)에 대해 방향에 무관하게, 인접된 두 라인에 있는 화소값 및/또는 고정값, 예를 들어 128을 더한 값의 평균을 기준으로 한 DC 코딩 또는 플레인(plane) 코딩을 사용한다.

도 5c에서와 같이 대응 블록이 intra 16x16 모드로 코딩되어 있는 경우에는, 현재 매크로 블록(501)을 분할할 수 없고, 현재 매크로 블록(501)을 포함하는 인접 3개의 블록이 동일한 대응블록(510)을 가지므로 4개의 매크로 블록에 대해 대응블록(510)의 하나의 DoP(53)를 공통으로 사용하여 에러값으로 코딩을 하게 된다. 이는 도 4c의 경우와 동일하다.

상기와 같은 BL 내부모드 코딩후에, 상기 추정/예측기(102)는 베이스 레이어의 대응블록의 DoP를 이용하여 코딩하였음을 알리는 모드 정보를, 매크로 블록의 헤더정보내에, 예를 들어 블록모드에 기록한다. 이 때의 모드 정보는, 베이스 레이어의 내부모드 블록의 예측정보를 이용하지 않고 인핸스드 레이어의 인접화소를 이용하여 코딩한 내부모드를 지시하는 정보와는 구별되는 정보이다.

본 발명에 따른 다른 일 실시예에서는, 현재의 매크로 블록에 대해 도 4a 내지 4c 또는 5a 내지 5c와 같은 방식으로 내부 코딩한 레지듀얼 블록을 임시로 저장한 후, 그 임시블록과 베이스 레이어의 대응블록 또는 대응블록의 일부영역과의 각 화소의 차이값을 상기 매크로 블록에 코딩할 수도 있다. 즉, 각기 내부모드 코딩된 에러데이터간의 차이가 코딩된다. 이를 위해서는, 상기 BL 디코더(105)가 베이스 레이어 스트림으로부터의 엔코딩 정보의 추출외에 엔코딩된 영상 프레임도 제공한다. 그리고, 인핸스드 레이어와 베이스 레이어의 화면크기가 상이하면 그 비율에 따라 디코딩된 베이스 레이어의 프레임을 업샘플링을 통해 프레임 크기를 확대하여 상기 추정/예측기(102)에 제공하게 된다.

한편, 전술한 바와 같이, 현재 매크로 블록에 대해 베이스 레이어의 대응블록의 예측정보를 이용하여 BL 내부모드로 코딩할 때, 현재 매크로 블록에 앞선 인접블록이 프레임간 모드(inter mode)로 코딩된 경우에 그 블록에 속한 인접 라인의 화소값을, 예를 들어 128의 고정값으로 대치하는 대신 코딩전의 원래의 화소값을 사용하여, 현재 매크로 블록의 각 화소의 차이값을 구하기 위한 기준값을 구하고 그 기준값( 및 내부모드의 다른 인접 블록의 화소값으로부터 구해진 기준값 )에 근거하여 현재 매크로 블록의 각 화소의 차값을 구한다.

도 6의 예에서, 현재 블록이 C이고 인접된 상부 및 좌측의 블록( 'A' 및 'B' )중 어느 하나가 비내부 모드이며, 그 비내부 모드 블록에 현재 코딩되어 있는 레지듀얼 데이터가 다른 프레임에 있는 기준 블록을 근거로 구해진 데이터인 경우, 그 블록에 대해서는, 저장되어 있는 코딩전 블록의 데이터로 대체하고, 그 대체된 데이터에서 현재 블록 C에 인접된 라인(La 및/또는 Lb)에 있는 화소값을 사용하여, 베이스 레이어의 대응블록의 DoP를 현재 블록 C에 적용하기 위해 필요한 기준값을 구하게 된다. 이와 같이 기준값이, 현재 블록 C의 화소 데이터와 상관성이 높은 원 래의 화소값으로부터 구해지므로 코딩된 현재 블록 C의 레지듀얼 데이터가 작은 값들을 가질 확률이 높다. 이는 확률적으로 전송하는 정보의 양을 감소시킨다.

본 발명에 따라, BL 내부모드의 매크로 블록에 베이스 레이어의 대응블록의 데이터를 기준으로 한 레지듀얼 데이터로 코딩하지 않고, 대응블록의 예측정보만을 이용함으로 종래와는 달리 레이어간의 데이터의 상호 연결성이 제거된다.

종래에는, 레이어간 데이터 연결성이 존재하므로, 현재 블록에 대한 코딩을 위해서 베이스 레이어의 대응블록을 코딩전 데이터로 복원하여야 하는 데, 만약, 도 7a에 예시된 바와 같이, 베이스 레이어의 내부모드의 대응블록(71)에 인접된 블록(72)이 프레임간 모드(inter mode)인 경우, 대응블록(71)에 대해, 코딩되기 전의 인접블록(72)의 화소값을 근거로 하여 구한 기준값을 사용하여 코딩하였다면, 현재 인핸스드 블록(70)을 코딩하기 위해 하위 레이어의 대응블록(71)의 인접 블록(72)에 대한 모션 보상동작(motion compensation)을 수행하여 코딩전 데이터로 복원하고 복원된 데이터에서 상기 대응블록(71)과 인접된 라인의 화소값으로부터 기준값을 구하고 그 기준값을 사용하여 대응블록(71)의 코딩전 데이터로 복원하여야 한다. 즉, 현재 레이어의 블록(70)을 BL 내부모드로 코딩하기 위해서 하위 레이어의 대응블록(71)에 인접된 블록(72)에 대해 모션 보상동작을 수행해야 한다. 이는 디코딩의 경우에도 마찬가지이다. 하지만, 이는 하드웨어의 복잡성을 지나치게 높이게 되므로, 현재 블록의 대응블록에 인접된 프레임간 모드의 블록에 대한 모션 보상동작을 피하기 위해서 프레임간 모드로 코딩된 인접블록에 대해서는, 고정값, 예를 들어 128의 값으로 대체하여 기준값을 구해 사용하고, 디코더에도 이를 알리 기 위해 constraint 변수( 이 변수는 데이터 스트림의 헤더 영역, 예를 들어 시퀀스 헤더에 기록된다. )를 1로 설정하였다. 즉, constraint가 1로 설정되면 내부모드 블록을 코딩전 데이터로 복원함에 있어서, 인접 블록이 프레임간 모드이면 그 블록에 대한 모션 보상동작을 수행하지 않고 그 경계 화소값을 128로 대체하여 기준값을 구하고 그 기준값에 근거하여 내부모드 블록의 데이터를 복원하게 된다.

그런데, 본 발명에 의하면, BL 내부모드의 경우 레이어간 데이터 연결성이 제거되므로, 현재 레이어의 BL 내부모드의 코딩( 또는 디코딩 )을 위해서 하위 레이어의 대응블록을 코딩전 데이터로 복원할 필요가 없다. 따라서, 하위 레이어의 엔코딩에 있어서, constraint 변수를 1로 설정하지 않아도 된다. 이는 현재 인핸스드 레이어에 대해서도 마찬가지이다. 바람직하게는, 상기 MCTF 엔코더(100)는 constraint 변수를 0으로 설정한다. 현재 인핸스드 레이어에 대해서 constraint 변수를 0으로 설정하는 것이 바람직한 이유는 그 상위 레이어가 또한 존재할 수 있기 때문이다.

예를 들어, 현재 인핸스드 레이어가 CIF( 이 때, 베이스 레이어는 QCIF임. )이고 그 위에 4CIF의 레이어가 존재하여 4CIF 레이어의 임의 블록이 본 발명에 따른 BL 내부모드로 코딩되는 경우, CIF 레이어와의 데이터 연결성이 없으므로 현재 CIF 레이어에 대해 constraint 변수를 0으로 하고, 내부모드(또는 BL 내부모드)의 블록을 코딩함에 있어서, 프레임간 모드의 인접 블록의 화소값을 코딩전의 화소값을 사용하여 현재 블록의 에러값 코딩을 위한 기준값을 구한다. 이렇게 하여도 4CIF의 BL 내부모드의 블록을 코딩하기 위해 현재 CIF 레이어 블록의 모션 보상동 작이 필요치 않다.

또한, 본 발명에 따라 constraint 변수를 0으로 설정하여도, BL 내부모드의 블록에 대해 레이어간 데이터 연결성이 제거되므로, 현재 블록의 인접블록에 대해 코딩전 데이터로의 복원이 간단하게 이루어질 수 있다. 예를 들어, 도 7b에서와 같이 현재 블록(80)의 인접 좌측 블록(80L)이 BL 내부모드로 코딩된 경우, 종래에는 베이스 레이어가 constraint=0으로 코딩되었다면 상기 좌측 블록(80L)의 대응블록(81)의 프레임간 모드인 인접 블록(82)에 대해 모션 보상동작을 행하여야 하지만, 본 발명의 경우에는 상기 대응블록(81)의 예측정보만을 얻으면 되므로 쉽게 상기 좌측 블록(80L)의 코딩데이터를 원래 데이터로 복원할 수 있다. 따라서, 본 발명의 일 실시예에서는, 도 6의 예에서 현재 블록 C의 BL 내부모드 코딩을 위해 인접 블록 A와 B의 저장된 코딩전 데이터를 사용하지 않고, 현재 코딩된 데이터로부터 코딩전 데이터로 복원하여 사용할 수도 있다.

인접 블록 A 와 B의 복원에 있어서, 프레임간 모드로 코딩된 경우, 그 코딩된 데이터가, 기준블록을 기준으로 한 레지듀얼 데이터와 베이스 레이어의 대응블록의 레지듀얼 데이터와의 차로 코딩되어 있어서 베이스 레이어의 데이터를 참조해야 하는 경우도 있으나, 대응블록의 레지듀얼 데이터 그 자체로 참조하면 되고 데이터 복원동작은 불필요하고, 상기 추정/예측기(102)는 상기 BL 디코더(105)로부터 제공되는 엔코딩된 스트림에서 레지듀얼 데이터를 바로 얻을 수 있어서, 인접 블록( A와 B )을 원래 데이터로 복원하여 사용함에 있어서 어려움을 가져다 주지 않는다.

지금까지 설명한 방법에 의해 엔코딩된 데이터 스트림은 유선 또는 무선으로 디코딩 장치에 전부 또는 일부( 채널 용량예 따라 )가 전송되거나 기록매체를 매개로 하여 전달되며, 디코딩 장치는 이후 설명하는 방법에 따라 원래의 인핸스드 레이어 및/또는 베이스 레이어의 영상신호를 복원하게 된다.

도 8은 도 2의 장치에 의해 엔코딩된 데이터 스트림을 디코딩하는 장치의 블록도이다. 도 8의 디코딩 장치는, 수신되는 데이터 스트림에서 압축된 모션 벡터 스트림과 압축된 매크로 블록 정보 스트림을 분리하는 디먹서(200), 압축된 매크로 블록 정보 스트림을 원래의 비압축 상태로 복원하는 텍스처 디코딩부(210), 압축된 모션 벡터 스트림을 원래의 비압축 상태로 복원하는 모션 디코딩부(220), 압축해제된 매크로 블록 정보 스트림과 모션 벡터 스트림을 MCTF 방식에 따라 원래의 영상신호로 역변환하는 MCTF 디코더(230), 상기 베이스 레이어 스트림을 정해진 방식, 예를 들어 MPEG4 또는 H.264방식에 의해 디코딩하는 베이스 레이어 디코더(240)를 포함하여 구성된다. 상기 BL 디코더(240)는, 입력되는 베이스 레이어 스트림을 디코딩함과 동시에, 스트림내의 헤더정보를 상기 MCTF 디코더(230)에 제공하여 필요한 베이스 레이어의 엔코딩 정보, 예를 들어 내부모드 블록의 예측 정보 등을 이용할 수 있게 한다.

상기 MCTF 디코더(230)는, 입력되는 스트림으로부터 원래의 프레임 시퀀스를 복원하기 위한 도 7의 구성을 포함한다.

도 9의 MCTF 디코더(230)는, MCTF 레벨 N의 H와 L프레임 시퀀스를 레벨 N-1의 L 프레임 시퀀스로 복원하는 구성이다. 도 9에는, 입력되는 H 프레임의 각 화 소의 차값을 입력되는 L프레임에서 감하는 역갱신기(231), H프레임의 이미지 차가 감해진 L프레임과 그 H프레임을 사용하여 원래의 이미지를 갖는 L프레임을 복원하는 역 예측기(232), 입력되는 모션 벡터 스트림을 디코딩하여 H프레임내의 각 매크로 블록의 모션벡터 정보를 각 단(stage)의 역 예측기(232 등)에 제공하는 모션 벡터 디코더(235), 그리고 상기 역 예측기(232)에 의해 완성된 L프레임을 상기 역갱신기(231)의 출력 L프레임 사이에 간삽시켜 정상 순서의 L프레임 시퀀스로 만드는 배열기(234)를 포함한다.

상기 배열기(234)에 의해 출력되는 L 프레임은 레벨 N-1의 L프레임 시퀀스(701)가 되고 이는 입력되는 N-1레벨의 H프레임 시퀀스(702)와 함께 다음 단의 역갱신기와 역 예측기에 의해 L프레임 시퀀스로 다시 복원되며, 이 과정이 엔코딩시의 MCTF 레벨만큼 수행됨으로써 원래의 영상 프레임 시퀀스로 복원된다.

레벨 N에서의 H프레임의 L프레임으로의 복원과정을 본 발명과 관련하여 보다 상세히 설명하면, 먼저, 상기 역갱신기(231)는, 임의의 L프레임에 대해, 그 프레임내에 블록을 기준블록으로 하여 이미지 차를 구한 모든 H프레임내의 매크로 블록의 에러값을 상기 L프레임의 해당 블록에서 감하는 동작을 수행한다.

상기 역 예측기(232)는, 하나의 H프레임내에서, 헤더가 베이스 레이어의 대응블록의 예측정보를 이용하여 내부코딩되었음을 지시하는 매크로 블록을 제외하고는, 상기 모션 벡터 디코더(235)로부터 제공되는 모션벡터 정보에 근거해서 기 공지된 방식에 따라서 매크로 블록을 원래의 화소값으로 복구하는 동작을 수행한다.

만약, 베이스 레이어의 대응블록의 예측정보를 이용하여, BL 내부모드로 코딩된 것으로 그 헤더정보가 지시하고 있는 매크로 블록에 대해서는 원 이미지를 복원하기 위해, 상기 BL 디코더(240)로부터 제공되는 베이스 레이어의 대응블록의 예측정보(예측모드와 DoP정보)를 먼저 확인하고, 그에 따라 BL 내부모드로 코딩된 현재 매크로 블록의 원 화소값을 복원한다.

먼저, 베이스 레이어의 내부모드의 대응블록의 예측모드와 동일한 크기로 셀을 분할하여 DoP를 이용한 도 4a 내지 4c의 실시예의 경우에는, 상기 역 예측기(232)도 대응블록의 예측모드(intra 4x4 또는 intra 8x8)와 동일모드로 현재 매크로 블록을 셀로 분할하여, 베이스 레이어의 대응블록의 DoP정보를 중복하여, 예를 들어 화면크기 비율이 4이면 4회 중복하여 상호 인접된 4개의 분할 셀들에 각각 적용하여 해당 셀의 원래의 화소값을 구하고, 분할할 수 없는 예측모드, 즉 intra 16x16이면( 도 4c의 경우 ) 그 대응블록의 DoP를 그대로 사용하여 현재 매크로 블록의 원래의 화소값을 복원한다.

대응블록의 DoP를 이용하여 원래의 화소값을 복원하는 방법은, 앞서 복구된 인접 매크로 블록 또는 셀의 원래의 화소값으로부터, 해당 DoP에 따라 각 화소에 적용된 기준값을 구한 후 그 기준값과 그 화소의 현재 차값을 더하여 원래의 화소값으로 복원한다. 한편, 입력 시퀀스에 실린 헤더정보에 constraint=0으로 설정되어 있는 것이 상기 MCTF 디코더(230)에 의해 확인되면, 상기 역 예측기(232)는 현재 매크로 블록에 인접된 매크로 블록이 프레임간 모드인 경우에도 그와 인접된 라인의 화소값을 128로 대체하지 않고 복원된, 즉 디코딩된 화소값을 상기 기준값 을 구하는 데 사용한다. 현재 매크로 블록에 접한 앞선 3블록( 좌측, 상단, 그리고 좌상단 블록 )은 디코딩 순서에 있어서 현재 블록에 앞서서 먼저 복원되므로 프레임간 모드인 경우에도 원래 화소값을 사용하는 데는 문제가 없다. 또한, 앞서 설명한 바와 같이 인접 블록이 BL 내부모드로 코딩되어 있는 경우에도 상기 BL 디코더(240)로부터 제공되는, 그 인접블록에 대응하는 베이스 레이어의 블록의 예측정보만으로, 현재 매크로 블록에 앞서 간단히 복원되어 있으므로 BL 내부모드의 인접 블록의 원래 화소값을 사용하는 데도 문제가 없다.

베이스 레이어의 대응블록의 예측모드의 크기에 화면크기 비율, 예를 들어 4를 곱한 모드로 셀을 분할하여 DoP를 이용한 도 5a 내지 5c의 실시예의 경우에는, 상기 역 예측기(232)는 대응블록의 예측모드가 intra 4x4이면 8x8의 셀로 분할하여, 대응블록내에서 상호 대응되는 4x4영역의 DoP정보를 일대일 각각 적용하여 해당 셀의 원래의 화소값을 구하고( 도 5a의 경우 ), 분할할 수 없는 예측모드, 즉 intra 8x8 및 intra 16x16이면( 도 5b 및 5c의 경우 ) 그 대응블록의 DoP를 그대로 사용하여 현재 매크로 블록의 원래의 화소값을 복원한다. 그런데, 베이스 레이어의 블록에 대해 적용된 예측모드의 상위 모드가 인핸스드 레이어의 블록에 적용되므로, 도 5b에서와 같이 베이스 레이어의 블록에 적용된 DoP를 현재의 매크로 블록에 적용할 수 없는 경우가 발생할 수도 있다. 이 때에는 상기 역 예측기(232)는 미리 지정된 방식, 예를 들면 DC 또는 플레인 예측의 역동작을 수행하여 원래의 화소값을 복원하게 된다.

만약, 베이스 레이어의 내부모드 블록의 예측정보를 이용하는 인핸스드 레 이어의 블록에 대해 에러데이터간의 차이를 코딩하는 실시예에서는, 먼저, 현재 매크로 블록의 각 화소값에 베이스 레이어의 대응블록 또는 대응블록의 일부영역의 대응 화소값을 각기 더한 후에, 상기 대응블록의 예측정보를 이용하여 원래의 화소값을 복원하는 전술한 동작을 행하게 된다. 이를 위해서는, 상기 BL 디코더(240)가 디코딩전의 베이스 레이어 프레임도 상기 MCTF 디코더(230)에 제공하는 데, 인핸스드 레이어와 베이스 레이어의 화면크기가 상이하면 그 비율에 따라 베이스 레이어의 프레임을 확대하여 제공하게 된다.

하나의 H프레임에 대해, 소정단위, 예를 들어 슬라이스(slice) 단위로 병렬적으로 수행되어 그 프레임내의 모든 매크로 블록들이 원래의 이미지를 가지게 된 다음 이들이 모두 조합됨으로써 하나의 완전한 영상 프레임을 구성하게 된다.

이러한 방법에 따라, 베이스 레이어의 내부모드 블록의 예측정보를 이용하여 MCTF방식으로 엔코딩된 데이터 스트림이 완전한 영상 프레임 시퀀스로 복구된다. 전술한 디코딩 장치는, 이동통신 단말기 등에 실장되거나 또는 기록매체를 재생하는 장치에 실장될 수 있다.

본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.

상술한 바와 같이, MCTF 엔코딩에 있어서, 인핸스드 레이어의 프레임외에 저성능 디코더를 위해 제공되는 베이스 레이어의 엔코딩 정보를 이용하여 내부모드 블록을 만들게 되면 엔코딩장치의 하드웨어 복잡도를 감소시킬 수 있다. 또한, 내부모드( 또는 BL 내부모드 )로 코딩하는 경우, 인접 블록의 경계에 있는 원래 화소값을 기준으로 한 레지듀얼 코딩이 가능하므로, 고정된 값을 기준으로 하는 것에 비해 코딩되는 정보의 양을 확률적으로 감소시킬 수 있다. 즉, 코딩 이득을 향상시키게 된다.

Claims

삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
베이스 레이어의 비트스트림으로부터 인핸스드 레이어의 현재 영상 블록과 대응되는 대응 블록의 인트라 모드 예측 정보를 획득하는 단계;

상기 베이스 레이어의 비트스트림으로부터 상기 대응 블록의 제 1 레지듀얼 데이터를 획득하는 단계;

상기 현재 영상 블록의 제 2 레지듀얼 데이터를 획득하는 단계; 및

상기 현재 영상 블록의 인접한 픽셀, 상기 인트라 모드 예측 정보, 상기 제 1 레지듀얼 데이터 및 상기 제2 레지듀얼 데이터를 이용하여 상기 현재 영상 블록을 복원하는 단계를 포함하는 것을 특징으로 하는 영상 신호 디코딩 방법.
제 17 항에 있어서,

상기 대응 블록은, 상기 현재 영상 블록과 동일 위치의 블록이거나, 상기 동일 위치의 영역을 포함하는 영역이고, 상기 대응 블록은 상기 현재 영상 블록과 동시간에 있는 것을 특징으로 하는 영상 신호 디코딩 방법.
제 17 항에 있어서,

상기 인트라 모드 예측 정보는, 예측 모드에 대한 정보, 및 예측 방향에 대한 정보를 포함하는 것을 특징으로 하는 영상 신호 디코딩 방법.
삭제
제 17 항에 있어서,

상기 인핸스드 레이어의 비트스트림으로부터 헤더 정보를 추출하는 단계를 더 포함하고,

상기 현재 영상 블록의 헤더 정보가 상기 베이스 레이어의 상기 대응 블록의 인트라 모드 예측 정보를 사용하여 인트라 코딩되었음을 지시하는 경우, 상기 복원하는 단계가 수행되는 것을 특징으로 하는 영상 신호 디코딩 방법.
삭제
베이스 레이어의 비트스트림 및 인핸스드 레이어의 비트스트림을 수신하는 디먹서;

상기 베이스 레이어의 비트스트림으로부터 상기 인핸스드 레이어의 현재 영상 블록과 대응되는 대응 블록의 제1 레지듀얼 데이터을 추출하고, 상기 베이스 레이어의 비트스트림으로부터 상기 대응 블록의 인트라 모드 예측 정보를 추출하는 베이스 레이어 디코더; 및,

상기 현재 영상 블록의 제 2 레지듀얼 데이터를 획득하고, 상기 현재 영상 블록의 인접한 픽셀, 상기 인트라 모드 예측 정보, 상기 대응 블록의 제1 레지듀얼 데이터 및 상기 제 2 레지듀얼 데이터를 근거로 상기 현재 영상 블록을 복원하는 인핸스드 레이어 디코더를 포함하는 것을 특징으로 하는 영상 신호 디코딩 장치.