KR100959539B1

KR100959539B1 - 레지듀얼 데이터 스트림을 생성하는 방법과 장치 및 이미지블록을 복원하는 방법과 장치

Info

Publication number: KR100959539B1
Application number: KR1020087027720A
Authority: KR
Inventors: 전병문; 박승욱; 박지호; 엄성현; 김동석
Original assignee: 엘지전자 주식회사
Priority date: 2005-10-05
Filing date: 2006-10-04
Publication date: 2010-05-27
Also published as: JP2009512269A; KR100904440B1; EP1932363B1; WO2007040344A1; KR20090003319A; KR100959540B1; KR100959541B1; KR20090003318A; US20070147493A1; EP1932363A4; EP1932363A1; KR20080053336A; KR20090003320A

Abstract

본 발명은, 제 1 픽쳐 레이어 비트스트림과 제 2 픽쳐 레이어 비트스트림을 포함하는 비디오 신호를 수신하는 단계와, 상기 제 1 픽쳐 레이어에 있는 타겟 블록의 모션 정보를 예측하는 단계와, 상기 타겟 블록의 모션 벡터 차이 정보를 획득하는 단계 및 상기 타겟 블록의 예측된 모션 정보와 상기 모션 벡터 차이 정보를 더하여, 상기 타겟 블록의 모션 벡터를 획득하는 단계를 포함하되, 상기 예측 단계는, 상기 타겟 블록의 이웃 블록들의 모션 정보를 획득하는 단계와, 상기 획득된 이웃 블록들의 모션 정보 중 적어도 하나에 기초하여, 상기 타겟 블록의 모션 정보를 예측하는 단계를 포함하고, 상기 제 1 픽쳐 레이어는 상기 제 2 픽쳐 레이어에 있는 픽쳐들보다 높은 퀄러티의 픽쳐들을 포함하는 것을 특징으로 하는 타겟 블록을 복원하는 방법을 제공한다.

베이스 레이어, 인핸스드 레이어, FGS, PFGS, 블록, 모션 벡터

Description

레지듀얼 데이터 스트림을 생성하는 방법과 장치 및 이미지 블록을 복원하는 방법과 장치{METHODS AND APPARARTUSES FOR CONSTRUCTING A RESIDUAL DATA STREAM AND METHODS AND APPARATUSES FOR RECONSTRUCTING IMAGE BLOCKS}

본 발명은, 영상신호를 SNR 스케일러블(scalable)하게 코딩하고 그와 같이 코딩된 데이터를 디코딩하는 기술에 관한 것이다.

스케일러블 영상 코덱(SVC:Scalable Video Codec) 방식은 영상신호를 엔코딩함에 있어, 최고 화질로 엔코딩하되, 그 결과로 생성된 픽처 시퀀스의 부분 시퀀스( 시퀀스 전체에서 간헐적으로 선택된 프레임의 시퀀스 )를 디코딩해 사용해도 저화질의 영상 표현이 가능하도록 하는 방식이다.

스케일러블 방식으로 엔코딩하는 엔코딩 장치는, 수신되는 영상신호의 각 프레임에 대해서 모션 추정 및 예측 동작에 의해 엔코딩된 데이터에 대해 변환 코딩, 예를 들어 DCT와 양자화(quantization) 과정을 수행하는 데, 양자화 과정에서 정보의 손실이 발생하게 된다.

따라서, 엔코딩 장치는, 도 1a에 도시된 바와 같이, 역양자화(11)와 역변환(12)을 수행하여, 엔코딩된 데이터와의 차( 엔코딩시에 발생된 에러를 보상하는 데이터 )를 구하고 그 차에 대해서 DCT 변환과 양자화를 수행하여 DCT 도메인의 SNR 인핸스먼트 레이어 데이터(D10)로서 생성한다. 이와 같이 SNR 인핸스먼트 레이어의 데이터를 SNR 개선을 위해 제공함으로써 SNR 인핸스먼트 레이어의 데이터의 디코딩 레벨을 증가시킴에 따라 화질이 점진적으로 좋아질 수 있게 하는데, 이를 FGS(Fine Grained Scalability)라 한다.

그리고, SNR 인핸스먼트 레이어 데이터에 대해서 도 1a의 FGS 코더(13)가 데이터 스트림으로 변환하기 위한 코딩을 행하는데, 주요(significance) 데이터 경로( 이하, '주요 경로'로 약칭한다. )와 미세(refinement) 데이터 경로( 이하, '미세 경로'로 약칭한다. )로 구분하여 코딩한다. 주요 경로에서는 SNR 베이스 레이어상의 대응위치(co-located) 데이터가 0값을 갖는 SNR 인핸스먼트 레이어의 데이터가 코딩되고, 미세 경로에서는 SNR 베이스 레이어상의 대응위치 데이터가 0이 아닌 값을 갖는 SNR 인핸스먼트 레이어의 데이터가 코딩된다.

도 1b는 상기 주요 경로상의 주요경로 코딩부(13a)에서 데이터가 코딩되는 과정을 예시한 것으로서, 한 픽처에 속하는 SNR 인핸스먼트 레이어 데이터에 대해, 매 사이클(cycle)마다, 도 1b에 예시된 선택순서(101)에 따라 4x4의 각 블록을 선택하면서 해당 블록에서 0이 아닌 데이터( 주요(significance) 데이터(103a) )를 만날때까지 정해진 지그재그(zigzag) 스캐닝 경로(102)에 따라 읽혀지는, 미세 데이터(103b)를 배제한 데이터를 나열한 데이터 스트림을 구한다. 이 데이터 스트림에 대해서는, 0의 런(run) 수를 특정한 방식, 예를 들어 S3 코드로 코딩한다. 0이 아닌 데이터에 대해서는 별도의 다른 방식으로 코딩한다.

도 1c는 상기 주요경로 코딩부(13a)가 매 사이클마다 각 블록을 선택하면서 코딩하는 과정을 구체적인 예로써 나타낸 것이다. 도 1c에 예시된 블록상의 데이터 값 1은 실제의 값을 나타내는 것이 아니고 DCT된 계수가 0이 아닌 값인 경우에 그 표기를 단순화하여 나타낸 값이다. 이 후 설명되는 블록내의 데이터 값의 표기는 모두 마찬가지이다.

도 1c에 예시된 과정을 간략히 설명하면, 상기 주요경로 코딩부(13a)가, 도 1b에 도시된 블록의 선택 순서에 따라 각 블록을 선택하면서 1을 만날때까지 정해진 지그재그(zigzag) 스캐닝 경로에 따라 읽혀지는 0의 데이터( 0이 아닌 값을 갖는 미세 데이터는 코딩대상이 아니므로 배제된다. )를 순차적으로 나열(112₁)하여 1차 사이클을 끝내고, 1차 사이클에서 끝난 위치의 스캐닝 경로상의 다음 위치부터 시작하여 각 블록을 순서대로 선택하면서 1을 만날때까지 스캐닝하면서 0의 데이터를 순차적으로 나열(112₂)하여 2차 사이클을 끝내고, 현재 픽처내의 모든 데이터에 대해 동일한 방식으로 계속진행하여 각 사이클 순서대로 데이터를 나열함으로써 데이터 스트림(112₃)을 생성한다. 이 데이터 스트림에 대해서는 앞서 언급한 바와 같이 또 다른 코딩과정이 수반된다.

상기와 같은 코딩에 있어서, 사이클 순서상 앞서서 코딩된 데이터가 먼저 전송된다. 그런데, SNR 인핸스먼트 레이어 데이터( 이하, 'FGS 데이터'로 약칭한다. )는, 전송채널의 대역폭이 감소하는 경우에는 그 전송이 스트림 중간에서 절단될 수도 있다. 이런 경우에, 화질 개선에 영향을 주는 데이터 1들 중 DC성분에 보 다 가까운 데이터 1의 수가, 절단된 스트림상에 많이 포함되는 것이 전체적인 화질에 있어서 유리하다.

본 발명은, 화질개선에 유효한 데이터 중 DC 성분에 보다 가까운 데이터가 스트림상의 보다 앞쪽에 배치되게 하는 코딩 방법 및 장치를 제공하고자 한다.

또한 본 발명은, 상기와 같은 방법에 의해 코딩된 FGS 데이터를 디코딩하는 방법 및 장치를 제공하고자 한다.

또한, 본 발명은 FGS 레이어의 인코딩과 관련하여 코딩 효율을 향상시킬 수 있는 방법을 제공하고자 한다.

또한, 본 발명은, FGS 인핸스드 레이어를 인코딩 하거나 디코딩 할 때 수행되는 FGS 인핸스드 레이어 픽처에 대한 모션 추정/예측을 효율적으로 수행하는 방법을 제공하고자 한다.

또한, 본 발명은, FGS 인핸스드 레이어 픽처의 복원에 필요한 모션 정보를 효율적으로 전송하는 방법을 제공하고자 한다.

본 발명은 제 1 픽쳐 레이어의 이미지 블록을 복원하는 방법에 관한 것이다.

또한, 본 발명은 레지듀얼 비디오 데이터 스트림을 생성하는 방법에 관한 것이다.

본 발명은, 제 1 픽쳐 레이어 비트스트림과 제 2 픽쳐 레이어 비트스트림을 포함하는 비디오 신호를 수신하는 단계와, 상기 제 1 픽쳐 레이어에 있는 타겟 블록의 모션 정보를 예측하는 단계와, 상기 타겟 블록의 모션 벡터 차이 정보를 획득 하는 단계 및 상기 타겟 블록의 예측된 모션 정보와 상기 모션 벡터 차이 정보를 더하여, 상기 타겟 블록의 모션 벡터를 획득하는 단계를 포함하되, 상기 예측 단계는, 상기 타겟 블록의 이웃 블록들의 모션 정보를 획득하는 단계와, 상기 획득된 이웃 블록들의 모션 정보 중 적어도 하나에 기초하여, 상기 타겟 블록의 모션 정보를 예측하는 단계를 포함하고, 상기 제 1 픽쳐 레이어는 상기 제 2 픽쳐 레이어에 있는 픽쳐들보다 높은 이미지 퀄러티의 픽쳐들을 포함하는 것을 특징으로 하는 타겟 블록을 복원하는 방법을 제공한다.

또한, 본 발명에서, 상기 제 1 픽쳐 레이어는 상기 제 2 픽쳐 레이어와 공간 해상도가 동일한 것을 특징으로 한다.

또한, 본 발명에서, 상기 제 1픽쳐 레이어는 인핸스드 레이어를 나타내고, 상기 제 2 픽쳐 레이어는 베이스 레이어를 나타내는 것을 특징으로 한다.

또한, 본 발명에서, 상기 모션 정보는 모션 벡터 또는 참조 인덱스를 포함하는 것을 특징으로 한다.

또한, 본 발명에서, 상기 모션 벡터는 1/4 픽셀 정확도의 모션 벡터를 포함하는 것을 특징으로 한다.

또한, 본 발명에서, 상기 제 1 픽쳐 레이어는 상기 제 2 픽쳐 레이어와 동일한 비디오 신호에 해당하는 것을 특징으로 한다.

또한, 본 발명에서, 상기 타겟 블록의 모션 정보를 예측하는 단계는, 평균 또는 중간(median) 연산을 이용하는 것을 특징으로 한다.

또한, 본 발명은, 제 1 픽쳐 레이어 비트스트림과 제 2 픽쳐 레이어 비트스 트림을 포함하는 비디오 신호를 수신하는 디먹서와, 상기 타겟 블록의 이웃 블록들의 모션 정보 중 적어도 하나에 기초하여 상기 제 1 픽쳐 레이어에 있는 타겟 블록의 모션 정보를 예측하고, 상기 타겟 블록의 모션 벡터 차이 정보를 획득하고, 상기 타겟 블록의 예측된 모션 정보와 상기 모션 벡터 차이 정보를 더하여, 상기 타겟 블록의 모션 벡터를 획득하는 인핸스드 레이어 디코더를 포함하되, 상기 제 1 픽쳐 레이어는 상기 제 2 픽쳐 레이어에 있는 픽쳐들보다 높은 이미지 퀄러티의 픽쳐들을 포함하는 것을 특징으로 하는 타겟 블록을 복원하는 장치를 제공한다.

본 발명은, 화질 개선에 영향을 주는 데이터들중 DC 성분에 더 가까운 데이터가 확률적으로 보다 많이 디코딩단에 전달되게 함으로써 종래에 비해 전송채널의 변화에도 평균적으로 좋은 화질의 영상신호를 제공할 수 있다.

또한, 본 발명에 따르면, FGS 인핸스드 레이어를 인코딩하거나 디코딩할 때 수행되는 FGS 인핸스드 레이어 픽처에 대한 모션 추정/예측 동작을 효율적으로 수행할 수 있고, FGS 인핸스드 레이어 픽처의 복원에 필요한 모션 정보를 효율적으로 전송할 수 있다.

이하, 본 발명의 실시예들에 대해 첨부도면을 참조하여 상세히 설명한다. 동일한 참조 번호들은 다른 도면들에서도 동일한 구성 요소를 가리키기 위해 이용될 수 있다.

도 2a는 본 발명에 따른 코딩방법을 수행하는 엔코딩 장치의 구성을 도시한 것으로서, 도시된 엔코더(210)는, 입력되는 신호를 엔코딩하여 SNR 베이스 레이어 데이터와 SNR 인핸스먼트 레이어 데이터( FGS 데이터 )를 생성한다. 베이스 레이어는 상기 인핸스먼트 레이어의 픽쳐보다 낮은 퀄러티의 픽쳐들을 나타낼 수 있다. SNR 베이스 레이어 데이터의 생성은 본 발명과 무관하므로 그에 대한 설명은 생략하며, FGS 데이터의 생성은 다음과 같은 방식으로 이루어진다.

상기 엔코더(210)는, 먼저 엔코딩된 SNR 베이스 레이어 데이터에 대해서 역양자화(11)와 역변환(12)을 수행하여( 필요한 경우에는 역변환된 데이터를 확대하여 ), 엔코딩된 데이터와의 차( 엔코딩시에 발생된 에러를 보상하는 데이터 )를 구한다. 그리고, 도 2b에 예시된 바와 같이, 상기와 같은 방식으로 구해진 프레임의 각 매크로 블록(241)에 대해서, 앞서 동일한 방식으로 구해진 SNR 인핸스먼트 레이어 프레임을 대상으로 예측동작(prediction)을 수행하여 기준 블록(241a)을 찾고 모션벡터(241b)를 구한다. 기준블록이 찾아지면, 상기 엔코더(210)는, 그 기준블록(241a)내의 데이터와 현재 매크로 블록(241)내의 데이터와의 차 데이터( 레지듀얼(residual) 데이터 )를 현재 블록(241)에 코딩한다. 이 때, 현재 블록(241)에 위치대응되는(co-locate) SNR 베이스 레이어상의 블록(240)상의 데이터는, 상기 차 데이터 코딩에 이용되지 않는다. 그리고, 구해진 모션벡터(241b)에 대해서는 적절한 코딩을 수행한다. 이와 같은 방식으로 한 프레임이 레지듀얼 데이터로 코딩되면, 그 프레임에 대해서 DCT 변환과 양자화를 차례대로 수행하여 DCT 도메인의 FGS 데이터를 생성하여 후단의 FGS 코더(230)에 인가한다. 상기 레지듀얼 데이터 블록들을 생성하는 보다 구체적인 실시예들이 이하 도 7 내지 도 10에서 상세히 설명될 것이다. 여기서, 상기 FGS 인핸스드 레이어의 기준 블록(241a)은 기준 블록 Re'으로 참조될 것이다.

상기 FGS 코더(230)내의 주요경로 코딩부(23)는 하기에서 설명하는 FGS 코딩방법을 수행하기 위해, 특별히 블록상의 스캔경로의 위치를 추적하기 위한 변수(23a)(scanidx)를 관리한다. 상기 scanidx는 상기 블록상의 위치변수( 이하, '위치변수'로 약칭한다. )의 이름의 단순한 예에 불과하며 다른 어떠한 명칭을 사용하여도 무방하다.

도 2a의 장치에서 인코딩된 SNR 베이스 데이터에 대해서도 스트림 전송을 위한 적절한 코딩과정이 수행되나, 그 과정은 본 발명과 직접적인 관련이 없으므로 도면상에서의 구성 및 그에 대한 설명은 생략한다.

도 2a의 주요경로 코딩부(23)는 하나의 픽처( 이는, 프레임 또는 슬라이스(slice) 등일 수 있다. )를 도 1b에서 설명한 방식대로 4x4의 블록을 차례대로 선택하여, 하기에서 설명하는, 도 3에 예시된 흐름도에 따라 해당 블록상의 데이터를 코딩된다. 이 과정은 아래에서 설명하는 것처럼, 상기 데이터 블록들로부터 데이터 스트림으로 데이터를 파싱하는 것이다. 물론, 하기에서 설명하는 방식은, 도 1b에서 설명한 방식이 아닌 다른 방식으로 블록의 선택순서를 사용하는 경우에도, 각 블록에 대해서는 적용될 수 있으므로, 본 발명은 블록의 선택순서에 의해 제한되는 것은 아니다.

상기 주요경로 코딩부(23)는, 상기 위치변수(23a)를 먼저 초기화(예를 들어, 위치변수 = 1)할 수 있다(S31). 각 블록들은 지정된 순서(예를 들어, 설계 선택 또 는 기준)대로 선택될 수 있다. 선택된 블록에 대해서는 지그재그 스캔경로를 따라 데이터 1( 이를 '주요 데이터'라고도 칭한다. )을 만날 때까지의 데이터 구간에 대해 코딩하고(S32), 각 블록에 대해서 코딩된 데이터 구간의 마지막 위치, 즉 데이터 1이 있는 위치에 대한 값을 코딩된 위치 변수(sbidx)(코딩 종료 데이터 위치 지시자 또는 다른 적합한 명칭으로 나타낼 수 있다)에 기억한다(S33). 여기서, 블록 내의 데이터 값 1은, DCT 계수가 0이 아닌 값을 가지고 있는 경우, 실제 값을 나타내는 것이 아니라, 0이 아닌 값을 단순화한 표시를 의미할 수 있다. 이 1차 사이클이 끝나면 상기 위치변수(23a)를 1증가시킨다(S34). 사이클의 수행횟수에 따라 상기 위치변수(23a)의 값이 증가되므로, 상기 위치변수(23a)는 사이클 횟수를 나타낼 수 있고, 또는 사이클 지시자로서 참조될 수 있다.

그리고, 각 블록을 다시 처음부터(S34) 순차적으로 선택하면서 2차 사이클을 수행하는 데, 선택된 블록의 코딩된 위치변수(sbidx)와 상기 위치변수(23a)를 비교하여 위치변수(23a)가 현재 지시하는 위치가 이미 코딩된 위치인지를 확인한다(S35). 예를 들어, 상기 선택된 블록의 코딩 종료 데이터 위치 지시자(sbidx)가 상기 사이클 지시자(scanidx)와 같거나 크다면, 상기 변수 scanidx가 가리키는 선택된 블록의 위치가 코딩되어진다. 이때, 상기 선택된 블록의 위치는 상기 도 1b의 지그재그 경로에 따른 위치를 나타낼 수 있다. 여기서, 위치 "0"는 상위 좌측 구석을 나타내고, 상기 지그재그 경로에 따른 각 위치 번호는 상기 지그재그 경로상의 이전 위치의 위치 번호에 1을 더한 값일 수 있다. 이는 도 4에서 보여질 것이고, 블록 선택 순서에서 2개의 블록 N과 N+1에 적용된 도 3의 과정의 일례를 나타낸다. 또한, 도 4는 각 블록 N과 N+1에서 데이터가 코딩되는 순서를 보여줄 뿐만 아니라, 코딩이 일어나는 동안의 사이클과 스킵되는 사이클들을 보여준다. 도 4의 실시예에서, 표시 A는 2차 사이클에서 코딩되는 블록 N+1에서의 데이터 섹션을 나타낼 수 있다. 그리고, 도 4의 실시예에서, 블록 N의 위치 "2"는 상기 1차 사이클에서 코딩된 섹션 내에 존재하고, 따라서 블록 N은 2차 사이클에서 스킵될 수 있다.

S35단계로 돌아가서, 상기 위치가 이전에 코딩된 위치이면 현재 블록은 스킵된다. 그리고, 상기 스킵된 블록이 현재 픽처내의 마지막 블록이 아니면(S38) 다음 순서의 블록으로 진행한다(S39). 만약, 상기 위치변수(23a)가 가리키는 현재 위치가 코딩된 위치가 아닌 블록이 있으면 그 블록상에서 이전 코딩된 위치( sbidx가 가리키는 위치 )에 이어서 데이터 1이 있는 위치까지 코딩한다(S36). 물론, 코딩되는 경우에는 그 블록에 대한 코딩된 위치 변수(sbidx)를 갱신한다(S37). 그리고 현재 코딩된 블록이 마지막 블록이 아니면(S38) 다음 블록으로 진행하게 된다(S39).

도 4의 예에서 마크 A가, 상기 2차 사이클에 의해 코딩되는 블록 N+1상의 데이터 구간을 나타낸다. 그리고, 도 4의 예에서, 블록 N의 경우에는 상기 위치변수(scanidx)의 값이 지시하는 위치가 1차 사이클에 의해 코딩된 구간에 있으므로 상기 2차 사이클에서는 코딩되지 않고 스킵된다.

상기 주요경로 코딩부(23)는, 마지막 모든 주요 데이터가 코딩될 때까지(S40), 전술한 과정(S34~S39)을 계속하여 수행하게 되는 데, 이 과정에 의해 도 4의 블록 N은 2차 사이클 후에 다시 3차 및 4차 사이클에서도 스킵되고(마크 B) 5차 사이클에서 스캔 경로상의 위치 7의 주요 데이터까지의 구간이 코딩된다.

본 발명에 따른 다른 실시예에서는, 이전 코딩된 위치를 기억하는 대신, 각 블록에 대해 임시 행렬을 생성하고, 코딩된 데이터들에 대해서 그 임시 행렬의 해당 위치들에 코딩되었음을 마크( 예를 들어, 1로 세팅 )해 둘 수도 있다. 본 실시예에서는, 상기 위치변수(23a)가 가리키는 현재 위치가 코딩된 위치인지 아닌 지를 판단할 때(S35), 그 위치변수에 해당하는, 상기 임시 행렬의 해당 위치의 값이 코딩된 것으로 마크되어 있는지 여부를 검사함으로써 판단하게 된다.

전술한 과정에서, 앞선 사이클에서 코딩된 데이터들이 전송되는 데이터 스트림상에서 앞쪽에 배치되므로, 블록 간을 비교할 때, 스캔경로상 보다 앞쪽에 위치하는 주요 데이터는 그 빈도에 무관하게 먼저 코딩되어 전송될 확률이 높다. 도 5는 이를 보다 더 분명히 드러내기 위해, 도 4의 예에 제시된 두 블록(N,N+1)에 대해 코딩되는 데이터의 열을 종래의 코딩방법에 따른 것과 비교하여 도시하고 있다.

도 5의 예에서 보는 바와 같이, 종래의 코딩방법과 비교하여 코딩된 스트림의 시작부터 동일한 구간내에는 주요 데이터 수가 거의 일치한다. 그러나, 주요 데이터의 속성을 보면, 본 발명에 의한 코딩에서는, 블록의 스캔경로상에서 앞쪽에 있는 주요 데이터가, 코딩된 스트림상에서 종래의 방법에 비해 보다 앞쪽에 위치하고 있다(501). 블록상에서 스캔경로상( 도 5에서 각 블록의 우측 상단에 있는 수가 경로상의 순서를 나타낸다. ) 보다 앞쪽에 있다는 것은 뒤에 있는 데이터(DCT 계수)보다는 DC 성분에 더 근접함을 나타내므로, 전송하는 스트림상의 임의 지점에서 전송 중단되는 경우에, 본 발명은 종래의 방법에 비해 DC 성분에 가까운 주요 데이터를 평균적으로 더 많이 전송하게 된다.

예를 들어, 일련의 레지듀얼 데이터 블록들의 데이터는 매 사이클에 기반하여 데이터 스트림으로 파싱된다. 따라서, DC 성분에 더 가까운 데이터가 시퀀스 내에서 이후의 레지듀얼 데이터 블록 내에 존재하는 경우, 상기 시퀀스 내의 적어도 하나의 이전 레지듀얼 데이터 블록은 한 사이클동안 스킵될 수 있다.

본 발명에 따른 다른 일 실시예에서는, 상기 위치변수(23a)가 지시하는 위치가 코딩된 위치인지를 확인하는 단계(S35)에서 다른 값을 확인할 수 있다. 예를 들어, 상기 위치변수(23a)의 값으로부터 변환된 값을 확인한다. 위치변수 값의 변환을 위한 함수로서 벡터를 사용할 수도 있다. 즉, vector[0..15]의 값을 사전에 지정한 후, 상기 확인단계(S35)에서, 상기 위치변수(23a)의 현재 값에 대응되는 상기 벡터의 원소 (vector[scanidx])의 값이 지시하는 위치가 이미 코딩된 위치인지를 확인한다. 상기 벡터(vector[])의 원소들을 {0,1,2,3,4,5,6,7,8,9,10,11,12,13, 14,15}와 같이 1씩 단조 증가하는 값으로 설정하면, 앞서 설명한 도 3의 실시예와 동일한 과정이 된다. 하지만, 상기 벡터(vector[])의 원소들을, 예를 들어 {3,3,3,3,7,7,7,7,11,11,11,11,15,15,15,15}와 같이, 위치변수(scanidx)의 값보다 작지 않은 값이 변환값으로 지정되도록 하는 벡터를 설정하면, 각 사이클에서 상기 위치변수(23a)가 지시하는 현재 위치가 이미 코딩되어 있더라도, 그 위치변수에 의해 변환된 값(vector[scanidx])이 해당 블록의 코딩된 위치변수(sbidx)보다 큰 경우에는 그 블록에 대해서는 코딩된 위치에 이어서 다음 데이터 1까지 코딩된다.

따라서, 상기 변환벡터(vector[])의 값을 적절히 설정함으로써, 블록의 스캔경로 상에서 앞쪽에 있는 주요 데이터가, 코딩된 스트림상에서 종래의 방법에 비해 보다 앞쪽에 위치하는 정도를 조절할 수 있다.

상기와 같이 지정되는 벡터의 원소들은 직접 디코더단에 전송되지 않고 모드정보로서 전송될 수 있다. 예를 들어 모드가 0이면 그 때 사용된 벡터는 {0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15}임을 나타내고, 모드가 1이면 추가적으로 그룹핑 값이 수반되어 사용된 벡터의 원소들을 지정한다. 그룹핑 값이 4이면 4개의 원소 집합별로 동일값이 지정된다. 즉, {3,3,3,3,7,7,7,7,11,11,11,11,15,15,15, 15}의 벡터가 사용된 경우에는 모드가 1이고, 그룹핑 값은 4가 지정되어 디코더단에 전송된다. 그리고, 모드가 2이면 동일값이 지정되는 원소 그룹의 마지막 위치의 값들이 추가적으로 수반된다. 예를 들어 모드가 2이고 추가적으로 수반되는 값들의 집합이 {5,10,15}이면 이는 사용된 벡터가 {5,5,5,5,5,5,10,10,10,10,10,15,15,15, 15,15}임을 지시하는 것이다.

이하에서는, 상기와 같이 코딩된 데이터 스트림을 수신하는 디코딩 장치에서의 디코딩 방법에 대해서 설명한다.

도 6은 도 2a의 장치에 의해 코딩되어 전송된 데이터 스트림을 디코딩하는 장치의 일 실시예의 블록도이다. 도 6의 장치에 수신되는 데이터 스트림은, 전단에서 적절한 복호화과정을 거쳐 압축이 해제된 데이터이다. 앞서 설명한 방식으로 코딩된 FGS 데이터의 스트림이 수신되면, FGS 디코더(610)내의 주요경로 디코딩부(611)는, 주요 데이터 스트림을 디코딩하여 각 픽처를 구성한다. 미세경로 디코딩부(612)는 미세 데이터 스트림을 디코딩하여 상기 각 픽처에 데이터를 보충함으로써 완전한 픽처가 구성되게 하는데 이 미세 데이터 디코딩은 본 발명과 관련성이 없으므로 이에 대한 설명은 생략한다.

주요 데이터 스트림을 디코딩할 때는, 상기 주요경로 디코딩부(611)는 도 3의 과정을 그대로 수행한다. 즉, 도 3의 흐름도에서 코딩 과정이 디코딩 과정으로 대체된 절차를 수행한다. 이 절차에 있어서, 상기 주요 데이터 스트림은 디코딩되거나 일련의 데이터 블록들로 파싱된다. 즉, 수신되는 코딩된 FGS 데이터의 주요 데이터 스트림 상에서 데이터 1까지의 데이터 구간( 즉, "0..001" )단위로 끊어서 현재 선택된 블록상에 지그재그 스캐닝 경로를 따라 채우는 과정을 의미한다. 그리고, 데이터를 해당 블록에 채울 때, SNR 베이스 레이어의 대응 위치에 있는 값이 0이 아닌 경우에는( 즉, 해당 블록상에서 채울 위치가 미세 데이터에 해당하는 경우에는 ) 그 위치에 대해서는 데이터를 채우지 않고 스킵하는데, 이 스킵되는 위치에 대해서는 상기 미세경로 디코딩부(612)에서 데이터를 채우게 된다. 이하의 설명에서 블록에 데이터를 채운다는 것은, 그와 같이 미세 데이터가 채워질 위치를 스킵하면서 채우는 것을 말한다.

상기 주요경로 디코딩부(611)는, 위치변수(dscanidx)(61a)를 먼저 초기화(예를 들어, 위치변수 = 1)할 수 있다(S31). 상기 변수는 또한 사이클 지시자로서 언급될 수 있고, 현재 사이클을 나타낼 수 있다. 그리고, 각 블록을 지정된 순서대로 선택하면서 선택된 블록에 대해서는 지그재그 스캔경로를 따라, 주요 데이터 스트림상의 데이터 1까지의 데이터 구간("0..001")을 선택된 블록상에 채우고(S32), 각 블록에 대해서 데이터가 채워진 마지막 위치, 즉 데이터 1이 기록된 위치에 대한 값을 디코딩된 위치 변수(dsbidx)에 기억한다(S33). 상기 변수 dsbidx 는 채워진 마지막 데이터 위치 지시자(the filing end data location indicator)로서 언급될 수 있다.

이 1차 사이클이 끝나면 상기 위치변수(61a)를 1증가시킨다(S34). 그리고, 각 블록을 다시 처음부터(S34) 순차적으로 선택하면서 2차 사이클을 수행하는 데, 선택된 블록의 디코딩된 위치변수(dsbidx)와 상기 위치변수(61a)를 비교하여 위치변수(61a)가 지시하는 위치가 이미 데이터가 채워진 위치인지를 확인한다(S35). 즉, 상기 채워진 마지막 데이터 위치 지시자(dsbidx)가 상기 사이클 지시자(dscanidx)보다 크거나 같다면, 상기 위치 변수(dscanidx)에 의해 지시된 위치는 디코딩된 데이터를 포함한다.

상기 위치 변수(dscanidx)에 의해 지시된 위치가 데이터가 채워진 위치이면 현재 블록은 스킵된다. 상기 스킵된 블록이 현재 픽처 내의 마지막 블록이 아니면(S38) 다음 순서의 블록으로 진행한다(S39). 만약 상기 위치변수(61a)가 가리키는 위치가 데이터가 채워진 위치가 아니면, 그 블록상에서 이전 채워진 위치( dsbidx가 지시하는 위치 )에 이어서, 주요 데이터 스트림상에서 데이터 1까지의 데이터 구간을 읽어와서 채운다(S36). 물론, 디코딩되는 경우에는 그 블록에 대한 디코딩된 위치 변수, 즉 데이터가 채워진 위치값(dsbidx)을 갱신한다(S37). 그리고 현재 디코딩된 블록이 마지막 블록이 아니면(S38) 다음 블록으로 진행하게 된다(S39).

만약 상기 현재 디코딩된 블록이 마지막 블록이면, S34단계의 과정으로 돌아간다. 여기서 상기 위치 변수(dscanidx)는 증가하고, 또 다른 사이클이 시작된다.

상기 주요경로 디코딩부(611)는, 현재 픽처에 대해 마지막 주요 데이터가 채워질 때 까지(S40), 전술한 과정(S34~S39)을 계속하여 수행하여 하나의 픽처를 디코딩해내고, 이후의 주요 데이터 스트림에 대해서는 다음 픽처를 디코딩하는 데 사용하게 된다.

상기에서 살펴본 바와 같이, 상기 방법은 매 사이클에 기반하여 데이터 스트림에서 일련의 데이터 블록들로 파싱한다. 따라서, 시퀀스 내에서 이후의 데이터 블록이 이전 데이터 블록보다 DC 성분에 더 가까운 비어있는 데이터 위치를 포함하고 있으면, 상기 시퀀스 내의 적어도 하나의 이전 데이터 블록은 한 사이클동안 스킵될 수 있다.

본 발명에 따른 다른 실시예에서는, 이전 디코딩된 위치( 데이터가 채워진 위치 )를 기억하는 대신, 각 블록에 대해 임시 행렬을 생성하고, 코딩된 데이터들에 대해서 그 임시 행렬의 해당 위치들에 디코딩되었음을 마크( 예를 들어, 1로 세팅 )해 둘 수도 있다. 본 실시예에서는, 상기 위치변수(61a)가 가리키는 현재 위치가 디코딩된 위치인지 아닌 지를 판단할 때(S35), 그 위치변수에 해당하는, 상기 임시 행렬의 해당 위치의 값이 디코딩된 것으로 마크되어 있는지 여부를 검사함으로써 판단하게 된다.

앞서 엔코딩의 과정에서 설명한 다른 실시예에 따라, 데이터가 채워진 위치인지를 확인할 때(S35), 상기 위치변수(61a)의 값 대신, 그 값을, 기 지정된 변환벡터(vector[])에 대입하여 얻은 원소값(vector[scanidx])에 의해 지시하는 위치가 이미 데이터가 채워진 위치인지를 확인할 수도 있다. 기 지정된 변환벡터대신, 엔 코딩단으로부터 수신된 벡터 모드 값( 전술한 예에서, 0, 1 또는 2 )과 그 모드 값에 수반되는 정보( 모드 값이 1과 2일 때 )에 근거하여 변환 벡터를 구성하여 사용할 수도 있다.

상기에서 설명된 과정에 의해 FGS 데이터 스트림( 주요 데이터와 미세 데이터 )이 모두 DCT 도메인의 픽처들로 복원되어 후단의 디코더(620)에 전송된다. 상기 디코더(620)는, 각 SNR 인핸스먼트 프레임을 디코딩하기 위해서, 먼저 역양자화와 역변환(IDCT)을 수행한 후, 도 2b에 예시된 바와 같이, 현재 프레임의 매크로 블록에 대해서, 그 매크로 블록의 레지듀얼 데이터에, 모션벡터에 의해 지시되는, 앞서서 디코딩된 기준블록의 데이터를 가산하여 현재 매크로 블록의 영상 데이터를 복원한다.

전술한 디코딩 장치는, 이동통신 단말기 등에 실장되거나 또는 기록매체를 재생하는 장치에 실장될 수 있다.

상기에서 제한된 실시예로써 상세히 설명된 본 발명은, 화질 개선에 영향을 주는 데이터들중 DC 성분에 더 가까운 데이터가 확률적으로 보다 많이 디코딩단에 전달되게 함으로써 종래에 비해 전송채널의 변화에도 평균적으로 좋은 화질의 영상신호를 제공할 수 있다.

이하, 본 발명의 바람직한 실시예에 대해 첨부 도면을 참조하여 상세히 설명한다.

본 발명의 일 실시예에서는, 인코딩 과정동안 PFGS의 코딩 효율을 향상시키기 위하여, FGS 베이스 레이어의 블록 Xb에 대한 모션 벡터 mv(Xb)를 미세하게 조 정한다.

본 실시예는 인코딩된 FGS 인핸스드 레이어의 블록 X에 대한 FGS 인핸스드 레이어 프레임을 획득할 수 있다. 여기서, 상기 FGS 인핸스드 레이어 프레임은 상기 FGS 인핸스드 레이어의 블록 X와 나란히 놓여진 베이스 레이어의 블록 Xb에 대한 베이스 레이어의 레퍼런스 프레임과 시간적으로 동일한 위치에 있다. 상기 베이스 레이어의 레퍼런스 프레임은 상기 나란히 놓여진(collocated) 베이스 레이어의 블록 Xb의 레퍼런스 픽쳐 인덱스에 의해 나타내어 질 수 있다. 그러나, 모션 벡터에 의해 가리키는 것처럼 상기 레퍼런스 프레임을 참조하는 것은 통상의 지식을 가진 자에 의해 자명한 사실이다.

상기 인핸스드 레이어의 레퍼런스 프레임이 주어졌을때, 픽쳐의 영역(예를 들어, 부분 영역)은 상기 인핸스드 레이어의 레퍼런스 프레임으로부터 복원될 수 있다. 상기 영역은 상기 베이스 레이어의 블록 Xb의 모션 벡터 mv(Xb)가 가리키는 블록을 포함할 수 있다. 즉, 상기 mv(Xb)가 가리키는(상기 블록 Xb의 모션 예측의 기준이 되는 레퍼런스 인덱스에 해당하는) 레퍼런스 프레임 내의 상기 mv(Xb)가 가리키는 블록을 포함하는 영역(상기 레퍼런스 프레임의 FGS 인핸스드 레이어를 복원한 픽처의 일부 영역)을 검색하여, 상기 블록 X와의 이미지 차가 가장 작은 블록, 즉 SAD(Sum of Absolute Difference)가 최소가 되는 블록(Re)을 선택할 수 있다. 여기서, 상기 SAD는 상기 두 블록들에서 대응되는 픽셀들 사이의 절대값 차이의 합을 의미한다. 그리고, 상기 블록 X로부터 상기 선택된 블록으로의 모션 벡터 mv(X)를 계산한다.

이때, 검색의 부담을 줄이기 위하여, 검색의 범위는 상기 mv(Xb)가 가리키는 블록을 중심으로 가로, 세로 방향으로 소정의 픽셀을 더 포함하는 영역으로 한정될 수 있는데, 예를 들어 가로, 세로 방향으로 1 픽셀만을 더 포함하는 영역에 대해서만 검색이 진행될 수 있다.

또한, 검색의 정도, 즉 SAD가 최소가 되는 블록을 찾기 위해 상기 블록 X를 이동시키는 단위는, 픽셀 단위일 수도 있고, 또는 1/2 픽셀 단위(half pel) 또는 1/4 픽셀 단위(quarter pel)가 될 수 있다.

특히, 가로, 세로 방향으로 1 픽셀만을 더 포함하는 영역에 대해서만 검색이 진행되고 또한 픽셀 단위로 검색되는 경우, SAD가 최소가 되는 위치는 도 7에서와 같이 9개의 후보 위치 중에서 선택된다.

위와 같이 검색의 범위가 제한되는 경우, 도 7에 도시한 바와 같이, 상기 계산된 mv(X)와 mv(Xb)의 차이(mvd_ref_fgs)가 FGS 인핸스드 레이어에 포함되어 전송된다. 상기 획득된 모션 벡터 mv(X)와 관련된 상기 FGS 인핸스드 레이어의 레퍼런스 블록은 인핸스드 레이어의 레퍼런스 블록 Re'이다.(도 2b를 참조)

본 발명의 다른 실시예에서는, 상기 블록 X의 FGS 인핸스드 레이어에 대한 최선의 모션 벡터(mv_fgs)를 구하기 위하여, 즉 상기 블록 X의 FGS 인핸스드 레이어에 대한 최선의 예측 영상을 생성하기 위하여, 도 8에 도시한 바와 같이, 상기 블록 X에 대응되는 FGS 베이스 레이어인 블록 Xb에 대한 mv(Xb)와는 독립적으로 모션 추정/예측 동작을 수행한다.

이때, 상기 mv(Xb)가 가리키는 레퍼런스 프레임(예를 들어, 블록 Xb의 레퍼 런스 픽쳐 인덱스에 의해 지시된 레퍼런스 프레임) 내에서 상기 블록 X의 FGS 인핸스드 레이어에 대한 예측 영상(기준 블록)을 검색할 수도 있고, 다른 프레임에서 상기 블록 X에 대한 기준 블록을 찾을 수도 있다. 상기 도 7의 실시예에서처럼, 상기 모션 벡터 mv(X)와 관련된 상기 FGS 인핸스드 레이어의 레퍼런스 블록은 인핸스드 레이어의 레퍼런스 블록 Re'이다.

전자의 경우, 상기 블록 X의 FGS 인핸스드 레이어에 대한 기준 블록을 검색할 프레임은 상기 mv(Xb)가 가리키는 레퍼런스 프레임으로 한정되어 인코딩의 부담이 줄고, FGS 인핸스드 레이어에 상기 기준 블록을 포함하는 프레임에 대한 레퍼런스 인덱스를 전송할 필요가 없는 장점이 있다.

후자의 경우, 상기 기준 블록을 검색할 프레임의 수가 늘어나 인코딩의 부담이 커지고, 검색된 기준 블록을 포함하는 프레임에 대한 레퍼런스 인덱스를 추가로 전송해야 하는 단점이 있지만, 상기 블록 X의 FGS 인핸스드 레이어에 대한 최선의 예측 영상을 생성할 수 있는 장점이 있다.

모션 벡터를 그대로 인코딩 할 때에는 많은 비트가 요구된다. 인접하는 블록의 모션 벡터는 서로 높은 연관 관계를 갖는 경향이 있으므로, 각 모션 벡터는 주위에 있는 이전에 인코딩 된 블록(바로 왼쪽, 바로 위쪽, 및 바로 오른쪽 위에 있는 블록)의 모션 벡터로부터 예측될 수 있다.

현재의 모션 벡터(mv)를 인코딩 할 때, 현재의 모션 벡터(mv)와 주위의 블록의 모션 벡터로부터 예측된 모션 벡터(mvp)의 차이인 mvd를 인코딩하여 전송하는 것이 일반적이다.

따라서, 독립적인 모션 예측 동작을 통해 구한, 상기 블록 X의 FGS 인핸스드 레이어에 대한 모션 벡터 mv_fgs는, mvd_fgs = mv_fgs - mvp_fgs에 의해 인코딩 된다. 이때, 주위의 블록으로부터 예측하여 구하는 mvp_fgs는, FGS 베이스 레이어인 블록 Xb의 모션 벡터 mv(Xb)를 인코딩 할 때 구하는 mvp가 그대로 사용(예를 들어, mvp = mv(Xb))되거나 상기 mvp로부터 유도하여 사용(예를 들어, mvp = mv(Xb)의 스케일된 버전)될 수도 있다.

상기 X에 대응되는 FGS 베이스 레이어의 블록 Xb에 대한 모션 벡터가 둘인 경우, 즉 상기 블록 Xb가 2개의 레퍼런스 프레임을 이용하여 예측된 경우, 상기 블록 X의 FGS 인핸스드 레이어에 대한 모션 벡터의 인코딩과 관련된 데이터도 2개가 구해지는데, 예를 들어 첫 번째 실시예의 경우 mvd_ref_fgs_l0/l1이 되고, 두 번째 실시예의 경우 mvd_fgs_l0/l1이 된다.

상기 본 발명의 실시예들에서는, FGS 인핸스드 레이어와 관련하여 매크로블록(또는 그보다 작은 단위의 영상 블록)에 대한 모션 벡터가 계산되고 계산된 모션 벡터가 FGS 인핸스드 레이어 내의 매크로블록 계층에 포함되어 디코더에 전송되어야 한다. 하지만, 종래의 FGS 인핸스드 레이어는 슬라이스 레벨을 기반으로 관련된 정보가 정의되고, 매크로블록, 서브 매크로블록, 또는 서브 블록 레벨에서는 관련된 정보가 정의되지 않는다.

따라서, 본 발명에서는, 매크로블록(그보다 작은 단위의 영상 블록) 단위로 계산된 모션 벡터와 관련된 데이터를 FGS 인핸스드 레이어 내에 정의하기 위하여, 매크로블록 계층 및/또는 그보다 작은 단위의 영상 블록 계층을 정의하기 위한 신 택스(syntax), 예를 들어 progressive_refinement_macroblock_layer_in_scalable_extension()과 progressive_refinement_mb(and/or sub_mb)_pred_in_scalable_extension()를 새로 정의하고 상기 계산된 모션 벡터를 상기 새로 정의된 신택스 내에 기록하여 전송한다.

한편, FGS 인핸스드 레이어를 생성하는 것은, 서로 다른 공간적 해상도를 갖는 베이스 레이어와 인핸스드 레이어 사이에 인트라 베이스(intra base) 모드로 예측하여 이미지 차인 레지듀얼(residual) 데이터를 생성하는 것과 유사하다.

예를 들어, 인핸스드 레이어의 블록을 X, 상기 블록 X에 대응되는 베이스 레이어의 블록을 Xb라 할 때, 인트라 베이스 예측에 의한 레지듀얼 블록 R = X - Xb이다. 여기서, X는 인코딩 하고자 하는 퀄러티 인핸스드 레이어의 블록, Xb는 퀄러티 베이스 레이어의 블록, R = X - Xb는 상기 블록 X의 FGS 인핸스드 레이어에 인코딩 하고자 하는 레지듀얼 데이터에 대응시킬 수 있다.

본 발명의 다른 실시예에서는, FGS 인핸스드 레이어로 인코딩 될 레지듀얼 데이터의 양을 줄이기 위해, 상기 레지듀얼 블록 R에 인트라 모드 예측 방법을 적용할 수 있다. 상기 레지듀얼 블록 R의 인트라 모드 예측을 위해, 상기 블록 X에 대응되는 베이스 레이어의 블록 Xb에 사용된 인트라 모드의 모드 정보가 동일하게 사용될 수 있다.

상기 레지듀얼 블록 R에 상기 Xb에 사용된 모드 정보를 적용하여 레지듀얼 데이터의 차이값을 갖는 블록 Rd를 구할 수 있다. 상기 구한 Rd를 DCT 변환하고 상 기 블록 Xb에 대한 FGS 베이스 레이어 데이터를 생성할 때 사용한 양자화 사이즈보다 더 작게 설정된 양자화 스텝 사이즈로 양자화하여 상기 블록 X에 대한 FGS 인핸스드 레이어 데이터를 생성할 수 있다.

또 다른 실시예에서는, 상기 블록 X에 대한 적합한 기준 블록 Ra'는 상기 FGS 인핸스드 레이어의 기준 블록 Re'와 동일한 방법으로 생성될 수 있다. 그리고, 상기 블록 X에 대한 FGS 인핸스드 레이어에 인코딩 하고자 하는 레지듀얼 데이터인 R을 R = X - Ra로 하여, 상기 레지듀얼 블록 R에 인트라 모드 예측 방법을 적용할 수 있다. 상기 실시예에서, 상기 인핸스드 레이어의 기준 블록 Re', 그리고 상기 적합한 기준 블록 Ra'은 픽쳐들로 복원될 것이고, 변환 계수 레벨에서는 적용되지 않을 것이다. 이는 도 2b에서 도식적으로 설명될 수 있다.

이 경우, 상기 레지듀얼 블록 R에 적용되는 인트라 모드는 상기 블록 R 내의 각 픽셀의 평균값을 기초로 하는 DC 모드가 된다. 또한, 본 발명의 실시예들에 따른 방법에 의해 Re가 생성되는 경우, 디코더에서 상기 Re를 생성하기 위해 필요한 모션과 관련된 정보가 상기 블록 X에 대한 FGS 인핸스드 레이어 데이터에 포함되어야 한다.

도 9는 본 발명이 적용되는 영상 신호 인코딩 장치의 구성을 도시한 것이다.

도 9의 영상 신호 인코딩 장치는, 프레임 시퀀스로 입력되는 영상 신호를 소정의 방법으로 모션 예측하고, DCT 변환하고, 소정의 양자화 스텝 사이즈로 양자화하여, 베이스 레이어 데이터를 생성하는 베이스 레이어(BL) 인코더(110)를 포함할 수 있다. 또한, 상기 영상 신호 인코딩 장치는, 상기 BL 인코더(110)로부터 제공되 는 모션 정보와 베이스 레이어 데이터, 및 현재 프레임에 대한 모션 예측의 기준(레퍼런스)이 되는 프레임(예를 들어 이전 프레임)의 FGS 인핸스드 레이어 데이터를 이용하여 현재 프레임의 FGS 인핸스드 레이어를 생성하는 FGS 인핸스드 레이어(FGS_EL) 인코더(122)를 포함할 수 있다. 상기 FGS 인핸스드 레이어(FGS_EL) 인코더(122)는, 예를 들어, 도 2a에 도시된 요소들을 포함할 수 있다. 주요 경로 코딩부(23)의 동작에 대해서는 상기에서 설명하였기 때문에 도 9의 실시예에서는 중복 설명하지 않기로 한다. 또한, 상기 영상 신호 인코딩 장치는, 상기 BL 인코더(110)의 출력 데이터와 FGS_EL 인코더(122)의 출력 데이터를 소정의 방법으로 먹싱하여 출력하는 먹서(130)를 포함할 수 있다.

상기 FGS_EL 인코더(122)는, 상기 BL 인코더(110)로부터 제공되는 베이스 레이어 데이터로부터 현재 프레임에 대한 모션 예측의 기준이 되는 레퍼런스 프레임의 퀄러티 베이스 레이어(또는 베이스 레이어 픽처라고도 함)를 복원하고, 또한 상기 레퍼런스 프레임의 FGS 인핸스드 레이어 데이터와 상기 복원되는 레퍼런스 프레임의 퀄러티 베이스 레이어를 이용하여 상기 레퍼런스 프레임의 FGS 인핸스드 레이어 픽처를 복원한다.

이때, 상기 레퍼런스 프레임은, 현재 프레임의 블록 X에 대응되는 FGS 베이스 레이어의 블록인 Xb의 모션 벡터 mv(Xb)가 가리키는 프레임이 될 수 있다.

상기 레퍼런스 프레임이 현재 프레임의 이전 프레임인 경우, 상기 레퍼런스 프레임의 FGS 인핸스드 레이어 픽처는 이미 버퍼에 저장되어 있는 상태일 수도 있다.

이후, 상기 FGS_EL 인코더(122)는, 상기 복원된 레퍼런스 프레임의 FGS 인핸스드 레이어 픽처 내에서 상기 블록 X의 FGS 인핸스드 레이어에 대한 기준 영상, 즉 상기 블록 X와의 SAD가 최소가 되는 기준 블록 또는 예측 블록(Re)을 검색하고, 상기 블록 X로부터 상기 검색된 기준 블록(Re)으로의 모션 벡터 mv(X)를 계산한다.

상기 FGS_EL 인코더(122)는, 상기 블록 X와 상기 검색된 기준 블록 Re와의 차이에 대해 DCT 변환하고 상기 소정의 양자화 스텝 사이즈(상기 BL 인코더(110)가 상기 블록 Xb에 대한 FGS 베이스 레이어 데이터를 생성할 때 사용한 양자화 사이즈)보다 더 작게 설정된 양자화 스텝 사이즈로 양자화하여 상기 블록 X에 대한 FGS 인핸스드 레이어 데이터를 생성한다.

상기 기준 블록을 예측할 때, 상기 FGS_EL 인코더(122)는, 앞서 설명한 본 발명의 첫 번째 실시예에서와 같이, 검색의 부담을 줄이기 위하여, 검색의 범위를 상기 mv(Xb)가 가리키는 블록을 중심으로 가로, 세로 방향으로 소정의 픽셀을 더 포함하는 영역으로 한정할 수도 있다. 이 경우에는, 상기 FGS_EL 인코더(122)는, 상기 계산된 mv(X)와 mv(Xb)의 차이(mvd_ref_fgs)를 FGS 인핸스드 레이어 내에 상기 블록 X와 연계하여 기록한다.

또는, 상기 FGS_EL 인코더(122)는, 앞서 설명한 본 발명의 두 번째 실시예에서와 같이, 상기 블록 X의 FGS 인핸스드 레이어에 대한 최선의 모션 벡터(mv_fgs)를 구하기 위하여, 상기 mv(Xb)와는 독립적으로 모션 추정 동작을 수행하여, 상기 블록 X와의 SAD가 최소가 되는 기준 블록 또는 예측 블록(Re)을 검색하고, 상기 블록 X로부터 상기 검색된 기준 블록(Re)으로의 모션 벡터 mv_fgs를 계산한다.

이때, 상기 mv(Xb)가 가리키는 레퍼런스 프레임 내에서 상기 블록 X의 FGS 인핸스드 레이어에 대한 기준 블록을 검색할 수도 있고, 상기 레퍼런스 프레임이 아닌 다른 프레임에서 상기 블록 X에 대한 기준 블록을 찾을 수도 있다.

상기 FGS_EL 인코더(122)는, 상기 블록 X와 상기 검색된 기준 블록 Re와의 차이에 대해 DCT 변환하고 상기 소정의 양자화 스텝 사이즈보다 더 작게 설정된 양자화 스텝 사이즈로 양자화하여 상기 블록 X에 대한 FGS 인핸스드 레이어 데이터를 생성할 수 있다.

그리고, 상기 FGS_EL 인코더(122)는, 상기 계산된 mv_fgs와 주위의 블록으로부터 예측하여 구하는 mvp_fgs의 차이(mvd_fgs)를 FGS 인핸스드 레이어 내에 상기 블록 X와 연계하여 기록할 수 있다. 즉, FGS_EL 인코더(122)는, 블록(매크로블록 또는 그 보다 작은 단위의 영상 블록) 단위로 계산된 모션 벡터와 관련된 정보를 정의하는 신택스를 FGS 인핸스드 레이어에 기록할 수 있다.

상기 mv(Xb)가 가리키는 레퍼런스 프레임이 아닌 다른 프레임에서 상기 블록 X에 대한 기준 블록 Re'가 검색되는 경우에는, 상기 모션 벡터와 관련된 정보에는 상기 검색된 기준 블록 Re을 포함하는 프레임에 대한 레퍼런스 인덱스를 더 포함할 수 있다.

인코딩된 데이터 스트림은 유선 또는 무선으로 디코딩 장치에 전송되거나 기록 매체를 매개로 하여 전달될 수 있다.

도 10은, 인코딩된 데이터 스트림을 디코딩하는, 본 발명이 적용되는 장치의 블록도이다.

도 10의 디코딩 장치는, 수신되는 데이터 스트림에서 베이스 레이어와 인핸스드 레이어를 분리하는 디먹서(215), 입력되는 베이스 레이어 스트림을 정해진 방식으로 디코딩 하는 BL 디코더(220), 및 상기 BL 디코더(220)로부터 제공되는 모션 정보, 복원된 퀄러티 베이스 레이어(또는 FGS 베이스 레이어 데이터), 및 FGS 인핸스드 레이어 스트림을 이용하여 현재 프레임의 FGS 인핸스드 레이어 픽처를 생성하는 FGS_EL 디코더(235)를 포함하여 구성될 수 있다. 상기 FGS_EL 디코더(235)는, 예를 들어, 상기 도 6에 나타난 요소들을 포함할 수 있다. 주요 경로 코딩부(611)의 동작에 대해서는 상기에서 설명하였기 때문에 도 10의 실시예에서는 중복 설명하지 않기로 한다.

상기 FGS_EL 디코더(235)는, 먼저 FGS 인핸스드 레이어 스트림에서 현재 프레임 내의 블록 X에 대한 정보, 즉 상기 블록 X의 모션 예측에 사용된 모션 벡터와 관련된 정보를 확인할 수 있다.

현재 프레임 내의 블록 X의 FGS 인핸스드 레이어가, 다른 프레임의 FGS 인핸스드 레이어 픽처를 기초로 인코딩 되고 또한 상기 블록 X에 대응되는, 현재 프레임의 FGS 베이스 레이어의 블록인 Xb의 모션 벡터 mv(Xb)가 가리키는 블록이 아닌 다른 블록을 예측 블록 또는 기준 블록으로 하여 인코딩 된 경우, 상기 현재 프레임의 FGS 인핸스드 레이어 데이터에는 상기 다른 블록을 가리키기 위한 모션 정보가 포함될 수 있다.

즉, 상기와 같은 경우, FGS 인핸스드 레이어는, 블록(매크로블록 또는 그 보다 작은 단위의 영상 블록) 단위로 계산된 모션 벡터와 관련된 정보가 정의되는 신 택스를 포함한다. 상기 모션 벡터와 관련된 정보에는, 상기 블록 X의 FGS 인핸스드 레이어에 대한 기준 블록이 검색된(기준 블록을 포함하는) 레퍼런스 프레임에 대한 인덱스가 더 포함될 수 있다.

상기 현재 프레임 내의 블록 X와 관련된 모션 정보가 상기 현재 프레임의 FGS 인핸스드 레이어에 있는 경우, 상기 FGS_EL 디코더(235)는, 현재 프레임에 대한 모션 예측의 기준이 된 레퍼런스 프레임의 퀄러티 베이스 레이어(상기 BL 디코더(220)로부터 복원된 FGS 베이스 레이어 픽처가 제공되거나 또는 상기 BL 디코더(220)로부터 제공되는 FGS 베이스 레이어 데이터로부터 복원될 수 있음) 및 상기 레퍼런스 프레임의 FGS 인핸스드 레이어 데이터를 이용하여, 상기 레퍼런스 프레임의 FGS 인핸스드 레이어 픽처를 생성한다. 여기서, 상기 레퍼런스 프레임은, 상기 블록 Xb의 모션 벡터 mv(Xb)가 가리키는 프레임이 될 수 있다.

또한, 상기 레퍼런스 프레임의 FGS 인핸스드 레이어가 다른 프레임의 FGS 인핸스드 레이어 픽처를 이용하여 인코딩 되어 있을 수도 있는데, 이 경우 상기 레퍼런스 프레임을 복원할 때 상기 다른 프레임의 복원된 픽처가 이용된다. 또한 상기 레퍼런스 프레임이 현재 프레임보다 이전 프레임인 경우, 상기 FGS 인핸스드 레이어 픽처는 이미 생성되어 버퍼에 저장되어 있는 상태일 수도 있다.

또한, 상기 FGS_EL 디코더(235)는, 상기 블록 X와 관련된 모션 정보를 이용하여, 상기 레퍼런스 프레임의 FGS 인핸스드 레이어 픽처 내에서 상기 블록 X의 FGS 인핸스드 레이어에 대한 기준 블록(Re')을 구할 수 있다.

이때, 상기 블록 X로부터 상기 기준 블록 Re'로의 모션 벡터 mv(X)는, 앞서 설명한 본 발명의 첫 번째 실시예에서는, 상기 블록 X의 FGS 인핸스드 레이어 스트림에 포함된 모션 정보 mv_ref_fgs와 상기 블록 Xb의 모션 벡터 mv(Xb)의 합으로 구해질 수 있다.

또한, 본 발명의 두 번째 실시예에서는, 상기 모션 벡터 mv(X)는, 상기 블록 X의 FGS 인핸스드 레이어 스트림에 포함된 모션 정보 mvd_fgs와 주위의 블록으로부터 예측하여 구하는 mvp_fgs의 합으로 구해진다. 이때, 상기 mvp_fgs에는, FGS 베이스 레이어의 블록 Xb의 모션 벡터 mv(Xb)를 계산할 때 구하는 mvp가 그대로 사용되거나 또는 상기 mvp로부터 유도되어 사용될 수 있다.

이후, 상기 FGS_EL 디코더(235)는, 상기 블록 X의 FGS 인핸스드 레이어 데이터를 역양자화 및 역DCT 변환하여 이를 상기 구한 기준 블록 Re에 더해 상기 블록 X에 대한 FGS 인핸스드 레이어 픽처를 생성할 수 있다.

전술한 디코딩 장치는 이동 통신 단말기 등에 실장되거나 또는 기록 매체를 재생하는 장치에 실장될 수 있다.

이상, 전술한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서 또 다른 다양한 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.

본 발명의 이해를 돕기 위해 포함되는 첨부 도면은, 본 발명의 실시예를 도시하는 것으로, 본 명세서와 함께 본 발명의 원리를 설명하기 위한 것이다.

도 1a는 영상신호를 엔코딩하는 장치를 FGS (Fine Grained Scalability) 데이터의 코딩을 중심으로 간략하게 도시한 것이다.

도 1b는 FGS 데이터를 갖는 픽처를 코딩하는 과정을 예시한 것이다.

도 1c는 FGS 데이터를 데이터 스트림으로 코딩하는 방법을 도식적으로 나타낸 것이다.

도 2a는, 본 발명에 따라 영상신호를 엔코딩하는 장치를 FGS 데이터의 코딩을 중심으로 간략하게 도시한 것이다.

도 2b는, 도 2a의 장치가 수행하는, 픽처에 대한 예측 동작을 도식적으로 나타낸 것이다.

도 3은, 본 발명의 일 실시예에 따라, 픽처내의 각 블록을 스캐닝하면서 코딩하는 방법의 흐름을 예시적으로 나타낸 것이다.

도 4는, 도 3의 방법에 따라, 각 블록이 스캔되거나 스킵되는 과정을 예를 들어 나타낸 것이다.

도 5는, 도 3의 방법에 따라, DC성분에 가까운 데이터가, 코딩된 데이터 스트림에서 보다 앞쪽에 위치하게 되는 것을 종래의 방법과 대비해서 나타낸 것이다.

도 6은 도 2a의 장치에 의해 엔코딩된 데이터 스트림을 디코딩하는 장치의 구성을 간략하게 도시한 것이다.

도 7은, 현재 프레임의 FGS 인핸스드 레이어를 예측하기 위해, 레퍼런스 프레임의 FGS 인핸스드 레이어 픽처 내에서, 현재 프레임의 FGS 베이스 레이어의 모션 벡터를 미세하게 조정하는 본 발명의 일 실시예를 도시한 것이다.

도 8은, 레퍼런스 프레임의 FGS 인핸스드 레이어 픽처 내에서, 현재 프레임 내의 임의의 블록의 FGS 인핸스드 레이어에 대한 기준 블록을 상기 임의의 블록에 대응되는 FGS 베이스 레이어의 모션 벡터와 독립적으로 검색하는 본 발명의 다른 실시예를 도시한 것이다.

도 10은 인코딩 된 데이터 스트림을 디코딩 하는 본 발명이 적용되는 장치의 블록도이다.

Claims

제 1 픽쳐 레이어의 비트스트림과 제 2 픽쳐 레이어의 비트스트림을 포함하는 비디오 신호를 수신하는 단계;

상기 제 1 픽쳐 레이어에 있는 타겟 블록의 모션 벡터 예측 값을 구하는 단계;

상기 제 1 픽쳐 레이어의 비트스트림으로부터 상기 타겟 블록의 모션 벡터 차이 정보를 획득하되, 상기 모션 벡터 차이 정보는 상기 타겟 블록의 모션 벡터와 상기 모션 벡터 예측 값 간의 차이를 의미하는 단계; 및

상기 타겟 블록의 모션 벡터 예측 값과 상기 모션 벡터 차이 정보를 더하여, 상기 타겟 블록의 모션 벡터를 획득하는 단계를 포함하되,

상기 모션 벡터 예측 값을 구하는 단계는,

상기 제 1 픽쳐 레이어의 비트스트림으로부터 상기 타겟 블록의 이웃 블록들의 모션 벡터를 획득하는 단계;

상기 획득된 이웃 블록들의 모션 벡터 중 적어도 하나에 기초하여, 상기 타겟 블록의 모션 벡터를 예측하는 단계를 포함하고,

상기 제 1 픽쳐 레이어와 상기 제 2 픽쳐 레이어는 동일한 비디오 신호에 해당하고, 공간 해상도가 동일하나, 상기 제 1 픽쳐 레이어는 상기 제 2 픽쳐 레이어에 있는 픽쳐들보다 높은 이미지 퀄러티의 픽쳐들을 포함하는 것을 특징으로 하는 제 1 픽쳐 레이어에 있는 타겟 블록을 복원하는 방법.
삭제
제 1항에 있어서,

상기 제 1픽쳐 레이어는 인핸스드 레이어를 나타내고, 상기 제 2 픽쳐 레이어는 베이스 레이어를 나타내는 것을 특징으로 하는 타겟 블록을 복원하는 방법.
제 1항에 있어서,

상기 모션 정보는 모션 벡터 또는 참조 인덱스를 포함하는 것을 특징으로 하는 타겟 블록을 복원하는 방법.
제 4항에 있어서,

상기 모션 벡터는 1/4 픽셀 정확도의 모션 벡터를 포함하는 것을 특징으로 하는 타겟 블록을 복원하는 방법.
삭제
제 1항에 있어서,

상기 타겟 블록의 모션 정보를 예측하는 단계는, 평균 또는 중간(median) 연산을 이용하는 것을 특징으로 하는 타겟 블록을 복원하는 방법.
제 1 픽쳐 레이어 비트스트림과 제 2 픽쳐 레이어 비트스트림을 포함하는 비디오 신호를 수신하는 디먹서와;

상기 제 1 픽쳐 레이어 비트스트림으로부터 상기 제 1 픽쳐 레이어에 있는 타겟 블록의 이웃 블록들의 모션 벡터를 획득하여 상기 이웃 블록들의 모션 벡터 중 적어도 하나에 기초하여 상기 타겟 블록의 모션 벡터 예측 값을 구하고, 상기 제 1 픽쳐 레이어 비트스트림으로부터 상기 타겟 블록의 모션 벡터 차이 정보를 획득하고, 상기 타겟 블록의 모션 벡터 예측 값과 상기 모션 벡터 차이 정보를 더하여, 상기 타겟 블록의 모션 벡터를 획득하는 인핸스드 레이어 디코더를 포함하되,

상기 타겟 블록의 모션 벡터 차이 정보는 상기 타겟 블록의 모션 벡터와 상기 타겟 블록의 모션 벡터 예측 값 간의 차이를 의미하고, 상기 제 1 픽쳐 레이어와 상기 제 2 픽쳐 레이어는 동일한 비디오 신호에 해당하고, 공간 해상도가 동일하나, 상기 제 1 픽쳐 레이어는 상기 제 2 픽쳐 레이어에 있는 픽쳐들보다 높은 이미지 퀄러티의 픽쳐들을 포함하는 것을 특징으로 하는 타겟 블록을 복원하는 장치.