KR20060059774A

KR20060059774A - 시간적 분해레벨이 다른 픽처의 모션벡터를 이용하는영상신호의 엔코딩/디코딩 방법 및 장치

Info

Publication number: KR20060059774A
Application number: KR1020050026799A
Authority: KR
Inventors: 박승욱; 전병문; 윤도현; 박지호
Original assignee: 엘지전자 주식회사
Priority date: 2004-11-29
Filing date: 2005-03-30
Publication date: 2006-06-02
Also published as: US20060133497A1

Abstract

본 발명은, 입력 영상신호를 시간적 분해과정(Temporal Decomposition)을 거쳐 엔코딩할 때, 시간적 분해과정의 L단계에 속하는 프레임 시퀀스내의 H 프레임에 포함되어 있는 영상 블록의 모션벡터에 대한 정보를, 상기 L단계보다 높은 N단계에 속하는 H 프레임내에서, 상기 영상블록과 동위치에 있는 블록의 모션벡터를 이용하는 정보로 기록한다. 이로써, 양 모션벡터가 유사한 경우 모션벡터의 코딩량을 줄여 MCTF의 코딩율을 향상시킬 수 있다.

MCTF, 엔코딩, 모션벡터, 시간적분해, 레벨, Temporal Decomposition

Description

시간적 분해레벨이 다른 픽처의 모션벡터를 이용하는 영상신호의 엔코딩/디코딩 방법 및 장치 {Method and apparatus for encoding/decoding a video signal using motion vectors of pictures at different temporal decomposition level}

도 1은 영상신호를 엔코딩하는 MCTF 방식을 도식적으로 나타낸 것이고,

도 2는 본 발명에 따른 영상신호 코딩방법이 적용되는 영상신호 엔코딩 장치의 구성블록을 도시한 것이고,

도 3은 도 2의 MCTF 엔코더내의 추정/예측과 갱신동작을 수행하는 주요 구성을 도시한 것이고,

도 4는, 본 발명에 따라 영상신호를 엔코딩하는 MCTF 방식을 임의의 시간적 분해단계에 대해 예시한 것이고,

도 5는, 본 발명에 따라 영상신호를 엔코딩하는 MCTF 방식을 최종 시간적 분해단계에 대해 예시한 것이고,

도 6은 도 2의 장치에 의해 엔코딩된 데이터 스트림을 디코딩하는 장치의 블록도이고,

도 7은 도 6의 MCTF 디코더내의 역 예측 그리고 역갱신동작을 수행하는 주요 구성을 도시한 것이다.

<도면의 주요부분에 대한 부호의 설명>

100: MCTF 엔코더 102: 추정/예측기

103: 갱신기 110: 텍스처 엔코더

120: 모션 코딩부 130: 먹서

200: 디먹서 210: 텍스처 디코더

220: 모션 디코딩부 230: MCTF 디코더

231: 역갱신기 232: 역 예측기

234: 배열기 235: 모션벡터 디코더

310, 320: 예측/갱신 블록

본 발명은, 영상신호의 스케일러블(scalable) 엔코딩 및 디코딩에 관한 것으로, 특히, MCTF (Motion Compensated Temporal Filter) 방식에 의한 스케일러블 코딩 시에, 시간적 분해레벨이 다른 픽처의 모션벡터를 이용하고 그에 따라 엔코딩된 영상데이터를 디코딩하는 방법 및 장치에 관한 것이다.

현재 널리 사용되고 있는 휴대폰과 노트북, 그리고 앞으로 널리 사용하게 될 이동(mobile) TV 와 핸드 PC 등이 무선으로 송수신하는 디지털 영상신호에 대해서는 TV신호를 위한 대역폭과 같은 넓은 대역을 할당하기가 여의치 않다. 따라서, 이와 같은 이동성 휴대장치를 위한 영상 압축방식에 사용될 표준은 좀 더 영상신호의 압축 효율이 높아야만 한다.

더욱이, 상기와 같은 이동성 휴대장치는 자신이 처리 또는 표현(presentation)할 수 있는 능력이 다양할 수 밖에 없다. 따라서, 압축된 영상이 그만큼 다양하게 사전준비되어야만 하는 데, 이는 동일한 하나의 영상원(source)을, 초당 전송 프레임수, 해상도, 픽셀당 비트수 등 다양한 변수들의 조합된 값에 대해 구비하고 있어야 함을 의미하므로 컨텐츠 제공자에게 많은 부담이 될 수 밖에 없다.

이러한 이유로, 컨텐츠 제공자는 하나의 영상원에 대해 고속 비트레이트의 압축 영상 데이터를 구비해 두고, 상기와 같은 이동성 장치가 요청하면 원시 영상을 디코딩한 다음, 요청한 장치의 영상처리 능력(capability)에 맞는 영상 데이터로 적절히 엔코딩하는 과정을 수행하여 제공한다. 하지만 이와 같은 방식에는 트랜스코딩(transcoding)(디코딩+엔코딩) 과정이 필히 수반되므로 이동성 장치가 요청한 영상을 제공함에 있어서 다소 시간 지연이 발생한다. 또한 트랜스코딩도 목표 엔코딩이 다양함에 따라 복잡한 하드웨어의 디바이스와 알고리즘을 필요로 한다.

이와 같은 불리한 점들을 해소하기 위해 제안된 것이 스케일러블 영상 코덱(SVC:Scalable Video Codec)이다. 이 방식은 영상신호를 엔코딩함에 있어, 최고 화질로 엔코딩하되, 그 결과로 생성된 픽처 시퀀스의 부분 시퀀스( 시퀀스 전체에서 간헐적으로 선택된 프레임의 시퀀스 )를 디코딩해 사용해도 저화질의 영상 표현이 가능하도록 하는 방식이다. MCTF (Motion Compensated Temporal Filter) 방식이 상기와 같은 스케일러블 영상코덱에 사용하기 위해 제안된 방식이다.

도 1은 영상신호를 엔코딩하는 MCTF 방식을 도식적으로 나타낸 것으로서, 주어진 영상 시퀀스에서 교번적으로 영상 프레임을 선택하여 H프레임으로 변환하는 다이어딕(dyadic) 방식을 예로 한 것이다.

도 1에서 영상신호는 숫자로 표기된 픽처 시퀀스로 이루어져 있으며, 이 중 기수의 픽처에 대해서는 기 정해진 크기의 매크로 블록으로 분할하고, 각 매크로 블록에 대해서 좌우 인접된 우수의 픽처를 기준으로 하여 예측(prediction) 동작을 행하여 이미지 차에 대한 값인 에러값( 레지듀얼(residual) )으로 해당 매크로 블 록에 코딩하며, 기준이 된 픽처의 매크로 블록( 기준블록 )으로의 모션벡터도 구하여 그 정보도 함께 코딩한다. 에러값으로 코딩된 픽처가 'H'로 마크되어 있다. 이 H픽처에 있는 에러값은 그 에러값이 구해지는 기준이 된 기준픽처( 기준블록이 있는 픽처 )에 더해지는 데 이 과정을 갱신(update) 동작이라 하며 이 갱신 동작에 의해 생성된 픽처가 'L'로 마크되어 있다. 이 예측 및 갱신과정이 하나의 GOP내의 픽처들( 예를 들어, 도 1의 1 내지 16 )에 대해 행해짐으로써, 8개의 H픽처와 8개의 L픽처가 얻어지고, 이중 L픽처들에 대해서 전술한 예측 및 갱신동작을 다시 수행하여 그 결과 얻어지는 L픽처들에 대해 다시 예측 및 갱신동작을 수행하여 H픽처와 L픽처를 생성한다. 이와 같은 과정을 시간적 분해(Temporal Decomposition)라고 하며, 분해과정상의 N단계를 N 'MCTF 레벨'( 또는 '시간적 분해 레벨' )이라고 한다( 이하에서는, '레벨 N'으로 약칭한다 ).

도 1에 도시된 바와 같이, 예시된 하나의 GOP(Group of Picture)에 대해, 예를 들어 하나의 L픽처가 얻어질 때까지 시간적 분해 과정이 진행되며, 마지막으로 얻어진 L픽처와 각 분해단계에서 생성된 H픽처의 전부 또는 일부가 해당 GOP에 대한 엔코딩 영상 데이터로 제공된다.

그런데, 앞서 설명한 바와 같이, H픽처로 코딩할 때 각 매크로 블록의 모션벡터를 개별적으로 코딩하는 데, 이 또한 상당한 정보량이 되므로 영상신호의 압축효율에 영향을 미친다. 그러므로, 모션벡터간에 서로 유사성이 있으면 이를 이용하여 모션벡터의 정보량을 감소시킬 필요가 있다.

본 발명은 상기의 필요성에 의해 창작된 것으로서, 그 목적은 영상을 스케일러블 방식으로 엔코딩함에 있어서, 에러값으로 엔코딩한 현재 픽처와 시간적 분해레벨이 다른 픽처의 모션 벡터를 이용하여 현재 픽처의 모션벡터를 코딩하는 방법 및 장치를 제공하는 것이다.

본 발명은, 시간적 분해레벨이 다른 픽처의 모션 벡터를 이용하도록 영상블록이 엔코딩된 데이터 스트림을 디코딩하는 방법 및 장치를 제공함을 또 다른 목적으로 한다.

본 발명은 또한, 시간적 분해레벨이 더 높은 픽처 시퀀스가 없는 최종의 시간적 분해레벨에 있는 에러값으로 코딩한 현재 픽처에 대해서는, 상기 에러값이 더해진 픽처의 모션 벡터를 이용하여 현재 픽처의 모션벡터를 코딩하고, 이와 같이 코딩된 모션벡터 정보를 갖는 데이터 스트림을 디코딩하는 방법 및 장치를 제공함을 목적으로 한다.

상기한 목적을 달성하기 위해 본 발명은, 입력 영상신호를 시간적 분해과정을 거쳐 엔코딩할 때, 시간적 분해과정의 L단계에 속하는 프레임 시퀀스 중 에러값으로 코딩한 1프레임에 포함되어 있는 영상 블록의 모션벡터에 대한 정보를, 상기 시간적 분해과정의 N단계(N≠L)에 속하는 에러값으로 코딩된 2프레임내에서, 상기 영상블록과 동위치에 있는 대응블록의 모션벡터를 이용하는 정보로 기록하는 것을 특징으로 한다.

또한, 본 발명은, 입력 영상신호를 시간적 분해과정을 거쳐 엔코딩할 때, 시간적 분해과정의 N단계에 속하는 프레임 시퀀스 중 에러값으로 코딩한 1프레임에 포함되어 있는 영상 블록의 모션벡터에 대한 정보를, 상기 1프레임의 에러값이 더해진 블록을 갖는, 상기 N단계에 속하는 2프레임내에서, 상기 영상블록과 동위치에 있는 대응블록의 모션벡터를 이용하는 정보로 기록하는 것을 특징으로 한다.

본 발명에 따른 일 실시예에서는, 상기 N단계는 L단계보다 한 단계 높은 단계이다.

본 발명에 따른 일 실시예에서는, 상기 N단계의 2프레임은 N단계의 프레임 시퀀스에서, 상기 L단계의 1프레임과 시간적으로 최근접된 에러값으로 코딩한 프레임이다.

본 발명에 따른 일 실시예에서는, 상기 2 프레임내의 대응블록의 모션벡터를 이용하는 것이 정보량에 있어서 유리한 경우에, 현재 영상블록의 모션벡터에 대한 정보를 상기 대응 블록의 모션벡터를 이용하는 정보로 기록한다.

본 발명에 따른 일 실시예에서는, 현재 영상블록의 모션벡터에 대한 정보를 상기 대응 블록의 모션벡터로부터 유도되는 벡터와 동일한 것으로 기록하거나, 또는 상기 대응 블록의 모션벡터로부터 유도되는 벡터와, 현재 영상블록의 실제 모션벡터와의 차벡터로 기록한다.

본 발명에 따른 일 실시예에서는, 상기 유도되는 벡터는, 상기 대응 블록의 모션벡터에 시간적 분해레벨이 다른 프레임간의 시간차 비율을 곱함으로써 얻는다.

본 발명에 따른 일 실시예에서는, 시간적 분해과정의 최종 단계에 의해 생성된 L프레임에 대해서도 P픽처로 코딩하고 그 코딩에 의해 얻어지는 모션벡터 정보를 동일 단계의 H프레임내의 블록의 모션벡터를 구하는 데 이용할 수 있게 한다.

본 발명에 따른 일 실시예에서는, GOP단위로 시간적 분해과정이 수행될 때, 최종 시간적 분해단계에 의한 L프레임을, 앞선 GOP의 최종 시간적 분해과정에 의한 L프레임을 기준 프레임으로 하여 P픽처로 코딩한다.

이하, 본 발명의 바람직한 실시예에 대해 첨부도면을 참조하여 상세히 설명한다.

도 2는 본 발명에 따른 영상신호의 스케일러블(scalable) 코딩방법이 적용되는 영상신호 엔코딩 장치의 구성블록을 도시한 것이다.

도 2의 영상신호 엔코딩 장치는, 입력 영상신호를 MCTF 방식에 의해 각 매크로 블록(macro block) 단위로 엔코딩하고 적절한 관리정보를 생성하는, 본 발명이 적용되는 MCTF 엔코더(100), 상기 엔코딩된 각 매크로 블록의 정보를 압축된 비트열로 변환하는 텍스처(Texture) 코딩부(110), 상기 MCTF 엔코더(100)에 의해 얻어지는 영상블럭들의 모션 벡터들(motion vectors)을 지정된 방식에 의해 압축된 비트열로 코딩하는 모션 코딩부(120), 상기 텍스처 코딩부(110)의 출력 데이터와 상기 모션 코딩부(120)의 출력 벡터 데이터를 기 지정된 포맷으로 인캡슐(encapsulate)한 다음 기 지정된 전송포맷으로 상호 먹싱하여 출력하는 먹서(130)를 포함하여 구성된다.

상기 MCTF 엔코더(100)는, 임의 영상 프레임( 또는 픽처 )내의 매크로 블록에 대하여 모션 추정(motion estimation)과 예측(prediction) 동작을 수행하며, 또한 기준 프레임내의 매크로 블록과의 이미지 차에 대해서 그 기준 매크로 블록에 더하는 갱신(update) 동작을 수행하는 데, 도 3은 이를 수행하기 위한 주요 구성을 도시한 것이다.

상기 MCTF 엔코더(100)는, 입력 영상 프레임 시퀀스를 에러값으로 코딩할 프레임들과 상기 에러값을 더할 프레임들로 분리한 후 추정/예측과 갱신동작을 수차 수행하는 데, 도 3의 구성은, 그 중 한 분해레벨의 추정/예측 및 갱신동작에 관련된 구성을 도시한 것이다.

도 3의 구성은, 전 또는 후로 인접된 프레임에서, 모션추정(motion estimation)을 통해 레지듀얼(residual) 데이터로 코딩할 기수( 또는 우수 )프레임내의 각 매크로 블록에 대한 기준블록을 찾고 그 기준블럭과의 이미지 차( 각 대응화소의 차값 ) 및 모션 벡터를 산출하는 예측 동작(prediction)을 수행하는 추정/예측기(102)와, 상기 모션 추정에 의해 그 기준 블록이 우수( 또는 기수 )프레임에서 찾아진 경우의 매크로 블록에 대해서는 상기 구해진 이미지 차를 정규화(normalize)한 후, 해당 기준 블록에 더하는 갱신(update) 동작을 수행하는 갱신기(103)를 포함하고 있다. 상기 갱신기(103)가 수행하는 동작을 'U' 동작(opeation)이라 하고 'U'동작에 의해 생성된 프레임이 L프레임이며, L프레임은 저역 서브밴드 픽처를 갖는다. 상기 U동작은 기 공지된 방법과 동일하므로 본 발명에 대한 설명에서는 생략한다.

도 3의 추정/예측기(102)와 갱신기(103)는 영상 프레임이 아니고 하나의 프레임이 분할된 복수 개의 슬라이스(slice)에 대해 병렬적으로 동시에 수행할 수도 있으며, 상기 추정/예측기(102)에 의해 만들어지는 프레임(슬라이스)이 H프레임(슬라이스)이다. 이 H프레임(슬라이스)에 있는 차값의 데이터는 영상신호의 고주파 성분을 반영한다. 이하의 실시예에서 사용되는 '프레임'의 용어는, 슬라이스로 대체하여도 기술의 등가성이 유지되는 경우에는 슬라이스의 의미를 당연히 포함하는 것으로 사용된다.

상기 추정/예측기(102)는 입력되는 영상 프레임들( 또는 전단계에서 얻어진 L프레임들 )의 각각에 대해서, 기 정해진 크기의 매크로블럭(macro-block)으로 분할한 다음, 프레임간 모션추정을 통해 해당 매크로 블록을 코딩하고 그 모션벡터를 직접 구한다. 이 때 구해진 모션벡터를 상기 모션 코딩부(120)에 바로 제공하지 않고 잠시 저장한 다음 다음 분해단계에서 구해진 모션벡터를 이용하여 코딩하게 된다.

상기의 과정에 대해, 도 4의 예시된 임의 레벨의 시간적 분해과정에 기반한 엔코딩과정을 참조하여 상세히 설명한다. 도 4에서는, 도면의 복잡성을 피하기 위해 갱신동작에 대한 표시는 생략하고 예측동작에 대한 표시만을 하였다.

도 4의 예에서, N-1 분해레벨에 있는 임의의 기수 L프레임( 또는 입력 영상 프레임 ) L_N-1,2k+1을 에러값의 H프레임(H_N,k)으로 코딩할 때, 레벨 N-1 시퀀스의 분해를 위한 예측/갱신 블록(310)내의 상기 추정/예측기(102)는, 그 프레임내의 임의 매크로 블록과 가장 높은 상관관계(correlation)를 갖는 블록을 인접된 전 및/또는 후 프레임에서 찾아서 기준블록과의 이미지차를 코딩한다. 이와 같은 동작을 'P' 동작(opeation)이라 한다. 이 'P'동작에 의해 생성되는 프레임이 곧 'H'프레임이다. 그리고 가장 높은 상관관계를 갖는 블록이란 대상 이미지 블록과 이미지 차가 가장 적은 블록이다. 이미지 차의 크기는, 예를 들어 pixel-to-pixel의 차이값 총합 또는 그 평균값 등으로 정해진다. 이미지 차가 가장 적은 블록이 기준(reference) 블록이 되는 데, 이 기준블록은 각 참조 프레임에 하나씩 복수개 될 수도 있다. 그리고, 그 기준블록으로의 모션벡터 MV0_N,k 및/또는 MV1_N,k을 구한 후 이를 임시 저장하고, 첫번째 분해단계가 아니면 구해진 모션벡터들의 정보를 전단의 예측/갱신 블록(미도시)에 제공한다.

한편, H프레임으로 코딩되지 않은 L프레임(L_N-1,2k)은 상기 갱신기(103)에 의해 갱신된 후 다음 분해단계를 위해 다음 단의 예측/갱신 블록(320)으로 전송된다. 다음 단의 예측/갱신 블록(320)도 입력되는 L프레임 시퀀스에 대해 전술한 과정을 동일하게 수행하고 그 결과로 얻어진 모션벡터들(MV0_N+1,i, 및/또는 MV1_N+1,i)의 정보를 전단의 상기 추정/예측기(102)에 제공한다.

그러면, 상기 추정/예측기(102)는, 수신되는 모션벡터 정보를 참조하여 앞서 임시 저장된 모션벡터들에 대해서 최종 코딩을 하게 되는 데, 이 과정에 대해서 앞서 임시 저장된 MV0_N,k 및/또는 MV1_N,k를 예로하여 상세히 설명한다.

먼저, 상기 추정/예측기(102)는 수신되는 모션 벡터 정보에서, 상기 모션 벡 터 MV0_N,k 및/또는 MV1_N,k를 가지는 매크로 블록(M41)의 프레임(H_N,k)과 시간적으로 최근접된 다음 분해레벨의 H프레임(H_N+1,j, 여기서 j는 k를 2로 나눈 몫, 이하, j=k/2로 표기한다)내에서 상기 매크로 블록(M41)과 동위치에 있는(spatially co-located) 블록(M42)의 모션벡터(MV0_N+1,j 및/또는 MV1_N+1,j) 정보를 검출하고 그 중 현재 프레임(H_N,k)이 있는 시구간을 스팬(span)하는 벡터를 선택한다. 도 4의 예에서, k가 짝수이면 MV0_N _+1,j가 선택되고, k가 홀수이면 MV1_N _+1,j가 선택된다. 그리고, 그 검출된 각 모션벡터 정보를 대응하여 다음관계식에 따라 유도벡터(dmv0_N,k,dmv1_N,k)를 각각 산출한다.

k가 짝수인 경우( j=k/2 ),

dmv0_N _,k = MV0_N _+1,j *Ta÷Tm 식 (1a)

dmv1_N _,k = -MV0_N _+1,j *Tb÷Tm 식 (1b)

k가 홀수인 경우( j=k/2 ),

dmv0_N _,k= -MV1_N _+1,j *Ta÷Tm 식 (1a)'

dmv1_N _,k = MV1_N _+1,j *Tb÷Tm 식 (1b)'

여기서, Ta와 Tb는 상기 모션 벡터 MV0_N,k 및/또는 MV1_N,k를 가지는 매크로 블록(M41)의 프레임(H_N,k)과 그 매크로 블록의 기준 블록이 있는 프레임과의 각 시간 차이고, Tm은 MV0_N+1,j 및/또는 MV1_N+1,j의 모션벡터를 가지는 매크로 블록(M42)의 프레임(H_N+1,j)과 그 매크로 블록의 기준블록이 있는 프레임간의 시간차이다.

상기 식 (1b)와 (1a)'에 보인 바와 같이, 상기 추정/예측기(102)는 유도하고자 하는 목표 벡터와 이용하고자 하는 다음 분해레벨의 모션 벡터와의 방향이 반대이면, 음의 부호를 붙여서 유도한다.

위와 같은 방식으로 유도된 벡터(dmv0_N,k, dmv1_N,k)가 실제 구해져서 임시 저장되어 있는 모션 벡터(MV0_N,k,MV1_N,k)와 동일하면, 상기 추정/예측기(102)는 해당 매크로 블록(M41)의 헤더내에 다음 분해레벨의 대응블록의 모션벡터의 유도벡터와 동일하다는 정보만을 기록하고( 또는 실제벡터와 유도벡터의 차가 '0'이라는 정보로 기록하고 ), 실제 구한 모션 벡터(MV0_N,k,MV1_N,k) 정보는 상기 모션 코딩부(120)에 전달되지 않는다. 즉, 모션 벡터가 코딩되지 않는다.

만약, 유도된 벡터(dmv0_N,k, dmv1_N,k)와 실제 구해진 모션벡터(MV0_N,k,MV1_N,k)가 다른 경우에는, 실제 벡터(MV0_N,k,MV1_N,k)를 코딩하는 것보다, 실제 벡터와 유도된 벡터와의 차벡터(MV0_N,k-dmv0_N,k,MV1_N,k-dmv1_N,k)를 코딩하는 것이, 예를 들어 데이터량의 관점에서 유리한 경우 상기 벡터차를 상기 모션 코딩부(120)에 전달하여 코딩되도록 하고, 해당 매크로 블록(M41)의 헤더에는 더 높은 분해레벨의 동위치의 모션벡터로부터 유도되는 벡터와의 차벡터가 기록되었음을 알리는 정보를 기록한다. 예를 들어, flag_predict_higher_level_mode의 플래그를 정의하고, 이 플래그의 값을, 예를 들어 1로 설정함으로써, 다음 분해레벨의 동위치의 매크로 블록의 모션벡터를 이용하여 현재 매크로 블록의 모션벡터를 구하여야 함을 지시하게 된다. 만약, 차벡터를 코딩하는 것이 불리하다면, 앞서 구해진 실제 벡터(MV0_N,k,MV1_N,k)를 상기 모션 코딩부(120)에 제공하여 코딩하게 된다. 이와 같이 모션벡터가 각 매크로 블록에 대해 실질적으로 결정되고 그에 따라 필요한 정보가 매크로 블록, 픽처 등의 헤더에 기록된 후에 그 H-프레임 시퀀스를 상기 텍스처 코딩부(110)로 출력하여 압축되도록 한다.

상기에 설명된 동작은, 현재 분해레벨이 마지막이 아닌 경우에는 계속적으로 수행되며, 만약 현재 분해레벨이 마지막레벨인 경우에는 최종 분해단계에 의해 생성된 L프레임의 데이터 코딩방법에 따라, 마지막 분해레벨의 H프레임의 모션벡터를 종래와 동일하게 코딩하거나 L프레임의 모션벡터를 이용하여 H프레임의 모션벡터 정보를 코딩한다.

즉, 최종적으로 생성된 L프레임, 예를 들어 GOP당 하나씩 생성된 L프레임을 생성된 그대로 전송하는 경우에는 최종 분해레벨의 H프레임내의 각 매크로 블록의 모션벡터를 종래와 같은 방법으로 결정하여 상기 모션 코딩부(120)로 전송하고, 최종적으로 생성된 L프레임을, 도 5에 도시된 바와 같이, 이전 GOP내의 최종단계에 의해 생성된 L프레임의 데이터를 기준으로 하는 에러 데이터를 갖는 P픽처로 변환하여 전송하는 경우에는, 그 P픽처내의 동위치의 매크로 블록의 모션벡터 정보를 이용하여 코딩하게 된다.

즉, 상기 식 (1a) 및 (1b)의 식에 있는, 다음 분해레벨의 모션벡터 정보의 위치에, 동일 레벨의 L프레임의 P픽처내의 대응블록의 모션벡터 정보(MVL0_N)를 대입하여 유도벡터를 먼저 구한다.

예를 들어, 하나의 GOP에 대해 하나의 L프레임을 생성한다면, 도 5에 예시된 바와 같이 마지막 분해레벨(도 5에서 레벨 N)의 H프레임내의 매크로블록(M51)의 모션벡터(MV0_N,0 및/또는 MV1_N,0)에 대한 유도벡터(dmv0_N,0,dmv1_N,0)는 다음의 식 (2a) 및 (2b)에 따라 구하게 된다.

dmv0_N _,0 = MVL0_N *Ta÷Tm 식 (2a)

dmv1_N _,0 = -MVL0_N *Tb÷Tm 식 (2b)

여기서, Ta와 Tb는, 상기 모션 벡터 MV0_N,0 및/또는 MV1_N,0를 가지는 매크로 블록(M51)의 프레임(H_N,0)과 그 매크로 블록의 기준 블록이 있는 전 프레임 및 후 프레임과의 각 시간차이고, Tm은 최종 L 프레임(L_N,1)과 그 매크로 블록의 기준블록이 있는 프레임간의 시간차이다. 식 (2b)에서와 같이 구하고자 하는 벡터의 방향이 상이하면 음의 부호를 붙여서 유도한다.

유도벡터가 구해진 후에는, 앞서 설명한 바와 같이, 유도된 벡터와의 차벡터(MV0_N,0-dmv0_N,0,MV1_N,0-dmv1_N,0)를 코딩하는 것이 유리한 경우에 상기 벡터차가 코딩되도록 하고, 해당 매크로 블록(M51)의 헤더에는, flag_predict_higher_level_mode의 플래그를, 예를 들어 1로 설정하게 된다. 물론, 유리하지 않은 경우에는 현재 매크 로 블록(M51)에 대해 구해진 벡터(MV0_N,0,MV1_N,0)를 그대로 코딩하게 된다.

상기의 설명에서와 같이, 각 시간적 분해단계에서 다음 단계의 시간적 분해단계에서 모션벡터가 구해지면 현 단계에서의 모션 벡터 코딩을 결정하는 방식대신, 각 시간적 분해단계에서 모션벡터를 모두 구하고, 최종 시간적 분해과정이 종료된 후, 구해진 모든 모션벡터를 다음 단계의 모션벡터를 이용하여 차벡터로 코딩할 것인지 아닌 지를 결정하여 모션벡터 코딩과정을 종료할 수도 있다. 이 방식에서는, 레벨이 가장 높은 픽처의 모션벡터부터 코딩을 하고, 순차적으로 낮은 레벨의 픽처의 모션벡터를 코딩하게 된다. 이 때도, 물론, 높은 레벨의 모션벡터를 이용하는 것이 유리한 경우에 차성분의 벡터를 코딩하게 된다.

지금까지 설명한 방법에 의해 코딩된 벡터정보를 갖는 엔코딩된 L 및 H프레임의 시퀀스로 이루어진 데이터 스트림의 전부 또는 일부는 유선 또는 무선으로 디코딩 장치에 전송되거나 기록매체를 매개로 하여 전달되며, 디코딩 장치는 이후 설명하는 방법에 따라 엔코딩된 데이터 스트림으로부터 원래의 영상신호를 복원하게 된다.

도 6은 도 2의 장치에 의해 엔코딩된 데이터 스트림을 디코딩하는 장치의 블록도이다. 도 6의 디코딩 장치는, 수신되는 데이터 스트림에서 압축된 모션 벡터 스트림과 압축된 매크로 블록 정보 스트림을 분리하는 디먹서(200), 압축된 매크로 블록 정보 스트림을 원래의 비압축 상태로 복원하는 텍스처 디코딩부(210), 압축된 모션 벡터 스트림을 원래의 비압축 상태로 복원하는 모션 디코딩부(220), 압축해제 된 매크로 블록 정보 스트림과 모션 벡터 스트림을 MCTF 방식에 따라 원래의 영상신호로 역변환하는 MCTF 디코더(230)를 포함하여 구성된다.

상기 MCTF 디코더(230)는, 입력되는 스트림으로부터 원래의 영상 프레임 시퀀스를 복원하기 위한 도 7의 구성을 포함한다.

도 7은 디코더의 주요 구성을 도시한 것으로서, MCTF 레벨 N의 H와 L프레임 시퀀스를 레벨 N-1의 L 프레임 시퀀스로 복원하는 구성이다. 도 7에는, 입력되는 H 프레임의 각 화소의 차값을 입력되는 L프레임에서 감하는 역갱신기(231), H프레임의 이미지 차가 감해진 L프레임과 그 H프레임을 사용하여 원래의 이미지를 갖는 L프레임을 복원하는 역 예측기(232), 입력되는 모션 벡터 스트림을 디코딩하여 H프레임내의 각 매크로 블록의 모션벡터 정보를 각 단(stage)의 역 예측기(232 등)에 제공하는 모션 벡터 디코더(235), 그리고 상기 역 예측기(232)에 의해 완성된 L프레임을 상기 역갱신기(231)의 출력 L프레임 사이에 간삽시켜 정상 순서의 L프레임 시퀀스( 또는 최종 영상 프레임 시퀀스 )로 만드는 배열기(234)를 포함한다.

상기 배열기(234)에 의해 출력되는 L 프레임은 레벨 N-1의 L프레임 시퀀스(701)가 되고 이는 입력되는 N-1레벨의 H프레임 시퀀스(702)와 함께 다음 단의 역갱신기와 역 예측기에 의해 L프레임 시퀀스로 다시 복원되며, 이 과정이 엔코딩시의 MCTF 레벨만큼 수행되면 원래의 영상 프레임 시퀀스를 얻게된다.

레벨 N에서의 H프레임의 L프레임으로의 복원과정을 본 발명과 관련하여 보다 상세히 설명하면, 먼저, 상기 역갱신기(231)는, 임의의 L프레임에 대해, 그 프레임내에 블록을 기준블록으로 하여 이미지 차를 구한 모든 H프레임내의 매크로 블록의 에러값을 상기 L프레임의 해당 블록에서 감하는 동작을 수행한다.

그리고, 상기 역 예측기(232)는, 임의 H프레임내의 매크로 블록에 대해 그 모션벡터에 대한 정보를 확인하고, 그 정보가 더 높은 분해레벨의 H프레임의 모션벡터를 이용하는 것을 지시하고 있으면, 즉 앞서 정의된 flag_predict_higher_level_mode 플래그가 1이면, 상기 모션벡터 디코더(235)로부터 제공되는 모션벡터 정보에서, 현재 레벨(N)의 H프레임에 시간적으로 최근접된, 분해레벨 N+1의 H프레임내의 대응블록( 동위치의 매크로 블록 )의 모션벡터 정보( 이 정보는 현재 디코딩할 분해레벨에 앞서 이미 디코딩된 정보이다 )를 검출한 후, 앞서의 식 ((1a) 및/또는 (1b)) 또는 ((1a)' 및/또는 (1b)')에 따라 유도벡터(dmv0_N,k,dmv1_N,k)를 구하고, 그 벡터를 그대로 사용하거나 또는 상기 모션벡터 디코더(235)로부터 제공되는 해당 매크로 블록의 차벡터(MV0_N,k-dmv0_N,k,MV1_N,k-dmv1_N,k)에 상기 구해진 유도벡터를 더함으로써 실제 모션벡터(MV0_N,k,MV1_N,k)를 구한다. 상기 역 예측기(232)는 식 ((1a) 및/또는 (1b)) 또는 ((1a)' 및/또는 (1b)')을 적용함에 있어, 현재 매크로 블록의 기준블록이 있는 프레임까지의 시간격(Ta,Tb)를 직접 알 수 없으므로, 분해레벨 N의 현재 H프레임과, 상기 대응블록이 있는 분해레벨 N+1의 H프레임과 상기 대응블록의 기준블록이 있는 프레임과까지의 각 시간격을 Ta와 Tb로 간주한다. 즉, Tm=Ta+Tb이다. 각 프레임의 시간정보는 엔코딩 스트림내의 GOP 등의 헤더정보에 포함되어 있는 프레임율(frame rate) 등의 정보로부터 추적하여 알 수 있다.

만약, 현재 디코딩하는 H프레임 시퀀스의 레벨(N)이 엔코딩시의 마지막 분해레벨인 경우, 즉 최초 디코딩 단계인 경우에는, 동일 분해레벨(N)의 P-픽처로 코딩된 L프레임내의 대응블록의 모션벡터 정보를 식 (2a) 및/또는 (2b)에 적용하여 유도벡터를 구한다음, 실제 모션벡터를 구하는 데 사용한다.

이와 같이 더 높은 분해레벨의 H프레임 또는 동일레벨의 L프레임의 모션벡터로부터 유도하여 구해진 실제 벡터 또는 직접 코딩되어 있는 실제 모션벡터를 참조하여 그 매크로 블록의 L프레임에 있는 기준블록을 파악한 다음 해당 매크로 블록내의 각 화소의 차값에 기준블록의 화소값을 더함으로써 원래 이미지를 복원한다. 현재 H프레임에 대한 모든 매크로 블록에 대해 상기와 같은 동작이 수행되어 L프레임으로 복원되면 이 L프레임들은 상기 갱신기(231)에 의해 갱신된 L프레임들과 상기 배열기(234)를 통해 교번적으로 배치되어 다음 단으로 출력된다.

전술한 방법에 따라, MCTF방식으로 엔코딩된 데이터 스트림이 영상 프레임 시퀀스로 복구된다.

전술한 디코딩 장치는, 이동통신 단말기 등에 실장되거나 또는 기록매체를 재생하는 장치에 실장될 수 있다.

상술한 바와 같이, MCTF 엔코딩에 있어서, 임의 픽처내의 블록의 모션벡터의 코딩에, 시간적 분해단계가 높은 픽처들의 모션 벡터를 이용함으로써, 양 모션벡터간의 유사성이 높은 경우 모션벡터의 코딩량을 줄여 MCTF의 코딩율을 향상시킬 수 있다.

Claims

영상신호를 시간적 분해과정을 거쳐 엔코딩하는 장치에 있어서,

상기 시간적 분해과정의 L단계에 속하는 프레임 시퀀스 중 에러값으로 코딩한 1프레임에 포함되어 있는 영상 블록의 모션벡터에 대한 정보를, 상기 시간적 분해과정의 N단계(N≠L)에 속하는 에러값으로 코딩된 2프레임내에서, 상기 영상블록과 동위치에 있는 대응블록의 모션벡터를 이용하는 정보로 기록하는 추정/예측기를 포함하여 구성되는 것을 특징으로 하는 장치.
제 1항에 있어서,

상기 N단계는, 시간적 분해과정에서 상기 L단계보다 한단계 더 높은 단계인 것을 특징으로 하는 장치.
제 1항에 있어서,

상기 2프레임은, 상기 1프레임에 시간적으로 최근접된 프레임인 것을 특징으로 하는 장치.
제 1항에 있어서,

상기 추정/예측기는, 상기 영상블록의 모션벡터를 상기 대응블록의 모션벡터를 이용하여 구하도록 지시하는 정보를 상기 영상블록의 헤더에 추가로 기록하는 것을 특징으로 하는 장치.
제 1항에 있어서,

상기 추정/예측기에 의해 기록되는, 상기 영상블록의 모션벡터에 대한 정보는, 상기 영상블록에 대한 모션벡터가 상기 대응블록의 모션벡터로부터 유도되는 벡터와 동일함을 지시하는 정보, 또는 상기 영상블록의 모션벡터와 상기 대응블록의 모션벡터로부터 유도되는 벡터와의 차벡터 정보를 포함하는 것을 특징으로 하는 장치.
제 5항에 있어서,

상기 대응블록의 모션벡터로부터 유도되는 벡터는, 상기 대응블록의 모션벡터와, 상기 2프레임과 상기 대응블록의 모션벡터가 지시하는 블록이 있는 다른 프레임과의 시간격에 대한, 상기 1프레임으로부터 벡터 유도방향으로의 프레임까지의 시간격의 비의 곱에 근거하여 구해지는 것임을 특징으로 하는 장치.
제 6항에 있어서,

상기 대응블록의 모션벡터로부터 유도되는 벡터는, 상기 제 1프레임보다 앞선 프레임으로 향하는 유도벡터 및/또는 상기 제 1프레임보다 뒤진 프레임으로 향하는 유도벡터를 포함하는 것을 특징으로 하는 장치.
제 6항에 있어서,

상기 추정/예측기는, 유도 방향과 상기 대응블록의 모션벡터의 방향이 상이하면, 상기 대응블록의 모션벡터와 상기 비의 곱의 결과에 음의 부호를 부가하여 유도벡터를 얻는 것을 특징으로 하는 장치.
제 1항에 있어서,

상기 추정/예측기는, 상기 N단계이상인 P단계에 속하는 프레임 시퀀스 중 에러값으로 코딩한 3프레임에 포함되어 있는 영상 블록의 모션벡터에 대한 정보를, 상기 P단계에 속하는 4프레임내에서, 상기 영상블록과 동위치에 있는 대응블록의 모션벡터를 이용하는 정보로 기록하되, 상기 4프레임은 상기 3프레임내의 적어도 하나의 매크로 블록의 에러값이 더해진 블록을 갖는 프레임인 것을 특징으로 하는 장치.
제 9항에 있어서,

상기 P단계는 상기 시간적 분해과정의 최종 단계인 것을 특징으로 하는 장치.
제 9항에 있어서,

상기 대응블록의 모션벡터는, 상기 4프레임의 데이터를 다른 프레임을 기준으로 한 에러 데이터를 갖는 프레임으로 코딩함으로써 얻어지는 정보인 것을 특징 으로 하는 장치.
제 11항에 있어서,

상기 다른 프레임은, 상기 영상신호를 구간별로 나누어 상기 시간적 분해과정을 수행할 때, 상기 4프레임이 속한 구간의 직전 구간에 있는 시간적 분해과정의 P단계에 속하는 프레임인 것을 특징으로 하는 장치.
시간적 분해과정을 통해 엔코딩된 비트 스트림을 수신하여 영상신호로 디코딩하는 방법에 있어서,

상기 비트 스트림내의, 상기 시간적 분해과정의 L단계에 속하는 프레임 시퀀스내의 에러값으로 코딩된 1프레임에 포함되어 있는 대상 블록의 모션벡터를, 상기 시간적 분해과정의 N단계(N≠L)에 속하는 에러값의 픽처로부터 디코딩된 2프레임내에서, 상기 영상블록과 동위치에 있는 대응블록의 모션벡터를 이용하여 구하는 1과정; 및

상기 구해진 모션벡터가 지시하는 기준블록의 각 화소 값을 근거로 하여 상기 대상 블록내의 에러값을 원래의 이미지로 복원하는 2과정을 포함하여 이루어지는 것을 특징으로 하는 방법.
제 13항에 있어서,

상기 N단계는, 시간적 분해과정에서 상기 L단계보다 한단계 더 높은 단계인 것을 특징으로 하는 방법.
제 13항에 있어서,

상기 2프레임은, 상기 1프레임에 시간적으로 최근접된 프레임인 것을 특징으로 하는 방법.
제 13항에 있어서,

상기 1과정은, 상기 대상 블록의 헤더에 포함되어 있는 정보가, 상기 대응블록의 모션벡터를 이용하는 것으로 지시되어 있으면, 상기 대응블록의 모션벡터와, 상기 1프레임과 상기 2프레임과의 시간격에 대한, 상기 1프레임과 상기 대응블록의 모션벡터가 지시하는 블록이 있는 프레임과의 시간격의 비의 곱에 근거하여 유도되는 벡터를 이용하여 상기 대상블록의 모션벡터를 구하는 것을 특징으로 하는 방법.
제 16항에 있어서,

상기 대응블록의 모션벡터로부터 유도되는 벡터는, 상기 제 1프레임보다 앞선 프레임으로 향하는 유도벡터 및/또는 상기 제 1프레임보다 뒤진 프레임으로 향하는 유도벡터를 포함하는 것을 특징으로 방법.
제 16항에 있어서,

상기 유도되는 벡터는, 유도 방향과 상기 대응블록의 모션벡터의 방향이 상 이하면, 상기 대응블록의 모션벡터와 상기 비의 곱의 결과에 음의 부호를 부가하여 얻는 것을 특징으로 하는 방법.
제 13항에 있어서,

상기 1과정은, 상기 비트 스트림내의, 상기 시간적 분해과정의 N단계이상인 P단계에 속하는 프레임 시퀀스내의 에러값으로 코딩된 3프레임에 포함되어 있는 대상 블록의 모션벡터를, 상기 P단계에 속하는 4프레임내에서, 상기 대상블록과 동위치에 있는 대응블록의 모션벡터를 이용하여 구하는 과정을 더 수행하되,

상기 4프레임은 상기 3프레임내의 적어도 하나의 매크로 블록의 에러값이 더해진 블록을 갖는 프레임인 것을 특징으로 하는 방법.
제 19항에 있어서,

상기 P단계는 상기 시간적 분해과정의 최종 단계인 것을 특징으로 하는 방법.