KR20060109250A - 영상신호의 엔코딩 및 디코딩시에 수행되는 갱신 및 역갱신방법과 장치 - Google Patents

Abstract

본 발명은, 영상신호의 스케일러블(scalable) 엔코딩 및 디코딩시에 수행되는 갱신(update) 및 역갱신(inverse-update) 방법 및 장치에 관한 것으로서, 본 발명에 따른 갱신 및 역갱신 방법에서는, 입력 프레임 시퀀스에 속하는 제 1프레임의 분할된 한 파티션에 대해, 그에 대응되는 영역을, 상기 시퀀스내의 이미지 차 데이터를 갖는 제 2프레임에서 특정하고, 그 특정된 대응 영역이 화소점(integer-pel)과 정렬되지 않는 경우, 그 영역내의 비-화소점의 값을, 그 비-화소점이 속한 블록만의 화소점의 값을 사용해 생성한 후, 그 생성된 대응 영역의 값들을 상기 한 파티션내의 화소값들에서 위치 대응하여 더하거나 차감한다.

MCTF, 갱신, 인터폴레이션, 비-정수펠, update, integer-pel

Description

영상신호의 엔코딩 및 디코딩시에 수행되는 갱신 및 역갱신 방법과 장치 {Updating and inverse-updating method and apparatus being conducted in video signal encoding/decoding process}

도 1은 영상신호를 엔코딩하는 MCTF 방식을 도식적으로 나타낸 것이고,

도 2a 및 2b는 종래의 갱신(update) 방법에 따른 인터폴레이션 과정을 도식적으로 나타낸 것이고,

도 3은 본 발명에 따른 영상신호 코딩방법이 적용되는 영상신호 엔코딩 장치의 구성블록을 도시한 것이고,

도 4는 도 3의 MCTF 엔코더내의 영상 추정/예측과 갱신동작을 수행하는 주요 구성을 도시한 것이고,

도 5는 본 발명에 따라, 갱신동작시에 비-화소점의 값을 생성하기 위한 인터폴레이션 과정을 도식적으로 나타낸 것이고,

도 6은 도 3의 장치에 의해 엔코딩된 데이터 스트림을 디코딩하는 장치의 블록도이고,

도 7은 도 6의 MCTF 디코더내의 역예측 그리고 역갱신 동작을 수행하는 주요 구성을 도시한 것이다.

<도면의 주요부분에 대한 부호의 설명>

100: MCTF 엔코더 102: 추정/예측기

103: 갱신기 110: 텍스처 엔코더

120: 모션 코딩부 130: 먹서

200: 디먹서 210: 텍스처 디코더

220: 모션 디코딩부 230: MCTF 디코더

231: 역갱신기 232: 역 예측기

234: 배열기 235: 모션벡터 디코더

본 발명은, 영상신호의 스케일러블(scalable) 엔코딩 및 디코딩시에 수행되는 갱신(update) 및 역갱신 방법 및 장치에 관한 것이다.

스케일러블 영상 코덱(SVC:Scalable Video Codec) 방식은 영상신호를 엔코딩함에 있어, 최고 화질로 엔코딩하되, 그 결과로 생성된 픽처 시퀀스의 부분 시퀀스( 시퀀스 전체에서 간헐적으로 선택된 프레임의 시퀀스 )를 디코딩해 사용해도 저화질의 영상 표현이 가능하도록 하는 방식이다. MCTF (Motion Compensated Temporal Filter) 방식이 상기와 같은 스케일러블 영상코덱에 사용하기 위해 제안된 엔코딩 방식 중 하나이다.

도 1은 영상신호를 엔코딩하는 일반적인 MCTF 방식을 도식적으로 나타낸 것이다.

도 1에서 영상신호는 숫자로 표기된 픽처 시퀀스로 이루어져 있으며, 이 중 기수의 픽처에 대해서, 좌우의 우수의 픽처를 기준으로 하여 예측(prediction) 동작을 행하여 이미지 차에 대한 값인 에러값( 레지듀얼(residual) )으로 코딩한다. 이 코딩에 의한 결과 픽처가 'H'로 마크되어 있다. 이 H픽처에 있는 레지듀얼 데이터는 그 데이터가 구해지는 기준이 된 기준픽처에 더해지는 데 이 과정을 갱신(update) 동작이라 하며 이 갱신 동작에 의해 생성된 픽처가 'L'로 마크되어 있다. 이 예측 및 갱신과정이 하나의 GOP내의 픽처들( 예를 들어, 도 1의 1 에서 16 )에 대해 행해짐으로써, 8개의 H픽처와 8개의 L픽처가 얻어지고, 이중 L픽처들에 대해서 전술한 예측 및 갱신동작을 다시 수행하여 그 결과 얻어지는 L픽처들에 대해 다시 예측 및 갱신동작을 수행한다. 이와 같은 과정을 시간적 분해(TD:Temporal Decomposition)라고 한다. 도 1의 과정에 의해, 예시된 하나의 GOP에 대해, 예측에 의해 얻어진 모든 H픽처들과 마지막 얻어진 L픽처(101)가 전송된다.

상기의 갱신 동작은, 현재 픽처( 프레임 또는 프레임을 분할한 슬라이스 )에 대해서, 소정 크기, 예를 들어 4x4 크기의 파티션(partition)으로 구획하여 각 파티션 단위로 그 파티션내의 화소 데이터가 기준이 되어 레지듀얼 데이터가 구해진 대응 영역을, H픽처에서 찾아서 그 대응 영역의 레지듀얼 데이터를 현재 파티션의 화소 데이터에 더하게 된다.

현재 파티션의 화소 데이터의 전부 또는 일부를 포함하는 블록을 가리키는 모션벡터를 갖는, H픽처내의 블록들이 현재 파티션에 연결된 정도( 화소 데이터 량 )에 따라 각 모션벡터의 역벡터에 적절한 가중치를 부여하여 더한 벡터로부터 현재 파티션의 대응 영역을 H픽처에서 찾게 된다.

그런데, 상기와 같이 유도된 벡터는, 도 2a에 예시된 바와 같이, 서로 다른 기준 블록을 근거로하여 레지듀얼 데이터가 구해진 블록간의 경계( 도 2a에서 점선으로 표시된 부분 )에 걸치는 영역(201)을 지시할 수 있으며, 또한 그 유도된 벡터(20)가 도 2b에 예시한 바와 같이 비정수-펠(non-integer pel), 예를 들어 하프-펠(half-pel)의 지점을 지시할 수도 있다.

이와 같은 경우에는, 대응 영역(201)내의 정수-펠의 값을 인터폴레이션(interpolation)하여 원하는 하프-펠의 값 구하게 된다. 만약, 6-탭(tap) 필터를 이용해 인터폴레이션을 하는 경우라면 6개의 정수-펠에 적정한 6개의 필터 상수를 곱하여 하나의 하프-펠의 값을 구하게 된다. 예를 들어, 도 2b에서 현재 구할 하프-펠이 x라고 하면, 그 하프-펠은 그 좌우 각 3개의 정수 펠들(c,b,a,d,e,f)을 사용하여 다음 식으로부터 구해진다.

x=a0xc + a1×b + a2×a + a3×d + a4×e + a5×f (an 은 필터 상수)

이와 같은 방식으로 대응 영역(201)의 각 하프-펠의 위치의 값이 모두 구해지면, 즉 4x4의 하프-펠들이 구해지면 그 대응 영역(201)내의 하프-펠 데이터를 1대1로 현재 파티션(200)의 각 화소값과 더하게 된다.

그런데, 도 2b에 예시한 바와 같이, 상기 대응 영역(201)은 서로 다른 블록(211,212,213,214)에 속하는 에러값들로 구성되어 있고, 각 블록은 서로 다른 기준 블록을 근거로하여 구해진 에러값을 가지므로, 서로 다른 블록에 속하는 에러값들 사이에는 공간적 상관성(spatial correlation)이 전혀 없다.

그럼에도 불구하고, 앞서 설명한 바와 같이 비정수-펠의 화소값을 구하기 위해 좌우 각각 정해진 수만큼의 정수 펠을 사용하여 인터폴레이션하게 되면, 전혀 상관성이 없는 정수 펠의 값이 현재 구하고자 하는 비정수-펠에 반영되어 갱신동작에 적용된다. 즉, 도 2b의 예에서, 하프-펠(x)의 값을 구함에 있어서, 하프-펠(x)의 위치와 상관성이 전혀없는 다른 블록의 e와 f의 정수-펠의 값이 상기 하프-펠(x)의 값에 반영된다. 이와 같은 인터폴레이션을 이용한 갱신동작은 원치않는 아티팩트(artifact) 현상( 미세한 블록의 경계가 드러나 보이는 현상 )을 가져올 수 있다.

본 발명은 상기의 문제점을 해소하기 위해 창작된 것으로서, 그 목적은 영상신호의 엔코딩 및 디코딩을 위해 레지듀얼 데이터의 인터폴레이션을 수행함에 있어서, 데이터간에 공간적 상관성을 갖는 데이터만을 사용하는 방법 및 장치를 제공함을 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명에 따른 영상신호의 엔코딩 및 디코딩 방법에서는, 입력 프레임 시퀀스에 속하는 제 1프레임의 분할된 한 파티션에 대해, 그에 대응되는 영역을, 상기 시퀀스내의 이미지 차 데이터를 갖는 제 2프레임에서 특정하고, 그 특정된 대응 영역이 화소점(integer-pel)과 정렬되지 않은 경우, 그 영역내의 비-화소점의 값을, 그 비 화소점이 속한 블록만의 화소점의 값을 사용해 생성한 후, 그 생성된 대응 영역의 값들을 상기 한 파티션내의 화소값들에 위치 대응하여 더하거나 상기 한 파티션내의 화소값들에서 감하는 데 그 특징이 있다.

본 발명에 따른 일 실시예에서는, 상기 비-화소점의 값(x)을 x =

( 여기서, a_i는 기 지정된 계수, p_i는 인접된 화소점의 값 )의 식에 의해 구한다.

본 발명에 따른 일 실시예에서는, p_i가 상기 비-화소점이 속한 블록이 아닌 타 블록내의 화소점의 값인 경우에는, 상기 비-화소점이 속한 블록내의 상기 타 블록과 경계에 있는 화소점의 값으로 상기 p_i를 대체한다.

본 발명에 따른 다른 일 실시예에서는, p_i가 상기 비-화소점이 속한 블록이 아닌 타 블록내의 화소점인 경우에는, 그 값을 0으로 설정한다.

이하, 본 발명의 바람직한 실시예에 대해 첨부도면을 참조하여 상세히 설명한다.

도 3은 본 발명에 따른 레지듀얼 데이터의 인터폴레이션 방법이 적용되는 영 상신호 엔코딩 장치의 구성블록을 도시한 것이다.

도 3의 영상신호 엔코딩 장치는, 입력 영상신호를 MCTF 방식에 의해 각 매크로 블록(macro block) 단위로 엔코딩하고 적절한 관리정보를 생성하는, 본 발명이 적용되는 MCTF 엔코더(100), 상기 엔코딩된 각 매크로 블록의 정보를 압축된 비트열로 변환하는 텍스처(Texture) 코딩부(110), 상기 MCTF 엔코더(100)에 의해 얻어지는 영상블럭들의 모션 벡터들(motion vectors)을 지정된 방식에 의해 압축된 비트열로 코딩하는 모션 코딩부(120), 상기 텍스처 코딩부(110)의 출력 데이터와 상기 모션 코딩부(120)의 출력 데이터를 기 지정된 포맷으로 인캡슐(encapsulate)한 다음 기 지정된 전송포맷으로 상호 먹싱하여 출력하는 먹서(130)를 포함하여 구성된다.

상기 MCTF 엔코더(100)는, 입력 영상 프레임 시퀀스를 기수 및 우수 프레임으로 분리한 후 추정/예측과 갱신동작을 수차, 예를 들어 하나의 GOP( Group of Pictures )에 L프레임( 갱신동작에 의한 결과 프레임 )의 수가 1개가 될 때까지 수행하는 데, 도 4의 구성은, 그 중 한 단계( 'MCTF 레벨'이라고도 한다 )의 추정/예측 및 갱신동작에 관련된 구성을 도시한 것이다.

도 4의 구성은, 전 또는 후로 인접된 프레임에서, 모션추정(motion estimation)을 통해 레지듀얼(residual) 데이터로 코딩할 프레임내의 각 매크로 블록에 대한 기준블록을 찾고 그 기준블럭과의 이미지 차( 각 대응화소의 차값 ) 및 모션 벡터를 산출하는 예측 동작(prediction)을 수행하여 H 픽처를 만드는 추정/예측기(102)와, 상기 모션 추정의 기준 픽처가 된 픽처에 대해, 그 픽처를 기준으로 하여 구해진 레지듀얼 데이터를 더하는 갱신(update) 동작을 수행하는 갱신기(103)를 포함하고 있다. 상기 갱신기(103)가 수행하는 동작을 'U' 동작(opeation)이라 하고 'U'동작에 의해 생성된 프레임이 L프레임이며, L프레임은 저역 서브밴드 성분을 가진다. 이에 반해 상기 추정/예측기(102)가 수행하는 동작을 'P' 동작이라 하고 'P' 동작에 의해 생성된 프레임이 H프레임이며 이 H프레임은 고역 서브밴드 성분을 갖는다.

도 4의 추정/예측기(102)와 갱신기(103)는 영상 프레임이 아니고 하나의 프레임이 분할된 복수 개의 슬라이스(slice)에 대해 병렬적으로 동시에 수행할 수도 있다. 본 발명의 설명에서 사용되는 '픽처'라는 용어는 그 적용이 기술적으로 문제가 되지 않는 범위내에서 프레임 또는 슬라이스를 지칭하는 것으로 사용된다.

상기 추정/예측기(102)는 입력되는 영상 프레임들( 또는 전단계에서 얻어진 L프레임들 )을 교번적으로 선택하여 선택된 프레임 각각에 대해서, 기 정해진 크기의 매크로블록(macro-block)으로 분할한 다음, 각 분할된 매크로 블록에 대해 예측 모션벡터를 구하고 그 예측 모션벡터를 중심으로 해당 매크로 블록의 이미지와 가장 높은 상관성(correlation)을 갖는 블록을 시간적으로(temporally) 인접된 전/후 프레임에서 찾아서 이에 근거하여 해당 블록을 레지듀얼 데이터로 코딩함으로써 각 프레임을 H픽처로 만든다. 이 과정은 기 공지된 기술로서 이에 대한 자세한 설명은 본 발명과 직접적인 관련이 없으므로 생략하고, 본 발명에 따라, 갱신동작시에 수행되는 인터폴레이션 과정을 도 5에 예시된 양 픽처간의 관계도를 참조하여 상세히 설명한다.

상기 갱신기(103)는, 상기 추정/예측기(102)에 의해 H픽처로 코딩되지 않은 프레임에 대해서 순차적으로 갱신동작을 행한다. 이 중 하나의 픽처(500)를 예로서 설명하면, 현재 픽처(500)를 소정 크기, 예를 들어 4x4의 크기로 분할하고, 각 분할된 파티션에 대한 갱신 모션벡터를, 기 공지된 방법으로 유도하여 대응 영역을 찾고 그 영역의 레지듀얼 데이터를 해당 파티션에 더하게 된다.

이를 보다 상세히 설명하면, 현재 갱신할 파티션(511)에 대해 유도한 모션벡터(50)가 지시하는 영역(512)이, 도 5에서와 같이 인접된 H픽처(501)내에서 복수개의 블록(block A,B,C and D)에 걸쳐 있는 경우, 상기 유도한 모션벡터(50)가 상기 H픽처(501)내의 정수-펠의 위치(화소점)를 가리키고 있으면 각 블록의 레지듀얼 값들을 현재 파티션(511)의 화소값에 각기 위치대응하여 더한다.

그런데, 만약, 상기 유도한 모션벡터(50)가 도 5에 예시된 바와 같이, 상기 H픽처(501)내에서 화소점과 정렬되지 않고 비정수-펠의 위치(비-화소점), 예를 들어 하프-펠의 위치를 가리키고 있으면 대응 영역(512)에서 하프-펠의 값을, 인접된 정수-펠의 값을 사용한 인터폴레이션(interpolation)을 통해 구하게 된다. 이 때, 구하고자 하는 하프-펠이 속한 블록내의 정수-펠의 값만을 사용한다. 예를 들어, 6-탭(tap) 필터를 이용해 인터폴레이션을 하는 경우라면 6개의 정수-펠에 적정한 6개의 필터 상수를 곱하여 하나의 하프-펠의 화소값을 구하되, 좌우( 또는 상하 )에 순차적으로 있는 각 3개의 정수-펠에 타 블록에 속하는 정수-펠이 포함된다면 그 정수-펠을 대체하여 동일 블록의 경계에 있는 정수-펠을 중복사용한다. 예를 들어, 도 5의 예에서 현재 구할 하프-펠이 블록 A에 있는 x라고 하면, 그 하프-펠은 그 좌우 각 3개의 정수 펠들(c,b,a,d,e,f)중에서 e와 f는 타 블록(block B)에 속하는 정수-펠이므로 e와 f대신에 블록 A의 d의 정수-펠을 다음과 같이 중복 사용하여 구한다.

x=a0×c + a1×b + a2×a + a3×d + a4×d + a5×d (an 은 필터 상수)

상기 실시예에서는, 타 블록에 속하는 정수-펠을 대신하여 그 블록과의 경계에 있는 정수-펠을 중복사용하였으나, 이는 단순히 하나의 예에 지나지 않으며, 그외 다른 방식으로써 타 블록에 속하는 정수-펠의 사용을 배제할 수 있다. 예를 들어, 타 블록에 속하는 정수-펠을 대신하여 고정값, 즉 0의 값을 사용할 수도 있다.

도 5의 예는 유도된 모션벡터의 종점이 수직 또는 수평중 한 방향으로만 시프트된 하프-펠인 경우에 대해 설명하였으나 수직 및 수평의 양방향으로 하프-펠 시프트된 경우에도 마찬가지이다. 즉, 동일 블록에 속하는 수직( 또는 수평 ) 방향의 정수-펠만을 사용하여 인터폴레이션을 함으로써 각 하프-펠을 구한 후, 수직( 또는 수평 ) 방향으로 구해진 하프-펠에 대해서도 동일 블록에 속하는 하프-펠을 사용하여 수평( 또는 수직 ) 방향의 하프-펠을 재차 구하게 된다.

또한, 쿼터-펠(quarter-pel)의 화소값을 구하는 경우에도 동일한 개념으로 구하게 된다.

상기와 같은 방식으로 하여 대응 영역(512)의 비-화소점의 값이 모두 구해지면, 그 대응 영역(512)내의 구해진 데이터를 1대1로 현재 파티션(511)의 각 화소값과 더하게 된다.

이와 같은 방식으로 현재 픽처(500)내의 모든 파티션들에 대한 갱신동작을 완료함으로써 L픽처를 만들게 된다.

지금까지 설명한 방법에 의해 엔코딩된 H프레임과 L프레임을 포함하는 데이터 스트림은 유선 또는 무선으로 디코딩 장치에 전부 또는 일부( 채널 용량에 따라 ) 전송되거나 기록매체를 매개로 하여 전달되며, 디코딩 장치는 이후 설명하는 방법에 따라 원래의 영상신호를 복원하게 된다.

도 6은 도 3의 장치에 의해 엔코딩된 데이터 스트림을 디코딩하는 장치의 블록도이다. 도 6의 디코딩 장치는, 수신되는 데이터 스트림에서 압축된 모션 벡터 스트림과 압축된 매크로 블록 정보 스트림을 분리하는 디먹서(200), 압축된 매크로 블록 정보 스트림을 원래의 비압축 상태로 복원하는 텍스처 디코딩부(210), 압축된 모션 벡터 스트림을 원래의 비압축 상태로 복원하는 모션 디코딩부(220), 압축해제된 매크로 블록 정보 스트림과 모션 벡터 스트림을 MCTF 방식에 따라 원래의 영상신호로 역변환하는 MCTF 디코더(230)를 포함하여 구성된다.

상기 MCTF 디코더(230)는, 입력되는 엔코딩된 스트림으로부터 원래의 영상 프레임 시퀀스로 복원하는데, 도 7은 상기 MCTF 디코더(230)의 주요 구성을 상세히 도시한 것이다.

도 7은 시간적 분해레벨 N의 H와 L프레임 시퀀스를 분해레벨 N-1의 L 프레임 시퀀스로 시간적 합성(Temporal Composition)하는 구성이다. 도 7에는, 입력되는 H 프레임의 레지듀얼 데이터를 입력되는 L프레임에서 감하는 역갱신기(231), H프레임의 레지듀얼 데이터가 감해진 L프레임과 그 H프레임을 사용하여 원래의 이미지를 갖는 L프레임을 복원하는 역 예측기(232), 입력되는 모션 벡터 스트림을 디코딩하 여 H프레임내의 각 블록의 모션벡터 정보를 각 단(stage)의 역 예측기(232 등)에 제공하는 모션 벡터 디코더(235), 그리고 상기 역 예측기(232)에 의해 완성된 L프레임을 상기 역갱신기(231)의 출력 L프레임 사이에 간삽시켜 정상 순서의 L프레임 시퀀스( 또는 최종 영상 프레임 시퀀스 )로 만드는 배열기(234)를 포함한다.

상기 배열기(234)에 의해 출력되는 L 프레임은 레벨 N-1의 L프레임 시퀀스(701)가 되고 이는 입력되는 N-1레벨의 H프레임 시퀀스(702)와 함께 다음 단의 역갱신기와 역 예측기에 의해 L프레임 시퀀스로 다시 복원되며, 이 과정이 엔코딩시의 MCTF 레벨만큼 수행되어 원래의 영상 프레임 시퀀스로 복원된다.

본 발명과 관련한, 레벨 N에서의 H픽처를 기반으로 한 L픽처에 대한 역갱신 과정을 보다 상세히 설명하면, 상기 역갱신기(231)는, 임의의 L픽처에 대해, 그 픽처내의 블록을 기준블록으로 하여 이미지 차를 구한 모든 H픽처내의 에러값을 상기 L픽처에서 감하는 동작을 수행한다. 이를 위해서, 상기 역갱신기(231)는, L 픽처를, 예를 들어 4x4 크기의 파티션으로 분할하고, 각 파티션에 대해서 기 공지된 방법에 따라 갱신 모션벡터를 유도한다. 갱신 모션벡터가 유도되면, 그 모션벡터가 지시하는 H 픽처내의 대응 영역이 갖고 있는 레지듀얼 데이터를 해당 파티션에서 감하게 된다.

만약, 대응 영역이, 상기 H 픽처에서 복수개의 블록( 서로 기준블록을 달리하여 구해진 레지듀얼 데이터를 갖는 )에 걸쳐 있는 경우, 상기 유도한 갱신 모션벡터가 상기 H 픽처내에서 정수-펠의 위치를 가리키고 있으면 대응영역내의 각 블록의 레지듀얼 값들을 각기 위치대응하여 현재 파티션의 화소값에서 차감한다.

그런데, 만약, 상기 유도한 모션벡터가 도 5에 예시된 바와 같이, 상기 H 픽처내에서 비정수-펠, 예를 들어 하프-펠의 위치를 가리키고 있으면 대응 영역에서 하프-펠의 값을, 구하고자 하는 하프-펠이 속한 블록내의 정수-펠의 값만을 사용한 인터폴레이션을 통하여 구한다. 예를 들어, 6-탭(tap) 필터를 이용해 인터폴레이션을 하는 경우라면 6개의 정수-펠에 적정한 6개의 필터 상수를 곱하여 하나의 하프-펠의 화소값을 구하되, 좌우( 또는 상하 )에 순차적으로 있는 각 3개의 정수-펠에 타 블록에 속하는 정수-펠이 포함된다면 그 정수-펠에는 동일 블록의 경계에 있는 정수-펠을 대체하여 중복사용한다. 예를 들어, 도 5의 예에서 현재 구할 하프-펠이 블록 A의 x라고 하면, 그 하프-펠은 그 좌우 각 3개의 정수 펠들(c,b,a,d,e,f)중에서 e와 f는 타 블록(block B)에 속하는 정수-펠이므로 e와 f대신에 블록 A의 경계 정수-펠(d)을 다음과 같이 중복 사용하여 구한다.

x=a0×c + a1×b + a2×a + a3×d + a4×d + a5×d (an 은 필터 상수)

상기 실시예에서는, 타 블록에 속하는 정수-펠을 대신하여 그 블록과의 경계에 있는 정수-펠을 중복사용하였으나, 이는 단순히 하나의 예에 지나지 않으며, 그외 다른 방식으로써 타 블록에 속하는 정수-펠의 사용을 배제할 수 있음은 물론이다.

상기와 같은 방식으로 하여 대응 영역의 원하는 비정수-펠의 값이 모두 구해지면, 그 대응 영역내의 데이터를 1대1로 L 픽처내의 현재 파티션의 각 화소값으로부터 차감하게 된다.

이와 같은 방식으로 현재 L 픽처내의 모든 파티션들에 대한 역갱신 동작을 완료함으로써 H픽처의 데이터 디코딩에 사용할 프레임으로 만든다.

상기 역 예측기(232)는, 임의 H픽처내의 블록에 대해 상기 모션벡터 디코더(235)로부터 제공되는 모션 벡터를 참조하여, 상기 역갱신된 픽처에 있는 그 블록의 기준블록을 파악한 다음, 해당 블록내의 각 화소의 차값에 기준블록의 화소값을 더함으로써 원래 이미지를 복원한다. 현재 H픽처에 대한 모든 블록에 대해 상기와 같은 동작이 수행되어 L프레임으로 복원되면 이 L프레임들은 상기 역갱신기(231)에 의해 역갱신된 L프레임들과 상기 배열기(234)를 통해 교번적으로 배치되어 다음 단으로 출력된다.

전술한 방법에 따라, MCTF방식으로 엔코딩된 데이터 스트림이 완전한 영상의 프레임 시퀀스로 복구된다.

전술한 디코딩 장치는, 이동통신 단말기 등에 실장되거나 또는 기록매체를 재생하는 장치에 실장될 수 있다.

본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.

상기에서 제한된 실시예로써 상술된 본 발명에 의하면, 엔코딩 및 디코딩시의 갱신 및 역갱신 동작에 있어서, 비정수-펠의 값을 구할 때, 상호 공간적 상관성이 있는 펠의 값만으로 사용함으로써, 디코딩 영상에서의 블록간 경계선이 드러나 보일 수 있는 한 원인을 제거하는 효과가 있다.

Claims (15)

1. 영상 프레임 시퀀스를 엔코딩하는 장치에 있어서,

   상기 시퀀스에서 제 1 프레임을 블록으로 구획하여 각 블록에 대한 기준 블록을, 인접된 제 2프레임에서 찾아서 그 기준 블록과의 이미지 차를 상기 블록에 코딩하는 1수단과,

   상기 제 2프레임내의 분할된 한 파티션에 대해, 그에 대응되는 영역을 상기 제 1프레임에서 특정하고, 그 영역이 화소점과 정렬되지 않은 경우, 그 영역내의 비-화소점의 값을, 그 비 화소점이 속한 블록만의 화소점의 값을 사용해 생성한 후, 그 생성된 대응 영역의 값들을 상기 한 파티션내의 화소값들에 위치 대응하여 더하는 2수단을 포함하여 구성되는 것을 특징으로 하는 장치.
2. 제 1항에 있어서,

   상기 2수단은, 상기 비 화소점에 대해서 사용해야할 인접된 화소점의 수가 N개이고, 그 N개 중 M개가 상기 비 화소점이 속한 블록이 아닌 타 블록에 있는 값인 경우, 그 M개의 값에 대해서는 상기 타 블록과의 경계에 있는 화소점의 값을 중복하여 대체 사용하는 것을 특징으로 하는 장치.
3. 제 1항에 있어서,

   상기 2수단은, 상기 비 화소점에 대해서 사용해야할 인접된 화소점의 수가 N 개이고, 그 N개 중 M개가 상기 비 화소점이 속한 블록이 아닌 타 블록에 있는 값인 경우, 그 M개의 값은 상기 비 화소점의 값의 생성에 영향을 주지 않는 값으로 설정하여 사용하는 것을 특징으로 하는 장치.
4. 제 1항에 있어서,

   상기 2수단은, 상기 영역내의 비 화소점의 값들을 생성함에 있어서, 각 비-화소점이 속한 블록만의 화소점의 값을 사용해 1차 비-화소점의 값을 생성하고, 상기 각 비-화소점이 속한 블록만의, 상기 생성된 1차 비-화소점의 값을 사용해 2차 비-화소점의 값을 생성하여 상기 한 파티션내의 화소값들에 위치 대응하여 더하는 값으로 사용하는 것을 특징으로 하는 장치.
5. 제 4항에 있어서,

   상기 2수단은, 상기 비 화소점의 값(x)을,

   식 x =

   

   ( 여기서, a_i는 기 지정된 계수, p_i는 인접된 화소점 또는 1차 생성된 비 화소점의 값 )에 의해 구하는 것을 특징으로 하는 장치.
6. 엔코딩된 영상 프레임 시퀀스를 수신하여 영상신호로 디코딩하는 장치에 있어서,

   상기 시퀀스에 속하는 제 1프레임내의 분할된 한 파티션에 대해, 그에 대응 되는 영역을, 상기 시퀀스내의 이미지 차 데이터를 갖는 제 2프레임에서 특정하고, 그 대응 영역이 화소점과 정렬되지 않은 경우, 그 영역내의 비-화소점의 값을, 그 비 화소점이 속한 블록만의 화소점의 값을 사용해 생성한 후, 그 생성된 대응 영역의 값들을 상기 한 파티션내의 화소값들에서 위치 대응하여 감하는 1수단과,

   상기 제 2 프레임내의 블록에 대한 기준 블록을, 상기 1수단에 의해 화소값이 감해진 상기 제 1프레임에서 찾아서 그 기준 블록의 화소값를 상기 블록에 더하는 2수단을 포함하여 구성되되,

   상기 블록은 인접된 다른 블록과는 상이한 기준 블록을 사용하여 이미지 차 데이터로 코딩된 영역인 것을 특징으로 하는 장치.
7. 제 6항에 있어서,

   상기 1수단은, 상기 비 화소점에 대해서 사용해야할 인접된 화소점의 수가 N개이고, 그 N개 중 M개가 상기 비 화소점이 속한 블록이 아닌 타 블록에 있는 값인 경우, 그 M개의 값에 대해서는 상기 타 블록과의 경계에 있는 화소점의 값을 중복하여 대체 사용하는 것을 특징으로 하는 장치.
8. 제 6항에 있어서,

   상기 1수단은, 상기 비 화소점에 대해서 사용해야할 인접된 화소점의 수가 N개이고, 그 N개 중 M개가 상기 비 화소점이 속한 블록이 아닌 타 블록에 있는 값인 경우, 그 M개의 값은 상기 비 화소점의 값의 생성에 영향을 주지 않는 값으로 설정 하여 사용하는 것을 특징으로 하는 장치.
9. 제 6항에 있어서,

   상기 1수단은, 상기 영역내의 비 화소점의 값들을 생성함에 있어서, 각 비-화소점이 속한 블록만의 화소점의 값을 사용해 1차 비-화소점의 값을 생성하고, 상기 각 비-화소점이 속한 블록만의, 상기 생성된 1차 비-화소점의 값을 사용해 2차 비-화소점의 값을 생성하여 상기 한 파티션내의 화소값들에 위치 대응하여 감하는 값으로 사용하는 것을 특징으로 하는 장치.
10. 제 9항에 있어서,

    상기 1수단은, 상기 비 화소점의 값(x)을,

    식 x =

    

    ( 여기서, a_i는 기 지정된 계수, p_i는 인접된 화소점 또는 앞서 생성된 비 화소점의 값 )에 의해 구하는 것을 특징으로 하는 장치.
11. 엔코딩된 프레임 시퀀스를 수신하여 영상신호로 디코딩하는 방법에 있어서,

    상기 시퀀스에 속하는 제 1프레임의 분할된 한 파티션에 대해, 그에 대응되는 영역을, 상기 시퀀스내의 이미지 차 데이터를 갖는 제 2프레임에서 특정하는 1단계와,

    상기 특정된 대응 영역이 화소점과 정렬되지 않은 경우, 그 영역내의 비-화 소점의 값을, 그 비 화소점이 속한 블록만의 화소점의 값을 사용해 생성한 후, 그 생성된 대응 영역의 값들을 상기 한 파티션내의 화소값들에서 위치 대응하여 감하는 2단계를 포함하여 이루어지되,

    상기 블록은 인접된 다른 블록과는 상이한 기준 블록을 사용하여 이미지 차 데이터로 코딩된 영역인 것을 특징으로 하는 방법.
12. 제 11항에 있어서,

    상기 2단계는, 상기 비 화소점에 대해서 사용해야할 인접된 화소점의 수가 N개이고, 그 N개 중 M개가 상기 비 화소점이 속한 블록이 아닌 타 블록에 있는 값인 경우, 그 M개의 값에 대해서는 상기 타 블록과의 경계에 있는 화소점의 값을 중복하여 대체 사용하는 것을 특징으로 하는 방법.
13. 제 11항에 있어서,

    상기 2단계는, 상기 비 화소점에 대해서 사용해야할 인접된 화소점의 수가 N개이고, 그 N개 중 M개가 상기 비 화소점이 속한 블록이 아닌 타 블록에 있는 값인 경우, 그 M개의 값은 상기 비 화소점의 값의 생성에 영향을 주지 않는 값으로 설정하여 사용하는 것을 특징으로 하는 방법.
14. 제 11항에 있어서,

    상기 2단계는, 상기 영역내의 비 화소점의 값들을 생성함에 있어서, 각 비- 화소점이 속한 블록만의 화소점의 값을 사용해 1차 비-화소점의 값을 생성하고, 상기 각 비-화소점이 속한 블록만의, 상기 생성된 1차 비-화소점의 값을 사용해 2차 비-화소점의 값을 생성하여 상기 한 파티션내의 화소값들에 위치 대응하여 감하는 값으로 사용하는 것을 특징으로 하는 방법.
15. 제 14항에 있어서,

    상기 2단계는, 상기 비 화소점의 값(x)을,

    식 x =

    

    ( 여기서, a_i는 기 지정된 계수, p_i는 인접된 화소점 또는 앞서 생성된 비 화소점의 값 )에 의해 구하는 것을 특징으로 하는 방법.

Images