KR20040019153A - 동영상 디코더의 에러 은닉 방법 - Google Patents

Abstract

본 발명은 무선 전송 에러 때문에 동영상 비트스트림(bitstream)에 에러가 발생하였을 때 에러가 발생한 비트스트림으로부터 영상을 복원하기 위한 IMT-2000 단말기의 동영상 디코더에서 에러 은닉 방법에 관한 것이다. 본 발명은 에러 은닉 방법 중 시간 영역에서의 방법에 있어, 블록 단위의 에러 은닉으로, 에러가 검출된 블록의 에러 은닉을 위해서 현재 프레임 버퍼 혹은 이전 프레임 버퍼에서 세 후보 블록을 찾아 정의된 함수값으로 계산하여 가장 작은 함수값을 가지는 후보 블록으로 에러가 검출된 블록의 에러 은닉에 사용되게 한 것으로, 동영상 에러를 실시간에 효과적으로 복원할 수 있는 것이다.

Description

동영상 디코더의 에러 은닉 방법{Error concealment method for video decoder}

본 발명에 동영상 디코더의 에러 은닉(error concealment) 방법에 관한 것으로, 더욱 구체적으로, 무선 전송 에러 때문에 동영상 비트스트림(biststream)에 에러가 발생하였을 때 에러가 발생한 비트스트림으로부터 영상을 복원하기 위한 동영상 디코더의 에러 은닉 방법에 관한 것이다.

지금까지의 통신 서비스는 주로 음성과 데이터 중심이었지만, IMT-2000 등의 유무선 통신 시스템에서는 영상이 매우 중요한 통신 서비스가 되고 있다.

MPEG, H.261, H.263 등 대부분의 영상 부호화기(video codec)는 이산 코사인변환(discrete cosine transform: DCT), 움직임 보상(motion compensation: MC), 가변 길이 부호화(variable length coding: VLC) 등의 기술을 사용하여 영상 데이터를 압축한다. 그러나, 영상 데이터를 많이 압축하면 에러에 대한 저항성이 낮아지게 된다. 즉, 만약 영상의 한 부분에서 에러가 발생하면, 영상 디코더(video decoder)는 가변 길이 부호의 동기(sync)를 잡지 못하며, 동기가 다시 맞을 때까지 영상 데이터는 손실된다. 또한, 움직임 보상으로 인한 채널 에러로 인해 발생한 프레임 내의 영상 왜곡(distortion)은 그 이후의 프레임으로도 계속 전파된다. 여기서, 왜곡은 원래 인코더에 입력되는 영상과 실제로 디코더에서 복원되는 영상의 차이의 평균 제곱 에러(mean square error: MSE)로 정의된다.

이러한 채널 에러로 인한 영상 데이터에서의 왜곡을 극복하기 위하여 여러 에러 은닉 방법들이 제안되었다. 에러 은닉 방법은 수신된 영상정보만을 이용하여 손실된 영상 영역 부분을 복원하는 방법이다. 이 방법을 사용하면, 비록 완벽한 원래 영상을 복원해 낼 수는 없지만, 채널 부호화(channel coding)로는 정정할 수 없는 에러에 의해 발생한 영상의 왜곡을 전송률의 증가 없이 실시간으로 복원할 수 있는 장점이 있다.

에러 은닉 방법은 크게 시간 영역에서의 방법(temporal concealment)과 공간 영역에서의 방법(spatial concealment)으로 나눌 수 있다. 공간 영역에서의 방법은 손실된 주변의 영상 정보를 이용하여 보간법(interpolation)과 같은 방법을 사용하여 영상을 복원한다. 이 방법을 사용하면, 영상 내의 물체들의 외곽선들을 부드럽게 복원해 낼 수 있다는 장점이 있다. 하지만, 구현에 있어서는 많은 계산량을 필요로 하기 때문에 하드웨어의 복잡도가 증가하며, 주면의 영상 정보도 같이 손상된 경우에는 성능이 많이 저하된다는 단점이 있다.

한편, 시간 영역에서의 방법은 움직임 벡터(motion vector)를 사용하여 손실된 영상 영역을 움직임 보상(motion compensated)된 지난번 프레임의 영역으로 대치하는 방법이다. 이 방법은 영상 내에 동작의 큰 변화가 없거나, 영상이 많이 복잡하게 구성된 경우를 제외하고는 좋은 성능을 보이며, 또한 비교적 간단히 구현될 수 있다는 장점이 있다. 움직임 벡터는 에러 발생 확률이 비교적 낮은 채널을 통하여 따로 보낼 수도 있고, 이러한 채널을 사용하지 않는 경우에는 손상된 영상 영역 주변의 에러 없는 영역의 움직임 벡터들로부터 손상된 영역의 움직임 벡터를 추정할 수도 있다. 이러한 것이 모두 불가능한 경우에는 움직임 벡터로 영 벡터(zero vector)를 사용할 수도 있다.

본 발명은 상기에서 기술한 에러 은닉 방법 중 시간 영역에서의 방법으로, 블록 단위의 에러 은닉으로, 에러가 검출된 블록의 에러 은닉을 위해서 현재 프레임 버퍼 혹은 이전 프레임 버퍼에서 세 후보 블록을 찾아 정의된 함수값으로 계산하여 가장 작은 함수값을 가지는 후보 블록으로 에러가 검출된 블록의 에러 은닉으로 사용되게 하는 동영상 디코더의 에러 은닉 방법을 제공하기 위한 것이다.

도 1 은 본 발명에 있어 블록의 위치 관계를 나타낸 도면.

도 2 는 본 발명에 있어 함수값에 사용되는 픽셀을 나타낸 도면.

본 발명은 시간 영역의 에러 은닉 방법에 있어서, 임의의 방법에 의해 에러가 검출된 블록의 현재 프레임 버퍼 또는 이전 프레임 버퍼에서 세 후보 블록을 찾아 정의된 함수값으로 계산하여 가장 작은 함수값을 가지는 후보 블록으로 에러가 검출된 블록의 에러 은닉으로 사용한다.

상기 세 후보 블록은, 첫 번째로 에러 블록의 바로 위쪽 블록이 이전 프레임에서 현재 프레임으로 움직여진 움직임 벡터에 의해 에러 블록의 이전 프레임의 위치를 구하여, 그 이전 프레임의 위치에 있는 블록을 후보 블록으로 사용한다.

두 번째로 에러 블록의 이전 프레임에서 에러 블록과 같은 위치에 있는 블록을 후보 블록으로 사용한다.

세 번째로 에러 블록 자신을 후보 블록으로 사용한다.

이와 같은 본 발명의 에러 은닉 방법을 첨부 도면에 의하여 상세히 설명하면 다음과 같다.

도 1은 블록의 위치 관계를 나타낸 것으로 (x,y,t)는 현재 프레임의 (x,y) 블록을, (x,y,t-1)은 이전 프레임의 (x,y) 블록을 나타내는 것이다.

(x,y) 위치에 있는 블록은N×N블록의 top-left corner 픽셀이 (x,y)에 있음을 나타내는 것이다.

본 발명에서는 임의 방법으로 검출된 에러 블록을 에러 은닉하기 위하여 세후보 블록을 사용하는 것이다.

현재 프레임의 (x,y) 위치에 에러가 있는 블록에서 에러가 검출되었을 때, 즉 (x,y,t) 위치에서 에러가 검출되면, 먼저 (x,y,t)의 움직임 벡터를 구한다.

(x,y,t)의 움직임 벡터가 (MV_-x(x,y,t),MV_-y(x,y,t))이라면,

첫 번째 후보 블록은 에러 블록(x,y,t)의 바로 위쪽 블록(x,y-N,t)이 이전 프레임에서 현재 프레임으로 움직여진 움직임 벡터를 구한다. 에러 블록(x,y,t)의 위쪽 블록(x,y-N,t)이 이전 프레임에서 현재 프레임으로의 움직임 벡터는 (MV_-x(x,y-N,t),MV_-y(x,y-N,t))으로 표시된다. 이 움직임 벡터를 이용하여 에러 블록의 이전 프레임에서의 위치를 구하면 (x+MV_-(x,y-N,t),y+MV_-y(x,y-N,t),t-1) 위치의 블록이 구해진다. 이 위치의 블록을 제 1 후보 블록으로 사용하는 것이다.

두 번째 후보 블록은 에러 블록(x,y,t)의 이전 프레임에서 에러 블록과 같은 위치에 있는 블록(x,y,t-1)을 제 2 후보 블록으로 사용한다.

세 번째 후보 블록은 에어 블록(x,y,t) 자신을 제 3후보 블록으로 사용한다.

상기와 같은 세 후보 블록을 함수값(cost function)을 정의하여 가장 작은 함수값을 가지는 후보 블록을 에러가 검출된 블록의 에러 은닉을 위하여 사용한다.

상기 함수값은 (x,y,t) 위치에 있는N×N블록의 1uminance 픽셀(u,v)을 (x,y,t,u,v)라고 할때, 후보 블록의 위치가 (X,Y,T)이면 아래의 수학식 1과 같이 정의한다.

도 2는 (x,y,t), (X,Y,T), (X,Y-N,T) 블록들의 위치 관계를 나타내는 것이며, 함수값에 사용되는 픽셀을 나타내는 것이다.

상기 세후보 블록을 상기의 함수값에 의해 계산하여 에러 은닉을 위한 블록을 결정하는 것이다.

상기 세 후보 블록 중 첫 번째 후보 블록 또는 두 번째 후보 블록이 수학식 1에 의해 계산된 함수값이 제일 작으면, 그 후보 블록을 에러 은닉을 위한 블록으로 사용한다.

상기 세 후보 블록 중 세 번째 후보 블록이 수학식 1에 의해 계산된 함수값이 제일 작을 경우는 후보 블록들의 chrominance 팩셀에서의 상기 수학식 1에 대한 함수값을 다시 계산하고 비교하여 가장 작은 함수값을 갖는 후보 블록을 에러 은닉을 위한 블록으로 사용한다.

이상과 같이 본 발명에 따른 IMT-2000 단말기의 동영상 디코더에서 에러 은닉 방법은 무선 전송 에러에 의해 동영상 비트스트림에 에러가 발생하였을 때 에러가 발생한 비트스트림으로부터 영상을 실시간 효과적으로 복원할 수 있는 효과가 있다.

Claims (6)

1. 시간 영역의 에러 은닉 방법에 있어서, 임의의 방법에 의해 에러가 검출된 블록의 현재 프레임 버퍼 또는 이전 프레임 버퍼에서 세 후보 블록을 선정하고, 하기의 식에 의해 에러 은닉을 위한 후보 블록을 결정하는 것을 특징으로 하는 동영상 디코더의 에러 은닉 방법.

   현재 프레임에서 (x, y) 위치에 있는N×N블록의 1uminance 픽셀(u,v)을 (x,y,t,u,v)라 하면,

   f=

   여기서, (X, Y, T)는 후보 블록의 위치이고, (x, y, t)는 에러가 검출된 블록의 위치임.
2. 제 1 항에 있어서, 상기 세 후보 블록 중 하나는 (MV_-x(x, y, t), (MV_-y(x, y, t))가 (x, y, t) 블록의 움직임 벡터라 할 때, (x+MV_-x(x, y-N, t), y+MV_-y(x, y-N, t), t-1) 위치에 있는 블록인 것을 특징으로 하는 동영상 디코더의 에러 은닉 방법.
3. 제 1 항에 있어서, 상기 세 후보 블록 중 하나를 에러 블록의 이전 프레임에서 에러 블록과 같은 위치에 있는 블록을 제 2 후보 블록으로 사용하는 것을 특징으로 하는 동영상 디코더의 에러 은닉 방법.
4. 제 1 항에 있어서, 상기 세 후보 블록 중 하나를 에러 블록 자신을 제 3 후보 블록으로 사용하는 것을 특징으로 하는 동영상 디코더의 에러 은닉 방법.
5. 제 1 항에 있어서, 상기 세 후보 블록중 제 1 후보 블록 또는 제 2 후보 블록의 함수값이 가장 작으면, 그 후보 블록을 에러 은닉을 위한 블록으로 사용하는 것을 특징으로 하는 동영상 디코더의 에러 은닉 방법.
6. 제 1 항에 있어서, 상기 세 후보 블록 중 제 3 후보의 함수값이 제일 작을 때 후보 블록들의 chrominance 픽셀에 대하여 하기 식을 계산하여 가장 작은 함수값을 갖는 후보 블록을 에러 은닉을 위한 블록으로 사용하는 것을 특징으로 하는 동영상 디코더의 에러 은닉 방법.

   f=