KR100761542B1 - 이웃한 매크로블럭의 움직임 벡터를 이용한 에러 은닉장치 및 방법 - Google Patents

Abstract

본 발명은 이웃한 매크로블럭의 움직임 벡터를 이용한 에러 은닉 장치 및 방법에 관한 것으로, 특히, 현재 에러가 발생한 매크로블럭의 움직임이 주변 매크로블럭과의 움직임과 매우 상관성이 높다는 성질을 이용하여 주변 매크로블럭의 움직임 벡터의 크기에 따라 적응적으로 탐색범위를 설정하여 탐색 시간을 현저히 줄일 수 있도록 하는 에러 은닉 장치 및 방법에 관한 것이다.

Description

이웃한 매크로블럭의 움직임 벡터를 이용한 에러 은닉 장치 및 방법{Error concealment device using motion vector of adjacent macro block and method thereof}

도 1은 본 발명에 따른 이웃한 매크로블럭의 움직임 벡터를 이용한 에러 은닉 장치에 관한 구성도.

도 2는 손상된 매크로블럭과 이웃하는 매크로블럭들을 나타내는 도면.

도 3a,도 3b는 본 발명에서 탐색 범위를 결정하는 예를 나타내는 도면.

도 4는 본 발명에 따른 이웃한 매크로블럭의 움직임 벡터를 이용한 에러 은닉 방법의 플로우 차트.

도 5 및 도 7은 본 발명의 에러 은닉 시간을 나타내는 그래프.

< 도면의 주요 부분에 대한 부호의 설명 >

10 : 에러 검출부 20 : 에러 은닉 제어부

30 : 디코딩부

본 발명은 이웃한 매크로블럭의 움직임 벡터를 이용한 에러 은닉 장치 및 방 법에 관한 것으로, 특히, 현재 에러가 발생한 매크로블럭의 움직임이 주변 매크로블럭과의 움직임과 매우 상관성이 높다는 성질을 이용하여 주변 매크로블럭의 움직임 벡터의 크기에 따라 적응적으로 탐색범위를 설정하여 탐색 시간을 현저히 줄일 수 있도록 하는 이웃한 매크로블럭의 움직임 벡터를 이용한 에러 은닉 장치 및 방법에 관한 것이다.

최근 영상의 디지털화가 빠르게 이루어지면서 기존의 아날로그 TV 영상에서 발전하여 디지털 TV의 이용이 급격히 증가하고 있다. 디지털 동영상은 표현 정보량의 방대함으로 인하여 정보의 저장과 전송시 많은 메모리와 대역폭을 필요로 하게 되었고, 이러한 문제점을 해결하기 위해서 많은 압축 코딩 기술들의 전송 비트율이나 저장 용량을 줄이기 위한 방법이 발전되어 왔다.

한편, 디지털 동영상의 전송시 발생하는 전송 에러는 크게 랜덤 에러(random error)와 연속 에러(burst error)로 구분할 수 있다. 먼저, 랜덤 에러는 가령 고정 길이 부호화 방식일 경우 한 부호어(codeword)에만 영향을 미치게 되며, 이는 일반적으로 복호화가 가능하다. 그러나, 가변 길이 부호화 방식일 경우 랜덤 에러는 부호화된 정보의 동기를 어긋나게 함으로써 이후에 나타나는 부호어는 복호를 할 수 없게 된다. 또한, 연속 에러는 패킷망에서 패킷 손실 혹은 저장 장치의 물리적 결함으로 인한 연속 에러 등의 형태로 나타나는데, 이는 랜덤 에러에 비해 데이터 전송 시스템에 미치는 영향이 더 치명적이다. 또한, 최근의 정지 영상/동영상 압축 기술에서는 대부분 가변 길이 부호화 방식을 채택하고 있는데, 이러한 시스템에서 랜덤 에러가 발생하면 마치 연속 에러가 발생할 때와 같이 연속하는 데이 터가 모두 왜곡되게 된다.

상술된 에러를 은닉하기 위한 종래의 기술은 "Recovery of motion vectors for error concealment, IEEE TENCON, pp.750~753, June 1999"와 "Recovery of lost or erroneously received motion vectors, Proceedings ICASSP'93 pp v417~v420"에 기술되어 있다.

첫번째 기술은 이웃하는 매크로블록의 움직임 벡터로부터 현재 에러 매크로블럭의 움직임 벡터를 복원하는 방법으로써 이웃하는 매크로블럭의 움직임 벡터의 평균을 이용하거나 가중치를 부여한 값의 합을 이용하여 에러 블럭의 움직임 벡터를 구한 후, 손상된 매크로블럭을 복원하는 방법이다. 그러나, 이러한 종래의 에러 은닉 방법은 단순히 움직임 벡터의 평균을 취하거나 가중치의 합을 이용하게 되어 움직임이 많은 부분에 에러가 발생했을 경우 전혀 엉뚱한 움직임 벡터로부터 에러 매크로블럭이 복원되기 때문에 복원된 영상의 화질 저하에 많은 영향을 미치게 된다.

두번째 기술은 이웃하는 매크로블럭들의 움직임 벡터를 이용하지 않고 이전 영상에서 손상된 매크로블럭의 주변 화소와 차이가 가장 작은 부분을 전체 탐색 범위 안에서 찾는 방법이다. 그런데, 이러한 종래의 에러 은닉 방법은 탐색 범위 안의 모든 값들에 대해 계산을 해야 함으로 계산량이 많아지는 문제점이 있다.

결국, 에러가 발생했을 때 매크로블럭마다 모든 범위를 탐색하는 것은 계산량이 많아 MPEG-2 디코더에 많은 부담을 주게될 것이다. 또한, 주변 화소의 표본화를 통해 계산량을 줄인다 하더라도 일단 아주 작은 움직임이 있다고 판단되면, 전체 범위를 모두 탐색하기 때문에 탐색 시간이 많이 소요되는 문제점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 창출된 것으로, 현재 에러가 발생한 매크로 블록의 움직임이 주변 매크로블럭과의 움직임과 매우 상관성이 높다는 성질을 이용하여 주변 매크로블럭의 움직임 백터의 크기에 따라 적응적으로 탐색범위를 설정하여 탐색 시간을 현저히 줄이는데 그 목적이 있다.

상기한 목적을 달성하기 위한 본 발명의 이웃한 매크로블럭의 움직임 벡터를 이용한 에러 은닉 장치는, 부호화된 비트스트림을 입력받아 에러의 발생 여부를 검출하는 에러 검출부와, 에러 검출부로부터 에러 발생 신호의 입력시 에러가 발생한 매크로블럭의 평균 절대값 오차가 기설정된 임계값 보다 작은 경우 같은 위치의 매크로블럭을 이전 프레임에서 복사하고, 클 경우 탐색범위 주변의 매크로블럭의 움직임 벡터들의 최대 절대치로 평균 절대값 오차를 계산하여 가장 작은 평균 절대값 오차를 갖는 매크로블럭을 이전 프레임에서 복사하여 에러를 은닉하는 에러 은닉 제어부 및 에러 은닉 제어부로부터 에러가 은닉된 영상을 입력받아 디코딩하여 출력하는 디코딩부로 구성됨을 특징으로 한다.

본 발명의 이웃한 매크로블럭의 움직임 벡터를 이용한 에러 은닉 방법은, 현재 프레임에서 에러가 발생하였는지의 여부를 검출하는 제 1단계와, 에러가 발생한 현재 프레임의 매크로블럭과 같은 위치에 있는 이전 프레임의 매크로블럭에서 경계화소의 평균 절대값 오차를 계산하는 제 2단계와, 제 2단계에서 계산한 평균 절대 값 오차를 기설정된 임계값과 비교하는 제 3단계와, 제 3단계에서 평균 절대값 오차가 임계값보다 작을 경우 같은 위치의 매크로블럭을 이전 프레임에서 복사하고, 클 경우 탐색범위 주변의 매크로블럭의 움직임 벡터들의 최대 절대치를 관련된 매크로블럭의 탐색범위로 설정하는 제 4단계 및 관련된 매크로블럭 탐색범위에서 평균 절대값 오차를 계산하여 가장 작은 평균 절대값 오차를 갖는 매크로블럭을 이전 프레임에서 복사하는 제 5단계를 포함하는 것을 특징으로 한다.

이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명하고자 한다.

본 발명에서는 디지털 영상의 압축코딩 기술 중 MPEG-2로 부호화된 비트열을 대상으로 연구하였다. 또한, 주변 매크로블럭의 움직임 벡터의 크기에 따라 적응적으로 탐색범위를 설정하여 탐색 시간을 현저히 줄이는 에러 은닉 방법인 이 기술은 DTV MPEG-2디코더에 효율적인 에러 은닉 알고리즘으로 적용될 수 있다.

도 1은 본 발명에 따른 이웃한 매크로블럭의 움직임 벡터를 이용한 에러 은닉 장치에 관한 구성도이다.

도 1을 보면, 본 발명은 부호화된 비트스트림을 입력받아 에러의 발생 여부를 검출하는 에러 검출부(10)와, 에러 검출부(10)로부터 에러 발생 신호의 입력시 에러가 발생한 매크로블럭의 MAE(Mean Absolute error;평균 절대값 오차)가 기설정된 임계값보다 클 경우 같은 위치의 매크로블럭을 이전 프레임에서 복사하고, 작을 경우 탐색범위 [-R, +R-1] 주변의 매크로블럭의 움직임 벡터들의 최대 절대치로 MAE를 계산하여 가장 작은 MAE를 갖는 매크로블럭을 이전 프레임에서 복사하여 에 러를 은닉하는 에러 은닉 제어부(20) 및 에러 은닉 제어부(20)로부터 에러가 은닉된 영상을 입력받아 디코딩하여 출력하는 디코딩부(30)로 구성된다.

본 발명에서는 랜덤 에러와 연속에러를 구분하지 않고 모두 전송 에러의 범위에 넣어 고려하기로 한다.

도 2는 에러 블럭에 이웃하는 매크로블럭들을 나타내는 도면이다.

도 2를 보면, 에러가 발생하여 손상된 매크로블럭(Macro Block;이하 MB이라 함)의 주위에 매크로블럭들 MB1~MB8이 위치한다.

그 동작 과정을 살펴보면, 먼저, 도 1의 에러 검출부(10)는 도 2에 도시된 바와 같이 손상된 매크로블럭이 있는지를 검출하여 에러 은닉 제어부(20)에 에러 검출 결과를 출력한다.

여기서, 에러 은닉 제어부(20)에서의 에러 은닉을 위한 움직임 벡터의 탐색범위는 다음과 같다.

먼저, 에러가 발생된 매크로블럭 MB의 주변 매크로블럭들 MB1~MB8의 움직임 벡터들의 x성분을 Xi라고 하고, y성분을 Yi라고 하자.

본 발명에서 제시한 탐색 범위는 [-R,+R-1]로 택하는데, 탐색범위 R은 다음과 같이 정의된다.

R = maxi,j{│Xi│,│Yi│}

이렇게 탐색범위 R을 지정하면 움직임이 적은 매크로블럭 MB에 에러가 발생했을 경우 탐색 범위를 줄여서 처리 속도를 향상시키며, 탐색 범위가 결정되면 현재 프레임의 손상된 매크로블럭과 이전 프레임의 잘 복호된 같은 위치의 매크로블 럭의 주변 화소들을 설정한다.

도 3a 및 도 3b는 에러 은닉 제어부(20)에서 손상된 매크로블럭의 탐색 범위를 결정하는 예를 보여준다.

먼저, 도 3b를 보면, 현재 프레임에서 손상된 매크로블럭이 검출될 경우, 도 3a에 도시된 바와 같이, 이전 프레임에서 최초의 서치 범위보다 제안된 서치 범위가 작기 때문에 관련된 움직임 벡터 MV의 탐색 범위가 줄어들게 된다.

도 4는 에러 은닉 제어부(20)에서 결정된 탐색 범위 내에서 손상된 매크로 블럭의 에러를 은닉하기 위한 에러 은닉 제어부(20)의 에러 은닉 방법을 나타낸다.

먼저, 에러가 발생하여 매크로블럭이 손상되었을 때, 현재 프레임의 손상된 매크로블럭의 주변 화소와 같은 위치에 있는 이전 프레임의 매크로블럭에서 주변 화소의 MAE(Mean Absolute error;평균 절대값 오차)를 계산한다.(단계 100) 이어서, 계산된 MAE의 값이 기설정된 임계값 Th 보다 작으면 움직임이 없는 것으로 판단(움직임 벡터가 (0,0))하여 이전 프레임에서 같은 위치의 매크로블럭을 현재 프레임으로 복사해 온다.(단계 102) 만약, 계산된 MAE의 값이 기설정된 임계값 Th 보다 클 경우에는 탐색범위 주변에 이웃한 매크로블럭의 움직임 벡터들(Xi,Yi)의 크기를 비교하여 가장 큰 움직임 벡터들의 성분을 최대 절대치로 계산하여 탐색 범위 R을 지정한다.(단계 103) 다음에, 이전 프레임에서 제한된 탐색 범위 [-R, +R-1]에서 MAE를 계산한다.(단계 104) 이어서, 이전프레임에서 최소의 MAE를 갖는 위치의 매크로블럭을 복사하여 현재 프레임의 손상된 매크로블럭을 복원한다.(단계 105)

이러한 본 발명은 매크로 블럭 단위의 움직임이 이웃한 매크로블럭과 상관성이 높음을 이용하여, 전 범위를 탐색하는 것 대신 주변 매크로블럭의 움직임을 고려하여 탐색함으로써 은닉 시간을 줄일 수 있다.

도 5 및 도 7은 본 발명의 손상된 매크로블럭에 이웃하는 블럭의 움직임 벡터를 이용한 에러 은닉 방법의 에러 은닉시간을 나타내고 있다.

도 5는 Football Sequence에 따른 에러 은닉 시간을 나타내는 그래프이고, 도 6은 Flower Garden Sequence에 따른 에러 은닉 시간을 나타내는 그래프이고, 도 7은 Table Tennis Sequence에 따른 에러 은닉 시간을 나타내는 그래프이다.

도 5 내지 도 7을 보면, 본 발명은 모든 주변화소를 이용한 에러 은닉 방법과 비교하여 볼때, 2:1 표본화 및 4:1로 표본화했을 때 평균 에러 은닉 시간이 각각 줄어드는 것을 알 수 있다. 이러한 실험 결과를 통해 본 발명에서 제안한 이웃한 매크로블럭의 움직임 벡터를 이용한 에러 은닉 방법은 에러은닉 시간을 효과적으로 줄일 수 있는 방법임을 알 수 있다.

이상에서 설명한 바와 같이, 본 발명은 동영상 처리시 압축된 스트림의 디코딩시에 발생할 수 있는 에러를 좀더 효율적으로 처리함으로써 원영상에 더 가깝게 복원할 수 있도록 한다. 즉, 본 발명은 적응적인 움직임 벡터 범위를 정하는 방법을 제안하여 계산량을 줄일 수 있음과 더불어 하드웨어 부하를 줄일 수 있도록 한다.

Claims (4)

1. 부호화된 비트스트림을 입력받아 에러의 발생 여부를 검출하는 에러 검출부;

   상기 에러 검출부로부터 에러 발생 신호의 입력시 에러가 발생한 매크로블럭의 평균 절대값 오차가 기설정된 임계값보다 작은 경우 같은 위치의 매크로블럭을 이전 프레임에서 복사하고, 클 경우 탐색범위 주변의 매크로블럭의 움직임 벡터들의 최대 절대치로 평균 절대값 오차를 계산하여 가장 작은 평균 절대값 오차를 갖는 매크로블럭을 이전 프레임에서 복사하여 에러를 은닉하는 에러 은닉 제어부; 및

   상기 에러 은닉 제어부로부터 에러가 은닉된 영상을 입력받아 디코딩하여 출력하는 디코딩부로 구성됨을 특징으로 하는 이웃한 매크로블럭의 움직임 벡터를 이용한 에러 은닉 장치.
2. 제 1 항에 있어서, 상기 에러 은닉 제어부는

   [-R,+R-1]로 탐색범위를 택하고,

   탐색범위 R = maxi,j{│Xi│,│Yi│}과 같이 정의됨(에러블럭 주변의 매크로블럭의 움직임 벡터들의 x성분을 Xi, y성분을 Yi라 함)특징으로 하는 이웃한 매크로블럭의 움직임 벡터를 이용한 에러 은닉 장치.
3. 현재 프레임에서 에러가 발생하였는지의 여부를 검출하는 제 1단계;

   상기 에러가 발생한 현재 프레임의 매크로블럭과 같은 위치에 있는 이전 프 레임의 매크로블럭에서 경계화소의 평균 절대값 오차를 계산하는 제 2단계;

   상기 제 2단계에서 계산한 평균 절대값 오차를 기설정된 임계값과 비교하는 제 3단계;

   상기 제 3단계에서 평균 절대값 오차가 임계값보다 작을 경우 같은 위치의 매크로블럭을 이전 프레임에서 복사하고, 클 경우 탐색범위 주변의 매크로블럭의 움직임 벡터들의 최대 절대치를 관련된 매크로블럭의 탐색범위로 설정하는 제 4단계; 및

   상기 관련된 매크로블럭 탐색범위에서 평균 절대값 오차를 계산하여 가장 작은 평균 절대값 오차를 갖는 매크로블럭을 이전 프레임에서 복사하는 제 5단계를 포함하는 이웃한 매크로블럭의 움직임 벡터를 이용한 에러 은닉 방법.
4. 제 3 항에 있어서, 상기 제 4단계는

   [-R,+R-1]로 탐색범위를 설정하고,

   탐색범위 R = maxi,j{│Xi│,│Yi│}과 같이 정의됨(에러블럭 주변의 매크로블럭의 움직임 벡터들의 x성분을 Xi, y성분을 Yi라 함)특징으로 하는 이웃한 매크로블럭의 움직임 벡터를 이용한 에러 은닉 방법.

Images