KR20030015492A

KR20030015492A - 동영상 부호화 시스템의 동영상 움직임 추정 장치

Info

Publication number: KR20030015492A
Application number: KR1020010049253A
Authority: KR
Inventors: 김승환; 김창수; 이상욱
Original assignee: 김승환; 김창수; 이상욱
Priority date: 2001-08-16
Filing date: 2001-08-16
Publication date: 2003-02-25
Also published as: KR100479255B1

Abstract

최근, 움직임 추정(motion estimation)의 성능을 향상시키기 위하여 다중 레퍼런스 프레임(multiple reference frame, MRF) 기반의 기법들이 제안되고 있다. 이러한 기법들이 하나의 레퍼런스 프레임 방식에 비해 우수한 추정 성능을 주지만, 저 비트 율(very low bit rate)에서는 만족할 만한 성능을 주지는 못한다. 또한, 블록의 경계 부분에 구획 효과(blocking artifact)가 여전히 눈에 뛴다. 이러한 단점을 보완하기 위하여, 본 발명에서는 이중 레퍼런스 프레임, 이중 움직임 벡터(multiple motion vector, DMV) 및 추정 위치 이동 기법(searching position shifting scheme, SPS)을 기반으로 하는 새로운 움직임 보상 방법을 제안한다. 실험을 통하여 본 발명이 H.263 표준안에 비하여 60 kbps에서 1.3 dB 이상의 성능 향상을 보여줌을 알 수 있다. 또한, 전송 중 채널의 왜곡으로 인하여 비트 열의 왜곡이 있는 경우에도 본 발명은 에러 전파를 효과적으로 감소시켜 에러에 강인성을 보여준다.

Description

동영상 부호화 시스템의 동영상 움직임 추정 장치{APPARATUS FOR ESTIMATING VIDEO MOTION OF VIDEO COMPRESSION SYSTEM}

본 발명은 동영상 부호화 시스템(video compression system)의 동영상 움직임 추정(video motion estimation) 장치에 관한 것으로서, 특히, 동영상을 부호화함에 있어서 두 장의 레퍼런스 프레임(multiple reference frame, MRF), 두 개의 움직임 벡터(multiple motion vector, DMV) 및 추정 위치 이동 기법(searching position shifting scheme, SPS)을 기반으로 동영상 움직임을 추정하는 장치에 관한 것이다.

영상 신호의 효율적인 디지털 표현은 지난 20 여년간 영상 처리 분야에서 가장 중요한 연구 분야 중의 하나이다. 대부분의 동영상 부호화 기법(video compression techniques)은 연속적인 프레임간의 높은 상관도(correlation)를 이용한다. 시간적인 잉여 정보(temporal redundancy)를 이용하는 가장 일반적인 방법은 이전 프레임(previous frame)의 정보를 이용하는 움직임 보상(motion compensation) 방법이다.

블록 정합 기법(block matching algorithm, BMA)과 이산 코사인변환(discrete cosine transform, DCT)을 이용한 동영상 부호화 기법은 오늘날의 가장 뛰어난 기법이다. 현재의 동영상 부호화의 국제 표준안인 MPEG-1, MPEG-2, MPEG-4, H.26x 등에서 이러한 방법 채택하고 있다. 하지만, 저 비트 율(very low bit rate)에서는 이러한 블록 정합 기법은 만족할 만한 화질을 보여주기 못한다. 저 비트 율에서 높은 영상의 해상도와 화질을 보여주기 위하여 새로운 동영상 부호화 방법의 개발이 필요하다.

반도체(semiconductor) 가격의 감소와 그 용량의 증가에 따라서, 레퍼런스 프레임의 수를 증가하여 움직임 보상의 이득을 높이는 방법이 최근 제안되었다. 이러한 다중 레퍼런스 프레임 방법은 크게 두 가지로 나눌 수 있는데, 장기 메모리 움직임 보상 알고리듬(long-term memory motion compensation algorithm, LMMC)과 다중 움직임 벡터 알고리듬이 그것이다. 장기 메모리 움직임 보상 알고리듬은 단순히 기존의 방법에서 여러 개의 레퍼런스 프레임을 사용하여 움직임 추정을 하는 방법이다. 여기서 나오는 움직임 벡터는 공간적인 움직임 벡터와 시간 정보를 신호로 구성된 3 차원 벡터이다. 다중 움직임 벡터 알고리듬은 각각의 블록의 움직임 보상은 이전의 여러 프레임으로부터 여러 개의 3 차원 움직임 벡터의 조합으로 만들어진다.

비록 이러한 방법들이 높은 추정 이득을 주지만, 움직임 정보에 대한 비트 율이 많이 증가한다. 또한, 블록들이 독립적으로 움직임 보상을 함으로써, 여전히 블록의 경계에는 구획 효과(blocking artifact)가 눈에 뛴다. 그리고, 움직임 추정을 수행하는 시간 또한 현저히 증가한다. 그러므로, 이러한 알고리듬들이 실제 저비트 율에서 효율적으로 수행되기 위해서는 복잡한 RD(rate-distortion) 알고리듬과 고속 움직임 추정 알고리듬이 필요하다.

본 발명은 상기 결점을 개선하기 위하여 안출한 것으로서, 이중 레퍼런스 프레임(double reference frame, DRF), 이중 움직임 벡터(double motion vector, DMV) 및 추정 위치 이동 방법을 기반으로 하여 동영상 움직임을 추정하는 동영상 부호화 시스템의 동영상 움직임 추정 장치를 제공하는 데 그 목적이 있다.

이와 같은 목적을 달성하기 위한 본 발명은, 동영상 부호화 시스템에 있어서: 상기 동영상에 대응하는 프레임을 저장했다가 현재 프레임에 대해 한 프레임 이전의 F_k-1프레임을 제공하는 제 1 프레임 메모리; 상기 제 1 프레임 메모리로부터 제공되는 F_k-1프레임을 저장했다가 상기 현재 프레임에 대해 두 프레임 이전의 F_k-2프레임을 제공하는 제 2 프레임 메모리; 상기 제 1, 제 2 프레임 메모리로부터 각각 제공되는 F_k-1프레임 및 F_k-2프레임으로부터 상기 현재 프레임에 대한 제 1, 제 2 움직임 벡터를 각각 추정하는 움직임 추정부를 포함하는 것을 특징으로 한다.

도 1a는 MSE로 표현된 움직임 추정 성능을 나타낸 그래프,

도 1b는 블록 당 움직임 벡터의 수와 추정 성능의 비를 나타낸 그래프,

도 2는 k번째 프레임 F_k를 움직임 보상하기 위하여, 첫 번째 움직임 보상 영상과 두 번째 움직임 보상 영상을 구하는 것을 나타낸 개략도,

도 3은 포만 시퀀스에 대한 움직임 보상 성능을 나타낸 그래프,

도 4a 및 도 4b는 포만 시퀀스의 67번째 프레임을 나타낸 화상,

도 5는 네 가지 코더로 부호화 후 복원된 영상의 PSNR 대 비트 율 비를 나타낸 그래프,

도 6a는 원 영상 포만 7, 10, 85번째 프레임을 나타낸 화상,

도 6b 내지 도 6d는 도 6a의 흰 사각형 안이 전송 중 손실되었을 때 복원된 영상을 나타낸 화상,

도 7은 버스트 에러 환경에서의 제안 알고리듬과 H.263 코더의 PSNR 성능을 나타낸 그래프,

도 8은 본 발명에 따른 동영상 부호화 시스템의 동영상 움직임 추정 장치의실시예를 나타낸 블록도.

<도면의 주요부분에 대한 부호의 설명>

10, 20 : 제 1, 제 2 프레임 메모리

30 : 움직임 추정부

이하, 이와 같은 본 발명의 실시 예를 다음과 같은 도면에 의하여 상세히 설명하면 다음과 같다.

도 8은 본 발명에 따른 동영상 부호화 시스템의 동영상 움직임 추정 장치의 실시예를 나타낸 블록도로, 제 1, 제 2 프레임 메모리(frame memory)(10, 20) 및움직임 추정부(30)로 구성된다.

동 도면에 있어서, 제 1 프레임 메모리(10)는 영상 신호에 대응하는 프레임을 저장했다가 현재 프레임에 대해 한 프레임 이전의 F_k-1프레임을 움직임 추정부(30) 및 제 2 프레임 메모리(20)로 제공한다.

제 2 프레임 메모리(20)는 제 1 프레임 메모리(10)로부터 제공되는 F_k-1프레임을 저장했다가 현재 프레임에 대해 두 프레임 이전의 F_k-2프레임을 움직임 추정부(30)로 제공한다.

움직임 추정부(30)는 제 1, 제 2 프레임 메모리(10, 20)로부터 각각 제공되는 F_k-1프레임 및 F_k-2프레임으로부터 현재 프레임에 대한 제 1, 제 2 움직임 벡터를 각각 추정한다.

어느 정도 이상의 레퍼런스 프레임의 증가는 더 이상의 추정 성능을 증가시키지 않고, 계산량 만을 과중하게 만든다. 또한, 움직임 벡터의 증가가 직접적으로 추정 성능의 향상을 보여주지는 않고, 움직임 정보의 비트 율의 증가를 가져온다. 그래서, 본 발명에서는 레퍼런스 프레임의 수를 2 개로 한정하고, 블록 당 움직임 벡터의 수를 2 개로 제한하였다. 또한, 구획 효과를 감소시키고, 추정 성능을 높이기 위하여, 추정 위치 이동 방법을 제안한다.

영상 스퀀스(image sequence)가 압축될수록, 부호화된 비트 스트림(bit stream)은 무선 채널(wireless channel)이나 ATM 망(Asynchronous transfer mode networks) 등과 같은 잡음 채널(noisy channel)을 통한 전송 중 에러가 발생하기쉽다. 그래서, 최근의 국제 표준안은 에러에 대한 강인성을 강조한다. 본 발명의 경우 프레임 안의 각각의 화소(pixel) p는 두 개의 화소들로부터 비례 수퍼포지션(weighted superposition)으로 추정한다. 그러므로, 둘 중 하나의 화소가 전송 중에 손실된 경우에도, 복호기는 p를 다른 하나의 화소로부터 추정을 수행함으로써, 에러 전파(error propagation)를 효율적으로 억제시킬 수 있다.

본 발명이 제안하는 H.263 표준안 코더의 신택스(syntax)를 수정하여 구현하였다. 그리고, ＂MPEG-4 testing and evaluation procedures＂ 문서에 규정된 버스트 에러(burst error) 환경에서 실험을 하였다. 다양한 실험을 통하여 제안하는 알고리듬이 H.263 표준안과 비교하여 에러가 없는 환경과 에러가 있는 환경, 모두의 경우에 대하여 우수한 성능을 보임을 보여준다.

이중 레퍼런스 프레임 방법은 장기 메모리 움직임 보상 알고리듬의 특별한 경우이다. 기존의 장기 메모리 움직임 보상 알고리듬은 2 내지 50 장의 레퍼런스 프레임을 이용한다. 하지만, 추정 성능은 어느 정도의 레퍼런스 프레임의 증가 이후에는 포화된다. 도 1a는 MSE(mean squared error)로 표현된 움직임 추정 성능을 보여준다. 300장의 QCIF (176×144) 포만(Foreman) 시퀀스가 테스트 시퀀스로 사용되었다. 움직임 보상의 블록 크기는 16×16 사용하였다. 도 1a와 같이 레퍼런스 프레임의 수가 4 장을 넘을 경우에는 움직임 추정의 성능이 포화되어 더 이상 증가하지 않는다. 전체 부호화 성능 측면에서 살펴보면, 많은 양의 레퍼런스 프레임의 증가는 3D 움직임 벡터의 시간 신호의 표현을 위한 비트의 증가 때문에, 약간의 추정 성능의 증가는 거의 상쇄된다.

이중 움직임 벡터 방법은 다중 움직임 벡터 알고리듬의 특별한 경우이다. 다중 움직임 벡터 알고리듬은 다중 3 차원 움직임 벡터 v₁, v₂, ···, v_n들의 비례 수퍼포지션으로 움직임 보상을 수행한다.

도 1b는 블록 당 움직임 벡터의 수와 추정 성능의 비를 보여준다. 포만 300 프레임을 테스트 시퀀스로 사용하였고, 레퍼런스 프레임의 수를 2 장으로 제한하였다. 움직임 벡터의 비트 율은 움직임 벡터의 수 n에 선형적으로 비례하지만, 추정 성능은 n이 2보다 클 경우에는 거의 변화하지 않음을 볼 수 있다. 따라서, 다중 움직임 벡터는 추정 이득과 움직임 정보의 좋은 타협점이 된다.

도 2와 같이, k번째 프레임 F_K를 움직임 보상하기 위하여, 첫 번째 움직임 보상 영상(primary motion compensated image, primary MCI) F^_k,1과 두 번째 움직임 보상 영상(secondary motion compensated image, secondary MCI) F^_k,2를 구한다. 그리고, k번째 추정 프레임 F^_k는 F^_k,1과 F^_k,2의 비례 수퍼포지션으로 수학식 1과 같이 구한다.

F^=h₁F^_k,1+h₂F^_k,2

여기에서, h₁과 h₂는 고정된 계수 값이고, h₁+h₂는 정규화(normalization)를 위하여 1로 한다. 블록 분할 방법은 첫 번째 움직임 보상 영상 F^_k,1과 두 번째 움직임 보상 영상 F^_k,2는 다르다. 그러므로, 블록 당 2 개의 움직임 벡터를 전송하지만, 실제 각각의 블록은 5 개의 움직임 벡터의 영향을 받는다. 자세히 살펴보면, 도 2와 같이 추정 블록 B^는 5 개의 블록 J, K, L, M, N의 움직임벡터로부터 추정이 된다. 16×16 블록의 좌상단, 우상단, 좌하단, 우하단 8×8 부블록(subblock)을 각각 UL, UR, LL, LR 부블록으로 정의하면, B^ 블록의 UL 부블록은 J 블록의 UL 부블록과 K 블록의 LR 부블록의 비례 수퍼포지션으로 구할 수 있다. 같은 방식으로, B^ 블록의 UR, LL, LR 부블록을 구할 수 있다. 여기에서, 프레임의 경계 부분을 채우기 위하여, 두 번째 움직임 보상 영상 F^_k,2의 프레임의 경계에서는 8×32, 32×8, 40×8 부블록을 사용한다.

일반적인 블록 정합 방법에서는 각각의 블록은 하나의 움직임 벡터에 의해 이전 프레임으로부터 그 영역을 복사하는 형식으로 움직임 보상을 한다. 그래서, 각 화소의 추정 오차는 블록의 경계에서 중앙으로 올수록 단조 감소하는 특성이 있다. 또한, 기존의 다중 움직임 벡터 방법도 블록 분할 방법이 모든 움직임 보상 영상에 대하여 균일하기 때문에, 이러한 특성을 가지고 있다. 그러므로, 이러한 특성은 블록 경계에서의 구획 효과로 나타난다. 하지만 제안하는 추정 위치 이동 방법은 두 번째 움직임 보상 영상의 구조가 (8, 8) 만큼 이동하여 중첩의 효과를 보여주게 된다. 그러므로, 하나의 움직임 보상 영상에서 블록의 경계에 위치한 화소는 다른 움직임 보상 영상에서는 블록의 중앙에 위치하게 된다. 이러한 이유로, 제안하는 알고리듬은 블록의 위치에 관계없이 오차의 균일한 분포를 보여준다. 그러므로, 제안하는 알고리듬은 구획 효과를 효과적으로 감소시킨다.

하나의 레퍼런스 프레임 방식의 동영상 부호화는 이전 프레임의 하나의 화소값을 이용하여 현재 프레임의 하나의 화소 값을 추정하기 때문에, 전송 중의 발생한 왜곡에 대해서 순차적으로 에러 전파가 발생한다.

이와 같은 에러 전파를 효율적으로 방지하는 방법에 대하여 보면 다음과 같다.

제안하는 알고리듬은 k번째 프레임 F_k의 추정 시 수학식 1에서 주어진 대로, 두 개의 MCI's F^_k,1과 F^_k,2의 비례 수퍼포지션을 이용한다. F^_k,1과 F^_k,2는 하나의 프레임 F_k의 움직임 보상 영상이므로, 일반적으로 높은 상관도를 가지고 있다. 그러므로, 두 개의 움직임 보상 영상 중 하나가 전송 중 손실되었을 경우에도, 복호기(decoder)는 F_k프레임을 손실이 발생하지 않은 움직임 보상 영상을 이용하여 추정함으로써, 에러 전파를 효과적으로 감소시길 수 있다. 자세히 살펴보면, 복호기는 수학식 1의 F^_k프레임 내 각각의 화소를 수학식 2와 같이 추정한다.

F^_k ^d(u,v)=F^_k,2(u,v), F^_k,1(u,v) is corrupted

F^_k ^d(u,v)=F^_k,1(u,v), F^_k,2(u,v) is corrupted

F^_k ^d(u,v)=h₁F^_k,1(u,v)+h₂F^_k,2(u,v), otherwise

여기에서 F(u,v)는 F의 (u,v)번째 화소이다. 그리고, 복호기는 이산 코사인 변환 값 F^_k ^d를 더함으로써 F_k를 복원한다.

수학식 2의 규칙에 의해서도, F^_k,1(u,v)과 F^_k,2(u,v)가 동시에 손실이 발생한 경우에는 F^_k ^d(u,v)는 오추정이 발생할 수 있다. F^_k ^d(u,v)의 움직임 보상을 할 경우 약간의 움직임 추정의 손실을 감수하고, 첫 번째 움직임 보상 영상 F^_k,1은 F_k-1로부터 움직임 보상을 하고, 두 번째 움직임 보상 영상 F^_k,2는 F_k-2로부터 움직임 보상을 하면, 오추정의 확률을 줄일 수 있다.

본 발명에서, 두 개의 움직임 보상 영상 안의 매크로블록은 3 차원 움직임 벡터를 이용하여 움직임 보상된다. 3 차원 벡터는 2 차원 공간 움직임 벡터과 시간 계수로 구성된다. 두 개의 레퍼런스 프레임 F_k-1과 F_k-2를 움직임 보상에서 이용하므로, 시간 계수가 1 비트 필요하다. 상술한 바와 같이 에러 전이를 효율적으로 감소시키기 위하여, 첫 번째 움직임 보상 영상 F^_k,1은 F_k-1로부터 움직임 보상을 하고, 두 번째 움직임 보상 영상 F^_k,2는 F_k-2에서 움직임 보상을 할 경우 시간 계수는 필요 없게 된다.

일반적인 H.623에서 움직임 벡터는 그 주변의 상단, 우상단, 좌단 벡터의 정보를 이용하여 차분 부호화(differential coding)한다. 현재 매크로블록의 움직임 벡터를 MVC로 두고, 상단의 매크로블록의 움직임 벡터를 MV1, 우상단의 움직임 벡터를 MV2, 좌단의 움직임 벡터를 MV3라 둔다. 제안 알고리듬에서, 각각의 움직임 벡터는 이전의 F_k-1또는 F_k-2프레임으로부터 추정되므로 H.263에서 사용되는 방법을 적용하기는 그 시간 계수가 다를 경우 상관도가 떨어지므로 어렵다. 그래서, 여기서는 시간 계수에 따른 3 개의 움직임 벡터를 다르게 적용하는 방법을 이용한다. 자세히 설명하면, 세 개의 움직임 벡터의 중간값은 수학식 3과 같이 계산된다.

P_x=Median(n₁MV1_x, n₂MV2_x, n₃MV3_x),

P_y=Median(n₁MV1_y, n₂MV2_y, n₃MV3_y)

여기서, 아래 첨자 x와 y는 가로, 세로 방향의 값을 의미한다. 그리고,

n_i=1, MVC와 MVi의 시간 계수가 같을 때,

n_i=2, MVC의 시간 계수는 F_k-2이고, MVi의 시간 계수는 F_k-1일 때,

n_i=1/2, MVC의 시간 계수는 F_k-1이고 MVi의 시간 계수는 F_k-2일 때

i∈{1,2,3}

그런 후, 추정된 MVD_x와 MVD_y의 오차를 수학식 5와 같이 호프만(Huffman) 부호화한다.

MVD_x=MVC_x-P_x,

MVD_y=MVC_y-P_y.

제안 알고리듬의 성능은 실제 동영상 시퀀스를 이용하여 테스트하였다. 테스트 시퀀스는 QCIF(176×144)의 크기이며, 원 25 fps(frames/s) 영상을 두 프레임마다 건너뛴 8.33 fps를 사용하였다. 수학식 6과 같은 최대 신호 대 잡음 비(peak signal-to-noise ratio, PSNR)를 화질 척도로 사용한다.

도 3은 포만 시퀀스에 대한 움직임 보상 성능을 보여준다. 움직임 보상의 성능 측정을 위해 이전 프레임이 무손실 복원되었다는 가정을 하였다. 블록 정합 기법, 기존의 다중 레퍼런스 프레임, 이중 레퍼런스 프레임+다중 움직임 벡터+추정 위치 이동 기법() 및 이중 레퍼런스 프레임+다중 움직임 벡터+추정 위치 이동 기법() 등 네 개의 다른 움직임 보상 알고리듬을 비교하였다. 기존의 다중 레퍼런스 프레임 알고리듬은 10 장의 레퍼런스 프레임과 매크로 블록 당 4 개의 움직임 벡터를 사용하였다. 제안 알고리듬을 두 가지 방식 ()와 ()로 나누어 실험을 하였다. ()는 첫 번째 움직임 벡터의 집합 ν_k,1은 F_k-1로부터 선택하고, 두 번째 움직임 벡터의 집합 ν_k,2는 F_k-2로부터만 선택하도록 제한을 두었다. 반면, ()의경우는 제약 없이, ν_k,1과 ν_k,2를 F_k-1또는 F_k-2로부터 선택한 것이다. 블록 정합 기법을 제외하고는 움직임 벡터는 반복인 검색을 통하고 구하였다. 제안 이중 레퍼런스 프레임+다중 움직임 벡터+추정 위치 이동 기법() 알고리듬의 성능이 기존의 블록 정합 기법에 비하여 거의 2 배 정도의 움직임 벡터의 비트 율을 차지하지만, 전체 스퀀스에 대해 3 내지 4 dB 정도 우수함을 볼 수 있다. 또한, 기존의 다중 레퍼런스 프레임 방법에 비해 두 배 정도의 적은 움직임 벡터 비트 율을 가지지만, 성능을 () 알고리듬의 경우 약간 더 우수함을 보여준다.

도 4a 및 도 4b는 포만 시퀀스의 67번째 프레임이다. 도 4a는 기존의 다중 레퍼런스 프레임 방법을 이용하여 움직임 보상을 한 것이고, 도 4b는 제안 이중 레퍼런스 프레임+다중 움직임 벡터+추정 위치 이동 기법() 알고리듬을 이용하여 보상한 것이다. 도 4a는 블록 경계를 따른 구획효과가 남아 있음을 볼 수 있다. 하지만 도 4b의 경우 도 4a에 비해 현저히 좋은 주관적인 화질을 보여준다.

부호화 성능은 h.263 코더와 기존 다중 레퍼런스 프레임 알고리듬, 그리고, 제안 이중 레퍼런스 프레임+다중 움직임 벡터+추정 위치 이동 기법()와 ()를 비교하였다. 각각의 코더는 움직임 보상과 이산 코사인 변환의 두 가지로 나뉜다. H.263 코더의 경우, "INTRA, INTER, UNCODED 방식"만이 사용되었다. 기존의 다중 레퍼런스 프레임과 제안 이중 레퍼런스 프레임+다중 움직임 벡터+추정 위치 이동 기법()와 ()는 H.263 코더의 구조를 수정하여 구현하였다.

도 5는 네 가지 코더로 부호화 후 복원된 영상의 최대 신호 대 잡음 비 대비트 율 비를 보여준다. 이 곡선들은 "QUANT 값"을 변화시키면서 그린 것이다. 그리고, 300 프레임을 측정하여 값을 발생하였다. 결과를 보면, 제안 알고리듬 이중 레퍼런스 프레임+다중 움직임 벡터+추정 위치 이동 기법()와 ()는 60 kbps에서 H.263에 비해 각각 0.7 dB, 1.3 dB 이상 높은 성능을 보여준다. 더구나, 30 kbps이하의 저 비트 율에서도 제안 이중 레퍼런스 프레임+다중 움직임 벡터+추정 위치 이동 기법() 알고리듬은 H.263보다 우수한 성능을 보여준다. 하지만, 기존 다중 레퍼런스 프레임 알고리듬의 경우는 저 비트 율에서 움직임 벡터의 과중한 비트 율 때문에 성능을 보여주지 못한다. 이러한 결과로 볼 때 제안 알고리듬은 저 비트 율에 합당한 동영상 부호화 알고리듬이다.

도 6a는 원 영상 포만 7, 10, 85번째 프레임이다. 도 6b 내지 도 6d는 도 6a의 흰 사각형 안이 전송 중 손실되었을 때 복원된 영상을 보여준다. 도 6b는 에러가 발생한 경우, 가장 간단한 에러 은닉 기법(error concealment algorithm)인 CRA(copying reconstruction algorithm)을 이용하여 복원한 것이다. 7번째 프레임은 여전히 블록의 경계에서 심한 왜곡을 보여주고 있다. 더욱이, 에러가 발생하고 3 초가 지난 후의 영상도 에러 전파 때문에 심한 왜곡이 남아있다. 도 6c와 도 6d는 제안하는 이중 레퍼런스 프레임+다중 움직임 벡터+추정 위치 이동 기법()와 이중 레퍼런스 프레임+다중 움직임 벡터+추정 위치 이동 기법() 알고리듬을 이용하여 에러가 난 블록을 복원한 영상이다. ()와 () 알고리듬 모두 단순한 H.263+CRA 알고리듬에 비해 우수한 성능을 보여준다. 제안 () 알고리듬의 경우,3절에서 언급한 것처럼, 잘못된 복원을 할 확률이 () 알고리듬에 비해 현저히 떨어진다. 그러므로, 제안 () 알고리듬이 ()에 비해 효율적으로 에러를 감소시킬 수 있다.

에러 환경에서 제안 알고리듬의 강인성을 평가하기 위해서, MPEG-4의 버스트 에러 모델을 이용하여 실험하였다. 이 에러 모델은 1.5 초가 지난 후에 비트 열에 세 번의 버스트 에러를 발생시킨다. 버스트 에러의 길이는 16ms에서 24ms 사이에 랜덤하게 선택되고, 에러 사이의 간격은 최소 2 초 이상이다.

도 7은 버스트 에러 환경에서의 제안 알고리듬과 H.263 코더의 PSNR 성능을 보여준다. 여기서 "QUANT"는 10으로 고정시켰다. H.263의 비트 율은 53.79 kbps, 제안 ()의 비트 율은 54.13 kbps, 제안 ()의 비트 율은 48.32 kbps이다. 세 번의 버스트 에러가 31, 60, 85번째 프레임 근처에서 발생하였다. 여기서, 제안 () 알고리듬은 효율적으로 에러 전파를 감소시킴을 볼 수 있다. 반대로, H.263의 경우, 에러가 발생한 후의 모든 프레임에 걸쳐 에러 전파가 되었음을 보여준다.

이상에서 설명한 바와 같이 두 장의 레퍼런스 프레임, 두 개의 움직임 벡터 및 추정 위치 이동 기법을 기반으로 하는 본 발명의 움직임 추정 장치는 추정 이득을 높이고, 구획 효과를 제거함으로써 주관적인 화질을 향상시키는 결과를 나타내었다. 또한, 에러 환경에서도 에러 전파를 효율적으로 억제시켜 우수한 성능을 보여주었다. 다양한 실험을 통하여 이중 레퍼런스 프레임과 이중 움직임 벡터가 고추정 이득, 저 비트 율 및 저 계산량의 우수한 타협점이 된다는 것을 보여주었다. 또한, 더 나은 화질의 향상을 위하여 추정 위치 이동 기법를 도입하였다. 이 기법은 블록 경계의 구획효과를 효과적으로 제거하였다. 또한, 제안 알고리듬의 계산량도 기존의 다중 레퍼런스 프레임에 비해 현저히 감소하였다.

Claims

동영상 부호화 시스템에 있어서:

상기 동영상에 대응하는 프레임을 저장했다가 현재 프레임에 대해 한 프레임 이전의 F_k-1프레임을 제공하는 제 1 프레임 메모리;

상기 제 1 프레임 메모리로부터 제공되는 F_k-1프레임을 저장했다가 현재 프레임에 대해 두 프레임 이전의 F_k-2프레임을 제공하는 제 2 프레임 메모리;

상기 제 1, 제 2 프레임 메모리로부터 각각 제공되는 F_k-1프레임 및 F_k-2프레임으로부터 현재 프레임에 대한 제 1, 제 2 움직임 벡터를 각각 추정하는 움직임 추정부를 포함하는 동영상 부호화 시스템의 동영상 움직임 추정 장치.
제 1 항에 있어서, 상기 제 1, 제 2 움직임 벡터는 블록 당 추정되는 것을 특징으로 하는 동영상 부호화 시스템의 동영상 움직임 추정 장치.
제 2 항에 있어서, 블록의 크기는 16×16인 것을 특징으로 하는 동영상 부호화 시스템의 동영상 움직임 추정 장치.