KR100275694B1

KR100275694B1 - 실시간 동영상 부호화를 위한 초고속 움직임 벡터 추정방법

Info

Publication number: KR100275694B1
Application number: KR1019980006718A
Authority: KR
Inventors: 나종범; 임경원; 최건영
Original assignee: 윤덕용; 한국과학기술원; 윤종용; 삼성전자주식회사
Priority date: 1998-03-02
Filing date: 1998-03-02
Publication date: 2000-12-15
Also published as: US6377623B1; KR19990073648A

Abstract

본 발명은 해상도를 낮춰 후보 움직임 벡터를 계산하고, 주변 블럭들의 움직임 벡터 상관성을 이용해 또 하나의 후보 움직임 벡터를 정한 후, 다수개의 후보 벡터들을 중심으로 정해진 탐색영역에 대해 움직임 벡터를 추정함으로써, 움직임 벡터를 계산하기 위한 계산량을 줄여 결국 고속으로 움직임 벡터를 추정할 수 있는 움직임 벡터 추정방법을 제공하는 데 그 목적이 있다.

본 발명에 따르면, 동영상의 움직임 벡터 추정방법에 있어서, 탐색영역의 해상도를 낮춰 전역탐색법을 통해 적어도 두 개의 후보 움직임 벡터를 계산하는 제1단계와, 이미 계산된 주변블럭들의 움직임 벡터를 읽어 주변블럭들의 상관성을 이용해 적어도 하나의 후보 움직임 벡터를 선택하는 제2단계와, 상기 선택된 적어도 세 개의 후보 움직임 벡터에 대한 해상도를 조정한 후, 상기 선택된 적어도 세 개의 후보 움직임 벡터를 중심으로 소정의 크기를 갖는 탐색영역을 새롭게 결정하여 상기 결정된 탐색영역에 대한 각각의 평균절대오차를 계산하는 제3단계 및, 상기 계산된 적어도 세 개의 평균절대오차 중 최소 값을 갖는 평균절대오차를 선택하여 상기 선택된 하나의 평균절대오차를 중심으로 상기 새롭게 결정된 탐색영역에 대해 최종 평균절대오차를 계산하는 제4단계를 포함한 것을 특징으로 하는 동영상의 움직임 벡터 추정방법이 제공된다.

Description

실시간 동영상 부호화를 위한 초고속 움직임 벡터 추정방법

본 발명은 실시간 동영상 부호화를 위한 초고속 움직임 벡터 추정방법에 관한 것으로, 더욱 자세하게는 MPEG-2와 같은 동영상의 부호화를 위한 움직임 추정에 있어 해상도를 낮춰 후보 움직임 벡터를 결정하고, 주변 블럭들의 움직임 벡터 상관성을 이용해 후보 움직임 벡터를 선정한 후, 다수개의 후보 벡터를 중심으로 탐색영역을 선정하여 움직임 벡터를 계산함으로써, 움직임 벡터의 계산 시간을 단축한 움직임 벡터 추정방법에 관한 것이다.

동영상의 부호화에서는 높은 데이타 압축률을 얻기 위해 시간적으로 중복성을 제거하는 움직임 보상 부호화가 널리 사용되고 있으며, 이는 국제 영상 부호화 표준의 구현에서 중요한 위치를 차지하고 있다.

움직임 보상 부호화는 움직임 추정을 통해 이전 프레임의 정보로부터 입력 영상에 가장 유사한 영상을 예측하고, 예측된 영상과 입력 영상의 차 영상을 변환 부호화하는 것을 말한다.

이와 같은 동영상의 부호화를 위한 장치가 도1에 도시되어 있다.

도1은 일반적인 동영상 부호화장치의 블럭 구성도로서, 도면에서 11은 프레임 메모리, 12, 13은 움직임 추정기, 14는 움직임 보상기, 15는 감산기, 16은 이산여현변환기, 17은 양자화기, 18은 역양자화기, 19는 역이산여현변환기, 20은 가산기, 21은 프레임 지연기, 22는 순방향 분해 및 비율 제어기, 23은 가변길이 부호화기, 24는 버퍼를 각각 나타낸다.

프레임 단위로 입력되는 영상은 프레임 메모리(11)에 저장되고, 제1 움직임 추정기(12)는 정수 화소 단위의 영상에 대한 움직임 벡터를 계산한다. 제2 움직임 추정기(13)는 제1 움직임 추정기(12)로부터 입력된 움직임 벡터와 프레임 메모리(11)로부터 입력된 영상신호와 프레임 지연기(21)로부터 입력된 이전 프레임의 정보를 이용하여 현재 입력된 영상에 대한 반화소 단위의 움직임 벡터를 계산한다.

움직임 보상기(14)는 제2 움직임 추정기(13)로부터 입력된 움직임 벡터와 프레임 지연기(21)로부터 입력된 이전 프레임의 정보를 바탕으로 움직임 보상을 수행하여 현재 프레임에 대한 예측 영상을 출력한다. 이렇게 움직임 보상된 예측 영상은 감산기(15)에 의해 프레임 메모리(11)로부터 입력된 현재의 영상과 감산되어 현재 영상과의 차 영상을 얻음으로써, 동영상의 시간적 중복성이 제거된다. 이와 같은 움직임 추정 및 보상은 16 x 16 블럭(매크로 블럭) 단위로 수행된다. 이와 같이 움직임 추정 및 보상 후 얻어진 차 영상은 이산여현변환기(16)와 양자화기(17)에 의해 이산여현변환 및 양자화 됨으로써, 차 영상의 남아 있는 공간적 중복성이 제거된다. 최종적으로 움직임 벡터들과 양자화된 차영상은 가변길이부호화기(23)에 의해 부호화 된 후, 버퍼(24)를 통해 비트열로 전송된다. 한편, 순방향 분해(analysis) 및 비율(rate) 제어부(22)는 가변길이부호화기(23)의 부호율을 제어하며, 양자화된 영상 신호는 다시 역양자화기(18)와 역이산여현변환기(19)에 의해 보간 및 복원된 후, 가산기(20)에 의해 움직임 보상된 영상신호와 더해져 프레임 지연기(21)에 저장된다. 즉, 프레임 지연기(21)에 저장된 영상 프레임은 한 프레임 이전의 영상 프레임에 해당된다. 이렇게 프레임 지연기(21)에 저장된 이전 프레임 정보는 제2 움직임 추정기(13)와 움직임 보상기(14)에 각각 제공된다.

동영상을 처리하기 위한 움직임 추정 및 보상 방법으로는 일반적으로 프레임 단위의 움직임 추정 및 보상 방법과 필드 단위의 움직임 추정 및 보상 방법이 있는데, 이는 잘 알려진 내용으로 본 발명의 설명에서는 생략하기로 한다.

한편, 종래에 사용되고 있는 전역 탐색법에 의한 움직임 추정 방법은 현재 프레임을 일정한 크기의 블럭 단위로 나눈 후, 각 블럭을 주어진 정합 기준에 따라 기준 프레임의 탐색 영역 내에 있는 모든 블럭들과 비교하여 최적의 정합블럭의 위치를 찾음으로써, 각 블럭의 이차원 움직임 벡터를 추정하는 방법이다. 이와 같은 종래의 블럭 정합법에서 최적의 정합블럭을 찾기 위한 정합 기준으로는 비교적 계산이 간단한 평균절대오차(MAD: Mean Absolute Difference)를 사용한다. 이와 같은 평균절대오차값은 수학식1과 같이 계산된다.

수학식 1에서

f_t(k,l)

는 현재 프레임의

(k,l)

위치에 있는 화소의 밝기이며,

f_t-1(k+i,l+j)

는 이전 프레임의

(k,l)

위치에서

(i,j)

위치만큼 이동한 위치에 있는 화소의 밝기 값이다.

한편, 이와 같은 블럭 정합법에서 부호화할 실제 영상들의 움직임을 고려해 최대 움직임 추정 범위를 정한다. 이렇게 정해진 움직임 추정 범위 내의 모든 블럭들과 현재 블럭들을 비교하여 움직임 벡터를 추정하는 전역 탐색 방식은 예측 이득의 측면에서는 최고의 성능을 갖지만, 지나치게 많은 계산량이 요구되는 단점이 있다. 예를 들면, M x N 크기의 블럭에 대하여 프레임 당 최대 이동 변위를 ±p (펄스/프레임) 이라고 할 경우, 기준 프레임에서 탐색 영역의 크기는 (M + 2p) × (N + 2p)가 된다. 즉, 정합 기준에 따라 비교해야 할 후보 블럭의 수가

(2p+1)²

이 되기 때문에 p가 클수록 동영상 부호화기의 실시간 구현이 어려워진다는 문제점이 있다.

따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 해상도를 낮춰 후보 움직임 벡터를 계산하고, 주변 블럭들의 움직임 벡터 상관성을 이용해 또 하나의 후보 움직임 벡터를 정한 후, 다수개의 후보 벡터들을 중심으로 정해진 탐색영역에 대해 움직임 벡터를 추정함으로써, 움직임 벡터를 계산하기 위한 계산량을 줄여 결국 고속으로 움직임 벡터를 추정할 수 있는 움직임 벡터 추정방법을 제공하는데 있다.

도1은 본 발명이 적용되는 동영상 부호화 장치의 개략적인 블럭 구성도.

도2는 본 발명에 따른 움직임 벡터 추정방법을 나타낸 흐름도.

도3은 본 발명에 이용되는 주변 블럭의 움직임 벡터 유사성에 의한 클래스 구분을 나타낸 도면.

*도면의 주요 부분에 대한 부호의 설명

11 : 프레임 메모리 12 : 제1 움직임 추정기

13 : 제2 움직임 추정기 14 : 움직임 보상기

15 : 감산기 16 : 이산여현변환기

17 : 양자화기 18 : 역양자화기

19 : 역이산여현변환기 20 : 가산기

21 : 프레임 지연기 22 : 순방향 분해 및 비율 제어기

23 : 가변길이 부호화기 24 : 버퍼

상기 목적을 달성하기 위한 본 발명에 따르면, 동영상의 움직임 벡터 추정방법에 있어서, 탐색영역의 해상도를 낮춰 전역탐색법을 통해 적어도 두 개의 후보 움직임 벡터를 계산하는 제1단계와, 이미 계산된 주변블럭들의 움직임 벡터를 읽어 주변블럭들의 상관성을 이용해 적어도 하나의 후보 움직임 벡터를 선택하는 제2단계와, 상기 선택된 적어도 세 개의 후보 움직임 벡터에 대한 해상도를 조정한 후, 상기 선택된 적어도 세 개의 후보 움직임 벡터를 중심으로 소정의 크기를 갖는 탐색영역을 새롭게 결정하여 상기 결정된 탐색영역에 대한 각각의 평균절대오차를 계산하는 제3단계 및, 상기 계산된 적어도 세 개의 평균절대오차 중 최소 값을 갖는 평균절대오차를 선택하여 상기 선택된 하나의 평균절대오차를 중심으로 상기 새롭게 결정된 탐색영역에 대해 최종 평균절대오차를 계산하는 제4단계를 포함한 것을 특징으로 한다.

또한, 상기 목적을 달성하기 위한 본 발명에 따르면, 상기 제1단계에서 탐색 영역의 해상도를 1/4로 줄이는 것을 특징으로 한다.

또한, 상기 목적을 달성하기 위한 본 발명에 따르면, 상기 제3단계의 선택된 적어도 세 개의 후보 움직임 벡터에 대한 해상도 조정은 상기 주변블럭들의 상관성을 이용해 계산된 움직임 벡터에는 1/2를 곱하고, 현재 탐색 영역의 상기 적어도 두 개의 후보 움직임 벡터에는 2를 곱해 이루어지는 것을 특징으로 한다.

또한, 상기 목적을 달성하기 위한 본 발명에 따르면, 상기 새롭게 결정되는 탐색영역은 5 x 5의 크기를 갖는 블럭인 것을 특징으로 한다.

이하, 첨부된 도2 및 도3을 참조하여 본 발명의 양호한 실시예를 상세히 설명하기로 한다.

도2는 본 발명에 따른 움직임 벡터 추정방법을 나타낸 흐름도이다.

먼저, 해상도를 낮춰 탐색 영역에 대해 전역 탐색을 수행하여 두 개의 후보 움직임 벡터를 선택한다(101, 102). 여기서, 해상도를 낮추는 이유는 탐색 영역의 크기를 줄여 움직임 벡터를 계산하기 위한 계산량을 줄이기 위한 것이다. 본 발명의 실시예에서는 해상도를 1/4로 줄였다. 즉, 전체 탐색 영역의 크기가 R x R이라면 본 발명의 실시예에서는 전역 탐색 영역의 범위는 (R/4) x (R/4)가 된다. 또한, 후보 움직임 벡터는 평균절대오차(MAD)가 최소가 되는 두 점을 차례로 선택한다.

상기와 같이 탐색 영역에 대한 후보 움직임 벡터 두 개를 설정한 후, 이미 계산되어 저장된 주변 블럭들의 움직임 벡터 정보를 읽어 주변블럭들의 움직임 벡터 상관성을 이용해 한 개의 후보 움직임 벡터를 선정한다(103, 104). 본 발명에서 이용되는 주변 블럭들은 도3에 도시된 바와 같이 상호 연관되는 세 개의 블럭들이 이용된다. 그리고, 움직임 벡터들간의 상관성을 고려하여 5개의 클래스로 나눌 수 있는데, 각 클래스는 다음과 같이 구별된다. 주변블럭들의 움직임 벡터(MV_s)가 도3의 (a)와 같다고 할 때, ξ₁= ∥MV₁- MV₂∥, ξ₂= ∥MV₂- MV₃∥, ξ₃= ∥MV₃- MV₁∥, D가 두 움직임 벡터간 유사성을 검사하기 위한 임계값이라 하면, 클래스 1은 도3의 (b)에 도시된 바와 같이 ξ₁≤ D, ξ₂≤ D, ξ₃≤ D를 만족하는 경우이고, 클래스 2는 도3의 (c)에 도시된 바와 같이 ξ₁≤ D, ξ₂＞ D, ξ₃＞ D를 만족하는 경우이다. 또한, 클래스 3은 도3의 (d)에 도시된 바와 같이 ξ₁＞ D, ξ₂≤ D, ξ₃＞ D를 만족하는 경우이고, 클래스 4는 도3의 (e)에 도시된 바와 같이 ξ₁＞ D, ξ₂＞ D, ξ₃≤ D를 만족하는 경우이다. 이 이외의 경우에는 클래스 5에 속한다. 상기와 같이 구별되는 각 클래스에 있어서, 움직임 벡터는 클래스 1의 경우에는 {MV=(MV₁+MV₂+MV₃)/3}와 같이, 클래스 2는 {MV=(MV₁+MV₂)/2}와 같이, 클래스 3은 {MV=(MV₂+MV₃)/2}와 같이, 클래스 4는 {MV=(MV₁+MV₃)/2}와 같이 각각 계산하며, 클래스 5의 경우에는 움직임 벡터 MV는 "0"이다. 상기와 같은 과정을 통해 해당되는 클래스에 대한 움직임 벡터 하나를 계산하여 후보 움직임 벡터로 선정한다.

상기와 같은 과정을 통해 후보 움직임 벡터 3개가 선정되면, 해상도를 낮춰 탐색 영역에 대한 전역 탐색을 통해 계산한 두 개의 후보 움직임 벡터와 주변블럭들의 상관성을 이용해 선정한 하나의 후보 움직임 벡터는 해상도가 서로 다르므로 이를 조정하여야 한다(105). 본 발명의 실시예에서는 두 개의 후보 움직임 벡터에는 2를 곱하여 해상도를 두배 향상시키고, 주변블럭의 상관성을 이용해 계산한 하나의 후보 움직임 벡터는 2를 나누어 해상도를 절반으로 줄인 후, 전역 탐색을 수행한다.

이와 같이 해상도를 조정한 후, 상기 선정된 세 개의 후보 움직임 벡터를 중심으로 탐색 영역을 임의의 크기를 갖는 블럭으로 결정한 후, 결정된 세 개의 탐색 영역에 대해 각각 전역 탐색을 수행하여 각 블럭별로 최소의 평균절대오차(MAD) 값을 갖는 후보를 하나씩 선택한다(106, 107). 그런 다음, 세 개의 후보 벡터 중 최소 값을 갖는 후보 벡터를 중심으로 임의의 크기를 갖는 블럭으로 탐색영역을 결정하여 결정된 탐색 영역에 대해 전역 탐색을 수행하여 최종적인 움직임 벡터를 계산한다(108, 109). 본 발명의 실시예에서는 탐색영역을 5 x 5의 크기를 갖는 블럭으로 결정하였다.

상기와 같이 이루어진 본 발명의 효과를 살펴보면, 전역 탐색법에 의한 계산량 C_fsbma은

C_fsbma=(2P)²N²M

operations 이다. 반면, 본 발명에서 제시하는 방법의 계산량 C_proposed는 operations 이다. 여기서, P는 최대 움직임 화소수, N은 매크로블럭의 가로 및 세로 길이, M은 평균절대오차(MAD) 계산을 위한 화소 당 연산 수를 각각 나타낸다. 이와 같은 계산량의 수학식에서 예를 들어 P가 64인 경우 C_proposed/C_fsbma은 약 0.01임을 알 수 있다. 즉, 본 발명에 의한 움직임 벡터 계산량은 종래에 비해 약 1% 정도에 불과하다.

따라서, 상기와 같은 본 발명은 움직임 추정 성능은 동일하면서도, 종래에 비해 약 1% 가량의 극히 적은 계산량으로 움직임 추정을 수행할 수 있어, 동영상의 부호화 속도를 개선할 수 있고, 하드웨어 구현에 적합한 구조를 가지므로 주문형 반도체로 구현하는데 용이한 효과가 있다.

이상에서 본 발명의 실시간 동영상 부호화를 위한 초고속 움직임 벡터 추정방법에 대한 기술사상을 첨부도면과 함께 서술하였지만 이는 본 발명의 가장 양호한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술분야의 통상의 지식을 가진 자이면 누구나 본 발명의 기술사상의 범주를 이탈하지 않는 범위내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.

Claims

동영상의 움직임 벡터 추정방법에 있어서,

탐색영역의 해상도를 낮춰 전역탐색법을 통해 적어도 두 개의 후보 움직임 벡터를 계산하는 제1단계와,

이미 계산된 주변블럭들의 움직임 벡터를 읽어 주변블럭들의 상관성을 이용해 적어도 하나의 후보 움직임 벡터를 선택하는 제2단계와,

상기 선택된 적어도 세 개의 후보 움직임 벡터에 대한 해상도를 조정한 후, 상기 선택된 적어도 세 개의 후보 움직임 벡터를 중심으로 소정의 크기를 갖는 탐색영역을 새롭게 결정하여 상기 결정된 탐색영역에 대한 각각의 평균절대오차를 계산하는 제3단계 및,

상기 계산된 적어도 세 개의 평균절대오차 중 최소 값을 갖는 평균절대오차를 선택하여 상기 선택된 하나의 평균절대오차를 중심으로 상기 새롭게 결정된 탐색영역에 대해 최종 평균절대오차를 계산하는 제4단계를 포함한 것을 특징으로 하는 동영상의 움직임 벡터 추정방법.
제1항에 있어서, 상기 제1단계에서 탐색 영역의 해상도를 1/4로 줄이는 것을 특징으로 하는 동영상의 움직임 벡터 추정방법.
제1항 또는 제2항에 있어서, 상기 제3단계의 선택된 적어도 세 개의 후보 움직임 벡터에 대한 해상도 조정은 상기 주변블럭들의 상관성을 이용해 계산된 움직임 벡터에는 1/2를 곱하고, 현재 탐색 영역의 상기 적어도 두 개의 후보 움직임 벡터에는 2를 곱해 이루어지는 것을 특징으로 하는 동영상의 움직임 벡터 추정방법.
제1항 또는 제2항에 있어서, 상기 새롭게 결정되는 탐색영역은 5 x 5의 크기를 갖는 블럭인 것을 특징으로 하는 동영상의 움직임 벡터 추정방법.