KR20050004376A

KR20050004376A - 계층적 프레임 구조하에서의 움직임 벡터 추정방법

Info

Publication number: KR20050004376A
Application number: KR1020030044539A
Authority: KR
Inventors: 송병철; 천강욱
Original assignee: 삼성전자주식회사
Priority date: 2003-07-02
Filing date: 2003-07-02
Publication date: 2005-01-12
Also published as: KR100529331B1

Abstract

본 발명은 실시간 동영상 부호화에 관한 것으로, 구체적으로는 계층적 프레임별로 계산되는 다수개의 후보 움직임 벡터들을 기초로 움직임 벡터를 추정하는 계층적 프레임 구조하에서의 움직임 벡터 추정방법에 관한 것이다. 본 발명의 움직임 벡터 추정방법은 영상 프레임을 복수개의 해상도 계층으로 나누어 움직임 벡터를 추정하는 방법에 있어서, (a) 탐색영역의 해상도를 낮추어 최저 해상도 계층에서 전역 탐색법을 사용하여 한 개의 후보 움직임 벡터를 선택하는 단계; (b) 이미 계산된 주변 블럭들의 움직임 벡터를 읽어 주변 블럭들의 상관성을 이용해 최상 해상도 계층에서 하나의 후보 움직임 벡터를 선택하는 단계; (c) 상기 (a) 단계와 (b) 단계에서 선택된 두 개의 후보 움직임 벡터에 대한 해상도를 조정한 후, 소정의 크기를 갖는 탐색영역을 중간 해상도 계층에서 새롭게 결정하여 상기 결정된 탐색영역에 대한 각각의 SAD를 계산하는 단계; (d) 상기 계산된 두 개의 SAD 중 최소값을 갖는 SAD를 선택하는 단계; 및 (e) 상기 선택된 하나의 SAD를 갖는 움직임 벡터를 중심으로 새롭게 결정된 탐색영역에 대해 최상 해상도 계층에서 최종 SAD를 계산하여 최종 움직임 벡터를 계산하는 단계를 포함한다. 본 발명의 방법을 사용하면 계산량 및 메모리의 크기를 줄일 수 있는 효과가 있다.

Description

계층적 프레임 구조하에서의 움직임 벡터 추정방법 {Method of estimating motion vector in layered frame structure}

본 발명은 실시간 동영상 부호화에 관한 것으로, 구체적으로는 계층적 프레임별로 계산되는 다수개의 후보 움직임 벡터들을 기초로 움직임 벡터를 추정하는 계층적 프레임 구조하에서의 움직임 벡터 추정방법에 관한 것이다.

일반적으로 동영상 부호기에서 가장 많은 연산량을 차지하는 부분이 움직임 추정부이다. 이러한 움직임 추정부의 계산량을 줄이기 위한 고속 움직임 추정 방법이 있다. 고속 움직임 추정 방법은 전역 탐색 기법(full search block matchingalgorithm)에 비해 성능이 떨어지지 않으면서도 더 빠른 연산을 수행한다. 전역 탐색 기법은 현재 프레임 및 기준 프레임을 일정한 크기의 블록 단위로 나눈 다음, 현재 프레임의 각 블록을 주어진 정합(matching) 기준에 따라 기준 프레임의 탐색 영역에 있는 모든 블록들과 비교하여 최적의 정합 블록 위치를 찾아서 각 블록의 이차원 움직임 벡터를 추정하는 방법이다. 이와 같은 블록 정합시 사용되는 기준 정보로는 SAD(Sum of Absolute Difference)가 있다.

고속 움직임 추정 방법 중에서, 다 해상도의 계층적(hierarchical) 탐색 방식이 선호되어 사용되었다. 이러한 계층적 탐색방식의 일례로 한국특허공개번호 제1999-73648, "실시간 동영상 부호화를 위한 초고속 움직임 벡터 추정방법"이 개시되어 있다. 그러나 고속의 프로세싱 사이클을 요구하는 MPEG-2 동영상 부호기의 움직임 추정모듈에 상기 알고리즘을 그대로 적용할 경우 많은 프로세싱 엘리먼트(Processing Element : PE)들이 요구된다. 왜냐하면 상기 계층적 탐색방식에서는 블록의 정합시 매크로 블록의 픽셀수를 줄이지 않고 매크로 블록의 픽셀을 모두 SAD 계산에 사용되기 때문에, SAD 값의 차이를 계산하는 프로세싱 엘리먼트(PE)가 많이 필요하다.

본 발명이 이루고자 하는 기술적 과제는, 해상도를 낮춰 후보 움직임 벡터를 선택하고, 움직임 벡터를 추정하고자 하는 블록의 주변 블럭들의 움직임 벡터 상관성을 이용해 또 하나의 후보 움직임 벡터를 선택한 후, 다수개의 후보 벡터들을 중심으로 정해진 탐색영역에 대해 움직임 벡터를 추정함으로써, 움직임 벡터를 계산하기 위한 계산량을 줄여 고속으로 움직임 벡터를 추정할 수 있는 움직임 벡터 추정방법을 제공하는 데 있다.

도 1은 계층적 움직임 벡터 추정 방법을 설명하기 위한 도면이다.

도 2는 본 발명에 따른 동영상 부호화 시스템을 도시한 블록도이다.

도 3은 서브 샘플링에 의해서 생성된 계층 0, 계층 1, 계층 2의 프레임 구조를 도시한 도면이다.

도 4는 다해상도 매크로 블록의 구조를 도시한 도면이다.

도 5는 본 발명의 움직임 벡터 추정방법의 플로우차트이다.

상기의 과제를 이루기 위하여 본 발명에 의한 움직임 벡터 추정방법은, 영상 프레임을 복수개의 해상도 계층으로 나누어 움직임 벡터를 추정하는 방법에 있어서, (a) 탐색영역의 해상도를 낮추어 최저 해상도 계층에서 전역 탐색법을 사용하여 한 개의 후보 움직임 벡터를 선택하는 단계; (b) 이미 계산된 주변 블럭들의 움직임 벡터를 읽어 주변 블럭들의 상관성을 이용해 최상 해상도 계층에서 하나의 후보 움직임 벡터를 선택하는 단계; (c) 상기 (a) 단계와 (b) 단계에서 선택된 두 개의 후보 움직임 벡터에 대한 해상도를 조정한 후, 소정의 크기를 갖는 탐색영역을 중간 해상도 계층에서 새롭게 결정하여 상기 결정된 탐색영역에 대한 각각의 SAD를 계산하는 단계; (d) 상기 계산된 두 개의 SAD 중 최소값을 갖는 SAD를 선택하는 단계; 및 (e) 상기 선택된 하나의 SAD를 갖는 움직임 벡터를 중심으로 새롭게 결정된 탐색영역에 대해 최상 해상도 계층에서 최종 SAD를 계산하여 최종 움직임 벡터를 계산하는 단계를 포함한다.

상기의 과제를 이루기 위하여 본 발명에 의한 움직임 벡터 추정방법은, 영상 프레임을 복수개의 해상도 계층으로 나누어 움직임 벡터를 추정하는 방법에 있어서, (a) 상기 복수개의 해상도 계층의 매크로 블록을 수평 방향으로는 수직 방향보다 서브 샘플링을 더 많이 하는 단계; 및 (b) 상기 매크로 블록에 대하여 SAD를 계산하여 그 결과에 따라서 최종 움직임 벡터를 계산하는 단계를 포함한다.

상기한 과제를 이루기 위하여 본 발명에서는, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.

현재 프레임과 참조 프레임을 계층적 구조를 갖도록 구성한다. 계층의 수는 특정될 필요는 없으나 본 실시예에서는 3인 경우를 예를 들어 설명한다.

도 1을 참조하면, 최저 해상도 계층(계층 2: 110)에서의 탐색과 중간 해상도 계층(계층 1: 120)에서의 탐색과 최상 해상도 계층(계층 0: 130)에서의 탐색으로 구성됨을 알 수 있다.

일반적인 계층적 움직임 추정은 최저 해상도 계층(110)에서 전역탐색을 수행하고, 전역 탐색수행결과 최소 SAD를 갖는 탐색점들을 중간 해상도 계층(120)에서의 초기 탐색점들로 선정하고, 선정된 탐색점들을 중심으로 한 좁은 영역에서의 지역 탐색을 수행하고 최소 SAD를 갖는 탐색점들을 최상 해상도 계층(130)에서의 초기 탐색점들로 선정한 후, 선정된 탐색점들을 중심으로 최상 해상도 계층(130)에서의 좁은 영역의 지역 탐색들을 통한 최종 움직임 벡터를 선정한다.

상기 계층적 탐색 기법을 MPEG-2 움직임 추정에 적용하려면, 많은 메모리는 물론, 계층별로 소요되는 추가적인 계산량이 부담이 될 수 있으며, 이는 하드웨어로 구현하는데 있어서도 문제가 된다. 또한 많은 프로세싱 엘리먼트들이 요구된다.

먼저, 입력되는 영상 데이터는 GOP(Group of Picture) 단위로 구성된다. DCT부(220)는 영상 데이터의 공간 중복성(spatial redundancy)을 얻기 위해 8×8 블록 단위로 DCT(Discrete Cosine Transform)를 수행한다. 양자화부(Q:230)는 DCT부(220)에서 DCT된 영상 데이터를 양자화한다. 역양자화부(Q^-1:250)는 양자화부(230)에서 양자화된 영상 데이터를 역양자화한다. IDCT부(260)는 역양자화부(250)에서 역양자화된 영상 데이터를 역 DCT한다. 프레임 메모리부(FM:270)는 IDCT부(260)에서 역DCT된 영상 데이터를 프레임 단위로 저장한다. ME/MC부(280)는 입력되는 현재 프레임의 영상 데이터와 프레임 메모리부(270)에 저장된 이전 프레임의 영상 데이터를 이용하여 매크로 블록당 움직임 벡터(MV)와 SAD를 추정한다. VLC(Variable Length Coding)(240)부는 ME/MC부(280)에서 추정된 움직임 벡터(MV)에 따라 양자화된 영상 데이터의 통계적 중복성을 제거한다.

도 2를 참조하면, 움직임 추정에 앞서 현재 프레임 및 참조 프레임들은 저해상도 필터링 및 서브 샘플링(subsampling) 과정을 통해 다 해상도 구조를 갖도록 설정되어 있다. 따라서, 전처리부(210)는 이와 같이 서브 샘플링을 수행하여 저해상도의 프레임으로 만든다.

계층 0(330)에서의 하나의 매크로 블록은 16x16 픽셀로 구성되고, 계층 1(320)에서의 하나의 매크로 블록은 8x8 픽셀로 구성되며, 계층 2(310)에서의 하나의 매크로 블록은 4x4 픽셀로 구성된다.

도 4는 다해상도 매크로 블록의 구조를 도시한 도면이다.

본 실시예에서는 모두 3 단계의 해상도를 갖는 프레임 구조 하에서의 움직임 추정을 가정한다. 물론 더 많은 단계의 움직임 추정으로의 확장도 가능하다. 기존의 발명과 달리 본 발명에서는 도 4와 같이 계층 1, 2, 3 모두에서 수평 방향의 해상도는 수직 방향 해상도의 1/2이다. 즉, 수평 방향으로는 화소간 상관성이 더 크므로 수직 방향보다 서브 샘플링을 많이 하여도 성능에 영향은 적다. 따라서, 계층 2에서의 매크로 블록의 크기는 원 영상 (계층 0)에 비해 수직 방향은 1/4, 수평 방향은 1/8크기를 갖는다. 계층 1에서의 매크로 블록의 크기는 원 영상 (계층 0)에 비해 수직 방향은 1/2, 수평 방향은 1/4 크기를 갖는다.

계층 0에서의 매크로 블록의 크기는 원 영상 (계층 0)에 비해 수직 방향은 그대로, 수평 방향은 1/2 크기를 갖는다. 이런 프레임 구조를 생성하는 방법의 한 예로, 원 영상에 적당한 tap 수를 갖는 저해상도 통과 필터 (low-pass filtering; LPF)를 수직 수평 각 방향에 대해 수행한다. 예를 들어 LPF는 {1, 2, 1}//4이 될 수 있다. 혹은 그러나 상황에 따라 어떤 방식의 LPF 사용도 가능하다. 혹은 LPF 없이 서브 샘플링만을 수행할 수 있다.

여기서는 LPF을 수행하는 경우를 예를 든다. 계층 0의 영상은 수평방향으로만 적당한 1-D LPF를 적용한 후 2:1 서브 샘플링을 수행하여 도 4와 같은 계층 0 영상을 만든다. 계층 1 영상은 계층 0 영상으로부터, 수평 방향으로 적당한 1-D LPF를 적용한 후 2:1 서브 샘플링을 수행하고, 수직 방향으로도 적당한 1-D LPF를적용한 후 2:1 서브 샘플링을 수행한다. 따라서, 도 4와 같은 계층 1 영상이 생성된다. 계층 2 영상은 계층 1 영상으로부터, 수평 방향으로 적당한 1-D LPF를 적용한 후 2:1 서브 샘플링을 수행하고, 수직 방향으로도 적당한 1-D LPF를 적용한 후 2:1 서브 샘플링을 수행한다. 따라서, 도 4와 같은 계층 2 영상이 생성된다.

따라서 계층 0에서의 매크로 블록의 크기는 8x16, 계층 1에서의 매크로 블록의 크기는 4x8, 계층 2에서의 매크로 블록의 크기는 2x4가 된다.

도 5는 본 발명의 움직임 벡터 추정방법의 플로우차트이다.

도 1과 같이 탐색영역의 해상도를 낮추어 계층 2에서 전역 탐색법을 사용하여 한 개의 후보 움직임 벡터를 선택한다(S510). 탐색을 수행시에 서브 샘플링에 의해 도 4와 같이 크기가 작아진 매크로 블록에 대해서 SAD를 계산하여 최소 SAD를 갖는 움직임 벡터를 선택한다.

그리고 계층 0에서 이미 계산된 주변 블럭들의 움직임 벡터를 읽어 주변 블럭들의 상관성을 이용해 하나의 후보 움직임 벡터를 선택한다(S520). 하나의 움직임 벡터를 선택하는 것은 주변 블록들의 움직임 벡터값들에 X-좌표 및 Y-좌표 각각에 메디안(median)값을 취하여 얻어지는 움직임 벡터를 선택한다. 예를 들어 주변 블록의 움직임 벡터값이 각각 (5, 6), (3, 8), (7, 7)이라고 한다면, (median(5, 3, 7), median(6, 8, 7)) = (5, 7)이 된다.

선택된 두 개의 후보 움직임 벡터에 대한 해상도를 조정한 후(S530), 선택된 두 개의 후보 움직임 벡터를 중심으로 소정의 크기를 갖는 탐색영역을 계층 1에서 새롭게 결정하여 상기 결정된 탐색영역에 대한 각각의 SAD를 계산한다(S540). 이경우에도 서브 샘플링에 의해 도 4와 같이 크기가 작아진 매크로 블록에 대해서 SAD를 계산한다.

계산된 두 개의 SAD 중 최소값을 갖는 SAD를 선택하여(S550), 선택된 하나의 SAD를 갖는 움직임 벡터를 중심으로 새롭게 결정된 탐색영역에 대해 계층 0에서 최종 SAD를 계산하여 최종 움직임 벡터를 계산한다(S560). 이 또한 서브 샘플링에 의해 도 4와 같이 크기가 작아진 매크로 블록에 대해서 SAD를 계산한다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

상술한 바와 같이 본 발명의 움직임 벡터 추정방법을 사용하면, SAD 계산에 사용되는 픽셀의 수를 줄이고 후보 벡터의 수를 줄임으로써, 계산량 및 메모리의 크기를 줄일 수 있는 효과가 있다.

Claims

영상 프레임을 복수개의 해상도 계층으로 나누어 움직임 벡터를 추정하는 방법에 있어서,

(a) 탐색영역의 해상도를 낮추어 최저 해상도 계층에서 전역 탐색법을 사용하여 한 개의 후보 움직임 벡터를 선택하는 단계;

(b) 이미 계산된 주변 블럭들의 움직임 벡터를 읽어 주변 블럭들의 상관성을 이용해 최상 해상도 계층에서 하나의 후보 움직임 벡터를 선택하는 단계;

(c) 상기 (a) 단계와 (b) 단계에서 선택된 두 개의 후보 움직임 벡터에 대한 해상도를 조정한 후, 소정의 크기를 갖는 탐색영역을 중간 해상도 계층에서 새롭게 결정하여 상기 결정된 탐색영역에 대한 각각의 SAD를 계산하는 단계;

(d) 상기 계산된 두 개의 SAD 중 최소값을 갖는 SAD를 선택하는 단계; 및

(e) 상기 선택된 하나의 SAD를 갖는 움직임 벡터를 중심으로 새롭게 결정된 탐색영역에 대해 최상 해상도 계층에서 최종 SAD를 계산하여 최종 움직임 벡터를 계산하는 단계를 포함하는 것을 특징으로 하는 움직임 벡터 추정방법.
제1항에 있어서, 상기 (a) 단계는

최상 해상도 계층의 매크로 블록에 비해 수직 방향은 1/4, 수평 방향은 1/8크기를 갖는 매크로 블록을 사용하여 전역탐색을 수행하는 것을 특징으로 하는 움직임 벡터 추정방법.
제1항에 있어서, 상기 (b) 단계는

이미 계산된 추정하고자 하는 블록의 주변 블럭들의 움직임 벡터의 X 좌표 및 Y 좌표 각각의 메디안(median) 값을 계산하여 최상 해상도 계층에서 하나의 후보 움직임 벡터를 선택하는 것을 특징으로 하는 움직임 벡터 추정방법.
제1항에 있어서,

상기 (c) 단계에서 SAD를 계산할 때의 매크로 블록의 크기는 최상 해상도 계층의 매크로 블록에 비해 수직 방향은 1/2, 수평 방향은 1/4 크기를 갖는 것을 특징으로 하는 움직임 벡터 추정방법.
영상 프레임을 복수개의 해상도 계층으로 나누어 움직임 벡터를 추정하는 방법에 있어서,

(a) 상기 복수개의 해상도 계층의 매크로 블록을 수평 방향으로는 수직 방향보다 서브 샘플링을 더 많이 하는 단계; 및

(b) 상기 매크로 블록에 대하여 SAD를 계산하여 그 결과에 따라서 최종 움직임 벡터를 계산하는 단계를 포함하는 것을 특징으로 하는 움직임 벡터 추정방법.
제5항에 있어서, 상기 (a) 단계는

상기 복수개의 해상도 계층은, 최저 해상도 계층, 중간 해상도 계층 및 최상 해상도 계층을 포함하고 각 계층의 매크로 블록은 수평 방향으로는 수직 방향보다 2배의 서브 샘플링을 수행하는 것을 특징으로 하는 움직임 벡터 추정방법.
제1항 내지 제6항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.