KR100671871B1 - 압축영역에서의 움직임 벡터 해석방법 - Google Patents

Abstract

본 발명은 압축영역에서의 움직임 벡터 해석방법에 관한 것으로서, 특히, 압축 영상에서의 다양한 움직임 벡터를 양방향 예측 구조를 이용하여 프레임에서 동등하게 해석함으로써, 전체의 프레임 시퀀스를 단일 움직임 방향만을 갖도록 재구성하여 조밀하고 포괄적인 움직임 벡터계를 형성할 수 있는 압축영역에서의 움직임 벡터 해석방법에 관한 것이다. 보통, 압축 영역에서의 각 프레임 움직임 해석 시, 움직임 벡터가 없는 I 프레임과 그 외 프레임들의 직접 비교는 불가능하지만, 제안기법은 I, B, P 프레임 등의 모든 프레임에서 동등하게 벡터 해석을 할 수 있게 한다. 제안된 알고리즘은 압축 영상의 전체 복원과정 없이 매크로 블록 영역 상에서 처리함으로써 시간 손실을 줄이고 있으며, 실험 결과는 제안된 방법의 높은 성능을 잘 나타내고 있다.

압축영역, 움직임 벡터, 양방향 예측 구조, 프레임 시퀀스, 재추정

Description

압축영역에서의 움직임 벡터 해석방법{MOTION FLOW ANALYSIS METHOD IN MPEG COMPRESSED DOMAIN}

도 1은 본 발명의 압축영역에서의 움직임 벡터 해석방법에 따른, R-프레임에서의 움직임 추정방법을 설명하기 위한 도면.

도 2는 본 발명의 압축영역에서의 움직임 벡터 해석방법에 따른, B-프레임에서의 움직임 추정방법을 설명하기 위한 도면.

도 3a는 대응 매크로블록이 모두 순방향 벡터를 가지는 경우 움직임 추정방법을 설명하기 위한 도면.

도 3b는 대응 매크로블록이 모두 역방향 벡터를 가지는 경우 움직임 추정방법을 설명하기 위한 도면.

도 3c는 대응 매크로블록이 순방향 + 역방향 벡터를 가지는 경우 움직임 추정방법을 설명하기 위한 도면.

도 3d는 대응 매크로블록이 역방향 + 순방향 벡터를 가지는 경우 움직임 추정방법을 설명하기 위한 도면.

도 4a는 대응 매크로블록의 오류 발생 상태를 나타낸 도면.

도 4b는 도 4a의 오차거리를 나타낸 도면.

도 4c는 매크로블록 매칭 상태를 나타낸 도면.

도 5a 및 도 5b는 본 발명의 압축영역에서의 움직임 벡터 해석방법에 따라 획득된 움직임 벡터의 정규분포를 나타낸 도면.

도 6a 내지 도 6d는 압축영역에서의 움직임 벡터 해석방법에 따른 유효 움직임 추정 벡터를 나타낸 도면.

도 7은 IPB 부호화 시퀀스로부터의 움직임 벡터를 정규화하여 이를 IPP부 호화 프레임의 움직임 벡터와 그 방향에 따른 히스토그램을 비교한 도면.

도 8a 내지 도 8d는 본 발명의 압축영역에서의 움직임 벡터 해석방법에 따라 추출된 움직임 객체를 나타낸 도면.

도 9a 및 도 9b는 본 발명에 따른 정규화된 움직임 벡터계를 이용한 객체 추적 방법에 따른 영상을 나타낸 도면.

* 도면의 주요 부분에 대한 부호의 설명

10, 15 : R-프레임

20, 22 : B-프레임

30, 40, 50 : 매크로블록

본 발명은 영상 처리 기술에 관한 것으로, 특히 MPEG 영상압축 기술에 관한 것이며, 더 자세히는 압축영역에서의 움직임 벡터 해석방법에 관한 것이다.

MPEG 영상압축기법의 기본적인 부호화 원리는 시간 방향의 중복성은 움직임 보상 예측기법(motion compensated prediction)으로 제거하고, 공간 방향의 중복성은 변환 부호화(transform coding)와 양자화(quantization) 과정에서 제거하며, 통계적 중복성은 엔트로피 부호화(entropy coding) 과정에서 제거하는 것이다.

움직임 보상 부호화는 이전 프레임을 이용하여 움직임 추정 및 보상을 행하는 과정과, 보상된 영상과 원 영상과의 차분 신호(displaced frame difference)를 부호화하는 과정으로 구성되어 있다. 움직임 추정이 정확할수록 보다 단순한 차분신호를 얻을 수 있으므로 부호화 효율을 높일 수 있는데, DPCM(differential pulse code modulation)기법을 사용하여 프레임내(intra frame) 예측 혹은 프레임간(inter frame) 예측을 수행하며, 이는 매크로블록 단위로 선택적으로 수행된다. 이중 프레임간 예측은 시간방향의 중복성을 제거하기 위한 것으로, 레퍼런스 프레임의 탐색 영역에서 현재 매크로블록과 다른 레퍼런스 매크로블록들 간에 존재하는 상이도(dissimilarity)를 산출하여, 상이도가 가장 작은 레퍼런스 매크로블록은 '정합블록(matching block)'으로서 선택되며, 현재 매크로블록과 정합블록간의 상대적인 위치를 움직임 벡터(MV)로 추정한다.

통상 MPEG 스트림은 프레임 단위로 부호화되는데, MPEG에서 규정하는 프레임 형태에는 I(intra coded), P(predicted coded), B(bidirectionally predicted coded) 프레임의 세가지가 있고, 랜덤 억세스 가능한 I-프레임의 주기에 따라 I,P,B-프레임을 묶어 하나의 GOP(group of picture)를 구성한다.

I-프레임은 화면 내의 모든 매크로블록이 인트라 모드로 구성되기 때문에 움직임 벡터가 없고, P-프레임은 현재 프레임에 대해서 이전 프레임의 I-프레임 혹은 P-프레임을 기준으로 하여 순방향 움직임 보상 예측 기법을 적용한다. B-프레임은 현재 프레임에 대해서 이전 프레임의 I/P 프레임 그리고 다음 프레임의 I/P 프레임으로부터 각각 움직임 보상된 순방향 예측화면, 역방향 예측화면, 순방향 및 역방향을 보간한 화면(양방향 예측화면)을 사용하여 세가지 예측 신호를 얻어낸 후, 이들 예측 신호중에서 최적의 것을 선택하여 예측 신호로 사용한다.

움직임 예측이란 연속적인 두 개의 프레임으로부터 움직임 정보를 추출하는 일반적인 방법으로서, 크게 파라메터 모델과 비-파라메터 모델(non-parameter)로 구분된다.

여기서, 전역적인 파라메터 움직임 예측은 어파인(affine) 모델처럼 카메라 모션이나 주요 움직임의 파라메터 모델을 생성하는 것으로서 움직임 서술자가 너무 성기다는 문제점이 있다.

그리고, 비-파라메터 모델로서, 컴퓨터 비전 분야에서는 움직임 기반의 비디오 인덱싱을 위하여 광류(optical flow)를 이용하는 방법을, 영상 부호화 관련 분야에서는 블록 정합 기법(block matching algorithm) 등과 같은 움직임 분석 기법을 널리 사용하고 있다.

한편, 'Cherfaoui'와 'Bertin'은 광류를 이용하여 카메라의 전역적인 움직임 매개 변수를 계산한 후, 이를 이용하여 샷 내의 움직임을 분류하는 기법을 제안하였고, 'Zhang'은 블록 정합 기법을 기반으로 하여 움직임 벡터의 방향과 수렴 및 발산 정도를 계산함으로써 움직임 분류를 수행하기도 하였다. 그러나, 이와 같은 방법은 정합점을 계산하는 데에 있어 많은 계산량과 시간 소요가 필요하다는 단점 이 있기 때문에, MPEG 비디오를 이용한 샷기반의 움직임 분류 기법은 대부분 P나 B프레임에서의 움직임 벡터를 이용한다.

또한, 'Kobla'는 MPEG 비디오 상의 움직임 벡터를 프레임 종류에 상관없이 독립적인 형태로 표현하여 이를 이용하는 방법을 제안하였으나, 이 방법은 레퍼런스 프레임 등에서의 벡터 표현에 있어 단방향성 만을 고려하는 단점이 있다.

이러한 MPEG 영상에서의 움직임 특징 추출은 압축 영역에서의 움직임 벡터를 이용하기 때문에 편리한 점은 있으나, 성긴 움직임 정보만을 추출한다는 점과 벡터 정보가 정규화 되어 있지 않다는 점에서 문제점이 있다.

본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위하여 제안된 것으로, 보다 조밀하고 포괄적인 움직임 벡터계를 형성할 수 있는 압축영역에서의 움직임 벡터 해석방법을 제공하는데 그 목적이 있다.

상기의 기술적 과제를 달성하기 위한 본 발명의 일 측면에 따르면, 두 개의 연속적인 레퍼런스 프레임과 상기 두 개의 연속적인 레퍼런스 프레임 사이의 양방향 예측프레임 시퀀스로 부호화되는 블록 기반 동영상 부호화를 위한 압축영역에서의 움직임 벡터 해석방법에 있어서, 현재 프레임과 상기 두 개의 연속되는 레퍼런스 프레임의 대응블록으로의 벡터를 추정하는 단계; 상기 현재 프레임으로부터 양방향 예측프레임의 대응블록으로의 벡터를 추정하는 단계; 및 추정된 상기 벡터들을 조합하여, 상기 현재 프레임에서의 움직임 벡터를 다른 프레임 대응블록에서의 역방향벡터로 재추정하는 단계를 포함하는 압축영역에서의 움직임 벡터 해석방법이 제공된다.

여기서, 상기 두 개의 연속적인 레퍼런스 프레임이 Ri와 Rj이고, 상기 두 개의 연속적인 레퍼런스 프레임 사이의 양방향 예측프레임이 B1,… ,Bn인 경우, 상기 두 개의 연속적인 레퍼런스 프레임에서 수학식

을 이용하여 벡터를 추정하는 것이 바람직하다.

여기서, 상기 두 개의 연속적인 레퍼런스 프레임이 Ri와 Rj이고, 상기 두 개의 연속적인 레퍼런스 프레임 사이의 양방향 예측프레임이 B1,… ,Bn인 경우, 상기 양방향 예측프레임 Bn에서 수학식

를 이용하여 벡터를 추정하는 것이 바람직하다.

여기서, 상기 두 개의 연속적인 레퍼런스 프레임이 Ri와 Rj이고, 상기 두 개의 연속적인 레퍼런스 프레임 사이의 양방향 예측프레임이 B1,… ,Bn인 경우, 연속적인 양방향 예측프레임 Bk, Bk+1(여기서, 1≤k≤n-1) 상의 대응블록이 모두 순방향 벡터를 갖는 경우에는 수학식

을 이용하여 벡터를 추정하는 것이 바람직하다.

여기서, 상기 두 개의 연속적인 레퍼런스 프레임이 Ri와 Rj이고, 상기 두 개의 연속적인 레퍼런스 프레임 사이의 양방향 예측프레임이 B1,… ,Bn인 경우, 연속적인 양방향 예측프레임 Bk, Bk+1(여기서, 1≤k≤n-1) 상의 대응블록이 모두 역방향 벡터를 갖는 경우에는 수학식

을 이용하여 벡터를 추정하는 것이 바람직하다.

여기서, 상기 두 개의 연속적인 레퍼런스 프레임이 Ri와 Rj이고, 상기 두 개의 연속적인 레퍼런스 프레임 사이의 양방향 예측프레임이 B1,… ,Bn인 경우, 연속적인 양방향 예측프레임 Bk, Bk+1(여기서, 1≤k≤n-1) 상의 대응블록이 역방향 벡터 및 순방향 벡터를 갖는 경우에는 수학식

을 이용하여 벡터를 추정하는 것이 바람직하다.

여기서, 상기 두 개의 연속적인 레퍼런스 프레임이 Ri와 Rj이고, 상기 두 개의 연속적인 레퍼런스 프레임 사이의 양방향 예측프레임이 B1,… ,Bn인 경우, 연속적인 양방향 예측프레임 Bk, Bk+1(여기서, 1≤k≤n-1) 상의 대응블록이 순방향 벡터 및 역방향 벡터를 갖는 경우에는 수학식

을 이용하여 벡터를 추정하는 것이 바람직하다.

본 발명은 MPEG 비디오에서의 움직임 벡터 정규화를 통한 재해석 알고리즘을 제안한다 즉, 압축 영상에서의 다양한 움직임 벡터를 프레임이나 매크로블록 예측구조에 관계없이 단일 움직임 방향만을 갖도록 하여, 이것을 해당 영상의 서술자로 활용한다. 따라서, I, B, P 프레임 등의 모든 프레임에서 동등하게 양방향 예측 구조를 이용하여 벡터를 재해석하여, 현재 프레임에서의 각각의 움직임 벡터를 다음 프레임 대응 블록에서의 역방향 벡터로 일괄적으로 표현함으로써 전체의 프레임 시퀀스를 역방향 벡터만을 가지는 프레임들로 재구성할 수 있다. 본 발명은 이에 따라, 조밀하고 포괄적인 움직임 벡터 표현이 가능할 뿐 아니라, 움직임 객체를 효과 적으로 추출 및 추적할 수 있어 영상에 대한 충분한 움직임 표현을 얻을 수 있다. 또한, 본 발명은 객체의 추적 기법에서 뿐만 아니라 비디오 시퀀스에서의 전역적인 카메라 움직임 검출과 비디오 인덱싱이나 검색을 위한 움직임 서술자로서도 폭 넓은 활용이 가능할 것이다. 그리고, 움직임 기반 비디오 인덱싱은 컬러나 질감과 같은 특징들에 기반한 인덱싱 기법과의 상관 조합으로써 유사도 기반의 비디오 검색 시스템의 성능을 크게 향상시킬 수 있다.

이하, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자가 본 발명을 보다 용이하게 실시할 수 있도록 하기 위하여 본 발명의 바람직한 실시예를 소개하기로 한다.

도 1은 본 발명의 일 실시예에 따른 R-프레임에서의 움직임 추정방법을 설명하기 위한 도면이다.

전술한 바와 같이 MPEG 스트림은 일반적으로 I-프레임, B-프레임, P-프레임 등의 세 가지의 유형을 갖는 GOP(Group Of Pictures)의 시퀀스로 구성되므로, 이하 설명에서는 MPEG 시퀀스의 GOP 구조 상에서 두 개의 연속적인 레퍼런스 프레임을 Ri와 Rj라 하고, 이 레퍼런스 프레임들 사이의 양방향 예측프레임(B-프레임)들을 B1,… ,Bn(n은 두 레퍼런스 프레임 사이의 B-프레임의 수)이라 한다.

도 1을 참조하면, 본 발명은 Ri-프레임(10)으로부터 Rj-프레임(15)으로의 순방향 벡터로부터 Ri-프레임(10)과 Bn-프레임(22)에서의 벡터 예측을 보조함으로써 어느 한 방향에서의 벡터 예측이 아닌 양방향 예측을 가능하게 한다.

즉, Ri-프레임(10) 상의 벡터 추정을 위해 B1-프레임(20)에서의 순방향 벡터 만을 사용한 기존의 방법과 달리 Rj-프레임(15)에서 B1-프레임(20)으로의 역방향 벡터와 Ri-프레임(10)에서 Rj-프레임(15)으로의 순방향 벡터를 이용한 벡터 재해석 방법을 이용함으로써 Ri-프레임(10)에서의 예측 벡터의 수를 크게 늘릴 수 있다. 이러한 레퍼런스 프레임에서의 움직임 추정방법을 다음의 수학식 1과 같이 나타낼 수 있다.

그리고, Bn-프레임(22)에서의 벡터 추정 또한 이와 같은 방법을 이용하여 구할 수 있으며, 이는 도 2에 도시된 바와 같다. 도 2는 압축영역에서의 움직임 벡터 해석방법 B-프레임에서의 움직임 추정방법을 설명하기 위한 도면으로서, 양방향 예측프레임 Bn에서의 움직임 추정방법을 다음의 수학식 2와 같이 나타낼 수 있다.

이와 같이, Ri-프레임(10)에서의 벡터 추정 시, B1-프레임(20)이 순방향 움직임 벡터 만이 아닌 Rj-프레임(15)으로부터의 역방향 움직임 벡터를 가질 수 있고, Bn-프레임은 Rj-프레임(15)에서의 역방향 움직임 벡터 뿐만 아니라 Ri-프레임(10)으로부터 순방향 움직임 벡터 또한 가질 수 있다는 점을 고려하여, 어느 한 방향에서의 벡터 예측이 아닌 양방향 예측을 통해 재해석함으로써 각 프레임에서의 예측 벡터의 수를 크게 늘릴 수있다.

한편, 연속적인 B-프레임에서의 벡터 추정은 해당 프레임에서의 레퍼런스 프레임에 대한 움직임 벡터와 그에 대응하는 매크로블록(30)을 분석함으로써 이루어진다. 각 B-프레임에서의 매크로블록은 순방향 예측 타입(F), 역방향 예측 타입(B), 혹은 양방향 예측 타입(D) 등의 세가지 예측타입을 가질 수 있기 때문에, 아홉 개의 예측 조합이 가능하다. 이하 설명에서는 각 예측타입을 FF, FB, FD, BF, BB, BD, DF, DB, DD로 표현하기로 한다.

이들 아홉 개의 조합은 레퍼런스 프레임에 대한 움직임 벡터를 분석함으로써 각각 개별적으로 고려되어야 하며, 연속된 프레임에서의 대응 매크로블록 조합에 따라 네 경우로 나뉘어진다.

도 3a내지 도 3d는 연속된 B-프레임 Bk, Bk+1(여기서, 1≤k≤n-1)에서의 대응 매크로블록(30) 조합에 따른 예측타입 네 가지 경우를 도시한 것으로서, 도 3a는 대응 매크로블록(30)이 모두 순방향 벡터를 가지는 경우(FF, FD, DF, DD)이고, 도 3b는 대응 매크로블록(30)이 모두 역방향 벡터를 가지는 경우(BB, BD, DB)이며, 도 3c는 대응 매크로블록(30)이 순방향 + 역방향 벡터를 가지는 경우(FB)이고, 도 3d는 대응 매크로블록(30)이 역방향 + 순방향 벡터를 가지는 경우(BF) 움직임 추정방법을 설명하기 위한 것으로서, 각 도면에서 실선은 실제적인 매크로블록(30)의 움직임 벡터 방향을 표시한 것이고, 점선은 이를 통해 재추정된 움직임 벡터의 방향을 표시한 것이다.

우선, 도 3a와 도 3b는 대응 매크로블록(30)이 모두 순방향 벡터를 가지는 경우와 모두 역방향 벡터를 가지는 경우의 움직임 추정방법을 설명하기 위한 것이 다. 이와 같이, 매크로블록(30)이 모두 동일한 방향의 벡터를 갖는 경우, 벡터 추정은 전술한 Ri-프레임이나 Bn-프레임에서의 벡터 추정 방식과 유사한 방법으로 쉽게 얻을 수 있다.

따라서, 도 3a와 같이 연속적인 B-프레임 Bk, Bk+1의 대응 매크로블록(30)이 모두 순방향 벡터를 가지는 경우 움직임 추정을 위한 수식은 하기의 수학식 3과 같이 나타낼 수 있으며, 도 3b와 같이 연속적인 B-프레임 Bk, Bk+1의 대응 매크로블록(30)이 모두 역방향 벡터를 가지는 경우 움직임 추정을 위한 수식은 하기의 수학식 4와 같이 나타낼 수 있다.

한편, 도 3c는 대응 매크로블록(30)이 순방향 + 역방향 벡터를 가지는 경우(FB)이고, 도 3d는 대응 매크로블록(30)이 역방향 + 순방향 벡터를 가지는 경우(BF)를 나타낸 것으로서, 이러한 경우 움직임 추정을 위해서는 Ri-프레임(10)으로부터 Rj-프레임(15)으로의 순방향 벡터

를 이용한다.

연속적인 B-프레임 Bk, Bk+1의 대응 매크로블록(30)이 순방향 + 역방향 벡터를 가지는 경우(FB), 도 3c와 같이 FB-프레임에서의 추정 벡터

은 기존의 대응 매크로블록(30)에서의 움직임 벡터

,

와 순방향 움직임 벡터

를 이용하여 얻을 수 있으며, 이를 수식으로 나타내면 다음의 수학식 5와 같다.

또한, 연속적인 B-프레임 Bk, Bk+1의 대응 매크로블록(30)이 역방향 + 순방향 벡터를 가지는 경우(BF)의 움직임 재추정은

과

를 이용하여 도 3d와 같이 추정 벡터

을 얻는다. 도 3d로부터 하기의 수학식 6 및 수학식 7을 얻을 수 있으며, 이로부터 하기의 수학식 8의 유추가 가능하다.

이상 설명한 바와 같이, 프레임들 간의 유기적 관계를 통해, Ri, Bn프레임과, B1∼Bn-1 프레임에서의 움직임 재추정을 통해 전체 시퀀스의 움직임을 역방향 움직임 벡터만을 갖는 프레임 시퀀스로 재유추할 수 있다.

이러한 본 발명의 움직임 추정 방법은, 피 레퍼런스 프레임 Q(B 또는 P 프레임)에서의 매크로블록 Q(u1,v1)가 움직임 벡터 (x,y)를 가졌다는 것은, 레퍼런스 프레임 R(I 또는 P프레임)에서의 매크로블록 R(u2,v2)가 Q 프레임으로 움직임 벡터 (x,y)만큼 이동한 것과 동일하다는 가정에서 출발한다.

이는 대응 매크로블록의 오류발생 상태를 나타낸 도 4a에 도시된 바와 같이, Q(u1,v1)(40)에서의 움직임 벡터 (x,y)는 R(u2,v2)(50)가 아닌 R(u1,v1)(40)로부터의 움직임 벡터라는 점에서 문제가 된다. R(u2,v2)(50)가 Q 프레임으로 움직임 벡터 (x,y)만큼 이동한 것은 실제로 Q(u2,v2)(50)이어야 한다.

따라서, 가정을 성립시키기 위해서는 도 4b에 도시한 바와 같은 오차거리 D가 최소화되어야 한다. 즉, 압축영상에서의 움직임 벡터 대부분이 오차거리 이내에 존재해야 한다.

이에 따라, 다양한 영상으로부터 움직임 벡터 히스토그램을 얻고 이를 정규분포로 나타내 보았다. 정규분포(normal distribution)는 평균(M)와 표준 편차(σ)에 의해 결정되는 분포로서, 평균을 중심으로 종 모양의 확률밀도함수 p(D)를 가지며, 이 함수는 다음의 수학식 9와 같이 정의된다.

도 5a 및 도 5b는 뉴스, 영화, 뮤직 비디오 등의 다양한 영상에서 얻은 정규 분포를 나타낸 것이다. 이러한 정규본포를 수치값으로 나타내면 하기의 표 1과 같다.

여기서는, 최대오차거리 D를 블록크기 (-8=D=8) 이하일 때와 매크로블록 크기 (-16=D=16) 이하일 때로 나누어 계산하였다. 최대오차거리 D가 블록크기 이하일 경우 Q(u1,v1)의 대응 매크로블록 R(u2,v2)는 R(u1,v1)과 블록크기 이하의 오차거리 내에 존재하게 되므로, 도 4c에 도시된 바와 같이, R(u2,v2)에 이웃한 어느 매크로블록도 R(u2,v2)만큼 R(u1,v1)의 영역을 포괄하지 않는다는 것을 확인할 수 있다. 이에 따라, 전술한 '피 레퍼런스 프레임 Q(B 또는 P 프레임)에서의 매크로블록 Q(u1,v1)이 움직임 벡터 (x,y)를 가졌다는 것은, 레퍼런스 프레임 R(I 또는 P프레임)에서의 매크로블록 R(u2,v2)가 Q 프레임으로 움직임 벡터 (x,y)만큼 이동한 것과 동일하다' 라는 가정이 매우 타당하다고 할 수 있다.

한편, 상기 표 1에서와 같이 대부분의 압축 영상은 블록 크기 이하의 움직임을 갖는다. 뮤직 비디오와 같이 빠른 움직임 영상(fast)이 아니라면 영상의 움직임 벡터가 블록크기 이하일 확률은 99％ 이상이다. 뮤직 비디오 영상의 경우, 중간 정도 빠르기의 움직임을 갖는 영상(middle)이라 할 지라도 약 80％의 확률로서 움직 임 벡터는 블록 이하의 움직임을 갖는다. 주목할 만한 것은, 실험 영상이 IBBPBBP 구조의 시퀀스를 이용한 것이므로, 움직임 벡터의 크기를 프레임 단위로 환산할 경우, 최대 1/3까지 좀 더 작아질 확률도 남아있다는 것이다. 이는 표준편차를 크게 감소시켜, 평균값 주위의 확률밀도 값을 크게 증가시킬 것이다.

그러나, 빠른 움직임을 갖는 압축 영상(fast)의 경우, 움직임 크기가 블록이하일 확률이 70％ 아래로 떨어지는 것을 상기 표 1로부터 확인할 수 있다. 즉, 움직임 벡터의 표준 편차가 7 이상을 갖는 빠른 움직임 영상에서는 제안한 알고리즘의 적용에 한계가 발생한다. 다만, 이 경우에 있어서도 그 움직임 크기가 매크로블록 단위 이상을 벗어나지 않으므로, 영상의 국부 움직임 특성이 아닌 전역적임 움직임 특성을 이해하는 데에 있어 제안하는 알고리즘의 이용은 충분히 가능하다.

이러한 본 발명의 압축영역에서의 움직임 벡터 해석방법은 종래의 벡터 해석방법에 비해 다음과 같은 확연한 성능과 효과를 갖는다.

먼저, 정규화된 움직임 벡터수를 비교하면 다음과 같다. 여기서, 각 프레임에서의 정규화된 움직임 벡터 수의 비교를 위해 IPP 부호화 프레임에서의 움직임 벡터를 기준 벡터계로 이용하였다. 실험은 동일한 시퀀스 영상에 대해 IPP 부호화와 IPB 부호화를 수행한 후, IPP부호화 프레임에서의 움직임 벡터계를 이에 대응하는 IPB-프레임에서의 움직임 재추정 벡터계와 비교함으로써 제안된 알고리즘의 유효성을 검증하는 방식으로 이루어졌다.

하기의 표 2는 종래의 벡터 해석방법과 본 발명의 움직임 벡터 해석방법에 따른 정규화된 움직임 벡터수를 비교한 것으로서, 다음의 수학식 10에 따라 벡터 추출비율을 산출한 것이다.

상기 표 2에서 나타난 바와 같이, 본 발명에 의해 제안된 기법(proposed method)에서의 정규화된 움직임 벡터 수(Avg. MV num.)는 종래의 Kobla 기법(Kobla's method)에 비해 평균 18％ 증가함을 확인할 수 있다. 이를 세분하여 보면, Ri-프레임에서의 벡터 수 증가는 8％, B1-프레임에서의 벡터 수 증가는 7％, Bn-프레임에서의 벡터 수 증가는 44％로서 Bn-프레임에서의 벡터 수 증가가 매우 두드러지게 나타난다. 이러한 경향은 실험 영상의 Bn-프레임이 역방향의 벡터 성분을 많이 가지지 않을수록 더욱 심해지며, 이는 MPEG 시퀀스에서 대부분의 Bn-프레임은 Rj-프레임으로부터의 역방향 예측 벡터보다 오히려 Ri-프레임에서의 순방향 예측 벡터를 더 많이 가지고 있다는 것을 보여주는 예이다. 움직임 벡터 추출 비율은 IPP 프레임 시퀀스에서의 움직임 벡터 수와 IPB 프레임 시퀀스에서의 움직임 벡터 수 비교를 통하여 나타내었으며, 이러한 결과는 추출된 움직임 벡터가 IPP 프레임과 IPB 프레임의 해당 매크로블록에서 서로 일치하는 지의 여부가 고려되지 않은 것이다.

따라서, 이렇게 추정된 정규화된 움직임 추정 벡터가 적절한지의 여부를 검증하기 위하여 IPP 프레임과 IPB 프레임으로부터 대응 매크로블록의 벡터 방향이 서로 일치하는 지를 확인하였다. 비교를 위하며, 먼저 해당 매크로블록에서의 움직임 벡터를 방향에 따라 여러 개의 Bin값으로 양자화하고, 두 개의 부호화된 프레임에서의 각 대응 매크로블록의 방향을 서로 비교하여 같은 Bin값을 가질 경우 유효 움직임 벡터로 판단하였다. 이러한 유효 움직임 벡터 수를 이용한 움직임 벡터 유효 비율은 다음의 표 3과 같이 얻어진다.

이러한 유효 움직임 추정 벡터는 도 6a 내지 도 6d와 같이 나타낼 수 있다. 여기서, 도 6a는 원래의 오리지널 영상이고, 도 6b는 IPP 부호화 프레임에서의 움직임 벡터 표현이며, 도 6c는 본 발명의 압축영역에서의 움직임 벡터 해석방법에 따른 유효 움직임 추정 벡터를 나타낸 것이고, 도 6d는 Kobla 알고리즘에서의 움직임 추정 벡터계를 나타내고 있다.

IPP 프레임의 움직임 벡터계를 보여주는 도 6b와 비교하였을 때, 본 발명에 따른 움직임 재추정 방법이 기존의 Kobla 기법에 비해 우수하다는 것을 잘 보여주고 있다. 도 6b 내지 도 6d에서 보이는 각 블록의 음영차는 움직임 추정 벡터의 방 향을 지시하는 Bin값을 표현한다.

도 7은 IPB 부호화 시퀀스로부터의 움직임 벡터를 정규화하여 이를 IPP 부호화 프레임의 움직임 벡터와 그 방향에 따라 히스토그램 비교를 한 결과이다. 움직임 벡터는 방향에 따라 세밀화될 수 있도록 보다 많은 Bin을 가지게 하였다. 도 7을 참조하면, 본 발명으로부터 제안된 방법(proposed)에서의 움직임 추정 벡터 히스토그램이 Kobla 기법(conventional)보다 IPP 부호화된 프레임에서의 움직임 벡터히스토그램에 더 근접한 것을 알 수 있다.

한편, 본 발명의 압축영역에서의 움직임 벡터 해석방법을 적용하여 해당 객체를 추적하는 경우, 도 8a 내지 도 8d에 도시된 바와 같이 종래의 벡터 해석방법에 비해 확연한 효과를 갖는다. 도 8a는 원래의 오리지널 영상이고, 도 8b는 IPP 부호화 프레임에서 추출된 움직임 객체이며, 도 8c는 본 발명의 압축영역에서의 움직임 벡터 해석방법에 따라 추출된 움직임 객체이고, 도 8d는 Kobla 알고리즘에 따라 추출된 움직임 객체이다.

본 발명에서는 벡터 평면에서의 움직임 객체의 분할을 위해 적응적인 K-means 클러스터링 알고리즘을 적용시켰다. 여기서의 클러스터링 알고리즘은 2차원 평면 상에서 움직임 벡터의 길이와 각을 이용하여 움직임 객체에 따른 영역 단위의 분할을 수행하게 된다. 도 8b 내지 8d에서 좌측 영상은 원 영상에 대한 정규화된 움직임 벡터계를 나타내고, 우측 영상은 좌측의 움직임 벡터계로부터 추출된 움직임 객체를 보여주고 있다. IPP 프레임에서 추출된 움직임 객체를 도시한 도 8b와 비교하였을 때, 본 발명에 따른 움직임 객체 추정 방법이 Kobla의 방법보다 더 정 확한 움직임 객체를 추출할 수 있다는 것을 확인할 수 있다.

뿐만 아니라, 본 발명에 따른 벡터 영역은 이를 이용한 객체 추적 알고리즘 등에도 유용하게 사용될 수 있는데, 이는 움직임 재해석 과정으로부터 모든 프레임에서의 효율적인 움직임 해석이 가능해졌기 때문이다. 본 발명에서의 움직임 객체추출 알고리즘을 제안된 벡터 추정 영역에 적용할 시, 하기의 표 4에서 보여지듯 기존의 벡터 추정 영역을 적용할 때와 비교하여 객체가 검출된 프레임의 비율이 평균 21％ 이상 증가하는 것으로 확인되었다. 이는 각프레임에서의 높은 유효 움직임 추정 벡터 수의 증가와 같은 의미를 나타내는 것이다. 하기의 표 4는 본 발명과 종래의 Kobla의 알고리즘에 따라 각각 검출된 객체 검출 프레임 비를 비교한 것이다.

마지막으로, 본 발명에 따른 정규화된 움직임 벡터계을 이용한 객체 추적 방법을 살펴보면, 도 9a 및 도 9b는 본 발명에 따른 벡터계에서의 효과적인 움직임 객체 추적을 보여줌과 동시에 IPP시퀀스에서의 움직임 벡터를 이용한 객체 추적 기법과의 비교를 통해 제안하는 정규화 움직임 벡터 표현의 유효성 또한 증명하고 있다.

도 9a는 IPP시퀀스에서의 P-프레임으로부터 순방향 움직임 벡터만을 이용한 객체 추적을 나타내고 있는데, 도 9b의 본 발명에 따른 움직임 재추정을 이용한 객 체 추적과 그 움직임 경로상에서 큰 차이를 보이지 않는 반면에 오히려 도 9b가 객체 추적에 있어 보다 더 유연한 경로를 갖는 것을 알 수 있다. 이는 움직임 벡터 재추정 기법이 실제 프레임 상의 움직임 벡터를 크게 변형시키거나 왜곡시키지 않는다는 것을 뜻하며, 또한 본 발명에서 제안하고 있는 벡터 재추정 기법의 유효성을 잘 보여주고 있다고 할 수 있다.

본 발명의 기술 사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.

전술한 본 발명은 조밀하고 포괄적인 움직임 벡터계를 형성할 수 있으며, 압축 영상의 전체 복원과정 없이 매크로블록 영역 상에서 처리함으로써 시간 손실을 줄이고, 움직임 객체를 효과적으로 추출 및 추적할 수 있어 영상에 대한 충분한 움직임 표현을 얻을 수 있다.

Claims (7)

1. 두 개의 연속적인 레퍼런스 프레임과 상기 두 개의 연속적인 레퍼런스 프레임 사이의 양방향 예측프레임 시퀀스로 부호화되는 블록 기반 동영상 부호화를 위한 압축영역에서의 움직임 벡터 해석방법에 있어서,

   현재 프레임과 상기 두 개의 연속되는 레퍼런스 프레임의 대응블록으로의 벡터를 추정하는 단계;

   상기 현재 프레임으로부터 양방향 예측프레임의 대응블록으로의 벡터를 추정하는 단계; 및

   추정된 상기 벡터들을 조합하여, 상기 현재 프레임에서의 움직임 벡터를 다른 프레임 대응블록에서의 역방향벡터로 재추정하는 단계

   를 포함하는 압축영역에서의 움직임 벡터 해석방법.
2. 제1항에 있어서,

   상기 두 개의 연속적인 레퍼런스 프레임이 Ri와 Rj이고, 상기 두 개의 연속적인 레퍼런스 프레임 사이의 양방향 예측프레임이 B1,… ,Bn인 경우, 상기 두 개의 연속적인 레퍼런스 프레임에서 수학식

   

   을 이용하여 벡터를 추정하는 것을 특징으로 하는 압축영역에서의 움직임 벡터 해석방법.
3. 제1항에 있어서,

   상기 두 개의 연속적인 레퍼런스 프레임이 Ri와 Rj이고, 상기 두 개의 연속적인 레퍼런스 프레임 사이의 양방향 예측프레임이 B1,… ,Bn인 경우, 상기 양방향 예측프레임 Bn에서 수학식

   

   를 이용하여 벡터를 추정하는 것을 특징으로 하는 압축영역에서의 움직임 벡터 해석방법.
4. 제1항에 있어서,

   상기 두 개의 연속적인 레퍼런스 프레임이 Ri와 Rj이고, 상기 두 개의 연속적인 레퍼런스 프레임 사이의 양방향 예측프레임이 B1,… ,Bn인 경우, 연속적인 양방향 예측프레임 Bk, Bk+1(여기서, 1≤k≤n-1) 상의 대응블록이 모두 순방향 벡터를 갖는 경우에는 수학식

   

   을 이용하여 벡터를 추정하는 것을 특징으로 하는 압축영역에서의 움직임 벡터 해석방법.
5. 제1항에 있어서,

   상기 두 개의 연속적인 레퍼런스 프레임이 Ri와 Rj이고, 상기 두 개의 연속적인 레퍼런스 프레임 사이의 양방향 예측프레임이 B1,… ,Bn인 경우, 연속적인 양방향 예측프레임 Bk, Bk+1(여기서, 1≤k≤n-1) 상의 대응블록이 모두 역방향 벡터를 갖는 경우에는 수학식

   

   을 이용하여 벡터를 추정하는 것을 특징으로 하는 압축영역에서의 움직임 벡터 해석방법.
6. 제1항에 있어서,

   상기 두 개의 연속적인 레퍼런스 프레임이 Ri와 Rj이고, 상기 두 개의 연속적인 레퍼런스 프레임 사이의 양방향 예측프레임이 B1,… ,Bn인 경우, 연속적인 양방향 예측프레임 Bk, Bk+1(여기서, 1≤k≤n-1) 상의 대응블록이 역방향 벡터 및 순방향 벡터를 갖는 경우에는 수학식

   

   을 이용하여 벡터를 추정하는 것을 특징으로 하는 압축영역에서의 움직임 벡터 해석방법.
7. 제1항에 있어서,

   상기 두 개의 연속적인 레퍼런스 프레임이 Ri와 Rj이고, 상기 두 개의 연속적인 레퍼런스 프레임 사이의 양방향 예측프레임이 B1,… ,Bn인 경우, 연속적인 양방향 예측프레임 Bk, Bk+1(여기서, 1≤k≤n-1) 상의 대응블록이 순방향 벡터 및 역방향 벡터를 갖는 경우에는 수학식

   

   을 이용하여 벡터를 추정하는 것을 특징으로 하는 압축영역에서의 움직임 벡터 해석방법.

Images