KR100960966B1 - 고속 동영상 움직임 추정 방법 - Google Patents

Abstract

연산량을 최소화하여 부호화 속도를 향상시킬 수 있는 동영상 움직임 추정 방법을 제공한다. 본 발명에 따른 고속 움직임 추정 방법은 원 영상과 필터링 후의 영상의 이미지 정보의 차이가 블록정합절차의 조기 중지 조건으로 이용되어, 이미지 정보의 차이가 임계값 보다 작은 경우는, 블록 정합 절차를 생략하여 원 영상의 주변 블록으로부터 움직임 벡터(Motion Vector, MV)를 예측하고, 그렇지 않은 경우는 블록 정합 절차를 수행하는 것이다. 본 발명에 의해 적절한 움직임 벡터 탐색과정이 생략되고 자주 조기 제거되는 경우, 연산량을 최소화하여 처리 속도를 향상시키는 효과가 있으며, 특히 비디오 코덱에 이용되는 경우는 더욱 향상된 화질을 나타낸다.

매크로 블록, 전역 탐색, 이진 블록, 블럭 정합, 정합 오차, 연산량, 움직임 추정

Description

고속 동영상 움직임 추정 방법{Fast moving picture motion estimation procedure}

본 발명은 동영상의 움직임 추정에 관한 것으로, 보다 구체적으로 이진 블록 움직임 추정 알고리즘을 이용한 동영상 움직임 추정 방법에 관한 것이다.

최근 전화에서 팩시밀리, 데이터, 화상에 이르기까지 통신망이 다루는 정보 미디어는 대용량화로 진전되고 있다. 이에 따라, 고속의 멀티미디어 데이터 통신에 대한 관심과 요구가 증대되고 있다. 이러한 멀티미디어 데이터 통신 중에서 현재 가장 관심을 많이 받고 있는 분야가 무선망을 통한 다양한 정보의 송수신이다. 현재 무선 데이터 송수신의 전송속도가 비약적으로 향상됨에 따라 데이터 크기가 큰 동영상 데이터까지도 무선 통신 네트워크를 통해 실시간으로 송수신할 수 있게 되었다.

그런데, 동영상 데이터는 정보 전달 능력이 뛰어난 것에 반하여 용량이 상당히 크기 때문에 일반적으로 저장과 전송에 어려움이 존재한다. 또한, 어플리케이션의 요구에 따라서 방대한 동영상 정보가 적절히 처리되어야 하므로, 동영상을 처리하기 위한 시스템 또한 높은 사양이 요구된다. 이러한 문제점들을 해결할 수 있는 방법으로, 동영상 데이터를 작은 정보로 변환시키는 기술인 동영상 압축 알고리즘이 활발히 연구되어 오고 있다. 현재까지 연구된 동영상 압축과 관련된 대표적인 국제 표준에는 ISO/IEC의 엠펙(MPEG) 시리즈와 ITU-T의 H.26x 시리즈가 있다.

동영상 데이터는 그 특성상 3가지 중복성이 존재한다. 이와 같은 중복성에는 시간적 (temporal), 공간적(spatial), 통계적(statistical) 중복성이 있다. 시간적 중복성은 연속되는 프레임 사이에 존재하는 중복성을 의미하는데, 연속되는 프레임에서 같은 위치에 존재하는 화소의 밝기 값은 통계적으로 유사한 상관성을 가진다는 것으로, "프레임간(inter-frame) 중복성"이라고도 한다. 그리고 공간적 중복성은 프레임 내에 존재하는 중복성을 의미하는데, 하나의 화소의 밝기 값은 이웃하는 화소들의 밝기 값과 유사한 상관성을 가진다는 것으로, 이것을 "프레임내(intra-frame) 중복성"이라고도 한다. 마지막으로, 통계적 중복성은 부호화된 데이터들 간의 중복성을 의미하는데, 화소 간의 중복성과 부호화에서의 중복성을 말한다.

현재 알려져 있는 동영상 부호화 표준에서는, 이와 같은 상기 3가지 중복성을 제거함으로써 방대한 양의 동영상을 보다 작은 데이터로 압축할 수 있다. 예를 들어, 이산 코사인 변환(Discrete Cosine Transform, DCT) 등과 같은 변환 과정과 양자화 과정은 공간적 중복성을, 가변장 부호화 등과 같은 엔트로피 코딩은 통계적 중복성을, 움직임 추정 및 보상은 시간적 중복성을 제거하기 위한 목적으로 동영상 코덱의 국제 표준에 채택되어 사용된다.

이 중에서 시간적 중복성을 제거하기 위한 움직임 추정 및 보상방법은 크게 화소 순환 알고리즘(Pixel Recursive Algorithm, PRA)과 블록 정합 알고리즘(Block Matching Algorithm, BMA)으로 나눌 수 있다. 이 중에서 데이터 흐름의 규칙성, 계산의 복잡도, 하드웨어 구현을 고려하여 대부분의 동영상 코텍 기술에서는 블록 정합 알고리즘을 널리 사용하고 있다. 블록 정합 알고리즘은 하나의 화면을 16×16 크기의 매크로블록(매크로블록)이나 또는 이 보다 작은 임의의 크기의 탐색 블록(Searching Block)으로 나누어서 블록단위로 참조 프레임의 정해진 탐색 영역 안에서 정합블록을 찾아내는 절차를 가리킨다. 이러한 블록 정합 알고리즘에 따라서 선택한 정합블록의 위치를 가리키는 값이 움직임 벡터(MV)이며, 동영상 부호화에서는 상기 정합블록과 현재 블록과의 차이값과 움직임 벡터만을 부호화하여 데이터의 중복성을 제거한다.

블록 정합 알고리즘에서는 일반적으로 전역 탐색 알고리즘(Full Search Algorithm, FSA)을 사용한다. 전역 탐색 알고리즘이란 탐색 영역 내의 모든 좌표를 후보 위치(Candidate Point, CP)로 하여 정합 오차(Matching Error), 예컨대 현재 블록과 참조 프레임의 탐색 블록을 구성하는 모든 화소에 대한 절대차의 합(Sum of Absolute Difference, SAD)을 이용한다. 두 블록의 SAD는 다음 수학식1에 의해 주어진다.

여기서, -s≤m,n≤s-1이며, s는 탐색범위를 결정한다. f ^t 는 현재 매크로블록 의 이미지정보, 예를들어 R,G,B 신호 또는 Y(휘도신호), C_b(색차신호), C_r(색차신호)를 나타내고, f ^{t -1} 은 참조 프레임의 매크로블록의 이미지정보를 나타낸다. i 및 j는 이미지의 위치를 위미하며, (m,n)은 후보변위를 의미한다.

상기 SAD를 계산한 후, 최소 SAD를 가진 지점(m,n)을 움직임 벡터로서 설정한다.

대부분의 동영상 부호화 표준에서는 이러한 전역 탐색 알고리즘을 사용하고 있으며, 이에 의하면 가장 정합이 잘 되는 후보 블록을 정합 블록으로 선택하기 때문에 최적의 움직임 벡터를 찾을 수 있는 장점이 있다. 하지만, 전역 탐색 알고리즘은 광대한 탐색 지점들과 계산량이 상당히 많고 또한 이를 구현하기 위한 시스템의 구성이 복잡하여, 실시간 부호화를 위한 어플리케이션에는 적용하기가 어려운 단점이 있다.

다양한 전역 탐색 알고리즘의 계산량을 줄이기 위한 고속 알고리즘의 연구가 진행되어 왔는데, 기준 블록과 후보 블록의 블록합을 이용한 SEA (Successive Elimination Algorithm), 탐색 영역 내의 모든 지점을 탐색하지 않고 선택적으로 탐색하는 3단계 탐색 알고리즘(Three Step Algorithm), 새로운 3단계 탐색 알고리즘(New Three Step Algorithm), 4단계 탐색 알고리즘(Four-step Search Algorithm), 다이아몬드 탐색 알고리즘(Diamond Search Algorithm), 및 영상의 복잡도를 이용하여 매칭 스캔 순서를 재정렬해서 계산량을 감소시키는 고속 알고리즘으로서, 움직임 벡터 필드 적응형 탐색 기법(Motion Vector Field Adaptive Search Technique, MVFAST), 예측 움직임 벡터 필드 적응형 탐색 기법(Predictive Motion Vector Field Adaptive Search Technique, PMVFAST) 등이 있다.

그럼에도 불구하고 상기 알고리즘들은 최적의 해법을 구하는데 실패했고 고속 움직임 예측 문제는 아직도 중요한 연구 주제로 남아 있다. 특히, 1-비트 변환을 이용한 고속 움직임 추정 알고리즘은 여러 수치 픽셀들의 하나의 프레임을 이진 수치 픽셀들의 하나의 프레임으로 맵핑하여 기존의 움직임 예측에 필요한 복잡도를 크게 줄였다. 현재 프레임과 참조 프레임을 이진 형태로 변환한 후 배타적-OR(XOR)연산을 이용하여 정합 오차를 구하여 복잡도를 줄인다. 그러나, 이 방법도 연산복잡도의 감소 및 비트율 감소의 효과가 별로 만족스럽지 못하였다.

전술한 종래의 전역 탐색 알고리즘(Full Search Algorithm, FSA)를 이용한 움직임 추정 방법은 정확도가 높은 반면, 광대한 탐색 지점들과 연산량이 상당한 단점이 있으며, 이러한 해결 방법으로 제시된 이진 블록 정합 움직임 추정 방법도 여전히 배타적-OR(XOR)연산으로 인하여 계산량 감소의 과제를 해결하지 못하였다.

따라서, 본 발명이 해결하고자 하는 과제는 이진 블록 정합 움직임 추정 알고리즘을 이용하는 경우보다 화질의 열화가 없으면서, 연산량은 더욱 감소되어 처리 속도를 향상시킴으로써 실시간 어플리케이션에 적용할 수 있는 고속 움직임 추정 알고리즘을 제공하는 것이다.

상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 고속 동영상 움직임 추정 방법은, 제1매크로블록에 대하여 이미지 프레임의 에지 특성을 보존하는 필터링을 수행하여 제2매크로블록을 얻는 단계: 상기 제1매크로블록과 상기 제2매크로블록의 이미지 정보의 차이를 구하는 단계; 및 상기 이미지 정보의 차이에 기초하여 이진 블록 움직임 추정 알고리즘을 이용하는 제1절차 또는 상기 제1매크로블록의 주변 블록의 움직임 벡터를 이용하는 제2절차를 이용하여, 상기 제1매크로블록의 움직임 벡터를 구하는 단계를 포함한다.

상기 실시예의 일 측면에 의하면, 상기 이미지 정보의 차이는 절대차의 합인 것이 바람직하다.

상기 실시예의 다른 측면에 의하면, 상기 절대차의 합이 임계치 보다 크면 상기 제1절차를, 임계치 이하이면 상기 제2절차를 이용하는 것이 바람직하다.

상기 실시예의 또 다른 측면에 의하면, 상기 필터링은 바람직하게는 다중 대역통과필터(multi band-pass filter)를 이용하여 수행한다.

상기한 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 고속 동영상 움직임 추정 방법은, 이진 블록 정합 절차를 이용한 움직임 추정 방법에 있어서, 현재 매크로블록과 상기 현재 매크로블록의 에지 특성을 보존하는 필터링을 수행한 매크로블록의 이미지정보의 차이가 작으면 상기 현재 매크로블록의 주변 블록으로부터 상기 현재 매크로블록의 움직임 벡터를 예측하고, 상기 차이가 크면 이진 블록 움직임 추정 알고리즘을 이용하여, 상기 현재 매크로블록의 움직임 벡터를 구하는 것을 특징으로 한다.

에지특성이 추출된 영상과 원 현재 영상의 이미지 정보의 차이를 이용하여 움직임 벡터를 탐색할 것인지를 판단하는 본 발명의 실시예에 의하면, 상기 이미지 정보의 차이가 소정 임계값보다 크지 않은 경우는 주변 블록으로부터 움직임 벡터를 예측함으로써, 화질의 열화가 없으면서 연산량을 최소화하여 처리 속도를 향상시킨다. 본 실시예에 따르면, 특히 비디오 코덱에 적용되는 경우, 움직임 벡터의 예측이 효과적으로 일어났으며, 8-비트 메모리 및 16의 탐색 범위로, 전역 탐색 알고리즘(FS 알고리즘)의 계산 복잡도를 대략 10배 가량 감소시킬 수 있었다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 다음 실시예들은 본 발명의 이해를 돕기 위한 것이며 본 발명이 하기의 실시예에 한정되는 것은 아니다.

본 발명은 블록 정합 절차를 조기에 중지하여 종국적인 연산량을 감소시킴으로써 효율적인 고속 동영상의 움직임 추정방법을 제공한다.

도 1은 본 발명의 일 실시예에 따른 고속 움직임 추정 절차를 보여주는 흐름도이다.

도 1를 참조하면, 우선 참조 프레임에 대한 1-비트 변환을 실행한다.(S11)

본 발명의 실시예에 따른 방법에서 1-비트 변환을 이용하는 이유는 종래 SAD를 이용함에 따른 많은 덧셈 및 뺄셈 수행으로 인한 계산상 복잡도를 감소시키기 위함이다. 상기 1-비트 변환을 통하여 한번에 많은 비트들을 처리하면서, 계산상 로드를 감소시킬 수 있다.

상기 1-비트 변환을 실행하기 위하여, 이미지 프레임의 에지특성을 추출한다. 예를들어, 본 발명에서는 아래 수학식 2을 이용하여 이미지 프레임의 에지특성을 추출할 수 있다.

상기 수학식 2의 정규화 인자는 2의 거듭제곱이고, 쉬프트연산을 이용하여 구현될 수 있기 때문에 곱셈없이 필터링을 수행할 수 있다. 또한, 상기 필터에서는 종래 에지특성추출에 사용된 필터에 비해 계수의 수가 감소된다.

도 2는 상기 필터 커널 K _mf 의 주파수 반응을 나타낸다.

상기 도 2을 참조하면, 상기 필터 커널 K _mf 은 일반적인 대역통과필터의 주파수 반응을 보여준다. 본 발명에서는 상기 필터 커널 K _mf 를 이용하였으나, 에지특성을 추출할 수 있는 다른 대역통과필터 또는 고역통과필터 등의 이용이 가능하다.

그리고나서, 다음 수학식 3에 의해 1-비트 이미지 프레임이 구성될 수 있다.

여기서 F는 원 프레임을 나타내고,

은 콘볼루션 커널 K _mf 를 적용하여 얻은 F의 필터링 버전을 나타내며, i 및 j는 이미지의 위치를 위미한다.

계속해서 도 1를 참조하면, 현재 프레임 중 소정 매크로블록(매크로블록, 16×16)에 대해 에지특성을 추출한다.(S12) 에지특성을 추출하기 위하여 상기 수학식 2인 커널 K _mf 로 필터링 할 수 있다. 여기서, 에지특성을 추출할 수 있는 다른 대역통과필터 또는 고역통과필터 등의 이용도 가능하다.

그런다음, 현재 매크로블록과 상기 에지특성이 추출된 매크로블록과의 이미지 정보의 차이를 구한다. 본 실시예에서는 상기 이미지 정보의 차이를 이하 절대차의 합인 'diff'를 계산하여 구할 수 있다.(S13) 상기 커널 K _mf 에 따른 매크로블록의 필터링 버전과 원 현재 매크로블록과의 절대차의 합인 'diff'를 다음 수학식 4에 따라 구할 수 있다.

여기서, f는 현재 매크로블록에서 이미지정보, 예를들어 R,G,B 신호 또는 Y(휘도신호), C_b(색차신호), C_r(색차신호)를 나타내고,

는 콘볼루션 커널 K _mf 를 적용해서 얻은 f의 필터링 버젼을 나타내며, i 및 j는 이미지의 위치를 위미한다.

상기 실시예의 구현을 위하여, 상기 수학식 4의

은 다음 수학식 5의 커널 매트릭스 형식으로 표현될 수 있다.

도 3은 상기 수학식 5인 필터 커널 K _d 의 주파수 반응을 나타낸다. 상기 필터 K _d 은 모든 계수들의 합이 0이므로 고역통과필터이다. 고역통과필터를 이용하여, 이미지의 에지 특성을 추출할 수 있다. 예컨대, 이미지 움직임의 척도로서 고역통과필터를 이용할 수 있다.

다시 계속해서 도 1를 참조하면, 상기 구해진 diff의 값이 어떤 임계값(α) 보다 큰지를 판단한다.(S14)

상기 수학식 4의 diff은 한 신호 및 그것의 대역통과필터 버젼 사이의 차이로서, 이미지 정보의 차이를 의미한다. 이것을 현재 매크로블록의 활동도(activity)으로서 고려한다. 예컨대, 이것은 이미지의 변동(fluctuation)을 나타낸다. 매크로블록(macro block)이 매우 빠르게 변화하면, 다시 말해 diff값이 임계값(α) 보다 크다면 적절한 움직임 벡터를 찾는 것이 필요하여 이진 블록 정합과정이 시작된다.(S16 및 S17)

만약, 그렇지 않다면, 현재 매크로블록의 움직임 벡터의 경향이 주변 매크로블록의 움직임 벡터와 유사하다고 추측하여, 주변 매크로블록의 통계적 처리를 통한 값을 현재 매크로블록의 움직임 벡터로 이용한다.(S15) 예컨대, 주변 매크로블록들은 좌측, 좌측상단, 상단 및 우측상단 중 적어도 하나의 주변 매크로블록일 수 있다. 따라서, 상기 주변 매크로블록들의 평균값(mean), 중앙값(median) 등의 통계적 처리를 통한 값이 현재 매크로블록의 움직임 벡터로서 이용된다.

본 실시예에서는 중앙값 예측기(median predictor)를 현재 매크로블록의 움직임 벡터를 예측하는 방법으로 이용할 수 있다. 중앙값 예측기는 현재 매크로블록의 공간적으로 이웃하는 세가지 매크로블록들(좌측, 상단, 및 우측 상단)의 움직임 벡터를 이용하여 수평성분과 수직성분 각각의 중앙값을 사용할 수 있다. 기존의 대부분의 동영상 코덱 기법들은 이웃한 블록의 움직임 벡터들의 중앙값을 예측 움직임 벡터로써 사용한다. 이러한 중앙값을 사용하는 방법은 상당히 적은 복잡도와 신뢰할 만한 성능을 보여 주고 있기 때문에, 고속탐색 기법에서도 널리 이용되고 있다. 여기서, 중앙값 예측기는 대부분 비디오 코딩 표준이 움직임 벡터 예측 코딩에 대하여 채용하는 것과 같이 이용될 수 있다.

도 4(a)는 표준 영상인 New 시퀀스인 하나의 샘플 프레임, 도 4(b)는 상기 샘플 프레임의 K _mf 으로 필터링 버젼, 도 4(c)는 상기 샘플 프레임의 1-비트면, 도 4(d)는 상기 샘플 프레임의 K _d 로 필터링 버젼, 및 도 4(e)는 상기 샘플 프레임의 diff면을 나타낸다.

상기 도 4(c) 및 도 4(d)를 참조하면, 이미지의 에지 특성이 잘 보존된 것을 보여준다. 도 4(e)에서 비-백색 매크로블록들은 편평 부분으로 고려할 수 있고, 적절한 움직임 벡터의 탐색을 생략한다. 이러한 생략을 통하여, 한번에 많은 비트들을 처리하면서, 계산상 로드를 효과적으로 감소시킬 수 있다.

상기 임계값을 통하여는 본 발명의 연산량 감소의 강도를 조절하는데, 임계값(α)이 크다면, 블록 정합 절차의 조기 제거가 자주 일어날 수 있고, 임계값(α)이 작다면, 그렇지 않다.

계속해서 도 1를 참조하면, S13에서 계산된 diff값이 임계값(α) 보다 크다면 현재 매크로블록이 매우 빠르게 변화하므로 적절한 움직임 벡터를 찾는 것이 필요하여, 이진 블록 정합과정이 시작된다.

우선, 현재 매크로블록에 대하여 1-비트 변환이 실행된다.(S16) 여기서, 현재 매크로블록에 대한 에지특성을 추출하기 위한 필터는 상기 S12에 이용된 필터와 동일할 수도 있고, 아닐 수도 있다. 필터커널을 통하여 에지특성을 보존한 후, 현재 매크로블록에 대한 1-비트 이미지 구성을 위해 상기 수학식 3을 이용할 수 있다. 그런 다음, 상기 1-비트 이미지 프레임으로 적절한 움직임 벡터의 탐색이 이뤄진다.(S17) 예를들어, 비-정합 포인트의 수(NNMP)로 불리는, 두 1-비트 이미지 프레임을 위한 정합 오차가 다음 수학식 6에 의해 주어질 수 있다.

여기서, -s≤m,n≤s-1이며, s는 탐색범위를 결정한다.

는 XOR연산을 나타내고, i 및 j는 이미지의 위치를 위미한다. 여기서, 최소 NNMP를 가진 지점(m,n)을 하나의 움직임 벡터로서 설정한다. 상기 NNMP가 이용되는 경우, 많은 픽셀로부터 한번에 정합 오차의 수를 얻을 수 있다. NNMP으로, 8-비트 메모리(1 바이트)가 이용되는 경우, 8개의 정합 오차들이 계산된다. 만약 32-비트 메모리가 이용된다면, 32개 정합 오차들이 한번에 계산된다.

상기 방법 외에도 1-비트 이미지 프레임으로 블록 정합 오차를 계산하는 다른 방법 등의 이용도 가능하다.

다시 계속해서 도 1를 참조하면, 상기 S12에서 수행된 현재 매크로블록이 해당 프레임의 마지막 매크로블록인지 판단한다.(S18) 마지막 매크로블록이면 본 발명의 실시예에 따른 절차가 종료되고, 그렇지 않으면 단계 S12로 진행하여 다음 매크로블록에 대하여 도 1에 개시된 절차를 시작한다.

다음으로 본 발명의 실험예 및 이에 따른 효과에 대하여 설명한다.

본 발명의 실시예에 따른 고속 움직임 추정 방법의 성능을 확인하여 위해 CIF(Common Intermediate Format) 크기(352×288)의 30Hz 표준 영상인 New, Foreman, Bus, Coastguard, Hall 및 QCIF(Quarter CIF) 크기(176×144)의 30Hz 표준 영상인 New, Foreman, Hall, Miss_am, M&D, Coastguard, Container를 오프-코덱 및 비디오 코덱으로 각각 실험하였다. 탐색범위는 16으로 설정하고, 임계값(α)는 2048로 설정하였다.

현재 블록과 참조 프레임의 탐색 블록을 구성하는 모든 화소에 대한 절대차의 합(Sum of Absolute Difference, SAD)을 계산한 후, 최소 SAD를 가진 지점(m,n)을 움직임 벡터로서 설정하는 전역 탐색 알고리즘(FS 알고리즘), 및 상기 수학식 2을 이용하여 에지특성을 추출한 후 모든 매크로블록에 대한 블록정합절차를 실시하는 이진 블록 움직임 추정방법을 각각 비교대상으로 하여, 본 발명인 고속 움직임 추정방법이 적용되는 경우와의 화질을 비교하기 위하여 휘도 피크 신호 대 잡음비(PSNR, dB 스케일)를 척도로 하여 실험이 수행되었다.

먼저, 상기 비교대상들과 본 발명에 대하여 오프-코덱상태로 상기 휘도 피크 신호 대 잡음비(PSNR)로 성능비교를 한 후, 온-코덱상태로 상기와 같이 성능비교를 한다.

그런다음, 본 발명에 따른 경우, 블록 정합 절차가 조기 제거된 매크로블록의 비율을 분석해 보고, 상기 비교대상들과 본 발명에 대하여 한 프레임당 필요한 연산의 수를 비교분석해 본다. 마지막으로, 상기 비교대상들과 본 발명에 대하여 H.264 비디오 참조 소프트웨어(JM)에 대한 PSNR으로의 성능비교를 분석한다.

표 1은 오프-코덱에서 PSNR으로의 성능비교를 나타낸다.

표 1에서 'FS'는 상기 FS 알고리즘를, 'One-bit'는 이진 블록 움직임 추정방법을 의미하고, 'Proposed'는 본 발명인 고속 동영상 움직임 추정 방법을 의미한다.(이하도 동일하게 적용됨.)

상기 표 1을 참조하면, Coastguard, Hall, M&D 및 Miss_am등의 몇몇 시퀀스에서, 종래 이진 블록 움직임 추정 알고리즘 보다 성능이 나은 것을 확인할 수 있다. 상기 결과는 본 발명이 종래 이진 블록 움직임 추정 알고리즘과 비교하여 크게 화질을 떨어뜨리지 않으면서, 적절한 움직임 벡터의 탐색과정이 생략된 경우도 중앙값 예측기가 실제 움직임 벡터를 정확하게 추정하여, 적절하게 조기 제거가 일어난다는 것을 보여준다.

표 2는 MPEG-4 비디오 코덱에서 PSNR으로의 성능비교를 나타낸다.

비디오 코덱에서 알고리즘의 성능을 비교하기 위하여, MPEG-4 비디오 참조 소프트웨어(VM)가 비율 조절 알고리즘으로서 TM5와 함께 이용되었다. 탐색범위는 16으로 고정되었다. 실험조건 및 시퀀스는 MPEG-4 실험에 따라 수행되었다.

상기 표 2를 참조하면, New, Foreman, Container 및 M&D등의 몇몇 시퀀스 및 평균에 있어서도 코덱으로의 본 발명의 성능은, 오프-코덱 실험으로 비교된 종래 이진 블록 움직임 추정 알고리즘 보다 훨씬 향상된 결과를 보여준다. 이것은 블록 정합 절차의 조기 제거가 일어나는 경우의 중앙값 예측기가 잘 작동하고 움직임 벡터 코딩에 대한 비트들을 절약한다는 것을 의미한다.

표 3은 본 발명의 실시예를 따른 경우의 블록 정합 절차가 조기 제거된 매크로블록들의 비율을 나타낸다. 즉, 비율은 얼마나 많은 매크로블록들이 시퀀스의 전체 매크로블록들 중 종결되는지를 나타낸다.

상기 표 3을 참조하면, 몇몇 시퀀스에서는 40% 이상 블록 정합 절차의 조기 제거되는 결과를 보여주었으며, 20% 내지 50% 미만의 비율을 보여주었다.

표 4는 상기 시퀀스 New(48KBPS)로 8-비트 메모리가 이용되는 경우, 한 프레임당 필요한 연산의 수를 나타낸다.

종래 이진 블록 움직임 추정 알고리즘은 NNMP(m,n)를 모두 계산하여 최소 NNMP를 가지는 지점을 움직임 벡터로 설정한다. 표 4를 참조하면, 본 발명에서는 블록 정합 절차가 생략될 수 있기 때문에 블록 정합 절차의 주요한 연산인 XOR 연산들은 크게 감소된 것을 확인할 수 있다. 본 발명은 8-비트 메모리 및 16의 탐색 범위로, FS 알고리즘의 계산 복잡도를 대략 10배 가량 감소시킬 수 있었다. 상기 결과는 본 발명이 연산량을 최소화하여 처리 속도를 향상시킨다는 목적에 대한 실효성을 보여준다.

표 5는 H.264 비디오 참조 소프트웨어(JM)에 대한 PSNR으로의 성능비교를 나타낸다.

상기 실험에서는, 표준 영상 Foreman QCIF 시퀀스(150 프레임)가 이용되었다. 상기 표 5를 참조하면, 본 발명의 PSNR은 종래 것과 유사한 결과를 나타내었다. 따라서, 상기 실험결과들은 본 발명이 연산량을 최소화하여 처리 속도를 향상시키면서, 여러 비디오 부호기에서 화질을 보증한다는 것을 보여준다.

이상의 본 발명은 상기에 기술된 실시예들에 의해 한정되지 않고, 당업자들에 의해 다양한 변형 및 변경을 가져올 수 있으며, 이는 첨부된 청구항에서 정의되는 본 발명의 취지와 범위에 포함된다.

도 1은 본 발명의 일 실시예에 따른 고속 움직임 추정 절차를 보여주는 흐름도이다.

도 2는 필터 커널 K _mf 의 주파수 반응을 나타낸다.

도 3은 필터 커널 K _d 의 주파수 반응을 나타낸다.

도 4(a)는 표준 영상인 New 시퀀스인 샘플 프레임을 나타낸다.

도 4(b)는 상기 샘플 프레임의 K _mf 로의 필터링 버젼을 나타낸다.

도 4(c)는 상기 샘플 프레임의 1-비트면을 나타낸다.

도 4(d)는 상기 샘플 프레임의 K _d 로의 필터링 버젼을 나타낸다.

도 4(e)는 상기 샘플 프레임의 diff면을 나타낸다.

Claims (8)

1. 제1매크로블록에 대하여 이미지 프레임의 에지 특성을 보존하는 필터링을 수행하여 제2매크로블록을 얻는 단계:

   상기 제1매크로블록과 상기 제2매크로블록의 이미지 정보의 차이를 구하는 단계; 및

   상기 이미지 정보의 차이에 기초하여 이진 블록 움직임 추정 알고리즘을 이용하는 제1절차 또는 상기 제1매크로블록의 주변 블록의 움직임 벡터를 이용하는 제2절차를 이용하여, 상기 제1매크로블록의 움직임 벡터를 구하는 단계를 포함하는 동영상 움직임 추정 방법.
2. 제1항에 있어서, 상기 이미지 정보의 차이는 절대차의 합인 것을 특징으로 하는 동영상 움직임 추정 방법.
3. 제2항에 있어서, 상기 절대차의 합이 임계치 보다 크면 상기 제1절차를, 임계치 이하이면 상기 제2절차를 이용하는 것을 특징으로 하는 동영상 움직임 추정 방법.
4. 제1항에 있어서, 상기 필터링은 다중 대역통과필터(multi band-pass filter)를 이용하여 수행하는 것을 특징으로 하는 동영상 움직임 추정 방법.
5. 제4항에 있어서, 상기 다중 대역통과필터는 하기 수학식인 커널을 적용한 것을 특징으로 하는 동영상 움직임 추정 방법.

   
6. 제2항에 있어서, 상기 절대차의 합은 하기 수학식을 이용하여 구하는 것을 특징으로 하는 동영상 움직임 추정 방법.

   

   여기서, f는 제1매크로블록에서 이미지정보를 나타내고,

   

   는 콘볼루션 커널 K _mf 를 적용해서 얻은 f의 필터링 버젼을 나타낸다.
7. 삭제
8. 삭제

Images