KR101356821B1

KR101356821B1 - 움직임 추정 방법

Info

Publication number: KR101356821B1
Application number: KR1020130078402A
Authority: KR
Inventors: 박천수
Original assignee: 상명대학교 천안산학협력단
Priority date: 2013-07-04
Filing date: 2013-07-04
Publication date: 2014-01-28

Abstract

본 발명의 실시 예에 따른 움직임 추정 방법은, 비디오 인코더가 복수의 영상 프레임을 소정 크기의 블록으로 분할하는 과정과, 이전에 검색된 프레임에 대해 율-왜곡(RD) 코스트를 계산하는 과정 및 상기 계산된 코스트를 이용하여 검색될 대상 픽셀의 수를 줄이는 과정을 포함한다.

Description

움직임 추정 방법{A Motion Estimation Method}

본 발명은 움직임 추정 방법에 관한 것으로, 구체적으로는 다중 참조 프레임 움직임 추정(MRFME)을 가속화하기 위한 검색전략에 관한 것이다.

최근 3.5세대 HSDPA 기반의 화상통화와 모바일 SNS(Social Networking Service)를 통한 UCC(User Created Contents)는 대용량의 영상정보를 생산하여 다수의 다른 사용자들에게 전함으로써, 본격적인 영상 통신 시대의 도래를 알리고 있다.

사용자가 만든 동영상 콘텐츠는 이를 통해 사용자가 자신의 가족과 친구들과 함께 개인적인 경험을 공유할 수 있기 때문에 이동 통신 서비스의 일반화와 함께 더 많은 관심을 받고 있다. 캡쳐된 비디오는 휴대용 장치에 압축되고, 압축된 비디오 스트림은 대역폭이 제한된 네트워크를 통해 전송된다. 따라서 낮은 복잡성과 높은 품질의 영상을 제공할 수 있는 압축 방식은 이와 같은 응용 프로그램에 중요한 역할을 한다.

이러한 시대적 요구에 맞게 더욱 고성능의 비디오 압축 기술이 필요하게 되었다. 따라서 동영상 압축에 관련하여 ITU-T의 VCEG(Video Coding Experts Group)과 ISO/IEC의 MPEG(Moving Picture Expert Group)은 공동 작업으로 H.264/AVC의 표준을 제정하였다.

동영상 데이터는 시간적(temporal), 공간적(spiral), 통계적(statistical) 중복성을 가지는 것을 특징으로 한다. 시간적 중복성은 연속되는 프레임 간의 중복성을 의미하며, 연속되는 프레임의 화소값들은 매우 높은 상관도를 가진다. 공간적 중복성은 프레임 내에 존재하는 중복성을 의미하며, 하나의 화소의 밝기값은 이웃하는 화소들의 밝기값과 높은 상관도를 가진다. 마지막으로, 통계적 중복성은 부호화된 데이터들 간의 중복성을 의미하는데, 화소들의 밝기값의 확률 분포에 의한 중복성을 말한다.

동영상 부호화를 위하여, 상기 3가지 중복성을 제거함으로써 방대한 양의 동영상 데이터를 보다 작은 양의 데이터로 압축할 수 있다. 예를 들어, 움직임 추정 및 보상 기술은 시간적 중복성을 제거하며, 변환 부호화 기술과 양자화 기술은 공간적 중복성을 제거한다. 가변장 부호화 등과 같은 엔트로피 부호화 기술은 통계적 중복성을 제거하기 위한 목적으로 동영상 코덱의 국제 표준에 채택되어 사용된다.

국제 표준화 기구 중 MPEG 표준에서는 화면 내 부호화(intra coded frame: I 프레임), 예측 부호화(predictive coded frame: P 프레임), 양방향 예측부호화(bi-directionally-predictive coded frame: B 프레임)의 세 가지 형태의 예측 부호화 방식을 사용하며, P 프레임 및 B 프레임은 움직임 추정 및 보상 기술을 이용하여 높은 압축 효율을 달성한다.

I 프레임은 다른 프레임의 참조없이 화면 내부의 이웃하는 픽셀값을 이용하여 부호화된다. P 프레임은 과거의 I프레임이나 P프레임을 참조하여 부호화된다. 과거의 I프레임이나 P프레임에서 블록 단위로 움직임 정보를 추정하여 예측된 움직임 벡터와 예측 블록을 이용하여 움직임 보상을 수행하고, 움직임 보상 후 블록의 차분 신호와 차분 움직임 벡터를 부호화하여 시간적 중복도를 줄이고 높은 압축률을 달성할 수 있다.

B 프레임은 과거의 I프레임과 P프레임 뿐만 아니라, 미래의 I프레임과 P프레임도 참조하여 예측을 수행한다. B프레임은 P프레임과 마찬가지로 움직임 추정 및 보상 기술을 이용한다. 그러나 참조 프레임을 두 개 사용하고, 이 중에서 보다 우수한 예측 성능을 선택하므로 압축률이 가장 높다. 그러나 B프레임은 다른 프레임을 위한 참조 프레임이 되지 않는다. 이러한 I 및 P 픽처들은 참조 프레임들로 불린다.

시간적 중복성을 제거하기 위한 움직임 추정 및 보상방법은 크게 화소 순환 알고리즘(Pixel Recursive Algorithm, PRA)과 블록 정합 알고리즘(Block Matching Algorithm, BMA)으로 나눌 수 있다. 이 중에서 데이터 흐름의 규칙성, 계산의 복잡도, 하드웨어 구현을 고려하여 대부분의 동영상 코덱 기술에서는 블록 정합 알고리즘을 널리 사용하고 있다.

블록 정합 알고리즘은 하나의 프레임을 임의의 M*N 크기의 블록이나 또는 이 보다 작은 임의의 크기의 탐색 블록(searching block)으로 나누고, 블록단위로 참조 프레임의 정해진 탐색 영역 안에서 최소의 오차값을 가지는 참조 블록을 찾아내는 절차를 가리킨다.

즉, 블록 단위의 추정방법은 영상을 일정한 크기의 블록으로 분할하고, 이전 영상의 탐색 영역 내에서 현재 영상의 블록과 가장 잘 정합되는 참조 블록을 찾는 방법으로써, 현재 블록과 탐색된 참조 블록과의 차이인 움직임 벡터(MV)를 계산하고, 이를 부호화하여 움직임 추정이 이루어진다.

두 블록 간의 정합 계산은 여러 가지 정합 함수들이 사용될 수 있는데, 가장 일반적으로 사용되는 것은 두 블록 간 화소들 차의 절대값을 모두 합한 값인 SAD(Sum of Absolute Difference)이다. H.264 방식의 동영상 부호화 장치는 기존의SAD 위주의 탐색 방법 대신에 율-왜곡 최적화(rate-distortion optimization)에 기반한 코스트 함수(cost function)를 이용한다.

특히, H.264 방식에서는 압축 효율과 높은 화질을 동시에 얻기 위하여, 기존의 동영상 부호화에서는 16*16대 블록 혹은 8*8 대블록 단위로 부호화를 수행한 것과 달리, 모두 8가지의 서로 다른 블록화 모드를 가지고 있으며, 각각의 블록 중에서 최소값을 가지는 모드를 선택하도록 구성되어 있다. 따라서 다양한 크기의 가변 블록 기반 움직임 추정(variable block-based motion estimation)을 통하여 부호화 효율에 있어 많은 이득을 제공한다. 또한, H.264 방식은 1/4 화소 단위의 움직임 벡터 예측을 수행하여 더욱 정확한 움직임 추정으로 부호화 효율을 향상시킬 수 있다.

그러나 다른 부호화 방식과 비교하여 1/4 화소 탐색을 이용할 경우에는 부호화 효율을 향상시킬 수 있는 반면, 최소 16배나 많은 움직임 추정 연산을 수행해야 하며, 이것은 H.264 비디오 부호화에서 속도 저하의 원인이 되는 요소이다.

따라서 동영상의 부호화시간이 가장 많이 소요되는 움직임 추정 시간을 줄일 수 있는 방안이 필요하다.

본 발명은 상기한 문제점을 해결하기 위해 발명된 것으로, 그 목적은 다중 참조 프레임 움직임 추정(MRFME)에 대한 불필요한 연산을 생략할 수 있는 빠른 검색 전략을 제공하는데 그 목적이 있다.

상기한 기술적 과제를 달성하기 위한 본 발명의 실시 예에 따른 움직임 추정 방법은, 비디오 인코더가 복수의 영상 프레임을 소정 크기의 블록으로 분할하는 과정과, 이전에 검색된 프레임에 대해 율-왜곡(RD) 코스트를 계산하는 과정 및 상기 계산된 코스트를 이용하여 검색될 대상 픽셀의 수를 줄이는 과정을 포함한다.를 포함한다.

일 실시 예에 있어서, 상기 이전에 검색된 프레임에 대해 율-왜곡(RD) 코스트를 계산하는 과정은, 이전 프레임의 움직임 추정(ME)을 수행하는 과정 및 상기 움직임 추정(ME)에 기초하여 현재 프레임의 움직임 추정(ME)에 사용될 부등호 제약 조건을 도출하는 과정을 포함할 수 있다.

일 실시 예에 있어서, 상기 다중 참조 프레임 움직임 추정(MRFME)은 미리 정의된 상기 부등호 제약 조건을 점차적으로 증가시키는 과정을 포함할 수 있다.

일 실시 예에 있어서, 상기 이전에 검색된 프레임에 대해 율-왜곡 코스트를 계산하는 과정은, 적어도 하나의 이전 픽처를 참조하여 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 인터 예측 부호화(inter prediction coding)를 사용하여 부호화되는 인터 블록에 대응하는 참조 프레임에 대해 율-왜곡 코스트를 계산할 수 있다.

일 실시 예에 있어서, 상기 이전에 검색된 프레임에 대해 율-왜곡 코스트를 계산하는 과정은, 움직임 벡터(MV)가 제로 위치(0, 0)인 검색 윈도우 중심으로부터 나선형 검색(spiral search)으로서 픽셀 대 픽셀로 검색 위치를 이동할 수 있다.

일 실시 예에 있어서, 상기 나선형 검색은, 상기 RD 코스트 연산을 건너뛰는 기준으로서

의 부등호 관계를 채택하고, 여기서 ,

은 움직임 벡터에 대한 예측,

는 라그랑주 승수,

는 왜곡, m은 움직임 벡터, n은 참조 인덱스일 수 있다.

본 발명의 실시 예에 따른 움직임 추정 방법에 따르면, 다중 참조 프레임 움직임 추정(MRFME)에 대한 불필요한 연산을 생략할 수 있는 빠른 검색 전략을 제공할 수 있다.

도 1은 종래의 다중 참조 프레임 움직임 추정(MRFME)을 나타내는 도면.
도 2는 본 발명의 실시 예에 따른 다중 참조 프레임 움직임 추정(MRFME)을 나타내는 도면.
도 3은 참조 프레임 수와 움직임 추정(ME) 시간의 비율을 나타내는 그래프.

본 발명을 충분히 이해하기 위해서 본 발명의 바람직한 실시 예를 첨부 도면을 참조하여 설명한다. 본 발명의 실시 예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상세히 설명하는 실시예로 한정되는 것으로 해석되어서는 안 된다. 본 실시 예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공 되는 것이다. 따라서 도면에서의 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어 표현될 수 있다. 각 도면에서 동일한 부재는 동일한 참조부호로 도시한 경우가 있음을 유의하여야 한다. 또한, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 기술은 생략된다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명의 움직임 추정 방법을 상세히 설명한다.

다중 참조 프레임 움직임 추정(MRFME: Multi reference frame motion estimation)기법은 H.264/AVC와 같은 최근의 비디오 코딩 표준의 주요 기능 중 하나이다.

본 발명은 다중 참조 프레임 움직임 추정(MRFME)에 대한 불필요한 연산을 생략할 수 있는 빠른 검색 전략을 제시한다.

제안하는 방법은, 이전에 검색된 프레임에 대해 율-왜곡(RD: rate distortion)코스트(cost)를 미리 계산해두고, 계산된 코스트를 이용하여 검색될 대상 픽셀의 수를 줄임으로써, 불필요한 움직임 벡터를 검사하는 것을 줄여주고 검색을 빠르게 할 수 있는 기술이다.

본 발명에서 제안하는 방법은 율-왜곡 수행에 있어서 전형적인 단일 참조 프레임 움직임 추정(SRFME: Single reference frame motion estimation) 알고리즘에 손실(penalty)없이 적용 가능하다.

또한 본 발명에서 제안된 방법은 실험 결과상으로 최대 63.12%까지 움직임 추정(ME: Motion Estimation) 프로세서의 복잡성을 감소시키는 것을 보여준다.

본 발명에서 제안하는 인접한 프레임 간의 시간적 중복성을 이용한 블록 기반 움직임 추정(ME)은 H.264/AVC 및 고효율 비디오 코딩(HEVC: high efficiency video coding)와 같은 첨단 비디오 코딩 표준의 가장 중요한 기능 중 하나이다.

움직임 추정(ME) 프로세서는 현재 프레임의 각 블록에 대해 참조 블록이라 일컬을 수 있는 최선의 예측을 찾기 위해 수행된다. 상기 참조 블록은 미리 결정된 검색 공간 내에서 정합(matching) 왜곡을 최소화한다.

움직임 벡터(motion vector)와 참조 인덱스(reference index)는 각각 현재 블록과 참조 블록 사이의 공간적(spatial), 시간적(temporal) 변위(displacement)를 설정하는데 사용된다.

움직임 추정(ME) 기술은 비디오 코딩 효율을 크게 향상시키는 것으로 잘 알려져 있지만, 비디오 인코더의 가장 시간이 많이 소모되는 부분이다.

몇 가지 빠른 검색 알고리즘이 움직임 추정(ME) 기술을 가속화하기 위해 제안되었다.

본 발명에서는 코딩 효율을 떨어뜨리지 않으면서도 검색 프로세스를 가속화할 수 있는 움직임 추정(ME) 알고리즘을 제시한다.

부분 왜곡 제거(PDE: partial distortion elimination) 알고리즘은 정합 왜곡의 연산을 완료하기 전에 불가능한 픽셀의 위치를 제거하기 위해 정합 왜곡의 부분 합을 이용한다.

연속 제거 알고리즘(SEA: successive elimination algorithm)은 보다 정확한 왜곡 연산 전에 불가능 픽셀을 제거하기 위한 간단한 정합 기준을 사용한다.

적절한 테스트를 사용하여, 많은 픽셀 위치는 움직임 추정(ME) 과정에서 더 고려에서 제외될 수 있다.

SEA의 복잡성을 줄이기 위해 멀티 SEA(MSEA), 확장된 SEA(ESEA), fine granularity successive elimination(FGSE) 및 적응적 MSEA(adaptive MSEA: AdaMSEA)가 최근 연구에 도입되었다.

기본적으로, 이러한 모든 방법은 단일 참조 프레임 움직임 추정(SRFME)을 위해 설계된다.

다중 참조 프레임 움직임 추정(MRFME)에서 블록 정합 과정은 추가 참조 프레임을 사용하여 수행됨으로써, 단일 참조 프레임 움직임 추정(SRFME)에 비해 더 나은 예측 신호를 얻는다.

단일 참조 프레임 움직임 추정(SRFME) 알고리즘은 직접 각 참조 프레임에 적용된다. 즉, 모든 참조 프레임을 반복적으로 검색한다. 그러나 이 경우, 인코더의 복잡성은 구할 수 있는 참조 프레임의 수에 크게 비례하여 증가한다.

본 발명에서는 다중 참조 프레임 움직임 추정(MRFME)을 가속화하기 위한 효과적인 검색 전략을 제안한다.

먼저, 이전 프레임의 움직임 추정(ME)을 수행하고, 그 뒤에 유용한 정보를 분석한다. 상기 정보를 이용하여, 현재 프레임의 움직임 추정(ME)에 사용되는 새로운 부등호 제약(inequality constraint) 조건을 도출한다.

다중 참조 프레임 움직임 추정(MRFME) 도중에 미리 정의된 부등호 제약 조건을 점차적으로 증가시켜 검사할 픽셀의 수를 줄인다. 즉, 부등호 제약 조건의 견고성(tightness)을 증가시킴으로써, 검사할 대상 픽셀의 수를 줄인다.

본 발명은 H.264/AVC 참조 소프트웨어[3]의 나선형 검색에 포커스를 둔다.

한편 제안된 전략은 대부분의 기존 전체 검색에 상응하는 움직임 추정(ME) 알고리즘에 적용할 수 있다.

본 발명의 구성은 다음과 같다.

섹션 Ⅱ에서는 비디오 프로세싱에서 율-왜곡(RD) 최적화의 몇 가지 예선을 개시한다.

섹션 Ⅲ에서는 새로운 부등호 제약 조건을 도출하고, 다중 참조 프레임 움직임 추정(MRFME)에 대한 일반적인 검색 전략을 개시한다.

Ⅱ. 서두

주어진 속도 제한에 대한 최적의 움직임 벡터(MV: Motion vector)와 참조 인덱스(reference index)를 찾는 문제는 가능한 모든 RD 포인트의 컨벡스 헐(convex hull)에서 최고의 지점을 찾는 대로 공식화될 수 있다. 라그랑지안 최적화(Lagrangian optimization)가 이 문제를 해결하기 위해 넓게 쓰인다.

움직임 벡터(MV m)와 참조 인덱스(n)를 이용하여 s와 c(m, n)이 원래 블록과 그의 재건을 각각 얻도록 한다.

인터 코드 블록(inter-coded block)에서 움직임 추정(ME)은 최소화로 수행됨으로써, 최적의 움직임 벡터와 참조 인덱스를 찾기 위해 수행된다.

인터 블록은 인터 예측 부호화(Inter prediction coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서 현재 픽처를 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임(Reference frame)이라 한다.

관계식(1)

은 움직임 벡터에 대한 예측이고,

는 라그랑주 승수이다. 왜곡

는 S와 C(m, n)과 다르다.

레이트(rate)

는 참조 인덱스를 인코딩하는데 필요한 비트 수를 의미하고,

는 오리지널 움직임 벡터와 예측한 것과의 차이를 의미한다.

비디오 인코더는 각 참조 프레임의 사이즈가

인 미리 정의된 검색 윈도우 내에서 최적의 정합 위치를 검색한다.

따라서, 주어진 N개의 참조 프레임에서, 각 블록에 대한 움직임 검색 공간의 전체 크기는

이다.

가 사이즈가

인 검색 윈도우라 하고,

,

가 나선형 순서대로 가능한 픽셀 위치를 나타내는 움직임 벡터(MV)라 하자. 그러면,

은 검색 윈도우 내에서 하기에서와 같은 픽셀 포지션으로 구성된다.

관계식(2), 여기서,

.

움직임 추정(ME) 프로세스 중간이라 가정하면, 인코더는 참조 프레임과 인덱스 n에서 서브 윈도우(sub-window)

를 검사한다.

그런 다음, 인코더는 이하와 같은 지역적 최소 RD 코스트

을 얻을 수 있다.

관계식(3), 여기서,

.

위의 표기법을 사용하여, 이하에서 제안된 검색 전략을 설명할 수 있다.

Ⅲ. 제안하는 알고리즘

본 발명은 먼저, 나머지 픽셀의 정확한 RD 코스트 연산을 생략할지 여부를 순차적으로 결정하는 새로운 기준을 도출한다.

그런 다음, Ⅲ-B에서, 본 발명은 이전에 검색한 프레임의 미리 계산된 RD 코스트를 활용하여 제안된 기준의 견고성(tightness)을 증가시킨다.

A. 조기 스킵 기준(Early Skipping Criterion)

일반적으로, MV 분포는 고도로 중심 지향적(center-biased)이다.

대부분의 움직임 벡터(MVs)는 검색 중심, 즉 MVs의 약 81.80%가 중심의 5×5사각형 영역에 위치해 있다.

그 특성을 이용하기 위해서는, H.264/AVC 참조 소프트웨어에 채택된 나선형 검색(spiral search)이 검색 윈도우 중심에서 검색 과정을 시작하고, 그런 다음 검색 중심 주위의 나선형 구조에서 픽셀 대 픽셀로 검색 위치를 이동한다.

주목할 것은, 현재 구현에서, 움직임 벡터(MV) 예측

은 초기 검색 중심으로 사용된다.

나선형 검색은 움직임 벡터(MV) 분포가 제로 위치(0, 0)에 모인 비디오 신호를 위한 최적의 성능을 생산한다. 이것은 검색 과정의 시작 부분에서 정합 에러가 발견될 확률이 최소화되기 때문이다.

나선형 검색은 래스터 스캔 순서(raster scan order)를 사용하는 알고리즘보다 더 나은 성능을 내는 것으로 잘 알려져 있다.

나선형 검색은 움직임 벡터(MV)에 대한 최적화된 RD 솔루션을 유지하면서, 검색 과정을 가속화하기 위한 부등호 제약 조건을 설정한다.

나선형 검색은 정확한 RD 코스트 연산을 건너뛰는 기준으로서 다음의 부등호 관계를 채택한다.

관계식(4)

이는 다음 결과에 이르게 한다. 서브 윈도우

를 검토한 후, 인코더는 다음과 같은 조건을 만족하는 MVs

s에 대해서만 코스트 함수를 연산한다.

관계식(5), 여기서,

여기서, 관계식(4)와 관계식(5)와 같이, 나선형 검색은

와

사이의 부등호 관계만 활용한다.

복잡성 감소가 부등호 계약 조건의 견고성에 크게 의존적인 것은 당연하다.

견고성이 증가함에 따라 움직임 추정(ME) 프로세스에서 인코더가 검토해야하는 픽셀의 수가 적어진다.

본 발명은 부등호 제약 조건의 견고성을 증가시킬 수 있는 새로운 기준을 개시한다. 앞에서 언급한 바와 같이, 움직임 추정(ME) 프로세스에서 다중 참조 프레임이 사용되는 경우, 참조 인덱스를 인코딩하는 속도

는 라그랑지안 코스트 함수에 포함된다. 따라서, 본 발명은 다음과 같이 관계식(1)로부터 왜곡

을 제거함으로써 코스트와 속도의 부등호 제약 조건의 견고성을 도출할 수 있다.

관계식(6)

서브 윈도우

를 검토한 후, 제안된 방법은 다음과 같은 기준을 충족하는 움직임 벡터 MVs

s의 코스트 함수를 연산해야 한다.

관계식(7), 여기서,

.

,

에 대응하는 검색 위치에서 이 부등호에 만족하지 않으면, 최상의 예측을 할 수 없다.

따라서, 본 발명은

에 대응하는 검색 위치의 RD 코스트 연산을 안전하게 스킵(skip)할 수 있다. 그렇지 않으면, 코스트 함수는 특정 위치에서 계산된다. RD 코스트가

보다 작으면,

이 업데이트되고, 업데이트된

은 나머지 픽셀에 사용된다.

B. 다중 참조 프레임 움직임 추정(MRFME)을 위한 빠른 알고리즘

관계식 (7)로부터 복잡성 감소는 지역적 최소 RD 코스트

에 의존하는 것을 알 수 있다.

이 작아질수록 움직임 추정(ME)에서 인코더가 검사해야하는 픽셀 수가 줄어든다. 현재 구현에서, 나선형 검색은 별도로 각 참조 프레임에 적용된다.

이는 새로운 참조 프레임의 검색 과정이 시작될 때,

가 가장 높은 값으로 초기화되는 것을 의미한다.(도 1(a) 참조) 따라서 도 3에 도시된 그래프와 같이 움직임 추정(ME) 과정의 계산 복잡도(computational complexity)는 참조 프레임의 수에 크게 비례한다.

검사할 픽셀의 수를 줄이기 위해, 이전에 검색한 프레임의 미리 계산된 RD 코스트를 이용하여 부등호 제약 조건인 관계식(7)의 견고성을 증가시킨다.

참조 목록에서 N개의 참조 프레임

이 있다고 가정하자. 여기서 n은 참조 인덱스를 가리킨다.

관계식(3)과 비슷한,

와

이 각각

의 초기값과

의 움직임 추정(ME) 과정에 의해 획득된 RD 최소 코스트라 하자. 그런 다음 정의로부터

관계식(8)을 얻는다.

가장 높은 값으로

을 초기화하는 대신, 제안된 알고리즘은 미리 계산된 RD 코스트를 사용하여 가능한 한 작은 초기 값을 설정한다.

의 검색 과정을 시작할 때, 제안된 방법은

을 이하와 같이 미리 계산된 RD 코스트 중 가장 작은 값으로 설정한다.

관계식(9)

모든 참조 프레임에 위의 초기화 방법을 순차적으로 적용할 경우, 다음의 관계가 다중 참조 프레임 움직임 추정(MRFME) 과정의 중간에 유지된다.

관계식(10)

그리고, 관계식(8)로부터

관계식(11).

그런 다음, 위의 관찰에 기초하여, 본 발명은 관계식(9)과 같이 제안된 알고리즘을 단순화할 수 있다.

관계식(12)

(관계식(12)와 같이 입력하면 관계식(9)와 동일한 결과가 나온다)

제안된 방법은

에서

를 설정하고, 관계식(7)을 이용하여

의 움직임 추정(ME)을 수행하는 결과에 이르게 한다.

도 2의 (b)는 제안된 전략을 채택한 다중 참조 프레임 움직임 추정(MRFME)을 보여준다. 주목할 것은,

의 검색 과정을 끝낸 후, 인코더는 추가 계산 없이 최소의 RD 코스트

을 얻을 수 있다. 따라서, 제안된 방법은 계산의 오버헤드를 발생시키지 않는다.

각 블록의 전반적인 알고리즘 진행은 다음과 같다.

■움직임 추정(ME)과정의 시작에서, 인코더는 참조 프레임

내에서 최적의 정합 블록을 검색한다.

을 이용하여 획득된 최소 RD 코스트

이 다음과 같은 스텝으로 메모리에 저장된다.

■관계식(12)와 같이

를

로 초기화한다. 그런 다음, 제안된 방법은 관계식(7)을 이용하여 참조 프레임

의 움직임 추정(ME) 과정을 수행한다. 여기서 그 결과로 생긴

의

은 다음 참조 프레임

의 초기 값

을 계산하기 위해 메모리에 저장된다. 그리고 n을 하나씩 증가시켜 이 과정을 반복한다.

■n이 N보다 커지면, 인코더는 현재 블록의 검색 과정을 종료한다. 최적의 검색 위치에 대응하는 MV와 참조 인덱스는 인코딩된다.

제안된 알고리즘이 기존의 다중 참조 프레임 움직임 추정(MRFME)[4, 5]을 위해 고안된 빠른 검색 알고리즘에 쉽게 통합될 수 있다는 것은 자명하다.

기본적으로, 이러한 알고리즘은 최소 RD 코스트를 이용하여 부등호 계약 조건을 설정하고, 개별적으로 각 참조 프레임의 움직임 추정(ME) 과정을 수행한다.

다중 참조 프레임 움직임 추정(MRFME) 시나리오에서, 제안된 알고리즘은 가능한 한 최소한으로 지역적 최소 RD 코스트를 유지할 수 있다.

따라서, 다중 참조 프레임 움직임 추정(MRFME)에 기존의 단일 참조 프레임 움직임 추정(SRFME) 알고리즘을 적용할 때, 제안된 알고리즘의 결합에 의해서 기존 알고리즘의 성능이 상당히 향상될 수 있다.

이상에서 설명된 본 발명의 움직임 추정 방법의 실시 예는 예시적인 것에 불과하며, 본 발명이 속한 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 잘 알 수 있을 것이다. 그러므로 본 발명은 상기의 상세한 설명에서 언급되는 형태로만 한정되는 것은 아님을 잘 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다. 또한, 본 발명은 첨부된 청구범위에 의해 정의되는 본 발명의 정신과 그 범위 내에 있는 모든 변형물과 균등물 및 대체물을 포함하는 것으로 이해되어야 한다.

(a): 종래의 다중 참조 프레임 움직임 추정(MRFME)
(b): 본 발명의 제안된 방법.

Claims

비디오 인코더가 복수의 영상 프레임을 소정 크기의 블록으로 분할하는 과정;
이전에 검색된 프레임에 대해 율-왜곡(RD) 코스트를 계산하는 과정; 및
상기 계산된 코스트를 이용하여 검색될 대상 픽셀의 수를 줄이는 과정을 포함하고,
상기 이전에 검색된 프레임에 대해 율-왜곡(RD) 코스트를 계산하는 과정은,
이전 프레임의 움직임 추정(ME)을 수행하는 과정; 및
상기 움직임 추정(ME)에 기초하여 현재 프레임의 움직임 추정(ME)에 사용될 부등호 제약 조건을 도출하는 과정을 포함하되,
다중 참조 프레임 움직임 추정(MRFME)은 미리 정의된 상기 부등호 제약 조건을 점차적으로 증가시키는 과정을 포함하는, 움직임 추정 방법.
삭제
삭제
제1항에 있어서, 상기 이전에 검색된 프레임에 대해 율-왜곡 코스트를 계산하는 과정은,
적어도 하나의 이전 픽처를 참조하여 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 인터 예측 부호화(inter prediction coding)를 사용하여 부호화되는 인터 블록에 대응하는 참조 프레임에 대해 율-왜곡 코스트를 계산하는, 움직임 추정 방법.
제1항에 있어서, 상기 이전에 검색된 프레임에 대해 율-왜곡 코스트를 계산하는 과정은,
움직임 벡터(MV)가 제로 위치(0, 0)인 검색 윈도우 중심으로부터 나선형 검색(spiral search)으로서 픽셀 대 픽셀로 검색 위치를 이동하는, 움직임 추정 방법.
제5항에 있어서, 상기 나선형 검색은,
상기 RD 코스트 연산을 건너뛰는 기준으로서
의 부등호 관계를 채택하고, 여기서
,
은 움직임 벡터에 대한 예측,
는 라그랑주 승수,
는 왜곡, m은 움직임 벡터, n은 참조 인덱스인 움직임 추정 방법.