KR20040035139A - 영상 압축에서의 움직임 탐색 방법 - Google Patents

Abstract

본 발명은 MPEG1,2,4, H.261, H.263, H.264 등에 적용 가능한 영상 압축에서의 움직임 탐색 방법에 관한 것으로서, 본 발명은 프레임간 상관도를 이용하여 이전 프레임의 움직임 벡터를 기준으로 현재 프레임의 움직임 벡터를 추정함으로써 연산량을 대폭 감소시키면서 영상 압축 품질을 그대로 유지할 수 있고, 움직임 벡터 추정 모듈이 항시 안정적으로 동작될 수 있으며, 또한 프레임간의 상관도에 따라 움직임 벡터를 추정하는 알고리즘을 달리하여 영상 특성이나 프레임 전송률에 따라 심하게 좌우되는 성능 열화를 방지할 수 있다.

Description

영상 압축에서의 움직임 탐색 방법 {Method for Motion Searching of Image Compression}

본 발명은 영상 압축에서의 움직임 탐색 방법에 관한 것으로, 보다 상세하게는 MPEG1,2,4, H.261, H.263, H.264 등에 적용 가능한 영상 압축에서의 움직임 탐색 방법에 관한 것이다.

CIF(Common Intermediate Format)는 화상회의 시스템에서 사용되는 비디오 형식으로서, 초당 30 프레임의 데이터 속도를 조건으로 지정하는데, 각 프레임은352 픽셀로 구성된 288개의 라인을 담고 있다. 이와 관련된 표준으로 QCIF(Quarter CIF)는 CIF에 비해 약 1/4 정도의 데이터양을 전송하며, 전화회선을 이용한 화상회의 시스템에 적합하다.

CIF나 QCIF와 같은 형식의 영상 압축에서는 압축의 한 방법으로 한 프레임의 데이터를 전송할 때 프레임을 매크로 블록(Macro Block) 단위로 쪼개고, 매크로 블록별로 이전 프레임에서 가장 비슷한 위치를 찾아 이 위치, 즉 움직임 벡터와 그 차이만을 전송하는 기법을 사용한다.

이때, 이전 프레임에서 가장 비슷한 값을 갖는 매크로 블록의 위치에 대한 확률을 살펴본 결과, 매크로 블록은 -16∼+16 범위에서 이전 프레임에서 가장 비슷한 값을 모두 찾을 수 있으므로, 탐색 영역은 대개 -16∼+16으로 정하고 이 탐색 영역에서 움직임 벡터를 찾는다.

도 1은 탐색 영역에서의 완전 탐색 블록 매칭 과정을 도시한 것이다.

도 1에 도시된 바와 같이, 보통 매크로 블록은 16픽셀×16픽셀로 정의되므로 움직임 벡터 추정 모듈은 하나의 움직임 벡터 연산을 위해 16×16번의 계산이 필요하고, -16∼+16(수평축 33포인트, 수직축 33포인트)에 대해 최적의 움직임 벡터를 찾아내기 위해 33×33×16×16=278,784번의 연산이 필요하다.

QCIF의 15 프레임의 경우에, 매크로 블록이 99개 포함되는 프레임을 초당 15번 처리해야 하므로 초당 필요한 연산량은 33×33×16×16×99×15로, 대략 4억 개 이상의 계산이 수행되어야 한다.

이와 같이, 종래 기술에 따른 영상 압축에서의 움직임 탐색 시스템은 최적의움직임 벡터 탐색시 필요한 연산량이 많아 이를 구현하기 위해 반드시 전용 하드웨어가 필요하며, 전용 하드웨어가 구비되더라도 하드웨어의 크기나 전력 소모량이 많다는 문제점이 있다.

본 발명은 위의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 움직임 벡터 추정시 연산량을 줄이고 움직임 벡터 추정을 위한 시스템이 안정적으로 동작될 수 있는 영상 압축에서의 움직임 탐색 방법을 제공하는 것이다.

도 1은 탐색 영역에서의 완전 탐색 블록 매칭 과정을 도시한 것이다.

도 2는 본 발명에 따른 실시예의 영상 압축에서의 움직임 탐색 방법을 도시한 순서도이다.

도 3은 각 매크로 블록에서 탐색한 현재 프레임의 움직임 벡터와 이전 프레임의 움직임 벡터와의 차이를 도시한 그래프이다.

도 4는 프레임별 이전 프레임의 움직임 벡터를 이용한 매크로 블록과 그렇지 않은 매크로 블록을 도시한 것이다.

상기한 바와 같은 목적을 실현하기 위한 본 발명에 따른 영상압축에서의 움직임 탐색 방법의 특징은, a) 외부에서 입력되는 영상을 프레임의 데이터로 압축 전송시, 상기 영상의 프레임을 매크로 블록 단위로 나누고, 현재 탐색하고자 하는 프레임의 매크로 블록과 해당 탐색 영역을 입력하는 단계; b) 상기 a) 단계에서 입력된 프레임의 매크로 블록이 프레임간의 상관도를 이용하여 이전 프레임의 움직임 벡터 이용이 가능한지를 판단하는 단계; c) 상기 b) 단계의 판단 결과가 이전 프레임의 움직임 벡터 이용이 불가능한 경우에, 전체 탐색 영역에 대해 움직임 벡터를 추정하는 단계; d) 상기 b) 단계의 판단 결과가 이전 프레임의 움직임 벡터 이용이 가능한 경우에, 이전 프레임의 움직임 벡터를 기준으로 정해진 픽셀 범위에서만 움직임 벡터를 추정하는 단계; 및 e) 상기 c) 단계, 또는 d) 단계에서 추정된 움직임 벡터를 이용해 현재 매크로 블록의 움직임 벡터를 출력하는 단계를 포함한다.

상기 b) 단계에서 프레임간의 상관도가 높은 영상의 경우에 이전 프레임의움직임 벡터를 기준으로 정해진 픽셀 범위에서 기준값을 설정하는 단계를 포함한다.

상기 d) 단계는,

현재 매크로 블록에 대해 움직임 벡터를 추정한 결과가 기준값 이상일 경우에, 이전 프레임의 움직임 벡터가 신뢰할 수 없는 값이므로 다시 전체 탐색 영역에 대해 움직임 벡터를 추정하는 단계; 및 현재 매크로 블록에 대해 움직임 벡터를 추정한 결과가 기준값 미만일 경우에, 이전 프레임의 움직임 벡터가 신뢰할 수 있는 값이므로 현재 추정된 움직임 벡터를 이용하는 단계를 포함한다.

상기 b) 단계는, 프레임별로 번갈아가며 이전 프레임의 움직임 벡터를 이용한다.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시예를 상세히 설명하면 다음과 같다.

도 2는 본 발명에 따른 실시예의 영상 압축에서의 움직임 탐색 방법을 도시한 순서도이다.

도 2에 도시된 바와 같이, 본 발명에 따른 실시예의 방법은, 움직임 벡터 추정 모듈로 외부 영상이 입력되면(S1), 움직임 벡터 추정 모듈은 이 영상을 프레임 데이터로 압축 전송하기 위해 각 프레임이 매크로 블록 단위로 쪼갠다.(S2)

그리고 움직임 벡터 추정 모듈은 움직임 벡터를 추정하기 위해 각 프레임별로 매크로 블록이 1개씩 입력하고, 현재 입력된 매크로 블록의 해당 탐색 영역도입력한다.(S2)

이때, 외부에서 입력된 영상이 프레임간의 상관도가 높은 경우에, 현재 프레임의 매크로 블록이 메모리에 이미 저장되어 있는 이전 프레임의 움직임 벡터를 이용 가능한지를 판단한다.(S3)

도 3은 각 매크로 블록에서 탐색한 현재 프레임의 움직임 벡터와 이전 프레임의 움직임 벡터와의 차이를 도시한 그래프이다.

도 3에 나타나 있듯이, 현재 프레임의 움직임 벡터는 이전 프레임의 움직임 벡터와 차이가 0이거나 1인 것이 대부분이다. 즉, 현재 프레임의 움직임 벡터는 이전 프레임의 움직임 벡터와 크게 차이가 나지 않는다.

따라서 현재 프레임의 움직임 벡터 추정시 이전 프레임의 움직임 벡터를 이용할 수 있다.

도 4는 프레임별 이전 프레임의 움직임 벡터를 이용한 매크로 블록과 그렇지 않은 매크로 블록을 도시한 것이다.

도 4에 도시된 바와 같이, 이전 프레임의 움직임 벡터는 프레임별로 번갈아가며 이용할 수도 있다. 예를 들어, 두 번째 매크로 블록의 움직임 벡터 추정 모듈은 홀수 번째 프레임에서 이전 프레임의 움직임 벡터를 이용하고, 짝수 번째 프레임에서는 이전 프레임의 움직임 벡터를 이용하지 않는다.

이렇게 하여, 움직임 벡터 추정 모듈은 각 프레임의 움직임 벡터를 저장하는 메모리의 크기를 줄이고, 시스템이 보다 안정적으로 동작되도록 한다.

현재 매크로 블록이 이전 프레임의 움직임 벡터를 이용하는 경우에, 움직임벡터 추정 모듈은 이전 프레임의 움직임 벡터를 기준으로 ±1 위치의 움직임 벡터에 대해서만 픽셀간 차이의 합을 연산된다.(S5, S6)

위와 같이, 움직임 벡터 추정 모듈이 이전 프레임의 움직임 벡터를 이용한 경우에, 이전 프레임의 움직임 벡터가 가리키는 위치로부터 ±1 픽셀 범위의 9개 포인트에 대해서만 매크로 블록 매칭(대개 픽셀간 차이의 합) 연산을 수행한다.

그런데, 현재 매크로 블록이 이전 프레임의 움직임 벡터를 이용하지 않는 경우에, 움직임 벡터 추정 모듈은 기존의 여러 가지 움직임 벡터 추정 알고리즘을 적용하여 전체 탐색 영역에 대해 픽셀간 차이의 합을 연산한다.(S5, S7)

현재 매크로 블록의 움직임 벡터는 위에서 연산된 픽셀간 차이의 합이 최소로 되는 위치를 선택한다.(S8)

한편, 외부에서 입력된 영상이 프레임간의 상관도가 낮은 경우(S4), 즉 프레임률이 낮거나 개체의 움직임이 큰 영상의 경우를 위해 움직임 벡터 추정 모듈은 미리 기준값을 설정한다.(S9)

설정된 기준값에 따라, 움직임 벡터 추정 모듈은 현재 매크로 블록이 이전 프레임의 움직임 벡터를 이용 가능한지를 판단하고, 현재 매크로 블록이 이전 프레임의 움직임 벡터를 이용하더라도 이전 프레임의 움직임 벡터를 기준으로 ±1 지점의 움직임 벡터에 대해서만 연산된 픽셀간 차이의 합이 기준값 미만인지를 확인한다.(S5, S6, S10)

이때, 픽셀간 차이의 합이 기준값 미만인 경우에, 이전 프레임의 움직임 벡터는 현재 매크로 블록의 움직임 벡터의 기준으로 적당한 값으로 판단하고 다음 단계(S8)로 넘어간다.

그런데, 픽셀간 차이의 합이 기준값 이상일 경우에, 이전 프레임의 움직임 벡터는 현재 매크로 블록의 움직임 벡터의 기준으로 부적당한 값이므로 전 단계에서 연산된 픽셀간 차이의 합을 버리고 다시 전체 탐색 영역에 대해 픽셀간 차이의 합을 연산한다.(S7)

상기 도면과 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

본 발명에 의한 영상 압축에서의 움직임 탐색 방법은 프레임간 상관도를 이용하여 움직임 벡터를 추정함으로써 연산량을 대폭 감소시키면서 영상 압축 품질을 그래도 유지할 수 있고, 움직임 벡터 추정 블록이 항시 안정적으로 동작될 수 있는 효과가 있다.

또한, 본 발명에 의한 영상 압축에서의 움직임 탐색 방법은 프레임간의 상관도에 따라 움직임 벡터를 추정하는 알고리즘을 달리하여 영상 특성이나 프레임 전송률에 따라 심하게 좌우되는 성능 열화를 방지할 수 있는 효과가 있다.

Claims (4)

1. a) 외부에서 입력되는 영상을 프레임의 데이터로 압축 전송시, 상기 영상의 프레임을 매크로 블록 단위로 나누고, 현재 탐색하고자 하는 프레임의 매크로 블록과 해당 탐색 영역을 입력하는 단계;

   b) 상기 a) 단계에서 입력된 프레임의 매크로 블록이 프레임간의 상관도를 이용하여 이전 프레임의 움직임 벡터 이용이 가능한지를 판단하는 단계;

   c) 상기 b) 단계의 판단 결과가 이전 프레임의 움직임 벡터 이용이 불가능한 경우에, 전체 탐색 영역에 대해 움직임 벡터를 추정하는 단계;

   d) 상기 b) 단계의 판단 결과가 이전 프레임의 움직임 벡터 이용이 가능한 경우에, 이전 프레임의 움직임 벡터를 기준으로 정해진 픽셀 범위에서만 움직임 벡터를 추정하는 단계; 및

   e) 상기 c) 단계 또는 d) 단계에서 추정된 움직임 벡터를 이용해 현재 매크로 블록의 움직임 벡터를 출력하는 단계

   를 포함하는 영상 압축에서의 움직임 탐색 방법.
2. 제1항에 있어서,

   상기 b) 단계에서 프레임간의 상관도가 높은 영상의 경우에 이전 프레임의 움직임 벡터를 기준으로 정해진 픽셀 범위에서 기준값을 설정하는 단계를 포함하는 영상 압축에서의 움직임 탐색 방법.
3. 제1항 또는 제2항에 있어서,

   상기 d) 단계는,

   현재 매크로 블록에 대해 움직임 벡터를 추정한 결과가 기준값 이상일 경우에, 이전 프레임의 움직임 벡터가 신뢰할 수 없는 값이므로 다시 전체 탐색 영역에 대해 움직임 벡터를 추정하는 단계; 및

   현재 매크로 블록에 대해 움직임 벡터를 추정한 결과가 기준값 미만일 경우에, 이전 프레임의 움직임 벡터가 신뢰할 수 있는 값이므로 현재 추정된 움직임 벡터를 이용하는 단계

   를 포함하는 영상 압축에서의 움직임 탐색 방법.
4. 제1항에 있어서,

   상기 b) 단계는, 프레임별로 번갈아가며 이전 프레임의 움직임 벡터를 이용하는 것을 특징으로 하는 영상 압축에서의 움직임 탐색 방법.