KR100786426B1

KR100786426B1 - 다 해상도 탐색 방법을 이용한 움직임 벡터 추출 방법 및장치

Info

Publication number: KR100786426B1
Application number: KR1020060024805A
Authority: KR
Inventors: 김한영
Original assignee: 주식회사 팬택앤큐리텔
Priority date: 2006-03-17
Filing date: 2006-03-17
Publication date: 2007-12-17
Also published as: KR20070094298A

Abstract

현재 영상과 기준 영상을 여러 레벨의 해상도 영상으로 변환하고, 저해상도 영상에서 추출한 움직임 벡터를 고 해상도 영상에서 조정하여 최종 움직임 벡터를 결정하는 다 해상도 탐색 방법을 이용한 움직임 벡터 추출 방법 및 장치가 개시된다. 본 발명에 따른 움직임 벡터 추출 방법은 (a) 현재 영상과 기준 영상을 다 해상도 영상으로 변환하는 단계; (b) 상기 변환된 저 해상도의 현재 영상과 기준 영상에 소정의 가중치를 부여하는 단계; (c) 상기 가중치 부여된 저 해상도의 현재 영상을 가지고 상기 가중치 부여된 저 해상도의 기준 영상 전체 영역을 탐색하여 움직임 벡터를 추출하는 단계; (d) 상기 변환된 중간 해상도 영상에서 소정의 탐색영역을 탐색하여 상기 추출된 움직임 벡터를 조정하는 단계; 및 (e) 상기 변환된 고 해상도 영상에서 소정의 탐색영역을 탐색하여 상기 조정된 움직임 벡터를 다시 조정하는 단계를 포함하는 것을 특징으로 한다. 이에 의해, 저 해상도에서는 전체 영역을 탐색하여 우선적으로 움직임 벡터를 구한 후, 고 해상도로 단계적으로 제한된 탐색 영역에서 탐색함으로써, 정확한 움직임 벡터의 추출이 가능하다.

Description

다 해상도 탐색 방법을 이용한 움직임 벡터 추출 방법 및 장치 {Method and apparatus of extracting a motion vector using a multi-level search algorithm}

도 1은 현재 영상과 기준 영상의 해상도를 낮추어 중간 해상도 영상 및 저해상도 영상을 생성하는 것을 설명하기 위한 도면,

도 2a는 가중치 블록의 일예를 도시한 도면,

도 2b는 가중치 블록을 대상 블록에 적용하는 것을 설명하기 위한 도면,

도 3은 현재 영상 블록을 탐색 영역내에서 이동하면서 상관도를 측정하여 움직임 벡터를 찾는 과정을 설명하기 위한 참조도,

도 4는 본 발명의 바람직한 실시예에 따른 해상도별 움직임 벡터 조정 과정을 설명하기 위한 도면,

도 5는 본 발명의 바람직한 실시예에 따른 다해상도 탐색 방법을 이용한 움직임 벡터 추출 방법의 흐름도,

도 6은 본 발명의 바람직한 실시예에 따른 다해상도 탐색 방법을 이용한 움직임 벡터 추출 장치의 블록도이다.

본 발명은 동영상 부호화 및 복호화에서 사용되는 움직임 벡터의 추출에 관한 것으로, 보다 상세하게는 현재 영상과 기준 영상을 여러 레벨의 해상도 영상으로 변환하고, 저 해상도 영상에서 추출한 움직임 벡터를 고 해상도 영상에서 조정하여 최종 움직임 벡터를 결정하는 다 해상도 탐색 방법을 이용한 움직임 벡터 추출 방법 및 장치에 관한 것이다.

동영상의 부호화에서는 높은 데이터 압축률을 얻기 위해 시간적인 중복성을 제거하는 움직임 보상 부호화가 널리 사용되고 있으며, 움직임 보상 부호화는 움직임 추정을 통해 이전 영상의 데이터로부터 입력 영상에 가장 유사한 영상을 예측하고, 예측된 영상과 입력 영상의 차 영상을 변환 부호화한다. 이 과정에서 이전 영상과 현재 영상의 움직임 차를 나타내는 움직임 벡터를 추출하여 부호화한다.

실시간 동영상 부호화를 위해 움직임 벡터를 추출하는데 있어 정확한 움직임 벡터를 추출하기 위해 8x8 매크로 블록을 사용하여 움직임 벡터를 구하거나, 현재 영상과 기준 영상을 다 해상도 영상으로 변환하고, 변환된 영상에서 움직임 벡터를 구하는 종래의 방법이 개시되어 있다.

그러나 이러한 종래의 방법에서는 탐색 범위가 한정되어 있어 매칭되는 영상이 탐색 범위를 벗어나는 경우 움직임 벡터를 정확히 추출해 낼 수 없거나, 현재 영상의 해상도를 낮추는 과정에서 예를 들어 저 해상도로 변환된 영상에서 한 화소는 이전 해상도의 영상에서 4개의 화소를 나타내므로 블록의 특징점이 약화되어 매칭 확률이 떨어진다는 문제점이 있다.

따라서, 본 발명이 이루고자 하는 기술적 과제는 실시간 동영상 부호화 및 복호화에 있어 움직임 벡터를 정확하게 추출하기 위해, 현재 영상과 기준 영상을 여러 레벨의 해상도 영상으로 변환하고 가중치 블록을 사용하여 가중치를 부여한 후, 저 해상도 영상에서 추출한 움직임 벡터를 고 해상도 영상에서 조정하여 최종 움직임 벡터를 결정함으로써 정확한 움직임 벡터의 추출을 가능하도록 한, 다 해상도 탐색 방법을 이용한 움직임 벡터 추출 방법 및 장치를 제공하는 것이다.

상기 기술적 과제는 본 발명에 따라, (a) 현재 영상과 기준 영상을 다 해상도 영상으로 변환하는 단계; (b) 상기 변환된 저 해상도의 현재 영상과 기준 영상에 소정의 가중치를 부여하는 단계; (c) 상기 가중치 부여된 저 해상도의 현재 영상을 가지고 상기 가중치 부여된 저 해상도의 기준 영상 전체 영역을 탐색하여 움직임 벡터를 추출하는 단계; (d) 상기 변환된 중간 해상도 영상에서 소정의 탐색영역을 탐색하여 상기 추출된 움직임 벡터를 조정하는 단계; 및 (e) 상기 변환된 고 해상도 영상에서 소정의 탐색영역을 탐색하여 상기 조정된 움직임 벡터를 다시 조정하는 단계를 포함하는 것을 특징으로 하는 다 해상도 탐색 방법을 이용한 움직임 벡터 추출 방법에 의해 달성된다.

상기 (a) 단계는, 현재 영상과 기준 영상에서 복수개의 화소를 하나의 화소로 만들어, 중간 해상도 영상 및 저 해상도 영상으로 변환하는 단계인 것이 바람직하다.

상기 (b) 단계는, 동일한 가중치 블록을 사용하여 상기 현재 영상과 기준 영 상의 각 화소에 가중치를 부여하되, 상기 가중치 블록의 화소값의 합이 1인 것이 바람직하다.

상기 (c) 단계는, 상기 가중치 부여된 저 해상도의 현재 영상을 가지고 상기 가중치 부여된 저 해상도의 기준 영상 전체 영역을 탐색하여, 각 화소 단위로 상관도를 계산하여 그 결과에 따라 움직임 벡터를 추출하는 것이 바람직하다.

그리고, 상기 (d) 단계 또는 (e) 단계에서의 소정의 탐색 영역은 해상도가 높아지는 배율에 대응하여 정해지는 것이 바람직하다.

또한, 상기 기술적 과제는 (a) 현재 영상을 중간 해상도 및 저 해상도 영상으로 변환하고, 변환된 저 해상도 영상에서 전체 영역을 탐색하여 움직임 벡터를 추출하는 단계; 및 (b) 상기 중간 해상도 영상에 대해 소정의 탐색 영역을 탐색하여 상기 추출한 움직임 벡터를 조정한 후, 상기 현재 영상에 대해 소정의 탐색 영역을 탐색하여 상기 조정된 움직임 벡터를 다시 조정하는 단계를 포함하는 것을 특징으로 하는 다 해상도 탐색 방법을 이용한 움직임 벡터 추출 방법에 의해서도 달성된다.

한편, 본 발명의 다른 분야에 따르면, 상기 기술적 과제는 현재 영상과 기준 영상을 다 해상도 영상으로 변환하는 다 해상도 영상 생성부; 상기 변환된 저 해상도의 현재 영상과 기준 영상에 소정의 가중치를 부여하는 가중치 계산부; 상기 가중치 부여된 저 해상도의 현재 영상을 가지고 상기 가중치 부여된 저 해상도의 기준 영상 전체 영역을 탐색하여 움직임 벡터를 추출하는 움직임 벡터 추출부; 및 상기 변환된 중간 해상도 영상에서 소정의 탐색영역을 탐색하여 상기 추출된 움직임 벡터를 조정한 후, 상기 변환된 고 해상도 영상에서 소정의 탐색영역을 탐색하여 상기 조정된 움직임 벡터를 다시 조정하는 움직임 벡터 조정부를 포함하는 것을 특징으로 하는 다 해상도 탐색 방법을 이용한 움직임 벡터 추출 장치에 의해서도 달성된다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.

도 1은 현재 영상과 기준 영상의 해상도를 낮추어 중간 해상도 영상 및 저 해상도 영상을 생성하는 것을 설명하기 위한 도면이다.

도 1을 참조하면, 고 해상도의 현재 영상과 기준 영상(130)을 구성하는 4개의 화소를 다음 단계의 해상도 영상(중간 해상도 영상(120))의 화소 1개에 대응시킨다. 예를 들어 4개의 화소값을 평균하여 다음 단계의 화소값으로 정한다. 도 1의 예에서 사각형 하나는 하나의 화소일 수도 있고 하나의 매크로 블록일 수도 있다. 어느 경우든 고 해상도의 영상(130)에서 4개의 화소를 모아 중간 해상도 영상(120)에서의 하나의 화소가 된다.

마찬가지로 저 해상도 영상(110)은 중간 해상도 영상(120)을 가지고 만들어지는데, 중간 해상도 영상(120)의 화소 4개를 평균하여 저 해상도 영상(110)의 화소를 만들 수 있다. 수학식 1은 고 해상도 영상에서 화소의 해상도를 낮추는데 사용되는 수학식의 일예를 나타낸 것으로 f'(x, y)는 저 해상도 영상의 화소를 나타내고 f(x, y)는 고 해상도 영상의 화소를 나타낸다.

도 2a는 가중치 블록의 일예를 도시한 도면이다.

도 2a를 참조하면 하나의 가중치 블록은 일예로 5x5 개의 화소로 구성되나 그 크기는 가변될 수 있다.

도 1에 따라 저 해상도 영상(110)과 중간 해상도 영상(120)이 생성되었으면, 저 해상도 영상(110)에 도 2a에 도시한 바와 같은 가중치 블록(210)을 사용하여 가중치를 부여한다. 이하 가중치 블록의 생성과 이를 대상 영상에 적용하는 것에 대하여 상세히 설명한다.

도 2b는 가중치 블록을 대상 블록에 적용하는 것을 설명하기 위한 도면이다.

도 2b를 참조하면 저 해상도 영상(110) 또는 저 해상도의 기준 영상인 대상 영상(200)에 대해 도 2a에 도시한 바와 같은 가중치 블록(210)을 더하여 가중치 부여된 새로운 저 해상도 영상 또는 기준 영상을 만든다. 즉, 가중치 블록을 저 해상도 영상(110) 또는 저 해상도의 기준 영상에 순차적으로 적용한다. 본 실시예에 따르면 5x5 가중치 블록을 저 해상도 영상(110) 및 저 해상도의 기준 영상 전 영역에 차례로 적용한다. 따라서 도 3을 참조하여 후술하는 움직임 벡터의 계산은 가중치가 부여된 저 해상도 영상 및 저 해상도 기준 영상을 가지고 이루어진다.

가중치 함수의 예는 2차 가우시안 함수가 될 수 있으며 일예로 다음 수학식 2에 나타낸 바와 같다.

가중치 블록의 생성에 대하여 보다 상세하게 설명하면, 수학식 2에 따른 가중치 함수를 이용하여 저 해상도의 현재 영상과 기준 영상에 대해 화소별 가중치를 생성한다. 이때 가중치 함수가 원래의 현재 영상과 기준 영상에 영향을 주지 않아야 하므로, 수학식 2에 따라 만들어진 가중치 블록(210) 화소값의 전체 합이 1이 되어야 한다. 가중치가 수학식 2와 같은 가우시안 함수에 따라 정해지면 화소값의 전체합은 자동적으로 1이 된다. 즉, 가우시안 함수에 따라 가중치를 정하면 도 2a에 도시한 바와 같이 중심부분의 화소값이 큰 값이 되고 가장자리로 갈 수록 작은 값이 되는데 이들 값을 모두 더하면 1이 되는 것이다. 가중치 블록의 생성을 수학식 2에 따르지 않고 임의로 생성하는 경우에는 그 화소값의 합이 1이 되도록 설정하면 된다. 그리고 수학식 2에서 σ 는 전체 화소값이 1이 되도록 하면 자동적으로 정해진다.

도 3은 현재 영상 블록을 탐색 영역내에서 이동하면서 상관도를 측정하여 움직임 벡터를 찾는 과정을 설명하기 위한 참조도이다.

가중치를 부여하여 저 해상도에서 현재 영상과 기준 영상을 만든 후, 현재 영상에서의 일정 크기의 블록(310)을 기준 영상의 전체 영역(320)을 탐색하면서 도 3에 도시한 바와 같이 상관도를 계산한다. 상관도를 계산하여 가장 큰 값이 될 때 의 값이 현재 블록(310)의 움직인 거리가 되므로 기준 영상(320)에서 움직임 벡터가 추출된다. 이때 추출된 움직임 벡터는 저 해상도 영상에서의 움직임 벡터이므로 해상도가 높아질수록 해상도 배율만큼 움직임 벡터의 크기를 증가시켜야 한다.

도 4는 본 발명의 바람직한 실시예에 따른 해상도별 움직임 벡터 조정 과정을 설명하기 위한 도면이다.

저 해상도 영상(110)에서 움직임 벡터(410)가 구해졌으면, 중간 해상도 영상(120)에서 저 해상도 영상(110)의 움직임 벡터(410)의 위치점을 중심으로 한정된 범위를 더 탐색하여 움직임 벡터를 조정한다. 즉, 움직임 벡터(410)의 좌표에서 제한된 범위의 탐색 영역, 예를 들어 4 화소를 더 탐색하여 얻어진 벡터(420)를 벡터 합하면 중간 해상도 영상(120)에서 조정된 움직임 벡터가 구해진다. 다음으로 고 해상도 영상에서 움직임 벡터(420)의 좌표에서 제한된 범위를 더 탐색하여 얻어진 벡터(430)를 벡터 합하면 최종적으로 고 해상도 영상에서 움직임 벡터를 얻을 수 있다.

도 5는 본 발명의 바람직한 실시예에 따른 다해상도 탐색 방법을 이용한 움직임 벡터 추출 방법의 흐름도이다.

먼저 현재 영상과 기준 영상을 다 해상도 영상으로 변환한다(S510). 다 해상도 영상으로의 변환의 일예는, 도 1을 참조하여 전술한 바와 같이 현재 영상과 기준 영상에서 복수개의 화소를 하나의 화소로 만들어 중간 해상도 영상 및 저 해상도 영상으로 변환한다. 그리고 나서 도 2를 참조하여 전술한 바와 같은 가중치 블록(210)을 사용하여, 변환된 저 해상도의 현재 영상과 기준 영상에 가중치를 부 여한다(S520). 이때 현재 영상과 기준 영상의 각 화소에 동일한 가중치 블록을 사용하여 가중치를 부여하되, 가중치 블록의 화소값의 합이 1이 되도록 한다.

그리고, 가중치 부여된 저 해상도의 현재 영상을 가지고 가중치 부여된 저 해상도의 기준 영상 전체 영역을 탐색하여 움직임 벡터를 추출한다(S530). 즉, 도 3을 참조하여 전술한 바와 같이 가중치 부여된 저 해상도의 현재 영상을 가지고, 가중치 부여된 저 해상도의 기준 영상 전체 영역을 탐색하여, 각 화소 단위로 상관도를 계산하여 그 결과에 따라 움직임 벡터를 추출한다.

그리고, 변환된 중간 해상도 영상에서 일부 탐색영역을 탐색하여 상기 추출된 움직임 벡터를 조정하고(S540), 변환된 고 해상도 영상에서 일부 탐색영역을 탐색하여 S540 단계에서 조정된 움직임 벡터를 다시 조정한다(S550).

움직임 벡터 추출 장치는 다 해상도 영상 생성부(610), 가중치 계산부(620), 움직임 벡터 추출부(630) 및 움직임 벡터 조정부(640)를 포함한다. 다 해상도 영상 생성부(610)는 현재 영상과 기준 영상을 도 1을 참조하여 전술한 바에 따라 다 해상도 영상으로 변환한다.

가중치 계산부(620)는 수학식 1에 따라 가중치를 계산하여, 다 해상도 영상 생성부(610)에 의해 만들어진 저 해상도의 현재 영상과 기준 영상에 가중치를 부여한다.

움직임 벡터 추출부(630)는 이렇게 가중치 부여된 저 해상도의 현재 영상을 가지고, 가중치 부여된 저 해상도의 기준 영상 전체 영역을 탐색하여 움직임 벡터를 추출한다. 즉, 가중치 부여된 저 해상도의 현재 영상을 가지고, 가중치 부여된 저 해상도의 기준 영상 전체 영역을 탐색하여, 각 화소 단위로 상관도를 계산하여 그 결과에 따라 움직임 벡터를 추출한다.

움직임 벡터 조정부(640)는 움직임 벡터 추출부(630)에 의해 추출된 움직임 벡터를, 상기 변환된 중간 해상도 영상에서 소정의 탐색영역을 탐색하여 조정한 후, 상기 변환된 고 해상도 영상에서 소정의 탐색영역을 탐색하여 상기 조정된 움직임 벡터를 다시 조정한다.

한편, 전술한 움직임 벡터 추출 방법은 컴퓨터 프로그램으로 작성 가능하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 움직임 벡터 추출 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체, 및 캐리어 웨이브 매체를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으 로 해석되어야 할 것이다.

전술한 바와 같이 본 발명에 따르면, 저 해상도에서는 전체 영역을 탐색하여 우선적으로 움직임 벡터를 구한 후, 고 해상도로 단계적으로 제한된 탐색 영역에서 탐색함으로써, 정확한 움직임 벡터의 추출이 가능하다.

Claims

(a) 현재 영상과 기준 영상을 다 해상도 영상들로 변환하는 단계;

(b) 상기 변환된 다 해상도 영상들 중에서 저 해상도의 현재 영상과 기준 영상에 소정의 가중치를 부여하는 단계;

(c) 상기 가중치 부여된 저 해상도의 현재 영상을 가지고 상기 가중치 부여된 저 해상도의 기준 영상 전체 영역을 탐색하여 움직임 벡터를 추출하는 단계;

(d) 상기 변환된 다 해상도 영상들 중에서 중간 해상도 영상내에서 소정의 탐색영역을 탐색하여 상기 추출된 움직임 벡터를 조정하는 단계; 및

(e) 상기 변환된 다 해상도 영상들 중에서 고 해상도 영상내에서 소정의 탐색영역을 탐색하여 상기 조정된 움직임 벡터를 다시 조정하는 단계를 포함하는 것을 특징으로 하는 다 해상도 탐색 방법을 이용한 움직임 벡터 추출 방법.
제1항에 있어서, 상기 (a) 단계는

현재 영상과 기준 영상에서 복수개의 화소를 하나의 화소로 만들어, 중간 해상도 영상 및 저 해상도 영상으로 변환하는 단계인 것을 특징으로 하는 다 해상도 탐색 방법을 이용한 움직임 벡터 추출 방법.
제1항에 있어서, 상기 (b) 단계는

동일한 가중치 블록을 사용하여 상기 현재 영상과 기준 영상의 각 화소에 가 중치를 부여하되, 상기 가중치 블록의 화소값의 합이 1인 것을 특징으로 하는 다 해상도 탐색 방법을 이용한 움직임 벡터 추출 방법.
제1항에 있어서, 상기 (c) 단계는

상기 가중치 부여된 저 해상도의 현재 영상을 가지고 상기 가중치 부여된 저 해상도의 기준 영상 전체 영역을 탐색하여, 각 화소 단위로 상관도를 계산하여 그 결과에 따라 움직임 벡터를 추출하는 것을 특징으로 하는 다 해상도 탐색 방법을 이용한 움직임 벡터 추출 방법.
제1항에 있어서,

상기 (d) 단계 또는 (e) 단계에서의 소정의 탐색 영역은 해상도가 높아지는 배율에 대응하여 정해지는 것을 특징으로 하는 다 해상도 탐색 방법을 이용한 움직임 벡터 추출 방법.
(a) 현재 영상을 중간 해상도 및 저 해상도 영상으로 변환하고, 변환된 저 해상도 영상에서 전체 영역을 탐색하여 움직임 벡터를 추출하는 단계; 및

(b) 상기 중간 해상도 영상에 대해 소정의 탐색 영역을 탐색하여 상기 추출한 움직임 벡터를 조정한 후, 상기 현재 영상에 대해 소정의 탐색 영역을 탐색하여 상기 조정된 움직임 벡터를 다시 조정하는 단계를 포함하는 것을 특징으로 하는 다 해상도 탐색 방법을 이용한 움직임 벡터 추출 방법.
현재 영상과 기준 영상을 다 해상도 영상들로 변환하는 다 해상도 영상 생성부;

상기 변환된 다 해상도 영상들 중에서 저 해상도의 현재 영상과 기준 영상에 소정의 가중치를 부여하는 가중치 계산부;

상기 가중치 부여된 저 해상도의 현재 영상을 가지고 상기 가중치 부여된 저 해상도의 기준 영상 전체 영역을 탐색하여 움직임 벡터를 추출하는 움직임 벡터 추출부; 및

상기 변환된 다 해상도 영상들 중에서 중간 해상도 영상내에서 소정의 탐색영역을 탐색하여 상기 추출된 움직임 벡터를 조정한 후, 상기 변환된 고 해상도 영상내에서 소정의 탐색영역을 탐색하여 상기 조정된 움직임 벡터를 다시 조정하는 움직임 벡터 조정부를 포함하는 것을 특징으로 하는 다 해상도 탐색 방법을 이용한 움직임 벡터 추출 장치.
제7항에 있어서, 상기 가중치 계산부는

동일한 가중치 블록을 사용하여 상기 현재 영상과 기준 영상의 각 화소에 가중치를 부여하되, 상기 가중치 블록의 화소값의 합이 1인 것을 특징으로 하는 다 해상도 탐색 방법을 이용한 움직임 벡터 추출 장치.
제7항에 있어서, 상기 움직임 벡터 추출부는

상기 가중치 부여된 저 해상도의 현재 영상을 가지고 상기 가중치 부여된 저 해상도의 기준 영상 전체 영역을 탐색하여, 각 화소 단위로 상관도를 계산하여 그 결과에 따라 움직임 벡터를 추출하는 것을 특징으로 하는 다 해상도 탐색 방법을 이용한 움직임 벡터 추출 장치.