KR20130011609A

KR20130011609A - 표본 픽셀 기반 움직임 추정장치 및 방법

Info

Publication number: KR20130011609A
Application number: KR1020110072891A
Authority: KR
Inventors: 배태면
Original assignee: 에스케이플래닛 주식회사
Priority date: 2011-07-22
Filing date: 2011-07-22
Publication date: 2013-01-30
Also published as: KR101787004B1

Abstract

본 발명은 표본 픽셀 기반 움직임 추정장치 및 방법에 관한 것으로서, 현재영상 내 객체의 윤곽선에 해당 되는 에지를 검출하여 현재영상의 에지영상을 생성하는 에지영상 생성부; 상기 에지영상을 입력 받아 각 블록별로 에지값이 큰 순서로 M개의 픽셀을 추출하는 영상 분석부; 및 상기 M개의 픽셀에 기초하여 현재영상과 기준영상 간의 블록 정합 오차를 계산하고 차이가 가장 작은 블록의 좌표차를 움직임 벡터로 예측하는 움직임 벡터 추정부를 포함한다.

Description

표본 픽셀 기반 움직임 추정장치 및 방법{Apparatus and method for sampled pixel based motion estimation}

본 발명은 표본 픽셀 기반 움직임 추정장치 및 방법에 관한 것으로서, 보다 상세하게는, 블록 정합을 위한 움직임 벡터 추정 시 현재(current) 영상의 에지(edge)를 검출하고 각 블록별로 에지값이 큰 순으로 M개의 픽셀을 찾아 선택된 픽셀에 대해 기준(reference) 영상과의 정합 오차를 비교하여 움직임 벡터를 예측하도록 함으로써, 움직임 예측을 위한 연산량을 감소시켜 고속 인코딩이 가능하도록 하는 표본 픽셀 기반 움직임 추정장치 및 방법에 관한 것이다.

멀티미디어를 지원해주는 핵심 요소로는 디지털화와 더불어 영상 압축 기술이 있다. 최근 들어 정보의 디지탈화가 급속도로 발전하고 있으며, 이에 따라 영상 압축 기술이 매우 중요하게 부각되고 있다.

일반적으로, PC나 HDTV, 혹은, 모바일 디바이스 등의 디지털 영상장치는 MPEG(Moving Picture Experts Group)-2, MPEG-4, H.264와 같은 영상 압축 방식으로 압축된 영상 신호를 MPEG기반 영상 코덱으로 인코딩하여 표시한다.

이러한 영상 코덱은 블록 정합(Block matching) 방식을 기반으로 시간적인 중복성을 제거한다. 블록 정합 방식은 영상을 작은 블록으로 나누고, 현재 인코딩/디코딩되는 영상의 블록과 유사한 부분을 시간적으로 이전 프레임 또는 이 전에 인코딩/디코딩된 영상에서 찾아서 활용하고 그 차이값을 전송하는 방법으로 압축하게 된다.

이를 위해, 이전 프레임과 현재 프레임 사이에서 가장 비슷한 블록을 찾는 작업이 필요한데, 이를 움직임 추정(Motion Estimation, ME)이라 하며, 블록이 얼마만큼 움직였는가 하는 변위를 나타내는 것을 움직임 벡터(Motion Vector, MV)라고 한다.

블록 정합 방식을 이용한 중간 영상 프레임 Fi 합성 개념은 도 1과 같다.

도 1에 도시된 바와 같이, 이전 프레임 Fn-1과 현재 프레임 Fn 사이의 중간 영상 프레임 Fi를 합성하기 위해, 이전 프레임 Fn-1에 있는 블록과 현재 프레임에 있는 블록 Fn 간의 움직임 벡터(MV)의 움직임을 추정하여 중간 영상 프레임 Fi의 블록을 합성한다.

영상 신호 압축을 위한 움직임 추정(motion estimation) 시에는, 현재영상을 매크로블록으로 분할하고, 시간적으로 이전 영상과 SAD(Sum of Absolute Difference)또는 SSD(Sum of Square Difference)와 같은 오차값이 최소가 되는 영역과의 좌표 차를 움직임 벡터로 사용한다.

H.264의 경우, SAD 또는 SSD와 함께 움직임 벡터를 전송하는 데 요구되는 데이터량을 함께 고려한 값을 cost로 하여 cost가 가장 낮은 값을 보이는 움직임 벡터를 움직임 예측에 사용한다.

여기서, 움직임 벡터를 찾기 위해서는 SAD 또는 SSD를 움직임 탐색 영역의 모든 픽셀에 대해 모두 계산하고, 그 중 최소값을 가지는 위치를 찾아야 한다. 예컨대, 블록의 크기가 N x N 픽셀이고 움직임 탐색 영역이 32x32라면 1024*(2NxN-1)번의 덧셈/뺄셈 연산이 필요하며, 영상의 크기가 100Nx80N정도라면 8192000*(2NxN-1)*(NxN)의 연산이 필요하다. 이는 영상 인코딩 시 최대 50%까지의 연산을 차지할 정도로 많은 연산량으로, 시스템 부하를 유발하고 처리 속도를 지연시키는 문제점이 있다.

한국공개특허 제2004-0049214호(2004.06.11), 발명의 명칭: 고속 모션벡터 추정장치 및 방법

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 블록 정합을 위한 움직임 벡터 추정 시 현재(current) 영상의 에지(edge)를 검출하고 각 블록별로 에지값이 큰 순으로 M개의 픽셀을 찾아 선택된 픽셀에 대해 기준(reference) 영상과의 정합 오차를 비교하여 움직임 벡터를 예측하도록 함으로써, 움직임 예측을 위한 연산량을 감소시켜 고속 인코딩이 가능하도록 하는 표본 픽셀 기반 움직임 추정장치 및 방법을 제공하는데 그 기술적 과제가 있다.

상술한 목적을 달성하기 위한 본 발명의 표본 픽셀 기반 움직임 추정장치는, 현재영상 내 객체의 윤곽선에 해당 되는 에지를 검출하여 현재영상의 에지영상을 생성하는 에지영상 생성부; 상기 에지영상을 입력 받아 각 블록별로 에지값이 큰 순서로 M개의 픽셀을 추출하는 영상 분석부; 및 상기 M개의 픽셀에 기초하여 현재영상과 기준영상 간의 블록 정합 오차를 계산하고, 차이가 가장 작은 블록의 좌표차를 움직임 벡터로 예측하는 움직임 벡터 추정부를 포함한다.

여기서, 상기 영상 분석부는, 상기 에지영상을 특정값(T)과 비교하여 임계처리 함으로써, 0 과 1로 기록되는 특징정보영상을 생성하고, 상기 특징정보영상의 N x N크기의 각 블록별로 에지값이 큰 순으로 M개의 픽셀을 찾아 좌표를 저장할 수 있다.

그리고, 상기 움직임 벡터 추정부는, 상기 픽셀 좌표를 이용하여 움직임 예측정보 산출할 수 있다.

또한, 상기 움직임 벡터 추정부는, 상기 현재영상과 기준영상 간의 차이를 다음의 수학식을 이용하여 SAD 및 SSD 중 적어도 어느 하나의 값으로 산출할 수 있다.

[수학식]

SAD = {∑|Iref(Q(i).x+X, Q(i).y +Y) - Icur(Q(i).x, Q(i).y)| }xα

SSD = {∑|Iref(Q(i).x+X, Q(i).y +Y) - Icur(Q(i).x, Q(i).y)|² }xα

여기서 Iref(x,y), Icur(x,y)는 각각 기준(reference) 영상과 현재(current) 영상의 (x,y)좌표에서의 휘도(intensity) 값을 나타내고, (X,Y)는 후보 움직임 벡터를 나타낸다. α는 스케일 상수로써 N²/M (N, M은 자연수)이다.

한편, 상술한 목적을 달성하기 위한 본 발명의 표본 픽셀 기반 움직임 추정방법은, 현재영상을 입력 받아 현재영상 내 객체의 윤곽선에 해당되는 에지를 검출하여 현재영상의 에지영상을 생성하는 단계; 상기 에지영상을 입력 받아 각 블록별로 에지값이 큰 순서로 M개의 픽셀을 추출하는 단계; 상기 M개의 픽셀에 기초하여 현재영상과 기준영상 간의 블록 정합 오차를 계산하는 단계; 및 상기 블록 정합 오차가 최소인 블록들의 좌표차를 움직임 벡터로 예측하는 단계를 포함한다.

여기서, 상기 에지영상을 입력 받아 각 블록별로 에지값이 큰 순서로 M개의 픽셀을 추출하는 단계는, 상기 에지영상을 특정값(T)과 비교하여 임계처리 함으로써, 0 과 1로 기록되는 특징정보영상을 생성하는 단계; 및 상기 특징정보영상의 N x N크기의 각 블록별로 에지값이 큰 순으로 M개의 픽셀을 찾아 좌표를 저장하는 단계를 포함할 수 있다.

그리고, 상기 M개의 픽셀에 기초하여 현재영상과 기준영상 간의 블록 정합 오차를 계산하는 단계는, 상기 현재영상과 기준영상 간의 차이를 다음의 수학식을 이용하여 SAD 및 SSD 중 적어도 어느 하나의 값으로 산출하는 단계를 포함할 수 있다.

[수학식]

SAD = {∑|Iref(Q(i).x+X, Q(i).y +Y) - Icur(Q(i).x, Q(i).y)| }xα

SSD = {∑|Iref(Q(i).x+X, Q(i).y +Y) - Icur(Q(i).x, Q(i).y)|² }xα

상술한 바와 같이 본 발명의 표본 픽셀 기반 움직임 추정장치 및 방법은, 블록 정합을 위한 움직임 벡터 추정 시 현재(current) 영상의 에지(edge)를 검출하고 각 블록별로 에지값이 큰 순으로 M개의 픽셀을 찾아 선택된 픽셀에 대해 기준(reference) 영상과의 정합 오차를 비교하여 움직임 벡터를 예측하도록 함으로써, 움직임 예측을 위한 연산량을 감소시켜 고속 인코딩이 가능하도록 한다.

도 1은 블록 정합 방식을 이용한 움직임 벡터 예측 상태도,
도 2는 본 발명에 따른 표본 픽셀 기반 움직임 추정장치의 제어 블록도,
도 3은 본 발명에 따른 표본 픽셀 기반 움직임 추정방법의 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다.

도 2는 본 발명에 따른 표본 픽셀 기반 움직임 추정장치의 제어 블록도이다. 움직임 벡터 추정을 위해서는 현재영상과 기준영상이 필요하다. 여기서, 기준영상은 현재영상보다 시간적으로 이전의 영상, 혹은, 인코딩/디코딩 순서에서 이 전에 처리된 영상을 뜻한다.

도 2에 도시된 바와 같이, 본 발명의 움직임 추정장치는, 에지영상 생성부(110), 영상 분석부(120), 움직임 벡터 추정부(130), 움직임 벡터 저장부(140)를 포함한다.

에지영상 생성부(110)는 입력되는 영상의 에지를 검출(edge detection)하여 에지영상을 생성한다. 영상의 에지는 영상 밝기의 불연속점으로 영상의 밝기가 낮은 값에서 높은 값으로, 또는, 이와 반대로 변화하는 부분을 뜻한다. 즉, 에지는 영상 내 객체의 윤곽선에 해당 되므로 에지를 검출하면 표시된 객체의 윤곽선의 픽셀 좌표를 추출할 수 있다.

에지영상을 생성하는 방법으로는 밝기의 변화율 즉, 기울기를 검출하여 기울기가 소정 기준값 이상일 경우 에지로 취하는 등의 다양한 기술이 사용되고 있다. 이에, 에지영상 생성부(110)는 종래에 소개된 에지 검출 방법을 이용하여 에지영상을 생성할 수 있다.

영상 분석부(120)는 에지영상을 입력 받아 N x N크기의 각 블록별로 에지값이 큰 순으로 M개의 픽셀을 찾아 좌표를 저장한다.

영상 분석부(120)는 먼저 에지영상을 특정값 T로 임계처리(thresholding)하여 에지값이 T보다 크면 1로 기록하고 작으면 0으로 기록하여 특징정보영상을 생성한다. 에지값은 영상 밝기의 변화율이므로 임계처리가 완료된 특징정보영상에는 객체의 윤곽선일 가능성이 높은 픽셀만이 1로 기록된다.

영상 분석부(120)는 특징정보영상에 블록을 설정하고 각 블록의 에지값을 확인한다. 영상 분석부(120)는 에지값이 큰 순서로 블록을 정렬하여 크기가 큰 순서로 M개의 픽셀을 추출한다. 추출된 픽셀의 좌표는 (Q(i).x, Q(i).y)로 표시할 수 있다. (Q(i).x, Q(i).y)는 블록 내에서 i번째로 에지값이 큰 픽셀의 좌표를 나타낸다.

움직임 벡터 추정부(130)는 영상 분석부(120)가 제공하는 픽셀 좌표 (Q(i).x, Q(i).y)를 이용하여 움직임 예측정보, 예컨대, SAD(Sum of Absolute Difference) 또는 SSD(Sum of Square Difference)를 산출한다. SAD와 SSD는 다음의 수학식 1 및 수학식 2를 통해 산출될 수 있다.

[수학식 1]

SAD = {∑|Iref(Q(i).x+X, Q(i).y +Y) - Icur(Q(i).x, Q(i).y)| }xα

[수학식 2]

SSD = {∑|Iref(Q(i).x+X, Q(i).y +Y) - Icur(Q(i).x, Q(i).y)|² }xα

여기서 Iref(x,y), Icur(x,y)는 각각 기준(reference) 영상과 현재(current) 영상의 (x,y)좌표에서의 휘도(intensity) 값을 나타내고, (X,Y)는 후보 움직임 벡터를 나타낸다. α는 스케일 상수로써 N²/M (N, M은 자연수)이다

에지값이 큰 픽셀의 좌표 (Q(i).x, Q(i).y)를 이용하여 SAD 혹은 SSD가 산출되면, 움직임 벡터 추정부(130)는 Lagrange cost 기반의 [수학식 3]에 따라 해당 매크로블록 의 각 후보움직임벡터에 대응하는 Cost를 계산한다. 그리고, 움직임 벡터 추정부(130)는 해당 블록의 각 후보 움직임벡터에 대응하는 Cost 중 최소의 cost값에 해당하는 후보움직임벡터(MV)를 해당 블록의 최종 움직임벡터(MV)로 추정한다.

[수학식 3]

움직임 벡터 저장부(140)에는 추정된 움직임 벡터들이 저장된다.

이상 설명한 바와 같이, 본 발명은 현재영상의 각 블록에 대해 에지값이 큰 픽셀의 좌표 (Q(i).x, Q(i).y)를 찾으면 모든 후보 움직임 벡터에 대해 동일하게 사용할 수 있으므로 NxN 크기의 블록비교 시 (2NxN-1)번의 연산이 4N으로 감소하여 연산시간을 감소시킬 수 있다.

예컨대, N이 8인 경우 종래기술에 따르면 127번의 연산이 필요하지만, 본 발명의 경우 32번으로 감소하므로 제안한 방법은 약 4배의 속도 향상을 가져온다.

도 3은 본 발명에 따른 표본 픽셀 기반 움직임 추정방법의 흐름도이다.

먼저, 에지영상 생성부(110)에서는 현재영상에 대해 에지영상을 생성한다(S110). 영상의 에지는 영상 밝기의 불연속점으로 영상의 밝기가 낮은 값에서 높은 값으로, 또는, 이와 반대로 변화하는 부분을 뜻한다. 즉, 에지는 영상 내 객체의 윤곽선에 해당 되므로 에지를 검출하면 표시된 객체의 윤곽선의 픽셀 좌표를 추출할 수 있다.

영상 분석부(120)는 에지영상 값을 특정값(T)과 비교하여 임계처리 함으로써, 0 과 1로 기록되는 특징정보영상을 생성한다(S112). 에지값은 영상 밝기의 변화율이므로 임계처리가 완료된 특징정보영상에는 객체의 윤곽선일 가능성이 높은 픽셀만이 1로 기록된다.

영상 분석부(120)는 특징정보영상에 설정된 N x N크기의 각 블록에 대해 에지값을 산출하여 에지 값이 큰 순서로 정렬한다(S114).

영상 분석부(120)는 각 블록 별로 에지값이 큰 순서로 M개의 픽셀을 찾아 좌표를 저장한다(S116). 블록 내에서 i번째로 에지값이 큰 픽셀의 좌표는 (Q(i).x, Q(i).y)로 나타낼 수 있다.

움직임 벡터 추정부(130)는 픽셀 좌표 (Q(i).x, Q(i).y)를 이용하여 움직임 예측정보, 예컨대, SAD(Sum of Absolute Difference) 또는 SSD(Sum of Square Difference)를 산출한다(S118). 움직임 벡터 추정부(130)는 오차값을 계산하는 데에는 수학식 1을 이용하여 SAD를 산출하거나, 수학식 2를 이용하여 SSD를 산출할 수 있다.

움직임 벡터 추정부(130)는 해당 블록의 각 후보 움직임벡터에 대응하는 cost 중 최소의 cost값에 해당하는 후보움직임벡터(MV)를 해당 블록의 최종 움직임벡터(MV)로 추정한다(S120).

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명은 블록 정합을 위한 움직임 벡터 추정 시 현재(current) 영상의 에지(edge)를 검출하고 각 블록별로 에지값이 큰 순으로 M개의 픽셀을 찾아 선택된 픽셀에 대해 기준(reference) 영상과의 정합 오차를 비교하여 움직임 벡터를 예측하도록 함으로써, 움직임 예측을 위한 연산량을 감소시켜 고속 인코딩이 가능하도록 하는 표본 픽셀 기반 움직임 추정장치 및 방법에 이용할 수 있다.

110 : 에지영상 생성부
120 : 영상 분석부
130 : 움직임 벡터 추정부
140 : 움직임 벡터 저장부

Claims

현재영상 내 객체의 윤곽선에 해당 되는 에지를 검출하여 현재영상의 에지영상을 생성하는 에지영상 생성부;
상기 에지영상을 입력 받아 각 블록별로 에지값이 큰 순서로 M개의 픽셀을 추출하는 영상 분석부; 및
상기 M개의 픽셀에 기초하여 현재영상과 기준영상 간의 블록 정합 오차를 계산하고, 차이가 가장 작은 블록의 좌표차를 움직임 벡터로 예측하는 움직임 벡터 추정부를 포함하는 표본 픽셀 기반 움직임 추정장치.
제1항에 있어서,
상기 영상 분석부는,
상기 에지영상을 특정값(T)과 비교하여 임계처리 함으로써, 0 과 1로 기록되는 특징정보영상을 생성하고, 상기 특징정보영상의 N x N크기의 각 블록별로 에지값이 큰 순으로 M개의 픽셀을 찾아 좌표를 저장하는 것을 특징으로 하는 표본 픽셀 기반 움직임 추정장치.
제2항에 있어서,
상기 움직임 벡터 추정부는,
상기 픽셀 좌표를 이용하여 움직임 예측정보 산출하는 것을 특징으로 하는 표본 픽셀 기반 움직임 추정장치.
제2항에 있어서,
상기 움직임 벡터 추정부는,
상기 현재영상과 기준영상 간의 차이를 다음의 수학식을 이용하여 SAD 및 SSD 중 적어도 어느 하나의 값으로 산출하는 것을 특징으로 하는 표본 픽셀 기반 움직임 추정장치.
[수학식]
SAD = {∑|Iref(Q(i).x+X, Q(i).y +Y) - Icur(Q(i).x, Q(i).y)| }xα
SSD = {∑|Iref(Q(i).x+X, Q(i).y +Y) - Icur(Q(i).x, Q(i).y)|² }xα
여기서 Iref(x,y), Icur(x,y)는 각각 기준(reference) 영상과 현재(current) 영상의 (x,y)좌표에서의 휘도(intensity) 값을 나타내고, (X,Y)는 후보 움직임 벡터를 나타낸다. α는 스케일 상수로써 N²/M (N, M은 자연수)이다.
현재영상을 입력 받아 현재영상 내 객체의 윤곽선에 해당되는 에지를 검출하여 현재영상의 에지영상을 생성하는 단계;
상기 에지영상을 입력 받아 각 블록별로 에지값이 큰 순서로 M개의 픽셀을 추출하는 단계;
상기 M개의 픽셀에 기초하여 현재영상과 기준영상 간의 블록 정합 오차를 계산하는 단계; 및
상기 블록 정합 오차가 최소인 블록들의 좌표차를 움직임 벡터로 예측하는 단계를 포함하는 표본 픽셀 기반 움직임 추정방법.
제5항에 있어서,
상기 에지영상을 입력 받아 각 블록별로 에지값이 큰 순서로 M개의 픽셀을 추출하는 단계는,
상기 에지영상을 특정값(T)과 비교하여 임계처리 함으로써, 0 과 1로 기록되는 특징정보영상을 생성하는 단계; 및
상기 특징정보영상의 N x N크기의 각 블록별로 에지값이 큰 순으로 M개의 픽셀을 찾아 좌표를 저장하는 단계를 포함하는 것을 특징으로 하는 표본 픽셀 기반 움직임 추정방법.
제5항에 있어서,
상기 M개의 픽셀에 기초하여 현재영상과 기준영상 간의 블록 정합 오차를 계산하는 단계는,
상기 현재영상과 기준영상 간의 차이를 다음의 수학식을 이용하여 SAD 및 SSD 중 적어도 어느 하나의 값으로 산출하는 단계를 포함하는 것을 특징으로 하는 표본 픽셀 기반 움직임 추정방법.
[수학식]
SAD = {∑|Iref(Q(i).x+X, Q(i).y +Y) - Icur(Q(i).x, Q(i).y)| }xα
SSD = {∑|Iref(Q(i).x+X, Q(i).y +Y) - Icur(Q(i).x, Q(i).y)|² }xα
여기서 Iref(x,y), Icur(x,y)는 각각 기준(reference) 영상과 현재(current) 영상의 (x,y)좌표에서의 휘도(intensity) 값을 나타내고, (X,Y)는 후보 움직임 벡터를 나타낸다. α는 스케일 상수로써 N²/M (N, M은 자연수)이다.