KR20100107594A

KR20100107594A - 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법

Info

Publication number: KR20100107594A
Application number: KR1020090025732A
Authority: KR
Inventors: 고성제; 변근영; 김진형
Original assignee: 고려대학교 산학협력단; 중앙대학교 산학협력단
Priority date: 2009-03-26
Filing date: 2009-03-26
Publication date: 2010-10-06
Also published as: KR100985805B1

Abstract

적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법이 개시된다. 특징점 추적부는 입력받은 원본영상을 구성하는 복수의 영상프레임 중 참조 영상프레임으로부터 특징점을 추출하고, 참조 영상프레임에 시간적으로 연속하는 영상프레임 중 현재 영상프레임 상에서 특징점에 대응하는 대응점을 탐색한다. 움직임 추정부는 참조 영상프레임 상에서 특징점의 좌표 및 현재 영상프레임 상에서 특징점에 대응하는 대응점의 좌표를 기초로 현재 영상프레임에 대한 전역 움직임을 측정하고, 사전에 설정된 측정시간 동안 입력되는 영상프레임에 대해 시간적으로 인접한 영상프레임 사이의 움직임의 부호가 변화하는 빈도수에 따라 이득이 결정되는 칼만필터에 의해 전역 움직임으로부터 떨림에 의한 잡음 성분이 제거된 의도적 움직임을 추정한다. 움직임 보상부는 전역 움직임 및 의도적 움직임의 차에 의해 잡음 성분을 나타내는 비의도적 움직임을 산출하고, 현재 영상프레임에 대해 비의도적 움직임을 보상하여 결과 영상프레임을 생성한다. 본 발명에 따르면, 참조 영상프레임으로부터 추출된 특징점을 이용하여 적응적인 칼만필터에 의해 영상의 움직임을 정확하게 추정할 수 있다.

영상 안정화, 칼만필터, 특징점, 움직임 보상

Description

적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법{Apparatus and method for image stabilization using adaptive Kalman filter}

본 발명은 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법에 관한 것으로, 보다 상세하게는, 영상 촬영시 발생하는 떨림을 보상하여 잡음이 없는 영상을 생성하는 장치 및 방법에 관한 것이다.

최근 멀티미디어 기기의 사용이 증가함에 따라 다양한 환경에서 촬영된 디지털 영상에 대한 화질개선(image enhancement) 기술에 대한 수요도 증가하고 있다. 화질개선 기술에는 영상의 번짐 제거, 잡음 제거 및 영상 안정화 기술 등이 있으며, 가정용 카메라나 캠코더, 산업용 감시 카메라, 방송용 카메라 및 군사용 영상 촬영 장치에 이르기까지 광범위하게 적용된다. 초기 디지털 카메라 및 캠코더는 기존의 아날로그 영상을 디지털화하여 영상을 만들어 내는 데 그쳤다. 그러나 최근 사용되는 디지털 카메라 및 캠코더는 각종 선처리 및 후처리 보정 기술이 적용되어 기존의 아날로그 영상보다 더욱 깨끗하고 선명한 화질의 디지털 영상을 얻을 수 있게 되었다.

디지털 영상 보정 기술 중에서 가장 보편적으로 사용되는 기술이 영상 안정 화(image stabilization) 기술이다. 사용자가 카메라를 들고 촬영할 경우 또는 이동중 촬영할 경우에 흔들림이 발생하게 되며, 자동차, 비행기 또는 헬기와 같은 이동수단에 설치된 카메라의 경우에는 기계적 진동이나 지면과의 마찰 등 여러 환경적 요인에 의해 원치 않는 흔들림이 생기게 된다. 또한 줌 렌즈(zoom lense)의 배율이 올라가면서 약간의 움직임에도 화면 흔들림이 심해지는 문제가 있다. 영상 안정화 기술은 이와 같이 촬영시 카메라가 흔들릴 때 깨끗하고 선명한 영상을 얻을 수 있는 기술로서, 촬영된 영상에서 발생하는 원치 않은 흔들림을 제거하기 위해 적용된다.

영상 안정화에는 자이로 센서(gyro sensor) 또는 유동 프리즘을 이용한 기계적 방식이 널리 사용되어 왔다. 기계적 방식은 자이로 센서가 카메라 움직임의 각속도를 감지하여 카메라 렌즈를 각속도가 생성되는 반대 방향으로 움직임으로써 영상의 흔들림을 보상하거나, 유동 프리즘에 의해 입사되는 빛의 각도를 조절하여 카메라의 떨림을 보상함으로써 영상의 흔들림을 제거하는 방식이다. 한편, 최근에는 입력된 영상신호에서 프레임 간의 움직임 추정을 통하여 원치 않는 흔들림을 검출하고, 프레임 메모리 또는 CCD로부터 움직임이 보상된 영상 데이터를 읽음으로써 흔들림을 보정하는 디지털 영상 안정화 기술이 사용되고 있다. 이러한 디지털 영상 안정화 기술은 기계적 방식에 비해 저렴하고 정확도가 높을 뿐 아니라 기계적 안정화에 의해 보상되지 못하는 다양한 움직임 성분을 보상할 수 있으므로 활발히 연구되고 있다.

디지털 영상 안정화 기법은 크게 전역 움직임 추정 단계 및 움직임 보상 단 계의 두 가지 단계로 이루어져 있다. 전역 움직임 추정 단계에서 효과적이고 빠르게 전역 움직임을 찾기 위한 대표적인 기술로서 비디오 코덱에 많이 적용되는 블록 정합 기법(block matching algorithm : BMA)을 기반으로 한 기법들이 있다. 그중 대표적인 방법으로는 BERP(band extraction representative point matchint) 및 비트 플레인 정합(bit-plane matching : BPM) 등이 있다. 이러한 기법들은 움직임 추정속도가 빠르고 실시간 임베디드 시스템에 적용하기 용이한 반면, 평행 떨림 성분 이외의 회전, 확대 및 축소 등의 움직임 성분들을 감지할 수 없다는 단점이 있다. 이러한 단점을 극복하기 위해 다양한 움직임 성분을 감지할 수 있는 전역 움직임 추정 기법, 특징정 기반 정합(feature-based matching : FBM)을 이용한 기법 등이 연구되었다. 이러한 기법들은 BMA 기반의 기법에 의해 감지하지 못하는 움직임, 회전, 확대 및 축소 움직임을 감지할 수 있는 반면 계산 속도가 느리고 알고리즘이 복잡하여 실시간 처리가 어렵다는 단점이 있다.

본 발명이 이루고자 하는 기술적 과제는, 참조 영상프레임으로부터 추출된 특징점을 기초로 영상의 잡음 성분에 따라 이득이 결정되는 칼만필터를 이용하여 현재 영상프레임에 존재하는 움직임의 회전 및 병진 성분을 모두 보상할 수 있는 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법을 제공하는 데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는, 참조 영상프레임으로부터 추출된 특징점을 기초로 영상의 잡음 성분에 따라 이득이 결정되는 칼만필터를 이용하여 현재 영상프레임에 존재하는 움직임의 회전 및 병진 성분을 모두 보상할 수 있는 적응적인 칼만필터를 이용한 영상 안정화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 적응적인 칼만필터를 이용한 영상 안정화 장치는, 입력받은 원본영상을 구성하는 복수의 영상프레임 중 참조 영상프레임으로부터 특징점을 추출하고, 상기 참조 영상프레임에 시간적으로 연속하는 영상프레임 중 현재 영상프레임 상에서 상기 특징점에 대응하는 대응점을 탐색하는 특징점 추적부; 상기 참조 영상프레임 상에서 상기 특징점의 좌표 및 상기 현재 영상프레임 상에서 상기 특징점에 대응하는 대응점의 좌표를 기초로 상기 현재 영상프레임에 대한 전역 움직임을 측정하고, 사전에 설정된 측정시간 동안 입력되는 상기 영상프레임에 대해 시간적으로 인접한 영상프레임 사이의 움직임의 부 호가 변화하는 빈도수에 따라 이득이 결정되는 칼만필터에 의해 상기 전역 움직임으로부터 떨림에 의한 잡음 성분이 제거된 의도적 움직임을 추정하는 움직임 추정부; 및 상기 전역 움직임 및 상기 의도적 움직임의 차에 의해 상기 잡음 성분을 나타내는 비의도적 움직임을 산출하고, 상기 현재 영상프레임에 대해 상기 비의도적 움직임을 보상하여 결과 영상프레임을 생성하는 움직임 보상부;를 구비한다.

상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 적응적인 칼만필터를 이용한 영상 안정화 방법은, 입력받은 원본영상을 구성하는 복수의 영상프레임 중 참조 영상프레임으로부터 특징점을 추출하고, 상기 참조 영상프레임에 시간적으로 연속하는 영상프레임 중 현재 영상프레임 상에서 상기 특징점에 대응하는 대응점을 탐색하는 특징점 추적단계; 상기 참조 영상프레임 상에서 상기 특징점의 좌표 및 상기 현재 영상프레임 상에서 상기 특징점에 대응하는 대응점의 좌표를 기초로 상기 현재 영상프레임에 대한 전역 움직임을 측정하고, 사전에 설정된 측정시간 동안 입력되는 상기 영상프레임에 대해 시간적으로 인접한 영상프레임 사이의 움직임의 부호가 변화하는 빈도수에 따라 이득이 결정되는 칼만필터에 의해 상기 전역 움직임으로부터 떨림에 의한 잡음 성분이 제거된 의도적 움직임을 추정하는 움직임 추정단계; 및 상기 전역 움직임 및 상기 의도적 움직임의 차에 의해 상기 잡음 성분을 나타내는 비의도적 움직임을 산출하고, 상기 현재 영상프레임에 대해 상기 비의도적 움직임을 보상하여 결과 영상프레임을 생성하는 움직임 보상단계;를 갖는다.

본 발명에 따른 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법에 의하면, 참조 영상프레임으로부터 추출된 특징점 및 그에 대응하는 대응점을 이용하여 영상의 움직임을 추정함으로써, 영상에 나타난 움직임의 평행 방향으로의 병진 성분 뿐만 아니라 회전 성분도 보상할 수 있다. 또한 전역 움직임으로부터 의도적 움직임을 추정할 때 영상프레임에 대한 단위 움직임의 부호가 변화하는 빈도수에 따라 서로 다르게 결정된 이득을 가지는 칼만필터를 사용함으로써, 영상 안정화를 위한 의도적 움직임을 보다 정확하게 추정할 수 있다. 나아가 대응점을 탐색할 때 칼만필터를 이용하여 탐색개시지점을 결정함으로써, 특징점 추적 과정의 속도를 높일 수 있다.

이하에서 첨부된 도면을 참조하여 본 발명에 따른 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.

도 1은 본 발명에 따른 적응적인 칼만필터를 이용한 영상 안정화 장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.

도 1을 참조하면, 본 발명에 따른 영상 안정화 장치는, 특징점 추적부(110), 움직임 추정부(120) 및 움직임 보상부(130)를 구비한다.

특징점 추적부(110)는 입력받은 원본영상을 구성하는 복수의 영상프레임 중 참조 영상프레임으로부터 특징점을 추출하고, 참조 영상프레임에 시간적으로 연속하는 영상프레임 중 현재 영상프레임 상에서 특징점에 대응하는 대응점을 탐색한다.

영상의 특징점을 이용하여 시간적으로 연속하는 복수의 영상프레임에 대한 디지털 영상 안정화를 수행하기 위해서는 먼저 각 영상프레임에서 움직임 추정의 기준이 되는 지점을 설정하여야 한다. 예를 들면, 복수의 영상프레임 중에서 제1영상프레임으로부터 세 개의 특징점 a, b 및 c를 추출하면, 제1영상프레임에 시간적으로 연속하는 제2영상프레임 상에서 a, b 및 c에 대응하는 지점으로 a', b' 및 c'를 결정할 수 있다. 그러면 a, b 및 c의 좌표와 a', b' 및 c'의 좌표를 기초로 제1영상프레임과 제2영상프레임 사이의 움직임, 즉 평행이동 및 회전 정도를 추정할 수 있다. 또한 제1영상프레임을 참조 영상프레임으로 하여 제1영상프레임에 시간적으로 연속하는 복수의 영상프레임 상에서 제1영상프레임으로부터 추출된 특징점의 움직임을 추적할 수 있다.

특징점 추적부(110)는 참조 영상프레임으로부터 특징점을 추출할 때 KLT(Kande-Lucas-Tomasi) 특징점 추적방법을 사용할 수 있다. KLT 특징점 추적방법에서는 영상프레임의 특정 지점의 명암값의 변화폭이 사전에 설정된 임계값 이상이면 특징점으로 선택된다. 즉, KLT 특징점 추적방법을 사용하는 특징점 추적부(110)는 원본영상의 참조 영상프레임으로부터 좋은 특징을 갖는 특징점을 추출하기 위해 다음의 수학식 1과 같이 역변환이 가능한 2×2 크기의 계수 행렬을 정의한다.

여기서, G는 참조 영상프레임으로부터 특징점을 추출하기 위한 계수 행렬, (x,y)는 영상프레임을 구성하는 화소의 좌표, (p_x,p_y)는 특징점을 찾기 위한 탐색영역을 나타내는 좌표, w_x및 w_y는 각각 탐색영역의 가로방향 및 세로방향의 크기, 그리고 I_x(x,y) 및 I_y(x,y)는 (x,y) 위치의 화소의 화소값을 가로 방향 및 세로 방향으로 미분한 값이다.

임의의 특징점에 대한 계수 행렬의 최소 고유치(eigen value)가 사전에 설정된 임계값보다 크면 해당 특징점은 좋은 특징점으로 간주되며, 특징점 추적부(110)에 의해 최종적으로 선택된다. 또한 좋은 특징점을 결정하기 위한 임계값은 다음 수학식 2와 같이 결정된다.

여기서,

는 특징점을 결정하기 위한 임계값,

는 탐색영역 내 모든 좌표에 대한 계수 행렬의 최대 고유치, 그리고 r은 비례상수로서 보통 0.8로 설정된다.

이때 참조 영상프레임에 시간적으로 연속하는 영상프레임 상에서의 특징점 추적의 견고성(robustness)을 높이고 특징점의 개수를 줄이기 위해 특징점 사이의 최소 페어와이즈 거리(minimum pairwise distance)인 d가 강제될 수 있다. d가 커질수록 견고성이 높아지고, 특징점의 개수가 감소된다. d는 특징점의 바람직한 초기 개수에 의해 결정될 수 있으며, 특징점의 개수는 영상프레임의 크기와 특정의 용도에 따라 달라진다.

이와 같이 참조 영상프레임으로부터 특징점을 추출하고, 선택적으로 최단 거리에 대한 강제가 추가됨으로써 참조 영상프레임으로부터 N₀개의 특징점들을 얻을 수 있으며, 이러한 특징점들은 이어지는 영상프레임 상에서 특징점의 움직임 추적에 사용된다.

다음으로 특징점 추적부(110)는 참조 영상프레임에 시간적으로 연속하는 영상프레임 상에서 특징점의 움직임을 추적한다. 이는 참조 영상프레임으로부터 추출된 특징점에 대응하는 대응점을 탐색함으로써 수행된다. 일반적으로 원본영상을 구성하는 영상프레임들 중에서 시간적으로 가장 앞서는 첫 번째 영상프레임이 참조 영상프레임으로 결정된다. 따라서 특징점 추적부(110)는 첫 번째 영상프레임으로부터 추출된 특징점의 움직임을 현재 영상프레임까지의 복수의 영상프레임에 걸쳐 추적하게 된다.

시간 t-1과 t에서의 두 개의 인접한 영상프레임인 I_t-1 및 I_t에 대해 참조 영상프레임의 특징점에 대응하는 대응점들이 탐색된다.

가 영상프레임 I_t-1으로부터 추출된 특징점 중 하나라고 하면, 영상프레임 I_t에서 그에 대응하는 대응점

는 먼저

로 초기화된다. 다음으로, 탐색영역 내에서 초기화된 대응점으로부터 특징점에 대응하는 정확한 대응점을 찾기 위한 탐색 과정이 수행된다. 이때 특징점의 추적에 KLT 추적기를 사용하게 되면 영상프레임 상의 탐 색영역 전체에 대한 전영역 탐색을 통해 참조 영상프레임으로부터 추출된 특징점에 대응하는 대응점을 탐색한다. 이러한 과정에는 많은 시간이 소요되므로 특징점을 기반으로 하는 영상 안정화 알고리즘의 속도가 느려지게 하는 원인이 된다. 따라서 특징점 추적부(110)는 특징점의 움직임 추적을 빠르게 하기 위해 칼만필터를 적용할 수 있다.

칼만필터를 적용하여 특징점을 추적할 경우, 칼만필터에서 사용되는 특정 상태 방정식(specific state equation)과 측정값 방정식(measurement equation)에 의해 시간 t에서의 카메라 상태인

가 예측되고, 현재 카메라의 움직임인

가 얻어진다. 이에 의해 예측된 좌표

가 초기화된 대응점

대신 탐색영역에서 대응점을 탐색하기 위한 탐색개시지점으로 설정된다. 이렇게 하면 탐색영역 전체를 탐색하지 않고 대응점을 빠르게 찾을 수 있어 특징점 추적의 속도가 높아지게 된다. 칼만필터의 특정 상태 방정식 및 측정값 방정식, 그리고 현재 카메라의 움직임을 추정하는 과정에 대하여는 이후 상세하게 설명한다.

카메라는 시간에 따라 움직이므로 현재 영상프레임에서 참조 영상프레임으로부터 추출된 모든 특징점에 대응하는 대응점이 탐색되지 않는 경우가 발생할 수 있다. 즉, 시간의 흐름에 따라 여러 영상프레임을 거치면서 추적되는 특징점의 개수가 점점 감소할 수 있다. 현재 영상프레임 상에서 대응점을 탐색한 후에 N_t 쌍의 특징점이 얻어진다고 가정한다. N_t 값이 사전에 설정된 기준값인 N_thresh보다 크다면 현재 영상프레임의 장면이 참조 영상프레임의 장면과 비슷하다고 판단될 수 있다. 따 라서 특징점 추적부(110)는 현재 영상프레임에서 장면 전환(scene change)이 발생하지 않은 것으로 판단하고, 다음 영상프레임에서 특징점 추적을 계속 진행한다.

한편, N_t 값이 기준값인 N_thresh보다 작아지면 참조 영상프레임과 현재 영상프레임이 크게 달라진 것으로 볼 수 있기 때문에 동일한 참조 영상프레임을 기초로 이후의 영상프레임으로부터 적절하게 특징점 추적을 수행하기 어렵다. 따라서 장면 전환이 검출되는 경우에는 특징점 추적을 위한 새로운 참조 영상프레임이 결정되어야 하며, 이러한 경우에 현재 영상프레임이 새로운 참조 영상프레임으로 설정될 수 있다. 즉, 특징점 추적부(110)는 참조 영상프레임으로부터 추출된 특징점에 대응하여 현재 영상프레임 상에서 탐색된 대응점의 개수가 기준값보다 작으면 현재 영상프레임을 새로운 참조 영상프레임으로 설정하고, 참조 영상프레임으로 설정된 현재 영상프레임으로부터 특징점을 추출한다.

그러나, 원본영상이 반복된 패턴 및 특징의 결여 등과 같은 변칙적인 경우(irregular condition)를 포함하고 있는 경우에는 장면 전환이 발생하지 않아도 N_t 값이 기준값보다 작아질 수 있다. 이러한 경우에는 영상프레임들이 참조 영상프레임과 비슷하게 변화하여도 계속하여 장면 전환이 발생한 것으로 판단되기 때문에 특징점을 추출하는 과정이 특징점 추적 과정보다 더 많은 비용을 필요로 한다. 이 문제를 해결하기 위해 특징점 추적부(110)는 새로운 참조 영상프레임을 설정한 후 기준 시간 간격 ΔT_thresh를 설정할 수 있다. N_t 값이 기준값보다 작아진 현재 시점과 이전에 장면 전환이 검출되었던 시점 사이의 시간간격 Δt가 T_thresh보다 크면 현재 장면 전환이 발생한 것으로 보고 새로운 참조 영상프레임을 설정한다. 그렇지 않은 경우에는 N_t 값이 기준값보다 작더라도 변칙적인 경우인 것으로 간주되며, 장면 전환이 발생하지 않은 것으로 판단하여 이어지는 영상프레임 상에서 계속하여 특징점 추적을 수행한다.

움직임 추정부(120)는 참조 영상프레임 상에서 특징점의 좌표 및 현재 영상프레임 상에서 특징점에 대응하는 대응점의 좌표를 기초로 현재 영상프레임에 대한 전역 움직임을 측정하고, 사전에 설정된 측정시간 동안 입력되는 영상프레임에 대해 시간적으로 인접한 영상프레임 사이의 움직임의 부호가 변화하는 빈도수에 따라 이득이 결정되는 칼만필터에 의해 전역 움직임으로부터 떨림에 의한 잡음 성분이 제거된 의도적 움직임을 추정한다.

이를 위해 움직임 추정부(120)는 단위 움직임 측정부(122), 전역 움직임 측정부(124), 이득 조정부(126) 및 칼만필터부(128)를 포함한다. 이하에서는 먼저 전역 움직임으로부터 잡음 성분이 제거된 의도적 움직임을 추정하는 칼만필터부(128)에 의해 사용되는 칼만필터의 일반적인 예측 알고리즘에 대하여 상세하게 설명한다.

디지털 영상 안정화를 위해서는 앞에서 설명한 바와 같이 영상의 전역 움직임(global motion)을 측정하고, 전역 움직임을 이용하여 영상의 움직임을 보상하게 된다. 카메라 등의 촬영장치는 시간에 따라 움직여 카메라 궤도를 형성하며, 이는 사용자의 의도적 움직임(intentional motion)을 나타낸다. 그러나 카메라의 떨림 현상 때문에 실제로 얻어진 영상에서 측정되는 전역 움직임은 의도적 움직임에 잡음이 결합된 형태로 나타난다. 따라서 정확한 움직임 보상을 수행하기 위해서는 측정된 전역 움직임으로부터 의도적 움직임을 추정하고, 잡음에 해당하는 비의도적 움직임(unintentional motion)임에 대해 움직임 보상을 수행하는 것이 바람직하다.

카메라 궤도를 형성하는 카메라의 움직임은 동적 시스템으로 간주될 수 있으며, 이를 설계하기 위해 상태공간 접근법(state-space approach)을 도입할 수 있다. 카메라 움직임의 평활화 제한(smoothness constraint)에 의해 카메라 궤도는 다음의 수학식 3 및 수학식 4와 같은 선형 시불변 방정식(time-invariant linear equation)으로 근사화될 수 있다.

여기서, X_t는 시간 t에서 카메라의 위치, 속도 및 가속 등과 같은 상태(state), Z_t는 시간 t에서 관측된 카메라의 위치, W_t및 V_t는 잡음 성분으로서 백색 가우시안 잡음(white Gaussian noise), A는 상태 전이 행렬(state transition matrix), 그리고 H는 실제 측정치 행렬(measurement matrix)이다.

디지털 영상 안정화 기법에서 위 수학식 1의 X_t는 사용자에 의한 카메라의 의도적 움직임을 나타내며, Z_t는 영상프레임에서 측정되는 전역 움직임을 나타낸다. 따라서 영상 안정화는 시간 t까지의 연속적인 측정값에 의해 X_t를 추정하는 것이다. 베이지안 분석(Bayesian analysis) 하에서, 조건부의 확률 밀도 함수(probability density function)인 p(X_t|Z₁,…,Z_t)는 반복적인 베이지안 필터에 의해 최적으로 풀이된다. X_t를 추정하는 과정은 예측 단계(prediction step)와 보정 단계(correction step)의 두 단계로 구성된다. 예측 단계에서 현재 상태의 사전(prior) 확률 밀도 함수는 p(X_t|Z₁,…,Z_t-1)을 계산함으로써 얻어지며, 보정 단계에서 사후(posterior) 확률 밀도 함수 p(X_t|Z₁,…,Z_t)는 우도함수(likelihood function)인 p(Z_t|X_t)를 이용함으로써 계산된다.

X_t가 카메라 움직임에 대한 대부분의 경우를 포함하는 가우시안(Gaussian) 분포를 가진다고 가정하면, 의도적 움직임에 대한 추정치인

는 칼만필터에 의해 최적으로 얻어진다. 초기 기대값인

와 추정 에러의 공분산인

는 다음의 수학식 5와 같이 주어진다.

여기서,

는 초기 기대값, X₀는 의도적 움직임에 대한 실제 초기값,

는 추정 에러의 공분산, 그리고 E()는 추정함수를 나타낸다.

칼만필터는 다음의 예측 단계와 보정 단계에서 반복적으로 수행된다.

칼만필터의 예측 단계는 다음의 수학식 6과 같이 시간 t에서의 현재 영상프레임에 대한 사전 추정치를 예측하는 것이다. 또한 수학식 6은 시간 갱신 방정식이라고도 한다.

여기서,

는 현재 영상프레임에 대한 의도적 움직임의 사전 추정치,

는 이전 영상프레임에 대한 의도적 움직임의 사후 추정치,

는

에 대한 에러 공분산,

는

에 대한 에러 공분산,

은 측정 잡음의 공분산, 그리고 A는 상태 전이 행렬이다.

보정 단계에서는 수학식 6의 사전 추정치인

를 갱신하기 위해 현재 측정값인 Z_t를 이용한다.

가 갱신되어 얻어진 사후 추정치인

는 다음의 수학식 7과 같이 표현된다. 수학식 7은 측정값 갱신 방정식이라고도 한다.

여기서,

는 현재 영상프레임에 대한 의도적 움직임의 사후 추정치,

는 현재 영상프레임에 대한 의도적 움직임의 사전 추정치, K_t는 칼만필터의 이득(gain), Z_t는 현재 영상프레임에서 측정된 전역 움직임, H는 실제 측정치 행렬, I는 단위 행렬(identity matrix),

는

에 대한 에러 공분산,

는

에 대한 에러 공분산, 그리고 R_t는 측정 잡음의 공분산이다.

시간적으로 연속되는 두 개의 영상프레임 사이에서의 움직임을 나타내기 위해서 2차원 또는 3차원의 움직임 모델이 사용될 수 있다. 디지털 영상 안정화의 실시간 수행에는 2차원 모델이 적합하다. 2차원 모델은 공통적으로 어파인(affine), 투영(projective), 투시(perspective) 및 다항식(polynomial) 변환 등 네 가지 유형의 변환 방법을 채용한다. 이 중에서 어파인 변환은 디지털 영상 안정화에 있어서 정확성과 계산상의 복잡성의 트레이드 오프(trade off)를 잘 수행할 수 있다. 또한 어파인 변환은 회전과 병진(translation)만을 고려하는 강체 변환(rigid transformation)으로 간소화될 수 있다.

정확성과 실시간 처리의 목적을 모두 달성하기 위한 강체 변환 모델은 다음의 수학식 8과 같이 일반화된 식으로 표현된다.

여기서, (x_t,y_t) 및 (x_t-1,y_t-1)은 각각 시간 t 및 시간 t-1에서의 좌표, θ_t는 회전각, 그리고 T_t ^x 및 T_t ^y는 각각 수평 방향 및 수직 방향으로의 병진 성분이다.

수학식 8은 간소화하여 다음 수학식 9와 같이 나타낼 수 있다.

여기서, U_t는 시간 t에서의 움직임, U_t-1은 시간 t-1에서의 움직임, F_t는 회전 성분, 그리고 T_t는 병진 성분이다.

현재 영상프레임에서 카메라의 떨림과 같은 비의도적 움직임(unintentional motion)은 초기 시간에서의 참조 영상프레임에 대하여 보상된다. 따라서 수학식 9에 대해 초기 시간부터 현재 시간 t까지 단계적으로 수행하여 움직임을 생성하는 누적 움직임 모델(accumulative motion model)을 채택하는 것이 바람직하다. 예를 들면, 초기 시간부터 누적된 움직임은 다음의 수학식 10과 같이 표현되며, 이는 시간 t에서의 현재 영상프레임과 초기 시간에서의 참조 영상프레임 사이의 움직임 관계를 반영한다.

여기서, U_t는 시간 t에서의 움직임, U₀는 초기 시간에서의 움직임,

는 시간 t까지 누적된 회전 성분, 그리고

는 시간 t까지 누적된 병진 성분이다. 또한 수학식 10에서

이며,

이다.

수학식 8의 강체 모델에 따르면, 현재 영상프레임에 대한 의도적 움직임 X_t는 회전 및 병진의 매개변수를 포함하여야 한다. 시간 t에서 의도적인 카메라 움직임에 의한 회전각을 라 하면, 이는 다음의 수학식 11과 같이 표현될 수 있다.

여기서,

는 시간 t에서의 회전각,

는 시간 t-1에서의 회전각, 그리고 n_t는 σ_t의 분산을 가지는 백색 잡음이다.

다음으로 시간 t에서 카메라의 병진 속도와 시간 t의 현재 영상프레임에 대한 병진 성분은 다음의 수학식 12와 같이 표현된다.

여기서,

는 시간 t에서 카메라의 병진 속도,

는 시간 t-1에서 카메라의 병진 속도,

는 현재 영상프레임에 대한 병진 성분,

은 이전 영상프레임에 대한 병진 성분, 그리고

는

의 분산을 가지는 백색 잡음이다.

수학식 11 및 수학식 12를 수학식 4에 대입하면 다음 수학식 13과 같은 특정 상태 방정식(specific state equation)이 얻어지며, 수학식 4에서의 X_t, A 및 W_t는 수학식 13을 이용하여 결정할 수 있다.

여기서,

및

는 각각 시간 t 및 t-1에서의 회전각,

및

는 각각 시간 t 및 시간 t-1에서의 수평 방향으로의 병진 성분,

및

는 각각 시간 t 및 시간 t-1에서의 수평 방향으로의 병진 속도,

및

는 각각 시간 t 및 시간 t-1에서의 수직 방향으로의 병진 성분,

및

는 각각 시간 t 및 시간 t-1에서의 수직 방향으로의 병진 속도, 그리고

및

는 백색 잡음이다.

수학식 4에서 Z_t에는 보조 변수인

가 포함되어 있지 않고 Z_t는 X_t에 잡음이 추가된 형태이므로, 수학식 4는 다음의 수학식 14와 같이 결정되고, Z_t, H 및 V_t는 수학식 14에 의해 결정된다.

여기서, 는 시간 t에서의 전역 회전각,

는 시간 t에서의 수평 방향으로의 전역 병진 성분,

는 시간 t에서의 수직 방향으로의 전역 병진 성분, 그리고

및

는 각각

및

를 분산으로 가지는 백색 잡음이다.

다음으로 수학식 13 및 수학식 14에 나타난 각종 변수들의 초기 상태(t=0)는 다음의 수학식 15와 같이 얻어진다. 이러한 초기값들은 사전에 설정된 값이며, 특정 응용(application)에 따라 다른 값을 가진다.

여기서, Q_t및R_t는 측정 잡음의 공분산,

는 참조 영상프레임에 대한 의도적 움직임의 사후 추정치,

는

에 대한 에러 공분산, 그리고

,

및

는 백색 잡음이다.

수학식 13 내지 수학식 15에 의해 수학식 6 및 수학식 7을 반복적으로 수행함으로써 의도적 움직임과 같은 카메라 궤도 상태가 추정된다. 이때 수학식 13의 X_t 및 수학식 14의 Z_t는 시간이 지남에 따라 누적된 값을 가지므로, 정확한 X_t를 얻기 위해 Z_t는 수학식 10에 나타난 것과 같은 누적 움직임을 가져야 한다. 따라서 수학식 14에 의해 결정되는 Z_t는 다음의 수학식 16과 같이 계산된다.

여기서,

및

는 각각 시간 t 및 시간 t-1까지 누적된 회전각,

및

는 각각 시간 t 및 시간 t-1까지 누적된 병진 성분, F_t는 현재 영상프레임에 대한 회전 성분,

는 현재 영상프레임에 대한 회전각, 그리고

는 현재 영상프레임에 대한 현재 영상프레임에 대한 병진 성분이다.

수학식 16의 전역 움직임은

와 같이 표현할 수 있으며, 현재 영상프레임에 대한 전역 움직임은 참조 영상프레임부터 현재 영상프레임까지의 각각의 영상프레임에 대해 측정된 회전 성분 및 병진 성분이 누적된 값이다. 현재 영상프레임과 이전 영상프레임 사이의 움직임을 나타내는

와

는 현재 영상프레임에 대한 움직임인

로 표현할 수 있다. 즉, 현재 영상프레임에 대한 움직임은 이전 영상프레임에 대해 측정된 전역 움직임과 현재 영상프레임에 대해 측정된 전역 움직임의 차에 해당한다. 이하에서는

를 단위 움직임이라 정의한다.

즉, 단위 움직임 측정부(122)는 참조 영상프레임과 현재 영상프레임 사이의 영상프레임에 대해 시간적으로 인접한 영상프레임들 사이의 움직임인 단위 움직임을 측정하고, 전역 움직임 측정부(124)는 단위 움직임을 누적하여 현재 영상프레임에 대한 전역 움직임을 측정한다.

특징점 추적부(110)에 의해 현재 영상프레임으로부터 N_t 쌍의 특징점이 얻어진 후, 단위 움직임 측정부(122)는 연속한 영상프레임인 이전 영상프레임 I_t-1과 현재 영상프레임 I_t 사이의 단위 움직임을 수학식 8을 이용하여 측정할 수 있다. 단위 움직임

를 측정하기 위해 p(p≥2)쌍의 특징점이 사용된다고 가정한다. 수학식 8은 다음의 수학식 17과 같은 형태로 다시 표현될 수 있다.

위 수학식 17을 풀면, 단위 움직임을 구성하는 회전각

및 병진 성분의 값

가 얻어진다.

앞에서 설명한 변칙적인 경우 또는 광흐름 기법(optical flow method)의 불리한 조건으로 인해 몇몇 특징점들에 대한 추적 결과가 나쁘게 나타날 수 있다. 따라서 움직임 추정의 정확성을 보다 향상시킬 필요성이 있다. 이를 위해 단위 움직임 측정부(122)는 특징점 추적부(110)에 의해 추출되고 추적되는 특징점들을 복수 의 그룹으로 분류하고, 각각의 그룹으로부터 추정된 그룹별 단위 움직임에 수학식 1에 나타난 계수 행렬 G의 최소 고유치에 따른 가중치를 각각 부여하여 최종적으로 단위 움직임을 측정할 수 있다.

계수 행렬 G의 최소 고유치가 높을수록 특징점 추적의 신뢰성이 높아진다. 이는 높은 최소 고유치를 가지는 특징점으로부터 추정된 움직임이 보다 높은 추정의 정확성을 가진다는 것을 의미한다. 그러므로 높은 추정의 정확성을 가지는 움직임의 매개변수에는 더 높은 가중치를 부여하는 것이 바람직하다. 구체적으로는, 단위 움직임 측정부(122)는 추출된 특징점들의 모든 최소 고유치를 감소하는 순서로 나열하고, 각각의 최소 고유치에 대응하는 특징점들이 하나의 그룹을 형성하도록 모든 특징점들을 K개의 그룹으로 분류한다. 각각의 그룹에 p쌍의 특징점이 포함되어 있다고 하면,

를 만족한다.

다음으로 단위 움직임 측정부(122)는 각각의 그룹에 대해 위 수학식 17에 의해 그룹별 단위 움직임을 측정한다. 그룹별 단위 움직임은

와 같이 표현된다. 마지막으로 단위 움직임

는 각각의 그룹별 단위 움직임에 서로 다른 가중치

를 부여함으로써 얻어지며, K개의 가중치는

의 관계를 가진다. 이는 최소 고유치가 높은 그룹에 대해 더 높은 가중치가 부여되기 때문이다. 또한 K개의 가중치의 합은 1이 된다. 복수의 그룹별 단위 움직임으로부터 산출된 단위 움직임

는 다음의 수학식 18과 같이 표현된다.

여기서,

는 단위 움직임,

는 그룹별 단위 움직임에 부여되는 가중치, 그리고

는 그룹별 단위 움직임이다.

앞에서도 설명한 바와 같이, 수학식 17 또는 수학식 18에 의해 얻어지는 단위 움직임은 수학식 16에 대입되어 전역 움직임 측정부(124)에 의해 누적된 움직임, 즉 전역 움직임

을 산출하는 데 사용된다.

보정 단계에서 사용되는 수학식 7은 의도적 움직임을 생성하기 위해 사용된다. 수학식 7에서 전역 움직임

가 측정값 Z_t로 사용되어 사후 추정값인

가 얻어진다. 마지막으로 의도적 움직임인

는

로부터 대응하는 변수들을 추출함으로써 얻어진다.

이득 조정부(126)는 현재 영상프레임이 입력된 시점에 앞서는 측정시간동안 입력되는 영상프레임에 대해 시간적으로 인접한 영상프레임 사이의 움직임의 부호가 변화하는 빈도수에 따라 칼만필터의 이득을 결정한다.

수학식 7에 나타난 측정 에러의 공분산인

는 수학식 15에 의해 초기화되어 항상 일정한 값을 가진다. 그러나 실제 카메라 모델에서는 시간에 따라 카메라의 움직임이 수시로 변하게 되고, 이는

값이 그에 따라 변화하여야 함을 의미한다. 즉,

는 칼만필터의 이득을 결정하는 것이므로, 칼만필터의 이득은 카메라의 떨림에 의한 잡음 성분의 양에 따라 적응적으로 결정될 수 있다.

카메라의 떨림은 반대 방향으로의 움직임을 일으키므로, 단위 움직임

에 부호의 변화가 발생하게 된다. 카메라의 떨림의 빈도수가 높아질수록 단위 움직임에 대한 부호의 변화도 많이 발생한다. 도 2는 100개의 영상프레임에 대해 측정된 카메라의 수평 움직임을 도시한 그래프이다. 도 2를 참조하면, '구간 1'에서 측정된 카메라의 움직임 빈도수가 '구간 1'과 동일한 시간 간격을 가지는 '구간 2'에서 측정된 카메라의 움직임 빈도수보다 높은 것을 확인할 수 있다.

이득 조정부(126)는 수학식 7에 의해 의도적 움직임을 추정할 때

의 부호가 변화하는 빈도수인 부호 변환수(sign transition number)의 크기에 따라

의 값을 결정할 수 있다. 일정한 측정시간

동안 측정된 부호 변환수를

라 하면,

의 크기에 따라 각각 다른 측정 잡음

가 사용되도록 한다. 일 예로,

의 값은 다음과 같이 결정될 수 있다.

이때

의 값을 결정하는

값의 경계인

및 각 구간에 대해 결정되는

의 값은 실험에 의해 설정될 수 있다.

이와 같이 카메라의 떨림 빈도에 따라 측정 잡음의 값이 서로 다르게 설정되 도록 하여 칼만필터의 이득을 적응적으로 결정함으로써 현재 영상프레임에서 의도적 움직임을 보다 정확하게 추정할 수 있다.

움직임 보상부(130)는 전역 움직임 및 의도적 움직임의 차에 의해 움직임 보상의 대상이 되는 비의도적 움직임을 산출하고, 현재 영상프레임에 대해 비의도적 움직임을 보상하여 결과 영상프레임을 생성한다.

전역 움직임

는 의도적 움직임

와 비의도적 움직임

를 포함한다. 여기서 비의도적 움직임은 잡음을 나타내는 것이므로 의도적 움직임만 남을 수 있도록 제거되어야 한다. 따라서 움직임 보상부(130)는 현재 영상프레임에 대한 움직임 보상을 수행하기 위해

를 전역 움직임으로부터 추출한다. 수학식 10에 나타난 일반화된 누적 움직임 모델을 본 발명에 적용하면 다음의 수학식 19 및 수학식 20을 얻을 수 있다.

여기서,

및

는 현재 영상프레임에 대한 전역 움직임 및 의도적 움직임,

는 초기 움직임,

및

는 각각 전역 움직임 및 의도적 움직임의 회전 성분, 그리고

및

는 각각 전역 움직임 및 의도적 움직임의 병진 성분이다.

수학식 19를 수학식 20에 대입하면 다음의 수학식 21이 얻어진다.

여기서,

는 현재 영상프레임에 대한 의도적 움직임,

및

는 각각 비의도적 움직임 및 의도적 움직임의 회전 성분, 그리고

및

는 각각 의도적 움직임 및 비의도적 움직임의 병진 성분이다.

따라서, 비의도적 움직임

의 회전 성분 및 병진 성분은 구체적으로 다음 수학식 22와 같이 계산된다.

여기서,

는 비의도적 움직임의 회전각,

는 전역 움직임의 회전각,

는 의도적 움직임의 회전각,

는 비의도적 우직임의 병진 성분,

및

는 의도적 움직임의 병진 성분, 그리고

및

는 전역 움직임의 병진 성분이다.

움직임 보상부(130)는 비의도적 움직임

이 얻어지면 현재 영상프레임의 비의도적 움직임을 보상하여 다음 수학식 23과 같이 결과 영상프레임을 생성한다.

여기서,

는 원본영상,

는 결과영상,

는 비의도적 움직임의 회전각, 그리고

및

는 비의도적 움직임의 병진 성분이다.

KLT 특징점 추적기의 서브픽셀(sub-pixel) 정확도로 인하여 움직임 보상의 대상이 되는 좌표 역시 서브픽셀이다. 따라서 보간(interpolatoin) 과정이 부가적으로 요구된다. 일반적으로 최근접(nearest), 양선형(bilinear) 및 큐빅(cubic) 보간 기법이 사용될 수 있다. 본 발명의 실시간 적용 및 특징점 추적의 정확성을 위해서는 최근접 보간 방법을 사용하는 것이 가장 적합하다.

도 3은 본 발명에 따른 적응적인 칼만필터를 이용한 영상 안정화 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.

도 3을 참조하면, 특징점 추적부(110)는 입력받은 원본영상을 구성하는 복수의 영상프레임 중 참조 영상프레임으로부터 특징점을 추출하고, 참조 영상프레임에 시간적으로 연속하는 영상프레임 중 현재 영상프레임 상에서 특징점에 대응하는 대응점을 탐색한다(S310). 이때 탐색된 대응점의 개수가 사전에 설정된 기준값보다 작으면(S320) 장면 전환이 발생한 것으로 판단하여 현재 영상프레임을 새로운 참조 영상프레임으로 설정하여 특징점을 추출한다(S330). 탐색된 대응점의 개수가 기준값 이상이면(S320) 계속하여 특징점 추적을 수행한다.

다음으로 움직임 추정부(120)의 단위 움직임 측정부(122)는 참조 영상프레임과 현재 영상프레임 사이의 영상프레임에 대해 시간적으로 인접한 영상프레임들 사이의 움직임인 단위 움직임을 측정하고(S340), 전역 움직임 측정부(124)는 단위 움직임을 누적하여 현재 영상프레임에 대한 전역 움직임을 측정한다(S350). 이득 조정부(126)는 현재 영상프레임이 입력된 시점에 앞서는 측정시간 동안 입력되는 영상프레임에 대해 시간적으로 인접한 영상프레임들 사이의 움직임의 부호가 변화하는 빈도수에 따라 칼만필터의 이득을 결정한다(S360). 칼만필터부(128)는 이득 조정부(126)에 의해 결정된 이득을 가지는 칼만필터에 의해 전역 움직임으로부터 잡음 성분이 제거된 의도적 움직임을 추정한다(S370).

마지막으로 움직임 보상부(130)는 전역 움직임 및 의도적 움직임의 차에 의해 움직임 보상의 대상이 되는 비의도적 움직임을 산출하고, 현재 영상프레임에 대해 비의도적 움직임을 보상하여 결과 영상프레임을 생성한다(S380).

본 발명에 따른 영상 안정화 장치 및 방법의 성능을 평가하기 위한 실험을 수행하였다. 도 4a 내지 도 4c는 각각 실험에 사용된 원본영상인 'Island', 'Road' 및 'University'를 나타낸 도면이다. 도 4a 내지 도 4c의 원본영상들은 모두 300개의 영상프레임으로 구성되어 있으며, 720×480의 해상도를 가진다. 도 4a의 'Island' 영상은 2픽셀 이하의 적은 움직임과 높은 빈도수의 떨림을 보인다. 도 4b의 'Road' 영상은 1픽셀 이하의 적은 움직임과 불규칙적인 상태를 보인다. 또한 도 4c의 'University' 영상은 2픽셀 이하의 적은 움직임과 평행 방향의 떨림을 보인다.

앞의 설명에서 언급된 각종 변수들은 본 실험에서 다음과 같이 설정되었다. 먼저 특징점을 추출하기 위한 임계값을 결정하는 r=0.1, 추출된 특징점의 개수 N₀=100, N_thresh=5, ΔT_thresh=10, ΔT_p=10, p=20

ΔT_p=10, CT₁=1, CT₂=3, CT₃=5, CT₄=7, R_t1=4R_t0, R_t2=20R_t0, R_t3=40R_t0, R_t4=80R_t0, 그리고 R_t의 초기값은 R_t0=1.0과 같이 설정되었다.

도 5는 도 4c의 'University' 영상에 본 발명을 적용하였을 때 원본영상 및 결과 영상프레임을 도시한 도면이다. 도 5의 (a)에는 원본영상에서 참조 영상프레임, 20번째 영상프레임 및 65번째 영상프레임이 도시되어 있고, (b)에는 결과영상에서 참조 영상프레임, 20번째 영상프레임 및 65번째 영상프레임이 도시되어 있다. 도 5를 참조하면, 병진 성분 및 회전 성분을 적절하게 추정하여 현재 영상프레임에 대해 움직임을 보상하였음을 확인할 수 있다.

칼만필터를 사용하는 경우에 특징점 추적의 속도를 높일 수 있음을 확인하기 위한 실험을 수행하였다. 실험은 10회에 걸쳐 장면 전환이 없는 100개의 영상프레임에 대해 수행되었다. 칼만필터를 사용할 때와 사용하지 않을 때 도 4a 내지 도 4c의 원본영상 각각에 대해 수행된 10회의 특징점 추적 실험의 평균 속도가 다음의 표 1에 나타나 있다.

원본영상	칼만필터 사용	칼만필터 미사용
Island	33.33	31.66
Road	31.66	31.66
University	31.94	30.55

표 1을 참조하면, 칼만필터를 사용할 때 특징점 추적의 속도가 더 빠르다는 것을 확인할 수 있다. 'Road' 영상의 경우에는 칼만필터를 사용할 때와 사용하지 않을 때의 특징점 추적의 속도가 동일한데, 이는 앞에서 언급한 바와 같이 영상에 존재하는 움직임이 작기 때문이다. 따라서 큰 움직임을 가지는 영상에 대하여는 칼만필터를 사용할 경우에 속도에 있어서 보다 큰 성능 개선을 보일 것이다.

장면 전환 검출의 성능을 평가하기 위해 수행된 실험에서는 도 4a의 'Island' 영상이 원본영상으로 사용되었다. 도 6a 및 도 6b는 300개의 영상프레임에서 나타난 수직 방향으로의 전역 움직임 및 의도적 움직임의 개수를 각각 도시한 그래프이다. 움직임 개수가 0으로 급변하는 부분은 장면 전환이 검출된 영상프레임을 나타낸다. 도 6a 및 도 6b를 참조하면, 212번째 영상프레임에서 첫 번째 장면 전환이 검출되었으며, 이는 실제 원본영상에서 일어난 상황과 일치한다. 215번째 영상프레임에서는 추출된 특징점의 개수가 N_thresh보다 적어졌으나, 기준 시간 간격 ΔT_p를 10으로 제한함에 따라 이 경우는 변칙적인 경우로 취급되며, 이는 전역 움직임 및 의도적 움직임이 불변(invariant)인 216번째 영상프레임부터 221번째 영상프레임까지의 경우에도 마찬가지이다. 그러나 222번째 영상프레임에서 특징점의 개수가 N_thresh보다 적어진 경우에는 시간간격 제한에 걸리지 않기 때문에 장면 전환이 검출된 것으로 본다. 249번째 영상프레임에서 장면 전환이 또다시 검출되며, 이 경우도 역시 실제 상황과 일치한다.

도 7은 원본영상의 참조 영상프레임 및 장면 전환이 검출된 영상프레임을 도시한 도면이다. 도 7의 (a)는 참조 영상프레임을 나타내며, (b) 내지 (d)는 각각 장면 전환이 검출된 212, 222, 249번째 영상프레임을 나타낸다. 도 6a 및 도 6b의 그래프와 도 7을 참조하면, 실제 발생한 장면 전환과 변칙적인 경우를 구분하여 장면 전환을 정확하게 검출함을 확인할 수 있다.

측정시간동안 단위 움직임의 부호가 변화하는 빈도에 따라 이득이 다르게 적용되는 적응적인 칼만필터를 사용하여 의도적 움직임 성분을 추정하는 과정의 성능을 평가하는 실험을 수행하였다. 원본영상으로 사용된 도 4a의 'Island' 영상은 수평 방향으로의 높은 떨림 성분을 가지며, 30번째 영상프레임부터 50번째 영상프레임까지의 떨림 성분의 빈도수가 다른 영상프레임에 비해 높고, 30번째 영상프레임과 50번째 영상프레임 사이에서 떨림 성분의 양이 빈번하게 변화한다.

도 8a 및 도 8b는 각각 적응적인 칼만필터를 사용할 때와 사용하지 않을 때 70개의 영상프레임에서 나타난 수평 방향으로의 전역 움직임 및 의도적 움직임의 개수를 도시한 그래프이다. 도 8a 및 도 8b를 참조하면, 적응적인 칼만필터를 사용하는 경우에 보다 안정된 성능을 얻을 수 있다. 또한 시작 부분의 몇 개의 영상프레임의 경우에 적응적인 칼만필터를 사용할 때 합당한 의도적 움직임이 얻어진다. 따라서 적응적인 칼만필터를 사용하는 경우에 서로 다른 카메라 움직임에 대응하여 효율적으로 잡음을 측정할 수 있음을 확인할 수 있다.

움직임 추정 과정에서 발생하는 변칙적인 경우에 대응하는 성능을 평가하기 위해 BMA 기반의 알고리즘 중 하나인 INVTRI와 본 발명을 비교하는 실험을 수행하였다. 성능 비교는 근평균제곱 에러(root mean square error : RMSE)에 의해 평가되었다. RMSE는 다음의 수학식 11과 같이 표현된다.

[수학식 11]

여기서, N은 영상프레임의 개수,

는 본 발명에 의해 추정된 움직임 벡터, 그리고 (x_n, y_n)은 BMA 기반의 방식에 의해 추정된 움직임 벡터이다.

본 발명에 의해 추정된 움직임 벡터는 병진 성분만을 고려하여 다음의 수학식 12와 같이 결정되도록 하였다.

[수학식 12]

도 4a 내지 도 4c의 영상들을 각각 원본영상으로 하여 300개의 영상프레임으로부터 측정된 RMSE 값이 다음의 표 2에 나타나 있다.

원본영상	본 발명	INVTRI
Island	0.741	4.939
Road	0.790	1.281
University	0.516	1.743

표 2를 참조하면, 본 발명에 의해 영상 안정화를 수행할 때 RMSE 값이 INVTRI를 사용하는 경우에 비해 훨씬 작다는 것을 확인할 수 있다. 이는 본 발명이 INVTRI보다 변칙적인 경우에 강인하다는 것을 의미한다. 또한 INVTRI를 사용하였을 때 'Island' 영상의 경우가 다른 두 영상의 경우에 비해 훨씬 높다. 이는 'Island' 영상에서 지터(jitter)의 발생 빈도수가 높고, 210번째 영상프레임부터 300번째 영상프레임에 질감(texture)의 결여와 같은 변칙적인 경우가 포함되어 있기 때문이다.

RMSE 값의 측정을 위해 추가적으로 두 개의 영상을 더 사용하였다. 도 9a 및 도 9b에는 RMSE 값을 측정하기 위해 사용된 'Sky' 및 'Brick' 영상이 나타나 있다. 도 9a 및 도 9b의 영상은 모두 320×240의 해상도를 가지며, 높은 빈도수의 떨림 성분을 가진다. 'Sky' 영상은 질감의 결여와 같은 변칙적인 경우를 가지며, 'Brick' 영상은 반복되는 패턴을 포함한다. 두 영상에 대해 300개의 영상프레임에 걸쳐 측정된 RMSE 값이 다음의 표 3에 나타나 있다.

원본영상	본 발명	INVTRI
Sky	0.693	3.606
Brick	2.837	8.031

표 3을 참조하면, 본 발명에 의해 영상 안정화를 수행하였을 때 INVTRI에 의한 경우보다 RMSE 값이 낮으므로 더 좋은 성능을 보인다는 것을 확인할 수 있다.

본 발명에 의해 영상 안정화를 수행할 때의 계산상의 복잡성(computational complexity)을 측정하였다. 계산상의 복잡성은 추출된 특징점의 개수, 탐색영역을 결정하는 움직임의 양, 전역 움직임 및 의도적 움직임의 추정 및 움직임 보상 과정 등 여러 가지 요인에 의존한다. 따라서 실험을 수행할 때의 계산 시간에 의해 계산상의 복잡성을 측정하였다.

도 4a 내지 도 4c의 영상들을 원본영상으로 하여 장면 전환이 없는 100, 150 및 210개의 영상프레임에 대해 측정한 평균 계산시간이 다음의 표 4에 나타나 있다. 계산시간은 ms 단위로 나타내었다.

원본영상	100개 프레임	150개 프레임	210개 프레임
Island	30.0	33.3	38.1
Road	31.6	33.3	38.0
University	31.3	40.0	39.9

표 4를 참조하면, 측정되는 계산시간은 영상프레임의 개수에 따라 달라지며, 일반적으로 약 33ms이다. 'Island'와 'Road' 영상은 적은 움직임 성분을 가지므로 낮은 계산상의 복잡성을 가지는 반면, 'University' 영상은 큰 회전 성분을 가져 높은 계산상의 복잡성을 가진다.

나아가, 특징점 추출(feature point selection, 이하 FP-Sel), 전역 및 의도적 움직임 추정(computation of global and intentional motion, 이하 C-GIM) 및 비의도적 움직임의 보상(compensation of untentional motion, 이하 C-UM)의 면에서 계산상의 복잡성을 측정하였다. 실험은 210개의 영상프레임에 대하여 10회 수행되었다. 최종적인 계산시간이 ms 단위로 다음의 표 5에 나타나 있다.

원본영상	FP-Sel	C-GIM	C-UM
Island	108.0	8.6	28.8
Road	112.1	8.5	29.0
University	109.9	10.5	28.8

표 5에서, 하나의 영상프레임으로부터 100개의 특징점을 추출하는 데 100ms 정도의 시간이 걸리므로 장면 전환과 변칙적인 경우를 구분하기에 충분하다는 것을 확인할 수 있다. 또한 움직임을 추정하는 데에는 각 영상프레임에 대해 9ms 정도의 적은 시간이 걸린다. 움직임 보상에 걸리는 시간이 움직임 추정에 걸리는 시간보다 훨씬 길다는 것을 확인할 수 있는데, 이는 본 발명의 계산상의 복잡성이 움직임 보상에 의해 좌우되며, 처리 속도는 각 영상프레임을 구성하는 화소의 개수에 반비례한다는 것을 의미한다. 이를 확인하기 위해 영상의 해상도에 따라 210개의 영상프레임에 대한 처리속도를 계산하였다. 그 결과가 다음의 표 6에 나타나 있다.

해상도	화소비	C-GIM(ms)	C-UM(ms)	처리속도(fps)
720×480	4.5	8.6	28.8	26.23
640×480	4	10.0	24.3	29.08
320×240	1	2.8	6.5	106.78

표 6에 나타난 실험 결과는 위의 결론을 잘 뒷받침하고 있으며, 본 발명에 따른 영상 안정화 장치 및 방법에 의하면 영상 안정화의 실시간 구현이 가능하다는 것을 확인할 수 있다.

마지막으로 본 발명과 INVTRI의 계산상의 복잡성을 비교하였다. 본 발명은 INVTRI에 의해 처리되는 평행이동 모델보다 복잡한 강체 모델(rigid model)을 채택한다. 따라서 본 발명에 의한 영상 안정화의 경우가 매개변수 계산에 더 많은 시간을 소비하지만 두 방법을 비교하는 것이 합당하다. 전역 움직임 벡터를 추정할 때의 계산시간이 다음의 표 7에 나타나 있다.

원본영상	본 발명(s)	INVTRI(s)
Island	0.009	17.628
Road	0.009	17.741
University	0.011	17.565
Sky	0.002	0.886
Brick	0.003	0.881

표 7을 참조하면, 처리시간의 면에서 본 발명이 INVTRI에 비해 현저한 성능 향상을 보이는 것을 확인할 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

도 1은 본 발명에 따른 적응적인 칼만필터를 사용하는 영상 안정화 장치에 대한 바람직한 실시예의 구성을 도시한 블록도,

도 2는 100개의 영상프레임에 대해 측정된 카메라의 수평 움직임을 도시한 그래프,

도 3은 본 발명에 따른 적응적인 칼만필터를 사용하는 영상 안정화 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,

도 4a 내지 도 4c는 각각 실험에 사용된 원본영상인 'Island', 'Road' 및 'University'를 나타낸 도면,

도 5는 도 4c의 'University' 영상에 본 발명을 적용하였을 때 원본영상 및 결과 영상프레임을 도시한 도면,

도 6a 및 도 6b는 300개의 영상프레임에서 나타난 수직 방향으로의 전역 움직임 및 의도적 움직임의 개수를 각각 도시한 그래프,

도 7은 원본영상의 참조 영상프레임 및 장면 전환이 검출된 영상프레임을 도시한 도면,

도 8a 및 도 8b는 각각 적응적인 칼만필터를 사용할 때와 사용하지 않을 때 70개의 영상프레임에서 나타난 수평 방향으로의 전역 움직임 및 의도적 움직임의 개수를 도시한 그래프, 그리고,

도 9a 및 도 9b는 RMSE 값을 측정하기 위해 사용된 'Sky' 및 'Brick' 영상을 나타낸 도면이다.

Claims

입력받은 원본영상을 구성하는 복수의 영상프레임 중 참조 영상프레임으로부터 특징점을 추출하고, 상기 참조 영상프레임에 시간적으로 연속하는 영상프레임 중 현재 영상프레임 상에서 상기 특징점에 대응하는 대응점을 탐색하는 특징점 추적부;

상기 참조 영상프레임 상에서 상기 특징점의 좌표 및 상기 현재 영상프레임 상에서 상기 특징점에 대응하는 대응점의 좌표를 기초로 상기 현재 영상프레임에 대한 전역 움직임을 측정하고, 사전에 설정된 측정시간 동안 입력되는 상기 영상프레임에 대해 시간적으로 인접한 영상프레임 사이의 움직임의 부호가 변화하는 빈도수에 따라 이득이 결정되는 칼만필터에 의해 상기 전역 움직임으로부터 떨림에 의한 잡음 성분이 제거된 의도적 움직임을 추정하는 움직임 추정부;

상기 전역 움직임 및 상기 의도적 움직임의 차에 의해 상기 잡음 성분을 나타내는 비의도적 움직임을 산출하고, 상기 현재 영상프레임에 대해 상기 비의도적 움직임을 보상하여 결과 영상프레임을 생성하는 움직임 보상부;를 포함하는 것을 특징으로 하는 영상 안정화 장치.
제 1항에 있어서,

상기 움직임 추정부는,

상기 참조 영상프레임과 상기 현재 영상프레임 사이의 영상프레임에 대해 시 간적으로 인접한 영상프레임들 사이의 움직임인 단위 움직임을 측정하는 단위 움직임 측정부;

상기 단위 움직임을 누적하여 상기 현재 영상프레임에 대한 전역 움직임을 측정하는 전역 움직임 측정부;

상기 현재 영상프레임이 입력된 시점에 앞서는 상기 측정시간 동안 입력되는 상기 영상프레임에 대해 시간적으로 인접한 영상프레임 사이의 움직임의 부호가 변화하는 빈도수에 따라 상기 칼만필터의 이득을 결정하는 이득 조정부; 및

상기 전역 움직임으로부터 상기 잡음 성분이 제거된 의도적 움직임을 추정하는 칼만필터부;를 포함하는 것을 특징으로 하는 영상 안정화 장치.
제 1항 또는 제 2항에 있어서,

상기 특징점 추적부는 KLT(Kande-Lucas-Tomasi) 특징점 추적방법에 의해 상기 참조 영상프레임으로부터 상기 특징점을 추출하는 것을 특징으로 하는 영상 안정화 장치.
제 1항 또는 제 2항에 있어서,

상기 특징점 추적부는 상기 칼만필터의 움직임 예측 알고리즘에 의해 추정된, 상기 현재 영상프레임에 시간적으로 앞서는 이전 영상프레임과 상기 현재 영상프레임 사이의 움직임을 기초로 상기 현재 영상프레임 상에서 대응점을 탐색하기 위한 탐색개시지점을 결정하는 것을 특징으로 하는 영상 안정화 장치.
제 1항 또는 제 2항에 있어서,

상기 특징점 추적부는 상기 현재 영상프레임으로부터 탐색된 대응점의 개수가 사전에 설정된 기준값보다 작으면 상기 현재 영상프레임을 새로운 참조 영상프레임으로 설정하는 것을 특징으로 하는 영상 안정화 장치.
제 5항에 있어서,

상기 특징점 추적부는 상기 현재 영상프레임으로부터 탐색된 대응점의 개수가 상기 기준값보다 작아지는 시점과 이전의 참조 영상프레임이 설정된 시점 사이의 시간 간격이 사전에 설정된 기준 시간 간격 이상이면 상기 현재 영상프레임을 새로운 참조 영상프레임으로 설정하는 것을 특징으로 하는 영상 안정화 장치.
제 1항 또는 제 2항에 있어서,

상기 특징점 추적부는 상기 참조 영상프레임을 구성하는 좌표 중에서 하기 수학식 A로 표현되는 계수 행렬의 최소 고유치가 사전에 설정된 임계값보다 큰 좌표를 특징점으로 결정하는 것을 특징으로 하는 영상 안정화 장치:

[수학식 A]

여기서, G는 상기 계수 행렬, (x,y)는 상기 참조 영상프레임을 구성하는 좌 표, (p_x,p_y)는 특징점을 찾기 위해 설정된 탐색영역의 중심을 나타내는 좌표, w_x및 w_y는 각각 상기 탐색영역의 가로방향 및 세로방향의 크기, 그리고 I_x(x,y) 및 I_y(x,y)는 (x,y) 위치의 화소의 화소값을 가로 방향 및 세로 방향으로 미분한 값이다.
제 7항에 있어서,

상기 움직임 추정부는 상기 현재 영상프레임 및 상기 현재 영상프레임에 시간적으로 앞서는 인접한 영상프레임 사이의 움직임인 단위 움직임의 측정시에 상기 현재 영상프레임으로부터 탐색된 대응점들의 좌표를 상기 계수 행렬의 최소 고유치가 감소하는 순서에 따라 복수의 그룹으로 분류하고, 각각의 그룹에 속하는 대응점을 기초로 측정된 그룹별 단위 움직임에 서로 다른 가중치를 부여하고 합산하여 상기 현재 영상프레임에 대한 단위 움직임을 산출하는 것을 특징으로 하는 영상 안정화 장치.
입력받은 원본영상을 구성하는 복수의 영상프레임 중 참조 영상프레임으로부터 특징점을 추출하고, 상기 참조 영상프레임에 시간적으로 연속하는 영상프레임 중 현재 영상프레임 상에서 상기 특징점에 대응하는 대응점을 탐색하는 특징점 추적단계;

상기 참조 영상프레임 상에서 상기 특징점의 좌표 및 상기 현재 영상프레임 상에서 상기 특징점에 대응하는 대응점의 좌표를 기초로 상기 현재 영상프레임에 대한 전역 움직임을 측정하고, 사전에 설정된 측정시간 동안 입력되는 상기 영상프레임에 대해 시간적으로 인접한 영상프레임 사이의 움직임의 부호가 변화하는 빈도수에 따라 이득이 결정되는 칼만필터에 의해 상기 전역 움직임으로부터 떨림에 의한 잡음 성분이 제거된 의도적 움직임을 추정하는 움직임 추정단계;

상기 전역 움직임 및 상기 의도적 움직임의 차에 의해 상기 잡음 성분을 나타내는 비의도적 움직임을 산출하고, 상기 현재 영상프레임에 대해 상기 비의도적 움직임을 보상하여 결과 영상프레임을 생성하는 움직임 보상단계;를 포함하는 것을 특징으로 하는 영상 안정화 방법.
제 9항에 있어서,

상기 움직임 추정단계는,

상기 참조 영상프레임과 상기 현재 영상프레임 사이의 영상프레임에 대해 시간적으로 인접한 영상프레임들 사이의 움직임인 단위 움직임을 측정하는 단위 움직임 측정단계;

상기 단위 움직임을 누적하여 상기 현재 영상프레임에 대한 전역 움직임을 측정하는 전역 움직임 측정단계;

상기 현재 영상프레임이 입력된 시점에 앞서는 상기 측정시간 동안 입력되는 상기 영상프레임에 대해 시간적으로 인접한 영상프레임 사이의 움직임의 부호가 변화하는 빈도수에 따라 상기 칼만필터의 이득을 결정하는 이득 조정단계; 및

상기 전역 움직임으로부터 상기 잡음 성분이 제거된 의도적 움직임을 추정하는 칼만필터 적용단계;를 포함하는 것을 특징으로 하는 영상 안정화 방법.
제 9항 또는 제 10항에 있어서,

상기 특징점 추적단계에서, KLT(Kande-Lucas-Tomasi) 특징점 추적방법에 의해 상기 참조 영상프레임으로부터 상기 특징점을 추출하는 것을 특징으로 하는 영상 안정화 방법.
제 9항 또는 제 10항에 있어서,

상기 특징점 추적단계에서, 상기 칼만필터의 움직임 예측 알고리즘에 의해 추정된, 상기 현재 영상프레임에 시간적으로 앞서는 이전 영상프레임과 상기 현재 영상프레임 사이의 움직임을 기초로 상기 현재 영상프레임 상에서 대응점을 탐색하기 위한 탐색개시지점을 결정하는 것을 특징으로 하는 영상 안정화 방법.
제 9항 또는 제 10항에 있어서,

상기 특징점 추적단계에서, 상기 현재 영상프레임으로부터 탐색된 대응점의 개수가 사전에 설정된 기준값보다 작으면 상기 현재 영상프레임을 새로운 참조 영상프레임으로 설정하는 것을 특징으로 하는 영상 안정화 방법.
제 13항에 있어서,

상기 특징점 추적단계에서, 상기 현재 영상프레임으로부터 탐색된 대응점의 개수가 상기 기준값보다 작아지는 시점과 이전의 참조 영상프레임이 설정된 시점 사이의 시간 간격이 사전에 설정된 기준 시간 간격 이상이면 상기 현재 영상프레임을 새로운 참조 영상프레임으로 설정하는 것을 특징으로 하는 영상 안정화 방법.
제 9항 또는 제 10항에 있어서,

상기 특징점 추적단계에서, 상기 참조 영상프레임을 구성하는 좌표 중에서 하기 수학식 A로 표현되는 계수 행렬의 최소 고유치가 사전에 설정된 임계값보다 큰 좌표를 특징점으로 결정하는 것을 특징으로 하는 영상 안정화 방법:

[수학식 A]

여기서, G는 상기 계수 행렬, (x,y)는 상기 참조 영상프레임을 구성하는 좌표, (p_x,p_y)는 특징점을 찾기 위해 설정된 탐색영역의 중심을 나타내는 좌표, w_x및 w_y는 각각 상기 탐색영역의 가로방향 및 세로방향의 크기, 그리고 I_x(x,y) 및 I_y(x,y)는 (x,y) 위치의 화소의 화소값을 가로 방향 및 세로 방향으로 미분한 값이다.
제 15항에 있어서,

상기 움직임 추정단계에서, 상기 현재 영상프레임 및 상기 현재 영상프레임에 시간적으로 앞서는 인접한 영상프레임 사이의 움직임인 단위 움직임의 측정시에 상기 현재 영상프레임으로부터 탐색된 대응점들의 좌표를 상기 계수 행렬의 최소 고유치가 감소하는 순서에 따라 복수의 그룹으로 분류하고, 각각의 그룹에 속하는 대응점을 기초로 측정된 그룹별 단위 움직임에 서로 다른 가중치를 부여하고 합산하여 상기 현재 영상프레임에 대한 단위 움직임을 산출하는 것을 특징으로 하는 영상 안정화 방법.
제 9항 또는 제 10항에 기재된 영상 안정화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.