KR101030435B1

KR101030435B1 - 시차와 움직이는 물체가 있는 영상에 대한 실시간 모자익 영상 생성 방법

Info

Publication number: KR101030435B1
Application number: KR1020090072738A
Authority: KR
Inventors: 홍기상; 정상일
Original assignee: 포항공과대학교 산학협력단
Priority date: 2009-08-07
Filing date: 2009-08-07
Publication date: 2011-04-20
Also published as: KR20110015158A

Abstract

본 발명에 의한 실시간 모자익 영상 생성 방법은, 현재 입력된 영상과 이전 입력된 영상간의 대응된 픽셀의 움직임 추정을 하는 제1과정; 상기 움직임 추정 결과를 참조하여 이전의 모자익 영상을 상기 현재 입력된 영상으로 전역일치시키는 제2과정; 상기 전역 일치된 상기 이전의 모자익 영상과 상기 현재 입력된 영상의 공통 영역에서 절대차 영상의 적분 영상을 이용하여 최적의 정합 경계를 찾는 제3과정; 및 상기 최적의 정합 경계에서 상기 이전의 모자익 영상과 상기 현재 입력된 영상을 머지시켜 모자익 영상을 생성하는 제4과정;을 포함함을 특징으로 한다.

본 발명에 의하면 모자익 영상과 부가되는 영상을 전역적 일치를 통해 정합 경계를 찾는 영역을 줄여 처리 시간을 단축시키며, 입력된 영상들을 순차적으로 처리함으로써, 마지막으로 정합된 영상과 모자익 영상만 저장하여 메모리 영역이 적게 요구되며, 고속 처리로 실시간 모자익 영상을 제공한다.

Description

시차와 움직이는 물체가 있는 영상에 대한 실시간 모자익 영상 생성 방법{Method of generating mosaic image in realtime using images on which parallax and moving object exist}

본 발명은 모자익 영상 생성 방법에 관한 것으로서, 보다 상세하게는 수평 이동한 카메라에서 획득한 비디오 영상 간의 시차와 움직이는 물체가 있는 영상을 실시간으로 부정합이 없는 모자익 영상으로 생성하는 방법에 관한 것이다.

카메라로 찍은 영상은 시야가 한정되어 있으며, 이러한 획득한 영상에 대한 시야를 넓히는 방법으로 여러 장의 영상들을 정합하여 하나의 넓은 시야를 확보하는 모자익 영상으로 생성하는 방법이 있다. 일반적인 모자익 영상 생성 방법은 시차(parallax)가 없는 경우에서의 모자익 영상을 생성하는 방법이며, 시차는 서로 다른 방향에서 평면이 아닌 장면(non-planar scene)을 바라보았을 때 발생한다. 반면에, 시차가 없는 경우는 장면이 평면이거나 카메라의 움직임이 고정된 회전(rotation) 움직임일 경우에 해당된다. 카메라가 어느 정도 이동하더라도 장면이 카메라로부터 멀리 떨어져 있는 경우에는 시차의 영향이 없는 것으로 고려된다. 이 경우 연속된 두 영상을 정합한 경우에는 두 영상 사이의 대응된 픽셀들의 움직임이 하나의 호모그래피(homography)로 표현이 가능하다.

최근에는 시차가 있는 입력 영상들로도 부정합이 없는 모자익 영상을 생성하는 연구들이 진행되고 있다. 시차가 존재한다는 것은 두 영상을 정합한다고 했을 때, 두 영상의 관계를 하나의 호모그래피로 나타낼 수 없다는 것을 의미한다. 또한, 시차뿐만 아니라 입력 영상들내의 움직이는 물체 또한 부정합의 원인이 된다. 시차와 마찬가지로 움직이는 물체 부분은 전체 영상의 움직임(global motion)과 차이가 있다. 즉, 하나의 호모그래피로 두 영상의 관계를 나타낼 수가 없다.

종래의 모자익 영상의 생성 방법들이 시차와 움직이는 물체에 의한 부정합을 해결하기 위해 여러 정보를 이용하므로 처리 시간이 오래 걸린다. 또한, 촬상한 영상을 모두 저장한 후에 저장된 영상들을 모자익 영상으로 만드는 일괄 처리 방식(batch processing)을 적용하기 때문에 각 영상을 처리하기 위해서는 상당히 큰 메모리 영역이 요구된다.

따라서, 핸드폰과 같은 저사양의 카메라에서 동영상을 획득해 모자익 영상을 생성하기 위해서는, 카메라의 사양을 고려하여 시차와 움직이는 물체에 의한 부정합을 해결함과 동시에 작은 메모리 공간에서 보다 빠른 속도로 처리하는 모자익 영상 생성 방법이 요구되어 왔다.

본 발명의 과제는 상술된 종래 기술의 문제점을 감안하여, 입력된 영상을 실시간 순차적으로 모자익 영상을 생성시키고, 모자익 영상의 생성을 위한 간선 비용 산출 방법을 보다 단순화하여 처리 속도를 향상시키는 시차와 움직이는 물체가 있는 영상에 대한 실시간 모자익 영상 생성 방법을 제공하는 데 있다.

상기 과제를 달성하기 위한 본 발명에 의한 시차와 움직이는 물체가 있는 영상에 대한 실시간 모자익 영상 생성 방법은,

현재 입력된 영상과 이전 입력된 영상간의 대응된 픽셀의 움직임 추정을 하는 제1과정; 상기 움직임 추정 결과를 참조하여 이전의 모자익 영상을 상기 현재 입력된 영상으로 전역일치시키는 제2과정; 상기 전역 일치된 상기 이전의 모자익 영상과 상기 현재 입력된 영상의 공통 영역에서 절대차 영상의 적분 영상을 이용하여 최적의 정합 경계를 찾는 제3과정; 및 상기 최적의 정합 경계에서 상기 이전의 모자익 영상과 상기 현재 입력된 영상을 머지시켜 모자익 영상을 생성하고, 새로운 영상이 입력되면 제1과정으로 리턴하여 수행하는 제4과정;을 포함함을 특징으로 한다.

또한, 상기 제1과정에서 상기 현재 입력된 영상이 처음 입력되는 영상인 경우 모자익 영상 처리된 것으로 간주하고, 다음 입력된 영상과의 움직임 추정을 함을 특징으로 한다.

또한, 상기 움직임 추정은 다중 해상도 블록 매칭 알고리즘(multi-resolution block matching algorithm)을 이용하여 수행함을 특징으로 한다.

또한, 상기 최적의 정합 경계를 찾는 과정은 상기 공통 영역에서의 절대차(absolute difference) 영상을 생성하고, 상기 절대차 영상의 적분 영상을 생성하는 과정; 상기 적분영상내의 각각의 줄 영역에 대응되는 복수의 세그먼트에 대한 SAD(sum of absolute difference)의 최대값을 산출하는 과정; 및 각 줄영역에서의 SAD의 최대값 중에서 가장 작은 최대값을 갖는 줄영역의 정점(node)간을 연결한 간선을 최적 정합 경계로 함을 특징으로 한다.

또한, 상기 절대차 영상은 상기 이전의 모자익 영상과 상기 현재 입력된 영상의 대응되는 픽셀간의 절대차의 값으로 이루어진 영상임을 특징으로 한다.

또한, 상기 적분영상내에서 상기 세그먼트에 대한 SAD 산출은 상기 세그먼트의 네 모서리 영역의 값을 이용하여 산출함을 특징으로 한다.

또한, 상기 세그먼트에 대한 SAD 산출은 상기 세그먼트의 각 모서리의 우측하단과 좌측 상단을 더한 값에 좌측 하단과 우측 상단의 값을 감산하여 SAD를 산출함을 특징으로 한다.

본 발명에 의한 모자익 영상 생성 방법은 모자익 영상과 새로 입력되어 부가되는 영상을 전역적 일치(global alignment)를 통해 정합 경계를 찾는 영역(search range)을 줄여 처리 시간을 단축시키며, 입력된 영상들을 순차적으로 처리함으로써, 마지막으로 정합된 영상과 모자익 영상만 저장하여 메모리 영역이 적게 요구되 며, 고속 처리로 실시간 모자익 영상을 제공한다.

이하, 첨부 도면을 참조하여 본 발명의 바람직한 실시예를 설명하기로 한다.

도 1은 본 발명의 모자익 영상 생성 방법을 설명하기 위한 흐름도이다.

카메라로 획득한 영상이 입력되면, 입력된 영상이 모자익 영상을 생성하기 위해 처음으로 입력된 영상인지 판단하여, 처음으로 입력된 영상은 모자익 영상으로 간주한다(100, 102 단계). 또한, 입력된 영상이 두 번째 입력 영상이거나 그 이후의 영상이면 104 단계로 진행한다.

104 단계에서는, 현재 입력된 영상과 이전 입력된 영상 간의 대응된 픽셀에 대한 움직임 추정을 한다. 모자익 영상은 여러 장의 영상이 계속 합쳐져 변형되므로 머지되는 부가 영상과의 대응된 픽셀의 움직임을 고려하여 새로운 모자익 영상을 생성하여야 한다. 따라서 새로 확장되는 영역의 움직임을 맞추기 위해 이전 모자익 영상이 아닌 가장 최근에 정합된 영상과 새로 입력된 영상의 움직임을 추정하여 이전 모자익 영상과 새로 입력된 영상을 전역 일치를 시킨다(106 단계).

움직임 추정은 다중 해상도 블록 매칭 알고리즘(multi-resolution block matching algorithm; MR-BMA)문헌(J.H.Lee k.w. Lim, B.C. Song, and J.B. Ra, "A Fast Multi-resolution Block Matching Algorithm and its LSI Architecture for Low Bit-Rate Video Coding," IEEE Transactions on Circuits and Systems for video Technology, vol.11, no. 12, pp.1289-1301, 2001)을 적용한다. 이 알고리즘은 3단계의 해상도의 영상들을 생성하여 블록 매칭을 coarse-to-fine 방식으로 수 행하여 종래의 모자익 영상 생성 방법에 적용되는 전영역의 조사(full search)하는 방식보다 블록 매칭의 속도가 매우 빠르게 수행할 수 있다.

이렇게 두 영상간의 대응된 점들(corresponding points)을 가지고 최소자승법(least square)을 통해 두 영상간의 대응된 픽셀의 움직임을 추정한다. 추정된 움직임은 시차가 있는 부분이나 움직이는 물체가 있는 부분에서 구한 대응점들에 대해서도 산출되었기 때문에, 전체적으로 두 영상이 잘 일치가 되지 않는다. 따라서 이 부분들에 해당하는 대응점들을 이상점으로 고려하여 제거하고 배경에서 얻은 대응점들만으로 움직임을 추정해 최종 전역 움직임(global motion)을 얻는다. 최초로 얻은 움직임과 실체 대응점의 움직임과의 차이를 가지고 히스토그램(histogram)을 생성하여 작은 쪽 50%의 대응점만을 배경 부분에 해당하는 대응점으로 고려하여 전역일치시킨다(106 단계).

전역 일치된 두 영상간의 최적의 정합 경계(Optimal Cut-Line)를 찾아서(108 단계), 간선의 비용이 가장 적은 위치, 즉 각 줄영역의 최대 SAD의 값들중 가장 작은 최대 SAD를 갖는 줄영역의 정점의 위치를 이전 모자익 영상과 부가된 영상간의 최적의 정합 경계로 하여 머지를 하여 모자익 영상을 생성하여 저장하고, 100 단계로 진행하여 새로 입력된 영상에 대하여 동일하게 실시간으로 모자익 영상을 생성한다(110, 112 단계).

움직임 추정을 통해 이전 모자익 영상과 현재 입력된 부가된 영상을 전역 일치시킨 후 두 영상을 이어 자연스러운 새 모자익 영상을 얻기 위해서 최적의 정합 경계를 찾는 것이 필요하다.

도 2는 최적의 정합 경계를 찾는 방법을 설명하기 위한 도면으로서, 이전 모자익 영상과 부가 영상의 정면도 및 두 영상간에 각 열(column)끼리 대응시킨 도면이다.

도 2에 도시된 바와 같이 이전 모자익 영상(200)과 현재 입력되어 부가되는 영상(202)간의 공통 영역(204)의 각 열을 하나의 정점(node)(206)으로 간주하여 이전 모자익 영상(200)의 한 정점을 전역 일치된 부가 영상(202)의 정점(206)과 간선(edge)(205)으로 연결한다. 움직임 추정이 1 픽셀(pixel) 이내의 오차를 갖는다고 가정하여 전역 일치된 정점의 좌우 한 개씩의 정점을 더 연결하여 이전 모자익 영상(200)의 한 정점(206) 당 총 3개의 간선(205)을 생성한다. 각 간선의 비용(cost)은 각 정점(206) 주변의 유사도 측정(similarity measure)을 통해 주어지고 유사도가 클수록 간선 비용은 작은 값을 갖는다. 이중 가장 작은 비용(minimum cost)을 가지는 간선(207)에서 천이(transition)가 일어나게 하여 이전 모자익 영상(200)과 입력된 영상(202)을 가장 자연스럽게 머지시켜 새로운 모자익 영상(208)을 생성한다.

도 3은 이전 모자익 영상과 입력되어 부가되는 영상간의 공통 영역에서 유사도 측정을 설명하기 위한 도면이다.

유사도 측정(similarity measure)은 도 3과 같이 영상에서 두 정점(302)에 해당하는 열(column) 주변의 유사도를 계산한다. 이전 모자익 영상(300)의 i번째 정점에 해당하는 열을 f_i로 하고, 새로 붙여질 영상(304)의 j번째 정점에 해당하는 열을 g_j로 칭하기로 한다. f_j를 포함한 이전 k개의 열을 하나의 줄영역(strip)

라 정의하고 f_i이후 k개의 열을 줄영역

로 정의한다. 마찬가지로 g_j 주변의 줄영역도 이와 같이 정의하여 g_j를 포함한 이후 k개의 열을 줄영역

라 정의하고 g_j이전 k개의 열을 줄영역

로 정의하면, 두 정점 f_i와 g_j를 연결하는 간선의 비용을 다음 수학식 1과 같이 나타낼 수 있다.

여기서

와

는 다음과 수학식 2, 3과 같이 각각 정의한다.

즉,

는 두 줄영역

와

의 직접적인 SAD(sum of absolute difference)가 아니라 도 3에 도시된 바와 같이 두 줄영역을 n개의 작은 영역의 세그먼트(seg 1~seg n)로 나누어진 것 각각에 대하여 SAD를 구하고, 이 중에서 최대 SAD를 선택한다. 모자익 영상에서 사람의 눈에 띄는 정합 경계는 선이 끊어지거나 부분적으로 자연스럽게 연결되지 않는 곳에서 일어난다. 따라서 위의 조건은 전체적인 차이가 아니라 지역적으로 얼마나 자연스러운가를 잘 나타내는 측정량이다. 일반적으로 SSD(sum of squared difference)를 사용하여 유사도 측정을 하여 작은 차이에도 큰 간선 비용을 부여한다. 하지만 본 발명의 방법은 정점(302)간의 최소 비용을 가지는 단 하나의 간선(306)만 찾기 때문에 최대값의 SAD들 중 가장 작은 SAD가 있는 간선을 구함으로써 모자익 영상의 질을 저하시키지 않으면서 처리 시간을 줄일 수 있다.

종래의 방법에서 간선의 비용을 계산하기 위해서는 간선으로 연결된 정점의 이전 모자익 영상의 줄영역과 부가되는 영상에 대한 줄영역에 대한 SAD를 구하지만, 인접한 간선간에 겹치는 영역에서는 SAD 계산이 중복되어 이루어 졌다.

도 4는 본 발명에 의한 공통 영역의 두 영상간의 절대차 영상의 적분 영상을 이용하여 세그먼트의 SAD를 산출하는 방법을 설명하기 위한 도면이다.

이전 모자익 영상(400)과 현재 입력되어 부가되는 영상(402)이 전역 일치된 상태에서 공통 영역(404)을 갖는 경우에, 공통 영역(404)에 대한 절대차(absolute difference) 영상의 적분 영상(406)을 생성한다. 즉, 공통 영역(404)내에 있는 이전 모자익 영상(400)과 입력되어 부가되는 영상(402) 간의 대응된 각 픽셀간의 차이를 값을 구한 후에 이를 이용하여 공통 영역(404)에 대응되는 절대차 이미지의 적분영상(406)을 생성한다. 적분영상은(406)은 공통 영역(404)에 대응되는 픽셀 차이값들로 구성된 영상의 좌측 상단에 있는 값을 모두 가산한 값을 대응된 픽셀값을 갖는 적분 영상이다.

적분 영상의 생성 방법은 종래의 공지된 방법이므로 상세한 설명은 생략하기로 한다. 절대차 이미지의 적분영상(406)에서 예컨대, 세그먼트(408)의 SAD를 산출하기 위해서는 세그먼트(408)의 네 모퉁이 값만으로 세그먼트의 내부에 있는 픽셀들의 절대차에 대하여 계산할 필요없이 산출된다.

이때, 세그먼트(403)에서는 도 4에서 세그먼트의 대응된 우측하단과 좌측 상단을 더한 값에 좌측 하단과 우측 상단의 값을 감산하면 SAD를 산출할 수 있다. 즉, 적분영상(406)의 대응된 위치의 세그먼트(408)에서 D-B-C+A로 산출되며, 각 줄영역에서의 SAD의 최대값 중에서 가장 작은 최대값을 갖는 줄영역의 정점간을 연결한 간선을 최적 정합 경계로 한다.

본 발명에 대한 실험 평가는 본 발명의 모자익 영상 결과와 종래 방법으로 생성한 결과를 비교하였으며, 모자익 영상 생성을 위한 시스템은 CPU 2.66GHz, RAM 3.25GHz 하드웨어 환경에서 C++로 구현하였다.

도 5a는 시차가 존재하는 영상이며, 이 영상을 기초로 하여, 도 5b는 종래 방법으로 생성한 모자익 영상, 도 5c는 본 발명으로 생성한 모자익 영상을 각각 나타낸다.

도 5b 및 도 5c에서, 본 발명에 의해 생성한 모자익 영상이 종래의 방법으로 생성된 모자익 영상과 거의 차이가 없음을 알 수 있다. 또한, 도시된 영상은 360x240 픽셀의 크기를 가지는 147개의 프레임으로 구성된 영상으로 종래의 방법으로는 거의 1~2분 정도의 처리시간이 소요되지만, 본 발명에 의한 방법으로는 약 3초 정도의 시간이 소요되며, 약 50(frames/sec)의 속도 성능을 나타내었다.

도 6a는 움직이는 물체가 있는 영상이며, 이 영상을 기초로 하여, 도 6b는 종래 방법으로 생성한 모자익 영상, 도 6c는 본 발명으로 생성한 모자익 영상을 나타낸다.

도 6c에서 움직이는 물체가 존재하는 영상으로 생성한 모자익 영상에서 부정합 부분이 없이 양호하게 정합되어 있으며, 본원 발명에서는 영상(영상크기:360x219)에 대한 처리속도가 45.4 (frames/sec)로 우수한 성능을 나타내었다.

본 발명에 대한 상기 실시예를 참고하여 설명하였으나, 이는 예시적인 것에 불과하며, 본 발명에 속하는 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허 청구 범위의 기술적 사양에 의해 정해져야 할 것이다.

도 2는 이전 모자익 영상과 부가 영상의 정면도 및 두 영상간에 각 열끼리 대응시킨 도면이다.

Claims

현재 입력된 영상과 이전 입력된 영상간의 대응된 픽셀의 움직임 추정을 하는 제1과정;

상기 움직임 추정 결과를 참조하여 이전의 모자익 영상을 상기 현재 입력된 영상으로 전역일치시키는 제2과정;

상기 전역 일치된 상기 이전의 모자익 영상과 상기 현재 입력된 영상의 공통 영역에서 절대차 영상의 적분 영상을 이용하여 최적의 정합 경계를 찾는 제3과정; 및

상기 최적의 정합 경계에서 상기 이전의 모자익 영상과 상기 현재 입력된 영상을 머지시켜 모자익 영상을 생성하고, 새로운 영상이 입력되면 제1과정으로 리턴하여 수행하는 제4과정;을 포함하고,

상기 제3과정의 상기 최적의 정합 경계는, 상기 공통 영역에서의 절대차(absolute difference) 영상을 생성하고, 상기 절대차 영상의 적분 영상을 생성하는 과정; 상기 적분영상내의 각각의 줄 영역에 대응되는 복수의 세그먼트에 대한 SAD(sum of absolute difference)의 최대값을 산출하는 과정; 및 각 줄영역에서의 SAD의 최대값 중에서 가장 작은 최대값을 갖는 줄영역의 정점(node)간을 연결한 간선(edge)을 상기 최적의 정합 경계로 하는 것을 특징으로 하는 시차와 움직이는 물체가 있는 영상에 대한 실시간 모자익 영상 생성 방법.
제1항에 있어서, 상기 제1과정에서 상기 현재 입력된 영상이 처음 입력되는 영상인 경우 모자익 영상 처리된 것으로 간주하고, 다음 입력된 영상과의 움직임 추정을 함을 특징으로 하는 시차와 움직이는 물체가 있는 영상에 대한 실시간 모자익 영상 생성 방법.
제 1항에 있어서,

상기 움직임 추정은 다중 해상도 블록 매칭 알고리즘(multi-resolution block matching algorithm)을 이용하여 수행함을 특징으로 하는 시차와 움직이는 물체가 있는 영상에 대한 실시간 모자익 영상 생성 방법.
삭제
제1항에 있어서,

상기 절대차 영상은 상기 이전의 모자익 영상과 상기 현재 입력된 영상의 대응되는 픽셀간의 절대차의 값으로 이루어진 영상임을 특징으로 하는 시차와 움직이는 물체가 있는 영상에 대한 실시간 모자익 영상 생성 방법.
제5항에 있어서,

상기 적분영상내에서 상기 세그먼트에 대한 SAD 산출은 상기 세그먼트의 네 모서리 영역의 값을 이용하여 산출함을 특징으로 하는 시차와 움직이는 물체가 있는 영상에 대한 실시간 모자익 영상 생성 방법.
제6항에 있어서,

상기 세그먼트에 대한 SAD 산출은 상기 세그먼트의 각 모서리의 우측하단과 좌측 상단을 더한 값에 좌측 하단과 우측 상단의 값을 감산하여 SAD를 산출함을 특징으로 하는 시차와 움직이는 물체가 있는 영상에 대한 실시간 모자익 영상 생성 방법.