KR20150127015A

KR20150127015A - 파노라마의 생성 방법

Info

Publication number: KR20150127015A
Application number: KR1020150152513A
Authority: KR
Inventors: 황성택; 오상욱; 김상호; 김현수; 권무식; 김지훈; 안호석; 이동창
Original assignee: 삼성전자주식회사
Priority date: 2015-10-30
Filing date: 2015-10-30
Publication date: 2015-11-16
Also published as: KR101603876B1

Abstract

본 발명에 따른 파노라마의 생성 방법은, 각각 피사체 방향이 다른 동일한 피사체를 포함한 다수의 영상들을 획득하는 과정과; 상기 다수의 영상들의 각각에서 상기 동일한 피사체에 대응하는 대상 영역을 추출하는 과정과; 인접한 대상 영역들에서 동일 부분들을 검색하는 과정과; 상기 동일 부분들에 근거하여 상기 인접한 대상 영역들을 결합함으로써 상기 동일 피사체의 파노라마를 생성하는 과정을 포함한다.

Description

파노라마의 생성 방법{METHOD FOR FABRICATING A PANORAMA}

본 발명은 파노라마 영상을 생성하기 위한 방법에 관한 발명으로서, 특히 카메라의 촬영 범위보다 작은 피사체의 다양한 부분들이 촬영된 다수의 영상들로부터 파노라마 영상을 생성하기 위한 방법에 관한 발명이다.

디지털 카메라는 촬영하고자 하는 피사체를 이미지 센서에서 전기적 데이터로 변환 저장하는 촬영 장치로서, 디지털 카메라로부터 휴대용 통신 단말기에 이르기까지 다양한 형태로 이용되고 있다. 상술한 디지털 카메라는 전기적 데이터로 변환함으로써 파노라마 영상을 생성하기 위한 프로그램을 내장하고 있다면 파노라마 영상의 촬영이 가능하다. 따라서, 근래의 디지털 카메라는 다양한 파노라마 영상을 지원하는 형태로 개발 및 보급되고 있다.

상술한 파노라마 영상은 카메라에서 촬영이 가능한 가로, 세로 비율의 영상의 가로, 세로 비율이 더 큰, 즉 세로보다 더 긴 가로를 가지는 영상을 말한다. 파노라마 영상은 카메라 화각보다 큰 대상(예를 들어 산, 바다와 같은 풍경의 피사체)을 촬영할 때 사용하거나 또는 움직임이 있는 동적인 대상 또는 한 대상의 여러 면을 동시에 한 영상에 표현하고자 할 때 사용된다.

상술한 파노라마 영상은 연속적으로 찍힌 다수의 정지 화상들을 이용해서 구성되거나 또는 동영상을 이루는 다수의 프레임들(frames)을 이용해서 구성될 수 있다. 그 외에도, 연속으로 찍은 영상을 이용해서 파노라마 영상으로 만들어주기 위한 별도의 파노라마 생성 프로그램들이 사용되기도 한다.

파노라마 영상을 생성하는 방법은 기 설정된 크기(w×h)의 연속적으로 촬영된 영상들을 순서대로 번호(예를 들어, 1~i, i~k)를 부여하는 과정과, 기준 영상(예를 들어, i번째 영상)의 우측에서 기 설정된 크기(m×h; m<w)의 영역을 추출하여 영상(R(i))을 만드는 과정과, 다음 번호 영상(i+1번째 영상)의 좌측에서 기 설정된 크기(n×h; n<w)의 영역을 추출하여 영상(L(i+1)을 만드는 과정과, L(i) 영상과 R(i+1) 영상에서 동일한 영역을 찾아내는 과정과, 동일 영역으로 찾은 부분을 기준으로 i번째 영상과 i+1번째 영상을 결합하는 과정과, 이 과정을 1번째 영상부터 k-1번째 영상까지 적용하는 과정을 포함한다.

위에서 설명한 파노라마 영상을 생성하는 방법은 정지 화상들을 이용한 파노라마 생성방법이고, 이하는 다수의 프레임들(frames)로 이루어진 동영상으로부터 파노라마를 생성하는 방법이다. 동영상으로부터 파노라마 영상을 생성하는 방법은 각 프레임의 중앙 부분 등과 같이 특정 영역을 계속 이어 붙이는 방법이다. 기 설정된 크기(w×h)의 연속적인 프레임들을 순서대로 번호(예를 들어, 1~i, i~k)를 부여하는 과정과, 기준 프레임(예를 들어, i번째 프레임)의 중앙에서 기 설정된 크기(m×h; m<w)의 영역을 추출하여 영상(M(i))을 만드는 과정과, 다음 번호의 프레임(i+1번째 프레임)의 중앙에서 기 설정된 크기(m×h; m<w)의 영역을 추출하여 영상(M(i+1))을 추출하는 과정과, M(i) 영상과 M(i+1) 영상을 결합하는 과정과, 이 과정을 1번째 프레임으로부터 k-1번째 프레임까지 적용하는 과정을 포함한다.

파노라마 영상을 생성하기 위한 방법은 촬영된 다수의 영상들 중에서 중앙에 있는 영상을 선택한 후, 선택된 영상의 전, 후에 위치된 영상들을 비교해서 동일 영역을 찾아내어 합성하는 방법이 일반적이다. 상술한 방법은 영상을 연속 촬영 시 카메라를 이동하여 차례대로 영상을 촬영하는 것을 전제로 한다. 상술한 전체 영상을 촬영하여 전체 영상의 파노라마 영상을 생성하는 것은 카메라 화각보다 큰 대상을 파노라마 영상으로 생성할 때는 가능하지만, 카메라 화각보다 작은 대상에 대해 파노라마 영상을 생성할 때는 적용이 용이하지 않다. 동영상으로부터 파노라마 영상을 생성하는 방법도 정지화상들로부터 파노라마 영상을 생성하는 방법과 동일한 문제가 있다.

즉, 종래의 파노라마 영상 생성 방법은 촬영 수단(카메라 등)의 화각보다 작은 영상(또는 동영상)에는 적용이 용이하지 않은 문제가 있다.

카메라 화각보다 작은 영상들로부터 파노라마 영상을 만드는 방법은 대상을 촬영한 영상에서 대상 부분만을 크롭핑(cropping)하여 따로 영상을 만들게 된다. 그러나, 상술한 방법으로는 동화상에 대해서 또는 대상의 여러 면을 촬영하여 대상의 여러 면을 하나의 파노라마로 영상으로 생성하는 것이 용이하지 않다. 더욱이, 상술한 방법은 움직임이 있는 동적인 피사체 또는 피사체의 다양한 부분을 촬영해야되는 경우는 하나의 파노라마로 적용할 수 없다.

본 발명은 촬영 수단의 화각보다 작은 피사체로부터 파노라마 영상을 생성할 수 있는 방법을 제공하고자 한다. 즉, 본 발명은 움직이는 피사체 또는 피사체의 다양한 형태를 하나의 화면으로 구성된 파노라마 영상의 생성 방법을 제공하고자 한다. 본 발명은 피사체를 다양한 각도에서 촬영한 영상들로부터 파노라마 영상을 생성할 수 있는 방법을 제공하고자 한다.

본 발명에 따른 파노라마의 생성 방법은,

(a) 파노라마 생성의 대상이 되는 피사체를 움직이면서 연속적으로 촬영함으로써 배경은 같고 피사체의 위치가 다른 다수의 영상들을 촬영하는 과정과;

(b) 상기 (a) 과정에서 촬영된 영상들 중에서 파노라마를 생성하기 위한 영상에 포함된 대상 영역의 크기와 위치를 결정하는 과정과;

(c) 상기 각 영상에서 대상 영역을 추출하는 과정과;

(d) 추출된 대상 영역들 중에서 인접한 대상 영역들 간의 동일 지점을 검색하는 과정과;

(e) 동일 지점을 기준으로 인접한 대상 영역들이 결합된 파노라마를 생성하는 과정을 포함한다.

본 발명은 촬상 수단의 화각보다 작은 피사체에 대해서 피사체를 움직이며 동영상을 촬영하거나 복수 개의 영상을 촬영 시 대상의 여러 면을 동시에 한 영상에 표현할 수 있는 파노라마 생성 방법을 제공할 수 있다. 즉, 본 발명에 따른 파노라마의 생성 방법은 촬상 수단을 고정한 상태에서 파노라마 촬영의 대상인 피사체를 움직이면서 촬영된 다수의 영상들로부터 파노라마를 생성함으로써 촬상 수단의 화각보다 큰 피사체의 파노라마 생성도 가능하다.

통상의 파노라마는 피사체가 산과 같이 풍경을 대상으로 하는 사진들로서, 특히 카메라의 촬영 범위를 넘는 거대한 피사체 전체를 영상으로 남기기 위한 방법이다. 반면에 본 발명은 다양한 면들 또는 다양한 입체감을 갖는 작은 크기의 피사체(카메라의 화각 또는 촬영 범위 이내에 포함되는 피사체)를 하나의 파노라마 영상으로서 다양한 형태를 하나의 영상으로 생성해 낼 수 있다.

도 1은 본 발명에 따른 파노라마 생성 방법을 설명하기 위한 순서도,
도 2는 도 1에 도시된 대상 영역의 크기 및 위치 산출의 방법을 설명하기 위한 순서도,
도 3은 본 발명에 따른 파노라마 생성 방법의 예를 설명하기 위한 도면.

이하에서는 첨부도면들을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다. 본 발명을 설명함에 있어서, 관련된 공지기능, 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하지 않게 하기 위하여 생략한다.

본 발명은 복수의 영상들 각각의 파노라마 생성을 위한 대상 영역을 선정하고, 선정된 대상 영역 각각의 위치와 크기를 산출하고 대상 영역을 추출하며, 추출된 대상 영역들 간 공동의 동일 지점을 산출하며, 산출된 동일 지점을 기준으로 대상 영역들을 연결함으로써 파노라마 영상을 생성하는 방법이다.

도 1은 본 발명에 따른 파노라마 생성 방법을 설명하기 위한 순서도이다. 도 1은 복수의 영상을 이용해서 촬상 수단의 화각(영역)보다 작은 대상(피사체)에 대한 파노라마 영상을 생성하기 위한 방법의 순서도이다. 본 발명에 따른 파노라마 생성은 촬영 시 카메라는 고정한 상태에서 피사체를 움직여서 촬영하고, 이때 얻어진 영상들을 이용해서 파노라마 영상을 생성한다. 따라서, 촬영된 영상들은 도 3에 촬영된 바와 같이 피사체의 형태는 다르나 동일한 배경을 갖는다. 즉, 도 3의 사진들(a 내지 d)은 피사체를 회전시키며 여러 각도에서 촬영된 영상들로서, 추출된 대상 영역들의 예이다. 이후, 촬영된 영상들 간의 차 영상을 이용해서 대상 영역의 크기 및 위치 정보를 산출한다. 상술한 대상 영역을 각 영상에 적용해서 각 영상에서의 대상 영역을 추출한다. 추출된 대상 영역들 중에서 인접한 영상들 간 동일 지점을 검출하고 동일 지점을 기준으로 각 대상 영역의 상대적인 위치를 선택해서 파노라마 영상으로 합성한다. 즉, 본 발명은 촬영 수단은 고정한 상태에서 피사체를 움직이며 다수의 연속적인 영상들을 촬영하고, 촬영한 영상들 각각에서 파노라마 영상을 생성하기 위한 영역을 결정하고 결정된 대상 영역들 중 인접한 영상의 대상 영역들 간 동일한 지점을 검출하고 동일 지점을 기준으로 대상 영역들을 결합해서 파노라마 영상을 생성한다.

본 발명에 따른 파노라마의 생성 방법은 (a) 파노라마 생성의 대상이 되는 피사체를 움직이면서 연속적으로 촬영함으로써 배경은 같고 피사체의 위치가 다른 다수의 영상들을 촬영하는 과정(S1)과, (b) 상기 (a) 과정(S1)에서 촬영된 영상들 중에서 파노라마를 생성하기 위한 영상에 포함된 대상 영역의 크기와 위치를 결정하는 과정(S2)과, (c) 상기 각 영상에서 대상 영역을 추출하는 과정(S3)과, (d) 추출된 대상 영역들 중에서 인접한 대상 영역들 간의 동일 지점을 검색하는 과정(S4)과, (e) 동일 지점을 기준으로 인접한 대상 영역들이 결합된 파노라마를 생성하는 과정(S5)을 포함한다.

도 2는 도 1에 도시된 대상 영역의 크기 및 위치 산출의 과정(S2)을 설명하기 위한 순서도이다. 즉, 도 2는 복수의 영상들 각각의 대상 영역의 크기 및 위치를 산출하는 과정을 설명하기 위한 순서도이다. 복수의 영상에서 동일하게 적용 가능하나, 도 2는 도 3과 같이 4장의 영상을 예로 들어 설명한다. 우선, 촬영된 순서대로 제1 및 제2 영상 간의 제1 차영상과, 제3 및 제4 영상의 제2 차영상을 산출한다. 상기 제1 및 제2 차영상은 인접한 영상들 간 화소별로 차이를 산출한 영상이다. 상기 제1 및 제2 차영상으로부터 합영상을 산출한다. 상기 합 영상은 두 차영상의 각 화소별 화소값을 더한 영상이다. 상술한 차영상들 간의 합영상은 대상 영역을 구하기 위해 다음의 과정을 거친다.

상기 (b) 과정(S2)은 (f) 인접한 영상들 간에서 차를 갖는 적어도 하나의 차 영상을 산출하는 과정(S21)과, (g) 차 영상들 간 합 영상을 산출하는 과정(S22)과, (h) 합 영상을 구성하는 화소의 최소 문턱값(Th)을 설정하는 과정(S23)과, (i) 화소 문턱값(Th)을 증가시키는 과정(S24; Th++)과, (j) 합 영상을 구성하는 화소들 중에서 문턱값 이상의 화소 위치(P)를 판단하는 과정(S25)과, (k) 합 영상의 모든 화소를 포함하는 최소 영역(A) 산출과정(S26)과, (l) 상기 (k) 과정에서 산출된 최소 영역(A)의 면적(AS)을 산출하는 과정(S27)과, (m) 상기 (l) 과정에서 산출된 최소 영역(A)과 문턱값(Th)이 변경되기 전 최소 영역(A) 간 크기를 비교하는 과정(S28)과, (n) 상기 (m) 과정(S28)에서 최소 영역(A)의 크기가 일정(예)하다면 최소 영역(A)을 대상 영역으로 선택하는 과정(S29)과, (o) 상기 대상 영역의 크기와 위치 정보를 산출하는 과정(S30)을 포함한다. 만약, 상기 (m) 과정(S28))에서 최소 영역과 문턱값이 변경되기 전 최소 영역 간 크기가 다른 경우(아니오)에, 상기(i) 내지(l) 과정을 반복한다.

상기 (h)과정(S23)에서 합 영상을 구성하는 화소의 최소 문턱값(Th)은 합영상을 구성하는 화소값 중 가장 작은 값을 문턱값으로 설정할 수 있다. 예를 들어 차영상에서 가질 수 있는 화소값이 0~255일 때, 최소 문턱값은 0으로 설정한다.

상기 (i)과정(S24)은 문턱값을 일정하게 증가시키는 과정이고, 상기 (j)과정(S25)은 합 영상을 구성하는 화소들 중에서 문턱값 이상의 화소 위치(P)를 판단하는 과정이다. 상기 (j)과정(S25)의 판단기준은 합영상에서 문턱값보다 큰 값을 가지는 화소는 1로, 문턱값보다 작은 값의 화소는 0으로 설정한다면, 상기 (j) 과정은 1을 갖는 화소(P)를 선택할 수 있다.

상기 (k)과정(S26)은 합 영상의 화소(P)를 모두 포함하는 최소 영역(A) 산출과정하는 과정이다. 상기 (l)과정(S27)은 상기 (k)과정(S27)에서 얻어직 최소 영역(A)의 면적을 산출하는 과정이고, 상기 (m) 과정(S28)은 상기 (l)과정(S27)에서 얻어진 최소 영역(A)의 면적(AS)을 문턱값을 변경하기 전 과정의 화소 영역과 비교하는 과정이다. 만약, 현재 최소 영역의 면적이 그 전의 최소 영역과 비교해서 일정한 경우(예)는 본 발명에서 얻고자 하는 대상 영역으로 결정(S29)될 수 있다. 반대로, 문턱값에 따라서 최소 화소의 면적이 다르다면 대상 영역으로 선택될 수 없으며, 이 경우(아니오) 상기 상기(i) 내지(l) 과정을 반복한다.

대상 영역이라면 문턱값의 변화되더라도 일정한 크기와 면적을 유지할 수 있다. 상술한 과정은 파노라마를 생성하기 위해 촬영된 각각의 영상들에 적용되며, 각 영상으로부터 얻어진 대상 영역들을 파노라마 생성에 이용한다.

S1: 다수의 영상들을 촬영하는 과정, S2: 대상 영역의 크기와 위치를 결정하는 과정, S3: 대상 영역을 추출하는 과정, S4: 인접한 대상 영역들 간의 동일 지점을 검색하는 과정, S5: 파노라마를 생성하는 과정

Claims

파노라마의 생성 방법에 있어서,
각각 피사체 방향이 다른 동일한 피사체를 포함한 다수의 영상들을 획득하는 과정과;
상기 다수의 영상들의 각각에서 상기 동일한 피사체에 대응하는 대상 영역을 추출하는 과정과;
인접한 대상 영역들에서 동일 부분들을 검색하는 과정과;
상기 동일 부분들에 근거하여 상기 인접한 대상 영역들을 결합함으로써 상기 동일 피사체의 파노라마를 생성하는 과정을 포함함을 특징으로 하는 파노라마 생성 방법.
제1항에 있어서,
상기 다수의 영상들의 각각은 동일한 배경 및 피사체 방향이 다른 동일한 피사체를 포함함을 특징으로 하는 파노라마 생성 방법.
제1항에 있어서,
상기 획득 과정은, 상기 동일한 피사체를 이동시키면서 카메라를 이용하여 상기 다수의 영상들을 촬영하는 과정을 포함함을 특징으로 하는 파노라마 생성 방법.
제1항에 있어서,
상기 획득 과정은, 상기 동일한 피사체를 회전시키면서 고정된 카메라를 이용하여 상기 다수의 영상들을 촬영하는 과정을 포함함을 특징으로 하는 파노라마 생성 방법.
제1항에 있어서,
상기 다수의 영상들 중에서 인접한 영상들 간의 차 영상을 이용하여 상기 대상 영역의 크기 및 위치를 결정하는 과정을 더 포함함을 특징으로 하는 파노라마 생성 방법.
제5항에 있어서,
상기 차 영상은 상기 인접한 영상들 간 화소 차이들을 산출함으로써 획득됨을 특징으로 하는 파노라마 생성 방법.
제1항에 있어서,
상기 다수의 영상들 중에서 인접한 영상들 간의 차 영상들을 산출하는 과정과;
상기 차 영상들의 합 영상을 산출하는 과정과;
상기 합 영상을 이용하여 상기 대상 영역의 크기 및 위치를 결정하는 과정을 포함함을 특징으로 하는 파노라마 생성 방법.
제7항에 있어서,
상기 차 영상은 상기 인접한 영상들 간 화소 차이들을 산출함으로써 획득됨을 특징으로 하는 파노라마 생성 방법.
제1항 내지 제8항 중 어느 한 항의 파노라마 생성 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
제1항 내지 제8항 중 어느 한 항의 파노라마 생성 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 구비한 디지털 카메라.
제1항 내지 제8항 중 어느 한 항의 파노라마 생성 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 구비한 휴대용 통신 단말기.