KR100796849B1

KR100796849B1 - 휴대 단말기용 파노라마 모자이크 사진 촬영 방법

Info

Publication number: KR100796849B1
Application number: KR1020060084880A
Authority: KR
Inventors: 박경주; 조성대; 김수균; 문재원; 조남익; 이상화; 구형일; 하성종
Original assignee: 삼성전자주식회사; 재단법인서울대학교산학협력재단
Priority date: 2006-09-04
Filing date: 2006-09-04
Publication date: 2008-01-22
Also published as: US8249390B2; US20080056612A1; US7881559B2; US20110069149A1

Abstract

본 발명은 파노라마 모자이크 사진 촬영 방법에 있어서, 파노라마 모자이크 사진을 구성하는 각 영상들의 촬영시에 이전 촬영된 영상의 일부 영상을 가이드 영상으로 하여 현재 촬영하려는 영상의 뷰어에 나타내며, 촬영 조작에 따라 파노라마 사진을 구성하는 다수의 영상들을 촬영하는 과정과, 정수 연산만으로 촬영한 영상들을 공통의 원통형(cylinder) 곡면으로 투영하는 과정과, 투영한 각각의 영상들을 하나의 영상으로 연결하는 과정을 수행한다.

파노라마, 투영, 정렬, 스티칭

Description

휴대 단말기용 파노라마 모자이크 사진 촬영 방법{METHOD FOR PHOTOGRAPHING PANORAMA MOSAICS PICTURE IN MOBILE DEVICE}

도 1은 2차원 영상을 원통형 곡면위로 투영하는 상태를 나타낸 도면

도 2는 본 발명이 적용되는 휴대 단말기의 블록 구성도

도 3a, 3b는 본 발명의 일 실시예에 따른 파노라마 모자이크 사진 촬영시 처리 과정의 흐름도

도 4는 본 발명에 따른 파노라마 모자이크 사진 촬영시 각 촬영 영상간의 관계를 나타낸 도면

도 5는 본 발명에 따른 파노라마 모자이크 사진 촬영시 뷰어 화면의 예시도

도 6은 본 발명에 따른 파노라마 모자이크 사진 촬영시 원통형 곡면위로 투영된 영상의 중심에 따른 대칭 구조를 나타낸 도면

도 7은 제곱근 연산을 정수연산으로 구현하는 개념도

도 8은 밝기 보정에 따른 입력 영상 및 출력 영상의 예시도

도 9는 본 발명에 따른 파노라마 모자이크 사진 촬영시의 각 영상간 영상 육각형 검색에 의한 로컬 정렬의 개념도

도 10은 본 발명에 따른 파노마라 모자이크 사진 촬영시 각 영상간 동적 프로그램에 따른 누적 오차 함수의 갱신 상태를 나타낸 예시도

본 발명은 디지털 카메라를 비롯하여 카메라 모듈을 구비한 이동통신 단말기와 같이 디지털 영상의 촬영 기능을 구비한 다양한 휴대용 복합 장치에서 디지털 영상 촬영에 관한 것으로서, 특히 파노라마 모자이크 사진 촬영 방법에 관한 것이다.

통상적으로 디지털 영상 촬영 장치에서 영상을 획득할 수 있는 촬영부는 렌즈의 초점거리에 맺히는 영상을 획득할 수 있다. 이때 획득한 영상은 사람의 시각범위(약 150 ~　200 deg.)보다 작은 화각(일반적인 카메라에서는 약 30 ~ 50deg.) 범위이다. 따라서 여러 장의 장면들을 각각 촬영하고 촬영한 영상들을 퍼즐을 맞추듯이 순서적으로 연결함으로써 하나의 커다란 영상으로 재구성하여 사람의 시야각과 비슷하게 또는 그 이상을 얻도록 하는 기법을 파노라마 모자이크 사진 촬영 방식이라 한다.

파노라마 모자이크 사진 구성을 위해서는 연속으로 취득된 영상들간에 조금씩 중첩된 영역이 존재하도록 하여야 하며, 이러한 중첩 영역을 이용하여 하나의 동일한 평면 또는 곡면 위에 영상들을 투영변환하여 연결하게 된다. 그리고 중첩되어 연결된 영상간의 경계를 결정하는 스티칭(stitching) 과정과, 경계 영역의 밝기 및 색감을 자연스럽게 처리해주는 블렌딩(blending) 과정을 수행하게 된다. 파노라마 모자이크를 구현하기 위해서는 기하학적 카메라 투영 모델, 특징점 및 대응관계 추출, 투영변환행렬의 추정 및 영상 변환, 영상의 경계영역 추정, 그리고, 영상혼합과 같은 컴퓨터비전 및 영상처리 기법들이 필요하다.

이러한 파노라마 모자이크 기술은 다양한 영상처리 및 컴퓨터비전 기술로 구성되어 있으며, 세부적으로도 다양한 기법들이 알려져 있다. 카메라 모델 및 기하학적 투영에 의한 투영변환은 모든 모자이크 알고리즘에서 공통적으로 요구되는 기술이지만, 투영변환 행렬을 추정하는 과정과 스티칭, 그리고 블렌딩 기법들은 다양한 기술이 존재한다.

우선 영상간의 투영변환 행렬을 추정하기 위해서는 영상에서 특징점을 추출하고 영상간의 대응관계를 찾아내어 변환행렬을 추정한다. 이때, 특징점을 추출하는 방법으로는 에지(edge)나 구석점과 같은 고전적인 특징점을 추출하기도 하고, 블록정합과 같은 움직임 추정기법으로 대응관계를 바로 유도할 수도 있다. 최근에는 SIFT(Scale Invariant Feature Transform)라는 보다 우수한 특징점 추출 기법을 이용하여 더욱 정확하고 안정적으로 영상간의 대응관계 및 변환관계를 유도하고 있다. 그러나, 이러한 특징추출 및 투영변환 추정은 많은 계산과 부동소수점 연산이 필요하기 때문에, 휴대 단말기와 같이 제한적인 연산능력을 갖는 시스템에서는 실시간으로 구현되기가 어렵다.

일단 영상간의 변환행렬이 구해지면, 각 영상을 동일한 모자이크 평면이나 곡면에 재투영한다. 보통 모자이크된 영상은 원통형의 곡면 위에 투영되는데, 이는 파노라마 영상을 만들기 위하여 취득되는 연속적인 영상들이 카메라의 방향을 원형으로 회전하면서 원통형의 구조를 구성하기 때문이다. 2차원의 평면 영상을 3차원 공간의 원통 곡면 위에 투영하는 관계식은 일반적으로 하기 수학식 1과 같다.

상기 수학식 1에서

는 초점거리이고,

은 원통 곡면의 반지름으로서, 보통 초점거리와 반지름은 비슷하도록 설정한다. 도 1은 2차원 영상을 원통형 곡면위의 투영하는 과정을 보여주고 있다.

각 영상을 동일한 곡면 위에 투영하면, 영상간에 중첩이 된다. 이 중첩되는 부분을 어떻게 처리하느냐가 파노라마 모자이크에서 매우 중요한 스티칭 기술이 되는데, 보통 두 가지 방법으로 나눌 수 있다. 하나는 중첩된 두 영상을 적절히 혼합하는 방법이고, 다른 하나는 중첩된 부분에서 두 영상의 경계를 결정하여 두 영상을 구분하는 방식이다. 두 영상을 혼합하는 방식은 동일한 화소에 겹친 두 영상의 값을 가중 평균하여 파노라마 영상을 구하는데, 중첩된 영역에서 영상의 번짐(blurring) 현상이 발생한다. 두 번째 경계를 결정하는 스티칭 방식은 중첩된 영역에서 각 영상의 경계를 결정하는 것으로서, 두 영상의 경계가 자연스럽게 연결되는 최적의 화소 경로를 찾는 과정이다. 영상의 경계를 결정하면, 두 영상간의 밝기 및 색상의 급격한 변화를 감소시켜주는 영상혼합(blending) 과정이 필요하다. 보통, 영상의 경계를 중심으로 선형적인 투명도를 정의하여 두 영상을 혼합한다. 영상 전체의 노출 보정을 위해서 다중 주파수 대역 별로 다른 투명도를 갖고 영상혼합을 수행하기도 한다.

상기한 바와 같이, 일반적인 파노라마 모자이크 알고리즘들은 특징점 및 영상간의 대응점 추출을 통하여 정확한 투영변환행렬을 구한다. 그리고 더욱 정확한 영상변환을 수행하기 위하여 투영변환행렬을 최적화하는 과정을 거친다. 그러나 일반적인 컴퓨터 환경에서 소프트웨어적으로 이러한 모든 과정을 처리하는 것은 아무런 문제가 없지만, 휴대 단말기와 같은 제한적인 하드웨어에서는 실시간으로 이러한 모자이크 과정을 구현하는 것은 현재 시스템 수준으로는 매우 어렵다. 복잡한 부동소수 연산이 필요하고, 최적화를 위한 반복적인 연산과 메모리가 많이 요구되기 때문이다. 그러므로 기존에 알려진 많은 파노라마 모자이크 알고리즘들이 소프트웨어적으로 매우 우수한 결과를 보여주고 있지만, 실제 디지털 카메라나 휴대 단말기 등에서 거의 채용되지 못하고 있는 상태이다.

또 한가지 문제점은 기존의 알고리즘들에서 공통적으로 적용하는 특징점 및 대응관계 추출에 있어서 영상간에 적절한 특징점이 추출되지 않는 경우에는 대응관계를 통한 투영변환행렬을 구할 수 없기 때문에, 파노라마 과정을 전혀 수행할 수 없다. 즉, 파노라마를 수행하고자 하는 영상의 내용에 따라서 파노라마 결과가 달라진다는 불안정한 면이 기존 알고리즘들의 공통적인 한계이다.

따라서, 본 발명의 목적은 디지털 영상의 촬영 기능을 구비한 휴대 단말기에서 실시간으로 파노라마 모자이크 알고리즘을 수행이 가능하도록 하기 위한 휴대 단말기용 파노라마 모자이크 사진 촬영 방법을 제공함에 있다.

상기한 목적을 달성하기 위하여, 본 발명에서는 휴대 단말기의 제한적인 하드웨어 구조를 고려하여, 기존의 파노라마 모자이크 알고리즘에서 요구되는 부동소수 연산을 정수연산 프로그램으로 변환하여 알고리즘을 설계하도록 하고, 특징점 및 대응관계 추출 과정을 파노라마 시스템의 사용자와의 상호작용을 이용하여 부동소수 연산과정을 최소화하고 모자이크 시스템의 안정감을 높이도록 한다. 또한, 파노라마 시스템의 사용자 시나리오(scenario)를 작성하여 조건부적인 상황에서 최고의 결과가 나오게 한다. UI(User Interface) 로 사용자에게 특정한 방식으로 입력 영상들을 촬영하도록 하고, 본 발명의 파노라마 알고리즘은 이와 같이 사용자에 의해 특정한 방식으로 촬영된 것을 가정하고 결과 파노라마 생성과정을 수행하게 된다.

우선 특징점 및 대응관계 추출 과정을 생략하면서 비교적 정확한 투영변환 행렬을 추정하기 위하여 파노라마 뷰파인더를 카메라 시스템에 내장시킨다. 이전에 촬영한 영상의 일부가 일정하게 카메라의 LCD(Liquid Crystal Display) 패널에 재투영되어 보임으로써, 다음 영상을 중첩이 되도록 취득할 수 있고 연속된 영상간의 투영변환행렬을 회전변환으로 근사화 할 수 있도록 한다.

즉, 본 발명에서는 카메라 시스템의 하드웨어적인 특성 및 사용자 시나리오(예: 사용자와 카메라의 거리가 일정한 범위의 오차 이내임)를 이용하여 재투영 관계식을 작성한다. 또한 사용자가 패널에 보이는 가이드 영상에 어느 정도 맞추어서 촬영한다는 조건 하에서 이전 영상과 현재 촬영하는 영상의 대응관계를 재투영 관계식으로 초기화한다.

또한, 영상을 투영변환하기 위해서 필요한 제곱근 연산과정은 정수연산 프로그램으로 변환하고, 영상의 대칭 구조를 이용하여 유사한 연산과정 및 메모리 사용량을 감소시킨다. 영상의 경계를 결정하는 스티칭 과정에서는 정수연산 과정으로 최적화를 수행하기 위하여 동적 프로그램 기법을 이용하여 최적화 알고리즘을 구현한다.

이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.

도 2는 본 발명이 적용되는 휴대 단말기의 블록 구성도로서, 본 발명에서는 디지털 영상 촬영 기능을 구비할 수 있는 다양한 장치들 중에서 도 2에 도시된 바와 같이, 휴대 단말기를 예로 들어 본 발명이 적용될 수 있는 하드웨어적인 기반 장치에 대해 설명하도록 한다. 본 발명은 통상적인 디지털 카메라에 비해 휴대 단말기와 같이 그 휴대성이 보다 중요하게 고려되며 좁은 화각을 가지는 장치에 적용될 경우에 보다 효과적일 수 있다.

도 2를 참조하면, 본 발명이 적용되는 디지털 영상 촬영 기능을 구비한 휴대 단말기는 카메라 모듈(20), 영상 처리부(22)를 비롯하여, 표시부(24), 제어부(14), 메모리부(16), 키입력부(18), 무선부(10), 무선데이터 처리부(12)를 포함한다.

무선부(10)는 사용자의 음성, 문자 및 제어 데이터를 무선 신호로 변조하여 이동통신망의 기지국(미도시)으로 송신하고, 기지국으로부터 무선 신호를 수신하여 음성, 문자, 제어 데이터 등으로 복조하여 출력한다. 무선데이터 처리부(12)는 제어부(14)의 제어하에, 상기 무선부(10)에서 수신한 음성 데이터를 디코딩하여 스피커(speaker)를 통해 가청음으로 출력하며, 마이크로폰(microphone)으로부터 입력되는 사용자의 음성신호를 데이터화하여 무선부(10)로 출력하며, 무선부(10)를 통해 입력된 문자, 제어 데이터를 제어부(14)로 제공한다.

카메라 모듈(20)은 제어부(14)의 제어하에 일반적인 디지털 카메라 기능을 수행하여, 외부 촬영 대상으로부터 입력되는 가시광을 촬영하게 된다. 이러한 카메라 모듈(20)은 CCD 촬상 소자 등으로 구성되는 촬영부(202)와, 조도 측정을 위한 조도 센서(204), 피사체와의 초점거리 측정을 위한 거리 센서(206) 등을 구비한다. 영상 처리부(220)는 카메라 모듈(20)에 출력되는 영상 데이터를 처리하여 적절한 포맷의 디지털 영상 데이터로 변환한다.

키입력부(18)는 사용자로부터 전화 번호 또는 문자를 입력받기 위한 장치로서, 숫자 및 문자 정보를 입력하기 위한 키들 및 각종 기능을 설정하기 위한 기능키들을 구비하며, 이의 입력 신호를 제어부(14)로 출력한다. 표시부(24)는 액정표시장치(Liquid Crystal Display :LCD) 등과 같은 표시장치로 이루어질 수 있으며, 제어부(14)의 제어하에 해당 단말기의 각종 동작 상태에 대한 메시지를 비롯하여 촬영한 디지털 영상 데이터를 표시한다.

제어부(14)는 상기 각 기능부들의 동작을 총괄적으로 제어하여 이동통신 단말기의 전반적인 동작을 제어하는 기능을 수행한다. 즉, 제어부(14)는 키입력부(18)를 통해 입력된 번호 및 메뉴 선택 신호에 따른 처리를 수행하고, 카메라 모듈(20)을 통해 외부 촬영 신호를 입력받고 그에 따른 처리를 수행하며, 카메라 촬영 영상을 비롯한 각종 동작에 필요한 영상 출력 신호를 표시부(24)를 통해 출력하게 된다. 이때 필요에 따라 메모리부(16)에 저장된 출력할 내용을 가지고 오거나, 또는 그 내용을 메모리부(16)에 저장한다. 메모리부(16)는 제어부(14)의 동작 관련된 다수의 프로그램과 데이터를 저장하고 있으며, 또한 휴대 단말기의 사용시에 필요한 정보 및 카메라 촬영 영상 정보를 저장하는데 사용된다.

이러한 구성을 가지는 휴대 단말기는 카메라 기능을 포함하여 통상적인 이동통신 서비스 관련 동작을 수행하며, 이때 상기 제어부(14)는 상기의 기능 외에도 본 발명의 특징에 따른 파노라마 모자이크 사진 촬영 동작을 수행하게 된다. 아울러, 메모리부(16)에는 본 발명의 특징에 따라 제어부(14)에서 파노라마 모자이크 사진 촬영 동작을 위한 동작 프로그램 및 관련 정보들을 저장하며, 필요시 제어부(16)로 이에 대한 정보를 출력하게 된다.

도 3a, 3b는 본 발명의 일 실시예에 따른 파노라마 모자이크 사진 촬영시 처리 과정의 흐름도이다. 먼저 도 3a를 참조하면, 본 발명에 따른 파노라마 모자이크 사진 촬영시 처리 과정은 파노라마 모드 영상 촬영(a), 파노라마 원통 곡면에 재투영(b), 영상 경계 결정(c), 영상혼합(d)으로 구분할 수 있다.

1) 파노라마 모드 영상 촬영

파노라마 모자이크 사진을 구성하는 각 영상들의 촬영시에 이전 촬영된 영상의 일부 영상을 가이드 영상으로 하여 현재 촬영 영상의 LCD 뷰어에 나타내며, 사용자의 촬영 조작에 따라 파노라마 모자이크 사진을 구성하는 다수의 영상들을 촬영하는 과정이다(도 3b의 30단계).

휴대 단말기의 파노라마 촬영 모드가 선택되면, 연속적으로 영상을 찍는 과정에서 바로 직전에 촬영된 영상의 일부가 LCD 뷰어에 나타난다. 사용자가 이 뷰어를 통하여 보여지는 직전 영상의 일부분이 현재 촬영하고자 하는 영상의 실상과 잘 겹쳐지도록 카메라 위치를 설정하고 영상을 찍으면, 파노라마 모자이크를 수행하기 위한 영상들을 얻게 된다. 이렇게 얻은 영상들은 뷰어에서 재투영되어 보이는 부분만큼 서로 중첩되어 있으며, 일정한 각도의 회전 변환으로 영상간의 투영행렬을 근사화하는 것을 가능하게 한다.

2) 파노라마 원통 곡면에 재투영

파노라마 모드로부터 영상을 취득하면, 영상의 특징 추출 및 영상간의 투영변환 추정을 거치지 않고 회전변환행렬로 투영변환을 근사화할 수 있다. 그리고 근사화된 투영변환행렬에 의하여 각각의 영상은 공통의 원통형(cylinder) 곡면으로 재투영된다(도 3b의 32단계).

3) 영상 경계 결정

원통곡면에 재투영된 영상들은 일정한 부분씩 중첩되어 있는데, 스티칭 과정은 중첩된 영역에서 가장 자연스러운 경계를 찾는 과정이다. 본 발명에서는 우선 육각형 검색(hexagonal search) 기법으로 중첩된 영상을 국소적으로 이동시켜서 최적의 위치를 정한다(도 3b의 34단계). 그리고 중첩된 영역에 대하여 동적 프로그래밍(dynamic programming) 기법을 이용하여 스티칭을 수행하여 중첩된 영상들을 가장 자연스럽게 연결하는 경계를 결정한다(도 3b의 36단계).

4) 영상혼합

스티칭을 통하여 정해진 영상의 경계 영역을 중심으로 밝기 및 색감의 급격한 변화를 제거하여 자연스러운 하나의 영상으로 보이도록 하는 블렌딩 과정을 수행한다. 일반적으로 경계를 중심으로 선형적으로 투명도를 정의하여 두 영상을 합성한다(도 3b의 38단계).

이하 첨부 도면을 참조하여 상기한 바와 같은 본 발명에 따른 파노라마 모자이크 사진 촬영 동작의 각 과정에 대해 보다 상세히 설명하기로 한다.

(1) 파노라마 모드 영상 취득 및 파라미터 추정

파노라마 사진 촬영시에 첫 번째 영상은 사용자가 자유롭게 찍도록 한다. 첫 번째 영상에서 사용된 초점거리를 카메라에서 얻어

라고 두며 다음 영상부터는 모두 초점거리가

가 되도록 한다. 그리고 두 번째 영상부터는 이전 영상에 대해서

만큼 회전하도록 한다. 그렇게 하면 첫 번째 영상과 두 번째 영상의 관계는 도 4와 같이 표시될 수 있다.

영상의 중심을 원점으로 두었을 때 두 영상 좌표간의 변환 관계는 2D- homography를 이용해서 나타낼 수 있으며 구체적으로 하기 수학식 2와 같다.

따라서, 파노라마 모자이크 사진의 촬영시에 각 영상을 왼쪽에서 오른쪽으로 회전하면서 찍는 것을 예로 들 경우에, 도 5에 도시된 바와 같이, 첫 번째 영상의 오른쪽 일부(502)를 이 변환을 이용해서 워핑(warping)한 후 두 번째 영상을 촬영할 때 뷰어를 통해 그 일부를 가이드 영상(504)으로서 보여주면, 사용자가 이 경계를 맞추어 주는 과정에서 자연스럽게 초점 거리

에 회전 각도가

인 영상을 얻게 된다. 이 과정은 제한 없이 반복될 수 있으며 최종적으로

,

의 추정값과 n장의 이미지를 얻을 수 있다. 이때, LCD 패널에 재투영되는 영상(즉, 가이드 영상)은 반투명 형태로 보여줌으로써, 사용자가 더욱 정확하게 위치를 맞출 수 있도록 구성될 수 있다.

이러한 방식에 따라, 본 발명에서 구현하고 있는 파노라마 뷰어는 일반적인 모자이크 기법들에서 채택하는 몇 가지 과정을 생략할 수 있도록 하여 제한된 하드웨어에서 파노라마 모자이크를 구형할 수 있도록 한다. 즉, 일반적인 종래의 모자이크 기술에서는 영상의 특징점 추출과 특징점의 대응관계 추정, 그리고, 대응관계를 이용하여 최적화된 영상간의 투영변환행렬 추정을 수행하여 모자이크를 처리한다. 그러나, 본 발명에서 고안된 파노라마 뷰어에 의하면, 이러한 과정 및 그에 수 반되는 복잡한 연산처리를 생략하면서 고정적으로 근사화된 투영변환행렬을 유도할 수 있다. 뷰어에서 보여지는 영상이 영상의 수직축으로 회전된 것으로 재투영되기 때문에, 뷰어에 투영된 영상과 실제사물을 맞추는 과정에서 영상과 실사와의 변환은 회전 변환으로 근사화할 수 있다.

그리고 뷰어에 의하여 구해진 그 회전변환행렬은 종래의 기술에 의하여 최적으로 구해지는 것보다 다소 부정확할 수 있지만, 이의 오차 정도는 큰 문제를 발생시키지 않으며, 더욱이 일부 오차는 후술할 로컬 정렬(local alignment) 기법으로 극복할 수 있다.

이전 영상의 일부를 변환하여 다음 영상을 촬영할 때 보여주는데 있어서 위의 방법 이외에 또 하나의 방법이 있을 수 있다. 그것은 바로 원통형 곡면에 투영을 했다가 평행이동 후 다시 2차원 평면 뷰 파인더로 재투영하는 방식이다. 파노라마를 수행할 면은 원통형 곡면이다. 카메라를 현재 위치에서

만큼 회전하여 영상을 획득하였고 그 영상을 붙이기 위해 반지름이

인 원통형 곡면에 투영하려고 하면이 영상이 투영되어야 하는 곳은 이전 투영된 영상에서곡면을 따라

만큼 떨어진 곳이다. 다시 말해 곡면상에서 투영된 영상들의 관계는 단순한 좌우 평행이동이다. 앞서 언급한 방법은 바로 이 특성을 이용하는 것이다. 영상을 촬영할 때 뷰 파인더의 왼쪽 부분에 보여주게 되는 것은 이전 영상의 오른쪽 부분이다. 그러므로 앞서 언급한 방법은 투영된 이전 영상을

만큼 왼쪽으로 평행이동 시킨 후 겹치는 영역에 대해서 다시 평면으로 재투영하는 방법이다.

(2) 파노라마 모자이크 원통공간으로의 재투영

여러 장의 이미지를 하나의 이미지로 만들기 위해서는 적절한 면(surface)으로 영상을 모두 투영해주어야 한다. 본 발명에서 사용한 면은 원통형 곡면(cylinder)이다. 표기의 편의를 위해서 3차원 공간상의 점은

를 써서 표현하고 영상의 점은

를 써서 표현하기로 한다. 영상 좌표계는 영상의중심을 원점으로 잡은 좌표계이다. 그리고 영상

의 폭은

, 높이는

라고 표기하며,

위치의 화소는

를 써서 표현한다.

가 정수일 때는 정확하게 그 화소의 값을 나타내며 실수일 경우에는 주변 4 화소로부터 선형보간(linear interpolation)한 결과를 나타내기로 하자.

- 모자이크 공간으로의 투영

3차원 공간 좌표인

를 반지름이

인 원기둥 좌표(cylindrical coordinate)

으로 변경하는 식은 하기 수학식 3와 같다.

카메라의 중심을 3차원 공간 좌표의 중심으로 두고 카메라가

축을 바라보고 있다고 하면 카메라의

축 회전은 원통형 곡면의 파노라마에서 수평 방향 평행 이동에 대응된다. 삼차원 상의 점

는 영상과 원기둥 좌표의 점에 하기 수학식 4와 같이 대응된다.

따라서 촬영된 영상위의

는 원기둥 좌표 상의

에 대응된다. 반대로 원기둥 좌표 상의 점

는. 이미지 상의

에 대응된다. 따라서 원기둥 상의 점

는

가 된다.

이와 같이, 구해지는 방식은 종래의 기술과 유사할 수 있다. 그러나, 제한된 하드웨어 수준에서는 이러한 연산을 실시간으로 수행하는 것이 불가능하기 때문에 본 발명에서는 상기 수식들을 후술하는 바와 같이 변형하여 정수 연산이 가능하도록 하고, 대칭구조를 이용하여 계산량 및 메모리를 절감할 수 있는 기법을 제안한다.

- 발명에 의한 실제 구현

원기둥(cylinder)의 투영된 결과를 백 프로젝션(back-projection) 방법을 사용해서 얻는다면 그 결과는 상기한 바와 같이, 하기 수학식 5과 같이 되어 원기둥 위의 임의의 점에 대해서 올바른 화소값을 얻을 수 있다.

하지만 상기 수학식 5는 고정 소수점(fixed-point) 연산만으로는 구현하기 힘들다.

와

이 미리 주어져 있는 값이 아니기 때문에 룩업 테이블(look-up table)을 사용하는 방법도 적절하지 않다. 따라서 본 발명에서는 기존의 부동소수 연산으로 구현하는 문제를 극복하기 위하여 상기 수학식 5를 하기 수학식 6과 같이 근사화하여 고정 소수점 연산에 적합하도록 변형한다.

이후 상기 수학식 6에서

로 근사하면, 원기둥 좌표의

점은 하기 수학식 7과 같이 이미지 상으로 표현할 수 있다.

상기 수학식 7과 같은 근사식의 최대 장점은 실수 연산 없이 구현될 수 있다는 점이다. 제곱근 식은 실수연산 없이 계산할 수 있다. 따라서 부동 소수점 연산이 불가능한 경우에 훨씬 경제적으로 구현될 수 있다. 한편

은 출력 이미지의 배율이 입력 영상의 배율과 거의 같도록 하기 수학식 8와 같이 정의하였다.

원기둥 위에 투영된 영상을 얻기 위해서는 대략적으로

가

,

을 만족하는 범위에서 하기 수학식 9의 값을 계산하는 것이다.

이를 수행하는 과정을 의사 코드(pseudo-code)로 나타내면 하기 표 1과 같 다. 아래 코드에서

의 값은 위에서 언급한 대로

개의 화소를 사용해서 선형 보간된 결과이며, 이는 고정 소수점 연산을 사용하여 이루어진다.

원기둥에 투영시키는 알고리즘 : Bresenham type algorithm을 사용하여 정수 연산만으로

의 표를 만든다.

For

Compute

using symmetry. End

End

대칭 구조 부분에 대해 좀더 언급하면 도 6에서 보는 것처럼 영상의 중심을 원점으로 보았을 때, 원통형 곡면의

에 해당하는 화소값은 위에서 언급한

계산과정을 거쳐 2차원 평면에서

의 화소값을 가져온다. 그런데,

,

에 해당하는 화소값들은

계산과정 없이

과의 y축 대칭, x축 대칭, 원점 대칭을 이용해

,

의 화소값을 가져오는 것이다.

한편, 정수 연산만으로

의 표를 만드는 과정을 간략하게 설명하면 다음과 같다.

라고 놓았을 때 양변을 제곱하면

이 되어 원의 방정식이 된다. 일반적으로

와

는 실수값을 갖지만 이미지 상에서 원을 나타내기 위해서는 도 7에서 보는 것처럼

와

가 항상 정수이어야 한다. 브레젠헴 알고리즘(Bresenham type algorithm)은 바로 이 점을 이용한 것이고 본 발명에서는 정수 연산만 가지고 제곱근을 구하기 위해 이 알고리즘을 도입하였다.

먼저, 에러 함수를 하기 수학식 10과 같이 정의한다.

와

가 원 위에 존재할 경우, 위에서 정의한 에러 함수의 값은

이 된다.

와

가 원 위에 있지 않을 경우, 원에 가까울수록 에러 함수의 값은

에 가까운 값이 된다. 도 7을 참조하면,

의 값은 항상 1씩 증가하는 반면에

의 값은 이전 값과 같거나 이전 값보다 1이 작은 값이다. 이러한 특징을 이용하여

를 1씩 증가시키면서 에러 함수에

와

-1 대입하여 두 값을 비교한 후 에러 함수 값을 더 작게 만드는

값을 취한다. 이러한 방식을 정리하여 코드(pseudo-code)로 나타내면 하기 표 2와 같다.

와

의 초기값 즉,

와

는 각각 0과

이다. 이는 도 7에서 검은색에 해당하는 위치이다. 다음 픽셀의 위치를 찾기 위해 검은색 픽셀 위와 위의 왼쪽에 해당하는 좌표의 값을 위에서 정의한 에러 함수에 넣어 두 값을 비교한다. 즉,

에는 1을,

에는

과

-1을 넣어 에러 함수의 값을 비교한다. 두 에러 함수의 값 중 더 작은 값의

값을

값으로 취한다. 그림의 경우는

가

이 된다. 이런 방식으로 계속해서 구해 나가다 보면 각

에 해당하는

값이 나오게 된다. 그렇게 되면 square root를 직접적으로 구할 필요 없이

에 들어 있는

값만 넣어주면 바로 해당하는

값 즉,

값을 알 수 있다.

(3) 컬러(color) 및 밝기(luminance) 보정

동일한 카메라를 이용하여 영상을 취득하더라도 촬영방향이나 각도가 틀려지면 빛의 양이 틀려지게 되어, 각 영상의 밝기 및 색감이 틀려진다. 이러한 차이는 영상을 모자이크하고 블렌딩을 거치더라도 영상의 경계가 선명하게 드러나게 하기 때문에 매우 전체 영상이 어색해 보이는 원인이다. 이러한 문제를 해결하기 위하여 본 발명에서는 컬러 및 밝기 조정을 수행하여 영상간의 밝기 차이를 제거한다.

즉, 투영변환에 의하여 중첩된 영상 영역에 대해서 두 영상의 밝기 차이를 측정한다. 이때에 동일한 위치의 화소를 비교함으로써, 밝기의 차이를 계산할 수 있다. 이렇게 측정된 밝기 차이를 이용하여 두 영상의 밝기 및 색상이 비슷해지도록 조정을 한다.

본 발명에서 제안한 밝기 조정에 의하면, 노출 차이에 의하여 급격한 밝기 차이를 갖는 영상들이 비슷한 수준의 컬러 및 휘도 성분을 갖게 되어 자연스러운 모자이크 합성이 가능해진다.

이런 밝기 조정은 종래에 사용된 예가 있지만, 본 발명에서는 정렬을 위하여 밝기를 계산하여 표준화시킨다는 점에서 그 차이가 있다. 도 8에서는 영상의 밝기를 조정한 입력 영상(a)과 결과 영상(b)을 보여준다.

(4) 육각형 검색(Hexagonal Search)을 이용한 로컬 정렬(local alignment)

초점거리

에 대해서는 상당한 정확도를 기대할 수 있지만 회전 각도

는 촬영 환경과 사용자에 따라 달라지는 값으로 상당한 오차를 가지고 있다고 보아야 한다. 이 값을 보정해주기 위해서 로컬 정렬이 필요하다. 더군다나 오차는

축 회전만 있는 것이 아니라

축 회전도 있을 수 있다. 하지만 일반적으로

축 회전은 상대적으로 작은 값으로 원기둥에 투영된 결과를 평행이동하는 것만으로 로컬 정렬을 수행할 수 있다. 최적의 로컬 정렬 결과를 얻기 위해서는 이웃하는 두 이미지의 겹쳐진 모든 영역에 대해 탐색을 해야 한다. 하지만 이것은 많은 시간이 소요된다는 단점이 있다. 이러한 단점은 육각형 검색을 통해 극복될 수 있다. 이웃하는 두 이미지를 각각

,

라 하고 그것들의 겹치는 영역을 각각

,

라 하자. 이 두 영역이 어긋남이 없이 겹쳐져 있을 경우를 (0, 0)만큼 이동하였다고 하고, 이 때의 비용(cost)을 구한다. 여기서 비용 함수(cost function)는

이다. 그리고 그 위치를 중심으로 주변 6개 화소의 위치(전체적으로 육각형 형태)에 대해 (

은 이동시키지 않고)

만을 이동시키면서 각각에 대해 비용을 구한다. 주변 6개에 해당하는 위치는 도 9에서 보여주고 있다.

이렇게 구한 7개의 비용을 비교하여 최소의 비용을 찾는다. 만약 최소 비용이 (0, 0) 즉, 중심에서 나온 결과라면 이웃하는 두 이미지는 잘 정렬되어 있다는 것으로 보고 더 이상 탐색을 하지 않는다. 만약 그렇지 않고 주변 6개중 한 곳에서 그 최소 비용이 발생하였다면 그 위치를 중심으로 하여 다시 주변 6개의 위치에 대해 비용을 구한다. 6개의 위치 중 3개의 위치는 이전에 비용을 구하였던 것이고 그 값들은 중심의 비용보다 크다는 것을 알고 있다. 따라서 새로운 3개의 위치에 대해서만 비용을 구하고 비교하면 된다. 위에서 언급했던 것과 마찬가지로 주변 6개 위치의 비용보다 그 중심의 비용이 더 작다면 탐색을 멈추고 그 위치로 두 이미지를 정렬한다. 만약 그렇지 않을 경우 위의 과정을 반복하고 중심의 비용이 주변 6개 위치의 비용보다 작을 때 그 과정을 중단한다.

도 9는 육각형 검색에 의한 로컬 정렬의 개념을 보여주고 있다. 도 9에서 (a)는 최초 중심 (0, 0)에서 주변 6개소로서, (1,2), (2,0), (1,-2), (-1,-2), (-2, 0), (-1, 2)를 선정하여 각각의 위치에서 비용을 계산한 상태가 도시되며, 도 9의 (b)에서는 상기 도 9의 (a)에 따른 비용 계산시에 (1, 2)의 위치에서 최소 비용이 발생하여, 해당 위치를 중심으로 주변 위치에 대해 비용을 구하는 상태가 도시된다.

이러한 육각형 검색에 따른 로컬 정렬을 수행하면 다소 오류가 발생하더라도 최소한의 계산 및 탐색으로 영상의 위치를 조정할 수 있다는 점이 특징이다. 즉, 본 발명에서 제안하는 육각형 검색에 기반하여 중첩되는 영역의 모든 점을 탐색하지 않고 일부를 효율적으로 검토함으로써, 비교적 우수한 성능을 얻을 수 있다. 일반적으로 계산량 및 처리 시간에 여유가 있을 경우에는, 좀더 넓은 영역과 탐색위치를 설정하여 전체 검색(full search)을 기반으로 로컬 정렬을 수행할 수 있다.

(5) 동적 프로그래밍(DP: dynamic programming)을 이용한 스티칭

겹치는 두 장의 이미지에서 가장 자연스러운 경계를 찾는 문제는 DP(dynamic programming)을 이용해서 해결될 수 있다. 두 영상

과

가 겹치고 있으며 그 겹치는 영역을 각각

,

이라고 하자. 이럴 때 오차 면(error surface)을

으로 정의하자. 세로축으로 최소 오차 경계(minimum error boundary)를 구하기 위해서 가능한 경로에 대해서 누적 오차를 계산한다. 이 누적 오차 값

는 하기 수학식 11에 의해서 구해질 수 있다.

그 다음 아래부터 누적오차가 최소가 되는 경로를 찾게 된다. 누적 오차는 영상의 휘도(Y) 값의 차이만을 이용할 수도 있고, 컬러 신호 포맷(RGB, YUV)에 따라서 각 컬러신호 성분의 차이를 구하여 이들을 합한 것으로 조합으로 만들 수 있다.

도 10에서는 초기 오차 함수 및 동적 프로그램에서 누적 오차 함수의 갱신과정을 보여주고 있다. 도 10에서 좌측의 표는 중첩된 영상부분에서 각 화소단위로 구해진 초기 오차 값의 예를 나타내며, 우측의 표는 상기 수학식 11에 따라서 각각의 화소위치에서 구해진 누적오차 값을 나타낸다. 도 10에서는 특히, 예를 들어 E(1,1) 값을 구하는 상태가 도시되고 있으며, 이는 상기 식에 대입하면 e(1,1) + min((E(0,0), E(1,0), E(2,0))이며, 이는 결국 2 + min(3 + 6 + 8)으로서, 그 값이 5임을 나타내고 있다.

(6) 블렌딩

블렌딩은 두 장의 이미지를 합칠 때, 경계를 자연스럽게 만들기 위해서 이루어진다. 경계 부분을 자연스럽게 하기 위해서 '

-map'을 사용한다. 경계 부근에서 두 영상에

,

-1 두 개의 가중치를 주어 두 영상을 선형으로 합성하여 자연스러운 경계를 얻도록 한다.

상기와 같이 본 발명의 일 실시예에 따른 파노라마 모자이크 사진 촬영 동작이 수행될 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.

상기한 바와 같이, 본 발명에 따른 파노라마 모자이크 사진 촬영 방식은 제한적인 하드웨어 자원만을 사용하여 비교적 간단한 연산만으로 모자이크 구성이 가능하게 하므로, 카메라 시스템을 내장한 휴대 단말기에 쉽게 채용될 수 있다.

Claims

파노라마 모자이크 사진 촬영 방법에 있어서,

상기 파노라마 모자이크 사진을 구성하는 각 영상들의 촬영시에 이전 촬영된 영상의 일부 영상을 가이드 영상으로 하여 현재 촬영하려는 영상의 뷰어에 나타내며, 촬영 조작에 따라 상기 파노라마 사진을 구성하는 다수의 영상들을 촬영하는 과정과,

상기 촬영한 영상들을 공통의 원통형(cylinder) 곡면으로 투영하는 과정과,

상기 투영한 각각의 영상들을 하나의 영상으로 연결하는 과정을 포함하며,

상기 영상들을 원통형 곡면으로 투영하는 과정은

영상들의 초점거리를
라하며, 영상들간 회전 각도는
라 하며, 영상의 중심을 원점으로 잡은 영상 좌표계를
라 하며, 영상
의 폭은
, 높이는
라 하며,
위치의 화소는
라 하며, 반지름이
인 원기둥 좌표(cylindrical coordinate)를
라 하며,
가
,
을 만족하는 범위에서 하기 수학식 12에 따라 수행하며,

상기에서
는 브레젠헴 알고리즘(Bresenham type algorithm)을 이용한 정수 연산만으로 계산하며,

,
,
에 해당하는 화소값들은
과의 y축 대칭, x축 대칭, 원점 대칭을 이용해
,
,
의 화소값을 가져옴을 특징으로 하는 파노라마 모자이크 사진 촬영 방법.
제1항에 있어서, 상기 원기둥 좌표의 반지름이
은 하기 수학식 13과 같이 정함을 특징으로 하는 파노라마 모자이크 사진 촬영 방법.
제1항에 있어서, 상기 이전 촬영된 영상의 일부 영상을 가이드 영상으로 하여 현재 촬영하려는 영상의 뷰어에 나타내는 것은 상기 이전 촬영된 영상의 일부 영상을 현재 촬영하려는 영상의 좌표로 변환하여 나타냄을 특징으로 하는 파노라마 모자이크 사진 촬영 방법.
제1항에 있어서, 상기 이전 촬영된 영상의 일부 영상을 가이드 영상으로 하여 현재 촬영하려는 영상의 뷰어에 나타내는 것은 상기 이전 촬영된 영상을 상기 원통형 곡면에 투영한 후 상기
따라 평행이동시켜 상기 이전 촬영된 영상과 상기 현재 촬영하려는 영상과 겹치는 영역을 상기 가이드 영상으로 하여 평면으로 재투영하여 나타냄을 특징으로 하는 파노라마 모자이크 사진 촬영 방법.
제1항에 있어서, 상기 영상들을 원통형 곡면으로 투영시에 영상간 중첩된 영상 영역에 대해서 밝기 차이를 검출하여 영상간 밝기가 동일하도록 조정함을 특징으로 하는 파노라마 모자이크 사진 촬영 방법.
제1항에 있어서, 상기 투영한 각각의 영상들을 하나의 영상으로 연결하는 과정은 정렬(aligning) 단계, 스티칭(stitching) 단계 및 블렌딩(blending) 단계를 수행함을 특징으로 하는 파노라마 모자이크 사진 촬영 방법.
제6항에 있어서, 이웃하는 두 영상을 각각
,
라 하며, 이들간 겹치는 영역을 각각
,
라 하며, 오차 면(error surface)을
라 할 때,

상기 정렬 단계는 두 영상간 겹치는 영역의 비용을 비용 함수(cost function)
에 따라 구하며, 현재 위치 (0, 0)를 중심으로 미리 설정된 거리의 주변 6개 화소의 위치에 대해
또는
를 이동시키면서 각각에 대해 비용을 구한 후 최소 비용을 찾는 것으로 정렬 상태를 판단하는 육각형 검색 기법을 이용하며,

상기 스티칭 단계는 정렬된 두 영상간 겹치는 영역에 대해서 누적 오차
를
에 따라 구하며, 구하여진 누적오차가 최소가 되는 경로를 찾는 동적 프로그램을 이용함을 특징으로 하는 파노라마 모자이크 사진 촬영 방법.