KR20090012291A

KR20090012291A - 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상 및 직선수차보정 영상을 얻는 방법 및 그 영상 시스템

Info

Publication number: KR20090012291A
Application number: KR1020080071106A
Authority: KR
Inventors: 권경일
Original assignee: 주식회사 나노포토닉스
Priority date: 2007-07-29
Filing date: 2008-07-22
Publication date: 2009-02-03
Also published as: AU2008283196A1; AU2008283196B2; US8482595B2; AU2008283197B2; KR100898824B1; CN101809991B; US20110181689A1; AU2008283197B9; KR20090012290A; AU2008283197A1; CN103402052B; CN101809993A; US8553069B2; CN103402052A; AU2008283196B9; CN101809991A; KR100882011B1; CN101809993B; US20100208032A1

Abstract

본 발명은 광축을 중심으로 회전 대칭형인 광각 렌즈의 영상에 수학적으로 정확한 영상 처리를 함으로써 육안으로 가장 자연스럽게 느껴지는 전방위 영상 및 왜곡이 없는 직선수차보정 영상을 얻는 방법 및 이를 이용하는 다양한 장치를 제공한다. 이와 같은 방법을 이용하는 영상 시스템은 실내·외의 보안·감시뿐만 아니라, 아파트 출입문의 비디오 폰, 자동차의 후방 카메라, 무인 비행기나 로봇의 시각 센서, 화상 휴대폰, PC 카메라, 방송용 카메라 등으로 다양하게 활용될 수 있다. 또한, 디지털 카메라를 사용하여 전방위 사진이나 직선수차보정 영상을 얻기 위하여 사용될 수도 있다.

파노라마, 다시점 파노라마, 왜곡, 투사 방식, 등거리 투사, 직선수차보정 투사, 어안 렌즈, 전방위 렌즈, 영상 처리, 영상 보정, 영상 등록, 후방 카메라, 비디오 폰, 휴대폰, 자동차, PC 카메라, 네트워크 카메라, web camera, 디지털 카메라, 재설정 가능 반도체, FPGA, ARM core

Description

회전 대칭형의 광각 렌즈를 이용하여 전방위 영상 및 직선수차보정 영상을 얻는 방법 및 그 장치{METHOD AND APPARATUS FOR OBTAINING PANORAMIC AND RECTILINEAR IMAGES USING ROTATIONALLY SYMMETRIC WIDE-ANGLE LENS}

본 발명은 광축을 중심으로 회전대칭형인 광각 렌즈를 장착한 카메라로 획득한 영상에서 육안으로 가장 자연스럽게 느껴지는 전방위 영상 및 왜곡이 없는 직선수차보정 영상을 추출할 수 있는 수학적으로 정확한 영상 처리 방법 및 이를 이용하는 장치에 관한 것이다.

경관이 뛰어난 관광지 등에서 360°모든 방향의 경치를 한 장의 사진에 포착하는 파노라마 사진기(panoramic camera)는 전방위 영상 시스템의 일 예이다. 전방위 영상 시스템은 관찰자가 제자리에서 한바퀴 돌 때 바라보이는 경치를 모두 한 장의 이미지에 포착하는 영상 시스템을 지칭한다. 이와는 다르게 관찰자의 위치에서 바라볼 수 있는 모든 방향의 경치를 한 장의 이미지에 포착하는 시스템은 전방향 영상 시스템(omnidirectional imaging system)이라 지칭된다. 전방향 영상 시스템에서는 관찰자가 제자리에서 한 바퀴 도는 것은 물론, 고개를 젖히거나 숙여서 바라볼 수 있는 모든 경치를 포함한다. 수학적으로는 영상 시스템으로 포착할 수 있는 영역의 입체각(solid angle)이 4π 스테라디안(steradian)인 경우를 지칭한다.

전방위 영상 시스템이나 전방향 영상 시스템은 건축물, 자연 경관, 천체 등의 촬영과 같은 전통적인 분야뿐만 아니라, CCD(charge-coupled device)나 CMOS(complementary metal-oxide-semiconductor: 상보형(相補型) 금속 산화막(酸化膜) 반도체) 카메라를 이용한 보안·감시 시스템, 부동산이나 호텔, 관광지 등의 가상 여행(virtual tour), 또는 이동 로봇이나 무인 비행기 등의 분야에 적용하기 위한 많은 연구와 개발이 이루어지고 있다.

전방위 영상을 얻는 한 방법은 화각이 넓은 어안 렌즈(fisheye lens)를 채용하는 것이다. 예를 들어, 화각이 180°인 어안 렌즈를 수직으로 하늘을 향하게 하면 하늘의 별자리에서부터 지평선까지를 한 장의 이미지에 포착하는 것이 가능하다. 이러한 이유로 어안렌즈는 전천렌즈(all-sky lens)라고도 지칭된다. 특히, 니콘(Nikon)사의 한 어안 렌즈(6mm f/5.6 Fisheye-Nikkor)는 화각이 220°에 달하므로, 이를 카메라에 장착하면 카메라 후방의 경치도 일부나마 이미지에 포함시킬 수 있다. 이와 같이 어안 렌즈를 사용하여 얻은 영상에 영상 처리(image processing)를 하여 전방위 영상을 얻을 수 있다.

많은 경우에 있어서 영상 시스템은 수직인 벽면에 장착된다. 예를 들어 건물 주변을 감시하기 위하여 건물의 외벽에 영상 시스템을 설치하거나, 자동차의 후미를 모니터링하기 위한 후방 카메라의 경우가 그러하다. 이러한 경우에 수평 방 향의 화각이 180°보다 훨씬 클 경우에는 오히려 효율성이 떨어진다. 왜냐하면, 모니터링할 필요가 적은 벽면이 화면을 많이 점유하므로 영상이 지루해 보이고 픽셀이 낭비되기 때문이다. 따라서 이와 같은 경우에는 수평 방향의 화각이 180° 내외인 경우가 바람직하다. 그러나 이와 같은 목적을 위하여 화각이 180°인 어안 렌즈를 사용하는 것은 바람직하지 않다. 어안 렌즈는 통형 왜곡(barrel distortion)을 발생시키므로 심미적으로 불쾌감을 유발하여 소비자로부터 외면되기 때문이다.

실내의 한쪽 벽면에 부착하여 실내 전체를 감시할 수 있는 영상 시스템의 예로는 팬(pan)·틸트(tilt)·줌(zoom) 카메라를 들 수 있다. 이와 같은 카메라는 광학적으로 줌 기능이 있는 렌즈를 장착한 비디오 카메라를 팬·틸트 스테이지(stage)에 장착함으로써 구현된다. 팬 작용은 수평 방향으로 소정의 각도만큼 회전할 수 있는 기능을 말하며, 틸트 작용은 수직 방향으로 소정의 각도만큼 회전할 수 있는 기능을 말한다. 다시 말하면 카메라가 천체를 기술하는 천구(celestial sphere)의 중심에 있다고 할 때 팬은 경도(longitude)를 변경하는 작용(operation)을 의미하며, 틸트는 위도(latitude)를 변경하는 작용을 의미한다. 따라서 팬 작용의 이론적인 범위는 360°이며, 틸트 작용의 이론적인 범위는 180°이다. 이와 같은 팬·틸트·줌 카메라의 단점은 높은 가격과 큰 부피 및 중량을 들 수 있다. 광학적 줌 기능이 있는 렌즈는 설계의 난이성과 구조의 복잡성으로 인하여 부피도 크고 무게도 무거우며 가격도 고가이다. 또한, 팬·틸트 스테이지는 카메라에 못지않은 고가의 장치이다. 따라서 팬·틸트·줌 카메라를 설치하기 위해서는 상당히 많은 비용을 지불하여야 한다. 또한, 팬·틸트·줌 카메라는 부피도 크고 무게도 무거우므로 응용 예에 따라서 상당한 장애 요인이 될 수 있다. 예를 들어 비행기와 같이 탑재체의 중량이 상당히 중요한 경우나, 아니면 좁은 공간에 영상 시스템을 설치하기 위하여 공간적인 제약이 존재하는 경우이다. 더구나 팬·틸트·줌 작용은 물리적인 작용이므로 이러한 작용을 수행하는데 시간이 많이 소요된다. 따라서 응용 예에 따라서 이와 같은 카메라의 기계적인 반응이 충분히 빠르지 않을 수 있다.

참고 문헌 1 내지 2에는 주어진 시점(viewpoint) 및 투사 방식(projection scheme)을 가지는 영상에서 다른 시점 내지는 투사 방식을 가지는 영상을 추출하는 핵심 기술이 제시되어 있다. 구체적으로 참고 문헌 2에는 정육면체 파노라마(cubic panorama)가 제시되어 있다. 간단히 말하면 정육면체 파노라마는 관찰자가 유리로 제작된 정육면체의 중심에 있다고 할 때 유리벽 밖으로 보이는 모든 방향의 풍경을 유리벽에 묘사하되, 모든 풍경은 정육면체의 중심에서 바라본 시점으로 묘사하는 것이다. 또한, 이보다 더 고난도의 기술로 임의의 형상을 가지는 거울면에 비친 영상을 생성하는 기술이 함께 제시되어 있다. 참고 문헌 2의 저자는 구체적인 실시 예로 금속으로 제작된 듯이 반짝이는 거울 표면을 가진 도마뱀을 생성하고, 도마뱀과 분리된 관찰자의 시점을 설정한 뒤 도마뱀의 피부에 비친 주위의 풍경이 관찰자의 시점에서 어떻게 보일까를 계산한 것이다. 그러나 광학 렌즈를 사용하여 얻은 실제 풍경을 사용한 것이 아니고 가상의 풍경을 왜곡이 없는 가상의 렌즈, 즉 바늘구멍 사진기로 포착한 영상을 사용하였다는 단점이 있다.

한편, 참고 문헌 3에는 물리적으로 움직이는 부분이 없이 팬·틸트·로테이트·줌 기능을 할 수 있는 영상 시스템이 기술되어 있다. 상기 발명은 화각이 180°이상인 어안 렌즈를 장착한 카메라를 사용하여 영상을 획득한 뒤 사용자가 조이스틱 등의 입력장치를 사용하여 주시 방향(principal direction of vision)을 지정하면 왜곡이 없는 카메라가 그 방향을 향했을 때의 영상, 즉 직선수차보정 영상(rectilinear image)을 추출해 주는 것을 특징으로 한다. 이 발명과 선행 기술과의 차이점은 조이스틱이나 컴퓨터 마우스 등 다양한 입력장치를 사용하여 사용자가 선택한 방향의 직선수차보정 영상을 생성해 준다는 사실이다. 이러한 기술은 가상 현실(virtual reality) 혹은 기계적인 팬·틸트·줌 카메라를 대체하려고 할 때 핵심적인 기술로서 키워드는 "상호적인 영상(interactive picture)"이라고 할 수 있다. 이러한 기술에서는 물리적으로 움직이는 부분이 없으므로 시스템의 응답 속도가 빠르고 기계적 고장의 우려가 적은 장점이 있다.

일반적으로 감시 카메라와 같은 영상 시스템을 설치할 때에는 수평면에 수직인 수직선이 획득된 영상에서도 수직선으로 표시되도록 한다. 그러한 상태에서 기계적인 팬·틸트·줌 작용을 하더라도 상기 수직선은 영상에서 계속 수직선으로 표시된다. 그런데 상기 발명에서 소프트웨어적인 팬·틸트 작용을 하여 얻어진 영상에서는 수직선이 일반적으로 수직선으로 표시되지 않는다. 이와 같은 부자연스러운 화면을 보정하기 위하여 기계적인 팬·틸트 카메라에는 없는 로테이드(rotate) 작용을 추가적으로 수행하여야 한다. 그런데 상기 발명에서는 수직선이 수직선으로 표시되기 위하여 필요한 회전각이 얼마인지가 제시되지 않고 있다. 따라서 상 기 발명에서는 수직선이 수직선으로 표시되는 영상을 얻기 위하여 시행착오적인 방법으로 정확한 회전각을 찾아야 하는 단점이 있다.

또한, 상기 발명에서는 어안 렌즈의 투사 방식을 이상적인 등거리 투사 방식(equi-distance projection scheme)으로 가정하고 있다. 그런데 실제 어안 렌즈의 투사 방식은 이상적인 등거리 투사 방식과 상당한 오차를 보이는 것이 보통이다. 상기 발명에서는 이와 같이 실제 렌즈의 왜곡 특성이 반영되지 못하므로 영상 처리를 한 영상에서도 왜곡이 있게 된다.

참고 문헌 4에는 참고 문헌 3에서 어안 렌즈의 실제 투사 방식이 반영되지 않는 단점을 보완한 영상 처리 방법이 제시되어 있다. 그러나 수직선이 영상에서 수직선으로 표시되지 않는 단점은 해소되지 않고 있다.

또 다른 측면에서, 사람을 포함한 모든 동식물은 중력에 의하여 지구 표면에 구속되어 살아가므로 주의 혹은 관심이 필요한 대부분의 사건은 지평선 근처에서 발생한다. 따라서 지평선 주변의 360°모든 방향을 감시할 필요가 있더라도, 수직 방향으로는 그다지 높이까지 즉, 천정(zenith)이나 천저(nadir)까지 감시할 필요성이 적다. 그런데 360°모든 방향의 풍경을 2차원적인 평면에 묘사하기 위해서는 어쩔 수 없이 왜곡이 필요하다. 구(sphere)의 표면인 지구상의 지리를 평면적인 이차원 지도에 표현하기 위한 지도작성법에도 마찬가지의 어려움이 존재한다. 그런데 모든 왜곡 중에서 사람이 가장 부자연스럽게 느끼는 왜곡은 수직선이 곡선으로 보이는 왜곡이다. 따라서 다른 왜곡이 있더라도 이러한 왜곡은 없도록 하는 것이 중요하다.

참고 문헌 5에는 다양한 지도 작성법 중에서도 널리 알려진 투사 방식인 등직교 투사(equi-rectangular projection), 메카토르 투사(Mercator projection) 및 원통형 투사(cylindrical projection)가 기술되어 있으며, 참고문헌 6에는 다양한 투사 방식의 역사가 요약되어 있다. 이 중에서 등직교 투사 방식은 우리가 지구상의 지리를 표현하거나 별자리를 표시하기 위한 천구를 묘사할 때 가장 익숙한 지도 작성법의 하나이다.

도 1을 참조하여 지표면 혹은 천구(celestial sphere)를 반지름 S인 구면으로 가정했을 때 지표면 상의 임의의 점 Q는 경도값 ψ 및 위도값 δ를 가진다. 한편, 도 2는 등직교 투사법에 따라 작성한 평면 지도의 개념도이다. 지표면의 경도값 ψ 및 위도값 δ를 가지는 한 점 Q는 등직교 투사법에 따른 평면 지도(234) 상에서 대응하는 점 P"를 가진다. 이 대응하는 점의 직교 좌표는 (x", y")로 주어진다. 또한, 경도 0°와 위도 0°를 가지는 적도상의 기준점은 평면 지도상에서 대응하는 한 점 O"를 가지며, 이 대응점 O"가 직교 좌표계의 원점이다. 이때 등직교 투사법에 의하면 동일한 경도상의 간격은 평면 지도상에서 동일한 가로 방향의 간격을 가진다. 다시 말하면 평면 지도(234) 상에서의 가로 방향의 좌표 x"는 경도에 비례한다.

여기서 c는 비례상수이다. 또한, 세로 방향의 좌표 y"는 위도에 비례하며, 가로 방향의 좌표와 동일한 비례 상수를 가진다.

경도의 범위는 -180°에서부터 +180°까지 총 360°이며, 위도의 범위는 -90°에서부터 +90°까지 총 180°이다. 따라서 등직교 투사법에 따른 지도는 가로변의 길이 W와 세로변의 길이 H의 비가 360:180 = 2:1로 주어져야 한다.

또한, 상기 비례상수 c가 지구의 반지름 S로 주어진다면, 상기 평면 지도의 가로변의 길이 W는 수학식 3과 같이 적도를 따라서 잰 지구 둘레의 길이로 주어진다.

이와 같은 등직교 투사 방식은 지표면이 구면에 가까운 것을 고려하면 자연스러운 투사 방식이라고 할 수 있지만, 지표면의 면적을 심하게 왜곡한다는 단점이 있다. 예를 들어 북극점 근처에서 아주 가까운 거리에 있는 두 점이 등직교 투사 방식의 지도상에서는 마치 지구 반대편에 있는 듯한 인상을 줄 수 있다.

한편, 메카토르 투사 방식에서는 세로 방향의 좌표가 수학식 4와 같이 복잡한 함수로 주어진다.

한편, 도 3은 원통형 투사(cylindrical projection) 또는 파노라마 투사(panoramic perspective)의 개념도이다. 원통형 투사에서 관찰자는 반지름이 S인 천구(331)의 중심 N에 있으며 이 관찰자를 중심으로 하는 천구에서 천정(zenith)과 천저(nadir)를 제외한 대부분의 영역을 이차원 평면상에 묘사하고자 한다. 다시 말하면 경도는 -180°에서 +180°까지 360°를 포함하되, 위도는 적도를 포함하는 일부만을 포함하여도 된다. 구체적으로 위도각의 범위를 -Δ에서 +Δ까지라고 가정할 수 있으며, 이때 Δ는 90°보다 작아야 한다.

이러한 투사 방식에서는 천구(331)를 적도(303)에서 접하는 원통(334)을 가정한다. 그 다음 천구 상에서 소정의 경도값 ψ 및 위도값 δ를 갖는 점 Q(ψ, δ)에 대하여 상기 천구의 중심 N에서 상기 한 점 Q를 잇는 선분이 상기 원통면을 만날 때까지 연장한다. 이 교점을 P(ψ, δ)라고 한다. 이러한 방식으로 천구면(331) 상의 상기 위도 범위 내의 모든 점 Q에 대하여 대응하는 원통면(334) 상의 점 P를 얻은 후 상기 원통을 잘라서 평면으로 펼치면 원통형 투사를 가지는 지도를 얻게 된다. 따라서 펼쳐진 원통면 상에서의 한 점 P의 가로 방향의 좌표 x"는 수학식 5로 주어지며, 세로 방향의 좌표 y"는 수학식 6으로 주어진다.

이러한 원통형 투사는 카메라가 수평으로 회전하여 파노라마 영상을 얻는 파노라마 사진기에 사용되는 투사 방식이다. 특히 회전하는 파노라마 사진기에 장착된 렌즈가 왜곡이 없는 직선수차보정 렌즈일 경우에 얻어지는 파노라마 영상은 정확히 원통형 투사 방식을 따르게 된다. 이와 같은 원통형 투사는 원리적으로 가장 정확한 파노라마 투사 방식이지만 위도의 범위가 넓을 경우에는 영상이 부자연스럽게 보여서 실제로 잘 사용되지 않는다.

이와 같은 방식으로 제작된 원통형 투사 방식을 따르는 펼쳐진 전방위 영상은 수학식 3으로 주어지는 가로변의 길이 W를 가진다. 한편, 위도각의 범위를 δ₁ 내지 δ₂라고 하면, 펼쳐진 전방위 영상의 세로변의 길이는 수학식 7과 같이 주어져야 한다.

따라서 수학식 3과 7로부터 다음의 방정식을 유도할 수 있다.

그러므로 원통형 투사를 만족하는 펼쳐진 전방위 영상은 수학식 8로 주어지는 비례식을 만족하여야 한다.

지구상의 모든 동·식물과 건물 등의 무생물은 모두 중력의 영향 아래에 있으며, 중력의 방향이 똑바로 선 방향, 즉 수직선이 된다. 지면은 대체로 중력의 방향에 대해서 수직이지만 경사진 곳에서는 당연히 수직이지 않다. 따라서 엄밀한 의미에서는 수평면을 기준으로 하여야 하며, 수직 방향은 수평면에 대하여 수직인 방향이다. 논의의 편의상 지면, 가로 방향, 세로 방향이라고 지칭하더라도 정확한 정의가 필요할 때에는 지면이 아니라 수평면이 되어야 하며, 세로 방향은 수평면에 대하여 수직인 방향이고, 가로 방향은 수평면에 평행한 방향이라는 점을 명심하여야 한다.

참고 문헌 7 내지 참고 문헌 8의 전방위 렌즈는 렌즈의 광축이 지면에 수직하게 설치된 상태에서 한번에 전방위 영상을 획득한다. 그런데 전술한 수평으로 회전하는 렌즈에 의한 전방위 영상 획득 방법보다 더 저렴한 대안으로서 일반적인 카메라를 수평으로 설치한 상태에서 영상을 획득한 후, 카메라를 수평 방향으로 일정 각도만큼 회전하여 다시 영상을 획득하는 과정을 반복하는 방법이 있다. 이와 같이 하여 4장 내지 8장의 영상을 획득한 후 이 영상들을 이어 붙임으로써 원통형 투사를 가지는 전방위 영상을 생성할 수 있다. 이와 같은 기술을 stitching이라고 한다. Apple사의 QuickTime VR은 이와 같은 stitching을 지원하는 상업용 소프트웨어이다. 이와 같은 방식에서는 여러 장의 사진을 정확하게 이어 붙이고 렌즈의 왜곡을 보정하는 등의 복잡하고 시간이 오래 걸리는 정교한 작업을 요구한다.

참고 문헌 9에 따르면 전방위 혹은 전방향 영상을 얻는 또 다른 한 방법으로 화각이 180° 이상인 어안 렌즈를 장착한 카메라를 수평으로 향하게 하여 반구(hemisphere)의 영상을 얻은 다음, 카메라를 반대 방향으로 향하게 하여 반대쪽 반구의 영상을 얻을 수 있다. 이렇게 카메라에서 획득한 두 이미지를 소프트웨어적으로 이음으로써, 모든 방향(즉, 4π 스테라디안)의 풍경을 포함하는 하나의 전방향 영상을 얻을 수 있다. 이렇게 획득한 이미지를 인터넷 등의 통신 매체를 이용하여 전방위 영상 시스템과 지리적으로 떨어져 있는 사용자에게 전송하면, 사용자는 사용자의 개인적인 관심에 따라서 수신한 이미지상에서 각자의 시점(view point)을 선택할 수 있고, 이에 따라 사용자의 컴퓨팅 디바이스(computing device) 상에 마련된 이미지 처리 소프트웨어는 사용자에 의해 선택된 시점에 대응하는 이미지의 일부분을 추출하여 투시적으로 정확한(perspectively correct) 평면 이미지를 컴퓨팅 디바이스를 통해 제공한다. 따라서, 사용자는 이미지 처리 소프트웨어를 통해 이미지 내의 특정 장소에 실제로 있는 것처럼 고개를 돌리거나(pan), 고개를 들거나 내려서 보기도 하고(tilt), 가까이(zoom in) 혹은 멀리서 바라보는 (zoom out) 등의 선택을 할 수 있다. 이와 같은 방식은 다수의 사용자가 동일한 인터넷 사이트에 접속되어 있을 때에 사용자 각각이 수신한 이미지 내에서 원하는 방향을 바라볼 수 있는 장점이 있다. 이러한 장점은 움직임 카메라(motion camera)(예컨대, 팬·틸트 카메라)를 채용한 전방위 영상 시스템에서는 얻을 수 없다.

참고 문헌 10 내지 11에는 관찰자를 중심으로 모든 방향의 풍경을 포함하는 전방향 영상을 얻는 방법이 제시되어 있으며, 상기 문헌에서 사용하는 투사 방식은 장황한 표현에도 불구하고 본질에 있어서 사실상 등거리 투사 방식의 일종이다. 즉, 상기 문헌에서 제시하는 기술은 실제 환경 혹은 정육면체 파노라마 영상 등으로부터 전방향 영상을 얻을 수 있으나, 얻어진 전방향 영상은 등거리 투사 방식을 따르므로 그 효용성이 제한적이다.

한편, 참고 문헌 12에는 반 원통 모양의 스크린에 어안 렌즈를 사용하여 Omnimax 영상을 투사하기 위한 알고리즘이 제시되어 있다. 특히, 무비 프로젝터에 장착된 어안 렌즈의 투사 방식이 이상적인 등거리 투사 방식과 오차가 나는 것을 감안하여 스크린의 특정 위치에 상점을 형성하는 필름면 상의 물점의 위치를 찾는 방법이 기술되어 있다. 따라서 스크린상에 특정한 영상을 투사하기 위하여 필름에 기록된 영상이 어떠한 형태이어야 하는가를 알 수 있으며, 그러한 영상은 컴퓨터를 사용하여 제작된다. 특히, 영상 처리 알고리즘에 렌즈의 왜곡이 반영되어 있기 때문에 프로젝터에 인접한 관람객은 만족스러운 파노라마 영화를 감상할 수 있다. 그런데 어안 렌즈의 실제 투사 방식을 모델링하는데 있어서 입사광의 천정각을 종속 변수로, 필름면에서의 상 크기를 독립 변수로 설정하여 사용에 불편하다. 또한, 불필요하게 근사식을 기수 다항식(odd polynomial)으로만 한정하였다.

참고문헌 13에는 Paul Bourke 교수가 제작한 스테레오 파노라마 영상이 제시 되어 있다. 각각의 파노라마 영상은 원통형 투사 방식을 따르고 있으며, 컴퓨터로 제작한 가상의 영상 및 슬릿 카메라가 회전하는 방식의 파노라마 영상이 모두 제시되고 있다. 컴퓨터로 제작한 파노라마 영상이나 슬릿 카메라가 회전하는 전통적인 방식으로 제작한 파노라마 영상에서는 렌즈의 왜곡이 문제가 되지 않는다. 그러나 실제 풍경을 실시간으로 포착하기 위해서는 슬릿 카메라를 사용할 수 없다는 단점이 있다.

참고 문헌 14 및 15에는 화각 190°를 가지는 어안 렌즈의 실시 예가 기술되어 있으며, 참고 문헌 16에는 평사투영 방식의 굴절식 및 반사굴절식 어안 렌즈를 포함하는 다양한 광각 렌즈의 실시 예가 제시되어 있다.

한편, 참고 문헌 17에는 어안 렌즈를 포함하는 회전 대칭형의 광각 렌즈를 사용하여 획득한 영상에서 원통형 투사 방식이나 등직교 투사 방식 및 메카토르 투사 방식을 따르는 전방위 영상을 얻는 다양한 실시 예가 기술되어 있다. 상기 문헌에 제시되어 있는 대부분의 실시 예는 도 4 내지 12를 참조하여 다음과 같이 요약될 수 있다.

도 4는 어안 렌즈를 포함하는 회전대칭형의 광각 렌즈(412)의 실제 투사 방식의 개념도이다. 광각 렌즈에 의하여 포착되는 피사체(object)를 기술하는 세계 좌표계의 Z-축은 광각 렌즈(412)의 광축(401)과 일치한다. 이 Z-축에 대하여 천정각 θ를 가지는 입사광(405)은 렌즈(412)에 의하여 굴절된 후 굴절광(406)으로서 초점면(focal plane: 432) 상의 한 상점(image point) P로 수렴한다. 상기 렌즈의 마디점 N에서 상기 초점면까지의 거리는 대략 렌즈의 유효초점거리(effective focal length)와 일치한다. 상기 초점면에서 실제 상점이 형성된 부분이 영상면(image plane: 433)이다. 선명한 영상을 얻기 위하여 상기 영상면(433)과 카메라 몸체(414) 내부의 이미지 센서면(413)이 일치하여야 한다. 상기 초점면과 상기 이미지 센서면은 광축에 수직하다. 이 광축(401)과 영상면(433)과의 교점 O - 이하 제 1 교점이라 지칭함 - 에서부터 상기 상점 P까지의 거리는 r이다.

일반적인 광각 렌즈에서의 상 크기 r은 수학식 9와 같이 주어진다.

여기서 입사각 θ의 단위는 라디안(radian)이며, 상기 함수 r(θ)는 입사광의 천정각 θ에 대한 단조 증가 함수(monotonically increasing function)이다.

이와 같은 렌즈의 실제 투사 방식은 실제 렌즈를 가지고 실험적으로 측정할 수도 있으며, 아니면 렌즈의 설계도를 가지고 Code V나 Zemax 등의 렌즈 설계 프로그램으로 계산할 수 있다. 예를 들어 Zemax에서 REAY 연산자를 사용하면 주어진 수평 방향 및 수직 방향의 입사각을 가지는 입사광의 초점면상에서의 y-축 방향의 좌표 y를 계산할 수 있으며, x-축 방향의 좌표 x는 유사하게 REAX 연산자를 사용하여 계산할 수 있다.

도 5는 Paul Bourke 교수가 컴퓨터로 제작한 가상적인 실내 풍경이며, 이상적인 등거리 투사 방식을 가지는 화각 180°의 어안 렌즈를 사용하는 것으로 가정된 것이다. 이 영상은 가로 방향 및 세로 방향의 크기가 모두 250 픽셀인 정사각 형의 모양을 가지고 있다. 따라서 광축의 좌표는 (125.5, 125.5)이며, 천정각 90°인 입사광의 상 크기는 r'(π/2) = 125.5 - 1 = 124.5이다. 여기서 r'은 실제 물리적 거리가 아니라 픽셀 거리로 측정된 상 크기이다. 이 가상적인 어안 렌즈는 등거리 투사 방식을 만족하므로 이 렌즈의 투사 방식은 수학식 10과 같이 주어진다.

도 6 내지 8은 참고문헌 16에 제시되어 있는 다양한 광각 렌즈의 실시 예를 보여준다. 도 6은 평사투영 방식의 굴절식 어안 렌즈이며, 도 7은 평사투영 방식의 반사굴절식 어안 렌즈이고, 도 8은 직선수차보정 투사 방식의 반사굴절식 전방위 렌즈이다. 이와 같이 종래의 실시 예 및 본 발명에서 광각 렌즈는 등거리 투사 방식의 어안 렌즈에 한정되지 않고 광축을 중심으로 회전대칭형인 모든 광각 렌즈를 포함한다.

참고 문헌 17의 발명은 이와 같은 회전대칭형의 광각 렌즈를 사용하여 얻은 영상에 수학적으로 정확한 영상 처리 알고리즘을 적용하여 전방위 영상을 얻는 방법을 제공하는 것을 요점으로 한다. 참고 문헌 17에 제시된 다양한 실시 예는 다음과 같이 요약될 수 있다.

상기 발명의 세계 좌표계는 회전 대칭형인 광각 렌즈의 마디점 N을 원점으로 하고 상기 원점을 지나는 수직선을 Y-축으로 한다. 여기서 수직선은 지평면, 더 정확하게는 수평면(917)에 수직인 직선이다. 세계 좌표계의 X-축과 Z-축은 지평면에 포함된다. 상기 광각 렌즈의 광축(901)은 일반적으로 Y-축과 일치하지 않으며, 지면에 포함될 수도 있고(즉, 지면에 평행할 수도 있고), 지면에 평행하지 않을 수도 있다. 이때 상기 Y-축과 상기 광축(901)을 포함하는 평면(904)을 기준면(reference plane)이라고 지칭한다. 이 기준면(904)과 지평면(917)과의 교선(intersection line: 902)이 세계 좌표계의 Z-축과 일치한다. 한편, 세계 좌표계 상의 직교 좌표 (X, Y, Z)를 가지는 한 물점 Q에서 비롯되는 입사광(905)은 지면에 대하여 고도각 δ를 가지며, 기준면에 대하여 방위각 ψ를 가진다. 상기 Y-축과 상기 입사광(905)을 포함하는 평면이 입사면(906)이다. 상기 입사광이 상기 기준면과 이루는 가로 방향의 입사각 ψ는 수학식 11과 같이 주어진다.

한편, 상기 입사광이 X-Z 평면과 이루는 세로 방향의 입사각(즉, 고도각) δ는 수학식 12와 같이 주어진다.

상기 입사광의 들림각(elevation angle) μ는 수학식 13과 같이 주어지되, 여기서 χ는 -90°보다 크고 90°보다 작은 임의의 각도이다.

도 10은 참고 문헌 17과 일치하는 본 발명의 개념도이며, 크게 영상 획득 수단(image acquisition means: 1010)과 영상 처리 수단(image processing means: 1016) 및 영상 표시 수단(image display means: 1015, 1017)을 포함하는 영상 시스템을 포함하는 장치(device)이다. 영상획득수단(1010)은 회전대칭형의 형상을 가지는 광각 렌즈(1012)와 그 내부에 이미지 센서(1013)를 포함하는 카메라 몸체(1014)를 포함한다. 상기 광각 렌즈는 등거리 투사 방식을 가지는 화각 180°이상의 어안 렌즈가 될 수 있으나, 이러한 어안 렌즈에 한정되는 것은 아니며, 반사굴절식 어안 렌즈 등 다양한 종류의 회전대칭형의 광각 렌즈가 모두 사용될 수 있다. 이하에서는 설명의 편의를 위하여 광각 렌즈를 어안 렌즈로 지칭한다. 상기 카메라 몸체는 CCD 혹은 CMOS 등의 광전소자를 구비하며, 정지 영상 혹은 동영상을 획득할 수 있다. 상기 어안 렌즈(1012)에 의하여 물체면(1031)의 영상이 초점면(1032) 상에 형성된다. 선명한 영상을 얻기 위하여 이미지 센서면(1013)이 상기 초점면(1032)과 일치하여야 한다.

상기 물체면(1031) 상에 존재하는 피사체의 어안 렌즈(1012)에 의한 실상(real image)은 이미지 센서(1013)에 의하여 전기적 신호로 변환된 후 영상 표시 수단(1015)에 보정전 영상면(uncorrected image plane: 1034)으로 표시되며, 이 보 정전 영상면(1034)은 어안 렌즈에 의한 통형 왜곡 수차를 포함하고 있다. 이 왜곡된 영상이 영상 처리 수단(1016)에 의하여 왜곡이 보정된 후 컴퓨터 모니터나 CCTV 모니터와 같은 영상표시수단(1017)에서 보정후 영상면(processed image plane: 1035)으로 표시된다. 상기 영상 처리는 컴퓨터에 의한 소프트웨어적인 영상 처리일 수도 있고, 재설정 가능 반도체(FPGA: Field Programmable Gate Array)나 ARM core 등에 의한 하드웨어적인 영상 처리일 수도 있다.

어안 렌즈를 비롯한 임의의 회전 대칭형의 렌즈는 전술한 전방위 영상이나 왜곡이 없는 직선수차보정 영상을 제공하지 못한다. 따라서 바람직한 영상을 얻기 위해서는 영상 처리 과정이 필수적이다. 도 11은 이미지 센서면(1013)에 대응하는 영상 처리 전의 보정전 영상면(1134)의 개념도이다. 이미지 센서면(1013)의 가로변의 길이가 B이고, 세로변의 길이가 V라고 하면, 보정전 영상면의 가로변의 길이는 gB이고, 세로변의 길이는 gV이다. 여기서 g는 비례 상수이다.

보정전 영상면(1134)은 영상 표시 수단에 표시되는 왜곡이 보정되지 않은 화면으로 생각할 수 있으며, 이미지 센서면에 결상된 영상을 배율 g로 확대한 영상이다. 예를 들어 1/3-inch CCD의 경우에는 이미지 센서면의 가로변의 길이가 4.8mm, 세로변의 길이가 3.6mm인 직사각형의 모습이다. 한편 모니터의 크기가 가로변의 길이가 48cm이고, 세로변의 길이가 36cm라고 하면, 배율 g는 100이 된다. 더욱 바람직하게는 이산화된 디지털 영상에서는 픽셀의 길이를 1로 가정한다. VGA급의 1/3-inch CCD 센서라면 가로 640열, 세로 480행의 행렬의 형태로 픽셀이 존재한다. 따라서 한 픽셀은 가로 및 세로가 모두 4.8mm/640 = 7.5㎛인 정사각형의 모양이고, 이 경우에 확대율 g는 1pixel/7.5㎛ = 133.3pixel/mm이다. 다시 말하면 보정전 영상면(1134)은 이미지 센서면에 결상된 왜곡된 영상을 전기적인 신호로 변환하여 얻어지는 왜곡된 디지털 영상이다.

이미지 센서면 상의 제 1 교점 O는 광축과 센서면과의 교점이다. 따라서 광축을 따라서 입사한 광선은 상기 제 1 교점 O에 상점을 형성한다. 정의에 의하여 이미지 센서면에서의 제 1 교점 O에 대응하는 보정전 영상면 상의 한 점 O' - 이하 제 2 교점이라 지칭함 - 은 광축을 따라서 입사한 입사광에 의한 상점에 해당한다.

보정전 영상면 상의 제 2 교점 O'을 지나고 보정전 영상면의 가로변에 평행한 축을 x'-축으로 하고, 상기 제 2 교점을 지나며 상기 보정전 영상면의 세로변에 평행한 축을 y'-축으로 하는 제 2 직교 좌표계를 가정한다. 양의 x'-축의 방향은 왼쪽에서 오른쪽으로, 양의 y'-축의 방향은 위에서 아래로 가는 방향이다. 이때 보정전 영상면(1134) 상의 임의의 한 점의 가로 방향의 좌표 x'는 최솟값 x'₁ = gx₁내지 최댓값 x'₂ = gx₂를 가진다(즉, gx₁ ≤ x' ≤ gx₂). 마찬가지로 상기 한 점의 세로 방향의 좌표 y'는 최솟값 y'₁ = gy₁ 내지 최댓값 y'₂ = gy₂를 가진다(즉, gy₁ ≤ y' ≤ gy₂).

도 12는 본 발명의 영상 표시 수단의 왜곡이 보정된 화면, 즉 보정후 영상면(1235)의 개념도이다. 보정후 영상면(1235)은 사각형의 모양을 가지며, 가로변의 길이가 W이고, 세로변의 길이가 H이다. 또한, 보정후 영상면의 가로변에 평행한 축을 x"-축으로 하고 세로변에 평행한 축을 y"-축으로 하는 제 3 직교 좌표계를 가정한다. 제 3 직교 좌표계의 z"-축은 제 1 좌표계의 z-축 및 제 2 좌표계의 z'-축과 일치한다. 상기 z"-축과 보정후 영상면과의 교점 O" - 이하 제 3 교점이라 지칭함 - 의 위치는 임의의 값을 가질 수 있으며, 심지어 보정후 영상면의 바깥에 위치할 수도 있다. 여기서 양의 x"-축의 방향은 왼쪽에서 오른쪽으로, 양의 y"-축의 방향은 위에서 아래로 가는 방향이다.

제 1 교점 및 제 2 교점은 광축의 위치이다. 그러나 제 3 교점은 광축의 위치가 아니라 주시방향(principal direction of vision)에 대응한다. 주시 방향은 광축과 일치할 수 있지만, 반드시 광축과 일치할 필요는 없다. 주시 방향은 바람직한 전방위 혹은 직선수차보정 영상에 대응하는 가상의 전방위 혹은 직선수차보정 카메라의 광축의 방향이다. 이하에서는 논의의 편의상 주시 방향을 광축 방향이라고 지칭한다.

보정후 영상면(1235) 상의 제 3점 P"의 가로 방향의 좌표 x"는 최솟값 x"₁ 내지 최댓값 x"₂를 가진다(즉, x"₁ ≤ x" ≤ x"₂). 정의에 의하여 가로 방향의 좌표의 최댓값과 최솟값의 차이는 보정후 영상면의 가로변의 길이와 일치한다(즉, x"₂ - x"₁ = W). 마찬가지로 제 3점 P"의 세로 방향의 좌표 y"는 최솟값 y"₁ 내지 최댓값 y"₂를 가진다(즉, y"₁ ≤ y" ≤ y"₂). 정의에 의하여 세로 방향의 좌표의 최댓값과 최솟값의 차이는 보정후 영상면의 세로변의 길이와 일치한다(즉, y"₂ - y"₁ = H).

다음의 표 1은 물체면과 센서면, 보정전/후 영상면에서의 대응하는 변수들을 하나의 표로 요약한 것이다.

면(surface)	물체면	센서면	보정전 영상면	보정후 영상면
면의 가로변의 길이		B	gB	W
면의 세로변의 길이		V	gV	H
좌표계	세계 좌표계	제 1 직교좌표계	제 2 직교좌표계	제 3 직교좌표계
원점의 위치	렌즈의 마디점	렌즈의 마디점	렌즈의 마디점	렌즈의 마디점
원점의 기호		O	O'	O"
좌표축	(X, Y, Z)	(x, y, z)	(x', y', z')	(x", y", z")
물점 혹은 상점의 명칭	물점	제 1점	제 2점	제 3점
물점 혹은 상점의 기호	Q	P	P'	P"
물점 혹은 상점의 2차원 좌표		(x, y)	(x', y')	(x", y")

한편, 상기 세계 좌표계 상의 좌표 (X, Y, Z)를 가지는 한 물점에 대응하는 영상 처리된 화면상(1235)의 상점 P"의 좌표를 (x", y")라고 하면, 상기 영상 처리 수단은 상기 물점에서 비롯되는 입사광에 의한 상점이 상기 화면상의 좌표 (x", y")에 표시되도록 영상 처리를 하되, 상기 상점의 가로 방향의 좌표 x"는 수학식 14와 같이 주어진다.

여기서 c는 비례 상수이다.

또한, 상기 상점의 세로 방향의 좌표 y"는 수학식 15로 주어진다.

여기서 F(μ)는 원점을 지나는 단조 증가 함수이다. 수학적으로는 수학식 16 내지 17을 만족함을 의미한다.

상기 함수 F는 임의의 형태를 가질 수 있지만 특히 바람직한 형태는 수학식 18 내지 21로 주어진다.

도 13은 일반적인 자동차용 후방 카메라(1310)의 개념도이다. 자동차용 후방 카메라인 경우에 화각 150°이상으로 비교적 광각의 렌즈를 사용하며, 렌즈의 광축은 도 13에 도시한 바와 같이 지면(1317)에 대하여 기울게 설치하는 것이 보통이다. 이와 같이 설치함으로써 후진시에 주차선을 용이하게 인식할 수 있다. 또한, 렌즈면이 지면을 바라보는 방향으로 배치되므로 먼지 등이 침착되지 않고, 비나 눈에도 어느 정도 보호가 된다.

그런데 수평 화각 180° 내외의 전방위 영상을 얻기 위해서는 영상 획득 수단(1310)을 승용차의 트렁크 상단에 설치하고, 광축은 지면에 대하여 소정의 각도를 이루는 것이 바람직하다. 또한, 렌즈는 화각 180°이상의 등거리 투사 방식의 어안 렌즈가 가장 바람직하고, 영상 표시 수단은 운전석 옆자리에 설치하는 것이 바람직하다.

이와 같이 광축이 지면에 대하여 기울게 설치된 광각 카메라에서도 전술한 전방위 영상을 얻을 수 있으며, 이때 세계 좌표계는 영상 시스템(1310)의 마디점 N을 원점으로 하고 지면(1317)에 수직인 수직선을 Y-축으로 하며, Z-축은 자동차(1351)의 차축에 평행하다. 오른손 좌표계의 규칙에 따라서 X-축은 도 13에서 지면을 뚫고 들어가는 방향이다. 따라서 렌즈의 광축이 지평선 아래로 각도 α만큼 기울어져 있다면, 카메라에 고정된 좌표계는 세계 좌표계에 대하여 X-축을 중심 으로 각도 α만큼 회전한 상태가 된다. 이 좌표계를 제 1 세계 좌표계라 하며, 이 제 1 세계 좌표계의 세 축을 각각 X', Y' 및 Z'-축이라 지칭한다. 도 13에서는 제 1 세계 좌표계가 세계 좌표계에 대하여 X-축을 중심으로 시계 방향으로 α만큼 회전한 것으로 보인다. 그러나 X-축의 방향을 고려하면 사실은 반 시계 방향으로 α만큼 회전한 것이다. 회전 방향은 반 시계 방향을 양의 방향으로 규정하므로 도 13에서 제 1 세계 좌표계는 세계 좌표계의 X-축을 중심으로 +α만큼 회전한 것이다.

이와 같은 좌표축의 회전과 관련하여 오일러(Euler) 행렬을 사용하는 것이 편리하다. 이를 위하여 삼차원 공간상의 한 물점 Q의 좌표를 다음과 같이 3차원 벡터로 표시한다.

여기서

는 3차원 공간상의 한 점 Q에 이르는 벡터를 세계 좌표계에서 표현한 것이다. 공간상의 한 점 Q를 X-축을 중심으로 각도 -α만큼 회전시킨 새로운 점의 좌표는 수학식 23으로 주어지는 행렬을 벡터에 곱하여 얻을 수 있다.

마찬가지로 Y-축을 중심으로 각도 -β만큼 회전한 새로운 점의 좌표를 구하기 위해서는 수학식 24의 행렬을 사용하며, Z-축을 중심으로 각도 -γ만큼 회전한 새로운 점의 좌표를 구하기 위해서는 수학식 25의 행렬을 사용한다.

수학식 23 내지 25의 행렬은 좌표계가 고정되어 있고 공간상의 한 점이 회전한 경우를 기술할 수도 있지만, 공간상의 한 점이 고정되어 있고 좌표계가 반대 방향으로 회전한 경우도 기술할 수 있다. 이 두 경우는 수학적으로 동등하다. 따라서 도 13에서와 같이 X-축을 중심으로 좌표계가 각도 α만큼 회전한 새로운 제 1 세계 좌표계에서의 상기 한 점 Q의 좌표는 수학식 26과 같이 주어진다.

수학식 23의 회전 행렬을 이용하면 제 1 세계 좌표계 상에서의 좌표를 세계 좌표계 상의 좌표로 다음과 같이 쓸 수 있다.

도 13을 참조하여 지면에 대하여 기울게 영상 시스템이 설치되었는데, 지면에 평행한 상태의 전방위 영상을 얻고자 한다고 가정하자. 도 5가 α = 0°인 경우의 광각 영상이라면, 도 14는 각도 α = 30°인 경우의 광각 영상을 보여준다. 이와 같은 경우에 지평면에 평행한 상태의 전방위 영상을 얻기 위해서는 다음과 같은 알고리즘을 사용할 수 있다. 먼저, 상기 영상 시스템이 지평면에 평행하다는 가정하에 보정후 영상면의 크기 (W, H)와 제 3 교점 O"의 위치 및 가로 방향의 화각 Δψ을 결정한다. 논의의 편의상 가로 방향의 화각은 대칭적이라고 가정한다. 따라서 보정후 영상면 상의 가로 방향의 좌표 x" 및 세로 방향의 좌표 y"에 해당하는 가로 방향의 입사각 ψ 및 세로 방향의 입사각 δ은 수학식 30 내지 32와 같이 주어진다.

여기에서 각도 χ는 0°이다. 따라서 함수 F(δ)는 수학식 16 내지 21로 주어지는 F(μ)와 동일하다. 즉, F(δ) = F(μ)이다. 다음으로, 이 가로 방향의 입사각 및 세로 방향의 입사각을 가지는 입사광이 상기 렌즈의 마디점을 원점으로 하고 반지름이 S인 반구상의 물점에서 비롯되었다고 가정한다. 그러면, 이 상기 물점의 세계 좌표계 상에서의 좌표는 수학식 33 내지 36으로 주어진다.

이 물점의 제 1 세계 좌표계 상에서의 좌표는 수학식 27 내지 29로 주어진다. 이 제 1 세계 좌표계의 X', Y' 및 Z'-축은 각각 제 1 직교 좌표계의 x, y 및 z-축과 평행하다. 따라서 입사광의 천정각과 방위각은 수학식 37 내지 38로 주어진다.

마지막으로 이러한 천정각과 방위각을 갖는 보정전 영상면 상에서의 제 2점의 이차원 직교 좌표(x', y')를 이차원 극 좌표 (r', θ')로부터 수학식 39 내지 40과 같이 구할 수 있다.

수학식 9 내지 40을 이용하여 왜곡 수차를 가지는 어안 렌즈의 영상으로부터 이상적인 투사방식을 가지는 전방위 영상을 다음과 같이 얻을 수 있다. 먼저, 사용자의 필요에 따라서 바람직한 전방위 영상의 크기(W, H) 및 제 3 교점 O"의 위치를 정한다. 상기 제 3 교점은 상기 보정후 영상면의 바깥에 위치할 수도 있다. 다시 말하면, 보정후 영상면에서의 가로 방향의 좌표의 범위 (x"₁ ≤ x" ≤ x"₂) 및 세로 방향의 좌표의 범위 (y"₁ ≤ y" ≤ y"₂)는 임의의 실수값을 가질 수 있다. 또한, 이 전방위 영상(즉, 보정후 영상면)의 가로 방향의 화각 Δψ를 정한다. 그리고 바람직한 수직 방향의 투사 방식을 결정하는 함수 F(δ)를 결정한다. 그러면 이 전방위 영상 내의 제 3점의 직교 좌표 (x", y")에 대응하는 입사광의 가로 방향의 입사각 ψ 및 세로 방향의 입사각 δ를 수학식 30 내지 32를 사용하여 구할 수 있다. 그러면 이 가로 방향의 입사각과 세로 방향의 입사각에 대응하는 입사광의 천정각 θ와 방위각 φ를 수학식 37과 38을 사용하여 구한다. 다음에는 이 입사광의 천정각 θ에 대응하는 상 크기 r을 수학식 9를 사용하여 구한다. 이 상 크기 r과 배율 g 및 입사광의 방위각 φ을 사용하여 보정전 영상면에서의 상점의 직교 좌 표 (x', y')를 수학식 39 내지 40을 사용하여 구한다. 이와 같은 과정에서 보정전 영상면에서의 제 2 교점의 좌표, 혹은 대등하게 센서면 상에서의 제 1 교점의 위치를 정확하게 결정하여야 한다. 이와 같은 교점의 위치는 영상 처리 기술 등의 다양한 방법에 의하여 용이하게 구할 수 있으며, 당 업계에 널리 알려진 기술이므로 본 명세서에서는 기술을 생략한다. 마지막으로 이 직교 좌표를 가지는 어안 렌즈에 의한 상점의 신호(즉, RGB 신호)를 상기 전방위 영상에서의 직교 좌표 (x", y")을 가지는 상점의 신호로 대입을 한다. 이와 같은 방법으로 전방위 영상상의 모든 상점에 대하여 영상 처리를 하면 이상적인 투사 방식을 가지는 전방위 영상을 얻을 수 있다.

그런데 실제로는 모든 이미지 센서 및 디스플레이 수단이 이산화되어 있다는 사실을 고려하면 영상 처리 과정은 다음과 같은 수식들을 사용하여야 한다. 먼저, 바람직한 보정후 영상면의 크기와 제 3 교점의 위치(I_o, J_o)를 정한다. 여기서 제 3 교점의 위치(I_o, J_o)란 제 3 교점 O"의 픽셀 좌표를 지칭한다. 이산화된 영상에서는 관행적으로 맨 왼쪽 위의 픽셀 좌표를 (1, 1) 혹은 (0, 0)으로 규정한다. 본 발명에서는 맨 왼쪽 위의 픽셀 좌표를 (1, 1)로 가정한다. 또한, 가로 방향의 픽셀 좌표 J = 1에 대응하는 가로 방향의 입사각 ψ₁ 및 가로 방향의 픽셀 좌표 J = J_max에 대응하는 가로 방향의 입사각 ψ_Jmax를 결정하고, 상기 보정후 영상면 내의 모든 픽셀 (I, J)에 대하여 수학식 41 내지 42로 주어지는 가로 방향의 입사각 ψ_J 및 세로 방향의 입사각 δ_I를 계산한다.

이 가로 방향의 입사각과 세로 방향의 입사각으로부터 세계 좌표계에서의 가상적인 물점의 좌표를 수학식 43 내지 45를 사용하여 구한다.

여기서 물체거리 S는 최종적인 결과에 영향을 미치지 않으므로 편의상 1로 가정하였다. 이 세계 좌표계 상의 물점의 좌표로부터 제 1 세계 좌표계에서의 물점의 좌표를 수학식 46 내지 48을 사용하여 구한다.

이 좌표로부터 입사광의 천정각 θ_I,J 및 방위각 Φ_I,J를 수학식 49 내지 50을 사용하여 구한다.

다음으로, 수학식 51을 사용하여 이미지 센서면 상에서의 상 크기 r_I _,J를 구한다.

보정전 영상면상에서의 제 2 교점의 위치 (K_o, L_o) 및 확대율 g를 사용하여 보정전 영상면상에서의 제 2점의 위치를 구한다.

이와 같이 대응하는 제 2점의 위치를 찾았으면 nearest-neighbor 혹은 이중선형보간법(bilinear interpolation), bicubic interpolation 등 다양한 보간법을 사용하여 전방위 영상을 구할 수 있다.

도 15는 이와 같은 방법을 사용하여 구한 전방위 영상이며, 투사 방식은 원통형 투사 방식을 사용하였다. 도 15에서 알 수 있는 바와 같이 광축이 지면에 평행하지 않음에도 불구하고 완벽한 전방위 영상을 얻었음을 알 수 있다. 이와 같은 전방위 영상 시스템을 후방 카메라로 사용함으로써 사각 지대 없이 자동차 후면을 모두 모니터링할 수 있다.

이와 같은 영상 시스템을 후방 카메라로 사용할 경우에 한 가지 주의할 점은 장치(즉, 자동차)의 진행 방향과 영상 획득 수단의 광축의 방향이 정 반대인 경우에는 전술한 방법으로 추출한 전방위 영상을 운전자에게 그대로 보여주면 혼란을 일으킬 수 있다는 점이다. 후방 카메라는 자동차의 뒤쪽을 향하고 있으므로 자동차의 오른쪽 후미는 후방 카메라의 영상에서 왼쪽으로 보이게 된다. 그런데 이 영 상을 운전자는 자신이 향하고 있는 방향, 즉 자동차 앞쪽을 바라보는 방향에서의 왼쪽이라고 착각을 일으킬 수 있기 때문에 사고의 위험성이 있다. 이와 같은 착각을 불러일으키지 않기 위해서는 후방 카메라로 포착한 영상을 운전자에게 디스플레이할 경우에 영상의 좌·우를 바꾸어 주는 것이 필요하다. 이와 같이 영상의 좌우를 바꾼 반전된 보정후 영상면 상의 좌표 (I, J)를 가지는 픽셀의 신호값 S'(I, J)는 보정후 영상면 상의 좌표 (I, J_max - J + 1)를 가지는 픽셀의 신호 S(I, J_max - J + 1)와 동일하다.

한편, 동일한 영상 획득 수단이 자동차의 룸미러 근처나 자동차의 앞 범퍼 혹은 라디에이터 그릴 주위에 설치되어 주행상황을 기록하는 차량용 블랙 박스(black box)에 연결되는 기록용 카메라로 사용될 수도 있다.

상기 실시 예는 자동차용 후방 카메라를 예를 들어 기술하였으나, 이 실시 예의 발명이 단지 자동차용 후방 카메라에만 적용할 수 있는 것이 아님은 자명하다.

전술한 참고 문헌 17의 발명은 수학적으로 정확한 전방위 영상을 제공하는 영상처리 알고리즘 및 장치를 제공한다. 그런데 많은 경우에 있어서는 왜곡이 없는 직선수차보정 영상이 더 요긴할 수 있다. 혹은, 전방위 영상과 직선수차보정 영상을 같이 사용함으로써 더 큰 만족을 얻을 수 있다.

[참고문헌 1] J. F. Blinn and M. E. Newell, "Texture and reflection in computer generated images", Communications of the ACM, 19, 542-547 (1976).

[참고문헌 2] N. Greene, "Environment mapping and other applications of world projections", IEEE Computer Graphics and Applications, 6, 21-29 (1986).

[참고문헌 3] S. D. Zimmermann, "Omniview motionless camera orientation system", 미국 특허 제5,185,667호, 등록일 1993년 2월 9일.

[참고문헌 4] E. Gullichsen and S. Wyshynski, "Wide-angle image dewarping method and apparatus", 미국 특허 제6,005,611호, 등록일 1999년 12월 21일.

[참고문헌 5] E. W. Weisstein, "Cylindrical Projection", http://mathworld.wolfram.com/CylindricalProjection.html.

[참고문헌 6] W. D. G. Cox, "An introduction to the theory of perspective - part 1", The British Journal of Photography, 4, 628-634 (1969).

[참고문헌 7] G. Kweon, K. Kim, Y. Choi, G. Kim, and S. Yang, "Catadioptric panoramic lens with a rectilinear projection scheme", Journal of the Korean Physical Society, 48, 554-563 (2006).

[참고문헌 8] G. Kweon, Y. Choi, G. Kim, and S. Yang, "Extraction of perspectively normal images from video sequences obtained using a catadioptric panoramic lens with the rectilinear projection scheme", Technical Proceedings of the 10th World Multi-Conference on Systemics, Cybernetics, and Informatics, 67-75 (Olando, Florida, USA, June, 2006).

[참고문헌 9] H. L. Martin and D. P. Kuban, "System for omnidirectional image viewing at a remote location without the transmission of control signals to select viewing parameters", 미국 특허 제5,384,588호, 등록일 1995년 1월 24일.

[참고문헌 10] F. Oxaal, "Method and apparatus for performing perspective transformation on visible stimuli", 미국 특허 제5,684,937호, 등록일 1997년 11월 4일.

[참고문헌 11] F. Oxaal, "Method for generating and interactively viewing spherical image data", 미국 특허 제6,271,853호, 등록일 2001년 8월 7일.

[참고문헌 12] N. L. Max, "Computer graphics distortion for IMAX and OMNIMAX projection", Proc. NICOGRAPH, 137-159 (1983).

[참고문헌 13] P. D. Bourke, "Synthetic stereoscopic panoramic images", Lecture Notes in Computer Graphics (LNCS), Springer, 4270, 147-155 (2006).

[참고문헌 14] 권경일, 밀턴 라이킨, "어안 렌즈", 대한민국 특허 제10-2008-0030184호, 출원일 2008년 4월 1일.

[참고문헌 15] G. Kweon, Y. Choi, and M. Laikin, "Fisheye lens for image processing applications", J. of the Optical Society of Korea, 12, 79-87 (2008).

[참고문헌 16] 권경일, 밀턴 라이킨, "광각 렌즈", 대한민국 특허 제10-0826571호, 등록일 2008년 4월 24일.

[참고문헌 17] 권경일, "회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치", 대한민국 특허 제10-2008-0022039호, 출원일 2008년 3월 10일.

[참고문헌 18] W. K. Pratt, Digital Image Processing, 3rd edition (John Wiley, New York, 2001), Chap. 19.

본 발명은 광축을 중심으로 회전대칭형인 광각 렌즈를 장착한 카메라로 얻은 이산화된 영상으로부터 감성적으로 자연스럽게 느껴지는 전방위 영상 및 직선수차보정 영상을 얻는 영상 처리 방법 및 이를 이용하는 장치를 제공하는데 그 목적이 있다.

본 발명은 왜곡을 가지는 광각 렌즈의 결상 작용에 대한 기하광학적인 법칙과 전방위 영상 및 직선수차보정 영상에 대한 수학적인 정의에 기반하여 원리적으로 정확한 영상 처리 알고리즘을 제공한다.

회전 대칭형의 형상을 가지는 광각 렌즈의 영상에 정확한 영상 처리를 함으로써 육안으로 가장 자연스럽게 느껴지는 전방위 영상 및 직선수차보정 영상을 얻을 수 있다.

이하, 도 16 내지 도 60을 참조하여 본 발명에 따른 바람직한 실시 예를 상세하게 설명하기로 한다.

(제 1 실시 예)

도 16은 본 발명의 제 1 실시 예의 직선수차보정 투사 방식의 개념도이다. 직선수차보정 투사 방식의 렌즈가 흔히 일컬어지는 왜곡이 없는 렌즈이며, 직선수차보정 렌즈의 특성은 바늘구멍 사진기의 특성과 동일하다고 간주한다. 이와 같은 직선수차보정 투사 방식의 영상을 얻기 위하여 도 16에 도시한 바와 같이 세계 좌표계의 물체면(1631)과 보정후 영상면(1635)을 고려한다.

본 실시 예의 영상 시스템은 임의의 방향을 향하고 있으며, 제 3 직교 좌표계는 이 영상 시스템의 광축(1601)을 음의 z"-축으로 하며, 렌즈의 마디점 N을 원점으로 한다. 이미지 센서면은 가로변의 길이가 B이고, 세로변의 길이가 V인 직사각형의 모양이며, 이미지 센서면은 광축에 수직인 평면이다. 한편, 보정후 영상면은 가로변의 길이가 W이고, 세로변의 길이가 H인 직사각형의 모양이다. 제 1 직교 좌표계의 x-축과 제 2 직교 좌표계의 x'-축, 제 3 직교 좌표계의 x"-축 및 세계 좌표계의 X-축은 모두 이미지 센서의 가로변에 평행하다. 또한, 제 1 직교 좌표계의 z-축과 제 2 직교 좌표계의 z'-축 및 제 3 직교 좌표계의 z"-축은 모두 동일하며 세계 좌표계의 Z-축과 정 반대의 방향을 가리킨다.

본 실시 예에서는 보정후 영상면이 렌즈의 마디점에서 거리 s"에 위치한다고 가정한다. 직선수차보정 투사 방식에서는 물체면(1631)의 형상도 광축에 수직인 평면이며, 물체면 상의 피사체의 영상이 가로 방향의 비율과 세로 방향의 비율이 모두 보존된 채 보정후 영상면(1635) 상에 재현된다. 직선수차보정 렌즈의 이상적인 투사 방식은 바늘구멍 사진기의 투사방식과 동일하다. 바늘 구멍 사진기의 단 순한 기하학적 특성을 고려하면, 물체면(1631)의 크기나 형상을 보정후 영상면의 크기나 형상과 동일한 것으로 가정하는 것이 편리하다. 따라서, 물체면(1631)에서 렌즈의 마디점 N까지의 거리도 s"이라고 가정한다.

도 17은 렌즈의 가로 방향의 화각 Δψ가 보정후 영상면(1735)의 상대적인 위치에 의하여 어떻게 변하는지를 보여주는 개념도이다. 도 17(a)에서 보정후 영상면의 위치는 광축에 대하여 대칭이다. 따라서 이 보정후 영상면에 포착되는 영상도 대칭적인 화각을 가진다. 한편, 도 17(b)에서 보정후 영상면(1735)이 광축에 대하여 한쪽으로 치우쳐져 있으며, 따라서 화각도 좌·우가 다르다. 이와 같은 작용은 주시 방향을 변경하지 않으면서 모니터링하고자 하는 영역을 변경하고자 할 때에 유용하다. 물리적으로는 이미지 센서를 광축에 대하여 한쪽으로 치우치게 배치하는 경우에 해당한다. 이와 같은 작용을 본 발명에서 슬라이드(slide) 작용이라고 지칭하기로 한다.

한편, 도 17(c)는 마디점에서 보정후 영상면까지의 거리 s"를 멀게 변경한 경우를 보여준다. 이 경우에는 도시한 바와 같이 화각이 좁아지게 되어, 좁은 영역만을 모니터링하게 된다. 이것은 물리적으로 줌(zoom) 작용에 해당한다. 따라서 이와 같이 광축에 대한 보정후 영상면의 위치와 마디점까지의 거리를 변경함으로써 슬라이드 작용과 줌 작용을 할 수 있다.

도 18은 이미지 센서면과 광축과의 교점 O, 즉 제 1 교점에 대응하는 보정후 영상면 상의 제 3 교점 O"이 보정후 영상면의 중심 C"과 일치하지 않는 경우를 도시한 것이다. 따라서 슬라이드 작용을 한 영상 시스템으로 생각할 수 있다. 제 3 교점을 원점으로 하는 2차원 직교 좌표계에서 상기 중심 C"의 좌표는 (x"_c, y"_c)이다. 보정후 영상면의 가로 방향의 길이가 W이므로, 상기 중심 C"을 기준으로 가로 방향의 좌표는 최솟값 x"₁ = -W/2 내지 최댓값 x"₂ = W/2이다. 여기에 중심 C"의 좌표를 고려하면 보정후 영상면 상에서의 가로 방향의 좌표의 범위는 최솟값 x"₁ = x"_c - W/2 내지 최댓값 x"₂ = x"_c + W/2이다. 마찬가지로 세로 방향의 좌표의 범위는 최솟값 y"₁ = y"_c - H/2 내지 최댓값 y"₂ = y"_c + H/2이다.

보정후 영상면 상의 제 3 교점 O"에서 제 3점 P"까지의 거리, 즉 상 크기 r"은 수학식 55와 같이 주어진다.

렌즈의 마디점에서 보정후 영상면까지의 가상적인 거리가 s"이므로, 상기 직선수차보정 렌즈에 의해 제 3점에 도달하는 입사광은 수학식 56으로 주어지는 천정각을 갖는다.

한편, 상기 입사광의 방위각은 수학식 57과 같이 주어진다.

따라서 이러한 천정각과 방위각을 갖는 입사광이 렌즈의 결상 작용에 의해 상기 이미지 센서면에 상점을 형성할 때 그 상점의 좌표는 수학식 58 내지 59와 같이 주어진다.

따라서 이와 같은 직교 좌표를 가지는 보정전 영상면 상에서의 신호값을 보정후 영상면 상의 제 3점의 신호값으로 대입하면 된다.

슬라이드 작용이 없을 때, 즉, 제 3 교점의 위치가 보정후 영상면의 중심과 일치할 때 수학식 60의 관계식이 성립한다.

수학식 60을 이용하여 주어진 가로 방향의 화각이나 세로 방향의 화각을 갖 는 보정후 영상면의 가상적인 거리 s"을 계산할 수 있다. 편의상 보정후 영상면의 크기 (W, H) 및 가로 방향의 화각 Δψ를 먼저 구하면 상기 보정후 영상면의 거리 s"이 정해지고, 이 거리로부터 세로 방향의 대칭적인 화각 Δδ가 자동적으로 정해진다. 한편, 슬라이드 작용에 의하여 보정후 영상면의 중심의 좌표가 (x"_c, y"_c)로 주어진다고 하면, 다음의 수학식 61 내지 62의 관계식이 성립한다.

여기서 ψ_max 및 ψ_min은 가로 방향의 최대 입사각 및 최소 입사각이며, 마찬가지로 δ_max 및 δ_min은 세로 방향의 최대 입사각 및 최소 입사각이다. 또한, 중심의 위치와 상관없이 항상 수학식 63의 관계식을 만족하여야 한다.

전술한 종래의 실시 예에서와 마찬가지로 모든 이미지 센서 및 디스플레이 수단이 이산화되어 있다는 사실을 고려하면 영상 처리 과정은 다음과 같은 수식들을 사용하는 것이 편리하다. 먼저, 보정후 영상면의 크기 (I_max, J_max) 및 슬라이드 전의 가로 방향의 화각 Δψ를 정한다. 그러면 렌즈의 마디점에서 보정후 영상면까지의 픽셀 거리 s"를 수학식 64를 이용하여 구할 수 있다.

또한, 보정후 영상면의 중심의 좌표는 수학식 65와 같이 주어진다.

여기서 수학식 65는 이산화된 영상에서 왼쪽 위의 픽셀 좌표가 (1, 1)로 지칭하는 관행을 반영한 것이다.

다음으로, 필요에 따라서 제 3 교점으로부터 상기 중심의 변위 (ΔI, ΔJ)를 결정한다. 이와 같은 설정이 완료되면 보정후 영상면 상의 모든 픽셀에 대하여 수학식 66으로 주어지는 천정각과 수학식 67로 주어지는 방위각을 계산한다.

다음으로, 수학식 68을 사용하여 이미지 센서면 상에서의 상 크기 r_I _,J를 구한다.

다음으로, 보정전 영상면 상에서의 제 2 교점의 위치 (K_o, L_o) 및 확대율 g를 사용하여 보정전 영상면 상에서의 제 2점의 위치를 구한다.

이와 같이 대응하는 제 2점의 위치를 찾았으면 전술한 보간법을 사용하여 직 선수차보정 영상을 구할 수 있다.

도 19는 도 5의 어안 영상으로부터 추출한 직선수차보정 영상으로서 보정후 영상면의 크기는 가로 방향으로 240 픽셀이고, 세로 방향으로 180 픽셀이며, 슬라이드 작용없이 가로 방향의 화각이 120°이다. 도 19에서 알 수 있는 바와 같이 모든 직선이 직선으로 포착되고 있는 것을 알 수 있다. 한편, 도 20은 도 19의 설정에서 보정후 영상면의 중심을 가로 방향으로 70 픽셀, 세로 방향으로 -30 픽셀 이동한 직선수차보정 영상을 보여준다.

한편, 도 21은 참고 문헌 14 및 15에 기술된 화각 190°의 어안 렌즈의 광축을 지면에 수평하게 설치한 상태에서 포착한 실내의 전경이다. 이 어안 렌즈의 실제 투사 방식은 상기 참고 문헌에 자세히 기술되어 있다. 한편, 도 22는 도 21의 어안 영상으로부터 추출한 원통형 투사 방식의 전방위 영상이다. 여기서 보정후 영상면의 가로 대 세로비는 16:9로 주어졌으며, 제 3 교점의 위치는 보정후 영상면의 중심과 일치하고, 수평 방향의 화각은 190°로 설정되었다. 도 22에서 알 수 있는 바와 같이 수직선이 모두 수직선으로 표현되었으며, 피사체가 모두 자연스럽게 보이는 것을 알 수 있다. 약간의 오차는 주로 광축을 수평으로 맞추는 정렬 오차 및 보정전 영상면에서 광축의 위치를 결정하는 실험적인 오차에 의한 것이다.

한편, 도 23은 도 21의 영상에서 추출한 직선수차보정 영상으로서 가로 대 세로의 비는 4:3이며, 제 3 교점의 위치는 보정후 영상면의 중심에 위치하고, 가로 방향의 화각은 60°이다. 이 영상에서는 세계 좌표계 상의 모든 직선들이 보정후 영상면에서 직선으로 표현되고 있는 것을 알 수 있다.

(제 2 실시 예)

도 24는 이와 같은 발명이 사용될 수 있는 한 분야를 보여준다. 휴대폰의 부가가치를 결정하는데 있어서 휴대폰에 집적된 화상 카메라의 비중이 대단히 크다. 만약 휴대폰(2414)으로 파노라마를 촬영할 수 있다면 소비자에게 주는 만족도가 상당히 향상될 것이다. 현재 휴대폰에 장착되는 렌즈는 대개 2 ~ 4매 정도의 양면 비구면 렌즈 요소로 구성되며, 메가픽셀급의 해상도를 가지고, 화각은 60°정도이다. 그런데 3 ~ 5매 정도의 양면 비구면 렌즈 요소를 사용하여 화각 120° 내지는 180°정도의 어안 렌즈를 구현할 수 있다. 또한, 휴대폰에는 ARM core 등의 고성능 프로세서가 사용되므로 본 발명의 실시 예에서 필요한 영상 처리를 감당할 수 있다. 따라서 화각 120° 이상의 광각 렌즈를 장착하고 휴대폰의 전자 회로에 영상 처리 기능을 부여함으로써 파노라마 휴대폰을 구현할 수 있다. 이때 사용되는 이미지 센서는 1M 이상의 메가픽셀급이 적당하다. 이와 같은 휴대폰을 사용하여 사용자는 도 22와 같은 파노라마 영상 혹은 도 23과 같은 직선수차보정 영상을 얻을 수 있다.

이때 사용되는 휴대폰 렌즈에 화각 180° 이상을 구현하는 것은 약간 복잡한 문제가 발생한다. 렌즈가 휴대폰 벽면보다 돌출되지 않으면 설사 렌즈 자체는 180°이상의 화각을 가진다고 하더라도 휴대폰 벽면이 렌즈의 시야를 가리기 때문이다. 따라서 화각 180° 이상을 구현하려면 렌즈가 휴대폰 벽면보다 돌출되어야 하며, 항상 휴대하여야 하는 휴대폰의 특성으로 인하여 돌출된 렌즈가 긁히거나 더러 워지는 등의 문제가 발생할 수 있다. 이와 같은 점들을 고려하면, 렌즈 커버를 구비하여 평상시에는 커버가 덮여있도록 하는 방법이 있을 수 있다. 또 다른 방법은 화상 카메라를 사용할 때만 카메라 모듈이 휴대폰 밖으로 돌출되도록 하는 방법이다. 마지막으로 가장 쉬운 방법으로 휴대폰 렌즈의 화각을 170° 이내로 구현하는 것이다. 이와 같은 화각을 위해서는 렌즈가 휴대폰 벽면보다 돌출될 필요가 전혀 없으므로 고정된 렌즈 모듈로 충분하다. 렌즈가 회전하는 전통적인 방식의 파노라마 카메라의 수평 방향의 화각이 120° 밖에 되지 않으므로 이와 같은 화각으로도 충분한 만족감을 줄 수 있음이 분명하다.

이와 똑같은 기술이 PC 카메라, Web Camera 등에서 사용될 수 있으며, 이때 영상 처리에 필요한 계산 기능은 PC 카메라에 연결된 PC, 혹은 인터넷에 연결된 다른 사용자의 PC 내지는 Network Server 등이 제공할 수 있다. 또한, 어안 렌즈를 장착한 디지털 카메라로 어안 영상을 촬영한 후, PC 상에서 구현되는 영상 편집 소프트웨어를 사용하여 파노라마(전방위) 영상이나 직선수차보정 영상을 추출할 수도 있다.

(제 3 실시 예)

화각 180°의 어안 렌즈를 장착한 카메라가 실내의 한 벽면에 부착되어 있다면 사실상 감시의 사각 지대가 없다. 카메라가 포착하지 못하는 영역은 감시의 필요성이 없는 벽면이기 때문이다. 그러나 전술한 바와 같이 어안 렌즈에 의한 영상은 통형 왜곡으로 인하여 심미적으로 불쾌감을 유발하며, 제 1 실시 예에서와 같이 추출한 초광각 영상은 비록 실내의 대부분을 볼 수 있다고 하더라도 광축에 대하여 많이 떨어져 있는 방향의 피사체는 자연스럽게 포착되지 않는다. 이러한 경우에 가장 자연스러운 영상은 피사체의 방향으로 카메라를 향하게 하여 정면으로 바라보는 직선수차보정 영상이다.

물리적으로 이러한 일이 가능한 카메라는 팬(pan)·틸트(tilt) 스테이지에 장착한 직선수차보정 투사 방식의 렌즈를 장착한 카메라이다. 카메라가 주의가 필요한 방향을 정면으로 향할 수 있기 때문에 가장 만족스러운 영상을 얻을 수 있기 때문이다. 또한, 고양이나 불법 칩입자처럼 움직이는 피사체가 있을 경우에 피사체의 움직임을 그대로 따라가면서 영상을 포착할 수도 있다. 이와 같은 기능을 소프트웨어적으로 구현하기 위한 방법은 다음과 같다.

회전의 수학적 성질에 의하여 팬 작용과 틸트 작용 중 어느 작용을 먼저 하는지에 따라서 영상면이 달라진다. 본 실시 예에서는 팬 작용을 먼저하는 것으로 가정한다. 또한, 제 1 실시 예에서 마찬가지로 슬라이드와 줌 작용을 허용한다. 그러나 슬라이드와 줌 작용은 팬 작용에 선행해야 하며, 틸트 작용은 팬 작용에 뒤따르는 것으로 가정한다. 팬 작용 이전의 물점을 기술하는 좌표계가 세계 좌표계이며, 팬 작용을 한 이후의 좌표계가 제 1 세계 좌표계이고, 틸트 작용을 한 이후의 좌표계가 제 2 세계 좌표계이다. 이 제 2 세계 좌표계의 X", Y" 및 Z"-축이 제 1 직교 좌표계의 x, y 및 z-축과 평행하다.

먼저, 본 발명의 제 1 실시 예와 마찬가지로 보정후 영상면의 크기 (W, H)와 슬라이드 전의 가로 방향의 화각 Δψ를 정한다. 그러면, 보정후 영상면의 거리 s"은 수학식 60으로 정해진다. 다음으로, 필요에 의하여 바람직한 가로 방향의 화각의 범위 (ψ_min ≤ ψ ≤ ψ_max) 및 세로 방향의 화각의 범위 (δ_min ≤ δ ≤ δ_max)를 얻을 수 있도록, 슬라이드 작용의 크기 (x"_c, y"_c)를 정한다. 이 보정후 영상면상의 상점에 대응하는 물체면 상의 각 물점은 수학식 55 내지 57로 주어지는 천정각 및 방위각을 갖는다. 다음으로, 렌즈의 마디점에서 물체 거리 R에 있는 물점 Q의 좌표는 수학식 71 내지 74로 주어진다.

여기서 물체 거리 R은 임의의 값으로 설정할 수 있으며, 편의상 1로 가정할 수 있다.

본 발명의 좌표계에서 팬 작용은 Y-축을 중심으로 회전하는 작용이며, 틸트 작용은 X'-축을 중심으로 회전하는 작용이다. 따라서 이 세계 좌표계 상의 물점의 좌표 (X, Y, Z)를 Y-축을 중심으로 각도 -β만큼 회전한 새로운 점의 좌표가 (X', Y', Z')이며, 이 새로운 점의 좌표를 다시 X'-축을 중심으로 각도 -α만큼 회전한 새로운 점의 좌표가 (X", Y", Z")이다. 본 발명의 제 1 실시 예의 Euler 행렬을 사용하면 새로운 점의 좌표는 수학식 75와 같이 주어진다.

그런데 Euler 회전 행렬의 성질에 의하여 다음의 관계식이 성립한다.

따라서 수학식 75는 다음과 같이 간단하게 표현된다.

이 회전 행렬식을 계산하면 새로운 점의 좌표는 수학식 78 내지 80으로 주어진다.

이 새로운 점의 좌표로부터 대응하는 제 1점의 좌표를 찾는 방법은 제 1 실시 예와 동일하다.

모든 이미지 센서 및 디스플레이 수단이 이산화되어 있다는 사실을 감안하면 직선수차보정 투사 방식에서는 다음과 같은 과정에 의하여 영상 처리를 할 수 있다.

수학식 81을 만족하는 보정후 영상면의 가로 방향의 크기 (I_max, J_max) 및 가로 방향의 화각 Δψ와 세로 방향의 화각 Δδ, 그리고 렌즈의 마디점에서 보정후 영상면까지의 픽셀 거리 s"를 구한다.

보정후 영상면의 중심의 좌표는 수학식 82와 같이 주어진다.

다음으로, 필요에 따라서 제 3 교점으로부터 상기 중심의 변위 (ΔI, ΔJ)를 결정한다. 이와 같은 설정이 완료되면 보정후 영상면 상의 모든 픽셀에 대하여 수학식 83으로 주어지는 천정각과 수학식 84로 주어지는 방위각을 계산한다.

다음으로, 이 천정각과 방위각을 갖는 물체면 상의 물점 Q의 위치를 수학식 85 내지 87을 사용하여 구한다.

여기서 물체 거리 R은 1로 가정하였다. 다음으로, 이 물점의 제 2 세계 좌표계 상에서의 좌표를 수학식 88 내지 90을 사용하여 구한다.

이 좌표로부터 입사광의 천정각 θ_I,J 및 방위각 φ_I,J를 수학식 91 내지 92를 사용하여 구한다.

다음으로, 수학식 93을 사용하여 이미지 센서면상에서의 상 크기 r_I _,J를 구한다.

다음으로, 보정전 영상면상에서의 제 2 교점의 위치 (K_o, L_o) 및 확대율 g를 사용하여 보정전 영상면상에서의 제 2점의 위치를 구한다.

이와 같이 대응하는 제 2점의 위치를 찾았으면 제 1 실시 예에서와 마찬가지의 보간법을 사용하여 전방위 영상을 구할 수 있다.

도 25는 도 5의 어안 영상으로부터 추출한 직선수차보정 영상으로서 보정후 영상면의 크기는 가로 방향으로 240 픽셀이고, 세로 방향으로 180 픽셀이며, 슬라이드·팬·틸트 작용 전의 가로 방향의 화각이 120°이며, 슬라이드 작용은 없고, 회전각은α = β = 30°인 경우를 도시한 것이다. 도 25에서 알 수 있는 바와 같이 모든 직선이 직선으로 포착되고 있는 것을 알 수 있다. 한편, 도 26은 도 21의 어안 영상으로부터 추출한 직선수차보정 영상으로서 보정후 영상면의 크기는 가로 방향으로 1280 픽셀이고, 세로 방향으로 960 픽셀이며, 슬라이드·팬·틸트 작용전의 가로 방향의 화각이 70°이며, 슬라이드 작용은 없고, 회전각은 α = 40°이고 β = 20°인 경우를 도시한 것이다.

(제 4 실시 예)

도 27은 참고 문헌 14 내지 15의 어안 렌즈를 사용하여 획득한 또 다른 실내 전경으로서 어안 렌즈의 광축이 지평면에서 바닥(천저)을 향하여 45° 기울어진 상태에서 촬영한 정지 영상이다. 한편, 도 28은 도 27의 어안 영상에서 추출한 팬·틸트 작용을 한 직선수차보정 영상이다. 구체적으로 보정후 영상면의 크기는 가로 방향으로 1280 픽셀이고, 세로 방향으로 960 픽셀이며, 슬라이드·팬·틸트 작용전의 가로 방향의 화각이 60°이며, 슬라이드 작용은 없고, 회전각은 α = 45°이고 β = 50°인 경우를 도시한 것이다. 그런데 지면에 수직으로 서있는 피사체 - 예를 들어 책꽂이 - 가 기울어져 보이는 것을 알 수 있다. 이와 같은 경우에는 틸트 작용이 팬 작용에 선행해야 만족스러운 영상을 얻을 수 있다.

즉, 제 3 실시 예에서는 먼저 슬라이드 및 줌 작용을 한 이후에 팬 작용과 틸트 작용이 순차적으로 뒤따르는 작용에 의한 직선수차보정 영상을 얻는 방법이 기술되어 있다. 그런데 응용 예에 따라서는 팬 작용과 틸트 작용의 순서가 바뀌는 것이 유리한 경우도 있다. 제 3 실시 예에서와 마찬가지로 틸트 작용과 팬 작용을 순차적으로 한 새로운 점의 좌표는 수학식 96과 같이 주어진다.

이 회전 행렬식을 계산하면 제 2 세계 좌표계에서의 물점의 좌표는 수학식 97 내지 99로 주어진다.

이 물점의 좌표로부터 대응하는 제 2점의 좌표를 찾는 방법은 제 3 실시 예와 동일하다.

수학식 100을 만족하는 보정후 영상면의 크기 (I_max, J_max) 및 가로 방향의 화 각 Δψ와 세로 방향의 화각 Δδ, 그리고 렌즈의 마디점에서 보정후 영상면까지의 픽셀 거리 s"를 구한다.

보정후 영상면의 중심의 좌표는 수학식 101과 같이 주어진다.

다음으로, 필요에 따라서 제 3 교점으로부터 상기 중심의 변위 (ΔI, ΔJ)를 결정한다. 이와 같은 설정이 완료되면 보정후 영상면 상의 모든 픽셀에 대하여 수학식 102로 주어지는 천정각과 수학식 103으로 주어지는 방위각을 계산한다.

다음으로, 이 천정각과 방위각을 갖는 물체면 상의 물점 Q의 위치를 수학식 104 내지 106을 사용하여 구한다.

다음으로, 제 2 세계 좌표계에서의 이 물점의 좌표를 수학식 107 내지 109를 사용하여 구한다.

이 좌표로부터 입사광의 천정각 θ_I,J 및 방위각 φ_I,J를 수학식 110 내지 111을 사용하여 구한다.

다음으로, 수학식 112를 사용하여 이미지 센서면 상에서의 상 크기 r_I _,J를 구한다.

이와 같이 대응하는 제 2점의 위치를 찾았으면 제 1 내지 제 2 실시 예에서와 마찬가지의 보간법을 사용하여 직선수차보정 영상을 구할 수 있다.

도 29는 도 27의 어안 영상에서 추출한 틸트·팬 작용을 한 직선수차보정 영상이다. 구체적으로 보정후 영상면의 크기는 가로 방향으로 1280 픽셀이고, 세로 방향으로 960 픽셀이며, 슬라이드·팬·틸트 작용전의 가로 방향의 화각이 60°이고, 슬라이드 작용은 없고, 회전각은 α = 45°이고, β = 50°인 경우를 도시한 것이다. 도 29에서는 책꽂이가 똑 바로 서 있는 것을 볼 수 있다.

이와 같은 직선수차보정 투사 방식은 다음과 같이 요약될 수 있다. 본 발명의 영상 시스템으로 포착되는 세계 좌표계는 도 9에 나타나 있다. 도 30은 도 9의 세계 좌표계 (X, Y, Z)가 회전 및 평행 이동을 하여 얻어지는 제 2 세계 좌표계 (X", Y", Z")을 보여준다. 구체적으로, 도 30에서 제 2 세계 좌표계의 원점 N"은 세계 좌표계의 원점 N이 X-축 방향으로 ΔX만큼 평행 이동하고, Y-축 방향으로 ΔY만큼 이동한 것이다. 그리고 X"-축 및 Y"-축은 X-축 및 Y-축이 Z-축을 기준으로 각각 각도 γ만큼 회전하여 얻어진 것이다. 도 31은 이와 같은 제 2 세계 좌표계의 물점의 좌표 (X",Y")과 보정후 영상면상의 상점의 좌표 (x", y")이 비례함을 보여준다. 다시 말하면 다음의 수학식 115의 관계식이 성립한다.

일반적으로 말하여 직선수차보정 투사 방식이란 상기 화면 즉 보정후 영상면 상의 모든 상점 (x", y")에 대하여 수학식 115를 만족하는 제 2 세계 좌표계 (X", Y", Z")가 존재하는 투사 방식을 지칭하되, 여기서 제 2 세계 좌표계 (X", Y", Z")는 상기 세계 좌표계 (X, Y, Z)가 3차원 공간상에서 임의의 회전과 평행 이동을 반복하여 얻어질 수 있는 새로운 좌표계인 것을 의미한다.

(제 5 실시 예)

도 32는 본 발명의 광각 영상 시스템을 사용하는 자동차용 후방 카메라의 개념도이다. 참고 문헌 17에 기술되어 있는 종래 발명의 전방위 영상 시스템은 자동차용 후방 카메라로 사용되어 사각 지대를 완전히 없앨 수 있다. 전술한 어안 렌즈는 자동차(3251)의 트렁크 내부에 장착되어 자동차 뒤쪽의 영상을 사각지대 없이 모니터링할 수 있으며, 자동차 범퍼나 뒤쪽 창문에 설치할 수도 있다. 그러나 후방 카메라의 목적을 고려하면 트렁크 상단의 위치가 가장 이상적일 것이다. 또한, 버스나 트럭의 경우에는 후미의 상단에 설치하는 것이 바람직할 것이다.

그런데 주차시나 후진시에는 먼 경치가 아니라 자동차 바로 뒤쪽의 영상이 매우 요긴하게 사용될 수 있다. 주행시에 먼 경치를 포착하기 위해서는 영상 획득 수단(3210)의 광축(3201)이 지면(3217)에 평행하도록 설치될 것이다. 따라서 자동 차 후방의 장애물이나 주차선을 확인하기 위해서는 본 발명의 제 1 실시 예 또는 제 3 실시 예에 따른 팬·틸트 작용이 유용할 것이다.

도 33은 도 5의 어안 영상으로부터 추출한 직선수차보정 영상으로서 보정후 영상면의 크기는 가로 방향으로 240 픽셀이고, 세로 방향으로 180 픽셀이며, 슬라이드·팬·틸트 작용 이전의 가로 방향의 화각이 120°이며, 슬라이드 작용은 없으며, 회전각은 α = 90°이고, β = 0°인 경우를 도시한 것이다. 따라서 이 경우는 팬 작용이 없이 틸트 작용만 한 경우에 해당한다. 그런데 도 33에서 볼 수 있는 바와 같이 화면의 절반만이 의미있는 영상을 포함하고 있다. 그 이유는 도 34를 참조하여 이해할 수 있다. 도 34에서는 영상 획득 수단의 광각 렌즈의 화각이 180°인 경우로 도시하였다. 도 34(a)에서와 같이 슬라이드나 팬·틸트 작용이 없을 때 직선수차보정 투사 방식을 따르는 보정후 영상면(3435) 및 물체면(3431)은 광축에 수직하며, 물체면 상의 모든 물점은 상기 렌즈의 시야 범위에 있다. 그런데 도 34(b)에서와 같이 틸트각이 90°가 되면, 보정후 영상면(3435)의 절반, 그리고 물체면(3431)의 절반이 렌즈의 시야 범위 밖에 존재한다. 따라서 소프트웨어적으로 90° 틸트를 하면 아무런 영상 정보가 없는 영역이 화면의 절반을 차지하게 된다. 더구나 도 32와 도 34를 참조하면 렌즈의 시야 범위 밖에 있는 영역은 애초에 자동차 차체에 해당하므로 모니터링하는 것 자체가 큰 의미가 없는 영역이다.

한편, 도 35는 이와 같은 문제점을 해결하기 위한 방안을 보여준다. 주시 방향을 광축에 수직이게 하기 위하여 팬각이나 틸트각이 90°가 되게 하고자 한다면, 도 35(a)에 도시한 것처럼 먼저 보정후 영상면(3535)에 슬라이드 작용을 하여 물체면(3531)이 광축을 기준으로 회전하고자 하는 방향의 반대쪽에 있도록 한다. 그러면 도 35(b)에서와 같이 틸트각이 90°가 되더라도 물체면은 렌즈의 시야 범위 내에 있게 되어 만족스러운 직선수차보정 영상을 얻을 수 있다. 도 36은 이와 같이 사전에 슬라이드 작용을 한 후 틸트 작용을 하여 얻은 광각 영상의 예이다.

도 37은 전술한 어안 렌즈를 사용하여 획득한 또 다른 영상으로서 어안 렌즈의 광축이 지평면에 평행한 상태에서 촬영한 정지 영상이다. 어안 렌즈를 장착한 카메라를 대형 버스의 측면 벽에서 바깥쪽을 향하여 설치하였고, 카메라의 높이는 대형 버스의 높이와 비슷한 높이에 설치하였다. 도 37에서 알 수 있는 바와 같이 버스의 벽면을 포함하는 반구상의 모든 피사체가 포착이 되었다.

도 38은 도 37의 영상에서 추출한 수평 화각 190°의 전방위 영상으로서 투사 방식은 메카토르 투사 방식을 사용하였으며, 제 3 교점의 좌표는 (I_o, J_o) = (1, J_max / 2)이다. 한편, 도 39는 도 37의 영상에서 추출한 직선수차보정 영상으로서 수평 방향의 화각은 90°이며, 틸트각은 -90°이고 슬라이드 작용의 크기는 (ΔI, ΔJ) = (0, -J_max / 2)이다. 한편, 도 40은 도 37의 영상에서 추출한 또 다른 직선수차보정 영상으로서 가로 방향의 화각은 90°이고, 슬라이드 작용의 크기는 (ΔI, ΔJ) = (0, J_max / 2)이다. 이 영상은 버스의 전면을 모니터링하기 위하여 먼저 -100°의 팬 작용을 한 이후에 -30°의 틸트 작용을 한 영상이다.

도 38 내지 도 40의 영상으로부터 이와 같은 영상 시스템이 자동차용의 카메라로서 유용함을 알 수 있다. 도 41은 이와 같은 영상 시스템을 이용하는 자동차 의 예를 보여준다. 승용차나 버스 등 자동차(4151)의 외벽에 1개 이상의 카메라(4110L, 4110R, 4110B)가 장착되며, 바람직하게는 모든 카메라에 동일한 어안 렌즈가 장착된다. 또한, 이 카메라는 지평면에 평행하게 설치될 수도 있으며, 지평면에 수직이게 설치될 수도 있고, 지평면에 대하여 소정의 각도를 가지고 기울어져 있을 수도 있다. 이 중에 어떤 방법을 택하는지는 응용 예에 따라서 달라질 수 있다.

한편, 이와 같은 카메라에서 획득한 어안 영상은 영상처리수단(4116)에서 취합하여, 영상처리를 한 후 영상표시수단(4117)에서 보여지게 되며, 동시에 영상저장수단(4118)에도 저장될 수 있다. 영상저장수단은 DVR(Digital Video Recorder)이 될 수 있다.

이 영상처리수단(4116)에 연결된 또 다른 장치로서 상황 인지 장치(situation awareness module) 혹은 영상 선택 수단(image selection means)이 있다. 이 영상 선택 수단은 자동차가 전진 중인지, 후진 중인지, 아니면 왼쪽이나 오른쪽으로 방향을 바꾸거나 차선을 바꾸기 위하여 운전자가 깜박이 신호를 넣었는지 등의 신호를 자동차의 회로장치로부터 받아들인다. 또한, 전진중이라도 고속인지 저속인지 등이 구분될 수 있다. 이와 별도로 운전자가 계기판상의 메뉴를 조작하여 영상 표시 수단에 표시되는 화면의 투사 방식이나 변수를 강제할 수 있다. 이와 같은 영상 선택 수단에서 제공되는 신호에 의거하여 영상 처리 수단은 좌측면 카메라(4110L)의 영상을 보여주거나, 후방 카메라(4110B)의 영상을 운전자에게 보여주는 등 현재 상황에 가장 바람직한 영상을 제공한다.

설사 카메라가 후방카메라(4110B) 한대라고 하더라도 상황 인지 장치는 유용하다. 예를 들어 차가 전진중일 때에는 후방카메라에서 획득한 어안 영상에서 도 22와 같은 파노라마 영상이나 아니면 도 23과 같은 지평면에 평행한 상태의 직선수차보정 영상을 운전자에게 보여줄 수 있다. 우회전 깜박이 신호가 들어왔을 때에는 도 40과 같은 팬·틸트된 영상을 보여줄 수 있다. 그리고 후진 신호가 들어왔을 때에는 도 39와 같이 틸트를 한 영상을 운전자에게 보여주어 후진시 빈번히 발생하는 사고를 방지할 수 있다.

도 41과 같이 여러 대의 카메라를 사용하는 경우에는 각각의 카메라에서 얻은 영상에 영상처리를 한 다음 그 영상들을 합쳐서 하나의 전방위 영상이나 직선수차보정 영상을 생성하여 운전자에게 보여줄 수 있다. 이와 같은 경우에는 마치 자동차 주변을 한눈에 내려다보는 것과 같은 만족스러운 영상을 운전자에게 제공한다.

요약하면 자동차용 영상 시스템은 광축을 중심으로 회전 대칭형인 광각 렌즈를 이용하여 보정전 영상면을 획득하는 영상 획득 수단과 상기 보정전 영상면을 기초로 보정후 영상면을 생성하는 영상 처리 수단과 상기 보정후 영상면의 투사 방식과 변수를 결정하는 영상 선택 수단 및 직사각형 모양의 화면에 상기 보정후 영상면을 표시하는 영상 표시 수단을 포함한다. 상기 보정후 영상면의 투사 방식은 전방위 투사 방식과 직선수차보정 투사 방식을 포함한다. 자동차는 자동차용 영상 시스템을 포함하는 장치(device)이다.

이 영상 시스템의 좌표계는 상기 광각 렌즈의 마디점을 원점으로 하고, 상기 원점을 지나는 수직선을 Y-축으로 하는 세계 좌표계 상의 좌표 (X, Y, Z)를 가지는 물점에 대응하는 상기 직사각형 모양의 화면상의 상점의 좌표를 (x", y")라고 할 때, 상기 전방위 투사 방식이란 상기 세계 좌표계 상의 Y-축에 평행한 직선을 상기 화면상에 y"-축에 평행한 직선으로 표시하며, 상기 세계 좌표계 상의 X-Y 평면상에서 동일한 각 거리를 갖는 두 피사체는 상기 화면상에서 동일한 x"-축 방향의 간격을 갖는 투사 방식을 지칭한다. 한편, 상기 직선수차보정 투사 방식이란 상기 세계 좌표계상의 임의의 직선이 상기 화면상에서 직선으로 표시되는 것을 특징으로 하는 투사 방식이다.

이와 같은 원리는 자동차용 영상 시스템뿐만 아니라 다른 분야에서도 사용될 수 있다. 예를 들어 상기 장치는 화상 휴대폰이고, 영상 선택 장치는 사용자가 선택할 수 있는 휴대폰의 한 메뉴 버튼이 될 수 있다. 또는 상기 장치는 PC 카메라이고, 상기 영상 획득 수단은 어안 렌즈를 장착한 USB CMOS 카메라이며, 상기 영상처리수단은 컴퓨터상에서 동작되는 소프트웨어가 될 수 있다. 또는 상기 장치는 디지털 카메라이며, 상기 영상 처리 수단은 컴퓨터상에서 동작되는 소프트웨어이다. 이 경우에는 영상 획득 수단과 영상 처리 수단은 물리적으로뿐만 아니라 시간적으로도 단절된 두 수단이다. 즉, 영상 획득 수단은 어안 렌즈를 장착한 디지털 카메라이고, 영상 처리 수단은 컴퓨터에서 구동되는 영상 편집 소프트웨어이다. 또한, 영상 선택 수단은 영상 편집 소프트웨어 상의 메뉴 항목에 해당하며, 영상 표시 수단은 물론 PC 모니터이다.

(제 6 실시 예)

도 42는 제 4 실시 예의 영상 시스템을 이용하는 빌딩 모니터링 시스템의 개념도이다. 도 42에 도시한 바와 같이 빌딩의 각 벽면의 높은 지점에 각각 1 대의 카메라를 설치한다. 빌딩이 대개 직사각형의 모양이므로 4 대의 카메라가 필요하다. 상기 빌딩의 각 벽면이 각각 동서남북을 향하고 있다면 동쪽 카메라(4210E)의 물체면(4231E)은 동쪽 벽면에 접하는 직사각형 모양의 지면을 할당한다. 마찬가지로 서쪽 카메라(4210W)와 북쪽 카메라(4210N) 및 남쪽 카메라(4210S)에도 대응하는 물체면(4231W, 4231N, 4231S)을 할당하되, 각 물체면이 서로 접하여 빌딩을 포함하는 주변 공간이 빠짐없이 모니터링 될 수 있도록 한다. 바람직하게 각각의 카메라는 수직으로 지면을 향하는 방향으로 설치될 수 있으나, 소정의 각도를 가지게 설치하더라도 유사한 결과를 얻을 수 있다. 이와 같이 설치된 카메라에서 얻은 영상에서 직선수차보정 영상을 추출한 뒤, 도 42에 도시한 바와 같은 물체면에 대응하는 영상만을 추출한 뒤, 그 영상을 모두 합치면 빌딩 주위의 모든 영역을 한눈에 바라볼 수 있는 만족스러운 영상이 얻어진다. 이 경우에도 상황 인식 장치(4219)는 보안시스템 조작자의 조작에 대응하는 다양한 영상을 영상 표시 수단(4217)에 표시한다.

이 실시 예에서 각각의 방향에서 추출한 직선수차보정 영상을 합치는 과정을 영상 등록(image registration)이라고 부른다. 이와 같은 영상 등록 기술은 참고 문헌 18에 자세히 기술되어 있으며, 기본적인 원리는 최소한 일부가 중복되는 두 하부 영상으로부터 correlation function을 계산하여 그 함수값의 최대치로부터 두 영상이 잘 들어맞기 위한 두 영상 간의 상대적인 평행 이동이나 회전과 같은 작용의 크기를 결정하는 것이다.

(제 7 실시 예)

도 43은 도 13에 도시한 바와 같이 승용차의 트렁크 상단에 어안 렌즈를 장착한 카메라를 설치하여 획득한 영상이며, 틸트각은 -45°이다. 도 43에서 볼 수 있는 바와 같이 승용차의 번호판까지 보일 정도로 화각이 넓은 것을 알 수 있다. 한편, 도 44는 도 43의 영상에서 추출한 가로 방향의 화각 120°의 직선수차보정 영상이며, 틸트각은 -45°이다. 여기서 지면의 주차선이 잘 보이는 것을 알 수 있다. 그런데 자동차의 범퍼가 주차선보다 더 크게 보이는 것을 알 수 있다. 이와 같은 직선수차보정 영상은 주차 보조용으로 별로 도움이 되지 않을 것이다. 이렇게 영상이 보이는 이유는 도 45를 참조하여 이해할 수 있다.

도 45는 승용차(4551)의 트렁크 상단에 후방 카메라(4510)를 설치한 상태의 개념도이다. 직선수차보정 영상을 제공하는 카메라의 특성은 바늘구멍 사진기의 특성과 동일하다. 도 45에서 주차 표지선(4555)의 폭은 당연히 승용차의 가로 방향의 폭, 혹은 범퍼(4553)의 폭 보다 넓다. 따라서 주차 표지선 안에 자동차가 완전히 포함될 수 있다. 그런데 중앙에 설치된 직선수차보정 렌즈로 바라보면 범퍼의 높이로 인하여 범퍼 넓이가 주차 표지선보다 넓게 보이는 것이다. 도 45의 카메라로 바라볼 때 주차 표지선의 경계(4565)는 범퍼의 경계(4563)보다 작을 수밖에 없으며, 이는 렌즈의 투사 방식과도 상관이 없는 순수한 시점(view point)의 문제 이다. 주차 표지선이 범퍼보다 넓게 보이려면 두 피사체의 높이가 비슷해야 하지만, 이는 현실적으로 곤란하다.

도 46은 이와 같은 문제점을 해결하기 위한 자동차용 영상 시스템의 개념도이다. 자동차용 카메라는 자동차의 각 모서리에 설치하고, 광축은 지면에 수직하도록 설치한다. 예를 들어 승용차의 바깥으로 돌출한 부분인 범퍼의 모서리에 설치할 수 있다. 이와 같이 설치된 상태에서는 범퍼의 높이에 상관없이 지면에 대한 정확한 위치(4663)가 포착되므로 주차시에 주차표지선(4665)과의 거리를 정확하게 인식할 수 있다. 그러나 영상 획득 수단의 광축이 반드시 지면에 수직이어야 하는 것은 아니며, 지면에 평행할 수도 있다. 이와 같이 영상 획득 수단의 광축이 지면에 대하여 소정의 각도를 가지고 있다고 하더라도 전술한 팬·틸트·슬라이드 작용을 조합하여 광축이 지면에 수직인 것과 동일한 투사 방식을 가지는 영상면을 획득할 수 있다.

도 47은 레저용 밴의 상단에 어안 렌즈를 장착한 카메라를 설치하고, 광축을 지면에 수직이게 한 상태에서 포착한 영상이며, 도 48은 이와 같은 어안 영상으로부터 추출한 직선수차보정 영상이다. 도 48로부터 자동차와 주차 경계선이 모두 명확하게 구분됨을 알 수 있다.

이와 같은 영상 시스템은 도 49에 도시한 바와 같이 버스나 트럭과 같이 차체의 높이가 큰 자동차에서 특히 유용할 것이다. 사람의 키보다 훨씬 높은 위치에 설치되므로 직선수차보정 영상도 훨씬 자연스럽게 보일 뿐만 아니라 유지관리하기도 편리하고, 파손이나 훼손의 염려도 적기 때문이다.

이와 같은 자동차용 영상 시스템은 광축을 중심으로 회전 대칭형인 광각 렌즈를 이용하여 제 1 내지 제 2 보정전 영상면을 획득하는 제 1 내지 제 2 영상 획득 수단과 상기 제 1 내지 제 2 보정전 영상면을 기초로 직선수차보정 투사 방식을 따르는 제 1 내지 제 2 보정후 영상면을 생성하고, 상기 제 1 내지 제 2 보정후 영상면으로부터 등록된 보정후 영상면을 생성하는 영상 처리 수단 및 직사각형 모양의 화면에 상기 등록된 보정후 영상면을 표시하는 영상 표시 수단을 포함하는 것을 특징으로 한다. 상기 장치는 상기 자동차용 영상 시스템을 구비하는 자동차이다.

바람직하게는 상기 제 1 내지 제 2 영상 획득 수단은 상기 자동차 후미의 양쪽 모서리에 지면을 향하여 설치되고, 상기 등록된 보정후 영상면은 상기 양쪽 모서리를 모두 포함하는 것을 특징으로 한다.

한편, 도 50은 같은 원리를 이용하는 건물 실외 감시용 영상 시스템을 보여준다. 여기서 장치는 바로 건물이 된다. 이와 같은 건물 실외 감시용 영상 시스템은 광축을 중심으로 회전 대칭형인 광각 렌즈를 이용하여 제 1 내지 제 4 보정전 영상면을 획득하는 제 1 내지 제 4 영상 획득 수단(5010NW, 5010NE, 5010SW, 5010SE)과 상기 제 1 내지 제 4 보정전 영상면을 기초로 직선수차보정 투사 방식을 따르는 제 1 내지 제 4 보정후 영상면을 생성하고, 상기 제 1 내지 제 4 보정후 영상면으로부터 등록된 보정후 영상면을 생성하는 영상 처리 수단(5016) 및 직사각형 모양의 화면에 상기 등록된 보정후 영상면을 표시하는 영상 표시 수단(5017)을 포함하는 것을 특징으로 한다.

상기 제 1 내지 제 4 영상 획득 수단은 상기 건물의 적어도 네 모서리에 지 면을 향하여 설치되고, 상기 등록된 보정후 영상면은 상기 네 모서리를 모두 포함하는 것을 특징으로 한다.

(제 8 실시 예)

참고문헌 17의 전방위 영상 시스템은 영상 시스템을 구비하는 장치의 지면에 대한 기울기에 상관없이 항상 자연스러운 전방위 영상을 제공하기 위하여 방향 지시 수단을 필요로 한다. 그런데 오토바이나 무인 항공기와 같이 비용이나 무게, 부피 등의 측면에서 방향 지시 수단을 탑재하기 어려운 경우도 있을 것이다. 도 51은 이와 같은 경우에 사용될 수 있는 다시점 파노라마(multiple viewpoint panorama) 방식의 영상을 제공하는 물체면의 개념도이다.

본 실시 예의 물체면은 2장 이상의 평면인 하부 물체면이 연결된 구조로 되어있다. 도 51에는 5131-1, 5131-2 및 5131-3의 세 장의 하부 물체면을 사용하는 경우를 도시하였으나 일반적으로 n개의 하부 물체면인 경우도 마찬가지로 용이하게 이해될 수 있다. 본 실시 예를 용이하게 이해하기 위하여 렌즈의 마디점 N을 중심으로 하는 반경 T인 구를 가정한다. 이 구에 접하도록 병풍을 둘러쌌다고 하면, 바로 이 병풍이 본 실시 예의 물체면에 해당한다. 따라서 n개의 하부 물체면은 모두 렌즈의 마디점에서 동일한 거리 T에 있다. 결과적으로 각각의 하부 물체면은 모두 동일한 줌 비(zoom ratio) 혹은 영상의 확대율을 가지게 된다.

세 장의 하부 물체면을 사용하는 도 51에서는 제 1 하부 물체면(5131-1)의 주시 방향(5101-1)이 제 2 하부 물체면(5131-2)의 주시 방향(5101-2)과 각도 ψ_1-2를 가지며, 제 3 하부 물체면(5131-3)의 주시 방향(5101-3)은 제 2 하부 물체면(5131-2)의 주시 방향(5101-2)과 각도 ψ_3-2을 가진다. 제 1 하부 물체면의 가로 방향의 화각의 범위는 최솟값 ψ₁ 내지 최댓값 ψ₂이며, 제 2 하부 물체면의 가로 방향의 화각의 범위는 최솟값 ψ₂ 내지 최댓값 ψ₃이다. 이와 같은 방식으로 인접하는 하부 물체면의 가로 방향의 화각이 연속적으로 이어짐에 따라 자연스러운 다시점 방식의 파노라마 영상을 얻을 수 있다.

도 52는 도 5의 영상으로부터 추출한 다시점 파노라마 영상의 예이며, 각각의 하부 보정후 영상면은 가로변의 길이가 240 픽셀이고, 세로변의 길이가 180 픽셀이다. 또한, 각 하부 보정후 영상면 또는 대응하는 하부 물체면의 가로 방향의 화각은 60°이며, 각 하부 물체면에는 슬라이드 작용이 없으며, 모든 하부 물체면까지의 거리는 동일하다. 또한, 왼쪽의 제 3 하부 물체면의 팬각은 -60°이며, 가운데의 제 2 하부 물체면의 팬각은 0°이고, 오른쪽의 제 1 하부 물체면의 팬각이 60°이다. 따라서 석 장의 하부 보정후 영상면이 각각 60°의 가로 방향의 화각을 가지므로 전체적으로 화각 180°를 가지는 다시점 파노라마를 구성한다. 도 52에서 알 수 있는 바와 같이 각각의 하부 보정후 영상면에서 모든 직선은 직선으로 표시된다.

도 53은 다시점 파노라마의 정의를 보여주는 개념도이다. 다시점 파노라마를 제공하는 영상 시스템은 광축을 중심으로 회전 대칭형인 광각 렌즈를 이용하여 보정전 영상면을 획득하는 영상 획득 수단과 상기 보정전 영상면을 기초로 보정후 영상면을 생성하는 영상 처리 수단 및 직사각형 모양의 화면에 상기 보정후 영상면을 표시하는 영상 표시 수단을 포함하는 것을 특징으로 한다.

상기 보정후 영상면은 다시점 파노라마이며, 상기 다시점 파노라마는 상기 화면상에 가로 방향으로 배열된 제 1 내지 제 n 하부 직선수차보정 영상면으로 구성되되, 여기서 n은 2 이상의 자연수이며, 상기 광각 렌즈의 마디점을 원점으로 하는 세계 좌표계상의 임의의 직선은 상기 제 1 내지 제 n 하부 직선수차보정 영상면에서 직선(5381A)으로 표시되고, 인접하는 둘 이상의 하부 직선수차보정 영상면에 표시되는 상기 세계 좌표계 상의 임의의 직선은 상기 보정후 영상면에서 연결된 선분(5381B-1, 5381B-2, 5381B-3)으로 표시되는 것을 특징으로 한다.

한편, 도 54는 도 5의 영상으로부터 추출한 또 다른 다시점 파노라마이되, 석 장의 물체면을 먼저 -55°만큼 틸트를 한 다음, 도 52의 영상에서와 동일한 조건으로 팬 작용을 하여 얻어지는 다시점 파노라마 영상이다. 도 54에서 알 수 있는 바와 같이 설사 세계 좌표계상의 수직선이 이미지 센서면의 세로변에 평행하지 않더라도 보정후 영상면에서 직선으로 표시되는 것을 알 수 있다. 도 55는 도 37에서 추출한 다시점 파노라마 영상이며, 도 56은 도 27의 영상으로부터 추출한 다시점 파노라마 영상이다. 도 55 내지 도 56에서 석 장의 물체면은 각각 190°/ 3의 가로 방향의 화각을 가진다.

도 57은 또 다른 어안 영상의 예이며, 실내 천정의 중앙에 화각 190°인 어안 렌즈를 설치하였을 때 얻어지는 효과를 볼 수 있다. 도 58은 도 57의 어안 영 상으로부터 추출한 전방위 영상이다. 한편, 도 59는 도 57에서 추출한 다시점 파노라마 영상이다. 각각의 물체면은 360°/ 4의 가로 방향의 화각을 가지며, 먼저 -90°의 각도로 틸트를 한 다음 필요한 만큼 팬 작용을 하여 얻어진 것이다. 도 59의 영상으로부터 이와 같은 영상 시스템이 실내 보안 카메라로 유용한 것을 알 수 있다. 다음은 도 59의 영상을 얻기 위한 MatLab code이다.

% Image processing algorithm for generating a multiple viewpoint panoramic image from a fisheye image.

% format long

%

% *********** Real projection scheme *****************************************************

coeff = [-3.101406e-2, 7.612269e-2, -1.078742e-1, 3.054932e-2, 1.560778, 0.0];

%

% *** Read in the graphic image **********

picture = imread('image', 'jpg');

[Kmax, Lmax, Qmax] = size(picture);

CI = double(picture) + 1;

%

Lo = 1040;

Ko = 750;

gain = 312.5; % 1/2-inch sensor

%

% Draw an empty canvas

Jmax = round(Lmax / 4); % canvas width

Imax = Jmax; % canvas height

Jo = (Jmax + 1) / 2;

Io = 1;

EI = zeros(Imax, 4 * Jmax + 3, 3); % dark canvas

%

Dpsi = 360.0 / 4.0 / 180.0 * pi;

T = (Jmax - 1) / 2.0 / tan(Dpsi / 2.0);

DI = 0;

DJ = 0;

%

ALPHA = 90.0;

alpha = ALPHA / 180.0 * pi;

sin_alpha = sin(alpha);

cos_alpha = cos(alpha);

%

% ********* Right side *******************************************

% Virtual screen

Beta_o = 45.0;

for S = 0: 3

BETA = Beta_o + 360.0 * S / 4;

beta = BETA / 180.0 * pi;

sin_beta = sin(beta);

cos_beta = cos(beta);

%

for I = 1: Imax

for J = 1: Jmax

p = J - Jo + DJ;

q = I - Io + DI;

theta = atan(sqrt(p ^ 2 + q ^ 2) / T);

phi = atan2(q, p);

%

X = sin(theta) * cos(phi);

Y = sin(theta) * sin(phi);

Z = cos(theta);

%

Xp = X * cos_beta + Z * sin_beta;

Yp = X * sin_alpha * sin_beta + Y * cos_alpha - Z * sin_alpha * cos_beta;

Zp = -X * cos_alpha * sin_beta + Y * sin_alpha + Z * cos_alpha * cos_beta;

%

theta_p = acos(Zp);

phi_p = atan2(Yp, Xp);

r_p = gain * polyval(coeff, theta_p);

y_p = Ko + r_p * sin(phi_p);

x_p = Lo + r_p * cos(phi_p);

Km = floor(y_p);

Kp = Km + 1;

dK = y_p - Km;

Lm = floor(x_p);

Lp = Lm + 1;

dL = x_p - Lm;

if((Km >= 1) & (Kp <= Kmax) & (Lm >= 1) & (Lp <= Lmax))

EI(I, S * (Jmax + 1) + J, :) = (1 - dK) * (1 - dL) * CI(Km, Lm, :) ...

+ dK * (1 - dL) * CI(Kp, Lm, :) ...

+ (1 - dK) * dL * CI(Km, Lp, :) ...

+ dK * dL * CI(Kp, Lp, :);

else

EI(I, S * (Jmax + 1) + J, :) = zeros(1, 1, 3);

end

%

% ********* Lines *******************************************

for I = 1: Imax

EI(I, S * (Jmax + 1) + 1, :) = zeros(1, 1, 3);

end

DI = uint8(EI - 1);

imwrite(DI, 'result.jpg', 'jpeg');

imagesc(DI);

axis equal;

(제 9 실시 예)

도 60은 본 발명의 사상을 이용하는 영상처리수단의 실시 예의 개념도이다. 본 발명의 영상처리수단(6016)은 영상획득수단(6010)에서 획득한 영상의 한 프레임(frame)을 저장하는 입력 버퍼(input frame buffer: 6071)를 가진다. 영상획득수단(6010)이 아날로그 CCTV인 경우에는 NTSC, PAL, 또는 Secam 신호를 decoding 한 후, deinterlace하는 과정이 추가된다. 반면 디지털 카메라라면 이와 같은 과정이 생략될 수 있다. 이와 같은 필요한 과정을 거친 후 입력 버퍼(6071)에는 영상획득수단(6010)에서 획득한 2차원 행렬의 형태를 가지는 디지털 영상이 저장되어 있다. 이 영상이 보정전 영상면이다. 한편, 출력 버퍼(output frame buffer: 6073)에는 영상표시수단(6017)에 표시될 수 있는 보정후 영상면(6035)에 대응하는 출력 신호들이 2차원 행렬의 형태로 존재한다. 이 입력 버퍼에 존재하는 보정전 영상면으로부터 보정후 영상면을 생성하여 출력 버퍼에 저장하는 중앙처리장치(6075)가 존재한다. 이 출력 버퍼와 입력 버퍼와의 대응관계는 SDRAM과 같은 비휘발성 메모리(6079)에 참조표(lookup table)의 형태로 저장되어 있다. 다시 말하면 본 발명의 실시예에 해당하는 알고리즘을 사용하여 출력 버퍼의 특정 픽셀에 대응하는 입력 버퍼의 픽셀의 주소를 지정하는 기다란 리스트를 저장하고 있다. 중앙처리장치(6075)는 이 비휘발성 메모리에 저장된 리스트를 참조하여 영상처리를 수행한다.

전술한 실시 예에서 상황 인식 장치 또는 영상 선택 장치를 기술한 바 있다. 도 60의 영상 선택 장치(6077)는 영상 시스템에 연결된 각종 센서 혹은 스위치에서 오는 신호를 받아서 중앙처리장치로 전달하는 역할을 한다. 예를 들어 사용자가 누르는 버튼을 인식하여 왜곡된 어안 영상을 그대로 출력하는지, 원통형 파노라마나 메카토르 투사 방식의 파노라마, 혹은 직선수차보정 영상을 출력하는지를 지시한다. 상기 비휘발성 메모리에는 사용자가 선택 가능한 옵션의 수에 대응하는 숫자만큼의 리스트가 있다.

본 발명의 실시 예의 영상처리수단은 바람직하게 재설정 가능 반도체(FPGA: Field Programmable Gate Array) 상에 구현된다. 이때 상기 중앙처리장치나 입력 버퍼, 출력 버퍼 등도 모두 FPGA 칩 상에 구현될 수 있다.

FPGA를 사용하여 영상처리수단을 구현할 경우에 본 발명의 실시 예의 알고리즘을 그대로 구현하는 것도 불가능하지 않다. 그러나 삼각함수 혹은 나눗셈과 같은 일견 단순한 함수도 FPGA 칩 상에 구현하는 것은 상당한 난이도를 필요로 하며, 자원(resource)을 많이 사용한다. 더 바람직한 대안은 전술한 바와 같이 개발된 알고리즘을 이용하여 정확한 참조표(look-up table)를 만들고, 이 참조표를 비휘발성 메모리에 저장한 뒤, 이 참조표를 참조하여 영상 처리를 수행하는 것이다.

한편, 사용자가 직선수차보정 영상의 팬 각이나 틸트 각을 연속적으로 변경하기를 원한다면, 이에 대응하는 참조표를 사전에 모두 만들어 놓는 것은 불가능하다. 이와 같은 경우에는 중앙처리장치에서 사용자의 선택에 대응하는 알고리즘과 변수들을 참조하여 동적으로 참조표를 만들어 비휘발성 혹은 휘발성 메모리에 저장하는 방법을 사용할 수 있다. 따라서 사용자가 마우스를 움직인다든지 하는 새로운 입력을 제공하지 않으면 생성된 참조표를 사용하여 영상처리를 계속하며, 새로 운 입력을 제공하면 그에 대응하는 참조표를 즉시 생성하여 상기 메모리에 저장하는 방법을 취할 수 있다.

이와 같은 본 발명의 영상 시스템의 바람직한 한 실시 예에서 상기 영상 획득 수단은 화각 180°이상의 어안 렌즈를 장착한 아날로그 CCTV이며, 상기 영상 처리 수단은 비휘발성 기억 장치에 영상 처리 알고리즘을 참조표로 저장하며 재설정 가능 반도체를 이용하는 독립된 장치이며, 상기 아날로그 CCTV와 상기 영상 처리 수단은 영상선과 전원선으로 연결된다.

또는 상기 영상 획득 수단은 화각 180°이상의 어안 렌즈를 장착한 네트워크 카메라이며, 상기 영상 처리 수단은 비휘발성 기억 장치에 영상 처리 알고리즘을 참조표로 저장하며 재설정 가능 반도체를 이용하는 독립된 장치이며, 상기 네트워크 카메라에서 획득되는 보정전 영상면은 인터넷을 통하여 상기 영상 처리 수단으로 제공된다.

본 발명의 바람직한 실시 예에 대하여 첨부된 도면을 참고로 상세히 기술하였다. 하지만, 상세한 설명 및 본 발명의 실시 예들은 예시적인 것에 불과하며, 본 발명의 정신 및 범위를 벗어나지 않으면서도 다양한 변화 및 수정이 가능함은 그 기술 분야의 통상의 지식을 가진 자에게 자명하다.

이와 같은 전방위 영상 시스템 및 장치는 실내·외의 보안·감시 뿐만 아니라, 아파트 출입문의 비디오 폰, 자동차의 후방 카메라, 로봇의 시각 센서 등으로 다양하게 활용될 수 있고, 또한 디지털 카메라를 사용하여 전방위 사진을 얻기 위하여 사용될 수 있다.

도 1은 위도와 경도의 개념도.

도 2는 등직교 투사 방식의 지도의 개념도.

도 3은 원통형 투사의 개념도.

도 4는 일반적인 회전대칭형의 렌즈의 실제 투사 방식의 개념도.

도 5는 컴퓨터로 제작한 가상의 등거리 투사 어안 렌즈에 의한 영상의 예.

도 6은 평사투영 방식의 굴절식 어안 렌즈의 광학적 구조와 광선의 경로를 보여주는 도면.

도 7은 평사투영 방식의 반사굴절식 어안 렌즈의 광학적 구조와 광선의 경로를 보여주는 도면.

도 8은 직선수차보정 투사 방식의 반사굴절식 전방위 렌즈의 광학적 구조와 광선의 경로를 보여주는 도면.

도 9는 종래 발명에서의 세계 좌표계의 개념도.

도 10은 종래 발명의 전방위 영상 시스템의 개념도.

도 11은 보정전 영상면의 개념도.

도 12는 영상 표시 수단에 표시되는 보정후 영상면의 개념도.

도 13은 종래 발명에 따른 전방위 영상 시스템을 사용하는 자동차용 후방 카메라의 개념도.

도 14는 기울어진 영상 시스템에 의하여 포착된 어안 영상의 예.

도 15는 도 14의 영상으로부터 추출한 전방위 영상의 예.

도 16은 본 발명의 제 1 실시 예에 따른 직선수차보정 투사 방식을 보여주는 개념도.

도 17은 보정후 영상면의 상대적인 위치에 따른 화각의 변화를 이해하기 위한 개념도.

도 18은 본 발명의 제 1 실시 예에 따른 보정후 영상면의 개념도.

도 19는 도 5의 영상으로부터 추출된 가로 방향의 화각이 120°인 직선수차보정 영상의 예.

도 20은 슬라이드-줌 작용을 한 직선수차보정 영상의 예.

도 21은 종래 발명의 어안 렌즈를 사용하여 촬영한 실내 전경의 예.

도 22는 도 21의 어안 영상으로부터 추출한 수평 화각 190°의 원통형 투사 방식의 전방위 영상.

도 23은 도 21의 어안 영상으로부터 추출한 수평 화각 60°의 직선수차보정 영상.

도 24는 본 발명의 사상을 이용하는 파노라마 촬영용 휴대폰의 개념도.

도 25는 도 5의 어안 영상에서 팬·틸트 작용을 하여 얻어진 직선수차보정 영상의 예.

도 26은 도 21의 어안 영상에서 팬·틸트 작용을 하여 얻어진 직선수차보정 영상의 예.

도 27은 종래 발명의 어안 렌즈를 사용하여 촬영한 또 다른 실내 전경의 예.

도 28은 도 27의 어안 영상에서 팬·틸트 작용을 하여 얻어진 직선수차보정 영상의 예.

도 29는 도 27의 어안 영상에서 틸트·팬 작용을 하여 얻어진 직선수차보정 영상의 예.

도 30은 직선수차보정 투사 방식에서의 가장 일반적인 제 2 세계 좌표계의 개념도.

도 31은 직선수차보정 투사 방식에서의 제 2 세계 좌표계와 보정후 영상면의 관계를 보여주는 개념도.

도 32는 슬라이드·팬·틸트 작용을 이용하는 자동차용 후방 카메라의 개념도.

도 33은 도 5의 어안 영상으로부터 추출한 틸트 작용을 한 영상의 예.

도 34는 슬라이드 작용이 없이 팬·틸트 회전각이 큰 경우의 영상 시스템의 개념도.

도 35는 슬라이드 작용을 적절히 활용한 팬·틸트 회전각이 큰 경우의 영상 시스템의 개념도.

도 36은 도 5의 영상으로부터 추출한 슬라이드 작용과 틸트 작용을 한 영상의 예.

도 37은 종래 발명의 어안 렌즈를 사용하여 촬영한 실외 전경의 예.

도 38은 도 37의 영상으로부터 추출한 메카토르 투사 방식의 전방위 영상.

도 39는 도 37의 어안 영상에서 틸트 작용을 하여 얻어진 직선수차보정 영상의 예.

도 40은 도 37의 어안 영상에서 팬·틸트 작용을 하여 얻어진 직선수차보정 영상의 예.

도 41은 본 발명의 사상을 이용하는 자동차용 영상 시스템의 개념도.

도 42는 본 발명의 사상을 이용하는 건물 실외 모니터링용 영상 시스템의 개념도.

도 43은 종래 발명의 어안 렌즈를 사용하여 촬영한 또 다른 실외 전경의 예.

도 44는 도 43의 어안 영상으로부터 추출한 직선수차보정 영상의 예.

도 45는 도 44의 영상을 이해하기 위한 개념도.

도 46은 바람직한 자동차용 영상 시스템에서의 카메라의 설치 상태를 보여주는 개념도.

도 47은 종래 발명의 어안 렌즈를 사용하여 촬영한 또 다른 실외 전경의 예.

도 48은 도 47의 어안 영상으로부터 추출한 직선수차보정 영상의 예.

도 49는 바람직한 자동차용 영상 시스템에서의 카메라의 설치 상태를 보여주는 또 다른 개념도.

도 50은 본 발명의 사상을 이용하는 또 다른 빌딩 모니터링용 영상 시스템의 개념도.

도 51은 다시점 파노라마 방식의 물체면의 개념도.

도 52는 도 5의 어안 영상으로부터 추출한 다시점 파노라마 영상의 예.

도 53은 다시점 파노라마의 정의를 보여주는 개념도.

도 54는 도 5의 어안 영상으로부터 추출한 또 다른 다시점 파노라마 영상의 예.

도 55는 도 37의 어안 영상으로부터 추출한 다시점 파노라마 영상의 예.

도 56은 도 27의 어안 영상으로부터 추출한 다시점 파노라마 영상의 예.

도 57은 종래 발명의 어안 렌즈를 사용하여 촬영한 또 다른 실내 전경의 예.

도 58은 도 57의 어안 영상으로부터 추출한 전방위 영상의 예.

도 59는 도 57의 어안 영상으로부터 추출한 다시점 파노라마 영상의 예.

도 60은 본 발명의 영상처리수단의 바람직한 실시 예의 개념도.

Claims

광축을 중심으로 회전대칭형인 광각 렌즈를 장착한 카메라를 이용하여 보정전 영상면을 획득하는 단계; 및

상기 보정전 영상면을 기초로 보정후 영상면을 획득하는 영상 처리 단계를 포함하며,

상기 보정전 영상면은 K_max 행과 L_max 열을 가지는 이차원 행렬이며,

상기 보정전 영상면에서 광축의 픽셀 좌표는 (K_o, L_o)이며,

상기 렌즈의 실제 투사 방식은 상 크기 r을 대응하는 입사광의 천정각 θ의 함수로 구한 것으로 r = r(θ)와 같이 주어지며,

상기 카메라의 확대율 g는
와 같이 주어지되,

여기서 r'은 상 크기 r에 대응하는 보정전 영상면에서의 픽셀 거리이며,

상기 보정후 영상면은 I_max 행과 J_max 열을 가지는 이차원 행렬이며,

상기 보정후 영상면에서 광축의 픽셀 좌표는 (I_o - ΔI, J_o - ΔJ)이되,

여기서
이며 ΔI와 ΔJ는 임의의 픽셀 거리이고,

상기 보정후 영상면에서 좌표 (I, J)를 가지는 픽셀의 신호값은 상기 보정전 영상면에서 좌표
를 가지는 가상의 픽셀의 신호값으로 정해지며,

상기 가상의 픽셀의 좌표
는 이하의 수학식

으로 정해지되,

여기서 Δψ는 180°보다 작은 임의의 각도이며,

α 및 β는 임의의 각도인 것을 특징으로 하는 직선수차보정 영상 획득 방법.
광축을 중심으로 회전대칭형인 광각 렌즈를 장착한 카메라를 이용하여 보정전 영상면을 획득하는 단계; 및

상기 보정전 영상면을 기초로 보정후 영상면을 획득하는 영상 처리 단계를 포함하며,

상기 보정전 영상면은 K_max 행과 L_max 열을 가지는 이차원 행렬이며,

상기 보정전 영상면에서 광축의 픽셀 좌표는 (K_o, L_o)이며,

상기 렌즈의 실제 투사 방식은 상 크기 r을 대응하는 입사광의 천정각 θ의 함수로 구한 것으로 r = r(θ)와 같이 주어지며,

상기 카메라의 확대율 g는
와 같이 주어지되,

여기서 r'은 상 크기 r에 대응하는 보정전 영상면에서의 픽셀 거리이며,

상기 보정후 영상면은 I_max 행과 J_max 열을 가지는 이차원 행렬이며,

상기 보정후 영상면에서 광축의 픽셀 좌표는 (I_o - ΔI, J_o - ΔJ)이되,

여기서
이며 ΔI와 ΔJ는 임의의 픽셀 거리이고,

상기 보정후 영상면에서 좌표 (I, J)를 가지는 픽셀의 신호값은 상기 보정전 영상면에서 좌표
를 가지는 가상의 픽셀의 신호값으로 정해지며,

상기 가상의 픽셀의 좌표
는 이하의 수학식

으로 정해지되,

여기서 Δψ는 180°보다 작은 임의의 각도이며,

α 및 β는 임의의 각도인 것을 특징으로 하는 직선수차보정 영상 획득 방법.
광축을 중심으로 회전 대칭형인 광각 렌즈를 이용하여 보정전 영상면을 획득하는 영상 획득 수단;

상기 보정전 영상면을 기초로 보정후 영상면을 생성하는 영상 처리 수단;

상기 보정후 영상면의 투사 방식과 변수를 결정하는 영상 선택 수단; 및

직사각형 모양의 화면에 상기 보정후 영상면을 표시하는 영상 표시 수단을 포함하며,

상기 보정후 영상면의 투사 방식은 전방위 투사 방식과 직선수차보정 투사 방식을 포함하는 것을 특징으로 하는 영상 시스템을 포함하는 장치에 있어서,

상기 광각 렌즈의 마디점을 원점으로 하고, 상기 원점을 지나는 수직선을 Y-축으로 하는 세계 좌표계 상의 좌표 (X, Y, Z)를 가지는 물점에 대응하는 상기 직사각형 모양의 화면상의 상점의 좌표를 (x", y")라고 할 때,

상기 전방위 투사 방식은 상기 세계 좌표계 상의 Y-축에 평행한 직선은 상기 화면 상에 y"-축에 평행한 직선으로 표시되며,

상기 세계 좌표계 상의 X-Y 평면상에서 동일한 각 거리를 갖는 두 피사체는 상기 화면상에서 동일한 x"-축 방향의 간격을 갖는 투사 방식을 지칭하고,

상기 직선수차보정 투사 방식이란 상기 세계 좌표계 상의 임의의 직선이 상기 화면상에서 직선으로 표시되는 것을 특징으로 하는 투사 방식인 것을 특징으로 하는 장치.
제 3항에 있어서,

상기 장치는 화상 휴대폰인 것을 특징으로 하는 장치.
제 3항에 있어서,

상기 영상처리수단은 컴퓨터상에서 동작되는 소프트웨어이며,

상기 장치는 PC 카메라인 것을 특징으로 하는 장치.
제 3항에 있어서,

상기 영상처리수단은 컴퓨터상에서 동작되는 소프트웨어이며,

상기 장치는 디지털 카메라인 것을 특징으로 하는 장치.
제 3항에 있어서,

상기 영상 획득 수단은 화각 180°이상의 어안 렌즈를 장착한 아날로그 CCTV이며,

상기 영상 처리 수단은 비휘발성 기억 장치에 영상 처리 알고리즘을 참조표로 저장하며 재설정 가능 반도체를 이용하는 독립된 장치이며,

상기 아날로그 CCTV와 상기 영상 처리 수단은 영상선과 전원선으로 연결되는 것을 특징으로 하는 장치.
제 3항에 있어서,

상기 영상 획득 수단은 화각 180°이상의 어안 렌즈를 장착한 네트워크 카메라이며,

상기 영상 처리 수단은 비휘발성 기억 장치에 영상 처리 알고리즘을 참조표로 저장하며 재설정 가능 반도체를 이용하는 독립된 장치이며,

상기 네트워크 카메라에서 획득되는 보정전 영상면은 인터넷을 통하여 상기 영상 처리 수단으로 제공되는 것을 특징으로 하는 장치.
광축을 중심으로 회전 대칭형인 광각 렌즈를 이용하여 보정전 영상면을 획득하는 영상 획득 수단;

상기 보정전 영상면을 기초로 보정후 영상면을 생성하는 영상 처리 수단;

상기 보정후 영상면의 투사 방식과 변수를 결정하는 영상 선택 수단; 및

직사각형 모양의 화면에 상기 보정후 영상면을 표시하는 영상 표시 수단을 포함하며,

상기 보정후 영상면의 투사 방식은 전방위 투사 방식과 직선수차보정 투사 방식을 포함하는 것을 특징으로 하는 영상 시스템을 포함하는 장치에 있어서,

상기 광각 렌즈의 마디점을 원점으로 하고, 상기 원점을 지나는 수직선을 Y-축으로 하며, 상기 Y-축과 상기 렌즈의 광축을 포함하는 기준면이 상기 수직선에 수직인 수평면과 만나는 교선을 Z-축으로 하는 세계 좌표계 상의 좌표 (X, Y, Z)를 가지는 물점에 대응하는 상기 직사각형 모양의 화면상의 상점의 좌표를 (x", y")라고 할 때,

상기 전방위 투사 방식이란 상기 상점의 가로 방향의 좌표 x"가 상기 물점에서 비롯되는 입사광이 상기 기준면과 이루는 가로 방향의 입사각 ψ의 함수로 x" = cψ로 주어지되,

여기서 c는 비례 상수이며,

상기 가로 방향의 입사각은
으로 주어지고,

상기 상점의 세로 방향의 좌표 y"는 상기 입사광의 들림각 μ의 함수로
로 주어지되,

상기 입사광의 들림각 μ의 함수 F(μ)는,

이고,

이며,

상기 입사광이 수평면과 이루는 세로 방향의 입사각 δ는
이며,

상기 들림각 μ는
로 주어지되 상기 χ는 -90°보다 크고 90°보다 작은 것을 특징으로 하고,

상기 직선수차보정 투사 방식은 상기 화면상의 모든 상점 (x", y")에 대하여
을 만족하는 제 2 세계 좌표계 (X", Y", Z")가 존재하는 투사 방식을 지칭하되,

여기서 제 2 세계 좌표계 (X", Y", Z")는 상기 세계 좌표계 (X, Y, Z)가 3차원 공간상에서 임의의 회전과 평행 이동을 반복하여 얻어질 수 있는 새로운 좌표계인 것을 특징으로 하는 장치.
제 9항에 있어서,

상기 입사광의 들림각 μ의 함수 F(μ)는
인 것을 특징으로 하는 장치.
제 9항에 있어서,

상기 입사광의 들림각 μ의 함수 F(μ)는
인 것을 특징으로 하는 장치.
제 9항에 있어서,

상기 장치는 화상 휴대폰인 것을 특징으로 하는 장치.
제 9항에 있어서,

상기 영상처리수단은 컴퓨터상에서 동작하는 소프트웨어이며,

상기 장치는 PC 카메라인 것을 특징으로 하는 장치.
제 9항에 있어서,

상기 영상처리수단은 컴퓨터상에서 동작하는 소프트웨어이며,

상기 장치는 디지털 카메라인 것을 특징으로 하는 장치.
제 9항에 있어서,

상기 영상 획득 수단은 화각 180°이상의 어안 렌즈를 장착한 아날로그 CCTV이며,

상기 영상 처리 수단은 비휘발성 기억 장치에 영상 처리 알고리즘을 참조표로 저장하며 재설정 가능 반도체를 이용하는 독립된 장치이며,

상기 아날로그 CCTV와 상기 영상 처리 수단은 영상선과 전원선으로 연결되는 것을 특징으로 하는 장치.
제 9항에 있어서,

상기 영상 획득 수단은 화각 180°이상의 어안 렌즈를 장착한 네트워크 카메라이며,

상기 영상 처리 수단은 비휘발성 기억 장치에 영상 처리 알고리즘을 참조표로 저장하며 재설정 가능 반도체를 이용하는 독립된 장치이며,

상기 네트워크 카메라에서 획득되는 보정전 영상면은 인터넷을 통하여 상기 영상 처리 수단으로 제공되는 것을 특징으로 하는 장치.
광축을 중심으로 회전 대칭형인 광각 렌즈를 이용하여 제 1 내지 제 2 보정전 영상면을 획득하는 제 1 내지 제 2 영상 획득 수단;

상기 제 1 내지 제 2 보정전 영상면을 기초로 직선수차보정 투사 방식을 따르는 제 1 내지 제 2 보정후 영상면을 생성하고, 상기 제 1 내지 제 2 보정후 영상면으로부터 등록된 보정후 영상면을 생성하는 영상 처리 수단; 및

직사각형 모양의 화면에 상기 등록된 보정후 영상면을 표시하는 영상 표시 수단을 포함하는 것을 특징으로 하는 자동차용 영상 시스템에 있어서,

상기 제 1 내지 제 2 영상 획득 수단은 상기 자동차 후미의 양쪽 모서리에 지면을 향하여 설치되고,

상기 등록된 보정후 영상면은 상기 양쪽 모서리를 모두 포함하는 것을 특징으로 하는 자동차용 영상 시스템.
제 17항에 있어서,

상기 광각 렌즈는 화각이 180°이상인 어안 렌즈이며,

상기 1 내지 제 2 영상 획득 수단의 광축은 지면에 수직인 것을 특징으로 하는 자동차용 영상 시스템.
광축을 중심으로 회전 대칭형인 광각 렌즈를 이용하여 제 1 내지 제 4 보정전 영상면을 획득하는 제 1 내지 제 4 영상 획득 수단;

상기 제 1 내지 제 4 보정전 영상면을 기초로 직선수차보정 투사 방식을 따르는 제 1 내지 제 4 보정후 영상면을 생성하고, 상기 제 1 내지 제 4 보정후 영상면으로부터 등록된 보정후 영상면을 생성하는 영상 처리 수단; 및

직사각형 모양의 화면에 상기 등록된 보정후 영상면을 표시하는 영상 표시 수단을 포함하는 것을 특징으로 하는 건물 실외 감시용 영상 시스템에 있어서,

상기 제 1 내지 제 4 영상 획득 수단은 상기 건물의 적어도 네 모서리에 지면을 향하여 설치되고,

상기 등록된 보정후 영상면은 상기 네 모서리를 모두 포함하는 것을 특징으로 하는 건물 실외 감시용 영상 시스템.
광축을 중심으로 회전 대칭형인 광각 렌즈를 이용하여 보정전 영상면을 획득하는 영상 획득 수단;

상기 보정전 영상면을 기초로 보정후 영상면을 생성하는 영상 처리 수단; 및

직사각형 모양의 화면에 상기 보정후 영상면을 표시하는 영상 표시 수단을 포함하는 것을 특징으로 하는 영상 시스템을 포함하는 장치에 있어서,

상기 보정후 영상면은 다시점 파노라마이며,

상기 다시점 파노라마는 상기 화면상에 가로방향으로 배열된 제 1 내지 제 n 하부 직선수차보정 영상면으로 구성되되,

여기서 n은 2 이상의 자연수이며,

상기 광각 렌즈의 마디점을 원점으로 하는 세계 좌표계 상의 임의의 직선은 상기 제 1 내지 제 n 하부 직선수차보정 영상면에서 직선으로 표시되고,

인접하는 둘 이상의 하부 직선수차보정 영상면에 표시되는 상기 세계 좌표계 상의 임의의 직선은 상기 보정후 영상면에서 연결된 선분으로 표시되는 것을 특징으로 하는 영상 시스템.