KR100882011B1 - 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치 - Google Patents

회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치 Download PDF

Info

Publication number
KR100882011B1
KR100882011B1 KR1020080022039A KR20080022039A KR100882011B1 KR 100882011 B1 KR100882011 B1 KR 100882011B1 KR 1020080022039 A KR1020080022039 A KR 1020080022039A KR 20080022039 A KR20080022039 A KR 20080022039A KR 100882011 B1 KR100882011 B1 KR 100882011B1
Authority
KR
South Korea
Prior art keywords
image
angle
correction
plane
image plane
Prior art date
Application number
KR1020080022039A
Other languages
English (en)
Other versions
KR20090012290A (ko
Inventor
권경일
Original Assignee
주식회사 나노포토닉스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=40683129&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR100882011(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 주식회사 나노포토닉스 filed Critical 주식회사 나노포토닉스
Priority to US12/670,319 priority Critical patent/US8482595B2/en
Priority to CN2008801085476A priority patent/CN101809993B/zh
Priority to AU2008283197A priority patent/AU2008283197B9/en
Priority to PCT/KR2008/004339 priority patent/WO2009017332A1/en
Publication of KR20090012290A publication Critical patent/KR20090012290A/ko
Application granted granted Critical
Publication of KR100882011B1 publication Critical patent/KR100882011B1/ko

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Abstract

본 발명은 광축을 중심으로 회전 대칭인 광각 렌즈의 영상에 수학적으로 정확한 영상 처리를 함으로써 육안으로 가장 자연스럽게 느껴지는 전방위 영상을 얻는 방법 및 이를 이용하는 다양한 장치를 제공한다. 이와 같은 방법을 이용하는 전방위 영상 시스템은 실내·외의 보안·감시뿐만 아니라, 아파트 출입문의 비디오 폰, 자동차의 후방 카메라, 무인 비행기나 로봇의 시각 센서, 방송용 카메라 등으로 다양하게 활용될 수 있다. 또한, 디지털 카메라를 사용하여 전방위 사진을 얻기 위하여 사용될 수도 있다.
파노라마, 왜곡, 투사 방식, 등거리 투사, 직선수차보정 투사, 어안 렌즈, 전방위 렌즈, 영상 처리, 영상 보정, 후방 카메라, 비디오 폰

Description

회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치{METHODS OF OBTAINING PANORAMIC IMAGES USING ROTATIONALLY SYMMETRIC WIDE-ANGLE LENSES AND DEVICES THEREOF}
본 발명은 광축을 중심으로 회전대칭형인 광각 렌즈를 장착한 카메라로 획득한 영상에서 육안으로 가장 자연스럽게 느껴지는 파노라마 영상을 추출할 수 있는 수학적으로 정확한 영상 처리 방법 및 이를 이용하는 장치에 관한 것이다.
경관이 뛰어난 관광지 등에서 360°모든 방향의 경치를 한 장의 사진에 포착하는 파노라마 사진기(panoramic camera)는 전방위 영상 시스템의 일 예이다. 전방위 영상 시스템은 관찰자가 제자리에서 한바퀴 돌 때 바라보이는 경치를 모두 한 장의 이미지에 포착하는 영상 시스템을 지칭한다. 이와는 다르게 관찰자의 위치에서 바라볼 수 있는 모든 방향의 경치를 한 장의 이미지에 포착하는 시스템은 전방향 영상 시스템(omnidirectional imaging system)이라 지칭된다. 전방향 영상 시스템에서는 관찰자가 제자리에서 한 바퀴 도는 것은 물론, 고개를 젖히거나 숙여서 바라볼 수 있는 모든 경치를 포함한다. 수학적으로는 영상 시스템으로 포착할 수 있는 영역의 입체각(solid angle)이 4π 스테라디안(steradian)인 경우를 지칭한 다.
전방위 영상 시스템이나 전방향 영상 시스템은 건축물, 자연 경관, 천체 등의 촬영과 같은 전통적인 분야뿐만 아니라, CCD(charge-coupled device)나 CMOS(complementary metal-oxide-semiconductor: 상보형(相補型) 금속 산화막(酸化膜) 반도체) 카메라를 이용한 보안·감시 시스템, 부동산이나 호텔, 관광지 등의 가상 여행(virtual tour), 또는 이동 로봇이나 무인 비행기 등의 분야에 적용하기 위한 많은 연구와 개발이 이루어지고 있다.
전방위 영상을 얻을 수 있는 한 방법으로서 거울과 렌즈를 결합한 반사굴절식(catadioptric) 전방위 영상 시스템에 대한 연구가 활발하게 이루어지고 있다. 도 1에는 일반적인 반사굴절식 전방위 영상 시스템의 개념도가 도시되어 있다. 도 1에 도시한 바와 같이, 종래의 반사굴절식 전방위 영상 시스템(100)은 단면의 모양이 쌍곡선(hyperbola)에 가까운 회전 대칭형의 전방위 거울(111) 및 이 거울(111)의 회전대칭축(101) 상에 위치하며 거울(111)을 바라보는 방향으로 배치된 렌즈(112) 및 그 내부에 이미지 센서(113)를 구비하는 카메라 몸체(114)를 포함하는 영상 획득 수단으로 구성된다. 이때, 거울(111) 주변의 360°모든 방향에서 회전대칭축(101)을 향하여 입사되며, 고도각(altitude angle) δ를 갖는 입사광(105)은 거울면(111) 상의 한 점 M에서 반사되어 회전대칭축(101)에 대해 천정각(zenith angle) θ를 갖는 반사광(106)으로서 이미지 센서(113)에 포착된다. 여기서 고도각이란 지평면(즉, X-Y 평면)에서 천정(zenith)을 향하여 잰 각도를 말한다. 도 2는 도 1에 도시한 종래의 반사굴절식 전방위 영상 시스템(100)을 이용해서 획득한 예시적인 전원 풍경의 개념도이다. 도 2에 도시한 바와 같이, 필름이나 이미지 센서(image sensor: 213) 자체의 모양은 정사각형(square) 또는 직사각형(rectangle)의 모양이지만 전방위 영상 시스템(100)을 이용해서 획득한 전방위 영상(233)은 고리(ring) 모양이다. 도 2에서 빗금친(hatching) 영역을 제외한 나머지 부분이 전방위 영상이며, 중앙의 빗금친 원은 카메라 몸체가 시야를 가려서 촬영되지 못한 카메라 뒤쪽 영역을 나타낸다. 이 원안에는 거울(111)에 비친 카메라 자체의 이미지가 존재한다. 한편, 네 귀퉁이의 빗금친 영역은 카메라 렌즈(112)의 대각(diagonal) 방향의 화각이 전방위 거울(111)의 화각보다 넓기에 발생하는 부분이다. 이 부분에는 전방위 거울이 존재하지 않았을 때 포착되는 카메라 앞쪽의 이미지가 포착된다. 한편, 도 3을 참조하면, 도 2의 펼쳐지지 않은 고리형의 전방위 영상(233)을 영상 처리 소프트웨어를 이용하여 절단선(233c)을 기준으로 정상적인 시점의(perspectively normal) 이미지로 변환한 펼쳐진 전방위 영상(334)이 도시되어 있다.
도 3의 펼쳐진 전방위 영상(334)이 자연스럽게 보이기 위해서는 도 2의 펼쳐지지 않은 전방위 영상(233)이 특정한 투사방식(projection scheme)을 만족하는 전방위 렌즈에 의하여 포착되어야 한다. 여기서 전방위 렌즈란 전방위 거울(111)과 굴절 렌즈(112)로 구성되는 복합 렌즈를 지칭한다. 도 4는 직선수차보정 투사 방식(rectilinear projection scheme)을 만족하는 전방위 영상 시스템에서 사용되는 물체면(object plane: 431)의 개념도이며, 도 5는 도 4의 물체면 상의 풍경을 전방위 영상 시스템으로 포착한 펼쳐지지 않은 전방위 영상(533)의 개념도이다. 이와 같은 직선수차보정 전방위 영상 시스템에서는 회전 대칭축(rotational symmetry axis)이 전방위 렌즈의 광축(optical axis)과 일치하는 원통형의 물체면(131, 431)을 가정한다. 도 4에서 원통형인 물체면(431)의 회전대칭축은 지평면(417)에 수직한 것이 바람직하다.
도 1과 도 4를 참조하면 상기 물체면(131)의 반경은 S이며, 전방위 거울(111)과 굴절 렌즈(112)로 구성되는 전방위 렌즈는 상기 물체면(131) 상에 존재하는 피사체(object)의 한 점(104)의 영상, 즉 상점(image point) P를 초점면(focal plane: 132) 상에 형성한다. 선명한 화면을 얻기 위해서는 이미지 센서의 센서면(113)이 상기 초점면(132)과 일치하여야 한다. 상기 상점 P에 이르는 광선(106)은 먼저 전방위 거울면(111) 상의 한 점 M에서 반사된 후 굴절 렌즈(112)의 마디점 N을 통과한다. 여기서 마디점(nodal point)이란 렌즈를 이상적인 바늘구멍 사진기로 근사하였을 때 그 바늘구멍의 위치에 해당하는 점이다. 이 마디점에서 초점면(132)까지의 거리는 대략 굴절 렌즈(112)의 유효 초점 거리(effective focal length) f와 일치한다. 논의의 편의상 전방위 거울에서 반사되기 이전의 광선(105)을 입사광(incident ray)이라고 하고, 반사된 이후의 광선(106)을 반사광(reflected ray)이라고 지칭한다. 반사광이 카메라의 광축(101)과 이루는 천정각을 θ라고 하면, 센서면(113)의 중심, 즉 센서면(113)과 광축(101)과의 교점 O에서 상기 반사광(106)이 포착되는 센서면 상의 한 점 P까지의 거리 r은 수학식 1로 주어진다.
직선수차보정 투사 방식의 전방위 렌즈에서는 물체면(131) 상에서의 높이, 즉 광축에 평행하게 측정한 거리 Z가 센서면 상에서의 거리 r에 비례한다. 반사가 일어난 전방위 거울면(111) 상의 한 점 M의 축상 반경(axial radius)이 ρ이고, 높이가 z이며, 물체면(131) 상의 한 점(104)의 축상 반경이 S이고 높이는 Z이다. 상기 입사광(105)의 고도각이 δ이므로, 상기 피사체의 높이 Z는 수학식 2와 같이 주어진다.
만약 카메라에서 물체면까지의 거리가 카메라 자체의 크기에 비하여 크다고 하면(즉, S >> ρ, Z >> z), 수학식 2는 수학식 3과 같이 근사될 수 있다.
따라서 물체면의 반경 S가 고정되어 있다고 하면, 피사체의 높이(즉, 물체 크기)는 tanδ에 비례하며, 초점면 상에서의 대응하는 상점의 축상 반경(즉, 상 크기)은 tanθ에 비례한다. 이와 같이 tanδ와 tanθ가 비례한다면 물체면 상의 피사체의 영상이 그 수직 방향의 비례가 보존된 채 이미지 센서에 포착된다. 그런데 도 1을 참조하면 입사광의 고도각과 반사광의 천정각이 모두 상한(upper bound)과 하한(lower bound)을 가지는 것을 알 수 있다. 입사광의 고도각의 범위를 δ1 내지 δ2라고 하고(δ1 ≤ δ ≤ δ2), 반사광의 천정각의 범위를 θ1 내지 θ2라고 하면(θ1 ≤ θ ≤ θ2), 대응하는 물체면 상에서의 피사체의 높이의 범위는 Z1 = Stanδ1 내지 Z2 = Stanδ2이며(Z1 ≤ Z ≤ Z2), 초점면 상에서의 상점의 축상 반경의 범위는 r1 = ftanθ1 내지 r2 = ftanθ2이다(r1 ≤ r ≤ r2). 이 r과 Z가 서로 비례하기 위한 투사 방식은 다음과 같이 수학식 4로 주어진다.
따라서 전방위 렌즈가 수학식 4로 주어지는 직선수차보정 투사 방식을 구현했을 때 가장 자연스러운 전방위 영상이 얻어질 수 있다. 이와 같은 전방위 영상 시스템의 단점은 이미지 센서에서 사용하지 않는 픽셀이 많다는 것이다. 도 6은 일반적인 4:3의 비율을 갖는 이미지 센서의 센서면(613)에서 픽셀의 활용도를 보여주는 개념도이다. 가로변의 길이 B 및 세로변의 길이 V가 1:1 혹은 16:9의 비율을 갖는 이미지 센서는 그 종류가 많지 않을 뿐만 아니라 가격도 높으며, 대부분의 이미지 센서는 그 비율이 4:3으로 제작되고 있다. 이와 같이 4:3의 비율을 갖는 이미지 센서를 가정했을 때 이미지 센서면(613)의 면적 A1은 수학식 5와 같이 주어진다.
이와 같은 이미지 센서면 상에 동심원을 형성하는 바깥쪽 테두리(633b)와 안쪽 테두리(633a) 사이에 고리(ring) 형태로 전방위 영상(633)이 형성된다. 여기서 상기 센서면(613)은 렌즈의 초점면(632)의 일부분과 일치하며, 상기 전방위 영상(633)은 센서면(613) 상의 일부분에만 존재한다. 도 6에서 전방위 영상(633)의 바깥쪽 반지름은 r2이고, 안쪽 반지름은 r1이다. 따라서 전방위 영상의 면적 A2은 수학식 6과 같이 주어진다.
도 2 내지 5를 참조하면 펼쳐진 전방위 영상의 높이는 펼쳐지지 않는 전방위 영상의 바깥쪽 반지름과 안쪽 반지름의 차이, 즉, r2 - r1이 된다. 한편, 펼쳐진 전방위 영상의 가로변의 길이는 어느 반지름을 기준으로 하는가에 따라서 2πr1 내지 2πr2가 된다. 따라서 바깥쪽의 반지름 r2와 안쪽의 반지름 r1은 적당한 비율을 가져야 하며, 대략 2:1 정도가 적당한 비율이라고 할 수 있다. 또한, 픽셀을 최대한 활용하기 위해서는 전방위 영상의 바깥쪽 테두리(633b)가 이미지 센서면(613)의 가로변에 접하는 것이 바람직할 것이다. 따라서 r2 = (1/2)V이고, r1 = (1/2)r2 = (1/4)V인 것이 바람직하다. 이와 같은 조건에서 전방위 영상(633)의 면적은 수학식 7과 같이 주어진다.
따라서 이미지 센서면(613)의 면적 A1에 대한 전방위 영상(633)의 면적 A2의 비율은 수학식 8과 같이 주어진다.
따라서 픽셀의 활용도는 50% 이하가 되며, 종래의 방식을 사용하는 전방위 영상 시스템은 픽셀의 활용도 측면에서도 효율성이 떨어지는 단점이 있다.
전방위 영상을 얻는 또 다른 방법은 화각이 넓은 어안 렌즈(fisheye lens)를 사용하는 것이다. 예를 들어, 화각이 180°인 어안 렌즈를 수직으로 하늘을 향하게 하면 하늘의 별자리에서부터 지평선까지를 한 장의 이미지에 포착하는 것이 가능하다. 이러한 이유로 어안렌즈는 전천렌즈(all-sky lens)라고도 지칭된다. 특히, 니콘(Nikon)사의 한 어안 렌즈(6mm f/5.6 Fisheye-Nikkor)는 화각이 220°에 달하므로, 이를 카메라에 장착하면 카메라 후방의 경치도 일부나마 이미지에 포함시킬 수 있다. 이와 같이 어안 렌즈를 사용하여 얻은 영상에서 도 2 내지 도 3에 예시된 것과 동일한 방법으로 전방위 영상을 얻을 수도 있다.
많은 경우에 있어서 영상 시스템은 수직인 벽면에 설치된다. 예를 들어 건물 주변을 감시하기 위하여 건물의 외벽에 영상 시스템을 설치하거나, 자동차의 후미를 모니터링하기 위한 후방 카메라의 경우가 그러하다. 이러한 경우에 수평 방향의 화각이 180°보다 훨씬 클 경우에는 오히려 효율성이 떨어진다. 왜냐하면, 모니터링할 필요가 적은 벽면이 화면을 많이 점유하므로 영상이 지루하게 보이고 픽셀이 낭비되기 때문이다. 따라서 이와 같은 경우에는 수평 방향의 화각이 180° 내외인 경우가 바람직하다. 그러나 이와 같은 목적을 위하여 화각이 180°인 어안 렌즈를 사용하는 것은 바람직하지 않다. 어안 렌즈는 통형 왜곡(barrel distortion)을 발생시키므로 심미적으로 불쾌감을 유발하여 소비자로부터 외면되기 때문이다.
실내의 한쪽 벽면에 부착하여 실내 전체를 감시할 수 있는 영상 시스템의 예로는 팬(pan)·틸트(tilt)·줌(zoom) 카메라를 들 수 있다. 이와 같은 카메라는 광학적으로 줌 기능이 있는 렌즈를 장착한 비디오 카메라를 팬·틸트 스테이지(stage)에 장착함으로써 구현된다. 팬 작용은 수평 방향으로 소정의 각도만큼 회전할 수 있는 기능을 말하며, 틸트 작용은 수직 방향으로 소정의 각도만큼 회전할 수 있는 기능을 말한다. 다시 말하면 카메라가 천체를 기술하는 천구(celestial sphere)의 중심에 있다고 할 때 팬은 경도(longitude)를 변경하는 작용(operation)을 의미하며, 틸트는 위도(latitude)를 변경하는 작용을 의미한다. 따라서 팬 작용의 이론적인 범위는 360°이며, 틸트 작용의 이론적인 범위는 180°이다. 이와 같은 팬·틸트·줌 카메라의 단점은 높은 가격과 큰 부피 및 중량을 들 수 있다. 광학적 줌 기능이 있는 렌즈는 설계의 난이성과 구조의 복잡성으로 인하여 부피도 크고, 무게도 무거우며 가격도 고가이다. 또한, 팬·틸트 스테이지는 카메라에 못지않은 고가의 장치이다. 따라서 팬·틸트·줌 카메라를 설치하기 위해서는 상당히 많은 비용을 지급하여야 한다. 또한, 팬·틸트·줌 카메라는 부피도 크고 무게도 무거우므로 응용예에 따라서 상당한 장애 요인이 될 수 있다. 예를 들어 비행기와 같이 탑재체의 중량이 상당히 중요한 경우나, 아니면 좁은 공간에 영상 시스템을 설치하기 위하여 공간적인 제약이 존재하는 경우이다. 더구나 팬·틸트·줌 작용은 물리적인 작용이므로 이러한 작용을 수행하는데 시간이 많이 소요된다. 따라서 응용예에 따라서 이와 같은 카메라의 기계적인 반응이 충분히 빠르지 않을 수 있다.
참고 문헌 1 내지 2에는 주어진 시점(viewpoint) 및 투사 방식(projection scheme)을 가지는 영상에서 다른 시점 내지는 투사 방식을 가지는 영상을 추출하는 핵심 기술이 제시되어 있다. 구체적으로 참고 문헌 2에는 정육면체 파노라마(cubic panorama)가 제시되어 있다. 간단히 말하면 정육면체 파노라마는 관찰자가 유리로 제작된 정육면체의 중심에 있다고 할 때 유리벽 밖으로 보이는 모든 방향의 풍경을 유리벽에 묘사하되, 모든 풍경은 정육면체의 중심에서 바라본 시점으로 묘사하는 것이다. 또한, 이보다 더 고난도의 기술로 임의의 형상을 가지는 거울면에 비친 영상을 생성하는 기술이 함께 제시되어 있다. 참고 문헌 2의 저자는 구체적인 실시예로 금속으로 제작된 듯이 반짝이는 거울 표면을 가진 도마뱀을 생성하고, 도마뱀과 분리된 관찰자의 시점을 설정한 뒤 도마뱀의 피부에 비친 주위의 풍경이 관찰자의 시점에서 어떻게 보일까를 계산한 것이다. 그러나 광학 렌즈를 사용하여 얻은 실제 풍경을 사용한 것이 아니고 가상의 풍경을 왜곡이 없는 가상의 렌즈, 즉 바늘구멍 사진기로 포착하였다는 단점이 있다.
한편, 참고 문헌 3에는 물리적으로 움직이는 부분이 없이 팬·틸트·로테이트·줌 기능을 할 수 있는 영상 시스템이 기술되어 있다. 상기 발명은 화각이 180°이상인 어안 렌즈를 장착한 카메라를 사용하여 영상을 획득한 뒤 사용자가 조이스틱 등의 입력장치를 사용하여 주시 방향(principal direction of observation)을 지정하면 왜곡이 없는 카메라가 그 방향을 향했을 때의 영상, 즉 직선수차보정 영상(rectilinear image)을 추출해 주는 것을 특징으로 한다. 이 발명과 선행 기술과의 차별성은 사용자가 조이스틱이나 컴퓨터 마우스 등 다양한 입력장치에 의하여 선택한 방향의 직선수차보정 영상을 생성해 준다는 사실이다. 이러한 기술은 가상 현실(virtual reality) 혹은 기계적인 팬·틸트·줌 카메라를 대체하려고 할 때 핵심적인 기술로서 키워드는 "상호적인 영상(interactive picture)"이라고 할 수 있다. 이러한 기술에서는 물리적으로 움직이는 부분이 없으므로 시스템의 응답 속도가 빠르고 기계적 고장의 우려가 적은 장점이 있다.
일반적으로 감시 카메라와 같은 영상 시스템을 설치할 때에는 수평면에 수직한 수직선이 획득된 영상에서도 수직선으로 표시되도록 한다. 그러한 상태에서 기계적인 팬·틸트·줌 작용을 하더라도 상기 수직선은 영상에서 계속 수직선으로 표시된다. 그런데 상기 발명에서 소프트웨어적인 팬·틸트 작용을 하여 얻어진 영상에서는 수직선이 일반적으로 수직선으로 표시되지 않는다. 이와 같은 부자연스러 운 화면을 보정하기 위하여 기계적인 팬·틸트 카메라에는 없는 로테이트 작용을 추가적으로 수행하여야 한다. 그런데 상기 발명에서는 수직선이 수직선으로 표시되기 위하여 필요한 회전각이 얼마인지가 제시되지 않고 있다. 따라서 상기 발명에서는 수직선이 수직선으로 표시되는 영상을 얻기 위하여 시행착오적인 방법으로 정확한 회전각을 찾아야 하는 단점이 있다.
또한, 상기 발명에서는 어안 렌즈의 투사 방식을 이상적인 등거리 투사 방식(equi-distance projection scheme)으로 가정하고 있다. 그런데 실제 어안 렌즈의 투사 방식은 이상적인 등거리 투사 방식과 상당한 오차를 보이는 것이 보통이다. 상기 발명에서는 이와 같이 실제 렌즈의 왜곡 특성이 반영되지 못하므로 영상 처리를 한 영상에서도 왜곡이 있게 된다.
참고 문헌 4에는 참고 문헌 3에서 어안 렌즈의 실제 투사 방식이 반영되지 않는 단점을 보완한 영상 처리 방법이 제시되어 있다. 그러나 수직선이 영상에서 수직선으로 표시되지 않는 단점은 해소되지 않고 있다.
또 다른 측면에서, 사람을 포함한 모든 동식물은 중력에 의하여 지구 표면에 구속되어 살아가므로 주의 혹은 관심이 필요한 대부분의 사건은 지평선 근처에서 발생한다. 따라서 지평선 주변의 360°모든 방향을 감시할 필요가 있더라도, 수직 방향으로는 그다지 높이까지 즉, 천정(zenith)이나 천저(nadir)까지 감시할 필요성이 적다. 그런데 360°모든 방향의 풍경을 2차원적인 평면에 묘사하기 위해서는 어쩔 수 없이 왜곡이 필요하다. 구(sphere)의 표면인 지구상의 지리를 평면적인 이차원 지도에 표현하기 위한 지도작성법에도 마찬가지의 어려움이 존재한다. 그 런데 모든 왜곡 중에서 사람이 가장 부자연스럽게 느끼는 왜곡은 수직선이 곡선으로 보이는 왜곡이다. 따라서 다른 왜곡이 있더라도 이러한 왜곡은 없도록 하는 것이 중요하다.
참고 문헌 5에는 다양한 지도 작성법 중에서도 널리 알려진 투사 방식인 등직교 투사 (equi-rectangular projection), 메카토르 투사 (Mercator projection) 및 원통형 투사 (cylindrical projection)가 기술되어 있으며, 참고문헌 6에는 다양한 투사 방식의 역사가 요약되어 있다. 이중 등직교 투사 방식은 우리가 지구상의 지리를 표현하거나 별자리를 표시하기 위한 천구를 묘사할 때 가장 익숙한 지도 작성법의 하나이다.
도 7을 참조하여 지표면을 반지름 S인 구면으로 가정했을 때 지표면상의 임의의 점 Q는 경도값 ψ 및 위도값 δ를 가진다. 한편, 도 8은 등직교 투사법에 따라 작성한 평면 지도의 개념도이다. 지표면의 경도값 ψ 및 위도값 δ를 가지는 한 점 Q는 등직교 투사법에 따른 평면 지도(834) 상에서 대응하는 점 P를 가진다. 이 대응하는 점의 직교 좌표는 (x, y)로 주어진다. 또한, 위도 0°와 경도 0°를 가지는 적도상의 기준점은 평면 지도상에서 대응하는 한 점 Ｏ를 가지며, 이 대응점 Ｏ가 직교 좌표계의 원점이다. 이때 등직교 투사법에 의하면 동일한 경도상의 간격은 평면 지도상에서 동일한 가로 방향의 간격을 가진다. 다시 말하면 평면 지도(834) 상에서의 가로 방향의 좌표 x는 경도에 비례한다.
여기서 c는 비례상수이다. 또한, 세로 방향의 좌표 y는 위도에 비례하며, 가로 방향의 좌표와 동일한 비례 상수를 가진다.
경도의 범위는 -180°에서 +180°까지 총 360°이며, 위도의 범위는 -90°에서 +90°까지 총 180°이다. 따라서 등직교 투사법에 따른 지도는 가로변의 길이 W와 세로변의 길이 H의 비가 360:180 = 2:1로 주어져야 한다. 또한, 상기 비례상수 c가 지구의 반지름 S로 주어진다면, 상기 평면 지도의 가로변의 길이 W는 수학식 11과 같이 적도를 따라서 잰 지구 둘레의 길이로 주어진다.
이와 같은 등직교 투사 방식은 지표면이 구면에 가까운 것을 고려하면 자연스러운 투사 방식이라고 할 수 있지만, 지표면의 면적을 심하게 왜곡한다는 단점이 있다. 예를 들어 북극점 근처에서 아주 가까운 거리에 있는 두 점이 등직교 투사 방식의 지도상에서는 마치 지구 반대편에 있는 듯한 인상을 줄 수 있다.
한편, 메카토르 투사 방식에서는 세로 방향의 좌표가 수학식 12와 같이 복잡한 함수로 주어진다.
한편, 도 9는 원통형 투사(cylindrical projection) 또는 파노라마 투사(panoramic perspective)의 개념도이다. 원통형 투사에서 관찰자는 반지름이 S인 천구(931)의 중심 N에 있으며 이 관찰자를 중심으로 하는 천구에서 천정과 천저를 제외한 대부분의 영역을 이차원 평면상에 묘사하고자 한다. 다시 말하면 경도는 -180°에서 180°까지 360°를 포함하되, 위도는 적도를 포함하는 일부만을 포함하여도 된다. 구체적으로 위도각의 범위를 -Δ에서 Δ까지라고 가정할 수 있으며, 이때 Δ는 90°보다 작아야 한다.
이러한 투사 방식에서는 천구를 적도(903)에서 접하는 원통(934)을 가정한다. 그 다음 천구(931) 상에서 소정의 경도값 ψ 및 위도값 δ를 갖는 점 Q(ψ, δ)에 대하여 상기 천구의 중심 N에서 상기 한 점 Q를 잇는 선분이 상기 원통면(934)을 만날 때까지 연장한다. 이 교점을 P(ψ, δ)라고 한다. 이러한 방식으로 천구면(931) 상의 상기 위도 범위 내의 모든 점 Q에 대하여 대응하는 원통면(934) 상의 점 P를 얻은 후 상기 원통을 잘라서 평면으로 펼치면 원통형 투사를 가지는 지도를 얻게 된다. 따라서 펼쳐진 원통면 상에서의 한 점 P의 가로 방향의 좌표는 수학식 13으로 주어지며, 세로 방향의 좌표 y는 수학식 14로 주어진다.
이러한 원통형 투사는 카메라가 수평으로 회전하여 파노라마 영상을 얻는 파노라마 사진기에 사용되는 투사 방식이다. 특히 회전하는 파노라마 사진기에 장착된 렌즈가 왜곡이 없는 직선수차보정 렌즈일 경우에 얻어지는 파노라마 영상은 정확히 원통형 투사 방식을 따르게 된다. 이와 같은 원통형 투사는 원리적으로 가장 정확한 파노라마 투사 방식이지만 위도의 범위가 넓을 경우에는 영상이 부자연스럽게 보여서 실제적으로 잘 사용되지 않는다.
이와 같은 방식으로 제작된 원통형 투사 방식을 따르는 펼쳐진 전방위 영상은 수학식 11로 주어지는 가로변의 길이 W를 가진다. 한편, 위도각의 범위를 δ1 내지 δ2라고 하면, 펼쳐진 전방위 영상의 세로변의 길이는 수학식 15와 같이 주어져야 한다.
따라서 수학식 11과 15로부터 다음의 방정식을 유도할 수 있다.
그러므로 원통형 투사를 만족하는 펼쳐진 전방위 영상은 수학식 16으로 주어지는 비례식을 만족하여야 한다.
도 10은 참고 문헌 7에 제시되어 있는 펼쳐진 전방위 영상의 예이며, 도 11 은 참고 문헌 8에 제시되어 있는 펼쳐진 전방위 영상의 예이다. 도 10과 도 11은 직선수차보정 투사 방식을 따르는 전방위 렌즈, 또는 지도작성법의 용어에 의하면 원통형 투사를 따르는 전방위 렌즈에 의하여 포착된 것이다. 따라서 도 10 내지 도 11의 펼쳐진 전방위 영상에서는 세로 방향의 좌표 y가 tanδ에 비례한다. 한편, 전방위 렌즈의 구조상 가로 방향의 좌표 x는 경도각 ψ에 비례한다. 따라서 비례 상수를 제외하고는 수학식 13 내지 수학식 14의 관계식을 만족한다.
도 10의 예에서 가로변의 길이는 2192 픽셀(pixel)이며, 세로변의 길이는 440 픽셀이다. 따라서 수학식 16의 좌변을 계산하면 4.98이 된다. 도 10에서 수직 방향의 입사각의 범위는 δ1 = -70° 내지 δ2 = 50°이다. 따라서 수학식 16의 우변을 계산하면 1.60이 된다. 그러므로 도 10의 예는 수학식 16으로 주어지는 비례식을 만족하지 못하는 것을 알 수 있다. 한편, 도 11의 예는 가로변의 길이가 2880 픽셀이며, 세로변의 길이가 433 픽셀이다. 따라서 수학식 16의 좌변을 계산하면 6.65가 된다. 도 11에서 수직 방향의 입사각의 범위는 δ1 = -23°내지 δ2 = 23°이다. 따라서 수학식 16의 우변을 계산하면 7.40이 된다. 그러므로 도 11의 예는 도 10보다는 오차가 적지만 역시 수학식 16을 만족하지 못하는 것을 알 수 있다.
도 10 내지 도 11의 펼쳐진 전방위 영상이 이와 같은 비례식을 만족하지 못함에도 불구하고 자연스러운 파노라마로 보이는 것을 알 수 있다. 그 이유는 전방위 영상에서는 지면에 수직인 직선, 즉 수직선이 곡선으로 보이거나 혹은 기울어져 보이는 현상이 가장 눈에 쉽게 띄고 불쾌감을 유발하지만, 수평 방향과 수직 방향 을 비교하는 준거(reference)가 카메라 주위의 환경에 존재하지 않는 것이 일반적이므로 수평 방향과 수직 방향의 비례가 맞지 않더라고 눈에 크게 거슬리지 않기 때문이다.
지구상의 모든 동·식물과 건물 등의 무생물은 모두 중력의 영향 아래에 있으며, 중력의 방향이 똑바로 선 방향, 즉 수직선이 된다. 지면은 대체로 중력의 방향에 대해서 수직이지만 경사진 곳에서는 당연히 수직이지 않다. 따라서 엄밀한 의미에서는 수평면을 기준으로 하여야 하며, 수직 방향은 수평면에 대하여 수직인 방향이다. 논의의 편의상 지면, 가로 방향, 세로 방향이라고 지칭하더라도 정확한 정의가 필요할 때에는 지면이 아니라 수평면이 되어야 하며, 세로 방향은 수평면에 대하여 수직인 방향이고, 가로 방향은 수평면에 평행한 방향이라는 점을 명심하여야 한다.
참고 문헌 7 내지 참고 문헌 8의 전방위 렌즈는 렌즈의 광축이 지면에 수직하게 설치된 상태에서 한번에 전방위 영상을 획득한다. 그런데 전술한 수평으로 회전하는 렌즈에 의한 전방위 영상 획득 방법보다 더 저렴한 대안으로서 일반적인 카메라를 수평으로 설치한 상태에서 영상을 획득한 후, 카메라를 수평 방향으로 일정 각도만큼 회전하여 다시 영상을 획득하는 과정을 반복하는 방법이 있다. 이와 같이 하여 4장 내지 8장의 영상을 획득한 후 이 영상들을 이어 붙임으로써 원통형 투사를 가지는 전방위 영상을 생성할 수 있다. 이와 같은 기술을 stitching이라고 한다. Apple사의 QuickTime VR은 이와 같은 stitching을 지원하는 상업용 소프트웨어이다. 이와 같은 방식에서는 여러 장의 사진을 정확하게 이어 붙이고 렌즈의 왜곡을 보정하는 등의 복잡하고 시간이 오래 걸리는 정교한 작업을 요구한다.
참고 문헌 9에 따르면 전방위 혹은 전방향 영상을 얻는 또 다른 한 방법으로 화각이 180°이상인 어안 렌즈를 장착한 카메라를 수평으로 향하게 하여 반구(hemisphere)의 영상을 얻은 다음, 카메라를 반대 방향으로 향하게 하여 반대쪽 반구의 영상을 얻을 수 있다. 이렇게 두 카메라에서 획득한 이미지를 소프트웨어적으로 이음으로써, 모든 방향(즉, 4π 스테라디안)의 풍경을 포함하는 하나의 전방향 영상을 얻을 수 있다. 이렇게 획득한 이미지를 인터넷 등의 통신 매체를 이용하여 전방위 영상 시스템과 지리적으로 떨어져 있는 사용자에게 전송하면, 사용자는 사용자의 개인적인 관심에 따라서 수신한 이미지 상에서 각자의 시점(view point)을 선택할 수 있고, 이에 따라 사용자의 컴퓨팅 디바이스(computing device) 상에 마련된 이미지 처리 소프트웨어는 사용자에 의해 선택된 시점에 대응하는 이미지의 일부분을 추출하여 투시적으로 정확한(perspectively correct) 평면 이미지를 컴퓨팅 디바이스를 통해 제공한다. 따라서, 사용자는 이미지 처리 소프트웨어를 통해 이미지 내의 특정 장소에 실제로 있는 것처럼 고개를 돌리거나(pan), 위 아래를 내려다보거나(tilt), 줌인(zoom in) 또는 줌 아웃(zoom out) 등의 선택을 할 수 있다. 이와 같은 방식은 다수의 사용자가 동일한 인터넷 사이트에 접속되어 있을 때에 사용자 각각이 수신한 이미지 내에서 원하는 방향을 바라볼 수 있는 장점이 있다. 이러한 장점은 움직임 카메라(motion camera)(예컨대, 팬-틸트(pan-tilt) 카메라)를 채용한 전방위 영상 시스템에서는 얻을 수 없다.
참고 문헌 10 내지 11에는 관찰자를 중심으로 모든 방향의 풍경을 포함하는 전방향 영상을 얻는 방법이 제시되어 있으며, 상기 문헌에서 사용하는 투사 방식은 장황한 표현에도 불구하고 본질에 있어서 사실상 등거리 투사 방식의 일종이다. 즉, 상기 문헌에서 제시하는 기술은 실제 환경 혹은 정육면체 파노라마 영상 등으로부터 전방향 영상을 얻을 수 있으나, 얻어진 전방향 영상은 등거리 투사 방식을 따르므로 그 효용성이 제한적이다.
한편, 참고 문헌 12에는 반 원통 모양의 스크린에 어안 렌즈를 사용하여 Omnimax 영상을 투사하기 위한 알고리즘이 제시되어 있다. 특히, 무비 프로젝터에 장착된 어안 렌즈의 투사 방식이 이상적인 등거리 투사 방식과 오차가 나는 것을 감안하여 스크린의 특정 위치에 상점을 형성하는 필름면 상의 물점의 위치를 찾는 방법이 기술되어 있다. 따라서 스크린상에 특정한 영상을 투사하기 위하여 필름에 기록된 영상이 어떠한 형태이어야 하는가를 알 수 있으며, 그러한 영상은 컴퓨터를 사용하여 제작된다. 특히, 영상 처리 알고리즘에 렌즈의 왜곡이 반영되어 있기 때문에 프로젝터에 인접한 관람객은 만족스러운 파노라마 영화를 감상할 수 있다. 그런데 어안 렌즈의 실제 투사 방식을 모델링하는데 있어서 입사광의 천정각을 종속 변수로, 필름면에서의 상 크기를 독립 변수로 설정하여 사용에 불편하다. 또한, 불필요하게 근사식을 기수 다항식(odd polynomial)으로만 한정하였다.
참고문헌 13에는 Paul Bourke 교수가 제작한 스테레오 파노라마 영상이 제시되어 있다. 각각의 파노라마 영상은 원통형 투사 방식을 따르고 있으며, 컴퓨터로 제작한 가상의 영상 및 슬릿 카메라가 회전하는 방식의 파노라마 영상이 모두 제시되고 있다. 컴퓨터로 제작한 파노라마 영상이나 슬릿 카메라가 회전하는 전통적인 방식으로 제작한 파노라마 영상에서는 렌즈의 왜곡이 문제가 되지 않는다. 그러나 실제 풍경을 실시간으로 포착하기 위해서는 슬릿 카메라를 사용할 수 없다는 단점이 있다.
[참고문헌 1] J. F. Blinn and M. E. Newell, "Texture and reflection in computer generated images", Communications of the ACM, 19, 542-547 (1976).
[참고문헌 2] N. Greene, "Environment mapping and other applications of world projections", IEEE Computer Graphics and Applications, 6, 21-29 (1986).
[참고문헌 3] S. D. Zimmermann, "Omniview motionless camera orientation system", 미국 특허 제5,185,667호, 등록일 1993년 2월 9일.
[참고문헌 4] E. Gullichsen and S. Wyshynski, "Wide-angle image dewarping method and apparatus", 미국 특허 제6,005,611호, 등록일 1999년 12월 21일.
[참고문헌 5] E.W.Weisstein, "Cylindrical Projection", http://mathworld.wolfram.com/CylindricalProjection.html.
[참고문헌 6] W. D. G. Cox, "An introduction to the theory of perspective - part 1", The British Journal of Photography, 4, 628-634 (1969).
[참고문헌 7] G. Kweon, K. Kim, Y. Choi, G. Kim, and S. Yang, "Catadioptric panoramic lens with a rectilinear projection scheme", Journal of the Korean Physical Society, 48, 554-563 (2006).
[참고문헌 8] G. Kweon, Y. Choi, G. Kim, and S. Yang, "Extraction of perspectively normal images from video sequences obtained using a catadioptric panoramic lens with the rectilinear projection scheme", Technical Proceedings of the 10th World Multi-Conference on Systemics, Cybernetics, and Informatics, 67-75 (Olando, Florida, USA, June, 2006).
[참고문헌 9] H. L. Martin and D. P. Kuban, "System for omnidirectional image viewing at a remote location without the transmission of control signals to select viewing parameters", 미국 특허 제5,384,588호, 등록일 1995년 1월 24일.
[참고문헌 10] F. Oxaal, "Method and apparatus for performing perspective transformation on visible stimuli", 미국 특허 제5,684,937호, 등록일 1997년 11월 4일.
[참고문헌 11] F. Oxaal, "Method for generating and interactively viewing spherical image data", 미국 특허 제6,271,853호, 등록일 2001년 8월 7일.
[참고문헌 12] N. L. Max, "Computer graphics distortion for IMAX and OMNIMAX projection", Proc. NICOGRAPH, 137-159 (1983).
[참고문헌 13] P. D. Bourke, "Synthetic stereoscopic panoramic images", Lecture Notes in Computer Graphics (LNCS), Springer, 4270, 147-155 (2006).
[참고문헌 14] 권경일, 밀턴 라이킨, "어안 렌즈", 대한민국 특허 제10-2008-0030184호, 출원일 2008년 4월 1일.
[참고문헌 15] 권경일, 밀턴 라이킨, "광각 렌즈", 대한민국 특허 제10-0826571호, 등록일 2008년 4월 24일.
본 발명은 광축을 중심으로 회전대칭형인 광각 렌즈를 장착한 카메라로 얻은 이산화된 영상으로부터 감성적으로 자연스럽게 느껴지는 전방위 영상을 얻는 영상 처리 방법 및 이를 이용하는 장치를 제공하는데 그 목적이 있다.
본 발명은 왜곡을 가지는 광각 렌즈의 결상 작용에 대한 기하광학적인 법칙과 전방위 영상에 대한 수학적인 정의에 기반하여 원리적으로 정확한 영상 처리 알고리즘을 제공한다.
회전 대칭형의 형상을 가지는 광각 렌즈의 영상에 정확한 영상 처리를 함으로써 육안으로 가장 자연스럽게 느껴지는 전방위 영상을 얻을 수 있다. 이와 같은 전방위 영상 시스템 및 장치는 실내·외의 보안·감시 뿐만 아니라, 아파트 출입문의 비디오 폰, 자동차의 후방 카메라, 로봇의 시각 센서 등으로 다양하게 활용될 수 있고, 또한 디지털 카메라를 사용하여 전방위 사진을 얻기 위하여 사용될 수 있다.
이하, 도 12 내지 도 64를 참조하여 본 발명에 따른 바람직한 실시 예를 상세하게 설명하기로 한다.
<실시예 1>
도 12는 본 발명의 제 1 실시예에 따른 전방위 영상 시스템의 화각 및 투사 방식을 이해하기 위한 개념도이다. 본 실시예의 전방위 영상 시스템은 지면에 수직한 한 벽면(1230)에 부착되어 있다고 가정한다. 벽면은 X-Y 평면과 일치하며, Y-축은 지면(즉, X-Z 평면)에서 천정을 향한다. 좌표계의 원점은 렌즈의 마디점 N에 위치하며, 렌즈의 광축(1201)의 방향은 Z-축과 일치한다(즉, 지면에 평행하다). 이하 이 좌표계를 세계 좌표계(world coordinate)라 지칭한다. 세계 좌표계는 렌즈가 포착하는 카메라 주위의 환경을 묘사하기 위한 좌표계이며, 오른손 좌표계(right handed coordinate system)이다.
엄밀한 의미에서 광축의 방향은 세계 좌표계의 음의 Z-축의 방향이다. 결상 광학계의 규약에 의하면 피사체(혹은 물점)에서 상면(혹은 상점)을 향하는 방향이 양의 방향이기 때문이다. 이하에서는 이와 같은 사실에도 불구하고 설명의 편의를 위하여 광축의 방향이 세계 좌표계의 Z-축과 일치하는 것으로 기술한다. 본 발명은 렌즈의 설계에 대한 발명이 아니라 렌즈를 이용하는 발명이며, 사용자의 입장에서는 광축의 방향을 본 발명의 실시예에서와 같이 이해하는 것이 더 간편하기 때문이다.
이미지 센서면(1213)은 가로변의 길이가 B이고, 세로변의 길이가 V인 직사각형의 모양이며, 이미지 센서면은 광축에 수직한 평면이다. 여기서 렌즈의 마디점 N을 원점으로 하고, 광축(1201)을 음(-)의 z-축으로 하는 제 1 직교 좌표계를 가정한다. 즉, z-축의 방향은 Z-축의 방향과 정 반대이다. 이 z-축과 센서면(1213)과 의 교점은 Ｏ이다. 제 1 직교 좌표계의 x-축은 이 교점 Ｏ를 지나고, 센서면의 가로변에 평행한 축이며, y-축은 이 교점 Ｏ를 지나고, 센서면의 세로변에 평행한 축이다. 이 제 1 직교 좌표계는 세계 좌표계와 마찬가지로 오른손 좌표계이다.
본 실시예에서 세계 좌표계의 X-축은 제 1 직교 좌표계의 x-축과 평행하고, 방향도 같다. 한편, 세계 좌표계의 Y-축은 제 1 직교 좌표계의 y-축과 평행하지만, 방향은 반대이다. 따라서 도 12에서 제 1 직교 좌표계의 x-축의 양의 방향은 왼쪽에서 오른쪽으로, 양의 y-축의 방향은 위에서 아래로 가는 방향이다.
제 1 직교 좌표계의 z-축과 센서면(1213)과의 교점 Ｏ - 이하 제 1 교점이라 지칭함 - 는 일반적으로 센서면(1213)의 중심에 위치하지 않으며, 심지어 센서면 바깥에 위치할 수도 있다. 이러한 경우는 수직 방향이나 수평 방향으로 화각이 비대칭인 영상을 얻기 위하여 일부로 이미지 센서의 중심이 렌즈의 중심 - 즉, 광축 - 에서 벗어나도록 하는 경우에 발생할 수 있다.
상기 센서면(1213) 상의 임의의 한 점 P - 이하 제 1점이라 지칭함 - 의 가로 방향의 좌표 x는 최솟값 x1 내지 최댓값 x2를 가진다(즉, x1 ≤ x ≤ x2). 정의에 의하여 최댓값과 최솟값의 차이는 센서면의 가로변의 길이 B이다(즉, x2 - x1 = B). 마찬가지로 상기 제 1점의 세로 방향의 좌표 y는 최솟값 y1 내지 최댓값 y2를 가진다(즉, y1 ≤ y ≤ y2). 정의에 의하여 최댓값과 최솟값의 차이는 센서면의 세로변의 길이 V이다(즉, y2 - y1 = V).
그런데 수평 화각 180°를 구현하기 위하여 어안 렌즈에 의한 영상을 그대로 사용하는 것은 바람직하지 못하다. 전술한 통형 왜곡에 의하여 자연스런 파노라마 영상을 얻을 수 없기 때문이다. 도 4 내지 도 9에 도시한 물체면을 가정하는 전방위 렌즈는 수직 방향으로는 직선수차보정 투사 방식(rectilinear projection scheme)을 따르고 있으며, 수평 방향으로는 렌즈의 구조상 등거리 투사 방식(equidistance projection scheme)을 따르고 있다. 따라서 본 발명의 전방위 영상 시스템은 수평 방향으로는 등거리 투사 방식을 따르며, 수직방향으로는 직선수차보정 투사 방식을 따르는 것이 바람직하다. 이와 같은 투사 방식은 Y-축을 회전 대칭축으로 하는 반경 S의 반 원통형 물체면(1231)을 가정하는 것에 해당하며, 물체면(1231) 상의 임의의 한 점 Q - 이하 물점(object point)이라 지칭함 - 의 영상은 상기 센서면(1213) 상의 어느 한 점, 즉 상점(image point) P가 된다. 본 발명의 바람직한 투사방식에 따르면 반 원통 모양의 물체면(1231) 상에 존재하는 피사체의 영상이 세로 방향의 비율이 보존된 채 센서면(1213)에 포착되며, 이 상점의 가로 방향의 좌표 x는 상기 물체면 상에서의 대응하는 물점의 수평 방향의 호(arc)의 길이에 비례하며, 물체면(1231) 상의 모든 물점들에 의한 이미지 센서면 상의 상점들은 집합적으로 실상(real image)을 형성한다. 이러한 조건을 만족할 때 얻어지는 영상은 도 3의 영상에서 수평 화각 180°정도의 부분만을 선택한 것과 같은 효과를 가진다.
그런데 어안 렌즈를 비롯한 임의의 회전 대칭형의 렌즈는 전술한 투사 방식을 구현할 수 없다. 따라서 상기한 투사 방식을 구현하기 위해서는 영상 처리 과 정이 필수적이다. 도 13은 이미지 센서면(1213)에 대응하는 영상 처리 전의 보정전 영상면(uncorrected image plane: 1334)의 개념도이다. 이미지 센서면(1213)의 가로변의 길이가 B이고, 세로변의 길이가 V라고 하면, 보정전 영상면의 가로변의 길이는 gB이고, 세로변의 길이는 gV이다. 여기서 g는 비례 상수이다.
보정전 영상면(1334)은 영상 표시 수단에 표시되는 왜곡이 보정되지 않은 화면으로 생각할 수 있으며, 이미지 센서면에 결상된 영상을 배율 g로 확대한 영상이다. 예를 들어 1/3-inch CCD의 경우는 실상의 가로변의 길이가 4.8mm, 세로변의 길이가 3.6mm인 직사각형의 모습이다. 한편, 모니터의 크기가 가로변의 길이가 48cm이고, 세로변의 길이가 36cm라고 하면, 배율 g는 100이 된다. 더욱 바람직하게는 이산화된 디지털 영상에서는 픽셀의 길이를 1로 가정한다. VGA급의 1/3-inch CCD 센서라면 가로 640열, 세로 480행의 행렬의 형태로 픽셀이 존재한다. 따라서 한 픽셀은 가로 및 세로가 모두 4.8mm/640 = 7.5㎛인 정사각형의 모양이고, 이 경우에 확대율 g는 1pixel/7.5㎛ = 133.3pixel/mm이다. 다시 말하면 보정전 영상면(1334)은 이미지 센서면에 결상된 왜곡된 영상을 전기적인 신호로 변환하여 얻어지는 왜곡된 디지털 영상이다.
상기 제 1 교점 Ｏ는 광축(1201)과 이미지 센서면(1213)과의 교점이다. 따라서 광축을 따라서 입사한 광선은 상기 제 1 교점 Ｏ에 상점을 형성한다. 정의에 의하여 광축을 따라서 입사하는 입사광은 가로 방향의 입사각 ψ 및 세로 방향의 입사각 δ가 모두 0이다. 따라서 이미지 센서면에서의 제 1 교점 Ｏ에 대응하는 제 1 보정전 영상면 상의 한 점 Ｏ' - 이하 제 2 교점이라 지칭함 - 은 가로 방향 의 입사각과 세로 방향의 입사각이 모두 0인 입사광에 의한 상점에 대응한다.
여기서 상기 제 2 교점을 지나고 보정전 영상면(1334)의 가로변에 평행한 축을 x'-축으로 하고, 상기 제 2 교점을 지나며 상기 보정전 영상면의 세로변에 평행한 축을 y'-축으로 하는 제 2 직교 좌표계를 가정한다. 도 13에서 양의 x'-축의 방향은 왼쪽에서 오른쪽으로, 양의 y'-축의 방향은 위에서 아래로 가는 방향이다. 이때 보정전 영상면(1334) 상의 임의의 한 점 P'의 가로 방향의 좌표 x'는 최솟값 x'1 = gx1 내지 최댓값 x'2 = gx2를 가진다(즉, gx1 ≤ x' ≤ gx2). 마찬가지로 상기 한 점의 세로 방향의 좌표 y'는 최솟값 y'1 = gy1 내지 최댓값 y'2 = gy2를 가진다(즉, gy1 ≤ y' ≤ gy2).
전술한 바와 같이 어안 렌즈는 도 12에 도시된 바와 같은 자연스러운 전방위 영상을 제공하지 못한다. 본 실시예는 어안 렌즈를 포함하는 회전 대칭형의 광각 렌즈의 왜곡된 영상에 정확한 영상 처리 알고리즘을 적용하여 도 12에 도시한 바와 같이 감성적으로 가장 자연스러운 전방위 영상을 제공하는 것을 요점으로 한다. 도 14는 본 실시예의 발명의 영상 처리 방법을 이용하는 장치의 개념도이며, 크게 영상 획득 수단(image acquisition means: 1410)과 영상 처리 수단(image processing means: 1416) 및 영상 표시 수단(image display means: 1415, 1417)을 포함하는 영상 시스템을 포함하는 장치(device)이다. 영상 획득 수단(1410)은 회전대칭형의 형상을 가지는 광각 렌즈(1412)와 그 내부에 이미지 센서(1413)를 포함하는 카메라 몸체(1414)를 포함한다. 상기 광각 렌즈는 등거리 투사 방식을 가지 는 화각 180° 이상의 어안 렌즈가 될 수 있으나, 이러한 어안 렌즈에 한정되는 것은 아니다. 이하에서는 설명의 편의를 위하여 광각 렌즈를 어안 렌즈로 지칭한다. 상기 카메라 몸체는 디지털 카메라 혹은 동영상을 출력할 수 있는 비디오 카메라로서, CCD 혹은 CMOS 등의 이미지 센서를 구비한다. 본 실시예에서는 상기 어안 렌즈의 광축(1401)이 지평면(1417)에 평행하다. 다른 실시예에서는 광축이 지면에 수직하거나 혹은 임의의 각도를 가진다. 상기 어안 렌즈(1412)에 의하여 물체면(1431)의 영상(1433: 도면에서 실선으로 표시)이 초점면(1432: 도면에서 점선으로 표시) 상에 형성된다. 선명한 영상을 얻기 위하여 이미지 센서면(1413)이 상기 초점면(1432)과 일치하여야 한다.
상기 물체면(1431) 상에 존재하는 피사체의 어안 렌즈(1412)에 의한 실상(1433)은 이미지 센서(1413)에 의하여 전기적 신호로 변환된 후 영상 표시 수단(1415)에 보정전 영상면(1434)으로 표시되며, 이 보정전 영상면(1434)은 왜곡 수차를 포함하고 있다. 상기 렌즈가 어안 렌즈라면 상기 왜곡 수차는 주로 통형 왜곡 수차일 것이다. 이 왜곡된 영상이 영상 처리 수단(1416)에 의하여 왜곡이 보정된 후 컴퓨터 모니터나 CCTV 모니터와 같은 영상 표시 수단(1417)에서 보정후 영상면(1435)으로 표시된다. 상기 영상 처리는 컴퓨터에 의한 소프트웨어적인 영상 처리일 수도 있고, FPGA(Field Programmable Gate Array)에 의한 하드웨어적인 영상 처리일 수도 있다. 다음의 표 1은 물체면과 센서면, 보정전/후 영상면에서의 대응하는 변수들을 하나의 표로 요약한 것이다.
면(surface) 물체면 센서면 보정전 영상면 보정후 영상면
면의 가로변의 길이 L B gB W
면의 세로변의 길이 T V gV H
좌표계 세계 좌표계 제1 직교좌표계 제2 직교좌표계 제3 직교좌표계
원점의 위치 렌즈의 마디점 렌즈의 마디점 렌즈의 마디점 렌즈의 마디점
광축과의 교점 기호 Ｏ Ｏ' Ｏ"
좌표축 (X, Y, Z) (x, y, z) (x', y', z') (x", y", z")
물점 혹은 상점의 명칭 물점 제1점 제2점 제3점
물점 혹은 상점의 기초 Q P P' P"
물점 혹은 상점의 2차원 좌표 (x, y) (x', y') (x", y")
도 15는 본 발명의 영상 표시 수단의 왜곡이 보정된 화면, 즉 보정후 영상면(1535)의 개념도이다. 보정후 영상면(1535)은 사각형의 모양을 가지며, 가로변의 길이가 W이고, 세로변의 길이가 H이다. 또한, 보정후 영상면의 가로변에 평행한 축을 x''-축으로 하고 세로변에 평행한 축을 y''-축으로 하는 제 3 직교 좌표계를 가정한다. 제 3 직교 좌표계의 z''-축은 제 1 직교 좌표계의 z-축 및 제 2 직교 좌표계의 z'-축에 평행하다. 상기 z''-축과 보정후 영상면과의 교점 Ｏ''의 위치는 임의의 값을 가질 수 있으며, 심지어 보정후 영상면의 바깥에 위치할 수도 있다. 도 15에서 양의 x''-축의 방향은 왼쪽에서 오른쪽으로, 양의 y''-축의 방향은 위에서 아래로 가는 방향이다. 이때 보정후 영상면(1535) 상의 제 3 점 P''의 가로 방향의 좌표 x''는 최솟값 x''1 내지 최댓값 x''2를 가진다(즉, x''1 ≤ x'' ≤ x''2). 정의에 의하여 가로 방향의 좌표의 최댓값과 최솟값의 차이는 보정후 영상면의 가로변의 길이와 일치한다(즉, x''2 - x''1 = W). 마찬가지로 제 3 점 P''의 세로 방향의 좌표 y''는 최솟값 y''1 내지 최댓값 y''2를 가진다(즉, y''1 ≤ y'' ≤ y''2). 정의에 의하여 세로 방향의 좌표의 최댓값과 최솟값의 차이는 보정후 영상면의 세로변의 길이와 일치한다(즉, y''2 - y''1 = H).
도 16은 도 12의 물체면의 X-Z 평면에서의 단면을 보여준다. 본 발명의 영상 시스템의 수평 방향의 화각이 반드시 180°일 필요는 없으며, 그 이하나 그 이상이 될 수도 있으므로, 도 16에서는 수평 방향의 화각이 180° 이상인 경우를 도시하였다. 본 발명의 영상 시스템에 입사하는 임의의 입사광(1605)이 Y-Z 평면과 이루는 수평 방향의 입사각(angle of incidence) - 즉, X-Z 평면(즉, 지평면)에서 Z-축(즉, 광축)과 이루는 가로 방향의 입사각은 ψ이다. 통상적으로 렌즈의 결상 작용에 의하여 초점면에 선명한 상을 형성하는 입사광은 렌즈의 마디점 N을 지나는 것으로 간주한다.
이 가로 방향의 입사각의 최솟값은 ψ1이고, 최댓값은 ψ2이며 (즉, ψ1 ≤ ψ ≤ ψ2), 가로 방향의 화각은 Δψ = ψ2 - ψ1이다. 일반적으로 가로 방향의 화각이 180°인 경우에 가로 방향의 입사각의 범위는 ψ2 = -ψ1 = 90°인 경우가 바람직할 것이다. 상기 물체면의 반경이 S이므로, 상기 물체면의 호(arc)의 길이 L은 다음의 수학식 17과 같이 주어진다.
여기서 화각 Δψ의 단위는 라디안(radian)인 것으로 가정하였다. 이 호의 길이 L은 보정후 영상면의 가로변의 길이 W와 비례하여야 한다. 따라서 이 비례 상수를 c라고 하면, 다음의 수학식 18의 관계가 성립한다.
한편, 도 17은 도 12의 물체면의 Y-Z 평면에서의 단면을 보여준다. 상기 물체면(1731)의 반경은 S이며, 물체면의 높이는 T이다. 본 발명의 렌즈에 입사하는 입사광(1705)이 Y-Z 평면(즉, 수직선을 포함하는 평면)에서 Z-축(즉, 광축)과 이루는 세로 방향의 입사각은 δ이다. 다시 말하면 상기 입사광(1705)이 X-Z 평면과 이루는 수직 입사각은 δ이다. 이 세로 방향의 입사각의 최솟값은 δ1이며, 최댓값은 δ2이다 (즉, δ1 ≤ δ ≤ δ2). 세로 방향의 화각이 Δδ = δ2 - δ1 인 경우에 세로 방향의 입사각의 범위는 δ2 = -δ1 = Δδ/2인 경우가 가장 간단하지만, 필요에 따라서 두 값이 다른 것이 바람직할 수도 있다. 예를 들어 자동차 지붕에 설치한다면 지평선 위를 주로 모니터링하는 것이 바람직하지만, 비행기에 장착한다면 지평선 이하를 주로 모니터링하는 것이 바람직할 것이다. 이때 상기 좌표계의 원점 N에서 바라본 물체면의 높이 T는 수학식 19를 만족한다.
또한 이 물체면의 높이 T는 보정후 영상면의 높이 H와 동일한 비례 관계를 만족하여야 한다.
수학식 17 내지 18로부터 다음의 수학식 21을 얻을 수 있으며, 여기서 A는 상수(constant)이다.
한편 수학식 19 내지 20으로부터 다음의 수학식 22를 얻을 수 있다.
따라서 수학식 21 내지 22로부터 다음의 방정식이 만족되어야 함을 알 수 있다.
대부분의 경우에 있어서는 가로 방향의 입사각의 범위 및 세로 방향의 입사각의 범위가 대칭인 경우가 바람직할 것이다. 따라서 가로 방향의 화각은 Δψ = ψ2 - ψ1 = 2ψ2로 주어지고, 세로 방향의 화각은 Δδ = δ2 - δ1 = 2δ2로 주어질 것이다. 렌즈를 설계하거나 렌즈의 특성을 평가하는데 있어서 가로 방향의 화각 Δψ 및 세로 방향의 화각 Δδ는 중요한 지표이다. 수학식 23으로부터 세로 방향의 화각은 가로 방향의 화각의 함수로 수학식 24와 같이 주어져야 함을 알 수 있다.
예를 들어, 영상 시스템의 가로 방향의 화각이 180°이고, 가로변 대 세로변의 비율이 4:3인 가장 일반적인 센서면을 가정했을 때 자연스러운 전방위 영상의 세로 방향의 화각은 다음의 수학식 25와 같이 주어진다.
한편, 16:9의 비율을 가지는 이미지 센서를 가정했을 때에는 세로 방향의 화각은 다음의 수학식 26과 같이 주어진다.
따라서 16:9의 비율을 가지는 이미지 센서를 사용한다고 하더라도 세로 방향의 화각은 초광각에 해당한다.
좀더 일반적으로 수학식 17 내지 23의 과정을 보정후 영상면의 제 3 교점 Ｏ ''을 포함하는 구간에서 반복하면 수학식 27로 주어지는 방정식을 얻을 수 있다.
따라서 바람직한 보정후 영상면의 크기와 화각을 설정할 때 수학식 27을 만족하도록 하여야 한다.
도 15의 보정후 영상면이 전술한 투사 방식을 만족한다면 상기 보정후 영상면 상의 제 3 점 P''의 가로 방향의 좌표 x''에 대응하는 입사광의 가로 방향의 입사각은 수학식 28로 주어진다.
마찬가지로 세로 방향의 좌표 y''을 가지는 제 3 점에 대응하는 입사광의 세로 방향의 입사각은 수학식 27로부터 수학식 29와 같이 주어진다.
따라서 이상적인 투사 방식을 가지는 보정후 영상면 상의 제 3 점의 신호값은 수학식 28로 주어지는 가로 방향의 입사각(즉, 경도값)과 수학식 29로 주어지는 세로 방향의 입사각(즉, 위도값)을 가지는 물체면 상의 물점으로부터 비롯된 광선이 이미지 센서면 상에 형성한 상점의 신호값이어야 한다.
상기 가로 방향의 입사각과 세로 방향의 입사각을 가지는 물체면 상의 물점 Q의 위치는 다음과 같은 방법으로 구할 수 있다. 도 7을 참조하면 세계 좌표계 상의 원점 N에서 물체면 상의 상기 가로 방향의 입사각과 세로 방향의 입사각을 가지는 물점 Q에 이르는 벡터 (vector)를 과 같이 쓸 수 있다. 이 벡터의 방향은 입사광(1605, 1705)의 입사 방향과 정 반대 방향이며, 상기 벡터는 세계 좌표계에서 수학식 30과 같이 쓸 수 있다.
수학식 30에서 = (1,0,0)는 X-축 방향으로의 단위 벡터이며, 마찬가지로 = (0,1,0) 및 =(0,0,1)는 Y-축 및 Z-축 방향으로의 단위 벡터이다. 한편, 상기 벡터 는 구면 극 좌표계(spherical polar coordinate)에서 천정각 θ 및 방위각 φ의 함수로 수학식 31과 같이 나타낼 수 있다.
여기서 R은 상기 벡터 의 크기이며, 은 상기 벡터의 방향 벡터이다. 그러면 직교 좌표와 구면 극 좌표 사이에 다음과 같은 관계식이 성립한다.
수학식 32 내지 35에서 dot()는 스칼라 내적(scalar product)을 나타낸다.
한편, 상기 방향 벡터는 본 발명의 투사 방식을 기술하는 두 입사각, 즉 가로 방향의 입사각 ψ 및 세로 방향의 입사각 δ의 함수로 수학식 36과 같이 표현될 수 있다. 향후에는 이 좌표계를 원통형 극 좌표계라고 지칭한다.
이 두 입사각을 사용하여 직교 좌표들은 다음과 같이 표현될 수 있다.
수학식 37 내지 39를 이용하면 물점의 직교 좌표 (X, Y, Z)로부터 입사광의 가로 방향의 입사각 및 세로 방향의 입사각을 수학식 40 내지 41과 같이 구할 수 있다.
한편 구면 극 좌표계로 표현된 좌표와 원통형 극 좌표계로 표현된 좌표는 서로 일치하여야 하므로 다음의 수학식 42 내지 44의 관계식이 성립하여야 한다.
수학식 43을 수학식 42로 나누면 수학식 45를 얻을 수 있다.
따라서 방위각 φ는 수학식 46으로 주어진다.
한편 천정각 는 수학식 44로부터 수학식 47과 같이 주어진다.
역으로 구면 극 좌표계에서 원통형 극 좌표계로 변환하기 위하여 수학식 42를 수학식 44로 나누면 수학식 48을 얻을 수 있다.
따라서 가로 방향의 입사각은 수학식 49와 같이 주어진다.
한편, 세로 방향의 입사각은 수학식 43으로부터 수학식 50과 같이 주어진다.
따라서 가로 방향의 입사각 ψ와 세로 방향의 입사각 δ를 가지는 입사광은 구면 극 좌표계에서 수학식 47로 주어지는 천정각 θ와 수학식 46으로 주어지는 방 위각 φ를 갖는 입사광이다. 영상 처리를 하기 위해서는 이러한 천정각 θ와 방위각 φ를 갖는 입사광의 센서면 상에서의 위치를 결정하여야 한다.
도 18은 어안 렌즈를 포함하는 회전대칭형의 렌즈(1812)의 실제 투사 방식의 개념도이다. 본 실시예의 렌즈(1812)의 광축(1801)은 좌표계의 Z-축과 일치한다. 이 Z-축에 대하여 천정각 θ를 가지는 입사광(1805)은 렌즈(1812)에 의하여 굴절된 후 카메라 몸체(1814) 내부의 이미지 센서면(1813) 상의 한 점 P - 즉, 제 1 점 - 에 상점(image point)을 형성한다. 상기 이미지 센서의 센서면(1813)은 광축에 대하여 수직하며, 선명한 영상을 얻기 위하여 센서면은 렌즈의 초점면(1832)과 일치한다. 이 광축(1801)과 센서면(1813)과의 교점 Ｏ, 즉 제 1 교점에서부터 상기 상점 P까지의 거리는 r이다.
이상적인 등거리 투사 어안 렌즈에서는 상 크기 r이 수학식 51과 같이 주어진다.
수학식 51에서 입사각 θ의 단위는 라디안(radian)이며, f는 어안 렌즈의 유효초점거리(effective focal length)이다. 상 크기 r의 단위는 유효초점거리 f의 단위와 같다. 수학식 51로 주어지는 이상적인 등거리 투사 방식과 실제 렌즈의 투사 방식과의 차이가 f-θ 왜곡이다. 그런데 어안 렌즈가 수학식 51로 주어지는 투사 방식을 구현하는 것은 상당히 어려우며 그 오차는 10%를 훨씬 넘기기도 한다. 더구나 이 영상처리 알고리즘은 등거리 투사 방식을 따르는 어안 렌즈에만 국한되는 것이 아니다. 따라서 렌즈의 투사 방식은 입사광의 천정각 θ에 대한 일반적인 함수로 수학식 52와 같이 주어진다고 가정한다.
단 이 함수는 입사광의 천정각 θ에 대한 단조 증가 함수(monotonically increasing function)이다.
이와 같은 렌즈의 실제 투사 방식은 실제 렌즈를 가지고 실험적으로 측정할 수도 있으며, 아니면 렌즈의 설계도를 가지고 Code V나 Zemax 등의 렌즈 설계 프로그램으로 계산할 수 있다. 예를 들어 Zemax에서 REAY 연산자를 사용하면 주어진 수평 방향 및 수직 방향의 입사각을 가지는 입사광에 의한 초점면 상에서의 y-축 방향의 상 크기 y를 계산할 수 있으며, x-축 방향의 상 크기 x는 유사하게 REAX 연산자를 사용하여 계산할 수 있다.
도 19는 참고문헌 14에 완전한 광학적 설계도가 제시되어 있는 등거리 투사 어안 렌즈의 광학적 구조 및 광선의 경로를 보여주는 도면이며, 이 어안 렌즈는 화각이 190°이고, F수는 2.8이며, 가시 광선과 근 적외선 영역에서 동시에 VGA급 카메라에 충분한 해상도를 가진다. 또한, 주변광량비(relative illumination)도 0.8 이상으로 매우 양호하다. 이 렌즈는 8매의 구면 렌즈 요소(spherical lens elements)만으로 구성되었으며, 충분한 제작 공차(fabrication tolerance)를 가지고 있어 대량으로 생산하기에 적합하다.
도 20은 도 19에 나타낸 어안 렌즈의 가시 광선 영역에서의 실제 투사 방식(점선) 및 다항식으로 근사한 투사 방식(실선)을 함께 보여준다. 여기서 실제 투사 방식은 렌즈의 완전한 설계도에 근거하여 전술한 REAY 연산자를 사용하여 구하였으며, 이러한 실제 투사 방식을 수학식 53에 주어진 바와 같이 원점을 지나는 5차 다항식으로 근사한 것이다.
표 2는 수학식 53의 다항식의 계수들을 보여준다.

도 21은 실제 투사 방식과 수학식 53과 표 2로 주어지는 다항식으로 근사한 투사 방식 사이의 오차를 보여준다. 도 21에서 알 수 있는 바와 같이 오차는 0.3㎛ 이하이며, VGA급의 1/3-inch CCD 센서에서 각각의 픽셀의 한 변의 길이가 7.5㎛인 것을 고려하면 사실상 오차가 없다는 것을 알 수 있다.
삭제
도 22는 센서면에서의 제 1 점에 대응하는 보정전 영상면(2234)에서의 제 2 점 P'의 직교 좌표와 극 좌표간의 변환 관계를 보여주는 개념도이다. 도 22를 참조하여 보정전 영상면 상에서의 제 2 점의 이차원 극 좌표 (r', φ'≡φ)로부터 이차원 직교 좌표(x', y')를 수학식 54 내지 55와 같이 구할 수 있다.
수학식 27 내지 55를 이용하여 왜곡 수차를 가지는 어안 렌즈의 영상으로부터 이상적인 투사방식을 가지는 전방위 영상을 다음과 같이 얻을 수 있다. 먼저, 사용자의 필요에 따라서 바람직한 전방위 영상의 크기(W, H) 및 제 3 교점 Ｏ''의 위치를 정한다. 상기 제 3 교점은 상기 보정후 영상면의 바깥에 위치할 수도 있다. 다시 말하면, 보정후 영상면에서의 가로 방향의 좌표의 범위 (x''1, x''2) 및 세로 방향의 좌표의 범위 (y''1, y''2)는 임의의 실수값을 가질 수 있다. 또한, 이 전방위 영상(즉, 보정후 영상면)의 가로 방향의 화각 Δψ를 정한다. 그러면 이 전방위 영상 내의 제 3 점의 직교 좌표 (x'', y'')에 대응하는 입사광의 가로 방향의 입사각 ψ 및 세로 방향의 입사각 δ를 수학식 28 내지 29를 사용하여 구할 수 있다. 그러면 이 가로 방향의 입사각과 세로 방향의 입사각에 대응하는 입사광의 천정각 θ와 방위각 φ를 수학식 47과 46을 사용하여 구한다. 다음에는 이 입사광의 천정각 θ에 대응하는 상 크기 r을 수학식 52를 사용하여 구한다. 이 상 크기 r과 배율 g 및 입사광의 방위각 φ를 사용하여 보정전 영상면에서의 상점의 직교 좌표 (x', y')을 수학식 54 내지 55를 사용하여 구한다. 이와 같은 과정에서 보정전 영상면에서의 제 2 교점의 좌표, 혹은 대등하게 센서면 상에서의 제 1 교점의 위치를 정확하게 결정하여야 한다. 이와 같은 교점의 위치는 영상 처리 기술 등의 다양한 방법에 의하여 용이하게 구할 수 있으며, 당 업계에 널리 알려진 기술이므로 본 명세서에서는 기술을 생략한다. 마지막으로 이 직교 좌표를 가지는 어안 렌즈에 의한 상점의 신호(즉, RGB 신호)를 상기 전방위 영상에서의 직교 좌표 (x'', y'')을 가지는 상점의 신호로 대입을 한다. 이와 같은 방법으로 전방위 영상 상의 모든 상점에 대하여 영상 처리를 하면 이상적인 투사 방식을 가지는 전방위 영상을 얻을 수 있다.
그런데 실제에 있어서는 모든 이미지 센서 및 디스플레이 수단이 이산화되어 있다는 사실에 의하여 좀 더 복잡한 문제가 발생한다. 도 23은 영상 표시 수단의 이산화된 보정후 영상면의 개념도이며, 도 24는 보정전 영상면의 개념도이다. 상기 보정후 영상면은 가로로 Jmax 개의 열(column)과 세로로 Imax 개의 행(low)을 가지는 2차원 행렬의 형태로 픽셀(pixel) 들을 가지고 있으며, 각 픽셀은 대개 가로와 세로의 길이가 모두 p인 정사각형의 모양이지만, 영상 처리(image processing) 분야에서 픽셀의 가로 및 세로 변의 길이는 모두 1로 간주한다. 어느 한 픽셀 P''을 지정하기 위해서는 행(low) 번호 I와 열(column) 번호 J를 사용한다. 도 23에서 상기 픽셀 P''의 좌표는 (I, J)로 주어진다. 따라서 이 픽셀에 저장된 신호값은 S(I, J)과 같이 표시할 수 있다. 픽셀은 일정한 면적을 가진다. 이산화된 영상의 왜곡을 보정하기 위하여 임의의 한 픽셀 P''의 물리적인 좌표를 그 픽셀의 중심 위치 - 도 23에서 채워진 원으로 표시됨 - 로 결정한다.
상기 보정후 영상면(2335) 상의 한 픽셀 P''에 대응하는 이미지 센서면 상의 한 상점 - 즉, 제 1 점 - 이 있다. 이 제 1 점에 상을 형성하는 입사광의 세계 좌표계에서의 가로 방향의 입사각은 ψI,J ≡ ψ(I, J)와 같이 쓸 수 있다. 또한, 세로 방향의 입사각은 δI,J ≡ δ(I, J)와 같이 쓸 수 있다. 그런데 이 제 1 점의 위치는 정확히 어느 한 픽셀의 위치와 일치하는 것은 아니다.
이때 상기 화면(2335)이 전방위 영상이라면 가로 방향의 입사각은 수학식 56에 주어진 바와 같이 가로 방향의 픽셀 좌표 J 만의 함수이어야 한다.
마찬가지로 세로 방향의 입사각은 세로 방향의 픽셀 좌표 I 만의 함수이어야 한다.
또한, 가로 방향으로는 등거리 투사 방식을, 그리고 세로 방향으로는 직선수차보정 투사 방식을 만족한다면 가로 방향의 입사각의 범위와 세로 방향의 입사각의 범위는 수학식 58의 관계식을 만족하여야 한다.
전술한 영상 보정 방법과 비교하면 이산화된 화면에서의 영상 보정 방법은 다음과 같은 과정을 거치게 된다. 먼저, 실험에 의하거나 아니면 정확한 렌즈의 설계도에 입각하여 영상 획득에 사용할 광각 렌즈의 실제 투사 방식을 구한다. 여기서 렌즈의 실제 투사 방식이란 광축에 대하여 천정각 θ를 갖는 입사광이 상기 렌즈의 결상 작용에 의하여 이미지 센서면에 선명한 상점을 형성할 때 상기 이미지 센서면과 광축과의 교점 Ｏ에서 상기 상점까지의 거리 r을 입사광의 천정각 θ의 함수로 구한 것이다.
상기 함수는 천정각 θ에 대한 단조증가함수이다. 다음으로, 보정전 영상면에서 광축의 위치, 즉 이미지 센서면에서 제 1 교점 Ｏ에 대응하는 보정전 영상면에서의 제 2 교점 Ｏ'의 위치를 구한다. 이 제 2 교점의 픽셀 좌표를 (Ko, Lo)라고 가정한다. 또한, 이미지 센서면 상에서의 상점의 크기 r에 대응하는 보정전 영상면에서의 픽셀 거리 r'의 확대율 g를 구한다. 이 확대율 g는 수학식 60과 같이 주어진다.
이와 같은 일련의 사전 작업이 완료되면 상기 어안 렌즈를 장착한 카메라의 광축을 지면에 평행하게 설치하여 원 영상(즉, 보정전 영상면)을 획득한다. 다음, 바람직한 보정후 영상면의 크기와 제 3 교점의 위치 (Io, Jo)를 정하고, 상기 보정후 영상면 내의 모든 픽셀 (I, J)에 대하여 수학식 61 내지 62로 주어지는 가로 방향의 입사각 ψJ 및 세로 방향의 입사각 δI를 계산한다.
이 가로 방향의 입사각과 세로 방향의 입사각으로부터 제 1 직교 좌표계에서의 입사광의 천정각 θI,J 및 방위각 ΦI,J를 수학식 63 내지 64를 사용하여 구한다.
다음으로 수학식 63과 59를 사용하여 이미지 센서면 상에서의 상 크기 rI ,J를 구한다.
다음으로, 보정전 영상면 상에서의 제 2 교점의 위치 (Ko, Lo) 및 확대율 g를 사용하여 보정전 영상면 상에서의 제 2 점(2407)의 위치를 수학식 66 및 67을 사용하여 구한다.
상기 제 2 점의 위치는 어느 한 픽셀의 위치와 정확하게 일치하지 않는다. 따라서 를 보정후 영상면에서의 제 3점에 대응하는 보정전 영상면에서의 가상의 픽셀 좌표라고 간주할 수 있으며, 일반적으로 실수 값을 갖는다.
상기 제 2 점이 어느 한 픽셀과 정확히 일치하지 않으므로 영상 처리를 하기 위해서는 보간법(interpolation)을 사용하여야 한다. 상기 제 2 점의 위치에 가장 근접한 픽셀(2408)의 좌표는 수학식 68 내지 69를 사용하여 구할 수 있다.
여기서 int{x}는 실수 x에 가장 근접한 정수를 출력하는 함수이다. 그러면 그 화소에 저장된 신호 P(K, L)을 복사하여 펼쳐진 전방위 영상의 해당하는 화소의 신호값 S(I, J)로 지정한다.
이와 같은 기하학적 변환은 아주 단순하지만, 전방위 영상의 화소수가 많을 경우에도 신속하게 수행할 수 있는 장점이 있다.
이와 같이 가장 단순한 방법으로 영상 처리를 한 펼쳐진 전방위 영상은 원래 이미지 센서의 화소수가 충분하지 않거나 아니면 펼쳐진 전방위 영상을 확대했을 때, 서로 다른 피사체 간의 경계면이 마치 톱날처럼 보이는 단점이 있다. 이와 같은 단점을 해소하기 위하여 이중선형보간법(bi-linear interpolation)을 사용할 수 있다. 도 25를 참조하면, 왜곡이 없는 보정후 영상면에서 좌표 (I, J)를 가지는 화소 P''에 대응하는 왜곡이 있는 보정전 영상면 상에서의 제 2 점(2507)의 위치 (x', y')를 검은 삼각형으로 표시하였다. 이때 인접하는 화소간의 가로 및 세로 방향의 간격은 모두 1이며, 상기 제 2 점은 화소 (2508)로부터 가로 방향으로 Δx 및 세로 방향으로 Δy 픽셀만큼 떨어져 있다. 상기 화소 (2508)은 상기 제 2 점의 실수 좌표값을 절사하여 얻어지는 정수값 (K, L)을 좌표값으로 가지는 화소이다. 즉, 예를 들어 x' = 103.9라면 int(x') = 104이지만, 이중선형보간법에서는 이 값을 사용하지 않고 x'보다 작은 가장 큰 정수인 103이 L 값이 된다. 수학적으로는 L = floor(x') 및 K = floor(y')으로 표기한다. 이때 이중선형보간법을 사용하여 계산한 화소의 신호값은 다음의 수학식 71과 같이 주어진다.

이와 같은 이중선형보간법을 사용하면 영상은 더 선명해지지만, 계산량이 증가하게 되므로 특히 비디오 영상과 같이 실시간으로 동작하는 영상 시스템에서 장애 요인이 될 수 있다. 한편, bi-cubic interpolation이나 spline 보간법을 사용하면 더 만족스러운 영상을 얻을 수 있으나 계산량이 더 많아지게 된다. 이와 같은 계산량의 증가에 의한 속도의 저하를 막기 위하여 영상 처리를 FPGA 등을 사용하여 하드웨어적으로 처리할 수 있다.
삭제
삭제
한편으로 영상을 확대하거나 축소했을 때, 즉 소프트웨어적으로 줌인(zoom in) 혹은 줌아웃(zoom out)을 했을 때는 또 다른 문제가 발생할 수 있다. 예를 들 어 영상을 지나치게 확대했을 때 영상이 흐리게 보이는 현상이 발생할 수 있고, 영상을 축소했을 때에는 모아레(moire) 현상이 발생할 수도 있다. 또한 영상 처리에 의하여 한 화면내에서도 영상이 상대적으로 축소도 되고, 확대도 되어 두 문제가 동시에 발생할 수도 있다. 이와 같은 문제점을 개선하기 위하여 일반적으로 필터링(filtering)을 할 수 있다.
도 26은 Paul Bourke 교수가 컴퓨터로 제작한 가상적인 실내 풍경이며, 이상적인 등거리 투사 방식을 가지는 화각 180°의 어안 렌즈를 사용하는 것으로 가정된 것이다. 이 영상은 가로 방향 및 세로 방향의 크기가 모두 250 픽셀인 정사각형의 모양을 가지고 있다. 따라서 광축의 위치, 즉 제 2 교점의 좌표는 (125.5, 125.5)이며, 천정각 90°인 입사광의 상 크기는 r'(π/2) = 125.5 - 1 = 124.5이다. 이 가상적인 어안 렌즈는 등거리 투사 방식을 만족하므로 이 렌즈의 투사 방식은 수학식 72와 같이 주어진다.
한편, 도 27은 도 26의 영상으로부터 추출한 원통형 투사 방식의 전방위 영상으로서, 가로변의 길이 W와 세로변의 길이 H는 모두 250 픽셀이며, 제 3 교점은 보정후 영상면의 중앙에 위치한다. 또한, 보정후 영상면의 가로 방향의 화각은 180°, 즉 π이다. 도 27에서 알 수 있는 바와 같이 도 26의 정면 벽과 좌·우 벽의 수직선들이 도 27에서 모두 직선으로 보이는 것을 알 수 있다. 이와 같이 세계 좌표계에서의 수직선이 보정후 영상면에서 직선으로 보이는 것이 이 발명의 특징이다.
도 28은 이미지 센서면(2813) 상에서의 바람직한 실상(2833)의 크기와 위치를 설명하기 위한 개념도이다. 본 실시예에 적합한 어안 렌즈는 화각 180° 이상의 어안 렌즈이며, 투사 방식은 등거리 투사 방식이 바람직하다. 또한, 어안 렌즈의 광축과 이미지 센서면과의 교점 Ｏ는 이미지 센서면의 정 중앙에 위치한다. 따라서 가로 방향의 좌표의 범위는 (-B/2 ≤ x ≤ B/2)이고, 세로 방향의 좌표의 범위는 (-V/2 ≤ y ≤ V/2)이다.
이 어안 렌즈의 최대 화각을 2θ2라고 하면, 최대 천정각을 갖는 입사광의 이미지 센서면 상에서의 상 크기는 r2 ≡ r(θ2)로 주어진다. 이때 바람직한 상 크기는 수학식 73으로 주어진다.
따라서 실상(2833)은 이미지 센서면(2813)의 왼쪽 변(2813L)과 오른쪽 변(2813R)에 접한다. 이와 같은 구조를 가졌을 때 영상 시스템은 이미지 센서면 상의 픽셀을 최대한 활용하여 만족스러운 보정후 영상면을 제공한다.
도 29는 화각이 185°인 상용 어안 렌즈를 사용하여 획득한 어안 영상의 예이며, 도 30은 이 어안 렌즈의 실제 투사 방식을 실험을 통하여 측정한 그래프로서 입사광의 천정각 θ의 함수로 보정전 영상면에서의 픽셀 거리, 즉 r'(θ) = gr(θ) 를 나타낸 것이다. 이 어안 렌즈가 이상적인 어안 렌즈라면 도 30의 그래프가 직선으로 주어져야 한다. 그런데 실제로는 직선에서 상당부분 벗어난 것을 알 수 있다. 도 30에 보이는 실제 투사 방식은 천정각 θ에 대한 간단한 다항식으로 수학식 74와 같이 나타낼 수 있다.
여기서 천정각의 단위는 라디안을 사용하였다. 표 3은 3차 다항식의 계수들을 보여준다.
variable value
a1 561.5398
a2 18.5071
a3 -30.3594
실험상의 오차에 의하여 표 3으로 주어지는 근사적인 투사 방식과 실제 렌즈의 투사 방식과의 차이는 3 픽셀 이상인 것으로 추정된다.
과학기술용 프로그램인 MatLab을 사용하여 이와 같은 알고리즘을 검증할 수 있다. 다음은 도 29의 영상에서 수평 화각 180°의 전방위 영상을 추출하기 위한 알고리즘을 보여준다.
% Image processing of a panoramic image.
%
% *********** Real projection scheme ****************************
coeff = [-30.3594, 18.5071, 561.5398, 0.0];
%
% *** Read in the graphic image **********
picture = imread('image', 'jpg');
[Kmax, Lmax, Qmax] = size(picture);
CI = double(picture) + 1;
%
Lo = 1058; % x position of the optical axis in the raw image
Ko = 806; % y position of the optical axis in the raw image
%
% Draw an empty canvas
Jmax = 1600; % canvas width
Imax = 600; % canvas height
EI = zeros(Imax, Jmax, 3); % dark canvas
%
Jo = (1 + Jmax) / 2;
Io = 200;
Dpsi = pi;
A = (Jmax - 1) / Dpsi;
%
% Virtual screen
for I = 1: Imax
for J = 1: Jmax
p = J - Jo;
q = I - Io;
psi = p / A;
delta = atan(q / A);
phi = atan2(tan(delta), sin(psi));
theta = acos(cos(delta) * cos(psi));
r = polyval(coeff, theta);
x = r * cos(phi) + Lo;
y = r * sin(phi) + Ko;
Km = floor(y);
Kp = Km + 1;
dK = y - Km;
Lm = floor(x);
Lp = Lm + 1;
dL = x - Lm;
if((Km >= 1) & (Kp <= Kmax) & (Lm >= 1) & (Lp <= Lmax))
EI(I, J, :) = (1 - dK) * (1 - dL) * CI(Km, Lm, :) ...
+ dK * (1 - dL) * CI(Kp, Lm, :) ...
+ (1 - dK) * dL * CI(Km, Lp, :) ...
+ dK * dL * CI(Kp, Lp, :);
else
EI(I, J, :) = zeros(1, 1, 3);
end
end
end
DI = uint8(EI - 1);
imagesc(DI);
axis equal;
도 31은 이러한 알고리즘을 사용하여 추출한 전방위 영상의 일례로서 보정후 영상면은 가로가 1600 픽셀, 세로가 600 픽셀의 직사각형의 모양이며, 원점의 좌표는 (800.5, 200.5)이고, 수평 방향의 화각은 180°이다. 도 31에서 보이는 약간의 오차는 주로 광축의 수평 정렬이나 제 2 교점의 위치 결정의 오차에 의한 것이다.
<실시예 2>
전술한 바와 같이 엄밀한 의미에서의 원통형 투사 방식은 잘 사용되지 않는다. 수학적으로 가장 엄밀한 의미에서의 전방위 영상을 제공하지만, 세로 방향의 화각(즉, Δδ = δ2 - δ1)이 큰 경우에 육안으로 자연스럽게 보이지 않기 때문이다.
제 1 실시예의 원통형 투사 방식은 좀더 일반적으로 다음과 같이 기술될 수 있다. 보정후 영상면 상에서의 가로 방향의 좌표 x''는 가로 방향의 입사각에 비례한다. 따라서 제 1 실시예에서와 같이 수학식 75의 관계식이 성립한다.
한편, 보정후 영상면 상에서의 세로 방향의 좌표 y''은 수학식 76과 같이 주어지는 세로 방향의 입사각의 단조 함수에 비례한다.
여기서 F(δ)는 세로 방향의 입사각 δ에 대한 연속인 단조함수이다. 따라서 수학식 22에 대응하는 수학식 77의 관계식이 성립한다.
그러므로 가로 방향의 입사각의 범위와 세로 방향의 입사각의 범위 및 보정후 영상면의 크기는 다음과 같은 관계식을 만족한다.
또한, 가로 방향의 좌표 x'' 및 세로 방향의 좌표 y''을 가지는 보정후 영상면 상의 제 3 점에 대응하는 가로 방향의 입사각은 수학식 79와 같이 주어지며, 세로 방향의 입사각은 수학식 80과 같이 주어진다.
여기서 은 함수 F( )의 역함수이다. 상기 제 1 실시예의 원통형 투사 방식에서는 상기 함수 F가 수학식 81과 같이 주어지는 경우이다.
한편 상기 일반적인 투사 방식이 구체적으로 등직교 투사 방식(equi-rectangular projection scheme)이라고 한다면 상기 함수는 수학식 82와 같이 주어진다.
따라서 가로 방향의 입사각의 범위와 세로 방향의 입사각의 범위 및 보정후 영상면의 크기는 다음과 같은 관계식을 만족한다.
또한, 세로 방향의 입사각은 수학식 84와 같이 주어진다.
한편, 상기 일반적인 투사 방식이 구체적으로 메카토르 투사 방식(Mecator projection scheme)이라고 한다면 상기 함수는 수학식 85와 같이 주어진다.
또한 가로 방향의 입사각의 범위와 세로 방향의 입사각의 범위 및 보정후 영상면의 크기는 다음과 같은 관계식을 만족한다.
한편 수직 방향의 입사각은 수학식 87과 같이 주어진다.
제 1 실시예에서와 마찬가지로 이미지 센서면 및 보정 전·후 영상면이 이산화되어 있다는 사실을 감안하면, 제 1 내지 제 2 실시예의 영상 처리 방법은 회전대칭형인 광각 렌즈를 장착한 카메라의 광축 및 이미지 센서의 가로변이 모두 지면에 평행하도록 카메라를 설치하여 보정전 영상을 획득하는 단계와, 상기 보정전 영상면에서 보정후 영상면을 얻는 영상 처리 단계로 구성된다. 상기 보정전 영상면은 Kmax 행과 Lmax 열을 가지는 이차원 행렬이며, 상기 보정전 영상면에서 광축의 픽셀 좌표는 (Ko, Lo)이며, 상기 렌즈의 실제 투사 방식은 수학식 88과 같은 함수로 주어진다.
여기서 렌즈의 실제 투사 방식이란 상 크기 r을 대응하는 입사광의 천정각 θ의 함수로 구한 것이며, 상기 카메라의 확대율 g는 수학식 89와 같이 주어지되, 여기서 r'은 상 크기 r에 대응하는 보정전 영상면에서의 픽셀 거리이다.
상기 보정후 영상면은 Imax 행과 Jmax 열을 가지는 이차원 행렬이며, 상기 보정후 영상면에서 광축의 픽셀 좌표는 (Io, Jo)이며, 상기 보정후 영상면에서 좌표 (I, J)를 가지는 픽셀에 대응하는 입사광의 가로 방향의 입사각 는 상기 픽셀 좌표 J만의 함수로서 수학식 90과 같이 주어진다.
여기서 은 J = 1에 대응하는 가로 방향의 입사각이며, 는 J = Jmax에 대응하는 가로 방향의 입사각이다. 한편, 상기 입사광의 세로 방향의 입사각 는 상기 픽셀 좌표 I만의 함수로서 수학식 91과 같이 주어진다.
여기서 은 입사각 δ에 대한 연속인 단조 증가 함수 F(δ)의 역함수이며, 상기 보정후 영상면에서 좌표 (I, J)를 가지는 픽셀의 신호값은 상기 보정전 영상면에서 좌표 을 가지는 가상의 픽셀의 신호값으로 정해지되, 상기 가 상의 픽셀의 좌표 는 수학식 92 내지 수학식 96으로 주어지는 일련의 수학식으로부터 얻어진다.
만약 전방위 영상의 투사 방식이 원통형 투사 방식이라면 상기 함수 F는 수학식 97과 같이 주어지며, 상기 세로 방향의 입사각은 수학식 98과 같이 주어진다.
만약 전방위 영상의 투사 방식이 등직교 투사 방식이라면 상기 함수 F는 수학식 99와 같이 주어지며, 상기 세로 방향의 입사각은 수학식 100과 같이 주어진다.
만약 전방위 영상의 투사 방식이 메카토르 투사 방식이라면 상기 함수 F는 수학식 101과 같이 주어지며, 상기 세로 방향의 입사각은 수학식 102와 같이 주어진다.
이렇게 주어지는 가로 방향의 입사각과 세로 방향의 입사각으로부터 대응하는 상점을 찾고 보간법을 실시하는 것은 수학식 63 내지 71의 과정과 동일하다.
도 32는 도 26의 어안 영상으로부터 추출한 등직교 투사 방식의 전방위 영상이며, 도 33은 메카토르 투사 방식의 전방위 영상이다. 특히 도 32의 등직교 투사 방식에서는 가로 방향의 화각과 세로 방향의 화각이 모두 180°이다.
<실시예 3>
보안·감시용으로 사용되는 통상적인 광각 렌즈는 화각(FOV: Field Of View)이 최대 90°정도이며, 이 정도의 화각을 갖는 보안·감시용의 렌즈도 상당한 정도의 왜곡(distortion)을 갖는 것이 일반적이다. 이보다 더 큰 화각을 갖는 렌즈의 경우에는 왜곡이 너무 심하여 심미적으로 불쾌감을 유발하므로 잘 사용되지 않는다.
도 34는 화각이 90°이내인 통상적인 광각 카메라를 사용하여 실내 전체를 모니터링하는 영상 시스템(3400)의 개념도이다. 통상적으로 감시 카메라는 사람들의 손이 미치지 않는 장소에 설치되어야 한다. 따라서 사람들의 손이 미치지 않으면서도 실내 전체를 모니터링하기 위하여 카메라(3410)는 실내의 천정과 두 벽이 만나는 구석에 설치되며, 카메라는 실내를 내려다보는 방향으로 설치된다. 카메라의 광축(3401)은 수평선이나 수직선에 대하여 모두 기울어져 있고, 피사체(3467)를 비스듬하게 포착하게 된다. 이와 같이 화각이 90°정도인 광각 카메라를 사용했을 때 카메라에 포착되는 영역(3463)은 대체로 실내 전체를 포함하도록 할 수 있지만, 카메라에서 가까운 쪽과 먼 쪽의 거리 차이가 많이 나게 되어 먼 쪽은 상대적으로 영상 정보가 부족하게 된다.
실내의 천정에는 대개 조명(3471)이 설치되어 있다. 그런데 통상의 광각 카메라는 실내를 비스듬하게 내려다보는 방향으로 설치되어 있기 때문에 상기 조명은 카메라의 시야 범위(3463) 바깥에 위치하며, 따라서 조명에서 방출되는 강한 직사광(3473)은 카메라에 포착되지 않는다.
도 35는 본 발명의 제 3 실시예에 따른 이미지 센서면(3513) 상에서의 바람직한 실상(3533)의 크기와 위치를 설명하기 위한 개념도이다. 본 실시예에 적합한 어안 렌즈는 등거리 투사 방식을 따르는 화각 180° 이상의 어안 렌즈이다. 또한, 어안 렌즈의 광축과 이미지 센서면과의 교점 Ｏ는 이미지 센서면의 정 중앙보다 위에 위치한다. 이 어안 렌즈의 최대 화각을 2θ2라고 하면, 최대 천정각을 갖는 입사광의 이미지 센서면 상에서의 상 크기는 r2 ≡ r(θ2)로 주어진다. 이때 바람직한 상 크기는 수학식 73으로 주어진다. 바람직하게 실상(3533)은 이미지 센서면(3513)의 왼쪽 변(3513L), 오른쪽 변(3513R) 및 아래쪽 변(3513B)에 접한다. 이와 같은 구조를 가졌을 때 영상 시스템은 이미지 센서면 상의 픽셀을 최대한 활용하면서도 실내의 천정 부근에 설치되어 사각지대 없이 실내 전체를 모니터링할 수 있다.
도 36은 광각 렌즈보다 화각이 더 큰 초광각 렌즈를 사용하여 실내 전체를 모니터링하는 영상 시스템(3600)의 바람직한 설치 상태의 개념도이다. 통상적인 광각 렌즈보다 휠씬 큰 화각을 갖는 초광각 렌즈를 사용한다면 굳이 도 34에서와 같이 카메라를 사선방향으로 설치하지 않더라도 실내전체를 포착할 수 있다.
자연스러운 전방위 영상을 얻기 위해서는 영상 획득 수단(3610)의 광축(3601)이 지면에 평행하여야 한다. 또한, 감시 카메라는 사람의 손이 미치지 않는 높은 장소에 설치되어야 한다. 따라서 도 36에 도시한 바와 같이 천정 아래 높은 장소에 설치하되 광축이 지면에 평행하여야 한다. 그런데 이와 같이 설치한다면 통상적으로는 화면의 절반을 천정이 차지하게 될 것이며, 정작 모니터링해야 하는 천정 아래의 영역은 화면의 일부만을 차지하게 된다. 따라서 도 35에서와 같은 센서면의 배치를 통하여 수직 방향의 화각이 비대칭이 되도록 할 필요가 있다. 또한, 카메라가 수평으로 설치되므로 조명(3671)이 카메라의 시야 범위(3663)에 포함될 수 있다. 이와 같이 강한 직사광선(3673)이 카메라에 포착되면 영상이 만족스럽지 않으므로 도 36에 도시한 바와 같이 지평선 윗부분의 시야를 가리는 커버(3675)가 유용할 수 있다.
이와 같은 물리적인 환경하에서 본 발명의 제 1 내지 제 2 실시예와 같은 수평 화각 180° 내외의 전방위 영상을 얻을 수 있으며, 수직 방향의 화각은 비대칭이 되도록 한다. 또한, 수직 방향의 화각이 60°내외의 표준 화각에 가까울 때에는 원통형 투사 방식을 쓰는 것이 바람직하며, 화각이 클 때에는 메카토르 투사 방식이 바람직하다. 한편, 천정이나 바닥 등에 감시의 사각 지대가 절대로 있어서는 안 되는 응용예에서는 등직교 투사 방식을 쓸 수 있다. 이때는 수평 방향의 화각과 수직 방향의 화각이 모두 180°가 될 것이다.
<실시예 4>
도 37은 일반적인 자동차용 후방 카메라(3710)의 개념도이다. 자동차용 후방 카메라인 경우에 화각 150°이상으로 비교적 광각의 렌즈를 사용하며, 렌즈의 광축은 도 37에 도시한 바와 같이 지면(3717)에 대하여 기울게 설치하는 것이 보통이다. 이와 같이 설치함으로써 후진시에 주차선을 용이하게 인식할 수 있다. 또한, 렌즈면이 지면을 바라보는 방향으로 배치되므로 먼지 등이 침착되지 않고, 비나 눈에도 어느 정도 보호가 된다.
본 발명의 제 4 실시예의 영상 획득 수단(3710)은 승용차의 트렁크 상단에 설치하고, 광축은 지면에 대하여 소정의 각도를 이루는 것이 바람직할 것이다. 또한, 렌즈는 화각 180°이상의 등거리 투사 방식의 어안 렌즈가 가장 바람직하고, 영상 표시 수단은 운전석 옆자리에 설치하는 것이 바람직할 것이다.
이와 같이 광축이 지면에 대하여 기울게 설치된 광각 카메라에서도 본 발명의 제 1 내지 제 2 실시예에 나타낸 바와 같은 전방위 영상을 얻을 수 있다. 본 실시예에서의 세계 좌표계는 영상 시스템(3710)의 마디점 N을 원점으로 하고 지면(3717)에 수직한 수직선을 Y-축으로 하며, Z-축은 자동차(3751)의 차축에 평행하다. 오른손 좌표계의 규칙에 따라서 X-축은 도 37에서 지면을 뚫고 들어가는 방향이다. 따라서 렌즈의 광축이 지평선 아래로 각도 α만큼 기울어져 있다면, 카메라에 고정된 좌표계는 세계 좌표계에 대하여 X-축을 중심으로 각도 α만큼 회전한 상태가 된다. 이 좌표계를 제 1 세계 좌표계라 하며, 이 제 1 세계 좌표계의 세 축 을 각각 X', Y' 및 Z'-축이라 지칭한다. 도 37에서는 제 1 세계 좌표계가 세계 좌표계에 대하여 X-축을 중심으로 시계 방향으로 α만큼 회전한 것으로 보인다. 그러나 X-축의 방향을 고려하면 사실은 반시계 방향으로 α만큼 회전한 것이다. 회전 방향은 반시계 방향을 양의 방향으로 규정하므로 도 37에서 제 1 세계 좌표계는 세계 좌표계의 X-축을 중심으로 +α만큼 회전한 것이다.
이와 같은 좌표축의 회전과 관련하여 오일러(Euler) 행렬을 사용하는 것이 편리하다. 이를 위하여 삼차원 공간상의 한 물점 Q의 좌표를 다음과 같이 3차원 벡터로 표시한다.
여기서 는 3차원 공간상의 한 점 Q에 이르는 벡터를 세계 좌표계에서 표현한 것이다. 공간상의 한 점 Q를 X-축을 중심으로 각도 -α만큼 회전시킨 새로운 점의 좌표는 수학식 104로 주어지는 행렬을 벡터에 곱하여 얻을 수 있다.
마찬가지로 Y-축을 중심으로 각도 -β만큼 회전한 새로운 점의 좌표를 구하기 위해서는 수학식 105의 행렬을 사용하며, Z-축을 중심으로 각도 -γ만큼 회전한 새로운 점의 좌표를 구하기 위해서는 수학식 106의 행렬을 사용한다.
수학식 104 내지 106의 행렬은 좌표계가 고정되어 있고 공간상의 한 점이 회전한 경우를 기술할 수도 있지만, 공간상의 한 점이 고정되어 있고 좌표계가 반대 방향으로 회전한 경우도 기술할 수 있다. 이 두 경우는 수학적으로 동등하다. 따라서 도 37에서와 같이 X-축을 중심으로 좌표계가 각도 α만큼 회전한 새로운 제 1 세계 좌표계에서의 상기 한 점 Q의 좌표는 수학식 107과 같이 주어진다.
수학식 104의 회전 행렬을 이용하면 제 1 세계 좌표계 상에서의 좌표를 세계 좌표계 상의 좌표로 다음과 같이 쓸 수 있다.
도 37을 참조하여 지면에 대하여 기울게 영상 시스템이 설치되었는데, 지면에 평행한 상태의 전방위 영상을 얻고자 한다고 가정하자. 도 38은 각도 α = 30°인 경우의 광각 영상을 보여준다. 이와 같은 경우에 지평면에 평행한 상태의 전방위 영상을 얻기 위해서는 다음과 같은 알고리즘을 사용할 수 있다. 먼저, 상기 영상 시스템이 지평면에 평행하다는 가정하에 보정후 영상면의 크기와 교점의 위치, 화각 등을 전술한 실시예와 동일한 방법으로 결정한다. 따라서 보정후 영상면 상의 가로 방향의 좌표 x'' 및 세로 방향의 좌표 y''에 해당하는 가로 방향의 입사각 및 세로 방향의 입사각은 수학식 111 내지 113과 같이 주어진다.
다음으로, 이 가로 방향의 입사각 및 세로 방향의 입사각을 가지는 입사광이 상기 렌즈의 마디점을 원점으로 하고 반지름이 1인 반구 상의 물점에서 비롯되었다고 가정한다. 그러면, 이 상기 물점의 세계 좌표계 상에서의 좌표는 수학식 114 내지 116으로 주어진다.
이 물점의 제 1 세계 좌표계 상에서의 좌표는 수학식 108 내지 110으로 주어진다. 이 제 1 세계 좌표계의 X', Y' 및 Z'-축은 각각 제 1 직교 좌표계의 x, y 및 z-축과 평행하다. 따라서 제 1 실시예에서와 동일한 방법으로 입사광의 천정각과 방위각은 수학식 117 내지 118로 주어진다.
마지막으로 이러한 천정각과 방위각을 갖는 센서면 상의 제 1 점의 위치를 제 1 내지 제 2 실시예와 동일한 방법으로 구할 수 있다.
전술한 실시예에서와 마찬가지로 모든 이미지 센서 및 디스플레이 수단이 이산화되어 있다는 사실을 고려하면 영상 처리 과정은 다음과 같은 수식들을 사용하여야 한다. 제 1 내지 제 2 실시예에서와 동일한 일련의 사전 작업이 완료되면, 바람직한 보정후 영상면의 크기와 제 3 교점의 위치(Io, Jo)를 정하고, 상기 보정후 영상면 내의 모든 픽셀 (I, J)에 대하여 수학식 119 내지 120으로 주어지는 가로 방향의 입사각 ψJ 및 세로 방향의 입사각 δI를 계산한다.
이 가로 방향의 입사각과 세로 방향의 입사각으로부터 세계 좌표계에서의 가상적인 물점의 좌표를 수학식 121 내지 123을 사용하여 구한다.
이 세계 좌표계 상의 물점의 좌표로부터 제 1 세계 좌표계에서의 물점의 좌표를 수학식 124 내지 126을 사용하여 구한다.
이 좌표로부터 입사광의 천정각 θI,J 및 방위각 ΦI,J를 수학식 127 내지 128을 사용하여 구한다.
다음으로, 수학식 129를 사용하여 이미지 센서면 상에서의 상 크기 rI ,J를 구한다.
보정전 영상면 상에서의 제 2 교점의 위치 (Ko, Lo) 및 확대율 g를 사용하여 보정전 영상면 상에서의 제 2 점의 위치를 구한다.
이와 같이 대응하는 제 2 점의 위치를 찾았으면 제 1 내지 제 2 실시예에서와 마찬가지의 보간법을 사용하여 전방위 영상을 구할 수 있다.
도 39는 이와 같은 방법을 사용하여 구한 전방위 영상이며, 투사 방식은 원통형 투사 방식을 사용하였다. 도 39에서 알 수 있는 바와 같이 광축이 지면에 평행하지 않음에도 불구하고 본 발명의 제 1 실시예와 동일한 전방위 영상을 얻었음을 알 수 있다. 이와 같은 전방위 영상 시스템을 후방 카메라로 사용함으로써 사 각 지대 없이 자동차 후면을 모두 모니터링할 수 있다.
이와 같은 영상 시스템을 후방 카메라로 사용할 경우에 한 가지 주의할 점은 후방 카메라와 같이 장치, 즉 자동차의 진행 방향과 영상 획득 수단의 광축의 방향이 정 반대인 경우에는 제 1 내지 제 4 실시예의 방법으로 추출한 광각 영상을 운전자에게 그대로 보여주면 혼란을 일으킬 수 있다는 점이다. 후방 카메라는 자동차의 뒤쪽을 향하고 있으므로 자동차의 오른쪽 후미는 후방 카메라의 영상에서 왼쪽으로 보이게 된다. 그런데 이 영상을 운전자는 자신이 향하고 있는 방향, 즉 자동차 앞쪽을 바라보는 방향에서의 왼쪽이라고 착각을 일으킬 수 있기 때문에 사고의 위험성이 있다. 이와 같은 착각을 불러일으키지 않기 위해서는 후방 카메라로 포착한 영상을 운전자에게 디스플레이할 경우에 영상의 좌·우를 바꾸어 주는 것이 필요하다. 이와 같이 영상의 좌우를 바꾼 반전된 보정후 영상면 상의 좌표 (I, J)를 가지는 픽셀의 신호값 S'(I, J)는 보정후 영상면 상의 좌표 (I, Jmax - J + 1)를 가지는 픽셀의 신호 S(I, Jmax - J + 1)와 동일하다.
한편, 동일한 시스템이 자동차의 룸미러 근처나 혹은 자동차의 앞범퍼 혹은 라디에이터 그릴 주위에 설치되어 주행상황을 기록하는 차량용 블랙 박스(black box)에 연결되는 기록용 카메라로 사용될 수도 있다.
본 실시예에서는 자동차용 후방 카메라를 예를 들어 기술하였으나, 이 실시 예의 발명이 단지 자동차용 후방 카메라에만 적용할 수 있는 것이 아님은 자명하다.
<실시예 5>
대형 버스나 트럭인 경우에는 차량의 후미뿐만 아니라 측면도 모니터링 할 필요가 있다. 이와 같은 측면 모니터링 영상 시스템은 특히 좁은 골목에서 회전을 할 때 유용할 것이며, 고속 도로상에서 차선 변경을 할 때에도 유용하다. 또, 버스의 승하차 사고를 방지하기 위한 승객 모니터링용으로도 적합하다. 도 40은 이와 같은 장치의 개념도이며, 하늘에서 내려다보는 평면도이다. 상기 차량(4051)의 정면과 후면 및 양 측면 벽의 상단에 본 발명의 영상 획득 수단, 즉 화각 180°이상의 등거리 투사 어안 렌즈가 장착된 비디오 카메라를 설치하면, 각각의 카메라가 한쪽 벽에서 사각지대 없이 180°를 모니터링하므로 전체적으로 아무런 사각 지대 없이 차량의 외곽을 모두 모니터링할 수 있다. 또한, 동일한 방식으로 건물 외벽에 본 발명의 영상 시스템을 설치하여 사각지대 없이 모든 방향을 모니터링할 수 있다. 카메라의 광축은 본 발명의 제 1 내지 제 3 실시예와 같이 지면에 평행할 수도 있으며, 제 4 실시예에서와 같이 소정의 각도를 가질 수도 있다.
<실시예 6>
도 41은 이미지 센서면의 세로변이 지면에 수직하지 않은 경우가 발생하는 응용예를 보여준다. 도 41의 오토바이(4151)에 주행 기록용으로 광각 카메 라(4110)를 설치하였다고 하면, 이미지 센서면의 세로변은 지면(4117)에 수직하지 않을 수 있다. 도 41에서는 지면에 고정된 세계 좌표계의 X-축과 오토바이에 고정된 제 1 직교 좌표계의 x-축이 각도 γ만큼 차이가 나는 경우를 도시하였다. 특히 오토바이가 주행중 방향을 변경하기 위해서는 그쪽으로 오토바이를 기울여야만 하므로 이와 같은 상황은 불가분하게 일어난다. 파도가 심한 바다에 떠있는 선박이나 곡예 비행을 하는 항공기 혹은 무인 항공기에서도 마찬가지의 상황이 발생한다. 또한, 자동차의 경우에도 심하게 경사진 도로에서 동일한 상황이 발생한다.
도 42는 이미지 센서의 세로변이 수직선에 대하여 20°만큼 기울어져 있는 영상 시스템으로 포착한 가상의 어안 영상이다. 한편, 도 43은 도 42의 영상으로부터 본 발명의 제 1 실시예의 원통형 투사 방식을 따르는 전방위 영상을 추출한 것이다. 도 43에서 알 수 있는 바와 같이 영상이 대단히 부자연스럽게 보이는 것을 알 수 있다. 이것은 제 1 내지 제 2 실시예는 이미지 센서면의 세로변에 평행한 직선을 직선으로 포착하는 영상 시스템이기 때문이며, 따라서 수직선과 이미지 센서의 세로변이 평행하지 않으면 바람직한 전방위 영상을 얻을 수 없다.
도 44는 본 발명의 제 6 실시예에서 이미지 센서면(4413) 상에서의 바람직한 실상(4433)의 크기와 위치를 설명하기 위한 개념도이다. 본 실시예에 적합한 어안 렌즈는 등거리 투사 방식을 따르는 화각 180°이상의 어안 렌즈이다. 또한, 어안 렌즈의 광축과 이미지 센서면과의 교점 Ｏ는 이미지 센서면의 정 중앙에 위치한다. 따라서 가로 방향의 좌표의 범위는 (-B/2 ≤ x ≤ B/2)이고, 세로 방향의 좌표의 범위는 (-V/2 ≤ y ≤ V/2)이다.
이 어안 렌즈의 최대 화각을 2θ2라고 하면, 최대 천정각을 갖는 입사광의 이미지 센서면 상에서의 상 크기는 r2 ≡ r(θ2)로 주어진다. 이때 바람직한 상 크기는 수학식 133으로 주어진다.
따라서 실상(4433)은 이미지 센서면(4413)의 위쪽 변(4413T) 및 아래쪽 변(4413B)에 접한다. 이와 같은 구조를 가졌을 때 영상 시스템이 지면에 대하여 어떤 각도로 기울어져 있다고 하더라도 항상 똑같은 가로 방향의 화각을 구현할 수 있다.
도 45는 본 발명의 제 6 실시예의 개념도이며, 영상 획득 수단(image acquisition means: 4510)과 영상 처리 수단(image processing means: 4516) 및 영상 표시 수단(image display means: 4517)에 더불어 방향 지시 수단(direction sensing mean: 4561)을 포함하는 장치이다. 상기 방향 지시 수단(4561)은 상기 영상 획득 수단을 기술하는 제 1 직교 좌표계와 영상 시스템 주위의 피사체를 기술하는 세계 좌표계 사이의 기울어진 각도 γ를 알려주는 수단이다. 여기서 각도 γ는 세계 좌표계 상의 X-축과 제 1 직교 좌표계 상의 x-축간의 기울어진 각도, 혹은 세계 좌표계 상의 Y-축과 제 1 직교 좌표계 상의 음(-)의 y-축간의 기울어진 각도이다. 상기 방향 지시 수단은 화상 휴대폰이나 디지털 카메라에도 거의 모두 내장될 만큼 보편화되었으므로 자세한 기술을 생략한다. 본 발명의 제 6 실시예의 장치는 상기 방향 지시 수단에서 얻은 각도 γ를 사용하여 세계 좌표계상의 Y-축을 기준으로 하는 전방위 영상을 제공하는 데에 그 특징이 있다.
도 46을 참조하면 보정후 영상면(4635) 상의 제 3 점 P''은 직교 좌표 (x'', y'')을 가진다. 그런데 이 제 3 점의 좌표는 만약 보정후 영상면의 세로변이 세계 좌표계의 Y-축에 평행했다면 다음의 수학식 134로 주어지는 가로 방향의 좌표 x''' 및 수학식 135로 주어지는 세로 방향의 좌표 y'''을 가졌을 것이다.
그러므로 이 제 3 점에 대응하는 입사광의 가로 방향의 입사각 및 세로 방향의 입사각은 각각 수학식 136 및 수학식 137로 주어져야 한다.
따라서 이상적인 투사 방식을 가지는 보정후 영상면 상의 제 3 점의 신호값은 수학식 136으로 주어지는 가로 방향의 입사각(즉, 경도값)과 수학식 137로 주어 지는 세로 방향의 입사각(즉, 위도값)을 가지는 물체면 상의 물점으로부터 비롯된 광선이 이미지 센서면 상에 형성한 상점의 신호값이어야 한다. 이러한 입사광의 천정각 θ는 수학식 138과 같이 주어지며, 방위각은 수학식 139와 같이 주어지고, 상 크기는 수학식 140으로 주어진다.
이와 같은 천정각과 방위각을 가지는 물점에 대응하는 상점은 좌표축이 Y-축에 대하여 각도 γ만큼 회전한 제 2 직교 좌표계에서 수학식 141 내지 142와 같이 주어지는 2차원 직교 좌표를 가진다.
따라서 이와 같은 직교 좌표를 가지는 보정전 영상면 상에서의 신호값을 보 정후 영상면 상의 제 3 점의 신호값으로 대입하면 된다.
전술한 실시예에서와 마찬가지로 모든 이미지 센서 및 디스플레이 수단이 이산화되어 있다는 사실을 고려하면 영상 처리 과정은 다음과 같은 수식들을 사용하여야 한다. 제 1 내지 제 5 실시예에서와 동일한 일련의 사전 작업이 완료되면, 바람직한 보정후 영상면의 크기와 제 3 교점의 위치(Io, Jo)를 정하고, 상기 보정후 영상면 내의 모든 픽셀 (I, J)에 대하여 수학식 143 내지 144로 주어지는 가로 방향의 입사각 ψI,J 및 세로 방향의 입사각 δI,J를 계산한다.
이 가로 방향의 입사각과 세로 방향의 입사각으로부터 세계 좌표계에서의 입사광의 천정각 θI,J 및 방위각 ΦI,J를 수학식 145 내지 146을 사용하여 구한다.
다음으로, 수학식 147을 사용하여 이미지 센서면 상에서의 상 크기 rI ,J를 구한다.
다음으로, 보정전 영상면 상에서의 제 2 교점의 위치 (Ko, Lo) 및 확대율 g를 사용하여 보정전 영상면 상에서의 제 2 점의 위치를 구한다.
이와 같이 대응하는 제 2 점의 위치를 찾았으면 제 1 내지 제 3 실시예에서와 마찬가지의 보간법을 사용하여 전방위 영상을 구할 수 있다.
본 실시예에서의 입사각의 단조증가 함수 F(δ)의 바람직한 실시예는 수학식 97, 99 내지는 101과 같이 주어질 수 있다. 도 47은 이와 같은 방법을 사용하여 구한 전방위 영상이며, 투사 방식은 수학식 97로 주어지는 원통형 투사 방식을 사용하였다. 도 47에서 알 수 있는 바와 같이 수직선이 각도 γ만큼 기울어진 직선 으로 표시되고 있는 것을 알 수 있다. 이와 같은 전방위 영상은 사용자에게 수직 방향에 대한 정확한 피드백을 포함하는 만족스러운 전방위 영상을 제공한다.
<실시예 7>
항공기의 경우에 이륙을 하거나 착륙을 할 때, 또는 선회를 할 때 등에는 동체가 좌·우로 기울뿐만 아니라 앞·뒤로도 기울게 된다. 도 48 및 49는 이와 같은 응용예를 예시하고 있다. 영상 시스템은 항공기의 동체에 평행하게 설치되어 있다고 가정한다. 본 실시예에서의 세계 좌표계는 영상 시스템의 마디점을 원점으로 하고 지면에 수직한 수직선을 Y-축으로 하며, 항공기가 수평을 유지하고 있을 때에 항공기가 향하는 방향이 Z-축이다. 그런데 항공기가 앞으로 각도 α만큼 기울어져 있다면, 항공기에 고정된 좌표계는 세계 좌표계에 대하여 X-축을 중심으로 각도 α만큼 회전한 상태가 된다. 이 좌표계를 제 1 세계 좌표계라 하며, 이 제 1 세계 좌표계의 세 축을 각각 X', Y' 및 Z'-축이라 지칭한다. 한편, 도 49에 도시한 바와 같이 이 항공기가 좌·우로도 각도 γ만큼 기울었다면 항공기에 고정된 좌표계는 제 1 세계 좌표계에 대하여 Z'-축을 중심으로 각도 γ만큼 회전한 상태가 된다. 이 좌표계를 제 2 세계 좌표계라 하며, 이 제 2 세계 좌표계의 세 축을 각각 X'', Y'' 및 Z''-축이라 지칭한다.
이와 같은 좌표축의 회전과 관련하여 제 4 실시예에서와 마찬가지로 오일러 행렬을 사용하는 것이 편리하다. 도 48에서와 같이 X-축을 중심으로 좌표계가 각도 α만큼 회전한 새로운 제 1 세계 좌표계에서의 상기 한 점의 좌표는 수학식 150 과 같이 주어진다.
한편, 도 49를 참조하면 제 2 세계 좌표계는 제 1 세계 좌표계의 Z'-축을 중심으로 각도 γ만큼 회전한 좌표계이다. 따라서 상기 한 점의 제 2 세계 좌표계에서의 좌표는 수학식 151과 같이 주어진다.
여기서 Z'-축을 중심으로 각도 γ만큼 회전하는 작용은 Z-축을 중심으로 각도 γ만큼 회전하는 작용과 전혀 다른 작용이다. 그런데 오일러 회전 행렬을 이용하면 제 1 세계 좌표계의 축을 중심으로 하는 회전 행렬을 세계 좌표계 상의 회전 행렬로 다음과 같이 쓸 수 있다.
따라서 수학식 151은 다음과 같이 간단하게 표현된다.
수학식 104와 수학식 106의 회전 행렬을 이용하면 제 2 세계 좌표계 상에서의 좌표를 세계 좌표계 상의 좌표로 다음과 같이 쓸 수 있다.
도 48 내지 도 49를 참조하여 항공기의 동체 방향과 평행하게 영상 시스템이 설치되었는데, 항공기의 지면에 대한 기울기와 상관없이 항상 지면에 평행한 상태의 전방위 영상을 얻고자 한다고 가정하자. 이와 같은 상황은 항공기가 이륙이나 착륙, 혹은 선회를 할 때에도 항상 지평선 근처를 모니터링할 필요가 있을 경우에 유용할 것이다. 또한, 오토바이나 선박에서도 동일한 수요가 있을 수 있으며, 또한 요격 미사일과 같은 군사적인 목적으로도 항상 지평선 근처의 전방을 모니터링할 필요가 있을 것이다.
광각 영상 시스템이 도 48에서와 같이 항공기나 선박과 같은 장치의 동축에 평행하게 장착되어 있다면 이러한 어안 렌즈로 찍은 영상으로부터 제 1 내지 제 6 실시예의 방법으로는 전방위 영상을 추출할 수 없다. 도 50은 각도 α = 30°이고, 각도 γ = 40°인 경우의 광각 영상을 보여준다.
이와 같은 경우에 장치의 기울기에 상관없이 항상 지평면에 평행한 상태의 전방위 영상을 얻기 위해서는 다음과 같은 알고리즘을 사용할 수 있다. 먼저, 이러한 시스템에서는 제 6 실시예에서와 마찬가지로 방향 지시 수단이 필요하며, 이 방향 지시 수단은 두 각도 α 및 γ를 영상 처리 수단에 제공하여야 한다.
상기 장치가 지평면에 평행하다는 가정하에 보정후 영상면의 크기와 교점의 위치, 화각 등을 종래의 실시예와 동일한 방법으로 결정한다. 따라서 보정후 영상면 상의 가로 방향의 좌표 x'' 및 세로 방향의 좌표 y''에 해당하는 가로 방향의 입사각 및 세로 방향의 입사각은 수학식 157 내지 159와 같이 주어진다.
다음으로, 이 가로 방향의 입사각 및 세로 방향의 입사각을 가지는 입사광이 상기 렌즈의 마디점을 원점으로 하고 반지름이 1인 반구 상의 물점에서 비롯되었다고 가정한다. 그러면, 이 상기 물점의 세계 좌표계 상에서의 좌표는 수학식 160 내지 162로 주어진다.
이 물점의 제 2 세계 좌표계 상에서의 좌표는 수학식 154 내지 156으로 주어진다. 이 제 2 세계 좌표계의 X'', Y'' 및 Z''-축은 각각 제 1 직교 좌표계의 x, y 및 z-축과 평행하다. 따라서 제 1 실시예에서와 동일한 방법으로 입사광의 천정각과 방위각은 수학식 163 내지 164로 주어진다.
마지막으로 이러한 천정각과 방위각을 갖는 센서면 상의 제 1 점의 위치를 제 1 내지 제 4 실시예와 동일한 방법으로 구할 수 있다.
전술한 실시예에서와 마찬가지로 모든 이미지 센서 및 디스플레이 수단이 이산화되어 있다는 사실을 고려하면 영상 처리 과정은 다음과 같은 수식들을 사용하여야 한다. 제 1 내지 제 4 실시예에서와 동일한 일련의 사전 작업이 완료되면, 바람직한 보정후 영상면의 크기와 제 3 교점의 위치(Io, Jo)를 정하고, 상기 보정후 영상면 내의 모든 픽셀 (I, J)에 대하여 수학식 165 내지 166으로 주어지는 가로 방향의 입사각 ψJ 및 세로 방향의 입사각 δI를 계산한다.
이 가로 방향의 입사각과 세로 방향의 입사각으로부터 세계 좌표계에서의 가상적인 물점의 좌표를 수학식 167 내지 169를 사용하여 구한다.
이 세계 좌표계 상의 물점의 좌표로부터 제 2 세계 좌표계에서의 물점의 좌표를 수학식 170 내지 172를 사용하여 구한다.
이 좌표로부터 입사광의 천정각 θI,J 및 방위각 ΦI,J를 수학식 173 내지 174를 사용하여 구한다.
다음으로, 수학식 175를 사용하여 이미지 센서면 상에서의 상 크기 rI ,J를 구 한다.
보정전 영상면 상에서의 제 2 교점의 위치 (Ko, Lo) 및 확대율 g를 사용하여 보정전 영상면 상에서의 제 2 점의 위치를 구한다.
이와 같이 대응하는 제 1 점의 위치를 찾았으면 제 1 내지 제 2 실시예에서와 마찬가지의 보간법을 사용하여 전방위 영상을 구할 수 있다.
본 실시예에서의 입사각의 단조증가 함수 F(δ)의 바람직한 실시예는 수학식 97, 99 내지는 101과 같이 주어질 수 있다. 도 51은 이와 같은 방법을 사용하여 구한 전방위 영상이며, 투사 방식은 수학식 101로 주어지는 메카토르 투사 방식을 사용하였다. 도 51에서 알 수 있는 바와 같이 수직선이 수직선으로 표시되고 있는 것을 알 수 있다.
실시예 4는 실시예 7의 특수한 경우임을 알 수 있다. 즉, 실시예 7에서 각도 γ = 0°인 경우가 실시예 4이다.
<실시예 8>
도 52는 본 발명의 제 8 실시예에 따른 물체면의 개념을 보여준다. 본 실시예에서는 관찰자를 중심으로 360°모든 방향의 영상을 획득하기 위하여 광각 렌즈를 사용하며, 광각 렌즈의 광축(5201)은 지면에 수직한 것이 바람직하다. 또 광각 렌즈는 등거리 투사 방식의 어안 렌즈뿐만 아니라 도 53에 제시된 평사투영 방식의 굴절식 어안 렌즈 혹은 도 54에 제시된 평사투영 방식의 반사 굴절식 어안 렌즈나 도 1에 도시한 반사굴절식 전방위 렌즈 등 광축을 중심으로 회전대칭형인 모든 렌즈를 사용할 수 있다. 도 53 내지 도 54의 렌즈의 완전한 설계도는 참고문헌 15에 제시되어 있다.
본 실시예에서는 렌즈의 마디점 N을 중심으로 하는 반경 S의 천구(5230)를 가정한다. 이 천구에 지평면(5217), 즉 X-Y 평면에서 위도각 χ를 가지는 모든 점(5209)들을 표시하면, 이 점들은 천구상에 소원(small circle: 5239)을 형성한다. 이 천구와의 접점(tangent point)이 상기 소원인 원추(cone)를 추가로 가정한다. 그러면 이 원추의 꼭지점의 편각도 χ이며, 이 원추의 회전 대칭축은 Z-축과 일치한다. 이하에서는 이 꼭지점의 편각을 기준각(reference angle)이라고 지칭한다.
도 55는 상기 원추의 Z-축을 포함하는 한 입사면에서의 단면을 보여준다. 상기 원추 상의 한 물점(5504)은 상기 렌즈의 마디점 N과 상기 접점(5509)을 잇는 선분을 기준으로 들림각(elevation angle) μ를 가진다. 본 실시예의 전방위 영상 시스템은 상기 접점을 기준으로 들림각 μ1 내지 μ2의 범위를 가지는 원추면을 물체면(5531)으로 하는 영상 시스템이다.
상기 물체면 상의 물점(5504)에서 비롯되는 입사광의 들림각과 방위각은 다음과 같은 방법으로 구할 수 있다. 제 1 실시예에서와 같이 세계 좌표계 상의 원점 N에서 물체면 상의 상기 물점(5504)에 이르는 벡터 (vector)를 과 같이 쓸 수 있다. 이 벡터의 방향은 입사광의 입사 방향과 정 반대 방향이며, 상기 벡터는 세계 좌표계에서 수학식 178과 같이 쓸 수 있다.
수학식 178에서 =(1,0,0)는 X-축 방향으로의 단위 벡터이며, 마찬가지로 = (0,1,0) 및 =(0,0,1)는 Y-축 및 Z-축 방향으로의 단위 벡터이고, 은 상기 벡터의 방향 벡터이며, R은 상기 벡터의 크기이다. 그러면 직교 좌표와 구면 극 좌표계의 변수 사이에 다음과 같은 관계식이 성립한다.
따라서 수학식 179 내지 181을 이용하면 물점의 직교 좌표 (X, Y, Z)로부터 입사광의 천정각 θ 및 방위각 φ를 구할 수 있다.
또한, 도 55를 참조하면 입사광의 천정각 θ와 들림각 μ는 다음의 수학식 184를 만족한다.
도 56은 본 발명의 제 8 실시예에 따른 보정전 영상면의 개념도이며, 도 57은 보정후 영상면의 개념도이다. 도 57에 표시한 바와 같이 보정후 영상면의 크기는 가로변의 길이가 W이며, 세로변의 길이가 H이다. 보정후 영상면에서 기준점 Ｏ''은 이전의 실시예에서와 같이 광축과 센서면의 교점에 대응하지 않고, 상기 소원(5239)과 X-Z 평면(기준면)과의 교점에 대응한다. 상기 기준점의 좌표는 (x''o, y''o)이다. 또한, 상기 기준점에서 보정후 영상면 상의 제 3 점 P''까지의 가로 방향의 길이는 상기 물점(5504)의 방위각에 비례하며, 세로 방향의 길이는 들림각 μ에 대한 원점을 지나는 단조 함수 G(μ)에 비례한다. 상기 보정후 영상면에서의 세로 방향의 길이가 물체면 상에서의 세로 방향의 길이에 비례하도록 하면 상기 단조 함수는 수학식 185와 같이 주어진다.
수학식 185는 본 발명의 제 1 실시예에서와 같이 기하학적인 의미를 갖는다.
상기 접점(5509)에서 광축까지의 거리, 즉 축상 반경(5537)은 Scosχ로 주어진다. 본 실시예에서는 이 거리를 물체면의 반경으로 가정한다. 따라서 물체면의 가로변의 길이는 다음의 수학식 186을 만족하여야 하며, 여기서 c는 비례 상수이다.
또한, 상기 들림각의 범위를 고려하면 수학식 187의 관계식을 만족하여야 한다.
따라서 수학식 188의 관계식이 성립하여야 한다.
여기서 B는 상수이다. 한편, 또 다른 단조 함수 F(μ)를 수학식 189와 같이 정의한다.
따라서 수학식 188 내지 189로부터 수학식 190을 얻을 수 있다.
수학식 185, 189 및 190으로부터 다음의 수학식을 얻을 수 있다.
따라서 상기 제 3점에 해당하는 들림각은 수학식 192와 같이 주어진다.
또한, 입사광의 들림각으로부터 천정각을 용이하게 구할 수 있다.
한편 상기 제 3 점에 대응하는 방위각은 수학식 194와 같이 주어진다.
따라서 수학식 190 내지 194를 이용하여 보정후 영상면 상의 제 3점에 대응하는 입사광의 천정각과 방위각을 구할 수 있으며, 이를 이용하여 전술한 실시예에서와 같이 영상 처리를 할 수 있다.
전술한 실시예에서와 마찬가지로 모든 이미지 센서 및 디스플레이 수단이 이산화되어 있다는 사실을 고려하면 영상 처리 과정은 다음과 같은 수식들을 사용하여야 한다. 먼저, 보정후 영상면의 크기 (Imax, Jmax)와 기준점의 위치 (Io, Jo) 및 상기 원추면의 꼭짓점의 편각, 즉 기준각 χ를 설정한다. 본 실시예에서 기준각 χ는 -90°보다는 크고 90°보다는 작은 값을 갖는다. 그러면 상기 상수 A는 수학식 195와 같이 주어진다.
이와 같이 분자로 Jmax - 1을 사용하면 보정후 영상면의 제 1열(즉, J = 1인 열)과 마지막 열(즉, J = Jmax인 열)은 같은 정보를 표시하게 된다. 360°를 표현하는 전방위 영상에서는 왼쪽 변과 오른쪽 변이 일치하는 것이 자연스럽다. 그러나 이와 같은 정보의 중복 표시를 원하지 않는다면 수학식 195에서 분자를 Jmax로 하면 된다. 다음으로, 상기 보정후 영상면 내의 모든 픽셀 (I, J)에 대하여 수학식 196 내지 197로 주어지는 들림각 μI 및 방위각 φJ를 계산한다.
한편, 입사광의 천정각은 수학식 198로 주어진다.
수학식 199를 사용하여 이미지 센서면 상에서의 상 크기 rI를 구한다.
다음으로, 보정전 영상면 상에서의 제 2 교점의 위치 (Ko, Lo) 및 확대율 g를 사용하여 보정전 영상면 상에서의 제 2 점의 위치를 구한다.
이와 같이 대응하는 제 2 점의 위치를 찾았으면 제 1 내지 제 3 실시예에서와 마찬가지의 보간법을 사용하여 전방위 영상을 구할 수 있다. 이와 같은 보정후 영상면은 수학식 202 혹은 203의 관계식을 만족한다.
도 58은 이와 같은 방법으로 도 26의 영상으로부터 추출한 전방위 영상으로서 보정후 영상면의 가로변의 길이는 Jmax = 720 픽셀이고, 세로변의 길이는 Imax = 120 픽셀이며, 기준점의 위치는 (Io = 1, Jo = 1)이며, 기준각은 χ = 0이다. 한편, 도 59에서 기준점의 위치는 (Io = 60.5, Jo = 1)이며, 기준각은 χ = 45°이고, 수학식 185로 주어지는 함수를 사용하였다. 도 58 내지 59로부터 자연스러운 전방위 영상을 얻을 수 있음을 알 수 있다.
<실시예 9>
도 60은 본 발명의 제 9 실시예에 따른 물체면의 개념을 보여준다. 본 발명의 제 9 실시예와 제 8 실시예의 차이점은 제 8 실시예에서는 천구에 접하는 원추를 물체면으로 하는데 반하여, 제 9 실시예에서는 천구 자체를 물체면으로 한다는 점이다. 그외의 점은 대부분 동일하다. 제 9 실시예에서도 렌즈의 마디점 N을 중심으로 하는 반경 S의 천구(6030)를 가정한다. 이 천구에 지평면, 즉 X-Y 평면에서 위도각 χ를 가지는 모든 점들을 표시하면, 이 점들은 천구상에 소원을 형성한다. 이 소원을 기준으로 입사광의 들림각 μ를 측정하며, 입사광의 천정각 θ와 들림각 μ는 다음의 수학식 204를 만족한다.
본 발명의 제 9 실시예에 따른 보정전 영상면의 개념도는 도 56과 동일하며, 보정후 영상면의 개념도는 도 57과 동일하다. 도 57에 표시한 바와 같이 보정후 영상면의 크기는 가로변의 길이가 W이며, 세로변의 길이가 H이다. 보정후 영상면에서 기준점 Ｏ''은 상기 소원과 X-Z 평면(기준면)과의 교점에 대응한다. 상기 기준점의 좌표는 (x''o, y''o)이다. 또한, 상기 기준점에서 보정후 영상면 상의 제 3 점 P''까지의 가로 방향의 길이는 상기 물점(6004)의 방위각에 비례하며, 세로 방향의 길이는 상기 접점(6009)에서 상기 물점(6004)까지의 들림각 μ에 대한 원점을 지나는 임의의 단조 함수 F(μ)에 비례한다. 상기 단조 함수는 본 발명의 제 2 실시예에서와 유사하게 수학식 205나 수학식 206과 같이 주어질 수 있다.
본 실시예에서의 물체면의 반경은 천구의 반지름으로 가정한다. 따라서 물체면의 가로변의 길이는 다음의 수학식 207을 만족하여야 하며, 여기서 c는 비례 상수이다.
또한, 상기 들림각의 범위를 고려하면 수학식 208의 관계식을 만족하여야 한다.
따라서 수학식 209의 관계식이 성립하여야 한다.
따라서 상기 제 3 점에 해당하는 들림각은 수학식 210과 같이 주어진다.
또한, 입사광의 들림각으로부터 천정각을 용이하게 구할 수 있다.
본 실시예에서 기준각 χ는 -90°보다는 크고 90°보다는 작은 값을 갖는다. 한편 상기 제 3 점에 대응하는 방위각은 수학식 212와 같이 주어진다.
따라서 수학식 208 내지 212를 이용하여 보정후 영상면 상의 제 3 점에 대응하는 입사광의 천정각과 방위각을 구할 수 있으며, 이를 이용하여 전술한 실시예에서와 같이 영상 처리를 할 수 있다.
전술한 실시예에서와 마찬가지로 모든 이미지 센서 및 디스플레이 수단이 이산화되어 있다는 사실을 고려하면 영상 처리 과정은 다음과 같은 수식들을 사용하여야 한다. 먼저, 보정후 영상면의 크기 (Imax, Jmax)와 기준점의 위치 (Io, Jo) 및 상기 기준각 χ를 설정한다. 그러면 상기 상수 A는 수학식 213 혹은 214로 주어진다.
수학식 213에서와 같이 분자로 Jmax - 1을 사용하면 보정후 영상면의 제 1열과 마지막 열은 같은 정보를 표시하게 되며, 수학식 214에서와 같이 분자를 Jmax로 하면 모든 열이 다른 방위각에 대응된다. 다음으로, 상기 보정후 영상면 내의 모든 픽셀 (I, J)에 대하여 수학식 215 내지 216으로 주어지는 들림각 μI 및 방위각 φJ를 계산한다.
한편, 입사광의 천정각은 수학식 217로 주어진다.
수학식 218을 사용하여 이미지 센서면 상에서의 상 크기 rI를 구한다.
다음으로, 보정전 영상면 상에서의 제 2 교점의 위치 (Ko, Lo) 및 확대율 g를 사용하여 보정전 영상면 상에서의 제 2점의 위치를 구한다.
이와 같이 대응하는 제 2점의 위치를 찾았으면 제 1 내지 제 2 실시예에서와 마찬가지의 보간법을 사용하여 전방위 영상을 구할 수 있다.
이와 같은 보정후 영상면은 수학식 221 혹은 222의 관계식을 만족한다.
본 실시예에서의 들림각의 단조증가 함수 F(μ)의 바람직한 실시예는 수학식 97, 99 내지는 101과 같이 주어질 수 있다. 도 61은 이와 같은 방법으로 도 26의 영상으로부터 추출한 전방위 영상으로서 수학식 99로 주어지는 등거리 투사 방식을 사용하였다. 보정후 영상면의 가로변의 길이는 Jmax = 720 픽셀이고, 세로변의 길이는 Imax = 180 픽셀이며, 기준점의 위치는 (Io = 90.5, Jo = 1)이며, 기준각, 즉 원추면의 꼭짓점의 편각은 χ = 45°이다. 한편, 도 62는 수학식 101로 주어지는 메카토르 투사 방식을 사용하였다. 특히, 도 61에서 수직 방향의 화각이 90°이므로 감시의 사각 지대가 전혀 없는 영상 시스템을 구현할 수 있다.
<실시예 10>
본 발명의 제 5 내지 제 6 실시예를 제외한 나머지의 영상 시스템은 많은 공통점을 공유하고 있다. 도 63은 본 발명의 대부분의 실시예에 공통되는 포괄적인 세계 좌표계의 개념도이다. 논의의 편의상 이를 제 10 실시예로 지칭한다. 본 발명의 제 10 실시예는 영상 획득 수단과 영상 처리 수단 및 영상 표시 수단을 포함하는 장치이며, 상기 영상 획득 수단은 광축을 중심으로 회전 대칭형인 결상용 광각 렌즈를 장착한 카메라이고, 상기 영상 처리 수단은 상기 영상 획득 수단으로 획득한 왜곡된 광각 영상에 영상 처리를 하여 전방위 영상을 추출하며, 상기 영상 표시 수단은 직사각형 모양의 화면에 상기 전방위 영상을 표시한다.
본 발명의 제 10 실시예의 세계 좌표계는 상기 렌즈의 마디점 N을 원점으로 하고 상기 원점을 지나는 수직선을 Y-축으로 한다. 여기서 수직선은 지평면, 더 정확하게는 수평면(6317)에 수직한 직선이다. 세계 좌표계의 Z-축과 X-축은 지평면에 포함된다. 상기 광각 렌즈의 광축(6301)은 일반적으로 Y-축과 일치하지 않으며, 지면에 포함될 수도 있고(즉, 지면에 평행할 수도 있고), 지면에 평행하지 않을 수도 있다. 이때 상기 Y-축과 상기 광축(6301)을 포함하는 평면(6304)을 기준면(reference plane)이라고 지칭한다. 이 기준면(6304)과 지평면(6317)과의 교선(intersection line: 6302)이 세계 좌표계의 Z-축과 일치한다. 한편, 세계 좌표계 상의 직교 좌표 (X, Y, Z)를 가지는 한 물점 Q에서 비롯되는 입사광(6305)은 지면에 대하여 고도각 δ를 가지며, 기준면에 대하여 방위각 ψ를 가진다. 상기 Y-축과 상기 입사광을 포함하는 평면이 입사면(6306)이다. 상기 입사광이 상기 기준면과 이루는 가로 방향의 입사각 ψ는 수학식 223과 같이 주어진다.
한편, 상기 입사광이 X-Z 평면과 이루는 세로 방향의 입사각(즉, 고도각) δ는 수학식 224와 같이 주어진다.
상기 입사광의 들림각 μ는 수학식 225와 같이 주어지되, 여기서 기준각 χ는 -90°보다는 크고 90°보다는 작은 값을 갖는다.
한편 상기 세계 좌표계 상의 좌표 (X, Y, Z)를 가지는 한 물점에 대응하는 상기 화면 상의 상점의 좌표를 (x'', y'')라고 하면, 상기 영상 처리 수단은 상기 입사광에 의한 상점이 상기 화면 상의 좌표 (x'', y'')에 표시되도록 영상 처리를 하되, 상기 상점의 가로 방향의 좌표 x''는 수학식 226과 같이 주어진다.
여기서 c는 비례 상수이다. 또한, 상기 상점의 세로 방향의 좌표 y''는 수학식 227로 주어진다.
여기서 F(μ)는 원점을 지나는 단조 증가 함수이다. 수학적으로는 수학식 228 내지 229를 만족함을 의미한다.
상기 함수 F는 임의의 형태를 가질 수 있지만 특히 바람직한 형태는 수학식 230 내지 232로 주어진다.
본 발명의 상세한 설명은 암묵적으로 가시광선을 기준으로 기술하였지만, 본 발명의 투사 방식은 가시광선이나 근적외선, 원적외선 뿐만 아니라 밀리미터파(millimeter wave)나 마이크로웨이브(microwave) 영역에서도 전술한 바와 같은 동일한 수학식들로 기술된다. 따라서 본 발명이 단지 가시광선을 사용하는 영상 시스템에 한정되는 것은 아니다.
본 발명의 바람직한 실시예에 대하여 첨부된 도면을 참고로 상세히 기술하였다. 하지만, 상세한 설명 및 본 발명의 실시예들은 예시적인 것에 불과하며, 본 발명의 정신 및 범위를 벗어나지 않으면서도 다양한 변화 및 수정이 가능함은 그 기술 분야의 통상의 지식을 가진 자에게 자명하다.
도 1은 종래의 반사굴절식 전방위 영상 시스템의 개념도이다.
도 2는 도 1에 도시한 반사굴절식 전방위 영상 시스템으로 포착한 펼쳐지지 않은 전방위 영상의 예시도이다.
도 3은 도 2의 펼쳐지지 않은 전방위 영상에 대응하는 펼쳐진 전방위 영상의 예시도이다.
도 4는 직선수차보정 전방위 영상 시스템에서의 물체면의 형상을 보여주는 개념도이다.
도 5는 도 4의 물체면의 형상에 대응하는 펼쳐지지 않은 전방위 영상의 개념도이다.
도 6은 이미지 센서면 상에서의 전방위 영상의 바람직한 위치와 크기를 보여주는 개념도이다.
도 7은 천구상에서의 위도와 경도의 개념도이다.
도 8은 등직교 투사 방식의 지도의 개념도이다.
도 9는 원통형 투사 방식의 개념도이다.
도 10은 원통형 투사 방식을 따르는 펼쳐진 전방위 영상의 예이다.
도 11은 원통형 투사 방식을 따르는 펼쳐진 전방위 영상의 또 다른 예이다.
도 12는 본 발명의 제 1 실시예에 따른 전방위 영상 시스템에 적합한 투사 방식을 보여주는 개념도이다.
도 13은 본 발명의 제 1 실시예에 따른 보정전 영상면의 개념도이다.
도 14는 본 발명의 제 1 실시예에 따른 전방위 영상 시스템의 개념도이다.
도 15는 본 발명의 제 1 실시예에 따른 영상 표시 수단에 표시되는 보정후 영상면의 개념도이다.
도 16은 본 발명의 제 1 실시예의 물체면의 수평 방향의 단면을 보여주는 개념도이다.
도 17은 본 발명의 제 1 실시예의 물체면의 수직 방향의 단면을 보여주는 개념도이다.
도 18은 일반적인 회전대칭형의 렌즈의 실제 투사 방식의 개념도이다.
도 19는 등거리 투사 방식의 어안 렌즈의 일 실시예의 광학적 구조와 광선의 경로를 보여주는 도면이다.
도 20은 도 19의 어안 렌즈의 실제 투사 방식을 보여주는 그래프이다.
도 21은 도 19의 어안 렌즈의 실제 투사 방식과 최소자승오차법으로 근사한 투사 방식 사이의 오차를 보여주는 그래프이다.
도 22는 보정전 영상면 상에서의 상점의 직교 좌표와 극 좌표간의 변환 관계를 보여주는 개념도이다.
도 23은 이산화된 보정후 영상면의 개념도이다.
도 24는 왜곡 보정을 이해하기 위한 이산화된 보정전 영상면의 개념도이다.
도 25는 이중선형보간법의 원리를 이해하기 위한 개념도이다.
도 26은 컴퓨터로 제작한 가상의 등거리 투사 어안 렌즈에 의한 영상의 예이다.
도 27은 도 26의 어안 영상으로부터 추출된 원통형 투사 방식의 전방위 영상이다.
도 28은 이미지 센서면 상에서의 바람직한 실상의 크기와 위치를 보여주는 개념도이다.
도 29는 어안 렌즈로 획득한 샘플 영상의 예이다.
도 30은 도 29의 영상을 얻는데 사용된 어안 렌즈의 실제 투사 방식을 보여주는 그래프이다.
도 31은 도 29의 어안 영상으로부터 추출된 원통형 투사 방식의 전방위 영상이다.
도 32는 도 26의 어안 영상으로부터 추출된 등직교 투사 방식의 전방위 영상이다.
도 33은 도 26의 어안 영상으로부터 추출된 메카토르 투사 방식의 전방위 영상이다.
도 34는 실내 전체를 모니터링하기 위하여 종래의 광각 카메라를 실내벽의 상단부에 설치한 상태의 개념도이다.
도 35는 본 발명의 제 3 실시예에 적합한 이미지 센서면 상에서의 바람직한 실상의 크기와 위치를 보여주는 개념도이다.
도 36은 실내 전체를 모니터링하기 위하여 초광각 카메라를 수평으로 설치한 상태의 개념도이다.
도 37은 본 발명의 제 4 실시예에 따른 전방위 영상 시스템을 사용하는 자동 차용 후방 카메라의 개념도이다.
도 38은 기울어진 영상 시스템에 의하여 포착된 가상적인 어안 영상의 예이다.
도 39는 도 38의 영상으로부터 추출한 본 발명의 제 4 실시예에 따른 전방위 영상의 예이다.
도 40은 본 발명의 제 1 내지 제 4 실시예의 전방위 영상 시스템을 건물이나 대형 버스 등의 차량의 외벽에 설치하여 사각지대 없이 360°모든 방향을 감시하는 영상 시스템의 개념도이다.
도 41은 세계 좌표계 상의 수직선이 제 1 직교 좌표계에서 수직선이 아닌 본 발명의 제 6 실시예에 따른 장치의 개념도이다.
도 42는 본 발명의 제 6 실시예의 기울어진 영상 시스템에 의하여 포착된 가상적인 영상의 예이다.
도 43은 도 42의 영상으로부터 제 1 실시예의 방법에 따라 추출한 전방위 영상의 예이다.
도 44는 본 발명의 제 6 실시예에 적합한 이미지 센서면 상에서의 바람직한 실상의 크기와 위치를 보여주는 개념도이다.
도 45는 본 발명의 제 6 실시예의 영상 시스템의 개념도이다.
도 46은 본 발명의 제 6 실시예에서의 제 3 직교 좌표계와 세계 좌표계의 관계를 보여주는 개념도이다.
도 47은 본 발명의 제 6 실시예에 따른 원통형 투사 방식의 전방위 영상의 예이다.
도 48 및 49는 본 발명의 제 7 실시예의 제 1 직교 좌표계와 세계 좌표계와의 관계를 보여주는 개념도이다.
도 50은 본 발명의 제 7 실시예에 따른 기울어진 영상 시스템에 의하여 포착된 가상적인 영상의 예이다.
도 51은 본 발명의 제 7 실시예에 따른 원통형 투사 방식의 전방위 영상의 예이다.
도 52는 본 발명의 제 8 실시예의 물체면의 개념도이다.
도 53은 평사투영 방식의 굴절식 어안 렌즈의 일 실시예의 광학적 구조와 광선의 경로를 보여주는 도면이다.
도 54는 평사투영 방식의 반사굴절식 어안 렌즈의 일 실시예의 광학적 구조와 광선의 경로를 보여주는 도면이다.
도 55는 본 발명의 제 8 실시예의 입사면의 개념도이다.
도 56은 본 발명의 제 8 실시예의 보정전 영상면의 개념도이다.
도 57은 본 발명의 제 8 실시예의 보정후 영상면의 개념도이다.
도 58 및 59는 본 발명의 제 8 실시예에 따른 전방위 영상의 예이다.
도 60은 본 발명의 제 9 실시예의 입사면의 개념도이다.
도 61 및 62는 본 발명의 제 9 실시예에 따른 전방위 영상의 예이다.
도 63은 본 발명의 제 10 실시예의 세계 좌표계의 개념도이다.
도 64는 본 발명의 제 10 실시예의 보정후 영상면의 개념도이다.

Claims (18)

  1. 광축을 중심으로 회전 대칭형인 결상용 광각 렌즈를 이용하여 광각 영상을 획득하는 영상 획득 수단;
    상기 광각 영상을 기초로 직사각형 모양의 전방위 영상을 생성하는 영상 처리 수단; 및
    상기 전방위 영상을 표시하는 영상 표시 수단을 포함하는 전방위 영상 획득 장치에 있어서,
    상기 전방위 영상에서 좌표 (x", y")을 가지는 상점의 신호는, 세계 좌표계 상의 좌표 (X, Y, Z)를 가지는 물점에서 비롯되는 입사광에 의한 상기 광각 영상에서의 상점의 신호로 주어지며,
    상기 세계 좌표계는, 상기 광각 렌즈의 마디점을 원점으로 하고, 상기 원점을 지나는 수직선을 Y-축으로 하며, 상기 Y-축과 상기 렌즈의 광축을 포함하는 기준면이 상기 수직선에 수직한 수평면과 만나는 교선을 Z-축으로 하되,
    상기 전방위 영상에서의 상점의 가로 방향의 좌표 x"은, 로 주어지되, 여기서 c는 비례 상수이며, ψ는 상기 물점에서 비롯되는 입사광이 상기 기준면과 이루는 가로 방향의 입사각으로 로 주어지며,
    상기 전방위 영상에서의 상점의 세로 방향의 좌표 y"은 로 주어지되, 여기서 μ는 상기 입사광의 들림각으로 로 주어지며, δ는 상기 입사광이 X-Z 평면과 이루는 세로 방향의 입사각으로 로 주어지며, χ는 -90°보다는 크고 90°보다는 작은 값을 갖는 기준각이며,
    상기 함수 F(μ)는 원점을 지나는 단조 증가 함수로서, 이고, 인 것을 특징으로 하는 전방위 영상 획득 장치.
  2. 제 1항에 있어서,
    상기 입사광의 들림각 μ의 함수 F(μ)는
    인 것을 특징으로 하는 전방위 영상 획득 장치.
  3. 제 1항에 있어서,
    상기 입사광의 들림각 μ의 함수 F(μ)는
    인 것을 특징으로 하는 전방위 영상 획득 장치.
  4. 제 1항에 있어서,
    상기 입사광의 들림각 μ의 함수 F(μ)는
    인 것을 특징으로 하는 전방위 영상 획득 장치.
  5. 회전대칭형인 광각 렌즈를 장착한 카메라의 광축 및 이미지 센서면의 가로변이 지면에 평행하도록 카메라를 설치하여 보정전 영상면을 획득하는 단계; 및
    상기 보정전 영상면을 기초로 보정후 영상면을 획득하는 영상 처리 단계를 포함하는 전방위 영상 획득 방법에 있어서,
    상기 보정전 영상면은 Kmax 행과 Lmax 열을 가지는 이차원 행렬이고, 상기 보정후 영상면은 Imax 행과 Jmax 열을 가지는 이차원 행렬이며,
    상기 보정전 영상면에서 광축의 픽셀 좌표는 (Ko, Lo)이고, 상기 보정후 영상면에서 광축의 픽셀 좌표는 (Io, Jo)이며,
    상기 보정후 영상면에서 좌표 (I, J)를 가지는 픽셀의 신호값은 상기 보정전 영상면에서 좌표 을 가지는 가상의 픽셀의 신호값으로 정해지되,
    상기 가상의 픽셀의 좌표 는 이하의 수학식
    으로 정해지며,
    여기서 는 상기 보정후 영상면에서 좌표 (I, J)를 가지는 픽셀에 대응하는 입사광의 가로 방향의 입사각으로 와 같이 주어지되, 여기서 은 J = 1에 대응하는 가로 방향의 입사각이며, 는 J = Jmax에 대응하는 가로 방향의 입사각이고,
    여기서 는 상기 입사광의 세로 방향의 입사각으로 와 같이 주어지되, 여기서 은 세로 방향의 입사각 δ에 대해 연속인 단조 증가 함수 F(δ)의 역함수이며,
    여기서 는 상기 렌즈의 실제 투사 방식으로 상 크기 r을 대응하는 입사광의 천정각 θ의 함수로 구한 것이며,
    여기서 g는 상기 카메라의 확대율로 와 같이 주어지되, 여기서 r'은 상 크기 r에 대응하는 보정전 영상면에서의 픽셀 거리인 것을 특징으로 하는
    전방위 영상 획득 방법.
  6. 제 5항에 있어서,
    상기 함수 F는 이며,
    상기 세로 방향의 입사각은
    인 것을 특징으로 하는
    전방위 영상 획득 방법.
  7. 제 5항에 있어서,
    상기 함수 F는 이며,
    상기 세로 방향의 입사각은
    인 것을 특징으로 하는
    전방위 영상 획득 방법.
  8. 제 5항에 있어서,
    상기 함수 F는 이며,
    상기 세로 방향의 입사각은
    인 것을 특징으로 하는
    전방위 영상 획득 방법.
  9. 회전대칭형인 광각 렌즈를 장착한 카메라의 광축이 지면에 평행하도록 카메라를 설치하여 보정전 영상면을 획득하는 단계; 및
    상기 보정전 영상면을 기초로 보정후 영상면을 획득하는 영상 처리 단계를 포함하는 전방위 영상 획득 방법에 있어서,
    상기 카메라의 이미지 센서면의 가로변이 지면과 이루는 각도는 γ이며,
    상기 보정전 영상면은 Kmax 행과 Lmax 열을 가지는 이차원 행렬이고, 상기 보정후 영상면은 Imax 행과 Jmax 열을 가지는 이차원 행렬이며,
    상기 보정전 영상면에서 광축의 픽셀 좌표는 (Ko, Lo)이고, 상기 보정후 영상면에서 광축의 픽셀 좌표는 (Io, Jo)이며,
    상기 보정후 영상면에서 좌표 (I, J)를 가지는 픽셀의 신호값은 상기 보정전 영상면에서 좌표 을 가지는 가상의 픽셀의 신호값으로 정해지되,
    상기 가상의 픽셀의 좌표 는 이하의 수학식
    으로 정해지며,
    여기서 는 상기 보정후 영상면에서 좌표 (I, J)를 가지는 픽셀에 대응하는 입사광의 가로 방향의 입사각으로 와 같이 주어지되, 여기서 은 J = 1에 대응하는 가로 방향의 입사각이며, 는 J = Jmax에 대응하는 가로 방향의 입사각이고,
    여기서 는 상기 입사광의 세로 방향의 입사각으로 와 같이 주어지되, 여기서 은 입사각 δ에 대해 연속인 단조 증가 함수 F(δ)의 역함수이며,
    여기서 는 상기 렌즈의 실제 투사 방식으로 상 크기 r을 대응하는 입사광의 천정각 θ의 함수로 구한 것이며,
    여기서 g는 상기 카메라의 확대율로 와 같이 주어지되, 여기서 r'은 상 크기 r에 대응하는 보정전 영상면에서의 픽셀 거리인 것을 특징으로 하는
    전방위 영상 획득 방법.
  10. 제 9항에 있어서,
    상기 함수 F는 인 것을 특징으로 하는
    전방위 영상 획득 방법.
  11. 제 9항에 있어서,
    상기 함수 F는 인 것을 특징으로 하는
    전방위 영상 획득 방법.
  12. 회전대칭형인 광각 렌즈를 장착한 카메라로 보정전 영상면을 획득하는 단계; 및
    상기 보정전 영상면을 기초로 보정후 영상면을 획득하는 영상 처리 단계를 포함하는 전방위 영상 획득 방법에 있어서,
    상기 카메라의 광축이 지면과 이루는 각도는 α이며,
    상기 카메라의 이미지 센서면의 가로변이 지면과 이루는 각도는 γ이며,
    상기 보정전 영상면은 Kmax 행과 Lmax 열을 가지는 이차원 행렬이고, 상기 보정후 영상면은 Imax 행과 Jmax 열을 가지는 이차원 행렬이며,
    상기 보정전 영상면에서 광축의 픽셀 좌표는 (Ko, Lo)이고, 상기 보정후 영상면에서 광축의 픽셀 좌표는 (Io, Jo)이며,
    상기 보정후 영상면에서 좌표 (I, J)를 가지는 픽셀의 신호값은 상기 보정전 영상면에서 좌표 을 가지는 가상의 픽셀의 신호값으로 정해지되,
    상기 가상의 픽셀의 좌표 는 이하의 수학식
    으로 정해지며,
    여기서 는 상기 보정후 영상면에서 좌표 (I, J)를 가지는 픽셀에 대응하는 입사광의 가로 방향의 입사각으로 와 같이 주어지되, 여기서 은 J = 1에 대응하는 가로 방향의 입사각이며, 는 J = Jmax에 대응하는 가로 방향의 입사각이고,
    여기서 는 상기 입사광의 세로 방향의 입사각으로 와 같이 주어지며, 여기서 은 입사각 δ에 대해 연속인 단조 증가 함수 F(δ)의 역함수이며,
    여기서 는 상기 렌즈의 실제 투사 방식으로 상 크기 r을 대응하는 입사광의 천정각 θ의 함수로 구한 것이며,
    여기서 g는 상기 카메라의 확대율로 와 같이 주어지되, 여기서 r'은 상 크기 r에 대응하는 보정전 영상면에서의 픽셀 거리인 것을 특징으로 하는
    전방위 영상 획득 방법.
  13. 제 12항에 있어서,
    상기 함수 F는 이며,
    상기 세로 방향의 입사각은
    인 것을 특징으로 하는
    전방위 영상 획득 방법.
  14. 제 12항에 있어서,
    상기 함수 F는 이며,
    상기 세로 방향의 입사각은
    인 것을 특징으로 하는
    전방위 영상 획득 방법.
  15. 회전대칭형인 광각 렌즈를 장착한 카메라의 광축이 지면에 수직하도록 카메라를 설치하여 보정전 영상면을 획득하는 단계; 및
    상기 보정전 영상면을 기초로 보정후 영상면을 획득하는 영상 처리 단계를 포함하는 전방위 영상 획득 방법에 있어서,
    상기 보정전 영상면은 Kmax 행과 Lmax 열을 가지는 이차원 행렬이고, 상기 보정후 영상면은 Imax 행과 Jmax 열을 가지는 이차원 행렬이며,
    상기 보정전 영상면에서 광축의 픽셀 좌표는 (Ko, Lo)이고, 상기 보정후 영상면에서 광축의 픽셀 좌표는 (Io, Jo)이며,
    상기 보정후 영상면에서 좌표 (I, J)를 가지는 픽셀의 신호값은 상기 보정전 영상면에서 좌표 을 가지는 가상의 픽셀의 신호값으로 정해지되,
    상기 가상의 픽셀의 좌표 는 이하의 수학식
    으로 정해지며,
    여기서 는 상기 보정후 영상면에서 좌표 (I, J)를 가지는 픽셀에 대응하는 입사광의 들림각으로 와 같이 주어지되, 여기서 상수 A는 이며, 은 입사광의 들림각 μ에 대해 연속인 단조 증가 함수 F(μ)의 역함수이고,
    여기서 는 상기 입사광의 방위각으로 와 같이 주어지며,
    여기서 χ는 -90°보다는 크고 90°보다는 작은 기준각이고,
    여기서 는 상기 렌즈의 실제 투사 방식으로 상 크기 r을 대응하는 입사광의 천정각 θ의 함수로 구한 것이며,
    여기서 g는 상기 카메라의 확대율로 와 같이 주어지되, 여기서 r'은 상 크기 r에 대응하는 보정전 영상면에서의 픽셀 거리인 것을 특징으로 하는
    전방위 영상 획득 방법.
  16. 제 15항에 있어서,
    상기 함수 F는 이며,
    상기 들림각은
    인 것을 특징으로 하는
    전방위 영상 획득 방법.
  17. 제 15항에 있어서,
    상기 함수 F는 이며,
    상기 들림각은
    인 것을 특징으로 하는
    전방위 영상 획득 방법
  18. 제 15항에 있어서,
    상기 함수 F는 이며,
    상기 들림각은
    인 것을 특징으로 하는
    전방위 영상 획득 방법.
KR1020080022039A 2007-07-29 2008-03-10 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치 KR100882011B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US12/670,319 US8482595B2 (en) 2007-07-29 2008-07-24 Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
CN2008801085476A CN101809993B (zh) 2007-07-29 2008-07-24 利用旋转对称广角透镜获得全景图像的方法及其设备
AU2008283197A AU2008283197B9 (en) 2007-07-29 2008-07-24 Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
PCT/KR2008/004339 WO2009017332A1 (en) 2007-07-29 2008-07-24 Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20070076113 2007-07-29
KR1020070076113 2007-07-29
KR1020070091373 2007-09-10
KR20070091373 2007-09-10

Publications (2)

Publication Number Publication Date
KR20090012290A KR20090012290A (ko) 2009-02-03
KR100882011B1 true KR100882011B1 (ko) 2009-02-04

Family

ID=40683129

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020080022039A KR100882011B1 (ko) 2007-07-29 2008-03-10 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
KR1020080071106A KR100898824B1 (ko) 2007-07-29 2008-07-22 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상 및 직선수차보정 영상을 얻는 방법 및 그 영상 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020080071106A KR100898824B1 (ko) 2007-07-29 2008-07-22 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상 및 직선수차보정 영상을 얻는 방법 및 그 영상 시스템

Country Status (4)

Country Link
US (2) US8553069B2 (ko)
KR (2) KR100882011B1 (ko)
CN (3) CN101809991B (ko)
AU (2) AU2008283196B9 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617606A (zh) * 2013-11-26 2014-03-05 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法

Families Citing this family (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7373017B2 (en) * 2005-10-04 2008-05-13 Sony Corporation System and method for capturing adjacent images by utilizing a panorama mode
KR100882011B1 (ko) 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
CN101644883A (zh) * 2008-08-08 2010-02-10 鸿富锦精密工业（深圳）有限公司 车用投影系统
US8264524B1 (en) * 2008-09-17 2012-09-11 Grandeye Limited System for streaming multiple regions deriving from a wide-angle camera
US8988492B2 (en) * 2009-01-30 2015-03-24 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Method and apparatus for correction of an image from a fisheye lens in a camera
DE102009000550B4 (de) * 2009-02-02 2018-10-04 Ford Global Technologies, Llc Weitwinkelbildgebungssystem für die Bereitstellung eines Bildes der Umgebung eines Fahrzeugs, insbesondere eines Kraftfahrzeugs
JP2010211277A (ja) * 2009-03-06 2010-09-24 Toyota Industries Corp 駐車支援装置および駐車支援方法
KR100988872B1 (ko) * 2009-07-08 2010-10-20 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 복합 영상을 얻는 방법과 그 영상 시스템 및 하드웨어적으로 영상처리를 하는 이미지 센서
KR101011704B1 (ko) * 2009-09-04 2011-01-31 씨엠아이텍주식회사 광각의 이미지를 생성하는 영상 처리 장치 및 방법
US9762795B2 (en) * 2013-09-04 2017-09-12 Gyeongil Kweon Method and apparatus for obtaining rectilinear images using rotationally symmetric wide-angle lens
US8743199B2 (en) * 2010-03-09 2014-06-03 Physical Optics Corporation Omnidirectional imaging optics with 360°-seamless telescopic resolution
US9204040B2 (en) 2010-05-21 2015-12-01 Qualcomm Incorporated Online creation of panoramic augmented reality annotations on mobile platforms
US8933986B2 (en) 2010-05-28 2015-01-13 Qualcomm Incorporated North centered orientation tracking in uninformed environments
KR101140953B1 (ko) * 2010-08-31 2012-05-03 이성원 영상 왜곡 보정 장치 및 방법
JP5558973B2 (ja) * 2010-08-31 2014-07-23 株式会社日立情報通信エンジニアリング 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム
JP5555101B2 (ja) * 2010-08-31 2014-07-23 株式会社日立情報通信エンジニアリング 画像補正装置、補正画像生成方法および補正画像生成プログラム
DE102010042248A1 (de) * 2010-10-11 2012-04-12 Robert Bosch Gmbh Verfahren und Vorrichtung zur optischen Darstellung einer Umgebung eines Fahrzeugs
DE102010063618A1 (de) * 2010-12-21 2012-06-21 Robert Bosch Gmbh Abbildungssystem und Fischaugenobjektiv
TW201239807A (en) * 2011-03-24 2012-10-01 Hon Hai Prec Ind Co Ltd Image capture device and method for monitoring specified scene using the image capture device
JP2012222664A (ja) * 2011-04-11 2012-11-12 Honda Elesys Co Ltd 車載カメラシステム
TW201248347A (en) * 2011-05-18 2012-12-01 Hon Hai Prec Ind Co Ltd System and method for controlling unmanned aerial vehicle
CN102833460B (zh) 2011-06-15 2015-03-11 富士通株式会社 图像处理方法、图像处理设备及扫描仪
JP5790345B2 (ja) * 2011-09-07 2015-10-07 株式会社リコー 画像処理装置、画像処理方法、プログラムおよび画像処理システム
JP5620354B2 (ja) * 2011-09-29 2014-11-05 株式会社東芝 表示装置
TW201319921A (zh) * 2011-11-07 2013-05-16 Benq Corp 觸控螢幕畫面控制方法及觸控螢幕畫面顯示方法
US8830317B2 (en) * 2011-11-23 2014-09-09 Robert Bosch Gmbh Position dependent rear facing camera for pickup truck lift gates
US9250510B2 (en) * 2012-02-15 2016-02-02 City University Of Hong Kong Panoramic stereo catadioptric imaging
US20130215271A1 (en) * 2012-02-22 2013-08-22 Magna Electronics, Inc. Indicia and camera assembly for a vehicle
JP2013214947A (ja) 2012-03-09 2013-10-17 Ricoh Co Ltd 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
BR112014024941A2 (pt) 2012-04-05 2017-09-19 Magic Leap Inc dispositivo de imagem de campo de visão amplo com capacidade de focalização ativa
US20140009569A1 (en) * 2012-07-05 2014-01-09 Shih-Yao Chen Panogramic Camera System for Vehicle Event Data Recorder
JP6065474B2 (ja) * 2012-09-11 2017-01-25 株式会社リコー 撮像制御装置、撮像制御方法およびプログラム
US20140085409A1 (en) * 2012-09-25 2014-03-27 GM Global Technology Operations LLC Wide fov camera image calibration and de-warping
US9225942B2 (en) * 2012-10-11 2015-12-29 GM Global Technology Operations LLC Imaging surface modeling for camera modeling and virtual view synthesis
JP6126820B2 (ja) * 2012-11-09 2017-05-10 任天堂株式会社 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置
AU2013204965B2 (en) 2012-11-12 2016-07-28 C2 Systems Limited A system, method, computer program and data signal for the registration, monitoring and control of machines and devices
US9503638B1 (en) 2013-02-04 2016-11-22 UtopiaCompression Corporation High-resolution single-viewpoint panoramic camera and method of obtaining high-resolution panoramic images with a single viewpoint
KR101465112B1 (ko) * 2013-05-08 2014-11-25 심영석 카메라 시스템
CN103345826B (zh) * 2013-07-05 2017-07-18 深圳市大疆创新科技有限公司 无人飞行器的遥控终端、飞行辅助系统和方法
KR102248161B1 (ko) 2013-08-09 2021-05-04 써멀 이미징 레이다 엘엘씨 복수의 가상 장치를 이용하여 열 이미지 데이터를 분석하기 위한 방법들 및 깊이 값들을 이미지 픽셀들에 상관시키기 위한 방법들
US10095935B2 (en) * 2013-12-20 2018-10-09 Magna Electronics Inc. Vehicle vision system with enhanced pedestrian detection
CN104519314A (zh) * 2013-12-25 2015-04-15 柳州桂通科技有限公司 事故现场全景信息快速采集方法
CN104519315A (zh) * 2013-12-25 2015-04-15 柳州桂通科技有限公司 事故现场全景信息快速采集装置
US20150304559A1 (en) * 2014-03-28 2015-10-22 Kogeto, Inc. Multiple camera panoramic image capture apparatus
KR101762475B1 (ko) * 2014-04-23 2017-07-27 주식회사 에스360브이알 직선수차보정 영상면의 주시 방향이 사전에 정해진 궤적을 따라서 주기적으로 스캔되는 영상 처리 기반의 디지털 팬·틸트·줌·슬라이드 카메라
CN107113399A (zh) * 2014-06-30 2017-08-29 日本电气株式会社 图像处理装置、监视系统、图像处理方法和程序
KR101592740B1 (ko) 2014-07-24 2016-02-15 현대자동차주식회사 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법
US20160119540A1 (en) * 2014-10-23 2016-04-28 Xerox Corporation Model-based plane-like panorama and retail applications
KR101592793B1 (ko) * 2014-12-10 2016-02-12 현대자동차주식회사 영상 왜곡 보정 장치 및 방법
US10395403B1 (en) * 2014-12-22 2019-08-27 Altia Systems, Inc. Cylindrical panorama
US20160264220A1 (en) * 2015-01-19 2016-09-15 William P. Laceky Boat loading system
DE102015202330A1 (de) * 2015-02-10 2016-08-11 Continental Automotive Gmbh Fahrerassistenzsystem
JP6584093B2 (ja) * 2015-02-26 2019-10-02 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
JP5920507B1 (ja) * 2015-03-10 2016-05-18 株式会社リコー 画像処理システム、画像処理方法およびプログラム
US20160307048A1 (en) * 2015-04-17 2016-10-20 General Electric Company Simulating camera node output for parking policy management system
US9948914B1 (en) * 2015-05-06 2018-04-17 The United States Of America As Represented By The Secretary Of The Air Force Orthoscopic fusion platform
WO2016206108A1 (en) 2015-06-26 2016-12-29 SZ DJI Technology Co., Ltd. System and method for measuring a displacement of a mobile platform
US9942475B2 (en) 2015-07-24 2018-04-10 Robert Bosch Gmbh Real cross traffic—quick looks
US10453173B2 (en) * 2015-07-24 2019-10-22 Robert Bosch Gmbh Panel transform
US10269257B1 (en) * 2015-08-11 2019-04-23 Gopro, Inc. Systems and methods for vehicle guidance
CN105159317A (zh) * 2015-09-14 2015-12-16 深圳一电科技有限公司 无人机及其控制方法
CN105306828A (zh) * 2015-11-26 2016-02-03 中船勘察设计研究院有限公司 一种识别声呐成像系统固定点位全环观测方法
CN106981050A (zh) * 2016-01-18 2017-07-25 深圳岚锋创视网络科技有限公司 对鱼眼镜头拍摄的图像矫正的方法和装置
CN105869110B (zh) 2016-03-28 2018-09-28 腾讯科技（深圳）有限公司 图像显示方法和装置、异形曲面幕布的定制方法和装置
JP6733267B2 (ja) * 2016-03-31 2020-07-29 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置
US10249019B2 (en) 2016-05-06 2019-04-02 Mediatek Inc. Method and apparatus for mapping omnidirectional image to a layout output format
TWI584051B (zh) * 2016-05-18 2017-05-21 Sarmo Tech Inc Three - dimensional environment system of vehicle and its method
CN106055299B (zh) * 2016-06-06 2019-10-15 北京小鸟科技股份有限公司 在多个显示设备上实现图像任意角度旋转的方法
CN106548446B (zh) 2016-09-29 2019-08-09 北京奇艺世纪科技有限公司 一种在球面全景图像上贴图的方法及装置
CN106710000B (zh) * 2016-12-05 2019-07-09 武汉大学 一种基于离散全景图构建连续场景的图像投影方法
CN106780310B (zh) 2016-12-20 2020-11-24 北京奇艺世纪科技有限公司 一种投影图构建方法及装置
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
CN108269229B (zh) * 2016-12-30 2021-08-06 央视国际网络无锡有限公司 一种全景图像或视频的像素位置分布优化方法
US10440249B2 (en) * 2017-01-13 2019-10-08 Magna Electronics Inc. Vehicle vision system camera with semi-reflective and semi-transmissive element
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US10839480B2 (en) * 2017-03-22 2020-11-17 Qualcomm Incorporated Sphere equator projection for efficient compression of 360-degree video
KR102304338B1 (ko) * 2017-04-28 2021-09-23 에스케이텔레콤 주식회사 영상 투사 기기 정렬 장치 및 방법
JP6919334B2 (ja) * 2017-05-26 2021-08-18 株式会社リコー 画像処理装置、画像処理方法、プログラム
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
CN107977977B (zh) * 2017-10-20 2020-08-11 深圳华侨城卡乐技术有限公司 一种vr游戏的室内定位方法、装置以及存储介质
TWI682358B (zh) 2017-10-25 2020-01-11 宏芯科技股份有限公司 多維影像投射裝置及其多維影像校正方法
EP3480779A1 (en) 2017-11-01 2019-05-08 Volvo Car Corporation Method and system for handling images
US10574886B2 (en) 2017-11-02 2020-02-25 Thermal Imaging Radar, LLC Generating panoramic video for video management systems
CN108289193A (zh) * 2017-11-15 2018-07-17 秦广民 监控型收音机数据存储系统
US10618471B2 (en) 2017-11-30 2020-04-14 Robert Bosch Gmbh Virtual camera panning and tilting
WO2019155903A1 (ja) * 2018-02-08 2019-08-15 ソニー株式会社 情報処理装置および方法
KR102031485B1 (ko) * 2018-03-15 2019-10-11 세종대학교산학협력단 360도 카메라와 평면 거울을 이용한 다시점 영상 획득 장치 및 방법
CN111047633B (zh) * 2018-10-12 2023-08-18 深圳富联富桂精密工业有限公司 单目测距装置
US11055541B2 (en) 2018-10-12 2021-07-06 Volvo Car Corporation Vehicle lane marking and other object detection using side fisheye cameras and three-fold de-warping
US10797461B2 (en) 2018-10-18 2020-10-06 Bae Systems Information And Electronic Systems Integration Inc. Non-linear optical mapping of SAL seeker detector array for removing applied lens distortion from incoming signal
JP7204511B2 (ja) 2019-02-12 2023-01-16 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム
US10715783B1 (en) * 2019-03-01 2020-07-14 Adobe Inc. Stereo-aware panorama conversion for immersive media
US11153481B2 (en) * 2019-03-15 2021-10-19 STX Financing, LLC Capturing and transforming wide-angle video information
CN109949249B (zh) * 2019-03-29 2022-11-08 珠海丹德图像技术有限公司 一种柱面图像校正方法及系统
JP7388084B2 (ja) * 2019-09-20 2023-11-29 株式会社リコー 情報処理装置、方法および記録媒体
US11601605B2 (en) 2019-11-22 2023-03-07 Thermal Imaging Radar, LLC Thermal imaging camera device
NL2025575B1 (en) * 2020-05-13 2021-11-30 Microsoft Technology Licensing Llc Correcting distortion from camera pitch angle
CN111968184B (zh) * 2020-08-24 2024-04-02 北京茵沃汽车科技有限公司 一种在全景环视系统中实现视图随动的方法、装置及介质
CN112565730B (zh) * 2020-12-03 2023-07-25 阿波罗智联(北京)科技有限公司 路侧感知方法、装置、电子设备、存储介质及路侧设备
CN113353067A (zh) * 2021-07-14 2021-09-07 重庆大学 一种基于全景摄像头的多环境检测与多模态匹配的平行泊车路径规划系统
CN113701997A (zh) * 2021-07-23 2021-11-26 歌尔光学科技有限公司 光学镜头偏心测试系统及方法
FR3127063B1 (fr) * 2021-09-10 2023-09-22 Renault Sas procédé de génération d’une image finale de l’environnement d’un véhicule automobile
CN115037861A (zh) * 2022-06-16 2022-09-09 深圳市特力科信息技术有限公司 一种角度可调的高清视频会议摄像机

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005056295A (ja) 2003-08-07 2005-03-03 Iwane Kenkyusho:Kk ３６０度画像変換処理装置
KR20060039896A (ko) * 2003-07-03 2006-05-09 피지컬 옵틱스 코포레이션 왜곡없는 실시간 이미징을 구현하는 파노라마 비디오시스템
WO2006112927A2 (en) * 2005-04-14 2006-10-26 Microsoft Corporation System and method for head size equalization in 360 degree panoramic images

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5185667A (en) 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system
US5384588A (en) * 1991-05-13 1995-01-24 Telerobotics International, Inc. System for omindirectional image viewing at a remote location without the transmission of control signals to select viewing parameters
US5684937A (en) 1992-12-14 1997-11-04 Oxaal; Ford Method and apparatus for performing perspective transformation on visible stimuli
US5796426A (en) 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
US6356297B1 (en) * 1998-01-15 2002-03-12 International Business Machines Corporation Method and apparatus for displaying panoramas with streaming video
KR20010112433A (ko) * 1999-04-16 2001-12-20 마츠시타 덴끼 산교 가부시키가이샤 화상처리장치 및 감시시스템
FR2821156B1 (fr) * 2001-02-16 2003-05-23 Immervision Internat Pte Ltd Procede et dispositif pour l'obtention d'une image panoramique numerique a teinte constante
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US6833843B2 (en) * 2001-12-03 2004-12-21 Tempest Microsystems Panoramic imaging and display system with canonical magnifier
KR20050046822A (ko) * 2002-10-18 2005-05-18 사르노프 코포레이션 다수의 카메라들을 사용하여 파노라마식 시각화를 가능하게하는 방법 및 시스템
ES2265119T3 (es) * 2002-12-03 2007-02-01 Dow Global Technologies Inc. Poliester polioles con funcionalidad sulfonato.
JP4864295B2 (ja) * 2003-06-02 2012-02-01 富士フイルム株式会社 画像表示システム、画像表示装置およびプログラム
US7352720B2 (en) * 2003-06-16 2008-04-01 Broadcom Corporation System and method to determine a bit error probability of received communications within a cellular wireless network
US20050117015A1 (en) * 2003-06-26 2005-06-02 Microsoft Corp. Foveated panoramic camera system
CN100490501C (zh) * 2003-07-03 2009-05-20 物理光学公司 实时无失真成像的全景视频系统
KR100789905B1 (ko) * 2005-12-08 2008-01-02 한국전자통신연구원 다시점 파노라믹 영상 재생 장치 및 그 방법
JP4297111B2 (ja) * 2005-12-14 2009-07-15 ソニー株式会社 撮像装置、画像処理方法及びそのプログラム
KR100826571B1 (ko) 2006-10-24 2008-05-07 주식회사 나노포토닉스 광각 렌즈
KR100882011B1 (ko) * 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
KR100888922B1 (ko) 2007-12-27 2009-03-16 주식회사 나노포토닉스 어안 렌즈

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060039896A (ko) * 2003-07-03 2006-05-09 피지컬 옵틱스 코포레이션 왜곡없는 실시간 이미징을 구현하는 파노라마 비디오시스템
JP2005056295A (ja) 2003-08-07 2005-03-03 Iwane Kenkyusho:Kk ３６０度画像変換処理装置
WO2006112927A2 (en) * 2005-04-14 2006-10-26 Microsoft Corporation System and method for head size equalization in 360 degree panoramic images
WO2006112927A3 (en) 2005-04-14 2006-12-07 Microsoft Corp System and method for head size equalization in 360 degree panoramic images
KR20070118644A (ko) * 2005-04-14 2007-12-17 마이크로소프트 코포레이션 360도 파노라마 이미지에서의 머리 사이즈 균등화를 위한시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617606A (zh) * 2013-11-26 2014-03-05 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法
CN103617606B (zh) * 2013-11-26 2016-09-14 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法

Also Published As

Publication number Publication date
AU2008283196A1 (en) 2009-02-05
AU2008283197A1 (en) 2009-02-05
CN101809993B (zh) 2012-01-18
KR20090012290A (ko) 2009-02-03
CN101809993A (zh) 2010-08-18
KR20090012291A (ko) 2009-02-03
AU2008283197B2 (en) 2011-07-07
AU2008283196B9 (en) 2011-12-01
CN101809991A (zh) 2010-08-18
US20100208032A1 (en) 2010-08-19
US8482595B2 (en) 2013-07-09
US20110181689A1 (en) 2011-07-28
CN103402052A (zh) 2013-11-20
KR100898824B1 (ko) 2009-05-22
AU2008283197B9 (en) 2011-12-01
CN103402052B (zh) 2016-12-28
US8553069B2 (en) 2013-10-08
CN101809991B (zh) 2013-10-30
AU2008283196B2 (en) 2011-06-02

Similar Documents

Publication Publication Date Title
KR100882011B1 (ko) 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
US8798451B1 (en) Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
US9762795B2 (en) Method and apparatus for obtaining rectilinear images using rotationally symmetric wide-angle lens
KR100988872B1 (ko) 회전 대칭형의 광각 렌즈를 이용하여 복합 영상을 얻는 방법과 그 영상 시스템 및 하드웨어적으로 영상처리를 하는 이미지 센서
US7961980B2 (en) Method for providing output image in either cylindrical mode or perspective mode
WO2006041268A1 (en) Rectilinear mirror and imaging system having the same
WO2009017332A1 (en) Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
KR100491271B1 (ko) 전방위 거울 및 이를 이용한 영상 시스템
Kweon et al. Image-processing based panoramic camera employing single fisheye lens
Kweon Panoramic image composed of multiple rectilinear images generated from a single fisheye image
KR100552367B1 (ko) 직선수차보정 거울 및 그를 구비하는 영상 시스템
WO2009017331A1 (en) Method and apparatus for obtaining panoramic and rectilinear images using rotationally symmetric wide-angle lens
US10222596B2 (en) Omnidirectional catadioptric lens structure
KR101889225B1 (ko) 입체 전방위 영상 획득 방법과 재생 방법 및 입체 전방위 카메라
KR101762475B1 (ko) 직선수차보정 영상면의 주시 방향이 사전에 정해진 궤적을 따라서 주기적으로 스캔되는 영상 처리 기반의 디지털 팬·틸트·줌·슬라이드 카메라
KR20200116682A (ko) 주사형 모노 및 입체 전방위 영상 획득장치

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130208

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140109

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150713

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160726

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170718

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180725

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee