KR101762475B1 - 직선수차보정 영상면의 주시 방향이 사전에 정해진 궤적을 따라서 주기적으로 스캔되는 영상 처리 기반의 디지털 팬·틸트·줌·슬라이드 카메라 - Google Patents

Abstract

전방위 영상과 자동적으로 스캔이 이루어지는 디지털 팬·틸트 영상이 교차하여 출력되도록 하여 전체 영상을 파악함과 동시에 상세한 영상도 얻도록 한다.

Description

직선수차보정 영상면의 주시 방향이 사전에 정해진 궤적을 따라서 주기적으로 스캔되는 영상 처리 기반의 디지털 팬·틸트·줌·슬라이드 카메라{IMAGE-PROCESSING-BASED DIGITAL PAN·TILT·ZOOM·SLIDE CAMERA WHEREOF THE PRINCIPAL DIRECTION OF VISION OF RECTILINEAR IMAGE PLANE IS PERIODICALLY SCANNED ALONG A PREDETERMINED TRACE}

본 발명은 회전 대칭형의 광각 렌즈의 영상에 영상 처리를 통하여 디지털 팬·틸트·줌·슬라이드 기능을 구현하는 카메라에 관한 것으로, 구체적으로 사용자에 의하여 조작되는 컨트롤러(controller)를 사용하지 않으면서도 소기의 효과를 달성할 수 있는 카메라에 관한 것이다.

경관이 뛰어난 관광지 등에서 360°모든 방향의 경치를 한 장의 사진에 포착하는 파노라마 사진기(panoramic camera)는 전방위 영상 시스템의 일 예이다. 전방위 영상 시스템은 관찰자가 제자리에서 한바퀴 돌 때 바라보이는 경치를 모두 한 장의 이미지에 포착하는 영상 시스템을 지칭한다. 이와는 다르게 관찰자의 위치에서 바라볼 수 있는 모든 방향의 경치를 한 장의 이미지에 포착하는 시스템은 전방향 영상 시스템(omnidirectional imaging system)이라 지칭된다. 전방향 영상 시스템에서는 관찰자가 제자리에서 한 바퀴 도는 것은 물론, 고개를 젖히거나 숙여서 바라볼 수 있는 모든 경치를 포함한다. 수학적으로는 영상 시스템으로 포착할 수 있는 영역의 입체각(solid angle)이 4π 스테라디안(steradian)인 경우를 지칭한다.

전방위 영상 시스템이나 전방향 영상 시스템은 건축물, 자연 경관, 천체 등의 촬영과 같은 전통적인 분야뿐만 아니라, CCD(charge-coupled device)나 CMOS(complementary metal-oxide-semiconductor: 상보형(相補型) 금속 산화막(酸化膜) 반도체) 카메라를 이용한 보안·감시 시스템, 부동산이나 호텔, 관광지 등의 가상 여행(virtual tour), 또는 이동 로봇이나 무인 비행기 등의 분야에 적용하기 위한 많은 연구와 개발이 이루어지고 있다.

전방위 영상을 얻는 한 방법은 화각이 넓은 어안 렌즈(fisheye lens)를 채용하는 것이다. 예를 들어, 화각이 180°인 어안 렌즈를 수직으로 하늘을 향하게 하면 하늘의 별자리에서부터 지평선까지를 한 장의 이미지에 포착하는 것이 가능하다. 이러한 이유로 어안 렌즈는 전천 렌즈(all-sky lens)라고도 지칭된다. 특히, 니콘(Nikon)사의 한 어안 렌즈(6mm f/5.6 Fisheye-Nikkor)는 화각이 220°에 달하므로, 이를 카메라에 장착하면 카메라 후방의 경치도 일부나마 이미지에 포함시킬 수 있다. 이와 같이 어안 렌즈를 사용하여 얻은 영상에 영상 처리(image processing)를 하여 전방위 영상을 얻을 수 있다.

많은 경우에 있어서 영상 시스템은 수직인 벽면에 장착된다. 예를 들어 건물 주변을 감시하기 위하여 건물의 외벽에 영상 시스템을 설치하거나, 자동차의 후미를 모니터링하기 위한 후방 카메라의 경우가 그러하다. 이러한 경우에 수평 방향의 화각이 180°보다 훨씬 클 경우에는 오히려 효율성이 떨어진다. 왜냐하면, 모니터링할 필요가 적은 벽면이 화면을 많이 점유하므로 영상이 지루해 보이고 픽셀이 낭비되기 때문이다. 따라서 이와 같은 경우에는 수평 방향의 화각이 180°내외인 경우가 바람직하다. 그러나 이와 같은 목적을 위하여 화각이 180°인 어안 렌즈를 그대로 사용하는 것은 바람직하지 않다. 어안 렌즈는 통형 왜곡(barrel distortion)을 발생시키므로 심미적으로 불쾌감을 유발하여 소비자로부터 외면되기 때문이다.

참고 문헌 [비특 1] 내지 [비특 2]에는 주어진 시점(viewpoint) 및 투사 방식(projection scheme)을 가지는 영상에서 다른 시점 내지는 투사 방식을 가지는 영상을 추출하는 핵심 기술이 제시되어 있다. 구체적으로 참고 문헌 [비특 2]에는 정육면체 파노라마(cubic panorama)가 제시되어 있다. 간단히 말하면 정육면체 파노라마는 관찰자가 유리로 제작된 정육면체의 중심에 있다고 할 때 유리벽 밖으로 보이는 모든 방향의 풍경을 유리벽에 묘사하되, 모든 풍경은 정육면체의 중심에서 바라본 시점으로 묘사하는 것이다. 그러나 광학 렌즈를 사용하여 얻은 실제 풍경을 사용한 것이 아니고 가상의 풍경을 왜곡이 없는 가상의 렌즈, 즉 바늘구멍 사진기로 포착한 영상을 사용하였다는 단점이 있다.

또 다른 측면에서, 사람을 포함한 모든 동식물은 중력에 의하여 지구 표면에 구속되어 살아가므로 주의 혹은 관심이 필요한 대부분의 사건은 지평선 근처에서 발생한다. 따라서 지평선 주변의 360°모든 방향을 감시할 필요가 있더라도, 수직 방향으로는 그다지 높이까지 즉, 천정(zenith)이나 천저(nadir)까지 감시할 필요성이 적다. 그런데 360°모든 방향의 풍경을 2차원적인 평면에 묘사하기 위해서는 어쩔 수 없이 왜곡이 필요하다. 구(sphere)의 표면인 지구상의 지리를 평면적인 이차원 지도에 표현하기 위한 지도작성법에도 마찬가지의 어려움이 존재한다.

지구상의 모든 동·식물과 건물 등의 무생물은 모두 중력의 영향 아래에 있으며, 중력의 방향이 똑바로 선 방향, 즉 수직선이 된다. 그런데 모든 왜곡 중에서 사람이 가장 부자연스럽게 느끼는 왜곡은 수직선이 곡선으로 보이는 왜곡이다. 따라서 다른 왜곡이 있더라도 이러한 왜곡은 없도록 하는 것이 중요하다. 그런데 지면은 대체로 중력의 방향에 대해서 수직이지만 경사진 곳에서는 당연히 수직이지 않다. 따라서 엄밀한 의미에서는 수평면을 기준으로 하여야 하며, 수직 방향은 수평면에 대하여 수직인 방향이다.

참고 문헌 [비특 3]에는 다양한 지도 작성법 중에서도 널리 알려진 투사 방식인 등직교 투사(equi-rectangular projection), 메카토르 투사(Mercator projection) 및 원통형 투사(cylindrical projection)가 기술되어 있으며, 참고문헌 [비특 4]에는 다양한 투사 방식의 역사가 요약되어 있다. 이 중에서 등직교 투사 방식은 우리가 지구상의 지리를 표현하거나 별자리를 표시하기 위한 천구를 묘사할 때 가장 익숙한 지도 작성법의 하나이다.

도 1을 참조하여 지표면 혹은 천구(celestial sphere)를 반지름 S인 구면으로 가정했을 때, 지구의 중심 N을 기준으로 지표면 상의 임의의 점 Q는 경도값 ψ 및 위도값 δ를 가진다. 한편, 도 2는 등직교 투사법에 따라 작성한 지표면 혹은 천구의 평면 지도의 개념도이다. 지표면에서 경도값 ψ 및 위도값 δ를 가지는 한 점 Q는 등직교 투사법에 따른 평면 지도(234) 상에서 대응하는 점 P"를 가진다. 이 대응하는 점의 직교 좌표는 (x", y")로 주어진다. 또한, 경도 0°와 위도 0°를 가지는 적도상의 기준점은 평면 지도상에서 대응하는 한 점 Ｏ"를 가지며, 이 대응점 Ｏ"가 직교 좌표계의 원점이다. 이때 등직교 투사법에 의하면 동일한 경도상의 간격은 평면 지도상에서 동일한 가로 방향의 간격을 가진다. 다시 말하면 평면 지도(234) 상에서의 가로 방향의 좌표 x"는 경도에 비례한다.

여기서 c는 비례 상수이다. 또한, 세로 방향의 좌표 y"는 위도에 비례하며, 가로 방향의 좌표와 동일한 비례 상수를 가진다.

이와 같은 등직교 투사 방식은 지표면이 구면에 가까운 것을 고려하면 자연스러운 투사 방식이라고 할 수 있지만, 지표면의 면적을 심하게 왜곡한다는 단점이 있다. 예를 들어 북극점 근처에서 아주 가까운 거리에 있는 두 점이 등직교 투사 방식의 지도상에서는 마치 지구 반대편에 있는 듯한 인상을 줄 수 있다.

한편, 메카토르 투사 방식에서는 세로 방향의 좌표가 수학식 3과 같이 복잡한 함수로 주어진다.

한편, 도 3은 원통형 투사(cylindrical projection) 또는 파노라마 투사(panoramic perspective)의 개념도이다. 원통형 투사에서 관찰자는 반지름이 S인 천구(331)의 중심 N에 있으며 이 관찰자를 중심으로 하는 천구에서 천정(zenith)과 천저(nadir)를 제외한 대부분의 영역을 이차원 평면상에 묘사하고자 한다. 다시 말하면 경도는 -180°에서 +180°까지 360°를 포함하되, 위도는 적도를 포함하는 일부만을 포함하여도 된다. 구체적으로 위도각의 범위를 -Δ에서 +Δ까지라고 가정할 수 있으며, 이때 Δ는 90°보다 작아야 한다.

이러한 투사 방식에서는 천구(331)를 적도(303)에서 접하는 원통(334)을 가정한다. 그 다음 천구 상에서 소정의 경도값 ψ 및 위도값 δ를 갖는 점 Q(ψ, δ)에 대하여 상기 천구의 중심 N에서 상기 한 점 Q를 잇는 선분이 상기 원통면을 만날 때까지 연장한다. 이 교점을 P(ψ, δ)라고 한다. 이러한 방식으로 천구면(331) 상의 상기 위도 범위 내의 모든 점 Q에 대하여 대응하는 원통면(334) 상의 점 P를 얻은 후 상기 원통을 잘라서 평면으로 펼치면 원통형 투사를 가지는 지도를 얻게 된다. 따라서 펼쳐진 원통면 상에서의 한 점 P의 가로 방향의 좌표 x"는 수학식 4로 주어지며, 세로 방향의 좌표 y"는 수학식 5로 주어진다.

이러한 원통형 투사는 카메라가 수평으로 회전하여 파노라마 영상을 얻는 파노라마 사진기에 사용되는 투사 방식이다. 특히 회전하는 파노라마 사진기에 장착된 렌즈가 왜곡이 없는 직선수차보정 렌즈(rectilinear lens)일 경우에 얻어지는 파노라마 영상은 정확히 원통형 투사 방식을 따르게 된다. 이와 같은 원통형 투사는 원리적으로 가장 정확한 파노라마 투사 방식이지만 위도의 범위가 넓을 경우에는 영상이 부자연스럽게 보이기 때문에 항상 사용되는 것은 아니다.

참고 문헌 [특 1] 및 [비특 5]에는 화각 190°를 가지는 어안 렌즈의 실시 예가 기술되어 있으며, 참고 문헌 [특 2]에는 평사투영 방식의 굴절식 및 반사굴절식 어안 렌즈를 포함하는 다양한 광각 렌즈의 실시 예가 제시되어 있다.

한편, 참고 문헌 [특 3]에는 어안 렌즈를 포함하는 회전 대칭형의 광각 렌즈를 사용하여 획득한 영상에서 원통형 투사 방식이나 등직교 투사 방식 및 메카토르 투사 방식을 따르는 전방위 영상을 얻는 다양한 실시 예가 기술되어 있다. 상기 문헌에 제시되어 있는 대부분의 실시 예는 도 4 내지 12를 참조하여 다음과 같이 요약될 수 있다.

도 4는 어안 렌즈를 포함하는 회전 대칭형의 광각 렌즈(412)의 실제 투사 방식의 개념도이다. 광각 렌즈에 의하여 포착되는 피사체(object)를 기술하는 세계 좌표계의 Z-축은 광각 렌즈(412)의 광축(401)과 일치한다. 이 Z-축에 대하여 천정각 θ를 가지는 입사광(405)은 렌즈(412)에 의하여 굴절된 후 굴절광(406)으로서 초점면(focal plane: 432) 상의 한 상점(image point) P로 수렴한다. 상기 렌즈의 마디점 N에서 상기 초점면까지의 거리는 대략 렌즈의 유효 초점 거리(effective focal length)와 일치한다. 상기 초점면에서 실제 상점이 형성된 부분이 영상면(image plane: 433)이다. 선명한 영상을 얻기 위하여 상기 영상면(433)과 카메라 몸체(414) 내부의 이미지 센서면(413)이 일치하여야 한다. 상기 초점면과 상기 이미지 센서면은 광축에 수직하다. 이 광축(401)과 영상면(433)과의 교점 Ｏ - 이하 제 1 교점이라 지칭함 - 에서부터 상기 상점 P까지의 거리는 r이다.

일반적인 광각 렌즈에서의 상 크기 r은 수학식 6과 같이 주어진다.

여기서 입사각 θ의 단위는 라디안(radian)이며, 상기 함수 r(θ)는 입사광의 천정각 θ에 대한 원점을 지나는 단조 증가 함수(monotonically increasing function passing through the origin)이다.

이와 같은 렌즈의 실제 투사 방식은 실제 렌즈를 가지고 실험적으로 측정할 수도 있으며, 아니면 렌즈의 설계도를 가지고 Code V나 Zemax 등의 렌즈 설계 프로그램으로 계산할 수 있다. 예를 들어 Zemax에서 REAY 연산자를 사용하면 주어진 수평 방향 및 수직 방향의 입사각을 가지는 입사광의 초점면상에서의 y-축 방향의 좌표 y를 계산할 수 있으며, x-축 방향의 좌표 x는 유사하게 REAX 연산자를 사용하여 계산할 수 있다.

도 5는 Paul Bourke 교수가 컴퓨터로 제작한 가상적인 실내 풍경이며, 이상적인 등거리 투사 방식을 가지는 화각 180°의 어안 렌즈를 사용하는 것으로 가정된 것이다. 이 영상은 가로 방향 및 세로 방향의 크기가 모두 250 픽셀인 정사각형의 모양을 가지고 있다. 따라서 광축의 좌표는 (125.5, 125.5)이며, 천정각 90°인 입사광의 상 크기는 r'(π/2) = 125.5 - 1 = 124.5이다. 여기서 r'은 실제 물리적 거리가 아니라 픽셀 거리로 측정된 상 크기이다. 이 가상적인 어안 렌즈는 등거리 투사 방식을 만족하므로 이 렌즈의 투사 방식은 수학식 7과 같이 주어진다.

도 6은 참고 문헌 [특 1]과 [비특 5]에 제시되어 있는 등거리 투사 방식의 굴절식 어안 렌즈이며, 도 7과 도 8은 참고 문헌 [특 2]에 제시되어 있는 다양한 광각 렌즈의 실시 예를 보여준다. 도 6은 등거리 투사 방식의 굴절식 어안 렌즈인데 반하여, 도 7은 평사투영 방식의 굴절식 어안 렌즈이며, 도 8은 평사투영 방식의 반사굴절식 어안 렌즈이다. 이와 같이 종래의 실시 예에서 광각 렌즈는 등거리 투사 방식의 어안 렌즈에 한정되지 않고 광축을 중심으로 회전 대칭형인 모든 광각 렌즈를 포함한다.

참고 문헌 [특 3]의 발명은 이와 같은 회전 대칭형의 광각 렌즈를 사용하여 얻은 영상에 수학적으로 정확한 영상 처리 알고리즘을 적용하여 전방위 영상을 얻는 방법을 제공하는 것을 요점으로 한다. 참고 문헌 [특 3]에 제시된 다양한 실시 예는 도 9를 참조로 하여 다음과 같이 요약될 수 있다. 도 9는 종래 발명에서의 세계 좌표계(world coordinate system)의 개념도이다.

종래 발명의 세계 좌표계는 회전 대칭형인 광각 렌즈의 마디점 N을 원점으로 하고 상기 원점을 지나는 수직선을 Y-축으로 한다. 여기서 수직선은 지평면, 더 정확하게는 수평면(917)에 수직인 직선이다. 세계 좌표계의 X-축과 Z-축은 지평면에 포함된다. 상기 광각 렌즈의 광축(901)은 일반적으로 Y-축과 일치하지 않으며, 지면에 포함될 수도 있고(즉, 지면에 평행할 수도 있고), 지면에 평행하지 않을 수도 있다. 이때 상기 Y-축과 상기 광축(901)을 포함하는 평면(904)을 기준면(reference plane)이라고 지칭한다. 이 기준면(904)과 지평면(917)과의 교선(intersection line: 902)이 세계 좌표계의 Z-축과 일치한다.

세계 좌표계 상의 직교 좌표 (X, Y, Z)를 가지는 한 물점 Q에서 비롯되는 입사광(905)은 지면(917)에 대하여 고도각 δ를 가지며, 기준면(904)에 대하여 방위각 ψ를 가진다. 상기 Y-축과 상기 입사광(905)을 포함하는 평면이 입사면(906)이다. 상기 입사광이 상기 기준면과 이루는 가로 방향의 입사각 ψ는 수학식 8과 같이 주어진다.

한편, 상기 입사광이 X-Z 평면과 이루는 세로 방향의 입사각(즉, 고도각) δ는 수학식 9와 같이 주어진다.

상기 입사광의 들림각(elevation angle) μ는 수학식 10과 같이 주어지되, 여기서 χ는 -90°보다 크고 90°보다 작은 임의의 각도이다.

도 10은 영상 처리 기반의 영상 시스템의 개념도이며, 크게 영상 획득 수단(image acquisition means: 1010)과 영상 처리 수단(image processing means: 1016) 및 영상 표시 수단(image display means: 1015, 1017)을 포함한다. 영상 획득 수단(1010)은 회전 대칭형의 형상을 가지는 광각 렌즈(1012)와 그 내부에 이미지 센서(1013)를 포함하는 카메라 몸체(1014)를 포함한다. 상기 광각 렌즈는 등거리 투사 방식을 가지는 화각 180°이상의 어안 렌즈가 될 수 있으나, 이러한 어안 렌즈에 한정되는 것은 아니며, 반사굴절식 어안 렌즈 등 다양한 종류의 회전 대칭형의 광각 렌즈가 모두 사용될 수 있다. 이하에서는 설명의 편의를 위하여 광각 렌즈를 어안 렌즈로 지칭한다.

상기 카메라 몸체는 CCD 혹은 CMOS 등의 광전소자를 구비하며, 정지 영상 혹은 동영상을 획득할 수 있다. 상기 어안 렌즈(1012)에 의하여 물체면(1031)의 영상이 초점면(1032) 상에 형성된다. 선명한 영상을 얻기 위하여 이미지 센서면(1013)이 초점면(1032)과 일치하여야 한다. 도 10에서 부호 (1001)은 광축을 나타낸다.

상기 물체면(1031) 상에 존재하는 피사체의 어안 렌즈(1012)에 의한 실상(real image)은 이미지 센서(1013)에 의하여 전기적 신호로 변환된 후 영상 표시 수단(1015)에 보정전 영상면(uncorrected image plane: 1034)으로 표시되며, 이 보정전 영상면(1034)은 어안 렌즈에 의한 왜곡된 영상이다. 이 왜곡된 영상이 영상 처리 수단(1016)에 의하여 왜곡이 보정된 후 컴퓨터 모니터나 CCTV 모니터와 같은 영상 표시 수단(1017)에서 보정후 영상면(processed image plane: 1035)으로 표시된다. 상기 영상 처리는 데스크탑이나 노트북 컴퓨터를 활용한 윈도우 소프트웨어(window software)에 의한 영상 처리일 수도 있고, 재설정 가능 반도체(FPGA: Field Programmable Gate Array)나 CPLD(Complex Programmable Logic Device), ARM core processor, ASIC, 혹은 디지털 신호처리 프로세서(DSP: Digital Signal Processor) 상에서 동작하는 임베디드 소프트웨어(embedded software)에 의한 영상 처리일 수도 있다.

어안 렌즈를 비롯한 임의의 회전 대칭형의 렌즈는 전술한 전방위 영상이나 왜곡이 없는 직선수차보정 영상을 제공하지 못한다. 따라서 바람직한 영상을 얻기 위해서는 영상 처리 과정이 필수적이다. 도 11은 이미지 센서면(1013)에 대응하는 영상 처리 전의 보정전 영상면(1134)의 개념도이다. 이미지 센서면(1013)의 가로변의 길이가 B이고, 세로변의 길이가 V라고 하면, 보정전 영상면의 가로변의 길이는 gB이고, 세로변의 길이는 gV이다. 여기서 g는 비례 상수이다.

보정전 영상면(1134)은 영상 표시 수단에 표시되는 왜곡이 보정되지 않은 화면으로 생각할 수 있으며, 이미지 센서면에 결상된 영상을 배율 g로 확대한 영상이다. 예를 들어 1/3-inch CCD의 경우에는 이미지 센서면의 가로변의 길이가 4.8mm, 세로변의 길이가 3.6mm인 직사각형의 모습이다. 한편, 모니터의 크기가 가로변의 길이가 48cm이고, 세로변의 길이가 36cm라고 하면, 배율 g는 100이 된다. 더욱 바람직하게는 이산화된 디지털 영상에서는 픽셀의 길이를 1로 가정한다. VGA급의 1/3-inch CCD 센서라면 가로 640열, 세로 480행의 행렬의 형태로 픽셀이 존재한다. 따라서 한 픽셀은 가로 및 세로가 모두 4.8mm/640 = 7.5㎛인 정사각형의 모양이고, 이 경우에 확대율 g는 1pixel/7.5㎛ = 133.3pixel/mm이다. 다시 말하면 보정전 영상면(1134)은 이미지 센서면에 결상된 왜곡된 영상을 전기적인 신호로 변환하여 얻어지는 왜곡된 디지털 영상이며, 정사각형 픽셀의 한 변의 길이를 p라고 하면 확대율 g는 수학식 11과 같이 주어진다.

이미지 센서면 상의 제 1 교점 Ｏ는 광축과 센서면과의 교점이다. 따라서 광축을 따라서 입사한 광선은 상기 제 1 교점 Ｏ에 상점을 형성한다. 정의에 의하여 이미지 센서면에서의 제 1 교점 Ｏ에 대응하는 보정전 영상면 상의 한 점 Ｏ' - 이하 제 2 교점이라 지칭함 - 은 광축을 따라서 입사한 입사광에 의한 상점에 해당한다.

보정전 영상면 상의 제 2 교점 Ｏ'을 지나고 보정전 영상면의 가로 방향의 변에 평행한 축을 x'-축으로 하고, 상기 제 2 교점을 지나며 상기 보정전 영상면의 세로 방향의 변에 평행한 축을 y'-축으로 하는 제 2 직교 좌표계를 가정한다. 양(+)의 x'-축의 방향은 왼쪽 변에서 오른쪽 변으로, 양의 y'-축의 방향은 상단에서 하단으로 가는 방향이다. 이때 보정전 영상면(1134) 상의 임의의 한 점(이하, 제 2점이라 지칭함) P'의 가로 방향의 좌표 x'는 최소값 x'₁ = gx₁ 내지 최대값 x'₂ = gx₂를 가진다(즉, gx₁ ≤ x' ≤ gx₂). 마찬가지로 상기 제 2점 P'의 세로 방향의 좌표 y'는 최소값 y'₁ = gy₁ 내지 최대값 y'₂ = gy₂를 가진다(즉, gy₁ ≤ y' ≤ gy₂).

도 12는 본 발명의 영상 표시 수단의 왜곡이 보정된 화면, 즉 보정후 영상면(1235)의 개념도이다. 보정후 영상면(1235)은 사각형의 모양을 가지며, 가로변의 길이가 W이고, 세로변의 길이가 H이다. 또한, 보정후 영상면의 가로 방향의 변에 평행한 축을 x"-축으로 하고 세로 방향의 변에 평행한 축을 y"-축으로 하는 제 3 직교 좌표계를 가정한다. 제 3 직교 좌표계의 z"-축은 제 1 직교 좌표계의 z-축 및 제 2 직교 좌표계의 z'-축과 일치한다. 상기 z"-축과 보정후 영상면과의 교점 Ｏ" - 이하 제 3 교점이라 지칭함 - 의 위치는 임의의 값을 가질 수 있으며, 심지어 보정후 영상면의 바깥에 위치할 수도 있다. 여기서 양의 x"-축의 방향은 왼쪽 변에서 오른쪽 변으로, 양의 y"-축의 방향은 상단에서 하단으로 가는 방향이다.

제 1 교점 및 제 2 교점은 광축의 위치이다. 그러나 제 3 교점은 광축의 위치가 아니라 주시 방향(principal direction of vision)에 대응한다. 주시 방향은 광축과 일치할 수 있지만, 반드시 광축과 일치할 필요는 없다. 주시 방향은 바람직한 전방위 혹은 직선수차보정 영상에 대응하는 가상의 전방위 혹은 직선수차보정 카메라의 광축의 방향이다.

보정후 영상면(1235) 상의 제 3점 P"의 가로 방향의 좌표 x"는 최소값 x"₁ 내지 최대값 x"₂를 가진다(즉, x"₁ ≤ x" ≤ x"₂). 정의에 의하여 가로 방향의 좌표의 최대값과 최소값의 차이는 보정후 영상면의 가로변의 길이와 일치한다(즉, x"₂ - x"₁ = W). 마찬가지로 제 3점 P"의 세로 방향의 좌표 y"는 최소값 y"₁ 내지 최대값 y"₂를 가진다(즉, y"₁ ≤ y" ≤ y"₂). 정의에 의하여 세로 방향의 좌표의 최대값과 최소값의 차이는 보정후 영상면의 세로변의 길이와 일치한다(즉, y"₂ - y"₁ = H).

다음의 표 1은 물체면과 센서면, 보정전/후 영상면에서의 대응하는 변수들을 하나의 표로 요약한 것이다.

면(surface)	물체면	센서면	보정전 영상면	보정후 영상면
면의 가로변의 길이		B	gB	W
면의 세로변의 길이		V	gV	H
좌표계	세계 좌표계	제 1 직교 좌표계	제 2 직교 좌표계	제 3 직교 좌표계
원점의 위치	렌즈의 마디점	렌즈의 마디점	렌즈의 마디점	렌즈의 마디점
원점의 기호		Ｏ	Ｏ'	Ｏ"
좌표축	(X, Y, Z)	(x, y, z)	(x', y', z')	(x", y", z")
물점 혹은 상점의 명칭	물점	제 1점	제 2점	제 3점
물점 혹은 상점의 기호	Q	P	P'	P"
물점 혹은 상점의 2차원 좌표		(x, y)	(x', y')	(x", y")

한편, 상기 세계 좌표계 상의 좌표 (X, Y, Z)를 가지는 한 물점 Q에 대응하는 영상 처리된 화면(1235) 상의 상점 P"의 좌표를 (x", y")라고 하면, 상기 영상 처리 수단(1016)은 상기 물점 Q에서 비롯되는 입사광(905)에 의한 상점 P"이 상기 화면(1235) 상의 좌표 (x", y")에 표시되도록 영상 처리를 하되, 상기 상점의 가로 방향의 좌표 x"는 수학식 12와 같이 주어진다.

여기서 c는 비례 상수이다.

또한, 상기 상점의 세로 방향의 좌표 y"는 수학식 13으로 주어진다.

여기서 F(μ)는 원점을 지나는 단조 증가 함수이다. 수학적으로는 수학식 14와 15를 만족함을 의미한다.

상기 함수 F(μ)는 임의의 형태를 가질 수 있지만 특히 바람직한 형태는 수학식 16 내지 19로 주어진다.

도 13 내지 도 18은 종래 발명의 일 실시 예에 따른 가상적인 바늘구멍 전방위 카메라(hypothetical pinhole panoramic camera)의 화각 및 투사 방식을 이해하기 위한 개념도이다. 이상적인 바늘구멍 전방위 카메라는 지면(즉, X-Z 평면)에 수직한 한 벽면(1430)에 부착되어 있다고 가정한다. 벽면은 X-Y 평면과 일치하며, Y-축은 지면에서 천정을 향한다. 좌표계의 원점은 렌즈의 마디점 N에 위치하며, 렌즈의 광축(1401)의 방향은 Z-축과 일치한다. 여기서는 이상적인 바늘구멍 전방위 카메라인 것으로 가정하였으므로 렌즈의 마디점은 바늘구멍의 위치에 해당한다.

엄밀한 의미에서 광축의 방향은 세계 좌표계의 음의 Z-축의 방향이다. 결상 광학계의 규약에 의하면 피사체(혹은 물점)에서 상면(혹은 상점)을 향하는 방향이 양의 방향이기 때문이다. 이하에서는 이와 같은 사실에도 불구하고 설명의 편의를 위하여 광축의 방향이 세계 좌표계의 Z-축과 일치하는 것으로 기술한다. 본 발명은 렌즈의 설계에 대한 발명이 아니라 렌즈를 이용하는 발명이며, 사용자의 입장에서는 광축의 방향을 본 발명의 실시 예에서와 같이 이해하는 것이 더 간편하기 때문이다.

바늘구멍 전방위 카메라의 스크린 또는 이미지 센서면(1413)은 가로변의 길이가 B이고, 세로변의 길이가 V인 직사각형의 모양이며, 이미지 센서면은 광축(1401)에 수직한 평면이다. 본 실시 예에서 세계 좌표계의 X-축은 제 1 직교 좌표계의 x-축과 평행하고, 방향도 같다. 한편, 세계 좌표계의 Y-축은 제 1 직교 좌표계의 y-축과 평행하지만, 방향은 반대이다. 따라서, 도 14에서 제 1 직교 좌표계의 x-축의 양의 방향은 왼쪽에서 오른쪽으로, 양의 y-축의 방향은 위에서 아래로 가는 방향이다.

제 1 직교 좌표계의 z-축과 센서면(1413)과의 교점 Ｏ - 즉, 제 1 교점 - 는 일반적으로 센서면(1413)의 중심에 위치하지 않으며, 심지어 센서면 바깥에 위치할 수도 있다. 이러한 경우는 수직 방향이나 수평 방향으로 화각이 비대칭인 영상을 얻기 위하여 일부로 이미지 센서의 중심이 렌즈의 중심 - 즉, 광축 - 에서 벗어나도록 하는 경우에 발생할 수 있다.

원통형 투사 방식을 따르는 전방위 카메라는 수직 방향으로는 직선수차보정 투사 방식(rectilinear projection scheme)을 따르고 있으며, 수평 방향으로는 등거리 투사 방식(equidistance projection scheme)을 따르고 있다. 이와 같은 투사 방식은 Y-축을 회전 대칭축으로 하는 반경 S의 반 원통형 물체면(1431)을 가정하는 것에 해당하며, 물체면(1431) 상의 임의의 한 점 Q - 이하 물점(object point)이라 지칭함 - 의 영상은 상기 센서면(1413) 상의 어느 한 점, 즉 상점(image point) P가 된다.

이상적인 바늘구멍 전방위 카메라의 투사방식에 따르면 반 원통 모양의 물체면(1431) 상에 존재하는 피사체의 영상이 세로 방향의 비율이 보존된 채 센서면(1413)에 포착되며, 이 상점의 가로 방향의 좌표 x는 상기 물체면 상에서의 대응하는 물점의 수평 방향의 호(arc)의 길이에 비례한다. 결과적으로, 물체면(1431) 상의 모든 물점들에 의한 이미지 센서면 상의 상점들은 집합적으로 실상(real image)을 형성한다.

도 15는 도 14의 물체면의 X-Z 평면에서의 단면을 보여주며, 도 16은 도 14의 물체면의 Y-Z 평면에서의 단면을 보여준다. 이와 같은 투사 방식을 따를 때 도 17에 예시한 바와 같이 동일한 각거리(angular distance)를 가지는 두 피사체는 센서면에서 동일한 가로 방향(즉, x-축 방향)의 간격(lateral interval)을 가진다. 또한, 세계 좌표계의 Y-축에 평행한 직선, 즉 수직선(vertical line)은 센서면에서 y-축에 평행한 직선이 된다.

도 18은 이상적인 바늘구멍 전방위 카메라의 투사 방식을 다른 관점에서 예시하고 있다. X-Z 평면상의 두 물점 Q₁과 Q₂는 각거리 Δψ를 가지며, 두 물점 Q₁과 Q₂는 센서면, 즉 x-y 평면상에서 대응하는 상점 P₁과 P₂를 가진다. 이때 두 상점 P₁과 P₂ 사이의 간격 Δx는 두 물점 사이의 각거리 Δψ에 비례하며, 비례 상수는 c이다.

실제로는 이와 같은 이상적인 바늘구멍 사진기는 구현이 불가능하므로 대신 영상 처리를 통하여 이와 같은 투사 방식을 구현할 수 있다. 영상 처리를 통하여 이와 같은 원통형 투사 방식을 구현했을 때 물체면 상의 물점 Q와 보정후 영상면 상의 제 3 점 P"사이에 이와 같은 관계식이 성립하게 된다. 그러므로 도 13 내지 도 18로부터 수학식 21로 주어지는 방정식을 얻을 수 있다.

따라서 바람직한 보정후 영상면의 크기와 화각을 설정할 때 수학식 21을 만족하도록 하여야 한다.

도 12의 보정후 영상면(1235)이 전술한 투사 방식을 만족한다면 상기 보정후 영상면 상의 제 3 점 P"의 가로 방향의 좌표 x"에 대응하는 입사광의 가로 방향의 입사각은 수학식 22로 주어진다.

마찬가지로 세로 방향의 좌표 y"을 가지는 제 3 점에 대응하는 입사광의 세로 방향의 입사각은 수학식 21로부터 수학식 23과 같이 주어진다.

따라서 이상적인 투사 방식을 가지는 보정후 영상면 상의 제 3 점의 신호값은 수학식 22로 주어지는 가로 방향의 입사각(즉, 방위각)과 수학식 23으로 주어지는 세로 방향의 입사각(즉, 고도각)을 가지는 물체면 상의 물점으로부터 비롯된 광선이 이미지 센서면 상에 형성한 상점의 신호값이어야 한다.

종래 발명에 의하면 왜곡을 가지는 어안 렌즈의 영상으로부터 이상적인 투사방식을 가지는 전방위 영상을 다음과 같이 얻을 수 있다. 먼저, 사용자의 필요에 따라서 바람직한 전방위 영상의 크기(W, H) 및 제 3 교점 Ｏ"의 위치를 정한다. 상기 제 3 교점은 상기 보정후 영상면의 바깥에 위치할 수도 있다. 다시 말하면, 보정후 영상면에서의 가로 방향의 좌표의 범위 (x"₁, x"₂) 및 세로 방향의 좌표의 범위 (y"₁, y"₂)는 임의의 실수값을 가질 수 있다. 또한, 이 전방위 영상(즉, 보정후 영상면)의 가로 방향의 화각 Δψ를 정한다. 그러면 이 전방위 영상 내의 제 3 점의 직교 좌표 (x", y")에 대응하는 입사광의 가로 방향의 입사각 ψ 및 세로 방향의 입사각 δ를 수학식 22 내지 23을 사용하여 구할 수 있다. 다음으로 이 가로 방향의 입사각과 세로 방향의 입사각에 대응하는 입사광의 천정각 θ와 방위각 φ를 수학식 24와 25를 사용하여 구한다.

다음에는 이 입사광의 천정각 θ에 대응하는 상 크기 r을 수학식 6을 사용하여 구한다. 이 상 크기 r과 배율 g 및 입사광의 방위각 φ를 사용하여 보정전 영상면에서의 상점의 직교 좌표 (x', y')을 다음의 수학식 26 내지 27을 사용하여 구한다.

이와 같은 과정에서 보정전 영상면에서의 제 2 교점의 좌표, 혹은 대등하게 센서면 상에서의 제 1 교점의 위치를 정확하게 결정하여야 한다. 이와 같은 교점의 위치는 영상 처리 기술 등의 다양한 방법에 의하여 용이하게 구할 수 있으며, 당 업계에 널리 알려진 기술이므로 본 명세서에서는 기술을 생략한다.

마지막으로 이 직교 좌표를 가지는 어안 렌즈에 의한 상점의 신호(즉, RGB 신호)를 상기 전방위 영상에서의 직교 좌표 (x", y")을 가지는 상점의 신호로 대입을 한다. 이와 같은 방법으로 전방위 영상 상의 모든 상점에 대하여 영상 처리를 하면 이상적인 투사 방식을 가지는 전방위 영상을 얻을 수 있다.

그런데 실제에 있어서는 모든 이미지 센서 및 디스플레이 수단이 이산화되어 있다는 사실에 의하여 좀 더 복잡한 문제가 발생한다. 도 19는 영상 표시 수단의 이산화된 보정후 영상면의 개념도이며, 도 20은 보정전 영상면의 개념도이다. 상기 보정후 영상면은 가로로 J_max 개의 열(column)과 세로로 I_max 개의 행(row)을 가지는 2차원 행렬의 형태로 픽셀(pixel)들을 가지고 있으며, 각 픽셀은 대개 가로와 세로의 길이가 모두 p인 정사각형의 모양이지만, 영상 처리(image processing) 분야에서 픽셀의 가로 및 세로 변의 길이는 모두 1로 간주한다.

어느 한 픽셀 P"을 지정하기 위해서는 행(row) 번호 I와 열(column) 번호 J를 사용한다. 도 19에서 상기 픽셀 P"의 좌표는 (I, J)로 주어진다. 따라서 이 픽셀에 저장된 신호값은 S(I, J)와 같이 표시할 수 있다. 픽셀은 일정한 면적을 가진다. 이산화된 영상의 왜곡을 보정하기 위하여 임의의 한 픽셀 P"의 물리적인 좌표를 그 픽셀의 중심 위치 - 도 19에서 채워진 원으로 표시됨 - 로 결정한다.

상기 보정후 영상면(1935) 상의 한 픽셀 P"에 대응하는 이미지 센서면 상의 한 상점 - 즉, 제 1 점 - 이 있다. 이 제 1 점에 상을 형성하는 입사광의 세계 좌표계에서의 가로 방향의 입사각은 ψ_I,J ≡ ψ(I, J)와 같이 쓸 수 있다. 또한, 세로 방향의 입사각은 δ_I,J ≡ δ(I, J)와 같이 쓸 수 있다. 그런데 이 제 1 점의 위치는 정확히 어느 한 픽셀의 위치와 일치하는 것은 아니다.

이때 상기 화면(1935)이 전방위 영상이라면 가로 방향의 입사각은 수학식 28에 주어진 바와 같이 가로 방향의 픽셀 좌표 J 만의 함수이어야 한다.

마찬가지로 세로 방향의 입사각은 세로 방향의 픽셀 좌표 I 만의 함수이어야 한다.

또한, 가로 방향으로는 등거리 투사 방식을, 그리고 세로 방향으로는 직선수차보정 투사 방식을 만족한다면 가로 방향의 입사각의 범위와 세로 방향의 입사각의 범위는 수학식 30의 관계식을 만족하여야 한다.

전술한 영상 보정 방법과 비교하면 이산화된 화면에서의 영상 보정 방법은 다음과 같은 과정을 거치게 된다. 먼저, 실험에 의하거나 아니면 정확한 렌즈의 설계도에 입각하여 영상 획득에 사용할 광각 렌즈의 실제 투사 방식을 구한다. 여기서 렌즈의 실제 투사 방식이란 광축에 대하여 천정각 θ를 갖는 입사광이 상기 렌즈의 결상 작용에 의하여 이미지 센서면에 선명한 상점을 형성할 때 상기 이미지 센서면과 광축과의 교점 Ｏ에서 상기 상점까지의 거리 r을 입사광의 천정각 θ의 함수로 구한 것이다.

상 크기 r의 단위가 밀리미터(millimeter)라면, 확대율 g의 단위는 pixel/millimeter가 된다.

상기 함수는 천정각 θ에 대한 단조증가함수이다. 다음으로, 보정전 영상면에서 광축의 위치, 즉 이미지 센서면에서 제 1 교점 Ｏ에 대응하는 보정전 영상면에서의 제 2 교점 Ｏ'의 위치를 구한다. 이 제 2 교점의 픽셀 좌표를 (K_o, L_o)라고 가정한다. 또한, 이미지 센서면 상에서의 상점의 크기 r에 대응하는 보정전 영상면에서의 픽셀 거리 r'의 확대율 g를 구한다. 이 확대율 g는 수학식 32와 같이 주어진다.

이와 같은 일련의 사전 작업이 완료되면 상기 어안 렌즈를 장착한 카메라의 광축을 지면에 평행하게 설치하여 원 영상(즉, 보정전 영상면)을 획득한다. 다음, 바람직한 보정후 영상면의 크기와 제 3 교점의 위치 (I_o, J_o)를 정하고, 상기 보정후 영상면 내의 모든 픽셀 (I, J)에 대하여 수학식 33 내지 34로 주어지는 가로 방향의 입사각 ψ_J 및 세로 방향의 입사각 δ_I를 계산한다.

이 가로 방향의 입사각과 세로 방향의 입사각으로부터 제 1 직교 좌표계에서의 입사광의 천정각 θ_I,J 및 방위각 Φ_I,J를 수학식 35 내지 36를 사용하여 구한다.

다음으로 수학식 31과 35를 사용하여 이미지 센서면 상에서의 상 크기 r_I,J를 구한다.

다음으로, 보정전 영상면 상에서의 제 2 교점의 위치 (K_o, L_o) 및 확대율 g를 사용하여 보정전 영상면 상에서의 제 2 점(2007)의 위치를 수학식 38 및 39를 사용하여 구한다.

상기 제 2 점의 위치는 어느 한 픽셀의 위치와 정확하게 일치하지 않는다. 따라서

를 보정후 영상면에서의 제 3점에 대응하는 보정전 영상면에서의 가상의 픽셀 좌표라고 간주할 수 있으며, 일반적으로 실수 값을 갖는다.

상기 제 2 점이 어느 한 픽셀과 정확히 일치하지 않으므로 영상 처리를 하기 위해서는 보간법(interpolation)을 사용하여야 한다. 상기 제 2 점의 위치에 가장 근접한 픽셀(2008)의 좌표는 수학식 40 내지 41을 사용하여 구할 수 있다.

여기서 int{x}는 실수 x에 가장 근접한 정수를 출력하는 함수이다. 그러면 그 화소에 저장된 신호 P(K, L)을 복사하여 펼쳐진 전방위 영상의 해당하는 화소의 신호값 S(I, J)로 지정한다.

이와 같은 기하학적 변환은 아주 단순하지만, 전방위 영상의 화소수가 많을 경우에도 신속하게 수행할 수 있는 장점이 있다. 그런데, 이와 같이 가장 단순한 방법으로 영상 처리를 하여 얻어지는 전방위 영상은 원래 이미지 센서의 화소수가 충분하지 않거나 아니면 전방위 영상을 확대했을 때, 서로 다른 피사체 간의 경계면이 마치 톱날처럼 보이는 단점이 있다. 이와 같은 단점을 해소하기 위하여 이중선형보간법(bi-linear interpolation)이나 3차 이상의 고차원 보간법을 사용할 수 있다.

도 21을 참조하면, 왜곡이 없는 보정후 영상면에서 좌표 (I, J)를 가지는 화소 P"에 대응하는 왜곡이 있는 보정전 영상면 상에서의 제 2 점(2107)의 위치 (x', y')를 삼각형으로 표시하였다. 이때 인접하는 화소간의 가로 및 세로 방향의 간격은 모두 1이며, 상기 제 2 점은 화소 (2108)로부터 가로 방향으로 Δ_x 및 세로 방향으로 Δ_y 픽셀만큼 떨어져 있다.

상기 화소 (2108)은 상기 제 2 점의 실수 좌표값을 절사하여 얻어지는 정수값 (K, L)을 좌표값으로 가지는 화소이다. 즉, 예를 들어 x' = 103.9라면 int(x') = 104이지만, 이중선형보간법에서는 이 값을 사용하지 않고 x'보다 작은 가장 큰 정수인 103이 L 값이 된다. 수학적으로는 L = floor(x') 및 K = floor(y')으로 표기한다. 이때 이중선형보간법을 사용하여 계산한 화소의 신호값은 다음의 수학식 43과 같이 주어진다.

이와 같은 이중선형보간법을 사용하면 영상은 더 선명해지지만, 계산량이 증가하게 되므로 특히 비디오 영상과 같이 실시간으로 동작하는 영상 시스템에서 장애 요인이 될 수 있다. 한편, bi-cubic interpolation이나 spline 보간법을 사용하면 더 만족스러운 영상을 얻을 수 있으나 계산량이 더 많아지게 된다.

한편으로 영상을 확대하거나 축소했을 때, 즉 소프트웨어적으로 줌인(zoom in) 혹은 줌아웃(zoom out)을 했을 때는 또 다른 문제가 발생할 수 있다. 예를 들어 영상을 지나치게 확대했을 때 영상이 흐리게 보이는 현상이 발생할 수 있고, 영상을 지나치게 축소했을 때에는 모아레(moire) 현상이 발생할 수도 있다. 또한 영상 처리에 의하여 한 화면내에서도 영상이 상대적으로 축소도 되고, 확대도 되어 두 문제가 동시에 발생할 수도 있다. 이와 같은 문제점을 개선하기 위하여 일반적으로 필터링(filtering)을 할 수 있다.

도 22는 도 5의 인공적인 어안 영상으로부터 생성된 원통형 투사 방식의 전방위 영상의 예이며, 과학기술용 소프트웨어인 MatLab을 사용하여 생성한 것으로 그 code는 다음과 같다.

% Panoramic image generated from a computer-generated fisheye image.

% Programmed by Gyeong-il Kweon, the Super-Genius!

% Original fisheye image supplied by Prof. Paul Bourke.

% E:\FisheyeLensForWindow2013\MatLab\M20131116A\main.m

% 2013. 11. 16.

%

% *** Read in the graphic image **********

picture = imread('image', 'jpg');

[Kmax, Lmax, Qmax] = size(picture);

CI = double(picture) + 1;

%

Lo = (Lmax + 1) / 2;

Ko = (Kmax + 1) / 2;

r2 = Lo - 1;

theta2 = pi / 2;

%

% Draw an empty canvas

Jmax = 250; % canvas width

Imax = 250; % canvas height

Jo = (Jmax + 1) / 2;

Io = (Imax + 1) / 2;

EI = zeros(Imax, Jmax, 3); % dark canvas

%

A = (Jmax - 1) / pi;

% Virtual screen

for I = 1: Imax

for J = 1: Jmax

p = J - Jo;

q = I - Io;

psi = p / A;

delta = atan(q / A); % Cylindrical projection scheme

% delta = q / A; % Equi-distance projection scheme

% delta = 2.0 * atan(exp(q / A)) - pi / 2.0; % Mercator projection

phi = atan2(tan(delta), sin(psi));

theta = acos(cos(delta) * cos(psi));

r = (r2 / theta2) * theta; % equidistance projection

x = r * cos(phi) + Lo;

y = r * sin(phi) + Ko;

Km = floor(y);

Kp = Km + 1;

dK = y - Km;

Lm = floor(x);

Lp = Lm + 1;

dL = x - Lm;

if((Km >= 1) & (Kp <= Kmax) & (Lm >= 1) & (Lp <= Lmax))

EI(I, J, :) = (1 - dK) * (1 - dL) * CI(Km, Lm, :) ...

+ dK * (1 - dL) * CI(Kp, Lm, :) ...

+ (1 - dK) * dL * CI(Km, Lp, :) ...

+ dK * dL * CI(Kp, Lp, :);

else

EI(I, J, :) = zeros(1, 1, 3);

end

end

end

DI = uint8(EI - 1);

imwrite(DI, 'result.jpg', 'jpeg');

imagesc(DI);

axis equal;

여기서 보정후 영상면의 크기는 어안 영상의 크기와 동일하게 가로 방향 및 세로 방향으로 모두 250 pixel이다(즉, Imax = Kmax = 250, Jmax = Lmax = 250). 또한, 전방위 영상의 가로 방향의 화각은 180°(즉, π)이고, 제 3 교점은 보정후 영상면의 중심에 있는 것으로 가정하였다(즉, Io = (Imax + 1) / 2, Jo = (Jmax + 1) / 2).

한편, 도 23은 등거리 투사 방식의 전방위 영상이며, 도 24는 메카토르 투사 방식의 전방위 영상이다.

도 25는 참고 문헌 [특 1] 및 [비특 5]에 기술된 화각 190°의 어안 렌즈(모델명: FEED802)의 사진이며, 도 26은 이 어안 렌즈의 기계적 구조를 이해하기 쉽도록 일부를 절개한 3차원 투시도이다. 도 27은 이 어안 렌즈의 광축을 지면에 평행하게 설치한 상태에서 포착한 실내의 전경이다. 이 어안 렌즈의 실제 투사 방식은 상기 참고 문헌에 자세히 기술되어 있다. 한편, 도 28은 도 27의 어안 영상으로부터 추출한 원통형 투사 방식의 전방위 영상이다. 여기서 보정후 영상면의 가로 대 세로비는 16:9로 주어졌으며, 제 3 교점의 위치는 보정후 영상면의 중심과 일치하고, 수평 방향의 화각은 190°로 설정되었다.

도 28에서 볼 수 있는 바와 같이 수직선이 모두 수직선으로 표현되었으며, 피사체가 모두 자연스럽게 보이는 것을 알 수 있다. 약간의 오차는 주로 광축을 수평으로 맞추는 정렬 오차 및 보정전 영상면에서 광축의 위치를 결정하는 실험적인 오차에 의한 것이다.

도 29는 메가픽셀급 어안 렌즈(모델명: FEED802)를 사용하는 영상 처리 기반의 전방위 카메라(모델명: pCAM1003) 내부의 회로 기판을 보여준다. 이 기판은 영상 획득 수단과 영상 처리 수단이 하나로 합쳐진 것이며, 기판의 왼쪽에 어안 렌즈(FEED802)가 장착된 것을 볼 수 있다. 이미지 센서는 1600×1200 픽셀 해상도를 가지는 1/3.2-inch progressive CMOS image sensor인 Aptina사의 MT9D131을 사용하였으며, 영상 처리를 위한 중앙 처리 장치는 Texas Instrument사의 범용 DSP chip인 TMS320DM6437을 사용하였다. 이 회로 기판에서 생성된 D1급(720×480)의 NTSC 영상이 비디오 케이블로 출력되어 CCTV 모니터와 같은 영상 표시 장치에서 보여진다.

도 30은 도 29에 보여지는 전방위 카메라를 포함하는 영상 처리 기반의 전방위 카메라의 일반적인 구성도이며, 크게 영상 획득 수단(3010)과 영상 처리 수단(3016)과 영상 표시 수단(3017)으로 구성된다. 영상 처리 수단(3016)은 영상 획득 수단(3010)에서 획득한 영상의 한 프레임(frame)을 저장하는 입력 버퍼(input frame buffer: 3071)를 가지며, 여기에는 영상 획득 수단(3010)에서 획득한 영상이 이산화된 2차원 행렬의 형태로 저장되어 있다. 이 영상이 보정전 영상면이다. 한편, 출력 버퍼(output frame buffer: 3073)에는 영상 표시 수단(3017)에 표시될 수 있는 보정후 영상면(3035)이 이산화된 2차원 행렬의 형태로 존재한다.

이 입력 버퍼에 존재하는 보정전 영상면으로부터 보정후 영상면을 생성하여 출력 버퍼에 저장하는 중앙 처리 장치(3075)가 존재한다. 이 출력 버퍼와 입력 버퍼와의 대응관계는 NOR Flash와 같은 비휘발성 메모리(3079)에 참조표(LUT: Look-Up Table)의 형태로 저장된다. 다시 말하면 종래 발명의 실시 예에 해당하는 알고리즘을 사용하여 출력 버퍼의 특정 픽셀에 대응하는 입력 버퍼의 픽셀의 주소를 지정하는 기다란 리스트를 저장하고 있다. 중앙 처리 장치(3075)는 이 비휘발성 메모리에 저장된 리스트를 참조하여 영상처리를 수행한다.

한편, 영상 선택 장치(3077)는 전방위 카메라에 연결된 각종 센서 혹은 스위치에서 오는 신호를 받아서 중앙 처리 장치로 전달하는 역할을 한다. 예를 들어 사용자가 누르는 버튼을 인식하여 왜곡된 어안 영상을 그대로 출력하는지, 원통형 파노라마나 메카토르 투사 방식의 파노라마, 혹은 직선수차보정 영상을 출력하는지를 지시한다. 상기 비휘발성 메모리에는 사용자가 선택 가능한 옵션의 수에 대응하는 숫자만큼의 리스트가 있다.

도 31은 이 전방위 카메라의 투사 방식을 확인하기 위한 실험 set-up을 보여준다. 전방위 카메라는 다트 보드(dart board)의 중앙에 놓여져 있으며, 바닥에는 세계 좌표계의 Z-축과 X-축이 표시되어 있다. 카메라가 다트 보드의 중심과 정확히 일치하지 않는 이유는 어안 렌즈(FEED8020)의 마디점이 다트 보드의 중심과 최대한 일치하도록 설치하였기 때문이다. 이 전방위 카메라에서 포착된 영상은 도 32에 보이는 CCTV 모니터로 출력된다.

원형으로 배치된 코카콜라 캔 및 훌라후프(Hula-hoof)가 도 32에서는 마치 가로 방향으로 일직선상에 배치된 것처럼 포착된 것을 알 수 있다. 따라서, 도 13 내지 도 18에서 상세하게 기술된 전방위 투사 방식이 실제로 구현되고 있다. 또한 콜라 캔의 갯수를 세어보면 실제로 180°가 보여지고 있음을 알 수 있다. 더구나 마치 피자 조각처럼 일정한 각 거리를 가지는 호(arc)의 형태를 가지는 다트 보드의 칸들이 도 32에서는 마치 직사각형인 것처럼 포착된 것을 알 수 있다. 따라서 세계 좌표계에서의 각 거리(anular distance)가 보정후 영상면에서는 가로 방향의 간격(distance)에 비례하는 것을 알 수 있다.

도 32에서는 수직선이 모두 수직선으로 보일 뿐만 아니라 수직 방향으로도 직선수차보정 방식을 따르고 있음을 알 수 있다. 이와 같이 개발된 전방위 카메라는 참조표를 사용하여 개발된 알고리즘을 최대한 충실하게 구현하고 있다.

도 33과 도 34는 일반적인 화각을 가지는 CCTV에 대하여 전방위 카메라가 가지는 장점을 이해하기 위한 개념도이다. 일반적인 CCTV는 화각 90° 내외의 렌즈를 장착하고 있으며, 그 이상의 화각을 가지는 렌즈는 왜곡이 심하여 심미적으로 불쾌감을 유발하므로 잘 사용되지 않는다. 이와 같은 화각을 가지는 CCTV로 실내를 모니터링하기 위하여 대개 실내 천정의 한쪽 구석에 설치된다. 이와 같은 경우에 카메라는 위에서 아래를 내려다보는 방향으로 설치될 수 밖에 없으므로 방문객이나 침입자의 얼굴을 정면에서 포착하지 못한다는 단점이 있다. 종종 뉴스에서 편의점에 강도가 든 장면을 보여주는 CCTV 녹화 영상이 보여지는데 강도의 얼굴이 아니라 정수리 부근만 찍히는 경우가 많음을 알 수 있다.

그런데 수평 화각 180° 이상의 화각을 가지는 전방위 카메라는 굳이 천정에 설치할 필요가 없으며 출입구의 맞은편 벽 눈높이에 설치하여 방문객의 얼굴을 정면에서 포착할 수 있으면서도 사각 지대를 완전히 없앨 수 있다. 이와 같은 전방위 카메라는 사각지대 없이 전체를 한눈에 모니터링할 수 있다는 장점이 있는 반면에, 초광각 카메라의 특성상 조금 멀리 떨어진 피사체가 너무 작게 포착될 수도 있다는 장점이 있다.

한편, 실내의 한쪽 벽면에 부착하여 실내 전체를 감시할 수 있는 또 다른 영상 시스템의 예로는 팬(pan)·틸트(tilt)·줌(zoom) 카메라를 들 수 있다. 이와 같은 카메라는 광학적으로 줌 기능이 있는 렌즈를 장착한 CCTV를 팬·틸트 스테이지(stage)에 장착함으로써 구현된다. 도 35와 도 36은 이와 같은 팬·틸트·줌 카메라의 전형적인 형태를 보여주는 예시도이다.

팬 작용은 수평 방향으로 소정의 각도만큼 회전할 수 있는 기능을 말하며, 틸트 작용은 수직 방향으로 소정의 각도만큼 회전할 수 있는 기능을 말한다. 다시 말하면 카메라가 천체를 기술하는 천구(celestial sphere)의 중심에 있다고 할 때 팬은 경도(longitude)를 변경하는 작용(operation)을 의미하며, 틸트는 위도(latitude)를 변경하는 작용을 의미한다. 따라서 팬 작용의 이론적인 범위는 360°이며, 틸트 작용의 이론적인 범위는 180°이다.

이와 같은 팬·틸트·줌 카메라의 단점은 높은 가격과 큰 부피 및 중량을 들 수 있다. 광학적 줌 기능이 있는 렌즈는 설계의 난이성과 구조의 복잡성으로 인하여 부피도 크고, 무게도 무거우며 가격도 고가이다. 또한, 팬·틸트 스테이지는 카메라에 못지않은 고가의 장치이다. 따라서 팬·틸트·줌 카메라를 설치하기 위해서는 상당히 많은 비용을 지불하여야 한다. 또한, 팬·틸트·줌 카메라는 부피도 크고 무게도 무거우므로 응용 예에 따라서 상당한 장애 요인이 될 수 있다. 예를 들어 비행기와 같이 탑재체의 중량이 상당히 중요한 경우나, 아니면 좁은 공간에 영상 시스템을 설치하기 위하여 공간적인 제약이 존재하는 경우이다. 더구나 팬·틸트·줌 작용은 물리적인 작용이므로 이러한 작용을 수행하는데 시간이 많이 소요된다. 따라서 응용 예에 따라서 이와 같은 카메라의 기계적인 반응이 충분히 빠르지 않을 수 있다.

한편, 참고 문헌 [특 4]에는 물리적으로 움직이는 부분이 없이 팬·틸트·로테이트·줌 기능을 할 수 있는 영상 시스템이 기술되어 있다. 상기 발명은 화각이 180°이상인 어안 렌즈를 장착한 카메라를 사용하여 영상을 획득한 뒤 사용자가 조이스틱 등의 입력장치를 사용하여 주시 방향(principal direction of vision)을 지정하면 왜곡이 없는 카메라가 그 방향을 향했을 때의 영상, 즉 직선수차보정 영상(rectilinear image)을 추출해 주는 것을 특징으로 한다. 이 발명과 선행 기술과의 차별성은 사용자가 조이스틱이나 컴퓨터 마우스 등 다양한 입력장치에 의하여 선택한 방향의 직선수차보정 영상을 생성해 준다는 사실이다. 이러한 기술은 가상 현실(virtual reality) 혹은 기계적인 팬·틸트·줌 카메라를 대체하려고 할 때 핵심적인 기술로서 키워드는 "상호적인 영상(interactive picture)"이라고 할 수 있다. 이러한 기술에서는 물리적으로 움직이는 부분이 없으므로 시스템의 응답 속도가 빠르고 기계적 고장의 우려가 적은 장점이 있다.

일반적으로 감시 카메라와 같은 영상 시스템을 설치할 때에는 수평면에 수직인 수직선이 획득된 영상에서도 수직선으로 표시되도록 한다. 그러한 상태에서 기계적인 팬·틸트·줌 작용을 하더라도 상기 수직선은 영상에서 계속 수직선으로 표시된다. 그런데 참고 문헌 [특 4]의 발명에서는 소프트웨어적인 팬·틸트 작용을 하여 얻어진 영상에서 수직선이 일반적으로 수직선으로 표시되지 않는다. 이와 같은 부자연스러운 화면을 보정하기 위하여 기계적인 팬·틸트 카메라에는 없는 로테이드(rotate) 작용을 추가적으로 수행하여야 한다. 그런데 상기 발명에서는 수직선이 수직선으로 표시되기 위하여 필요한 회전각이 얼마인지가 제시되지 않고 있다. 따라서 상기 발명에서는 수직선이 수직선으로 표시되는 영상을 얻기 위하여 시행착오적인 방법으로 정확한 회전각을 찾아야 하는 단점이 있다.

또한, 상기 발명에서는 어안 렌즈의 투사 방식을 이상적인 등거리 투사 방식(equi-distance projection scheme)으로 가정하고 있다. 그런데 실제 어안 렌즈의 투사 방식은 이상적인 등거리 투사 방식과 상당한 오차를 보이는 것이 보통이다. 상기 발명은 이와 같이 실제 렌즈의 왜곡 특성이 반영되지 못하므로 영상 처리를 한 영상에서도 왜곡이 있게 된다.

참고 문헌 [특 5]에는 참고 문헌 [특 4]에서 어안 렌즈의 실제 투사 방식이 반영되지 않는 단점을 보완한 영상 처리 방법이 제시되어 있다. 그러나 수직선이 영상에서 수직선으로 표시되지 않는 단점은 해소되지 않고 있다.

참고 문헌 [특 6]에는 어안 렌즈로 포착한 영상을 원격으로 전송하여 수신단에서 왜곡이 없는 직선수차보정 영상을 생성하는 영상 시스템이 기술되어 있는데 이 시스템의 가장 큰 장점으로는 기계적인 팬·틸트 카메라와 다르게 수신단에서 송신단으로 조정 신호(control signal)를 보낼 필요가 없다는 점이다. 또한, 송신단 1개에 대하여 다수의 수신단에서 각자 별개의 직선수차보정 영상을 생성할 수도 있다는 추가적인 이점이 있다.

도 37은 참고 문헌 [특 7]에 개시된 직선수차보정 투사 방식의 개념도이다. 직선수차보정 투사 방식의 렌즈가 흔히 일컬어지는 왜곡이 없는 렌즈이며, 직선수차보정 렌즈의 특성은 바늘구멍 사진기의 특성과 동일하다고 간주한다. 이와 같은 직선수차보정 투사 방식의 영상을 얻기 위하여 도 37에 도시한 바와 같이 세계 좌표계의 물체면(3731)과 보정후 영상면(3735)을 고려한다.

참고 문헌 [특 3]에 개시된 영상 시스템은 임의의 방향을 향하고 있으며, 제 3 직교 좌표계는 이 영상 시스템의 광축(3701)을 음의 z"-축으로 하며, 렌즈의 마디점 N을 원점으로 한다. 이미지 센서면은 가로변의 길이가 B이고, 세로변의 길이가 V인 직사각형의 모양이며, 이미지 센서면은 광축에 수직인 평면이다. 한편, 보정후 영상면은 가로변의 길이가 W이고, 세로변의 길이가 H인 직사각형의 모양이다. 제 1 직교 좌표계의 x-축과 제 2 직교 좌표계의 x'-축, 제 3 직교 좌표계의 x"-축 및 세계 좌표계의 X-축은 모두 이미지 센서의 가로변에 평행하다. 또한, 제 1 직교 좌표계의 z-축과 제 2 직교 좌표계의 z'-축 및 제 3 직교 좌표계의 z"-축은 모두 동일하며 세계 좌표계의 Z-축과 정 반대의 방향을 가리킨다.

참고 문헌 [특 3]의 발명에서는 보정후 영상면이 렌즈의 마디점에서 거리 s"에 위치한다고 가정한다. 직선수차보정 투사 방식에서는 물체면(3731)의 형상도 광축에 수직인 평면이며, 물체면 상의 피사체의 영상이 가로 방향의 비율과 세로 방향의 비율이 모두 보존된 채 보정후 영상면(3735) 상에 재현된다. 직선수차보정 렌즈의 이상적인 투사 방식은 바늘구멍 사진기의 투사방식과 동일하다. 바늘 구멍 사진기의 단순한 기하학적 특성을 고려하면, 물체면(3731)의 크기나 형상을 보정후 영상면의 크기나 형상과 동일한 것으로 가정하는 것이 편리하다. 따라서, 물체면(3731)에서 렌즈의 마디점 N까지의 거리도 s"이라고 가정한다.

도 38은 렌즈의 수평 방향의 화각 Δψ가 보정후 영상면(3835a, 3835b, 3835c)의 상대적인 위치에 의하여 어떻게 변하는지를 보여주는 개념도이다. 도 38(a)에서 보정후 영상면의 위치는 광축에 대하여 대칭이다. 따라서 이 보정후 영상면에 포착되는 영상도 대칭적인 화각을 가진다. 한편, 도 38(b)에서 보정후 영상면(3835)이 광축에 대하여 한쪽으로 치우쳐져 있으며, 따라서 화각도 좌·우가 다르다. 이와 같은 작용은 주시 방향을 변경하지 않으면서 모니터링하고자 하는 영역을 변경하고자 할 때에 유용하다. 물리적으로는 이미지 센서를 광축에 대하여 한쪽으로 치우치게 배치하는 경우에 해당한다. 이와 같은 작용을 본 발명에서 슬라이드(slide) 작용이라고 지칭하기로 한다.

한편, 도 38(c)는 마디점에서 보정후 영상면까지의 거리 s"를 멀게 변경한 경우를 보여준다. 이 경우에는 도시한 바와 같이 화각이 좁아지게 되어, 좁은 영역만을 모니터링하게 된다. 이것은 물리적으로 줌(zoom) 작용에 해당한다. 따라서 이와 같이 광축에 대한 보정후 영상면의 위치와 마디점까지의 거리를 변경함으로써 슬라이드 작용과 줌 작용을 할 수 있다.

도 39는 이미지 센서면과 광축과의 교점 O, 즉 제 1 교점에 대응하는 보정후 영상면 상의 제 3 교점 O"이 보정후 영상면의 중심 C"과 일치하지 않는 경우를 도시한 것이다. 따라서 슬라이드 작용을 한 영상 시스템으로 생각할 수 있다. 제 3 교점을 원점으로 하는 2차원 직교 좌표계에서 상기 중심 C"의 좌표는 (x"_c, y"_c)이다. 보정후 영상면의 가로 방향의 길이가 W이므로, 상기 중심 C"을 기준으로 가로 방향의 좌표는 최솟값 x"₁ = -W/2 내지 최댓값 x"₂ = W/2이다. 여기에 중심 C"의 좌표를 고려하면 보정후 영상면 상에서의 가로 방향의 좌표의 범위는 최솟값 x"₁ = x"_c - W/2 내지 최댓값 x"₂ = x"_c + W/2이다. 마찬가지로 세로 방향의 좌표의 범위는 최솟값 y"₁ = y"_c - H/2 내지 최댓값 y"₂ = y"_c + H/2이다.

보정후 영상면 상의 제 3 교점 O"에서 제 3점 P"까지의 거리, 즉 상 크기 r"은 수학식 44와 같이 주어진다.

렌즈의 마디점에서 보정후 영상면까지의 가상적인 거리가 s"이므로, 상기 직선수차보정 렌즈에 의해 제 3점에 도달하는 입사광은 수학식 45로 주어지는 천정각을 갖는다.

한편, 상기 입사광의 방위각은 수학식 46과 같이 주어진다.

따라서 이러한 천정각과 방위각을 갖는 입사광이 렌즈의 결상 작용에 의해 상기 이미지 센서면에 상점을 형성할 때 그 상점의 좌표는 수학식 47 내지 48과 같이 주어진다.

따라서 이와 같은 직교 좌표를 가지는 보정전 영상면 상에서의 신호값을 보정후 영상면 상의 제 3점의 신호값으로 대입하면 된다.

슬라이드 작용이 없을 때, 즉, 제 3 교점의 위치가 보정후 영상면의 중심과 일치할 때 수학식 49의 관계식이 성립한다.

수학식 49를 이용하여 주어진 가로 방향의 화각이나 세로 방향의 화각을 갖는 보정후 영상면의 가상적인 거리 s"을 계산할 수 있다. 편의상 보정후 영상면의 크기 (W, H) 및 가로 방향의 화각 Δψ를 먼저 구하면 상기 보정후 영상면의 거리 s"이 정해지고, 이 거리로부터 세로 방향의 대칭적인 화각 Δδ가 자동적으로 정해진다. 한편, 슬라이드 작용에 의하여 보정후 영상면의 중심의 좌표가 (x"_c, y"_c)로 주어진다고 하면, 다음의 수학식 50 내지 51의 관계식이 성립한다.

여기서 ψ_max 및 ψ_min은 가로 방향의 최대 입사각 및 최소 입사각이며, 마찬가지로 δ_max 및 δ_min은 세로 방향의 최대 입사각 및 최소 입사각이다. 또한, 중심의 위치와 상관없이 항상 수학식 52의 관계식을 만족하여야 한다.

전방위 영상과 마찬가지로 모든 이미지 센서 및 디스플레이 수단이 이산화되어 있다는 사실을 고려하면 영상 처리 과정은 다음과 같은 수식들을 사용하는 것이 편리하다. 먼저, 보정후 영상면의 크기 (I_max, J_max) 및 슬라이드 전의 가로 방향의 화각 Δψ를 정한다. 그러면 렌즈의 마디점에서 보정후 영상면까지의 픽셀 거리 s"를 수학식 53을 이용하여 구할 수 있다.

또한, 보정후 영상면의 중심의 좌표는 수학식 54와 같이 주어진다.

여기서 수학식 54는 이산화된 영상에서 왼쪽 위의 픽셀 좌표가 (1, 1)로 지칭하는 관행을 반영한 것이다.

다음으로, 필요에 따라서 제 3 교점으로부터 상기 중심의 변위 (ΔI, ΔJ)를 결정한다. 이와 같은 설정이 완료되면 보정후 영상면 상의 모든 픽셀에 대하여 수학식 55로 주어지는 천정각과 수학식 56으로 주어지는 방위각을 계산한다.

다음으로, 수학식 57을 사용하여 이미지 센서면 상에서의 상 크기 r_{I ,J}를 구한다.

다음으로, 보정전 영상면 상에서의 제 2 교점의 위치 (K_o, L_o) 및 확대율 g를 사용하여 보정전 영상면 상에서의 제 2점의 위치를 구한다.

이와 같이 대응하는 제 2점의 위치를 찾았으면 전술한 보간법을 사용하여 직선수차보정 영상을 구할 수 있다.

도 40은 도 5의 어안 영상으로부터 추출한 직선수차보정 영상으로서 보정후 영상면의 크기는 가로 방향으로 240 픽셀이고, 세로 방향으로 180 픽셀이며, 슬라이드 작용없이 가로 방향의 화각이 120°이다. 도 40에서 알 수 있는 바와 같이 모든 직선이 직선으로 포착되고 있는 것을 알 수 있다. 한편, 도 41은 도 40의 설정에서 보정후 영상면의 중심을 가로 방향으로 70 픽셀, 세로 방향으로 -30 픽셀 이동한 직선수차보정 영상을 보여준다.

한편, 도 42는 도 27의 어안 영상에서 추출한 직선수차보정 영상으로서 가로 대 세로의 비는 4:3이며, 제 3 교점의 중심은 보정후 영상면의 중심에 위치하고, 가로 방향의 화각은 60°이다. 이 보정후 영상면에서는 세계 좌표계 상의 모든 직선들이 직선으로 표현되고 있는 것을 알 수 있다.

화각 180°의 어안 렌즈를 장착한 카메라 또는 가로 방향의 화각이 180°인 전방위 카메라가 실내의 한 벽면에 부착되어 있다면 사실상 감시의 사각 지대가 없다. 카메라가 포착하지 못하는 영역은 감시의 필요성이 없는 벽면이기 때문이다. 그러나 전술한 바와 같이 어안 렌즈에 의한 영상은 통형 왜곡으로 인하여 심미적으로 불쾌감을 유발하며, 왜곡이 없는 초광각 직선수차보정 영상은 비록 실내의 대부분을 볼 수 있다고 하더라도 광축에 대하여 많이 떨어져 있는 방향의 피사체는 자연스럽게 포착되지 않는다. 또한, 전방위 카메라에 의한 영상은 실내 전체를 자연스럽게 포착할 수는 있지만 멀리 떨어져 있는 피사체가 너무 작게 포착되어서 식별이 곤란할 가능성이 있다. 이러한 경우에 가장 자연스러운 영상은 피사체의 방향으로 카메라를 향하게 하여 정면으로 바라보는 직선수차보정 영상이다.

전술한 바와 같이 물리적으로 이러한 일이 가능한 카메라는 왜곡이 없는 직선수차보정 렌즈를 구비하고 팬(pan)·틸트(tilt) 스테이지에 장착된 카메라이다. 카메라가 주의가 필요한 방향을 정면으로 향할 수 있기 때문에 가장 만족스러운 영상을 얻을 수 있기 때문이다. 또한, 고양이나 불법 칩입자처럼 움직이는 피사체가 있을 경우에 피사체의 움직임을 그대로 따라가면서 영상을 포착할 수도 있다. 참고 문헌 [특 7]에는 이와 같은 기능을 소프트웨어적으로 구현하기 위하여 소프트웨어적으로 팬 작용을 한 이후에 틸트 작용을 하는 방법 및 틸트 작용을 한 이후에 팬 작용을 하는 영상 처리 방법이 개시되어 있다.

도 43은 참고 문헌 [특 1]의 어안 렌즈를 사용하여 획득한 또 다른 실내 전경으로서 어안 렌즈의 광축이 지평면에서 바닥(천저)을 향하여 45° 기울어진 상태에서 촬영한 정지 영상이다. 한편, 도 44는 도 43의 어안 영상에서 추출한 팬·틸트 작용을 한 직선수차보정 영상이다. 구체적으로 보정후 영상면의 크기는 가로 방향으로 1280 픽셀이고, 세로 방향으로 960 픽셀이며, 슬라이드·팬·틸트 작용전의 가로 방향의 화각이 60°이며, 슬라이드 작용은 없고, 회전각은 α = 45°이고 β = 50°인 경우를 도시한 것이다. 그런데 지면에 수직으로 서있는 피사체 - 예를 들어 책꽂이 - 가 기울어져 보이는 것을 알 수 있다. 이와 같은 경우에는 틸트 작용이 팬 작용에 선행해야 만족스러운 영상을 얻을 수 있다.

도 45는 도 43의 어안 영상에서 추출한 틸트·팬 작용을 한 직선수차보정 영상이다. 구체적으로 보정후 영상면의 크기는 가로 방향으로 1280 픽셀이고, 세로 방향으로 960 픽셀이며, 슬라이드·팬·틸트 작용전의 가로 방향의 화각이 60°이고, 슬라이드 작용은 없고, 회전각은 α = 45°이고, β = 50°인 경우를 도시한 것이다. 도 28에서는 책꽂이가 똑 바로 서 있는 것을 볼 수 있다.

이와 같이 팬 작용과 틸트 작용의 선후 관계에 따라서 서로 다른 영상이 얻어지는 것을 알 수 있으며, 카메라의 설치 상태에 따라서 바람직한 영상 처리 방법을 사용하여야 한다.

도 46은 참고 문헌 [특 7]에 제시된 사각 지대를 완전히 없앨 수 있는 종래 발명의 자동차용 후방 카메라의 개념도이다. 어안 렌즈는 자동차(4651)의 트렁크 내부에 장착되어 자동차 뒤쪽의 영상을 사각지대 없이 모니터링할 수 있으며, 자동차 범퍼나 뒤쪽 창문에 설치할 수도 있다. 그러나 후방 카메라의 목적을 고려하면 트렁크 상단의 위치가 가장 이상적일 것이다. 또한, 버스나 트럭의 경우에는 후미의 상단에 설치하는 것이 바람직할 것이다.

그런데 주차시나 후진시에는 먼 경치가 아니라 자동차 바로 뒤쪽의 영상이 매우 요긴하게 사용될 수 있다. 주행시에 먼 경치를 포착하기 위해서는 영상 획득 수단(4610)의 광축(4601)이 지면(4617)에 평행하도록 설치될 것이다. 따라서 자동차 후방의 장애물이나 주차선을 확인하기 위해서는 종래 발명의 실시 예에 따른 팬·틸트 작용이 유용할 것이다. 이와 같은 경우에는 틸트 작용만을 수행하여 지면의 일부에 해당하는 물체면(4631)을 정면으로 바라보는 듯한 영상을 얻는 것이 가장 요긴하다.

도 47은 도 5의 어안 영상으로부터 추출한 직선수차보정 영상으로서 보정후 영상면의 크기는 가로 방향으로 240 픽셀이고, 세로 방향으로 180 픽셀이며, 슬라이드·팬·틸트 작용 이전의 가로 방향의 화각이 120°이며, 슬라이드 작용은 없으며, 틸트각은 α = 90°이고, 팬각은 β = 0°인 경우를 도시한 것이다. 따라서 이 경우는 팬 작용이 없이 틸트 작용만 한 경우에 해당한다. 그런데 도 47에서 볼 수 있는 바와 같이 화면의 절반만이 의미있는 영상을 포함하고 있다. 그 이유는 도 48을 참조하여 이해할 수 있다.

도 48에서는 영상 획득 수단의 광각 렌즈의 화각이 180°인 경우로 도시하였다. 도 48(a)에서와 같이 슬라이드나 팬·틸트 작용이 없을 때 직선수차보정 투사 방식을 따르는 보정후 영상면(4835a) 및 물체면(4831a)은 광축에 수직하며, 물체면 상의 모든 물점은 상기 렌즈의 시야 범위에 있다. 그런데 도 48(b)에서와 같이 틸트각이 90°가 되면, 보정후 영상면(4835b)의 절반, 그리고 물체면(4831b)의 절반이 렌즈의 시야 범위 밖에 존재한다. 따라서 소프트웨어적으로 90°틸트를 하면 아무런 영상 정보가 없는 영역이 화면의 절반을 차지하게 된다. 더구나 도 46과 48을 참조하면 렌즈의 시야 범위 밖에 있는 영역은 애초에 자동차 차체에 해당하므로 모니터링하는 것 자체가 큰 의미가 없는 영역이다.

한편, 도 49는 이와 같은 문제점을 해결하기 위한 방안을 보여준다. 주시 방향을 광축에 수직하게 하기 위하여 팬각이나 틸트각이 90°가 되게 하고자 한다면, 도 49(a)에 도시한 것처럼 먼저 보정후 영상면(4935a)에 슬라이드 작용을 하여 물체면(4931a)이 광축을 기준으로 회전하고자 하는 방향의 반대쪽에 있도록 한다. 그러면 도 49(b)에서와 같이 틸트각이 90°가 되더라도 물체면은 렌즈의 시야 범위 내에 있게 되어 만족스러운 직선수차보정 영상을 얻을 수 있다. 도 50은 이와 같이 사전에 슬라이드 작용을 한 후 틸트 작용을 하여 얻은 광각 영상의 예이다.

도 49에서 논의의 편의상 슬라이드 작용을 틸트 작용에 앞서는 것으로 기술하였다. 그러나, 슬라이드 작용이나 줌 작용은 팬 작용이나 틸트 작용과 같은 회전 작용과 순서를 바꾸어도 결과에 차이가 없다. 따라서, 틸트 작용을 먼저 한 이후에 슬라이드 작용을 한 것으로 생각하여도 무방하다.

도 51은 전술한 어안 렌즈를 사용하여 획득한 또 다른 영상으로서 어안 렌즈의 광축이 지평면에 평행한 상태에서 촬영한 정지 영상이다. 어안 렌즈를 장착한 카메라를 대형 버스의 측면 벽에서 바깥쪽을 향하여 설치하였고, 카메라의 높이는 대형 버스의 높이와 비슷한 높이에 설치하였다. 도 51에서 알 수 있는 바와 같이 버스의 벽면을 포함하는 반구상의 모든 피사체가 포착이 되었다.

도 52는 도 51의 영상에서 추출한 수평 화각 190°의 전방위 영상으로서 투사 방식은 메카토르 투사 방식을 사용하였으며, 제 3 교점의 좌표는 (I_o, J_o) = (1, J_max / 2)이다. 한편, 도 53은 도 51의 영상에서 추출한 직선수차보정 영상으로서 수평 방향의 화각은 90°이며, 틸트각은 -90°이고 슬라이드 작용의 크기는 (ΔI, ΔJ) = (0, -J_max / 2)이다. 한편, 도 54는 도 51의 영상에서 추출한 또 다른 직선수차보정 영상으로서 수평 방향의 화각은 90°이고, 슬라이드 작용의 크기는 (ΔI, ΔJ) = (J_max / 2, 0)이다. 이 영상은 버스의 전면을 모니터링하기 위하여 먼저 -100°의 팬 작용을 한 이후에 -30°의 틸트 작용을 한 영상이다. 도 51 내지 도 54의 영상으로부터 이와 같은 영상 시스템이 자동차용의 카메라로서 유용함을 알 수 있다.

한편, 참고 문헌 [특 8]에는 소프트웨어적인 영상 처리를 통하거나 또는 영상 처리 과정이 없이 CCD나 CMOS 이미지 센서에서 처음부터 전방위 영상이나 광각 영상, 복합 영상이 출력될 수 있는 기술이 제시되어 있다.

전술한 바와 같이 참고 문헌 [특 7]에는 광축을 중심으로 회전 대칭형인 광각 렌즈의 영상에 수학적으로 정확한 영상 처리를 함으로써 왜곡이 없는 직선수차보정 영상을 얻는 방법 및 이를 이용하는 다양한 영상 시스템을 제공한다. 특히, 디지털 팬·틸트 효과를 구현하면서도 수직선이 수직선으로 표시되는 영상 처리 알고리즘이 제시되어 있다. 그런데, 참고 문헌 [특 7]의 발명은 어안 렌즈를 장착한 카메라로 획득한 영상에서 직선수차보정 렌즈를 장착한 팬·틸트 카메라로 얻을 수 있는 영상을 추출하는 알고리즘에 관한 것이지만, 팬·틸트 카메라가 처할 수 있는 다양한 가능성을 모두 고려한 알고리즘을 제공하는 것은 아니다. 예를 들어, 참고 문헌 [특 7]의 발명에서는 카메라의 광축이 지평면에 평행하거나 수직한 경우, 또는 카메라의 광축이 지평면에 대하여 소정의 각도를 가지더라도 획득하고자 하는 직선수차보정 영상은 가상의 직선수차보정 카메라의 광축이 지평면에 평행한 경우만을 고려한 영상 처리 방법이 제시되어 있다.

실제로 사용되는 물리적인 팬·틸트 카메라는 팬각과 틸트각이 모두 0°인 경우에 대개 카메라의 광축이 지평면에 평행하도록 설치된다. 따라서, 참고 문헌 [특 7]의 발명은 물리적인 팬·틸트 카메라의 효과를 모두 구현할 수 있다. 그런데, 어안 렌즈를 장착한 카메라로 얻은 영상에서 디지털 팬·틸트 효과를 구현하고자 할 경우에는 물리적인 팬·틸트 카메라가 구현할 수 있는 범위를 넘어서는 효과를 얻을 수 있다. 참고 문헌 [특 9]의 발명은 이와 같이 물리적인 팬·틸트 카메라의 한계를 넘어서는 효과를 구현하는 수학적으로 엄밀한 영상 처리 방법 및 영상 시스템을 제공한다.

도 55는 참고 문헌 [특 9]에 제시된 종래 발명에서의 카메라 좌표계(camera coordinate system)와 제 1 직교 좌표계(the first rectangular coordinate system)를 이해하기 위한 개념도이다. 카메라 좌표계는 카메라에 의하여 포착되는 피사체를 기술하기 위한 좌표계로서 카메라에 고정되어 있다. 따라서, 카메라가 이동을 하거나 회전을 하게 되면 카메라 좌표계도 같이 이동을 하거나 회전을 하게 된다. 이 발명에서의 카메라에는 광축(5501)을 중심으로 회전 대칭형인 광각 렌즈(5512)가 장착되어 있으며, 카메라 몸체의 내부에는 이미지 센서(5513)가 존재한다. 이미지 센서는 가로 방향의 변(5513T, 5513B)의 길이가 B이며, 세로 방향의 변(5513L, 5513R)의 길이는 V이다. 이미지 센서면(5513)은 상기 광축(5501)에 수직하다.

카메라 좌표계의 원점(origin)은 광각 렌즈의 마디점(nodal point) N에 위치하고, 카메라 좌표계의 Z-축은 상기 렌즈의 광축과 일치하되, 상기 원점에서 물체쪽(즉, 이미지 센서면의 반대쪽)을 향하는 방향이 양(+)의 Z-축 방향이다. 또한, Y-축은 상기 원점을 지나고 상기 카메라 내부의 이미지 센서면(5513)의 세로 방향의 변(5513L, 5513R)에 평행하되, 이미지 센서면(5513)의 상단(5513T)에서 하단(5513B)을 향하는 방향이 양(+)의 방향이다. 한편, X-축은 이미지 센서면(5513)의 가로 방향의 변(5513T, 5513B)에 평행하되, 원점 N에서 물체쪽을 보았을 때 왼쪽에서 오른쪽을 향하는 방향이다. 상기 카메라 좌표계는 오른손 좌표계(right-handed coordinate system)이다. 따라서, Z-축과 Y-축의 방향이 정해지면, X-축의 방향은 자동적으로 정해진다.

한편, 이미지 센서면(5513) 상의 상점을 기술하는 제 1 직교 좌표계의 기준점(reference point) Ｏ는 광축(5501)과 이미지 센서면(5513)의 교점에 위치하며, x-축은 이미지 센서면의 가로 방향의 변(5513T, 5513B)에 평행하되, 광각 렌즈의 마디점에서 이미지 센서면을 보았을 때 상기 센서면의 왼쪽 변(5513L)에서 오른쪽 변(5513R)을 향하는 방향이 양(+)의 방향이며, y-축은 이미지 센서면의 세로 방향의 변(5513L, 5513R)에 평행하되, 광각 렌즈의 마디점에서 이미지 센서면을 보았을 때 상기 센서면의 상단(5513T)에서 하단(5513B)을 향하는 방향이 양(+)의 방향이다.

도 56은 참고 문헌 [특 9]에 제시되어 있는 종래 발명의 실시 예의 직선수차보정 투사 방식의 개념도이다. 이와 같은 직선수차보정 렌즈에 의하여 물체면(object plane: 5631) 상의 피사체의 영상이 가로 방향의 비례와 세로 방향의 비례가 모두 보존된 채 이미지 센서면 상에 형성되며, 이 물체면의 영상이 바로 영상면(5633)이다. 물체면 상의 한 물점(object point) Q는 영상면(5633) 상에 대응하는 상점 P를 가진다.

전술한 바와 같이 카메라 좌표계의 원점은 광각 렌즈의 마디점 N에 위치하지만, 편의상 카메라 좌표계의 X-축과 Y-축이 광축(5601)과 물체면(5631)의 교점 Ω을 지나는 것으로 도시하였다. 마찬가지로, 제 1 직교 좌표계의 원점도 광각 렌즈의 마디점 N에 위치하지만, 편의상 제 1 직교 좌표계의 x-축과 y-축이 광축(5601)과 영상면(5633)의 교점(즉, 제 1 교점) Ｏ에 위치하는 것으로 도시하였다. 상기 물점 Q의 좌표가 (X, Y, Z)이고, 상기 상점 P의 좌표가 (x, y, z)이라면, 직선수차보정 투사 방식의 단순한 기하학적 성질에 의하여 다음의 수학식 60 내지 61의 관계식이 성립한다.

그런데 도 56의 좌표계는 도 37에 도시된 좌표계와 다른 것을 볼 수 있다. 먼저, 도 56에 도시된 세계 좌표계 (X, Y, Z)는 도 37에 도시된 세계 좌표계 (X, Y, Z)와 다르다. 도 56의 세계 좌표계는 영상 표시 수단, 즉 컴퓨터 모니터나 CCTV 모니터에서 보여지는 이산화된 보정후 영상면의 픽셀 좌표를 표시하는 영상 처리 분야의 관행과 일치하도록 설정된 것이다.

또한 도 56의 제 1 직교 좌표계의 y-축은 영상면, 또는 이미지 센서면의 하단에서 상단을 향하는 방향으로 도시되었다. 그런데, 도 37과 도 56에서 제 1 직교 좌표계의 x-축과 z-축의 방향은 동일하지만, y-축의 방향은 반대인 것을 알 수 있다. 그 이유는 다음과 같다. 카메라 좌표계 상의 피사체가 광각 렌즈의 결상 작용에 의하여 이미지 센서면 상에 영상을 형성할 때, 그 영상은 위아래가 뒤집힌 영상이 된다. 그런데 위아래가 뒤집힌 영상은 감상하기가 불편하기 때문에 상하가 정상적으로 보이도록 카메라 내부에서 인위적으로 영상을 다시 한번 뒤집어주게 된다. 참고 문헌 [특 9]의 종래 발명에서는 이와 같이 영상을 반전시키는 과정이 모두 실행된다는 전제하에 도 56에 도시한 바와 같은 제 1 직교 좌표계를 사용하기로 한다.

보안 카메라는 사람의 손이 닿지않는 높은 장소에 설치하는 것이 대부분이다. 따라서, 실내에 보안 카메라를 설치하여야 할 경우 천정에 가까운 실내 벽에 카메라를 설치하고, 카메라의 광축이 아래로 기울어지도록 설치하는 것이 일반적이다. 도 43이 이와 같이 카메라를 설치한 상태에서 얻어진 영상이다. 참고 문헌 [특 9]에 제시된 종래 발명은 이와 같은 영상에서 어안 렌즈를 장착한 실제 카메라의 광축 및 보정후 영상면 또는 대등하게 물체면에 대응하는 가상의 직선수차보정 카메라의 광축, 즉 주시 방향이 지평면에 평행하지 않더라도 수직선이 수직선으로 보이는 영상 시스템을 제공한다.

도 57을 참조하면 카메라 좌표계의 Z-축은 세계 좌표계의 Z^*-축에 대하여 기울어져 있다. 그 기울어진 각도 χ는 종래 발명에서 설치각(installation angle)이라고 지칭한다. 세계 좌표계가 X-축을 중심으로 시계 방향으로 설치각 χ만큼 회전하면 카메라 좌표계와 일치하게 된다.

도 58은 참고 문헌 [특 9]에 개시된 종래 발명에서의 세계 좌표계(X^*, Y^*, Z^*)의 개념도이다. 세계 좌표계는 회전 대칭형인 광각 렌즈의 마디점 N을 원점으로 하고, 상기 원점을 지나는 수직선을 Y^*-축으로 하되 상기 원점에서 천저를 향하는 방향이 양(+)의 Y^*-축 방향이다. 여기서 수직선은 지평면, 더 정확하게는 수평면(5817)에 수직인 직선이다. 세계 좌표계의 X^*-축과 Z^*-축은 지평면에 포함된다. 상기 카메라 좌표계의 Z-축과 일치하는 광각 렌즈의 광축(5801)은 일반적으로 Z^*-축과 일치하지 않으며, 지평면에 포함될 수도 있고(즉, 지평면에 평행할 수도 있고), 지평면에 평행하지 않을 수도 있다. 이때 상기 Y^*-축과 상기 광축(5801)을 포함하는 평면(5804)을 기준면(reference plane)이라고 지칭한다. 이 기준면(5804)과 지평면(5817)과의 교선(intersection line)이 세계 좌표계의 Z^*-축과 일치한다. 양(+)의 Z^*-축의 방향은 원점에서 물체쪽을 향하는 방향이다. 한편, 세계 좌표계의 X^*-축은 오른손 좌표계의 규약에 의하여 자동적으로 정해진다.

카메라의 광축(5801)은 지평면에 대하여 각도 χ를 가진다. 이 각도를 전술한 바와 같이 카메라의 설치각(installation angle)이라고 지칭한다. 이 설치각 χ는 -90°에서 90°사이의 임의의 값을 가질 수 있다. 이 설치각이 0°이면 카메라의 광축은 지평면에 평행하며, 설치각이 -90°이면 카메라의 광축은 천정(zenith)을 향하고, 설치각이 +90°이면 카메라의 광축은 천저(nadir)를 향한다.

한편, 현실적인 이유에서 카메라의 광축이 지평면에 대하여 기울게 설치되더라도 카메라의 이미지 센서면의 가로 방향의 변은 지평면에 평행하도록 설치되는 것이 일반적이다. 만약, 카메라의 이미지 센서면의 가로 방향의 변이 지평면에 평행하지 않으면 포착된 영상에서 수직선이 기울게 보이므로 심리적으로 불안감을 유발할 수 있다. 한편, 이미지 센서면의 가로 방향의 변이 지평면에 평행하지 않아서 얻게 되는 이익은 거의 없다고 할 수 있다. 따라서, 참고 문헌 [특 9]의 발명에서는 이미지 센서면의 가로 방향의 변이 지평면에 평행하도록 설치된다고 가정한다. 따라서, 카메라 좌표계의 X-축은 세계 좌표계의 X^*-축과 일치하며, 카메라 좌표계의 Y-축은 상기 기준면(5804)에 포함된다.

도 59는 세계 좌표계의 Y^*-축과 Z^*-축 및 카메라 좌표계의 Y-축과 Z-축이 모두 기준면(5904)에 포함되는 것을 보여준다. 세계 좌표계의 Z^*-축과 카메라 좌표계의 Z-축과의 기울기는 카메라의 설치각 χ이며, 세계 좌표계의 Y^*-축과 카메라 좌표계의 Y-축과의 기울기도 역시 χ이다.

카메라 좌표계에서의 가로 방향의 입사각과 세로 방향의 입사각에 대응하여 수학식 62로 주어지는 세계 좌표계에서의 수평각(horizontal angle) ψ^* 및 수학식 63으로 주어지는 수직각 (vertical angle) δ^*를 정의한다.

수학식 62 및 63으로 주어지는 수평각과 수직각의 정의에 의하여 원점을 지나는 직선상에 위치하는 점들은 모두 동일한 수평각과 수직각을 가진다. 예를 들어 양(+)의 Z^*-축 상에 위치하는 모든 점들은 (0, 0, Z^*)의 형태로 주어지는 삼차원 좌표를 가진다. 따라서, 수학식 62 및 63을 참조하면 수평각과 수직각이 모두 0으로 주어지는 것을 알 수 있다. 한편, 도 59를 참조하면 광축 상에 위치하는 모든 점의 수평각 ψ^*는 0이며, 수직각 δ^*은 χ로 주어진다. 이하에서는 광축 방향(optical axis direction)의 수평각 ψ^*는 0이며, 수직각 δ^*은 χ라고 지칭하기로 한다.

한편, 이 실시예에서 바람직한 직선수차보정 영상은 세계 좌표계에서 각도 β만큼의 팬 작용을 한 이후에 각도 α만큼의 틸트 작용을 하여 얻어지는 물체면에 대응하는 직선수차보정 영상이다.

도 60은 종래 발명의 실시 예에서의 세계 좌표계와 카메라 좌표계 및 바람직한 주시 방향(6002)의 괸계를 보여주는 개념도이다. 카메라 좌표계의 Z-축은 세계 좌표계의 Z^*-축에 대하여 설치각 χ로 기울어져 있으며, 카메라 좌표계의 Z-축과 Y-축 및 세계 좌표계의 Z^*-축과 Y^*-축은 모두 같은 기준면(6004)에 포함된다. 따라서 카메라 좌표계의 Y-축과 세계 좌표계의 Y^*-축 사이의 기울기도 역시 χ이다. 카메라 좌표계를 X-축에 대하여 반시계 방향으로 χ만큼 회전하면 세계 좌표계와 일치하게 된다.

디지털 팬·틸트 작용을 하기 이전의 주시 방향은 카메라의 광축(6001), 즉 Z-축과 일치한다. 카메라가 지평면 이하를 가리키고 있는 경우에 카메라 좌표계가 세계 좌표계와 일치하도록 X-축을 중심으로 각도 -χ만큼 회전한 좌표계를 제 1 회전 좌표계라고 하며, 세 좌표축은 각각 X'-축, Y'-축 및 Z'-축으로 주어진다. 다음으로 이 제 1 회전 좌표계의 Y'-축을 중심으로 각도 -β만큼 회전한 좌표계를 제 2 회전 좌표계라고 하며, 이 제 2 회전 좌표계의 세 축을 각각 X"-축, Y"-축 및 Z"-축이라고 한다. 마지막으로 제 2 회전 좌표계의 X"-축을 중심으로 각도 -α만큼 회전한 좌표계를 제 3 회전 좌표계라고 한다. 전술한 바와 같이 물체면을 회전 시키는 경우와 좌표계를 반대 방향으로 회전시키는 경우는 대등하다.

도 61은 종래 발명의 일 실시 예의 좌표계 회전을 일목요연하게 보여준다. 바람직하게 제 1 보정후 영상면(6135A)는 등직교 투사 방식의 전방위 영상이 될 수 있으며, 가로축은 세계 좌표계에서의 수평각 ψ^*이며, 세로축은 세계 좌표계에서의 수직각 δ^*이다. 또한 가로 방향의 수평각의 범위는 360°이고, 세로 방향의 수직각의 범위는 180°이다. 어안 렌즈가 장착된 카메라의 광축은 지평선 이하를 가리키므로 설치각 χ은 양의 값을 가진다. 따라서 제 1 보정후 영상면에서 카메라의 광축의 위치, 즉 팬·틸트를 하지않은 가상의 직선수차보정 카메라에 대응하는 물체면의 주시 방향은 Ω이다. 이 물체면을 수직 방향으로, 즉 X-축을 중심으로 각도 χ만큼 회전한 새로운 물체면의 주시 방향은 Ω'이다. 카메라의 설치각이 χ이므로, 새로운 물체면의 주시 방향 Ω'은 세계 좌표계의 Z^*-과 일치한다. 다시 말하면, 회전된 물체면에 대응하는 가상의 직선수차보정 카메라의 광축은 지평면에 평행하다. 이 물체면을 다시 각도 β만큼 팬 작용을 하여 얻어지는 물체면의 주시 방향은 Ω"이며, 이 물체면이 다시 각도 α만큼의 틸트 작용을 하여 얻어지는 물체면의 주시 방향은 Ω"'이다.

이와 같은 좌표축의 회전과 관련하여 오일러(Euler) 행렬을 사용하는 것이 편리하다. 이를 위하여 삼차원 공간상의 한 물점 Q의 좌표를 다음과 같이 3차원 벡터로 표시한다.

여기서

는 3차원 공간상의 한 점 Q에 이르는 벡터를 카메라 좌표계에서 표현한 것이다. 한편, 공간상의 한 점 Q를 X-축을 중심으로 각도 α만큼 회전시킨 새로운 점의 좌표는 수학식 65로 주어지는 행렬을 벡터에 곱하여 얻을 수 있다.

마찬가지로 Y-축을 중심으로 각도 β만큼 회전한 새로운 점의 좌표를 구하기 위해서는 수학식 66의 행렬을 사용하며, Z-축을 중심으로 각도 γ만큼 회전한 새로운 점의 좌표를 구하기 위해서는 수학식 67의 행렬을 사용한다.

수학식 65 내지 67의 행렬은 좌표계가 고정되어 있고 공간상의 한 점이 회전한 경우를 기술할 수도 있지만, 공간상의 한 점이 고정되어 있고 좌표계가 반대 방향으로 회전한 경우도 기술할 수 있다. 이 두 경우는 수학적으로 동등하다.

연속적인 세 번의 좌표계 회전에 의하여 얻어지는 새로운 주시 방향 Ω"'에 대응하는 물체면 상의 물점들의 좌표는 최초의 물체면 상의 물점들의 좌표로 수학식 68과 같이 주어진다.

오일러 회전의 수학적 성질에 의하여 수학식 68은 수학식 69와 같이 간결하게 주어진다.

수학식 65와 66의 행렬을 사용하여 수학식 69를 계산하면 제 3 회전 좌표계에서의 물점 Q"'의 좌표는 카메라 좌표계에서의 물점 Q의 좌표로 수학식 70 내지 72로 주어진다.

도 62는 도 43의 어안 영상으로부터 추출한 직선수차보정 영상으로서 보정후 영상면의 가로 방향의 화각은 60°이며(즉, ㅿψ = 60°), 보정후 영상면의 크기는 가로 방향으로 800 픽셀이고 (J_max = 800), 세로 방향으로 600 픽셀이며 (I_max = 600), 슬라이드 작용은 없고, 50°의 정렬 작용(즉, β = 50°)과 -30°의 틸트 작용(즉, α = -30°)을 한 직선수차보정 영상을 보여준다. 물론, 정렬 작용과 틸트 작용을 하기 이전에 X-축을 중심으로 물체면을 +45°회전시키는 작용이 선행되었음은 물론이다. 즉, χ = 45°, β = 50° 및 α = -30°의 회전을 순차적으로 수행한 것이다.

참고 문헌 [특 9]의 발명에서는 이미지 센서면의 가로 방향의 변이 지평선에 평행하지 않은 경우에도 사용될 수 있는 가장 일반적인 영상 처리 방법도 아울러서 제공되고 있다.

전방위 영상의 가장 큰 장점은 실내나 실외 전체의 전경을 한 영상에 포착하여 전체적인 사태 파악이 용이하다는 점이다. 반면에 초광각 영상의 특징으로 인하여 조금 멀리 떨어져 있는 피사체가 너무 작게 포착될 수 있다. 도 63은 이와 같은 단점을 극복하기 위한 방안을 보여준다.

도 63의 영상은 동일한 풍경을 전방위 카메라와 팬·틸트·줌 카메라로 포착하는 것을 예시한다. 아래에 보이는 전방위 영상으로 실외 주차장이 포착되고 있으며, 팬·틸트·줌 카메라는 그 중에 주의가 필요한 특정 차량을 확대하여 포착하고 있다. 이와 같은 영상 시스템을 이용하여 효과적으로 모니터링할 수 있으나 영상 시스템의 크기가 커지고, 가격이 상승하는 단점이 있다.

[특 1] 권경일, 밀턴 라이킨, "어안 렌즈", 대한민국 특허 제10-0888922호, 등록일 2009년 3월 10일. [특 2] 권경일, 밀턴 라이킨, "광각 렌즈", 대한민국 특허 제10-0826571호, 등록일 2008년 4월 24일. [특 3] 권경일, "회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치", 대한민국 특허 제10-0882011호, 등록일 2009년 1월 29일. [특 4] S. D. Zimmermann, "Omniview motionless camera orientation system", 미국 특허 제5,185,667호, 등록일 1993년 2월 9일. [특 5] E. Gullichsen and S. Wyshynski, "Wide-angle image dewarping method and apparatus", 미국 특허 제6,005,611호, 등록일 1999년 12월 21일. [특 6] H. L. Martin, D. P. Kuban and S. D. Zimmerman, "System for omnidirectional image viewing at a remote location without the transmission of control signals to select viewing parameters", 미국 특허 제5,877,801호, 등록일 1999년 3월 2일. [특 7] 권경일, "회전 대칭형의 광각 렌즈를 이용하여 전방위 영상 및 직선수차보정 영상을 얻는 방법 및 그 영상 시스템", 대한민국 특허 제10-0898824호, 등록일 2009년 5월 14일. [특 8] 권경일, "회전 대칭형의 광각 렌즈를 이용하여 복합 영상을 얻는 방법과 그 영상 시스템 및 하드웨어적으로 영상처리를 하는 이미지 센서", 대한민국 특허 제10-0988872호, 등록일 2010년 10월 13일. [특 9] 권경일, "회전 대칭형의 광각 렌즈를 이용하여 디지털 팬·틸트 영상을 얻는 방법 및 그 영상 시스템", 대한민국 특허 제10-1233948호, 등록일 2013년 2월 8일.

[비특 1] J. F. Blinn and M. E. Newell, "Texture and reflection in computer generated images", Communications of the ACM, 19, 542-547 (1976). [비특 2] N. Greene, "Environment mapping and other applications of world projections", IEEE Computer Graphics and Applications, 6, 21-29 (1986). [비특 3] E. W. Weisstein, "Cylindrical Projection", http://mathworld.wolfram.com/CylindricalProjection.html. [비특 4] W. D. G. Cox, "An introduction to the theory of perspective - part 1", The British Journal of Photography, 4, 628-634 (1969). [비특 5] G. Kweon, Y. Choi, and M. Laikin, "Fisheye lens for image processing applications", J. of the Optical Society of Korea, 12, 79-87 (2008).

전방위 카메라를 사용하여 실내·외를 모니터링하고자 할 경우에 카메라에서 조금 멀리 떨어져 있는 피사체가 너무 작게 포착되어 충분한 정보의 획득이 곤란한 단점을 극복할 수 있는 카메라를 제공하고자 한다.

전방위 영상과 자동적으로 스캔이 이루어지는 디지털 팬·틸트 영상이 교차하여 출력되도록 하여 전체 영상을 파악함과 동시에 상세한 영상도 얻도록 한다.

전방위 영상과 디지털 팬·틸트 영상의 시간차는 수십초 이내의 짧은 시간이므로 특수한 상황이 아닌 일반적인 보안 카메라가 필요한 사항에서는 사실상 동시에 두 가지 영상을 얻는 효과를 얻을 수 있다.

도 1은 위도와 경도의 개념도.
도 2는 등직교 투사 방식의 지도의 개념도.
도 3은 원통형 투사의 개념도.
도 4는 일반적인 회전 대칭형의 렌즈의 실제 투사 방식의 개념도.
도 5는 컴퓨터로 제작한 가상의 등거리 투사 어안 렌즈에 의한 영상의 예.
도 6은 종래 발명의 일 실시 예에 의한 등거리 투사 방식의 굴절식 어안 렌즈의 광학적 구조와 광선의 경로를 보여주는 도면.
도 7은 종래 발명의 일 실시 예에 의한 평사투영 방식의 굴절식 어안 렌즈의 광학적 구조와 광선의 경로를 보여주는 도면.
도 8은 종래 발명의 일 실시 예에 의한 평사투영 방식의 반사굴절식 어안 렌즈의 광학적 구조와 광선의 경로를 보여주는 도면.
도 9는 종래 발명에서의 세계 좌표계의 개념도.
도 10은 종래 발명의 영상 처리에 기반하는 영상 시스템의 개념도.
도 11은 보정전 영상면의 개념도.
도 12는 영상 표시 수단에 표시되는 보정후 영상면의 개념도.
도 13은 종래 발명에 따른 원통형 투사 방식의 개념도.
도 14는 종래 발명에 따른 원통형 투사 방식의 전방위 카메라에서 가정하는 물체면의 개념도.
도 15는 도 14의 물체면의 X-Z 평면에서의 단면도.
도 16은 도 14의 물체면의 Y-Z 평면에서의 단면도.
도 17은 원통형 투사 방식을 예시하는 개념도.
도 18은 원통형 투사 방식을 예시하는 또 다른 개념도.
도 19는 이산화된 보정후 영상면의 개념도.
도 20은 이산화된 보정전 영상면의 개념도.
도 21은 이중선형보간법의 원리를 이해하기 위한 도면.
도 22는 도 5의 영상으로부터 추출한 원통형 투사 방식의 전방위 영상의 예.
도 23은 도 5의 영상으로부터 추출한 등직교 투사 방식의 전방위 영상의 예.
도 24는 도 5의 영상으로부터 추출한 메카토르 투사 방식의 전방위 영상의 예.
도 25는 종래 발명의 일 실시 예에 의한 어안 렌즈의 사진.
도 26은 종래 발명의 일 실시 예의 의한 어안 렌즈의 3차원 절개도.
도 27은 종래 발명의 어안 렌즈를 사용하여 촬영한 실내 전경의 예.
도 28은 도 27의 어안 영상으로부터 추출한 수평 화각 190°의 원통형 투사 방식의 전방위 영상.
도 29는 영상 처리 기반의 전방위 카메라 시제품 외관.
도 30은 영상 처리 기반의 전방위 영상 시스템의 구성도.
도 31은 전방위 카메라가 원통형 투사 방식을 구현하고 있음을 확인하기 위한 실험 set-up.
도 31은 영상 처리 기반의 전방위 카메라에 사용된 영상 획득 수단과 영상 처리 수단이 일체로 형성된 전자 회로 기판의 사진.
도 32는 도 31의 실험 set-up에서 획득된 전방위 영상.
도 33은 일반적인 보안 카메라를 설치한 상점의 개념도.
도 34는 전방위 보안 카메라를 설치한 상점의 개념도.
도 35는 기계적인 팬·틸트 카메라의 개념도.
도 36은 기계적인 팬·틸트 카메라의 또 다른 개념도.
도 37은 종래 발명의 일 실시 예에 따른 직선수차보정 투사 방식을 예시하는 개념도.
도 38은 보정후 영상면의 상대적인 위치에 따른 화각의 변화를 이해하기 위한 개념도.
도 39는 종래 발명의 일 실시 예에 따른 보정후 영상면의 개념도.
도 40은 도 5의 영상으로부터 추출된 가로 방향의 화각이 120°인 직선수차보정 영상의 예.
도 41은 슬라이드-줌 작용을 한 직선수차보정 영상의 예.
도 42는 도 27의 어안 영상으로부터 추출한 수평 화각 60°의 직선수차보정 영상.
도 43은 종래 발명의 어안 렌즈를 사용하여 촬영한 또 다른 실내 전경의 예.
도 44는 도 43의 어안 영상에서 팬·틸트 작용을 하여 얻어진 직선수차보정 영상의 예.
도 45는 도 43의 어안 영상에서 틸트·팬 작용을 하여 얻어진 직선수차보정 영상의 예.
도 46은 슬라이드-팬-틸트 작용을 이용하는 자동차용 후방 카메라의 개념도.
도 47은 도 5의 영상으로부터 추출한 틸트 작용을 한 영상의 예.
도 48은 슬라이드 작용이 없이 팬·틸트 회전각이 큰 경우의 영상 시스템의 개념도.
도 49는 슬라이드 작용을 적절히 활용한 팬·틸트 회전각이 큰 경우의 영상 시스템의 개념도.
도 50은 도 5의 영상으로부터 추출한 슬라이드 작용과 틸트 작용을 한 영상의 예.
도 51은 종래 발명의 어안 렌즈를 사용하여 촬영한 실외 전경의 예.
도 52는 도 51의 영상으로부터 추출한 메카토르 투사 방식의 전방위 영상.
도 53은 도 51의 어안 영상에서 틸트 작용을 하여 얻어진 직선수차보정 영상의 예.
도 54는 도 51의 어안 영상에서 팬·틸트 작용을 하여 얻어진 직선수차보정 영상의 예.
도 55는 종래 발명에 따른 카메라 좌표계의 개념도.
도 56은 종래 발명에 따른 직선수차보정 투사 방식을 보여주는 개념도.
도 57은 종래 발명의 일 실시 예에서의 카메라 좌표계와 세계 좌표계와의 관계를 보여주는 개념도.
도 58은 종래 발명에서의 세계 좌표계의 개념도.
도 59는 도 58의 세계 좌표계에서의 기준면의 개념도.
도 60은 종래 발명의 일 실시 예에서의 디지털 팬·틸트를 한 영상에 대응하는 가상의 물체면의 주시 방향을 보여주는 개념도.
도 61은 종래 발명의 일 실시 예에서의 물체면의 회전 순서를 보여주는 개념도.
도 62는 도 43의 어안 영상으로부터 추출한 직선수차보정 영상의 예.
도 63은 전방위 영상과 디지털 팬·틸트 영상을 동시에 사용하는 영상 시스템의 개념도.
도 64는 바람직한 디지털 팬·틸트 영상의 조향 범위를 예시하는 개념도.
도 65는 디지털 팬·틸트 영상의 예시도.
도 66은 디지털 팬·틸트 영상의 주시 방향을 스캔하는 상태를 보여주는 개념도.
도 67은 디지털 팬·틸트 영상의 주시 방향을 스캔하는 상태를 보여주는 또 다른 개념도.
도 68은 좁은 통로에 설치된 디지털 팬·틸트 카메라의 바람직한 작동 상태의 개념도.
도 69는 좁은 통로에 설치된 디지털 팬·틸트 카메라의 주시 방향의 변화에 따른 바람직한 화각을 예시하는 개념도.
도 70과 71은 전방위 영상과 디지털 팬·틸트 영상이 번갈아서 나타나는 영상 시스템의 개념도.

이하 도 64 내지 도 71을 참조하여 본 발명을 상세하게 설명하기로 한다.

전술한 바와 같이 전방위 영상은 카메라로부터 조금 먼 거리에 떨어져 있는 피사체를 식별하기가 곤란하다. 이와 같은 경우에는 화각이 좁은 직선수차보정 영상을 사용하면 피사체가 크게 포착되므로 상당히 먼 거리에 있는 피사체도 식별할 가능성이 있다. 그런데, 직선수차보정 영상에서는 피사체가 포착되지 않는 사각지대가 있으므로 직선수차보정 영상의 주시 방향을 주기적으로 스캔할 필요성이 있다.

도 64는 디지털 팬·틸트 카메라의 주시 방향(6400a, 6400b)의 바람직한 스캔 각을 예시하는 개념도이며, 팬 작용을 가정하였으므로 X-Z 평면이 도시되었다. 팬이나 틸트 작용이 없을 때 직선수차보정 영상면(6435a)의 주시 방향(6400a)은 카메라의 광축(6401a)와 일치한다. 한편, 도 64b에 도시한 바와 같이 팬 작용을 하였을 때 주시 방향(6400b)은 카메라의 광축(6401)과 일치하는 좌표계의 Z-축과 각도 β를 이룬다. 이때 직선수차보정 영상면의 화각 △Ψ이 0이 아니므로 주시 방향(6400b)이 전방위 영상의 반화각(semi-FOV)과 일치할 때까지 회전하지 않아도 된다.

도 65는 도 5의 인공적인 어안 영상에서 추출한 가로 방향의 화각 △Ψ= 120°의 직선수차보정 영상의 주시 방향을 Z-축을 중심으로 β = -40°에서 β = +40°까지 스캔하는 것을 예시한 것이다. 도 5의 어안 영상은 화각이 180°이며, 여기서 추출한 전방위 영상도 도 22에 보이는 것처럼 가로 방향의 화각이 180°이다. 그런데, 도 65의 직선수차보정 영상의 가로 방향의 화각이 120°이므로 주시 방향을 30°만 회전시키면 어안 영상의 가장자리까지 확인할 수 있다. 도 65에서는 주시 방향을 40도를 회전시키면 어안 영상의 화각을 벗어나는 것을 확인할 수 있다.

도 66은 디지털 팬·틸트 카메라의 팬각(pan angle) β를 주기적으로 스캔하는 영상 시스템의 개념도이다. 직선수차보정 카메라의 주시 방향은 주기(period) T로 주기적으로 스캔되는 것을 예시하고 있으며, 직선수차보정 영상의 가로 방향의 화각 △Ψ도 같이 표시되어 있다. 이와 같이 직선수차보정 영상의 팬각을 주기적으로 스캔하면 전방위 영상이 포착할 수 있는 가로 방향의 화각 180°내외의 영역을 포착하면서도 전방위 영상에 비하여 피사체가 크게 포착되므로 식별 가능성이 높아진다.

도 67은 디지털 팬·틸트 영상의 주시 방향을 스캔하는 또 다른 개념도이며, 기계적 팬·틸트 카메라와 유사하게 왼쪽에서 오른쪽으로 스캔을 한 후, 다시 오른쪽에서 왼쪽으로 스캔을 하는 것을 예시하고 있다. 이와 같은 방식을 사용할 경우에 영상이 끊어지지 않고 이어지는 장점이 있다.

도 68은 복도와 같은 좁은 통로(6817)에 설치된 디지털 팬·틸트 카메라(6810)의 바람직한 작동 상태의 개념도이다. 디지털 팬·틸트 카메라(6810)의 광축(6801)은 통로벽에 수직하게 설치되는 것이 바람직하다. 이와 같은 환경에서 광축 방향의 직선수차보정 영상을 얻고자 할 때 디지털 팬·틸트 영상의 주시 방향(6800a)은 광축(6801)과 일치하며, 직선수차보정 영상의 가로 방향의 화각(△Ψ_a)은 비교적 넓은 것이 바람직하다. 모든 피사체가 가까이 있을 뿐만 아니라 화각이 좁으면 지나가는 행인과 같은 피사체의 전부를 포착하기 곤란하기 때문이다.

한편, 디지털 팬·틸트 영상의 주시 방향(6800b)이 광축 방향과 상당한 각도를 가지는 방향의 직선수차보정 영상을 얻고자 할 때 직선수차보정 영상의 가로 방향의 화각(△Ψ_a)은 비교적 좁은 것이 바람직하다. 멀리 있는 피사체를 포착하기 위해서는 화각이 좁은 것이 더 유리하기 때문이다.

도 69는 이와 같은 경우에 디지털 팬·틸트 카메라의 주시 방향의 변화에 따른 바람직한 화각의 변화를 예시하는 개념도이다. 도 69와 같은 시스템에서 주시 방향과 화각이 동시에 단락적으로 연속적으로(piecewse continuosuly) 변하게 된다. 즉, 한 주기(T) 동안 주시 방향과 화각이 동시에 연속적으로 변하고, 한 주기가 끝난 후에는 주시 방향과 화각이 불연속적으로 변화하여 초기값을 회복하고, 다시 동일한 주기를 반복한다.

도 70과 도 71은 전방위 영상과 디지털 팬·틸트 영상이 번갈아서 나타나는 영상 시스템의 개념도이다. 주시 방향이 광축 방향과 떨어져 있을 때에는 디지털 팬틸트 영상을 보여준 뒤, 주시 방향이 광축 방향이 일치했을 때에는 직선수차보정 영상 대신에 전방위 영상을 일정시간 동안 보여준다. 사용자는 이 전방위 영상을 통하여 전체 모니터링 영역의 상황을 한눈에 파악할 수 있다. 그리고, 스캔되는 디지털 팬·틸트 영상을 통하여 멀리있는 피사체의 자세한 영상도 얻을 수 있다.

이외에도 더 복잡한 방식으로 전방위 영상과 디지털 팬·틸트 영상 등이 번갈아서 순차적으로 나타나도록 함으로써 최대한의 성과를 거둘 수 있음이 명백하다.

이와 같이 주기적으로 스캔되는 디지털 팬·틸트 영상이나 전방위 영상과 디지털 팬·틸트 영상 등이 번갈아서 순차적으로 나타나도록 함으로써 별도의 콘트롤러나 조작자의 개입없이 넓은 영역을 효과적으로 모니터링할 수 있으며, 기계적으로 스캔되는 팬·틸트 카메라에 비하여 훨씬 저렴한 가격으로 구현이 가능하면서도 고장의 염려가 적으므로 다양한 환경에서 널리 사용될 수 있다.

β: 직선수차보정 영상의 주시 방향이 광축과 이루는 팬각
△Ψ: 직선수차보정 영상의 가로 방향의 화각
t: 경과 시간
T: 주기(period)

Claims (8)

1. 화각이 180° 이상인 어안 렌즈를 이용하여 보정전 영상면을 획득하는 영상 획득 수단;
   상기 영상 획득 수단에서 획득된 상기 보정전 영상면을 기초로 보정후 영상면을 생성하는 영상 처리 수단; 및
   상기 보정후 영상면을 표시하는 영상 표시 수단을 포함하는 영상 시스템에 있어서,
   상기 보정후 영상면은 직선수차보정 투사 방식을 따르되,
   여기서 직선수차보정 투사 방식이란 상기 영상 획득 수단에 포착되는 직선인 임의의 피사체는 상기 보정후 영상면에서 직선으로 표시되는 투사 방식을 지칭하며,
   상기 보정후 영상면의 주시 방향은 사전에 설정된 궤적을 따라서 주기적으로 변하는 것을 특징으로 하는 영상 시스템.
   
2. 삭제
3. 삭제
4. 제 1항에 있어서,
   보정후 영상면의 주시 방향이 연속적으로 변함에 따라서 화각도 연속적으로 변하는 것을 특징으로 하는 영상 시스템.
   
5. 화각이 180° 이상인 어안 렌즈를 이용하여 보정전 영상면을 획득하는 영상 획득 수단;
   상기 보정전 영상면을 기초로 보정후 영상면을 생성하는 영상 처리 수단; 및
   직사각형 모양의 화면에 상기 보정후 영상면을 표시하는 영상 표시 수단을 포함하며,
   상기 보정후 영상면의 투사 방식은 전방위 투사 방식과 직선수차보정 투사 방식을 포함하는 영상 시스템에 있어서,
   상기 어안 렌즈의 마디점을 원점으로 하고, 상기 원점을 지나는 수직선을 Y-축으로 하는 세계 좌표계 상의 좌표 (X, Y, Z)를 가지는 물점에 대응하는 상기 직사각형 모양의 화면 상의 상점의 좌표를 (x, y)라고 할 때,
   상기 전방위 투사 방식은 상기 세계 좌표계 상의 Y-축에 평행한 직선은 상기 화면 상에 y-축에 평행한 직선으로 표시되며,
   상기 세계 좌표계 상의 X-Z 평면 상에서 동일한 각 거리를 갖는 두 피사체는 상기 화면 상에서 동일한 x-축 방향의 간격을 갖는 투사 방식을 지칭하고,
   상기 직선수차보정 투사 방식이란 상기 세계 좌표계 상의 임의의 직선이 상기 화면상에서 직선으로 표시되는 것을 지칭하며,
   시간의 경과에 따라서 보정후 영상면의 투사 방식은 번갈아서 전방위 투사 방식과 직선수차보정 투사 방식을 따르되,
   직선수차보정 투사 방식을 따르는 보정후 영상면의 주시 방향은 사전에 설정된 궤적을 따라서 주기적으로 변하는 것을 특징으로 하는 영상 시스템.
   
6. 삭제
7. 삭제
8. 제 5항에 있어서,
   상기 직선수차보정 투사 방식을 따르는 보정후 영상면의 주시 방향이 연속적으로 변함에 따라서 화각도 연속적으로 변하는 것을 특징으로 하는 영상 시스템.
   
   

Images