KR101889225B1

KR101889225B1 - 입체 전방위 영상 획득 방법과 재생 방법 및 입체 전방위 카메라

Info

Publication number: KR101889225B1
Application number: KR1020170113227A
Authority: KR
Inventors: 권경일
Original assignee: 주식회사 에스360브이알
Priority date: 2016-09-06
Filing date: 2017-09-05
Publication date: 2018-08-16
Also published as: KR20180027379A

Abstract

본 발명은 영상 획득 수단과 영상 처리 수단과 영상 표시 수단과 영상 선택 수단을 포함하는 입체 전방위 영상 시스템을 제공한다. 영상 획득 수단은 하부의 기저부와 상부의 회전부를 포함하며, 회전부는 회전축을 중심으로 기저부에 대하여 무한 회전할 수 있도록 기저부와 연결되어 있다. 회전부에는 동일한 사양을 가지는 두 대의 라인 스캔 카메라가 같은 방향으로 나란히 설치되어 있고, 상기 카메라에 장착된 결상 렌즈는 회전축 방향의 화각이 180°이상이고, 결상 렌즈의 광축에 수직한 단면은 회전축에 수직한 방향으로 측정한 폭이 회전축 방향으로 측정한 높이보다 적으며, 결상 렌즈가 광축 방향으로 이동하더라도 결상 렌즈의 장축이 회전축 방향을 유지한다.

Description

입체 전방위 영상 획득 방법과 재생 방법 및 입체 전방위 카메라{METHOD OF OBTAINING STEREOSCOPIC PANORAMIC IMAGES, PLAYING THE SAME AND STEREOSCOPIC PANORAMIC CAMERA}

본 발명은 헤드 마운티드 디스플레이(Head-Mounted Display) 기기로 임의의 방향의 풍경을 입체 영상(Stereoscopic image)으로 감상할 수 있게 해주는 입체 전방위 영상 획득 방법과 재생 방법 및 입체 전방위 카메라에 관한 것이다.

1788년에 영국의 화가 Robert Barker는 스코틀랜드 에든버러시(Edinburgh, Scotland)의 풍경을 원통형 벽의 내부에 그려서 그 중심에 선 관객이 360°모든 방향의 도시 풍경을 감상할 수 있도록 하였다고 한다. 도 1은 에든버러 대학 도서관에 소장중인 Robert Barker의 전방위 회화를 보여준다([비특 1]). 그는 그리스어로 '전부(all)'를 뜻하는 'pan'과 '본다(view)'를 뜻하는 'horama'를 합성하여 파노라마(panorama)라는 단어를 만든 인물이기도 하다([비특 2] ~ [비특 3]).

회화가 아닌 사진으로서의 전방위 영상을 얻는 방법은 렌즈 자체에 전방위 영상을 포착하는 기능이 있는 전방위 렌즈(panoramic lens)를 이용하는 방법도 있고, 전방위 카메라를 이용하는 방법도 있다. 여기서는 두 경우를 구분하지 않고 전방위 영상 시스템이라고 지칭할 것이다.

전방위 영상을 얻는 가장 쉬운 방법의 하나는 반사식 렌즈와 굴절식 렌즈를 결합한 반사굴절식 전방위 렌즈(catadioptric panoramic lens)를 사용하는 것이며, 20세기 초반에 시작되어 현재까지도 활발하게 연구되고 있지만([특1] ~ [특8]), 반사굴절식 렌즈에 대한 이론적인 연구의 역사는 그다지 오래지 않다([비특 4] ~ [비특 11]).

도 2는 참고 문헌 [비특 10]에 포함된 직선수차보정 투사 방식(rectilinear projection scheme)을 가지는 전방위 거울을 사용하는 전방위 영상 시스템의 일 예를 보여주며, 전방위 거울의 수직 방향의 화각은 사람의 표준 시각과 일치하도록 46°로 설계되었다.

도 3은 도 2의 전방위 영상 시스템으로 포착한 펼쳐지지 않은 전방위 영상을 보여주며, 도 4는 도 3의 펼쳐지지 않은 전방위 영상에서 얻어진 펼쳐진 전방위 영상을 보여주고, 도 5는 도 4의 전방위 영상의 일부를 보여준다. 도 3에서 도 4를 얻는데 단순한 삼각 함수 변환만을 사용하였음도 불구하고 도 5에서 알 수 있는 바와 같이 수직 방향의 비례가 잘 맞는 것을 알 수 있다. 이는 처음부터 도 2에 보이는 전방위 거울이 직선수차보정 투사 방식을 갖도록 설계되었기 때문이다.

한편, 경관이 뛰어난 관광지 등에서 360°모든 방향의 경치를 한 장의 사진에 포착하는 파노라마 사진기(panoramic camera)는 전방위 영상 시스템의 일 예이다. 전방위 영상 시스템은 관찰자가 제자리에서 한 바퀴 돌 때 바라보이는 경치를 모두 한 장의 이미지에 포착하는 영상 시스템을 지칭한다. 이와는 다르게 관찰자의 위치에서 바라볼 수 있는 모든 방향의 경치를 한 장의 이미지에 포착하는 시스템은 전방향 영상 시스템(omnidirectional imaging system)이라 지칭된다. 전방향 영상 시스템에서는 관찰자가 제자리에서 한 바퀴 도는 것은 물론, 고개를 젖히거나 숙여서 바라볼 수 있는 모든 경치를 포함한다. 수학적으로는 영상 시스템으로 포착할 수 있는 영역의 입체각(solid angle)이 4π 스테라디안(steradian)인 경우를 지칭한다.

전방위 영상 시스템이나 전방향 영상 시스템은 건축물, 자연 경관, 천체 등의 촬영과 같은 전통적인 분야뿐만 아니라, CCD(Charge-Coupled Device)나 CMOS(Complementary Metal-Oxide-Semiconductor: 상보형(相補型) 금속 산화막(酸化膜) 반도체) 카메라를 이용한 보안·감시 시스템, 부동산이나 호텔, 관광지 등의 가상 여행(virtual tour), 또는 이동 로봇이나 무인 비행기 등의 분야에 적용하기 위한 많은 연구와 개발이 이루어지고 있다.

전방위 카메라는 그 역사도 오래되고 종류도 다양하지만, 크게 3가지 종류로 분류할 수 있다. 첫번째로 로모그래피(Lomography)사의 Spinner 360과 같은 회전하는 주사형 전방위 카메라(scanning panoramic camera)를 들 수 있다. 촬영자가 카메라를 한 손에 들고 다른 손으로 핸들에 달린 줄을 잡아당기면 카메라가 360° 회전하면서 35mm 필름에 전방위 영상이 기록된다. 이와 같이 회전하는 전방위 카메라는 원리적으로 가장 정확한 전방위 영상을 만들어 낸다. 그런데, 촬영시에 카메라를 든 손이 흔들리지 않을 수 없으므로 실제로는 정확한 전방위 영상이 얻어지지 않으며, 이 제품은 신기한 장난감(gadget)에 가깝다.

[특 9]는 1978년 11월 27일 출원된 미국 등록 특허로서 회전하는 주사형 전방위 카메라에 관한 것이고, 이 특허는 발명자들이 설립한 회사(Globuscope Inc., a Corp. of N. Y.)에 의하여 Globuscope라는 상품명으로 판매되었으나 현재는 단종된 상태이다. 도 6은 이 전방위 카메라의 커버를 벗긴 모습을 보여준다. 이 카메라는 35mm 필름을 사용하며, 태엽 동력으로 360°를 회전하는데, 사용자는 Globusope를 손으로 들고서 카메라 헤드가 1회전하는 1초 남짓의 시간 동안 움직이지 않고 있어야 한다. 이 특허는 주사형 전방위 카메라의 고질적인 문제인 밴딩(banding) 문제를 해결하였다고 주장하는데, 옥수수 전분(corn starch) 등의 요변성 액체(Thixotropic fluids)를 사용하여 회전 속도를 일정하게 유지시킨다고 한다. 한편, 도 7은 Seitz사의 주사형 전방위 카메라(Seitz Roundshot 35/35 Panoramic Film Camera)의 모습이다.

[특 10]은 1983년 6월 28일 출원된 미국 등록 특허로서, 35mm 필름이 아니라 linescan sensor를 사용하는 주사형 전방위 텔레비전 카메라(scanning panoramic television camera)에 관한 것이다.

[특 11]은 1996년 8월 8일 출원된 미국 등록 특허로서, 이 특허에는 어안 렌즈와 이 어안 렌즈의 상(image)을 회전 스테이지의 하단부로 전송하기 위한 릴레이(relay) 렌즈를 포함하는 전방위 카메라가 개시되어 있다. 릴레이 렌즈는 회전하는 어안 렌즈의 상을 회전 스테이지 하단에 고정된 리니어 이미지 센서(linear sensor array)와 일치시키기 위하여 상을 역회전(derotate)시키는 역할을 하며, 거울과 도브 프리즘(dove prism)을 포함하는 복잡한 구조로 되어 있다. 원리적으로 가능하지만 실제로 실외에서 사용하기에 충분한 정도로 안정적인 성능을 구현하기는 어려울 것으로 기대되고, 실제로 제작된 적은 없는 것으로 추정된다.

공항이나 항만과 같이 그 너비가 수 km에 달하기도 하는 넓은 영역을 감시하는 전방위 카메라도 있는데, 이와 같은 카메라는 밤낮의 변화와 악천후에도 상관없이 침입자를 용이하게 검출하기 위하여 대개 중적외선(MIR: Medium Wave Infrared, 中赤外線) 영역에서 작동하며, 가로 방향의 화각과 세로 방향의 화각이 극단적으로 다른 것이 특징이다. 예를 들어 프랑스 HGH Infrared System의 Spynel 시리즈 레이더는 가로 방향의 화각은 360°이지만, 세로 방향의 화각은 20° 정도이다. 이런 카메라는 적외선 렌즈와 리니어 영상 센서(linear image sensor)를 장착한 카메라가 수평 방향으로 끊임없이 회전하면서 전방위 영상을 갱신하여 동영상에 가까운 전방위 영상을 보여준다.

한편, 카메라 전체가 회전하는 대신에 렌즈만 회전하는 방식의 전방위 카메라도 있는데, Horizon, Noblex, Widelux 같은 제품들이 있다. 이와 같은 카메라의 가로 방향의 화각은 대개 140° 정도로 작은 편이고, 필름은 렌즈 반대쪽의 원통형 실린더에 감긴다. 따라서, 렌즈가 회전하더라도 렌즈에서 필름까지의 거리는 항상 일정하게 유지된다. 이와 같은 카메라는 풍경 사진이나 단체 사진을 찍기에 적당하며, 사진 촬영시 렌즈가 회전하는 2 ~ 3초 동안 움직이지 말아야 한다.

국립공원 등에서 야생 동물 관찰용으로 널리 사용되는 Moultrie사의 전방위 카메라도 렌즈가 회전하는 방식을 사용하는데, 모션 센서에 움직임이 감지되면 렌즈가 회전하면서 전방위 영상을 포착하는 방식이다.

이와 같은 회전하는 전방위 카메라들은 파노라마의 개념을 직관적으로 구현하고 있고, 원리적으로도 정확한 전방위 영상을 얻을 수 있지만 동영상을 얻기에는 곤란하다. 복사기로 서류를 복사하면서 실수로 서류를 움직여 본 사람은 움직이는 물체를 움직이는 카메라로 찍을 때 어떤 결과가 벌어질지 쉽게 짐작할 수 있을 것이다.

두번째 방식은 여러 장의 영상들을 얻은 후에 이 영상들을 이어 붙여서 하나의 전방위 영상을 얻는 방식이다. 영상을 이어 붙이는 것이 바느질을 하는 것과 비슷하다고 하여 Stitching 방식이라고 한다. 여러 장의 영상들을 얻기 위하여 하나의 카메라를 돌려가면서 할 수도 있고, 처음부터 각각 다른 방향을 향하는 여러 대의 카메라에서 얻어진 영상들을 사용할 수도 있다. 전자는 주로 정지 영상을 얻기 위하여 사용되며, 후자는 주로 동영상을 얻기 위하여 사용된다.

35mm 필름 카메라의 전성기에는 카메라의 방향을 수평으로 돌려가면서 여러 장의 사진을 얻은 후에 이 사진들이 잘 이어지도록 중첩되는 부분을 가위로 잘라서 이어 붙이기도 했다. 이와 같은 전방위 영상도 좀 더 전문적인 방식으로 얻기 위해서는 카메라를 삼각대에 장착한 후에, 카메라 렌즈의 마디점(Nodal Point)이 삼각대의 중심과 일치하도록 카메라를 수평으로 이동시킬 수 있는 파노라마 헤드(Panorama head)라는 특수한 보조 기구를 사용한다. 카메라의 마디점이란 카메라를 이상적인 바늘구멍 사진기(pinhole camera)로 가정했을 때 그 바늘 구멍의 위치에 해당하는 점이며, 실제 렌즈 내의 어느 곳에 마디점이 위치하는지는 렌즈의 설계도가 있다면 이론적으로 계산할 수도 있고, 아니면 실제 카메라를 가지고 실험적으로 결정할 수도 있다. 이와 같은 방식을 노달 슬라이드(Nodal Slide) 방식이라고 한다.

디지털 카메라와 CCTV, 스마트폰이 출현하면서 Stitching 방식으로 전방위 영상을 제작하는 것이 훨씬 용이해졌으며, Stitching을 쉽게 해주는 상용 소프트웨어도 찾아볼 수 있다([특12] ~ [특13], [비특 12]). 요즘은 PTGui나 AutoPano와 같은 소프트웨어들이 인기가 있다고 한다.

도 8은 Stitching 기술을 이용한 전방위 영상 촬영 기능이 있는 Sony의 DSC-HX1 카메라이며, 도 9는 이 디지털 카메라로 촬영한 전방위 영상 샘플이다. 도 9에서 알 수 있는 바와 같이 가로 방향의 화각이 360°와는 큰 차이가 있다. DSC-HX1으로 전방위 영상을 촬영하기 위해서는 panorama 모드를 선택한 후에, 셔터를 누른 채로 적당한 속도로 가로 방향으로 패닝(panning)을 하여야 한다([비특 13]).

도 10은 Stitching 기술을 이용한 전방위 영상 촬영 기능이 있는 삼성 갤럭시 카메라 EK-KC120L이며, 사용 방법은 DSC-HX1과 비슷하다. 그런데 파노라마 모드로 촬영을 해보면 화각이 360°에 도달하기 전에 미리 종료되는 것을 느낄 수 있다. 도 11은 이 카메라로 촬영한 전방위 영상인데 영상의 왼쪽 끝과 오른쪽이 자연스럽게 이어지지 않는다. 또한, 높낮이도 맞지 않는데 카메라를 손에 들고 수평으로 회전하면서 완벽하게 수평을 유지하는 것이 사실상 불가능하기 때문이다.

도 12와 도 13은 Stitching 기술을 이용한 전방위 영상 촬영 기능이 있는 안드로이드 앱인 Panorama 360으로 촬영한 전방위 영상의 예이다. 도 14에서 알 수 있는 바와 같이 이 영상의 왼쪽 끝과 오른쪽 끝이 자연스럽게 이어지는 것을 알 수 있다. 한편, 도 15는 도 13의 전방위 영상의 일부를 확대한 것으로 승용차 및 건물이 이중으로 보이는 것을 알 수 있는데, 이는 Stitching 기술에 의한 전방위 영상의 기술적 한계 때문이다.

Stitching 기술을 이용하여 전방위 영상을 촬영할 때에는 대략 8장 정도의 일반적인 사진을 촬영하는데, 물론 그 8장의 영상을 촬영할 때의 카메라의 방향은 모두 다르다. 그런데 카메라로부터 피사체까지의 거리에 따라서 카메라 방향이 바뀔 때 피사체가 영상에서 가로 방향으로 이동하는 거리가 모두 다르다. 따라서, 전방위 영상을 합성할 때에는 특정 거리에 있는 주요 피사체를 기준으로 Stitching을 할 수 밖에 없고, 그 주요 피사체와 다른 거리에 있는 피사체는 이중으로 포착될 가능성이 매우 높다.

이는 순전히 기하학적인 문제이므로 렌즈나 영상 처리 알고리즘의 개선으로 해결될 수 있는 문제가 아니다. 현실적인 대안은 이중으로 포착된 영상 중 하나를 지우는 것이며, 일부 소프트웨어는 그런 기능을 제공하고 있다.

동영상으로 전방위 영상을 얻기 위해서는 2개 이상의 CCTV 카메라를 사용한다([비특 14]). 예를 들어 Honeywell의 ParaScan이나 독일 Mobotix사의 D12 같은 전방위 카메라는 가로 방향의 화각이 각각 90°인 카메라 2대로부터 얻은 영상을 합성하여 가로 방향의 화각이 180°인 전방위 영상을 만들어내는 보안 카메라(CCTV)이다. 아레콘트 비전(Arecont Vision)은 여러 개의 CCTV 카메라를 사용하는 Stitching 방식의 고해상도 전방위 보안 카메라를 제공한다.

이와 같은 Stitching 방식의 전방위 카메라의 가장 큰 장점은 현재 구할 수 있는 이미지 센서(image sensor)의 해상도보다도 몇 배나 더 큰 전방위 영상을 만들어 낼 수 있다는 것이다. GoPro의 Odyssey는 16대의 Hero 4 카메라를 사용하므로 Hero 4 카메라 한 대의 해상도보다 16배나 높은 해상도의 360° 전방위 영상을 만들 수 있을 것이다. 당연히 Stitching 방식의 전방위 카메라는 다른 방식의 카메라에 비하여 훨씬 고가이다.

구글, 네이버, 다음 등 인터넷 포털업체(Internet Portal)들은 자사의 지도와 연계한 스트리트뷰(Street View) 서비스를 제공하기 위하여 이와 같은 Stitching 방식의 전방위 카메라를 자동차나 자전거에 싣고 다니면서 영상을 수집하고 있다.

Stitching 방식의 전방위 카메라는 움직이는 부분이 없으므로 동영상을 얻을 수 있지만, 영상과 영상이 만나는 부분에서 그 이음새가 정확하지 않은 부정합 에러(parallex error)가 발생한다. 이는 두 카메라의 시점(viewpoint)이 다른 위치에 존재하기 때문에 발생하는 문제로 소프트웨어적인 보정으로 해결할 수 없는 물리적인 한계이다. 따라서, 피사체가 가까이 있을 때에는 깨진 거울로 얼굴을 비춰보는 것 같은 불쾌한 경험을 할 수 있다. 그런데 철책선이나 해안선, 철로, 고속도로 등 처음부터 멀리 있는 피사체만 모니터링할 목적이라면 별 문제가 되지 않을 것이다.

세번째 방식은 광각 렌즈(wide-angle lens)로 영상을 촬영한 후에 영상 처리를 통하여 전방위 영상을 만들어 내는 영상 처리 기반의 전방위 카메라(image processing-based panoramic camera)이다. 영상 처리 기반의 전방위 카메라와 어안 렌즈(Fisheye lens)는 불가분의 관계에 있다.

전방위 영상을 얻는 한 방법은 화각이 넓은 어안 렌즈(fisheye lens)를 채용하는 것이다. 예를 들어, 화각이 180°인 어안 렌즈를 수직으로 하늘을 향하게 하면 하늘의 별자리에서부터 지평선까지를 한 장의 이미지에 포착하는 것이 가능하다. 이러한 이유로 어안 렌즈는 전천 렌즈(all-sky lens)라고도 지칭된다. 특히, 니콘(Nikon)사의 한 어안 렌즈(6mm f/5.6 Fisheye-Nikkor)는 화각이 220°에 달하므로, 이를 카메라에 장착하면 카메라 후방의 경치도 일부나마 이미지에 포함시킬 수 있다. 이와 같이 어안 렌즈를 사용하여 얻은 영상에 영상 처리(image processing)를 하여 전방위 영상을 얻을 수 있다.

참고 문헌 [비특 15] 내지 [비특 16]에는 주어진 시점(viewpoint) 및 투사 방식(projection scheme)을 가지는 영상에서 다른 시점 내지는 투사 방식을 가지는 영상을 추출하는 핵심 기술이 제시되어 있다. 구체적으로 참고 문헌 [비특 16]에는 정육면체 파노라마(cubic panorama)가 제시되어 있다. 간단히 말하면 정육면체 파노라마는 관찰자가 유리로 제작된 정육면체의 중심에 있다고 할 때 유리벽 밖으로 보이는 모든 방향의 풍경을 유리벽에 묘사하되, 모든 풍경은 정육면체의 중심에서 바라본 시점으로 묘사하는 것이다. 그러나 광학 렌즈를 사용하여 얻은 실제 풍경을 사용한 것이 아니고 가상의 풍경을 왜곡이 없는 가상의 렌즈, 즉 바늘구멍 사진기로 포착한 영상을 사용하였다는 단점이 있다.

참고 문헌 [비특 17]에는 반 원통 모양의 스크린에 어안 렌즈를 사용하여 Omnimax 영상을 투사하기 위한 알고리즘이 제시되어 있다. 특히, 무비 프로젝터에 장착된 어안 렌즈의 투사 방식이 이상적인 등거리 투사 방식과 오차가 나는 것을 감안하여 스크린의 특정 위치에 상점을 형성하는 필름면 상의 물점의 위치를 찾는 방법이 기술되어 있다. 따라서 스크린상에 특정한 영상을 투사하기 위하여 필름에 기록된 영상이 어떠한 형태이어야 하는가를 알 수 있으며, 그러한 영상은 컴퓨터를 사용하여 제작된다. 특히, 영상 처리 알고리즘에 렌즈의 왜곡이 반영되어 있기 때문에 프로젝터에 인접한 관람객은 만족스러운 파노라마 영화를 감상할 수 있다. 그런데 어안 렌즈의 실제 투사 방식을 모델링하는데 있어서 입사광의 천정각을 종속 변수로, 필름면에서의 상 크기를 독립변수로 설정하여 사용이 불편하다. 또한, 불필요하게 근사식을 기수 다항식(odd polynomial)으로만 한정하였다.

또 다른 측면에서, 사람을 포함한 모든 동식물은 중력에 의하여 지구 표면에 구속되어 살아가므로 주의 혹은 관심이 필요한 대부분의 사건은 지평선 근처에서 발생한다. 따라서 지평선 주변의 360°모든 방향을 감시할 필요가 있더라도, 수직 방향으로는 그다지 높이까지 즉, 천정(zenith)이나 천저(nadir)까지 감시할 필요성이 적다. 그런데 360°모든 방향의 풍경을 2차원적인 평면에 묘사하기 위해서는 어쩔 수 없이 왜곡이 필요하다. 구(sphere)의 표면인 지구상의 지리를 평면적인 이차원 지도에 표현하기 위한 지도작성법에도 마찬가지의 어려움이 존재한다.

지구상의 모든 동·식물과 건물 등의 무생물은 모두 중력의 영향 아래에 있으며, 중력의 방향이 똑바로 선 방향, 즉 수직선이 된다. 그런데 모든 왜곡 중에서 사람이 가장 부자연스럽게 느끼는 왜곡은 수직선이 곡선으로 보이는 왜곡이다. 따라서 다른 왜곡이 있더라도 이러한 왜곡은 없도록 하는 것이 중요하다. 그런데 지면은 대체로 중력의 방향에 대해서 수직이지만 경사진 곳에서는 당연히 수직이지 않다. 따라서 엄밀한 의미에서는 수평면을 기준으로 하여야 하며, 수직 방향은 수평면에 대하여 수직인 방향이다.

참고 문헌 [비특 18]에는 다양한 지도 작성법 중에서도 널리 알려진 투사 방식인 등직교 투사(equi-rectangular projection), 메카토르 투사(Mercator projection) 및 원통형 투사(cylindrical projection)가 기술되어 있으며, 참고문헌 [비특 19]에는 다양한 투사 방식의 역사가 요약되어 있다. 이 중에서 등직교 투사 방식은 우리가 지구상의 지리를 표현하거나 별자리를 표시하기 위한 천구를 묘사할 때 가장 익숙한 지도 작성법의 하나이다.

참고 문헌 [특 14] 및 [비특 20]에는 화각 190°를 가지는 어안 렌즈의 실시 예가 기술되어 있으며, 참고 문헌 [특 15]에는 평사투영 방식의 굴절식 및 반사굴절식 어안 렌즈를 포함하는 다양한 광각 렌즈의 실시 예가 제시되어 있다.

그리고 참고 문헌 [특 16]에는 어안 렌즈를 포함하는 회전 대칭형의 광각 렌즈를 사용하여 획득한 영상에서 원통형 투사 방식이나 등직교 투사 방식 및 메카토르 투사 방식을 따르는 전방위 영상을 얻는 다양한 실시 예가 기술되어 있다.

한편, 실내의 한쪽 벽면에 부착하여 실내 전체를 감시할 수 있는 또 다른 영상 시스템의 예로는 팬(pan)·틸트(tilt)·줌(zoom) 카메라를 들 수 있다. 이와 같은 카메라는 광학적으로 줌 기능이 있는 렌즈를 장착한 CCTV를 팬·틸트 스테이지(stage)에 장착함으로써 구현된다.

팬 작용은 수평 방향으로 소정의 각도만큼 회전할 수 있는 기능을 말하며, 틸트 작용은 수직 방향으로 소정의 각도만큼 회전할 수 있는 기능을 말한다. 다시 말하면 카메라가 천체를 기술하는 천구(celestial sphere)의 중심에 있다고 할 때 팬은 경도(longitude)를 변경하는 작용(operation)을 의미하며, 틸트는 위도(latitude)를 변경하는 작용을 의미한다. 따라서 팬 작용의 이론적인 범위는 360°이며, 틸트 작용의 이론적인 범위는 180°이다.

이와 같은 팬·틸트·줌 카메라의 단점은 높은 가격과 큰 부피 및 중량을 들 수 있다. 광학적 줌 기능이 있는 렌즈는 설계의 난이성과 구조의 복잡성으로 인하여 부피도 크고, 무게도 무거우며 가격도 고가이다. 또한, 팬·틸트 스테이지는 카메라에 못지않은 고가의 장치이다. 따라서 팬·틸트·줌 카메라를 설치하기 위해서는 상당히 많은 비용을 지불하여야 한다. 또한, 팬·틸트·줌 카메라는 부피도 크고 무게도 무거우므로 응용 예에 따라서 상당한 장애 요인이 될 수 있다. 예를 들어 비행기와 같이 탑재체의 중량이 상당히 중요한 경우나, 아니면 좁은 공간에 영상 시스템을 설치하기 위하여 공간적인 제약이 존재하는 경우이다. 더구나 팬·틸트·줌 작용은 물리적인 작용이므로 이러한 작용을 수행하는데 시간이 많이 소요된다. 따라서 응용 예에 따라서 이와 같은 카메라의 기계적인 반응이 충분히 빠르지 않을 수 있다.

한편, 참고 문헌 [특 17]에는 물리적으로 움직이는 부분이 없이 팬·틸트·로테이트·줌 기능을 할 수 있는 영상 시스템이 기술되어 있다. 상기 발명은 화각이 180°이상인 어안 렌즈를 장착한 카메라를 사용하여 영상을 획득한 뒤 사용자가 조이스틱 등의 입력장치를 사용하여 주시 방향(principal direction of vision)을 지정하면 왜곡이 없는 카메라가 그 방향을 향했을 때의 영상, 즉 직선수차보정 영상(rectilinear image)을 추출해 주는 것을 특징으로 한다. 이 발명과 선행 기술과의 차별성은 사용자가 조이스틱이나 컴퓨터 마우스 등 다양한 입력장치에 의하여 선택한 방향의 직선수차보정 영상을 생성해 준다는 사실이다. 이러한 기술은 가상 현실(virtual reality) 혹은 기계적인 팬·틸트·줌 카메라를 대체하려고 할 때 핵심적인 기술로서 키워드는 "상호적인 영상(interactive picture)"이라고 할 수 있다. 이러한 기술에서는 물리적으로 움직이는 부분이 없으므로 시스템의 응답 속도가 빠르고 기계적 고장의 우려가 적은 장점이 있다.

일반적으로 감시 카메라와 같은 영상 시스템을 설치할 때에는 수평면에 수직인 수직선이 획득된 영상에서도 수직선으로 표시되도록 한다. 그러한 상태에서 기계적인 팬·틸트·줌 작용을 하더라도 상기 수직선은 영상에서 계속 수직선으로 표시된다. 그런데 참고 문헌 [특 17]의 발명에서는 소프트웨어적인 팬·틸트 작용을 하여 얻어진 영상에서 수직선이 일반적으로 수직선으로 표시되지 않는다. 이와 같은 부자연스러운 화면을 보정하기 위하여 기계적인 팬·틸트 카메라에는 없는 회전(rotate) 작용을 추가적으로 수행하여야 한다. 그런데 상기 발명에서는 수직선이 수직선으로 표시되기 위하여 필요한 회전각이 얼마인지가 제시되지 않고 있다. 따라서 상기 발명에서는 수직선이 수직선으로 표시되는 영상을 얻기 위하여 시행착오적인 방법으로 정확한 회전각을 찾아야 하는 단점이 있다.

또한, 상기 발명에서는 어안 렌즈의 투사 방식을 이상적인 등거리 투사 방식(equi-distance projection scheme)으로 가정하고 있다. 그런데 실제 어안 렌즈의 투사 방식은 이상적인 등거리 투사 방식과 상당한 오차를 보이는 것이 보통이다. 상기 발명은 이와 같이 실제 렌즈의 왜곡 특성이 반영되지 못하므로 영상 처리를 한 영상에서도 왜곡이 있게 된다.

참고 문헌 [특 18]에는 참고 문헌 [특 17]에서 어안 렌즈의 실제 투사 방식이 반영되지 않는 단점을 보완한 영상 처리 방법이 제시되어 있다. 그러나 수직선이 영상에서 수직선으로 표시되지 않는 단점은 해소되지 않고 있다.

참고 문헌 [특 19]에는 어안 렌즈로 포착한 영상을 원격으로 전송하여 수신단에서 왜곡이 없는 직선수차보정 영상을 생성하는 영상 시스템이 기술되어 있는데 이 시스템의 가장 큰 장점으로는 기계적인 팬·틸트 카메라와 다르게 수신단에서 송신단으로 조정 신호(control signal)를 보낼 필요가 없다는 점이다. 또한, 송신단 1개에 대하여 다수의 수신단에서 각자 별개의 직선수차보정 영상을 생성할 수도 있다는 추가적인 이점이 있다.

화각 180°의 어안 렌즈를 장착한 카메라 또는 가로 방향의 화각이 180°인 전방위 카메라가 실내의 한 벽면에 부착되어 있다면 사실상 감시의 사각 지대가 없다. 카메라가 포착하지 못하는 영역은 감시의 필요성이 없는 벽면이기 때문이다. 그러나 어안 렌즈에 의한 영상은 통형 왜곡으로 인하여 심미적으로 불쾌감을 유발하며, 왜곡이 없는 초광각 직선수차보정 영상은 비록 실내의 대부분을 볼 수 있다고 하더라도 광축에 대하여 많이 떨어져 있는 방향의 피사체는 자연스럽게 포착되지 않는다. 또한, 전방위 카메라에 의한 영상은 실내 전체를 자연스럽게 포착할 수는 있지만 멀리 떨어져 있는 피사체가 너무 작게 포착되어서 식별이 곤란할 가능성이 있다. 이러한 경우에 가장 자연스러운 영상은 피사체의 방향으로 카메라를 향하게 하여 정면으로 바라보는 직선수차보정 영상이다.

전술한 바와 같이 물리적으로 이러한 일이 가능한 카메라는 왜곡이 없는 직선수차보정 렌즈를 구비하고 팬(pan)·틸트(tilt) 스테이지에 장착된 카메라이다. 카메라가 주의가 필요한 방향이 정면이 되도록 회전할 수 있기 때문에 가장 만족스러운 영상을 얻을 수 있다. 또한, 고양이나 불법 칩입자처럼 움직이는 피사체가 있을 경우에 피사체의 움직임을 그대로 따라가면서 영상을 포착할 수도 있다. 참고 문헌 [특 20]에는 이와 같은 기능을 소프트웨어적으로 구현하기 위하여 소프트웨어적으로 팬 작용을 한 이후에 틸트 작용을 하는 방법 및 틸트 작용을 한 이후에 팬 작용을 하는 영상 처리 방법이 개시되어 있다. 그런데 팬 작용과 틸트 작용의 선후 관계에 따라서 서로 다른 영상이 얻어진다. 따라서, 카메라의 설치 상태에 따라서 바람직한 영상 처리 방법을 사용하여야 한다.

참고 문헌 [특 20]에는 광축을 중심으로 회전 대칭형인 광각 렌즈의 영상에 수학적으로 정확한 영상 처리를 함으로써 왜곡이 없는 직선수차보정 영상을 얻는 방법 및 이를 이용하는 다양한 영상 시스템을 제공한다. 특히, 디지털 팬·틸트 효과를 구현하면서도 수직선이 수직선으로 표시되는 영상 처리 알고리즘이 제시되어 있다. 그런데 참고 문헌 [특 20]의 발명은 어안 렌즈를 장착한 카메라로 획득한 영상에서 직선수차보정 렌즈를 장착한 팬·틸트 카메라로 얻을 수 있는 영상을 추출하는 알고리즘에 관한 것이지만, 팬·틸트 카메라가 처할 수 있는 다양한 가능성을 모두 고려한 알고리즘을 제공하는 것은 아니다. 예를 들어, 참고 문헌 [특 20]의 발명에서는 카메라의 광축이 지평면에 평행하거나 수직한 경우, 또는 카메라의 광축이 지평면에 대하여 소정의 각도를 가지더라도 획득하고자 하는 직선수차보정 영상은 가상의 직선수차보정 카메라의 광축이 지평면에 평행한 경우만을 고려한 영상 처리 방법이 제시되어 있다.

실제로 사용되는 물리적인 팬·틸트 카메라는 팬각과 틸트각이 모두 0°인 경우에 대개 카메라의 광축이 지평면에 평행하도록 설치된다. 따라서, 참고 문헌 [특 20]의 발명은 물리적인 팬·틸트 카메라의 효과를 구현할 수 있다. 그런데 어안 렌즈를 장착한 카메라로 얻은 영상에서 디지털 팬·틸트 효과를 구현하고자 할 경우에는 물리적인 팬·틸트 카메라가 구현할 수 있는 범위를 넘어서는 효과를 얻을 수 있다. 참고 문헌 [특 21]의 발명은 이와 같이 물리적인 팬·틸트 카메라의 한계를 넘어서는 효과를 구현하는 수학적으로 엄밀한 영상 처리 방법 및 영상 시스템을 제공한다. 특히, 참고 문헌 [특 21]의 발명에서는 이미지 센서면의 가로 방향의 변이 지평선에 평행하지 않은 경우에도 사용될 수 있는 가장 일반적인 영상 처리 방법도 아울러서 제공되고 있다.

그런데 TV나 영화를 볼 때는 왼쪽 눈과 오른쪽 눈에 보여지는 영상이 동일하여 화면이 입체적이 아니라 평면적으로 느껴지며, 몰입감(沒入感)이 저하된다. 그런 이유로 TV나 영화로 보는 화면은 육안으로 보는 것만큼 생생하게 느껴지지 않는다.

한편, TV나 영화, 컴퓨터 화면에서 입체 영상을 감상할 수 있도록 하는 다양한 입체 영상 기술이 개발되어 왔다. 이와 같은 기술들의 공통점은 도 16에 보이는 것과 같이 동일한 사양의 두 렌즈가 나란히 같은 방향을 향하는 입체 카메라(stereo camera)를 이용하여 두 장의 영상을 획득한 뒤, 두 영상을 각각 왼쪽 눈과 오른쪽 눈에 보여주는 것이다. 물론 이 경우에도 입체 카메라에서 두 렌즈의 가로 방향의 간격은 두 눈 사이의 간격과 비슷하게 설정된다.

가상 현실(VR: Virtual Reality)은 폭발적인 관심속에 날로 시장규모가 확대되고 있다. 가상 현실과 유사한 분야로 인공 현실(AR: Artificial Reality)과 증강 현실(AR: Augmented Reality) 또는 복합 현실(MR: Mixed Reality)도 있다. 그런데 가상 현실과 인공 현실, 증강 현실 모두 이들 영상을 입체 영상으로 즐기기 위해서는 왼쪽 눈과 오른쪽 눈에 시점이 다른 영상이 보여져야 하며, 이를 가능하게 하는 기기 중 가장 대표적인 것이 머리에 착용하여 왼쪽 눈과 오른쪽 눈에 각각 다른 영상을 보여줄 수 있는 헤드 마운티드 디스플레이(HMD: Head Mounted Display) 기기이다. 도 17은 구글(Google)사에서 만든 Cardboard viewer를 보여주며, 도 18은 HMD 기기에서 왼쪽 눈에 해당하는 화면과 오른쪽 눈에 해당하는 입체 영상의 예이다.

한편, 입체 영상을 감상할 수 있는 다른 종류의 입체 안경, 또는 3D 안경들이 존재하는데, 이중 가장 저렴하고 효과적인 안경은 애너글리프 안경(anaglyph glass)이다. 도 19는 종이와 셀룰로이드(celluloid) 필름으로 제작한 저렴한 애너글리프 안경을 보여준다. 애너글리프 안경의 왼쪽과 오른쪽은 적색과 청색, 또는 적색과 녹색처럼 다른 색깔을 가지고 있으며, 애너글리프 방식으로 제작된 입체 영상을 애너글리프 안경으로 바라보면 왼쪽 눈과 오른쪽 눈에 각각 다른 영상이 보여지며, 뇌에서는 이들 영상을 합성하여 입체로 인식하게 된다.

또 다른 방식으로는 왼쪽 눈과 오른쪽 눈에 각각 반대되는 편광판을 사용하는 편광 안경도 있다. 애너글리프 안경이나 편광 안경은 사용하는데 있어서 전기 동력을 필요로 하지 않으므로 수동형 3D 안경(passive 3D glass)에 해당한다.

더 복잡한 방식으로는 셔터 글래스(shutter glass) 방식의 능동형 3D 안경(Active 3D glass)이 있는데, 이는 모니터에서 왼쪽 눈과 오른쪽 눈에 해당하는 영상을 번갈아서 보여주고, 셔터 글래스에서는 모니터와 동기되어 왼쪽 안경알과 오른쪽 안경알이 각각 투명한 상태와 불투명한 상태를 오가는 것이다. 즉, 능동형 방식에서는 모니터와 3D 안경이 동기화되어 왼쪽 영상과 오른쪽 영상을 번갈아서 보여주는 것이다.

실제로 입체 영상을 생성하기 위해서는 도 20에 보이는 바와 같이 두 개의 어안 렌즈를 사용하는 GoPro사의 입체 카메라를 사용할 수 있다. 그런데 이 경우에도 카메라 정면의 입체 영상은 생성이 가능하지만, 정면이 아닌 사선 방향의 입체 영상은 입체 효과가 떨어진다. 그 이유는 도 21 및 도 22에서 알 수 있다.

도 21은 두 개의 어안 렌즈를 사용하는 입체 전방위 카메라에서 영상 처리에 의한 입체 영상 획득의 개념도이다. 두 어안 렌즈의 마디점(N_L, N_R)의 중간에 세계 좌표계(World Coordinate System)의 원점 O가 위치한다. 따라서, 두 어안 렌즈의 마디점(N_L, N_R)은 원점에서 동일한 거리에 떨어져 있다. 또한, 두 어안 렌즈의 광축(2101L, 2101R)은 같은 방향을 향하고 있는데, 그 광축의 방향은 X-축에 수직하고, Z-축에 평행하다. 즉, 세계 좌표계의 Z-축은 원점을 지나고 두 어안 렌즈의 광축에 평행하다. 도 21에서 왼쪽의 직선수차보정 영상의 주시 방향(principal direction of vision)(2103L)과 오른쪽의 직선수차보정 영상의 주시방향(2103R)은 광축 방향(2101L, 2101R)과 일치한다.

두 어안 렌즈의 마디점 (N_L, N_R)은 거리 D₀만큼 떨어져 있다. 그 거리 D₀는 사람의 평균적인 두 눈 사이의 거리인 6.35cm와 유사하게 설정할 수 있다. 이와 같은 세계 좌표계에서 왼쪽 어안 렌즈의 마디점 N_L의 좌표 (X, Y, Z)는 (-D₀ / 2, 0, 0)이며, 오른쪽 어안 렌즈의 마디점 N_R의 좌표는 (+D₀ / 2, 0, 0)이다.

도 21에는 왼쪽 어안 렌즈의 화각과 오른쪽 어안 렌즈의 화각이 반원으로 표시되어 있다. 따라서, 어안 렌즈의 화각은 180°인 것으로 가정하였지만, 어안 렌즈의 화각은 임의의 값을 갖더라도 상관없다. 또한, 왼쪽 어안 렌즈에서 영상 처리에 의하여 얻어지는 직선수차보정 영상의 물체면(2131L)과 영상면(2135L) 및 오른쪽 어안 렌즈에 대응하는 물체면(2131R)과 영상면(2135R)도 같이 표시되어 있다.

도 21에 도시한 입체 카메라에서 왼쪽 어안 렌즈와 오른쪽 어안 렌즈의 마디점이 광축에 수직한 방향으로 거리 D₀만큼 떨어져 있으므로, 영상 처리를 통하여 얻어진 두 직선수차보정 영상면(2135L, 2135R)은 거리 D₀에 해당하는 시차를 가지며, 이를 각각 왼쪽 눈과 오른쪽 눈에 대응하는 HMD 기기의 화면에 표시하면, 이 HMD 기기를 착용한 사용자는 실제 그 장소에 있는 것과 마찬가지의 입체감을 느낄 수 있다.

물론, HMD 기기뿐만 아니라 애너글리프 안경이나 편광 안경과 같은 수동형 3D 안경이나 셔터 글래스를 사용하는 능동형 3D 안경을 사용하더라도 마찬가지이다. 이와 같은 경우에 왼쪽 눈과 오른쪽 눈에 대응하는 직선수차보정 영상을 생성하는 과정은 동일하며, 단 3D 방식에 따라서 이 한 쌍의 직선수차보정 영상을 입체 영상으로 바꿔주는 과정만 달라질 뿐이다.

도 22는 이와 같은 입체 전방위 카메라에서 어안 렌즈의 광축 방향과 다른 방향의 입체 영상을 얻기 위하여 팬(pan) 작용을 한 한 쌍의 직선수차보정 영상을 얻고자 할 때 입체 효과가 감소되거나 사라진다는 것을 예시하는 도면이다.

도 22를 참조하여 어안 렌즈의 광축 방향(2201L, 2201R)과 각도 β만큼 팬 작용을 한 직선수차보정 영상을 얻고자 할 때 두 어안 렌즈의 마디점 (N_L, N_R)의 간격을 두 직선수차보정 영상의 주시 방향(2203L, 2203R)에 수직한 방향으로 측정하면 수학식 1과 같이 주어진다.

따라서, 팬 각이 커지면 커질수록 두 마디점의 주시 방향에 수직한 간격은 점점 줄어들며, 팬 각이 90°가 되면 그 간격은 0이 되어 아무런 입체 효과를 기대할 수 없다. 이런 이유에서 도 20에 보이는 두 개의 어안 렌즈를 사용하는 입체 전방위 카메라는 임의의 방향에 대하여 입체 영상을 제공할 수 없다.

도 23은 GoPro사의 또 다른 입체 전방위 카메라인 GoPro Odyssey를 보여주며, 어안 렌즈를 사용하는 카메라 여러 대가 동심원상에 바깥쪽을 향하는 방향으로 배치된 것이다. 이와 같은 경우에 HMD의 사용자가 바라보기를 원하는 방향에 가장 가까운 방향으로 배치된 두 대의 카메라에서 각각 직선수차보정 영상을 생성하여 이를 왼쪽 눈과 오른쪽 눈에 보여주면 입체 영상의 효과를 구현할 수 있을 것이다. 그런데 이 방식은 많은 수의 카메라를 필요로 하므로 제작 비용이 비쌀 뿐만 아니라, 여러 대의 카메라에서 나오는 어안 영상을 동시에 전송 내지는 저장하여야 하는 단점이 있다.

도 24는 또 다른 입체 전방위 카메라인 GoPro 360 Hero인데 동일한 사양을 가지는 다수의 카메라가 여러 방향을 향하도록 집적된 것이다. 이때 관찰자가 바라보기를 원하는 방향을 향하는 두 대의 카메라에서 입체 영상을 생성하는 것으로 추정된다. 그러나, 정확한 입체 영상을 제공할 수 없음이 명백하다.

1998년에 Yi-Ping Hung 교수 등은 한 쌍의 회전하는 카메라를 이용하는 입체 전방위 카메라를 발표하였다([비특 21]). 도 25에 보이는 것처럼 같은 방향을 향하는 동일한 카메라 2대를 수평으로 회전시키면서 여러 장의 사진을 획득한 후 각각의 카메라에서 얻은 영상들을 Stitching하면 각각 왼쪽 카메라와 오른쪽 카메라에 해당하는 전방위 영상이 얻어지는 원리이다. 실험에 사용한 카메라는 화각이 30°이고, 수평으로 15°씩 회전시키면서 영상을 촬영하였다고 한다. 마이크로소프트의 H. Shum 등도 비슷한 개념의 연구 결과를 발표하였다([비특 22], [특 22]).

그러나 원리적으로 더 나은 결과는 두 카메라의 중간점을 중심으로 회전하는 것이다([비특 23] ~ [비특 24]). 도 26은 참고 문헌 [비특 24]에 제시되어 있는 입체 360° 전방위 카메라의 개념도이다. 이 구조에서 동일한 사양을 갖는 두 대의 카메라가 회전하는 스테이지에 장착되어 있다. 두 렌즈의 마디점의 중간점은 회전 스테이지의 회전축에 위치한다. 또한, 두 렌즈 마디점 사이의 간격은 사람의 두 눈 사이의 간격과 비슷하다.

[비특 26]에 개시된 카메라는 35mm 롤 필름(roll film)을 사용하는 것으로 기술되었으며, 렌즈 앞에는 세로 방향으로 좁은 슬릿(slit)이 장착되어 있다. 따라서, 카메라가 어느 한 방향을 향하고 있을 때 그 방향에 대응하는 세로 방향의 얇은 띠 모양의 영상이 쌍으로 이어진다. 회전 스테이지가 회전하면서 모든 방향으로 띠 모양의 영상을 얻을 후 이를 모두 이으면 도 27에 보이는 것과 같이 왼쪽 눈과 오른쪽 눈에 대응하는 한 쌍의 전방위 영상이 얻어지게 된다.

도 28은 일단 얻어진 360° 전방위 영상에서 직선수차보정 영상을 얻은 과정을 예시하는 개념도이다. 이와 같은 경우에 카메라의 마디점이 제자리에 있지 않고 계속 회전하므로 수학적으로 엄밀하게 정확한 직선수차보정 영상이 얻어지는 것은 아니지만, 육안으로 보기에 만족스러운 입체 영상을 얻기에는 충분하다. 도 27은 실제로 회전하는 카메라를 사용하여 얻은 한 쌍의 전방위 영상인데 반하여, 도 28은 가상의 카메라로 획득한 인공적인 전방위 영상에서 생성한 한 쌍의 직선수차보정 영상을 보여준다. 따라서, [비특 24]에 개시된 기술은 실제로 회전하는 카메라에서 얻어진 한 쌍의 전방위 영상에서 왜곡이 없는 한 쌍의 광각 영상을 생성하는 영상 처리 알고리즘을 제공하지 못하였다.

한편, 도 29는 한 쌍의 카메라가 아니라 단 한 대의 회전하는 카메라를 이용하여 입체 360° 전방위 영상을 얻는 시스템의 개념도이다. 이와 같은 시스템에서 카메라 렌즈의 마디점은 회전 스테이지의 회전축에서 얼마의 거리를 가지고 떨어져 있다. 그리고 카메라가 어느 한 위치에 있을 때 얻어지는 영상에서 사선으로 포착된 두 개의 얇은 띠 모양의 영상들을 추출하여 이를 모두 이으면, 마치 두 대의 카메라를 이용하여 얻은 전방위 영상과 동일한 효과를 구현할 수 있다.

[비특 21] 내지 [비특 24]에 개시된 입체 전방위 영상 시스템에서는 어느 한 방향을 향하는 영상에서 세로 방향으로 얇은 띠(strip) 모양의 영상을 잘라내서 이를 이어 붙이는 방식을 사용한다. 그런데 이와 같이 stitching 방식을 사용할 경우에는 도 15에 예시한 것과 같은 이상 현상을 근본적으로 회피할 수 없다.

그런데 세로 방향으로 단 한 줄의 이미지 센서들을 가지는 라인 스캔 센서(line scan sensor)를 사용하여 전방위 영상 시스템 또는 입체 전방위 영상 시스템을 구현할 수도 있다. 전술한 바와 같이 [특 10]에는 라인 스캔 센서를 사용하는 전방위 영상 시스템이 개시되어 있다. 또한, [특 11]에는 라인 스캔 센서를 사용하는 전방위 카메라와 입체 전방위 카메라가 개시되어 있다. 그런데 [특 11]의 발명은 거울과 도브 프리즘(dove prism)을 사용하는 derotator를 사용하고 있으며, 이와 같은 구조로 상용 제품을 만들기는 어렵다고 판단된다.

[특 23]에는 어안 렌즈와 라인 스캔 센서를 사용하는 입체 전방위 카메라가 개시되어 있으나 발명의 구성 요소에 불필요할 뿐만 아니라 사실상 구현이 거의 불가능한 요소가 포함되어 있다. 출원인은 Stitching 방식의 전방위 카메라 사업을 현재까지도 영위하고 있지만, [특 23]에 개시된 발명은 제작한 적이 없는 것으로 추정된다.

[특 24]에는 카메라를 수평으로 회전시켜서 입체 전방위 영상을 얻는 방법이 개시되어 있으나 상세한 설명이 불충분하여 목적하는 결과를 얻을 수 있는지도 불분명하지만, 근본적으로 출원인이 발명한 기술이 무엇인지 추정하기 어렵다. 예를 들어 panorama 모드에서 셔터를 누른채 수평으로 panning을 하거나, 일련의 사진에서 중첩되는 부분을 검출하거나, 여러 가지 보정 작업을 하는 것은 이미 기존 제품에서도 사용되고 있는 기술이고, "rotation correction"이 무엇을 의미하는지 설명이 없으며, 수평으로 panning을 하여 얻은 영상에서 전방위 영상이 아니라 입체 영상이 얻어지는 과정이 무엇인지 알 수 없다.

[특 25]도 회전하는 단일 카메라를 사용하여 입체 전방위 영상을 얻는 방법에 대하여 개시하고 있으나, 영상을 up-sampling하는 부분을 제외하면 영상 정합(Stitching)하는 방법에 대한 예시가 거의 전부이다.

[특 26] 및 [특 27]에는 원통형 전방위 영상에서 직선수차보정 영상을 얻는 방법이 개시되어 있다 그런데, 만약 직선수차보정 투사 방식을 가지는 반사굴절식 전방위 렌즈를 사용했거나, 직선수차보정 렌즈를 사용하는 주사형 전방위 카메라를 사용했다면, 도 30에 보이는 직선수차보정 영상을 전방위 영상에서 단순한 기하학적 변환을 통하여 얻을 수 있다([비특 10]).

[특 1] R. Parodi, "Optical device for horizontal panoramic and zenithal view", 미국 특허 제1,616,279호, 등록일 1927년 2월 1일. [특 2] M. M. Kirtane, "Optical system for viewing tubes", 미국 특허 제1,653,575호, 등록일 1927년 12월 20일. [특 3] D. W. Rees, "Hyperbolic ellipsoidal real time display panoramic viewing installation for vehicles", 미국 특허 제3,229,576호, 등록일 1966년 1월 18일. [특 4] D. W. Rees, "Panoramic television viewing system", 미국 특허 제3,505,465호, 등록일 1970년 4월 7일. [특 5] J. A. Pinzone, G. J. Troje and E. L. Schiavone, "Reflectors and mounts for Panoramic optical systems", 미국 특허 제3,846,809호, 등록일 1974년 11월 5일. [특 6] J. S. Chahl, M. G. Nagle, M. V. Srinivasan and P. J. Sobey, "Panoramic surveillance system", 미국 특허 제5,790,181호, 등록일 1998년 8월 4일. [특 7] 권경일, "직선수차보정 거울 및 그를 구비하는 영상 시스템", 대한민국 특허 제10-0552367호, 등록일 2006년 2월 8일. [특 8] A. A. Kostrzewski, S. Ro, I. Agurok and M. Bennahmias, "Panoramic video system with real-time distortion-free imaging", 미국 특허 제7,336,299호, 등록일 2008년 2월 26일. [특 9] R. P. Globus, R. D. Globus and S. E. Globus, "Panoramic camera", 미국 특허 제4,241,985호, 등록일 1980년 12월 30일. [특 10] G. Federau, "Line-scan panoramic camera", 미국 특허 제4,532,544호, 등록일 1985년 7월 30일. [특 11] J. D. Keast and J. F. Buford, "Digital video panoramic image capture and display system", 미국 특허 제5,721,585호, 등록일 1998년 2월 24일. [특 12] P. C. Teo, "Method and system for creating panoramas", 미국 특허 제6,246,413호, 등록일 2001년 6월 12일. [특 13] K. Park and S. Cho, "Method of taking a panoramic photo and mobile communication terminal using it", 유럽 특허 EP 1,858,251, 출원일 2007년 5월 16일. [특 14] 권경일, 밀턴 라이킨, "어안 렌즈", 대한민국 특허 제10-0888922호, 등록일 2009년 3월 10일. [특 15] 권경일, 밀턴 라이킨, "광각 렌즈", 대한민국 특허 제10-0826571호, 등록일 2008년 4월 24일. [특 16] 권경일, "회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치", 대한민국 특허 제10-0882011호, 등록일 2009년 1월 29일. [특 17] S. D. Zimmermann, "Omniview motionless camera orientation system", 미국 특허 제5,185,667호, 등록일 1993년 2월 9일. [특 18] E. Gullichsen and S. Wyshynski, "Wide-angle image dewarping method and apparatus", 미국 특허 제6,005,611호, 등록일 1999년 12월 21일. [특 19] H. L. Martin, D. P. Kuban and S. D. Zimmerman, "System for omnidirectional image viewing at a remote location without the transmission of control signals to select viewing parameters", 미국 특허 제5,877,801호, 등록일 1999년 3월 2일. [특 20] 권경일, "회전 대칭형의 광각 렌즈를 이용하여 전방위 영상 및 직선수차보정 영상을 얻는 방법 및 그 영상 시스템", 대한민국 특허 제10-0898824호, 등록일 2009년 5월 14일. [특 21] 권경일, "회전 대칭형의 광각 렌즈를 이용하여 디지털 팬·틸트 영상을 얻는 방법 및 그 영상 시스템", 대한민국 특허 제10-1233948호, 등록일 2013년 2월 8일. [특 22] H. Shum and R. S. Szeliski, "Stereo reconstruction from multiperspective panoramas", 미국 특허 제6,639,596호, 등록일 2003년 10월 28일. [특 23] D. J. McCutchen, "Rotating scan camera", 미국 특허 제7,791,638호, 등록일 2010년 9월 7일. [특 24] H. Ooshima, "Stereoscopic panoramic image synthesis device, image capturing device, stereoscopic panoramic image synthesis method, recording medium, and computer program", 미국 특허 제9,210,408호, 등록일 2015년 12월 8일. [특 25] C. Richardt, H. Zimmer, Y. Pritch and A. S. Hornung, "Stereoscopic panoramas", 미국 특허 제9,398,215호, 등록일 2016년 7월 19일. [특 26] S. E. Chen and G. S. P. Miller, "Cylindrical to planar image mapping using scanline coherence", 미국 특허 제5,396,583호, 등록일 1995년 3월 7일. [특 27] K. F. Cheng, K. G. Kumar, J. S. Lipscomb, J. P. Menon, M. H. Willebeek-LeMair, "Method and apparatus for displaying panoramas with streaming video", 미국 특허 제6,356,297호, 등록일 2002년 3월 12일.

[비특 1] University of Edinburgh, Main Library. [비특 2] Wikipedia, "Robert Barker(painter)". [비특 3] 권경일, "전방위 카메라의 역사와 전망", Vision System Design, 17-27 (2016년 5월호). [비특 4] P. Greguss, "Panoramic security", Proc. SPIE, 1509, 55-66 (1991). [비특 5] J. S. Chahl and M. V. Srinivasan, "Reflective surfaces for panoramic imaging", Appl. Opt. 36, 8275-8285 (1997). [비특 6] H. Ishiguro, "Development of low-cost compact omnidirectional vision sensors and their applications", in Panoramic Vision: Sensors, Theory, and Applications, R. Benosman and S. Kang, eds. (Springer, 2001), Chap. 3. [비특 7] R. A. Hicks and R. Bajcsy, "Reflective surfaces as computational sensors", Image and Vision Computing, 19, 773-777 (2001). [비특 8] G. Kweon, K. Kim, G. Kim, and H. Kim, "Folded catadioptric panoramic lens with an equidistance projection scheme", Appl. Opt. 44, 2759-2767 (2005). [비특 9] G. Kweon, K. Kim, Y. Choi, G. Kim, and S. Yang, "Catadioptric panoramic lens with a rectilinear projection scheme", J. Korean Phys. Soc. 48, 554-563 (2006). [비특 10] G. Kweon, Y. Choi, G. Kim, and S. Yang, "Extraction of perspectively normal images from video sequences obtained using a catadioptric panoramic lens with the rectilinear projection scheme", Technical Proceedings of the 10th World Multi-Conference on Systemics, Cybernetics, and Informatics, 67-75 (Olando, Florida, USA, June, 2006). [비특 11] G. Kweon, S. Hwang-bo, G. Kim, S. Yang and Y. Lee, "Wide-angle catadioptric lens with a rectilinear projection scheme", Appl. Opt. 45, 8659-8673 (2006). [비특 12] T. R. Halfhill, "See you around", BYTE, 85-90 (May 1995). [비특 13] Sony Corporation, "Digital still camera instruction manual: DSC-HX1", 38-39 (2009) [비특 14] A. N. de Jong and P. B. W. Schwering, "IR panoramic alerting sensor concepts and applications", Proc. SPIE, 5074, 658-668 (2003). [비특 15] J. F. Blinn and M. E. Newell, "Texture and reflection in computer generated images", Communications of the ACM, 19, 542-547 (1976). [비특 16] N. Greene, "Environment mapping and other applications of world projections", IEEE Computer Graphics and Applications, 6, 21-29 (1986). [비특 17] N. L. Max, "Computer graphics distortion for IMAX and OMNIMAX projection", Proc. NICOGRAPH, 137-159 (1983). [비특 18] E. W. Weisstein, "Cylindrical Projection", http://mathworld.wolfram.com/CylindricalProjection.html. [비특 19] W. D. G. Cox, "An introduction to the theory of perspective - part 1", The British Journal of Photography, 4, 628-634 (1969). [비특 20] G. Kweon, Y. Choi, and M. Laikin, "Fisheye lens for image processing applications", J. of the Optical Society of Korea, 12, 79-87 (2008). [비특 21] H. Huang and Y. Hung, "Panoramic stereo imaging system with automatic disparity warping and seaming", Graphical Models and Image Processing, 60, 196-208 (1998). [비특 22] H. Shum and R. Szeliski, "Stereo reconstruction from multiper spective panoramas", International Conference on Computer Vision, 14-21 (1999). [비특 23] S. Peleg, Y. Pritch and M. Ben-Ezra, "Cameras for stereo panoramic imaging", IEEE Conference on Computer Vision and Pattern Recognition, 208-214 (2000). [비특 24] P. D. Bourke, "Synthetic stereoscopic panoramic images", Lecture Notes in Computer Graphics (LNCS), Springer, 4270, 147-155 (2006).

본 발명은 HMD 기기나 기타 3D 안경을 사용하여 임의의 방향의 입체 영상을 감상할 수 있도록 입체 360°전방위 영상을 얻는 방법과 그 장치를 제공하고자 하며, 특히 수평 방향으로 360°모든 방향 뿐만 아니라, 수직 방향으로도 180°모든 방향을 볼 수 있는 기술을 제공하고자 한다.

회전하는 스테이지의 양쪽으로 대칭되게 배치된 한 쌍의 카메라를 이용한다. 두 카메라는 동일한 사양을 가지고 있으며 세로 방향으로 배치된 라인 스캔 센서를 가지는 라인 스캔 카메라이고, 렌즈는 수직 방향의 화각이 바람직하게 180°이상의 어안 렌즈이지만, 가로 방향으로는 폭이 3cm 이하인 홀쭉한 모양이다. 또한, 초점을 맞추기 위하여 어안 렌즈를 광축 방향으로 움직이더라도 어안 렌즈는 광축을 중심으로 회전하지 않으며, 어안 렌즈의 장축 방향은 항상 수직 방향을 유지한다. 카메라가 1회전할 때마다 왼쪽 눈과 오른쪽 눈에 대응하는 한 쌍의 전방위 영상이 얻어진다. 이 전방위 영상은 구형 파노라마(spherical panorama) 또는 등직교 투사 방식의 전방위 영상과 유사하지만, 차이점이 있다. 가장 큰 차이점은 수직 방향으로는 어안 렌즈의 왜곡이 보정되지 않은 실제 투사 방식을 가지고 있지만, 회전하는 스테이지로 인하여 가로 방향으로는 완벽한 등거리 투사 방식을 만족한다는 점이다. 또한, 이 전방위 영상의 세로 방향의 크기는 라인 어레이 센서의 크기와 동일하지만, 가로 방향의 크기는 회전 스테이지의 회전 속도 및 라인 스캔 센서의 출력 속도에 달려있다. 따라서, 픽셀 단위로 측정한 360° 전방위 영상면의 가로 방향의 크기와 세로 방향의 크기는 전혀 상관이 없다.

이와 같은 전방위 영상이 얻어진 다음에는 개발된 영상 처리 알고리즘을 이용하여 임의의 팬 각과 틸트 각을 갖는 직선수차보정 영상을 생성할 수 있으며, 이를 3D 안경으로 감상하면 임의의 방향의 입체 영상을 즐길 수 있다.

본 기술을 이용하여 임의의 방향의 입체 영상을 즐길 수 있다.

도 1은 Robert Barker의 전방위 회화.
도 2는 직선수차보정 투사 방식을 가지는 전방위 거울을 사용하는 영상 시스템의 일 실시예.
도 3은 도 2의 전방위 영상 시스템으로 포착한 실내 전경의 예.
도 4는 도 3의 펼쳐지지 않은 전방위 영상을 펼친 펼쳐진 전방위 영상의 예.
도 5는 도 4의 펼쳐진 전방위 영상의 일부분.
도 6은 Globuscope의 모습.
도 7은 Seitz사의 Roundshot 35/35.
도 8은 Stitching 기술을 이용한 전방위 영상 촬영 기능이 있는 Sony사의 DSC-HX1 디지털 카메라.
도 9는 DSC-HX1으로 촬영한 전방위 영상.
도 10은 Stitching 기술을 이용한 전방위 영상 촬영 기능이 있는 삼성의 갤럭시 카메라.
도 11은 갤럭시 카메라로 촬영한 전방위 영상.
도 12는 Stitching 기술을 이용한 전방위 영상 촬영 기능이 있는 스마트폰 앱인 Panorama 360으로 포착한 전방위 영상.
도 13은 Panorama 360으로 포착한 전방위 영상의 또 다른 예.
도 14는 도 13의 전방위 영상의 가로 방향의 화각이 360°임을 보여주는 사진.
도 15는 Stitching 기술에 의한 전방위 영상의 기술적 한계를 예시하는 사진.
도 16은 Kodak사의 입체 전방위 카메라.
도 17은 Google사의 cardboard viewer.
도 18은 헤드 마운티드 디스플레이로 보여지는 입체 영상의 예.
도 19는 3D 안경의 하나인 애너글리프 안경(Anaglyph glass).
도 20은 두 개의 어안 렌즈를 장착한 GoPro사의 3D 카메라.
도 21은 두 개의 어안 렌즈를 사용하는 3D 카메라에서 영상 처리에 의한 입체 영상 획득의 개념도.
도 22는 도 20에 보이는 3D 카메라로 임의의 방향의 입체 영상을 감상할 수 없음을 예시하는 개념도.
도 23은 GoPro사의 또 다른 전방위 카메라의 실시예.
도 24는 GoPro사의 또 다른 3D 전방위 카메라의 실시예.
도 25는 Hung 교수의 회전하는 한 쌍의 카메라를 사용하는 입체 전방위 카메라의 개념도.
도 26은 회전하는 한 쌍의 카메라를 사용하는 입체 360°전방위 카메라의 개념도.
도 27은 도 26에 예시한 입체 360° 전방위 카메라로 포착한 전방위 영상의 예.
도 28은 왼쪽 눈과 오른쪽 눈에 대응하는 한 쌍의 360°전방위 영상에서 입체 영상을 생성하는 개념도.
도 29는 회전하는 하나의 카메라에서 360°입체 전방위 영상을 생성하는 기술의 개념도.
도 30은 도 4의 전방위 영상에서 추출한 직선수차보정 영상의 예.
도 31은 본 발명의 제 1 실시예의 전방위 카메라의 평면도.
도 32는 본 발명의 제 1 실시예의 전방위 카메라의 측면도.
도 33은 본 발명의 제 1 실시예의 전방위 카메라로 획득한 전방위 영상의 개념도.
도 34는 종래 발명의 일 실시 예의 어안 렌즈의 사진.
도 35는 종래 발명의 일 실시 예의 어안 렌즈의 3차원 절개도.
도 36은 종래 발명의 일 실시 예에 의한 어안 렌즈의 광학적 구조와 광선의 경로를 보여주는 도면.
도 37은 일반적인 회전 대칭형의 결상 렌즈의 실제 투사 방식의 개념도.
도 38은 360° 전방위 영상면에서 가로 방향의 좌표와 가로 방향의 입사각의 관계를 이해하기 위한 도면.
도 39는 가상의 360° 전방위 영상면.
도 40은 종래 실시 예의 어안 영상에서 생성한 가상의 360° 전방위 영상면.
도 41은 전방위 영상면에서 추출한 직선수차보정 영상면의 개념도.
도 42는 도 39의 360° 전방위 영상면으로부터 생성한 직선수차보정 영상면.
도 43은 도 40의 360° 전방위 영상면으로부터 생성한 직선수차보정 영상면.
도 44는 도 40의 360° 전방위 영상면으로부터 생성한 또 다른 직선수차보정 영상면.
도 45는 본 발명의 제 1 실시예의 전방위 카메라를 이용하여 전방위 영상을 획득하는 과정을 예시하는 개념도.
도 46은 본 발명의 제 1 실시예에서 얻어진 전방위 영상의 개념도.
도 47은 피사체가 움직이는 경우에 본 발명의 제 1 실시예의 전방위 카메라를 이용하여 전방위 영상을 획득하는 과정을 예시하는 개념도.
도 48은 피사체가 움직이는 경우에 본 발명의 제 1 실시예에서 얻어진 전방위 영상의 개념도.
도 49는 본 발명의 제 2 실시예의 전방위 카메라의 동작 방법을 예시하는 개념도.
도 50은 본 발명의 제 3 실시예의 입체 전방위 영상 획득 장치의 평면도.
도 51은 본 발명의 제 3 실시예의 입체 전방위 영상 획득 장치의 측면도.
도 52는 회전하는 입체 전방위 영상 획득 장치에서 얻은 직선수차보정 영상의 특성을 이해하기 위한 도면.
도 53은 본 발명의 제 3 실시 예의 카메라 구조를 이해하기 위한 도면.
도 54는 본 발명의 제 3 실시 예의 카메라에서 라인 스캔 센서와 어안 렌즈의 상대적인 크기를 예시하는 개념도.
도 55는 본 발명의 제 3 실시 예의 카메라 구조를 예시하는 개념도.
도 56은 본 발명의 제 3 실시 예의 입체 전방위 카메라가 무한대의 거리에 있는 피사체에 초점을 맞춘 상태를 보여주는 개념도.
도 57은 본 발명의 제 3 실시 예의 입체 전방위 카메라가 근거리에 있는 피사체에 초점을 맞춘 상태를 보여주는 개념도.

이하, 도 31 내지 도 57을 참조하여 본 발명에 따른 바람직한 실시 예를 상세하게 설명하기로 한다.
[실시예 1]

도 31은 본 발명의 제 1 실시예의 전방위 카메라의 평면도이다. 결상 렌즈(imaging lens)(3112)와 그 내부에 라인 스캔 센서(3113)를 가지는 카메라 몸체(3114)는 회전부(rotating part)(3122)에 장착되어 있으며, 이 회전부는 하부의 기저부(base part)(3124)에 대하여 회전축(rotation axis)(3126)을 중심으로 무한회전할 수 있고, 회전축(3126)은 결상 렌즈의 마디점(N)을 수직으로 통과한다.

용도에 따라서 전방위 영상면의 바람직한 세로 방향의 화각이 달라진다. 예를 들어 바다 한가운데서 사방을 모니터링하는 것이 목적이라면 수직 방향의 화각은 아주 작은 것이 유리하다. 사실상 수평선만 모니터링하면 되기 때문에 렌즈의 화각이 작을수록 멀리까지 자세하게 볼 수 있기 때문이다. 한편, 벽과 천정에 그림과 조각품으로 가득찬 궁전 내의 한 방을 촬영하고자 한다면, 화각 180° 이상의 어안 렌즈를 사용하는 것이 바람직할 것이다.

그런데, 화각이 작은 일반적인 직선수차보정 렌즈를 사용하던, 화각 180° 이상의 어안 렌즈를 사용하던 그 전방위 카메라의 기본적인 구조는 거의 동일하다. 사실상 전방위 카메라를 렌즈 교환식으로 설계하여, 용도에 따라서 망원 렌즈나 표준 렌즈, 광각 렌즈를 바꿔가면서 사용하는 것이 바람직할 것이다. 따라서 이하에서는 논의의 편의상 결상 렌즈를 어안 렌즈라고 표현하더라도, 본 발명의 범위는 어안 렌즈에 한정되지 않는다.

세계 좌표계(World Coordinate System)는 기저부(3124)에 고정되어 있는데, 그 세계 좌표계의 원점(Origin)은 어안 렌즈의 마디점과 일치한다. 또한, 세계 좌표계의 Y-축은 회전축과 일치한다. 한편, 세계 좌표계의 Z-축은 전방위 카메라가 초기 정지 상태(initial zero state)에 있을 때 어안 렌즈의 광축(3101)과 일치한다. 세계 좌표계는 오른손 좌표계(Right Handed Coordinate System)를 사용한다.

전방위 카메라가 초기 정지 상태에 있을 때 카메라 좌표계(camera coordinate system)는 세계 좌표계와 일치하지만, 회전부가 회전할 때 회전부와 같이 회전한다. 카메라 좌표계의 Y'-축은 세계 좌표계의 Y-축과 항상 일치한다. 한편, 카메라 좌표계의 Z'-축은 어안 렌즈의 광축(3101)과 일치한다.

어안 렌즈(3112)는 화각 180°이상을 가지므로 최소한 반구(hemisphere)에 해당하는 영상을 영상면(3132)에 생성한다. 그리고 카메라 몸체(3114) 내부의 라인 스캔 센서(3113)는 Y'-축 방향으로 배치되어 있다. 따라서, 어안 렌즈 정면의 세로 방향의 피사체의 영상이 라인 스캔 센서에 포착된다. 이 회전부가 회전함에 따라 다른 방향의 영상이 순차적으로 라인 스캔 센서에 포착되어, 카메라가 한바퀴 회전하면 360°모든 방향의 영상이 얻어진다.

도 32는 전방위 영상 장치의 측면도이다. 도 32에서 세계 좌표계의 Y-축과 카메라 좌표계의 Y'-축이 어안 렌즈의 마디점(N)을 지나는 것을 알 수 있다. 또한, 카메라 좌표계의 Z'-축이 어안 렌즈의 마디점을 지나며, 카메라 몸체(3214) 내부의 라인 스캔 센서(3213)는 Y-축 및 Y'-축에 평행한 것을 알 수 있다.

카메라가 장착된 회전부(3222)는 회전축(3226)으로 기저부(3224)에 연결되어 있으며, 기저부 내부의 모터로 회전부를 고속으로 회전시킨다. 또한, 기저부에는 위치 센서(3242)가 장착되어 있는데 이는 카메라의 수평면에 대한 두 방향의 기울기, 즉, X-축 방향의 기울기와 Z-축 방향의 기울기 및 기저부에 대한 회전부의 상대적인 회전각을 측정한다. 또한, GPS와 디지털 나침판이 포함되어 있으면, 전방위 영상을 지도와 연계시키는데 편리하다.

회전부는 기저부와 회전축으로 연결되어 무한 회전이 가능하다. 반면에 카메라에서 나오는 신호는 여러 가닥의 신호선을 가질 수 있으므로 회전부에서 기저부로 영상 신호를 보내기가 어려울 수 있다. 그러므로 회전부에는 송신부(3244)를 설치하고, 기저부(3224)에는 수신부(3246)를 설치하여 무선 신호(wireless signal)나 광 신호(light signal)로 영상 신호를 보낼 수 있다. 물론, 반대 방향으로도 전원(power)과 컨트롤 신호가 보내져야 한다. 전원은 슬립링(slip ring)을 통하여 전달하거나 근거리 무선 전력 전송 기술을 사용하여 전송할 수도 있다. 한편, 컨트롤 신호는 슬립링을 통하여 전달할 수도 있고, 아니면 광 신호나 무선 신호를 사용할 수도 있다.

도 32에는 회전축(3226) 가까이에 송신부(3244)와 수신부(3246)가 설치된 것으로 도시하였으나, 실제로는 회전축(3226)을 내부가 빈 원통으로 제작하여, 그 내부 공간을 통하여 송신부와 수신부가 무선(wireless signal) 또는 광(light)으로 통신하는 것이 바람직할 것이다. DDM(Direct Drive Motor) 기술을 사용하면 전방위 카메라의 기저부와 모터를 일체화 할 수 있으며, 전력 및 콘트롤 신호, 영상 신호는 DDM의 중공(center hole)을 통하여 오고갈 수 있으므로 편리하다.

도 33은 본 발명의 제 1 실시 예의 전방위 카메라로 획득한 360°전방위 영상면의 개념도이며, 좌표계의 단위는 픽셀이다. 360°전방위 영상면(3334)의 가로축은 카메라 좌표계의 X'-축과 대응하며, 세로축은 카메라 좌표계의 Y'-축과 대응한다. 이 좌표계의 기준점 C는 카메라 좌표계의 Z'-축이 세계 좌표계의 Z-축과 일치할 때 광축을 따라서 들어온 입사광에 대응한다. 따라서 360°전방위 영상면(3334) 상의 기준점 C에 상점(image point)를 형성하는 입사광의 고도각(elevation angle)과 방위각(azimuth angle)은 모두 0이다.

360°전방위 영상면의 세로 방향의 크기는 K_max인데 자연수 값을 가진다. 이 세로 방향의 크기는 라인 스캔 센서의 유효 픽셀수에 대응한다. 즉, 라인 스캔 센서가 1열로 배열된 2048개의 유효 픽셀을 가지고 있다면, K_max는 2048이 된다. 이하에는 논의의 편의상 360°전방위 영상면과 전방위 영상면, 전방위 영상이라는 용어를 혼용하여 사용할 것이다.

한편, 전방위 영상면의 가로 방향의 크기 L_max는 전방위 카메라가 360°를 1 회전하는 동안의 샘플링(sampling) 수에 대응한다. 따라서, 회전부의 회전 속도가 느릴수록, 라인 스캔 센서의 출력 속도가 빠를수록 전방위 영상면의 가로 방향의 크기가 커진다.

전방위 영상면의 가로 방향의 화각은 정확하게 360°이다. 즉, 회전부가 1회전 할 때마다 360°전방위 영상면(3334) 1 프레임(frame)이 생성된다. 한편, 전방위 영상면의 세로 방향의 화각은 어안 렌즈의 화각에 대응된다. 즉, 어안 렌즈의 화각이 190°라면, 전방위의 영상면의 세로 방향의 화각 2Γ는 190°가 된다.

전방위 영상면의 세로 방향의 화각이 180°이면 충분할 것 같지만, 이보다 화각이 더 크면 더 바람직하다. 그 이유는 디지털 틸트각이 클 때도 만족스러운 영상을 얻기 위해서이다.

전방위 영상면(3334) 상의 한 점 Q는 좌표값 (K, L)을 갖는데, 이는 가로 방향의 방위각 ψ 및 세로 방향의 고도각 δ를 갖는다. 즉, 좌표값 (K, L)을 갖는 픽셀에 도달하는 입사광은 방위각 ψ 및 고도각 δ를 갖는다.

도 34는 참고 문헌 [특 14] 및 [비특 20]에 기술된 화각 190°의 어안 렌즈(모델명: FEED802)의 사진이며, 도 35는 이 어안 렌즈의 기계적 구조를 이해하기 쉽도록 일부를 절개한 3차원 투시도이다. 한편, 도 36은 이 어안 렌즈의 광학적 구조와 광선의 경로를 보여준다.

도 37은 어안 렌즈를 포함하는 회전 대칭형의 결상 렌즈(3712)의 실제 투사 방식(real projection scheme)의 개념도이다. 결상 렌즈에 의하여 포착되는 피사체(object)를 기술하는 세계 좌표계의 Z-축은 결상 렌즈(3712)의 광축(3701)과 일치한다. 이 Z-축에 대하여 천정각 θ를 가지는 입사광(3705)은 결상 렌즈(3712)에 의하여 굴절된 후 굴절광(3706)으로서 초점면(focal plane: 3732) 상의 한 상점(image point) P로 수렴한다. 상기 결상 렌즈의 마디점 N에서 상기 초점면까지의 거리는 대략 렌즈의 유효 초점 거리(effective focal length)와 일치한다. 상기 초점면에서 실제 상점이 형성된 부분이 영상면(image plane: 3733)이다. 선명한 영상을 얻기 위하여 상기 영상면(3733)과 카메라 몸체(3714) 내부의 이미지 센서면(3713)이 일치하여야 한다. 상기 초점면과 상기 이미지 센서면은 광축에 수직하다. 이 광축(3701)과 영상면(3733)과의 교점 Ｏ - 이하 제 1 교점이라 지칭함 - 에서부터 상기 상점 P까지의 거리는 r이다.

광축을 중심으로 회전 대칭형인 일반적인 결상 렌즈에서의 상 크기(image height) r은 수학식 2와 같이 주어진다.

여기서 입사각 θ의 단위는 라디안(radian)이며, 상기 렌즈의 실제 투사 방식을 기술하는 함수 f(θ)는 천정각 θ에 대한 원점을 지나는 단조 증가 함수(monotonically increasing function passing through the origin)이다.

이와 같은 렌즈의 실제 투사 방식은 실제 렌즈를 가지고 실험적으로 측정할 수도 있으며, 아니면 렌즈의 설계도를 가지고 Code V나 Zemax 등의 렌즈 설계 프로그램으로 계산할 수 있다. 예를 들어 Zemax에서 REAY 연산자를 사용하면 주어진 수평 방향 및 수직 방향의 입사각을 가지는 입사광의 초점면상에서의 y-축 방향의 좌표 y를 계산할 수 있으며, x-축 방향의 좌표 x는 유사하게 REAX 연산자를 사용하여 계산할 수 있다.

종래 발명의 실시예에서 사용된 화각 190°의 어안 렌즈(FEED802)는 참고 문헌 [특 14]에 자세히 기술된 것처럼 원점을 지나는 다항식으로 잘 기술된다.

그런데 본 발명의 제 1 실시예에서와 같이 회전하는 전방위 카메라로 얻어진 전방위 영상에서는 상 크기 r을 세로 방향의 상 크기 y가 대신하며, 입사각 θ는 들림각 δ가 대신한다. 따라서, 수학식 4가 성립한다.

또한, 라인 스캔 센서에서 인접하는 픽셀간의 간격이 p라면, 전방위 영상면에서의 픽셀 좌표 K와 입사광의 고도각 δ는 수학식 5를 만족한다.

여기서 상 크기의 단위는 밀리미터(mm)를 사용한다. 예를 들어 Hamamatsu사의 S11637-1024Q 센서를 사용한다면, 이 센서는 총 픽셀의 수가 1024개이며, 각 픽셀은 12.5㎛ × 500㎛의 크기를 가진다. 따라서, Kmax = 1024이며, p = 0.0125mm이다. 따라서 픽셀의 이득(gain) g는 80.0이다.

영상 획득에 사용된 결상 렌즈나 라인 스캔 센서의 픽셀 피치(pixel pitch)에 대한 정보가 없다면 사용자는 360°전방위 영상면에서 렌즈의 투사 방식을 측정할 수 밖에 없으며, 그 경우에는 수학식 6이 더 유용하다.

여기서 F(δ)는 픽셀 단위로 측정한 결상 렌즈의 수직 방향의 투사 방식이다.

도 38은 본 발명의 실시 예의 전방위 영상면의 가상의 반경 S를 이해하기 위한 도면이다. 전방위 영상면의 가로 방향의 크기는 L_max이고, 가로 방향의 화각은 360°(즉, 2π)이므로, 전방위 영상면은 수학식 7로 주어지는 가상의 반경 S를 갖는 원통면으로 생각할 수 있다.

따라서, 방위각 ψ을 갖는 픽셀의 열 번호 L은 수학식 8과 같이 주어진다.

거꾸로 열 번호 L을 갖는 픽셀들은 수학식 9로 주어지는 가로 방향의 방위각을 갖는 입사광에 대응한다.

도 39는 가상의 360°전방위 영상면이며, Paul Bourke 교수가 제작한 인공적인 어안 영상을 기초로 생성된 것이다. 또한, 도 40은 종래 발명의 실시 예의 어안 렌즈로 포착한 어안 영상에서 생성한 가상의 360°전방위 영상면이다. 여기서 주의할 점은 L_max와 K_max는 가로 방향의 화각과 세로 방향의 화각의 관계에 상관없이 임의의 비율을 가질 수 있다는 점이다.

종래 발명에서 제시하는 전방위 영상면의 가로 크기 대 세로 크기의 비는 거의 예외없이 2:1인데 그 이유는 다음과 같다. 극좌표계(polar coordinate system)에서 경도의 범위는 -180°에서 180°까지 360°이며, 위도의 범위는 -90°에서 90°까지 180°이다. 따라서 등직교 투사 방식(equirectangular projection scheme)으로 세계 지도를 그린다면 가로 대 세로의 비가 2:1이 된다.

한편, 본 발명에서의 전방위 영상면의 세로 방향의 크기는 라인 스캔 센서의 유효 픽셀 수와 동일하고, 가로 방향의 크기는 라인 스캔 센서의 동작 속도와 회전부의 회전 속도에 의하여 결정되므로 가로 방향의 크기와 세로 방향의 크기는 임의의 비를 가질 수 있다. 또한, 가로 방향의 화각은 360°이지만, 세로 방향의 화각은 결상 렌즈의 화각에 따라서 임의의 값을 가질 수 있다.

세번째로 본 발명의 실시 예에 따른 전방위 영상면에서 가로 방향으로 인접하는 픽셀들은 모두 동일한 방위각의 증분(increment)에 대응한다. 그런데, 세로 방향으로 인접하는 픽셀들은 임의의 고도각의 증분에 대응한다. 그 이유는 렌즈가 직선수차보정 렌즈이나 어안 렌즈이냐에 따라서 각각의 행에 해당하는 픽셀들이 임의의 고도각에 대응할 수 있기 때문이다.

본 발명은 이와 같이 임의의 가로: 세로 비 및 임의의 수직 방향의 투사 방식을 갖는 전방위 영상면에서 원리적으로 정확한 직선수차보정 영상면을 추출할 수 있는 영상 처리 방법을 제공한다.

도 33에 예시된 전방위 영상면에서 기준점 C는 전방위 카메라가 정지 상태일 때의 카메라 광축의 방향과 일치한다. 그러므로 그 좌표는 수학식 10 내지 11로 주어지는 것이 바람직하지만, 임의의 값을 가지더라도 무관하다.

한편, 도 41은 도 33의 전방위 영상면에서 추출한 직선수차보정 영상면(4131)의 개념도이다. 이 직선수차보정 영상면의 중점(center point) Ω의 좌표는 수학식 12 내지 13으로 주어진다.

이 직선수차보정 영상면의 가로 방향의 화각이 ΔΨ라면, 이 직선수차보정 영상면의 원점으로부터의 거리 T는 수학식 14와 같이 주어진다.

따라서, 디지털 팬/틸트를 하기 전의 직선수차보정 영상면 상의 한 점 Q의 좌표는 수학식 15와 같이 주어진다.

본 발명의 실시 예의 전방위 영상면에서 가로 방향의 화각이 ΔΨ이고, 주시 방향(principal direction of vision)의 방위각이 β이며, 고도각이 α인 직선수차보정 영상면을 얻기 위해서는 수학식 15로 주어지는 직선수차보정 영상면을 Y-축을 중심으로 β만큼 팬 작용을 하고, 회전된 좌표계의 X'-축을 중심으로 α만큼 틸트된 새로운 좌표계에서의 좌표값들을 얻어야 하며, 수학식 16 내지 19로 주어진다.

팬/틸트된 직선수차보정 영상면 상의 한 점 Q"의 고도각 및 방위각은 수학식 20 내지 21로 주어진다.

이와 같은 새로운 좌표계에 대한 방위각과 고도각에 대한 정보를 바탕으로 전방위 영상면 상의 한 점의 좌표는 수학식 22 내지 23으로 주어진다.

이와 같은 방법으로 직선수차보정 영상면(4131) 상의 모든 점들에 대하여 영상 처리를 하여 전방위 영상면으로부터 팬/틸트된 직선수차보정 영상면을 얻을 수 있다.

도 42는 도 39의 전방위 영상면에서 생성한 직선수차보정 영상면으로 가로 방향의 크기는 240 픽셀이고, 세로 방향의 크기는 180 픽셀이며, 가로 방향의 화각은 90°이고, 팬 각은 90°이며, 틸트각은 45°이다. 도 42에서 알 수 있는 것처럼 원하는 방향의 직선수차보정 영상이 얻어졌으며, 직선들이 모두 직선으로 포착된 것을 알 수 있다.

한편, 도 43은 도 40의 전방위 영상에서 추출한 직선수차보정 영상으로서 가로 방향의 크기는 640 픽셀이고, 세로 방향의 크기는 480 픽셀이며, 가로 방향의 화각은 90°이고, 팬각과 틸트각은 모두 0°이다. 또한, 도 44는 -90°의 팬각과 -45°의 틸트각을 사용하여 얻은 직선수차보정 영상이다.

도 42 내지 도 44에서 알 수 있는 것처럼 이와 같은 알고리즘을 사용하여, 회전하는 전방위 카메라로부터 얻은 전방위 영상에서 임의의 방향의 직선수차보정 영상을 얻을 수 있다.

다음은 도 44의 직선수차보정 영상면을 생성하는데 사용된 MatLab 코드이다.

% Rectilinear image generation from a 360 deg. panoramic image.

% Programmed by Gyeong-il Kweon, the Super-Genius.

% D:\S360VR 2017/main.m

% format long

% 2017. 9. 2.

%

% *********** Real projection scheme **********************

% r as a function of theta

coeff = [-3.101406e-2, 7.612269e-2, -1.078742e-1, 3.054932e-2, 1.560778, 0.0];

%

% *** Reads the graphic image ***************************************

picture = imread('image', 'jpg');

[Kmax, Lmax, Qmax] = size(picture);

CI = double(picture) + 1;

%

S = Lmax / (2 * pi); % Radius of the cylinder

%

Lo = (1 + Lmax) / 2;

Ko = (1 + Kmax) / 2;

gain = 312.5; % 1/2-inch sensor

%

% Draw an empty canvas

Jmax = 640; % canvas width

Imax = 480; % canvas height

Jo = (1 + Jmax) / 2;

Io = (1 + Imax) / 2;

EI = zeros(Imax, Jmax, 3); % dark canvas

%

Dpsi = 90.0 / 180.0 * pi;

T = (Jmax - 1) / 2.0 / tan(Dpsi / 2.0);

%

ALPHA = -45.0;

alpha = ALPHA / 180.0 * pi;

sin_alpha = sin(alpha);

cos_alpha = cos(alpha);

%

BETA = -90.0;

beta = BETA / 180.0 * pi;

sin_beta = sin(beta);

cos_beta = cos(beta);

%

% Virtual screen

for I = 1: Imax

for J = 1: Jmax

X = J - Jo;

Y = I - Io;

Z = T;

%

Xp = X * cos_beta + Y * sin_beta * sin_alpha + Z * sin_beta * cos_alpha;

Yp = Y * cos_alpha - Z * sin_alpha;

Zp = -X * sin_beta + Y * cos_beta * sin_alpha + Z * cos_beta * cos_alpha;

%

rho_p = sqrt(Xp ^ 2 + Zp ^ 2);

delta_p = atan2(Yp, rho_p);

psi_p = atan2(Xp, Zp);

y_p = Ko + gain * polyval(coeff, delta_p);

x_p = Lo + S * psi_p;

%

Km = floor(y_p);

Kp = Km + 1;

dK = y_p - Km;

Lm = floor(x_p);

Lp = Lm + 1;

dL = x_p - Lm;

if((Km >= 1) & (Kp <= Kmax) & (Lm >= 1) & (Lp <= Lmax))

EI(I, J, :) = (1 - dK) * (1 - dL) * CI(Km, Lm, :) ...

+ dK * (1 - dL) * CI(Kp, Lm, :) ...

+ (1 - dK) * dL * CI(Km, Lp, :) ...

+ dK * dL * CI(Kp, Lp, :);

else

EI(I, J, :) = zeros(1, 1, 3);

end

DI = uint8(EI - 1);

imwrite(DI, 'result.jpg', 'jpg');

imagesc(DI);

axis equal;

[실시예 2]

도 45는 본 발명의 제 1 실시예의 전방위 카메라를 사용하여 전방위 영상을 획득하는 방법을 예시하는 개념도이다. 도 45에서와 같이 피사체가 모두 정지 상태에 있다면 회전하는 카메라로 전방위 영상을 생성하는데 아무런 기술적인 어려움이 없으며, 도 46과 같이 자연스러운 전방위 영상이 얻어질 것이다.

그런데, 도 47에 예시한 바와 같이 회전하는 카메라에 더하여 피사체도 같이 움직인다면 모션 블러(motion blur)라고 불리는 영상의 왜곡이 발생한다. 이때는 복사기로 복사를 하면서 복사하는 서류를 같이 움직일 때 발생하는 왜곡과 같은 현상이 발생한다. 복사기에 내장된 스캐너가 움직이는 방향과 서류가 움직이는 방향이 같다면 복사된 이미지는 길게 늘어날 것이고, 반대 방향이라면 복사된 이미지는 짧게 줄어들 것이다.

마찬가지의 현상이 도 47의 상황에서도 발생한다. 도 47에서 카메라의 회전 방향에 대하여 경찰 순찰차는 반대 방향으로 움직이고 있으며, 트럭은 같은 방향으로 움직이고 있다. 그러면 도 48에 예시한 바와 같이 전방위 영상에서는 경찰 순찰차는 길이 방향으로 압축되어 나타나고, 트럭은 길이 방향으로 길게 늘어나게 포착된다. 한편, 움직이지 않는 나무들은 모두 정상적으로 포착된다. 또한, 카메라의 회전 속도에 비하여 피사체의 속도가 빠르면 빠를수록 모션 블러는 더 심해질 것이다.

도 49는 이와 같은 모션 블러를 감소시키기 위한 방법을 보여준다. 출력 속도가 빠른 라인 스캔 센서는 초당 몇만 프레임을 출력하는 것이 가능하다. 또한, 고속의 모터도 초당 수백회 회전까지도 가능하다. 이와 같은 하드웨어의 성능을 사용하여 모션 블러를 무시할만한 수준으로 감소시킬 수 있다.

전방위 동영상을 얻기 위하여 초당 30 프레임의 영상이 필요하다고 가정하자. 그러면, 카메라의 회전부는 30의 배수로 회전을 한다. 즉, 초당 60 회전, 초당 90 회전, 초당 300 회전 등 30의 배수로 회전을 한다.

예를 들어 회전부가 초당 90 회전을 한다면 카메라의 회전부가 첫번째 회전을 할 때 라인 스캔 센서에서 출력되는 영상들을 집적하여 전방위 영상 1장을 생성한다. 그리고 두번째와 세번째 회전을 할 때에는 영상을 취득하지 않고 공회전을 한다. 다시 네번째 회전을 할 때는 라인 스캔 센서에서 출력되는 영상들을 집적하여 전방위 영상 1장을 생성하고, 5번째와 6번째 회전에서는 영상을 취득하지 않는 공회전을 하고, 7번째 회전에서는 다시 전방위 영상을 생성한다.

이와 같은 방식을 사용하면 피사체의 속도에 비하여 상대적으로 카메라의 속도가 커지므로 모션 블러로 인한 영상의 왜곡이 줄어든다. 만약, 카메라의 회전부가 초당 300 회전을 한다면 특수한 경우를 제외하고는 모션 블러에 의한 효과가 아주 미미해질 것으로 기대된다.

[실시예 3]

도 50은 본 발명의 제 3 실시예의 입체 전방위 영상 획득 장치(입체 전방위 카메라)의 평면도이다. 바람직하게 화각 180°이상을 가지는 어안 렌즈(5012L, 5012R)와 그 내부에 라인 스캔 센서(5013L, 5013R)를 가지는 카메라 몸체(5014L, 5014R)로 구성된 동일한 사양의 2개의 카메라는 회전부(5022)에 장착되어 있으며, 이 회전부(5022)는 하부의 기저부(5024)와 회전축(5026)으로 연결되어 있다. 회전부는 회전부 상의 원점(origin) C를 중심으로 수평으로 회전하는데, 이 원점 C는 두 어안 렌즈(5012L, 5012R)의 마디점(N_L, N_R)의 중심점에 위치한다. 두 어안 렌즈의 마디점이 떨어진 간격 D는 사람의 두 눈 사이의 평균 간격인 6.35cm인 것이 바람직하다. 또한, 두 어안 렌즈의 광축(5001L, 5001R)은 회전부가 회전할 때 같이 회전한다.

원점 C를 지나고 두 어안 렌즈의 광축(5001L, 5001R)에 평행한 방향이 카메라 좌표계의 Z'-축이며, 원점 C와 두 어안 렌즈의 마디점(N_L, N_R)을 지나는 방향이 카메라 좌표계의 X'-축 방향이고, 원점 C를 지나고 회전축에 평행한 방향이 카메라 좌표계의 Y'-축 방향이다. 카메라 좌표계는 오른손 좌표계이다.

한편, 3D 전방위 카메라가 초기 정지 상태(initial zero position)에 있을 때 두 어안 렌즈의 광축(5001L, 5001R)이 향하는 방향이 세계 좌표계의 Z-축 방향이며, 세계 좌표계의 원점은 카메라 좌표계의 원점 C와 일치한다. 세계 좌표계의 Y-축은 카메라 좌표계의 Y'-축과 일치한다. 세계 좌표계도 오른손 좌표계이다.

이와 같은 좌표계에서 두 어안 렌즈의 마디점은 항상 X-Z 평면 및 X'-Z' 평면에 위치한다. 또한, 두 카메라의 라인 스캔 센서(5013L, 5013R)는 항상 세계 좌표계의 Y-축 및 카메라 좌표계의 Y'-축에 평행하다. 회전부가 일정한 속도로 회전하면서 두 개의 카메라로 이미지를 획득하여 이를 이어붙이면 회전부가 1회전할 때마다 2장의 전방위 영상면이 생성된다.

도 51은 본 발명의 제 3 실시 예의 입체(3D) 전방위 영상 시스템의 측면도이며, 영상 획득 장치(5120)와 영상 처리 장치(5130)와 영상 표시 장치(5140)로 구성된다. 영상 획득 장치(5120)는 전술한 2 대의 카메라가 장착된 회전부 및 기저부(5124)를 포함하는데, 기저부에서는 2대의 카메라가 회전하면서 얻어진 두 개의 전방위 영상면(5126L, 5126R)이 하나로 합쳐진 이중 전방위 영상면(5126)이 생성된다. 즉, 회전부가 1회전할 때마다 이중 전방위 영상면(5126) 1 프레임이 생성되며, 이중 전방위 영상면(5126)은 왼쪽 카메라에서 얻어진 전방위 영상면(5126L)과 오른쪽 카메라에서 얻어진 전방위 영상면(5126R)이 하나로 얻어진 전방위 영상면이다.

이 영상 획득 장치에서 얻어진 이중 전방위 영상면(5126)은 하나 이상의 영상 처리 장치(5130)로 실시간 혹은 사후적으로 전송된다. 영상 처리 장치는 데스크탑 컴퓨터나 노트북, 사실상 컴퓨터인 NVR(Network Video Recorder)가 될 수도 있고, 스마트폰이나 전용 단말기 등 CPU나 AP(Application Processor)를 갖추고 영상 처리를 수행할 수 있는 모든 종류의 장치가 될 수 있다.

이 영상 처리 장치(5130)는 영상 획득 장치(5120)에서 전송된 이중 전방위 영상면(5132)을 1 프레임 이상 저장하고 있다. 이 영상 처리 장치(5130)는 영상 표시 장치(5140)와 유선이나 무선으로 연결되어 있는데, HMD(Head Mounted Display) 장치가 전형적인 영상 표시 장치로 사용될 수 있다. 이 HMD를 장착한 사용자가 HMD를 착용하면 그 HMD에 내장된 방향 지시 센서가 그 사용자가 향하는 방향 정보를 추출하여 이를 영상 처리 장치로 전송하며, 영상 처리 장치는 이 방향 정보에 해당하는 직선수차보정 영상의 쌍을 각각 왼쪽 전방위 영상(5134L)과 오른쪽 전방위 영상(5134R)로부터 추출하여 영상 표시 장치에 표시하게 된다. 따라서, HMD를 장착한 사용자는 사용자의 머리가 향하는 방향에 해당하는 직선수차보정 영상을 감상할 수 있으며, 왼쪽 전방위 영상(5134L)과 오른쪽 전방위 영상(5134R)으로부터 양안시에 해당하는 영상이 보여지므로 실제 그 장소에 있는 것처럼 입체감을 느낄 수 있다.

영상 표시 장치(5140)에서 영상 처리 장치(5130)로 보내지는 방향 정보는 직선수차보정 영상의 주시 방향이 향하는 방위각 ψ 및 고도각 δ인 것이 바람직하다.

영상 표시 장치(5140)는 HMD 뿐만 아니라 다양한 장치가 될 수 있다. 예를 들어 영상 처리 장치(5130)는 컴퓨터의 본체이고, 영상 표시 장치는 3D 모니터가 될 수 있다. 또는, 영상 처리 장치는 이중 전방위 영상면에서 직선수차보정 영상의 쌍을 추출한 후, 이를 애너글리프 안경으로 볼 수 있도록 다시 한번 변환작업을 하여 컴퓨터 화면이나 TV 화면, 스마트폰 화면에서 보여주고, 사용자는 이를 애너글리프 안경을 쓰고 감상할 수 있다.

본 발명의 제 3 실시 예의 3D 전방위 영상 장치는 정지 영상을 생성하기 위하여 사용될 수도 있고, 동영상을 생성하기 위하여 생성될 수도 있다. 특히, 경치가 아름다운 관광지나 흥미로운 경기가 펼쳐지는 경기장, 공연장을 3D 전방위 영상으로 실시간 방송하기 위하여 사용된다면 동일한 영상 획득 장치(5120)에서 생성되는 이중 전방위 영상면이 다수의 영상 처리 장치(5130)로 전송될 것이다. 이때 네트워크의 통행량을 줄이기 위하여 각각의 영상 처리 장치에서 필요한 직선수차보정 영상에 대응하는 전방위 영상면의 일부만을 전송하는 것도 가능할 것이다.

도 52는 회전하는 전방위 카메라에서 얻은 전방위 영상면에서 추출할 수 있는 직선수차보정 영상면의 특성을 이해하기 위한 도면이다. 두 어안 렌즈의 마디점(N_L, N_R)이 간격 D를 가지고 있으므로, 회전부가 원점 C를 중심으로 회전함에 따라 두 마디점은 지름 D인 원을 따라서 이동하게 된다.

회전부가 회전하여 카메라 좌표계의 Z'-축이 세계 좌표계의 Z-축과 각도 ψ를 이루고 있다면, 두 어안 렌즈의 광축(5201L, 5201R)도 같은 방향을 향하게 된다. 직선수차보정 영상면의 주시 방향이 이 방향과 일치하는 직선수차보정 영상면을 얻고자 한다면, 두 어안 렌즈의 마디점의 위치가 도 52에 도시한 것과 같을 때 원하는 시야 범위(5205L, 5205R)를 갖는 영상을 얻는 것이 바람직할 것이다. 그런데 회전부가 어느 한 위치에 있을 때 라인 스캔 센서에서는 어느 한 방향에 해당하는 1줄의 영상만을 얻기 때문에 0이 아닌 가로 방향의 화각을 갖는 영상을 얻기 위해서는 회전부가 회전하는 동안 연속적으로 영상을 얻어야 한다.

회전부가 회전하는 동안 어안 렌즈의 마디점이 원(5203)을 따라서 움직이므로 수학적으로 엄밀하게 한 시점(viewpoint)을 가질 수 없다. 도 52에서는 가로 방향의 화각이 90°인 영상을 얻는 것으로 가정하였는데, 그렇다면 회전부가 1/4 회전하는 동안에 얻어진 영상들을 사용하여야 한다. 그런데 그 사이에 어안 렌즈의 마디점들이 이동한 호(arc)를 살펴보면, 다행히 어안 렌즈의 광축 방향에 수직하기 보다는 오히려 평행한 것을 볼 수 있다. 따라서, 어안 렌즈의 마디점이 움직이는 동안에 얻어진 불완전한 전방위 영상에서 불완전한 직선수차보정 영상을 추출하더라도 그 오류가 심각하지 않다. 또한, 전방위 영상이나 직선수차보정 영상을 획득하는 동안에 그 시점이 지름 6.35cm의 혼돈원(circle of confusion) 안에 존재한다는 것을 알 수 있다.

혼돈원의 지름이 D라면, 이를 기준으로 가까운 거리의 피사체의 전방위 영상이나 직선수차보정 영상에서는 어느 정도의 오차가 존재할 가능성이 크다고 할 수 있다. 그러나 피사체의 거리가 혼돈원의 지름의 10배 이상이라면 그 오차는 거의 눈에 띄이지 않을 것이라고 예상할 수 있다. 그런데, 혼돈원의 지름이 6.35cm라면, 그 10배는 63.5cm이며 채 1m가 되지 않는다. 따라서, 아주 근접 촬영하는 경우가 아니라면 회전하는 전방위 카메라로도 만족스러운 영상을 얻을 것을 기대할 수 있다.

도 53은 본 발명의 제 3 실시 예의 카메라 구조를 이해하기 위한 도면이다. 라인 스캔 센서의 픽셀은 area image sensor의 픽셀에 비하여 매우 큰 편이다. 그 이유는 다음과 같다. Full HD급의 영상을 얻을 수 있는 area image sensor라면 가로 방향으로 1920개의 열과 세로 방향으로 1080개의 행으로 구성된 행렬 모양의 픽셀들을 가지고 있을 것이다. 이와 같은 이미지 센서를 이용하여 동영상을 찍고 싶다면 초당 30 frame의 영상을 포착하면 충분하다.

한편, 라인 스캔 센서로 Full HD급의 영상을 포착하기 위해서는 1080개의 픽셀을 가지는 라인 스캔 센서로 1920번의 영상을 포착하여야 한다. 따라서, 초당 30 프레임의 동영상을 포착하기 위해서는 라인 스캔 센서는 초당 1920 × 30번의 영상을 포착하여야 하고, 어느 한 번의 영상은 20 마이크로초(㎲) 이내에 포착되어 하므로, 픽셀을 크게 만들지 않으면 충분한 광량을 받을 수 없다.

전술한 Hamamatsu S11637-1124Q 센서의 픽셀 피치(pixel pitch)는 12.5㎛이며, 픽셀 높이(pixel height)는 500㎛이고, 이미지 센서 영역의 길이는 12.8mm로 area iamge sensor에 비하여 훨씬 크다. 또한, S11637-2048Q의 이미지 센서 영역의 길이는 25.6mm나 된다.

이와 같은 라인 스캔 센서(5313L, 5313R)의 길이와 라인 스캔 센서에 형성되면 영상면(5333L, 5333R)의 직경은 비슷한 크기를 가져야 한다. 그런데 광각 렌즈에서 제 1 렌즈 요소는 항상 영상면의 직경에 비하여 크고, 광각 렌즈가 어안 렌즈라면 제 1 렌즈 요소의 직경은 영상면의 직경에 비하여 훨씬 크다. 따라서, 결상 렌즈(5312L, 5312R) 간의 간격을 평균적인 사람의 두 눈 사이의 간격(D)으로 유지할 수가 없다. 두 렌즈의 중심 간의 간격이 D와 크게 다르다면 이와 같은 입체 전방위 카메라에서 얻어지는 영상은 자연스러운 입체감을 제공하지 않게 된다.
도 54는 왼쪽 라인 스캔 센서(5413L)와 오른쪽 라인 스캔 센서(5413R) 사이의 간격 D와 어안 렌즈(5412)의 상대적인 크기를 보여준다. 어안 렌즈는 전형적인 리트로포커스 렌즈(retrofocus lens)이므로 렌즈의 전면부의 직경이 영상면(5433L)의 직경에 비하여 훨씬 크다. 따라서 광축을 중심으로 회전대칭형인 일반적인 어안 렌즈의 가로 방향의 간격이 라인 스캔 센서의 간격과 동일하면서 영상면의 직경이 라인 스캔 센서의 센서면의 길이와 동일하게 유지하는 것이 사실상 불가능하다.

도 55는 본 발명의 실시 예에 따른 카메라의 구조를 보여준다. 라인 스캔 센서(5513)는 세로 방향으로 긴 모양이고, 2개의 라인 스캔 센서의 간격이 6.35cm 정도로 유지되어야 하므로, 각각의 카메라는 3cm 이내의 폭을 가지는 홀쭉한 모양으로 제작되어야 한다. 따라서 일반적인 결상 렌즈와 같이 둥근 단면적을 가지는 렌즈 요소들을 사용할 수가 없으며, 양 옆을 잘라낸 모양으로 제작되어야 한다. 이와 같이 홀쭉한 모양으로 제작된 렌즈(5512)는 일반적인 렌즈와 같이 렌즈 홀더(5516)에 돌려서 끼우거나 뺄 수가 없다. 따라서 렌즈 홀더(5516)는 라인 스캔 카메라(5514) 몸체에 고정되며, 결상 렌즈(5512)는 렌즈 홀더(5516)에 미끄러지듯이 삽입될 수 있는 구조로 제작되어야 한다. 결상 렌즈(5512)의 삽입부(5518)는 렌즈 홀더(5516)의 구멍에 꼭 맞는 크기를 가지고 있다.

원거리에 있거나 근거리에 있는 피사체에 초점을 맞추기 위해서는 결상 렌즈(5512)와 라인 스캔 센서(5513)의 간격을 조절할 수 있어야 하므로, 결상 렌즈를 움직일 수 있는 수단(5542)이 필요하다. 도 55에는 랙(rack)과 피니언(pinion) 기어로 표현했지만, 실제로는 리니어 모터와 같은 다양한 수단을 사용할 수 있다.

또한, 전방위 영상을 획득하기 위하여 라인 스캔 센서는 일정한 셔터 속도로 동작할 수 밖에 없으므로, 노출을 조절할 별도의 수단(5544)이 필요하다. 따라서, 모터로 구동되는 카메라 조리개(motorized camera iris)가 바람직하다.

이와 같은 카메라에 장착된 결상 렌즈는 회전축 방향의 화각이 180°이상이고, 결상 렌즈의 광축에 수직한 단면은 회전축에 수직한 방향으로 측정한 폭이 회전축 방향으로 측정한 높이보다 적은 홀쭉한 모양이며, 결상 렌즈가 광축 방향으로 이동하더라도 결상 렌즈의 장축이 회전축 방향으로 유지된다.

도 56은 본 발명의 제 3 실시 예의 입체 전방위 카메라의 개념도이다. 회전부(5622)는 하부의 기저부(5624)에 대하여 무한회전할 수 있으며, 회전부에는 2개의 비대칭 어안 렌즈(5612L, 5612R)와 두 개의 카메라 몸체가 장착되어 있다.

도 57은 근거리에 있는 피사체에 초점을 맞출 경우에 왼쪽 렌즈(5712L)와 오른쪽 렌즈(5712R)의 광축(5701L, 5701R)이 카메라 좌표계의 Z'-축을 향하여 안쪽으로 기울어진 모양을 도시한 것이다. 물론, 이와 같이 동작시키지 않고, 피사체의 거리에 상관없이 두 카메라의 광축(5701L, 5701R)이 항상 카메라 좌표계의 Z'-축에 평행하도록 유지시킬 수도 있다.

이와 같은 입체 전방위 영상 시스템은 관광지나 건축물, 경기장이나 공연장 등의 풍경을 고해상도 전방위 영상이나 3D 전방위 영상으로 생성하기 위하여 사용될 수도 있고, 흥미로운 경기나 공연을 실시간으로 방송하는 3D 전방위 방송 장비로 사용될 수도 있다. 사용자는 전송된 이중 전방위 영상에서 임의의 방향의 직선수차보정 영상을 추출하여 HMD 등의 장치로 입체 영상을 감상할 수 있다.

5022: 회전부
5026: 회전축
5024: 기저부
5012L, 5012R: 결상 렌즈
5014L, 5014R: 카메라 몸체
5013L, 5013R: 라인 스캔 센서
5001L, 5001R: 결상 렌즈의 광축
N_L, N_L: 마디점

Claims

360° 전방위 영상면에서 직선수차보정 영상면을 생성하는 영상 처리 방법에 있어서,
360° 전방위 영상면의 세로 방향의 크기는 K_max이고 가로 방향의 크기는 L_max이되,
여기서 K_max와 L_max는 1보다 큰 자연수이며,
360° 전방위 영상면의 가로 방향의 화각은 360°이고,
수평 방향의 한 방향을 Z-축으로 하고 수직 방향을 Y-축으로 하는 세계 좌표계에서 360° 전방위 영상면으로 포착된 세계 좌표계 상의 가상의 한 물점의 좌표를 (X, Y, Z)라 할 때,
상기 물점의 고도각은 다음의 수학식으로 주어지고,

상기 물점의 방위각은 다음의 수학식으로 주어지며,

세계 좌표계 상의 Z-축에 대응하는 360° 전방위 영상면의 한 상점인 기준점의 좌표는 (K_o, L_o)로 주어지되,
여기서 K_δ는 1보다 크고 K_max보다 작은 실수이며,
L_o는 1보다 크고 L_max보다 작은 실수이고,
고도각 δ에 대응하는 상점의 행 번호 K는 다음의 수학식으로 주어지되,

여기서 F는 픽셀 단위로 측정한 결상 렌즈의 수직 방향의 투사 방식으로서 원점을 지나는 단조 증가 함수이며,
열 번호 L을 갖는 상점에 대응하는 물점의 방위각 ψ_L은 다음의 수학식으로 주어지고,

직선수차보정 영상면의 세로 방향의 크기는 I_max이고 가로 방향의 크기는 J_max이되,
여기서 I_max와 J_max는 1보다 큰 자연수이며,
상기 직선수차보정 영상면의 가로 방향의 화각은 Δψ이고,
직선수차보정 영상면 상의 중점의 좌표는 (I_o, J_o)로 주어지되,
여기서 I_o는 다음의 수학식으로 주어지고,

J_o는 다음의 수학식으로 주어지며,

상기 직선수차보정 영상면이 향하는 주시 방향의 방위각이 β이고 고도각이 α일 때,
상기 직선수차보정 영상면 상의 좌표 (I, J)를 가지는 상점의 영상 신호는 360° 전방위 영상면에서 가상의 좌표 (x_I,J, y_I,J)를 가지는 가상의 상점의 영상 신호로 주어지되,
상기 좌표 (x_I,J, y_I,J)는 다음의 일련의 수학식으로 주어지는 것을 특징으로 하는 영상 처리 방법.
제 1항에 있어서,
상기 360° 전방위 영상면은 Y-축을 중심으로 균일한 각속도로 회전하는 카메라에서 얻어진 것을 특징으로 하되,
상기 카메라의 몸체 내부에는 Y-축에 평행한 방향으로 장착된 라인 스캔 센서를 구비하며,
상기 카메라에 장착된 결상 렌즈의 마디점은 세계 좌표계의 원점에 위치하고,
상기 카메라가 회전하더라도 상기 렌즈의 광축은 항상 X-Z 평면에 포함되며,
상기 렌즈의 실제 투사 방식은
와 같이 주어지되,
여기서 r은 상기 렌즈의 영상면에서의 상 크기이며,
θ는 상기 렌즈에 입사하는 입사광의 입사각이며,
상기 렌즈의 실제 투사 방식 f는 원점을 지나는 단조증가함수이며,
상기 라인 스캔 센서는 K_max 개의 유효 픽셀을 가지고 있으며,
라인 스캔 센서에서 인접하는 픽셀간의 간격은 p이며,
상기 픽셀 단위로 측정한 결상 렌즈의 수직 방향의 투사 방식 F와 상기 렌즈의 실제 투사 방식 f의 관계는 다음의 수학식으로 주어지고,

상기 카메라가 1회전하는 동안에 L_max 번의 샘플링이 이루어지며,
각 샘플링에서는 K_max개의 영상 신호가 얻어지고,
L_max번의 샘플링으로 이루어진 영상 신호들이 모두 가로 방향으로 축적되어 세로 방향의 크기가 K_max이고 가로 방향의 크기가 L_max인 360° 전방위 영상면이 생성되는 것을 특징으로 하는 영상 처리 방법.
제 2항에 있어서,
상기 카메라에 장착된 결상 렌즈는 화각이 180°이상인 어안 렌즈인 것을 특징으로 하는 영상 처리 방법.
삭제
삭제
삭제
회전하는 카메라를 사용하는 이중 360°전방위 영상면 획득 장치에 있어서,
이중 360°전방위 영상면 획득 장치는 하부의 기저부와 상부의 회전부를 포함하며,
회전부는 회전축을 중심으로 기저부에 대하여 무한 회전할 수 있도록 기저부와 연결되어 있으며,
기저부에는 회전부를 균일한 각속도로 회전시킬 수 있는 수단이 구비되어 있고,
회전부에는 동일한 사양을 가지는 두 대의 카메라가 같은 방향으로 나란히 설치되어 있되,
각 카메라의 몸체 내부에는 라인 스캔 센서가 회전축과 평행한 방향으로 설치되어 있고,
라인 스캔 센서에는 K_max개의 유효 픽셀이 있되,
여기서 K_max는 1보다 큰 자연수이고,
각 카메라에 장착된 두 결상 렌즈의 마디점의 중간은 회전축 상에 위치하고,
두 결상 렌즈의 광축은 회전축에 수직하며,
회전부가 1회전할 동안에 균일한 시간 간격으로 L_max번의 샘플링이 이루어지되,
여기서 L_max는 1보다 큰 자연수이며,
기저부는 회전부가 1회전하는 동안에 두 카메라로부터 얻어진 영상 신호들을 각각 가로 방향으로 집적하여 세로 방향의 크기가 K_max이고 가로 방향의 크기가 L_max인 360°전방위 영상면의 쌍을 생성하고,
상기 카메라에 장착된 결상 렌즈는 회전축 방향의 화각이 180°이상이며,
결상 렌즈의 광축에 수직한 단면은 회전축에 수직한 방향으로 측정한 폭이 회전축 방향으로 측정한 높이보다 적고,
결상 렌즈가 광축 방향으로 이동하더라도 결상 렌즈의 장축이 회전축 방향을 유지하는 것을 특징으로 하는 이중 360°전방위 영상면 획득 장치.
삭제
제 7항에 있어서,
기저부에는 이중 360°전방위 영상 획득 장치의 위치와 기울기를 측정할 수 있는 기울기 센서와 디지털 나침반과 GPS 수신기가 장착되어 있으며,
회전부에서 획득된 영상 신호들은 광 신호나 무선 신호로 기저부로 전달되는 것을 특징으로 하는 이중 360°전방위 영상면 획득 장치.
영상 획득 수단과 영상 처리 수단과 영상 표시 수단과 영상 선택 수단을 포함하는 입체 전방위 영상 시스템에 있어서,
영상 획득 수단은 하부의 기저부와 상부의 회전부를 포함하며,
회전부는 회전축을 중심으로 기저부에 대하여 무한 회전할 수 있도록 기저부와 연결되어 있으며,
회전부에는 동일한 사양을 가지는 두 대의 카메라가 같은 방향으로 나란히 설치되어 있되,
각 카메라의 몸체 내부에는 라인 스캔 센서가 회전축 방향으로 설치되어 있고,
라인 스캔 센서에는 K_max개의 유효 픽셀이 있되,
여기서 K_max는 1보다 큰 자연수이고,
각 카메라에 장착된 결상 렌즈의 마디점의 중간은 회전축 상에 위치하며,
회전부가 1 회전할 동안에 균일한 시간 간격으로 L_max번의 샘플링이 이루어지되,
여기서 L_max는 1보다 큰 자연수이며,
기저부는 회전부가 1회전하는 동안에 두 카메라로부터 얻어진 영상 신호들을 각각 가로 방향으로 집적하여 세로 방향의 크기가 K_max이고 가로 방향의 크기가 L_max인 360°전방위 영상면의 쌍을 생성하며,
영상 표시 수단은 사용자의 왼쪽 눈과 오른쪽 눈에 시점이 다른 직선수차보정 영상을 표시할 수 있는 수단을 구비하며,
영상 선택 수단은 사용자가 보기를 원하는 방향의 방위각과 고도각의 정보를 추출하여 영상 처리 수단으로 전송하며,
영상 처리 수단은 영상 선택 수단에서 전송되어진 방위각과 고도각을 기반으로 360°전방위 영상면의 쌍에서 직선수차보정 영상의 쌍을 생성하여 영상 표시 수단으로 전송하는 것을 특징으로 하는 입체 전방위 영상 시스템.
제 10항에 있어서,
상기 카메라에 장착된 결상 렌즈는 회전축 방향의 화각이 180°이상이고,
결상 렌즈의 광축에 수직한 단면은 회전축에 수직한 방향으로 측정한 폭이 회전축 방향으로 측정한 높이보다 적으며,
결상 렌즈가 광축 방향으로 이동하더라도 결상 렌즈의 장축이 회전축 방향을 유지하는 것을 특징으로 하는 입체 전방위 영상 시스템.
제 10항에 있어서,
영상 획득 장치의 기저부에는 영상 획득 장치의 위치와 기울기를 측정할 수 있는 기울기 센서와 디지털 나침반과 GPS 수신기가 장착되어 있으며,
회전부에서 획득된 영상 신호들은 광 신호나 무선 신호로 기저부로 전달되는 것을 특징으로 하는 입체 전방위 영상 시스템.
제 10항에 있어서,
영상 표시 수단은 헤드 마운티드 디스플레이 기기이며,
영상 선택 수단은 헤드 마운티드 디스플레이 기기 내부에 장착된 방향 센서인 것을 특징으로 하는 입체 전방위 영상 시스템.
영상 획득 수단과 영상 처리 수단과 영상 표시 수단과 영상 선택 수단을 포함하는 입체 전방위 영상 시스템에 있어서,
영상 획득 수단은 하부의 기저부와 상부의 회전부를 포함하며,
회전부는 회전축을 중심으로 기저부에 대하여 무한 회전할 수 있도록 기저부와 연결되어 있으며,
회전부에는 동일한 사양을 가지는 두 대의 카메라가 같은 방향으로 나란히 설치되어 있되,
두 대의 카메라에는 동일한 사양을 가지는 결상 렌즈가 장착되어 있으며,
각 카메라의 몸체 내부에는 라인 스캔 센서가 각 결상 렌즈의 광축에 수직한 방향으로 설치되어 있고,
라인 스캔 센서에는 K_max개의 유효 픽셀이 있되,
여기서 K_max는 1보다 큰 자연수이고,
두 결상 렌즈의 마디점의 중간은 회전축 상에 위치하며,
회전부는 동일한 각속도로 계속 회전하되,
회전부의 회전은 영상 획득이 이루어지는 활성 회전과 영상 획득이 이루어지지 않는 공회전이 있으며,
활성 회전이 이루어지는 동안에는 회전부가 360°를 회전하는 동안에 균일한 시간 간격으로 L_max번의 샘플링이 이루어지되,
여기서 L_max는 1보다 큰 자연수이며,
회전부가 매 n번의 회전을 할 때마다 1번의 활성 회전과 (n-1) 번의 공회전이 이루어지되,
여기서 n은 1보다 큰 자연수이며,
기저부는 회전부가 활성 회전하는 동안에 두 카메라로부터 얻어진 영상 신호들을 각각 가로 방향으로 집적하여 세로 방향의 크기가 K_max이고 가로 방향의 크기가 L_max인 360°전방위 영상면의 쌍을 생성하며,
영상 표시 수단은 사용자의 왼쪽 눈과 오른쪽 눈에 시점이 다른 직선수차보정 영상을 표시할 수 있는 수단을 구비하며,
영상 선택 수단은 사용자가 보기를 원하는 방향의 방위각과 고도각의 정보를 추출하여 영상 처리 수단으로 전송하며,
영상 처리 수단은 영상 선택 수단에서 전송되어진 방위각과 고도각을 기반으로 360°전방위 영상면의 쌍에서 직선수차보정 영상의 쌍을 생성하여 영상 표시 수단으로 전송하는 것을 특징으로 하는 입체 전방위 영상 시스템.
제 14항에 있어서,
상기 카메라에 장착된 결상 렌즈는 회전축 방향의 화각이 180°이상이고,
결상 렌즈의 광축에 수직한 단면은 회전축에 수직한 방향으로 측정한 폭이 회전축 방향으로 측정한 높이보다 적으며,
결상 렌즈가 광축 방향으로 이동하더라도 결상 렌즈의 장축이 회전축 방향을 유지하는 것을 특징으로 하는 입체 전방위 영상 시스템.
제 14항에 있어서,
상기 두 카메라에 장착된 결상 렌즈는 렌즈의 화각을 변경할 수 있는 줌 렌즈인 것을 특징으로 하는 입체 전방위 영상 시스템.