KR20120023284A

KR20120023284A - 회전 대칭형의 광각 렌즈를 이용하여 디지털 팬?틸트 영상을 얻는 방법 및 그 영상 시스템

Info

Publication number: KR20120023284A
Application number: KR1020100085605A
Authority: KR
Inventors: 권경일
Original assignee: 주식회사 나노포토닉스
Priority date: 2010-09-01
Filing date: 2010-09-01
Publication date: 2012-03-13
Also published as: KR101233948B1

Abstract

본 발명은 광축을 중심으로 회전 대칭형인 광각 렌즈의 영상에 수학적으로 정확한 영상 처리를 함으로써 디지털 팬?틸트 효과를 구현하되, 영상 처리로 얻어지는 영상은 왜곡이 없는 직선수차보정 영상이며, 또한 수직선이 영상에서도 수직선으로 보일 수 있는 영상 처리 알고리즘을 제공한다.

Description

회전 대칭형의 광각 렌즈를 이용하여 디지털 팬?틸트 영상을 얻는 방법 및 그 영상 시스템{METHOD AND IMAGING SYSTEM FOR OBTAINING DIGITAL PAN?TILT IMAGES USING ROTATIONALLY SYMMETRIC WIDE-ANGLE LENS}

영상 처리, 디지틸 팬?틸트, 영상 보정, 어안 렌즈, 보안 카메라, 감시 카메라

실내의 한쪽 벽면에 부착하여 실내 전체를 감시할 수 있는 영상 시스템의 예로는 팬(pan)?틸트(tilt)?줌(zoom) 카메라를 들 수 있다. 이와 같은 카메라는 광학적으로 줌 기능이 있는 렌즈를 장착한 비디오 카메라를 팬?틸트 스테이지(stage)에 장착함으로써 구현된다. 팬 작용은 수평 방향으로 소정의 각도만큼 회전할 수 있는 기능을 말하며, 틸트 작용은 수직 방향으로 소정의 각도만큼 회전할 수 있는 기능을 말한다. 다시 말하면 카메라가 천체를 기술하는 천구(celestial sphere)의 중심에 있다고 할 때 팬은 경도(longitude)를 변경하는 작용을 의미하며, 틸트는 위도(latitude)를 변경하는 작용을 의미한다. 따라서 팬 작용의 이론적인 범위는 360°이며, 틸트 작용의 이론적인 범위는 180°이다.

이와 같은 팬?틸트?줌 카메라의 단점은 높은 가격과 큰 부피 및 중량을 들 수 있다. 광학적 줌 기능이 있는 렌즈는 설계의 난이성과 구조의 복잡성으로 인하여 부피도 크고 무게도 무거우며 가격도 고가이다. 또한, 팬?틸트 스테이지는 카메라에 못지않은 고가의 장치이다. 따라서 팬?틸트?줌 카메라를 설치하기 위해서는 상당히 많은 비용을 지불하여야 한다. 또한, 팬?틸트?줌 카메라는 부피도 크고 무게도 무거우므로 응용 예에 따라서 상당한 장애 요인이 될 수 있다. 예를 들어 비행기와 같이 탑재체의 중량이 상당히 중요한 경우나, 아니면 좁은 공간에 영상 시스템을 설치하기 위하여 공간적인 제약이 존재하는 경우이다. 더구나 팬?틸트?줌 작용은 물리적인 작용이므로 이러한 작용을 수행하는데 시간이 많이 소요된다. 따라서 응용 예에 따라서 이와 같은 카메라의 기계적인 반응이 충분히 빠르지 않을 수 있다.

참고 문헌 특1에는 물리적으로 움직이는 부분이 없이 팬?틸트?로테이트?줌 기능을 할 수 있는 영상 시스템이 기술되어 있다. 상기 발명은 화각이 180°이상인 어안 렌즈를 장착한 카메라를 사용하여 영상을 획득한 뒤 사용자가 조이스틱 등의 입력장치를 사용하여 주시 방향(principal direction of vision)을 지정하면 왜곡이 없는 카메라가 그 방향을 향했을 때의 영상, 즉 직선수차보정 영상(rectilinear image)을 추출해 주는 것을 특징으로 한다. 이 발명과 선행 기술과의 차이점은 조이스틱이나 컴퓨터 마우스 등 다양한 입력장치를 사용하여 사용자가 선택한 방향의 직선수차보정 영상을 생성해 준다는 사실이다. 이러한 기술은 가상 현실(virtual reality) 혹은 기계적인 팬?틸트?줌 카메라를 대체하려고 할 때 핵심적인 기술로서 키워드는 "상호적인 영상(interactive picture)"이라고 할 수 있다. 이러한 기술에서는 물리적으로 움직이는 부분이 없으므로 시스템의 응답 속도가 빠르고 기계적 고장의 우려가 적은 장점이 있다.

일반적으로 감시 카메라와 같은 영상 시스템을 설치할 때에는 수평면에 수직인 수직선이 획득된 영상에서도 수직선으로 표시되도록 한다. 그러한 상태에서 기계적인 팬?틸트?줌 작용을 하더라도 상기 수직선은 영상에서 계속 수직선으로 표시된다. 그런데 상기 발명에서 소프트웨어적인 팬?틸트 작용을 하여 얻어진 영상에서는 수직선이 일반적으로 수직선으로 표시되지 않는다. 이와 같은 부자연스러운 화면을 보정하기 위하여 기계적인 팬?틸트 카메라에는 없는 회전(rotate) 작용을 추가적으로 수행하여야 한다. 그런데 상기 발명에서는 수직선이 수직선으로 표시되기 위하여 필요한 회전각이 얼마인지가 제시되지 않고 있다. 따라서 상기 발명에서는 수직선이 수직선으로 표시되는 영상을 얻기 위하여 시행착오적인 방법으로 정확한 회전각을 찾아야 하는 단점이 있다.

또한, 상기 발명에서는 어안 렌즈의 투사 방식을 이상적인 등거리 투사 방식(equi-distance projection scheme)으로 가정하고 있다. 그런데 실제 어안 렌즈의 투사 방식은 이상적인 등거리 투사 방식과 상당한 오차를 보이는 것이 보통이다. 상기 발명에서는 이와 같이 실제 렌즈의 왜곡 특성이 반영되지 못하므로 영상 처리를 한 영상에서도 왜곡이 있게 된다.

참고 문헌 특2에는 참고 문헌 특1에서 어안 렌즈의 실제 투사 방식이 반영되지 않는 단점을 보완한 영상 처리 방법이 제시되어 있다. 그러나 수직선이 영상에서 수직선으로 표시되지 않는 단점은 해소되지 않고 있다.

참고 문헌 특1 내지 특2의 영상 시스템은 어안 렌즈를 사용하여 얻은 광각 영상에서 디지털 팬?틸트 효과를 구현한다. 따라서, 이와 같은 영상 시스템에서 어안 렌즈는 핵심 구성 요소이다. 참고 문헌 특3 및 논1에는 화각 190°를 가지는 메가픽셀급 어안 렌즈의 실시 예가 기술되어 있으며, 참고 문헌 특4에는 화각 240°를 가지는 메가픽셀급 어안 렌즈의 실시 예가 기술되어 있다. 또한, 참고 문헌 특5에는 평사투영 방식의 굴절식 및 반사굴절식 어안 렌즈를 포함하는 다양한 광각 렌즈의 실시 예가 제시되어 있다.

참고 문헌 특6 및 논2는 광축을 중심으로 회전 대칭형인 광각 렌즈의 영상에 수학적으로 정확한 영상 처리를 함으로써 왜곡이 없는 직선수차보정 영상을 얻는 방법 및 이를 이용하는 다양한 영상 시스템을 제공한다. 특히, 디지털 팬?틸트 효과를 구현하면서도 수직선이 수직선으로 표시되는 영상 처리 알고리즘이 제시되어 있다. 그런데, 참고 문헌 특6의 발명은 어안 렌즈를 장착한 카메라로 획득한 영상에서 직선수차보정 렌즈를 장착한 팬?틸트 카메라로 얻을 수 있는 영상을 추출하는 알고리즘에 관한 것이지만, 팬?틸트 카메라가 처할 수 있는 다양한 가능성을 모두 고려한 알고리즘을 제공하는 것은 아니다. 예를 들어, 참고 문헌 특6의 발명에서는 카메라의 광축이 지평면에 평행하거나 수직한 경우, 또는 카메라의 광축이 지평면에 대하여 소정의 각도를 가지더라도 획득하고자 하는 직선수차보정 영상은 가상의 직선수차보정 카메라의 광축이 지평면에 평행한 경우만을 고려한 것이다.

실제로 사용되는 물리적인 팬?틸트 카메라는 팬 각과 틸트 각이 모두 0°인 경우에 대개 카메라의 광축이 지평면에 평행하도록 설치된다. 따라서, 참고 문헌 특6의 발명은 물리적인 팬?틸트 카메라의 효과를 구현할 수 있다. 그런데, 어안 렌즈를 장착한 카메라로 얻은 영상에서 디지털 팬?틸트 효과를 구현하고자 할 경우에는 물리적인 팬?틸트 카메라가 구현할 수 있는 범위를 넘어서는 효과를 얻을 수 있다. 본 발명의 목적은 이와 같이 물리적인 팬?틸트 카메라의 한계를 넘어서는 효과를 구현하는 수학적으로 엄밀한 영상 처리 방법 및 영상 시스템을 제공하는 데에 그 목적이 있다.

[참고문헌 특1] S. D. Zimmermann, "Omniview motionless camera orientation system", 미국 특허 제5,185,667호, 등록일 1993년 2월 9일. [참고문헌 특2] E. Gullichsen and S. Wyshynski, "Wide-angle image dewarping method and apparatus", 미국 특허 제6,005,611호, 등록일 1999년 12월 21일. [참고문헌 특3] 권경일, 밀턴 라이킨, "어안 렌즈", 대한민국 특허 제 10-0888922호, 등록일 2009년 3월 10일. [참고문헌 특4] 권경일, "어안 렌즈", 대한민국 특허 제 10-0932850호, 등록일 2009년 12월 10일. [참고문헌 특5] 권경일, 밀턴 라이킨, "광각 렌즈", 대한민국 특허 제 10-0826571호, 등록일 2008년 4월 24일. [참고문헌 특6] 권경일, "회전 대칭형의 광각 렌즈를 이용하여 전방위 영상 및 직선수차보정 영상을 얻는 방법 및 그 영상 시스템", 대한민국 특허 제 10-0898824호, 등록일 2009년 5월 14일. [참고문헌 특7] 권경일, "회전 대칭형의 광각 렌즈를 이용하여 복합 영상을 얻는 방법과 그 영상 시스템 및 하드웨어적으로 영상처리를 하는 이미지 센서", 대한민국 특허 제 10-2010-0064690호, 출원 2010년 7월 6일.

[참고문헌 논1] G. Kweon, Y. Choi, and M. Laikin, "Fisheye lens for image processing applications", J. of the Optical Society of Korea, 12, 79-87 (2008). [참고문헌 논2] G. Kweon, "Panoramic image composed of multiple rectilinear images generated from a single fisheye image", J. of the Optical Society of Korea, 14, 109-120 (2010).

본 발명은 광축을 중심으로 회전 대칭형인 광각 렌즈를 장착한 카메라로 얻은 이산화된 영상으로부터 디지털 팬?틸트 효과를 구현할 수 있는 수학적으로 정확한 영상 처리 방법 및 이를 이용하는 영상 시스템을 제공하는데 그 목적이 있는 것으로, 특히 카메라의 광축이 임의의 방향을 향하고 있을 때 적용할 수 있는 일반적인 영상 처리 방법을 제공하는데 그 목적이 있다.

본 발명은 왜곡을 가지는 광각 렌즈의 결상 작용에 대한 기하광학적인 법칙과 산업적으로 유용한 영상에 대한 수학적인 정의에 기반하여 원리적으로 정확하며 물리적인 팬?틸트 카메라의 효과를 넘어서는 디지털 팬?틸트 효과를 구현할 수 있는 영상 처리 알고리즘 및 영상 시스템을 제공한다.

회전 대칭형의 형상을 가지는 광각 렌즈의 영상에 수학적으로 정확한 영상 처리를 함으로써 산업적으로 유용한 다양한 영상을 얻을 수 있다.

도 1은 일반적인 회전 대칭형의 렌즈의 실제 투사 방식의 개념도.
도 2는 컴퓨터로 제작한 가상의 등거리 투사 어안 렌즈에 의한 영상의 예.
도 3은 카메라 좌표계의 개념도.
도 4는 종래 발명에 따른 직선수차보정 투사 방식을 보여주는 개념도.
도 5는 종래 발명의 영상 처리에 기반하는 영상 시스템의 개념도.
도 6은 보정전 영상면의 개념도.
도 7은 영상 표시 수단에 표시되는 보정후 영상면의 개념도.
도 8은 보정후 영상면의 상대적인 위치에 따른 화각의 변화를 이해하기 위한 개념도.
도 9는 이산화된 보정후 영상면의 개념도.
도 10은 이산화된 물체면의 개념도.
도 11은 카메라 좌표계에서의 가로 방향의 입사각과 세로 방향의 입사각의 개념도.
도 12는 도 2의 어안 영상으로부터 추출된 슬라이드?줌 작용을 한 직선수차조정 영상의 예.
도 13는 본 발명의 세계 좌표계의 개념도.
도 14는 도 13의 세계 좌표계에서의 기준면의 개념도.
도 15는 본 발명의 제 2 실시 예에서의 카메라 좌표계와 물체면의 관계를 보여주는 개념도.
도 16은 본 발명의 제 2 실시 예에서의 디지털 팬?틸트를 한 영상에 대응하는 가상의 물체면의 주시 방향을 보여주는 개념도.
도 17은 본 발명의 제 2 실시 예에서의 정렬 작용의 개념도.
도 18은 본 발명의 제 2 실시 예에서의 틸트 작용의 개념도.
도 19는 도 2의 어안 영상으로부터 추출된 디지털 팬?틸트 작용을 한 직선수차보정 영상의 예.
도 20은 가로 방향의 화각이 작은 팬?틸트 영상의 예.
도 21은 종래 발명의 어안 렌즈를 사용하여 촬영한 실내 전경의 예.
도 22는 도 21의 어안 영상으로부터 추출한 팬?틸트 영상의 예.
도 23은 디지털 팬?틸트 시스템에 사용될 수 있는 바람직한 영상 표시 장치의 개념도.
도 24은 도 23의 영상 표시 장치의 한 구체적인 실행 화면을 보여주는 개념도.
도 25는 본 발명의 제 3 실시 예에서의 세계 좌표계와 물체면의 관계를 보여주는 개념도.
도 26은 종래 발명의 어안 렌즈를 사용하여 촬영한 또 다른 실내 전경의 예.
도 27는 도 26의 어안 영상으로부터 추출한 직선수차보정 영상의 예.
도 28은 디지털 팬?틸트 시스템에 사용될 수 있는 바람직한 영상 표시 장치의 또 다른 실시 예의 개념도.
도 29는 도 28의 영상 표시 장치의 한 구체적인 실행 화면을 보여주는 개념도.
도 30은 디지털 팬?틸트 시스템에 사용될 수 있는 바람직한 영상 표시 장치의 또 다른 실시 예의 개념도.
도 31은 디지털 팬?틸트 시스템에 사용될 수 있는 바람직한 영상 표시 장치의 또 다른 실시 예의 개념도.
도 32는 종래 발명의 어안 렌즈를 사용하여 촬영한 또 다른 실내 전경의 예.
도 33은 본 발명의 제 4 실시 예에서의 카메라 좌표계와 세계 좌표계와의 관계를 보여주는 개념도.
도 34은 본 발명의 제 4 실시 예에서의 디지털 팬?틸트를 한 영상에 대응하는 가상의 물체면의 주시 방향을 보여주는 개념도.
도 35은 본 발명의 제 4 실시 예에서의 물체면의 회전 순서를 보여주는 개념도.
도 36은 도 32의 어안 영상으로부터 추출한 직선수차보정 영상의 예.
도 37은 디지털 팬?틸트 시스템에 사용될 수 있는 바람직한 영상 표시 장치의 또 다른 실시 예의 개념도.
도 38은 종래 발명의 어안 렌즈를 사용하여 촬영한 또 다른 실내 전경의 예.
도 39는 도 38의 어안 영상으로부터 추출한 직선수차보정 영상의 예.
도 40은 본 발명의 제 5 실시 예에서의 물체면의 회전 순서를 보여주는 개념도.
도 41은 본 발명의 제 6 실시예의 세계 좌표계와 제 1 회전 좌표계와의 관계를 보여주는 개념도.
도 42는 본 발명의 제 6 실시예의 제 1 회전 좌표계와 카메라 좌표계와의 관계를 보여주는 개념도.
도 43은 본 발명의 제 6 실시예에서의 이미지 센서면과 제 1 회전 좌표계의 관계를 보여주는 개념도.
도 44는 본 발명의 제 6 실시예에서의 세계 좌표계의 개념도.
도 45는 종래 발명의 어안 렌즈를 사용하여 촬영한 또 다른 실내 전경의 예.
도 46 내지 도 51은 도 45의 어안 영상으로부터 추출한 디지털 팬?틸트 영상의 예들.

이하, 도 1 내지 도 51을 참조하여 본 발명에 따른 바람직한 실시 예를 상세하게 설명하기로 한다.

(제 1 실시 예)

본 발명의 제 1 실시 예에서는 어안 렌즈를 포함하는 광각 렌즈를 장착한 카메라로 획득한 영상에서 직선수차보정 렌즈를 장착한 고정된 카메라로 획득한 영상에 대응하는 영상을 얻을 수 있는 영상 처리 알고리즘을 제공한다. 즉, 본 발명의 제 1 실시예에서는 팬?틸트 스테이지에 장착된 카메라가 아니라, 어느 한 방향으로 고정된 카메라에 직선수차보정 렌즈를 장착한 것과 대등한 영상을 얻을 수 있는 영상 처리 알고리즘을 제공한다. 이와 같은 영상 처리 알고리즘은 참고문헌 특6 및 논2에도 제시되어 있으나 본 발명에서 좀더 일반적인 영상 처리 알고리즘을 체계적으로 개발하기 위하여 특6의 발명에 사용된 좌표계가 아니라, 특7의 발명에 사용된 좌표계를 사용하여 어안 영상에서 직선수차보정 영상을 얻을 수 있는 영상 처리 알고리즘을 제공한다.

도 1은 어안 렌즈를 포함하는 회전 대칭형의 광각 렌즈(112)의 실제 투사 방식(real projection scheme)의 개념도이다. 광각 렌즈에 의하여 포착되는 피사체(object)를 기술하는 카메라 좌표계의 Z-축은 광각 렌즈(112)의 광축(optical axis: 101)과 일치한다. 이 Z-축에 대하여 천정각(zenith angle) θ를 가지는 입사광(105)은 광각 렌즈(112)에 의하여 굴절된 후 굴절광(106)으로서 초점면(focal plane: 132) 상의 한 상점(image point) P로 수렴한다. 상기 렌즈의 마디점(Nodal Point) N에서 상기 초점면까지의 거리는 대략 렌즈의 유효 초점 거리(effective focal length)와 일치한다. 상기 초점면에서 실제 상점이 형성된 부분이 영상면(image plane: 133)이다. 선명한 영상을 얻기 위하여 상기 영상면(133)과 카메라 몸체(114) 내부의 이미지 센서면(image sensor plane)이 일치하여야 한다. 이하에서는 이미지 센서면과 영상면을 같은 것으로 가정하며, 상호 호환적으로 지칭하기로 한다.

상기 초점면과 상기 이미지 센서면은 광축에 수직하다. 이 광축(101)과 영상면(133)과의 교점 Ｏ - 이하 제 1 교점이라 지칭함 - 에서부터 상기 상점 P까지의 거리는 r이다. 일반적인 광각 렌즈에서의 상 크기 r은 수학식 1과 같이 주어진다.

여기서 입사각 θ의 단위는 라디안(radian)이며, 상기 함수 r(θ)는 입사광의 천정각 θ에 대한 단조 증가 함수(monotonically increasing function)이다.

이와 같은 렌즈의 실제 투사 방식은 실제 렌즈를 가지고 실험적으로 측정할 수도 있으며, 아니면 렌즈의 설계도를 가지고 Code V나 Zemax 등의 렌즈 설계 프로그램으로 계산할 수 있다. 예를 들어 Zemax에서 REAY 연산자를 사용하면 주어진 수평 방향 및 수직 방향의 입사각을 가지는 입사광의 초점면상에서의 y-축 방향의 좌표 y를 계산할 수 있으며, x-축 방향의 좌표 x는 유사하게 REAX 연산자를 사용하여 계산할 수 있다.

도 2는 Paul Bourke 교수가 컴퓨터로 제작한 가상적인 실내 풍경이며, 이상적인 등거리 투사 방식을 가지는 화각 180°의 어안 렌즈를 사용하는 것으로 가정된 것이다. 이 영상은 가로 방향 및 세로 방향의 크기가 모두 250 픽셀인 정사각형의 모양을 가지고 있다. 따라서 광축의 좌표는 (125.5, 125.5)이며, 천정각 90°인 입사광의 상 크기는 r'(π/2) = 125.5 - 1 = 124.5이다. 여기서 r'은 실제 물리적 거리가 아니라 픽셀 거리로 측정된 상 크기이다. 이 가상적인 어안 렌즈는 등거리 투사 방식을 만족하므로 이 렌즈의 투사 방식은 수학식 2와 같이 주어진다.

도 3은 본 발명에서의 카메라 좌표계(camera coordinate system)와 제 1 직교 좌표계(the first rectangular coordinate system)를 이해하기 위한 개념도이다. 카메라 좌표계는 카메라에 의하여 포착되는 피사체를 기술하기 위한 좌표계로서 카메라에 고정되어 있다. 따라서, 카메라가 이동을 하거나 회전을 하게 되면 카메라 좌표계도 같이 이동을 하거나 회전을 하게 된다. 본 발명에서의 카메라에는 광축(301)을 중심으로 회전 대칭형인 광각 렌즈(312)가 장착되어 있으며, 카메라 몸체의 내부에는 이미지 센서(313)가 존재한다. 이미지 센서는 가로 방향의 변(313T, 313B)의 길이가 B이며, 세로 방향의 변(313L, 313R)의 길이는 V이다. 이미지 센서면(313)은 상기 광축(301)에 수직하다.

카메라 좌표계의 원점(origin)은 광각 렌즈의 마디점(nodal point) N에 위치하고, 카메라 좌표계의 Z-축은 상기 렌즈의 광축과 일치하되, 상기 원점에서 물체쪽(즉, 이미지 센서면의 반대쪽)을 향하는 방향이 양(+)의 Z-축 방향이다. 또한, Y-축은 상기 원점을 지나고 상기 카메라 내부의 이미지 센서면(313)의 세로 방향의 변(313L, 313R)에 평행하되, 이미지 센서면(313)의 상단(313T)에서 하단(313B)을 향하는 방향이 양(+)의 방향이다. 한편, X-축은 이미지 센서면(313)의 가로 방향의 변(313T, 313B)에 평행하되, 원점 N에서 물체쪽 보았을 때 왼쪽에서 오른쪽을 향하는 방향이다. 상기 카메라 좌표계는 오른손 좌표계(right-handed coordinate system)이다. 따라서, Z-축과 Y-축의 방향이 정해지면, X-축의 방향은 자동적으로 정해진다.

한편, 이미지 센서면(313) 상의 상점을 기술하는 제 1 직교 좌표계의 기준점(reference point) Ｏ는 광축(301)과 이미지 센서면(313)의 교점에 위치하며, x-축은 이미지 센서면의 가로 방향의 변(313T, 313B)에 평행하되, 광각 렌즈의 마디점에서 이미지 센서면을 보았을 때 상기 센서면의 왼쪽 변(313L)에서 오른쪽 변(313R)을 향하는 방향이 양(+)의 방향이며, y-축은 이미지 센서면의 세로 방향의 변(313L, 313R)에 평행하되, 광각 렌즈의 마디점에서 이미지 센서면을 보았을 때 상기 센서면의 상단(313T)에서 하단(313B)을 향하는 방향이 양(+)의 방향이다.

도 4는 참고 문헌 특6에 제시되어 있는 종래 발명의 일 실시 예의 직선수차보정 투사 방식의 개념도이다. 직선수차보정 투사 방식의 렌즈가 흔히 일컬어지는 왜곡이 없는 렌즈이며, 직선수차보정 렌즈의 특성은 바늘구멍 사진기의 특성과 동일하다고 간주한다. 이와 같은 직선수차보정 렌즈에 의하여 물체면(object plane: 431) 상의 피사체의 영상이 가로 방향의 비례와 세로 방향의 비례가 모두 보존된 채 이미지 센서면 상에 형성되며, 이 물체면의 영상이 바로 영상면(433)이다. 물체면 상의 한 물점(object point) Q는 영상면(433) 상에 대응하는 상점 P를 가진다.

전술한 바와 같이 카메라 좌표계의 원점은 광각 렌즈의 마디점 N에 위치하지만, 편의상 카메라 좌표계의 X-축과 Y-축이 광축(401)과 물체면(431)의 교점 Ω을 지나는 것으로 도시하였다. 마찬가지로, 제 1 직교 좌표계의 원점도 광각 렌즈의 마디점 N에 위치하지만, 편의상 제 1 직교 좌표계의 x-축과 y-축이 광축(401)과 영상면(433)의 교점(즉, 제 1 교점) Ｏ에 위치하는 것으로 도시하였다. 상기 물점 Q의 좌표가 (X, Y, Z)이고, 상기 상점 P의 좌표가 (x, y, z)이라면, 직선수차보정 투사 방식의 단순한 기하학적 성질에 의하여 다음의 수학식 3 내지 4의 관계식이 성립한다.

도 4의 제 1 직교 좌표계의 y-축은 영상면, 또는 이미지 센서면의 하단에서 상단을 향하는 방향으로 도시되었다. 이와 같은 좌표계는 직선수차보정 렌즈 혹은 바늘 구멍 사진기의 투사 방식을 고려하면 가장 자연스러운 좌표계이다. 그런데, 도 3과 도 4에서 카메라 좌표계의 X-축, Y-축, Z-축 및 제 1 직교 좌표계의 x-축과 z-축의 방향은 동일하지만, y-축의 방향은 반대인 것을 알 수 있다. 그 이유는 다음과 같다. 카메라 좌표계 상의 피사체가 광각 렌즈의 결상 작용에 의하여 이미지 센서면 상에 영상을 형성할 때, 그 영상은 위아래가 뒤집힌 영상이 된다. 그런데 위아래가 뒤집힌 영상은 감상하기가 불편하기 때문에 상하가 정상적으로 보이도록 카메라 내부에서 인위적으로 영상을 다시 한번 뒤집어주게 된다. 따라서, 도 3의 좌표계에서 영상의 상하를 반전시키는 과정이 암묵적으로 실행되었음이 이해되어야 한다. 이하에서는 이와 같이 영상을 반전시키는 과정이 모두 실행된다는 전제하에 도 3에 도시한 바와 같은 제 1 직교 좌표계를 사용하기로 한다.

어안 렌즈를 비롯한 임의의 회전 대칭형의 렌즈는 왜곡이 없는 직선수차보정 영상을 제공하지 못한다. 따라서 바람직한 영상을 얻기 위해서는 영상 처리 과정이 필수적이다. 도 5는 참고 문헌 특6에 제시된 영상 시스템의 개념도이며, 크게 영상 획득 수단(image acquisition means: 510)과 영상 처리 수단(image processing means: 516) 및 영상 표시 수단(image display means: 515, 517)을 포함한다. 영상 획득 수단(510)은 광축을 중심으로 회전 대칭형의 형상을 가지는 광각 렌즈(512)와 그 내부에 이미지 센서(513)를 포함하는 카메라 몸체(514)를 포함한다.

상기 광각 렌즈는 등거리 투사 방식을 가지는 화각 180°이상의 어안 렌즈가 될 수 있으나, 이러한 어안 렌즈에 한정되는 것은 아니며, 반사굴절식 어안 렌즈 등 다양한 종류의 회전 대칭형의 광각 렌즈가 모두 사용될 수 있다. 이하에서는 설명의 편의를 위하여 광각 렌즈를 어안 렌즈로 지칭한다. 상기 카메라 몸체는 CCD 혹은 CMOS 등의 이미지 센서를 구비하며, 정지 영상 혹은 동영상을 획득할 수 있다. 상기 어안 렌즈(512)에 의하여 물체면(531)의 영상이 초점면(532) 상에 형성된다. 선명한 영상을 얻기 위하여 이미지 센서면(513)이 상기 초점면(532)과 일치하여야 한다. 도 5에서 부호 (501)은 광축을 나타낸다.

상기 물체면(531) 상에 존재하는 피사체의 어안 렌즈(512)에 의한 실상(real image)은 이미지 센서에 의하여 전기적 신호로 변환된 후 영상 표시 수단(515)에 보정전 영상면(uncorrected image plane: 534)으로 표시되며, 이 보정전 영상면(534)은 어안 렌즈에 의한 왜곡을 포함하고 있다. 이 왜곡된 영상이 영상 처리 수단(516)에 의하여 왜곡이 보정된 후 컴퓨터 모니터나 CCTV 모니터와 같은 영상 표시 수단(517)에서 보정후 영상면(processed image plane: 535)으로 표시된다. 상기 영상 처리는 컴퓨터에 의한 소프트웨어적인 영상 처리일 수도 있고, 재설정 가능 반도체(FPGA: Field Programmable Gate Array)나 CPLD(Complex Programmable Logic Device), ARM core processor, 혹은 디지털 신호처리 프로세서(DSP: Digital Signal Processor) 상에서 동작하는 임베디드 소프트웨어(embedded software)에 의한 영상 처리일 수도 있다.

본 발명의 영상 획득 수단(510)과 영상 처리 수단(516)은 물리적으로 혹은 시간적으로 단절될 수 있다. 예를 들어 상기 영상 획득 수단은 화상 휴대폰에 장착된 카메라 모듈이며, 상기 영상 처리 수단은 상기 화상 휴대폰에 내장된 임베디드 소프트웨어이고, 상기 영상 표시 수단은 휴대폰 화면이 될 수 있다. 또는 상기 영상 획득 수단은 화상 휴대폰에 장착된 카메라 모듈이나 디지털 카메라, 디지털 캠코더, 또는 자동차용 블랙박스에 연결된 전방 카메라(front view camera)나 후방 카메라(rear view camera) 등이며, 상기 영상 처리 수단은 컴퓨터상에서 동작되는 소프트웨어이며, 상기 영상 표시 수단은 컴퓨터 화면이 될 수 있다. 이와 같은 경우에는 영상 획득 수단과 영상 처리 수단이 물리적으로 뿐만 아니라 시간적으로도 단절되어 있다. 또는 상기 영상 획득 수단은 PC 카메라이며, 상기 영상 처리 수단은 컴퓨터상에서 동작되는 소프트웨어이며, 상기 영상 표시 수단은 컴퓨터 화면이 될 수 있다. 이와 같은 경우에 통상적으로 영상 획득 수단과 영상 처리 수단이 동작하는 컴퓨터는 USB 케이블로 연결될 것이다.

또는 상기 영상 획득 수단은 네트워크 카메라(network camera) 혹은 IP camera에 장착된 카메라 모듈이며, 상기 영상 처리 수단은 상기 네트워크 카메라에 내장된 임베디드 소프트웨어가 될 수 있다. 따라서 네트워크 카메라의 몸체 내에서 직선수차보정 영상이 생성된다. 이 네트워크 카메라가 웹서버(web server)를 내장하고 있다면, 영상 표시 수단은 상기 네크워크 카메라와 동일한 네트워크에 연결되어 있는 다른 컴퓨터의 화면이나 네트워크 모니터(network monitor)가 될 수 있고, 인터넷 탐색(browsing) 기능이 있는 휴대폰의 화면이 될 수도 있다. 이와 같은 경우에 영상 획득 수단과 영상 처리 수단과의 연결은 랜 케이블(Lan cable)과 같은 물리적인 연결 수단을 사용하지만, 무선 네트워크 카메라의 경우에는 물리적인 연결 수단을 볼 수 없는 무선 인터넷망(wireless internet)이 될 수 있다.

또는 상기 영상 획득 수단은 CMOS USB 카메라, IEEE1394 카메라, 혹은 HDMI(High-Definition Multimedia Interface) port를 가지는 비디오 카메라와 같은 디지털 비디오 카메라이며, 상기 영상 처리 수단은 영상 처리 소프트웨어가 탑재된 컴퓨터 혹은 임베디드 소프트웨어가 내장된 독립된 장치가 될 수 있다. 이때 상기 영상 획득 수단과 상기 영상 처리 수단은 각각 USB 케이블, IEEE1394 케이블 및 HDMI 케이블로 연결될 것이다. 상기 케이블은 동선(copper wire)이 될 수도 있지만, 잡음을 타지않고 멀리까지 고품질의 영상을 전송하기 위하여 플라스틱 광섬유 혹은 유리 광섬유를 사용하는 복합 케이블이 될 수도 있다.

영상 표시 수단(515, 517)은 응용예에 따라서 컴퓨터 스크린, CCTV 모니터, CRT 모니터, 디지털 텔레비전, LCD projector, network monitor, 휴대폰 화면, 자동차에 장착된 내비게이션 등 다양한 장치가 될 수 있다.

도 6은 이미지 센서면(513)에 대응하는 영상 처리 전의 보정전 영상면(634)의 개념도이다. 이미지 센서면(513)의 가로 방향의 변의 길이가 B이고, 세로 방향의 변의 길이가 V라고 하면, 보정전 영상면의 가로 방향의 변의 길이는 gB이고, 세로 방향의 변의 길이는 gV이다. 여기서 g는 비례 상수이다.

보정전 영상면(634)은 영상 표시 수단에 표시되는 왜곡이 보정되지 않은 화면으로 생각할 수 있으며, 이미지 센서면에 결상된 영상을 배율 g로 확대한 영상이다. 예를 들어 1/3-inch CCD 이미지 센서의 경우에는 이미지 센서면의 가로변의 길이가 4.8mm, 세로변의 길이가 3.6mm인 직사각형의 모습이다. 이 CCD 이미지 센서가 VGA급의 1/3-inch CCD 이미지 센서라면 가로 640열, 세로 480행의 행렬의 형태로 픽셀이 존재한다. 따라서 한 픽셀은 가로 및 세로가 모두 4.8mm/640 = 7.5㎛인 정사각형의 모양이다. 한편 이산화된 디지털 영상에서는 픽셀의 한 변의 길이를 1로 가정한다. 따라서, 이 경우에 확대율 g는 1pixel/7.5㎛ = 133.3pixel/mm이다. 다시 말하면 보정전 영상면(634)은 이미지 센서면에 결상된 왜곡된 영상을 전기적인 신호로 변환하여 얻어지는 왜곡된 디지털 영상이다.

이미지 센서면 상의 제 1 교점 Ｏ는 광축과 센서면과의 교점이다. 따라서 광축을 따라서 입사한 광선은 상기 제 1 교점 Ｏ에 상점을 형성한다. 정의에 의하여 이미지 센서면에서의 제 1 교점 Ｏ에 대응하는 보정전 영상면 상의 한 점 Ｏ' - 이하 제 2 교점이라 지칭함 - 은 광축을 따라서 입사한 입사광에 의한 상점에 해당한다.

보정전 영상면 상의 제 2 교점 Ｏ'을 지나고 보정전 영상면의 가로 방향의 변에 평행한 축을 x'-축으로 하고, 상기 제 2 교점을 지나며 상기 보정전 영상면의 세로 방향의 변에 평행한 축을 y'-축으로 하는 제 2 직교 좌표계를 가정한다. 양(+)의 x'-축의 방향은 왼쪽 변에서 오른쪽 변으로, 양의 y'-축의 방향은 상단에서 하단으로 가는 방향이다. 이때 보정전 영상면(634) 상의 임의의 한 점의 가로 방향의 좌표 x'는 최소값 x'₁ = gx₁ 내지 최대값 x'₂ = gx₂를 가진다(즉, gx₁ ≤ x' ≤ gx₂). 마찬가지로 상기 한 점의 세로 방향의 좌표 y'는 최소값 y'₁ = gy₁ 내지 최대값 y'₂ = gy₂를 가진다(즉, gy₁ ≤ y' ≤ gy₂).

도 7은 본 발명의 영상 표시 수단의 왜곡이 보정된 화면, 즉 보정후 영상면(735)의 개념도이다. 보정후 영상면(735)은 직사각형의 모양을 가지며, 가로 방향의 변의 길이가 W이고, 세로 방향의 변의 길이가 H이다. 또한, 보정후 영상면의 가로 방향의 변에 평행한 축을 x"-축으로 하고 세로 방향의 변에 평행한 축을 y"-축으로 하는 제 3 직교 좌표계를 가정한다. 제 3 직교 좌표계의 z"-축의 방향은 제 1 직교 좌표계의 z-축 및 제 2 직교 좌표계의 z'-축의 방향과 일치한다. 상기 z"-축과 보정후 영상면과의 교점 Ｏ" - 이하 제 3 교점이라 지칭함 - 의 위치는 임의의 값을 가질 수 있으며, 심지어 보정후 영상면의 바깥에 위치할 수도 있다. 여기서 양의 x"-축의 방향은 왼쪽 변에서 오른쪽 변으로, 양의 y"-축의 방향은 상단에서 하단으로 가는 방향이다.

제 1 교점 및 제 2 교점은 광축의 위치이다. 그러나 제 3 교점은 광축의 위치가 아니라 주시 방향(principal direction of vision)에 대응한다. 주시 방향은 광축과 일치할 수 있지만, 반드시 광축과 일치할 필요는 없다. 주시 방향은 바람직한 직선수차보정 영상에 대응하는 가상의 직선수차보정 카메라의 광축의 방향이다.

보정후 영상면(735) 상의 제 3 점 P"의 가로 방향의 좌표 x"는 최소값 x"₁ 내지 최대값 x"₂를 가진다(즉, x"₁ ≤ x" ≤ x"₂). 정의에 의하여 가로 방향의 좌표의 최대값과 최소값의 차이는 보정후 영상면의 가로변의 길이와 일치한다(즉, x"₂ - x"₁ = W). 마찬가지로 제 3 점 P"의 세로 방향의 좌표 y"는 최소값 y"₁ 내지 최대값 y"₂를 가진다(즉, y"₁ ≤ y" ≤ y"₂). 정의에 의하여 세로 방향의 좌표의 최대값과 최소값의 차이는 보정후 영상면의 세로변의 길이와 일치한다(즉, y"₂ - y"₁ = H).

다음의 표 1은 물체면과 센서면, 보정전/후 영상면에서의 대응하는 변수들을 하나의 표로 요약한 것이다.

면(surface)	물체면	센서면	보정전 영상면	보정후 영상면
면의 가로변의 길이	W	B	gB	W
면의 세로변의 길이	H	V	gV	H
좌표계	카메라 좌표계	제 1 직교 좌표계	제 2 직교 좌표계	제 3 직교 좌표계
원점의 위치	렌즈의 마디점	렌즈의 마디점	렌즈의 마디점	렌즈의 마디점
광축과의 교점		Ｏ	Ｏ'	Ｏ"
좌표축	(X, Y, Z)	(x, y, z)	(x', y', z')	(x", y", z")
물점 혹은 상점의 명칭	물점	제 1 점	제 2 점	제 3 점
물점 혹은 상점의 기호	Q	P	P'	P"
물점 혹은 상점의 2차원 좌표	(X, Y)	(x, y)	(x', y')	(x", y")

본 발명의 제 1 실시 예에서는 보정후 영상면이 렌즈의 마디점에서 거리 s"에 위치한다고 가정한다. 전술한 바와 같이 직선수차보정 투사 방식에서는 물체면의 형상도 광축에 수직인 평면이며, 물체면 상의 피사체의 영상이 가로 방향의 비율과 세로 방향의 비율이 모두 보존된 채 보정후 영상면 상에 재현된다. 직선수차보정 렌즈의 이상적인 투사 방식은 바늘구멍 사진기의 투사방식과 동일하다. 바늘 구멍 사진기의 단순한 기하학적 특성을 고려하면, 물체면의 크기나 형상을 보정후 영상면의 크기나 형상과 동일한 것으로 가정하는 것이 편리하다. 따라서, 물체면에서 렌즈의 마디점 N까지의 거리도 s"이라고 가정한다.

도 8은 이미지 센서면과 광축과의 교점 Ｏ, 즉 제 1 교점에 대응하는 보정후 영상면 상의 제 3 교점 Ｏ"이 보정후 영상면(835)의 중심 C"과 일치하지 않는 경우를 도시한 것이다. 따라서 종래 발명의 일 실시 예에서의 슬라이드 작용을 한 영상 시스템에 해당한다. 제 3 교점을 원점으로 하는 2차원 직교 좌표계에서 상기 중심 C"의 좌표는 (x"_c, y"_c)이다. 보정후 영상면의 가로 방향의 길이가 W이므로, 상기 중심 C"을 기준으로 가로 방향의 좌표는 최소값 x"₁ = -W/2 내지 최대값 x"₂ = W/2이다. 여기에 중심 C"의 좌표를 고려하면 보정후 영상면 상에서의 가로 방향의 좌표의 범위는 최소값 x"₁ = x"_c - W/2 내지 최대값 x"₂ = x"_c + W/2이다. 마찬가지로 세로 방향의 좌표의 범위는 최소값 y"₁ = y"_c - H/2 내지 최대값 y"₂ = y"_c + H/2이다.

보정후 영상면 상의 제 3 교점 Ｏ"에서 제 3 점 P"까지의 거리, 즉 상 크기 r"은 수학식 5와 같이 주어진다.

렌즈의 마디점에서 보정후 영상면까지의 가상적인 거리가 s"이므로, 상기 직선수차보정 렌즈에 의해 제 3 점에 도달하는 입사광은 수학식 6으로 주어지는 천정각을 갖는다.

한편, 상기 입사광의 방위각은 수학식 7과 같이 주어진다.

따라서 이러한 천정각과 방위각을 갖는 입사광이 렌즈의 결상 작용에 의해 상기 이미지 센서면에 상점을 형성할 때 그 상점의 좌표는 수학식 8 내지 9와 같이 주어진다.

따라서 이와 같은 직교 좌표를 가지는 보정전 영상면 상에서의 신호값을 보정후 영상면 상의 제 3 점의 신호값으로 대입하면 된다.

그런데 실제에 있어서는 모든 이미지 센서 및 디스플레이 수단이 이산화되어 있다는 사실에 의하여 좀 더 복잡한 문제가 발생한다. 도 9는 이산화된 보정후 영상면(935)의 개념도이다. 보정후 영상면은 가로로 J_max 개의 열(column)과 세로로 I_max 개의 행(row)을 가지는 2차원 행렬의 형태로 픽셀(pixel)들을 가지고 있으며, 각 픽셀은 대개 가로와 세로의 길이가 모두 p인 정사각형의 모양이지만, 영상 처리(image processing) 분야에서 픽셀의 가로 및 세로 변의 길이는 모두 1로 간주한다. 어느 한 픽셀 P"을 지정하기 위해서는 행(row) 번호 I와 열(column) 번호 J를 사용한다. 디지털 영상 처리 분야에서 왼쪽 상단에 위치하는 픽셀은 행 번호 1과 열 번호 1을 가지는 픽셀이며, 오른쪽 하단의 픽셀은 행 번호 I_max와 열 번호 J_max를 가진다.

도 9에는 두 가지의 좌표가 사용되고 있다. 하나는 제 3 교점 Ｏ"를 기준점으로 하는 제 3 직교 좌표계이며, 보정후 영상면 상의 어느 한 점은 가로 방향의 좌표 x" 및 세로 방향의 좌표 y"을 가진다. 다른 하나는 인접하는 픽셀 간의 간격을 1로 하는 픽셀 좌표이다. 예를 들어 보정후 영상면의 중심 C"의 이차원 직교 좌표는 (x"_c, y"_c)이지만, 픽셀 좌표는 (I_o, J_o)이며, 수학식 10과 같이 주어진다.

또한, 제 3 교점 Ｏ"의 이차원 직교 좌표는 (0, 0)이지만, 픽셀 좌표는 (I_o - ΔI, J_o - ΔJ)이다. 여기서, ΔI는 제 3 교점 Ｏ"에 대한 물체면의 세로 방향의 변위를 나타내며, ΔJ는 제 3 교점 Ｏ"에 대한 물체면의 세로 방향의 변위를 나타낸다. 마찬가지로 제 3 점 P"의 이차원 직교 좌표는 (x", y")이며, 픽셀 좌표는 (I, J)이다. 또한, 행 번호와 열 번호가 모두 1인 픽셀의 이차원 직교 좌표는 (x"₁, y"₁)이며, 픽셀 좌표가 (I_max, J_max)인 픽셀의 이차원 직교 좌표는 (x"₂, y"₂)이다.

이와 같은 이산화된 보정후 영상면에 대응하여 이산화된 물체면을 필요로 한다. 도 10은 이산화된 물체면(1031)의 개념도이며, 음의 Z-축 방향으로 물체면을 바라보는 시점에서 도시된 것이다. 이산화된 물체면도 세로 방향으로 I_max 행과 가로 방향으로 J_max 열을 가지는 이차원 행렬인 것으로 가정한다. 상기 물체면(1031)은 카메라 좌표계의 원점 N에서 거리 s"에 위치한다.

보정후 영상면 상의 각 픽셀 (I, J)는 가상의 물체면 상에 대응하는 가상의 물점을 가진다. 따라서, 물체면 상의 픽셀 좌표 (I, J)를 생각할 수 있다. 물체면 상의 픽셀 좌표 (I, J)를 가지는 물점 Q = Q(I, J)은 보정후 영상면 상의 대응하는 상점 P" = P"(I, J)를 가진다. 한편, 물체면 상의 픽셀 좌표 (I, J)를 가지는 한 물점 Q = Q(I, J)는 카메라 좌표계 상에서 삼차원 공간 좌표 (X_I _,J, Y_I _,J, Z_I _,J)를 가진다. 각각의 좌표 X_I _,J, Y_I _,J, Z_I _,J는 I와 J의 함수이다. 즉, X_I _,J ≡ X(I, J)이며, 마찬가지로 Y_I _,J ≡ Y(I, J) 및 Z_I _,J ≡ Z(I, J)이다. 물체면의 크기 및 원점으로부터의 거리와 방향 등으로 특정되는 물체면의 형상은 물체면 상의 모든 픽셀 Q = Q(I, J)에 대한 삼차원 공간 좌표 (X_I _,J, Y_I _,J, Z_I _,J)를 부여하여 유일하게 결정된다.

이와 같은 물체면의 형상은 자동적으로 영상 시스템의 투사 방식을 결정한다. 삼차원 공간상의 한 물점 Q = Q(X, Y, Z)는 구면 극 좌표계에서 Q = Q(R, θ, φ)로 주어진다. (X, Y, Z)로 주어지는 직교 좌표와 (R, θ, φ)로 주어지는 구면 극 좌표는 다음의 수학식 11 내지 14로 주어지는 관계식을 만족한다.

따라서 상기 물점 Q로부터 비롯되는 입사광의 방위각 φ는 삼차원 직교 좌표로부터 수학식 15로 주어지며, 천정각 θ는 수학식 16으로 주어진다.

따라서 보정후 영상면의 픽셀 좌표 (I, J)를 가지는 상점의 신호값으로 수학식 8 내지 9로 주어지는 좌표를 가지는 보정전 영상면 상의 가상의 상점의 신호를 대입하면 된다.

한편, 도 11은 카메라 좌표계에서의 가로 방향의 입사각 ψ 및 세로 방향의 입사각 δ와 삼차원 직교 좌표 (X, Y, Z)의 관계를 보여주는 개념도이며, 이 변수들은 다음의 수학식 17 내지 19의 관계식을 만족한다.

따라서 상기 물점 Q로부터 비롯되는 입사광의 가로 방향의 입사각 ψ는 수학식 20으로 주어지며, 세로 방향의 입사각 δ는 수학식 21로 주어진다.

도 10을 참조하면 상기 물체면의 삼차원 직교 좌표는 다음과 같이 주어진다.

수학식 22로 주어지는 삼차원 직교 좌표와 수학식 20으로 주어지는 가로 방향의 입사각의 정의를 고려하면 도 10의 물체면 상의 각 물점 Q_I _,J ≡ Q(X_I _,J, Y_I _,J, Z_I _,J)에서 비롯되는 입사광의 가로 방향의 입사각은 열 번호 J만의 함수인 것을 알 수 있다.

따라서 주어진 물체면에 대하여 가로 방향의 화각 Δψ를 수학식 24와 같이 정의할 수 있다.

물체면의 가로 방향의 화각이 수학식 24로 주어지는 값을 가지기 위해서는 카메라 좌표계의 원점에서 물체면까지의 거리 s"가 수학식 25로 주어져야 한다.

이와 같은 사실을 이용하면 왜곡을 가지는 어안 렌즈의 영상으로부터 이상적인 직선수차보정 영상을 추출하는 본 발명의 제 1 실시 예의 영상 시스템은 광축을 중심으로 회전 대칭형인 결상용 광각 렌즈를 장착한 카메라를 이용하여 보정전 영상면을 획득하는 영상 획득 수단과 상기 보정전 영상면을 기초로 보정후 영상면을 생성하는 영상 처리 수단 및 상기 보정후 영상면을 표시하는 영상 표시 수단을 포함한다. 상기 보정전 영상면은 K_max 행과 L_max 열을 가지는 이차원 행렬이며, 상기 보정전 영상면에서 광축의 픽셀 좌표는 (K_o, L_o)이며, 상기 렌즈의 실제 투사 방식은 수학식 26과 같은 함수로 주어진다.

여기서 렌즈의 실제 투사 방식이란 상 크기 r을 대응하는 입사광의 천정각 θ의 함수로 구한 것이며, 상기 카메라의 확대율 g는 수학식 27과 같이 주어지되, 여기서 r'은 상 크기 r에 대응하는 보정전 영상면에서의 픽셀 거리이다.

다음으로 사용자의 필요에 따라서 바람직한 물체면의 크기(I_max, J_max)와 가로 방향의 슬라이드 양 ΔJ와 세로 방향의 슬라이드 양 ΔI 및 가로 방향의 화각 Δψ을 결정한다. 그러면 수학식 25에 의하여 카메라 좌표계의 원점에서 물체면까지의 거리 s"이 정해진다. 다음으로, 수학식 10과 22를 이용하여 물체면 상의 모든 물점 Q_I _,J의 삼차원 직교 좌표를 구한다.

이와 같이 물체면의 형상을 정한 후에는 물체면 상의 자연수 좌표를 가지는 모든 물점 Q = Q(I, J)에 대하여 수학식 28로 주어지는 천정각 및 수학식 29로 주어지는 방위각을 구한다.

다음으로 수학식 30을 사용하여 이미지 센서면 상에서의 상 크기를 구한다.

보정전 영상면 상에서의 제 2 교점, 즉 광축의 픽셀 좌표 (K_o, L_o) 및 확대율 g를 이용하여 보정전 영상면 상에서의 제 2 점, 즉 가상의 상점의 위치를 정한다.

이와 같이 대응하는 제 2 점의 위치를 찾았으면 nearest-neighbor 혹은 이중선형보간법(bilinear interpolation), bicubic interpolation 등의 다양한 보간법을 사용하여 전방위 영상을 구할 수 있다.

도 12는 도 2의 어안 영상으로부터 추출한 직선수차보정 영상으로서 보정후 영상면의 가로 방향의 화각은 120°이며(즉, ㅿψ = 120°), 영상면의 크기는 가로 방향으로 240 픽셀이고 (J_max = 240), 세로 방향으로 180 픽셀이며 (I_max = 180), 보정후 영상면의 중심을 광축으로부터 가로 방향으로 50 픽셀 (ㅿJ = 50), 세로 방향으로 -30 픽셀(ㅿI = -30) 이동한 직선수차보정 영상을 보여준다. 도 12에서 알 수 있는 바와 같이 모든 직선이 직선으로 포착되고 있는 것을 알 수 있다.

(제 2 실시 예)

도 13은 본 발명에서의 세계 좌표계(the world coordinate system)의 개념도이다. 본 발명의 세계 좌표계는 회전 대칭형인 광각 렌즈의 마디점 N을 원점으로 하고, 상기 원점을 지나는 수직선을 Y^*-축으로 하되 상기 원점에서 천저를 향하는 방향이 양(+)의 Y^*-축 방향이다. 여기서 수직선은 지평면, 더 정확하게는 수평면(1317)에 수직인 직선이다. 세계 좌표계의 X^*-축과 Z^*-축은 지평면에 포함된다. 상기 카메라 좌표계의 Z-축과 일치하는 광각 렌즈의 광축(1301)은 일반적으로 Z^*-축과 일치하지 않으며, 지평면에 포함될 수도 있고(즉, 지평면에 평행할 수도 있고), 지평면에 평행하지 않을 수도 있다. 이때 상기 Y^*-축과 상기 광축(1301)을 포함하는 평면(1304)을 기준면(reference plane)이라고 지칭한다. 이 기준면(1304)과 지평면(1317)과의 교선(intersection line)이 세계 좌표계의 Z^*-축과 일치한다. 양(+)의 Z^*-축의 방향은 원점에서 물체쪽을 향하는 방향이다. 한편, 세계 좌표계의 X^*-축은 오른손 좌표계의 규약에 의하여 자동적으로 정해진다.

카메라의 광축(1301)은 지평면에 대하여 각도 χ를 가진다. 이 각도를 카메라의 설치각(installation angle)이라고 지칭하기로 한다. 이 설치각 χ는 -90°에서 90°사이의 임의의 값을 가질 수 있다. 이 설치각이 0°이면 카메라의 광축은 지평면에 평행하며, 설치각이 -90°이면 카메라의 광축은 천정(zenith)을 향하고, 설치각이 +90°이면 카메라의 광축은 천저(nadir)를 향한다.

한편, 현실적인 이유에서 카메라의 광축이 지평면에 대하여 기울게 설치되더라도 카메라의 이미지 센서면의 가로 방향의 변은 지평면에 평행하도록 설치되는 것이 일반적이다. 만약, 카메라의 이미지 센서면의 가로 방향의 변이 지평면에 평행하지 않으면 포착된 영상에서 수직선이 기울게 보이므로 심리적으로 불안감을 유발할 수 있다. 한편, 이미지 센서면의 가로 방향의 변이 지평면에 평행하지 않아서 얻게 되는 이익은 거의 없다고 할 수 있다. 따라서, 본 발명의 제 2 실시 예에서는 이미지 센서면의 가로변이 항상 지평면에 평행하도록 설치된다고 가정한다. 따라서, 카메라 좌표계의 X-축은 세계 좌표계의 X^*-축과 일치하며, 카메라 좌표계의 Y-축은 상기 기준면(1304)에 포함된다.

도 14는 세계 좌표계의 Y^*-축과 Z^*-축 및 카메라 좌표계의 Y-축과 Z-축이 모두 기준면(1404)에 포함되는 것을 보여준다. 세계 좌표계의 Z^*-축과 카메라 좌표계의 Z-축과의 기울기는 카메라의 설치각 χ이며, 세계 좌표계의 Y^*-축과 카메라 좌표계의 Y-축과의 기울기도 역시 χ이다.

카메라 좌표계에서의 가로 방향의 입사각과 세로 방향의 입사각에 대응하여 수학식 33으로 주어지는 세계 좌표계에서의 수평각(horizontal angle) ψ^* 및 수학식 34로 주어지는 수직각 (vertical angle) δ^*를 정의한다.

수학식 33 및 34로 주어지는 수평각과 수직각의 정의에 의하여 원점을 지나는 직선상에 위치하는 점들은 모두 동일한 수평각과 수직각을 가진다. 예를 들어 양(+)의 Z^*-축 상에 위치하는 모든 점들은 (0, 0, Z^*)의 형태로 주어지는 삼차원 좌표를 가진다. 따라서, 수학식 33을 참조하면 수평각과 수직각이 모두 0으로 주어지는 것을 알 수 있다. 한편, 도 14를 참조하면 광축 상에 위치하는 모든 점의 수평각 ψ^*는 0이며, 수직각 δ^*은 χ로 주어진다. 이하에서는 광축 방향(optical axis direction)의 수평각 ψ^*는 0이며, 수직각 δ^*은 χ라고 지칭하기로 한다.

디지털 팬?틸트 영상을 얻기 위해서는 카메라 좌표계에서의 물체면의 형상이 명확하게 정의되어야 한다. 도 15는 가상의 직선수차보정 카메라의 물체면(1531)이 천저를 향하고 있는 실시 예를 보여준다. 즉, 본 발명의 제 2 실시 예는 어안 렌즈를 장착한 카메라가 실내 천정에 설치되어 바닥을 향하고 있을 때 이 카메라로 획득한 영상으로부터 디지털 팬?틸트 영상을 획득하는 경우에 해당한다. 가상의 직선수차보정 카메라가 천저를 향하고 있으므로 카메라 좌표계의 Z-축은 세계 좌표계의 Y^*-축과 일치하며, 카메라 좌표계의 Y-축은 세계 좌표계의 음(-)의 Z^*-축과 일치한다. 한편, 카메라 좌표계의 X-축은 세계 좌표계의 X^*-축과 일치한다.

도 15에 도시한 바와 같이 직선수차보정 카메라에서 보정후 영상면(1535)의 형상이나 크기는 물체면(1531)의 형상이나 크기와 동일하며, 좌표계의 원점 N을 기준으로 정 반대의 방향에 위치하고 있다. 수학적으로는 좌표계의 원점 N을 기준으로 점 대칭(point symmetric)을 이루고 있다. 보정후 영상면은 I_max 행과 J_max 열을 가지는 이차원 행렬이며, 각 픽셀의 삼차원 좌표는 수학식 22와 같이 주어지고, 그 중심 좌표 (I_o, J_o)는 수학식 10과 같이 주어진다. 또한, 좌표계의 원점에서 보정후 영상면(1535) 또는 물체면(1531)까지의 거리 s"는 수학식 25로 주어진다. 도 15에 도시되지는 않았지만 반지름 s"인 구와 물체면(1531)의 접점(tangential point)를 Ω라고 지칭하기로 한다. 상기 원점 N에서 상기 접점 Ω를 향하는 방향이 본 발명에서의 주시 방향(principal direction of vision)이다. 편의상 도 15에서는 상기 접점 Ω로부터 상기 물체면(1531)의 중심의 변위 (ΔI, ΔJ)가 없는 것으로 도시하였지만, 본 실시 예에서 슬라이드 작용이 허용된다.

도 15의 카메라 좌표계 상에서 디지털 팬?틸트 효과를 구현하는 것은 보정후 영상면(1535)에 대응하는 물체면(1531)을 회전시키는 경우에 해당한다. 도 16은 본 발명의 제 2 실시 예에서의 바람직한 디지털 팬?틸트 작용을 예시하는 개념도이다. 디지털 팬?틸트 작용을 하기 이전의 주시 방향은 카메라의 광축(1601), 즉 Z-축과 일치한다. 이와 같은 경우에 물체면을 Z-축을 중심으로 반시계 방향으로 각도 γ만큼 회전한 이후에, 다시 회전된 좌표계의 X-축을 중심으로 각도 α만큼 회전시킨 경우에 해당하는 보정후 영상면을 얻고자 한다.

이와 같이 카메라 좌표계의 원점 N에서 물체면까지의 거리 s"을 고정한 채로 상기 원점 N에서 상기 물체면까지의 법선(즉, 주시 방향)을 Z-축을 중심으로 회전시키면 이는 팬 작용에 해당하며, 상기 법선이 Z-축과 이루는 각도를 변경시키면 이는 틸트 작용에 해당한다.

그런데, 전술한 바와 같이 디지털 팬?틸트를 한 영상에서 수직선이 수직선으로 보이지 않으면 사용자가 사용하기에 불편하다. 따라서, 팬?틸트 각도에 상관없이 항상 수직선이 수직선으로 보이기 위한 안전 장치가 필요하다. 이와 같이 수직선이 항상 수직선으로 보이게 하기 위한 가장 좋은 방법은 먼저 물체면을 Z-축을 중심으로 필요한 각도만큼 회전을 시킨 이후에, 다시 틸트 작용을 수행하는 것이다. 본 실시 예에서는 물체면을 Z-축을 중심으로 회전하는 작용을 정렬 작용(aligning operation)이라고 지칭하기로 한다.

도 17에 도시한 바와 같이 물체면이 Z-축을 중심으로 반시계 방향으로 각도 γ만큼 회전한 상태는 물체면이 그대로 있고 좌표축이 Z-축을 중심으로 시계 방향으로 각도 γ만큼 회전한 상태와 수학적으로 동일하다. 이 회전된 좌표계를 제 1 회전 좌표계라 하며, 이 제 1 회전 좌표계의 세 축을 각각 X', Y' 및 Z'-축이라 지칭한다. 한편, 틸트 작용을 수행하기 위하여 물체면을 제 1 회전 좌표계의 X'-축을 중심으로 반시계 방향으로 각도 α만큼 회전시킨다. 그런데, 도 18에 도시한 바와 같이 물체면(1831)이 X'-축을 중심으로 반시계 방향으로 각도 α만큼 회전한 상태는 물체면이 그대로 있고 좌표축이 X'-축을 중심으로 시계 방향으로 각도 α만큼 회전한 상태와 동일하다. 이 회전된 좌표계를 제 2 회전 좌표계라 하며, 이 제 2 회전 좌표계의 세 축을 각각 X", Y" 및 Z"-축이라 지칭한다.

이와 같은 좌표축의 회전과 관련하여 오일러(Euler) 행렬을 사용하는 것이 편리하다. 이를 위하여 삼차원 공간상의 한 물점 Q의 좌표를 다음과 같이 3차원 벡터로 표시한다.

여기서

는 3차원 공간상의 한 점 Q에 이르는 벡터를 카메라 좌표계에서 표현한 것이다. 한편, 공간상의 한 점 Q를 X-축을 중심으로 각도 α만큼 회전시킨 새로운 점의 좌표는 수학식 36으로 주어지는 행렬을 벡터에 곱하여 얻을 수 있다.

마찬가지로 Y-축을 중심으로 각도 β만큼 회전한 새로운 점의 좌표를 구하기 위해서는 수학식 37의 행렬을 사용하며, Z-축을 중심으로 각도 γ만큼 회전한 새로운 점의 좌표를 구하기 위해서는 수학식 38의 행렬을 사용한다.

수학식 36 내지 38의 행렬은 좌표계가 고정되어 있고 공간상의 한 점이 회전한 경우를 기술할 수도 있지만, 공간상의 한 점이 고정되어 있고 좌표계가 반대 방향으로 회전한 경우도 기술할 수 있다. 이 두 경우는 수학적으로 동등하다. 따라서, 도 17 및 도 18에서와 같이 Z-축을 중심으로 카메라 좌표계가 각도 -γ만큼 회전하여 얻어지는 제 1 회전 좌표계가 X'-축을 중심으로 각도 -α만큼 회전하여 얻어지는 제 2 회전 좌표계에서의 상기 한 점 Q = Q"의 좌표는 수학식 39로 주어지는 행렬식을 계산하여 얻을 수 있다.

그런데 오일러 행렬의 수학적인 성질에 의하여 다음의 관계식이 성립한다.

따라서, 수학식 40은 수학식 41과 같이 편리하게 정리된다.

수학식 37과 38의 행렬을 사용하여 수학식 41을 계산하면 제 2 회전 좌표계에서의 물점 Q"의 좌표는 카메라 좌표계에서의 물점 Q의 좌표로 수학식 42 내지 44로 주어진다.

이와 같은 사실을 이용하면 어안 렌즈를 장착한 카메라가 천저를 향하는 방향으로 설치된 상태에서 획득된 왜곡된 어안 영상으로부터 이상적인 팬?틸트 영상을 추출하는 본 발명의 제 2 실시 예의 영상 시스템은 광축을 중심으로 회전 대칭형인 결상용 광각 렌즈를 장착한 카메라를 이용하여 보정전 영상면을 획득하는 영상 획득 수단과 상기 보정전 영상면을 기초로 보정후 영상면을 생성하는 영상 처리 수단 및 상기 보정후 영상면을 표시하는 영상 표시 수단을 포함한다. 상기 보정전 영상면은 K_max 행과 L_max 열을 가지는 이차원 행렬이며, 상기 보정전 영상면에서 광축의 픽셀 좌표는 (K_o, L_o)이며, 상기 렌즈의 실제 투사 방식은 수학식 45와 같은 함수로 주어진다.

여기서 렌즈의 실제 투사 방식이란 상 크기 r을 대응하는 입사광의 천정각 θ의 함수로 구한 것이며, 상기 카메라의 확대율 g는 수학식 46과 같이 주어지되, 여기서 r'은 상 크기 r에 대응하는 보정전 영상면에서의 픽셀 거리이다.

다음으로 사용자의 필요에 따라서 바람직한 물체면의 크기(I_max, J_max)를 정하면, 상기 물체면의 중심 좌표는 수학식 47과 같이 주어진다.

다음으로 사용자의 필요에 따라서 슬라이드 이전의 바람직한 물체면의 가로 방향의 화각 Δψ을 결정한다. 그러면 수학식 48에 의하여 카메라 좌표계의 원점에서 물체면까지의 거리 s"이 정해진다.

다음으로 사용자의 필요에 따라서 바람직한 물체면의 가로 방향의 슬라이드 양 ΔJ와 세로 방향의 슬라이드 양 ΔI를 정한다. 그러면, 물체면 상의 모든 물점 Q_I,J의 삼차원 직교 좌표를 수학식 49 내지 51을 사용하여 구할 수 있다.

그러면, 팬?틸트를 한 이후의 물체면 상의 모든 물점 Q"_I,J의 삼차원 직교 좌표를 수학식 52 내지 54를 사용하여 구할 수 있다.

이와 같이 물체면의 형상을 정한 후에는 물체면 상의 자연수 좌표를 가지는 모든 물점 Q" = Q"(I, J)에 대하여 수학식 55로 주어지는 천정각 및 수학식 56으로 주어지는 방위각을 구한다.

다음으로 수학식 57을 사용하여 이미지 센서면 상에서의 상 크기를 구한다.

본 발명의 제 2 실시 예의 영상 처리 방법은 참고 문헌 특6의 제 4 실시 예의 영상 처리 방법과 수학적으로 동일하다. 다시 말하면, 참고 문헌 특6의 제 4 실시 예의 영상 처리 방법으로 얻을 수 있는 보정후 영상면은 본 발명의 제 2 실시 예의 영상 처리 방법으로 얻을 수 있으며, 그 역도 성립하고, 두 가지 방법으로 얻은 두 보정후 영상면을 서로 구분할 수 없다.

그러나, 본 발명의 제 2 실시 예의 영상 처리 방법은 다음과 같은 이점이 있다. 먼저, 본 발명에서 통합적이고 일관된 좌표계를 사용하여 본 발명의 다양한 실시 예의 영상 처리 방법을 체계적으로 쉽게 이해할 수 있다. 또한, 참고 문헌 특6의 제 4 실시 예의 영상 처리 방법에 비하여 영상 처리 단계가 간략화되었다. 따라서, 실시간으로 영상 처리를 하여야 할 경우에 영상 처리 속도에 있어서 개선이 된다.

도 19는 도 2의 어안 영상으로부터 추출한 직선수차보정 영상으로서 물체면 또는 대등하게 보정후 영상면의 가로 방향의 화각은 120°이며(즉, ㅿψ = 120°), 보정후 영상면의 크기는 가로 방향으로 240 픽셀이고 (J_max = 240), 세로 방향으로 180 픽셀이며 (I_max = 180), 슬라이드 작용은 없고, -10°의 정렬 작용(즉, γ = -10°)과 30°의 틸트 작용(즉, α = 30°)을 한 영상을 보여준다.

도 19에서 알 수 있는 바와 같이 모든 직선이 직선으로 포착되고 있는 것을 알 수 있으며, 화면의 중심을 지나는 수직선이 수직선으로 보이는 것을 알 수 있다. 나머지 수직선들이 수직선으로 보이지 않는 이유는 원근법에 의한 효과이다. 도 20은 원근법의 효과를 줄이기 위하여 물체면의 가로 방향의 화각을 30°로 줄인 영상을 보여준다. 구체적으로 물체면의 가로 방향의 화각은 30°이며(즉, ㅿψ = 30°), 영상면의 크기는 가로 방향으로 240 픽셀이고 (J_max = 240), 세로 방향으로 180 픽셀이며 (I_max = 180), 슬라이드 작용은 없고, -50°의 정렬 작용(즉, γ = -50°)과 60°의 틸트 작용(즉, α = 60°)을 한 영상을 보여준다.

도 21은 참고 문헌 특3에 제시되어 있는 어안 렌즈를 사용하여 포착한 어안 영상으로서, 실내 천정의 중앙에 화각 190°인 어안 렌즈를 설치하였을 때 얻어지는 효과를 볼 수 있다. 한편, 도 22는 도 21의 어안 영상으로부터 추출한 직선수차보정 영상으로서 물체면의 가로 방향의 화각은 60°이며(즉, ㅿψ = 60°), 보정후 영상면의 크기는 가로 방향으로 683 픽셀이고 (J_max = 683), 세로 방향으로 512 픽셀이며 (I_max = 512), 슬라이드 작용은 없고, -60°의 정렬 작용(즉, γ = -60°)과 40°의 틸트 작용(즉, α = 40°)을 한 직선수차보정 영상을 보여준다.

도 21과 도 22를 대조하면 정렬각은 -60°가 아니라 +60°이어야 할 것으로 생각되기 쉽다. 그러나, 도 15 내지 도 16을 참조하면 Z-축의 방향이 천정에서 천저를 향하고 있으므로 양(+)의 정렬각은 천저에서 천정쪽을 바라볼 때 반시계 방향이 양의 회전 방향이 된다. 따라서, 도 21과 같이 천정에서 천저를 바라보는 방향에서는 시계 방향이 양의 회전 방향이 되며, 반시계 방향은 음의 회전 방향이 된다.

도 23은 이와 같은 디지털 팬?틸트 영상 시스템의 바람직한 영상 표시 장치의 한 예를 보여준다. 도 23에 도시된 바와 같이 영상 표시 장치에는 보정전 영상면(2334)과 보정후 영상면(2335)이 동시에 표시된다. 본 실시예에서 보정전 영상면(2334)은 왜곡이 보정되지 않은 어안 영상이며, 그 중에서 실제로 영상이 형성된 영역은 영상면(2333)에 대응하는 원형의 영역이다. 카메라 좌표계의 X-축은 보정전 영상면의 왼쪽에서 오른쪽을 향하며, 카메라 좌표계의 Y-축은 보정전 영상면의 상단에서 하단을 향한다. X-축과 Y-축의 중심에 팬?틸트 작용전의 직선수차보정 영상면(2345)이 표시되어 있다. 한편, 디지털 팬?틸트 작용후의 직선수차보정 영상면(2347)은 팬?틸트 작용전의 직선수차보정 영상면(2345)이 각도 γ만큼 정렬 작용을 한 이후에, 각도 α만큼 틸트를 하여 얻어진다.

도 23에서 식별 번호 2341은 동일한 정렬각 또는 팬각(pan angle) γ에 해당하는 보정전 영상면에서의 픽셀들을 표시하는 지시선이며, 식별 번호 2342는 동일한 틸트각 α에 해당하는 보정전 영상면에서의 픽셀들을 표시하는 지시선이다. 한편, 식별 번호 2351 내지 2357은 사용자가 보정후 영상면의 변수들을 변경하기 위한 핸들(handle)을 나타내다. 예를 들어 두 지시선(2341, 2342)의 교점에는 팬?틸트 작용후의 직선수차보정 영상면(2335, 2347)의 팬각 γ 및 틸트각 α를 동시에 변경할 수 있는 핸들(2351)이 존재한다. 즉, 사용자가 마우스 등의 수단을 사용하여 상기 핸들(2351)을 선택하여 보정전 영상면(2334) 상의 다른 위치로 이동하면, 그 변경된 위치에 대응하도록 보정후 영상면에 대응하는 팬각 γ 및 틸트각 α이 변경된다. 한편, 팬각만을 변경하고자 할 때에는 식별 번호 2341의 지시선을 선택하여 원하는 각도로 회전시킬 수 있도록 핸들(2352)이 구비되어 있다. 마찬가지로, 틸트각만을 변경하고자 할 때에는 식별 번호 2342의 지시선을 선택하여 원하는 각도로 회전시킬 수 있도록 핸들(2353)이 구비되어 있다. 또한, 보정후 영상면에 대응하는 시야 범위(field of view)를 변경하기 위한 핸들(2354)과 보정후 영상면의 크기 (I_max, J_max)를 변경하기 위한 핸들(2357)이 구비되어 있다. 또한, 가로 방향으로 슬라이드 작용을 하기 위하여 ㅿJ의 값을 변경할 수 있는 핸들(2355) 및 세로 방향으로 슬라이드 작용을 하기 위하여 ㅿI의 값을 변경할 수 있는 핸들(2356)이 구비되어 있다.

따라서 영상 표시 수단에서 보정후 영상면의 크기나 화각, 팬각과 틸트각, 슬라이드 작용의 크기를 직관적으로 이해할 수 있는 방법으로 변경할 수 있다. 물론, 상기 핸들은 마우스 뿐만 아니라 터치 스크린을 사용하여 변경할 수도 있으며, 별도의 메뉴 버튼으로 구비될 수도 있다. 도 24는 보정전 영상면과 보정후 영상면이 동시에 보여주는 영상 표시 장치의 바람직한 실시예를 보여준다.

이와 같은 특징을 가지는 본 발명의 제 2 실시 예의 영상 시스템은 광축을 중심으로 회전 대칭형인 광각 렌즈를 장착한 카메라를 이용하여 보정전 영상면을 획득하는 영상 획득 수단과 상기 영상 획득 수단에서 획득된 상기 보정전 영상면을 기초로 직선수차보정 투사 방식을 가지는 보정후 영상면을 생성하는 영상 처리 수단 및 상기 보정전 영상면과 상기 보정후 영상면을 표시하는 하나 이상의 영상 표시 수단을 포함한다. 여기서 직선수차보정 투사 방식이란 상기 카메라로 포착되는 직선인 임의의 피사체는 상기 보정후 영상면에서 직선으로 표시되는 투사 방식을 지칭한다.

상기 하나 이상의 영상 표시 수단에 표시되는 상기 보정전 영상면에는 상기 보정후 영상면에 대응하는 하나 이상의 지시선이 중첩되어 있으며, 각각의 지시선에는 상기 보정후 영상면의 변수를 변경할 수 있는 하나 이상의 핸들을 포함한다.

본 발명의 제 2 실시 예에서 상기 지시선은 상기 보정전 영상면의 중심을 지나는 방사 방향의 선분인 제 1 지시선(2341)과, 상기 보정전 영상면의 중심을 중심으로 하는 원인 제 2 지시선(2342)과, 상기 보정전 영상면에서 상기 직선수차보정 영상에 대응하는 영역에 형성된 폐곡면인 제 3 지시선(2343)과, 상기 제 3 지시선의 중심을 지나는 방사 방향의 선분인 제 4 지시선(2344)과, 상기 제 3 지시선의 중심을 지나며 상기 제 4 지시선에 수직한 선분인 제 5 지시선(2345)을 포함한다.

또한, 상기 제 1 지시선(2341)은 상기 직선수차보정 영상에 대응하는 주시 방향의 가로 방향의 팬 각을 조절하는 제 1 핸들(2352)을 구비하며, 상기 제 2 지시선(2342)은 상기 주시 방향의 세로 방향의 틸트 각을 조절하는 제 2 핸들(2353)을 구비하고, 상기 제 3 지시선(2343)은 상기 직선수차보정 영상의 가로 방향의 화각을 조절하는 제 3 핸들(2354)을 구비하며, 상기 제 4 지시선(2344)은 상기 직선수차보정 영상의 가로 방향의 슬라이드 양을 조절하는 제 4 핸들(2355)을 구비하고, 상기 제 5 지시선(2345)은 상기 직선수차보정 영상의 세로 방향의 슬라이드 양을 조절하는 제 5 핸들(2356)을 구비한다. 그외에도 팬각과 틸트각을 동시에 조절할 수 있는 제 6 핸들(2351)과 보정후 영상면의 크기를 조절할 수 있는 제 7 핸들(2357)을 구비한다.

(제 3 실시 예)

본 발명의 제 2 실시 예는 어안 렌즈를 장착한 카메라의 광축이 천저를 바라보는 방향으로 설치된 상태에서 디지털 팬?틸트 효과를 구현할 수 있는 영상 처리 알고리즘을 제공한다. 한편, 본 발명의 제 3 실시 예에서는 어안 렌즈를 장착한 카메라의 광축이 지평면에 평행하게 설치된 상태에서 디지털 팬?틸트 효과를 구현할 수 있는 영상 처리 알고리즘을 제공한다. 따라서, 도 25에 도시한 바와 같이 카메라 좌표계와 세계 좌표계는 일치한다.

도 25에 도시된 세계 좌표계 상에서 디지털 팬?틸트 효과를 구현하는 것은 보정후 영상면에 대응하는 물체면(2531)을 Y-축을 중심으로 각도 β만큼 회전한 후, 수직 방향으로 다시 각도 α만큼 회전시키는 경우에 해당한다. 따라서, Y-축을 중심으로 카메라 좌표계가 각도 -β만큼 회전하여 얻어지는 제 1 회전 좌표계가 X'-축을 중심으로 각도 -α만큼 회전하여 얻어지는 제 2 회전 좌표계에서의 물점 Q"의 직교 좌표는 수학식 60으로 주어지는 행렬식을 계산하여 얻을 수 있다.

수학식 36과 37의 행렬을 사용하여 수학식 60을 계산하면 제 2 회전 좌표계에서의 물점 Q"의 직교 좌표는 카메라 좌표계에서의 물점 Q의 좌표로 수학식 61 내지 63으로 주어진다.

이와 같은 사실을 이용하면 어안 렌즈를 장착한 카메라가 지평면에 평행하게 설치된 상태에서 획득된 왜곡된 어안 영상으로부터 이상적인 팬?틸트 영상을 추출하는 본 발명의 제 3 실시 예의 영상 시스템은 광축을 중심으로 회전 대칭형인 결상용 광각 렌즈를 장착한 카메라를 이용하여 보정전 영상면을 획득하는 영상 획득 수단과 상기 보정전 영상면을 기초로 보정후 영상면을 생성하는 영상 처리 수단 및 상기 보정후 영상면을 표시하는 영상 표시 수단을 포함한다. 상기 보정전 영상면은 K_max 행과 L_max 열을 가지는 이차원 행렬이며, 상기 보정전 영상면에서 광축의 픽셀 좌표는 (K_o, L_o)이며, 상기 렌즈의 실제 투사 방식은 수학식 64와 같은 함수로 주어진다.

여기서 렌즈의 실제 투사 방식이란 상 크기 r을 대응하는 입사광의 천정각 θ의 함수로 구한 것이며, 상기 카메라의 확대율 g는 수학식 65와 같이 주어지되, 여기서 r'은 상 크기 r에 대응하는 보정전 영상면에서의 픽셀 거리이다.

다음으로 사용자의 필요에 따라서 바람직한 물체면의 크기(I_max, J_max)를 정하면, 상기 물체면의 중심 좌표는 수학식 66과 같이 주어진다.

다음으로 사용자의 필요에 따라서 슬라이드 이전의 바람직한 물체면의 가로 방향의 화각 Δψ을 결정한다. 그러면 수학식 67에 의하여 카메라 좌표계의 원점에서 물체면까지의 거리 s"이 정해진다.

다음으로 사용자의 필요에 따라서 바람직한 물체면의 가로 방향의 슬라이드 양 ΔJ와 세로 방향의 슬라이드 양 ΔI를 정한다. 그러면, 물체면 상의 모든 물점 Q_I,J의 삼차원 직교 좌표를 수학식 68 내지 69를 사용하여 구할 수 있다.

그러면, 팬?틸트를 한 이후의 물체면 상의 모든 물점 Q"_I,J의 삼차원 직교 좌표를 수학식 71 내지 73을 사용하여 구할 수 있다.

이와 같이 물체면의 형상을 정한 후에는 물체면 상의 자연수 좌표를 가지는 모든 물점 Q" = Q"(I, J)에 대하여 수학식 74로 주어지는 천정각 및 수학식 75로 주어지는 방위각을 구한다.

다음으로 수학식 76을 사용하여 이미지 센서면 상에서의 상 크기를 구한다.

본 발명의 제 2 실시 예의 영상 처리 방법이 참고 문헌 특6의 제 4 실시 예의 영상 처리 방법과 수학적으로 동일한 것과 마찬가지로, 본 발명의 제 3 실시 예의 영상 처리 방법은 참고 문헌 특6의 제 3 실시 예의 영상 처리 방법과 수학적으로 동등하다. 또한, 본 발명의 제 3 실시 예의 영상 처리 방법의 이점은 본 발명의 제 2 실시 예의 영상 처리 방법의 이점과 같다.

도 26은 참고 문헌 특3에 제시되어 있는 어안 렌즈를 사용하여 포착한 또 다른 어안 영상으로서, 화각 190°인 어안 렌즈를 지평면에 평행하게 설치하였을 때 얻은 영상이다. 한편, 도 27은 도 26의 어안 영상으로부터 추출한 직선수차보정 영상으로서 물체면의 가로 방향의 화각은 60°이며(즉, ㅿψ = 60°), 물체면의 크기는 가로 방향으로 800 픽셀이고 (J_max = 800), 세로 방향으로 600 픽셀이며 (I_max = 600), 슬라이드 작용은 없고, -60°의 정렬 작용(즉, β = -60°)과 -40°의 틸트 작용(즉, α = -40°)을 한 직선수차보정 영상을 보여준다.

도 28은 이와 같은 디지털 팬?틸트 영상 시스템의 바람직한 영상 표시 장치의 한 예를 보여준다. 도 28에 도시된 바와 같이 영상 표시 장치에는 제 1 보정후 영상면(2835A)과 제 2 보정후 영상면(2835B)이 동시에 표시된다. 도 28에 도시된 본 실시예에서 제 1 보정후 영상면(2835A)은 등직교 투사 방식(equi-rectangular projection scheme)을 가지는 전방위 영상이며, 가로 방향의 화각 및 세로 방향의 화각이 모두 180°이다. 따라서, 제 1 보정후 영상면은 반구(hemisphere)에 해당하는 영상을 빠짐없이 보여준다. 한편, 제 2 보정후 영상면(2835B)는 디지털 팬?틸트 작용을 한 직선수차보정 영상이다.

카메라 좌표계의 X-축은 제 1 보정후 영상면에서 왼쪽에서 오른쪽을 향하며, 카메라 좌표계의 Y-축은 제 1 보정후 영상면에서 위에서 아래를 향한다. 디지털 팬?틸트 작용 후의 직선수차보정 영상면(2835B)은 팬?틸트 작용전의 직선수차보정 영상면이 각도 β만큼 팬 작용을 한 이후에, 각도 α만큼 틸트 작용을 하여 얻어진다.

도 28에서 식별 번호 2841은 동일한 틸트각 α에 해당하는 제 1 보정후 영상면에서의 픽셀들을 표시하는 지시선이며, 식별 번호 2843은 동일한 팬각 β에 해당하는 제 1 보정후 영상면에서의 픽셀들을 표시하는 지시선이다. 한편, 식별 번호 2851 내지 2857은 사용자가 제 2 보정후 영상면의 변수들을 변경하기 위한 핸들(handle)을 나타내다. 예를 들어 두 지시선(2841, 2843)의 교점에는 팬?틸트 작용후의 직선수차보정 영상면(2847, 2857)의 팬각 β 및 틸트각 α를 동시에 변경할 수 있는 핸들(2851)이 존재한다. 즉, 사용자가 마우스 등의 수단을 사용하여 상기 핸들(2851)을 선택하여 제 1 보정후 영상면(2835A) 상의 다른 위치로 이동하면, 그 변경된 위치에 대응하도록 제 2 보정후 영상면에 대응하는 팬각 β 및 틸트각 α가 변경된다. 한편, 팬각만을 변경하고자 할 때에는 식별 번호 2843의 지시선을 선택하여 원하는 각도로 회전시킬 수 있도록 핸들(2852)이 구비되어 있다. 마찬가지로, 틸트각만을 변경하고자 할 때에는 식별 번호 2841의 지시선을 선택하여 원하는 각도로 회전시킬 수 있도록 핸들(2853)이 구비되어 있다. 또한, 보정후 영상면에 대응하는 가로 방향의 화각 ㅿψ 을 변경하기 위한 핸들(2854)과 보정후 영상면의 크기 (I_max, J_max)를 변경하기 위한 핸들(2857)이 구비되어 있다. 또한, 가로 방향으로 슬라이드 작용을 하기 위하여 ㅿJ의 값을 변경할 수 있는 핸들(2856) 및 세로 방향으로 슬라이드 작용을 하기 위하여 ㅿI의 값을 변경할 수 있는 핸들(2855)이 구비되어 있다.

따라서 영상 표시 수단에서 보정후 영상면의 크기나 화각, 틸트각과 정렬각, 슬라이드 작용의 크기를 직관적으로 이해할 수 있는 방법으로 변경할 수 있다. 물론, 상기 핸들은 마우스 뿐만 아니라 터치 스크린을 사용하여 변경할 수도 있으며, 별도의 메뉴 버튼으로 구비될 수도 있다. 도 29는 제 1 보정후 영상면(2935A)과 제 2 보정후 영상면(2935B)이 동시에 보여주는 영상 표시 장치의 바람직한 실시예를 보여준다.

한편, 도 30에 예시한 영상 표시 장치는 본 발명의 제 2 실시 예와 마찬가지로 보정전 영상면(3034) 및 보정후 영상면(3035)을 보여주고 있다. 그런데, 이와 같은 보정전 영상면에서는 동일한 정렬각을 갖는 지시선 및 동일한 틸트각을 갖는 지시선이 단순한 기하학적인 형태를 갖지 않는다. 따라서, 이와 같은 경우에는 정렬각 및 틸트각이 모두 보정전 영상면의 중심 좌표를 기준으로 계산되어진다.

한편, 도31은 제 1 보정후 영상면과 제 2 보정후 영상면을 갖는 또 다른 실시예이다. 도 29에서 등직교 투사 방식을 따르는 제 1 보정후 영상면은 육안으로 보기에 자연스럽게 느껴지는 전방위 영상이 아니다. 그런데, 영상 시스템에서 천정 및 천저가 주된 관심 영역이 아니라면 도 31에서와 같이 원통형 투사 방식이나 메카토르 투사 방식을 가지는 전방위 영상면을 제 1 보정후 영상면으로 사용할 수 있다. 이때에는 제 1 보정후 영상면(3135A)과 제 2 보정후 영상면(3135B)이 모두 육안으로 자연스럽게 보인다.

(제 4 실시 예)

보안 카메라는 사람의 손이 닿지않는 높은 장소에 설치하는 것이 대부분이다. 따라서, 실내에 보안 카메라를 설치하여야 할 경우 천정에 가까운 실내 벽에 카메라를 설치하고, 카메라의 광축이 아래로 기울어지도록 설치하는 것이 일반적이다. 도 32는 참고 문헌 특3에 제시되어 있는 어안 렌즈를 사용하여 획득한 또 다른 실내 전경으로서 어안 렌즈의 광축이 지평면에서 바닥(천저)를 향하여 45° 기울어진 상태에서 얻어진 영상이다. 본 발명의 제 4 실시 예는 이와 같은 어안 영상에서 디지털 팬?틸트 효과를 구현하되, 어안 렌즈를 장착한 실제 카메라의 광축 및 보정후 영상면 또는 대등하게 물체면에 대응하는 가상의 직선수차보정 카메라의 광축, 즉 주시 방향이 지평면에 평행하지 않더라도 수직선이 수직선으로 보이는 영상 시스템을 제공한다.

도 33을 참조하면 카메라 좌표계의 Z-축은 세계 좌표계의 Z^*-축에 대하여 기울어져 있다. 그 기울어진 각도 χ는 전술한 바와 같이 본 발명에서 설치각이라고 지칭한다. 세계 좌표계가 X-축을 중심으로 시계 방향으로 설치각 χ만큼 회전하면 카메라 좌표계와 일치하게 된다. 한편, 본 실시예에서 바람직한 직선수차보정 영상은 세계 좌표계에서 각도 β만큼의 팬 작용을 한 이후에 각도 α만큼의 틸트 작용을 하여 얻어지는 물체면에 대응하는 직선수차보정 영상이다.

도 34는 본 발명의 제 4 실시 예에서의 세계 좌표계와 카메라 좌표계 및 바람직한 주시 방향(3402)의 괸계를 보여주는 개념도이다. 카메라 좌표계의 Z-축은 세계 좌표계의 Z^*-축에 대하여 설치각 χ로 기울어져 있으며, 카메라 좌표계의 Z-축과 Y-축 및 세계 좌표계의 Z^*-축과 Y^*-축은 모두 같은 기준면(3404)에 포함된다. 따라서 카메라 좌표계의 Y-축과 세계 좌표계의 Y^*-축 사이의 기울기도 역시 χ이다. 카메라 좌표계를 X-축에 대하여 반시계 방향으로 χ만큼 회전하면 세계 좌표계와 일치하게 된다.

디지털 팬?틸트 작용을 하기 이전의 주시 방향은 카메라의 광축(3401), 즉 Z-축과 일치한다. 카메라가 지평면 이하를 가리키고 있는 경우에 카메라 좌표계가 세계 좌표계와 일치하도록 X-축을 중심으로 각도 -χ만큼 회전한 좌표계를 제 1 회전 좌표계라고 하며, 세 좌표축은 각각 X'-축, Y'-축 및 Z'-축으로 주어진다. 다음으로 이 제 1 회전 좌표계의 Y'-축을 중심으로 각도 -β만큼 회전한 좌표계를 제 2 회전 좌표계라고 하며, 이 제 2 회전 좌표계의 세 축을 각각 X"-축, Y"-축 및 Z"-축이라고 한다. 마지막으로 제 2 회전 좌표계의 X"-축을 중심으로 각도 -α만큼 회전한 좌표계를 제 3 회전 좌표계라고 한다. 전술한 바와 같이 물체면을 회전 시키는 경우와 좌표계를 반대 방향으로 회전시키는 경우는 대등하다.

도 35는 본 발명의 제 4 실시 예의 좌표계 회전을 일목요연하게 보여준다. 바람직하게 제 1 보정후 영상면(3535A)는 등직교 투사 방식의 전방위 영상이 될 수 있으며, 가로축은 세계 좌표계에서의 수평각 ψ^*이며, 세로축은 세계 좌표계에서의 수직각 δ^*이다. 또한 가로 방향의 수평각의 범위는 360°이고, 세로 방향의 수직각의 범위는 180°이다. 어안 렌즈가 장착된 카메라의 광축은 지평선 이하를 가리키므로 설치각 χ은 양의 값을 가진다. 따라서 제 1 보정후 영상면에서 카메라의 광축의 위치, 즉 팬?틸트를 하지않은 가상의 직선수차보정 카메라에 대응하는 물체면의 주시 방향은 Ω이다. 이 물체면을 수직 방향으로, 즉 X-축을 중심으로 각도 χ만큼 회전한 새로운 물체면의 주시 방향은 Ω'이다. 카메라의 설치각이 χ이므로, 새로운 물체면의 주시 방향 Ω'은 세계 좌표계의 Z^*-과 일치한다. 다시 말하면, 회전된 물체면에 대응하는 가상의 직선수차보정 카메라의 광축은 지평면에 평행하다. 이 물체면을 다시 각도 β만큼 팬 작용을 하여 얻어지는 물체면의 주시 방향은 Ω"이며, 이 물체면이 다시 각도 α만큼의 틸트 작용을 하여 얻어지는 물체면의 주시 방향은 Ω"'이다. 도 35에서 틸트각은 양(+)의 값을 갖는 경우이다.

따라서 연속적인 세 번의 좌표계 회전에 의하여 얻어지는 새로운 주시 방향 Ω"'에 대응하는 물체면 상의 물점들의 좌표는 최초의 물체면 상의 물점들의 좌표로 수학식 79와 같이 주어진다.

전술한 오일러 회전의 성질에 의하여 수학식 80의 관계식이 성립한다.

수학식 80의 관계식을 이용하면 수학식 79는 수학식 81로 주어진다.

마찬가지로 오일러 회전의 수학적 성질에 의하여 수학식 82의 관계식이 성립한다.

한편, 도 34를 참조하면 카메라 좌표계의 X-축을 중심으로 각도 α만큼 회전하는 것은 제 1 회전 좌표계의 X'-축을 중심으로 각도 α만큼 회전하는 것과 동등하다. 따라서 수학식 83의 관계식이 성립한다.

수학식 82와 83을 이용하면 수학식 81은 수학식 84와 같이 주어진다.

X-축을 중심으로 세번의 회전을 순차적으로 행하는 작용은 한번에 세 회전각을 합친만큼 회전하는 작용과 동일하다. 따라서, 수학식 85의 관계식이 성립한다.

따라서 수학식 84는 수학식 86과 같이 간결하게 주어진다.

수학식 36과 37의 행렬을 사용하여 수학식 86을 계산하면 제 3 회전 좌표계에서의 물점 Q"'의 좌표는 카메라 좌표계에서의 물점 Q의 좌표로 수학식 87 내지 89로 주어진다.

이와 같은 사실을 이용하면 어안 렌즈를 장착한 카메라가 지평면에 기울게 설치된 상태에서 획득된 왜곡된 어안 영상으로부터 이상적인 팬?틸트 영상을 추출하는 본 발명의 제 4 실시 예의 영상 시스템은 광축을 중심으로 회전 대칭형인 결상용 광각 렌즈를 장착한 카메라를 이용하여 보정전 영상면을 획득하는 영상 획득 수단과 상기 보정전 영상면을 기초로 보정후 영상면을 생성하는 영상 처리 수단 및 상기 보정후 영상면을 표시하는 영상 표시 수단을 포함한다. 상기 보정전 영상면은 K_max 행과 L_max 열을 가지는 이차원 행렬이며, 상기 보정전 영상면에서 광축의 픽셀 좌표는 (K_o, L_o)이며, 상기 렌즈의 실제 투사 방식은 수학식 90과 같은 함수로 주어진다.

여기서 렌즈의 실제 투사 방식이란 상 크기 r을 대응하는 입사광의 천정각 θ의 함수로 구한 것이며, 상기 카메라의 확대율 g는 수학식 91과 같이 주어지되, 여기서 r'은 상 크기 r에 대응하는 보정전 영상면에서의 픽셀 거리이다.

다음으로 사용자의 필요에 따라서 바람직한 물체면의 크기(I_max, J_max)를 정하면, 상기 물체면의 중심 좌표는 수학식 92와 같이 주어진다.

다음으로 사용자의 필요에 따라서 슬라이드 이전의 바람직한 물체면의 가로 방향의 화각 Δψ을 결정한다. 그러면 수학식 93에 의하여 카메라 좌표계의 원점에서 물체면까지의 거리 s"이 정해진다.

다음으로 사용자의 필요에 따라서 바람직한 물체면의 가로 방향의 슬라이드 양 ΔJ와 세로 방향의 슬라이드 양 ΔI를 정한다. 그러면, 물체면 상의 모든 물점 Q_I,J의 삼차원 직교 좌표를 수학식 94 내지 95를 사용하여 구할 수 있다.

그러면, 팬?틸트를 한 이후의 물체면 상의 모든 물점 Q"_I,J의 삼차원 직교 좌표를 수학식 97 내지 99를 사용하여 구할 수 있다.

이와 같이 물체면의 형상을 정한 후에는 물체면 상의 자연수 좌표를 가지는 모든 물점 Q"' = Q"'(I, J)에 대하여 수학식 100으로 주어지는 천정각 및 수학식 101로 주어지는 방위각을 구한다.

다음으로 수학식 102를 사용하여 이미지 센서면 상에서의 상 크기를 구한다.

도 36은 도 32 어안 영상으로부터 추출한 직선수차보정 영상으로서 보정후 영상면의 가로 방향의 화각은 60°이며(즉, ㅿψ = 60°), 보정후 영상면의 크기는 가로 방향으로 800 픽셀이고 (J_max = 800), 세로 방향으로 600 픽셀이며 (I_max = 600), 슬라이드 작용은 없고, 50°의 정렬 작용(즉, β = 50°)과 -30°의 틸트 작용(즉, α = -30°)을 한 직선수차보정 영상을 보여준다. 물론, 정렬 작용과 틸트 작용을 하기 이전에 X-축을 중심으로 물체면을 +45°회전시키는 작용이 선행되었음은 물론이다. 즉, χ = 45°, β = 50° 및 α = -30°의 회전을 순차적으로 수행한 것이다.

도 37은 이와 같은 디지털 팬?틸트 영상 시스템의 바람직한 영상 표시 장치의 한 예를 보여준다. 도 37에 도시된 바와 같이 영상 표시 장치에는 제 1 보정후 영상면(3375A)과 제 2 보정후 영상면(3375B)이 동시에 표시된다. 도 37에 도시된 본 실시예에서 제 1 보정후 영상면(3735A)은 메카트로 투사 방식을 따르는 전방위 영상이며, 가로 방향의 화각은 190°이다. 한편, 제 2 보정후 영상면(3735B)는 디지털 팬?틸트 작용을 한 직선수차보정 영상이다.

도 38은 참고 문헌 특3의 어안 렌즈를 사용하여 획득한 또 다른 실내 전경으로서 어안 렌즈의 광축이 지평면에서 천정을 향하여 45° 기울어진 상태에서 얻어진 영상이다. 한편, 도 39는 도 38의 어안 영상으로부터 추출한 직선수차보정 영상으로서 보정후 영상면의 가로 방향의 화각은 60°이며(즉, ㅿψ = 60°), 보정후 영상면의 크기는 가로 방향으로 800 픽셀이고 (J_max = 800), 세로 방향으로 600 픽셀이며 (I_max = 600), 슬라이드 작용은 없고, 40°의 정렬 작용(즉, β = 40°)과 30°의 틸트 작용(즉, α = 30°)을 한 직선수차보정 영상을 보여준다.

(제 5 실시 예)

본 발명의 제 4 실시예에서는 카메라의 광축이 지평면에 평행하지 않게 설치된 상태에서 임의의 방향의 직선수차보정 영상을 얻기 위하여 세 번의 좌표계 회전을 수반하는 영상처리 방법이 제시되었다. 이 때 가상의 물체면을 수평 방향으로 회전시키기 위하여 먼저 가상의 직선수차보정 카메라의 광축이 지평면에 평행하게 되도록 틸트 작용을 한 이후에, 필요한 각도만큼 팬 작용을 하고, 최종적으로 가상의 직선수차보정 카메라의 광축의 방향이 바람직한 주시 방향 Ω"'과 일치하도록 다시 한번 틸트 작용을 수행하였다.

도 35에 도시한 바와 같이 본 발명의 제 4 실시예에서는 가상의 직선수차보정 카메라에 팬 작용을 할 때 지평면에서 회전을 하도록 하여, 세계 좌표계 상에서의 수직선이 보정후 영상면에서 항상 수직선으로 포착되도록 할 수 있었다. 그런데, 이와 같은 목적을 달성하기 위하여 가상의 직선수차보정 카메라를 지평면 상에서만 팬 작용을 하여야 하는 것은 아니며, 본 발명의 제 1 실시 예에서와 마찬가지로 천정이나 천저의 극점(pole)에서 정렬 작용을 하도록 할 수도 있다. 도 40은 이와 같은 작용을 이해하기 위한 개념도이다.

도 34와 도 40을 참조하면 카메라의 설치각은 본 발명의 제 4 실시 예에서와 마찬가지로 χ라고 가정하며, 디지털 팬?틸트 작용을 하기 이전의 주시 방향 Ω은 카메라의 광축, 즉 Z-축과 일치한다. 이 때 가상의 직선수차보정 카메라의 광축을 χ만큼 틸트를 하여 광축이 지평면과 평행하도록 하는 대신에, χ-90°만큼 틸트를 하여 카메라의 광축이 천저와 일치되도록 하며, 이때 가상의 직선수차보정 카메라의 방향은 Ω'이 된다.

전술한 바와 같이 물체면을 회전시키는 경우와 좌표계를 반대 방향으로 회전시키는 경우는 대등하다. 이와 같이 카메라 좌표계를 X-축을 중심으로 각도 -χ+90°만큼 회전한 좌표계를 제 1 회전 좌표계라고 하며, 제 1 회전 좌표계의 세 좌표축은 각각 X'-축, Y'-축 및 Z'-축으로 주어진다. 제 1 회전 좌표계의 Z'-축은 세계 좌표계의 Y^*-축과 일치하며, 제 1 회전 좌표계의 Y'-축은 세계 좌표계의 음(-)의 Z^*-축과 일치하고, 제 1 회전 좌표계의 X'-축은 세계 좌표계의 X^*-축과 일치한다.

다음으로 이 물체면을 다시 β만큼 정렬 작용을 하면 가상의 직선수차보정 카메라의 방향은 Ω"이 된다. 좌표계의 회전의 관점에서는 이 제 1 회전 좌표계의 Z'-축을 중심으로 각도 -β만큼 회전한 좌표계를 제 2 회전 좌표계라고 하며, 이 제 2 회전 좌표계의 세 축을 각각 X"-축, Y"-축 및 Z"-축이라고 한다. 마지막으로 물체면을 α+90°만큼 틸트 작용을 하여 얻어지는 직선수차보정 카메라의 광축의 방향 Ω"'은 본 발명의 제 4 실시 예에서와 동일하게 되며, 제 2 회전 좌표계의 X"-축을 중심으로 각도 -α-90°만큼 회전한 좌표계를 제 3 회전 좌표계라고 한다.

도 40에 도시된 연속적인 세 번의 좌표계 회전에 의하여 얻어지는 새로운 주시 방향 Ω"'에 대응하는 물체면 상의 물점들의 좌표는 최초의 물체면 상의 물점들의 좌표로 수학식 105와 같이 주어진다.

계산상의 편의를 위하여 A≡α+90° 및 B≡χ-90°와 같이 변수를 정의하면 수학식 105는 수학식 106과 같이 주어진다.

그런데, 전술한 오일러 회전의 성질에 의하여 수학식 107의 관계식이 성립한다.

수학식 107의 관계식을 이용하면 수학식 106은 수학식 108로 주어진다.

마찬가지로 오일러 회전의 수학적 성질에 의하여 수학식 109의 관계식이 성립한다.

한편, 도 34를 참조하면 카메라 좌표계의 X-축을 중심으로 각도 A만큼 회전하는 것은 제 1 회전 좌표계의 X'-축을 중심으로 각도 A만큼 회전하는 것과 동등하다. 따라서 수학식 110의 관계식이 성립한다.

수학식 109와 110을 이용하면 수학식 108은 수학식 111과 같이 주어진다.

수학식 111의 세 행렬은 수학식 36 내지 38로부터 수학식 112 내지 114와 같이 주어진다.

수학식 112 내지 114의 행렬을 사용하여 수학식 111을 계산하면 제 3 회전 좌표계에서의 물점 Q"'의 좌표는 카메라 좌표계에서의 물점 Q의 좌표로 수학식 115 내지 117로 주어진다.

수학식 115 내지 117을 수학식 87 내지 89와 비교하면 완전히 동일한 것을 알 수 있다. 따라서, 본 발명의 제 4 실시 예의 결과는 대등한 여러 방법으로도 얻어질 수 있음을 알 수 있다.

(제 6 실시 예)

항공기의 경우에 이륙을 하거나 착륙을 할 때, 또는 선회를 할 때 등에는 동체가 좌?우로 기울뿐만 아니라 앞?뒤로도 기울게 된다. 도 41 및 42는 이와 같은 응용예를 예시하고 있다. 영상 시스템은 항공기의 동체에 평행하게 설치되어 있다고 가정한다. 본 실시예에서의 세계 좌표계는 영상 시스템의 마디점 N을 원점으로 하고 지평면에 수직한 수직선을 Y^*-축으로 하며, 항공기가 수평을 유지하고 있을 때에 항공기가 향하는 방향이 Z^*-축 방향이다. 전술한 바와 같이 Y^*-축의 방향은 천정에서 천저를 향하는 방향이 양(+)의 방향이다. 이 세계 좌표계는 카메라에 고정된 카메라 좌표계가 회전하여 생성되는 제 1 회전 좌표계가 다시 회전하여 생성되는 제 2 회전 좌표계와 일치한다.

제 2 회전 좌표계는 제 1 회전 좌표계를 제 1 회전 좌표계의 X'-축을 중심으로 각도 χ만큼 회전하여 얻어진다. 따라서 제 1 회전 좌표계의 Z'-축은 세계 좌표계의 Z^*-축, 또는 대등하게 제 2 회전 좌표계의 Z"-축에 대하여 각도 χ만큼 기울어져 있다. 도 41을 참조하면, 제 1 회전 좌표계의 Y'-축과 Z'-축 및 세계 좌표계의 Y^*-축과 Z^*-축은 모두 기준면에 포함된다. 전술한 바와 같이 기준면(reference plane)은 광축(optical axis)과 수직선(vertical line)을 포함하는 평면이다.

한편, 도 42를 참조하면 제 1 회전 좌표계는 카메라 좌표계를 카메라 좌표계의 Z-축을 중심으로 각도 κ만큼 회전하여 얻어진다. 따라서 제 1 회전 좌표계의 X'-축은 카메라 좌표계의 X-축에 대하여 각도 κ만큼 기울어져 있으며, 마찬가지로 제 1 회전 좌표계의 Y'-축은 카메라 좌표계의 Y-축에 대하여 각도 κ만큼 기울어져 있다. 도 41에서 제 1 회전 좌표계의 X'-축은 지평면에 평행하다. 그러나 제 1 회전 좌표계의 Y'-축은 수직선과 일치하지 않음에 유의하여야 한다. 즉, 제 2 회전 좌표계의 Y"-축이 지평면에 수직하며, 제 1 회전 좌표계의 Y'-축은 기준면에 포함되지만, 수직선과 일치하지는 않는다.

도 43은 본 발명의 제 6 실시 예에서의 카메라에 장착된 이미지 센서면(4313)과 제 1 회전 좌표계와의 관계를 보여주는 개념도이다. 전술한 바와 같이 카메라 좌표계의 X-축과 Y-축은 카메라의 광축과 이미지 센서면(4313)의 교점 Ｏ를 지난다. 또한, 카메라 좌표계의 X-축은 이미지 센서면(4313)의 가로 방향의 변(4313T, 4313B)에 평행하며, 카메라 좌표계의 Y-축은 이미지 센서면(4313)의 세로 방향의 변(4313L, 4313R)에 평행하다. 따라서, 이미지 센서면의 세로 방향의 변(4313L)은 제 1 회전 좌표계의 Y'-축에 대하여 각도 κ로 기울어져 있으며, 지평면에 평행하지도 않고 수직하지도 않다.

도 44는 본 발명의 제 6 실시 예에서의 카메라 좌표계와 세계 좌표계의 관계를 보여주는 개념도이다. 전술한 바와 같이 제 1 회전 좌표계의 Z-축은 세계 좌표계의 Z^*-축에 대하여 각도 χ를 가지고 있으며, 제 1 회전 좌표계의 Z'-축과 세계 좌표계의 Z^*-축 및 Y^*-축은 기준면에 포함된다. 한편, 카메라 좌표계의 Z-축과 제 1 회전 좌표계의 Z'-축은 일치한다. 따라서, 카메라 좌표계의 Z-축도 역시 기준면에 포함된다. 한편, 카메라 좌표계의 X-축과 Y-축은 제 1 회전 좌표계의 X'-축 및 Y'-축과 각각 각도 κ를 이룬다.

본 발명의 제 6 실시 예에서는 항공기의 동체 방향과 평행하게 영상 시스템이 설치되었는데, 항공기의 지평면에 대한 기울기와 상관없이 수직선이 항상 수직선으로 보이는 디지털 팬?틸트 영상을 얻고자 한다. 이와 같은 상황은 항공기가 이륙이나 착륙, 혹은 선회를 할 때에 유용할 것이다. 또한, 오토바이나 선박, 혹은 험한 산악 지형에서 운전되는 전차 등에서도 동일한 수요가 있을 수 있으며, 또한 요격 미사일과 같은 군사적인 목적으로도 사용될 수 있다.

도 44를 참조하면 카메라 좌표계를 카메라 좌표계의 Z-축을 중심으로 각도 κ만큼 회전한 좌표계가 제 1 회전 좌표계이다. 카메라 좌표계의 세 축은 X-축과 Y-축 및 Z-축으로 주어지며, 제1 회전 좌표계의 세 축은 X'-축과 Y'-축 및 Z'-축으로 주어진다. 제 1 회전 좌표계의 X'-축은 지평면에 평행하다. 한편, 제 1 회전 좌표계를 제 1 회전 좌표계의 X'-축을 중심으로 각도 χ만큼 회전하면 제 2 회전 좌표계가 된다. 제 2 회전 좌표계의 세 축은 X"-축과 Y"-축과 Z"-축으로 주어진다. 제 2 회전 좌표계는 세계 좌표계와 일치한다. 세계 좌표계의 세 축은 X^*-축과 Y^*-축과 Z^*-축으로 주어진다. 세계 좌표계의 Y^*-축은 지평면에 수직하며, X^*-축과 Z^*-축은 지평면에 평행하다.

한편, 바람직한 물체면의 주시 방향은 도 44에서 Ω""으로 표시되어 있으며, 제 2 회전 좌표계에서 다시 Y"-축을 중심으로 각도 β만큼 회전하여 얻어지는 제 3 회전 좌표계를 다시 제 3 회전 좌표계의 X"'-축을 중심으로 각도 α만큼 회전하여 얻어진다. 도 44를 참조하면 상기 물체면 상의 한 점의 제 4 회전 좌표계에서의 좌표는 수학식 118과 같이 주어진다.

전술한 오일러 회전의 성질에 의하여 수학식 119의 관계식이 성립한다.

수학식 119의 관계식을 이용하면 수학식 118은 수학식 120으로 주어진다.

마찬가지로 오일러 회전의 수학적 성질에 의하여 수학식 121 및 122의 관계식이 성립한다.

수학식 121 및 122의 관계식을 이용하면 수학식 120은 수학식 123으로 주어진다.

마찬가지로 오일러 회전의 수학적 성질에 의하여 수학식 124 내지 126의 관계식이 성립한다.

수학식 124 내지 126을 이용하면 수학식 123은 수학식 127과 같이 주어진다.

수학식 36 내지 38의 행렬을 사용하여 수학식 127을 계산하면 제 4 회전 좌표계에서의 물점 Q""의 좌표는 카메라 좌표계에서의 물점 Q의 좌표로 수학식 128 내지 130으로 주어진다.

이와 같은 사실을 이용하면 어안 렌즈를 장착한 카메라가 지평면에 기울게 설치된 상태에서 획득된 왜곡된 어안 영상으로부터 이상적인 팬?틸트 영상을 추출하는 본 발명의 제 6 실시 예의 영상 시스템은 광축을 중심으로 회전 대칭형인 결상용 광각 렌즈를 장착한 카메라를 이용하여 보정전 영상면을 획득하는 영상 획득 수단과 상기 보정전 영상면을 기초로 보정후 영상면을 생성하는 영상 처리 수단 및 상기 보정후 영상면을 표시하는 영상 표시 수단을 포함한다. 상기 보정전 영상면은 K_max 행과 L_max 열을 가지는 이차원 행렬이며, 상기 보정전 영상면에서 광축의 픽셀 좌표는 (K_o, L_o)이며, 상기 렌즈의 실제 투사 방식은 수학식 131과 같은 함수로 주어진다.

여기서 렌즈의 실제 투사 방식이란 상 크기 r을 대응하는 입사광의 천정각 θ의 함수로 구한 것이며, 상기 카메라의 확대율 g는 수학식 132와 같이 주어지되, 여기서 r'은 상 크기 r에 대응하는 보정전 영상면에서의 픽셀 거리이다.

다음으로 사용자의 필요에 따라서 바람직한 물체면의 크기(I_max, J_max)를 정하면, 상기 물체면의 중심 좌표는 수학식 133과 같이 주어진다.

다음으로 사용자의 필요에 따라서 슬라이드 이전의 바람직한 물체면의 가로 방향의 화각 Δψ을 결정한다. 그러면 수학식 134에 의하여 카메라 좌표계의 원점에서 물체면까지의 거리 s"이 정해진다.

다음으로 사용자의 필요에 따라서 바람직한 물체면의 가로 방향의 슬라이드 양 ΔJ와 세로 방향의 슬라이드 양 ΔI를 정한다. 그러면, 물체면 상의 모든 물점 Q_I,J의 삼차원 직교 좌표를 수학식 135 내지 137을 사용하여 구할 수 있다.

그러면, 팬?틸트를 한 이후의 물체면 상의 모든 물점 Q""_I,J의 삼차원 직교 좌표를 수학식 138 내지 140을 사용하여 구할 수 있다.

이와 같이 물체면의 형상을 정한 후에는 물체면 상의 자연수 좌표를 가지는 모든 물점 Q"" = Q""(I, J)에 대하여 수학식 141로 주어지는 천정각 및 수학식 142로 주어지는 방위각을 구한다.

다음으로 수학식 143을 사용하여 이미지 센서면 상에서의 상 크기를 구한다.

도 45는 참고 문헌 특3에 제시되어 있는 어안 렌즈를 사용하여 포착한 또 다른 어안 영상으로서 카메라의 광축이 지평면과 이루는 각도 χ는 30°이며, 이미지 센서면의 가로 방향의 변이 지평면과 이루는 각도 κ는 45°이다. 한편, 도 46 내지 51은 도 45의 어안 영상으로부터 추출한 직선수차보정 영상으로서 물체면의 가로 방향의 화각은 60°이며(즉, ㅿψ = 60°), 보정후 영상면의 크기는 가로 방향으로 800 픽셀이고 (J_max = 800), 세로 방향으로 600 픽셀이며 (I_max = 600), 각각의 직선수차보정 영상에 적용된 변수들은 표 2에 정리되어 있다.

	κ	χ	β	α	ΔI	ΔJ
도 46	0°	0°	0°	0°	0	0
도 47	-45°	0°	0°	0°	0	0
도 48	-45°	30°	0°	0°	0	0
도 49	-45°	30°	50°	0°	0	0
도 50	-45°	30°	50°	-90°	0	0
도 51	-45°	30°	50°	90°	300	100

표 2와 도 46 내지 도 51을 비교하면 각각의 회전각의 효과를 명확하게 알 수 있으며, 슬라이드 양을 조절하면 주시 방향을 변경하지 않으면서도 포착되는 영역을 변경할 수 있음을 알 수 있다.

본 발명의 제 6 실시 예는 직선수차보정 영상을 획득할 수 있는 가장 일반적인 방법으로서, 본 발명의 제 1 내지 제 5 실시 예를 모두 포함하며, 광축을 중심으로 회전 대칭형인 광각 렌즈를 장착한 카메라를 이용하여 보정전 영상면을 획득하는 영상 획득 단계 및 상기 영상 획득 단계에서 획득된 상기 보정전 영상면을 기초로 보정후 영상면을 획득하는 영상 처리 단계를 포함한다.

이 직선수차보정 영상 획득 방법은 총 7 단계로 구성된다.

제 1 단계는 I_max 행과 J_max 열의 이차원 행렬의 형태로 주어지는 물점들을 가지는 직사각형 모양의 물체면을 생성하는 단계이며, 여기서 제 1 단계에서 생성된 물체면의 주시 방향은 상기 광축과 일치하고, 상기 물체면의 가로 방향의 변은 카메라 내부의 이미지 센서면의 가로 방향의 변에 평행하다.

제 2 단계는 제 1 단계에서 생성된 물체면에서 광각 렌즈의 마디점까지의 거리 s" 및 상기 주시 방향과 상기 물체면의 교점 Ω의 위치를 조절하여 상기 물체면에 대응하는 직선수차보정 영상의 시야 범위를 조정하는 단계이다.

제 3 단계는 제 2 단계에서 얻어진 물체면의 가로 방향의 변이 지평면에 평행하도록 광축을 중심으로 상기 물체면을 회전시키는 단계이며, 제 4 단계는 제 3 단계에서 얻어진 물체면의 주시 방향이 지평면이나 수직선에 평행하도록 물체면을 수직 방향으로 회전시키는 단계이고, 제 5 단계는 제 4 단계에서 얻어진 물체면을 수직선을 중심으로 바람직한 팬각 만큼 회전시키는 단계이며, 제 6 단계는 제 5 단계에서 얻어진 물체면을 수직방향으로 바람직한 틸트각 만큼 회전시키는 단계이다.

제 7 단계는 상기 광각 렌즈의 실제 투사 방식을 고려하여 제 6 단계에서 얻어진 물체면에 대응하는 직선수차보정 영상을 상기 보정전 영상면으로부터 생성하는 단계이다.

본 발명의 제 1 내지 제 5 실시 예는 본 발명의 제 6 실시 예의 제 2 단계 내지 제 6 단계 중 하나 이상의 단계가 생략된 실시 예이며, 하나 이상의 단계가 생략된 이유는 이미 필요한 조건을 만족하고 있기 때문에 해당 단계가 필요없기 때문이다. 다시 말하면 해당 단계는 회전각이 0°가 되어버리므로 굳이 실행을 할 필요가 없는 단계가 된다. 따라서, 본 발명의 제 1 내지 제 5 실시 예는 본 발명의 제 6 실시 예의 특수 예에 해당한다는 것을 알 수 있다.

이와 같은 영상 시스템은 실내?외의 보안?감시 뿐만 아니라 로봇의 시각 센서 등으로 다양하게 활용될 수 있다.

101, 301: 광축
112: 광각 렌즈
114: 카메라 몸체
133: 영상면
105: 입사광
313: 이미지 센서면
313L, 313R: 이미지 센서면의 세로 방향의 변
313T, 313B: 이미지 센서면의 가로 방향의 변
431: 물체면
433: 보정후 영상면

Claims

광축을 중심으로 회전 대칭형인 광각 렌즈를 장착한 카메라를 이용하여 보정전 영상면을 획득하는 영상 획득 단계 및
상기 영상 획득 단계에서 획득된 상기 보정전 영상면을 기초로 보정후 영상면을 획득하는 영상 처리 단계를 포함하는 직선수차보정 영상 획득 방법에 있어서,
I_max 행과 J_max 열의 이차원 행렬의 형태로 주어지는 물점들을 가지는 직사각형 모양의 물체면을 생성하는 제 1 단계;
여기서 제 1 단계에서 생성된 물체면의 주시 방향은 상기 광축과 일치하고, 상기 물체면의 가로 방향의 변은 카메라 내부의 이미지 센서면의 가로 방향의 변에 평행하며,
제 1 단계에서 생성된 물체면에서 광각 렌즈의 마디점까지의 거리 s" 및 상기 주시 방향과 상기 물체면의 교점 Ω의 위치를 조절하여 상기 물체면에 대응하는 직선수차보정 영상의 시야 범위를 조정하는 제 2 단계,
제 2 단계에서 얻어진 물체면의 가로 방향의 변이 지평면에 평행하도록 광축을 중심으로 상기 물체면을 회전시키는 제 3 단계,
제 3 단계에서 얻어진 물체면의 주시 방향이 지평면이나 수직선에 평행하도록 물체면을 수직 방향으로 회전시키는 제 4 단계,
제 4 단계에서 얻어진 물체면을 수직선을 중심으로 바람직한 팬각 만큼 회전시키는 제 5 단계,
제 5 단계에서 얻어진 물체면을 수직방향으로 바람직한 틸트각 만큼 회전시키는 제 6 단계,
상기 광각 렌즈의 실제 투사 방식을 고려하여 제 6 단계에서 얻어진 물체면에 대응하는 직선수차보정 영상을 상기 보정전 영상면으로부터 생성하는 제 7 단계로 구성되는 것을 특징으로 하는 직선수차보정 영상 획득 방법.
광축을 중심으로 회전 대칭형인 광각 렌즈를 장착한 카메라를 이용하여 보정전 영상면을 획득하는 영상 획득 단계 및
상기 영상 획득 단계에서 획득된 상기 보정전 영상면을 기초로 보정후 영상면을 획득하는 영상 처리 단계를 포함하는 직선수차보정 영상 획득 방법에 있어서,
상기 영상 획득 단계에서 획득된 보정전 영상면은 K_max 행과 L_max 열을 가지는 이차원 행렬이며, 상기 영상 처리 단계에서 처리된 상기 보정후 영상면은 I_max 행과 J_max 열을 가지는 이차원 행렬이며,
상기 보정전 영상면에서 광축의 픽셀 좌표는 (K_o, L_o)이며,
상기 보정후 영상면에서 픽셀 좌표 (I, J)를 가지는 픽셀의 신호값은 상기 보정전 영상면에서 좌표
를 가지는 가상의 픽셀의 신호값으로 정해지되,
상기 가상의 픽셀의 좌표
는 이하의 수학식

으로 정해지며,
여기서 Δψ는 180°보다 작은 임의의 각도이며, α 및 γ는 임의의 각도이고, ΔI와 ΔJ는 임의의 픽셀 거리이며,
상기 렌즈의 실제 투사 방식은 상 크기 r을 대응하는 입사광의 천정각 θ의 함수로 구한 것으로
와 같이 주어지고,
상기 카메라의 확대율 g는
와 같이 주어지되,
여기서 r'은 상 크기 r에 대응하는 보정전 영상면에서의 픽셀 거리인 것을 특징으로 하는 직선수차보정 영상 획득 방법.
제 2항에 있어서,
상기 광축은 지평면에 수직한 것을 특징으로 하는 직선수차보정 영상 획득 방법.
광축을 중심으로 회전 대칭형인 광각 렌즈를 장착한 카메라를 이용하여 보정전 영상면을 획득하는 영상 획득 단계 및
상기 영상 획득 단계에서 획득된 상기 보정전 영상면을 기초로 보정후 영상면을 획득하는 영상 처리 단계를 포함하는 직선수차보정 영상 획득 방법에 있어서,
상기 영상 획득 단계에서 획득된 보정전 영상면은 K_max 행과 L_max 열을 가지는 이차원 행렬이며, 상기 영상 처리 단계에서 처리된 상기 보정후 영상면은 I_max 행과 J_max 열을 가지는 이차원 행렬이며,
상기 보정전 영상면에서 광축의 픽셀 좌표는 (K_o, L_o)이며,
상기 보정후 영상면에서 픽셀 좌표 (I, J)를 가지는 픽셀의 신호값은 상기 보정전 영상면에서 좌표
를 가지는 가상의 픽셀의 신호값으로 정해지되,
상기 가상의 픽셀의 좌표
는 이하의 수학식

으로 정해지며,
여기서 Δψ는 180°보다 작은 임의의 각도이며, α 및 β는 임의의 각도이고, ΔI와 ΔJ는 임의의 픽셀 거리이며,
상기 렌즈의 실제 투사 방식은 상 크기 r을 대응하는 입사광의 천정각 θ의 함수로 구한 것으로
와 같이 주어지고,
상기 카메라의 확대율 g는
와 같이 주어지되,
여기서 r'은 상 크기 r에 대응하는 보정전 영상면에서의 픽셀 거리인 것을 특징으로 하는 직선수차보정 영상 획득 방법.
제 4항에 있어서,
상기 광축 및 상기 카메라의 이미지 센서의 센서면의 가로 방향의 변은 지평면에 평행한 것을 특징으로 하는 직선수차보정 영상 획득 방법.
광축을 중심으로 회전 대칭형인 광각 렌즈를 장착한 카메라를 이용하여 보정전 영상면을 획득하는 영상 획득 단계 및
상기 영상 획득 단계에서 획득된 상기 보정전 영상면을 기초로 보정후 영상면을 획득하는 영상 처리 단계를 포함하는 직선수차보정 영상 획득 방법에 있어서,
상기 영상 획득 단계에서 획득된 보정전 영상면은 K_max 행과 L_max 열을 가지는 이차원 행렬이며, 상기 영상 처리 단계에서 처리된 상기 보정후 영상면은 I_max 행과 J_max 열을 가지는 이차원 행렬이며,
상기 보정전 영상면에서 광축의 픽셀 좌표는 (K_o, L_o)이며,
상기 보정후 영상면에서 픽셀 좌표 (I, J)를 가지는 픽셀의 신호값은 상기 보정전 영상면에서 좌표
를 가지는 가상의 픽셀의 신호값으로 정해지되,
상기 가상의 픽셀의 좌표
는 이하의 수학식

으로 정해지며,
여기서 Δψ는 180°보다 작은 임의의 각도이며, α와 β 및 χ는 임의의 각도이고, ΔI와 ΔJ는 임의의 픽셀 거리이며,
상기 렌즈의 실제 투사 방식은 상 크기 r을 대응하는 입사광의 천정각 θ의 함수로 구한 것으로
와 같이 주어지고,
상기 카메라의 확대율 g는
와 같이 주어지되,
여기서 r'은 상 크기 r에 대응하는 보정전 영상면에서의 픽셀 거리인 것을 특징으로 하는 직선수차보정 영상 획득 방법.
제 6항에 있어서,
상기 광축이 지평면과 이루는 각도는 χ이며,
상기 카메라의 이미지 센서의 센서면의 가로 방향의 변은 지평면에 평행한 것을 특징으로 하는 직선수차보정 영상 획득 방법.
광축을 중심으로 회전 대칭형인 광각 렌즈를 장착한 카메라를 이용하여 보정전 영상면을 획득하는 영상 획득 단계 및
상기 영상 획득 단계에서 획득된 상기 보정전 영상면을 기초로 보정후 영상면을 획득하는 영상 처리 단계를 포함하는 직선수차보정 영상 획득 방법에 있어서,
상기 영상 획득 단계에서 획득된 보정전 영상면은 K_max 행과 L_max 열을 가지는 이차원 행렬이며, 상기 영상 처리 단계에서 처리된 상기 보정후 영상면은 I_max 행과 J_max 열을 가지는 이차원 행렬이며,
상기 보정전 영상면에서 광축의 픽셀 좌표는 (K_o, L_o)이며,
상기 보정후 영상면에서 픽셀 좌표 (I, J)를 가지는 픽셀의 신호값은 상기 보정전 영상면에서 좌표
를 가지는 가상의 픽셀의 신호값으로 정해지되,
상기 가상의 픽셀의 좌표
는 이하의 수학식

으로 정해지며,
여기서 Δψ는 180°보다 작은 임의의 각도이며, α와 β와 χ 및 κ는 임의의 각도이고, ΔI와 ΔJ는 임의의 픽셀 거리이며,
상기 렌즈의 실제 투사 방식은 상 크기 r을 대응하는 입사광의 천정각 θ의 함수로 구한 것으로
와 같이 주어지고,
상기 카메라의 확대율 g는
와 같이 주어지되,
여기서 r'은 상 크기 r에 대응하는 보정전 영상면에서의 픽셀 거리인 것을 특징으로 하는 직선수차보정 영상 획득 방법.
제 8항에 있어서,
상기 광축이 지평면과 이루는 각도는 χ이며,
상기 카메라의 이미지 센서의 센서면의 가로 방향의 변이 지평면과 이루는 각도는 κ인 것을 특징으로 하는 직선수차보정 영상 획득 방법.
광축을 중심으로 회전 대칭형인 광각 렌즈를 장착한 카메라를 이용하여 보정전 영상면을 획득하는 영상 획득 수단;
상기 영상 획득 수단에서 획득된 상기 보정전 영상면을 기초로 보정후 영상면을 생성하는 영상 처리 수단 및
직사각형 모양의 화면에 상기 영상 처리 수단에서 처리된 상기 보정후 영상면을 표시하는 영상 표시 수단을 포함하는 영상 시스템에 있어서,
상기 광각 렌즈의 마디점을 원점으로 하고, 상기 원점을 지나는 수직선을 Y^*-축으로 하되 상기 원점에서 천저를 향하는 방향이 양의 Y^*-축 방향이며, 상기 Y^*-축과 상기 광축을 포함하는 기준면이 지평면과 만나는 교선을 Z^*-축으로 하되, 원점에서 물체쪽을 향하는 방향을 양의 Z^*-축 방향으로 하는 세계 좌표계 상의 좌표 (X^*, Y^*, Z^*)를 가지는 물점에 대응하는 상기 보정후 영상면 상의 상점의 좌표를 (x", y")이고,
광축 방향의 수평각이 0이고 수직각이 χ이며,
상기 카메라의 이미지 센서면의 가로 방향의 변이 지평면과 이루는 각도는 κ이며,
보정후 영상면의 주시 방향의 수평각이 β이고, 수직각이 α일 때,
세계 좌표계 상의 임의의 직선은 상기 화면 상에서 직선으로 표시되며,
상기 임의의 직선 중 수평각이 β인 수직선은 상기 화면 상에서 y"-축에 평행한 직선으로 표시되고,
상기 임의의 직선 중 수직각이 κ인 수평선은 상가 화면 상에서 x"-축에 평행한 직선으로 표시되는 것을 특징으로 하는 영상 시스템.
광축을 중심으로 회전 대칭형인 광각 렌즈를 장착한 카메라를 이용하여 보정전 영상면을 획득하는 영상 획득 수단;
상기 영상 획득 수단에서 획득된 상기 보정전 영상면을 기초로 직선수차보정 투사 방식을 가지는 보정후 영상면을 생성하는 영상 처리 수단 및
상기 보정전 영상면과 상기 보정후 영상면을 표시하는 하나 이상의 영상 표시 수단을 포함하는 영상 시스템에 있어서,
상기 직선수차보정 투사 방식이란 상기 카메라로 포착되는 직선인 임의의 피사체는 상기 보정후 영상면에서 직선으로 표시되는 투사 방식을 지칭하며,
상기 하나 이상의 영상 표시 수단에 표시되는 상기 보정전 영상면에는 상기 보정후 영상면에 대응하는 하나 이상의 지시선이 중첩되어 있되,
상기 지시선에는 상기 보정후 영상면의 변수를 변경할 수 있는 하나 이상의 핸들을 포함하는 것을 특징으로 하는 영상 시스템.
제 11항에 있어서,
상기 광축은 지평면에 수직한 것을 특징으로 하는 영상 시스템.
제 11항에 있어서,
상기 지시선은
상기 보정전 영상면의 중심을 지나는 방사 방향의 선분인 제 1 지시선과,
상기 보정전 영상면의 중심을 중심으로 하는 원인 제 2 지시선과,
상기 보정전 영상면에서 상기 직선수차보정 영상에 대응하는 영역에 형성된 폐곡면인 제 3 지시선과,
상기 제 3 지시선의 중심을 지나는 방사 방향의 선분인 제 4 지시선과,
상기 제 3 지시선의 중심을 지나며 상기 제 4 지시선에 수직한 선분인 제 5 지시선을 포함하는 것을 특징으로 하는 영상 시스템.
제 13항에 있어서,
상기 제 1 지시선은 상기 직선수차보정 영상에 대응하는 주시 방향의 가로 방향의 팬 각을 조절하는 제 1 핸들을 구비하며,
상기 제 2 지시선은 상기 주시 방향의 세로 방향의 틸트 각을 조절하는 제 2 핸들을 구비하고,
상기 제 3 지시선은 상기 직선수차보정 영상의 가로 방향의 화각을 조절하는 제 3 핸들을 구비하며,
상기 제 4 지시선은 상기 직선수차보정 영상의 가로 방향의 슬라이드 양을 조절하는 제 4 핸들을 구비하고,
상기 제 5 지시선은 상기 직선수차보정 영상의 세로 방향의 슬라이드 양을 조절하는 제 5 핸들을 구비하는 것을 특징으로 하는 영상 시스템.
광축을 중심으로 회전 대칭형인 광각 렌즈를 장착한 카메라를 이용하여 보정전 영상면을 획득하는 영상 획득 수단;
상기 영상 획득 수단에서 획득된 상기 보정전 영상면을 기초로 제 1 보정후 영상면과 제 2 보정후 영상면을 생성하는 하나 이상의 영상 처리 수단 및
상기 제 1 보정후 영상면과 제 2 보정후 영상면을 표시하는 하나 이상의 영상 표시 수단을 포함하는 영상 시스템에 있어서,
상기 제 2 보정후 영상면은 직선수차보정 투사 방식을 가지되,
상기 직선수차보정 투사 방식이란 상기 카메라로 포착되는 직선인 임의의 피사체는 상기 제 2 보정후 영상면에서 직선으로 표시되는 투사 방식을 지칭하며,
상기 하나 이상의 영상 표시 수단에 표시되는 상기 제 1 보정후 영상면에는 상기 제 2 보정후 영상면에 대응하는 하나 이상의 지시선이 중첩되어 있되,
상기 지시선에는 상기 제 2 보정후 영상면의 변수를 변경할 수 있는 하나 이상의 핸들을 포함하는 것을 특징으로 하는 영상 시스템.
제 15항에 있어서,
상기 광각 렌즈의 마디점을 원점으로 하고, 상기 원점을 지나는 수직선을 Y^*-축으로 하며, 상기 Y^*-축과 상기 광축을 포함하는 기준면이 지평면과 만나는 교선을 Z^*-축으로 하는 세계 좌표계 상의 좌표 (X^*, Y^*, Z^*)를 가지는 물점에 대응하는 상기 제 1 보정후 영상면 상의 상점의 좌표를 (x", y")이라 할 때,
상기 제 1 보정후 영상면은 전방위 투사 방식을 가지되,
여기서 전방위 투사 방식이란 상기 세계 좌표계 상의 Y^*-축에 평행한 직선이 상기 제 1 보정후 영상면 상에 y"-축에 평행한 직선으로 표시되며,
상시 세계 좌표계 상의 X^*-Z^* 평면 상에서 동일한 각 거리를 갖는 두 피사체는 상기 제 1 보정후 영상면 상에서 동일한 x"-축 방향의 간격을 갖는 투사 방식인 것을 특징으로 하는 영상 시스템.
제 15항에 있어서,
상기 지시선은 상기 제 1 보정후 영상면 상에 중첩된 세로 방향의 직선인 제 1 지시선과,
가로 방향으로 중첩된 직선인 제 2 지시선과,
사각형의 테두리를 갖는 제 3 지시선과,
상기 제 3 지시선의 중심을 지나는 세로 방향의 선분인 제 4 지시선과,
상기 제 3 지시선의 중심을 지나는 가로 방향의 선분인 제 5 지시선을 포함하는 것을 특징으로 하는 영상 시스템.
제 17항에 있어서,
상기 제 1 지시선은 상기 제 2 보정후 영상면에 대응하는 주시 방향의 가로 방향의 팬 각을 조절하는 제 1 핸들을 구비하며,
상기 제 2 지시선은 상기 주시 방향의 세로 방향의 틸트 각을 조절하는 제 2 핸들을 구비하고,
상기 제 3 지시선은 상기 제 2 보정후 영상면의 가로 방향의 화각을 조절하는 제 3 핸들을 구비하며,
상기 제 4 지시선은 상기 제 2 보정후 영상면의 가로 방향의 슬라이드 양을 조절하는 제 4 핸들을 구비하고,
상기 제 5 지시선은 상기 제 2 보정후 영상면의 세로 방향의 슬라이드 양을 조절하는 제 5 핸들을 구비하는 것을 특징으로 하는 영상 시스템.