KR20140090775A - 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템 - Google Patents

Abstract

본 발명의 어안렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법은, 광각 카메라의 어안렌즈를 통해 얻은 제1 영상을 불러오는 제1 과정; 상기 제1 영상에 대하여 이미지 좌표계를 구성하는 제2 과정; 상기 이미지 좌표계에서 이미지 센서 좌표계로 변환시키는 제3 과정; 상기 이미지 센서 좌표계에서 제1 지점에 대한 천정각(θ)과 방위각(φ)을 계산하는 제4 과정; 및 상기 제1 지점에 대한 직각좌표계 상의 좌표 P(x, y, z)를 계산하여 가상의 3차원 공간을 재구성하는 제5 과정을 포함하는 기술을 제공함에 기술적 특징이 있다.

Description

어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템{CORRECTION METHOD OF DISTORTION IMAGE OBTAINED BY USING FISHEYE LENS AND IMAGE DISPLAY SYSTEM IMPLEMENTING THEREOF}

본 발명은 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템에 관한 것으로, 더욱 상세하게는 어안 렌즈에 입사되는 광선의 방향과 위치를 계산하고, 이를 통해 3차원의 직각 좌표계로 표현되는 가상공간을 재구성 한 후 통상적인 투영(projection) 기법을 적용하여 왜곡이 없는 2차원 이미지를 구현하는 기술을 제공하는, 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템에 관한 것이다.

현재 광역의 영상을 획득할 수 있도록 하는 시스템으로는 크게 기계적으로 PTZ(Pan Tilt Zoom) 카메라를 이용하는 시스템, 어안 렌즈(fisheye lens)를 구비하는 카메라를 이용하는 시스템, 다수개의 CCD 카메라를 이용하는 다중 카메라 시스템 및 특수 제작된 NTSC(National Television System Committee method) 카메라를 이용하는 카타디옵트릭(catadioptric) 시스템 등이 존재한다.

이상의 시스템들 중 본 발명에서 특히 관심을 가지는 시스템은, 어안 렌즈(fisheye lens)를 구비하는 카메라를 이용하는 시스템이다.

여기서 어안 렌즈(fisheye lens)는 의도적으로 통 모양의 왜곡(barrel distortion)을 생기게 하여 180도 이상의 화각 전면에 걸쳐 균일한 밝기와 선예도를 유지할 수 있게 만든 렌즈로써, 렌즈 중심점부의 피사체는 극단적으로 크게 찍히고 주변의 것은 아주 작게 찍히게 되어, 획득된 영상은 필연적으로 심한 왜곡을 가지게 된다.

이로 인해 어안 렌즈를 통해 촬영된 영상에 대한 왜곡(distortion)을 보정하기 위한 많은 시도가 종전부터 있어 왔지만, 종래 기술에 의할 때 왜곡을 보정하는 방법이 복잡할 뿐 아니라 많은 비용이 소요되는 문제점이 있었다.

또한 종래 기술은 3차원 공간을 바라보는 기법 이를 테면, 천정형, 벽면형, 사선형, 다시점 기술 등을 적용하여 촬영된 영상에 대해 왜곡을 보정하고, 보정된 2차원 이미지를 모니터에 실시간적으로 디스플레이 하는 기술을 제공하지 못하는 문제점이 있었다.

본 발명이 해결하고자 하는 기술적 과제는, 어안 렌즈에 입사되는 광선의 방향과 위치를 계산하고, 이를 통해 3차원의 직각 좌표계로 표현되는 가상공간을 재구성 한 후 통상적인 투영(projection) 기법을 적용하여 왜곡이 없는 2차원 이미지를 구현하는 기술을 제공하는 어안렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템을 제공하는데 있다.

상기 기술적 과제를 이루기 위한 본 발명에 따른 어안렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법은, 광각 카메라의 어안렌즈를 통해 얻은 제1 영상을 불러오는 제1 과정; 상기 제1 영상에 대하여 이미지 좌표계를 구성하는 제2 과정; 상기 이미지 좌표계에서 이미지 센서 좌표계로 변환시키는 제3 과정; 상기 이미지 센서 좌표계에서 제1 지점에 대한 천정각(θ)과 방위각(φ)을 계산하는 제4 과정; 및 상기 제1 지점에 대한 직각좌표계 상의 좌표 P(x, y, z)를 계산하여 가상의 3차원 공간을 재구성하는 제5 과정을 포함하는 기술을 제공한다.

또한 상기 기술적 과제를 이루기 위한 본 발명에 따른 어안 렌즈를 사용하여 얻은 왜곡영상을 보정하는 영상 디스플레이 시스템은, 180도 이상의 화각(Field Of View, FOV)을 촬영하기 위해 어안 렌즈가 구비된 광각 카메라; 상기 광각 카메라가 촬영한 영상으로부터 상기 어안 렌즈에 입사되는 광선의 방향과 위치를 계산하고, 3차원의 직각 좌표계로 표현되는 가상공간을 재구성 한 후 투영(projection) 기법을 적용하여 왜곡이 없는 2차원 이미지를 구현하는 영상 처리부; 상기 영상 처리부에서 처리한 상기 2차원 이미지를 모니터에 디스플레이 하는 디스플레이부; 및 상기 광각 카메라, 상기 영상 처리부 및 상기 디스플레이부를 제어하는 제어부를 포함하는 기술을 제공한다.

본 발명은 간단한 방법을 사용하여 어안 렌즈가 획득한 영상의 왜곡을 보정하고, 실시간적으로 왜곡이 보정된 2차원 이미지를 모니터에 디스플레이 함으로써 실내외의 보안, 감시, 범죄 예방, 자동차의 후방 카메라 등 다양하게 활용될 수 있는 기술적 효과가 있다.

도 1은 본 발명에 따른 어안 렌즈를 사용하여 얻은 왜곡영상을 보정하는 영상 디스플레이 시스템의 구성을 나타낸 것이다.
도 2는 본 발명에 따른 어안 렌즈를 사용하여 얻은 왜곡영상을 보정하는 과정을 순서도로 나타낸 것이다.
도 3a는 본 발명에 따른 왜곡영상에 대한 이미지 좌표계를 나타낸 것이다.
도 3b는 본 발명에 따른 어안 렌즈를 통과한 빛이 이미지 센서에 이미지를 형성할 때의 일반적인 관계를 설명하기 위해 도시한 것이다.
도 3c는 본 발명에 따른 왜곡영상에 대한 이미지 센서 좌표계를 나타낸 것이다.
도 3d는 3차원 직교 좌표계의 변수와 3차원 극좌표계의 변수의 관계를 설명하기 위해 도시한 것이다.
도 4는 본 발명에 따른 일 실시예로 왜곡이 포함된 전체영상을 왜곡이 보정된 부분영상으로 모니터에 디스플레이 하는 과정을 나타낸 것이다.

이하에서는 본 발명의 구체적인 실시예를 도면을 참조하여 상세히 설명하도록 한다.

도 1은 본 발명에 따른 어안 렌즈를 사용하여 얻은 왜곡영상을 보정하는 영상 디스플레이 시스템의 구성을 나타낸 것이다.

도 1을 참조하면, 본 발명에 따른 어안 렌즈를 사용하여 얻은 왜곡영상을 보정하는 영상 디스플레이 시스템(100)은, 광각 카메라(110), 영상 처리부(120), 디스플레이부(130), 사용자 인터페이스(140) 및 제어부(150)를 포함하여 구성된다.

광각 카메라(110)는 고해상도를 지원하는 CCD(Charge Coupled Device) 카메라 또는 CMOS(Complementary Metal-Oxide Semiconductor) 카메라를 사용하며, 어안 렌즈(fisheye lens)를 통해 180도 이상의 화각(Field Of View, FOV)을 가지는 3차원의 영상으로부터 왜곡이 보정되지 않은 2차원 이미지를 획득한다.

여기서 어안 렌즈(fisheye lens)는 의도적으로 통모양의 왜곡(barrel distortion)을 생기게 하여 180도 이상의 화각 전면에 걸쳐 균일한 밝기와 선예도를 유지할 수 있게 만든 렌즈로써, 렌즈 중심점부의 피사체는 극단적으로 크게 찍히고 주변의 것은 아주 작게 찍히게 된다.

즉, 어안 렌즈(fisheye lens)는 광역의 영상을 획득할 수 있는 장점이 있으나, 획득된 영상은 심한 왜곡을 가지는 단점이 있다.

영상 처리부(120)는 왜곡이 보정되지 않은 2차원 이미지로부터 어안 렌즈에 입사되는 광선의 방향과 위치를 계산하고, 이를 통해 3차원의 직각 좌표계로 표현되는 가상공간을 재구성 한 후 통상적인 투영(projection) 기법을 적용하여, 왜곡이 없는 2차원 이미지를 구현하는 작업을 수행한다.

상기 영상 처리부(120)가 수행하는 각각의 작업에 대한 구체적인 내용은 도2에서 상세히 설명한다.

디스플레이부(130)는 왜곡이 보정된 2차원 이미지를 모니터에 디스플레이 한다.

사용자 인터페이스(140)는 마우스 또는 복수개의 키 버튼들을 구비하며, 디스플레이부(130)의 동작 모드, 동작 시점 등을 선택한다.

제어부(150)는 광각 카메라(110), 영상 처리부(120), 디스플레이부(130) 및 사용자 인터페이스(140)의 전반적인 동작을 제어한다.

도 2는 본 발명에 따른 어안렌즈를 사용하여 얻은 왜곡영상을 보정하는 과정을 순서도로 나타낸 것이다.

이하 도1 및 도2를 참조하여, 본 발명에 따른 어안렌즈를 사용하여 얻은 왜곡영상을 보정하는 과정을 설명한다.

우선 광각 카메라(110)의 어안렌즈를 통해 얻은 제1 영상을 불러오는 제1 과정(S10)을 갖는다. 이 경우 제1 영상은 왜곡이 보정되지 않은 2차원 이미지를 갖는다.

여기서 광각 카메라(110)는 3차원 공간을 재구성하기 위해 복수개 사용할 수 있고, 3차원 공간을 바라보는 기법 이를 테면, 천정형, 벽면형, 사선형, 다시점 기술 등을 사용할 수 있음은 당연하다.

다음과정으로 상기 제1 영상에 대하여 이미지 좌표계를 구성하는 제2 과정(S20)을 갖는다.

여기서 이미지 좌표계(C_image )는 모니터 화면상에 보이는 한 점의 2차원 좌표를 표현한 것으로, 도 3a에 도시된 바대로, X축, Y축의 2차원 직각좌표계를 구성하며, 이미지 상의 대상이 되는 임의의 한 점은 좌측 상단에 위치한 이미지상의 원점(O_im)을 기준으로 직각 좌표(x_{im ,} y_im)로 표현된다.

이 때, x_immax는 모니터에서 해상도의 가로 값을 나타내며, y_immax는 모니터에서 해상도의 세로 값을 나타낸 것으로, 이들 값을 적절히 설정함에 따라 해상도를 640*480 또는 1024*768 등의 값으로 변경시킬 수 있다.

다음과정으로 이미지 좌표계(C_image )에서 이미지 센서 좌표계(C_sensor )로 변환시키는 제3 과정(S30)을 갖는다.

도 3b를 참조하면, 광각 카메라(110)의 내부는 어안 렌즈와 이미지 센서를 구비하며, 입사광선이 어안 렌즈의 중심선과 만들어 지는 소정의 각도로 입사되는 경우 이 각도를 천정각(θ), 이미지 센서의 중심(O_f)에서 상이 맺힌 위치(P) 까지의 거리(R_f)로 정의한다.

이 경우 거리(R_f)와 천정각(θ)의 관계식으로 정의되는 화각식은 렌즈 제조사에서 공급하는데, 이를테면 화각이 240도 인 어안 렌즈의 경우 하기 [수학식1]로 표현된다.

한편 천정각(θ), 방위각(φ)을 갖고 입사된 광선은 이미지 센서 평면에 거리 R_f(θ)를 갖는 벡터에 의한 상이 맺히는데, 이 거리 R_f(θ)를 픽셀(pixel) 개수로 나누면 실제 화면상의 해상도로 표현된다.

이하 도 3a 및 도 3c를 참조하여, 이미지 좌표계(C_image)에서 이미지 센서 좌표계(C_sensor)로 변환시키는 과정을 상세히 설명한다.

도 3c를 참조하면, O_f는 이미지 센서 상의 원점, 임의 지점(x_f, y_f)는 이미지 센서 상의 대상이 되는 한 점에 대한 픽셀로 이루어진 좌표 값, x_fmax는 이미지 센서의 최대 가로 픽셀 개수, y_fmax는 이미지 센서의 최대 세로 픽셀 개수, R_f는 O_f에서 (x_{f ,} y_f)까지의 거리를 픽셀 개수로 나타낸 값, φ는 x_fmax 축으로부터 임의 지점(x_{f ,} y_f)까지 각도로 이를 방위각으로 정의한다.

우선, 이미지 좌표계(C_image)에서 (x_{immax ,} y_immax)와 이미지 센서 좌표계(C_sensor )에서 (x_fmax, y_fmax)는 비율에 의해 서로 스케일(scale) 되므로, (x_{tmp1 ,} y_tmp1)는 하기 [수학식2]로 표현된다.

한편, y_tmp1의 경우 원점이 상하가 반대이므로, 이 점을 고려하면 (x_{tmp2 ,} y_tmp2)는 하기 [수학식3]로 표현된다.

이미지 센서 좌표계(C_sensor)의 경우 원점(O_f)이 이미지 센서 화면의 정 가운데 위치하므로, 이미지 센서 상의 대상이 되는 한 점에 대한 좌표(x_{f ,} y_f)는 하기 [수학식4]로 표현된다.

다음과정으로, 극 좌표계에서 천정각(θ)과 방위각(φ)을 계산하는 제4 과정(S40)을 갖는다.

도 3c 및 도 3d를 참조하면, 천정각(θ)은 O_f에서 (x_{f ,} y_f )까지의 거리를 픽셀 개수로 나타낸 값인 R_f와 비례 관계에 있으므로 하기 [수학식5]로 표현된다.

여기서 θ_max는 어안렌즈의 스펙(spec)에 의해 결정되는 최대 화각의 절반 값을 의미하며, R_fmax는 R_f의 최대 값을 의미한다.

방위각(φ)은 x_fmax 축으로부터 O_f를 중심으로 (x_{f ,} y_f)까지 각도로 하기 [수학식6]로 표현된다.

다음과정으로 직교 좌표계에서 공간상의 임의 지점의 좌표 P(x, y, z)를 계산하여 가상의 3차원 공간을 재구성하는 제5 과정(S50)을 갖는다.

도 3d를 참조하면, 원점 O에서 공간상의 임의 지점 P까지의 가상 거리를 R 이라 하면, 극 좌표계에서의 좌표 P(R, θ, φ)로부터 직각 좌표계에서 좌표 P(x, y, z)는 하기 [수학식7]로 표현된다.

한편 θ와 φ는 각각 상기 [수학식5]와 [수학식6]으로 주어지므로 x, y, z 값을 계산할 수 있고, 이로써 어안렌즈를 통해 획득한 제1 영상의 임의 지점의 위치 P(x, y, z) 정보를 획득할 수 있으므로, 결국 모든 공간에 대한 3차원 가상공간을 재구성할 수 있게 된다.

마지막 과정으로, 상기 3차원 가상공간에 대해 투영(projection) 기술을 사용하여 왜곡이 보정된 제2 영상을 모니터에 디스플레이 하는 제6 과정(S60)을 갖는다.

여기서 투영(projection) 기술은 3차원 그래픽의 물체를 2차원 화상으로 변환시키는 3차원 컴퓨터 그래픽 기술을 의미하며, 통상적으로 모델링 변환 ---> 뷰 방향 행렬 ---> 뷰 사상 행렬 ----> 클리핑 및 2차원 화면 좌표계로의 변환 과정을 갖는다.

이로써 모니터에 디스플레이 되는 상기 제2 영상은 왜곡이 보정된 2차원 이미지를 갖는다.

도 4는 본 발명에 따른 일 실시예로 왜곡이 포함된 전체영상을 왜곡이 보정된 부분영상으로 모니터에 디스플레이 하는 과정을 나타낸 것이다.

도 4에 도시된 바대로, 위쪽 화면은 어안 렌즈(fisheye lens)를 사용하여 광역의 영상을 획득하였지만, 영상의 상하좌우 끝단으로 갈수록 심한 왜곡을 갖고 있어 사용자가 영상을 바라보는데 불편감을 느끼게 한다.

이로 인해 본 발명의 영상 처리부(120)를 통해 어안 렌즈에 입사되는 광선의 방향과 위치를 계산하고, 이를 통해 3차원의 직각 좌표계로 표현되는 가상공간을 재구성 한 후 투영(projection) 기술을 적용하여, 상부 좌측(좌측 화면 참조) 또는 상부 우측(우측 화면 참조)의 일부 영상을 모니터에 각각 디스플레이 하였다.

이로써, 사용자는 디스플레이를 원하는 상하좌우 등 모든 방향에 대해 왜곡이 보정된 2차원의 이미지를 제공 받을 수 있게 된다.

이상에서는 본 발명에 대한 기술사상을 첨부 도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시 예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구나 본 발명의 기술적 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.

110 : 광각 카메라
120 : 영상 처리부
130 : 디스플레이부
140 : 사용자 인터페이스
150 : 제어부

Claims (4)

1. 광각 카메라의 어안렌즈를 통해 얻은 제1 영상을 불러오는 제1 과정;
   상기 제1 영상에 대하여 이미지 좌표계를 구성하는 제2 과정;
   상기 이미지 좌표계에서 이미지 센서 좌표계로 변환시키는 제3 과정;
   상기 이미지 센서 좌표계에서 제1 지점에 대한 천정각(θ)과 방위각(φ)을 계산하는 제4 과정; 및
   상기 제1 지점에 대한 직각 좌표계 상의 좌표 P(x, y, z)를 계산하여 가상의 3차원 공간을 재구성하는 제5 과정을 포함하는 것을 특징으로 하는 어안렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법.
2. 제 1항에 있어서,
   상기 제4 과정 이후에, 상기 3차원 가상공간에 대해 투영(projection) 기술을 적용하여 제2 영상을 모니터에 디스플레이 하는 제6 과정을 더 포함하는 것을 특징으로 하는 어안렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법.
3. 180도 이상의 화각(Field Of View, FOV)을 촬영하기 위해 어안 렌즈가 구비된 광각 카메라;
   상기 광각 카메라가 촬영한 영상으로부터 상기 어안 렌즈에 입사되는 광선의 방향과 위치를 계산하고, 3차원의 직각 좌표계로 표현되는 가상공간을 재구성 한 후 투영(projection) 기술을 적용하여 왜곡이 없는 2차원 이미지를 구현하는 영상 처리부;
   상기 영상 처리부에서 처리한 상기 2차원 이미지를 모니터에 디스플레이 하는 디스플레이부; 및
   상기 광각 카메라, 상기 영상 처리부 및 상기 디스플레이부를 제어하는 제어부를 포함하는 것을 특징으로 하는 어안 렌즈를 사용하여 얻은 왜곡영상을 보정하는 영상 디스플레이 시스템.
4. 제 3항에 있어서,
   상기 디스플레이부의 동작 모드, 동작 시점을 선택하기 위해 마우스 또는 복수개의 키 버튼들을 구비한 사용자 인터페이스를 더 포함하는 것을 특징으로 하는 어안 렌즈를 사용하여 얻은 왜곡영상을 보정하는 영상 디스플레이 시스템.

Images