KR100914211B1 - 왜곡 영상 보정 장치 및 방법 - Google Patents

Abstract

본 발명은 왜곡 영상 보정 장치 및 방법에 관한 것이다. 본 발명에 따른 왜곡 영상 보정 방법은, 카메라를 통해 촬영된 보정 지표에 대한 2차원의 보정 지표 이미지를 수신하는 단계; 상기 보정 지표 이미지로부터 복수의 특징 데이터를 추출하는 단계; 상기 복수의 특징 데이터를 이용하여 왜곡 보정 알고리즘을 구성하는 왜곡 보정 계수를 산출하는 단계; 및 상기 산출된 계수를 이용하여 보정 파일을 생성하는 단계를 포함한다. 본 발명에 따르면, 어안렌즈를 통해 촬영된 영상으로부터 왜곡이 보정된 영상을 생성할 수 있다.

어안렌즈, 왜곡, 파라미터, 왜곡 상수

Description

왜곡 영상 보정 장치 및 방법{DISTORTED IMAGE CORRECTION APPARATUS AND METHOD}

본 발명은 왜곡 영상 보정 장치 및 방법에 관한 것으로, 더욱 상세하게는 어안렌즈를 통해 촬영된 이미지를 이용하여, 왜곡 보정 계수를 자동으로 산출하여 왜곡 이미지 보정에 이용하는 왜곡 영상 보정 장치 및 방법에 관한 것이다.

자동차의 후방 카메라 또는 영상보안감시 카메라는 사용자의 관심 영역을 영상으로 제공한다. 특히, 큰 화각을 갖는 광각렌즈나 어안렌즈(fish-eye lens)는 보다 넓은 영역을 포함한 많은 정보를 사용자에게 제공한다.

광각렌즈는 표준 렌즈보다 초점 거리가 짧고, 60°에서 120°정도의 화각을 갖는 렌즈를 말하며, 어안렌즈(fish-eye lens)는 초광각렌즈로 구면수차를 역이용하여 만들며 180°또는 그 이상의 화각을 가진다.

특히, 어안렌즈는 의도적으로 통모양의 왜곡을 생기게 하여 180°이상의 화각 전면에 걸쳐 균일한 밝기와 선예도를 유지할 수 있게 만든 렌즈로서, 렌즈 중심점부의 피사체는 극단적으로 크게 찍히고 주변의 것은 아주 작게 찍히게 된다. 즉, 어안 렌즈는 광역의 영상을 획득할 수 있으며, 자동차의 경우 어안렌즈의 큰 화각은 운전자에게 보다 많은 차량 후방의 정보를 제공할 수 있다. 또한, 어안렌즈를 영상폰에 적용할 경우 짧은 거리에서 넓은 시야각을 확보할 수 있다.

그러나 이때 획득한 영상은 심한 왜곡을 가지며, 카메라 왜곡은 특히 운전자에게 현실감을 저해한다.

도 1a 내지 도 1c는 렌즈 왜곡이 없는 영상과 렌즈 왜곡이 발생한 영상을 예시적으로 나타낸 도면이다.

즉, 도 1a와 같이 수직과 수평이 직선으로 이루어진 영상은 렌즈 왜곡에 의해 도 1b 또는 도 1c와 같이 초점의 위치에 따라 곡선의 형상으로 나타나게 된다. 특히, 도 1b는 렌즈의 왜곡을 나타내는 왜곡 상수(k)가 0보다 작은 핀쿠션 왜곡(pincushion distortion)이 발생한 것을 도시하며, 도 1c는 렌즈의 왜곡을 나타내는 렌즈 왜곡 상수(k)가 0보다 큰 배럴 왜곡(barrel distortion)이 발생한 것을 도시한다.

특히 도 1c는 어안렌즈로부터 입력된 영상으로서, 영상의 외각으로 갈수록 왜곡이 크게 나타남을 알 수 있다.

이러한 렌즈 왜곡을 보정하기 위한 방법은 물리적 보정 방법으로 렌즈 왜곡을 보정하기 위한 보정렌즈를 추가로 설치하거나, 소프트웨어적으로 왜곡된 영상을 보정하는 방법이 있다. 여기서 물리적 보정 방법은 보정 렌즈를 추가하여야 한다는 점에서 카메라의 제조 비용을 상승시키는 단점이 있어 소프트웨어적인 보정이 주로 이용되고 있다.

종래 기술에 따르면, 그리드 형태의 테스트 패턴을 선택하고 이미지가 왜곡 되지 않게 표시될 때까지 카메라의 왜곡 보정 계수를 수동으로 보정할 수 있었다. 즉, 이미지의 중심에서 테스트 이미지의 코너를 방사상으로 드래깅하여 이미지의 윤곽을 변형시키고 이미지의 내용을 보정하는 것을 왜곡이 없어지는 지점까지 반복하도록 하였다.

다른 종래 기술에 따르면, 임의의 영상을 입력 받아 영상의 렌즈 왜곡 변수(k)의 범위를 증감시키면서 가장 작은 대표값을 가지는 k를 렌즈 왜곡 변수로 설정하여, 왜곡된 원영상으로부터 왜곡 보정된 영상을 획득하도록 하였다.

그러나, 종래의 디지털 이미지의 기하학적 왜곡 보정에 따른 기술은, 테스트 패턴 또는 임의의 영상으로 이미지가 왜곡되지 않게 표시될 때까지 사용자가 화면상에서 조작하거나 선택하였다.

따라서, 사용자가 왜곡 보정 상수를 수동으로 보정해야 하는 번거로움이 있으며, 사용자의 선택 기준에 따라 이미지의 기하학적 왜곡 보정의 수준이 변하는 문제점이 있었다.

따라서 본 발명이 이루고자 하는 기술적 과제는 어안렌즈 사용에 따른 영상의 왜곡을 최소화하기 위하여, 왜곡 보정 계수를 자동으로 산출하여 왜곡 이미지 보정에 이용하는 왜곡 영상 보정 장치 및 방법에 관한 것이다.

이러한 기술적 과제를 이루기 위한 본 발명의 한 실시예에 따른 왜곡 영상 보정 방법은, 카메라를 통해 촬영된 보정 지표에 대한 2차원의 보정 지표 이미지를 수신하는 단계; 상기 보정 지표 이미지로부터 복수의 특징 데이터를 추출하는 단계; 상기 복수의 특징 데이터를 이용하여 왜곡 보정 알고리즘을 구성하는 왜곡 보정 계수를 산출하는 단계; 및 상기 산출된 계수를 이용하여 보정 파일을 생성하는 단계를 포함한다.

상기 보정 알고리즘을 이용하여 보정된 영상을 생성하는 단계를 더 포함할 수 있다.

상기 보정 지표 이미지는, 복수의 정방형 격자 무늬를 가지는 상기 보정 지표가 상기 카메라를 통해 촬영되어 생성될 수 있다.

상기 보정 지표는, 상기 복수의 정방형 격자 무늬는 홀수X짝수 또는 짝수X홀수 형태로 배열될 수 있다.

상기 특징 데이터는, 상기 보정 지표에 포함된 격자 무늬 사이의 꼭지점 좌표 정보 및 꼭지점 연결 정보를 포함할 수 있다.

상기 왜곡 보정 계수는 상기 왜곡 보정 알고리즘을 구성하는 파라미터와 왜곡 상수를 포함하며, 상기 파라미터는 상기 카메라에 장착된 렌즈의 초점 거리와 광학 중심점을 포함하고, 상기 왜곡 상수는 상기 카메라에 장착된 렌즈의 방사상 왜곡 상수와 접선 방향 왜곡 상수를 포함할 수 있다.

상기 왜곡 보정 알고리즘은 아래 수학식으로 표현될 수 있다.

r_d = atan( 2 * r_u * tan(ω/2) ) * 1/ω

u = f_x * { r_d * cos(θ)} + c_x

v = f_y * { r_d * sin(θ)} + c_y

여기서, u, v는 영상 평면 상의 보정 지표 이미지의 좌표를 의미하고, x', y'는 3차원 공간 좌표가 투영된 렌즈 평면상의 좌표를 의미하며, f_x와 f_y는 초점 거리를 의미하고, c_x와 c_y 는 광학 중심점 좌표를 의미하며, ω는 왜곡 상수를 의미하며, r_u ² = x'² + y'² 이고, θ = tan^{- 1}(y'/x')를 의미한다. 특히, ω는 값은 1.0으로 한다.

상기 왜곡 보정 알고리즘은 아래 수학식으로 표현될 수 있다.

u = f_x * {x'*(1+ k₁*r² + k₂*r⁴) + 2p₁*x'*y' + p₂(r² + 2x'²)} + c_x

v = f_y * {y'*(1+ k₁*r² + k₂*r⁴) + p₁(r² + 2y'²) + 2p₂*x'*y'} + c_y

여기서, f_x와 f_y는 초점 거리를 의미하고, c_x와 c_y 는 광학 중심점 좌표를 의미하며, k₁ 과 k₂ 는 방사상 왜곡 상수를 의미하고, p₁ 과 p₂ 는 접선 방향 왜곡 상수를 의미하며, r² = x'² + y'² 를 의미한다.

상기 카메라는 어안렌즈를 장착할 수 있다.

본 발명의 한 실시예에 따른 왜곡 영상 보정 장치는, 카메라를 통해 촬영된 보정 지표에 대한 2차원의 보정 지표 이미지를 수신하는 영상 입력부; 상기 보정 지표 이미지로부터 복수의 특징 데이터를 추출하고, 상기 복수의 특징 데이터를 이용하여 왜곡 보정 알고리즘을 구성하는 왜곡 보정 계수를 산출하는 제어부; 및 상기 산출된 왜곡 보정 계수를 이용하여 보정 파일을 생성하는 보정 파일 생성부를 포함한다.

상기 보정 파일을 이용하여 보정된 영상을 생성하는 보정 영상 생성부를 더 포함할 수 있다.

상기 카메라의 광축과 상기 보정 지표가 이루는 각은 수직선을 기준으로 15도 이상을 유지하면서 촬영할 수 있다.

이와 같이 본 발명에 의하면, 어안렌즈를 통해 촬영된 영상으로부터 왜곡이 보정된 영상을 생성할 수 있다.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

도 2는 본 발명의 실시예에 따른 왜곡 영상 보정 시스템의 구성을 나타낸 도면이다.

도 2에서 보는 바와 같이 왜곡 영상 보정 시스템은 카메라(100), 왜곡 영상 보정 장치(200) 및 표시 장치(300)를 포함할 수 있다.

카메라(100)는 어안렌즈를 구비할 수 있으며, 어안렌즈를 통해 180°이상의 화각을 가지는 3차원의 영상을 2차원의 이미지로 획득한다. 이때, 카메라(100)를 통해 획득된 이미지는 도 1c에 도시된 바와 같이, 심한 왜곡을 갖게 된다.

즉, 어안렌즈의 광학 중심점에 위치한 피사체는 왜곡을 가지지 않고, 주변에 위치한 피사체는 매우 심한 왜곡을 갖게 된다.

왜곡 영상 보정 장치(200)는 영상 입력부(210), 메모리부(220), 제어부(230), 보정 파일 저장부(240) 및 보정 영상 생성부(250)을 포함한다.

영상 입력부(210)는 어안 렌즈를 가지는 카메라를 통해 촬영된 소정의 보정 지표에 대한 2차원의 보정 지표 이미지를 수신한다.

메모리부(220)는 수신된 복수의 보정 지표 이미지와 왜곡 보정 알고리즘 프로그램을 저장한다.

제어부(230)는 복수의 보정 지표 이미지로부터 복수의 특징 데이터를 추출하고, 복수의 특징 데이터를 이용하여 왜곡 보정 알고리즘을 구성하는 왜곡 보정 계수를 산출한다. 여기서, 왜곡 보정 계수는 내부 파라미터와 왜곡 상수 등을 포함한다.

그리고, 제어부(230)는 산출된 내부파라미터와 왜곡 상수로 이루어지는 보정 파일을 생성한다.

보정 파일 저장부(240)는 비휘발성 메모리 영역으로 구성되며, 제어부(230)로부터 보정 파일을 수신하여 저장한다.

보정 영상 생성부(250)는 메모리부(220)에 저장된 왜곡 보정 알고리즘을 기초하여 왜곡 보정된 영상을 생성하여 외부의 표시 장치(300)로 출력한다.

표시 장치(300)는 왜곡 보정된 영상을 디스플레이 할 수 있는 장치로서, PC나 LCD 모니터 등으로 구현될 수 있으며, 왜곡 영상 보정 장치(200)내에 포함될 수도 있다.

이하에서는 왜곡 영상 보정 장치(200)가 왜곡된 영상을 보정하기에 앞서서, 카메라(100)를 통해 보정 지표를 촬영하는 방법에 대하여 설명하기로 한다.

도 3a 내지 도 3d는 본 발명의 실시예에 따른 카메라를 이용하여 보정 지표를 촬영하는 것을 나타낸 도면이다.

도 3a 는 소정의 보정 지표를 나타낸 것으로, 보정 지표는 흑색과 백색의 정사각형이 격자 형태로 교대로 겹치지 않게 배치된다.

그리고 도 3b에서 보는 바와 같이, 카메라(100)를 이용하여 보정 지표에 대하여 여러 방향에서 촬영을 하여 보정 지표 이미지를 생성할 수 있다.

이때, 도 3c에서 보는 바와 같이, 카메라의 광축과 보정 지표가 이루는 각은 수직선을 기준으로 15°이상이 바람직하다(도 3c에서는 45°로 예시함).

그리고, 도 3d에서와 같이 카메라(100)를 90°씩 회전하면서 촬영을 할 수 있으며, 하나의 보정 지표에 대하여 최대한 다양한 보정 지표 이미지의 샘플을 생성하도록 한다.

한편, 도 3a과 같이 정사각형의 격자 수를 홀수X짝수, 짝수X홀수 형태로 구성한다. 예를 들면 5X6, 7X8, 10X7 형태로 구성한다(도 3a 에서는 6X5 형태로 도시하였음).

이와 같이, 정사각형의 가로, 세로 개수를 홀수X짝수, 짝수X홀수 형태로 구 성함으로써, 도 3d 와 같이 다양한 각도에서 촬영된 보정 지표 이미지의 꼭지점 연결 정보의 오류가 발생하는 것을 방지할 수 있다.

따라서, 각각의 정사각형에 해당하는 보정 지표 이미지를 용이하게 구별할 수 있도록 한다.

이하에서는 생성된 보정 지표 이미지에 대하여 왜곡 영상 보정 장치(200)가 왜곡된 영상을 보정하는 방법을 설명하기로 한다.

도 4는 본 발명의 실시예에 따른 왜곡 영상 보정 장치의 왜곡 영상 보정 방법을 나타낸 순서도이다.

먼저, 도 3과 같은 방법으로 카메라(100)에 의해 촬영된 보정 지표에 대한 다수의 보정 지표 이미지를 메모리부(220)에 저장한다(S410).

그리고, 제어부(230)는 메모리부(220)에 저장된 다수의 보정 지표 이미지로부터 도 5와 같이 특징데이터를 추출한다(420).

여기서, 특징 데이터라 함은, 보정 지표 이미지를 구성하는 다수의 격자 무늬 사이의 꼭지점 좌표 정보 및 꼭지점 연결 정보를 포함한다.

도 5는 본 발명의 실시예에 따른 보정 지표 이미지의 특징 데이터를 나타낸 예시도이다.

여기서, 꼭지점 좌표 정보는 도 5와 같이 인접하는 4개의 정사각형이 형성하는 꼭지점의 좌표를 나타내며, 꼭지점 연결 정보는 꼭지점의 연결 관계를 나타낸다. 촬영된 보정 지표에서 인식되지 않은 꼭지점이 발생되는 것을 방지하기 위하여 꼭지점 연결 정보를 생성하도록 한다.

제어부(230)는 보정 지표의 다수의 특징 데이터를 메모리부(220)에 저장한다(S430).

제어부(230)는 3장 이상의 보정 지표 이미지로부터 복수의 특징 데이터 추출을 완료하면, 복수의 특징 데이터를 이용하여 왜곡 보정 알고리즘을 구성하는 각종 왜곡 보정 계수, 즉 카메라 매트릭스 및 왜곡 상수를 자동으로 산출한다(S440).

왜곡 보정 알고리즘은 내부 또는 외부 파라미터, 왜곡 상수가 카메라 매트릭스 형태로 구성되어 있으며, 어안렌즈의 파라미터와 왜곡 상수를 산출하는 방법에 대한 상세한 설명은 추후에 하기로 한다.

그리고, 제어부(230)는 보정된 왜곡 보정 계수로부터 XML 또는 텍스트 파일 형태의 보정 파일을 생성하고, 비 휘발성 메모리 영역인 보정 파일 저장부(240)에 저장한다(S450).

보정파일에 저장되는 정보는 왜곡 보정 알고리즘에 대한 정보로서, 왜곡 보정 알고리즘에는 초점 거리와 왜곡 중심 좌표를 포함하는 카메라 매트릭스와 방사상 왜곡 상수 및 접선 방향 왜곡 상수 등이 포함되며, 보정한 날짜, 사용된 영상 개수, 왜곡 보정의 정확도를 나타내는 픽셀 오류 치도 포함된다.

그리고 제어부(230)는 메모리부(220)에 보정된 왜곡 보정 알고리즘을 저장한다.

만일, 생성된 보정파일을 기초하여 카메라 이미지 왜곡 보정이 기대 수준을 만족하지 않으면 보정 지표를 다른 위치로 변경하여 추가로 촬영하여 특징 데이터를 추가하여 보정파일을 생성한다(S460).

그리고, 보정 영상 생성부(250)는 보정된 알고리즘을 이용하여 카메라의 기하학적 왜곡 영상이 보정된 영상을 생성한다(S470).

그리고, 외부의 표시 장치(300)는 보정 영상 생성부(250)로부터 업로드된 보정 영상을 표시한다(S480).

여기서, 본 발명의 실시예에서는 보정 영상 생성부(250)가 직접 보정 파일로부터 왜곡 영상이 보정된 보정 영상을 생성하는 것으로 설명하였으나, 보정 영상 생성부(250)가 외부의 표시 장치(300)에 포함된 경우에는 외부의 표시 장치(300)로 보정 파일만을 전달할 수도 있다.

또한, 본 발명의 실시예에서는 표시 장치(300)가 왜곡 영상 보정 장치(200)와 분리되어 있는 것으로 설명하였으나, 왜곡 영상 보정 장치(200)에 디스플레이가 포함되어 있는 경우 생성된 보정 영상을 직접 화면에 표시할 수 있다.

이하에서는 도 6 내지 도 7을 통하여 왜곡 영상 보정 장치(200)의 제어부(230)가 왜곡 영상 알고리즘의 왜곡 보정 계수를 산출하는 방식에 대하여 설명한다.

도 6은 세계 좌표계를 카메라 좌표계로 변환시키는 과정을 나타낸 도면이다.

도 6과 같이 3차원 공간내의 가상 좌표인 세계(world) 좌표계를 카메라 초점(C)을 기준으로 하는 카메라 좌표계로 변환시키기 위하여 외부 파라미터 매트릭스를 이용한다.

즉, 가상 좌표인 세계(world) 좌표계를 카메라 초점(C)을 기준으로 하는 카메라 좌표계로 변환시키기 위해서는 회전 행렬(R)과 이동 벡터(T)를 포함하는 매트 릭스가 필요하다.

따라서, 세계 좌표계에서의 (X, Y, Z) 좌표를 카메라 좌표계의 (x, y, z) 좌표로 변환시키기 위하여 다음의 수학식 1을 적용한다.

수학식 1에서 R과 t를 매트릭스 형태로 나타내면 다음의 수학식 2와 같다.

수학식 2에 나타낸 R과 t, 즉 [R|t]를 외부 파라미터(External Parameter)라고 하며, R과 t를 매트릭스 형태로 나타낸 것을 회전 변환 매트릭스(rotation-translation matrix)라고 한다.

외부 파라미터는 세계 좌표계의 좌표를 카메라 좌표계의 좌표로 변환시키기 위한 것으로, 세계 좌표계에 대한 카메라 좌표계의 상대적인 이동과 회전에 관한 파라미터이다.

따라서, [R|t]에 의하여 임의의 좌표계를 갖는 고정 카메라에서 3차원 공간 상의 한 점 P(X,Y,Z)은 3차원 공간상의 한 점 p(x,y,z)로 변환된다.

도 7은 본 발명의 실시예에 따른 보정 지표의 한 꼭지점이 렌즈를 통과하여 영상 평면에 맺히는 것을 나타낸 도면이다.

도 7에서 보는 바와 같이 카메라의 광축이 만나는 영상 평면상의 한 점(c_x, c_y), 즉 왜곡 중심을 기준으로 3차원 상의 한 점 P(x, y, z)이 초점 거리가 f인 렌즈를 통해 2차원의 영상 평면(image plane)에 투영될 때, 2차원의 영상 평면에 맺히는 점 p는 다음의 수학식 3과 같이 구할 수 있다.

여기서, 3차원 상의 한 점 P(x, y, z)은 도 3a에 나타낸 보정 지표의 꼭지점 중 한 점을 나타낸다.

여기서, 등식의 오른쪽 단에 있는 첫번째 매트릭스를 카메라 매트릭스(camera matrix)라고 하며, 카메라 매트릭스에 포함되는 f_x, f_y, c_x, c_y 를 내부 파라미터(Initial Parameter)라고 한다.

내부 파라미터(Initial Parameter)란 카메라 매트릭스와 관련된 초점 거리(Focus Length), 왜곡 요소(Distortion Factor) 및 왜곡 중심 등을 포함하는 것 으로서, 카메라 자체에서 발생하는 왜곡에 대한 파라미터이다. 이와 같은 내부 파라미터를 연산함으로써 제반 왜곡 요소를 제거할 수 있다.

수학식 3에서 f_x와 f_y는 초점 거리를 나타내며, c_x와 c_y 는 광학 중심점에 해당하는 것으로, 렌즈의 왜곡 중심 좌표를 나타낸다. 또한 s 는 스케일(scale)을 나타내는 것으로서, 파라미터(f_x, f_y, c_x, c_y)와 관련된 함수로 나타낼 수 있으며, 샘플링(업/다운)에 따라서 파라미터(f_x, f_y, c_x, c_y)의 값을 일정 비율로 곱하거나 나누도록 한다.

한편, 3차원 공간 좌표(x, y, z)가 카메라 좌표계로 투영된 렌즈 평면상의 좌표 (x', y')(도 7에는 도시하지 않음)와 3차원 공간 좌표 P(x, y, z) 간에는 다음의 수학식 4와 같은 비례식이 성립한다. 여기서 z는 0이 아니라고 가정한다.

x' = x/z

y' = y/z

여기서, 수학식 3을 연산한 뒤, 수학식 4에서 얻은 결과를 대입시키면, 다음의 수학식 5를 유도할 수 있다.

u = f_x * x' + c_x

v = f_y * y' + c_y

따라서, 내부 파라미터(f_x, f_y, c_x, c_y)를 이용하여 2차원 영상 평면상의 좌표인 p를 얻을 수 있다.

그러나, 실제 렌즈는 완전한 구 형태가 아니므로 왜곡(distortion)이 발생한다.

즉, 영상 평면상의 좌표 p'는 왜곡이 발생되지 않은 이상적인 점이므로, 실제 왜곡이 발생되는 영상 평면상의 좌표 p와 일치하지 않을 수 있다.

이하에서는 수학식 6 내지 8을 통하여 p'와 p 사이의 관계에 대하여 설명하기로 한다.

도 7에서 c_x와 c_y 는 Z 축 상의 점으로서, 렌즈의 왜곡 중심 좌표를 나타내며, 왜곡이 발생하지 않는 점이다.

여기서, 렌즈 왜곡 모델은 어안렌즈에 대응되는 화각(field of view) ω를 하나의 왜곡상수로 갖고, 이미지 평면 상의 좌표 x', y' 는 렌즈 왜곡 모델에 의하여 다음의 수학식 6과 같이 x'', y'' (도 7에는 도시하지 않음)로 바꾸어 표현할 수 있다.

즉, 역공간 맵핑을 적용하여 왜곡이 없는 이미지 평면상의 좌표 x', y'를 왜곡이 발생한 이미지 평명상의 좌표 x'', y'' 로 맵핑하는 것이 가능하다.

r_d = 1/ω * atan( 2 * r_u * tan(ω/2) )

x'' = r_d * cos(θ)

y'' = r_d * sin(θ)

여기서, r_u ² = x'² + y'² 이고, θ = tan^-1(y'/x'), ω는 왜곡상수를 나타낸다. 왜곡 상수 ω는 어안렌즈에 대응되는 화각(field of view)를 포함할 수 있다.

마찬가지로 렌즈 왜곡 모델을 적용하여 수학식 5에서 x' 와 y' 대신에 각각 x'' 와 y''를 대입하면, 다음의 수학식 7이 도출된다.

u = f_x * x'' + c_x

v = f_y * y'' + c_y

그리고, 수학식 7에 수학식 6을 대입하면, 다음의 수학식 8과 같이 확장된 u, v 값을 도출할 수 있다.

u = f_x * { r_d * cos(θ)} + c_x

v = f_y * { r_d * sin(θ)} + c_y

수학식 8에서 보는 바와 같이, 왜곡이 발생된 영상 평면 상의 좌표 p'에 해당하는 좌표 값인 u, v를 각각 내부 파라미터(f_x, f_y, c_x, c_y)와 왜곡 상수(ω)로 나타낼 수 있다.

따라서, 다수의 보정 지표 이미지로부터 추출한 꼭지점 정보(u, v)에 해당 함)를 수학식 8에 대입하고, 뉴튼법(Newton-method)과 같은 수치 해석 방법을 통하여 가장 최적화된 어안렌즈의 내부 파라미터(f_x, f_y, c_x, c_y)와 왜곡 상수(ω)를 얻을 수 있다.

특히 왜곡 상수는 카메라의 위치와 관계없이 동일한 값이 유지되므로, 최초 1회만 계산하면 고정된 값으로 설정할 수 있다.

이와 같은 방법으로, 제어부(230)는 왜곡 보정 계수인 내부 파라미터(f_x, f_y, c_x, c_y)와 왜곡 상수(ω)를 산출한다. 이상적인 어안렌즈는 ω = 1 인 특성을 따른다.

한편, 렌즈 왜곡 모델은 무한 급수로도 표현이 가능하며, 렌즈 평면 상의 좌표 x', y' 는 렌즈 왜곡 모델에 의하여 다음의 수학식 9와 같이 x'', y'' (도 7에는 도시하지 않음)로 바꾸어 표현할 수 있다.

즉, 방사상 왜곡과 접선 방향 왜곡을 고려한 카메라 렌즈 왜곡 모델에 의하여 렌즈 평면상의 좌표 x'', y'' 는 수학식 9와 같이 r에 대한 5차 함수로 나타낼 수 있다.

x'' = x'*(1+ k₁*r² + k₂*r⁴) + 2p₁*x'*y' + p₂(r² + 2x'²)

y'' = y'*(1+ k₁*r² + k₂*r⁴) + p₁(r² + 2y'²) + 2p₂*x'*y'

여기서, r² = x'² + y'² 이고, k₁ 과 k₂ 는 방사상 왜곡 상수를 나타내며, p₁ 과 p₂ 는 접선 방향 왜곡 상수를 나타낸다.

마찬가지로 수학식 7에 수학식 9를 대입하면, 다음의 수학식 10과 같이 확장된 u, v 값을 도출할 수 있다.

u = f_x * {x'*(1+ k₁*r² + k₂*r⁴) + 2p₁*x'*y' + p₂(r² + 2x'²)} + c_x

v = f_y * {y'*(1+ k₁*r² + k₂*r⁴) + p₁(r² + 2y'²) + 2p₂*x'*y'} + c_y

수학식 10에서 보는 바와 같이, 왜곡이 발생되지 않은 영상 평면 상의 좌표 p'에 해당하는 좌표 값인 u, v를 각각 내부 파라미터(f_x, f_y, c_x, c_y)와 왜곡 상수(k₁, k₂, p₁, p₂)로 나타낼 수 있다.

그리고, 제어부(230)는 산출된 왜곡 보정 계수로부터 보정 파일을 생성하여 보정 파일 저장부(240)에 저장하게 된다.

이와 같이 본 발명의 실시예에 따르면, 어안렌즈를 통해 촬영된 다수의 이미지를 이용하여 왜곡 보정 계수를 자동으로 산출하여 왜곡 이미지 보정에 이용할 수 있다.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

도 1a 내지 도 1c는 렌즈 왜곡이 없는 영상과 렌즈 왜곡이 발생한 영상을 예시적으로 나타낸 도면이다.

도 2는 본 발명의 실시예에 따른 왜곡 영상 보정 시스템의 구성을 나타낸 도면이다.

도 3a 내지 도 3d는 본 발명의 실시예에 따른 카메라를 이용하여 보정 지표를 촬영하는 것을 나타낸 도면이다.

도 4는 본 발명의 실시예에 따른 왜곡 영상 보정 장치의 왜곡 영상 보정 방법을 나타낸 순서도이다.

도 5는 본 발명의 실시예에 따른 보정 지표 이미지의 특징 데이터를 나타낸 예시도이다.

도 6은 세계 좌표계를 카메라 좌표계로 변환시키는 과정을 나타낸 도면이다.

도 7은 본 발명의 실시예에 따른 보정 지표의 한 꼭지점이 렌즈를 통과하여 영상 평면에 맺히는 것을 나타낸 도면이다.

Claims (16)

1. 카메라를 통해 촬영된 복수의 정방형 격자 무늬를 가지는 보정 지표에 대한 2차원의 보정 지표 이미지를 수신하는 단계;

   상기 보정 지표 이미지로부터 상기 격자 무늬 사이의 꼭지점 좌표 정보 및 꼭지점 연결 정보를 포함하는 복수의 특징 데이터를 추출하는 단계;

   상기 복수의 특징 데이터의 좌표 정보를 이용하여 왜곡 보정 알고리즘을 구성하는 왜곡 보정 계수를 산출하는 단계; 및

   상기 산출된 계수를 이용하여 보정 파일을 생성하는 단계를 포함하며,

   상기 왜곡 보정 계수는 파라미터와 왜곡 상수를 포함하고,

   상기 파라미터는 상기 카메라에 장착된 렌즈의 초점 거리와 광학 중심점을 포함하며, 상기 왜곡 상수는 상기 카메라에 장착된 렌즈의 방사상 왜곡 상수와 접선 방향 왜곡 상수를 포함하는 것을 특징으로 하는 왜곡 영상 보정 방법.
2. 제1항에 있어서,

   상기 왜곡 보정 알고리즘을 이용하여 보정된 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 왜곡 영상 보정 방법.
3. 삭제
4. 제2항에 있어서,

   상기 보정 지표는,

   상기 복수의 정방형 격자 무늬는 홀수X짝수 또는 짝수X홀수 형태로 배열되는 것을 특징으로 하는 왜곡 영상 보정 방법.
5. 삭제
6. 삭제
7. 제2항에 있어서,

   상기 왜곡 보정 알고리즘은 아래 수학식으로 표현되는 것을 특징으로 하는 왜곡 영상 보정 방법:

   r_d = atan( 2 * r_u * tan(ω/2) ) * 1/ω

   u = f_x * { r_d * cos(θ)} + c_x

   v = f_y * { r_d * sin(θ)} + c_y

   여기서, u, v는 영상 평면 상의 보정 지표 이미지의 좌표를 의미하고, x', y'는 3차원 공간 좌표가 투영된 렌즈 평면상의 좌표를 의미하며, f_x와 f_y는 초점 거리를 의미하고, c_x와 c_y 는 광학 중심점 좌표를 의미하며, ω는 왜곡 상수를 의미하고, r_u ² = x'² + y'² 이며, θ = tan^-1(y'/x')를 의미하고, 특히, ω는 값은 1.0인 것을 특징으로 한다.
8. 제2항에 있어서,

   상기 왜곡 보정 알고리즘은 아래 수학식으로 표현되는 것을 특징으로 하는 왜곡 영상 보정 방법:

   u = f_x * {x'*(1+ k₁*r² + k₂*r⁴) + 2p₁*x'*y' + p₂(r² + 2x'²)} + c_x

   v = f_y * {y'*(1+ k₁*r² + k₂*r⁴) + p₁(r² + 2y'²) + 2p₂*x'*y'} + c_y

   여기서, u, v는 영상 평면 상의 보정 지표 이미지의 좌표를 의미하고, x', y'는 3차원 공간 좌표가 투영된 렌즈 평면상의 좌표를 의미하며, f_x와 f_y는 초점 거리를 의미하고, c_x와 c_y 는 광학 중심점 좌표를 의미하며, k₁ 과 k₂ 는 방사상 왜곡 상수를 의미하고, p₁ 과 p₂ 는 접선 방향 왜곡 상수를 의미하며, r² = x'² + y'² 를 의미한다.
9. 제1항에 있어서,

   상기 카메라는 어안렌즈를 장착하고 있는 것을 특징으로 하는 왜곡 영상 보정 방법.
10. 카메라를 통해 촬영된 복수의 정방형 격자 무늬를 가지는 보정 지표에 대한 2차원의 보정 지표 이미지를 수신하는 영상 입력부;

    상기 보정 지표 이미지로부터 상기 격자 무늬 사이의 꼭지점 좌표 정보 및 꼭지점 연결 정보를 포함하는 복수의 특징 데이터를 추출하고, 상기 복수의 특징 데이터의 좌표 정보를 이용하여 왜곡 보정 알고리즘을 구성하는 왜곡 보정 계수를 산출하는 제어부; 및

    상기 산출된 왜곡 보정 계수를 이용하여 보정 파일을 생성하는 보정 파일 생성부를 포함하며,

    상기 왜곡 보정 계수는 파라미터와 왜곡 상수를 포함하고,

    상기 파라미터는 상기 카메라에 장착된 렌즈의 초점 거리와 광학 중심점을 포함하며, 상기 왜곡 상수는 상기 카메라에 장착된 렌즈의 방사상 왜곡 상수와 접선 방향 왜곡 상수를 포함하는 것을 특징으로 하는 왜곡 영상 보정 장치.
11. 제10항에 있어서,

    상기 보정 파일을 이용하여 보정된 영상을 생성하는 보정 영상 생성부를 더 포함하는 것을 특징으로 하는 왜곡 영상 보정 장치.
12. 삭제
13. 제10항에 있어서,

    상기 카메라의 광축과 상기 보정 지표가 이루는 각은 수직선을 기준으로 15도 이상을 유지하면서 촬영하는 것을 특징으로 하는 왜곡 영상 보정 장치.
14. 제11항에 있어서,

    상기 보정 지표는,

    상기 복수의 정방형 격자 무늬는 홀수X짝수 또는 짝수X홀수 형태로 배열되는 것을 특징으로 하는 왜곡 영상 보정 장치.
15. 삭제
16. 삭제

Images