KR20090108822A - 카메라 영상 보정 방법 및 장치 - Google Patents

Abstract

본 발명은 카메라 영상 보정 방법 및 장치에 관한 것이다. 본 발명에 따른 카메라 영상 보정 방법은, 카메라를 통해 촬영된 피사체의 영상을 수신하는 단계, 피사체의 영상으로부터 소실점의 좌표를 추출하는 단계, 소실점의 좌표로부터 원근 투영 알고리즘을 구성하는 보정 계수를 산출하는 단계, 그리고 원근 투영 알고리즘을 이용하여 보정 영상을 생성하는 단계를 포함한다. 본 발명에 따르면, 화각이 큰 렌즈를 통해 촬영된 피사체로부터 원근 효과가 제거된 영상을 생성할 수 있다. 따라서, 피사체의 바로 위에서 카메라로 촬영한 것처럼 보이는 2차원의 탑뷰 형태의 영상을 구현할 수 있다.

광각 렌즈, 어안 렌즈, 원근 투영 알고리즘, 보정 계수

Description

카메라 영상 보정 방법 및 장치{CAMERA IMAGE CORRECTION METHOD AND APPARATUS}

본 발명은 카메라 영상 보정 방법 및 장치에 관한 것으로, 더욱 상세하게는 화각이 큰 렌즈를 통해 촬영된 카메라 영상으로부터 원근 효과를 제거하는 영상 보정 방법 및 장치에 관한 것이다.

자동차의 전후방 카메라, 영상 통화 폰 카메라 또는 영상 보안 감시 카메라는 사용자의 관심 영역을 영상으로 제공한다. 최근에는 화각이 큰 광각 렌즈(wide angle lens)나 어안 렌즈(fish eye lens)의 사용이 증가하여 보다 넓은 영역을 포함한 많은 정보를 사용자에게 제공할 수 있다.

특히, 광각 렌즈는 표준 렌즈보다 초점 거리가 짧고, 60°에서 120°정도의 넓은 화각을 가지므로 일반 렌즈보다 넓은 영상을 찍을 수 있다. 따라서, 광각 렌즈는 좁은 실내 장면, 회의실 등과 같이 사람들이 밀집된 곳이나 자동차의 백미러(back mirror)와 같이 넓은 범위를 표시해야 할 경우에 사용된다. 그러나 광각 렌즈는 화각이 넓기 때문에 사물을 왜곡시키고 원근감을 과장시킨다.

도 1a는 피사체에 대하여 각도를 달리 하여 카메라로 촬영하는 것을 나타낸 도면이다. 도 1a에 나타낸 바와 같이, 정사각형의 피사체(30)에 대하여 정면 방향에서 카메라(10)로 촬영을 하고, 대각선 방향에서 카메라(20)로 촬영을 하면, 각각 도 1b와 도 1c와 같은 영상으로 표시된다.

도 1b는 피사체에 대하여 정면 방향에서 촬영한 영상이고, 도 1c는 피사체에 대하여 대각선 방향에서 촬영한 영상을 나타낸 예시도이다.

정면 방향에서 카메라(10)로 피사체(30)를 촬영하는 경우, 도 1b와 같이 카메라(10)로부터 가까운 거리에 있는 피사체의 일부분은 크게 확대되고, 카메라(10)로부터 먼 거리에 있는 피사체의 일부분은 작게 축소되어 나타난다. 즉, 정면 방향에서 촬영을 하는 경우, 피사체의 영상은 사다리 꼴 형태로 변형되어 표시된다.

마찬가지로, 대각선 방향에서 카메라(20)로 피사체(30)를 촬영하는 경우, 도 1c와 같이 카메라(20)로부터 가까운 거리에 있는 피사체의 부분은 먼 거리에 있는 부분보다 더 돌출된 형태로 나타난다. 즉, 대각선 방향에서 촬영을 하는 경우, 피사체의 영상은 찌그러진 사각 형태로 왜곡된다.

이와 같이, 일반적인 핀홀 카메라를 통하여 촬영을 하는 경우, 카메라의 광축과 피사체가 이루는 각도에 따라 원근 투영 효과에 의하여 평행선이 사다리꼴로 변형된다. 또한, 카메라와 피사체 사이의 거리가 가까울수록 피사체는 크게 나타나고, 카메라와 피사체 사이의 거리가 멀수록 피사체는 작게 나타나므로 피사체에 대하여 원근감이 생성된다. 따라서, 촬영된 영상을 통해서 피사체의 정확한 형태를 파악하기는 어렵다.

실제 생활 속에서 예를 들어 설명하면, 자동차의 전후방 카메라를 이용하여 평행한 직선으로 이루어진 주차선 또는 도로 차선을 촬영하는 경우, 평행한 주차선 또는 도로 차선이 기울어져 사다리꼴 형상으로 나타난다. 또한 내시경 카메라로 인체의 내부를 촬영하는 경우, 내시경을 통해 촬영된 영상은 관심 영역의 주변부에 대해 원근감을 발생하여 정확한 상태를 판단하기 곤란하다. 이와 같이, 광각 렌즈 또는 어안 렌즈와 같이 화각이 큰 렌즈를 이용한 카메라를 통해 촬영을 하는 경우, 피사체에 대해 원근감이 생겨 피사체의 형태가 변형되는 문제점이 있었다.

따라서 본 발명이 이루고자 하는 기술적 과제는 광각 렌즈 또는 어안 렌즈와 같은 화각이 큰 렌즈를 이용하여 피사체를 촬영하는 경우, 촬영된 영상에 대한 원근 효과가 제거되도록 보정하는 카메라 영상 보정 방법 및 장치에 관한 것이다.

이러한 기술적 과제를 이루기 위한 본 발명의 한 실시예에 따른 카메라 영상 보정 방법은, 카메라를 통해 촬영된 피사체의 영상을 수신하는 단계, 상기 피사체의 영상으로부터 소실점의 좌표를 추출하는 단계, 상기 소실점의 좌표로부터 원근 투영 알고리즘을 구성하는 보정 계수를 산출하는 단계, 그리고 상기 원근 투영 알고리즘을 이용하여 보정 영상을 생성하는 단계를 포함한다.

상기 원근 투영 알고리즘은 아래 수학식으로 표현될 수 있다.

x = X / {(p*X-1)*(q*Y-1) - q*X*p*Y}

y = Y / {(p*X-1)*(q*Y-1) - q*X*p*Y}

여기서, x, y 는 각각 보정 전 영상의 좌표를 의미하고, X, Y는 보정 영상의 좌표를 의미하며, p와 q는 보정 계수를 의미한다.

상기 보정 계수는 아래 수학식으로 표현될 수 있다.

p = 1/X_{VP1 ,} q = 1/Y_VP2

여기서, X_VP1은 제1 소실점을 x축 상에 위치시켰을 때, 제1 소실점의 x 좌표 값을 의미하고, Y_VP2는 제2 소실점을 y축 상에 위치시켰을 때, 제2 소실점의 y 좌표 값을 의미한다.

상기 보정 영상을 생성하는 단계는, 인버스 매핑(inverse mapping)을 이용하여 보정 영상을 생성할 수 있다.

왜곡 보정 알고리즘을 이용하여 상기 피사체 영상의 기하학적 보정을 수행하는 단계를 더 포함할 수 있다.

상기 왜곡 보정 알고리즘은 상기 카메라에 장착된 렌즈의 초점 거리, 광학 중심점의 좌표, 상기 렌즈의 방사상 왜곡 상수 및 접선 방향 왜곡 상수 중 적어도 하나를 포함할 수 있다.

본 발명의 다른 실시예에 따른 카메라 영상 보정 장치는, 카메라를 통해 촬영된 피사체의 영상을 수신하는 영상 입력부, 상기 피사체의 영상으로부터 소실점의 좌표를 추출하고, 상기 소실점의 좌표로부터 원근 투영 알고리즘을 구성하는 보정 계수를 산출하는 제어부, 그리고 상기 원근 투영 알고리즘을 이용하여 보정 영 상을 생성하는 보정 영상 생성부를 포함한다.

이와 같이 본 발명에 의하면, 화각이 큰 렌즈를 통해 촬영된 피사체로부터 원근 효과가 제거된 영상을 생성할 수 있다. 따라서, 피사체의 바로 위에서 카메라로 촬영한 것처럼 보이는 2차원의 탑뷰 형태의 영상을 구현할 수 있다.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

도 2는 본 발명의 실시예에 따른 카메라 영상 보정 시스템의 구성을 나타낸 도면이다.

도 2에서 보는 바와 같이 카메라 영상 보정 시스템은 카메라(100), 카메라 영상 보정 장치(200) 및 표시 장치(300)를 포함할 수 있다.

카메라(100)는 광각 렌즈 또는 어안 렌즈와 같이 화각이 큰 렌즈를 구비할 수 있으며 핀홀 카메라를 포함한다. 카메라(100)는 60°에서 120°정도의 넓은 화각을 가지는 렌즈를 통해 3차원의 피사체를 2차원의 영상으로 획득한다.

카메라 영상 보정 장치(200)는 영상 입력부(210), 메모리부(220), 제어부(230) 및 보정 영상 생성부(240)을 포함한다.

영상 입력부(210)는 광각 렌즈 또는 어안 렌즈와 같이 화각이 큰 렌즈를 가지는 카메라를 통해 촬영된 피사체의 영상을 수신한다.

메모리부(220)는 피사체의 영상을 수신하여 저장한다. 또한, 메모리부(220)는 렌즈의 기하학적 왜곡을 보정하는 왜곡 보정 알고리즘 프로그램(이하에서는 "왜곡 보정 알고리즘"이라 함)과 영상의 원근 효과를 제거하기 위한 원근 투영 알고리즘 프로그램(이하에서는 "원근 투영 알고리즘"이라 함)을 저장한다.

제어부(230)는 왜곡 보정 알고리즘을 통하여 피사체의 기하학적 왜곡 영상을 보정한다. 그리고, 이미지로부터 소실점을 추출하여 원근 투영 알고리즘을 구성하는 보정 계수 p, q를 산출한다. 그리고, 제어부(230)는 산출된 보정 계수가 적용된 원근 투영 알고리즘을 메모리부(220)에 저장한다.

보정 영상 생성부(240)는 원근 투영 알고리즘에 기초하여 원근 효과가 제거된 영상을 생성하여 외부의 표시 장치(300)로 출력한다. 여기서, 보정 영상 생성부(240)는 왜곡 영상의 화소와 보정 영상의 화소를 매핑(mapping)하는 방식으로 보정 영상을 생성한다.

표시 장치(300)는 원근 효과가 보정된 영상을 디스플레이 할 수 있는 장치로서, PC나 LCD 모니터 등으로 구현될 수 있으며, 카메라 왜곡 영상 보정 장치(200)내에 포함될 수도 있다.

이하에서는 카메라 영상 보정 장치(200)가 피사체의 기하학적 왜곡 영상을 보정하고 원근 효과를 제거하는 방법에 대해 설명하기로 한다.

도 3은 본 발명의 실시예에 따른 카메라 영상 보정 장치의 영상 보정 방법을 나타낸 순서도이다.

먼저, 영상 입력부(210)는 카메라(100)를 통해 촬영된 피사체의 영상을 수신 한다(S310).

이때, 실제 광각 렌즈 또는 어안 렌즈는 완전한 구 형태가 아니고 초점 거리가 짧으므로 렌즈의 기하학적 왜곡, 예를 들면 방사상 왜곡이나 접선 방향 왜곡이 발생할 수 있다. 이와 같은 렌즈의 왜곡에 의하여, 촬영된 영상 중에서 직선은 곡선으로 변형되어 나타날 수 있다.

도 4a 내지 도 4c는 렌즈 왜곡이 발생하는 것을 설명하기 위한 예시도이다. 도 4a와 같이 수직과 수평이 직선으로 이루어진 피사체는 렌즈 왜곡에 의해 도 4b 또는 도 4c와 같은 곡선의 형상으로 나타나게 된다.

도 4b는 렌즈의 왜곡을 나타내는 왜곡 상수(k)가 0보다 작은 핀쿠션 왜곡(pincushion distortion)이 발생한 것을 나타낸 것이고, 도 4c는 렌즈 왜곡 상수(k)가 0보다 큰 배럴 왜곡(barrel distortion)이 발생한 것을 나타낸 것이다.

따라서, 제어부(230)는 왜곡 보정 알고리즘을 통하여 렌즈의 기하학적 왜곡 영상을 보정한다(S320). 제어부(230)는 구비된 왜곡 보정 알고리즘을 통하여 곡선으로 나타난 영상을 직선으로 보정한다. 여기서, 왜곡 보정 알고리즘은 보정 파라미터와 왜곡 상수에 관한 함수로 나타낼 수 있다. 보정 파라미터는 카메라에 장착된 렌즈의 초점 거리와 광학 중심 좌표를 포함할 수 있고, 왜곡 상수는 방사상 왜곡 상수와 접선 방향 왜곡 상수를 포함할 수 있다.

기하학적 왜곡 영상에 대한 보정이 수행되면, 제어부(230)는 기하학적 왜곡이 보정된 영상으로부터 소실점을 추출하여 원근 투영 알고리즘을 구성하는 보정 계수 p, q를 산출한다(S330). 보정 계수 p, q는 소실점의 좌표로부터 산출되며, 보 정 계수 p, q를 산출하는 방법에 대한 상세한 설명은 추후에 하기로 한다.

보정 계수가 산출되면, 제어부(230)는 산출된 보정 계수가 적용된 원근 투영 알고리즘을 메모리부(220)에 저장한다. 그리고 보정 영상 생성부(240)는 원근 투영 알고리즘을 이용하여 왜곡 영상의 화소와 보정 영상의 화소를 매핑하는 방식으로 보정된 영상을 생성한다(S340). 본 발명의 실시예에 따르면 인버스 매핑(inverse mapping, 역원근 변환)을 통하여 왜곡 영상의 화소와 보정 영상의 화소를 매핑한다. 이에 대한 상세한 설명은 도 7a및 도 7b를 통하여 설명하기로 한다.

그리고, 외부의 표시 장치(300)는 보정 영상 생성부(240)로부터 업로드된 보정 영상을 표시한다(S350).

만일, 생성된 보정 영상의 원근 효과가 기대 수준으로 제거되지 않으면 사용자는 보정 계수 p, q를 조절하여 새로운 보정 영상을 생성한다(S360).

여기서, 본 발명의 실시예에서는 보정 영상 생성부(240)가 직접 원근 투영 알고리즘으로부터 보정 영상을 생성하는 것으로 설명하였으나, 보정 영상 생성부(240)가 외부의 표시 장치(300)에 포함된 경우에는 카메라 영상 보정 장치(200)는 외부의 표시 장치(300)로 원근 투영 알고리즘을 전달할 수도 있다.

또한, 본 발명의 실시예에서는 표시 장치(300)가 카메라 왜곡 영상 보정 장치(200)와 분리되어 있는 것으로 설명하였으나, 카메라 왜곡 영상 보정 장치(200)에 디스플레이가 포함되어 있는 경우 생성된 보정 영상을 직접 화면에 표시할 수 있다.

이하에서는 도 5를 통하여 소실점의 좌표로부터 보정 계수 p, q를 산출하는 방법에 대하여 설명하기로 한다. 도 5는 본 발명의 실시예에 따른 피사체의 영상으로부터 소실점을 추출하는 방법을 설명하기 위한 예시도이다. 특히, 도 5에 나타낸 영상은 왜곡 보정 알고리즘에 의하여 기하학적 왜곡의 보정이 완료된 영상으로 가정한다.

먼저, 소실점(vanishing point)은 물체에 연장선을 그었을 때 연장선들이 원근 효과에 의해 만나는 점을 의미한다. 예를 들어, 자동차의 경우에는 전/후방 카메라 영상에서 주차선 또는 차선을 직선 성분으로 이용할 수 있고, 풍경 영상에서는 건물의 외곽 선을 직선 성분으로 이용할 수도 있다. 영상 내에서 직선 검출 방법으로는 허프 변환(Hough Transform)을 이용할 수 있다.

따라서, 도 5에 나타낸 것과 같이, ABCD로 이루어진 사각형에서 직선 AB와 직선 DC가 연장되어 만나는 소실점을 VP1이라 하고, 직선 AD와 직선 BC가 연장되어 만나는 소실점을 VP2라 가정한다. 여기서 VP1을 좌표(X_VP1, Y_VP1)로 나타낼 수 있고, VP2를 좌표(X_VP2, Y_VP2)로 나타낼 수 있다. 도 5에서는 소실점 VP1이 X축 상에서 위치하고, 소실점 VP2가 Y축 상에 위치하는 것으로 도시하였다.

소실점 VP1, VP2을 이용하여 보정 계수 p, q 값을 추출하기 위하여 먼저 수학식 1과 같이 원근 투영 매트릭스 [T]를 생성한다. 수학식 1에 따르면 원근 투영 매트릭스 [T]는 4X4의 원본 매트릭스인 [A] 매트릭스에 [B] 매트릭스를 연산하여 생성된다. 여기서, [A] 매트릭스에 [B] 매트릭스를 곱함으로써, 3차원상의 공간 이미지를 2차원상의 평면 이미지로 변환시키도록 한다.

여기서, 보정 계수 p, q는 보정 후 영상 P'에 해당하는 좌표(X, Y)로부터 보정 전 영상 P에 해당하는 좌표(x, y)를 추출하기 위한 파라미터이다.

수학식 1과 같이 원근 투영 매트릭스 [T]가 생성되면, 3차원 공간 상의 한 점을 원근 투영 매트릭스 [T]를 통하여 변환시킨다. 그리고, 매트릭스의 3열과 4열을 기본 벡터 형식으로 나타내기 위하여 연산 결과 값을 (x*p+y*q+1)로 나누면 다음의 수학식 2와 같이 나타낼 수 있다.

여기서, 수학식 2의 마지막 줄에 나타낸 것처럼 매트릭스 [T]를 통하여 변환된 좌표인 x/(x*p + y*q + 1)와 y/(x*p + y*q + 1)를 각각 X, Y로 치환하여 나타낼 수 있다. 즉, (X, Y, 0, 1)은 3차원 공간 상의 임의의 한 점(x, y, z, 1)이 원근 투영 매트릭스 [T]를 통하여 변환된 좌표이다. 여기서, 각 매트릭스의 4번째 열은 보정 계수 p, q를 산출하기 위한 기본 벡터이다.

한편, 도 5에서 소실점 VP1과 VP2는 각각 x축과 y축 상의 점으로 표시되었는바, x축 상의 단위 벡터(1, 0, 0, 0)와 y축 상의 단위 벡터(0, 1, 0, 0)를 원근 투영 매트릭스 [T]를 통하여 변환하면 아래의 수학식 3과 같이 소실점 VP1의 좌표(X_{VP1 ,} Y_VP1)와 소실점 VP2의 좌표(X_VP2, Y_VP2)에 관한 식으로 나타낼 수 있다.

여기서, 수학식 2에서와 마찬가지로 매트릭스의 3열과 4열을 기본 벡터 형식으로 나타내기 위하여 1행의 연산 결과 값을 p로 나누고, 2행의 연산 결과 값을 q로 나눈다.

그리고, 수학식 3로부터 보정 계수 p, q와 소실점 VP1의 좌표(X_VP1, Y_VP1), 소실점 VP2의 좌표(X_VP2, Y_VP2)에 관한 관계를 도출하면 수학식 4와 같이 나타낼 수 있다.

p = 1/X_{VP1 ,} Y_VP1 = 0

q = 1/Y_{VP2 ,} X_VP2 = 0

한편, 수학식 2에서, x/(x*p + y*q + 1)와 y/(x*p + y*q + 1)를 각각 X, Y로 치환하였는데, 이를 정리하면 다음의 수학식 5와 같이 나타낼 수 있다.

(p*X-1)*x + q*X*y = -X

p*Y*x + (q*Y-1)*y = -Y

그리고, 수학식 5를 연립하여, x, y에 대해 정리하면 다음의 수학식 6과 같이 원근 투영 알고리즘을 생성할 수 있다.

x = X / {(p*X-1)*(q*Y-1) - q*X*p*Y}

y = Y / {(p*X-1)*(q*Y-1) - q*X*p*Y}

여기서, 수학식 6에서 보정 계수 p, q 대신에 수학식 4에서 도출한 1/X_{VP1 ,} 1/Y_VP2 를 각각 대입하여 원근 투영 알고리즘을 생성할 수 있다.

따라서, 수학식 6을 통하여 보정 영상(P')에 해당하는 좌표(X, Y)로부터 왜곡 영상(즉, 보정 전 영상)(P)에 해당하는 좌표(x, y)를 추출하여 매핑할 수 있다.

이하에서는, 보정 영상 생성부(240)가 왜곡 영상과 보정 영상을 매핑(mapping)하는 과정에 대하여 더욱 상세하게 설명한다. 도 6a는 포워드 매핑 과 정을 설명하기 위한 도면이고, 도 6b는 인버스 매핑 과정을 설명하기 위한 도면이다.

도 6a에 도시한 포워드 매핑(forward mapping)은 왜곡 영상(P)의 화소에 변환 알고리즘([M])를 적용하여 보정될 영상의 위치를 찾고 여기에 왜곡 영상의 화소를 배치시키는 방법이다. 그러나 포워드 매핑을 하는 과정에서 왜곡 영상(P)과 보정 영상(P')이 완벽하게 대응이 되지 않을 수가 있으므로, 보정 영상(P')의 일부에 공백이 생길 가능성이 있다.

도 6b에 도시한 인버스 매핑(inverse mapping, 역원근 변환)의 경우, 보정 영상(P')의 화소 위치에 역변환 알고리즘([M]^-1)을 적용하여 왜곡 영상(P)의 해당 위치를 찾아내고, 왜곡 영상(P)의 화소를 보정 영상(P')의 해당 위치에 배치시키는 방법이다. 인버스 매핑은 포워드 매핑의 문제점을 해결하기 위한 것으로, 미리 보정된 영상(P')을 가정하고 보정된 영상의 화소가 왜곡 영상(P)의 어느 화소와 매칭되는지를 찾는 방식을 가진다.

따라서 수학식 6에 의하면, 보정 영상(P')에 해당하는 좌표(X, Y)로부터 왜곡 영상(P)에 해당하는 좌표(x, y)가 추출되는 것을 나타내므로, 본 발명의 실시예에서는 인버스 매핑 방식에 의하여 보정 영상(P')과 왜곡 영상(P)이 매핑된다.

이하에서는 도 7a 및 도 7b를 비교하여 본 발명의 실시예에 따른 원근 효과가 제거된 영상을 설명하도록 한다. 도 7a는 원근 효과가 발생한 영상을 나타낸 예시도이고, 도 7b는 본 발명의 실시예에 따른 원근 효과가 제거된 영상을 나타낸 예시도이다.

주차선은 실제로는 평행한 직사각형이지만 화각이 큰 렌즈에 의해 촬영되면 촬영된 영상은 도 7a에 도시한 것처럼 사다리꼴 형태로 표시되어 원근감을 나타낸다. 따라서, 본 발명의 실시예에 따르면 도 7a와 같은 원근 효과가 발생한 주차선으로부터 소실점을 찾고, 소실점의 좌표로부터 도출된 보정 계수 p, q를 조절함으로써 도 7b와 같은 원근 효과가 제거된 영상을 획득할 수 있다. 도 7b과 같이 주차선의 바로 위에서 카메라로 촬영한 것처럼 보이는 2차원의 탑뷰(top view) 형태로 영상이 표시된다. 따라서 도 7b과 같이 원근 효과가 제거된 영상을 통하여 사용자는 주차선으로부터 차량의 상대적인 위치와 주차선에 대한 차량의 이동 방향을 쉽게 파악할 수 있다.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

도 1a는 피사체에 대하여 각도를 달리 하여 카메라로 촬영하는 것을 나타낸 도면이다.

도 1b는 피사체에 대하여 정면 방향에서 촬영한 영상이다.

도 1c는 피사체에 대하여 대각선 방향에서 촬영한 영상을 나타낸 예시도이다.

도 2는 본 발명의 실시예에 따른 카메라 영상 보정 시스템의 구성을 나타낸 도면이다.

도 3은 본 발명의 실시예에 따른 카메라 영상 보정 장치의 영상 보정 방법을 나타낸 순서도이다.

도 4a 내지 도 4c는 렌즈 왜곡이 발생하는 것을 설명하기 위한 예시도이다.

도 5는 본 발명의 실시예에 따른 피사체의 영상으로부터 소실점을 추출하는 방법을 설명하기 위한 예시도이다.

도 6a는 포워드 매핑 과정을 설명하기 위한 도면이다.

도 6b는 인버스 매핑 과정을 설명하기 위한 도면이다.

도 7a는 원근 효과가 발생한 영상을 나타낸 예시도이다.

도 7b는 본 발명의 실시예에 따른 원근 효과가 제거된 영상을 나타낸 예시도이다.

Claims (12)

1. 카메라를 통해 촬영된 피사체의 영상을 수신하는 단계,

   상기 피사체의 영상으로부터 소실점의 좌표를 추출하는 단계,

   상기 소실점의 좌표로부터 원근 투영 알고리즘을 구성하는 보정 계수를 산출하는 단계, 그리고

   상기 원근 투영 알고리즘을 이용하여 보정 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 카메라 영상 보정 방법.
2. 제1항에 있어서,

   상기 원근 투영 알고리즘은 아래 수학식으로 표현되는 것을 특징으로 하는 카메라 영상 보정 방법:

   x = X / {(p*X-1)*(q*Y-1) - q*X*p*Y}

   y = Y / {(p*X-1)*(q*Y-1) - q*X*p*Y}

   여기서, x, y 는 각각 보정 전 영상의 좌표를 의미하고, X, Y는 보정 영상의 좌표를 의미하며, p와 q는 보정 계수를 의미한다.
3. 제2항에 있어서,

   상기 보정 계수는 아래 수학식으로 표현되는 것을 특징으로 하는 카메라 영상 보정 방법:

   p = 1/X_{VP1 ,} q = 1/Y_VP2

   여기서, X_VP1은 제1 소실점을 x축 상에 위치시켰을 때, 제1 소실점의 x 좌표 값을 의미하고, Y_VP2는 제2 소실점을 y축 상에 위치시켰을 때, 제2 소실점의 y 좌표 값을 의미한다.
4. 제2항에 있어서,

   상기 보정 영상을 생성하는 단계는,

   인버스 매핑(inverse mapping)을 이용하여 보정 영상을 생성하는 것을 특징으로 하는 카메라 영상 보정 방법.
5. 제1항에 있어서,

   왜곡 보정 알고리즘을 이용하여 상기 피사체 영상의 기하학적 보정을 수행하는 단계를 더 포함하는 것을 특징으로 하는 카메라 영상 보정 방법.
6. 제5항에 있어서,

   상기 왜곡 보정 알고리즘은 상기 카메라에 장착된 렌즈의 초점 거리, 광학 중심점의 좌표, 상기 렌즈의 방사상 왜곡 상수 및 접선 방향 왜곡 상수 중 적어도 하나를 포함하는 것을 특징으로 하는 카메라 영상 보정 방법.
7. 카메라를 통해 촬영된 피사체의 영상을 수신하는 영상 입력부,

   상기 피사체의 영상으로부터 소실점의 좌표를 추출하고, 상기 소실점의 좌표로부터 원근 투영 알고리즘을 구성하는 보정 계수를 산출하는 제어부, 그리고

   상기 원근 투영 알고리즘을 이용하여 보정 영상을 생성하는 보정 영상 생성부를 포함하는 것을 특징으로 하는 카메라 영상 보정 장치.
8. 제7항에 있어서,

   상기 원근 투영 알고리즘은 아래 수학식으로 표현되는 것을 특징으로 하는 카메라 영상 보정 장치:

   x = X / {(p*X-1)*(q*Y-1) - q*X*p*Y}

   y = Y / {(p*X-1)*(q*Y-1) - q*X*p*Y}

   여기서, x, y 는 각각 보정 전 영상의 좌표를 의미하고, X, Y는 보정 영상의 좌표를 의미하며, p와 q는 보정 계수를 의미한다.
9. 제8항에 있어서,

   상기 보정 계수는 아래 수학식으로 표현되는 것을 특징으로 하는 카메라 영상 보정 장치:

   p = 1/X_{VP1 ,} q = 1/Y_VP2

   여기서, X_VP1은 제1 소실점을 x축 상에 위치시켰을 때, 제1 소실점의 x 좌표 값을 의미하고, Y_VP2는 제2 소실점을 y축 상에 위치시켰을 때, 제2 소실점의 y 좌표 값을 의미한다.
10. 제8항에 있어서,

    상기 보정 영상 생성부는,

    인버스 매핑(inverse mapping)을 이용하여 보정 영상을 생성하는 것을 특징으로 하는 카메라 영상 보정 장치.
11. 제7항에 있어서,

    상기 제어부는,

    왜곡 보정 알고리즘을 이용하여 상기 피사체 영상의 기하학적 보정을 수행하는 것을 특징으로 하는 카메라 영상 보정 장치.
12. 제11항에 있어서,

    상기 왜곡 보정 알고리즘은 상기 카메라에 장착된 렌즈의 초점 거리, 광학 중심점의 좌표, 상기 렌즈의 방사상 왜곡 상수 및 접선 방향 왜곡 상수 중 적어도 하나를 포함하는 것을 특징으로 하는 카메라 영상 보정 장치.

Images