KR101239671B1 - 렌즈에 의한 왜곡 영상 보정방법 및 그 장치 - Google Patents

렌즈에 의한 왜곡 영상 보정방법 및 그 장치 Download PDF

Info

Publication number
KR101239671B1
KR101239671B1 KR1020110049532A KR20110049532A KR101239671B1 KR 101239671 B1 KR101239671 B1 KR 101239671B1 KR 1020110049532 A KR1020110049532 A KR 1020110049532A KR 20110049532 A KR20110049532 A KR 20110049532A KR 101239671 B1 KR101239671 B1 KR 101239671B1
Authority
KR
South Korea
Prior art keywords
distortion
image
straight line
lens
linear
Prior art date
Application number
KR1020110049532A
Other languages
English (en)
Other versions
KR20120131394A (ko
Inventor
조효문
신재혁
정진한
Original Assignee
(주)에이딕
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에이딕 filed Critical (주)에이딕
Priority to KR1020110049532A priority Critical patent/KR101239671B1/ko
Publication of KR20120131394A publication Critical patent/KR20120131394A/ko
Application granted granted Critical
Publication of KR101239671B1 publication Critical patent/KR101239671B1/ko

Links

Images

Classifications

    • G06T5/80—

Abstract

본 발명은 렌즈에 의한 왜곡 영상 보정방법 및 그 장치에 관한 것으로, 본 발명의 일 실시예에 따른 렌즈에 의한 왜곡 영상 보정방법은, 대상 객체의 직선 부분의 복비와, 렌즈를 통해 상기 객체를 촬영한 영상 중 상기 객체의 직선 부분이 투영된 부분의 복비를 비교하여 복비(cross-ratio) 왜곡을 추정하는 복비 왜곡 추정단계와, 상기 영상 중 상기 객체의 직선 부분에 포함되는 점들을 상기 직선 부분을 전최소자승법을 이용하여 근사화한 직선과 비교하여 직선 왜곡을 추정하는 직선 왜곡 추정단계와, 상기 복비 왜곡과 상기 직선 왜곡을 이용하여 상기 렌즈의 왜곡 파라미터를 추정하는 왜곡 파라미터 추정단계와, 상기 렌즈의 왜곡 파라미터를 이용하여 상기 영상의 왜곡을 보정하는 왜곡 영상 보정단계를 포함한다.
본 발명에 따르면, 렌즈를 통해 획득한 영상에서 최적의 렌즈 왜곡 파라미터를 계산하여 왜곡된 영상을 보정함으로써, 영상의 가장자리 부분으로 갈수록 여러 개의 평행한 직선 성분들이 곡선으로 표시되는 왜곡 현상을 최소화할 수 있다.

Description

렌즈에 의한 왜곡 영상 보정방법 및 그 장치{METHOD AND APPARATUS FOR CORRECTING DISTORTION OF IMAGE BY LENS}
본 발명은 렌즈에 의한 왜곡 영상 보정방법 및 그 장치에 관한 것으로, 더욱 상세하게는 비측량법(nonmetric method)을 이용하여 렌즈에 의한 왜곡 영상을 보정하는 기술에 관한 것이다.
오늘날 카메라를 이용한 응용분야는 산업 전반에 걸쳐 다양하며 그 응용분야는 점점 방대해지고 있다. 예컨대, 조립라인의 로봇 제어, 상품의 품질 검사, 의료분야의 진단, 보안 시스템, 영상 시스템의 인식 등 카메라는 사람의 눈을 대신하여 산업계의 자동화에 활용되고 있는 추세이다. 최근에는 디지털 카메라 외에도 스마트폰, 태블릿 PC, 차량용 블랙박스와 같은 휴대용 기기에 고성능의 카메라 모듈이 탑재되어 다양한 영상 정보를 획득할 수 있게 되었다.
일반적으로 객체에 대한 정밀도 높은 영상을 얻으려 할 경우에는 협각(narrow-angle lens)의 렌즈를 카메라의 앞 부분에 장치하여 사용하고, 객체의 크기가 커서 넓은 영역을 관찰하여야 할 경우에는 광각 렌즈(wide-angle lens)를 장치하여 사용한다. 광각 렌즈를 사용하는 경우, 넓은 시야를 확보할 수 있다는 장점을 가지는 반면, 렌즈의 중심부분은 해상도가 높고 렌즈의 외각부분으로 갈수록 점차 해상도가 떨어지는 단점이 있다. 또한, 광각 렌즈는 외각부분의 해상도 저하와 함께 외각부분으로 갈수록 영상이 휘어지는 왜곡, 즉 방사 왜곡(radial distortion)이 두드러진다. 이러한 방사 왜곡은 해상도 저하의 주요 요인이기도 하다.
또한, 컴퓨터 비전 (computer vision)과 사진측량법 (photogrammetry)분야에서 렌즈 왜곡 보상 (lens distortion correction)은 매우 중요한 연구 주제 중 하나이다. 특히, 방사형 렌즈 왜곡 (radial lens distortion)은 광각 렌즈에서 가장 심각하게 발생할 뿐만 아니라 줌-렌즈의 경우에는 초점거리의 변화에 따라 왜곡이 변하기 때문에 카메라 위치 추적이나 3차원 모델링과 같은 분야에서는 방사형 렌즈 왜곡을 매우 중요하게 다루고 있다.
일반적으로 렌즈 왜곡 보상은 크게 측량법(metric method)과 비측량법(nonmetric method)으로 구분한다. 측량법은 3차원 좌표를 알 수 있는 특징점을 갖는 교정 격자(calibration grid)를 이용한다. 교정 격자는 카메라의 내부/외부 계수를 측정할 때 사용하는 패턴 영상이다. 따라서 교정 격자를 이용하면 카메라의 계수뿐만 아니라 렌즈의 왜곡 계수를 동일한 알고리즘 틀 안에서 동시에 측정할 수 있다.
비측량법은 직선 또는 소실점 (vanishing points)과 같은 기하학적으로 불변하는 영상 특징들을 사용한다. 기존의 비측량법들은 이상적인 핀홀 (pinhole) 카메라 모델에서 3차원 공간상의 직선은 영상에서도 직선으로 투영되어야 한다는 사실에 기반하여 연추선 (plumb line) 검출에 집중하였다. 이 외의 다른 비측량법으로는 다시점 영상에서 영상간의 대응점만을 이용하는 방법 등이 있다. 그러나, 이러한 방법은 객체가 여러 직선을 포함하고, 그 직선이 평행인 경우에는 영상 왜곡을 제대로 복원하지 못하는 문제점이 있다.
본 발명이 이루고자 하는 기술적인 과제는, 대상 객체에 대한 영상을 렌즈를 통해 획득함에 있어서, 대상 객체의 투영된 이미지 중 평행한 여러 개의 선들의 복비 왜곡과 실제로 투영되어야 할 직선과의 왜곡을 최소화하여 렌즈에 따른 영상 왜곡을 보정하는 보정방법 및 그 장치를 제공하기 위한 것이다.
본 발명의 일 실시예에 따른 렌즈에 의한 왜곡 영상 보정방법은, 대상 객체의 직선 부분의 복비와, 렌즈를 통해 상기 객체를 촬영한 영상 중 상기 객체의 직선 부분이 투영된 부분의 복비를 비교하여 복비(cross-ratio) 왜곡을 추정하는 복비 왜곡 추정단계와, 상기 영상 중 상기 객체의 직선 부분에 포함되는 점들을 상기 직선 부분을 전최소자승법을 이용하여 근사화한 직선과 비교하여 직선 왜곡을 추정하는 직선 왜곡 추정단계와, 상기 복비 왜곡과 상기 직선 왜곡을 이용하여 상기 렌즈의 왜곡 파라미터를 추정하는 왜곡 파라미터 추정단계와, 상기 렌즈의 왜곡 파라미터를 이용하여 상기 영상의 왜곡을 보정하는 왜곡 영상 보정단계를 포함한다.
또한, 상기 복비 왜곡 추정단계는, 상기 객체의 직선인 부분에 포함되는 임의의 점들 간의 복비와, 상기 임의의 점들이 상기 영상에 투영된 부분의 복비 왜곡인 Jcr를 다음의 수학식을 이용하여 구할 수 있다:
Figure 112011039147268-pat00001
여기서, p는 실제 공간상에서 상기 객체의 직선인 부분의 임의의 점을, q는 p가 상기 영상에 투영된 점을, l은 직선을, n은 직선의 개수를, m은 각 직선에 포함된 점의 개수를 나타낸다.
또한, 상기 직선 왜곡 추정단계는, 상기 객체의 직선인 부분에 포함되는 임의의 점들이 상기 영상에 투영된 점들과 상기 근사화한 직선과의 직선 왜곡인 Jst를 다음의 수학식을 이용하여 구할 수 있다:
Figure 112011039147268-pat00002
여기서, l은 직선을, m은 각 직선에 포함된 점의 개수를, n은 직선의 개수를, di는 상기 투영된 임의의 점 i와 상기 직선 간의 거리를 나타낸다.
또한, 상기 왜곡 파라미터는 원주 왜곡 계수 또는 왜곡 중점 좌표를 포함할 수 있다.
또한, 상기 왜곡 파라미터는 상기 복비 왜곡과 상기 직선 왜곡이 최소화되도록 설정할 수 있다.
본 발명의 일 실시예에 따른 렌즈에 의한 왜곡 영상 보정장치는, 대상 객체의 직선 부분의 복비와, 렌즈를 통해 상기 객체를 촬영한 영상 중 상기 객체의 직선 부분이 투영된 부분의 복비를 비교하여 복비(cross-ratio) 왜곡을 추정하는 복비 왜곡 추정부와, 상기 영상 중 상기 객체의 직선 부분에 포함되는 점들을 상기 직선 부분을 전최소자승법을 이용하여 근사화한 직선과 비교하여 직선 왜곡을 추정하는 직선 왜곡 추정부와, 상기 복비 왜곡과 상기 직선 왜곡을 이용하여 상기 렌즈의 왜곡 파라미터를 추정하는 왜곡 파라미터 추정부와, 상기 렌즈의 왜곡 파라미터를 이용하여 상기 영상의 왜곡을 보정하는 왜곡 영상 보정부를 포함한다.
본 발명에 따르면, 렌즈를 통해 획득한 영상에서 최적의 렌즈 왜곡 파라미터를 계산하여 왜곡된 영상을 보정함으로써, 영상의 가장자리 부분으로 갈수록 여러 개의 평행한 직선 성분들이 곡선으로 표시되는 왜곡 현상을 최소화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 렌즈에 의한 왜곡 영상 보정장치의 구성도,
도 2는 도 1에 따른 렌즈에 의한 왜곡 영상 보정방법의 흐름도,
도 3은 도 2에 따른 렌즈에 의한 왜곡 영상의 복비 왜곡을 추정하는 것을 설명하기 위한 예시도,
도 4는 도 2에 따른 렌즈에 의한 왜곡 영상의 직선 왜곡을 추정하는 것을 설명하기 위한 예시도,
도 5는 도 2에 따른 렌즈에 의한 왜곡 영상의 왜곡 파라미터를 추정하는 것을 설명하기 위한 예시도,
도 6은 도 2에 따른 렌즈에 의한 왜곡 영상 보정방법을 적용한 영상을 설명하기 위한 예시도이다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다. 사용되는 용어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 사용자, 운용자의 의도 또는 판례 등에 따라 달라질 수 있다. 그러므로 후술하는 실시예들에서 사용된 용어의 의미는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 당업자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 렌즈에 의한 왜곡 영상 보정장치의 구성도이다.
도 1을 참조하면, 왜곡 영상 보정장치(100)는 복비 왜곡 추정부(110), 직선 왜곡 추정부(120), 왜곡 파라미터 추정부(130), 왜곡 영상 보정부(140)를 포함한다. 왜곡 영상 보정장치(100)는 외부의 카메라(도시되지 않음)로부터 대상 객체에 대한 영상을 입력받으며, 이 경우 해당 영상은 렌즈를 통해 촬영된다. 복비 왜곡 추정부(110)는 카메라로부터 영상을 입력받고, 실제 공간상에서 객체의 직선 부분의 복비와 렌즈를 통해 객체를 촬영한 영상 중 객체의 직선 부분이 투영된 부분의 복비를 비교하고, 복비 왜곡를 추정한다. 복비(cross-ratio)는 사영기하학에서 사영을 특징지을 때 가장 중요한 비율이다. 한 직선을 중심점에서 다른 직선 위로 사영할 때, 처음 직선에 대한 길이의 복비는 다른 직선에 대응하는 길이의 비와 같다. 사영은 측정된 길이와 각에 대한 대부분의 거리관계를 왜곡시키기지만, 복비는 변하지 않으므로 중요한 척도가 된다. 복비 왜곡 추정부(110)는 추정된 복비 왜곡를 왜곡 파라미터 추정부(130)로 출력한다.
직선 왜곡 추정부(120)는 외부의 카메라로부터 대상 객체에 대한 영상을 입력받고, 입력된 영상 중 객체의 직선 부분이 투영된 부분과 직선 부분을 전최소자승법(Total Least Square)을 이용하여 근사화한 직선과 비교하여 직선 왜곡을 추정한다. 객체의 직선인 부분은 영상에서도 직선으로 표현되어야 렌즈에 의한 영상의 왜곡이 없는 것이기 때문에, 객체에 직선으로 표현되는 부분을 선택하여 각 직선에 포함되는 다수의 점들을 분석한다. 이 경우, 전최소자승법에 의해 근사화한 직선 부분에서 벗어난 점들이 존재하기 때문에 영상이 왜곡되는 것이다. 따라서, 근사화한 직선을 벗어난 점들이 존재하는 경우, 근사화한 직선과 이를 벗어난 점들 간의 거리, 각도를 계산하여 직선 왜곡을 추정하게 된다. 직선 왜곡 추정부(120)는 추정된 직선 왜곡에 관한 데이터를 왜곡 파라미터 추정부(130)로 출력한다.
왜곡 파라미터 추정부(130)는 복비 왜곡 추정부(110), 직선 왜곡 추정부(120)와 연결되어 그로부터 입력된 복비 왜곡과 직선 왜곡 데이터를 이용하여 렌즈의 왜곡 파라미터를 추정한다. 왜곡 파라미터 추정부(130)는 원주 왜곡(radial distortion) 계수 또는 왜곡 중점 좌표를 포함하는 왜곡 파라미터를 추정한다. 또한, 왜곡 파라미터 추정부(130)는 왜곡 파라미터를 추정시 복비 왜곡와 직선 왜곡의 합이 최소화되도록 설정된다. 왜곡 파라미터 추정부(130)는 추정된 왜곡 파라미터를 왜곡 영상 보정부(140)로 출력한다.
왜곡 영상 보정부(140)는 왜곡 파라미터 추정부(130)와 연결되어, 그로부터 입력된 왜곡 파라미터를 이용하여 영상의 왜곡을 보정한다. 왜곡 영상 왜곡 파라미터의 원주 왜곡 계수 또는 왜곡 중점 좌표를 기준으로 영상 내의 왜곡을 보정한다. 왜곡 영상 보정부(140)는 보정된 영상을 외부의 디스플레이(표시되지 않음)에 표시되도록 출력하는 것도 가능하다.
이하, 도 2를 통해 렌즈에 의한 왜곡 영상 보정방법에 관해 구체적으로 설명하도록 한다.
도 2는 도 1에 따른 렌즈에 의한 왜곡 영상 보정방법의 흐름도이다.
도 2를 참조하면, 먼저 복비 왜곡 추정부(110)는 외부의 촬영기기로부터 렌즈를 통해 촬영된 대상 객체의 영상을 입력받아, 객체의 직선 부분을 추출하여 실제 공간상의 직선 부분의 복비(cross-ratio)와 렌즈에 의해 투영된 영상 내의 직선부분의 복비를 계산하고, 이를 비교하여 복비 왜곡을 추정한다(S100). 복비 왜곡 추정부(110)는 실제 공간상에서 객체의 직선 부분에 포함되는 임의의 점들을 설정하고, 해당 점들 간의 복비와, 렌즈에 의해 투영된 영상에서 해당 직선 부분에 포함되는 점들을 간의 복비를 계산한다. 복비를 계산하는 과정은 도 3을 통해 후술하도록 한다.
도 3은 도 2에 따른 렌즈에 의한 왜곡 영상의 복비 왜곡을 추정하는 것을 설명하기 위한 예시도이다.
도 3을 참조하면, 실제 공간상의 객체의 직선(L1)을 영상 내의 객체의 직선(L2)상에 투영시키는 경우, 복비 왜곡 추정부(110)는 실제 공간상의 객체의 직선(L1)에 포함되는 점들(A', B', C', D')과 영상 내의 객체의 직선(L2)에 포함되는 점들(A, B, C, D)을 설정하게 된다. 이 경우, 실제 공간상의 객체의 직선(L1)과 영상 내의 객체의 직선(L2)은 서로 길이와 각도가 다를 수 있지만 복비는 일정하게 유지되는 특성을 이용한다. 이러한 복비의 특성을 다음의 수학식 1 내지 수학식 3과 같이 나타낼 수 있다.
Figure 112011039147268-pat00003
Figure 112011039147268-pat00004
Figure 112011039147268-pat00005
수학식 1은 영상 내의 객체의 직선(L2)에 포함되는 점들(A, B, C, D)의 복비를 나타낸 것이고, 수학식 2는 실제 공간상의 객체의 직선(L1)에 포함되는 점들(A', B', C', D')의 복비를 나타낸 것이다. 수학식 3은 실제 공간상의 객체의 직선(L1)의 복비와 영상 내의 객체의 직선(L2)에 포함되는 점들(A, B, C, D)의 복비가 서로 같음을 나타낸다. 이러한 관계를 이용하여, 평면상의 일직선에 포함되는 점들에 대한 복비 왜곡의 추정은 다음의 수학식 4를 이용하여 구할 수 있다.
Figure 112011039147268-pat00006
수학식 4에서, 실제 공간상에서 객체의 직선인 부분의 임의의 점들 간의 복비와, 임의의 점들이 렌즈에 의해 영상에 투영된 부분의 복비 왜곡인 Jcr를 구할 수 있다. 여기서, p는 실제 공간상에서 객체의 직선 부분에 포함되는 임의의 점을, q는 p가 상기 영상에 투영된 점을, l은 직선을, n은 직선의 개수를, m은 각 직선에 포함되는 점의 개수를 나타낸다. 수학식 4에서 복비 왜곡인 Jcr가 최소화될수록 복비 왜곡이 줄어들게 된다. 각 점은 수평 방향과 수직 방향으로 두 개의 직선의 교차점에 속하기 때문에 복비 왜곡인 Jcr가 최소화되면, 각 점의 왜곡을 최소화할 수 있다.
다시 도 2를 참조하면, 다음으로 직선 왜곡 추정부(120)는 외부의 카메라로부터 대상 객체에 대한 영상을 입력받고, 입력된 영상 중 객체의 직선 부분이 투영된 부분과 직선 부분을 전최소자승법(Total Least Square)을 이용하여 근사화한 직선과 비교하여 직선 왜곡을 추정한다(S110). 영상 내에는 객체의 직선부분에 대응하여 직선으로 표시되어야 하나, 광각 렌즈 등의 사용으로 인해 영상의 중점에서 외곽부분으로 갈수록 직선이 곡선형태 등으로 표시될 수 있다. 직선 왜곡 추정부(120)에 대한 구체적인 설명은 도 4를 참조하여 후술하도록 한다.
도 4는 도 2에 따른 렌즈에 의한 왜곡 영상의 직선 왜곡을 추정하는 것을 설명하기 위한 예시도이다.
도 4를 참조하면, 영상 내의 점들(픽셀들)은 각각 m개의 점들로 구성된 n개의 직선들로 분리될 수 있다. 따라서, 각 점들은 해당하는 점들에 근사화된 직선들에 대하여 정확하게 피팅하는 작업이 필요하다. 직선 왜곡 추정부(120)는 전최소자승법(Total Least Square)을 이용하여 각 점들에 대한 최적의 직선을 설정한다. 이 경우, 한 점(qi)에서 근사화한 최적의 직선(l) 간의 거리(di)는 다음의 수학식 5를 이용하여 구할 수 있다.
Figure 112011039147268-pat00007
수학식 5에서,
Figure 112011039147268-pat00008
는 근사화한 직선에 대한 노멀 벡터를 나타내고, c는 상수를 나타낸다. 이 경우, 특이값분해(Singular Value Decomposition, SVD)를 이용하여 계수들을 구할 수 있다.
결과적으로, 실제 공간상에서 객체의 직선 부분에 포함되는 임의의 점들이 렌즈에 의해 영상에 투영된 점들과 이를 근사화한 직선과의 직선 왜곡인 Jst를 다음의 수학식 6을 이용하여 구할 수 있다.
Figure 112011039147268-pat00009
여기서, l은 근사화한 직선을, m은 각 직선에 포함된 점의 개수를, n은 직선의 개수를, di는 투영된 임의의 점 i와 근사화한 직선 l 간의 거리를 나타낸다. 각 점은 수평 방향과 수직 방향으로 두 개의 직선에 속하기 때문에 직선 왜곡 Jst가 최소화되면, 각 점의 왜곡을 최소화할 수 있다.
다시 도 2를 참조하면, 다음으로 왜곡 파라미터 추정부(130)는 복비 왜곡 추정부(110)와 직선 왜곡 추정부(120)로부터 입력된 복비 왜곡 및 직선 왜곡에 관한 데이터를 이용하여 렌즈의 왜곡 파라미터를 추정한다(S120). 이 경우, 렌즈의 왜곡 파라미터는 원주 왜곡 계수 또는 왜곡 중점 좌표를 포함한다. 왜곡 파라미터를 추정하는 방법과 관련해서는 도 5를 참조하여 구체적으로 설명하도록 한다.
도 5는 도 2에 따른 렌즈에 의한 왜곡 영상의 왜곡 파라미터를 추정하는 것을 설명하기 위한 예시도이다.
도 5를 참조하면, 대상 객체를 촬영한 영상(200)에서 방사형 왜곡(radial distortion)과 접선형 왜곡(tangential distortion)을 위한 표준 모델은 왜곡된 영상 좌표(202)인 qd=(ud, vd)를 왜곡되지 않은 영상 좌표(203)인 qp=(up, vp)로 매핑하는 것이다. 이 경우, 왜곡되지 않은 영상 좌표(203)인 qp=(up, vp)는 다음의 수학식 7로 구할 수 있다.
Figure 112011039147268-pat00010
수학식 7에서,
Figure 112011039147268-pat00011
과, k1, k2, k3,..은 방사형 왜곡의 계수이며, rd는 (cu, cv)로 정의되는 왜곡 중점(201)으로부터 왜곡된 영상 좌표(202)까지의 거리를 나타낸다. 통상적으로, 방사형 왜곡의 하나 또는 둘 이상의 파라미터는 더 높은 차수의 형식으로 모델링되고, 다른 왜곡들은 비교적 관련이 적다. 따라서, 수학식 7은 수학식 8과 같이 모델링되는 것이 가능하다.
Figure 112011039147268-pat00012
따라서, 렌즈 왜곡 영상에 대한 보정을 위한 왜곡 파라미터는 왜곡 계수 k와 왜곡 중점인 (cu, cv)를 정하는 것이 중요하다. 왜곡 파라미터를 구하기 위해서, 앞의 수학식 4와 수학식 6을 결합할 수 있다. 이는 수학식 9로 표현될 수 있다.
Figure 112011039147268-pat00013
수학식 9에서 왜곡 함수 J는 복비 왜곡 함수인 Jcr과 직선 왜곡 함수인 Jst를 합산한 것으로, 왜곡 함수 J가 0이 되도록 하는 왜곡 계수 k, 왜곡 중점(cu, cv)을 왜곡 파라미터로 설정할 수 있다.
다시 도 2를 참조하면, 왜곡 영상 보정부(140)는 왜곡 파라미터 추정부(130)로부터 왜곡 파라미터를 입력받아 영상의 왜곡을 보정한다(S130). 왜곡 계수 k와 왜곡 중점(cu, cv)을 이용하여 영상의 왜곡을 보정하는 방법은 일반적인 보정 방법이다. 왜곡 영상 보정부(140)를 통해 보정된 영상은 도 6을 통해 설명하도록 한다.
도 6은 도 2에 따른 렌즈에 의한 왜곡 영상 보정방법을 적용한 영상을 설명하기 위한 예시도이다.
도 6을 참조하면, 보정 전 영상(a)의 경우 영상의 가운데에서 외곽쪽 방향으로 갈수록 곡면과 같은 왜곡이 발생한다. 따라서, 실제 공간상에서 평형인 문의 외곽선이나, 책상의 외곽선들이 곡선 형태로 나타남을 알 수 있다. 그러나, 본 발명의 왜곡 영상 보정방법에 따라 대상 객체의 영상을 보정한 경우에는 영상 내의 문이나 책장 등에서 여러 개의 직선 성분이 평행하게 나타남으로써, 화면의 외곽 부분에 방사형 왜곡 등의 현상이 매우 감소됨을 알 수 있다.
본 발명에 따르면, 렌즈를 통해 획득한 영상에서 최적의 렌즈 왜곡 파라미터를 계산하여 왜곡된 영상을 보점함으로써, 영상의 가장자리 부분으로 갈수록 여러 개의 평행한 직선 성분들이 곡선으로 표시되는 왜곡 현상을 최소화할 수 있다.
이상에서 본 발명은 도면을 참조하면서 기술되는 바람직한 실시예를 중심으로 설명되었지만 이에 한정되는 것은 아니다. 따라서 본 발명은 기재된 실시예로부터 도출 가능한 자명한 변형예를 포괄하도록 의도된 특허청구범위의 기재에 의해 해석되어져야 한다.
100 : 왜곡 영상 보정장치 110 : 복비 왜곡 추정부
120 : 직선 왜곡 추정부 130 : 왜곡 파라미터 추정부
140 : 왜곡 영상 보정부 200 : 영상
201 : 왜곡 중점 202 : 왜곡된 영상 좌표
203 : 왜곡되지 않은 영상 좌표

Claims (10)

  1. 대상 객체의 직선 부분의 복비와, 렌즈를 통해 상기 객체를 촬영한 영상 중 상기 객체의 직선 부분이 투영된 부분의 복비를 비교하여 복비(cross-ratio) 왜곡을 추정하는 복비 왜곡 추정단계;
    상기 영상 중 상기 객체의 직선 부분에 포함되는 점들을 상기 직선 부분을 전최소자승법을 이용하여 근사화한 직선과 비교하여 직선 왜곡을 추정하는 직선 왜곡 추정단계;
    상기 복비 왜곡과 상기 직선 왜곡을 이용하여 상기 렌즈의 왜곡 파라미터를 추정하는 왜곡 파라미터 추정단계; 및
    상기 렌즈의 왜곡 파라미터를 이용하여 상기 영상의 왜곡을 보정하는 왜곡 영상 보정단계;
    를 포함하는 렌즈에 의한 왜곡 영상 보정방법.
  2. 제1항에 있어서, 상기 복비 왜곡 추정단계는,
    상기 객체의 직선인 부분에 포함되는 임의의 점들 간의 복비와, 상기 임의의 점들이 상기 영상에 투영된 부분의 복비 간의 복비 왜곡인 Jcr를 다음의 수학식을 이용하여 구하는 렌즈에 의한 왜곡 영상 보정방법:
    Figure 112012059960455-pat00014

    여기서, p는 실제 공간상에서 상기 객체의 직선인 부분의 임의의 점을, q는 p가 상기 영상에 투영된 점을, l은 직선을, n은 직선의 개수를, m은 각 직선에 포함된 점의 개수를 나타낸다.
  3. 제1항에 있어서, 상기 직선 왜곡 추정단계는,
    상기 객체의 직선인 부분에 포함되는 임의의 점들이 상기 영상에 투영된 점들과 상기 근사화한 직선과의 직선 왜곡인 Jst를 다음의 수학식을 이용하여 구하는 렌즈에 의한 왜곡 영상 보정방법:
    Figure 112011039147268-pat00015

    여기서, l은 직선을, m은 각 직선에 포함된 점의 개수를, n은 직선의 개수를, di는 상기 투영된 임의의 점 i와 상기 직선 간의 거리를 나타낸다.
  4. 제1항에 있어서,
    상기 왜곡 파라미터는 원주 왜곡 계수 또는 왜곡 중점 좌표를 포함하는 렌즈에 의한 왜곡 영상 보정방법.
  5. 제1항에 있어서,
    상기 왜곡 파라미터는 상기 복비 왜곡과 상기 직선 왜곡의 합이 최소화되도록 설정되는 렌즈에 의한 왜곡 영상 보정방법.
  6. 대상 객체의 직선 부분의 복비와, 렌즈를 통해 상기 객체를 촬영한 영상 중 상기 객체의 직선 부분이 투영된 부분의 복비를 비교하여 복비(cross-ratio) 왜곡을 추정하는 복비 왜곡 추정부;
    상기 영상 중 상기 객체의 직선 부분에 포함되는 점들을 상기 직선 부분을 전최소자승법을 이용하여 근사화한 직선과 비교하여 직선 왜곡을 추정하는 직선 왜곡 추정부;
    상기 복비 왜곡과 상기 직선 왜곡을 이용하여 상기 렌즈의 왜곡 파라미터를 추정하는 왜곡 파라미터 추정부; 및
    상기 렌즈의 왜곡 파라미터를 이용하여 상기 영상의 왜곡을 보정하는 왜곡 영상 보정부;
    를 포함하는 렌즈에 의한 왜곡 영상 보정장치.
  7. 제6항에 있어서, 상기 복비 왜곡 추정부는,
    상기 객체의 직선인 부분에 포함되는 임의의 점들 간의 복비와, 상기 임의의 점들이 상기 영상에 투영된 부분의 복비 간의 복비 왜곡인 Jcr를 다음의 수학식을 이용하여 구하는 렌즈에 의한 왜곡 영상 보정장치:
    Figure 112012059960455-pat00016

    여기서, p는 실제 공간상에서 상기 객체의 직선인 부분의 임의의 점을, q는 p가 상기 영상에 투영된 점을, l은 직선을, n은 직선의 개수를, m은 각 직선에 포함된 점의 개수를 나타낸다.
  8. 제6항에 있어서, 상기 직선 왜곡 추정부는,
    상기 객체의 직선인 부분에 포함되는 임의의 점들이 상기 영상에 투영된 점들과 상기 근사화한 직선과의 직선 왜곡인 Jst를 다음의 수학식을 이용하여 구하는 렌즈에 의한 왜곡 영상 보정장치:
    Figure 112011039147268-pat00017

    여기서, l은 직선을, m은 각 직선에 포함된 점의 개수를, n은 직선의 개수를, di는 상기 투영된 임의의 점 i와 상기 직선 간의 거리를 나타낸다.
  9. 제6항에 있어서,
    상기 왜곡 파라미터는 원주 왜곡 계수 또는 왜곡 중점 좌표를 포함하는 렌즈에 의한 왜곡 영상 보정장치.
  10. 제6항에 있어서,
    상기 왜곡 파라미터는 상기 복비 왜곡과 상기 직선 왜곡의 합이 최소화되도록 설정되는 렌즈에 의한 왜곡 영상 보정장치.
KR1020110049532A 2011-05-25 2011-05-25 렌즈에 의한 왜곡 영상 보정방법 및 그 장치 KR101239671B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110049532A KR101239671B1 (ko) 2011-05-25 2011-05-25 렌즈에 의한 왜곡 영상 보정방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110049532A KR101239671B1 (ko) 2011-05-25 2011-05-25 렌즈에 의한 왜곡 영상 보정방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20120131394A KR20120131394A (ko) 2012-12-05
KR101239671B1 true KR101239671B1 (ko) 2013-03-11

Family

ID=47515219

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110049532A KR101239671B1 (ko) 2011-05-25 2011-05-25 렌즈에 의한 왜곡 영상 보정방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101239671B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101976843B1 (ko) * 2017-09-20 2019-05-15 주식회사 쓰리아이 렌즈 파라미터의 보정방법 및 이를 수행하는 단말기
US10869023B1 (en) * 2019-06-21 2020-12-15 Google Llc Method and apparatus for correcting lenticular distortion

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004086747A (ja) 2002-08-28 2004-03-18 Chinon Ind Inc 歪曲収差測定方法及び画像処理装置
JP2006146471A (ja) 2004-11-18 2006-06-08 Nikon Corp 撮像装置、画像補正方法および画像処理プログラム
KR100996897B1 (ko) 2009-02-10 2010-11-29 전남대학교산학협력단 직선 핏팅에 의한 광각렌즈의 원주방향의 왜곡영상 보정 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004086747A (ja) 2002-08-28 2004-03-18 Chinon Ind Inc 歪曲収差測定方法及び画像処理装置
JP2006146471A (ja) 2004-11-18 2006-06-08 Nikon Corp 撮像装置、画像補正方法および画像処理プログラム
KR100996897B1 (ko) 2009-02-10 2010-11-29 전남대학교산학협력단 직선 핏팅에 의한 광각렌즈의 원주방향의 왜곡영상 보정 방법

Also Published As

Publication number Publication date
KR20120131394A (ko) 2012-12-05

Similar Documents

Publication Publication Date Title
US9094672B2 (en) Stereo picture generating device, and stereo picture generating method
US10176554B2 (en) Camera calibration using synthetic images
CN105096329B (zh) 一种精确校正超广角摄像头图像畸变的方法
US9883163B2 (en) Method and system for determining camera parameters from a long range gradient based on alignment differences in non-point image landmarks
JP5961945B2 (ja) 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
KR101014572B1 (ko) 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치
JP6079333B2 (ja) 校正装置、方法及びプログラム
US9595106B2 (en) Calibration apparatus, calibration method, and program
TW201717613A (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
CN101563709A (zh) 校准照相机系统
JP2009042162A (ja) キャリブレーション装置及びその方法
WO2016042779A1 (ja) 三角測量装置、三角測量方法およびそのプログラムを記録した記録媒体
EP3332387B1 (en) Method for calibration of a stereo camera
US10205928B2 (en) Image processing apparatus that estimates distance information, method of controlling the same, and storage medium
US20170032529A1 (en) Method of calibrating a helmet and a system therefor
WO2020208686A1 (ja) カメラ校正装置、カメラ校正方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
KR101482645B1 (ko) Ｆｏｖ왜곡 보정 모델에 2ｄ패턴을 적용한 왜곡중심 보정 방법
JP2013246606A (ja) データ導出装置、及び、データ導出方法
JP2012198031A (ja) 画像補正方法及び画像補正装置
Santana-Cedrés et al. Estimation of the lens distortion model by minimizing a line reprojection error
JP2011155412A (ja) 投影システムおよび投影システムにおける歪み修正方法
KR101239671B1 (ko) 렌즈에 의한 왜곡 영상 보정방법 및 그 장치
CN107492080B (zh) 免定标便捷的单目镜头图像径向畸变矫正方法
JP2010217984A (ja) 像検出装置及び像検出方法
KR101222009B1 (ko) 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 렌즈 왜곡 보정 시스템과 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160226

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180226

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190225

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200227

Year of fee payment: 8