KR101144375B1 - 영상의 왜곡을 보정하는 방법 및 이러한 방법을 사용하는 장치 - Google Patents

Abstract

영상의 왜곡을 보정하는 방법 및 이러한 방법을 사용하는 장치가 개시되어 있다. 영상의 왜곡을 보정하는 방법은 영상의 렌즈 왜곡 중심 정보를 포함하는 중심점 벡터를 구하고 상기 중심점 벡터를 기초로 상기 영상을 적어도 두개의 블록으로 분할하는 단계, 분할된 적어도 두개의 블록의 대표 방향을 산출하고 블록에서 대표 방향과 일치하지 않는 아웃라이어 벡터를 제거하여 렌즈 왜곡 중심을 추정하는 단계를 포함할 수 있다. 따라서, 모든 렌즈를 이용한 기기를 통하여 생성된 영상에 대해서 왜곡 중심 추정을 통한 정확한 영상 보정이 가능하며, 렌즈 왜곡 중심 추정 성능을 향상시키는 영상 내용을 추려내어 렌즈 왜곡의 보정 성능을 향상시키는 영상 내용과 열화시키는 영상 내용을 구분지음으로써 다른 영상 보정 기법들에 비해 뛰어난 영상 보정 효과를 가진다.

Description

영상의 왜곡을 보정하는 방법 및 이러한 방법을 사용하는 장치{METHODS OF CORRECTIING IMAGE DISTORTION AND APPARATUSES FOR USING THE SAME}

본 발명은 영상의 왜곡을 보정하는 방법 및 이러한 방법을 사용하는 장치에 관한 것으로써, 더욱 상세하게는 영상에 발생된 왜곡을 보정하는 방법과 이러한 방법을 사용하는 장치에 관한 것이다.

컴퓨터를 이용한 영상 처리 기술은 대용량의 메모리칩 개발과 함께 컴퓨터 처리 속도가 급격히 향상됨에 따라서 산업 전반에 걸쳐 두루 이용되고 있는 추세이다. 특히 공장 자동화 라인에서의 검사 측정 부분이나 실시간 웹기반 모니터링 시스템 증에 있어서는 필수적인 요소 기술이 되고 있다. 어안 렌즈와 같은 광각 렌즈를 이용하면 동일한 FOV(Field of View)내에서 보다 넓은 영역의 이미지를 획득할 수 있는 장점이 있는 반면, 영상의 중심으로부터 멀어질수록 왜곡의 정도가 심하여 이를 위하여 기하학적 보정을 필요로 한다.

입력 영상의 보정과 관련하여 기존의 많은 연구자들이 카메라나 VCR 등의 왜곡 영상 보정 기술을 발표한 바 있다. Rahul은 광각렌즈에 의한 왜곡보정을 위하여 Radial Distortion과 Decentering Distortion을 종합한 카메라 보정방법에 관하여 연구한 바 있으며 Weng은 카메라를 통하여 입력된 영상을 보정하는 알고리즘에 대하여 연구하였다. Tsai는 1차 FFT(Fast Fourier Transform)을 이용한 보정식을 발표하였으며, 영상 중심점을 보정하기 위하여 Rigid Body 변환과 Pin Hole 카메라에 대한 원근 방정식과 2차항으로 표현되는 Radial Distortion 식을 사용하여 보정하였다.

대부분의 연구자들은 광각이 크지 않은 카메라 등에 있어서 대각선 방향 등에 나타나는 왜곡에 대한 보정 모델의 일반적인 식을 사용하고, Minimizing Method를 사용하여 각각의 계수들을 구하여 보정하였으며, 보정 모델에 대한 일반식의 복잡성 때문에 고차항들을 무시하고 특정 비전 환경과 왜곡 유형에 한정하여 적용하였다.

광학계의 성능을 좌우하는 중요한 인자로서 수차(Aberration)을 들 수 있다. 이는 일정한 곡률과 굴절률을 갖는 렌즈의 속성에 의하여 발생하는 현상으로, 결상할 때 상이 제대로 맺히지 않아서 흐리게 보이거나 일그러지는 현상을 말한다.

렌즈 수차는 일반적으로 구면(Spherical) 수차, 코마(Coma) 수차, 비점(Astigmatism) 수차, 상면 만곡(Field Curvation) 수차 및 왜곡(Distortion) 수차 등 5가지 유형으로 분류되며, 이를 통칭하여 자이델 수차(Seidel Aberration)이라고 한다.

구면 수차는 결상할 때 렌즈의 중심을 지나는 수직축, 즉, 광축(On Axis)의 가까운 위치로부터 입사된 광선보다 광축으로부터 먼 위치에서 입사한 광선이 보다 많이 굴절되고, 결상 위치 또한 렌즈에 가까운 위치로 결상하는 현상을 나타낸다.

비점 수차는 렌즈 연마 불량, 렌즈 재료 불량 및 온도차 등에 의하여 발생한다.

상면 만곡 수차 현상은 광축에서 멀리 떨어진 곳으로부터 입사되는 빛일수록 렌즈에서 가까운 위치에서 결상되고, 따라서, 초점은 편면상이 아닌 구면 위에 형성되어 만곡된 상을 만들게 되는 것이다.

왜곡 수차는 피사체의 직선 부분이 휘어져서 결상되는 현상을 말한다.

색수차는 빛이 렌즈를 통과할 때 파장에 따라 굴절의 차이가 생기므로 굴절 결과 파장이 짧은 빛이 더 심하게 굴절되어 각각 다르게 결상되어 그 결과 물체가 색깔별로 번지는 것처럼 보이다.

방사형의 왜곡은 저렴한 렌즈를 구비한 카메라에서 잘 나타나며 특수 기능을 위한 어안렌즈나 틸트 렌즈에서 특히 두드러진다. 이러한 렌즈 왜곡 현상은 렌즈를 이용한 모든 영상 장치에서 발생하는 문제이며 이러한 렌즈 왜곡의 중심점이 파악되지 않는 경우에는 렌즈 왜곡 보정이 불가능하거나 보정을 한다고 해도 보정 후에 새로운 왜곡이 발생하게 된다. 영상 왜곡의 문제는 디지털 이미징 시스템 제조자 및 핵심 구성 요소 공급자에게 매우 중요하다.

렌즈 왜곡 현상을 경감하기 위해 렌즈에 특수한 소재를 사용하거나 여러 개의 렌즈를 덧붙여 제작하는 방법을 사용할 수 있다. 하지만 이러한 방법은 렌즈의 가격을 높이게 되기 때문에 렌즈의 교체가 불가능한 소형 카메라에서는 적용이 불가능하다는 문제점이 있다. 또한, 여러 개의 렌즈를 사용하는 경우 왜곡 중심이 틀어지는 문제가 발생하게 된다.

이러한 문제점 때문에 영상처리를 통해 이러한 왜곡을 보정하는 법들이 많이 개발되고 있다. 현재까지의 왜곡 보정 기술은 촬영시의 카메라 셋팅이나 특정 테스트 패턴을 촬영한 영상을 이용하는 방법을 주로 사용한다. 부수적인 정보가 없이 영상 정보만을 이용해서 렌즈 왜곡을 보정하는 자동 보정 방법의 연구로 점차 이어져 가고 있다.

기존의 많은 기법들은 대부분 분석과 보정이 용이한 방사형 렌즈 왜곡 보정 기법에 초점을 맞추고 있다. 특히 소형 카메라에서의 렌즈 왜곡 보정을 위해 영상처리 기법을 통한 렌즈 왜곡 보정 기법들의 연구가 진행되었다. 주로 방사형 렌즈 왜곡에 초점을 맞추어 왜곡의 중심점을 기준으로 왜곡의 정도를 파악하여 렌즈 왜곡을 보정하는 기법들이 연구되었다. 곡선의 세트 및 직선의 세트와 곡선의 세트 간의 수차를 설명하는 등식 세트 전체가 풀어지게 최적화함으로써 왜곡된 이미지에서 보정된 이미지로의 전체적인 왜곡 정도를 계산하게 된다.

대부분의 보정 기법들은 렌즈 왜곡 보정시에는 방사형 렌즈 왜곡 발생의 중심점을 정확하게 추정하느냐에 따라 보정 성능이 크게 달라지는 문제점이 있다.

또한, 많은 보정 기법들이 렌즈 왜곡의 중심이 영상의 중심과 일치한다는 가정을 포함하고 있다. 방사형 렌즈 왜곡은 왜곡 중심점을 기준으로 왜곡이 결정되기 때문에 렌즈 왜곡의 중심이 영상의 중심과 일치한다는 가정이 틀린 경우에는 보정이 불가능하거나 추가적인 왜곡이 발생한다. 현재 카메라 기술의 발달과 사용자들의 이미지 처리 기술의 발달로 다양한 특수렌즈와 촬영기법이 사용되고 있으며 촬영 후의 영상을 부분적으로 잘라내는 등의 영상처리를 많이 하게 되었다. 부분적으로 잘라낸 영상에 대해서는 렌즈 왜곡의 중심점과 영상의 중심이 일치하지 않는 경우가 발생하기 때문에 영상의 보정 성능이 열화된다.

따라서, 본 발명의 제1 목적은 렌즈의 왜곡 중심을 추정하여 영상의 왜곡을 보정하는 방법을 제공하는 것이다.

또한, 본 발명의 제2 목적은 렌즈의 왜곡 중심을 추정하여 영상의 왜곡을 보정하는 방법을 구현하는 장치를 제공하는 것이다.

상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상의 왜곡을 보정하는 방법은 상기 영상의 렌즈 왜곡 중심 정보를 포함하는 중심점 벡터를 구하고 상기 중심점 벡터를 기초로 상기 영상을 적어도 두개의 블록으로 분할하는 단계, 상기 분할된 적어도 두개의 블록의 대표 방향을 산출하고 상기 블록에서 상기 대표 방향과 일치하지 않는 아웃라이어 벡터를 제거하여 렌즈 왜곡 중심을 추정하는 단계를 포함할 수 있다. 상기 영상의 중심점 벡터를 구하고 상기 영상의 중심점 벡터를 기초로 상기 영상을 두개의 블록으로 분할하는 단계는 상기 영상에 포함된 곡선의 호에 포함된 점을 상기 중심점 벡터의 시작점으로 하고 상기 곡선의 현에 포함된 점을 상기 중심점 벡터의 끝점으로 하여 상기 중심점 벡터를 추출하는 단계와 상기 중심점 벡터의 개수를 기준으로 상기 중심점 벡터의 개수가 분할된 블록에서 동일하거나 하나 더 많은 수가 되도록 상기 영상을 분할하는 단계를 포함할 수 있다. 상기 영상에 포함된 곡선의 호에 포함된 점을 상기 중심점 벡터의 시작점으로 하고 상기 곡선의 현에 포함된 점을 상기 중심점 벡터의 끝점으로 하여 상기 중심점 벡터를 추출하는 단계는 상기 호의 중심점을 상기 중심점 벡터의 시작점으로 하고, 상기 호의 중심점으로부터 상기 곡선의 현에 수선을 내려 상기 곡선의 현과 만나는 점을 상기 중심점 벡터의 끝점으로 할 수 있다. 상기 영상의 중심점 벡터를 구하고 상기 영상의 중심점 벡터를 기초로 상기 영상을 적어도 두개의 블록으로 분할하는 단계는 상기 영상을 분할한 블록 중 하나의 블록의 상기 대표 방향이 다른 경우, 상기 영상의 분할을 중단할 수 있다. 상기 분할된 적어도 두개의 블록의 대표 방향을 산출하고 상기 블록에서 상기 대표 방향과 일치하지 않는 아웃라이어 벡터를 제거하여 렌즈 왜곡 중심을 추정하는 단계는 렌즈 왜곡 중심이 존재하는 후보 영역을 검출하는 단계와 상기 렌즈 왜곡 중심이 존재하는 후보 영역을 기초로 렌즈 왜곡 중심을 검출하는 단계를 포함할 수 있다. 상기 렌즈 왜곡 중심이 존재하는 후보 영역을 검출하는 단계는 상기 아웃 라이어 벡터를 제거한 상기 중심점 벡터를 양자화하고 상기 양자화된 중심점 벡터가 가리키는 영역들 중 가장 많이 겹치는 영역을 상기 렌즈 왜곡 중심이 존재하는 후보 영역으로 검출할 수 있다. 상기 렌즈 왜곡 중심이 존재하는 후보 영역을 기초로 렌즈 왜곡 중심을 검출하는 단계는 상기 렌즈 왜곡 중심이 존재하는 후보 영역의 중심을 상기 렌즈 왜곡 중심으로 추정할 수 있다.

또한 상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상의 왜곡을 보정하는 장치는 영상이 입력되는 영상 입력부, 상기 영상입력부에서 입력된 영상을 제공받아 상기 영상의 렌즈 왜곡 중심 정보를 포함하는 중심점 벡터를 구하고 상기 중심점 벡터를 기초로 상기 영상을 적어도 두개의 블록으로 분할하고, 상기 분할된 적어도 두개의 블록의 대표 방향을 산출하여 상기 블록에서 상기 대표 방향과 일치하지 않는 아웃라이어 벡터를 제거하여 렌즈 왜곡 중심을 추정하는 영상 보정부를 포함할 수 있다. 상기 영상 보정부는 상기 영상 입력부에서 제공된 상기 영상을 기초로 중심점 벡터를 구하고 상기 중심점 벡터를 기초로 영상을 분할하는 영상 분할부, 상기 영상 분할부에서 제공된 분할된 영상의 중심점 벡터를 기초로 한 대표 방향을 기초로 상기 대표 방향과 일치하지 않는 아웃라이어 벡터를 제거하는 아웃라이어 벡터 제거부, 상기 아웃라이어 벡터 제거부에서 제공된 블록을 기초로 상기 블록에 포함된 중심점 벡터를 기초로 렌즈 왜곡 중심 후보 영역을 검출하는 렌즈 왜곡 중심 후보 영역 추정부와 상기 렌즈 왜곡 중심 후보 영역 검출부에서 제공된 렌즈 왜곡 중심 후보 영역에 포함되는 렌즈 왜곡 중심을 추정하는 렌즈 왜곡 중심 추정부를 포함할 수 있다. 상기 영상 분할부는 상기 영상에 포함된 곡선의 호에 포함된 점을 상기 중심점 벡터의 시작점으로 하고 상기 곡선의 현에 포함된 점을 상기 중심점 벡터의 끝점으로 하여 상기 중심점 벡터를 추출하고 상기 중심점 벡터의 개수를 기준으로 상기 중심점 벡터의 개수가 분할된 블록에서 동일하거나 하나 더 많은 수가 되도록 상기 영상을 분할할 수 있다. 상기 영상 분할부는 상기 호의 중심점을 상기 중심점 벡터의 시작점으로하고, 상기 호의 중심점으로부터 상기 곡선의 현에 수선을 내려 상기 곡선의 현과 만나는 점을 상기 중심점 벡터의 끝점으로 할 수 있다. 상기 렌즈 왜곡 중심 후보 영역 추정부는 상기 아웃 라이어 벡터를 제거한 상기 중심점 벡터를 양자화하고 상기 양자화된 중심점 벡터가 가리키는 영역들 중 가장 많이 겹치는 영역을 상기 렌즈 왜곡 중심이 존재하는 후보 영역으로 추정할 수 있다. 상기 렌즈 왜곡 중심 추정부는 상기 렌즈 왜곡 중심이 존재하는 후보 영역의 중심을 상기 렌즈 왜곡 중심으로 추정할 수 있다.

상술한 바와 같이 본 발명의 실시예에 따른 영상의 왜곡을 보정하는 방법 및 이러한 방법을 사용하는 장치에 따르면, 렌즈 왜곡이 나타나는 영상에서 렌즈 왜곡의 중심점을 추정하고 렌즈 왜곡의 중심점을 기준으로 왜곡이 일어나지 않은 선들을 검출한 후 이러한 왜곡이 일어나지 않은 선들을 제거하고 렌즈 왜곡 중심 추정의 정확도를 높일 수 있는 선들만을 이용하여 렌즈 왜곡 중심점을 파악할 수 있다.

따라서, 모든 렌즈를 이용한 기기를 통하여 생성된 영상에 대해서 왜곡 중심 추정을 통한 정확한 영상 보정이 가능하며, 렌즈 왜곡 중심 추정 성능을 향상시키는 영상 내용을 추려내어 렌즈 왜곡의 보정 성능을 향상시키는 영상 내용과 열화시키는 영상 내용을 구분지음으로써 다른 영상 보정 기법들에 비해 뛰어난 영상 보정 효과를 가진다.

도 1은 본 발명의 일실시예에 따른 렌즈 왜곡을 설명하기 위한 개념도이다.
도 2는 본 발명의 일실시예에 따른 렌즈 왜곡이 일어난 영상을 나타낸 것이다.
도 3은 본 발명의 일실시예에 따른 렌즈 왜곡 중심 추정 벡터를 산출하는 방법을 나타낸다.
도 4는 본 발명의 일실시예에 따른 영상에 존재하는 벡터들을 그룹화하고 영역을 블록으로 나누는 방법을 나타내는 개념도이다.
도 5는 본 발명의 일실시예에 따른 인라이어 벡터들을 양자화하여 렌즈 왜곡 중심을 검출하는 방법을 설명하기 위한 개념도이다.
도 6은 본 발명의 일실시예에 따른 렌즈 왜곡 중심 추정 방법을 나타낸 순서도이다.
도 7 본 발명의 다른 실시예에 따른 왜곡된 영상을 보정하는 방법을 나타낸 순서도이다.
도 8은 본 발명의 일실시예에 따른 왜곡된 영상을 보정하는 장치를 나타낸 개념도이다.
도 9는 본 발명의 일실시예에 따른 렌즈 왜곡 중심 추정 방법을 이용해 영상에 존재하는 왜곡을 보정한 것을 나타낸 것이다.
도 10은 본 발명의 일실시예에 따른 렌즈 왜곡 중심 추정 방법을 이용해 영상에 존재하는 왜곡을 보정한 것을 나타낸 것이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

아웃라이어 벡터는 실험 또는 관찰을 통하여 데이터를 수집했을 때, 데이터의 전반적인 양상에서 벗어나는 벡터로 정의 될 수 있다. 인라이어 벡터는 데이터의 전반적인 양상에서 벗어나지 않는 벡터로 정의될 수 있다.

도 1은 본 발명의 일실시예에 따른 렌즈 왜곡을 설명하기 위한 개념도이다.

도 1을 참조하면, 방사형 렌즈 왜곡은 픽셀에서 렌즈 왜곡 중심

까지의 거리를 이용해 모델링 될 수 있다. 아래의 수학식 1은 픽셀에서 렌즈 왜곡 중심까지의 거리 정보를 이용해 렌즈의 왜곡을 모델링한 것이다.

위의 수학식 1에서 왜곡된 픽셀에서 렌즈 왜곡 중심

까지의 거리는

이고 렌즈의 왜곡 정도를 나타내는 파라미터는

이다. 렌즈 왜곡이 일어나지 않은 영상의 좌표는

, 렌즈 왜곡이 일어난 영상의 좌표는

로 표현될 수 있다.

아래의 수학식 2는 왜곡 된 픽셀과 렌즈 왜곡 중심 사이의 거리를 정의하는

를 나타낸 것이다.

기존의 렌즈 왜곡 보정 기법은 영상의 중심점과 렌즈 왜곡의 중심점이 동일하다는 가정 하에 보정을 하지만, 렌즈 왜곡이 일어난 영상은 렌즈 왜곡 중심점인

가 영상의 중심과 일치하지 않아 영상의 중심점과 렌즈 왜곡의 중심점이 동일하다는 가정하에 수학식 1을 적용할 경우 렌즈 왜곡 보정이 불가능하다.

본 발명의 일실시예에 따르면, 영상의 중심점과 렌즈 왜곡 중심점이 같다는 가정을 하지 않고 렌즈 왜곡 중심점을 따로 구하여 영상에 발생한 왜곡을 보정할 수 있다.

아래의 수학식 3은 렌즈의 왜곡 정도를 나타내는 파라미터는

의 값 중

의 값을 고려하여 영상의 왜곡 정도를 추정하는 식이다.

파라미터는

의 값 중

의 값이 렌즈의 왜곡 정도에 미치는 영향이 크므로 수학식 1에서 파라미터

만을 고려하여 간편화한 모델링을 수행할 수 있다.

하지만, 본 발명의 일실시예에서는 설명의 편의 및 계산 복잡도 상 파라미터

를 사용하여 영상에 발생한 왜곡을 보정하는 것을 예시한다. 하지만, 이러한 영상에 발생한 왜곡을 보정하기 위한 렌즈 왜곡 파라미터는 선택적으로 복수개의 파라미터를 사용할 수 있다.

상기 전술한 수학식 1 내지 수학식 3을 이용하여 렌즈 왜곡 중심을 기초로 왜곡된 영상을 보정하는 방법은 하나의 실시예로써 본 발명의 본질에서 벋어나지 않는 한 렌즈 왜곡 중심을 이용하여 수학식 1 내지 수학식 3을 이용하는 방법과 다른 방법을 사용하여 왜곡된 영상을 보정할 수 있다.

도 2는 본 발명의 일실시예에 따른 렌즈 왜곡이 일어난 영상을 나타낸 것이다.

도 2를 참조하면, 도 2의 상단은 왜곡이 일어나지 않은 일반적인 영상, 도 2의 중단에 나타난 영상은 렌즈 왜곡이 일어난 영상으로써 영상의 중심과 렌즈 왜곡의 중심점이 일치하는 영상이다.

도 2의 하단은 렌즈 왜곡이 일어난 영상의 일부분을 편집하여 나타낸 것으로 영상의 중심과 렌즈 왜곡의 중심이 어긋나 있는 영상을 나타낸다.

도 3은 본 발명의 일실시예에 따른 렌즈 왜곡 중심 추정 벡터를 산출하는 방법을 나타낸다.

도 3을 참조하면, 렌즈 왜곡의 중심을 추정하기 위해, 영상 내의 곡선을 이용하여 렌즈 왜곡의 중심을 추정하는 중심점 벡터를 구할 수 있다.

중심점 벡터는 영상의 곡선에 포함되는 점을 벡터의 시작점으로 하고 곡선의 현을 만들고 현에 포함되는 점을 벡터의 끝점으로 하는 벡터로써 렌즈 왜곡 중심을 구하기 위해 사용되는 벡터이다.

영상 내의 곡선을 기초로 왜곡이 일어나기 전의 직선 형태를 나타내는 선을 구할 수 있다. 이러한 직선은 수학식 1 및 수학식 3을 통해 렌즈 왜곡 모델링을 수행하여 변환된 직선과 정확히 일치되지는 않아서 왜곡의 정도를 정확히 파악할 수 는 없다.

곡선의 중심점인

에서 시작하여 점

에서 직선에 수선을 내려 도착한 점

에서 끝나는 중심점 벡터는 렌즈 왜곡 중심점이 있는 방향을 가리키게 된다. 렌즈 왜곡 중심을 구하기 위해 영상에 존재하는 모든 곡선들에 대해 이러한 방법을 사용하여 중심점 벡터를 추출할 수 있다.

본 발명의 실시예에서는 설명의 편의상 렌즈 왜곡 중심을 구하기 위해 벡터를 사용하는 방법을 사용하였으나 벡터가 아닌 다른 형태를 사용하여 렌즈 왜곡 중심을 가리킬 수 있다. 예를 들어, 수학적인 모델링을 사용하여 벡터를 사용하지 않고 모델링된 직선을 이용하여 렌즈 왜곡 중심을 찾을 수 있다.

실제 왜곡이 일어나지 않았을 때의 영상인 원본 영상에서 직선이었던 선이 렌즈 왜곡이 발생됨으로써 영상이 왜곡되고 이로 인해 생성된 벡터는 렌즈 왜곡 중심을 추정하는데 도움이 되는 정보를 가질 수 있다. 하지만, 크기가 너무 작거나 실제의 원본 영상에서 직선이었던 선이 곡선으로 왜곡된 경우가 아닌 경우 렌즈 왜곡 중심을 추정하는데 잘못된 정보를 가질 수 있다.

렌즈 왜곡 중심을 추정하는데 잘못된 정보를 제공하는 벡터를 아웃라이어 벡터라고 할 수 있고, 이러한 잘못된 정보를 가진 벡터인 아웃라이어 벡터들을 제거하기 위하여 벡터를 그룹화시켜 아웃라이어 벡터를 제거하는 방법을 사용할 수 있다.

영상에 포함된 곡선을 찾기 위해서는 다양한 방법이 사용될 수 있고 본 발명의 일실시예에 따르면 이러한 곡선 검출 방법은 특정한 방법으로 한정되지 않는다.

예를 들어, 영상의 에지를 검출하고 난 후, 이 에지를 표현하는 픽셀들을 연결시켜 선들을 검출할 수 있다. 검출된 선들을 연결시키면 곡선들로 만들게 되는데, 곡선의 길이, 각도, 거리등을 몇 가지 임계값들을 이용하여 영상의 렌즈 왜곡 중심을 추정하기 위한 곡선을 생성할 수 있다. 이러한 방법 외에도 Hough transform 등을 이용하는 방법을 선들을 검출해 낼 수 있다.

이러한 방법들을 이용하여 곡선을 검출한 후 해당 곡선에 대한 중심점 벡터를 검출하기 위한 직선을 생성할 수 있다.

예를 들어, 회귀선(Regression Line)을 이용하여 곡선의 모든 픽셀에 대하여 직선에 대한 수직 거리의 제곱의 합을 보았을 대 가장 차이가 적게 되는 선을 찾아내고 찾아낸 직선이 왜곡이 일어나기 전의 선과 비슷알 것이라고 추정하여 이용할 수 있다.

본 발명의 일실시예에 따르면, 곡선과 직선을 기초로 중심점 벡터를 찾기 위한 방법으로 영상에 포함된 곡선의 호에 포함된 점을 중심점 벡터의 시작점으로 하고 곡선의 현에 포함된 점을 중심점 벡터의 끝점으로 하여 중심점 벡터를 구할 수 있다.

또한, 각 호와 현의 점 중에서 호의 중심점을 중심점 벡터의 시작점으로 하고, 호의 중심점으로부터 곡선의 현에 수선을 내려 곡선의 현과 만나는 점을 중심점 벡터의 끝점으로 할 수 있다.

하지만 본 발명의 본질에서 벋어나지 않는 한 렌즈 왜곡 중심을 찾아내기 위한 벡터를 산출하기 위한 직선은 전술한 방법과 다른 방법으로 찾아낸 직선이 될 수 있고 이러한 방법 또한 본 발명의 권리범위에 포함된다.

도 4는 본 발명의 일실시예에 따른 영상에 존재하는 벡터들을 그룹화하고 영역을 블록으로 나누는 방법을 나타내는 개념도이다.

추출된 중심점 벡터들은 영상의 가로 축과 세로 축에 대하여 같은 그룹화 과정을 수행할 수 있다. 이하 본 발명의 실시예에서는 설명의 편의상, 가로 축을 기준으로 영상을 그룹화하고 영역을 블록으로 나누는 과정에 대해 설명한다.

도 4를 참조하면, 영상의 가로 축을 기준으로 영상 내에 존재하는 중심점 벡터 중에서 특정한 임계값을 넘는 크기를 가지는 중심점 벡터를 구분하여 개수를 셀 수 있다. 전체 영상을 두개의 블록으로 나누고 각 영역에 속하는 중심점 벡터를 그룹화하되 나누어진 두 블록은 각각 같은 개수의 벡터 시작점 또는 벡터 끝점을 포함하도록 할 수 있다.

본 발명의 일실시예에 따른 렌즈 왜곡 중심을 추정하는 방법은 중심점 벡터의 개수를 기준으로 전체 영상을 복수개의 블록으로 분할하는 방법을 사용할 수 있다. 중심점 벡터의 개수를 기준으로 영상을 분할하는 방법으로 중심점 벡터의 시작점 또는 끝점과 같은 중심점 벡터의 개수를 산출하는데 있어 일정한 기준이 될 수 있는 부분을 기준으로 각 블록에 포함된 중심점 벡터의 개수를 산출하여 영상을 복수개의 블록으로 분할할 수 있다.

하지만, 중심점 벡터를 이용하여 전체 영상을 분할하여 렌즈 왜곡 중심을 구하는 본 발명의 본질에서 벋어나지 않는 한, 전체 영상에 포함된 중심점 벡터의 분포도 또는 중심점 벡터의 크기와 같은 중심점 벡터가 가질 수 있는 다양한 변수를 활용하는 것도 가능하다.

이하 본 발명의 실시예에서는 설명의 편의상 중심점 벡터의 개수를 기준으로 렌즈 왜곡 중심을 산출하는 방법에 대해 설명하지만, 본 발명의 권리 범위는 중심점 벡터의 개수를 기준으로 렌즈 왜곡 중심을 추정하는 데에 한정되지 않는다.

블록을 나누는 방법에 있어 가장 간단한 방법으로 직선을 사용하여 영상을 두 개의 블록으로 나눌 수 있지만, 본 발명의 본질에서 벋어나지 않는 한 다른 방법을 사용하여 영상을 블록으로 나누는 방법도 가능하다. 예를 들어, 직선에 일정한 각도를 주어 영상을 두 개의 블록으로 나누는 것도 가능하다.

나누어진 블록에는 각각 같은 개수의 중심점 벡터 시작점 또는 끝점을 포함될 수 있다. 중심점 벡터의 개수가 홀수 개인 경우 두 영역 중 한 영역의 개수가 한 개 더 많도록 할 수 있다. 가로 축의 경우, 나누어진 두 블록에 속한 벡터 중 왼쪽 방향을 가리키는 중심점 벡터와 오른쪽 방향을 가리키는 중심점 벡터를 구분하여 각기 개수를 세어 더 많은 중심점 벡터가 가리키는 방향을 해당 블록의 대표 방향으로 할 수 있다.

블록으로 나누고 대표 방향을 생성하는 과정이 끝난 뒤에는 둘로 나누어진 블록의 대표 방향을 살펴본 후 두 블록의 대표 방향이 같은 방향을 가리키면 두 블록 중 두 대표 방향이 가리키는 위치에 존재한 블록을 새로운 영역으로 지정하여 해당 영역에 상기 블록을 나누고 해당 블록의 대표 방향을 구하는 과정을 반복하여 수행할 수 있다.

두 블록의 대표 방향이 다른 경우는 반복 과정을 멈추고 렌즈 왜곡 중심을 추정하는데 잘못된 정보를 제공하는 벡터인 아웃라이어 벡터를 제거할 수 있다.

아웃라이어 벡터를 제거하는 과정을 통해서 인라이어 벡터와 아웃라이어 벡터를 구분하여 렌즈 왜곡 중심 추정 성능을 높일 뿐 아니라 렌즈 왜곡 보정 성능까지 높혀 왜곡된 이미지를 보정하는 효과를 높힐 수 있다.

반복적 블록을 나누는 과정을 수행한 결과 각각의 블록에 포함된 중심점 벡터의 대표 방향과 방향이 다른 중심점 벡터는 렌즈 왜곡 중심을 가리키지 않는 중심점 벡터가 된다. 렌즈 왜곡 중심을 가리키지 않는 벡터를 제거하면 렌즈 왜곡의 중심을 가리키는 벡터인 인라이어 벡터만이 남게 된다.

세로 축에 대해서도 전술한 블록을 나누고 아웃라이어 벡터를 제외하는 동일한 과정을 수행하여 렌즈 왜곡 중심을 가리키는 인라이어 벡터만을 남기는 과정을 수행할 수 있다.

도 4를 참조하면, 도면 상에 표현된 벡터는 제1 블록(400), 제2 블록(410), 제3 블록(420), 제4 블록(430)에 각각 포함될 수 있다.

제1 블록(400) 내지 제4 블록(430)은 설명의 편의상 도면에 미리 나누어 표현한 것으로써 이러한 블록은 아래의 절차에 의해 순차적으로 영역을 나눌 수 있다.

중심점 벡터의 시작점을 기준으로 전체 중심점 벡터의 개수는 제1 블록(400)에 4개, 제2 블록(410)에 3개, 제3 블록(420)에 6개, 제4 블록(430)에 13개가 포함된다.

전체 중심점 벡터는 26개이므로 동일한 수인 13개의 중심점 벡터씩을 기준으로 영상을 나누면, 제1, 2, 및 3 블록(400, 410, 420) 및 제4 블록(430)으로 양분할 수 있다.

제1, 2 및 3 블록(400, 410, 420)에 포함된 중심점 벡터의 다수가 가리키는 대표 방향은 왼쪽 방향이고 제4 블록(430)에 포함된 중심점 벡터가 가리키는 방향 또한 왼쪽 방향이다.

영상에서 분할된 블록에 포함되는 중심점 벡터가 가리키는 대표 방향이 동일한 경우, 대표 방향에 위치한 블록을 다시 분할할 수 있다.

예를 들어, 제1, 2 및 3 블록(400, 410, 420) 및 제4 블록(430)에 포함된 벡터의 대표 방향은 왼쪽 방향이므로 두 블록 중 왼쪽 방향에 위치한 제1, 2 및 3블록(400, 410, 420)을 포함한 영역을 다시 분할할 수 있다.

제1, 2 및 3 블록(400, 410, 420)에 포함된 중심점 벡터는 13개이므로 이를 7개의 중심점 벡터와 6개의 중심점 벡터로 나누면 제1 및 2 블록(400, 410)에 7개의 중심점 벡터가 포함되고 제3 블록(420)에 6개의 중심점 벡터가 포함되도록 나눌 수 있다.

제1 및 2 블록(400, 410)에 포함된 7개의 중심점 벡터 중 다수의 중심점 벡터가 가리키는 중심점 벡터의 방향인 대표 방향은 왼쪽 방향이고, 제3 블록(420)에 포함된 6개의 중심점 벡터 중 다수의 중심점 벡터가 가리키는 대표 방향은 왼쪽 방향이므로 동일한 방법으로 블록의 왼쪽 방향에 위치한 블록인 제1 및 2 블록(400, 410)을 다시 분할할 수 있다.

제1 및 2 블록(400, 410)에는 7개의 블록이 포함되어 있으므로 4개의 중심점 벡터를 포함한 제1 블록(400)과 3개의 중심점 벡터를 포함한 제2 블록으로 나눌 수 있다.

제1 블록(400)에 포함된 중심점 벡터 중 다수의 중심점 벡터가 가리키는 대표 방향은 오른쪽 방향이고 제2 블록(410)에 포함된 중심점 벡터 주 다수의 중심점 벡터가 가리키는 대표 방향은 왼쪽 방향이다. 따라서, 제1 및 제2 블록(400, 410)의 중심점 벡터가 가리키는 방향이 상이하므로, 영상을 분할하는 것을 멈추고 렌즈 왜곡 중심을 추정하는데 잘못된 정보를 제공하는 중심점 벡터인 아웃라이어 벡터를 제거할 수 있다.

제1 블록(400)에서는 왼쪽 방향을 가리키는 중심점 벡터를 제거하고, 제2, 3 및 4 블록(410, 420, 430)에서는 오른쪽 방향을 가리키는 중심점 벡터를 제거할 수 있다.

아웃라이어 벡터를 제거하는 과정을 통해서 인라이어 벡터와 아웃라이어 벡터를 구분하여 렌즈 왜곡 중심 추정 성능을 높일 뿐 아니라 렌즈 왜곡 보정 성능까지 높혀 왜곡된 이미지를 보정하는 효과를 높힐 수 있다.

반복적 블록을 나누는 과정을 수행한 결과 각각의 블록에 포함된 중심점 벡터의 대표 방향과 방향이 다른 중심점 벡터는 렌즈 왜곡 중심을 가리키지 않는 중심점 벡터가 된다. 렌즈 왜곡 중심을 가리키지 않는 중심점 벡터를 제거하면 렌즈 왜곡의 중심을 가리키는 중심점 벡터인 인라이어 벡터만이 남게 된다.

전술한 방법은 영상을 분할하기 위한 하나의 실시예로써 순차적인 분할 방법을 거치지 않고 바로 분할하는 방법도 사용할 수 있다.

즉, 전체 중심점 벡터의 개수를 기초로 짝수개의 블록으로 분할되므로 경우의 수를 기초로 전체 중심점 벡터의 개수가 26개인 경우, 13/13, 13/6/7, 13/6/4/3, 13/6/4/2/1과 같은 경우의 수를 기초로 영상을 나눌 수 있고 이러한 방법을 사용하는 경우 바로 분할 방법을 적용하여 영상을 분할할 수 있고 분할된 영상에 대표 방향이 다른 블록이 존재하는 여부를 판단하여 대표 방향이 다른 블록이 존재하는 하나의 분할 방법을 선택하여 아웃라이어 벡터를 제거할 수 있다.

도 5는 본 발명의 일실시예에 따른 인라이어 벡터들을 양자화하여 렌즈 왜곡 중심을 검출하는 방법을 설명하기 위한 개념도이다.

중심점 벡터를 양자화하는 양자화 과정은 계산의 복잡도를 줄이기 위해 실시하는 것으로 반드시 일어나야 하는 과정이 아니다.

도 5를 참조하면, 인라이어 벡터들이 가리키는 방향을 양자화하여 후보 영역을 렌즈 왜곡 중심이 포함될 수 있는 후보 영역을 검출할 수 있다.

전체 인라이어 벡터들에 대한 후보 영역을 검출하는 경우, 후보 영역 내에 존재하는 렌즈 왜곡 중심점을 찾기 위한 방법으로 인라이어 벡터들이 만드는 곡선들이 직선화되었을 경우 오차가 가장 적게 일어나는 점의 좌표를 검색하는 방법을 사용할 수 있다.

후보 영역을 검출하는 방법을 사용함으로써 렌즈 왜곡 중심이 포함된 후보 영역의 크기를 반복적으로 줄여가며 수행함으로써 후보 영역의 모든 좌표에 대해 수행하는 방법에 비해 계산 복잡도를 줄일 수 있다.

예를 들어, 중심점 벡터의 방향을 8 방향으로 양자화시킬 경우, 영상의 위를 가리키는 중심점 벡터를 0도라고 하면 8개의 방향, 즉, 0/45/90/135/180/225/270/315도의 각도를 가지는 중심점 벡터로 모든 중심점 벡터를 양자화할 수 있다.(예:　70도 벡터의 경우 가장 가까운 양자화한 벡터인 90도 벡터로 양자화함.)

중심점 벡터의 방향이 가리키는 위치가 렌즈 왜곡 중심이 위치한 영역이므로 각 중심점 벡터가 가리키는 영역을 사각형 형태로 표현하여 가장 많은 부분이 겹치는 영역이 렌즈 왜곡 중심이 포함된 후보 영역이 될 수 있다.

예를 들어 제1 중심점 벡터가 가리키는 영역은 제1 영역(500), 제2 중심점 벡터가 가리키는 영역은 제2 영역(510), 제3 중심점 벡터가 가리키는 영역은 제3 영역(520)이다. 제1, 2 및 3영역(500, 510, 520)이 가리키는 영역을 중 가장 많이 겹치는 영역인 제4영역(530)이 렌즈 왜곡 중심이 포함된 후보 영역이 될 수 있다.

본 발명의 일실시예에 따르면 양자화한 중심점 벡터의 방향의 수는 설명의 편의상 제공한 하나의 예시로써 양자화 레벨은 달라질 수 있다.

또한 렌즈 왜곡 중심이 포함된 영역을 찾는 방법 또한 본 발명의 본질에서 벋어나지 않는한 다른 방법을 사용할 수 있다. 예를 들어 양자화한 중심점 벡터 중 가장 많은 중심점 벡터가 가리키는 영역을 렌즈 왜곡 중심이 포함된 영역으로 선택하여 사용할 수도 있다.

렌즈 왜곡 중심이 포함된 영역을 찾은 후 렌즈 왜곡 중심을 추정할 수 있다. 렌즈 왜곡 중심을 추정하기 위해 다양한 방법이 사용될 수 있다.

예를 들어, 계산량을 간단하게 하기 위해 렌즈 왜곡 중심 영역의 중심점을 렌즈 왜곡 중심으로 추정하여 사용할 수 있다. 다른 방법으로 렌즈 왜곡 중심의 정확도를 높이기 위해 영역을 4등분하여 그 등분된 영역의 중심점을 이용하여 왜곡 보정 후의 에러를 살펴보아 한 점을 선택하고 선택된 중심점을 포함하는 영역을 다시 4등분하는 방법으로 영역의 크기가 적당히 작아질 때까지 수행함으로써 렌즈 왜곡 중심을 추정할 수 있다.

즉, 본 발명의 실시예에 따르면, 렌즈 왜곡 중심을 추정하는 방법은 하나의 방법으로 제한되지 않고 본 발명의 본질에서 벋어나지 않는 한 다양한 방법을 이용할 수 있다.

도 6은 본 발명의 일실시예에 따른 렌즈 왜곡 중심 추정 방법을 나타낸 순서도이다.

도 6을 참조하면, 영상의 중심점 정보를 가진 벡터를 구할 수 있다(단계 S600).

중심점 벡터는 일정한 임계값을 기초로 임계값 이상의 값을 가진 중심점 벡터를 선별적으로 중심점 벡터로 이용할 수 있다.

계산의 복잡도를 위해 이러한 임계값을 조절하여 특정한 중심점 벡터만을 중심점 벡터로써 활용할 수 있다.

영상의 중심점 정보를 가진 벡터는 도 3에 도시된 바와 같이 곡선의 중심점을 벡터의 시작점으로 하고 곡선의 중심점에서 수선을 내려 도착한 점을 중심점 벡터의 끝점으로 하는 벡터로써 영상에 존재하는 모든 곡선들에 대해 이러한 방법을 사용하여 중심점 벡터를 추출할 수 있다.

중심점 벡터는 설명의 편의상 렌즈의 왜곡 중심을 나타내기 위한 하나의 실시예로서 벡터가 아닌 다른 표현 형태를 사용하여 렌즈 왜곡 중심을 가리키는 것도 가능하다.

영상에 포함된 곡선을 찾기 위해서는 다양한 방법이 사용될 수 있고 본 발명의 일실시예에 따르면 이러한 곡선 검출 방법은 특정한 방법으로 한정되지 않는다.

예를 들어, 영상의 에지를 검출하고 난 후, 이 에지를 표현하는 픽셀들을 연결시켜 선들을 검출할 수 있다. 검출된 선들을 연결시키면 곡선들로 만들게 되는데, 곡선의 길이, 각도, 거리등을 몇 가지 임계값들을 이용하여 영상의 렌즈 왜곡 중심을 추정하기 위한 곡선을 생성할 수 있다. 이러한 방법 외에도 Hough transform 등을 이용하는 방법을 선들을 검출해 낼 수 있다.

이러한 방법들을 이용하여 곡선을 검출한 후 해당 곡선에 대한 중심점 벡터를 검출하기 위한 직선을 생성할 수 있다.

예를 들어, 회귀선(Regression Line)을 이용하여 곡선의 모든 픽셀에 대하여 직선에 대한 수직 거리의 제곱의 합을 보았을 대 가장 차이가 적게 되는 선을 찾아내고 찾아낸 직선이 왜곡이 일어나기 전의 선과 비슷알 것이라고 추정하여 이용할 수 있다.

하지만 본 발명의 본질에서 벋어나지 않는 한 렌즈 왜곡 중심을 찾아내기 위한 중심점 벡터를 산출하기 위한 직선은 전술한 방법과 다른 방법으로 찾아낸 직선이 될 수 있고 이러한 방법 또한 본 발명의 권리범위에 포함된다.

영상을 블록으로 나눌 수 있다(단계 S610).

영상의 가로 축을 기준으로 영상 내에 존재하는 중심점 벡터 중에서 특정한 임계값을 넘는 크기를 가지는 중심점 벡터를 구분하여 개수를 셀 수 있다. 전체 영상을 두 개의 블록으로 나누고 각 영역에 속하는 중심점 벡터를 그룹화하되 나누어진 두 블록은 각각 같은 개수의 중심점 벡터 시작점 또는 중심점 벡터 끝점을 포함하도록 할 수 있다. 나누어진 블록에는 각각 같은 개수의 중심점 벡터 시작점 또는 끝점을 포함될 수 있다. 중심점 벡터의 개수가 홀수 개인 경우 두 영역 중 한 영역의 개수가 한 개 더 많도록 할 수 있다.

블록의 대표 방향을 산출할 수 있다(단계 S620).

가로 축의 경우, 나누어진 두 블록에 속한 중심점 벡터 중 왼쪽 방향을 가리키는 중심점 벡터와 오른쪽 방향을 가리키는 중심점 벡터를 구분하여 각기 개수를 세어 더 많은 중심점 벡터가 가리키는 방향을 해당 블록의 대표 방향으로 할 수 있다.

세로 축의 경우, 나누어진 두 블록에 속한 중심점 벡터 중 윗 방향과 아랫 방향을 가리키는 중심점 벡터를 구분하여 각기 개수를 세어 더 많은 중심점 벡터가 가리키는 방향을 해당 블록의 대표 방향으로 할 수 있다.

블록의 대표 방향이 일치하는지 여부를 판단할 수 있다(단계 S630).

블록의 대표 방향이 일치하는 경우, 단계 S610으로 돌아가 블록 대표 방향이 가리키는 블록을 다시 더 작은 블록으로 나누는 과정을 수행할 수 있다.

블록의 대표 방향이 일치하지 않는 경우, 영역을 블록으로 나누는 과정을 수행하지 않고 블록 대표 방향과 일치하지 않는 아웃라이어 벡터를 제거하는 과정을 수행할 수 있다(단계 S640).

이상의 본 발명의 실시예에서는 설명의 편의상 가로축을 기준으로 영상을 블록으로 나누는 것을 개시하였지만 가로축에 대해 진행된 단계 S610 내지 단계　S640의 과정을 세로축을 기준으로 동일하게 수행한 방법으로 수행하여 아웃라이어 벡터를 제거하는 과정을 수행할 수 있다.

아웃레이어 벡터를 제거하고 남아있는 인라이어 벡터를 이용해 렌즈 왜곡 중심이 존재하는 후보 영역을 추정할 수 있다(단계 S650).

후보 영역을 검출하는 방법을 사용함으로써 렌즈 왜곡 중심이 포함된 후보 영역의 크기를 반복적으로 줄여가며 수행함으로써 후보 영역의 모든 좌표에 대해 수행하는 방법에 비해 계산 복잡도를 줄일 수 있다.

후보 영역을 검출하는 방법을 이용하여 렌즈 왜곡 중심을 검출하는 계산의 복잡도를 줄일 수 있다.

검출된 렌즈 왜곡 중심이 존재하는 후보 영역을 기초로 렌즈 왜곡 중심을 추정할 수 있다(단계 S660).

렌즈 왜곡 중심이 포함된 영역을 찾은 후 렌즈 왜곡 중심을 추정할 수 있다. 렌즈 왜곡 중심을 추정하기 위해 다양한 방법이 사용될 수 있다.

예를 들어, 계산량을 간단하게 하기 위해 렌즈 왜곡 중심 영역의 중심점을 렌즈 왜곡 중심으로 추정하여 사용할 수 있다. 다른 방법으로 렌즈 왜곡 중심의 정확도를 높이기 위해 영역을 4등분하여 그 등분된 영역의 중심점을 이용하여 왜곡 보정 후의 에러를 살펴보아 한 점을 선택하고 선택된 중심점을 포함하는 영역을 다시 4등분하는 방법으로 영역의 크기가 적당히 작아질 때까지 수행함으로써 렌즈 왜곡 중심을 추정할 수 있다.

즉, 본 발명의 실시예에 따르면, 렌즈 왜곡 중심을 추정하는 방법은 하나의 방법으로 제한되지 않고 본 발명의 본질에서 벋어나지 않는 한 다양한 방법을 이용할 수 있다.

전술한 추정된 렌즈 왜곡 중심을 기초로 수학식 1 내지 수학식 3을 이용하여 영상에 일어난 왜곡을 정확하게 보정할 수 있다.

도 7 본 발명의 다른 실시예에 따른 왜곡된 영상을 보정하는 방법을 나타낸 순서도이다.

도 7을 참조하면, 왜곡된 영상에서 중심점 벡터를 구할 수 있다(단계 S700).

중심점 벡터는 도 6에 단계 S600에 개시된 방법으로 구할 수 있다.

중심점 벡터를 기초로 영상을 복수개의 블록으로 분할할 수 있다(단계 S710).

전체 중심점 벡터의 개수를 기초로 영상이 분할될 수 있는 경우의 수를 계산하여 해당 경우를 대입하여 영상을 분할 할 수 있다.

예를 들어, 전체 중심점 벡터의 개수가 30개인 경우, 15/15, 15/7/8, 15/7/4/4, 15/7/4/2/2 등과 같이 영상이 분할될 수 있는 경우의 수를 기초로 영상을 분할할 수 있다.

특정한 영상의 분할된 경우에서 분할된 블록 중 대표 방향이 다른 블록이 있는 경우 해당 경우를 영상을 렌즈 왜곡 중심을 구하기 위한 영상 분할 방법으로 결정할 수 있다.

분할된 블록의 대표 방향을 기초로 아웃라이어 벡터를 제거할 수 있다(단계 S720).

아웃라이어 벡터를 제거하는 단계를 통해, 블록의 대표 방향과 일치하지 않는 벡터를 제거할 수 있고 렌즈 왜곡 중심 추정의 정확도를 높힐 수 있다.

렌즈 왜곡 중심이 존재하는 후보 영역을 추정할 수 있다(단계 S730).

렌즈 왜곡 중심이 존재하는 후보 영역을 추정하는 것은 도 6의 단계 S650과 동일한 방법으로 추정될 수 있다.

후보 영역을 기초로 렌즈 왜곡 중심을 추정할 수 있다(단계 S740).

렌즈 왜곡 중심은 도 6의 단계 S660과 동일한 방법으로 추정될 수 있다.

추정된 렌즈 왜곡 중심을 기초로 왜곡된 영상을 보정할 수 있다(단계 S750).

렌즈 왜곡 중심을 기초로 왜곡된 영상을 보정하기 위해서 수학식 1 내지 수학식 3의 방법을 사용할 수 있다.

계산의 복잡도 상 수학식 3을 사용하여 간단히 렌즈 왜곡 중심을 기초로 실제의 영상으로 보정하거나, 수학식 1을 이용하여 왜곡된 영상을 보정할 수 있다.

도 8은 본 발명의 일실시예에 따른 왜곡된 영상을 보정하는 장치를 나타낸 개념도이다.

도 8을 참조하면, 왜곡된 영상을 보정하는 장치는 영상 입력부(800), 영상 보정부(810), 영상 출력부(830)를 포함할 수 있다.

영상 보정부(810)에는 영상 분할부(813), 아웃라이어 벡터 제거부(815), 렌즈 왜곡 중심 후보 영역 추정부(817), 렌즈 왜곡 중심 추정부(819), 영상 왜곡 보정부(821)가 포함될 수 있다.

각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합 및 분리된 실시예의 경우도 본 발명의 본질에서 벋어나지 않는 한 본 발명의 권리범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성부는 아니고 단지 성능을 향상 시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

영상 입력부(800)에서는 보정하기 위한 왜곡된 영상이 입력될 수 있다.

영상 보정부(810)에는 영상 분할부(813), 아웃라이어 벡터 제거부(815), 렌즈 왜곡 중심 후보 영역 추정부(817), 렌즈 왜곡 중심 추정부(819), 영상 왜곡 보정부(821)가 포함될 수 있다.

영상 분할부(813)에서는 입력된 왜곡된 영상의 렌즈 왜곡 중심을 찾기 위해 중심점 벡터의 개수를 기초로 영상을 분할 수 있다.

영상 분할부(813)에서는 영상의 렌즈 왜곡 중심 정보를 포함하는 중심점 벡터를 구하고 중심점 벡터를 기초로 영상을 적어도 두개의 블록으로 분할할 수 있다. 또한 분할된 적어도 두개의 블록의 대표 방향을 산출할 수 있다.

중심점 벡터를 기초로 분할된 영상의 블록의 대표 방향을 산출하고 분할된 블록 중 하나의 블록의 대표 방향이 다른 경우, 영상을 분할하는 것을 중단할 수 있다.

아웃 라이어 벡터 제거부(815)에서는 분할된 영상 블록의 대표 방향을 기초로 대표 방향에 일치하지 않는 아웃라이어 벡터를 제거할 수 있다.

렌즈 왜곡 중심 후보 영역 추정부(817)에서는 아웃라이어 벡터를 제거한 영상에 남은 인라이어 벡터들을 기초로 렌즈 왜곡 중심이 위치할 수 있는 후보 영역을 추정할 수 있다.

본 발명의 일실시예에 따르면, 예를 들어, 렌즈 왜곡 중심 후보 영역을 추정하기 위해서는 중심점 벡터가 가리키는 영역 중 가장 많이 겹치는 영역을 렌즈 왜곡 중심 후보 영역으로 구하는 방법을 사용하여 렌즈 왜곡 중심 후보 영역을 추정할 수 있다.

렌즈 왜곡 중심 추정부(817)에서는 추정된 렌즈 왜곡 중심 후보 영역에 포함된 렌즈 왜곡 중심을 추정할 수 있다.

본 발명의 일실시예에 따르면, 계산량을 간단하게 하기 위해 렌즈 왜곡 중심 영역의 중심점을 렌즈 왜곡 중심으로 추정하여 사용할 수 있다. 다른 방법으로 렌즈 왜곡 중심의 정확도를 높이기 위해 영역을 4등분하여 그 등분된 영역의 중심점을 이용하여 왜곡 보정 후의 에러를 살펴보아 한 점을 선택하고 선택된 중심점을 포함하는 영역을 다시 4등분하는 방법으로 영역의 크기가 적당히 작아질 때까지 수행함으로써 렌즈 왜곡 중심을 추정할 수 있다.

영상 왜곡 보정부(821)에서는 렌즈 왜곡 중심 추정부()에서 산출된 렌즈 왜곡 중심을 기초로 영상에 발생된 왜곡을 보정할 수 있다.

본 발명의 일실시예에 따르면 수학식 1 내지 수학식 3을 기초로 왜곡된 영상을 보정하거나, 본 발명의 본질에서 벋어나지 않는 한 구해진 렌즈 왜곡 중심을 기초로 왜곡된 영상을 보정할 수 있다.

영상 출력부(830)에서는 영상 왜곡 보정부(821)에서 보정된 영상을 출력할 수 있다.

도 9는 본 발명의 일실시예에 따른 렌즈 왜곡 중심 추정 방법을 이용해 영상에 존재하는 왜곡을 보정한 것을 나타낸 것이다.

도 9를 참조하면, 도 7의 좌측은 왜곡된 영상을 나타낸 것이고, 도 7의 우측은 왜곡된 영상을 렌즈 왜곡 중심 추정 방법을 이용하여 보정한 영상을 나타낸 것이다.

원래의 이미지인 직선으로 이루어진 체스판에 일어난 왜곡을 본 발명의 일실시예에 따른 렌즈 왜곡 중심을 이용해 보정하는 방법을 사용하여 보정한 결과, 기존의 원래의 이미지인 직선으로 이루어진 체스판 이미지로 보정할 수 있다.

도 10은 본 발명의 일실시예에 따른 렌즈 왜곡 중심 추정 방법을 이용해 영상에 존재하는 왜곡을 보정한 것을 나타낸 것이다.

도 10을 참조하면, 도 8의 좌측은 왜곡된 영상을 나타낸 것이고, 도 7의 우측은 왜곡된 영상을 렌즈 왜곡 중심 추정 방법을 이용하여 보정한 영상을 나타낸 것이다.

원래의 직선으로 이루어진 건물 이미지가 왜곡되어 곡선으로 나타난 것을 보정하여 원래의 이미지인 직선으로 이루어진 건물로 보정한 것이다.

본 발명의 일실시예에 따른 영상의 왜곡을 보정하는 방법은 왜곡을 보정하기 위한 부가적인 정보 없이 렌즈 왜곡이 일어난 영상만을 사용하여 효과적인 렌즈 왜곡 중심 추정을 수행할 수 있다.

본 발명은 렌즈의 교체가 가능하지 않은 소형 카메라로부터 기타 영상 촬영 장치 뿐만 아니라 영상을 보정하는 포토샵과 같은 소프트웨어에도 활용될 수 있다.

본 발명의 일실시예에 따른 영상의 왜곡을 보정하는 방법은 렌즈 왜곡 현상을 경감하기 위해 특수한 소재를 사용하거나 여러개의 렌즈를 덧붙여서 제작하는 기술을 사용하기 어려운, 렌즈의 교체가 불가능한 소형 카메라에서 효과적으로 영상을 보정하는 방법으로써 활용될 수 있다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (13)

1. 영상의 왜곡을 보정하는 방법에 있어서,
   상기 영상의 렌즈 왜곡 중심 정보를 포함하고 상기 영상에서 렌즈 왜곡 중심의 방향을 나타내는 중심점 벡터를 구하고 상기 중심점 벡터를 미리 설정된 기준에 기초해 상기 영상을 적어도 두 개의 블록으로 분할하는 단계; 및
   상기 분할된 적어도 두 개의 블록의 대표 방향을 산출하고 상기 블록에서 상기 대표 방향과 일치하지 않는 아웃라이어 벡터를 제거하고, 상기 아웃라이어 벡터가 제거된 블록의 상기 중심점 벡터의 방향에 기초하여 렌즈 왜곡 중심을 추정하는 단계를 포함하고,
   상기 미리 설정된 기준은,
   상기 중심점 벡터의 개수, 상기 중심점 벡터의 분포도 및 상기 중심점 벡터의 크기 중 어느 하나인 것을 특징으로 하는 영상의 왜곡을 보정하는 방법.
2. 제1항에 있어서, 상기 영상의 렌즈 왜곡 중심 정보를 포함하고 상기 영상에서 렌즈 왜곡 중심의 방향을 나타내는 중심점 벡터를 구하고 상기 중심점 벡터를 미리 설정된 기준에 기초해 상기 영상을 적어도 두 개의 블록으로 분할하는 단계는,
   상기 영상에 포함된 곡선의 호에 포함된 점을 상기 중심점 벡터의 시작점으로 하고 상기 곡선의 현에 포함된 점을 상기 중심점 벡터의 끝점으로 하여 상기 중심점 벡터를 추출하는 단계; 및
   상기 중심점 벡터의 개수를 기준으로 상기 중심점 벡터의 개수가 분할된 블록에서 동일하거나 하나 더 많은 수가 되도록 상기 영상을 분할하는 단계를 포함하는 영상의 왜곡을 보정하는 방법.
3. 제2항에 있어서, 상기 영상에 포함된 곡선의 호에 포함된 점을 상기 중심점 벡터의 시작점으로 하고 상기 곡선의 현에 포함된 점을 상기 중심점 벡터의 끝점으로 하여 상기 중심점 벡터를 추출하는 단계는,
   상기 호의 중심점을 상기 중심점 벡터의 시작점으로 하고, 상기 호의 중심점으로부터 상기 곡선의 현에 수선을 내려 상기 곡선의 현과 만나는 점을 상기 중심점 벡터의 끝점으로 하는 것을 특징으로 하는 영상의 왜곡을 보정하는 방법.
4. 제1항에 있어서, 상기 영상의 렌즈 왜곡 중심 정보를 포함하고 상기 영상에서 렌즈 왜곡 중심의 방향을 나타내는 중심점 벡터를 구하고 상기 중심점 벡터를 미리 설정된 기준에 기초해 상기 영상을 적어도 두 개의 블록으로 분할하는 단계는,
   상기 영상을 분할한 블록 중 하나의 블록의 상기 대표 방향이 다른 경우, 상기 영상의 분할을 중단하는 것을 특징으로 하는 영상의 왜곡을 보정하는 방법.
5. 제1항에 있어서, 상기 분할된 적어도 두 개의 블록의 대표 방향을 산출하고 상기 블록에서 상기 대표 방향과 일치하지 않는 아웃라이어 벡터를 제거하고, 상기 아웃라이어 벡터가 제거된 블록의 상기 중심점 벡터의 방향에 기초하여 렌즈 왜곡 중심을 추정하는 단계는,
   렌즈 왜곡 중심이 존재하는 후보 영역을 검출하는 단계; 및
   상기 렌즈 왜곡 중심이 존재하는 후보 영역을 기초로 렌즈 왜곡 중심을 검출하는 단계를 포함하는 영상의 왜곡을 보정하는 방법.
6. 제5항에 있어서, 상기 렌즈 왜곡 중심이 존재하는 후보 영역을 검출하는 단계는,
   상기 아웃 라이어 벡터를 제거한 상기 중심점 벡터를 양자화하고 상기 양자화된 중심점 벡터가 가리키는 영역들 중 가장 많이 겹치는 영역을 상기 렌즈 왜곡 중심이 존재하는 후보 영역으로 검출하는 것을 특징으로 하는 영상의 왜곡을 보정하는 방법.
7. 제5항에 있어서, 상기 렌즈 왜곡 중심이 존재하는 후보 영역을 기초로 렌즈 왜곡 중심을 검출하는 단계는,
   상기 렌즈 왜곡 중심이 존재하는 후보 영역의 중심을 상기 렌즈 왜곡 중심으로 추정하는 것을 특징으로 하는 영상의 왜곡을 보정하는 방법.
8. 영상의 왜곡을 보정하는 장치에 있어서,
   영상이 입력되는 영상 입력부; 및
   상기 영상 입력부에서 입력된 영상을 제공받아 상기 영상의 렌즈 왜곡 중심 정보를 포함하고 상기 영상에서 렌즈 왜곡 중심의 방향을 나타내는 중심점 벡터를 구하고 상기 중심점 벡터를 미리 설정된 기준에 기초해 상기 영상을 적어도 두 개의 블록으로 분할하고, 상기 분할된 적어도 두 개의 블록의 대표 방향을 산출하여 상기 블록에서 상기 대표 방향과 일치하지 않는 아웃라이어 벡터를 제거하고, 상기 아웃라이어 벡터가 제거된 블록의 상기 중심점 벡터의 방향에 기초하여 렌즈 왜곡 중심을 추정하는 영상 보정부를 포함하고,
   상기 미리 설정된 기준은,
   상기 중심점 벡터의 개수, 상기 중심점 벡터의 분포도 및 상기 중심점 벡터의 크기 중 어느 하나인 것을 특징으로 하는 영상의 왜곡을 보정하는 장치.
9. 제8항에 있어서, 상기 영상 보정부는,
   상기 영상 입력부에서 제공된 상기 영상을 기초로 중심점 벡터를 구하고 상기 중심점 벡터를 기초로 영상을 분할하는 영상 분할부;
   상기 영상 분할부에서 제공된 분할된 영상의 중심점 벡터를 기초로 한 대표 방향을 기초로 상기 대표 방향과 일치하지 않는 아웃라이어 벡터를 제거하는 아웃라이어 벡터 제거부;
   상기 아웃라이어 벡터 제거부에서 제공된 블록을 기초로 상기 블록에 포함된 중심점 벡터를 기초로 렌즈 왜곡 중심 후보 영역을 검출하는 렌즈 왜곡 중심 후보 영역 추정부;및
   상기 렌즈 왜곡 중심 후보 영역 검출부에서 제공된 렌즈 왜곡 중심 후보 영역에 포함되는 렌즈 왜곡 중심을 추정하는 렌즈 왜곡 중심 추정부를 포함하는 영상의 왜곡을 보정하는 장치.
10. 제9항에 있어서, 상기 영상 분할부는,
    상기 영상에 포함된 곡선의 호에 포함된 점을 상기 중심점 벡터의 시작점으로 하고 상기 곡선의 현에 포함된 점을 상기 중심점 벡터의 끝점으로 하여 상기 중심점 벡터를 추출하고 상기 중심점 벡터의 개수를 기준으로 상기 중심점 벡터의 개수가 분할된 블록에서 동일하거나 하나 더 많은 수가 되도록 상기 영상을 분할하는 것을 특징으로 하는 영상의 왜곡을 보정하는 장치.
11. 제10항에 있어서, 상기 영상 분할부는,
    상기 호의 중심점을 상기 중심점 벡터의 시작점으로하고, 상기 호의 중심점으로부터 상기 곡선의 현에 수선을 내려 상기 곡선의 현과 만나는 점을 상기 중심점 벡터의 끝점으로 하는 것을 특징으로 하는 영상의 왜곡을 보정하는 장치.
12. 제9항에 있어서, 상기 렌즈 왜곡 중심 후보 영역 추정부는,
    상기 아웃 라이어 벡터를 제거한 상기 중심점 벡터를 양자화하고 상기 양자화된 중심점 벡터가 가리키는 영역들 중 가장 많이 겹치는 영역을 상기 렌즈 왜곡 중심이 존재하는 후보 영역으로 추정하는 것을 특징으로 하는 영상의 왜곡을 보정하는 장치.
13. 제9항에 있어서, 상기 렌즈 왜곡 중심 추정부는,
    상기 렌즈 왜곡 중심이 존재하는 후보 영역의 중심을 상기 렌즈 왜곡 중심으로 추정하는 것을 특징으로 하는 영상의 왜곡을 보정하는 장치.

Images