KR101578029B1 - 영상 왜곡 보정 장치 및 방법 - Google Patents
영상 왜곡 보정 장치 및 방법 Download PDFInfo
- Publication number
- KR101578029B1 KR101578029B1 KR1020120105249A KR20120105249A KR101578029B1 KR 101578029 B1 KR101578029 B1 KR 101578029B1 KR 1020120105249 A KR1020120105249 A KR 1020120105249A KR 20120105249 A KR20120105249 A KR 20120105249A KR 101578029 B1 KR101578029 B1 KR 101578029B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- distortion
- correcting
- radius
- distortion correction
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012937 correction Methods 0.000 claims abstract description 107
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000000605 extraction Methods 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007429 general method Methods 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G06T5/80—
-
- G06T3/047—
Abstract
본 발명은 영상 왜곡 보정 장치 및 방법에 관한 것으로, 보다 상세하게는 어안렌즈를 통해 촬영된 영상의 왜곡을 보정하는 영상 왜곡 보정 장치 및 방법에 관한 것이다. 영상 왜곡 보정 방법은 어안렌즈를 통해 획득한 영상의 중심 화소 및 반지름을 추정하는 제1 추정 단계, 어안렌즈로 촬영된 테스트 영상으로부터 왜곡 보정 파라미터를 추정하는 제2 추정단계 및 설정된 관심영역의 상하이동 및 회전을 고려한 인덱스를 기반으로 반지름 및 왜곡 보정 파라미터를 이용하여 왜곡을 보정하는 단계를 포함한다.
Description
본 발명은 영상 왜곡 보정 장치 및 방법에 관한 것으로, 보다 상세하게는 어안렌즈를 통해 촬영된 영상의 왜곡을 보정하는 영상 왜곡 보정 장치 및 방법에 관한 것이다.
최근 경제 성장과 함께 보안에 대한 관심이 꾸준히 증가하고 있으며, 방범 시스템의 중요성이 강조되고 있다. 방범 시스템과 같이 넓은 공간을 촬영해야 하는 시스템에서는 시야가 넓은 카메라가 필수적으로 요구된다. 그러나 일반적인 카메라는 획득할 수 있는 영상의 시야가 제한적이기 대문에 필요에 따라 여러 대의 카메라를 설치하여 넓은 공간을 촬영하거나, 또는 하나의 카메라를 움직여 획득한 각각의 영상을 합성하여 넓은 공간을 촬영해야만 한다. 하지만 이러한 방법은 여러 대의 카메라로 인한 가격적 문제와 카메라 움직임에 의한 여러 열화 현상을 발생시킨다. 이러한 문제를 해결하면서 넓은 공간을 촬영하기 위해 넓은 시야를 갖는 렌즈를 대안으로 사용할 수 있으며, 특히 어안렌즈(fish-eye lens)의 경우 다른 렌즈들 보다 더 넓은 시야각을 가지므로 넓은 공간을 촬영하는데 아주 유용하게 사용할 수 있다.
어안렌즈는 180도가 넘는 시야각으로 인해 한 화면에 많은 정보를 담을 수 있다. 따라서 감시 카메라나 기상 카메라와 같이 한 화면을 통해 많은 정보를 획득하고자 하는 응용분야에서 사용하기 적합하다. 실제로 기상 관측 분야에서는 넓은 하늘의 구름 분포를 관측하기 위하여 어안렌즈를 사용한다. 하지만 렌즈의 특성상, 획득하는 영상은 도 1과 같이 극심한 기하 왜곡 현상이 발생하게 되어, 영상을 통한 정확한 정보를 획득하기 어렵다. 따라서 정확한 정보 획득이 필수적인 감시 카메라 업체들은 하나의 렌즈 사용으로 인한 장점과 어안렌즈의 넓은 시야각, 정확한 정보의 획득과 같이 어안렌즈를 사용했을 시 발생하는 여러 장점들을 위해 기존에 널리 알려진 렌즈 보정 알고리즘을 통해 영상의 왜곡을 보정하여 사용하고 있다.
본 발명이 해결하고자 하는 기술적인 과제는 어안렌즈를 통해 촬영된 영상으로부터 왜곡을 보정하여 정확한 영상 정보를 획득할 수 있는 영상 왜곡 보정 장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 영상 왜곡 보정 방법은 어안렌즈를 통해 획득한 영상의 중심 화소 및 반지름을 추정하는 제1 추정 단계; 상기 어안렌즈로 촬영된 테스트 영상으로부터 왜곡 보정 파라미터를 추정하는 제2 추정단계; 및 설정된 관심영역의 상하이동 및 회전을 고려한 인덱스를 기반으로 상기 반지름 및 왜곡 보정 파라미터를 이용하여 왜곡을 보정하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제1 추정단계는, 상기 어안렌즈를 통해 획득한 영상에 밝기 적응적 임계값을 적용하여 이진 영상으로 변환하는 단계; 상기 이진 영상으로부터 에지를 추출하여 영상의 둘레를 추출하는 단계; 및 상기 영상의 둘레 중 임의의 세 점을 선택하여 중심 화소 및 반지름을 추정하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 영상의 둘레를 추출하는 단계는, 상기 에지가 추출된 이진 영상을 상하좌우 방향으로 절반만 스캔하여 처음 스캔되는 에지 부분만을 검출하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제2 추정단계는, 테스트 영상을 상기 어안렌즈로 촬영하여 왜곡된 직선들을 검출하는 단계; 및 상기 검출된 직선들로부터 기준 직선을 설정한 후, 상기 기준 직선과 상기 왜곡된 직선의 보정 결과의 차이가 최소화되는 변수를 왜곡 보정 파라미터로 추정하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 왜곡을 보정하는 단계는, 상기 반지름 및 상기 왜곡 보정 파라미터를 이용하여 상기 어안렌즈의 초점거리를 산출하는 단계; 상기 관심 영역의 상하 이동 및 회전을 고려한 인덱스를 산출하는 단계; 및 상기 인덱스 및 초점거리를 이용하여 상기 관심영역의 왜곡을 보정하는 단계;를 포함하는 것을 특징으로 한다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 영상 왜곡 보정 장치는 어안렌즈를 통해 획득한 영상의 중심 화소 및 반지름을 추정하는 제1 추정부; 상기 어안렌즈로 촬영된 테스트 영상으로부터 왜곡 보정 파라미터를 추정하는 제2 추정부; 및 설정된 관심영역의 상하이동 및 회전을 고려한 인덱스를 기반으로 상기 반지름 및 왜곡 보정 파라미터를 이용하여 왜곡을 보정하는 왜곡 보정부;를 포함하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 따르면, 어안렌즈를 통해 촬영된 영상으로부터 왜곡을 보정하여 정확한 영상 정보를 획득할 수 있다.
도 1은 일반적인 어안렌즈로 촬영한 영상을 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 영상 왜곡 보정 장치의 구성을 보이는 블록도 이다.
도 3은 도 2에서 어안렌즈로 촬영한 영상의 중심을 표시한 도면이다.
도 4는 도 2에서 어안렌즈로 촬영한 영상을 이진 영상으로 변환한 결과를 보이는 도면이다.
도 5는 도 4의 이진 영상으로부터 둘레를 추출한 결과를 보이는 도면이다.
도 6은 도 5의 영상 둘레로부터 정확한 중심점 추정 결과를 보이는 도면이다.
도 7은 도 2에서 어안렌즈로 획득한 테스트 영상의 보정 결과를 보이는 도면이다.
도 8은 도 2에서 관심 영역의 상하 이동을 고려한 모델링을 보이는 도면이다.
도 9는 도 8의 상하 이동을 고려한 모델링 결과에 회전을 고려한 모델링을 보이는 도면이다.
도 10은 관심 영역의 이동을 고려해 3차원 좌표로 모델링된 점을 2차원 평면으로의 변환을 보이는 도면이다.
도 11은 도 2에서 어안렌즈로 획득한 영상 중 관심영역의 왜곡 보정 결과를 보이는 도면이다.
도 12는 본 발명의 일 실시 예에 따른 영상 왜곡 보정 방법의 구성을 보이는 블록도 이다.
도 2는 본 발명의 일 실시 예에 따른 영상 왜곡 보정 장치의 구성을 보이는 블록도 이다.
도 3은 도 2에서 어안렌즈로 촬영한 영상의 중심을 표시한 도면이다.
도 4는 도 2에서 어안렌즈로 촬영한 영상을 이진 영상으로 변환한 결과를 보이는 도면이다.
도 5는 도 4의 이진 영상으로부터 둘레를 추출한 결과를 보이는 도면이다.
도 6은 도 5의 영상 둘레로부터 정확한 중심점 추정 결과를 보이는 도면이다.
도 7은 도 2에서 어안렌즈로 획득한 테스트 영상의 보정 결과를 보이는 도면이다.
도 8은 도 2에서 관심 영역의 상하 이동을 고려한 모델링을 보이는 도면이다.
도 9는 도 8의 상하 이동을 고려한 모델링 결과에 회전을 고려한 모델링을 보이는 도면이다.
도 10은 관심 영역의 이동을 고려해 3차원 좌표로 모델링된 점을 2차원 평면으로의 변환을 보이는 도면이다.
도 11은 도 2에서 어안렌즈로 획득한 영상 중 관심영역의 왜곡 보정 결과를 보이는 도면이다.
도 12는 본 발명의 일 실시 예에 따른 영상 왜곡 보정 방법의 구성을 보이는 블록도 이다.
이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
일반적인 렌즈는 모두 방사상 왜곡(radial distortion) 및 접선 왜곡(tangential distortion)을 지니고 있으며, 이 중 접선 왜곡은 그 정도가 매우 작지만, 방사상 왜곡은 렌즈의 특성에 따라 왜곡의 정도가 매우 작은 것부터 심한 것까지 있으며, 왜곡의 형태가 서로 다르게 된다. 이러한 방사상 왜곡은 왜곡 모양에 따라 크게 술통형 왜곡(barrel distortion)과 실패형 왜곡(pincushion distortion)으로 분류한다. 술통형 왜곡은 주로 초점거리가 짧은 광각렌즈에서 발생하는 왜곡 현상으로 영상의 정보가 바깥쪽으로 휘어지는 것을 의미한다. 바깥쪽으로 휘어지는 정도는 중심부보다는 가장자리로 갈수록 심해지는 특징이 있다. 실패형 왜곡은 초점거리가 긴 망원렌즈에서 주로 발생하는 왜곡 현상으로 술통형 왜곡과는 반대로 영상의 정보가 안쪽으로 휘어지게 되며, 중심부보다는 영상의 가장자리에서 왜곡이 심하게 발생한다. 어안렌즈는 초점거리가 가장 짧은 초광각 렌즈로서, 영상 획득 시 발생하는 왜곡의 정도가 매우 심하다.
이러한 어안렌즈의 특성으로 인해 발생하는 왜곡을 보정하는 일반적인 방법은 크게 두 가지 방법으로 분류할 수 있다. 먼저, 렌즈의 특성을 고려한 수학적 모델링을 통한 왜곡 보정 방법이다. 이러한 접근 방법은 가장 널리 사용되는 렌즈 보정 방법으로, 렌즈를 하나의 시스템으로 생각하고 렌즈의 응답함수를 추정한다. 응답함수 분석을 통해 렌즈의 열화 과정을 모델링 한 후 이 과정에 대한 역 필터링을 통하여 열화 과정을 보정하게 된다. 그러나 이러한 수학적 모델링을 통한 왜곡 보정 방법은 실제 다양한 환경을 모두 고려하지 못하기 때문에, 제품화 과정에 적용할 경우 예상치 못한 여러 문제점이 발생하게 된다. 또한 많은 수학적 모델링을 통한 왜곡 보정 방법들의 경우 역 필터링 과정 수행 시간이 매우 오래 걸리기 때문에 실제 제품에 적용되기에는 한계점이 있다. 이러한 문제점을 해결하기 위해, 최근 연구되고 있는 여러 기술들은 기존 수학적 모델링을 기반으로 하여 외부 환경을 비롯해 열화에 끼치는 여러 요인들을 영역 적응적으로 고려하여 실제 제품에 적용할 수 있도록 개발되고 있다.
어안렌즈의 왜곡을 보정하는 다른 방법은 렌즈의 종류와 상관없이 획득되는 영상만을 통한 보정 방법이다. 이러한 방법은 영상의 왜곡을 보정하는 파라미터를 설정하여 이 값에 따라 왜곡 보정의 정도를 결정하게 된다. 대부분의 영상을 통한 왜곡 보정 방법은 왜곡 보정의 정도를 직선의 왜곡 정도로 판단하며, 직선에 대한 왜곡 보정의 결과가 실제 직선으로 표현될 때의 파라미터를 왜곡 보정 파라미터로 결정한다. 이와 같은 방법은 렌즈의 수학적 모델링을 통한 보정 방법 보다 대상 영상에 대한 분석을 통해 여러 왜곡 요인들을 모두 고려하므로 좋은 결과를 보인다. 하지만 각 영상에 따라 다른 파라미터를 사용하게 되므로 실제 제품에 적용되기에는 무리가 있다.
이와 같이 일반적인 감시카메라에서 어안렌즈의 사용 시 영상의 왜곡을 보정하는 방법은 크게 세 가지의 문제점이 있다. 첫 번째 문제점은 영상 왜곡 보정 시에 수학적 모델링에 근거해 보정 방법이 설계되어 있지만, 실제 사용되는 렌즈의 경우 공정상의 문제로 같은 렌즈라도 세부 정보(영상의 중심, 반지름 등)에서 오차가 발생하게 된다. 영상의 중심과 반지름 등의 정보는 어안렌즈로 획득한 영상의 왜곡 보정 시 중요하게 사용되는 값으로써 잘못된 값을 사용하게 되면 왜곡 보정의 성능 저하를 발생시키는 원인이 된다. 따라서 어안렌즈를 통해 획득되는 영상의 세부정보를 정확하게 추정하여 사용하여야 한다.
두 번째 문제점은 영상 왜곡 보정 시에 영상 전체를 대상으로 왜곡 보정 방법을 수행하기 때문에, 어안렌즈로 획득한 영상의 가장자리 부분에서는 해상도가 떨어지게 되어 좋지 않은 보정 결과를 보이게 된다. 어안렌즈의 가장자리 부분은 렌즈의 특성으로 인해 중심부에 비해 해상도가 매우 떨어지게 된다. 따라서 해상도가 낮아 발생하게 되는 가장자리 부분의 보정 결과 문제는, 일반적인 방법이 아닌 새로운 방식의 보정 방법을 통해 해결해야 한다.
세 번째 문제점은 영상 왜곡 보정 시에 왜곡 보정의 정도를 결정하는 왜곡 보정 파라미터가 영상을 획득하는 어안렌즈의 초점거리 값을 이용하여 결정하게 되는 것이다. 이는 첫 번째 문제점에서 언급한 바와 같이, 동일한 초점거리를 갖도록 설계되어 제작된 렌즈라도 설계 과정상의 한계로 인하여 오차가 발생하게 되므로, 왜곡 보정 파라미터가 잘못된 값을 가지게 된다. 잘못된 왜곡 보정 파라미터는 보정 결과에 직접적 영향을 끼치게 된다. 실제로 잘못된 왜곡 보정 파라미터는 영상의 왜곡을 덜 보정되게 하여 보정 후에도 왜곡이 되어 있거나 보정을 과하게 하여 보정 후에 어안렌즈에서 발생하게 되는 술통형 왜곡이 아닌 실패형 왜곡을 나타나게 한다. 따라서 이러한 문제점들을 해결하기 위해서는 각 렌즈에서 획득되는 정보를 바탕으로 하는 정확한 초점거리 혹은 왜곡 보정 파라미터를 추정하는 방법이 요구된다.
본 실시 예에서는 상기에서 언급한 문제점들을 해결하기 위해 어안렌즈의 정확한 세부정보 추정 방법 및 인덱스 방식의 디스플레이 방법을 제안하다. 제안하는 방법은 기존 다른 왜곡 보정 방법들에서 사용하는 방법에 비해 간단한 방식을 이용하여 영상의 중심과 반지름을 추정한다. 이렇게 추정된 영상의 중심과 반지름은 후에 제안되는 영상의 관심영역에 대한 보정과 그에 대한 디스플레이 방법에서 중요한 변수로 사용되게 된다.
또한 어안렌즈로 획득한 영상은 가장자리의 해상도가 낮아 보정 결과가 좋지 않게 되므로 관심 영역을 설정하여 보정해 줌으로써 이와 같은 문제를 해결한다. 관심 영역을 보정할 시 해상도 저하에 따른 문제점을 해결할 수 있으며, 원하는 영역만을 설정하여 원하는 정보를 쉽게 획득할 수 있는 장점이 있다.
왜곡 보정의 높은 정확도를 위해 제안하는 방법은 영상의 왜곡 보정 파라미터를 영상의 초점거리를 이용하지 않고, 영상의 정보를 통해 추정한다. 이와 같은 방법을 통해 관심 영역에 대한 정확한 왜곡 보정 결과를 얻을 수 있게 된다.
도 2는 본 발명의 일 실시 예에 따른 영상 왜곡 보정 장치의 구성을 보이는 블록도 이다.
도 2를 참조하면, 영상 왜곡 보정 장치(20)는 카메라(100), 영상 분석부(200) 및 디스플레이부(300)를 포함할 수 있다.
카메라(100)는 어안렌즈를 구비할 수 있으며, 어안렌즈를 통해 180도 이상의 화각을 가지는 영상을 획득한다. 카메라(100)를 통해 획득된 영상은 도 1에 도시된 바와 같이 심한 왜곡을 갖게 된다.
영상 분석부(200)는 어안렌즈를 통해 획득한 영상의 중심 화소 및 반지름을 추정하고, 어안렌즈를 통해 획득한 영상으로부터 왜곡 보정을 위한 왜곡 보정 파라미터를 추정하며, 설정된 관심영역에 대하여 추정한 중심 화소, 반지름 및 왜곡 보정 파라미터를 이용하여 왜곡을 보정하여 디스플레이부(300)로 출력한다.
이러한 왜곡 보정부(200)는 제1 추정부(210), 제2 추정부(220) 및 왜곡 보정부(230)를 포함할 수 있다.
제1 추정부(210)는 어안렌즈로 획득한 영상의 중심 화소 및 반지름을 추정한다. 우선 어안렌즈를 통해 획득한 영상이 원이라고 가정한다. 이와 같은 가정을 하면 중심 화소와 반지름을 기존의 여러 방법을 통해 추정할 수 있다. 일 실시 예로 추정 결과의 정확성을 높이고 모든 영상에 적용 가능한 원의 방정식을 이용하여 중심 화소와 반지름을 추정할 수 있다. 어안렌즈를 통해 획득되는 영상은 카메라(100)의 센서(CCD 또는 CMOS, 미도시)에 맺히게 되는데, 도 3을 참조하면, 영상의 중심을 표시한 붉은 점이 센서의 중심과 일치 하지 않는 것을 확인할 수 있다. 이와 같이 센서의 중심과 영상의 중심은 일반적으로 일치하지 않는다. 따라서 영상의 중심과 반지름을 정확하게 추정해야 한다.
원의 방정식을 영상에 적용하기 위해서는 우선 센서에 맺힌 영상을 이진 영상(binary image)으로 변환한다. 영상 부분과 센서의 암흑 부분은 임계값을 사용하여 구분한다. 센서에 맺힌 영상을 이진 영상으로 만드는 과정에서 영상의 밝기에 따라 이진 영상의 형태가 달라지게 된다. 즉, 일반영상에 비해 센서에 맺힌 영상의 밝기가 매우 밝을 경우 센서에 들어온 빛이 영상이 맺히는 부분을 벗어나 암흑부분으로 새어나가게 된다. 이러한 경우 이진 영상의 둘레가 정확하게 만들어지지 않아 중심 화소 및 반지름 추정 결과에 오류가 발생하게 된다. 따라서 이진 영상으로 만드는 과정에서 사용되는 임계값은 모든 영상에 대해 고정되어 있는 값이 아닌 영상의 밝기에 따라 적응적으로 변하는 임계값을 사용한다. 도 4에는 어안렌즈를 통해 획득한 영상을 이진 영상으로 변환한 결과를 도시하고 있다. 도 4를 참조하면, 도 4a는 고정된 임계값을 이용한 이진 영상 생성 결과를 나타내고, 도 4b는 밝기 적응적 임계값을 이용한 이진 영상 생성결과를 나타낸다. 도 4에 도시된 바와 같이, 밝기 적응적 임계값을 이용하여 이진 영상을 생성하는 경우, 고정된 임계값을 이용하여 이진 영상을 생성하는 경우 보다 영상 부분과 암흑 부분이 뚜렷하게 구분됨을 알 수 있다.
원의 방정식은 원의 둘레만을 표현하므로 이진 영상의 둘레만을 정확하게 추출하는 과정이 필요하다. 일 실시 예로, 라플라시안(laplacian) 필터를 통한 일반적인 에지 추출 과정을 응용하여 이진 영상의 둘레를 추출할 수 있다. 이진 영상에 라플라시안 필터를 사용하여 에지를 추출할 경우, 이진 영상의 둘레 외에 영상 내부에 존재하는 에지 부분도 검출된다. 그러므로, 에지 추출 영상을 상하좌우 방향으로 절반만 스캔하여 처음 스캔되는 에지 부분만을 검출한다. 이러한 과정을 통해 이진 영상의 둘레 부분만을 정확하게 추출할 수 있다. 이와 같은 방법을 이용한 둘레 추출 결과가 도 5에 도시되어 있다. 도 5를 참조하면, 도 5a는 이진 영상에 라플라시안 필터를 사용하여, 이진 영상의 둘레 외에 영상 내부에 존재하는 에지 부분도 검출된 예를 도시하고 있고, 도 5b는 도 5a의 영상을 상하좌우 방향으로 절반만 스캔하여 처음 스캔되는 에지 부분만을 검출한 예를 도시하고 있다. 도 5b의 경우 이진 영상의 둘레 부분만이 정확하게 추출됨을 알 수 있다.
위의 과정을 통하여 획득된 원의 둘레 정보 중 임의의 세 점을 선택하면, 중심 화소 및 반지름을 추정할 수 있다. 밝기 적응적 임계값을 사용하여 원 둘레 추출의 정확성을 높였지만, 이상적 원의 형태가 아니므로 임의의 세 점 선택 시 오류가 발생할 수 있다. 따라서 임의의 세 점을 여러 번 선택하여 오류를 최소화 할 수 있다. 도 6은 이진 영상의 둘레로부터 정확한 중심점 추정 결과를 보이는 도면을 도시하고 있다. 도 6을 참조하면, 붉은 점은 실제 영상의 중심점을 나타내고, 검정색 점은 임의의 세 점을 선택하여 추정한 영상의 중심점을 나타내며, 오차를 보이는 녹색 점은 고정 임계값을 사용할 경우 추정되는 중심점을 나타낸다. 이로부터 제1 추정부(210)는 어안렌즈로 획득한 영상의 중심 화소 및 반지름을 정확하게 추정할 수 있다.
제2 추정부(220)는 어안렌즈를 통해 획득한 영상의 왜곡 보정을 위한 왜곡 보정 파라미터를 추정한다. 왜곡 보정 파라미터 추정은 위해 일 실시 예로, 테스트 영상을 사용할 수 있다. 도 7은 어안렌즈로 획득한 테스트 영상의 보정 결과로써, 왜곡 보정 파라미터의 변화에 따른 보정 결과의 추이를 보여준다. 적정 왜곡 보정 파라미터보다 작은 값으로 보정할 경우, 왜곡이 남아있는 것을 확인할 수 있으며, 큰 값을 이용하여 왜곡 보정할 경우에는 보정이 과하게 되어 술통형 왜곡이 아닌 실패형 왜곡이 나타나게 된다. 정확한 왜곡 보정 파라미터를 추정하기 위해, 테스트 영상을 어안렌즈로 촬영한 후 왜곡된 직선들을 검출한다. 정확한 왜곡 보정 파라미터를 이용하여 보정할 경우 왜곡된 직선은 정확한 직선이 되어야 하므로, 기준 직선을 설정한 후, 기준 직선과 왜곡된 직선의 보정 결과의 차이를 최소화 시키는 왜곡 보정 파라미터를 찾는다. 이때 왜곡 보정 파라미터를 계속해서 변화시켜가며 왜곡된 직선과 기준 직선과의 차이의 변화에 대해 조사한다. 기준 직선과 보정된 직선과의 차이를 구하는 과정은 하기 수학식1로 표현할 수 있다.
수학식 1에서 D는 왜곡 보정 파라미터를 나타내고, n은 보정된 왜곡된 직선들의 인덱스를, 
은 보정된 왜곡된 직선을, 
는 기준 직선을 나타낸다. 수학식 1에 개시된 바와 같이 기준 직선과의 차이를 최소화 시키는 변수를 왜곡 보정 파라미터로 결정한다.
왜곡 보정부(230)는 관심영역에 대하여 상기에서 추정한 중심 화소, 반지름 및 왜곡 보정 파라미터를 이용하여 왜곡을 보정하여 디스플레이부(300)로 출력한다. 어안렌즈의 수학적 모델링에 따른 왜곡 보정을 수행하는데, 먼저 도 8과 같은 모델링을 통해 관심 영역의 상하 이동을 고려한다. 상하 이동을 고려한 인덱스는 다음 수학식 2와 같다.
수학식 2에서 x, y는 어안렌즈를 통해 획득한 왜곡된 영상의 인덱스이며, 
는 상하 이동의 정도를 나타낸다. 또한 z는 어안렌즈의 초점거리와 같은 값을 갖게 된다. 어안렌즈의 초점거리는 거리 단위로 나타나므로 화소 단위로 처리를 하는 제안하는 방법에서 단위를 변환해 주어야 한다. 따라서 초점거리와 영상의 반지름 사이의 관계식을 구하면 다음 수학식 3과 같다.
수학식 3에서 _는 화소 단위의 초점거리이며, _는 제1 추정부(210)에서 추정한 영상의 반지름을 화소 단위로 나타낸 값이다. 
과 
은 각각 거리 단위의 초점 거리와 반지름을 나타낸다. 수학식 3에 의하면 왜곡 보정 파라미터는 
과 
을 알면 구할 수 있지만, 이 값들은 제조 공정상 오차가 발생할 수 있으므로, 제2 추정부(220)에서 추정한 왜곡 보정 파라미터를 이용한다.
관심영역은 상하 이동 외에 회전을 하므로 이를 고려해 주어야 한다. 상기에 개시된 상하 이동 모델링 결과에 도 9와 같이 회전을 고려하여 모델링 하면 수학식 4와 같다.
수학식 5에서 
, 
는 보정된 영상의 인덱스이다. 도 11에는 어안렌즈로 획득한 영상 중 관심영역의 왜곡 보정 결과를 디스플레이부(300)로 출력한 것을 보이는 도면이 도시되어 있다. 도 11a 및 도 11b에서 좌측은 왜곡된 원본 영상에 관심 영역만을 밝게 나타나게 하였고, 우측은 관심 영역의 왜곡을 보정한 결과를 나타내고 있다.
이와 같이 본 실시 예는 어안렌즈로 획득한 영상으로부터 나타나는 왜곡 현상을 렌즈의 사전 정보 없이 보정하는 방법을 제안하고 있다. 기존의 방법들은 대부분 렌즈의 사전 정보에 의존하여 왜곡을 보정하였으나, 이는 부정확한 보정 결과를 나타낼 수 잇다. 그러나 본 발명은 영상 정보를 분석하여 왜곡 보정에 필요한 파라미터를 추정한 후, 인덱스 방식을 기반으로 하여 어안렌즈로 획득한 영상의 관심 영역을 보정한다. 어안렌즈의 중심과 가장자리는 다른 해상도를 가지므로 보정 결과에 한계가 있게 되지만, 본 발명은 관심 영역을 보정함으로써 이러한 문제들을 해결할 수 있다. 또한 정확한 보정 및 보정 결과의 출력을 위해 센서에 맺힌 영상의 중심 및 반지름 추정 방법을 이용하였다.
도 12는 본 발명의 일 실시 예에 따른 영상 왜곡 보정 방법의 구성을 보이는 블록도 이다. 이하의 설명에서 도 1 내지 도 11에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 12를 참조하면, 영상 왜곡 보정 장치(20)는 어안렌즈를 통해 획득한 영상의 중심 화소 및 반지름을 추정하는 단계(S100)를 수행한다. 이를 위해 영상 왜곡 보정 장치(20)는 어안렌즈를 통해 획득한 영상에 밝기 적응적 임계값을 적용하여 이진 영상으로 변환하고, 변환된 이진 영상으로부터 에지를 추출하여 영상의 둘레를 추출한다. 이때 에지가 추출된 이진 영상을 상하좌우 방향으로 절반만 스캔하여 처음 스캔되는 에지 부분만을 검출한다. 영상의 둘레 추출이 완료되면, 영상의 둘레 중 임의의 세 점을 선택하여 중심 화소 및 반지름을 추정한다.
중심 화소 및 반지름을 추정이 완료되면, 영상 왜곡 보정 장치(20)는 어안렌즈로 촬영된 테스트 영상으로부터 왜곡 보정 파라미터를 추정하는 단계(S200)를 수행한다. 이를 위해 영상 왜곡 보정 장치(20)는 테스트 영상을 어안렌즈로 촬영하여 왜곡된 직선들을 검출하고, 검출된 직선들로부터 기준 직선을 설정한 후, 기준 직선과 왜곡된 직선의 보정 결과의 차이가 최소화되는 변수를 왜곡 보정 파라미터로 추정한다.
왜곡 보정 파라미터 추정이 완료되면, 영상 왜곡 보정 장치(20)는 설정된 관심영역의 상하이동 및 회전을 고려한 인덱스를 기반으로, 반지름 및 왜곡 보정 파라미터를 이용하여 왜곡을 보정하는 단계(S300)를 수행한다. 이를 위해 왜곡 보정 장치(20)는 반지름 및 왜곡 보정 파라미터를 이용하여 어안렌즈의 초점거리를 산출하고, 관심 영역의 상하 이동 및 회전을 고려한 인덱스를 산출한 후, 인덱스 및 초점거리를 이용하여 관심영역의 왜곡을 보정한다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
100: 카메라
200: 영상 분석부
210: 제1 추정부
220: 제2 추정부
230: 왜곡 보정부
300: 디스플레이부
200: 영상 분석부
210: 제1 추정부
220: 제2 추정부
230: 왜곡 보정부
300: 디스플레이부
Claims (6)
- 어안렌즈를 통해 획득한 영상의 중심 화소 및 반지름을 추정하는 제1 추정 단계;
상기 어안렌즈로 촬영된 테스트 영상으로부터 왜곡된 직선들을 검출하고, 검출된 직선들로부터 기준 직선을 설정한 후, 상기 기준 직선과 상기 왜곡된 직선의 보정 결과의 차이가 최소화되는 변수를 왜곡 보정 파라미터로 추정하는 제2 추정단계; 및
설정된 관심영역의 상하이동 및 회전을 고려한 인덱스를 기반으로 상기 반지름 및 왜곡 보정 파라미터를 이용하여 왜곡을 보정하는 단계;를 포함하고,
상기 왜곡을 보정하는 단계는,
상기 반지름 및 상기 왜곡 보정 파라미터를 이용하여 상기 어안렌즈의 초점거리를 산출하는 단계;
상기 관심 영역의 상하 이동 및 회전을 고려한 인덱스를 산출하는 단계; 및
상기 인덱스 및 초점거리를 이용하여 상기 관심영역의 왜곡을 보정하는 단계;를 포함하는 것을 특징으로 하는 영상 왜곡 보정 방법. - 청구항 2은(는) 설정등록료 납부시 포기되었습니다.제 1항에 있어서, 상기 제1 추정단계는,
상기 어안렌즈를 통해 획득한 영상에 밝기 적응적 임계값을 적용하여 이진 영상으로 변환하는 단계;
상기 이진 영상으로부터 에지를 추출하여 영상의 둘레를 추출하는 단계; 및
상기 영상의 둘레 중 임의의 세 점을 선택하여 중심 화소 및 반지름을 추정하는 단계;를 포함하는 것을 특징으로 하는 영상 왜곡 보정 방법. - 청구항 3은(는) 설정등록료 납부시 포기되었습니다.제 2항에 있어서, 상기 영상의 둘레를 추출하는 단계는,
상기 에지가 추출된 이진 영상을 상하좌우 방향으로 절반만 스캔하여 처음 스캔되는 에지 부분만을 검출하는 것을 특징으로 하는 영상 왜곡 보정 방법. - 삭제
- 삭제
- 어안렌즈를 통해 획득한 영상의 중심 화소 및 반지름을 추정하는 제1 추정부;
상기 어안렌즈로 촬영된 테스트 영상으로부터 왜곡된 직선들을 검출하고, 검출된 직선들로부터 기준 직선을 설정한 후, 상기 기준 직선과 상기 왜곡된 직선의 보정 결과의 차이가 최소화되는 변수를 왜곡 보정 파라미터로 추정하는 제2 추정부; 및
설정된 관심영역의 상하이동 및 회전을 고려한 인덱스를 기반으로 상기 반지름 및 왜곡 보정 파라미터를 이용하여 왜곡을 보정하는 왜곡 보정부;를 포함하고,
상기 왜곡 보정부는,
상기 반지름 및 상기 왜곡 보정 파라미터를 이용하여 상기 어안렌즈의 초점거리를 산출하고, 상기 관심 영역의 상하 이동 및 회전을 고려한 인덱스를 산출하며, 상기 인덱스 및 초점거리를 이용하여 상기 관심영역의 왜곡을 보정하는 것을 특징으로 하는 영상 왜곡 보정 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120105249A KR101578029B1 (ko) | 2012-09-21 | 2012-09-21 | 영상 왜곡 보정 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120105249A KR101578029B1 (ko) | 2012-09-21 | 2012-09-21 | 영상 왜곡 보정 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140038749A KR20140038749A (ko) | 2014-03-31 |
| KR101578029B1 true KR101578029B1 (ko) | 2015-12-18 |
Family
ID=50646914
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120105249A KR101578029B1 (ko) | 2012-09-21 | 2012-09-21 | 영상 왜곡 보정 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101578029B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021183283A1 (en) * | 2020-03-09 | 2021-09-16 | Nec Laboratories America, Inc. | Automatic fisheye camera calibration for video analytics |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101648887B1 (ko) * | 2014-05-13 | 2016-08-30 | 멀티펠스 주식회사 | 초광각 렌즈를 이용한 카메라의 광축 보정 방법 및 장치 |
| CN107346530B (zh) * | 2016-05-06 | 2020-09-04 | 完美幻境(北京)科技有限公司 | 一种修正鱼眼图像的投影方法及系统 |
| KR102028469B1 (ko) * | 2018-01-15 | 2019-10-04 | 주식회사 스트리스 | 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101053506B1 (ko) * | 2009-12-16 | 2011-08-03 | (주) 에투시스템 | 어안 렌즈를 구비하는 카메라 모듈에 의해 획득된 영상의 왜곡 보정을 위한 파라미터 조정 방법 |
-
2012
- 2012-09-21 KR KR1020120105249A patent/KR101578029B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101053506B1 (ko) * | 2009-12-16 | 2011-08-03 | (주) 에투시스템 | 어안 렌즈를 구비하는 카메라 모듈에 의해 획득된 영상의 왜곡 보정을 위한 파라미터 조정 방법 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021183283A1 (en) * | 2020-03-09 | 2021-09-16 | Nec Laboratories America, Inc. | Automatic fisheye camera calibration for video analytics |
| US11699216B2 (en) | 2020-03-09 | 2023-07-11 | Nec Corporation | Automatic fisheye camera calibration for video analytics |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20140038749A (ko) | 2014-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8000559B2 (en) | Method of correcting image distortion and apparatus for processing image using the method | |
| JP6363863B2 (ja) | 情報処理装置および情報処理方法 | |
| CN109712192B (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
| US20150278996A1 (en) | Image processing apparatus, method, and medium for generating color image data | |
| KR101053506B1 (ko) | 어안 렌즈를 구비하는 카메라 모듈에 의해 획득된 영상의 왜곡 보정을 위한 파라미터 조정 방법 | |
| JP5429358B2 (ja) | ゴースト検出装置およびそれを用いる撮像装置、ゴースト検出方法、および、ゴースト除去方法 | |
| JP2012026841A (ja) | ステレオ測距装置及びステレオ測距方法 | |
| US20150116464A1 (en) | Image processing apparatus and image capturing apparatus | |
| CN109559353B (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
| JP5882789B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2015148532A (ja) | 距離計測装置、撮像装置、距離計測方法、およびプログラム | |
| KR101578029B1 (ko) | 영상 왜곡 보정 장치 및 방법 | |
| JP6641729B2 (ja) | ラインセンサカメラのキャリブレーション装置及び方法 | |
| US20110085026A1 (en) | Detection method and detection system of moving object | |
| CN106846395B (zh) | 照片中目标图形面积计算方法及系统 | |
| KR20160001868A (ko) | 카메라에서 촬영된 영상의 왜곡을 보정하기 위한 영상 왜곡 보정 방법 | |
| US10515442B2 (en) | Image processing apparatus that corrects for lateral chromatic aberration, image capturing apparatus, image processing method, and storage medium | |
| KR101623828B1 (ko) | 연산 속도를 개선한 어안 카메라의 왜곡 영상 보정장치 | |
| JP6682184B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 | |
| JP5167614B2 (ja) | 距離画像生成装置、距離画像生成方法及びプログラム | |
| CN115205346A (zh) | 事件相机到帧相机的逐像素配准的方法 | |
| JP2018160024A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| KR20140117808A (ko) | 감시카메라의 영상 왜곡 보정장치 및 왜곡 보정방법 | |
| CN114485953A (zh) | 温度测量方法、装置及系统 | |
| WO2018061430A1 (ja) | 計測装置、計測方法、計測プログラム、及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| FPAY | Annual fee payment |
Payment date: 20181126 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20191126 Year of fee payment: 5 |