KR100456632B1 - 영상 기반 렌즈 왜곡 보정 장치 및 방법 - Google Patents

영상 기반 렌즈 왜곡 보정 장치 및 방법 Download PDF

Info

Publication number
KR100456632B1
KR100456632B1 KR10-2002-0053623A KR20020053623A KR100456632B1 KR 100456632 B1 KR100456632 B1 KR 100456632B1 KR 20020053623 A KR20020053623 A KR 20020053623A KR 100456632 B1 KR100456632 B1 KR 100456632B1
Authority
KR
South Korea
Prior art keywords
image
lens distortion
distortion correction
equation
lens
Prior art date
Application number
KR10-2002-0053623A
Other languages
English (en)
Other versions
KR20040022348A (ko
Inventor
유원필
이형구
김계경
지수영
조수현
정연구
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR10-2002-0053623A priority Critical patent/KR100456632B1/ko
Publication of KR20040022348A publication Critical patent/KR20040022348A/ko
Application granted granted Critical
Publication of KR100456632B1 publication Critical patent/KR100456632B1/ko

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/142—Adjusting of projection optics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic

Landscapes

  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 영상 기반 렌즈 왜곡 보정 장치 및 방법에 관한 것으로, 영상을 획득하는 영상 입력부; 영상 입력부로부터 제공되는 임의의 영상에 대하여 고차 통계(Higher-order statistics) 기법의 이론을 이용하여 영상 내에 존재하는 비선형성을 측정하여 해당하는 만큼 영상 왜곡을 보정하며, 보정된 영상을 표시하는 렌즈 왜곡 보정 시스템; 렌즈 왜곡 보정 시스템에 의해 표시되는 영상의 선택만으로 왜곡 보정된 최적 결과 영상을 얻도록 하는 사용자 선택부를 구비한다. 따라서, 렌즈 보정 시스템은 실행 속도 향상을 위해 방사상 (radial) 렌즈 왜곡 모델에 기반한 역 공간 매핑(inverse spatial mapping) 방법과 영상 축소와 축소된 영상에서의 렌즈 왜곡 변수 추정 방법 및 원영상으로의 변환 방법으로 구성된다. 이를 통하여 계산량의 현저한 감소를 기대할 수 있으므로 본 발명을 일반 컴퓨터 및 각종 영상 장비의 내장형으로 구현할 수 있다. 또한, 영상만을 이용하여 자동으로 왜곡 보정을 실시할 수 있으므로 디지털 카메라에서 제공되는 정지 영상뿐만 아니라 동영상 등 영상의 포맷에 제한을 받지 않으며, 줌 렌즈나 가변 초점 렌즈와 같이 가변 특성을 가지는 광학계를 적용하여 촬영된 영상에 대해서도 렌즈 왜곡 보정을 할 수 있는 효과가 있다.

Description

영상 기반 렌즈 왜곡 보정 장치 및 방법{IMAGE-BASED LENS DISTORTION CORRECTION METHOD AND APPARATUS}
본 발명은 영상 기반 렌즈 왜곡 보정 장치 및 방법에 관한 것으로, 특히 바이스펙트럼(bispectrum) 해석을 통한 영상 분석 과정에서 영상 축소, 렌즈 왜곡 변수의 탐색 영역 제한 및 역 공간 매핑(inverse spatial mapping) 과정에서의 근사식을 적용하여 렌즈 왜곡을 보정할 수 있도록 하는 왜곡 보정 장치 및 방법에 관한 것이다.
통상적으로, 렌즈 왜곡 보정 방법은 렌즈 왜곡의 정도를 나타내는 렌즈 왜곡 변수를 카메라 캘리브레이션의 방법을 통해 직접 계산하여 해당되는 값만큼 영상 워핑(warping)의 방법을 통해 보정하는 방법과 기하학적 정보가 알려져 있는 테스트 패턴이 영상내에서 왜곡된 정도를 측정하여 워핑에 필요한 모델 함수를 설정하고 함수의 계수를 계산하는 방식이 있다.
즉, 영상 기반의 렌즈 왜곡은 방사상(radial) 왜곡과 접선상(tangential) 왜곡으로 크게 분류된다. 이중 방사상 왜곡에 대하여 보정하는 기술이 주로 제시되며, 실질적으로 렌즈 왜곡의 대부분은 방사상 왜곡에 의해 영상 품질이 저하되고 있는 실정이다. 방사상 왜곡의 경우 도 1a 내지 도 1c를 참조하면, 도 1a의 원 영상에서 테스트 패턴을 이용하여 영상에 맺힌 테스트 패턴의 왜곡 형태에 따라 도 1b의 배럴(barrel) 효과(k>0 왜곡 영상)와 도 1c의 핀쿠션(pincushion) 효과(k<0 왜곡 영상)로 구분할 수 있다.
이러한 왜곡 효과는 방사상(radial) 렌즈 왜곡으로 모델링 가능하다. 즉, 왜곡된 원영상의 픽셀 좌표값을, 왜곡 보정된 후의 영상에서의 픽셀 좌표값을, 렌즈 왜곡변수를 k라고 하면, 이 때 두 좌표계 간에는 방사상 렌즈 왜곡에 의해 수학식 1 및 수학식 2와 같은 왜곡이 존재한다고 가정할 수 있다.
여기서,는 영상 중심을 기준으로 현재 픽셀 좌표인까지의 거리를 의미한다. 실질적으로,는 픽셀 좌표계에서 좌표축간의 스케일 펙터 비율(scale factor ratio)을 의미하는 것으로,를 1로 설정하여도 무방하며, 이하는 1로 선정하여 따로 표기하지 않도록 한다. 이때, 좌표값은 정규화된 것이 아닌 영상 버퍼에서 구할 수 있는 픽셀 좌표값이다.
상술한 바와 같이, 두 가지 방식의 공통점은 미리 준비된 테스트 패턴이나 카메라 캘리브레이션 장비를 이용하여 렌즈 왜곡 변수 혹은 모델 함수 계수를 계산하는 것으로, 이러한 방식은 실험실 수준에서 측정하여 실제 시스템에 적용 가능한 것이다.
특히, 줌 렌즈나 가변 초점 렌즈의 경우에는 해당 렌즈의 줌 위치 또는 초점 위치에 대한 정보가 필요함에 따라 엔코더와 같은 렌즈 회전량을 측정하는 부수적인 장치를 추가하여야만 한다.
이와 같은 방식을 디지털 카메라와 같은 시스템에 적용하는 경우, 렌즈 회전 거리 각각에 대한 렌즈 왜곡 변수를 저장할 수 있는 룩업 테이블(Look-Up Table)류의 저장 공간이 필요하게 되지만 렌즈 교체 또는 접사 렌즈를 추가함에 따라 발생되는 렌즈 왜곡에 대해서는 사용자가 보정을 할 수 없게 되는 문제점이 있다. 또한, 렌즈 왜곡을 보정하기 위해 성능이 뛰어난 렌즈 시스템을 채용하는 경우에는 왜곡이 줄어들지만, 렌즈 시스템의 부피, 무게 및 비용이 증가하게 되는 단점이 있다.
이에, 기존의 고차 통계(Higher-Order Statistics) 기법의 범주에 속하는 바이스펙트럼(bispectrum)을 이용한 영상 분석 방식은 영상 내의 비선형성 즉, 렌즈 왜곡에 의한 영상 품질 저하 정도를 영상으로부터 직접 계산하여 렌즈 왜곡 변수를 계산한다.
즉, 바이스펙트럼을 이용한 영상 분석 방식은 상술한 바와 같이 테스트 패턴이나 특별한 캘리브레이션 기구에 의존해야 하는 문제점을 극복할 수 있지만 계산 시간의 증대 및 카메라 정보의 부재에 따른 영상 정규화 과정을 추가하여야만 하며, 특히 영상의 크기가 증가하면 증가할수록 계산량이 많아져 렌즈 왜곡을 보정할 수 없게 되는 문제점이 있다.
이와 같이, 영상 기반의 렌즈 왜곡을 보정하기 위해 공지된 기술로는 PCT/US2000/01169로 등록된 "디지털 카메라에서 이미지 왜곡을 소프트웨어적으로 보정하는 장치 및 그 방법"과, 1995-20904로 등록된 "렌즈왜곡을 고려한 카메라 교정 방법"과, 2001년 J. Opt. Soc. Am. A에 게재된 "Blind Removal of LensDistortion"과, 2001년 Pattern Recognition에 게재된 "Practical ways to calculate camera lens distortion for real-time calibration" 등에 개시되어 있다.
상술한 바와 같이, 개시된 선행기술을 상세하게 설명하면, PCT/US2000/01169로 등록된 "디지털 카메라에서 이미지 왜곡을 소프트웨어적으로 보정하는 장치 및 그 방법"은 정사각형과 같은 테스트 패턴을 사용하면서 이미지가 왜곡되지 않게 표시될 때까지 사용자가 드래깅(dragging)등의 방법으로 카메라의 왜곡 보정 계수를 수동으로 발견하도록 하는 카메라 캘리브레이션법을 포함하고 있다. 즉, 사용자가 스크롤이나 드래깅 등의 방법으로 원래 왜곡된 영상에 조작을 가하면 이에 해당하는 렌즈 왜곡 변수를 계산하고 이에 근거하여 영상 워핑(warping)을 통해 현재 가해진 조작량만큼 보정하여 모니터 등으로 표시한다. 사용자는 왜곡이 없어지는 지점까지 이러한 과정을 반복하도록 하는 기술이다.
다음으로, 1995-20904로 등록된 "렌즈왜곡을 고려한 카메라 교정 방법"은 렌즈의 방사(radial) 왜곡과 접선(tangential) 왜곡을 고려한 카메라 모델을 통해 카메라를 정확히 조정할 수 있게 한 렌즈 왜곡을 고려한 카메라 교정 방법에 관한 것으로, 이상적인 카메라 모델을 설정하여 3차원 공간좌표를 컴퓨터 영상 좌표로 변화하여 주는 투시변환행렬을 구하고, 이 구한 투시변환행렬을 분해하여 무왜곡상태에서의 카메라 내부변수와 외부변수를 구하며, 이 구한 카메라 변수들을 초기값으로 하여 반복적인 최소 자승법으로 렌즈의 방사 왜곡과 접선 왜곡을 고려한 최적화된 카메라 변수를 구함으로써 카메라 교정의 정확도를 향상시킬 수 있게 한 것이다. 이 방법은 전통적으로 카메라 캘리브레이션의 기법에 속하는 것으로서 특수하게 제작된 캘리브레이션 패턴과 패턴에 대한 사전 정보를 미리 입력해야 하는 기술이다. 실질적으로 접선 왜곡 성분은 영향이 매우 적으며 선행 특허의 방법을 디지털 카메라와 같은 일반적인 이미징 장치에 적용하기 위해서는 테스트 패턴의 부재, 패턴의 부정확성 등에 의해 성능이 현저히 저하되며, 전체 과정이 수동으로 이루어지게 되어 렌즈의 초점 변화, 줌 렌즈 채택, 동영상 취급 등에는 매우 곤란하게 되는 기술이다.
다음으로, 2001년 J. Opt. Soc. Am. A에 게재된 "Blind Removal of Lens Distortion"은 디지털 카메라 류의 대부분의 이미징 장비는 완벽하지 못한 광학부에 의해 기하학적인 렌즈 왜곡을 유발하게 된다. 특히, 카메라 캘리브레이션이 용이하지 않거나 광학계에 대한 정보가 주어지지 않은 상태에서 기하학적 보정을 하기 위한 방법은 직선 패턴을 촬영하여 영상 내에서의 직선성이 어떻게 유지되는지를 계산하여 역으로 그 부족분을 보상하는 등의 방법을 취할 수 있다. 위 논문에서는 사전에 준비된 특정 패턴을 사용하지 않으면서 카메라로 촬영한 임의의 영상만을 가지고 기하학적인 왜곡 보정을 할 수 있는 방법을 제시하고 있다.
렌즈 왜곡은 영상을 주파수 영역에서 해석하는 경우에 2차 이상의 상관 관계(correlation)를 유발하는 특성이 있으므로 이 성질을 이용하여 bispectral 분석 방법을 도입하여 주파수 영역에서의 고차 상관 관계의 정도를 측정하고 있다. 먼저 카메라 영상의 픽셀 좌표값은 -1∼+1의 범위내에 있도록 정규화 과정을 거치게 된다. 카메라 영상은 이미지 중심점을 기준으로 방사(radial) 방향으로 미리 설정한 각도 예를 들어, 2도씩 증가하면서 1차원 영상 배열을 획득한다. 획득된 1차원 영상 배열에 대해 렌즈 왜곡 변수를 임의로 설정한 후 bicoherence index를 계산한다. 현재 대상인 1차원 영상 배열에 대한 bicoherence index의 계산이 끝나면 방사 방향으로 구한 1차원 배열에 대한 bicoherence index의 전체 합을 구하여 특정 렌즈 왜곡 변수에 대한 대표값으로 설정하도록 한다. 이제 렌즈 왜곡 변수값을 한 단계 변화시키면서 같은 작업을 반복한다.
임의로 설정한 렌즈 왜곡 변수의 변화 범위내에서 bicoherence index값을 전부 구한 다음 가장 작은 값을 가지는 경우의 값을 렌즈 왜곡 변수로 설정한다. 정규화된 픽셀 좌표값은 이전의 과정에서 구한 렌즈 왜곡 변수를 이용하여 왜곡 보정 후의 정규화된 픽셀 좌표값으로 바뀌게 되고 역정규화 과정을 거쳐 왜곡 보정 후의 이미지 좌표값을 얻게 된다. 왜곡 보정 후의 픽셀 좌표값의 휘도값은 적절한 보간법을 사용하여 구하는 기술이다.
다음으로, 2001년 Pattern Recognition에 게재된 "Practical ways to calculate camera lens distortion for real-time calibration"은 미리 제작된 테스트 패턴인 직사각형 패치(patch) 집합을 영상으로 획득하고 이로부터 수직선, 수평선 성분을 추출한다. 추출된 직선 성분의 직선성(linearity)을 계산하여 렌즈 왜곡에 의한 직선성의 벗어남 정도를 계산하여 현재 채용된 렌즈 시스템의 왜곡 성분을 추출하는 방식을 취하고 있다. 룩업 테이블(Look-Up Table)을 이용하는 경우에도 마찬가지 방식을 취하고 있으나 이 경우에는 줌 렌즈의 가변 초점 상황에 대처하기 위해 각 줌 위치에 대해 렌즈 왜곡 성분을 추출하여 메모리 류에 저장하는 방식을 취한다. 선행 논문의 방식은 카메라 렌즈 시스템의 교체나 변경이 없는 경우에 한 번의 실시로 계속 사용이 가능하나 렌즈 시스템의 변화가 발생할 때마다 매번 같은 작업을 반복해야 하는 번거로움이 있다. 이에 비해 본 발명은 렌즈 시스템에 무관하게 임의의 영상으로부터 렌즈 왜곡 변수를 직접 계산가능하며 특별한 실험 장비 혹은 테스트 패턴을 필요로 하지 않는 기술이다.
이와 같이, 선행 특허에 개시된 기술을 살펴보았을 때, 렌즈 교체 또는 접사 렌즈를 추가함에 따라 발생되는 렌즈 왜곡에 대해서는 사용자가 보정을 할 수 없게 되는 문제점과, 또한, 렌즈 왜곡을 보정하기 위해 성능이 뛰어난 렌즈 시스템을 채용하는 경우에는 왜곡이 줄어들지만, 렌즈 시스템의 부피, 무게 및 비용이 증가하게 되는 단점과, 영상의 크기가 증가하면 증가할수록 계산량이 많아져 렌즈 왜곡을 보정할 수 없게 되는 문제점은 여전히 남아 있다.
따라서, 본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 그 목적은 바이스펙트럼(bispectrum) 해석을 통한 영상 분석 과정에서 영상 축소, 렌즈 왜곡 변수의 탐색 영역 제한, 역공간 매핑(inverse spatial mapping) 과정에서의 근사식을 적용하여 렌즈 왜곡을 보정할 수 있도록 하는 영상 기반 렌즈 왜곡 보정 장치 및 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명에서 영상 기반 렌즈 왜곡 보정 장치는 임의의 영상을 획득하는 영상 입력부; 영상 입력부로부터 제공되는 임의의 영상에 대하여 고차 통계(Higher-order statistics) 기법의 이론을 이용하여 영상 내에 존재하는 비선형성을 측정하여 해당하는 만큼 영상 왜곡을 보정하며, 보정된 영상을 표시하는 렌즈 왜곡 보정시스템; 렌즈 왜곡 보정시스템에 의해 표시되는 영상의 선택만으로 왜곡 보정된 최적 결과 영상을 얻도록 하는 사용자 선택부를 포함하는 것을 특징으로 한다.
또한, 상술한 목적을 달성하기 위한 본 발명에서 영상 기반 렌즈 왜곡 보정방법은 임의의 영상을 입력받아 영상에 대하여 1차원 영상 배열을 추출하고, 추출된 각 픽셀의 좌표값을 기억하는 단계; 임의의 영상에 대한 1차원 영상 배열 샘플링(sampling)을 수행하며, 영상의 중심을 기준으로 방사상(radial) 방향으로 직선을 구하고, 직선과 교차하는 픽셀(pixel)을 1차원 영상 배열에 저장하는 단계; 영상의 렌즈 왜곡 변수인 k의 범위가 최대가 되는 값을 찾아 k의 범위가 결정되면, 범위를 적당한 간격으로 나누어서 k값을 증감시키는 단계; k값을 증감시켜 영상 왜곡을 보정한 후의 픽셀 좌표값에서 휘도값을 왜곡된 원영상으로부터 역공간 매핑(inverse spatial mapping)을 적용하여 구하며, 영상 전 범위에 대한 샘플링 각도(θ)를 증가시켜 그 범위가 끝날 때까지 반복 수행하는 단계; 영상 왜곡이 보정된 각각의 1차원 영상 배열을 특정 개수의 레코드로 분할하며, k의 범위내에서 반복 수행이 끝나면 가장 작은 대표값을 가지는 k를 렌즈 왜곡 변수로 설정하는 단계; 설정된 렌즈 왜곡 변수를 이용하여 왜곡된 원영상으로부터 왜곡 보정된 결과 영상을 획득하여 thumbnail 영상 표시부에 제공하여 표시하면, 사용자 선택부를 통해 최적 영상의 선택만으로 왜곡 보정된 최적 결과 영상을 얻는 단계를 포함하는 것을 특징으로 한다.
도 1은 종래 렌즈 왜곡의 종류에 따른 테스트 패턴의 왜곡 형태를 도시한 도면이고,
도 2는 본 발명에 따른 영상 기반 렌즈 왜곡 보정 장치에 대한 블록 구성도이며,
도 3은 본 발명에 따른 1차원 영상 배열 생성을 위한 샘플링 패턴을 도시한 도면이며,
도 4는 본 발명에 따른 영상 기반 렌즈 왜곡 보정 장치의 동작에 대하여 설명한 흐름도이다.
<도면의 주요부분에 대한 부호의 설명>
10 : 입력 영상부 20 : 렌즈 왜곡 보정시스템
21 : 렌즈 왜곡 보정부 23 : thumbnail 영상 표시부
30 : 사용자 선택부
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명하기로 한다.
도 2는 본 발명에 따른 영상 기반 렌즈의 왜곡 보정장치에 대한 블록 구성도로서, 주어진 임의의 영상을 렌즈 왜곡 보정시스템(20)에 입력하는 영상 입력부(10)와, 고차 통계(Higher-order statistics) 기법의 이론을 이용함에 있어서, 이중 바이스펙트럼(bispectrum) 분석 방법을 사용하여 영상 내에 존재하는 비선형성을 측정하여 해당하는 만큼 영상 왜곡을 보정하며, 보정된 영상을 표시하는 렌즈 왜곡 보정시스템(20)과, 상술한 렌즈 왜곡 보정시스템(20)내 thumbnail 영상 표시부(23)에 표시되는 최적 영상의 선택만으로 왜곡 보정된 최적 결과 영상을 얻도록 하는 사용자 선택부(30)를 포함한다.
도 4의 흐름도를 참조하면, 상술한 구성을 바탕으로, 본 발명에 따른 영상 기반 렌즈의 왜곡 보정장치의 동작에 대하여 보다 상세하게 설명한다.
먼저, 영상 입력부(10)는 주어진 임의의 영상을 렌즈 왜곡 보정시스템(20)내 렌즈 왜곡 보정부(21)에 입력한다(단계 401).
렌즈 왜곡 보정시스템(20)내 렌즈 왜곡 보정부(21)는 영상 입력부(10)로부터 제공되는 임의의 영상에 대하여 렌즈 왜곡 보정을 수행하기 위해 1차원 영상 배열을 추출하고(단계 402), 추출된 각 픽셀의 좌표값을 기억한다(단계 403). 여기서, 렌즈 왜곡 보정 후의 영상 내 픽셀 각각에 대한 휘도값, 색상값은 아직 알 수 없다.
즉, 도 3은 1차원 영상 배열 생성을 위한 샘플링 패턴을 도시한 것으로, 영상 입력부(10)로부터 주어진 임의의 영상에 대한 1차원 영상 배열 샘플링(sampling)을 수행하는데(단계 404), 영상의 중심, 즉 버퍼의 중심을 기준으로 방사상(radial) 방향으로 직선을 구하고, 이 직선과 교차하는 픽셀(pixel)을 1차원 영상 배열에 저장한다(단계 405).
이때, 방사상 방향의 직선은 버퍼의 중심을 지나는 가로축을 기준으로 임의의 각도만큼 증가분을 가지면서 샘플링을 수행하며, θ로 표시한 것이 공간 샘플링시의 샘플링 각도에 해당하며 0가 영상 버퍼 중심에 해당한다. 또한, 픽셀 좌표는 정수형으로 표현되므로 샘플링을 위해 도입된 직선과의 교차 픽셀을 구하는 것은 양자화(quantization)에 사용되는 라운드(round), 플로어(floor) 등의 수학 함수를 사용하여도 무방하고, 샘플링 시, 주의해야 할 점은, 왜곡 보정이 이루어지는 결과 영상에 대해서만 샘플링이 이루어진다.
다음으로, 렌즈 왜곡 보정부(21)는 수학식 1 및 수학식 2에서의 k>0인 경우의 배럴 효과와, k<0의 핀쿠션(pincushion) 효과에 대하여 보정하기 위해 찾고자 하는 k 범위의 최대값에 대하여 수학식 3을 이용하여 구할 수 있다. 이때,의 조건을 이용하며 상기 조건의 최대값이 R인 경우를 가정한다.
여기서, 의 관계를 갖는다. 이때,는 영상의 크기가 r×c(세로×가로)인 경우에이며,는 음수 방향으로 현재 실수값에 가장 가까운 정수값을 제공하는 함수를 의미한다.
상술한 바와 같이, k의 범위가 결정되면, 이 범위를 적당한 간격으로 나누어서 k값을 증감시키도록 한다.
렌즈 왜곡 보정부(21)는 k의 범위내에서 특정한 값을 설정한 후, 이 값에 대해 수학식 1 및 수학식 2를 적용하면, 수학식 4와 같은 관계를 얻을 수 있다.
여기서,이다.
한편, 방사상 방향의 렌즈 왜곡만을 가정하는 경우에 왜곡 보정 전의 픽셀 좌표값과 왜곡 보정 후의 픽셀 좌표값은 극좌표 형태로 나타내었을 때 각도값은 수학식 5를 이용하여 계산할 수 있다.
이로 인하여, 수학식 4는 수학식 6과 같이 고쳐서 표시할 수 있다.
이후, 렌즈 왜곡 보정부(21)는 왜곡 보정 후의각 픽셀 좌표값에서의 휘도값은 왜곡된 원영상으로부터 구해야 하므로, 영상 워핑(warping) 과정이 필요함에 따라 역공간 매핑(inverse spatial mapping)을 적용하는 것이 유리하다. 이때, ru에 대한 rd는 수학식 6의 해로부터 구할 수 있는데, 이 해를 구하기 위해 3차 폴리노미얼(polynomial) 방정식의 해를 구할 수 있는 카단(cardan) 방법을 적용하거나 컴퓨터를 이용한 수치 해석(numerical analysis)의 방법을 적용하여야 한다.
하지만, 카단(cardan) 방법은 복수개의 플로팅-포인트(floating-point) 연산과 조건문으로 구성되므로, 수학식 4에서의의 조건을 적용하면, 수학식 7과 같이 근사식을 적용할 수 있다.
또한, 수학식 7로부터 rd는 수학식 8을 통해 구할 수 있다.
1차원 영상 배열의 픽셀 좌표값은 결과 영상의 공간상에서 샘플링하면서 알 수 있으므로, 현재 가정한 k에 대한 rd를 구할 수 있고 수학식 5를 이용하여 픽셀 좌표값(xd,yd)을 구할 수 있는 것이다.
그리고, 1차원 영상 배열의 각 픽셀에 대하여 상술한 과정을 반복하여 특정k값을 기반으로 왜곡된 원영상에서의 픽셀 좌표값을 구할 수 있으며, 기설정된 샘플링 각도(θ)를 증가시켜 같은 작업을 반복하고 영상 전 범위에 대한 샘플링이 끝날 때까지 반복한다(단계 406).
다음으로, 렌즈 왜곡 보정부(21)는 왜곡 보정된 각각의 1차원 영상 배열을 M개의 레코드로 분할하도록 한다(단계 407). 이때, M은 각 레코드를 구성하는 데이터 개수와 1차원 영상 배열의 크기에 의해 결정되며, 각 레코드간의 오버랩(overlap)은 있어도 무방하나 오버랩이 없어도 상관없다.
다음으로, 렌즈 왜곡 보정부(21)는 임의의 영상 신호가 제곱 형태의 시스템 장비(square-law device)를 거치게 되면, quadratic phase coupling이 발생한다. 이 quadratic phase coupling은 바이스펙트럼(bispecturum)을 구하는 경우에 감지 가능하며, 고차 통계(higher-order statistics)의 수단(measure)중 비선형성을 감지할 수 있는 통계치이면 어떤 것이든 적용이 가능하다.
또한, 컴퓨터 구현을 위해 바이스펙트럼(bispecturum) 대신 바이코히런스 인덱스(bicoherence index)라는 측정 수단을 적용한다. 이 바이코히런스 인덱스(bicoherence index)는 바이스펙트럼(bispecturum)의 정규화된 것으로, 수학식 9와 같이 정의된다.
여기서,는 현재 설정한 k를 기준으로 왜곡 보정한 후의 1차원 영상 배열의 각 레코드에 대한 푸리에(fourier) 변환이며, 수학식 9를 각각의 1차원 영상 배열에 대해 구한 다음 전체를 합산하여 특정한 k에 대한 대표값으로 설정한다(단계 408).
다음으로, 렌즈 왜곡 보정부(21)는 k를 미리 설정한 증가분 만큼 증가한 후, 상술한 과정을 반복하고, k의 범위내에서 상술한 과정이 끝나면 가장 작은 대표값을 가지는 때의 k를 렌즈 왜곡 변수로 설정하도록 한다(단계 409).
다음으로, 렌즈 왜곡 보정부(21)는 렌즈 왜곡 변수를 이용하여 왜곡된 원영상으로부터 왜곡 보정된 결과 영상을 획득하여 thumbnail 영상 표시부(23)에 제공하여 표시할 수 있다(단계 410). 이때, 계산량을 감소하기 위해 수학식 8을 적용시켜 역공간 매핑(inverse spatial mapping) 과정을 수행하도록 한다.
이상과 같이, 렌즈 왜곡 보정부(21)를 통해 임의의 영상에 대한 렌즈 왜곡 변수를 계산하여 thumbnail 영상 표시부(23)에 제공하여 표시하면, 사용자는 사용자 선택부(30)를 통해 최적 영상의 선택만으로 왜곡 보정된 최적 결과 영상을 얻을 수 있다(단계 411).
한편, 영상의 크기가 증가할 경우, 다운-샘플링(down-sampling)과 같은 간단한 영상 축소를 통해 원영상의 크기를 줄인 후, 축소된 영상에 대해서 상술한 과정을 거쳐 임의의 영상에 대한 렌즈 왜곡 변수를 계산해 낼 수 있다.
이때, 구해진 렌즈 왜곡 변수를 kr이라고 하면, 원영상의 k는 수학식 10을통해 구할 수 있다.
여기서, rr,cr은 축소된 영상에서의 세로 및 가로의 크기로서, 상술한 수학식 10을 적용하여 영상의 크기가 증가하더라도 축소된 크기에서 계산량을 감소시킬 수 있는 것으로, 단순한 다운-샘플링(down-sampling)이나 평균(average) 등을 이용한 decimation 방법을 통해 계산량을 감소시킬 수 있다.
한편, 영상 중심은 영상 버퍼의 중심으로 설정하도록 한 것으로, 실제로 광학계의 불완전성에 의해 광축이 정확하게 영상 버퍼의 중심을 지나는 경우는 매우 드물지만, 광축을 영상 버퍼의 중심으로 설정하더라도 왜곡 보정 후의 결과 영상의 품질의 저하를 방지할 수 있다.
또한, 수학식 9를 연속적으로 계산하여 입력된 원 영상의 내용에 따라 그 결과는 다른 값을 보일 수 있으며, 실질적으로 바이코히런스 인덱스(bicoherence index)는 하나의 값으로 정해지지 않는 경우가 발생하므로, 영상 축소 방법에 의해 작아진 영상에 대해 렌즈 왜곡 보정을 실시하고 이 영상의 몇 가지 후보군에 대해 사용자가 선택하여 해결할 수 있다.
상기와 같이 설명한 본 발명은 바이스펙트럼(bispectrum) 해석을 통한 영상 분석 과정에서 영상 축소, 렌즈 왜곡 변수의 탐색 영역 제한, 역공간 매핑(inversespatial mapping) 과정에서의 근사식을 적용함으로써, 계산량을 현저하게 감소할 수 있어 이러한 소프트웨어 형태를 일반 컴퓨터 및 각종 영상 장비의 내장형으로 구현할 수 있다.
또한, 영상만을 이용하여 자동으로 왜곡 보정을 실시할 수 있으므로 디지털 카메라에서 제공되는 정지 영상뿐만 아니라 임의의 카메라로 촬영된 동영상에도 적용이 가능하며, 줌렌즈나 가변 초점 렌즈를 적용하는 경우에도 특정 영상에 대해 렌즈 위치를 가변하면서 각 렌즈 위치에 대한 렌즈 왜곡 변수를 구할 수 있음에 따라 렌즈 왜곡 변수를 비휘발성 메모리나 룩업 테이블(Look-Up Table)에 저장하는 식의 방법으로 임의의 렌즈 위치에서 왜곡 변수를 저장할 수 있어 임의의 카메라에 대해 정지 영상, 동영상 등 임의의 영상 포맷에 대한 렌즈 왜곡 보정을 할 수 있는 효과가 있다.

Claims (14)

  1. 영상 기반 렌즈 왜곡 보정 장치에 있어서,
    임의의 영상을 획득하는 영상 입력부;
    상기 영상 입력부로부터 제공되는 임의의 영상에 대하여 고차 통계(Higher-order statistics) 기법의 이론을 이용하여 상기 영상 내에 존재하는 비선형성을 측정하여 해당하는 만큼 영상 왜곡을 보정하며, 상기 보정된 영상을 표시하는 렌즈 왜곡 보정시스템;
    상기 렌즈 왜곡 보정시스템에 의해 표시되는 최적 영상의 선택만으로 왜곡 보정된 최적 결과 영상을 얻도록 하는 사용자 선택부를 포함하는 것을 특징으로 하는 영상 기반 렌즈 왜곡 보정 장치.
  2. 제 1 항에 있어서, 상기 렌즈 왜곡 보정시스템은,
    상기 입력 영상에 대해 자동으로 렌즈 왜곡 보정 계수를 계산하며, 상기 계산되어 얻어진 값을 이용하여 영상 왜곡을 보정하는 렌즈 왜곡 보정부와, 왜곡 보정된 최적 결과 영상을 얻기 위한 최적 영상을 표시하는 thumbnail 영상 표시부를 더 구비하는 것을 특징으로 하는 영상 기반 렌즈 왜곡 보정 장치.
  3. 제 1 항에 있어서,
    상기 고차 통계(Higher-order statistics) 기법은 상기 기법의 이론 중 바이스펙트럼(bispectrum) 분석 방법을 선택하여 사용하는 것을 특징으로 하는 영상 기반 렌즈 왜곡 보정 장치.
  4. 렌즈 왜곡 보정부, thumbnail 영상 표시부를 구비하는 렌즈 왜곡 보정시스템에서의 영상 왜곡 보정방법에 있어서,
    임의의 영상을 입력받아 상기 영상에 대하여 1차원 영상 배열을 추출하고, 상기 추출된 각 픽셀의 좌표값을 기억하는 단계;
    상기 임의의 영상에 대한 1차원 영상 배열 샘플링(sampling)을 수행하며, 상기 영상의 중심을 기준으로 방사상(radial) 방향으로 직선을 구하고, 상기 직선과 교차하는 픽셀(pixel)을 1차원 영상 배열에 저장하는 단계;
    상기 영상의 렌즈 왜곡 변수인 k의 범위가 최대가 되는 값을 찾아 상기 k의 범위가 결정되면, 상기 범위를 적당한 간격으로 나누어서 k값을 증감시키는 단계;
    상기 k값을 증감시켜 상기 영상 왜곡을 보정한 후의 픽셀 좌표값에서 휘도값을 왜곡된 원영상으로부터 역공간 매핑(inverse spatial mapping)을 적용하여 구하며, 상기 영상 전 범위에 대한 샘플링 각도(θ)를 증가시켜 그 범위가 끝날 때까지 반복 수행하는 단계;
    상기 영상 왜곡이 보정된 각각의 1차원 영상 배열을 특정 개수의 레코드로 분할하며, 상기 k의 범위내에서 반복 수행이 끝나면 가장 작은 대표값을 가지는 k를 렌즈 왜곡 변수로 설정하는 단계;
    상기 설정된 렌즈 왜곡 변수를 이용하여 왜곡된 원영상으로부터 왜곡 보정된결과 영상을 획득하여 상기 thumbnail 영상 표시부에 제공하여 표시하면, 사용자 선택부를 통해 최적 영상의 선택만으로 왜곡 보정된 최적 결과 영상을 얻는 단계를 포함하는 것을 특징으로 하는 영상 기반 렌즈 왜곡 보정 방법.
  5. 제 4 항에 있어서,
    상기 방사상 방향의 직선은 버퍼의 중심을 지나는 가로축을 기준으로 임의의 각도만큼 증가분을 가지면서 샘플링을 수행하며, 각도(θ) 0°가 영상 버퍼 중심에 해당되며, 상기 픽셀 좌표는 정수형으로 표현되므로 샘플링을 위해 도입된 직선과의 교차 픽셀을 구하는 것은 양자화(quantization)에 사용되는 라운드(round), 플로어(floor) 등의 수학 함수를 사용하며, 왜곡 보정이 이루어지는 결과 영상에 대해서만 샘플링을 수행하는 것을 특징으로 하는 영상 기반 렌즈 왜곡 보정 방법.
  6. 제 4 항에 있어서,
    상기 k의 최대값을 찾기 위한
    수학식 3
    을 이용하는 것을 특징으로 하는 영상 기반 렌즈 왜곡 보정 방법.
  7. 제 6 항에 있어서,
    상기 수학식 3에서의 관계를 갖으며,는 영상의 크기가 r×c(세로×가로)인 경우에이며,는 음수 방향으로 현재 실수값에 가장 가까운 정수값을 제공하는 함수를 의미하는 것을 특징으로 하는 영상 기반 렌즈 왜곡 보정 방법.
  8. 제 4 항에 있어서,
    상기 k의 범위내에서 특정한 값을 설정하기 위해
    수학식 4
    을 이용하며,
    상기인 것을 특징으로 하는 영상 기반 렌즈 왜곡 보정 방법.
  9. 제 4 항에 있어서,
    상기 방사상 방향의 렌즈 왜곡만을 가정하는 경우, 왜곡 보정 전의 픽셀 좌표값과 왜곡 보정 후의 픽셀 좌표값은 극좌표 형태로 나타내었을 때 각도값은,
    수학식 5
    을 이용하여 계산하며, 상기 수학식 4를
    수학식 6
    과 같이 고쳐서 표시하는 것을 특징으로 하는 영상 기반 렌즈왜곡 보정 방법.
  10. 제 9 항에 있어서,
    상기 수학식 6의 해로부터 ru에 대한 rd를 구하며, 상기 해를 구하기 위해 3차 폴리노미얼(polynomial) 방정식을 적용하는 것을 특징으로 하는 영상 기반 렌즈 왜곡 보정 방법.
  11. 제 10 항에 있어서,
    상기 폴리노미얼(polynomial) 방정식은 카단(cardan) 방법 및 컴퓨터를 이용한 수치 해석(numerical analysis)의 방법을 적용하지만, 상기 카단(cardan) 방법은 복수개의 플로팅-포인트(floating-point) 연산과 조건문으로 구성되므로,
    상기 수학식 4에서의의 조건을 적용하면,
    수학식 7
    과 같은 근사식을 적용할 수 있으며,
    상기 수학식 7로부터의 rd는
    수학식 8
    을 통해 구할 수 있어 상기 k에 대한 rd를 구할 수 있고 상기 수학식 5를 이용하여 픽셀 좌표값(xd,yd)을 구할 수 있는 것을 특징으로 하는 영상 기반 렌즈 왜곡 보정 방법.
  12. 제 4 항에 있어서,
    상기 영상 왜곡 보정 단계들을 적용시킨 컴퓨터 구현은 바이코히런스 인덱스(bicoherence index)라는 측정 수단을 적용하는 것으로,
    수학식 9
    와 같이 정의되며,
    상기는 현재 설정한 k를 기준으로 왜곡 보정한 후의 1차원 영상 배열의 각 레코드에 대한 푸리에(fourier) 변환이며, 상기 수학식 9를 각각의 1차원 영상 배열에 대해 구한 다음 전체를 합산하여 특정 k에 대한 대표값으로 설정하는 것을 특징으로 하는 영상 기반 렌즈 왜곡 보정 방법.
  13. 제 4 항에 있어서,
    상기 영상의 크기가 증가될 경우, 다운-샘플링(down-sampling)과 같은 간단한 영상 축소를 통해 원영상의 크기를 줄인 후, 상기 축소된 영상에 대해 상기 영상 보정 단계의 과정을 거쳐 임의의 영상에 대한 렌즈 왜곡 변수를 계산하는 것을 특징으로 하는 영상 기반 렌즈 왜곡 보정 방법.
  14. 제 13 항에 있어서,
    상기 영상의 크기가 증가함에 따라 계산된 렌즈 왜곡 변수를 kr이라고 하면, 원영상의 k는
    수학식 10
    을 통해 계산되며,
    상기 rr,cr은 축소된 영상에서의 세로 및 가로의 크기로서, 상기 수학식 10을 적용하여 영상의 크기가 증가하더라도 축소된 크기에서 계산량을 감소시킬 수 있는 것으로, 단순한 다운-샘플링(down-sampling)이나 평균(average)등의 decimation 방법을 통해 계산량을 감소시킬 수 있는 것을 특징으로 하는 영상 기반 렌즈 왜곡 보정 방법.
KR10-2002-0053623A 2002-09-05 2002-09-05 영상 기반 렌즈 왜곡 보정 장치 및 방법 KR100456632B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0053623A KR100456632B1 (ko) 2002-09-05 2002-09-05 영상 기반 렌즈 왜곡 보정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0053623A KR100456632B1 (ko) 2002-09-05 2002-09-05 영상 기반 렌즈 왜곡 보정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20040022348A KR20040022348A (ko) 2004-03-12
KR100456632B1 true KR100456632B1 (ko) 2004-11-10

Family

ID=37326183

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0053623A KR100456632B1 (ko) 2002-09-05 2002-09-05 영상 기반 렌즈 왜곡 보정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100456632B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428534B1 (ko) 2012-12-13 2014-08-11 한국항공대학교산학협력단 렌즈 왜곡 보정 장치 및 방법
KR102124291B1 (ko) * 2020-02-12 2020-06-17 김정석 광학식 정밀측정기의 렌즈 측정오차 교정방법
US10721419B2 (en) 2017-11-30 2020-07-21 International Business Machines Corporation Ortho-selfie distortion correction using multiple image sensors to synthesize a virtual image

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100849846B1 (ko) 2006-09-21 2008-08-01 삼성전자주식회사 이미지 밝기 보정 장치 및 방법
KR101483828B1 (ko) * 2012-12-31 2015-01-16 삼성전기주식회사 손 떨림 보정 카메라 및 그 방법
KR101470737B1 (ko) * 2013-05-24 2014-12-08 제주대학교 산학협력단 차량용 허드 시스템의 영상왜곡 보정 방법 및 장치
KR101807090B1 (ko) 2016-06-20 2017-12-08 현대오트론 주식회사 영상 왜곡 보정 장치 및 방법
EP3702750A1 (en) * 2019-03-01 2020-09-02 Valeo Vision Method for correcting a light pattern, automotive lighting device and automotive lighting assembly
CN114812514B (zh) * 2022-04-15 2023-06-16 浙江省水利河口研究院(浙江省海洋规划设计研究院) 一种涌潮潮头线形态及潮头推进速度现场测量方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000152073A (ja) * 1998-10-30 2000-05-30 Hewlett Packard Co <Hp> ひずみ補正方法
US6243131B1 (en) * 1991-05-13 2001-06-05 Interactive Pictures Corporation Method for directly scanning a rectilinear imaging element using a non-linear scan
JP2002158915A (ja) * 2000-09-05 2002-05-31 Inst Of Physical & Chemical Res 画像のレンズ歪みの補正方法
JP2002163647A (ja) * 2000-11-27 2002-06-07 Sanyo Electric Co Ltd レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6243131B1 (en) * 1991-05-13 2001-06-05 Interactive Pictures Corporation Method for directly scanning a rectilinear imaging element using a non-linear scan
JP2000152073A (ja) * 1998-10-30 2000-05-30 Hewlett Packard Co <Hp> ひずみ補正方法
JP2002158915A (ja) * 2000-09-05 2002-05-31 Inst Of Physical & Chemical Res 画像のレンズ歪みの補正方法
JP2002163647A (ja) * 2000-11-27 2002-06-07 Sanyo Electric Co Ltd レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428534B1 (ko) 2012-12-13 2014-08-11 한국항공대학교산학협력단 렌즈 왜곡 보정 장치 및 방법
US10721419B2 (en) 2017-11-30 2020-07-21 International Business Machines Corporation Ortho-selfie distortion correction using multiple image sensors to synthesize a virtual image
KR102124291B1 (ko) * 2020-02-12 2020-06-17 김정석 광학식 정밀측정기의 렌즈 측정오차 교정방법

Also Published As

Publication number Publication date
KR20040022348A (ko) 2004-03-12

Similar Documents

Publication Publication Date Title
EP0511754B1 (en) Apparatus and method for descreening
EP0826195B1 (en) Image noise reduction system using a wiener variant filter in a pyramid image representation
KR101917404B1 (ko) 이미지 캡쳐장치용 컬러 칼리브레이션 방법
US9818201B2 (en) Efficient lens re-distortion
CN110136083B (zh) 一种结合交互式的底图更新方法及装置
US20090059041A1 (en) Method of correcting image distortion and apparatus for processing image using the method
US20180198977A1 (en) Image processing apparatus, image processing method, recording medium, program and imaging-capturing apparatus
CN109886351B (zh) 高光谱数据和高分辨率图像融合方法
KR100456632B1 (ko) 영상 기반 렌즈 왜곡 보정 장치 및 방법
CN110533618B (zh) 一种镜头畸变矫正的方法和照相装置
KR100438648B1 (ko) 감마 보정표를 계산하는 효율적인 방법
CN111462246A (zh) 一种结构光测量系统的设备标定方法
CN102236790A (zh) 一种图像处理方法和设备
US20120038785A1 (en) Method for producing high resolution image
CN115760653B (zh) 图像校正方法、装置、设备及可读存储介质
CN112017163A (zh) 图像模糊度检测的方法、装置、电子设备及存储介质
JP2011047739A (ja) カメラパラメータのキャリブレーション装置及びプログラム
CN116095291A (zh) 一种用于媒体流图像传输的图像预处理方法
US9582887B2 (en) Methods and apparatus for determining field of view dependent depth map correction values
JP7190327B2 (ja) Ｍｔｆ測定装置およびそのプログラム
CN115235625A (zh) 一种光谱共焦回波位置标定方法、装置、介质及计算机设备
EP2634750A2 (en) A viewing device with object dimension measurement
CN111383184A (zh) 图像的处理方法及装置
JP2004354234A (ja) 写真計測用カメラキャリブレーション方法
JPH09284429A (ja) 画像評価装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20081104

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee