KR100744937B1 - Lens distortion correction method - Google Patents

Lens distortion correction method Download PDF

Info

Publication number
KR100744937B1
KR100744937B1 KR1020060059106A KR20060059106A KR100744937B1 KR 100744937 B1 KR100744937 B1 KR 100744937B1 KR 1020060059106 A KR1020060059106 A KR 1020060059106A KR 20060059106 A KR20060059106 A KR 20060059106A KR 100744937 B1 KR100744937 B1 KR 100744937B1
Authority
KR
South Korea
Prior art keywords
pixel
lens
image
distortion
distorted image
Prior art date
Application number
KR1020060059106A
Other languages
Korean (ko)
Inventor
양애경
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020060059106A priority Critical patent/KR100744937B1/en
Application granted granted Critical
Publication of KR100744937B1 publication Critical patent/KR100744937B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)

Abstract

A lens distortion correction method is provided to improve accuracy of correction and decrease complexity of calculation even though a polynomial of a low order is used by deciding a distortion coefficient based on a distortion ratio of a lens which is defined when the lens is designed. A coordinate for each pixel of a distorted image is set by an origin as a central point of the distorted image and by coordinate axes as horizontal and vertical central lines of the distorted image. A distance from the origin to the coordinate for each pixel of the distorted image is calculated. A distortion coefficient is obtained by using a distortion ratio and the distance to the coordinate for each pixel of the distorted image. A corrected coordinate of each pixel is obtained by using the distortion coefficient.

Description

렌즈 왜곡 보정 방법{LENS DISTORTION CORRECTION METHOD}Lens distortion correction method {LENS DISTORTION CORRECTION METHOD}

도 1의 (a), (b) 및 (c)는 왜곡 없는 영상, k(왜곡계수)＞0인 경우의 왜곡된 영상 및 k(왜곡계수)＜0인 경우의 왜곡된 영상을 도시한 도면이다.1 (a), (b) and (c) show an image without distortion, a distorted image when k (distortion coefficient)> 0, and a distorted image when k (distortion coefficient) <0; to be.

도 2는 본 발명의 렌즈 왜곡 보정 방법이 적용되는 디지털 카메라 시스템을 도시한 블록 구성도이다.2 is a block diagram illustrating a digital camera system to which the lens distortion correction method of the present invention is applied.

도 3은 본 발명의 일실시형태에 따른 렌즈 왜곡 보정 방법을 도시한 순서도이다.3 is a flowchart illustrating a lens distortion correction method according to an embodiment of the present invention.

도 4는 본 발명의 일실시형태에 따른 렌즈 왜곡 보정 방법을 설명하기 위한 개념도이다.4 is a conceptual diagram illustrating a lens distortion correction method according to an embodiment of the present invention.

*도면의 주요부분에 대한 부호의 설명** Description of the symbols for the main parts of the drawings *

21: 렌즈 22: 이미지 센서21: lens 22: image sensor

23: 아날로그/디지털 변환부 24: 화상처리부23: analog / digital conversion unit 24: image processing unit

25: 디지털/아날로그 변환부25: digital / analog converter

본 발명은 렌즈 왜곡을 보정하는 방법에 관한 것으로, 더욱 상세하게는 렌즈 설계에서 결정된 렌즈 왜곡 비율을 이용하여 렌즈 왜곡 보정에 사용되는 다항식의 차수를 감소시킴으로써 렌즈 왜곡을 보정을 위한 연산량을 감소시킬 수 있는 렌즈 왜곡 보정 방법에 관한 것이다.The present invention relates to a method of correcting lens distortion, and more particularly, by reducing the order of the polynomial used for lens distortion correction by using the lens distortion ratio determined in the lens design, it is possible to reduce the amount of computation for correcting lens distortion. It relates to a lens distortion correction method.

일반적으로, 휴대폰에 내장된 카메라 등과 같은 디지털 카메라는 렌즈와 이 렌즈를 통해 입사되는 영상을 검출하는 CCD 또는 CMOS와 같은 이미지 센서로 이루어진다. 상기 렌즈를 투과한 영상은 렌즈 자체가 갖는 여러가지 광학적 특성으로 인해 실제 육안으로 보이는 영상과 여러가지 면에서 차이가 있다. 육안으로 보이는 영상과 렌즈를 통과하여 이미지 센서에 검출된 영상의 차이점을 렌즈 수차라고 하며, 렌즈의 설계, 제작 시 렌즈 수차를 제거하여 육안으로 보이는 것과 실질적으로 동일한 영상을 얻고자하는데 많은 연구가 이루어지고 있는 실정이다.In general, a digital camera such as a camera embedded in a mobile phone is composed of a lens and an image sensor such as a CCD or CMOS that detects an image incident through the lens. The image transmitted through the lens is different from the image which is actually seen by the naked eye due to various optical characteristics of the lens itself. The difference between the visible image and the image detected by the image sensor through the lens is called lens aberration, and many studies have been conducted to remove the lens aberration in the design and manufacture of the lens to obtain an image substantially identical to that seen by the naked eye. It is losing.

상기 렌즈 수차에는 여러가지 종류가 있으며, 특히 렌즈와 센서의 기하학적 형태 차이 또는 렌즈의 굴곡에 의해 발생하는 렌즈의 왜곡 수차(이하, "렌즈의 왜곡" 또는 "렌즈 왜곡"이라 함)는 육안으로 보기에 직선으로 보이는 영상이 렌즈를 통과한 후 곡선으로 나타내는 렌즈의 수차를 의미한다. There are various types of lens aberrations, and the lens aberration (hereinafter referred to as "lens distortion" or "lens distortion") of the lens caused by the difference in the geometrical shape of the lens and the sensor or the bending of the lens is not visible to the naked eye. It means the aberration of the lens represented by the curve after passing through the lens.

도 1은 렌즈 왜곡이 없는 영상과 렌즈 왜곡이 발생한 영상을 예시적으로 나타낸 것으로, 도 1의 (a)와 같이 가로 세로가 직선으로 이루어진 영상이 렌즈 왜곡에 의해 도 1의 (b) 또는 (c)와 같이 위치에 따라 곡선의 형상으로 나타나게 된다. 특히, 도 1의 (b)에 도시된 렌즈 왜곡 영상은 렌즈의 왜곡을 나타내는 렌즈 왜곡 계수(k)가 0보다 큰 배럴(barrel) 왜곡이 발생한 것을 도시하며, 도 1의 (c)에 도시된 렌즈 왜곡 영상은 렌즈의 왜곡을 나타내는 렌즈 왜곡 계수(k)가 0보다 작은 핀쿠션(pincushion) 왜곡이 발생한 것을 도시한다.1 illustrates an image without lens distortion and an image in which lens distortion occurs. As shown in (a) of FIG. As shown in), it appears as a curved shape depending on the position. In particular, the lens distortion image illustrated in FIG. 1B illustrates barrel distortion in which the lens distortion coefficient k, which represents the distortion of the lens, is greater than zero, and is illustrated in FIG. 1C. The lens distortion image shows that pincushion distortion occurs in which the lens distortion coefficient k representing the distortion of the lens is smaller than zero.

이러한 렌즈 왜곡을 보정하기 위한 방안으로 크게 두가지가 알려져 있다. 첫째로, 렌즈 왜곡을 보정하기 위한 보정 렌즈를 추가로 설치함으로써 이미지 센서에 검출되기 이전에 입사되는 영상 자체를 물리적으로 보정을 하는 방안이 있다. 다른 방안으로는 다음으로 왜곡된 영상을 이미지 센서에서 검출한 후 이미지 센서의 각 픽셀에 검출된 왜곡된 영상을 소프트웨어적으로 연산하여 보정하는 방안이 있다.Two methods are known to correct such lens distortion. First, there is a method of physically correcting an image incident before being detected by the image sensor by additionally installing a correcting lens for correcting lens distortion. Another method is to detect the distorted image in the image sensor and then calculate and correct the distorted image detected in each pixel of the image sensor by software.

전자의 물리적 보정 방법은 보정 렌즈를 추가하여야 한다는 점에서 카메라의 제조 비용을 상승시킨다는 단점이 있다. 따라서 휴대폰에 내장되는 카메라 등에서는 후자의 소프트웨어적인 보정이 주로 사용되고 있다.The former physical correction method has the disadvantage of increasing the manufacturing cost of the camera in that a correction lens must be added. Therefore, the latter software correction is mainly used in cameras embedded in mobile phones.

상기 소프트웨어적인 렌즈 왜곡 보정방법으로 "Tsai, techniques for calibrating certain intricsic camera parameters for machine vision, IEEE Transactions on Pattern Analysis and Machine Intelligence, 19"에는 왜곡 보정 계수에 의한 방법이 개시되어 있다. 상기 문헌에는 렌즈 왜곡을 보정하기 위한 고차 다항식이 개시되어 있으며 이 고차 다항식의 왜곡 보정 계수를 결정함으로써 보정된 좌표를 얻는 렌즈 왜곡 보정방법이 개시된다. 상기 문헌에 개시된 고차 다항식은 하기 수학식 1 및 수학식 2와 같다.As a software lens distortion correction method, "Tsai, techniques for calibrating certain intricsic camera parameters for machine vision, IEEE Transactions on Pattern Analysis and Machine Intelligence, 19" discloses a method using a distortion correction coefficient. The document discloses a higher-order polynomial for correcting lens distortion and discloses a lens distortion correction method for obtaining corrected coordinates by determining the distortion correction coefficient of the higher-order polynomial. The higher-order polynomials disclosed in this document are given by Equations 1 and 2 below.

Figure 112006046614517-pat00001
(x': 보정된 x좌표, x: 왜곡된 x 좌표)
Figure 112006046614517-pat00001
(x ': corrected x coordinate, x: distorted x coordinate)

Figure 112006046614517-pat00002
(y': 보정된 y좌표, y: 왜곡된 x 좌표)
Figure 112006046614517-pat00002
(y ': corrected y coordinate, y: distorted x coordinate)

종래의 렌즈 왜곡 보정 방법은 상기 수학식 1 및 수학식 2로부터 왜곡 계수(k1, k2, ...)를 결정함으로써 원하는 좌표의 보정된 좌표를 구하였으나, 대부분 3차 이상의 고차식을 이용함으로써 계산식이 매우 복잡해지고 그 연산량이 매우 많은 문제점이 있었다.In the conventional lens distortion correction method, the corrected coordinates of the desired coordinates are obtained by determining the distortion coefficients k 1 , k 2, ... from Equations 1 and 2, but most of them use a higher-order equation. As a result, the calculation formula is very complicated, and the amount of calculation is very large.

따라서, 본 발명은 절술한 종래기술의 문제점을 해결하기 위해 제안된 것으로 그 목적은 렌즈 설계에서 결정된 렌즈 왜곡 비율을 이용하여 렌즈 왜곡 보정에 사용되는 다항식의 차수를 감소시킴으로써 렌즈 왜곡을 보정을 위한 연산량을 감소시킬 수 있는 렌즈 왜곡 보정 방법을 제공하는데 있다.Accordingly, the present invention has been proposed to solve the above-described problems of the prior art, and its purpose is to reduce the order of the polynomial used for lens distortion correction by using the lens distortion ratio determined in the lens design. It is to provide a lens distortion correction method that can reduce the.

상기 목적을 달성하기 위한 기술적 구성으로서 본 발명은,The present invention as a technical configuration for achieving the above object,

설계 시 결정된 왜곡비율(R)을 갖는 렌즈에 의해 이미지 센서에 검출된 왜곡 영상을 보정하는 렌즈 왜곡 보정 방법에 있어서,In the lens distortion correction method for correcting the distortion image detected by the image sensor by a lens having a distortion ratio (R) determined at the time of design,

상기 왜곡 영상의 중심점을 원점으로 하고 왜곡 영상의 수평방향 중심선 및 수직방향 중심선을 좌표축으로 하여 상기 왜곡 영상의 각 픽셀에 대한 좌표(xd, yd)를 설정하는 단계;Setting coordinates (x d , y d ) for each pixel of the distorted image by using a center point of the distorted image as an origin and a horizontal center line and a vertical center line of the distorted image as coordinate axes;

상기 원점으로부터 상기 왜곡 영상의 각 픽셀에 대한 좌표(xd, yd)까지의 거리(rd)를 계산하는 단계;Calculating a distance r d from the origin to a coordinate (x d , y d ) for each pixel of the distorted image;

상기 왜곡비율(R) 및 상기 상기 왜곡 영상의 각 픽셀에 대한 좌표(xd, yd)까지의 거리(rd)를 이용하여 하기 수학식*과 같이 왜곡계수(k)를 구하는 단계-Obtaining a distortion coefficient (k) using the distortion ratio (R) and the distance (r d ) to the coordinates (x d , y d ) for each pixel of the distorted image,

Figure 112006046614517-pat00003
-; 및
Figure 112006046614517-pat00003
-; And

상기 왜곡계수(k)를 이용하여 하기 수학식* 및 수학식*과 같이 각 픽셀의 보정된 좌표(xu, yu)을 구하는 단계-Obtaining the corrected coordinates (x u , y u ) of each pixel by using the distortion coefficient k as shown in Equations * and Equations * below-

Figure 112006046614517-pat00004
Figure 112006046614517-pat00004

Figure 112006046614517-pat00005
-
Figure 112006046614517-pat00005
-

를 포함하는 렌즈 왜곡 보정 방법을 제공한다.It provides a lens distortion correction method comprising a.

바람직한 실시형태에서, 본 발명은 상기 왜곡 영상의 픽셀이 영상의 최외곽 픽셀이라고 가정했을 때, 상기 가정된 최외곽선이 상기 좌표축과 만나는 점을 통과하는 상기 좌표축에 수직인 직선을 기준선으로 설정하는 단계; 및 상기 보정된 좌표를, 상기 원점과 상기 왜곡 영상의 픽셀을 연결하는 직선이 상기 기준선과 만나는 좌표로 수정하여 픽셀 좌표를 추가 보정하는 단계를 더 포함할 수 있다.According to a preferred embodiment of the present invention, assuming that the pixel of the distorted image is the outermost pixel of the image, setting a straight line perpendicular to the coordinate axis passing through the point where the assumed outermost line meets the coordinate axis as a reference line. ; And further correcting the pixel coordinates by modifying the corrected coordinates to coordinates where a straight line connecting the origin and the pixels of the distorted image meets the reference line.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시형태를 보다 상세하게 설명한다. 그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시형태로 한정되는 것은 아니다. 또한 본 발명의 실시형태는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에 도시된 구성요소들의 형상 및 크기 등은 더욱 명확한 설명을 위해 과장될 수 있을 것이다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, embodiments of the present invention may be modified in various other forms, and the scope of the present invention is not limited to the embodiments described below. In addition, embodiments of the present invention is provided to more completely explain the present invention to those skilled in the art. Therefore, the shape and size of the components shown in the drawings may be exaggerated for more clear description.

도 2는 본 발명의 렌즈 왜곡 방법이 적용되는 디지털 카메라 시스템을 도시한 블록 구성도이다.2 is a block diagram illustrating a digital camera system to which the lens distortion method of the present invention is applied.

도 2를 참조하면, 본 발명의 렌즈 왜곡 보정 방법이 적용되는 디지털 카메라 시스템은, 렌즈(21)와, 상기 렌즈(21)를 투과한 영상을 검출하는 이미지 센서(22)와, 상기 이미지 센서(22)에서 검출된 아날로그 신호를 디지털 신호로 변환하는 아날로그/디지털 변환부(23)와, 디지털 변환된 영상의 각 픽셀에 대한 왜곡 보정이 이루어지는 화상처리부(24)와, 상기 화상처리부(24)에 의해 왜곡 보정된 영상을 다시 아날로그 신호로 변환하는 디지털/아날로그 변환부(25)를 포함한다.2, a digital camera system to which the lens distortion correction method of the present invention is applied includes a lens 21, an image sensor 22 for detecting an image passing through the lens 21, and the image sensor ( An analog / digital converter 23 for converting the analog signal detected by the signal 22 into a digital signal, an image processor 24 for correcting distortion of each pixel of the digitally converted image, and the image processor 24. The digital-to-analog converter 25 converts the distortion-corrected image back into an analog signal.

상기 렌즈(21)는 외부로부터 촬영하고자 하는 영상을 투과하여 전달한다. 이 렌즈(21)는 최초 설계 시 결정된 왜곡비율(R)을 갖는다. 즉, 거의 대부분의 렌즈는 투과되는 영상에 대한 왜곡을 발생시키며, 이러한 왜곡에 대한 정보는 렌즈 설계시 해당 렌즈가 갖는 스펙의 하나인 왜곡비율(R)로 주어진다. 왜곡비율(R)은 검출된 영상의 중심으로부터 거리의 비로 나타난다. 예를 들어, 왜곡되지 않은 영상의 중심으로부터 소정 픽셀까지의 거리를 ru라고 하고, 이 픽셀이 렌즈에 의해 왜곡되어 이동된 위치를 rd라고 하면, 왜곡 비율(R)은 하기 수학식 6과 같이 결정된다.The lens 21 transmits and transmits an image to be taken from the outside. This lens 21 has a distortion ratio R determined at the time of initial design. That is, almost all lenses generate distortion for the transmitted image, and the information on the distortion is given as a distortion ratio R, which is one of the specifications of the lens when designing the lens. The distortion ratio R is represented by the ratio of the distance from the center of the detected image. For example, if the distance from the center of the undistorted image to a predetermined pixel is r u , and the position where the pixel is distorted and moved by the lens is r d , the distortion ratio R is expressed by the following equation (6). Is determined as follows.

Figure 112006046614517-pat00006
Figure 112006046614517-pat00006

상기 이미지 센서(22)는 고체 촬상 소자로 알려진 CCD 또는 CMOS일 수 있다. 상기 이미지 센서(22)는 m×n의 매트릭스 배열로 이루어진 다수의 픽셀을 포함하 며, 각 픽셀별로 상기 렌즈(21)로부터 제공되는 영상의 해당 영역에 대한 정보를 검출하여 소정의 아날로그 전기신호로 출력한다. 상기 이미지 센서(22)의 각 픽셀에 의해 검출된 아날로그 신호는 아날로그/디지털 변환부(23)에서 디지털 값으로 변환되어 상기 화상 처리부(24)로 전달된다.The image sensor 22 may be a CCD or a CMOS known as a solid-state imaging device. The image sensor 22 includes a plurality of pixels in a matrix arrangement of m × n, and detects information on a corresponding area of an image provided from the lens 21 for each pixel and outputs a predetermined analog electric signal. Output The analog signal detected by each pixel of the image sensor 22 is converted into a digital value by the analog / digital converter 23 and transmitted to the image processor 24.

상기 화상 처리부(24)는 디지털값으로 입력되는 각 픽셀이 갖는 정보를 이용하여 본 발명에 따른 렌즈 왜곡 보정 방법을 실행함으로써 렌즈에 의해 왜곡된 영상을 보정한다. 이렇게 보정된 각 픽셀에 대한 정보는 상기 디지털/아날로그 변환부(25)에서 변환되어 사람이 인식할 수 있는 영상으로 제공된다.The image processing unit 24 corrects an image distorted by the lens by executing the lens distortion correction method according to the present invention by using the information of each pixel input as a digital value. The corrected information on each pixel is converted by the digital / analog converter 25 and provided as an image that can be recognized by a person.

이하, 상기와 같은 구성을 갖는 디지털 카메라 시스템의 화상 처리부(24)에서 이루어지는 본 발명의 렌즈 왜곡 보정 방법을 더욱 상세하게 설명한다.Hereinafter, the lens distortion correction method of the present invention made by the image processing unit 24 of the digital camera system having the above configuration will be described in more detail.

도 3은 본 발명에 따른 렌즈 왜곡 보정 방법의 일실시형태를 도시한 순서도이다. 3 is a flowchart illustrating an embodiment of a lens distortion correction method according to the present invention.

도 2 및 도 3을 참조하면, 본 발명의 일실시형태에 따른 렌즈 왜곡 보정 방법의 일실시형태는 먼저, 이미지 센서(22)에 의해 검출된 왜곡 영상의 중심점을 원점으로 하여 이 왜곡 영상의 각 픽셀에 대한 좌표(xd, yd)를 설정한다(S31). 상기 설명한 바와 같이, 이미지 센서(22)는 m×n의 매트릭스 배열로 이루어진 다수의 픽 셀으로 이루어져 있으며, 렌즈(21)로부터 전달된 왜곡 영상의 일부분들이 각 픽셀에 의해 검출된다. 각 픽셀에 의해 검출된 영상의 부분들을 취합하면 하나의 전체 영상이 된다. 렌즈(21)에 의해 이미지 센서(22)로 전달된 영상은 왜곡된 것이므로, 이미지 센서(22)에 의해 검출되어 화상 처리부(24)로 전달된 영상 역시 왜곡된 영상이다. 이 왜곡된 영상을 소프트웨어적으로 보정하기 위해, 화상 처리부(24)에서는 왜곡된 영상의 각 픽셀에 대한 좌표(xd, yd)를 먼저 설정한다.2 and 3, an embodiment of the lens distortion correction method according to an embodiment of the present invention, first, the angle of the distorted image with the center point of the distorted image detected by the image sensor 22 as an origin; The coordinates (x d , y d ) for the pixels are set (S31). As described above, the image sensor 22 is composed of a plurality of pixels having an m × n matrix arrangement, and portions of the distorted image transmitted from the lens 21 are detected by each pixel. The parts of the image detected by each pixel are combined to form one whole image. Since the image transmitted by the lens 21 to the image sensor 22 is distorted, the image detected by the image sensor 22 and transmitted to the image processor 24 is also a distorted image. In order to software-correct this distorted image, the image processing unit 24 first sets coordinates (x d , y d ) for each pixel of the distorted image.

본 발명에 대한 설명에서, 픽셀(pixel)이라는 용어는 이미지 센서를 구성하며 이미지 센서로 입력되는 영상의 일부분을 검출하는 단위 구성요소를 의미하기도 하며, 이미지 센서에 의해 검출된 전체 영상에서 상기 이미지 센서의 각 픽셀에 의해 검출된 정보를 담고 있는 영역, 즉 전체 영상을 구성하는 각 단위 화소를 의미하는 것일 수도 있다.In the description of the present invention, the term pixel refers to a unit component constituting an image sensor and detecting a portion of an image input to the image sensor, and the image sensor in the entire image detected by the image sensor. A region containing information detected by each pixel of, i.e., may mean each unit pixel constituting the entire image.

다음으로, 상기 좌표가 설정된 각 픽셀과 상기 원점과의 거리(rd)를 연산한다(S32). 상기 왜곡된 영상의 임의의 픽셀의 좌표가 (xd, yd)라고 하면, 이 픽셀과 원점과의 거리는 하기의 수학식7과 같이 결정된다.Next, a distance r d between each pixel for which the coordinate is set and the origin is calculated (S32). If the coordinate of any pixel of the distorted image is (x d , y d ), the distance between the pixel and the origin is determined as shown in Equation 7 below.

Figure 112006046614517-pat00007
Figure 112006046614517-pat00007

다음으로, 상기 왜곡비율(R) 및 상기 상기 왜곡 영상의 각 픽셀에 대한 좌표(xd, yd)까지의 거리(rd)를 이용하여 하기 수학식3과 같이 왜곡계수(k)를 구한다(S33).Next, a distortion coefficient k is obtained as shown in Equation 3 using the distortion ratio R and the distance r d to the coordinates x d and y d for each pixel of the distorted image. (S33).

[수학식 3][Equation 3]

Figure 112006046614517-pat00008
Figure 112006046614517-pat00008

상기 수학식 3은 다음과 같은 식의 전개과정을 통해 도출될 수 있다.Equation 3 may be derived through the development process of the following equation.

상기 수학식 4, 5에서 보정된 픽셀과 원점 간의 거리(ru)는 하기 수학식 8과 같이 정의 된다.The distance r u between the pixel corrected in Equations 4 and 5 and the origin is defined as in Equation 8 below.

Figure 112006046614517-pat00009
Figure 112006046614517-pat00009

상기 수학식 8을 k에 대해 정리하면, 다음의 수학식 9과 같다.Equation (8) is summarized with respect to k as follows.

Figure 112006046614517-pat00010
Figure 112006046614517-pat00010

상기 수학식 6에서 ru/rd=R 이므로, 상기 수학식 9로부터 왜곡계수는 상기 수학식 3과 같이 결정된다.Since r u / r d = R in Equation 6, the distortion coefficient from Equation 9 is determined as in Equation 3.

이어, 상기 수학식 3과 같이 결정된 왜곡계수(k)를 적용하여, 수학식 4 및 수학식 5와 같이 각 픽셀의 보정된 좌표(xu, yu)을 구한다(S34).Next, by applying the distortion coefficient k determined as in Equation 3, the corrected coordinates x u and y u are obtained as in Equations 4 and 5 (S34).

[수학식 4][Equation 4]

Figure 112006046614517-pat00011
Figure 112006046614517-pat00011

[수학식 5][Equation 5]

Figure 112006046614517-pat00012
Figure 112006046614517-pat00012

상기 수학식 4, 5는, 종래 기술에서 적용되던 다항식인 수학식 1, 2를 가장 낮은 차수로 적용한 식으로 왜곡계수 k의 값에 따라 보정의 정확도 및 계산의 복잡성이 결정된다. 본 발명은 렌즈의 설계시 렌즈의 스펙으로 결정되는 렌즈의 왜곡비율(R)을 이용하여 k를 결정함으로써, 낮은 차수의 다항식을 이용하면서도 보정의 정확도 및 계산의 복잡성을 감소시킬 수 있게 된다.Equations 4 and 5 apply equations 1 and 2, which are polynomials applied in the prior art, in the lowest order, and the accuracy of the correction and the complexity of the calculation are determined according to the value of the distortion coefficient k. According to the present invention, k is determined using the distortion ratio R of the lens determined as the specification of the lens in the design of the lens, thereby reducing the accuracy of the correction and the complexity of the calculation while using a low order polynomial.

한편, 본 발명은 렌즈 왜곡의 보정의 정확도를 향상시키기 위해 추가 보정 단계가 더 추가될 수 있다. 이 추가 보정 단계에 대해서 도 4를 참조하여 더욱 상세하게 설명하기로 한다.Meanwhile, in the present invention, an additional correction step may be further added to improve the accuracy of correction of the lens distortion. This additional correction step will be described in more detail with reference to FIG. 4.

도 4는 본 발명의 일실시형태에 따른 렌즈 왜곡 보정 방법을 설명하기 위한 개념도이다. 도 4를 참조하면, 영상의 중심으로부터 rd의 거리를 갖는 왜곡된 픽 셀(Pd)은 전술한 본 발명의 렌즈 왜곡 보정 방법에 의해 영상의 중심으로부터 ru1의 거리를 갖는 픽셀(Pu1)으로 그 좌표가 보정된다. 본 발명은 렌즈의 왜곡을 더욱 정밀하게 보정하기 위해 추가적인 렌즈 왜곡 보정 단계(도 3의 S35)을 더 포함할 수 있다. 이 추가적인 렌즈 왜곡 보정 단계(도 3의 S35)는 상기 수학식 3, 4, 5에 의해 보정된 픽셀(Pu1)을 추가적인 연산을 통해 픽셀(Pu2)로 보정하는 단계이다. 상기 픽셀(Pu2)은 왜곡 영상의 중심점인 원점(C)을 통과하는 왜곡 영상의 수평방향 중심선 및 수직방향 중심선, 즉 픽셀의 좌표를 설정하는 좌표축에 수직인 두 직선으로 이루어지는 기준선과 상기 원점(C)과 왜곡된 픽셀(Pd)을 연결하는 직선이 만나는 점의 좌표이다. 상기 기준선은 왜곡된 픽셀(Pd)의 좌표에 따라 미리 설정될 수 있다. 즉, 왜곡 보정을 하고자 하는 왜곡된 픽셀(Pd)이 영상의 최외곽 픽셀이라고 가정했을 때, 이 가정된 최외곽선이 좌표축과 만나는 점 통과하는 좌표축에 수직인 직선이 상기 기준선이 된다. 4 is a conceptual diagram illustrating a lens distortion correction method according to an embodiment of the present invention. Referring to FIG. 4, the distorted pixel P d having a distance r d from the center of the image is a pixel P u1 having a distance r u1 from the center of the image by the lens distortion correction method of the present invention described above. The coordinates are corrected with). The present invention may further include an additional lens distortion correction step (S35 of FIG. 3) to more accurately correct the distortion of the lens. This additional lens distortion correction step (S35 of FIG. 3) is a step of correcting the pixel P u1 corrected by Equations 3, 4, and 5 into the pixel P u2 through an additional operation. The pixel Pu2 has a reference line and a reference line formed of a horizontal center line and a vertical center line of the distorted image passing through the origin C, which is the center point of the distorted image, that is, two straight lines perpendicular to the coordinate axis for setting the pixel coordinates. It is the coordinate of the point where the straight line connecting C) and the distorted pixel P d meets. The reference line may be preset according to the coordinates of the distorted pixel P d . That is, assuming that the distorted pixel P d for distortion correction is the outermost pixel of the image, a straight line perpendicular to the coordinate axis passing through the point where the assumed outermost line meets the coordinate axis becomes the reference line.

따라서, 본 발명은 상기 수학식 3, 4 및 5에 의해 왜곡된 픽셀의 좌표를 1차적으로 보정하고, 추가적으로 기준선을 이용하여 설정된 보정 좌표로 추가 보정함으로써, 복잡도 낮은 연산을 통해 왜곡된 영상을 보정할 수 있으며, 그 보정의 정확도를 더욱 향상시킬 수 있다.Therefore, the present invention primarily corrects the coordinates of the distorted pixel by Equations 3, 4, and 5, and additionally corrects the corrected coordinates by using a reference line, thereby correcting the distorted image through a low complexity operation. Can further improve the accuracy of the correction.

전술한 렌즈 왜곡의 보정의 정확도를 향상시키기 위한 추가 보정 단계 이후, 왜곡 보정에 의해 발생하는 이미지의 계단현상을 제거하기 위해 안티-앨리어싱(anti-aliasing) 기법에 의해 각 픽셀을 보정하는 단계가 추가될 수 있다. 안티-앨리어싱 기법은 당업계에 일반적으로 알려진 기술이므로 그에 대한 구체적인 설명은 생략하기로 한다.After an additional correction step to improve the accuracy of the correction of the lens distortion described above, a step of correcting each pixel by an anti-aliasing technique to remove the stepping of the image caused by the distortion correction is added. Can be. Since the anti-aliasing technique is generally known in the art, a detailed description thereof will be omitted.

이상에서 설명한 바와 같이, 본 발명에 따르면, 렌즈 설계에서 결정된 렌즈 왜곡 비율을 이용하여 렌즈 왜곡 보정에 사용되는 다항식의 차수를 감소시킴으로써 렌즈 왜곡을 보정을 위한 연산의 복잡도를 감소시킬 수 있는 효과가 있다. 또한, 추가적인 보정 과정을 통해 보정의 정확도를 더욱 향상시킬 수 있는 효과가 있다.As described above, according to the present invention, by reducing the order of the polynomial used for lens distortion correction by using the lens distortion ratio determined in the lens design, it is possible to reduce the complexity of calculation for correcting lens distortion. . In addition, there is an effect that can further improve the accuracy of the correction through an additional correction process.

Claims (3)

설계 시 결정된 왜곡비율(R)을 갖는 렌즈에 의해 이미지 센서에 검출된 왜곡 영상을 보정하는 렌즈 왜곡 보정 방법에 있어서,In the lens distortion correction method for correcting the distortion image detected by the image sensor by a lens having a distortion ratio (R) determined at the time of design, 상기 왜곡 영상의 중심점을 원점으로 하고 왜곡 영상의 수평방향 중심선 및 수직방향 중심선을 좌표축으로 하여 상기 왜곡 영상의 각 픽셀에 대한 좌표(xd, yd)를 설정하는 단계;Setting coordinates (x d , y d ) for each pixel of the distorted image by using a center point of the distorted image as an origin and a horizontal center line and a vertical center line of the distorted image as coordinate axes; 상기 원점으로부터 상기 왜곡 영상의 각 픽셀에 대한 좌표(xd, yd)까지의 거리(rd)를 계산하는 단계;Calculating a distance r d from the origin to a coordinate (x d , y d ) for each pixel of the distorted image; 상기 왜곡비율(R) 및 상기 상기 왜곡 영상의 각 픽셀에 대한 좌표(xd, yd)까지의 거리(rd)를 이용하여 하기 수학식 3과 같이 왜곡계수(k)를 구하는 단계-Obtaining a distortion coefficient k as shown in Equation 3 using the distortion ratio R and the distance r d to the coordinates x d and y d for each pixel of the distorted image; [수학식 3][Equation 3]
Figure 112006046614517-pat00013
-; 및
Figure 112006046614517-pat00013
-; And 상기 왜곡계수(k)를 이용하여 하기 수학식 4 및 수학식 5과 같이 각 픽셀의 보정된 좌표(xu, yu)을 구하는 단계-Obtaining the corrected coordinates (x u , y u ) of each pixel using the distortion coefficient k as shown in Equations 4 and 5 below- [수학식 4][Equation 4]
Figure 112006046614517-pat00014
Figure 112006046614517-pat00014
 [수학식 5][Equation 5]
Figure 112006046614517-pat00015
-
Figure 112006046614517-pat00015
- 를 포함하는 렌즈 왜곡 보정 방법.Lens distortion correction method comprising a. 제1항에 있어서,The method of claim 1, 상기 왜곡 영상의 픽셀이 영상의 최외곽 픽셀이라고 가정했을 때, 상기 가정된 최외곽선이 상기 좌표축과 만나는 점을 통과하는 상기 좌표축에 수직인 직선을 기준선으로 설정하는 단계; 및Assuming that a pixel of the distorted image is the outermost pixel of the image, setting a straight line perpendicular to the coordinate axis passing through a point where the assumed outermost line meets the coordinate axis as a reference line; And 상기 보정된 좌표를, 상기 원점과 상기 왜곡 영상의 픽셀을 연결하는 직선이 상기 기준선과 만나는 좌표로 수정하여 픽셀 좌표를 추가 보정하는 단계를 더 포함하는 것을 특징으로 하는 렌즈 왜곡 보정 방법.And correcting the pixel coordinates further by correcting the corrected coordinates to coordinates where a straight line connecting the origin and the pixels of the distorted image meets the reference line. 제2항에 있어서,The method of claim 2, 상기 추가 보정하는 단계 이후, 죄표가 보정된 각 픽셀들을 안티-앨리어싱법으로 보정하는 단계를 더 포함하는 것을 특징으로 하는 렌즈 왜곡 보정 방법.And after the further correcting, correcting each pixel whose corrected index is corrected by an anti-aliasing method.
KR1020060059106A 2006-06-29 2006-06-29 Lens distortion correction method KR100744937B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060059106A KR100744937B1 (en) 2006-06-29 2006-06-29 Lens distortion correction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060059106A KR100744937B1 (en) 2006-06-29 2006-06-29 Lens distortion correction method

Publications (1)

Publication Number Publication Date
KR100744937B1 true KR100744937B1 (en) 2007-08-01

Family

ID=38601563

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060059106A KR100744937B1 (en) 2006-06-29 2006-06-29 Lens distortion correction method

Country Status (1)

Country Link
KR (1) KR100744937B1 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101007149B1 (en) 2009-08-24 2011-01-12 주식회사 우신산업 Method for extracting warping point for calibration of wide angle camera and method for aquiring top view of vehicle
KR101014572B1 (en) * 2007-08-27 2011-02-16 주식회사 코아로직 Method of correcting image distortion and Image processing device of adapting the same method
KR101144375B1 (en) 2010-12-30 2012-05-10 포항공과대학교 산학협력단 Methods of correctiing image distortion and apparatuses for using the same
KR101172629B1 (en) 2011-01-04 2012-08-08 포항공과대학교 산학협력단 Method of processing image and apparatus for the same
KR101255742B1 (en) * 2011-05-31 2013-04-17 주식회사 에이티엠 Dmethod for deciding of lens distortion correction parameters
KR20140072344A (en) * 2012-12-03 2014-06-13 엘지디스플레이 주식회사 Method and System for Testing Display Panel
KR101428534B1 (en) 2012-12-13 2014-08-11 한국항공대학교산학협력단 Apparatus and method for correcting lens distortion
KR101714213B1 (en) * 2015-09-09 2017-03-09 현대오트론 주식회사 Apparatus for revising image distortion of lens
CN109817139A (en) * 2017-11-21 2019-05-28 三星电子株式会社 Display driver and electronic equipment
KR102036640B1 (en) * 2018-06-15 2019-10-25 고려대학교 산학협력단 Optical imaging method capable of high-speed correction of optical aberration

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5351067A (en) 1991-07-22 1994-09-27 International Business Machines Corporation Multi-source image real time mixing and anti-aliasing
US5675380A (en) 1994-12-29 1997-10-07 U.S. Philips Corporation Device for forming an image and method of correcting geometrical optical distortions in an image
JPH11250239A (en) 1998-02-27 1999-09-17 Kyocera Corp Digital image pickup device for operating distortion correction by yuv data
KR20000060731A (en) * 1999-03-18 2000-10-16 명영철 Calibraion method of high resolution photographing equipment using multiple imaging devices.
JP2005057605A (en) 2003-08-06 2005-03-03 Sony Corp Image processor, image processing system, imaging device and image processing method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5351067A (en) 1991-07-22 1994-09-27 International Business Machines Corporation Multi-source image real time mixing and anti-aliasing
US5675380A (en) 1994-12-29 1997-10-07 U.S. Philips Corporation Device for forming an image and method of correcting geometrical optical distortions in an image
JPH11250239A (en) 1998-02-27 1999-09-17 Kyocera Corp Digital image pickup device for operating distortion correction by yuv data
KR20000060731A (en) * 1999-03-18 2000-10-16 명영철 Calibraion method of high resolution photographing equipment using multiple imaging devices.
JP2005057605A (en) 2003-08-06 2005-03-03 Sony Corp Image processor, image processing system, imaging device and image processing method

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101014572B1 (en) * 2007-08-27 2011-02-16 주식회사 코아로직 Method of correcting image distortion and Image processing device of adapting the same method
US8000559B2 (en) 2007-08-27 2011-08-16 Core Logic, Inc. Method of correcting image distortion and apparatus for processing image using the method
KR101007149B1 (en) 2009-08-24 2011-01-12 주식회사 우신산업 Method for extracting warping point for calibration of wide angle camera and method for aquiring top view of vehicle
KR101144375B1 (en) 2010-12-30 2012-05-10 포항공과대학교 산학협력단 Methods of correctiing image distortion and apparatuses for using the same
KR101172629B1 (en) 2011-01-04 2012-08-08 포항공과대학교 산학협력단 Method of processing image and apparatus for the same
KR101255742B1 (en) * 2011-05-31 2013-04-17 주식회사 에이티엠 Dmethod for deciding of lens distortion correction parameters
KR20140072344A (en) * 2012-12-03 2014-06-13 엘지디스플레이 주식회사 Method and System for Testing Display Panel
KR101974111B1 (en) 2012-12-03 2019-05-02 엘지디스플레이 주식회사 Method and System for Testing Display Panel
KR101428534B1 (en) 2012-12-13 2014-08-11 한국항공대학교산학협력단 Apparatus and method for correcting lens distortion
KR101714213B1 (en) * 2015-09-09 2017-03-09 현대오트론 주식회사 Apparatus for revising image distortion of lens
US9984444B2 (en) 2015-09-09 2018-05-29 Hyundai Autron Co., Ltd. Apparatus for correcting image distortion of lens
CN109817139A (en) * 2017-11-21 2019-05-28 三星电子株式会社 Display driver and electronic equipment
US10580118B2 (en) 2017-11-21 2020-03-03 Samsung Electronics Co., Ltd. Display driver and mobile electronic device
KR102036640B1 (en) * 2018-06-15 2019-10-25 고려대학교 산학협력단 Optical imaging method capable of high-speed correction of optical aberration

Similar Documents

Publication Publication Date Title
KR100744937B1 (en) Lens distortion correction method
KR101014572B1 (en) Method of correcting image distortion and Image processing device of adapting the same method
US7965325B2 (en) Distortion-corrected image generation unit and distortion-corrected image generation method
JP2016085637A (en) Data processor, imaging device, and data processing method
JP6975003B2 (en) Peripheral monitoring device and its calibration method
CN107871329B (en) Method and device for quickly calibrating optical center of camera
WO2019171984A1 (en) Signal processing device, signal processing method, and program
US20080218607A1 (en) Distortion correction for photographing device
KR20100091383A (en) Correction method of radial distortion based on a line-fitting
JP2013187822A (en) Correction formula calculation method, correction method, correction apparatus, and imaging apparatus
JP2011147079A (en) Image pickup device
US8045822B2 (en) Correction of image distortion
CN111179180B (en) Image correction method and device
JP7210337B2 (en) Image processing device and distortion correction coefficient calculation method
JP5446285B2 (en) Image processing apparatus and image processing method
JP2006010613A (en) Correcting method of image distortion
JP2009055442A (en) Image correcting device
JP5167614B2 (en) Distance image generating apparatus, distance image generating method and program
KR101428534B1 (en) Apparatus and method for correcting lens distortion
JP4571038B2 (en) Image correction device
JP6571571B2 (en) Imaging apparatus, in-vehicle camera, and image processing method
KR101626155B1 (en) Apparatus for correcting channel sensitivity and lens shading of a photographed image and method thereof
JP4194889B2 (en) Image processing device
JP4996330B2 (en) Image distortion correction device
JP2010102423A (en) Wide angle image display method and wide angle image display system

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee