KR20150129996A - using extreme wide angle lens, the optical axis of the camera calibration method and apparatus - Google Patents
using extreme wide angle lens, the optical axis of the camera calibration method and apparatus Download PDFInfo
- Publication number
- KR20150129996A KR20150129996A KR1020140056958A KR20140056958A KR20150129996A KR 20150129996 A KR20150129996 A KR 20150129996A KR 1020140056958 A KR1020140056958 A KR 1020140056958A KR 20140056958 A KR20140056958 A KR 20140056958A KR 20150129996 A KR20150129996 A KR 20150129996A
- Authority
- KR
- South Korea
- Prior art keywords
- optical axis
- image
- wide angle
- lens
- control unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
- G02B7/10—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
- G02B7/102—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
- G03B3/02—Focusing arrangements of general interest for cameras, projectors or printers moving lens along baseboard
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Studio Devices (AREA)
Abstract
Description
본 발명은 초광각렌즈를 채용한 초광각카메라에서 초광각렌즈와 이미지 센서 수광부의 광축을 찾아 보정해주는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for locating and correcting an optical axis of an ultra-wide angle lens and an image sensor light receiving unit in an ultra-wide angle camera employing an ultra-wide angle lens.
스마트폰, 스마트패드 등 이동형 스마트 기기, 자동차 후방카메라, 자동차 내/외부 모니터링 시스템, 네트워크 CCTV 카메라 등의 다양한 제품군에서 카메라가 적용되고 있다. 이와 같은 제품들에서 종래의 카메라는 렌즈의 투사면이 센서의 수광면 전체를 덮는 구조로 되어있고 렌즈의 굴절률이 균일하게 들어오는 구조를 채택하고 있었고 이러한 구조를 채택하는 경우 렌즈와 센서와의 광축 일치에 대한 문제가 비교적 적었다.Cameras are being used in various products such as mobile smart devices such as smart phones and smart pads, automotive rearview cameras, in-vehicle / external monitoring systems, and network CCTV cameras. In such products, the conventional camera has a structure in which the projection surface of the lens covers the entire light-receiving surface of the sensor, and the refractive index of the lens is uniformly entered. When such a structure is adopted, There were relatively few problems.
그런데, 위 다양한 제품군들에서 점차로 초광각 촬영의 필요성이 제기되었고, 초광각 렌즈를 채용한 초광각 카메라의 경우, 도 1과 같이 렌즈의 광축을 기준으로 방사왜곡이 생기게 되어 이미지센서 수광부를 통해 취득된 영상에 대해 방사왜곡 보정이 필요한 문제점이 있었다.However, in the above various product groups, the necessity of ultra-wide angle photographing has been gradually developed. In the case of an ultra-wide angle camera employing an ultra-wide angle lens, as shown in Fig. 1, radial distortion is generated with reference to the optical axis of the lens, There is a problem that the radial distortion correction is required.
이와 같은 방사왜곡의 보정에 있어서, 광축은 매우 중요한 요소로 작용하게 되는데, 이는 방사왜곡의 양이 광축을 기준으로 멀어지면서 화상의 왜곡량이 커지는 양상으로 나타나기 때문이다. 렌즈와 영상 센서가 결합된 카메라 모듈에서 렌즈는 원통대칭(spherical symmetry) 특성을 가지며, 원통대칭은 광축을 기준으로 왜곡현상이 나타나게 된다. 방사왜곡 보정은 영상 센서에서 획득한 영상을 토대로 광축으로 예측되는 위치를 중심으로 왜곡 보정을 적용하게 된다. 왜곡 보정이 불필요한 일반 화각의 카메라 모듈에서는 렌즈 광축이 센서의 중심에 위치하지 않더라도 시각적으로 부담이 없는 영상을 생성하게 되지만, 초광각 카메라에서는 광축으로 추정되는 위치를 기준으로 왜곡 보정이 실행되어 작은 광축 위치 추정 오차도 영상의 경계면으로 갈수록 심하게 나타나게 된다.In such correction of the radial distortion, the optical axis acts as a very important factor because the quantity of the radial distortion is distant from the optical axis and the amount of distortion of the image becomes large. In a camera module with a lens and an image sensor, the lens has a spherical symmetry characteristic, and the cylindrical symmetry causes distortion based on the optical axis. Based on the image acquired by the image sensor, the distortion correction is applied to the distortion correction based on the position predicted by the optical axis. In a camera module with a general angle of view, in which distortion correction is not required, an image that is not visually burdensome even if the lens optical axis is not located at the center of the sensor is generated. However, in the ultra-wide angle camera, distortion correction is performed based on the position estimated on the optical axis, Estimation error also becomes more severe at the boundary of the image.
또한, 초광각렌즈를 이용한 카메라 모듈의 쓰임이 높아짐에 따라 초광각렌즈를 적용한 초광각 카메라의 양산이 늘어나고 있으며, 초광각 카메라의 양산을 위해서는 카메라 렌즈와 이미지 센서 수광부 사이의 광축을 정확하게 찾아주고 왜곡을 보정해주는 기술이 필요하게 되었는데, 종래의 기술로는 이를 정확하게 찾아줄 수 있는 방법이 구현되지 않아 사람의 육안으로 그 최종 체결 위치를 결정하는 방식을 주로 사용하고 있는 실정이다.In addition, as the use of a camera module using an ultra-wide angle lens increases, mass production of an ultra-wide angle camera using an ultra-wide angle lens is increasing. In order to mass-produce an ultra-wide angle camera, a technique for accurately detecting an optical axis between a camera lens and an image sensor light receiver, However, the conventional technique does not implement a method that can accurately detect this, so that a method of determining the final fastening position with a naked eye is mainly used.
본 발명은 이와 같은 종래 기술의 문제점을 해결하여 초광각 카메라의 초광각 렌즈와 이미지 센서의 수광부 사이의 광축을 정확하게 찾아주고 왜곡을 보정함으로써 정확한 광축 보정을 수행하는 방법 및 장치를 제공하는 것을 그 기술적 과제로 한다.SUMMARY OF THE INVENTION It is a general object of the present invention to provide a method and an apparatus for accurately correcting an optical axis by correctly detecting an optical axis between an ultra-wide angle lens of an ultra-wide angle camera and a light receiving unit of an image sensor, do.
또한, 본 발명은 렌즈 및 센서 조립시에 정확한 체결위치를 제공하는 초광각 카메라의 광축 보정 시스템 및 방법을 제공한다.The present invention also provides an optical axis correction system and method for an ultra-wide angle camera that provides an accurate fastening position during lens and sensor assembly.
본 발명에 따른 초광각 카메라의 광축 보정 시스템은, 소정의 템플릿을 촬영하는 일반화각 카메라, 광축을 조정하기 위한 상기 템플릿을 촬영하는 조립모듈의 초광각 카메라, 상기 초광각 카메라에 의해 촬영된 템플릿 영상의 광각을 보정하는 광각보정 처리부, 상기 일반화각의 카메라로 템플릿을 촬영한 영상과 광축 보정을 행할 조정모듈의 광각 카메라로 상기 템플릿을 촬영한 영상을 비교하여 광각 왜곡 오차값을 판단하는 광축위치 판단 제어부, 상기 광축위치 판단 제어부의 광각 왜곡 오차값을 바탕으로 렌즈 부착위치를 결정하는 렌즈 부착 제어부, 상기 광축위치 판단 제어부의 출력을 바탕으로 이미지 센서상의 영상의 출력위치를 결정하는 출력영역 제어부, 상기 광축위치 판단 제어부, 렌즈부착 제어부, 출력영역 제어부의 제어값에 따라 렌즈 조립모듈의 광축을 조정하는 광축조정 조립모듈을 포함하여 구성되는 것을 특징으로 한다.An optical axis correction system of an ultra-wide angle camera according to the present invention comprises a general angle-of-view camera for photographing a predetermined template, an ultra-wide angle camera of an assembly module for photographing the template for adjusting an optical axis, An optical axis position determination controller for comparing the image photographed by the camera with the general angle of view camera with the image photographed by the wide angle camera of the adjustment module to be subjected to the optical axis correction to determine a wide angle distortion error value; A lens attachment control unit for determining a lens attachment position based on a wide angle distortion error value of the optical axis position determination control unit, an output area control unit for determining an output position of an image on the image sensor based on the output of the optical axis position determination control unit, Depending on the control values of the control section, lens attachment control section, and output area control section, And an optical axis adjusting and assembling module for adjusting an optical axis of the light source module.
상기 광축위치 판단 제어부는 초기 설정된 광축(OC)을 기준으로 주변의 광축 좌표를 측정하고, 상기 측정된 주변의 광축 좌표가 기록된 광축 리스트(SP[N])를 구비하는 것을 특징으로 한다.The optical axis position determination control unit measures the optical axis coordinates of the periphery based on the initially set optical axis OC and includes the optical axis list SP [N] in which the measured optical axis coordinates of the measured periphery are recorded.
상기 광축 리스트의 주변 광축은 상기 초기 설정된 광축을 기준으로 수평, 수직 및 대각선 방향으로 8방향 탐색되거나, 상기 초기 설정된 광축을 기준으로 수평, 수직 방향으로 4방향 탐색되는 것을 특징으로 한다.The peripheral optical axis of the optical axis list is searched in eight directions in the horizontal, vertical, and diagonal directions with reference to the initially set optical axis, or in four directions in the horizontal and vertical directions based on the initially set optical axis.
상기 광각 왜곡 오차값은 아래의 수학식을 만족하는 것을 특징으로 한다.The wide angle distortion error value is characterized by satisfying the following expression.
(수학식)(Equation)
여기에서, EvSP[N]은 광각 왜곡 오차값, T(x)는 템플릿 영상, Ft(x)는 광각 보정 영상, M은 영상 비교 영역의 화소수 또는 템플릿 영상의 특징점 화소수, N은 광축의 여러 적정 예비 후보 지점에 대한 비교 방향에 따른 ID(X) is a wide angle correction image, M is the number of pixels of the image comparison region or the number of feature point pixels of the template image, and N is the number of pixels of the image axis. IDs according to the direction of comparison for several appropriate reserve candidate locations
상기 광각 왜곡 오차값이 최소가 되는 위치를 광축으로 하여 상기 광각 카메라의 렌즈 및 센서가 조립되는 것을 특징으로 한다.And a lens and a sensor of the wide-angle camera are assembled with a position where the wide-angle distortion error value becomes minimum as an optical axis.
본 발명에 따른 초광각 카메라의 광축 보정 방법은, 일반화각의 카메라로 소정의 템플릿을 촬영하여 템플릿 영상을 획득하는 단계, 광축 보정을 행할 조정모듈의 초광각 카메라로 광축을 변경하면서 상기 템플릿을 촬영하여 광축 보정 영상을 획득하는 단계, 상기 템플릿 영상과 상기 광축을 변경하면서 획득한 광축 보정 영상을 비교하여 광각 왜곡 오차값을 측정하는 단계, 상기 광각 왜곡 오차값이 최소가 되는 광축값을 산출하는 단계, 상기 광각 왜곡 오차값이 최소가 되는 광축값에 따른 렌즈 부착위치, 영상 출력 영역을 산출하는 단계, 상기 산출된 광축값, 렌즈 부착위치, 영상 출력영역에 따라 렌즈 조립 모듈을 제어하는 단계를 포함하는 것을 특징으로 한다.A method of correcting an optical axis of an ultra-wide angle camera according to the present invention includes the steps of acquiring a template image by photographing a predetermined template with a camera at a general angle of view, photographing the template while changing an optical axis with an ultra- The method includes obtaining a corrected image, comparing the template image with an optical axis corrected image obtained while changing the optical axis to measure a wide angle distortion error value, calculating an optical axis value that minimizes the wide angle distortion error value, Calculating a lens attachment position and an image output area according to an optical axis value at which the wide-angle distortion error value is minimized, and controlling the lens assembly module according to the calculated optical axis value, lens attachment position, and image output area .
상기 광각 왜곡 오차값은 아래의 수학식을 만족하는 것을 특징으로 한다.The wide angle distortion error value is characterized by satisfying the following expression.
(수학식)(Equation)
여기에서, EvSP[N]은 광각 왜곡 오차값, T(x)는 템플릿 영상, Ft(x)는 광각 보정 영상, M은 영상 비교 영역의 화소수 또는 템플릿 영상의 특징점 화소수, N은 광축의 여러 적정 예비 후보 지점에 대한 비교 방향에 따른 ID(X) is a wide angle correction image, M is the number of pixels of the image comparison region or the number of feature point pixels of the template image, and N is the number of pixels of the image axis. IDs according to the direction of comparison for several appropriate reserve candidate locations
상기 광각 왜곡 오차값이 최소가 되는 위치를 광축으로 하여 상기 광각 카메라의 렌즈 및 센서가 조립될 때 상기 렌즈 및 센서가 물리적으로 이동하는 물리적 조정, 상기 렌즈 및 센서가 고정된 후 영상 출력 영역의 오프셋을 조종하는 논리적 조정을 이용하는 것을 특징으로 한다.A physical adjustment in which the lens and the sensor physically move when the lens and the sensor of the wide angle camera are assembled with a position where the wide angle distortion error value is minimized, And a logical adjustment is used to steer the vehicle.
상기 물리적 조종을 통하여 렌즈 및 센서를 고정한 후 논리적 조종을 통하여 센서의 픽셀 어레이 범위에서 센서 출력 오프셋을 조정하는 것을 특징으로 한다.And fixing the lens and the sensor through the physical manipulation and adjusting the sensor output offset in the pixel array range of the sensor through the logical manipulation.
본 발명은 자동으로 광축을 보정하여 초광각 카메라 렌즈 모듈을 조립할 수 있는 방법 및 시스템을 제공함으로써, 자동으로 렌즈의 광축을 기준으로 발생하는 방사왜곡을 보정할 수 있도록 하는 효과를 가져온다. 또한, 이와 같은 광축 보정방법을 제공함으로써 종래에 사람의 육안으로 렌즈 조립체의 각 부품의 체결위치를 결정하는 방식의 부정확성을 개선하고 생산성을 향상하는 효과를 가져온다.The present invention provides a method and system for automatically assembling an ultra-wide angle camera lens module by correcting an optical axis, thereby automatically correcting the radial distortion generated on the basis of the optical axis of the lens. Further, by providing such an optical axis correction method, it is possible to improve the inaccuracy of the method of determining the fastening position of each component of the lens assembly with the naked eye of the human body and improve the productivity.
도 1은 종래의 초광각 카메라에서 광축을 중심으로 왜곡이 발생하는 것을 보이는 도
도 2는 본 발명의 실시 예에 따른 광축 보정 시스템의 개략적인 구조를 나타낸 도
도 3은 본 발명의 실시 예에 따른 광축 보정 절차를 보이는 순서도FIG. 1 is a diagram showing a distortion in a conventional ultra-wide angle camera
2 is a diagram illustrating a schematic structure of an optical axis correction system according to an embodiment of the present invention.
3 is a flowchart illustrating an optical axis correction procedure according to an embodiment of the present invention.
이하, 본 발명의 실시 예를 상세히 설명하기로 한다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면은 발명의 설명을 위해 과장되어 표시될 수 있으며, 동일 부호는 동일 부분을 나타낸다.Hereinafter, embodiments of the present invention will be described in detail. It will be apparent to those skilled in the art that the present invention may be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, It is provided to let you know. The drawings may be exaggerated for explanatory purposes, and the same reference numerals denote the same parts.
도 2와 도 3을 들어 본 발명의 초광각 카메라 모듈의 광축 보정 절차 및 장치를 설명한다. 도 2는 본 발명의 실시 예에 따른 광축 보정 시스템의 개략적인 구조를 나타낸 도이다.2 and 3, an optical axis correction procedure and apparatus of an ultra-wide angle camera module according to the present invention will be described. 2 is a diagram illustrating a schematic structure of an optical axis correction system according to an embodiment of the present invention.
도 2와 같이 초광각 카메라의 광축 보정 시스템은 템플릿의 영상을 촬영하는 일반화각 카메라(10), 광축을 조정하기 위한 템플릿 영상을 촬영하는 조립모듈의 초광각 카메라(20), 초광각 카메라(20)에 의해 촬영된 템플릿 영상의 광각을 보정하는 광각보정 처리부(100), 일반화각 카메라(10)로 템플릿을 촬영한 영상과 광축보정을 행할 조립모듈의 초광각 카메라(20)로 템플릿을 촬영한 영상을 비교하여 광각 왜곡 오차값을 판단하는 광축위치 판단 제어부(200), 광축위치 판단 제어부(200)의 출력을 바탕으로 렌즈 부착위치를 결정하는 렌즈 부착 제어부(400), 광축위치 판단 제어부(200)의 출력을 바탕으로 이미지 센서상의 영상의 출력위치를 결정하는 출력영역 제어부(300), 광축위치 판단 제어부(200), 렌즈부착 제어부(400), 출력영역 제어부(300)의 제어값에 따라 렌즈 조립모듈의 광축을 조정하는 광축조정 조립모듈(500)을 포함한다.2, an optical axis correction system of an ultra-wide angle camera includes a general angle-of-
광축위치 판단 제어부(200)는 초점거리에 따른 공간상의 3차원 좌표를 이용한다. 예를 들면, 광축(OC)은 공간상에 x축, y축 및 z축 좌표를 이용하여 위치를 정할 수 있고, 초점거리에 의해 정해지는 z는 고정될 수 있으므로 z=0일 수 있다. 이에, 광축 좌표 예컨대, (x,y)를 보정 좌표로 이용할 수 있다.The optical axis
그리고, 광축위치 판단 제어부(200)는 초기 설정된 광축을 기준으로 변경 탐색할 주변의 광축 좌표를 결정하고, 측정된 주변의 광축 좌표가 기록되는 광축 리스트(SP[N])를 구비한다. 이때, 광축 리스트는 초기 설정된 광축을 기준으로 수평, 수직 및 대각선 방향으로 8방향 탐색될 수 있고, 초기 설정된 광축을 기준으로 수평 및 수직 방향으로 4방향 탐색될 수도 있다.The optical axis position
초광각 카메라(20)의 조립 전에 비교용 템플릿(template)의 영상을 일반화각 카메라(10)를 사용하여 촬영하고, 이를 이상적인 광각보정의 결과 영상으로 저장하고 광축위치 판단 제어부(200)로 입력한다. 한번 촬상 저장된 이상적인 템플릿 영상은 동일한 사양의 초광각 카메라(20)의 광축 보정에 반복적으로 사용될 수 있다.Before assembling the ultra-wide
다음으로 광축을 조정할 광축조정 조립모듈(500)의 초광각 카메라(20)로 상기 템플릿의 영상을 촬영하여 이를 광각보정 처리부(100)로 입력한다. 광각보정 처리부(100)는 입력된 초광각 카메라(20)의 출력 템플릿 영상에 대하여 일차적으로 광각보정을 처리한 후 광각보정 영상을 광축위치 판단 제어부(200)로 입력한다.Next, an image of the template is taken by the
이때, 광축위치 판단 제어부(200)는 상기 일반화각 카메라(10)를 사용하여 촬영한 템플릿 영상과 초광각 카메라(20)로 템플릿을 촬영하고 광각보정 처리부(100)에서 보정한 광각보정 영상을 비교한다. 광축위치 판단 제어부(200)는 상기 템플릿 영상과 광각보정 영상을 비교하여 그 차이를 수치로 표현하게 되는데, 그 영상의 차이 수치값이 최소가 되도록 하는 광각 왜곡 오차값을 획득한다. 이때, 광각 왜곡 오차값은 아래의 수학식을 만족한다.At this time, the optical axis
(수학식)(Equation)
여기에서, EvSP[N]은 광각 왜곡 오차값, T(x)는 템플릿 영상, Ft(x)는 광각 보정 영상, M은 영상 비교 영역의 화소수 또는 템플릿 영상의 특징점 화소수, N은 광축의 여러 적정 예비 후보 지점에 대한 비교 방향에 따른 ID이다.(X) is a wide angle correction image, M is the number of pixels of the image comparison region or the number of feature point pixels of the template image, and N is the number of pixels of the image axis. It is the ID according to the direction of comparison for the various appropriate preliminary candidate points.
상기 광각 왜곡 오차값은 광축위치 판단 제어부(200)의 출력으로 광축조정 조립모듈(500)로 입력되는데, 광축조정 조립모듈(500)에서 렌즈 부착위치 제어값, 출력영역 제어값, 광축 조정 제어값으로 활용된다.The wide angle distortion error value is input to the optical axis
즉, 본 발명의 광축조정 조립모듈(500)에서는 템플릿 영상과 광각보정 영상값의 오차를 최소로 하는 렌즈 부착위치, 이미지 센서로의 영상출력 영역, 광축의 보정 정렬값을 입력받아 이를 바탕으로 광축을 조정하여 렌즈를 조립하게 된다. 렌즈 조립시에는 렌즈 및 센서가 물리적으로 이동하는 물리적 조정, 렌즈 및 센서가 고정된 후 영상 출력 영역의 오프셋을 조종하는 논리적 조정을 이용할 수 있다. 보다 상세하게는 물리적 조종을 통하여 렌즈 및 센서를 고정한 후 논리적 조정을 통하여 센서의 픽셀 어레이 범위에서 센서 출력 오프셋을 조정할 수 있다.That is, in the optical axis adjusting and assembling
도 3은 본 발명의 실시 예에 따른 광축 보정 절차를 보이는 순서도이다.3 is a flowchart illustrating an optical axis correction procedure according to an embodiment of the present invention.
도 3을 들어 본 발명의 광각 보정절차를 보이는 제어 흐름을 설명한다.3, a control flow illustrating the wide angle correction procedure of the present invention will be described.
초광각 카메라의 광축 보정을 위한 방법은 일반화각 카메라(10)로 소정의 템플릿을 촬영하여 템플릿 영상을 획득하는 단계(S100), 광축 보정을 행할 조정모듈의 초광각 카메라(20)로 광축을 변경하면서 템플릿을 촬영하여 광축 보정 영상을 획득하는 단계(S200), 템플릿 영상과 광축을 변경하면서 획득한 광축 보정 영상을 비교하여 광각 왜곡 오차값을 측정하는 단계(S300), 광각 왜곡 오차값이 최소가 되는 광축값을 산출하는 단계(S400), 광각 왜곡 오차값이 최소가 되는 광축값에 따른 렌즈 부착위치, 영상 출력 영역을 산출하는 단계(S500), 산출된 광축값, 렌즈 부착위치, 영상 출력영역에 따라 렌즈 조립 모듈을 제어하는 단계(S600)를 포함한다.A method for correcting an optical axis of an ultra-wide angle camera includes the steps of acquiring a template image by capturing a predetermined template with a general angle-of-view camera (S100), changing the optical axis to an ultra-wide angle camera (20) (S200) of obtaining an optical axis correction image by comparing the template image with an optical axis correction image obtained while changing the optical axis (S300), and calculating a wide angle distortion error value (S500) of calculating a lens attachment position according to an optical axis value at which the wide-angle distortion error value becomes minimum, a video output area (S500), and calculating a lens attachment position And controlling the lens assembling module (S600).
본 발명의 광각 보정절차는 먼저 템플릿 영상과 광각영상을 준비하는 것으로부터 시작한다. 일반화각을 가지는 카메라를 사용하여 템플릿을 촬영하여 템플릿 영상을 준비하고 저장한다.(S100) 이후 일반화각 카메라로 촬영한 동일한 템플릿을 초광각 카메라(20)를 사용하여 소정의 영상중심점, 즉 광축을 정하고 이를 기준으로 광각영상을 촬영한다. 그리고, 광각영상에 대하여 렌즈 왜곡 파라미터를 대입하여 보정 광각 영상을 획득한다.(S200)The wide angle correction procedure of the present invention starts by preparing a template image and a wide angle image first. The template is photographed using a camera having a general angle of view and a template image is prepared and stored (S100). Then, the same template photographed by the general angle-of-view camera is used to determine a predetermined image center point, The wide angle image is taken based on this. Then, the lens distortion parameter is substituted for the wide-angle image to obtain the corrected wide-angle image (S200)
이후 절차로 보정 광각 영상과 템플릿 영상의 광축위치에 따르는 광각 왜곡 오차값들을 측정하고 측정값들을 저장한다.(S300)Then, the wide angle distortion error values along the optical axis position of the corrected wide-angle image and the template image are measured and the measured values are stored (S300).
다음 단계로는 탐색패턴에 따라 광축을 이동하고, 이동한 광축 지점에서의 보정 광각 영상을 획득하고 위와 동일한 절차에 따라 보정 광각 영상과 템플릿 영상의 광각 왜곡 오차값을 측정한다. 이때, 광각 왜곡 오차값은 아래의 수학식을 만족한다.The next step is to move the optical axis according to the search pattern, acquire the corrected wide angle image at the moved optical axis point, and measure the wide angle distortion error value of the corrected wide angle image and template image according to the same procedure as above. At this time, the wide-angle distortion error value satisfies the following equation.
(수학식)(Equation)
여기에서, EvSP[N]은 광각 왜곡 오차값, T(x)는 템플릿 영상, Ft(x)는 광각 보정 영상, M은 영상 비교 영역의 화소수 또는 템플릿 영상의 특징점 화소수, N은 광축의 여러 적정 예비 후보 지점에 대한 비교 방향에 따른 ID이다.(X) is a wide angle correction image, M is the number of pixels of the image comparison region or the number of feature point pixels of the template image, and N is the number of pixels of the image axis. It is the ID according to the direction of comparison for the various appropriate preliminary candidate points.
이와 같은 방식으로 소정의 탐색패턴을 따르는 다수의 광축위치에 따른 광각 왜곡 오차값을 측정하여 최소 오차값을 가지는 광축위치를 결정한다.(S400)In this manner, the optical axis position having the minimum error value is determined by measuring the wide-angle distortion error value corresponding to the plurality of optical axis positions along the predetermined search pattern (S400)
마지막 단계로서 최소 오차값을 가지는 광축위치의 결정을 바탕으로 광축 조정 제어값, 렌즈 위치 제어값, 이미지 출력영역 제어값을 산출하고(S500), 이들 값을 광축조정 조립모듈(500)에 전송하여 렌즈 모듈 조립시 광축을 조정하도록 한다.(S600) 예를 들면, 물리적 조정을 통해 센서와 렌즈의 광축이 일직선이 되도록 한다. 그리고, 논리적 조정을 통해 센서 및 광축의 체결 오차를 줄일 수 있다. 보다 상세하게는 렌즈의 광축 중심(x0,y0)과 센서의 중심(x1,y1)이 일직선이 될 수 있다. 하지만, 제조 공정상의 공차로 인해 광축의 중심은 일정 거리(d) 만큼의 오차가 발생할 수 있고, 이때 광축 중심의 좌표 값은 (x0-Δx,y0-Δy)일 수 있다. 이에, 논리적 조정을 통해 측정된 왜곡 오차값 중 최소 오차값을 가지는 광축 위치를 토대로 광축 중심에서의 오차를 최소화하여 광축 중심과 센서 중심이 일직선이 되도록 할 수 있다. 즉, 논리적 조정을 통해 x0 = x1 및 y0 = y1이 되도록 할 수 있다.As a final step, the optical axis adjustment control value, the lens position control value, and the image output area control value are calculated (S500) based on the determination of the optical axis position having the minimum error value, and these values are transmitted to the optical axis adjustment assembly module 500 (S600) For example, the optical axis of the sensor and the lens is made to be in a straight line through physical adjustment. In addition, the locking error between the sensor and the optical axis can be reduced through logical adjustment. More specifically, the center (x 0 , y 0 ) of the optical axis of the lens and the center (x 1 , y 1 ) of the sensor can be straight. However, due to tolerances in the manufacturing process, an error of a certain distance d may occur at the center of the optical axis, and the coordinate value of the center of the optical axis may be (x 0 -Δx, y 0 -Δy). Therefore, the error at the center of the optical axis can be minimized based on the position of the optical axis having the minimum error value among the distortion error values measured through the logical adjustment, so that the center of the optical axis and the center of the sensor can be made straight. That is, x 0 = x 1 and y 0 = y 1 can be achieved through logical adjustment.
본 발명은 자동으로 광축을 보정하여 초광각 카메라 렌즈 모듈을 조립할 수 있는 방법 및 시스템을 제공함으로써, 자동으로 렌즈의 광축을 기준으로 발생하는 방사왜곡을 보정할 수 있도록 하는 효과를 가져온다. 또한, 이와 같은 광축 보정방법을 제공함으로써 종래에 사람의 육안으로 렌즈 조립체의 각 부품의 체결위치를 결정하는 방식의 부정확성을 개선하고 생산성을 향상하는 효과를 가져온다.The present invention provides a method and system for automatically assembling an ultra-wide angle camera lens module by correcting an optical axis, thereby automatically correcting the radial distortion generated on the basis of the optical axis of the lens. Further, by providing such an optical axis correction method, it is possible to improve the inaccuracy of the method of determining the fastening position of each component of the lens assembly with the naked eye of the human body and improve the productivity.
이와 같이, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범주에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며, 후술하는 특허청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.Although the present invention has been described in connection with certain exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. Therefore, the scope of the present invention should not be limited by the described embodiments, but should be defined by the appended claims and equivalents thereof.
10 : 일반화각 카메라 20 : 초광각 카메라
100 : 광각보정 처리부 200 : 광축위치 판단 제어부
300 : 렌즈 부착 제어부 400 : 출력영역 제어부
500 : 광축조정 조립모듈10: general angle of view camera 20: super wide angle camera
100: Wide angle correction processor 200: Optical axis position determination controller
300: lens attachment control unit 400: output area control unit
500: Optical axis adjustment assembly module
Claims (9)
소정의 템플릿을 촬영하는 일반화각 카메라;
광축을 조정하기 위한 상기 템플릿을 촬영하는 조립모듈의 초광각 카메라;
상기 초광각 카메라에 의해 촬영된 템플릿 영상의 광각을 보정하는 광각보정 처리부;
상기 일반화각의 카메라로 템플릿을 촬영한 영상과 광축 보정을 행할 조정모듈의 광각 카메라로 상기 템플릿을 촬영한 영상을 비교하여 광각 왜곡 오차값을 판단하는 광축위치 판단 제어부;
상기 광축위치 판단 제어부의 광각 왜곡 오차값을 바탕으로 렌즈 부착위치를 결정하는 렌즈 부착 제어부;
상기 광축위치 판단 제어부의 출력을 바탕으로 이미지 센서상의 영상의 출력위치를 결정하는 출력영역 제어부;
상기 광축위치 판단 제어부, 렌즈부착 제어부, 출력영역 제어부의 제어값에 따라 렌즈 조립모듈의 광축을 조정하는 광축조정 조립모듈;
을 포함하여 구성되는 것을 특징으로 하는 초광각 카메라의 광축 보정 시스템.A system for correcting an optical axis of an ultra-wide angle camera,
A general image angle camera for photographing a predetermined template;
An ultra-wide angle camera of an assembling module for photographing the template for adjusting an optical axis;
A wide angle correction processor for correcting the wide angle of the template image photographed by the ultra-wide angle camera;
An optical axis position determination controller for comparing the image of the template photographed by the camera with the general angle of view and the image of the template taken by the wide angle camera of the adjustment module to be subjected to optical axis correction to determine a wide angle distortion error value;
A lens attaching control unit for determining a lens attaching position based on a wide angle distortion error value of the optical axis position determining control unit;
An output region control unit for determining an output position of the image on the image sensor based on the output of the optical axis position determination control unit;
An optical axis adjusting and assembling module for adjusting an optical axis of the lens assembling module according to control values of the optical axis position determining controller, the lens attaching controller, and the output area controller;
Wherein the optical axis correcting system of the super wide angle camera comprises:
상기 광축위치 판단 제어부는 초기 설정된 광축(OC)을 기준으로 주변의 광축 좌표를 측정하고, 상기 측정된 주변의 광축 좌표가 기록된 광축 리스트(SP[N])를 구비하는 것을 특징으로 하는 초광각 카메라의 광축 보정 시스템.The method according to claim 1,
Wherein the optical axis position determination control unit measures the optical axis coordinates of the periphery based on the initially set optical axis OC and includes the optical axis list SP [N] in which the optical axis coordinates of the measured periphery are recorded. / RTI >
상기 광축 리스트의 주변 광축은 상기 초기 설정된 광축을 기준으로 수평, 수직 및 대각선 방향으로 8방향 탐색되거나, 상기 초기 설정된 광축을 기준으로 수평, 수직 방향으로 4방향 탐색되는 것을 특징으로 하는 초광각 카메라의 광축 보정 시스템.The method of claim 2,
Wherein the peripheral optical axis of the optical axis list is searched in eight directions in the horizontal, vertical, and diagonal directions with reference to the initially set optical axis, or in four directions in the horizontal and vertical directions with reference to the initially set optical axis. Correction system.
상기 광각 왜곡 오차값은 아래의 수학식을 만족하는 것을 특징으로 하는 초광각 카메라의 광축 보정 시스템.
(수학식)
여기에서, EvSP[N]은 광각 왜곡 오차값, T(x)는 템플릿 영상, Ft(x)는 광각 보정 영상, M은 영상 비교 영역의 화소수 또는 템플릿 영상의 특징점 화소수, N은 광축의 여러 적정 예비 후보 지점에 대한 비교 방향에 따른 IDThe method of claim 3,
Wherein the wide-angle distortion error value satisfies the following equation.
(Equation)
(X) is a wide angle correction image, M is the number of pixels of the image comparison region or the number of feature point pixels of the template image, and N is the number of pixels of the image axis. IDs according to the direction of comparison for several suitable reserve candidate locations
상기 광각 왜곡 오차값이 최소가 되는 위치를 광축으로 하여 상기 광각 카메라의 렌즈 및 센서가 조립되는 것을 특징으로 하는 초광각 카메라의 광축 보정 시스템.The method of claim 4,
Wherein a lens and a sensor of the wide angle camera are assembled with a position where the wide angle distortion error value is minimized as an optical axis.
일반화각의 카메라로 소정의 템플릿을 촬영하여 템플릿 영상을 획득하는 단계;
광축 보정을 행할 조정모듈의 초광각 카메라로 광축을 변경하면서 상기 템플릿을 촬영하여 광축 보정 영상을 획득하는 단계;
상기 템플릿 영상과 상기 광축을 변경하면서 획득한 광축 보정 영상을 비교하여 광각 왜곡 오차값을 측정하는 단계;
상기 광각 왜곡 오차값이 최소가 되는 광축값을 산출하는 단계;
상기 광각 왜곡 오차값이 최소가 되는 광축값에 따른 렌즈 부착위치, 영상 출력 영역을 산출하는 단계;
상기 산출된 광축값, 렌즈 부착위치, 영상 출력영역에 따라 렌즈 조립 모듈을 제어하는 단계;
를 포함하는 것을 특징으로 하는 초광각 카메라의 광축 보정 방법.A method for correcting an optical axis of an ultra-wide angle camera,
Capturing a predetermined template with a camera of a general angle of view to obtain a template image;
Acquiring an optical axis corrected image by photographing the template while changing an optical axis with an ultra-wide angle camera of an adjustment module for performing optical axis correction;
Comparing the template image with an optical axis corrected image obtained while changing the optical axis to measure a wide angle distortion error value;
Calculating an optical axis value at which the wide-angle distortion error value is minimized;
Calculating a lens attachment position and an image output area according to an optical axis value at which the wide-angle distortion error value is minimized;
Controlling the lens assembly module according to the calculated optical axis value, lens attachment position, and image output area;
The method of claim 1,
상기 광각 왜곡 오차값은 아래의 수학식을 만족하는 것을 특징으로 하는 초광각 카메라의 광축 보정 방법.
(수학식)
여기에서, EvSP[N]은 광각 왜곡 오차값, T(x)는 템플릿 영상, Ft(x)는 광각 보정 영상, M은 영상 비교 영역의 화소수 또는 템플릿 영상의 특징점 화소수, N은 광축의 여러 적정 예비 후보 지점에 대한 비교 방향에 따른 IDThe method of claim 6,
Wherein the wide-angle distortion error value satisfies the following equation.
(Equation)
(X) is a wide angle correction image, M is the number of pixels of the image comparison region or the number of feature point pixels of the template image, and N is the number of pixels of the image axis. IDs according to the direction of comparison for several appropriate reserve candidate locations
상기 광각 왜곡 오차값이 최소가 되는 위치를 광축으로 하여 상기 광각 카메라의 렌즈 및 센서가 조립될 때 상기 렌즈 및 센서가 물리적으로 이동하는 물리적 조정, 상기 렌즈 및 센서가 고정된 후 영상 출력 영역의 오프셋을 조종하는 논리적 조정을 이용하는 것을 특징으로 하는 광각 카메라의 광축 보정 방법.The method of claim 7,
A physical adjustment in which the lens and the sensor physically move when the lens and the sensor of the wide angle camera are assembled with a position where the wide angle distortion error value is minimized, Wherein the logical adjustment is used to control the optical axis of the wide-angle camera.
상기 물리적 조종을 통하여 렌즈 및 센서를 고정한 후 논리적 조종을 통하여 센서의 픽셀 어레이 범위에서 센서 출력 오프셋을 조정하는 것을 특징으로 하는 광각 카메라의 광축 보정 방법.The method of claim 8,
Wherein the sensor output offset in the pixel array range of the sensor is adjusted through logical manipulation after fixing the lens and sensor through the physical manipulation.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140056958A KR101648887B1 (en) | 2014-05-13 | 2014-05-13 | using extreme wide angle lens, the optical axis of the camera calibration method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140056958A KR101648887B1 (en) | 2014-05-13 | 2014-05-13 | using extreme wide angle lens, the optical axis of the camera calibration method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150129996A true KR20150129996A (en) | 2015-11-23 |
KR101648887B1 KR101648887B1 (en) | 2016-08-30 |
Family
ID=54844537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140056958A KR101648887B1 (en) | 2014-05-13 | 2014-05-13 | using extreme wide angle lens, the optical axis of the camera calibration method and apparatus |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101648887B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019124622A1 (en) * | 2017-12-21 | 2019-06-27 | 한화테크윈 주식회사 | Method, apparatus, and computer program for correcting optical axis of zoom lens |
KR20220066463A (en) * | 2020-11-16 | 2022-05-24 | 김영삼 | Camera module optical axis adjustment device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090078463A (en) | 2008-01-15 | 2009-07-20 | 주식회사 이미지넥스트 | Distorted image correction apparatus and method |
KR101373829B1 (en) * | 2013-06-26 | 2014-03-25 | (주)아이솔루션 | High quality camera module assembly apparatus for efficiently testing and compensating the focus and axis of high angle lens for vehicle camera and assembly method using the same |
KR20140038749A (en) * | 2012-09-21 | 2014-03-31 | 삼성테크윈 주식회사 | Apparatus and method for correcting image distortion |
-
2014
- 2014-05-13 KR KR1020140056958A patent/KR101648887B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090078463A (en) | 2008-01-15 | 2009-07-20 | 주식회사 이미지넥스트 | Distorted image correction apparatus and method |
KR20140038749A (en) * | 2012-09-21 | 2014-03-31 | 삼성테크윈 주식회사 | Apparatus and method for correcting image distortion |
KR101373829B1 (en) * | 2013-06-26 | 2014-03-25 | (주)아이솔루션 | High quality camera module assembly apparatus for efficiently testing and compensating the focus and axis of high angle lens for vehicle camera and assembly method using the same |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019124622A1 (en) * | 2017-12-21 | 2019-06-27 | 한화테크윈 주식회사 | Method, apparatus, and computer program for correcting optical axis of zoom lens |
US11076101B2 (en) | 2017-12-21 | 2021-07-27 | Hanwha Techwin Co., Ltd. | Method, apparatus, and computer program for correcting optical axis of zoom lens |
KR20220066463A (en) * | 2020-11-16 | 2022-05-24 | 김영삼 | Camera module optical axis adjustment device |
Also Published As
Publication number | Publication date |
---|---|
KR101648887B1 (en) | 2016-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6663040B2 (en) | Depth information acquisition method and apparatus, and image acquisition device | |
US10504242B2 (en) | Method and device for calibrating dual fisheye lens panoramic camera, and storage medium and terminal thereof | |
US9686479B2 (en) | Method for combining multiple image fields | |
CN109859272B (en) | Automatic focusing binocular camera calibration method and device | |
US8711275B2 (en) | Estimating optical characteristics of a camera component using sharpness sweep data | |
US7659921B2 (en) | Distance measurement apparatus, distance measurement method, and distance measurement program | |
JP4858263B2 (en) | 3D measuring device | |
KR101053506B1 (en) | Method for adjusting parameters in distortion calibration of image acquired by camera having fish eye lens | |
US11022858B2 (en) | Multiple camera apparatus and method for synchronized autofocus | |
CN109410140B (en) | Distortion correction method, device and system and computer readable storage medium | |
CN103776419A (en) | Binocular-vision distance measurement method capable of widening measurement range | |
CN106204416B (en) | Panoramic parking assist system and its wide angle picture adjustment method and device | |
US20190193648A1 (en) | Method and system of camera focus for advanced driver assistance system (adas) | |
KR101809211B1 (en) | Infrared camera and method for optical alignment of the same | |
JP2011149931A (en) | Distance image acquisition device | |
KR20150002995A (en) | Distortion Center Correction Method Applying 2D Pattern to FOV Distortion Correction Model | |
JP2011117787A (en) | Distance image input device and device for monitoring vehicle exterior | |
KR101648887B1 (en) | using extreme wide angle lens, the optical axis of the camera calibration method and apparatus | |
CN106846395B (en) | Method and system for calculating area of target graph in photo | |
CN108520541B (en) | Calibration method of wide-angle camera | |
CN110443750B (en) | Method for detecting motion in a video sequence | |
JP6734994B2 (en) | Stereo measuring device and system | |
KR20120131394A (en) | Method and apparatus for correcting distortion of image by lens | |
CN113920197A (en) | Method for assisting camera to automatically focus and focus by laser radar | |
KR101988630B1 (en) | Camera calibration method for time slice shooting and apparatus for the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |