KR101850503B1 - Lens Distortion Correction System for Surround View Monitoring system and method thereof - Google Patents
Lens Distortion Correction System for Surround View Monitoring system and method thereof Download PDFInfo
- Publication number
- KR101850503B1 KR101850503B1 KR1020160124275A KR20160124275A KR101850503B1 KR 101850503 B1 KR101850503 B1 KR 101850503B1 KR 1020160124275 A KR1020160124275 A KR 1020160124275A KR 20160124275 A KR20160124275 A KR 20160124275A KR 101850503 B1 KR101850503 B1 KR 101850503B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- camera
- distortion
- cameras
- distortion correction
- Prior art date
Links
- 238000012937 correction Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims description 17
- 238000012544 monitoring process Methods 0.000 title description 2
- 238000012545 processing Methods 0.000 claims abstract description 14
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 5
- 238000013507 mapping Methods 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H04N5/217—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G06T3/0018—
-
- G06T3/0093—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H04N5/3572—
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
본 발명의 일실시예에 따른 SVM 시스템을 위한 카메라 영상 왜곡보정 시스템은 복수의 카메라에서 촬영된 영상을 SVM 영상으로 합성하는 카메라 영상 처리모듈을 포함하는 SVM 시스템에 적용되는 카메라 영상 왜곡보정 시스템으로서, 상기 복수개의 카메라에 각각 저장되고, 복수의 카메라 각각의 고유 데이터로 이루어진 룩업테이블과, 상기 카메라 영상 처리모듈에 포함되고, 상기 복수의 카메라에서 촬영된 영상의 렌즈 왜곡을 보정하는 왜곡 보정부를 포함하고, 상기 왜곡 보정부는 복수의 카메라에 각각 저장된 상기 룩업테이블을 이용하여 각각의 카메라에서 촬영된 영상의 렌즈 왜곡을 보정한다. The camera image distortion correction system for an SVM system according to an embodiment of the present invention is a camera image distortion correction system applied to an SVM system including a camera image processing module for synthesizing an image photographed by a plurality of cameras into an SVM image, A lookup table stored in the plurality of cameras, the lookup table being composed of unique data of each of the plurality of cameras; and a distortion corrector included in the camera image processing module and correcting lens distortion of an image photographed by the plurality of cameras, , The distortion correction unit corrects lens distortion of the image photographed by each camera using the lookup table stored in each of the plurality of cameras.
Description
본 발명은 SVM 시스템을 위한 카메라 영상 왜곡보정 시스템 및 그의 보정방법에 관한 것이고, 보다 구체적으로, 개별 카메라에 대한 왜곡된 정보와 이를 맵핑(mapping)할 수 있는 데이터 테이블인 룩업테이블(LUT:Look-up table)을 개별 카메라에 각각 저장하고, 이를 통해 렌즈왜곡의 보정을 개별 카메라에 대하여 각각 적용함에따라 SVM 영상합성시 높은 정확도를 얻을 수 있는 SVM 시스템을 위한 카메라 영상 왜곡보정 시스템 및 그의 보정방법에 관한 것이다. The present invention relates to a camera image distortion correction system for a SVM system and a correction method thereof, and more particularly, to a camera image distortion correction system for a SVM system, and more particularly, to a look-up table (LUT) up table are stored in individual cameras, respectively, and the correction of lens distortion is applied to individual cameras, thereby obtaining a high accuracy in the SVM image synthesis, and a camera image distortion correction system and a correction method thereof for the SVM system .
일반적으로 SVM 시스템(Surround View Monitoring System)은 주변의 360도 모습을 한눈에 모니터링 할 수 있는 영상시스템으로서, 주변영상을 촬영하고 육안으로 확인하기 위해 사용된다. In general, the SVM system (Surround View Monitoring System) is an image system that can monitor 360 degrees around a scene at a glance.
이를 위한 SVM 영상을 만들기 위한 영상 처리 알고리즘 중에 가장 중요하고 가장 처음 하는 작업이 카메라 렌즈의 왜곡을 보정하는 LDC(Lens Distortion Correction)이다.One of the most important and the most important image processing algorithms for creating SVM images for this purpose is Lens Distortion Correction (LDC), which corrects camera lens distortion.
또한, 일반 카메라의 렌즈는 수평 60~80도의 협각 화각을 보이는 반면, SVM 카메라는 수평 180도 이상의 광각의 화각을 보이기 때문에 실제 피사체의 왜곡이 일반 카메라 렌즈에 비해 굉장히 많이 발생하는데 이에 따른 왜곡을 보정하는 기술이 SVM 시스템의 합성영상의 품질에 큰 영향을 준다.In addition, while the general camera lens has a narrow angle of view of 60 to 80 degrees, the SVM camera has a wide angle of view of 180 degrees or more. Therefore, the distortion of the actual subject is much larger than that of a general camera lens. The quality of the composite image of the SVM system is greatly affected.
그러나 카메라의 영상 왜곡을 보정하더라도 카메라의 광축이 다름으로 인해 문제가 발생하게 되는데, 동일 카메라의 렌즈의 경우도 생산 오차에 의한 편차가 존재한다. However, even if the image distortion of the camera is corrected, the problem arises due to the difference of the optical axis of the camera. In the case of the lens of the same camera, there is also a deviation due to the production error.
또한, 동일 룩업테이블을 사용하여 다른 카메라의 렌즈왜곡을 보정할 경우 편차가 발생되고, 이로 인하여 SVM 의 정확도 역시 떨어진다. In addition, when using the same look-up table to correct lens distortion of other cameras, a deviation occurs and the accuracy of the SVM also drops.
한편, 카메라 생산과정에서 발생하는 편차를 줄이기 위해서 최근에는 렌즈와 센서의 광축을 정확하게 맞추는 작업을 추가로 진행하고 있지만 이를 구현하기 위해서는 많은 시간과 비용이 추가로 발생되는 문제점을 지니고 있다. Meanwhile, in order to reduce the deviation occurring in the camera production process, the optical axes of the lens and the sensor have been recently adjusted to be precisely aligned. However, it takes much time and cost to implement the same.
본 발명의 관점은 카메라 렌즈의 왜곡을 보정함에 있어, 개별 카메라에 대한 왜곡된 정보와 이를 맵핑(mapping)할 수 있는 데이터 테이블인 룩업테이블(LUT:Look-up table)을 개별 카메라에 각각 저장하고, 이를 통해 렌즈왜곡의 보정을 개별 카메라에 대하여 각각 적용함에 따라 SVM 영상합성시 높은 정확도를 얻을 수 있는 SVM 시스템을 위한 카메라 영상 왜곡보정 시스템 및 그의 보정방법을 제공하기 위한 것이다. In the aspect of the present invention, in correcting the distortion of the camera lens, a distorted information about an individual camera and a look-up table (LUT), which is a data table capable of mapping the distorted information, And to provide a camera image distortion correction system and a correction method thereof for an SVM system that can obtain high accuracy in SVM image synthesis by applying correction of lens distortion to individual cameras, respectively.
또한, 본 발명의 다른 관점은 룩업테이블(LUT:Look-up table) 이용함에 따라 영상의 전체가 아닌 부분적인 맴핑으로 필요한 부분의 왜곡을 보정할 수 있는 SVM 시스템을 위한 카메라 영상 왜곡보정 시스템 및 그의 보정방법을 제공하기 위한 것이다. Another aspect of the present invention is to provide a camera image distortion correction system for a SVM system capable of correcting a distortion of a necessary part by partial mapping of not an entire image using a look-up table (LUT) And to provide a correction method.
본 발명의 일실시예에 따른 SVM 시스템을 위한 카메라 영상 왜곡보정 시스템은 복수의 카메라에서 촬영된 영상을 SVM 영상으로 합성하는 카메라 영상 처리모듈을 포함하는 SVM 시스템에 적용되는 카메라 영상 왜곡보정 시스템으로서, 상기 복수개의 카메라에 각각 저장되고, 복수의 카메라 각각의 고유 데이터로 이루어진 룩업테이블과, 상기 카메라 영상 처리모듈에 포함되고, 상기 복수의 카메라에서 촬영된 영상의 렌즈 왜곡을 보정하는 왜곡 보정부를 포함하고, 상기 왜곡 보정부는 복수의 카메라에 각각 저장된 상기 룩업테이블을 이용하여 각각의 카메라에서 촬영된 영상의 렌즈 왜곡을 보정한다. The camera image distortion correction system for an SVM system according to an embodiment of the present invention is a camera image distortion correction system applied to an SVM system including a camera image processing module for synthesizing an image photographed by a plurality of cameras into an SVM image, A lookup table stored in the plurality of cameras, the lookup table being composed of unique data of each of the plurality of cameras; and a distortion corrector included in the camera image processing module and correcting lens distortion of an image photographed by the plurality of cameras, , The distortion correction unit corrects lens distortion of the image photographed by each camera using the lookup table stored in each of the plurality of cameras.
또한, 상기 SVM 시스템을 위한 카메라 영상 왜곡보정 시스템에 있어서, 상기 룩업테이블은 카메라에서 촬영하는 피사체가 카메라 렌즈를 통하여 센서에 촬영될 때, 어떻게 왜곡이 되는지에 대한 정보와 이를 맵핑(mapping)할 수 있는 데이터 테이블이다. In addition, in the camera image distortion correction system for the SVM system, the lookup table can map information about how distortion occurs when a subject photographed by the camera is photographed by a sensor through a camera lens, It is a data table.
또한, 상기 SVM 시스템을 위한 카메라 영상 왜곡보정 시스템에 있어서, 상기 왜곡 보정부는 상기 룩업테이블을 사용하여 각각의 카메라의 왜곡된 영상을 왜곡되지 않은 영상으로 픽셀단위로 이동하여 렌즈의 왜곡을 보정한다. In addition, in the camera image distortion correction system for the SVM system, the distortion correction unit corrects the distortion of the lens by moving the distorted image of each camera by using the lookup table in units of the non-distorted image in pixel units.
또한, 상기 SVM 시스템을 위한 카메라 영상 왜곡보정 시스템에 있어서, 상기 왜곡 보정부는 상기 룩업테이블을 이용한 렌즈 왜곡 보정시 전체가 아닌 부분적으로 맵핑하여, 필요한 부분의 왜곡을 보정할 수 있다. In addition, in the camera image distortion correction system for the SVM system, the distortion correction unit can partially correct the distortion of the required portion by partially mapping the distortion correction unit using the look-up table.
또한, 상기 SVM 시스템을 위한 카메라 영상 왜곡보정 시스템에 있어서, 상기 카메라 영상처리모듈은 상기 왜곡 보정부를 통해 렌즈 보정된 영상을 통해 SVM 영상으로 합성하는 영상합성부를 더 포함할 수 있다. In addition, in the camera image distortion correction system for the SVM system, the camera image processing module may further include an image synthesis unit for synthesizing the SVM image through the lens-corrected image through the distortion correction unit.
본 발명의 일실시예에 따른 SVM 시스템을 위한 카메라 영상 왜곡보정방법은 복수의 카메라에서 촬영된 영상을 SVM 영상으로 합성하기 위해 각각의 카메라에서 촬영된 영상에 대한 렌즈 왜곡을 보정하는 왜곡보정 방법으로서, 상기 복수의 카메라 각각에 대한 개별 룩업테이블을 상기 복수의 카메라 각각에 저장하는 룩업테이블 저장단계와, 상기 복수의 카메라에 저장된 개별 룩업테이블을 각각의 카메라에서 촬영된 영상 데이터와 함께 카메라 영상처리모듈의 왜곡보정부에 전달하는 룩업테이블 정보 전달단계와, 상기 개별 룩업테이블의 정보를 이용하여 복수의 카메라에서 촬영된 각각의 영상에 대하여 렌즈왜곡을 보정하는 렌즈왜곡 보정단계를 포함한다. A method for correcting camera image distortion for an SVM system according to an embodiment of the present invention is a distortion correction method for correcting lens distortion of an image photographed by each camera in order to synthesize an image photographed by a plurality of cameras into an SVM image A lookup table storing step of storing an individual lookup table for each of the plurality of cameras in each of the plurality of cameras; a storing step of storing individual lookup tables stored in the plurality of cameras in a camera image processing module And a lens distortion correction step of correcting the lens distortion of each image photographed by the plurality of cameras using the information of the individual lookup table.
또한, 상기 SVM 시스템을 위한 카메라 영상 왜곡보정방법에 있어서, 상기 룩업테이블은 카메라에서 촬영하는 피사체가 카메라 렌즈를 통하여 센서에 촬영될 때, 어떻게 왜곡이 되는지에 대한 정보와 이를 맵핑(mapping)할 수 있는 데이터 테이블이다. In the method for correcting camera image distortion for the SVM system, the lookup table may map information about how the subject is photographed by the camera, when the subject is photographed by the sensor through the camera lens, It is a data table.
또한, 상기 SVM 시스템을 위한 카메라 영상 왜곡보정방법에 있어서, 상기 렌즈왜곡 보정단계는 상기 룩업테이블을 사용하여 각각의 카메라의 왜곡된 영상을 왜곡되지 않은 영상으로 픽셀단위로 이동하여 렌즈의 왜곡을 보정한다. Further, in the method of correcting camera image distortion for the SVM system, the lens distortion correction step may include a step of correcting distortion of the lens by moving the distorted image of each camera into an image that is not distorted, do.
또한, 상기 SVM 시스템을 위한 카메라 영상 왜곡보정방법에 있어서, 상기 렌즈왜곡 보정단계는 상기 룩업테이블을 이용한 렌즈 왜곡 보정시 전체가 아닌 부분적으로 맵핑하여, 필요한 부분의 왜곡을 보정할 수 있다. Also, in the camera image distortion correction method for the SVM system, the lens distortion correction step may partially correct the lens distortion correction using the look-up table, but partially correct the distortion of a necessary part.
또한, 상기 SVM 시스템을 위한 카메라 영상 왜곡보정방법에 있어서, 상기 렌즈왜곡 보정단계를 통해 렌즈 보정된 영상을 통해 SVM 영상으로 합성하는 SVM 영상 합성단계를 더 포함할 수 있다. In the method of correcting camera image distortion for the SVM system, the method may further include an SVM image synthesis step of synthesizing the SVM image through the lens-corrected image through the lens distortion correction step.
기타 실시 예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.The details of other embodiments are included in the detailed description and drawings.
2015년 산업기술거점기관지원사업의 "자동차 주행안전 동력전달 핵심부품 개발사업"의 연구개발과제의 성과물로서, 본 발명에 의하면 복수의 카메라에 대한 개별 룩업테이블을 이용하여 렌즈왜곡의 보정을 개별 카메라에 대하여 각각 적용함에 따라 SVM 영상합성시 높은 정확도를 얻을 수 있고, 종래의 렌즈와 센서의 광축을 보정하는 추가작업이 생략가능함에 따라 비용이 절감되고, 생산성이 향상된다.According to the present invention, as a result of the research and development task of the "development project of the core parts for the vehicle driving safety power transmission" of the industrial technology base support project in 2015, the correction of the lens distortion is performed by using the individual look- It is possible to obtain high accuracy in the SVM image synthesis and to eliminate the additional work for correcting the optical axis of the conventional lens and the sensor, thereby reducing the cost and improving the productivity.
본 발명의 기술적 사상의 실시예는, 구체적으로 언급되지 않은 다양한 효과를 제공할 수 있다는 것이 충분히 이해될 수 있을 것이다. It will be appreciated that embodiments of the technical idea of the present invention can provide various effects not specifically mentioned.
도 1은 본 발명의 일실시예에 따른 SVM 영상을 위한 카메라 영상 왜곡 보정 시스템의 개략적으로 도시한 구성도.
도 2는 도 1에 도시한 카메라 영상 왜곡 보정 시스템에 있어서 왜곡 보정 전/후를 도시한 사용상태도.
도 3은 본 발명의 일실시예에 따른 SVM 영상을 위한 카메라 영상 왜곡 보정방법을 개략적으로 도시한 순서도.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a schematic diagram showing a camera image distortion correction system for an SVM image according to an embodiment of the present invention; FIG.
FIG. 2 is a state diagram showing the state before and after distortion correction in the camera image distortion correction system shown in FIG. 1. FIG.
3 is a flowchart schematically illustrating a camera image distortion correction method for an SVM image according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다. BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and how to accomplish them, will become apparent by reference to the embodiments described in detail below with reference to the accompanying drawings. However, the present invention is not limited to the embodiments described herein but may be embodied in other forms. Rather, the embodiments disclosed herein are provided so that the disclosure can be thorough and complete, and will fully convey the scope of the invention to those skilled in the art.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, the terms "comprises", "having", and the like are used to specify that a feature, a number, a step, an operation, an element, a part or a combination thereof is described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, components, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the meaning in the context of the relevant art and are to be construed as ideal or overly formal in meaning unless explicitly defined in the present application Do not.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일실시예에 따른 SVM 영상을 위한 카메라 영상 왜곡 보정 시스템의 개략적으로 도시한 구성도이다.1 is a schematic diagram illustrating a camera image distortion correction system for an SVM image according to an exemplary embodiment of the present invention.
도시한 바와 같이, 상기 카메라 영상 왜곡 보정 시스템(1000)은 복수의 카메라에서 촬영된 영상을 SVM 영상으로 합성하는 카메라 영상 처리모듈을 포함하는 SVM 시스템에 적용되는 카메라 영상 왜곡보정 시스템으로서, 복수의 카메라(1100a, 1100b, 1100c, 1100d)과, 카메라 영상처리 모듈(1200)을 포함한다. 또한, 본 발명의 일실시예에 따른 카메라 영상 왜곡 보정 시스템은 2015년 산업기술거점기관지원사업의 "자동차 주행안전 동력전달 핵심부품 개발사업"의 연구개발과제의 성과물이다. As shown in the figure, the camera image distortion correction system 1000 is a camera image distortion correction system applied to an SVM system including a camera image processing module that synthesizes an image photographed by a plurality of cameras into an SVM image, (1100a, 1100b, 1100c, 1100d), and a camera image processing module (1200). In addition, the camera image distortion correction system according to one embodiment of the present invention is a result of the research and development task of the "core parts development project of the vehicle driving safety power transmission" of the industrial technology hub support project in 2015.
또한, 상기 복수의 카메라(1100a, 1100b, 1100c, 1100d)는 각각 룩업테이블(1110a, 1110b, 1110c, 1110d)를 포함한다. 그리고 상기 카메라 영상처리 모듈(1200)은 왜곡보정부(1210) 및 영상합성부(1220)를 포함한다.In addition, the plurality of
보다 구체적으로 상기 각각의 카메라에 저장된 룩업테이블(1110a, 1110b, 1110c, 1110d)은 복수의 카메라(1100a, 1100b, 1100c, 1100d)가 각각 촬영하는 피사체가 카메라 렌즈를 통하여 센서에 촬영될 때 어떻게 왜곡이 되는지에 대한 정보와 이를 맵핑(mapping)할 수 있는 데이터 테이블이다.More specifically, the look-up tables 1110a, 1110b, 1110c, and 1110d stored in the respective cameras do not distort when the subject, which is captured by each of the plurality of
또한, 상기 룩업테이블(1110a, 1110b, 1110c, 1110d)은 복수의 카메라(1100a, 1100b, 1100c, 1100d)의 내부 롬(ROM)에 각각 저장될 수 있다.The lookup tables 1110a, 1110b, 1110c, and 1110d may be stored in an internal ROM of the plurality of
그리고 상기 카메라 영상처리 모듈(1200)의 왜곡보정부(1210)는 상기 복수의 카메라(1100a, 1100b, 1100c, 1100d)로 부터 각각의 룩업테이블(1110a, 1110b, 1110c, 1110d) 정보를 전달받고, 상기 각각의 룩업테이블(1110a, 1110b, 1110c, 1110d)을 이용하여 복수의 카메라(1100a, 1100b, 1100c, 1100d)에서 각각 촬영된 영상에 대하여 렌즈의 왜곡을 보정(LDC:Lens Distortion Correction)한다. The
즉, 카메라 각각의 룩업테이블을 사용하여 각각의 카메라의 왜곡된 영상을 원래의 왜곡되지 않은 영상으로 픽셀단위로 이동하여 렌즈의 왜곡을 보정한다.That is, the distortion of each lens is corrected by moving the distorted image of each camera to the original undistorted image pixel by pixel using the lookup table of each camera.
또한, 룩업테이블을 이용한 렌즈왜곡 보정시 전체가 아닌 부분적으로 맵핑하여 필요한 부분의 왜곡을 보정할 수도 있다.In addition, when correcting the lens distortion using the lookup table, it is possible to partially correct the distortion of the necessary portion by partially mapping the correction amount.
그리고 상기 영상합성부(1220)는 상기 왜곡보정부(1210)를 통해 보정된 영상을 이용하여 SVM 영상으로 합성한다.The
도 2는 도 1에 도시한 카메라 영상 왜곡 보정 시스템에 있어서 왜곡 보정 전/후를 도시한 사용상태도이고, 보다 구체적으로, 도 2의 (a)는 제1 카메라의 왜곡 보정전 영상이고, 도 2의 (b)는 제2 카메라의 왜곡 보정전 영상이고, 도 2의 (c)는 제1 카메라의 룩업테이블을 이용한 제1 카메라의 왜곡 보정후의 영상이고, 도 2의 (d)는 제1 카메라의 룩업테이블을 이용한 제2 카메라의 왜곡 보정후의 영상이고, 도 2의 (e)는 제2 카메라의 룩업테이블을 이용한 제2 카메라의 왜곡 보정후의 영상이다.FIG. 2 is a state diagram showing the state before and after the distortion correction in the camera image distortion correction system shown in FIG. 1. More specifically, FIG. 2 (a) Fig. 2 (c) is a view of the first camera after distortion correction using the look-up table of the first camera, Fig. 2 (d) Fig. 2 (e) shows an image after the distortion correction of the second camera using the look-up table of the second camera. Fig.
보다 구체적으로, 제1 카메라와 제2 카메라는 동일 렌즈와 동일 센서가 장착된 동일한 카메라 모듈이나, 상기 제1 카메라와 제2 카메라는 렌즈와 센서의 광축보정을 하지 않아서 서로 광축이 일치하지 않는다. More specifically, the first camera and the second camera are the same camera module having the same lens and the same sensor, but the first camera and the second camera do not correct the optical axis of the lens and the sensor, and the optical axes do not coincide with each other.
그러나 광축을 보정하지 않고, 도 2의 (c) 및 도 2의 (e)에 도시한 바와 같이, 상기 제1 카메라와 제2 카메라가 각각 해당 카메라의 룩업테이블을 이용하여 렌즈 왜곡을 보정할 경우, 좋은 품질의 영상을 얻을 수 있다.However, when the first camera and the second camera correct lens distortion by using the look-up table of the corresponding camera, respectively, as shown in Figs. 2C and 2E without correcting the optical axis , A good quality image can be obtained.
반면, 다른 카메라의 룩업테이블을 이용하여 렌즈 왜곡을 보정할 경우, 즉 제2 카메라의 렌즈왜곡 보정시 제1 카메라의 룩업테이블을 이용할 경우에는 도 2의 (d)에 도시한 바와 같이, 렌즈왜곡이 정상적으로 이루어지지 않고 휘어지는 등의 왜곡이 발생함을 확인될 수 있다.On the other hand, when the lens distortion is corrected using the look-up table of another camera, that is, when the look-up table of the first camera is used to correct the lens distortion of the second camera, It is possible to confirm that distortion such as warping occurs without being performed normally.
상기한 바와 같이 각각의 카메라에 대한 개별 룩업테이블을 이용하여 각각의 카메라의 렌즈 왜곡을 보정함에 따라, 이를 이용하여 SVM 영상으로 합성할 경우 좋은 품질의 영상을 얻을 수 있을 뿐만 아니라, 렌즈와 센서의 광축을 보정하는 추가작업이 생략가능함에 따라 비용이 절감되고, 생산성이 향상된다.As described above, by correcting the lens distortion of each camera using an individual lookup table for each camera, it is possible to obtain a good quality image when synthesized into an SVM image using the lens distortion, The additional work of correcting the optical axis can be omitted, resulting in cost savings and improved productivity.
도 3은 본 발명의 일실시예에 따른 SVM 영상을 위한 카메라 영상 왜곡 보정방법을 개략적으로 도시한 순서도이다.3 is a flowchart schematically illustrating a camera image distortion correction method for an SVM image according to an embodiment of the present invention.
도시한 바와 같이, 카메라 영상 왜곡 보정방법은 룩업테이블 저장단계(S1100), 룩업테이블 정보 전달단계(S1200), 렌즈왜곡 보정단계(S1300) 및 SVM 영상 합성단계(S1400)를 포함한다.As shown in the figure, the camera image distortion correction method includes a lookup table storing step S1100, a lookup table information transmitting step S1200, a lens distortion correcting step S1300, and an SVM image combining step S1400.
보다 구체적으로, 상기 룩업테이블 저장단계(S1100)는 복수의 카메라에 각각의 카메라의 개별 룩업테이블을 저장한다. More specifically, the step of storing the lookup table S1100 stores individual lookup tables of the respective cameras in a plurality of cameras.
즉, 각각의 카메라에서 촬영하는 피사체가 카메라 렌즈를 통하여 센서에 촬영될 때 어떻게 왜곡이 되는지에 대한 정보와 이를 맵핑(mapping)할 수 있는 데이터 테이블인 개별 룩업테이블을 각각의 카메라에 저장한다.That is, information on how a subject photographed by each camera is distorted when the sensor is photographed by the sensor through a camera lens and an individual lookup table, which is a data table capable of mapping the same, are stored in each camera.
이때 각각의 카메라의 내부 롬(ROM)에 저장하여 활용할 수 있다. At this time, it can be stored in the internal ROM (ROM) of each camera and utilized.
다음으로 룩업테이블 정보전달 단계(S1200)는 각각의 카메라에 저장된 개별 룩업테이블을 각각의 카메라에서 촬영된 영상 데이터와 함께 카메라 영상처리모듈의 왜곡보정부에 전달한다.Next, in step S1200, the individual lookup tables stored in the respective cameras are transmitted to the distortion correction unit of the camera image processing module together with the image data taken by the respective cameras.
다음으로 렌즈왜곡 보정단계(S1300)는 룩업테이블의 정보를 이용하여 카메라에서 촬영된 영상에 대하여 렌즈 왜곡을 보정한다.Next, the lens distortion correction step S1300 corrects the lens distortion of the image photographed by the camera using the information of the lookup table.
이때, 룩업테이블을 사용하여 각각의 카메라의 왜곡된 영상을 왜곡되지 않은 영상으로 픽셀단위로 이동하여 렌즈의 왜곡을 보정한다. At this time, the distortion of each lens is corrected by moving the distorted image of each camera to the non-distorted image pixel by pixel using the lookup table.
그리고, 상기 룩업테이블을 이용한 렌즈 왜곡 보정시 전체가 아닌 부분적으로 맵핑하여, 필요한 부분의 왜곡을 보정할 수 있다.When correcting the lens distortion using the look-up table, it is possible to partially correct the distortion of the required portion by partially mapping the distortion.
다음으로 SVM 영상 합성단계(S1400)는 각각의 카메라의 렌즈 왜곡이 보정된 영상을 이용하여 SVM 영상을 합성한다.Next, in the SVM image synthesis step (S1400), the SVM image is synthesized using the image of which the lens distortion of each camera is corrected.
상기한 바와 같이 렌즈 왜곡을 보정함에 따라, 이를 이용하여 SVM 영상으로 합성할 경우 좋은 품질의 영상을 얻을 수 있을 뿐만 아니라, 렌즈와 센서의 광축을 보정하는 추가작업을 생략가능함에 따라 비용이 절감되고, 생산성이 향상된다.As the lens distortion is corrected as described above, it is possible to obtain an image of good quality when synthesized with the SVM image by using it, and the additional work of correcting the optical axis of the lens and the sensor can be omitted, , Productivity is improved.
이상, 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 일 실시예는 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be understood that the invention may be practiced. It is therefore to be understood that one embodiment described above is illustrative in all aspects and not restrictive.
1000: 카메라 영상 왜곡 보정 시스템
1200: 카메라 영상처리 모듈
1210: 왜곡보정부
1220: 영상합성부
1100a, 1100b, 1100c, 1100d: 카메라
1110a, 1110b, 1110c, 1110d: 룩업테이블1000: Camera Image Distortion Correction System
1200: camera image processing module
1210: Distortion correction unit
1220:
1100a, 1100b, 1100c, 1100d: camera
1110a, 1110b, 1110c, and 1110d:
Claims (10)
상기 복수의 카메라로 부터 상기 룩업테이블을 각각 전달받고, 상기 복수의 카메라에서 각각 촬영된 영상의 렌즈 왜곡을 각각의 룩업테이블을 이용하여 보정하는 왜곡 보정부와, 상기 왜곡 보정부를 통해 각각의 카메라의 렌즈 보정된 영상을 통해 SVM 영상으로 합성하는 영상합성부를 포함하는 카메라 영상 처리모듈;을 포함하고,
상기 룩업테이블은 상기 복수의 카메라에서 각각 촬영하는 피사체가 상기 복수의 카메라의 각각의 카메라 렌즈를 통하여 센서에 촬영될 때, 상기 복수의 카메라를 통해 각각 어떻게 왜곡이 되는지에 대한 정보와 이를 맵핑(mapping)할 수 있는 데이터 테이블인
SVM 시스템을 위한 카메라 영상 왜곡보정 시스템.
A plurality of cameras each storing a look-up table made up of respective unique data; And
A distortion correction unit that receives the lookup table from each of the plurality of cameras and corrects lens distortion of an image photographed by each of the plurality of cameras using respective lookup tables, And a camera image processing module including an image synthesizer for synthesizing the SVM image through a lens-corrected image,
Wherein the lookup table includes information on how each of the plurality of cameras is distorted when the subject photographed by the plurality of cameras is photographed by the sensor through each camera lens of the plurality of cameras, Data tables that can be
Camera Image Distortion Correction System for SVM System.
상기 왜곡 보정부는 룩업테이블을 사용하여 각각의 카메라의 왜곡된 영상을 왜곡되지 않은 영상으로 픽셀단위로 이동하여 렌즈의 왜곡을 보정하는 SVM 시스템을 위한 카메라 영상 왜곡보정 시스템.
The method according to claim 1,
Wherein the distortion correcting unit corrects distortion of the lens by moving a distorted image of each camera into an undistorted image pixel by pixel using a lookup table.
상기 왜곡 보정부는 룩업테이블을 이용한 렌즈 왜곡 보정시 전체가 아닌 부분적으로 맵핑하여, 필요한 부분의 왜곡을 보정하는 SVM 시스템을 위한 카메라 영상 왜곡보정 시스템.
The method of claim 3,
Wherein the distortion correcting unit corrects distortion of a necessary part by partially mapping the distortion correction not using the entire lens distortion correction using the lookup table.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160124275A KR101850503B1 (en) | 2016-09-27 | 2016-09-27 | Lens Distortion Correction System for Surround View Monitoring system and method thereof |
| PCT/KR2017/010678 WO2018062829A1 (en) | 2016-09-27 | 2017-09-27 | Camera image distortion correction system for svm system and correction method thereof |
| CN201780059456.7A CN109792477B (en) | 2016-09-27 | 2017-09-27 | Camera image distortion correction system and method for SVM system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160124275A KR101850503B1 (en) | 2016-09-27 | 2016-09-27 | Lens Distortion Correction System for Surround View Monitoring system and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180034135A KR20180034135A (en) | 2018-04-04 |
| KR101850503B1 true KR101850503B1 (en) | 2018-04-19 |
Family
ID=61760089
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160124275A KR101850503B1 (en) | 2016-09-27 | 2016-09-27 | Lens Distortion Correction System for Surround View Monitoring system and method thereof |
Country Status (3)
| Country | Link |
|---|---|
| KR (1) | KR101850503B1 (en) |
| CN (1) | CN109792477B (en) |
| WO (1) | WO2018062829A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210090046A (en) | 2020-01-09 | 2021-07-19 | 현대모비스 주식회사 | Data converting system for detecting wide angle image object and method thereof |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101239740B1 (en) * | 2011-12-08 | 2013-03-18 | 아진산업(주) | An apparatus for generating around view image of vehicle using polygon mapping and multi look-up table |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10327344A (en) * | 1997-05-22 | 1998-12-08 | Mitsubishi Electric Corp | Image pickup device and image data correction method |
| JP3862688B2 (en) * | 2003-02-21 | 2006-12-27 | キヤノン株式会社 | Image processing apparatus and image processing method |
| KR100956228B1 (en) * | 2007-11-15 | 2010-05-04 | 삼성전기주식회사 | Image processing apparatus having function of correctting distortion of image |
| KR20100046544A (en) * | 2008-10-27 | 2010-05-07 | 삼성전자주식회사 | Image distortion compensation method and apparatus |
| CN101442618A (en) * | 2008-12-31 | 2009-05-27 | 葛晨阳 | Method for synthesizing 360 DEG ring-shaped video of vehicle assistant drive |
| KR20110116387A (en) * | 2010-04-19 | 2011-10-26 | 클레어픽셀 주식회사 | Image pickup device and image distortion correction method |
| CN102436660A (en) * | 2011-11-08 | 2012-05-02 | 北京新岸线网络技术有限公司 | Automatic correction method and device of 3D camera image |
| CN103369192A (en) * | 2012-03-31 | 2013-10-23 | 深圳市振华微电子有限公司 | Method and device for Full-hardware splicing of multichannel video images |
| KR101572065B1 (en) * | 2014-01-03 | 2015-11-25 | 현대모비스(주) | Method for compensating image distortion and Apparatus for the same |
| JP2015154213A (en) * | 2014-02-13 | 2015-08-24 | 株式会社リコー | Projector device and projection method |
-
2016
- 2016-09-27 KR KR1020160124275A patent/KR101850503B1/en active IP Right Grant
-
2017
- 2017-09-27 CN CN201780059456.7A patent/CN109792477B/en active Active
- 2017-09-27 WO PCT/KR2017/010678 patent/WO2018062829A1/en active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101239740B1 (en) * | 2011-12-08 | 2013-03-18 | 아진산업(주) | An apparatus for generating around view image of vehicle using polygon mapping and multi look-up table |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210090046A (en) | 2020-01-09 | 2021-07-19 | 현대모비스 주식회사 | Data converting system for detecting wide angle image object and method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018062829A1 (en) | 2018-04-05 |
| CN109792477A (en) | 2019-05-21 |
| KR20180034135A (en) | 2018-04-04 |
| CN109792477B (en) | 2021-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8049786B2 (en) | Method for improving image stitching accuracy with lens distortion correction and device for implementing the same | |
| US8406562B2 (en) | System and method for automated calibration and correction of display geometry and color | |
| JP5157358B2 (en) | Image display system and image correction method | |
| JP5417138B2 (en) | The camera module | |
| KR102171232B1 (en) | Image processing method and image processing apparatus executing that image processing method | |
| US20040076336A1 (en) | System and method for electronic correction of optical anomalies | |
| US20020041364A1 (en) | Image projection and display device | |
| US20100117929A1 (en) | Multi-display system, information processor, and image data processing method in multi-display system | |
| JP2012199621A (en) | Compound-eye imaging apparatus | |
| US20070252905A1 (en) | Image processing apparatus | |
| KR101850503B1 (en) | Lens Distortion Correction System for Surround View Monitoring system and method thereof | |
| JP2009225119A (en) | Image imaging apparatus | |
| JP2008258802A (en) | Image display system | |
| US20130120538A1 (en) | Stereo camera module | |
| JP2019503616A (en) | Method for calibrating projection apparatus and method for operating projection apparatus calibrated in this way | |
| JP2009044488A (en) | Projector and video signal processing method | |
| CN102509295A (en) | Correction method and device for trinocular camera | |
| WO2015190031A1 (en) | Information-processing device, information processing method, program, and image display device | |
| US8045822B2 (en) | Correction of image distortion | |
| JP6330371B2 (en) | Image projection apparatus and image projection method | |
| JP2007300461A (en) | Image display device and its color phase deviation correction method | |
| JP5120179B2 (en) | Image processing apparatus, image processing method, and projection system | |
| JP2019180016A (en) | Image synthesizer, image composition method and program | |
| CN105991949A (en) | Laser scanning image distortion correction method, device and system | |
| JP7153889B2 (en) | Image correction device, image generation device, camera system and vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |