KR20130134086A - Video system and method using cameras with a wide angle - Google Patents
Video system and method using cameras with a wide angle Download PDFInfo
- Publication number
- KR20130134086A KR20130134086A KR1020120057351A KR20120057351A KR20130134086A KR 20130134086 A KR20130134086 A KR 20130134086A KR 1020120057351 A KR1020120057351 A KR 1020120057351A KR 20120057351 A KR20120057351 A KR 20120057351A KR 20130134086 A KR20130134086 A KR 20130134086A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- homography
- angle camera
- camera
- distortion correction
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 35
- 239000011159 matrix material Substances 0.000 claims abstract description 39
- 238000006243 chemical reaction Methods 0.000 claims abstract description 20
- 238000012937 correction Methods 0.000 claims description 38
- 230000010354 integration Effects 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000005855 radiation Effects 0.000 claims 3
- 230000000873 masking effect Effects 0.000 claims 2
- 238000011017 operating method Methods 0.000 abstract 1
- 230000009466 transformation Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 239000000470 constituent Substances 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- G06T3/18—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Abstract
Description
본 발명은 영상 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 전, 후, 좌, 우를 포함하는 복수의 광각 카메라에 의해 획득되는 각각의 영상을 통합된 하나의 영상으로 제공하여 운전자가 한눈에 주변상황을 인식할 수 있도록 하는 광각 카메라를 이용한 영상 시스템 및 그 방법에 관한 것이다.
The present invention relates to an image system and a method thereof, and more particularly, to an image system and a method thereof, in which each image obtained by a plurality of wide angle cameras including front, rear, left and right is provided as an integrated image, And more particularly, to a video system using a wide-angle camera capable of recognizing a surrounding situation and a method thereof.
컴퓨터 비전분야에서 활발히 연구되고 있는 분야로서 증강현실, 3차원 복원, 자가 위치추정, 영상기반 렌더링 등이 있다. 이러한 연구 분야의 공통점을 살펴보면 정확한 카메라 동작 계산이 요구된다는 것이다. There are active research fields in computer vision such as augmented reality, 3D reconstruction, self-localization, and image-based rendering. Looking at the commonalities of these research areas, accurate camera motion calculations are required.
카메라의 동작을 계산하기 위해서는 3차원 실세계 좌표공간을 표현할 수 있는 카메라 모델이 필요한데 그동안 다양한 방법들이 소개되었다. 그 가운데 호모그래피(Homography)는 인접한 두 영상에서 평면구조상에 존재하는 특징점들의 대응관계로부터 카메라의 동작을 기술할 수 있는 모델이다. 이 모델은 비교적 단순하고 카메라의 이동량이 작으며 평면구조를 포함하면서 거리가 멀다는 조건을 만족하는 경우에 실제 영상을 훌륭하게 근사화할 수 있는 장점이 있기 때문에 3차원 구조복원, 영상정렬, 영상모자이크 등에 많이 사용되고 있다.In order to calculate the motion of a camera, a camera model capable of representing a three-dimensional real world coordinate space is required. Various methods have been introduced in the meantime. Homography is a model that can describe the motion of a camera from the correspondence of feature points existing on a plane structure in two adjacent images. This model is relatively simple and has a small amount of movement of the camera. It has a merit that the actual image can be approximated satisfactorily when the distance condition including the plane structure is satisfied. Therefore, the 3D restoration, image alignment, and image mosaic It is widely used.
한편, 최근 출시되는 차량들은 사각지대(blind spot)로 인한 사고를 막고, 운전자 편의를 위해 후방 센서나 후방 카메라와 같은 ECU(Electronic Control Unit)를 장착하고 있다. 그러나, 후방 카메라나 센서만으로는 차량 주변을 완벽하게 파악할 수 없다. 이러한 ECU는 운전자의 안전운전에 많은 도움을 주고 있으나, 운전자의 시야에서 벗어난 사각지대는 여전히 존재한다. 이러한 이유로 차량에 여러 대의 카메라를 장착하여 차량 주변상황을 운전자에게 영상으로 제공하는 AVM(Around View Monitoring) 시스템에 대한 연구가 활발히 진행되고 있다. 이와 같은 영상 시스템은 일반적으로 차량의 전, 후, 좌, 우 사방의 주변 상황에 대한 영상을 획득하여 운전자에게 제공함으로써 운전자가 차량의 주변상황을 쉽게 파악할 수 있도록 한다.On the other hand, recently released vehicles are equipped with an electronic control unit (ECU) such as a rear sensor or a rear camera for driver convenience to prevent accidents caused by blind spots. However, the surroundings of the vehicle can not be grasped completely by the rear camera or the sensor alone. These ECUs help the driver to drive safely, but blind spots still exist outside the driver's field of view. For this reason, research on the AVM (Around View Monitoring) system that installs a plurality of cameras on a vehicle and provides the driver with an image of the surroundings is being actively conducted. Such an imaging system generally acquires images of surrounding conditions of the front, rear, left and right of the vehicle and provides them to the driver so that the driver can easily grasp the surrounding situation of the vehicle.
그런데, 이와 같은 영상 시스템은 각각의 카메라로부터 입력된 영상을 개별적으로 표시하거나 각각의 영상을 하나의 화면으로 조합하여 표시하는 것으로서, 운전자는 각각의 카메라에 의해 획득되는 영상을 개별적으로 살펴보고 주변의 상황을 판단하여야 하기 때문에 차량의 주변 전체 상황을 판단하는데 시간이 걸리게 되는 문제점이 있다.
However, in such a video system, images input from respective cameras are individually displayed or the respective images are combined and displayed on a single screen. The driver views the images obtained by the respective cameras individually, There is a problem that it takes time to judge the entire circumference of the vehicle because the situation must be judged.
본 발명은 전술한 문제점을 해결하기 위하여 창안된 것으로서, 전, 후, 좌, 우를 포함하는 복수의 광각 카메라에 의해 획득되는 각각의 영상을 통합된 하나의 영상으로 제공하여 운전자가 한눈에 주변상황을 인식할 수 있도록 하며, 각각의 광각 카메라를 통해 입력되는 영상을 투영 변환하는 과정에서 투영 변환의 편차를 반영하여 제공되는 영상의 품질을 높일 수 있는 광각 카메라를 이용한 영상 시스템 및 그 방법을 제공하는 것을 목적으로 한다.
SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide an image in which a plurality of wide angle cameras including front, rear, left, Angle camera, and to provide an image system using the wide-angle camera and a method thereof, which can improve the quality of the image provided by reflecting the deviation of the projection conversion in the process of projecting and converting the image input through each wide- .
본 발명의 실시예에 따른 광각 카메라를 이용한 영상 시스템은, 전방, 후방, 좌측, 우측 중 적어도 하나에 대한 영상을 획득하는 적어도 하나의 광각 카메라; 상기 광각 카메라를 통해 입력되는 영상을 방사 왜곡 보정하는 방사왜곡 보정부; 상기 방사왜곡 보정부에 의해 보정된 영상에 기 설정된 호모그래피 변환행렬을 이용하여 호모그래피 변환하는 호모그래피 변환부; 및 각각의 상기 광각 카메라를 통해 획득되는 영상을 통합하는 영상통합부를 포함하는 것을 특징으로 한다.An image system using a wide angle camera according to an embodiment of the present invention includes at least one wide angle camera for acquiring images of at least one of forward, backward, left, and right images; A radial distortion correction unit for radially distorting the image input through the wide angle camera; A homography converting unit that performs homography transformation using a homography transformation matrix preliminarily set on the image corrected by the radial distortion correction unit; And an image integration unit for integrating images obtained through the respective wide-angle cameras.
상기 방사왜곡 보정부는 각각의 상기 광각 카메라의 카메라 모델에 대응하는 왜곡 보정계수에 기초하여 영상을 방사왜곡 보정한다.The radial distortion correction section radially corrects the image based on a distortion correction coefficient corresponding to each camera model of the wide-angle camera.
상기 호모그래피 변환부는, 기 설정된 그라운드 영상의 적어도 4개의 픽셀 위치와 상기 광각 카메라를 통한 입력 영상에서 각 픽셀과 대응하는 픽셀 위치를 대입하여 이루어진다.The homography converting unit is configured by substituting at least four pixel positions of a predetermined ground image and a pixel position corresponding to each pixel in an input image through the wide angle camera.
상기 호모그래피 변환부는, 상기 방사왜곡 보정부에 의해 왜곡이 보정된 영상에서 호모그래피 영역을 지정하고 지정된 호모그래피 영역에서 전체점을 교차점에 맞게 조정한 후 점의 개수를 검사한다.The homography converting unit specifies the homography region in the image whose distortion is corrected by the radial distortion correction unit, and adjusts the entire points in the designated homography region to match the intersection, and then checks the number of points.
검사한 점의 개수가 4개 미만일 경우에 픽셀정보를 마스크(Mask) 처리하고, 점이 4개일 경우에 변수 i의 값을 검사하여 i가 4일 경우에 호모그래피 행렬을 구할 수 있다.The pixel information is masked when the number of the tested points is less than 4, and the value of the variable i is checked when the number of points is 4. If the value of i is 4, the homography matrix can be obtained.
이때, 변수 i가 4 미만일 경우, 다음 카메라의 호모그래피 영역 내의 지정된 좌표를 설정한다.At this time, when the variable i is less than 4, the designated coordinates in the homography region of the next camera are set.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 광각 카메라를 이용한 영상 방법은, 전방, 후방, 좌측, 우측 중 적어도 하나에 대한 영상을 획득하는 단계; 상기 광각 카메라를 통해 입력되는 영상을 방사 왜곡 보정하는 단계; 및 상기 방사왜곡 보정부에 의해 보정된 영상에 기 설정된 호모그래피 변환행렬을 이용하여 호모그래피 변환하는 단계를 포함하며, 호모그래피 변환된 각각의 영상을 하나의 영상으로 통합하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an image method using a wide-angle camera, comprising: acquiring an image of at least one of a front side, a rear side, a left side, and a right side; A step of correcting radial distortion of the image input through the wide angle camera; And performing a homography transformation using a homography transformation matrix preliminarily set on the image corrected by the radial distortion correction unit, wherein each of the homography-converted images is integrated into one image.
상기 방사왜곡 보정단계는 각각의 상기 광각 카메라의 카메라 모델에 대응하는 왜곡 보정계수에 기초하여 영상을 방사왜곡 보정한다.The radial distortion correction step radially corrects the image based on the distortion correction coefficient corresponding to each camera model of the wide angle camera.
상기 호모그래피 변환단계는, 기 설정된 그라운드 영상의 적어도 4개의 픽셀 위치와 상기 광각 카메라를 통한 입력 영상에서 각 픽셀과 대응하는 픽셀 위치를 대입하여 이루어진다.The homography conversion step is performed by substituting at least four pixel positions of a predetermined ground image and a pixel position corresponding to each pixel in an input image through the wide angle camera.
상기 호모그래피 변환단계는, 상기 방사왜곡 보정단계에 의해 왜곡이 보정된 영상에서 호모그래피 영역을 지정하고 지정된 호모그래피 영역에서 전체점을 교차점에 맞게 조정한 후 점의 개수를 검사한다.In the homography conversion step, the homography region is designated in the distortion-corrected image by the radial distortion correction step, and the whole points in the designated homography region are adjusted to the intersection point, and then the number of points is checked.
검사한 점의 개수가 4개 미만일 경우에 픽셀정보를 마스크(Mask) 처리하고, 점이 4개일 경우에 변수 i의 값을 검사하여 i가 4일 경우에 호모그래피 행렬을 구한다.The pixel information is masked when the number of examined points is less than four, and the value of the variable i is checked when the number of points is four, and a homography matrix is obtained when i is four.
변수 i가 4 미만일 경우, 다음 카메라의 호모그래피 영역 내의 지정된 좌표를 설정한다.
If the variable i is less than 4, the specified coordinates in the homography region of the next camera are set.
본 발명에 따르면, 전, 후, 좌, 우를 포함하는 복수의 광각 카메라에 의해 획득되는 각각의 영상을 통합된 하나의 영상으로 제공하여 운전자가 한눈에 주변상황을 인식할 수 있게 된다. According to the present invention, each image obtained by a plurality of wide angle cameras including front, rear, left, and right is provided as an integrated image so that the driver can perceive the surrounding situation at a glance.
또한, 본 발명에 따르면, 각각의 광각 카메라를 통해 입력되는 영상을 투영 변환하는 과정에서 투영 변환의 편차를 반영하여 제공되는 영상의 품질을 높일 수 있게 된다.
Also, according to the present invention, it is possible to enhance the quality of the image provided by reflecting the deviation of the projection conversion in the process of projecting and converting the image input through each wide angle camera.
도 1은 본 발명의 실시예에 따른 광각 카메라를 이용한 영상 시스템을 개략적으로 도시한 도면이다.
도 2는 일반적인 호모그래피 행렬 구성과정을 나타낸 도면이다.
도 3은 왜곡 보정 영상 획득의 과정을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 영상 시스템에서 이용하는 카메라 모델의 예를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 호모그래피 행렬 구성과정을 나타낸 도면이다.
도 6은 왜곡이 보정된 영상이 평면으로 매핑되는 호모그래피 변환모델의 예를 나타낸 도면이다.
도 7은 영상통합부에 의해 하나의 영상으로 통합되는 과정의 예를 나타낸 도면이다.
도 8은 본 발명에 따른 호모그래피 행렬 구성방법을 나타낸 흐름도이다.
도 9는 왜곡이 보정된 영상의 예를 나타낸 도면이다.
도 10은 패턴의 영상 설정의 예를 나타낸 도면이다.
도 11은 평균값을 이용한 호모그래피 행렬에 의해 구성된 영상의 예를 나타낸 도면이다.
도 12는 전체점을 이용한 호모그래피 행렬에 의해 구성된 영상의 예를 나타낸 도면이다.
도 13은 왜곡 보정 영상의 투영변환 처리결과의 예를 나타낸 도면이다.
도 14는 각 카메라의 투영변환에 의해 처리된 영상의 정합결과의 예를 나타낸 도면이다.1 is a view schematically showing an image system using a wide-angle camera according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a process of constructing a general homography matrix.
3 is a diagram illustrating a process of acquiring a distortion correction image.
4 is a diagram illustrating an example of a camera model used in an image system according to an embodiment of the present invention.
FIG. 5 is a diagram illustrating a homography matrix forming process according to an embodiment of the present invention. Referring to FIG.
6 is a diagram showing an example of a homography transformation model in which distortion compensated images are mapped in a plane.
7 is a view illustrating an example of a process of integrating a single image by the image integration unit.
8 is a flowchart illustrating a method of constructing a homography matrix according to the present invention.
Fig. 9 is a diagram showing an example of an image in which distortion is corrected. Fig.
10 is a diagram showing an example of image setting of a pattern.
11 is a diagram showing an example of an image constituted by a homography matrix using an average value.
12 is a diagram illustrating an example of an image formed by a homography matrix using all points.
13 is a diagram showing an example of the result of the projection conversion processing of the distortion correction image.
14 is a diagram showing an example of the matching result of images processed by the projection conversion of each camera.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 이하의 설명에 있어서, 당업자에게 주지 저명한 기술에 대해서는 그 상세한 설명을 생략할 수 있다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, a detailed description of known techniques well known to those skilled in the art may be omitted.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 불구하고 동일한 참조부호를 부여할 수도 있다. 그러나, 이와 같은 경우라 하더라도 해당 구성 요소가 실시예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시예에서의 각각의 구성요소에 대한 설명에 기초하여 판단하여야 할 것이다.In describing the constituent elements of the present invention, the same reference numerals may be given to constituent elements having the same name, and the same reference numerals may be given thereto even though they are different from each other. However, even in such a case, it does not mean that the corresponding component has different functions according to the embodiment, or does not mean that the different components have the same function. It should be judged based on the description of each component in the example.
또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.In the following description of the embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In addition, in describing the component of this invention, terms, such as 1st, 2nd, A, B, (a), (b), can be used. These terms are intended to distinguish the constituent elements from other constituent elements, and the terms do not limit the nature, order or order of the constituent elements. When a component is described as being "connected", "coupled", or "connected" to another component, the component may be directly connected or connected to the other component, Quot; may be "connected," "coupled," or "connected. &Quot;
도 1은 본 발명의 실시예에 따른 광각 카메라를 이용한 영상 시스템을 개략적으로 도시한 도면이다.1 is a view schematically showing an image system using a wide-angle camera according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 실시예에 따른 영상 시스템은, 광각 카메라(110), 방사왜곡 보정부(120), 호모그래피 변환부(130) 및 영상 통합부(140)를 포함한다.1, an image system according to an exemplary embodiment of the present invention includes a
광각 카메라(110)는 전방, 후방, 좌측, 우측 중 적어도 둘 이상에 대한 영상을 획득한다. 본 발명의 실시예에서는 차량에 설치된 광각 카메라를 가정하며, 차량의 주변상황을 사각지대 없이 보여주기 위해서 광각 카메라(110)는 전방, 후방, 좌측, 우측에 대한 영상을 획득하는 것으로 가정한다.The wide-
광각 카메라를 이용하는 영상 시스템은 8DOF(Degree Of Freedom)에 기반한 4개 이상의 특징점들을 선택하여 호모그래피 행렬을 구하여 투영 변환을 수행하는 방법을 사용할 수 있다. 여기서, DOF란 운동의 유연성, 주어진 조건 하에서 자유롭게 변화할 수 있는 점의 수라는 의미가 있지만, 본 발명에서는 역학계에 있어서 그 배치를 정하는 좌표라는 뜻으로 사용한다. 즉, 위, 아래, 좌, 우, 앞, 뒤, 위 아래로 기울임(Pitching), 좌우로 기울임(Rolling) 등의 자유도를 가지는 8DOF 방식을 사용한다. 그런데, 이와 같은 방식을 이용하는 경우, 도 2에 도시한 바와 같이 특징점들의 평균값을 이용하여 호모그래피 행렬을 구함으로써 왜곡이 보정된 영상의 부분 영역에 따라 존재하는 투영 변환의 영역적 편차를 반영하지 못하여 결과 영상의 품질을 저하시키는 요인이 될 수 있다. 본 발명은 광각 카메라의 입력 영상의 왜곡을 보정한 후 투영 변환 처리하는데 필요한 호모그래피 행렬을 왜곡 보정 영상에 존재하는 투영 변환의 편차를 반영하여 결과 영상의 품질을 개선하여 디스플레이 장치 또는 다른 영상 처리를 위한 입력 영상으로 제공할 수 있도록 한다.The image system using the wide angle camera can use a method of selecting four or more minutiae points based on 8 Degree of Freedom (Degree Of Freedom) to obtain a homography matrix and performing projection transformation. Here, the DOF means the flexibility of motion and the number of points that can freely change under a given condition, but in the present invention, it is used as a coordinate for determining the arrangement in the dynamic system. That is, 8DOF method is used which has degrees of freedom such as up, down, left, right, front, back, up and down, pitching, and tilting. In this case, as shown in FIG. 2, since the homography matrix is obtained by using the average value of the feature points, it is not possible to reflect the regional deviation of the projection transformation existing according to the partial region of the distorted image The quality of the resulting image may be deteriorated. The present invention improves the quality of the resultant image by reflecting the deviation of the projection transformation existing in the distortion correction image with respect to the homography matrix necessary for correcting the distortion of the input image of the wide angle camera, To be provided as an input image.
이를 위해, 방사왜곡 보정부(120)는 광각 카메라(110)를 통해 입력되는 영상을 방사 왜곡 보정한다. 인간의 눈으로 보았을 때 도 3의 (a)에 도시한 바와 같이 왜곡이 전혀 없는 영상이라 하더라도 광각 카메라(110)를 통해서 얻어진 영상은 도 3의 (b)에 도시한 바와 같이 방사왜곡 현상이 나타난다. 즉, 광각 카메라(110)는 렌즈 등 카메라의 물리적 요소의 특성에 따라 왜곡된 영상을 제공하게 된다. 이러한 특성은 카메라 제작시에 결정되는 것으로 카메라의 고유속성이 된다. 본 발명의 실시예에 따른 영상 시스템은 전, 후, 좌, 우 각 카메라에 대한 왜곡 보정 계수를 미리 계산하여 구할 수 있다. 이때, 왜곡 보정계수를 구하기 위해서는 카메라 모델이 필요하다. 본 발명의 실시예에 따른 영상 시스템은 도 4와 같은 카메라 모델을 이용한다.To this end, the radial
실세계의 객체 X는 이미지 평면에서 xu의 위치에 나타나야 하지만 카메라의 왜곡에 의해 xd의 위치에 나타나게 된다. 입력 영상의 오곡 보정을 위해서는 초점거리 f, x축과 y축 방향의 왜곡 보정을 위한 이미지 평면의 광학 중심(Ox, Oy)를 구해야 한다. 이 세 가지 계수를 구하기 위해 수학식 1을 사용한다.A real-world object X should appear at the location of x u in the image plane, but at the location of x d due to camera distortion. To correct the input image, we need to find the focal length f, and the optical center (Ox, Oy) of the image plane for distortion correction in the x and y directions. Equation (1) is used to obtain these three coefficients.
[수학식 1][Equation 1]
왜곡 보정된 영상의 각 픽셀의 좌표는 수학식 2에 의해 계산할 수 있다.The coordinates of each pixel of the distortion-corrected image can be calculated by Equation (2).
[수학식 2]&Quot; (2) "
이때, 방사왜곡 보정부(120)를 통해 왜곡보정 처리를 하게 되면 도 3의 (c)에 도시한 바와 같이 핀 쿠션 효과가 생기게 되며, 이를 통해 마치 인간의 눈을 통해 얻어진 원영상(도 3의 a)과 같은 왜곡이 보정된 영상을 얻을 수 있다.When the distortion correction processing is performed through the radial
호모그래피 변환부(130)는 방사왜곡 보정부(120)에 의해 보정된 영상에 기 설정된 호모그래피 변환행렬을 이용하여 호모그래피 변환한다. 이때, 호모그래피 변환부(130)는 수학식 3을 이용하여 왜곡이 보정된 영상의 투영변환을 실행할 수 있다.The
[수학식 3]&Quot; (3) "
여기서, (Xi, Yi, Zi)는 3차원 공간상의 한 점이며, (xi, yi)는 2차원 카메라 평면 영상 좌표계의 한 점이고, pij : 호모그래피 행렬의 요소이다.Here, (X i , Y i , Z i ) is a point on the three-dimensional space, (x i , y i ) is a point on the two-dimensional camera plane image coordinate system, and p ij is an element of the homography matrix.
도 5는 본 발명의 실시예에 따른 호모그래피 행렬 구성과정을 나타낸 도면이다. 본 발명의 실시예에 따른 영상 시스템은, 방사왜곡 보정부(120)에 의해 왜곡이 보정된 영상의 선택된 특징점을 하나의 호모그래피 행렬로 구성하지 않고, 특징점에 의해 구분되는 개별 영역에 대한 호모그래피 행렬을 구한 다음 하나의 호모그래피 행렬로 조합한다. 이때, 각 광각 카메라(110)로부터 입력된 영상들은 도 6에 도시한 바와 같은 호모그래피 변환모델을 통해 영상평면에 매핑될 수 있다. 이때, 4개의 광각 카메라(110)에서 입력되는 영상에 대한 각각의 호모그래피 행렬을 구하기 위해 미리 정의한 그라운드(Ground) 영상의 최소 4개의 픽셀 위치와 입력 영상에서 각 픽셀과 대응하는 픽셀 위치를 대입하는 방식을 이용할 수 있다. 즉, 도 6에서 입력 영상은 그라운드 영상이 호모그래피 변환 행렬 H에 의해 변환된 것으로 볼 수 있다. 따라서 입력 영상을 그라운드 영상으로 매핑하기 위해서는 H- 1를 구해야 한다. 이를 위해 먼저 호모그래피 행렬 H를 구한다. H는 그라운드 영상의 각 픽셀을 입력 영상의 한 픽셀로 매핑하는 3x3 행렬이다. 그라운드 영상의 임의의 픽셀 x의 위치와 대응하는 입력 영상의 픽셀 x'의 위치는 수학식 4로 정의할 수 있다. 여기서 λ는 스케일링(scaling) 변수이다.FIG. 5 is a diagram illustrating a homography matrix forming process according to an embodiment of the present invention. Referring to FIG. The image system according to the embodiment of the present invention may be configured such that the selected feature points of the image whose distortion is corrected by the radial
[수학식 4]&Quot; (4) "
본 발명의 실시예에 따른 영상시스템에서는 전, 후, 좌, 우 4대의 카메라(110)로부터 입력된 영상들에 대한 각각의 호모그래피 행렬 H1, H2, H3, H4를 구하기 위해 미리 정의한 그라운드 영상의 최소 4개 픽셀 위치와 입력 영상에서 각 픽셀과 대응하는 픽셀 위치를 대입하여 각 카메라(110)의 호모그래피 행렬을 미리 계산하여 사용한다. 미리 정의한 N개의 픽셀값을 적용하여 λ를 대입하여 구한 2N 개의 수식을 Ah=0의 형태로 정리하면 수학식 5와 같다. 이때, h는 9x1의 벡터로 표현할 수 있다.In the image system according to the embodiment of the present invention, in order to obtain the respective homography matrices H1, H2, H3, and H4 of the images input from the four
[수학식 5]&Quot; (5) "
본 발명의 실시예에 따른 영상시스템에서는 ATA의 최소 아이젠 벡터를 계산하여 h를 구함으로써 H를 구할 수 있다. 또한, H를 이용하여 H-1을 구하여 호모그래피 변환에 사용할 수 있다. In the image system according to the embodiment of the present invention, H can be obtained by calculating the minimum Eigenvector of A T A and calculating h. Also, H -1 can be obtained using H and used for homography conversion.
영상통합부(140)는 각각의 광각 카메라(110)에 의해 획득되어 방사왜곡 보정부(120)를 통해 방사왜곡이 보정된 후 상기 호모그래피 변환부(130)를 통해 호모그래피 변환된 영상을 하나의 영상으로 통합한다. 이때, 영상통합부(140)에 의해 하나의 영상으로 통합하는 과정은 도 7에 나타낸 바와 같다. 이때, 영상통합부(140)는 방사왜곡 보정과 호모그래피 변환을 수행한 전, 후, 좌, 우 4개의 영상을 α-블렌딩 알고리즘을 사용하여 하나의 영상으로 통합할 수 있다.The
도 8은 본 발명에 따른 호모그래피 행렬 구성방법을 나타낸 흐름도이다. 8 is a flowchart illustrating a method of constructing a homography matrix according to the present invention.
광각 카메라(110) 등을 통해 획득한 영상(S801)에 대하여 영상이 왜곡되었는지를 판단하며(S802), 영상이 왜곡되어 있다면 왜곡 보정 처리를 한다(S803). 즉, 호모그래피 행렬을 구성하기 위해서는 먼저 행렬 구성에 사용될 영상을 획득하여야 하는데, 도 9에 도시한 바와 같이 광각 카메라(110)의 입력 영상에 존재하는 방사 왜곡을 보정한 왜곡 보정 영상을 획득할 수 있다.It is determined whether the image is distorted with respect to the image S801 acquired through the wide-
다음에, 왜곡 보정된 영상에 대하여 호모그래피 영역을 지정(S804)하며, 호모그래피 변환행렬 프로그램(S805)을 실행한다. Next, the homography region is designated for the distortion-corrected image (S804), and the homography transformation matrix program (S805) is executed.
이때 알고리즘 내부의 변수 i는 카메라가 한 번 들어올 때마다 즉, 설정된 주기로 영상이 입력될 때마다 1씩 증가하는 변수이다(S806). In this case, the variable i in the algorithm is a variable that increases by one every time the camera comes in, that is, every time the image is input in the set period (S806).
프로그램이 실행되면 먼저 위에서 지정해준 호모그래피 영역내의 좌표를 설정한다(S807). 이후 자동으로 인식된 전체점을 교차점에 맞게 조정(S808)하고, 점의 개수를 검사(S809)하여 점이 4개 미만일 경우 픽셀정보를 Mask처리(S810) 해주며, 점이 4개일 경우 변수 i의 값을 검사(S811)하여 i가 4일 경우 호모그래피 행렬을 구성하고 i가 4 미만일 경우 다음 카메라의 호모그래피 영역내의 지정된 좌표를 설정하는 단계로 이동한다. 변수 i가 4일 경우 특징점들에 의해 구분되는 각 영역에 대한 지역 호모그래피 행렬(S812)을 구한 후 이를 조합하여 전체 호모그래피 행렬을 구성한다. 전체 호모그래피 행렬은 텍스트 파일에 기록하여 다른 영상 처리에 입력 영상으로 사용될 수 있다(S813, S814).When the program is executed, coordinates in the homography region designated above are set (S807). If the number of points is less than 4, the mask information is masked (S810). If the number of points is 4, the value of the variable i is set to 4 (step S808) (Step S811). If i is 4, it constitutes a homography matrix. If i is less than 4, it moves to a step of setting designated coordinates in the homography region of the next camera. If the variable i is 4, a local homography matrix S812 for each region separated by the minutiae points is obtained, and then a whole homography matrix is constructed by combining the regions. The entire homography matrix can be recorded in a text file and used as an input image in other image processing (S813, S814).
호모그래피 영역의 지정 패턴은 패턴 1 칸의 크기를 화면에 보여 줄 영역의 크기를 고려하여 임의로 정할 수 있다. 도 9에서는 1칸 당 30x30(cm)의 패턴을 가로 18칸, 세로 30칸만큼을 패턴의 영역으로 사용하는 것을 보여준다. 패턴의 영역은 운영자가 프로그램 내부에 설정할 수 있다. The designation pattern of the homography region can be arbitrarily determined in consideration of the size of the area of the
이후, 도 10에 도시한 바와 같이 Top Camera의 왜곡 보정 영상이 출력되면 본 발명의 실시예에 따른 영상시스템은 프로그램 내부에 설정된 패턴 영역만큼의 패턴 좌표 4개를 시계 방향으로 설정할 수 있다. 이 과정을 거치면 지정한 범위의 패턴 내부의 교차점들이 자동으로 인식되어 도 11에 도시한 바와 같이, 영상 내부의 각 교차점에 점이 찍히게 된다. 이때, 영상시스템은 찍힌 점들을 정확한 위치의 교차점으로 이동시킬 수 있다.When the distortion correction image of Top Camera is output as shown in FIG. 10, the image system according to the embodiment of the present invention can set four pattern coordinates in the pattern area set in the program in the clockwise direction. Through this process, the intersection points within the designated range of the pattern are automatically recognized, and the points are marked at each intersection point in the image as shown in FIG. At this time, the imaging system can move the captured points to the intersection of the correct position.
이와 같이 모든 점이 정해진 좌표에 위치했을 때, 좌표를 고정한 뒤 다음 단계로 넘어간다. 다음 단계에서는 계산된 호모그래피 결과 값을 왜곡 보정 영상에 적용한 결과를 미리보기 형식으로 모니터에 출력하여 운영자가 확인하도록 한다. When all the points are located at the specified coordinates, the coordinates are fixed and the process proceeds to the next step. In the next step, the result of applying the calculated homography result to the distortion correction image is output to the monitor in a preview form, and the operator confirms it.
이와 같은 방법으로 광각 카메라(110)를 통해 입력된 전, 후, 좌, 우의 영상들의 각 영역에 대하여 위의 과정을 동일하게 거치게 되면 마지막에 4개의 왜곡 보정 영상을 앞에서 구해진 4개의 호모그래피 행렬을 투영 변환 처리하여 그 결과를 미리보기로 제공하며, 도 12 및 도 13에 도시한 바와 같이 각 카메라의 투영 변환 처리 결과 영상과 그 결과 영상을 정합한 영상이 출력된다. 그리고 각 카메라 별 호모그래피 변환 행렬을 텍스트 파일 형식으로 저장한다.If the above procedure is repeated for each region of the front, back, left, and right images input through the wide-
본 발명에서는 선택영역의 평균 값을 이용한 호모그래피 행렬의 단점을 모두 극복한 선택영역의 전체 점을 이용한 호모그래피 행렬을 사용한다. 평균값을 이용한 호모그래피 행렬의 경우 영상의 중앙부분 보다 외곽 부분의 영상이 흐리게 보이는 현상이 발생하며, 편차가 많이 나는 점도 평균값으로 처리해 영상의 품질이 저하되는 단점이 있다. 전체점을 이용한 호모그래피 행렬의 경우, 영상의 전체 점을 인식하여 패턴의 사각형 각각의 호모그래피 행렬의 값을 모두 계산하므로 기존의 평균값을 이용한 알고리즘 영상의 흐릿함과 어긋난 매핑 현상을 줄여 도 14에 나타낸 바와 같이, 영상의 품질이 높아지는 결과를 얻게 된다.In the present invention, a homography matrix using the entire points of the selected region which overcomes all the disadvantages of the homography matrix using the average value of the selected region is used. In the case of the homography matrix using the average value, the image of the outer part is blurred rather than the central part of the image, and the quality of the image is degraded by processing the average value of the deviation. In the case of the homography matrix using the entire points, since the entire points of the image are recognized and the values of the homography matrix of each of the square of the pattern are all calculated, the blurring of the algorithm image using the existing average value and the mapping phenomenon are eliminated. As a result, the image quality is improved.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.The present invention is not necessarily limited to these embodiments, as all the constituent elements constituting the embodiment of the present invention are described as being combined or operated in one operation. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. In addition, such a computer program may be stored in a computer-readable medium such as a USB memory, a CD disk, a flash memory, etc., and read and executed by a computer, thereby implementing embodiments of the present invention. As the storage medium of the computer program, a magnetic recording medium, an optical recording medium, a carrier wave medium, or the like may be included.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Furthermore, all terms including technical or scientific terms have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined in the Detailed Description. Terms used generally, such as terms defined in a dictionary, should be interpreted to coincide with the contextual meaning of the related art, and shall not be interpreted in an ideal or excessively formal sense unless explicitly defined in the present invention.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이며, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 따라서, 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
The above description is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may make various modifications and variations without departing from the essential characteristics of the present invention. In addition, the embodiments disclosed in the present invention are not intended to limit the scope of the present invention but to limit the scope of the technical idea of the present invention. Accordingly, the scope of protection of the present invention should be construed according to the claims, and all technical ideas within the scope of equivalents should be interpreted as being included in the scope of the present invention.
Claims (12)
상기 광각 카메라를 통해 입력되는 영상을 방사 왜곡 보정하는 방사왜곡 보정부;
상기 방사왜곡 보정부에 의해 보정된 영상에 기 설정된 호모그래피 변환행렬을 이용하여 호모그래피 변환하는 호모그래피 변환부; 및
각각의 상기 광각 카메라를 통해 획득되는 영상을 통합하는 영상통합부
를 포함하는 것을 특징으로 하는 광각 카메라를 이용한 영상 시스템.
At least one wide angle camera for acquiring an image of at least one of front, rear, left, and right;
A radial distortion correction unit for radially distorting the image input through the wide angle camera;
A homography conversion unit for performing homography conversion on the image corrected by the radiation distortion correction unit by using a preset homography conversion matrix; And
Image integration unit for integrating the images obtained through each of the wide-angle camera
Imaging system using a wide-angle camera comprising a.
상기 방사왜곡 보정부는 각각의 상기 광각 카메라의 카메라 모델에 대응하는 왜곡 보정계수에 기초하여 영상을 방사왜곡 보정하는 것을 특징으로 하는 광각 카메라를 이용한 영상 시스템.
The method of claim 1,
Wherein the radial distortion correction unit corrects radial distortion of an image based on a distortion correction coefficient corresponding to each camera model of the wide angle camera.
상기 호모그래피 변환부는,
기 설정된 그라운드 영상의 적어도 4개의 픽셀 위치와 상기 광각 카메라를 통한 입력 영상에서 각 픽셀과 대응하는 픽셀 위치를 대입하여 이루어지는 것을 특징으로 하는 광각 카메라를 이용한 영상 시스템.
The method of claim 1,
Wherein the homography converter comprises:
And at least four pixel positions of a preset ground image and a pixel position corresponding to each pixel in the input image through the wide angle camera.
상기 호모그래피 변환부는,
상기 방사왜곡 보정부에 의해 왜곡이 보정된 영상에서 호모그래피 영역을 지정하고 지정된 호모그래피 영역에서 전체점을 교차점에 맞게 조정한 후 점의 개수를 검사하는 것을 특징으로 하는 광각 카메라를 이용한 영상 시스템.
The method of claim 1,
Wherein the homography converter comprises:
Wherein the homography region is designated in the image whose distortion is corrected by the radial distortion correction section, and the total number of points in the designated homography region is adjusted to the intersection point, and then the number of points is checked.
검사한 점의 개수가 4개 미만일 경우에 픽셀정보를 마스크(Mask) 처리하고, 점이 4개일 경우에 변수 i의 값을 검사하여 i가 4일 경우에 호모그래피 행렬을 구하는 것을 특징으로 하는 광각 카메라를 이용한 영상 시스템.
5. The method of claim 4,
A wide-angle camera comprising masking pixel information when the number of inspected points is less than four, and checking a value of the variable i when four points are obtained, and obtaining a homography matrix when i is 4. Imaging system using.
변수 i가 4 미만일 경우, 다음 카메라의 호모그래피 영역 내의 지정된 좌표를 설정하는 것을 특징으로 하는 광각 카메라를 이용한 영상 시스템.
6. The method of claim 5,
When the variable i is less than 4, sets a designated coordinate in the homography region of the next camera.
상기 광각 카메라를 통해 입력되는 영상을 방사 왜곡 보정하는 단계; 및
상기 방사왜곡 보정부에 의해 보정된 영상에 기 설정된 호모그래피 변환행렬을 이용하여 호모그래피 변환하는 단계
를 포함하며,
호모그래피 변환된 각각의 영상을 하나의 영상으로 통합하는 것을 특징으로 하는 광각 카메라를 이용한 영상 방법.
Obtaining an image for at least one of front, rear, left, and right;
Correcting radiation distortion of an image input through the wide angle camera; And
Performing homography conversion on the image corrected by the radiation distortion correction unit by using a preset homography conversion matrix.
Including;
Wherein each of the homography-converted images is integrated into one image.
상기 방사왜곡 보정단계는 각각의 상기 광각 카메라의 카메라 모델에 대응하는 왜곡 보정계수에 기초하여 영상을 방사왜곡 보정하는 것을 특징으로 하는 광각 카메라를 이용한 영상 방법.
8. The method of claim 7,
Wherein the radial distortion correction step corrects radial distortion of an image based on a distortion correction coefficient corresponding to each camera model of the wide angle camera.
상기 호모그래피 변환단계는,
기 설정된 그라운드 영상의 적어도 4개의 픽셀 위치와 상기 광각 카메라를 통한 입력 영상에서 각 픽셀과 대응하는 픽셀 위치를 대입하여 이루어지는 것을 특징으로 하는 광각 카메라를 이용한 영상 방법.
8. The method of claim 7,
Wherein the homography conversion step comprises:
And at least four pixel positions of a preset ground image and a pixel position corresponding to each pixel in the input image through the wide angle camera.
상기 호모그래피 변환단계는,
상기 방사왜곡 보정단계에 의해 왜곡이 보정된 영상에서 호모그래피 영역을 지정하고 지정된 호모그래피 영역에서 전체점을 교차점에 맞게 조정한 후 점의 개수를 검사하는 것을 특징으로 하는 광각 카메라를 이용한 영상 방법.
8. The method of claim 7,
Wherein the homography conversion step comprises:
Wherein a homography region is designated in the distortion-corrected image by the radial distortion correction step, and all points in the designated homography region are adjusted to the intersection point, and then the number of points is checked.
검사한 점의 개수가 4개 미만일 경우에 픽셀정보를 마스크(Mask) 처리하고, 점이 4개일 경우에 변수 i의 값을 검사하여 i가 4일 경우에 호모그래피 행렬을 구하는 것을 특징으로 하는 광각 카메라를 이용한 영상 방법.
The method of claim 10,
A wide-angle camera comprising masking pixel information when the number of inspected points is less than four, and checking a value of the variable i when four points are obtained, and obtaining a homography matrix when i is 4. Image method using.
변수 i가 4 미만일 경우, 다음 카메라의 호모그래피 영역 내의 지정된 좌표를 설정하는 것을 특징으로 하는 광각 카메라를 이용한 영상 방법.
12. The method of claim 11,
When the variable i is less than 4, sets the designated coordinates in the homography region of the next camera.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120057351A KR101469717B1 (en) | 2012-05-30 | 2012-05-30 | Video system and method using cameras with a wide angle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120057351A KR101469717B1 (en) | 2012-05-30 | 2012-05-30 | Video system and method using cameras with a wide angle |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130134086A true KR20130134086A (en) | 2013-12-10 |
| KR101469717B1 KR101469717B1 (en) | 2014-12-05 |
Family
ID=49981766
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120057351A KR101469717B1 (en) | 2012-05-30 | 2012-05-30 | Video system and method using cameras with a wide angle |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101469717B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830810A (en) * | 2018-06-07 | 2018-11-16 | 辽宁工业大学 | A kind of fisheye image distortion correction method based on rectangular projection |
| KR20190096970A (en) * | 2016-12-15 | 2019-08-20 | 콘티 테믹 마이크로일렉트로닉 게엠베하 | Car around view system |
| KR20210037030A (en) * | 2019-09-26 | 2021-04-06 | 주식회사 삼우이머션 | Method for providing every side viewing angle |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102250873B1 (en) * | 2019-11-29 | 2021-05-11 | 한국전자기술연구원 | System and method for transmitting external image in security environment |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100948872B1 (en) * | 2008-04-14 | 2010-03-24 | 주식회사 이미지넥스트 | Camera image correction method and apparatus |
| KR100943719B1 (en) * | 2008-11-04 | 2010-02-23 | 광주과학기술원 | System and apparatus of geometrical compensation for multi-view video |
| KR101510655B1 (en) * | 2010-01-26 | 2015-04-10 | 주식회사 이미지넥스트 | Around image generating method and apparatus |
-
2012
- 2012-05-30 KR KR1020120057351A patent/KR101469717B1/en active IP Right Grant
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190096970A (en) * | 2016-12-15 | 2019-08-20 | 콘티 테믹 마이크로일렉트로닉 게엠베하 | Car around view system |
| CN108830810A (en) * | 2018-06-07 | 2018-11-16 | 辽宁工业大学 | A kind of fisheye image distortion correction method based on rectangular projection |
| KR20210037030A (en) * | 2019-09-26 | 2021-04-06 | 주식회사 삼우이머션 | Method for providing every side viewing angle |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101469717B1 (en) | 2014-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5739584B2 (en) | 3D image synthesizing apparatus and method for visualizing vehicle periphery | |
| KR101939349B1 (en) | Around view video providing method based on machine learning for vehicle | |
| US10594941B2 (en) | Method and device of image processing and camera | |
| CN111223038B (en) | Automatic splicing method of vehicle-mounted looking-around images and display device | |
| AU2016335123B2 (en) | Camera calibration using synthetic images | |
| US20180165875A1 (en) | Apparatus for reconstructing 3d model and method for using the same | |
| KR101811157B1 (en) | Bowl-shaped imaging system | |
| KR101077584B1 (en) | Apparatus and method for processing images obtained by a plurality of cameras | |
| US9600863B2 (en) | Method for combining images | |
| Varga et al. | Super-sensor for 360-degree environment perception: Point cloud segmentation using image features | |
| US20150103172A1 (en) | Image processing apparatus and method | |
| CN109948398B (en) | Image processing method for panoramic parking and panoramic parking device | |
| KR100914211B1 (en) | Distorted image correction apparatus and method | |
| US20210176395A1 (en) | Gimbal system and image processing method thereof and unmanned aerial vehicle | |
| JP6891954B2 (en) | Object detection device, object detection method, and program | |
| KR20160116075A (en) | Image processing apparatus having a function for automatically correcting image acquired from the camera and method therefor | |
| KR20090103165A (en) | Monocular Motion Stereo-Based Free Parking Space Detection Apparatus and Method | |
| JP2017005380A (en) | Control device, imaging device, control method, program and storage medium | |
| JP2011215063A (en) | Camera attitude parameter estimation device | |
| KR101478980B1 (en) | System for multi channel display to use a fish-eye lens | |
| KR101469717B1 (en) | Video system and method using cameras with a wide angle | |
| CN103546678A (en) | Apparatus and method for correcting image distortion of rear camera | |
| CN115035235A (en) | Three-dimensional reconstruction method and device | |
| CN111652937B (en) | Vehicle-mounted camera calibration method and device | |
| US11715218B2 (en) | Information processing apparatus and information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20171211 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20180213 Year of fee payment: 5 |