KR101739163B1 - Image stabilization method for vehicle camera and image processing apparatus usnig the same - Google Patents
Image stabilization method for vehicle camera and image processing apparatus usnig the same Download PDFInfo
- Publication number
- KR101739163B1 KR101739163B1 KR1020130018881A KR20130018881A KR101739163B1 KR 101739163 B1 KR101739163 B1 KR 101739163B1 KR 1020130018881 A KR1020130018881 A KR 1020130018881A KR 20130018881 A KR20130018881 A KR 20130018881A KR 101739163 B1 KR101739163 B1 KR 101739163B1
- Authority
- KR
- South Korea
- Prior art keywords
- light source
- image
- vehicle
- frame
- target light
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012545 processing Methods 0.000 title abstract description 25
- 230000006641 stabilisation Effects 0.000 title description 2
- 238000011105 stabilization Methods 0.000 title description 2
- 238000012937 correction Methods 0.000 claims abstract description 16
- 239000000284 extract Substances 0.000 claims description 10
- 230000005484 gravity Effects 0.000 claims description 10
- 238000012706 support-vector machine Methods 0.000 claims description 7
- 238000003702 image correction Methods 0.000 abstract description 15
- 230000033001 locomotion Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- FXNSVEQMUYPYJS-UHFFFAOYSA-N 4-(2-aminoethyl)benzenesulfonamide Chemical compound NCCC1=CC=C(S(N)(=O)=O)C=C1 FXNSVEQMUYPYJS-UHFFFAOYSA-N 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000087 stabilizing effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
본 발명은 차량에 탑재되는 카메라를 통해 획득한 야간 영상을 효과적으로 보정함으로써 야간 영상을 이용하는 차량 주행 보조 시스템의 안정성과 신뢰성을 향상시킬 수 있는 차량 카메라의 영상 보정 방법 및 이를 이용하는 영상 처리 장치에 관한 것으로, 영상 처리 장치는, 차량 카메라로부터 획득한 영상의 제1 프레임에서 광원을 추출하고 제1 프레임과 제1 시간 간격을 두고 획득한 제2 프레임에서 광원을 추출하는 광원 추출부와, 제1 프레임의 광원 중 움직이지 않는 광원에 속하는 제1 타겟 광원을 분류하고 제2 프레임의 광원 중 움직이지 않는 광원에 속하는 제2 타겟 광원을 분류하는 타겟 광원 분류부와, 제1 타겟 광원의 중심점인 제1 위치를 추정하고, 제2 타겟 광원의 중심점인 제2 위치를 추정하는 타겟 위치 추정부와, 차량의 차속 및 회전반경을 토대로 제1 시간 동안 제1 위치가 이동하여 위치할 것으로 예상되는 추정 위치를 산출하는 추정 위치 산출부와, 추정 위치와 제2 위치의 비교 결과를 토대로 차량 카메라의 영상을 보정하는 보정부를 포함한다.The present invention relates to an image correction method of a vehicle camera and an image processing apparatus using the same, which can improve the stability and reliability of a vehicle driving assistance system using a night image by effectively correcting a night image acquired through a camera mounted on the vehicle A light source extracting unit for extracting a light source in a first frame of an image acquired from a vehicle camera and extracting a light source in a second frame acquired at a first time interval from the first frame, A target light source classifying unit for classifying a first target light source belonging to a light source not moving among the light sources and for classifying a second target light source belonging to a non-moving light source among the light sources of the second frame; And estimates a second position that is a center point of the second target light source; And a correction unit for correcting the image of the vehicle camera based on a result of comparison between the estimated position and the second position based on the comparison result of the first position and the second position, .
Description
본 발명은 차량 카메라의 영상 보정 방법 및 이를 이용하는 영상 처리 장치에 관한 것으로, 보다 상세하게는, 차량에 탑재되는 카메라를 통해 획득한 야간 영상을 효과적으로 보정함으로써 야간 영상을 이용하는 차량 주행 보조 시스템의 안정성과 신뢰성을 향상시킬 수 있는 차량 카메라의 영상 보정 방법 및 이를 이용하는 영상 처리 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image correction method of a vehicle camera and an image processing apparatus using the same. More particularly, the present invention relates to a method of correcting an image captured by a camera mounted on a vehicle, To an image correction method of a vehicle camera capable of improving reliability and an image processing apparatus using the same.
현재, 자동차에 탑재된 전방 카메라를 이용하여 차선, 차량, 광원, 보행자, 표지판 등을 인식하는 기술은 일반적이다. 예를 들어, 이러한 종래 기술의 일례가 공개특허공보 제2011-0132920호에 개시되어 있다.Currently, techniques for recognizing lanes, vehicles, light sources, pedestrians, signs, etc. using a front camera mounted on a vehicle are common. For example, an example of such a prior art is disclosed in Laid-Open Patent Publication No. 2011-0132920.
상기한 공보의 '야간 주행 시 차량의 전방을 촬영한 영상에서 차량의 광원을 효과적으로 인식하는 차량의 전방 광원 인식 방법 및 시스템’에서는 전방 카메라를 통해 차량 전방을 촬영하여 영상을 획득하고, 획득한 영상에서 광원을 검출한 후, 광원이 기 설정된 검출영역에 포함되는지 여부에 따라 해당 광원을 차량의 광원으로 판정함으로써 차량의 전방 광원을 인식한다.In the 'front light source recognition method and system for recognizing the light source of the vehicle effectively from the image of the front of the vehicle during nighttime driving' of the above publication, the front side camera is used to photograph the front side of the vehicle to acquire an image, And recognizes the front light source of the vehicle by determining the light source as the light source of the vehicle depending on whether or not the light source is included in the predetermined detection area.
차량의 전방 카메라를 통해 획득한 영상을 처리하여 차선 및 차량을 인식하는 기술은 선행 차량의 거리 추정 등을 통해 전방 충돌 경고 시스템(Forward Collision Warning System, 이하, FCWS), 충돌 방지 시스템(Automatic Emergency Barke System, 이하, AEBS) 등과 같은 차량 주행 보조 시스템에 중요하게 이용되고 있다.Techniques for recognizing lanes and vehicles by processing images acquired through a forward camera of a vehicle are classified into a Forward Collision Warning System (FCWS), an Automatic Emergency Barke System, hereinafter referred to as AEBS).
한편, 주간의 경우 차량의 진동에 대해서도 주변 환경에 대해 영상의 떨림에 대한 보정이 가능하므로 아무런 문제가 되지 않는다. 그러나, 야간의 경우 카메라 영상 내에서 주변환경에 대한 기본 정보가 부족하여 영상을 제대로 보정할 수 없기 때문에 영상의 떨림에 의해 거리 추정이 부정확하게 되는 문제가 발생한다. 더구나, 전방 충돌 경고 시스템(FCWS)이나 충돌 방지 시스템(AEBS) 등과 같은 중요한 차량 운행 보조 시스템에서 기본적인 영상 데이터의 오류는 치명적인 결과를 초례 할 수 있어 야간 영상에 대한 영상 보정 방안이 절실히 요구되고 있다.On the other hand, in the case of the daytime, the vibration of the vehicle is not a problem since the vibration of the image can be corrected with respect to the surrounding environment. However, in the case of the nighttime, since the basic information about the surrounding environment is insufficient in the camera image, the image can not be properly corrected, and therefore, the problem of the distance estimation becoming inaccurate due to the image shake occurs. Furthermore, in the case of an important vehicle operation assistant system such as a front collision warning system (FCWS) or an anti-collision system (AEBS), the error of the basic image data can cause a fatal result. Therefore, an image correction method for the nighttime image is desperately required.
본 발명은 상기의 문제를 해결하기 위한 것으로, 차량에 탑재된 주행 보조 시스템이 차량 전방에 탑재되는 단안 카메라를 통해 획득한 야간 영상에 기초하여 선행 차량 등과의 거리를 추정할 때, 차량 진동에 의하여 차선 인식이나 거리 정확도의 신뢰성이 저하되는 것을 방지할 수 있는 차량 카메라의 영상 보정 방법 및 이를 이용하는 영상 처리 장치를 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and it is an object of the present invention to provide a traveling assistance system mounted on a vehicle that, when estimating a distance from a preceding vehicle or the like based on a night image acquired through a monocular camera mounted on a front of the vehicle, It is an object of the present invention to provide an image correction method for a vehicle camera that can prevent a lane recognition or a reliability of a distance accuracy from being degraded, and an image processing apparatus using the same.
본 발명은 또한 차량 탑재 카메라를 통해 획득한 야간 영상을 차량의 속도와 회전반경을 토대로 보정함으로써 야간 차량의 차량 주행보조 시스템 등에서 차선 인식이나 선행 차량과의 거리 추정에 대한 신뢰성을 향상시킬 수 있는 차량 카메라의 영상 보정 방법 및 이를 이용하는 영상 처리 장치를 제공하는데 또 다른 목적이 있다.The present invention also relates to a vehicle driving assistance system for a vehicle, which corrects a night image acquired through a vehicle-mounted camera based on a speed and a turning radius of the vehicle, thereby improving the reliability of lane recognition and distance- A camera image correction method, and an image processing apparatus using the same.
상기 기술적 과제를 해결하기 위하여 본 발명에 따른 영상 처리 장치는, 차량 카메라로부터 획득한 영상의 제1 프레임에서 광원을 추출하고, 제1 프레임과 제1 시간 간격을 두고 획득한 제2 프레임에서 광원을 추출하는 광원 추출부; 제1 프레임의 광원 중 움직이지 않는 광원에 속하는 제1 타겟 광원을 분류하고, 제2 프레임의 광원 중 움직이지 않는 광원에 속하는 제2 타겟 광원을 분류하는 타겟 광원 분류부; 제1 타겟 광원의 중심점인 제1 위치를 추정하고, 제2 타겟 광원의 중심점인 제2 위치를 추정하는 타겟 위치 추정부; 차량의 차속 및 회전반경을 토대로 제1 시간 동안 제1 위치가 이동하여 위치할 것으로 예상되는 추정 위치를 산출하는 추정 위치 산출부; 및 추정 위치와 제2 위치의 비교 결과를 토대로 차량 카메라의 영상을 보정하는 보정부를 포함한다.According to an aspect of the present invention, there is provided an image processing apparatus for extracting a light source in a first frame of an image acquired from a vehicle camera, and a light source in a second frame acquired at a first time interval from the first frame, A light source extracting unit for extracting light; A target light source classifier for classifying a first target light source belonging to a non-moving light source among the light sources of the first frame and for classifying a second target light source belonging to a non-moving light source among the light sources of the second frame; A target position estimator estimating a first position that is a center point of the first target light source and a second position that is a center point of the second target light source; An estimated position calculating unit for calculating an estimated position at which the first position is expected to move and be positioned for a first time based on the vehicle speed and the turning radius of the vehicle; And a correction unit for correcting the image of the vehicle camera based on the comparison result of the estimated position and the second position.
일 실시예에서, 보정부는 차량의 상하 방향에 대응하는 제1 및 제2 프레임의 수직 방향에서 추정 위치와 제2 위치를 비교하고, 추정 위치에서 제2 위치를 뺀 거리(또는 크기)와 방향에 기초하여 차량 카메라의 영상을 보정하는 것을 특징으로 한다.In one embodiment, the correcting unit compares the estimated position with the second position in the vertical direction of the first and second frames corresponding to the vertical direction of the vehicle, and calculates a distance (or size) obtained by subtracting the second position from the estimated position, And corrects the image of the vehicle camera on the basis of the image data.
일 실시예에서, 타겟 위치 추정부는 제1 또는 제2 타겟 광원의 무게 중심을 제1 위치 또는 제2 위치로 추정하는 것을 특징으로 한다.In one embodiment, the target position estimating unit estimates the center of gravity of the first or second target light source as the first position or the second position.
일 실시예에서, 움직이지 않는 광원은 가로등 및 시선 유도 반사체 중 적어도 어느 하나를 포함할 수 있다.In one embodiment, the immovable light source may include at least one of a streetlight and a line-guided reflector.
본 발명에 따른 차량 카메라의 영상 보정 방법은, 차량 카메라로부터 획득한 영상의 제1 프레임에서 광원을 추출하는 단계; 광원 중 움직이지 않는 광원에 속하는 제1 타겟 광원을 분류하는 단계; 제1 타겟 광원의 중심점인 제1 위치를 산출하는 단계; 차량의 속도와 회전반경을 토대로 기설정된 제1 시간 경과 동안 제1 위치가 이동하여 위치할 것으로 예상되는 추정 위치를 산출하는 단계; 제1 프레임과 제1 시간 간격을 두고 획득한 제2 프레임에서 광원을 추출하는 단계; 광원 중 움직이지 않는 광원에 속하는 제2 타겟 광원을 분류하는 단계; 제2 타겟 광원의 중심점인 제2 위치를 산출하는 단계; 추정 위치와 제2 위치를 비교하는 단계; 및 추정 위치와 제2 위치의 비교 결과를 토대로 차량 카메라의 영상을 보정하는 단계를 포함한다.A method for correcting an image of a vehicle camera according to the present invention includes: extracting a light source in a first frame of an image acquired from a vehicle camera; Classifying a first target light source belonging to a light source that is not moving among the light sources; Calculating a first position that is a center point of the first target light source; Calculating an estimated position at which the first position is expected to move and be positioned during a first predetermined time period based on the speed and the turning radius of the vehicle; Extracting a light source in a first frame and a second frame acquired at a first time interval; Classifying a second target light source belonging to a light source that is not moving among the light sources; Calculating a second position that is a center point of the second target light source; Comparing the estimated position with a second position; And correcting the image of the vehicle camera based on the comparison result of the estimated position and the second position.
일 실시예에서, 제1 타겟 광원을 분류하는 단계 또는 제2 타겟 광원을 분류하는 단계는, 제1 또는 제2 프레임의 미리 정해진 영역에 존재하는 광원을 타겟 광원으로 분류하는 것을 특징으로 한다.In one embodiment, the step of classifying the first target light source or classifying the second target light source is characterized by classifying the light source present in the predetermined area of the first or second frame as the target light source.
일 실시예에서, 제1 타겟 광원을 분류하는 단계 또는 제2 타겟 광원을 분류하는 단계는, 서포트 벡터 머신(Support Vector Machine)을 이용한 학습 방법으로 도로를 따라 나열되는 복수의 가로등 또는 시선 유도 반사체를 타겟 광원으로 분류하는 것을 특징으로 한다.In one embodiment, the step of classifying the first target light source or the step of classifying the second target light source comprises a plurality of street lamps or line-of-sight guiding reflectors arranged along the road in a learning method using a support vector machine And is classified into a target light source.
일 실시예에서, 제1 위치를 산출하는 단계 또는 제2 위치를 산출하는 단계는, 제1 또는 제2 프레임의 영상을 이진화한 후 특정 값을 가진 픽셀들의 무게 중심의 좌표를 제1 위치 또는 제2 위치로 추출하는 것을 특징으로 한다.In one embodiment, the step of calculating the first position or the step of calculating the second position may be performed by binarizing the image of the first or second frame and then moving the coordinates of the center of gravity of the pixels having the specified value to the first position or the second position 2 position.
일 실시예에서, 추정 위치와 제2 위치를 비교하는 단계는, 차량의 상하 방향에 대응하는 두 위치들을 비교하는 것을 특징으로 한다.In one embodiment, the step of comparing the estimated position with the second position is characterized by comparing two positions corresponding to the vertical direction of the vehicle.
일 실시예에서, 차량 카메라의 영상을 보정하는 단계는, 추정 위치에서 제2 위치를 뺀 거리와 방향을 토대로 영상을 보정하는 것을 특징으로 한다.In one embodiment, the step of correcting the image of the vehicle camera is characterized by correcting the image based on the distance and direction obtained by subtracting the second position from the estimated position.
일 실시예에서, 차량 카메라의 영상을 보정하는 단계는, RANSAC(RANdom SAmple Consensus)를 통해 최적화된 보정 방향 및 거리를 추출하여 영상을 보정하는 것을 특징으로 한다.In one embodiment, the step of correcting the image of the vehicle camera is characterized by extracting an optimized correction direction and distance through a RANSAC (Random Access Consensus) to correct the image.
일 실시예에서, 제2 프레임은 차량 카메라로부터의 영상에 포함된 복수의 프레임 중 제1 프레임의 바로 다음에 위치하는 프레임인 것을 특징으로 한다.In one embodiment, the second frame is a frame immediately following the first frame of the plurality of frames included in the image from the vehicle camera.
본 발명에 의한 차량 카메라의 영상 보정 방법 및 이를 이용하는 영상 처리 장치는, 차량에 탑재된 주행 보조 시스템이 차량 전방에 탑재되는 단안 카메라를 통해 획득한 야간 영상에 기초하여 선행 차량 등과의 거리를 추정할 때, 차량 진동에 의하여 차선 인식이나 거리 정확도의 신뢰성이 저하되는 것을 방지할 수 있는 효과를 제공한다.A method for correcting an image of a vehicle camera according to the present invention and an image processing apparatus using the method can estimate a distance from a preceding vehicle or the like based on a night image acquired through a monocular camera mounted on the front of the vehicle , It is possible to prevent the reliability of the lane recognition and the distance accuracy from being deteriorated by the vehicle vibration.
또한, 본 발명의 실시예에 의한 차량 카메라의 영상 보정 방법 및 이를 이용하는 영상 처리 장치는, 차량 탑재 카메라를 통해 획득한 야간 영상을 차량 속도와 회전반경을 토대로 보정함으로써 야간 차량의 차량 주행보조 시스템 등에서 차선 인식이나 선행 차량과의 거리 추정에 대한 신뢰성을 향상시키는 효과를 제공한다.The image correction method of the vehicle camera and the image processing apparatus using the same according to the embodiment of the present invention corrects the night image acquired through the in-vehicle camera on the basis of the vehicle speed and the turning radius, Thereby providing an effect of improving the reliability of the lane recognition and the distance estimation to the preceding vehicle.
도 1은 본 발명에 따른 영상 처리 장치의 개략적인 블록도.
도 2는 본 발명에 따른 차량 카메라의 영상 보정 방법에 대한 순서도.
도 3 내지 도 8은 도 2의 차량 카메라의 영상 보정 방법을 설명하기 위한 예시도.1 is a schematic block diagram of an image processing apparatus according to the present invention;
2 is a flowchart illustrating a method of correcting an image of a vehicle camera according to the present invention.
FIGS. 3 to 8 are illustrations for explaining an image correction method of the vehicle camera of FIG. 2;
본 명세서 및 특허청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.The terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary meanings and the inventor should appropriately define the concept of the term in order to describe its invention in the best way The present invention should be construed in accordance with the meaning and concept consistent with the technical idea of the present invention. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention, and not all of the technical ideas of the present invention are described. Therefore, It is to be understood that equivalents and modifications are possible.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.
도 1은 본 발명에 따른 영상 처리 장치의 개략적인 블록도이다.1 is a schematic block diagram of an image processing apparatus according to the present invention.
도 1을 참조하면, 본 실시예에 따른 영상 처리 장치(10)는, 차량 카메라의 야간 영상을 안정화하기 위하여 광원 추출부(11), 타겟 광원 분류부(12), 타겟 위치 추정부(13), 추정 위치 산출부(14) 및 보정부(15)를 구비한다.1, the
차량 카메라는 차량 전방에 설치되는 전방 카메라를 포함한다. 물론, 차량 전방을 포함하여 차량 사방의 영상을 촬영하는 카메라를 포함할 수 있다. 아울러, 차량 카메라는 차량 전방 이외에 차량 전방을 촬영할 수 있도록 차량에 탑재되는 카메라를 포함할 수 있다.The vehicle camera includes a front camera installed in front of the vehicle. Of course, it may include a camera that captures images of vehicles everywhere including the front of the vehicle. In addition, the vehicle camera may include a camera mounted on the vehicle so as to photograph the front of the vehicle other than the front of the vehicle.
야간 영상은 차량 카메라에서 촬영되는 영상으로서, 야간에 촬영되는 영상을 지칭하며, 통상 해가 진 상태에서 주행 중인 차량 주위(특히, 차량 전방)를 촬영한 영상을 포함한다. 통상, 야간 영상은 동영상으로 촬영될 수 있고, 각 야간 영상은 1초에 약 수 프레임에서 약 수십 프레임의 정지 영상을 구비할 수 있다.The night image is an image taken by a vehicle camera, which refers to an image taken at night, and includes an image of the vicinity of a vehicle (particularly, the front of the vehicle) photographed while the image is normally taken. In general, a night image can be photographed as a moving image, and each night image can have a still image of about several frames to about several tens of frames per second.
광원 추출부(11)는, 차량 카메라로부터 획득한 영상(야간 영상 등)의 제1 프레임에서 광원을 추출하고, 제1 프레임과 제1 시간 간격을 두고 획득한 제2 프레임에서 광원을 추출한다. 광원 추출부(11)는 일반적인 영상 처리(이진화 등)을 통해 각 프레임의 픽셀값(1 또는 0)에 따라 광원을 추출할 수 있다.The light
타겟 광원 분류부(12)는, 제1 프레임의 광원 중 움직이지 않는 광원에 속하는 제1 타겟 광원을 분류한다. 또한, 타겟 광원 분류부(12)는 제2 프레임의 광원 중 움직이지 않는 광원에 속하는 제2 타겟 광원을 분류한다. 여기서, 움직이지 않는 광원은 차량이 주행 중인 도로 주변에 설치된 것으로, 가로등, 시선 유도 반사체 등을 포함할 수 있다.The target light
가로등, 시선 유도 반사체 등은 도로 주변에서 빛을 내거나 반사하도록 설치되는 것으로서, 차량 카메라의 야간 영상에서 영상 프레임의 특정 영역에 위치하고, 주변의 다른 물체에 비해 휘도가 큰 것으로 촬영된다. 따라서, 타겟 광원 분류부(12)는 제1 및 제2 프레임의 이진화 과정에서 미리 설정된 영역(프레임의 좌측 상부, 우측 상부 등)에 위치하며 특정 픽셀값(1 등)을 가지는 광원을 타겟 광원으로 분류할 수 있다.Streetlights, sight line guiding reflectors, and the like, which are installed to reflect or reflect light in the vicinity of a road, are located in a specific area of an image frame in a night image of a vehicle camera and are photographed with a luminance larger than other objects in the vicinity. Accordingly, the target light
타겟 위치 추정부(13)는 제1 타겟 광원의 중심점인 제1 위치를 추정하고, 제2 타겟 광원의 중심점인 제2 위치를 추정한다. 타겟 위치 추정부(13)는, 제1 프레임에서 복수의 픽셀들로 이루어진 제1 타겟 광원의 무게 중심을 제1 위치로 산출하고, 제2 프레임에서 복수의 픽셀들로 이루어진 제2 타겟 광원의 무게 중심을 제2 위치로 산출한다. 이러한 구성에 의하면, 타겟 위치 추정부(13)는, 각 프레임 상에서 하나의 타겟 광원에 대하여 하나의 픽셀을 제1 위치 및 제2 위치로 각각 지정할 수 있다.The target
추정 위치 산출부(14)는, 차량의 차속 및 회전반경(Yaw Rate)을 토대로 제1 시간 동안 제1 위치가 이동하여 위치할 것으로 예상되는 추정 위치를 산출한다. 이러한 구성에 의하면, 추정 위치 산출부(14)는 제1 위치에 대한 추정 위치를 계산하여 추정함으로써 제1 시간 후의 영상 프레임(제2 프레임)에서의 제2 위치에 대한 보상 기준을 제공할 수 있다.The estimated
보정부(15)는, 추정 위치와 제2 위치의 비교 결과를 토대로 차량 카메라의 영상을 보정한다. 보정부(15)는, 차량의 상하 방향에 대응하는 제1 및 제2 프레임의 수직 방향에서 추정 위치에서 제2 위치를 뺀 크기(또는 거리)와 방향에 기초하여 차량 카메라의 영상을 보정할 수 있다.The correcting
물론, 보정부(15)는 구현에 따라서 차량의 좌우 방향에 대응하는 제1 및 제2 프레임의 수평 방향에서 추정 위치에서 제2 위치를 뺀 거리와 방향에 기초하여 차량 카메라의 영상을 보정할 수도 있다. 다만, 본 실시예의 영상 처리 장치를 이용하는 전방 충돌 경고 시스템 등의 차량 주행 보조 시스템에 미치는 영향을 고려할 때, 적어도 각 프레임에서의 수직 방향에서의 거리와 방향에 기초하여 차량 카메라의 영상을 보정하는 것이 바람직하다. 그것은 카메라의 야간 영상에서 수 픽셀의 인식 차이는 전방 충돌 경고 시스템 등에서 실제 거리로 수 미터 내지 수십 미터의 오차를 발생할 수 있기 때문이다.Of course, the
본 실시예에 따른 영상 처리 장치(10)는 광원 추출부(11), 타겟 광원 분류부(12), 타겟 위치 추정부(13), 추정 위치 산출부(14) 및 보정부(15)의 기능을 수행하는 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부로 구현될 수 있다. 예를 들어, 영상 처리 장치(10)는 플립플롭을 이용한 논리회로나 마이크로프로세서 등으로 구현될 수 있다. 이 경우, 영상 처리 장치(10)는 광원 추출부(11), 타겟 광원 분류부(12), 타겟 위치 추정부(13), 추정 위치 산출부(14) 및 보정부(15)의 기능을 정의한 소정의 프로그램을 자체 메모리나 별도의 저장장치에 저장하고, 논리회로나 마이크로프로세서에서 메모리나 저장장치에 저장된 프로그램을 실행하는 형태로 구현될 수 있다.The
도 2는 본 발명에 따른 전방 카메라의 영상 보정 방법에 대한 순서도이다.2 is a flowchart of a method of correcting an image of a front camera according to the present invention.
도 2를 참조하면, 본 실시예에 따른 전방 카메라의 영상 보정 방법은, 우선 차량 카메라로부터 영상(야간 영상 등)이 입력되면(S21), 광원 추출부는 차량 카메라로부터 획득한 영상의 제1 프레임에서 광원을 추출한다(S22).Referring to FIG. 2, in the image correction method of the forward camera according to the present embodiment, when an image (night image or the like) is input from the vehicle camera (S21), the light source extraction unit extracts, A light source is extracted (S22).
다음, 타겟 광원 분류부는 제1 프레임에서 추출된 광원에서 움직이지 않는 광원에 속하는 제1 타겟 광원(E1)을 분류한다(S23). 제1 타겟 광원을 분류하는 단계에서, 타겟 광원 분류부는 도로 주변에 설치된 가로등, 시선 반사 유도체 등의 움직이지 않는 광원이 영상의 특정 영역에 위치하는 것을 고려하여, 제1 프레임의 미리 정해진 영역에 존재하는 광원을 타겟 광원으로 분류할 수 있다.Next, the target light source classification unit classifies the first target light source E1 belonging to the light source that is not moving in the light source extracted in the first frame (S23). In the step of classifying the first target light source, the target light source classifying unit may classify the first target light source in the predetermined region of the first frame, considering the fact that the immovable light source such as the street lamp, Can be classified as a target light source.
다음, 타겟 위치 추정부는 제1 타겟 광원(E1)의 중심점인 제1 위치(P1)를 산출한다(S24). 제1 위치를 산출하는 단계에서, 타겟 위치 추정부는 제1 프레임의 영상을 이진화한 후 특정 값을 가진 픽셀들의 무게 중심의 좌표를 제1 위치로 추출할 수 있다.Next, the target position estimating unit calculates a first position P1 which is a center point of the first target light source E1 (S24). In calculating the first position, the target position estimator may binarize the image of the first frame and extract the coordinates of the center of gravity of pixels having a specific value to the first position.
다음, 추정 위치 산출부는 차량의 속도와 회전반경을 토대로 기설정된 제1 시간 경과 동안 제1 위치가 이동하여 위치할 것으로 예상되는 추정 위치(P3)를 산출한다(S25). 차속과 회전반경(Yaw Rate)을 이용하면, 제1 시점에서의 차량 위치에서 제1 시간이 경과한 제2 시점에서의 차량 위치를 신뢰성 있게 예측하는 것이 가능하다.Next, the estimated position calculating unit calculates an estimated position P3 at which the first position is expected to be moved and positioned during a predetermined first time period based on the speed and turning radius of the vehicle (S25). By using the vehicle speed and the yaw rate, it is possible to reliably predict the vehicle position at the second time point at which the first time elapses at the vehicle position at the first time point.
다음, 광원 추출부는 제1 프레임과 제1 시간 간격을 두고 획득한 제2 프레임에서 광원을 추출한다(S26). 제2 프레임은 차량 카메라로부터의 입력 영상에 포함된 복수의 프레임 중 제1 프레임의 바로 다음에 위치하는 프레임인 것이 바람직하다. 차량 카메라로부터 입력되는 영상이 1초에 수 프레임 내지 수십 프레임을 고려하면, 제1 프레임에서의 광원 추출과 제2 프레임에서의 광원 추출은 거의 동시에 또는 병렬적으로 처리될 수 있다. 이것은 본 실시예에 따른 차량 카메라의 야간 영상 보정 방법이 약 100㎞/h(초당 약 28M)의 속도로 도로를 주행하는 차량에서 실시간 유용하게 이용될 수 있음을 나타낸다.Next, the light source extracting unit extracts the light source in the second frame acquired at the first time interval with the first frame (S26). And the second frame is a frame immediately after the first frame among the plurality of frames included in the input image from the vehicle camera. If the image input from the vehicle camera takes several frames to several tens of frames per second, the light source extraction in the first frame and the light source extraction in the second frame can be processed almost simultaneously or in parallel. This indicates that the night vision correction method of the vehicle camera according to the present embodiment can be useful in real time in a vehicle traveling on a road at a speed of about 100 km / h (about 28M per second).
다음, 타겟 광원 분류부는, 제2 프레임에서 추출된 광원 중 움직이지 않는 광원에 속하는 제2 타겟 광원을 분류한다(S27). 제2 타겟 광원을 분류하는 단계에서, 타겟 광원 분류부는, 도로 주변에 설치된 가로등, 시선 반사 유도체 등의 움직이지 않는 광원이 영상의 특정 영역에 위치하는 것을 고려하여, 제2 프레임의 미리 정해진 영역에 존재하는 광원을 타겟 광원으로 분류할 수 있다.Next, the target light source classification unit classifies the second target light source belonging to the non-moving light source among the light sources extracted in the second frame (S27). In the step of classifying the second target light source, the target light source classifying section may classify the second target light source into a predetermined region of the second frame in consideration of the fact that an immovable light source such as a street lamp, An existing light source can be classified as a target light source.
또한, 타겟 광원 분류부는, 제1 타겟 광원을 분류하는 단계 또는 제2 타겟 광원을 분류하는 단계에서, 서포트 벡터 머신(Support Vector Machine)을 이용한 학습 방법으로 도로를 따라 나열되는 복수의 가로등 또는 시선 유도 반사체를 타겟 광원으로 분류할 수 있다. 서포트 벡터 머신은 입력 공간에 최대 마진의 초평면(Maximum-margin Hyperplane)을 만들고, 예(Yes) 또는 아니오(No) 값이 주어진 학습 샘플(Training Sample)을 주어 가장 가까이에 위치하는 표본에서 초평면까지의 거리가 최대가 되도록 학습 샘플을 예와 아니오로 나눔으로써 주어진 데이터를 통계적으로 이원 분류하기 위한 것이다. 서포트 벡터 머신을 이용하면, 야간 영상의 광원 중 움직이지 않는 광원에 속한 타겟 광원을 효과적으로 분류할 수 있다.In addition, the target light source classifying unit may classify a plurality of street lights or line-of-sight guidance lines arranged along the road in a learning method using a support vector machine in the step of classifying the first target light source or classifying the second target light source The reflector can be classified as a target light source. The support vector machine creates a maximum-margin hyperplane in the input space and gives a given training sample (Yes or No) to the nearest sample to hyperplane This is for statistically bifurcating the given data by dividing the learning samples by Yes and No so that the distance is maximum. By using the support vector machine, it is possible to effectively classify the target light source belonging to the non-moving light source among the light sources of the night image.
다음, 타겟 위치 추정부는 제2 타겟 광원의 중심점인 제2 위치(P2)를 산출한다(S28). 제2 위치를 산출하는 단계에 있어서, 타겟 위치 추정부는 제2 프레임의 영상을 이진화한 후 특정 값(예컨대, 1과 0 중에서 1)을 가진 픽셀들의 무게 중심의 좌표를 제2 위치로 추출할 수 있다.Next, the target position estimating unit calculates the second position P2 which is the center point of the second target light source (S28). In the step of calculating the second position, the target position estimating unit may binarize the image of the second frame and extract the coordinates of the center of gravity of pixels having a specific value (e.g., 1 out of 1 and 0) to the second position have.
다음, 보정부는 추정 위치(P3)와 제2 위치(P2)를 비교한다(S29). 추정 위치와 제2 위치를 비교하는 단계에서, 보정부는 차량의 상하 방향에 대응하는 두 위치들을 비교할 수 있다. 차량의 상하 방향에서의 거리 즉 야간 영상의 제1 및 제2 프레임의 수직 방향의 거리는 차량 주행 보조 시스템에서 선행 차량과의 거리를 계산할 때 이용된다.Next, the correcting unit compares the estimated position P3 with the second position P2 (S29). In the step of comparing the estimated position with the second position, the correcting unit may compare two positions corresponding to the vertical direction of the vehicle. The distance in the vertical direction of the vehicle, i.e., the distance in the vertical direction of the first and second frames of the night image, is used in calculating the distance from the preceding vehicle in the vehicle driving assistance system.
그리고, 보정부는 추정 위치(P3)와 제2 위치(P2)의 비교 결과를 토대로 차량 카메라의 영상을 보정한다(S30). 차량 카메라의 영상을 보정하는 단계에 있어서, 보정부는 추정 위치에서 제2 위치를 뺀 거리와 방향을 토대로 야간 영상(제2 프레임 등)을 보정한다.Then, the correction unit corrects the image of the vehicle camera based on the comparison result of the estimated position P3 and the second position P2 (S30). In the step of correcting the image of the vehicle camera, the correcting unit corrects the night image (second frame or the like) based on the distance and direction obtained by subtracting the second position from the estimated position.
또한, 보정부는, 차량 카메라의 야간 영상을 보정하는 단계에서, RANSAC(RANdom SAmple Consensus)를 통해 최적화된 보정 방향 및 거리를 추출하여 야간 영상을 보정할 수 있다. RANSAC 알고리즘은 주어진 원본 데이터에서 그 일부를 임의로 선택하는 과정을 반복적으로 수행하여 최적의 파라미터를 예측하기 위한 것으로, 본 실시예에 따른 영상 처리 장치에 탑재되는 영상 보정 방법용 프로그램 또는 프로시저(Procedure)의 형태로 구현될 수 있다.Further, in the step of correcting the night image of the vehicle camera, the correction unit may correct the night image by extracting the optimized correction direction and distance through RANSAC (Random Absolute Consensus). The RANSAC algorithm is for predicting an optimum parameter by repeatedly performing a process of arbitrarily selecting a part of a given original data. The RANSAC algorithm is a program or a procedure for an image correction method installed in the image processing apparatus according to the present embodiment, As shown in FIG.
또한, 보정부는, 구현에 따라서, 차량 카메라의 야간 영상을 보정하기 위하여 추정 위치와 제2 위치의 비교 결과를 토대로 차량 카메라의 틸팅 장치의 현재 위치를 보정하기 위한 보정 신호를 출력할 수 있다. 보정 신호는 차량 카메라의 틸팅 장치에 직접 전송되거나 틸팅 장치를 제어하는 별도의 전자제어장치로 전송될 수 있다. 이러한 차량 카메라의 틸팅 장치나 그 전자제어장치는 이미 잘 알려져 있으므로 그에 대한 상세 설명은 생략한다.The correction unit may output a correction signal for correcting the current position of the tilting apparatus of the vehicle camera based on the comparison result of the estimated position and the second position to correct the night image of the vehicle camera, depending on the implementation. The correction signal may be transmitted directly to the tilting device of the vehicle camera or may be transmitted to a separate electronic control device that controls the tilting device. Such a tilting device for a car camera and its electronic control device are already well known, and a detailed description thereof will be omitted.
본 실시예에 의하면, 단안 카메라에서 광원을 위치를 추적하기 때문에 야간 영상에서 거리 측정이 부정확해지는 것을 방지할 수 있고, 차량의 움직임 정보를 이용함으로써 야간 영상을 효과적으로 안정화할 수 있다.According to this embodiment, since the position of the light source is tracked by the monocular camera, it is possible to prevent the distance measurement from being inaccurate in the night image, and the night image can be effectively stabilized by using the motion information of the vehicle.
도 3 내지 도 7은 도 2의 차량 카메라의 영상 보정 방법을 설명하기 위한 예시도이다.FIGS. 3 to 7 are diagrams for explaining an image correction method of the vehicle camera of FIG. 2. FIG.
도 3에 도시한 바와 같이, 야간 영상 안정화를 위한 영상 보정은 야간 영상(30)에서 추출한 광원(31)의 위치 변화를 가지고 적용 가능하다. 즉, 광원(31)의 위치 변화를 이용하여 차량 흔들림이나 차량 카메라의 흔들임에 따른 야간 영상에서의 오차를 보상할 수 있다.As shown in FIG. 3, the image correction for stabilizing the night image can be applied with a change in the position of the light source 31 extracted from the night image 30. That is, it is possible to compensate for the error in the night image due to the vehicle shake or the camera shake using the change in the position of the light source 31.
한편, 차량 카메라가 탑재된 자차량이 움직이는 경우, 광원(31)의 위치 변화만을 이용하여 야간 영상을 보정하는 데에는 문제가 있다. 이러한 문제점을 해결하기 위하여 차량의 움직임을 차속 센서와 요레이트 센서(Yaw Rate Sensor)로부터의 검출 신호를 토대로 얻을 수 있는 차량 속도와 회전 반경을 이용하여 계산함으로써 야간 영상에서의 광원의 움직임을 추적할 수 있다. 즉, 차속과 회전반경(Yaw Rate)을 알면 차량의 다음 위치를 알 수 있기 때문에 움직이지 않는 광원에 대해서 보상이 가능하다. 차속과 회전반경을 이용하여 차량의 다음 위치를 예측하는 기술은 이미 잘 알려져 있으므로 그에 대한 상세 설명은 생략한다.On the other hand, there is a problem in correcting the night image using only the change of the position of the light source 31 when the vehicle equipped with the vehicle camera moves. In order to solve this problem, the movement of the light source in the night image is tracked by calculating the vehicle movement using the vehicle speed and the turning radius obtained based on the detection signals from the vehicle speed sensor and the yaw rate sensor . In other words, knowing the vehicle speed and the yaw rate can compensate for a non-moving light source because the next position of the vehicle can be known. The technique of predicting the next position of the vehicle using the vehicle speed and the turning radius is already well known, so a detailed description thereof will be omitted.
전술한 광원의 위치 변화와 차량의 움직임을 이용하여 야간 영상을 보정하는 방법을 좀더 구체적으로 설명하면 다음과 같다.The method of correcting the night image using the above-described positional change of the light source and the movement of the vehicle will be described in more detail as follows.
우선, 도 4에 도시한 바와 같이, 차량 카메라로부터의 야간 영상에서 움직이는 광원과 움직이지 않는 광원으로 분리한다. 도 4에서는, 차량 카메라로부터 입력된 영상의 제1 프레임(40)에서 4개의 움직이지 않은 광원을 제1 타겟 광원(41)으로 분류하였다.First, as shown in Fig. 4, the night image from the vehicle camera is separated into a moving light source and a moving light source. In Fig. 4, the four non-moving light sources in the
움직이지 않는 광원은 가로등이며 상대 차량의 광원 등은 움직이는 광원으로 분류할 수 있다. 또한, 반사체(중앙분리대나 가이드레일을 따라 거의 일정 간격으로 배치되는 시선 유도 반사체 등)의 경우도 움직이지 않기 때문에 움직이지 않는 광원으로 분류할 수 있다.The non-moving light source is a street light, and the light source of the opponent vehicle can be classified as a moving light source. In addition, the reflector (such as a line-guiding reflector disposed at a substantially constant interval along the center separator or the guide rail) can be classified as an immovable light source because it does not move.
광원 인식 방법에서 가로등의 위치는 상대적으로 높은 곳에 있으며 좌측과 우측에 있다. 그러므로, 해당 영역의 광원을 가로등으로 분류할 수 있으며, 반사체의 경우도 가로등의 경우와 유사하게 소정의 인식 방법을 통해서 분류할 수 있다. 일례로, 서포트 벡터 머신(Support Vector Machine, SVM)을 이용한 학습(Training) 방법으로 광원을 분류할 수 있다.In the light source recognition method, the position of the streetlight is relatively high and is located on the left and right sides. Therefore, the light source of the corresponding area can be classified as a street light, and the reflector can be classified by a predetermined recognition method similarly to the case of the street light. For example, a light source can be classified by a training method using a support vector machine (SVM).
다음, 제1 타겟 광원(41)을 찾은 후 제1 타겟 광원의 중심점을 찾는다. 제1 타겟 광원(41)의 중심점인 제1 위치(42)는 제1 프레임에서 하나의 픽셀로 지정될 수 있다. 도 5에서는 도시의 편의상 제1 타겟 광원의 중심점인 제1 위치(42)를 소정의 크기로 표시하고 있다.Next, the first
본 실시예에 있어서, 타겟 광원의 크기는 위치에 따라서 달라지기 때문에 크기로 비교하기보다는 타겟 광원의 중심점의 위치를 이용한다. 타겟 광원의 중심점을 산출하는 것은 영상 이진화를 통하여 각 타겟 광원의 무게 중심 또는 영역 중심을 찾는 것에 대응할 수 있다.In this embodiment, since the size of the target light source varies depending on the position, the position of the center point of the target light source is used rather than being compared with the size. The calculation of the center point of the target light source can correspond to finding the center of gravity or the center of each target light source through image binarization.
다음, 영상 처리 장치는, 도 6에 도시한 바와 같이, 현재 프레임(제1 프레임)의 제1 타겟 광원의 제1 위치가 일정 시간 후에 다음 프레임(제2 프레임)에서 위치하게 될 추정 위치(43)를 계산한다. 추정 위치(43)는 차량의 속도와 회전 반경을 이용하여 계산될 수 있다. 한편, 도 6에서는 명확하게 도시되어 있지는 않지만, 차속과 회전 반경을 이용하여 4개의 추정 위치(43)를 계산할 때, 영상 처리 장치는 프레임 개수를 단위 시간(1초)으로 나눈 시간 동안에 차량 카메라의 정중앙의 시점 또는 그에 상응하는 제1 프레임(40)의 대략적인 정중앙을 기준으로, 차량의 회전반경에 따라 제1 프레임(40)의 왼쪽에 위치하는 제1 위치(42)로부터 이동한 추정 위치(43)와 오른쪽에 위치하는 제1 위치로부터 이동하는 추정 위치의 이동 거리를 다르게 계산할 수 있다.6, the first position of the first target light source of the current frame (first frame) is moved to the estimated position 43 (second frame) to be positioned in the next frame (second frame) after a predetermined time ). The estimated
다음, 영상 처리 장치는, 도 7에 도시한 바와 같이, 다음 프레임(제2 프레임)에서 광원을 추출하고, 광원 중 움직이지 않은 광원에 속하는 제2 타겟 광원(51)을 분류한 후, 각각의 제2 타겟 광원(51)의 중심점(무게 중심 등)인 제2 위치(53)를 산출한다.Next, as shown in Fig. 7, the image processing apparatus extracts the light source in the next frame (second frame), classifies the second
다음, 영상 처리 장치는, 도 8에 도시한 바와 같이, 제2 프레임에 추정 위치(43)이 오버랩된 영상 또는 프레임(60)에서, 추정 위치(43)와 제2 위치(53)를 비교하고, 비교 결과를 토대로 야간 영상 안정화(Stabilization)를 수행한다. 영상 처리 장치는 프레임(60)에서의 추정 위치(43)와 제2 위치(53)의 수직 위치를 비교하여 차량의 상하 진동을 계산할 수 있다.8, the image processing apparatus compares the estimated
또한, 영상 처리 장치는, 도 8의 참조부호 H1 및 H2와 같이, 복수의 추정 위치(43)와 이에 대응하는 제2 위치(53)의 비교 결과가 여러 점마다 다른 움직임을 가질 수 있기 때문에, 본 발명에서는 RANSAC(RANdom SAmple Consensus) 알고리즘을 통해 최적화된 움직임(보정 거리 및 방향)을 추출하여 야간 영상 보정에 이용할 수 있다.In addition, since the comparison result between the plurality of estimated
본 실시예에 의하면, 차량 카메라의 야간 영상의 안정화를 효과적으로 수행할 수 있는 영상 보정 방법 및 영상 처리 장치를 제공할 수 있다. 게다가, 전술한 영상 보정 방법이나 영상 처리 장치를 이용하는 차량 주행 보조 시스템에서 선행 차량과의 거리 측정이나 전방 충돌 방지 등의 안정성과 신뢰성을 향상시키는 효과를 제공한다.According to the present embodiment, it is possible to provide an image correction method and an image processing apparatus capable of effectively stabilizing a night image of a vehicle camera. In addition, the above-described image correction method and the vehicle driving assistance system using the image processing apparatus provide the effect of improving stability and reliability such as distance measurement with respect to the preceding vehicle and prevention of frontal collision.
이상에서 살펴본 바와 같이, 본 발명의 바람직한 실시예를 들어 도시하고 설명하였으나, 본 발명은 상기한 실시예에 한정되지 아니하며 본 발명의 사상을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경, 치환, 수정이 가능할 것이며, 이러한 변경, 치환, 수정 등은 본 발명의 특허청구범위에 속하는 것으로 보아야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be construed as limited to the embodiments set forth herein. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.
Claims (12)
상기 제1 프레임의 광원 중 움직이지 않는 광원에 속하는 제1 타겟 광원을 분류하고, 상기 제2 프레임의 광원 중 움직이지 않는 광원에 속하는 제2 타겟 광원을 분류하는 타겟 광원 분류부;
상기 제1 타겟 광원의 중심점인 제1 위치를 추정하고, 상기 제2 타겟 광원의 중심점인 제2 위치를 추정하는 타겟 위치 추정부;
상기 차량의 차속 및 회전반경을 토대로 상기 제1 시간 동안 상기 제1 위치가 이동하여 위치할 것으로 예상되는 추정 위치를 산출하는 추정 위치 산출부; 및
상기 추정 위치와 상기 제2 위치의 비교 결과를 토대로 상기 차량의 상하 진동을 계산하여 상기 차량 카메라의 영상을 보정하는 보정부;를 포함하고,
상기 보정부는, 상기 추정 위치와 상기 제2 위치의 비교 결과를 토대로 상기 차량 카메라의 틸팅 장치의 현재 위치를 보정하기 위한 보정 신호를 출력하는 영상 처리 장치.A light source extracting unit that extracts a light source in a first frame of an image acquired from a vehicle camera and extracts a light source in a second frame acquired at a first time interval with the first frame;
A target light source classifying unit for classifying a first target light source belonging to a non-moving light source among the light sources of the first frame and classifying a second target light source belonging to a non-moving light source among the light sources of the second frame;
A target position estimator for estimating a first position as a center point of the first target light source and a second position as a center point of the second target light source;
An estimated position calculating unit for calculating an estimated position at which the first position is expected to be moved and positioned for the first time based on the vehicle speed and the turning radius of the vehicle; And
And a correction unit for calculating an up-and-down vibration of the vehicle based on a result of comparison between the estimated position and the second position to correct an image of the vehicle camera,
Wherein the correction unit outputs a correction signal for correcting the current position of the tilting apparatus of the vehicle camera based on a result of comparison between the estimated position and the second position.
상기 보정부는 상기 차량의 상하 방향에 대응하는 상기 제1 및 제2 프레임의 수직 방향에서 상기 추정 위치와 상기 제2 위치를 비교하고, 상기 추정 위치에서 상기 제2 위치를 뺀 크기와 방향에 기초하여 상기 차량 카메라의 영상을 보정하는 것을 특징으로 하는 영상 처리 장치.The method according to claim 1,
Wherein the correcting unit compares the estimated position with the second position in the vertical direction of the first and second frames corresponding to the up and down directions of the vehicle, and based on a magnitude and a direction obtained by subtracting the second position from the estimated position, And corrects the image of the vehicle camera.
상기 타겟 위치 추정부는 상기 제1 또는 제2 타겟 광원의 무게 중심을 상기 제1 위치 또는 상기 제2 위치로 추정하는 것을 특징으로 하는 영상 처리 장치.The method according to claim 1,
Wherein the target position estimating unit estimates the center of gravity of the first or second target light source to the first position or the second position.
상기 움직이지 않는 광원은 가로등 및 시선 유도 반사체 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 영상 처리 장치.The method according to claim 1,
Wherein the non-moving light source includes at least one of a street lamp and a line-guided reflector.
상기 광원 중 움직이지 않는 광원에 속하는 제1 타겟 광원을 분류하는 단계;
상기 제1 타겟 광원의 중심점인 제1 위치를 산출하는 단계;
상기 차량의 속도와 회전반경을 토대로 기설정된 제1 시간 경과 동안 상기 제1 위치가 이동하여 위치할 것으로 예상되는 추정 위치를 산출하는 단계;
상기 제1 프레임과 상기 제1 시간 간격을 두고 획득한 제2 프레임에서 광원을 추출하는 단계;
상기 광원 중 움직이지 않는 광원에 속하는 제2 타겟 광원을 분류하는 단계;
상기 제2 타겟 광원의 중심점인 제2 위치를 산출하는 단계;
상기 추정 위치와 상기 제2 위치를 비교하는 단계;
상기 추정 위치와 제2 위치의 비교 결과를 토대로 상기 차량의 상하 진동을 계산하여 상기 차량 카메라의 영상을 보정하는 단계; 및
상기 추정 위치와 상기 제2 위치의 비교 결과를 토대로 상기 차량 카메라의 틸팅 장치의 현재 위치를 보정하기 위한 보정 신호를 출력하는 단계;를 포함하는 차량 카메라의 영상 보정 방법.Extracting a light source in a first frame of an image acquired from a vehicle camera;
Classifying a first target light source belonging to a non-moving one of the light sources;
Calculating a first position that is a center point of the first target light source;
Calculating an estimated position at which the first position is expected to be moved and positioned for a predetermined first time period based on the speed and turning radius of the vehicle;
Extracting a light source from the first frame and a second frame acquired at the first time interval;
Classifying a second target light source belonging to a non-moving one of the light sources;
Calculating a second position that is a center point of the second target light source;
Comparing the estimated position with the second position;
Calculating an up-and-down vibration of the vehicle based on a comparison result between the estimated position and the second position to correct an image of the vehicle camera; And
And outputting a correction signal for correcting a current position of the tilting apparatus of the vehicle camera based on a result of comparison between the estimated position and the second position.
상기 제1 타겟 광원을 분류하는 단계 또는 상기 제2 타겟 광원을 분류하는 단계는, 상기 제1 또는 제2 프레임의 미리 정해진 영역에 존재하는 광원을 타겟 광원으로 분류하는 것을 특징으로 하는 차량 카메라의 영상 보정 방법.6. The method of claim 5,
Wherein classifying the first target light source or classifying the second target light source classifies a light source present in a predetermined area of the first or second frame as a target light source Correction method.
상기 제1 타겟 광원을 분류하는 단계 또는 상기 제2 타겟 광원을 분류하는 단계는, 서포트 벡터 머신(Support Vector Machine)을 이용한 학습 방법으로 도로를 따라 나열되는 복수의 가로등 또는 시선 유도 반사체를 타겟 광원으로 분류하는 것을 특징으로 하는 차량 카메라의 영상 보정 방법.The method according to claim 6,
The step of classifying the first target light source or the step of classifying the second target light source may include a plurality of streetlights or line-guided reflectors arranged along the road in a learning method using a support vector machine as a target light source Wherein the image data is classified into two types.
상기 제1 위치를 산출하는 단계 또는 상기 제2 위치를 산출하는 단계는, 상기 제1 또는 제2 프레임의 영상을 이진화한 후 특정 값을 가진 픽셀들의 무게 중심의 좌표를 상기 제1 위치 또는 상기 제2 위치로 추출하는 것을 특징으로 하는 차량 카메라의 영상 보정 방법.6. The method of claim 5,
Wherein the step of calculating the first position or the step of calculating the second position comprises the steps of binarizing the image of the first or second frame and setting the coordinates of the center of gravity of pixels having a specific value to the first position or the second position, 2 < / RTI > position.
상기 추정 위치와 상기 제2 위치를 비교하는 단계는, 상기 차량의 상하 방향에 대응하는 두 위치들을 비교하는 것을 특징으로 하는 차량 카메라의 영상 보정 방법.6. The method of claim 5,
Wherein the step of comparing the estimated position with the second position compares two positions corresponding to a vertical direction of the vehicle.
상기 차량 카메라의 영상을 보정하는 단계는, 상기 추정 위치에서 상기 제2 위치를 뺀 거리와 방향을 토대로 상기 영상을 보정하는 것을 특징으로 하는 차량 카메라의 영상 보정 방법.10. The method of claim 9,
Wherein the step of correcting the image of the vehicle camera corrects the image based on a distance and a direction obtained by subtracting the second position from the estimated position.
상기 차량 카메라의 상기 영상을 보정하는 단계는, RANSAC(RANdom SAmple Consensus)를 통해 상기 추정 위치에서 상기 제2 위치를 뺀 거리와, 상기 추정위치에서 제2 위치로의 방향을 추출하여 상기 영상을 보정하는 것을 특징으로 하는 차량 카메라의 영상 보정 방법.11. The method of claim 10,
The step of correcting the image of the vehicle camera may include extracting a distance from the estimated position by subtracting the second position from the estimated position and a direction from the estimated position to the second position through RANSAC (Random Access Consensus) And correcting the image of the vehicle.
상기 제2 프레임은 상기 영상에 포함된 복수의 프레임 중 상기 제1 프레임의 바로 다음에 위치하는 프레임인 것을 특징으로 하는 차량 카메라의 영상 보정 방법.6. The method of claim 5,
Wherein the second frame is a frame immediately following the first frame among a plurality of frames included in the image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130018881A KR101739163B1 (en) | 2013-02-21 | 2013-02-21 | Image stabilization method for vehicle camera and image processing apparatus usnig the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130018881A KR101739163B1 (en) | 2013-02-21 | 2013-02-21 | Image stabilization method for vehicle camera and image processing apparatus usnig the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140104857A KR20140104857A (en) | 2014-08-29 |
| KR101739163B1 true KR101739163B1 (en) | 2017-06-08 |
Family
ID=51748534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130018881A KR101739163B1 (en) | 2013-02-21 | 2013-02-21 | Image stabilization method for vehicle camera and image processing apparatus usnig the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101739163B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102512729B1 (en) * | 2015-12-24 | 2023-03-22 | 엘지전자 주식회사 | Night vision image display apparatus and method of processing the night vision image |
| WO2019176418A1 (en) * | 2018-03-15 | 2019-09-19 | 株式会社小糸製作所 | Vehicular lamp, vehicle detection method, and vehicle detection device |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007235951A (en) * | 2006-02-28 | 2007-09-13 | Alpine Electronics Inc | Vehicle image recognition apparatus and its method |
-
2013
- 2013-02-21 KR KR1020130018881A patent/KR101739163B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007235951A (en) * | 2006-02-28 | 2007-09-13 | Alpine Electronics Inc | Vehicle image recognition apparatus and its method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20140104857A (en) | 2014-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101716928B1 (en) | Image processing method for vehicle camera and image processing apparatus usnig the same | |
| US10685449B2 (en) | Surrounding environment recognition device for moving body | |
| US10509973B2 (en) | Onboard environment recognition device | |
| EP2924653B1 (en) | Image processing apparatus and image processing method | |
| US8848980B2 (en) | Front vehicle detecting method and front vehicle detecting apparatus | |
| US10489664B2 (en) | Image processing device, device control system, and computer-readable storage medium | |
| EP2549457B1 (en) | Vehicle-mounting vehicle-surroundings recognition apparatus and vehicle-mounting vehicle-surroundings recognition system | |
| US8270676B2 (en) | Method for automatic full beam light control | |
| US8670590B2 (en) | Image processing device | |
| US10565438B2 (en) | Vehicle periphery monitor device | |
| US8625850B2 (en) | Environment recognition device and environment recognition method | |
| US20170024622A1 (en) | Surrounding environment recognition device | |
| JP5065172B2 (en) | Vehicle lighting determination device and program | |
| US20170024623A1 (en) | Surrounding environment recognition device | |
| KR101739163B1 (en) | Image stabilization method for vehicle camera and image processing apparatus usnig the same | |
| KR20140103441A (en) | Vehicle lane recognition method and system using vision guidance device | |
| JP7356319B2 (en) | Vehicle exterior environment recognition device | |
| JP2009037284A (en) | Traveling object recognition device | |
| US20230098440A1 (en) | Imaging device, imaging system, and imaging method | |
| JP2013028239A (en) | Light detection device, light detection program and light control device | |
| KR101180676B1 (en) | A method for controlling high beam automatically based on image recognition of a vehicle | |
| US20230245323A1 (en) | Object tracking device, object tracking method, and storage medium | |
| KR20140030749A (en) | Apparatus for detecting inter-vehicle distance using lamp image and method for detecting inter-vehicle distance using the same | |
| KR101959193B1 (en) | Apparatus for detecting inter-vehicle distance using lamp image and Method for detecting inter-vehicle distance using the same | |
| Nithin et al. | Embedded System Based Intelligent Anti-Troxler Headlamp |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |