KR20180081966A - Image correction method by vehicle recognition - Google Patents
Image correction method by vehicle recognition Download PDFInfo
- Publication number
- KR20180081966A KR20180081966A KR1020170002936A KR20170002936A KR20180081966A KR 20180081966 A KR20180081966 A KR 20180081966A KR 1020170002936 A KR1020170002936 A KR 1020170002936A KR 20170002936 A KR20170002936 A KR 20170002936A KR 20180081966 A KR20180081966 A KR 20180081966A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- image
- camera
- width
- distance
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000003702 image correction Methods 0.000 title description 4
- 238000009434 installation Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H04N5/225—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/42—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Abstract
Description
본 발명은 차량 인식을 통한 영상 교정 방법에 관한 것으로, 구체적으로는 차량의 전방 카메라를 통해 촬영되는 영상의 교정에 필요한 연산을 줄일 수 있는 차량 인식을 통한 영상 교정 방법에 관한 것이다.
The present invention relates to a method for correcting an image through vehicle recognition, and more particularly, to a method for correcting an image through vehicle recognition that can reduce an operation required for correcting an image captured through a front camera of a vehicle.
최근 자동차 운행의 안전을 보장하기 위하여 차선을 감지하여 운행중 자동차가 차선을 이탈하는 경우 운전자에게 경고하는 차선 이탈 경고 시스템이 적용되고 있고, 주차시 주변 상황을 운전자에게 시각적으로 보여주어 안전한 주차가 가능하도록 하는 주차 보조 시스템 등이 적용되고 있다.Recently, a lane departure warning system has been applied to detect the lane to warn the driver when the vehicle leaves the lane in order to secure the safety of the vehicle, and it is possible to display the surrounding situation visually to the driver to enable safe parking And a parking assist system for parking.
이러한 자동차 운행 안전을 돕는 시스템들은 주변의 영상을 촬영하는 영상 인식 장치가 기본적으로 탑재되어 있어야 구현이 가능하며, 주변의 영상을 촬영하고 이를 교정하는 다양한 방법들이 제안되고 있다.In order to improve the safety of the vehicle, it is necessary to install a video recognition device for capturing video images of surrounding areas. Various methods for capturing and correcting surrounding video images have been proposed.
자동차에 탑재된 카메라를 통해 촬영된 영상을 보정할 필요성은 자동차의 주행 중에는 진동이나 도로의 높낮이 변화, 도로의 곡선 구간 등에 의해 촬영된 영상을 통해 도로의 상황 등을 정확하게 판단하기 위한 것이다.The necessity of correcting the images photographed through the camera mounted on the vehicle is for accurately determining the road conditions through the images taken by the vibration, the change in the height of the road, and the curve section of the road while the vehicle is running.
예를 들어 평지의 직선 도로의 차선과 언덕길 직선 도로의 차선은 그 소실점에 차이가 있으며, 자동차에 탑재된 카메라를 통해 촬영된 영상에서도 소실점 차이가 발생한다. 이때 촬영된 영상이 평지인지 언덕길인지 판단하지 못한다면 정확한 정보를 운전자에게 제공할 수 없기 때문에 영상의 교정이 요구된다.
For example, the lane of a straight road and the lane of a straight road on a hill are different in the vanishing point, and a vanishing point difference occurs in an image taken by a camera mounted on a car. At this time, if the photographed image can not be judged whether it is a flat or a hill, it is impossible to provide accurate information to the driver, so correction of the image is required.
종래에는 자동차의 다양한 주행 상황에 따라 촬영된 영상들을 테스트하고, 그 결과를 저장하여, 현재 주행 상황에서 촬영된 영상을 기존 영상에서 얻어진 데이터를 이용하여 판단하는 방법을 사용하고 있다.Conventionally, there is used a method of testing images photographed according to various driving situations of a vehicle, storing the results of the tests, and judging the images photographed in the current driving situation using data obtained from the existing images.
등록특허 10-1268473호(기준 소실점 자동 보정 방법 및 그를 이용한 영상 인식 장치, 2013년 5월 22일 등록)에는 카메라의 설치 각도 편차 또는 차량의 하중 분포 변화를 이용하여 소실점을 자동 보정하는 방법이 기재되어 있다.A method of automatically correcting a vanishing point by using a camera installation angle deviation or a load distribution change of a vehicle is disclosed in Japanese Patent Application No. 10-1268473 (an automatic correction method for a reference vanishing point and an image recognition device using the same, and registered on May 22, 2013) .
좀 더 구체적으로 차량의 양측 차선을 인식하고, 인식된 차선의 사이 폭이 소정 구간 이내인지 판단하고, 이러한 판단 결과가 조건에 만족할 때, 도로가 직선 구간인지 양측 차선이 수평선과 이루는 각도의 차를 판단하여 소실점을 연산하고, 이 소실점 연산을 반복한 후 평균값을 이용하여 기준 소실점을 구하는 것을 특징으로 한다.More specifically, it is possible to recognize both lanes of the vehicle and determine whether the interval between the recognized lanes is within a predetermined interval. When the determination result satisfies the condition, a difference in angle between the straight line and the two lanes And calculating a vanishing point by repeating the calculation of the vanishing point, and then obtaining the reference vanishing point by using the average value.
그러나 이와 같은 종래의 방법은 반드시 차선이 있는 도로에서만 적용될 수 있으며, 차선이 훼손되거나 없는 경우에는 적용할 수 없는 문제점이 있었다.However, such a conventional method can only be applied to a road with a lane, which is not applicable when the lane is damaged or missing.
또한 직선 구간을 기준으로 소실점을 판단하기 때문에 곡선 구간이 반복적으로 진행되는 구간에서는 적용될 수 없는 등 도로의 조건에 따라 기준 소실점의 연산 여부가 결정되는 문제점이 있었다.In addition, since the vanishing point is determined based on the straight line section, there is a problem that the operation of the reference vanishing point is determined depending on the conditions of the road such as the curve section can not be applied in the section where the curve section is repeatedly performed.
또한 차량은 주행시 제동이나 가속에 의해 피치 모션(Pitch Motion)이 발생할 수밖에 없으며, 차량에 고정 설치된 카메라도 상하로 흔들리게 된다. 카메라의 상하 흔들림은 촬영된 영상도 상하로 흔들림을 의미하며, 영상처리시 상정하는 ROI(Region Of Interest)를 결정하는데 문제가 발생하게 된다.In addition, the vehicle is forced to cause pitch motion due to braking or acceleration at the time of driving, and the camera fixed to the vehicle also shakes up and down. Vertical shaking of the camera means that the photographed image also fluctuates up and down, and there is a problem in determining the ROI (Region Of Interest) assumed in the image processing.
이러한 문제를 해결하기 위해서는 더 넓은 영역에 대한 연산 처리가 수행되어야 하기 때문에 연산량이 증가하고, 연산량의 증가에 따라 응답성이 감소하는 등의 성능 저하가 발생하게 되는 문제점이 있었다.
In order to solve such a problem, there has been a problem that a computation process for a wider area has to be performed, resulting in an increase in the amount of computation and a decrease in responsiveness as the computation amount increases.
본 발명의 바람직한 실시예에 따른 전방 차량 인식을 통한 영상 교정 방법은 전술한 문제점을 해결하기 위하여 다음과 같은 해결과제를 발명의 목적으로 한다.In order to solve the above-described problems, an image correction method using forward vehicle recognition according to a preferred embodiment of the present invention aims to solve the following problems.
먼저, 차선이 훼손되거나 존재하지 않는 경우에도 자동차에 탑재된 카메라를 통해 촬영된 영상을 교정할 수 있는 전방 차량 인식을 통한 영상 교정 방법을 제공하는데 있다.First, the present invention provides a method of correcting an image captured through a camera mounted on an automobile even if the lane is damaged or does not exist.
또한 전방의 차량을 검출하여 차량의 종류를 판별하고, 거리를 검출하여 소실점을 연산하여, 주행중 피치 모션이 발생하는 경우에도 정확한 소실점을 연산할 수 있으며, 연산량을 줄일 수 있는 전방 차량 인식을 통한 영상 교정 방법을 제공하는데 있다.In addition, it is possible to calculate the exact vanishing point even in the case where the pitch motion during driving is calculated by calculating the vanishing point by detecting the vehicle ahead, discriminating the type of the vehicle, detecting the distance, And to provide a calibration method.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
The solution to the problem of the present invention is not limited to those mentioned above, and other solutions not mentioned can be clearly understood by those skilled in the art from the following description.
상기와 같은 과제를 해결하기 위한 본 발명 전방 차량 인식을 통한 영상 교정 방법은, a) 주변 차량의 영상 이미지를 획득하는 단계와, b) 상기 영상 이미지에서 차량의 차종을 확인하고, 차종에 부합하는 차량의 폭을 구하는 단계와, c) 상기 차량의 폭을 이용하여 카메라로부터 주변 차량까지의 거리를 산출하는 단계와, d) 상기 c) 단계에서 검출된 주변 차량까지의 거리와, 상기 카메라의 설치 위치, 초점 거리 및 상기 영상 이미지에서 주변 차량의 바닥부에 해당하는 픽셀의 좌표를 이용하여 소실점을 산출하는 단계를 포함할 수 있다.According to an aspect of the present invention, there is provided a method of correcting an image through vehicle recognition, comprising the steps of: a) obtaining a video image of a neighboring vehicle; b) verifying the vehicle type of the vehicle in the video image, Calculating a distance from the camera to the surrounding vehicle by using the width of the vehicle; d) calculating a distance from the camera to the peripheral vehicle detected in the step c) And calculating the vanishing point using the coordinates of the pixel corresponding to the bottom of the surrounding vehicle in the video image.
상기 b) 단계는, 차량의 종횡비를 판별하여 차종을 구하고, 구해진 차종의 차종별 폭 데이터로부터 차량의 폭을 구할 수 있다.In the step (b), the vehicle type is determined by determining the aspect ratio of the vehicle, and the width of the vehicle can be obtained from the width data of the obtained vehicle type.
상기 c) 단계는, 아래의 수학식1을 통해 주변 차량까지의 거리를 산출할 수 있다.In the step c), the distance to the surrounding vehicle can be calculated through the following equation (1).
[수학식1][Equation 1]
(수학식1에서 D는 카메라와 주변 차량까지의 거리, W는 차량의 폭, w는 상기 이미지에서 차량의 폭에 해당하는 픽셀좌표, f는 카메라의 초점거리)(Where D is the distance from the camera to the surrounding vehicle, W is the width of the vehicle, w is the pixel coordinate corresponding to the width of the vehicle in the image, and f is the focal length of the camera)
상기 d) 단계는, 아래의 수학식2를 통해 소실점을 산출할 수 있다.In the step d), the vanishing point can be calculated by the following equation (2).
[수학식2]&Quot; (2) "
(수학식2에서 D는 카메라와 주변 차량까지의 거리, f는 카메라의 초점거리, h는 카메라의 설치 높이, v는 영상 이미지에서 주변 차량의 바닥부가 촬영된 픽셀 위치, v0는 소실점 좌표)
(Where D is the distance from the camera to the surrounding vehicle, f is the focal length of the camera, h is the installation height of the camera, v is the pixel location at which the bottom of the vehicle is photographed, and v0 is the vanishing point coordinate)
본 발명 전방 차량 인식을 통한 영상 교정 방법은, 차선이 아닌 전방의 차량을 기준으로 촬영된 영상을 교정하여 차선이 없거나 훼손된 경우에도 정확한 영상 교정이 가능한 효과가 있다.According to the present invention, there is an effect that an image photographed on the basis of a vehicle ahead of a lane is corrected so that accurate image correction can be performed even if there is no lane or is damaged.
또한 본 발명 전방 차량 인식을 통한 영상 교정 방법은, 주행 중에 피치 모션이 발생하는 경우에도 전방의 주행 차량의 인식과 거리를 이용하여 정확한 소실점의 연산이 가능하도록 함으로써, 연산량을 줄여 성능을 개선할 수 있는 효과가 있다.In addition, the present invention can improve the performance by reducing the calculation amount by making accurate calculation of the vanishing point using the recognition and the distance of the traveling vehicle ahead even when pitch motion occurs while driving. There is an effect.
도 1은 본 발명의 바람직한 실시예에 따른 전방 차량 인식을 통한 영상 교정 방법의 순서도이다.
도 2에는 차종에 따른 다양한 종횡비의 예시 사진이다.
도 3과 도 4는 각각 차량의 거리 산출 방법을 설명하기 위한 설명도로서, 도 3은 측면, 도 4는 평면 상의 예를 나타낸다.1 is a flowchart of a method of correcting an image through forward vehicle recognition according to a preferred embodiment of the present invention.
Fig. 2 is an exemplary photograph of various aspect ratios according to the type of the vehicle.
Figs. 3 and 4 are explanatory diagrams for explaining a vehicle distance calculation method, wherein Fig. 3 shows a side view and Fig. 4 shows a plan view.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals refer to like or similar elements throughout the several views, and redundant description thereof will be omitted.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. It is to be noted that the accompanying drawings are only for the purpose of facilitating understanding of the present invention, and should not be construed as limiting the scope of the present invention with reference to the accompanying drawings.
도 1은 본 발명의 바람직한 실시예에 따른 전방 차량 인식을 통한 영상 교정 방법의 순서도이다.1 is a flowchart of a method of correcting an image through forward vehicle recognition according to a preferred embodiment of the present invention.
도 1을 참조하면 본 발명의 바람직한 실시예에 따른 전방 차량 인식을 통한 영상 교정 방법은, 전방의 주행 차량의 이미지를 검출하는 단계(S10)와, 상기 전방 주행 차량의 이미지로부터 차종을 판단하고, 차종에 따른 차폭을 검출하는 단계(S20)와, 차폭을 이용하여 전방의 차량과의 거리를 산출하는 단계(S30)와, 상기 전방 차량까지의 거리와 카메라의 설치 높이를 이용하여 소실점을 연산하는 단계(S40)를 포함하여 구성된다.
Referring to FIG. 1, a method of correcting an image through forward vehicle recognition according to a preferred embodiment of the present invention includes detecting an image of a traveling vehicle ahead (S10), determining a vehicle type from an image of the forward traveling vehicle, A step S30 of calculating the distance between the front vehicle and the vehicle using the vehicle width, a step of calculating a vanishing point using the distance to the front vehicle and the installation height of the camera Step S40.
이하, 상기와 같이 구성되는 본 발명의 바람직한 실시예에 따른 전방 차량 인식을 통한 영상 교정 방법의 구성과 작용에 대하여 보다 상세히 설명한다. 이하에서는 전방 차량 인식을 통해 영상을 교정하는 방법에 대해 설명하며, 이를 수행할 수 있는 장치는 카메라, 연산장치, 저장장치 등 영상을 촬영하고 그 촬영된 영상을 본 발명에서 제안하는 방법에 따라 처리할 수 있는 보편화된 장치를 사용할 수 있다.
Hereinafter, the configuration and operation of the image correction method using forward vehicle recognition according to a preferred embodiment of the present invention will be described in detail. Hereinafter, a method of correcting an image through front vehicle recognition will be described. A device capable of performing the image capturing is a camera, an arithmetic device, a storage device, and the like, and processes the captured image according to a method proposed by the present invention Can be used.
먼저, S10단계에서는 자동차에 탑재된 카메라를 이용하여 전방의 차량을 촬영하여 전방 차량 이미지를 획득한다. 본 발명에서는 전방 차량을 촬영하는 예를 도시하고 설명하지만, 후방의 차량에 대해서도 동일한 방법을 적용할 수 있다.First, in step S10, a forward vehicle image is acquired by photographing a forward vehicle using a camera mounted on the vehicle. In the present invention, an example of photographing a forward vehicle is shown and described, but the same method can be applied to a rearward vehicle.
이는 자동차에 탑재된 전방카메라 또는 후방카메라를 선택적으로 사용하여 본 발명을 적용할 수 있음을 뜻한다.
This means that the present invention can be applied by selectively using a front camera or a rear camera mounted on an automobile.
그 다음, S20단계에서는 이러한 특징을 이용하여 차종을 판단한다.Then, in step S20, the vehicle type is determined using these features.
상기 S10단계에서 카메라를 통해 획득되는 차량의 영상은 카메라와 차량의 거리에 따라 그 크기가 변화되지만 폭과 높이의 비는 변화되지 않는다. The image of the vehicle obtained through the camera in the step S10 is changed in size according to the distance between the camera and the vehicle, but the ratio between the width and the height is not changed.
도 2에는 차종에 따른 다양한 종횡비의 예시 사진이다.Fig. 2 is an exemplary photograph of various aspect ratios according to the type of the vehicle.
도 2를 참조하면 획득된 차량의 영상에 종횡비 1:1의 가상의 프레임을 적용하면 승용차는 폭에 비해 높이가 낮은 특징이 있고, SUV 차량의 경우는 승용차에 비하여 종횡비 1:1에 더 가깝고, 승합차량 및 소형 화물차의 경우에는 거의 1:1의 종횡비를 갖는 것을 알 수 있다.Referring to FIG. 2, when a virtual frame having an aspect ratio of 1: 1 is applied to the acquired image of the vehicle, the height of the passenger car is lower than the width. In the case of the SUV, the aspect ratio is closer to 1: 1 than the passenger car, It can be seen that in the case of a competing vehicle and a small lorry, the aspect ratio is almost 1: 1.
대형 화물차나 버스 등은 폭에 비하여 높이가 더 높은 특징이 있다.Large trucks and buses are characterized by higher height than width.
이와 같은 차량의 이미지 특징을 이용하여 차종을 판단하며, 차종의 판단은 차폭을 확인할 수 있게 된다. The vehicle type is determined by using the image feature of the vehicle, and the vehicle width can be checked by the determination of the type of the vehicle.
차랑의 폭은 차종에 따라서 최소 1.6m에서 최대 2.5m의 범위에 있을 수 있으며, 앞서 설명한 차량 이미지의 특징을 이용하여 차종을 확인하고, 확인된 차종에 따라 저장부에 저장된 차폭 정보를 호출하여, 현재 촬영된 영상의 차량 폭을 검출할 수 있게 된다.The vehicle width may be in a range of at least 1.6 m to at most 2.5 m depending on the vehicle type. The vehicle type may be identified using the characteristics of the vehicle image described above, the vehicle width information stored in the storage unit may be called according to the identified vehicle type, The vehicle width of the currently photographed image can be detected.
또한 본 발명은 상기 카메라를 통해 촬영된 영상에서 차량의 이미지가 있는지의 여부를 확인하고, 그 차량의 차종을 판단하기 위한 방법으로 분류 학습법을 적용할 수 있다. 차량의 폭을 기준으로 하여 차량의 형태를 특징으로 하여 영상에서 차량이 있는지의 여부를 확인하고, 차량이 있는 영상들을 모아 다분류 분류학습법을 사용하여 학습시켜, 충분한 차량 데이터를 확보할 수 있다.
In addition, the present invention can determine whether an image of a vehicle is present in an image photographed through the camera, and apply a classification learning method as a method for determining a vehicle type of the vehicle. It is possible to confirm whether or not the vehicle is present in the image based on the width of the vehicle based on the shape of the vehicle and to acquire sufficient vehicle data by collecting images of the vehicle and learning it using the multi classification learning method.
그 다음, S30단계에서 차량의 제어장치(MCU)는 상기 얻어진 차종에 따른 차폭을 이용하여 카메라와 전방(또는 후방) 차량까지의 거리를 산출한다.Next, in step S30, the control unit (MCU) of the vehicle calculates the distance from the camera to the front (or rear) vehicle using the vehicle width according to the obtained vehicle type.
도 3과 도 4는 각각 차량의 거리 산출 방법을 설명하기 위한 설명도로서, 도 3은 측면, 도 4는 평면 상의 예를 나타낸다.Figs. 3 and 4 are explanatory diagrams for explaining a vehicle distance calculation method, wherein Fig. 3 shows a side view and Fig. 4 shows a plan view.
도 3에서 D는 전방 차량(1)까지의 거리이고, h는 카메라의 설치 높이이며, v는 차량의 밑면(지면과 접하는)이 나타난 영상 상의 좌표, v0은 소실점의 좌표이며, f는 초점 길이(Focal Length)를 나타낸다.3, D is the distance to the
또한 도 4에서 w는 차량의 폭(W)이 영상 상에서 표시되는 픽셀수로 정의할 수 있다.4, w can be defined as the number of pixels that the width W of the vehicle is displayed on the image.
상기 도 4를 참고하면 차량의 폭(W)과 이를 촬영한 이미지에서 폭(W)이 차지하는 픽셀수(w)는 아래의 수학식1에 의해 정의된다.Referring to FIG. 4, the width W of the vehicle and the number of pixels w occupied by the width W in the captured image are defined by
상기 초점 거리(f)는 카메라 고유의 특성으로 상수이며, 차량의 폭(W)은 상기 S20단계에서 차종의 판단에 의해 얻어진 값이며, 영상 이미지에서 폭(W)이 차지하는 픽셀수(w)는 상기 촬영된 이미지에서 검출할 수 있는 값이므로 현재 주행중인 차량의 카메라로부터 전방의 차량까지의 거리를 구할 수 있게 된다.
The focal length f is a constant characteristic of the camera, the width W of the vehicle is a value obtained by the determination of the vehicle type in step S20, and the number of pixels w occupied by the width W in the image is It is possible to detect the distance from the camera of the vehicle currently in operation to the vehicle ahead.
그 다음, S40단계에서는 상기 S30단계에서 구한 다른 차량까지의 거리와 카메라의 설치 높이 및 이미지에서 차량의 바닥면이 촬영된 좌표를 이용하여 소실점을 연산할 수 있다.Then, in step S40, the vanishing point can be calculated using the coordinates of the bottom surface of the vehicle from the distance to the other vehicle, the installation height of the camera, and the image obtained in step S30.
아래의 수학식2는 다른 차량까지의 거리(D), 카메라의 설치 높이(h), 초점거리(f)를 이용하여, 상기 도 3에서 카메라 설치위치를 기준으로 하는 두 삼각형의 관계를 이용하여 소실점(v0)을 구할 수 있음을 보여준다.
Using the distance D to the other vehicle, the installation height h of the camera, and the focal length f, the following equation (2) can be obtained by using the relationship between the two triangles The vanishing point (v0) can be obtained.
위의 수학식2에서 소실점(v0)의 좌표는 차량의 운행시 진동 등에 의해 피치 모션이 발생하게 되면 그 위치가 이동하게 되지만, 본 발명에서는 다른 차량의 폭을 이용하여 다른 차량까지의 거리를 산출하고, 차량의 바닥면의 좌표, 카메라의 설치 높이를 이용하여 산출하기 때문에 피치 모션의 발생과 무관하게 정확한 소실점(v0)을 산출할 수 있게 된다.
In the equation (2), the coordinates of the vanishing point v0 are shifted when the pitch motion occurs due to vibration or the like when the vehicle is running. In the present invention, the distance to another vehicle is calculated using the width of another vehicle , The coordinates of the bottom surface of the vehicle, and the installation height of the camera, the accurate vanishing point v0 can be calculated regardless of the occurrence of the pitch motion.
본 명세서에서 설명되는 실시예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것이 아님은 자명하다. 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당해 기술분야에 있어서의 통상의 지식을 가진 자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
The embodiments and the accompanying drawings described in the present specification are merely illustrative of some of the technical ideas included in the present invention. Therefore, it is to be understood that the embodiments disclosed herein are not intended to limit the scope of the present invention but to limit the scope of the present invention. It will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims and their equivalents. It should be interpreted.
1:전방 차량1: forward vehicle
Claims (4)
b) 상기 영상 이미지에서 차량의 차종을 확인하고, 차종에 부합하는 차량의 폭을 구하는 단계;
c) 상기 차량의 폭을 이용하여 카메라로부터 주변 차량까지의 거리를 산출하는 단계; 및
d) 상기 c) 단계에서 검출된 주변 차량까지의 거리와, 상기 카메라의 설치 위치, 초점 거리 및 상기 영상 이미지에서 주변 차량의 바닥부에 해당하는 픽셀의 좌표를 이용하여 소실점을 산출하는 단계를 포함하는 것을 특징으로 하는 차량 인식을 통한 영상 교정 방법.a) obtaining a video image of a nearby vehicle;
b) checking a vehicle type of the vehicle in the image image and obtaining a width of the vehicle that matches the vehicle type;
c) calculating the distance from the camera to the surrounding vehicle using the width of the vehicle; And
d) calculating a vanishing point using the distance to the surrounding vehicle detected in the step c), the installation position of the camera, the focal length, and the coordinates of the pixel corresponding to the bottom of the surrounding vehicle in the image And a second step of recognizing the vehicle.
상기 b) 단계는,
차량의 종횡비를 판별하여 차종을 구하고, 구해진 차종의 차종별 폭 데이터로부터 차량의 폭을 구하는 것을 특징으로 하는 차량 인식을 통한 영상 교정 방법.The method according to claim 1,
The step b)
Determining a vehicle type by determining the aspect ratio of the vehicle, and obtaining the width of the vehicle from the width data of the obtained vehicle type.
상기 c) 단계는,
아래의 수학식1을 통해 주변 차량까지의 거리를 산출하는 것을 특징으로 하는 차량 인식을 통한 영상 교정 방법.
[수학식1]
수학식1에서 D는 카메라와 주변 차량까지의 거리, W는 차량의 폭, w는 상기 이미지에서 차량의 폭에 해당하는 픽셀좌표, f는 카메라의 초점거리The method according to claim 1,
The step c)
And calculating a distance to the neighboring vehicle through the following equation (1): < EMI ID = 1.0 >
[Equation 1]
In Equation (1), D is the distance from the camera to the surrounding vehicle, W is the width of the vehicle, w is the pixel coordinate corresponding to the width of the vehicle in the image, f is the focal distance
상기 d) 단계는,
아래의 수학식2를 통해 소실점을 산출하는 것을 특징으로 하는 차량 인식을 통한 영상 교정 방법.
[수학식2]
수학식2에서 D는 카메라와 주변 차량까지의 거리, f는 카메라의 초점거리, h는 카메라의 설치 높이, v는 영상 이미지에서 주변 차량의 바닥부가 촬영된 픽셀 위치, v0는 소실점 좌표The method according to claim 1,
The step d)
And calculating a vanishing point through the following equation (2).
&Quot; (2) "
D is the distance from the camera to the surrounding vehicle, f is the focal length of the camera, h is the installation height of the camera, v is the pixel position at which the bottom of the surrounding vehicle is photographed in the image, v0 is the vanishing point coordinate
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170002936A KR20180081966A (en) | 2017-01-09 | 2017-01-09 | Image correction method by vehicle recognition |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170002936A KR20180081966A (en) | 2017-01-09 | 2017-01-09 | Image correction method by vehicle recognition |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180081966A true KR20180081966A (en) | 2018-07-18 |
Family
ID=63049311
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170002936A KR20180081966A (en) | 2017-01-09 | 2017-01-09 | Image correction method by vehicle recognition |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20180081966A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200069040A (en) * | 2018-12-06 | 2020-06-16 | 팅크웨어(주) | Method, apparatus, electronic device, computer program and computer readable recording medium for measuring a distance between front vehicle and rear vehicle |
| KR102177614B1 (en) * | 2020-01-09 | 2020-11-12 | 렉스젠(주) | Lane generation system for collecting traffic information and method thereof |
-
2017
- 2017-01-09 KR KR1020170002936A patent/KR20180081966A/en unknown
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200069040A (en) * | 2018-12-06 | 2020-06-16 | 팅크웨어(주) | Method, apparatus, electronic device, computer program and computer readable recording medium for measuring a distance between front vehicle and rear vehicle |
| US11814063B2 (en) | 2018-12-06 | 2023-11-14 | Thinkware Corporation | Method, apparatus, electronic device, computer program and computer readable recording medium for measuring inter-vehicle distance using driving image |
| US11814064B2 (en) | 2018-12-06 | 2023-11-14 | Thinkware Corporation | Method, apparatus, electronic device, computer program and computer readable recording medium for measuring inter-vehicle distance using driving image |
| KR102177614B1 (en) * | 2020-01-09 | 2020-11-12 | 렉스젠(주) | Lane generation system for collecting traffic information and method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9135709B2 (en) | Vehicle-to-vehicle distance calculation apparatus and method | |
| US7542835B2 (en) | Vehicle image processing device | |
| CN111696160B (en) | Automatic calibration method and equipment for vehicle-mounted camera and readable storage medium | |
| JP3780922B2 (en) | Road white line recognition device | |
| US11288833B2 (en) | Distance estimation apparatus and operating method thereof | |
| US20160364620A1 (en) | Outside recognition system, vehicle and camera dirtiness detection method | |
| US11691585B2 (en) | Image processing apparatus, imaging device, moving body device control system, image processing method, and program product | |
| JP5401257B2 (en) | Far-infrared pedestrian detection device | |
| US20090243823A1 (en) | Vehicle environment recognition apparatus and preceding-vehicle follow-up control system | |
| EP3115930A1 (en) | Malfunction diagnosis apparatus | |
| US10885351B2 (en) | Image processing apparatus to estimate a plurality of road surfaces | |
| US20160314359A1 (en) | Lane detection device and method thereof, and lane display device and method thereof | |
| KR101268282B1 (en) | Lane departure warning system in navigation for vehicle and method thereof | |
| CN113256739A (en) | Self-calibration method and device for vehicle-mounted BSD camera and storage medium | |
| JP5062091B2 (en) | Moving object identification device, computer program, and optical axis direction specifying method | |
| WO2011016257A1 (en) | Distance calculation device for vehicle | |
| KR20180081966A (en) | Image correction method by vehicle recognition | |
| JP4798576B2 (en) | Attachment detection device | |
| US20140240487A1 (en) | Vehicle-to-vehicle distance calculation apparatus and method | |
| US10896337B2 (en) | Method for classifying a traffic sign, or road sign, in an environment region of a motor vehicle, computational apparatus, driver assistance system and motor vehicle | |
| JP6711128B2 (en) | Image processing device, imaging device, mobile device control system, image processing method, and program | |
| JP7402753B2 (en) | Safety support system and in-vehicle camera image analysis method | |
| JP4601376B2 (en) | Image abnormality determination device | |
| WO2016079117A1 (en) | Gradient detection based on perspective-transformed image | |
| JP3532896B2 (en) | Smear detection method and image processing apparatus using the smear detection method |