KR101912085B1 - Reliability calaulation method of lane detection and Apparatus for calcaulating for performing thereof - Google Patents
Reliability calaulation method of lane detection and Apparatus for calcaulating for performing thereof Download PDFInfo
- Publication number
- KR101912085B1 KR101912085B1 KR1020120071924A KR20120071924A KR101912085B1 KR 101912085 B1 KR101912085 B1 KR 101912085B1 KR 1020120071924 A KR1020120071924 A KR 1020120071924A KR 20120071924 A KR20120071924 A KR 20120071924A KR 101912085 B1 KR101912085 B1 KR 101912085B1
- Authority
- KR
- South Korea
- Prior art keywords
- lane
- reliability
- edge
- calculating
- motion vector
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 20
- 239000013598 vector Substances 0.000 claims abstract description 36
- 238000004364 calculation method Methods 0.000 claims abstract description 17
- 230000002349 favourable effect Effects 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 238000006467 substitution reaction Methods 0.000 description 2
- 208000035278 mandibuloacral dysplasia progeroid syndrome Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
- B62D15/0295—Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
Landscapes
- Engineering & Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Combustion & Propulsion (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 영상 장치로부터 획득된 영상에 기초한 차선 검출의 신뢰도 계산방법에 있어서, a)상기 영상의 프레임에서 에지를 검출하는 단계; b)검출된 상기 에지로 차선을 인식하는 단계; c)인식된 상기 차선의 특징점을 산출하는 단계; d)상기 프레임이 상기 영상의 최초 프레임이 아닌 경우, 상기 영상의 현재 프레임의 특징점과 저장된 적어도 하나의 이전 프레임의 특징점의 차이를 계산하여 움직임 벡터를 생성하는 단계;및 e)상기 현재 프레임의 에지 중 차선을 나타내는 에지의 에지강도와 상기 움직임 벡터에 기초하여 차선 검출 신뢰도를 계산하는 단계를하는 차선 검출의 신뢰도 계산방법을 제공하여, 차선 검출의 신뢰도를 보다 정확하게 계산할 수 있는 유리한 효과를 제공한다.The present invention relates to a method of calculating reliability of lane detection based on an image obtained from an imaging device, the method comprising the steps of: a) detecting an edge in a frame of the image; b) recognizing the lane with the detected edge; c) calculating feature points of the recognized lane; d) generating a motion vector by calculating a difference between a feature point of a current frame of the image and a feature point of at least one previous frame when the frame is not the first frame of the image, and e) There is provided a reliability calculation method of lane detection that calculates the lane detection reliability based on the edge strength of the edge representing the middle lane and the motion vector to provide a favorable effect of more accurately calculating the reliability of lane detection.
Description
본 발명은 차선 검출 신뢰도 계산방법 및 이를 수행하는 계산장치에 관한 것으로, 영상의 현재 프레임을 기준으로 이전 프레임들의 차선의 변화를 반영한 차선 검출 신뢰도 계산방법 및 이를 수행하는 계산장치에 관한 것이다. The present invention relates to a lane detection reliability calculation method and a calculation apparatus for performing the lane detection reliability calculation method, and more particularly, to a lane detection reliability calculation method that reflects a change of a lane of previous frames based on a current frame of an image and a calculation device that performs the calculation.
지능형 차량의 제어 시스템에 있어서, 차선유지보조시스템(Lane Keeping Assist System, 이하, LKAS라 한다.) 또는 차선이탈경보시스템(Lane Departure Warning System, 이하, LDWS라 한다)은 운전자의 안전을 위해 필수적인 시스템이다. 이러한 시스템은 차선 검출을 기반으로 하고 있다. 차선 검출을 위해서는 다양한 센서들의 정보를 활용한다. 특히 비전 기반의 차선 검출 시스템의 경우, 저렴한 비용으로 많은 정보의 추출이 가능하고 기존의 다양한 비전 처리 알고리즘을 활용할 수 있는 장점이 있어 널리 활용된다.In a control system of an intelligent vehicle, a lane keeping assist system (hereinafter referred to as LKAS) or a lane departure warning system (hereinafter referred to as LDWS) to be. These systems are based on lane detection. For lane detection, information of various sensors is utilized. Especially, vision-based lane detection system is widely used because it can extract a lot of information at low cost and utilize various vision processing algorithms.
이러한 비전 기반의 차선 검출 시스템에서 검출된 차선 정보는 운전자의 안전 운행에 있어서 매우 중요한 요소이다. 이에 검출된 차선에 대한 신뢰도를 살펴볼 필요가 있다. 차선 검출의 신뢰도를 계산하는 다양한 방법들이 제안되고 있는데, 그 중에서 획득된 영상에서 검출된 에지(edge)와 차량 사이의 거리를 활용하여 차선 검출의 신뢰도를 계산하는 방안이 제시되고 있다, 그러나 이러한 방안은 획득 시점의 특정 영상에 국한되어 차선 검출의 신뢰도를 계산하는 방식이다. 이에, 특정 영상의 이전 프레임에서 차선 검출의 결과에 대한 변화가 얼마나 발생하였는지가 신뢰도 판단에 포함되지 않은 문제점이 있다. The lane information detected in this vision - based lane detection system is a very important factor in the safe operation of the driver. Therefore, it is necessary to examine the reliability of the detected lane. Various methods for calculating the reliability of lane detection have been proposed. Among them, a method of calculating the reliability of the lane detection using the distance between the edge and the vehicle detected in the obtained image has been suggested. However, Is a method for calculating the reliability of lane detection based on a specific image at the time of acquisition. Accordingly, there is a problem that how much the change in the result of the lane detection occurred in the previous frame of the specific image is not included in the reliability determination.
이에, 본 발명은 상기한 문제점을 해결하기 위한 것으로, 차선 검출의 신뢰도를 보다 정확하게 계산할 수 있는 차선 검출 신뢰도 계산방법 및 이를 수행하는 계산장치를 제공하는 것을 그 목적으로 한다.SUMMARY OF THE INVENTION Accordingly, the present invention has been made keeping in mind the above problems occurring in the prior art, and it is an object of the present invention to provide a lane detection reliability calculation method and a calculation device for performing the lane detection reliability calculation.
상기 목적을 달성하기 위한 본 발명은, 영상 장치로부터 획득된 영상에 기초한 차선 검출의 신뢰도 계산방법에 있어서, a)상기 영상의 프레임에서 에지를 검출하는 단계와, b)검출된 상기 에지로 차선을 인식하는 단계와, c)인식된 상기 차선의 특징점을 산출하는 단계와, d)상기 프레임이 상기 영상의 최초 프레임이 아닌 경우, 상기 영상의 현재 프레임의 특징점과 저장된 적어도 하나의 이전 프레임의 특징점의 차이를 계산하여 움직임 벡터를 생성하는 단계 및, e)상기 현재 프레임의 에지 중 차선을 나타내는 에지의 에지강도와 상기 움직임 벡터에 기초하여 차선 검출 신뢰도를 계산하는 단계를 포함하는 차선 검출의 신뢰도 계산방법을 제공한다.According to another aspect of the present invention, there is provided a method for calculating reliability of lane detection based on an image acquired from a video device, the method comprising the steps of: a) detecting an edge in a frame of the image; b) D) if the frame is not the first frame of the image, calculating the feature point of the current frame of the image and the feature point of at least one previous frame stored Calculating a difference to generate a motion vector; and e) calculating a lane detection reliability based on the motion vector and an edge intensity of an edge representing a lane of an edge of the current frame. .
바람직하게는, 상기 e)단계의 신뢰도는, 상기 움직임 벡터의 크기와 상기 에지강도의 함수로 나타낼 수 있다.Advantageously, the reliability of step e) may be expressed as a function of the magnitude of the motion vector and the edge strength.
바람직하게는, 상기 e)단계의 신뢰도는, 상기 움직임 벡터의 크기와 상기 에지강도의 가중합으로 계산될 수 있다.Advantageously, the reliability of step e) may be calculated as a weighted sum of the magnitude of the motion vector and the edge strength.
바람직하게는, 상기 e)단계의 신뢰도는, 상기 움직임 벡터의 크기의 합에 제1 가중치를 곱한 값과, 상기 에지강도의 합에 1에서 제2 가중치를 뺀 값을 곱한 값의 합으로 나타낼 수 있다.
The reliability of step e) may be represented by a sum of the sum of the magnitudes of the motion vectors multiplied by a first weight and a sum of values obtained by multiplying the sum of the edge intensities by a value obtained by subtracting the second weight from 1 have.
한편, 상기 목적을 달성하기 위한 다른 발명은, 영상 장치로부터 획득된 영상에 기초한 차선 검출의 신뢰도 계산장치에 있어서, 상기 영상의 프레임에서 에지를 검출하는 에지 검출부와, 검출된 상기 에지로 차선을 인식하는 차선 인식부와, 인식된 상기 차선의 특징점을 산출하는 특징점 산출부와, 상기 차선의 특징점을 저장하는 저장부와, 상기 영상의 현재 프레임의 특징점과 상기 저장부에 저장된 적어도 둘의 이전 프레임의 특징점의 차이를 계산하여 움직임 벡터를 생성하는 움직임 벡터 생성부 및, 상기 현재 프레임의 에지 중 차선을 나타내는 에지의 강도와 상기 움직임 벡터에 기초하여 차선 검출 신뢰도를 계산하는 차선 검출 신뢰도 계산부를 포함하는 차선 검출의 신뢰도 계산장치를 제공할 수 있다.According to another aspect of the present invention for achieving the above object, there is provided an apparatus for calculating a reliability of lane detection based on an image acquired from a video apparatus, the apparatus comprising: an edge detector for detecting an edge in a frame of the image; A storage unit for storing the minutiae of the lane; and a storage unit for storing minutiae points of the current frame of the image and at least two previous frames stored in the storage unit, A lane detection reliability calculation section for calculating a lane detection reliability based on the intensity of an edge indicating a lane of the lane of the current frame and the motion vector; a motion vector generation section for generating a motion vector by calculating a difference between the feature points; It is possible to provide a detection reliability calculation apparatus.
바람직하게는, 상기 움직임 벡터의 크기와 상기 강도의 함수로 나타낼 수 있다.Preferably, it can be expressed as a function of the magnitude of the motion vector and the intensity.
바람직하게는, 상기 신뢰도는, 상기 움직임 벡터의 크기와 상기 에지강도의 가중합으로 계산될 수 있다.Advantageously, said reliability can be calculated as a weighted sum of the magnitude of said motion vector and said edge strength.
바람직하게는, 상기 움직임 벡터의 크기의 합에 제1 가중치를 곱한 값과, 상기 에지강도의 합에 1에서 제2 가중치를 뺀 값을 곱한 값의 합으로 나타낼 수 있다.The sum of the magnitudes of the motion vectors multiplied by a first weight and a value obtained by multiplying the sum of the edge intensities by a value obtained by subtracting a second weight from 1.
본 발명에 따른 차선 검출 신뢰성 계산방법 및 이를 수행하는 계산장치에 따르면, 영상의 현재 프레임을 기준으로 이전 프레임들을 기반으로 인식된 차선들의 변화를 반영하여, 차선 검출의 신뢰도를 보다 정확하게 계산할 수 있는 유리한 효과를 제공한다.According to the lane detecting reliability calculating method and the calculating apparatus for performing the lane detecting reliability calculating method according to the present invention, the reliability of the lane detecting can be more accurately calculated by reflecting the change of the lanes recognized based on the previous frames based on the current frame of the image Effect.
도 1은 LKAS의 구성을 도시한 도면이다.
도 2는 본 발명의 바람직한 일실시예에 따른 차선 검출 신뢰도 계산방법을 도시한 순서도,
도 3은 본 발명의 바람직한 일실시예에 따른 차선 검출 신뢰도 계산장치를 도시한 도면,
도 4는 움직임 벡터들을 나타낸 그림이다.1 is a diagram showing a configuration of an LKAS.
FIG. 2 is a flowchart illustrating a method of calculating lane detection reliability according to a preferred embodiment of the present invention;
3 is a diagram illustrating a lane detection reliability calculation apparatus according to a preferred embodiment of the present invention.
4 is a diagram showing motion vectors.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In addition, the preferred embodiments of the present invention will be described below, but it is needless to say that the technical idea of the present invention is not limited thereto and can be variously modified by those skilled in the art.
도 1은 LKAS의 구성을 도시한 도면이다.1 is a diagram showing a configuration of an LKAS.
도 1을 참조하면, LKAS ECU(1)는 스위치, 방향지시, 와이퍼 등에 대한 운전자 입력 정보 및, 차량의 요 레이트(yaw rate), 조향각, 차속 등의 차량 거동 정보를 입력받고, 도로 정보 추출부(2)에서 차선 정보 및 도로 정보를 전달받아, 차량이 차선을 이탈하지 않도록 전동식 파워 스티어링 시스템(MDPS:Motor Driven Power Steering,이하, MDPS라 한다)(3)을 제어한다.1, the LKAS ECU 1 receives driver input information on switches, direction indications, wipers, and the like, and vehicle behavior information such as a yaw rate, a steering angle, and a vehicle speed of the vehicle, (MDPS) 3 so that the lane information and the road information are received from the
본 발명은 도로 정보 추출부(2)에서 전송되는 차선 정보에 대한 신뢰도를 계산하는 기술로서, 현재 프레임을 기준으로 이전 프레임의 차선 정보를 반영하여 현재 프레임을 기반으로 추출된 차선 정보의 신뢰도를 계산하는 기술적 특징이 있다.
The present invention is a technology for calculating the reliability of lane information transmitted from the road
도 2는 본 발명의 바람직한 일실시예에 따른 차선 검출 신뢰도 계산방법을 도시한 순서도이고, 도 3은 본 발명의 바람직한 일실시예에 따른 차선 검출 신뢰도 계산장치를 도시한 도면이다. 한편, 도 4는 움직임 벡터들을 나타낸 그림이다.FIG. 2 is a flowchart illustrating a method of calculating a lane detection reliability according to an exemplary embodiment of the present invention, and FIG. 3 is a diagram illustrating a lane detection reliability calculation apparatus according to an exemplary embodiment of the present invention. 4 is a diagram illustrating motion vectors.
도 2 내지 도 4를 병행 참조하면, 먼저, 영상의 프레임에서 에지(edge)를 검출한다.(S100) 에지 검출부(110)는 카메라로부터 획득된 영상의 매 프레임마다 에지를 검출한다. 여기서 에지란, 영상의 밝기가 낮은 값에서 높은 값으로, 또는 그 반대로 변화는 지점을 가리킨다. 대부분의 칼라 값의 변화 또는 밝기의 변화가 크게 나타나는 곳은 물체의 경계에서 나타나기 때문에, 에지를 검출하여 영상 내의 물체들의 경계를 추출할 수 있다. 에지를 검출하는 대표적인 1차 미분 연산자로서, 소벨 마스크(sobel mask)를 예로 들수 있다.
2 to 4, an edge is detected in a frame of an image (S100). The
다음으로, 에지 검출후, 검출된 에지로 차선을 인식한다.(S200) 차선 인식부(120)는 검출된 에지 중 차선을 나타내는 에지를 인식한다. Next, after detecting the edge, the lane is recognized by the detected edge (S200). The lane recognition section (120) recognizes the edge indicating the lane of the detected edge.
도로가 평평하다고 가정하면, 통상적으로, 차선은 직선이며 양 차선의 폭이 일정하고, 양 차선은 하나의 소실점에서 만난다. 그리고, 소질점은 지평선상에 존재하는 특징이 있다. 이에 에지 중에 수직방향 에지는 차선이 아닐 확률이 높기 때문에 차선 후보로서 고려하지 않을 수 있다. 또한, 차선의 폭이 일정하게 형성되는 후보점들과 이를 기반으로 선분을 추출하고, 소실점을 향하는 선분들을 차선으로 인식하는 과정을 거친다. 상술한 차선 인식 과정은 어느 하나의 예시일뿐 본 발명을 한정하지 않는다.Assuming that the road is flat, typically the lane is straight, the width of both lanes is constant, and both lanes meet at a vanishing point. And, the characteristic point exists on the horizon. Therefore, the edge in the vertical direction may not be considered as a lane candidate because the probability that the edge is not a lane is high. In addition, candidate points having a constant width of the lane are extracted, line segments are extracted based on the candidate points, and line segments toward the vanishing point are recognized as lanes. The above-described lane recognition process is only one example and does not limit the present invention.
도 4의 t는 현재 프레임을 기준으로 인식된 차선이며, 도 4의 t-1은 현재 프레임의 이전 프레임을 기준으로 인식된 차선이다. 또한, 도 4의 t-2는 현재 프레임의 그 다음 이전 프레임을 기준으로 인식된 차선이다.
In FIG. 4, t is the lane recognized based on the current frame, and t-1 in FIG. 4 is the lane recognized based on the previous frame of the current frame. In Fig. 4, t-2 is a lane recognized based on the next previous frame of the current frame.
다음으로, 인식된 차선의 특징점을 산출하여 이를 저장한다.(S300) 특징점 산출부(130)는 인식된 차선 상에서 복수 개의 특징점을 산출할 수 있다. 현재 프레임에 기반하여 인식된 차선의 특징점은 도 4의 a1,a2,a3,a4…. 이전 프레임들에 기반하여 인식된 차선의 특징점은 도 4의 a1’,a2’,a3’,a4’…,a1’’,a2’’,a3’’,a4’’…로 나타낼 수 있다. 산출된 특징점들은 저장부(140)에 저장된다.
Next, the feature point of the recognized lane is calculated and stored. (S300) The feature
다음으로, 영상의 프레임이 최초 프레임이 아닌 경우, 현재 프레임의 특징점과 이전 프레임들의 특징점의 차이를 계산하여 움직임 벡터를 생성한다.(S400) Next, when the frame of the image is not the first frame, the difference between the feature point of the current frame and the feature point of the previous frames is calculated to generate a motion vector (S400)
움직임 벡터 생성부(150)는 현재 프레임에 기반하여 인식한 차선의 특징점의 2차원 위치와, 이전 프레임에 기반하여 인식한 차선의 특징점의 2차원 위치의 상대적 변화를 움직임 벡터로 생성한다. 예를 들어, 도 4를 참조하면, 현재 프레임을 기준으로 할 때, 소정의 특징점은 a1-a1-’a1’으로 이동한다. The motion
여기서, 현재 프레임의 특징점(a1)을 기준으로 이전 프레임의 특징점(a1’)의 2차원 위치 차이를 움직임 벡터(V11)로 생성할 수 있다. 또한, 현재 프레임의 특징점(a1)을 기준으로 다음 이전 프레임의 특징점(a1’’)의 2차원 위치 차이를 움직임 벡터(V21)로 생성한다. 도 4에서 도시한 다른 움직임 벡터들(V12,V22,V13,V24,V14,V24)도 상술한 바와 같이 생성된다. 움직임 벡터의 개수는 차선의 특징점의 개수에 대응된다.
Here, the two-dimensional positional difference of the feature point a1 'of the previous frame can be generated as the motion vector V11 based on the feature point a1 of the current frame. Further, a two-dimensional positional difference of the feature point a1 '' of the next previous frame is generated as a motion vector V21 on the basis of the feature point a1 of the current frame. Other motion vectors (V12, V22, V13, V24, V14, V24) shown in Fig. 4 are also generated as described above. The number of motion vectors corresponds to the number of feature points of the lane.
다음으로, 현재 프레임의 에지 중 차선을 나타내는 에지의 에지강도(이하,차선에지강도)와 상술한 움직임 벡터에 기초하여 차선 검출 신뢰도를 계산한다.(S500) Next, the lane detection reliability is calculated on the basis of the edge strength (hereinafter, lane edge strength) of the edge indicating the lane of the current frame edge and the motion vector described above (S500).
차선 검출 신뢰도 계산부(160)는 다음 수학식 1을 통해 차선 검출 신뢰도를 계산한다.The lane detection
<수힉식1>However,
여기서, w￢1은 움직임 벡터에 관한 제1 가중치를 의미하며, w￢2는 차선에지강도에 관한 제2 가중치를 의미한다. 일실시예에 있어서, 차선에지강도는 소벨 마스크(sobel mask)를 이용하여 영상의 현재 프레임으로부터 검출한 에지 중 차선으로 선택된 에지의 각 화소들에 대한 밝기 값의 합을 의미한다.
Here w? 1 means a first weight for a motion vector, and w? 2 means a second weight for a lane edge strength. In one embodiment, the lane edge intensity is the sum of the brightness values for the pixels of the edge selected as the lane among the edges detected from the current frame of the image using the Sobel mask.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications, substitutions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. will be. Therefore, the embodiments disclosed in the present invention and the accompanying drawings are intended to illustrate and not to limit the technical spirit of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments and the accompanying drawings . The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.
110 : 에지 검출부
120 : 차선 인식부
130 : 특징점 산출부
140 : 저장부
150 : 움직임 벡터 생성부
160 : 차선 검출 신뢰도 계산부110: edge detector
120: lane recognition section
130: minutiae point calculating section
140:
150: a motion vector generating unit
160: lane detection reliability calculation unit
Claims (8)
a)상기 영상의 프레임에서 에지를 검출하는 단계;
b)검출된 상기 에지로부터 차선을 인식하는 단계;
c)인식된 상기 차선의 특징점을 산출하는 단계;
d)상기 프레임이 상기 영상의 최초 프레임이 아닌 경우, 상기 영상의 현재 프레임의 특징점과 저장된 적어도 하나의 이전 프레임의 특징점의 차이를 계산하여 움직임 벡터를 생성하는 단계;및
e)상기 현재 프레임의 에지 중 차선을 나타내는 에지의 에지강도와 상기 움직임 벡터에 기초하여 차선 검출 신뢰도를 계산하는 단계
를 포함하는 차선 검출의 신뢰도 계산방법.A method for calculating reliability of lane detection based on an image obtained from a video device,
a) detecting an edge in a frame of the image;
b) recognizing a lane from the detected edge;
c) calculating feature points of the recognized lane;
d) generating a motion vector by calculating a difference between a feature point of a current frame of the image and a feature point of at least one previous frame when the frame is not the first frame of the image;
e) calculating the lane detection reliability based on the edge strength of the edge representing the lane of the edge of the current frame and the motion vector
And calculating the reliability of the lane detection.
상기 e)단계의 신뢰도는,
상기 움직임 벡터의 크기와 상기 에지강도의 함수로 나타나는 것을 특징으로 하는 차선 검출의 신뢰도 계산방법.The method according to claim 1,
The reliability of step e)
Wherein the reliability of the lane detection is expressed by a function of the magnitude of the motion vector and the edge strength.
상기 e)단계의 신뢰도는,
상기 움직임 벡터의 크기와 상기 에지강도의 가중합으로 계산되는 것을 특징으로 하는 차선 검출의 신뢰도 계산방법.3. The method of claim 2,
The reliability of step e)
And calculating a weighted sum of the magnitude of the motion vector and the edge intensity.
상기 e)단계의 신뢰도는,
상기 움직임 벡터의 크기의 합에 제1 가중치를 곱한 값과, 상기 에지강도의 합에 1에서 제2 가중치를 뺀 값을 곱한 값의 합으로 나타나는 것을 특징으로 하는 차선 검출의 신뢰도 계산방법.The method of claim 3,
The reliability of step e)
Wherein a sum of the magnitudes of the motion vectors multiplied by a first weight is multiplied by a value obtained by multiplying the sum of the edge intensities by a value obtained by subtracting a second weight from one.
상기 영상의 프레임에서 에지를 검출하는 에지 검출부;
검출된 상기 에지로 차선을 인식하는 차선 인식부;
인식된 상기 차선의 특징점을 산출하는 특징점 산출부;
상기 차선의 특징점을 저장하는 저장부;
상기 영상의 현재 프레임의 특징점과 상기 저장부에 저장된 적어도 둘의 이전 프레임의 특징점의 차이를 계산하여 움직임 벡터를 생성하는 움직임 벡터 생성부;및
상기 현재 프레임의 에지 중 차선을 나타내는 에지의 강도와 상기 움직임 벡터에 기초하여 차선 검출 신뢰도를 계산하는 차선 검출 신뢰도 계산부
를 포함하는 차선 검출의 신뢰도 계산장치.An apparatus for calculating a reliability of lane detection based on an image obtained from a video apparatus,
An edge detector for detecting an edge in a frame of the image;
A lane recognition unit for recognizing a lane with the detected edge;
A minutiae point calculating unit for calculating minutiae points of the recognized lane;
A storage unit for storing characteristic points of the lane;
A motion vector generation unit for generating a motion vector by calculating a difference between a feature point of a current frame of the image and a feature point of at least two previous frames stored in the storage unit;
A lane detection reliability calculation section for calculating a lane detection reliability based on the intensity of an edge representing a lane of an edge of the current frame and the motion vector,
The reliability of the lane detection is calculated.
상기 신뢰도는,
상기 움직임 벡터의 크기와 상기 강도의 함수로 나타나는 것을 특징으로 하는 차선 검출의 신뢰도 계산장치.6. The method of claim 5,
The reliability,
Wherein the reliability of the lane detection is expressed by a function of the magnitude of the motion vector and the intensity.
상기 신뢰도는
상기 움직임 벡터의 크기와 상기 에지강도의 가중합으로 계산되는 것을 특징으로 하는 차선 검출의 신뢰도 계산장치.The method according to claim 6,
The reliability
And calculating a weighted sum of the magnitude of the motion vector and the edge intensity.
상기 움직임 벡터의 크기의 합에 제1 가중치를 곱한 값과, 상기 에지강도의 합에 1에서 제2 가중치를 뺀 값을 곱한 값의 합으로 나타나는 것을 특징으로 하는 차선 검출의 신뢰도 계산장치.
8. The method of claim 7,
And a sum of values obtained by multiplying a sum of magnitudes of the motion vectors by a first weight and a value obtained by multiplying a sum of the edge intensities by a value obtained by subtracting a first weight from a first weight.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120071924A KR101912085B1 (en) | 2012-07-02 | 2012-07-02 | Reliability calaulation method of lane detection and Apparatus for calcaulating for performing thereof |
| CN201310205432.1A CN103523021B (en) | 2012-07-02 | 2013-05-29 | Lane detection confidence level method of calculating and perform its computer device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120071924A KR101912085B1 (en) | 2012-07-02 | 2012-07-02 | Reliability calaulation method of lane detection and Apparatus for calcaulating for performing thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140004410A KR20140004410A (en) | 2014-01-13 |
| KR101912085B1 true KR101912085B1 (en) | 2018-10-26 |
Family
ID=49925486
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120071924A KR101912085B1 (en) | 2012-07-02 | 2012-07-02 | Reliability calaulation method of lane detection and Apparatus for calcaulating for performing thereof |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101912085B1 (en) |
| CN (1) | CN103523021B (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105292122B (en) * | 2015-10-22 | 2018-07-06 | 四川膨旭科技有限公司 | The method that road conditions are identified in vehicle travel process |
| CN106652097A (en) * | 2016-12-16 | 2017-05-10 | 东莞市炫彩光电科技有限公司 | Multifunctional event data recorder and control method of mobile terminal APP |
| CN107697154B (en) * | 2017-08-30 | 2019-11-22 | 宝沃汽车（中国）有限公司 | Steering angle correcting method, electronic power assist steering system and vehicle |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3630100B2 (en) | 2000-12-27 | 2005-03-16 | 日産自動車株式会社 | Lane detection device |
| JP2006331389A (en) | 2005-04-26 | 2006-12-07 | Fuji Heavy Ind Ltd | Lane recognition apparatus |
| JP2009252198A (en) | 2008-04-11 | 2009-10-29 | Suzuki Motor Corp | Travel environment presuming device, method and program, and traffic lane deviation alarm device and steering assisting apparatus |
| JP2010170488A (en) | 2009-01-26 | 2010-08-05 | Nissan Motor Co Ltd | Lane recognition device, and lane recognition method |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05314396A (en) * | 1992-05-13 | 1993-11-26 | Omron Corp | Continuous line tracking device |
| JP4162618B2 (en) * | 2004-03-12 | 2008-10-08 | 株式会社豊田中央研究所 | Lane boundary judgment device |
| JP4539415B2 (en) * | 2005-04-15 | 2010-09-08 | 株式会社デンソー | Image processing device |
| JP2007011490A (en) * | 2005-06-28 | 2007-01-18 | Toyota Motor Corp | Device and method for detecting road parameter |
| JP4923520B2 (en) * | 2005-11-07 | 2012-04-25 | 日産自動車株式会社 | VEHICLE POSITION ESTIMATION DEVICE, VEHICLE TRAVEL SUPPORT DEVICE, AND VEHICLE POSITION ESTIMATION METHOD |
| KR100956858B1 (en) * | 2009-05-19 | 2010-05-11 | 주식회사 이미지넥스트 | Sensing method and apparatus of lane departure using vehicle around image |
| CN101567086B (en) * | 2009-06-03 | 2014-01-08 | 北京中星微电子有限公司 | Method of lane line detection and equipment thereof |
| CN102385698A (en) * | 2011-10-26 | 2012-03-21 | 潘承志 | Image processing method based on belief propagation |
-
2012
- 2012-07-02 KR KR1020120071924A patent/KR101912085B1/en active IP Right Grant
-
2013
- 2013-05-29 CN CN201310205432.1A patent/CN103523021B/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3630100B2 (en) | 2000-12-27 | 2005-03-16 | 日産自動車株式会社 | Lane detection device |
| JP2006331389A (en) | 2005-04-26 | 2006-12-07 | Fuji Heavy Ind Ltd | Lane recognition apparatus |
| JP2009252198A (en) | 2008-04-11 | 2009-10-29 | Suzuki Motor Corp | Travel environment presuming device, method and program, and traffic lane deviation alarm device and steering assisting apparatus |
| JP2010170488A (en) | 2009-01-26 | 2010-08-05 | Nissan Motor Co Ltd | Lane recognition device, and lane recognition method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20140004410A (en) | 2014-01-13 |
| CN103523021B (en) | 2016-01-20 |
| CN103523021A (en) | 2014-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10591292B2 (en) | Method and device for movable object distance detection, and aerial vehicle | |
| EP2422320B1 (en) | Object detection device | |
| JP6477882B2 (en) | Self-position estimation apparatus and self-position estimation method | |
| US7542835B2 (en) | Vehicle image processing device | |
| EP2741256B1 (en) | Moving body detection device and method | |
| CN106447730B (en) | Parameter estimation method and device and electronic equipment | |
| US20150329049A1 (en) | Object detection device, driving assistance device, object detection method, and object detection program | |
| US20150262365A1 (en) | Image processing device and image processing method | |
| EP2178044A1 (en) | On-vehicle image processing device | |
| JP6708730B2 (en) | Mobile | |
| EP2894618B1 (en) | Speed calculating device and speed calculating method, and collision determination device | |
| US11151395B2 (en) | Roadside object detection device, roadside object detection method, and roadside object detection system | |
| JP6496585B2 (en) | Object recognition device | |
| WO2018211930A1 (en) | Object detection device, object detection method, and computer-readable recording medium | |
| JP2013137767A (en) | Obstacle detection method and driver support system | |
| KR101912085B1 (en) | Reliability calaulation method of lane detection and Apparatus for calcaulating for performing thereof | |
| US9041778B2 (en) | Image processing device and method of processing image | |
| JP6577595B2 (en) | Vehicle external recognition device | |
| US10783350B2 (en) | Method and device for controlling a driver assistance system by using a stereo camera system including a first and a second camera | |
| CN114037977B (en) | Road vanishing point detection method, device, equipment and storage medium | |
| JP5785515B2 (en) | Pedestrian detection device and method, and vehicle collision determination device | |
| CN112400094B (en) | Object detecting device | |
| US20190156512A1 (en) | Estimation method, estimation apparatus, and non-transitory computer-readable storage medium | |
| JP4239834B2 (en) | Object detection device | |
| JP6564682B2 (en) | Object detection device, object detection method, and object detection program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |