KR101480431B1 - Apparatus and method of warnning about lane departure of vehicle - Google Patents

Apparatus and method of warnning about lane departure of vehicle Download PDF

Info

Publication number
KR101480431B1
KR101480431B1 KR1020130101201A KR20130101201A KR101480431B1 KR 101480431 B1 KR101480431 B1 KR 101480431B1 KR 1020130101201 A KR1020130101201 A KR 1020130101201A KR 20130101201 A KR20130101201 A KR 20130101201A KR 101480431 B1 KR101480431 B1 KR 101480431B1
Authority
KR
South Korea
Prior art keywords
lane
angle
vehicle
departure
vanishing point
Prior art date
Application number
KR1020130101201A
Other languages
Korean (ko)
Inventor
김남현
Original Assignee
현대오트론 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오트론 주식회사 filed Critical 현대오트론 주식회사
Priority to KR1020130101201A priority Critical patent/KR101480431B1/en
Application granted granted Critical
Publication of KR101480431B1 publication Critical patent/KR101480431B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • B60Y2300/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/90—Driver alarms

Abstract

The present invention relates to an apparatus and method for warning about lane departure, which warn a driver of lane departure using a rear image of a vehicle, which is taken by a rear camera device mounted on a rear part of the vehicle. Since the rear camera device is mounted on the rear part of the vehicle to be less exposed to foreign substances or filth, the rear camera device may be less disturbed when capturing an image. Because a method used in a conventional lane departure warning system (LDWS) using front images cannot be applied as it is in the case of using an image taken by a rear camera, the present invention provides an LDWS method and apparatus using an image taken by a rear camera. The apparatus for warning about lane departure includes: a lane recognition unit; vanishing point calculation unit; and a lane departure determination unit.

Description

차선 이탈 경고 장치 및 방법{APPARATUS AND METHOD OF WARNNING ABOUT LANE DEPARTURE OF VEHICLE}[0001] APPARATUS AND METHOD OF WARNING ABOUT LANE DEPARTURE OF VEHICLE [0002]

본 발명은 차량의 차선 이탈을 경고하는 장치와 방법에 관한 것이다. 보다 자세하게는, 차량 후방에 장착된 카메라가 촬영한 영상을 분석하여 차량이 진행중인 차로의 차선을 이탈하는 것을 인식하고 이를 운전자에게 경고하는 장치와 방법에 관한 것이다.The present invention relates to an apparatus and a method for warning a lane departure of a vehicle. More particularly, the present invention relates to a device and a method for recognizing that a vehicle deviates from an in-progress lane by analyzing an image taken by a camera mounted on the rear of the vehicle, and alerts the driver of the deviation.

현재 차량에는 운전자의 안전 운행을 돕기 위한 장치가 개발되어 사용되고 있다. 그 중에서 가장 대표적인 것이 차량이 차선을 지키는지 여부를 체크하고, 진행중인 차로의 차선을 이탈하려는 경우 이를 운전자에게 알려주는 LDWS(Lane Departure Warning System)이 있다.Currently, a device has been developed and used to assist drivers in safe driving. The most representative of these is the Lane Departure Warning System (LDWS), which checks whether the vehicle is keeping the lane and informs the driver if he or she wants to leave the lane in progress.

현재 널리 사용되고 있는 LDWS는 차량의 전방에 설치된 카메라가 촬영하는 전방 영상을 분석하여 차선 이탈 여부를 판단한다. 하지만, 카메라가 전방에 설치되어 있음으로 인해서, 차량 주행 중에 차량 진행 방향에서 차량 쪽으로 발생하는 오물질이 카메라의 시야를 가릴 수 있는 경우가 발생한다. LDWS, which is widely used now, analyzes the forward image taken by the camera installed in the front of the vehicle to judge whether or not the lane departure occurs. However, due to the fact that the camera is installed at the front side, there may occur a case where the camera is visually obscured by a mistake that occurs in the vehicle toward the vehicle during driving.

이를 위해서 카메라를 후방에 설치하여, 차량 주행 중에 차량 진행 방향에서 발생하는 오물질을 피하는 방법이 대두되고 있다. 카메라를 후방에 설치하게 됨으로써, 기존의 전방에 카메라를 설치하여 차선 이탈 여부를 판단하는 방법을 그대로 적용할 수 없는 문제점이 나타난다. 따라서, 이러한 문제점을 해결하고 후방 카메라를 이용한 차선 이탈 경고 장치 및 방법이 필요하다.For this purpose, a method for avoiding a mistake occurring in the traveling direction of the vehicle while the vehicle is running has been proposed by providing the camera at the rear side. It is impossible to directly apply the method of determining whether or not the vehicle is departing from the lane by installing the camera in the front of the existing vehicle. Accordingly, there is a need for an apparatus and method for warning of lane departure using a rear camera to solve such a problem.

한국공개특허 제2006-0083674호Korean Patent Publication No. 2006-0083674

본 발명이 해결하고자 하는 기술적 과제는 차량 후방 카메라가 촬영한 영상을 분석하여 차선을 인식하고, 상기 차량이 상기 인식된 차선을 이탈하는지 여부를 판단하여 운전자에게 경고하는 장치를 제공하는 것이다.An object of the present invention is to provide a device for recognizing a lane by analyzing an image taken by a rearview camera of a vehicle and for warning the driver of whether or not the vehicle deviates from the recognized lane.

본 발명이 해결하고자 하는 다른 기술적 과제는 차량 후방 카메라가 촬영한 영상을 분석하여 차선을 인식하고, 상기 차량이 상기 인식된 차선을 이탈하는지 여부를 판단하여 운전자에게 경고하는 방법을 제공하는 것이다.Another object of the present invention is to provide a method of recognizing a lane by analyzing an image taken by a rearview camera of a vehicle and warning the driver of whether or not the vehicle leaves the recognized lane.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해 될 수 있을 것이다.The technical objects of the present invention are not limited to the above-mentioned technical problems, and other technical subjects not mentioned can be clearly understood by those skilled in the art from the following description.

상기 기술적 과제를 달성하기 위한 본 발명의 일 태양에 따른 차선 이탈 경고 장치는 차량 후방 영상을 제공 받고, 상기 차량 후방 영상에서 차량이 진행중인 차로의 좌측 차선 및 우측 차선을 인식하는 차선 인식부; 상기 우측 차선의 가상 연장선과 상기 좌측 차선의 가상 연장선이 만나는 제1 소실점의 위치를 계산하고, 상기 차량의 좌측면 후방 연장선과 우측면 후방 연장선이 만나서 형성하는 제2 소실점의 위치와 상기 계산된 제1 소실점의 위치를 이용하여, 가상의 중심점을 기준으로 상기 제1 소실점과 제2 소실점이 형성하는 소실점 사잇각을 계산하는 소실점 계산부; 및 상기 소실점 사잇각을 이용하여 차선 이탈 여부와 관련된 판정을 수행하는 차선 이탈 판단부를 포함한다.According to another aspect of the present invention, there is provided a lane departure warning apparatus comprising: a lane recognition unit for receiving a rear view image of a vehicle and recognizing a left lane and a right lane of a lane in which the vehicle is running, Calculating a position of a first vanishing point where a virtual extension line of the right lane meets a virtual extension line of the left lane and calculating a position of a second vanishing point formed by the left side rear extension line and the right side rear extension line of the vehicle, A vanishing point calculator for calculating a vanishing point angle formed by the first vanishing point and the second vanishing point based on a virtual center point using the vanishing point position; And a lane departure determination unit for performing a determination related to whether or not the lane departure is made using the vanishing point angle.

일 실시예에 따르면, 상기 차선 이탈 경고 장치는 상기 우측 차선이 가상의 수평선과 형성하는 우측 차선각, 상기 좌측 차선이 가상의 수평선과 형성하는 좌측 차선각, 상기 차량의 좌측면 후방 연장선과 가상의 수평선 사이의 좌측면각 및 상기 차량의 우측면 후방 연장선과 가상의 수평선 사이의 우측면각 을 연산하는 차선각 계산부를 더 포함하되, 상기 차선 이탈 판단부는 상기 소실점 사잇각이 주행상태 기준각보다 작은 경우에는 상기 좌측 차선각, 상기 우측 차선각, 좌측 차선 기준각 및 우측 차선 기준각을 이용하여 차선 이탈을 판단할 수도 있다.According to one embodiment, the lane departure warning device may be configured such that the lane departure warning device includes a right lane angle formed by the right lane with a virtual horizontal line, a left lane angle formed by the left lane with a virtual horizontal line, A lane departure determination unit for calculating a left side angle between a horizontal line and a right side angle between a rearward extension line of the right side surface of the vehicle and a virtual horizontal line and the lane departure determination unit determines that the left side The lane departure may be determined using the lane angle, the right lane angle, the left lane reference angle, and the right lane reference angle.

일 실시예에 따르면, 상기 차선 이탈 판단부는 상기 소실점 사잇각이 소정의 주행상태 기준각보다 작고 상기 우측 차선각이 소정의 이탈각보다 크면 우측 차선을 이탈하는 것으로 판단할수 있다.According to an embodiment, the lane departure determination unit may determine that the vehicle departs from the right lane when the angle of incidence is smaller than a predetermined traveling state reference angle and the right lane angle is greater than a predetermined angle of departure.

일 실시예에 따르면, 상기 소실점 사잇각이 상기 주행상태 기준각보다 작고 상기 좌측 차선각이 상기 이탈각보다 크면 좌측 차선을 이탈하는 것으로 판단할 수도 있다.According to an embodiment, it may be determined that the left lane departs when the vanishing point angle is smaller than the traveling state reference angle and the left lane angle is larger than the departure angle.

일 실시예에 따르면, 상기 차선 이탈 판단부는, 상기 소실점 사잇각이 주행상태 기준각보다 같거나 큰 경우에는 차선 이탈까지 남은 시간을 경고로 알려줄 수도 있다.According to an embodiment, when the vanishing point angle is equal to or larger than the traveling state reference angle, the lane departure determination unit may notify the remaining time until the lane departure is warned.

일 실시예에 따르면, 상기 차선 이탈 판단부는 상기 소실점 사잇각이 주행상태 기준각보다 같거나 큰 경우, 상기 제2 소실점이 상기 제1 소실점보다 오른쪽에 있는 경우 차량은 상기 우측 차선을 향해 진행하여 상기 우측 차선을 이탈하려는 것으로 판단하고, 상기 차량의 전단 위치에서 상기 이탈하려는 상기 차선 상의 이탈 예상 지점까지의 이탈 거리를 계산하고, 상기 이탈 거리와 차량의 주행 상태를 바탕으로 차선 이탈까지 남은 시간을 계산할 수도 있다.According to an embodiment, when the vanishing point angle is equal to or greater than the traveling state reference angle, the lane departure determination unit proceeds to the right lane when the second vanishing point is located to the right of the first vanishing point, It is possible to calculate the departure distance from the front end position of the vehicle to the departure expected point on the lane to be departed and to calculate the remaining time until the departure of the lane based on the departure distance and the traveling state of the vehicle have.

일 실시예에 따르면, 상기 차선 이탈 판단부는 상기 소실점 사잇각이 주행상태 기준각보다 같거나 큰 경우, 상기 제2 소실점이 상기 제1 소실점보다 왼쪽에 있는 경우 상기 차량은 상기 좌측 차선을 향해 진행하여 상기 좌측 차선을 이탈하려는 것으로 판단하며, 상기 차량의 전단 위치에서 상기 이탈하려는 상기 차선 상의 이탈 예상 지점까지의 이탈 거리를 계산하고, 상기 이탈 거리와 차량의 주행 상태를 바탕으로 차선 이탈까지 남은 시간을 계산할 수도 있다.According to an embodiment, when the vanishing point angle is greater than or equal to the traveling state reference angle, the lane departure determination unit proceeds to the left lane when the second vanishing point is located to the left of the first vanishing point, A departure distance from the front end position of the vehicle to the expected departure point on the lane to be departed is calculated and a time remaining until the lane departure is calculated based on the departure distance and the traveling state of the vehicle It is possible.

일 실시예에 따르면, 상기 차량의 전단 위치는 상기 차량이 이탈하려는 방향의 차량 측면을 전방 방향으로 연장한 측면 전방 연장선 상에서 상기 차량의 후미에서부터 상기 차량의 자체 길이만큼 전방에 위치한 지점일 수도 있다.According to one embodiment, the front end position of the vehicle may be a position located forward from the rear of the vehicle on its side front extension line extending in the front direction, the vehicle side in the direction in which the vehicle is to be disengaged, by the self length of the vehicle.

일 실시예에 따르면, 상기 이탈 예상 지점은 상기 차량이 이탈하려는 방향의 차량 측면을 전방 방향으로 연장한 상기 차량의 좌측면 전방 연장선 또는 우측면 전방 연장선 중 어느 하나와 상기 이탈하려는 차선이 만나는 지점일 수도 있다.According to one embodiment, the departure expected point may be the point at which the lane to be departed meets with either the left side front extension line or the right side front extension line of the vehicle, which extends the vehicle side in the direction in which the vehicle is departing in the forward direction have.

일 실시예에 따르면, 상기 가상의 중심점은 상기 차량 후방 영상의 수직 방향 중심선 상에 위치할 수도 있다.According to one embodiment, the virtual center point may be located on the vertical center line of the vehicle rear image.

일 실시예에 따르면, 상기 차선 이탈 경고 장치는 상기 차량의 후미에 형성된 홈 내부에 장착되고, 상기 차량 후방 영상을 상기 차선 인식부에 제공하는 후방 카메라 장치를 더 포함할 수도 있다.According to one embodiment, the lane departure warning apparatus may further include a rear camera device mounted inside the groove formed at the rear of the vehicle, and providing the vehicle rear image to the lane recognition section.

상기 기술적 과제를 달성하기 위한 본 발명의 다른 태양에 따른 차선 이탈 경고 방법은 차량 후방 영상에서 차량이 진행중인 차로의 좌측 차선과 우측 차선을 인식하는 단계; 상기 좌측 차선의 가상의 연장선과 상기 우측 차선의 가상의 연장선이 만나는 제1 소실점의 위치를 계산하는 단계; 상기 차량의 좌측면 후방 연장선과 우측면 후방 연장선이 만나는 제2 소실점의 위치와 상기 계산된 제1 소실점의 위치를 이용하여, 가상의 중심점을 기준으로 상기 제1 소실점과 제2 소실점이 형성하는 소실점 사잇각을 계산하는 단계; 상기 소실점 사잇각을 소정의 주행상태 기준각과 비교하는 단계; 상기 비교하는 단계의 결과에 따라서 이탈 여부와 관련된 판정을 하는 단계를 포함한다.According to another aspect of the present invention, there is provided a lane departure warning method comprising: recognizing a left lane and a right lane of a lane in which a vehicle is in progress from a vehicle rear image; Calculating a position of a first vanishing point where an imaginary extension line of the left lane meets an imaginary extension line of the right lane; A second vanishing point formed by the first vanishing point and the second vanishing point on the basis of the imaginary center point by using the calculated position of the vanishing point and the position of the second vanishing point where the backward extending line of the left- ; Comparing the vanishing point angle with a predetermined running condition reference angle; And making a determination related to whether or not to depart according to the result of the comparing step.

일 실시예에 따르면, 상기 비교하는 단계의 결과가 상기 소실점 사잇각이 상기 소정의 주행상태 기준각보다 작은 것으로 판단된 경우에 상기 차선 이탈 여부와 관련된 판정을 하는 단계는, 상기 우측 차선이 가상의 수평선과 형성하는 우측 차선각을 계산하는 단계; 상기 좌측 차선이 상기 가상의 수평선과 형성하는 좌측 차선각을 계산하는 단계; 및 상기 우측 차선각이 소정의 이탈각보다 크면 우측 차선을 이탈하는 것으로 판단하고, 상기 좌측 차선각이 상기 이탈각보다 크면 좌측 차선을 이탈하는 것으로 판단하는 단계를 포함할 수도 있다.According to an embodiment, when the result of the comparing step is that the vanishing point is determined to be smaller than the predetermined traveling state reference angle, Calculating a right lane angle to be formed; Calculating a left lane angle formed by the left lane with the imaginary horizontal line; And determining that the right lane departs from the right lane if the right lane angle is greater than the predetermined departure angle and that the left lane departs from the left lane if the left lane angle is greater than the departure angle.

일 실시예에 따르면, 상기 비교하는 단계의 결과가 상기 소실점 사잇각이 상기 소정의 주행상태 기준각보다 같거나 크다고 판단된 경우에 상기 차선 이탈 여부와 관련된 판정을 하는 단계는, 상기 제2 소실점이 상기 제1 소실점보다 오른쪽 있는 경우 차량이 우측 차선을 이탈하려는 것으로 판단하고, 상기 제2 소실점이 상기 제1 소실점보다 왼쪽에 있는 경우 상기 차량이 상기 좌측 차선을 이탈하라는 것으로 판단하는 단계; 및 상기 차량의 전단 위치에서 상기 이탈하려는 차선 상의 이탈 예상 지점을 계산하는 단계; 상기 이탈 예상 지점까지의 이탈 거리를 계산하는 단계; 및 상기 이탈거리와 상기 차량의 주행 상태를 바탕으로 차선 이탈까지 남은 시간을 계산하는 단계를 포함할 수도 있다.According to an embodiment, when the result of the comparing step is that the vanishing point is determined to be equal to or larger than the predetermined running state reference angle, the step of making a determination related to whether or not the lane departure is made, Determining that the vehicle is departing from the right lane if it is located to the right of the first vanishing point and determining that the vehicle leaves the left lane if the second vanishing point is located to the left of the first vanishing point; Calculating a departure expected point on the lane to depart from the front end position of the vehicle; Calculating a departure distance to the departure expected point; And calculating a time remaining until the lane departure on the basis of the departure distance and the running state of the vehicle.

본 발명에 따르면, 카메라 후방 영상을 분석하여 차량이 차선을 이탈하는지 여부를 판단하여 운전자에게 경고함으로써 운전자가 안전운행을 하도록 도울 수 있는 효과가 있다.According to the present invention, there is an effect that the driver can safely drive by analyzing the backward image of the camera to determine whether or not the vehicle leaves the lane and alert the driver.

도 1a 내지 도 1b는 본 발명의 일 실시예에 따른, 후방에 카메라가 장착된 차량이 도로 상에서 주행 중인 모습을 나타낸 모습이다.
도 2는 본 발명의 일 실시예에 따른, 차선 이탈 경고 장치의 구성도이다.
도 3a 내지 도 3b는 본 발명의 일 실시예에 따른, 차량에 장착된 후방 카메라가 촬영한 후방 영상과 상기 영상에서 차로의 차선을 인식한 화면이다.
도 4a 내지 도 4b는 본 발명의 일 실시예에 따른, 인식된 차선이 만나는 소실점과 차량의 좌우 측면의 연장선이 만나는 소실점을 함께 나타낸 화면이다.
도 5는 본 발명의 일 실시예에 따른, 차량 후방 영상에 인식된 차선과 차량의 좌우 측면의 연장선을 표시하고 각 차선과 각 연장선이 화면 하단과 형성하는 각도를 표시한 화면이다.
도 6a 내지 도 7b는 본 발명의 일 실시예에 따른, 제1 소실점과 제2 소실점이 일치하는 경우에 차선 이탈이 발생하는 화면이다.
도 8a 내지 도 8b는 본 발명의 일 실시예에 따른, 제1 소실점과 제2 소실점이 일치하지 않는 경우에 차선 이탈이 발생하는 상황과 상기 상황일 때 후방 카메라 영상을 분석한 화면이다.
도 9는 본 발명의 일 실시예에 따른, 차선 이탈 경고 방법을 나타내는 순서도이다.1A and 1B are views showing a vehicle on which a camera mounted on a rear side is traveling on a road, according to an embodiment of the present invention.
2 is a configuration diagram of a lane departure warning apparatus according to an embodiment of the present invention.
FIGS. 3A and 3B are views of a rear image captured by a rear camera mounted on a vehicle and a lane of a lane in the image, according to an embodiment of the present invention.
4A and 4B are views illustrating a vanishing point where a vanishing point at which a recognized lane meets and an extension line of a left and right side of a vehicle meets a vanishing point according to an embodiment of the present invention.
FIG. 5 is a view showing lanes recognized in a vehicle rear image and extension lines of left and right sides of the vehicle, and each lane and each extension line forming an angle with the bottom of the screen, according to an embodiment of the present invention.
FIGS. 6A and 7B are views illustrating a case where a lane departure occurs when the first vanishing point and the second vanishing point coincide with each other according to an embodiment of the present invention.
FIGS. 8A and 8B are views illustrating a situation in which a lane departure occurs when the first vanishing point and the second vanishing point do not coincide with each other, and a rear camera image in the above-described situation, according to an embodiment of the present invention.
9 is a flowchart illustrating a lane departure warning method according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs. Also, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise.

먼저, 도 1를 참조하여 본 발명인 상기 후방 카메라(110)가 촬영한 영상을 이용한 차선 이탈 경고 장치(100)를 설명한다. First, a lane departure warning apparatus 100 using an image photographed by the rear camera 110 according to the present invention will be described with reference to FIG.

도 1에는, 발명의 일 실시예에 따른 차선 이탈 경고 장치의 구성도가 도시되어 있다. 차선 이탈 경고 장치(100)는 카메라 장치(110), 차선 인식부(120), 소실점 계산부(130), 차선각 계산부(140), 차선 이탈 판단부(150) 및 경고 장치(160)을 포함할 수 있다.Fig. 1 shows a configuration diagram of a lane departure warning apparatus according to an embodiment of the present invention. The lane departure warning apparatus 100 includes a camera unit 110, a lane recognition unit 120, a vanishing point calculation unit 130, a lane angle calculation unit 140, a lane departure determination unit 150, and a warning device 160 .

카메라 장치(110)는 차량의 후방 영상을 촬영하고 영상 신호를 출력할 수 있다. 이를 위해서 카메라 장치(110)는 차량(105)의 후미에 설치가 된다. 카메라 장치(110)는 도 2a 및 도 2b의 설명에서 자세히 다루기로 한다.The camera device 110 can photograph a rear image of the vehicle and output a video signal. For this purpose, the camera device 110 is installed at the rear of the vehicle 105. The camera device 110 will be described in detail in FIGS. 2A and 2B.

차선 인식부(120)은 상기 카메라 장치(110)가 출력하는 영상 신호를 제공 받아 상기 영상에서 차선을 인식하고, 상기 인식된 차선이 포함된 차선 정보를 생성할 수 있다. 차선 인식부(120)가 영상에서 차선을 인식하는 것은 도 3a 내지 도 3c의 설명에서 자세히 다루기로 한다.The lane recognition unit 120 may receive a video signal output from the camera device 110, recognize a lane in the image, and generate lane information including the recognized lane. The lane recognition unit 120 recognizes the lane in the image will be described in detail in Figs. 3A to 3C.

소실점 계산부(130)은 차선 인식부(120)가 제공하는 상기 차선 정보에서 상기 인식된 차선을 가상으로 연장하여 만나는 지점인 제1 소실점을 찾을 수 있다. 상기 제1 소실점은 차량이 차선 안에서 정주행 하고 있는지 여부, 차선을 이탈하였는지 여부 및 차선을 이탈할 예정인지 여부를 판단할 때 이용된다. 소실점 계산부(130)의 동작은 도 4a 및 도 4b의 설명에서 자세히 다루기로 한다.The vanishing point calculation unit 130 can virtually extend the recognized lane from the lane information provided by the lane recognition unit 120 to find the first vanishing point where the vanishing point is met. The first vanishing point is used to determine whether the vehicle is traveling in a lane, whether or not the lane has departed, and whether the lane is to depart. The operation of the vanishing point calculator 130 will be described in detail in FIGS. 4A and 4B.

차선각 계산부(140)는 차선 인식부(120)가 제공하는 상기 차선 정보에서 상기 인식된 차선과 가상의 수평선이 형성하는 차선각을 계산할 수 있다. 상기 차선각은 차량이 차선 내에서 정주행 중인지 여부, 차선을 이탈했는지 여부를 판단할 때 이용된다. 차선각 계산부(140)의 동작은 도 5의 설명에서 자세히 다루기로 한다.The lane angle calculation unit 140 may calculate a lane angle formed by the recognized lane and a virtual horizontal line in the lane information provided by the lane recognition unit 120. [ The lane angle is used to determine whether the vehicle is traveling in a lane or whether it has departed from the lane. The operation of the lane angle calculation unit 140 will be described in detail in the description of FIG.

차선 이탈 판단부(150)은 차선 인식부(120)가 생성한 상기 인식된 차선이 표시된 영상, 소실점 계산부(130)가 생성하는 상기 제1 소실점, 차선각 계산부(140)가 생성하는 상기 차선각을 이용하여, 차량이 주행중인 차로의 차선을 이탈 여부와 관련된 판정을 수행할 수 있다. The lane departure determination unit 150 may include an image of the recognized lane generated by the lane recognition unit 120, the first vanishing point generated by the vanishing point calculation unit 130, the first vanishing point generated by the lane angle calculation unit 140, The lane angle can be used to perform a determination related to whether or not the vehicle leaves the lane with the vehicle being driven.

차선 이탈 판단부(150)은 상기 판정을 수행하기 위해서 차량(105)의 좌측면 후방 연장선 과 우측면 후방 연장선에 대한 정보를 이용할 수 있다. 또한 상기 좌측면 후방 연장선과 상기 우측면 후방 연장선이 만나는 지점인 제2 소실점의 위치 정보를 이용할 수 있다. 상기 좌측면 후방 연장선은 차량(105)의 좌측면선을 차량(105)의 좌측면 후미에서 후방 방향으로 연장한 선이다. 상기 우측면 후방 연장선은 차량(105)의 우측면선을 차량(105)의 우측면 후미에서 후방 방향으로 연장한 선이다. 상기 좌측면 후방 연장선과 상기 우측면 후방 연장선은 차량의 폭에 의해서 결정이 되므로 차량의 폭이 변하지 않는 한 일정하게 유지되며, 상기 제2 소실점의 위치도 일정하게 유지가 된다. 따라서, 상기 좌측면 후방 연장선, 우측면 후방 연장선 및 제2 소실점의 위치는 사전에 정해질 수 있다.The lane departure determination unit 150 may use the information on the left side rear extension line and the right side rear extension line of the vehicle 105 to perform the determination. The position information of the second vanishing point, which is the position where the left side rear extension line and the right side rear extension line meet, can be used. The left-side rearward extension line is a line extending from the left rear end of the vehicle 105 in the rearward direction to the left-side line of the vehicle 105. [ The right side rear extension line is a line extending from the right side rear line of the vehicle 105 to the right side line of the vehicle 105 in the rear direction. Since the left rear extension line and the right rear extension line are determined by the width of the vehicle, they remain constant as long as the width of the vehicle is unchanged, and the position of the second vanishing point is also maintained constant. Thus, the positions of the left side rear extension, the right side rear extension, and the second vanishing point can be predetermined.

차선 이탈 판단부(150)은 상기 좌측면 후방 연장선, 상기 우측면 후방 연장선 및 상기 제2 소실점의 위치를 포함하는 측면 연장선 정보를 내부에 저장하고, 상기 저장된 측면 연장선 정보를 이용하여 차선 이탈 여부와 관련된 판정에 이용할 수 있다.The lane departure determination unit 150 stores therein side extension line information including the positions of the left side rear extension line, the right side rear extension line and the second vanishing point, and uses the stored side extension information to determine whether the lane departure It can be used for judgment.

차선 이탈 판단부(150)의 동작은 도 6a 내지 도 8b의 설명에서 상세히 다루기로 한다.The operation of the lane departure determination unit 150 will be described in detail with reference to FIGS. 6A to 8B.

경고 장치(160)은, 차선 이탈 판단부(150)가 차량(105)이 차선을 이탈했거나 이탈하려고 한다고 판단하는 경우에, 운전자에게 경고를 할 수 있다. 예를 들어, 경고 장치는 스피커, 알람 램프, LCD 디스플레이 및 진동 장치 중에서 적어도 하나를 포함할 수 있다. 운전자에게 경고는 상기 스피커를 이용한 소리, 알람 램프를 이용한 램프의 깜빡임, LCD 디스플레이를 이용한 텍스트 및 진동 잔치를 이용한 진동 중에서 적어도 하나 이상의 방식으로 이루어 질 수 있다.The warning device 160 can warn the driver when the lane departure determination section 150 determines that the vehicle 105 has departed or is about to leave the lane. For example, the warning device may include at least one of a speaker, an alarm lamp, an LCD display, and a vibrating device. The warning to the driver can be made by at least one of a sound using the speaker, a blinking of a lamp using an alarm lamp, a vibration using a text using an LCD display, and vibration using a vibration display.

다음으로, 도 2a 내지 도 8b를 참조하여 차선 이탈 경고 장치(100)의 각 구성요소의 동작을 설명하기로 한다.Next, the operation of each component of the lane departure warning apparatus 100 will be described with reference to FIGS. 2A to 8B.

도 2a 내지 도 2b를 참조하면, 후방 카메라 장치(110)의 설명하면 다음과 같다.Referring to FIGS. 2A and 2B, the rear camera device 110 will be described as follows.

후방 카메라 장치(110)은 차량(105)의 후미에 형성된 홈 내부에 장착될 수 있다. 예를 들어서, 차량(105)의 표면으로부터 카메라(110)의 길이만큼 내부로 들어간 홈(115)이 있고, 그 안에 카메라(110)이 장착이 될 수 있다. 카메라(110)는 차량의 후방을 촬영하기 위해 후방 쪽을 바라보게 장착이 될 수 있다. 내부로 들어간 홈(115)의 입구는 내부에 장착된 카메라(110)을 보호하고 위하여 투명한 재질로 막혀 있을 수 있다. The rear camera device 110 can be mounted inside the groove formed at the rear of the vehicle 105. [ For example, there is a groove 115 that extends inward by the length of the camera 110 from the surface of the vehicle 105, and the camera 110 can be mounted therein. The camera 110 may be mounted so as to face the rear side to photograph the rear of the vehicle. The entrance of the groove 115 into the inside may be closed with a transparent material to protect the camera 110 installed therein.

차량 후미의 내부에 카메라(110)가 장착됨으로써, 차량(105)의 전방에 카메라(110)가 장착된 것에 비하여, 차량(105)의 진행방향에서 발생하는 오물질에 카메라(110)가 노출되는 빈도가 더 줄어들기 때문에, 카메라(110)는 시야(112)의 방해를 받지 않고 촬영할 수 있는 시간이 더 늘어나는 유리한 효과가 있다. 예를 들어, 우천 시에 주행하는 경우 차량의 전방 카메라는 빗물과 부딪혀서 시야 확보가 어렵지만, 상기 후방 카메라 장치는 전방 카메라에 비해서 빗물과 부딪히는 회수가 줄어들기 때문에 시야 확보가 더 수월할 수 있다.The camera 110 is exposed to the mistake generated in the traveling direction of the vehicle 105 as compared with the case where the camera 110 is mounted in front of the vehicle 105 by mounting the camera 110 inside the rear portion of the vehicle Since the frequency is further reduced, the camera 110 has an advantageous effect in that it takes more time to shoot without being disturbed by the field of view 112. For example, when driving in a rainy day, it is difficult to secure a view through a front camera of a vehicle because it collides with rainwater. However, since the rear camera device reduces the number of times of collision with rainwater,

발명의 일 실시예에 따르면, 상기 후방 카메라 장치(110)는 차량 후미의 가운데 차량 폭 길이 방향으로 가운데 지점에 장착될 수 있다. 이하에서는, 설명의 편의를 위하여 상기 후방 카메라 장치(110)는 상기 지점에 장착된 것으로 가정하고 설명한다.According to an embodiment of the present invention, the rear camera device 110 may be mounted at a center point in the vehicle width direction in the middle of the rear of the vehicle. Hereinafter, for convenience of explanation, it is assumed that the rear camera device 110 is mounted at the point.

카메라(110)의 시야(112)는 양 쪽 차선(210, 220) 및 차량(105)의 후방을 포함한다. 카메라(110)는 차량 후미에 형성된 내부 공간(115)에 장착이 되어 있어, 후방의 시야에 제한이 있을 수 있으나 차량의 차선 이탈을 판단하기 위한 시야는 충분히 확보 할 수 있다.The field of view 112 of the camera 110 includes both lanes 210 and 220 and the rear of the vehicle 105. The camera 110 is mounted in the internal space 115 formed at the rear of the vehicle, so that there is a limitation on the rear view, but the view for judging the departure of the lane of the vehicle can be sufficiently secured.

도 3a 내지 도 3c를 참조하여, 차선 인식부(120)가 후방 카메라 장치(110)의 차량 후방 영상을 제공 받아서, 상기 차량 후방 영상에서 차선을 인식하는 것을 설명하면 다음과 같다.3A to 3C, the lane recognition unit 120 receives the vehicle rear image of the rear camera apparatus 110 and recognizes the lane in the rear image of the vehicle.

도 3a의 화면은 상기 차량 후방 영상의 한 예이다. 상기 차량 후방 영상에는 차량이 주행중인 차로의 차선(212, 214, 222, 224)이 보일 수 있다. 도로 상의 차선은 일직선일 수도 있지만, 상기 영상의 예에서 보듯이 추월 가능 차선은 일정한 길이의 파선 형태로 도로에 표시되어 있을 수 있다.3A is an example of the vehicle rear image. Lanes 212, 214, 222, and 224 of the vehicle in which the vehicle is traveling can be seen in the vehicle rear image. Although the lane on the road may be a straight line, as can be seen from the example of the image, the overtable lane may be displayed on the road in the form of a dashed line of a certain length.

차선 인식부(120)는 상기 차량 후방 영상에 있는 차선(212, 214, 222, 224)을 인식하여, 도 3b의 화면처럼 가상의 하나의 직선(210, 220)으로 형성된 차선 정보를 생성할 수 있다. 상기 차량 후방 영상에서 차선을 인식하는 방법은 한국 공개 특허 제2001-54117호 등과 같은 종래의 기술이 사용될 수 있으므로, 자세한 설명은 생략한다. The lane recognition unit 120 recognizes the lanes 212, 214, 222 and 224 in the vehicle rear image and generates lane information formed by one imaginary straight line 210 and 220 as shown in FIG. have. A conventional technique such as Korean Laid-Open Patent Publication No. 2001-54117 can be used as a method of recognizing a lane in the vehicle rear image, so that detailed description is omitted.

다시 도 3c를 참조하여, 차선 인식부(120)가 생성한 상기 차선 정보와 차선 이탈 판단부(150)가 저장하고 있는 상기 측면 연장선 정보의 관계를 설명하면 다음과 같다. 상기 측면 연장선 정보에 포함된 좌측면 후방 연장선(250)과 우측면 후방 연장선(260)은 차량의 폭에 의해서 결정이 되므로, 차로의 폭보다 좁을 수 있다. 따라서 차량(105)이 차로에서 주행 중인 경우에는, 좌측 차선(210)과 우측 차선(220)의 사이에 좌측면 후방 연장선(250)과 우측면 후방 연장선(260)이 위치할 수 있다. 도 3c는 좌측 차선(210), 우측 차선(220), 좌측면 후방 연장선(250) 및 우측면 후방 연장선(260)을 하나의 화면에 함께 나타낸 가상의 화면이다. 3C, the relationship between the lane information generated by the lane recognition section 120 and the side extension information stored in the lane departure determination section 150 will be described below. Since the left side rear extension line 250 and the right side rear extension line 260 included in the side extension line information are determined by the width of the vehicle, they may be narrower than the width of the vehicle. The left side rear extension line 250 and the right side rear extension line 260 can be positioned between the left lane 210 and the right lane 220 when the vehicle 105 is traveling in a lane. 3C is a virtual screen showing the left lane 210, the right lane 220, the left side rear extension 250 and the right side rear extension 260 together on one screen.

도 4a 내지 도 4b를 참조하여, 소실점 계산부(130)의 동작과 차선 이탈 판단부(150)가 이용하는 측면 연장선 정보를 설명하면 다음과 같다.The operation of the vanishing point calculator 130 and the side extension information used by the lane departure determiner 150 will be described with reference to FIGS. 4A to 4B.

도 4a를 참조하면, 소실점 계산부(130)는 차선 인식부(120)가 제공하는 상기 차선 정보를 이용하여, 상기 차선 정보에 포함된 좌측 차선(210)과 우측 차선(220)을 가상으로 연장한 선(216, 226)이 만나는 가상의 지점(230)을 계산할 수 있다. 상기 지점(230)을 이하에서 제1 소실점(230)이라 한다. 소실점 계산부(130)은 상기 계산된 제1 소실점(230)을 차선 이탈 판단부(150)에 제공할 수 있다.4A, the vanishing point calculation unit 130 uses the lane information provided by the lane recognition unit 120 to virtually extend the left lane 210 and the right lane 220 included in the lane information A virtual point 230 at which one line 216, 226 meets can be calculated. The point 230 is hereinafter referred to as a first vanishing point 230. The vanishing point calculator 130 may provide the calculated first vanishing point 230 to the lane departure determiner 150. [

차선 이탈 판단부(150)은 측면 연장선 정보를 이용하여 차선 이탈 여부에 관련된 판정을 할 수 있다. 도 4a를 참조하면, 상기 측면 연장선 정보에 포함된 좌측면 후방 연장선(250), 우측면 후방 연장선(260) 및 제2 소실점(270)을 확인할 수 있다. 차량의 폭(50)에 의해서 좌측면 후방 연장선(250), 우측면 후방 연장선(260) 및 제2 소실점(270)은 사전에 정해져 있을 수 있다.The lane departure determination unit 150 can make a determination regarding whether or not the lane departure is possible by using the side extension information. Referring to FIG. 4A, the left side backward extension line 250, the right side rearward extension line 260, and the second vanishing point 270 included in the side extension line information can be identified. The left side surface rear extension line 250, the right side rear extension line 260 and the second vanishing point 270 may be predetermined by the width 50 of the vehicle.

도 4a는 소실점 계산부(130)가 차선 인식부(120)로부터 제공받은 상기 차선 정보에 포함된 좌측 차선(210)과 우측 차선(220)을 이용하여 계산한 제1 소실점(230), 상기 측면 연장선 정보에 포함된 좌측면 후방 연장선(250), 우측면 후방 연장선(260) 및 제2 소실점(270)을 하나의 화면에 함께 나타낸 가상의 화면이다. 이하, 설명의 편의를 위해서 상기 가상의 화면을 이용하여서 설명하기로 한다.4A is a diagram illustrating a first vanishing point 230 calculated by using the left lane 210 and the right lane 220 included in the lane information provided from the lane recognizing unit 120, A left side surface rear extension line 250, a right side rear extension line 260 and a second vanishing point 270 included in the extension line information together on one screen. Hereinafter, for convenience of explanation, the virtual screen will be described.

도 4b를 참조하면, 차선 이탈 판단부(150)는 차선 이탈 여부에 관련된 판정을 하는데 이용하기 위해서, 제1 소실점(230)과 제2 소실점(270)이 가상의 중심점을 기준으로 형성하는 예각인 소실점 사잇각(300) 계산할 수 있다.4B, the lane departure determination unit 150 determines whether or not the first vanishing point 230 and the second vanishing point 270 are acute angles The vanishing point angle (300) can be calculated.

발명의 일 실시예에 따르면, 상기 가상의 중심점은 상기 차량 후방 영상의 수직 방향 중심선 상에 위치하는 하나의 지점 일 수 있다. 예를 들어서, 도 4a 와 도 4b를 참조하면, 상기 차량 후방 영상의 수직 방향 중심선과 영상의 하단이 만나는 하단 중심 지점(290)이 상기 가상의 중심점일 수 있다. 이하에서, 설명의 편의를 위하여 상기 소실점 사잇각은 상기 하단 중심 지점(290)을 상기 가상의 중심점으로 정하여 계산하는 것으로 가정한다.According to an embodiment of the present invention, the virtual center point may be one point located on the vertical center line of the vehicle rear image. For example, referring to FIGS. 4A and 4B, the lower center point 290 where the vertical center line of the vehicle rear image meets the lower end of the image may be the virtual center point. Hereinafter, for convenience of explanation, it is assumed that the vanishing point angle is calculated by setting the lower center point 290 as the virtual center point.

다시 도면 4a를 참조하면, 상기 화면 상에서는 제1 소실점(230)과 제2 소실점(270)이 겹치기 때문에 소실점 사잇각은 0°인 것을 알 수 있다. 도면 4b를 참조하면, 소실점 사잇각(300)은 0°보다 큰 예각을 형성하고 있는 것을 알 수 있다. 도 4b의 화면은, 차량이 우측 차선(220)으로 이탈하려는 상황을 보여주고 있다. 도 4b의 화면에서는 제2 소실점(270)이 제1 소실점(230)보다 오른쪽에 위치하고 소실점 사잇각(300)이 0°보다 큰 것을 알 수 있다. 상기 소실점(230, 270)의 위치관계와 소실점 사잇각(300) 정보를 이용하여 차선 이탈 판단부(150)는 차량의 차선 이탈 여부를 판단할 수 있다. 차선 이탈 판단부(150)가 차선 이탈 여부를 판단하는 것은 이하에서 자세히 설명하기로 한다.Referring again to FIG. 4A, since the first vanishing point 230 and the second vanishing point 270 overlap each other on the screen, the vanishing point angle is 0 °. Referring to FIG. 4B, it can be seen that the vanishing point angle 300 forms an acute angle larger than 0 °. The screen of FIG. 4B shows a situation in which the vehicle leaves the right lane 220. In the screen of FIG. 4B, the second vanishing point 270 is positioned to the right of the first vanishing point 230 and the Vanishing Point Incidence Angle 300 is larger than 0 °. The lane departure determination unit 150 can determine whether the vehicle is leaving the lane by using the positional relationship between the vanishing points 230 and 270 and the vanishing point angle 300 information. The determination of whether or not the lane departure determination unit 150 has departed the lane will be described in detail below.

도 5를 참조하여, 차선각 계산부(140)가 차선각(310, 320)을 계산하는 것과 차선 이탈 판단부(150)이 차선 이탈 여부와 관련된 판정을 하는데 이용하는 상기 측면 연장선 정보를 설명하기로 한다.5, the lane angle calculation unit 140 calculates the lane angle 310 and the lane departure angle determination unit 150, and the lateral extension information used by the lane departure determination unit 150 to make a determination regarding whether or not the lane departure has occurred do.

차선각 계산부(140)는 차선 인식부(120)가 제공하는 영상에서, 차선(210, 220)과 가상의 수평선이 형성하는 각(310, 320)을 계산할 수 있다. 우측 차선(220)이 상기 가상의 수평선과 형성하는 각을 우측 차선각(320)이라고 하고, 좌측 차선(210)이 상기 가상의 수평선과 형성하는 각을 좌측 차선각(310)이라고 한다. The lane angle calculation unit 140 can calculate the angles 310 and 320 formed by the lanes 210 and 220 and the imaginary horizontal line in the image provided by the lane recognition unit 120. [ An angle formed by the right lane 220 with the imaginary horizontal line is referred to as a right lane angle 320 and an angle formed by the left lane 210 with the imaginary horizontal line is referred to as a left lane angle 310. [

발명의 일 실시예에 따르면, 상기 가상의 수평선은 상기 차량 후방 영상의 하단 또는 상기 차량 후방 영상의 좌우 가상 연장선(305)일 수 있다.According to an embodiment of the present invention, the virtual horizontal line may be a lower end of the vehicle rear image or a left and right imaginary extension line 305 of the vehicle rear image.

발명의 일 실시예에 따르면, 우측 차선각(320)은 우측 차선(220)이 상기 가상의 수평선과 형성하는 예각일 수 있다. 좌측 차선각(310)은 좌측 차선(210)이 상기 가상의 수평선과 형성하는 예각일 수 있다.According to an embodiment of the present invention, the right lane angle 320 may be an acute angle formed by the right lane 220 with the imaginary horizontal line. The left lane angle 310 may be an acute angle formed by the left lane 210 with the imaginary horizontal line.

차선 이탈 판단부(150)은 좌측면각(350)과 우측면각(360)을 포함하는 측면 연장선 정보를 내부에 저장하고, 상기 저장된 측면 연장선 정보를 차선 이탈 여부와 관련된 판정을 하는데 이용할 수 있다. 좌측면각(350)은 차량의 좌측면 후방 연장선(250)이 상기 가상의 수평선과 형성하는 예각이다. 우측면각(360)은 우측면 후방 연장선(260)이 영상 상기 가상의 수평선과 형성하는 예각이다. 좌측면각(350)과 우측면각(360)은 좌측면 후방 연장선(250)과 우측면 후방 연장선(260)에 의해서 결정이 된다. 좌측면 후방 연장선(250)과 우측면 후방 연장선(260)은 차량의 폭, 카메라의 설치 위치 및 카메라 촬영 각도에 의해서 정해진다. 즉, 동일한 차량이고 카메라를 재설치 하지 않는 경우에는, 좌측면 후방 연장선(250)과 우측면 후방 연장선(260)은 변하지 않는다. 따라서 차선 이탈 판단부(150)은 좌측면각(350)과 우측면각(360)을 사전에 계산하여 상기 측면 연장선 정보에 포함시켜 저장해 놓을 수 있다.The lane departure determination unit 150 may store the side extension information including the left side angle 350 and the right side angle 360 therein and use the stored side extension information to make a determination related to whether or not the vehicle is deviating from the lane. The left facial angle 350 is an acute angle formed by the left lateral extension line 250 of the vehicle with the virtual horizontal line. The right side angle 360 is an acute angle formed by the right side rear extension line 260 and the imaginary horizontal line of the image. The left facial angle 350 and the right facial angle 360 are determined by the left side backward extension line 250 and the right side backward extension line 260. The left side rear extension line 250 and the right side rear extension line 260 are determined by the vehicle width, the installation position of the camera, and the camera photographing angle. That is, when the same vehicle is used and the camera is not reinstalled, the left side rear extension line 250 and the right side rear extension line 260 do not change. Therefore, the lane departure determination unit 150 may calculate the left side surface angle 350 and the right side surface angle 360 in advance and store it in the side extension line information.

도 6a 내지 도 8b를 참조하여, 차선 이탈 판단부(150)가 차선 이탈 여부에 관련된 판정을 하는 방법을 설명하면 다음과 같다.Referring to FIGS. 6A to 8B, a method of making a determination regarding whether or not the lane departure determination unit 150 is lane departure will be described as follows.

차선 이탈 판단부(150)는 소실점 계산부(130)가 제공하는 제1 소실점(230)과 차선각 계산부(140)가 제공하는 좌측 차선각(310) 및 우측 차선각(320), 사전에 정해진 측면 연장선 정보에 포함된 좌측면 후방 연장선(250), 우측면 후방 연장선(260), 제2 소실점(270), 좌측면각(350) 및 우측면각(360)을 이용하여 차선 이탈 여부를 판단할 수 있다.The lane departure determination unit 150 determines the lane departure determination unit 150 based on the left lane angle 310 and the right lane angle 320 provided by the first vanishing point 230 and the lane angle calculation unit 140 provided by the vanishing point calculation unit 130, It is possible to judge whether or not the lane departure is possible by using the left side rear extension line 250, the right side rear extension line 260, the second vanishing point 270, the left side angle 350 and the right side angle 360 included in the predetermined side extension line information have.

먼저 차선 이탈 판단부(150)는 제1 소실점(230)과 제2 소실점(270)을 이용하여 소실점 사잇각을 계산하고, 상기 소실점 사잇각을 주행상태 기준각과 비교한다. 상기 주행상태 기준각은 차량의 현재 주행 상태를 판단하기 위한 상기 소실점 사잇각의 기준값이다. 상기 주행 상태는 정주행과 차선 이탈 예정 상태 중에서 어느 하나 일 수 있다. 차선 이탈 판단부(150)는 소실점 사잇각(300)이 상기 주행상태 기준각보다 작은 경우에는 정주행 상태로, 소실점 사잇각(300)이 상기 주행상태 기준각보다 같거나 큰 경우에는 차선 이탈 예정 상태로 판단한다. 상기 정주행 상태는 도 6a 내지 도 7b의 설명에서 자세히 다루고, 상기 차선 이탈 예정 상태는 도 8a 내지 도 8b의 설명에서 자세히 다루기로 한다.First, the lane departure determination unit 150 calculates a vanishing point angle using the first vanishing point 230 and the second vanishing point 270, and compares the vanishing point angle with the traveling condition reference angle. The running state reference angle is a reference value of the vanishing point angle for judging the current driving state of the vehicle. The traveling state may be any one of a normal traveling state and a lane departure expected state. The lane departure determination unit 150 may be in a lane departure state when the vanishing point angle 300 is smaller than the traveling state reference angle and in a lane departure state when the vanishing point angle 300 is equal to or greater than the traveling state reference angle . The forward running state will be described in detail in FIGS. 6A to 7B, and the lane departure expected state will be described in detail in FIGS. 8A to 8B.

도 6a 내지 도 7b를 참조하여, 상기 소실점 사잇각이 주행상태 기준각보다 작은 상태인 상기 정주행 상태를 설명하면 다음과 갈다. 상기 정주행 상태에서는 제2 소실점(270)과 제1 소실점(230)이 상기 주행상태 기준각 범위 내에서 일치하며 차량이 차선과 오차 범위 내에서 평행하게 주행중인 상태를 의미한다. 상기 정주행 상태에서는 차량의 현재 주행 상태만을 알 수 있다. 상기 현재 주행 상태는, 차선 내 주행 상태, 차선에 근접하여 이탈 위험 상태 및 차선을 이탈한 상태를 포함할 수 있다. 6A to 7B, the forward running state in which the vanishing point angle is smaller than the running state reference angle will be described. In the normal running state, the second vanishing point 270 and the first vanishing point 230 coincide with each other within the running state reference angle range, and the vehicle is traveling in parallel within the lane and the error range. In the normal running state, only the current driving state of the vehicle can be known. The current driving state may include a driving state in the lane, a dangerous state in which the driver approaches the lane, and a state in which the driver leaves the lane.

발명의 일 실시예에 따르면, 차선 이탈 판단부(150)는 좌측 차선각(310) 및 우측 차선각(320)을 이용하여 상기 주행 상태를 판단할 수 있다. 차선 이탈 판단부(150)는 상기 주행 상태 중에서 차선 이탈 위험 상태와 차선 이탈 상태에서만, 운전자에게 경고를 실행한다.According to an embodiment of the present invention, the lane departure determination unit 150 may determine the traveling state using the left lane angle 310 and the right lane angle 320. [ The lane departure determination unit 150 warns the driver only in the lane departure risk state and the lane departure state in the traveling state.

도 6a와 도 6b을 참조하여, 차선 이탈 판단부(150)가 차량의 좌측 차선 이탈을 경고하는 것을 설명하면 다음과 같다. 차량이 좌측 차선(210)에 접근을 하면, 좌측 차선각(310)의 크기는 증가한다. 좌측 차선각(310)이 좌측면각(350)에 얼마나 접근하여야 차선 이탈 판단부(150)가 차선 이탈 위험으로 판단할지 결정하기 위해서, 소정의 좌측 이탈각과 상기 좌측 차선각(310)의 크기를 비교한다. 상기 이탈각은 상기 차량의 차선 이탈 여부를 결정하기 위한 우측 차선각 또는 좌측 차선각의 기준값을 가리킨다. 상기 좌측 이탈각은 좌측면각(350)보다 작은 각일 수 있다. 도 6a는, 우측 차선각(320)이 상기 우측 이탈각보다 크고 우측면각(360)보다 작은 상태를 나타낸다. 도 6a의 차량은 우측 차선에 근접하였기 때문에, 차선 이탈 판단부(150)는 차선 이탈 위험 상태로 판단할 수 있다. 도 6b는, 상기 우측 차선각(320)이 우측면각(360)보다 같거나 큰 상태를 나타낸다. 도 6b의 차량은 우측 차선을 이탈하였기 때문에, 차선 이탈 판단부(150)는 차선 이탈 상태로 판단할 수 있다. 따라서, 우측 차선각(320)이 상기 우측 이탈각보다 큰 경우에, 차선 이탈 판단부(150)는 우측 차선 이탈 위험 상태 또는 우측 차선 이탈 상태 중에서 어느 하나의 상태로 판단하여 운전자에게 차선 이탈 경고를 실행할 수 있다.6A and 6B, the lane departure determination unit 150 warns the left lane departure of the vehicle will be described as follows. When the vehicle approaches the left lane 210, the size of the left lane angle 310 increases. It is necessary to compare the predetermined left-side departure angle and the left-side lane angle 310 in order to determine how far the left lane angle 310 should approach the left facial angle 350, do. The departure angle indicates a reference value of a right lane angle or a left lane angle for determining whether or not the vehicle leaves the lane. The left angle of departure may be less than the left facial angle 350. 6A shows a state in which the right lane angle 320 is larger than the rightward departure angle and smaller than the right side angle 360. [ Since the vehicle in Fig. 6A is close to the right lane, the lane departure determination section 150 can determine that the vehicle is in the lane departure risk state. 6B shows a state in which the right lane angle 320 is equal to or larger than the right side angle 360. [ Since the vehicle of Fig. 6B has left the right lane, the lane departure judging section 150 can judge the lane departure state. Accordingly, when the right lane angle 320 is larger than the rightward departure angle, the lane departure determination section 150 determines that the vehicle is in the right lane departure risk state or the right lane departure state and informs the driver of the lane departure warning Can be executed.

도 7a와 도 7b을 참조하여, 차선 이탈 판단부가 차량의 좌측 차선 이탈을 경고하는 것을 설명하면 다음과 같다. 차량이 좌측 차선(210)에 접근을 하면, 좌측 차선각(310)의 크기는 증가한다. 좌측 차선각(310)이 좌측면각(350)에 얼마나 접근하여야 차선 이탈 판단부(150)가 차선 이탈 위험으로 판단할지 결정하기 위해서, 소정의 좌측 이탈각과 상기 좌측 차선각(310)의 크기를 비교한다. 상기 좌측 이탈각은 좌측면각(350)보다 작은 각일 수 있다. 도 7a는, 좌측 차선각(310)이 상기 좌측 이탈각 보다 크고 좌측면각(350)보다 작은 상태를 나타낸다. 도 7a의 차량은 좌측 차선에 근접하였기 때문에, 차선 이탈 판단부(150)는 차선 이탈 위험 상태로 판단할 수 있다. 도 7b는, 상기 좌측 차선각(310)이 좌측면각(350)보다 같거나 큰 상태를 나타낸다. 도 7b의 차량은 좌측 차선을 이탈하였기 때문에, 차선 이탈 판단부(150)는 차선 이탈 상태로 판단할 수 있다. 따라서, 좌측 차선각(310)이 상기 좌측 이탈각보다 큰 경우에, 차선 이탈 판단부(150)는 우측 차선 이탈 위험 상태 또는 우측 차선 이탈 상태 중에서 어느 하나의 상태로 판단하여 운전자에게 차선 이탈 경고를 실행할 수 있다.7A and 7B, the lane departure determination section warns the left lane departure of the vehicle as follows. When the vehicle approaches the left lane 210, the size of the left lane angle 310 increases. It is necessary to compare the predetermined left-side departure angle and the left-side lane angle 310 in order to determine how far the left lane angle 310 should approach the left facial angle 350, do. The left angle of departure may be less than the left facial angle 350. 7A shows a state in which the left lane angle 310 is larger than the left angle of departure and smaller than the left facial angle 350. [ Since the vehicle in Fig. 7A is close to the left lane, the lane departure judging section 150 can judge the lane departure risk state. 7B shows a state in which the left lane angle 310 is equal to or larger than the left facial angle 350. FIG. Since the vehicle of Fig. 7B has left the left lane, the lane departure judging section 150 can judge the lane departure state. Accordingly, when the left lane angle 310 is larger than the leftward departure angle, the lane departure determination unit 150 determines that the vehicle is in the right lane departure risk state or the right lane departure state and informs the driver of the lane departure warning Can be executed.

발명의 일 실시예에 따르면, 상기 좌측 이탈각과 상기 우측 이탈각은 동일한 값일 수 있다. 즉 차량은 좌우 대칭이기 때문에, 차량의 좌측면 후방 연장선과 우측면 후방 연장선은 평행하고, 상기 차량의 좌측면 후방 연장선과 상기 우측면 후방 연장선이 상기 가상의 수평선과 형성하는 예각인 좌측면각과 우측면각의 크기는 동일할 수 있다. 따라서 상기 좌측면각보다 작은 각인 상기 좌측 이탈각과 상기 우측면각보다 작은 각인 상기 우측 이탈각은 동일한 각일 수 있다. 상기 좌측 이탈각과 상기 우측 이탈각이 동일한 각인 경우에는, 차선 이탈 판단부(150)은 상기 좌측 이탈각과 상기 우측 이탈각 대신에 하나의 이탈각을 이용하여 도 6a 와 도 6b의 상황에서 차선 이탈을 경고할 수 있다. 즉, 상기 좌측 차선각(310)이 상기 이탈각보다 크면 좌측 차선 이탈을 경고하고, 상기 우측 차선각(320)이 상기 이탈각보다 크면 우측 차선 이탈을 경고할 수 있다.According to an embodiment of the present invention, the left release angle and the right release angle may be the same value. That is, since the vehicle is symmetrical in the left-right direction, the left-side rearward extension line and the right-side rearward extension line of the vehicle are parallel, and the left-side rearward extension line of the vehicle and the right-side rearward extension line form acute angles to the imaginary horizontal line, The size can be the same. Therefore, the left departure angle smaller than the left side angle and the right side departure angle smaller than the right side angle may be the same angle. When the left departure angle and the right departure angle are the same, the lane departure determination unit 150 uses the one departure angle instead of the left departure angle and the rightward departure angle to calculate the lane departure in the situations of FIGS. 6A and 6B I can warn you. That is, if the left lane angle 310 is greater than the departure angle, the left lane departure is warned, and if the right lane angle 320 is greater than the departure angle, the right lane departure can be warned.

도 8a 내지 도 8b를 참조하여, 소실점 사잇각(300)이 상기 주행상태 기준각보다 같거나 큰 경우인 차선 이탈 예정 상태를 설명하면 다음과 같다.8A to 8B, a lane departure expected state in which the vanishing point angle 300 is equal to or greater than the traveling state reference angle will be described.

도 8a는 차량(105)이 우측 차선을 이탈하려는 상황을 나타낸다. 차량(105)의 조향각이 우측으로 틀어져 있는 상황이다. 차량(105)은 상기 상황에서 그대로 진행을 하면 우측 차선을 이탈하게 될 것이다. 차선 이탈 판단부(150)는 이러한 상황을 감지하여 운전자에게 경고할 수 있다.8A shows a situation in which the vehicle 105 is leaving the right lane. The steering angle of the vehicle 105 is shifted to the right. If the vehicle 105 proceeds as it is in the above situation, the vehicle 105 will depart from the right lane. The lane departure determination unit 150 may sense such a situation and warn the driver.

차선 이탈 판단부(150)는 소실점 사잇각(300)이 상기 주행상태 기준값보다 큰 경우에, 차선 이탈 예정 상태로 판단하고 차선 이탈까지 남은 시간을 계산하여 운전자에게 경고할 수 있다. 상기 차선 이탈 예정 상태에서 차선 이탈 판단부(150)는 제2 소실점(270)이 화면상 제1 소실점(230)보다 오른쪽에 있으면 차량의 우측 차선 이탈 예정으로 판단하고, 제2 소실점(270)이 화면상 제1 소실점(230)보다 왼쪽에 있으면 차량의 좌측 차선 이탈 예정으로 판단할 수 있다. 이하 설명의 편의를 위해서, 우측 차선 이탈 예정인 상태를 가정하고 설명을 한다. 좌측 차선 이탈 예정인 상태인 경우에도 동일한 방법이 적용이 되므로 중복 설명을 생략한다.When the vanishing point angle 300 is larger than the running state reference value, the lane departure determination unit 150 may determine the lane departure expected state and calculate the remaining time until the lane departure to warn the driver. The lane departure determination unit 150 determines that the second vanishing point 270 is on the right side of the first vanishing point 230 on the screen and the second vanishing point 270 is on the right side If it is located on the left side of the first vanishing point 230 on the screen, it can be determined that the vehicle is departing from the left lane. For convenience of explanation, it is assumed that a right lane departure is planned. The same method is applied to the case where the left lane departure is planned, and thus, the redundant description will be omitted.

도 8b를 참조하면, 차선 이탈 판단부(150)는 우측 차선 이탈 예정 상태에서 우측면 후방 연장선(260)을 차량 전방 방향으로 가상으로 연장한 차량의 우측면 전방 연장선(460)을 계산할 수 있다. 차선 이탈 판단부(150)는 우측 차선(220)을 차량 전방 방향으로 연장한 가상의 우측 차선 연장선(426)을 계산할 수 있다. 차선 이탈 판단부(150)는 상기 차량의 우측면 전방 연장선(460)과 우측 차선 연장선(426)이 만나는 지점인 이탈 지점(430)을 계산할 수 있다. 차선 이탈 판단부(150)는 상기 이탈 지점(430)에서 차량 우측 전단 지점(440)까지의 거리인 이탈 거리(450)을 계산할 수 있다. 상기 차량 우측 전단 지점(440)은 차량의 우측면 전방 연장선(460) 상에서 상기 영상의 하단 또는 차량 후미로부터 차량(105)의 차체 길이(410)만큼 차량의 전방 방향에 위치한 지점일 수 있다. 차선 이탈 판단부(150)는 이탈 거리(450)와 차량의 주행 상태를 바탕으로 이탈까지 남은 시간을 계산하고, 상기 이탈까지 남은 시간을 운전자에게 경고할 수 있다.Referring to FIG. 8B, the lane departure determination unit 150 may calculate the right side front extension line 460 of the vehicle in which the right side rear extension line 260 is virtually extended in the vehicle front direction in the right side lane departure planned state. The lane departure determination unit 150 may calculate a virtual right lane extension line 426 extending the right lane 220 in the vehicle front direction. The lane departure determination unit 150 may calculate the departure point 430 as a point where the right side lane extension line 460 and the right side lane extension line 426 of the vehicle meet. The lane departure determination unit 150 may calculate the departure distance 450, which is the distance from the departure point 430 to the right front end point 440 of the vehicle. The vehicle right side front end point 440 may be a point located in the front direction of the vehicle by the vehicle body length 410 of the vehicle 105 from the lower end of the image or the rear end of the image on the right extension line 460 of the vehicle. The lane departure determination unit 150 may calculate the remaining time until departure based on the departure distance 450 and the traveling state of the vehicle, and may warn the driver of the time remaining until the departure.

발명의 일 실시예에 따르면, 상기 차량의 주행 상태는 차량의 현재 주행 속도 일 수 있다. 차선 이탈 판단부(150)은 상기 우측 차선 이탈 예정 상태에서 상기 이탈 거리(450)을 차량의 현재 주행 속도로 나누어서 이탈까지 남은 시간을 도출할 수 있다. According to an embodiment of the present invention, the running state of the vehicle may be a current running speed of the vehicle. The lane departure determination unit 150 may divide the departure distance 450 in the right lane departure planned state by the current traveling speed of the vehicle to derive the remaining time until departure.

도 9를 참조하여, 차선 이탈 경고 방법을 설명하면 다음과 같다. Referring to FIG. 9, the lane departure warning method will be described as follows.

차선 이탈 경고 장치(100)는, 차량 후방 영상을 분석하여 차량이 주행중인 차로의 좌측 차선 및 우측 차선을 인식한다(S110). 상기 인식한 좌측 차선 및 우측 차선 정보를 바탕으로, 차선 이탈 경고 장치(100)는 제1 소실점, 좌측 차선각 및 우측 차선각을 계산한다(S120). 상기 제1 소실점은 상기 인식된 좌측 차선 및 우측 차선을 가상으로 연장하여 만나는 가상의 지점이다. 상기 좌측 차선각은 상기 좌측 차선과 가상의 수평선이 형성하는 각이며, 상기 우측 차선각은 상기 우측 차선과 상기 가상의 수평선이 형성하는 각이다. The lane departure warning apparatus 100 analyzes the rear image of the vehicle and recognizes the left lane and the right lane of the lane in which the vehicle is running (S110). Based on the recognized left lane and right lane information, the lane departure warning apparatus 100 calculates a first vanishing point, a left lane angle, and a right lane angle (S120). The first vanishing point is a virtual point where the recognized left lane and the right lane are virtually extended and meet. The left lane angle is an angle formed by the left lane and the imaginary horizontal line, and the right lane angle is an angle formed by the right lane and the imaginary horizontal line.

차선 이탈 경고 장치(100)는 사전에 정해진 차량의 좌측면 후방 연장선과 우측면 후방 연장선이 만나는 가상의 제2 소실점과 상기 제1 소실점이 가상의 중심점을 기준으로 형성하는 소실점 사잇각을 주행상태 기준각과 비교한다(S130). 상기 주행상태 기준각은 차량의 현재 주행 상태를 판단하기 위한 값으로, 사전에 미리 정해진 값이다. 상기 주행 상태는 정주행 상태 또는 차선 이탈 예정 상태 중에서 어느 하나의 상태이다.The lane departure warning apparatus 100 compares a virtual second vanishing point at which a left rear extending line and a right rear extending line of a predetermined vehicle meet and a vanishing point angle formed by the first vanishing point based on a virtual center point, (S130). The running state reference angle is a value for determining the current running state of the vehicle, and is a predetermined value in advance. The running state is any one of a normal running state and a lane departure scheduled state.

상기 소실점 사잇각이 주행상태 기준각보다 작은 경우에는 차선 이탈 경고 장치(100)는 현재 주행 상태를 정주행 상태로 판단한다. 상기 정주행 상태인 경우에, 상기 우측 차선각이 우측 기준각보다 큰지 비교한다(S170). 상기 비교에서 상기 우측 차선각이 상기 우측 기준각보다 큰 경우에는 차선 이탈 경고 장치(100)는 우측 차선 이탈로 판단하고, 운전자에게 우측 차선 이탈을 경고한다(180). 상기 비교에서 상기 우측 차선각이 상기 우측 기준각보다 같거나 작은 경우에는, 상기 좌측 차선각이 좌측 기준각보다 큰지 비교한다(S170). 상기 비교에서 상기 좌측 차선각이 상기 좌측 기준각보다 큰 경우에는 차선 이탈 경고 장치(100)는 좌측 차선 이탈로 판단하고, 운전자에게 좌측 차선 이탈을 경고한다(180).When the vanishing point angle is smaller than the traveling state reference angle, the lane departure warning apparatus 100 determines that the current traveling state is a forward traveling state. In the normal traveling state, it is determined whether the right lane angle is larger than the right side reference angle (S170). If the right lane angle is larger than the right reference angle, the lane departure warning apparatus 100 determines that the right lane is deviated and warns the driver of the right lane departure (180). If the right lane angle is equal to or smaller than the right reference angle, the left lane angle is compared with the left reference angle (S170). If the left lane angle is larger than the left reference angle in the comparison, the lane departure warning apparatus 100 determines that the left lane is departing, and warns the driver of the left lane departure (180).

발명의 일 실시예에 따르면, 상기 우측 기준각과 상기 좌측 기준각은 상기 정주행 상태에서 차선 이탈 여부를 판정하기 위한 기준각으로, 동일한 크기의 값일 수 있다. 상기 좌측 기준각과 상기 우측 기준각이 하나의 이탈각으로 동일한 경우에, 차선 이탈 경고 장치(100)은 상기 우측 차선각이 상기 이탈각보다 크면(S170) 우측 차선 이탈을 경고하고(S180), 상기 좌측 차선각이 상기 이탈각보다 크면(S170) 좌측 차선 이탈을 경고한다(S180).According to an embodiment of the present invention, the right reference angle and the left reference angle may be a reference angle for determining whether or not the vehicle is departing from the lane in the normal traveling state, and may be of the same magnitude. If the left reference angle and the right reference angle are equal to one departure angle, the lane departure warning apparatus 100 warns the right lane departure (S180) if the right lane angle is larger than the departure angle (S170) If the left lane angle is larger than the departure angle (S170), the left lane departure is warned (S180).

상기 소실점 사잇각이 주행상태 기준각보다 같거나 큰 경우에는, 차선 이탈 경고 장치(100)는 현재 주행 상태를 차선 이탈 예정 상태로 판단한다. 상기 차선 이탈 예정 상태인 경우에, 차선 이탈 경고 장치(100)는 차선 이탈 지점까지 남은 거리를 계산한다(S140). 차선 이탈 경고 장치(100)는 상기 남은 거리를 상기 차량의 현재 주행 속도로 나누어 도출한 값인 이탈까지 남은 시간을 계산한다(S150). 차선 이탈 경고 장치(100)는 상기 이탈까지 남은 시간을 운전자에게 경고로 알려준다(S160). When the vanishing point angle is equal to or larger than the traveling state reference angle, the lane departure warning apparatus 100 determines that the current traveling state is the lane departure planned state. In the case of the lane departure warning state, the lane departure warning apparatus 100 calculates the remaining distance to the lane departure point (S140). The lane departure warning apparatus 100 calculates a remaining time until departure, which is a value derived by dividing the remaining distance by the current traveling speed of the vehicle (S150). The lane departure warning apparatus 100 notifies the driver of the remaining time until the departure by warning (S160).

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, You will understand. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

차선 이탈 경고 장치 100
후방 카메라 장치 110
차선 인식부 120
소실점 계산부 130
차선각 계산부 140
차선 이탈 판단부 150
경고 장치 160The lane departure warning device 100
The rear camera device 110
The lane recognition unit 120
The vanishing point calculation unit 130
The lane angle calculation section 140
The lane departure determination unit 150
Warning device 160

Claims (14)

차량 후방 영상을 제공 받고, 상기 차량 후방 영상에서 차량이 진행중인 차로의 좌측 차선 및 우측 차선을 인식하는 차선 인식부;
상기 우측 차선의 가상 연장선과 상기 좌측 차선의 가상 연장선이 만나는 제1 소실점의 위치를 계산하고, 상기 차량의 좌측면 후방 연장선과 우측면 후방 연장선이 만나서 형성하는 제2 소실점의 위치와 상기 계산된 제1 소실점의 위치를 이용하여, 가상의 중심점을 기준으로 상기 제1 소실점과 제2 소실점이 형성하는 소실점 사잇각을 계산하는 소실점 계산부; 및
상기 소실점 사잇각을 이용하여 차선 이탈 여부와 관련된 판정을 수행하는 차선 이탈 판단부를 포함하는 차선 이탈 경고 장치.A lane recognizing part provided with a rear view image of the vehicle and recognizing a left lane and a right lane of a car in progress in the vehicle rear image;
Calculating a position of a first vanishing point where a virtual extension line of the right lane meets a virtual extension line of the left lane and calculating a position of a second vanishing point formed by the left side rear extension line and the right side rear extension line of the vehicle, A vanishing point calculator for calculating a vanishing point angle formed by the first vanishing point and the second vanishing point based on a virtual center point using the vanishing point position; And
And a lane departure warning unit for performing a determination related to whether or not the lane departure is occurring by using the vanishing point angle. 제1 항에 있어서,
상기 우측 차선이 가상의 수평선과 형성하는 우측 차선각, 상기 좌측 차선이 가상의 수평선과 형성하는 좌측 차선각, 상기 차량의 좌측면 후방 연장선과 가상의 수평선 사이의 좌측면각 및 상기 차량의 우측면 후방 연장선과 가상의 수평선 사이의 우측면각 을 연산하는 차선각 계산부를 더 포함하되,
상기 차선 이탈 판단부는,
상기 소실점 사잇각이 주행상태 기준각보다 작은 경우에는 상기 좌측 차선각, 상기 우측 차선각, 좌측 차선 기준각 및 우측 차선 기준각을 이용하여 차선 이탈을 판단하는 차선 이탈 경고 장치.The method according to claim 1,
A right lane angle formed by the right lane with a virtual horizontal line, a left lane angle formed by the left lane with a virtual horizontal line, a left surface angle between a left rearward extension line and an imaginary horizontal line of the vehicle, And a lane angle calculating unit for calculating a right side angle between a virtual horizontal line and a virtual horizontal line,
The lane departure determination unit
And determines the lane departure using the left lane angle, the right lane angle, the left lane reference angle, and the right lane reference angle when the vanishing point angle is smaller than the traveling state reference angle. 제2 항에 있어서,
상기 차선 이탈 판단부는,
상기 소실점 사잇각이 소정의 주행상태 기준각보다 작고 상기 우측 차선각이 소정의 이탈각보다 크면 우측 차선을 이탈하는 것으로 판단하되,
상기 이탈각은 상기 차선 이탈 여부를 결정하기 위한 우측 차선각의 기준값을 가리키는,
차선 이탈 경고 장치.3. The method of claim 2,
The lane departure determination unit
If the angle of incidence of the vanishing point is smaller than a predetermined running state reference angle and the right lane angle is greater than a predetermined angle of departure,
Wherein the departure angle indicates a reference value of a right lane angle for determining whether to depart the lane,
Lane departure warning device. 제2 항에 있어서,
상기 차선 이탈 판단부는,
상기 소실점 사잇각이 상기 주행상태 기준각보다 작고 상기 좌측 차선각이 소정의 이탈각보다 크면 좌측 차선을 이탈하는 것으로 판단하되,
상기 이탈각은 상기 차선 이탈 여부를 결정하기 위한 좌측 차선각의 기준값을 가리키는,
차선 이탈 경고 장치.3. The method of claim 2,
The lane departure determination unit
If the vanishing point angle is smaller than the running state reference angle and the left lane angle is larger than the predetermined departure angle,
Wherein the departure angle indicates a reference value of a left lane angle for determining whether to depart the lane,
Lane departure warning device. 제1 항에 있어서,
상기 차선 이탈 판단부는,
상기 소실점 사잇각이 주행상태 기준각보다 같거나 큰 경우에는 차선 이탈까지 남은 시간을 경고로 알려주는 차선 이탈 경고 장치.The method according to claim 1,
The lane departure determination unit
And when the vanishing point angle is equal to or larger than the traveling state reference angle, notifies the remaining time to the lane departure as a warning. 제5 항에 있어서,
상기 차선 이탈 판단부는,
상기 소실점 사잇각이 주행상태 기준각보다 같거나 큰 경우, 상기 제2 소실점이 상기 제1 소실점보다 오른쪽에 있는 경우 차량이 상기 우측 차선을 이탈하려는 것으로 판단하며,
상기 차량의 전단 위치에서 상기 이탈하려는 차선 상의 이탈 예상 지점까지의 이탈 거리를 계산하고, 상기 이탈 거리와 차량의 주행 상태를 바탕으로 차선 이탈까지 남은 시간을 계산하는, 차선 이탈 경고 장치.6. The method of claim 5,
The lane departure determination unit
And determines that the vehicle is departing from the right lane when the second vanishing point is located to the right of the first vanishing point when the vanishing point angle is equal to or greater than the running condition reference angle,
Calculates a departure distance from the front end position of the vehicle to the departure expected point on the departing lane and calculates a time remaining until the departure of the lane based on the departure distance and the traveling state of the vehicle. 제5 항에 있어서,
상기 차선 이탈 판단부는,
상기 소실점 사잇각이 주행상태 기준각보다 같거나 큰 경우, 상기 제2 소실점이 상기 제1 소실점보다 왼쪽에 있는 경우 상기 차량이 상기 좌측 차선을 이탈하려는 것으로 판단하며,
상기 차량의 전단 위치에서 상기 이탈하려는 차선 상의 이탈 예상 지점까지의 이탈 거리를 계산하고, 상기 이탈 거리와 차량의 주행 상태를 바탕으로 차선 이탈까지 남은 시간을 계산하는, 차선 이탈 경고 장치.6. The method of claim 5,
The lane departure determination unit
When the second vanishing point is located to the left of the first vanishing point, when the vanishing point angle is equal to or larger than the running condition reference angle, the vehicle is determined to depart from the left lane,
Calculates a departure distance from the front end position of the vehicle to the departure expected point on the departing lane and calculates a time remaining until the departure of the lane based on the departure distance and the traveling state of the vehicle. 제6 항 또는 제7 항에 있어서,
상기 차량의 전단 위치는,
상기 차량이 이탈하려는 방향의 차량 측면을 전방 방향으로 연장한 측면 전방 영장선 상의 상기 차량의 후미에서부터 상기 차량의 자체 길이만큼 전방에 위치한 지점인, 차선 이탈 경고 장치.8. The method according to claim 6 or 7,
The front end position of the vehicle
Is a point located forward of the vehicle's own length from the rear of the vehicle on a lateral front warp line extending in the forward direction of the vehicle side in the direction in which the vehicle is to be released. 제6항 또는 제7항에 있어서,
상기 이탈 예상 지점은,
상기 차량이 이탈하려는 방향의 차량 측면을 전방 방향으로 연장한 상기 차량의 좌측면 전방 연장선 또는 우측면 전방 연장선 중 어느 하나와 상기 이탈하려는 차선이 만나는 지점인, 차선 이탈 경고 장치.8. The method according to claim 6 or 7,
The departure expected point is a point
Is a point at which the lane to be departed meets with either the left side front extension line or the right side front extension line of the vehicle extending in the forward direction in the direction in which the vehicle is departing. 제1항에 있어서,
상기 가상의 중심점은 상기 차량 후방 영상의 수직 방향 중심선 상에 위치하는 차선 이탈 경고 장치.The method according to claim 1,
And the virtual center point is located on the vertical center line of the vehicle rear image. 제1항에 있어서,
상기 차량의 후미에 형성된 홈 내부에 장착되고, 상기 차량 후방 영상을 상기 차선 인식부에 제공하는 후방 카메라 장치를 더 포함하는 차선 이탈 경고 장치.The method according to claim 1,
Further comprising: a rear camera device mounted inside the groove formed at the rear of the vehicle, for providing the vehicle rear image to the lane recognition section. 차량 후방 영상에서 차량이 진행중인 차로의 좌측 차선과 우측 차선을 인식하는 단계;
상기 좌측 차선의 가상의 연장선과 상기 우측 차선의 가상의 연장선이 만나는 제1 소실점의 위치를 계산하는 단계;
상기 차량의 좌측면 후방 연장선과 우측면 후방 연장선이 만나는 제2 소실점의 위치와 상기 계산된 제1 소실점의 위치를 이용하여, 가상의 중심점을 기준으로 상기 제1 소실점과 제2 소실점이 형성하는 소실점 사잇각을 계산하는 단계;
상기 소실점 사잇각을 소정의 주행상태 기준각과 비교하는 단계; 및
상기 비교하는 단계의 결과에 따라서 상기 차량의 차선 이탈 여부와 관련된 판정을 하는 단계를 포함하는 차선 이탈 경고 방법.Recognizing the left lane and the right lane from the vehicle backward image to the vehicle in progress;
Calculating a position of a first vanishing point where an imaginary extension line of the left lane meets an imaginary extension line of the right lane;
A second vanishing point formed by the first vanishing point and the second vanishing point on the basis of the imaginary center point by using the calculated position of the vanishing point and the position of the second vanishing point where the backward extending line of the left- ;
Comparing the vanishing point angle with a predetermined running condition reference angle; And
And making a determination as to whether or not the vehicle leaves the lane according to a result of the comparing step. 제12항에 있어서,
상기 비교하는 단계의 결과가 상기 소실점 사잇각이 상기 소정의 주행상태 기준각보다 작은 것으로 판단된 경우에 상기 차선 이탈 여부와 관련된 판정을 하는 단계는,
상기 우측 차선이 가상의 수평선과 형성하는 우측 차선각을 계산하는 단계;
상기 좌측 차선이 상기 가상의 수평선과 형성하는 좌측 차선각을 계산하는 단계; 및
상기 우측 차선각이 소정의 이탈각보다 크면 우측 차선을 이탈하는 것으로 판단하고, 상기 좌측 차선각이 상기 이탈각보다 크면 좌측 차선을 이탈하는 것으로 판단하는 단계를 포함하되,
상기 이탈각은 차선 이탈 여부를 결정하기 위한 우측 차선각 및 좌측 차선각의 기준값을 가리키는,
차선 이탈 경고 방법.13. The method of claim 12,
Wherein the step of comparing the result of the comparing step with the determination of whether or not the lane departure is made when it is determined that the vanishing point angle is smaller than the predetermined traveling state reference angle,
Calculating a right lane angle that the right lane forms with a virtual horizontal line;
Calculating a left lane angle formed by the left lane with the imaginary horizontal line; And
Determining that the right lane angle deviates from the right lane if the right lane angle is greater than a predetermined departure angle and determining that the left lane departs when the left lane angle is greater than the departure angle,
Wherein the departure angle indicates a reference value of a right lane angle and a left lane angle for determining whether or not the vehicle departs a lane,
Lane departure warning method. 제12항에 있어서,
상기 비교하는 단계의 결과가 상기 소실점 사잇각이 상기 소정의 주행상태 기준각보다 같거나 크다고 판단된 경우에 상기 차선 이탈 여부와 관련된 판정을 하는 단계는,
상기 제2 소실점이 상기 제1 소실점보다 오른쪽 있는 경우 차량이 우측 차선을 이탈하려는 것으로 판단하고, 상기 제2 소실점이 상기 제1 소실점보다 왼쪽에 있는 경우 상기 차량이 상기 좌측 차선을 이탈하라는 것으로 판단하는 단계; 및
상기 차량의 전단 위치에서 상기 이탈하려는 차선 상의 이탈 예상 지점을 계산하는 단계;
상기 이탈 예상 지점까지의 이탈 거리를 계산하는 단계; 및
상기 이탈거리와 상기 차량의 주행 상태를 바탕으로 차선 이탈까지 남은 시간을 계산하는 단계를 포함하는 차선이탈 경고 방법.13. The method of claim 12,
Wherein the step of comparing the result of the comparing step with the lane departure determination when it is determined that the vanishing point angle is equal to or larger than the predetermined running state reference angle,
When the second vanishing point is located to the right of the first vanishing point, it is determined that the vehicle is leaving the right lane, and when the second vanishing point is located to the left of the first vanishing point, the vehicle is determined to depart from the left lane step; And
Calculating a departure expected point on the lane to depart from the front end position of the vehicle;
Calculating a departure distance to the departure expected point; And
And calculating a time remaining until the departure of the lane on the basis of the departure distance and the traveling state of the vehicle.
KR1020130101201A 2013-08-26 2013-08-26 Apparatus and method of warnning about lane departure of vehicle KR101480431B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130101201A KR101480431B1 (en) 2013-08-26 2013-08-26 Apparatus and method of warnning about lane departure of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130101201A KR101480431B1 (en) 2013-08-26 2013-08-26 Apparatus and method of warnning about lane departure of vehicle

Publications (1)

Publication Number Publication Date
KR101480431B1 true KR101480431B1 (en) 2015-01-08

Family

ID=52588245

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130101201A KR101480431B1 (en) 2013-08-26 2013-08-26 Apparatus and method of warnning about lane departure of vehicle

Country Status (1)

Country Link
KR (1) KR101480431B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101738034B1 (en) * 2015-07-09 2017-05-22 현대자동차주식회사 Improved method of lane recognition
KR20190052332A (en) * 2017-11-08 2019-05-16 (주) 코스텍 Lane departure warning system
CN114368393A (en) * 2021-12-21 2022-04-19 重庆长安汽车股份有限公司 Lane line loss early warning method and system on straight lane and man-machine driving method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020097357A (en) * 2001-06-20 2002-12-31 현대자동차주식회사 Control method for preventing a lane secession of vehicle
KR100666276B1 (en) * 2005-07-13 2007-01-10 현대자동차주식회사 A alarming method while the vehicle gets out of a traffic lane
KR20110046607A (en) * 2009-10-29 2011-05-06 조재수 Lane detection method and Detecting system using the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020097357A (en) * 2001-06-20 2002-12-31 현대자동차주식회사 Control method for preventing a lane secession of vehicle
KR100666276B1 (en) * 2005-07-13 2007-01-10 현대자동차주식회사 A alarming method while the vehicle gets out of a traffic lane
KR20110046607A (en) * 2009-10-29 2011-05-06 조재수 Lane detection method and Detecting system using the same

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101738034B1 (en) * 2015-07-09 2017-05-22 현대자동차주식회사 Improved method of lane recognition
KR20190052332A (en) * 2017-11-08 2019-05-16 (주) 코스텍 Lane departure warning system
KR102010425B1 (en) * 2017-11-08 2019-08-13 (주)코스텍 Lane departure warning system
CN114368393A (en) * 2021-12-21 2022-04-19 重庆长安汽车股份有限公司 Lane line loss early warning method and system on straight lane and man-machine driving method
CN114368393B (en) * 2021-12-21 2023-09-15 重庆长安汽车股份有限公司 Lane line loss early warning method and system on straight road and man-machine co-driving method

Similar Documents

Publication Publication Date Title
EP3161507B1 (en) Method for tracking a target vehicle approaching a motor vehicle by means of a camera system of the motor vehicle, camera system and motor vehicle
US10618467B2 (en) Stereo image generating method using mono cameras in vehicle and providing method for omnidirectional image including distance information in vehicle
KR102092625B1 (en) Method for alarming status of vehicle and Apparatus for the same
JP2017033347A (en) Display device
US10011227B2 (en) Vehicular viewing device
JP4696792B2 (en) Car alarm system
JP2010049383A (en) Warning device for vehicle
WO2016042713A1 (en) Electronic mirror device
JP2006331323A (en) Vehicle deviation alarm device
KR102452474B1 (en) Apparatus for keeping virtual lane and method thereof
KR101480431B1 (en) Apparatus and method of warnning about lane departure of vehicle
JP4193740B2 (en) Nose view monitor device
JP2018081363A (en) Driving support device
WO2016042733A1 (en) Electronic mirror device
WO2016092925A1 (en) Approaching vehicle detection device
KR101697484B1 (en) Apparatus and method for warning a dangerous element of surrounding of vehicle
KR20150128066A (en) Lane keeping asssit system and control method thereof
KR20150097010A (en) Apparatus for alarming collision of pedestrian
KR101729030B1 (en) Apparatus and method for warning a dangerous element of surrounding of vehicle
KR101849326B1 (en) Camera system for vehicle
JP2007133644A (en) Pedestrian recognition device
KR102010407B1 (en) Smart Rear-view System
JP2008269399A (en) Traffic lane departure alarm device for vehicle
KR101499455B1 (en) Apparatus and method of lane departure warnning for vehicle
KR20170133756A (en) System and Method for Recognizing Cut-in Vehicle on the basis of Monocular Image

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171222

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181226

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191223

Year of fee payment: 6