KR101268282B1 - Lane departure warning system in navigation for vehicle and method thereof - Google Patents

Lane departure warning system in navigation for vehicle and method thereof Download PDF

Info

Publication number
KR101268282B1
KR101268282B1 KR1020110008222A KR20110008222A KR101268282B1 KR 101268282 B1 KR101268282 B1 KR 101268282B1 KR 1020110008222 A KR1020110008222 A KR 1020110008222A KR 20110008222 A KR20110008222 A KR 20110008222A KR 101268282 B1 KR101268282 B1 KR 101268282B1
Authority
KR
South Korea
Prior art keywords
lane
image
edge
detecting
departure notification
Prior art date
Application number
KR1020110008222A
Other languages
Korean (ko)
Other versions
KR20120086892A (en
Inventor
이한우
Original Assignee
팅크웨어(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 팅크웨어(주) filed Critical 팅크웨어(주)
Priority to KR1020110008222A priority Critical patent/KR101268282B1/en
Publication of KR20120086892A publication Critical patent/KR20120086892A/en
Application granted granted Critical
Publication of KR101268282B1 publication Critical patent/KR101268282B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • B60Y2300/12—Lane keeping

Abstract

차량용 내비게이션의 차선 이탈 알림 시스템 및 방법이 개시된다. 차량용 내비게이션의 차선 이탈 알림 시스템은 카메라로부터 차량의 전방을 촬영한 영상을 입력 받아 영상을 그레이(grey) 영상으로 변환하는 영상 처리부; 그레이 영상에서 차선을 검출하기 위한 관심 영역(region of interest)을 설정하는 영역 설정부; 관심 영역에 해당되는 그레이 영상에서 에지(edge)를 검출하여 상기 에지가 포함된 에지 영상으로 변환하는 에지 검출부; 및 에지 영상으로부터 차량이 주행 중인 차선을 검출하는 차선 검출부를 포함한다.Disclosed are a lane departure notification system and method for vehicle navigation. The lane departure notification system of the vehicle navigation apparatus may include an image processor configured to receive an image photographing the front of the vehicle from a camera and convert the image into a gray image; A region setting unit for setting a region of interest for detecting a lane in a gray image; An edge detector for detecting an edge from a gray image corresponding to the ROI and converting the edge to an edge image including the edge; And a lane detector configured to detect a lane on which the vehicle is driven from the edge image.

Description

차량용 내비게이션의 차선 이탈 알림 시스템 및 방법{LANE DEPARTURE WARNING SYSTEM IN NAVIGATION FOR VEHICLE AND METHOD THEREOF}Lane Departure Warning System and Method for Vehicle Navigation {LANE DEPARTURE WARNING SYSTEM IN NAVIGATION FOR VEHICLE AND METHOD THEREOF}

본 발명의 실시예들은 카메라 일체형 내비게이션에서 차선 이탈 알림 기능을 수행하는 차선 이탈 알림 시스템 및 방법에 관한 것이다.Embodiments of the present invention relate to a lane departure notification system and method for performing a lane departure notification function in a camera integrated navigation.

차량의 주행 시 가장 중요한 것은 안전주행 및 교통사고의 예방이며, 이를 위해 차량의 자세제어, 차량 구성장치들의 기능제어 등을 수행하는 다양한 보조장치 및 안전벨트, 에어백 등의 안전장치가 차량에 장착되어 있다.The most important thing when driving a vehicle is the safety driving and the prevention of traffic accidents. To this end, various auxiliary devices and safety devices such as seat belts and airbags that perform the attitude control of the vehicle and the functional control of the vehicle components are mounted on the vehicle. have.

최근에는 블랙박스(black box)를 차량에 설치하고, 차량의 각종 센서들로부터 전송되는 데이터를 블랙박스에 저장함으로써 차량의 사고 발생시 차량에 설치된 블랙박스를 회수하여 차량의 사고 원인을 규명할 수 있다.Recently, a black box is installed in a vehicle, and data transmitted from various sensors of the vehicle are stored in the black box so that the cause of the vehicle accident can be identified by recovering the black box installed in the vehicle when the accident occurs. .

한편, 차선이탈경보장치(Lane Departure Warning System)는 졸음운전, 부주의운전, 뜻하지 않은 차선이탈사고로부터 운전자를 지켜주고 안전운전을 할 수 있도록 도와주는 장치이며, 룸미러 뒤의 차량 앞유리에 전용 카메라를 장착하여, 카메라로 도로의 상황을 계속 모니터링하고 있다가 차선이탈 예측시 경보음을 자동으로 울려주도록 되어 있다.Meanwhile, Lane Departure Warning System is a device that protects the driver from drowsiness, careless driving and accidental lane departure accident and helps to drive safely. It is designed to continuously monitor road conditions with a camera and automatically sound an alarm when predicting lane departure.

현재의 차선이탈경보장치는 전용 카메라 모듈을 구비한 별도의 제품으로 구성되거나, 블랙박스의 기능으로서 탑재되어 차선 이탈 알림 기능을 서비스 하고 있는 실정이다.The current lane departure warning device is configured as a separate product with a dedicated camera module or is mounted as a function of a black box to provide a lane departure notification function.

블랙박스 또는 카메라 전용 모듈을 이용하여 차선 이탈 알림 기능을 서비스 하는 것이 아니라, 카메라 일체형 내비게이션에서 직접 차선 이탈 알림 기능을 수행하는 차선 이탈 알림 시스템 및 방법이 제공된다.A lane departure notification system and method for performing a lane departure notification function directly in a camera-integrated navigation system without providing a lane departure notification function using a black box or a camera-specific module is provided.

내비게이션에서 차선 이탈 알림 기능을 수행하기 위해 차의 진행 방향에 존재하는 차선을 검출하는 차선 이탈 알림 시스템 및 방법이 제공된다.A lane departure notification system and method are provided for detecting a lane existing in a driving direction of a vehicle to perform a lane departure notification function in a navigation.

영상 처리를 이용한 차선 검출 알고리즘을 카메라 일체형 내비게이션에 적용하여 차선 이탈 알림 기능을 서비스 하는 차선 이탈 알림 시스템 및 방법이 제공된다.A lane departure notification system and method for providing a lane departure notification function by applying a lane detection algorithm using image processing to a camera integrated navigation is provided.

카메라로부터 차량의 전방을 촬영한 영상을 입력 받아 영상을 그레이(grey) 영상으로 변환하는 영상 처리부; 그레이 영상에서 차선을 검출하기 위한 관심 영역(region of interest)을 설정하는 영역 설정부; 관심 영역에 해당되는 그레이 영상에서 에지(edge)를 검출하여 상기 에지가 포함된 에지 영상으로 변환하는 에지 검출부; 및 에지 영상으로부터 차량이 주행 중인 차선을 검출하는 차선 검출부를 포함하는 차량용 내비게이션의 차선 이탈 알림 시스템이 제공된다.An image processor which receives an image of the front of the vehicle from the camera and converts the image into a gray image; A region setting unit for setting a region of interest for detecting a lane in a gray image; An edge detector for detecting an edge from a gray image corresponding to the ROI and converting the edge to an edge image including the edge; And a lane detection unit detecting a lane on which the vehicle is driving from an edge image.

일측에 따르면, 영상 처리부는 영상에 대하여 광원 보정 알고리즘을 적용하여 광원 보정 후 그레이 영상으로 변환할 수 있다.According to one side, the image processor may be converted to a gray image after the light source correction by applying a light source correction algorithm to the image.

다른 측면에 따르면, 에지 검출부는 캐니(Canny) 알고리즘을 적용하여 에지를 검출할 수 있다.According to another aspect, the edge detector may detect an edge by applying a Canny algorithm.

또 다른 측면에 따르면, 영역 설정부는 관심 영역에 해당되는 그레이 영상의 평균 휘도 값인 에지 레벨 값을 갖는다.According to another aspect, the area setting unit has an edge level value that is an average luminance value of the gray image corresponding to the ROI.

또 다른 측면에 따르면, 에지 검출부는 에지 레벨 값을 이용하여 에지를 검출할 수 있다.According to another aspect, the edge detector may detect the edge using an edge level value.

또 다른 측면에 따르면, 차선 검출부는 에지 영상에 대하여 허프 변환(hough transform) 알고리즘을 적용하여 직선을 나타내는 에지의 위치를 차선으로 검출할 수 있다.According to another aspect, the lane detector may detect a position of an edge representing a straight line by applying a hough transform algorithm to the edge image.

또 다른 측면에 따르면, 차선 검출부는 차량의 주행 방향에 대하여 일정 폭을 가지는 에지의 위치를 차선으로 검출할 수 있다.According to another aspect, the lane detection unit may detect the position of the edge having a predetermined width with respect to the driving direction of the vehicle as a lane.

또 다른 측면에 따르면, 차선 검출부는 에지 영상으로부터 적어도 하나의 후보 차선을 검출한 후, 이전 영상에서 검출된 차선과 후보 차선의 상관도에 따라 후보 차선을 최종 차선으로 판단할 수 있다.According to another aspect, the lane detector may detect at least one candidate lane from the edge image, and then determine the candidate lane as the final lane based on a correlation between the lane detected in the previous image and the candidate lane.

또 다른 측면에 따르면, 차선 검출부는 후보 차선 중 이전 차선의 위치와 가장 가까운 후보 차선을 최종 차선으로 판단할 수 있다.According to another aspect, the lane detector may determine the candidate lane closest to the position of the previous lane among the candidate lanes as the final lane.

또 다른 측면에 따르면, 차선 검출부는 에지 영상으로부터 차선이 검출되지 않으면 이전 영상에서 검출된 이전 차선의 위치를 차선으로 대체할 수 있다.According to another aspect, the lane detector may replace the position of the previous lane detected in the previous image with the lane if the lane is not detected from the edge image.

또 다른 측면에 따르면, 영역 설정부는 관심 영역을 적어도 하나의 부 영역으로 분할하고, 차선 검출부는 각각의 부 영역에 대하여 차선을 검출할 수 있다.According to another aspect, the area setting unit may divide the region of interest into at least one sub-region, and the lane detection unit may detect a lane for each sub-region.

또 다른 측면에 따르면, 차선 검출부는 각각의 부 영역에 대하여 후보 차선을 검출한 후, 후보 차선을 대상으로 커브 피팅(curve fitting) 알고리즘을 적용하여 최종 차선을 검출할 수 있다.According to another aspect, the lane detecting unit may detect a candidate lane for each subregion and then detect a final lane by applying a curve fitting algorithm to the candidate lane.

영상 처리부에서, 카메라로부터 차량의 전방을 촬영한 영상을 입력 받아 영상을 그레이 영상으로 변환하는 영상 처리 단계; 영역 설정부에서, 그레이 영상에서 차선을 검출하기 위한 관심 영역을 설정하는 영역 설정 단계; 에지 검출부에서, 관심 영역에 해당되는 그레이 영상에서 에지를 검출하여 상기 에지가 포함된 에지 영상으로 변환하는 에지 검출 단계; 및 차선 검출부에서, 에지 영상으로부터 차량이 주행 중인 차선을 검출하는 차선 검출 단계를 포함하는 차량용 내비게이션의 차선 이탈 알림 방법이 제공된다.An image processing step of receiving an image of the front of the vehicle from the camera and converting the image into a gray image; A region setting step of setting, by the region setting unit, a region of interest for detecting a lane in a gray image; An edge detection step of detecting an edge in a gray image corresponding to the ROI and converting the edge to an edge image including the edge; And a lane detection step of detecting, from the edge image, a lane on which the vehicle is driving by the lane detection unit.

카메라 일체형 내비게이션에서 차선 검출을 직접 수행함으로써 별도의 블랙 박스 장비나 카메라 전용 모듈을 이용하지 않고도 차량용 내비게이션 자체만으로 차선 이탈 알림 기능을 수행할 수 있어 기능적 측면에서 내비게이션의 경쟁력을 높일 수 있다.By performing lane detection directly in the camera-integrated navigation system, lane departure notification can be performed only by the vehicle navigation itself without using a separate black box equipment or a camera-specific module, thereby enhancing the competitiveness of navigation in terms of functionality.

차선검출을 위해 적응적인 알고리즘을 적용함으로써 점선 형태의 차선, 그림자가 있는 도로의 차선, 곡선 형태의 차선 등 다양한 환경에서의 차선을 검출할 수 있으며, 노후한 차선이나 보수된 도로에서도 차선을 정확하게 구분할 수 있다.By applying adaptive algorithms for lane detection, it is possible to detect lanes in various environments such as lanes of dotted lines, lanes of shadowed roads, and lanes of curved lines, and to accurately distinguish lanes from aging lanes and repaired roads. Can be.

도 1은 본 발명의 일실시예에 있어서, 차량용 내비게이션의 차선 이탈 알림 시스템의 내부 구성을 도시한 블록도이다.
도 2 내지 도 6은 본 발명의 일실시예에 있어서, 차량용 내비게이션에 구비된 카메라를 통해 촬영된 영상을 이용하여 차선을 검출하는 과정을 설명하기 위한 예시 영상을 도시한 도면이다.
도 7은 본 발명의 일실시예에 있어서, 곡선 형태의 차선을 검출하는 과정을 설명하기 위한 예시 영상을 도시한 도면이다.
도 8은 본 발명의 일실시예에 있어서, 차량용 내비게이션의 차선 이탈 알림 방법의 전 과정을 도시한 흐름도이다.1 is a block diagram illustrating an internal configuration of a lane departure notification system of a vehicle navigation system according to an embodiment of the present invention.
2 to 6 are diagrams illustrating exemplary images for explaining a process of detecting a lane using an image photographed by a camera provided in a vehicle navigation system according to one embodiment of the present invention.
FIG. 7 is a diagram illustrating an example image for explaining a process of detecting a curved lane according to an embodiment of the present invention.
8 is a flowchart illustrating an entire process of a lane departure notification method of a vehicle navigation system according to an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 있어서, 차량용 내비게이션의 차선 이탈 알림 시스템에 대한 전체 구성도이다. 차선 이탈 알림 시스템(100)은 차량용 내비게이션 기기, 특히 카메라 일체형 내비게이션에 적용되는 것으로, 내비게이션 기기와 하나의 구성으로 이루어진다.FIG. 1 is a block diagram illustrating a lane departure notification system of a vehicle navigation system according to an embodiment of the present invention. Lane departure notification system 100 is applied to a vehicle navigation device, in particular, camera-integrated navigation, consisting of a navigation device and one configuration.

도 1에 도시한 바와 같이, 일실시예에 따른 차선 이탈 알림 시스템(100)은 주행 중인 차량의 차선을 검출하는 구성으로, 카메라(110), 영상 처리부(120), 영역 설정부(130), 에지 검출부(140), 차선 검출부(150)로 구성될 수 있다.As shown in FIG. 1, the lane departure notification system 100 according to an exemplary embodiment is configured to detect a lane of a driving vehicle, and includes a camera 110, an image processing unit 120, an area setting unit 130, The edge detector 140 and the lane detector 150 may be configured.

카메라(110)는 주행 중인 차량의 전방을 촬영하는 수단으로, 도 2에 도시한 바와 같이 일정 크기(예를 들어, 640*480)의 영상(201)을 촬영할 수 있다. 이때, 촬영된 영상(201)은 RGB(Red Green Blue)(칼라) 영상을 의미할 수 있다. 상기한 카메라(110)는 차량용 내비게이션에 일체형으로 구성된 것으로, 차량의 전방을 촬영할 수 있도록 내비게이션 본체의 뒤인, 차량의 앞 유리를 바라보는 위치에 장착된 것이다.The camera 110 is a means for photographing the front of the driving vehicle. As shown in FIG. 2, the camera 110 may photograph an image 201 having a predetermined size (for example, 640 * 480). In this case, the captured image 201 may refer to a red green blue (RGB) image. The camera 110 is integrated in a vehicle navigation system, and is mounted at a position facing the windshield of the vehicle, which is behind the navigation body so that the front of the vehicle can be photographed.

영상 처리부(120)는 카메라(110)로부터 촬영된 RGB 영상을 입력 받아 입력된 RGB 영상을 그레이(흑백) 영상으로 변환하는 역할을 수행한다.The image processor 120 receives an RGB image captured by the camera 110 and converts the input RGB image into a gray (black and white) image.

도로의 일부분이 그림자 영향을 받으면 차선 검출에 어려움이 있기 때문에 그림자 영향을 최소화 하기 위하여, 본 실시예에서는 광원을 보정할 수 있는 방법을 적용할 수 있다. 일례로, 카메라(110)에서 촬영에 사용할 광원을 보정한 후 보정된 광원으로 차량의 전방을 촬영하여 RGB 영상을 얻을 수 있다. 다른 일례로, 영상 처리부(120)에서 RGB 영상에 대하여 광원 보정 알고리즘을 적용하여 RGB 영상의 광원을 보정한 후, 보정된 RGB 영상을 그레이 영상으로 변경할 수 있다.If a part of the road is affected by the shadow, it is difficult to detect the lane, so in this embodiment, a method of correcting the light source may be applied to minimize the shadow effect. For example, the camera 110 may correct the light source to be used for photographing, and then photograph the front of the vehicle with the corrected light source to obtain an RGB image. As another example, the image processor 120 may apply a light source correction algorithm to the RGB image to correct the light source of the RGB image, and then change the corrected RGB image to a gray image.

영역 설정부(130)는 그레이 영상에서 차선을 검출하기 위한 관심 영역(ROI: Region of Interest)을 설정하는 역할을 수행한다. 이때, 관심 영역은 카메라(110)의 설치 각도 및 시야각에 따라 촬영된 영상 내에서 차선이 존재 가능한 영역으로 설정될 수 있다. 일례로, 영역 설정부(130)는 도 3에 도시한 바와 같이 차선이 시작되는 위치(A)를 기점으로 y축 방향으로 일정 거리(B)만큼의 영역을 관심 영역(301)으로 설정할 수 있다. 이때, 관심 영역(301)이 결정되는 조건인, 차선이 시작되는 위치(A)와 일정 거리(B)는 차로의 폭과 카메라(110)의 시야각으로 추정할 수 있다. 또한, 영역 설정부(130)는 관심 영역에 대한 적응형 에지 레벨 값을 찾는다. 여기서, 적응형 에지 레벨 값은 관심 영역에 해당되는 그레이 영상의 평균 휘도 값으로 결정될 수 있으며, 이는 후술하는 에지 검출부(140)에서 에지 검출을 위한 기준 값으로 이용될 수 있다.The region setting unit 130 sets a region of interest (ROI) for detecting a lane in the gray image. In this case, the ROI may be set as an area where lanes may exist in the captured image according to the installation angle and the viewing angle of the camera 110. For example, as shown in FIG. 3, the area setting unit 130 may set the region of interest 301 by a predetermined distance B in the y-axis direction from the position A at which the lane starts. . In this case, the position A and the predetermined distance B at which the lane of interest is determined may be estimated based on the width of the lane and the viewing angle of the camera 110. The region setting unit 130 also finds an adaptive edge level value for the region of interest. In this case, the adaptive edge level value may be determined as an average luminance value of a gray image corresponding to the ROI, which may be used as a reference value for edge detection in the edge detector 140 to be described later.

에지 검출부(140)는 관심 영역에 해당되는 그레이 영상에서 에지(edge)를 검출한 에지 영상으로 변환하는 역할을 수행한다. 에지 검출부(140)는 캐니(Canny) 알고리즘을 적용하여 도 4에 도시한 바와 같은 에지 영상(401)을 얻을 수 있다. 이때, 에지 검출부(140)는 영역 설정부(130)에서 결정된 에지 레벨 값을 이용하여 에지를 검출할 수 있다. 본 실시예에서는, 일차적으로 RGB 영상의 광원이 보정된 후 변경된 그레이 영상에서 에지 레벨 값이 결정된다. 따라서, 터널, 그림자 등의 조명 조건이 크게 변하는 환경에서도 차선을 정확하게 검출할 수 있도록 적응형 에지 검출 방식을 적용할 수 있으며, 이로 인하여 터널이나 그림자가 있는 도로에서도 차선 에지를 보다 정확히 검출할 수 있다.The edge detector 140 converts an edge from a gray image corresponding to the ROI to an edge image detected from the gray image. The edge detector 140 may apply a Canny algorithm to obtain an edge image 401 as illustrated in FIG. 4. In this case, the edge detector 140 may detect the edge using the edge level value determined by the region setting unit 130. In the present embodiment, the edge level value is determined in the gray image which is changed after the light source of the RGB image is corrected. Therefore, an adaptive edge detection method can be applied to accurately detect a lane even in an environment where lighting conditions such as tunnels and shadows change drastically. As a result, lane edges can be more accurately detected even in a tunnel or a road with shadows. .

차선 검출부(150)는 에지 영상으로부터 차량이 주행 중인 차선을 검출하는 역할을 수행한다. 상세하게, 차선 검출부(150)는 에지 영상에 대하여 허프 변환 알고리즘을 적용하여 직선을 나타내는 에지를 검출하고 검출된 직선의 위치를 차선으로 인식할 수 있다. 도 5에 도시한 바와 같이, 허프 변환을 통해서 영상에 포함되어 있는 직선 후보들을 검출할 수 있다. 일례로, 차선 검출부(150)는 다수의 직선 후보 중에서 관심 영역의 중점으로부터의 거리가 최소인 직선을 차선으로 판단할 수 있다. 다른 일례로, 차선 검출부(150)는 다수의 직선 후보 중에서 차량의 주행 방향에 대하여 일정한 차선의 폭을 가지는 직선의 위치를 차선으로 판단할 수 있다. 차선은 일정 폭을 가지고 도로 면에 존재하며, 수평 선 위로는 나타나지 않고 차량의 진행 방향과 대응되는 선 상에 나타난다. 따라서, 차선 검출부(150)는 도 6에 도시한 바와 같이 차량의 진행 방향에 대응되는 직선 후보 간에 일정 폭을 가지는 직선을 차선으로 인식할 수 있다. 또 다른 일례로, 차선 검출부(150)는 다수의 직선 후보 중에서 관심 영역의 수직 중심선을 기준으로 서로 대칭을 이루는 직선을 차선으로 판단할 수 있다.The lane detector 150 detects a lane in which the vehicle is driving from an edge image. In detail, the lane detection unit 150 may apply an Hough transform algorithm to the edge image to detect an edge representing a straight line and recognize the detected position of the straight line as a lane. As illustrated in FIG. 5, straight line candidates included in an image may be detected through Hough transform. For example, the lane detector 150 may determine a straight line having a minimum distance from the midpoint of the ROI among the plurality of straight line candidates as the lane. As another example, the lane detecting unit 150 may determine a position of a straight line having a width of a predetermined lane with respect to a driving direction of the vehicle, from among a plurality of straight line candidates. The lanes have a certain width on the road surface and do not appear above the horizontal line but on a line corresponding to the direction of travel of the vehicle. Accordingly, the lane detecting unit 150 may recognize a straight line having a predetermined width as a lane between the straight line candidates corresponding to the traveling direction of the vehicle, as shown in FIG. 6. As another example, the lane detector 150 may determine, as a lane, straight lines that are symmetrical with each other based on a vertical center line of the ROI among a plurality of straight line candidates.

노면의 차선이 직선에 가까우면서 뚜렷하면 차선 검출이 양호한 반면, 도로 상에 차선과 유사한 흔적이 남아있는 경우 이를 실제 차선인 것으로 검출하는 검출 오류가 발생할 수 있기 때문에, 이러한 검출 오류를 최소화 하기 위해 본 실시예에서는 이전 차선 정보와 현재 차선 정보 간의 상관도를 비교하여 차선을 검증할 수 있다. 상세하게, 차선 검출부(150)는 에지 영상으로부터 적어도 하나의 후보 차선을 검출한 후, 검출된 후보 차선 중 이전 영상에서 검출된 이전 차선과의 상관도를 통해 최종 차선을 판단할 수 있다. 여기서, 상관도는 후보 차선과 이전 차선과의 영상 내 위치를 비교하는 것으로부터 파악할 수 있으며, 차선 검출부(150)는 후보 차선 중 이전 영상에서 검출된 이전 차선의 위치와 가장 가까운 후보 차선을 차량이 주행 중인 차선인 것으로 최종 판단할 수 있다. 또한, 노면의 차선이 점선 등 다른 형태의 차선인 경우 차선을 검출하지 못하는 경우가 발생할 수 있다. 이러한 문제를 해결하기 위하여, 차선 검출부(150)는 현재 영상에서 차선이 검출되지 않으면 이전 영상에서 검출된 이전 차선의 위치를 현재 차량이 주행하고 있는 차선으로 대체하는 방식으로 차선을 판단할 수 있다.The lane detection is good if the lane on the road is close to the straight line and the lane is good.However, if there is a trace similar to the lane on the road, a detection error may be detected to detect it as a real lane. In an embodiment, the lane may be verified by comparing a correlation between previous lane information and current lane information. In detail, the lane detecting unit 150 may detect the at least one candidate lane from the edge image, and then determine the final lane based on a correlation with the previous lane detected in the previous image among the detected candidate lanes. The correlation may be determined by comparing the positions of the candidate lanes with the previous lanes in the image, and the lane detecting unit 150 may detect the candidate lanes closest to the positions of the previous lanes detected in the previous image. It can be finally determined that the vehicle is a driving lane. In addition, when the lane of the road surface is another type of lane such as a dotted line, it may occur that the lane cannot be detected. In order to solve this problem, if the lane is not detected in the current image, the lane detecting unit 150 may determine the lane by replacing the position of the previous lane detected in the previous image with the lane in which the current vehicle travels.

급격한 커브가 존재하는 도로에서는 도 7에 도시한 바와 같이, 차선 또한 직선보다는 곡선(701)의 형태를 가지므로 차선을 검출하지 못하는 경우가 발생할 수 있다. 이러한 문제를 해결하기 위하여, 본 실시예에서는 영역 설정부(130)에서 관심 영역을 몇 개의 부 영역으로 수평 분할한 후, 에지 검출부(140)를 통해 각각의 부 영역에 대하여 차선 에지를 검출할 수 있다. 이때, 차선 검출부(150)는 각각의 부 영역에서 검출된 차선 에지를 대상으로 커브 피팅 알고리즘을 적용하여 곡선의 차선을 최종 검출할 수 있다. 또한, 자동차가 차선 변경 시 차선이 진행 방향에 근접하면 직선을 결정하는 연결성의 값이 적어서 차선을 검출하지 못하는 경우가 발생할 수 있다. 이러한 직선 연결성 값의 영향을 최소화하기 위하여, 마찬가지로 본 실시예에서는 관심 영역을 몇 개의 영역으로 분할하여 차선을 검출하는 방식을 적용할 수 있다.As shown in FIG. 7, in a road where a sudden curve exists, a lane may not be detected because the lane has a shape of a curve 701 rather than a straight line. In order to solve this problem, in the present exemplary embodiment, the region setting unit 130 may horizontally divide the region of interest into several sub-regions, and then detect the lane edge for each sub-region through the edge detector 140. have. In this case, the lane detection unit 150 may finally detect the lane of the curve by applying a curve fitting algorithm to the lane edge detected in each subregion. In addition, when the vehicle changes lanes, when the lane approaches the direction of travel, there may be a case where the lane cannot be detected because the value of the connectivity for determining the straight line is small. In order to minimize the influence of the linear connectivity value, in this embodiment, a method of detecting a lane by dividing a region of interest into several regions may be applied.

상기한 구성의 차량용 내비게이션의 차선 이탈 알림 시스템(100)은 내비게이션에서의 영상을 이용하여 차량이 주행 중인 차선을 검출할 수 있으며, 차선 검출이 완료되면 차량의 차선 이탈 여부를 검출할 수 있다. 일실시예에 따른 차선 이탈 알림 시스템(100)은 도로의 한 차선을 이루는 두 개의 직선이 교차하는 점인 소실점을 이용하는 원리를 통해 차선 이탈을 판단할 수 있다. 차량이 차선 중앙에 위치할수록 영상의 중심점과 소실점의 거리가 가까워지는 반면, 차량이 차선 중앙을 벗어날수록 영상의 중심점과 소실점의 거리가 멀어지게 되므로, 소실점이 영상의 중심점으로부터 일정 거리 이상 멀어진다는 것은 차선 이탈의 가능성이 있다고 판단되는 근거가 될 수 있다. 실험을 통해 영상의 중심점으로부터 적절한 거리 값을 설정함으로써 차선 이탈을 검출할 수 있으며, 이를 근거로 차선 이탈 알림 기능을 수행할 수 있다.The lane departure notification system 100 of the vehicle navigation apparatus configured as described above may detect a lane in which the vehicle is driven by using an image from the navigation. When the lane detection is completed, the lane departure notification system 100 may detect whether the vehicle leaves the lane. The lane departure notification system 100 according to an exemplary embodiment may determine lane departure through a principle of using a vanishing point, which is a point where two straight lines constituting one lane of a road cross each other. The closer the vehicle is to the center of the lane, the closer the center and vanishing points of the image are. On the other hand, the farther the vehicle is from the center of the lane, the farther the center and vanishing points of the image become. This may be the basis for determining that there is a possibility of lane departure. Through experiments, the lane departure can be detected by setting an appropriate distance value from the center point of the image, and the lane departure notification function can be performed based on this.

도 8은 본 발명의 일실시예에 있어서, 차량용 내비게이션의 차선 이탈 알림 방법의 전 과정을 도시한 흐름도이다. 본 실시예에 따른 차선 이탈 알림 방법은 도 1을 통해 설명한 차량용 내비게이션의 차선 이탈 알림 시스템(100)에 의해 각각의 단계가 수행될 수 있다.8 is a flowchart illustrating an entire process of a lane departure notification method of a vehicle navigation system according to an embodiment of the present invention. In the lane departure notification method according to the present embodiment, each step may be performed by the lane departure notification system 100 of the vehicle navigation apparatus described with reference to FIG. 1.

단계(810)에서 차선 이탈 알림 시스템(100)은 차량의 전방을 촬영하는 카메라로부터 촬영된 RGB 영상을 입력 받아, RGB 영상을 그레이 영상으로 변환한다. 이때, 차선 이탈 알림 시스템(100)은 영상에서의 그림자 영향을 최소화 하기 위하여 카메라에서 사용되는 광원을 보정하거나, 촬영 영상인 RGB 영상의 광원을 보정한 후 그레이 영상으로 변경할 수 있다.In operation 810, the lane departure notification system 100 receives an RGB image captured by a camera photographing the front of the vehicle, and converts the RGB image into a gray image. At this time, the lane departure notification system 100 may correct the light source used in the camera to minimize the shadow effect on the image, or may correct the light source of the RGB image, which is the photographed image, and then change the gray image.

단계(820)에서 차선 이탈 알림 시스템(100)은 그레이 영상에서 차선을 검출하기 위한 관심 영역을 설정한 후 관심 영역에 대한 적응형 에지 레벨 값을 찾는다.In operation 820, the lane departure notification system 100 sets a region of interest for detecting a lane in a gray image, and then finds an adaptive edge level value for the region of interest.

단계(830)에서 차선 이탈 알림 시스템(100)은 관심 영역에 해당되는 그레이 영상에서 에지를 검출한 에지 영상으로 변환한다. 이때, 차선 이탈 알림 시스템(100)은 캐니 알고리즘을 적용하여 에지 영상을 얻을 수 있다.In operation 830, the lane departure notification system 100 converts the edge from the gray image corresponding to the ROI into the edge image detected. At this time, the lane departure notification system 100 may obtain an edge image by applying the Canny algorithm.

단계(840)에서 차선 이탈 알림 시스템(100)은 에지 영상으로부터 차량이 주행 중인 차선을 검출할 수 있다. 상세하게, 차선 이탈 알림 시스템(100)은 에지 영상에 대하여 허프 변환 알고리즘을 적용하여 직선을 나타내는 에지를 검출하고 검출된 직선의 위치를 차선으로 인식할 수 있다. 이때, 차선 이탈 알림 시스템(100)은 에지 영상으로부터 적어도 하나의 후보 차선을 검출한 후, 검출된 후보 차선 중 이전 영상에서 검출된 이전 차선과의 상관도를 통해 차선을 검증할 수 있다. 또한, 차선 이탈 알림 시스템(100)은 현재 영상에서 차선이 검출되지 않으면 이전 영상에서 검출된 이전 차선의 위치를 현재 차량이 주행하고 있는 차선으로 대체하는 방식으로 차선을 판단할 수 있다. 그리고, 차선 이탈 알림 시스템(100)은 관심 영역을 몇 개의 영역으로 분할하여 에지 검출을 통해 각각의 분할된 영역에 대하여 차선 에지를 검출할 수 있다. 더욱이, 차선 이탈 알림 시스템(100)은 차선 검출이 완료되면 도로의 한 차선을 이루는 두 개의 직선이 교차하는 점인 소실점을 이용하는 원리를 통해 차량의 차선 이탈을 판단할 수 있으며, 이를 근거로 차선 이탈 알림 기능을 수행할 수 있다.In operation 840, the lane departure notification system 100 may detect a lane in which the vehicle is driving from the edge image. In detail, the lane departure notification system 100 may apply a Hough transform algorithm to the edge image to detect an edge representing a straight line and recognize the detected position of the straight line as a lane. In this case, the lane departure notification system 100 may detect at least one candidate lane from the edge image, and then verify the lane through a correlation with the previous lane detected in the previous image among the detected candidate lanes. In addition, when the lane departure notification system 100 does not detect a lane in the current image, the lane departure notification system 100 may determine the lane by replacing the position of the previous lane detected in the previous image with the lane in which the current vehicle travels. The lane departure notification system 100 may divide a region of interest into several regions and detect lane edges for each divided region through edge detection. Furthermore, the lane departure notification system 100 may determine the lane departure of the vehicle based on the principle of using the vanishing point, which is a point where two straight lines forming one lane cross the intersection when the lane detection is completed. Function can be performed.

이와 같이, 본 발명의 실시예들에 따르면, 카메라 일체형 내비게이션에서 차선 검출을 직접 수행함으로써 별도의 블랙 박스 장비나 카메라 전용 모듈을 이용하지 않고도 차량용 내비게이션 자체만으로 차선 이탈 알림 기능을 수행할 수 있다. 점선 형태의 차선, 그림자가 있는 도로의 차선, 곡선 형태의 차선 등 다양한 환경에서도 차선 검출이 가능하며, 노후한 차선이나 보수된 도로에서도 차선을 정확하게 구분할 수 있다.As described above, according to embodiments of the present invention, the lane departure notification function may be performed only by the vehicle navigation itself without using a separate black box equipment or a camera module by directly performing lane detection in the camera integrated navigation. It is possible to detect lanes in various environments such as lanes of dotted lines, lanes of shadowed roads, and lanes of curved lines, and lanes can be accurately distinguished even from aging lanes and repaired roads.

본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Embodiments of the present invention include computer readable media including program instructions for performing various computer implemented operations. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The media may be program instructions that are specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

100: 차선 이탈 알림 시스템
110: 카메라
120: 영상 처리부
130: 영역 설정부
140: 에지 검출부
150: 차선 검출부100: Lane Departure Notification System
110: camera
120: image processing unit
130: area setting unit
140: edge detector
150: lane detection unit

Claims (25)

차량용 내비게이션의 차선 이탈 알림 시스템에 있어서,
카메라로부터 차량의 전방을 촬영한 영상을 입력 받아 상기 영상을 그레이(grey) 영상으로 변환하는 영상 처리부;
상기 그레이 영상에서 차선을 검출하기 위한 관심 영역(region of interest)을 설정하는 영역 설정부;
상기 관심 영역에 해당되는 상기 그레이 영상에서 에지(edge)를 검출하여 상기 에지가 포함된 에지 영상으로 변환하는 에지 검출부; 및
상기 에지 영상으로부터 상기 차량의 주행 중인 차선을 검출하는 차선 검출부
를 포함하고,
상기 영상 처리부는,
상기 카메라의 광원을 보정하거나 상기 영상에 광원 보정 알고리즘을 적용하여 광원이 보정된 보정 영상을 얻은 후 상기 보정 영상을 상기 그레이 영상으로 변환하며,
상기 에지 검출부는,
상기 관심 영역에 해당되는 상기 그레이 영상의 평균 휘도 값인 에지 레벨 값을 이용하여 상기 그레이 영상에서 상기 에지를 검출하고,
상기 에지 레벨 값은 상기 보정 영상이 변환된 상기 그레이 영상으로부터 결정되는 것
을 특징으로 하는 차량용 내비게이션의 차선 이탈 알림 시스템.In the lane departure notification system of the vehicle navigation,
An image processor which receives an image of the front of the vehicle from a camera and converts the image into a gray image;
A region setting unit for setting a region of interest for detecting a lane in the gray image;
An edge detector for detecting an edge from the gray image corresponding to the ROI and converting the edge to an edge image including the edge; And
A lane detecting unit detecting a driving lane of the vehicle from the edge image;
Lt; / RTI >
Wherein the image processing unit comprises:
Correcting the light source of the camera or applying a light source correction algorithm to the image to obtain a corrected image of which the light source is corrected, and then converting the corrected image into the gray image,
The edge detector,
Detect the edge in the gray image using an edge level value that is an average luminance value of the gray image corresponding to the ROI,
The edge level value is determined from the gray image in which the corrected image is converted.
Lane departure notification system of a vehicle navigation, characterized in that. 삭제delete 제1항에 있어서,
상기 에지 검출부는,
캐니(Canny) 알고리즘을 적용하여 상기 에지를 검출하는 것
을 특징으로 하는 차량용 내비게이션의 차선 이탈 알림 시스템.The method of claim 1,
The edge detector,
Detecting the edge by applying the Canny algorithm
Lane departure notification system of a vehicle navigation, characterized in that. 삭제delete 삭제delete 제1항에 있어서,
상기 차선 검출부는,
상기 에지 영상에 대하여 허프 변환(hough transform) 알고리즘을 적용하여 직선을 나타내는 에지의 위치를 상기 차선으로 검출하는 것
을 특징으로 하는 차량용 내비게이션의 차선 이탈 알림 시스템.The method of claim 1,
The lane detection unit,
Detecting a position of an edge representing a straight line with the lane by applying a hough transform algorithm to the edge image;
Lane departure notification system of a vehicle navigation, characterized in that. 제1항에 있어서,
상기 차선 검출부는,
상기 차량의 주행 방향에 대하여 일정 폭을 가지는 에지의 위치를 상기 차선으로 검출하는 것
을 특징으로 하는 차량용 내비게이션의 차선 이탈 알림 시스템.The method of claim 1,
The lane detection unit,
Detecting the position of an edge having a predetermined width with respect to the driving direction of the vehicle by the lane;
Lane departure notification system of a vehicle navigation, characterized in that. 제1항에 있어서,
상기 차선 검출부는,
상기 에지 영상으로부터 적어도 하나의 후보 차선을 검출한 후, 이전 영상에서 검출된 차선과 상기 후보 차선과의 상관도에 따라 상기 후보 차선을 최종 차선으로 판단하는 것
을 특징으로 하는 차량용 내비게이션의 차선 이탈 알림 시스템.The method of claim 1,
The lane detection unit,
After detecting at least one candidate lane from the edge image, determining the candidate lane as a final lane according to a correlation between the lane detected in a previous image and the candidate lane
Lane departure notification system of a vehicle navigation, characterized in that. 제8항에 있어서,
상기 차선 검출부는,
상기 후보 차선 중 상기 이전 차선의 위치와 가장 가까운 후보 차선을 상기 최종 차선으로 판단하는 것
을 특징으로 하는 차량용 내비게이션의 차선 이탈 알림 시스템.9. The method of claim 8,
The lane detection unit,
Determining the candidate lane closest to the position of the previous lane among the candidate lanes as the final lane;
Lane departure notification system of a vehicle navigation, characterized in that. 제1항에 있어서,
상기 차선 검출부는,
상기 에지 영상으로부터 상기 차선이 검출되지 않으면 이전 영상에서 검출된 이전 차선의 위치를 상기 차선으로 대체하는 것
을 특징으로 하는 차량용 내비게이션의 차선 이탈 알림 시스템.The method of claim 1,
The lane detection unit,
Replacing the position of the previous lane detected in the previous image with the lane if the lane is not detected from the edge image;
Lane departure notification system of a vehicle navigation, characterized in that. 제1항에 있어서,
상기 영역 설정부는,
상기 관심 영역을 적어도 하나의 부 영역으로 분할하고,
상기 차선 검출부는,
각각의 부 영역에 대하여 상기 차선을 검출하는 것
을 특징으로 하는 차량용 내비게이션의 차선 이탈 알림 시스템.The method of claim 1,
The area setting unit,
Dividing the region of interest into at least one subregion,
The lane detection unit,
Detecting the lane for each subregion
Lane departure notification system of a vehicle navigation, characterized in that. 제11항에 있어서,
상기 차선 검출부는,
각각의 부 영역에 대하여 후보 차선을 검출한 후, 상기 후보 차선을 대상으로 커브 피팅(curve fitting) 알고리즘을 적용하여 최종 차선을 검출하는 것
을 특징으로 하는 차량용 내비게이션의 차선 이탈 알림 시스템.The method of claim 11,
The lane detection unit,
Detecting candidate lanes for each subregion and then detecting a final lane by applying a curve fitting algorithm to the candidate lanes
Lane departure notification system of a vehicle navigation, characterized in that. 차량용 내비게이션의 차선 이탈 알림 방법에 있어서,
영상 처리부에서, 카메라로부터 차량의 전방을 촬영한 영상을 입력 받아 상기 영상을 그레이 영상으로 변환하는 영상 처리 단계;
영역 설정부에서, 상기 그레이 영상에서 차선을 검출하기 위한 관심 영역을 설정하는 영역 설정 단계;
에지 검출부에서, 상기 관심 영역에 해당되는 상기 그레이 영상에서 에지를 검출하여 상기 에지가 포함된 에지 영상으로 변환하는 에지 검출 단계; 및
차선 검출부에서, 상기 에지 영상으로부터 상기 차량이 주행 중인 차선을 검출하는 차선 검출 단계
를 포함하고,
상기 영상 처리 단계는,
상기 카메라의 광원을 보정하거나 상기 영상에 광원 보정 알고리즘을 적용하여 광원이 보정된 보정 영상을 얻은 후 상기 보정 영상을 상기 그레이 영상으로 변환하며,
상기 에지 검출 단계는,
상기 관심 영역에 해당되는 상기 그레이 영상의 평균 휘도 값인 에지 레벨 값을 이용하여 상기 그레이 영상에서 상기 에지를 검출하고,
상기 에지 레벨 값은 상기 보정 영상이 변환된 상기 그레이 영상에서 결정되는 것
을 특징으로 하는 차량용 내비게이션의 차선 이탈 알림 방법.In the lane departure notification method of a vehicle navigation,
An image processing step of receiving an image of the front of the vehicle from the camera and converting the image into a gray image;
A region setting step of setting a region of interest for detecting a lane in the gray image in a region setting unit;
An edge detecting step of detecting an edge in the gray image corresponding to the ROI and converting the edge into an edge image including the edge; And
A lane detecting step of detecting a lane in which the vehicle is driving from the edge image in the lane detecting unit
Lt; / RTI >
The image processing step,
Correcting the light source of the camera or applying a light source correction algorithm to the image to obtain a corrected image of which the light source is corrected, and then converting the corrected image into the gray image,
The edge detection step,
Detect the edge in the gray image using an edge level value that is an average luminance value of the gray image corresponding to the ROI,
The edge level value is determined from the gray image obtained by converting the corrected image.
Lane departure notification method of a vehicle navigation, characterized in that. 삭제delete 제13항에 있어서,
상기 에지 검출 단계는,
캐니 알고리즘을 적용하여 상기 에지를 검출하는 것
을 특징으로 하는 차량용 내비게이션의 차선 이탈 알림 방법.The method of claim 13,
The edge detection step,
Applying the Canny algorithm to detect the edge
Lane departure notification method of a vehicle navigation, characterized in that. 삭제delete 삭제delete 제13항에 있어서,
상기 차선 검출 단계는,
상기 에지 영상에 대하여 허프 변환 알고리즘을 적용하여 직선을 나타내는 에지의 위치를 상기 차선으로 검출하는 것
을 특징으로 하는 차량용 내비게이션의 차선 이탈 알림 방법.The method of claim 13,
The lane detection step,
Detecting a position of an edge representing a straight line with the lane by applying a Hough transform algorithm to the edge image;
Lane departure notification method of a vehicle navigation, characterized in that. 제13항에 있어서,
상기 차선 검출 단계는,
상기 차량의 주행 방향에 대하여 일정 폭을 가지는 에지의 위치를 상기 차선으로 검출하는 것
을 특징으로 하는 차량용 내비게이션의 차선 이탈 알림 방법.The method of claim 13,
The lane detection step,
Detecting the position of an edge having a predetermined width with respect to the driving direction of the vehicle by the lane;
Lane departure notification method of a vehicle navigation, characterized in that. 제13항에 있어서,
상기 차선 검출 단계는,
상기 에지 영상으로부터 적어도 하나의 후보 차선을 검출한 후, 이전 영상에서 검출된 차선과 상기 후보 차선과의 상관도에 따라 상기 후보 차선을 최종 차선으로 판단하는 것
을 특징으로 하는 차량용 내비게이션의 차선 이탈 알림 방법.The method of claim 13,
The lane detection step,
After detecting at least one candidate lane from the edge image, determining the candidate lane as a final lane according to a correlation between the lane detected in a previous image and the candidate lane
Lane departure notification method of a vehicle navigation, characterized in that. 제20항에 있어서,
상기 차선 검출 단계는,
상기 후보 차선 중 상기 이전 차선의 위치와 가장 가까운 후보 차선을 상기 최종 차선으로 판단하는 것
을 특징으로 하는 차량용 내비게이션의 차선 이탈 알림 방법.21. The method of claim 20,
The lane detection step,
Determining the candidate lane closest to the position of the previous lane among the candidate lanes as the final lane;
Lane departure notification method of a vehicle navigation, characterized in that. 제13항에 있어서,
상기 차선 검출 단계는,
상기 에지 영상으로부터 상기 차선이 검출되지 않으면 이전 영상에서 검출된 이전 차선의 위치를 상기 차선으로 대체하는 것
을 특징으로 하는 차량용 내비게이션의 차선 이탈 알림 방법.The method of claim 13,
The lane detection step,
Replacing the position of the previous lane detected in the previous image with the lane if the lane is not detected from the edge image;
Lane departure notification method of a vehicle navigation, characterized in that. 제13항에 있어서,
상기 영역 설정 단계는,
상기 관심 영역을 적어도 하나의 부 영역으로 분할하고,
상기 차선 검출 단계는,
각각의 부 영역에 대하여 상기 차선을 검출하는 것
을 특징으로 하는 차량용 내비게이션의 차선 이탈 알림 방법.The method of claim 13,
The area setting step,
Dividing the region of interest into at least one subregion,
The lane detection step,
Detecting the lane for each subregion
Lane departure notification method of a vehicle navigation, characterized in that. 제23항에 있어서,
상기 차선 검출 단계는,
각각의 부 영역에 대하여 후보 차선을 검출한 후, 상기 후보 차선을 대상으로 커브 피팅 알고리즘을 적용하여 최종 차선을 검출하는 것
을 특징으로 하는 차량용 내비게이션의 차선 이탈 알림 방법.24. The method of claim 23,
The lane detection step,
Detecting candidate lanes for each subregion, and then applying a curve fitting algorithm to the candidate lanes to detect the final lane
Lane departure notification method of a vehicle navigation, characterized in that. 제13항, 제15항, 제18항 내지 제24항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판단 가능한 기록 매체.A computer-determinable recording medium having recorded thereon a program for executing the method of any one of claims 13, 15 and 18-24.
KR1020110008222A 2011-01-27 2011-01-27 Lane departure warning system in navigation for vehicle and method thereof KR101268282B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110008222A KR101268282B1 (en) 2011-01-27 2011-01-27 Lane departure warning system in navigation for vehicle and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110008222A KR101268282B1 (en) 2011-01-27 2011-01-27 Lane departure warning system in navigation for vehicle and method thereof

Publications (2)

Publication Number Publication Date
KR20120086892A KR20120086892A (en) 2012-08-06
KR101268282B1 true KR101268282B1 (en) 2013-05-28

Family

ID=46872572

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110008222A KR101268282B1 (en) 2011-01-27 2011-01-27 Lane departure warning system in navigation for vehicle and method thereof

Country Status (1)

Country Link
KR (1) KR101268282B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101480434B1 (en) * 2013-07-23 2015-01-08 현대오트론 주식회사 Lane departure warning system and method
KR101504335B1 (en) * 2013-07-29 2015-03-23 인하대학교 산학협력단 Device, method and vehicle for providing around view
KR101847836B1 (en) * 2015-12-24 2018-04-11 현대자동차주식회사 Road boundary detection system and method, and vehicle using the same

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101285075B1 (en) * 2011-11-24 2013-07-17 팅크웨어(주) Method and apparatus for providing augmented reality view mode using sensor data and lane information
WO2014042364A1 (en) * 2012-09-12 2014-03-20 자동차부품연구원 Vehicle motion integrated control type lane-keeping assistance system
KR101493418B1 (en) 2013-03-29 2015-02-13 현대엠엔소프트 주식회사 Method for eliminating shadow of aerial photograph and apparatus thereof
KR101651562B1 (en) * 2014-12-02 2016-08-26 (주)이에스브이 Lane departure sensitivity maintainable method of an image recording apparatus having a lane departure detection

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100921427B1 (en) * 2007-12-17 2009-10-14 한국전자통신연구원 Method and Apparatus for generating virtual lane for video based car navigation system
KR100975749B1 (en) * 2008-09-24 2010-08-12 금오공과대학교 산학협력단 Method for recognizing lane and lane departure with Single Lane Extraction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100921427B1 (en) * 2007-12-17 2009-10-14 한국전자통신연구원 Method and Apparatus for generating virtual lane for video based car navigation system
KR100975749B1 (en) * 2008-09-24 2010-08-12 금오공과대학교 산학협력단 Method for recognizing lane and lane departure with Single Lane Extraction

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101480434B1 (en) * 2013-07-23 2015-01-08 현대오트론 주식회사 Lane departure warning system and method
KR101504335B1 (en) * 2013-07-29 2015-03-23 인하대학교 산학협력단 Device, method and vehicle for providing around view
KR101847836B1 (en) * 2015-12-24 2018-04-11 현대자동차주식회사 Road boundary detection system and method, and vehicle using the same
US10508922B2 (en) 2015-12-24 2019-12-17 Hyundai Motor Company Road boundary detection system and method, and vehicle using the same

Also Published As

Publication number Publication date
KR20120086892A (en) 2012-08-06

Similar Documents

Publication Publication Date Title
KR102441085B1 (en) Apparatus and method for providing guidance information using crosswalk recognition result
KR101268282B1 (en) Lane departure warning system in navigation for vehicle and method thereof
JP3862015B2 (en) Automotive radar equipment
KR101362324B1 (en) System and Method for Lane Departure Warning
JP6416293B2 (en) Method of tracking a target vehicle approaching a car by a car camera system, a camera system, and a car
US9704404B2 (en) Lane detection apparatus and operating method for the same
WO2013011952A1 (en) Traffic lane recognition apparatus
US20120057757A1 (en) Lane line estimating apparatus
WO2015125590A1 (en) External-environment recognition system, vehicle, and camera-dirtiness detection method
US11024051B2 (en) Object detection device
US20210042955A1 (en) Distance estimation apparatus and operating method thereof
US20150054955A1 (en) Image processing method of vehicle camera and image processing apparatus using the same
US20160026878A1 (en) Algorithm to extend detecting range for avm stop line detection
WO2011048938A1 (en) Far-infrared pedestrian detection device
CN109753841B (en) Lane line identification method and device
KR101178508B1 (en) Vehicle Collision Alarm System and Method
KR20170055738A (en) Apparatus and method for recognize driving lane on image
KR101374653B1 (en) Apparatus and method for detecting movement of vehicle
KR101276073B1 (en) System and method for detecting distance between forward vehicle using image in navigation for vehicle
JP2011033594A (en) Distance calculation device for vehicle
JP2010020710A (en) Device for detecting road side fixed object
JP2007018451A (en) Road boundary line detecting device
KR102006314B1 (en) Method and system for warning lane departure using turn sign recognition
JP4791086B2 (en) Collision avoidance system
US8948519B2 (en) Linear mark detection system, linear mark detection method, and non-transitory computer readable medium storing linear mark detecting program

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160519

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170517

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180524

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190523

Year of fee payment: 7