KR20130054660A - System for improving the traffic lane recognition using a front image and side image of vehicle and method thereof - Google Patents

System for improving the traffic lane recognition using a front image and side image of vehicle and method thereof Download PDF

Info

Publication number
KR20130054660A
KR20130054660A KR1020110120178A KR20110120178A KR20130054660A KR 20130054660 A KR20130054660 A KR 20130054660A KR 1020110120178 A KR1020110120178 A KR 1020110120178A KR 20110120178 A KR20110120178 A KR 20110120178A KR 20130054660 A KR20130054660 A KR 20130054660A
Authority
KR
South Korea
Prior art keywords
lane
detected
vehicle
image
lanes
Prior art date
Application number
KR1020110120178A
Other languages
Korean (ko)
Other versions
KR101936862B1 (en
Inventor
하성욱
박찬홍
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020110120178A priority Critical patent/KR101936862B1/en
Priority to CN201210462893.2A priority patent/CN103121448B/en
Publication of KR20130054660A publication Critical patent/KR20130054660A/en
Application granted granted Critical
Publication of KR101936862B1 publication Critical patent/KR101936862B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/10—Number of lanes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • B60Y2300/12—Lane keeping

Abstract

PURPOSE: A traffic lane recognition improving system using a front image and a side image of a vehicle and a method thereof are provided to improve performance o fan LDWS system, by increasing traffic lane recognition rate through a virtual lane generation method for a non-detected lane in a front camera image in case of error generation. CONSTITUTION: A traffic lane recognition improving system using a front image and a side image of a vehicle comprises a front photographing unit, a side photographing unit and a control unit. The front photographing unit photographs the front of the vehicle. The side photographing unit photographs the side of the vehicle. The control unit detects a front traffic lane in the photographed image of the front photographing unit, and detects a side traffic lane in the photographed image of the side photographing unit. The control unit generates a virtual traffic lane for a non-detected front traffic lane when the number of detected front traffic lanes is smaller than the number of detected side traffic lanes, and then judges whether the vehicle breaks away from the detected front traffic lane and the virtual traffic lane. [Reference numerals] (AA) Start; (BB,DD,FF,HH) No; (CC,EE,GG,II) Yes; (JJ) End; (S100) Detect a front lane from a vehicle front image and a side lane from a vehicle side image; (S200) Detected front lane number < Detected side lane number ?; (S300) Generate an undetected front lane as virtual front lane based on the detected front lane; (S400) Violate the lane?; (S500) Warn a driver; (S600) Detected front lane number > Detected side lane number ?; (S700) Increase an error count; (S800) Count value > Threshold ?; (S900) Output an error message

Description

차량의 전방 영상 및 측방 영상을 이용한 차선 인식 향상 시스템 및 그 방법{System for improving the traffic lane recognition using a front image and side image of vehicle and method thereof}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a lane recognition enhancement system using a front image and a side image of a vehicle,

본 발명은 차량용 시스템에 관한 것으로, 특히 차선을 검출하여 차량이 그 검출된 차선을 이탈하는지를 운전자에게 알릴 수 있는 차선 이탈 경보 시스템(Lane Departure Warning System, LDWS)에 관한 것이다.The present invention relates to a vehicle system, and more particularly, to a lane departure warning system (LDWS) capable of detecting a lane and informing a driver whether the vehicle deviates from the detected lane.

차선 이탈 경보 시스템은 차량에 내장된 카메라를 통해 전방도로 영상을 획득하고, 그 영상에서 차선을 검출한 후, 차량이 그 검출된 차선을 이탈하려고 하면 경보음이 울리도록 하여 운전자가 주의력을 되찾게 도와주는 시스템이다. 차선 이탈 경보 시스템의 차선 이탈 경보 방법에 관한 발명이 한국특허공개공보 제10-2011-0062651호를 통해 알려져 있다. 이 차선 이탈 경보 방법은 차량 내장 카메라를 통해 영상을 입력하는 단계와, 그 입력된 영상을 캡처한 후 저장하는 단계와, 차선 인식하는 단계와, 운전자 상태 및 차량 주변 상태를 파악하는 단계, 및 그 파악된 운전자 상태와 차량 주변 상태를 통해 경보 조건을 판단하는 단계를 포함한다. 이러한 종래 기술은 불필요한 경보를 억제할 수 있으며, 운전자 부주의 시에는 조기 경보를 하여 순간적인 졸음 또는 부주의 상황에서도 운전자로 하여금 신속한 대응을 할 수 있게 한다. 그러나 만일 차선 인식에 실패하는 경우에는 차량의 차선 이탈 여부를 판단할 수가 없다.The lane departure warning system acquires a forward road image through a camera built in the vehicle, detects a lane in the image, and then sounds an alarm when the vehicle tries to depart the detected lane so that the driver can get back attention It is a system. An invention relating to a lane departure warning method for a lane departure warning system is disclosed in Korean Patent Laid-Open Publication No. 10-2011-0062651. The lane departure warning method includes a step of inputting an image through a vehicle built-in camera, a step of capturing and storing the inputted image, a step of recognizing a lane, a step of grasping a state of a driver and a vehicle, And determining an alarm condition through the identified driver condition and the vehicle surroundings condition. This conventional technique can suppress unnecessary alarms and early warning when the driver is careless, so that the driver can respond promptly even in a momentary drowsiness or carelessness. However, if the lane recognition fails, it can not be judged whether or not the vehicle leaves the lane.

본 발명은 차선 인식률을 향상시킬 수 있는 시스템 및 방법을 제공함을 목적으로 한다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a system and method for improving the lane recognition rate.

전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 차량의 전방 영상 및 측방 영상을 이용한 차선 인식 향상 시스템은 차량의 전방을 촬영하기 위한 전방 촬영부, 상기 차량의 좌우 측방을 촬영하기 위한 측방 촬영부, 및 상기 전방 촬영부의 촬영 영상에서 전방 차선을 검출하고 상기 측방 촬영부의 촬영 영상에서 측방 차선을 검출하며, 상기 검출된 전방 차선의 개수가 상기 검출된 측방 차선의 개수보다 적을 경우 미검출된 전방 차선에 대한 가상 차선을 생성한 후, 상기 차량이 상기 검출된 전방 차선과 상기 생성된 가상 차선을 이탈하는지 판단하는 제어부를 포함한다.According to an aspect of the present invention, there is provided a lane recognition enhancement system using a forward image and a lateral image of a vehicle, including a front photographing unit for photographing the front of the vehicle, a side photographing unit for photographing left and right sides of the vehicle, A front lane detecting unit for detecting a front lane in an image taken by the front photographing unit and detecting a side lane in an image taken by the side photographing unit; and, when the number of the detected front lanes is smaller than the number of the detected side lanes, And a control unit for generating a virtual lane for the lane and then determining whether the vehicle deviates from the detected front lane and the generated virtual lane.

나아가, 상기 제어부는 상기 검출된 전방 차선의 개수가 상기 검출된 측방 차선의 개수보다 많을 경우 에러를 카운트하고, 상기 에러 값이 임계치에 도달하면 에러 메시지를 출력하며, 상기 전방 촬영부의 이전 촬영 영상으로부터 차선 폭을 구하고, 상기 검출된 전방 차선으로부터 상기 구해진 차선 폭만큼 이격된 상기 가상 차선을 생성한다.Further, the control unit counts an error when the number of the detected front lanes is greater than the number of the detected lateral lanes, outputs an error message when the error value reaches a threshold value, And generates the virtual lane that is spaced apart from the detected front lane by the calculated lane width.

한편, 전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 차량의 전방 영상 및 측방 영상을 이용한 차선 인식 향상 방법은 차량의 전방 촬영 영상에서 전방 차선을 검출하고, 상기 차량의 좌우 촬영 영상에서 측방 차선을 검출하는 단계, 상기 검출된 전방 차선의 개수와 상기 검출된 측방 차선의 개수를 비교하는 단계, 상기 비교 결과 상기 검출된 전방 차선의 개수가 상기 검출된 측방 차선의 개수보다 적을 경우, 상기 전방 촬영 영상에서 미검출된 차선에 대한 가상 차선을 생성하는 단계, 및 상기 차량이 상기 검출된 전방 차선과 상기 생성된 가상 차선을 이탈하는지 판단하는 단계를 포함한다.According to another aspect of the present invention, there is provided a lane recognition enhancement method using a front image and a lateral image of a vehicle, the method comprising: detecting a front lane in a front image of the vehicle; Comparing the number of detected front lanes with the number of detected lateral lanes, and if the number of detected front lanes is less than the number of detected lateral lanes as a result of the comparison, Generating a virtual lane for a lane not detected in the shot image, and determining whether the vehicle deviates from the detected front lane and the generated virtual lane.

나아가, 상기 비교 결과 상기 검출된 전방 차선의 개수가 상기 검출된 측방 차선의 개수보다 많을 경우 에러를 카운트하고, 상기 카운트 값이 임계치에 도달하면 오류 메시지를 출력하는 단계를 더 포함한다.Further, the method further includes counting an error when the number of the detected front lanes is greater than the number of the detected side lanes as a result of the comparison, and outputting an error message when the count value reaches a threshold value.

본 발명은 AVM(around view monitoring)용 측방 카메라 영상에서 검출된 차선을 기준으로 전방 카메라 영상에서의 차선 검출 오류가 발생하는지 판단하고, 오류 발생시 전방 카메라 영상에서 미검출된 차선에 대한 가상 차선을 생성하는 방식을 통해 차선 인식률을 높임으로써, 결과적으로 LDWS 시스템의 성능을 향상시키는 효과를 창출한다.The present invention determines whether a lane detection error occurs in a forward camera image based on a lane detected in a side camera image for an AVM (around view monitoring), and generates a virtual lane for an undetected lane in a forward camera image , Thereby improving the performance of the LDWS system as a result.

도 1은 본 발명의 일 실시예에 따른 차량의 전방 영상 및 측방 영상을 이용한 차선 인식 향상 시스템 블록도.
도 2는 본 발명의 일 실시예에 따른 차량의 전방 영상 및 측방 영상을 이용한 차선 인식 향상 방법 흐름도.
도 3은 직선 도로에서의 전방 촬영 영역과 측방 촬영 영역을 예시한 도면.
도 4는 곡선 도로에서의 전방 촬영 영역과 측방 촬영 영역을 예시한 도면.1 is a block diagram of a lane recognition enhancement system using a forward image and a lateral image of a vehicle according to an embodiment of the present invention;
BACKGROUND OF THE INVENTION 1. Field of the Invention [0001]
3 is a diagram illustrating a front photographing area and a side photographing area on a straight road;
4 is a diagram illustrating a front photographing area and a side photographing area on a curved road;

전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.BRIEF DESCRIPTION OF THE DRAWINGS The foregoing and further aspects of the present invention will become more apparent from the following detailed description of preferred embodiments with reference to the accompanying drawings. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 차량의 전방 영상 및 측방 영상을 이용한 차선 인식 향상 시스템이다.1 is a lane recognition enhancement system using a forward image and a lateral image of a vehicle according to an exemplary embodiment of the present invention.

도시된 바와 같이, 차선 인식 향상 시스템은 전방 촬영부(100), 측방 촬영부(200), 저장부(300), 사용자 인터페이스(400), 및 제어부(500)를 포함한다. 전방 촬영부(100)는 차량의 전방을 촬영하기 위해 적절한 위치에 설치되는 전방 카메라이다. 여기서 전방 카메라는 알려진 바와 같은 LDWS용 전방 카메라이다. 측방 촬영부(200)는 차량의 좌측 및 우측을 촬영하기 위해 적절한 위치에 설치되는 좌측 카메라 및 우측 카메라이다. 이 좌측 카메라와 우측 카메라로는 어라운드 뷰 모니터링(Around View Monitoring, AVM)용 카메라가 이용될 수 있다. 저장부(300)는 데이터 저장을 위한 메모리이며, 본 발명에 따른 차선 이탈 경보를 위한 프로그램 데이터가 저장된다. 사용자 인터페이스(400)는 사용자 입출력을 위한 구성으로서, 터치스크린일 수 있다. 제어부(500)는 시스템 전반을 제어하기 위한 컨트롤러이며, 저장부(300)에 저장된 프로그램 데이터를 실행하여 차선 이탈 경보를 위한 일련의 프로세스를 수행한다.The lane recognition enhancement system includes a front photographing unit 100, a side photographing unit 200, a storage unit 300, a user interface 400, and a control unit 500. The front photographing unit 100 is a front camera installed at an appropriate position for photographing the front of the vehicle. Here, the front camera is a front camera for LDWS as is known. The side photographing unit 200 is a left camera and a right camera installed at appropriate positions to photograph the left and right sides of the vehicle. A camera for the Around View Monitoring (AVM) may be used as the left camera and the right camera. The storage unit 300 is a memory for storing data, and program data for a lane departure alarm according to the present invention is stored. The user interface 400 is a configuration for user input and output, and may be a touch screen. The control unit 500 is a controller for controlling the entire system, and executes the program data stored in the storage unit 300 to perform a series of processes for the lane departure warning.

이하, 도 2를 참조하여 차선 인식 향상 시스템의 전반적인 동작 프로세스에 대해 설명한다. 전방 촬영부(100)와 측방 촬영부(200)는 각각 촬영된 영상 데이터를 제어부(500)로 전달한다. 제어부(500)는 전방 촬영부(100)로부터 차량 전방 영상 데이터를 전달받으며, 측방 촬영부(200)로부터 좌측 영상 데이터와 우측 영상 데이터를 전달받는다. 제어부(500)는 전달된 전방 영상에서 차선을 검출한다(S100). 차선 검출 방식에 있어서, 제어부(500)는 카메라 영상을 필터링 알고리즘을 이용하여 도로상에서 밝은 부분을 형성하는 차선을 추출해 낸다. 이를 위해, 제어부(500)는 에지 필터나 차선 강조 필터 등을 사용할 수 있다. 에지 필터는 영상 좌표에서 X 방향과 Y 방향의 각각의 픽셀마다 명도 차이를 이용하여 영상에서 경계를 이루는 부분을 찾아낸다. 그리고 차선 강조 필터는 명암의 평균값을 이용하여 주변 명암에 대비하여 밝은 차선이 더욱 두드러지도록 나타내어 차선을 찾는 방법이다. 이 같은 차선 검출 방식은 널리 알려진 바와 같다.Hereinafter, the overall operation process of the lane recognition enhancement system will be described with reference to FIG. The front photographing unit 100 and the side photographing unit 200 transmit photographed image data to the controller 500, respectively. The control unit 500 receives the vehicle forward image data from the front image sensing unit 100 and receives the left image data and the right image data from the side image sensing unit 200. The control unit 500 detects a lane in the transmitted forward image (S100). In the lane detection method, the control unit 500 extracts a lane forming a bright portion on the road using a filtering algorithm of the camera image. For this, the controller 500 may use an edge filter, a lane-increasing filter, or the like. The edge filter uses the brightness difference for each pixel in the X and Y directions in the image coordinates to find the boundary of the image. And the lane emphasis filter is a method of finding the lane by using the average value of the lightness and showing the bright lane more prominently against the surrounding light and darkness. Such a lane detection method is well known.

제어부(500)는 검출된 전방 차선의 개수와 측방 차선의 개수가 동일한지 비교하여 판단한다(S200). 만일 전방 차선의 개수가 측방 차선의 개수보다 적을 경우는 전방 차선이 제대로 검출되지 않았음을 의미한다. 이에 대한 이해를 돕기 위해 도 3과 도 4를 참조하여 설명한다. 도 3에서와 같이 직선 도로에서는 전방 카메라의 촬영 영역(LDWS 영상 영역)(610)에 좌측 차선과 우측 차선이 모두 포함되며, 측방 촬영 영역(AVM 영상 영역)(620, 630)에도 좌측 차선과 우측 차선이 모두 포함된다. 따라서 전방 차선의 개수와 측방 차선의 개수가 동일하다. 그러나 도 4에서와 같이 곡선 도로에서는 전방 카메라의 촬영 영역(LDWS 영상 영역)(640)에 좌측 차선만이 포함되며, 이와 달리 측방 촬영 영역(AVM 영상 영역)(650, 660)에는 좌측 차선과 우측 차선이 모두 포함된다. 즉, 곡선 도로와 같은 상황에서는 전방 차선이 제대로 검출되지 않을 수 있는 것이다.The control unit 500 compares the number of the detected front lanes with the number of the lateral lanes to determine whether they are the same (S200). If the number of front lanes is less than the number of lateral lanes, it means that the front lane is not detected correctly. This will be explained with reference to FIG. 3 and FIG. 3, both the left lane and the right lane are included in the shooting area (LDWS image area) 610 of the front camera in the straight road, and the left lane and the right lane are included in the side shooting area (AVM image area) 620 and 630, All lanes are included. Therefore, the number of front lanes and the number of lateral lanes are the same. However, as shown in FIG. 4, only the left lane is included in the shooting area (LDWS image area) 640 of the front camera in the curved road and the left lane and the right side are included in the side shooting area (AVM image area) All lanes are included. That is, in a situation such as a curved road, the front lane may not be detected properly.

S200에서 전방 차선의 개수가 측방 차선의 개수보다 적은 것으로 판단되면, 제어부(500)는 검출된 전방 차선을 기준으로 미검출된 전방 차선에 대한 가상 차선을 생성한다(S300). 검출된 전방 차선이 좌측 차선일 경우, 제어부(500)는 그 좌측 차선을 기준으로 소정 폭만큼 우측으로 떨어진 전방 우측 가상 차선을 생성한다. 이와 반대로, 검출된 전방 차선이 우측 차선일 경우, 제어부(500)는 그 우측 차선을 기준으로 소정 폭만큼 좌측으로 떨어진 전방 좌측 가상 차선을 생성한다. 여기서 소정 폭이라 함은 차선 폭을 의미하는 것으로, 차선 폭 값은 전방 카메라의 이전 촬영 영상으로부터 구해질 수 있다. 즉, 전방 좌측 차선과 전방 우측 차선이 모두 검출된 이전 전방 카메라 영상에서, 제어부(500)는 그 차선 간의 폭을 연산하여 차선 폭 값을 구하게 된다. 가상 차선을 생성한 이후, 제어부(500)는 검출된 전방 차선과 생성된 가상 차선을 이탈하는지 여부를 판단한다(S400). 이탈한 것으로 판단되면, 제어부(500)는 차량이 차선을 이탈하였음을 운전자에게 알린다(S500). 예를 들어, 제어부(500)는 사용자 인터페이스(400)의 표시 화면 및/또는 스피커를 통해 운전자에게 차량이 차선을 이탈하였음을 알린다.If it is determined in S200 that the number of the front lanes is less than the number of the lateral lanes, the controller 500 generates a virtual lane for the detected front lane based on the detected front lane (S300). If the detected front lane is the left lane, the control unit 500 generates a front right virtual lane that is separated to the right by a predetermined width based on the left lane. On the contrary, when the detected front lane is the right lane, the control unit 500 generates a front left virtual lane that is left to the left by a predetermined width on the basis of the right lane. Here, the predetermined width means the lane width, and the lane width value can be obtained from the previous captured image of the front camera. That is, in the previous forward camera image in which both the front left lane and the front right lane are detected, the control unit 500 calculates the lane width between the lanes to obtain the lane width value. After generating the virtual lane, the control unit 500 determines whether or not it deviates from the detected front lane and the generated virtual lane (S400). If it is determined that the vehicle has departed, the control unit 500 informs the driver that the vehicle has left the lane (S500). For example, the control unit 500 notifies the driver that the vehicle has left the lane through the display screen of the user interface 400 and / or the speaker.

한편, S200에서 전방 차선의 개수가 측방 차선의 개수보다 적지 않은 것으로 판단되면, 제어부(500)는 전방 차선의 개수가 측방 차선의 개수보다 많은지를 판단한다(S600). S600에서 전방 차선의 개수가 측방 차선의 개수보다 많은 것으로 판단되면, 제어부(500)는 에러 카운트를 증가시킨다(S700). 여기서 카운트의 단위는 ‘1’일 수 있다. 에러 카운트가 증가하면, 제어부(500)는 그 카운트 값이 임계치보다 큰지 비교하여 판단한다(S800). 카운트 값이 임계치보다 크다면, 제어부(500)는 LDWS 기능에 이상이 있음을 알리는 오류 메시지를 사용자 인터페이스(400)로 출력한다(S900). 이에 운전자는 LDWS 기능이 정상적이지 않음을 알 수 있다. 한편, 상술한 임계치는 저장부(300)에 기저장되어 있는 값으로, 차량 속도 대비 그 값이 다를 수 있다. 예를 들어, 차량 속도가 0 ~ 40km일 때는 3, 40 ~ 80km일 때는 5, 80km 이상일 때는 7이며, 차량 속도 구간별 에러 카운트는 각각 이루어질 수 있다.
If it is determined in S200 that the number of the front lanes is not smaller than the number of the lateral lanes, the controller 500 determines whether the number of the front lanes is greater than the number of the lateral lanes (S600). If it is determined in S600 that the number of the front lanes is greater than the number of the lateral lanes, the control unit 500 increases the error count (S700). Here, the unit of the count may be '1'. If the error count increases, the control unit 500 determines whether the count value is larger than the threshold value (S800). If the count value is greater than the threshold value, the control unit 500 outputs an error message to the user interface 400 indicating that the LDWS function is abnormal (S900). Therefore, the driver can know that the LDWS function is not normal. Meanwhile, the threshold value is a value stored in the storage unit 300, and the value may be different from the vehicle speed. For example, when the vehicle speed is 0 to 40 km, it is 3, when it is 40 to 80 km, it is 5, when it is 80 km or more, it is 7, and each vehicle speed interval error count can be made respectively.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The present invention has been described with reference to the preferred embodiments. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

100 : 전방 촬영부 200 : 측방 촬영부
300 : 저장부 400 : 사용자 인터페이스
500 : 제어부100: front radiographing unit 200: side radiographing unit
300: storage unit 400: user interface
500:

Claims (5)

차량의 전방을 촬영하기 위한 전방 촬영부;
상기 차량의 좌우 측방을 촬영하기 위한 측방 촬영부; 및
상기 전방 촬영부의 촬영 영상에서 전방 차선을 검출하고 상기 측방 촬영부의 촬영 영상에서 측방 차선을 검출하며, 상기 검출된 전방 차선의 개수가 상기 검출된 측방 차선의 개수보다 적을 경우 미검출된 전방 차선에 대한 가상 차선을 생성한 후, 상기 차량이 상기 검출된 전방 차선과 상기 생성된 가상 차선을 이탈하는지 판단하는 제어부;
를 포함하는 것을 특징으로 하는 차량의 전방 영상 및 측방 영상을 이용한 차선 인식 향상 시스템.A front photographing unit for photographing the front of the vehicle;
A side photographing unit for photographing left and right sides of the vehicle; And
A front lane is detected in the photographed image of the front photographing section and a lateral lane is detected in the photographed image of the lateral photographing section, and when the number of the detected front lanes is smaller than the number of the detected lateral lanes, A control unit for, after generating the virtual lane, determining whether the vehicle deviates from the detected front lane and the generated virtual lane;
And a lane recognition enhancement system using the front image and the lateral image of the vehicle. 제1항에 있어서,
상기 제어부는 상기 검출된 전방 차선의 개수가 상기 검출된 측방 차선의 개수보다 많을 경우 에러를 카운트하고, 상기 에러 값이 임계치에 도달하면 에러 메시지를 출력함을 특징으로 하는 차량의 전방 영상 및 측방 영상을 이용한 차선 인식 향상 시스템.The method according to claim 1,
Wherein the control unit counts an error when the number of the detected front lanes is greater than the number of the detected lateral lanes and outputs an error message when the error value reaches the threshold value. Lane Recognition Enhancement System Using. 제1항에 있어서,
상기 제어부는 상기 전방 촬영부의 이전 촬영 영상으로부터 차선 폭을 구하고, 상기 검출된 전방 차선으로부터 상기 구해진 차선 폭만큼 이격된 상기 가상 차선을 생성하는 것을 특징으로 하는 차량의 전방 영상 및 측방 영상을 이용한 차선 인식 향상 시스템.The method according to claim 1,
Wherein the control unit obtains a lane width from a previous photographed image of the forward photographing unit and generates the virtual lane spaced by the obtained lane width from the detected front lane. Enhancement system. 차량의 전방 촬영 영상에서 전방 차선을 검출하고, 상기 차량의 좌우 촬영 영상에서 측방 차선을 검출하는 단계;
상기 검출된 전방 차선의 개수와 상기 검출된 측방 차선의 개수를 비교하는 단계;
상기 비교 결과 상기 검출된 전방 차선의 개수가 상기 검출된 측방 차선의 개수보다 적을 경우, 상기 전방 촬영 영상에서 미검출된 차선에 대한 가상 차선을 생성하는 단계; 및
상기 차량이 상기 검출된 전방 차선과 상기 생성된 가상 차선을 이탈하는지 판단하는 단계;
를 포함하는 것을 특징으로 하는 차량의 전방 영상 및 측방 영상을 이용한 차선 인식 향상 방법.Detecting a front lane in a front shot image of the vehicle and detecting a side lane in a left and right shot image of the vehicle;
Comparing the number of detected front lanes with the number of detected lateral lanes;
Generating a virtual lane for a lane that is not detected in the forward photographing image when the number of the detected front lanes is less than the number of the detected lateral lanes as a result of the comparison; And
Determining whether the vehicle leaves the detected front lane and the generated virtual lane;
The method of claim 1, wherein the lane recognition is performed by using the forward and lateral images of the vehicle. 제4항에 있어서,
상기 비교 결과 상기 검출된 전방 차선의 개수가 상기 검출된 측방 차선의 개수보다 많을 경우 에러를 카운트하고, 상기 카운트 값이 임계치에 도달하면 오류 메시지를 출력하는 단계;
를 더 포함하는 것을 특징으로 하는 차량의 전방 영상 및 측방 영상을 이용한 차선 인식 향상 방법.5. The method of claim 4,
Counting an error when the number of detected front lanes is greater than the number of detected lateral lanes as a result of the comparison, and outputting an error message when the count value reaches a threshold value;
The method of claim 1, further comprising the steps of:
KR1020110120178A 2011-11-17 2011-11-17 System for improving the traffic lane recognition using a front image and side image of vehicle and method thereof KR101936862B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110120178A KR101936862B1 (en) 2011-11-17 2011-11-17 System for improving the traffic lane recognition using a front image and side image of vehicle and method thereof
CN201210462893.2A CN103121448B (en) 2011-11-17 2012-11-16 Lane identification rate lift system and method using vehicle front and side image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110120178A KR101936862B1 (en) 2011-11-17 2011-11-17 System for improving the traffic lane recognition using a front image and side image of vehicle and method thereof

Publications (2)

Publication Number Publication Date
KR20130054660A true KR20130054660A (en) 2013-05-27
KR101936862B1 KR101936862B1 (en) 2019-04-04

Family

ID=48452661

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110120178A KR101936862B1 (en) 2011-11-17 2011-11-17 System for improving the traffic lane recognition using a front image and side image of vehicle and method thereof

Country Status (2)

Country Link
KR (1) KR101936862B1 (en)
CN (1) CN103121448B (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160072659A (en) * 2014-12-15 2016-06-23 현대자동차주식회사 Apparatus and Method for Recognition of Drive Lane of Vehicle
US9550529B2 (en) 2013-12-24 2017-01-24 Hyundai Motor Company Apparatus and method for recognizing driving field of vehicle
KR20180062503A (en) * 2016-11-30 2018-06-11 현대엠엔소프트 주식회사 Apparatus for controlling autonomous driving and method thereof
KR20190105155A (en) * 2018-02-20 2019-09-16 현대자동차주식회사 Apparatus and method for setting velocity of vehicle

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102421855B1 (en) * 2017-09-28 2022-07-18 삼성전자주식회사 Method and apparatus of identifying driving lane
KR101982091B1 (en) * 2017-10-31 2019-05-24 주식회사 켐트로닉스 Surround view monitoring system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11167636A (en) * 1997-12-03 1999-06-22 Toyota Motor Corp Line detecting device for vehicle
JP2009116816A (en) * 2007-11-09 2009-05-28 Fujitsu Ten Ltd Failure detector and failure detection method
KR20100104495A (en) * 2009-03-18 2010-09-29 현대자동차주식회사 A lane departure warning system using a virtual lane and a system according to the same

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4513318B2 (en) * 2003-12-10 2010-07-28 日産自動車株式会社 Rear side image control apparatus and method
CN101135558B (en) * 2007-09-28 2010-09-01 上海中科深江电动车辆有限公司 Vehicle anti-collision early warning method and apparatus based on machine vision
CN101318491A (en) * 2008-05-14 2008-12-10 合肥工业大学 Built-in integrated visual sensation auxiliary driving safety system
KR100956858B1 (en) * 2009-05-19 2010-05-11 주식회사 이미지넥스트 Sensing method and apparatus of lane departure using vehicle around image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11167636A (en) * 1997-12-03 1999-06-22 Toyota Motor Corp Line detecting device for vehicle
JP2009116816A (en) * 2007-11-09 2009-05-28 Fujitsu Ten Ltd Failure detector and failure detection method
KR20100104495A (en) * 2009-03-18 2010-09-29 현대자동차주식회사 A lane departure warning system using a virtual lane and a system according to the same

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9550529B2 (en) 2013-12-24 2017-01-24 Hyundai Motor Company Apparatus and method for recognizing driving field of vehicle
KR20160072659A (en) * 2014-12-15 2016-06-23 현대자동차주식회사 Apparatus and Method for Recognition of Drive Lane of Vehicle
KR20180062503A (en) * 2016-11-30 2018-06-11 현대엠엔소프트 주식회사 Apparatus for controlling autonomous driving and method thereof
KR20190105155A (en) * 2018-02-20 2019-09-16 현대자동차주식회사 Apparatus and method for setting velocity of vehicle

Also Published As

Publication number Publication date
CN103121448A (en) 2013-05-29
CN103121448B (en) 2017-03-01
KR101936862B1 (en) 2019-04-04

Similar Documents

Publication Publication Date Title
KR101936862B1 (en) System for improving the traffic lane recognition using a front image and side image of vehicle and method thereof
US9424462B2 (en) Object detection device and object detection method
KR101362324B1 (en) System and Method for Lane Departure Warning
US9704404B2 (en) Lane detection apparatus and operating method for the same
US10005392B2 (en) Object alarm device and object alarm method
JP2013203337A (en) Driving support device
JP2018128834A (en) Driver state detection device
JP2007207274A (en) Start annunciation device
JP2009265722A (en) Face direction sensing device
JP6971582B2 (en) Status detector, status detection method, and program
KR20190047243A (en) Apparatus and method for warning contamination of camera lens
KR101730740B1 (en) Driving assistant apparatus
JP6204844B2 (en) Vehicle stereo camera system
TWI418478B (en) And a method and system for detecting the driving state of the driver in the vehicle
KR101823385B1 (en) Device and method of improving recognition rate of LDWS(Lane Departure Warning System) using AVM side camera
KR20110126820A (en) Apparatus and method for recognizing lane
JP4888707B2 (en) Suspicious person detection device
JP2019087017A (en) Driver state detection apparatus
JP2022006260A (en) Tailgating detection program, tailgating detection device, and tailgating detection system
TWI579173B (en) An driver fatigue monitoring and detection method base on an ear-angle
US10417505B2 (en) Vehicle detection warning device and vehicle detection warning method
KR101577747B1 (en) Method and system for detecting illegal parking/standing
JP2008257399A (en) Image processor
KR20170133756A (en) System and Method for Recognizing Cut-in Vehicle on the basis of Monocular Image
KR20130070337A (en) Device for condition judgment of vehicle using a back camera and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant