KR20130012810A - System for improving the reliability of the recognition of traffic lane and method thereof - Google Patents
System for improving the reliability of the recognition of traffic lane and method thereof Download PDFInfo
- Publication number
- KR20130012810A KR20130012810A KR1020110074212A KR20110074212A KR20130012810A KR 20130012810 A KR20130012810 A KR 20130012810A KR 1020110074212 A KR1020110074212 A KR 1020110074212A KR 20110074212 A KR20110074212 A KR 20110074212A KR 20130012810 A KR20130012810 A KR 20130012810A
- Authority
- KR
- South Korea
- Prior art keywords
- lane
- virtual
- vehicle
- detection module
- recognition
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 230000000875 corresponding effect Effects 0.000 claims description 3
- 208000035278 mandibuloacral dysplasia progeroid syndrome Diseases 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/10—Path keeping
- B60Y2300/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2400/00—Special features of vehicle units
- B60Y2400/90—Driver alarms
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 차량용 시스템에 관한 것으로, 특히 차선 검출 및 인식을 통해 차선 이탈 경보 및 차선 유지를 위한 시스템에 관한 것이다.The present invention relates to a vehicle system, and more particularly, to a system for lane departure warning and lane keeping through lane detection and recognition.
차선 이탈을 경보하기 위한 시스템이 알려져 있다. 차선 이탈 경보 시스템은 차선 인식을 위해서 카메라를 이용한다. 따라서 차량 주행 시의 날씨, 조도, 노면 상태 등에 따라 차선을 인식하는 성능의 차이가 많이 나게 된다. 예를 들어, 도 1의 (a)에 도시된 바와 같이 터널이나 국도 등에서는 노면의 먼지, 차선의 노후 등에 의해 한쪽 차선(1)을 찾지 못하거나 (b)나 (c)에 도시된 바와 같이 주행 차선(2, 4)이 아닌 옆 주행 차선(3)이나 표시물(5) 가장자리 등을 차선으로 오인식하는 경우가 많다. 또한 (d)에 도시된 바와 같이 가드레일의 그림자(6)에 의해 차선이 가려져 인식하지 못하게 되는 경우도 발생할 수 있다.Systems for warning lane departures are known. Lane departure warning systems use cameras for lane detection. Therefore, there is a large difference in performance of recognizing a lane according to weather, illumination, road surface conditions, etc. when driving a vehicle. For example, as shown in (a) of FIG. 1, in a tunnel or a national road, one
이러한 문제 해결을 위해, 가상 차선을 이용하는 차선 이탈 경보 방법 및 그에 따른 시스템이 출원번호 제10-2009-0022943호로 특허 출원되어 있다. 이에 따르면, 주행 차선의 좌측 차선과 우측 차선 중 어느 한 차선이 인식되지 않는 경우나 오인식되는 경우, 가상 차선 생성 및 차선 인식이 되었을 때 파악된 차선 폭 정보(좌측 차선과 우측 차선 간의 폭)를 이용하여 미인식된 차선 측에 가상 차선을 적용한다. 따라서 양측 차선이 인식되는 경우는 물론 어느 일 측 차선이 인식되지 않더라도 차선 이탈 경보를 운전자에게 제공해줄 수 있게 된다.In order to solve this problem, a lane departure warning method using a virtual lane and a system according thereto is patented in the application number 10-2009-0022943. According to this, when either one of the left lane and the right lane of the driving lane is not recognized or misrecognized, the lane width information (the width between the left lane and the right lane) that is obtained when the virtual lane is generated and the lane is recognized is used. Apply virtual lanes to the unrecognized lanes. Therefore, even when both lanes are recognized, even if one lane is not recognized, the lane departure warning can be provided to the driver.
그러나 위 종래 기술에 따르면, 양측 차선이 인식되는 경우와 어느 한 측 차선이 인식되지 않아 가상 차선을 생성하여 적용하는 경우를 구별하지 않고, 동일하게 차선 이탈 여부를 판단함을 알 수 있다. 즉, 양측 차선이 인식되지 않는 경우에만 차선 미인식이 되고, 양측 차선이 모두 인식되는 경우는 물론 어느 한 측 차선만이 인식되지 않아 가상 차선을 적용하는 경우에도 차선 인식으로 구별한다. 따라서 가상 차선을 적용하여 차선을 인식한 경우, 가상 차선을 잘못 유추 생성하여 적용하게 되면 차선 이탈 경보에 대한 정확성이 떨어질 수 있다. 결국 차선 인식에 대한 운전자의 신뢰도가 떨어지게 된다.However, according to the related art, it is understood that the lane departure is determined in the same manner without distinguishing between the case in which the two lanes are recognized and the case in which the one lane is not recognized and the virtual lane is generated and applied. That is, lanes are not recognized only when both lanes are not recognized, and when both lanes are recognized, as well as when only one lane is not recognized, the lane is distinguished by lane recognition. Therefore, when the lane is recognized by applying the virtual lane, if the virtual lane is inferred and applied, the accuracy of the lane departure warning may be reduced. As a result, the driver's confidence in lane recognition is reduced.
본 발명은 차선 인식에 대한 운전자의 신뢰도를 높일 수 있는 기술적 방안을 제공함을 목적으로 한다.An object of the present invention is to provide a technical solution that can increase the driver's confidence in lane recognition.
전술한 기술적 과제를 달성하기 위한 본 발명의 일 양상에 따른 차선 인식 신뢰도 향상 시스템은 카메라 영상에서 차선을 검출하기 위한 차선 검출 모듈과 가상 차선을 생성하는 가상 차선 생성 모듈을 포함하는 영상 처리부, 상기 차선 검출 모듈에 의해 검출된 차선과 상기 가상 차선 생성 모듈에 의해 생성된 가상 차선을 비교하여 차선 인식 정확도를 판정하는 차선 판별부, 상기 차선 검출 모듈과 상기 가상 차선 생성 모듈의 결과에 근거하여 차량이 차선을 이탈하는지 판단하고, 상기 이탈에 대한 판단 결과 및 상기 판정된 차선 인식 정확도에 따른 제어신호를 출력하는 차량 제어부, 및 상기 차량 제어부의 제어신호에 따라 해당 액션을 수행하는 경보부를 포함한다.According to an aspect of the present invention, there is provided a lane recognition reliability improving system including an image processing unit including a lane detection module for detecting a lane in a camera image and a virtual lane generation module for generating a virtual lane, A lane determination unit for comparing lanes detected by the detection module with the virtual lanes generated by the virtual lane generation module to determine lane recognition accuracy, and a vehicle lane based on a result of the lane detection module and the virtual lane generation module And a vehicle controller for outputting a control signal according to the determination result of the departure and the determined lane recognition accuracy, and an alarm unit performing a corresponding action according to the control signal of the vehicle controller.
상기 차선 판별부에 의해 판정되는 차선 인식 정확도는 상기 검출된 차선과 상기 가선 차선이 일치하는 경우와, 상기 검출된 차선과 상기 가상 차선이 일치하지 않는 경우, 상기 차선 검출 모듈에 의한 차선 검출에 실패하고 상기 가상 차선만 생성되는 경우로 나뉜다.The lane recognition accuracy determined by the lane discrimination unit fails to detect a lane by the lane detection module when the detected lane and the lane lane match, and when the detected lane and the virtual lane do not match. And only the virtual lane is generated.
상기 차량 제어부는 상기 차선 검출 모듈과 상기 가상 차선 생성 모듈의 결과에 근거하여 차량이 차선을 이탈하는지 판단하고, 상기 차량이 차선을 이탈한 것으로 판단되면 상기 차선 인식 정확도에 따라 운전자에 대한 경고 방식을 달리하기 위한 제어신호를 상기 경보부로 출력한다. 또는 상기 차량 제어부는 상기 차선 검출 모듈과 상기 가상 차선 생성 모듈의 결과에 근거하여 차량이 차선을 이탈하는지 판단하고, 상기 차량이 차선을 이탈한 것으로 판단되면 상기 차량이 차선을 유지하도록 하며 상기 차선 인식 정확도에 따라 운전자에 대한 경고 방식을 달리하기 위한 제어신호를 상기 경보부로 출력한다.The vehicle controller determines whether the vehicle has left the lane based on the results of the lane detection module and the virtual lane generation module. When the vehicle control unit determines that the vehicle has left the lane, the vehicle control unit may warn the driver according to the lane recognition accuracy. Output a control signal for the alarm to the alarm unit. Alternatively, the vehicle controller determines whether the vehicle leaves the lane based on the results of the lane detection module and the virtual lane generation module, and if the vehicle determines that the vehicle has left the lane, the vehicle maintains the lane and recognizes the lane. The control unit outputs a control signal for varying the warning method to the driver according to the accuracy.
한편, 전술한 기술적 과제를 달성하기 위한 본 발명의 일 양상에 따른 차선 인식 신뢰도 향상 방법은 차량의 카메라 영상에서 차선을 검출하며, 가상 차선을 생성하는 단계, 상기 검출된 차선과 상기 생성된 가상 차선을 비교하여 차선 인식 정확도를 판정하는 단계, 상기 차량이 차선을 이탈하는지 판단하는 단계, 및 상기 차량이 차선을 이탈한 것으로 판단되면, 상기 차선 인식 정확도에 따라 운전자에게 달리 경고하는 단계를 포함한다.On the other hand, the lane recognition reliability improvement method according to an aspect of the present invention for achieving the above technical problem is to detect a lane in the camera image of the vehicle, generating a virtual lane, the detected lane and the generated virtual lane Comparing lanes to determine lane recognition accuracy, determining whether the vehicle has left the lane, and if it is determined that the vehicle has left the lane, warning the driver differently according to the lane recognition accuracy.
본 발명에 따르면, 차선 인식에 대한 정확도를 단계별로 나누어 출력함으로써, 차선 인식에 대한 신뢰성을 높이며 시스템의 성능을 향상시킬 수 있다.According to the present invention, by dividing the accuracy for lane recognition step by step, it is possible to increase the reliability of the lane recognition and improve the performance of the system.
도 1은 종래 차선 검출 및 인식 방식에 의한 문제점을 설명하기 위한 참조도.
도 2는 본 발명의 일 실시예에 따른 차선 인식 신뢰도 향상 시스템 블록도.
도 3은 본 발명의 일 실시예에 따른 차선 인식 신뢰도 향상 방법 흐름도.1 is a reference diagram for explaining a problem caused by a conventional lane detection and recognition method.
2 is a block diagram of a system for improving lane recognition reliability according to an embodiment of the present invention.
3 is a flowchart illustrating a method for improving lane recognition reliability according to an embodiment of the present invention.
전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.BRIEF DESCRIPTION OF THE DRAWINGS The foregoing and further aspects of the present invention will become more apparent from the following detailed description of preferred embodiments with reference to the accompanying drawings. Hereinafter, the present invention will be described in detail to enable those skilled in the art to easily understand and reproduce the present invention.
도 2는 본 발명의 일 실시예에 따른 차선 인식 신뢰도 향상 시스템 블록도이다.2 is a block diagram of a system for improving lane recognition reliability according to an embodiment of the present invention.
카메라(100)는 차량에 전방 혹은 후방을 촬영하기 위해 차량의 적절한 위치에 장착된다. 이러한 카메라(100)에서 획득된 영상은 영상 처리부(300)로 입력되며, 또한 영상 버퍼(200)에 저장된다. 영상 처리부(300)는 차선 검출 모듈(310)과 가상 차선 생성 모듈(320)을 포함한다. 차선 검출 모듈(310)은 카메라 영상을 통해 차선을 검출하기 위한 구성으로서, 카메라 영상을 필터링 알고리즘을 이용하여 도로상에서 밝은 부분을 형성하는 차선을 추출해 낸다. 이러한 차선 검출 모듈(310)은 차선을 검출하기 위하여 에지 필터나 차선 강조 필터 등을 사용할 수 있다. 에지 필터는 영상 좌표에서 X 방향과 Y 방향의 각각의 픽셀마다 명도 차이를 이용하여 영상에서 경계를 이루는 부분을 찾아낸다. 그리고 차선 강조 필터는 명암의 평균값을 이용하여 주변 명암에 대비하여 밝은 차선이 더욱 두드러지도록 나타내어 차선을 찾는 방법이다. 가상 차선 생성 모듈(320)은 영상 버퍼(200)에 저장된 카메라 영상에 기반하여 가상 차선을 생성한다. 일 실시예에 있어서, 가상 차선 생성 모듈(320)은 이전 카메라 영상으로부터 현재 차선을 예측하여 가상 차선을 생성할 수 있다. 다른 실시예에 있어서, 가상 차선 생성 모듈(320)은 카메라 영상 내 인식된 좌측 차선과 우측 차선 간의 차선폭을 연산하고, 연산된 차선폭 정보를 이용하여 좌측 차선을 기준으로 가상 우측 차선을 생성하며, 우측 차선을 기준으로 가상 좌측 차선을 생성할 수도 있다.The
차선 판별부(400)는 차선 비교 모듈(410)을 포함한다. 차선 비교 모듈(410)은 차선 검출 모듈(310)에 의해 검출된 차선과 가상 차선 생성 모듈(320)에 의해 생성된 가상 차선을 비교한다. 일 실시예에 있어서, 차선 비교 모듈(410)의 비교 결과, ① 검출 차선과 가상 차선이 일치하는 경우가 발생할 수 있고, ② 검출 차선과 가상 차선이 일치하지 않는 경우(좌측 차선과 우측 차선 중 적어도 하나의 차선이 일치하지 않는 경우도 포함)가 발생할 수 있으며, ③ 차선 검출 모듈(310)에 의한 차선 검출은 실패(좌측 차선과 우측 차선 중 어느 한 차선만 검출에 실패하는 경우도 포함)하고, 가상 차선만이 존재하는 경우도 있을 수 있다. 차선 비교 모듈(410)에 포함되는 정확도 판정 모듈(411)은 차선 비교 결과에 따라 검출 차선과 가상 차선의 일치에 대한 정확도, 즉 차선 인식의 정확도를 판정한다. 예를 들어, 정확도 판정 모듈(411)은 ①의 경우는 정확도가 가장 높다고 판단하여 2단계로 출력하고, ②의 경우는 2단계보다 낮은 1단계로 출력하며, ③의 경우는 1단계보다 낮은 0단계로 출력한다. 또 다른 예로, 여러 가지 차선 및 차선 검출의 조건을 활용하여 정확도를 비교 평가하는 가능할 수도 있다.The
차량 제어부(500)는 차량이 차선을 이탈하는지 여부를 판단하여 차량을 제어하기 위한 구성으로서, 차선 이탈 판정 모듈(510)과 차량 제어 로직 모듈(520)을 포함한다. 일 실시예에 있어서, 차선 이탈 판정 모듈(510)과 차량 제어 로직 모듈(520)은 운전자의 선택에 따라 어느 하나만이 활성화된다. 차선 이탈 판정 모듈(510)은 차량이 차선을 이탈하는지 여부를 판정하기 위한 모듈이다. ①의 경우는 검출 차선과 가상 차선이 일치하므로, 차선 이탈 판정 모듈(510)은 검출 차선과 가상 차선 둘 중 어느 차선을 기준으로 차량이 차선을 이탈하는지 여부를 판단하여도 무방하다. ②의 경우는 검출 차선과 가상 차선이 일치하지 않는 경우이며, 이 경우 차선 이탈 판정 모듈(510)은 검출 차선을 기준으로 할 수도 있고 가상 차선을 기준으로 할 수도 있으며, 아니면 검출 차선과 가상 차선의 오류 정도를 고려하여 차량이 차선을 이탈하는지 여부를 판단할 수 있다. 여기서, 검출 차선과 가상 차선의 오류 정도를 고려할 때는 검출 차선과 가상 차선의 중간값을 취하여 차선 이탈 여부를 판단하도록 할 수도 있다. ③의 경우는 가상 차선만이 존재하므로, 차선 이탈 판정 모듈(510)은 가상 차선을 기준으로 차량이 차선을 이탈하는지 여부를 판단한다. 차량이 차선을 이탈한 것으로 판단되면, 차선 이탈 판정 모듈(510)은 운전자에게 경고하기 위한 제어신호를 경보부(600)로 출력한다. 이때 차선 이탈 판정 모듈(510)은 정확도 판정 모듈(411)에서 판정된 정확도 레벨에 따라 운전자에게 경고하는 방식을 달리하도록 하는 제어신호를 경보부(600)로 출력한다.The
차량 제어 로직 모듈(520)은 차선 판별부(400)의 출력에 따라 차량이 차선을 유지하도록 제어하는 역할을 한다. 일 실시예에 있어서, 차량 제어 로직 모듈(520)은 차선 이탈 판정 모듈(510)과 동일한 역할을 함은 물론, 차량이 차선을 이탈하는 경우에 차량이 차선을 유지하도록 제어하는 역할을 한다. 즉, 차량이 차선을 이탈한 것으로 판단된 경우에, 차량 제어 로직 모듈(520)은 정확도 판정 모듈(411)에서 판정된 정확도 레벨에 따라 운전자에게 경고하는 방식을 달리하도록 하는 제어신호를 경보부(600)로 출력하는데, 이때 이 제어신호에 차량이 차선을 유지하도록 제어하기 위한 명령 데이터를 포함시켜 출력하는 것이다. 아니면, 차량 제어 로직 모듈(520)은 운전자 경고를 위한 제어신호와 차량이 차선을 유지하도록 하기 위한 제어신호를 각각 경보부(600)로 출력할 수도 있다. 그리고 일 실시예에 있어서, 차량 제어 로직 모듈(520)은 정확도 판정 모듈(411)에 의해 판정된 정확도가 2단계일 경우에만 차량이 차선을 유지하도록 제어하기 위한 제어신호를 경보부(600)로 출력할 수도 있다.The vehicle
일 실시예에 있어서, 경보부(600)는 운전자 경고부(610) 및 차선 유지 제어부(620)를 포함한다. 운전자 경고부(610)는 차선 이탈 판정 모듈(510)은 차량 제어 로직 모듈(520)로부터 출력된 제어신호에 따라 운전자에게 경고한다. 예를 들어, 운전자 경고부(610)는 버저나 시트 벨트, 램프, 계기판 디스플레이 등을 통해 0단계 내지 2단계에 따라 대응되는 지정된 방식으로 운전자에게 차량이 차선을 이탈함을 경고할 수 있다. 예를 들면, 램프의 경우는 0단계 내지 2단계가 구분되도록 LED 색상을 달리하거나 깜빡임 횟수 등을 달리하여 차량이 차선을 이탈함을 경고할 수 있다. 계기판 디스플레이를 통해 경고하는 경우는 차선 이탈의 정확도를 0단계 내지 2단계가 구분되도록 수치로 표현할 수도 있다. 차선 유지 제어부(620)는 차량 제어 로직 모듈(520)로부터 출력된 제어신호에 따라 차량이 차선을 이탈하지 않고 좌측 차선과 우측 차선 내에서 유지되도록 제어하는 역할을 한다. 일 실시예에 있어서, 차선 유지 제어부(620)는 차량 제어 로직 모듈(520)로부터 출력된 제어신호에 따라 전동식 조향 장치(MotorDriven Power Steering, MDPS)를 제어하거나, 브레이크를 제어하거나, 아니면 전동식 조향 장치와 브레이크 모두를 제어할 수도 있다.In one embodiment, the
도 3은 본 발명의 일 실시예에 따른 차선 인식 신뢰도 향상 방법 흐름도이다.3 is a flowchart illustrating a method for improving lane recognition reliability according to an embodiment of the present invention.
도 3에 도시된 일련의 과정은 차선 인식 신뢰도 향상 시스템이 차선 인식 및 차선 이탈 여부 판단을 위한 일련의 동작은 차량이 소정 속도 이상일 경우에만 수행될 수 있다. 예를 들어, 차량이 40km/h 이상으로 주행중인 경우에만 도 3에 도시된 과정이 수행되는 것이다. 차량이 소정 속도 이상으로 주행하게 되면, 차선 인식 신뢰도 향상 시스템은 차량에 장착된 카메라로부터 영상을 획득한다(S100). 카메라 영상이 획득되면, 차선 인식 신뢰도 향상 시스템은 카메라 영상 내에서 차선을 검출하고, 또한 가상 차선을 생성한다(S200). 그 다음, 차선 인식 신뢰도 향상 시스템은 검출된 차선과 가성 차선을 비교하여 차선 인식 정확도를 판정한다(S300). 상술한 바와 같이, 차선 인식 정확도는 0단계 내지 2단계로 분류될 수 있다. 차선 인식 신뢰도 향상 시스템은 차량이 차선을 이탈하는지 판단한다(S400). 차량이 차선을 이탈하는 것으로 판단되면, 차선 인식 신뢰도 향상 시스템은 운전자에게 차량이 차선을 이탈함을 경고하기 위한 제어를 수행한다(S500). 바람직하게 차선 인식 신뢰도 향상 시스템은 차선 인식 정확도 레벨에 따라 운전자에게 경고하는 방식을 달리하도록 제어한다. 나아가 차선 인식 신뢰도 향상 시스템은 S500 과정에서 차량이 차선을 벗어나지 않도록 강제적으로 차량을 제어할 수도 있다. 예를 들어, 차선 인식 신뢰도 향상 시스템은 전동식 조향 장치와 브레이크 중 적어도 하나를 제어하여 차량이 차선을 벗어나지 않도록 제어하는 것이다. 이후, 차량 속도가 40km/h 미만으로 떨어지거나 운전자로부터 기능 종료와 같은 명령이 있으면, 차선 인식 신뢰도 향상 시스템은 상술한 일련의 과정 수행을 종료한다(S600).
In the series of processes illustrated in FIG. 3, a series of operations for determining lane recognition and lane departure by the lane recognition reliability improving system may be performed only when the vehicle is at a predetermined speed or more. For example, the process shown in FIG. 3 is performed only when the vehicle is driving at 40 km / h or more. When the vehicle is traveling at a predetermined speed or more, the lane recognition reliability improving system acquires an image from a camera mounted on the vehicle (S100). When the camera image is acquired, the lane recognition reliability improving system detects the lane in the camera image and also generates a virtual lane (S200). Next, the lane recognition reliability improving system compares the detected lane with the false lane and determines lane recognition accuracy (S300). As described above, the lane recognition accuracy may be classified into 0 levels and 2 levels. The lane recognition reliability improving system determines whether the vehicle leaves the lane (S400). If it is determined that the vehicle is leaving the lane, the lane recognition reliability improving system performs control to warn the driver that the vehicle is leaving the lane (S500). Preferably, the lane recognition reliability improvement system controls to vary the manner of warning the driver according to the lane recognition accuracy level. Furthermore, the lane recognition reliability improving system may forcibly control the vehicle so that the vehicle does not leave the lane in step S500. For example, the lane recognition reliability enhancement system controls at least one of the electric steering apparatus and the brake so that the vehicle does not leave the lane. Thereafter, when the vehicle speed drops below 40 km / h or a command such as the termination of the function from the driver, the lane recognition reliability improving system ends the above-described series of processes (S600).
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.
100 : 카메라 200 : 영상 버퍼
300 : 영상 처리부 310 : 차선 검출 모듈
320 : 가상 차선 생성 모듈 400 : 차선 판별부
410 : 차선 비교 모듈 411 : 정확도 판정 모듈
500 : 차량 제어부 510 : 차선 이탈 판정 모듈
520 : 차량 제어 로직 모듈 600 : 경보부
610 : 운전자 경고부 620 : 차선 유지 제어부100: camera 200: video buffer
300: image processing unit 310: lane detection module
320: virtual lane generation module 400: lane determination unit
410: lane comparison module 411: accuracy determination module
500: vehicle control unit 510: lane departure determination module
520: vehicle control logic module 600: alarm unit
610: driver warning unit 620: lane keeping control unit
Claims (7)
상기 차선 검출 모듈에 의해 검출된 차선과 상기 가상 차선 생성 모듈에 의해 생성된 가상 차선을 비교하여 차선 인식 정확도를 판정하는 차선 판별부;
상기 차선 검출 모듈과 상기 가상 차선 생성 모듈의 결과에 근거하여 차량이 차선을 이탈하는지 판단하고, 상기 이탈에 대한 판단 결과 및 상기 판정된 차선 인식 정확도에 따른 제어신호를 출력하는 차량 제어부; 및
상기 차량 제어부의 제어신호에 따라 해당 액션을 수행하는 경보부;
를 포함하는 것을 특징으로 하는 차선 인식 신뢰도 향상 시스템.An image processor including a lane detection module for detecting a lane from a camera image, and a virtual lane generation module for generating a virtual lane;
A lane determination unit for comparing a lane detected by the lane detection module with a virtual lane generated by the virtual lane generation module to determine a lane recognition accuracy;
A vehicle controller configured to determine whether the vehicle leaves the lane based on a result of the lane detection module and the virtual lane generation module, and output a control signal according to the determination result of the departure and the determined lane recognition accuracy; And
An alarm unit performing a corresponding action according to a control signal of the vehicle controller;
Lane recognition reliability improvement system comprising a.
상기 차선 판별부에 의해 판정되는 차선 인식 정확도는 상기 검출된 차선과 상기 가선 차선이 일치하는 경우와, 상기 검출된 차선과 상기 가상 차선이 일치하지 않는 경우, 상기 차선 검출 모듈에 의한 차선 검출에 실패하고 상기 가상 차선만 생성되는 경우로 나뉨을 특징으로 하는 차선 인식 신뢰도 향상 시스템.The method of claim 1,
The lane recognition accuracy determined by the lane discrimination unit fails to detect a lane by the lane detection module when the detected lane and the lane lane match, and when the detected lane and the virtual lane do not match. And splitting into the case where only the virtual lane is generated.
상기 차량 제어부는 상기 차선 검출 모듈과 상기 가상 차선 생성 모듈의 결과에 근거하여 차량이 차선을 이탈하는지 판단하고, 상기 차량이 차선을 이탈한 것으로 판단되면 상기 차선 인식 정확도에 따라 운전자에 대한 경고 방식을 달리하기 위한 제어신호를 상기 경보부로 출력함을 특징으로 하는 차선 인식 신뢰도 향상 시스템.The method according to claim 1 or 2,
The vehicle controller determines whether the vehicle has left the lane based on the results of the lane detection module and the virtual lane generation module. Lane recognition reliability improvement system, characterized in that for outputting a control signal for the alarm to the different.
상기 차량 제어부는 상기 차선 검출 모듈과 상기 가상 차선 생성 모듈의 결과에 근거하여 차량이 차선을 이탈하는지 판단하고, 상기 차량이 차선을 이탈한 것으로 판단되면 상기 차량이 차선을 유지하도록 하며 상기 차선 인식 정확도에 따라 운전자에 대한 경고 방식을 달리하기 위한 제어신호를 상기 경보부로 출력함을 특징으로 하는 차선 인식 신뢰도 향상 시스템.The method according to claim 1 or 2,
The vehicle controller determines whether the vehicle has left the lane based on the results of the lane detection module and the virtual lane generation module. If the vehicle has determined that the vehicle has left the lane, the vehicle control unit maintains the lane and the lane recognition accuracy. And outputting a control signal to the alarm unit for changing a warning method for a driver according to the present invention.
상기 경보부는 상기 제어신호에 포함된 차선 유지 제어 명령에 따라 전동식 조향 장치(MotrDriven Power Steering, MDPS) 및 브레이크 중 적어도 하나를 제어함을 특징으로 하는 차선 인식 신뢰도 향상 시스템.5. The method of claim 4,
And the alarm unit controls at least one of a motor controlled steering (MDPS) and a brake according to a lane keeping control command included in the control signal.
상기 검출된 차선과 상기 생성된 가상 차선을 비교하여 차선 인식 정확도를 판정하는 단계;
상기 차량이 차선을 이탈하는지 판단하는 단계; 및
상기 차량이 차선을 이탈한 것으로 판단되면, 상기 차선 인식 정확도에 따라 운전자에게 달리 경고하는 단계;
를 포함하는 것을 특징으로 하는 차선 인식 신뢰도 향상 방법.Detecting a lane from an image acquired by a camera mounted on the vehicle, and generating a virtual lane;
Determining lane recognition accuracy by comparing the detected lane with the generated virtual lane;
Determining whether the vehicle leaves the lane; And
If it is determined that the vehicle has left the lane, warning the driver differently according to the lane recognition accuracy;
Lane recognition reliability improvement method comprising a.
상기 차선 인식 정확도는 상기 검출된 차선과 상기 가선 차선이 일치하는 경우와, 상기 검출된 차선과 상기 가상 차선이 일치하지 않는 경우, 상기 차선 검출 모듈에 의한 차선 검출에 실패하고 상기 가상 차선만 생성되는 경우로 나뉨을 특징으로 하는 차선 인식 신뢰도 향상 방법.The method according to claim 6,
The lane recognition accuracy is that when the detected lane and the lane lane coincide with each other, and when the detected lane and the virtual lane do not coincide, the lane detection module fails to detect the lane and only the virtual lane is generated. Lane recognition reliability improvement method characterized in that divided into cases.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110074212A KR101818542B1 (en) | 2011-07-26 | 2011-07-26 | System for improving the reliability of the recognition of traffic lane and method thereof |
CN201210254319.8A CN102941851B (en) | 2011-07-26 | 2012-07-20 | Lane Mark identification fiduciary level improves system and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110074212A KR101818542B1 (en) | 2011-07-26 | 2011-07-26 | System for improving the reliability of the recognition of traffic lane and method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130012810A true KR20130012810A (en) | 2013-02-05 |
KR101818542B1 KR101818542B1 (en) | 2018-02-22 |
Family
ID=47724877
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110074212A KR101818542B1 (en) | 2011-07-26 | 2011-07-26 | System for improving the reliability of the recognition of traffic lane and method thereof |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR101818542B1 (en) |
CN (1) | CN102941851B (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150138898A (en) * | 2014-05-30 | 2015-12-11 | 주식회사 만도 | Method and system for warning lane departure using turn sign recognition |
KR20160051423A (en) * | 2014-11-03 | 2016-05-11 | 현대모비스 주식회사 | Apparatus for changing lane |
KR20190088387A (en) * | 2017-12-29 | 2019-07-26 | 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 | Method, apparatus and medium for detecting lane line |
KR20210002390A (en) * | 2020-12-14 | 2021-01-08 | 현대모비스 주식회사 | Apparatus and Method for Estimating Lane |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101558786B1 (en) | 2014-06-30 | 2015-10-07 | 현대자동차주식회사 | Apparatus and method for recognizing driving lane of vehicle |
CN106627575B (en) * | 2016-12-30 | 2019-04-26 | 吉林大学 | A kind of vehicle yaw method for early warning and system |
CN113450571B (en) * | 2021-09-01 | 2021-11-30 | 深圳市鼎粤科技有限公司 | Traffic intersection-based driving direction reminding method and device and storage medium |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3768779B2 (en) * | 2000-06-02 | 2006-04-19 | 三菱電機株式会社 | Vehicle steering driving support device |
JP3689065B2 (en) * | 2002-05-13 | 2005-08-31 | 三菱電機株式会社 | Vehicle travel control device |
JP4162618B2 (en) * | 2004-03-12 | 2008-10-08 | 株式会社豊田中央研究所 | Lane boundary judgment device |
JP2005301892A (en) * | 2004-04-15 | 2005-10-27 | Mitsubishi Motors Corp | Lane recognition device by a plurality of cameras |
JP2007011490A (en) * | 2005-06-28 | 2007-01-18 | Toyota Motor Corp | Device and method for detecting road parameter |
US7388475B2 (en) * | 2006-01-19 | 2008-06-17 | Gm Global Technology Operations, Inc. | Lane departure warning and avoidance system with warning modification criteria |
JP4744632B2 (en) * | 2007-03-01 | 2011-08-10 | パイオニア株式会社 | Lane departure prevention apparatus, lane departure prevention method, lane departure prevention program, and storage medium |
JP2009214680A (en) * | 2008-03-10 | 2009-09-24 | Toyota Motor Corp | Lane keeping assist device, and control parameter changing method |
KR101163446B1 (en) * | 2009-03-18 | 2012-07-18 | 기아자동차주식회사 | A lane departure warning system using a virtual lane and a system according to the same |
-
2011
- 2011-07-26 KR KR1020110074212A patent/KR101818542B1/en active IP Right Grant
-
2012
- 2012-07-20 CN CN201210254319.8A patent/CN102941851B/en active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150138898A (en) * | 2014-05-30 | 2015-12-11 | 주식회사 만도 | Method and system for warning lane departure using turn sign recognition |
KR20160051423A (en) * | 2014-11-03 | 2016-05-11 | 현대모비스 주식회사 | Apparatus for changing lane |
KR20190088387A (en) * | 2017-12-29 | 2019-07-26 | 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 | Method, apparatus and medium for detecting lane line |
KR20210002390A (en) * | 2020-12-14 | 2021-01-08 | 현대모비스 주식회사 | Apparatus and Method for Estimating Lane |
Also Published As
Publication number | Publication date |
---|---|
KR101818542B1 (en) | 2018-02-22 |
CN102941851A (en) | 2013-02-27 |
CN102941851B (en) | 2016-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20130012810A (en) | System for improving the reliability of the recognition of traffic lane and method thereof | |
CN108569296B (en) | Method for self-adaptively matching auxiliary driving system and implementation module thereof | |
US11461595B2 (en) | Image processing apparatus and external environment recognition apparatus | |
US9031774B2 (en) | Apparatus and method for preventing collision of vehicle | |
JP5100159B2 (en) | Automatic switching control method for in-vehicle projector | |
US10152640B2 (en) | System and method for verification of lamp operation | |
EP2575078B1 (en) | Front vehicle detecting method and front vehicle detecting apparatus | |
WO2013011952A1 (en) | Traffic lane recognition apparatus | |
JPH1067252A (en) | Vehicle running condition detector | |
US9367750B2 (en) | Lane departure warning system and method of controlling the same | |
CN114842432B (en) | Deep learning-based automobile light control method and system | |
JP2009252198A (en) | Travel environment presuming device, method and program, and traffic lane deviation alarm device and steering assisting apparatus | |
KR101787292B1 (en) | Method for Improving Performance of Line Recognition Rate Using Image | |
JP2010146470A (en) | Traveling-lane detector and traveling-lane detection program | |
JP2014146267A (en) | Pedestrian detection device and driving support device | |
CN109435839B (en) | Device and method for detecting vehicle steering lamp close to lane | |
JP2016162323A (en) | Travelling section line recognition device | |
KR101616462B1 (en) | Forward Vehicle Identification Method and System with the Vehicular Brake Lamp at Night Time | |
JPH0973529A (en) | Two-wheeled vehicle monitor device | |
KR100588563B1 (en) | Method for a traffic line recognition of using image on vehicle | |
JP2015232846A (en) | Front situation determination device | |
JP2017142591A (en) | Vehicle-purpose support system | |
JP3069952B2 (en) | Vehicle Recognition Method Using Video System | |
KR20110122336A (en) | Apparatus and method for preventing false alarm of lane departure warning | |
JP2000149195A (en) | Course environment recognizing device, safety driving supporting device using the same, and automatic driving device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |