KR101365675B1 - Lane recognition apparatus, and lane departure warning apparatus using the same - Google Patents

Lane recognition apparatus, and lane departure warning apparatus using the same Download PDF

Info

Publication number
KR101365675B1
KR101365675B1 KR1020120116809A KR20120116809A KR101365675B1 KR 101365675 B1 KR101365675 B1 KR 101365675B1 KR 1020120116809 A KR1020120116809 A KR 1020120116809A KR 20120116809 A KR20120116809 A KR 20120116809A KR 101365675 B1 KR101365675 B1 KR 101365675B1
Authority
KR
South Korea
Prior art keywords
lane
laser beam
control unit
electronic control
vehicle
Prior art date
Application number
KR1020120116809A
Other languages
Korean (ko)
Inventor
백승현
Original Assignee
주식회사 에스엘 서봉
에스엘 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스엘 서봉, 에스엘 주식회사 filed Critical 주식회사 에스엘 서봉
Priority to KR1020120116809A priority Critical patent/KR101365675B1/en
Application granted granted Critical
Publication of KR101365675B1 publication Critical patent/KR101365675B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • B60Y2300/12—Lane keeping

Abstract

The present invention relates to a lane recognition device and a lane separation warning device using the same. The lane recognition device according to the present invention firstly recognizes a lane on the basis of an image acquired through a camera, generates information on the width of the lane from the firstly recognized results, irradiates a laser beam to the lane using the information on the width of the lane, and generates lane recognition results based on the acquired image. Therefore, the present invention can prepare a framework for commercializing a lane separation guide function applicable to a real road. [Reference numerals] (110) Camera; (120) Laser beam module; (130) Actuator; (140) Electronic control unit

Description

차선인식 장치, 그리고 이를 이용한 차선이탈 안내 장치{LANE RECOGNITION APPARATUS, AND LANE DEPARTURE WARNING APPARATUS USING THE SAME}Lane Recognition Apparatus, and Lane Departure Guidance Device Using the Same {{LANE RECOGNITION APPARATUS, AND LANE DEPARTURE WARNING APPARATUS USING THE SAME}

본 발명은 차선인식 장치, 그리고 이를 이용한 차선이탈 안내 장치에 관한 것으로, 더욱 상세하게는 도로의 차선에 대한 인식률을 높여 차량의 차선이탈 여부를 정확하게 안내하기 위한 차선인식 장치, 그리고 이를 이용한 차선이탈 안내 장치에 관한 것이다.The present invention relates to a lane recognition device and a lane departure guidance device using the same, and more particularly, a lane recognition device for accurately guiding whether a vehicle leaves a lane by increasing a recognition rate of a lane of a road, and a lane departure guidance using the same. Relates to a device.

통상적으로 차량의 안전과 관련된 기술은 크게 두 분야로 나눌 수 있다. 즉, 능동안전과 수동안전이다. In general, technologies related to vehicle safety can be broadly divided into two fields. That is, active safety and passive safety.

수동안전 분야는 차량의 주행 안정성과 충돌 안정성이 대표적인 기술분야로서 사고를 유발할 수 있는 결함을 최소화하여 사고 발생시에는 피해를 최소화하기 위한 기술이다.Passive safety field is a technology for minimizing damage in case of an accident by minimizing defects that can cause an accident.

이러한 수동안전 분야는 LDW(Lane Departure Warning System: 차선이탈 시 운전자에게 경보를 제공하며, 이하 '차선이탈 안내' 기술이라 함), AVM(Around View Monitoring: Bird's eye view 기반의 주차 보조 시스템), BSD(Blind Spot Detection: 사각지대 차량 검출 시스템)가 대표적인 기술이다. These passive safety areas include Lane Departure Warning System (LDW) that alerts drivers to lane departures, hereinafter referred to as 'lane departure guidance' technology, AVM (Around View Monitoring: Bird's eye view based parking assistance system), BSD (Blind Spot Detection: blind spot vehicle detection system) is a representative technology.

차선이탈 안내 기술은 '조향각 자동 제어가 이루어지면 능동안전 분야에 해당하는 기술로 분류되는 것도 가능하므로, 운전자의 주행 안전성을 확보하기 위한 수동&능동 안전 시스템이라 할 수 있다.Lane departure guidance technology can be classified as a technology corresponding to the field of active safety if the steering angle automatic control is made, it can be said to be a passive & active safety system to secure driver's driving safety.

또한, 차선이탈 안내 기술은 카메라 영상을 통하여 차선을 감지하고 차선의 이탈 정도에 따라 운전자에게 경고함으로써 운전자의 운전미숙, 졸음운전 등으로 인한 사고를 사전에 방지할 수 있을 것으로 기대되는 기술이다.In addition, the lane departure guidance technology is expected to be able to prevent accidents due to driver's immature driving, drowsy driving, etc. by detecting a lane through a camera image and warning the driver according to the degree of lane departure.

이와 같은 차선이탈 안내 기술은 Ridge Detection 차선인식 알고리즘 기반으로 설계되는 추세이나, 상기 Ridge Detection 차선인식 알고리즘은 도로의 상황에 따라 검출된 차선 후부 영역 중에서 검출된 점들을 기반으로 하여 직선 성분을 도출하는 기본 틀에서 이루어지는 알고리즘임에 따라 차선이 커브인 경우에는 차선 검출이 직선에 비해 상대적으로 인식률이 저하되는 문제점이 있다.Such lane departure guidance technology is a trend designed based on the Ridge Detection lane recognition algorithm, but the Ridge Detection lane detection algorithm is a basic to derive a linear component based on the detected points in the rear region detected by the road conditions According to the algorithm made in the framework, when the lane is a curve, the detection rate of the lane is relatively lower than that of the straight line.

이에 따라, Ridge Detection 차선인식 알고리즘에 부가적으로 차선의 색을 검출하는 알고리즘을 접목하여 차선의 인식률을 향상하고자 하였지만, 이를 통해서는 악천 후와 이에 준하는 환경 조건(예: 차선이 불분명하거나 지워진 도로, 비나 눈으로 인한 기상 악화, 다양한 차선의 색 및 종류 등)을 극복하여 차선 인식률을 높이는데에 한계가 있다.Accordingly, we tried to improve the lane recognition rate by combining the Ridge Detection lane recognition algorithm with the algorithm that detects the color of the lane, but through this, bad weather and the corresponding environmental conditions (eg, unclear or erased lanes, There is a limit in improving lane recognition rate by overcoming weather conditions caused by rain or snow, and various lane colors and types.

현 수준의 차선 인식률에 기초해서는 차선 이탈 여부에 대한 경고를 통해 도로안전을 도모하기가 시기상조인바, 차선 이탈 안내 기능을 상용화할 수 있는 정도로 차선 인식률을 향상시킬 필요성을 제기할 수 있다.Based on the current lane recognition rate, it is premature to promote road safety through warning of lane departure and raise the need to improve lane recognition rate to the extent that commercialization of lane departure guidance functions is commercialized.

따라서, 본 발명은 상기의 문제점을 해결하기 위해 창출된 것으로, 본 발명의 목적은 카메라를 통해 획득된 영상에 기초하여 차선을 1차 인식한 후 1차 인식된 결과로부터 차선의 폭 정보를 생성하고, 생성된 차선의 폭 정보를 이용하여 차선 상에 레이저 빔을 조사한 후 재획득된 영상에 기초하여 차선을 2차 인식하는 차선인식 장치를 제공하는 데 있다.Accordingly, the present invention was created to solve the above problems, and an object of the present invention is to generate lane width information from the first recognized result after first detecting the lane based on the image acquired through the camera. Another object of the present invention is to provide a lane recognizing apparatus that secondly recognizes a lane based on a re-acquired image after irradiating a laser beam onto the lane using the generated width information of the lane.

또한, 본 발명은 AVM(Around View Monitoring)과 같은 주차보조 시스템 중에서 다수의 카메라와 전자제어유닛을 활용하여 상기 언급된 차선인식 장치를 제공하는 데 있다.In addition, the present invention is to provide the above-mentioned lane recognition apparatus utilizing a plurality of cameras and an electronic control unit in the parking assistance system such as AVM (Around View Monitoring).

또한, 본 발명은 차량의 후방에 구비된 카메라 및 레이저 포인터를 활용하여 차선인식 결과를 검증하는 차선인식 장치를 제공하는 데 있다.The present invention also provides a lane recognition apparatus for verifying lane recognition results using a camera and a laser pointer provided at the rear of a vehicle.

그리고, 본 발명은 상기 차선인식 장치를 통해 인식된 차선인식 결과를 이용하여 차량의 차선이탈 여부를 판정하고 판정된 결과에 따라 차선이탈 시 경고 안내를 출력하는 차선이탈 안내 장치를 제공하는 데 있다.In addition, the present invention provides a lane departure guide device for determining whether the vehicle is out of lane using the lane recognition result recognized through the lane recognition device and outputting a warning guide when the lane is separated according to the determined result.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

상기 목적을 달성하기 위한 본 발명의 제1 관점에 따른 차선인식 장치는 카메라, 상기 카메라를 통해 획득된 영상으로부터 차선 영역을 인식한 후 인식된 차선 영역 결과로부터 차선의 폭 정보를 생성하는 전자제어유닛 및 상기 차선의 폭 정보를 통해 차선 상에 레이저 빔을 조사하는 레이저빔 모듈을 포함하고, 상기 전자제어유닛은 상기 레이저 빔이 조사된 차선에 대해 재획득된 영상에 기초하여 차선 인식 결과를 생성한다.The lane recognition apparatus according to the first aspect of the present invention for achieving the above object is a camera, an electronic control unit for recognizing the lane area from the image obtained by the camera and generating the width information of the lane from the resultant lane area result And a laser beam module for irradiating a laser beam onto a lane through the width information of the lane, wherein the electronic control unit generates a lane recognition result based on an image acquired for the lane to which the laser beam is irradiated. .

또한, 상기 전자제어유닛은 상기 차선의 폭 정보를 통해 상기 레이저빔 모듈의 빔 조사 위치를 설정한다.In addition, the electronic control unit sets the beam irradiation position of the laser beam module through the width information of the lane.

또한, 상기 차선인식 장치는 상기 레이저빔 모듈의 빔 조사 방향을 조절하기 위한 엑추에이터를 더 포함한다.In addition, the lane recognition apparatus further includes an actuator for adjusting the beam irradiation direction of the laser beam module.

또한, 상기 전자제어유닛은 상기 차선 영역 결과 및 상기 차선 인식 결과 중 적어도 하나를 이용하여 차선을 기준으로 한 차량의 위치를 나타내는 틸트 변화 값을 생성하고, 상기 틸트 변화 값을 통해 상기 엑추에이터의 구동을 제어한다.In addition, the electronic control unit generates a tilt change value indicating the position of the vehicle with respect to the lane using at least one of the lane area result and the lane recognition result, and drives the actuator through the tilt change value. To control.

또한, 상기 틸트 변화 값은 기 정해진 엑추에이터 구동 조건을 충족하는 값이다.In addition, the tilt change value is a value that satisfies a predetermined actuator driving condition.

또한, 상기 전자제어유닛은 상기 레이저 빔이 위치한 부분을 차선으로 인식한다.In addition, the electronic control unit recognizes the portion where the laser beam is located as a lane.

또한, 상기 레이저빔 모듈은 차량의 양 사이드에 대응하여 각각 구비된다.In addition, the laser beam module is provided corresponding to both sides of the vehicle.

또한, 상기 전자제어유닛은 상기 차량의 양 사이드 중 어느 하나 이상에 대한 레이저빔 모듈의 레이저 빔과 대응되는 턴 시그널의 발생 유무에 따라 차선 이탈의 판정이 가능 한 상기 차선 인식 결과를 생성한다.In addition, the electronic control unit generates the lane recognition result capable of determining lane departure according to whether a turn signal corresponding to the laser beam of the laser beam module for one or more of both sides of the vehicle is generated.

또한, 상기 전자제어유닛은 차선에 조사되는 레이저 빔이 차량 주행으로 인해 선으로 확인되는 영상을 통해 상기 차선 영역을 역 판정한다.In addition, the electronic control unit inversely determines the lane area through an image in which the laser beam irradiated to the lane is identified as a line due to the vehicle driving.

또한, 상기 차선 영역의 역 판정은 기 정해진 시간 간격으로 일시 수행된다.In addition, the reverse determination of the lane area is temporarily performed at predetermined time intervals.

또한, 상기 전자제어유닛은 상기 차선의 폭 정보를 생성한 이후 상기 차선 영역 결과로부터 상대적으로 명확하게 판정된 차선을 기준으로 한 상기 차선의 폭 정보의 적용을 통해 상기 레이저빔 모듈의 빔 조사 방향을 설정한다.The electronic control unit may generate the beam width direction of the laser beam module by applying the width information of the lane based on the lane determined relatively clearly from the lane area result after generating the width information of the lane. Set it.

또한, 상기 카메라는 주차보조 시스템으로부터 공유된다.The camera is also shared from the parking assistance system.

또한, 상기 전자제어유닛은 상기 주차보조 시스템으로부터 공유된다.The electronic control unit is also shared from the parking assist system.

또한, 상기 전자제어유닛은 상기 레이저 빔이 위치한 부분과 차선의 형상 및 색깔 중 적어도 하나가 위치한 부분이 상호 매칭하는 정도를 판정한 결과를 통해 상기 레이저 빔의 조사 오류 여부를 판정한다.In addition, the electronic control unit determines whether the laser beam irradiation error through a result of determining the degree of matching between the portion in which the laser beam is located and the portion in which at least one of the shape and color of the lane are located.

또한, 상기 전자제어유닛은 상기 레이저 빔을 조사한 이후 상기 카메라로부터 획득된 영상들을 취합하고 취합된 자료를 통해 상기 레이저 빔의 직선 배열 또는 곡률 배열을 계산한다.In addition, the electronic control unit collects the images obtained from the camera after irradiating the laser beam and calculates the linear arrangement or curvature arrangement of the laser beam through the collected data.

또한, 상기 전자제어유닛은 상기 직선 배열 또는 곡률 배열에 대한 통계를 이용하여 상기 레이저 빔을 조사하기 위한 빔 조사 방향을 조절한다.In addition, the electronic control unit adjusts the beam irradiation direction for irradiating the laser beam using the statistics on the linear arrangement or curvature arrangement.

또한, 상기 차선인식 장치는 차량 후방 측을 지향하는 후방 카메라 및 상기 차량 후방 측의 양 사이드에 각각 구비되는 후방 레이저빔 모듈을 더 포함하여 상기 차선 인식 결과를 검증한다.The lane recognition apparatus further includes a rear camera facing the vehicle rear side and rear laser beam modules provided at both sides of the vehicle rear side to verify the lane recognition result.

또한, 상기 후방 카메라는 주차보조 시스템으로부터 공유된다.The rear camera is also shared from the parking assist system.

상기 목적을 달성하기 위한 본 발명의 제2 관점에 따른 차선 이탈 안내 장치는 카메라, 상기 카메라를 통해 획득된 영상으로부터 차선 영역을 인식한 후 인식된 차선 영역 결과로부터 차선의 폭 정보를 생성하는 전자제어유닛, 상기 차선의 폭 정보를 통해 차선 상에 레이저 빔을 조사하는 레이저빔 모듈 및 상기 전자제어유닛으로부터 상기 레이저 빔이 조사된 차선을 인식한 차선 인식 결과를 기초로 차량의 차선 이탈 여부를 판정한 결과, 차선 이탈 시 경고 안내를 출력하는 경보 수단을 포함한다.The lane departure guide apparatus according to the second aspect of the present invention for achieving the above object is a camera, the electronic control to generate the width information of the lane from the lane area result after recognizing the lane area from the image obtained through the camera A unit, a laser beam module for irradiating a laser beam onto a lane through width information of the lane, and determining whether the vehicle is out of lane based on a lane recognition result of recognizing a lane to which the laser beam is irradiated from the electronic control unit. As a result, it comprises an alarm means for outputting a warning guidance on the lane departure.

따라서, 본 발명에서는 카메라를 통해 획득된 영상에 기초하여 차선을 1차 인식한 후 1차 인식된 결과로부터 차선의 폭 정보를 생성하고, 생성된 차선의 폭 정보를 이용하여 차선 상에 레이저 빔을 조사한 후 재획득된 영상에 기초하여 차선을 2차 인식하는 차선인식 장치, 그리고 이를 이용한 차선이탈 안내 장치를 제공함으로써, 실제 도로상에 적용 가능한 차선이탈 안내 기능을 상용화할 수 있는 이점이 있다.Therefore, in the present invention, after the lane is first recognized based on the image acquired by the camera, the width information of the lane is generated from the first recognized result, and the laser beam is generated on the lane using the generated width information. By providing a lane recognizing apparatus for recognizing lanes based on the re-acquired image after the investigation, and a lane departure guiding apparatus using the same, a lane departure guiding function applicable to an actual road may be commercialized.

도 1은 본 발명에 의한 차선인식 장치의 일실시 예를 나타내는 도면이다.
도 2는 본 발명에 의한 차선인식 장치의 다른 실시 예를 나타내는 도면이다.
도 3은 도 2에 도시된 차선인식 장치의 동작 예를 일실시 예로 나타내는 도면이다.
도 4는 도 2에 도시된 차선인식 장치의 동작 예를 다른 실시 예로 나타내는 도면이다.
도 5는 도 2에 도시된 차선인식 장치의 동작 예를 또 다른 실시 예로 나타내는 도면이다.
도 6은 도 2에 도시된 차선인식 장치의 동작 예를 또 다른 실시 예로 나타내는 도면이다.
도 7은 본 발명에 의한 차선이탈 안내 장치의 일실시 예를 나타내는 도면이다.
도 8은 본 발명에 의한 차선이탈 안내 장치의 다른 실시 예를 나타내는 도면이다.
도 9는 도 8에 도시된 차선이탈 안내 장치의 동작 과정을 일실시 예로 나타내는 도면이다.
도 10은 도 8에 도시된 차선이탈 안내 장치의 동작 과정을 다른 실시 예로 나타내는 도면이다.
그리고, 도 11은 도 8에 도시된 차선이탈 안내 장치의 동작 과정을 또 다른 실시 예로 나타내는 도면이다.1 is a view showing an embodiment of a lane recognition apparatus according to the present invention.
2 is a view showing another embodiment of the lane detection apparatus according to the present invention.
FIG. 3 is a diagram illustrating an example of an operation of the lane recognition apparatus illustrated in FIG. 2.
FIG. 4 is a diagram illustrating another example of an operation of the lane recognition apparatus illustrated in FIG. 2.
FIG. 5 is a diagram illustrating another example of an operation of the lane recognition apparatus illustrated in FIG. 2.
FIG. 6 is a diagram illustrating another example of an operation of the lane recognition apparatus illustrated in FIG. 2.
7 is a diagram illustrating an embodiment of a lane departure guide apparatus according to the present invention.
8 is a view showing another embodiment of a lane departure guide apparatus according to the present invention.
FIG. 9 is a diagram illustrating an operation process of the lane departure guide apparatus illustrated in FIG. 8.
FIG. 10 is a diagram illustrating another example of an operation process of the lane departure guide apparatus illustrated in FIG. 8.
11 is a diagram illustrating an operation process of the lane departure guide apparatus illustrated in FIG. 8 as another embodiment.

이하, 첨부도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 다음과 같이 상세히 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 의한 차선인식 장치(100)의 일실시 예를 나타내는 도면이다. 도 1에 도시된 바와 같이, 차선인식 장치(100)는 차선이 있는 영상을 획득하기 위한 카메라(110), 획득된 영상에 기초하여 차선을 1차 인식한 후 1차 인식된 결과로부터 차선의 폭 정보를 생성하는 전자제어유닛(140), 전자제어유닛(140)으로부터 제공되는 차선의 폭 정보를 이용하여 차선 상에 레이저 빔을 조사하는 레이저빔 모듈(120)을 포함할 수 있다.1 is a view showing an embodiment of a lane recognition apparatus 100 according to the present invention. As shown in FIG. 1, the lane recognizing apparatus 100 recognizes a lane based on the camera 110 for acquiring an image having a lane, based on the acquired image, and then uses a width of the lane from the first recognized result. The electronic control unit 140 for generating information, and the laser beam module 120 for irradiating a laser beam on the lane using the width information of the lane provided from the electronic control unit 140.

전자제어유닛(140)은 레이저빔 모듈(120)의 동작을 통해 차선에 레이저 빔이 조사된 후 카메라(110)를 통해 획득되는 영상으로부터 레이저 빔이 조사된 차선을 2차 인식함으로써, 차선 인식률을 대폭 향상시킬 수 있다.The electronic control unit 140 secondly recognizes the lane to which the laser beam is irradiated from the image obtained through the camera 110 after the laser beam is irradiated to the lane through the operation of the laser beam module 120 to thereby detect the lane recognition rate. It can greatly improve.

또한, 전자제어유닛(140)은 카메라(110)로부터 획득된 영상으로부터 차선을 1차 인식한 후 차선의 폭 정보를 생성하고, 생성된 차선의 폭 정보를 통해 레이저빔 모듈(120)의 빔 조사 위치를 설정하는 것이 가능하다.In addition, the electronic control unit 140 firstly recognizes the lane from the image obtained from the camera 110 and generates the width information of the lane, and the beam irradiation of the laser beam module 120 through the generated width information of the lane. It is possible to set the position.

즉, 차선의 폭이 도로 사정마다 상이한 경우에도 용이하게 차선의 폭 정보를 획득한 후, 획득된 차선의 폭 정보에 맞게 레이저 빔을 조사할 수 있다.That is, even when the width of the lane is different for each road condition, the width information of the lane can be easily obtained, and the laser beam can be irradiated according to the obtained width information of the lane.

이와 같은 레이저 빔은 차선에 맞게 조정되어 조사되어야 함에 따라, 도로상에서 직선, 곡선 등으로 변화하는 차선에 맞게 레이저 빔을 조사할 수 있도록 하기 위해 차선인식 장치(100)는 레이저빔 모듈(120)의 레이저 빔 조사 방향을 자동 조절하기 위한 엑추에이터(130)를 더 포함하는 것이 바람직하다.Since the laser beam is to be adjusted according to the lane to be irradiated, the lane detection apparatus 100 is to be of the laser beam module 120 in order to be able to irradiate the laser beam to the lane that changes in a straight line, curve, etc. on the road It is preferable to further include an actuator 130 for automatically adjusting the laser beam irradiation direction.

엑추에이터(130)는 전자제어유닛(140)으로부터 제공되는 틸트 변화 값에 따라 레이저빔 모듈(120)의 레이저 빔 조사 방향을 조절할 수 있다.The actuator 130 may adjust the laser beam irradiation direction of the laser beam module 120 according to the tilt change value provided from the electronic control unit 140.

상기 틸트 변화 값은 전자제어유닛(140)에서 카메라(110)로부터 획득된 영상으로부터 판정된 1차 차선인식 결과 또는 레이저 빔이 조사된 영상으로부터 판정된 2차 차선인식 결과에 기초하여 생성된 값이 될 수 있다.The tilt change value is a value generated based on the first lane recognition result determined from the image acquired from the camera 110 in the electronic control unit 140 or the second lane recognition result determined from the image irradiated with the laser beam. Can be.

예컨대, 레이저빔 모듈(120)이 차량의 좌우 사이드 밀러 전방 부분에 각각 구비되는 경우, 운전자의 습관에 따라 차량의 위치가 차선을 이탈하지 않았다고 하더라도 차선 내에 위치가 상이하여 차선인식을 위한 중심점이 다르기 때문에 고정형 레이저빔 모듈(120)을 통해서는 차선 위에 레이저 빔을 정확하게 제공하기 어렵기 때문이다.For example, when the laser beam module 120 is provided at each of the left and right side mirror front portions of the vehicle, even if the position of the vehicle does not deviate from the lane according to the driver's habit, the position is different in the lane and thus the center point for lane recognition is different. This is because it is difficult to accurately provide the laser beam on the lane through the fixed laser beam module 120.

또한, 엑추에이터(130)가 차량의 미세한 위치 이동에 대응하여 민감하게 동작하게 되면, 레이저 빔을 조사하기 위한 연산량이 과다해질 뿐만 아니라 차량인식 기능을 효율적으로 실행하는 데에 장애 요소가 작용 될 가능성이 있으므로, 안전을 유지하면서 차선 인식 기능이 이루어질 수 있는 범위 내에서 엑추에이터(130)의 동작이 수행되는 것이 바람직하다.In addition, if the actuator 130 operates sensitively in response to the minute position movement of the vehicle, not only the amount of computation for irradiating the laser beam is excessive, but also there is a possibility that the obstacles are effective in efficiently executing the vehicle recognition function. Therefore, it is preferable that the operation of the actuator 130 is performed within the range in which the lane recognition function can be made while maintaining safety.

전자제어유닛(140)은 레이저 빔을 조사한 이후 카메라(110)로부터 재획득된 영상에 대해 영상 인식을 수행하여 레이저 빔이 위치한 부분을 차선으로 인식하는 것이 가능하다.The electronic control unit 140 may perform image recognition on the image reacquired from the camera 110 after irradiating the laser beam to recognize a portion where the laser beam is located as a lane.

여기서, 전자제어유닛(140)은 레이저 빔을 조사한 이후 레이저 빔의 위치를 판독하여 차선을 인식하는 경우 모든 차선을 한 색으로 인식할 수 있기 때문에 기존 알고리즘에 비해 적은 데이터 양으로도 한 차원 높은 차선 인식률을 구현할 수 있으며, 이는 적색 이외의 색은 필터링할 수 있으므로 기존 대비 주파수 범위가 상대적으로 작아지기 때문이다.Here, the electronic control unit 140 reads the position of the laser beam after irradiating the laser beam and recognizes all the lanes in one color, so that the lane can be recognized one-dimensionally higher by a smaller amount of data than the conventional algorithm. The recognition rate can be implemented because the frequency range is relatively small compared to the existing one because the non-red color can be filtered out.

전자제어유닛(140)은 1차 인식 결과를 기초로 하여 차선의 폭 정보를 획득한 후 획득된 차선의 폭 정보를 기준으로 해서 레이저빔 모듈(120)의 레이저 빔 조사 방향을 설정하고, 조사된 레이저 빔을 차선 인식을 위한 기준점으로 설정함으로써 이후 차선 이탈 여부를 판정할 수 있는 기초 자료를 생성할 수 있다.The electronic control unit 140 obtains the width information of the lane based on the first recognition result and sets the laser beam irradiation direction of the laser beam module 120 based on the obtained width information of the lane, By setting the laser beam as a reference point for lane recognition, it is possible to generate basic data for determining whether the lane deviates later.

예를 들면, 전자제어유닛(140)은 레이저 빔을 통한 기준점을 설정한 이후 차량이 왼쪽 차선을 이탈할 경우, 차선이 차량 안쪽에 위치하게 됨에 따라 왼쪽 사이드 밀러의 전방 부분에 위치한 레이저빔 모듈(120)을 통해 레이저 빔을 조사하기 위한 조사 예정 위치가 확보되지 않으므로, 왼쪽 사이드 밀러의 전방 부분에 위치한 레이저빔 모듈(120)을 통한 레이저 빔이 조사되지 아니하거나, 조사된다고 하더라도 차량 자체에 가려 카메라(110)를 통해 확인되는 영상에서는 왼쪽 사이드 밀러의 전방 부분에 위치한 레이터포인터 모듈(120)에 대응되는 레이저 빔이 확인되지 않게 된다.For example, if the vehicle leaves the left lane after setting the reference point through the laser beam, the electronic control unit 140 is located in the front portion of the left side miller as the lane is located inside the vehicle ( Since the position to be irradiated for irradiating the laser beam through 120 is not secured, the laser beam through the laser beam module 120 located in the front part of the left side miller is not irradiated or is irradiated to the vehicle itself even if irradiated. In the image checked through 110, the laser beam corresponding to the radar pointer module 120 located in the front portion of the left side mirror is not identified.

즉, 위 경우에 전자제어유닛(140)은 왼쪽 사이드 밀러의 전방 부분에 위치한 레이저빔 모듈(120)을 통한 레이저 빔에 대한 정보를 획득하지 못하게 됨에 따라, 이에 대응되는 턴 시그널이 확보하지 못하게 되어 왼쪽 방향으로 차선 이탈된 것으로 판정할 수 있는 기초 자료를 생성할 수 있게 된다.That is, in the above case, since the electronic control unit 140 cannot obtain information on the laser beam through the laser beam module 120 located in the front part of the left side miller, the corresponding turn signal cannot be secured. It is possible to generate basic data that can be judged to be out of lane in the left direction.

반대로, 전자제어유닛(140)은 레이저 빔을 통한 기준점을 설정한 이후 차량이 오른쪽 차선을 이탈할 경우, 차선이 차량 안쪽에 위치하게 됨에 따라 오른쪽 사이드 밀러의 전방 부분에 위치한 레이저빔 모듈(120)을 통해 레이저 빔을 조사하기 위한 조사 예정 위치가 확보되지 않으므로, 오른쪽 사이드 밀러의 전방 부분에 위치한 레이저빔 모듈(120)을 통한 레이저 빔이 조사되지 아니하거나, 조사된다고 하더라도 차량 자체에 가려 카메라(110)를 통해 확인되는 영상에서는 오른쪽 사이트 밀러의 전방 부분에 위치한 레이저빔 모듈(120)에 대응되는 레이저 빔이 확인되지 않게 된다.On the contrary, if the vehicle leaves the right lane after setting the reference point through the laser beam, the electronic control unit 140 is located in the front portion of the right side miller as the lane is located inside the vehicle. Since the position to be irradiated for irradiating the laser beam is not secured through the laser beam, the laser beam through the laser beam module 120 located in the front part of the right side miller is not irradiated, even if irradiated, the camera 110 is hidden by the vehicle itself. In the image checked through), the laser beam corresponding to the laser beam module 120 located in the front portion of the right side miller is not confirmed.

이 경우에도 전자제어유닛(140)은 오른쪽 사이드 밀러의 전방 부분에 위치한 레이저빔 모듈(120)을 통한 레이저 빔에 대한 정보를 획득하지 못하게 됨에 따라, 이에 대응되는 턴 시그널이 확보하지 못하게 되어 오른쪽 방향으로 차선 이탈된 것으로 판정할 수 있는 기초 자료를 생성할 수 있게 된다.Even in this case, since the electronic control unit 140 cannot acquire information on the laser beam through the laser beam module 120 located in the front part of the right side miller, the corresponding turn signal cannot be secured and the right direction is prevented. It is possible to generate the basic data that can be determined to be the lane departure.

물론, 전자제어유닛(140)은 레이저 빔을 조사한 이후 레이저 빔을 인식하여 차선을 인식할 수 있으나, 차선 위에 조사된 레이저 빔과 차선 영상을 모두 인식하여 차선을 인식하는 것도 가능하다.Of course, the electronic control unit 140 may recognize the lane by recognizing the laser beam after irradiating the laser beam, but it is also possible to recognize the lane by recognizing both the laser beam and the lane image irradiated on the lane.

이때, 전자제어유닛(140)은 레이저 빔을 조사한 이후 차선 위에 조사된 레이저 빔과 차선 영상을 모두 인식하여 차선을 인식하기 위해서는, 상기 언급된 레이저 빔과 관련된 인식 알고리즘에 추가 적으로 1차 차선 인식에서 수행되는 알고리즘을 더 병행하는 것이 요구된다.At this time, the electronic control unit 140 recognizes the first lane detection in addition to the above-described recognition algorithm related to the laser beam in order to recognize the lane by recognizing both the laser beam and the lane image irradiated on the lane after irradiating the laser beam. It is required to further parallel the algorithms performed in.

한편, 차량이 도로를 주행하는 경우, 레이저 빔이 차선 위에 조사되면 점 형태로 조사되는 레이저 빔이 선으로 보이게 되는 영상이 획득될 수 있으므로, 이를 활용하여 차선 인식 알고리즘을 보다 더 효율적으로 구현할 수 있다.On the other hand, when the vehicle is driving on the road, an image in which the laser beam irradiated in the form of dots can be seen as a line when the laser beam is irradiated on the lane can be used to implement a lane recognition algorithm more efficiently. .

예를 들면, 전자제어유닛(140)이 카메라(110)를 통해 획득된 영상에서 일시적으로 차선을 판별할 수 있는 영역이 판정되지 않는 경우, 조사되고 있던 레이저 빔으로부터 유지되는 선 영상을 통해 일시적으로 판별되지 않는 차선의 위치를 유추하는 것이 가능하다.For example, when the area where the electronic control unit 140 can temporarily determine the lane in the image acquired through the camera 110 is not determined, the electronic control unit 140 temporarily determines the line image maintained from the laser beam being irradiated. It is possible to infer the position of the lane which is not discriminated.

이로 인해, 전자제어유닛(140)은 영상으로부터 차선이 일시적으로 판별되지 않는다고 하여 곧바로 에러를 발생하지 않고서도 차선의 위치를 용이하게 유추할 수 있는 기능을 실현할 수 있다.For this reason, the electronic control unit 140 can realize the function which can easily infer the position of a lane without generating an error immediately, because a lane is not discriminated temporarily from an image.

또한, 전자제어유닛(140)은 카메라(110)를 통해 획득된 영상에서 차량의 좌우 차선 중 어느 하나의 차선이 다른 차선에 비해 상대적으로 명확하게 판정되면, 상대적으로 명확한 것으로 판정된 차선을 기준으로 하여 차선의 폭 정보를 적용함으로써, 양 사이드 밀러의 전방 부분에 위치한 레이저빔 모듈(120)의 빔 조사 방향을 설정하는 것이 가능하다.In addition, the electronic control unit 140, based on the lane determined to be relatively clear, if one lane of the left and right lanes of the vehicle in the image obtained through the camera 110 is determined to be relatively clear compared to the other lanes. By applying the lane width information, it is possible to set the beam irradiation direction of the laser beam module 120 located in the front part of both side mirrors.

도 2는 본 발명에 의한 차선인식 장치(100)의 다른 실시 예를 나타내는 도면이다. 도 2에 도시된 바와 같이, 차선인식 장치(100)는 AVM(Around View Monitoring)과 같은 주차보조 시스템을 이용하여 구현될 수 있다.2 is a view showing another embodiment of the lane detection apparatus 100 according to the present invention. As shown in FIG. 2, the lane recognition apparatus 100 may be implemented using a parking assistance system such as an around view monitoring (AVM).

즉, 주차보조 시스템을 활용하는 차선인식 장치(100)는 주차보조 시스템을 이루는 구성 중에서 1 이상의 카메라(110) 및 전자제어유닛(140)을 채용하고, 레이저빔 모듈(120) 및 엑추에이터(130)를 추가하여 구현 가능하다. 이후, 주차보조 시스템을 활용하는 차선인식 장치(100)에 대한 설명은 주차보조 시스템을 이루는 전자제어유닛(140)에 의해 차선인식 기능이 구현되는 것을 위주로 하기로 한다.That is, the lane recognition apparatus 100 utilizing the parking assistance system employs one or more cameras 110 and the electronic control unit 140 among the components constituting the parking assistance system, and the laser beam module 120 and the actuator 130. Can be implemented by adding After that, the description of the lane recognition device 100 using the parking assistance system will focus on the lane recognition function being implemented by the electronic control unit 140 constituting the parking assistance system.

또한, 주차보조 시스템을 활용하는 차선인식 장치(100)는 주차보조 시스템을 이루는 구성 중에서 1 이상의 카메라(110)만을 채용하고, 전자제어유닛(140), 레이저빔 모듈(120) 및 엑추에이터(130)를 추가하여 구현하는 것도 가능하다.In addition, the lane recognition apparatus 100 utilizing the parking assistance system employs only one or more cameras 110 among the components constituting the parking assistance system, the electronic control unit 140, the laser beam module 120, and the actuator 130. It is also possible to implement by adding

주차보조 시스템을 활용하는 구체적 방식에 대하여는 이하에서 설명하기로 한다.A detailed method of utilizing the parking assistance system will be described below.

도 3은 도 2에 도시된 차선인식 장치(100)의 동작 예를 일실시 예로 나타내는 도면이다. 도 3에 도시된 바와 같이, 주차보조 시스템을 활용하는 차선인식 장치(100)는 주차보조 시스템의 전방 카메라(110)를 이용하여 차선이 있는 영상을 획득한 후 획득된 영상을 기초로 하여 차선을 1차 인식하고 1차 인식된 결과로부터 차선의 폭 정보를 생성할 수 있다.3 is a diagram illustrating an example of an operation of the lane recognizing apparatus 100 illustrated in FIG. 2. As shown in FIG. 3, the lane recognition apparatus 100 using the parking assistance system acquires an image having a lane using the front camera 110 of the parking assistance system and then generates a lane based on the acquired image. The primary recognition and lane width information may be generated from the primary recognized result.

전자제어유닛(140)은 1차 인식된 결과로부터 획득된 차선의 폭 정보를 양 사이드 밀러의 전방 부분에 위치한 레이저빔 모듈(120)의 빔 조사 위치를 설정하는데에 활용한다.The electronic control unit 140 utilizes the width information of the lane obtained from the first recognized result to set the beam irradiation position of the laser beam module 120 located in the front portions of both side mirrors.

또한, 전자제어유닛(140)은 레이저 빔을 조사한 이후 전방 카메라(110)로부터 재획득된 영상에 대해 영상 인식을 수행하여 레이저 빔이 위치한 부분을 차선으로 최종 인식할 수 있다.In addition, the electronic control unit 140 may perform image recognition on the image reacquired from the front camera 110 after irradiating the laser beam to finally recognize the portion where the laser beam is located as a lane.

즉, 전자제어유닛(140)은 레이저 빔이 조사된 이후 차선 위에 레이저 빔이 조사되는 기능과 레이저 빔을 차선 인식을 위한 기준점으로 하여 이후 차선 이탈 여부를 판정할 수 있는 기초 자료를 생성하는 기능을 함께 수행할 수 있다.That is, the electronic control unit 140 has a function of irradiating the laser beam on the lane after the laser beam is irradiated and a function of generating the basic data for determining whether the lane is separated after using the laser beam as a reference point for lane recognition. Can be done together.

차선 위에 레이저 빔이 조사되는 기능은 전방 카메라(110)를 통해 획득된 영상을 분석하여 차선으로 판정된 영역에 레이저 빔을 조사하는 것과, 레이저 빔을 차선 위에 조사한 이후 지속적으로 차선 위에 레이저 빔을 조사하는 것으로 구분할 수 있다.The function of irradiating the laser beam on the lane is to irradiate the laser beam to the area determined as the lane by analyzing the image acquired by the front camera 110, and to continuously irradiate the laser beam onto the lane after irradiating the laser beam on the lane. It can be divided into.

전자의 경우, 전방 카메라(110)를 통해 획득된 영상으로부터 차선으로 인식 가능한 형상 및 색상 중 적어도 하나를 판별하기 위한 알고리즘을 실행함으로써 차선으로 판정 가능한 영역을 특정할 수 있으며, 전방 카메라(110)의 지향점과 영상 내의 특정된 영역 위치를 기초로 하여 레이저빔 모듈(120)의 빔 조사 방향을 설정한 후 이를 통해 레이저 빔을 차선 위에 조사하는 것이 가능하다.In the former case, an area that can be determined as a lane can be specified by executing an algorithm for determining at least one of a shape and a color recognizable as a lane from an image acquired through the front camera 110. It is possible to set the beam irradiation direction of the laser beam module 120 based on the pointing point and the specified region position in the image and then irradiate the laser beam onto the lane through the beam irradiation direction.

또한, 전자제어유닛(140)은 레이저 빔을 조사한 이후 카메라(110)로부터 재획득된 영상에 대해 영상 인식을 수행하여 레이저 빔이 위치한 부분과, 차선의 형상 및 색깔 중 적어도 하나가 위치한 부분이 매칭하는 정도를 판정하는 것이 가능하다.In addition, the electronic control unit 140 performs image recognition on the image reacquired from the camera 110 after irradiating the laser beam to match a portion where the laser beam is located with a portion where at least one of the shape and color of the lane is located. It is possible to determine the degree to which.

즉, 전자제어유닛(140)은 레이저 빔이 위치한 부분과 차선의 형상 및 색깔 중 적어도 하나가 위치한 부분이 매칭하는 정도가 미리 정해진 기준 레벨을 충족하면 차선으로 판정된 영역에 레이저 빔이 제대로 조사되고 있는 것으로 판정할 수 있고, 레이저 빔이 위치한 부분과 차선의 형상 및 색깔 중 적어도 하나가 위치한 부분이 매칭하는 정도가 미리 정해진 기준 레벨을 충족하지 못하면 차선으로 판정된 영역에 레이저 빔이 제대로 조사되고 있지 아니한 것으로 판정할 수 있다.That is, the electronic control unit 140 properly irradiates the laser beam to the area determined as the lane when the degree of matching between the portion where the laser beam is located and the portion where the shape and color of the lane are located meets a predetermined reference level. If the degree of matching between the part where the laser beam is located and the part where the lane shape and color are located does not meet a predetermined reference level, the laser beam is not properly irradiated to the area determined as the lane. It can be determined that no.

후자의 경우, 전자제어유닛(140)은 전자와 같은 차선 인식을 수행한 결과를 통해 차선의 폭 정보를 획득할 수 있으며, 획득된 차선의 폭 정보에 맞게 레이저 빔을 조사한 이후 도로상에서 직선, 곡선 등으로 변화하는 차선에 맞게 레이저 빔을 조사할 수 있도록 레이저빔 모듈(120)의 빔 조사 방향을 자동 조절함으로써 차선인식을 위한 중심점을 지속 형성할 수 있다.In the latter case, the electronic control unit 140 can obtain the width information of the lane through the result of performing the lane recognition, such as the former, and a straight line, a curve on the road after irradiating the laser beam according to the obtained width information of the lane The center point for lane recognition may be continuously formed by automatically adjusting the beam irradiation direction of the laser beam module 120 so that the laser beam may be irradiated in accordance with the changing lane.

또한, 전자제어유닛(140)은 레이저 빔을 조사한 이후 카메라(110)로부터 재획득된 영상에 대해 영상 인식을 수행하여 레이저 빔이 위치한 부분을 차선으로 인식할 수 있는 최우선 영역으로 판단하고, 판단된 최우선 영역을 지향하여 레이저 빔을 지속적으로 조사하는 제어를 수행할 수 있다.In addition, the electronic control unit 140 performs image recognition on the image reacquired from the camera 110 after irradiating the laser beam, and determines that the portion where the laser beam is located is the highest priority region to recognize the lane. Control to continuously irradiate the laser beam can be performed directed toward the top region.

더 나아가, 전자제어유닛(140)은 레이저 빔을 조사한 이후 카메라(110)로부터 재획득된 영상들을 일정 기준으로 취합하고, 취합된 자료를 통해 레이저 빔의 직선 배열 또는 곡률 배열을 계산하는 것이 가능하다.Furthermore, the electronic control unit 140 may collect the images reacquired from the camera 110 on a predetermined basis after irradiating the laser beam, and calculate the linear arrangement or curvature arrangement of the laser beam based on the collected data. .

이와 같이, 전자제어유닛(140)은 계산된 배열 통계를 이용하여 이후 레이저 빔을 조사하기 위한 빔 조사 방향을 조절할 수 있다.As such, the electronic control unit 140 may adjust the beam irradiation direction for subsequently irradiating the laser beam by using the calculated arrangement statistics.

도 4는 도 2에 도시된 차선인식 장치(100)의 동작 예를 다른 실시 예로 나타내는 도면이다. 도 4에 도시된 바와 같이, 차량이 오른쪽 차선을 이탈한 경우에 대한 차선인식 장치(100)의 동작에 대한 것이다.4 is a diagram illustrating another example of an operation of the lane recognizing apparatus 100 illustrated in FIG. 2. As shown in FIG. 4, the operation of the lane recognizing apparatus 100 in the case where the vehicle leaves the right lane is described.

즉, 차선인식 장치(100)는 레이저 빔을 기준점으로 설정한 이후 차량이 오른쪽 차선을 이탈할 경우 차선이 차량 안쪽에 위치하게 됨에 따라 오른쪽 사이드 밀러의 전방 부분에 위치한 레이저빔 모듈(120)을 통해 레이저 빔을 조사하기 위한 조사 예정 위치가 확보되지 않으므로, 오른쪽 사이드 밀러의 전방 부분에 위치한 레이저빔 모듈(120)을 통한 레이저 빔이 조사되지 아니하거나, 조사된다고 하더라도 차량 자체에 가려 카메라(110)를 통해 확인되는 영상에서는 오른쪽 사이트 밀러의 전방 부분에 위치한 레이저빔 모듈(120)에 대응되는 레이저 빔이 확인되지 않게 된다.That is, the lane recognizing apparatus 100 sets the laser beam as a reference point, and when the vehicle leaves the right lane, the lane is located inside the vehicle, and thus, through the laser beam module 120 located in the front part of the right side miller. Since the position to be irradiated for irradiating the laser beam is not secured, the laser beam through the laser beam module 120 located in the front portion of the right side mirror is not irradiated, or even if irradiated, the camera 110 is covered by the vehicle itself. In the image confirmed through the laser beam corresponding to the laser beam module 120 located in the front portion of the right site miller is not confirmed.

이 경우 전자제어유닛(140)은 오른쪽 사이드 밀러의 전방 부분에 위치한 레이저빔 모듈(120)을 통한 레이저 빔에 대한 정보를 획득하지 못하게 됨에 따라, 이에 대응되는 턴 시그널이 확보하지 못하게 되어 오른쪽 방향으로 차선 이탈된 것으로 판정할 수 있는 기초 자료를 생성할 수 있게 된다.In this case, the electronic control unit 140 cannot obtain information on the laser beam through the laser beam module 120 located in the front part of the right side miller, so that the corresponding turn signal cannot be secured, and thus the right direction mirror is turned to the right. It is possible to generate basic data that can be determined to be out of lane.

도 5는 도 2에 도시된 차선인식 장치(100)의 동작 예를 또 다른 실시 예로 나타내는 도면이다. 도 5에 도시된 바와 같이, 주차보조 시스템을 활용하는 차선인식 장치(100)는 주차보조 시스템의 전방 카메라(110) 및 전자제어유닛(140)과, 양 사이드 밀러의 레이저빔 모듈(120)을 통해 판정된 차선인식 결과를 재차 검증하는 기능을 더 포함할 수 있다.FIG. 5 is a diagram illustrating another example of an operation of the lane recognizing apparatus 100 shown in FIG. 2. As shown in FIG. 5, the lane recognition apparatus 100 using the parking assist system includes a front camera 110 and an electronic control unit 140 of the parking assist system and the laser beam modules 120 of both side mirrors. The method may further include a function of re-validating the lane recognition result determined through the check.

즉, 주차보조 시스템을 활용하는 차선인식 장치(100)는 주차보조 시스템의 후방 카메라(110) 및 전자제어유닛(140)과 차량 후방의 양 사이드 측에 구비된 레이저빔 모듈(120)을 통해 이미 판정된 차선인식 결과를 재차 검증할 수 있다.That is, the lane recognition apparatus 100 utilizing the parking assistance system is already provided through the rear camera 110 and the electronic control unit 140 of the parking assistance system and the laser beam modules 120 provided at both side sides of the vehicle. The determined lane recognition result can be verified again.

주차보조 시스템을 활용하는 차선인식 장치(100)는 주차보조 시스템의 후방 카메라(110)를 이용하여 차선이 있는 영상을 획득한 후 획득된 영상을 기초로 하여 차선을 1차 인식하고 1차 인식된 결과로부터 차선의 폭 정보를 생성할 수 있다.The lane recognition apparatus 100 using the parking assistance system acquires an image having a lane by using the rear camera 110 of the parking assistance system, and then first recognizes the lane based on the acquired image and then recognizes the primary. Lane width information can be generated from the result.

전자제어유닛(140)은 1차 인식된 결과로부터 획득된 차선의 폭 정보를 후방 양 사이드 측에 위치한 레이저빔 모듈(120)의 빔 조사 위치를 설정하는데에 활용한다.The electronic control unit 140 uses the width information of the lane obtained from the primary recognized result to set the beam irradiation position of the laser beam module 120 located on both rear sides.

또한, 전자제어유닛(140)은 레이저 빔을 조사한 이후 후방 카메라(110)로부터 재획득된 영상에 대해 영상 인식을 수행하여 레이저 빔이 위치한 부분을 차선으로 최종 인식할 수 있다.In addition, the electronic control unit 140 may perform image recognition on the image reacquired from the rear camera 110 after irradiating the laser beam to finally recognize the portion where the laser beam is located as a lane.

즉, 전자제어유닛(140)은 주차보조 시스템의 후방 카메라(110) 및 전자제어유닛(140)과 차량 후방의 양 사이드 측에 구비된 레이저빔 모듈(120)을 통해 독립적으로 재판정한 차선인식 결과를 이미 차량 전방에 구비된 구성을 통해 판정한 차선인식 결과와 비교함으로써, 차선인식 오류를 최소화할 수 있다.That is, the electronic control unit 140 independently lane determination result determined by the rear camera 110 and the electronic control unit 140 of the parking assistance system and the laser beam module 120 provided on both side sides of the rear of the vehicle. By comparing with the lane recognition result determined through the configuration already provided in front of the vehicle, it is possible to minimize the lane recognition error.

도 6은 도 2에 도시된 차선인식 장치(100)의 동작 예를 또 다른 실시 예로 나타내는 도면이다. 도 6에 도시된 바와 같이, 차선인식 장치(100)의 전자제어유닛(140)에서 주차보조 시스템의 양 사이드 밀러에 위치한 좌/우 카메라(110)를 통해 각 차선을 포함하는 영상을 반복 획득한 후, 각 차선에 대해 반복적으로 획득된 영상에 대한 인식을 통해 영상 내의 차선에 의해 형성되는 패턴을 학습한다.FIG. 6 is a diagram illustrating another example of the operation of the lane recognizing apparatus 100 shown in FIG. 2. As shown in FIG. 6, the electronic control unit 140 of the lane recognizing apparatus 100 repeatedly acquires an image including each lane through the left and right cameras 110 located at both side mirrors of the parking assistance system. Then, the pattern formed by the lanes in the image is learned by recognizing the image repeatedly acquired for each lane.

전자제어유닛(140)은 패턴 학습을 통해 판정된 각 차선 영역에 레이저 빔을 각각 조사한 후 차선 위에 레이저 빔이 조사된 영상을 획득하고, 재획득된 영상에 기초하여 레이저 빔의 위치 영역과 차선 영역에 대한 패턴 학습을 지속 수행한다.The electronic control unit 140 irradiates a laser beam to each lane area determined through pattern learning, obtains an image in which the laser beam is irradiated onto the lane, and then positions and lane areas of the laser beam based on the reacquired image. Continue learning patterns about.

지속 된 패턴 학습을 통해 각 차선 영역을 독립적으로 반복 판정한 후 판정된 결과에 따른 레이저 빔의 조사를 지속한다.Through continuous pattern learning, each lane area is independently repeatedly determined, and the irradiation of the laser beam according to the determined result is continued.

전자제어유닛(140)은 왼쪽 차선에 대한 차량의 상대적 위치와 오른쪽 차선에 대한 차량의 상대적 위치를 판정하는 것이 가능하며, 이를 통해 양 차선을 경계로 하는 차량의 정확한 위치를 파악하는 것이 가능할 뿐 아니라 양 차선의 폭에 대한 정보도 획득할 수 있다.The electronic control unit 140 may determine the relative position of the vehicle with respect to the left lane and the relative position of the vehicle with respect to the right lane, and through this, it is possible to determine the exact position of the vehicle bordering both lanes. Information on the width of both lanes can also be obtained.

또한, 차량이 왼쪽 차선을 이탈할 경우, 차선이 차량 안쪽에 위치하게 됨에 따라 왼쪽 사이드 밀러의 전방 부분에 위치한 레이저빔 모듈(120)을 통해 레이저 빔을 조사하기 위한 조사 예정 위치가 확보되지 않으므로, 왼쪽 사이드 밀러의 전방 부분에 위치한 레이저빔 모듈(120)을 통한 레이저 빔이 조사되지 아니하거나, 조사된다고 하더라도 차량 자체에 가려 카메라(110)를 통해 확인되는 영상에서는 왼쪽 사이드 밀러의 전방 부분에 위치한 레이터포인터 모듈(120)에 대응되는 레이저 빔이 확인되지 않게 된다.In addition, when the vehicle leaves the left lane, since the lane is located inside the vehicle, the position to be irradiated for irradiating the laser beam through the laser beam module 120 located in the front portion of the left side miller is not secured. If the laser beam through the laser beam module 120 located in the front part of the left side miller is not irradiated or is irradiated, the image is detected by the camera 110 by covering the vehicle itself, and the radar is located in the front part of the left side miller. The laser beam corresponding to the pointer module 120 is not checked.

즉, 위 경우에 전자제어유닛(140)은 왼쪽 사이드 밀러의 전방 부분에 위치한 레이저빔 모듈(120)을 통한 레이저 빔에 대한 정보를 획득하지 못하게 됨에 따라, 이에 대응되는 턴 시그널이 확보하지 못하게 되어 왼쪽 방향으로 차선 이탈된 것으로 판정할 수 있는 기초 자료를 생성할 수 있게 된다.That is, in the above case, since the electronic control unit 140 cannot obtain information on the laser beam through the laser beam module 120 located in the front part of the left side miller, the corresponding turn signal cannot be secured. It is possible to generate basic data that can be judged to be out of lane in the left direction.

반면에, 상기의 경우 오른쪽 사이드 밀러에 위치한 카메라(110) 및 레이저빔 모듈(120)을 통한 레이저 빔에 대한 정보는 지속적으로 확보되는 상태이며, 이를 통해 오른쪽 차선과 차량 간의 상대적 위치도 확인 가능하다.On the other hand, in the above case, the information about the laser beam through the camera 110 and the laser beam module 120 located on the right side mirror is continuously secured, and thus the relative position between the right lane and the vehicle can be confirmed. .

따라서, 전자제어유닛(140)은 상기의 경우 왼쪽 사이드 밀러에 위치한 카메라(110) 및 레이저빔 모듈(120)을 통해 왼쪽으로 차선 이탈된 것으로 판정할 수 있는 기초 자료를 생성하고, 오른쪽 사이드 밀러에 위치한 카메라(110) 및 레이저빔 모듈(120)을 통해 확보된 오른쪽 차선과 차량 간의 상대적 위치에 대한 정보와 미리 판정하고 있던 양 차선간 폭 정보를 이용하여 상기 경우의 왼쪽 차선이탈로 판정할 수 있는 기초 자료의 정확성 여부를 재판단할 수 있다.Therefore, the electronic control unit 140 generates the basic data that can be determined to be lane-deviated to the left through the camera 110 and the laser beam module 120 located in the left side mirror in the above case, and to the right side mirror. By using the information on the relative position between the right lane and the vehicle secured by the camera 110 and the laser beam module 120 located and the width information between the lanes that were previously determined, it is possible to determine the left lane deviation in this case. You can judge the accuracy of the basic data.

도 7은 본 발명에 의한 차선이탈 안내 장치(1000)의 일실시 예를 나타내는 도면이다. 도 7에 도시된 바와 같이, 차선이탈 안내 장치(1000)는 상기 언급된 차선인식 장치(100) 및 경보 수단(150)을 포함할 수 있다.7 is a diagram illustrating an embodiment of the lane departure guide apparatus 1000 according to the present invention. As illustrated in FIG. 7, the lane departure guide apparatus 1000 may include the above-described lane recognizing apparatus 100 and the warning means 150.

즉, 차선인식 장치(100)의 전자제어유닛(140)은 차선 인식 결과를 기초로 차량의 차선 이탈 여부를 판정하고 판정 결과에 따라 차선 이탈에 대한 경고 안내 제어를 실행한다.That is, the electronic control unit 140 of the lane recognizing apparatus 100 determines whether the vehicle departs from the lane based on the lane recognition result, and executes warning guide control for lane departure according to the determination result.

경보 수단(150)은 전자제어유닛(140)의 경고 안내 제어에 따라 관련된 경고 메시지를 시각, 청각 및 촉각 중 적어도 하나의 방식으로 출력하는 것이 가능하다.The alarm means 150 may output an associated warning message in at least one of visual, auditory, and tactile senses according to the warning guide control of the electronic control unit 140.

또한, 도 8은 본 발명에 의한 차선이탈 안내 장치(1000)의 다른 실시 예를 나타내는 것으로서, 이 경우의 차선이탈 안내 장치(1000)는 AVM(Around View Monitoring)과 같은 주차보조 시스템을 이용하는 차선인식 장치(100) 및 경보 수단(150)을 포함하여 구현 가능하다.In addition, FIG. 8 illustrates another embodiment of the lane departure guide apparatus 1000 according to the present invention. In this case, the lane departure guide apparatus 1000 may recognize a lane using a parking assistance system such as an AVM (Around View Monitoring). It can be implemented including the device 100 and the alarm means 150.

도 9는 도 8에 도시된 차선이탈 안내 장치(1000)의 동작 과정을 일실시 예로 나타내는 도면이다. 도 9에 도시된 바와 같이, 차선이탈 안내 장치(1000)는 카메라(110) 촬영을 통해 차선이 있는 영상을 획득한 후 획득된 영상에 기초하여 차선을 1차 인식하고, 1차 인식된 결과로부터 차선의 폭 정보를 생성한다(S100 및 S102).FIG. 9 is a diagram illustrating an operation process of the lane departure guide apparatus 1000 illustrated in FIG. 8. As illustrated in FIG. 9, the lane departure guide apparatus 1000 first recognizes a lane based on an image obtained after acquiring an image having a lane through the camera 110 and from the first recognized result. Lane width information is generated (S100 and S102).

이후, S102 단계에서 생성된 차선의 폭 정보를 통해 레이저빔 모듈(120)의 빔 조사 방향을 차선에 맞게 조절한다(S104).Thereafter, the beam irradiation direction of the laser beam module 120 is adjusted according to the lane through the width information of the lane generated in step S102 (S104).

차량 속도가 미리 정해진 기준 속도(예: 시속 60Km) 이상인 것을 포함하는 차선이탈 안내조건을 충족하면, 전자제어유닛(140)은 레이저빔 모듈(120)의 동작을 통해 차선에 레이저 빔이 조사된 후 카메라(110)를 통해 획득되는 영상으로부터 레이저 빔이 조사된 차선을 2차 인식하고, 2차 인식 결과로부터 레이저 빔이 위치한 부분을 차선으로 인식하는 것이 가능하다.If the vehicle speed satisfies a lane departure guide condition including a predetermined reference speed (eg, 60 km / h) or more, the electronic control unit 140 emits a laser beam to the lane through the operation of the laser beam module 120. The lane irradiated with the laser beam from the image obtained through the camera 110 may be secondly recognized, and the portion where the laser beam is located may be recognized as the lane from the secondary recognition result.

즉, 전자제어유닛(140)은 조사된 레이저 빔을 차선 인식을 위한 기준점으로 설정할 수 있으며, 레이저 빔을 차선 인식의 기준점으로 설정하기 위해서는 지속적으로 차선 위에 레이저 빔을 조사할 필요가 있다.That is, the electronic control unit 140 may set the irradiated laser beam as a reference point for lane recognition, and in order to set the laser beam as a reference point for lane recognition, it is necessary to continuously irradiate the laser beam on the lane.

또한, 전자제어유닛(140)은 양 차선 안쪽에 차량이 위치한 경우에는 차선 위에 레이저 빔을 조사하는 것이 용이하지만, 양 차선 중 어느 한쪽의 차선으로 차량이 이탈할 경우에는 이탈된 방향의 차선 위로 레이저 빔을 조사하는 것이 불가해진다.In addition, the electronic control unit 140 is easy to irradiate the laser beam on the lane when the vehicle is located inside both lanes, but when the vehicle is separated in either lane of the lane, the laser over the lane in the direction of departure Irradiation of the beam becomes impossible.

이때, 이탈된 방향의 차선 위로 레이저 빔이 조사되지 아니하면, 레이저 빔이 조사된 이후 지속적으로 차선 위에 레이저 빔이 조사된 영상을 획득하는 것이 중단되어 레이저 빔이 포함되지 아니한 영상만을 획득하게 된다.At this time, if the laser beam is not irradiated over the lane in the deviated direction, after the laser beam is irradiated, the image is continuously stopped from being irradiated with the laser beam, thereby obtaining only an image not including the laser beam.

이에, 전자제어유닛(140)은 이탈된 방향의 차선에 대응되는 레이저빔 모듈(120)을 통한 레이저 빔에 대한 정보를 획득하지 못하게 됨에 따라, 이에 대응되는 턴 시그널을 확보하지 못하게 되어 해당 방향으로 차선 이탈된 것으로 판정할 수 있다(S108 및 S110).Accordingly, the electronic control unit 140 cannot obtain information about the laser beam through the laser beam module 120 corresponding to the lane in the separated direction, so that the electronic control unit 140 cannot secure the corresponding turn signal in the corresponding direction. It may be determined that the lane deviates (S108 and S110).

S110 단계에서, 차선 이탈로 판정되면 차선 이탈을 운전자에게 경고하여 안전 운전을 지속할 수 있도록 한다(S112).In step S110, if it is determined that the lane departure is to warn the driver of lane departure to continue the safe driving (S112).

이후, 차량 주행이 종료되지 않으면 상기 언급된 과정을 반복 수행하게 되고, 차량 주행이 종료되면 상기 언급된 과정에 대한 수행을 종료한다(S114).Subsequently, if the driving of the vehicle is not finished, the above-described process is repeatedly performed, and if the driving of the vehicle is terminated, the execution of the aforementioned process is terminated (S114).

도 10은 도 8에 도시된 차선이탈 안내 장치(1000)의 동작 과정을 다른 실시 예로 나타내는 도면이다. 도 10에 도시된 바와 같이, 차선이탈 안내 장치(1000)는 차량 전방에 구비된 차선인식 장치(100)로부터 제공된 차선 인식 결과를 기초로 차선 이탈 여부를 1차 판정한다(S200).FIG. 10 is a diagram illustrating another example of an operation of the lane departure guide apparatus 1000 illustrated in FIG. 8. As illustrated in FIG. 10, the lane departure guide apparatus 1000 may first determine whether the lane is separated based on the lane recognition result provided from the lane recognition apparatus 100 provided in front of the vehicle (S200).

이후, S200 단계의 1차 판정 결과를 검증하기 위한 과정을 개시한다.Thereafter, a process for verifying the first determination result of step S200 is started.

즉, 차량 후방에 구비된 차선인식 장치(100)를 통해 차선 인식 결과를 재생성한다(S202).That is, the lane recognition result is regenerated through the lane recognizing apparatus 100 provided at the rear of the vehicle (S202).

S202 단계에서 재생성된 차선 인식 결과로부터 차선의 폭 정보를 생성한다(S204).Lane width information is generated from the lane recognition result regenerated in step S202 (S204).

이후, S204 단계에서 생성된 차선의 폭 정보를 통해 레이저빔 모듈(120)의 빔 조사 방향을 차선에 맞게 조절한다(S206).Thereafter, the beam irradiation direction of the laser beam module 120 is adjusted according to the lane through the width information of the lane generated in step S204 (S206).

또한, 레이저빔 모듈(120)의 동작을 통해 차선에 레이저 빔이 조사된 후 카메라(110)를 통해 획득되는 영상으로부터 레이저 빔이 조사된 후방 차선을 2차 인식하고, 2차 인식 결과로부터 레이저 빔이 위치한 부분을 차선으로 인식하는 것이 가능하다.In addition, after the laser beam is irradiated to the lane through the operation of the laser beam module 120, the rear lane irradiated with the laser beam is secondarily recognized from the image obtained through the camera 110, and the laser beam is generated from the secondary recognition result. It is possible to recognize the part where it is located as a lane.

즉, 전자제어유닛(140)은 후방 차선 위로 조사된 레이저 빔을 차선 인식 검증을 위한 기준점으로 설정할 수 있으며, 레이저 빔을 차선 인식 검증의 기준점으로 설정하기 위해서는 지속적으로 후방 차선 위에 레이저 빔을 조사할 필요가 있다.That is, the electronic control unit 140 may set the laser beam irradiated over the rear lane as a reference point for the lane recognition verification, and continuously set the laser beam on the rear lane to set the laser beam as the reference point for the lane recognition verification. There is a need.

또한, 전자제어유닛(140)은 양 차선 안쪽에 차량이 위치한 경우에는 차선 위에 레이저 빔을 조사하는 것이 용이함에 따라, 양 차선의 각 레이저 빔에 대한 정보와 대응되는 턴 시그널을 지속적으로 제공받을 수 있다.In addition, when the vehicle is located inside both lanes, the electronic control unit 140 may easily receive a turn signal corresponding to information on each laser beam of both lanes as it is easy to irradiate a laser beam on the lanes. have.

하지만, 양 차선 중 어느 한쪽으로 차선이 이탈하는 경우 이탈된 방향의 차선 위로 레이저 빔을 조사하는 것이 불가해짐에 따라, 이탈된 방향의 차선에 대응되는 레이저빔 모듈(120)을 통한 레이저 빔에 대한 정보를 획득하지 못하게 된다.However, when the lane deviates from one of the two lanes, it becomes impossible to irradiate the laser beam over the lane in the deviated direction, so that the laser beam through the laser beam module 120 corresponding to the lane in the deviated direction Information will not be obtained.

즉, 이탈된 방향의 레이저 빔에 대한 정보와 대응되는 턴 시그널을 확보하지 못하게 되고, 턴 시그널이 확보되지 아니한 방향에 대해 차선 이탈한 것으로 제2 판정하는 것이 가능하다(S208).That is, it is not possible to secure the turn signal corresponding to the information on the laser beam in the separated direction, and it is possible to second determine that the lane is deviated from the direction in which the turn signal is not secured (S208).

따라서, S200 단계의 제1 판정과 S208 단계의 제2 판정이 상호 일치하면 차량 전방의 차선인식 장치(100)에 의해 수행된 차선 인식 결과를 타당한 것으로 검증할 수 있고, S200 단계의 제1 판정과 S208 단계의 제2 판정이 상호 일치하지 않는 경우에는 차량 전방의 차선인식 장치(100) 및 차량 후방의 차선인식 장치(100) 중 적어도 하나에 의해 차선 인식 오류가 발생한 것으로 판정할 수 있다(S210).Therefore, when the first determination of step S200 and the second determination of step S208 coincide with each other, the lane recognition result performed by the lane recognition apparatus 100 in front of the vehicle can be verified as valid, and the first determination of step S200 If the second determination in step S208 does not coincide with each other, it may be determined that a lane recognition error has occurred by at least one of the lane recognition apparatus 100 in front of the vehicle and the lane recognition apparatus 100 in the rear of the vehicle (S210). .

여기서, S200 단계의 제1 판정과 S208 단계의 제2 판정이 상호 일치하지 않는 경우는 전반적으로 차선 인식 수행을 재차 수행하거나, 곧바로 차선 인식 고장을 운전자에게 안내할 수 있다.Here, when the first determination in step S200 and the second determination in step S208 do not coincide with each other, the lane recognition may be performed again in general, or the driver may be notified of the lane recognition failure immediately.

S210 단계에서 차선 이탈로 판정되면 차선 이탈을 운전자에게 경고하여 안전 운전을 지속할 수 있도록 한다(S212 및 S214).If it is determined that the lane departure in step S210 to warn the driver of lane departure to continue the safe driving (S212 and S214).

이후, 차량 주행이 종료되지 않으면 상기 언급된 과정을 반복 수행하게 되고, 차량 주행이 종료되면 상기 언급된 과정에 대한 수행을 종료한다(S216).Thereafter, if the driving of the vehicle is not finished, the above-described process is repeatedly performed, and if the driving of the vehicle is terminated, the execution of the aforementioned process is terminated (S216).

그리고, 도 11은 도 8에 도시된 차선이탈 안내 장치(1000)의 동작 과정을 또 다른 실시 예로 나타내는 도면이다. 도 11에 도시된 바와 같이, 차선이탈 안내 장치(1000)는 주차보조 시스템의 양 사이드 밀러에 위치한 좌/우 카메라(110)를 통해 각 차선을 포함하는 영상을 반복 획득한다(S300).FIG. 11 is a diagram illustrating an operation process of the lane departure guide apparatus 1000 illustrated in FIG. 8 as another embodiment. As illustrated in FIG. 11, the lane departure guide apparatus 1000 repeatedly acquires an image including each lane through the left and right cameras 110 located at both side mirrors of the parking assistance system (S300).

이후, 전자제어유닛(140)은 각 차선에 대해 반복적으로 획득된 영상에 대한 인식을 통해 영상 내의 차선에 의해 형성되는 패턴을 학습하고, 패턴 학습을 통해 판정된 각 차선 영역에 레이저 빔을 각각 조사한 후 차선 위에 레이저 빔이 조사된 영상을 획득하고, 재획득된 영상에 기초하여 레이저 빔의 위치 영역과 차선 영역에 대한 패턴 학습을 지속 수행한다(S302).Thereafter, the electronic control unit 140 learns a pattern formed by the lanes in the image by recognizing the image repeatedly obtained for each lane, and irradiates a laser beam to each lane area determined through the pattern learning. Afterwards, an image irradiated with the laser beam on the lane is obtained, and pattern learning for the location area and the lane area of the laser beam is continuously performed based on the reacquired image (S302).

지속 된 패턴 학습을 통해 각 차선 영역을 독립적으로 반복 판정한 후 판정된 결과에 따른 레이저 빔의 조사를 지속한다.Through continuous pattern learning, each lane area is independently repeatedly determined, and the irradiation of the laser beam according to the determined result is continued.

이후, S102 단계에서 생성된 차선의 폭 정보를 통해 레이저빔 모듈(120)의 빔 조사 방향을 차선에 맞게 조절한다(S304).Thereafter, the beam irradiation direction of the laser beam module 120 is adjusted to the lane through the width information of the lane generated in step S102 (S304).

또한, 차량 속도가 미리 정해진 기준 속도(예: 시속 60Km) 이상인 것을 포함하는 차선이탈 안내조건을 충족하면, 전자제어유닛(140)은 레이저빔 모듈(120)의 동작을 통해 각 차선에 레이저 빔이 조사된 후 좌/우 카메라(110)를 통해 획득되는 영상으로부터 레이저 빔이 조사된 차선을 2차 인식하고, 2차 인식 결과로부터 레이저 빔이 위치한 부분을 각 차선으로 인식하는 것이 가능하다.In addition, when the vehicle speed satisfies a lane departure guide condition including a predetermined reference speed (eg, 60 km / h) or more, the electronic control unit 140 operates the laser beam module 120 to operate the laser beam in each lane. It is possible to secondly recognize the lane irradiated with the laser beam from the image acquired through the left / right camera 110 after being irradiated, and to recognize the portion where the laser beam is located as the respective lane from the secondary recognition result.

전자제어유닛(140)은 왼쪽 사이드 밀러에 위치한 카메라(110) 및 레이저빔 모듈(120)을 통해 왼쪽으로 차선 이탈된 것으로 판정할 수 있는 기초 자료를 생성하고, 오른쪽 사이드 밀러에 위치한 카메라(110) 및 레이저빔 모듈(120)을 통해 확보된 오른쪽 차선과 차량 간의 상대적 위치에 대한 정보와 미리 판정하고 있던 양 차선간 폭 정보를 이용하여 상기 경우의 왼쪽 차선이탈로 판정할 수 있는 기초 자료의 정확성 여부를 재판단할 수 있다.The electronic control unit 140 generates basic data that can be determined to be lane-deviated to the left through the camera 110 and the laser beam module 120 located in the left side mirror, and the camera 110 located in the right side mirror. And the accuracy of the basic data that can be determined as deviation of the left lane using the information on the relative position between the right lane and the vehicle secured by the laser beam module 120 and the previously determined width information between the two lanes. You can judge.

이후, 전자제어유닛(140)은 각 차선에 대한 차선 인식 결과를 취합하여 차량의 차선 이탈 여부를 최종 판단하는 것이 가능하다(S308 및 S310).Thereafter, the electronic control unit 140 may collect the lane recognition results for each lane and finally determine whether the vehicle leaves the lane (S308 and S310).

이후, 전자제어유닛(140)은 S310 단계의 최종 판단 결과에서 차량의 차선 이탈로 판정하면(S312), 차선 이탈을 운전자에게 경고하여 안전 운전을 지속할 수 있도록 한다(S314).Thereafter, when the electronic control unit 140 determines that the vehicle is leaving the lane in the final determination result of step S310 (S312), the driver is warned of the lane departure to continue the safe driving (S314).

이후, 차량 주행이 종료되지 않으면 상기 언급된 과정을 반복 수행하게 되고, 차량 주행이 종료되면 상기 언급된 과정에 대한 수행을 종료한다(S316).Thereafter, if the driving of the vehicle is not terminated, the above-described process is repeatedly performed, and if the driving of the vehicle is terminated, the execution of the aforementioned process is terminated (S316).

이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be understood. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

또한, 본 발명은 도로의 차선에 대한 인식률을 높여 차량의 차선이탈 여부를 정확하게 안내하기 위한 것임에 따라, 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.In addition, the present invention is to increase the recognition rate of the lane of the road to accurately guide whether the vehicle is out of the lane, there is not only a possibility of marketing or business, but also a degree that can be clearly implemented in reality, there is an industrial applicability Invention.

100: 차선인식 장치 110: 카메라
120: 레이저빔 모듈 130: 엑추에이터
140: 전자제어유닛 150: 경보 수단
1000: 차선이탈 안내 장치 100: lane detection device 110: camera
120: laser beam module 130: actuator
140: electronic control unit 150: alarm means
1000: lane departure guidance device

Claims (19)

카메라;
상기 카메라를 통해 획득된 영상으로부터 차선 영역을 인식한 후 인식된 차선 영역 결과로부터 차선의 폭 정보를 생성하는 전자제어유닛;
상기 차선의 폭 정보를 통해 차선 상에 레이저 빔을 조사하는 레이저빔 모듈; 및
상기 레이저빔 모듈의 빔 조사 방향을 조절하기 위한 엑추에이터를 포함하고,
상기 전자제어유닛은,
상기 레이저 빔이 조사된 차선에 대해 재획득된 영상에 기초하여 차선 인식 결과를 생성하고, 상기 차선 영역 결과 및 상기 차선 인식 결과 중 적어도 하나를 이용하여 차선을 기준으로 한 차량의 위치를 나타내는 틸트 변화 값을 생성하며, 상기 틸트 변화 값을 통해 상기 엑추에이터의 구동을 제어하는 차선인식 장치.camera;
An electronic control unit for recognizing a lane area from the image acquired by the camera and generating width information of the lane from the recognized lane area result;
A laser beam module for irradiating a laser beam onto a lane through the width information of the lane; And
An actuator for adjusting the beam irradiation direction of the laser beam module,
Wherein the electronic control unit comprises:
A tilt change indicating a position of the vehicle based on the lane by generating a lane recognition result based on the re-acquired image of the lane to which the laser beam is irradiated, and using at least one of the lane area result and the lane recognition result And generating a value and controlling the driving of the actuator through the tilt change value. 제1 항에 있어서,
상기 전자제어유닛은 상기 차선의 폭 정보를 통해 상기 레이저빔 모듈의 빔 조사 위치를 설정하는 차선인식 장치.The method according to claim 1,
And the electronic control unit sets the beam irradiation position of the laser beam module based on the width information of the lane. 삭제delete 삭제delete 제1 항에 있어서,
상기 틸트 변화 값은 기 정해진 엑추에이터 구동 조건을 충족하는 값인 차선인식 장치.The method according to claim 1,
And the tilt change value is a value that satisfies a predetermined actuator driving condition. 제1 항에 있어서,
상기 전자제어유닛은 상기 레이저 빔이 위치한 부분을 차선으로 인식하는 차선인식 장치.The method according to claim 1,
And the electronic control unit recognizes the portion where the laser beam is located as a lane. 제1 항에 있어서,
상기 레이저빔 모듈은 차량의 양 사이드에 대응하여 각각 구비되는 차선인식 장치.The method according to claim 1,
The laser beam module is a lane recognition device respectively provided corresponding to both sides of the vehicle. 제7 항에 있어서,
상기 전자제어유닛은 상기 차량의 양 사이드 중 어느 하나 이상에 대한 레이저빔 모듈의 레이저 빔과 대응되는 턴 시그널의 발생 유무에 따라 차선 이탈의 판정이 가능 한 상기 차선 인식 결과를 생성하는 차선인식 장치.The method of claim 7, wherein
And the electronic control unit generates the lane recognition result capable of determining lane departure according to whether or not a turn signal corresponding to the laser beam of the laser beam module is generated for at least one of both sides of the vehicle. 제1 항에 있어서,
상기 전자제어유닛은 차선에 조사되는 레이저 빔이 차량 주행으로 인해 선으로 확인되는 영상을 통해 상기 차선 영역을 역 판정하는 차선인식 장치.The method according to claim 1,
And the electronic control unit reversely determines the lane area based on an image in which the laser beam radiated to the lane is identified as a line due to the vehicle driving. 제9 항에 있어서,
상기 차선 영역의 역 판정은 기 정해진 시간 간격으로 일시 수행되는 차선인식 장치.10. The method of claim 9,
The reverse determination of the lane area is performed temporarily at a predetermined time interval. 제1 항에 있어서,
상기 전자제어유닛은 상기 차선의 폭 정보를 생성한 이후 상기 차선 영역 결과로부터 상대적으로 명확하게 판정된 차선을 기준으로 한 상기 차선의 폭 정보의 적용을 통해 상기 레이저빔 모듈의 빔 조사 방향을 설정하는 차선인식 장치.The method according to claim 1,
The electronic control unit sets the beam irradiation direction of the laser beam module by applying the width information of the lane on the basis of the lane determined relatively clearly from the lane area result after generating the width information of the lane. Lane Recognition Device. 제1 항에 있어서,
상기 카메라는 주차보조 시스템으로부터 공유되는 차선인식 장치.The method according to claim 1,
The camera is lane detection device shared from the parking assistance system. 제12 항에 있어서,
상기 전자제어유닛은 상기 주차보조 시스템으로부터 공유되는 차선인식 장치.13. The method of claim 12,
The electronic control unit is lane detection device shared from the parking assistance system. 제1 항에 있어서,
상기 전자제어유닛은 상기 레이저 빔이 위치한 부분과 차선의 형상 및 색깔 중 적어도 하나가 위치한 부분이 상호 매칭하는 정도를 판정한 결과를 통해 상기 레이저 빔의 조사 오류 여부를 판정하는 차선인식 장치.The method according to claim 1,
And the electronic control unit determines whether or not an error of irradiation of the laser beam is determined based on a degree of matching between the portion in which the laser beam is located and the portion in which at least one of the shape and color of the lane are located. 제1 항에 있어서,
상기 전자제어유닛은 상기 레이저 빔을 조사한 이후 상기 카메라로부터 획득된 영상들을 취합하고 취합된 자료를 통해 상기 레이저 빔의 직선 배열 또는 곡률 배열을 계산하는 차선인식 장치.The method according to claim 1,
And the electronic control unit collects images obtained from the camera after irradiating the laser beam and calculates a linear arrangement or a curvature arrangement of the laser beam through the collected data. 제15 항에 있어서,
상기 전자제어유닛은 상기 직선 배열 또는 곡률 배열에 대한 통계를 이용하여 상기 레이저 빔을 조사하기 위한 빔 조사 방향을 조절하는 차선인식 장치.16. The method of claim 15,
And the electronic control unit adjusts a beam irradiation direction for irradiating the laser beam using statistics on the linear arrangement or curvature arrangement. 제1 항에 있어서,
상기 차선인식 장치는,
차량 후방 측을 지향하는 후방 카메라; 및
상기 차량 후방 측의 양 사이드에 각각 구비되는 후방 레이저빔 모듈;을 더 포함하여 상기 차선 인식 결과를 검증하기 위한 차선인식 장치.The method according to claim 1,
The lane recognition device,
A rear camera facing the vehicle rear side; And
And a rear laser beam module respectively provided at both sides of the rear side of the vehicle. 제17 항에 있어서,
상기 후방 카메라는 주차보조 시스템으로부터 공유되는 차선인식 장치.The method of claim 17,
The rear camera is a lane recognition device shared from the parking assistance system. 카메라;
상기 카메라를 통해 획득된 영상으로부터 차선 영역을 인식한 후 인식된 차선 영역 결과로부터 차선의 폭 정보를 생성하는 전자제어유닛;
상기 차선의 폭 정보를 통해 차선 상에 레이저 빔을 조사하는 레이저빔 모듈;
상기 레이저빔 모듈의 빔 조사 방향을 조절하기 위한 엑추에이터; 및
상기 전자제어유닛으로부터 상기 레이저 빔이 조사된 차선을 인식한 차선 인식 결과를 기초로 차량의 차선 이탈 여부를 판정한 결과, 차선 이탈 시 경고 안내를 출력하는 경보 수단;을 포함하고,
상기 전자제어유닛은,
상기 레이저 빔이 조사된 차선에 대해 재획득된 영상에 기초하여 차선 인식 결과를 생성하고, 상기 차선 영역 결과 및 상기 차선 인식 결과 중 적어도 하나를 이용하여 차선을 기준으로 한 차량의 위치를 나타내는 틸트 변화 값을 생성하고, 상기 틸트 변화 값을 통해 상기 엑추에이터의 구동을 제어하는 차선 이탈 안내 장치.camera;
An electronic control unit for recognizing a lane area from the image acquired by the camera and generating width information of the lane from the recognized lane area result;
A laser beam module for irradiating a laser beam onto a lane through the width information of the lane;
An actuator for adjusting a beam irradiation direction of the laser beam module; And
And warning means for outputting a warning guide when the vehicle leaves the lane as a result of determining whether the vehicle leaves the lane based on a lane recognition result of recognizing the lane irradiated with the laser beam from the electronic control unit.
Wherein the electronic control unit comprises:
A tilt change indicating a lane recognition result based on an image re-acquired for the lane to which the laser beam is irradiated, and using at least one of the lane area result and the lane recognition result A lane departure guidance device for generating a value and controlling the driving of the actuator through the tilt change value.
KR1020120116809A 2012-10-19 2012-10-19 Lane recognition apparatus, and lane departure warning apparatus using the same KR101365675B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120116809A KR101365675B1 (en) 2012-10-19 2012-10-19 Lane recognition apparatus, and lane departure warning apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120116809A KR101365675B1 (en) 2012-10-19 2012-10-19 Lane recognition apparatus, and lane departure warning apparatus using the same

Publications (1)

Publication Number Publication Date
KR101365675B1 true KR101365675B1 (en) 2014-02-24

Family

ID=50271604

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120116809A KR101365675B1 (en) 2012-10-19 2012-10-19 Lane recognition apparatus, and lane departure warning apparatus using the same

Country Status (1)

Country Link
KR (1) KR101365675B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230001925A (en) * 2021-06-29 2023-01-05 주식회사대성엘텍 Method and apparatus for supporting driving lines of vehicle in bad weather

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09272414A (en) * 1996-04-08 1997-10-21 Mitsubishi Electric Corp Vehicle control device
KR20000015809U (en) * 1999-01-18 2000-08-16 김덕중 Central line violation warning apparatus using laser sensor
KR20110029357A (en) * 2009-09-15 2011-03-23 주식회사 와이즈오토모티브 Lane departure warning system and method
KR20120011533A (en) * 2010-07-29 2012-02-08 한국과학기술연구원 Detection system of road line using both laser sensor and camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09272414A (en) * 1996-04-08 1997-10-21 Mitsubishi Electric Corp Vehicle control device
KR20000015809U (en) * 1999-01-18 2000-08-16 김덕중 Central line violation warning apparatus using laser sensor
KR20110029357A (en) * 2009-09-15 2011-03-23 주식회사 와이즈오토모티브 Lane departure warning system and method
KR20120011533A (en) * 2010-07-29 2012-02-08 한국과학기술연구원 Detection system of road line using both laser sensor and camera

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230001925A (en) * 2021-06-29 2023-01-05 주식회사대성엘텍 Method and apparatus for supporting driving lines of vehicle in bad weather
KR102559534B1 (en) 2021-06-29 2023-07-26 주식회사 디에이치오토웨어 Method and apparatus for supporting driving lines of vehicle in bad weather

Similar Documents

Publication Publication Date Title
US10864911B2 (en) Automated detection of hazardous drifting vehicles by vehicle sensors
JP5711721B2 (en) Vehicle driving support control device
US9493163B2 (en) Driving support apparatus for vehicle
KR101927155B1 (en) Method and system for recognizing space of shoulder of road
KR102027771B1 (en) Obstacle detecting apparatus and method for adaptation to vehicle velocity
US7571053B2 (en) Lane deviation prevention apparatus
US8723660B2 (en) Dual-vision driving safety warning device and method thereof
CN106184232B (en) A kind of lane departure warning control method based on driver visual angle
JP6129167B2 (en) Driving lane recognition method using a camera
KR102044193B1 (en) System and Method for alarming collision of vehicle with support vector machine
JP4885793B2 (en) Obstacle monitoring device
JP2008510240A (en) Method and apparatus for driver reporting
JP6354659B2 (en) Driving support device
JP2020123339A (en) Cooperative blind spot alarm method and apparatus of vehicle-to-vehicle communication infrastructure with fault tolerance and fluctuation robustness under extreme situation
CN112308052B (en) Road abnormal area detection method and device, electronic equipment and storage medium
KR20160029456A (en) Driving support image display method
JP5505651B2 (en) Detection device
US20210034925A1 (en) Obstacle recognition assistance device, obstacle recognition assistance method, and storage medium
KR20190054656A (en) Apparatus for detecting lane and method thereof
KR101365675B1 (en) Lane recognition apparatus, and lane departure warning apparatus using the same
JP2009276906A (en) Travelling information providing device
JP6322024B2 (en) Outside monitoring device
JP3930309B2 (en) Vehicle driving support device
US9254844B2 (en) Apparatus and method for driving control of vehicle
KR20200135588A (en) Vehicle and control method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170125

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171226

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee