KR100383538B1 - Method and system for warning departure of traffic lane - Google Patents

Method and system for warning departure of traffic lane Download PDF

Info

Publication number
KR100383538B1
KR100383538B1 KR10-2000-0038861A KR20000038861A KR100383538B1 KR 100383538 B1 KR100383538 B1 KR 100383538B1 KR 20000038861 A KR20000038861 A KR 20000038861A KR 100383538 B1 KR100383538 B1 KR 100383538B1
Authority
KR
South Korea
Prior art keywords
lane
lane departure
image
possibility
alarm
Prior art date
Application number
KR10-2000-0038861A
Other languages
Korean (ko)
Other versions
KR20020005260A (en
Inventor
이준웅
조규종
Original Assignee
조규종
이준웅
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조규종, 이준웅 filed Critical 조규종
Priority to KR10-2000-0038861A priority Critical patent/KR100383538B1/en
Publication of KR20020005260A publication Critical patent/KR20020005260A/en
Application granted granted Critical
Publication of KR100383538B1 publication Critical patent/KR100383538B1/en

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00Arrangement or adaptation of acoustic signal devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/08Lane monitoring; Lane Keeping Systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/08Lane monitoring; Lane Keeping Systems
    • B60T2201/082Lane monitoring; Lane Keeping Systems using alarm actuation

Landscapes

  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 운전중 운전자의 무의식 상황에서 원치 않는 주행차선 이탈시 야기될 수 있는 안전사고의 사전 예방을 위해 실제 차선이탈 직전에 운전자에게 경보를 내보냄으로써 운전자의 경각심을 고취시켜 원치 않는 차선이탈을 방지할 수 있도록 한 차선이탈 경보 방법 및 시스템에 관한 것이다.The present invention is to alert the driver immediately before the actual lane departure in order to prevent the safety accident that may be caused in the unconscious situation of the driver during the driving unconscious situation while driving the driver's alert to prevent unwanted lane departure A lane departure warning method and system are provided.

한편, 본 발명은 영상처리를 통해 도로상의 차선표식을 인식하여 차량이 차선중앙으로부터 벗어난 정도를 파악하여 차선이탈 가능성을 예측하고, 차속이나 조향각, 방향지시, 와이퍼 동작 등 차량주행정보를 계측하여 운전자가 차선변경을 하려는 의지가 있는지를 파악하여 영상처리에 의해 차선이탈 가능성이 예측되어도 차선을 변경하고자 하는 운전자의 의지가 확인되면 경보음을 발생하지 않도록 한 차선이탈 경보 방법 및 시스템에 관한 것이다.Meanwhile, the present invention recognizes lane markings on the road through image processing to determine the degree of departure of the vehicle from the center of the lane, predicts the possibility of lane departure, and measures vehicle driving information such as vehicle speed, steering angle, direction indication, and wiper operation. The present invention relates to a lane departure warning method and system that does not generate an alarm sound when the driver's willingness to change lanes is confirmed even if the possibility of lane departure is predicted by image processing by grasping whether there is a willingness to change lanes.

Description

차선이탈 경보 방법 및 시스템{Method and system for warning departure of traffic lane}Lane departure warning method and system {Method and system for warning departure of traffic lane}

본 발명은 차선이탈 경보 방법 및 시스템에 관한 것으로서, 더 상세하게는 운전중 운전자의 무의식 상황에서 원치 않는 주행차선 이탈시 야기될 수 있는 안전사고의 사전 예방을 위해 실제 차선이탈 직전에 운전자에게 경보를 내보냄으로써 운전자의 경각심을 고취시켜 원치 않는 차선이탈을 방지할 수 있도록 한 차선이탈 경보 방법 및 시스템에 관한 것이다.The present invention relates to a lane departure warning method and system, and more particularly, to alert the driver immediately before the actual lane departure for the prevention of safety accidents that may be caused in the driver's unconscious situation during an unconscious situation. The present invention relates to a lane departure warning method and system that prevents an unwanted lane departure by inducing a driver's alert by exporting.

한편, 본 발명은 영상처리를 통해 도로상의 차선표식을 인식하여 차량이 차선중앙으로부터 벗어난 정도를 파악하여 차선이탈 가능성을 예측하고, 차속이나 조향각, 방향지시, 와이퍼 동작 등 차량주행정보를 계측하여 운전자가 차선변경을 하려는 의지가 있는지를 파악하여 영상처리에 의해 차선이탈 가능성이 예측되어도 차선을 변경하고자 하는 운전자의 의지가 확인되면 경보음을 발생하지 않도록 한 차선이탈 경보 방법 및 시스템에 관한 것이다.Meanwhile, the present invention recognizes lane markings on the road through image processing to determine the degree of departure of the vehicle from the center of the lane, predicts the possibility of lane departure, and measures vehicle driving information such as vehicle speed, steering angle, direction indication, and wiper operation. The present invention relates to a lane departure warning method and system that does not generate an alarm sound when the driver's willingness to change lanes is confirmed even if the possibility of lane departure is predicted by image processing by grasping whether there is a willingness to change lanes.

통상, 운전자는 차량 운행중에 차량이 차선중앙으로부터 벗어나지 않도록, 즉 차선이탈을 하지 않고 해당 주행차선을 계속 유지하도록 주의를 기울이면서 운전을 하게 마련이다. 이와 같이 운전중에 차량이 차선중앙으로부터 벗어나지 않도록 운전자가 계속해서 주의를 기울이는 이유는, 당연한 사실이지만 차선이탈시 발생할 수 있는 교통사고를 방지하기 위함이며, 나아가 교통흐름에 방해를 주지 않기 위함이다.In general, the driver is required to drive while paying attention so that the vehicle does not deviate from the center of the lane while driving the vehicle, that is, to keep the driving lane without leaving the lane. The reason why the driver continues to pay attention so that the vehicle does not deviate from the center of the lane during driving is, in fact, to prevent traffic accidents that may occur during lane departure, and not to disturb the traffic flow.

그러나, 차량 운행중 운전자는 지속적으로 차선이탈을 하지 않고 해당 주행차선을 유지하면서 운전을 해야 하지만, 예를 들어 운전자가 육체적 또는 정신적으로 피곤하여 졸음 운전을 하는 경우 해당 주행차선을 이탈하여 불의의 사고를 일으키는 경우가 증가하고 있어 교통 문제 및 사회 문제화되고 있다.However, while the driver is driving, the driver must drive while keeping the driving lane without deviating lanes, but for example, when the driver is drowsy because of physical or mental fatigue, the driver may leave the driving lane and cause an accident. Increasing cases are becoming traffic problems and social issues.

상기와 같이 졸음운전과 같은 상태로 말미암은 차선이탈에 기인한 불의의 사고를 방지하기 위한 장치, 시스템과 방법이 다양하게 공지되고 있지만, 이들은 다음과 같은 문제점을 가지고 있다.As described above, devices, systems, and methods for preventing inadvertent accidents due to lane departure due to drowsy driving are known in various ways, but they have the following problems.

즉, 종래의 차선이탈 방지 시스템의 실시예는 차선이탈 자체를 인식하기 보다는 졸음운전과 같은 상황을 감지하는 것으로서 졸음운전 이외의 다른 이유로 인한 차선이탈 상황을 인식하지 못하는 문제점이 있다.That is, the conventional embodiment of the lane departure prevention system detects a situation such as drowsy driving, rather than recognizing lane departure itself, and may not recognize the lane departure situation due to reasons other than drowsy driving.

또한, 종래의 차선이탈 방지 시스템의 다른 실시예는 운전자의 의지, 예를 들면 차선변경을 위한 차선이탈 상황을 파악하지 못하여 불필요한 경보를 발생하는문제점이 있다.In addition, another embodiment of the conventional lane departure prevention system has a problem in that the driver's will, for example, do not grasp the lane departure situation for changing lanes, causing unnecessary alarms.

그리고, 종래의 차선이탈 방지 시스템에 있어서, 차선인식은 차선의 위치를 인식하는 것, 즉 이미 차선이탈이 이루어진 상황에서 경보를 발생하는 것이기 때문에 실질적인 차선이탈 방지 시스템이라고 볼 수 없는 문제점이 있다.In the conventional lane departure prevention system, there is a problem that the lane recognition is not a real lane departure prevention system because it recognizes the position of the lane, that is, generates an alarm in a situation in which the lane departure has already been made.

본 발명은 상기와 같은 문제점을 해결하기 위하여 창출된 것으로서, 운전중 운전자의 무의식 상황에서 원치 않는 주행차선 이탈시 야기될 수 있는 안전사고의 사전 예방을 위해 실제 차선이탈 직전에 운전자에게 경보를 내보냄으로써 운전자의 경각심을 고취시켜 원치 않는 차선이탈을 방지할 수 있도록 한 차선이탈 경보 방법 및 시스템을 제공하는데 그 목적이 있다.The present invention has been made to solve the above problems, by sending an alarm to the driver immediately before the actual lane departure for the prevention of safety accidents that may be caused in the driver's unconscious situation during the driving uncomfortable situation during driving It is an object of the present invention to provide a lane departure warning method and system that can induce a driver's alert to prevent an unwanted lane departure.

본 발명의 다른 목적은, 영상처리를 통해 도로상의 차선표식을 인식하여 차량이 차선중앙으로부터 벗어난 정도를 파악하여 차선이탈 가능성을 예측하고, 차속이나 조향각, 방향지시, 와이퍼 동작 등 차량주행정보를 계측하여 운전자가 차선변경을 하려는 의지가 있는지를 파악하여 영상처리에 의해 차선이탈 가능성이 예측되어도 차선을 변경하고자 하는 운전자의 의지가 확인되면 경보음을 발생하지 않도록 한 차선이탈 경보 방법 및 시스템을 제공하는데 있다.Another object of the present invention is to recognize lane markers on the road through image processing, to detect the degree of vehicle departure from the center of the lane, to predict the possibility of lane departure, and to measure vehicle driving information such as vehicle speed, steering angle, direction indication, and wiper operation. By identifying whether the driver is willing to change lanes and providing a lane departure warning method and system that does not generate an alarm sound when the driver's willingness to change lanes is confirmed even if the possibility of lane departure is predicted by image processing, have.

도 1은 본 발명에 따른 차선이탈 경보 방법의 흐름도.1 is a flowchart of a lane departure warning method according to the present invention;

도 2는 본 발명에 따른 차선이탈 경보 시스템의 블록 구성도.Figure 2 is a block diagram of a lane departure warning system according to the present invention.

도 3은 본 발명 차선이탈 경보 시스템의 적용 예시도.Figure 3 is an application example of the lane departure warning system of the present invention.

도 4는 본 발명 차선이탈 경보 방법의 영상처리 알고리즘의 흐름도.4 is a flowchart of an image processing algorithm of the lane departure warning method of the present invention.

도 5는 본 발명의 영상처리 영역 설정과 관련한 그래프도.5 is a graph related to image processing region setting of the present invention.

도 6은 본 발명 영상처리에서 에지(edge) 추출을 위한 처리 블록도.6 is a processing block diagram for edge extraction in the image processing of the present invention.

도 7a,b는 본 발명을 위한 소벨(Sobel) 에지 연산자와 관련한 개념도.7A and 7B are conceptual diagrams related to a Sobel edge operator for the present invention.

도 8은 본 발명 누적분포함수 구축을 위한 파라메터 스페이스의 개념도.8 is a conceptual diagram of a parameter space for constructing the present invention cumulative distribution function.

도 9는 본 발명을 위한 누적분포함수의 그래프도.Figure 9 is a graph of the cumulative distribution function for the present invention.

도 10은 본 발명의 실험 실시예도.10 is an experimental example of the present invention.

<도면의 주요부분에 대한 부호의 설명><Description of the code | symbol about the principal part of drawing>

1 : CCD 카메라 10 : 제어부1: CCD camera 10: control part

11 : 타이밍 발생부 13 : 프로세스부11: timing generator 13: processor

15 : 인터페이스부 17 : 경보 결정부15: interface unit 17: alarm determination unit

21 : 차속센서 22 : 조향각 센서21: vehicle speed sensor 22: steering angle sensor

23 : 브레이크 센서 24 : 방향지시 스위치23: brake sensor 24: direction switch

25 : 와이퍼 스위치 26 : 시스템 온/오프 스위치25: Wiper Switch 26: System On / Off Switch

30 : 부저30: buzzer

상기 목적을 달성하기 위하여 본 발명에 따른 차선이탈 경보 방법은,Lane departure warning method according to the present invention to achieve the above object,

CCD 카메라와 같은 촬영수단을 통해 주행중인 도로의 영상을 촬영하는 단계;Capturing an image of a road being driven through a photographing means such as a CCD camera;

차속이 일정 차속 미만이면 상기 촬영된 영상의 데이터 처리를 하지 않고,차속이 일정 차속 이상이면 상기 촬영된 영상 데이터의 처리를 통해 영상을 획득하고 에지(edge)를 검출하여 도로의 차선 모델을 구축하는 영상처리 단계;If the vehicle speed is less than a predetermined vehicle speed, the data processing of the photographed image is not performed. If the vehicle speed is more than the predetermined vehicle speed, the image is acquired through the processing of the captured image data, and an edge is detected to build a lane model of the road. Image processing step;

상기 영상처리 단계에 의한 영상이 차선인식 가능한 정도의 영상인지를 판단하여 차선인식 불가능 영상이면 이를 운전자에게 통보하고, 차선인식 가능 영상이면 차선이탈 가능성을 판단하는 판단단계;Determining whether the image by the image processing step is a lane-recognizable image and notifying the driver of the lane-recognized image, and determining a lane departure possibility if the image is lane-recognized image;

상기 판단단계에서 차선이탈 가능성이 있는 경우 운전자에게 이를 경보하는 경보단계를 포함하며, 상기 차선이탈 가능성을 판단하는 단계는, 상기 영상처리단계에서 검출된 차선의 에지정보에 의해 에지분포함수를 산출하는 단계; 연속되는 소정 수의 촬영된 영상데이터에 대해 각각 산출된 상기 에지분포함수를 누적하여 평균 에지분포함수를 구축하는 단계; 상기 구축된 평균에지분포함수의 대칭 축을 선정하는 단계; 상기 선정된 평균에지분포함수의 대칭 축이 90°를 기준으로 소정 각도 이상을 벗어나면 차선이탈의 가능성이 있는 것으로 판단하는 단계를 포함하는 점에 그 특징이 있다.And a warning step of alerting the driver if there is a lane departure possibility in the determination step, and the determining of the lane departure possibility may include calculating an edge distribution function based on edge information of the lane detected in the image processing step. step; Building an average edge distribution function by accumulating the edge distribution functions calculated for each successive predetermined number of captured image data; Selecting an axis of symmetry of the constructed mean edge inclusion function; It is characterized in that it comprises the step of determining that there is a possibility of lane departure if the axis of symmetry of the selected mean edge inclusion function is more than a predetermined angle relative to 90 °.

본 발명 방법의 바람직한 실시예에 있어서, 상기 판단단계에서 판단된 차선이탈 가능성이 운전자의 의지에 의한 것인지를 방향지시등, 조향각도, 브레이크 신호, 와이퍼 동작여부와 같은 차량신호에 의해 분석하여 상기 차선이탈 가능성이 운전자의 의지에 의한 것일 때는 상기 경보단계를 수행하지 않도록 하는 운전자 의지 분석단계를 더 포함한다.In a preferred embodiment of the method of the present invention, whether the lane departure possibility determined in the determination step is determined by the driver's will by analyzing the vehicle signal such as a direction indicator, a steering angle, a brake signal, and whether the wiper is operated or not. The driver further includes a driver's will analysis step of not performing the alarm step when the possibility is at the driver's will.

상기 목적을 달성하기 위한 본 발명에 따른 차선이탈 경보 시스템은,Lane departure warning system according to the present invention for achieving the above object,

주행중인 도로의 영상을 촬영하는 도로영상 촬영수단과,Road image photographing means for photographing an image of a road being driven;

차속과 조향각, 브레이크, 방향지시, 와이퍼 동작 및 상기 시스템의 온/오프와 관련한 신호를 발생하는 신호발생수단과,Signal generating means for generating signals relating to vehicle speed and steering angle, brake, direction indication, wiper operation and on / off of the system;

상기 촬영수단의 구동 타이밍 신호를 발생하는 타이밍 발생부와, 상기 촬영수단으로부터 촬영된 영상을 입력받아 차선이탈 가능성을 예측하는 프로세스부와, 상기 신호발생수단으로부터 신호를 입력받아 이를 상기 프로세스부에 인터페이스하는 인터페이스부, 및 상기 프로세스부의 제어에 따라 차선이탈 가능성에 따른 경보여부를 결정하는 경보결정부를 구비한 제어수단, 및A timing generator for generating a driving timing signal of the photographing means, a processor for predicting lane departure possibility by receiving an image captured by the photographing means, and receiving a signal from the signal generating means to interface the processor to the processor; A control means having an interface unit, and an alarm determining unit configured to determine whether an alarm is generated according to the possibility of lane departure under the control of the process unit;

상기 제어수단의 경보결정부의 출력신호에 따라 경보를 발생하는 경보수단을 포함하며, 상기 프로세스부는, 상기 도로영상 촬영수단에서 촬영된 연속되는 소정 수의 촬영된 영상데이터에 대해 각각 차선의 에지를 추출하고, 추출된 차선의 에지정보에 의해 에지분포함수를 산출하여, 이를 누적함으로써 평균 에지분포함수를 구축하고, 구축된 평균에지분포함수의 대칭 축을 선정하여, 상기 선정된 평균에지분포함수의 대칭 축이 90°를 기준으로 소정 각도 이상을 벗어나면 차선이탈의 가능성이 있는 것으로 판단하는 점에 그 특징이 있다.And alarm means for generating an alarm in accordance with an output signal of the alarm decision unit of the control means, wherein the processor extracts an edge of a lane for each consecutive number of photographed image data photographed by the road image photographing means. The edge distribution function is calculated based on the extracted edge information of the lane, and the cumulative edge distribution function is accumulated to build an average edge distribution function, and the symmetry axis of the constructed average edge distribution function is selected to calculate the average edge distribution function. It is characterized in that it is determined that there is a possibility of lane departure when the axis of symmetry deviates by more than a predetermined angle with respect to 90 °.

본 발명 시스템의 바람직한 실시예에 있어서, 상기 신호발생수단은,In a preferred embodiment of the system of the present invention, the signal generating means is

차속센서와, 조향각 센서, 브레이크 센서, 방향지시 스위치, 와이퍼 스위치, 및 시스템 온/오프 스위치를 포함한다.Vehicle speed sensor, steering angle sensor, brake sensor, direction indicating switch, wiper switch, and system on / off switch.

본 발명 시스템의 바람직한 실시예에 있어서, 상기 제어수단은 해당 차량의 차선이탈 가능성이 예측되어도 상기 신호발생수단으로부터 운전자의 차선변경 의지에 의한 신호가 출력되는 경우 경보를 발생하지 않도록 제어한다.In a preferred embodiment of the system of the present invention, the control means controls not to generate an alarm when a signal based on the driver's lane change intention is output from the signal generating means even when a possibility of lane departure of the vehicle is predicted.

이하, 첨부한 도면을 참조하면서 본 발명에 따른 차선이탈 경보 방법 및 시스템의 바람직한 실시예를 상세하게 설명한다.Hereinafter, exemplary embodiments of a lane departure warning method and system according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 차선이탈 경보 방법의 흐름도이고, 도 2는 본 발명에 따른 차선이탈 경보 시스템의 블록 구성도이다.1 is a flowchart of a lane departure warning method according to the present invention, Figure 2 is a block diagram of a lane departure warning system according to the present invention.

먼저, 도 1 및 도 2를 참조하면 본 발명에 따른 차선이탈 경보 방법은, CCD 카메라(1)를 통해 주행중인 도로의 영상을 촬영하는 단계(S10)와; 차속이 일정 차속, 예를 들어 20km/h 미만이면 상기 촬영된 영상의 데이터 처리를 하지 않고, 차속이 일정 차속 이상이면 상기 촬영된 영상 데이터의 처리를 통해 영상을 획득하고 차선 에지(edge)를 검출하여 도로의 차선 모델을 구축하는 영상처리 단계(S20)(S30)와; S30 단계에 의한 영상이 차선인식 가능한 정도의 영상인지를 판단하여 차선인식 불가능 영상이면 이를 운전자에게 통보하고(S50), 차선인식 가능 영상이면 차선이탈 가능성을 판단하는 판단단계(S40)와; S40 단계에서 차선이탈 가능성이 있는 경우 운전자에게 이를 경보하는 경보단계(S60)를 포함하여 구성된다.First, referring to FIGS. 1 and 2, a lane departure warning method according to the present invention includes: photographing an image of a road driving through a CCD camera 1 (S10); If the vehicle speed is less than a predetermined vehicle speed, for example, 20 km / h, data processing of the photographed image is not performed. If the vehicle speed is more than the predetermined vehicle speed, an image is acquired through processing of the captured image data, and a lane edge is detected. An image processing step (S20) (S30) of constructing a lane model of the road; Determining whether the image at step S30 is a lane-recognized image and notifying the driver of the lane-recognized image (S50), and determining a lane departure possibility if the image is lane-recognized image (S40); If there is a lane departure possibility in step S40 is configured to include an alarm step (S60) to alert the driver.

상기의 판단단계(S40)는 차선인식이 가능한 영상인지를 판단하고 차선이탈 가능성을 예측하는 단계(S41(S41a)와, 차선이탈 가능성이 있는지를 판단하는 단계(S42), 및 차선이탈 가능성이 운전자의 의지에 의한 것인지를 방향지시등, 조향각도, 브레이크 신호, 와이퍼 동작여부와 같은 차량신호를 통해 판단하는 단계, 즉 방향지시(등) 동작 상태를 판단하는 단계(S43)와, 조향각도가 일정각도(예; 10° 이상) 이상인지를 판단하는 단계(S44)와, 브레이크가 동작하였는지를 판단하는 단계(S45)와, 와이퍼가 동작하는지를 판단하는 단계(S45)를 포함한다.The determination step (S40) is a step of determining whether the lane can be recognized image and predict the lane departure possibility (S41 (S41a)), the step of determining whether there is a lane departure possibility (S42), and lane departure possibility driver Determining whether it is by the will of the vehicle, such as the direction indicator, steering angle, brake signal, whether the wiper operation, that is, the step of determining the direction indicator (operation) operation state (S43), and the steering angle is a certain angle (E.g., 10 DEG or more) and determining (S44), determining whether the brake is operated (S45), and determining whether the wiper is operating (S45).

상기의 경보단계(S60)는 차선이탈 정보에 따라 2단계로 경보를 발생하는데, 예를 들면 차선이탈 정도가 적을 때에는 1Hz 주기의 비프(beep) 음을 발생하고, 차선이탈 정도가 클 때에는 2Hz 주기의 비프(beep) 음을 발생한다.The alarm step (S60) generates an alarm in two stages according to lane departure information. For example, when the lane departure degree is small, a beep sound of 1 Hz period is generated, and when the lane departure degree is large, a 2 Hz period is generated. Generates a beep sound.

도 2 및 도 3을 참조하면, 본 발명 차선이탈 방지 시스템은, 주행중인 도로의 영상을 촬영하는 CCD 카메라(1)와; 차속과 조향각, 브레이크, 방향지시, 와이퍼 동작 및 시스템의 온/오프(ON/OFF)와 관련한 신호를 발생하는 신호발생부(20)와; CCD 카메라(1)의 구동 타이밍 신호를 발생하는 타이밍 발생부(11)와, CCD 카메라(1)로부터 촬영된 영상을 입력받아 차선이탈 가능성을 예측하는 프로세스부(13)와, 신호발생부(20)로부터 신호를 입력받아 이를 프로세스부(13)에 인터페이스하는 인터페이스부(15), 및 프로세스부(13)의 제어에 따라 차선이탈 가능성에 따른 경보 여부를 결정하는 경보결정부(17)를 구비한 제어부(10); 및 제어부(10)의 경보결정부(17)의 출력신호에 따라 경보를 발생하는 경보부(30)를 포함하여 구성된다. 신호발생부(20)는 차속센서(21)와, 조향각 센서(22), 브레이크 센서(23), 방향지시 스위치(24), 와이퍼 스위치(25), 및 시스템 온/오프 스위치(26)를 구비하여 이루어지며, 경보부(30)는 부저 또는 스피커를 구비한다.2 and 3, the lane departure prevention system of the present invention includes: a CCD camera (1) for photographing an image of a driving road; A signal generator 20 for generating signals related to vehicle speed, steering angle, brake, direction instruction, wiper operation, and system ON / OFF; A timing generator 11 for generating a driving timing signal of the CCD camera 1, a processor 13 for receiving an image captured by the CCD camera 1 and predicting a lane departure possibility, and a signal generator 20 Interface unit 15 for receiving a signal from the interface 13 to interface with the process unit 13, and an alarm determination unit 17 for determining whether or not an alarm according to the possibility of lane departure under the control of the process unit 13; Control unit 10; And an alarm unit 30 for generating an alarm in accordance with the output signal of the alarm determination unit 17 of the control unit 10. The signal generator 20 includes a vehicle speed sensor 21, a steering angle sensor 22, a brake sensor 23, a direction indicating switch 24, a wiper switch 25, and a system on / off switch 26. Is made, the alarm unit 30 is provided with a buzzer or a speaker.

본 발명 차선이탈 경보 시스템에 있어서, 제어부(10)는 해당 차량의 차선이탈 가능성이 예측되어도 신호발생부(20)로부터 운전자의 차선변경 의지에 의한 신호 또는 차선이탈 경보를 해제하는 신호가 출력되는 경우 경보를 발생하지 않도록 제어한다.In the lane departure warning system according to the present invention, the control unit 10 outputs a signal from the signal generation unit 20 according to the driver's lane change intention or a signal for canceling the lane departure warning even when a possibility of lane departure of the vehicle is predicted. Control not to generate an alarm.

제어부(10)에는 도 1의 흐름도 알고리즘 및 이하에 설명하게 될 영상처리 알고리즘이 프로그램화되어 저장될 것이라는 것은 당업자에게 자명할 것이다.It will be apparent to those skilled in the art that the control unit 10 may store the flowchart algorithm of FIG. 1 and the image processing algorithm described below.

상기와 같이 구성된 본 발명 차선이탈 경보 방법 및 시스템의 작용 및 동작을 설명하면 다음과 같다.Referring to the operation and operation of the lane departure warning method and system of the present invention configured as described above are as follows.

먼저, 본 발명에 따르면, 경보음(beep음)의 발생은 자차량의 차선이탈 직전에 발생되는데, 자차량의 차선이탈 직전일지라도 이 차선이탈 상황이 운전자의 의지에 의해서 이루어진 경우, 즉 자차량의 차속이 소정속도 이하, 예를 들면 20km/h 이하이거나, 자차량의 조향각이 소정각도 이상, 예를 들면 10°이상이거나, 방향지시등이 작동중이거나, 브레이크 신호가 검출되는 경우이거나 또는 와이퍼 작동시에는 경보음을 발생하지 않는다.First, according to the present invention, the generation of a beep sound is generated immediately before the lane departure of the own vehicle, even if the lane departure situation is made by the driver's will, even if it is just before the lane departure of the own vehicle. When the vehicle speed is below a certain speed, for example 20 km / h or less, the steering angle of the own vehicle is above a predetermined angle, for example 10 ° or more, the direction indicator is in operation, a brake signal is detected or the wiper is activated. There is no alarm sound.

그리고, 본 발명 시스템은 차선인식이 곤란한 경우, 예를 들면 육안으로도차선이 보이지 않을 정도(도로의 마모, 공사구간 등)인 경우와, 시스템 온/오프 스위치(26)의 조작에 의해 본 발명의 시스템이 오프(off)되었을 때는 작동하지 않게 된다. 시스템 온/오프 스위치(26)의 조작은 운전자의 선택에 따른다.In the present invention, when the lane recognition is difficult, for example, when the lane is not visible even with the naked eye (road wear, construction section, etc.), and the operation of the system on / off switch 26, It will not work when the system is off. Operation of the system on / off switch 26 is at the driver's choice.

본 발명에 따른 차선이탈 가능성의 판단은 영상처리에 의한 차선마크 인식을 통해 달성되며, 이를 위한 CCD 카메라(1)는 초당 대략 15프레임 이상을 바람직하게 처리한다. CCD 카메라(1)는 롤(Roll), 틸트(Tilt), 요(Yaw)각 모두 0°를 유지하며 바람직하게 차량 중앙(0BL), 즉 룸미러(미도시) 후면에 설치된다. 운전자의 의지 확인과 경보발생 판단은 상기 영상처리 결과와 차량 주행신호의 연동에 의해 달성되며, 이를 위한 프로세싱 처리 속도는 바람직하게 대략 10Hz이다.Determination of lane departure possibility according to the present invention is achieved through lane mark recognition by image processing, and the CCD camera 1 for this process preferably processes approximately 15 frames or more per second. The CCD camera 1 maintains 0 ° in all of the roll, tilt, and yaw angles, and is preferably installed at the center of the vehicle 0BL, that is, in the rear of the room mirror (not shown). The determination of the driver's will and the determination of the occurrence of the alarm are achieved by the interlocking of the image processing result and the vehicle driving signal, and the processing speed for this is preferably about 10 Hz.

CCD 카메라(1)는 주행중 전방 도로영상을 흑백의 단일 영상으로 촬영한다. 제어부(10)의 프로세스부(13)에 의해 처리되는 영상처리 소프트웨어(도 1의 흐름도 알고리즘이 프로그램화 된 내용)는 3 ×3 소벨(Sobel) 에지 연산자를 사용하여 차선표식의 윤곽선(Edge)를 검출하고, 에지분포함수(EDF; Edge Distribution Function)를 구축하고, EDF에 의한 장면(scene) 해석지수를 계산하여 영상처리 곤란한 장면을 판정하고, EDF의 대칭축 및 로컬 맥시마(Local Maxima)를 탐색하고, EDF의 대칭축의 위치이용을 통해 차선이탈 가능성을 예측한다.The CCD camera 1 captures the front road image while driving as a single monochrome image. The image processing software (content of which the flowchart algorithm of FIG. 1 is programmed) processed by the processor 13 of the controller 10 uses the 3 × 3 Sobel edge operator to draw the edge of the lane marker. Detect edges, build an edge distribution function (EDF), calculate scene analysis indexes by EDF, determine scenes that are difficult to process, and search for symmetry axes and local maxima of EDF. We predict the lane departure possibility by using the position of the symmetry axis of the EDF.

제어부(10)는 동기 발생기(Sync Generator)와 아날로그 디지털 변환기(ADC) 등을 이용하여 영상획득(Raw Image Grabbing)을 하며, 실시간처리 대응을 위한 영상처리 소프트웨어를 운영하며, 인터페이스부(15)를 통해 차속, 조향각 등의 차량신호를 입력받는다.The controller 10 performs image acquisition (Raw Image Grabbing) using a sync generator and an analog-to-digital converter (ADC), operates image processing software for real-time processing, and operates the interface unit 15. Receives vehicle signals such as vehicle speed and steering angle.

제어부(10)의 경보 결정부(17)는 경보모드를 2단계(Light/Heavy Warning)로 선택할 뿐만 아니라 차량정보(차속, 조향각 등)를 이용하여 차량주행 방향(DOH; Direction of Heading)을 예측한다.The alarm determiner 17 of the controller 10 not only selects an alarm mode in two stages (Light / Heavy Warning) but also predicts a direction of heading (DOH) using vehicle information (vehicle speed, steering angle, etc.). do.

상기의 내용을 보다 더 구체적으로 살펴보면 아래와 같다.Looking at the above in more detail as follows.

본 발명을 위한 로직은 크게 두 가지로 구성된다. 즉, 영상처리기술에 의해 도로상의 차선표식을 인식하여 차량이 차선중앙으로부터 벗어난 정도를 파악하고 차선이탈가능성을 예측하는 부분과, 속도나 조향각, 방향지시 등 차량주행정보를 계측하여 운전자가 차선변경을 하려는 의지가 있는지를 파악하는 부분으로 구성된다. 따라서, 영상처리 로직에 의하여 차선이탈가능성이 예측되어도 차선을 변경하고자 하는 운전자의 의지가 확인되면 경보음은 발생되지 않는다.Logic for the present invention consists of two main. In other words, the driver can change lanes by recognizing lane markings on the road by image processing technology to determine the extent of the vehicle's departure from the center of the lane, predicting the possibility of lane departure, and measuring vehicle driving information such as speed, steering angle, and direction indication. It consists of figuring out whether you are willing to do this. Therefore, even if the possibility of lane departure is predicted by the image processing logic, if the driver's willingness to change lanes is confirmed, no alarm sound is generated.

본 발명에 따른 영상처리 알고리즘에 있어서, CCD 카메라(1)로부터 입력된 도로영상에서 차선을 인식하여 자차량이 차선을 이탈할 가능성이 있는지 판단한다. 기존의 국내외에 공지된 기술에 의하면 차선인식은 곧 차선의 위치를 인식하는 것으로 여기고 있으나 본 발명의 차선인식 방법은 차선의 위치인식보다는 차선의 방향인식에 중점을 둔다. 영상처리 알고리즘의 흐름도의 일례를 도 4에 나타내 보였다.In the image processing algorithm according to the present invention, a lane is recognized from a road image input from the CCD camera 1 to determine whether the own vehicle may leave the lane. According to the known technology at home and abroad, lane recognition is regarded as immediately recognizing the position of the lane, but the lane recognition method of the present invention focuses on the direction recognition of the lane rather than the position recognition of the lane. An example of a flowchart of an image processing algorithm is shown in FIG. 4.

제어부(10)에 의한 차선이탈 가능성 판단의 과정을 살펴보면, 차선은 서로 평행하므로 자차량이 차선중앙에서 주행하면서 촬영된 입력영상에서는 좌우 차선의 방향성이 90°를 중심으로 대칭을 이루지만 차량이 차선중앙을 벗어나게 되면 검출된 차선의 방향의 대칭성은 더이상 90°를 중심으로 성립되지 않고 대칭의 중심이90°로부터 벗어난다. 이 사실을 이용하여 자차량의 차선이탈 가능성을 판단한다.Looking at the process of judging lane departure possibility by the controller 10, since the lanes are parallel to each other, in the input image photographed while the own vehicle is traveling in the center of the lane, the direction of the left and right lanes is symmetric about 90 °, but the vehicle is lane Once out of the center the symmetry of the detected lane direction is no longer established about 90 ° and the center of symmetry deviates from 90 °. Use this fact to determine the lane departure of your vehicle.

차선인식은 CCD 카메라(1)에 의해 수행되는데, CCD 카메라(1)에 의한 이미지는 흑백영상이며, 프레임 크기는 대략 160(수평) ×120(수직) 픽셀이다.Lane recognition is performed by the CCD camera 1, wherein the image by the CCD camera 1 is a black and white image, and the frame size is approximately 160 (horizontal) x 120 (vertical) pixels.

영상 처리영역의 설정을 살펴보면, 차량내에 설치된 CCD 카메라(1)의 광축이 0BL과 일치하고 편평한 도로면과 평행하다고 가정하면, 즉 요(yaw)각, 틸트(tilt)각, 롤(roll)각이 모두 0°이면 영상에 보이는 차선의 소실점은 영상의 중심점에 오게 되고, 실제로 차선은 영상의 중심아래부분에만 나타난다. 이러한 상황에서 차선인식을 위한 영상처리 영역은 도 5와 같이 영상의 중심아래부분에만 국한한다. 차선식별영역을 약간 넓히기 위해 카메라를 차량에 설치할 때 일반적으로 카메라의 광축이 도로면에 접하도록 틸트(tilt) 각을 약간 주어 설치하므로 실제 소실점은 영상의 중심점보다 약간 위쪽에 오게 되는데, 이를 해결하기 위해 도 5와 같은 방법으로 처리영역을 설정한다.Looking at the setting of the image processing area, assuming that the optical axis of the CCD camera 1 installed in the vehicle coincides with 0BL and is parallel to the flat road surface, that is, the yaw angle, the tilt angle, and the roll angle If all of these are 0 °, the vanishing point of the lane visible in the image will be at the center of the image, and the lane will actually appear only below the center of the image. In this situation, the image processing area for lane recognition is limited only to the lower center of the image as shown in FIG. 5. When the camera is installed in a vehicle to slightly expand the lane identification area, it is generally installed with a slight tilt angle so that the optical axis of the camera is in contact with the road surface, so the actual vanishing point is slightly above the center point of the image. To set the processing area in the same manner as in FIG.

영상처리 알고리즘의 기본 전제조건을 살펴보면, 본 발명의 영상처리 알고리즘은 다음의 세가지 조건을 전제로 이루어졌으며, 각각은 실제 고속도로 환경과 비교해 보았을 때 충분한 합리성을 가진다.Looking at the basic preconditions of the image processing algorithm, the image processing algorithm of the present invention was made under the following three conditions, each of which has sufficient rationality when compared with the actual highway environment.

(1) 차선의 방향은 급격히 변하지 않고 연속성을 갖는다.(1) The direction of the lane does not change rapidly and has continuity.

(2) 차선표식은 배경에 비해 밝은 밝기값을 가지고 있고, 그 경계는 밝기가 다른 두 영역을 나누는 곳에 위치한다.(2) Lane markers have a brighter brightness value than the background, and the boundary is located at the division of two areas with different brightness.

(3) 차선은 서로 평행하므로 차량이 차선 중앙을 주행할 경우 입력영상에서 좌우차선의 방향은 90°를 중심으로 대칭을 이룬다.(3) Because the lanes are parallel to each other, the direction of left and right lanes in the input image is symmetric about 90 ° when the vehicle travels in the center of the lane.

차선의 에지(Edge) 추출에 대해 살펴보면, 상기 영상처리 알고리즘의 기본 전제조건에 있어서 두번째 전제조건에 따라 차선 표식의 경계부는 영상의 다른 부위에 비해 크기가 큰 뚜렸한 에지성분을 가지고 있으므로 에지정보를 효율적으로 활용한다면 양호한 차선인식 결과를 도출해 낼 수 있다. 이에 따라 본 발명에서는 에지라고 하는 영상의 원시정보를 중요한 인자로 고려하여 컴퓨터 비전 분야에서 잘 알려져 있는 다음과 같은 방법으로 에지추출을 진행한다. 에지추출과 관련한 내용을 도 6에 블록으로 나타내 보였다.As for the edge extraction of the lane, according to the second precondition of the image processing algorithm, the boundary of the lane marker has a thick edge component which is larger than the other parts of the image. If used effectively, good lane recognition results can be achieved. Accordingly, in the present invention, edge extraction is performed in the following manner, which is well known in the field of computer vision, considering the raw information of an image called an edge as an important factor. The content related to the edge extraction is shown in FIG. 6 as a block.

(1) 미분연산에 의해 밝기값의 기울기(Gradient) 계산(1) Calculation of gradient of brightness value by differential operation

(2) 계산된 기울기의 크기와 방향계산(2) Calculation of the magnitude and direction of the calculated slope

(3) 가능하면 차선표식에 해당되는 에지들만을 남기기 위해 에지성분이 뚜렷하지 않은 크기가 작은 에지 픽셀들의 제거(3) If possible, remove small edge pixels with no distinct edge components to leave only the edges corresponding to the lane markers.

상기 기울기를 계산하기 위해서, 입력영상에 대한 미분연산으로 에지를 추출한다. 도 7a와 같은 3 ×3 영역의 각 픽셀의 밝기값과 도 7b에 주어진 소벨(Sobel) 에지 연산자를 이용하여 다음과 같이 영역의 중심위치에서의 에지의 기울기 성분을 구하는데, 관련공식을 공식 (1)(2)에 나타내 보였다.In order to calculate the slope, edges are extracted by differential operation on the input image. Using the brightness value of each pixel in the 3 × 3 area as shown in FIG. 7A and the Sobel edge operator given in FIG. 7B, the slope component of the edge at the center position of the area is calculated as follows. 1) (2) is shown.

에지의 물리량에 있어서, 에지의 크기는 공식 (3)에 의해 계산되고, 에지의방향은 공식 (4)에 의해 계산된다. 로직 구현시 에지의 방향이 0°∼180°의 값을 갖도록 한다.In the physical quantity of the edge, the size of the edge is calculated by the formula (3), and the direction of the edge is calculated by the formula (4). Edge orientation in logic implementation This value is 0 ° to 180 °.

크기가 작은 에지픽셀의 제거를 위한 기준값(Threshold) 갱신;Threshold updating for removal of small edge pixels;

차선에 관련된 에지픽셀들을 가능한 한 부각시키기 위해 크기가 작은 에지픽셀들을 제거해야 하는데, 이때 제거의 기준값 선정이 컴퓨터 비전 분야의 딜레마가운데 하나이다. 본 발명에서는 사용자의 개입없이 알고리즘이 스스로 입력영상의 밝기 변화에 적응(adaptive)될 수 있는 기준값(Threshold) 갱신방법을 제시한다. 먼저 입력되는 영상 프레임마다 영상의 하단 중앙부에 일정한 크기의 사각형를 택하여 이 영역 내의 에지픽셀들의 크기의 평균과 표준편차를 공식 (5)(6)에 의해 계산한다. 공식 (5)(6)에서는 선택된 사각형영역의 면적을 나타낸다. 최초로 입력된 프레임에 대해 예측된 문턱치는 공식 (5)(6)의 μ와 σ의 합으로 설정하고, 그 후 입력된 임의의 k번째 프레임에서는 μ, σ 그리고 τ를 지수적 가중평균에 의해 공식 (7)과 같이 갱신한다. 공식 (7)에서 λ는 예를 들어 실험적으로 0.6으로 설정된 값을 사용한다. 상기와 같이 해서 얻어진 보다 적은 에지크기를 가진 픽셀들은 고려대상에서 제외된다.In order to highlight the edge pixels related to the lane as much as possible, small edge pixels should be removed, which is one of the dilemma in computer vision. The present invention proposes a threshold updating method in which an algorithm can adapt itself to a change in brightness of an input image without user intervention. A square of a certain size in the bottom center of the image for each input image frame Next, the mean and standard deviation of the size of the edge pixels in this area are calculated by the formula (5) (6). In formula (5) (6) Represents the area of the selected rectangular area. Predicted threshold for the first frame entered Is set to the sum of [mu] and [sigma] of the formula (5) (6), and then in the input k-th frame, [mu], [sigma], and [tau] are updated by the exponential weighted average as in the formula (7). In formula (7), λ uses a value that is experimentally set to 0.6, for example. Pixels with smaller edge sizes obtained as above are excluded from consideration.

에지분포함수(EDF) 구축에 대해 살펴보면 아래와 같다.The construction of edge distribution function (EDF) is as follows.

에지방향의 함수인 에지분포함수(Edge Distribution Function, EDF);Edge Distribution Function (EDF) as a function of edge direction;

에지분포함수는 공식 (7)의 문턱치(threshold) 보다 작은 에지픽셀들을 제거하고 남은 에지픽셀들을 가지고 공식 (4)의 방향에 대하여 공식 (3)의 에지크기를 누적시킴으로써 형성된다. 이 함수를 이산함수로 하기 위하여 공식 (4)의 에지방향의 연산시 0°부터 180°사이에서 1°단위로 계산한다. 분포함수를 수식으로 표현하면 공식 (8)과 같다. 공식 (8)에서 d는 에지의 각도를 가리키며, n(d)는를 갖는 에지픽셀들의 수량이다.The edge distribution function is formed by removing edge pixels smaller than the threshold of formula (7) and accumulating the edge size of formula (3) with respect to the direction of formula (4) with the remaining edge pixels. Edge direction of formula (4) to make this function discrete Calculate in 1 ° increments from 0 ° to 180 °. Distribution function Is expressed as the formula (8). In formula (8) d denotes the angle of the edge, n (d) The number of edge pixels with

실제 분포함수의 구축을 위해 하프트랜스폼(Hough Transform)의 아이디어와 유사하게 파라메터 스페이스로 불리우는 181개의 셀을 가진 1차원의 룩엎테이블(look-up table)을 도 8과 같이 꾸민다. 스페이스의 각 셀의 초기값은 0을 넣는다. 제거되고 남은 모든 에지픽셀 각각에 대해 그 픽셀의 에지방향값에 대응되는 셀을 찾아서 그 셀의 현재 값을 읽고 이 값에다 그 픽셀의 에지크기값을 더해줌으로써 현재 입력된 영상 프레임의 에지분포함수가 구축된다. 이와 같이 구축된 EDF는 도 9와 같은 형상을 갖는다.Similar to the idea of the Hough Transform, a one-dimensional look-up table with 181 cells called parameter spaces is constructed to construct the actual distribution function as shown in FIG. 8. The initial value of each cell in the space is zero. For each remaining edge pixel removed, find the cell corresponding to the edge direction value of the pixel, read the current value of the cell, and add the edge size value of the pixel to this value to add the edge distribution Is built. The EDF constructed as described above has a shape as shown in FIG. 9.

도 9에 나타난 EDF는 다음과 같은 두 가지 특징을 보여준다.EDF shown in Figure 9 shows the following two features.

1) 차선 방향에 해당되는 각도의 근방에서 큰 값을 갖는다. 그 이유는 차선은 방향에 있어서 연속성을 가지며 또한 차선표식의 경계는 크기가 큰 에지픽셀을 가지고 있기 때문이다. 차선경계 이외의 에지들은 어떤 특정 방향에 대한 연속성이 보장되지 않기 때문에 EDF의 특정 위치에 대한 기여도는 떨어진다.1) It has a large value near the angle corresponding to the lane direction. This is because the lanes have continuity in the direction and the boundary of the lane markers has a large edge pixel. The edges other than the lane boundaries do not guarantee continuity in any particular direction, so the contribution to the specific position of the EDF falls.

2) 90°를 중심으로 좌우 대칭성을 가지고 있다. 차선은 평행하므로 차량이 차선중심을 주행하면 EDF는 항상 90°를 중심으로 대칭성을 유지한다. 이 사실은 나중에 차선이탈 제어부(10)의 경보 결정부(17)에 그대로 응용된다. 즉, 차량이 주행중에 차선중심을 벗어나면 EDF의 대칭축도 90°를 벗어나게 된다.2) It has symmetry around 90 °. Because the lanes are parallel, the EDF always maintains symmetry around 90 ° when the vehicle travels in the center of the lane. This fact is later applied to the alarm determination unit 17 of the lane departure control unit 10 as it is. That is, if the vehicle is out of the lane center while driving, the symmetry axis of the EDF is also out of 90 °.

평균에지분포함수;Mean equity coverage;

공식 (8)의 에지분포함수는 단일영상에서 얻은 값이므로 잡음이 많이 내재된 영상에서는 잡음의 영향으로 차선표식이 잘 드러나지 않고 결과적으로 차선방향에 대응되는 각도 근방에서 함수의 값이 크게 두드러지지 않을 수 있다. 따라서 연속된 N개의 영상에 대해 이동평균의 원리에 따라 공식 (8)의 함수를 다시 누적시키면 잡음의 효과는 거의 사라지고 차선의 방향성이 보다 명확하게 나타난다. 이러한 개념에서 공식 (9)와 같은 평균분포함수를 구축한다. 공식 (9)에서 k는 현재 프레임을 나타낸다. 실제 시스템에서 H(d)를 구현할 때는 잡음의 효과를 지우는 것이 목적이므로 이동평균을 취하지 않고 다음과 같이 이동합(moving sum)의 형태로 한다. Since the edge distribution function of Equation (8) is obtained from a single image, the lane markers are not easily revealed due to noise in the noise-inherent image, and as a result, the value of the function is not prominent near the angle corresponding to the lane direction. Can be. Therefore, if the function of formula (8) is accumulated again according to the principle of moving average for N consecutive images, the effect of noise is almost disappeared and the direction of lane is more clearly shown. In this concept, we build the mean distribution function as shown in equation (9). In equation (9), k represents the current frame. When realizing H (d) in a real system, the purpose is to eliminate the effects of noise. Therefore, it does not take a moving average but takes the form of a moving sum as follows.

본 발명의 에지분포함수의 대칭성에 대해 살펴보면 다음과 같다.Looking at the symmetry of the edge distribution function of the present invention.

어떤 함수는 우함수와 기함수의 합으로 나타낼 수 있으며 각각은 공식 (10)과 같이 표현된다. 공식 (10)에서는 함수가 정의되는 구간이다. 특히 우함수는 축대칭성을 나타내고, 기함수는 원점에 대한 대칭성을 잘 묘사하는 특징을 가지고 있다.Any function Is an even function And exponential Can be expressed as the sum of and each is represented by the formula (10). In formula (10) Is a function Is the interval to be defined. In particular, the right function has axis symmetry, and the odd function has a characteristic that describes the symmetry of the origin well.

이러한 수학적 배경을 토대로 차량이 도로 중심부를 치우침 없이 잘 주행하고 있는지의 평가는 90°근방에서 EDF가 어느 정도로 우함수에 의해 지배되는지를 계산함으로써 이루어진다.Based on these mathematical backgrounds, an assessment of how well a vehicle is running through the center of the road is made by calculating how well the EDF is dominated by the EDF near 90 °.

대칭축 탐색구간 설정;Symmetry axis search interval setting;

EDF의 대칭축은 차량이 도로 중심부를 주행할 때는 90°근방에서 나타나지만 주행위치가 중심부에서 치우쳐질수록, 즉 차량의 바퀴가 좌우차선의 어느쪽에 가까이 근접하면 대칭축의 위치도 90°에서 벗어난다. 대칭축 탐색구간 β는 차선변경시에도 그 위치를 알아내기 위하여 다음과 같이 실험적으로 설정한다.The symmetry axis of the EDF appears near 90 ° when the vehicle travels in the center of the road, but as the driving position is shifted from the center, that is, when the wheel of the vehicle is closer to either side of the left and right lanes, the position of the symmetry axis also deviates from 90 °. The symmetry axis search section β is set experimentally as follows to find out its position even in lane change.

즉, β: 90°±40°(50°≤β ≤130°).That is, β: 90 ° ± 40 ° (50 ° ≦ β ≦ 130 °).

대칭축의 위치를 탐색하기 위한 함수의 평가 구간(evaluation interval);An evaluation interval of a function for searching the position of the axis of symmetry;

EDF가 정의되는 범위는 0°∼180°이지만 실제 고속도로 영상에서 보이는 자차량의 주행차선 방향은 15°미만이나 165°이상에서는 나타나지 않는다. 따라서 대칭축의 위치를 탐색하기 위한 EDF의 평가 구간는 15°와 165°사이인 150°로 정한다. 물론를 180°로 정해도 무방하지만 계산시간만 더 소요되므로 효율적이지 못하다.Although the range of EDF is defined between 0 ° and 180 °, the driving lane direction of the own vehicle seen in the actual highway image is less than 15 ° but does not appear above 165 °. Therefore, the evaluation interval of the EDF for searching the position of the symmetry axis Is set to 150 ° between 15 ° and 165 °. sure May be set to 180 °, but it is not efficient because it takes more calculation time.

대칭성 척도(Symmetry Measure);Symmetry Measure;

먼저, EDF의 우함수와 기함수를 공식으로 나타내면 공식 (11)과 같다. 공식 (11)에서 치환변수이며는 임의로 가정된 대칭축이다. 임의의 대칭축가 얼마만큼의 대칭성을 가지고 있는지 평가하기 위하여 대칭성 척도를 공식 (12)와 같이 정의한다. 공식 (12)에서,이며, 적분은 각 함수의 에너지량을 계산한 것이다.First, the right function and the odd function of EDF are represented by the formula (11). Substitution variable in formula (11) And Is an arbitrary assumed axis of symmetry. Any axis of symmetry Symmetry measure to assess how much symmetry a has Is defined as in formula (12). In formula (12), Integral is the calculation of the energy of each function.

대칭축의 선정;Selection of the axis of symmetry;

대칭축 탐색구간 β내에서 계산된 대칭성 척도가운데 가장 큰 값을 가진를 EDF의 대칭축으로 선정한다.Symmetry measure computed within the symmetry search interval β With the highest value Is chosen as the axis of symmetry of the EDF.

EDF에 기반한 입력영상의 해석을 설명하면 다음과 같다.The interpretation of the input image based on EDF is as follows.

도로환경은 여러 잡음요인에 의하여 심지어는 사람 눈으로도 차선식별이 어려운 경우가 있다. 예를 들어 도로가 심하게 마모된 경우, 강우시, 톨게이트 진출입시, 전방차량에 의해 차선이 가려 있을 경우 또는 터널 입출구에서 순간적으로 조도차가 심하게 발생할 때 등이 CCD 카메라(1) 및 제어부(10)에 의한 차선 식별이 어려운 경우로 볼 수 있다. 차선식별정보에 의존하여 어떠한 액션을 취하는 시스템에서 상기 상황이 발생했을 때 이런 상황의 인지를 못하고 얻은 차선정보를 토대로 행한 액츄에이팅 결과의 신뢰성은 보장할 수가 없다. 따라서 상기와 같은 상황을 감지해 낼 수만 있다면 에러가 있는 정보로 시스템을 동작시키는 오류는 피할 수 있다. 이를 위해 본 발명 시스템에서는 도 9의 (b)와 같이 EDF를 90°를 중심으로 왼쪽과 오른쪽으로 나누어 각 영역의 평균와 표준편차를 계산한다. 그리고 이 두 통계량의 비를 취해 보면 입력영상에서 차선의 윤곽이 잘 드러났는지의 여부를 알 수 있다.는 소위 장면(Scene) 해석지수라고 명명한다. 차선윤곽이 잘 드러난 영상의 경우 차선경계에서 얻어진 에지픽셀들이 도 9의 (b)에서 보여준 바와 같이 EDF가 큰 값을 갖도록 한다. 따라서 함수의 평균에 비해 표준편차가 큰 값을 갖게 되고 결과적으로값은 작아진다. 여기서, "차선윤곽이 잘 드러난 영상에서값이 작다"라는 명제는 항상 성립하지만 그 역은 성립하지 않는다. 즉,가 작다고 해서 항상 영상에서 차선윤곽이 잘 보이는 것은 아니다. 장면 해석지수는 입력영상의 해석에 필요조건은 되지만 충분조건은 못된다. 따라서, 본 발명의 알고리즘에서는 입력영상의 해석에 한계를 가지고 있지만, 이는추후 별도의 발명에 의해 극복할 수 있다.The road environment may be difficult to identify lanes even by human eyes due to various noise factors. For example, when the road is badly worn, when rainfall, toll gate entry and exit, when the lane is blocked by the front vehicle, or when the roughness suddenly occurs severely at the entrance and exit of the tunnel, etc. to the CCD camera 1 and the control unit 10 This can be seen as a difficult lane identification. When the situation occurs in a system that takes action based on the lane identification information, the reliability of the actuating result based on the lane information obtained without knowing such a situation cannot be guaranteed. Therefore, if the above situation can be detected, the error of operating the system with the error information can be avoided. To this end, in the present system, as shown in FIG. And standard deviation Calculate And the ratio of these two statistics Take a look at whether or not the outline of the lane is well revealed in the input image. Is called the scene interpretation index. In the case of the lane outline image, the edge pixels obtained in the lane boundary have a large value as shown in (b) of FIG. 9. Thus the mean of the function Standard deviation Has a large value and as a result The value becomes smaller. Here, "in the image where the lane outline is well revealed, "The value is small" is always true, but not vice versa. Small does not always show the lane outline well in the image. Scene Interpretation Index Is a necessary condition for the interpretation of the input image but is not sufficient. Therefore, the algorithm of the present invention has a limitation in the interpretation of the input image, which can be overcome by a later invention.

도 10에 본 발명 시스템의 실험 실시예를 참고삼아 나타내 보였다.10 is shown with reference to the experimental example of the present invention system.

본 발명 경보 결정부(17)에 의해 달성되는 경보 알고리즘을 살펴보면 다음과 같다.Looking at the alarm algorithm achieved by the present invention alarm determination unit 17 is as follows.

경보의 전제로서, 차선이탈 가능성의 예측;As a premise of an alarm, prediction of a lane departure possibility;

EDF의 대칭축가 90°에서 많이 벗어나 있으면 차량이 주행중에 차선중심으로부터 벗어난 것으로 간주하기 위해 다음과 같이 차선 이탈(Deviation)량을 계산한다.Symmetry axis of EDF If is far away from 90 °, the lane deviation is calculated as follows to assume that the vehicle is out of the lane center while driving.

Deviation량 : Deviation amount:

상기에서, 예를 들어이면 차선이탈 가능성이 있다고 판단한다. 본 발명에서은 7°로 설정했지만, 구체적인 값은 실차 튜닝으로 바람직하게 결정할 수 있다.In the above, for example If there is a possibility of lane departure, In the present invention Although 7 degrees was set, the specific value can be determined suitably by actual vehicle tuning.

차선 이탈(Deviation)량이 경보조건을 만족하면 도 1에 도시한 바와 같이 경보를 발하기 이전에 운전자가 차선을 바꾸고자 하는 의향을 가지고 있는지를 방향지시나 조향각 등을 검출하여 판단한다. 즉, 방향지시등이 점멸하는 경우나, 조향각이 ±10°이상이면 운전자가 의식적으로 차선을 변경하려는 것으로 판단한다. 만약, 차량이 운전자의 무의식상태에서 차선을 이탈하고 있다면 경보를 발한다.When the lane departure amount satisfies the alarm condition, as shown in FIG. 1, it is determined by detecting a direction indication, a steering angle, and the like to determine whether the driver has an intention to change lanes before the alarm is issued. That is, when the direction indicator flashes or when the steering angle is ± 10 ° or more, it is determined that the driver intends to consciously change lanes. If the vehicle is leaving the lane in the unconscious state of the driver, an alarm is issued.

경보 조건이 만족되어도 제어부(10)의 경보 결정부(17)는 차량의 주행속도가대략 20km/h 이면 경보를 발하지 않도록 되어 있지만, 이 차량 속도는 실제 실험을 통하여 바람직하게 결정할 수 있음은 물론이다.Even if the alarm condition is satisfied, the alarm determining unit 17 of the control unit 10 does not emit an alarm when the running speed of the vehicle is approximately 20 km / h. However, the vehicle speed may be preferably determined through actual experiments. .

그리고, 경보 조건이 만족되어도 제어부(10)의 경보 결정부(17)는 강우가 있는 경우, 경보를 발하지 않는다. 이런 상황의 판단은 와이퍼가 작동되고 있는지의 여부로 결정한다는 것은 전술한 바와 같다. 와이퍼가 작동하고 있을 때 경보를 발하지 않는 이유는 강우인 날씨에서는 인식된 차선정보의 신뢰성확보가 어렵기 때문이며, 음주상태가 아니라면 강우하에서는 운전자가 졸음운전등 무의식적 상태에서 운전을 하지 않을 것이기 때문이다.And even if the alarm condition is satisfied, the alarm determining unit 17 of the control unit 10 does not emit an alarm when there is a rainfall. It is as described above that the judgment of this situation determines whether or not the wiper is operating. The reason for not warning when the wiper is operating is because it is difficult to secure the reliability of the recognized lane information in rainy weather, and if the driver is not drunk, the driver will not drive unconsciously, such as drowsy driving.

경보 결정부(17)는 부저(30)를 통해 2단계로 경보를 발생하는데, 이를 살펴보면 다음과 같다.The alarm determining unit 17 generates an alarm in two stages through the buzzer 30.

일 때는 가벼운 경보(Light Warning)를 발생한다. 가벼운 경보음의 주기는 바람직하게 1Hz로 했지만, 실차 튜닝을 통해 새롭게 정할 수 있음은 물론이다. Light warning occurs when Although the period of the light alarm sound was preferably set to 1 Hz, it is of course possible to newly determine through tuning the vehicle.

일 때는 강한 경보(Heavy Warning)를 발생한다. 강한 경보음의 주기는 바람직하게 2Hz로 한다. 상기에서 차선 이탈량 는 10°로 설정했지만, 이 값은 실차 튜닝을 통해 새롭게 정할 수 있음은 물론이다. When is set, a heavy warning is issued. The period of the strong alarm sound is preferably 2 Hz. Although the lane departure amount is set to 10 ° in the above, this value can of course be newly determined through actual vehicle tuning.

이상에서 살펴본 바와 같이, 본 발명에 따르면 운전중 운전자의 무의식 상황에서 원치 않는 주행차선 이탈시 야기될 수 있는 안전사고의 사전 예방을 위해 실제 차선이탈 직전에 운전자에게 경보를 내보냄으로써 운전자의 경각심을 고취시켜 원치 않는 차선이탈을 방지할 수 있도록 하는 이점을 제공한다.As described above, according to the present invention, the driver's alert is raised by sending an alarm to the driver immediately before the actual lane departure in order to prevent safety accidents that may be caused when the driver undesired from the driving lane. To prevent unwanted lane departures.

또한, 본 발명은, 영상처리를 통해 도로상의 차선표식을 인식하여 차량이 차선중앙으로부터 벗어난 정도를 파악하여 차선이탈 가능성을 예측하고, 차속이나 조향각, 방향지시, 와이퍼 동작 등 차량주행정보를 계측하여 운전자가 차선변경을 하려는 의지가 있는지를 파악하여 영상처리에 의해 차선이탈 가능성이 예측되어도 차선을 변경하고자 하는 운전자의 의지가 확인되면 경보음을 발생하지 않도록 함으로써 차선이탈을 방지함은 물론 그 이용 편리성을 향상시키는 이점을 제공한다.Also, the present invention recognizes lane markings on the road through image processing, detects the degree of departure of the vehicle from the center of the lane, predicts the possibility of lane departure, measures vehicle driving information such as vehicle speed, steering angle, direction indication, and wiper operation. If the driver's willingness to change lanes is determined by the image processing, and the driver's willingness to change lanes is confirmed by the image processing, the driver will not sound an alarm to prevent lane departures. It offers the advantage of improving sex.

이상 본 발명의 바람직한 실시예에 대해 상세히 기술하었지만, 본 발명이 속하는 기술분야에 있어서 통상의 지식을 가진 사람이라면, 첨부된 청구 범위에 정의된 본 발명의 정신 및 범위를 벗어나지 않으면서 본 발명을 여러 가지로 변형 또는 변경하여 실시할 수 있음을 알 수 있을 것이다. 따라서 본 발명의 앞으로의 실시예들의 변경은 본 발명의 기술을 벗어날 수 없을 것이다.Although preferred embodiments of the present invention have been described in detail above, those of ordinary skill in the art will appreciate that the present invention may be made without departing from the spirit and scope of the invention as defined in the appended claims. It will be appreciated that various modifications or changes can be made. Therefore, changes in the future embodiments of the present invention will not be able to escape the technology of the present invention.

Claims (5)

차선이탈 경보 방법에 있어서,In the lane departure warning method, 촬영수단을 통해 주행중인 도로의 영상을 촬영하는 단계;Photographing an image of a road running through the photographing means; 차속이 일정 차속 미만이면 상기 촬영된 영상의 데이터 처리를 하지 않고, 차속이 일정 차속 이상이면 상기 촬영된 영상 데이터의 처리를 통해 영상을 획득하고 에지(edge)를 검출하여 도로의 차선 모델을 구축하는 영상처리 단계;If the vehicle speed is less than a predetermined vehicle speed, the data processing of the photographed image is not performed. If the vehicle speed is more than the predetermined vehicle speed, the image is acquired through the processing of the captured image data, and an edge is detected to build a lane model of the road. Image processing step; 상기 영상처리 단계에 의한 영상이 차선인식 가능한 정도의 영상인지를 판단하여 차선인식 불가능 영상이면 이를 운전자에게 통보하고, 차선인식 가능 영상이면 차선이탈 가능성을 판단하는 판단단계;Determining whether the image by the image processing step is a lane-recognizable image and notifying the driver of the lane-recognized image, and determining a lane departure possibility if the image is lane-recognized image; 상기 판단단계에서 차선이탈 가능성이 있는 경우 운전자에게 이를 경보하는 경보단계를 포함하며,And a warning step of alerting the driver if there is a possibility of lane departure in the determining step, 상기 차선이탈 가능성을 판단하는 단계는,The determining of the lane departure possibility, 상기 영상처리단계에서 검출된 차선의 에지정보에 의해 에지분포함수를 산출하는 단계;Calculating an edge distribution function based on the edge information of the lane detected in the image processing step; 연속되는 소정 수의 촬영된 영상데이터에 대해 각각 산출된 상기 에지분포함수를 누적하여 평균 에지분포함수를 구축하는 단계;Building an average edge distribution function by accumulating the edge distribution functions calculated for each successive predetermined number of captured image data; 상기 구축된 평균에지분포함수의 대칭 축을 선정하는 단계;Selecting an axis of symmetry of the constructed mean edge inclusion function; 상기 선정된 평균에지분포함수의 대칭 축이 90°를 기준으로 소정 각도 이상을 벗어나면 차선이탈의 가능성이 있는 것으로 판단하는 단계를 포함하는 것을 특징으로 하는 차선이탈 경보 방법.And determining that there is a possibility of lane departure when the axis of symmetry of the selected average edge distribution function is out of a predetermined angle based on 90 °. 제 1 항에 있어서, 상기 판단단계에서 판단된 차선이탈 가능성이 운전자의 의지에 의한 것인지를 방향지시등, 조향각도, 브레이크 신호, 와이퍼 동작여부와 같은 차량신호에 의해 분석하여 상기 차선이탈 가능성이 운전자의 의지에 의한 것일 때는 상기 경보단계를 수행하지 않도록 하는 운전자 의지 분석단계를 더 포함하여 된 것을 특징으로 하는 차선이탈 경보 방법.The method of claim 1, wherein the possibility of lane departure is determined by analyzing a vehicle signal such as a direction indicator, a steering angle, a brake signal, and a wiper operation to determine whether the lane departure possibility determined in the determination step is at the driver's will. The lane departure warning method further comprises a driver's will analysis step not to perform the alarm step when the will. 차선이탈 경보 시스템에 있어서,In the lane departure warning system, 주행중인 도로의 영상을 촬영하는 도로영상 촬영수단;Road image photographing means for photographing an image of a road being driven; 차속과 조향각, 브레이크, 방향지시, 와이퍼 동작 및 상기 시스템의 온/오프와 관련한 신호를 발생하는 신호발생수단;Signal generating means for generating signals relating to vehicle speed and steering angle, brake, direction indication, wiper operation and on / off of the system; 상기 촬영수단의 구동 타이밍 신호를 발생하는 타이밍 발생부와, 상기 촬영수단으로부터 촬영된 영상을 입력받아 차선이탈 가능성을 예측하는 프로세스부와, 상기 신호발생수단으로부터 신호를 입력받아 이를 상기 프로세스부에 인터페이스하는 인터페이스부, 및 상기 프로세스부의 제어에 따라 차선이탈 가능성에 따른 경보 여부를 결정하는 경보결정부를 구비한 제어수단; 및A timing generator for generating a driving timing signal of the photographing means, a processor for predicting lane departure possibility by receiving an image captured by the photographing means, and receiving a signal from the signal generating means to interface the processor to the processor; A control unit having an interface unit configured to perform an alarm, and an alarm determiner configured to determine whether an alarm is generated according to the possibility of lane departure under the control of the process unit; And 상기 제어수단의 경보결정부의 출력신호에 따라 경보를 발생하는 경보수단을 포함하며,Alarm means for generating an alarm in accordance with the output signal of the alarm determination unit of the control means, 상기 프로세스부는,The process unit, 상기 도로영상 촬영수단에서 촬영된 연속되는 소정 수의 촬영된 영상데이터에 대해 각각 차선의 에지를 추출하고, 추출된 차선의 에지정보에 의해 에지분포함수를 산출하여, 이를 누적함으로써 평균 에지분포함수를 구축하고, 구축된 평균에지분포함수의 대칭 축을 선정하여, 상기 선정된 평균에지분포함수의 대칭 축이 90°를 기준으로 소정 각도 이상을 벗어나면 차선이탈의 가능성이 있는 것으로 판단하는 것을 특징으로 하는 차선이탈 경보 시스템.The edges of the lanes are respectively extracted for a predetermined number of consecutive image data captured by the road image photographing means, and the edge distribution functions are calculated based on the extracted edge information of the lanes. Constructing the symmetry axis of the average mean inclusion function, and determining that there is a possibility of lane departure if the symmetry axis of the selected average edge inclusion function deviates from the predetermined angle by more than 90 °. Lane departure alarm system. 제 3 항에 있어서, 상기 신호발생수단은,The method of claim 3, wherein the signal generating means, 차속센서와, 조향각 센서, 브레이크 센서, 방향지시 스위치, 와이퍼 스위치, 및 시스템 온/오프 스위치를 포함하여 된 것을 특징으로 하는 차선이탈 경보 시스템.And a vehicle speed sensor, a steering angle sensor, a brake sensor, a direction indicating switch, a wiper switch, and a system on / off switch. 제 3 항에 있어서, 상기 제어수단은 해당 차량의 차선이탈 가능성이 예측되어도 상기 신호발생수단으로부터 운전자의 차선변경 의지에 의한 신호가 출력되는 경우 경보를 발생하지 않도록 제어하는 것을 특징으로 하는 차선이탈 경보 시스템.4. The lane departure warning according to claim 3, wherein the control means controls not to generate an alarm when a signal from the signal generation means is output by the driver's lane change intention even when a possibility of lane departure of the vehicle is predicted. system.
KR10-2000-0038861A 2000-07-07 2000-07-07 Method and system for warning departure of traffic lane KR100383538B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2000-0038861A KR100383538B1 (en) 2000-07-07 2000-07-07 Method and system for warning departure of traffic lane

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2000-0038861A KR100383538B1 (en) 2000-07-07 2000-07-07 Method and system for warning departure of traffic lane

Publications (2)

Publication Number Publication Date
KR20020005260A KR20020005260A (en) 2002-01-17
KR100383538B1 true KR100383538B1 (en) 2003-05-12

Family

ID=19676793

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2000-0038861A KR100383538B1 (en) 2000-07-07 2000-07-07 Method and system for warning departure of traffic lane

Country Status (1)

Country Link
KR (1) KR100383538B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100666276B1 (en) 2005-07-13 2007-01-10 현대자동차주식회사 A alarming method while the vehicle gets out of a traffic lane
KR101033948B1 (en) 2004-02-18 2011-05-11 현대자동차주식회사 Lane departure warning system
KR20160089111A (en) * 2015-01-19 2016-07-27 한국전자통신연구원 Apparatus and method for re-establishment of driving routes

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101499956B1 (en) * 2008-06-24 2015-03-06 현대자동차주식회사 Warning system of traffic lane departure
KR101940179B1 (en) * 2012-07-02 2019-01-21 현대모비스 주식회사 Vehicle Black-Box
KR20170004242A (en) 2015-07-01 2017-01-11 (주)베라시스 Apparatus and method for warning lane departure
KR102117900B1 (en) * 2019-06-25 2020-06-03 에이에스 주식회사 side view diaplaying black box using change of driving direction of vehicle

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101033948B1 (en) 2004-02-18 2011-05-11 현대자동차주식회사 Lane departure warning system
KR100666276B1 (en) 2005-07-13 2007-01-10 현대자동차주식회사 A alarming method while the vehicle gets out of a traffic lane
KR20160089111A (en) * 2015-01-19 2016-07-27 한국전자통신연구원 Apparatus and method for re-establishment of driving routes
KR102302611B1 (en) * 2015-01-19 2021-09-16 한국전자통신연구원 Apparatus and method for re-establishment of driving routes

Also Published As

Publication number Publication date
KR20020005260A (en) 2002-01-17

Similar Documents

Publication Publication Date Title
KR101328363B1 (en) Lane departure prevention support apparatus, method of displaying a lane boundary line and program
JP3304687B2 (en) Vehicle lane recognition device, obstacle detection device, road departure notification device
CN101135558B (en) Vehicle anti-collision early warning method and apparatus based on machine vision
JP3780848B2 (en) Vehicle traveling path recognition device
Wang et al. Applying fuzzy method to vision-based lane detection and departure warning system
JP4107587B2 (en) Lane recognition image processing device
JP4374211B2 (en) Lane marker position detection method, lane marker position detection device, and lane departure warning device
JP3739693B2 (en) Image recognition device
US9690996B2 (en) On-vehicle image processor
CN110386065B (en) Vehicle blind area monitoring method and device, computer equipment and storage medium
EP2993654A1 (en) Method and system for forward collision warning
US20070222566A1 (en) Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program
KR20100104495A (en) A lane departure warning system using a virtual lane and a system according to the same
JP2011175468A (en) Boundary line detection device
JP2009252198A (en) Travel environment presuming device, method and program, and traffic lane deviation alarm device and steering assisting apparatus
JP2560702B2 (en) Lane recognition device on the road
KR100383538B1 (en) Method and system for warning departure of traffic lane
JP4887932B2 (en) Road edge recognition device, automobile, and road edge recognition method
KR100588563B1 (en) Method for a traffic line recognition of using image on vehicle
CN110913212B (en) Intelligent vehicle-mounted camera shielding monitoring method and device based on optical flow and auxiliary driving system
CN112364794A (en) Deep learning retrograde detection method based on embedded terminal
JP4739699B2 (en) License plate recognition apparatus and method
JPH08320998A (en) Lane marker detector
JP5957315B2 (en) In-vehicle lane recognition system
JP4013856B2 (en) Rear side warning device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20070502

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee