KR100355993B1 - An apparatus for warning lane deviation and a method for warning the same - Google Patents

An apparatus for warning lane deviation and a method for warning the same Download PDF

Info

Publication number
KR100355993B1
KR100355993B1 KR1020000010343A KR20000010343A KR100355993B1 KR 100355993 B1 KR100355993 B1 KR 100355993B1 KR 1020000010343 A KR1020000010343 A KR 1020000010343A KR 20000010343 A KR20000010343 A KR 20000010343A KR 100355993 B1 KR100355993 B1 KR 100355993B1
Authority
KR
South Korea
Prior art keywords
lane
image
edge
frame
vehicle
Prior art date
Application number
KR1020000010343A
Other languages
Korean (ko)
Other versions
KR20000063151A (en
Inventor
신천우
Original Assignee
엔알디테크 주식회사
신천우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔알디테크 주식회사, 신천우 filed Critical 엔알디테크 주식회사
Priority to KR1020000010343A priority Critical patent/KR100355993B1/en
Publication of KR20000063151A publication Critical patent/KR20000063151A/en
Application granted granted Critical
Publication of KR100355993B1 publication Critical patent/KR100355993B1/en

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 차선추적을 신속하게 하고 차선 이탈 정도에 따라 경보를 하여 미연에 사고를 방지하도록 한 차선 이탈 경보장치 및 방법에 관한 것으로, 운전자의 운전상태(차선 이탈 정도)를 감시하여 부주의한 운전에 의한 상황을 감지하여 미리 경보해 줌으로써, 운전자가 적절한 행동을 취하게 하고, 그로 인해 사고를 미연에 방지하게 된다.The present invention relates to a lane departure warning device and method for promptly tracking a lane and warning a lane departure to prevent an accident. The present invention relates to an inadvertent operation by monitoring a driver's driving status (lane departure). By detecting and alerting in advance, the driver can take appropriate action, thereby preventing accidents.

Description

차선 이탈 경보장치 및 방법{An apparatus for warning lane deviation and a method for warning the same}An apparatus for warning lane deviation and a method for warning the same}

본 발명은 차선 이탈 경보장치 및 방법에 관한 것으로, 보다 상세하게는 차선 추적에 의한 이탈정도에 따라 경보를 해주도록 한 장치 및 방법에 관한 것이다.The present invention relates to a lane departure warning device and method, and more particularly to an apparatus and method for alerting according to the degree of departure by lane tracking.

자동차를 운전하는 시간이 길어지게 되면 운전자는 운전중에 옆사람 또는 뒤좌석의 사람과 잡담을 하거나 졸게 된다. 이러한 운전부주의 및 기타 다른 형태의 운전부주의들은 차선을 약간 벗어나거나 완전히 벗어나게 하여 사고를 발생시킨다.If you drive longer, the driver chats or sleeps with the person next to you or the person in the back seat. These carelessness and other forms of carelessness cause an accident by leaving the lane slightly off or completely off.

그로 인해 운전자의 운전상태를 감시하여 운전자에게 알려주는 방안들이 많이 제시되고 있다.As a result, many methods for monitoring the driver's driving status and informing the driver are suggested.

특히, 도로의 주행환경을 실시간으로 컴퓨터에서 처리하여 운전자에게 알려주는 경우에는 방대한 처리능력을 가진 프로세서를 필요로 한다. 자동차와 같이 고속으로 움직이는 경우에는 주위 환경을 신속히 판단하여 처리하여야 하는 시간적인 제약이 뒤따른다.In particular, when a computer processes a road driving environment in real time and informs a driver, a processor having a large processing capacity is required. When moving at a high speed, such as a car, there is a time constraint that the environment must be quickly determined and processed.

이렇게 빠른 영상을 처리하여야 하는 실시간 영상처리장치는 이동용 로봇이나 무인 자동차 등의 다양한 용도에 필수적인 존재이나, 많은 데이터량을 실시간으로 처리하는 것은 매우 고성능의 컴퓨터가 요구되어 이동용 로봇이나 무인 자동차 등의 시각장치로 제작 및 설계하는 데에는 많은 어려움이 따른다.Real-time image processing devices that need to process such fast images are essential for various applications such as mobile robots and unmanned vehicles, but processing a large amount of data in real time requires a very high-performance computer, which is necessary for visualizing mobile robots and unmanned vehicles. There are many challenges in manufacturing and designing the device.

따라서, 본 발명은 상술한 종래의 사정을 감안하여 제안된 것으로, 차선추적을 신속하게 하고 차선 이탈 정도에 따라 경보를 하여 미연에 사고를 방지하도록 한 차선 이탈 경보장치를 제공함에 그 목적이 있다.Accordingly, the present invention has been proposed in view of the above-described conventional situation, and an object thereof is to provide a lane departure warning device that promptly tracks a lane and provides an alarm according to the lane departure degree to prevent an accident in advance.

본 발명의 다른 목적은 차선추적을 신속하게 하고 차선 이탈 정도에 따라 경보를 하여 미연에 사고를 방지하도록 한 차선 이탈 경보방법을 제공함에 있다.It is another object of the present invention to provide a lane departure warning method for promptly tracking a lane and providing an alarm according to a lane departure degree to prevent an accident in advance.

상기한 목적을 달성하기 위해 본 발명의 바람직한 실시예에 따른 차선 이탈 경보장치는, 주행 전방의 영상을 입력하는 영상 입력수단;In order to achieve the above object, a lane departure warning apparatus according to a preferred embodiment of the present invention comprises: image input means for inputting an image of a driving front;

상기 영상 입력수단으로부터의 영상신호에서 차선 정보를 추출하여 도로 모델링을 수행하고 차량의 차선 이탈 정도를 알리는 처리수단; 및Processing means for performing road modeling by extracting lane information from the image signal from the image input means and informing a lane departure of the vehicle; And

상기 처리수단으로부터의 차선 영상 및 차선 이탈정도를 표시하는 영상 출력수단을 구비하고,Image output means for displaying a lane image and a lane departure degree from said processing means,

상기 처리수단은 상기 영상 입력수단으로부터의 영상신호에서 일정크기 및 일정길이 이상의 에지를 추출하는 전처리수단; 상기 추출된 에지에서 차선에 해당하는 에지만을 추출하고, 그 추출된 에지에서 유효한 차선을 찾아 차선의 폭을 계산하며, 차량의 차선 이탈정도를 체크하는 후처리수단을 구비한다.The processing means comprises: preprocessing means for extracting edges of a predetermined size and a predetermined length or more from the video signal from the video input means; And extracting only an edge corresponding to the lane from the extracted edge, finding a valid lane from the extracted edge, calculating the width of the lane, and checking the lane departure of the vehicle.

그리고, 본 발명의 바람직한 실시예에 따른 차선 이탈 경보방법은, 주행 전방의 영상을 입력받아 프레임별로 차선 성분을 추출하고, 그 추출된 차선 성분에서 최적의 차선 성분만을 이용하여 프레임별로 현재의 주행 도로에 대한 모델링을 수행하는 제 1과정; 및The lane departure warning method according to the preferred embodiment of the present invention receives an image of a driving front, extracts a lane component for each frame, and uses the optimal lane component from the extracted lane component to present the current driving road for each frame. Performing a modeling on the first step; And

상기 모델링된 도로에서 차량의 차선 이탈정도를 판단하고 그 결과에 따라 경보를 행하는 제 2과정을 구비한다.And a second process of determining a lane departure of the vehicle in the modeled road and alerting according to the result.

도 1은 본 발명의 실시예에 따른 차선 이탈 경보장치의 블럭구성도,1 is a block diagram of a lane departure warning apparatus according to an embodiment of the present invention;

도 2는 도 1에 도시된 영상입력부의 설치위치 예를 나타낸 도면,2 is a view showing an example of the installation position of the image input unit shown in FIG.

도 3은 본 발명의 실시예에서의 차선 인식 방법을 설명하는 도면,3 is a view for explaining a lane recognition method in an embodiment of the present invention;

도 4는 도 1에 도시된 영상출력부의 설치위치 예를 나타낸 도면,4 is a view showing an example of the installation position of the image output unit shown in FIG.

도 5는 본 발명의 실시예에 따른 차선 이탈 경보방법을 설명하는 플로우차트,5 is a flowchart illustrating a lane departure warning method according to an embodiment of the present invention;

도 6은 본 발명의 실시예에 따른 차선 폭 검사 동작 설명에 채용되는 도면,6 is a view employed for explaining the lane width inspection operation according to the embodiment of the present invention;

도 7은 본 발명의 실시예에 따른 부적합한 기울기 및 잡음 성분을 제거하는 동작 설명에 채용되는 도면,7 is a diagram employed in describing an operation of removing an inappropriate slope and noise component according to an embodiment of the present invention;

도 8은 본 발명의 실시예에 따른 바깥 편향 에지를 제거하는 동작 설명에 채용되는 도면,8 is a diagram of an operation of removing an outer deflection edge according to an embodiment of the present invention;

도 9 내지 도 12는 본 발명의 실시예에 따른 도로 모델링 동작 설명에 채용되는 도면,9 to 12 are views employed for explaining the road modeling operation according to an embodiment of the present invention,

도 13 내지 도 17은 본 발명의 실시예에 채용되는 차선 인식 알고리즘에 의한 차선 인식율을 나타낸 그래프들이다.13 to 17 are graphs showing lane recognition rates by a lane recognition algorithm employed in an embodiment of the present invention.

< 도면의 주요부분에 대한 부호의 설명 ><Description of Symbols for Major Parts of Drawings>

10 : 영상입력부 12 : 증폭/필터부10: image input unit 12: amplification / filter unit

14 : 동기분리부 16 : A/D 변환부14: synchronization separator 16: A / D conversion unit

18 : 전처리부 20 : 제1 메모리부18: preprocessing unit 20: first memory unit

22 : 제2 메모리부 24 : 후처리부22: second memory unit 24: post-processing unit

26 : 메모리부 28 : OSD 발생부26: memory unit 28: OSD generation unit

30 : 동기발생부 32 : D/A 변환부30: synchronization generator 32: D / A converter

34 : 필터/증폭부 36 : 영상출력부34: filter / amplifier 36: video output unit

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described an embodiment of the present invention in more detail.

도 1은 본 발명의 실시예에 따른 차선 이탈 경보장치의 블록구성도이다.1 is a block diagram of a lane departure warning apparatus according to an embodiment of the present invention.

참조부호 10은 주행하고 있는 차량 전방의 영상(즉, 도로상의 차선과 도로상에 존재하는 장애물)을 촬영하여 입력하는 영상입력부이다.Reference numeral 10 is an image input unit which captures and inputs an image (ie, a lane on a road and an obstacle present on a road) in front of a vehicle that is driving.

상기 영상입력부(10)는 소형 비디오 카메라로 구성될 수 있다. 그 소형 비디오 카메라는 입력픽셀을 가로 256픽셀, 세로 256픽셀로 정하고, 한 픽셀의 밝기를 256단계로 정하여 8비트로 표시한다.The image input unit 10 may be configured as a small video camera. The small video camera sets the input pixel to 256 pixels horizontally and 256 pixels vertically, and sets the brightness of one pixel to 256 levels and displays it in 8 bits.

그리고, 상기 영상입력부(10)는 도 2에 예시된 바와 같이 차량 실내에 설치된 백미러의 근처에 고정되게 설치되는데, 차량이 주행하고 있는 도로에 대향되게 설치된다.The image input unit 10 is fixedly installed near the rearview mirror installed in the vehicle interior as illustrated in FIG. 2, and is installed to face the road on which the vehicle is traveling.

참조부호 12는 상기 영상입력부(10)에 의해 입력되는 영상신호를 소정 레벨로 증폭함과 더불어 그 영상신호에 포함된 노이즈 성분을 제거하는 증폭/필터부이다.Reference numeral 12 is an amplifier / filter unit for amplifying the video signal input by the video input unit 10 to a predetermined level and removing noise components included in the video signal.

참조부호 14는 상기 증폭/필터부(12)에서 출력되는 영상신호 즉, 아날로그 비디오신호에서 표준 NTSC방식에서의 동기신호(수평 동기신호, 수직 동기신호, 복합 동기신호, 필드신호 등)를 추출하는 동기분리부이다.Reference numeral 14 is used to extract a synchronization signal (horizontal synchronization signal, vertical synchronization signal, composite synchronization signal, field signal, etc.) in a standard NTSC system from an image signal output from the amplification / filter unit 12, that is, an analog video signal. Synchronous separation.

상기 동기분리부(14)에서 추출된 동기신호는 후술하는 전처리부(18)의 동작에서 동기화 기준 및 전처리부(18)와 후처리부(24)와의 인터페이스 동기화, 메모리 체인지의 동기화 신호로 사용된다.The synchronization signal extracted by the synchronization separator 14 is used as a synchronization reference, an interface synchronization between the preprocessor 18 and the post processor 24, and a memory change synchronization signal in the operation of the preprocessor 18 described later.

참조부호 16은 상기 증폭/필터부(12)에서 출력되는 영상신호 즉, 아날로그 비디오신호를 양자화해서 디지털데이터로 변환시키는 A/D 변환부이다. 상기 A/D 변환부(16)에서 변환된 디지털 영상데이터는 후술하는 전처리부(18)의 메모리부(20 또는 22)에 저장된다.Reference numeral 16 is an A / D converter which quantizes the video signal output from the amplifier / filter unit 12, that is, the analog video signal, and converts the digital signal into digital data. The digital image data converted by the A / D converter 16 is stored in the memory unit 20 or 22 of the preprocessor 18 described later.

참조부호 18은 상기 A/D 변환부(16)를 거쳐 입력되는 영상 데이터를 미분필터와 같은 필터링소자를 이용하여 특징점만을 찾아내고, 이 특징점에서 일정크기 이상이면서 일정길이 이상이 되는 점만을 골라내어 에지로 분류하는 전처리부이다.Reference numeral 18 finds only the feature points of the image data input through the A / D conversion unit 16 using a filtering element such as a differential filter, and selects only the points having a predetermined length or more and a predetermined length from the feature points. It is a preprocessing unit classified into an edge.

상기 전처리부(18)에서 일정크기 이상의 에지를 골라내는 과정에서 일정크기를 설정하게 되는데, 상기 설정을 위해 임계치(threshold level)를 사용하고, 이 임계치는 도로의 밝기에 따라 가변적으로 변화한다.In the process of selecting the edge of the predetermined size or more in the preprocessing unit 18, a predetermined size is set. A threshold level is used for the setting, and the threshold value is variably changed according to the brightness of the road.

참조부호 20은 상기 전처리부(18)를 위한 제1 메모리부이고, 참조부호 22는 상기 전처리부(18)를 위한 제2 메모리부이다. 상기 제1 메모리부(20)와 제2 메모리부(22)는 상기 전처리부(18)에서 고속의 영상처리가능을 수행할 수 있도록 동기신호에 의해 교번적으로 데이터메모리동작을 수행한다.Reference numeral 20 is a first memory unit for the preprocessor 18, and reference numeral 22 is a second memory unit for the preprocessor 18. The first memory unit 20 and the second memory unit 22 alternately perform data memory operations by using a synchronization signal so that the preprocessor 18 can perform high-speed image processing.

보다 상세하게, 상기 전처리부(18)는 영상전처리 및 에지처리 기능과, 인터페이스 및 전처리용 메모리관리 기능을 가지고 있다.In more detail, the preprocessor 18 has an image preprocessing and edge processing function, and an interface and preprocessing memory management function.

상기 영상전처리 및 에지처리기능에 대해 설명하면, 상기 A/D 변환부(16)를 통한 데이터는 원영상으로서 후처리부(24)의 처리부담을 줄이고 고속의 화소별 처리를 수행한다. 여기에서 화소간의 상관관계를 이용하여 미분 및 디지털 필터를 통하여 에지의 강조 및 화소상관관계를 제1 메모리부(20)에 실시간으로 저장(write)한다. 제1 메모리부(20)는 2개의 뱅크로 나누어지고 제1 뱅크가 전처리결과의 저장을 수행할 때 제2 뱅크에서는 디스플레이를 위한 읽는 동작(read)을 수행한다. 제2 메모리부(22) 역시 상기 제1 메모리부(20)와 동일한 구조이다.Referring to the image preprocessing and edge processing functions, the data through the A / D converter 16 is an original image, thereby reducing the processing burden of the post processor 24 and performing high-speed pixel-by-pixel processing. Here, the emphasis and pixel correlation of the edges are written to the first memory unit 20 in real time using differential and digital filters. The first memory unit 20 is divided into two banks, and when the first bank stores the preprocessing results, the second bank performs a read operation for display. The second memory unit 22 also has the same structure as the first memory unit 20.

그리고, 상기 인터페이스 및 전처리용 메모리관리 기능에 대해 설명하면, 표준 NTSC비디오신호에 있어서 한 프레임은 2개의 필드신호(짝수 필드신호, 홀수 필드신호)로 구성된다. 이 필드신호는 후처리부(24)와의 동기화 신호로 사용된다. 1개의 필드(예컨대, 짝수 필드)시간동안 영상전처리 및 에지처리기능을 제1 메모리부(20)의 제1, 제2 뱅크에서 수행된다면 후처리부(24)는 제2 메모리부(22)의 제1 뱅크에 저장된 이전 프레임의 영상전처리 및 에지처리 결과를 가져가고, 그 결과를 제2 메모리부(22)의 제2 뱅크에 저장한다. 이후 다른 필드(예컨대, 홀수 필드)시간동안 전처리 및 후처리는 동일한 기능을 수행하지만 메모리는 바뀌게 된다. 다시 말해서, 전처리부(18)는 제2 메모리부(22)의 제1 뱅크에 현재 프레임의 결과를 저장하고 디스플레이를 위해 제2 메모리부(22)의 제2 뱅크에 저장된 후처리부(24)의 결과를 읽는다.The interface and preprocessing memory management functions will be described. In the standard NTSC video signal, one frame is composed of two field signals (even field signals and odd field signals). This field signal is used as a synchronization signal with the post processor 24. If the image preprocessing and edge processing functions are performed in the first and second banks of the first memory unit 20 for one field (eg, even field) time, the post-processing unit 24 may execute the first memory of the second memory unit 22. The result of image preprocessing and edge processing of the previous frame stored in one bank is taken, and the result is stored in the second bank of the second memory unit 22. The pre- and post-processes then perform the same function for another field (e.g., odd field) time, but the memory changes. In other words, the preprocessor 18 stores the result of the current frame in the first bank of the second memory 22 and stores the result of the current frame in the second bank of the second memory 22 for display. Read the result.

이와 같이 메모리를 동기신호에 의해 계속 바꿔가며 사용함으로써, 실시간의 고성능 영상처리기능을 수행하게 된다. 추가적으로 자동차전용의 신호(SPEED, BRAKE, TRNR/L, ST1/2/N)의 신호변환도 상기 전처리부(18)에서 수행한다.In this way, the memory is continuously changed and used by a synchronization signal, thereby performing a high performance image processing function in real time. In addition, the preprocessing unit 18 also performs signal conversion of signals for automobiles (SPEED, BRAKE, TRNR / L, ST1 / 2 / N).

상기 TRNR/L은 방향전환등 신호로서 Turn Right/Left의 약자이고, 상기 ST1/2/N은 핸들의 회전각도로서 Steering Angle1/2/Neutral의 약자이다.TRNR / L is an abbreviation of Turn Right / Left as a turn signal, and ST1 / 2 / N is an abbreviation of Steering Angle 1/2 / Neutral as a rotation angle of a handle.

그리고, 상기 전처리부(18)에는 구동프로그램이 저장된 전용 롬이 내장된다.The preprocessor 18 has a built-in ROM that stores a drive program.

참조부호 24는 상기 전처리부(18)에서 분류한 에지중에서 차선이라고 판단되는 에지만을 골라내고 평활화시킨 후 유효한 차선을 찾아내어 차선의 폭을 계산한 다음 이탈정도를 판단하여 경고 메시지를 출력시키는 후처리부이다.Reference numeral 24 is a post-processing unit that selects and smoothes only the edges that are determined to be lanes among the edges classified by the preprocessing unit 18, finds a valid lane, calculates the width of the lanes, and determines the degree of departure, and outputs a warning message. to be.

상기 차선이 끊어져 있거나 지워져 있을 경우에는 차선의 식별이 곤란하다. 또한 기상상태의 변화나 야간, 우천시에는 차선의 구분이 정확하지 않다.If the lane is broken or erased, it is difficult to identify the lane. In addition, the distinction between lanes is not accurate at the time of weather condition or at night or in rainy weather.

그에 따라, 상기 후처리부(24)에서는 진행방향으로 이어져 있는 차선의 정보만을 강조하여 차선의 경계선을 쉽게 찾을 수 있는 방식(본 발명의 실시예에서는 진행방향제한 프레임 중첩법이라 함)을 채용한다.Accordingly, the post-processing unit 24 employs a method of easily finding the boundary line of the lane by emphasizing only the information of the lane which continues in the direction of travel (in the embodiment of the present invention, a method of superimposing the direction direction frame).

상기 진행방향제한 프레임 중첩법은 사람이 도로에서 차선을 쉽게 찾아내는 방법을 그대로 적용한 것이다. 사람은 도로에 있는 여러 물체중에서 희고 차가 주행방향으로 길게 연속되어 이어져 있는 선을 차선이라고 판단하며 이미 두뇌속에 그러한 부분이 학습이 되어 쉽게 찾을 수 있다. 즉, 사람은 차가 주행하는 방향으로 계속 이어져 있는 흰 선이라는 특징을 가지고 차선을 쉽게 찾게 된다.The direction limit frame superimposition method is a method in which a person easily finds a lane on a road. The person judges that the line which is white among the various objects on the road and the long continuous line in the driving direction is the lane, and that part is already learned in the brain and can be easily found. In other words, a person can easily find a lane with a characteristic of a white line that continues in the direction in which the car is traveling.

차량이 주행할 때 주행방향으로 차선이 그어져 있으며 주위의 장애물들은 시간에 따라 변하는 모습으로 비치게 된다. 즉, 도 3에 예시된 바와 같이 장애물들이나 도로상의 풍경은 차량이 주행하면서 점차 이동하고 있는 것과 비해서 도로위의 차선은 계속 연속적으로 나타나게 되므로 이러한 시간적인 차이가 없게 된다. 이러한 현상은 영상입력부(10)를 통해서 들어오는 영상을 시간적으로 모으게 되면 이 상황을 얻을 수 있게 된다.When the vehicle is traveling, lanes are drawn in the driving direction, and the obstacles around it are reflected in the shape of changing with time. That is, as illustrated in FIG. 3, the obstacles or the landscape on the road do not have this time difference because the lanes on the road continue to appear continuously as compared with the vehicle moving gradually. This phenomenon can be obtained by collecting the image coming through the image input unit 10 in time.

본 발명에서의 진행방향제한 프레임 중첩법은 상기 영상입력부(10)에서 입력되는 연속 영상에서 차분의 결과를 메모리에 넣고 연속 프레임의 차분들을 중첩시켜 결과적으로 차량의 주행방향으로는 차분이 더해져서 강조한 결과가 얻어지게 하는 반면에, 주위 환경이나 장애물의 영상은 시간적으로 위치가 이동하게 됨으로 차분이 차이없게 되고 중첩되어 강조된 차선보다 레벨이 낮은 데이터가 되어 결론적으로 차선만을 손쉽게 골라낼 수 있게 된 방법이다.In the present invention, the direction limit frame superimposition method inserts the result of the difference in the memory in the continuous image input from the image input unit 10 and superimposes the differences of the continuous frames, resulting in the difference being added in the driving direction of the vehicle. On the other hand, the image of the surrounding environment or obstacle is shifted in time so that the difference is not different and the data is lower than the overlapped highlighted lane so that only the lane can be easily selected. .

그리고, 상기 후처리부(24)에는 구동프로그램이 저장된 전용 롬이 내장된다.The post-processing unit 24 has a built-in ROM that stores a drive program.

한편, 상기 후처리부(24)에서는 차선 이탈 정도에 따른 경보를 부저(도시 생략) 및 점멸소자(예컨대, LED)(도시 생략)를 이용하여 운전자에게 알릴 뿐만 아니라 OSD 발생부(28)를 제어하여 경보용 OSD문자 메시지를 출력시킨다. 즉, 상기 후처리부(24)는 차량의 차선 이탈정도에 따라 부저음의 발생빈도수 또는 점멸소자의 점멸 시간차를 차등적으로 설정하여 출력하고, 상기 부저음 출력 및 점멸소자의 점멸동작과 함께 경보용 OSD문자 메시지를 출력한다.On the other hand, the post-processing unit 24 not only informs the driver by using a buzzer (not shown) and a flashing element (for example, LED) (not shown) according to the lane departure degree, but also controls the OSD generator 28. Outputs OSD text message for alarm. That is, the post-processing unit 24 differentially sets and outputs the frequency of occurrence of the buzzer sound or the blinking time difference of the flashing device according to the lane departure of the vehicle, and outputs the alarm OSD text along with the flashing operation of the buzzer sound and the flashing device. Print a message.

참조부호 26은 상기 후처리부(24)에서의 신호처리과정에서 발생되는 데이터를 임시저장하고 출력하는 메모리부이다.Reference numeral 26 is a memory unit that temporarily stores and outputs data generated during signal processing in the post-processing unit 24.

참조부호 28은 상기 후처리부(24)의 제어신호에 의해 경보용 OSD문자 메시지를 발생하여 상기 후처리부(24)로 제공하는 OSD 발생부이다.Reference numeral 28 denotes an OSD generator which generates an OSD text message for the alarm by the control signal of the post-processor 24 and provides it to the post-processor 24.

참조부호 30은 디스플레이용 영상신호의 생성시 필요한 동기신호(수평/수직 동기신호)를 만들어 상기 전처리부(18)로 제공하는 동기발생부이다. 도 1에서는 상기 동기발생부(30)를 전처리부(18)와는 별도로 구성시켰으나 상기 전처리부(18)내부에 내장시켜도 무방하다.Reference numeral 30 denotes a synchronization generator which generates a synchronization signal (horizontal / vertical synchronization signal) necessary for generating a display image signal and provides the same to the preprocessor 18. In FIG. 1, the synchronization generating unit 30 is configured separately from the preprocessing unit 18, but may be embedded in the preprocessing unit 18.

참조부호 32는 상기 전처리부(18)를 통해 출력되는 영상신호 즉 디지털 비디오신호를 아날로그 비디오신호로 변환하는 D/A 변환부이다.Reference numeral 32 is a D / A converter for converting an image signal output through the preprocessor 18, that is, a digital video signal into an analog video signal.

참조부호 34는 상기 D/A 변환부(32)에서 출력되는 디스플레이용 아날로그 비디오신호중에서 노이즈성분을 필터링하고 소정 레벨로 증폭하는 필터/증폭부이다.Reference numeral 34 denotes a filter / amplifier for filtering noise components from the analog video signal for display output from the D / A converter 32 and amplifying them to a predetermined level.

참조부호 36은 상기 필터/증폭부(34)에서 출력되는 디스플레이용 아나로그 비디오신호를 이용하여 영상을 디스플레이시키는 영상출력부이다.Reference numeral 36 denotes an image output unit which displays an image by using the display analog video signal output from the filter / amplifier 34.

상기 영상출력부(36)는 도 4에 예시된 바와 같이 운전석 전방 패널상부에 설치된다.The image output unit 36 is installed above the driver's seat front panel as illustrated in FIG. 4.

이어, 본 발명의 실시예에 따른 차선 이탈 경보장치의 동작에 대해 도 5의 플로우차트를 참조하여 설명하면 다음과 같다.Next, the operation of the lane departure warning apparatus according to the embodiment of the present invention will be described with reference to the flowchart of FIG. 5.

차량이 도로를 주행하게 되면 영상입력부(10)에서 도로상의 차선 및 도로상에 존재하는 장애물을 촬영하여 증폭/필터부(12)로 입력시킨다(단계 100). 상기 증폭/필터부(12)에서는 그 입력되는 영상신호를 소정 레벨로 증폭하고 그 영상신호중의 노이즈성분을 제거한 후에 동기분리부(14)와 A/D 변환부(16)로 보낸다.When the vehicle travels on the road, the image input unit 10 photographs the lanes on the road and obstacles existing on the road and inputs them to the amplification / filter unit 12 (step 100). The amplifying / filtering unit 12 amplifies the input video signal to a predetermined level, removes noise components of the video signal, and sends the same to the sync separator 14 and the A / D converter 16.

상기 동기분리부(14)에서는 영상신호의 전처리를 위해 필요한 영상의 필드신호와 수직/수평 동기신호를 상기 영상신호(즉, 아날로그 비디오신호)에서 분리하여 전처리부(18)로 제공하고, 상기 A/D 변환부(16)는 상기 아날로그 비디오신호를 양자화해서 디지털 신호로 변환하여 상기 전처리부(18)로 제공한다.The sync separator 14 separates the field signal and the vertical / horizontal sync signal of the video necessary for preprocessing the video signal from the video signal (that is, the analog video signal) and provides the preprocessor 18 to the preprocessor 18. The / D converter 16 quantizes the analog video signal, converts the analog video signal into a digital signal, and provides the same to the preprocessor 18.

상기 전처리부(18)에서는 상기 입력되는 영상신호(즉, 디지털 비디오신호)에 대해 프레임별로 미분필터(도시 생략)를 이용하여 특징점만을 찾아내고 그 특징점에서 어느 일정크기 이상이면서 일정길이 이상이 되는 점만을 골라내어 에지로 분류한다(단계 110).The preprocessing unit 18 finds only a feature point using a differential filter (not shown) for each frame with respect to the input video signal (that is, a digital video signal), and the point becomes more than a certain length and a predetermined length from the feature point. Only the bays are picked and classified as edges (step 110).

여기서, 상기 일정크기 이상의 에지를 골라낼 때 미리 설정되어 있는 임계치를 기준으로 하여 그 임계치 이상이면 일정크기 이상인 것으로 판정한다. 상기 임계치는 도로의 밝기에 따라 자동으로 최적의 값으로 변화된다.Here, when selecting the edge of predetermined size or more, it is determined that it is more than a predetermined size based on the threshold value preset in advance. The threshold value is automatically changed to an optimal value according to the road brightness.

다시 말해서, 수직성분(운전자측면에서 차선을 보게 되면 수직임)을 강조하기 위해 2*1마스크 및 임계치를 적용하여 수직 성분이 있는 에지를 추출한다. 그 계산방법은 간단히 P(n,m)의 광도값과 P(n+1,m)의 광도값을 P(n,m)-P(n+1,m)연산을 수행하여 부호를 포함해서 미분영상의 D(n,m)픽셀에 저장한다. 이 값의 부호가 +이면 왼쪽에서 오른쪽으로 광도가 감소한다는 것을 의미하고, -이면 반대의 경우를 의미한다. 여기서, 상기 P는 픽셀의 위치를 나타내는 임의의 함수(모든 프레임에 적용됨)를 나타내고, 상기 n은 X좌표에 있는 픽셀의 위치를 나타내며, 상기 m은 Y좌표에 있는 픽셀의 위치를 나타내고, 상기 D는 미분영상에 대한 좌표의 미분 광도값을 나타낸다.In other words, to emphasize the vertical component (which is vertical when the lane is seen from the driver's side), a 2 * 1 mask and threshold are applied to extract the edge with the vertical component. The calculation method simply performs P (n, m) -P (n + 1, m) operation on the luminous intensity value of P (n, m) and P (n + 1, m) and includes the sign. Stored in D (n, m) pixels of differential image. If the sign of this value is +, it means that the brightness decreases from left to right, and-means the opposite. Where P represents an arbitrary function of the position of the pixel (applies to all frames), n represents the position of the pixel in X coordinates, m represents the position of the pixel in Y coordinates, and D Denotes the differential luminance value of the coordinate with respect to the differential image.

이후, 상기와 같이 각 프레임별로 추출되는 수직 성분이 있는 에지에 대해 후처리부(24)에서는 차선이라고 판단되는 에지만을 골라내기 위해 먼저, 탐색영역을 지정하게 된다(단계 120).Subsequently, the post processor 24 first selects a search area for the edge having the vertical component extracted for each frame as described above, so as to select only the edge determined as the lane (step 120).

본 발명의 실시예에서는 이전 프레임에서 추출된 차선의 방정식이 이미지 평면에서 지나는 궤적을 중심으로 좌,우 20픽셀 이내를 현재 프레임의 에지 탐색영역으로 한다. 그리고, 방정식의 궤적이 이미지의 크기 범위를 벗어나는 수직위치들은 기본 탐색영역이 주어진다. 그 기본 탐색영역은 이전 프레임에서 차선을 찾지 못했거나 차선을 변경할 때 이전 프레임에 인식된 차선의 중앙선을 기준으로 좌측, 우측 탐색영역으로 구분하여 새로운 차선을 찾기 위해서이다. 왜냐하면, 종래 탐색영역 지정 방식에서는 도로를 좌우로 구분하여 영역을 지정하는데, 이는 차선 변경시 변경하는 쪽의 차선이 반대쪽 영역으로 넘어가면 차선 추적이 중단되고 새로운 차선을 검색하는 동안 차선이 검출되지 않기 때문이다.In the embodiment of the present invention, the lane equation extracted from the previous frame is defined as an edge search area of the current frame within 20 pixels of the left and right centers of the trajectory passing through the image plane. And, vertical positions where the trajectory of the equation is outside the size range of the image are given the basic search range. The basic search area is to find a new lane by dividing the left and right search areas based on the center line of the lane recognized in the previous frame when the lane is not found in the previous frame or when the lane is changed. This is because, in the conventional search area designation method, the road is designated by dividing the road from side to side. When the lane is changed to the other side, the lane tracking is stopped and the lane is not detected while searching for a new lane. Because.

상기 현재 프레임에 대한 탐색영역 지정이 완료되면 상기 후처리부(24)는 그 프레임에서 차선폭으로 추정되는 물체를 분리하게 된다(단계 130).When the search region designation for the current frame is completed, the post-processing unit 24 separates an object estimated as the lane width from the frame (step 130).

즉, y수직 위치별로 차선이 나타날 경우 화면상에 나타나는 픽셀 폭을 미리 추정한 값을 사용하여 그 폭에 맞는 물체의 에지점들을 차선 에지 후보 리스트에 기록한다. 차선폭에는 좌측점과 우측점이 있는데, 본 발명의 실시예에서는 물체를 좌측과 우측 사이의 광도가 주변의 광도보다 밝을 경우 이를 물체라고 정의한다.That is, when lanes appear for each vertical position, the edge points of the object corresponding to the widths are recorded in the lane edge candidate list by using a pre-estimated pixel width appearing on the screen. The lane width has a left point and a right point. In an embodiment of the present invention, an object is defined as an object when the luminance between the left and the right is brighter than the surrounding luminance.

상기 물체 영상을 상기 단계 110에서의 에지 추출방법에 적용하면 도 6에 예시된 바와 같이 물체의 좌측에서는 -부호를 가진 에지가 나타나고 물체의 오른쪽에서는 +부호를 갖는 에지가 나타난다. 따라서 간단히 미분 영상에서 우측에서부터 좌측으로 검사하여 +부호가 나왔을 때부터 -부호가 나올때까지의 픽셀 거리가 바로 물체의 폭이라고 단정할 수 있다. 이 폭에 y축 위치별로 미리 추정한 차선폭과 비교하여 비슷하면 차선 에지 후보 리스트에 기록한다. 이때 각 y축 위치별로 좌,우 각각 하나씩 두 개의 위치만 기록한다.When the object image is applied to the edge extraction method in step 110, as illustrated in FIG. 6, an edge with a-sign appears on the left side of the object and an edge with a + sign on the right side of the object. Therefore, by simply checking from the right to the left in the differential image, it can be concluded that the pixel distance from the + sign to the-sign is the width of the object. If the width is similar to the lane width previously estimated for each y-axis position, the width is recorded in the lane edge candidate list. At this time, record only two positions, one for left and one for each y-axis position.

이후, 상기 후처리부(24)에서는 잡음 에지 및 불필요한 에지 제거를 위해 에지 추출단계에서 사용하는 임계치를 조정한다(단계 140). 이는 지정된 탐색영역내의 평균 미분값으로 지정된다. 이는 도로의 차선을 도포하는데 사용된 페인트의 반사특성이 운전자의 시야에서 주변 광도 분포와 어울리면서 명료하게 나타나도록 맞추어져 있다는데 착안했다.Thereafter, the post processor 24 adjusts a threshold value used in the edge extraction step to remove noise edges and unnecessary edges (step 140). This is specified as the average differential value within the specified search area. It was conceived that the reflective properties of the paint used to apply the lanes of the road were tailored to appear clearly in the driver's field of vision, matching the distribution of ambient light.

상기 차선폭으로 추정되는 물체를 분리하기 위해 상기 단계 120에서 설명된 탐색영역에 들어있는 에지점들을 참조하면서 참조되는 에지점들의 미분값들을 전부 더한다. 이는 다음과 같은 순서로 진행된다.In order to separate the object estimated by the lane width, the derivative values of the edge points referred to are added while referring to the edge points included in the search region described in step 120. This is done in the following order:

FOR [ All Edge in Search area ] -------루프 1FOR [All Edge in Search area] ------- Loop 1

{{

(y,x) = 탐색영역내의 다음 탐색 에지 좌표.(y, x) = coordinates of the next search edge in the search area.

IF Edge(y,x) < Threshold THEN continue; --------처리조건 1IF Edge (y, x) < Threshold THEN continue; -------- Treatment condition 1

IF (Edge(y,x) < 11) ---------------------------처리조건 2IF (Edge (y, x) <11) --------------------------- Processing Condition 2

Total_Diff += Edge(y,x);Total_Diff + = Edge (y, x);

Else continue;Else continue;

Number_of_Edge++;Number_of_Edge ++;

Detect_Width(Edge(y,x));Detect_Width (Edge (y, x));

}}

이 루프가 끝나면 물체분리가 끝나있고 Total_Diff에는 탐색에 사용된 에지들의 미분값 총합이 들어 있다. 그리고, Number_of_Edge에는 탐색된 에지점들의 개수가 들어 있다.At the end of this loop, object separation is complete, and Total_Diff contains the sum of the derivatives of the edges used in the search. And, Number_of_Edge contains the number of searched edge points.

다음, 이하의 계산을 수행한다. Next, the following calculation is performed.

상기 임계치(Threshold)를 다음 프레임의 미분결과에 대해 루프 1을 적용할 때의 처리조건 1에서 임계치로 사용한다. 상기 수식 1에서 1을 빼준 것은 평균미분값에서 -1한 결과가 다음 프레임에서의 적정 임계치이기 때문이다.The threshold is used as a threshold in processing condition 1 when loop 1 is applied to the derivative of the next frame. The reason for subtracting 1 from Equation 1 is because the result of -1 from the average derivative is an appropriate threshold in the next frame.

이와 같은 임계치 설정방식에 따르면, 현재 프레임에서의 탐색 영역내 물체들의 밝기 차이가 대체로 크면 임계치가 올라가고, 대체로 작으면 즉 밝기 차이의 평균이 작으면 임계치도 떨어진다. 이를 본 발명에서는 자동 임계치 조정방식이라고 명명한다. 상기 자동 임계치 조정방식은 현재 프레임에서 결정된 임계치를 다음 프레임에서의 임계치로 사용하므로, 임계치는 도로 주행에 따른 조명환경(예컨대, 주간, 야간, 터널안, 흐리고 비올 때 등등)의 변화에 따라 실시간으로 계속 변경된다.According to the threshold setting method as described above, if the brightness difference of the objects in the search area in the current frame is large, the threshold goes up, and if it is small, that is, if the average of the brightness differences is small, the threshold goes down. This is called an automatic threshold adjustment method in the present invention. Since the automatic threshold adjustment method uses the threshold determined in the current frame as the threshold in the next frame, the threshold value is changed in real time according to the change of the lighting environment (eg, daytime, nighttime, in a tunnel, when it is cloudy or rainy) according to the road driving. It keeps changing.

상기의 방식에서 처리조건 2가 없다고 가정한다면, 야간에 탐색영역내에서 반사 테이프가 붙여진 안전 표지가 있는 경우 헤드라이트 빛 반사로 인해 그 곳의 콘트라스트가 커지게 되고, 그로 인해 평균 임계치의 값이 지나치게 올라가는 문제가 있다. 이런 경우를 대비하여 처리조건 2가 있게 된 것이다. 미분값이 지나치게 높은 에지는 평균광도 계산에서 제외할 뿐만 아니라 물체폭 계산에서도 제외된다.Assuming that there is no processing condition 2 in the above manner, if there is a safety sign with a reflective tape in the search area at night, the contrast of the headlights will increase due to the reflection of the headlights, thereby causing the average threshold value to be excessive. There is a problem going up. In this case, there is a processing condition 2. Edges with excessively high derivatives are excluded from the calculation of the average brightness as well as from the object width calculation.

이후, 상기 후처리부(24)에서는 서로 연관이 있는 에지점끼리 그룹화하고 차선 특징이 없는 그룹을 제거한다(단계 150). 그룹화하는 기준은 차선 에지 후보 리스트에서 서로 소정 픽셀(예컨대, 4픽셀) 이내에 모여 있는 에지점들을 하나의 그룹으로 한다. 그리고, 에지점을 10개 이하를 가지는 그룹들을 제거한다. 마지막으로, 그룹별로 최소의 오차로 설명할 수 있는 1차 방정식을 각각 추출하여 기울기가 왼쪽 에지 리스트에서는 음, 오른쪽 에지 리스트에서는 양의 기울기를 가지는 그룹은 차선 에지 후보 리스트에서 제거한다(도 7참조).Thereafter, the post processing unit 24 groups the edge points associated with each other and removes the group having no lane feature (step 150). The criterion for grouping is as one group of edge points gathered within a predetermined pixel (for example, 4 pixels) from each other in the lane edge candidate list. Then, the groups having 10 or less edge points are removed. Finally, we extract the linear equations that can be explained by the minimum error for each group, and remove the group whose slope is negative in the left edge list and the positive slope in the right edge list from the lane edge candidate list (see FIG. 7). ).

그 상태에서 여러 차선중 주행 차선을 추출하기 위해 상기 후처리부(24)는 가장 안쪽으로 위치하는 1차 방정식을 가지는 그룹들만 남겨두고 바깥쪽에 위치하는 그룹들은 제거한다(단계 160). 그 결과 도 8과 같은 상태가 된다.In this state, in order to extract the driving lane among the lanes, the post-processing unit 24 removes only the groups having the first-order equation located inward and removes the groups located outside (step 160). As a result, the state is as shown in FIG.

그리고, 상기 후처리부(24)는 상기 차선 에지 후보 리스트에서 최종적으로 남아있는 에지점들을 하나로 그룹화하여 이들을 최소의 오차로 설명할 수 있는 방정식을 추출한다(단계 170). 본 발명의 실시예에서는 상기 최소의 오차로 설명할 수 있는 방정식을 추출하기 위해 Least square method를 사용하였다. 상기 단계 170의 동작결과에 의해 최종 계산된 차선 방정식이 구해진다.The post-processing unit 24 groups the last remaining edge points in the lane edge candidate list into one and extracts an equation that can explain them with a minimum error (step 170). In the embodiment of the present invention, a Least square method is used to extract an equation that can be explained with the minimum error. The final calculated lane equation is obtained by the operation result of step 170.

이후, 상기 후처리부(24)는 상기 추출된 최종적인 차선 방정식을 기준으로 도로 모델링을 수행한다(단계 180). 도로 모델링동작은 다음과 같다.Thereafter, the post processor 24 performs road modeling based on the extracted final lane equation (step 180). The road modeling operation is as follows.

도 9를 참조하면, EOF와 추출된 차선 방정식을 현재 차량이 주행중인 차선이라고 단정하고 도로의 화면 영역에서 어떤 위치에 있는가를 판단한다. 차량의 이탈 여부는 차량의 중심과 추출된 주행차선의 중심거리를 기준으로 판단한다. 이때 차선의 어느 부분을 이탈여부판정에 사용할 것인지 문제가 나타난다.Referring to FIG. 9, it is assumed that the EOF and the extracted lane equation are the lanes in which the vehicle is currently driving, and it is determined in which position in the screen area of the road. Whether the vehicle is separated is determined based on the center of the vehicle and the center distance of the extracted driving lane. At this time, a problem arises in which part of the lane is to be used for judging.

도 9에서, 화면의 중심위치 S는 고정된 값이다. 주행차선의 중심은 화면의 가장 하단에서 추출하면 위치 a가 되고, 위로 올라갈수록 중심의 위치는 b,c,d,e가 된다.In FIG. 9, the center position S of the screen is a fixed value. The center of the driving lane is the position a when extracted from the bottom of the screen, and the position of the center becomes b, c, d, and e as it goes up.

이탈정도를 S-(주행차선 중심위치)로 하면, a의 경우에서의 이탈정도는 S-a이고 부호는 음이므로 오른쪽으로 이탈한 것으로 판단한다. b의 경우에서의 이탈정도는 S-b이고 부호는 음이므로 오른쪽으로 이탈한 것으로 판단한다. c의 경우에서의 이탈정도는 S-c이고 부호는 음이므로 오른쪽으로 이탈한 것으로 판단한다. d의 경우에서의 이탈정도는 S-d이고 부호는 음이므로 오른쪽으로 이탈한 것으로 판단한다. e의 경우에서의 이탈정도는 S-e이고 부호는 양이므로 왼쪽으로 이탈한 것으로 판단한다.When the degree of departure is S- (the driving lane center position), the degree of departure in case of a is S-a and the sign is negative, so it is determined that the deviation is to the right. In case of b, the degree of departure is S-b and the sign is negative. In case of c, the degree of departure is S-c and the sign is negative. In case of d, the degree of departure is S-d and the sign is negative. In the case of e, the degree of departure is S-e and the sign is positive.

상기 각 경우에 이탈정도가 가장 큰 경우는 a이다. 이렇게 차선 판단의 기준 위치에 따라 같은 프레임에서 이탈정도 계산값이 달라진다. 각 경우에서 a의 경우의 계산값이 실제 이탈정도에 가장 근접한 값이 된다. 따라서 이탈여부 판단 기준위치는 화면의 가장 하단부분(즉, y=191)으로 규정한다.The largest deviation degree in each case is a. Thus, the deviation value calculated in the same frame depends on the reference position of the lane determination. In each case, the calculated value of a is the value closest to the actual deviation. Accordingly, the reference position for deviation determination is defined as the lowest part of the screen (ie, y = 191).

다음으로 고려해아 할 점은 현재 차선의 폭이다. 차선의 폭은 도 10에서와 같이 추출한다.The next thing to consider is the current lane width. The lane width is extracted as in FIG. 10.

차의 진행방향이 주행차선의 중앙선과 수평을 이루며, 또한 차량이 중앙선을 따라 직선으로 움직이면 화면상에 투영된 도로폭을 그대로 사용해도 된다. 그러나, 차선 변경때나 주행차선의 한쪽에 근접해서 주행하는 경우에는 다르다. 도 11을 참조하면, 화면상에서 나타나는 직선 A'는 실제 도로에서는 직선 A가 된다. 이는 주행차선의 폭이 아니다. 주행차선의 폭은 직선 B이다. 이 선이 화면상에서 나타나는 모양은 직선 B'이다. 따라서, 주행차선의 정확한 도로폭을 계산하기 위해서는 다음의 몇가지 처리를 추가해야 한다.If the direction of travel of the vehicle is parallel to the center line of the driving lane, and the vehicle moves in a straight line along the center line, the road width projected on the screen may be used as it is. However, it is different at the time of lane change or when driving near one side of a traveling lane. Referring to FIG. 11, a straight line A 'appearing on the screen becomes a straight line A on an actual road. This is not the width of the driving lane. The width of the traveling lane is straight line B. The appearance of this line on the screen is a straight line B '. Therefore, in order to calculate the exact road width of the driving lane, the following several processes should be added.

도 12에서와 같이, 주행 차선의 폭을 계산하기 위해 y=191인 직선과 왼쪽과 오른쪽 차선의 방정식이 만나는 점(A)과 점(B)을 각각 차선의 위치라 정하고, 그 사이의 중간점을 화면좌표계에서의 차선 중앙점으로 정한다. 다음으로 차선에 대한 차의 위상을 고려하여 EOF와 차선 중앙점을 지나는 직선에 수직이면서 차선 중앙점을 지나는 직선의 방정식을 구한다.As shown in FIG. 12, in order to calculate the width of the driving lane, a point A and a point B where the straight line of y = 191 and the equations of the left and right lanes meet are designated as the positions of the lanes, respectively, and an intermediate point therebetween. Set as the lane center point in the screen coordinate system. Next, considering the phase of the vehicle with respect to the lane, the equation of a straight line passing through the center point of the lane perpendicular to the straight line passing through the EOF and the lane center point is obtained.

이 방정식이 좌우 차선의 방정식과 만나는 두 개의 점을 각각 좌측위상보정점(점 A''), 우측위상보정점(점 B'')으로 하고, 이 두점(점 A'', 점 B'')사이의 거리를 현재 차선의 폭(즉, 도로폭)에 대한 픽셀 거리(Lane Width)로 정한다.The two points where this equation meets the left and right lane equations are the left phase correction point (point A '') and the right phase correction point (point B ''), respectively. Is the distance between the current lane width (ie, the road width).

이와 같이 하여 도로 모델링이 종료되면(단계 180에서 "Yes") 상기 후처리부(24)는 최종적으로 추출된 차선의 방정식으로 차폭 계산 및 이탈정도를 계산하여 경보로직을 작동시킬 것인지를 판단한다(단계 190). 이탈정도계산은 다음과 같다. 이탈 레벨= 주행차선폭/2- 차량폭/2- |화면중심*좌표-차선 중앙점*좌표| In this way, when the road modeling is completed (Yes in step 180), the post-processing unit 24 determines whether to activate the alarm logic by calculating the vehicle width calculation and the deviation degree using the equation of the finally extracted lane (step 190). The deviation calculation is as follows. Departure level = driving lane width / 2-vehicle width / 2-| screen center * coordinate-lane center point * coordinate |

상기의 이탈 레벨을 근거로 하여 현재 주행중인 차량이 차선이탈을 하고 있는지를 판단하여, 상기 이탈 레벨이 경보폭 이하로 줄어들 때 경보를 울린다. 그리고, 차선이 바깥쪽으로 향했거나 한쪽만 추출된 경우 및 추출된 방정식으로 계산한 차선 폭이 가능한 범위를 넘어서는 경우에는 경보로직을 정지시킨다(단계 200).On the basis of the departure level, it is determined whether the currently running vehicle is leaving a lane, and an alarm is issued when the departure level decreases below the alarm width. Then, if the lane faces outward or only one side is extracted, and the lane width calculated by the extracted equation exceeds the possible range (step 200).

이때, 상기 후처리부(24)에서는 차선 이탈 정도에 따른 경보를 부저(도시 생략) 및 점멸소자(예컨대, LED)(도시 생략)를 이용하여 운전자에게 알릴 뿐만 아니라 OSD발생부(28)를 제어하여 경보용 OSD문자 메시지를 영상 출력부(36)로 출력시킨다. 예를 들어, 양 차선의 폭을 계측하고 자동차가 양 차선중 어느 한쪽의 차선에 근접했는가를 계산하여 근접폭이 가까워서 차선을 이탈할 염려가 있게 되면 1차 경보를 하고, 다시 차선을 완전히 이탈하게 되면 2차 경보를 한다.At this time, the post-processing unit 24 not only informs the driver by using a buzzer (not shown) and a flashing element (for example, LED) (not shown) according to the lane departure degree, but also controls the OSD generating unit 28. The OSD text message for alarm is output to the video output unit 36. For example, measure the width of both lanes, calculate whether the car is close to which lane, and if there is a risk that the lane is close enough to leave the lane, give a first alarm, and then leave the lane completely. If there is a second alarm.

또한, 이때 차량의 차선 이탈정도가 심할 경우 부저음의 발생빈도수를 급격하게 하고, 점멸소자의 점멸동작이 빠르게 행해지도록 한다. 그리고, 상기 부저음 또는 점멸소자의 점멸동작과 함께 경보용 OSD문자 메시지를 출력한다.In addition, when the lane departure degree of the vehicle is severe at this time, the frequency of occurrence of the buzzer sound is suddenly increased, and the blinking operation of the blinking element is performed quickly. Then, an alarm OSD text message is output together with the blinking operation of the buzzer or the flashing device.

한편, 상기 후처리부(24)에서는 시스템 작동의 이상여부를 체크하여 시스템에 아무런 이상이 없을 경우에는 시스템을 재시작시키고, 속도신호 처리 등을 행한다.On the other hand, the post-processing unit 24 checks whether the system operation is abnormal, restarts the system if there is no abnormality in the system, and performs the speed signal processing.

이와 같이 차량의 차선 이탈정도에 따라 경보동작을 수행하다가 차량이 주행을 중단한 경우(단계 210에서 "No")에는 차선 이탈판정 및 경보동작을 종료한다.As described above, when the vehicle stops driving while performing the alarm operation according to the lane departure degree of the vehicle (No in step 210), the lane departure determination and the alarm operation are terminated.

그리고, 도 13 내지 도 17은 본 발명에서의 차선 인식방법을 여러 가지 조건에서 실험한 결과 그래프로서, 도 13은 주행시험장에서 해진 직후 직선구간의 실험 결과 그래프이고, 도 14는 야간에 고속도로에서 비올 때의 실험 결과 그래프이며, 도 15는 고속도로 오후 5시경 약간 비올때의 실험 결과 그래프이고, 도 16은 주행시험장에서 야간에 커브구간의 실험 결과 그래프이며, 도 17은 국도 주간 비올때의 실험 결과 그래프이다. 상기 도 13 내지 도 17을 보면, 프레임이 진행될수록 차선 인식율이 향상됨을 알 수 있다.13 to 17 are graphs showing the results of experiments using the lane recognition method according to the present invention under various conditions. FIG. 13 is a graph showing experimental results of a straight section immediately after the driving test site. FIG. Fig. 15 is a graph of the experimental results when it rains slightly around 5 pm on the highway, Fig. 16 is a graph of the experimental results of the curve section at night at the driving test site, and Fig. 17 is a graph of the experimental results when the road rains during the daytime to be. 13 to 17, it can be seen that the lane recognition rate improves as the frame progresses.

이상 설명한 바와 같은 본 발명에 의하면, 운전자의 운전상태(차선 이탈 정도)를 감시하여 부주의한 운전에 의한 상황을 감지하여 미리 경보함으로써, 운전자가 적절한 행동을 취하게 하고, 그로 인해 사고를 미연에 방지하게 된다.According to the present invention as described above, by monitoring the driver's driving state (lane departure degree) to detect the situation caused by inadvertent driving and alert in advance, the driver to take appropriate action, thereby preventing accidents in advance Done.

한편, 본 발명은 상술한 실시예로만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위내에서 수정 및 변형하여 실시할 수 있고, 이러한 수정 및 변경 등은 이하의 특허 청구의 범위에 속하는 것으로 보아야 할 것이다.On the other hand, the present invention is not limited to the above-described embodiment, but can be modified and modified within the scope not departing from the gist of the present invention, such modifications and changes should be regarded as belonging to the following claims. will be.

Claims (27)

주행 전방의 단일의 영상을 촬영하여 영상신호로서 출력하는 영상 입력수단과;Image input means for photographing a single image in front of the travel and outputting it as a video signal; 상기 영상 입력수단으로부터의 영상신호에서 일정크기 및 일정길이 이상의 에지를 실시간으로 추출하는 전처리수단;Preprocessing means for extracting a predetermined size and a predetermined length or more edges in real time from the video signal from the video input means; 상기 실시간으로 추출된 에지에서 차선에 해당하는 에지만을 추출하고, 그 추출된 에지에서 유효한 차선을 찾아 차선의 폭을 계산하며, 차량의 차선 이탈정도의 차선정보를 출력하는 후처리수단 및;Post-processing means for extracting only an edge corresponding to the lane from the extracted edge in real time, finding a valid lane at the extracted edge, calculating the width of the lane, and outputting lane information of a lane departure degree of the vehicle; 상기 처리수단으로부터 추출된 차선 정보에 기초하여 차선 영상 및 차선 이탈정도를 실시간으로 표시하는 영상 출력수단을 구비하여 구성된 것을 특징으로 하는 차선 이탈 경보장치.And a video output means for displaying a lane image and a lane departure degree in real time based on the lane information extracted from the processing means. 삭제delete 제 1 항에 있어서,The method of claim 1, 상기 영상 입력수단은 주행하고 있는 도로에 대향되게 차실내의 백미러 근방에 설치되는 것을 특징으로 하는 차선 이탈 경보장치.The image input means is a lane departure warning device, characterized in that installed in the vicinity of the rearview mirror in the cabin facing the road running. 제 1 항에 있어서,The method of claim 1, 상기 전처리수단은 입력되는 영상신호의 밝기에 따라 가변적으로 설정되는 임계치를 기초로 하여 일정크기 및 일정길이 이상의 에지를 추출하는 것을 특징으로 하는 차선 이탈 경보장치.And the preprocessing means extracts an edge having a predetermined size and a predetermined length or more based on a threshold value that is variably set according to the brightness of an input video signal. 제 1 항에 있어서,The method of claim 1, 상기 후처리수단은 주행 방향으로 이어져 있는 차선의 정보만을 강조하여 차선의 경계선으로 하고, 그 차선의 경계선을 유효한 차선으로 인식하는 것을 특징으로 하는 차선 이탈 경보장치.The post-processing means is a lane departure warning device, characterized in that to emphasize only the information of the lanes running in the running direction to the boundary of the lane, and recognize the boundary of the lane as a valid lane. 삭제delete 삭제delete 삭제delete 제 1 항에 있어서,The method of claim 1, 상기 후처리수단은 차량의 차선 이탈정도에 따라 OSD문자 메시지를 상기 영상 출력수단에 표시하는 것을 특징으로 하는 차선 이탈 경보장치.And the post-processing means displays an OSD text message on the video output means according to the lane departure degree of the vehicle. 제 1 항에 있어서,The method of claim 1, 상기 후처리수단은 차량의 차선 이탈정도에 따라 부저음의 발생빈도수를 차등적으로 설정함과 함께 OSD문자 메시지를 상기 영상 출력수단에 표시하는 것을 특징으로 하는 차선 이탈 경보장치.And the post-processing means differentially sets the frequency of occurrence of a buzzer sound according to the lane departure degree of the vehicle and displays an OSD text message on the image output means. 제 1 항에 있어서,The method of claim 1, 상기 후처리수단은 차량의 차선 이탈정도에 따라 점멸소자의 점멸 시간차를 차등적으로 설정함과 함께 OSD문자 메시지를 상기 영상 출력수단에 표시하는 것을 특징으로 하는 차선 이탈 경보장치.And the post-processing means differentially sets the flashing time difference of the flashing element according to the lane departure degree of the vehicle and displays an OSD text message on the image output means. 제 1 항에 있어서,The method of claim 1, 상기 후처리수단은 차량의 차선 이탈정도에 따라 부저음의 발생빈도수 및 점멸소자의 점멸 시간차를 차등적으로 설정함과 함께 OSD문자 메시지를 상기 영상 출력수단에 표시하는 것을 특징으로 하는 차선 이탈 경보장치.And the post-processing means differentially sets the frequency of occurrence of a buzzer sound and the flickering time difference of the flashing device according to the lane departure degree of the vehicle, and displays an OSD text message on the image output means. 제 1 항에 있어서,The method of claim 1, 상기 영상 출력수단은 운전석 전방 패널상부에 설치되는 것을 특징으로 하는 차선 이탈 경보장치.The image output means is a lane departure warning device, characterized in that installed on the driver's front panel. 주행 전방의 단일의 영상을 입력받아 프레임별로 차선 성분을 추출하고, 그 추출된 차선 성분에서 최적의 차선 성분만을 이용하여 프레임별로 현재의 주행 도로에 대한 모델링을 실시간으로 수행하는 제 1과정; 및A first step of extracting a lane component for each frame by receiving a single image of a driving front and performing modeling of the current driving road in real time for each frame using only the optimal lane component from the extracted lane component; And 상기 모델링된 도로에서 차량의 차선 이탈정도를 판단하고 그 결과에 따라 경보를 행하는 제 2과정을 구비하여 구성된 것을 특징으로 하는 차선 이탈 경보방법.And a second process of determining a lane departure of the vehicle in the modeled road and alerting according to the result. 제 14 항에 있어서,The method of claim 14, 상기 제 1과정은 입력되는 차선 영상의 프레임별로 수직성분이 있는 에지를 추출하면서 각 프레임별로 에지 탐색 영역을 설정하는 제 1단계와;The first process includes a first step of setting an edge search region for each frame while extracting edges having vertical components for each frame of the input lane image; 상기 각 프레임별 에지 탐색 영역에서 차선폭으로 추정되는 물체만을 분리하여 차선 에지 후보로 지정하는 제 2단계;A second step of separating only an object estimated to be lane width in each frame edge search area and designating it as a lane edge candidate; 상기 차선 에지 후보들중에서 차선 특징이 있는 차선 에지 후보를 각 프레임별로 추출하고, 각 프레임별로 그 추출된 차선 에지 후보들을 하나로 그룹화하여 최적의 차선 방정식을 도출하는 제 3단계; 및A third step of extracting a lane edge candidate having lane characteristics from each of the lane edge candidates for each frame and grouping the extracted lane edge candidates into one frame to derive an optimal lane equation; And 상기 도출된 최적의 차선 방정식을 기준으로 도로 모델링을 수행하는 제 4단계로 구성되는 것을 특징으로 하는 차선 이탈 경보방법.And a fourth step of performing road modeling based on the derived optimal lane equation. 제 15 항에 있어서,The method of claim 15, 상기 제 1단계는 이전 프레임에서 추출된 차선의 방정식이 이미지 평면에서 지나는 궤적을 중심으로 좌,우 20픽셀 이내를 현재의 프레임에 대한 에지 탐색 영역으로 설정하는 단계를 포함하는 것을 특징으로 하는 차선 이탈 경보방법.The first step may include setting the edge search region for the current frame within 20 pixels of the lane equation extracted from the previous frame, based on the trajectory passing through the image plane. Alarm method. 제 15 항에 있어서,The method of claim 15, 상기 제 1단계는 차선의 방정식의 궤적이 이미지의 크기 범위를 벗어나는 수직위치들에 대해서는 이전 프레임에서 차선을 찾지 못했거나 차선을 변경할 때 이전 프레임에 인식된 차선의 중앙선을 기준으로 좌측, 우측 탐색영역으로 구분하여 새로운 차선을 찾기 위해 기본 탐색영역으로 설정하는 단계를 포함하는 것을 특징으로 하는 차선 이탈 경보방법.The first step is to search for the vertical positions where the trajectory of the lane equation is out of the size range of the image. The lane departure warning method comprising the step of setting as a basic search area to find a new lane separated by. 제 15 항에 있어서,The method of claim 15, 상기 제 1단계는 각 프레임별 차선 에지 후보는 해당 프레임에서의 임계치를 기준으로 선택하고, 현재 프레임에서의 탐색 영역내의 에지점들의 평균값이 다음 프레임에서의 임계치로 지정하며, 상기 임계치는 도로환경에 적응적으로 자동조절시키는 단계를 포함하는 것을 특징으로 하는 차선 이탈 경보방법.In the first step, the lane edge candidate for each frame is selected based on the threshold value in the corresponding frame, and the average value of the edge points in the search area in the current frame is designated as the threshold value in the next frame. Lane departure warning method comprising the step of adaptively auto-adjusting. 제 15 항에 있어서,The method of claim 15, 상기 제 3단계는 상기 차선 에지 후보들에서 서로 소정 픽셀 이내에 있는 에지점들을 하나의 그룹으로 정하는 단계와;The third step includes defining edge points within a predetermined pixel of the lane edge candidates as a group; 상기 그룹들중에서 일정 개수이하의 에지점들을 갖는 그룹을 제거하는 단계;Removing a group having less than a certain number of edge points among the groups; 잔존하는 그룹별로 최소의 오차로 설명할 수 있는 1차 방정식을 각각 추출하여 기울기의 상태가 일정 조건을 충족하는 그룹만을 보존하는 단계; 및Extracting each linear equation that can be described as a minimum error for each remaining group, thereby preserving only the groups whose slopes satisfy certain conditions; And 상기 보존된 그룹들중 가장 안쪽에 위치하는 1차 방정식을 가지는 그룹들을 이용하여 최종적인 차선 방정식을 추출하는 단계로 구성되는 것을 특징으로 하는 차선 이탈 경보방법.And extracting a final lane equation using groups having a first-order equation located in the innermost one of the preserved groups. 제 14 항에 있어서,The method of claim 14, 상기 제 1과정은 주행 전방의 영상중 차선은 영상입력수단에 의해 입력되는 연속적인 영상에서 차분의 결과를 메모리에 저장하고 연속 프레임의 차분들을 중첩시켜 해당 차량의 주행방향으로 차분이 더해져 강조되게 하고, 주위 환경 및 장애물의 영상은 시간적으로 차분의 차이가 없이 중첩되어 상기 강조된 차선보다 레벨이 낮은 데이터가 되게 설정하는 단계를 포함하는 것을 특징으로 하는 차선 이탈 경보방법.In the first process, the lane of the image ahead of the driving stores the result of the difference in the continuous image inputted by the image input means in the memory, and overlaps the differences of the continuous frames so that the difference is added to the driving direction of the vehicle. And setting the image of the surrounding environment and the obstacle so that the image is overlapped without temporal difference so that the data is at a lower level than the highlighted lane. 제 14 항에 있어서,The method of claim 14, 상기 제 2과정은 차량의 차선 이탈정도에 따라 부저음의 발생빈도수를 차등적으로 설정함으로써 경보하는 단계를 포함하는 것을 특징으로 하는 차선 이탈 경보방법.The second process is a lane departure warning method comprising the step of alarming by differentially setting the frequency of occurrence of the buzzer sound according to the lane departure degree of the vehicle. 제 21 항에 있어서,The method of claim 21, 상기 차량의 차선 이탈정도에 따라 OSD문자 메시지를 추가로 표시하는 것을 특징으로 하는 차선 이탈 경보방법.And displaying an OSD text message according to the lane departure degree of the vehicle. 삭제delete 제 14 항에 있어서,The method of claim 14, 상기 제 2과정은 차량의 차선 이탈정도에 따라 OSD문자 메시지를 추가로 표시하는 것을 특징으로 하는 차선 이탈 경보방법.The second process of the lane departure warning method characterized in that for displaying the OSD text message further in accordance with the lane departure degree of the vehicle. 삭제delete 삭제delete 제 1 항에 있어서,The method of claim 1, 상기 전처리부는 다수의 메모리부를 구비하고 후처리부의 프로세스와 교번적으로 메모리 동작을 수행하여 실시간으로 영상을 처리하는 것을 특징으로 하는 차선 이탈 경보방법.And the preprocessing unit comprises a plurality of memory units, and performs a memory operation alternately with a process of the post-processing unit to process an image in real time.
KR1020000010343A 2000-03-02 2000-03-02 An apparatus for warning lane deviation and a method for warning the same KR100355993B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020000010343A KR100355993B1 (en) 2000-03-02 2000-03-02 An apparatus for warning lane deviation and a method for warning the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020000010343A KR100355993B1 (en) 2000-03-02 2000-03-02 An apparatus for warning lane deviation and a method for warning the same

Publications (2)

Publication Number Publication Date
KR20000063151A KR20000063151A (en) 2000-11-06
KR100355993B1 true KR100355993B1 (en) 2002-10-12

Family

ID=19651473

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000010343A KR100355993B1 (en) 2000-03-02 2000-03-02 An apparatus for warning lane deviation and a method for warning the same

Country Status (1)

Country Link
KR (1) KR100355993B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190036844A (en) * 2017-09-28 2019-04-05 삼성전자주식회사 Method and apparatus of identifying driving lane
US11014579B2 (en) 2019-07-04 2021-05-25 A. I. Matics Inc. Lane departure warning determination method using driver state monitoring

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020053115A (en) * 2000-12-26 2002-07-05 이계안 Image processing method using a single field
KR100482564B1 (en) * 2002-07-08 2005-04-14 현대자동차주식회사 Traffic line detection controlling device of vehicle and method thereof
KR20040022957A (en) * 2002-09-10 2004-03-18 현대자동차주식회사 Traffic line detection controlling device of vehicle
JP4496759B2 (en) 2003-10-29 2010-07-07 日産自動車株式会社 Lane departure prevention device
JP4496760B2 (en) 2003-10-29 2010-07-07 日産自動車株式会社 Lane departure prevention device
KR100766594B1 (en) * 2006-01-20 2007-10-11 한민홍 Early lane departure warning method for vehicle
KR100897692B1 (en) * 2007-09-12 2009-05-15 현대자동차주식회사 Rear side waring system of vehicle and its operating method thereof
KR100882687B1 (en) * 2007-12-06 2009-02-06 현대자동차주식회사 Apparatus and method for alarming an obstacle in rear and side of vehicle
CN111915496B (en) * 2019-05-08 2024-04-23 北京字节跳动网络技术有限公司 Image processing method, device and storage medium

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190036844A (en) * 2017-09-28 2019-04-05 삼성전자주식회사 Method and apparatus of identifying driving lane
KR102421855B1 (en) 2017-09-28 2022-07-18 삼성전자주식회사 Method and apparatus of identifying driving lane
US11014579B2 (en) 2019-07-04 2021-05-25 A. I. Matics Inc. Lane departure warning determination method using driver state monitoring

Also Published As

Publication number Publication date
KR20000063151A (en) 2000-11-06

Similar Documents

Publication Publication Date Title
CN106611512B (en) Method, device and system for processing starting of front vehicle
US8405491B2 (en) Detection system for assisting a driver when driving a vehicle using a plurality of image capturing devices
US9773177B2 (en) Surrounding environment recognition device
JP6888950B2 (en) Image processing device, external world recognition device
US6734787B2 (en) Apparatus and method of recognizing vehicle travelling behind
KR100373002B1 (en) Method for judgment out of lane of vehicle
JP6416293B2 (en) Method of tracking a target vehicle approaching a car by a car camera system, a camera system, and a car
EP2928178B1 (en) On-board control device
WO2010058821A1 (en) Approaching object detection system
JP2002197470A (en) Device for detecting traffic lane
KR100355993B1 (en) An apparatus for warning lane deviation and a method for warning the same
JP2005309797A (en) Warning device for pedestrian
KR20190019840A (en) Driver assistance system and method for object detection and notification
JPH11153406A (en) Obstacle detector for vehicle
JP7042185B2 (en) Distance calculation device
JP4826355B2 (en) Vehicle surrounding display device
CN110913212B (en) Intelligent vehicle-mounted camera shielding monitoring method and device based on optical flow and auxiliary driving system
JP2004252550A (en) Driving support device
JP3729005B2 (en) Vehicle rear monitoring device
JP3226699B2 (en) Perimeter monitoring device for vehicles
JP3942289B2 (en) Vehicle monitoring device
KR100853444B1 (en) Method of sensing car accidents
JP7446445B2 (en) Image processing device, image processing method, and in-vehicle electronic control device
KR102471542B1 (en) Road Fog Detection System and Method Using Open API based CCTV during Nighttime
US20230122293A1 (en) Occluded oncoming vehicles detection systems and methods

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
G15R Request for early opening
E902 Notification of reason for refusal
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20060327

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee