KR20170104089A - Real time Lane Departure Warning Method and Warning System for Vehicle with Improving Processing Speed - Google Patents

Real time Lane Departure Warning Method and Warning System for Vehicle with Improving Processing Speed Download PDF

Info

Publication number
KR20170104089A
KR20170104089A KR1020160026457A KR20160026457A KR20170104089A KR 20170104089 A KR20170104089 A KR 20170104089A KR 1020160026457 A KR1020160026457 A KR 1020160026457A KR 20160026457 A KR20160026457 A KR 20160026457A KR 20170104089 A KR20170104089 A KR 20170104089A
Authority
KR
South Korea
Prior art keywords
lane
image
unit
roi
value
Prior art date
Application number
KR1020160026457A
Other languages
Korean (ko)
Other versions
KR101805883B1 (en
Inventor
박주홍
박효진
Original Assignee
아이디어주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이디어주식회사 filed Critical 아이디어주식회사
Priority to KR1020160026457A priority Critical patent/KR101805883B1/en
Publication of KR20170104089A publication Critical patent/KR20170104089A/en
Application granted granted Critical
Publication of KR101805883B1 publication Critical patent/KR101805883B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G06K9/00798—
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H04N5/2257—
    • H04N5/357—
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 처리속도를 향상시킨 실시간 차선이탈 경보시스템 및 경보방법에 관한 것으로서, 본 발명에 따른 처리속도를 향상시킨 실시간 차선이탈 경보방법은, 차량에 장착된 카메라의 영상정보를 이용하여 차선이탈시 운전자에게 차선이탈을 경고하는 차선이탈 경보방법에 있어서, 상기 카메라를 통하여 RGB방식 및 YUV방식 중 어느 하나의 영상포맷으로 형성되는 도로영상정보를 추가조작없이 원시영상데이터로 입력받는 단계; 도로영상정보를 전처리하여 차선을 검출하기 위한 관심영역의 실시간 차선인식을 위한 영상처리용 이미지를 생성하는 단계; 상기 생성된 영상처리용 이미지의 노이즈를 제거하고 후보차선을 추출한 다음 RANSAC알고리즘을 이용하여 주행차선 데이터를 검출하는 단계; 주행차선 데이터를 이용하여 상기 도로영상정보에서 추출되는 관심영역의 위치값 및 경고신호를 발생시키기 위해 참조되는 차선넓이값을 실시간으로 조정하는 단계; 및 상기 검출된 주행차선 데이터가 경고발생조건을 만족하는 경우에 차선이탈 경고신호를 발생시키는 단계;를 구비하는 있다.The present invention relates to a real-time lane departure warning system and an alarm method with improved processing speed, and a real-time lane departure warning method with improved processing speed according to the present invention, Claims [1] A lane departure warning method for warning a lane departure warning to a driver, comprising: receiving road image information formed of an RGB or YUV image format as raw image data without additional operation; Generating an image for image processing for real-time lane recognition of a region of interest for detecting lanes by preprocessing road image information; Removing noises of the generated image for image processing, extracting candidate lanes, and detecting driving lane data using the RANSAC algorithm; Adjusting, in real time, the position value of the ROI extracted from the road image information and the lane width value referred to for generating the warning signal using the driving lane data; And generating a lane departure warning signal when the detected driving lane data satisfies a warning generating condition.

Description

처리속도를 향상시킨 실시간 차선이탈 경보방법 및 경보시스템{ Real time Lane Departure Warning Method and Warning System for Vehicle with Improving Processing Speed }TECHNICAL FIELD [0001] The present invention relates to a real-time lane departure warning method and an alarm system,

본 발명은 처리속도를 향상시킨 실시간 차선이탈 경보방법 및 경보시스템에 관한 것으로서, 더욱 상세하게는, 차량에 설치된 카메라에서 촬영한 도로영상으로부터 추출되는 관심영역의 위치를 보정하여 저사양 하드웨어에서도 실시간으로 차선이탈을 경보할 수 있도록 처리속도를 향상시킨 차선이탈 경보방법 및 경보시스템에 관한 것이다.The present invention relates to a real-time lane departure warning method and alarm system that improves the processing speed, and more particularly, to a real time lane departure warning method and alarm system that improves the processing speed by correcting the position of a region of interest extracted from a road image taken by a camera installed in a vehicle, And more particularly, to a lane departure warning method and an alarm system in which a processing speed is improved so that a departure can be warned.

최근 들어 교통사고발생시 정확한 피해원인을 도출하기 위하여 자동차용 영상 사고기록장치(EDR ; Event Data Recoder)로 사용되는 블랙박스가 차량에 장착되는 것이 보편화되고 있다.Recently, a black box, which is used as an event data recorder (EDR) for an automobile, is mounted on a vehicle in order to find an exact cause of a damage in the event of a traffic accident.

이와 같은 차량용 블랙박스는 교통사고를 당할경우 충돌 전후의 사고를 기록해 사고 정황 파악에 필요한 정보를 제공할 수 있고, 촬영영상저장 기능, 하이패스 기능, 및 긴급구조신호 기능을 구비하여 실생활에 편의를 제공하고 있다.Such a vehicle black box can record the accident before and after a collision in case of a traffic accident, provide information necessary for the identification of the accident situation, and has a convenient function for real life .

한편, IT기술이 급속도로 발전하면서 이와 같은 차량용 블랙박스에 운전자가 차선을 이탈하지 않고 운전할 수 있도록 차선이탈을 경고하는 차선이탈 경보시스템(LDWS; Lane Departure Warning System)과 같은 운전자보조 시스템(DAS; Driver Assistance Systems)이 적용되고 있다.On the other hand, a driver assist system (DAS) such as a lane departure warning system (LDWS) that warns a lane departure warning such that a driver can operate without leaving a lane in a vehicle black box as IT technology rapidly develops. Driver Assistance Systems).

현재 대부분의 차선이탈 경보시스템에 사용하는 기술은 차량 전방의 영상정보에 GPS(Global Positioning System)와 같은 위치기반 기술 및 주행센서와 같은 센서기반 기술을 결합하여 사용하고 있으나 노면상태등 주변환경에 민감하고 다양한 도로 상황에 대해 적용이 어려울 뿐만 아니라 영상데이터외에도 다양한 데이터를 필요로 하여 데이터처리양이 늘어나 저사양 하드웨어를 사용하는 블랙박스에는 적용하기 어려운 문제점이 있었다.Currently, most of the technologies used in lane departure warning systems are combined with sensor-based technologies such as position-based technologies such as GPS (Global Positioning System) and driving sensors to the image information on the front of the vehicle. However, And it is difficult to apply to various road situations. In addition, it requires various data besides image data, and therefore, the amount of data processing is increased, so that it is difficult to apply it to a black box using low-end hardware.

이러한 문제점을 해결하기 위하여 카메라에서 수집되는 영상데이터의 모든 영역에서 차선을 찾기보다는 수집되는 영상데이터에서 관심영역을 설정하여 특정 관심영역에서만 차선을 찾음으로써 프로세서의 계산처리에 있어 효율성을 높인 다양한 기술에 대한 관심이 증대되고 있다.In order to solve these problems, rather than searching for lanes in all areas of the image data collected by the camera, it is possible to search the lane only in a specific area of interest by setting the area of interest in the collected image data, Interest is growing.

한편, 종래의 차선을 찾는 차선이탈 경보시스템에 관한 기술 중 허프변환(Hough Transform)을 이용하는 기술은 히스토그램(Histogram)을 이용하거나 에지(Edge)연결 정보를 이용하는 방법에 비하여 간단하지만, 픽셀 도메인에 존재하는 직선상의 각 픽셀에 대하여 파라미터 평면에 각각의 궤적을 그리는 방법을 이용하는 경우 처리 대상 픽셀수가 증가하여 많은 처리시간을 필요로 하고 복잡한 연산을 이용하여 차선을 원본 영상 전체에서 분리하기 때문에 연산량이 과다하고 불필요한 정보도 차선영상에 포함되어 결과적으로 전체적인 연산속도의 증가를 가져오는 문제점이 있었다.On the other hand, among technologies related to a lane departure warning system for finding a conventional lane, a technique using a Hough Transform is simpler than a method using a histogram or using edge connection information, The number of pixels to be processed increases, so that a lot of processing time is required. Since the lane is separated from the entire original image by using a complicated operation, the amount of computation is excessive Unnecessary information is also included in the lane image, resulting in an increase in the overall operation speed.

따라서, 카메라를 통해 수집되는 영상데이터에서 관심영역만을 추출하여 프로세서의 연산처리 과정에 있어서 효율성을 높이고, 동시에 복잡한 연산을 필요로 하지 않아 저사양 하드웨어를 구비한 차량용 블랙박스를 사용하는 사용자에게도 실시간으로 차선이탈을 경보할 수 있도록 처리속도를 향상시킨 실시간 차선이탈 경보시스템 및 차선이탈 경보방법에 관한 현실적이고도 적용이 가능한 기술이 절실히 요구되고 있는 실정이다.Accordingly, it is possible to extract only the region of interest from the image data collected through the camera to increase the efficiency in the processing process of the processor, and at the same time, A realistic lane departure warning system and a lane departure warning method which improve the processing speed so as to be able to warn a departure are required to be practically applicable.

공개특허공보 KR 10-2013-0077074호(공개일 2013.07.09.)Published Japanese Patent Application No. 10-2013-0077074 (published on July 30, 2013) 등록특허공보 KR 10-149956호(공고일 2015.03.06)Patent Registration No. KR 10-149956 (Published date 2015.03.06)

본 발명은 상기 문제점을 해결하기 위하여 안출된 것으로서, 카메라에서 촬영한 도로영상으로부터 추출되는 관심영역의 위치를 보정하여 저사양 하드웨어를 구비한 차량용 블랙박스를 사용하는 사용자에게도 실시간으로 차선이탈을 경보할 수 있는 처리속도를 향상시킨 실시간 차선이탈 경보방법 및 경보시스템을 제공하는데 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made in order to solve the above problems, and it is an object of the present invention to provide a navigation system capable of alerting a user using a vehicle black box having low- A lane departure warning method, and an alarm system.

본 발명의 실시예에 따른 처리속도를 향상시킨 실시간 차선이탈 경보시스템은, 차량에 장착된 카메라의 영상정보를 이용하여 차선이탈시 운전자에게 차선이탈을 경고하는 차선이탈 경보시스템에 있어서, 상기 카메라를 통하여 도로영상정보를 입력받는 영상정보입력부; 상기 영상정보입력부에 입력된 도로영상정보를 전처리하여 차선을 검출하기 위한 관심영역의 실시간 차선인식을 위한 영상처리용 이미지를 생성하는 영상처리용 전처리부; 상기 영상처리용 전처리부를 통해 생성된 영상처리용 이미지의 노이즈를 제거하고 후보차선을 추출한 다음 RANSAC알고리즘을 이용하여 주행차선 데이터를 검출하는 영상처리부; 상기 영상처리부에서 검출되는 주행차선 데이터가 경고발생조건을 만족하는 경우에 차선이탈 경고신호를 발생시키는 경고신호부; 및 상기 영상처리부에서 검출되는 주행차선 데이터를 이용하여 상기 영상처리용 전처리부에서 추출되는 관심영역의 위치값 및 상기 경고신호부에 전달되는 차선넓이값을 조정하는 캘리브레이션부;를 구비할 수 있다.The lane departure warning system according to an embodiment of the present invention is a lane departure warning system that alerts a driver to a lane departure when a lane departure occurs by using image information of a camera mounted on the vehicle, An image information input unit receiving road image information through the image information input unit; A preprocessing unit for preprocessing road image information input to the image information input unit to generate an image for image processing for real time lane recognition of a region of interest for detecting a lane; An image processing unit for removing noises of an image for image processing generated through the preprocessing unit for image processing, extracting candidate lanes, and detecting driving lane data using the RANSAC algorithm; A warning signal unit for generating a lane departure warning signal when the driving lane data detected by the image processing unit satisfies a warning generating condition; And a calibration unit for adjusting the position value of the ROI extracted by the preprocessing unit for image processing and the lane width value transmitted to the warning signal unit using the driving lane data detected by the image processing unit.

또한, 상기 영상정보입력부는, RGB방식 및 YUV방식 중 어느 하나의 영상포맷으로 형성되는 영상정보를 추가조작없이 원시영상데이터로 입력받아 상기 영상처리용 전처리부에 전달할 수 있다.In addition, the image information input unit may receive the image information formed by any one of the RGB format and the YUV format as raw image data without additional operation, and may transmit the raw image data to the image processing preprocessing unit.

또한, 상기 영상처리용 전처리부는, 상기 도로영상정보로부터 차선을 검출하기 위한 관심영역에 대응되며 가로길이가 세로길이에 비해 상대적으로 길게 형성되는 파노라마 형태의 ROI이미지를 추출하는 ROI이미지 추출부; 상기 ROI이미지 추출부를 통해 추출된 관심영역의 ROI이미지를 차선인식이 가능한 최소 사이즈에 대응되는 특정크기로 재조정하는 ROI사이즈 재조정부; 및 상기 ROI사이즈 재조정부를 통해 사이즈가 재조정된 ROI이미지로부터 영상처리가 가능하도록 흑백이미지를 생성하는 흑백이미지 생성부;를 구비할 수 있다.In addition, the image processing preprocessing unit may include a ROI image extracting unit for extracting a panoramic ROI image corresponding to a region of interest for detecting a lane from the road image information, the horizontal length of which is relatively longer than the vertical length; An ROI size reconstructing unit for reconstructing an ROI image of a ROI extracted through the ROI image extractor to a specific size corresponding to a minimum size capable of lane recognition; And a black-and-white image generating unit for generating a black-and-white image so that an image can be processed from the resized ROI image through the ROI size resizing unit.

또한, 상기 ROI이미지 추출부는, 상기 파노라마 형태의 ROI이미지를 상기 도로영상정보를 구성하는 영상화면의 하측방향 중심부에서 최초 추출한 다음 상기 캘리브레이션부에서 전달되는 관심영역의 위치값에 대응되게 ROI이미지가 추출되는 위치를 실시간으로 변경할 수 있다.The ROI image extracting unit may extract the ROI image of the panoramic shape from the central portion of the lower side of the image screen constituting the road image information, and then extract the ROI image corresponding to the position value of the ROI transmitted from the calibration unit Can be changed in real time.

또한, 상기 ROI사이즈 재조정부는, 상기 파노라마 형태의 ROI이미지를 세로길이는 기준값으로 고정하고 가로길이를 전체적으로 축소하여 가로길이가 세로길이에 비하여 상대적으로 짧게 형성된 직사각형 형태의 ROI이미지로 사이즈를 재조정할 수 있다.The ROI size resizing unit may resize the panoramic ROI image into a rectangle ROI image whose length is fixed to a reference value and the width is entirely reduced to be relatively shorter than the vertical length have.

또한, 상기 재조정된 ROI이미지는, 80 ×120 의 픽셀 단위크기로 형성될 수 있다.In addition, the re-adjusted ROI image may be formed in a size of 80 × 120 pixels.

또한, 상기 흑백이미지 생성부는, 영상정보입력부를 통해 입력되는 영상정보가 휘도신호인 Y값과 색채신호인 U값 및 V값으로 이루어진 YUV방식의 영상포맷일 경우에는 휘도신호인 Y값만을 추출하여 흑백이미지를 생성하고, 영상정보입력부를 통해 입력되는 영상정보가 RGB방식의 영상포맷일 경우에는하기의 수학식을 이용하여 흑백이미지(gray)를 생성할 수 있다.If the image information input through the image information input unit is a YUV image format having a Y value as a luminance signal and a U value and a V value as color signals, the monochrome image generating unit extracts only a Y value as a luminance signal If the image information input through the image information input unit is an RGB image format, a black and white image may be generated using the following equation.

Figure pat00001
Figure pat00001

(여기서, r은 RGB방식의 R값, g는 G값을 나타낸다.)(Where r represents the R value of the RGB system and g represents the G value).

또한, 상기 영상처리부는, 상기 영상처리용 전처리부를 통해 생성된 영상처리용 이미지의 노이즈 제거를 위한 가우시안 블러 이미지 생성부; 상기 가우시안 블러 이미지 생성부에서 생성된 가우시안 블러 이미지에서 수평 그라디언트를 이용하여 후보차선을 추출하는 후보차선 추출부; 및 RANSAC알고리즘을 이용하여 상기 후보차선으로부터 주행차선 데이터를 검출하고 주행차선을 안정적으로 추적함과 동시에 RANSAC알고리즘을 적용하기 위한 차선검색영역을 설정하는 주행차선 데이터처리부;를 구비할 수 있다.The image processing unit may include: a Gaussian blur image generating unit for removing noise of an image for image processing generated through the preprocessing unit for image processing; A candidate lane extracting unit for extracting a candidate lane using a horizontal gradient in the Gaussian blur image generated by the Gaussian blur image generating unit; And a driving lane data processor for detecting driving lane data from the candidate lane using the RANSAC algorithm and stably tracking the driving lane and setting a lane search area for applying the RANSAC algorithm.

또한, 상기 후보차선 추출부는, 하기의 수학식을 이용하여 수평 그라디언트 이미지를 생성하고 수평 그라디언트 값의 극소값과 극대값의 관계를 이용하여 후보차선을 추출하는 수평그라디언트 처리부; 상기 수평그라디언트 처리부에서 추출된 후보차선에 대해 중앙값을 남기고 제거하여 최소 두께의 후보차선을 형성하는 후보차선 형성부; 및 상기 차선추출부에서 형성된 후보차선을 시간의 경과에 따라 변화가 없을 경우 제거하는 차선제거부;를 구비할 수 있다.The candidate lane extracting unit may include a horizontal gradient processing unit for generating a horizontal gradient image using the following equation and extracting a candidate lane by using a relationship between a minimum value and a maximum value of a horizontal gradient value; A candidate lane forming unit for forming a candidate lane having a minimum thickness by leaving a median value for the candidate lane extracted by the horizontal gradient processing unit and removing the median value; And a lane departure section for eliminating a candidate lane formed by the lane departure section when there is no change with time.

Figure pat00002
Figure pat00002

(여기서, Gv=수평그라디언트 이미지, I(x,y)=x,y좌표의 입력 이미지값)(Where Gv = horizontal gradient image, I (x, y) = x, y coordinate input image value)

또한, 상기 수평그라디언트 처리부는, 상기 생성된 수평 그라이디언트 이미지를 구성하는 수평 그라디언트 값의 극소값과 극대값의 값 차이가 일정값 이상일 경우와 수평그라디언트 값의 극소값과 극대값의 거리 차이가 일정거리 이하일 경우를 동시에 만족하는 경우에 후보차선으로 판단할 수 있다.If the difference between the minimum value and the maximum value of the horizontal gradient values constituting the generated horizontal gradient image is equal to or greater than a predetermined value and the difference between the minimum value and the maximum value of the horizontal gradient value is equal to or less than a predetermined distance, It can be judged as a candidate lane.

또한, 상기 주행차선 데이터처리부는, 상기 후보차선에 대한 초기 검색영역을 설정하는 검색영역 설정부; 상기 검색영역에서 RANSAC알고리즘을 이용하여 차선을 이루는 점들을 찾은 다음 각각의 점들을 직선으로 연결함으로써 주행차선 데이터를 검출하는 주행차선검출부; 상기 검출된 주행차선 데이터로 이루어진 주행차선에 대해 칼만필터를 이용하여 안정적으로 추적하는 차선추적부; 및 상기 차선추적부의 추적결과에 대응하여 상기 후보차선에 대한 검색영역을 재설정하는 검색영역 재설정부;를 구비할 수 있다.The driving lane data processing unit may further include: a search area setting unit for setting an initial search area for the candidate lane; A driving lane detecting unit for detecting driving lane data by finding points forming lanes by using the RANSAC algorithm in the search area and connecting respective points by a straight line; A lane-tracking unit for stably tracking the driving lane comprising the detected driving lane data using a Kalman filter; And a search area resetting unit for resetting the search area for the candidate lane in accordance with the result of the tracking by the lane-finding unit.

상기 검색영역 설정부는, 하기의 수학식을 이용하여 후보차선에 대한 초기 검색영역에 해당하는 기준선의 검색넓이(W)와 기준선의 기울기(θ) 및 기준선의 거리(rho)를 설정할 수 있다.The search area setting unit may set the search width W of the reference line corresponding to the initial search area, the slope θ of the reference line, and the distance rho between the reference line and the reference line using the following equation.

Figure pat00003
Figure pat00003

Figure pat00004
Figure pat00004

Figure pat00005
Figure pat00005

(여기서,

Figure pat00006
,
Figure pat00007
,
Figure pat00008
,
Figure pat00009
,
Figure pat00010
,
Figure pat00011
)(here,
Figure pat00006
,
Figure pat00007
,
Figure pat00008
,
Figure pat00009
,
Figure pat00010
,
Figure pat00011
)

또한, 상기 주행차선검출부는, 상기 후보차선의 검색영역에서 차선을 이루는 점들에 대응되며 랜덤하게 샘플링된 데이터들을 이용하여 단일의 직선을 형성하는 주행차선을 검출할 수 있다.The driving lane detecting unit may detect a driving lane that forms a single straight line using randomly sampled data corresponding to lanes in the search range of the candidate lane.

또한, 상기 검색영역 재설정부는, 일정시간 동안 검색영역의 넓이(W)값이 초기값과 동일하면 추적실패로 간주하고 검색영역을 초기검색영역으로 재설정 할 수 있다.Also, the search area re-setting unit can regard the search area as an initial search area if the width (W) value of the search area is equal to the initial value for a predetermined time, and can reset the search area to the initial search area.

또한, 상기 경고신호부는, 일정시간 이상 상기 차선추적부에 의한 차선추적이 성공하는 경우, 추적 차선의 x좌표가 관심영역 내 차선 넓이 대비 임계값으로 설정된 위치이상 접근할 경우, 및 상기 차선검출부에 검출된 차선의 x좌표가 관심영역 내 차선의 임계값으로 설정된 위치 이상 접근할 경우를 동시에 모두 만족하면 차선이탈 경고신호를 발생시킬 수 있다.When the lane-tracking by the lane-tracking unit succeeds for a predetermined time or longer, the warning signal unit may be set to a lane-detecting unit when the x-coordinate of the tracking lane approaches a position set to a threshold value with respect to the lane- The lane departure warning signal can be generated when the x coordinate of the detected lane is more than the position set as the threshold value of the lane in the ROI.

또한, 상기 캘리브레이션부는, 상기 영상처리부에서 검출되는 주행차선 데이터를 이용하여 관심영역의 위치값을 조정하기 위한 변동값을 생성하는 ROI위치 조정부; 상기 영상처리부에서 검출되는 주행차선 데이터를 이용하여 차선넓이값을 추정하고 상기 경고신호부에 전달되어 차선넓이를 조정하기 위한 변동값을 생성하는 차선넓이 조정부; 및 칼만필터 및 평균값 중 어느 하나를 이용한 방식으로 상기 ROI위치 조정부 및 상기 차선넓이 조정부에 의해 생성된 변동값 데이터를 각각 안정화시키는 데이터안정화부;를 구비할 수 있다.The calibration unit may further include: an ROI position adjustment unit that generates a variation value for adjusting a position value of a ROI using the driving lane data detected by the image processing unit; A lane width adjusting unit that estimates a lane width value using the driving lane data detected by the image processing unit and generates a variation value for adjusting the lane width transmitted to the warning signal unit; And a data stabilization unit that stabilizes the variation value data generated by the ROI position adjustment unit and the lane width adjustment unit using a Kalman filter or an average value.

본 발명의 실시예에 따른 처리속도를 향상시킨 실시간 차선이탈 경보방법은,차량에 장착된 카메라의 영상정보를 이용하여 차선이탈시 운전자에게 차선이탈을 경고하는 차선이탈 경보방법에 있어서, 상기 카메라를 통하여 RGB방식 및 YUV방식 중 어느 하나의 영상포맷으로 형성되는 도로영상정보를 추가조작없이 원시영상데이터로 입력받는 단계; 도로영상정보를 전처리하여 차선을 검출하기 위한 관심영역의 실시간 차선인식을 위한 영상처리용 이미지를 생성하는 단계; 상기 생성된 영상처리용 이미지의 노이즈를 제거하고 후보차선을 추출한 다음 RANSAC알고리즘을 이용하여 주행차선 데이터를 검출하는 단계; 및 상기 검출된 주행차선 데이터가 경고발생조건을 만족하는 경우에 차선이탈 경고신호를 발생시키는 단계;를 구비할 수 있다.A lane departure warning method for improving a processing speed according to an embodiment of the present invention is a lane departure warning method for warning a lane departure to a driver in lane departure by using image information of a camera mounted on the vehicle, Receiving road image information formed of any one of RGB and YUV image formats as raw image data without additional operation; Generating an image for image processing for real-time lane recognition of a region of interest for detecting lanes by preprocessing road image information; Removing noises of the generated image for image processing, extracting candidate lanes, and detecting driving lane data using the RANSAC algorithm; And generating a lane departure warning signal when the detected driving lane data satisfies a warning generating condition.

또한, 본 발명의 실시예에 따른 처리속도를 향상시킨 실시간 차선이탈 경보방법은, 주행차선 데이터를 이용하여 상기 도로영상정보에서 추출되는 관심영역의 위치값 및 경고신호를 발생시키기 위해 참조되는 차선넓이값을 실시간으로 조정하는 단계;를 더 구비할 수 있다.In addition, the real-time lane departure warning method of improving the processing speed according to the embodiment of the present invention is characterized in that the lane departure warning method further comprises: And adjusting the value in real time.

또한, 상기 도로영상정보를 전처리하여 차선을 검출하기 위한 관심영역의 실시간 차선인식을 위한 영상처리용 이미지를 생성하는 단계는, 도로영상정보를 구성하는 영상화면의 하측 중심부를 기준으로 차선검출을 위한 관심영역에 대응되는 ROI이미지를 추출하는 단계; 상기 관심영역의 ROI이미지를 차선인식이 가능한 최소 사이즈에 대응되는 특정크기로 재조정하는 단계; 및 상기 재조정된 ROI이미지로부터 흑백이미지를 생성하는 단계;를 구비할 수 있다.The step of generating an image for image processing for real-time lane recognition of a region of interest for detecting a lane by preprocessing the road image information may include generating an image for lane detection based on a lower center of the image screen constituting the road image information, Extracting an ROI image corresponding to a region of interest; Rearranging the ROI image of the ROI to a specific size corresponding to a minimum size capable of lane recognition; And generating a monochrome image from the re-adjusted ROI image.

또한, 본 발명의 실시예에 따른 처리속도를 향상시킨 실시간 차선이탈 경보방법은, 주행차선데이터를 이용하여 관심영역의 위치값이 조정될 경우 상기 도로영상정보를 구성하는 영상화면에서 ROI이미지가 추출되는 위치를 실시간으로 변경하는 단계;를 더 포함할 수 있다.In addition, in the real-time lane departure warning method with improved processing speed according to the embodiment of the present invention, when the position value of the ROI is adjusted using the driving lane data, the ROI image is extracted from the image screen constituting the road image information And changing the position in real time.

또한, 상기 관심영역의 ROI이미지를 차선인식이 가능한 최소 사이즈에 대응되는 특정크기로 재조정하는 단계는, 파노라마 형태의 ROI이미지를 세로길이는 기준값으로 고정하고 가로길이를 전체적으로 축소하여 가로길이가 세로길이에 비하여 상대적으로 짧게 형성된 직사각형 형태의 ROI이미지로 사이즈를 재조정하는 단계일 수 있다. The step of rearranging the ROI image of the ROI to a specific size corresponding to the minimum size capable of recognizing the lane may include fixing the ROI image of the panoramic form to a reference value with the vertical length being fixed to a reference value, The size of the ROI image may be reduced.

또한, 상기 재조정된 ROI이미지로부터 흑백이미지를 생성하는 단계는, 입력되는 영상정보가 휘도신호인 Y값과 색채신호인 U값 및 V값으로 이루어진 YUV방식의 영상포맷일 경우에는 휘도신호인 Y값만을 추출하여 흑백이미지를 생성하는 과정을 수행하고, 영상정보입력부를 통해 입력되는 영상정보가 RGB방식의 영상포맷일 경우에는하기의 수학식을 이용하여 흑백이미지(gray)를 생성하는 과정을 수행할 수 있다.The step of generating a black-and-white image from the re-adjusted ROI image may include: generating a black-and-white image from the re-adjusted ROI image by using a Y value as a luminance signal when the input image information is a YUV- If the image information input through the image information input unit is an RGB image format, a process of generating a monochrome image (gray) using the following equation is performed .

Figure pat00012
Figure pat00012

(여기서, r은 RGB방식의 R값, g는 G값을 나타낸다.)(Where r represents the R value of the RGB system and g represents the G value).

또한, 상기 생성된 영상처리용 이미지의 노이즈를 제거하고 후보차선을 추출한 다음 RANSAC알고리즘을 이용하여 주행차선 데이터를 검출하는 단계는, 영상처리용 이미지의 노이즈 제거를 위한 가우시안 블러 이미지를 생성하는 단계; 가우시안 블러 이미지에서 수평 그라디언트를 이용하여 후보차선을 추출하는 단계; 상기 후보차선에 대한 초기 검색영역을 설정하는 단계; 상기 검색영역에서 RANSAC알고리즘을 이용하여 차선을 이루는 점들을 찾은 다음 각각의 점들을 직선으로 연결함으로써 주행차선 데이터를 검출하는 단계; 상기 검출된 주행차선 데이터로 이루어진 주행차선에 대해 칼만필터를 이용하여 안정적으로 추적하는 단계; 및 상기 추적결과에 대응하여 상기 후보차선에 대한 검색영역을 재설정하는 단계;를 구비할 수 있다.In addition, the step of removing the noise of the generated image processing image, extracting the candidate lane, and detecting the driving lane data using the RANSAC algorithm may include: generating a Gaussian blur image for noise removal of the image for image processing; Extracting a candidate lane using a horizontal gradient in a Gaussian blur image; Setting an initial search area for the candidate lane; Detecting driving lane data by finding points forming lanes using the RANSAC algorithm in the search area and connecting the points to each other by a straight line; Stably tracking a driving lane comprising the detected driving lane data using a Kalman filter; And resetting the search area for the candidate lane in response to the tracking result.

또한, 상기 가우시안 블러 이미지에서 수평 그라디언트를 이용하여 후보차선을 추출하는 단계는; 하기의 수학식을 이용하여 수평 그라디언트 이미지를 생성하고 수평 그라디언트 값의 극소값과 극대값의 관계를 이용하여 후보차선을 추출하는 단계; 추출된 후보차선에 대해 중앙값을 남기고 제거하여 최소 두께의 후보차선을 형성하는 단계; 시간의 경과에 따라 변화가 없을 경우 후보차선을 제거하는 단계;를 구비할 수 있다.The step of extracting a candidate lane using the horizontal gradient in the Gaussian blur image may include: Generating a horizontal gradient image using the following equation and extracting a candidate lane using the relationship between the minimum value and the maximum value of the horizontal gradient value; Forming a candidate lane of minimum thickness by removing a median value for the extracted candidate lane; And removing the candidate lane when there is no change with passage of time.

Figure pat00013
Figure pat00013

(여기서, Gv=수평그라디언트 이미지, I(x,y)=x,y좌표의 입력 이미지값)(Where Gv = horizontal gradient image, I (x, y) = x, y coordinate input image value)

또한, 상기 후보차선을 추출하는 단계는, 상기 생성된 수평 그라이디언트 이미지를 구성하는 수평 그라디언트 값의 극소값과 극대값의 값 차이가 일정값 이상일 경우와 수평그라디언트 값의 극소값과 극대값의 거리 차이가 일정거리 이하일 경우를 동시에 만족하는 경우에 후보차선으로 판단하는 단계일 수 있다.The step of extracting the candidate lane may include a case where the difference between the minimum value and the maximum value of the horizontal gradient value constituting the generated horizontal gradient image is greater than or equal to a predetermined value and the case where the distance difference between the minimum value and the maximum value of the horizontal gradient value is constant If the distance is less than the predetermined distance, it is determined to be the candidate lane.

또한, 상기 후보차선에 대한 초기 검색영역을 설정하는 단계는, 하기의 수학식을 이용하여 후보차선에 대한 초기 검색영역에 해당하는 기준선의 검색넓이(W)와 기준선의 기울기(θ) 및 기준선의 거리(rho)를 설정하는 단계일 수 있다.Also, the step of setting the initial search area for the candidate lane may include calculating the search width (W) of the reference line corresponding to the initial search area for the candidate lane, the slope (?) Of the reference line, And setting the distance rho.

Figure pat00014
Figure pat00014

Figure pat00015
Figure pat00015

Figure pat00016
Figure pat00016

(여기서,

Figure pat00017
,
Figure pat00018
,
Figure pat00019
,
Figure pat00020
,
Figure pat00021
,
Figure pat00022
)(here,
Figure pat00017
,
Figure pat00018
,
Figure pat00019
,
Figure pat00020
,
Figure pat00021
,
Figure pat00022
)

또한, 상기 검색영역에서 RANSAC알고리즘을 이용하여 차선을 이루는 점들을 찾은 다음 각각의 점들을 직선으로 연결함으로써 주행차선 데이터를 검출하는 단계는, 상기 후보차선의 검색영역에서 차선을 이루는 점들에 대응되며 랜덤하게 샘플링된 데이터들을 이용하여 단일의 직선을 형성하는 주행차선을 검출하는 단계일 수 있다.The step of detecting driving lane data by finding a lane forming point by using the RANSAC algorithm in the search area and connecting each of the points by a straight line is characterized by comprising the steps of: Detecting a driving lane that forms a single straight line using the sampled data.

또한, 상기 추적결과에 대응하여 상기 후보차선에 대한 검색영역을 재설정하는 단계는, 일정시간 동안 검색영역의 넓이(W)값이 초기값과 동일하면 추적실패로 간주하고 검색영역을 초기검색영역으로 재설정 하는 단계를 포함할 수 있다.The step of resetting the search area for the candidate lane in response to the tracking result may include determining that the search area is an initial search area if the W value of the search area is equal to the initial value for a predetermined time, And resetting.

또한, 상기 검출된 주행차선 데이터가 경고발생조건을 만족하는 경우에 차선이탈 경고신호를 발생시키는 단계는, 일정시간 이상 상기 차선추적부에 의한 차선추적이 성공하는 경우, 추적 차선의 x좌표가 관심영역 내 차선 넓이 대비 임계값으로 설정된 위치이상 접근할 경우, 및 상기 차선검출부에 검출된 차선의 x좌표가 관심영역 내 차선의 임계값으로 설정된 위치 이상 접근할 경우를 동시에 모두 만족하면 차선이탈 경고신호를 발생시키는 단계일 수 있다.The step of generating the lane departure warning signal when the detected lane departure data satisfies the warning generation condition may include a step of, when the lane tracking by the lane departure unit succeeds for a predetermined time or longer, And when the x coordinate of the lane detected by the lane detecting unit approaches the position set by the threshold value of the lane in the area of interest, if the lane departure warning signal . ≪ / RTI >

또한, 상기 주행차선 데이터를 이용하여 상기 도로영상정보에서 추출되는 관심영역의 위치값 및 경고신호를 발생시키기 위해 참조되는 차선넓이값을 실시간으로 조정하는 단계는, 주행차선 데이터를 이용하여 관심영역의 위치값을 조정하기 위한 변동값을 생성하는 단계와; 상기 영상처리부에서 검출되는 주행차선 데이터를 이용하여 차선넓이값을 추정하고 상기 경고신호부에 전달되어 차선넓이를 조정하기 위한 변동값을 생성하는 단계; 및 칼만필터 및 평균값 중 어느 하나를 이용한 방식으로 생성된 변동값 데이터를 안정화시키는 단계;를 구비할 수 있다.The step of adjusting, in real time, the position value of the ROI extracted from the road image information using the driving lane data and the lane width value referred to for generating the warning signal, Generating a variation value for adjusting a position value; Estimating a lane width value using the driving lane data detected by the image processing unit and generating a variation value for adjusting the lane width transmitted to the warning signal unit; And stabilizing the variation value data generated by using the Kalman filter and the average value.

이상에서 설명한 바와 같이, 본 발명은, 카메라에서 촬영한 도로영상으로부터 추출되는 관심영역의 위치를 보정하여 저사양 하드웨어를 구비한 차량용 블랙박스를 사용하는 사용자에게도 실시간으로 차선이탈을 경보할 수 있는 처리속도를 향상시킨 실시간 차선이탈 경보시스템을 제공하는 효과가 있다.As described above, according to the present invention, the position of a region of interest extracted from a road image photographed by a camera is corrected, so that a user who uses a vehicle black box having low- The lane departure warning system according to the present invention provides a real time lane departure warning system.

또한, 본 발명은, 영상처리용 이미지를 생성하는 경우에 관심영역에 대응되는 ROI이미지의 크기를 블랙박스에서 차선인식이 가능한 최소사이즈로 재조정함으로써 처리속도롤 향상시킬 수 있는 효과가 있다.Further, the present invention has an effect of improving the processing speed roll by rearranging the size of the ROI image corresponding to the ROI in the black box to the minimum size capable of recognizing the lane in the case of generating the image for image processing.

또한, 본 발명은, ROI이미지의 크기를 재조정하는 경우에 차선을 검출할 수 있도록 넓은 영역의 파노라마 형태를 갖는 이미지를 도로영상정보에서 추출한 다음 추출한 이미지에서 세로길이를 고정값으로 하여 가로길이 전체를 줄이는 방법을 사용함으로써 처리속도를 향상시키면서도 차선검출효율을 향상시키는 효과가 있다.In the present invention, an image having a panoramic shape in a wide area is extracted from the road image information so that a lane can be detected when the size of the ROI image is readjusted. Then, in the extracted image, There is an effect of improving the lane detection efficiency while improving the processing speed.

또한, 본 발명은, 영상처리부에서 후보차선을 추출하는 경우에 수평 그라디언트 이미지를 생성하고 극소값과 극대값의 관계를 이용하여 후보차선을 추출한 다음 중앙값만으로 이용하여 후보차선을 형성함으로써 연산에 필요한 데이터크기를 줄여 처리속도를 향상시키는 효과가 있다.In the present invention, when a candidate lane is extracted from the image processing unit, a horizontal gradient image is generated, and a candidate lane is extracted using the relationship between the minimum value and the maximum value. Then, a candidate lane is formed using only the median value, It has the effect of improving the processing speed.

또한, 본 발명은, 영상처리부에서 검출되는 주행차선데이터를 검출하는 경우에 RANSAC알고리즘을 이용하여 차선을 이루는 점들을 찾은 다음 각각의 점들을 단일의 직선으로 연결하여 검출함으로써 여러개의 라인 중에서 차선을 검출하는 방식에 비해 처리되는 데이터크기를 줄일 수 있어 처리속도를 향상시키고 실시간 인식이 가능한 효과가 있다.Further, in the present invention, when driving lane data detected by the image processing unit is detected, a lane detecting unit detects a lane forming point by using the RANSAC algorithm, and connects each point by a single straight line to detect a lane among a plurality of lines It is possible to reduce the size of data to be processed, thereby improving the processing speed and realizing real-time recognition.

또한, 본 발명은, 캘리브레이션부에서 영상처리부에 검출된 주행차선데이터를 이용하여 도로영상정보에서의 관심영역 위치값을 조정하기 위한 변동값을 생성함으로써 블랙박스가 장착되는 차량전방 대쉬보드의 위치에 관계없이 최적의 차선검출위치를 자동으로 설정할 수 있어 실시간으로 차선이탈 경고신호를 발생시킬 수 있는 효과가 있다.Further, according to the present invention, by generating a variation value for adjusting the position of the ROI in the road image information by using the driving lane data detected by the image processing section in the calibration section, the position of the vehicle front dashboard on which the black box is mounted The optimum lane detection position can be automatically set regardless of the lane departure warning signal, and the lane departure warning signal can be generated in real time.

또한, 본 발명은, 영상처리부를 구성하는 주행차선 데이터처리부에 후보차선에 대한 검색영역을 재설정하는 검색영역 재설정부를 구비하여 관심영역에서의 후보차선의 위치변화에 실시간으로 대응하여 차선을 추적할 수 있는 효과가 있다.The present invention further includes a search area resetting unit for resetting the search area for the candidate lane to the driving lane data processing unit constituting the image processing unit so as to track the lane in real time in response to the position change of the candidate lane in the area of interest There is an effect.

또한, 본 발명은, 경고신호부에서 경고신호를 발생시키기 위하여 차선추적이 성공한 경우와 추적차선 및 검출차선의 X좌표에 대한 임계값내 접근할 경우 모두의 조건을 만족하는 경우로 한정함으로써 경고신호에 대한 정확도를 높여 안전성을 향상시키는 효과가 있다.In the present invention, the warning signal is limited to the case where the lane-tracking is successful and the condition of both the tracking lane and the approaching within the threshold value with respect to the X coordinate of the detection lane is satisfied in order to generate the warning signal in the warning signal part, It is possible to enhance the accuracy and improve the safety.

도 1은 본 발명의 일실시예에 따른 처리속도를 향상시킨 자동차 블랙박스용 실시간 차선이탈 경보시스템의 전체구성을 나타내기 위한 도면이다.
도 2는 도 1의 영상처리용 전처리부를 구성하는 세부구성도이다.
도 3은 도 2의 ROI이미지 추출부를 설명하기 위한 도면이다.
도 4는 도 2의 ROI사이즈 재조정부를 설명하기 위한 도면이다.
도 5는 도 2의 흑백이미지생성부를 설명하기 위한 도면이다.
도 6은 도 1의 영상처리부를 구성하는 세부구성도이다.
도 7은 도 6의 가우시안 블러 이미지 생성부를 설명하기 위한 도면이다.
도 8 내지 도 9는 도 6의 후보차선추출부를 설명하기 위한 도면이다.
도 10 내지 도 12는 도 6의 주행차선 데이터처리부를 설명하기 위한 도면이다.
도 13은 도 1의 캘리브레이션부를 구성하는 세부구성도이다.
도 14 내지 도 16은 도 13의 캘리브레이션부를 설명하기 위한 도면이다.
도 17은 본 발명의 다른 실시예에 따른 처리속도를 향상시킨 자동차 블랙박스용 실시간 차선이탈 경보방법을 나타내는 흐름도이다.
도 18 내지 도 20은 도 17의 흐름도를 더욱 상세하게 설명하기 위한 흐름도이다.FIG. 1 is a diagram showing the overall configuration of a real-time lane departure warning system for a car black box, which improves the processing speed according to an embodiment of the present invention.
Fig. 2 is a detailed configuration diagram of the preprocessing section for image processing of Fig. 1. Fig.
FIG. 3 is a diagram for explaining the ROI image extracting unit of FIG. 2. FIG.
FIG. 4 is a view for explaining the ROI size resizing unit of FIG. 2. FIG.
5 is a view for explaining the monochrome image generating unit of FIG.
6 is a detailed configuration diagram of the image processing unit of FIG.
FIG. 7 is a diagram for explaining a Gaussian blur image generating unit of FIG. 6. FIG.
8 to 9 are views for explaining the candidate lane extracting unit of FIG.
Figs. 10 to 12 are diagrams for explaining the driving lane data processing unit of Fig. 6. Fig.
13 is a detailed configuration diagram of the calibration unit of FIG.
Figs. 14 to 16 are diagrams for explaining the calibration unit of Fig. 13. Fig.
17 is a flowchart showing a real-time lane departure warning method for a car black box, which improves the processing speed according to another embodiment of the present invention.
18 to 20 are flowcharts for explaining the flow chart of FIG. 17 in more detail.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.The description of the present invention is merely an example for structural or functional explanation, and the scope of the present invention should not be construed as being limited by the embodiments described in the text. That is, the embodiments are to be construed as being variously embodied and having various forms, so that the scope of the present invention should be understood to include equivalents capable of realizing technical ideas.

한편, 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of the terms described in the present invention should be understood as follows.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.The terms "first "," second ", and the like are intended to distinguish one element from another, and the scope of the right should not be limited by these terms. For example, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" to another element, it may be directly connected to the other element, but there may be other elements in between. On the other hand, when an element is referred to as being "directly connected" to another element, it should be understood that there are no other elements in between. On the other hand, other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.It should be understood that the singular " include "or" have "are to be construed as including a stated feature, number, step, operation, component, It is to be understood that the combination is intended to specify that it does not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, the identification code (e.g., a, b, c, etc.) is used for convenience of explanation, the identification code does not describe the order of each step, Unless otherwise stated, it may occur differently from the stated order. That is, each step may occur in the same order as described, may be performed substantially concurrently, or may be performed in reverse order.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used predefined terms should be interpreted to be consistent with the meanings in the context of the related art and can not be interpreted as having ideal or overly formal meaning unless explicitly defined in the present invention.

한편, 본 발명에 따른 명세서에 기재된 관심영역은 영상처리에 필요한 영역을 가리키는 것으로 관심영역에 해당하는 영역의 데이터를 ROI데이터(관심영역데이터, Rigion of interest)라 부를수 있다.Meanwhile, the ROI described in the specification of the present invention indicates a ROI required for image processing, and data of a ROI corresponding to ROIs may be referred to as ROI data (ROI).

여기서, 관심영역은 영상전체에 영상처리를 적용하지 않고 필요한 부분의 특정영역에만 영상처리를 해도 원하는 결과를 얻을 수 있을 경우에 사용하며, 이와 같이 영상의 전체영역을 처리하는 대신 부분영역만 처리하는 경우에 영상처리에 걸리는 시간을 단축할 수 있다.Here, the region of interest is used in a case where a desired result can be obtained even if the image processing is performed only on a specific region of a necessary portion without applying the image processing to the entire image. In this case, instead of processing the entire region of the image, The time required for the image processing can be shortened.

본 발명에 따른 명세서에서, 관심영역은 주로 도로영상을 구성하는 이미지프레임에서 추출하는 영역으로 본 발명의 실시예에서는 XY좌표범위를 사용하여 구체적으로 파노라마나 직사각형 형태로 한정하여 사용한 것을 알 수 있으며 단순히 프레임의 좌표범위만을 가리키는 것이 아니라 필요에 따라 각종 정보를 추가로 추출하여 사용할 수 있다.In the specification of the present invention, it can be seen that the region of interest is an area extracted mainly from an image frame constituting a road image, and in the embodiment of the present invention, it is limited to a panorama or rectangular shape in detail using an XY coordinate range. Not only the coordinate range of the frame but also various information can be extracted and used as needed.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하기로 한다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 처리속도를 향상시킨 자동차 블랙박스용 실시간 차선이탈 경보시스템의 전체구성을 나타내기 위한 도면이다.FIG. 1 is a diagram showing the overall configuration of a real-time lane departure warning system for a car black box, which improves the processing speed according to an embodiment of the present invention.

도면에 도시된 바와 같이, 본 발명에 따른 자동차 블랙박스용 실시간 차선이탈 경보시스템은, 차량용 블랙박스에 장착된 카메라의 영상정보를 이용하여 차선이탈시 운전자에게 차선이탈을 경고하는 차선이탈 경보시스템으로서, 영상정보 입력부(100), 영상처리용 전처리부(200), 영상처리부(300), 경고신호부(400), 및 캘리브레이션부(500)를 포함할 수 있다.As shown in the figure, a real-time lane departure warning system for a car black box according to the present invention is a lane departure warning system for warning a lane departure warning to a driver in lane departure using image information of a camera mounted on a vehicle black box An image information input unit 100, an image processing preprocessor 200, an image processing unit 300, a warning signal unit 400, and a calibration unit 500.

보다 상세하게는, 상기 영상정보입력부(100)는 상기 카메라를 통하여 도로영상정보를 입력받고, 상기 영상처리용 전처리부(200)는 상기 영상정보입력부(100)에 입력된 도로영상정보를 전처리하여 차선을 검출하기 위한 관심영역의 실시간 차선인식을 위한 영상처리용 이미지를 생성할 수 있다.More specifically, the image information input unit 100 receives road image information through the camera, and the image processing preprocessor 200 preprocesses the road image information input to the image information input unit 100 It is possible to generate an image for image processing for real-time lane recognition of a region of interest for detecting a lane.

또한, 상기 영상처리부(300)는 상기 영상처리용 전처리부(200)를 통해 생성된 영상처리용 이미지의 노이즈를 제거하고 후보차선을 추출한 다음 RANSAC알고리즘을 이용하여 주행차선 데이터를 검출할 수 있다.In addition, the image processor 300 can remove noise of the image for processing image generated through the image processing preprocessing unit 200, extract candidate lanes, and detect driving lane data using the RANSAC algorithm.

또한, 상기 경고신호부(400)는 상기 영상처리부(300)에서 검출되는 주행차선 데이터가 경고발생조건을 만족하는 경우에 차선이탈 경고신호를 발생시키고, 상기 캘리브레이션부(500)는 상기 영상처리부(300)에서 검출되는 주행차선 데이터를 이용하여 상기 영상처리용 전처리부(200)에서 추출되는 관심영역의 위치값 및 상기 경고신호부(400)에 전달되는 차선넓이값을 조정할 수 있다.The warning signal unit 400 generates a lane departure warning signal when the driving lane data detected by the image processing unit 300 satisfies the warning generation condition, 300, the position value of the ROI extracted from the image processing preprocessing unit 200 and the lane width value transmitted to the warning signal unit 400 can be adjusted.

한편, 본 발명의 실시예에서, 상기 영상정보입력부(100)는, RGB방식 및 YUV방식 중 어느 하나의 영상포맷으로 형성되는 영상정보를 추가조작없이 원시영상데이터로 입력받아 상기 영상처리용 전처리부(200)에 전달할 수 있다.Meanwhile, in the embodiment of the present invention, the image information input unit 100 receives the image information formed by any one of the RGB format and the YUV format as raw image data without any additional operation, (200).

도 2는 도 1의 영상처리용 전처리부를 구성하는 세부구성도이고, 도 3 내지 도 5는 도 2의 세부구성을 상세하게 설명하기 위한 도면이다.Fig. 2 is a detailed configuration diagram of the preprocessing section for image processing of Fig. 1, and Figs. 3 to 5 are views for explaining the detailed configuration of Fig. 2 in detail.

도면에 도시된 바와 같이, 본 발명의 실시예에서, 상기 영상처리용 전처리부(200)는, 차선을 인식하기 위한 영상처리용 이미지를 만들기 위한 구성으로 ROI이미지 추출부(210), ROI사이즈 재조정부(220), 및 흑백이미지생성부(230)를 구비할 수 있다.As shown in the figure, in the embodiment of the present invention, the image processing preprocessing unit 200 includes an ROI image extracting unit 210, an ROI size reconstruction unit 210, And a black-and-white image generating unit 230. The black-

여기서, 상기 ROI이미지 추출부(210)는, 도로영상정보로부터 차선을 검출하기 위한 관심영역에 대응되며 가로길이가 세로길이에 비해 상대적으로 길게 형성되는 파노라마 형태의 ROI이미지를 추출할 수 있다. Here, the ROI image extracting unit 210 may extract a panoramic ROI image corresponding to a region of interest for detecting a lane from the road image information and having a relatively long length compared to the vertical length.

또한, 상기 ROI사이즈 재조정부(220)는, 상기 ROI이미지 추출부(210)를 통해 추출된 관심영역의 ROI이미지를 차량용 블랙박스를 통해 차선인식이 가능한 최소 사이즈에 대응되는 특정크기로 재조정할 수 있다.In addition, the ROI size resizing unit 220 may readjust the ROI image of the ROI extracted through the ROI image extracting unit 210 to a specific size corresponding to the minimum size that can be recognized through the vehicle black box have.

또한, 상기 흑백이미지 생성부(230)는, 상기 ROI사이즈 재조정부(220)를 통해 사이즈가 재조정된 ROI이미지로부터 영상처리가 가능하도록 흑백이미지를 생성할 수 있다.In addition, the monochrome image generating unit 230 may generate a monochrome image so that the monochrome image can be processed from the resized ROI image through the ROI size resizing unit 220.

도 3 내지 도 5를 참조하여 본 발명의 실시예에 따른 영상처리용 전처리부를 더욱 상세하게 설명하면 다음과 같다.3 to 5, a preprocessing unit for image processing according to an embodiment of the present invention will be described in more detail as follows.

도 3에 도시된 바와 같이, 상기 ROI이미지 추출부(210)는, 관심영역에 대응되는 파노라마 형태의 ROI이미지를 도로영상정보를 구성하는 영상화면의 하측방향 중심부에서 추출할 수 있으며, 이것은 차선 검출이 가능한 특정영역만을 관심영역으로 추출함으로써 데이터 처리속도를 향상시킬 수 있다.3, the ROI image extracting unit 210 may extract a panoramic ROI image corresponding to a region of interest from a central portion of a lower side of an image screen constituting road image information, It is possible to improve the data processing speed by extracting only the possible specific area as a region of interest.

한편, 본 발명의 실시예에서, 상기 ROI이미지 추출부(210)서 최초 추출된 ROI이미지는 도 1의 캘리브레이션부(500)에서 전달되는 관심영역의 위치값에 대응되게 ROI이미지가 추출되는 위치가 실시간으로 변경될 수 있다.Meanwhile, in the embodiment of the present invention, the ROI image extracted first from the ROI image extracting unit 210 is a position at which the ROI image is extracted corresponding to the position value of the ROI transmitted from the calibration unit 500 of FIG. 1 It can be changed in real time.

도 4는 상기 ROI이미지 추출부(210)에 의해 추출된 ROI이미지의 사이즈를 조정하는 것을 나타내는 도면이다.FIG. 4 is a diagram illustrating the adjustment of the size of the ROI image extracted by the ROI image extracting unit 210. FIG.

이것은 상술한 바와 같이, ROI이미지 추출부(210)에 의해 추출된 ROI이미지에 해당하는 도로영상정보의 관심영역도 실시간으로 처리하기엔 사이즈가 크기 때문에 차선인식이 가능하도록 최소한의 작은 사이즈로 변환을 할 수 있다.As described above, since the size of the area of interest of the road image information corresponding to the ROI image extracted by the ROI image extracting unit 210 is large enough to be processed in real time, it is converted into a smallest size .

즉, 도 4에 도시된 바와 같이, 상기 ROI사이즈 재조정부(220)는, 상기 파노라마 형태의 ROI이미지를 세로길이는 기준값으로 고정하고 가로길이를 전체적으로 축소하여 가로길이가 세로길이에 비하여 상대적으로 짧게 형성된 직사각형 형태의 ROI이미지로 사이즈를 재조정할 수 있다.That is, as shown in FIG. 4, the ROI size resizing unit 220 fixes the ROI image of the panoramic shape as a reference value and reduces the horizontal length as a whole, so that the horizontal length is relatively short It is possible to resize the image into a formed rectangular ROI image.

본 발명에 따른 실시예에서는, 최초 추출된 ROI이미지의 크기가 차선이 검출될 만한 320×100의 픽셀단위크기를 가지며 재조정된 ROI이미지는, 80 ×120 의 픽셀 단위크기로 형성될 수 있다.In the embodiment of the present invention, the size of the initially extracted ROI image has a size of 320 × 100 pixels to detect a lane, and the re-adjusted ROI image can be formed to have a size of 80 × 120 pixels.

이와 같이, ROI사이즈 재조정부(220)가 ROI이미지의 가로길이만 줄이고 세로길이는 고정시킨 것은 차선이 나타나는 방향이 가로방향의 특징보다는 세로방향의 특징을 나타내고 있기 때문이다.In this way, the ROI size refinement unit 220 reduces the horizontal length of the ROI image and fixes the vertical length, because the direction in which the lane appears indicates the longitudinal characteristic rather than the lateral characteristic.

도 5는 흑백이미지 생성부(230)에 의해 처리된 결과를 나타내는 도면이다.5 is a diagram showing the result processed by the monochrome image generating unit 230. As shown in FIG.

도며에 도시된 바와 같이, 영상처리를 위한 흑백이미지(gray scale)를 필요로 하며, 상기 흑백이미지 생성부(230)는, 영상정보입력부를 통해 입력되는 영상정보가 휘도신호인 Y값과 색채신호인 U값 및 V값으로 이루어진 YUV방식의 영상포맷일 경우에는 휘도신호인 Y값만을 추출하여 흑백이미지를 생성하고, 영상정보입력부를 통해 입력되는 영상정보가 RGB방식의 영상포맷일 경우에는 하기의 [수학식 1]을 이용하여 흑백이미지(gray)를 생성할 수 있다.As shown in the figure, a monochrome image for image processing is required. The monochrome image generating unit 230 generates a monochrome image using the image information inputted through the image information input unit, In the case of the image format of YUV system consisting of the U value and the V value, only the Y value, which is the brightness signal, is extracted to generate a monochrome image. When the image information input through the image information input unit is an RGB image format, A monochrome image (gray) can be generated using Equation (1).

Figure pat00023
Figure pat00023

(여기서, r은 RGB방식의 R값, g는 G값을 나타낸다.)(Where r represents the R value of the RGB system and g represents the G value).

도 6은 도 1의 영상처리부를 구성하는 세부구성도이고, 도 7 내지 도 12는 도 6을 더욱 상세하게 설명하기 위한 도면이다.FIG. 6 is a detailed configuration diagram of the image processing unit of FIG. 1, and FIGS. 7 to 12 are views for explaining FIG. 6 in more detail.

도면에 도시된 바와 같이, 본 발명의 실시예에 따른 영상처리부(300)는, 가우시안 블러 이미지 생성부(310), 후보차선추출부(320), 및 주행차선 데이터처리부(330)를 구비할 수 있다.The image processing unit 300 according to the embodiment of the present invention may include a Gaussian blur image generating unit 310, a candidate lane extracting unit 320, and a driving lane data processing unit 330 have.

보다 상세하게는, 상기 가우시안 블러 이미지 생성부(310)는 도 7 에서와 같이 상기 영상처리용 전처리부(200)를 통해 생성된 영상처리용 이미지의 노이즈가 제거된 가우시안 블러 이미지를 생산할 수 있다.More specifically, the Gaussian blur image generating unit 310 may generate a Gaussian blur image in which the noise of the image for processing the image generated through the image processing preprocessing unit 200 is removed as shown in FIG.

또한, 상기 후보차선 추출부(320)는, 상기 가우시안 블러 이미지 생성부(310)에서 생성된 가우시안 블러 이미지에서 수평 그라디언트를 이용하여 후보차선을 추출할 수 있다. The candidate lane extracting unit 320 may extract a candidate lane using the horizontal gradient in the Gaussian blur image generated by the Gaussian blur image generating unit 310. [

즉, 도 8 내지 도 9와 같이, 상기 후보차선 추출부(320)는, 하기의 [수학식 2]을 이용하여 수평 그라디언트 이미지를 생성하고 수평 그라디언트 값의 극소값과 극대값의 관계를 이용하여 후보차선을 추출하는 수평그라디언트 처리부(321), 상기 수평그라디언트 처리부(321)에서 추출된 후보차선에 대해 중앙값을 남기고 제거하여 최소 두께의 후보차선을 형성하는 후보차선 형성부(322), 및 상기 후보차선 형성부(322)에서 형성된 후보차선을 시간의 경과에 따라 변화가 없을 경우 제거하는 차선제거부(323)를 구비할 수 있다.That is, as shown in FIGS. 8 to 9, the candidate lane extracting unit 320 generates a horizontal gradient image using Equation (2) below and calculates a candidate lane by using the relationship between the minimum value and the maximum value of the horizontal gradient value. A candidate lane forming unit 322 for forming a candidate lane having a minimum thickness by leaving and removing a median value for the candidate lane extracted from the horizontal gradient processing unit 321, And a lane eliminator 323 for eliminating a candidate lane formed at the unit 322 when there is no change with the lapse of time.

Figure pat00024
Figure pat00024

(여기서, Gv=수평그라디언트 이미지, I(x,y)=x,y좌표의 입력 이미지값)(Where Gv = horizontal gradient image, I (x, y) = x, y coordinate input image value)

더욱 상세하게는, 본 발명은, 상술한 바와 같이, 수평그라디언트의 값을 이용하여 후보 차선을 추출하는데,수평그라디언트 값의 지역적 극소/극대 값의 관계를 이용하여 차선인지 아닌지 판단할 수 있다.More specifically, the present invention extracts a candidate lane using the value of the horizontal gradient, as described above, and can determine whether the lane is a lane by using the local minimum / maximum value relationship of the horizontal gradient value.

즉, 도 8에 도시된 그래프와 같이, 상기 수평그라디언트 처리부(321)는, 상기 생성된 수평 그라이디언트 이미지를 구성하는 수평 그라디언트 값의 극소값과 극대값의 값 차이가 일정값 이상일 경우와 수평그라디언트 값의 극소값과 극대값의 거리 차이가 일정거리 이하일 경우를 동시에 만족하는 경우에 후보차선으로 판단할 수 있다.8, when the difference between the minimum value and the maximum value of the horizontal gradient value constituting the generated horizontal gradient image is greater than or equal to a predetermined value, the horizontal gradient value processing unit 321 outputs the horizontal gradient value And the distance difference between the minimum value and the maximum value of the distance is less than or equal to a certain distance, it can be judged as a candidate lane.

상술한 후보차선 판단 근거가 되는 조건을 수식으로 나타내면 다음과 같다.The conditions for the above-described candidate lane judgment are expressed by the following equations.

Figure pat00025
Figure pat00025

(여기서, Gv=수평 라디언트 이미지평 그라디언트 이미지, I(x,y)=x,y좌표의 입력이미지 값)(Where Gv = horizontal radial image flattened gradient image, I (x, y) = x, y coordinate input image value)

한편, 본 발명의 실시예에서는, 정지상태일 경우에는 후보차선을 제거할 수 있는데, 이것은 영상의 변화가 없는 차량의 정지상태에서 오인식을 없애기 위해 시간의 변화에 따라 변화가 없는 경우 후보차선에 제외 할 수 있다.In the meantime, in the embodiment of the present invention, the candidate lane can be eliminated when the vehicle is in the stop state. In order to eliminate the erroneous expression in the stopped state of the vehicle without changing the image, can do.

시간의 변화에 따른 이미지 T는 하기의 [수학식 4]에 대응되고 시간의 변화에 따른 후보 차선이 제거된 이미지 A는 하기의 [수학식 5]와 같다.The image T corresponding to the change of time corresponds to Equation (4) below and the image A in which the candidate lane is removed according to the change of time is expressed by Equation (5) below.

Figure pat00026
Figure pat00026

(여기서, T=업데이트된 시간의 변화에 따른 이미지 T, T- =이전 시간의 변화에 따른 이미지 T, L(x,y)=후보차선의 중앙값 추출이미지)(Here, T = image T, L- (x, y) according to the change in the previous time = median value extracted image of the candidate lane)

Figure pat00027
Figure pat00027

또한, 본 발명의 실시예에서, 앞서 상술한 상기 주행차선 데이터처리부(330)는 RANSAC알고리즘을 이용하여 상기 후보차선으로부터 주행차선 데이터를 검출하고 주행차선을 안정적으로 추적함과 동시에 RANSAC알고리즘을 적용하기 위한 차선검색영역을 설정할 수 있다.Also, in the embodiment of the present invention, the driving lane data processing unit 330 described above detects the driving lane data from the candidate lane using the RANSAC algorithm, stably tracks the driving lane, and applies the RANSAC algorithm A lane search area can be set.

더욱 상세하게는, 상기 주행차선 데이터처리부(330)는, 앞서 상술한 도 6에 도시된 바와 같이, 상기 후보차선에 대한 초기 검색영역을 설정하는 검색영역 설정부(331)와, 상기 검색영역에서 RANSAC알고리즘을 이용하여 차선을 이루는 점들을 찾은 다음 각각의 점들을 직선으로 연결함으로써 주행차선 데이터를 검출하는 주행차선검출부(332)와 상기 검출된 주행차선 데이터로 이루어진 주행차선에 대해 칼만필터를 이용하여 안정적으로 추적하는 차선추적부(333), 및 상기 차선추적부(333)의 추적결과에 대응하여 상기 후보차선에 대한 검색영역을 재설정하는 검색영역 재설정부(334)를 구비할 수 있다.6, the driving lane data processing unit 330 includes a search area setting unit 331 for setting an initial search area for the candidate lane, A driving lane detecting unit 332 for detecting driving lane data by finding points forming lanes by using the RANSAC algorithm and connecting the respective points by a straight line, and a driving lane detecting unit 332 for detecting driving lane data by using a Kalman filter for the driving lane comprising the detected driving lane data And a search area resetting unit 334 for resetting the search area for the candidate lane in accordance with the tracking result of the lane-finding unit 333.

한편, 상기 검색영역 설정부(331)는, 도 10에 도시된 조건으로 검색영역이 설정되며, 도 11에 도시된 바와 같이, 하기의 [수학식 6]을 이용하여 후보차선에 대한 초기 검색영역에 해당하는 기준선의 검색넓이(W)와 기준선의 기울기(θ) 및 기준선의 거리(rho)를 설정할 수 있으며, 후술하는 차선의 추적결과에 따라 검색영역의 조건이 변화될 수 있다.On the other hand, the search area setting unit 331 sets the search area on the condition shown in FIG. 10, and uses the following equation (6) to search the initial search area The slope θ of the reference line and the distance rho between the reference line and the reference line corresponding to the reference line can be set and the condition of the search area can be changed according to the result of tracking the lane to be described later.

Figure pat00028
Figure pat00028

Figure pat00029
Figure pat00029

Figure pat00030
Figure pat00030

(여기서,

Figure pat00031
,
Figure pat00032
,
Figure pat00033
,
Figure pat00034
,
Figure pat00035
,
Figure pat00036
)(here,
Figure pat00031
,
Figure pat00032
,
Figure pat00033
,
Figure pat00034
,
Figure pat00035
,
Figure pat00036
)

또한, 본 발명의 실시예에서, 도 12에 도시된 바와 같이, 주행차선검출부(332)는, 상기 후보차선의 검색영역에서 차선을 이루는 점들에 대응되며 랜덤하게 샘플링된 데이터들을 이용하여 대표적인 단일의 직선을 형성하는 주행차선을 검출할 수 있다. 이것은, RANSAC(RANdom Sample Consensus) 이론을 이용하여 무작위로 샘플링된 데이터들을 이용하여 최대의 inlier가 선택(consensus)된 파라미터로 결정하는 방법을 가리킨다.12, the driving lane detecting unit 332 detects a driving lane by using randomly sampled data corresponding to lane-forming points in the search range of the candidate lane, It is possible to detect a driving lane forming a straight line. This indicates how the maximum inlier is determined as a consensus parameter using randomly sampled data using RANSAC (RAN domain Sample Consensus) theory.

또한, 상기 차선추적부(333)에서 사용하는 칼만필터의 수식은 일반화된 수식을 사용하는 것이 바람직하며, 하기에 도시된 캘리브레이션부에 적용된 칼만필터의 수식을 참조할 수 있다.In addition, it is preferable to use a generalized expression for the expression of the Kalman filter used in the lane-tracking unit 333, and the expression of the Kalman filter applied to the calibration unit shown below may be referred to.

또한, 상기 검색영역 재설정부는, 일정시간 동안 검색영역의 넓이(W)값이 초기값과 동일하면 추적실패로 간주하고 검색영역을 초기검색영역으로 재설정 할 수 있으며, 칼만필터에 의해 추정된 변수를 이용하는 하기의 [수학식 7]을 이용하여 RANSAC검색영역을 재설정할 수 있다.Also, the search region resetting unit may regard the search region as a failure and reset the search region to the initial search region if the W value of the search region is equal to the initial value for a predetermined time, The RANSAC search area can be reset using the following Equation (7).

Figure pat00037
Figure pat00037

(여기서,

Figure pat00038
, Wt=현재 W값, Wt-1=이전 W의 값, inlier=inlier의 개수)(here,
Figure pat00038
, Wt = current W value, Wt-1 = previous W value, inlier = number of inliers)

한편, 본 발명의 실시예에서, 도 1에 도시된 경고신호부(400)는, 일정시간 이상 상기 차선추적부에 의한 차선추적이 성공하는 경우, 추적 차선의 x좌표가 관심영역 내 차선 넓이 대비 임계값으로 설정된 위치이상 접근할 경우, 및 상기 차선검출부에 검출된 차선의 x좌표가 관심영역 내 차선의 임계값으로 설정된 위치 이상 접근할 경우를 동시에 모두 만족하면 차선이탈 경고신호를 발생시킬 수 있다.In the embodiment of the present invention, when the lane-tracking by the lane-tracking unit succeeds for a predetermined time or more, the warning signal unit 400 shown in Fig. 1 determines that the x- The lane departure warning signal can be generated when both the lane departure detection unit and the lane departure detection unit approach the threshold value and the x coordinate of the lane detected by the lane detection unit approaches the threshold value of the lane in the ROI .

도 13은 도 1의 캘리브레이션부를 구성하는 세부구성도이다.13 is a detailed configuration diagram of the calibration unit of FIG.

도면에 도시된 바와 같이, 본 발명의 실시예에 따른 시스템을 구성하는 캘리브레이션부(500)는, ROI위치조정부(510), 차선넓이조정부(520), 및 데이터안정화부(530)를 구비할 수 있다.As shown in the figure, the calibration unit 500 constituting the system according to the embodiment of the present invention may include an ROI position adjustment unit 510, a lane width adjustment unit 520, and a data stabilization unit 530 have.

한편, 본 발명은 저가의 저사양 블랙박스에서도 실시간 처리를 위해 전체 입력영상영역에서 차선을 검출하는 것이 아니라 일정영역의 관심영역(ROI)를 설정하고 이를 이용하여 차선을 검출하는 것으로 ROI의 위치는 차선검출과 그에 따른 시스템의 퀄리티에 많은 영향을 미칠 수 있다.In the meantime, the present invention does not detect lanes in the entire input image area for real-time processing even in a low-cost, low-rise black box, but detects a lane by setting a ROI of a certain area, Detection and the quality of the system accordingly.

즉, 사용자가 블랙박스 카메라를 설치하는 과정에서 차선검출을 원활히 할 수 있는 위치에 설치하는 것은 현실적으로 불가능하며, 또한, 차량의 종류에 따라 설치높이와 위치가 다르고 경고신호 발생에 필요한 차선의 넓이 정보 또한 설치위치에 따라 달라질 수 있다.That is, it is practically impossible to install the black box camera in a position where the lane detection can be smoothly performed in the process of installing the black box camera. Further, the installation height and the position of the vehicle are different from each other, It may also vary depending on the installation location.

다시 말해, 사실상 ROI위치 정보와 차선의 넓이 정보는 모든 차량이 각각 다르기 때문에 차선검출을 원활히 할 수 있는 ROI위치를 자동으로 찾고 동시에 차선의 넓이 정보를 자동으로 찾을 수 있는 보정작업이 반드시 필요한 것을 알 수 있으며, 본 발명의 캘리브레이션부(500)는 상술한 보정작업을 위한 구성이라 할 것이다.In other words, since the ROI position information and the lane width information are different from each other, it is necessary to perform a correction operation to automatically find the ROI position that can smoothly detect the lane and automatically find the lane width information at the same time And the calibration unit 500 of the present invention will be referred to as a configuration for the above correction operation.

도 14 내지 도 16은 도 13의 캘리브레이션부를 설명하기 위한 도면이다.Figs. 14 to 16 are diagrams for explaining the calibration unit of Fig. 13. Fig.

도 14에 도시된 바와 같이, 본 발명의 실시예에서, 관심영역의 위치이동 기준값은 ROI[left(x), top(y)] 인 것을 알 수 있다.As shown in Fig. 14, in the embodiment of the present invention, it can be known that the position shift reference value of the ROI is ROI [left (x), top (y)].

본 발명의 실시예에 따른 캘리브레이션부(500)는,도 13에 도시된 ROI위치 조정부(510)가 도 1의 영상처리부(300)에서 검출되는 주행차선 데이터를 이용하여 관심영역의 위치값을 조정하기 위한 변동값을 생성하는 것을 알 수 있다.The calibration unit 500 according to the embodiment of the present invention adjusts the position value of the ROI using the ROI position adjustment unit 510 shown in FIG. 13 using the driving lane data detected by the image processing unit 300 of FIG. It can be seen that a variation value is generated.

한편, 도 15는 차선의 y=ROIheight 의 위치에서 x좌표를 이용하여 ROI의 left위치를 먼저 조정하는 것과 y좌표를 이용하여 ROI의 top위치를 조정할 수 있다.On the other hand, FIG. 15 can adjust the top position of the ROI by adjusting the left position of the ROI first by using the x coordinate at the position of y = ROIheight in the lane and by using the y coordinate.

즉, 왼쪽차선만 검출될 경우는 ROIleft = ROIleft + Leftx + margin, 오른쪽 차선만 검출될 경우는 ROIleft=ROIleft+(ROIwidth-Rightx)+margin, 왼쪽 오른쪽 차선 모두 검출되면 ROIleft=Leftx+((Rightx-Leftx)/2)-(ROIwidth/2)를 적용할 수 있다.ROIleft = ROIleft + Leftx + margin, ROIleft = ROIleft + (ROIwidth-Rightx) + margin, and ROIleft = Leftx + ((Rightx-Leftx) / 2) - (ROIwidth / 2) can be applied.

도 15를 참고로 하여 더욱 상세하게 설명하면, 왼쪽과 오른쪽의 RANSAC의 inlier 데이터 y좌표가 가장 큰 위치(차량의 본네트와 가까운위치)를 기준으로 top값을 조정할 수 있으며 Leftbottom>Rightbottom 이면 ROItop=ROItop-(ROIheight-Leftbottom)+margin, 그렇지 않을 경우엔 ROItop=ROItop-(ROIheight-Rightbottom)+margin 을 적용한다.15, it is possible to adjust the top value based on the position where the y coordinate of the inlier data of the RANSAC on the left and right sides is largest (near the car bonnet). If Leftbottom> Rightbottom, ROItop = ROItop - (ROIheight-Leftbottom) + margin, otherwise, ROItop = ROItop- (ROIheight-Rightbottom) + margin.

또한, 본 발명의 실시예에 따른 캘리브레이션부(500)는 도 1의 영상처리부(300)에서 검출되는 주행차선 데이터를 이용하여 차선넓이값을 추정하고 상기 경고신호부에 전달되어 차선넓이를 조정하기 위한 변동값을 생성하도록 도 13에 도시된 차선넓이 조정부(520)를 구비할 수 있다.In addition, the calibration unit 500 according to the embodiment of the present invention estimates the lane width value using the driving lane data detected by the image processing unit 300 of Fig. 1, and adjusts the lane width by being transmitted to the warning signal unit The lane-width adjusting unit 520 shown in Fig. 13 may be provided to generate the variation value for the lane-width adjusting unit 520 shown in Fig.

이때, 도 16에 도시된 바와 같이,두 차선의 y=ROIheight 의 위치에서 x좌표를 이용하여 차선의 넓이를 추정할 수 있으며, width=Right x-Left x 를 적용할 수 있다.At this time, as shown in FIG. 16, the width of the lane can be estimated by using the x-coordinate at the position of y = ROIheight of two lanes, and width = Right x-Left x can be applied.

여기서, 도 13의 데이터 안정화부(530)는, 칼만필터 및 평균값 중 어느 하나를 이용한 방식으로 상기 ROI위치 조정부(510) 및 상기 차선넓이 조정부(520)에 의해 생성된 변동값 데이터를 각각 안정화시킬 수 있다.The data stabilizing unit 530 shown in FIG. 13 stabilizes the variation value data generated by the ROI position adjusting unit 510 and the lane width adjusting unit 520 using a Kalman filter or an average value .

하기의 수학식 8 과 수학식 9 는 각각 칼만필터와 평균값을 적용한 수식을 나타낸다.Equation (8) and Equation (9) below express the equations using the Kalman filter and the mean value, respectively.

Figure pat00039
Figure pat00039

(여기서 X: state={left,top,dleft/dt, dtop/dt}, P:covariance matrix, A:state trasition matrix, K:kalman gain, Q:예측과정의 공분산행렬, R:측정값의 공분산행렬, z:측정데이터)A covariance matrix, A: state trasition matrix, K: Kalman gain, Q: Covariance matrix of the prediction process, R: Covariance of measured values Matrix, z: measurement data)

Figure pat00040
Figure pat00040

(여기서, X:현재데이터가 포하된 평균, Xk-1 : 이전까지의 평균, K:측정데이터 개수, Xk: 현재데이터 임)(Where X is the average of the current data, Xk-1 is the previous average, K is the number of measured data, and Xk is the current data)

이하에서는 흐름도를 참조하여 상술한 처리속도를 향상시킨 자동차 블랙박스용 실시간 차선이탈 경보시스템을 이용한 차선이탈 경보방법을 설명하기로 한다.Hereinafter, a lane departure warning method using a real time lane departure warning system for a car black box will be described in which the above-described processing speed is improved with reference to a flowchart.

도 1 내지 도 16에서 상술한 동일한 구성에 대한 설명은 생략하기로 한다.Description of the same configuration as described above in Figs. 1 to 16 will be omitted.

도 17은 본 발명의 다른 실시예에 따른 처리속도를 향상시킨 자동차 블랙박스용 실시간 차선이탈 경보방법을 나타내는 흐름도이다.17 is a flowchart showing a real-time lane departure warning method for a car black box, which improves the processing speed according to another embodiment of the present invention.

본 발명의 실시예에 따른 처리속도를 향상시킨 실시간 차선이탈 경보방법은,차량용 블랙박스에 장착된 카메라의 영상정보를 이용하여 차선이탈시 운전자에게 차선이탈을 경고하는 차선이탈 경보방법에 있어서, 상기 카메라를 통하여 RGB방식 및 YUV방식 중 어느 하나의 영상포맷으로 형성되는 도로영상정보를 추가조작없이 원시영상데이터로 입력받는 단계; 도로영상정보를 전처리하여 차선을 검출하기 위한 관심영역의 실시간 차선인식을 위한 영상처리용 이미지를 생성하는 단계; 상기 생성된 영상처리용 이미지의 노이즈를 제거하고 후보차선을 추출한 다음 RANSAC알고리즘을 이용하여 주행차선 데이터를 검출하는 단계; 및 상기 검출된 주행차선 데이터가 경고발생조건을 만족하는 경우에 차선이탈 경고신호를 발생시키는 단계;를 구비할 수 있다.A lane departure warning method for improving a processing speed according to an embodiment of the present invention is a lane departure warning method for warning a lane departure warning to a driver in lane departure using image information of a camera mounted on a vehicle black box, Receiving road image information formed of any one of an RGB method and a YUV method through a camera as raw image data without additional operation; Generating an image for image processing for real-time lane recognition of a region of interest for detecting lanes by preprocessing road image information; Removing noises of the generated image for image processing, extracting candidate lanes, and detecting driving lane data using the RANSAC algorithm; And generating a lane departure warning signal when the detected driving lane data satisfies a warning generating condition.

또한, 본 발명의 실시예에 따른 처리속도를 향상시킨 실시간 차선이탈 경보방법은, 주행차선 데이터를 이용하여 상기 도로영상정보에서 추출되는 관심영역의 위치값 및 경고신호를 발생시키기 위해 참조되는 차선넓이값을 실시간으로 조정하는 단계;를 더 구비할 수 있다.In addition, the real-time lane departure warning method of improving the processing speed according to the embodiment of the present invention is characterized in that the lane departure warning method further comprises: And adjusting the value in real time.

도 18 내지 도 20은 도 17의 흐름도를 더욱 상세하게 설명하기 위한 흐름도이다.18 to 20 are flowcharts for explaining the flow chart of FIG. 17 in more detail.

상기 도로영상정보를 전처리하여 차선을 검출하기 위한 관심영역의 실시간 차선인식을 위한 영상처리용 이미지를 생성하는 단계는, 도로영상정보를 구성하는 영상화면의 하측 중심부를 기준으로 차선검출을 위한 관심영역에 대응되는 ROI이미지를 추출하는 단계; 상기 관심영역의 ROI이미지를 차선인식이 가능한 최소 사이즈에 대응되는 특정크기로 재조정하는 단계; 및 상기 재조정된 ROI이미지로부터 흑백이미지를 생성하는 단계;를 구비할 수 있다.The step of generating an image for image processing for real-time lane recognition of a region of interest for detecting a lane by preprocessing the road image information may include the steps of: Extracting an ROI image corresponding to the ROI image; Rearranging the ROI image of the ROI to a specific size corresponding to a minimum size capable of lane recognition; And generating a monochrome image from the re-adjusted ROI image.

또한, 본 발명의 실시예에 따른 처리속도를 향상시킨 실시간 차선이탈 경보방법은, 주행차선데이터를 이용하여 관심영역의 위치값이 조정될 경우 상기 도로영상정보를 구성하는 영상화면에서 ROI이미지가 추출되는 위치를 실시간으로 변경하는 단계;를 더 포함할 수 있다.In addition, in the real-time lane departure warning method with improved processing speed according to the embodiment of the present invention, when the position value of the ROI is adjusted using the driving lane data, the ROI image is extracted from the image screen constituting the road image information And changing the position in real time.

또한, 상기 관심영역의 ROI이미지를 차선인식이 가능한 최소 사이즈에 대응되는 특정크기로 재조정하는 단계는, 파노라마 형태의 ROI이미지를 세로길이는 기준값으로 고정하고 가로길이를 전체적으로 축소하여 가로길이가 세로길이에 비하여 상대적으로 짧게 형성된 직사각형 형태의 ROI이미지로 사이즈를 재조정하는 단계일 수 있다. The step of rearranging the ROI image of the ROI to a specific size corresponding to the minimum size capable of recognizing the lane may include fixing the ROI image of the panoramic form to a reference value with the vertical length being fixed to a reference value, The size of the ROI image may be reduced.

또한, 상기 재조정된 ROI이미지로부터 흑백이미지를 생성하는 단계는, 입력되는 영상정보가 휘도신호인 Y값과 색채신호인 U값 및 V값으로 이루어진 YUV방식의 영상포맷일 경우에는 휘도신호인 Y값만을 추출하여 흑백이미지를 생성하는 과정을 수행하고, 영상정보입력부를 통해 입력되는 영상정보가 RGB방식의 영상포맷일 경우에는 상기의 수학식 1을 이용하여 흑백이미지(gray)를 생성하는 과정을 수행할 수 있다.The step of generating a black-and-white image from the re-adjusted ROI image may include: generating a black-and-white image from the re-adjusted ROI image by using a Y value as a luminance signal when the input image information is a YUV- If the image information input through the image information input unit is an RGB image format, a process of generating a monochrome image (gray) using Equation (1) is performed can do.

또한, 상기 생성된 영상처리용 이미지의 노이즈를 제거하고 후보차선을 추출한 다음 RANSAC알고리즘을 이용하여 주행차선 데이터를 검출하는 단계는, 영상처리용 이미지의 노이즈 제거를 위한 가우시안 블러 이미지를 생성하는 단계; 가우시안 블러 이미지에서 수평 그라디언트를 이용하여 후보차선을 추출하는 단계; 상기 후보차선에 대한 초기 검색영역을 설정하는 단계; 상기 검색영역에서 RANSAC알고리즘을 이용하여 차선을 이루는 점들을 찾은 다음 각각의 점들을 직선으로 연결함으로써 주행차선 데이터를 검출하는 단계; 상기 검출된 주행차선 데이터로 이루어진 주행차선에 대해 칼만필터를 이용하여 안정적으로 추적하는 단계; 및 상기 추적결과에 대응하여 상기 후보차선에 대한 검색영역을 재설정하는 단계;를 구비할 수 있다.In addition, the step of removing the noise of the generated image processing image, extracting the candidate lane, and detecting the driving lane data using the RANSAC algorithm may include: generating a Gaussian blur image for noise removal of the image for image processing; Extracting a candidate lane using a horizontal gradient in a Gaussian blur image; Setting an initial search area for the candidate lane; Detecting driving lane data by finding points forming lanes using the RANSAC algorithm in the search area and connecting the points to each other by a straight line; Stably tracking a driving lane comprising the detected driving lane data using a Kalman filter; And resetting the search area for the candidate lane in response to the tracking result.

또한, 상기 가우시안 블러 이미지에서 수평 그라디언트를 이용하여 후보차선을 추출하는 단계는; 상기의 [수학식 2]을 이용하여 수평 그라디언트 이미지를 생성하고 수평 그라디언트 값의 극소값과 극대값의 관계를 이용하여 후보차선을 추출하는 단계; 추출된 후보차선에 대해 중앙값을 남기고 제거하여 최소 두께의 후보차선을 형성하는 단계; 시간의 경과에 따라 변화가 없을 경우 후보차선을 제거하는 단계;를 구비할 수 있다.The step of extracting a candidate lane using the horizontal gradient in the Gaussian blur image may include: Generating a horizontal gradient image using Equation (2) and extracting a candidate lane using a relation between a minimum value and a maximum value of a horizontal gradient value; Forming a candidate lane of minimum thickness by removing a median value for the extracted candidate lane; And removing the candidate lane when there is no change with passage of time.

또한, 상기 후보차선을 추출하는 단계는, 상기 생성된 수평 그라이디언트 이미지를 구성하는 수평 그라디언트 값의 극소값과 극대값의 값 차이가 일정값 이상일 경우와 수평그라디언트 값의 극소값과 극대값의 거리 차이가 일정거리 이하일 경우를 동시에 만족하는 경우에 후보차선으로 판단하는 단계일 수 있다.The step of extracting the candidate lane may include a case where the difference between the minimum value and the maximum value of the horizontal gradient value constituting the generated horizontal gradient image is greater than or equal to a predetermined value and the case where the distance difference between the minimum value and the maximum value of the horizontal gradient value is constant If the distance is less than the predetermined distance, it is determined to be the candidate lane.

또한, 상기 후보차선에 대한 초기 검색영역을 설정하는 단계는, 상기의 [수학식 6]을 이용하여 후보차선에 대한 초기 검색영역에 해당하는 기준선의 검색넓이(W)와 기준선의 기울기(θ) 및 기준선의 거리(rho)를 설정하는 단계일 수 있다.The step of setting the initial search area for the candidate lane may include calculating the search width W of the reference line corresponding to the initial search area for the candidate lane and the slope θ of the reference line using Equation (6) And the distance rho of the reference line.

또한, 상기 검색영역에서 RANSAC알고리즘을 이용하여 차선을 이루는 점들을 찾은 다음 각각의 점들을 직선으로 연결함으로써 주행차선 데이터를 검출하는 단계는, 상기 후보차선의 검색영역에서 차선을 이루는 점들에 대응되며 랜덤하게 샘플링된 데이터들을 이용하여 단일의 직선을 형성하는 주행차선을 검출하는 단계일 수 있다.The step of detecting driving lane data by finding a lane forming point by using the RANSAC algorithm in the search area and connecting each of the points by a straight line is characterized by comprising the steps of: Detecting a driving lane that forms a single straight line using the sampled data.

또한, 상기 추적결과에 대응하여 상기 후보차선에 대한 검색영역을 재설정하는 단계는, 일정시간 동안 검색영역의 넓이(W)값이 초기값과 동일하면 추적실패로 간주하고 검색영역을 초기검색영역으로 재설정 하는 단계를 포함할 수 있다.The step of resetting the search area for the candidate lane in response to the tracking result may include determining that the search area is an initial search area if the W value of the search area is equal to the initial value for a predetermined time, And resetting.

또한, 상기 검출된 주행차선 데이터가 경고발생조건을 만족하는 경우에 차선이탈 경고신호를 발생시키는 단계는, 일정시간 이상 상기 차선추적부에 의한 차선추적이 성공하는 경우, 추적 차선의 x좌표가 관심영역 내 차선 넓이 대비 임계값으로 설정된 위치이상 접근할 경우, 및 상기 차선검출부에 검출된 차선의 x좌표가 관심영역 내 차선의 임계값으로 설정된 위치 이상 접근할 경우를 동시에 모두 만족하면 차선이탈 경고신호를 발생시키는 단계일 수 있다.The step of generating the lane departure warning signal when the detected lane departure data satisfies the warning generation condition may include a step of, when the lane tracking by the lane departure unit succeeds for a predetermined time or longer, And when the x coordinate of the lane detected by the lane detecting unit approaches the position set by the threshold value of the lane in the area of interest, if the lane departure warning signal . ≪ / RTI >

또한, 상기 주행차선 데이터를 이용하여 상기 도로영상정보에서 추출되는 관심영역의 위치값 및 경고신호를 발생시키기 위해 참조되는 차선넓이값을 실시간으로 조정하는 단계는, 주행차선 데이터를 이용하여 관심영역의 위치값을 조정하기 위한 변동값을 생성하는 단계와; 상기 영상처리부에서 검출되는 주행차선 데이터를 이용하여 차선넓이값을 추정하고 상기 경고신호부에 전달되어 차선넓이를 조정하기 위한 변동값을 생성하는 단계; 및 칼만필터 및 평균값 중 어느 하나를 이용한 방식으로 생성된 변동값 데이터를 안정화시키는 단계;를 구비할 수 있다.The step of adjusting, in real time, the position value of the ROI extracted from the road image information using the driving lane data and the lane width value referred to for generating the warning signal, Generating a variation value for adjusting a position value; Estimating a lane width value using the driving lane data detected by the image processing unit and generating a variation value for adjusting the lane width transmitted to the warning signal unit; And stabilizing the variation value data generated by using the Kalman filter and the average value.

상기와 같이, 본 발명은, 카메라에서 촬영한 도로영상으로부터 추출되는 관심영역의 위치를 보정하여 저사양 하드웨어를 구비한 차량용 블랙박스를 사용하는 사용자에게도 실시간으로 차선이탈을 경보할 수 있는 처리속도를 향상시킨 실시간 차선이탈 경보시스템을 제공하는 효과가 있다.As described above, according to the present invention, the position of a region of interest extracted from a road image photographed by a camera is corrected, thereby improving the processing speed for alerting a lane departure in real time to a user using a vehicle black box having low- Thereby providing a real-time lane departure warning system.

또한, 본 발명은, 영상처리용 이미지를 생성하는 경우에 관심영역에 대응되는 ROI이미지의 크기를 블랙박스에서 차선인식이 가능한 최소사이즈로 재조정함으로써 처리속도롤 향상시킬 수 있는 효과가 있다.Further, the present invention has an effect of improving the processing speed roll by rearranging the size of the ROI image corresponding to the ROI in the black box to the minimum size capable of recognizing the lane in the case of generating the image for image processing.

또한, 본 발명은, ROI이미지의 크기를 재조정하는 경우에 차선을 검출할 수 있도록 넓은 영역의 파노라마 형태를 갖는 이미지를 도로영상정보에서 추출한 다음 추출한 이미지에서 세로길이를 고정값으로 하여 가로길이 전체를 줄이는 방법을 사용함으로써 처리속도를 향상시키면서도 차선검출효율을 향상시키는 효과가 있다.In the present invention, an image having a panoramic shape in a wide area is extracted from the road image information so that a lane can be detected when the size of the ROI image is readjusted. Then, in the extracted image, There is an effect of improving the lane detection efficiency while improving the processing speed.

또한, 본 발명은, 영상처리부에서 후보차선을 추출하는 경우에 수평 그라디언트 이미지를 생성하고 극소값과 극대값의 관계를 이용하여 후보차선을 추출한 다음 중앙값만으로 이용하여 후보차선을 형성함으로써 연산에 필요한 데이터크기를 줄여 처리속도를 향상시키는 효과가 있다.In the present invention, when a candidate lane is extracted from the image processing unit, a horizontal gradient image is generated, and a candidate lane is extracted using the relationship between the minimum value and the maximum value. Then, a candidate lane is formed using only the median value, It has the effect of improving the processing speed.

또한, 본 발명은, 영상처리부에서 검출되는 주행차선데이터를 검출하는 경우에 RANSAC알고리즘을 이용하여 차선을 이루는 점들을 찾은 다음 각각의 점들을 단일의 직선으로 연결하여 검출함으로써 여러개의 라인 중에서 차선을 검출하는 방식에 비해 처리되는 데이터크기를 줄일 수 있어 처리속도를 향상시키고 실시간 인식이 가능한 효과가 있다.Further, in the present invention, when driving lane data detected by the image processing unit is detected, a lane detecting unit detects a lane forming point by using the RANSAC algorithm, and connects each point by a single straight line to detect a lane among a plurality of lines It is possible to reduce the size of data to be processed, thereby improving the processing speed and realizing real-time recognition.

또한, 본 발명은, 캘리브레이션부에서 영상처리부에 검출된 주행차선데이터를 이용하여 도로영상정보에서의 관심영역 위치값을 조정하기 위한 변동값을 생성함으로써 블랙박스가 장착되는 차량전방 대쉬보드의 위치에 관계없이 최적의 차선검출위치를 자동으로 설정할 수 있어 실시간으로 차선이탈 경고신호를 발생시킬 수 있는 효과가 있다.Further, according to the present invention, by generating a variation value for adjusting the position of the ROI in the road image information by using the driving lane data detected by the image processing section in the calibration section, the position of the vehicle front dashboard on which the black box is mounted The optimum lane detection position can be automatically set regardless of the lane departure warning signal, and the lane departure warning signal can be generated in real time.

또한, 본 발명은, 영상처리부를 구성하는 주행차선 데이터처리부에 후보차선에 대한 검색영역을 재설정하는 검색영역 재설정부를 구비하여 관심영역에서의 후보차선의 위치변화에 실시간으로 대응하여 차선을 추적할 수 있는 효과가 있다.The present invention further includes a search area resetting unit for resetting the search area for the candidate lane to the driving lane data processing unit constituting the image processing unit so as to track the lane in real time in response to the position change of the candidate lane in the area of interest There is an effect.

또한, 본 발명은, 경고신호부에서 경고신호를 발생시키기 위하여 차선추적이 성공한 경우와 추적차선 및 검출차선의 X좌표에 대한 임계값내 접근할 경우 모두의 조건을 만족하는 경우로 한정함으로써 경고신호에 대한 정확도를 높여 안전성을 향상시키는 효과가 있다.In the present invention, the warning signal is limited to the case where the lane-tracking is successful and the condition of both the tracking lane and the approaching within the threshold value with respect to the X coordinate of the detection lane is satisfied in order to generate the warning signal in the warning signal part, It is possible to enhance the accuracy and improve the safety.

지금까지 본 발명에 대해서 상세히 설명하였으나, 그 과정에서 언급한 실시예는 예시적인 것일 뿐이며, 한정적인 것이 아님을 분명히 하고, 본 발명은 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상이나 분야를 벗어나지 않는 범위내에서, 균등하게 대처될 수 있는 정도의 구성요소 변경은 본 발명의 범위에 속한다 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation, It is within the scope of the present invention that component changes to such an extent that they can be coped evenly within a range that does not deviate from the scope of the present invention.

100 : 영상정보입력부 200 : 영상처리용 전처리부
210 : ROI이미지 추출부 220 : ROI사이즈 재조정부
230 : 흑백이미지 생성부 300 : 영상처리부
310 : 가우시안블러 이미지 생성부 320 : 후보차선 추출부
321 : 수평그라디언트 처리부 322 : 후보차선 형성부
323 : 차선제거부 330 : 주행차선 데이터 처리부
331 : 검색영역 설정부 332 : 주행차선 검출부
333 : 차선추적부 334 : 검색영역 재설정부
400 : 경고신호부 500 : 캘리브레이션부
510 : ROI위치 조정부 520 : 차선넓이 조정부
530 : 데이터 안정화부100: image information input unit 200: preprocessing unit for image processing
210: ROI image extracting unit 220: ROI size resizing unit
230: a monochrome image generating unit 300:
310: Gaussian blur image generator 320: candidate lane extractor
321: Horizontal gradient processing unit 322: Candidate lane forming unit
323: Lane departure rejection 330: Driving lane data processing section
331: Search area setting section 332: Driving lane detecting section
333: lane-tracking unit 334: search area resetting unit
400: Warning signal unit 500: Calibration unit
510: ROI position adjustment unit 520: Lane width adjustment unit
530: Data Stabilization Unit

Claims (18)

차량에 장착된 카메라의 영상정보를 이용하여 차선이탈시 운전자에게 차선이탈을 경고하는 차선이탈 경보방법에 있어서,
상기 카메라를 통하여 RGB방식 및 YUV방식 중 어느 하나의 영상포맷으로 형성되는 도로영상정보를 추가조작없이 원시영상데이터로 입력받는 단계;
도로영상정보를 전처리하여 차선을 검출하기 위한 관심영역의 실시간 차선인식을 위한 영상처리용 이미지를 생성하는 단계;
상기 생성된 영상처리용 이미지의 노이즈를 제거하고 후보차선을 추출한 다음 RANSAC알고리즘을 이용하여 주행차선 데이터를 검출하는 단계;
주행차선 데이터를 이용하여 상기 도로영상정보에서 추출되는 관심영역의 위치값 및 경고신호를 발생시키기 위해 참조되는 차선넓이값을 실시간으로 조정하는 단계; 및
상기 검출된 주행차선 데이터가 경고발생조건을 만족하는 경우에 차선이탈 경고신호를 발생시키는 단계;를 구비하는 것을 특징으로 하는 처리속도를 향상시킨 실시간 차선이탈 경보방법
A lane departure warning method for warning a driver of a lane departure when a lane departure occurs by using image information of a camera mounted on the vehicle,
Receiving road image information formed of any one of an RGB method and a YUV method through the camera as raw image data without additional operation;
Generating an image for image processing for real-time lane recognition of a region of interest for detecting lanes by preprocessing road image information;
Removing noises of the generated image for image processing, extracting candidate lanes, and detecting driving lane data using the RANSAC algorithm;
Adjusting, in real time, the position value of the ROI extracted from the road image information and the lane width value referred to for generating the warning signal using the driving lane data; And
And generating a lane departure warning signal when the detected lane of travel data satisfies a warning generating condition.
청구항 1에 있어서,
주행차선데이터를 이용하여 관심영역의 위치값이 조정될 경우 상기 도로영상정보를 구성하는 영상화면에서 ROI이미지가 추출되는 위치를 실시간으로 변경하는 단계;를 더 포함하는 것을 특징으로 하는 처리속도를 향상시킨 실시간 차선이탈 경보방법
The method according to claim 1,
And changing a location where the ROI image is extracted on the image screen constituting the road image information in real time when the position value of the ROI is adjusted using the driving lane data. Real-time lane departure warning method
청구항 1에 있어서, 상기 도로영상정보를 전처리하여 차선을 검출하기 위한 관심영역의 실시간 차선인식을 위한 영상처리용 이미지를 생성하는 단계는,
도로영상정보를 구성하는 영상화면의 하측 중심부를 기준으로 차선검출을 위한 관심영역에 대응되는 ROI이미지를 추출하는 단계;
상기 관심영역의 ROI이미지를 차선인식이 가능한 최소 사이즈에 대응되는 특정크기로 재조정하는 단계; 및
상기 재조정된 ROI이미지로부터 흑백이미지를 생성하는 단계;를 구비하는 것을 특징으로 하는 처리속도를 향상시킨 실시간 차선이탈 경보방법
The method as claimed in claim 1, wherein the step of generating an image for image processing for real-time lane recognition of a region of interest for detecting a lane by preprocessing the road image information comprises:
Extracting an ROI image corresponding to a region of interest for lane detection based on a lower center portion of an image screen constituting road image information;
Rearranging the ROI image of the ROI to a specific size corresponding to a minimum size capable of lane recognition; And
And generating a black-and-white image from the re-adjusted ROI image.
청구항 3에 있어서, 상기 관심영역의 ROI이미지를 차선인식이 가능한 최소 사이즈에 대응되는 특정크기로 재조정하는 단계는,
파노라마 형태의 ROI이미지를 세로길이는 기준값으로 고정하고 가로길이를 전체적으로 축소하여 가로길이가 세로길이에 비하여 상대적으로 짧게 형성된 직사각형 형태의 ROI이미지로 사이즈를 재조정하는 단계인 것을 특징으로 하는 처리속도를 향상시킨 실시간 차선이탈 경보방법
4. The method of claim 3, wherein rearranging the ROI image of the ROI to a specific size corresponding to a minimum size capable of lane recognition comprises:
The ROI image of the panoramic shape is a step of re-sizing the ROI image into a rectangle-shaped ROI image in which the vertical length is fixed as a reference value and the horizontal length is entirely reduced to make the horizontal length relatively shorter than the vertical length. Real time lane departure warning method
청구항 1에 있어서, 상기 생성된 영상처리용 이미지의 노이즈를 제거하고 후보차선을 추출한 다음 RANSAC알고리즘을 이용하여 주행차선 데이터를 검출하는 단계는,
영상처리용 이미지의 노이즈 제거를 위한 가우시안 블러 이미지를 생성하는 단계;
가우시안 블러 이미지에서 수평 그라디언트를 이용하여 후보차선을 추출하는 단계;
상기 후보차선에 대한 초기 검색영역을 설정하는 단계;
상기 검색영역에서 RANSAC알고리즘을 이용하여 차선을 이루는 점들을 찾은 다음 각각의 점들을 직선으로 연결함으로써 주행차선 데이터를 검출하는 단계;
상기 검출된 주행차선 데이터로 이루어진 주행차선에 대해 칼만필터를 이용하여 안정적으로 추적하는 단계; 및
상기 추적결과에 대응하여 상기 후보차선에 대한 검색영역을 재설정하는 단계;를 구비하는 것을 특징으로 하는 처리속도를 향상시킨 실시간 차선이탈 경보방법
The method as claimed in claim 1, wherein the noise of the generated image processing image is removed, a candidate lane is extracted, and then the driving lane data is detected using the RANSAC algorithm,
Generating a Gaussian blur image for noise removal of an image for image processing;
Extracting a candidate lane using a horizontal gradient in a Gaussian blur image;
Setting an initial search area for the candidate lane;
Detecting driving lane data by finding points forming lanes using the RANSAC algorithm in the search area and connecting the points to each other by a straight line;
Stably tracking a driving lane comprising the detected driving lane data using a Kalman filter; And
And resetting the search area for the candidate lane in response to the result of the tracking.
청구항 5에 있어서, 상기 가우시안 블러 이미지에서 수평 그라디언트를 이용하여 후보차선을 추출하는 단계는;
하기의 수학식을 이용하여 수평 그라디언트 이미지를 생성하고 수평 그라디언트 값의 극소값과 극대값의 관계를 이용하여 후보차선을 추출하는 단계;
추출된 후보차선에 대해 중앙값을 남기고 제거하여 최소 두께의 후보차선을 형성하는 단계;
시간의 경과에 따라 변화가 없을 경우 후보차선을 제거하는 단계;를 구비하는 것을 특징으로 하는 처리속도를 향상시킨 실시간 차선이탈 경보방법
Figure pat00041

(여기서, Gv=수평그라디언트 이미지, I(x,y)=x,y좌표의 입력 이미지값)
The method of claim 5, wherein extracting a candidate lane using the horizontal gradient in the Gaussian blur image comprises:
Generating a horizontal gradient image using the following equation and extracting a candidate lane using the relationship between the minimum value and the maximum value of the horizontal gradient value;
Forming a candidate lane of minimum thickness by removing a median value for the extracted candidate lane;
And removing the candidate lane when there is no change with passage of time.
Figure pat00041

(Where Gv = horizontal gradient image, I (x, y) = x, y coordinate input image value)
청구항 6에 있어서, 상기 후보차선을 추출하는 단계는,
상기 생성된 수평 그라이디언트 이미지를 구성하는 수평 그라디언트 값의 극소값과 극대값의 값 차이가 일정값 이상일 경우와 수평그라디언트 값의 극소값과 극대값의 거리 차이가 일정거리 이하일 경우를 동시에 만족하는 경우에 후보차선으로 판단하는 단계인 것을 특징으로 하는 처리속도를 향상시킨 실시간 차선이탈 경보방법
The method according to claim 6, wherein the extracting of the candidate lane comprises:
When the difference between the minimum value and the maximum value of the horizontal gradient values constituting the generated horizontal gradient image is equal to or more than a predetermined value and when the distance difference between the minimum value and the maximum value of the horizontal gradient value is equal to or less than a predetermined distance, The lane departure warning method comprising the steps of:
청구항 5에 있어서, 상기 후보차선에 대한 초기 검색영역을 설정하는 단계는,
하기의 수학식을 이용하여 후보차선에 대한 초기 검색영역에 해당하는 기준선의 검색넓이(W)와 기준선의 기울기(θ) 및 기준선의 거리(rho)를 설정하는 단계인 것을 특징으로 하는 처리속도를 향상시킨 실시간 차선이탈 경보방법
Figure pat00042

Figure pat00043

Figure pat00044

(여기서,
Figure pat00045
,
Figure pat00046
,
Figure pat00047
,
Figure pat00048
,
Figure pat00049
,
Figure pat00050
)
6. The method of claim 5, wherein the setting of the initial search area for the candidate lane comprises:
Wherein the step of setting the search width (W) of the reference line, the slope (?) Of the reference line, and the distance (rho) between the reference line corresponding to the initial search area for the candidate lane is performed using the following equation Improved real-time lane departure warning method
Figure pat00042

Figure pat00043

Figure pat00044

(here,
Figure pat00045
,
Figure pat00046
,
Figure pat00047
,
Figure pat00048
,
Figure pat00049
,
Figure pat00050
)
청구항 5에 있어서, 상기 검색영역에서 RANSAC알고리즘을 이용하여 차선을 이루는 점들을 찾은 다음 각각의 점들을 직선으로 연결함으로써 주행차선 데이터를 검출하는 단계는,
상기 후보차선의 검색영역에서 차선을 이루는 점들에 대응되며 랜덤하게 샘플링된 데이터들을 이용하여 단일의 직선을 형성하는 주행차선을 검출하는 단계인 것을 특징으로 하는 처리속도를 향상시킨 실시간 차선이탈 경보방법
6. The method of claim 5, wherein detecting the lane data by using the RANSAC algorithm in the search area and then connecting the respective points with a straight line,
And detecting a driving lane that corresponds to the lane forming points in the search range of the candidate lane and forms a single straight line using randomly sampled data.
청구항 5에 있어서, 상기 추적결과에 대응하여 상기 후보차선에 대한 검색영역을 재설정하는 단계는,
일정시간 동안 검색영역의 넓이(W)값이 초기값과 동일하면 추적실패로 간주하고 검색영역을 초기검색영역으로 재설정 하는 단계를 포함하는 것을 특징으로 하는 처리속도를 향상시킨 실시간 차선이탈 경보방법
The method as claimed in claim 5, wherein the step of resetting the search area for the candidate lane in response to the tracking result comprises:
And a step of resetting the search area to an initial search area when the width (W) value of the search area is equal to the initial value for a predetermined period of time.
청구항 1에 있어서, 상기 검출된 주행차선 데이터가 경고발생조건을 만족하는 경우에 차선이탈 경고신호를 발생시키는 단계는,
일정시간 이상 상기 차선추적부에 의한 차선추적이 성공하는 경우, 추적 차선의 x좌표가 관심영역 내 차선 넓이 대비 임계값으로 설정된 위치이상 접근할 경우, 및 상기 차선검출부에 검출된 차선의 x좌표가 관심영역 내 차선의 임계값으로 설정된 위치 이상 접근할 경우를 동시에 모두 만족하면 차선이탈 경고신호를 발생시키는 단계인 것을 특징으로 하는 처리속도를 향상시킨 실시간 차선이탈 경보방법
The method as claimed in claim 1, wherein the step of generating the lane departure warning signal when the detected driving lane data satisfies the warning generating condition comprises:
When the lane-tracking by the lane-finding unit succeeds for a predetermined time or longer, when the x-coordinate of the lane of tracing approaches a position set as a threshold value of the lane width in the area of interest and the x- And the lane departure warning signal is generated when both of the lane departure warning signal and the lane departure warning signal are both satisfied at the same time.
청구항 1에 있어서, 주행차선 데이터를 이용하여 상기 도로영상정보에서 추출되는 관심영역의 위치값 및 경고신호를 발생시키기 위해 참조되는 차선넓이값을 실시간으로 조정하는 단계는,
주행차선 데이터를 이용하여 관심영역의 위치값을 조정하기 위한 변동값을 생성하는 단계와;
상기 영상처리부에서 검출되는 주행차선 데이터를 이용하여 차선넓이값을 추정하고 상기 경고신호부에 전달되어 차선넓이를 조정하기 위한 변동값을 생성하는 단계; 및
칼만필터 및 평균값 중 어느 하나를 이용한 방식으로 생성된 변동값 데이터를 안정화시키는 단계;를 구비하는 것을 특징으로 하는 처리속도를 향상시킨 실시간 차선이탈 경보방법
2. The method as claimed in claim 1, wherein real-time adjustment of the position value of the ROI extracted from the road image information using the driving lane data and the lane width value referred to for generating the warning signal,
Generating a variation value for adjusting a position value of the ROI using the driving lane data;
Estimating a lane width value using the driving lane data detected by the image processing unit and generating a variation value for adjusting the lane width transmitted to the warning signal unit; And
And a step of stabilizing the variable value data generated by using the Kalman filter and the average value.
차량에 장착된 카메라의 영상정보를 이용하여 차선이탈시 운전자에게 차선이탈을 경고하는 차선이탈 경보시스템에 있어서,
상기 카메라를 통하여 도로영상정보를 입력받는 영상정보입력부;
상기 영상정보입력부에 입력된 도로영상정보를 전처리하여 차선을 검출하기 위한 관심영역의 실시간 차선인식을 위한 영상처리용 이미지를 생성하는 영상처리용 전처리부;
상기 영상처리용 전처리부를 통해 생성된 영상처리용 이미지의 노이즈를 제거하고 후보차선을 추출한 다음 RANSAC알고리즘을 이용하여 주행차선 데이터를 검출하는 영상처리부;
상기 영상처리부에서 검출되는 주행차선 데이터가 경고발생조건을 만족하는 경우에 차선이탈 경고신호를 발생시키는 경고신호부; 및
상기 영상처리부에서 검출되는 주행차선 데이터를 이용하여 상기 영상처리용 전처리부에서 추출되는 관심영역의 위치값 및 상기 경고신호부에 전달되는 차선넓이값을 조정하는 캘리브레이션부;를 구비하는 것을 특징으로 하는 처리속도를 향상시킨 실시간 차선이탈 경보시스템
A lane departure warning system for warning a lane departure to a driver when a lane departure occurs by using image information of a camera mounted on the vehicle,
An image information input unit receiving road image information through the camera;
A preprocessing unit for preprocessing road image information input to the image information input unit to generate an image for image processing for real time lane recognition of a region of interest for detecting a lane;
An image processing unit for removing noises of an image for image processing generated through the preprocessing unit for image processing, extracting candidate lanes, and detecting driving lane data using the RANSAC algorithm;
A warning signal unit for generating a lane departure warning signal when the driving lane data detected by the image processing unit satisfies a warning generating condition; And
And a calibration unit for adjusting a position value of the ROI extracted by the preprocessing unit for image processing and a lane width value transmitted to the warning signal unit using the driving lane data detected by the image processing unit Real-time lane departure warning system with improved processing speed
청구항 13에 있어서, 상기 영상처리용 전처리부는,
상기 도로영상정보로부터 차선을 검출하기 위한 관심영역에 대응되며 가로길이가 세로길이에 비해 상대적으로 길게 형성되는 파노라마 형태의 ROI이미지를 추출하는 ROI이미지 추출부;
상기 ROI이미지 추출부를 통해 추출된 관심영역의 ROI이미지를 상기 차량용 블랙박스를 통해 차선인식이 가능한 최소 사이즈에 대응되는 특정크기로 재조정하는 ROI사이즈 재조정부; 및
상기 ROI사이즈 재조정부를 통해 사이즈가 재조정된 ROI이미지로부터 영상처리가 가능하도록 흑백이미지를 생성하는 흑백이미지 생성부;를 구비하고,
상기 ROI이미지 추출부는, 상기 파노라마 형태의 ROI이미지를 상기 도로영상정보를 구성하는 영상화면의 하측방향 중심부에서 최초 추출한 다음 상기 캘리브레이션부에서 전달되는 관심영역의 위치값에 대응되게 ROI이미지가 추출되는 위치를 실시간으로 변경하는 것을 특징으로 하는 처리속도를 향상시킨 실시간 차선이탈 경보시스템
14. The image processing apparatus according to claim 13,
An ROI image extracting unit for extracting a panoramic ROI image corresponding to an area of interest for detecting a lane from the road image information and having a relatively long length relative to a vertical length;
An ROI size reconstructing unit for reconstructing an ROI image of a ROI extracted through the ROI image extracting unit to a specific size corresponding to a minimum size capable of recognizing a lane through the vehicle black box; And
And a monochrome image generating unit for generating a monochrome image so that an image can be processed from the resized ROI image through the ROI size resizing unit,
Wherein the ROI image extracting unit extracts the ROI image of the panoramic shape from the central portion of the lower side of the image screen constituting the road image information and then extracts the ROI image corresponding to the position value of the ROI transmitted from the calibration unit Wherein the real time lane departure warning system
청구항 14에 있어서, 상기 ROI사이즈 재조정부는,
상기 파노라마 형태의 ROI이미지를 세로길이는 기준값으로 고정하고 가로길이를 전체적으로 축소하여 가로길이가 세로길이에 비하여 상대적으로 짧게 형성된 직사각형 형태의 ROI이미지를 80×120 의 픽셀 단위크기로 형성하는 것을 특징으로 하는 처리속도를 향상시킨 실시간 차선이탈 경보시스템
15. The apparatus of claim 14, wherein the ROI size re-
The ROI image of the panoramic form is fixed to a reference value and the width of the ROI image is entirely reduced to form a rectangular ROI image having a size of 80 × 120 pixels, the width of which is relatively short compared to the vertical length. Real-time lane departure warning system
청구항 13에 있어서, 상기 영상처리부는,
상기 영상처리용 전처리부를 통해 생성된 영상처리용 이미지의 노이즈 제거를 위한 가우시안 블러 이미지 생성부;
상기 가우시안 블러 이미지 생성부에서 생성된 가우시안 블러 이미지에서 수평 그라디언트를 이용하여 후보차선을 추출하는 후보차선 추출부; 및
RANSAC알고리즘을 이용하여 상기 후보차선으로부터 주행차선 데이터를 검출하고 주행차선을 안정적으로 추적함과 동시에 RANSAC알고리즘을 적용하기 위한 차선검색영역을 설정하는 주행차선 데이터처리부;를 구비하는 것을 특징으로 하는 처리속도를 향상시킨 실시간 차선이탈 경보시스템
14. The image processing apparatus according to claim 13,
A Gaussian blur image generating unit for removing noise of an image for image processing generated through the preprocessing unit for image processing;
A candidate lane extracting unit for extracting a candidate lane using a horizontal gradient in the Gaussian blur image generated by the Gaussian blur image generating unit; And
And a driving lane data processing unit for detecting driving lane data from the candidate lane using the RANSAC algorithm and stably tracking the driving lane and setting a lane search area for applying the RANSAC algorithm. Real-time lane departure warning system
청구항 16에 있어서, 상기 주행차선 데이터처리부는,
상기 후보차선에 대한 초기 검색영역을 설정하는 검색영역 설정부;
상기 검색영역에서 RANSAC알고리즘을 이용하여 차선을 이루는 점들을 찾은 다음 각각의 점들을 직선으로 연결함으로써 주행차선 데이터를 검출하는 주행차선검출부;
상기 검출된 주행차선 데이터로 이루어진 주행차선에 대해 칼만필터를 이용하여 안정적으로 추적하는 차선추적부; 및
상기 차선추적부의 추적결과에 대응하여 상기 후보차선에 대한 검색영역을 재설정하는 검색영역 재설정부;를 구비하는 것을 특징으로 하는 처리속도를 향상시킨 실시간 차선이탈 경보시스템
The navigation system according to claim 16,
A search area setting unit for setting an initial search area for the candidate lane;
A driving lane detecting unit for detecting driving lane data by finding points forming lanes by using the RANSAC algorithm in the search area and connecting respective points by a straight line;
A lane-tracking unit for stably tracking the driving lane comprising the detected driving lane data using a Kalman filter; And
And a search area resetting unit resetting a search area for the candidate lane in response to a result of the lane-finding unit tracking the real time lane departure warning system
청구항 13에 있어서, 상기 캘리브레이션부는,
상기 영상처리부에서 검출되는 주행차선 데이터를 이용하여 관심영역의 위치값을 조정하기 위한 변동값을 생성하는 ROI위치 조정부;
상기 영상처리부에서 검출되는 주행차선 데이터를 이용하여 차선넓이값을 추정하고 상기 경고신호부에 전달되어 차선넓이를 조정하기 위한 변동값을 생성하는 차선넓이 조정부; 및
칼만필터 및 평균값 중 어느 하나를 이용한 방식으로 상기 ROI위치 조정부 및 상기 차선넓이 조정부에 의해 생성된 변동값 데이터를 각각 안정화시키는 데이터안정화부;를 구비하는 것을 특징으로 하는 처리속도를 향상시킨 실시간 차선이탈 경보시스템14. The apparatus according to claim 13,
An ROI position adjustment unit for generating a variation value for adjusting a position value of a ROI using the driving lane data detected by the image processing unit;
A lane width adjusting unit that estimates a lane width value using the driving lane data detected by the image processing unit and generates a variation value for adjusting the lane width transmitted to the warning signal unit; And
And a data stabilization unit that stabilizes the variation value data generated by the ROI position adjustment unit and the lane width adjustment unit using a Kalman filter and an average value, Alarm system
KR1020160026457A 2016-03-04 2016-03-04 Real time Lane Departure Warning Method and Warning System for Vehicle with Improving Processing Speed KR101805883B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160026457A KR101805883B1 (en) 2016-03-04 2016-03-04 Real time Lane Departure Warning Method and Warning System for Vehicle with Improving Processing Speed

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160026457A KR101805883B1 (en) 2016-03-04 2016-03-04 Real time Lane Departure Warning Method and Warning System for Vehicle with Improving Processing Speed

Publications (2)

Publication Number Publication Date
KR20170104089A true KR20170104089A (en) 2017-09-14
KR101805883B1 KR101805883B1 (en) 2018-01-19

Family

ID=59926720

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160026457A KR101805883B1 (en) 2016-03-04 2016-03-04 Real time Lane Departure Warning Method and Warning System for Vehicle with Improving Processing Speed

Country Status (1)

Country Link
KR (1) KR101805883B1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190052332A (en) * 2017-11-08 2019-05-16 (주) 코스텍 Lane departure warning system
CN109948552A (en) * 2019-03-20 2019-06-28 四川大学 A method of lane line detection in complex traffic environment
KR20190088647A (en) * 2018-01-19 2019-07-29 한국해양대학교 산학협력단 Automatic Lane Painting System Using Unmanned Vehicles
CN110539750A (en) * 2019-08-14 2019-12-06 合肥工业大学 A lane departure warning system and method based on driving state and road condition information
CN112069924A (en) * 2020-08-18 2020-12-11 东莞正扬电子机械有限公司 Lane line detection method, lane line detection device and computer-readable storage medium
KR20210079676A (en) * 2019-12-20 2021-06-30 (주) 오토노머스에이투지 Method and device for improving results of lane detection referring to pitching of vehicle
CN114663859A (en) * 2022-03-24 2022-06-24 宋春蓉 Sensitive and accurate complex road condition lane deviation real-time early warning system
KR20220087180A (en) * 2020-12-17 2022-06-24 가톨릭대학교 산학협력단 Method and System for Object Identification by Patterns of Object Image

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101517181B1 (en) * 2014-02-28 2015-05-04 주식회사 코아로직 System and method for warning lane departure

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190052332A (en) * 2017-11-08 2019-05-16 (주) 코스텍 Lane departure warning system
KR20190088647A (en) * 2018-01-19 2019-07-29 한국해양대학교 산학협력단 Automatic Lane Painting System Using Unmanned Vehicles
CN109948552A (en) * 2019-03-20 2019-06-28 四川大学 A method of lane line detection in complex traffic environment
CN110539750A (en) * 2019-08-14 2019-12-06 合肥工业大学 A lane departure warning system and method based on driving state and road condition information
KR20210079676A (en) * 2019-12-20 2021-06-30 (주) 오토노머스에이투지 Method and device for improving results of lane detection referring to pitching of vehicle
CN112069924A (en) * 2020-08-18 2020-12-11 东莞正扬电子机械有限公司 Lane line detection method, lane line detection device and computer-readable storage medium
KR20220087180A (en) * 2020-12-17 2022-06-24 가톨릭대학교 산학협력단 Method and System for Object Identification by Patterns of Object Image
CN114663859A (en) * 2022-03-24 2022-06-24 宋春蓉 Sensitive and accurate complex road condition lane deviation real-time early warning system

Also Published As

Publication number Publication date
KR101805883B1 (en) 2018-01-19

Similar Documents

Publication Publication Date Title
KR101805883B1 (en) Real time Lane Departure Warning Method and Warning System for Vehicle with Improving Processing Speed
Wu et al. Lane-mark extraction for automobiles under complex conditions
KR101472615B1 (en) System and method for warning lane departure
JP5012718B2 (en) Image processing device
US11136046B2 (en) Method and system of vehicle alarm that alarm area is changed by visible distance, and vision system for vehicle
US9257043B2 (en) Lane correction system, lane correction apparatus and method of correcting lane
EP2573708B1 (en) Method and System for Detecting Vehicle Position by Employing Polarization Image
KR101094752B1 (en) Lane Classification Method Using Statistical Model of HS Color Information
JP4744537B2 (en) Driving lane detector
US10691959B2 (en) Estimating apparatus
KR101240499B1 (en) Device and method for real time lane recogniton and car detection
JP2011180982A (en) Lane marker detecting apparatus
Liu et al. Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions
EP3282389B1 (en) Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program
KR101584907B1 (en) Method and Apparatus for recognizing lane using region of interest
JP2018169888A (en) Road parameter estimation system
JP4826355B2 (en) Vehicle surrounding display device
KR20180082089A (en) Method for Detecting Border of Grassland Using Image-Based Color Information
JP2012252501A (en) Traveling path recognition device and traveling path recognition program
EP2256691B1 (en) Image processing device for vehicle and image processing program
KR101620425B1 (en) System for lane recognition using environmental information and method thereof
WO2014167393A1 (en) Travel path detection apparatus and travel path detection method
EP3287948B1 (en) Image processing apparatus, moving body apparatus control system, image processing method, and program
KR20160126254A (en) System for detecting road area
KR101976952B1 (en) System and method for detecting object using motion vector

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160304

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170719

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20170905

PG1501 Laying open of application
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20171130

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20171130

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PC1903 Unpaid annual fee