KR20150146374A - System for lane recognition using environmental information and method thereof - Google Patents

System for lane recognition using environmental information and method thereof Download PDF

Info

Publication number
KR20150146374A
KR20150146374A KR1020150003189A KR20150003189A KR20150146374A KR 20150146374 A KR20150146374 A KR 20150146374A KR 1020150003189 A KR1020150003189 A KR 1020150003189A KR 20150003189 A KR20150003189 A KR 20150003189A KR 20150146374 A KR20150146374 A KR 20150146374A
Authority
KR
South Korea
Prior art keywords
lane
vehicle
image
information
interest
Prior art date
Application number
KR1020150003189A
Other languages
Korean (ko)
Other versions
KR101620425B1 (en
Inventor
진석식
박대혁
Original Assignee
주식회사 세인전장
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 세인전장 filed Critical 주식회사 세인전장
Publication of KR20150146374A publication Critical patent/KR20150146374A/en
Application granted granted Critical
Publication of KR101620425B1 publication Critical patent/KR101620425B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/06Direction of travel
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/10Number of lanes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/802Longitudinal distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Abstract

A system for recognizing a lane in real time and a method therefor are disclosed. The system for recognizing a lane in real time comprises: a pretreatment module pretreating an image and a picture obtained from a camera or a black box installed in a vehicle; a region of interest setting module setting a region of interest (Rol) from the pretreated image obtained from the pretreatment module; a lane recognition module obtaining vehicle position information through a GPS to recognize a lane in the set Rol using the obtained vehicle position information; and a display module displaying the recognized lane information.

Description

주변 환경 정보를 이용한 차선 인식 시스템 및 그 방법 {SYSTEM FOR LANE RECOGNITION USING ENVIRONMENTAL INFORMATION AND METHOD THEREOF} BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a lane recognition system using surroundings information,

본 발명은 차선 인식 시스템 및 그 방법에 관한 것으로서, 구체적으로 주변 환경 정보를 이용하여 실시간으로 차선 인식을 수행하는 시스템 및 그 방법에 관한 것이다.
The present invention relates to a lane recognition system and a method thereof, and more particularly, to a system and method for real-time lane recognition using surrounding environment information.

최근 지능형 자동차에 대한 연구가 활발히 이루어 지고 있다. 그 중에서도 영상을 통한 정보 처리 기술에 대한 관심이 날로 증가되고 있다. 특히, 차량 전방 또는 후방에 탑재된 카메라를 통해 획득하는 영상을 이용하여 차선인식을 함으로써, 운전자에게 주행 최적 차선 정보를 실시간으로 제공하여, 주행 편의 및 안전사고 예방을 위한 노력이 계속되고 있다. Recently, researches on intelligent automobiles are being actively carried out. Among them, interest in information processing technology through video is increasing day by day. Particularly, efforts are being made to provide driving optimum lane information to the driver in real time by using lane recognition using an image acquired through a camera mounted on the front or rear of the vehicle, thereby improving the convenience of travel and prevention of safety accidents.

차선 인식 기술은 이전부터 활발하게 연구되어 왔다. 하지만, 종래의 차선 인식 기술은 주행 중 촬영된 동영상 데이터의 모든 프레임에 대한 이미지 정보를 추출하여 차선 인식을 위해 사용하기 때문에 영상처리에 많은 시간이 소요된다.Lane recognition technology has been studied actively from the past. However, since the conventional lane recognition technology extracts image information of all frames of motion picture data taken while driving and uses it for lane recognition, much time is required for image processing.

또한, 차선 인식을 위한 데이터로 차선 이미지를 주로 사용하였기 때문에, 이미지 인식 오류비율이 높아, 운전자들의 주행편의를 향상시키기 어려웠다.
In addition, since the lane image is mainly used for the lane recognition, the image recognition error rate is high and it is difficult to improve the driving convenience of the driver.

본 발명의 목적은 블랙박스 영상과, 네비게이션을 통해 획득하는 위치정보를 이용하여, 차선 인식을 보다 정확하게 수행한다. An object of the present invention is to perform lane recognition more accurately using a black box image and position information acquired through navigation.

또한, 이미지 전처리와 ROI(Region of Interest) 추출 작업을 보다 효율적으로 수행하여, 차선인식에 소요되는 연산량을 감소시켜, 운전자에게 신속하고 정확한 차선 인식 정보를 실시간으로 제공한다.
In addition, image preprocessing and region of interest (ROI) extraction are performed more efficiently, thereby reducing the amount of computation required for lane recognition and providing the driver with fast and accurate lane recognition information in real time.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 면에 따른 차선인식 시스템은 차량 탑재 카메라 또는 블랙박스로부터 획득된 영상과 이미지를 전처리 하는 전처리 모듈, 전처리 모듈로부터 획득한 전처리된 이미지로부터 관심영역(RoI, Region of Interest)을 설정하는 관심영역 설정 모듈, 차량의 위치정보를 GPS 를 통해 획득하여, 획득된 차량 위치 정보에 포함된 주행 중 차선 수와 차량의 진행 방향 정보에서 차량의 커브량을 추출하여, 추출된 정보 및 위치 정보를 통해 영상에서 취득되는 차선 정보를 매핑하고, 매핑 결과에 따라 차선의 위치 및 차선의 종류를 판별하여 상기 설정된 관심영역에서 차선을 인식하는 차선 인식 모듈 및 된 차선 정보를 디스플레이 하는 디스플레이 모듈을 포함한다.According to an aspect of the present invention, there is provided a lane recognition system including a preprocessing module for preprocessing images and images obtained from a vehicle-mounted camera or a black box, (ROI, Region of Interest), a position information of the vehicle is acquired by GPS, and the curve amount of the vehicle is calculated from the number of lanes in the running and the direction information of the vehicle included in the obtained vehicle position information A lane recognition module for mapping the lane information acquired in the image through the extracted information and the position information and recognizing the lane in the set area of interest by discriminating the lane position and the type of lane according to the mapping result, And a display module for displaying information.

바람직한 실시예에 있어서, 차선 인식 시스템은 GPS 를 통해 상기 주행중인 차량의 위치 정보 및 차선 (TOP VIEW)를 통해 차선 인식과정의 오류를 검출하는 오류검출 모듈을 더 포함한다. In a preferred embodiment, the lane recognition system further includes an error detection module for detecting an error in the lane recognition process through the GPS and the location information of the vehicle under running and the lane (TOP VIEW).

바람직한 실시예에 있어서, 전처리 모듈은 YCbCr 및 RGB를 포함하는 색 공간 표현 데이터를 통해 획득된 영상과 이미지에서 색 공간을 추출하여 차선 영역을 강조하는 차선 후보 선택부, 차선 후보 선택부에서 강조된 차선영역의 에지(edge)를 추출하는 에지 추출부 및 추출된 차선영역의 에지 정보에서 차선 골격을 추출하는 세선화부를 포함하여 상기 획득된 영상과 이미지에 포함된 차선을 인식한다.In a preferred embodiment, the preprocessing module includes a lane candidate selector for extracting color space from the image and the image obtained through the color space representation data including YCbCr and RGB and for emphasizing the lane area, An edge extracting unit for extracting an edge of the extracted lane area, and a thinning unit for extracting a lane skeleton from edge information of the extracted lane area, thereby recognizing the lane included in the obtained image and the image.

바람직한 실시예에 있어서, 관심영역 설정 모듈은 차량에 장착된 카메라, 이미지 센서를 통해 획득하는 동적 이미지의 관심영역을 설정하거나, 차량의 위치 정보를 이용하여 획득하는 고정 이미지의 관심영역을 설정한다.In a preferred embodiment, the ROI module sets a region of interest of a dynamic image acquired through a camera mounted on the vehicle or an image sensor, or sets an ROI of a fixed image acquired using the location information of the vehicle.

바람직한 실시예에 있어서, 차선 인식 모듈은 허프 변환 및 소실점 추출과정을 통해 관심영역에 포함된 차선을 검색하는 차선 검색부, 차량 GPS 정보와 전후방에 존재하는 차량을 센싱한 정보를 이용하여, 상기 검색된 차선들 중 주행 최적 차선을 판단하는 최적 차선 판단부 및 최적 차선 정보를 이용하여, 최적 차선에 인접한 후보차선들을 검색하고 검색된 후보 차선들의 주행상황을 판단하는 후보 차선 검색부를 포함한다.In a preferred embodiment, the lane recognition module may include a lane search unit for searching lanes included in the ROI through the Hough transform and the vanishing point extraction process, the vehicle GPS information, And a candidate lane searching unit for searching for candidate lanes adjacent to the optimal lane using the optimum lane determining unit and the optimal lane information for determining the driving optimum lane among the lanes and for determining the driving situation of the searched candidate lanes.

바람직한 실시예에 있어서, 디스플레이 모듈은 차선 인식 모듈에서 판단된 최적 차선, 후보 차선 중 적어도 하나를 디스플레이 하고, 차량이 주행중인 차선에서 전방 차량과의 안전거리 및 주행 중인 차선을 강조하는 표시를 디스플레이하고, 차량이 차선을 기 설정된 수치 이상 이탈하는 경우, 차선 이탈을 경고하는 위험 신호를 디스플레이 한다. In a preferred embodiment, the display module displays at least one of the optimum lane and the candidate lane determined in the lane recognition module, displays a display for emphasizing the safety distance and the driving lane from the preceding vehicle in the lane in which the vehicle is running , And displays a danger signal warning the lane departure when the vehicle leaves the lane by more than a predetermined value.

본 발명의 다른 일면에 따른 차선 인식 방법은 차량 탑재 카메라 또는 블랙박스로부터 획득된 영상과 이미지를 전처리 하는 과정, 전처리된 이미지로부터 관심영역(RoI, Region of Interest)을 설정하는 과정, 차량의 위치정보를 GPS 를 통해 획득하여, 획득된 차량 위치 정보를 이용하여 설정된 관심영역에서 차선을 인식하는 과정 및 주행중인 차량의 위치 정보 및 차선 (TOP VIEW)를 통해 차선 인식과정의 오류를 검출하는 과정 및 오류 검출 완료된 차선 정보를 디스플레이 하는 과정을 포함한다.According to another aspect of the present invention, there is provided a lane recognition method comprising the steps of: preprocessing images and images obtained from a vehicle-mounted camera or a black box; setting a region of interest (RoI) from a preprocessed image; A process of recognizing a lane in an area of interest set by using the acquired vehicle location information, a process of detecting an error in the lane recognition process through the location information of the vehicle under driving and a lane (TOP VIEW) And displaying the detected lane information.

바람직한 실시예에 있어서, 전처리 과정은 획득된 영상과 이미지에서 관심영역을 추출하는 과정, 추출된 관심영역의 히스토그램 스트레칭(Histogram Stretching)을 수행하는 과정 및 히스토그램 스트레칭 과정 이후, 소벨(sobel) 연산 및 이진화(binary) 연산을 수행하는 과정을 포함한다.In a preferred embodiment, the preprocessing process includes a process of extracting a region of interest from an acquired image and an image, a process of performing histogram stretching of the extracted region of interest, and a process of performing a sobell operation and a binarization process after a histogram stretching process. and performing a binary operation.

바람직한 실시예에 있어서, 관심영역(RoI, Region of Interest)을 설정하는 과정은 YCbCr 및 RGB를 포함하는 색 공간 표현 데이터를 통해 획득된 영상과 이미지에서 색 공간을 추출하여 차선 영역을 강조하는 과정, 강조된 차선영역의 에지(edge)를 추출하는 과정, 추출된 차선영역의 에지 정보에서 차선 골격을 추출하는 과정을 포함한다.In a preferred embodiment, a process of setting a region of interest (RoI) includes a process of extracting a color space from an image and an image obtained through color space representation data including YCbCr and RGB to emphasize a lane area, Extracting an edge of an emphasized lane area, and extracting a lane skeleton from edge information of the extracted lane area.

바람직한 실시예에 있어서, 오류를 검출하는 과정은 GPS 및 차량의 위치 정보와 차량에 입력된 이미지 정보에서 인식된 차선에 탑뷰 변환(top view transform)을 수행하는 과정, 탑뷰 변환이 수행된 이미지에 허프 변환(Hough transform)을 수행하는 과정을 포함한다. In a preferred embodiment, the process of detecting an error includes a step of performing a top view transform on the lane recognized by the GPS and the location information of the vehicle and the image information input to the vehicle, And performing a transform (Hough transform).

바람직한 실시예에 있어서, 설정된 관심영역에서 차선을 인식하는 과정은 허프 변환 및 소실점 추출과정을 통해 상기 관심영역에 포함된 차선을 검색하는 과정, 차량 GPS 정보와 전후방에 존재하는 차량을 센싱한 정보를 이용하여, 검색된 차선들 중 주행 최적 차선을 판단하는 과정 및 최적 차선 정보를 이용하여, 최적 차선에 인접한 후보차선들을 검색하고 검색된 후보 차선들의 주행상황을 판단하는 과정을 포함한다. In a preferred embodiment, the process of recognizing a lane in a set ROI includes searching for a lane included in the ROI through a Hough transform and vanishing point extraction process, detecting vehicle GPS information, Determining a driving optimal lane among the searched lanes, and searching candidate lanes adjacent to the optimal lane using the optimal lane information, and determining a driving situation of the searched candidate lanes.

바람직한 실시예에 있어서, 디스플레이 하는 과정은 차선 인식 모듈에서 판단된 최적 차선, 후보 차선 중 적어도 하나를 디스플레이 하고, 차량이 주행중인 차선에서 전방 차량과의 안전거리 및 주행 중인 차선을 강조하는 표시를 디스플레이하고, 차량의 차선 이탈 신호를 획득하는 단계 및 차선 이탈 신호 획득 이후, 차선 이탈 수치에 따른 위험 신호를 디스플레이 한다.
In a preferred embodiment, the displaying process displays at least one of the optimum lane and the candidate lane determined by the lane recognition module, displays a display for emphasizing the safety distance and the driving lane from the lane in which the vehicle is running And acquiring the lane departure signal of the vehicle and displaying the danger signal according to the lane departure value after the lane departure signal is acquired.

본 발명에 따르면, 네비게이션으로부터 획득한 차량의 위치정보를 이용함으로써, 블랙박스 및 차량에 장착된 각종 카메라를 통해 획득한 이미지의 차선 인식을 보다 정확하게 수행함으로써, 안전사고를 예방하고, 운전자의 주행 편의를 향상 시킨다. According to the present invention, by using the positional information of the vehicle obtained from the navigation, the lane recognition of the image acquired through the black box and various cameras mounted on the vehicle can be performed more accurately, thereby preventing a safety accident, .

또한, 차선 인식 이미지의 탑뷰(top view) 변환을 통해 이미지 인식 오류를 감소 시킨다. It also reduces image recognition errors through top view conversion of lane recognition images.

또한, 네비게이션으로부터 획득한 차량의 위치정보와 차량에서 획득한 이미지 정보를 연동하여 차선 인식을 위한 관심영역을 필터링함으로써, 차선 인식 수행에 필요한 연산량을 감소 시킨다. 이를 통해, 전체 시스템의 응답 성능을 향상시킨다. In addition, by filtering the area of interest for lane recognition by linking the position information of the vehicle obtained from the navigation with the image information acquired by the vehicle, the amount of calculation required for lane recognition is reduced. This improves the response performance of the entire system.

도 1은 본 발명의 일실시예에 따른 차선인식 시스템의 대략적인 구성을 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 차선인식 시스템의 상세한 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 차선 인식 방법을 나타낸 흐름도 이다.
도 4a는 본 발명의 실시예에 따른 전처리 과정의 흐름도 이다.
도 4b 내지 도 4c는 본 발명의 실시예에 따른 이미지 처리 예를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 후보 차선 인식과정을 나타낸 흐름도이다.
도 6은 본 발명의 실시예에 따른 후보 차선 인식을 탑뷰(top view)를 이용하여 수행하는 과정을 나타낸 흐름도이고,
도7a 내지 도 7i 는 후보 차선 인식 과정의 실시예를 나타낸 도면이다.
도 8a 내지 8c는 실시예에 따른 후보 차선 검색부(350)에서의 차선 검색 실시예를 나타낸 도면이다.
도 9a 내지 도 9d는 실시예에 따른 디스플레이 모듈에서의 차선정보 표시 예를 나타낸다.
도 10a 내지 도 10d는 탑뷰를 이용한 차선 인식과정의 실시예를 나타낸 도면이다.
1 is a block diagram showing a schematic configuration of a lane recognition system according to an embodiment of the present invention.
2 is a block diagram showing a detailed configuration of a lane recognition system according to an embodiment of the present invention.
3 is a flowchart illustrating a lane recognition method according to an embodiment of the present invention.
4A is a flowchart of a preprocessing process according to an embodiment of the present invention.
4B to 4C are diagrams showing examples of image processing according to an embodiment of the present invention.
5 is a flowchart illustrating a candidate lane recognition process according to an embodiment of the present invention.
6 is a flowchart illustrating a process of performing a candidate lane recognition according to an embodiment of the present invention using a top view,
7A to 7I are views showing an embodiment of a candidate lane recognition process.
8A to 8C are views showing a lane-searching embodiment in the candidate lane searching unit 350 according to the embodiment.
9A to 9D show an example of lane information display in the display module according to the embodiment.
10A to 10D are views showing an embodiment of a lane recognition process using a top view.

본 발명은 산업통상자원부(MOTIE)의 재원으로 한국산업기술진흥원(KIAT)의 지원을 받아 수행한 “그린 전기자동차(RE-EV) 실용화 연구기반 구축사업” 의 지원을 받아 수행된 연구결과이다.The present invention is a result of research carried out with the support of the "RE-EV practical research base construction project" which was funded by the Ministry of Industry and Trade (MOTIE) and supported by the Korea Industrial Technology Development Organization (KIAT).

또한, 본 발명은 산업통상자원부(Ministry of Trade Industry and Energy, MOTIE)와 한국산업기술진흥원(Korea Institute for Advancement of Technology, KIAT)의 지원을 받아 수행한 “0043358 분해능 10cm 이내의 탑뷰(top view)와 파노라마 뷰(panorama view)가 가능한 주변 이미지 정보 구성 및 인식 시스템”개발사업 지원을 받아 수행된 연구결과이다 .The present invention is also applicable to a top view within 10 cm of resolution 0043358 with the support of the Ministry of Trade Industry and Energy (MOTIE) and the Korea Institute of Advancement of Technology (KIAT) And a peripheral image information configuration and recognition system capable of panorama view ".

본 발명에서는 블랙박스 영상과, 네비게이션을 통해 획득하는 위치정보를 이용하여, 차선 인식을 보다 정확하게 수행한다. In the present invention, the lane recognition is performed more accurately using the black box image and the position information acquired through navigation.

또한, 이미지 전처리와 ROI(Region of Interest) 추출 작업을 보다 효율적으로 수행하여, 차선인식에 소요되는 연산량을 감소 시킴으로써, 운전자에게 신속하고 정확한 차선 인식 정보를 실시간으로 제공한다. In addition, by performing image preprocessing and region of interest (ROI) extraction more efficiently, the amount of computation required for lane recognition is reduced, thereby providing the driver with quick and accurate lane identification information in real time.

또한, 차선 인식 이미지의 탑뷰(top view) 변환을 통해 이미지 인식 오류를 감소 시키고, 네비게이션으로부터 획득한 차량의 위치정보와 차량에서 획득한 이미지 정보를 연동하여 차선 인식을 위한 관심영역을 필터링함으로써, 차선 인식 수행에 필요한 연산량을 감소 시킨다. 이를 통해, 전체 시스템의 응답 성능을 향상시킨다. By filtering the area of interest for lane recognition by linking the position information of the vehicle obtained from the navigation and the image information acquired from the vehicle, the image recognition error is reduced through top view conversion of the lane recognition image, Thereby reducing the amount of computation required to perform recognition. This improves the response performance of the entire system.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification.

본 명세서에서 사용되는 ‘모듈’ 이라는 용어는 용어가 사용된 문맥에 따라서, 소프트웨어, 하드웨어 또는 그 조합을 포함할 수 있는 것으로 해석되어야 한다. 예를 들어, 소프트웨어는 기계어, 펌웨어(firmware), 임베디드코드(embedded code), 및 애플리케이션 소프트웨어일 수 있다. 또 다른 예로, 하드웨어는 회로, 프로세서, 컴퓨터, 직접 회로, 직접 회로 코어, 센서, 멤스(MEMS; Micro-Electro-Mechanical System), 수동 디바이스, 또는 그 조합일 수 있다. The term " module ", as used herein, should be interpreted to include software, hardware, or a combination thereof, depending on the context in which the term is used. For example, the software may be machine language, firmware, embedded code, and application software. In another example, the hardware may be a circuit, a processor, a computer, an integrated circuit, a circuit core, a sensor, a micro-electro-mechanical system (MEMS), a passive device, or a combination thereof.

도 1은 본 발명의 일실시예에 따른 차선인식 시스템의 대략적인 구성을 나타낸 블록도이다. 1 is a block diagram showing a schematic configuration of a lane recognition system according to an embodiment of the present invention.

도 1을 참조하면, 영상처리를 통한 차선 인식 시스템은, 전처리 모듈(100), 관심영역(Region of Interest) 설정모듈(200), 차선 인식 모듈(300)을 포함하여 구성되고, 디스플레이모듈(400)을 더 포함하여 구성될 수 있다.Referring to FIG. 1, a lane recognition system using image processing includes a preprocessing module 100, a region of interest setting module 200, and a lane recognition module 300, and a display module 400 ). ≪ / RTI >

전처리 모듈(100)은 차량 탑재 카메라 또는 블랙박스로부터 획득된 영상과 이미지의 전처리를 수행한다. 전처리가 완료된 영상과 이미지는 관심 영역 설정 모듈로 전달된다. The preprocessing module 100 preprocesses images and images obtained from a vehicle-mounted camera or a black box. The preprocessed images and images are transferred to the ROI module.

관심영역(Region of Interest) 설정모듈(200)은 전처리 모듈로부터 획득한 전처리된 이미지로부터 관심영역(RoI, Region of Interest)을 설정하는 설정한다. 실시예에 있어서, 관심영역은 차선 인식을 위한 영역으로서, 블랙박스 및 카메라를 통해 획득한 영상에서 차선 인식에 불필요한 부분을 제외한 나머지 부분이 관심영역이 될 수 있다.The region of interest setting module 200 sets a region of interest (RoI) from the preprocessed image acquired from the preprocessing module. In the embodiment, the area of interest is the area for lane recognition, and the remaining area excluding the parts unnecessary for lane recognition in the black box and the image acquired through the camera may be the area of interest.

차선 인식 모듈(300)은 차량의 위치정보를 GPS 를 통해 획득하여, 획득된 차량 위치 정보에 포함된 주행 중 차선 수와 상기 차량의 진행 방향 정보에서 차량의 커브량을 추출하여, 추출된 정보 및 상기 위치 정보를 통해 영상에서 취득되는 차선 정보를 매핑하고, 매핑 결과에 따라 차선의 위치 및 차선의 종류를 판별하여 상기 설정된 관심영역에서 차선을 인식한다. The lane recognition module 300 acquires the position information of the vehicle through the GPS, extracts the curve amount of the vehicle from the running lane number included in the obtained vehicle position information and the traveling direction information of the vehicle, The lane information acquired from the image is mapped through the position information, and the lane position and the type of the lane are determined according to the mapping result to recognize the lane in the set interest area.

구체적으로, 차선 인식 모듈(300)에서는 차량의 위치정보를 통해 차량이 주행 중인 도로가 몇 차선인지 파악하고, 상기 차량의 진행 방향을 인지하는 경우, 현재 주행 중인 도로의 최대 차선을 알 수 있다. 이로써, 영상에서 취득되는 차선 정보를 매핑하여 보다 정확한 차선의 위치 및 차선의 종류를 판별 할 수 있다. Specifically, the lane recognition module 300 determines how many lanes the road on which the vehicle is traveling is based on the vehicle position information, and when recognizing the traveling direction of the vehicle, the maximum lane of the road on which the vehicle is currently traveling can be known. Thereby, it is possible to map the lane information acquired from the image and determine the position of the lane more accurately and the type of the lane.

또한, 차량에서 획득되는 영상 상태는 주행 지역의 날씨(맑음, 흐림 등)에 좌우되는 경우가 많아, 차량에서 획득되는 영상의 품질을 항상 보장하기 어렵다. 본 발명에 따른 실시예에 있어서는, 차량의 위치 정보 및 차선 정보 매핑을 통해 흐린 날씨에, 영상이 획득되어 상기 영상에 포함된 물체를 분간하기 어려운 경우, 이를 보완하기 위해, 추출 커브량 및 차량 위치 정보에 포함된 각종 정보를 이용 할 수 있다 . In addition, since the image state acquired in the vehicle is often dependent on the weather (sunny, cloudy, etc.) of the driving area, it is difficult to always guarantee the quality of the image obtained in the vehicle. In the embodiment according to the present invention, when it is difficult to distinguish an object included in the image from an image acquired in the cloudy weather through the location information of the vehicle and the lane information mapping, in order to compensate the object, Various information included in the information can be used.

오류 검출 모듈(400)은 인식 된 차선 정보에서 오류를 검출한다. 일반적으로, 차량이 야간 주행하거나 곡선도로를 주행하는 경우, 차선 인식 오류가 보다 높게 발생하는데, 실시예에서는 블랙박스 영상 및 차량 위치 정보를 연동하여 획득하는 도로의 탑뷰(top view)를 이용하여 환경 적응적인 차선인식을 수행함으로써 차선 인식 오류를 최소화 한다. The error detection module 400 detects an error in the recognized lane information. In general, when a vehicle travels at night or on a curved road, a lane recognition error occurs more highly. In the embodiment, the top view of the road, which is obtained by linking the black box image and the vehicle location information, Adaptive lane recognition is performed to minimize lane recognition errors.

이후, 오류검출이 완료된 차선 인식 정보는 디스플레이 모듈(400)에서 디스플레이 된다. 실시예에 있어서, 디스플레이 모듈(400)에서는 차선 인식 모듈(300)에서 판단된 최적 차선, 후보 차선 중 적어도 하나를 디스플레이 하고, 운전자 선택에 따라, 차량이 주행중인 차선에서 전방 차량과의 안전거리 및 주행 중인 차선을 강조하는 표시를 디스플레이 할 수 있다. 또한, 주행 중인 차량이 차선을 기 설정된 수치 이상 이탈하는 경우, 차선 이탈을 경고하는 위험 신호를 디스플레이 할 수 있다.       Then, the lane identification information on which the error detection is completed is displayed on the display module 400. [ In the embodiment, the display module 400 displays at least one of the optimal lane and the candidate lane determined by the lane recognition module 300. In accordance with the driver's selection, the safety distance from the lane in which the vehicle is running, A display emphasizing the driving lane can be displayed. In addition, when the vehicle being driven leaves the lane by more than a predetermined value, a danger signal warning the lane departure can be displayed.

도 2는 본 발명의 일실시예에 따른 차선인식 시스템의 상세한 구성을 나타낸 블록도이다. 2 is a block diagram showing a detailed configuration of a lane recognition system according to an embodiment of the present invention.

도 2를 참조하면, 실시예에 따른 차선 인식 시스템의 전처리 모듈(100)은 차선 후보 선택부(110), 에지 추출부(130) 및 세선화부(150)를 포함하여 구성되고, 관심영역 설정 모듈(200)은 동적 이미지 관심영역 설정부(210), 고정이미지 관심영역 설정부(230) 및 카메라 관심영역 설정부(250)를 포함하여 구성되고, V-ROI(Video Region of Interest) 설정부를 더 포함하여 구성될 수 있다. 오류 검출 모듈(400)은 탑뷰 변환부(410)및 허프 변환부(430)을 포함하여 구성될 수 있다.2, the preprocessing module 100 of the lane recognition system according to the embodiment includes a lane candidate selecting unit 110, an edge extracting unit 130, and a thinning unit 150, (V-ROI) setting unit 200 includes a dynamic image interest region setting unit 210, a fixed image RO region setting unit 230, and a camera RO region setting unit 250. The V- And the like. The error detection module 400 may include a top view conversion unit 410 and a Huff conversion unit 430.

이하, 실시예를 나타낸 도면들을 함께 참조하여 각 구성요소의 동작 및 차선 인식 시스템 동작에 대해 상세히 설명하도록 한다. Hereinafter, the operation of each component and the operation of the lane recognition system will be described in detail with reference to the drawings showing the embodiments.

전처리 모듈(100)에 구비되는 차선 후보 선택부(110)는 YCbCr 및 RGB를 포함하는 색 공간 표현 데이터를 통해 상기 획득된 영상과 이미지에서 색 공간을 추출하여 차선 영역을 강조한다. YCbCr은 영상 시스템에서 사용되는 색공간의 일종이며, 컬러 정보로부터 밝기 성분과 색차 성분을 분리한 색표현 방식으로 Y 는 휘도 신호, Cb 와 Cr 은 색차 신호를 의미한다. YCbCr은 절대 색 공간이 아니며 적, 녹, 청 3 원색이 시각적으로 균일한 정보를 가지는 RGB 정보를 밝기 신호와 색차 신호로 서로 다른 정보를 가지도록 수식에 의하여 변환된 색표현 방식이다. 차선 후보 선택부(110)에서 차선 영역이 색 공간 데이터 차이에 의해 강조되면, 이는 에지 추출부(130)로 전달된다. The lane candidate selecting unit 110 included in the preprocessing module 100 extracts a color space from the obtained image and image through color space representation data including YCbCr and RGB to emphasize the lane area. YCbCr is a type of color space used in an image system, and is a color representation method in which brightness components and chrominance components are separated from color information. Y denotes a luminance signal, and Cb and Cr denotes color difference signals. YCbCr is not an absolute color space, but is a color representation method that converts RGB information having visually uniform information of red, green, and blue primary colors to different information by using a brightness signal and a color difference signal. When the lane candidate selecting unit 110 emphasizes the lane area by the color space data difference, it is transmitted to the edge extracting unit 130.

에지 추출부(130)는 차선 후보 선택부(110)에서 강조된 차선영역의 에지(edge)를 추출하는 한다. 에지(edge)는 영상 안에서의 영역의 경계를 나타내는 특징이다. 실시예에 있어서, 에지 추출부(130) 영상 밝기의 불연속점으로 윤곽선에 해당하는 픽셀을 구하는 방법을 이용하여 에지를 추출하거나, 색 공간 차이를 이용하여 이미지에 포함된 에지를 추출 가능하다. 추출된 에지 데이터는 세선화부(150)로 전달된다.The edge extracting unit 130 extracts the edge of the lane area emphasized by the lane candidate selecting unit 110. [ An edge is a feature that represents the boundary of a region in an image. In an embodiment, the edge extracting unit 130 extracts an edge using a method of obtaining a pixel corresponding to a contour line as a discontinuous point of image brightness, or extracts an edge included in an image using a color space difference. The extracted edge data is transmitted to the thinning unit 150.

세선화부(150)는 추출된 차선영역의 에지 정보에서 차선 골격을 추출한다.The thinning unit 150 extracts the lane skeleton from the edge information of the extracted lane area.

관심영역 설정 모듈(200)은 동적 이미지 관심영역 설정부(210), 고정이미지 관심영역 설정부(230) 및 카메라 관심영역 설정부(250) 등을 통해, 차량에 장착된 카메라, 이미지 센서를 통해 획득하는 동적 이미지의 관심영역을 설정하거나, 차량의 위치 정보를 이용하여 획득하는 고정 이미지의 관심영역을 설정한다. The interest area setting module 200 is configured to set the interest area of the camera through the camera and the image sensor mounted on the vehicle through the dynamic image interest area setting section 210, the fixed image interest area setting section 230, Sets the region of interest of the dynamic image to be acquired or sets the region of interest of the fixed image to be acquired using the vehicle location information.

실시예에 있어서, 도 7a 내지 도 7b에 도시된 바와 같이, 관심영역 설정 모듈(200)에서는 도 7a와 같은 블랙박스 영상 이미지를 획득하면, 차선 인식에 불필요한 이미지의 하단부는 필터링 하여, 도 7b와 같은 관심영역을 설정한다. 이로써, 차선 인식 수행에 필요한 연산량을 감소 시켜 전체 시스템의 응답 성능을 향상시킨다. 7A and 7B, when the black box image image shown in FIG. 7A is obtained in the ROI module 200, the lower part of the image unnecessary for lane recognition is filtered, Set the same area of interest. This reduces the amount of computation required to perform lane recognition and improves the response performance of the entire system.

차선 인식 모듈(300)에 구비되는 차선 검색부(310)는 허프 (Hough) 변환 및 소실점 추출과정을 통해 관심영역에 포함된 차선을 검색한다. 도 7c와 도 7d 에는 허프 변환 실시예가 도시되고, 도 7g에는 소실점을 추출하여 차선을 검색하는 실시예가 도시된다. 도 7c는 허프변환 전 원본 이미지이고, 도 7d는 허프 변환 이후 선분이 추출된 이미지이다. 허프변환은 화상 처리에서의 차선 인식을 위한 선분을 추출하기 위한 변환이다. 구체적으로, 직선을 xcosθ+ysinθ=?로 나타내면 동일 직선은 θ-?평면에서는 한 점에 떨어지므로 θ-? 평면에서의 클러스터링에 의해 직선을 찾는다. 이때, 직선을 θ-? 평면에 떨어뜨리는 것을 허프변환이라 한다. The lane search unit 310 included in the lane recognition module 300 searches for lanes included in the area of interest through the Hough transformation and the vanishing point extraction process. Figs. 7C and 7D show a Hough transform embodiment, and Fig. 7G shows an embodiment in which a vanishing point is extracted and a lane is searched. FIG. 7C is an original image before Huff transform, and FIG. 7D is an image in which line segments are extracted after Huff transform. The Hough transform is a transformation for extracting a line segment for lane recognition in image processing. Specifically, if a straight line is represented by xcosθ + ysinθ =?, The same straight line falls to one point in the θ-? Find a straight line by clustering in the plane. At this time, the straight line is? -? Falling to the plane is called Hough transform.

최적 차선 판단부(330) 차량 GPS 정보와 전후방에 존재하는 차량을 센싱한 정보 및 차선 검색부(310)로부터 입력된 차선 검색 정보 등을 이용하여, 검색된 차선들 중 주행 최적 차선을 판단한다. 예컨대, 도 7h에 도시된 바와 같이, 적어도 하나 이상의 차선이 인식되면, 최적 차선 판단부(330)는 최적 차선 필터를 적용하여 최적 차선을 판단한다. 예컨대, 도 7i에 도시된 바와 같이, 최적 차선 판단부(330)는 차선에서 센싱되는 주행 중인 차량의 수 및 전방 차량과의 거리데이터를 기초로 후보 차선을 필터링하여, 운전자가 주행하기 가장 적합한 차선을 판단한다. The optimal lane determining unit 330 determines the best driving lane among the searched lanes by using the vehicle GPS information, the information of the front and rear vehicles sensed, and the lane searching information input from the lane searching unit 310, and the like. For example, as shown in FIG. 7H, when at least one lane is recognized, the best lane determining unit 330 determines the best lane by applying the best lane filter. For example, as shown in FIG. 7I, the optimum lane determining unit 330 filters the candidate lanes based on the number of vehicles in operation and the distance data to the preceding vehicle, which are sensed in the lane, .

이후, 후보 차선 검색부(350)는 최적 차선 정보를 이용하여, 최적 차선에 인접한 후보차선들을 검색하고 검색된 후보 차선들의 주행상황을 판단함으로써 운전자에게 주행하기에 가장 적합한 차선 정보를 지속적으로 제공할 수 있다. Thereafter, the candidate lane searching unit 350 searches the candidate lanes adjacent to the optimal lane by using the optimal lane information, and determines the driving situation of the searched candidate lanes, thereby continuously providing lane information most suitable for driving to the driver have.

도 8a 내지 8c는 실시예에 따른 후보 차선 검색부(350)에서의 차선 검색 실시예를 나타낸 도면이다. 예컨대, 차선 인식률이 미약하여 도 8a에 도시된 바와 같이, 차선을 완벽하게 인식하지 못 한 경우, 후보 차선 검색부(350)는 도 8b에 도시된 점 등의 기호로 후보 차선을 표시하고, 도 8c에 도시된 바와 같이, 후보차선을 표시하는 점과 전방 차량의 소실점을 연결하여 주행 차선을 인식할 수 있다. 8A to 8C are views showing a lane-searching embodiment in the candidate lane searching unit 350 according to the embodiment. For example, when the lane recognition rate is too weak to recognize the lane completely as shown in Fig. 8A, the candidate lane searching unit 350 displays the candidate lane with the symbols such as the points shown in Fig. 8B, As shown in 8c, the driving lane can be recognized by connecting the point representing the candidate lane and the vanishing point of the front vehicle.

오류 검출 모듈(400)에 구비되는 탑뷰 변환부(410)는 야간 주행, 곡선도로 와 같은 환경적인 요인으로 인한 차선 인식 오류를 최소화하기 위해 GPS 및 차량 위치 정보를 이용하여 획득한 이미지에 탑뷰 변환을 수행한다. 도 10a 내지 도 10c는 실시예에 따라 탑뷰 변환된 이미지가 나타난다. 실시예에서는 탑뷰 변환된 이미지에 허프 변환부(430)에서 허프변환을 수행함으로써, 차선인식 오류 발생을 최소화 한다. The top view conversion unit 410 included in the error detection module 400 performs top view conversion on an image acquired using GPS and vehicle location information to minimize lane recognition errors due to environmental factors such as night driving and curved roads . 10A to 10C show the top view converted image according to the embodiment. In the embodiment, the Hough transform unit 430 performs Hough transform on the top view converted image, thereby minimizing occurrence of the lane recognition error.

디스플레이 모듈(500)에서는 차선 정보를 운전자가 인식하기 용이한 형태로 디스플레이 한다. 도 9a 내지 도 9d는 실시예에 따른 디스플레이 모듈에서의 차선정보 표시 예를 나타낸다. 도 9a 에 도시된 바와 같이, 디스플레이 모듈(500)은 차선정보를 UI(User Interface) 형태로 강조하거나, 도 9b 에 도시된 바와 같이, 디스플레이 모듈(500)은 전방 차량과의 안전거리 정보를 색으로 표시하여 제공할 수 있다. 구체적으로 전방차량과의 거리가 안전 거리 이상이면 녹색으로 차선 도시하고, 안전거리 미만이면 붉은색으로 차선을 도시하여, 운전자가 전방차량과 안전거리를 유지하고 있는지 쉽게 인시 할 수 있도록 한다. 또한, 도 9c 에 도시된 바와 같이, 디스플레이 모듈(500)은 차선의 소실점을 강조하거나, 도 9d 에 도시된 바와 같이, 디스플레이 모듈(500)은 차량이 차선을 기 설정된 수치 이상 벗어나는 경우 위험신호를 도시할 수 있다.The display module 500 displays the lane information in a form that the driver can easily recognize. 9A to 9D show an example of lane information display in the display module according to the embodiment. 9A, the display module 500 emphasizes lane information in the form of a UI (User Interface), or the display module 500 displays safety distance information with respect to the preceding vehicle as color As shown in FIG. Specifically, if the distance to the front vehicle is greater than the safety distance, the vehicle is shown in green, and if the distance is less than the safety distance, a lane is displayed in red so that the driver can easily see whether the driver maintains the safety distance with the front vehicle. Further, as shown in FIG. 9C, the display module 500 emphasizes the vanishing point of the lane or, as shown in FIG. 9D, the display module 500 displays a danger signal when the vehicle deviates from the lane by more than a predetermined value Can be shown.

도 3은 본 발명의 실시예에 따른 차선 인식 방법을 나타낸 흐름도 이다. 3 is a flowchart illustrating a lane recognition method according to an embodiment of the present invention.

S310 과정에서는 차량 탑재 카메라 또는 블랙박스로부터 획득된 영상과 이미지를 전처리 하는 과정이 수행된다. 일반적으로, 차선인식의 인식률을 향상시키기 위해서는 S310의 전처리 과정이 가장 중요하다. In step S310, a process of preprocessing images and images obtained from a vehicle-mounted camera or a black box is performed. Generally, the preprocessing process of S310 is most important to improve the recognition rate of lane recognition.

S320 과정에서는 전처리된 이미지로부터 관심영역(RoI, Region of Interest)을 설정하는 과정이 수행된다. In step S320, a process of setting a region of interest (RoI) from the preprocessed image is performed.

S330 과정에서는 차량의 위치정보를 GPS 를 통해 획득하여, 획득된 차량 위치 정보를 이용하여 설정된 관심영역에서 차선을 인식하는 과정이 수행되고, S340 과정에서는 주행중인 차량의 위치 정보 및 차선 (TOP VIEW)를 통해 상기 차선 인식과정의 오류를 검출하는 과정이 수행된다. 이후, S350 과정에서는 오류 검출 완료된 차선 정보를 디스플레이 하는 과정이 수행된다. In step S330, a process of acquiring the vehicle position information through the GPS and recognizing the lane in the set area of interest using the acquired vehicle position information is performed. In step S340, the position information of the vehicle and the lane of the lane (TOP VIEW) A process of detecting an error in the lane recognition process is performed. Thereafter, in step S350, a process of displaying the error-detected lane information is performed.

이하, 각 과정에 대해 도면을 참조하여 보다 상세히 설명한다.Hereinafter, each process will be described in detail with reference to the drawings.

도 4a는 본 발명의 실시예에 다른 전처리 과정의 흐름도 이다.4A is a flowchart of a preprocessing process according to an embodiment of the present invention.

S410 과정에서 블랙박스 영상을 획득하면, S420 단계에서는 설정된 관심영역을 통해, 획득된 영상의 인식 범위를 최소화 하는 과정이 수행된다. 이후 최소화된 인식 범위에 대해 S430 단계에서 히스토그램 스트래칭(histogram stretching) 과정을 통해 이진화 임계값을 고정하는 과정을 수행하여 도 4b에 도시된 바와 같이, 그레이(Gray) 영상의 밝기 값을 고르게 분포시킨다. S440 단계에서는 소벨 연산 및 이진화 연산 과정을 수행한다. 소벨 연산과 이진화 연산 은 수평방향으로 에지를 추출하기 위한 처리 과정으로서 도 4c에 도시된 바와 같이, 임계값을 설정한 이후, 임계값보다 낮은 영역은 검정으로, 임계값보다 높은 영역은 흰색으로 처리하여 차선을 강조한다. If the black box image is acquired in step S410, a process of minimizing the recognition range of the acquired image is performed through the set interest area in step S420. In step S430, a histogram stretching process is performed to fix the binarization threshold value to the minimized recognition range, thereby uniformly distributing brightness values of the gray image as shown in FIG. 4B. In step S440, a Sobel operation and a binarization operation are performed. As shown in FIG. 4C, the Sobel operation and the binarization operation are processes for extracting an edge in the horizontal direction. After the threshold value is set, the area lower than the threshold value is processed as black, and the area higher than the threshold value is processed as white Emphasize the lane.

도 5는 본 발명의 실시예에 따른 후보 차선 인식과정을 나타낸 흐름도이고, 도7c 내지 도 7i 는 후보 차선 인식 과정의 실시예를 나타낸 도면이다.FIG. 5 is a flowchart illustrating a candidate lane recognition process according to an exemplary embodiment of the present invention, and FIGS. 7C to 7I illustrate a candidate lane recognition process.

S510 과정에서 전처리된 영상을 허프변환 시켜 직선들을 검출하고, S520 과정에서 허프 필터를 이용하여 차선과 유사성이 낮은 직선들을 필터링하는 과정을 수행한다. 이후, S530 단계에서 최소화된 선들을 그룹화 하는 과정이 수행된다. 하나의 선으로 그룹화 시킨 후 S540 단계에서 소실점을 이용하여 한번 더 필터링 하는 과정을 수행함으로써 인식률을 높인다. 이후, S550 단계에서 차선을 검출한다.In step S510, the preprocessed image is Huff transformed to detect straight lines. In step S520, a process of filtering the lines having low similarity with the lane using the Huff filter is performed. Thereafter, a process of grouping the minimized lines is performed in step S530. After grouping them into one line, the recognition rate is increased by performing a filtering process once again using the vanishing point in step S540. Thereafter, the lane is detected in step S550.

도 6은 본 발명의 실시예에 따른 후보 차선 인식을 탑뷰(top view)를 이용하여 수행하는 과정을 나타낸 흐름도이고, 도 10a 내지 도 10d는 탑뷰를 이용한 차선 인식과정의 실시예를 나타낸 도면이다.FIG. 6 is a flowchart illustrating a process of performing a candidate lane recognition using a top view according to an embodiment of the present invention. FIGS. 10A to 10D illustrate a lane recognition process using a top view.

차선의 색이 불명료하거나 야간 주행 중이거나 곡선도로를 주행 중에는 차선 인식률이 현저히 떨어지기 때문에, 본 발명에 따른 실시예에서는 탑뷰를 이용하여 후보차선의 인식률을 높이고, 차선인식 오류를 최소화 한다. Since the lane recognition rate is considerably lowered when the color of the lane is obscured, is running at night, or is traveling on a curved road, the embodiment of the present invention increases the recognition rate of the candidate lane and minimizes the lane recognition error by using the top view.

후보 차선 인식 이미지가 입력되면, S610 단계에서는 탑뷰 변환 과정을 수행도 8a 에 도시된 바와 같이 차선의 탑뷰(top view)관심영역을 획득한다. 탑뷰(top view)관심영역에 소벨 연산과 이진화 연산을 수행하여 도 10b에 도시된 바 같은 이진화된 차선 검출 이미지를 획득하고, S620 과정에서는 획득된 탑뷰 관심영역 이미지에 허프 변환 과정을 수행하여, 도 10c 에 도시된 바와 같이 차선 인식 이미지를 획득한다. 도 10d 는 차선인식 이미지가 디스플레이 되는 실시예를 나타낸 도면 으로서, 본 발명을 통해 차선인식 오류를 최소화하여 운전자가 후보 차선을 인식하게 한다. When the candidate lane recognition image is inputted, the top view conversion process is performed in step S610, and the top view interest area of the lane is acquired as shown in FIG. 8A. The binarized lane detection image as shown in FIG. 10B is obtained by performing the Sobel operation and the binarization operation on the top view interest area, and in step S620, the Hough transform process is performed on the obtained top view ROI image, And obtains the lane identification image as shown in 10c. FIG. 10D shows an embodiment in which a lane recognition image is displayed. The present invention minimizes a lane recognition error and allows a driver to recognize a candidate lane.

전술한 바와 같이, 본 발명의 실시 예에서는 블랙박스 영상과, 네비게이션을 통해 획득하는 위치정보를 이용하여, 차선 인식을 보다 정확하게 수행한다. As described above, in the embodiment of the present invention, the lane recognition is performed more accurately by using the black box image and the position information acquired through the navigation.

또한, 이미지 전처리와 ROI(Region of Interest) 추출 작업을 보다 효율적으로 수행하여, 차선인식에 소요되는 연산량을 감소 시킴으로써, 운전자에게 신속하고 정확한 차선 인식 정보를 실시간으로 제공한다. In addition, by performing image preprocessing and region of interest (ROI) extraction more efficiently, the amount of computation required for lane recognition is reduced, thereby providing the driver with quick and accurate lane identification information in real time.

또한, 차선 인식 이미지의 탑뷰(top view) 변환을 통해 이미지 인식 오류를 감소 시키고, 네비게이션으로부터 획득한 차량의 위치정보와 차량에서 획득한 이미지 정보를 연동하여 차선 인식을 위한 관심영역을 필터링 함으로써, 차선 인식 수행에 필요한 연산량을 감소시키고 이를 통해, 전체 시스템의 응답 성능을 향상시킨다. By filtering the area of interest for lane recognition by linking the position information of the vehicle obtained from the navigation and the image information acquired from the vehicle, the image recognition error is reduced through top view conversion of the lane recognition image, Thereby reducing the amount of computation required to perform recognition, thereby improving the response performance of the entire system.

한편, 본 발명의 실시예에 따른 차선인식 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.Meanwhile, the lane recognition method according to the embodiment of the present invention can be implemented in a computer system or recorded on a recording medium. The computer system may include at least one or more processors, a memory, a user input device, a data communication bus, a user output device, and a storage. Each of the above-described components performs data communication via a data communication bus.

컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스(129)를 더 포함할 수 있다. 상기 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다. The computer system may further include a network interface 129 coupled to the network. The processor may be a central processing unit (CPU), or a semiconductor device that processes instructions stored in memory and / or storage.

상기 메모리 및 상기 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 상기 메모리는 ROM 및 RAM을 포함할 수 있다.The memory and the storage may include various forms of volatile or non-volatile storage media. For example, the memory may include ROM and RAM.

한편, 상술한 본 발명의 실시예에 따른 차선인식 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.Meanwhile, the lane recognition method according to the embodiment of the present invention described above can be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording media storing data that can be decoded by a computer system. For example, there may be a ROM (Read Only Memory), a RAM (Random Access Memory), a magnetic tape, a magnetic disk, a flash memory, an optical data storage device and the like. The computer-readable recording medium may also be distributed and executed in a computer system connected to a computer network and stored and executed as a code that can be read in a distributed manner.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.It will be understood by those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description, and all changes or modifications derived from the scope of the claims and their equivalents should be construed as being included within the scope of the present invention.

Claims (13)

차량 탑재 카메라 또는 블랙박스로부터 획득된 영상과 이미지를 전처리 하는 전처리 모듈;
상기 전처리 모듈로부터 획득한 전처리된 이미지로부터 관심영역(RoI, Region of Interest)을 설정하는 관심영역 설정 모듈;
상기 차량의 위치정보를 GPS 를 통해 획득하여, 획득된 차량 위치 정보에 포함된 주행 중 차선 수와 상기 차량의 진행 방향 정보에서 상기 차량의 커브량을 추출하여, 추출된 정보 및 상기 위치 정보를 통해 영상에서 취득되는 차선 정보를 매핑하고, 매핑 결과에 따라 차선의 위치 및 차선의 종류를 판별하여 상기 설정된 관심영역에서 차선을 인식하는 차선 인식 모듈; 및
인식된 차선 정보를 디스플레이 하는 디스플레이 모듈; 을 포함하는 차선 인식 시스템.
A preprocessing module for preprocessing images and images obtained from a vehicle-mounted camera or a black box;
A ROI (Region of Interest) setting region of interest (ROI) from the preprocessed image acquired from the preprocessing module;
The vehicle position information is acquired through GPS, and the curve amount of the vehicle is extracted from the number of running lanes included in the obtained vehicle position information and the traveling direction information of the vehicle, A lane recognition module for mapping lane information acquired from an image and recognizing a lane in the set area of interest by discriminating a lane position and a lane type according to a mapping result; And
A display module for displaying the recognized lane information; Of the lane recognition system.
제 1항에 있어서, 상기 차선 인식 시스템은
GPS 를 통해 상기 주행중인 차량의 위치 정보 및 차선 (TOP VIEW)를 통해 상기 차선 인식과정의 오류를 검출하는 오류검출 모듈;을 더 포함하는 것을 특징으로 하는 차선 인식 시스템.
The system according to claim 1, wherein the lane recognition system
And an error detection module for detecting an error in the lane recognition process through the GPS and the position information of the vehicle during the running and a lane (TOP VIEW).
제 1항에 있어서, 상기 전처리 모듈은
YCbCr 및 RGB를 포함하는 색 공간 표현 데이터를 통해 상기 획득된 영상과 이미지에서 색 공간을 추출하여 차선 영역을 강조하는 차선 후보 선택부;
상기 차선 후보 선택부에서 강조된 차선영역의 에지(edge)를 추출하는 에지 추출부; 및
상기 추출된 차선영역의 에지 정보에서 차선 골격을 추출하는 세선화부; 를 포함하여 상기 획득된 영상과 이미지에 포함된 차선을 인식하는 것을 특징으로 하는 차선 인식 시스템.
2. The apparatus of claim 1, wherein the preprocessing module
A lane candidate selecting unit for extracting a color space from the obtained image and the image through color space expression data including YCbCr and RGB to emphasize a lane area;
An edge extracting unit for extracting an edge of a lane area emphasized by the lane candidate selecting unit; And
A thinning unit for extracting a lane skeleton from edge information of the extracted lane area; And the lane recognition unit recognizes the lane included in the obtained image and the image.
제 1항에 있어서, 상기 관심영역 설정 모듈은
상기 차량에 장착된 카메라, 이미지 센서를 통해 획득하는 동적 이미지의 관심영역을 설정하거나, 상기 차량의 위치 정보를 이용하여 획득하는 고정 이미지의 관심영역을 설정하는 것을 특징으로 하는 차선 인식 시스템.
2. The apparatus of claim 1, wherein the ROI module
Wherein a region of interest of the dynamic image acquired through the camera and the image sensor mounted on the vehicle is set or an area of interest of the fixed image acquired using the position information of the vehicle is set.
제 1항에 있어서, 상기 차선 인식 모듈은
허프 변환 및 소실점 추출과정을 통해 상기 관심영역에 포함된 차선을 검색하는 차선 검색부;
상기 차량 GPS 정보와 전후방에 존재하는 차량을 센싱한 정보를 이용하여, 상기 검색된 차선들 중 주행 최적 차선을 판단하는 최적 차선 판단부; 및
상기 최적 차선 정보를 이용하여, 상기 최적 차선에 인접한 후보차선들을 검색하고 상기 검색된 후보 차선들의 주행상황을 판단하는 후보 차선 검색부; 를 포함하는 것을 특징으로 하는 차선 인식 시스템.
The system of claim 1, wherein the lane recognition module
A lane searching unit searching a lane included in the ROI through a Hough transform and a vanishing point extraction process;
An optimum lane determining unit for determining a driving optimum lane among the searched lanes using the vehicle GPS information and information on the front and rear vehicles sensed; And
A candidate lane searching unit searching candidate lanes adjacent to the optimal lane using the optimal lane information and determining a running state of the searched candidate lanes; The lane recognition system comprising:
제 1항에 있어서, 상기 디스플레이 모듈은
상기 차선 인식 모듈에서 판단된 최적 차선, 후보 차선 중 적어도 하나를 디스플레이 하고, 상기 차량이 주행중인 차선에서 전방 차량과의 안전거리 및 주행 중인 차선을 강조하는 표시를 디스플레이하고, 상기 차량이 차선을 기 설정된 수치 이상 이탈하는 경우, 차선 이탈을 경고하는 위험 신호를 디스플레이 하는 것을 특징으로 하는 차선 인식 시스템.
The display device of claim 1, wherein the display module
Wherein the display unit displays at least one of the optimum lane and the candidate lane determined by the lane recognition module, displays a display for emphasizing the safety distance and the driving lane from the lane in which the vehicle is running, And displays a danger signal warning of lane departure when the vehicle departs from a predetermined value or more.
차량 탑재 카메라 또는 블랙박스로부터 획득된 영상과 이미지를 전처리 하는 과정;
상기 전처리된 이미지로부터 관심영역(RoI, Region of Interest)을 설정하는 과정;
상기 차량의 위치정보를 GPS 를 통해 획득하여, 획득된 차량 위치 정보를 이용하여 상기 설정된 관심영역에서 차선을 인식하는 과정; 및
상기 주행중인 차량의 위치 정보 및 차선 (TOP VIEW)를 통해 상기 차선 인식과정의 오류를 검출하는 과정; 및
상기 오류 검출 완료된 차선 정보를 디스플레이 하는 과정; 을 포함하는 차선 인식 방법.
A process of pre-processing images and images obtained from a vehicle-mounted camera or a black box;
Setting a region of interest (RoI) from the preprocessed image;
Obtaining location information of the vehicle through GPS, and recognizing a lane in the set area of interest using the obtained vehicle location information; And
Detecting an error of the lane recognition process through the position information of the driving vehicle and the lane (TOP VIEW); And
Displaying the error-detected lane information; The lane recognition method comprising:
제 7항에 있어서, 상기 전처리 과정은
상기 획득된 영상과 이미지에서 관심영역을 추출하는 과정;
상기 추출된 관심영역의 히스토그램 스트레칭(Histogram Stretching)을 수행하는 과정; 및
상기 히스토그램 스트레칭 과정 이후, 소벨(sobel) 연산 및 이진화(binary) 연산을 수행하는 과정; 을 포함하는 것을 특징으로 하는 차선 인식 방법.
8. The method of claim 7, wherein the pre-
Extracting a region of interest from the acquired image and image;
Performing histogram stretching of the extracted region of interest; And
Performing a Sobel operation and a binary operation after the histogram stretching process; Wherein the lane recognition method comprises the steps of:
제 7항에 있어서, 상기 관심영역(RoI, Region of Interest)을 설정하는 과정은
YCbCr 및 RGB를 포함하는 색 공간 표현 데이터를 통해 상기 획득된 영상과 이미지에서 색 공간을 추출하여 차선 영역을 강조하는 과정;
상기 강조된 차선영역의 에지(edge)를 추출하는 과정;
상기 추출된 차선영역의 에지 정보에서 차선 골격을 추출하는 과정;을 포함하는 것을 특징으로 하는 차선 인식 방법.
8. The method according to claim 7, wherein the step of setting the region of interest (RoI)
Extracting a color space from the obtained image and image through color space representation data including YCbCr and RGB to emphasize a lane area;
Extracting an edge of the highlighted lane area;
And extracting a lane skeleton from edge information of the extracted lane area.
제 7항에 있어서, 상기 오류를 검출하는 과정은
GPS 및 상기 차량의 위치 정보와 상기 차량에 입력된 이미지 정보에서 인식된 차선에 탑뷰 변환(top view transform)을 수행하는 과정;
상기 탑뷰 변환이 수행된 이미지에 허프 변환(Hough transform)을 수행하는 과정; 을 포함하는 것을 특징으로 하는 차선 인식 방법.
8. The method of claim 7, wherein the detecting the error comprises:
Performing a top view transform on the lane recognized by the GPS and the location information of the vehicle and the image information input to the vehicle;
Performing a Hough transform on the image subjected to the top view conversion; Wherein the lane recognition method comprises the steps of:
제 7항에 있어서, 상기 상기 설정된 관심영역에서 차선을 인식하는 과정은
허프 변환 및 소실점 추출과정을 통해 상기 관심영역에 포함된 차선을 검색하는 과정;
상기 차량 GPS 정보와 전후방에 존재하는 차량을 센싱한 정보를 이용하여, 상기 검색된 차선들 중 주행 최적 차선을 판단하는 과정; 및
상기 최적 차선 정보를 이용하여, 상기 최적 차선에 인접한 후보차선들을 검색하고 상기 검색된 후보 차선들의 주행상황을 판단하는 과정; 을 포함하는 것을 특징으로 하는 차선 인식 시스템.
8. The method of claim 7, wherein the step of recognizing a lane in the set region of interest comprises:
Searching a lane included in the ROI through a Hough transform and a vanishing point extraction process;
Determining a driving optimal lane among the searched lanes by using the vehicle GPS information and information on the front and rear vehicles; And
Searching for candidate lanes adjacent to the optimal lane using the optimal lane information and determining a running state of the searched candidate lanes; The lane recognition system comprising:
제 7항에 있어서, 상기 디스플레이 하는 과정은
상기 차선 인식 모듈에서 판단된 최적 차선, 후보 차선 중 적어도 하나를 디스플레이 하고, 상기 차량이 주행중인 차선에서 전방 차량과의 안전거리 및 주행 중인 차선을 강조하는 표시를 디스플레이하고,
상기 차량의 차선 이탈 신호를 획득하는 단계; 및
상기 차선 이탈 신호 획득 이후, 차선 이탈 수치에 따른 위험 신호를 디스플레이 하는 것을 특징으로 하는 차선 인식 방법.
8. The method of claim 7,
A display unit for displaying at least one of the optimum lane and the candidate lane determined by the lane recognition module and displaying a display for emphasizing the safety distance and the driving lane from the lane in which the vehicle is running,
Obtaining a lane departure signal of the vehicle; And
And displays a danger signal according to the lane departure value after the lane departure signal is acquired.
제 7항 내지 제 12항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium storing a program for causing a computer to execute the method according to any one of claims 7 to 12.
KR1020150003189A 2014-06-20 2015-01-09 System for lane recognition using environmental information and method thereof KR101620425B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140076064 2014-06-20
KR20140076064 2014-06-20

Publications (2)

Publication Number Publication Date
KR20150146374A true KR20150146374A (en) 2015-12-31
KR101620425B1 KR101620425B1 (en) 2016-05-13

Family

ID=55129067

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150003189A KR101620425B1 (en) 2014-06-20 2015-01-09 System for lane recognition using environmental information and method thereof

Country Status (1)

Country Link
KR (1) KR101620425B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10740626B2 (en) 2017-09-28 2020-08-11 Samsung Electronics Co., Ltd. Method and apparatus for identifying driving lane
CN112287719A (en) * 2019-07-23 2021-01-29 厦门雅迅网络股份有限公司 Lane line filtering method, terminal device and storage medium
CN112902981A (en) * 2021-01-26 2021-06-04 中国科学技术大学 Robot navigation method and device
US11367213B2 (en) 2019-09-20 2022-06-21 Samsung Electronics Co., Ltd. Method and apparatus with location estimation

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3556766B2 (en) * 1996-05-28 2004-08-25 松下電器産業株式会社 Road white line detector
JP5155204B2 (en) * 2009-01-19 2013-03-06 クラリオン株式会社 White line detector

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10740626B2 (en) 2017-09-28 2020-08-11 Samsung Electronics Co., Ltd. Method and apparatus for identifying driving lane
CN112287719A (en) * 2019-07-23 2021-01-29 厦门雅迅网络股份有限公司 Lane line filtering method, terminal device and storage medium
US11367213B2 (en) 2019-09-20 2022-06-21 Samsung Electronics Co., Ltd. Method and apparatus with location estimation
CN112902981A (en) * 2021-01-26 2021-06-04 中国科学技术大学 Robot navigation method and device
CN112902981B (en) * 2021-01-26 2024-01-09 中国科学技术大学 Robot navigation method and device

Also Published As

Publication number Publication date
KR101620425B1 (en) 2016-05-13

Similar Documents

Publication Publication Date Title
Wu et al. Lane-mark extraction for automobiles under complex conditions
US8953842B2 (en) Method for road sign recognition
JP5747549B2 (en) Signal detector and program
JP6819996B2 (en) Traffic signal recognition method and traffic signal recognition device
US9626599B2 (en) Reconfigurable clear path detection system
JP2008158958A (en) Road surface determination method and road surface determination device
KR101409340B1 (en) Method for traffic sign recognition and system thereof
CN107886034B (en) Driving reminding method and device and vehicle
US20140002655A1 (en) Lane departure warning system and lane departure warning method
US10255511B2 (en) Real time traffic sign recognition
KR101620425B1 (en) System for lane recognition using environmental information and method thereof
CN102298693A (en) Expressway bend detection method based on computer vision
Romera et al. A Real-Time Multi-scale Vehicle Detection and Tracking Approach for Smartphones.
KR20140133713A (en) Apparatus for recognizing of object and method thereof
US9569676B2 (en) Computer implemented system and method for extracting and recognizing alphanumeric characters from traffic signs
CN111967396A (en) Processing method, device and equipment for obstacle detection and storage medium
CN105023452A (en) Multipath traffic signal lamp signal acquisition method and device
CN106778736A (en) The licence plate recognition method and its system of a kind of robust
US20120189161A1 (en) Visual attention apparatus and control method based on mind awareness and display apparatus using the visual attention apparatus
US9727780B2 (en) Pedestrian detecting system
Coronado et al. Detection and classification of road signs for automatic inventory systems using computer vision
CN111191482A (en) Brake lamp identification method and device and electronic equipment
CN112669615A (en) Parking space detection method and system based on camera
JP2011103058A (en) Erroneous recognition prevention device
KR102001763B1 (en) A Method and Apparatus for Recognizing Speed Signs Based on Image Processing

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190503

Year of fee payment: 4