KR101316353B1 - Apparatus and method for generating traffic lane of surrounding of vehicle - Google Patents

Apparatus and method for generating traffic lane of surrounding of vehicle Download PDF

Info

Publication number
KR101316353B1
KR101316353B1 KR1020120058806A KR20120058806A KR101316353B1 KR 101316353 B1 KR101316353 B1 KR 101316353B1 KR 1020120058806 A KR1020120058806 A KR 1020120058806A KR 20120058806 A KR20120058806 A KR 20120058806A KR 101316353 B1 KR101316353 B1 KR 101316353B1
Authority
KR
South Korea
Prior art keywords
vehicle
lane
surrounding
lanes
image
Prior art date
Application number
KR1020120058806A
Other languages
Korean (ko)
Inventor
유병용
최태성
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020120058806A priority Critical patent/KR101316353B1/en
Application granted granted Critical
Publication of KR101316353B1 publication Critical patent/KR101316353B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0057—Frequency analysis, spectral techniques or transforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

PURPOSE: An apparatus for forming lanes near a vehicle by using a distance measuring sensor and a method thereof are provided to guide lanes by predicting lanes based on locations of vehicles near a driver by detecting vehicles near the driver by using a distance measuring sensor if the lanes are not detected by a camera based lane detection system. CONSTITUTION: An apparatus for forming lanes near a vehicle comprises a distance measuring part (130) which measures distance from vehicles near a driver by using a distance measuring sensor equipped in front of the vehicle if lanes are not detected by a lane detection system which detects lanes by using camera recorded images during driving; a neighborhood vehicle recognition part (150) which recognizes the neighborhood vehicles based on distance measuring data from the distance measuring sensor; a neighborhood vehicle location recovery part (180) which restores location of the neighborhood vehicles in top view image by predicting location of the neighborhood vehicles in the top view image of front image which reflects information of the neighborhood vehicles; a road model generation unit (190) which produces road models based on locations of the vehicle and the neighborhood vehicles which are restored in the top view image; and a lane generation unit (200) which produces lanes which will be displayed on a display screen of the vehicle by predicting lanes in the front image based on the road model. [Reference numerals] (110) Control part; (120) Image acquisition part; (130) Distance measuring part; (140) Lane detection part; (150) Neighborhood vehicle recognition part; (160) Row data acquisition part; (170) View converting part; (180) Neighborhood vehicle location recovery part; (190) Road model generation part; (200) Lane generation part; (210) Storage part; (220) Display part

Description

차량 주변의 차선 생성 장치 및 방법{Apparatus and method for generating traffic lane of surrounding of vehicle}Apparatus and method for generating traffic lane of surrounding of vehicle}

본 발명은 차량 주변의 차선 생성 장치 및 방법에 관한 것으로, 더욱 상세하게는 카메라 기반 차선 감지 시스템 동작에 의해 차선이 감지되지 않는 경우, 거리측정센서를 통한 거리 기반 주변차량을 감지하여 주변차량의 위치를 근거로 차선을 예측하여 생성하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for generating a lane around a vehicle, and more particularly, when a lane is not detected by a camera-based lane detecting system operation, detecting a distance-based peripheral vehicle through a distance measuring sensor to locate a surrounding vehicle. The present invention relates to an apparatus and a method for predicting and generating a lane based on the method.

일반적으로, 주행 중인 차량의 차선 감지는 차량 전방에 구비된 카메라를 통해 촬영되는 영상을 기반으로 하여 차선의 색 또는 에지 등을 추출함으로써 행해진다.In general, lane detection of a driving vehicle is performed by extracting a color or an edge of a lane based on an image captured by a camera provided in front of the vehicle.

그러나, 카메라 기반의 차선 감지는 날씨 또는 외부 밝기에 따라 제대로 행해지지 않을 수 있다. 예를 들어, 맑은 날씨에는 도로 상의 차선을 쉽게 감지할 수 있지만, 주변이 어둡거나, 눈 또는 비 등으로 인해 날씨가 안 좋은 상황에서는 카메라를 통해 촬영되는 영상을 통해서는 차선을 제대로 감지하지 못하거나, 좁은 시야의 차선을 감지할 수 있는 정도에 그친다. 또한, 햇빛이 강한 경우에도 역광 등으로 인해 카메라를 통해 촬영된 영상을 통해 차선을 쉽게 감지하지 못 할 수도 있다.However, camera-based lane detection may not be performed properly depending on the weather or external brightness. For example, you can easily detect lanes on the road in clear weather, but you may not be able to detect lanes properly through video taken by the camera in dark surroundings or in bad weather due to snow or rain. It is only enough to detect lanes with narrow field of view. Also, even in strong sunlight, lanes may not be easily detected through images taken by the camera due to backlight.

한편, 국내출원 제2010-0069537호에는 차량에 장착된 카메라 모듈을 통해 촬영된 차량 전방 영상을 통해 차선을 인식하는 기술이 개시되어 있다. 물론, 국내출원 제2010-0069537호는 기존의 차선 감시 시스템에 비해 차량의 진동이나 조명의 변화, 차선 변경 상황 등에도 강인한 차선 추적 방법을 제시하고 있긴 하나, 이 또한 카메라 촬영 영상으로부터 차선 후보점을 추출하여 차선을 예측하는 것이기 때문에, 도로가 전부 눈에 덮이거나 차선이 마모되어 차선 후보점 조차 추출할 수 없는 상황에서는 차선을 인지하는 것이 어렵게 된다.On the other hand, domestic application 2010-0069537 discloses a technology for recognizing the lane through the vehicle front image taken through the camera module mounted on the vehicle. Of course, domestic application 2010-0069537 proposes a lane tracking method that is more robust than the existing lane monitoring system in terms of vehicle vibration, lighting change, and lane change situation. Because it extracts and predicts the lane, it becomes difficult to recognize the lane in a situation where the road is entirely covered or the lane is worn out so that even a lane candidate point cannot be extracted.

본 발명의 목적은, 카메라 기반 차선 감지 시스템 동작에 의해 차선이 감지되지 않는 경우, 거리측정센서를 통해 주변차량을 감지하여 주변차량의 위치를 근거로 차선을 예측하여 운전자에게 차선을 안내할 수 있도록 하는 차량 주변의 차선 생성 장치 및 방법을 제공함에 있다.An object of the present invention, when the lane is not detected by the camera-based lane detection system operation, by detecting the surrounding vehicle through the distance sensor to predict the lane based on the position of the surrounding vehicle to guide the lane to the driver The present invention provides a lane generating apparatus and method around a vehicle.

본 발명의 다른 목적은, 거리측정센서를 통해 거리 기반의 차선 예측 시스템을 적용함으로써, 날씨, 조명 등 주변환경에 구애 받지 않고 운전자에게 차선을 안내할 수 있도록 하는 차량 주변의 차선 생성 장치 및 방법을 제공함에 있다.Another object of the present invention is to provide a lane generating apparatus and method around a vehicle that can guide a lane to a driver regardless of the surrounding environment such as weather and lighting by applying a distance-based lane prediction system through a distance sensor. In providing.

상기의 목적을 달성하기 위한 본 발명에 따른 차량 주변의 차선 생성 장치는, 차량 주행 중 카메라를 통한 촬영 영상으로부터 차선을 감지하는 차선 감지 시스템 동작에 의해 상기 차선이 감지되지 않는 경우, 상기 차량 전방에 구비된 거리측정센서를 통해 주변차량과의 거리를 측정하는 거리 측정부, 상기 거리측정센서로부터의 거리측정데이터에 근거하여 주변차량을 인지하는 주변차량 인지부, 상기 주변차량의 정보를 반영한 전방 영상의 탑 뷰(top view) 영상 상에서 상기 주변차량의 위치를 예측하여 상기 탑 뷰 영상 상에 상기 주변차량의 위치를 복원하는 주변차량 위치 복원부, 상기 탑 뷰 영상 상에 위치 복원된 상기 주변차량과 상기 차량의 위치를 기준으로 도로 모델을 생성하는 도로 모델 생성부, 및 상기 도로 모델을 기반으로 상기 전방 영상 상의 차선을 예측하여 상기 차량의 디스플레이 화면에 표시할 차선을 생성하는 차선 생성부를 포함하는 것을 특징으로 한다.The lane generation apparatus around the vehicle according to the present invention for achieving the above object, if the lane is not detected by the lane detection system operation for detecting the lane from the image captured by the camera while driving the vehicle, in front of the vehicle Distance measuring unit for measuring the distance to the surrounding vehicle through the distance measuring sensor provided, Peripheral vehicle recognition unit for recognizing the surrounding vehicle based on the distance measurement data from the distance measuring sensor, Front image reflecting the information of the surrounding vehicle A surrounding vehicle position restoring unit predicting a position of the surrounding vehicle on a top view image of the vehicle and restoring the position of the surrounding vehicle on the top view image of the vehicle; A road model generator configured to generate a road model based on the position of the vehicle, and the front image based on the road model And a lane generation unit configured to predict lanes on the road and generate lanes to be displayed on the display screen of the vehicle.

상기 거리측정데이터는 상기 차량의 위치를 기준으로 한 로우 데이터(raw data)를 포함하는 것을 특징으로 한다.The distance measurement data may include raw data based on the position of the vehicle.

또한, 본 발명에 따른 차량 주변의 차선 생성 장치는, 상기 주변차량에 대응하여 측정된 상기 거리측정데이터의 로우 데이터를 기초로 상기 주변차량의 정보를 반영한 영상을 상기 탑 뷰 영상으로 변환하는 뷰 변환부를 더 포함하는 것을 특징으로 한다.The apparatus for generating lanes around a vehicle according to the present invention may further include: a view transformation for converting an image reflecting information of the surrounding vehicle into the top view image based on the raw data of the distance measurement data measured corresponding to the surrounding vehicle; It further comprises a wealth.

상기 디스플레이 화면은 상기 차량에 구비된 모니터, 네비게이션 및 HUD(Head Up Display) 중 적어도 하나의 화면인 것을 특징으로 한다.The display screen may be at least one of a monitor, a navigation, and a head up display (HUD) provided in the vehicle.

한편, 상기의 목적을 달성하기 위한 본 발명에 따른 차량 주변의 차선 생성 방법은, 차량 주행 중 카메라를 통한 촬영 영상으로부터 차선을 감지하는 차선 감지 시스템 동작에 의해 상기 차선이 감지되지 않는 경우, 상기 차량 전방에 구비된 거리측정센서를 통해 주변차량과의 거리를 측정하는 단계, 상기 거리측정센서로부터의 거리측정데이터에 근거하여 주변차량을 인지하는 단계, 상기 주변차량의 정보를 반영한 전방 영상의 탑 뷰(top view) 영상 상에서 상기 주변차량의 위치를 예측하여 상기 탑 뷰 영상 상에 상기 주변차량의 위치를 복원하는 단계, 상기 탑 뷰 영상 상에 위치 복원된 상기 주변차량과 상기 차량의 위치를 기준으로 도로 모델을 생성하는 단계, 및 상기 도로 모델을 기반으로 상기 전방 영상 상의 차선을 예측하여 상기 차량의 디스플레이 화면에 표시할 차선을 생성하는 단계를 포함하는 것을 특징으로 한다.On the other hand, the lane generation method around the vehicle according to the present invention for achieving the above object, if the lane is not detected by the lane detection system operation for detecting the lane from the image captured by the camera while driving the vehicle, Measuring the distance to the surrounding vehicle through the distance measuring sensor provided in the front, Recognizing the surrounding vehicle based on the distance measurement data from the distance measuring sensor, Top view of the front image reflecting the information of the surrounding vehicle reconstructing the position of the surrounding vehicle on the top view image by predicting the position of the surrounding vehicle on the image, based on the position of the surrounding vehicle and the position of the vehicle restored on the top view image Generating a road model, and predicting a lane on the front image based on the road model; Characterized in that it comprises generating a lane to be displayed on the screen.

상기 거리측정데이터는 상기 차량의 위치를 기준으로 한 로우 데이터(raw data)를 포함하는 것을 특징으로 한다.The distance measurement data may include raw data based on the position of the vehicle.

또한, 본 발명에 따른 차량 주변의 차선 생성 방법은, 상기 주변차량을 인지하는 단계 이후에, 상기 주변차량에 대응하여 측정된 상기 로우 데이터를 기초로 상기 주변차량의 정보를 반영한 영상을 상기 탑 뷰 영상으로 뷰 변환하는 단계를 더 포함하는 것을 특징으로 한다.The method of generating a lane around a vehicle according to the present invention further includes, after the step of recognizing the surrounding vehicle, a top view of an image reflecting information of the surrounding vehicle based on the row data measured corresponding to the surrounding vehicle. The method may further include converting the view into an image.

또한, 본 발명에 따른 차량 주변의 차선 생성 방법은, 상기 차선을 생성하는 단계에서 생성된 상기 차선을 상기 디스플레이 화면에 표시하는 단계를 더 포함하는 것을 특징으로 한다.In addition, the lane generation method around the vehicle according to the invention, characterized in that it further comprises the step of displaying the lane generated in the step of generating the lane on the display screen.

본 발명에 따르면, 카메라 기반 차선 감지 시스템 동작에 의해 차선이 감지되지 않는 경우, 거리측정센서를 통해 주변차량을 감지하여 주변차량의 위치를 근거로 차선을 예측함으로써 날씨, 조명 등의 주변환경에 구애 받지 않고 운전자에게 차선을 안내할 수 있는 이점이 있다.According to the present invention, when the lane is not detected by the camera-based lane detection system operation, the surrounding vehicle is sensed by the distance measuring sensor to predict the lane based on the position of the surrounding vehicle, thereby surrounding the environment such as weather and lighting. There is an advantage of guiding the lane to the driver without receiving.

또한, 본 발명에 따른 거리 기반 차선 생성 기술을 LKAS(Lane Keeping Assist System) 및 SCC(Smart Cruise Control) 시스템 등에서도 활용될 수 있는 이점이 있다.In addition, there is an advantage that the distance-based lane generation technology according to the present invention can be used in a LKAS (Lane Keeping Assist System) and SCC (Smart Cruise Control) system.

도 1은 본 발명에 따른 차량 주변의 차선 생성 장치의 구성을 도시한 블록도이다.
도 2는 본 발명에 따른 차량 주변의 차선 생성 장치의 차선 생성 동작을 설명하는데 참조되는 예시도이다.
도 3 내지 도 5는 본 발명에 따른 차량 주변의 차선 생성 장치의 차선 안내 동작을 설명하는데 참조되는 예시도이다.
도 6은 본 발명에 따른 차량 주변의 차선 생성 방법에 대한 동작 흐름을 도시한 순서도이다.1 is a block diagram showing a configuration of a lane generating apparatus around a vehicle according to the present invention.
2 is an exemplary view referred to for explaining a lane generation operation of a lane generation apparatus around a vehicle according to the present invention.
3 to 5 are exemplary views referred to for explaining a lane guidance operation of a lane generating apparatus around a vehicle according to the present invention.
6 is a flowchart illustrating an operation flow of a method for generating a lane around a vehicle according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하도록 한다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명에 따른 차량 주변의 차선 생성 장치의 구성을 도시한 블록도이다.1 is a block diagram showing a configuration of a lane generating apparatus around a vehicle according to the present invention.

도 1을 참조하면, 본 발명에 따른 차량 주변의 차선 생성 장치(이하, '차선 생성 장치'라 칭한다.)는 제어부(110), 영상 획득부(120), 거리 측정부(130), 차선 감지부(140), 주변차량 인지부(150), 로우 데이터 획득부(160), 뷰 변환부(170), 주변차량 위치 복원부(180), 도로 모델 생성부(190), 차선 생성부(200), 저장부(210) 및 표시부(220)를 포함한다. 여기서, 제어부(110)는 차선 생성 장치의 각 부의 동작을 제어한다.Referring to FIG. 1, a lane generating apparatus (hereinafter, referred to as a “lane generating apparatus”) around a vehicle according to the present invention may include a control unit 110, an image obtaining unit 120, a distance measuring unit 130, and a lane detecting unit. Unit 140, surrounding vehicle recognition unit 150, row data acquisition unit 160, view converter 170, surrounding vehicle position recovery unit 180, road model generator 190, lane generation unit 200 ), A storage unit 210 and a display unit 220. Here, the controller 110 controls the operation of each part of the lane generation apparatus.

영상 획득부(120)는 차량에 구비된 카메라를 통해 촬영되는 차량의 전방 영상을 획득한다. 이때, 차량에 구비된 카메라는 하나일 수 있으나, 복수 개 일 수도 있다.The image acquisition unit 120 acquires a front image of the vehicle photographed through a camera provided in the vehicle. In this case, one camera may be provided in the vehicle, but a plurality of cameras may be provided.

차선 감지부(140)는 영상 획득부(120)의 카메라를 통해 촬영된 전방 영상을 분석하여 전방 영상에 포함된 차선을 감지한다.The lane detecting unit 140 detects a lane included in the front image by analyzing the front image photographed by the camera of the image obtaining unit 120.

거리 측정부(130)는 차량에 구비된 거리측정센서를 통해 주변차량과의 거리를 측정한다. 이때, 거리측정센서는 초음파 및 레이저 등을 이용하여 주변차량과의 거리를 측정하는 것으로, 차량 전방에 구비되는 것이 바람직하다. 물론, 거리측정센서는 차량 전방의 좌/우 대각선 방향에 더 구비될 수도 있다. 여기서, 거리 측정부(130)는 차선 감지부(140)에 의해 차선이 감지되지 않는 경우에 동작하는 것으로 한다. 다시 말해, 날씨, 조명, 차선 마모 등의 주변상황에 의해 카메라를 통해 촬영된 전방 영상에 차선이 명확하지 않아 차선 감지부(140)가 차선을 감지하지 못하는 경우, 거리 측정부(130)는 거리 기반의 차선을 생성하기 위해 동작하게 된다.The distance measuring unit 130 measures the distance to the surrounding vehicle through the distance measuring sensor provided in the vehicle. In this case, the distance measuring sensor is to measure the distance to the surrounding vehicle by using an ultrasonic wave, a laser, or the like, and is preferably provided in front of the vehicle. Of course, the distance measuring sensor may be further provided in a left / right diagonal direction in front of the vehicle. Here, the distance measuring unit 130 is supposed to operate when the lane is not detected by the lane detecting unit 140. In other words, when the lane detection unit 140 does not detect the lane because the lane is not clear in the front image captured by the camera due to weather, lighting, lane wear, or the like, the distance measuring unit 130 may determine the distance. It will work to create a base lane.

주변차량 인지부(150)는 거리측정센서로부터의 거리측정데이터에 근거하여 주변차량을 인지한다. 여기서, 주변차량 인지부(150)는 전방 180도 이상의 범위에 위치한 주변차량을 인지하는 것으로 한다.The surrounding vehicle recognizing unit 150 recognizes the surrounding vehicle based on the distance measurement data from the distance measuring sensor. Here, the surrounding vehicle recognizing unit 150 is to recognize the surrounding vehicle located in the range of more than 180 degrees ahead.

로우 데이터 획득부(160)는 해당 차량, 즉, 자차의 위치를 기준으로 거리측정센서를 통해 측정된 거리측정데이터로부터 로우 데이터(row data)를 획득한다. 이때, 획득된 로우 데이터는 탑 뷰 영상에서 주변차량의 위치를 예측하는데 이용된다.The row data acquisition unit 160 obtains row data from the distance measurement data measured by the distance measurement sensor based on the position of the vehicle, that is, the host vehicle. In this case, the obtained raw data is used to predict the position of the surrounding vehicle in the top view image.

뷰 변환부(170)는 주변차량 인지부(150)에 의해 인지된 주변차량의 정보를 반영한 영상을 탑 뷰(top view) 영상으로 변환한다. 여기서, 주변차량의 정보를 반영한 영상은 거리측정센서가 주변차량을 감지하기 위해 신호를 송출하는 방향의 영상, 즉, 전방 영상인 것으로 함이 바람직하다. 이때, 주변차량의 정보를 반영한 영상은 실제 영상일 수 있으나, 차선 위치를 예측하기 위해 주변차량의 정보를 토대로 구현되는 가상 영상일 수 있다.The view converting unit 170 converts the image reflecting the information of the surrounding vehicle recognized by the surrounding vehicle recognizing unit 150 into a top view image. Here, the image reflecting the information of the surrounding vehicle is preferably an image of a direction in which the distance sensor sends a signal to detect the surrounding vehicle, that is, the front image. In this case, the image reflecting the information of the surrounding vehicle may be an actual image, but may be a virtual image implemented based on the information of the surrounding vehicle to predict the lane position.

주변차량 위치 복원부(180)는 뷰 변환부(170)에 의해 뷰 변환된 주변차량의 정보를 반영한 전방 영상의 탑 뷰(top view) 영상 상에서 주변차량의 위치를 예측한다. 이때, 주변차량 위치 복원부(180)는 주변차량에 대응하는 로우 데이터에 근거하여 탑 뷰 영상 상에서 주변차량의 위치를 예측한다. 또한, 주변차량 위치 복원부(180)는 탑 뷰 영상 상에서 예측된 주변차량의 위치에 근거하여 주변차량의 위치를 복원한다.The surrounding vehicle position restoring unit 180 predicts the position of the surrounding vehicle on the top view image of the front image reflecting the information of the surrounding vehicle view-transformed by the view converting unit 170. At this time, the surrounding vehicle position restoring unit 180 predicts the position of the surrounding vehicle on the top view image based on the raw data corresponding to the surrounding vehicle. In addition, the surrounding vehicle position restoring unit 180 restores the position of the surrounding vehicle based on the predicted position of the surrounding vehicle on the top view image.

주변차량 위치 복원부(180)는 주변차량의 위치를 복원함에 있어서, 클러스터링 기법을 통해 노이즈를 제거한 후에 주변차량의 위치를 복원한다. 이때, 주변차량 위치 복원부(180)는 칼만 필터 및 파티클 필터 등을 이용한 필터링 기법을 적용할 수 있다.The surrounding vehicle position restoring unit 180 restores the position of the surrounding vehicle after removing noise through the clustering technique in restoring the position of the surrounding vehicle. In this case, the surrounding vehicle position restoring unit 180 may apply a filtering technique using a Kalman filter and a particle filter.

도로 모델 생성부(190)는 탑 뷰 영상 상에 위치 복원된 주변차량과 해당 차량, 즉 자차의 위치를 기준으로 도로 모델을 생성한다. 여기서, 도로 모델은 3차 이상의 다항식으로 이루어지는 방정식을 적용하여 생성되며, 방정식의 계수들을 조정함으로써 직선형, 나선형 및 원형 등의 도로를 모델링 할 수 있게 된다.The road model generator 190 generates a road model based on the position of the surrounding vehicle reconstructed on the top view image and the position of the corresponding vehicle, that is, the own vehicle. Here, the road model is generated by applying an equation consisting of three or more polynomials, and by adjusting the coefficients of the equation it is possible to model the road, such as straight, spiral and circular.

차선 생성부(200)는 도로 모델 생성부(190)에 의해 생성된 도로 모델로부터 탑 뷰 영상 상에서 차선의 위치를 추정하고, 추정된 차선의 위치를 근거로 전방 영상 상의 차선을 예측한다. 또한, 차선 생성부(200)는 전방 영상 상에서 예측된 차선의 위치에 따라 표시부(220)의 화면에 표시할 차선을 생성한다. 차선 생성부(200)에 의해 생성된 차선 정보는 표시부(220)의 화면을 통해 표시된다. 여기서, 표시부(220)는 차량에 구비된 모니터, 네비게이션 및 HUD(Head Up Display) 중 적어도 하나를 포함할 수 있다.The lane generator 200 estimates the location of the lane on the top view image from the road model generated by the road model generator 190 and predicts the lane on the front image based on the estimated position of the lane. In addition, the lane generation unit 200 generates a lane to be displayed on the screen of the display unit 220 according to the predicted position of the lane on the front image. Lane information generated by the lane generation unit 200 is displayed on the screen of the display unit 220. Here, the display unit 220 may include at least one of a monitor, a navigation, and a head up display (HUD) provided in the vehicle.

한편, 저장부(210)는 차선 생성 장치의 동작을 위한 설정값 및 측정 데이터 등이 저장되며, 주변차량의 정보, 도로 모델의 정보 및 차선의 정보 등이 저장될 수 있다.The storage unit 210 may store setting values and measurement data for the operation of the lane generating apparatus, and may store information of surrounding vehicles, information of a road model, information of a lane, and the like.

도 2는 본 발명에 따른 차량 주변의 차선 생성 장치의 차선 생성 동작을 설명하는데 참조되는 예시도이다.2 is an exemplary view referred to for explaining a lane generation operation of a lane generation apparatus around a vehicle according to the present invention.

도 2를 참조하면, (a)는 차량의 전방 영상이고, (b)는 차량 전방의 주변차량으로부터 감지된 거리측정데이터를 나타낸 것이다. 한편, 도 2의 (c)는 (b)의 탑 뷰 영상을 나타낸 것이고, (d)는 (c)의 로우 데이터를 기반으로 예측된 주변차량의 위치를 복원한 것이다. 또한, 도 2의 (e)는 (d)에서 복원된 주변차량의 위치와 자차의 위치를 기준으로 생성된 도로 모델을 나타낸 것이고, (f)는 (e)의 도로 모델에 기초하여 예측된 차선을 생성하여 디스플레이 화면을 통해 표시한 것이다.Referring to FIG. 2, (a) shows a front image of the vehicle, and (b) shows distance measurement data sensed from surrounding vehicles in front of the vehicle. Meanwhile, FIG. 2C shows the top view image of FIG. 2B, and FIG. 2D reconstructs the position of the neighboring vehicle predicted based on the row data of FIG. In addition, (e) of FIG. 2 shows a road model generated based on the position of the surrounding vehicle and the position of the own vehicle restored in (d), and (f) is a lane predicted based on the road model of (e) Is generated and displayed through the display screen.

다시 말해, 차선 생성 장치는 도 2의 (a)와 같이 카메라를 통해 촬영된 전방 영상 상에서 차선이 감지되지 않는 경우, 거리측정센서를 구동한다. 이 경우, 거리측정센서는 차량 주변에 위치한 주변차량들로 초음파 또는 레이저 등을 송출하여 반사된 신호로부터 해당 차량과 주변차량 간 거리를 측정한다.In other words, the lane generating apparatus drives the distance measuring sensor when the lane is not detected on the front image captured by the camera as shown in FIG. In this case, the distance measuring sensor transmits ultrasonic waves or lasers to surrounding vehicles located near the vehicle and measures the distance between the vehicle and the surrounding vehicle from the reflected signal.

이때, 거리측정센서에 의해 측정되는 거리측정데이터는 도 2의 (b)와 같이, 해당 차량과 대면하는 주변차량들의 후면 또는 측면이 다른 주변차량에 의해 중첩되지 않은 부분으로부터 반사된 신호에 근거하여 산출된 데이터이다.In this case, the distance measurement data measured by the distance measurement sensor is based on a signal reflected from a portion where the rear or side surfaces of the surrounding vehicles facing the vehicle are not overlapped by other surrounding vehicles, as shown in FIG. Calculated data.

차선 생성 장치는 도 2의 (b)에서 측정된 거리측정데이터의 로우 데이터에 근거하여 (c)와 같이 전방 영상을 해당 차량을 포함하는 탑 뷰 영상으로 변환한 후에, (d)와 같이 주변차량들의 위치를 예측하여 주변차량의 위치를 복원한다. 거리측정데이터는 주변차량들의 중첩되지 않은 후면 또는 측면에 대한 데이터이기 때문에, 이에 근거하여 주변차량의 위치를 복원하도록 한다.The lane generating apparatus converts the front image into the top view image including the vehicle as shown in (c) based on the row data of the distance measurement data measured in FIG. 2 (b), and then the surrounding vehicle as shown in (d). Predict the location of the vehicle to restore the position of the surrounding vehicles. Since the distance measurement data is data on the non-overlapping rear or side surfaces of the surrounding vehicles, the position of the surrounding vehicles is restored based on this.

도 2의 (e)는 도로 모델을 나타낸 것으로, 일반적으로 차량은 차선 변경을 하지 않는 한, 양측 차선 내에서 주행하기 때문에, 해당 차량과 위치 복원된 주변차량들의 위치를 기준으로 도로 형태를 예측할 수 있으며, 이를 토대로 도로 모델을 생성하게 된다.FIG. 2 (e) shows a road model. In general, since a vehicle travels in both lanes unless a lane is changed, the shape of the road can be predicted based on the position of the vehicle and the surrounding vehicles which are relocated. Based on this, a road model is generated.

도 2의 (e)와 같이 도로 모델이 완성되면, 차선 생성 장치는 도로 모델 상의 차선 위치에 근거하여 차량의 전방 영상 상에서 차선의 위치를 예측하고, 이를 토대로 차선을 생성하여, (f)와 같이 전방 영상을 통해 차선을 표시함으로써 운전자에게 차선을 안내하도록 한다. 이때, 차선은 HUD 등에 표시될 수 있으며, 운전자는 기상 악화 등으로 차선을 감지하기가 어려운 상황에서도 HUD 등을 통해 차선을 명확하게 인식할 수 있게 된다.When the road model is completed as shown in (e) of FIG. 2, the lane generating apparatus predicts the location of the lane on the front image of the vehicle based on the lane position on the road model, and generates a lane based on this, as shown in (f). The driver is guided to the lane by displaying the lane through the forward image. In this case, the lane may be displayed on the HUD, and the driver may clearly recognize the lane through the HUD even in a situation where it is difficult to detect the lane due to bad weather.

도 3 내지 도 5는 본 발명에 따른 차량 주변의 차선 생성 장치의 차선 안내 동작을 설명하는데 참조되는 예시도이다.3 to 5 are exemplary views referred to for explaining a lane guidance operation of a lane generating apparatus around a vehicle according to the present invention.

먼저, 도 3은 비로 인해 차선 인지가 어려운 상황에서의 차선 안내 동작을 나타낸 것이다. 도 3의 (a)에 도시된 바와 같이, 비가 오는 상황에서 주변차량들에 의해 발생하는 물보라 등으로 인해 운전자는 차선을 인지하는 것이 어렵다. 이 경우, 도 3의 (b)와 같이 본 발명에 따른 차선 생성 장치에 의해 생성된 차선을 해당 차량의 HUD 등을 통해 표시하면, 운전자는 비가 오는 상황에서도 차선을 명확하게 인식함으로써 안전운전을 할 수 있게 된다.First, FIG. 3 illustrates a lane guidance operation in a situation in which lane recognition is difficult due to rain. As shown in (a) of FIG. 3, it is difficult for a driver to recognize a lane due to a spray generated by surrounding vehicles in a rainy situation. In this case, if the lane generated by the lane generating apparatus according to the present invention is displayed through the HUD of the vehicle as shown in FIG. 3 (b), the driver may drive safely by clearly recognizing the lane even in a rainy situation. It becomes possible.

도 4는 눈으로 인해 차선 인지가 어려운 상황에서의 차선 안내 동작을 나타낸 것이다. 도 4의 (a)에 도시된 바와 같이, 도로에 눈이 쌓이게 되면 차선이 가려져 운전자는 차선을 인지하는 것이 어렵다. 이 경우, 도 4의 (b)와 같이 본 발명에 따른 차선 생성 장치에 의해 생성된 차선을 해당 차량의 HUD 등을 통해 표시하면, 운전자는 도로가 눈으로 덮인 상황에서도 차선을 명확하게 인식함으로써 안전운전을 할 수 있게 된다.4 illustrates a lane guidance operation in a situation in which lane recognition is difficult due to eyes. As shown in (a) of FIG. 4, when snow is accumulated on the road, the lane is blocked, and it is difficult for the driver to recognize the lane. In this case, when the lane generated by the lane generating apparatus according to the present invention is displayed through the HUD of the vehicle as shown in FIG. 4B, the driver clearly recognizes the lane even when the road is covered with snow. You can drive.

도 5는 안개로 인해 차선 인지가 어려운 상황에서의 차선 안내 동작을 나타낸 것이다. 도 5의 (a)에 도시된 바와 같이, 안개가 짙어지면 시야가 좁아져 운전자는 전방의 차선을 인지하는 것이 어렵다. 이 경우, 도 5의 (b)와 같이 본 발명에 따른 차선 생성 장치에 의해 생성된 차선을 해당 차량의 HUD 등을 통해 표시하면, 운전자는 안개가 짙게 낀 상황에서도 차선을 명확하게 인식함으로써 안전운전을 할 수 있게 된다.5 illustrates a lane guidance operation in a situation in which it is difficult to recognize a lane due to fog. As shown in FIG. 5A, when the fog becomes thick, the field of view becomes narrow, and it is difficult for the driver to recognize the lane ahead. In this case, when the lane generated by the lane generating apparatus according to the present invention is displayed through the HUD of the vehicle as shown in FIG. 5 (b), the driver clearly recognizes the lane even in a heavy fog, thereby driving safely. Will be able to.

상기와 같이 구성되는 본 발명에 따른 차량 주변의 차선 생성 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.Referring to the operation flow of the lane generating apparatus around the vehicle according to the present invention configured as described above in more detail.

도 6은 본 발명에 따른 차량 주변의 차선 생성 방법에 대한 동작 흐름을 도시한 순서도이다.6 is a flowchart illustrating an operation flow of a method for generating a lane around a vehicle according to the present invention.

도 6을 참조하면, 우선 차선 인식을 위해 카메라 기반 차선 감지 시스템을 동작한다(S100). 이때, 카메라 기반 차선 감지 시스템은 카메라를 통해 촬영되는 차량의 전방 영상을 분석하여 전방 영상에 포함된 차선을 감지하게 된다.Referring to FIG. 6, first, a camera-based lane detection system is operated for lane recognition (S100). At this time, the camera-based lane detection system detects the lane included in the front image by analyzing the front image of the vehicle photographed through the camera.

만일, 카메라 기반 차선 감지 시스템에 의해 차선 감지가 불가하게 되면(S110), 차선 생성 장치는 거리측정센서를 동작시켜(S120), 주변차량과의 거리를 측정하고, 거리측정센서에 의해 측정된 거리측정데이터에 근거하여 주변차량을 감지한다(S130). 이때, 차선 생성 장치는 거리측정데이터로부터 자차의 위치에 기반한 로우 데이터를 획득한다(S140).If the lane detection is disabled by the camera-based lane detecting system (S110), the lane generating apparatus operates the distance measuring sensor (S120) to measure the distance to the surrounding vehicle, and to measure the distance measured by the distance measuring sensor. The surrounding vehicle is sensed based on the measured data (S130). In this case, the lane generating apparatus obtains row data based on the position of the host vehicle from the distance measurement data (S140).

한편, 차선 생성 장치는 'S130' 과정에서 감지된 주변차량 정보 및 자차의 위치를 반영한 영상을 탑 뷰로 변환하고(S150), 로우 데이터에 근거하여 주변차량의 위치를 예측하여 탑 뷰 영상 상에 주변차량의 위치를 복원한다(S160). 'S160' 과정은 주변차량의 위치를 복원하기 위해 클러스터링 기법을 통해 노이즈를 제거하거나, 칼만 필터 및 파티클 필터 등을 이용한 필터링 기법을 적용하여 필터링하는 과정이 추가될 수 있다.Meanwhile, the lane generating apparatus converts the image reflecting the position of the surrounding vehicle information and the position of the own vehicle detected in step S130 into the top view (S150), and predicts the position of the surrounding vehicle based on the raw data to surround the image on the top view image. The position of the vehicle is restored (S160). The 'S160' process may remove a noise by using a clustering technique to restore the position of the surrounding vehicle, or may be filtered by applying a filtering technique using a Kalman filter and a particle filter.

이후, 차선 생성 장치는 탑 뷰 영상 상에 복원된 주변차량의 위치와 자차의 위치를 기준으로 하여 도로 모델을 생성한다(S170). 여기서, 도로 모델은 3차 이상의 다항식으로 이루어진 방정식 통해 생성된다. 물론, 'S170' 과정 이후에 생성된 도로 모델을 평가하는 과정이 추가될 수 있다.Thereafter, the lane generating apparatus generates a road model based on the position of the surrounding vehicle and the position of the own vehicle restored on the top view image (S170). Here, the road model is generated through an equation consisting of three or more polynomials. Of course, the process of evaluating the road model generated after the 'S170' process may be added.

'S170' 과정을 통해 도로 모델이 완성되면, 차선 생성 장치는 도로 모델에 기반하여 차선을 생성하고(S180), 'S180' 과정에서 생성된 차선을 디스플레이 화면일 통해 표시함으로써 운전자에게 차선을 안내한다(S190).When the road model is completed through the 'S170' process, the lane generation apparatus generates a lane based on the road model (S180), and guides the lane to the driver by displaying the lane generated in the 'S180' process on the display screen. (S190).

이상과 같이 본 발명에 의한 차량 주변의 차선 생성 장치 및 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.As described above, the apparatus and method for generating a lane around a vehicle according to the present invention has been described with reference to the illustrated drawings. However, the present invention is not limited by the embodiments and drawings disclosed herein, and the technical idea is within the scope of protection. Can be applied.

110: 제어부 120: 영상 획득부
130: 거리 측정부 140: 차선 감지부
150: 주변차량 인지부 160: 로우 데이터 획득부
170: 뷰 변환부 180: 주변차량 위치 복원부
190: 도로 모델 생성부 200: 차선 생성부
210: 저장부 220: 표시부110: control unit 120: image acquisition unit
130: distance measuring unit 140: lane detection unit
150: peripheral vehicle recognition unit 160: low data acquisition unit
170: view conversion unit 180: surrounding vehicle position restoration unit
190: road model generation unit 200: lane generation unit
210: storage unit 220: display unit

Claims (8)

차량 주행 중 카메라를 통한 촬영 영상으로부터 차선을 감지하는 차선 감지 시스템 동작에 의해 상기 차선이 감지되지 않는 경우, 상기 차량 전방에 구비된 거리측정센서를 통해 주변차량과의 거리를 측정하는 거리 측정부;
상기 거리측정센서로부터의 거리측정데이터에 근거하여 주변차량을 인지하는 주변차량 인지부;
상기 주변차량의 정보를 반영한 전방 영상의 탑 뷰(top view) 영상 상에서 상기 주변차량의 위치를 예측하여 상기 탑 뷰 영상 상에 상기 주변차량의 위치를 복원하는 주변차량 위치 복원부;
상기 탑 뷰 영상 상에 위치 복원된 상기 주변차량과 상기 차량의 위치를 기준으로 도로 모델을 생성하는 도로 모델 생성부; 및
상기 도로 모델을 기반으로 상기 전방 영상 상의 차선을 예측하여 상기 차량의 디스플레이 화면에 표시할 차선을 생성하는 차선 생성부를 포함하는 것을 특징으로 하는 차량 주변의 차선 생성 장치.A distance measuring unit configured to measure a distance to a surrounding vehicle through a distance measuring sensor provided in front of the vehicle when the lane is not detected by a lane detection system that detects a lane from a captured image by a camera while driving a vehicle;
Peripheral vehicle recognition unit for recognizing the peripheral vehicle based on the distance measurement data from the distance measuring sensor;
A surrounding vehicle position restoring unit for restoring the position of the surrounding vehicle on the top view image by predicting the position of the surrounding vehicle on the top view image of the front image reflecting the information of the surrounding vehicle;
A road model generator configured to generate a road model based on the position of the surrounding vehicle and the position of the vehicle restored on the top view image; And
And a lane generator for predicting a lane on the front image based on the road model and generating a lane to be displayed on a display screen of the vehicle. 청구항 1에 있어서,
상기 거리측정데이터는,
상기 차량의 위치를 기준으로 한 로우 데이터(raw data)를 포함하는 것을 특징으로 하는 차량 주변의 차선 생성 장치.The method according to claim 1,
The distance measurement data,
And lane data on the basis of the position of the vehicle. 청구항 2에 있어서,
상기 주변차량에 대응하여 측정된 상기 거리측정데이터의 로우 데이터를 기초로 상기 주변차량의 정보를 반영한 영상을 상기 탑 뷰 영상으로 변환하는 뷰 변환부를 더 포함하는 것을 특징으로 하는 차량 주변의 차선 생성 장치.The method according to claim 2,
And a view converting unit converting an image reflecting information of the surrounding vehicle into the top view image based on the row data of the distance measurement data measured corresponding to the surrounding vehicle. . 청구항 1에 있어서,
상기 디스플레이 화면은,
상기 차량에 구비된 모니터, 네비게이션 및 HUD(Head Up Display) 중 적어도 하나의 화면인 것을 특징으로 하는 차량 주변의 차선 생성 장치.The method according to claim 1,
The display screen,
And at least one screen of a monitor, a navigation, and a head up display (HUD) provided in the vehicle. 차량 주행 중 카메라를 통한 촬영 영상으로부터 차선을 감지하는 차선 감지 시스템 동작에 의해 상기 차선이 감지되지 않는 경우, 상기 차량 전방에 구비된 거리측정센서를 통해 주변차량과의 거리를 측정하는 단계;
상기 거리측정센서로부터의 거리측정데이터에 근거하여 주변차량을 인지하는 단계;
상기 주변차량의 정보를 반영한 전방 영상의 탑 뷰(top view) 영상 상에서 상기 주변차량의 위치를 예측하여 상기 탑 뷰 영상 상에 상기 주변차량의 위치를 복원하는 단계;
상기 탑 뷰 영상 상에 위치 복원된 상기 주변차량과 상기 차량의 위치를 기준으로 도로 모델을 생성하는 단계; 및
상기 도로 모델을 기반으로 상기 전방 영상 상의 차선을 예측하여 상기 차량의 디스플레이 화면에 표시할 차선을 생성하는 단계를 포함하는 것을 특징으로 하는 차량 주변의 차선 생성 방법.Measuring a distance to a surrounding vehicle through a distance measuring sensor provided in front of the vehicle when the lane is not detected by a lane detection system that detects a lane from a captured image by a camera while driving a vehicle;
Recognizing a peripheral vehicle based on the distance measurement data from the distance measurement sensor;
Restoring the position of the surrounding vehicle on the top view image by predicting the position of the surrounding vehicle on the top view image of the front image reflecting the information of the surrounding vehicle;
Generating a road model based on the surrounding vehicles reconstructed on the top view image and the position of the vehicle; And
And generating a lane to be displayed on a display screen of the vehicle by predicting a lane on the front image based on the road model. 청구항 5에 있어서,
상기 거리측정데이터는,
상기 차량의 위치를 기준으로 한 로우 데이터(raw data)를 포함하는 것을 특징으로 하는 차량 주변의 차선 생성 방법.The method according to claim 5,
The distance measurement data,
And generating raw data based on the position of the vehicle. 청구항 6에 있어서,
상기 주변차량을 인지하는 단계 이후에, 상기 주변차량에 대응하여 측정된 상기 로우 데이터를 기초로 상기 주변차량의 정보를 반영한 영상을 상기 탑 뷰 영상으로 뷰 변환하는 단계를 더 포함하는 것을 특징으로 하는 차량 주변의 차선 생성 방법.The method of claim 6,
And after the recognizing the surrounding vehicle, converting the image reflecting the information of the surrounding vehicle into the top view image based on the row data measured corresponding to the surrounding vehicle. How to create lanes around your vehicle. 청구항 5에 있어서,
상기 차선을 생성하는 단계에서 생성된 상기 차선을 상기 디스플레이 화면에 표시하는 단계를 더 포함하는 것을 특징으로 하는 차량 주변의 차선 생성 방법.The method according to claim 5,
And displaying the lanes generated in the generating of the lanes on the display screen.
KR1020120058806A 2012-05-31 2012-05-31 Apparatus and method for generating traffic lane of surrounding of vehicle KR101316353B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120058806A KR101316353B1 (en) 2012-05-31 2012-05-31 Apparatus and method for generating traffic lane of surrounding of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120058806A KR101316353B1 (en) 2012-05-31 2012-05-31 Apparatus and method for generating traffic lane of surrounding of vehicle

Publications (1)

Publication Number Publication Date
KR101316353B1 true KR101316353B1 (en) 2013-10-08

Family

ID=49638037

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120058806A KR101316353B1 (en) 2012-05-31 2012-05-31 Apparatus and method for generating traffic lane of surrounding of vehicle

Country Status (1)

Country Link
KR (1) KR101316353B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9869860B2 (en) 2014-10-17 2018-01-16 Hyundai Motor Company Apparatus and method for controlling head up display
US10853665B2 (en) 2017-02-28 2020-12-01 Samsung Electronics Co., Ltd. Method and device to generate virtual lane
WO2024003964A1 (en) * 2022-06-27 2024-01-04 日立Astemo株式会社 Vehicle control device and vehicle control method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010072973A (en) * 2008-09-19 2010-04-02 Hitachi Automotive Systems Ltd Driving environment recognition apparatus
KR101163446B1 (en) * 2009-03-18 2012-07-18 기아자동차주식회사 A lane departure warning system using a virtual lane and a system according to the same
KR20130003308A (en) * 2011-06-30 2013-01-09 충북대학교 산학협력단 Method of lane detection for vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010072973A (en) * 2008-09-19 2010-04-02 Hitachi Automotive Systems Ltd Driving environment recognition apparatus
KR101163446B1 (en) * 2009-03-18 2012-07-18 기아자동차주식회사 A lane departure warning system using a virtual lane and a system according to the same
KR20130003308A (en) * 2011-06-30 2013-01-09 충북대학교 산학협력단 Method of lane detection for vehicle

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9869860B2 (en) 2014-10-17 2018-01-16 Hyundai Motor Company Apparatus and method for controlling head up display
US10853665B2 (en) 2017-02-28 2020-12-01 Samsung Electronics Co., Ltd. Method and device to generate virtual lane
WO2024003964A1 (en) * 2022-06-27 2024-01-04 日立Astemo株式会社 Vehicle control device and vehicle control method

Similar Documents

Publication Publication Date Title
US10960868B2 (en) Systems and methods for braking a vehicle based on a detected object
EP3110145B1 (en) External-environment recognition system, vehicle, and camera-dirtiness detection method
US11620837B2 (en) Systems and methods for augmenting upright object detection
EP2928178B1 (en) On-board control device
EP2293588A1 (en) Method for using a stereovision camera arrangement
CN103533231A (en) Diagnostic equipment decontamination vehicle camera devices, diagnostics and vehicle systems
JP2007140852A (en) Obstruction position detector and obstruction position detecting method
JP2010102427A (en) Lane division line detection device, lane division line detection method and line division line detection program
US11663831B2 (en) Image processing device and image processing method
KR101525516B1 (en) Camera Image Processing System and Method for Processing Pollution of Camera Lens
KR101316353B1 (en) Apparatus and method for generating traffic lane of surrounding of vehicle
KR102017958B1 (en) Augmented reality head up display system for railway train
JP2011103058A (en) Erroneous recognition prevention device
JP4906628B2 (en) Surveillance camera correction device
KR101044728B1 (en) Lane departure warning system and method
US9254844B2 (en) Apparatus and method for driving control of vehicle
EP3438933B1 (en) Environment recognition device
JP5957182B2 (en) Road surface pattern recognition method and vehicle information recording apparatus
KR101432727B1 (en) moving object detection system using Head light beam pattern for crash prevention of vehicle and object and moving object detection method using Thereof
US12079963B2 (en) System, method and device for heads up display for a vehicle
JP6429101B2 (en) Image determination apparatus, image processing apparatus, image determination program, image determination method, moving object
WO2024209661A1 (en) Object recognition device, object recognition processing method, and recording medium
JP2011090490A (en) Obstacle recognition device
KR20160095583A (en) Car around the obstacle detection system based on top view and method thereof
KR20180070125A (en) Autonomous Emergency Braking System And Method of Driving thereof

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180928

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190926

Year of fee payment: 7