KR101962700B1 - 디포그센서를 이용한 차선인식 시스템 및 방법 - Google Patents

디포그센서를 이용한 차선인식 시스템 및 방법 Download PDF

Info

Publication number
KR101962700B1
KR101962700B1 KR1020130162367A KR20130162367A KR101962700B1 KR 101962700 B1 KR101962700 B1 KR 101962700B1 KR 1020130162367 A KR1020130162367 A KR 1020130162367A KR 20130162367 A KR20130162367 A KR 20130162367A KR 101962700 B1 KR101962700 B1 KR 101962700B1
Authority
KR
South Korea
Prior art keywords
lane
edge
sensor
signal
windshield
Prior art date
Application number
KR1020130162367A
Other languages
English (en)
Other versions
KR20150074510A (ko
Inventor
백승범
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020130162367A priority Critical patent/KR101962700B1/ko
Priority to CN201410291888.9A priority patent/CN104723960B/zh
Priority to US14/316,593 priority patent/US9275288B2/en
Priority to DE102014009646.7A priority patent/DE102014009646B4/de
Publication of KR20150074510A publication Critical patent/KR20150074510A/ko
Application granted granted Critical
Publication of KR101962700B1 publication Critical patent/KR101962700B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B60H1/00785—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models by the detection of humidity or frost
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/30—Conjoint control of vehicle sub-units of different type or different function including control of auxiliary equipment, e.g. air-conditioning compressors or oil pumps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B60K2360/1868—Displaying information according to relevancy according to driving situations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Thermal Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Signal Processing (AREA)

Abstract

본 발명은 디포그센서를 이용한 차선인식 시스템 및 방법에 관한 것으로, 차량의 디포깅시스템에 구비된 디포그센서, 차량의 윈드실드에 장착되어 전방을 촬영하는 촬영부, 및 디포그센서로부터 수신한 디포그센서 신호를 분석하고 이를 토대로 촬영부로부터 수신한 촬영 영상 신호를 처리하여 차선 정보를 획득하는 통합제어부를 포함한다.

Description

디포그센서를 이용한 차선인식 시스템 및 방법 {System and method for lane recognition using defog sensor}
본 발명은 디포그센서를 이용한 차선인식 시스템 및 방법에 관한 것으로, 보다 상세하게는 디포그센서의 신호를 분석하고 이를 토대로 한 영상처리를 통해 최종적인 차선 정보를 획득하는 디포그센서를 이용한 차선인식 시스템 및 방법에 관한 것이다.
최근 자동차 산업분야에서는 운전자의 운전능력을 보완하기 위한 지능형 주행보조시스템(Advanced Driver Assistance System; ADAS)과 관련된 기술개발이 활발하다.
특히, 차선인식기반의 ADAS가 다수 등장하고 있으며, 그 대표적인 예로 차선이탈경보시스템(Lane Departure Warning System; LDWS)을 들 수 있다.
한편, 차선인식 시스템에 관한 선행기술로서, 한국등록특허 제10-0666276호(특허문헌1)가 개시된 바 있다.
특허문헌 1은 소실점을 이용한 자동차의 차선이탈경보방법에 관한 것으로, 도 5는 이에 관한 종래의 차선인식 관련 기술의 동작을 나타내는 흐름도이다.
도 5를 참조하면, 종래의 차선인식 관련 기술은 카메라를 통해서 차선의 영상을 입력받는 단계와, 차선의 영상정보를 이진화하는 단계와, 상기 단계에서 이진화된 차선정보 중 불필요한 부분을 제거하는 에지 추출 단계와, 입력된 양측의 차선에서 직선의 방정식을 통해 차선의 기울기를 구하고 차선의 그래프를 모델링하는 단계와, 모델링된 차선의 그래프와 기설정된 경보임계구간을 비교하는 단계와, 차선의 그래프가 경보임계구간을 넘어섰을 경우 운전자에게 경보하는 단계를 포함하여 이루어진다. 이를 통해 자동차의 주행 중 영상입력수단에서 입력되는 차선정보를 분석하는 과정이 보다 명확하게 이루어질 수 있도록 한다.
이상에서와 같은 종래의 차선인식 시스템 및 방법은, 다양한 기술개발이 이루어지고 있음에도 불구하고, 도 1에 도시된 바와 같이 차량의 윈드실드에 성에(도 1a) 또는 김서림(도 1b)이 생성된 특수한 환경에서 차선의 인식 정확성이 크게 낮아지는 문제점이 있다.
또한, 성에 또는 김서림으로 인하여 차선을 오인식하게 되는 경우에는 이를 기반으로 한 차선이탈경보장치 등의 오작동을 초래하여 운전 중 사고의 위험을 높이는 문제점이 존재한다.
한편, 현재 디포그센서가 윈드실드의 성에 또는 김서림을 감지하는 경우 차량 내부의 공조시스템을 동작시키는 디포깅시스템이 구현되고 있으나, 단순히 공조시스템이 차선인식 시스템의 동작과는 별개로 구현되고 있어 차선인식의 정확도 향상에는 큰 기여를 하지 못하고 있는 실정이다.
한국등록특허 제10-0666276호
전술한 문제점을 해소함에 있어, 본 발명의 목적은 디포그센서의 신호를 분석하고 이를 토대로 한 영상처리를 통해 최종적인 차선 정보를 획득함으로써 윈드실드에 성에 또는 김서림이 생성된 특수한 환경에서도 정확한 차선인식이 가능한 디포그센서를 이용한 차선인식 시스템 및 방법을 제공함에 있다.
또한, 성에 또는 김서림으로 인하여 차선을 오인식하게 되는 경우를 방지하고 차선이탈경보장치 등의 오작동을 최소화함으로써 운전 중 사고의 위험을 낮추는 디포그센서를 이용한 차선인식 시스템 및 방법을 제공함에 있다.
본 발명의 일 실시예에 따른 디포그센서를 이용한 차선인식 시스템은 차량의 디포깅시스템에 구비된 디포그센서, 차량의 윈드실드에 장착되어 전방을 촬영하는 촬영부, 및 디포그센서로부터 수신한 디포그센서 신호를 분석하고 이를 토대로 촬영부로부터 수신한 촬영 영상 신호를 처리하여 차선 정보를 획득하는 통합제어부를 포함한다.
이 경우, 디포그센서는 윈드실드의 온도와 외기온도를 감지한다.
한편, 통합제어부는 촬영 영상 신호를 처리함에 있어, 디포그센서 신호를 분석하여 윈드실드의 온도와 외기온도의 차가 소정의 기준값 미만인 경우 촬영 영상의 에지를 강조할 수 있다.
그리고, 통합제어부는 촬영 영상 신호를 처리함에 있어, 디포그센서 신호를 분석하여 윈드실드의 온도와 외기온도의 차가 소정의 기준값 미만인 경우 일정 영역에 소실점이 해당하는 에지만 차선 에지로 인식할 수 있도록 기준 소실점 영역을 설정할 수 있다.
또한, 통합제어부는 촬영 영상 신호를 처리함에 있어, 디포그센서 신호를 분석하여 윈드실드의 온도와 외기온도의 차가 소정의 기준값 미만인 경우 촬영 영상의 에지를 강조하는 한편 일정 영역에 소실점이 해당하는 에지만 차선 에지로 인식할 수 있도록 기준 소실점 영역을 설정할 수 있다.
한편, 통합제어부는 강조된 촬영 영상의 에지 또는 설정된 기준 소실점 영역 중 적어도 어느 하나를 토대로 차선으로 예상되는 에지를 추출하고, 추출된 차선으로 예상되는 에지를 소정의 알고리즘을 통해 그룹화한 후 차선 정보에 해당하지 않는 불필요한 에지 그룹을 제거함으로써 차선 정보를 획득할 수 있다.
다음, 소정의 기준값은 3도인 것이 바람직하다.
또한, 기준 소실점 영역은 QVGA의 경우 영상의 중심점에서 20픽셀 위부터 전방 50M 지점에서 5픽셀 아래까지로 설정하는 것이 바람직하다.
그리고, 통합제어부는 획득한 차선 정보를 차량의 차선인식기반 ADAS시스템에 전송할 수 있다.
한편, 촬영부는 CCD 카메라로 이루어질 수 있다.
이어, 디포그센서, 촬영부, 및 통합제어부가 단일 ECU 기반에 구현될 수 있다.
한편, 본 발명의 일 실시예에 따른 디포그센서를 이용한 차선인식 방법은 차선인식 방법으로서, 차량의 디포깅시스템에 구비된 디포그센서로부터 디포그센서 신호를 수신하는 한편, 차량의 윈드실드에 장착되어 전방을 촬영하는 촬영부로부터 촬영 영상 신호를 수신하는 신호수신단계, 신호수신단계에서 수신한 디포그센서 신호를 분석하고 이를 토대로 촬영 영상 신호를 처리하는 영상처리단계, 및 영상처리단계에서 처리된 영상으로부터 차선 정보를 획득하는 차선정보획득단계를 포함한다.
이 경우, 영상처리단계는 디포그센서 신호를 분석하여 윈드실드의 온도와 외기온도의 차가 소정의 기준값 미만인 경우 촬영 영상의 에지 강조 또는 기준 소실점 영역 설정 중 적어도 어느 하나를 수행하는 처리기준설정단계, 처리기준설정단계에서 설정된 기준을 토대로 차선으로 예상되는 에지를 추출하는 에지추출단계, 에지추출단계에서 추출된 차선으로 예상되는 에지를 소정의 알고리즘을 통해 그룹화하는 클러스터링단계, 및 클러스터링단계에서 생성된 그룹 중 차선 정보에 해당하지 않는 불필요한 에지 그룹을 제거하는 필터링단계로 이루어진다.
이때, 소정의 기준값은 3도인 것이 바람직하다.
또한, 기준 소실점 영역은 QVGA의 경우 영상의 중심점에서 20픽셀 위부터 전방 50M 지점에서 5픽셀 아래까지로 설정하는 것이 바람직하다.
한편, 차선정보획득단계 이후에 획득한 차선 정보를 차량의 차선인식기반 ADAS시스템에 전송하는 단계를 더 포함할 수 있다.
이어, 신호수신단계, 영상처리단계, 및 차선정보획득단계가 단일 ECU 기반에 구현될 수 있다.
상술한 바와 같이, 본 발명에 의한 디포그센서를 이용한 차선인식 시스템 및 방법은 디포그센서의 신호를 분석하고 이를 토대로 한 영상처리를 통해 최종적인 차선 정보를 획득함으로써 윈드실드에 성에 또는 김서림이 생성된 특수한 환경에서도 정확한 차선인식이 가능하다.
또한, 성에 또는 김서림으로 인하여 차선을 오인식하게 되는 경우를 방지하고 차선이탈경보장치 등의 오작동을 최소화함으로써 운전 중 사고의 위험을 낮출 수 있다.
도 1a, 도 1b는 차량의 윈드실드에 생성된 성에와 김서림의 일예.
도 2는 본 발명에 의한 디포그센서를 이용한 차선인식 시스템의 개략적인 구성도.
도 3은 본 발명에 의한 디포그센서를 이용한 차선인식 시스템의 실제 구현방법의 일 예를 나타낸 도면.
도 4는 본 발명에 의한 디포그센서를 이용한 차선인식 방법의 동작흐름도.
도 5는 종래의 차선인식 관련 기술의 동작을 나타내는 흐름도.
본 발명에 있어 첨부된 도면은 종래 기술과의 차별성 및 명료성, 그리고 기술 파악의 편의를 위해 과장된 표현으로 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어로써, 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있으므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 기술적 내용을 토대로 내려져야 할 것이다. 한편, 실시예는 본 발명의 청구범위에 제시된 구성요소의 예시적 사항에 불과하고, 본 발명의 권리범위를 한정하는 것이 아니며, 권리범위는 본 발명의 명세서 전반에 걸친 기술적 사상을 토대로 해석되어야 한다.
도 2는 본 발명에 의한 디포그센서를 이용한 차선인식 시스템의 개략적인 구성도이다.
도 2를 참조하면, 본 발명에 의한 디포그센서를 이용한 차선인식 시스템은 디포그센서(222), 촬영부(210), 및 통합제어부(230)를 포함한다.
먼저, 촬영부(210)는 차량의 윈드실드에 장착되어 전방을 촬영하는 기능을 수행한다. 이 경우, 촬영부(210)는 CCD(Charge-Coupled Device) 카메라로 이루어질 수 있다.
다음, 디포그센서(222)는 디포깅시스템(220)에 구비되며, 윈드실드에 성에 또는 김서림이 생성되는지를 감지하기 위하여, 윈드실드의 온도, 외기온도, 내기온도 및 내부 습도 등의 정보를 감지하는 기능을 수행한다. 감지된 정보에 기초하여 디포그센서가 성에 또는 김서림이 생성되는지를 감지하는 방법은 종래의 기술에 따르므로, 이에 대한 구체적인 설명은 생략하기로 한다. 전술한 바와 같이, 디포깅시스템(220)은 디포그센서(222)가 윈드실드의 성에 또는 김서림을 감지하는 경우 차량 내부의 공조시스템을 동작시켜 이를 제거한다.
이어, 통합제어부(230)는 디포그센서(222)로부터 수신한 디포그센서 신호를 분석하고 이를 토대로 촬영부(210)로부터 수신한 촬영 영상 신호를 처리하여 최종적인 차선 정보를 획득한다.
이때, 통합제어부(230)는 디포그센서 신호를 분석하여 윈드실드의 온도와 외기온도의 차가 소정의 기준값 미만인 경우 촬영 영상의 에지를 강조할 수 있다.
또한, 통합제어부(230)는 정확한 차선 정보의 획득을 위한 다른 방편으로서, 디포그센서 신호를 분석하여 윈드실드의 온도와 외기온도의 차가 소정의 기준값 미만인 경우 일정 영역에 소실점이 해당하는 에지만 차선 에지로 인식할 수 있도록 기준 소실점 영역을 설정할 수 있다.
이때, 윈드실드의 온도와 외기온도의 차에 대한 소정의 기준값은 3도로 설정하는 것이 바람직하다. 이는 실험적인 결과를 통하여 윈드실드의 온도와 외기온도의 차가 3도 미만인 경우 윈드실드에 성에 또는 김서림이 생성되는 것을 반영한 것이다.
또한, 기준 소실점 영역은 QVGA(Quarter Video Graphics Array)의 경우, 영상의 중심점에서 20픽셀 위부터 전방 50M 지점에서 5픽셀 아래까지로 설정하는 것이 바람직하다. 이는 윈드실드에 성에 또는 김서림이 생성된 경우 차선 에지가 특히 집중적으로 분포 가능한 영역을 반영한 것이다.
한편, 통합제어부(230)는 보다 정확한 차선 정보의 획득을 위하여, 촬영 영상의 에지를 강조함과 동시에 일정영역에 소실점이 해당하는 에지만 차선 에지로 인식할 수 있도록 기준 소실점 영역을 설정할 수도 있다,
통합제어부(230)는 이상에서의 강조된 촬영 영상의 에지 또는/및 설정된 기준 소실점 영역을 토대로 차선으로 예상되는 에지를 추출하고, 추출된 차선으로 예상되는 에지를 소정의 알고리즘을 통해 그룹화한 후 불필요한 에지 그룹을 제거함으로써 최종적인 차선 정보를 획득한다. 이때 사용하는 소정의 알고리즘은 종래의 알고리즘을 사용할 수 있으며, 발명의 간명한 설명을 위해 이에 대한 자세한 설명은 생략한다.
이후, 통합제어부(330)는 최종적으로 획득한 차선 정보를 차량의 차선인식기반 ADAS시스템(340)에 CAN(Controller Area Network) 통신방식으로 전송하게 된다.
다음, 도 3은 본 발명에 의한 디포그센서를 이용한 차선인식 시스템의 실제 구현방법의 일 예를 나타낸 도면이다.
도 3을 참조하면, 본 발명의 디포그센서(222), 촬영부(210), 및 통합제어부(230)는 단일 ECU(Electronic Control Unit) 기반에 설계될 수 있다. 즉, 시스템의 전원공급과 관련된 메인 커넥터, DC-DC 컨버터, PMIC(Power Management Integrated Circuit), 듀얼 DC-DC 컨버터, 시스템 내의 메모리와 관련된 EEPROM(Electrically Erased Programmable ROM), Flash, DDR (Double data rate), 실시간 디지털 처리와 관련된 DSP (Digital Signal Processor), 이미져(imager) 모듈(310), 디포그센서(332), 및 MCU(Micro Controller Unit)(330)가 하나의 ECU 기반에 설계될 수 있다. 이 경우, 이미져 모듈(310)은 촬영부(210)에 해당하고, MCU(330)는 통합제어부(230)에 해당한다.
도 4는 본 발명에 의한 디포그센서를 이용한 차선인식 방법의 동작흐름도이다.
도 4를 참조하면, 본 발명에 의한 디포그센서를 이용한 차선인식 방법은 신호수신단계(S410), 영상처리단계(S420), 및 차선정보획득단계(S430)로 이루어진다.
먼저, 신호수신단계(S410)는 디포깅시스템(220)에 장착된 디포그센서(222)로부터 디포그센서 신호를 수신하는 한편, 차량의 윈드실드에 장착되어 전방을 촬영하는 촬영부(210)로부터 촬영 영상 신호를 수신하는 단계이다.
이 경우, 전술한 바와 같이 디포그센서(322)는 윈드실드의 온도와 외기온도를 감지하는 기능을 수행하며, 촬영부(310)는 CCD카메라로 이루어질 수 있다.
다음, 영상처리단계(S420)는 신호수신단계(S410)에서 수신한 디포그센서 신호를 분석하고 이를 토대로 촬영 영상 신호를 처리한다.
이때, 영상처리단계(S420)는 처리기준설정단계(S421), 에지추출단계(S422), 클러스터링단계((S423), 및 필터링단계(S424)를 수행하여 촬영 영상 신호를 처리한다.
먼저, 처리기준설정단계(S421)는 디포그센서 신호를 분석하여 윈드실드의 온도와 외기온도의 차가 소정의 기준값 미만인 경우 촬영 영상의 에지를 강조 또는/및 기준 소실점 영역을 설정한다. 이를 통해, 이하 서술할 단계들은 강조된 에지 또는/및 기준 소실점 영역을 기준으로 하여 촬영 영상을 처리하게 된다.
이 경우, 전술한 바와 같이 윈드실드의 온도와 외기온도의 차와 비교되는 소정의 기준값은 3도로 설정하는 것이 바람직하고, 기준 소실점 영역은 QVGA의 경우 영상의 중심점에서 20픽셀 위부터 전방 50M 지점에서 5픽셀 아래까지로 설정하는 것이 바람직하다.
이어, 에지추출단계(S422)는 차선으로 예상되는 에지를 추출하는 단계이다. 이 경우, 처리기준설정단계(S421)에서 촬영 영상의 에지를 강조한 경우에는 이를 토대로 강조된 에지 중에서 차선으로 예상되는 에지를 추출한다. 또한, 처리기준설정단계(S421)에서 기준 소실점 영역을 설정한 경우에는 일정 영역에 소실점이 해당하는 에지 만을 차선으로 예상되는 에지로서 추출한다.
다음, 클러스터링단계(S423)는 에지추출단계(S422)에서 추출된 차선으로 예상되는 에지를 소정의 알고리즘을 통해 그룹화하는 단계이다.
이어, 필터링단계(S424)는 클러스터링단계(S423)에서 그룹화된 에지 그룹 중 차선 정보에 해당하지 않는 불필요한 에지 그룹을 제거하는 단계이다.
이상의 클러스터링단계(S423) 및 필터링단계(S424)에서는, 특히 처리기준설정단계(S421)에서 기준 소실점 영역을 설정한 경우에 이를 토대로 에지를 그룹화하고, 차선 정보에 해당하지 않는 불필요한 에지 그룹을 제거할 수 있다.
한편, 클러스터링단계(S423) 및 필터링단계(S424)와 관련하여 다수의 기술이 공지되어 있는 바, 본 발명의 간명한 설명을 위하여 자세한 설명은 생략하기로 한다.
다음, 차선정보획득단계(S430)는 영상처리단계(S420)에서 처리된 영상으로부터 최종적인 차선 정보를 획득하는 단계이다. 본 발명에 의하면, 이상의 영상처리단계(S420)를 구비함으로써 차량의 윈드실드에 성에 또는 김서림이 생성된 경우에도 정확한 차선 정보의 획득이 가능하게 된다.
이후, 차선정보획득단계(S430)에서 획득된 차선 정보는 차량의 차선인식기반 ADAS시스템(340)에 CAN 통신방식으로 전송하게 된다.
한편, 전술한 바와 같이, 신호수신단계(S410), 영상처리단계(S420), 및 차선정보획득단계(S430)는 단일 ECU 기반에 설계되어 수행될 수 있다.
이상에서와 같이, 본 발명에 의한 디포그센서를 이용한 차선인식 시스템 및 방법은 디포그센서의 신호를 분석하고 이를 토대로 한 영상처리를 통해 최종적인 차선 정보를 획득함으로써 윈드실드에 성에 또는 김서림이 생성된 특수한 환경에서도 정확한 차선인식이 가능하고, 차선이탈경보장치 등의 오작동을 최소화함으로써 운전 중 사고의 위험을 낮출 수 있다.
상술한 바와 같이, 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 기초로 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해해야 한다. 따라서 본 발명의 진정한 기술적 보호범위는 이하 기술할 특허청구범위에 의하며, 상술한 발명의 구체적 내용을 토대로 정해져야 할 것이다.
본 발명은 디포그센서를 이용한 차선인식 시스템 및 방법에 관한 것으로, 자동차 산업의 차선인식 관련 기술분야에 이용 가능하다.
210: 촬영부 220: 디포깅시스템
222: 디포그센서 230: 통합제어부
240: 차선인식기반 ADAS시스템
310: 이미져 모듈 332: 디포그센서
330: MCU(Micro Controller Unit)
S410: 신호수신단계 S420: 영상처리단계
S421: 처리기준설정단계 S422: 에지추출단계
S423: 클러스터링단계 S424: 필터링단계
S430: 차선정보획득단계

Claims (17)

  1. 차량의 디포깅시스템에 구비된 디포그센서;
    차량의 윈드실드에 장착되어 전방을 촬영하는 촬영부; 및
    상기 디포그센서로부터 수신한 디포그센서 신호를 분석하고 이를 토대로 상기 촬영부로부터 수신한 촬영 영상 신호를 처리하여 차선 정보를 획득하는 통합제어부;
    를 포함하고,
    상기 디포그센서는 상기 윈드실드의 온도와 외기온도를 감지하고,
    상기 통합제어부는 상기 촬영 영상 신호를 처리함에 있어, 상기 디포그센서 신호를 분석하여 상기 윈드실드의 온도와 상기 외기온도의 차가 소정의 기준값 미만인 경우 촬영 영상의 에지를 강조하는 것을 특징으로 하는 디포그센서를 이용한 차선인식 시스템.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 통합제어부는
    상기 촬영 영상 신호를 처리함에 있어,
    상기 디포그센서 신호를 분석하여 상기 윈드실드의 온도와 상기 외기온도의 차가 소정의 기준값 미만인 경우 일정 영역에 소실점이 해당하는 에지만 차선 에지로 인식할 수 있도록 기준 소실점 영역을 설정하는 것을 특징으로 하는 디포그센서를 이용한 차선인식 시스템.
  5. 삭제
  6. 제 4 항에 있어서,
    상기 통합제어부는
    강조된 촬영 영상의 에지 또는 설정된 기준 소실점 영역 중 적어도 어느 하나를 토대로 차선으로 예상되는 에지를 추출하고, 추출된 차선으로 예상되는 에지를 소정의 알고리즘을 통해 그룹화한 후 차선 정보에 해당하지 않는 불필요한 에지 그룹을 제거함으로써 차선 정보를 획득하는 것을 특징으로 하는 디포그센서를 이용한 차선인식 시스템.
  7. 제 4 항에 있어서,
    상기 소정의 기준값은 3도인 것을 특징으로 하는 디포그센서를 이용한 차선인식 시스템.
  8. 제 4 항에 있어서,
    상기 기준 소실점 영역은
    QVGA의 경우 영상의 중심점에서 20픽셀 위부터 전방 50M 지점에서 5픽셀 아래까지로 설정하는 것을 특징으로 하는 디포그센서를 이용한 차선인식 시스템.
  9. 제 4 항에 있어서,
    상기 통합제어부는
    획득한 차선 정보를 차량의 차선인식기반 ADAS시스템에 전송하는 것을 특징으로 하는 디포그센서를 이용한 차선인식 시스템.
  10. 제 1 항에 있어서,
    상기 촬영부는 CCD 카메라로 이루어진 것을 특징으로 하는 디포그센서를 이용한 차선인식 시스템.
  11. 제 1 항에 있어서,
    상기 디포그센서, 상기 촬영부, 및 상기 통합제어부가
    단일 ECU 기반에 구현되는 것을 특징으로 하는 디포그센서를 이용한 차선인식 시스템.
  12. 차선인식 방법으로서,
    차량의 디포깅시스템에 구비된 디포그센서로부터 디포그센서 신호를 수신하는 한편, 상기 차량의 윈드실드에 장착되어 전방을 촬영하는 촬영부로부터 촬영 영상 신호를 수신하는 신호수신단계;
    상기 신호수신단계에서 수신한 상기 디포그센서 신호를 분석하고 이를 토대로 상기 촬영 영상 신호를 처리하는 영상처리단계; 및
    상기 영상처리단계에서 처리된 영상으로부터 차선 정보를 획득하는 차선정보획득단계;
    를 포함하고,
    상기 영상처리단계는
    상기 디포그센서 신호를 분석하여 상기 윈드실드의 온도와 외기온도의 차가 소정의 기준값 미만인 경우 촬영 영상의 에지 강조 또는 기준 소실점 영역 설정 중 적어도 어느 하나를 수행하는 처리기준설정단계;
    상기 처리기준설정단계에서 설정된 기준을 토대로 차선으로 예상되는 에지를 추출하는 에지추출단계;
    상기 에지추출단계에서 추출된 차선으로 예상되는 에지를 소정의 알고리즘을 통해 그룹화하는 클러스터링단계; 및
    상기 클러스터링단계에서 생성된 그룹 중 차선 정보에 해당하지 않는 불필요한 에지 그룹을 제거하는 필터링단계를 포함하는 것을 특징으로 하는 디포그센서를 이용한 차선인식 방법.
  13. 삭제
  14. 제 12 항에 있어서,
    상기 소정의 기준값은 3도인 것을 특징으로 하는 디포그센서를 이용한 차선인식 방법.
  15. 제 12 항에 있어서,
    상기 기준 소실점 영역은
    QVGA의 경우 영상의 중심점에서 20픽셀 위부터 전방 50M 지점에서 5픽셀 아래까지로 설정하는 것을 특징으로 하는 디포그센서를 이용한 차선인식 방법.
  16. 제 12 항에 있어서,
    상기 차선정보획득단계 이후에
    획득한 차선 정보를 상기 차량의 차선인식기반 ADAS시스템에 전송하는 단계를 더 포함하는 것을 특징으로 하는 디포그센서를 이용한 차선인식 방법.
  17. 제 12 항에 있어서,
    상기 신호수신단계, 상기 영상처리단계, 및 상기 차선정보획득단계가
    단일 ECU 기반에 구현되는 것을 특징으로 하는 디포그센서를 이용한 차선인식 방법.
KR1020130162367A 2013-12-24 2013-12-24 디포그센서를 이용한 차선인식 시스템 및 방법 KR101962700B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130162367A KR101962700B1 (ko) 2013-12-24 2013-12-24 디포그센서를 이용한 차선인식 시스템 및 방법
CN201410291888.9A CN104723960B (zh) 2013-12-24 2014-06-26 使用雾传感器的车道识别系统及方法
US14/316,593 US9275288B2 (en) 2013-12-24 2014-06-26 Lane recognition system and method using defog sensor
DE102014009646.7A DE102014009646B4 (de) 2013-12-24 2014-06-26 Fahrspur-Erkennungssystem und einen Beschlagsensor verwendendes Verfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130162367A KR101962700B1 (ko) 2013-12-24 2013-12-24 디포그센서를 이용한 차선인식 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20150074510A KR20150074510A (ko) 2015-07-02
KR101962700B1 true KR101962700B1 (ko) 2019-03-28

Family

ID=53275299

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130162367A KR101962700B1 (ko) 2013-12-24 2013-12-24 디포그센서를 이용한 차선인식 시스템 및 방법

Country Status (4)

Country Link
US (1) US9275288B2 (ko)
KR (1) KR101962700B1 (ko)
CN (1) CN104723960B (ko)
DE (1) DE102014009646B4 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11052725B2 (en) * 2019-09-26 2021-07-06 Ford Global Technologies, Llc Automatic windshield defrosting system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070115357A1 (en) * 2005-11-23 2007-05-24 Mobileye Technologies Ltd. Systems and methods for detecting obstructions in a camera field of view

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4794537A (en) * 1987-04-29 1988-12-27 General Motors Corporation Scheduled comfort control system with adaptive compensation for stall and overshoot
JP4016735B2 (ja) * 2001-11-30 2007-12-05 株式会社日立製作所 レーンマーク認識方法
KR100666276B1 (ko) 2005-07-13 2007-01-10 현대자동차주식회사 소실점을 이용한 자동차의 차선이탈 경보방법
DE102006004772B4 (de) * 2006-02-02 2022-02-10 Robert Bosch Gmbh Fahrerassistenzsystem und Verfahren zu dessen Steuerung
CN100403332C (zh) * 2006-11-02 2008-07-16 东南大学 用于车道偏离报警的车道线鲁棒识别方法
DE102007051967A1 (de) * 2007-10-31 2009-05-07 Adc Automotive Distance Control Systems Gmbh Detektor und Verfahren zum Erkennen einer Fahrspurbegrenzung
CN201118837Y (zh) * 2007-11-16 2008-09-17 东风汽车有限公司 一种车道线识别和安全警示的车载图像处理装置
JP5127776B2 (ja) * 2009-05-20 2013-01-23 ナイルス株式会社 オートワイパ制御装置
US9415662B2 (en) * 2010-08-06 2016-08-16 Trw Automotive U.S. Llc Method and apparatus for determining temperature and relative humidity for use in a vehicle HVAC system
KR101392850B1 (ko) * 2012-04-04 2014-05-09 모본주식회사 영상인식 기반의 차선 이탈 감지 방법 및 시스템
US8750567B2 (en) * 2012-04-09 2014-06-10 GM Global Technology Operations LLC Road structure detection and tracking

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070115357A1 (en) * 2005-11-23 2007-05-24 Mobileye Technologies Ltd. Systems and methods for detecting obstructions in a camera field of view

Also Published As

Publication number Publication date
US9275288B2 (en) 2016-03-01
US20150181173A1 (en) 2015-06-25
KR20150074510A (ko) 2015-07-02
DE102014009646A1 (de) 2015-06-25
DE102014009646B4 (de) 2021-04-01
CN104723960B (zh) 2017-08-25
CN104723960A (zh) 2015-06-24

Similar Documents

Publication Publication Date Title
US11461595B2 (en) Image processing apparatus and external environment recognition apparatus
Wu et al. Lane-mark extraction for automobiles under complex conditions
US9286512B2 (en) Method for detecting pedestrians based on far infrared ray camera at night
JP6163453B2 (ja) 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
US20080166018A1 (en) Method and apparatus for performing object recognition on a target detected using motion information
US10423843B2 (en) Vehicle vision system with enhanced traffic sign recognition
US11295145B2 (en) Object detection using vehicular vision system
US20160314357A1 (en) Method and Device for Monitoring an External Dimension of a Vehicle
JP5760090B2 (ja) 生体認識装置
EP2698982A1 (en) Image processing device
US20160034769A1 (en) Vehicle vision system with traffic sign recognition
US20160180158A1 (en) Vehicle vision system with pedestrian detection
JP2005196590A (ja) 歩行者抽出装置
US20180005073A1 (en) Road recognition apparatus
JP5083164B2 (ja) 画像処理装置及び画像処理方法
EP1897751B1 (en) Driving assist system for a vehicle
JP2014146267A (ja) 歩行者検出装置、運転支援装置
US8306270B2 (en) Vehicle travel support device, vehicle, vehicle travel support program
JP6375911B2 (ja) カーブミラー検出装置
KR101962700B1 (ko) 디포그센서를 이용한 차선인식 시스템 및 방법
JP2007087203A (ja) 衝突判定システム、衝突判定方法及びコンピュータプログラム
JP2008165595A (ja) 障害物検出方法、障害物検出装置、障害物検出システム
JP2017058950A (ja) 認識装置、撮像システム、撮像装置並びに認識方法及び認識用プログラム
JP2010020557A (ja) 画像処理装置及び画像処理方法
JP2008042759A (ja) 画像処理装置

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right