KR20200023692A - 노면 탐지 장치 및 방법 - Google Patents

노면 탐지 장치 및 방법 Download PDF

Info

Publication number
KR20200023692A
KR20200023692A KR1020180096909A KR20180096909A KR20200023692A KR 20200023692 A KR20200023692 A KR 20200023692A KR 1020180096909 A KR1020180096909 A KR 1020180096909A KR 20180096909 A KR20180096909 A KR 20180096909A KR 20200023692 A KR20200023692 A KR 20200023692A
Authority
KR
South Korea
Prior art keywords
road
road surface
image
event
valid image
Prior art date
Application number
KR1020180096909A
Other languages
English (en)
Other versions
KR102485353B1 (ko
Inventor
심홍기
성기우
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180096909A priority Critical patent/KR102485353B1/ko
Priority to US16/182,336 priority patent/US10915764B2/en
Publication of KR20200023692A publication Critical patent/KR20200023692A/ko
Application granted granted Critical
Publication of KR102485353B1 publication Critical patent/KR102485353B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G17/00—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load
    • B60G17/015—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements
    • B60G17/016—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by their responsiveness, when the vehicle is travelling, to specific motion, a specific condition, or driver input
    • B60G17/0165—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by their responsiveness, when the vehicle is travelling, to specific motion, a specific condition, or driver input to an external condition, e.g. rough road surface, side wind
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/112—Roll movement
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C23/00—Auxiliary devices or arrangements for constructing, repairing, reconditioning, or taking-up road or like surfaces
    • E01C23/01—Devices or auxiliary means for setting-out or checking the configuration of new surfacing, e.g. templates, screed or reference line supports; Applications of apparatus for measuring, indicating, or recording the surface configuration of existing surfacing, e.g. profilographs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/00791—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
    • B60G2400/80—Exterior conditions
    • B60G2400/82—Ground surface
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G2401/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60G2401/14—Photo or light sensitive means, e.g. Infrared
    • B60G2401/142—Visual Display Camera, e.g. LCD
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 노면 탐지 장치는 도로 노면을 포함하는 차량 전방의 영상을 획득하는 카메라 및 상기 획득된 영상을 기반으로 학습하여 생성된 노면 탐지 모델을 기반으로 노면 이벤트를 분류하는 프로세서를 포함하여, 노면 이벤트를 학습하여 정량적으로 탐지하고, 탐지된 노면 이벤트를 기반으로 차량을 제어함으로써 사용자에게 안정적인 승차감을 제공할 수 있다.

Description

노면 탐지 장치 및 방법{APPRATUS AND METHOD FOR DETECTING ROAD SURFACE}
본 발명은 노면 탐지 장치 및 방법에 관한 것이다.
운전자에게 운전 상태에 관한 정보를 제공하는 노면 마찰 표시기 및 무센서 타이어 압력 모니터링 시스템, 예를 들어 간접 타이어 압력 모니터링 시스템(iTPMS)과 같은 운전자 안전 정보 시스템이 존재한다.
이러한 시스템들은 타이어 공기 압력, 타이어 길이 방향 강성, 주위 온도, 타이어 온도, 바퀴 공명 진동수, 차량 하중(carried vehicle load) 및 속도에 의존하는 바퀴 진동과 같은 차량 특성 파라미터들을 기반으로 제어될 수 있다.
이러한 시스템 성능을 최적화하기 위해 도로 노면 정보가 요구된다. 예를 들어, 도로 노면 정보는 서스펜션의 강성을 사전 설정/조정하기 위해 사용될 수 있다. 따라서, 운전자는 자갈길, 움푹 패인 곳, 과속방지턱, "속도 제한턱(sleeping policemen)" 등의 도로에서도 안전하게 주행할 수 있다.
그러나, 노면 정보는 GPS 정보를 이용하는 스마트폰 기반 애플리케이션, 차량 장착 카메라에 의해 찍힌 이미지 및 노면을 스캐닝하는 레이저 센서를 이용하여 측정되는 한계가 있어, 노면 정보를 정량적으로 탐지하여 실시간으로 노면 정보를 제공함으로써 사용자에게 안전한 주행을 제공하는 기술개발이 요구되는 실정이다.
본 발명의 일 목적은 노면 이벤트를 정량적으로 탐지하고, 사용자에게 안전한 주행을 제공하는 노면 탐지 장치 및 방법을 제공하는데 있다.
본 발명의 노면 탐지 장치는 도로 노면을 포함하는 차량 전방의 영상을 획득하는 카메라; 및 상기 획득된 영상을 기반으로 학습하여 생성된 노면 탐지 모델을 기반으로 노면 이벤트를 분류하는 프로세서를 포함한다.
그리고, 상기 프로세서는 상기 획득된 영상으로부터 제1 유효 이미지 및 제2유효이미지를 수집하는 데이터수집부와, 상기 제1 유효 이미지를 전처리하는 전처리부와, 상기 전처리된 제1 유효 이미지를 학습하여 상기 노면 탐지 모델을 생성하는 학습부 및 상기 노면 탐지 모델을 기반으로 상기 노면 이벤트를 분류하는 분류부를 포함한다.
그리고, 상기 제1 유효 이미지는 상기 노면 이벤트가 포함된 도로 영상을 포함한다.
그리고, 상기 제2 유효 이미지는 상기 노면 이벤트가 포함된 도로 추출 영상 및 상기 노면 이벤트가 포함되지 않은 일반 도로 추출 영상 중 적어도 어느 하나를 포함한다.
그리고, 상기 전처리부는 상기 제2 유효 이미지를 기반으로 상기 도로 노면의 분할(segmentation)을 학습하여 전처리모델을 생성하는 전처리 학습부를 포함한다.
그리고, 상기 전처리부는 상기 전처리모델을 기반으로 상기 제1 유효 이미지로부터 도로 영역을 분할(segmetation)한다.
그리고, 상기 학습부는 영역 컨볼루션 신경망(R-CNN,Region Convolution Neural Network)을 기반으로 상기 전처리된 제1 유효 이미지를 학습하여 상기 노면 탐지 모델을 생성한다.
그리고, 상기 노면 이벤트는 상기 도로 노면이 돌출된 상태 및 함몰된 상태 중 적어도 어느 하나를 포함한다.
그리고, 상기 프로세서는 상기 분류된 노면 이벤트를 기반으로 상기 차량의 지도 정보를 업데이트한다.
그리고, 상기 프로세서는 상기 업데이트된 지도 정보를 기반으로 탐지된 상기 노면 이벤트를 안내하는 안내 메시지를 출력한다.
그리고, 상기 프로세서는 상기 업데이트된 지도 정보를 기반으로 탐지된 상기 노면 이벤트에 의해 발생되는 상기 차량의 롤링(rolling)을 제어한다.
본 발명의 노면 탐지 방법은 도로 노면의 영상을 획득하는 단계와, 상기 도로 노면의 영상을 기반으로 학습하여 노면 탐지 모델을 생성하는 단계 및 상기 노면 탐지 모델을 이용하여 상기 노면 이벤트 정보를 분류하는 단계를 포함한다.
그리고, 상기 노면 탐지 모델을 생성하는 단계는 상기 획득된 영상으로부터 제1 유효 이미지 및 제2유효이미지를 수집하는 단계와, 상기 제1 유효 이미지를 전처리하는 단계 및 상기 전처리된 제1 유효 이미지를 학습하는 단계를 포함한다.
그리고, 상기 제1 유효 이미지는 상기 노면 이벤트가 포함된 도로 영상을 포함한다.
그리고, 상기 제2 유효 이미지는 상기 노면 이벤트가 포함된 도로 추출 영상 및 상기 노면 이벤트가 포함되지 않은 일반 도로 추출 영상 중 적어도 어느 하나를 포함한다,
그리고, 상기 제1 유효 이미지를 전처리하는 단계는 상기 제2 유효 이미지를 기반으로 상기 도로 노면의 분할(segmentation)을 학습하여 전처리모델을 생성하는 단계를 포함한다.
그리고, 상기 제1 유효 이미지를 전처리하는 단계는 상기 전처리모델을 기반으로 상기 제1 유효 이미지로부터 도로 영역을 분할(segmetation)한다.
그리고, 상기 전처리된 제1 유효 이미지를 학습하는 단계는 영역 컨볼루션 신경망(R-CNN, Region Convolution Neural Network)을 기반으로 상기 노면 탐지 모델을 생성하는 단계를 포함한다.
그리고, 상기 노면 이벤트는 상기 도로 노면이 돌출된 상태 및 함몰된 상태 중 적어도 어느 하나를 포함한다.
그리고, 상기 노면 탐지 모델을 이용하여 상기 노면 이벤트 정보를 분류하는 단계 이후, 상기 분류된 노면 이벤트를 기반으로 상기 차량의 지도 정보를 업데이트 하는 단계 및 상기 업데이트된 지도 정보를 기반으로 탐지된 상기 노면 이벤트를 안내하는 안내 메시지를 출력하는 단계를 더 포함한다.
그리고, 상기 노면 탐지 모델을 이용하여 상기 노면 이벤트 정보를 분류하는 단계 이후, 상기 업데이트된 지도 정보를 기반으로 탐지된 상기 노면 이벤트에 의해 발생되는 상기 차량의 롤링(rolling)을 제어하는 단계를 더 포함한다.
본 발명의 일 실시예에 따른 노면 탐지 장치 및 방법은 노면 이벤트를 학습하여 정량적으로 탐지하고, 탐지된 노면 이벤트를 기반으로 차량을 제어함으로써 사용자에게 안정적인 승차감을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 노면 탐지 장치를 보여주는 블록도이다.
도 2는 본 발명의 실시예에 따른 제1 유효 이미지를 나타낸 도면이다.
도 3 및 도 4는 본 발명의 실시예에 따른 제2 유효 이미지를 나타낸 도면이다.
도 5 내지 도 9는 본 발명의 실시예에 따른 노면 이벤트를 도시한 도면이다.
도 10은 전처리된 제1 유효 이미지를 나타낸 도면이다.
도 11은 분할된 도로 노면의 영상으로부터 차량이 삭제된 도면이다.
도 12는 본 발명의 노면 탐지 방법을 나타낸 순서도이다.
도 13은 본 발명의 일 실시예에 따른 방법을 실행하는 컴퓨팅 시스템의 구성을 도시한 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 노면 탐지 장치를 보여주는 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 노면 탐지 장치는 카메라(10), 센서(20), 메모리(30), 내비게이션(40) 및 프로세서(50)를 포함할 수 있다. 예를 들어, 노면 탐지 장치는 차량 내 구비될 수 있다.
카메라(10)는 도로 노면을 포함한 차량의 전방을 촬영하여, 도로 노면을 포함한 차량 전방의 영상을 획득할 수 있다. 카메라(10)는 차량에 장착된 블랙박스 내 구비된 카메라일 수 있다. 이 외에도 카메라(10)는 차량의 전방의 영상을 촬영하는 전방 초광각 카메라, 차량 후방의 영상을 촬영하는 후방 초광각 카메라, 차량의 좌우측면의 영상을 촬영하는 좌측 초광각 카메라 및 우측 초광각 카메라를 포함할 수 있다.
센서(20)는 차량의 롤링(rolling)을 감지할 수 있고, 이를 위해 가속도 센서를 포함할 수 있다. 가속도 센서는 차량의 가속도를 측정하는 것으로, 횡 가속도 센서와 종가속도 센서를 포함할 수 있다. 여기서, 롤링(rolling)은 노면이 고르지 못해 발생되는 흔들림을 의미할 수 있다.
메모리(30)는 내비게이션(40)이 수신한 전자 지도를 저장할 수 있다. 또한, 프로세서(50)의 동작을 위한 하나 이상의 알고리즘을 저장할 수 있다. 메모리(30)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
내비게이션(40)은 GPS장치를 구비하여 GPS위성으로부터 차량의 위치를 산출하기 위한 정보를 수신하고, GPS위성으로부터 수신된 정보를 기초로 차량의 위치를 판단할 수 있다. 또한, 네비게이션(40)은 통신장치를 구비하여 서버로부터 전자 지도를 수신하여 차량이 주행하는 도로의 정보를 제공할 수 있다. 내비게이션(40)은 차량의 위치 및 전자 지도를 기반으로 목적지까지의 경로를 산출할 수 있다.
예를 들어, 내비게이션(40)은 AVN(Audio Video Navigation)장치로 구현될 수 있으며, 차량이 주행하는 도로의 정보 또는 사용자가 도달하고자 하는 목적지까지의 경로를 표시하는 디스플레이 및 사용자의 조작 명령에 따라 음향을 출력하는 스피커를 포함할 수 있다.
여기서, 디스플레이는 AVN 장치의 제어와 관련된 각종 제어 화면뿐만 아니라, AVN 장치에서 실행할 수 있는 부가 기능과 관련된 화면을 표시할 수 있다. 일 예에 따르면 디스플레이는 사용자의 입력에 따라 차량의 주행 경로가 표시된 내비게이션 지도 화면을 제공할 수 있다. 디스플레이는 LCD(Liquid Crystal Display), LED(Light Emitting Diode), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diode), CRT(Cathode Ray Tube) 등으로 구현될 수 있다.
프로세서(50)는 본 발명에서 설명되는 노면 탐지를 위한 전반적인 동작을 수행할 수 있다. 보다 자세하게 프로세서(50)는 데이터수집부(60), 전처리부(70), 전처리학습부(80), 학습부(90) 및 분류부(100)를 포함할 수 있다.
데이터수집부(60)는 학습에 적용되는 복수의 유효 데이터(이미지)를 수집할 수 있다. 보다 자세하게는 노면 탐지 학습 및 전처리 학습을 위한 학습용 이미지(training image)를 유효 이미지로 수집할 수 있다. 이하에서는 편의상 노면 탐지 학습을 위한 유효 이미지를 제1 유효 이미지라하고, 전처리 학습에 적용되는 유효 이미지를 제2 유효 이미지라 한다.
데이터수집부(60)는 제1 유효 이미지 및 제2 유효 이미지를 수집하기 위해 카메라(10)에서 획득된 영상으로부터 도로가 포함된 하나 이상의 도로 영상을 수집하고, 도로를 포함한 영상으로부터 추출된 도로 영역만이 포함된 하나 이상의 도로 추출 영상을 수집할 수 있다. 도로 영상은 노면 이벤트가 포함된 도로 영상 및 노면 이벤트가 포함되지 않은 일반 도로 영상을 포함할 수 있다.
실시예에 따르면 데이터수집부(60)는 노면 이벤트가 포함된 도로 영상을 수집하기 위해 센서(20)가 감지한 정보를 기반으로 차량의 롤링(rolling)이 발생된 시각을 확인하고, 카메라(10)가 촬영한 영상으로부터 해당 시각 이전에 촬영된 도로 영역 영상을 수집할 수 있다.
제1 유효 이미지 및 제2 유효 이미지와 관련된 자세한 설명은 도 2 내지 도 4를 참조한다.
도 2는 본 발명의 실시예에 따른 제1 유효 이미지를 나타낸 도면이고, 도 3 및 도 4는 본 발명의 실시예에 따른 제2 유효 이미지를 나타낸 도면이다.
도 2에 도시된 바와 같이, 제1 유효 이미지는 노면 이벤트(21)가 포함된 도로(22) 영상을 포함할 수 있다. 예를 들어, 데이터수집부(60)는 도 2에 도시된 이미지와 같은 이미지를 제1 유효 이미지로 수집할 수 있다.
도 3에 도시된 바와 같이, 제2 유효 이미지는 노면 이벤트(31)가 포함된 도로(32) 추출 영상을 포함할 수 있고, 도 4에 도시된 바와 같이 제2 유효 이미지는 일반 도로(41) 추출 영상을 포함할 수 있다. 데이터수집부(60)는 도 3 및 도 4에 도시된 이미지와 같은 이미지를 제2 유효 이미지로 수집할 수 있다.
노면 이벤트는 도로 노면이 돌출된 상태 및 함몰된 상태 중 어느 하나의 노면 상태를 의미할 수 있으며, 차량의 롤링을 유발하여 사용자에게 안전한 승차감을 제공할 수 없는 노면 상태를 의미할 수 있다. 보다 자세하게는 도 5 내지 도 9를 참조하여 노면 이벤트를 설명한다.
도 5 내지 도 9는 본 발명의 실시예에 따른 노면 이벤트를 도시한 도면이다.
도 5에 도시된 바와 같이, 노면 이벤트(51)는 도로 표면에 국부적으로 생기는 작은 구멍인 포트홀(pot hole)을 포함할 수 있다.
도 6 및 도 7에 도시된 바와 같이, 노면 이벤트(61,71)는 도로의 공사 등으로 인해 발생된 굴곡부 및 도로 이음부를 포함할 수 있다.
도 8에 도시된 바와 같이, 노면 이벤트(81)는 차량의 주행속도를 강제로 낮추기 위하여 노면에 설치되는 과속방지턱을 포함할 수 있다.
도 9에 도시된 바와 같이, 노면 이벤트(91)는 노면 지하로 사람이 출입할 수 있게 만든 맨홀을 포함할 수 있다.
전처리부(70)는 데이터수집부(60)에서 수집된 제1 유효 이미지를 학습용 데이터로 변환하기 위하여 전처리(Preprocessing)할 수 있다.
전처리부(70)는 전처리모델을 기반으로 제1 유효 이미지가 전처리되도록 할 수 있다. 여기서 전처리모델은 전처리부(70)에 포함된 전처리학습부(80)에서 생성될 수 있다.
전처리학습부(80)는 제2 유효 이미지를 기반으로 전처리모델을 생성할 수 있다. 실시예에 따르면 전처리학습부(80)는 제2 유효 이미지로부터 관심영역을 추출하고, u-net방식을 이용하여 추출된 관심영역을 학습함으로써, 도로 노면의 분할(segmentation)을 학습하여, 도로 노면의 분할에 대한 전처리모델을 생성할 수 있다. 참고로, u-net은 'u'모양의 네트워크를 의미하는 것으로, 본래 메디컬 이미지 분할(segmentation)을 위해 설계되었으며, 최근에는 일반적인 2D 영역에서도 많이 사용되는 이미지 추출 네트워크를 의미한다.
전처리부(70)는 전처리학습부(80)에서 전처리모델이 생성되면, 전처리모델을 기반으로 제1 유효 이미지를 전처리하여, 제1 유효 이미지로부터 도로 노면을 분할(segmentation)할 수 있다. 보다 자세한 설명은 도 10을 참조한다.
도 10은 전처리된 제1 유효 이미지를 나타낸 도면이다.
도 10에 도시된 바와 같이, 전처리부(70)는 전처리모델을 기반으로 제1 유효 이미지를 전처리하면, 제1 유효 이미지로부터 도로 노면이 분할(segmentation)될 수 있으며, 따라서 제1 유효 이미지의 전처리 결과물로 분할(segmetation)된 도로 노면의 영상(101)를 획득할 수 있다.
전처리부(70)는 분할된 도로 노면의 영상에서 차량을 검출하고, 검출된 차량을 삭제하여 도로 노면의 영상(101) 내에 오직 도로만이 포함되도록 할 수 있다. 보다 자세한 설명은 도 11을 참조한다.
도 11은 분할된 도로 노면의 영상으로부터 차량이 삭제된 도면이다.
도 11에 도시된 바와 같이, 전처리부(70)는 분할된 도로 노면의 영상에서 차량(112)을 검출할 수 있다. 실시예에 따르면 전처리부(70)는 PASCAL VOC(Visual Object Classes)데이터를 기반으로 기 학습된 SSD(Single Shot multibox Detector) 모바일 네트워크를 이용하여 차량(112)을 검출할 수 있다. 전처리부(70)는 검출된 차량(112)을 삭제(occlusion)하여 도로 노면의 영상(111)에서 오직 도로만이 포함되도록 할 수 있다.
학습부(90)는 전처리된 제1 유효 이미지에 대한 학습을 수행할 수 있다. 학습부(53)는 영역 컨볼루션 신경망(R-CNN, Region Convolution Neural Network)을 이용한 학습방식으로 제1 유효 이미지를 학습하도록 할 수 있다. 참고로, 영역 컨볼루션 신경망은 제1 유효 이미지에 대하여 약 2000개의 관심영역(ROI)을 추출하고, 각 관심영역을 컨볼루션 신경망을 이용하여 학습하도록 하는 방식을 의미할 수 있다. 따라서, 영역 컨볼루션 신경망은 2차원 영상을 용이하게 학습할 수 있도록 최적화된 알고리즘을 의미한다.
학습부(90)는 CNTK(Microsoft Cognitive Toolkit)을 이용하여 4096개의 부동 신경 회로망을 계산하고, 적어도 3개의 CNTK를 이용하여 학습을 수행할 수 있다. 학습부(90)는 전처리된 제1 유효 이미지를 학습하여 노면 이벤트를 분류하기 위한 노면 탐지 모델을 생성할 수 있다.
분류부(100)는 노면 탐지 모델을 기반으로 카메라(10)로부터 획득된 영상에 포함된 노면 이벤트를 분류할 수 있다. 예를들어, 카메라(10)로부터 획득된 영상에 과속방지턱이 포함되어 있으면, 분류부(100)는 노면 탐지 모델을 기반으로 차량 전방의 도로 노면에서 감지된 장애물을 과속방지턱으로 분류할 수 있다. 분류부(100)는 이러한 방식으로 포트홀, 과속방지턱, 맨홀, 요철, 도로 이음부 등을 분류해낼 수 있다.
프로세서(50)는 분류부(100)에서 노면 이벤트가 분류되면, 분류된 노면 이벤트를 기반으로 내비게이션 지도 정보를 업데이트 할 수 있다. 즉, 분류된 노면 이벤트를 지도 정보에 포함시켜 지도 상에 분류된 노면 이벤트가 반영되도록 네비게이션 지도 정보를 업데이트 할 수 있다.
또한, 프로세서(50)는 분류된 노면 이벤트가 업데이트된 내비게이션 지도 정보를 기반으로 도로 주행 중 탐지된 노면 이벤트를 안내하는 안내 메시지를 출력할 수 있다. 실시예에 따르면, 안내 메시지는 내비게이션을 통해 음성 또는 이미지로 출력될 수 있다.
예를들면, 프로세서(50)는 업데이트된 내비게이션 지도 정보를 기반으로 차량 전방에 과속방지턱이 탐지된 것으로 판단하면, '차량 전방에 과속방지턱이 있습니다. 주의하세요'라는 안내 메시지를 음성 또는 이미지로 출력할 수 있다.
또한, 프로세서(50)는 업데이트된 내비게이션 지도 정보를 기반으로 도로 주행 중 노면 이벤트가 탐지되면 차량의 충격 흡수 장치를 제어하여 사용자의 승차감을 향상시키도록 할 수 있다. 여기서, 노면 이벤트 정보는 도로 노면이 돌출된 정보 및 함몰된 정보 중 적어도 어느 하나를 포함할 수 있다.
상기 실시예에서는 노면 탐지 모델을 생성하기 위한 데이터수집부(60), 전처리부(70) 및 학습부(90)의 동작이 프로세서(50) 내에서 이루어지는 것을 설명하였지만, 이에 한정되는 것은 아니고 프로세서(50)와 별도로 마련된 장치 또는 서버에서 노면 탐지 모델을 생성하고 이를 수신하여 노면 탐지 장치를 동작시킬 수 있다.
도 12는 본 발명의 노면 탐지 방법을 나타낸 순서도이다.
도 12에 도시된 바와 같이, 먼저 카메라(10)는 도로 노면을 포함한 차량 전방의 영상을 획득한다(S110). 여기서 S110에서 획득되는 영상은 학습하는데 사용되는 영상일 수 있다.
데이터수집부(60)는 카메라(10)로부터 획득된 영상을 기반으로 제1 유효 이미지 및 제2 유효 이미지를 수집한다(S120). S120에서 데이터수집부(60)는 노면 이벤트가 포함된 도로 영상을 제1 유효 이미지로 수집할 수 있고, 노면 이벤트가 포함된 도로 추출 영상 및 노면 이벤트가 포함되지 않은 일반 도로 추출 영상 중 적어도 어느 하나를 제2 유효 이미지로 수집할 수 있다.
전처리학습부(80)는 S120에서 수집된 제2 유효 이미지를 기반으로 전처리모델을 생성한다(S130). S130에서 전처리학습부(80)는 제2 유효 이미지로부터 관심영역을 추출하고, 추출된 관심영역을 u-net방식을 이용하여 학습함으로써, 도로 노면의 분할(segmentation)을 학습하여, 도로 노면의 분할에 대한 전처리모델을 생성할 수 있다.
전처리부(70)는 전처리모델을 기반으로 제1 유효 이미지를 전처리한다(S140). S140에서 전처리부(70)는 전처리모델을 기반으로 제1 유효 이미지로부터 도로 노면을 분할(segmentation)할 수 있다. 또한, 전처리부(70)는 분할된 도로 노면의 영상으로부터 차량을 검출하고, 검출된 차량을 삭제하여 도로 노면의 영상 내에 오직 도로만이 포함되도록 할 수 있다.
학습부(90)는 전처리된 제1 유효 이미지를 기반으로 노면 탐지 모델을 생성한다(S150). S150에서 학습부(90)는 영역 컨볼루션 신경망(R-CNN, Region Convolution Neural Network)을 이용한 학습방식으로 제1 유효 이미지를 학습하여 노면 이벤트를 분류하기 위한 노면 탐지 모델을 생성할 수 있다.
분류부(100)는 노면 탐지 모델을 기반으로 카메라(10)로부터 획득된 영상에 포함된 노면 이벤트를 분류한다(S160). S160에서 예를들면, 분류부(100)는 카메라(10)로부터 획득된 영상에 포함된 노면 이벤트를 과속방지턱으로 분류할 수 있다.
프로세서(50)는 분류부(100)에서 노면 이벤트가 분류되면, 분류된 노면 이벤트를 기반으로 차량의 내비게이션의 지도 정보를 제어할 수 있다(S170). 보다 구체적으로, S170에서 프로세서(50)는 분류된 이벤트 정보를 실시간으로 차량의 네비게이션 지도 정보에 반영하여 업데이트 할 수 있다.
또한, S170에서 프로세서(50)는 분류된 노면 이벤트가 업데이트된 내비게이션 지도 정보를 기반으로 도로 주행 중 탐지된 노면 이벤트를 안내하는 안내 메시지를 출력할 수 있다. 실시예에 따르면, 안내 메시지는 내비게이션을 통해 음성 또는 이미지로 출력될 수 있다.
예를들면, 프로세서(50)는 업데이트된 내비게이션 지도 정보를 기반으로 차량 전방에 과속방지턱이 탐지된 것으로 판단하면, '차량 전방에 과속방지턱이 있습니다. 주의하세요'라는 안내 메시지를 음성 또는 이미지로 출력할 수 있다.
또한, S170에서 프로세서(50)는 노면 이벤트에 의해 발생되는 차량의 롤링(rolling)을 제어할 수 있다. 실시예에 따르면 프로세서(50)는 서스펜션의 모터를 제어하여 차량의 롤링을 제어할 수 있다.
도 13은 본 발명의 일 실시예에 따른 방법을 실행하는 컴퓨팅 시스템의 구성을 도시한 도면이다.
도 13을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
카메라 10 데이터수집부 60
센서 20 전처리부 70
메모리 30 전처리학습부 80
내비게이션 40 학습부 90
프로세서 50 분류부 100
노면 이벤트 21,31,51,61,71,81,91
도로 22,32,41,
분할된 도로 노면의 영상 101,111
제거된 차량 112

Claims (21)

  1. 도로 노면을 포함하는 차량 전방의 영상을 획득하는 카메라; 및
    상기 획득된 영상을 기반으로 학습하여 생성된 노면 탐지 모델을 기반으로 노면 이벤트를 분류하는 프로세서를 포함하는 노면 탐지 장치.
  2. 청구항 1에 있어서,
    상기 프로세서는
    상기 획득된 영상으로부터 제1 유효 이미지 및 제2유효이미지를 수집하는 데이터수집부;
    상기 제1 유효 이미지를 전처리하는 전처리부;
    상기 전처리된 제1 유효 이미지를 학습하여 상기 노면 탐지 모델을 생성하는 학습부; 및
    상기 노면 탐지 모델을 기반으로 상기 노면 이벤트를 분류하는 분류부를 포함하는 노면 탐지 장치.
  3. 청구항 2에 있어서,
    상기 제1 유효 이미지는 상기 노면 이벤트가 포함된 도로 영상을 포함하는 노면 탐지 장치.
  4. 청구항 2에 있어서,
    상기 제2 유효 이미지는 상기 노면 이벤트가 포함된 도로 추출 영상 및 상기 노면 이벤트가 포함되지 않은 일반 도로 추출 영상 중 적어도 어느 하나를 포함하는 노면 탐지 장치.
  5. 청구항 2에 있어서,
    상기 전처리부는
    상기 제2 유효 이미지를 기반으로 상기 도로 노면의 분할(segmentation)을 학습하여 전처리모델을 생성하는 전처리 학습부를 포함하는 노면 탐지 장치.
  6. 청구항 5에 있어서,
    상기 전처리부는 상기 전처리모델을 기반으로 상기 제1 유효 이미지로부터 도로 영역을 분할(segmetation)하는 노면 탐지 장치.
  7. 청구항 2에 있어서,
    상기 학습부는
    영역 컨볼루션 신경망(R-CNN,Region Convolution Neural Network)을 기반으로 상기 전처리된 제1 유효 이미지를 학습하여 상기 노면 탐지 모델을 생성하는 노면 탐지 장치.
  8. 청구항 1에 있어서,
    상기 노면 이벤트는
    상기 도로 노면이 돌출된 상태 및 함몰된 상태 중 적어도 어느 하나를 포함하는 노면 탐지 장치.
  9. 청구항 1에 있어서,
    상기 프로세서는
    상기 분류된 노면 이벤트를 기반으로 상기 차량의 지도 정보를 업데이트하는 노면 탐지 장치.
  10. 청구항 9에 있어서,
    상기 프로세서는
    상기 업데이트된 지도 정보를 기반으로 탐지된 상기 노면 이벤트를 안내하는 안내 메시지를 출력하는 노면 탐지 장치.
  11. 청구항 9에 있어서,
    상기 프로세서는
    상기 업데이트된 지도 정보를 기반으로 탐지된 상기 노면 이벤트에 의해 발생되는 상기 차량의 롤링(rolling)을 제어하는 노면 탐지 장치.
  12. 도로 노면의 영상을 획득하는 단계;
    상기 도로 노면의 영상을 기반으로 학습하여 노면 탐지 모델을 생성하는 단계; 및
    상기 노면 탐지 모델을 이용하여 상기 노면 이벤트 정보를 분류하는 단계를 포함하는 노면 탐지 방법.
  13. 청구항 12에 있어서,
    상기 노면 탐지 모델을 생성하는 단계는
    상기 획득된 영상으로부터 제1 유효 이미지 및 제2유효이미지를 수집하는 단계;
    상기 제1 유효 이미지를 전처리하는 단계; 및
    상기 전처리된 제1 유효 이미지를 학습하는 단계를 포함하는 노면 탐지 방법.
  14. 청구항 13에 있어서,
    상기 제1 유효 이미지는 상기 노면 이벤트가 포함된 도로 영상을 포함하는 노면 탐지 방법.
  15. 청구항 13에 있어서,
    상기 제2 유효 이미지는 상기 노면 이벤트가 포함된 도로 추출 영상 및 상기 노면 이벤트가 포함되지 않은 일반 도로 추출 영상 중 적어도 어느 하나를 포함하는 노면 탐지 방법.
  16. 청구항 13에 있어서,
    상기 제1 유효 이미지를 전처리하는 단계는
    상기 제2 유효 이미지를 기반으로 상기 도로 노면의 분할(segmentation)을 학습하여 전처리모델을 생성하는 단계를 포함하는 노면 탐지 방법.
  17. 청구항 16에 있어서,
    상기 제1 유효 이미지를 전처리하는 단계는
    상기 전처리모델을 기반으로 상기 제1 유효 이미지로부터 도로 영역을 분할(segmetation)하는 노면 탐지 방법.
  18. 청구항 13에 있어서,
    상기 전처리된 제1 유효 이미지를 학습하는 단계는
    영역 컨볼루션 신경망(R-CNN, Region Convolution Neural Network)을 기반으로 상기 노면 탐지 모델을 생성하는 단계를 포함하는 노면 탐지 방법.
  19. 청구항 12에 있어서,
    상기 노면 이벤트는
    상기 도로 노면이 돌출된 상태 및 함몰된 상태 중 적어도 어느 하나를 포함하는 노면 탐지 방법.
  20. 청구항 12에 있어서,
    상기 노면 탐지 모델을 이용하여 상기 노면 이벤트 정보를 분류하는 단계 이후,
    상기 분류된 노면 이벤트를 기반으로 상기 차량의 지도 정보를 업데이트 단계; 및
    상기 업데이트된 지도 정보를 기반으로 탐지된 상기 노면 이벤트를 안내하는 안내 메시지를 출력하는 단계를 더 포함하는 노면 탐지 방법.
  21. 청구항 20에 있어서,
    상기 노면 탐지 모델을 이용하여 상기 노면 이벤트 정보를 분류하는 단계 이후,
    상기 업데이트된 지도 정보를 기반으로 탐지된 상기 노면 이벤트에 의해 발생되는 상기 차량의 롤링(rolling)을 제어하는 단계를 더 포함하는 노면 탐지 방법.
KR1020180096909A 2018-08-20 2018-08-20 노면 탐지 장치 및 방법 KR102485353B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180096909A KR102485353B1 (ko) 2018-08-20 2018-08-20 노면 탐지 장치 및 방법
US16/182,336 US10915764B2 (en) 2018-08-20 2018-11-06 Road surface detecting apparatus and method for detecting road surface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180096909A KR102485353B1 (ko) 2018-08-20 2018-08-20 노면 탐지 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200023692A true KR20200023692A (ko) 2020-03-06
KR102485353B1 KR102485353B1 (ko) 2023-01-05

Family

ID=69524151

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180096909A KR102485353B1 (ko) 2018-08-20 2018-08-20 노면 탐지 장치 및 방법

Country Status (2)

Country Link
US (1) US10915764B2 (ko)
KR (1) KR102485353B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102249092B1 (ko) * 2020-12-31 2021-05-07 (주)에이아이매틱스 도로 상의 장애물 인식 결과를 이용한 사고 영상 선별 방법
KR20220043619A (ko) * 2020-09-29 2022-04-05 주식회사 휴플 교통 약자를 위한 이동 수단에 의해 거치되는 전자 장치
KR102423218B1 (ko) * 2021-07-16 2022-07-20 한국건설기술연구원 심층 신경망을 이용한 도로 노면 손상 및 장애물 동시 탐지 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체.
KR20230039327A (ko) * 2021-09-14 2023-03-21 (주) 경성테크놀러지 전동이동보조기기 운행 보조 시스템

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111347831B (zh) * 2020-03-13 2022-04-12 北京百度网讯科技有限公司 车辆行驶平稳性控制方法、装置、设备和存储介质
CN111485475B (zh) * 2020-04-23 2021-12-28 陕西国防工业职业技术学院 一种路面坑槽识别方法及其装置
CN111532277B (zh) * 2020-06-01 2021-11-30 中国第一汽车股份有限公司 车辆地形识别系统、方法及车辆
CN112488221B (zh) * 2020-12-07 2022-06-14 电子科技大学 一种基于动态刷新正样本图像库的道路路面异常检测方法
CN114756565B (zh) * 2022-06-16 2022-09-20 中关村科学城城市大脑股份有限公司 地图更新方法、装置、电子设备和计算机可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101611789B1 (ko) * 2015-03-20 2016-04-12 인하대학교 산학협력단 주행영상의 모션 파라미터 추출을 통한 자동화된 주행도로 노면의 시각화 방법
US20160253566A1 (en) * 2015-02-26 2016-09-01 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
US20170010618A1 (en) * 2015-02-10 2017-01-12 Mobileye Vision Technologies Ltd. Self-aware system for adaptive navigation
US9760806B1 (en) * 2016-05-11 2017-09-12 TCL Research America Inc. Method and system for vision-centric deep-learning-based road situation analysis

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170010618A1 (en) * 2015-02-10 2017-01-12 Mobileye Vision Technologies Ltd. Self-aware system for adaptive navigation
US20160253566A1 (en) * 2015-02-26 2016-09-01 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
KR101611789B1 (ko) * 2015-03-20 2016-04-12 인하대학교 산학협력단 주행영상의 모션 파라미터 추출을 통한 자동화된 주행도로 노면의 시각화 방법
US9760806B1 (en) * 2016-05-11 2017-09-12 TCL Research America Inc. Method and system for vision-centric deep-learning-based road situation analysis

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220043619A (ko) * 2020-09-29 2022-04-05 주식회사 휴플 교통 약자를 위한 이동 수단에 의해 거치되는 전자 장치
KR102249092B1 (ko) * 2020-12-31 2021-05-07 (주)에이아이매틱스 도로 상의 장애물 인식 결과를 이용한 사고 영상 선별 방법
WO2022146017A1 (ko) * 2020-12-31 2022-07-07 (주)에이아이매틱스 도로 상의 장애물 인식 결과를 이용한 사고 영상 선별 방법
KR102423218B1 (ko) * 2021-07-16 2022-07-20 한국건설기술연구원 심층 신경망을 이용한 도로 노면 손상 및 장애물 동시 탐지 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체.
WO2023286917A1 (ko) * 2021-07-16 2023-01-19 한국건설기술연구원 심층 신경망을 이용한 도로 노면 손상 및 장애물 동시 탐지 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체.
KR20230039327A (ko) * 2021-09-14 2023-03-21 (주) 경성테크놀러지 전동이동보조기기 운행 보조 시스템

Also Published As

Publication number Publication date
US10915764B2 (en) 2021-02-09
KR102485353B1 (ko) 2023-01-05
US20200057895A1 (en) 2020-02-20

Similar Documents

Publication Publication Date Title
KR102485353B1 (ko) 노면 탐지 장치 및 방법
CN110920611B (zh) 基于邻车的车辆控制方法和装置
WO2020042859A1 (zh) 智能驾驶控制方法和装置、车辆、电子设备、存储介质
KR102566559B1 (ko) 구급차를 활용한 노면 정보 제공 방법
US8559727B1 (en) Temporal coherence in clear path detection
CN111506057A (zh) 辅助自动驾驶的自动驾驶辅助眼镜
JP2016130966A (ja) 危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラム
JP4939316B2 (ja) 停止判断装置、ナビゲーション装置、停止判断方法、停止判断プログラムおよび記録媒体
WO2018138782A1 (ja) 情報処理装置、特徴点抽出プログラムおよび特徴点抽出方法
JP2020194489A (ja) 異常検出方法、異常検出装置、及び異常検出システム
US20230104858A1 (en) Image generation apparatus, image generation method, and non-transitory computer-readable medium
JP2019101806A (ja) 走行現調支援装置
JP2017054424A (ja) 映像基準点決定システム、映像基準点決定方法および映像基準点決定プログラム
JP2004251886A (ja) 周囲物体検出装置
KR102594384B1 (ko) 오류데이터 삽입방식을 이용한 자율주행 차량의 영상인식 학습장치와 이를 이용한 영상인식 학습방법
US20230091500A1 (en) Data processing apparatus, sending apparatus, and data processing method
KR20240041440A (ko) 전방 svm 시스템의 동작 제어 시스템 및 그 방법
Chougule et al. Smart pothole detection system using deep learning algorithms
WO2020013052A1 (ja) 運転支援装置、運転支援方法、及びコンピュータ読み取り可能な記録媒体
JP2022086835A (ja) 事故判定装置、検出装置、事故判定システム、事故判定方法、及びプログラム
KR20240034553A (ko) 터널 인식 시스템 및 그 방법
CN115690749A (zh) 一种驾驶员行为异常检测方法以及装置
JP2009134431A (ja) 注意喚起システム及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant