KR102583989B1 - 지도들에 기반한 차량용의 자동화된 이미지 라벨링 - Google Patents

지도들에 기반한 차량용의 자동화된 이미지 라벨링 Download PDF

Info

Publication number
KR102583989B1
KR102583989B1 KR1020197028921A KR20197028921A KR102583989B1 KR 102583989 B1 KR102583989 B1 KR 102583989B1 KR 1020197028921 A KR1020197028921 A KR 1020197028921A KR 20197028921 A KR20197028921 A KR 20197028921A KR 102583989 B1 KR102583989 B1 KR 102583989B1
Authority
KR
South Korea
Prior art keywords
features
image
map
electronic processor
vehicle
Prior art date
Application number
KR1020197028921A
Other languages
English (en)
Other versions
KR20190137087A (ko
Inventor
카스텐 베렌트
조나스 위트
Original Assignee
로베르트 보쉬 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 로베르트 보쉬 게엠베하 filed Critical 로베르트 보쉬 게엠베하
Publication of KR20190137087A publication Critical patent/KR20190137087A/ko
Application granted granted Critical
Publication of KR102583989B1 publication Critical patent/KR102583989B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G01C21/3673—Labelling using text of road map data items, e.g. road names, POI names
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Automation & Control Theory (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Library & Information Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

자동으로 라벨링된 이미지들을 사용하는 차량을 내비게이션하는 방법 및 시스템. 상기 시스템은 도로의 이미지를 캡처하도록 구성된 카메라 및 상기 카메라에 통신 가능하게 연결된 전자 프로세서를 포함한다. 상기 전자 프로세서는 제 1 복수의 피처들을 포함하는 지도를 로딩하고 상기 이미지를 수신하도록 구성된다. 상기 이미지는 제 2 복수의 피처들을 포함한다. 상기 전자 프로세서는 또한 상기 이미지에 상기 지도를 투영하고; 상기 이미지 내의 제 2 복수의 피처들을 검출하고; 상기 제 1 복수의 피처들을 상기 제 2 복수의 피처들과 정렬시킴으로써 상기 지도를 상기 이미지와 정렬하도록 구성된다. 상기 전자 프로세서는 또한 상기 제 1 복수의 피처들 중 하나를 기술하는 라벨을 상기 제 2 복수의 피처들 중 대응하는 하나에 카피하여 라벨링된 이미지를 생성하고, 상기 라벨링된 이미지를 사용하여 차량의 내비게이션을 보조하도록 구성된다.

Description

지도들에 기반한 차량용의 자동화된 이미지 라벨링
본 발명은 지도들(maps)에 기반한 차량용의 자동화된 이미지 라벨링에 관한 것이다.
고화질 지도 내에 위치된 객체들(objects)에 관한 정보를 포함하는 고화질 지도들이 운전 보조 시스템들에서 사용된다. 이 지도들은 첨단의 실시간 차선 검출 디바이스들과 반자율 운전을 위한 신뢰성 및 객체 검출 요건들의 범위(기존의 차선 검출 디바이스들에 의해서만은 통상 충족할 수 없는 범위) 간의 격차를 메우는 데 사용된다.
고화질 지도들(High-definition maps)은 무엇보다도 차량 기동들(vehicle maneuvers)을 수행하는 데 도움이 되는 정보를 제공한다. 특히, 고화질 지도들은 도로들, 차선 표시들(lane markings), 및 도로 인프라(roadway infrastructure)와 같은 객체들의 위치 및 특성과 관련된 정보를 제공한다. 일부 경우들에서, 고화질 지도들은 또한 차량과 관련된 랜드마크들 및 관심 영역들에 대한 정보를 제공함으로써 운전자를 보조한다. 일부 경우들에서, 반자율 차량들은 고화질 지도들 내의 객체 위치에 관한 정보에 적어도 부분적으로 기초하여 일부 내비게이션 및 기동(maneuvering)을 수행할 수 있다. 예를 들어, 차량은 단일 차선 내에서 주행하고, 도로 상의 다수의 차선들을 결정하고, 차선 변경들을 수행하는 등을 위해서 차선 표시들을 사용할 수 있다.
운전자 보조 시스템들의 제대로 된 작용, 운전자 안전 기능들, 및 완전히 자동화된 차량들을 위해서는 신뢰할 수 있는 차선 검출이 필요하다. 딥 러닝(deep learning)은 차선 표시들(lane markers)을 검출하기 위해 차량 시스템을 트레이닝하기 위한 매우 정확한 기술을 제공한다. 그러나, 딥 러닝에는 또한 차량 시스템을 올바르게 트레이닝하기 위해 방대한 양의 라벨링된 데이터가 필요하다. 후술하는 바와 같이, 신경망(neural network)은 어떠한 이미지들도 수동으로 라벨링하지 않고서 카메라 이미지들에서 차선 표시들을 검출하도록 트레이닝된다.
이를 달성하기 위해, 자동화된 운전을 위한 고화질 지도들이 카메라 이미지들에 투영되고 차량 시스템은 국부화 및 좌표 프레임 변환의 부정확성으로 인한 오정렬을 수정한다. 상기 수정들은 고화질 지도 내의 객체들 또는 피처들(features)과 카메라 이미지에서 검출된 객체들 사이의 오프셋을 산출함으로써 수행될 수 있다. 상기 투영들을 정제(refine)하기 위해 카메라 이미지에서의 객체 검출을 사용함으로써, 카메라 이미지들 내의 객체들의 라벨들은 픽셀 위치에 기초하여 정확하게 결정될 수 있다. 선택적인 시각적 품질 검사 후, 투영된 차선 표시들은 이미지 내의 차선 표시들을 구분하기 위해 풀리 컨볼루션 네트워크(fully convolutional network)를 트레이닝하는 데 사용된다. 선택적인 시각적 품질 검사는 개별 이미지들을 수동으로 라벨링하는 것보다 훨씬 빠른 속도로 수행될 수 있다. 예를 들어, 한 근로자가 하루 내에 20,000 개의 자동으로 생성된 라벨들을 품질 검사할 수 있다. 결과적으로, 컨볼루션 네트워크는 자동으로 생성된 라벨들에만 기초하여 트레이닝될 수 있다. 또한, 카메라 이미지들 내의 객체들의 검출들은 어떠한 추가적인 정보도 없이 그레이스케일 모노 카메라 입력들에만 기초할 수 있다. 결과적인 트레이닝된 신경망은 1 메가픽셀 카메라에서 약 150 미터의 거리에서 차선 표시들을 검출할 수 있다.
실시예들은 카메라 이미지들 내의 객체들에 대한 라벨들을 생성하는 자동화 시스템을 제공한다. 일부 실시예들에서, 상기 자동화 시스템은 지도 데이터에 적어도 부분적으로 기초하여 이미지 내의 차선 표시들을 식별하는 라벨들을 생성한다.
특히, 일 실시예는 자동으로 라벨링된 이미지들을 사용하는 차량에 대한 내비게이션 방법을 제공한다. 상기 방법은 제 1 복수의 피처들을 포함하는 지도를 차량의 전자 프로세서에 로딩하는 단계 및 차량의 카메라로 제 2 복수의 피처들을 포함하는 이미지를 캡처하는 단계를 포함한다. 상기 방법은 상기 이미지에 상기 지도를 투영하는 단계; 상기 전자 프로세서로 상기 이미지 내의 상기 제 2 복수의 피처들을 검출하는 단계; 및 상기 제 1 복수의 피처들을 상기 제 2 복수의 피처들과 정렬시킴으로써 상기 지도를 상기 이미지와 정렬하는 단계를 더 포함한다. 상기 방법은 상기 제 1 복수의 피처들 중 하나를 기술하는 라벨을 상기 제 2 복수의 피처들 중 대응하는 하나에 카피하여 라벨링된 이미지를 생성하고, 상기 라벨링된 이미지를 사용하여 차량의 내비게이션을 보조하는 단계를 더 포함한다.
다른 실시예는 자동으로 라벨링된 이미지들을 사용하여 차량을 내비게이션하는 시스템을 제공한다. 상기 시스템은 도로의 이미지를 캡처하도록 구성된 카메라 및 상기 카메라에 통신 가능하게 연결된 전자 프로세서를 포함한다. 상기 전자 프로세서는 제 1 복수의 피처들을 포함하는 지도를 로딩하고 상기 이미지를 수신하도록 구성된다. 상기 이미지는 제 2 복수의 피처들을 포함한다. 상기 전자 프로세서는 또한 상기 이미지에 상기 지도를 투영하고; 상기 이미지 내의 제 2 복수의 피처들을 검출하고; 상기 제 1 복수의 피처들을 상기 제 2 복수의 피처들과 정렬시킴으로써 상기 지도를 상기 이미지와 정렬하도록 구성된다. 상기 전자 프로세서는 또한 상기 제 1 복수의 피처들 중 하나를 기술하는 라벨을 상기 제 2 복수의 피처들 중 대응하는 하나에 카피하여 라벨링된 이미지를 생성하고, 상기 라벨링된 이미지를 사용하여 차량의 내비게이션을 보조하도록 구성된다.
다른 양태들, 특징들, 및 실시예들은 상세한 설명 및 첨부 도면들을 고려함으로써 명백해질 것이다.
도 1은 일 실시예에 따라 카메라 이미지 내에 객체들을 라벨링하기 위한 자동화 시스템을 갖춘 차량의 블록도이다.
도 2는 일 실시예에 따른 도 1의 시스템의 전자 제어 유닛의 블록도이다.
도 3은 일 실시예에 따른 도 1의 시스템을 동작시키는 방법의 흐름도이다.
도 4는 도 1의 시스템에 의해 생성된 차선 표시들 및 차선 표시들의 위치의 초기 추정치의 예시적인 이미지이다.
도 5는 도 3의 방법의 첫 번째 반복 동안 및 도 3의 방법의 여러 번 반복된 후 차선 표시 매칭들을 갖는 도로의 예시적인 그래프이다.
도 6은 도 3의 방법의 정렬 및 수정 이전의 차선 표시들 및 차선 표시 매칭들의 예시적인 이미지이다.
도 7은 도 3의 방법의 수행한 후 차선 표시들 및 차선 표시 매칭들의 예시적인 이미지이다.
임의의 실시예들이 상세히 설명되기 전에, 이러한 개시 내용은 다음의 상세한 설명에 설명되거나 다음의 도면들에서 도시된 구성의 세부 사항들 및 구성 요소들의 배열에 대한 그 적용에 제한되도록 의도되지 않는다는 것을 이해해야 한다. 실시예들은 다른 구성들이 가능하고 다양한 방법들로 실시되거나 수행될 수 있다.
복수의 하드웨어 및 소프트웨어 기반 장치들뿐만 아니라 복수의 상이한 구조적 구성 요소들이 다양한 실시예들을 구현하는데 사용될 수 있다. 또한, 실시예들은 하드웨어, 소프트웨어, 및 전자 구성 요소들 또는 모듈들을 포함할 수 있으며, 이러한 구성 요소들은 논의의 목적으로, 구성 요소들 대부분이 마치 하드웨어로만 구현된 것으로 도시되고 설명될 수도 있다. 그러나, 당업자는 본 상세한 설명을 읽은 것에 기초하여, 적어도 하나의 실시예에서, 본 발명의 전자 기반 양태들이 하나 이상의 프로세서들에 의해 실행 가능한 소프트웨어(예를 들면, 비일시적 컴퓨터 판독 가능한 매체에 저장됨)로 구현될 수 있다는 것을 인식할 것이다. 예를 들어, 본 명세서에서 기술된 "제어 유닛” 및 "제어기"는 하나 이상의 전자 프로세서들, 비일시적 컴퓨터 판독 가능한 매체를 포함하는 하나 이상의 메모리 모듈들, 하나 이상의 입력/출력 인터페이스들, 하나 이상의 애플리케이션 특정 집적 회로들(ASICs), 및 다양한 구성 요소들을 연결하는 다양한 연결부들(예를 들면, 시스템 버스)을 포함할 수 있다.
도 1은 일 실시예에 따라 카메라 이미지 내에 객체들을 라벨링하기 위한 시스템(105)을 갖춘 차량(100)의 실시예를 도시한다. 차량(100)은 4 륜 차량으로 도시되어 있지만, 다양한 유형들 및 디자인들을 망라한다. 예를 들어, 차량(100)은 자동차, 오토바이, 트럭, 버스, 세미 트랙터 등을 포함할 수 있다. 도시된 예에서, 시스템(105)은 전자 제어 유닛(ECU)(110), 적어도 하나의 센서(115), 지도 데이터베이스(120), 차량 제어 시스템(125), 및 글로벌 포지셔닝 시스템(GPS)(130)을 포함한다. 이들 성분들은 하기에 더욱 자세히 설명되어 있다.
전자 제어 유닛(110)은 상이하고 다양한 메커니즘들 또는 프로토콜들을 통해 센서(115), 지도 데이터베이스(120), 차량 제어 시스템(125), 및 글로벌 포지셔닝 시스템(130)에 통신 가능하게 연결될 수 있다. 예를 들어, 전자 제어 유닛(110) 및 센서(115)는 직접적으로 유선 연결되거나, 통신 버스를 통해 유선 연결되거나, 또는 무선으로(예를 들면, 무선 네트워크를 통해) 연결될 수 있다. 전자 제어 유닛(110)은 무엇보다도 차량(100)을 둘러싼 영역에 관하여 센서(115)로부터 정보를 수신하고, 지도 데이터베이스(120)로부터 라벨링된 객체들을 갖는 고화질 지도들을 수신하고, 내비게이션 및 차량 제어 시스템(125)에 대한 기동과 관련된 요청 및 정보를 생성하도록 구성된다. 특히, 전자 제어 유닛(110)은 글로벌 포지셔닝 시스템(130)에 적어도 부분적으로 기초하여 차량(100)의 소재 또는 위치를 결정할 수 있다. 전자 제어 유닛(110)은 글로벌 포지셔닝 시스템(130)을 통해 초기 위치를 획득할 수 있으며, 이어서 센서(115) 및 검출된 랜드마크들을 사용하여 상기 위치를 최적화 또는 정제(refine)할 수 있다.
센서(115)는 간략화를 위해 단일 센서로서 도시되었지만, 다양한 유형들 및 스타일들의 센서들을 포함할 수 있다. 예를 들어, 센서(115)는 레이더, 라이더, 초음파, 적외선 등을 사용하도록 구성된 하나 이상의 센서들 및 센서 어레이들을 포함할 수 있다. 센서(115)는 또한 하나 이상의 광학 카메라들을 포함할 수 있다. 일부 실시예들에서, 센서(115)는 차량(100)의 양 측면에 차선 표시들을 포함하는 시야를 갖도록 위치된다. 센서(115)는 차량(100) 주위의 객체들의 이미지들을 캡처하도록 구성된다. 특히, 센서(115)는 차량(100) 주위의 차선 표시들의 이미지들을 캡처하도록 구성된다.
지도 데이터베이스(120)는 다양한 상이한 유형들이 될 수 있으며 다양한 상이한 기술들을 사용할 수 있다. 일 예에서, 지도 데이터베이스(120)는 차량(100) 내에 위치되고 외부 통신을 통해(예를 들어, 광역 네트워크를 통해) 업데이트 가능하다. 다른 예에서, 지도 데이터베이스(120)는 차량(100)의 외부에(예를 들어, 중앙 서버에) 위치된다. 이 경우에, 차량(100)은 전자 제어 유닛(110)에 의해 사용하기 위해 지도 데이터베이스(120)에 대한 고화질 지도들을 다운로드한다. 일부 경우에, 차량(100)은 센서(115)에 의해 캡처된 고화질 지도들을 지도 데이터베이스(120)에 업로드한다. 결과적으로, 지도 데이터베이스(120)는 전자 제어 유닛(110)에 의해, 다른 차량들의 유사한 시스템들에 의해, 또는 수동 방법들에 의해 생성될 수 있는 복수의 고화질 지도들을 포함한다. 지도 데이터베이스(120)에 포함된 고화질 지도들은 차선 표시들의 위치를 포함하는 고화질 지도 내의 객체들의 특징들을 제공한다. 센서(115)로부터의 이미지들와 함께 고화질 지도들은 후술하는 바와 같이 이미지들 내의 객체들을 고정밀도로 검출하고 라벨링하도록 전자 제어 유닛(110)을 트레이닝하는 데 사용된다.
차량 제어 시스템(125)은 차량(100)의 내비게이션 및 제어를 돕기 위해 전자 제어 유닛(110)으로부터 명령들 및 정보를 수신하도록 구성된다. 차량 제어 시스템(125)은 전자 제어 유닛(110)으로부터 수신된 신호들에 적어도 부분적으로 기초하여 자율 주행 및 다양한 자동 차량 기동들을 수행하도록 구성된다. 일부 실시예들에서, 차량 제어 시스템(125)은 전자 제어 유닛(110)과 독립적으로 센서(115) 및 글로벌 포지셔닝 시스템(130)에 통신 가능하게 연결된다. 일부 실시예들에서, 차량 제어 시스템(125) 및 전자 제어 유닛(110)은 단일 제어 유닛에 통합된다.
도 2는 일 실시예에 따른 시스템(105)의 전자 제어 유닛(110)의 블록도이다. 전자 제어 유닛(110)은 전자 제어 유닛(110) 내의 구성 요소들 및 모듈들에 전력, 작동 제어, 및 보호를 제공하는 복수의 전기 및 전자 구성 요소들을 포함한다. 전자 제어 유닛(110)은 무엇보다도 전자 프로세서(210)(예를 들면, 프로그램 가능한 전자 마이크로프로세서, 마이크로컨트롤러, 또는 유사한 디바이스), 메모리(215)(예를 들면, 비일시적인, 기계 판독 가능 메모리), 및 입력/출력 인터페이스(220)를 포함한다. 일부 실시예들에서, 전자 제어 유닛(110)은 추가적인, 더 적은, 또는 상이한 구성 요소들을 포함한다. 예를 들어, 전자 제어 유닛(110)은 전자 제어 유닛(110)의 특정 단계들 또는 기능들을 수행하도록 각각 구성된 몇몇 독립적인 전자 제어 유닛들 또는 모듈들로 구현될 수 있다.
전자 프로세서(210)는 메모리(215), 입력/출력 인터페이스(220), 및 전자 제어 유닛(110)의 다른 구성 요소들과 협력하여 본 명세서에서 논의된 프로세스들 및 방법들을 수행하도록 구성된다. 예를 들어, 전자 프로세서(210)는 메모리(215)로부터 검색하도록 구성되고, 무엇보다도 센서(115)로부터 카메라 이미지들을 수신하고, 지도 데이터베이스(120)로부터 지도 데이터를 수신하고, 수신 카메라 이미지들 및 지도 데이터에 기초하여 라벨링된 카메라 이미지들을 생성하는 것과 관련된 명령들을 실행하도록 구성된다. 입력/출력 인터페이스(220)는 차량(100)의 다른 구성 요소들뿐만 아니라 시스템(105)의 다른 구성 요소들과 통신하기 위한 하나 이상의 입력 및 출력 모듈들을 포함할 수 있다. 예를 들어, 입력/출력 인터페이스(220)는 센서(115), 지도 데이터베이스(120), 및 차량 제어 시스템(125)과 통신하도록 구성된다.
라벨링된 카메라 이미지들을 생성하기 위해 고화질 지도들을 생성하고 고화질 지도들을 사용하는 것을 포함하는 다수의 기능들은 전자 프로세서(210)에 의해 수행되는 것으로 기술되는 것을 주목해야 한다. 그러나, 이들 기능들 및 본 명세서에서 기술된 다른 것들은 다수의 전자 프로세서들에 의해 및 다수의 차량들에 의해 개별적으로 그리고 독립적으로 수행될 수 있다. 예를 들어, 일부 실시예들에서, 하나 이상의 차량들은 복수의 고화질 지도들을 생성하고 고화질 지도들을 중앙 집중식 지도 데이터베이스에 업로드한다. 이 경우, 차량(100)과 같은 다른 차량들은 그 고화질 지도들을 다운로드하고 그 고화질 지도들을 사용하여 높은 정밀도의 라벨링된 이미지들을 생성한다. 특히, 라벨링된 카메라 이미지들은 객체들의 검출 및 인식을 위해 고화질 지도들로 전자 프로세서(210)를 트레이닝시킴으로써 전자 프로세서(210)에 의해 생성될 수 있다. 그 후, 라벨링된 카메라 이미지들은 차량(100)을 내비게이션하고 기동하기 위해 차량 제어 시스템(125)에 의해 사용될 수 있다. 동작 시에, 전자 제어 유닛(110)은 고화질 지도들을 사용하여 예를 들어 차선 표시를 포함하는 정적 객체들의 광범위한 라벨링된 데이터 세트들을 생성하도록 이들을 사용함으로써 객체들의 실시간 검출을 향상시킨다.
양호한 환경 조건들에서, 전자 제어 유닛(110)은 예를 들어 고정밀 객체 검출 센서들(예를 들면, 라이다(light detection and ranging(LIDAR))을 사용하여 맵핑 동작을 위해 고정밀로 단거리 범위에서 정적 객체들을 검출할 수 있고 고화질 지도들을 생성을 할 수 있다. 고화질 지도들은 도로 인프라 및 차선 표시들을 포함하는 다양한 피처들 및 위치 정보를 포함할 수 있다. 매핑된 객체들의 정적 특성으로 인해, 고화질 지도들은 검출하는 것을 돕고 센서(115)에 대해 더 긴 검출 범위들을 제공하도록 열악한 환경 조건들에서 센서 프레임들(예를 들면, 카메라 이미지 프레임들)에 투영될 수 있다.
도 3은 일 실시예에 따른 자동으로 라벨링된 이미지들을 사용하는 방법을 도시한다. 상기 방법은 전자 프로세서(210) 내에서 객체 검출기(예를 들면, 딥 러닝, 신경망)를 트레이닝하기 위해 자동으로 라벨링된 이미지들을 사용하는 단계를 포함한다. 상기 방법은 또한 차량(100)의 내비게이션을 위해 자동으로 라벨링된 이미지들을 사용하는 단계를 포함한다. 설명된 예에서, 전자 프로세서(210)는 제 1 복수의 피처들을 포함하는 고화질 지도를 로딩한다(블록 305). 전자 프로세서(210)는 센서(115)로부터 제 2 복수의 피처들을 포함하는 이미지를 수신한다(블록 310). 일부 실시예들에서, 예를 들어, 전자 프로세서(210)는 차량이 작동함에 따라 차량 카메라로부터 카메라 이미지를 수신한다. 전자 프로세서(210)는 이어서 객체 검출기로 제 2 복수의 피처들을 검출한다(블록 315). 후술되는 바와 같이, 객체 검출기는 간단한 사전 프로그램된 검출기일 수 있다. 전자 프로세서(210)는 이어서 고화질 지도를 상기 이미지에 투영한다(블록 320). 전자 프로세서(210)는 제 1 복수의 피처들을 제 2 복수의 피처들과 정렬시킴으로써 고화질 지도를 상기 이미지와 정렬한다(블록 325). 상기 전자 프로세서(210)는 그 후 상기 제 1 복수의 피처들 중 하나를 기술하는 라벨을 상기 제 2 복수의 피처들 중 대응하는 하나에 카피하여 라벨링된 이미지를 생성한다(블록 330). 그 후, 상기 라벨링된 이미지는 차량의 내비게이션을 돕는 데 사용된다(블록 335).
일부 실시예들에서, 도 3에 도시된 방법은 많은 반복들에 걸쳐 반복적으로 수행된다. 이 경우에, 객체 탐지기는 신경망으로 대체되거나 단순히 후속하는 반복들(예를 들면, 첫 번째 반복 이후) 동안 트레이닝되는 트레이닝되지 않은 신경망이다. 객체 검출기를 트레이닝시킨 후, 제 2 이미지 내의 제 2 복수의 피처들을 검출하는 것은 트레이닝된 검출기로 수행된다(블록 315 참조). 상기 방법이 후속하는 반복에서 완료되면, 업데이트된 검출들에 기초하여 라벨링된 이미지가 생성된다. 이러한 것은 라벨링된 이미지들의 향상된 정밀도를 갖는 업데이트된 이미지를 생성시킨다. 이로써 신경망은 라벨링된 카메라 이미지들에 기초하여 객체 검출 및 정렬을 향상시키도록 트레이닝된다. 이러한 프로세스는 아래에서 더 자세하게 설명된다.
고화질 지도를 이미지에 투영하기 전에(블록 315 참조), 센서(115)의 정확한 포즈(pose)가 결정된다. 그리고 고화질 지도에 대한 센서 포즈가 결정된다. 도 4는 카메라 이미지 프레임에 투영된 고화질 지도의 예를 보여준다. 고화질 지도와 관련하여 센서 포즈를 찾는 것은 국부화 기술들을 사용하여 수행된다. 그러나, 카메라 이미지들을 라벨링하는 프로세스(블록 330 참조)에 있어서, 오프라인 그래프 최적화 동안 전체 시계열 측정들이 수행될 수 있다. 라벨링 프로세스는 세 가지의 일반화된 단계들로 구성된다: 1) GPS 및 상대 모션 제약들(relative motion constraints)만을 사용하는 대략적인 포즈 그래프 정렬(coarse pose graph alignment); 2) 차선 표시 제약들을 상기 그래프에 추가하는 차선 정렬; 3) 해당 그래프 포즈에서 시작하여 이미지 마다 재투영 최적화(reprojection optimization)를 사용하는 이미지 공간에서의 픽셀 정밀도 정제(pixel-accurate refinement).
도 5는 그래프를 생성하고 상기 그래프를 고화질 지도에 매칭함으로써 완전한 트랙에 대한 초기의 대략적인 솔루션을 보여준다. 도 5의 좌측에서, GPS 측정들(505)과, 포즈 정점들(515)을 연결하는 6 자유도(six degrees of freedom)(6-DOF) 상대 모션 에지들(510)의 그래프(차선 표시 매칭들은 없음)가 구축된다. 그런 다음 그래프 최적화는 6-DOF 포즈 정점들을 이동시키면서 최소 에너지 솔루션을 찾는다. 이 단계 후에, 포즈 정점들은 최대 몇 미터까지 부정확할 수 있다. 상기 그래프를 도로(즉, 카메라 이미지)에 타이트하게 정렬하기 위해, 모든 지도 차선 표시들에 대한 검출된 차선 표시들(520)의 매칭들이 매칭 범위 임계값에 기초하여 추가된다. 매칭 범위 내의 모든 잠재적인 매칭들은 도 5의 좌측에서 볼 수 있는 바와 같이 유지될 수 있다. 일부 실시예들에서, 정렬을 위한 3 차원 차선 표시 검출들은 예를 들어, 대칭 로컬 임계값 필터가 있는 스테레오 카메라 셋업과 탑-햇 필터(top-hat filter)와 같은 간단한 기술들로 계산될 수 있다. 단순한 검출기(예를 들면, 트레이닝되지 않은 객체 검출기)는 이상치들(outliers)과 오검출들(misdetections)을 발생시킬 수 있지만, 이들은 일반적으로 그래프 정렬에 악영향을 미칠만큼 많지는 않다. 그러나, 단순한 검출기는 추가적인 견고성 향상을 위해 제 1 신경망 검출기로 대체된다. 일부 실시예들에서, 더글러스-피커 다각형화(Douglas-Peucker polygonization)를 실행함으로써 이러한 검출들로부터 라인 세그먼트들이 추출되고, 결과적인 3D 라인 세그먼트들이 대응하는 포즈 정점들(515)에 추가되어 매칭된다. 고도에 대한 GPS 측정들(505)의 불확실성으로 인해, 매칭 기준은 지구 타원체와 접하는 평면 공간에서 차선 표시들(520)의 2D 변위만을 고려한다. GPS 측정들(505)과 지도 프레임 사이의 상당한 편차들을 견고하게 처리하기 위해 4 미터의 초기 매칭 범위들이 사용될 수 있다. 매칭 범위는 반복적으로 줄어들게 된다. 도 5의 오른쪽에 도시된 바와 같이, 이상치 매칭들 및 그들의 바이어스가 그에 따라 제거된다. 이러한 접근법을 사용함으로써 상기 시스템이 커다란 초기 변위들을 강력하게 처리할 수 있게 한다.
도 6은 검출된 차선 표시들에 대한 지도 차선 표시들(520)의 초기 변위의 예를 도시한다. 이 예에서, 예시의 명확성을 위해 초기 변위는 과장되어 있다. 실제 초기 변위는 상당히 더 작을 수 있다(예를 들면, 차량(100)으로부터 대략 50 미터에서 나타날 수 있다). 도 6에서, 단순한 객체 검출기로부터의 검출된 차선 표시들(520) 및 투영된 차선 표시들(605)의 그래프 정렬 후 남아있는 변위가 도시되어 있다. 라인 세그먼트들 사이의 수직 평균 거리는 픽셀 정확도로 수정된 6-DOF 카메라 포즈를 해결하는 비선형 최적화를 위한 매칭 기준으로서 사용된다. 라인 세그먼트들 사이의 수직 평균 거리는 픽셀 정확도로 수정된 6-DOF 카메라 포즈를 해결하는 비선형 최적화를 위한 매칭 기준으로서 사용된다.
픽셀 정확도의 라벨들을 달성하기 위해, 이미지 공간 내의 라인 세그먼트들의 재투영 최적화가 수행된다. 이를 위해, 이전에 최적화된 그래프로부터의 정점 포즈를 초기화로 사용하여 3D 차선 표시 지도가 카메라 이미지에 투영된다. 일반적으로, 부정확한 6-DOF 모션 제약들과 작은 롤/피치 편차들(small roll/pitch deviations)은 초기 포즈가 우리의 목적에 충분하게 되지 못하게 한다.
이미지 공간에서의 라인 세그먼트들은 겹침과 수직 평균 거리에 기초하여 반복해서 매칭된다. 일부 실시예들에서, 수정된 6-DOF 카메라 포즈는 비선형 레벤버그-마쿼트(Levenberg-Marquardt) 최적화를 사용하여 결정된다. 각각의 반복 후, 매칭 거리 임계값은 이상치 매칭들로부터 바이어스를 연속적으로 제거하도록 절반으로 줄어든다. 일례에서, 모든 잠재적인 정상치들(inliers)을 포함하도록 32 픽셀 매칭 범위가 선택되고, 이상치 매칭들의 대부분을 제거하기 위해 4 픽셀 매칭 범위가 선택된다. 포즈들이 정제되면, 모든 지도 요소들이 정확하게 투영되어 고화질 이미지 레이블들을 생성할 수 있다.
일 실시예에서, 전자 프로세서(210)는 이미지 내의 모든 각각의 픽셀을 차선 표시에 속하는지 아닌지로 분류한다. 이러한 접근 방법은 반드시 정확한 라벨들을 요구하지는 않으며 몇 가지 장점들이 있다. 이러한 접근 방법을 사용하여, 전자 프로세서(210)는 차선 표시 폭과 같은 정보를 잃지 않고서 이미지에 대한 확률 지도들을 생성할 수 있다. 전자 프로세서(210)는 차선들의 수 또는 차선 표시들의 유형(예를 들면, 실선 또는 점선)에 대해 가정할 필요가 없다. 신경망 픽셀 단위 출력에 기초하여, 스플라인(spline)과 같은 널리 사용되는 접근 방식들을 사용하여 출력을 모델링하는 것이 여전히 가능하다.
차선 표시 검출은 풀리 컨볼루션 뉴럴 네트워크들을 사용함으로써 시맨틱 세그먼테이션 문제로서 해결될 수 있다. 이를 위해, 상당히 작지만 매우 정확한 네트워크가 사용될 수 있다. 상기 네트워크는 센서(115)로부터 들어오는 모든 카메라 이미지에 대해 실시간으로 실행될 수 있다.
도 7은 도 3에 도시된 방법을 사용하여 전자 프로세서(210)를 트레이닝시킨 후 전자 프로세서(210)를 사용하여 객체들을 검출하는 것을 도시한다. 특히, 도 7은 자동 생성된 라벨링된 이미지들에 대해 트레이닝된 후 신경망에 의해 검출된 객체들을 도시한다. 이 예에서, 검출된 차선 표시들(605)은 카메라 이미지에서의 실제 차선 표시들과 밀접하게 매칭된다.
다양한 특징들, 장점들, 및 실시예들이 다음의 청구 범위에서 설명된다.

Claims (20)

  1. 자동으로 라벨링된 이미지들을 사용하는 차량에 대한 내비게이션 방법에 있어서:
    제 1 복수의 피처들을 포함하는 지도를 상기 차량의 전자 프로세서에 로딩하는 단계;
    상기 차량의 카메라로 제 2 복수의 피처들을 포함하는 이미지를 캡처하는 단계;
    상기 이미지에 상기 지도를 투영하는 단계;
    상기 전자 프로세서로 상기 이미지 내의 상기 제 2 복수의 피처들을 검출하는 단계;
    상기 제 1 복수의 피처들을 상기 제 2 복수의 피처들과 정렬함으로써 상기 지도를 상기 이미지와 정렬시키는 단계;
    상기 제 1 복수의 피처들 중 하나를 기술하는 라벨을 상기 제 2 복수의 피처들 중 대응하는 하나에 카피하여 라벨링된 이미지를 생성하는 단계; 및
    상기 차량의 내비게이션을 보조하도록 상기 라벨링된 이미지를 사용하는 단계를 포함하는, 자동으로 라벨링된 이미지들을 사용하는 차량에 대한 내비게이션 방법.
  2. 제 1 항에 있어서, 상기 라벨링된 이미지로 상기 전자 프로세서 내의 객체 검출기(object detector)를 트레이닝하는 단계를 더 포함하는, 자동으로 라벨링된 이미지들을 사용하는 차량에 대한 내비게이션 방법.
  3. 제 2 항에 있어서, 상기 객체 검출기를 트레이닝한 후, 업데이트된 라벨링된 이미지를 생성하도록 상기 객체 검출기로 제 2 이미지 내의 제 2 복수의 피처들을 검출하는 단계를 더 포함하는, 자동으로 라벨링된 이미지들을 사용하는 차량에 대한 내비게이션 방법.
  4. 제 3 항에 있어서, 상기 업데이트된 라벨링된 이미지에 기초하여 상기 지도의 상기 제 2 이미지와의 정렬을 수정하는 단계를 더 포함하는, 자동으로 라벨링된 이미지들을 사용하는 차량에 대한 내비게이션 방법.
  5. 제 4 항에 있어서, 상기 제 2 이미지로 상기 전자 프로세서 내의 객체 검출기를 트레이닝하는 단계를 더 포함하는, 자동으로 라벨링된 이미지들을 사용하는 차량에 대한 내비게이션 방법.
  6. 제 1 항에 있어서, 상기 제 1 복수의 피처들 및 상기 제 2 복수의 피처들은 차선 표시들(lane markers)인, 자동으로 라벨링된 이미지들을 사용하는 차량에 대한 내비게이션 방법.
  7. 제 1 항에 있어서, 상기 제 1 복수의 피처들을 포함하는 지도를 로딩하는 단계는 고화질 지도(high-definition map)를 로딩하는 단계를 포함하고, 상기 고화질 지도 내에서 도로 인프라(roadway infrastructure)가 식별되는, 자동으로 라벨링된 이미지들을 사용하는 차량에 대한 내비게이션 방법.
  8. 제 1 항에 있어서, 상기 제 1 복수의 피처들을 포함하는 지도를 로딩하는 단계는 중앙 데이터베이스로부터 상기 지도를 수신하는 단계를 포함하는, 자동으로 라벨링된 이미지들을 사용하는 차량에 대한 내비게이션 방법.
  9. 제 1 항에 있어서, 상기 지도를 상기 전자 프로세서에 로딩하는 단계는 중앙 서버로부터 상기 지도를 다운로딩하는 단계를 포함하는, 자동으로 라벨링된 이미지들을 사용하는 차량에 대한 내비게이션 방법.
  10. 제 1 항에 있어서, 상기 지도를 상기 전자 프로세서에 로딩하는 단계는 상기 차량의 센서로부터의 입력에 기초하여 상기 지도를 생성하는 단계를 포함하는, 자동으로 라벨링된 이미지들을 사용하는 차량에 대한 내비게이션 방법.
  11. 자동으로 라벨링된 이미지들을 사용하여 차량을 내비게이션하는 시스템에 있어서:
    도로의 이미지를 캡처하도록 구성된 카메라; 및
    상기 카메라에 통신 가능하게 연결된 전자 프로세서로서,
    제 1 복수의 피처들을 포함하는 지도를 로딩하고,
    제 2 복수의 피처들을 포함하는 상기 이미지를 수신하고,
    상기 이미지에 상기 지도를 투영하고,
    상기 이미지 내의 상기 제 2 복수의 피처들을 검출하고,
    상기 제 1 복수의 피처들을 상기 제 2 복수의 피처들과 정렬시킴으로써 상기 지도를 상기 이미지와 정렬하고,
    상기 제 1 복수의 피처들 중 하나를 기술하는 라벨을 상기 제 2 복수의 피처들 중 대응하는 하나에 카피하여 라벨링된 이미지를 생성하고,
    상기 차량의 내비게이션을 보조하기 위해 상기 라벨링된 이미지를 사용하도록 구성된 상기 전자 프로세서를 포함하는, 자동으로 라벨링된 이미지들을 사용하여 차량을 내비게이션하는 시스템.
  12. 제 11 항에 있어서, 상기 전자 프로세서는 또한 상기 라벨링된 이미지로 상기 전자 프로세서 내의 객체 검출기를 트레이닝하도록 구성되는, 자동으로 라벨링된 이미지들을 사용하여 차량을 내비게이션하는 시스템.
  13. 제 12 항에 있어서, 상기 전자 프로세서는 또한 상기 객체 검출기를 트레이닝한 후, 업데이트된 라벨링된 이미지를 생성하도록 상기 객체 검출기로 제 2 이미지 내의 제 2 복수의 피처들을 검출하도록 구성되는, 자동으로 라벨링된 이미지들을 사용하여 차량을 내비게이션하는 시스템.
  14. 제 13 항에 있어서, 상기 전자 프로세서는 또한 상기 업데이트된 라벨링된 이미지에 기초하여 상기 지도의 상기 제 2 이미지와의 정렬을 수정하도록 구성되는, 자동으로 라벨링된 이미지들을 사용하여 차량을 내비게이션하는 시스템.
  15. 제 14 항에 있어서, 상기 전자 프로세서는 또한 상기 업데이트된 라벨링된 이미지로 상기 전자 프로세서 내의 객체 검출기를 트레이닝하도록 구성되는, 자동으로 라벨링된 이미지들을 사용하여 차량을 내비게이션하는 시스템.
  16. 제 11 항에 있어서, 상기 제 1 복수의 피처들 및 상기 제 2 복수의 피처들은 차선 표시들인, 자동으로 라벨링된 이미지들을 사용하여 차량을 내비게이션하는 시스템.
  17. 제 11 항에 있어서, 상기 전자 프로세서는 또한 고화질 지도(high-definition map)를 로딩하도록 구성되고, 상기 고화질 지도 내에서 도로 인프라가 식별되는, 자동으로 라벨링된 이미지들을 사용하여 차량을 내비게이션하는 시스템.
  18. 제 11 항에 있어서, 상기 전자 프로세서는 또한 중앙 데이터베이스로부터 상기 지도를 수신하도록 구성되는, 자동으로 라벨링된 이미지들을 사용하여 차량을 내비게이션하는 시스템.
  19. 제 11 항에 있어서, 상기 전자 프로세서는 또한 중앙 서버로부터 상기 지도를 다운로딩하도록 구성되는, 자동으로 라벨링된 이미지들을 사용하여 차량을 내비게이션하는 시스템.
  20. 제 11 항에 있어서, 상기 전자 프로세서는 또한 상기 차량의 센서로부터의 입력에 기초하여 상기 지도를 생성하도록 구성되는, 자동으로 라벨링된 이미지들을 사용하여 차량을 내비게이션하는 시스템.
KR1020197028921A 2017-04-03 2018-02-13 지도들에 기반한 차량용의 자동화된 이미지 라벨링 KR102583989B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/477,993 US10209089B2 (en) 2017-04-03 2017-04-03 Automated image labeling for vehicles based on maps
US15/477,993 2017-04-03
PCT/EP2018/053476 WO2018184757A1 (en) 2017-04-03 2018-02-13 Automated image labeling for vehicle based on maps

Publications (2)

Publication Number Publication Date
KR20190137087A KR20190137087A (ko) 2019-12-10
KR102583989B1 true KR102583989B1 (ko) 2023-10-05

Family

ID=61231241

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197028921A KR102583989B1 (ko) 2017-04-03 2018-02-13 지도들에 기반한 차량용의 자동화된 이미지 라벨링

Country Status (5)

Country Link
US (1) US10209089B2 (ko)
EP (1) EP3607272B1 (ko)
KR (1) KR102583989B1 (ko)
CN (1) CN110462343B (ko)
WO (1) WO2018184757A1 (ko)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170270406A1 (en) * 2016-03-18 2017-09-21 Qualcomm Incorporated Cloud-based processing using local device provided sensor data and labels
WO2018125938A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Enrichment of point cloud data for high-definition maps for autonomous vehicles
EP3637371B1 (en) * 2017-06-07 2023-03-22 Nissan Motor Co., Ltd. Map data correcting method and device
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US11312334B2 (en) 2018-01-09 2022-04-26 Tusimple, Inc. Real-time remote control of vehicles with high redundancy
CN111989716B (zh) 2018-01-11 2022-11-15 图森有限公司 用于自主车辆操作的监视系统
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US10685244B2 (en) 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
CN110458854B (zh) 2018-05-02 2022-11-15 北京图森未来科技有限公司 一种道路边缘检测方法和装置
WO2020056203A1 (en) 2018-09-13 2020-03-19 TuSimple Remote safe driving methods and systems
KR20200046437A (ko) * 2018-10-24 2020-05-07 삼성전자주식회사 영상 및 맵 데이터 기반 측위 방법 및 장치
US10942271B2 (en) 2018-10-30 2021-03-09 Tusimple, Inc. Determining an angle between a tow vehicle and a trailer
US10685252B2 (en) 2018-10-30 2020-06-16 Here Global B.V. Method and apparatus for predicting feature space decay using variational auto-encoder networks
CN111198890A (zh) * 2018-11-20 2020-05-26 北京图森智途科技有限公司 地图更新方法、路侧设备、车载装置、车辆和系统
US11501104B2 (en) 2018-11-27 2022-11-15 Here Global B.V. Method, apparatus, and system for providing image labeling for cross view alignment
CN111319629B (zh) 2018-12-14 2021-07-16 北京图森智途科技有限公司 一种自动驾驶车队的组队方法、装置及系统
US10922845B2 (en) * 2018-12-21 2021-02-16 Here Global B.V. Apparatus and method for efficiently training feature detectors
IL270540A (en) 2018-12-26 2020-06-30 Yandex Taxi Llc Method and system for training a machine learning algorithm to recognize objects from a distance
US10423840B1 (en) * 2019-01-31 2019-09-24 StradVision, Inc. Post-processing method and device for detecting lanes to plan the drive path of autonomous vehicle by using segmentation score map and clustering map
US10540572B1 (en) * 2019-01-31 2020-01-21 StradVision, Inc. Method for auto-labeling training images for use in deep learning network to analyze images with high precision, and auto-labeling device using the same
US10373004B1 (en) * 2019-01-31 2019-08-06 StradVision, Inc. Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image
CN110954112B (zh) * 2019-03-29 2021-09-21 北京初速度科技有限公司 一种导航地图与感知图像匹配关系的更新方法和装置
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
US11527012B2 (en) 2019-07-03 2022-12-13 Ford Global Technologies, Llc Vehicle pose determination
KR20210034253A (ko) 2019-09-20 2021-03-30 삼성전자주식회사 위치 추정 장치 및 방법
CN112667837A (zh) * 2019-10-16 2021-04-16 上海商汤临港智能科技有限公司 图像数据自动标注方法及装置
WO2021091039A1 (ko) * 2019-11-06 2021-05-14 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어 방법
US10867190B1 (en) 2019-11-27 2020-12-15 Aimotive Kft. Method and system for lane detection
CN111178161B (zh) * 2019-12-12 2022-08-23 重庆邮电大学 一种基于fcos的车辆追踪方法及系统
KR102270827B1 (ko) * 2020-02-21 2021-06-29 한양대학교 산학협력단 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
CN111724441A (zh) * 2020-05-28 2020-09-29 上海商汤智能科技有限公司 图像标注方法及装置、电子设备及存储介质
AU2021203567A1 (en) 2020-06-18 2022-01-20 Tusimple, Inc. Angle and orientation measurements for vehicles with multiple drivable sections
CN111735473B (zh) * 2020-07-06 2022-04-19 无锡广盈集团有限公司 一种能上传导航信息的北斗导航系统
CN112597328B (zh) * 2020-12-28 2022-02-22 推想医疗科技股份有限公司 标注方法、装置、设备及介质
DE102021205827A1 (de) 2021-06-09 2022-12-15 Robert Bosch Gesellschaft mit beschränkter Haftung Automatisierung in einem Fahrzeug anhand informationsminimierter Sensordaten
CN114128673B (zh) * 2021-12-14 2022-09-23 仲恺农业工程学院 基于混合深度神经网络的肉鸽精准饲喂方法
KR20240048297A (ko) 2022-10-06 2024-04-15 주식회사 엘지유플러스 도로 객체 검출을 위한 학습 방법, 장치 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160004915A1 (en) * 2014-07-07 2016-01-07 Here Global B.V. Lane Level Traffic
US20170039436A1 (en) * 2015-08-03 2017-02-09 Nokia Technologies Oy Fusion of RGB Images and Lidar Data for Lane Classification

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222583B1 (en) 1997-03-27 2001-04-24 Nippon Telegraph And Telephone Corporation Device and system for labeling sight images
JP3053172B2 (ja) * 1997-07-11 2000-06-19 日本電信電話株式会社 距離参照型景観ラベリング装置およびシステム
US7243229B2 (en) * 2001-10-02 2007-07-10 Hitachi, Ltd. Exclusive access control apparatus and method
CN101641610A (zh) * 2007-02-21 2010-02-03 电子地图北美公司 用于包含绝对及相对坐标的车辆导航及领航的系统及方法
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
EP2491344B1 (en) 2009-10-22 2016-11-30 TomTom Global Content B.V. System and method for vehicle navigation using lateral offsets
US9165196B2 (en) * 2012-11-16 2015-10-20 Intel Corporation Augmenting ADAS features of a vehicle with image processing support in on-board vehicle platform
DE102013101639A1 (de) 2013-02-19 2014-09-04 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
US9129161B2 (en) 2013-05-31 2015-09-08 Toyota Jidosha Kabushiki Kaisha Computationally efficient scene classification
US9435653B2 (en) 2013-09-17 2016-09-06 GM Global Technology Operations LLC Sensor-aided vehicle positioning system
US9734399B2 (en) 2014-04-08 2017-08-15 The Boeing Company Context-aware object detection in aerial photographs/videos using travel path metadata
US9569693B2 (en) 2014-12-31 2017-02-14 Here Global B.V. Method and apparatus for object identification and location correlation based on received images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160004915A1 (en) * 2014-07-07 2016-01-07 Here Global B.V. Lane Level Traffic
US20170039436A1 (en) * 2015-08-03 2017-02-09 Nokia Technologies Oy Fusion of RGB Images and Lidar Data for Lane Classification

Also Published As

Publication number Publication date
WO2018184757A1 (en) 2018-10-11
CN110462343A (zh) 2019-11-15
EP3607272B1 (en) 2022-04-27
KR20190137087A (ko) 2019-12-10
CN110462343B (zh) 2023-08-18
US20180283892A1 (en) 2018-10-04
US10209089B2 (en) 2019-02-19
EP3607272A1 (en) 2020-02-12

Similar Documents

Publication Publication Date Title
KR102583989B1 (ko) 지도들에 기반한 차량용의 자동화된 이미지 라벨링
CN109945858B (zh) 用于低速泊车驾驶场景的多传感融合定位方法
EP3732657B1 (en) Vehicle localization
KR102483649B1 (ko) 차량 위치 결정 방법 및 차량 위치 결정 장치
CN107180215B (zh) 基于库位和二维码的停车场自动建图与高精度定位方法
US10788830B2 (en) Systems and methods for determining a vehicle position
CN110160542B (zh) 车道线的定位方法和装置、存储介质、电子装置
Alonso et al. Accurate global localization using visual odometry and digital maps on urban environments
CN111856491B (zh) 用于确定车辆的地理位置和朝向的方法和设备
US8213706B2 (en) Method and system for real-time visual odometry
CN110392892B (zh) 生成分割的车辆图像数据的方法、对应的系统和车辆
CN110530372B (zh) 定位方法、路径确定方法、装置、机器人及存储介质
US20200353914A1 (en) In-vehicle processing device and movement support system
US20210365038A1 (en) Local sensing based autonomous navigation, and associated systems and methods
EP3842751A1 (en) System and method of generating high-definition map based on camera
de la Escalera et al. Stereo visual odometry in urban environments based on detecting ground features
Musleh et al. Visual ego motion estimation in urban environments based on uv disparity
US11733373B2 (en) Method and device for supplying radar data
US11514588B1 (en) Object localization for mapping applications using geometric computer vision techniques
Tseng et al. Self-calibration of the offset between GPS and semantic map frames for robust localization
Jarnea et al. Advanced driver assistance system for overtaking maneuver on a highway
US11798192B1 (en) Methods and apparatus for calibrating stereo imagery using motion of vehicle
US20240144487A1 (en) Method for tracking position of object and system for tracking position of object
Aldibaja et al. LIDAR Graph SLAM based Autonomous Vehicle Maps using XY and Yaw Dead-Reckoning Measurements
Li et al. Automatic Surround Camera Calibration Method in Road Scene for Self-driving Car

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant