KR20210111557A - 심층 학습 기반의 객체 분류 장치 및 그 방법 - Google Patents

심층 학습 기반의 객체 분류 장치 및 그 방법 Download PDF

Info

Publication number
KR20210111557A
KR20210111557A KR1020200026643A KR20200026643A KR20210111557A KR 20210111557 A KR20210111557 A KR 20210111557A KR 1020200026643 A KR1020200026643 A KR 1020200026643A KR 20200026643 A KR20200026643 A KR 20200026643A KR 20210111557 A KR20210111557 A KR 20210111557A
Authority
KR
South Korea
Prior art keywords
deep learning
objects
class
classifying
reference value
Prior art date
Application number
KR1020200026643A
Other languages
English (en)
Inventor
장소진
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020200026643A priority Critical patent/KR20210111557A/ko
Priority to US17/014,135 priority patent/US20210279523A1/en
Publication of KR20210111557A publication Critical patent/KR20210111557A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 심층 학습 기반의 객체 분류 장치 및 그 방법에 관한 것으로, 라이다 포인트들이 군집화된 사각기둥 형태의 객체들을 대상으로 각 객체의 너비 대비 길이의 비율을 산출하고, 이를 기반으로 객체들을 서로 구분하여 심층 학습을 수행하며, 상기 심층 학습의 결과를 이용하여 도로상의 객체들을 분류함으로써, 도로상의 각종 객체들을 정확도 높게 분류할 수 있는 심층 학습 기반의 객체 분류 장치 및 그 방법을 제공하고자 한다.
이를 위하여, 본 발명은 심층 학습 기반의 객체 분류 장치에 있어서, 제1 클래스의 객체들을 대상으로 심층 학습을 수행하는 제1 심층 학습부; 제2 클래스의 객체들을 대상으로 심층 학습을 수행하는 제2 심층 학습부; 및 도로상의 객체들을 상기 제1 클래스 또는 상기 제2 클래스로 구분하고, 상기 제1 심층 학습부의 학습 결과에 기초하여 상기 제1 클래스에 포함되는 객체들을 종류별로 분류하며, 상기 제2 심층 학습부의 학습 결과에 기초하여 상기 제2 클래스에 포함되는 객체들을 종류별로 분류하는 제어부를 포함한다.

Description

심층 학습 기반의 객체 분류 장치 및 그 방법{APPARATUS FOR CLASSIFYING OBJECT BASED ON DEEP LEARNING AND METHOD THEREOF}
본 발명은 심층 학습을 기반으로 도로상의 각종 객체를 정확도 높게 분류하는 기술에 관한 것이다.
일반적으로, 심층 학습(Deep Learning or Deep Neural Network)은 기계 학습(Machine Learning)의 한 종류로서, 입력과 출력 사이에 여러 층의 인공 신경망(ANN, Artificial Neural Network)이 구성되어 있으며, 이러한 인공 신경망은 구조와 해결할 문제 및 목적 등에 따라 콘볼루션 신경망(CNN, Convolution Neural Network) 또는 순환 신경망(RNN, Recurrent Neural Network) 등을 포함할 수 있다.
심층 학습은 분류(classification), 회귀(regression), 위치 인식(localization), 검출(detection), 분할(segmentation) 등 다양한 문제를 해결하기 위해 사용된다.
자율주행차량에서 도로상의 객체를 분류하는 종래의 기술은 라이다(LiDAR: Light Detection And Ranging) 센서를 이용하여 포인트 클라우드(Point Cloud) 형태의 고정밀 데이터를 획득하고, 상기 포인트들을 군집화하여 사각기둥 형태의 객체를 생성하며, 상기 생성된 객체의 너비(width)에 기초하여 상기 객체를 승용차 또는 화물차로 분류하였다.
동일한 객체라도 자차와의 거리와 방향에 따라 그 형태가 달라진다. 종래의 객체 분류 기술은 이러한 특성을 반영하지 못하는 객체의 너비에 기초하여 분류 과정을 수행하기 때문에 도로상의 객체들을 정확도 높게 분류해 내지 못하는 문제점이 있다.
이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진하기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.
상기와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 라이다 포인트들이 군집화된 사각기둥 형태의 객체들을 대상으로 각 객체의 너비 대비 길이의 비율을 산출하고, 이를 기반으로 객체들을 서로 구분하여 심층 학습을 수행하며, 상기 심층 학습의 결과를 이용하여 도로상의 객체들을 분류함으로써, 도로상의 각종 객체들을 정확도 높게 분류할 수 있는 심층 학습 기반의 객체 분류 장치 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 장치는, 심층 학습 기반의 객체 분류 장치에 있어서, 제1 클래스의 객체들을 대상으로 심층 학습을 수행하는 제1 심층 학습부; 제2 클래스의 객체들을 대상으로 심층 학습을 수행하는 제2 심층 학습부; 및 도로상의 객체들을 상기 제1 클래스 또는 상기 제2 클래스로 구분하고, 상기 제1 심층 학습부의 학습 결과에 기초하여 상기 제1 클래스에 포함되는 객체들을 종류별로 분류하며, 상기 제2 심층 학습부의 학습 결과에 기초하여 상기 제2 클래스에 포함되는 객체들을 종류별로 분류하는 제어부를 포함할 수 있다.
상기 제어부는 상기 객체들의 너비 대비 길이의 비율에 기초하여 상기 제1 클래스 또는 상기 제2 클래스로 구분할 수 있다.
상기 제어부는 너비 대비 길이의 비율이 기준치를 초과하는 객체들을 상기 제1 클래스로 구분하고, 너비 대비 길이의 비율이 기준치를 초과하지 않는 객체들을 상기 제2 클래스로 구분할 수 있다. 이때, 상기 기준치는 1.06일 수 있다.
상기 제어부는 상기 객체들을 승용차, 화물차, 이륜차, 보행자 중 어느 하나로 분류할 수 있다.
상기 객체는 라이다 포인트들이 군집화된 사각기둥 형태의 객체일 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 방법은, 심층 학습 기반의 객체 분류 방법에 있어서, 제1 심층 학습부가 제1 클래스의 객체들을 대상으로 심층 학습을 수행하는 단계; 제2 심층 학습부가 제2 클래스의 객체들을 대상으로 심층 학습을 수행하는 단계; 제어부가 도로상의 객체들을 제1 클래스 또는 제2 클래스로 구분하는 단계; 상기 제어부가 상기 제1 심층 학습부의 학습 결과에 기초하여 상기 제1 클래스로 구분된 객체들을 종류별로 분류하는 단계; 및 상기 제어부가 상기 제2 심층 학습부의 학습 결과에 기초하여 상기 제2 클래스로 구분된 객체들을 종류별로 분류하는 단계를 포함할 수 있다.
상기 객체들을 제1 클래스 또는 제2 클래스로 구분하는 단계는, 상기 객체들의 너비 대비 길이의 비율에 기초하여 구분할 수 있다.
상기 객체들을 제1 클래스 또는 제2 클래스로 구분하는 단계는, 너비 대비 길이의 비율이 기준치를 초과하는 객체들을 상기 제1 클래스로 구분하는 단계; 및 너비 대비 길이의 비율이 기준치를 초과하지 않는 객체들을 상기 제2 클래스로 구분하는 단계를 포함할 수 있다. 이때, 상기 기준치는 1.06일 수 있다.
상기 객체들의 종류는 승용차, 화물차, 이륜차, 보행자 중 적어도 하나 이상을 포함할 수 있다.
상기 객체는 라이다 포인트들이 군집화된 사각기둥 형태의 객체일 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 장치는, 심층 학습 기반의 객체 분류 장치에 있어서, 너비 대비 길이의 비율이 기준치를 초과하는 객체들을 대상으로 심층 학습을 수행하는 제1 심층 학습부; 너비 대비 길이의 비율이 기준치를 초과하지 않는 객체들을 대상으로 심층 학습을 수행하는 제2 심층 학습부; 및 도로상에 위치한 객체의 너비 대비 길이의 비율을 산출하고, 상기 산출한 너비 대비 길이의 비율이 기준치를 초과하면 상기 제1 심층 학습부의 학습 결과에 기초하여 분류하고, 상기 산출한 너비 대비 길이의 비율이 기준치를 초과하지 않으면 상기 제2 심층 학습부의 학습 결과에 기초하여 분류하는 제어부를 포함할 수 있다. 이때, 상기 기준치는 1.06일 수 있다.
상기 제어부는 상기 객체들을 승용차, 화물차, 이륜차, 보행자 중 어느 하나로 분류할 수 있다.
상기 객체는 라이다 포인트들이 군집화된 사각기둥 형태의 객체일 수 있다.
본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 장치 및 그 방법은, 라이다 포인트들이 군집화된 사각기둥 형태의 객체들을 대상으로 각 객체의 너비 대비 길이의 비율을 산출하고, 이를 기반으로 객체들을 서로 구분하여 심층 학습을 수행하며, 상기 심층 학습의 결과를 이용하여 도로상의 객체들을 분류함으로써, 도로상의 각종 객체들을 정확도 높게 분류할 수 있다.
도 1 은 본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 장치에 대한 구성도,
도 2 는 본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 장치에 적용되는 객체의 일예시도,
도 3 은 본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 장치에 대한 상세 구성도,
도 4 는 본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 장치에 이용되는 도로영상에 대한 일예시도,
도 5a는 본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 장치가 제1 기준치에 기초하여 도 4의 도로영상에서 객체들을 분류한 결과를 나타내는 일예시도,
도 5b는 본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 장치가 제2 기준치에 기초하여 도 4의 도로영상에서 객체들을 분류한 결과를 나타내는 일예시도,
도 5c는 본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 장치가 제3 기준치에 기초하여 도 4의 도로영상에서 객체들을 분류한 결과를 나타내는 일예시도,
도 6 은 본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 장치의 성능을 나타내는 일예시도,
도 7 은 본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 방법에 대한 흐름도,
도 8 은 본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 방법을 실행하기 위한 컴퓨팅 시스템을 보여주는 블록도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1 은 본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 장치에 대한 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 장치(100)는, 저장부(10), 입력부(20), 학습부(30), 및 제어부(40)를 포함할 수 있다. 이때, 본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 장치(100)를 실시하는 방식에 따라 각 구성요소는 서로 결합되어 하나로 구현될 수도 있고, 일부의 구성요소가 생략될 수도 있다. 특히, 학습부(30)는 제어부(40)에 병합되어 제어부(40)가 학습부(30)의 기능을 수행하도록 구현될 수 있다.
상기 각 구성요소들에 대해 살펴보면, 먼저 저장부(10)는 라이다 포인트들(라이다 센서에 의해 획득된 3D 포인트 클라우드)이 군집화된 사각기둥 형태의 객체들을 대상으로 각 객체의 너비 대비 길이의 비율을 산출하고, 이를 기반으로 객체들을 서로 구분하여 심층 학습을 수행하며, 상기 심층 학습의 결과를 이용하여 도로상의 객체들을 분류하는 과정에서 요구되는 각종 로직과 알고리즘 및 프로그램을 저장할 수 있다. 여기서, 상기 객체는 일례로 도 2에 도시된 바와 같다.
도 2 는 본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 장치에 적용되는 객체의 일예시도이다.
도 2에 도시된 바와 같이, 라이다 포인트들이 군집화된 사각기둥 형태의 객체(210)는 종방향(차량의 진행방향) 길이와 너비(횡방향 길이)를 갖는다. 참고로, 라이다 포인트들을 군집화하여 사각기둥 형태의 객체(210)를 생성하는 방식은 주지 관용의 기술로서 본 발명의 요지가 아니므로 어떠한 방식을 이용해도 무방하다.
저장부(10)는 객체의 너비 대비 길이의 비율을 산출하는 알고리즘을 별도로 저장할 수 있으며, 이때 상기 알고리즘은 하기의 [수학식 1]을 포함할 수 있다.
[수학식 1]
R = D ÷ W
여기서, R은 비율, D는 길이, W는 너비를 각각 의미한다.
저장부(10)는 너비 대비 길이의 비율이 기준치(일례로, 1.06)를 초과하는 객체들을 대상으로 심층 학습을 수행한 결과(제1 학습 결과)와 너비 대비 길이의 비율이 기준치를 초과하지 않는 객체들을 대상으로 심층 학습을 수행한 결과(제2 학습 결과)를 구분하여 저장할 수 있다. 이때, 상기 기준치는 설계자의 의도에 따라 임의로 변경 가능하다.
저장부(10)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 기록 매체(storage medium)를 포함할 수 있다.
입력부(20)는 도로상의 각종 장애물(일례로, 승용차, 화물차, 이륜차, 보행자 등)을 학습하는 과정에서 요구되는 학습 데이터를 입력받을 수 있다. 이때, 입력부(20)는 도로상의 각종 장애물들로부터 획득한 라이다 포인트들이 군집화된 사각기둥 형태의 객체를 학습 데이터로서 입력받을 수 있다.
입력부(20)는 도로상의 각종 장애물(객체)을 분류하는 과정에서 도로상의 각종 장애물들에 대한 라이다 포인트들이 군집화된 사각기둥 형태의 객체를 입력받을 수 있다.
이러한 입력부(20)는 라이다 센서를 구비할 수 있다. 라이다 센서는 환경인지 센서의 한 종류로서, 자율주행차량에 탑재되어 회전하면서 전방위에 레이저를 쏘아 반사되어 돌아오는 시간에 기초하여 반사체의 위치좌표 등을 측정한다. 즉, 라이다 센서는 도로상에서 차량의 전방을 향해 레이저 펄스(일례로 70KHz)를 발사한 후 반사되는 레이저 펄스로부터 포인트 클라우드 데이터를 생성할 수 있다.
아울러, 입력부(20)는 카메라, 레이더 센서, V2X 모듈, 정밀지도, GPS 수신기, 차량 네트워크를 더 포함할 수 있다.
카메라는 자율주행차량의 실내 룸 미러 뒷쪽에 장착되어 차량 주변에 위치한 차선, 차량, 사람 등을 포함하는 영상을 촬영할 수 있다.
레이더 센서는 전자기파 발사 후 물체에서 반사되는 전자기파를 수신하여 물체와의 거리, 물체의 방향 등을 측정할 수 있다. 이러한 레이더 센서는 자율주행차량의 전방 범퍼와 후측방에 장차될 수 있으며, 장거리 물체 인식이 가능하고 기상의 영향을 거의 받지 않는다.
V2X 모듈은 V2V(Vehicle to Vehicle, 미도시) 모듈과 V2I(Vehicle to Infrastructure, 미도시) 모듈을 포함할 수 있으며, V2V 모듈은 주변차량과 통신하여 타 주변차량의 위치, 속도, 가속도, 요레이트, 진행방향 등을 획득할 수 있고, V2I 모듈은 기반시설(Infrastructure)로부터 도로의 형태, 주변 구조물, 신호등 정보를 획득할 수 있다.
정밀지도는 자율주행용 지도로서, 차량의 정확한 위치 측정 및 자율주행의 안전성 강화를 위해 차선, 신호등, 표지판 정보 등을 포함할 수 있다.
GPS 수신기는 3개 이상의 GPS 위성으로부터 GPS 신호를 수신할 수 있다.
차량 네트워크는 자율주행차량 내 각 제어기 간의 통신을 위한 네트워크로서, CAN(Controller Area Network), LIN(Local Interconnect Network), 플렉스레이(FlexRay), MOST(Media Oriented Systems Transport), 이더넷(Ethernet) 등을 포함할 수 있다.
학습부(30)는 제어부(40)의 제어하에 입력부(10)를 통해 입력되는 학습 데이터를 구분하여 각각 심층 학습을 수행할 수 있다.
이러한 학습부(30)는 너비 대비 길이의 비율이 기준치를 초과하는 객체들을 대상으로 심층 학습을 수행하는 제1 심층 학습부(310)와 너비 대비 길이의 비율이 기준치를 초과하지 않는 객체들을 대상으로 심층 학습을 수행하는 제2 심층 학습부(320)를 구비할 수 있다.
제어부(40)는 상기 각 구성요소들이 제 기능을 정상적으로 수행할 수 있도록 전반적인 제어를 수행한다. 이러한 제어부(40)는 하드웨어의 형태로 구현되거나, 또는 소프트웨어의 형태로 구현되거나, 또는 하드웨어 및 소프트웨어가 결합된 형태로 구현될 수 있다. 바람직하게는, 제어부(40)는 마이크로프로세서로 구현될 수 있으나 이에 한정되는 것은 아니다.
특히, 제어부(40)는 라이다 포인트들이 군집화된 사각기둥 형태의 객체들을 대상으로 각 객체의 너비 대비 길이의 비율을 산출하고, 이를 기반으로 객체들을 서로 구분하여 심층 학습을 수행하며, 상기 심층 학습의 결과를 이용하여 도로상의 객체들을 분류하는 과정에서 요구되는 각종 제어를 수행할 수 있다.
이하, 도 3을 참조하여 제어부(40)의 동작에 대해 상세히 설명하기로 한다.
도 3 은 본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 장치에 대한 상세 구성도이다.
먼저, 심층 학습에 이용되는 객체들을 구분하는 과정으로서, 제어부(40)는 입력부(10)를 통해 입력되는 라이다 포인트들이 군집화된 사각기둥 형태의 객체들을 대상으로, 상기 [수학식 1]을 이용하여 각 객체의 너비 대비 길이의 비율을 산출하고, 상기 산출한 각 객체의 너비 대비 길이의 비율을 기준치와 비교할 수 있다.
제1 특징 추출부(411)는 상기 기준치를 초과하는 객체(410)를 대상으로 특징을 추출하고, 이를 제1 심층 학습부(310)로 입력할 수 있다.
제2 특징 추출부(421)는 상기 기준치를 초과하지 않는 객체(420)를 대상으로 특징을 추출하고, 이를 제2 심층 학습부(320)로 입력할 수 있다.
여기서, 제1 특징 추출부(411)가 추출하는 특징과, 제2 특징 추출부(421)가 추출하는 특징은 동일하며, 그 특징은 하기의 [표 1] 및 [표 2]와 같다. 아울러, 제1 특징 추출부(411)와 제2 특징 추출부(421)가 하기의 [표 1] 및 [표 2]와 같은 특징을 추출하는 기술 자체는 주지 관용의 기술로서 본 발명의 요지가 아닌 바 상세 설명은 하지 않기로 한다.
Figure pat00001
Figure pat00002
다음으로, 학습부(30)가 수행한 심층 학습의 결과를 이용하여 도로상의 객체들을 분류하는 과정으로서, 제어부(40)는 입력부(10)를 통해 입력되는 라이다 포인트들이 군집화된 사각기둥 형태의 객체들을 대상으로, 상기 [수학식 1]을 이용하여 각 객체의 너비 대비 길이의 비율을 산출하고, 상기 산출한 각 객체의 너비 대비 길이의 비율을 기준치와 비교할 수 있다.
제어부(40)는 너비 대비 길이의 비율이 기준치를 초과하는 객체들(제1 클래스 객체들)을 대상으로 하는 분류 과정과, 너비 대비 길이의 비율이 기준치를 초과하지 않는 객체들(제2 클래스 객체들)을 대상으로 하는 분류 과정을 서로 독립적으로 수행할 수 있다. 여기서, 분류 과정은 객체를 승용차, 화물차, 이륜차, 보행자, 기타(중앙 분리대 등) 중 어느 하나로 분류하는 과정을 의미한다. 이때, 승용차는 세단(Sedan), 밴(Van), SUV(Sport Utility Vehicle) 등을 포함하고, 화물차는 트럭, 트레일러 등을 포함할 수 있다.
제어부(40)는 저장부(10)에 저장되어 있는 제1 학습 결과에 기초하여 너비 대비 길이의 비율이 기준치를 초과하는 도로상의 객체들을 종류별로 분류하고, 저장부(10)에 저장되어 있는 제2 학습 결과에 기초하여 너비 대비 길이의 비율이 기준치를 초과하지 않는 도로상의 객체들을 종류별로 분류할 수 있다.
제어부(40)는 도로상에 위치한 객체의 너비 대비 길이의 비율을 산출하고, 상기 산출한 너비 대비 길이의 비율이 기준치를 초과하면 상기 제1 심층 학습부(310)의 학습 결과에 기초하여 분류하고, 상기 산출한 너비 대비 길이의 비율이 기준치를 초과하지 않으면 상기 제2 심층 학습부(320)의 학습 결과에 기초하여 분류할 수 있다. 이때, 학습 결과는 가중치(weight), 바이어스(Bias) 등을 포함할 수 있다.
이하, 도 4와 도 5a 내지 도 5c를 참조하여 기준치가 설정되는 과정에 대해 살펴보기로 한다.
도 4 는 본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 장치에 이용되는 도로영상에 대한 일예시도이다.
도 4에 도시된 바와 같이, 도로상에는 객체로서 복수의 승용차가 위치하고 있습니다. 따라서 본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 장치(100)는 도로상의 객체를 모두 승용차로 분류해야 한다.
도 5a는 본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 장치가 제1 기준치에 기초하여 도 4의 도로영상에서 객체들을 분류한 결과를 나타내는 일예시도이다.
도 5a에 도시된 바와 같이, 제어부(40)가 제1 기준치(일례로, 0.9)를 적용하여 도 4의 도로영상에서 복수의 객체를 분류한 결과, 대부분의 객체를 정상적으로 승용차(실선)로 분류하였으나, '510' 객체는 승용차임에도 불구하고 이를 화물차(점선)로 분류하는 오류가 발생하였다. 이는 제1 기준치로서 0.9를 설정할 경우 객체를 분류하는 과정에서 일부 오류가 발생할 수 있음을 의미한다.
도 5b는 본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 장치가 제2 기준치에 기초하여 도 4의 도로영상에서 객체들을 분류한 결과를 나타내는 일예시도이다.
도 5b에 도시된 바와 같이, 제어부(40)가 제2 기준치(일례로, 1.06)를 적용하여 도 4의 도로영상에서 복수의 객체를 분류한 결과, 모든 객체를 정상적으로 승용차(실선)로 분류하였다. 이는 제2 기준치로서 1.06을 설정할 경우 본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 장치(100)가 최상의 성능을 발휘할 수 있음을 의미한다.
도 5c는 본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 장치가 제3 기준치에 기초하여 도 4의 도로영상에서 객체들을 분류한 결과를 나타내는 일예시도이다.
도 5c에 도시된 바와 같이, 제어부(40)가 제3 기준치(일례로, 1.2)를 적용하여 도 4의 도로영상에서 복수의 객체를 분류한 결과, 대부분의 객체를 정상적으로 승용차(실선)로 분류하였으나, 일부 객체를 승용차와 화물차 중 어느 것으로도 인식하지 못하는 오류가 발생하였다. 이는 제3 기준치로서 1.2를 설정할 경우 객체를 분류하는 과정에서 일부 오류가 발생할 수 있음을 의미한다.
결국, 본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 장치(100)에 설정되는 기준치는 1.06이 바람직하다. 참고로, 이러한 기준치는 차량 환경과 시스템 환경 및 각종 파라미터에 따라 변경될 수 있다.
도 6 은 본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 장치의 성능을 나타내는 일예시도이다.
도 6에 도시된 바와 같이, 도로영상(600) 내에는 객체로서 복수의 승용차와 이륜차가 위치하고 있다.
상기 도로영상(600) 내 객체들을 분류한 결과, '610' 객체를 실선으로 표시한 바 정상적으로 승용차로 분류하였음을 알 수 있고, '620' 객체를 일점쇄선으로 표시한 바 정상적으로 이륜차로 분류하였음을 알 수 있다. 참고로, 도로영상(600)에서 분류되지 않은 승용차는 자차로부터 먼 거리에 위치하고 있어 라이다 센서에 의해 감지되지 않은 객체이다.
도 7 은 본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 방법에 대한 흐름도이다.
먼저, 제1 심층 학습부(310)가 제1 클래스의 객체들을 대상으로 심층 학습을 수행한다(701).
그리고, 제2 심층 학습부(320)가 제2 클래스의 객체들을 대상으로 심층 학습을 수행한다(702).
이후, 제어부(40)가 도로상의 객체들을 상기 제1 클래스 또는 상기 제2 클래스로 구분한다(703). 이때, 도로상의 객체들은 자율주행차량이 실제 도로 주행중에 획득한 객체(라이다 포인트들이 군집화된 사각기둥 형태의 객체)를 의미한다.
이후, 제어부(40)가 제1 심층 학습부(310)의 학습 결과에 기초하여 상기 제1 클래스로 구분된 객체들을 종류별로 분류하고, 제2 심층 학습부(320)의 학습 결과에 기초하여 상기 제2 클래스로 구분된 객체들을 종류별로 분류한다(704).
도 8 은 본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 방법을 실행하기 위한 컴퓨팅 시스템을 보여주는 블록도이다.
도 8을 참조하면, 상술한 본 발명의 일 실시예에 따른 심층 학습 기반의 객체 분류 방법은 컴퓨팅 시스템을 통해서도 구현될 수 있다. 컴퓨팅 시스템(1000)은 시스템 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory, 1310) 및 RAM(Random Access Memory, 1320)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, SSD(Solid State Drive), 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 저장부
20: 입력부
30: 학습부
40: 제어부

Claims (16)

  1. 제1 클래스의 객체들을 대상으로 심층 학습을 수행하는 제1 심층 학습부;
    제2 클래스의 객체들을 대상으로 심층 학습을 수행하는 제2 심층 학습부; 및
    도로상의 객체들을 상기 제1 클래스 또는 상기 제2 클래스로 구분하고, 상기 제1 심층 학습부의 학습 결과에 기초하여 상기 제1 클래스에 포함되는 객체들을 종류별로 분류하며, 상기 제2 심층 학습부의 학습 결과에 기초하여 상기 제2 클래스에 포함되는 객체들을 종류별로 분류하는 제어부
    를 구비한 심층 학습 기반의 객체 분류 장치.
  2. 제 1 항에 있어서,
    상기 제어부는,
    상기 객체들의 너비 대비 길이의 비율에 기초하여 상기 제1 클래스 또는 상기 제2 클래스로 구분하는 것을 특징으로 하는 심층 학습 기반의 객체 분류 장치.
  3. 제 1 항에 있어서,
    상기 제어부는,
    너비 대비 길이의 비율이 기준치를 초과하는 객체들을 상기 제1 클래스로 구분하고, 너비 대비 길이의 비율이 기준치를 초과하지 않는 객체들을 상기 제2 클래스로 구분하는 것을 특징으로 하는 심층 학습 기반의 객체 분류 장치.
  4. 제 3 항에 있어서,
    상기 기준치는,
    1.06인 것을 특징으로 하는 심층 학습 기반의 객체 분류 장치.
  5. 제 1 항에 있어서,
    상기 제어부는,
    상기 객체들을 승용차, 화물차, 이륜차, 보행자 중 어느 하나로 분류하는 것을 특징으로 하는 심층 학습 기반의 객체 분류 장치.
  6. 제 1 항에 있어서,
    상기 객체는,
    라이다 포인트들이 군집화된 사각기둥 형태의 객체인 것을 특징으로 하는 심층 학습 기반의 객체 분류 장치.
  7. 제1 심층 학습부가 제1 클래스의 객체들을 대상으로 심층 학습을 수행하는 단계;
    제2 심층 학습부가 제2 클래스의 객체들을 대상으로 심층 학습을 수행하는 단계;
    제어부가 도로상의 객체들을 상기 제1 클래스 또는 상기 제2 클래스로 구분하는 단계;
    상기 제어부가 상기 제1 심층 학습부의 학습 결과에 기초하여 상기 제1 클래스로 구분된 객체들을 종류별로 분류하는 단계; 및
    상기 제어부가 상기 제2 심층 학습부의 학습 결과에 기초하여 상기 제2 클래스로 구분된 객체들을 종류별로 분류하는 단계
    를 포함하는 심층 학습 기반의 객체 분류 방법.
  8. 제 7 항에 있어서,
    상기 도로상의 객체들을 제1 클래스 또는 제2 클래스로 구분하는 단계는,
    상기 객체들의 너비 대비 길이의 비율에 기초하여 구분하는 것을 특징으로 하는 심층 학습 기반의 객체 분류 방법.
  9. 제 7 항에 있어서,
    상기 도로상의 객체들을 제1 클래스 또는 제2 클래스로 구분하는 단계는,
    너비 대비 길이의 비율이 기준치를 초과하는 객체들을 상기 제1 클래스로 구분하는 단계; 및
    너비 대비 길이의 비율이 기준치를 초과하지 않는 객체들을 상기 제2 클래스로 구분하는 단계
    를 포함하는 심층 학습 기반의 객체 분류 방법.
  10. 제 9 항에 있어서,
    상기 기준치는,
    1.06인 것을 특징으로 하는 심층 학습 기반의 객체 분류 방법.
  11. 제 7 항에 있어서,
    상기 객체들의 종류는,
    승용차, 화물차, 이륜차, 보행자 중 적어도 하나 이상을 포함하는 심층 학습 기반의 객체 분류 방법.
  12. 제 7 항에 있어서,
    상기 객체는,
    라이다 포인트들이 군집화된 사각기둥 형태의 객체인 것을 특징으로 하는 심층 학습 기반의 객체 분류 방법.
  13. 너비 대비 길이의 비율이 기준치를 초과하는 객체들을 대상으로 심층 학습을 수행하는 제1 심층 학습부;
    너비 대비 길이의 비율이 기준치를 초과하지 않는 객체들을 대상으로 심층 학습을 수행하는 제2 심층 학습부; 및
    도로상에 위치한 객체의 너비 대비 길이의 비율을 산출하고, 상기 산출한 너비 대비 길이의 비율이 기준치를 초과하면 상기 제1 심층 학습부의 학습 결과에 기초하여 분류하고, 상기 산출한 너비 대비 길이의 비율이 기준치를 초과하지 않으면 상기 제2 심층 학습부의 학습 결과에 기초하여 분류하는 제어부
    를 포함하는 심층 학습 기반의 객체 분류 장치.
  14. 제 13 항에 있어서,
    상기 기준치는,
    1.06인 것을 특징으로 하는 심층 학습 기반의 객체 분류 장치.
  15. 제 13 항에 있어서,
    상기 제어부는,
    상기 객체들을 승용차, 화물차, 이륜차, 보행자 중 어느 하나로 분류하는 것을 특징으로 하는 심층 학습 기반의 객체 분류 장치.
  16. 제 13 항에 있어서,
    상기 객체는,
    라이다 포인트들이 군집화된 사각기둥 형태의 객체인 것을 특징으로 하는 심층 학습 기반의 객체 분류 장치.
KR1020200026643A 2020-03-03 2020-03-03 심층 학습 기반의 객체 분류 장치 및 그 방법 KR20210111557A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200026643A KR20210111557A (ko) 2020-03-03 2020-03-03 심층 학습 기반의 객체 분류 장치 및 그 방법
US17/014,135 US20210279523A1 (en) 2020-03-03 2020-09-08 Apparatus for clarifying object based on deep learning and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200026643A KR20210111557A (ko) 2020-03-03 2020-03-03 심층 학습 기반의 객체 분류 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20210111557A true KR20210111557A (ko) 2021-09-13

Family

ID=77554825

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200026643A KR20210111557A (ko) 2020-03-03 2020-03-03 심층 학습 기반의 객체 분류 장치 및 그 방법

Country Status (2)

Country Link
US (1) US20210279523A1 (ko)
KR (1) KR20210111557A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11985746B2 (en) * 2020-11-24 2024-05-14 William Tulloch Sensor to control lantern based on surrounding conditions

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010030794A1 (en) * 2008-09-10 2010-03-18 Digital Infuzion, Inc. Machine learning methods and systems for identifying patterns in data
US9335766B1 (en) * 2013-12-06 2016-05-10 Google Inc. Static obstacle detection
WO2017074966A1 (en) * 2015-10-26 2017-05-04 Netradyne Inc. Joint processing for embedded data inference
US10796569B2 (en) * 2016-01-26 2020-10-06 Mitsubishi Electric Corporation Vehicle determination apparatus, vehicle determination method, and computer readable medium
US9805276B2 (en) * 2016-03-31 2017-10-31 Toyota Jidosha Kabushiki Kaisha Generating real-time driver familiarity index for fine-grained dynamic road scenes
US10657364B2 (en) * 2016-09-23 2020-05-19 Samsung Electronics Co., Ltd System and method for deep network fusion for fast and robust object detection
US20180181823A1 (en) * 2016-12-28 2018-06-28 Nxp Usa, Inc. Distributed image cognition processing system
US10078790B2 (en) * 2017-02-16 2018-09-18 Honda Motor Co., Ltd. Systems for generating parking maps and methods thereof
US11726571B2 (en) * 2017-09-20 2023-08-15 Niki Mani Assistive device for non-visually discerning a three-dimensional (3D) real-world area surrounding a user
US10962650B2 (en) * 2017-10-31 2021-03-30 United States Of America As Represented By The Administrator Of Nasa Polyhedral geofences
US10816992B2 (en) * 2018-04-17 2020-10-27 Baidu Usa Llc Method for transforming 2D bounding boxes of objects into 3D positions for autonomous driving vehicles (ADVs)
US10921817B1 (en) * 2018-06-29 2021-02-16 Zoox, Inc. Point cloud filtering with semantic segmentation
US10810445B1 (en) * 2018-06-29 2020-10-20 Zoox, Inc. Pipeline with point cloud filtering
CN113168505B (zh) * 2018-07-17 2024-04-09 辉达公司 用于自主驾驶机器的基于回归的线检测
US11246527B2 (en) * 2018-08-31 2022-02-15 Seno Medical Instruments, Inc. Method and system for managing feature reading and scoring in ultrasound and/or optoacoustice images
US10922817B2 (en) * 2018-09-28 2021-02-16 Intel Corporation Perception device for obstacle detection and tracking and a perception method for obstacle detection and tracking
US11353577B2 (en) * 2018-09-28 2022-06-07 Zoox, Inc. Radar spatial estimation
US10832062B1 (en) * 2018-09-28 2020-11-10 Zoox, Inc. Image embedding for object tracking
US11215997B2 (en) * 2018-11-30 2022-01-04 Zoox, Inc. Probabilistic risk assessment for trajectory evaluation
US10817732B2 (en) * 2018-12-20 2020-10-27 Trimble Inc. Automated assessment of collision risk based on computer vision
US10867210B2 (en) * 2018-12-21 2020-12-15 Waymo Llc Neural networks for coarse- and fine-object classifications
WO2020141694A1 (en) * 2019-01-04 2020-07-09 Seoul Robotics Co., Ltd. Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server
US10402977B1 (en) * 2019-01-25 2019-09-03 StradVision, Inc. Learning method and learning device for improving segmentation performance in road obstacle detection required to satisfy level 4 and level 5 of autonomous vehicles using laplacian pyramid network and testing method and testing device using the same
US11482011B2 (en) * 2019-03-28 2022-10-25 Intel Corporation Acceleration of data processing for object detection
US11475277B2 (en) * 2019-05-16 2022-10-18 Google Llc Accurate and interpretable classification with hard attention
US11605236B2 (en) * 2019-06-28 2023-03-14 Zoox, Inc. Training a machine-learned model to detect low variance regions
US11610078B2 (en) * 2019-06-28 2023-03-21 Zoox, Inc. Low variance region detection for improved high variance region detection using machine learning
US11250296B2 (en) * 2019-07-24 2022-02-15 Nvidia Corporation Automatic generation of ground truth data for training or retraining machine learning models
US11532168B2 (en) * 2019-11-15 2022-12-20 Nvidia Corporation Multi-view deep neural network for LiDAR perception
WO2021138010A1 (en) * 2019-12-31 2021-07-08 Nvidia Corporation Three-dimensional intersection structure prediction for autonomous driving applications
EP3869390A1 (de) * 2020-02-18 2021-08-25 dspace digital signal processing and control engineering GmbH Computerimplementiertes verfahren und system zum erzeugen einer virtuellen fahrzeugumgebung
US11195033B2 (en) * 2020-02-27 2021-12-07 Gm Cruise Holdings Llc Multi-modal, multi-technique vehicle signal detection
US11544509B2 (en) * 2020-06-30 2023-01-03 Nielsen Consumer Llc Methods, systems, articles of manufacture, and apparatus to classify labels based on images using artificial intelligence
US11810364B2 (en) * 2020-08-10 2023-11-07 Volvo Car Corporation Automated road damage detection
US11430224B2 (en) * 2020-10-23 2022-08-30 Argo AI, LLC Systems and methods for camera-LiDAR fused object detection with segment filtering
US11410388B1 (en) * 2021-03-16 2022-08-09 Huawei Technologies Co., Ltd. Devices, systems, methods, and media for adaptive augmentation for a point cloud dataset used for training

Also Published As

Publication number Publication date
US20210279523A1 (en) 2021-09-09

Similar Documents

Publication Publication Date Title
US11091161B2 (en) Apparatus for controlling lane change of autonomous vehicle and method thereof
US10793162B2 (en) Method and system for predicting driving path of neighboring vehicle
US9925920B2 (en) Extended lane blind spot detection
US11370386B2 (en) ADAS-linked active hood apparatus for always-on operation
JP7040374B2 (ja) 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム
CN110490217B (zh) 用于改进对象检测和对象分类的方法和系统
EP2889641A1 (en) Image processing apparatus, image processing method, program and image processing system
GB2559250A (en) Parking-lot-navigation system and method
US20210107486A1 (en) Apparatus for determining lane change strategy of autonomous vehicle and method thereof
US20170097414A1 (en) Apparatus and method for detecting object on road
US20210109536A1 (en) Apparatus for Determining Lane Change Path of Autonomous Vehicle and Method Thereof
US10764510B2 (en) Image conversion device
KR20210005395A (ko) 자율주행차량의 유턴 전략 결정 장치 및 그 방법
CN113715806A (zh) 基于车道的车辆控制
KR20210120393A (ko) 자율주행차량의 제어권 전환 장치 및 그 방법
US11507093B2 (en) Behavior control device and behavior control method for autonomous vehicles
KR20210111557A (ko) 심층 학습 기반의 객체 분류 장치 및 그 방법
CN112249016A (zh) 用于自动驾驶车辆的掉头控制系统和方法
US20210302564A1 (en) Radar apparatus and method for classifying object
KR20220129143A (ko) 군집 주행 제어 장치 및 그의 경로 생성 방법
US20210389463A1 (en) Apparatus for clustering lidar data, system having the same and method thereof
KR101766138B1 (ko) 전방 차량 검출 장치
US20240044669A1 (en) Apparatus for preventing misrecognition of object in vehicle and method therefor
JP2020052909A (ja) 提供装置および提供方法
US20220319191A1 (en) Control device and control method for mobile object, and storage medium

Legal Events

Date Code Title Description
A201 Request for examination