KR20200094644A - V2x 정보 융합 기술을 통해 획득된, 각 객체에 대한 깊이 예측 정보 및 각 객체에 대한 클래스 정보를 이용해 3d 공간을 재구축함으로써 hd 맵을 업데이트하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치 - Google Patents

V2x 정보 융합 기술을 통해 획득된, 각 객체에 대한 깊이 예측 정보 및 각 객체에 대한 클래스 정보를 이용해 3d 공간을 재구축함으로써 hd 맵을 업데이트하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치 Download PDF

Info

Publication number
KR20200094644A
KR20200094644A KR1020200001730A KR20200001730A KR20200094644A KR 20200094644 A KR20200094644 A KR 20200094644A KR 1020200001730 A KR1020200001730 A KR 1020200001730A KR 20200001730 A KR20200001730 A KR 20200001730A KR 20200094644 A KR20200094644 A KR 20200094644A
Authority
KR
South Korea
Prior art keywords
test
learning
coordinate
information
neural network
Prior art date
Application number
KR1020200001730A
Other languages
English (en)
Other versions
KR102373493B1 (ko
Inventor
김계현
김용중
김학경
남운현
부석훈
성명철
신동수
여동훈
유우주
이명춘
이형수
장태웅
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20200094644A publication Critical patent/KR20200094644A/ko
Application granted granted Critical
Publication of KR102373493B1 publication Critical patent/KR102373493B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3691—Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Atmospheric Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)

Abstract

HD 맵을 업데이트하기 위해 사용될 특정 정보를 선택하는 학습 방법에 있어서, (a) 학습 장치가, 좌표 뉴럴 네트워크로 하여금, 좌표 매트릭스에 좌표 뉴럴 네트워크 연산을 가하여 로컬 특징 맵 및 글로벌 특징 벡터를 생성하도록 하는 단계; (b) 상기 학습 장치가, 판단 뉴럴 네트워크로 하여금, 상기 통합 특징 맵에 판단 뉴럴 네트워크 연산을 가하여 제1 예측 적합도 스코어 내지 제N 예측 적합도 스코어를 생성하도록 하는 단계; 및 (c) 상기 학습 장치가 로스 레이어로 하여금, (i) 상기 제1 예측 적합도 스코어 내지 상기 제N 예측 적합도 스코어 및 (ii) 제1 GT(ground-truth) 적합도 스코어 내지 제N GT 적합도 스코어를 참조하여 로스를 생성하도록 하고, 상기 로스를 이용한 백프로퍼게이션(backpropagation)을 수행함으로써, 상기 판단 뉴럴 네트워크 및 상기 좌표 뉴럴 네트워크의 파라미터를 학습하도록 하는 단계;를 포함하는 방법이 제공된다.

Description

V2X 정보 융합 기술을 통해 획득된, 각 객체에 대한 깊이 예측 정보 및 각 객체에 대한 클래스 정보를 이용해 3D 공간을 재구축함으로써 HD 맵을 업데이트하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치{LEARNING METHOD AND LEARNING DEVICE FOR UPDATING HD MAP BY RECONSTRUCTING 3D SPACE BY USING DEPTH ESTIMATION INFORMATION AND CLASS INFORMATION ON EACH OBJECT, WHICH HAVE BEEN ACQUIRED THROUGH V2X INFORMATION INTEGRATION TECHNIQUE, AND TESTING METHOD AND TESTING DEVICE USING THE SAME}
본 발명은 자율 주행 차량에 이용하기 위한 학습 방법 및 학습 장치에 관한 것으로; 보다 상세하게는, 3D 공간을 재구축하고 HD 맵(High Definition Map)을 업데이트하는 상기 학습 방법 및 상기 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치에 관한 것이다.
최근 차량의 자율 주행 기술이 각광받고 있다. 자율 주행 기술이란, 차량에 탑재된 센서, 카메라 등의, 외부 정보를 획득할 수 있는 모듈들을 통해 외부 정보를 수집하고, 이를 이용해 차량이 안전하게 주행되도록 하는 기술을 의미한다.
자율 주행 기술에서 필수적으로 요구되는 것이 HD 맵(High Definition Map)인데, HD 맵은 정보가 고밀도로 집약되어 있고 센티미터 단위의 정확성을 가지는 지도로, 자율 주행 차량의 안전한 주행을 위해선 이와 같은 좋은 지도가 필요하기 때문이다.
하지만, 이와 같은 HD 맵을 만드는 것은 매우 어렵고, 시간과 비용이 많이 투입되는 작업이다. 이는, HD 맵에 들어갈 정보를 수집하기 위해, 적정 장비를 탑재한 차량을 방방곡곡 이동시켜야 하고, 추출된 정보에 임시적인 정보, 예를 들면 도로변에 잠시 정차중인 차량 등의 정보가 포함되어 있지 않은지 매번 확인되어야 하기 때문이다. 이와 같은 높은 비용 때문에, HD 맵은 많이 만들어지지 못하고 있는 실정이다.
본 발명은 상술한 문제점을 해결하는 것을 목적으로 한다.
본 발명은 (i) V2X(vehicle-to-everything) 정보 융합 기술을 이용해 다수 차량 깊이 예측 (Multi-Vehicle Depth Estimation) 정보를 획득하여 적어도 하나의 HD 맵(High Definition Map)을 업데이트하고, (ii) 상기 다수 차량 깊이 예측 정보를 이용해 3D 공간 재구축을 수행하는 학습 방법을 제공함으로써, 차량이 더욱 안전하게 자율 주행을 수행할 수 있도록 지원하는 것을 다른 목적으로 한다.
본 발명은 데이터 획득 차량으로부터 획득된 지도 데이터를 분류하고 평가하여 HD 맵을 업데이트하는 방법을 제공할 수 있도록 하는 것을 또 다른 목적으로 한다.
본 발명은 지도 데이터에 대한 로컬 정보와 글로벌 정보를 참조하여 지도 데이터를 평가할 수 있는 방법을 제공할 수 있도록 하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 다수의 차량을 통해 획득된 정보 중, HD 맵(High Definition Map)을 업데이트하기 위해 사용될 특정 정보를 선택하는 학습 방법에 있어서, (a) 학습 장치가, 타겟 영역 내에서 검출된 제1 클라우드 포인트 내지 제N 클라우드 포인트에 대응하는 제1 좌표 내지 제N 좌표에 대한 정보를 포함하는 적어도 하나의 좌표 매트릭스가 획득되면, 좌표 뉴럴 네트워크로 하여금, 상기 좌표 매트릭스에 적어도 하나의 좌표 뉴럴 네트워크 연산을 가하여 적어도 하나의 로컬 특징 맵 및 적어도 하나의 글로벌 특징 벡터를 생성하도록 하는 단계; (b) 상기 학습 장치가, (i) 상기 로컬 특징 맵, (ii) 상기 글로벌 특징 벡터 및 (iii) 상기 제1 클라우드 포인트 내지 상기 제N 클라우드 포인트에 대응하는 제1 클래스 정보 내지 제N 클래스 정보에 대한 정보를 포함하는 적어도 하나의 클래스 매트릭스를 통합하여 생성된 적어도 하나의 통합 특징 맵이 획득되면, 판단 뉴럴 네트워크로 하여금, 상기 통합 특징 맵에 적어도 하나의 판단 뉴럴 네트워크 연산을 가하여, 각각의 상기 제1 클라우드 포인트 내지 상기 제N 클라우드 포인트에 대한 정보가 상기 HD 맵의 업데이트에 사용될 확률 각각을 나타내는 제1 예측 적합도 스코어 내지 제N 예측 적합도 스코어를 생성하도록 하는 단계; 및 (c) 상기 학습 장치가 로스 레이어로 하여금, (i) 상기 제1 예측 적합도 스코어 내지 상기 제N 예측 적합도 스코어 및 (ii) 제1 GT(ground-truth) 적합도 스코어 내지 제N GT 적합도 스코어를 참조하여 로스를 생성하도록 하고, 상기 로스를 이용한 백프로퍼게이션(backpropagation)을 수행함으로써, 상기 판단 뉴럴 네트워크 및 상기 좌표 뉴럴 네트워크의 파라미터 중 적어도 일부를 학습하도록 하는 단계;를 포함하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (a) 단계에서, 상기 학습 장치가, 상기 좌표 뉴럴 네트워크의 적어도 하나의 좌표 컨벌루션 레이어에 포함된 하나 이상의 좌표 컨벌루션 뉴런 각각으로 하여금, 이의 파라미터를 이용해 적어도 하나의 좌표 컨벌루션 뉴런 연산을 입력된 값에 가한 후 출력된 값을 각각 다음 좌표 컨벌루션 뉴런에 전달하도록 함으로써, 상기 좌표 뉴럴 네트워크 연산 중 적어도 일부인 적어도 하나의 좌표 컨벌루션 연산을 상기 좌표 매트릭스에 가함으로써, 상기 로컬 특징 맵을 생성하도록 한다.
일 실시예에서, 상기 (a) 단계에서, 상기 학습 장치가, 상기 좌표 뉴럴 네트워크의 글로벌 특징 레이어로 하여금, 상기 좌표 뉴럴 네트워크 연산 중 적어도 일부인 적어도 하나의 글로벌 특징 연산을 상기 로컬 특징 맵에 가하여 상기 글로벌 특징 벡터를 생성하도록 한다.
일 실시예에서, 상기 (b) 단계에서, 상기 통합 특징 맵은, (i) 특정 순서대로 정렬된 상기 제1 클래스 정보 내지 상기 제N 클래스 정보를 성분으로서 포함하는 상기 클래스 매트릭스, (ii) 상기 특정 순서대로 정렬된, 상기 제1 클라우드 포인트 내지 상기 제N 클라우드 포인트 각각에 대응하는 각각의 특징 값을 성분으로서 포함하는 상기 로컬 특징 맵 및 (iii) 상기 글로벌 특징 벡터를 N번 복제하여 생성된 글로벌 특징 맵을 채널 방향 컨캐터네이팅(Channel-wise Concatenating)하여 생성된다.
일 실시예에서, 상기 (b) 단계에서, 상기 학습 장치가, (i) 상기 판단 뉴럴 네트워크의 적어도 하나의 판단 컨벌루션 레이어에 포함된 하나 이상의 판단 컨벌루션 뉴런 각각으로 하여금, 이의 파라미터를 이용해 적어도 하나의 판단 컨벌루션 뉴런 연산을 입력된 값에 가한 후 출력된 값을 각각 다음 판단 컨벌루션 뉴런에 전달하도록 함으로써, 상기 판단 뉴럴 네트워크 연산 중 적어도 일부인 적어도 하나의 판단 컨벌루션 연산을 상기 판단 매트릭스에 가하도록 하고, 판단 특징 맵을 생성하도록 하며, (ii) 상기 판단 뉴럴 네트워크의 판단 출력 레이어로 하여금, 상기 판단 특징 맵을 참조하여 상기 제1 클라우드 포인트 내지 상기 제N 클라우드 포인트에 상기 판단 뉴럴 네트워크 연산 중 일부인 분류(classification) 연산을 가하여, 상기 제1 예측 적합도 스코어 내지 상기 제N 예측 적합도 스코어를 생성하도록 한다.
일 실시예에서, 상기 (c) 단계에서, 상기 학습 장치가 상기 로스 레이어로 하여금, 하기 수식에 따라 상기 로스를 생성하도록 하되,
Figure pat00001
Figure pat00002
은 상기 제1 클라우드 포인트 내지 제N 클라우드 포인트의 개수를 의미하고,
Figure pat00003
는 제I 예측 적합도 스코어를 의미하며,
Figure pat00004
는 제i GT 적합도 스코어를 의미한다.
일 실시예에서, 상기 (c) 단계에서, 상기 학습 장치가 상기 로스 레이어로 하여금, 경사 하강(gradient descent) 방법을 이용하여 상기 백프로퍼게이션을 수행함으로써, 이에 의해 조정된 상기 파라미터를 사용하여 생성될 후속 제1 예측 적합도 스코어 내지 후속 제N 예측 적합도 스코어가 이에 대응하는 후속 제1 GT 적합도 스코어 내지 후속 제N GT 적합도 스코어와 상대적으로 더 유사해지도록 한다.
일 실시예에서, 하나 이상의 데이터 획득 차량과 연동하는 서버가, (i) 각각의 상기 데이터 획득 차량을 통해 획득된 지도 데이터를, 각각의 상기 지도 데이터가 획득된 위치에 대한 각각의 위치 정보를 참조로 하여 분류하고, (ii) 상기 분류된 지도 데이터 내 상기 타겟 영역에 대한 타겟 정보를 이용하여 상기 좌표 매트릭스 및 상기 클래스 매트릭스를 생성하며, (iii) 상기 좌표 매트릭스 및 상기 클래스 매트릭스를 상기 학습 장치에 전달한다.
일 실시예에서, 상기 지도 데이터 중, 제1 특정 지도 데이터 및 제2 특정 지도 데이터가 동일한 특정 영역에 대응하는 경우, 상기 서버가 상기 제1 특정 지도 데이터 및 상기 제2 특정 지도 데이터에 적어도 하나의 통합 연산을 가하여 상기 제1 특정 지도 데이터 및 상기 제2 특정 지도 데이터를 통합한다.
일 실시예에서, 상기 데이터 획득 차량 각각은, (i) 적어도 하나의 카메라 및 적어도 하나의 깊이 센서 중 적어도 일부 및 (ii) 이에 대응하는 연산 모듈을 사용하여, 상기 데이터 획득 차량 각각으로부터 임계 거리 이하에 위치한 하나 이상의 객체에 대한 클라우드 포인트 정보 및 클래스 정보를 획득함으로써, 상기 지도 데이터 중 적어도 일부를 획득하고 이를 상기 서버에 전달한다.
일 실시예에서, 상기 서버는, (i) 상기 지도 데이터에 포함된, 상기 타겟 영역에 대응하는 특정 클라우드 포인트 정보를 사용하여 상기 좌표 매트릭스를 생성하는 프로세스 및 (ii) 상기 지도 데이터에 포함된, 상기 타겟 영역에 대응하는 특정 클래스 정보를 사용하여 상기 클래스 매트릭스를 생성하는 프로세스를 수행한다.
본 발명의 다른 태양에 따르면, 다수의 차량을 통해 획득된 정보 중, HD 맵을 업데이트하기 위해 사용될 특정 정보를 선택하는 테스팅 방법에 있어서, (a) (1) 학습 장치가, 학습용 타겟 영역 내에서 검출된 제1 학습용 클라우드 포인트 내지 제N 학습용 클라우드 포인트에 대응하는 제1 학습용 좌표 내지 제N 학습용 좌표에 대한 정보를 포함하는 적어도 하나의 학습용 좌표 매트릭스가 획득되면, 좌표 뉴럴 네트워크로 하여금, 상기 학습용 좌표 매트릭스에 적어도 하나의 좌표 뉴럴 네트워크 연산을 가하여 적어도 하나의 학습용 로컬 특징 맵 및 적어도 하나의 학습용 글로벌 특징 벡터를 생성하도록 하고, (2) 상기 학습 장치가, (i) 상기 학습용 로컬 특징 맵, (ii) 상기 학습용 글로벌 특징 벡터 및 (iii) 상기 제1 학습용 클라우드 포인트 내지 상기 제N 학습용 클라우드 포인트에 대응하는 제1 학습용 클래스 정보 내지 제N 학습용 클래스 정보에 대한 정보를 포함하는 적어도 하나의 학습용 클래스 매트릭스를 통합하여 생성된 적어도 하나의 학습용 통합 특징 맵이 획득되면, 판단 뉴럴 네트워크로 하여금, 상기 학습용 통합 특징 맵에 적어도 하나의 판단 뉴럴 네트워크 연산을 가하여, 각각의 상기 제1 학습용 클라우드 포인트 내지 상기 제N 학습용 클라우드 포인트에 대한 정보가 상기 학습용 HD 맵의 업데이트에 사용될 확률 각각을 나타내는 제1 학습용 예측 적합도 스코어 내지 제N 학습용 예측 적합도 스코어를 생성하도록 하며, (3) 상기 학습 장치가 로스 레이어로 하여금, (i) 상기 제1 학습용 예측 적합도 스코어 내지 상기 제N 학습용 예측 적합도 스코어 및 (ii) 제1 GT 적합도 스코어 내지 제N GT 적합도 스코어를 참조하여 로스를 생성하도록 하고, 상기 로스를 이용한 백프로퍼게이션을 수행함으로써, 상기 판단 뉴럴 네트워크 및 상기 좌표 뉴럴 네트워크의 파라미터 중 적어도 일부를 학습하도록 한 상태에서, 테스팅 장치가, 테스트용 타겟 영역 내에서 검출된 제1 테스트용 클라우드 포인트 내지 제N 테스트용 클라우드 포인트에 대응하는 제1 테스트용 좌표 내지 제N 테스트용 좌표에 대한 정보를 포함하는 적어도 하나의 테스트용 좌표 매트릭스가 획득되면, 상기 좌표 뉴럴 네트워크로 하여금, 상기 테스트용 좌표 매트릭스에 상기 좌표 뉴럴 네트워크 연산을 가하여 적어도 하나의 테스트용 로컬 특징 맵 및 적어도 하나의 테스트용 글로벌 특징 벡터를 생성하도록 하는 단계; 및 (b) 상기 테스팅 장치가, (i) 상기 테스트용 로컬 특징 맵, (ii) 상기 테스트용 글로벌 특징 벡터 및 (iii) 상기 제1 테스트용 클라우드 포인트 내지 상기 제N 테스트용 클라우드 포인트에 대응하는 제1 테스트용 클래스 정보 내지 제N 테스트용 클래스 정보에 대한 정보를 포함하는 적어도 하나의 테스트용 클래스 매트릭스를 통합하여 생성된 적어도 하나의 테스트용 통합 특징 맵이 획득되면, 상기 판단 뉴럴 네트워크로 하여금, 상기 테스트용 통합 특징 맵에 상기 판단 뉴럴 네트워크 연산을 가하여, 각각의 상기 제1 테스트용 클라우드 포인트 내지 상기 제N 테스트용 클라우드 포인트에 대한 정보가 테스트용 HD 맵의 업데이트에 사용될 확률 각각을 나타내는 제1 테스트용 예측 적합도 스코어 내지 제N 테스트용 예측 적합도 스코어를 생성하도록 하는 단계;를 포함하는 것을 특징으로 하는 테스팅 방법이 제공된다.
일 실시예에서, (c) 상기 테스팅 장치가, 업데이팅 모듈로 하여금, 상기 제1 테스트용 예측 적합도 스코어 내지 상기 제N 테스트용 예측 적합도 스코어 각각이 임계치 이상인지 여부를 판단하도록 하고, 상기 임계치 이상의 특정 예측 적합도 스코어를 갖는 하나 이상의 특정 클라우드 포인트에 대한 특정 정보를 이용하여 상기 테스트용 HD 맵을 업데이트하도록 하는 단계;를 더 포함한다.
일 실시예에서, 하나 이상의 테스트용 데이터 획득 차량과 연동하는 테스트용 서버가, (i) 각각의 상기 테스트용 데이터 획득 차량을 통해 획득된 테스트용 지도 데이터 각각을, 상기 테스트용 지도 데이터가 획득된 각각의 위치에 대한 각각의 테스트용 위치 정보를 참조로 하여 분류하고, (ii) 분류된 상기 테스트용 지도 데이터에 포함된, 상기 테스트용 타겟 영역에 대한 테스트용 타겟 정보를 이용하여 상기 테스트용 좌표 매트릭스 및 상기 테스트용 클래스 매트릭스를 생성하며, (iii) 상기 테스트용 좌표 매트릭스 및 상기 테스트용 클래스 매트릭스를 상기 테스팅 장치에 전달한다.
일 실시예에서, 상기 테스트용 서버는, (i) 상기 테스트용 지도 데이터에 포함된, 상기 테스트용 타겟 영역에 대응하는 테스트용 특정 클라우드 포인트 정보를 사용하여 상기 테스트용 좌표 매트릭스를 생성하는 프로세스 및 (ii) 상기 테스트용 지도 데이터에 포함된, 상기 테스트용 타겟 영역에 대응하는 테스트용 특정 클래스 정보를 사용하여 상기 테스트용 클래스 매트릭스를 생성하는 프로세스를 수행한다.
본 발명의 또 다른 태양에 따르면, 다수의 차량을 통해 획득된 정보 중, HD 맵을 업데이트하기 위해 사용될 특정 정보를 선택하는 학습 장치에 있어서, 인스트럭션을 저장하는 적어도 하나의 메모리; 및 (I) 타겟 영역 내에서 검출된 제1 클라우드 포인트 내지 제N 클라우드 포인트에 대응하는 제1 좌표 내지 제N 좌표에 대한 정보를 포함하는 적어도 하나의 좌표 매트릭스가 획득되면, 좌표 뉴럴 네트워크로 하여금, 상기 좌표 매트릭스에 적어도 하나의 좌표 뉴럴 네트워크 연산을 가하여 적어도 하나의 로컬 특징 맵 및 적어도 하나의 글로벌 특징 벡터를 생성하도록 하는 프로세스, (II) (i) 상기 로컬 특징 맵, (ii) 상기 글로벌 특징 벡터 및 (iii) 상기 제1 클라우드 포인트 내지 상기 제N 클라우드 포인트에 대응하는 제1 클래스 정보 내지 제N 클래스 정보에 대한 정보를 포함하는 적어도 하나의 클래스 매트릭스를 통합하여 생성된 적어도 하나의 통합 특징 맵이 획득되면, 판단 뉴럴 네트워크로 하여금, 상기 통합 특징 맵에 적어도 하나의 판단 뉴럴 네트워크 연산을 가하여, 각각의 상기 제1 클라우드 포인트 내지 상기 제N 클라우드 포인트에 대한 정보가 상기 HD 맵의 업데이트에 사용될 확률 각각을 나타내는 제1 예측 적합도 스코어 내지 제N 예측 적합도 스코어를 생성하도록 하는 프로세스, 및 (III) 로스 레이어로 하여금, (i) 상기 제1 예측 적합도 스코어 내지 상기 제N 예측 적합도 스코어 및 (ii) 제1 GT(ground-truth) 적합도 스코어 내지 제N GT 적합도 스코어를 참조하여 로스를 생성하도록 하고, 상기 로스를 이용한 백프로퍼게이션(backpropagation)을 수행함으로써, 상기 판단 뉴럴 네트워크 및 상기 좌표 뉴럴 네트워크의 파라미터 중 적어도 일부를 학습하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 학습 장치가 제공된다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서가, 상기 좌표 뉴럴 네트워크의 적어도 하나의 좌표 컨벌루션 레이어에 포함된 하나 이상의 좌표 컨벌루션 뉴런 각각으로 하여금, 이의 파라미터를 이용해 적어도 하나의 좌표 컨벌루션 뉴런 연산을 입력된 값에 가한 후 출력된 값을 각각 다음 좌표 컨벌루션 뉴런에 전달하도록 함으로써, 상기 좌표 뉴럴 네트워크 연산 중 적어도 일부인 적어도 하나의 좌표 컨벌루션 연산을 상기 좌표 매트릭스에 가함으로써, 상기 로컬 특징 맵을 생성하도록 한다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서가, 상기 좌표 뉴럴 네트워크의 글로벌 특징 레이어로 하여금, 상기 좌표 뉴럴 네트워크 연산 중 적어도 일부인 적어도 하나의 글로벌 특징 연산을 상기 로컬 특징 맵에 가하여 상기 글로벌 특징 벡터를 생성하도록 한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 통합 특징 맵은, (i) 특정 순서대로 정렬된 상기 제1 클래스 정보 내지 상기 제N 클래스 정보를 성분으로서 포함하는 상기 클래스 매트릭스, (ii) 상기 특정 순서대로 정렬된, 상기 제1 클라우드 포인트 내지 상기 제N 클라우드 포인트 각각에 대응하는 각각의 특징 값을 성분으로서 포함하는 상기 로컬 특징 맵 및 (iii) 상기 글로벌 특징 벡터를 N번 복제하여 생성된 글로벌 특징 맵을 채널 방향 컨캐터네이팅하여 생성된다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서가, (i) 상기 판단 뉴럴 네트워크의 적어도 하나의 판단 컨벌루션 레이어에 포함된 하나 이상의 판단 컨벌루션 뉴런 각각으로 하여금, 이의 파라미터를 이용해 적어도 하나의 판단 컨벌루션 뉴런 연산을 입력된 값에 가한 후 출력된 값을 각각 다음 판단 컨벌루션 뉴런에 전달하도록 함으로써, 상기 판단 뉴럴 네트워크 연산 중 적어도 일부인 적어도 하나의 판단 컨벌루션 연산을 상기 판단 매트릭스에 가하도록 하고, 판단 특징 맵을 생성하도록 하며, (ii) 상기 판단 뉴럴 네트워크의 판단 출력 레이어로 하여금, 상기 판단 특징 맵을 참조하여 상기 제1 클라우드 포인트 내지 상기 제N 클라우드 포인트에 상기 판단 뉴럴 네트워크 연산 중 일부인 분류 연산을 가하여, 상기 제1 예측 적합도 스코어 내지 상기 제N 예측 적합도 스코어를 생성하도록 한다.
일 실시예에서, 상기 (III) 프로세스에서, 상기 프로세서가 상기 로스 레이어로 하여금, 하기 수식에 따라 상기 로스를 생성하도록 하되,
Figure pat00005
Figure pat00006
은 상기 제1 클라우드 포인트 내지 제N 클라우드 포인트의 개수를 의미하고,
Figure pat00007
는 제I 예측 적합도 스코어를 의미하며,
Figure pat00008
는 제i GT 적합도 스코어를 의미한다.
일 실시예에서, 상기 (III) 프로세스에서, 상기 프로세서가 상기 로스 레이어로 하여금, 경사 하강(gradient descent) 방법을 이용하여 상기 백프로퍼게이션을 수행함으로써, 이에 의해 조정된 상기 파라미터를 사용하여 생성될 후속 제1 예측 적합도 스코어 내지 후속 제N 예측 적합도 스코어가 이에 대응하는 후속 제1 GT 적합도 스코어 내지 후속 제N GT 적합도 스코어와 상대적으로 더 유사해지도록 한다.
일 실시예에서, 하나 이상의 데이터 획득 차량과 연동하는 서버가, (i) 각각의 상기 데이터 획득 차량을 통해 획득된 지도 데이터를, 각각의 상기 지도 데이터가 획득된 위치에 대한 각각의 위치 정보를 참조로 하여 분류하고, (ii) 상기 분류된 지도 데이터 내 상기 타겟 영역에 대한 타겟 정보를 이용하여 상기 좌표 매트릭스 및 상기 클래스 매트릭스를 생성하며, (iii) 상기 좌표 매트릭스 및 상기 클래스 매트릭스를 상기 학습 장치에 전달한다.
일 실시예에서, 상기 지도 데이터 중, 제1 특정 지도 데이터 및 제2 특정 지도 데이터가 동일한 특정 영역에 대응하는 경우, 상기 서버가 상기 제1 특정 지도 데이터 및 상기 제2 특정 지도 데이터에 적어도 하나의 통합 연산을 가하여 상기 제1 특정 지도 데이터 및 상기 제2 특정 지도 데이터를 통합한다.
일 실시예에서, 상기 데이터 획득 차량 각각은, (i) 적어도 하나의 카메라 및 적어도 하나의 깊이 센서 중 적어도 일부 및 (ii) 이에 대응하는 연산 모듈을 사용하여, 상기 데이터 획득 차량 각각으로부터 임계 거리 이하에 위치한 하나 이상의 객체에 대한 클라우드 포인트 정보 및 클래스 정보를 획득함으로써, 상기 지도 데이터 중 적어도 일부를 획득하고 이를 상기 서버에 전달한다.
일 실시예에서, 상기 서버는, (i) 상기 지도 데이터에 포함된, 상기 타겟 영역에 대응하는 특정 클라우드 포인트 정보를 사용하여 상기 좌표 매트릭스를 생성하는 프로세스 및 (ii) 상기 지도 데이터에 포함된, 상기 타겟 영역에 대응하는 특정 클래스 정보를 사용하여 상기 클래스 매트릭스를 생성하는 프로세스를 수행한다.
본 발명의 또 다른 태양에 따르면, 다수의 차량을 통해 획득된 정보 중, HD 맵을 업데이트하기 위해 사용될 특정 정보를 선택하는 테스팅 장치에 있어서, 인스트럭션을 저장하는 적어도 하나의 메모리; 및 (I) (1) 학습 장치가, 학습용 타겟 영역 내에서 검출된 제1 학습용 클라우드 포인트 내지 제N 학습용 클라우드 포인트에 대응하는 제1 학습용 좌표 내지 제N 학습용 좌표에 대한 정보를 포함하는 적어도 하나의 학습용 좌표 매트릭스가 획득되면, 좌표 뉴럴 네트워크로 하여금, 상기 학습용 좌표 매트릭스에 적어도 하나의 좌표 뉴럴 네트워크 연산을 가하여 적어도 하나의 학습용 로컬 특징 맵 및 적어도 하나의 학습용 글로벌 특징 벡터를 생성하도록 하고, (2) 상기 학습 장치가, (i) 상기 학습용 로컬 특징 맵, (ii) 상기 학습용 글로벌 특징 벡터 및 (iii) 상기 제1 학습용 클라우드 포인트 내지 상기 제N 학습용 클라우드 포인트에 대응하는 제1 학습용 클래스 정보 내지 제N 학습용 클래스 정보에 대한 정보를 포함하는 적어도 하나의 학습용 클래스 매트릭스를 통합하여 생성된 적어도 하나의 학습용 통합 특징 맵이 획득되면, 판단 뉴럴 네트워크로 하여금, 상기 학습용 통합 특징 맵에 적어도 하나의 판단 뉴럴 네트워크 연산을 가하여, 각각의 상기 제1 학습용 클라우드 포인트 내지 상기 제N 학습용 클라우드 포인트에 대한 정보가 상기 학습용 HD 맵의 업데이트에 사용될 확률 각각을 나타내는 제1 학습용 예측 적합도 스코어 내지 제N 학습용 예측 적합도 스코어를 생성하도록 하며, (3) 상기 학습 장치가 로스 레이어로 하여금, (i) 상기 제1 학습용 예측 적합도 스코어 내지 상기 제N 학습용 예측 적합도 스코어 및 (ii) 제1 GT 적합도 스코어 내지 제N GT 적합도 스코어를 참조하여 로스를 생성하도록 하고, 상기 로스를 이용한 백프로퍼게이션을 수행함으로써, 상기 판단 뉴럴 네트워크 및 상기 좌표 뉴럴 네트워크의 파라미터 중 적어도 일부를 학습하도록 한 상태에서, 테스트용 타겟 영역 내에서 검출된 제1 테스트용 클라우드 포인트 내지 제N 테스트용 클라우드 포인트에 대응하는 제1 테스트용 좌표 내지 제N 테스트용 좌표에 대한 정보를 포함하는 적어도 하나의 테스트용 좌표 매트릭스가 획득되면, 상기 좌표 뉴럴 네트워크로 하여금, 상기 테스트용 좌표 매트릭스에 상기 좌표 뉴럴 네트워크 연산을 가하여 적어도 하나의 테스트용 로컬 특징 맵 및 적어도 하나의 테스트용 글로벌 특징 벡터를 생성하도록 하는 프로세스, 및 (II) (i) 상기 테스트용 로컬 특징 맵, (ii) 상기 테스트용 글로벌 특징 벡터 및 (iii) 상기 제1 테스트용 클라우드 포인트 내지 상기 제N 테스트용 클라우드 포인트에 대응하는 제1 테스트용 클래스 정보 내지 제N 테스트용 클래스 정보에 대한 정보를 포함하는 적어도 하나의 테스트용 클래스 매트릭스를 통합하여 생성된 적어도 하나의 테스트용 통합 특징 맵이 획득되면, 상기 판단 뉴럴 네트워크로 하여금, 상기 테스트용 통합 특징 맵에 상기 판단 뉴럴 네트워크 연산을 가하여, 각각의 상기 제1 테스트용 클라우드 포인트 내지 상기 제N 테스트용 클라우드 포인트에 대한 정보가 테스트용 HD 맵의 업데이트에 사용될 확률 각각을 나타내는 제1 테스트용 예측 적합도 스코어 내지 제N 테스트용 예측 적합도 스코어를 생성하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 테스팅 장치가 제공된다.
일 실시예에서, 상기 프로세서가, (III) 업데이팅 모듈로 하여금, 상기 제1 테스트용 예측 적합도 스코어 내지 상기 제N 테스트용 예측 적합도 스코어 각각이 임계치 이상인지 여부를 판단하도록 하고, 상기 임계치 이상의 특정 예측 적합도 스코어를 갖는 하나 이상의 특정 클라우드 포인트에 대한 특정 정보를 이용하여 상기 테스트용 HD 맵을 업데이트하도록 하는 프로세스를 더 수행한다.
일 실시예에서, 하나 이상의 테스트용 데이터 획득 차량과 연동하는 테스트용 서버가, (i) 각각의 상기 테스트용 데이터 획득 차량을 통해 획득된 테스트용 지도 데이터 각각을, 상기 테스트용 지도 데이터가 획득된 각각의 위치에 대한 각각의 테스트용 위치 정보를 참조로 하여 분류하고, (ii) 분류된 상기 테스트용 지도 데이터에 포함된, 상기 테스트용 타겟 영역에 대한 테스트용 타겟 정보를 이용하여 상기 테스트용 좌표 매트릭스 및 상기 테스트용 클래스 매트릭스를 생성하며, (iii) 상기 테스트용 좌표 매트릭스 및 상기 테스트용 클래스 매트릭스를 상기 테스팅 장치에 전달한다.
일 실시예에서, 상기 테스트용 서버는, (i) 상기 테스트용 지도 데이터에 포함된, 상기 테스트용 타겟 영역에 대응하는 테스트용 특정 클라우드 포인트 정보를 사용하여 상기 테스트용 좌표 매트릭스를 생성하는 프로세스 및 (ii) 상기 테스트용 지도 데이터에 포함된, 상기 테스트용 타겟 영역에 대응하는 테스트용 특정 클래스 정보를 사용하여 상기 테스트용 클래스 매트릭스를 생성하는 프로세스를 수행한다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명은 상술한 문제점을 해결하는 것을 목적으로 한다.
본 발명은 V2X(vehicle-to-everything) 정보 융합 기술을 이용해 다수 차량 깊이 예측 (Multi-Vehicle Depth Estimation) 정보를 획득하여 적어도 하나의 HD 맵(High Definition Map)을 업데이트 하고, 상기 다수 차량 깊이 예측 정보를 이용해 3D 공간 재구축을 수행하는 학습 방법을 제공함으로써, 차량이 안전하게 자율 주행을 수행하도록 할 수 있는 효과가 있다.
본 발명의 상기 및 다른 목적 및 특징은 다음의 첨부 도면과 함께 주어진 바람직한 실시예들의 설명에서 명백해질 것이다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따라 다수의 차량을 통해 획득된 정보 중, HD 맵(High Definition Map)을 업데이트하기 위해 이용될 특정 정보를 선택하는 학습 방법을 수행하는 학습 장치의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른, 상기 다수의 차량을 통해 획득된 상기 정보 중, 상기 HD 맵을 업데이트하는데 사용될 상기 특정 정보를 선택하는 상기 학습 방법의 흐름을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른, 상기 다수의 차량을 통해 획득된 상기 정보 중, 상기 HD 맵을 업데이트하는데 사용될 상기 특정 정보를 선택하는 상기 학습 방법을 수행하기 위한, 좌표 뉴럴 네트워크 및 판단 뉴럴 네트워크가 학습되는 방식을 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른, 상기 다수의 차량을 통해 획득된 상기 정보 중, 상기 HD 맵을 업데이트하는데 사용될 상기 특정 정보를 선택하는 테스팅 방법을 수행하기 위한, 좌표 뉴럴 네트워크 및 판단 뉴럴 네트워크가 테스트되는 방식을 개략적으로 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 다수의 차량을 통해 획득된 정보 중, HD 맵(High Definition Map)을 업데이트하기 위해 이용될 특정 정보를 선택하는 학습 방법을 수행하는 학습 장치의 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 상기 학습 장치(100)는, 추후 자세히 설명할 구성요소들인 적어도 하나의 좌표 뉴럴 네트워크(130), 적어도 하나의 판단 뉴럴 네트워크(140) 및 적어도 하나의 로스 레이어(150)를 포함할 수 있다. 상기 좌표 뉴럴 네트워크(130), 상기 판단 뉴럴 네트워크(140) 및 상기 로스 레이어(150)의 입출력 및 연산 과정은 각각 적어도 하나의 통신부(110) 및 적어도 하나의 프로세서(120)에 의해 이루어질 수 있다. 다만, 도 1에서는 상기 통신부(110) 및 상기 프로세서(120)의 구체적인 연결 관계를 생략하였다. 이 때, 메모리(115)는 후술할 여러 가지 인스트럭션들을 저장한 상태일 수 있고, 상기 프로세서(120)는 상기 메모리(115)에 저장된 인스트럭션들을 수행하도록 설정되되, 상기 프로세서(120)는 추후 설명할 상기 인스트럭션들을 수행함으로써 본 발명의 프로세스들을 수행할 수 있다. 이와 같이 상기 학습 장치(100)가 묘사되었다고 하여, 상기 학습 장치(100)가 본 발명을 실시하기 위한 미디엄, 프로세서, 메모리 또는 다른 컴퓨팅 구성요소가 통합된 형태인 통합 프로세서를 포함하는 경우를 배제하는 것은 아니다.
이상 본 발명의 상기 학습 장치(100)의 구성에 대해 설명한 바, 이하 본 발명의 상기 학습 방법에 대해 개괄적으로 알아보도록 한다.
도 2는 본 발명의 일 실시예에 따른, 상기 다수의 차량을 통해 획득된 상기 정보 중, 상기 HD 맵을 업데이트하는데 사용될 상기 특정 정보를 선택하는 상기 학습 방법의 흐름을 개략적으로 나타낸 도면이다.
도 2를 참조하면, 상기 학습 장치(100)는, 상기 좌표 뉴럴 네트워크(130)로 하여금, 추후 설명할 좌표 매트릭스에 적어도 하나의 좌표 뉴럴 네트워크 연산을 가하여 적어도 하나의 로컬 특징 맵 및 적어도 하나의 글로벌 특징 벡터를 생성하도록 할 수 있다(S01). 이후, 상기 학습 장치(100)는, 상기 판단 뉴럴 네트워크(140)로 하여금, 추후 설명할 적어도 하나의 통합 특징 맵에 적어도 하나의 판단 뉴럴 네트워크 연산을 가하여 제1 예측 적합도 스코어 내지 제N 예측 적합도 스코어를 생성하도록 할 수 있다(S02). 그리고, 상기 학습 장치(100)는, 상기 로스 레이어(150)로 하여금, (i) 상기 제1 예측 적합도 스코어 내지 상기 제N 예측 적합도 스코어와 (ii) 제1 GT(ground truth) 적합도 스코어 내지 제N GT 적합도 스코어를 참조하여 로스를 생성하도록 하고, 상기 로스를 이용한 백프로퍼게이션(backpropagation)을 수행함으로써, 상기 판단 뉴럴 네트워크(140) 및 상기 좌표 뉴럴 네트워크(130)의 파라미터 중 적어도 일부를 학습하도록 할 수 있다(S03).
본 발명의 상기 학습 방법의 개괄적인 구성은 상기와 같고, 이하 이에 대해 도 3을 참조하여 더욱 구체적으로 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른, 상기 다수의 차량을 통해 획득된 상기 정보 중, 상기 HD 맵을 업데이트하는데 사용될 상기 특정 정보를 선택하는 상기 학습 방법을 수행하기 위한, 상기 좌표 뉴럴 네트워크와 상기 판단 뉴럴 네트워크가 학습되는 방식을 개략적으로 나타낸 도면이다.
도 3을 참조하면,
Figure pat00009
사이즈의 상기 좌표 매트릭스가 입력됨을 알 수 있다. 이때, 상기 좌표 매트릭스는, 상기 HD 맵 내에 업데이트될 타겟 영역 내에서 검출되는 제1 클라우드 포인트(cloud point) 내지 제N 클라우드 포인트에 대응하는 제1 좌표 내지 제N 좌표에 대한 정보를 포함할 수 있다. N개의 클라우드 포인트가 존재하고 현실 세계의 차원은 3차원이므로, 상기
Figure pat00010
사이즈가 될 수 있는 것이다. 또한, 상기 제1 좌표 내지 상기 제N 좌표에 대한 각각의 정보가 각각의 제1행 내지 제N 행 내에 위치하도록, 각각의 상기 정보가 특정 순서대로 정렬될 수 있다. 상기 제1 좌표 내지 상기 제N 좌표에 대한 정보가 어떻게 획득될 수 있는지에 대해서는 상기 학습 방법에 대해 설명한 후 설명할 것이다.
이와 같은 좌표 매트릭스가 입력된 후, 상기 학습 장치(100)는, 상기 좌표 뉴럴 네트워크(130)로 하여금, 상기 좌표 매트릭스에 상기 적어도 하나의 좌표 뉴럴 네트워크 연산을 가하여 상기 로컬 특징 맵 및 상기 글로벌 특징 벡터를 생성하도록 할 수 있다.
구체적으로는, 상기 학습 장치(100)가, 상기 좌표 뉴럴 네트워크의 적어도 하나의 좌표 컨벌루션 레이어(131)에 포함된 하나 이상의 좌표 컨벌루션 뉴런 각각으로 하여금, 이의 파라미터를 이용해 적어도 하나의 좌표 컨벌루션 뉴런 연산을 입력된 값에 가한 후 출력된 값을 각각 다음 좌표 컨벌루션 뉴런에 전달하도록 함으로써, 상기 좌표 컨벌루션 연산을 상기 좌표 매트릭스에 가하도록 하고, 상기 로컬 특징 맵을 생성하도록 할 수 있다. 이때, 상기 좌표 컨벌루션 연산은 상기 좌표 뉴럴 네트워크 연산에 포함된 것일 수 있다. 이상의 과정은, 딥 러닝 분야에서 특징 맵 생성에 사용되는 널리 알려진 피드포워드(Feedforward) 방식과 유사한 것이므로, 통상의 기술자가 상기의 설명을 참조로 하여 용이하게 이해할 수 있을 것이다. 일 실시예에 따르면, 상기 로컬 특징 맵은
Figure pat00011
사이즈의 2차원 형태일 수 있고,
Figure pat00012
은 3 이상의 정수일 수 있을 것이다.
상기 로컬 특징 맵이 생성된 후, 상기 학습 장치(100)는, 글로벌 특징 레이어(132)로 하여금, 상기 로컬 특징 맵에 적어도 하나의 글로벌 특징 연산을 가하여 상기 글로벌 특징 벡터를 생성할 수 있다. 상기 글로벌 특징 연산은 상기 좌표 뉴럴 네트워크 연산 중 일부일 수 있다. 일 실시예에 따르면, 상기 글로벌 특징 레이어(132)는 종래 기술의 풀링 레이어와 유사할 수 있고, 상기 글로벌 특징 연산은 종래의 풀링 연산과 유사할 수 있을 것이다. 또한, 다른 실시예에 따르면, 상기 글로벌 특징 레이어(132)는 종래 기술의 FC(Fully-Connected) 레이어와 유사할 수 있고, 상기 글로벌 특징 연산은 종래 기술의 FC 연산과 유사할 수 있을 것이다. 즉, 상기 타겟 영역에 대한 글로벌 정보를 포함하는 상기 글로벌 특징 벡터를 생성할 수 있는 것이라면 어떠한 종래 기술을 사용하더라도 무방하다. 그리고, 일 실시예에 따르면, 상기 글로벌 특징 벡터는
Figure pat00013
사이즈의 1차원 형태일 수 있을 것이다.
상기 로컬 특징 맵과 상기 글로벌 특징 벡터 간의 사이즈 차이를 보면 확인할 수 있듯, 상기 로컬 특징 맵과 상기 글로벌 특징 벡터는 다른 정보를 포함할 수 있다. 즉, 상기 로컬 특징 맵이 "로컬"이 될 수 있는 이유는, 상기 제1 클라우드 포인트 내지 상기 제N 클라우드 포인트 각각에 대한 각각의 로컬 정보가 상기 로컬 특징 맵의 각 행에 위치할 수 있기 때문이다. 반면에, 상기
Figure pat00014
사이즈의 상기 글로벌 특징 벡터는, 상기 클라우드 포인트 각각이 아닌 상기 클라우드 포인트 전체에 대한 글로벌 정보를 포함할 수 있다.
이후, 상기 학습 장치(100)는, 통합 모듈(미도시)로 하여금, 상기 로컬 특징 맵 및 상기 글로벌 특징 벡터와 더불어 클래스 매트릭스를 이용하여, 통합 특징 맵을 생성하도록 할 수 있다. 이 때, 상기 클래스 매트릭스는, 상기 제1 클라우드 포인트 내지 상기 제N 클라우드 포인트에 대응하는 제1 클래스 정보 내지 제N 클래스 정보를 포함할 수 있다. 일례로, 상기 클래스 매트릭스 내에, 상기 제1 클래스 정보 내지 상기 제N 클래스 정보가 정렬될 수 있되, 상기 클래스 매트릭스의 제1행 내지 제N행 각각에 상기 제1 클래스 정보 내지 상기 제N 클래스 정보가 위치하는 상기 특정 순서대로 정렬될 수 있다.
이와 같은 상태에서 상기 통합 모듈은, 도 3에 도시된 것처럼, 상기 글로벌 특징 벡터를 N번 복제하여 생성된 글로벌 특징 맵, 상기 클래스 매트릭스 및 상기 로컬 특징 맵을 채널 방향 컨캐터네이팅(Channel-wise Concatenating) 할 수 있다. 이때, 상기 글로벌 특징 맵, 상기 클래스 매트릭스 및 상기 로컬 특징 맵은 임의의 순서, 예를 들어 도 3에 도시된 것과 같이 상기 클래스 매트릭스, 상기 로컬 특징 맵 및 상기 글로벌 특징 맵의 순서, 혹은 상기 로컬 특징 맵, 상기 클래스 매트릭스 및 상기 글로벌 특징 맵의 순서로 채널 방향 컨캐터네이팅 될 수 있다.
그 후, 상기 학습 장치(100)는, 상기 판단 뉴럴 네트워크(140)로 하여금 상기 통합 특징 맵에 상기 판단 뉴럴 네트워크 연산을 가하여, 각각의 상기 제1 클라우드 포인트 내지 상기 제N 클라우드 포인트에 대한 정보가 상기 HD 맵의 업데이트에 사용될 확률 각각을 나타내는 상기 제1 예측 적합도 스코어 내지 상기 제N 예측 적합도 스코어를 생성하도록 할 수 있다. 이하 상기 제1 예측 적합도 스코어 내지 상기 제N 예측 적합도 스코어가 사용되는 목적에 대해 설명하도록 한다.
추후 자세히 설명하겠지만, 상기 HD 맵을 업데이트하기 위해 사용될 상기 제1 클라우드 포인트 내지 상기 제N 클라우드 포인트에 대한 정보는, 하나 이상의 데이터 획득 차량 각각이 그에 할당된 영역(상기 할당된 영역은 상기 타겟 영역을 포함함)을 주행하여 각각 획득된 것 일 수 있다. 이 경우에, 상기 클라우드 포인트에 대한 정보는, 지나가는 차량, 정차되어 있는 차량 혹은 보행자와 같은 임시적인 객체에 대한 정보를 원하지 않더라도 포함할 수 있다. 상기 예측 적합도 스코어는 이에 대응하는 클라우드 포인트에 대한 정보가 상기 원하지 않는 정보인지에 대한 여부를 판단하는데 이용될 수 있다.
이하, 상기 예측 적합도 스코어를 생성하는 상기 프로세스에 더 구체적으로 설명될 것이다. 즉, 상기 학습 장치(100)는 (i) 상기 판단 뉴럴 네트워크(140)의 적어도 하나의 판단 컨벌루션 레이어(141)에 포함된 하나 이상의 판단 컨벌루션 뉴런 각각으로 하여금, 이의 파라미터를 이용해 적어도 하나의 판단 컨벌루션 뉴런 연산을 입력된 값에 가한 후 출력된 값을 각각 다음 판단 컨벌루션 뉴런에 전달하도록 함으로써, 상기 판단 뉴럴 네트워크 연산 중 적어도 일부인 적어도 하나의 판단 컨벌루션 연산을 상기 판단 매트릭스에 가하도록 하고, 판단 특징 맵을 생성하도록 할 수 있다. 그리고, 상기 학습 장치(100)는 (ii) 상기 판단 뉴럴 네트워크(140)의 판단 출력 레이어(142)로 하여금, 상기 판단 특징 맵을 참조하여 상기 제1 클라우드 포인트 내지 상기 제N 클라우드 포인트에, 상기 판단 뉴럴 네트워크 연산 중 일부인 분류(classification) 연산을 가하여, 상기 제1 예측 적합도 스코어 내지 상기 제N 예측 적합도 스코어를 생성하도록 할 수 있다.
이상과 같이 상기 판단 컨벌루션 레이어(141) 및 상기 판단 출력 레이어(142)를 사용하는 구성이 상기 피드포워드 방식 중의 한 종류인 MLP(Multi-Layer Perceptron) 방식과 유사하므로, 통상의 기술자는 상기 예측 적합도 스코어를 생성하는 프로세스를 쉽게 이해할 수 있을 것이다. 다른 실시예로, 희소 데이터(sparse data)를 딥 러닝에서 용이하게 사용할 수 있도록 하는 종래 기술을 상기 판단 뉴럴 네트워크(140)에도 적용할 수 있을 것이다. 즉, 상기 판단 뉴럴 네트워크(140)는, FC 레이어를 성분으로서 포함하도록 구성되되, 널리 알려진 종래 기술을 이용하여 구성될 수 있는 변형 네트워크와 상기 FC 레이어가 병렬적으로 연결되는 구성일 수 있다. 이에 대한 구체적인 설명은 생략하도록 한다.
그 후, 상기 학습 장치(100)는, 상기 로스 레이어(150)로 하여금, (i) 상기 제1 예측 적합도 스코어 내지 상기 제N 예측 적합도 스코어 및 (ii) 상기 제1 GT 적합도 스코어 내지 상기 제N GT 적합도 스코어를 참조하여 상기 로스를 생성하도록 하고, 상기 로스를 이용한 백프로퍼게이션을 수행함으로써, 상기 판단 뉴럴 네트워크(140) 및 상기 좌표 뉴럴 네트워크(130)의 파라미터 중 적어도 일부를 학습하도록 할 수 있다. 각각의 상기 제1 GT 적합도 스코어 내지 상기 제N GT 적합도 스코어는, 각각의 상기 제1 예측 적합도 스코어 내지 상기 제N 예측 적합도 스코어에 대응될 수 있으며, 상기 학습 장치(100)를 학습시키기 위해 관리자에 의해 상기 학습 장치(100)으로 입력될 수 있다.
이때, 상기 로스는 하기 수식에 따라 생성될 수 있다.
Figure pat00015
이때,
Figure pat00016
은 상기 제1 클라우드 포인트 내지 제N 클라우드 포인트의 개수를 의미하고,
Figure pat00017
는 제i 예측 적합도 스코어를 의미하며,
Figure pat00018
는 제i GT 적합도 스코어를 의미할 수 있다. 상기 수식은 널리 알려진 크로스 엔트로피(Cross-Entropy)방식과 유사한데, 로스를 생성하는 방식이라면 어떤 방식도 본 발명에서 사용될 수 있을 것이다.
이후, 상기 학습 장치(100)는 상기 로스 레이어(150)로 하여금, 경사 하강(gradient descent) 방법을 이용하여 상기 백프로퍼게이션을 수행함으로써, 상기 파라미터를 학습할 수 있다. 위에서 설명한 것과 같은 학습 프로세스를 수행한 후, 상기 백프로퍼게이션에 의해 조정된 상기 파라미터를 사용하여 생성될 후속 제1 예측 적합도 스코어 내지 후속 제N 예측 적합도 스코어는, 이에 대응하는 후속 제1 GT 적합도 스코어 내지 후속 제N GT 적합도 스코어와 상대적으로 더 유사해질 수 있다.
이상 본 발명의 상기 학습 방법에 대해 자세히 설명하였다. 이하 상기 좌표 매트릭스, 상기 클래스 매트릭스 및 상기 GT 적합도 스코어가 어떻게 획득될 수 있는지에 대해 설명하도록 한다.
먼저, 상기 HD 맵을 업데이트하기 위해 사용될 상기 하나 이상의 데이터 획득 차량이 제공될 수 있다. 상기 데이터 획득 차량은, (i) 3D ToF(Time of Flight) 카메라와 같은 적어도 하나의 깊이 센서와 적어도 하나의 영상 카메라 중 적어도 일부, 및 (ii) 상기 영상 카메라와 상기 깊이 센서 중 상기 적어도 일부에 대응하는 연산 모듈, 예를 들어 컴퓨팅 장치를 포함할 수 있으며, 서버와 연동할 수 있다.
이때, 상기 데이터 획득 차량 각각은, 그의 카메라 및 깊이 센서 중 적어도 일부로부터 획득된 정보를 상기 연산 모듈을 통해 처리함으로써, 각각에 할당된 영역을 주행하여 지도 데이터 중 적어도 일부를 획득할 수 있다. 일례로, 상기 지도 데이터는 클라우드 포인트 정보와 객체 클래스 정보를 포함할 수 있다.
구체적으로는, 특정 데이터 획득 차량은, 이의 카메라를 통해 획득된 정보에, 널리 알려진 종래 기술인 객체 검출 연산을 가하여 특정 객체 클래스 정보를 획득하고, (i) 상기 특정 데이터 획득 차량 주변의 특정 객체의 특정 상대 좌표 정보와 (ii) 이를 획득한 시점에 상기 특정 데이터 획득 차량이 위치한 위치에 대한 특정 위치 정보를 상기 연산 모듈을 통해 통합하여 특정 클라우드 포인트 정보를 생성할 수 있을 것이다. 그후, 상기 특정 데이터 획득 차량은, 상기 특정 객체 클래스 정보 및 상기 특정 클라우드 포인트 정보를 포함하는 특정 지도 데이터를 상기 서버에 전달할 수 있다.
상기 서버는, 상기 클라우드 포인트 정보를 참조하여 생성된 가상 공간 상에 상기 객체 클래스 정보를 맵핑(mapping)하여, 상기 클라우드 포인트 각각에 대응하는 각각의 클래스 정보를 획득한 후, 각각의 상기 지도 데이터가 획득된 각각의 위치에 대한 위치 정보 각각을 참조하여 각각의 상기 지도 데이터를 분류할 수 있다. 그리고, 분류된 지도 데이터는 상기 좌표 매트릭스 및 상기 클래스 매트릭스를 생성하기 위해 이용될 수 있다. 즉, 상기 데이터 획득 차량으로부터 획득된 상기 지도 데이터는, 영역별로 나눠지고 영역별로 평가되어 상기 HD 맵을 업데이트하기 위해 이용될 수 있다. 여기서, 동일한 특정 영역에 두 개의 지도 데이터가 대응할 수도 있는데, 이 경우 상기 서버가 어떻게 처리하는지에 대해 설명하도록 한다.
즉, 상기 지도 데이터 중 제1 특정 지도 데이터와 제2 특정 지도 데이터가 상기 동일한 특정 영역에 대응하는 경우, 상기 서버는 상기 제1 지도 특정 지도 데이터와 상기 제2 특정 지도 데이터에 적어도 하나의 통합 연산을 가하여 이들을 통합할 수 있다. 이 때, 상기 통합 연산은, 널리 알려진 종래 기술인, ICP(Iterative closest point) 알고리즘을 활용하여 구현될 수 있다.
이후, 상기 서버는 (i) 상기 지도 데이터에 포함된, 상기 타겟 영역에 대응하는 특정 클라우드 포인트 정보를 사용하여 상기 좌표 매트릭스를 생성하는 프로세스 및 (ii) 상기 지도 데이터에 포함된, 상기 타겟 영역에 대응하는 특정 클래스 정보를 사용하여 상기 클래스 매트릭스를 생성하는 프로세스를 수행할 수 있다. 이러한 좌표 매트릭스 및 클래스 매트릭스는, 상기 좌표 뉴럴 네트워크(130) 및 상기 판단 뉴럴 네트워크(140)로 입력되어 이들을 학습시킬 수 있다.
또한, 상기 좌표 매트릭스 및 상기 클래스 매트릭스에 포함된 상기 제1 클라우드 포인트 및 상기 제N 클라우드 포인트에 대한 정보가 라벨러에 의해 처리됨으로써, 상기 제1 GT 적합도 스코어 내지 상기 제N GT 적합도 스코어가 생성될 수 있다. 상기 라벨러는 사람 또는 컴퓨터 프로그램일 수 있다.
이상 본 발명의 상기 학습 방법 및 상기 좌표 매트릭스, 상기 클래스 매트릭스 및 상기 제1 GT 적합도 스코어 내지 상기 제N GT 적합도 스코어의 획득 방식에 대해 알아보았다. 이하 본 발명의 테스팅 방법에 대해 도 4를 참조로 하여 설명하도록 한다.
도 4를 참조하면, (a) (1) 상기 학습 장치(100)가, 학습용 타겟 영역 내에서 검출된 제1 학습용 클라우드 포인트 내지 제N 학습용 클라우드 포인트에 대응하는 제1 학습용 좌표 내지 제N 학습용 좌표에 대한 정보를 포함하는 적어도 하나의 학습용 좌표 매트릭스가 획득되면, 상기 좌표 뉴럴 네트워크(130)로 하여금, 상기 학습용 좌표 매트릭스에 상기 좌표 뉴럴 네트워크 연산을 가하여 적어도 하나의 학습용 로컬 특징 맵 및 적어도 하나의 학습용 글로벌 특징 벡터를 생성하도록 하고, (2) 상기 학습 장치(100)가, (i) 상기 학습용 로컬 특징 맵, (ii) 상기 학습용 글로벌 특징 벡터 및 (iii) 상기 제1 학습용 클라우드 포인트 내지 상기 제N 학습용 클라우드 포인트에 대응하는 제1 학습용 클래스 정보 내지 제N 학습용 클래스 정보에 대한 정보를 포함하는 적어도 하나의 학습용 클래스 매트릭스를 통합하여 생성된 적어도 하나의 학습용 통합 특징 맵이 획득되면, 상기 판단 뉴럴 네트워크(140)로 하여금 상기 학습용 통합 특징 맵에 상기 판단 뉴럴 네트워크 연산을 가하여, 각각의 상기 제1 학습용 클라우드 포인트 내지 상기 제N 학습용 클라우드 포인트에 대한 정보가 상기 학습용 HD 맵의 업데이트에 사용될 확률 각각을 나타내는 제1 학습용 예측 적합도 스코어 내지 제N 학습용 예측 적합도 스코어를 생성하도록 하며, (3) 상기 학습 장치(100)가, 상기 로스 레이어(150)로 하여금 (i) 상기 제1 학습용 예측 적합도 스코어 내지 상기 제N 학습용 예측 적합도 스코어 및 (ii) 제1 GT 적합도 스코어 내지 제N GT 적합도 스코어를 참조하여 로스를 생성하도록 하고, 상기 로스를 이용한 백프로퍼게이션을 수행함으로써, 상기 판단 뉴럴 네트워크(140) 및 상기 좌표 뉴럴 네트워크(130)의 파라미터 중 적어도 일부를 학습하도록 한 상태에서, 테스팅 장치가, 테스트용 타겟 영역 내에서 검출된 제1 테스트용 클라우드 포인트 내지 제N 테스트용 클라우드 포인트에 대응하는 제1 테스트용 좌표 내지 제N 테스트용 좌표에 대한 정보를 포함하는 적어도 하나의 테스트용 좌표 매트릭스가 획득되면, 상기 좌표 뉴럴 네트워크(130)로 하여금, 상기 테스트용 좌표 매트릭스에 상기 좌표 뉴럴 네트워크 연산을 가하여 적어도 하나의 테스트용 로컬 특징 맵 및 적어도 하나의 테스트용 글로벌 특징 벡터를 생성하도록 할 수 있다.
그 후, 상기 테스팅 장치가, (i) 상기 테스트용 로컬 특징 맵, (ii) 상기 테스트용 글로벌 특징 벡터 및 (iii) 상기 제1 테스트용 클라우드 포인트 내지 상기 제N 테스트용 클라우드 포인트에 대응하는 제1 테스트용 클래스 정보 내지 제N 테스트용 클래스 정보에 대한 정보를 포함하는 적어도 하나의 테스트용 클래스 매트릭스를 통합하여 생성된 적어도 하나의 테스트용 통합 특징 맵이 획득되면, 상기 판단 뉴럴 네트워크(140)로 하여금 상기 테스트용 통합 특징 맵에 상기 판단 뉴럴 네트워크 연산을 가하여, 각각의 상기 제1 테스트용 클라우드 포인트 내지 상기 제N 테스트용 클라우드 포인트에 대한 정보가 테스트용 HD 맵의 업데이트에 사용될 확률 각각을 나타내는 제1 테스트용 예측 적합도 스코어 내지 제N 테스트용 예측 적합도 스코어를 생성하도록 할 수 있다.
이 후, 상기 테스팅 장치가, 업데이팅 모듈로 하여금, 상기 제1 테스트용 예측 적합도 스코어 내지 상기 제N 테스트용 예측 적합도 스코어 각각이 임계치 이상인지 여부를 판단하도록 하고, 상기 임계치 이상의 특정 예측 적합도 스코어를 갖는 하나 이상의 특정 클라우드 포인트에 대한 특정 정보를 이용하여 상기 테스트용 HD 맵을 업데이트하도록 할 수 있다.
이때, 상기 테스트용 좌표 매트릭스 및 상기 테스트용 클래스 매트릭스가 상기 학습 방법과 유사한 방식으로 획득될 수 있다. 즉, 하나 이상의 테스트용 데이터 획득 차량과 연동하는 테스트용 서버가, (i) 각각의 상기 테스트용 데이터 획득 차량을 통해 획득되는 각각의 테스트용 지도 데이터를, 각각의 상기 테스트용 지도 데이터가 획득된 각각의 위치에 대한 테스트용 위치 정보 각각을 참조로 하여 분류하고, (ii) 분류된 테스트용 지도 데이터에 포함된, 상기 테스트용 타겟 영역에 대한 테스트용 특정 정보를 이용하여 상기 테스트용 좌표 매트릭스 및 상기 테스트용 클래스 매트릭스를 생성하며, (iii) 상기 테스트용 좌표 매트릭스 및 상기 테스트용 클래스 매트릭스를 상기 테스팅 장치에 전달할 수 있다. 또한, 상기 테스트용 서버는, (i) 상기 테스트용 지도 데이터에 포함된, 상기 테스트용 타겟 영역에 대응하는 테스트용 특정 클라우드 포인트 정보를 사용하여 상기 테스트용 좌표 매트릭스를 생성하는 프로세스 및 (ii) 상기 테스트용 지도 데이터에 포함된, 상기 테스트용 타겟 영역에 대응하는 테스트용 특정 클래스 정보를 사용하여 상기 테스트용 클래스 매트릭스를 생성하는 프로세스를 수행할 수 있다.
이상 설명된 테스팅 장치의 프로세스를 통해, 상기 임시적인 객체에 대한 정보 등 필요 없는 정보를 걸러내고 필요한 정보만을 이용해 상기 테스트용 HD 맵을 업데이트할 수 있게 된다.
본 발명은 각각의 차량으로부터 정보 세트를 획득하는 방법을 기술하며, 이러한 방법은 상기 다수 차량 깊이 예측 기법 중 하나로 고려될 수 있다. 또한, 이러한 정보를 HD 맵으로 통합하는 방법은 V2X(vehicle-to-everything) 정보 융합 기법 중 하나로 고려될 수 있다. 3D 공간 재구축은 이러한 기법을 이용하여 HD 맵을 업데이트 할 수 있도록 수행된다. 그 결과, 도로를 이동하며 HD 맵을 생성할 수 있는 장치가 탑재된 차량의 생산 및 관리에 높은 비용이 드는 종래 기술 대신에, 레이저 스캔 정보 및 이미지를 수집하며 차선 검출 및 맵핑에 의해 맵을 생성하는 다수의 차량을 통해 획득된 정보를 이용하여 HD 맵이 생성될 수 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (30)

  1. 다수의 차량을 통해 획득된 정보 중, HD 맵(High Definition Map)을 업데이트하기 위해 사용될 특정 정보를 선택하는 학습 방법에 있어서,
    (a) 학습 장치가, 타겟 영역 내에서 검출된 제1 클라우드 포인트 내지 제N 클라우드 포인트에 대응하는 제1 좌표 내지 제N 좌표에 대한 정보를 포함하는 적어도 하나의 좌표 매트릭스가 획득되면, 좌표 뉴럴 네트워크로 하여금, 상기 좌표 매트릭스에 적어도 하나의 좌표 뉴럴 네트워크 연산을 가하여 적어도 하나의 로컬 특징 맵 및 적어도 하나의 글로벌 특징 벡터를 생성하도록 하는 단계;
    (b) 상기 학습 장치가, (i) 상기 로컬 특징 맵, (ii) 상기 글로벌 특징 벡터 및 (iii) 상기 제1 클라우드 포인트 내지 상기 제N 클라우드 포인트에 대응하는 제1 클래스 정보 내지 제N 클래스 정보에 대한 정보를 포함하는 적어도 하나의 클래스 매트릭스를 통합하여 생성된 적어도 하나의 통합 특징 맵이 획득되면, 판단 뉴럴 네트워크로 하여금, 상기 통합 특징 맵에 적어도 하나의 판단 뉴럴 네트워크 연산을 가하여, 각각의 상기 제1 클라우드 포인트 내지 상기 제N 클라우드 포인트에 대한 정보가 상기 HD 맵의 업데이트에 사용될 확률 각각을 나타내는 제1 예측 적합도 스코어 내지 제N 예측 적합도 스코어를 생성하도록 하는 단계; 및
    (c) 상기 학습 장치가 로스 레이어로 하여금, (i) 상기 제1 예측 적합도 스코어 내지 상기 제N 예측 적합도 스코어 및 (ii) 제1 GT(ground-truth) 적합도 스코어 내지 제N GT 적합도 스코어를 참조하여 로스를 생성하도록 하고, 상기 로스를 이용한 백프로퍼게이션(backpropagation)을 수행함으로써, 상기 판단 뉴럴 네트워크 및 상기 좌표 뉴럴 네트워크의 파라미터 중 적어도 일부를 학습하도록 하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  2. 제 1항에 있어서,
    상기 (a) 단계에서,
    상기 학습 장치가, 상기 좌표 뉴럴 네트워크의 적어도 하나의 좌표 컨벌루션 레이어에 포함된 하나 이상의 좌표 컨벌루션 뉴런 각각으로 하여금, 이의 파라미터를 이용해 적어도 하나의 좌표 컨벌루션 뉴런 연산을 입력된 값에 가한 후 출력된 값을 각각 다음 좌표 컨벌루션 뉴런에 전달하도록 함으로써, 상기 좌표 뉴럴 네트워크 연산 중 적어도 일부인 적어도 하나의 좌표 컨벌루션 연산을 상기 좌표 매트릭스에 가함으로써, 상기 로컬 특징 맵을 생성하도록 하는 것을 특징으로 하는 방법.
  3. 제 2항에 있어서,
    상기 (a) 단계에서,
    상기 학습 장치가, 상기 좌표 뉴럴 네트워크의 글로벌 특징 레이어로 하여금, 상기 좌표 뉴럴 네트워크 연산 중 적어도 일부인 적어도 하나의 글로벌 특징 연산을 상기 로컬 특징 맵에 가하여 상기 글로벌 특징 벡터를 생성하도록 하는 것을 특징으로 하는 방법.
  4. 제 1항에 있어서,
    상기 (b) 단계에서,
    상기 통합 특징 맵은, (i) 특정 순서대로 정렬된 상기 제1 클래스 정보 내지 상기 제N 클래스 정보를 성분으로서 포함하는 상기 클래스 매트릭스, (ii) 상기 특정 순서대로 정렬된, 상기 제1 클라우드 포인트 내지 상기 제N 클라우드 포인트 각각에 대응하는 각각의 특징 값을 성분으로서 포함하는 상기 로컬 특징 맵 및 (iii) 상기 글로벌 특징 벡터를 N번 복제하여 생성된 글로벌 특징 맵을 채널 방향 컨캐터네이팅(Channel-wise Concatenating)하여 생성되는 것을 특징으로 하는 방법.
  5. 제 1항에 있어서,
    상기 (b) 단계에서,
    상기 학습 장치가, (i) 상기 판단 뉴럴 네트워크의 적어도 하나의 판단 컨벌루션 레이어에 포함된 하나 이상의 판단 컨벌루션 뉴런 각각으로 하여금, 이의 파라미터를 이용해 적어도 하나의 판단 컨벌루션 뉴런 연산을 입력된 값에 가한 후 출력된 값을 각각 다음 판단 컨벌루션 뉴런에 전달하도록 함으로써, 상기 판단 뉴럴 네트워크 연산 중 적어도 일부인 적어도 하나의 판단 컨벌루션 연산을 상기 판단 매트릭스에 가하도록 하고, 판단 특징 맵을 생성하도록 한 후, (ii) 상기 판단 뉴럴 네트워크의 판단 출력 레이어로 하여금, 상기 판단 특징 맵을 참조하여 상기 제1 클라우드 포인트 내지 상기 제N 클라우드 포인트에 상기 판단 뉴럴 네트워크 연산 중 일부인 분류(classification) 연산을 가하여, 상기 제1 예측 적합도 스코어 내지 상기 제N 예측 적합도 스코어를 생성하도록 하는 것을 특징으로 하는 방법.
  6. 제 1항에 있어서,
    상기 (c) 단계에서,
    상기 학습 장치가 상기 로스 레이어로 하여금, 하기 수식에 따라 상기 로스를 생성하도록 하되,
    Figure pat00019

    Figure pat00020
    은 상기 제1 클라우드 포인트 내지 제N 클라우드 포인트의 개수를 의미하고,
    Figure pat00021
    는 제i 예측 적합도 스코어를 의미하며,
    Figure pat00022
    는 제i GT 적합도 스코어를 의미하는 것을 특징으로 하는 방법.
  7. 제 1항에 있어서,
    상기 (c) 단계에서,
    상기 학습 장치가 상기 로스 레이어로 하여금, 경사 하강(gradient descent) 방법을 이용하여 상기 백프로퍼게이션을 수행함으로써, 이에 의해 조정된 상기 파라미터를 사용하여 생성될 후속 제1 예측 적합도 스코어 내지 후속 제N 예측 적합도 스코어가 이에 대응하는 후속 제1 GT 적합도 스코어 내지 후속 제N GT 적합도 스코어와 상대적으로 더 유사해지도록 하는 것을 특징으로 하는 방법.
  8. 제 1항에 있어서,
    하나 이상의 데이터 획득 차량과 연동하는 서버가, (i) 각각의 상기 데이터 획득 차량을 통해 획득된 지도 데이터를, 각각의 상기 지도 데이터가 획득된 위치에 대한 각각의 위치 정보를 참조로 하여 분류하고, (ii) 상기 분류된 지도 데이터 내 상기 타겟 영역에 대한 타겟 정보를 이용하여 상기 좌표 매트릭스 및 상기 클래스 매트릭스를 생성하며, (iii) 상기 좌표 매트릭스 및 상기 클래스 매트릭스를 상기 학습 장치에 전달하는 것을 특징으로 하는 방법.
  9. 제 8항에 있어서,
    상기 지도 데이터 중, 제1 특정 지도 데이터 및 제2 특정 지도 데이터가 동일한 특정 영역에 대응하는 경우, 상기 서버가 상기 제1 특정 지도 데이터 및 상기 제2 특정 지도 데이터에 적어도 하나의 통합 연산을 가하여 상기 제1 특정 지도 데이터 및 상기 제2 특정 지도 데이터를 통합하는 것을 특징으로 하는 방법.
  10. 제 8항에 있어서,
    상기 데이터 획득 차량 각각은, (i) 적어도 하나의 카메라 및 적어도 하나의 깊이 센서 중 적어도 일부 및 (ii) 이에 대응하는 연산 모듈을 사용하여, 상기 데이터 획득 차량 각각으로부터 임계 거리 이하에 위치한 하나 이상의 객체에 대한 클라우드 포인트 정보 및 클래스 정보를 획득함으로써, 상기 지도 데이터 중 적어도 일부를 획득하고 이를 상기 서버에 전달하는 것을 특징으로 하는 방법.
  11. 제 10항에 있어서,
    상기 서버는, (i) 상기 지도 데이터에 포함된, 상기 타겟 영역에 대응하는 특정 클라우드 포인트 정보를 사용하여 상기 좌표 매트릭스를 생성하는 프로세스 및 (ii) 상기 지도 데이터에 포함된, 상기 타겟 영역에 대응하는 특정 클래스 정보를 사용하여 상기 클래스 매트릭스를 생성하는 프로세스를 수행하는 것을 특징으로 하는 방법.
  12. 다수의 차량을 통해 획득된 정보 중, HD 맵을 업데이트하기 위해 사용될 특정 정보를 선택하는 테스팅 방법에 있어서,
    (a) (1) 학습 장치가, 학습용 타겟 영역 내에서 검출된 제1 학습용 클라우드 포인트 내지 제N 학습용 클라우드 포인트에 대응하는 제1 학습용 좌표 내지 제N 학습용 좌표에 대한 정보를 포함하는 적어도 하나의 학습용 좌표 매트릭스가 획득되면, 좌표 뉴럴 네트워크로 하여금, 상기 학습용 좌표 매트릭스에 적어도 하나의 좌표 뉴럴 네트워크 연산을 가하여 적어도 하나의 학습용 로컬 특징 맵 및 적어도 하나의 학습용 글로벌 특징 벡터를 생성하도록 하고, (2) 상기 학습 장치가, (i) 상기 학습용 로컬 특징 맵, (ii) 상기 학습용 글로벌 특징 벡터 및 (iii) 상기 제1 학습용 클라우드 포인트 내지 상기 제N 학습용 클라우드 포인트에 대응하는 제1 학습용 클래스 정보 내지 제N 학습용 클래스 정보에 대한 정보를 포함하는 적어도 하나의 학습용 클래스 매트릭스를 통합하여 생성된 적어도 하나의 학습용 통합 특징 맵이 획득되면, 판단 뉴럴 네트워크로 하여금, 상기 학습용 통합 특징 맵에 적어도 하나의 판단 뉴럴 네트워크 연산을 가하여, 각각의 상기 제1 학습용 클라우드 포인트 내지 상기 제N 학습용 클라우드 포인트에 대한 정보가 상기 학습용 HD 맵의 업데이트에 사용될 확률 각각을 나타내는 제1 학습용 예측 적합도 스코어 내지 제N 학습용 예측 적합도 스코어를 생성하도록 하며, (3) 상기 학습 장치가 로스 레이어로 하여금, (i) 상기 제1 학습용 예측 적합도 스코어 내지 상기 제N 학습용 예측 적합도 스코어 및 (ii) 제1 GT 적합도 스코어 내지 제N GT 적합도 스코어를 참조하여 로스를 생성하도록 하고, 상기 로스를 이용한 백프로퍼게이션을 수행함으로써, 상기 판단 뉴럴 네트워크 및 상기 좌표 뉴럴 네트워크의 파라미터 중 적어도 일부를 학습하도록 한 상태에서, 테스팅 장치가, 테스트용 타겟 영역 내에서 검출된 제1 테스트용 클라우드 포인트 내지 제N 테스트용 클라우드 포인트에 대응하는 제1 테스트용 좌표 내지 제N 테스트용 좌표에 대한 정보를 포함하는 적어도 하나의 테스트용 좌표 매트릭스가 획득되면, 상기 좌표 뉴럴 네트워크로 하여금, 상기 테스트용 좌표 매트릭스에 상기 좌표 뉴럴 네트워크 연산을 가하여 적어도 하나의 테스트용 로컬 특징 맵 및 적어도 하나의 테스트용 글로벌 특징 벡터를 생성하도록 하는 단계; 및
    (b) 상기 테스팅 장치가, (i) 상기 테스트용 로컬 특징 맵, (ii) 상기 테스트용 글로벌 특징 벡터 및 (iii) 상기 제1 테스트용 클라우드 포인트 내지 상기 제N 테스트용 클라우드 포인트에 대응하는 제1 테스트용 클래스 정보 내지 제N 테스트용 클래스 정보에 대한 정보를 포함하는 적어도 하나의 테스트용 클래스 매트릭스를 통합하여 생성된 적어도 하나의 테스트용 통합 특징 맵이 획득되면, 상기 판단 뉴럴 네트워크로 하여금, 상기 테스트용 통합 특징 맵에 상기 판단 뉴럴 네트워크 연산을 가하여, 각각의 상기 제1 테스트용 클라우드 포인트 내지 상기 제N 테스트용 클라우드 포인트에 대한 정보가 테스트용 HD 맵의 업데이트에 사용될 확률 각각을 나타내는 제1 테스트용 예측 적합도 스코어 내지 제N 테스트용 예측 적합도 스코어를 생성하도록 하는 단계;
    를 포함하는 것을 특징으로 하는 테스팅 방법.
  13. 제 12항에 있어서,
    (c) 상기 테스팅 장치가, 업데이팅 모듈로 하여금, 상기 제1 테스트용 예측 적합도 스코어 내지 상기 제N 테스트용 예측 적합도 스코어 각각이 임계치 이상인지 여부를 판단하도록 하고, 상기 임계치 이상의 특정 예측 적합도 스코어를 갖는 하나 이상의 특정 클라우드 포인트에 대한 특정 정보를 이용하여 상기 테스트용 HD 맵을 업데이트하도록 하는 단계;
    를 더 포함하는 것을 특징으로 하는 테스팅 방법.
  14. 제 12항에 있어서,
    하나 이상의 테스트용 데이터 획득 차량과 연동하는 테스트용 서버가, (i) 각각의 상기 테스트용 데이터 획득 차량을 통해 획득된 테스트용 지도 데이터 각각을, 상기 테스트용 지도 데이터가 획득된 각각의 위치에 대한 각각의 테스트용 위치 정보를 참조로 하여 분류하고, (ii) 분류된 상기 테스트용 지도 데이터에 포함된, 상기 테스트용 타겟 영역에 대한 테스트용 타겟 정보를 이용하여 상기 테스트용 좌표 매트릭스 및 상기 테스트용 클래스 매트릭스를 생성하며, (iii) 상기 테스트용 좌표 매트릭스 및 상기 테스트용 클래스 매트릭스를 상기 테스팅 장치에 전달하는 것을 특징으로 하는 테스팅 방법.
  15. 제 12항에 있어서,
    상기 테스트용 서버는, (i) 상기 테스트용 지도 데이터에 포함된, 상기 테스트용 타겟 영역에 대응하는 테스트용 특정 클라우드 포인트 정보를 사용하여 상기 테스트용 좌표 매트릭스를 생성하는 프로세스 및 (ii) 상기 테스트용 지도 데이터에 포함된, 상기 테스트용 타겟 영역에 대응하는 테스트용 특정 클래스 정보를 사용하여 상기 테스트용 클래스 매트릭스를 생성하는 프로세스를 수행하는 것을 특징으로 하는 테스팅 방법.
  16. 다수의 차량을 통해 획득된 정보 중, HD 맵을 업데이트하기 위해 사용될 특정 정보를 선택하는 학습 장치에 있어서,
    인스트럭션을 저장하는 적어도 하나의 메모리; 및
    (I) 타겟 영역 내에서 검출된 제1 클라우드 포인트 내지 제N 클라우드 포인트에 대응하는 제1 좌표 내지 제N 좌표에 대한 정보를 포함하는 적어도 하나의 좌표 매트릭스가 획득되면, 좌표 뉴럴 네트워크로 하여금, 상기 좌표 매트릭스에 적어도 하나의 좌표 뉴럴 네트워크 연산을 가하여 적어도 하나의 로컬 특징 맵 및 적어도 하나의 글로벌 특징 벡터를 생성하도록 하는 프로세스, (II) (i) 상기 로컬 특징 맵, (ii) 상기 글로벌 특징 벡터 및 (iii) 상기 제1 클라우드 포인트 내지 상기 제N 클라우드 포인트에 대응하는 제1 클래스 정보 내지 제N 클래스 정보에 대한 정보를 포함하는 적어도 하나의 클래스 매트릭스를 통합하여 생성된 적어도 하나의 통합 특징 맵이 획득되면, 판단 뉴럴 네트워크로 하여금, 상기 통합 특징 맵에 적어도 하나의 판단 뉴럴 네트워크 연산을 가하여, 각각의 상기 제1 클라우드 포인트 내지 상기 제N 클라우드 포인트에 대한 정보가 상기 HD 맵의 업데이트에 사용될 확률 각각을 나타내는 제1 예측 적합도 스코어 내지 제N 예측 적합도 스코어를 생성하도록 하는 프로세스, 및 (III) 로스 레이어로 하여금, (i) 상기 제1 예측 적합도 스코어 내지 상기 제N 예측 적합도 스코어 및 (ii) 제1 GT(ground-truth) 적합도 스코어 내지 제N GT 적합도 스코어를 참조하여 로스를 생성하도록 하고, 상기 로스를 이용한 백프로퍼게이션(backpropagation)을 수행함으로써, 상기 판단 뉴럴 네트워크 및 상기 좌표 뉴럴 네트워크의 파라미터 중 적어도 일부를 학습하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하는 학습 장치.
  17. 제 16항에 있어서,
    상기 (I) 프로세스에서,
    상기 프로세서가, 상기 좌표 뉴럴 네트워크의 적어도 하나의 좌표 컨벌루션 레이어에 포함된 하나 이상의 좌표 컨벌루션 뉴런 각각으로 하여금, 이의 파라미터를 이용해 적어도 하나의 좌표 컨벌루션 뉴런 연산을 입력된 값에 가한 후 출력된 값을 각각 다음 좌표 컨벌루션 뉴런에 전달하도록 함으로써, 상기 좌표 뉴럴 네트워크 연산 중 적어도 일부인 적어도 하나의 좌표 컨벌루션 연산을 상기 좌표 매트릭스에 가함으로써, 상기 로컬 특징 맵을 생성하도록 하는 것을 특징으로 하는 학습 장치.
  18. 제 17항에 있어서,
    상기 (I) 프로세스에서,
    상기 프로세서가, 상기 좌표 뉴럴 네트워크의 글로벌 특징 레이어로 하여금, 상기 좌표 뉴럴 네트워크 연산 중 적어도 일부인 적어도 하나의 글로벌 특징 연산을 상기 로컬 특징 맵에 가하여 상기 글로벌 특징 벡터를 생성하도록 하는 것을 특징으로 하는 학습 장치.
  19. 제 16항에 있어서,
    상기 (II) 프로세스에서,
    상기 통합 특징 맵은, (i) 특정 순서대로 정렬된 상기 제1 클래스 정보 내지 상기 제N 클래스 정보를 성분으로서 포함하는 상기 클래스 매트릭스, (ii) 상기 특정 순서대로 정렬된, 상기 제1 클라우드 포인트 내지 상기 제N 클라우드 포인트 각각에 대응하는 각각의 특징 값을 성분으로서 포함하는 상기 로컬 특징 맵 및 (iii) 상기 글로벌 특징 벡터를 N번 복제하여 생성된 글로벌 특징 맵을 채널 방향 컨캐터네이팅하여 생성되는 것을 특징으로 하는 학습 장치.
  20. 제 16항에 있어서,
    상기 (II) 프로세스에서,
    상기 프로세서가, (i) 상기 판단 뉴럴 네트워크의 적어도 하나의 판단 컨벌루션 레이어에 포함된 하나 이상의 판단 컨벌루션 뉴런 각각으로 하여금, 이의 파라미터를 이용해 적어도 하나의 판단 컨벌루션 뉴런 연산을 입력된 값에 가한 후 출력된 값을 각각 다음 판단 컨벌루션 뉴런에 전달하도록 함으로써, 상기 판단 뉴럴 네트워크 연산 중 적어도 일부인 적어도 하나의 판단 컨벌루션 연산을 상기 판단 매트릭스에 가하도록 하고, 판단 특징 맵을 생성하도록 하며, (ii) 상기 판단 뉴럴 네트워크의 판단 출력 레이어로 하여금, 상기 판단 특징 맵을 참조하여 상기 제1 클라우드 포인트 내지 상기 제N 클라우드 포인트에 상기 판단 뉴럴 네트워크 연산 중 일부인 분류 연산을 가하여, 상기 제1 예측 적합도 스코어 내지 상기 제N 예측 적합도 스코어를 생성하도록 하는 것을 특징으로 하는 학습 장치.
  21. 제 16항에 있어서,
    상기 (III) 프로세스에서,
    상기 프로세서가 상기 로스 레이어로 하여금, 하기 수식에 따라 상기 로스를 생성하도록 하되,
    Figure pat00023

    Figure pat00024
    은 상기 제1 클라우드 포인트 내지 제N 클라우드 포인트의 개수를 의미하고,
    Figure pat00025
    는 제i 예측 적합도 스코어를 의미하며,
    Figure pat00026
    는 제i GT 적합도 스코어를 의미하는 것을 특징으로 하는 학습 장치.
  22. 제 16항에 있어서,
    상기 (III) 프로세스에서,
    상기 프로세서가 상기 로스 레이어로 하여금, 경사 하강(gradient descent) 방법을 이용하여 상기 백프로퍼게이션을 수행함으로써, 이에 의해 조정된 상기 파라미터를 사용하여 생성될 후속 제1 예측 적합도 스코어 내지 후속 제N 예측 적합도 스코어가 이에 대응하는 후속 제1 GT 적합도 스코어 내지 후속 제N GT 적합도 스코어와 상대적으로 더 유사해지도록 하는 것을 특징으로 하는 학습 장치.
  23. 제 16항에 있어서,
    하나 이상의 데이터 획득 차량과 연동하는 서버가, (i) 각각의 상기 데이터 획득 차량을 통해 획득된 지도 데이터를, 각각의 상기 지도 데이터가 획득된 위치에 대한 각각의 위치 정보를 참조로 하여 분류하고, (ii) 상기 분류된 지도 데이터 내 상기 타겟 영역에 대한 타겟 정보를 이용하여 상기 좌표 매트릭스 및 상기 클래스 매트릭스를 생성하며, (iii) 상기 좌표 매트릭스 및 상기 클래스 매트릭스를 상기 학습 장치에 전달하는 것을 특징으로 하는 학습 장치.
  24. 제 23항에 있어서,
    상기 지도 데이터 중, 제1 특정 지도 데이터 및 제2 특정 지도 데이터가 동일한 특정 영역에 대응하는 경우, 상기 서버가 상기 제1 특정 지도 데이터 및 상기 제2 특정 지도 데이터에 적어도 하나의 통합 연산을 가하여 상기 제1 특정 지도 데이터 및 상기 제2 특정 지도 데이터를 통합하는 것을 특징으로 하는 학습 장치.
  25. 제 23항에 있어서,
    상기 데이터 획득 차량 각각은, (i) 적어도 하나의 카메라 및 적어도 하나의 깊이 센서 중 적어도 일부 및 (ii) 이에 대응하는 연산 모듈을 사용하여, 상기 데이터 획득 차량 각각으로부터 임계 거리 이하에 위치한 하나 이상의 객체에 대한 클라우드 포인트 정보 및 클래스 정보를 획득함으로써, 상기 지도 데이터 중 적어도 일부를 획득하고 이를 상기 서버에 전달하는 것을 특징으로 하는 학습 장치.
  26. 제 25항에 있어서,
    상기 서버는, (i) 상기 지도 데이터에 포함된, 상기 타겟 영역에 대응하는 특정 클라우드 포인트 정보를 사용하여 상기 좌표 매트릭스를 생성하는 프로세스 및 (ii) 상기 지도 데이터에 포함된, 상기 타겟 영역에 대응하는 특정 클래스 정보를 사용하여 상기 클래스 매트릭스를 생성하는 프로세스를 수행하는 것을 특징으로 하는 학습 장치.
  27. 다수의 차량을 통해 획득된 정보 중, HD 맵을 업데이트하기 위해 사용될 특정 정보를 선택하는 테스팅 장치에 있어서,
    인스트럭션을 저장하는 적어도 하나의 메모리; 및
    (I) (1) 학습 장치가, 학습용 타겟 영역 내에서 검출된 제1 학습용 클라우드 포인트 내지 제N 학습용 클라우드 포인트에 대응하는 제1 학습용 좌표 내지 제N 학습용 좌표에 대한 정보를 포함하는 적어도 하나의 학습용 좌표 매트릭스가 획득되면, 좌표 뉴럴 네트워크로 하여금, 상기 학습용 좌표 매트릭스에 적어도 하나의 좌표 뉴럴 네트워크 연산을 가하여 적어도 하나의 학습용 로컬 특징 맵 및 적어도 하나의 학습용 글로벌 특징 벡터를 생성하도록 하고, (2) 상기 학습 장치가, (i) 상기 학습용 로컬 특징 맵, (ii) 상기 학습용 글로벌 특징 벡터 및 (iii) 상기 제1 학습용 클라우드 포인트 내지 상기 제N 학습용 클라우드 포인트에 대응하는 제1 학습용 클래스 정보 내지 제N 학습용 클래스 정보에 대한 정보를 포함하는 적어도 하나의 학습용 클래스 매트릭스를 통합하여 생성된 적어도 하나의 학습용 통합 특징 맵이 획득되면, 판단 뉴럴 네트워크로 하여금, 상기 학습용 통합 특징 맵에 적어도 하나의 판단 뉴럴 네트워크 연산을 가하여, 각각의 상기 제1 학습용 클라우드 포인트 내지 상기 제N 학습용 클라우드 포인트에 대한 정보가 상기 학습용 HD 맵의 업데이트에 사용될 확률 각각을 나타내는 제1 학습용 예측 적합도 스코어 내지 제N 학습용 예측 적합도 스코어를 생성하도록 하며, (3) 상기 학습 장치가 로스 레이어로 하여금, (i) 상기 제1 학습용 예측 적합도 스코어 내지 상기 제N 학습용 예측 적합도 스코어 및 (ii) 제1 GT 적합도 스코어 내지 제N GT 적합도 스코어를 참조하여 로스를 생성하도록 하고, 상기 로스를 이용한 백프로퍼게이션을 수행함으로써, 상기 판단 뉴럴 네트워크 및 상기 좌표 뉴럴 네트워크의 파라미터 중 적어도 일부를 학습하도록 한 상태에서, 테스트용 타겟 영역 내에서 검출된 제1 테스트용 클라우드 포인트 내지 제N 테스트용 클라우드 포인트에 대응하는 제1 테스트용 좌표 내지 제N 테스트용 좌표에 대한 정보를 포함하는 적어도 하나의 테스트용 좌표 매트릭스가 획득되면, 상기 좌표 뉴럴 네트워크로 하여금, 상기 테스트용 좌표 매트릭스에 상기 좌표 뉴럴 네트워크 연산을 가하여 적어도 하나의 테스트용 로컬 특징 맵 및 적어도 하나의 테스트용 글로벌 특징 벡터를 생성하도록 하는 프로세스, 및 (II) (i) 상기 테스트용 로컬 특징 맵, (ii) 상기 테스트용 글로벌 특징 벡터 및 (iii) 상기 제1 테스트용 클라우드 포인트 내지 상기 제N 테스트용 클라우드 포인트에 대응하는 제1 테스트용 클래스 정보 내지 제N 테스트용 클래스 정보에 대한 정보를 포함하는 적어도 하나의 테스트용 클래스 매트릭스를 통합하여 생성된 적어도 하나의 테스트용 통합 특징 맵이 획득되면, 상기 판단 뉴럴 네트워크로 하여금, 상기 테스트용 통합 특징 맵에 상기 판단 뉴럴 네트워크 연산을 가하여, 각각의 상기 제1 테스트용 클라우드 포인트 내지 상기 제N 테스트용 클라우드 포인트에 대한 정보가 테스트용 HD 맵의 업데이트에 사용될 확률 각각을 나타내는 제1 테스트용 예측 적합도 스코어 내지 제N 테스트용 예측 적합도 스코어를 생성하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하는 테스팅 장치.
  28. 제 27항에 있어서,
    상기 프로세서가, (III) 업데이팅 모듈로 하여금, 상기 제1 테스트용 예측 적합도 스코어 내지 상기 제N 테스트용 예측 적합도 스코어 각각이 임계치 이상인지 여부를 판단하도록 하고, 상기 임계치 이상의 특정 예측 적합도 스코어를 갖는 하나 이상의 특정 클라우드 포인트에 대한 특정 정보를 이용하여 상기 테스트용 HD 맵을 업데이트하도록 하는 프로세스를 더 수행하는 것을 특징으로 하는 테스팅 장치.
  29. 제 27항에 있어서,
    하나 이상의 테스트용 데이터 획득 차량과 연동하는 테스트용 서버가, (i) 각각의 상기 테스트용 데이터 획득 차량을 통해 획득된 테스트용 지도 데이터 각각을, 상기 테스트용 지도 데이터가 획득된 각각의 위치에 대한 각각의 테스트용 위치 정보를 참조로 하여 분류하고, (ii) 분류된 상기 테스트용 지도 데이터에 포함된, 상기 테스트용 타겟 영역에 대한 테스트용 타겟 정보를 이용하여 상기 테스트용 좌표 매트릭스 및 상기 테스트용 클래스 매트릭스를 생성하며, (iii) 상기 테스트용 좌표 매트릭스 및 상기 테스트용 클래스 매트릭스를 상기 테스팅 장치에 전달하는 것을 특징으로 하는 테스팅 장치.
  30. 제 27항에 있어서,
    상기 테스트용 서버는, (i) 상기 테스트용 지도 데이터에 포함된, 상기 테스트용 타겟 영역에 대응하는 테스트용 특정 클라우드 포인트 정보를 사용하여 상기 테스트용 좌표 매트릭스를 생성하는 프로세스 및 (ii) 상기 테스트용 지도 데이터에 포함된, 상기 테스트용 타겟 영역에 대응하는 테스트용 특정 클래스 정보를 사용하여 상기 테스트용 클래스 매트릭스를 생성하는 프로세스를 수행하는 것을 특징으로 하는 테스팅 장치.
KR1020200001730A 2019-01-30 2020-01-06 V2x 정보 융합 기술을 통해 획득된, 각 객체에 대한 깊이 예측 정보 및 각 객체에 대한 클래스 정보를 이용해 3d 공간을 재구축함으로써 hd 맵을 업데이트하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치 KR102373493B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962798656P 2019-01-30 2019-01-30
US62/798,656 2019-01-30
US16/724,994 US10733511B1 (en) 2019-01-30 2019-12-23 Learning method and learning device for updating HD map by reconstructing 3D space by using depth estimation information and class information on each object, which have been acquired through V2X information integration technique, and testing method and testing device using the same
US16/724,994 2019-12-23

Publications (2)

Publication Number Publication Date
KR20200094644A true KR20200094644A (ko) 2020-08-07
KR102373493B1 KR102373493B1 (ko) 2022-03-14

Family

ID=69190630

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200001730A KR102373493B1 (ko) 2019-01-30 2020-01-06 V2x 정보 융합 기술을 통해 획득된, 각 객체에 대한 깊이 예측 정보 및 각 객체에 대한 클래스 정보를 이용해 3d 공간을 재구축함으로써 hd 맵을 업데이트하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치

Country Status (5)

Country Link
US (1) US10733511B1 (ko)
EP (1) EP3690756B1 (ko)
JP (1) JP6892157B2 (ko)
KR (1) KR102373493B1 (ko)
CN (1) CN111508252B (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220146277A1 (en) * 2020-11-09 2022-05-12 Argo AI, LLC Architecture for map change detection in autonomous vehicles
CN113064193B (zh) * 2021-03-25 2022-12-16 上海智能新能源汽车科创功能平台有限公司 一种基于车路云协同的组合定位系统
WO2023085702A1 (ko) * 2021-11-09 2023-05-19 엘지전자 주식회사 무선 통신 시스템에서 제1 장치가 제1 메시지를 전송하는 방법 및 이를 위한 장치
CN115762199B (zh) * 2022-09-20 2023-09-29 东南大学 一种基于深度强化学习和逆强化学习的交通灯控制方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180189578A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Lane Network Construction Using High Definition Maps for Autonomous Vehicles

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013030764A1 (en) * 2011-09-02 2013-03-07 Koninklijke Philips Electronics N.V. Rapid dense point cloud imaging using probabilistic voxel maps
GB201116959D0 (en) * 2011-09-30 2011-11-16 Bae Systems Plc Vehicle localisation with 2d laser scanner and 3d prior scans
US10075656B2 (en) * 2013-10-30 2018-09-11 At&T Intellectual Property I, L.P. Methods, systems, and products for telepresence visualizations
US9292961B1 (en) * 2014-08-26 2016-03-22 The Boeing Company System and method for detecting a structural opening in a three dimensional point cloud
EP3295422B1 (en) * 2015-05-10 2020-01-01 Mobileye Vision Technologies Ltd. Road profile along a predicted path
US9613423B2 (en) * 2015-06-12 2017-04-04 Google Inc. Using a depth map of a monitored scene to identify floors, walls, and ceilings
US10482196B2 (en) * 2016-02-26 2019-11-19 Nvidia Corporation Modeling point cloud data using hierarchies of Gaussian mixture models
CN106023210B (zh) * 2016-05-24 2017-12-12 百度在线网络技术（北京）有限公司 无人车、无人车定位方法、装置和系统
CN106052697B (zh) * 2016-05-24 2017-11-14 百度在线网络技术（北京）有限公司 无人车、无人车定位方法、装置和系统
US10365658B2 (en) * 2016-07-21 2019-07-30 Mobileye Vision Technologies Ltd. Systems and methods for aligning crowdsourced sparse map data
EP3324209A1 (en) * 2016-11-18 2018-05-23 Dibotics Methods and systems for vehicle environment map generation and updating
CN106776996B (zh) * 2016-12-02 2018-09-07 百度在线网络技术（北京）有限公司 用于测试高精度地图的准确性的方法和装置
US10436595B2 (en) * 2017-02-02 2019-10-08 Baidu Usa Llc Method and system for updating localization maps of autonomous driving vehicles
US10380890B2 (en) * 2017-02-08 2019-08-13 Baidu Usa Llc Autonomous vehicle localization based on walsh kernel projection technique
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US10078790B2 (en) * 2017-02-16 2018-09-18 Honda Motor Co., Ltd. Systems for generating parking maps and methods thereof
CN108732584B (zh) * 2017-04-17 2020-06-30 百度在线网络技术（北京）有限公司 用于更新地图的方法和装置
CN108732582B (zh) * 2017-04-20 2020-07-10 百度在线网络技术（北京）有限公司 车辆定位方法和装置
US10467756B2 (en) * 2017-05-14 2019-11-05 International Business Machines Corporation Systems and methods for determining a camera pose of an image
US11263526B2 (en) 2017-05-31 2022-03-01 Intel Corporation Gradient-based training engine for quaternion-based machine-learning systems
US10360686B2 (en) * 2017-06-13 2019-07-23 TuSimple Sparse image point correspondences generation and correspondences refinement system for ground truth static scene sparse flow generation
US10488521B2 (en) * 2017-06-13 2019-11-26 TuSimple Sensor calibration and time method for ground truth static scene sparse flow generation
US10481267B2 (en) * 2017-06-13 2019-11-19 TuSimple Undistorted raw LiDAR scans and static point extractions method for ground truth static scene sparse flow generation
US10007865B1 (en) * 2017-10-16 2018-06-26 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same
US10859682B2 (en) * 2017-12-07 2020-12-08 Ouster, Inc. Telematics using a light ranging system
US11127203B2 (en) * 2018-05-16 2021-09-21 Samsung Electronics Co., Ltd. Leveraging crowdsourced data for localization and mapping within an environment
CN108847121A (zh) * 2018-07-04 2018-11-20 深圳地平线机器人科技有限公司 构建高精度地图的方法和装置
CN109064506B (zh) * 2018-07-04 2020-03-13 百度在线网络技术（北京）有限公司 高精度地图生成方法、装置及存储介质
US10282864B1 (en) * 2018-09-17 2019-05-07 StradVision, Inc. Method and device for encoding image and testing method and testing device using the same
US10528867B1 (en) * 2018-10-08 2020-01-07 StradVision, Inc. Learning method and learning device for neural network at adaptive learning rate, and testing method and testing device using the same
US10395140B1 (en) * 2019-01-23 2019-08-27 StradVision, Inc. Learning method and learning device for object detector based on CNN using 1×1 convolution to be used for hardware optimization, and testing method and testing device using the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180189578A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Lane Network Construction Using High Definition Maps for Autonomous Vehicles

Also Published As

Publication number Publication date
EP3690756C0 (en) 2023-09-27
CN111508252B (zh) 2022-12-30
EP3690756A1 (en) 2020-08-05
CN111508252A (zh) 2020-08-07
JP2020123348A (ja) 2020-08-13
EP3690756B1 (en) 2023-09-27
JP6892157B2 (ja) 2021-06-23
KR102373493B1 (ko) 2022-03-14
US10733511B1 (en) 2020-08-04
US20200242478A1 (en) 2020-07-30

Similar Documents

Publication Publication Date Title
US11276230B2 (en) Inferring locations of 3D objects in a spatial environment
KR102264394B1 (ko) 카메라로부터 획득된 이미지와, 이에 대응하는, 레이더 또는 라이더를 통해 획득된 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102296507B1 (ko) 트래킹 네트워크를 포함한 cnn을 사용하여 객체를 트래킹하는 방법 및 이를 이용한 장치
EP3405845B1 (en) Object-focused active three-dimensional reconstruction
US11734918B2 (en) Object identification apparatus, moving body system, object identification method, object identification model learning method, and object identification model learning apparatus
KR102373493B1 (ko) V2x 정보 융합 기술을 통해 획득된, 각 객체에 대한 깊이 예측 정보 및 각 객체에 대한 클래스 정보를 이용해 3d 공간을 재구축함으로써 hd 맵을 업데이트하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
KR102279376B1 (ko) CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
JP6908944B2 (ja) 多重カメラまたはサラウンドビューモニタリングに利用されるために、ターゲット物体統合ネットワーク及びターゲット物体予測ネットワークを利用して、重要業績評価指標のようなユーザー要求事項に適用可能なｃｎｎ基盤の物体検出器を学習する方法及び学習装置、並びにこれを利用したテスティング方法及びテスティング装置
JP7092383B2 (ja) 各領域において最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレスパラメータ変更を遂行する方法及び装置
KR102279388B1 (ko) 차선 모델을 이용하여 차선을 검출할 수 있는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102301631B1 (ko) 협업 주행을 수행하는 자동차들로부터 획득된 주행 이미지들을 통합하는 방법 및 이를 이용한 주행 이미지 통합 장치
US11827214B2 (en) Machine-learning based system for path and/or motion planning and method of training the same
KR102372703B1 (ko) V2v 통신을 통해 획득된 타 자율 주행 차량의 공간 탐지 결과를 자신의 자율 주행 차량의 공간 탐지 결과와 통합하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR20200091324A (ko) 원거리 검출 또는 군사 목적을 위해, 이미지 컨캐터네이션을 이용한, cnn 기반의 하드웨어 최적화가 가능한 객체 검출기를 학습하는 방법 및 학습 장치, 이를 이용한 테스팅 방법 및 테스팅 장치
KR102372687B1 (ko) 비최대값 억제를 학습하는 병합 네트워크를 이용한 이종 센서 융합을 위한 학습 방법 및 학습 장치
KR102314515B1 (ko) 경쟁적인 컴퓨팅 및 정보 퓨전을 이용하여 차량의 자율 주행을 지원하는데 이용될 자율 주행 서비스 플랫폼을 제공하는 방법 및 이를 이용한 서버
EP4064126B1 (en) Methods for training and testing perception network by using images obtained from multiple imaging devices having diverse specifications and learning device and testing device using the same

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant