KR102264394B1 - 카메라로부터 획득된 이미지와, 이에 대응하는, 레이더 또는 라이더를 통해 획득된 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치 - Google Patents

카메라로부터 획득된 이미지와, 이에 대응하는, 레이더 또는 라이더를 통해 획득된 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치 Download PDF

Info

Publication number
KR102264394B1
KR102264394B1 KR1020190147097A KR20190147097A KR102264394B1 KR 102264394 B1 KR102264394 B1 KR 102264394B1 KR 1020190147097 A KR1020190147097 A KR 1020190147097A KR 20190147097 A KR20190147097 A KR 20190147097A KR 102264394 B1 KR102264394 B1 KR 102264394B1
Authority
KR
South Korea
Prior art keywords
feature map
fused
map
point cloud
training
Prior art date
Application number
KR1020190147097A
Other languages
English (en)
Other versions
KR20200095333A (ko
Inventor
김용중
김인수
김학경
남운현
부석훈
성명철
유우주
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20200095333A publication Critical patent/KR20200095333A/ko
Application granted granted Critical
Publication of KR102264394B1 publication Critical patent/KR102264394B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 발명은 카메라에 의해 생성된 이미지와, 이에 대응하는, 레이더 또는 라이더에 의해 생성된 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하는 방법에 있어서, (a) 컴퓨팅 장치가, 적어도 하나의 초기 연산 레이어로 하여금, 상기 카메라에 의해 생성된 적어도 하나의 오리지널 이미지를, 이에 대응하는, 상기 레이더 또는 상기 라이더에 의해 생성된 적어도 하나의 오리지널 포인트 클라우드 맵과 통합하여, (i) 상기 오리지널 포인트 클라우드 맵에 포함된 깊이 정보를 상기 오리지널 이미지에 추가함으로써 적어도 하나의 제1 퓨즈드(fused) 특징 맵 및 (ii) 상기 오리지널 이미지에 포함된 색상 정보를 상기 오리지널 포인트 클라우드 맵에 추가함으로써 적어도 하나의 제1 퓨즈드 포인트 클라우드 맵을 생성하도록 하는 단계; (b) 상기 컴퓨팅 장치가, 적어도 하나의 변환 레이어로 하여금, 상기 제1 퓨즈드 특징 맵에 적어도 하나의 제1 변환 연산을 적용함으로써 제(1_1) 중간(intermediate) 특징 맵을 생성하도록 하고, 상기 제1 퓨즈드 포인트 클라우드 맵에 적어도 하나의 제2 변환 연산을 적용함으로써 제(1_2) 중간 특징 맵을 생성하도록 하는 단계; 및 (c) 상기 컴퓨팅 장치가, 적어도 하나의 통합 레이어로 하여금, 상기 제(1_1) 중간 특징 맵 및 상기 제(1_2) 중간 특징 맵을 통합함으로써 제2 퓨즈드 특징 맵을 생성하도록 하고, 상기 제2 퓨즈드 특징 맵에 적어도 하나의 맵핑 연산을 적용함으로써 제2 퓨즈드 포인트 클라우드 맵을 생성하도록 하는 단계;를 포함하는 것을 특징으로 하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치에 관한 것이다.

Description

카메라로부터 획득된 이미지와, 이에 대응하는, 레이더 또는 라이더를 통해 획득된 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치{LEARNING METHOD AND LEARNING DEVICE FOR INTEGRATING IMAGE ACQUIRED BY CAMERA AND POINT-CLOUD MAP ACQUIRED BY RADAR OR LIDAR CORRESPONDING TO IMAGE AT EACH OF CONVOLUTION STAGES IN NEURAL NETWORK AND TESTING METHOD AND TESTING DEVICE USING THE SAME}
본 발명은 자율 주행 차량과 함께 사용하기 위한 학습 방법 및 학습 장치에 관한 것으로, 보다 구체적으로, 카메라에 의해 획득된 이미지와, 레이더 또는 라이더를 통해 획득된 포인트 클라우드 맵을 통합하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치에 관한 것이다.
딥 컨벌루션 뉴럴 네트워크(Deep Convolutional Neural Network or Deep CNN)는 딥 러닝 분야에서 일어난 눈부신 발전의 핵심이다. CNN은 글자 인식 문제를 해결하기 위해 90년대에도 사용되었지만, 근래에 들어서야 기계 학습(Machine Learning) 분야에서 널리 쓰이게 되었다. 예를 들어, CNN은 2012년에 이미지 인식 경진대회(ImageNet Large Scale Visual Recognition Challenge)에서 다른 경쟁 상대를 제치고 우승을 차지했다. 그 후, CNN은 기계 학습 분야에서 매우 유용한 툴로 쓰이게 되었다.
최근 CNN은 자율 주행 자동차 분야에서 매우 널리 사용되고 있다. 자율 주행 자동차 분야에서 사용될 때, CNN은, 자동차에 부착된 카메라로부터 이미지를 획득하고, 이를 이용해 차선을 탐색하는 등의 역할을 수행한다.
그러나, CNN이 카메라로부터 획득된 영상만을 이용하는 경우, 특정 상황, 즉 어둡거나 안개가 짙게 껴 영상의 신뢰성이 좋지 않은 경우에는 자율 주행의 안전성이 보장되지 않게 된다. 따라서, 카메라 외의 추가 센서, 예를 들면 적어도 하나의 레이더 및/또는 적어도 하나의 라이더를 사용하면 자율 주행을 보다 안전하게 하는 데에 도움이 되는데, 종래 기술은, 이를 단순히 투 트랙 방식(two-track)으로만 이용하여, 카메라에서 획득된 정보와 레이더 및/또는 라이더에서 획득된 정보를 별도로 연산하여 이용하는 데에 그쳤다.
이와 같은 경우, 각각의 뉴럴 네트워크가 독립적으로 동작하게 되어 비효율적인 문제가 있다.
본 발명은 상술한 문제점을 해결하는 것을 목적으로 한다.
본 발명은 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로, 적어도 하나의 카메라에 의해 생성된 적어도 하나의 이미지와, 이에 대응하는, 적어도 하나의 레이더 또는 라이더에 의해 생성된 적어도 하나의 포인트 클라우드 맵을 통합하는 방법을 제공하는 것을 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 적어도 하나의 카메라에 의해 생성된 적어도 하나의 이미지와, 이에 대응하는, 적어도 하나의 레이더 또는 라이더에 의해 생성된 적어도 하나의 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하는 방법에 있어서, (a) 컴퓨팅 장치가, 적어도 하나의 초기 연산 레이어로 하여금, 상기 카메라에 의해 생성된 하나 이상의 오리지널 이미지를, 이에 대응하는, 상기 레이더 또는 상기 라이더에 의해 생성된 적어도 하나의 오리지널 포인트 클라우드 맵과 통합하여, (i) 상기 오리지널 포인트 클라우드 맵에 포함된 깊이 정보를 상기 오리지널 이미지에 추가함으로써 적어도 하나의 제1 퓨즈드(fused) 특징 맵 및 (ii) 상기 오리지널 이미지에 포함된 색상 정보를 상기 오리지널 포인트 클라우드 맵에 추가함으로써 적어도 하나의 제1 퓨즈드 포인트 클라우드 맵을 생성하도록 하는 단계; (b) 상기 컴퓨팅 장치가, 적어도 하나의 변환 레이어로 하여금, 상기 제1 퓨즈드 특징 맵에 적어도 하나의 제1 변환 연산을 적용함으로써 제(1_1) 중간(intermediate) 특징 맵을 생성하도록 하고, 상기 제1 퓨즈드 포인트 클라우드 맵에 적어도 하나의 제2 변환 연산을 적용함으로써 제(1_2) 중간 특징 맵을 생성하도록 하는 단계; 및 (c) 상기 컴퓨팅 장치가, 적어도 하나의 통합 레이어로 하여금, 상기 제(1_1) 중간 특징 맵 및 상기 제(1_2) 중간 특징 맵을 통합함으로써 제2 퓨즈드 특징 맵을 생성하도록 하고, 상기 제2 퓨즈드 특징 맵에 적어도 하나의 맵핑 연산을 적용함으로써 제2 퓨즈드 포인트 클라우드 맵을 생성하도록 하는 단계;를 포함하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, (d) 상기 컴퓨팅 장치가, 상기 (b) 단계 및 상기 (c) 단계를 반복한 결과, (i) 상기 변환 레이어로 하여금, 상기 통합 레이어에 의해 생성된 제N 퓨즈드 특징 맵에 적어도 하나의 상기 제1 변환 연산을 적용함으로써 제N_1 중간 특징 맵을 생성하도록 하고, 상기 통합 레이어에 의해 생성된 제N 퓨즈드 포인트 클라우드 맵에 적어도 하나의 상기 제2 변환 연산을 적용함으로써 제N_2 중간 특징 맵을 생성하도록 하며, (ii) 상기 통합 레이어로 하여금, 상기 제N_1 중간 특징 맵 및 상기 제N_2 중간 특징 맵을 통합함으로써 제N+1 퓨즈드 특징 맵을 생성하도록 하고, 상기 제N+1 퓨즈드 특징 맵에 상기 맵핑 연산을 적용함으로써 제N+1 퓨즈드 포인트 클라우드 맵을 생성하도록 하는 단계;를 더 포함하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, (e) 상기 컴퓨팅 장치가, 적어도 하나의 출력 레이어로 하여금, 상기 제N+1 퓨즈드 특징 맵 및 상기 제N+1 퓨즈드 포인트 클라우드 맵 중 적어도 일부를 참조로 하여, 객체 디텍션, 시멘틱 세그멘테이션 및 깊이 예측 중 적어도 일부를 포함하는, 차량의 자율 주행에 필요한 연산들 중 적어도 일부를 수행하도록 하는 단계;를 더 포함하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, (f) 상기 컴퓨팅 장치가, 상기 출력 레이어에 의해 생성된 상기 뉴럴 네트워크의 적어도 하나의 출력이 생성되면, 상기 출력 및 이에 대응되는 적어도 하나의 GT 를 참조로 하여, 상기 뉴럴 네트워크의 하나 이상의 파라미터의 적어도 일부를 학습하도록 하는 단계;를 더 포함하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (a) 단계에서, 상기 제1 퓨즈드 특징 맵은, (i) 상기 오리지널 이미지에 포함된, 각 픽셀에 대한 오리지널 색상 정보 및 (ii) 상기 레이더 또는 상기 라이더에 인접한 3차원 공간 상의 각 위치에 대한 오리지널 좌표 정보를 참조로 하여 획득된, 상기 각 픽셀에 대한 상기 깊이 정보를 포함하되, 상기 각 위치는 상기 오리지널 포인트 클라우드 맵에 포함되는 것을 특징으로 하며, 상기 제1 퓨즈드 포인트 클라우드 맵은, (i) 상기 오리지널 좌표 정보 및 (ii) 상기 오리지널 색상 정보를 참조로 하여 획득된, 상기 각 위치에 대한 상기 색상 정보를 포함하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (b) 단계에서, 상기 제(1_1) 중간 특징 맵은, 상기 제1 퓨즈드 특징 맵에, 적어도 하나의 컨벌루션 연산을 포함하는 상기 제1 변환 연산을 적용함으로써 생성되는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (b) 단계에서, 상기 제(1_1) 중간 특징 맵은, 상기 제1 퓨즈드 특징 맵에, 적어도 하나의 컨벌루션 연산 외에, 적어도 하나의 ReLU 연산 및 적어도 하나의 풀링 연산을 더 포함하는 상기 제1 변환 연산을 적용함으로써 생성되는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (b) 단계에서, 상기 제(1_2) 중간 특징 맵은, 상기 제1 퓨즈드 포인트 클라우드 맵에, 적어도 하나의 뉴럴 네트워크 연산, 적어도 하나의 역맵핑 연산 및 적어도 하나의 컨벌루션 연산을 포함하는 상기 제2 변환 연산을 적용함으로써 생성되되, 상기 역맵핑 연산은, (i) 상기 제1 퓨즈드 포인트 클라우드 맵에 포함된, 3차원 좌표에 상기 색상 정보가 연동된 형태의 상기 깊이 정보와 (ii) 상기 제(1_1) 중간 특징 맵의 각각의 특징을 연동시키는 연산인 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (c) 단계에서, 상기 제2 퓨즈드 특징 맵은, 상기 제(1_1) 중간 특징 맵 및 상기 제(1_2) 중간 특징 맵을 채널 방향으로 컨캐터네이팅 함으로써 생성되는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (c) 단계에서, 상기 맵핑 연산은, (i) 상기 제2 퓨즈드 특징 맵의 각각의 특징 값을 (ii) 상기 레이더 또는 상기 라이더에 인접한 3차원 공간 상의 각 위치에 연동시키는 연산인 것을 특징으로 하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 적어도 하나의 카메라에 의해 생성된 적어도 하나의 이미지와, 이에 대응하는, 적어도 하나의 레이더 또는 라이더에 의해 생성된 적어도 하나의 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하고, 이를 이용하는 테스트 방법에 있어서, (a) (1) 학습 장치가, 적어도 하나의 초기 연산 레이어로 하여금, 상기 카메라에 의해 생성된 하나 이상의 오리지널 트레이닝 이미지를, 이에 대응하는, 상기 레이더 또는 상기 라이더에 의해 생성된 적어도 하나의 트레이닝용 오리지널 포인트 클라우드 맵과 통합하여, (i) 상기 트레이닝용 오리지널 포인트 클라우드 맵에 포함된 트레이닝용 깊이 정보를 상기 오리지널 트레이닝 이미지에 추가함으로써 적어도 하나의 트레이닝용 제1 퓨즈드(fused) 특징 맵 및 (ii) 상기 오리지널 트레이닝 이미지에 포함된 트레이닝용 색상 정보를 상기 트레이닝용 오리지널 포인트 클라우드 맵에 추가함으로써 적어도 하나의 트레이닝용 제1 퓨즈드 포인트 클라우드 맵을 생성하는 프로세스를 수행하도록 하고, (2) 상기 학습 장치가, 적어도 하나의 변환 레이어로 하여금, 상기 트레이닝용 제1 퓨즈드 특징 맵에 적어도 하나의 제1 변환 연산을 적용함으로써 트레이닝용 제(1_1) 중간(intermediate) 특징 맵을 생성하도록 하고, 상기 트레이닝용 제1 퓨즈드 포인트 클라우드 맵에 적어도 하나의 제2 변환 연산을 적용함으로써 트레이닝용 제(1_2) 중간 특징 맵을 생성하는 프로세스를 수행하도록 하고, (3) 상기 학습 장치가, 적어도 하나의 통합 레이어로 하여금, 상기 트레이닝용 제(1_1) 중간 특징 맵 및 상기 트레이닝용 제(1_2) 중간 특징 맵을 통합함으로써 트레이닝용 제2 퓨즈드 특징 맵을 생성하도록 하고, 상기 트레이닝용 제2 퓨즈드 특징 맵에 적어도 하나의 맵핑 연산을 적용함으로써 트레이닝용 제2 퓨즈드 포인트 클라우드 맵을 생성하는 프로세스를 수행하도록 하고, (4) 상기 학습 장치가, 상기 (2) 프로세스 및 상기 (3) 프로세스를 반복한 결과, (i) 상기 변환 레이어로 하여금, 상기 통합 레이어에 의해 생성된 트레이닝용 제N 퓨즈드 특징 맵에 적어도 하나의 상기 제1 변환 연산을 적용함으로써 트레이닝용 제N_1 중간 특징 맵을 생성하도록 하고, 상기 통합 레이어에 의해 생성된 트레이닝용 제N 퓨즈드 포인트 클라우드 맵에 적어도 하나의 상기 제2 변환 연산을 적용함으로써 트레이닝용 제N_2 중간 특징 맵을 생성하도록 하며, (ii) 상기 통합 레이어로 하여금, 상기 트레이닝용 제N_1 중간 특징 맵 및 상기 트레이닝용 제N_2 중간 특징 맵을 통합함으로써 트레이닝용 제N+1 퓨즈드 특징 맵을 생성하도록 하고, 상기 트레이닝용 제N+1 퓨즈드 특징 맵에 상기 맵핑 연산을 적용함으로써 트레이닝용 제N+1 퓨즈드 포인트 클라우드 맵을 생성하는 프로세스를 수행하도록 하고, (5) 상기 학습 장치가, 적어도 하나의 출력 레이어로 하여금, 상기 트레이닝용 제N+1 퓨즈드 특징 맵 및 상기 트레이닝용 제N+1 퓨즈드 포인트 클라우드 맵 중 적어도 일부를 참조로 하여, 객체 디텍션, 시멘틱 세그멘테이션 및 깊이 예측 중 적어도 일부를 포함하는, 차량의 자율 주행에 필요한 연산들 중 적어도 일부를 수행하는 프로세스를 수행하도록 하고, (6) 상기 학습 장치가, 상기 출력 레이어에 의해 생성된 상기 뉴럴 네트워크의 적어도 하나의 출력이 생성되면, 상기 출력 및 이에 대응되는 적어도 하나의 GT 를 참조로 하여, 상기 뉴럴 네트워크의 하나 이상의 파라미터의 적어도 일부를 학습하는 프로세스를 수행하도록 한 상태에서, 테스트 장치가, 상기 초기 연산 레이어로 하여금, 상기 카메라에 의해 생성된 하나 이상의 오리지널 테스트 이미지를, 이에 대응하는, 상기 레이더 또는 상기 라이더에 의해 생성된 적어도 하나의 테스트용 오리지널 포인트 클라우드 맵과 통합하여, (i) 상기 테스트용 오리지널 포인트 클라우드 맵에 포함된 테스트용 깊이 정보를 상기 오리지널 테스트 이미지에 추가함으로써 적어도 하나의 테스트용 제1 퓨즈드(fused) 특징 맵 및 (ii) 상기 오리지널 테스트 이미지에 포함된 테스트용 색상 정보를 상기 테스트용 오리지널 포인트 클라우드 맵에 추가함으로써 적어도 하나의 테스트용 제1 퓨즈드 포인트 클라우드 맵을 생성하도록 하는 단계; (b) 상기 테스트 장치가, 상기 변환 레이어로 하여금, 상기 테스트용 제1 퓨즈드 특징 맵에 적어도 하나의 제1 변환 연산을 적용함으로써 테스트용 제(1_1) 중간(intermediate) 특징 맵을 생성하도록 하고, 상기 테스트용 제1 퓨즈드 포인트 클라우드 맵에 적어도 하나의 제2 변환 연산을 적용함으로써 테스트용 제(1_2) 중간 특징 맵을 생성하도록 하는 단계; (c) 상기 테스트 장치가, 상기 통합 레이어로 하여금, 상기 테스트용 제(1_1) 중간 특징 맵 및 상기 테스트용 제(1_2) 중간 특징 맵을 통합함으로써 테스트용 제2 퓨즈드 특징 맵을 생성하도록 하고, 상기 테스트용 제2 퓨즈드 특징 맵에 적어도 하나의 맵핑 연산을 적용함으로써 테스트용 제2 퓨즈드 포인트 클라우드 맵을 생성하도록 하는 단계; (d) 상기 테스트 장치가, 상기 (b) 단계 및 상기 (c) 단계를 반복한 결과, (i) 상기 변환 레이어로 하여금, 상기 통합 레이어에 의해 생성된 테스트용 제N 퓨즈드 특징 맵에 적어도 하나의 상기 제1 변환 연산을 적용함으로써 테스트용 제N_1 중간 특징 맵을 생성하도록 하고, 상기 통합 레이어에 의해 생성된 테스트용 제N 퓨즈드 포인트 클라우드 맵에 적어도 하나의 상기 제2 변환 연산을 적용함으로써 테스트용 제N_2 중간 특징 맵을 생성하도록 하며, (ii) 상기 통합 레이어로 하여금, 상기 테스트용 제N_1 중간 특징 맵 및 상기 테스트용 제N_2 중간 특징 맵을 통합함으로써 테스트용 제N+1 퓨즈드 특징 맵을 생성하도록 하고, 상기 테스트용 제N+1 퓨즈드 특징 맵에 상기 맵핑 연산을 적용함으로써 테스트용 제N+1 퓨즈드 포인트 클라우드 맵을 생성하도록 하는 단계; (e) 상기 테스트 장치가, 상기 출력 레이어로 하여금, 상기 테스트용 제N+1 퓨즈드 특징 맵 및 상기 테스트용 제N+1 퓨즈드 포인트 클라우드 맵 중 적어도 일부를 참조로 하여, 객체 디텍션, 시멘틱 세그멘테이션 및 깊이 예측 중 적어도 일부를 포함하는, 차량의 자율 주행에 필요한 연산들 중 적어도 일부를 수행하도록 하는 단계;를 포함하는 것을 특징으로 하는 테스트 방법이 제공된다.
본 발명의 또 다른 태양에 따르면, 적어도 하나의 카메라에 의해 생성된 적어도 하나의 이미지와, 이에 대응하는, 적어도 하나의 레이더 또는 라이더에 의해 생성된 적어도 하나의 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하는 컴퓨팅 장치에 있어서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 (I) 적어도 하나의 초기 연산 레이어로 하여금, 상기 카메라에 의해 생성된 하나 이상의 오리지널 이미지를, 이에 대응하는, 상기 레이더 또는 상기 라이더에 의해 생성된 적어도 하나의 오리지널 포인트 클라우드 맵과 통합하여, (i) 상기 오리지널 포인트 클라우드 맵에 포함된 깊이 정보를 상기 오리지널 이미지에 추가함으로써 적어도 하나의 제1 퓨즈드(fused) 특징 맵 및 (ii) 상기 오리지널 이미지에 포함된 색상 정보를 상기 오리지널 포인트 클라우드 맵에 추가함으로써 적어도 하나의 제1 퓨즈드 포인트 클라우드 맵을 생성하도록 하는 프로세스; (II) 적어도 하나의 변환 레이어로 하여금, 상기 제1 퓨즈드 특징 맵에 적어도 하나의 제1 변환 연산을 적용함으로써 제(1_1) 중간(intermediate) 특징 맵을 생성하도록 하고, 상기 제1 퓨즈드 포인트 클라우드 맵에 적어도 하나의 제2 변환 연산을 적용함으로써 제(1_2) 중간 특징 맵을 생성하도록 하는 프로세스; (III) 적어도 하나의 통합 레이어로 하여금, 상기 제(1_1) 중간 특징 맵 및 상기 제(1_2) 중간 특징 맵을 통합함으로써 제2 퓨즈드 특징 맵을 생성하도록 하고, 상기 제2 퓨즈드 특징 맵에 적어도 하나의 맵핑 연산을 적용함으로써 제2 퓨즈드 포인트 클라우드 맵을 생성하도록 하는 프로세스;를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 컴퓨팅 장치가 제공된다.
일 실시예에서, (IV) 상기 프로세서가, 상기 (II) 프로세스 및 상기 (III) 프로세스를 반복한 결과, (i) 상기 변환 레이어로 하여금, 상기 통합 레이어에 의해 생성된 제N 퓨즈드 특징 맵에 적어도 하나의 상기 제1 변환 연산을 적용함으로써 제N_1 중간 특징 맵을 생성하도록 하고, 상기 통합 레이어에 의해 생성된 제N 퓨즈드 포인트 클라우드 맵에 적어도 하나의 상기 제2 변환 연산을 적용함으로써 제N_2 중간 특징 맵을 생성하도록 하며, (ii) 상기 통합 레이어로 하여금, 상기 제N_1 중간 특징 맵 및 상기 제N_2 중간 특징 맵을 통합함으로써 제N+1 퓨즈드 특징 맵을 생성하도록 하고, 상기 제N+1 퓨즈드 특징 맵에 상기 맵핑 연산을 적용함으로써 제N+1 퓨즈드 포인트 클라우드 맵을 생성하도록 하는 프로세스;를 더 수행하는 것을 특징으로 하는 컴퓨팅 장치가 제공된다.
일 실시예에서, (V) 상기 프로세서가, 적어도 하나의 출력 레이어로 하여금, 상기 제N+1 퓨즈드 특징 맵 및 상기 제N+1 퓨즈드 포인트 클라우드 맵 중 적어도 일부를 참조로 하여, 객체 디텍션, 시멘틱 세그멘테이션 및 깊이 예측 중 적어도 일부를 포함하는, 차량의 자율 주행에 필요한 연산들 중 적어도 일부를 수행하도록 하는 프로세스;를 더 수행하는 것을 특징으로 하는 컴퓨팅 장치가 제공된다.
일 실시예에서, (VI) 상기 프로세서가, 상기 출력 레이어에 의해 생성된 상기 뉴럴 네트워크의 적어도 하나의 출력이 생성되면, 상기 출력 및 이에 대응되는 적어도 하나의 GT 를 참조로 하여, 상기 뉴럴 네트워크의 하나 이상의 파라미터의 적어도 일부를 학습하도록 하는 프로세스;를 더 수행하는 것을 특징으로 하는 컴퓨팅 장치가 제공된다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 제1 퓨즈드 특징 맵은, (i) 상기 오리지널 이미지에 포함된, 각 픽셀에 대한 오리지널 색상 정보 및 (ii) 상기 레이더 또는 상기 라이더에 인접한 3차원 공간 상의 각 위치에 대한 오리지널 좌표 정보를 참조로 하여 획득된, 상기 각 픽셀에 대한 상기 깊이 정보를 포함하되, 상기 각 위치는 상기 오리지널 포인트 클라우드 맵에 포함되는 것을 특징으로 하며, 상기 제1 퓨즈드 포인트 클라우드 맵은, (i) 상기 오리지널 좌표 정보 및 (ii) 상기 오리지널 색상 정보를 참조로 하여 획득된, 상기 각 위치에 대한 상기 색상 정보를 포함하는 것을 특징으로 하는 컴퓨팅 장치가 제공된다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 제(1_1) 중간 특징 맵은, 상기 제1 퓨즈드 특징 맵에, 적어도 하나의 컨벌루션 연산을 포함하는 상기 제1 변환 연산을 적용함으로써 생성되는 것을 특징으로 하는 컴퓨팅 장치가 제공된다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 제(1_1) 중간 특징 맵은, 상기 제1 퓨즈드 특징 맵에, 적어도 하나의 컨벌루션 연산 외에, 적어도 하나의 ReLU 연산 및 적어도 하나의 풀링 연산을 더 포함하는 상기 제1 변환 연산을 적용함으로써 생성되는 것을 특징으로 하는 컴퓨팅 장치가 제공된다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 제(1_2) 중간 특징 맵은, 상기 제1 퓨즈드 포인트 클라우드 맵에, 적어도 하나의 뉴럴 네트워크 연산, 적어도 하나의 역맵핑 연산 및 적어도 하나의 컨벌루션 연산을 포함하는 상기 제2 변환 연산을 적용함으로써 생성되되, 상기 역맵핑 연산은, (i) 상기 제1 퓨즈드 포인트 클라우드 맵에 포함된, 3차원 좌표에 상기 색상 정보가 연동된 형태의 상기 깊이 정보와 (ii) 상기 제(1_1) 중간 특징 맵의 각각의 특징을 연동시키는 연산인 것을 특징으로 하는 컴퓨팅 장치가 제공된다.
일 실시예에서, 상기 (III) 프로세스에서, 상기 제2 퓨즈드 특징 맵은, 상기 제(1_1) 중간 특징 맵 및 상기 제(1_2) 중간 특징 맵을 채널 방향으로 컨캐터네이팅 함으로써 생성되는 것을 특징으로 하는 컴퓨팅 장치가 제공된다.
일 실시예에서, 상기 (III) 프로세스에서, 상기 맵핑 연산은, (i) 상기 제2 퓨즈드 특징 맵의 각각의 특징 값을 (ii) 상기 레이더 또는 상기 라이더에 인접한 3차원 공간 상의 각 위치에 연동시키는 연산인 것을 특징으로 하는 컴퓨팅 장치가 제공된다.
본 발명의 또 다른 태양에 따르면, 적어도 하나의 카메라에 의해 생성된 적어도 하나의 이미지와, 이에 대응하는, 적어도 하나의 레이더 또는 라이더에 의해 생성된 적어도 하나의 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하고, 이를 이용하는 테스트 장치에 있어서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 (1) 학습 장치가, 적어도 하나의 초기 연산 레이어로 하여금, 상기 카메라에 의해 생성된 하나 이상의 오리지널 트레이닝 이미지를, 이에 대응하는, 상기 레이더 또는 상기 라이더에 의해 생성된 적어도 하나의 트레이닝용 오리지널 포인트 클라우드 맵과 통합하여, (i) 상기 트레이닝용 오리지널 포인트 클라우드 맵에 포함된 트레이닝용 깊이 정보를 상기 오리지널 트레이닝 이미지에 추가함으로써 적어도 하나의 트레이닝용 제1 퓨즈드(fused) 특징 맵 및 (ii) 상기 오리지널 트레이닝 이미지에 포함된 트레이닝용 색상 정보를 상기 트레이닝용 오리지널 포인트 클라우드 맵에 추가함으로써 적어도 하나의 트레이닝용 제1 퓨즈드 포인트 클라우드 맵을 생성하는 프로세스를 수행하도록 하고, (2) 상기 학습 장치가, 적어도 하나의 변환 레이어로 하여금, 상기 트레이닝용 제1 퓨즈드 특징 맵에 적어도 하나의 제1 변환 연산을 적용함으로써 트레이닝용 제(1_1) 중간(intermediate) 특징 맵을 생성하도록 하고, 상기 트레이닝용 제1 퓨즈드 포인트 클라우드 맵에 적어도 하나의 제2 변환 연산을 적용함으로써 트레이닝용 제(1_2) 중간 특징 맵을 생성하는 프로세스를 수행하도록 하고, (3) 상기 학습 장치가, 적어도 하나의 통합 레이어로 하여금, 상기 트레이닝용 제(1_1) 중간 특징 맵 및 상기 트레이닝용 제(1_2) 중간 특징 맵을 통합함으로써 트레이닝용 제2 퓨즈드 특징 맵을 생성하도록 하고, 상기 트레이닝용 제2 퓨즈드 특징 맵에 적어도 하나의 맵핑 연산을 적용함으로써 트레이닝용 제2 퓨즈드 포인트 클라우드 맵을 생성하는 프로세스를 수행하도록 하고, (4) 상기 학습 장치가, 상기 (2) 프로세스 및 상기 (3) 프로세스를 반복한 결과, (i) 상기 변환 레이어로 하여금, 상기 통합 레이어에 의해 생성된 트레이닝용 제N 퓨즈드 특징 맵에 적어도 하나의 상기 제1 변환 연산을 적용함으로써 트레이닝용 제N_1 중간 특징 맵을 생성하도록 하고, 상기 통합 레이어에 의해 생성된 트레이닝용 제N 퓨즈드 포인트 클라우드 맵에 적어도 하나의 상기 제2 변환 연산을 적용함으로써 트레이닝용 제N_2 중간 특징 맵을 생성하도록 하며, (ii) 상기 통합 레이어로 하여금, 상기 트레이닝용 제N_1 중간 특징 맵 및 상기 트레이닝용 제N_2 중간 특징 맵을 통합함으로써 트레이닝용 제N+1 퓨즈드 특징 맵을 생성하도록 하고, 상기 트레이닝용 제N+1 퓨즈드 특징 맵에 상기 맵핑 연산을 적용함으로써 트레이닝용 제N+1 퓨즈드 포인트 클라우드 맵을 생성하는 프로세스를 수행하도록 하고, (5) 상기 학습 장치가, 적어도 하나의 출력 레이어로 하여금, 상기 트레이닝용 제N+1 퓨즈드 특징 맵 및 상기 트레이닝용 제N+1 퓨즈드 포인트 클라우드 맵 중 적어도 일부를 참조로 하여, 객체 디텍션, 시멘틱 세그멘테이션 및 깊이 예측 중 적어도 일부를 포함하는, 차량의 자율 주행에 필요한 연산들 중 적어도 일부를 수행하는 프로세스를 수행하도록 하고, (6) 상기 학습 장치가, 상기 출력 레이어에 의해 생성된 상기 뉴럴 네트워크의 적어도 하나의 출력이 생성되면, 상기 출력 및 이에 대응되는 적어도 하나의 GT 를 참조로 하여, 상기 뉴럴 네트워크의 하나 이상의 파라미터의 적어도 일부를 학습하는 프로세스를 수행하도록 한 상태에서, 적어도 하나의 프로세서가, (I) 상기 초기 연산 레이어로 하여금, 상기 카메라에 의해 생성된 하나 이상의 오리지널 테스트 이미지를, 이에 대응하는, 상기 레이더 또는 상기 라이더에 의해 생성된 적어도 하나의 테스트용 오리지널 포인트 클라우드 맵과 통합하여, (i) 상기 테스트용 오리지널 포인트 클라우드 맵에 포함된 테스트용 깊이 정보를 상기 오리지널 테스트 이미지에 추가함으로써 적어도 하나의 테스트용 제1 퓨즈드(fused) 특징 맵 및 (ii) 상기 오리지널 테스트 이미지에 포함된 테스트용 색상 정보를 상기 테스트용 오리지널 포인트 클라우드 맵에 추가함으로써 적어도 하나의 테스트용 제1 퓨즈드 포인트 클라우드 맵을 생성하도록 하는 프로세스; (II) 상기 변환 레이어로 하여금, 상기 테스트용 제1 퓨즈드 특징 맵에 적어도 하나의 제1 변환 연산을 적용함으로써 테스트용 제(1_1) 중간(intermediate) 특징 맵을 생성하도록 하고, 상기 테스트용 제1 퓨즈드 포인트 클라우드 맵에 적어도 하나의 제2 변환 연산을 적용함으로써 테스트용 제(1_2) 중간 특징 맵을 생성하도록 하는 프로세스; (III) 상기 통합 레이어로 하여금, 상기 테스트용 제(1_1) 중간 특징 맵 및 상기 테스트용 제(1_2) 중간 특징 맵을 통합함으로써 테스트용 제2 퓨즈드 특징 맵을 생성하도록 하고, 상기 테스트용 제2 퓨즈드 특징 맵에 적어도 하나의 맵핑 연산을 적용함으로써 테스트용 제2 퓨즈드 포인트 클라우드 맵을 생성하도록 하는 프로세스; (IV) 상기 (II) 프로세스 및 상기 (III) 프로세스를 반복한 결과, (i) 상기 변환 레이어로 하여금, 상기 통합 레이어에 의해 생성된 테스트용 제N 퓨즈드 특징 맵에 적어도 하나의 상기 제1 변환 연산을 적용함으로써 테스트용 제N_1 중간 특징 맵을 생성하도록 하고, 상기 통합 레이어에 의해 생성된 테스트용 제N 퓨즈드 포인트 클라우드 맵에 적어도 하나의 상기 제2 변환 연산을 적용함으로써 테스트용 제N_2 중간 특징 맵을 생성하도록 하며, (ii) 상기 통합 레이어로 하여금, 상기 테스트용 제N_1 중간 특징 맵 및 상기 테스트용 제N_2 중간 특징 맵을 통합함으로써 테스트용 제N+1 퓨즈드 특징 맵을 생성하도록 하고, 상기 테스트용 제N+1 퓨즈드 특징 맵에 상기 맵핑 연산을 적용함으로써 테스트용 제N+1 퓨즈드 포인트 클라우드 맵을 생성하도록 하는 프로세스; (V) 상기 출력 레이어로 하여금, 상기 테스트용 제N+1 퓨즈드 특징 맵 및 상기 테스트용 제N+1 퓨즈드 포인트 클라우드 맵 중 적어도 일부를 참조로 하여, 객체 디텍션, 시멘틱 세그멘테이션 및 깊이 예측 중 적어도 일부를 포함하는, 차량의 자율 주행에 필요한 연산들 중 적어도 일부를 수행하도록 하는 프로세스;를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 테스트 장치가 제공된다.
본 발명은 카메라에 의해 생성된 이미지와, 이에 대응하는, 레이더, 라이더 또는 이종 센서 퓨전에 의해 생성된 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하는 방법을 제공함으로써 CNN이 카메라에 의해 생성된 정보와 레이더, 라이더 또는 이종 센서 퓨전에 의해 생성된 정보를 통합하여 연산할 수 있도록 하는 효과가 있다.
또한, 본 발명은 HD 맵 업데이트를 위해 사용될 수 있고, 거리 예측과 함께 객체 검출 및 세그멘테이션을 개선하는데 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따라 적어도 하나의 카메라에 의해 생성된 적어도 하나의 이미지와, 이에 대응하는, 적어도 하나의 레이더 또는 라이더에 의해 생성된 적어도 하나의 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하는 방법을 수행하는 컴퓨팅 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따라 카메라에 의해 생성된 이미지와, 이에 대응하는, 레이더 또는 라이더에 의해 생성된 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하는 방법을 수행하는 뉴럴 네트워크의 구성을 나타낸 도면이다.
도 3은, 본 발명의 일 실시예에 따라 카메라에 의해 생성된 이미지와, 이에 대응하는, 레이더 또는 라이더에 의해 생성된 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하는 방법을 수행하는 적어도 하나의 초기 연산 레이어에 의해 생성된 제1 퓨즈드 특징 맵 및 제1 퓨즈드 포인트 클라우드 맵을 나타낸 도면이다.
도 4는, 본 발명의 일 실시예에 따라 카메라에 의해 생성된 이미지와, 이에 대응하는, 레이더 또는 라이더에 의해 생성된 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하는 예시를 나타낸 도면이다.
도 5는, 본 발명의 일 실시예에 따라 카메라에 의해 생성된 이미지와, 이에 대응하는, 레이더 또는 라이더에 의해 생성된 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하는 방법의 일부로서의 제2 변환 연산을 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 적어도 하나의 카메라에 의해 생성된 적어도 하나의 이미지와, 이에 대응하는, 적어도 하나의 레이더 또는 라이더에 의해 생성된 적어도 하나의 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하는 방법을 수행하는 컴퓨팅 장치의 구성을 나타낸 도면이다.
도 1을 참조하면, 컴퓨팅 장치(100)는, 추후 자세히 설명할 구성요소인 뉴럴 네트워크(200)를 포함할 수 있다. 뉴럴 네트워크(200) 및 뉴럴 네트워크(200)에 포함된, 추후 설명될 레이어들의 입출력 및 연산 과정은 각각 통신부(110) 및 프로세서(120)에 의해 이루어질 수 있다. 다만 도 1에서는 통신부(110) 및 프로세서(120)의 구체적인 연결 관계를 생략하였다. 이 때, 적어도 하나의 메모리(115)는 후술할 여러 가지 인스트럭션들을 미리 저장한 상태일 수 있고, 프로세서(120)는 메모리(115)에 저장된 인스트럭션들을 수행하도록 설정되되, 프로세서(120)는 추후 설명할 프로세스들을 수행함으로써 본 발명을 수행할 수 있다. 이와 같이 컴퓨팅 장치(100)가 묘사되었다고 하여, 컴퓨팅 장치(100)가 본 발명을 실시하기 위한 미디엄, 프로세서 및 메모리가 통합된 형태인 통합 프로세서를 포함하는 경우를 배제하는 것은 아니다.
또한, 도 1을 참조하면, 컴퓨팅 장치(100)는, (i) 적어도 하나의 카메라(300) 및 (ii) 적어도 하나의 레이더 또는 라이더(400)를 통해 데이터를 획득할 수 있다. 이와 같은 연결 관계는, 카메라(300) 및 레이더 또는 라이더(400)를 통해 실시간으로 컴퓨팅 장치(100)가 데이터를 획득하는 것만을 의미하는 것은 아니다. 특히, 컴퓨팅 장치(100)가, 추후 설명할 학습 과정을 수행하는 경우에는, (i) 카메라(300)에 의해 생성된 데이터의 형식을 가지는 적어도 하나의 트레이닝용 오리지널 이미지 및 (ii) 레이더 또는 라이더(400)에 의해 생성된 데이터의 형식을 가지는 적어도 하나의 트레이닝용 오리지널 포인트 클라우드 맵을 카메라(300) 및 레이더 또는 라이더(400)가 아닌 외부에서 획득할 수도 있을 것이다.
이상 컴퓨팅 장치(100)의 전체적인 구성에 대해 설명한 바, 그 중 핵심적인 역할을 수행하는 뉴럴 네트워크(200)의 구조를 설명하기 위해 도 2를 참조하도록 한다.
도 2는 본 발명의 일 실시예에 따라 카메라에 의해 생성된 이미지와, 이에 대응하는, 레이더 또는 라이더에 의해 생성된 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하는 방법을 수행하는 뉴럴 네트워크의 구성을 나타낸 도면이다.
도 2를 참조하면, 뉴럴 네트워크(200)는, 적어도 하나의 초기 연산 레이어(210), 적어도 하나의 변환 레이어(220), 적어도 하나의 통합 레이어(230) 및 적어도 하나의 출력 레이어(240)를 포함할 수 있다. 각각의 레이어의 역할에 대해서는, 구체적으로 본 발명의 일 실시예에 따른 통합 방법을 설명하면서 함께 설명하도록 한다.
이상 본 발명의 구성요소들에 대해 설명한 바, 구체적인 본 발명의 일 실시예에 따른 통합 방법에 대해 설명할 것인데, 그 전에 이를 설명하기 위해 본 명세서에서 사용할 특유의 표기법(notation)에 대해 설명하도록 한다.
이하 도면 및 상세한 설명에서, [A, B] 및 [C, D, E] 형태의 표기법을 확인할 수 있을 것이다. 여기서, [A, B] 표기법은 포인트 클라우드 맵을 묘사하기 위해 사용되는 것이고, [C, D, E] 표기법은 이미지 또는 특징 맵을 표시하기 위해 사용되는 것이다. 구체적으로, [A, B] 표기법에서, B 부분은 해당 포인트 클라우드 맵에 포함된 좌표의 개수를 의미하고, A 부분은, 각 좌표에 대응되는 값들의 채널 수를 의미할 수 있다. 예를 들어, [3, M]인 포인트 클라우드 맵이 있다면, 해당 포인트 클라우드 맵에는 좌표가 M개 존재하고, 각각의 좌표에 3개 채널의 값들이 연동된 상태로 존재한다는 것이다. [C, D, E] 표기법에서, D는 해당 이미지 또는 해당 특징 맵의 제1 축 방향 특징 값의 수를 의미하고, E는 해당 이미지 또는 해당 특징 맵의 제2 축 방향 특징 값의 수를 의미할 수 있다. C는 특징 맵에 포함된 각각의 특징 값들의 채널 수를 의미할 수 있다. 상기 제1 축 및 상기 제2 축은, y축 및 x축일 수 있고, 그 외에 좌표를 표현하기 위한 어떠한 축일 수 있다. 예를 들어, [4, h, w]인 특징 맵이 있다면, 특징 맵의 x축 방향 픽셀 수는 w이고, y축 방향 픽셀 수는 h이며, 그 채널 수는 4인 특징 맵일 수 있다.
또한, 추후 자세히 설명할 적어도 하나의 맵핑 연산 및 적어도 하나의 역맵핑(inverse mapping) 연산이 있는데, 맵핑 연산이란 특징 맵의 형태를 가진 데이터를 포인트 클라우드 맵의 형태를 가진 데이터로 변환하는 연산일 수 있고, 역맵핑 연산이란, 반대로, 포인트 클라우드 맵의 형태를 가진 데이터를 특징 맵의 형태를 가진 데이터로 변환하는 연산일 수 있다.
이하 도 3, 도 4 및 도 5를 참조로 하여 본 발명의 일 실시예에 따른 통합 방법에 대해 설명하도록 한다.
도 3은, 본 발명의 일 실시예에 따라 카메라에 의해 생성된 이미지와, 이에 대응하는, 레이더 또는 라이더에 의해 생성된 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하는 방법을 수행하는 적어도 하나의 초기 연산 레이어에 의해 생성된 제1 퓨즈드 특징 맵 및 제1 퓨즈드 포인트 클라우드 맵을 나타낸 도면이다.
도 3을 참조로 하면, 본 발명의 통합 방법을 수행하기 위해 컴퓨팅 장치(100)가, 초기 연산 레이어(210)로 하여금, 오리지널 이미지 및 오리지널 포인트 클라우드 맵을 획득한 후, 이들을 통합하여 제1 퓨즈드 특징 맵(201_1) 및 제1 퓨즈드 포인트 클라우드 맵(202_1)을 생성하도록 할 수 있다. 오리지널 이미지 및 오리지널 포인트 클라우드 맵은, 전술한 바와 같이 카메라(300) 및 레이더 또는 라이더(400)을 통해 직접 획득되거나, 임의의 외부에서 트레이닝용 데이터로서 획득될 수 있을 것이다.
먼저, 제1 퓨즈드 특징 맵(201_1)의 생성 과정을 더욱 구체적으로 설명하면, 초기 연산 레이어(210)는, 오리지널 이미지에 포함된 각각의 픽셀을 오리지널 포인트 클라우드 맵에 포함된 각각의 좌표에 대응시키도록 할 수 있다. 이후, 오리지널 이미지에 포함된 각각의 픽셀에 대응하는, 오리지널 포인트 클라우드 맵에 포함된 오리지널 좌표 정보를 참조로 하여, 오리지널 이미지에 포함된 각각의 픽셀들에 대한 깊이 정보를 생성할 수 있다. 이후, 초기 연산 레이어(210)는 깊이 정보를, 각각의 픽셀에 대응하는 오리지널 색상 정보에 추가함으로써, 제1 퓨즈드 특징 맵(201_1)을 생성할 수 있는 것이다. 즉, 제1 퓨즈드 특징 맵(201_1)은, 오리지널 이미지에 깊이 채널이 추가되고, 해당 깊이 채널에 각 픽셀에 대응하는 깊이 정보가 추가된 것과 같다. 전술하였던 표기법을 활용하면, 제1 퓨즈드 특징 맵(201_1)은, [3,
Figure 112019117638763-pat00001
,
Figure 112019117638763-pat00002
]의 형태를 가지는 오리지널 이미지에 깊이 정보가 추가되어 채널이 하나 추가된 형태인 [4,
Figure 112019117638763-pat00003
,
Figure 112019117638763-pat00004
]의 형태를 가질 수 있을 것이다.
다음으로, 제1 퓨즈드 포인트 클라우드 맵(202_1)의 생성 과정에 대해 살피면, 오리지널 포인트 클라우드 맵이 [3, M]의 형태를 가질 때, 초기 연산 레이어(210)는, [3,
Figure 112019117638763-pat00005
,
Figure 112019117638763-pat00006
]의 형태를 가지는 오리지널 이미지에 포함된 각 픽셀을 오리지널 포인트 클라우드 맵에 포함된 M개의 좌표들에 대응하도록 한 후, 상기 오리지널 이미지에 포함된 오리지널 색상 정보를 참조하여 획득된, 각각의 M좌표에 대응하는 색상 정보를 오리지널 포인트 클라우드 맵에 추가함으로써 제1 퓨즈드 포인트 클라우드 맵(202_1)을 생성할 수 있다. 여기서, 제1 퓨즈드 포인트 클라우드 맵(202_1)은, 각각의 오리지널 좌표 정보에, 각각의 M 좌표에 대응하는 색상 정보의 각 부분이 추가된 형태이므로 [6, M]의 형태를 가질 것이다.
또한, 도 4를 참조하면, 제1 퓨즈드 특징 맵(201_1) 및 제1 퓨즈드 포인트 클라우드 맵(202_1)이 앞에서 설명한 바와 같이 생성되면, 컴퓨팅 장치(100)는, 변환 레이어(220)로 하여금, 제1 퓨즈드 특징 맵(201_1)에 적어도 하나의 제1 변환 연산을 적용함으로써 제(1_1) 중간 특징 맵(203_1)을 생성하도록 하고, 제1 퓨즈드 포인트 클라우드 맵(202_1)에 적어도 하나의 제2 변환 연산을 적용함으로써 제(1_2) 중간 특징 맵(204_1)을 생성하도록 할 수 있다.
본 발명에 따른 일 실시예에서, 중간 특징 맵은 뉴럴 네트워크(200)의 각각의 컨벌루션 스테이지에서 쌍으로 생성될 수 있다.
여기서, 제1 변환 연산은 적어도 하나의 컨벌루션 연산을 포함할 수 있으며, 이외에 적어도 하나의 ReLU 연산 및 적어도 하나의 풀링 연산을 더 포함할 수 있다. 제1 변환 연산에 의해, [4,
Figure 112019117638763-pat00007
,
Figure 112019117638763-pat00008
]의 형태를 가지는 제1 퓨즈드 특징 맵(201_1)을 [
Figure 112019117638763-pat00009
]의 형태를 가지는 제(1_1) 중간 특징 맵(203_1)으로 변환할 수 있다. 특징 맵의 크기를 줄이고 그 채널의 수를 늘리는 컨벌루션 연산으로 인해,
Figure 112019117638763-pat00010
및
Figure 112019117638763-pat00011
은 각각
Figure 112019117638763-pat00012
및
Figure 112019117638763-pat00013
보다 작을 수 있고,
Figure 112019117638763-pat00014
은 4보다 클 수 있다.
또한, 제2 변환 연산은, 전술한 바와 같이, 제1 퓨즈드 포인트 클라우드 맵(202_1)을 제(1_2) 중간 특징 맵(204_1)로 변환할 수 있다. 이를 설명하기 위해 도 5를 참조하도록 한다.
도 5는, 본 발명의 일 실시예에 따라 카메라에 의해 생성된 이미지와, 이에 대응하는, 레이더 또는 라이더에 의해 생성된 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하는 방법의 일부로서의 제2 변환 연산을 나타낸 도면이다.
제2 변환 연산은, 적어도 하나의 뉴럴 네트워크 연산, 적어도 하나의 역맵핑 연산 및 적어도 하나의 컨벌루션 연산을 포함할 수 있다. 먼저, 뉴럴 네트워크 연산은 [6, M]의 형태를 가지는 제1 퓨즈드 포인트 클라우드 맵(202_1)을 [
Figure 112019117638763-pat00015
, M]의 형태를 가지는 임시 포인트 클라우드 맵으로 변환할 수 있다. 이는, 추후 설명할 출력 레이어(240)이 수행할 기능에 따라, 출력 레이어(240)에 입력될 제N+1 퓨즈드 특징 맵 및 제N+1 퓨즈드 포인트 클라우드 맵의 채널 수를 결정하기 위함이다. 따라서,
Figure 112019117638763-pat00016
은 6보다 클 수도 있고, 작을 수도 있을 것이다. 뉴럴 네트워크 연산은 이와 같이 각 좌표에 연동된 값의 채널 수를 변경할 수 있다.
이후, 전술하였던 역맵핑 연산이 상기 임시 포인트 클라우드 맵에 적용될 수 있다. 이는, 제1 퓨즈드 포인트 클라우드 맵(202_1)에 포함된, 3차원 좌표에 색상 정보가 연동된 형태의 정보를 제(1_1) 중간 특징 맵(203_1)과 같은 제1 축 및 제2 축 방향 길이를 가지는 특징 맵으로 변환할 수 있다. 전술하였던 표기법을 사용하여, 임시 포인트 클라우드 맵은 [
Figure 112019117638763-pat00017
, M]의 형태를 가지는데, 이를 [
Figure 112019117638763-pat00018
,
Figure 112019117638763-pat00019
,
Figure 112019117638763-pat00020
]의 형태를 가지는 임시 특징 맵으로 변환될 것이다. 제1 축 방향 길이와 제2 축 방향 길이가 각각
Figure 112019117638763-pat00021
,
Figure 112019117638763-pat00022
이며, 이는 제(1_1) 중간 특징 맵(203_1)과 같은데, 이는 추후에 설명할 채널별 컨캐터네이팅을 용이하게 하기 위해서이다. 다만, 역맵핑 연산의 경우, 전술한 컨벌루션 연산을 거쳐 크기가 작아진 제(1_1) 중간 특징 맵(203_1)의 크기에 대응하도록 임시 포인트 클라우드 맵을 변환하는 것이다 보니, 특징 값의 개수가 임시 포인트 클라우드 맵에 포함된 좌표의 개수보다 적을 수 있다. 이와 같은 경우, 임시 포인트 클라우드 맵에 포함된 복수 개의 좌표에 대응하는 복수의 값들은 하나의 특징 값에 대응할 수 있고, 여기서 상기 복수의 값들에 대한 평균 값을 해당 특징 값으로 사용할 수 있다.
그리고, 추가적으로 컨벌루션 연산을 임시 특징 맵에 적용할 수 있다. 이는, 임시 포인트 클라우드 맵의 값들을 임시 특징 맵에 역맵핑 할 때, 임시 포인트 클라우드 맵의 값에서 계산할 수 없는 임시 특징 맵의 값을 출력하기 위한 것이다. 즉, 임시 포인트 클라우드 맵의 값들을 임시 특징 맵에 역맵핑한 후, 비어 있는 특징 값들을 컨벌루션 연산으로 스무스하게 채워 준다는 것이다. 여기서, 컨벌루션 연산에 의해 임시 특징 맵이 제(1_2) 중간 특징 맵(204_1)으로 변환되면서 크기가 변하거나 또는 채널 수가 변하지는 않으므로, 제(1_2) 중간 특징 맵(204_1)은 임시 특징 맵과 같은 [
Figure 112019117638763-pat00023
,
Figure 112019117638763-pat00024
,
Figure 112019117638763-pat00025
]의 형태를 가지게 된다.
이와 같은 제2 변환 연산을 통해 제(1_2) 중간 특징 맵(204_1)이 생성되면, 컴퓨팅 장치(100)는, 통합 레이어(230)로 하여금, 제(1_1) 중간 특징 맵(203_1) 및 제(1_2) 중간 특징 맵(204_1)을 통합함으로써 제2 퓨즈드 특징 맵(201_2)을 생성하도록 하고, 제2 퓨즈드 특징 맵(201_2)에 맵핑 연산을 적용함으로써 제2 퓨즈드 포인트 클라우드 맵(202_2)을 생성하도록 할 수 있다.
여기서, 제2 퓨즈드 특징 맵(201_2)은, 제(1_1) 중간 특징 맵(203_1) 및 제(1_2) 중간 특징 맵(204_1)을, 채널 방향으로 컨캐터네이팅 함으로써 생성될 수 있다. 채널 방향으로 컨캐터네이팅 한 결과, [
Figure 112019117638763-pat00026
]의 형태를 가지는 제(1_1) 중간 특징 맵(203_1)과 [
Figure 112019117638763-pat00027
,
Figure 112019117638763-pat00028
,
Figure 112019117638763-pat00029
]의 형태를 가지는 제(1_2) 중간 특징 맵(204_1)을 통합하여 [
Figure 112019117638763-pat00030
]의 형태를 가지는 제2 퓨즈드 특징 맵(201_2)이 생성된다.
제2 퓨즈드 포인트 클라우드 맵(202_2)은, 상기와 같이 생성된 제2 퓨즈드 특징 맵(201_2)에 맵핑 연산을 적용함으로써 생성되는데, 맵핑 연산은, 제2 퓨즈드 특징 맵(201_2)에 포함된 각각의 특징 값을 레이더 또는 라이더(400)에 인접한 3차원 공간 상의 각 지점에 연동시킬 수 있다. 전술하였던 표기법을 또 다시 사용하여, 제2 퓨즈드 특징 맵(201_2)이 [
Figure 112019117638763-pat00031
]의 형태를 가지고 있을 때, 제2 퓨즈드 포인트 클라우드 맵(202_2)은 [
Figure 112019117638763-pat00032
]의 형태를 가질 것이다. 즉, 제2 퓨즈드 특징 맵(201_2)에 포함된 각각의 특징 값을 오리지널 포인트 클라우드 맵 및 제1 퓨즈드 포인트 클라우드 맵(202_1)에 포함된 것과 같은 각각의 좌표 정보에 연동되도록 한다는 것이다.
상기와 같이 제2 퓨즈드 특징 맵(201_2) 및 제2 퓨즈드 포인트 클라우드 맵(202_2)이 생성되면, 컴퓨팅 장치(100)는, 변환 레이어(220) 및 통합 레이어(230)로 하여금, 제2 퓨즈드 특징 맵(201_2) 및 제2 퓨즈드 포인트 클라우드 맵(202_2)에, 제1 퓨즈드 특징 맵(201_1) 및 제1 퓨즈드 포인트 클라우드 맵(202_1)에 적용했던 연산들을 적용함으로써 제3 퓨즈드 특징 맵(미도시) 및 제3 퓨즈드 포인트 클라우드 맵(미도시)을 생성하도록 할 수 있다. 이와 같은 과정을 반복하여, 제N 퓨즈드 특징 맵(201_N) 및 제N 퓨즈드 포인트 클라우드 맵(202_N)이 생성되면, 컴퓨팅 장치(100)는, 제N 퓨즈드 특징 맵(201_N)에 적어도 하나의 제1 변환 연산을 적용함으로써 제N_1 중간 특징 맵(203_N)을 생성하도록 하고, 제N 퓨즈드 포인트 클라우드 맵(202_N)에 적어도 하나의 제2 변환 연산을 적용함으로써 제N_2 중간 특징 맵(204_N)을 생성하도록 한 다음, 제N_1 중간 특징 맵(203_N) 및 제N_2 중간 특징 맵(204_N)을 통합함으로써 제N+1 퓨즈드 특징 맵(201_(N+1))을 생성하도록 하고, 제N+1 퓨즈드 특징 맵(201_(N+1))에 맵핑 연산을 적용함으로써 제N+1 퓨즈드 포인트 클라우드 맵(202_(N+1))을 생성하도록 할 수 있다.
이후, 컴퓨팅 장치(100)는, 출력 레이어(240)로 하여금, 제N+1 퓨즈드 특징 맵(201_(N+1)) 및 제N+1 퓨즈드 포인트 클라우드 맵(202_(N+1)) 중 적어도 일부를 참조로 하여, 객체 디텍션, 시멘틱 세그멘테이션 및 깊이 예측 중 적어도 일부를 포함하는, 차량의 자율 주행에 필요한 연산들 중 적어도 일부를 수행하도록 할 수 있다. 다른 예로서, 컴퓨팅 장치(100)는, 출력 레이어(240)로 하여금, 제N+1 퓨즈드 특징 맵(201_(N+1)) 및 제N+1 퓨즈드 포인트 클라우드 맵(202_(N+1))을 사용하는 대신에, 그 전 단계에서 생성된 퓨즈드 특징 맵 및 퓨즈드 포인트 클라우드 맵을 사용하도록 할 수 있다.
이후, 출력 레이어에 의해 생성된 상기 뉴럴 네트워크(200)의 적어도 하나의 출력이 생성되면, 컴퓨팅 장치(100)는, 상기 출력 및 이에 대응되는 적어도 하나의 GT 를 참조로 하여, 하나 이상의 로스를 계산할 수 있고, 상기 로스를 참조로 하여 상기 뉴럴 네트워크(200)의 하나 이상의 파라미터의 적어도 일부를 학습 할 수 있다.
결과적으로, 상기 컨벌루션 연산 및 뉴럴 네트워크 연산의 파라미터는 자율 주행 차량에 필요한 연산에 맞추어 최적화 될 수 있을 것이다.
이상 컴퓨팅 장치(100)의 학습 과정에 대해 설명한 바, 이하 컴퓨팅 장치(100)의 테스트 과정에 대해 설명하도록 한다. 이하에서는 컴퓨팅 장치(100)라는 말 대신 학습 장치, 테스트 장치라는 용어를 사용할 것인데, 학습 과정을 전부 마치기 전의 컴퓨팅 장치(100)를 학습 장치로, 학습 과정을 모두 마친 후의 컴퓨팅 장치(100)을 테스트 장치로 이해할 수 있을 것이다.
참고로, 후술할 설명에서 혼동을 방지하기 위해, 트레이닝 프로세스와 관련된 용어에는 "트레이닝용"이라는 문구가 추가되고, 테스트 프로세스와 관련된 용어에는 "테스트용"라는 문구가 추가되었다.
(a) (1) 학습 장치(100)가, 초기 연산 레이어(210)로 하여금, 상기 카메라(300)에 의해 생성된 적어도 하나의 오리지널 트레이닝 이미지를, 이에 대응하는, 상기 레이더 또는 상기 라이더(400)에 의해 생성된 적어도 하나의 트레이닝용 오리지널 포인트 클라우드 맵과 통합하여, (i) 상기 트레이닝용 오리지널 포인트 클라우드 맵에 포함된 트레이닝용 깊이 정보를 상기 오리지널 트레이닝 이미지에 추가함으로써 적어도 하나의 트레이닝용 제1 퓨즈드(fused) 특징 맵 및 (ii) 상기 오리지널 트레이닝 이미지에 포함된 트레이닝용 색상 정보를 상기 트레이닝용 오리지널 포인트 클라우드 맵에 추가함으로써 적어도 하나의 트레이닝용 제1 퓨즈드 포인트 클라우드 맵을 생성하도록 하고, (2) 상기 학습 장치(100)가, 적어도 하나의 변환 레이어(220)로 하여금, 상기 트레이닝용 제1 퓨즈드 특징 맵에 적어도 하나의 제1 변환 연산을 적용함으로써 트레이닝용 제(1_1) 중간(intermediate) 특징 맵을 생성하도록 하고, 상기 트레이닝용 제1 퓨즈드 포인트 클라우드 맵에 적어도 하나의 제2 변환 연산을 적용함으로써 트레이닝용 제(1_2) 중간 특징 맵을 생성하도록 하고, (3) 상기 학습 장치(100)가, 적어도 하나의 통합 레이어(230)로 하여금, 상기 트레이닝용 제(1_1) 중간 특징 맵 및 상기 트레이닝용 제(1_2) 중간 특징 맵을 통합함으로써 트레이닝용 제2 퓨즈드 특징 맵을 생성하도록 하고, 상기 트레이닝용 제2 퓨즈드 특징 맵에 적어도 하나의 맵핑 연산을 적용함으로써 트레이닝용 제2 퓨즈드 포인트 클라우드 맵을 생성하도록 하고, (4) 상기 학습 장치(100)가, 상기 (2) 단계 및 상기 (3) 단계를 반복한 결과, (i) 상기 변환 레이어(220)로 하여금, 상기 통합 레이어(230)에 의해 생성된 트레이닝용 제N 퓨즈드 특징 맵에 적어도 하나의 상기 제1 변환 연산을 적용함으로써 트레이닝용 제N_1 중간 특징 맵을 생성하도록 하고, 상기 통합 레이어(230)에 의해 생성된 트레이닝용 제N 퓨즈드 포인트 클라우드 맵에 적어도 하나의 상기 제2 변환 연산을 적용함으로써 트레이닝용 제N_2 중간 특징 맵을 생성하도록 하며, (ii) 상기 통합 레이어(230)로 하여금, 상기 트레이닝용 제N_1 중간 특징 맵 및 상기 트레이닝용 제N_2 중간 특징 맵을 통합함으로써 트레이닝용 제N+1 퓨즈드 특징 맵을 생성하도록 하고, 상기 트레이닝용 제N+1 퓨즈드 특징 맵에 상기 맵핑 연산을 적용함으로써 트레이닝용 제N+1 퓨즈드 포인트 클라우드 맵을 생성하도록 하고, (5) 상기 학습 장치(100)가, 적어도 하나의 출력 레이어(240)로 하여금, 상기 트레이닝용 제N+1 퓨즈드 특징 맵 및 상기 트레이닝용 제N+1 퓨즈드 포인트 클라우드 맵 중 적어도 일부를 참조로 하여, 객체 디텍션, 시멘틱 세그멘테이션 및 깊이 예측 중 적어도 일부를 포함하는, 차량의 자율 주행에 필요한 연산들 중 적어도 일부를 수행하도록 하고, (6) 상기 학습 장치(100)가, 상기 출력 레이어(240)에 의해 생성된 상기 뉴럴 네트워크(200)의 적어도 하나의 출력이 생성되면, 상기 출력 및 이에 대응되는 적어도 하나의 GT 를 참조로 하여, 상기 뉴럴 네트워크의 하나 이상의 파라미터의 적어도 일부를 학습하도록 한 상태에서, 테스트 장치가, 상기 초기 연산 레이어(210)로 하여금, 상기 카메라에 의해 생성된 하나 이상의 오리지널 테스트 이미지를, 이에 대응하는, 상기 레이더 또는 상기 라이더에 의해 생성된 적어도 하나의 테스트용 오리지널 포인트 클라우드 맵과 통합하여, (i) 상기 테스트용 오리지널 포인트 클라우드 맵에 포함된 테스트용 깊이 정보를 상기 오리지널 테스트 이미지에 추가함으로써 적어도 하나의 테스트용 제1 퓨즈드(fused) 특징 맵 및 (ii) 상기 오리지널 테스트 이미지에 포함된 테스트용 색상 정보를 상기 테스트용 오리지널 포인트 클라우드 맵에 추가함으로써 적어도 하나의 테스트용 제1 퓨즈드 포인트 클라우드 맵을 생성하도록 할 수 있다.
그리고 나서, (b) 상기 테스트 장치가, 상기 변환 레이어(220)로 하여금, 상기 테스트용 제1 퓨즈드 특징 맵에 적어도 하나의 제1 변환 연산을 적용함으로써 테스트용 제(1_1) 중간(intermediate) 특징 맵을 생성하도록 하고, 상기 테스트용 제1 퓨즈드 포인트 클라우드 맵에 적어도 하나의 제2 변환 연산을 적용함으로써 테스트용 제(1_2) 중간 특징 맵을 생성하도록 할 수 있다.
또한, (c) 상기 테스트 장치가, 상기 통합 레이어(230)로 하여금, 상기 테스트용 제(1_1) 중간 특징 맵 및 상기 테스트용 제(1_2) 중간 특징 맵을 통합함으로써 테스트용 제2 퓨즈드 특징 맵을 생성하도록 하고, 상기 테스트용 제2 퓨즈드 특징 맵에 적어도 하나의 맵핑 연산을 적용함으로써 테스트용 제2 퓨즈드 포인트 클라우드 맵을 생성하도록 할 수 있다.
이후, (d) 상기 테스트 장치가, 상기 (b) 단계 및 상기 (c) 단계를 반복한 결과, (i) 상기 변환 레이어(220)로 하여금, 상기 통합 레이어(230)에 의해 생성된 테스트용 제N 퓨즈드 특징 맵에 적어도 하나의 상기 제1 변환 연산을 적용함으로써 테스트용 제N_1 중간 특징 맵을 생성하도록 하고, 상기 통합 레이어(230)에 의해 생성된 테스트용 제N 퓨즈드 포인트 클라우드 맵에 적어도 하나의 상기 제2 변환 연산을 적용함으로써 테스트용 제N_2 중간 특징 맵을 생성하도록 하며, (ii) 상기 통합 레이어(230)로 하여금, 상기 테스트용 제N_1 중간 특징 맵 및 상기 테스트용 제N_2 중간 특징 맵을 통합함으로써 테스트용 제N+1 퓨즈드 특징 맵을 생성하도록 하고, 상기 테스트용 제N+1 퓨즈드 특징 맵에 상기 맵핑 연산을 적용함으로써 테스트용 제N+1 퓨즈드 포인트 클라우드 맵을 생성하도록 할 수 있다.
또한, (e) 상기 테스트 장치가, 상기 출력 레이어(240)로 하여금, 상기 테스트용 제N+1 퓨즈드 특징 맵 및 상기 테스트용 제N+1 퓨즈드 포인트 클라우드 맵 중 적어도 일부를 참조로 하여, 객체 디텍션, 시멘틱 세그멘테이션 및 깊이 예측 중 적어도 일부를 포함하는, 차량의 자율 주행에 필요한 연산들 중 적어도 일부를 수행하도록 할 수 있다.
이와 같이 차량의 자율 주행에 필요한 해당 연산에 맞추어 최적화된 파라미터들을 참조로 하여, 카메라(300)에 의해 생성된 이미지와 레이더 또는 라이더(400)에 의해 생성된 포인트 클라우드 맵을 통합하여 이용함으로써, 뉴럴 네트워크(200)는 훨씬 더 좋은 성능을 낼 수 있을 것이다.
본 발명 기술분야의 통상의 기술자에게 이해될 수 있는 바로서, 위에서 설명된 이미지, 예컨대 오리지널 이미지, 오리지널 레이블 및 추가 레이블과 같은 이미지 데이터의 송수신이 학습 장치 및 테스트 장치의 통신부들에 의하여 이루어질 수 있으며, 특징 맵과 연산을 수행하기 위한 데이터가 학습 장치 및 테스트 장치의 프로세서(및/또는 메모리)에 의하여 보유/유지될 수 있고, 컨벌루션 연산, 디컨벌루션 연산, 로스 값 연산 과정이 주로 학습 장치 및 테스트 장치의 프로세서에 의하여 수행될 수 있으나, 본 발명이 이에 한정되지는 않을 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (22)

  1. 적어도 하나의 카메라에 의해 생성된 적어도 하나의 이미지와, 이에 대응하는, 적어도 하나의 레이더 또는 라이더에 의해 생성된 적어도 하나의 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하는 방법에 있어서,
    (a) 컴퓨팅 장치가, 적어도 하나의 초기 연산 레이어로 하여금, 상기 카메라에 의해 생성된 적어도 하나의 오리지널 이미지를, 이에 대응하는, 상기 레이더 또는 상기 라이더에 의해 생성된 적어도 하나의 오리지널 포인트 클라우드 맵과 통합하여, (i) 상기 오리지널 포인트 클라우드 맵에 포함된 깊이 정보를 상기 오리지널 이미지에 추가함으로써 적어도 하나의 제1 퓨즈드(fused) 특징 맵 및 (ii) 상기 오리지널 이미지에 포함된 색상 정보를 상기 오리지널 포인트 클라우드 맵에 추가함으로써 적어도 하나의 제1 퓨즈드 포인트 클라우드 맵을 생성하도록 하는 단계;
    (b) 상기 컴퓨팅 장치가, 적어도 하나의 변환 레이어로 하여금, 상기 제1 퓨즈드 특징 맵에 적어도 하나의 제1 변환 연산을 적용함으로써 제(1_1) 중간(intermediate) 특징 맵을 생성하도록 하고, 상기 제1 퓨즈드 포인트 클라우드 맵에 적어도 하나의 제2 변환 연산을 적용함으로써 제(1_2) 중간 특징 맵을 생성하도록 하는 단계; 및
    (c) 상기 컴퓨팅 장치가, 적어도 하나의 통합 레이어로 하여금, 상기 제(1_1) 중간 특징 맵 및 상기 제(1_2) 중간 특징 맵을 통합함으로써 제2 퓨즈드 특징 맵을 생성하도록 하고, 상기 제2 퓨즈드 특징 맵에 적어도 하나의 맵핑 연산을 적용함으로써 제2 퓨즈드 포인트 클라우드 맵을 생성하도록 하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  2. 제 1항에 있어서,
    (d) 상기 컴퓨팅 장치가, 상기 (b) 단계 및 상기 (c) 단계를 반복한 결과, (i) 상기 변환 레이어로 하여금, 상기 통합 레이어에 의해 생성된 제N 퓨즈드 특징 맵에 적어도 하나의 상기 제1 변환 연산을 적용함으로써 제N_1 중간 특징 맵을 생성하도록 하고, 상기 통합 레이어에 의해 생성된 제N 퓨즈드 포인트 클라우드 맵에 적어도 하나의 상기 제2 변환 연산을 적용함으로써 제N_2 중간 특징 맵을 생성하도록 하며, (ii) 상기 통합 레이어로 하여금, 상기 제N_1 중간 특징 맵 및 상기 제N_2 중간 특징 맵을 통합함으로써 제N+1 퓨즈드 특징 맵을 생성하도록 하고, 상기 제N+1 퓨즈드 특징 맵에 상기 맵핑 연산을 적용함으로써 제N+1 퓨즈드 포인트 클라우드 맵을 생성하도록 하는 단계;
    를 더 포함하는 것을 특징으로 하는 방법.
  3. 제 2항에 있어서,
    (e) 상기 컴퓨팅 장치가, 적어도 하나의 출력 레이어로 하여금, 상기 제N+1 퓨즈드 특징 맵 및 상기 제N+1 퓨즈드 포인트 클라우드 맵 중 적어도 일부를 참조로 하여, 객체 디텍션, 시멘틱 세그멘테이션 및 깊이 예측 중 적어도 일부를 포함하는, 차량의 자율 주행에 필요한 연산들 중 적어도 일부를 수행하도록 하는 단계;
    를 더 포함하는 것을 특징으로 하는 방법.
  4. 제 3항에 있어서,
    (f) 상기 컴퓨팅 장치가, 상기 출력 레이어에 의해 생성된 상기 뉴럴 네트워크의 적어도 하나의 출력이 생성되면, 상기 출력 및 이에 대응되는 적어도 하나의 GT 를 참조로 하여, 상기 뉴럴 네트워크의 하나 이상의 파라미터의 적어도 일부를 학습하도록 하는 단계;
    를 더 포함하는 것을 특징으로 하는 방법.
  5. 제 1항에 있어서,
    상기 (a) 단계에서,
    상기 제1 퓨즈드 특징 맵은, (i) 상기 오리지널 이미지에 포함된, 각 픽셀에 대한 오리지널 색상 정보 및 (ii) 상기 레이더 또는 상기 라이더에 인접한 3차원 공간 상의 각 위치에 대한 오리지널 좌표 정보를 참조로 하여 획득된, 상기 각 픽셀에 대한 상기 깊이 정보를 포함하되, 상기 각 위치는 상기 오리지널 포인트 클라우드 맵에 포함되는 것을 특징으로 하며,
    상기 제1 퓨즈드 포인트 클라우드 맵은, (i) 상기 오리지널 좌표 정보 및 (ii) 상기 오리지널 색상 정보를 참조로 하여 획득된, 상기 각 위치에 대한 상기 색상 정보를 포함하는 것을 특징으로 하는 방법.
  6. 제 1항에 있어서,
    상기 (b) 단계에서,
    상기 제(1_1) 중간 특징 맵은, 상기 제1 퓨즈드 특징 맵에, 적어도 하나의 컨벌루션 연산을 포함하는 상기 제1 변환 연산을 적용함으로써 생성되는 것을 특징으로 하는 방법.
  7. 제 6항에 있어서,
    상기 (b) 단계에서,
    상기 제(1_1) 중간 특징 맵은, 상기 제1 퓨즈드 특징 맵에, 적어도 하나의 컨벌루션 연산 외에, 적어도 하나의 ReLU 연산 및 적어도 하나의 풀링 연산을 더 포함하는 상기 제1 변환 연산을 적용함으로써 생성되는 것을 특징으로 하는 방법.
  8. 제 1항에 있어서,
    상기 (b) 단계에서,
    상기 제(1_2) 중간 특징 맵은, 상기 제1 퓨즈드 포인트 클라우드 맵에, 적어도 하나의 뉴럴 네트워크 연산, 적어도 하나의 역맵핑 연산 및 적어도 하나의 컨벌루션 연산을 포함하는 상기 제2 변환 연산을 적용함으로써 생성되되,
    상기 역맵핑 연산은, (i) 상기 제1 퓨즈드 포인트 클라우드 맵에 포함된, 3차원 좌표에 상기 색상 정보가 연동된 형태의 상기 깊이 정보와 (ii) 상기 제(1_1) 중간 특징 맵의 각각의 특징을 연동시키는 연산인 것을 특징으로 하는 방법.
  9. 제 1항에 있어서,
    상기 (c) 단계에서,
    상기 제2 퓨즈드 특징 맵은, 상기 제(1_1) 중간 특징 맵 및 상기 제(1_2) 중간 특징 맵을 채널 방향으로 컨캐터네이팅 함으로써 생성되는 것을 특징으로 하는 방법.
  10. 제 1항에 있어서,
    상기 (c) 단계에서,
    상기 맵핑 연산은, (i) 상기 제2 퓨즈드 특징 맵의 각각의 특징 값을 (ii) 상기 레이더 또는 상기 라이더에 인접한 3차원 공간 상의 각 위치에 연동시키는 연산인 것을 특징으로 하는 방법.
  11. 적어도 하나의 카메라에 의해 생성된 적어도 하나의 이미지와, 이에 대응하는, 적어도 하나의 레이더 또는 라이더에 의해 생성된 적어도 하나의 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하고, 이를 이용하는 테스트 방법에 있어서,
    (a) (1) 학습 장치가, 적어도 하나의 초기 연산 레이어로 하여금, 상기 카메라에 의해 생성된 적어도 하나의 오리지널 트레이닝 이미지를, 이에 대응하는, 상기 레이더 또는 상기 라이더에 의해 생성된 적어도 하나의 트레이닝용 오리지널 포인트 클라우드 맵과 통합하여, (i) 상기 트레이닝용 오리지널 포인트 클라우드 맵에 포함된 트레이닝용 깊이 정보를 상기 오리지널 트레이닝 이미지에 추가함으로써 적어도 하나의 트레이닝용 제1 퓨즈드(fused) 특징 맵 및 (ii) 상기 오리지널 트레이닝 이미지에 포함된 트레이닝용 색상 정보를 상기 트레이닝용 오리지널 포인트 클라우드 맵에 추가함으로써 적어도 하나의 트레이닝용 제1 퓨즈드 포인트 클라우드 맵을 생성하는 프로세스를 수행하도록 하고, (2) 상기 학습 장치가, 적어도 하나의 변환 레이어로 하여금, 상기 트레이닝용 제1 퓨즈드 특징 맵에 적어도 하나의 제1 변환 연산을 적용함으로써 트레이닝용 제(1_1) 중간(intermediate) 특징 맵을 생성하도록 하고, 상기 트레이닝용 제1 퓨즈드 포인트 클라우드 맵에 적어도 하나의 제2 변환 연산을 적용함으로써 트레이닝용 제(1_2) 중간 특징 맵을 생성하는 프로세스를 수행하도록 하고, (3) 상기 학습 장치가, 적어도 하나의 통합 레이어로 하여금, 상기 트레이닝용 제(1_1) 중간 특징 맵 및 상기 트레이닝용 제(1_2) 중간 특징 맵을 통합함으로써 트레이닝용 제2 퓨즈드 특징 맵을 생성하도록 하고, 상기 트레이닝용 제2 퓨즈드 특징 맵에 적어도 하나의 맵핑 연산을 적용함으로써 트레이닝용 제2 퓨즈드 포인트 클라우드 맵을 생성하는 프로세스를 수행하도록 하고, (4) 상기 학습 장치가, 상기 (2) 프로세스 및 상기 (3) 프로세스를 반복한 결과, (i) 상기 변환 레이어로 하여금, 상기 통합 레이어에 의해 생성된 트레이닝용 제N 퓨즈드 특징 맵에 적어도 하나의 상기 제1 변환 연산을 적용함으로써 트레이닝용 제N_1 중간 특징 맵을 생성하도록 하고, 상기 통합 레이어에 의해 생성된 트레이닝용 제N 퓨즈드 포인트 클라우드 맵에 적어도 하나의 상기 제2 변환 연산을 적용함으로써 트레이닝용 제N_2 중간 특징 맵을 생성하도록 하며, (ii) 상기 통합 레이어로 하여금, 상기 트레이닝용 제N_1 중간 특징 맵 및 상기 트레이닝용 제N_2 중간 특징 맵을 통합함으로써 트레이닝용 제N+1 퓨즈드 특징 맵을 생성하도록 하고, 상기 트레이닝용 제N+1 퓨즈드 특징 맵에 상기 맵핑 연산을 적용함으로써 트레이닝용 제N+1 퓨즈드 포인트 클라우드 맵을 생성하는 프로세스를 수행하도록 하고, (5) 상기 학습 장치가, 적어도 하나의 출력 레이어로 하여금, 상기 트레이닝용 제N+1 퓨즈드 특징 맵 및 상기 트레이닝용 제N+1 퓨즈드 포인트 클라우드 맵 중 적어도 일부를 참조로 하여, 객체 디텍션, 시멘틱 세그멘테이션 및 깊이 예측 중 적어도 일부를 포함하는, 차량의 자율 주행에 필요한 연산들 중 적어도 일부를 수행하는 프로세스를 수행하도록 하고, (6) 상기 학습 장치가, 상기 출력 레이어에 의해 생성된 상기 뉴럴 네트워크의 적어도 하나의 출력이 생성되면, 상기 출력 및 이에 대응되는 적어도 하나의 GT 를 참조로 하여, 상기 뉴럴 네트워크의 하나 이상의 파라미터의 적어도 일부를 학습하는 프로세스를 수행하도록 한 상태에서,
    테스트 장치가, 상기 초기 연산 레이어로 하여금, 상기 카메라에 의해 생성된 적어도 하나의 오리지널 테스트 이미지를, 이에 대응하는, 상기 레이더 또는 상기 라이더에 의해 생성된 적어도 하나의 테스트용 오리지널 포인트 클라우드 맵과 통합하여, (i) 상기 테스트용 오리지널 포인트 클라우드 맵에 포함된 테스트용 깊이 정보를 상기 오리지널 테스트 이미지에 추가함으로써 적어도 하나의 테스트용 제1 퓨즈드(fused) 특징 맵 및 (ii) 상기 오리지널 테스트 이미지에 포함된 테스트용 색상 정보를 상기 테스트용 오리지널 포인트 클라우드 맵에 추가함으로써 적어도 하나의 테스트용 제1 퓨즈드 포인트 클라우드 맵을 생성하도록 하는 단계;
    (b) 상기 테스트 장치가, 상기 변환 레이어로 하여금, 상기 테스트용 제1 퓨즈드 특징 맵에 적어도 하나의 제1 변환 연산을 적용함으로써 테스트용 제(1_1) 중간(intermediate) 특징 맵을 생성하도록 하고, 상기 테스트용 제1 퓨즈드 포인트 클라우드 맵에 적어도 하나의 제2 변환 연산을 적용함으로써 테스트용 제(1_2) 중간 특징 맵을 생성하도록 하는 단계;
    (c) 상기 테스트 장치가, 상기 통합 레이어로 하여금, 상기 테스트용 제(1_1) 중간 특징 맵 및 상기 테스트용 제(1_2) 중간 특징 맵을 통합함으로써 테스트용 제2 퓨즈드 특징 맵을 생성하도록 하고, 상기 테스트용 제2 퓨즈드 특징 맵에 적어도 하나의 맵핑 연산을 적용함으로써 테스트용 제2 퓨즈드 포인트 클라우드 맵을 생성하도록 하는 단계;
    (d) 상기 테스트 장치가, 상기 (b) 단계 및 상기 (c) 단계를 반복한 결과, (i) 상기 변환 레이어로 하여금, 상기 통합 레이어에 의해 생성된 테스트용 제N 퓨즈드 특징 맵에 적어도 하나의 상기 제1 변환 연산을 적용함으로써 테스트용 제N_1 중간 특징 맵을 생성하도록 하고, 상기 통합 레이어에 의해 생성된 테스트용 제N 퓨즈드 포인트 클라우드 맵에 적어도 하나의 상기 제2 변환 연산을 적용함으로써 테스트용 제N_2 중간 특징 맵을 생성하도록 하며, (ii) 상기 통합 레이어로 하여금, 상기 테스트용 제N_1 중간 특징 맵 및 상기 테스트용 제N_2 중간 특징 맵을 통합함으로써 테스트용 제N+1 퓨즈드 특징 맵을 생성하도록 하고, 상기 테스트용 제N+1 퓨즈드 특징 맵에 상기 맵핑 연산을 적용함으로써 테스트용 제N+1 퓨즈드 포인트 클라우드 맵을 생성하도록 하는 단계;
    (e) 상기 테스트 장치가, 상기 출력 레이어로 하여금, 상기 테스트용 제N+1 퓨즈드 특징 맵 및 상기 테스트용 제N+1 퓨즈드 포인트 클라우드 맵 중 적어도 일부를 참조로 하여, 객체 디텍션, 시멘틱 세그멘테이션 및 깊이 예측 중 적어도 일부를 포함하는, 차량의 자율 주행에 필요한 연산들 중 적어도 일부를 수행하도록 하는 단계;
    를 포함하는 것을 특징으로 하는 테스트 방법.
  12. 적어도 하나의 카메라에 의해 생성된 적어도 하나의 이미지와, 이에 대응하는, 적어도 하나의 레이더 또는 라이더에 의해 생성된 적어도 하나의 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하는 컴퓨팅 장치에 있어서,
    인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    (I) 적어도 하나의 초기 연산 레이어로 하여금, 상기 카메라에 의해 생성된 적어도 하나의 오리지널 이미지를, 이에 대응하는, 상기 레이더 또는 상기 라이더에 의해 생성된 적어도 하나의 오리지널 포인트 클라우드 맵과 통합하여, (i) 상기 오리지널 포인트 클라우드 맵에 포함된 깊이 정보를 상기 오리지널 이미지에 추가함으로써 적어도 하나의 제1 퓨즈드(fused) 특징 맵 및 (ii) 상기 오리지널 이미지에 포함된 색상 정보를 상기 오리지널 포인트 클라우드 맵에 추가함으로써 적어도 하나의 제1 퓨즈드 포인트 클라우드 맵을 생성하도록 하는 프로세스; (II) 적어도 하나의 변환 레이어로 하여금, 상기 제1 퓨즈드 특징 맵에 적어도 하나의 제1 변환 연산을 적용함으로써 제(1_1) 중간(intermediate) 특징 맵을 생성하도록 하고, 상기 제1 퓨즈드 포인트 클라우드 맵에 적어도 하나의 제2 변환 연산을 적용함으로써 제(1_2) 중간 특징 맵을 생성하도록 하는 프로세스; (III) 적어도 하나의 통합 레이어로 하여금, 상기 제(1_1) 중간 특징 맵 및 상기 제(1_2) 중간 특징 맵을 통합함으로써 제2 퓨즈드 특징 맵을 생성하도록 하고, 상기 제2 퓨즈드 특징 맵에 적어도 하나의 맵핑 연산을 적용함으로써 제2 퓨즈드 포인트 클라우드 맵을 생성하도록 하는 프로세스;를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하는 컴퓨팅 장치.
  13. 제 12항에 있어서,
    (IV) 상기 프로세서가, 상기 (II) 프로세스 및 상기 (III) 프로세스를 반복한 결과, (i) 상기 변환 레이어로 하여금, 상기 통합 레이어에 의해 생성된 제N 퓨즈드 특징 맵에 적어도 하나의 상기 제1 변환 연산을 적용함으로써 제N_1 중간 특징 맵을 생성하도록 하고, 상기 통합 레이어에 의해 생성된 제N 퓨즈드 포인트 클라우드 맵에 적어도 하나의 상기 제2 변환 연산을 적용함으로써 제N_2 중간 특징 맵을 생성하도록 하며, (ii) 상기 통합 레이어로 하여금, 상기 제N_1 중간 특징 맵 및 상기 제N_2 중간 특징 맵을 통합함으로써 제N+1 퓨즈드 특징 맵을 생성하도록 하고, 상기 제N+1 퓨즈드 특징 맵에 상기 맵핑 연산을 적용함으로써 제N+1 퓨즈드 포인트 클라우드 맵을 생성하도록 하는 프로세스;
    를 더 수행하는 것을 특징으로 하는 컴퓨팅 장치.
  14. 제 13항에 있어서,
    (V) 상기 프로세서가, 적어도 하나의 출력 레이어로 하여금, 상기 제N+1 퓨즈드 특징 맵 및 상기 제N+1 퓨즈드 포인트 클라우드 맵 중 적어도 일부를 참조로 하여, 객체 디텍션, 시멘틱 세그멘테이션 및 깊이 예측 중 적어도 일부를 포함하는, 차량의 자율 주행에 필요한 연산들 중 적어도 일부를 수행하도록 하는 프로세스;
    를 더 수행하는 것을 특징으로 하는 컴퓨팅 장치.
  15. 제 14항에 있어서,
    (VI) 상기 프로세서가, 상기 출력 레이어에 의해 생성된 상기 뉴럴 네트워크의 적어도 하나의 출력이 생성되면, 상기 출력 및 이에 대응되는 적어도 하나의 GT 를 참조로 하여, 상기 뉴럴 네트워크의 하나 이상의 파라미터의 적어도 일부를 학습하도록 하는 프로세스;
    를 더 수행하는 것을 특징으로 하는 컴퓨팅 장치.
  16. 제 12항에 있어서,
    상기 (I) 프로세스에서,
    상기 제1 퓨즈드 특징 맵은, (i) 상기 오리지널 이미지에 포함된, 각 픽셀에 대한 오리지널 색상 정보 및 (ii) 상기 레이더 또는 상기 라이더에 인접한 3차원 공간 상의 각 위치에 대한 오리지널 좌표 정보를 참조로 하여 획득된, 상기 각 픽셀에 대한 상기 깊이 정보를 포함하되, 상기 각 위치는 상기 오리지널 포인트 클라우드 맵에 포함되는 것을 특징으로 하며,
    상기 제1 퓨즈드 포인트 클라우드 맵은, (i) 상기 오리지널 좌표 정보 및 (ii) 상기 오리지널 색상 정보를 참조로 하여 획득된, 상기 각 위치에 대한 상기 색상 정보를 포함하는 것을 특징으로 하는 컴퓨팅 장치.
  17. 제 12항에 있어서,
    상기 (II) 프로세스에서,
    상기 제(1_1) 중간 특징 맵은, 상기 제1 퓨즈드 특징 맵에, 적어도 하나의 컨벌루션 연산을 포함하는 상기 제1 변환 연산을 적용함으로써 생성되는 것을 특징으로 하는 컴퓨팅 장치.
  18. 제 17항에 있어서,
    상기 (II) 프로세스에서,
    상기 제(1_1) 중간 특징 맵은, 상기 제1 퓨즈드 특징 맵에, 적어도 하나의 컨벌루션 연산 외에, 적어도 하나의 ReLU 연산 및 적어도 하나의 풀링 연산을 더 포함하는 상기 제1 변환 연산을 적용함으로써 생성되는 것을 특징으로 하는 컴퓨팅 장치.
  19. 제 12항에 있어서,
    상기 (II) 프로세스에서,
    상기 제(1_2) 중간 특징 맵은, 상기 제1 퓨즈드 포인트 클라우드 맵에, 적어도 하나의 뉴럴 네트워크 연산, 적어도 하나의 역맵핑 연산 및 적어도 하나의 컨벌루션 연산을 포함하는 상기 제2 변환 연산을 적용함으로써 생성되되,
    상기 역맵핑 연산은, (i) 상기 제1 퓨즈드 포인트 클라우드 맵에 포함된, 3차원 좌표에 상기 색상 정보가 연동된 형태의 상기 깊이 정보와 (ii) 상기 제(1_1) 중간 특징 맵의 각각의 특징을 연동시키는 연산인 것을 특징으로 하는 컴퓨팅 장치.
  20. 제 12항에 있어서,
    상기 (III) 프로세스에서,
    상기 제2 퓨즈드 특징 맵은, 상기 제(1_1) 중간 특징 맵 및 상기 제(1_2) 중간 특징 맵을 채널 방향으로 컨캐터네이팅 함으로써 생성되는 것을 특징으로 하는 컴퓨팅 장치.
  21. 제 12항에 있어서,
    상기 (III) 프로세스에서,
    상기 맵핑 연산은, (i) 상기 제2 퓨즈드 특징 맵의 각각의 특징 값을 (ii) 상기 레이더 또는 상기 라이더에 인접한 3차원 공간 상의 각 위치에 연동시키는 연산인 것을 특징으로 하는 컴퓨팅 장치.
  22. 적어도 하나의 카메라에 의해 생성된 적어도 하나의 이미지와, 이에 대응하는, 적어도 하나의 레이더 또는 라이더에 의해 생성된 적어도 하나의 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하고, 이를 이용하는 테스트 장치에 있어서,
    인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    (1) 학습 장치가, 적어도 하나의 초기 연산 레이어로 하여금, 상기 카메라에 의해 생성된 적어도 하나의 오리지널 트레이닝 이미지를, 이에 대응하는, 상기 레이더 또는 상기 라이더에 의해 생성된 적어도 하나의 트레이닝용 오리지널 포인트 클라우드 맵과 통합하여, (i) 상기 트레이닝용 오리지널 포인트 클라우드 맵에 포함된 트레이닝용 깊이 정보를 상기 오리지널 트레이닝 이미지에 추가함으로써 적어도 하나의 트레이닝용 제1 퓨즈드(fused) 특징 맵 및 (ii) 상기 오리지널 트레이닝 이미지에 포함된 트레이닝용 색상 정보를 상기 트레이닝용 오리지널 포인트 클라우드 맵에 추가함으로써 적어도 하나의 트레이닝용 제1 퓨즈드 포인트 클라우드 맵을 생성하는 프로세스를 수행하도록 하고, (2) 상기 학습 장치가, 적어도 하나의 변환 레이어로 하여금, 상기 트레이닝용 제1 퓨즈드 특징 맵에 적어도 하나의 제1 변환 연산을 적용함으로써 트레이닝용 제(1_1) 중간(intermediate) 특징 맵을 생성하도록 하고, 상기 트레이닝용 제1 퓨즈드 포인트 클라우드 맵에 적어도 하나의 제2 변환 연산을 적용함으로써 트레이닝용 제(1_2) 중간 특징 맵을 생성하는 프로세스를 수행하도록 하고, (3) 상기 학습 장치가, 적어도 하나의 통합 레이어로 하여금, 상기 트레이닝용 제(1_1) 중간 특징 맵 및 상기 트레이닝용 제(1_2) 중간 특징 맵을 통합함으로써 트레이닝용 제2 퓨즈드 특징 맵을 생성하도록 하고, 상기 트레이닝용 제2 퓨즈드 특징 맵에 적어도 하나의 맵핑 연산을 적용함으로써 트레이닝용 제2 퓨즈드 포인트 클라우드 맵을 생성하는 프로세스를 수행하도록 하고, (4) 상기 학습 장치가, 상기 (2) 프로세스 및 상기 (3) 프로세스를 반복한 결과, (i) 상기 변환 레이어로 하여금, 상기 통합 레이어에 의해 생성된 트레이닝용 제N 퓨즈드 특징 맵에 적어도 하나의 상기 제1 변환 연산을 적용함으로써 트레이닝용 제N_1 중간 특징 맵을 생성하도록 하고, 상기 통합 레이어에 의해 생성된 트레이닝용 제N 퓨즈드 포인트 클라우드 맵에 적어도 하나의 상기 제2 변환 연산을 적용함으로써 트레이닝용 제N_2 중간 특징 맵을 생성하도록 하며, (ii) 상기 통합 레이어로 하여금, 상기 트레이닝용 제N_1 중간 특징 맵 및 상기 트레이닝용 제N_2 중간 특징 맵을 통합함으로써 트레이닝용 제N+1 퓨즈드 특징 맵을 생성하도록 하고, 상기 트레이닝용 제N+1 퓨즈드 특징 맵에 상기 맵핑 연산을 적용함으로써 트레이닝용 제N+1 퓨즈드 포인트 클라우드 맵을 생성하는 프로세스를 수행하도록 하고, (5) 상기 학습 장치가, 적어도 하나의 출력 레이어로 하여금, 상기 트레이닝용 제N+1 퓨즈드 특징 맵 및 상기 트레이닝용 제N+1 퓨즈드 포인트 클라우드 맵 중 적어도 일부를 참조로 하여, 객체 디텍션, 시멘틱 세그멘테이션 및 깊이 예측 중 적어도 일부를 포함하는, 차량의 자율 주행에 필요한 연산들 중 적어도 일부를 수행하는 프로세스를 수행하도록 하고, (6) 상기 학습 장치가, 상기 출력 레이어에 의해 생성된 상기 뉴럴 네트워크의 적어도 하나의 출력이 생성되면, 상기 출력 및 이에 대응되는 적어도 하나의 GT 를 참조로 하여, 상기 뉴럴 네트워크의 하나 이상의 파라미터의 적어도 일부를 학습하는 프로세스를 수행하도록 한 상태에서, 적어도 하나의 프로세서가, (I) 상기 초기 연산 레이어로 하여금, 상기 카메라에 의해 생성된 하나 이상의 오리지널 테스트 이미지를, 이에 대응하는, 상기 레이더 또는 상기 라이더에 의해 생성된 적어도 하나의 테스트용 오리지널 포인트 클라우드 맵과 통합하여, (i) 상기 테스트용 오리지널 포인트 클라우드 맵에 포함된 테스트용 깊이 정보를 상기 오리지널 테스트 이미지에 추가함으로써 적어도 하나의 테스트용 제1 퓨즈드(fused) 특징 맵 및 (ii) 상기 오리지널 테스트 이미지에 포함된 테스트용 색상 정보를 상기 테스트용 오리지널 포인트 클라우드 맵에 추가함으로써 적어도 하나의 테스트용 제1 퓨즈드 포인트 클라우드 맵을 생성하도록 하는 프로세스; (II) 상기 변환 레이어로 하여금, 상기 테스트용 제1 퓨즈드 특징 맵에 적어도 하나의 제1 변환 연산을 적용함으로써 테스트용 제(1_1) 중간(intermediate) 특징 맵을 생성하도록 하고, 상기 테스트용 제1 퓨즈드 포인트 클라우드 맵에 적어도 하나의 제2 변환 연산을 적용함으로써 테스트용 제(1_2) 중간 특징 맵을 생성하도록 하는 프로세스; (III) 상기 통합 레이어로 하여금, 상기 테스트용 제(1_1) 중간 특징 맵 및 상기 테스트용 제(1_2) 중간 특징 맵을 통합함으로써 테스트용 제2 퓨즈드 특징 맵을 생성하도록 하고, 상기 테스트용 제2 퓨즈드 특징 맵에 적어도 하나의 맵핑 연산을 적용함으로써 테스트용 제2 퓨즈드 포인트 클라우드 맵을 생성하도록 하는 프로세스; (IV) 상기 (II) 프로세스 및 상기 (III) 프로세스를 반복한 결과, (i) 상기 변환 레이어로 하여금, 상기 통합 레이어에 의해 생성된 테스트용 제N 퓨즈드 특징 맵에 적어도 하나의 상기 제1 변환 연산을 적용함으로써 테스트용 제N_1 중간 특징 맵을 생성하도록 하고, 상기 통합 레이어에 의해 생성된 테스트용 제N 퓨즈드 포인트 클라우드 맵에 적어도 하나의 상기 제2 변환 연산을 적용함으로써 테스트용 제N_2 중간 특징 맵을 생성하도록 하며, (ii) 상기 통합 레이어로 하여금, 상기 테스트용 제N_1 중간 특징 맵 및 상기 테스트용 제N_2 중간 특징 맵을 통합함으로써 테스트용 제N+1 퓨즈드 특징 맵을 생성하도록 하고, 상기 테스트용 제N+1 퓨즈드 특징 맵에 상기 맵핑 연산을 적용함으로써 테스트용 제N+1 퓨즈드 포인트 클라우드 맵을 생성하도록 하는 프로세스; (V) 상기 출력 레이어로 하여금, 상기 테스트용 제N+1 퓨즈드 특징 맵 및 상기 테스트용 제N+1 퓨즈드 포인트 클라우드 맵 중 적어도 일부를 참조로 하여, 객체 디텍션, 시멘틱 세그멘테이션 및 깊이 예측 중 적어도 일부를 포함하는, 차량의 자율 주행에 필요한 연산들 중 적어도 일부를 수행하도록 하는 프로세스;를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하는 테스트 장치.
KR1020190147097A 2019-01-31 2019-11-15 카메라로부터 획득된 이미지와, 이에 대응하는, 레이더 또는 라이더를 통해 획득된 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치 KR102264394B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/262,984 US10408939B1 (en) 2019-01-31 2019-01-31 Learning method and learning device for integrating image acquired by camera and point-cloud map acquired by radar or LiDAR corresponding to image at each of convolution stages in neural network and testing method and testing device using the same
US16/262,984 2019-01-31

Publications (2)

Publication Number Publication Date
KR20200095333A KR20200095333A (ko) 2020-08-10
KR102264394B1 true KR102264394B1 (ko) 2021-06-15

Family

ID=67844960

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190147097A KR102264394B1 (ko) 2019-01-31 2019-11-15 카메라로부터 획득된 이미지와, 이에 대응하는, 레이더 또는 라이더를 통해 획득된 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치

Country Status (5)

Country Link
US (1) US10408939B1 (ko)
EP (1) EP3690482B1 (ko)
JP (1) JP6855090B2 (ko)
KR (1) KR102264394B1 (ko)
CN (1) CN111507927B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11527085B1 (en) * 2021-12-16 2022-12-13 Motional Ad Llc Multi-modal segmentation network for enhanced semantic labeling in mapping
WO2024117752A1 (ko) * 2022-11-29 2024-06-06 주식회사 유엑스팩토리 포인트 클라우드 데이터 처리 장치 및 그 동작 방법

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866526A (zh) * 2018-08-28 2020-03-06 北京三星通信技术研究有限公司 图像分割方法、电子设备及计算机可读存储介质
US10839543B2 (en) * 2019-02-26 2020-11-17 Baidu Usa Llc Systems and methods for depth estimation using convolutional spatial propagation networks
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
CN110619666B (zh) * 2019-09-20 2022-05-27 阿波罗智能技术(北京)有限公司 用于标定相机的方法及装置
EP3798977A1 (en) * 2019-09-26 2021-03-31 Robert Bosch GmbH Method for managing tracklets in a particle filter estimation framework
TWI730436B (zh) * 2019-10-02 2021-06-11 立積電子股份有限公司 辨識物體的方法、物體辨識系統及更新物體辨識系統中主要分類器的方法
CN111027559A (zh) * 2019-10-31 2020-04-17 湖南大学 一种基于扩张点卷积空间金字塔池化的点云语义分割方法
US10819923B1 (en) 2019-11-19 2020-10-27 Waymo Llc Thermal imaging for self-driving cars
CN110969689A (zh) * 2019-12-03 2020-04-07 上海眼控科技股份有限公司 点云特征提取方法、装置、计算机设备和存储介质
CN110929692B (zh) * 2019-12-11 2022-05-24 中国科学院长春光学精密机械与物理研究所 一种基于多传感器信息融合的三维目标检测方法及装置
US11481862B2 (en) * 2020-02-26 2022-10-25 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for real-time, simultaneous object detection and semantic segmentation
CN111487596B (zh) * 2020-04-20 2022-06-21 航天新气象科技有限公司 风场探测数据融合方法、装置及电子设备
CN111352112B (zh) 2020-05-08 2022-11-29 泉州装备制造研究所 基于视觉、激光雷达和毫米波雷达的目标检测方法
CN111649752B (zh) * 2020-05-29 2021-09-21 北京四维图新科技股份有限公司 拥堵路段的地图数据处理方法、装置以及设备
US11122248B1 (en) * 2020-07-20 2021-09-14 Black Sesame International Holding Limited Stereo vision with weakly aligned heterogeneous cameras
CN111860425B (zh) * 2020-07-30 2021-04-09 清华大学 一种深度多模态跨层交叉融合方法、终端设备及存储介质
US20230342879A1 (en) * 2020-08-27 2023-10-26 Nec Corporation Data processing apparatus, data processing method, and non-transitory computer-readable medium
JP7389729B2 (ja) 2020-09-10 2023-11-30 株式会社日立製作所 障害物検知装置、障害物検知システム及び障害物検知方法
EP4214682A1 (en) * 2020-11-16 2023-07-26 Waymo Llc Multi-modal 3-d pose estimation
US11430218B2 (en) 2020-12-31 2022-08-30 Toyota Research Institute, Inc. Using a bird's eye view feature map, augmented with semantic information, to detect an object in an environment
CN112733753B (zh) * 2021-01-14 2024-04-30 江苏恒澄交科信息科技股份有限公司 结合卷积神经网络和数据融合的大桥方位识别方法及系统
US11798183B2 (en) * 2021-03-08 2023-10-24 Nvidia Corporation Machine learning techniques for predicting depth information in image data
CN113085568B (zh) * 2021-03-19 2022-10-14 浙江亚太智能网联汽车创新中心有限公司 一种双向行驶摆渡车的控制系统及双向行驶摆渡车
CN113065590B (zh) * 2021-03-26 2021-10-08 清华大学 一种基于注意力机制的视觉与激光雷达多模态数据融合方法
RU2767831C1 (ru) * 2021-03-26 2022-03-22 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и электронные устройства для обнаружения объектов в окружении беспилотного автомобиля
CN113239726B (zh) * 2021-04-06 2022-11-08 北京航空航天大学杭州创新研究院 基于着色点云的目标检测方法、装置和电子设备
KR102336523B1 (ko) * 2021-04-27 2021-12-08 주식회사 모빌테크 점군 데이터를 이용하여 맵 정보를 향상 시키는 지도 제작 시스템
US20220358328A1 (en) * 2021-05-05 2022-11-10 Motional Ad Llc End-to-end system training using fused images
US11651583B2 (en) * 2021-07-08 2023-05-16 Cyngn, Inc. Multi-channel object matching
CN114724120B (zh) * 2022-06-10 2022-09-02 东揽(南京)智能科技有限公司 基于雷视语义分割自适应融合的车辆目标检测方法及系统
CN114863380B (zh) * 2022-07-05 2022-10-25 高德软件有限公司 车道线识别方法、装置及电子设备
CN115098079B (zh) * 2022-08-25 2023-01-24 苏州浪潮智能科技有限公司 雷达检测模型确定方法、系统、电子设备及可读存储介质
DE102023003086A1 (de) * 2022-09-15 2024-03-21 Sew-Eurodrive Gmbh & Co Kg Verfahren zum Trainieren eines neuronalen Netzes zur Detektion eines Objekts und Verfahren zur Detektion eines Objekts mittels eines neuronalen Netzes
KR102618951B1 (ko) * 2023-06-20 2023-12-29 주식회사 모빌테크 시각적 매핑 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN117152330B (zh) * 2023-07-10 2024-05-28 中国地质大学（武汉） 一种基于深度学习的点云3d模型贴图方法和装置
KR102613536B1 (ko) * 2023-09-06 2023-12-12 한화시스템(주) 레이다 3d 맵과 스테레오 깊이 맵에 의한 근접 객체 거리/자세 정밀 계산 장치 및 그 방법
CN117710923B (zh) * 2023-12-14 2024-05-03 江苏镇扬汽渡有限公司 一种不良视线下汽渡辅助航行方法
CN117470249B (zh) * 2023-12-27 2024-04-02 湖南睿图智能科技有限公司 基于激光点云和视频图像融合感知的船舶防碰撞方法及系统
CN117934858B (zh) * 2024-03-21 2024-06-04 之江实验室 一种点云的处理方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017157967A1 (en) 2016-03-14 2017-09-21 Imra Europe Sas Processing method of a 3d point cloud
US20180211128A1 (en) 2017-01-24 2018-07-26 Ford Global Technologies, Llc Object Detection Using Recurrent Neural Network And Concatenated Feature Map
US20190004534A1 (en) 2017-07-03 2019-01-03 Baidu Usa Llc High resolution 3d point clouds generation from upsampled low resolution lidar 3d point clouds and camera images
US10509947B1 (en) 2017-04-11 2019-12-17 Zoox, Inc. Converting multi-dimensional data for image analysis

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2874118B1 (en) * 2013-11-18 2017-08-02 Dassault Systèmes Computing camera parameters
US10705525B2 (en) * 2017-04-07 2020-07-07 Nvidia Corporation Performing autonomous path navigation using deep neural networks
CN108732584B (zh) * 2017-04-17 2020-06-30 百度在线网络技术（北京）有限公司 用于更新地图的方法和装置
CN107633220A (zh) * 2017-09-13 2018-01-26 吉林大学 一种基于卷积神经网络的车辆前方目标识别方法
JP6695843B2 (ja) * 2017-09-25 2020-05-20 ファナック株式会社 装置、及びロボットシステム
CN108230329B (zh) * 2017-12-18 2021-09-21 孙颖 基于多尺度卷积神经网络的语义分割方法
US10535191B2 (en) * 2017-12-21 2020-01-14 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers
DE112018006630T5 (de) * 2017-12-28 2020-09-24 Intel Corporation Visual fog
US10719744B2 (en) * 2017-12-28 2020-07-21 Intel Corporation Automated semantic inference of visual features and scenes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017157967A1 (en) 2016-03-14 2017-09-21 Imra Europe Sas Processing method of a 3d point cloud
US20180211128A1 (en) 2017-01-24 2018-07-26 Ford Global Technologies, Llc Object Detection Using Recurrent Neural Network And Concatenated Feature Map
US10509947B1 (en) 2017-04-11 2019-12-17 Zoox, Inc. Converting multi-dimensional data for image analysis
US20190004534A1 (en) 2017-07-03 2019-01-03 Baidu Usa Llc High resolution 3d point clouds generation from upsampled low resolution lidar 3d point clouds and camera images

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11527085B1 (en) * 2021-12-16 2022-12-13 Motional Ad Llc Multi-modal segmentation network for enhanced semantic labeling in mapping
US20230260298A1 (en) * 2021-12-16 2023-08-17 Motional Ad Llc Multi-modal Segmentation Network for Enhanced Semantic Labeling in Mapping
WO2024117752A1 (ko) * 2022-11-29 2024-06-06 주식회사 유엑스팩토리 포인트 클라우드 데이터 처리 장치 및 그 동작 방법

Also Published As

Publication number Publication date
KR20200095333A (ko) 2020-08-10
US10408939B1 (en) 2019-09-10
CN111507927B (zh) 2023-07-18
EP3690482A1 (en) 2020-08-05
CN111507927A (zh) 2020-08-07
JP6855090B2 (ja) 2021-04-07
EP3690482B1 (en) 2024-05-01
JP2020126607A (ja) 2020-08-20

Similar Documents

Publication Publication Date Title
KR102264394B1 (ko) 카메라로부터 획득된 이미지와, 이에 대응하는, 레이더 또는 라이더를 통해 획득된 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
EP3690705B1 (en) Method and device for generating deceivable composite image by using gan including generating neural network and discriminating neural network to allow surveillance system to recognize surroundings and detect rare event more accurately
US10824947B2 (en) Learning method for supporting safer autonomous driving without danger of accident by estimating motions of surrounding objects through fusion of information from multiple sources, learning device, testing method and testing device using the same
KR102337376B1 (ko) 레인 마스크(Lane Mask)를 사용하여 후처리 없이 입력 이미지에 포함된 하나 이상의 차선을 검출하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
US10410120B1 (en) Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same
CN111507150B (zh) 利用基于深度神经网络的多重图像块组合识别人脸的方法
KR102309708B1 (ko) 인스턴스 세그멘테이션을 이용한 객체의 자세에 따라 모드를 전환할 수 있는 cnn 기반의 수도-3d 바운딩 박스를 검출하는 방법 및 이를 이용한 장치
KR102296509B1 (ko) 자율 주행 자동차의 레벨 4를 충족시키기 위해 영역의 클래스에 따라 모드를 전환하여 그리드 셀 별로 가중 컨벌루션 필터를 이용한 감시용 이미지 세그멘테이션 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN111507369B (zh) 自动行驶车辆空间学习方法及装置、测试方法及装置
EP3686795B1 (en) Learning method and learning device for improving segmentation performance to be used for detecting events including pedestrian event, vehicle event, falling event and fallen event using edge loss and test method and test device using the same
KR102314524B1 (ko) 자율 주행 상황에서 장애물 검출을 위한 cnn 학습용 이미지 데이터 세트의 생성 방법 및 컴퓨팅 장치
KR102313604B1 (ko) 멀티 피딩을 적용한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102373493B1 (ko) V2x 정보 융합 기술을 통해 획득된, 각 객체에 대한 깊이 예측 정보 및 각 객체에 대한 클래스 정보를 이용해 3d 공간을 재구축함으로써 hd 맵을 업데이트하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
KR20230070253A (ko) 포인트 클라우드들로부터의 효율적인 3차원 객체 검출
KR102373492B1 (ko) 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 보정하는 방법 및 이를 이용한 장치
KR102372687B1 (ko) 비최대값 억제를 학습하는 병합 네트워크를 이용한 이종 센서 융합을 위한 학습 방법 및 학습 장치
KR102309712B1 (ko) 객체의 조건에 따라 모드를 전환할 수 있는 CNN 기반으로 군사 목적, 스마트폰 또는 가상 주행에 사용되는 수도(Pseudo)-3D 바운딩 박스를 검출하는 방법 및 이를 이용한 장치
US10311336B1 (en) Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles
CN117746417A (zh) 目标检测模型构建方法、目标检测方法及相关装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant