KR20200095367A - 거리 예측이 가능한 레이더를 통해 획득되는 정보와 카메라를 통해 획득되는 정보를 통합하는 센서 융합을 수행함으로써 자율 주행을 지원하는 뉴럴 네트워크를 향상시키는 학습 방법 및 학습 장치, 그리고 이를 사용한 테스트 방법 및 테스트 장치 - Google Patents
거리 예측이 가능한 레이더를 통해 획득되는 정보와 카메라를 통해 획득되는 정보를 통합하는 센서 융합을 수행함으로써 자율 주행을 지원하는 뉴럴 네트워크를 향상시키는 학습 방법 및 학습 장치, 그리고 이를 사용한 테스트 방법 및 테스트 장치 Download PDFInfo
- Publication number
- KR20200095367A KR20200095367A KR1020200004522A KR20200004522A KR20200095367A KR 20200095367 A KR20200095367 A KR 20200095367A KR 1020200004522 A KR1020200004522 A KR 1020200004522A KR 20200004522 A KR20200004522 A KR 20200004522A KR 20200095367 A KR20200095367 A KR 20200095367A
- Authority
- KR
- South Korea
- Prior art keywords
- test
- image
- information
- learning
- cnn
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- 238000012360 testing method Methods 0.000 title claims description 257
- 238000013528 artificial neural network Methods 0.000 title description 17
- 230000004927 fusion Effects 0.000 title description 13
- 238000012549 training Methods 0.000 claims abstract description 18
- 210000002569 neuron Anatomy 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000001537 neural effect Effects 0.000 claims 4
- 238000013527 convolutional neural network Methods 0.000 description 60
- 238000010586 diagram Methods 0.000 description 8
- 238000010998 test method Methods 0.000 description 4
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/2163—Partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Electromagnetism (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Image Processing (AREA)
Abstract
본 발명은 촬영 상황이 부적합함에 따라, 카메라를 통해 획득되는 촬영 이미지(Photographed Image)의 객체 묘사율(Object Depiction Ratio)이 낮더라도 CNN(Convolutional Neural Network)이 적합하게 작동하도록 카메라와 레이더(Radar)를 함께 사용하여 CNN을 학습하는 방법에 있어서, (a) 학습 장치가, 컨벌루션 레이어(Convolutional Layer)로 하여금, 다채널 통합 이미지에 대하여 컨벌루션 연산을 적용하도록 하여, 특징 맵(Feature Map)을 생성하도록 하는 단계; (b) 학습 장치가, 아웃풋 레이어(Output Layer)로 하여금, 특징 맵에 대하여 아웃풋 연산을 적용하도록 하여, 예측 객체 정보(Estimated Object Information)를 생성하도록 하는 단계; 및 (c) 학습 장치가, 로스 레이어(Loss Layer)로 하여금, 예측 객체 정보 및 이에 대응하는 GT(Ground Truth) 객체 정보를 사용하여 로스를 생성하도록 하고, 로스를 사용하여 백프로퍼게이션을 수행함으로써, CNN 내의 파라미터 중 적어도 일부를 학습하도록 하는 단계;를 포함하는 것을 특징으로 하는 방법을 제공한다.
Description
본 발명은 자율 주행 자동차에 사용하는 학습 방법 및 학습 장치에 관한 것으로, 보다 상세하게는, 거리 예측이 가능한 레이더를 통해 획득되는 정보와 카메라를 통해 획득되는 정보를 통합하는 센서 융합을 수행함으로써 자율 주행을 지원하는 뉴럴 네트워크를 향상시키는 학습 방법 및 학습 장치, 그리고 이를 사용한 테스트 방법 및 테스트 장치에 관한 것이다.
최근 자율 주행 분야에서는, 자율 주행 자동차 주변의 객체를 검출하기 위해 크게 세 가지 센서가 사용된다. 세 가지 센서는 각각 라이더(LiDAR), 레이더(Radar) 및 카메라다. 이 같은 각각의 센서에는 각각의 단점이 있다. 예를 들어, 라이더의 단점은 널리 쓰이기에는 가격이 비싸다는 점, 레이더의 단점은 단독으로 사용되면 성능이 떨어진다는 점, 카메라의 단점은 날씨 등 주변 상황의 영향을 많이 받아 불안정하다는 점이다.
각각의 센서를 개별적으로 사용하는 것은 상기와 같은 문제점이 있는 바, 이들을 함께 사용하는 센서 융합(Sensor Fusion) 방법이 필요하다.
하지만, 센서 융합 방법은 피상적으로 두 결과를 합치는 방법에 대한 연구만 있고, 깊이 있는 센서 융합 방법에 대해서는 많이 연구되지 않은 것이 사실이다.
본 발명은 상술한 문제점을 해결하는 것을 목적으로 한다.
본 발명은 거리 예측이 가능한 레이더를 통해 획득되는 정보와 카메라를 통해 획득되는 정보를 통합하는 센서 융합(Sensor Fusion)을 수행하는 학습 방법을 제공함으로써, 자율 주행을 지원하는 뉴럴 네트워크를 향상시키는 것을 목적으로 한다.
또한 본 발명은 뉴럴 네트워크가 레이더를 통해 획득된 정보와 카메라를 통해 획득된 정보를 채널별(Channel-wise)로 컨캐터네이팅(Concatenating)하여 생성된 통합 정보를 사용하도록 하여 자율 주행을 지원하는 방법을 제공하는 것을 다른 목적으로 한다.
또한 본 발명은 특정 객체에 대한 정보를 포함해 레이더를 통해 획득된 추가 정보를 사용함으로써, 별도의 특정 객체에 대한 정보 없이도 카메라를 통해 얻은 불완전한 정보를 보완할 수 있도록 하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 촬영 상황이 부적합함에 따라, 카메라를 통해 획득되는 촬영 이미지(Photographed Image) 상에 적어도 하나의 객체가 적합하게 나타나는 확률인, 상기 촬영 이미지의 객체 묘사율(Object Depiction Ratio)이 낮더라도 CNN(Convolutional Neural Network)이 적합하게 작동하도록 상기 카메라와 레이더(Radar)를 함께 사용하여 상기 CNN을 학습하는 방법에 있어서, (a) (i) 학습 장치와 연동하여 동작하는 대상 자동차 상의 상기 카메라를 통해 획득된 상기 촬영 이미지 및 (ii) 상기 대상 자동차의 레이더 를 통해 획득된 뎁스 이미지(Depth Image)를 사용하여 생성된 다채널 통합 이미지(Multichannel Integrated Image)가 획득되면, 상기 학습 장치가, 상기 CNN 내의 적어도 하나의 컨벌루션 레이어(Convolutional Layer)로 하여금, 상기 다채널 통합 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하도록 하여, 상기 촬영 이미지에 대한 정보와 함께 상기 뎁스 이미지에 대한 정보도 반영된 적어도 하나의 특징 맵(Feature Map)을 생성하도록 하는 단계; (b) 상기 학습 장치가, 상기 CNN 내의 적어도 하나의 아웃풋 레이어(Output Layer)로 하여금, 상기 특징 맵에 대하여 아웃풋 연산을 적어도 한 번 적용하도록 하여, 상기 다채널 통합 이미지 내의 상기 객체에 대한 예측 객체 정보(Estimated Object Information)를 생성하도록 하는 단계; 및 (c) 상기 학습 장치가, 상기 CNN 내의 적어도 하나의 로스 레이어(Loss Layer)로 하여금, 상기 예측 객체 정보 및 이에 대응하는 GT(Ground Truth) 객체 정보를 사용하여 적어도 하나의 로스를 생성하도록 하고, 상기 로스를 사용하여 백프로퍼게이션을 수행함으로써, 상기 CNN 내의 파라미터 중 적어도 일부를 학습하도록 하는 단계;를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 (a) 단계에서, 상기 학습 장치가, (i) 상기 뎁스 이미지를 참조로 하여 상기 대상 자동차로부터의 상기 객체의 적어도 하나의 거리 및 적어도 하나의 각도에 대한 정보를 획득한 후, (ii) 상기 거리 및 상기 각도에 대한 상기 정보 를 참조로 하여 상기 촬영 이미지 상에서의 상기 객체 중 적어도 일부에 대응되는 적어도 하나의 객체 좌표를 구하고, (iii) 상기 객체 좌표와 확률 분포를 참조로 하여 생성된 값을 가이드 채널 이미지(Guide Channel Image)에 포함된 그에 대응되는 픽셀 값으로 설정하여 적어도 하나의 상기 가이드 채널 이미지를 생성한 다음, (iv) 상기 가이드 채널 이미지를 상기 촬영 이미지와 함께 채널별(Channel-wise)로 컨캐터네이팅(Concatenating)함으로써 상기 다채널 통합 이미지를 생성하는 것을 특징으로 한다.
일 실시예에서, 상기 (a) 단계에서, 상기 학습 장치가, 상기 객체 좌표 중 제1 객체 좌표 내지 제N 객체 좌표와 상기 확률 분포를 참조로 하여 하기 수식에 따른 연산을 수행함으로써, 상기 가이드 채널 이미지에 그에 대응하는 픽셀 값으로서 포함될 상기 값을 산출하되,
상기 수식에서, 는 상기 가이드 채널 이미지에 포함된 픽셀 중 제k 픽셀을 의미하고, 및 각각은 상기 가이드 채널 이미지 상에서 상기 제k 픽셀의 x 좌표 및 y 좌표를 각각 의미하며, 및 각각은 제m 객체 좌표 - m은 1 이상 N 이하의 정수임 - 의 x 좌표 및 y 좌표를 각각 의미하고, 는 기설정된 크기 조절 값을 의미하는 것을 특징으로 한다.
일 실시예에서, 상기 (b) 단계에서, 상기 학습 장치가, 상기 CNN과 연동하여 동작하는 RPN(Region Proposal Network)으로 하여금, 상기 특징 맵을 참조로 하여 상기 다채널 통합 이미지 상의 상기 객체 중 적어도 일부의 적어도 하나의 위치에 대응하는 적어도 하나의 예측 ROI(Region-Of-Interest)에 대한 정보를 생성하도록 하고, FC(Fully-Connected) 네트워크의 형태로 구현된 상기 아웃풋 레이어로 하여금, 상기 예측 ROI를 참조로 하여 상기 특징 맵에 대하여 상기 아웃풋 연산을 적용하도록 함으로써, 상기 다채널 통합 이미지에 대응하는 예측 객체 검출 결과(Estimated Object Detection Result)를 포함하는 상기 예측 객체 정보를 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (a) 단계에서, 상기 학습 장치가, 상기 컨벌루션 레이어에 포함된 각각의 컨벌루션 뉴런(Convolutional Neuron)으로 하여금, 적어도 하나의 자신의 파라미터를 사용하여 자신에게 입력된 값에 대하여 연산을 적용한 후, 출력된 값을 자신의 다음 컨벌루션 뉴런에 전달하는 프로세스를 반복하도록 함으로써, 상기 다채널 통합 이미지에 대하여 컨벌루션 연산을 적용하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (b) 단계에서, 상기 학습 장치가, 상기 컨벌루션 레이어에 대응하는 적어도 하나의 디컨벌루션 레이어의 형태로 구현된 상기 아웃풋 레이어로 하여금, 상기 특징 맵에 대하여 상기 아웃풋 연산을 적용하도록 함으로써, 상기 다채널 통합 이미지에 대응하는 예측 세그멘테이션 이미지를 포함하는 상기 예측 객체 정보를 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 학습 장치가, 상기 컨벌루션 레이어로 하여금, 상기 촬영 이미지에 대한 정보와 함께 상기 뎁스 이미지에 대한 정보도 반영된 상기 특징 맵을 생성하도록 함으로써, 상기 객체 중 상기 객체 묘사율이 임계치 미만인 각각의 특정 객체에 대한 정보가 상기 예측 객체 정보에 더 포함될 수 있도록 하는 것을 특징으로 한다.
본 발명의 다른 태양에 따르면, 촬영 상황이 부적합함에 따라, 카메라를 통해 획득되는 촬영 이미지(Photographed Image) 상에 적어도 하나의 객체가 적합하게 나타나는 확률인, 상기 촬영 이미지의 객체 묘사율(Object Depiction Ratio)이 낮더라도 CNN(Convolutional Neural Network)이 적합하게 작동하도록 상기 카메라와 레이더(Radar)를 함께 사용하여 상기 CNN을 테스트하는 방법에 있어서, (a) (1) (i) 학습 장치와 연동하여 동작하는 학습용 대상 자동차 상의 학습용 카메라를 통해 획득된 학습용 촬영 이미지 및 (ii) 상기 학습용 대상 자동차의 학습용 레이더를 통해 획득된 학습용 뎁스 이미지(Depth Image)를 사용하여 생성된 학습용 다채널 통합 이미지(Multichannel Integrated Image)가 획득되면, 상기 학습 장치가, 상기 CNN 내의 적어도 하나의 컨벌루션 레이어(Convolutional Layer)로 하여금, 상기 학습용 다채널 통합 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하도록 하여, 상기 학습용 촬영 이미지에 대한 정보와 함께 상기 학습용 뎁스 이미지에 대한 정보도 반영된 적어도 하나의 학습용 특징 맵(Feature Map)을 생성하도록 하고, (2) 상기 학습 장치가, 상기 CNN 내의 적어도 하나의 아웃풋 레이어(Output Layer)로 하여금, 상기 학습용 특징 맵에 대하여 아웃풋 연산을 적어도 한 번 적용하도록 하여, 상기 학습용 다채널 통합 이미지 내의 상기 학습용 객체에 대한 학습용 예측 객체 정보(Estimated Object Information)를 생성하도록 하고, (3) 상기 학습 장치가, 상기 CNN 내의 적어도 하나의 로스 레이어(Loss Layer)로 하여금, 상기 학습용 예측 객체 정보 및 이에 대응하는 GT(Ground Truth) 객체 정보를 사용하여 적어도 하나의 로스를 생성하도록 하고, 상기 로스를 사용하여 백프로퍼게이션을 수행함으로써, 상기 CNN 내의 파라미터 중 적어도 일부를 학습하도록 한 상태에서, 테스트 장치가, 상기 CNN 내의 상기 컨벌루션 레이어로 하여금, (i) 상기 테스트 장치와 연동하여 동작하는 테스트용 대상 자동차 상의 테스트용 카메라를 통해 획득된 테스트용 촬영 이미지 및 (ii) 상기 테스트용 대상 자동차의 테스트용 레이더를 통해 획득된 테스트용 뎁스 이미지를 사용하여 생성된 테스트용 다채널 통합 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하도록 하여, 상기 테스트용 촬영 이미지에 대한 정보와 함께 상기 테스트용 뎁스 이미지에 대한 정보도 반영된 적어도 하나의 테스트용 특징 맵을 생성하도록 하는 단계; 및 (b) 상기 테스트 장치가, 상기 CNN 내의 상기 아웃풋 레이어로 하여금, 상기 테스트용 특징 맵에 대하여 상기 아웃풋 연산을 적용하도록 하여, 상기 테스트용 다채널 통합 이미지 내의 상기 테스트용 객체에 대한 테스트용 예측 객체 정보를 생성하도록 하는 단계;를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 (a) 단계에서, 상기 테스트 장치가, (i) 상기 테스트용 뎁스 이미지를 참조로 하여 상기 테스트용 대상 자동차로부터의 상기 테스트용 객체의 적어도 하나의 테스트용 거리 및 적어도 하나의 테스트용 각도에 대한 테스트용 정보를 획득한 후, (ii) 상기 테스트용 거리 및 상기 테스트용 각도에 대한 상기 테스트용 정보를 참조로 하여 상기 테스트용 촬영 이미지 상에서의 상기 테스트용 객체 중 적어도 일부에 대응되는 적어도 하나의 테스트용 객체 좌표를 구하고, (iii) 상기 테스트용 객체 좌표와 테스트용 확률 분포를 참조로 하여 생성된 값을 테스트용 가이드 채널 이미지(Guide Channel Image)에 포함된 그에 대응되는 테스트용 픽셀 값으로 설정하여 적어도 하나의 상기 테스트용 가이드 채널 이미지를 생성한 다음, (iv) 상기 테스트용 가이드 채널 이미지를 상기 테스트용 촬영 이미지와 함께 채널별(Channel-wise)로 컨캐터네이팅(Concatenating)함으로써 상기 테스트용 다채널 통합 이미지를 생성하는 것을 특징으로 한다.
일 실시예에서, 상기 (a) 단계에서, 상기 테스트 장치가, 상기 테스트용 객체 좌표 중 테스트용 제1 객체 좌표 내지 테스트용 제N 객체 좌표와 상기 테스트용 확률 분포를 참조로 하여 하기 수식에 따른 연산을 수행함으로써, 상기 테스트용 가이드 채널 이미지에 그에 대응하는 테스트용 픽셀 값으로서 포함될 상기 값을 산출하되,
상기 수식에서, 는 상기 테스트용 가이드 채널 이미지에 포함된 픽셀 중 제k 픽셀을 의미하고, 및 각각은 상기 테스트용 가이드 채널 이미지 상에서의 상기 제k 픽셀의 x 좌표 및 y 좌표를 각각 의미하며, 및 각각은 테스트용 제m 객체 좌표 - m은 1 이상 N 이하의 정수임 - 의 x 좌표 및 y 좌표를 각각 의미하고, 는 기설정된 크기 조절 값을 의미하는 것을 특징으로 한다.
일 실시예에서, 상기 테스트 장치가, 상기 컨벌루션 레이어로 하여금, 상기 테스트용 촬영 이미지에 대한 정보와 함께 상기 테스트용 뎁스 이미지에 대한 정보도 반영된 상기 테스트용 특징 맵을 생성하도록 함으로써, 상기 테스트용 객체 중 상기 객체 묘사율이 임계치 미만인 각각의 특정 테스트용 객체에 대한 정보가 상기 테스트용 예측 객체 정보에 더 포함될 수 있도록 하고, (c) 상기 테스트 장치가, 상기 테스트용 예측 객체 정보를 상기 테스트용 대상 자동차 상의 적어도 하나의 자율 주행 모듈로 전달함으로써, 상기 테스트용 대상 자동차의 자율 주행을 지원하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명의 또 다른 태양에 따르면, 촬영 상황이 부적합함에 따라, 카메라를 통해 획득되는 촬영 이미지(Photographed Image) 상에 적어도 하나의 객체가 적합하게 나타나는 확률인, 상기 촬영 이미지의 객체 묘사율(Object Depiction Ratio)이 낮더라도 CNN(Convolutional Neural Network)이 적합하게 작동하도록 상기 카메라와 레이더(Radar)를 함께 사용하여 상기 CNN을 학습하는 학습 장치에 있어서, 인스트럭션을 저장하는 적어도 하나의 메모리; 및 (I) (i) 학습 장치와 연동하여 동작하는 대상 자동차 상의 상기 카메라를 통해 획득된 상기 촬영 이미지 및 (ii) 상기 대상 자동차의 레이더를 통해 획득된 뎁스 이미지(Depth Image)를 사용하여 생성된 다채널 통합 이미지(Multichannel Integrated Image)가 획득되면, 상기 CNN 내의 적어도 하나의 컨벌루션 레이어(Convolutional Layer)로 하여금, 상기 다채널 통합 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하도록 하여, 상기 촬영 이미지에 대한 정보와 함께 상기 뎁스 이미지에 대한 정보도 반영된 적어도 하나의 특징 맵(Feature Map)을 생성하도록 하는 프로세스, (II) 상기 CNN 내의 적어도 하나의 아웃풋 레이어(Output Layer)로 하여금, 상기 특징 맵에 대하여 아웃풋 연산을 적어도 한 번 적용하도록 하여, 상기 다채널 통합 이미지 내의 상기 객체에 대한 예측 객체 정보(Estimated Object Information)를 생성하도록 하는 프로세스, 및 (III) 상기 CNN 내의 적어도 하나의 로스 레이어(Loss Layer)로 하여금, 상기 예측 객체 정보 및 이에 대응하는 GT(Ground Truth) 객체 정보를 사용하여 적어도 하나의 로스를 생성하도록 하고, 상기 로스를 사용하여 백프로퍼게이션을 수행함으로써, 상기 CNN 내의 파라미터 중 적어도 일부를 학습하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서가, (i) 상기 뎁스 이미지를 참조로 하여 상기 대상 자동차로부터의 상기 객체의 적어도 하나의 거리 및 적어도 하나의 각도에 대한 정보를 획득한 후, (ii) 상기 거리 및 상기 각도에 대한 상기 정보를 참조로 하여 상기 촬영 이미지 상에서의 상기 객체 중 적어도 일부에 대응되는 적어도 하나의 객체 좌표를 구하고, (iii) 상기 객체 좌표와 확률 분포를 참조로 하여 생성된 값을 가이드 채널 이미지(Guide Channel Image)에 포함된 그에 대응되는 픽셀 값으로 설정하여 적어도 하나의 상기 가이드 채널 이미지를 생성한 다음, (iv) 상기 가이드 채널 이미지를 상기 촬영 이미지와 함께 채널별(Channel-wise)로 컨캐터네이팅(Concatenating)함으로써 상기 다채널 통합 이미지를 생성하는 것을 특징으로 한다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서가, 상기 객체 좌표 중 제1 객체 좌표 내지 제N 객체 좌표와 상기 확률 분포를 참조로 하여 하기 수식에 따른 연산을 수행함으로써, 상기 가이드 채널 이미지에 그에 대응하는 픽셀 값으로서 포함될 상기 값을 산출하되,
상기 수식에서, 는 상기 가이드 채널 이미지에 포함된 픽셀 중 제k 픽셀을 의미하고, 및 각각은 상기 가이드 채널 이미지 상에서 상기 제k 픽셀의 x 좌표 및 y 좌표를 각각 의미하며, 및 각각은 제m 객체 좌표 - m은 1 이상 N 이하의 정수임 - 의 x 좌표 및 y 좌표를 각각 의미하고, 는 기설정된 크기 조절 값을 의미하는 것을 특징으로 한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서가, 상기 CNN과 연동하여 동작하는 RPN(Region Proposal Network)으로 하여금, 상기 특징 맵을 참조로 하여 상기 다채널 통합 이미지 상의 상기 객체 중 적어도 일부의 적어도 하나의 위치에 대응하는 적어도 하나의 예측 ROI(Region-Of-Interest)에 대한 정보를 생성하도록 하고, FC(Fully-Connected) 네트워크의 형태로 구현된 상기 아웃풋 레이어로 하여금, 상기 예측 ROI를 참조로 하여 상기 특징 맵에 대하여 상기 아웃풋 연산을 적용하도록 함으로써, 상기 다채널 통합 이미지에 대응하는 예측 객체 검출 결과(Estimated Object Detection Result)를 포함하는 상기 예측 객체 정보를 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서가, 상기 컨벌루션 레이어에 포함된 각각의 컨벌루션 뉴런(Convolutional Neuron)으로 하여금, 적어도 하나의 자신의 파라미터를 사용하여 자신에게 입력된 값에 대하여 연산을 적용한 후, 출력된 값을 자신의 다음 컨벌루션 뉴런에 전달하는 프로세스를 반복하도록 함으로써, 상기 다채널 통합 이미지에 대하여 컨벌루션 연산을 적용하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서가, 상기 컨벌루션 레이어에 대응하는 적어도 하나의 디컨벌루션 레이어의 형태로 구현된 상기 아웃풋 레이어로 하여금, 상기 특징 맵에 대하여 상기 아웃풋 연산을 적용하도록 함으로써, 상기 다채널 통합 이미지에 대응하는 예측 세그멘테이션 이미지를 포함하는 상기 예측 객체 정보를 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 프로세서가, 상기 컨벌루션 레이어로 하여금, 상기 촬영 이미지에 대한 정보와 함께 상기 뎁스 이미지에 대한 정보도 반영된 상기 특징 맵을 생성하도록 함으로써, 상기 객체 중 상기 객체 묘사율이 임계치 미만인 각각의 특정 객체에 대한 정보가 상기 예측 객체 정보에 더 포함될 수 있도록 하는 것을 특징으로 한다.
본 발명의 또 다른 태양에 따르면, 촬영 상황이 부적합함에 따라, 카메라를 통해 획득되는 촬영 이미지(Photographed Image) 상에 적어도 하나의 객체가 적합하게 나타나는 확률인, 상기 촬영 이미지의 객체 묘사율(Object Depiction Ratio)이 낮더라도 CNN(Convolutional Neural Network)이 적합하게 작동하도록 상기 카메라와 레이더(Radar)를 함께 사용하여 상기 CNN을 테스트하는 테스트 장치에 있어서, 인스트럭션을 저장하는 적어도 하나의 메모리; 및 (I) (1) 학습 장치가, (i) 학습 장치와 연동하여 동작하는 학습용 대상 자동차 상의 학습용 카메라를 통해 획득된 학습용 촬영 이미지 및 (ii) 상기 학습용 대상 자동차의 학습용 레이더를 통해 획득된 학습용 뎁스 이미지(Depth Image)를 사용하여 생성된 학습용 다채널 통합 이미지(Multichannel Integrated Image)가 획득되면, 상기 CNN 내의 적어도 하나의 컨벌루션 레이어(Convolutional Layer)로 하여금, 상기 학습용 다채널 통합 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하도록 하여, 상기 학습용 촬영 이미지에 대한 정보와 함께 상기 학습용 뎁스 이미지에 대한 정보도 반영된 적어도 하나의 학습용 특징 맵(Feature Map)을 생성하도록 하고, (2) 상기 학습 장치가, 상기 CNN 내의 적어도 하나의 아웃풋 레이어(Output Layer)로 하여금, 상기 학습용 특징 맵에 대하여 아웃풋 연산을 적어도 한 번 적용하도록 하여, 상기 학습용 다채널 통합 이미지 내의 상기 학습용 객체에 대한 학습용 예측 객체 정보(Estimated Object Information)를 생성하도록 하고, (3) 상기 학습 장치가, 상기 CNN 내의 적어도 하나의 로스 레이어(Loss Layer)로 하여금, 상기 학습용 예측 객체 정보 및 이에 대응하는 GT(Ground Truth) 객체 정보를 사용하여 적어도 하나의 로스를 생성하도록 하고, 상기 로스를 사용하여 백프로퍼게이션을 수행함으로써, 상기 CNN 내의 파라미터 중 적어도 일부를 학습하도록 한 상태에서, 상기 CNN 내의 상기 컨벌루션 레이어로 하여금, (i) 상기 테스트 장치와 연동하여 동작하는 테스트용 대상 자동차 상의 테스트용 카메라를 통해 획득된 테스트용 촬영 이미지 및 (ii) 상기 테스트용 대상 자동차의 테스트용 레이더를 통해 획득된 테스트용 뎁스 이미지를 사용하여 생성된 테스트용 다채널 통합 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하도록 하여, 상기 테스트용 촬영 이미지에 대한 정보와 함께 상기 테스트용 뎁스 이미지에 대한 정보도 반영된 적어도 하나의 테스트용 특징 맵을 생성하도록 하는 프로세스, 및 (II) 상기 CNN 내의 상기 아웃풋 레이어로 하여금, 상기 테스트용 특징 맵에 대하여 상기 아웃풋 연산을 적용하도록 하여, 상기 테스트용 다채널 통합 이미지 내의 상기 테스트용 객체에 대한 테스트용 예측 객체 정보를 생성하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서가, (i) 상기 테스트용 뎁스 이미지를 참조로 하여 상기 테스트용 대상 자동차로부터의 상기 테스트용 객체의 적어도 하나의 테스트용 거리 및 적어도 하나의 테스트용 각도에 대한 테스트용 정보를 획득한 후, (ii) 상기 테스트용 거리 및 상기 테스트용 각도에 대한 상기 테스트용 정보를 참조로 하여 상기 테스트용 촬영 이미지 상에서의 상기 테스트용 객체 중 적어도 일부에 대응되는 적어도 하나의 테스트용 객체 좌표를 구하고, (iii) 상기 테스트용 객체 좌표와 테스트용 확률 분포를 참조로 하여 생성된 값을 테스트용 가이드 채널 이미지(Guide Channel Image)에 포함된 그에 대응되는 테스트용 픽셀 값으로 설정하여 적어도 하나의 상기 테스트용 가이드 채널 이미지를 생성한 다음, (iv) 상기 테스트용 가이드 채널 이미지를 상기 테스트용 촬영 이미지와 함께 채널별(Channel-wise)로 컨캐터네이팅(Concatenating)함으로써 상기 테스트용 다채널 통합 이미지를 생성하는 것을 특징으로 한다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서가, 상기 테스트용 객체 좌표 중 테스트용 제1 객체 좌표 내지 테스트용 제N 객체 좌표와 상기 테스트용 확률 분포를 참조로 하여 하기 수식에 따른 연산을 수행함으로써, 상기 테스트용 가이드 채널 이미지에 그에 대응하는 테스트용 픽셀 값으로서 포함될 상기 값을 산출하되,
상기 수식에서, 는 상기 테스트용 가이드 채널 이미지에 포함된 픽셀 중 제k 픽셀을 의미하고, 및 각각은 상기 테스트용 가이드 채널 이미지 상에서의 상기 제k 픽셀의 x 좌표 및 y 좌표를 각각 의미하며, 및 각각은 테스트용 제m 객체 좌표 - m은 1 이상 N 이하의 정수임 - 의 x 좌표 및 y 좌표를 각각 의미하고, 는 기설정된 크기 조절 값을 의미하는 것을 특징으로 한다.
일 실시예에서, 상기 프로세서가, 상기 컨벌루션 레이어로 하여금, 상기 테스트용 촬영 이미지에 대한 정보와 함께 상기 테스트용 뎁스 이미지에 대한 정보도 반영된 상기 테스트용 특징 맵을 생성하도록 함으로써, 상기 테스트용 객체 중 상기 객체 묘사율이 임계치 미만인 각각의 특정 테스트용 객체에 대한 정보가 상기 테스트용 예측 객체 정보에 더 포함될 수 있도록 하고, (III) 상기 프로세서가, 상기 테스트용 예측 객체 정보를 상기 테스트용 대상 자동차 상의 적어도 하나의 자율 주행 모듈로 전달함으로써, 상기 테스트용 대상 자동차의 자율 주행을 지원하는 프로세스;를 더 수행하는 것을 특징으로 한다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명은 거리 예측이 가능한 레이더를 통해 획득되는 정보와 카메라를 통해 획득되는 정보를 통합하는 센서 융합(Sensor Fusion)을 수행하는 학습 방법을 제공함으로써, 자율 주행을 지원하는 뉴럴 네트워크를 향상시킬 수 있는 효과가 있다.
또한 본 발명은 뉴럴 네트워크가 레이더를 통해 획득된 정보와 카메라를 통해 획득된 정보를 채널별(Channel-wise)로 컨캐터네이팅(Concatenating)하여 생성된 통합 정보를 사용하도록 하여 자율 주행을 지원하는 방법을 제공할 수 있는 다른 효과가 있다.
또한 본 발명은 특정 객체에 대한 정보를 포함해 레이더를 통해 획득된 추가 정보를 사용함으로써, 특정 정보에 대한 정보 없이도 카메라를 통해 얻은 불완전한 정보를 보완할 수 있는 또 다른 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따라 거리 예측이 가능한 레이더를 통해 획득된 정보와 카메라를 통해 획득된 정보를 통합하는 센서 융합(Sensor Fusion)을 수행함으로써 자율 주행을 지원하는 뉴럴 네트워크를 향상시키는 학습 방법을 수행하는 학습 장치의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따라 거리 예측이 가능한 레이더를 통해 획득된 정보와 카메라를 통해 획득된 정보를 통합하는 센서 융합을 수행함으로써 자율 주행을 지원하는 뉴럴 네트워크를 향상시키는 학습 방법을 수행하는데 사용되는 CNN(Convolutional Neural Network)의 구성을 간략하게 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라 거리 예측이 가능한 레이더를 통해 획득된 정보와 카메라를 통해 획득된 정보를 통합하는 센서 융합을 수행함으로써 자율 주행을 지원하는 뉴럴 네트워크를 향상시키는 학습 방법을 나타낸 흐름도이다.
도 4a와 도 4b는 본 발명의 일 실시예에 따라 거리 예측이 가능한 레이더를 통해 획득된 정보와 카메라를 통해 획득된 정보를 통합하는 센서 융합을 수행함으로써 자율 주행을 지원하는 뉴럴 네트워크를 향상시키는 학습 방법을 수행하기 위해 사용되는 다채널 통합 이미지(Multichannel Integrated Image)의 일 예시를 나타낸 도면이다.
도 1은 본 발명의 일 실시예에 따라 거리 예측이 가능한 레이더를 통해 획득된 정보와 카메라를 통해 획득된 정보를 통합하는 센서 융합(Sensor Fusion)을 수행함으로써 자율 주행을 지원하는 뉴럴 네트워크를 향상시키는 학습 방법을 수행하는 학습 장치의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따라 거리 예측이 가능한 레이더를 통해 획득된 정보와 카메라를 통해 획득된 정보를 통합하는 센서 융합을 수행함으로써 자율 주행을 지원하는 뉴럴 네트워크를 향상시키는 학습 방법을 수행하는데 사용되는 CNN(Convolutional Neural Network)의 구성을 간략하게 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라 거리 예측이 가능한 레이더를 통해 획득된 정보와 카메라를 통해 획득된 정보를 통합하는 센서 융합을 수행함으로써 자율 주행을 지원하는 뉴럴 네트워크를 향상시키는 학습 방법을 나타낸 흐름도이다.
도 4a와 도 4b는 본 발명의 일 실시예에 따라 거리 예측이 가능한 레이더를 통해 획득된 정보와 카메라를 통해 획득된 정보를 통합하는 센서 융합을 수행함으로써 자율 주행을 지원하는 뉴럴 네트워크를 향상시키는 학습 방법을 수행하기 위해 사용되는 다채널 통합 이미지(Multichannel Integrated Image)의 일 예시를 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
본 발명에서 언급하는 각종 이미지는 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 객체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 실내 환경에서 등장할 수 있는 객체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 기타 장애물)를 상정할 수 있을 것이다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 거리 예측이 가능한 레이더를 통해 획득된 정보와 카메라를 통해 획득된 정보를 통합하는 센서 융합(Sensor Fusion)을 수행함으로써 자율 주행을 지원하는 뉴럴 네트워크를 향상시키는 학습 방법을 수행하는 학습 장치의 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 학습 장치(100)는, 추후 자세히 설명할 구성요소인 CNN(Convolutional Neural Network)(130)을 포함할 수 있다. CNN(130)의 입출력 및 연산 과정은 각각 통신부(110) 및 프로세서(120)에 의해 이루어질 수 있다. 다만, 도 1에서는 통신부(110) 및 프로세서(120)의 구체적인 연결 관계를 생략하였다. 이 때, 메모리(115)는 후술할 여러 가지 인스트럭션(Instruction)을 저장한 상태일 수 있고, 프로세서(120)는 메모리(115)에 저장된 인스트럭션을 수행하되, 프로세서(120)는 추후 설명할 본 발명의 프로세스를 수행할 수 있다. 이와 같이 학습 장치(100)가 묘사되었다고 하여, 학습 장치(100)가 본 발명을 실시하기 위한 프로세서, 메모리, 미디엄 또는 기타 컴퓨팅 장치의 조합을 포함하는 통합 장치를 배제하는 것은 아니다.
이와 같은 학습 장치(100)는, 대상 자동차와 연동하여 동작하며, 이에 탑재된 적어도 하나의 카메라 및 적어도 하나의 레이더(Radar) 각각으로부터 트레이닝 데이터 중 적어도 일부, 즉, 추후 설명할 촬영 이미지(Photographed Image) 및 뎁스 이미지(Depth Image)를 획득할 수 있다. 또한, 학습 장치(100)는, 트레이닝 데이터에 대응되는 어노테이션 데이터(Annotation Data)인 GT 객체 정보(Ground Truth Object Information)를 획득할 수 있으며, 이는 추후에 설명될 것이다. 여기서, 촬영 이미지에 포함된 적어도 하나의 객체에 대한 정보가 태그된 GT 객체 정보가, 매니저에 의해 학습 장치(100)에 입력될 수 있으나, 이에 한정될 것은 아니다.
이상 본 발명의 실시 예에 따라 거리 예측이 가능한 레이더를 통해 획득된 정보와 카메라를 통해 획득된 정보를 통합하는 센서 융합을 수행함으로써, 자율 주행을 지원하는 뉴럴 네트워크를 향상시키는 학습 방법을 수행하는 학습 장치(100)의 구성에 대해 알아보았다. 이하 이에 포함된 CNN(130)의 구성에 대해 알아보도록 한다.
도 2는 본 발명의 일 실시예에 따라 거리 예측이 가능한 레이더를 통해 획득된 정보와 카메라를 통해 획득된 정보를 통합하는 센서 융합을 수행함으로써 자율 주행을 지원하는 뉴럴 네트워크를 향상시키는 학습 방법을 수행하는데 사용되는 CNN의 구성을 간략하게 나타낸 도면이다.
도 2를 참조로 하면, CNN(130)은, 적어도 하나의 컨벌루션 레이어(131), 적어도 하나의 아웃풋 레이어(132) 및 적어도 하나의 로스 레이어(133)를 포함할 수 있다. 여기서 컨벌루션 레이어(131)는 자신에게 입력된 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용할 수 있다. 보다 구체적으로는, 학습 장치(100)가, 컨벌루션 레이어(131)에 포함된 각각의 컨벌루션 뉴런(Convolutional Neuron)으로 하여금, 적어도 하나의 자신의 파라미터를 사용하여 자신에게 입력된 값에 대하여 연산을 적용한 후, 출력된 값을 자신의 다음 컨벌루션 뉴런에 전달하는 프로세스를 반복하도록 함으로써, 상기 자신에게 입력된 이미지에 대하여 컨벌루션 연산을 적용하도록 할 수 있다.
또한, 아웃풋 레이어(132)는 원하는 출력에 따라 다르게 구현될 수 있다. 일 예로, 매니저가, 입력된 이미지에 대응되는 예측 세그멘테이션 이미지에 추후 설명할 CNN(130)의 출력인 예측 객체 정보(Estimated Object Information)가 포함되길 원한다면, 아웃풋 레이어(132)는 컨벌루션 레이어(131)에 대응하는 적어도 하나의 디컨벌루션 레이어의 형태로 구현될 수 있으며, 아웃풋 연산으로서 디컨벌루션 연산을 적어도 한 번 수행할 수 있다. 이와 달리, 매니저가, 입력된 이미지 내의 객체에 대한 예측 객체 검출 결과가 예측 객체 정보에 포함되길 원한다면, 매니저는 CNN(130)과 연동하여 동작하는 RPN(Region Proposal Network)을 설정할 수 있으며, FC 레이어(Fully-Connected Layer)로 아웃풋 레이어(132)를 구현할 수 있다. 여기서, RPN은, 컨벌루션 레이어(131)에서 생성된 특징 맵을 참조로 하여, 특징 맵에 대응되는 이미지 상의 적어도 일부의 객체의 적어도 하나의 위치에 대응되는 적어도 하나의 예측 ROI(Region-Of-Interest)를 생성할 수 있으며, FC 레이어로 구현된 아웃풋 레이어(132)는, 예측 ROI에 대한 정보를 참조로 하여 특징 맵에 대하여 아웃풋 연산으로서 FC 연산을 적용하여, 예측 객체 검출 결과를 포함하는 예측 객체 정보를 생성하도록 할 수 있다.
그리고, 로스 레이어(133)의 경우, 추후 설명하겠지만, 로스를 생성하고 이를 사용해 백프로퍼게이션을 수행함으로써, CNN(130)의 파라미터 중 적어도 일부를 학습하도록 할 수 있다.
이상 본 발명의 학습 방법을 수행하는데 사용되는 CNN(130)에 대해 알아본 바, 이하 본 발명의 학습 방법 자체에 대해 도 3을 참조해 알아보도록 한다.
도 3은 본 발명의 일 실시예에 따라 거리 예측이 가능한 레이더를 통해 획득된 정보와 카메라를 통해 획득된 정보를 통합하는 센서 융합을 수행함으로써 자율 주행을 지원하는 뉴럴 네트워크를 향상시키는 학습 방법을 나타낸 흐름도이다.
도 3을 참조로 하면, 대상 자동차 상의 카메라 및 레이더로부터 각각 획득된 촬영 이미지 및 뎁스 이미지를 사용하여 생성된 다채널 통합 이미지(Multichannel Integrated Image)가 획득되면, 학습 장치(100)는, CNN(130) 내의 컨벌루션 레이어(131)로 하여금, 다채널 통합 이미지에 대하여 컨벌루션 연산을 적용하도록 하여, 촬영 이미지의 정보와 함께 뎁스 이미지의 정보도 반영된 특징 맵을 생성하도록 할 수 있다(S01). 그리고, 학습 장치(100)는, CNN(130) 내의 아웃풋 레이어(132)로 하여금, 특징 맵에 대하여 아웃풋 연산을 적용하도록 하여, 다채널 통합 이미지 상의 객체에 대한 예측 객체 정보를 생성하도록 할 수 있다(S02). 마지막으로, 학습 장치(100)는, CNN(130) 내의 로스 레이어(133)로 하여금, 예측 객체 정보 및 이에 대응하는 GT 객체 정보를 참조로 하여 로스를 생성하도록 하고, 이를 참조로 하여 백프로퍼게이션을 수행함으로써 CNN(130)의 파라미터 중 적어도 일부를 학습하도록 할 수 있다(S03). 이하 이에 대해 더욱 구체적으로 설명하도록 한다.
먼저, 다채널 통합 이미지의 획득 과정에 대해 설명하도록 한다. 여기서, 촬영 이미지는, 일반적인 카메라를 통해 촬영된 이미지이므로, 3개 채널, 즉, R, G, B 또는 H, S, V 채널을 가질 수 있다. 뎁스 이미지의 경우, 대상 자동차로부터의 적어도 하나의 거리 및 적어도 하나의 각도인 두 종류의 정보를 포함하므로 2개 채널을 가질 수 있다. 촬영 이미지와 뎁스 이미지는 서로 사이즈가 다르기 때문에, 직접 컨캐터네이팅(Concatenating)될 수는 없다. 따라서, 학습 장치(100)는, 거리와 각도에 대한 정보를 참조로 하여, 촬영 이미지 상에서의 객체 중 적어도 일부에 대응되는 적어도 하나의 객체 좌표를 구할 수 있다. 구체적으로는, 학습 장치(100)는, (i) 파라미터 정보를 활용하여 카메라의 FOV(Field-Of-View) 정보를 얻은 후, (ii) FOV 정보를 참조로 하여 촬영 이미지의 각각의 픽셀을 가상 3차원 공간 안에 맵핑하고, (iii) 거리 및 각도에 대한 정보를 가상 3차원 공간 내의 픽셀 위치와 비교함으로써, 다채널 통합 이미지 상의 객체 좌표를 산출할 수 있다.
여기서 각각의 객체 좌표는, 객체의 각각의 적어도 하나의 중심 좌표로 결정될 수도 있고, 형태 등을 포함한 특성에 따른 각각의 객체의 복수 개의 좌표로 결정될 수 있으나, 이에 한정될 것은 아니다.
객체 좌표가 획득된 후, 학습 장치(100)는, 객체 좌표와 확률 분포를 참조로 하여 생성된 값을 가이드 채널 이미지(Guide Channel Image)에 포함된 그에 대응되는 픽셀 값으로서 설정하여, 적어도 하나의 가이드 채널 이미지를 생성할 수 있다. 이 프로세스를 수행함으로써, 뎁스 이미지는 가이드 채널 이미지 형태로 촬영 이미지와 컨캐터네이팅될 수 있다.
여기서, 픽셀 값은 하기 수식에 따른 연산을 수행함으로써 획득될 수 있다. 설명의 편의를 위해, 상기 객체 좌표가 제1 객체 좌표 및 제N 객체 좌표를 포함한다고 가정하고, N은 촬영 이미지 내의 객체의 개수에 대응하는 정수다.
상기 수식에서, 는 가이드 채널 이미지에 포함된 픽셀 중 제k 픽셀을 의미하고, 및 각각은 가이드 채널 이미지 상에서의 제k 픽셀의 x 좌표 및 y 좌표를 각각 의미할 수 있다. 또한, m은 1 이상 N 이하의 정수일때, 및 각각은 제m 객체 좌표의 x 좌표 및 y 좌표를 각각 의미할 수 있다. 또한, 는 기설정된 크기 조절 값을 의미할 수 있다. 상기 수식에 따르면, 어떤 객체 좌표와 상대적으로 가까운 지점의 제1 예시 픽셀 값은 상대적으로 크게, 어떤 객체 좌표와 상대적으로 먼 지점의 제2 예시 픽셀 값은 상대적으로 작게 산출될 수 있다. 이 같은 픽셀 값의 예시에 대해 살피기 위해, 도 4a와 도 4b를 참조하도록 한다.
도 4a와 도 4b는 본 발명의 일 실시예에 따라 거리 예측이 가능한 레이더를 통해 획득된 정보와 카메라를 통해 획득된 정보를 통합하는 센서 융합을 수행함으로써 자율 주행을 지원하는 뉴럴 네트워크를 향상시키는 학습 방법을 수행하기 위해 사용되는 다채널 통합 이미지의 일 예시를 나타낸 도면이다.
도 4a와 도 4b를 참조로 하면, 3개 채널을 가지는 촬영 이미지와, 객체 좌표를 사용해 결정된 픽셀 값에 대한 채널인 1개 채널을 가지는 가이드 채널 이미지는, 다채널 통합 이미지 생성에 사용되기 때문에, 다채널 통합 이미지(200)는, 최소 4개의 채널을 가진 이미지임을 알 수 있다. 그러므로 앞의 3개 채널(210, 220, 230)은 카메라로부터 획득된 일반적인 이미지의 채널, 즉, R, G, B 또는 H, S, V를 나타낼 수 있다. 마지막 채널(240)은, 전술한 가이드 채널 이미지에 대응하고, 위와 같이 산출된 픽셀 값은 마지막 채널(240)에서 볼 수 있다. 즉, 제m 객체 좌표(241)에 대해, 이로부터 가장 가까운 픽셀(241-1)의 픽셀 값은 0.7, 중간 정도로 가까운 픽셀(241-2)의 픽셀 값은 0.4, 가장 먼 픽셀(241-3)의 픽셀 값은 0.2일 수 있다. 그리고, 제m 객체 좌표(241)외에 다른 객체 좌표(242)로 인해, 또 다른 픽셀(241-4)의 픽셀 값은, 다른 객체 좌표(242)와 제m 객체 좌표(241) 모두의 영향을 받아 0.9로 훨씬 클 수 있다.
이와 같이 다채널 통합 이미지가 생성된 후, 학습 장치(100)는 전술한 S01, S02 및 S03의 단계를 수행하여, CNN(130)의 파라미터 중 적어도 일부를 학습할 수 있다. 해당 프로세스는 일반적인 피드포워드 뉴럴 네트워크(Feed-Forward Neural Network)의 학습 프로세스와 유사하므로, 통상의 기술자는 상기의 설명으로도 충분히 본 발명을 이해할 수 있을 것이다.
이와 같은 학습 프로세스를 수행하면, CNN은, 촬영 상황이 부적합함에 따라 촬영 이미지 상에 적어도 하나의 객체가 적합하게 나타나는 확률인, 촬영 이미지의 객체 묘사율(Object Depiction Ratio)이 낮더라도, CNN(130)이 적합하게 작동하도록 카메라와 레이더를 함께 사용하여 학습될 수 있다. 보다 구체적으로는, 대상 자동차의 주변이 너무 어둡거나 대상 자동차 주변의 날씨가 너무 안 좋아 촬영 이미지 상에 객체가 적절히 표현되지 않을 수 있는데, 상기 CNN(130)은, 이런 경우에도 객체 인식 프로세스 또는 이미지 세그멘테이션 프로세스를 잘 수행할 수 있다. 여기서, 예시 이미지의 객체 묘사율은, 입력된 이미지에 대한 임의의 객체에 대한 정보를 검출하도록 학습된 DNN(Deep Neural Network)으로 하여금 예시 이미지를 사용하여 클래스와 위치를 검출하도록 하고, DNN이 클래스와 위치를 정확하게 검출할 확률을 산출함으로써 생성될 수 있다. 예를 들어, 객체 중 과반수 이상의 특정 객체가 건물의 그림자 영역에 위치하여 어둡게 보이는 상황의 장면을 촬영 이미지가 포함하면, 촬영 이미지의 객체 묘사율이 임계치 미만일 수 있다.
레이더로부터 획득한 정보를 카메라로부터 획득한 정보에 선형적으로(Linearly) 추가하는 종래의 기술은 많이 있지만, 본 발명은 이 둘을 선형적으로 통합하지 않는다. 즉, 좀 더 파고 들면, 레이더로부터 획득된 정보는 카메라로부터 획득된 정보와 처음부터, 즉, 학습 프로세스에서부터 통합된다. 2 개의 정보를 더 긴밀하게 통합하기 위해 학습 장치(100)는, 컨벌루션 레이어(131)로 하여금, 촬영 이미지에 대한 정보와 함께 뎁스 이미지에 대한 정보도 반영된 특징 맵을 생성하도록 하고, 아웃풋 레이어(132)와 로스 레이어(133)로 하여금, 파라미터를 학습하기 위해 이를 출력하도록 할 수 있다. 이에 따라, 상기 2개의 정보가 파라미터에 반영될 수 있다.
이상 본 발명의 학습 프로세스에 대해 설명한 바, 이하 CNN(130)의 테스트 방법에 대해 설명하도록 한다.
즉, (1) (i) 학습 장치와 연동하여 동작하는 학습용 대상 자동차 상의 학습용 카메라를 통해 획득된 학습용 촬영 이미지 및 (ii) 학습용 대상 자동차의 학습용 레이더를 통해 획득된 학습용 뎁스 이미지를 사용하여 생성된 학습용 다채널 통합 이미지가 획득되면, 학습 장치(100)가, CNN(130) 내의 컨벌루션 레이어(131)로 하여금, 학습용 다채널 통합 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하도록 하여, 학습용 촬영 이미지에 대한 정보와 함께 학습용 뎁스 이미지에 대한 정보도 반영된 적어도 하나의 학습용 특징 맵을 생성하도록 하고, (2) 학습 장치(100)가, CNN(130) 내의 아웃풋 레이어(132)로 하여금, 학습용 특징 맵에 대하여 아웃풋 연산을 적어도 한 번 적용하도록 하여, 학습용 다채널 통합 이미지 내의 학습용 객체에 대한 학습용 예측 객체 정보를 생성하도록 하고, (3) 학습 장치(100)가, CNN(130) 내의 로스 레이어(133)로 하여금, 학습용 예측 객체 정보 및 이에 대응하는 GT 객체 정보를 사용하여 적어도 하나의 로스를 생성하도록 하고, 로스를 사용하여 백프로퍼게이션을 수행함으로써, CNN(130) 내의 파라미터 중 적어도 일부를 학습하도록 한 상태에서, 테스트 장치가, CNN(130) 내의 컨벌루션 레이어(131)로 하여금, (i) 테스트 장치와 연동하여 동작하는 테스트용 대상 자동차 상의 테스트용 카메라를 통해 획득된 테스트용 촬영 이미지 및 (ii) 테스트용 대상 자동차의 테스트용 레이더를 통해 획득된 테스트용 뎁스 이미지를 사용하여 생성된 테스트용 다채널 통합 이미지에 대하여 컨벌루션 연산을 적용하도록 하여, 테스트용 촬영 이미지에 대한 정보와 함께 테스트용 뎁스 이미지에 대한 정보도 반영된 적어도 하나의 테스트용 특징 맵을 생성하도록 할 수 있다.
이후, 테스트 장치가, CNN(130)에 포함된 아웃풋 레이어(132)로 하여금, 테스트용 특징 맵에 대하여 아웃풋 연산을 적용하도록 하여, 테스트용 다채널 통합 이미지 상의 테스트용 객체에 대한 테스트용 예측 객체 정보를 생성하도록 할 수 있다.
상기의 프로세스는 학습 프로세스에서 로스 레이어(133)에 의해 수행되는 프로세스가 빠진 것과 비슷하므로, 전술한 학습 프로세스에 대한 설명을 토대로 이해할 수 있을 것이다. 다만, 테스트용 대상 자동차가 실제 자율 주행을 수행할 때 테스트 방법이 수행되므로, 추가적인 프로세스가 더 수행될 수 있다.
즉, 객체 묘사율이 임계치 미만인 테스트용 특정 객체에 대한 정보도 포함하고 있는 테스트용 예측 객체 정보가 생성된 후, 테스트 장치는, 이를 적어도 하나의 자율 주행 모듈로 전달하여, 테스트용 대상 자동차의 자율 주행을 지원할 수 있다.
이와 같은 방법을 수행하면, 촬영 상황이 부적합함에 따라 카메라를 통해 획득된 이미지의 퀄리티가 떨어지더라도 안전하게 자율 주행이 수행될 수 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
Claims (22)
- 촬영 상황이 부적합함에 따라, 카메라를 통해 획득되는 촬영 이미지(Photographed Image) 상에 적어도 하나의 객체가 적합하게 나타나는 확률인, 상기 촬영 이미지의 객체 묘사율(Object Depiction Ratio)이 낮더라도 CNN(Convolutional Neural Network)이 적합하게 작동하도록 상기 카메라와 레이더(Radar)를 함께 사용하여 상기 CNN을 학습하는 방법에 있어서,
(a) (i) 학습 장치와 연동하여 동작하는 대상 자동차 상의 상기 카메라를 통해 획득된 상기 촬영 이미지 및 (ii) 상기 대상 자동차의 레이더를 통해 획득된 뎁스 이미지(Depth Image)를 사용하여 생성된 다채널 통합 이미지(Multichannel Integrated Image)가 획득되면, 상기 학습 장치가, 상기 CNN 내의 적어도 하나의 컨벌루션 레이어(Convolutional Layer)로 하여금, 상기 다채널 통합 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하도록 하여, 상기 촬영 이미지에 대한 정보와 함께 상기 뎁스 이미지에 대한 정보도 반영된 적어도 하나의 특징 맵(Feature Map)을 생성하도록 하는 단계;
(b) 상기 학습 장치가, 상기 CNN 내의 적어도 하나의 아웃풋 레이어(Output Layer)로 하여금, 상기 특징 맵에 대하여 아웃풋 연산을 적어도 한 번 적용하도록 하여, 상기 다채널 통합 이미지 내의 상기 객체에 대한 예측 객체 정보(Estimated Object Information)를 생성하도록 하는 단계; 및
(c) 상기 학습 장치가, 상기 CNN 내의 적어도 하나의 로스 레이어(Loss Layer)로 하여금, 상기 예측 객체 정보 및 이에 대응하는 GT(Ground Truth) 객체 정보를 사용하여 적어도 하나의 로스를 생성하도록 하고, 상기 로스를 사용하여 백프로퍼게이션을 수행함으로써, 상기 CNN 내의 파라미터 중 적어도 일부를 학습하도록 하는 단계;
를 포함하는 것을 특징으로 하는 방법. - 제 1 항에 있어서,
상기 (a) 단계에서,
상기 학습 장치가, (i) 상기 뎁스 이미지를 참조로 하여 상기 대상 자동차로부터의 상기 객체의 적어도 하나의 거리 및 적어도 하나의 각도에 대한 정보를 획득한 후, (ii) 상기 거리 및 상기 각도에 대한 상기 정보를 참조로 하여 상기 촬영 이미지 상에서의 상기 객체 중 적어도 일부에 대응되는 적어도 하나의 객체 좌표를 구하고, (iii) 상기 객체 좌표와 확률 분포를 참조로 하여 생성된 값을 가이드 채널 이미지(Guide Channel Image)에 포함된 그에 대응되는 픽셀 값으로 설정하여 적어도 하나의 상기 가이드 채널 이미지를 생성한 다음, (iv) 상기 가이드 채널 이미지를 상기 촬영 이미지와 함께 채널별(Channel-wise)로 컨캐터네이팅(Concatenating)함으로써 상기 다채널 통합 이미지를 생성하는 것을 특징으로 하는 방법. - 제 2 항에 있어서,
상기 (a) 단계에서,
상기 학습 장치가, 상기 객체 좌표 중 제1 객체 좌표 내지 제N 객체 좌표와 상기 확률 분포를 참조로 하여 하기 수식에 따른 연산을 수행함으로써, 상기 가이드 채널 이미지에 그에 대응하는 픽셀 값으로서 포함될 상기 값을 산출하되,
상기 수식에서, 는 상기 가이드 채널 이미지에 포함된 픽셀 중 제k 픽셀을 의미하고, 및 각각은 상기 가이드 채널 이미지 상에서 상기 제k 픽셀의 x 좌표 및 y 좌표를 각각 의미하며, 및 각각은 제m 객체 좌표 - m은 1 이상 N 이하의 정수임 - 의 x 좌표 및 y 좌표를 각각 의미하고, 는 기설정된 크기 조절 값을 의미하는 것을 특징으로 하는 방법. - 제 1 항에 있어서,
상기 (b) 단계에서,
상기 학습 장치가, 상기 CNN과 연동하여 동작하는 RPN(Region Proposal Network)으로 하여금, 상기 특징 맵을 참조로 하여 상기 다채널 통합 이미지 상의 상기 객체 중 적어도 일부의 적어도 하나의 위치에 대응하는 적어도 하나의 예측 ROI(Region-Of-Interest)에 대한 정보를 생성하도록 하고, FC(Fully-Connected) 네트워크의 형태로 구현된 상기 아웃풋 레이어로 하여금, 상기 예측 ROI를 참조로 하여 상기 특징 맵에 대하여 상기 아웃풋 연산을 적용하도록 함으로써, 상기 다채널 통합 이미지에 대응하는 예측 객체 검출 결과(Estimated Object Detection Result)를 포함하는 상기 예측 객체 정보를 생성하도록 하는 것을 특징으로 하는 방법. - 제 1 항에 있어서,
상기 (a) 단계에서,
상기 학습 장치가, 상기 컨벌루션 레이어에 포함된 각각의 컨벌루션 뉴런(Convolutional Neuron)으로 하여금, 적어도 하나의 자신의 파라미터를 사용하여 자신에게 입력된 값에 대하여 연산을 적용한 후, 출력된 값을 자신의 다음 컨벌루션 뉴런에 전달하는 프로세스를 반복하도록 함으로써, 상기 다채널 통합 이미지에 대하여 상기 컨벌루션 연산을 적용하도록 하는 것을 특징으로 하는 방법. - 제 1 항에 있어서,
상기 (b) 단계에서,
상기 학습 장치가, 상기 컨벌루션 레이어에 대응하는 적어도 하나의 디컨벌루션 레이어의 형태로 구현된 상기 아웃풋 레이어로 하여금, 상기 특징 맵에 대하여 상기 아웃풋 연산을 적용하도록 함으로써, 상기 다채널 통합 이미지에 대응하는 예측 세그멘테이션 이미지를 포함하는 상기 예측 객체 정보를 생성하도록 하는 것을 특징으로 하는 방법. - 제 1 항에 있어서,
상기 학습 장치가, 상기 컨벌루션 레이어로 하여금, 상기 촬영 이미지에 대한 정보와 함께 상기 뎁스 이미지에 대한 정보도 반영된 상기 특징 맵을 생성하도록 함으로써, 상기 객체 중 상기 객체 묘사율이 임계치 미만인 각각의 특정 객체에 대한 정보가 상기 예측 객체 정보에 더 포함될 수 있도록 하는 것을 특징으로 하는 방법. - 촬영 상황이 부적합함에 따라, 카메라를 통해 획득되는 촬영 이미지(Photographed Image) 상에 적어도 하나의 객체가 적합하게 나타나는 확률인, 상기 촬영 이미지의 객체 묘사율(Object Depiction Ratio)이 낮더라도 CNN(Convolutional Neural Network)이 적합하게 작동하도록 상기 카메라와 레이더(Radar)를 함께 사용하여 상기 CNN을 테스트하는 방법에 있어서,
(a) (1) (i) 학습 장치와 연동하여 동작하는 학습용 대상 자동차 상의 학습용 카메라를 통해 획득된 학습용 촬영 이미지 및 (ii) 상기 학습용 대상 자동차의 학습용 레이더를 통해 획득된 학습용 뎁스 이미지(Depth Image)를 사용하여 생성된 학습용 다채널 통합 이미지(Multichannel Integrated Image)가 획득되면, 상기 학습 장치가, 상기 CNN 내의 적어도 하나의 컨벌루션 레이어(Convolutional Layer)로 하여금, 상기 학습용 다채널 통합 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하도록 하여, 상기 학습용 촬영 이미지에 대한 정보와 함께 상기 학습용 뎁스 이미지에 대한 정보도 반영된 적어도 하나의 학습용 특징 맵(Feature Map)을 생성하도록 하고, (2) 상기 학습 장치가, 상기 CNN 내의 적어도 하나의 아웃풋 레이어(Output Layer)로 하여금, 상기 학습용 특징 맵에 대하여 아웃풋 연산을 적어도 한 번 적용하도록 하여, 상기 학습용 다채널 통합 이미지 내의 상기 학습용 객체에 대한 학습용 예측 객체 정보(Estimated Object Information)를 생성하도록 하고, (3) 상기 학습 장치가, 상기 CNN 내의 적어도 하나의 로스 레이어(Loss Layer)로 하여금, 상기 학습용 예측 객체 정보 및 이에 대응하는 GT(Ground Truth) 객체 정보를 사용하여 적어도 하나의 로스를 생성하도록 하고, 상기 로스를 사용하여 백프로퍼게이션을 수행함으로써, 상기 CNN 내의 파라미터 중 적어도 일부를 학습하도록 한 상태에서, 테스트 장치가, 상기 CNN 내의 상기 컨벌루션 레이어로 하여금, (i) 상기 테스트 장치와 연동하여 동작하는 테스트용 대상 자동차 상의 테스트용 카메라를 통해 획득된 테스트용 촬영 이미지 및 (ii) 상기 테스트용 대상 자동차의 테스트용 레이더를 통해 획득된 테스트용 뎁스 이미지를 사용하여 생성된 테스트용 다채널 통합 이미지에 대하여 상기 컨벌루션 연산을 적어도 한 번 적용하도록 하여, 상기 테스트용 촬영 이미지에 대한 정보와 함께 상기 테스트용 뎁스 이미지에 대한 정보도 반영된 적어도 하나의 테스트용 특징 맵을 생성하도록 하는 단계; 및
(b) 상기 테스트 장치가, 상기 CNN 내의 상기 아웃풋 레이어로 하여금, 상기 테스트용 특징 맵에 대하여 상기 아웃풋 연산을 적용하도록 하여, 상기 테스트용 다채널 통합 이미지 내의 상기 테스트용 객체에 대한 테스트용 예측 객체 정보를 생성하도록 하는 단계;
를 포함하는 것을 특징으로 하는 방법. - 제 8 항에 있어서,
상기 (a) 단계에서,
상기 테스트 장치가, (i) 상기 테스트용 뎁스 이미지를 참조로 하여 상기 테스트용 대상 자동차로부터의 상기 테스트용 객체의 적어도 하나의 테스트용 거리 및 적어도 하나의 테스트용 각도에 대한 테스트용 정보를 획득한 후, (ii) 상기 테스트용 거리 및 상기 테스트용 각도에 대한 상기 테스트용 정보를 참조로 하여 상기 테스트용 촬영 이미지 상에서의 상기 테스트용 객체 중 적어도 일부에 대응되는 적어도 하나의 테스트용 객체 좌표를 구하고, (iii) 상기 테스트용 객체 좌표와 테스트용 확률 분포를 참조로 하여 생성된 값을 테스트용 가이드 채널 이미지(Guide Channel Image)에 포함된 그에 대응되는 테스트용 픽셀 값으로 설정하여 적어도 하나의 상기 테스트용 가이드 채널 이미지를 생성한 다음, (iv) 상기 테스트용 가이드 채널 이미지를 상기 테스트용 촬영 이미지와 함께 채널별(Channel-wise)로 컨캐터네이팅(Concatenating)함으로써 상기 테스트용 다채널 통합 이미지를 생성하는 것을 특징으로 하는 방법. - 제 9 항에 있어서,
상기 (a) 단계에서,
상기 테스트 장치가, 상기 테스트용 객체 좌표 중 테스트용 제1 객체 좌표 내지 테스트용 제N 객체 좌표와 상기 테스트용 확률 분포를 참조로 하여 하기 수식에 따른 연산을 수행함으로써, 상기 테스트용 가이드 채널 이미지에 그에 대응하는 테스트용 픽셀 값으로서 포함될 상기 값을 산출하되,
상기 수식에서, 는 상기 테스트용 가이드 채널 이미지에 포함된 픽셀 중 제k 픽셀을 의미하고, 및 각각은 상기 테스트용 가이드 채널 이미지 상에서의 상기 제k 픽셀의 x 좌표 및 y 좌표를 각각 의미하며, 및 각각은 테스트용 제m 객체 좌표 - m은 1 이상 N 이하의 정수임 - 의 x 좌표 및 y 좌표를 각각 의미하고, 는 기설정된 크기 조절 값을 의미하는 것을 특징으로 하는 방법. - 제 8 항에 있어서,
상기 테스트 장치가, 상기 컨벌루션 레이어로 하여금, 상기 테스트용 촬영 이미지에 대한 정보와 함께 상기 테스트용 뎁스 이미지에 대한 정보도 반영된 상기 테스트용 특징 맵을 생성하도록 함으로써, 상기 테스트용 객체 중 상기 객체 묘사율이 임계치 미만인 각각의 특정 테스트용 객체에 대한 정보가 상기 테스트용 예측 객체 정보에 더 포함될 수 있도록 하고,
(c) 상기 테스트 장치가, 상기 테스트용 예측 객체 정보를 상기 테스트용 대상 자동차 상의 적어도 하나의 자율 주행 모듈로 전달함으로써, 상기 테스트용 대상 자동차의 자율 주행을 지원하는 단계;
를 더 포함하는 것을 특징으로 하는 방법. - 촬영 상황이 부적합함에 따라, 카메라를 통해 획득되는 촬영 이미지(Photographed Image) 상에 적어도 하나의 객체가 적합하게 나타나는 확률인, 상기 촬영 이미지의 객체 묘사율(Object Depiction Ratio)이 낮더라도 CNN(Convolutional Neural Network)이 적합하게 작동하도록 상기 카메라와 레이더(Radar)를 함께 사용하여 상기 CNN을 학습하는 학습 장치에 있어서,
인스트럭션을 저장하는 적어도 하나의 메모리; 및
(I) (i) 학습 장치와 연동하여 동작하는 대상 자동차 상의 상기 카메라를 통해 획득된 상기 촬영 이미지 및 (ii) 상기 대상 자동차의 레이더를 통해 획득된 뎁스 이미지(Depth Image)를 사용하여 생성된 다채널 통합 이미지(Multichannel Integrated Image)가 획득되면, 상기 CNN 내의 적어도 하나의 컨벌루션 레이어(Convolutional Layer)로 하여금, 상기 다채널 통합 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하도록 하여, 상기 촬영 이미지에 대한 정보와 함께 상기 뎁스 이미지에 대한 정보도 반영된 적어도 하나의 특징 맵(Feature Map)을 생성하도록 하는 프로세스, (II) 상기 CNN 내의 적어도 하나의 아웃풋 레이어(Output Layer)로 하여금, 상기 특징 맵에 대하여 아웃풋 연산을 적어도 한 번 적용하도록 하여, 상기 다채널 통합 이미지 내의 상기 객체에 대한 예측 객체 정보(Estimated Object Information)를 생성하도록 하는 프로세스, 및 (III) 상기 CNN 내의 적어도 하나의 로스 레이어(Loss Layer)로 하여금, 상기 예측 객체 정보 및 이에 대응하는 GT(Ground Truth) 객체 정보를 사용하여 적어도 하나의 로스를 생성하도록 하고, 상기 로스를 사용하여 백프로퍼게이션을 수행함으로써, 상기 CNN 내의 파라미터 중 적어도 일부를 학습하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;
를 포함하는 것을 특징으로 하는 장치. - 제 12 항에 있어서,
상기 (I) 프로세스에서,
상기 프로세서가, (i) 상기 뎁스 이미지를 참조로 하여 상기 대상 자동차로부터의 상기 객체의 적어도 하나의 거리 및 적어도 하나의 각도에 대한 정보를 획득한 후, (ii) 상기 거리 및 상기 각도에 대한 상기 정보를 참조로 하여 상기 촬영 이미지 상에서의 상기 객체 중 적어도 일부에 대응되는 적어도 하나의 객체 좌표를 구하고, (iii) 상기 객체 좌표와 확률 분포를 참조로 하여 생성된 값을 가이드 채널 이미지(Guide Channel Image)에 포함된 그에 대응되는 픽셀 값으로 설정하여 적어도 하나의 상기 가이드 채널 이미지를 생성한 다음, (iv) 상기 가이드 채널 이미지를 상기 촬영 이미지와 함께 채널별(Channel-wise)로 컨캐터네이팅(Concatenating)함으로써 상기 다채널 통합 이미지를 생성하는 것을 특징으로 하는 장치. - 제 13 항에 있어서,
상기 (I) 프로세스에서,
상기 프로세서가, 상기 객체 좌표 중 제1 객체 좌표 내지 제N 객체 좌표와 상기 확률 분포를 참조로 하여 하기 수식에 따른 연산을 수행함으로써, 상기 가이드 채널 이미지에 그에 대응하는 픽셀 값으로서 포함될 상기 값을 산출하되,
상기 수식에서, 는 상기 가이드 채널 이미지에 포함된 픽셀 중 제k 픽셀을 의미하고, 및 각각은 상기 가이드 채널 이미지 상에서 상기 제k 픽셀의 x 좌표 및 y 좌표를 각각 의미하며, 및 각각은 제m 객체 좌표 - m은 1 이상 N 이하의 정수임 - 의 x 좌표 및 y 좌표를 각각 의미하고, 는 기설정된 크기 조절 값을 의미하는 것을 특징으로 하는 장치. - 제 12 항에 있어서,
상기 (II) 프로세스에서,
상기 프로세서가, 상기 CNN과 연동하여 동작하는 RPN(Region Proposal Network)으로 하여금, 상기 특징 맵을 참조로 하여 상기 다채널 통합 이미지 상의 상기 객체 중 적어도 일부의 적어도 하나의 위치에 대응하는 적어도 하나의 예측 ROI(Region-Of-Interest)에 대한 정보를 생성하도록 하고, FC(Fully-Connected) 네트워크의 형태로 구현된 상기 아웃풋 레이어로 하여금, 상기 예측 ROI를 참조로 하여 상기 특징 맵에 대하여 상기 아웃풋 연산을 적용하도록 함으로써, 상기 다채널 통합 이미지에 대응하는 예측 객체 검출 결과(Estimated Object Detection Result)를 포함하는 상기 예측 객체 정보를 생성하도록 하는 것을 특징으로 하는 장치. - 제 12 항에 있어서,
상기 (I) 프로세스에서,
상기 프로세서가, 상기 컨벌루션 레이어에 포함된 각각의 컨벌루션 뉴런(Convolutional Neuron)으로 하여금, 적어도 하나의 자신의 파라미터를 사용하여 자신에게 입력된 값에 대하여 연산을 적용한 후, 출력된 값을 자신의 다음 컨벌루션 뉴런에 전달하는 프로세스를 반복하도록 함으로써, 상기 다채널 통합 이미지에 대하여 상기 컨벌루션 연산을 적용하도록 하는 것을 특징으로 하는 장치. - 제 12 항에 있어서,
상기 (II) 프로세스에서,
상기 프로세서가, 상기 컨벌루션 레이어에 대응하는 적어도 하나의 디컨벌루션 레이어의 형태로 구현된 상기 아웃풋 레이어로 하여금, 상기 특징 맵에 대하여 상기 아웃풋 연산을 적용하도록 함으로써, 상기 다채널 통합 이미지에 대응하는 예측 세그멘테이션 이미지를 포함하는 상기 예측 객체 정보를 생성하도록 하는 것을 특징으로 하는 장치. - 제 12 항에 있어서,
상기 프로세서가, 상기 컨벌루션 레이어로 하여금, 상기 촬영 이미지에 대한 정보와 함께 상기 뎁스 이미지에 대한 정보도 반영된 상기 특징 맵을 생성하도록 함으로써, 상기 객체 중 상기 객체 묘사율이 임계치 미만인 각각의 특정 객체에 대한 정보가 상기 예측 객체 정보에 더 포함될 수 있도록 하는 것을 특징으로 하는 장치. - 촬영 상황이 부적합함에 따라, 카메라를 통해 획득되는 촬영 이미지(Photographed Image) 상에 적어도 하나의 객체가 적합하게 나타나는 확률인, 상기 촬영 이미지의 객체 묘사율(Object Depiction Ratio)이 낮더라도 CNN(Convolutional Neural Network)이 적합하게 작동하도록 상기 카메라와 레이더(Radar)를 함께 사용하여 상기 CNN을 테스트하는 테스트 장치에 있어서,
인스트럭션을 저장하는 적어도 하나의 메모리; 및
(I) (1) 학습 장치가, (i) 학습 장치와 연동하여 동작하는 학습용 대상 자동차 상의 학습용 카메라를 통해 획득된 학습용 촬영 이미지 및 (ii) 상기 학습용 대상 자동차의 학습용 레이더를 통해 획득된 학습용 뎁스 이미지(Depth Image)를 사용하여 생성된 학습용 다채널 통합 이미지(Multichannel Integrated Image)가 획득되면, 상기 CNN 내의 적어도 하나의 컨벌루션 레이어(Convolutional Layer)로 하여금, 상기 학습용 다채널 통합 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하도록 하여, 상기 학습용 촬영 이미지에 대한 정보와 함께 상기 학습용 뎁스 이미지에 대한 정보도 반영된 적어도 하나의 학습용 특징 맵(Feature Map)을 생성하도록 하고, (2) 상기 학습 장치가, 상기 CNN 내의 적어도 하나의 아웃풋 레이어(Output Layer)로 하여금, 상기 학습용 특징 맵에 대하여 아웃풋 연산을 적어도 한 번 적용하도록 하여, 상기 학습용 다채널 통합 이미지 내의 상기 학습용 객체에 대한 학습용 예측 객체 정보(Estimated Object Information)를 생성하도록 하고, (3) 상기 학습 장치가, 상기 CNN 내의 적어도 하나의 로스 레이어(Loss Layer)로 하여금, 상기 학습용 예측 객체 정보 및 이에 대응하는 GT(Ground Truth) 객체 정보를 사용하여 적어도 하나의 로스를 생성하도록 하고, 상기 로스를 사용하여 백프로퍼게이션을 수행함으로써, 상기 CNN 내의 파라미터 중 적어도 일부를 학습하도록 한 상태에서, 상기 CNN 내의 상기 컨벌루션 레이어로 하여금, (i) 상기 테스트 장치와 연동하여 동작하는 테스트용 대상 자동차 상의 테스트용 카메라를 통해 획득된 테스트용 촬영 이미지 및 (ii) 상기 테스트용 대상 자동차의 테스트용 레이더를 통해 획득된 테스트용 뎁스 이미지를 사용하여 생성된 테스트용 다채널 통합 이미지에 대하여 상기 컨벌루션 연산을 적어도 한 번 적용하도록 하여, 상기 테스트용 촬영 이미지에 대한 정보와 함께 상기 테스트용 뎁스 이미지에 대한 정보도 반영된 적어도 하나의 테스트용 특징 맵을 생성하도록 하는 프로세스, 및 (II) 상기 CNN 내의 상기 아웃풋 레이어로 하여금, 상기 테스트용 특징 맵에 대하여 상기 아웃풋 연산을 적용하도록 하여, 상기 테스트용 다채널 통합 이미지 내의 상기 테스트용 객체에 대한 테스트용 예측 객체 정보를 생성하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;
를 포함하는 것을 특징으로 하는 장치. - 제 19 항에 있어서,
상기 (I) 프로세스에서,
상기 프로세서가, (i) 상기 테스트용 뎁스 이미지를 참조로 하여 상기 테스트용 대상 자동차로부터의 상기 테스트용 객체의 적어도 하나의 테스트용 거리 및 적어도 하나의 테스트용 각도에 대한 테스트용 정보를 획득한 후, (ii) 상기 테스트용 거리 및 상기 테스트용 각도에 대한 상기 테스트용 정보를 참조로 하여 상기 테스트용 촬영 이미지 상에서의 상기 테스트용 객체 중 적어도 일부에 대응되는 적어도 하나의 테스트용 객체 좌표를 구하고, (iii) 상기 테스트용 객체 좌표와 테스트용 확률 분포를 참조로 하여 생성된 값을 테스트용 가이드 채널 이미지(Guide Channel Image)에 포함된 그에 대응되는 테스트용 픽셀 값으로 설정하여 적어도 하나의 상기 테스트용 가이드 채널 이미지를 생성한 다음, (iv) 상기 테스트용 가이드 채널 이미지를 상기 테스트용 촬영 이미지와 함께 채널별(Channel-wise)로 컨캐터네이팅(Concatenating)함으로써 상기 테스트용 다채널 통합 이미지를 생성하는 것을 특징으로 하는 장치. - 제 20 항에 있어서,
상기 (I) 프로세스에서,
상기 프로세서가, 상기 테스트용 객체 좌표 중 테스트용 제1 객체 좌표 내지 테스트용 제N 객체 좌표와 상기 테스트용 확률 분포를 참조로 하여 하기 수식에 따른 연산을 수행함으로써, 상기 테스트용 가이드 채널 이미지에 그에 대응하는 테스트용 픽셀 값으로서 포함될 상기 값을 산출하되,
상기 수식에서, 는 상기 테스트용 가이드 채널 이미지에 포함된 픽셀 중 제k 픽셀을 의미하고, 및 각각은 상기 테스트용 가이드 채널 이미지 상에서의 상기 제k 픽셀의 x 좌표 및 y 좌표를 각각 의미하며, 및 각각은 테스트용 제m 객체 좌표 - m은 1 이상 N 이하의 정수임 - 의 x 좌표 및 y 좌표를 각각 의미하고, 는 기설정된 크기 조절 값을 의미하는 것을 특징으로 하는 장치. - 제 19 항에 있어서,
상기 프로세서가, 상기 컨벌루션 레이어로 하여금, 상기 테스트용 촬영 이미지에 대한 정보와 함께 상기 테스트용 뎁스 이미지에 대한 정보도 반영된 상기 테스트용 특징 맵을 생성하도록 함으로써, 상기 테스트용 객체 중 상기 객체 묘사율이 임계치 미만인 각각의 특정 테스트용 객체에 대한 정보가 상기 테스트용 예측 객체 정보에 더 포함될 수 있도록 하고,
(III) 상기 프로세서가, 상기 테스트용 예측 객체 정보를 상기 테스트용 대상 자동차 상의 적어도 하나의 자율 주행 모듈로 전달함으로써, 상기 테스트용 대상 자동차의 자율 주행을 지원하는 프로세스;
를 더 수행하는 것을 특징으로 하는 장치.
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962799216P | 2019-01-31 | 2019-01-31 | |
US62/799,216 | 2019-01-31 | ||
US16/731,990 | 2019-12-31 | ||
US16/731,990 US10776673B2 (en) | 2019-01-31 | 2019-12-31 | Learning method and learning device for sensor fusion to integrate information acquired by radar capable of distance estimation and information acquired by camera to thereby improve neural network for supporting autonomous driving, and testing method and testing device using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200095367A true KR20200095367A (ko) | 2020-08-10 |
KR102373466B1 KR102373466B1 (ko) | 2022-03-14 |
Family
ID=69187627
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200004522A KR102373466B1 (ko) | 2019-01-31 | 2020-01-13 | 거리 예측이 가능한 레이더를 통해 획득되는 정보와 카메라를 통해 획득되는 정보를 통합하는 센서 융합을 수행함으로써 자율 주행을 지원하는 뉴럴 네트워크를 향상시키는 학습 방법 및 학습 장치, 그리고 이를 사용한 테스트 방법 및 테스트 장치 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10776673B2 (ko) |
EP (1) | EP3690727B1 (ko) |
JP (1) | JP6908946B2 (ko) |
KR (1) | KR102373466B1 (ko) |
CN (1) | CN111507166B (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112241763A (zh) * | 2020-10-19 | 2021-01-19 | 中国科学技术大学 | 多源多模动态信息融合与认知方法及系统 |
KR20220151098A (ko) * | 2021-05-05 | 2022-11-14 | 모셔널 에이디 엘엘씨 | 융합된 이미지를 사용한 엔드 투 엔드 시스템 트레이닝 |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018176000A1 (en) | 2017-03-23 | 2018-09-27 | DeepScale, Inc. | Data synthesis for autonomous control systems |
US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
AU2019357615B2 (en) | 2018-10-11 | 2023-09-14 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US11150664B2 (en) | 2019-02-01 | 2021-10-19 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
JP7446903B2 (ja) * | 2020-04-23 | 2024-03-11 | 株式会社日立製作所 | 画像処理装置、画像処理方法及び画像処理システム |
CN112116644B (zh) * | 2020-08-28 | 2023-05-23 | 辽宁石油化工大学 | 一种基于视觉的障碍物检测方法和装置、障碍物距离计算方法和装置 |
JP7447042B2 (ja) | 2021-03-17 | 2024-03-11 | 株式会社東芝 | 画像処理装置、方法及びプログラム |
US20220308200A1 (en) * | 2021-03-24 | 2022-09-29 | Sony Group Corporation | Radar data determination circuitry and radar data determination method |
DE102021002011A1 (de) | 2021-04-16 | 2021-08-12 | Daimler Ag | Verfahren zur Annotation von Daten einer Umgebungserfassung |
WO2024056261A1 (de) | 2022-09-15 | 2024-03-21 | Sew-Eurodrive Gmbh & Co. Kg | Verfahren zum trainieren eines neuronalen netzes zur detektion eines objekts und verfahren zur detektion eines objekts mittels eines neuronalen netzes |
KR20240111131A (ko) | 2023-01-09 | 2024-07-16 | 전창복 | 자율주행자동차용 카메라 세정장치 |
CN115861938B (zh) * | 2023-02-06 | 2023-05-26 | 北京中超伟业信息安全技术股份有限公司 | 一种基于无人机识别的无人机反制方法及系统 |
CN116012376B (zh) * | 2023-03-23 | 2023-07-04 | 深圳佑驾创新科技有限公司 | 目标检测方法、装置以及车辆 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140104051A1 (en) * | 2002-05-20 | 2014-04-17 | Intelligent Technologies International, Inc. | Vehicular anticipatory sensor system |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5862785B2 (ja) * | 2012-09-03 | 2016-02-16 | トヨタ自動車株式会社 | 衝突判定装置及び衝突判定方法 |
US9940539B2 (en) * | 2015-05-08 | 2018-04-10 | Samsung Electronics Co., Ltd. | Object recognition apparatus and method |
US9972092B2 (en) * | 2016-03-31 | 2018-05-15 | Adobe Systems Incorporated | Utilizing deep learning for boundary-aware image segmentation |
US9947103B1 (en) * | 2017-10-03 | 2018-04-17 | StradVision, Inc. | Learning method and learning device for improving image segmentation and testing method and testing device using the same |
US11500099B2 (en) * | 2018-03-14 | 2022-11-15 | Uatc, Llc | Three-dimensional object detection |
US10671855B2 (en) * | 2018-04-10 | 2020-06-02 | Adobe Inc. | Video object segmentation by reference-guided mask propagation |
CN108764142A (zh) * | 2018-05-25 | 2018-11-06 | 北京工业大学 | 基于3dcnn的无人机影像森林烟雾检测和分类方法 |
CN108830188B (zh) * | 2018-05-30 | 2022-03-04 | 西安理工大学 | 基于深度学习的车辆检测方法 |
US11370423B2 (en) * | 2018-06-15 | 2022-06-28 | Uatc, Llc | Multi-task machine-learned models for object intention determination in autonomous driving |
KR102615196B1 (ko) * | 2018-08-21 | 2023-12-18 | 삼성전자주식회사 | 객체 검출 모델 트레이닝 장치 및 방법 |
CN108710875B (zh) * | 2018-09-11 | 2019-01-08 | 湖南鲲鹏智汇无人机技术有限公司 | 一种基于深度学习的航拍公路车辆计数方法及装置 |
US10300851B1 (en) * | 2018-10-04 | 2019-05-28 | StradVision, Inc. | Method for warning vehicle of risk of lane change and alarm device using the same |
US10311578B1 (en) * | 2019-01-23 | 2019-06-04 | StradVision, Inc. | Learning method and learning device for segmenting an image having one or more lanes by using embedding loss to support collaboration with HD maps required to satisfy level 4 of autonomous vehicles and softmax loss, and testing method and testing device using the same |
US10496899B1 (en) * | 2019-01-25 | 2019-12-03 | StradVision, Inc. | Learning method and learning device for adjusting parameters of CNN in which residual networks are provided for meta learning, and testing method and testing device using the same |
-
2019
- 2019-12-31 US US16/731,990 patent/US10776673B2/en active Active
-
2020
- 2020-01-13 KR KR1020200004522A patent/KR102373466B1/ko active IP Right Grant
- 2020-01-21 JP JP2020007739A patent/JP6908946B2/ja active Active
- 2020-01-22 CN CN202010073576.6A patent/CN111507166B/zh active Active
- 2020-01-22 EP EP20153075.5A patent/EP3690727B1/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140104051A1 (en) * | 2002-05-20 | 2014-04-17 | Intelligent Technologies International, Inc. | Vehicular anticipatory sensor system |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112241763A (zh) * | 2020-10-19 | 2021-01-19 | 中国科学技术大学 | 多源多模动态信息融合与认知方法及系统 |
KR20220151098A (ko) * | 2021-05-05 | 2022-11-14 | 모셔널 에이디 엘엘씨 | 융합된 이미지를 사용한 엔드 투 엔드 시스템 트레이닝 |
Also Published As
Publication number | Publication date |
---|---|
EP3690727A1 (en) | 2020-08-05 |
CN111507166B (zh) | 2023-08-29 |
CN111507166A (zh) | 2020-08-07 |
JP6908946B2 (ja) | 2021-07-28 |
US20200250468A1 (en) | 2020-08-06 |
KR102373466B1 (ko) | 2022-03-14 |
US10776673B2 (en) | 2020-09-15 |
JP2020126630A (ja) | 2020-08-20 |
EP3690727B1 (en) | 2023-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102373466B1 (ko) | 거리 예측이 가능한 레이더를 통해 획득되는 정보와 카메라를 통해 획득되는 정보를 통합하는 센서 융합을 수행함으로써 자율 주행을 지원하는 뉴럴 네트워크를 향상시키는 학습 방법 및 학습 장치, 그리고 이를 사용한 테스트 방법 및 테스트 장치 | |
US10408939B1 (en) | Learning method and learning device for integrating image acquired by camera and point-cloud map acquired by radar or LiDAR corresponding to image at each of convolution stages in neural network and testing method and testing device using the same | |
US10621476B1 (en) | Learning method and learning device for object detector based on reconfigurable network for optimizing customers' requirements such as key performance index using target object estimating network and target object merging network, and testing method and testing device using the same | |
US10410120B1 (en) | Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same | |
US11734918B2 (en) | Object identification apparatus, moving body system, object identification method, object identification model learning method, and object identification model learning apparatus | |
KR102661954B1 (ko) | 이미지 처리 방법 및 이를 수행하는 장치들 | |
Levinson et al. | Traffic light mapping, localization, and state detection for autonomous vehicles | |
KR20200095376A (ko) | Avm 및 강화 학습을 이용하여 자율 주행의 안전성을 달성하기 위한 어텐션-드리븐 알고리즘을 이용한 리소스 할당을 위한 방법 및 장치 | |
KR102338763B1 (ko) | V2x 정보 융합을 이용하여 hd 맵을 업데이트하기 위한 자차량 위치 결정을 수행하는 방법 및 장치 | |
KR20200039547A (ko) | 트래킹 네트워크를 포함한 cnn을 사용하여 객체를 트래킹하는 방법 및 이를 이용한 장치 | |
US20200239029A1 (en) | Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route | |
EP3686785A1 (en) | Learning method and learning device for fluctuation-robust object detector based on cnn using target object estimating network and testing method and testing device using the same | |
KR102320999B1 (ko) | 폴트 톨러런스 및 플럭츄에이션 로버스트를 위한 복수의 뉴럴 네트워크를 사용하여 흔들리는 카메라로 인해 생성된 비디오에서 지터링을 제거하기 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
CN111507159B (zh) | 提供自动驾驶安全性的方法和装置 | |
KR102349946B1 (ko) | 주변 자동차의 이미지를 이용하여 베이스 자동차의 이미지를 오토 라벨링하는 오토 라벨링 장치를 학습시키는 학습 방법 및 학습 장치, 그리고, 이를 이용한 테스팅 방법 및 테스팅 장치 | |
EP3686837B1 (en) | Learning method and learning device for reducing distortion occurred in warped image generated in process of stabilizing jittered image by using gan to enhance fault tolerance and fluctuation robustness in extreme situations | |
US10402686B1 (en) | Learning method and learning device for object detector to be used for surveillance based on convolutional neural network capable of converting modes according to scales of objects, and testing method and testing device using the same | |
KR20200091324A (ko) | 원거리 검출 또는 군사 목적을 위해, 이미지 컨캐터네이션을 이용한, cnn 기반의 하드웨어 최적화가 가능한 객체 검출기를 학습하는 방법 및 학습 장치, 이를 이용한 테스팅 방법 및 테스팅 장치 | |
KR102373492B1 (ko) | 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 보정하는 방법 및 이를 이용한 장치 | |
CN111507161B (zh) | 利用合并网络进行异质传感器融合的方法和装置 | |
KR20210074163A (ko) | 공동 검출 및 기술 시스템 및 방법 | |
KR20200094644A (ko) | V2x 정보 융합 기술을 통해 획득된, 각 객체에 대한 깊이 예측 정보 및 각 객체에 대한 클래스 정보를 이용해 3d 공간을 재구축함으로써 hd 맵을 업데이트하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치 | |
CN114217303A (zh) | 目标定位跟踪方法及装置、水下机器人和存储介质 | |
US10373004B1 (en) | Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image | |
CN110599542A (zh) | 面向几何区域的自适应vslam局部建图的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |