KR20200095357A - 비최대값 억제를 학습하는 병합 네트워크를 이용한 이종 센서 융합을 위한 학습 방법 및 학습 장치 - Google Patents

비최대값 억제를 학습하는 병합 네트워크를 이용한 이종 센서 융합을 위한 학습 방법 및 학습 장치 Download PDF

Info

Publication number
KR20200095357A
KR20200095357A KR1020200001720A KR20200001720A KR20200095357A KR 20200095357 A KR20200095357 A KR 20200095357A KR 1020200001720 A KR1020200001720 A KR 1020200001720A KR 20200001720 A KR20200001720 A KR 20200001720A KR 20200095357 A KR20200095357 A KR 20200095357A
Authority
KR
South Korea
Prior art keywords
test
specific
original
vector
roi
Prior art date
Application number
KR1020200001720A
Other languages
English (en)
Other versions
KR102372687B1 (ko
Inventor
김계현
김용중
김학경
남운현
부석훈
성명철
신동수
여동훈
유우주
이명춘
이형수
장태웅
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20200095357A publication Critical patent/KR20200095357A/ko
Application granted granted Critical
Publication of KR102372687B1 publication Critical patent/KR102372687B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

제1 객체 검출 정보 및 제2 객체 검출 정보를 통합하여, 통합 이미지에 관한 통합 객체 검출 정보를 생성하는 학습 방법이 제공된다. 상기 방법은 (a) 학습 장치가, 상기 제1 객체 검출 정보 및 상기 제2 객체 검출 정보를 획득하면, DNN(Deep Neural Network)에 포함된 컨캐터네이팅(concatenating) 네트워크로 하여금, 제1 원본 ROI와 제2 원본 ROI의 페어에 관한 정보를 포함하는 페어 특징 벡터를 생성하도록 하는 단계; (b) 상기 학습 장치가, 상기 DNN에 포함된 판별 네트워크로 하여금, 상기 페어 특징 벡터에 FC(fully connected) 연산을 적용함으로써, (i) 판별 벡터 및 (ii) 박스 리그레션(regression) 벡터를 생성하도록 하는 단계; 및 (c) 상기 학습 장치가, 로스 유닛으로 하여금, 통합 로스를 생성하도록 하고, 상기 통합 로스를 이용하여 백프로퍼게이션(backpropagation)을 수행함으로써 상기 DNN에 포함된 파라미터 중 적어도 일부를 학습하도록 하는 단계;를 포함하는 것을 특징으로 하는 방법이 개시된다.

Description

비최대값 억제를 학습하는 병합 네트워크를 이용한 이종 센서 융합을 위한 학습 방법 및 학습 장치 {LEARNING METHOD AND LEARNING DEVICE FOR HETEROGENEOUS SENSOR FUSION BY USING MERGING NETWORK WHICH LEARNS NON-MAXIMUM SUPPRESSION}
본 발명은 자율 주행 차량에 이용하기 위한 학습 방법 및 장치에 관한 것으로; 보다 상세하게는, 병합 네트워크를 이용한 이종 센서 융합을 위한 상기 방법과 상기 장치 및 이를 이용한 테스팅 방법 및 테스팅 장치에 관한 것이다.
딥 컨벌루션 뉴럴 네트워크(Deep Convolution Neural Networks, Deep CNNs)는 딥 러닝 분야에서 일어난 눈부신 발전의 핵심이다. CNNs은 글자 식별 문제를 해결하기 위해 90년대에도 사용되었지만, 현재처럼 널리 쓰이게 된 것은 최근의 연구 결과 덕분이다. 이러한 CNN은 2012년 ImageNet 이미지 분류 경진대회에서 다른 경쟁 상대를 제치고 우승을 차지했다. 그 후, CNN은 기계 학습 분야에서 매우 유용한 툴로 쓰이게 되었다.
이와 같은 CNN은, 자율 주행 분야에서도 널리 사용되고 있다. CNN은 자율 주행 차량에서 주로 시맨틱(semantic) 세그먼테이션, 객체 검출 및 여유 공간 검출 등 이미지 처리를 담당한다.
최근 자율 주행 차량의 주행 안정성을 더욱 높이기 위해, 복수 개의 카메라를 사용하는 경우가 있다. 이 때, 연산의 중복성을 줄이고, 주변 공간에 대해 더욱 잘 파악하기 위해, 복수 개의 카메라를 통해 획득된 이미지를 조율된 방식으로 이용하는 것이 중요하다. 특히, 상기 이미지를 조정하는 동안, 객체가 각 이미지에 위치할 것으로 예측되는 영역인 ROI 중 일부는 다른 이미지 중 또 다른 이미지와 중복되는 경우가 많은데, 이와 같은 ROI에 대한 정보를 통합하는 것이 중요하다.
이를 위한 종래 기술로서, 비최대값 억제가 있다. 즉, 동일한 클래스의 객체를 포함하는 바운딩 박스 간 중복 비율을 계산하여, 상기 비율이 임계 값 이상이면 상기 바운딩 박스는 서로 통합된다. 종래 기술의 문제점은, 상기 임계 값이 너무 낮으면, 서로 관계 없는 상기 바운딩 박스는 통합될 것이고, 상기 임계 값이 너무 높으면 통합되어야 할 바운딩 박스가 서로 통합되지 못할 것이므로, 임계 값을 결정하기가 어려우므로, 상황에 따라 매 번 임계 값이 달라져야 한다는 점이다.
본 발명은 상술한 문제점을 해결하는 것을 목적으로 한다.
본 발명은 특정 공간의 각 원본 이미지를 통합하여 특정 공간에 대한 통합 이미지를 생성할 때, 각 원본 이미지에 대한 각 객체 검출 정보를 통합하여 상기 통합 이미지에 대한 통합 객체 검출 정보를 생성함으로써, 통합 이미지에 포함된 객체를 검출하는 연산의 중복성을 줄여 주변 공간에 대해 보다 상세하고 정확한 정보로 상기 통합 이미지를 생성할 수 있도록 하는 것을 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 적어도 하나의 통합 이미지를 생성하는데 이용될, 특정 공간에 대한 제1 원본 이미지 및 제2 원본 이미지에 각각 대응하는, 제1 객체 검출 정보 및 제2 객체 검출 정보를 통합하여, 상기 통합 이미지에 추가로 연산을 하지 않고 상기 통합 이미지의 통합 객체 검출 정보를 생성하는 학습 방법에 있어서, (a) 학습 장치가, 상기 제1 원본 이미지 및 상기 제2 원본 이미지가 처리되어 생성된, 상기 제1 객체 검출 정보 및 상기 제2 객체 검출 정보를 획득하면, DNN(Deep Neural Network)에 포함된 컨캐터네이팅(concatenating) 네트워크로 하여금, 상기 제1 원본 이미지에 포함된 제1 원본 ROI(region of interest) 및 상기 제2 원본 이미지에 포함된 제2 원본 ROI의 하나 이상의 페어에 관한 정보를 포함하는 하나 이상의 페어 특징 벡터를 생성하도록 하는 단계; (b) 상기 학습 장치가, 상기 DNN에 포함된 판별 네트워크로 하여금, 상기 페어 특징 벡터에 하나 이상의 FC(fully connected) 연산을 적용함으로써, (i) 상기 페어 각각에 포함된, 상기 제1 원본 ROI 및 상기 제2 원본 ROI가 통합되기에 적합할 확률에 관한 정보를 포함하는 하나 이상의 판별 벡터 및 (ii) 상기 통합 이미지 상에서, 상기 페어 중 적어도 일부의 각 요소의 각 기존 위치와 비교한, 상기 페어 중 상기 적어도 일부에 대응하는 통합 ROI의 각 상대 위치에 관한 정보를 포함하는 하나 이상의 박스 리그레션(regression) 벡터를 생성하도록 하는 단계; 및 (c) 상기 학습 장치가, 로스 유닛으로 하여금, 상기 판별 벡터와 상기 박스 리그레션 벡터, 및 이에 대응하는 GT(Ground Truth)를 참조로 하여, 통합 로스를 생성하도록 하고, 상기 통합 로스를 이용하여 백프로퍼게이션(backpropagation)을 수행함으로써 상기 DNN에 포함된 파라미터 중 적어도 일부를 학습하도록 하는 단계; 를 포함하는 것을 특징으로 하는 방법이 개시된다.
일 실시예에서, 상기 (a) 단계에서, 상기 페어 특징 벡터 중 하나인 특정 페어 특징 벡터는, (i) 상기 제1 원본 이미지에 포함된 제1 특정 객체의 제1 클래스 정보, (ii) 상기 제1 특정 객체를 포함하는 제1 특정 원본 ROI의 특징 값, (iii) 상기 제1 특정 원본 ROI에 대응하는 제1 특정 원본 바운딩 박스의 좌표 값, (iv) 상기 제1 특정 원본 ROI의 좌표 값, (v) 상기 제2 원본 이미지에 포함된 제2 특정 객체의 제2 클래스 정보, (vi) 상기 제2 특정 객체를 포함하는 제2 특정 원본 ROI의 특징 값, (vii) 상기 제2 특정 원본 ROI에 대응하는 제2 특정 원본 바운딩 박스의 좌표 값, 및 (viii) 상기 제2 특정 원본 ROI의 좌표 값을 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 (b) 단계에서, 상기 특정 페어 특징 벡터에 대응하는, 상기 판별 벡터 중 하나인 특정 판별 벡터는, 상기 제1 특정 원본 ROI 및 상기 제2 특정 원본 ROI가 상기 통합 이미지에 통합될 확률에 관한 정보를 포함하고, 상기 특정 페어 특징 벡터에 대응하는, 상기 박스 리그레션 벡터 중 하나인 특정 박스 리그레션 벡터는, 상기 통합 이미지 상의 상기 제1 특정 원본 ROI 및 상기 제2 특정 원본 ROI를 통합하여 생성되는 특정 통합 바운딩 박스의 좌표에 관한 정보를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 (c) 단계에서, 상기 학습 장치는, 상기 로스 유닛으로 하여금, (i) 크로스 엔트로피(cross entropy) 방식을 통해 상기 판별 벡터 중 적어도 일부를 사용하여 판별 로스를 생성하고, (ii) 스무스 L1(smooth-L1) 방식을 통해 상기 박스 리그레션 벡터 중 적어도 일부를 사용하여 박스 리그레션 로스를 생성한 후, (iii) 상기 판별 로스 및 상기 박스 리그레션 로스를 참조로 하여 상기 통합 로스를 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (c) 단계에서,
상기 판별 로스는 하기 수식에 따라 생성되되,
Figure pat00001
Figure pat00002
은 상기 판별 벡터의 개수를,
Figure pat00003
는 제i 판별 벡터를, 그리고
Figure pat00004
는 상기 제i 판별 벡터에 대한 제i 판별 GT 벡터를 의미하고,
상기 박스 리그레션 로스는 하기 수식에 따라 생성되되,
Figure pat00005
Figure pat00006
Figure pat00007
은 상기 박스 리그레션 벡터의 개수를,
Figure pat00008
는 제i 박스 리그레션 벡터를, 그리고
Figure pat00009
는 상기 제i 박스 리그레션 벡터에 대한 제i 박스 리그레션 GT 벡터를 의미하는 것을 특징으로 한다.
일 실시예에서, 상기 학습 장치가, 상기 DNN의 하나 이상의 레이어에 포함된 각 딥러닝 뉴런으로 하여금, 그의 적어도 하나의 파라미터를 사용하여 상기 각 딥러닝 뉴런의 입력에 하나 이상의 컨벌루션 연산을 적용하고, 상기 각 딥러닝 뉴런의 출력을 다음 딥러닝 뉴런에 전달하는 과정을 반복함으로써, 상기 페어 특징 벡터, 상기 판별 벡터 및 상기 박스 리그레션 벡터를 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (b) 단계에서, 상기 학습 장치가, 상기 DNN에 포함된 상기 판별 네트워크로 하여금, 상기 페어 특징 벡터에 상기 FC 연산 중 적어도 일부를 적용하여 상기 판별 벡터를 생성하도록 한 다음, 상기 페어 특징 벡터 중, 특정 페어가 통합될 특정 확률을 나타내는 특정 판별 벡터의 값이 기설정된 임계 값 이상인 하나 이상의 특정 페어 특징 벡터에 상기 FC 연산 중 나머지 일부를 적용하여, 상기 특정 페어 특징 벡터에 대응하는 상기 박스 리그레션 벡터를 생성하도록 하는 것을 특징으로 한다.
본 발명의 다른 태양에 따르면, 적어도 하나의 테스트용 통합 이미지를 생성하는데 이용될, 테스트용 특정 공간에 대한 제1 테스트용 원본 이미지 및 제2 테스트용 원본 이미지에 각각 대응하는, 제1 테스트용 객체 검출 정보 및 제2 테스트용 객체 검출 정보를 통합하여, 상기 테스트용 통합 이미지에 추가로 연산을 하지 않고 상기 테스트용 통합 이미지의 테스트용 통합 객체 검출 정보를 생성하는 테스팅 방법에 있어서, (a) (1) 학습 장치가, 제1 학습용 원본 이미지 및 제2 학습용 원본 이미지가 처리되어 생성된, 제1 학습용 객체 검출 정보 및 제2 학습용 객체 검출 정보를 획득하면, DNN에 포함된 컨캐터네이팅 네트워크로 하여금, 상기 제1 학습용 원본 이미지에 포함된 제1 학습용 원본 ROI 및 상기 제2 학습용 원본 이미지에 포함된, 제2 학습용 원본 ROI의 하나 이상의 학습용 페어에 관한 정보를 포함하는 하나 이상의 학습용 페어 특징 벡터를 생성하도록 하고, (2) 상기 학습 장치가, 상기 DNN에 포함된 판별 네트워크로 하여금, 상기 학습용 페어 특징 벡터에 하나 이상의 FC 연산을 적용함으로써, (i) 상기 학습용 페어 각각에 포함된, 상기 제1 학습용 원본 ROI 및 상기 제2 학습용 원본 ROI가 통합되기에 적합할 확률에 관한 정보를 포함하는 하나 이상의 학습용 판별 벡터 및 (ii) 상기 학습용 통합 이미지 상에서, 상기 학습용 페어 중 적어도 일부의 각 요소의 각 기존 위치와 비교한, 상기 학습용 페어 중 상기 적어도 일부에 대응하는 학습용 통합 ROI의 각 상대 위치에 관한 정보를 포함하는 하나 이상의 학습용 박스 리그레션 벡터를 생성하도록 하며, (3) 상기 학습 장치가, 로스 유닛으로 하여금, 상기 학습용 판별 벡터와 상기 학습용 박스 리그레션 벡터, 및 이에 대응하는 GT를 참조로 하여, 통합 로스를 생성하도록 하고, 상기 통합 로스를 이용하여 백프로퍼게이션을 수행함으로써 상기 DNN에 포함된 파라미터 중 적어도 일부를 학습하도록 한 상태에서, 테스팅 장치가, 상기 제1 테스트용 원본 이미지 및 상기 제2 테스트용 원본 이미지가 처리되어 생성된, 상기 제1 테스트용 객체 검출 정보 및 상기 제2 테스트용 객체 검출 정보를 획득하면, 상기 DNN에 포함된 상기 컨캐터네이팅 네트워크로 하여금, 상기 제1 테스트용 원본 이미지에 포함된 제1 테스트용 원본 ROI 및 상기 제2 테스트용 원본 이미지에 포함된 제2 테스트용 원본 ROI의 하나 이상의 테스트용 페어에 관한 정보를 포함하는 하나 이상의 테스트용 페어 특징 벡터를 생성하도록 하는 단계; (b) 상기 테스팅 장치가, 상기 DNN에 포함된 상기 판별 네트워크로 하여금, 상기 테스트용 페어 특징 벡터에 상기 FC 연산을 적용함으로써, (i) 상기 테스트용 페어 각각에 포함된, 상기 제1 테스트용 원본 ROI 및 상기 제2 테스트용 원본 ROI가 통합되기에 적합할 확률에 관한 정보를 포함하는 하나 이상의 테스트용 판별 벡터 및 (ii) 상기 테스트용 통합 이미지 상에서, 상기 테스트용 페어 중 적어도 일부의 각 요소의 각 기존 위치와 비교한, 상기 테스트용 페어 중 상기 적어도 일부에 대응하는 테스트용 통합 ROI의 각 상대 위치에 관한 정보를 포함하는 하나 이상의 테스트용 박스 리그레션 벡터를 생성하도록 하는 단계; 및 (c) 상기 테스팅 장치가, 병합 유닛으로 하여금, 상기 테스트용 판별 벡터 및 상기 테스트용 박스 리그레션 벡터를 참조로 하여, 제1 테스트용 원본 바운딩 박스 및 제2 테스트용 원본 바운딩 박스로 이루어진 상기 테스트용 페어 중 적어도 일부를 병합함으로써 상기 테스트용 통합 객체 검출 정보를 생성하도록 하는 단계; 를 포함하는 것을 특징으로 하는 방법이 개시된다.
일 실시예에서, 상기 제1 테스트용 객체 검출 정보 및 상기 제2 테스트용 객체 검출 정보는, 상기 테스팅 장치가 탑재된 차량에 설치된, 제1 방향을 담당하는 제1 카메라 및 제2 방향을 담당하는 제2 카메라를 통해 획득된, 상기 제1 테스트용 원본 이미지 및 상기 제2 테스트용 원본 이미지로부터 획득되는 것을 특징으로 한다.
일 실시예에서, 상기 (a) 단계에서, 상기 테스트용 페어 특징 벡터 중 하나인 테스트용 특정 페어 특징 벡터는, (i) 상기 제1 테스트용 원본 이미지에 포함된 제1 테스트용 특정 객체의 제1 테스트용 클래스 정보, (ii) 상기 제1 테스트용 특정 객체를 포함하는 제1 테스트용 특정 원본 ROI의 테스트용 특징 값, (iii) 상기 제1 테스트용 특정 원본 ROI에 대응하는 제1 테스트용 특정 원본 바운딩 박스의 좌표 값, (iv) 상기 제1 테스트용 특정 원본 ROI의 좌표 값, (v) 상기 제2 테스트용 원본 이미지에 포함된 제2 테스트용 특정 객체의 제2 테스트용 클래스 정보, (vi) 상기 제2 테스트용 특정 객체를 포함하는 제2 테스트용 특정 원본 ROI의 테스트용 특징 값, (vii) 상기 제2 테스트용 특정 원본 ROI에 대응하는 제2 테스트용 특정 원본 바운딩 박스의 좌표 값, 및 (viii) 상기 제2 테스트용 특정 원본 ROI의 좌표 값을 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 (b) 단계에서, 상기 테스트용 특정 페어 특징 벡터에 대응하는, 상기 테스트용 판별 벡터 중 하나인 테스트용 특정 판별 벡터는, 상기 제1 테스트용 특정 원본 ROI 및 상기 제2 테스트용 특정 원본 ROI가 상기 테스트용 통합 이미지에 통합될 확률에 관한 정보를 포함하고, 상기 테스트용 특정 페어 특징 벡터에 대응하는, 상기 테스트용 박스 리그레션 벡터 중 하나인 테스트용 특정 박스 리그레션 벡터는, 상기 테스트용 통합 이미지 상의 상기 제1 테스트용 특정 원본 ROI 및 상기 제2 테스트용 특정 원본 ROI를 통합하여 생성되는 테스트용 특정 통합 바운딩 박스의 좌표에 관한 정보를 포함하는 것을 특징으로 한다.
본 발명의 다른 태양에 따르면, 적어도 하나의 통합 이미지를 생성하는데 이용될, 특정 공간에 대한 제1 원본 이미지 및 제2 원본 이미지에 각각 대응하는, 제1 객체 검출 정보 및 제2 객체 검출 정보를 통합하여, 상기 통합 이미지에 추가로 연산을 하지 않고 상기 통합 이미지의 통합 객체 검출 정보를 생성하는 학습 장치에 있어서, 인스트럭션들을 저장하는 하나 이상의 메모리; 및 (I) 상기 제1 원본 이미지 및 상기 제2 원본 이미지가 처리되어 생성된, 상기 제1 객체 검출 정보 및 상기 제2 객체 검출 정보를 획득하면, DNN(Deep Neural Network)에 포함된 컨캐터네이팅(concatenating) 네트워크로 하여금, 상기 제1 원본 이미지에 포함된 제1 원본 ROI(region of interest) 및 상기 제2 원본 이미지에 포함된 제2 원본 ROI의 하나 이상의 페어에 관한 정보를 포함하는 하나 이상의 페어 특징 벡터를 생성하도록 하는 프로세스, (II) 상기 DNN에 포함된 판별 네트워크로 하여금, 상기 페어 특징 벡터에 하나 이상의 FC(fully connected) 연산을 적용함으로써, (i) 상기 페어 각각에 포함된, 상기 제1 원본 ROI 및 상기 제2 원본 ROI가 통합되기에 적합할 확률에 관한 정보를 포함하는 하나 이상의 판별 벡터 및 (ii) 상기 통합 이미지 상에서, 상기 페어 중 적어도 일부의 각 요소의 각 기존 위치와 비교한, 상기 페어 중 상기 적어도 일부에 대응하는 통합 ROI의 각 상대 위치에 관한 정보를 포함하는 하나 이상의 박스 리그레션(regression) 벡터를 생성하도록 하는 프로세스, 및 (III) 로스 유닛으로 하여금, 상기 판별 벡터와 상기 박스 리그레션 벡터, 및 이에 대응하는 GT(Ground Truth)를 참조로 하여, 통합 로스를 생성하도록 하고, 상기 통합 로스를 이용하여 백프로퍼게이션(backpropagation)을 수행함으로써 상기 DNN에 포함된 파라미터 중 적어도 일부를 학습하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 학습 장치가 개시된다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 페어 특징 벡터 중 하나인 특정 페어 특징 벡터는, (i) 상기 제1 원본 이미지에 포함된 제1 특정 객체의 제1 클래스 정보, (ii) 상기 제1 특정 객체를 포함하는 제1 특정 원본 ROI의 특징 값, (iii) 상기 제1 특정 원본 ROI에 대응하는 제1 특정 원본 바운딩 박스의 좌표 값, (iv) 상기 제1 특정 원본 ROI의 좌표 값, (v) 상기 제2 원본 이미지에 포함된 제2 특정 객체의 제2 클래스 정보, (vi) 상기 제2 특정 객체를 포함하는 제2 특정 원본 ROI의 특징 값, (vii) 상기 제2 특정 원본 ROI에 대응하는 제2 특정 원본 바운딩 박스의 좌표 값, 및 (viii) 상기 제2 특정 원본 ROI의 좌표 값을 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 특정 페어 특징 벡터에 대응하는, 상기 판별 벡터 중 하나인 특정 판별 벡터는, 상기 제1 특정 원본 ROI 및 상기 제2 특정 원본 ROI가 상기 통합 이미지에 통합될 확률에 관한 정보를 포함하고, 상기 특정 페어 특징 벡터에 대응하는, 상기 박스 리그레션 벡터 중 하나인 특정 박스 리그레션 벡터는, 상기 통합 이미지 상의 상기 제1 특정 원본 ROI 및 상기 제2 특정 원본 ROI를 통합하여 생성되는 특정 통합 바운딩 박스의 좌표에 관한 정보를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 (III) 프로세스에서, 상기 프로세서는, 상기 로스 유닛으로 하여금, (i) 크로스 엔트로피 방식을 통해 상기 판별 벡터 중 적어도 일부를 사용하여 판별 로스를 생성하고, (ii) 스무스 L1 방식을 통해 상기 박스 리그레션 벡터 중 적어도 일부를 사용하여 박스 리그레션 로스를 생성한 후, (iii) 상기 판별 로스 및 상기 박스 리그레션 로스를 참조로 하여 상기 통합 로스를 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (III) 프로세스에서,
상기 판별 로스는 하기 수식에 따라 생성되되,
Figure pat00010
Figure pat00011
은 상기 판별 벡터의 개수를,
Figure pat00012
는 제i 판별 벡터를, 그리고
Figure pat00013
는 상기 제i 판별 벡터에 대한 제i 판별 GT 벡터를 의미하고,
상기 박스 리그레션 로스는 하기 수식에 따라 생성되되,
Figure pat00014
Figure pat00015
Figure pat00016
은 상기 박스 리그레션 벡터의 개수를,
Figure pat00017
는 제i 박스 리그레션 벡터를, 그리고
Figure pat00018
는 상기 제i 박스 리그레션 벡터에 대한 제i 박스 리그레션 GT 벡터를 의미하는 것을 특징으로 한다.
일 실시예에서, 상기 프로세서가, 상기 DNN의 하나 이상의 레이어에 포함된 각 딥러닝 뉴런으로 하여금, 그의 적어도 하나의 파라미터를 사용하여 상기 각 딥러닝 뉴런의 입력에 하나 이상의 컨벌루션 연산을 적용하고, 상기 각 딥러닝 뉴런의 출력을 다음 딥러닝 뉴런에 전달하는 과정을 반복함으로써, 상기 페어 특징 벡터, 상기 판별 벡터 및 상기 박스 리그레션 벡터를 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서가, 상기 DNN에 포함된 상기 판별 네트워크로 하여금, 상기 페어 특징 벡터에 상기 FC 연산 중 적어도 일부를 적용하여 상기 판별 벡터를 생성하도록 한 다음, 상기 페어 특징 벡터 중, 특정 페어가 통합될 특정 확률을 나타내는 특정 판별 벡터의 값이 기설정된 임계 값 이상인 하나 이상의 특정 페어 특징 벡터에 상기 FC 연산 중 나머지 일부를 적용하여, 상기 특정 페어 특징 벡터에 대응하는 상기 박스 리그레션 벡터를 생성하도록 하는 것을 특징으로 한다.
본 발명의 다른 태양에 따르면, 적어도 하나의 테스트용 통합 이미지를 생성하는데 이용될, 테스트용 특정 공간에 대한 제1 테스트용 원본 이미지 및 제2 테스트용 원본 이미지에 각각 대응하는, 제1 테스트용 객체 검출 정보 및 제2 테스트용 객체 검출 정보를 통합하여, 상기 테스트용 통합 이미지에 추가로 연산을 하지 않고 상기 테스트용 통합 이미지의 테스트용 통합 객체 검출 정보를 생성하는 테스팅 장치에 있어서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 (I) (1) 학습 장치가, 제1 학습용 원본 이미지 및 제2 학습용 원본 이미지가 처리되어 생성된, 제1 학습용 객체 검출 정보 및 제2 학습용 객체 검출 정보를 획득하면, DNN에 포함된 컨캐터네이팅 네트워크로 하여금, 상기 제1 학습용 원본 이미지에 포함된 제1 학습용 원본 ROI 및 상기 제2 학습용 원본 이미지에 포함된, 제2 학습용 원본 ROI의 하나 이상의 학습용 페어에 관한 정보를 포함하는 하나 이상의 학습용 페어 특징 벡터를 생성하도록 하고, (2) 상기 학습 장치가, 상기 DNN에 포함된 판별 네트워크로 하여금, 상기 학습용 페어 특징 벡터에 하나 이상의 FC 연산을 적용함으로써, (i) 상기 학습용 페어 각각에 포함된, 상기 제1 학습용 원본 ROI 및 상기 제2 학습용 원본 ROI가 통합되기에 적합할 확률에 관한 정보를 포함하는 하나 이상의 학습용 판별 벡터 및 (ii) 상기 학습용 통합 이미지 상에서, 상기 학습용 페어 중 적어도 일부의 각 요소의 각 기존 위치와 비교한, 상기 학습용 페어 중 상기 적어도 일부에 대응하는 학습용 통합 ROI의 각 상대 위치에 관한 정보를 포함하는 하나 이상의 학습용 박스 리그레션 벡터를 생성하도록 하며, (3) 상기 학습 장치가, 로스 유닛으로 하여금, 상기 학습용 판별 벡터와 상기 학습용 박스 리그레션 벡터, 및 이에 대응하는 GT를 참조로 하여, 통합 로스를 생성하도록 하고, 상기 통합 로스를 이용하여 백프로퍼게이션을 수행함으로써 상기 DNN에 포함된 파라미터 중 적어도 일부를 학습하도록 한 상태에서, 상기 제1 테스트용 원본 이미지 및 상기 제2 테스트용 원본 이미지가 처리되어 생성된, 상기 제1 테스트용 객체 검출 정보 및 상기 제2 테스트용 객체 검출 정보를 획득하면, 상기 DNN에 포함된 상기 컨캐터네이팅 네트워크로 하여금, 상기 제1 테스트용 원본 이미지에 포함된 제1 테스트용 원본 ROI 및 상기 제2 테스트용 원본 이미지에 포함된 제2 테스트용 원본 ROI의 하나 이상의 테스트용 페어에 관한 정보를 포함하는 하나 이상의 테스트용 페어 특징 벡터를 생성하도록 하는 프로세스, (II) 상기 DNN에 포함된 상기 판별 네트워크로 하여금, 상기 테스트용 페어 특징 벡터에 상기 FC 연산을 적용함으로써, (i) 상기 테스트용 페어 각각에 포함된, 상기 제1 테스트용 원본 ROI 및 상기 제2 테스트용 원본 ROI가 통합되기에 적합할 확률에 관한 정보를 포함하는 하나 이상의 테스트용 판별 벡터 및 (ii) 상기 테스트용 통합 이미지 상에서, 상기 테스트용 페어 중 적어도 일부의 각 요소의 각 기존 위치와 비교한, 상기 테스트용 페어 중 상기 적어도 일부에 대응하는 테스트용 통합 ROI의 각 상대 위치에 관한 정보를 포함하는 하나 이상의 테스트용 박스 리그레션 벡터를 생성하도록 하는 프로세스, 및 (III) 병합 유닛으로 하여금, 상기 테스트용 판별 벡터 및 상기 테스트용 박스 리그레션 벡터를 참조로 하여, 제1 테스트용 원본 바운딩 박스 및 제2 테스트용 원본 바운딩 박스로 이루어진 상기 테스트용 페어 중 적어도 일부를 병합함으로써 상기 테스트용 통합 객체 검출 정보를 생성하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 테스팅 장치가 개시된다.
일 실시예에서, 상기 제1 테스트용 객체 검출 정보 및 상기 제2 테스트용 객체 검출 정보는, 상기 테스팅 장치가 탑재된 차량에 설치된, 제1 방향을 담당하는 제1 카메라 및 제2 방향을 담당하는 제2 카메라를 통해 획득된, 상기 제1 테스트용 원본 이미지 및 상기 제2 테스트용 원본 이미지로부터 획득되는 것을 특징으로 한다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 테스트용 페어 특징 벡터 중 하나인 테스트용 특정 페어 특징 벡터는, (i) 상기 제1 테스트용 원본 이미지에 포함된 제1 테스트용 특정 객체의 제1 테스트용 클래스 정보, (ii) 상기 제1 테스트용 특정 객체를 포함하는 제1 테스트용 특정 원본 ROI의 테스트용 특징 값, (iii) 상기 제1 테스트용 특정 원본 ROI에 대응하는 제1 테스트용 특정 원본 바운딩 박스의 좌표 값, (iv) 상기 제1 테스트용 특정 원본 ROI의 좌표 값, (v) 상기 제2 테스트용 원본 이미지에 포함된 제2 테스트용 특정 객체의 제2 테스트용 클래스 정보, (vi) 상기 제2 테스트용 특정 객체를 포함하는 제2 테스트용 특정 원본 ROI의 테스트용 특징 값, (vii) 상기 제2 테스트용 특정 원본 ROI에 대응하는 제2 테스트용 특정 원본 바운딩 박스의 좌표 값, 및 (viii) 상기 제2 테스트용 특정 원본 ROI의 좌표 값을 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 테스트용 특정 페어 특징 벡터에 대응하는, 상기 테스트용 판별 벡터 중 하나인 테스트용 특정 판별 벡터는, 상기 제1 테스트용 특정 원본 ROI 및 상기 제2 테스트용 특정 원본 ROI가 상기 테스트용 통합 이미지에 통합될 확률에 관한 정보를 포함하고, 상기 테스트용 특정 페어 특징 벡터에 대응하는, 상기 테스트용 박스 리그레션 벡터 중 하나인 테스트용 특정 박스 리그레션 벡터는, 상기 테스트용 통합 이미지 상의 상기 제1 테스트용 특정 원본 ROI 및 상기 제2 테스트용 특정 원본 ROI를 통합하여 생성되는 테스트용 특정 통합 바운딩 박스의 좌표에 관한 정보를 포함하는 것을 특징으로 한다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명은 특정 공간의 각 원본 이미지를 통합하여 특정 공간에 대한 통합 이미지를 생성할 때, 각 원본 이미지에 대한 각 객체 검출 정보를 통합하여 상기 통합 이미지에 대한 통합 객체 검출 정보를 생성함으로써, 통합 이미지에 포함된 객체를 검출하는 연산의 중복성을 줄여 주변 공간에 대해 보다 상세하고 정확한 정보로 상기 통합 이미지를 생성할 수 있도록 하는 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 실시예에 따라 특정 공간에 대한 각 원본 이미지를 통합하여 상기 특정 공간에 대한 통합 이미지를 생성할 때, 각 원본 이미지에 대한 각 객체 검출 정보를 통합하여 상기 통합 이미지에 추가적인 연산을 하지 않고도 상기 통합 이미지에 대한 통합 객체 검출 정보를 생성하는 학습 방법을 수행하는 학습 장치를 개략적으로 나타낸 도면이다.
도 2는 본 발명의 실시예에 따라 상기 특정 공간에 대한 각각의 상기 원본 이미지를 통합하여 상기 특정 공간에 대한 상기 통합 이미지를 생성할 때, 각각의 상기 원본 이미지에 대한 각각의 상기 객체 검출 정보를 통합하여 상기 통합 이미지에 추가적인 연산을 하지 않고도 상기 통합 이미지에 대한 상기 통합 객체 검출 정보를 생성하는 상기 학습 방법을 수행하는 상기 학습 장치의 구체적인 동작 방식을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 실시예에 따라 상기 특정 공간에 대한 각각의 상기 원본 이미지를 통합하여 상기 특정 공간에 대한 상기 통합 이미지를 생성할 때, 각각의 상기 원본 이미지에 대한 각각의 상기 객체 검출 정보를 통합하여 상기 통합 이미지에 추가적인 연산을 하지 않고도 상기 통합 이미지에 대한 상기 통합 객체 검출 정보를 생성하는 상기 학습 방법을 통해 제1 특정 원본 ROI 및 제2 특정 원본 ROI를 통합하는 일예시를 개략적으로 나타낸 도면이다.
도 4는 본 발명의 실시예에 따라 상기 특정 공간에 대한 각각의 상기 원본 이미지를 통합하여 상기 특정 공간에 대한 상기 통합 이미지를 생성할 때, 각각의 상기 원본 이미지에 대한 각각의 상기 객체 검출 정보를 통합하여 상기 통합 이미지에 추가적인 연산을 하지 않고도 상기 통합 이미지에 대한 상기 통합 객체 검출 정보를 생성하는 상기 학습 방법의 수행이 완료된 상태인 테스팅 장치의 구체적인 동작 방식을 개략적으로 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따라 특정 공간에 대한 각 원본 이미지를 통합하여 상기 특정 공간에 대한 통합 이미지를 생성할 때, 각 원본 이미지에 대한 각 객체 검출 정보를 통합하여 상기 통합 이미지에 추가적인 연산을 하지 않고도 상기 통합 이미지에 대한 통합 객체 검출 정보를 생성하는 학습 방법을 수행하는 학습 장치(100)를 개략적으로 나타낸 도면이다.
도 1을 참조하면, 상기 학습 장치(100)는, 추후 자세히 설명할 구성요소인 DNN(200)을 포함할 수 있다. 상기 DNN(200)의 입출력 및 연산 과정은 통신부(110) 및 프로세서(120)에 의해 각각 이루어질 수 있다. 이 때, 메모리(115)는 후술할 여러 가지 인스트럭션들을 저장한 상태일 수 있고, 상기 프로세서(120)는 상기 메모리(115)에 저장된 인스트럭션들을 수행하도록 설정되고, 추후 설명할 상기 인스트럭션들을 수행함으로써 본 발명의 프로세스를 수행할 수 있다. 이와 같이 상기 학습 장치(100)가 묘사되었다고 하여, 상기 학습 장치(100)가 프로세서, 메모리, 매체 또는 기타 연산 요소를 포함한 통합 장치를 배제하는 것은 아니다.
이상 본 발명의 실시예에 따라 상기 특정 공간에 대한 각각의 상기 원본 이미지를 통합하여 상기 특정 공간에 대한 상기 통합 이미지를 생성할 때, 각각의 상기 원본 이미지에 대한 각각의 상기 객체 검출 정보를 통합하여 상기 통합 이미지에 추가적인 연산을 하지 않고도 상기 통합 이미지에 대한 상기 통합 객체 검출 정보를 생성하는 상기 학습 방법을 수행하는 상기 학습 장치(100)의 구성에 대해 설명한 바, 이하 도 2를 참조로 하여 상기 DNN(200)의 구체적인 구성 및 학습 프로세스에 대해 설명하도록 한다.
도 2는 본 발명의 실시예에 따라 상기 특정 공간에 대한 각각의 상기 원본 이미지를 통합하여 상기 특정 공간에 대한 상기 통합 이미지를 생성할 때, 각각의 상기 원본 이미지에 대한 각각의 상기 객체 검출 정보를 통합하여 상기 통합 이미지에 추가적인 연산을 하지 않고도 상기 통합 이미지에 대한 상기 통합 객체 검출 정보를 생성하는 상기 학습 방법을 수행하는 상기 학습 장치의 구체적인 동작 방식을 개략적으로 나타낸 도면이다.
도 2를 참조하면, 상기 DNN(200)은 컨캐터네이팅(concatenating) 네트워크(210) 및 판별 네트워크(220)를 포함할 수 있으며, 상기 학습 장치(100)는 상기 DNN(200)에 대응하는 로스 유닛(230)을 포함할 수 있다. 구체적으로, 상기 학습 장치(100)는, 상기 특정 공간에 대한 각각의 상기 원본 이미지에 대한 각각의 상기 객체 검출 정보가 획득되면, 상기 각각의 객체 검출 정보를 상기 DNN(200)에 포함된 상기 컨캐터네이팅 네트워크(210)에 전달할 수 있다. 이 때, 상기 각각의 객체 검출 정보는, 각각의 상기 원본 이미지에 포함된 각 ROI, 각각의 상기 ROI에 포함된 각 객체 및 이에 대응하는 원본 바운딩 박스에 관한 정보를 포함할 수 있다. 또한, 상기 특정 공간에 대한 각각의 상기 원본 이미지는 동일한 시점에 다양한 관점에서 추출한 상기 특정 공간의 각 이미지일 수 있다. 따라서, 각각의 상기 원본 이미지의 각 내용은 동일 또는 유사할 것이고, 각각의 상기 원본 이미지에 대한 각 원본 ROI 역시 서로 동일 또는 유사한 영역을 포함할 수 있다.
이와 같이 상기 객체 검출 정보가 획득되면, 상기 컨캐터네이팅 네트워크(210)는 상기 원본 ROI에 포함된 각각의 상기 원본 바운딩 박스 중 적어도 일부를 페어링 함으로써 하나 이상의 소위 페어 특징 벡터를 생성할 수 있다. 일 예로, 상기 컨캐터네이팅 네트워크(210)는, 제1 원본 ROI 및 제2 원본 ROI에 각각 포함되는, 제1 특정 원본 바운딩 박스 및 제2 특정 원본 바운딩 박스를 통합하여, (i) 상기 제1 원본 바운딩 박스의 특징 값 (ii) 상기 제1 원본 바운딩 박스의 좌표 정보, (iii) 상기 제1 원본 바운딩 박스에 포함된 객체에 대한 제1 클래스 정보, (iv) 상기 제2 원본 바운딩 박스의 특징 값, (v) 상기 제2 원본 바운딩 박스의 좌표 정보, (vi) 상기 제2 원본 바운딩 박스에 포함된 객체에 관한 제2 클래스 정보, (vii) 상기 제1 특정 원본 ROI의 좌표, 및 (viii) 상기 제2 특정 원본 ROI의 좌표를 포함하는, 상기 페어 특징 벡터 중의 특정 페어 특징 벡터를 생성할 수 있다. 이 때, 제1 원본 이미지에 대한 제1 객체 검출 정보는 (i, ii, iii 및 vii)을, 제2 객체 검출 정보는 (iv, v, vi 및 viii)을 포함할 수 있다. 상기 제1 특정 원본 ROI는 하나 이상의 제1 원본 바운딩 박스를 포함할 수 있고, 상기 제2 특정 원본 ROI는 하나 이상의 제2 원본 바운딩 박스를 포함할 수 있으며, 상기 제1 특정 원본 ROI에 포함된 각각의 상기 제1 원본 바운딩 박스 및 상기 제2 특정 원본 ROI에 포함된 각각의 상기 제2 원본 바운딩 박스는 한번 페어링 됨으로써 각각의 상기 페어 특징 벡터를 생성할 수 있다.
상기 제1 특정 원본 바운딩 박스를 포함하는 이러한 제1 원본 ROI는 상기 원본 이미지 중 하나인 제1 원본 이미지에 포함될 수 있다. 이와 마찬가지로, 상기 제2 특정 원본 바운딩 박스를 포함하는 상기 제2 원본 ROI는 제2 원본 이미지에 포함될 수 있다.
도 3을 참조로 하면, 상기 특정 페어 특징 벡터의 예시는 하기 구체적으로 살필 수 있다.
도 3은 본 발명의 실시예에 따라 상기 특정 공간에 대한 각각의 상기 원본 이미지를 통합하여 상기 특정 공간에 대한 상기 통합 이미지를 생성할 때, 각각의 상기 원본 이미지에 대한 각각의 상기 객체 검출 정보를 통합하여 상기 통합 이미지에 추가적인 연산을 하지 않고도 상기 통합 이미지에 대한 상기 통합 객체 검출 정보를 생성하는 상기 학습 방법을 통해 제1 특정 원본 ROI 및 제2 특정 원본 ROI를 통합하는 일예시를 개략적으로 나타낸 도면이다.
상기 제1 특정 원본 ROI는 남성을 포함하는 상기 제1 바운딩 박스 중 하나 및, 여성의 상반신을 포함하는 상기 제1 바운딩 박스 중 다른 하나를 포함할 수 있고, 상기 제2 특정 원본 ROI는 상기 여성을 포함하는 상기 제2 바운딩 박스 중 하나 및 차량을 포함하는 상기 제2 바운딩 박스 중 다른 하나를 포함할 수 있다. 이 때, 총 네 개의 바운딩 박스 페어가 생성될 수 있는데, 여기에는, (i) 상기 여성을 포함하는 상기 제2 바운딩 박스 중 하나와 함께 상기 여성의 상반신을 포함하는 상기 제1 바운딩 박스 중 하나, (ii) 상기 차량을 포함하는 상기 제2 바운딩 박스 중 다른 하나와 함께 상기 여성의 상반신을 포함하는 상기 제1 바운딩 박스 중 하나, (iii) 상기 여성을 포함하는 상기 제2 바운딩 박스 중 하나와 함께 상기 남성을 포함하는 상기 제1 바운딩 박스 중 다른 하나, 및 (iv) 상기 차량을 포함하는 상기 제2 바운딩 박스 중 다른 하나와 함께 상기 남성을 포함하는 상기 제1 바운딩 박스 중 다른 하나가 포함된다. 일예로, 상기 여성을 포함하는 상기 제2 바운딩 박스 중 상기 하나와 함께 상기 여성의 상반신을 포함하는 상기 제1 바운딩 박스 중 상기 하나의 상기 페어를 사용하여 생성된 상기 특정 페어 특징 벡터는 이러한 바운딩 박스에 관해 상기 전술한 정보를 포함할 수 있다.
이와 같이 상기 페어 특징 벡터가 생성되면, 상기 학습 장치(100)는, 상기 DNN(200)에 포함된 상기 판별 네트워크(220)로 하여금, 적어도 하나의 FC 연산을 통해, 하나 이상의 판별 벡터
Figure pat00019
및 하나 이상의 박스 리그레션 벡터
Figure pat00020
을 생성하도록 한다. 이 때, 상기 판별 벡터
Figure pat00021
중 하나는, 두 개의 원본 ROI에 페어로서 포함된 상기 두 개의 원본 바운딩 박스가 통합될 수 있는지를 나타낼 수 있다. 일 예시로, 이의 제1 구성요소는 상기 두 개의 원본 바운딩 박스가 통합될 확률일 수 있고, 이의 제2 구성요소는 상기 두 개의 원본 바운딩 박스가 통합되지 않을 확률일 수 있다. 이 때, 상기 판별 네트워크(220)는 각 구성요소의 각 확률을 계산할 수 있다. 도 2를 다시 참조하면, 상기 특정 페어 특징 벡터에 대응하는 상기 페어가 통합될 확률이 0.9로 계산된 것을 확인할 수 있다. 상기 박스 리그레션 벡터
Figure pat00022
중 하나는, 상기 두 개의 원본 바운딩 박스가 통합됨에 따라, 꼭짓점 좌표 변경에 대응하는 변경 값을 그 구성요소로 하는 벡터일 수 있다. 구체적으로, 상기 박스 리그레션 벡터 중 하나에 포함된 상기 변경 값은, (I) 상기 두 개의 원본 바운딩 박스의 교집합 중심의 (i) 가로 길이, (ii) 세로 길이 및 (iii) x좌표 및 y좌표와 (II) 상기 두 개의 원본 바운딩 박스가 통합될 통합 바운딩 박스의 중심의 (i) 가로 길이, (ii) 세로 길이 및 (iii) x좌표 및 y좌표 간 각 차이 정보에 대응할 수 있다. 즉, 상기 박스 리그레션 벡터는, 상기 통합 이미지 상에서, 상기 페어 중 적어도 일부에 관한 각 구성요소의 기존 위치 정보와 비교하여, 상기 페어 중 적어도 일부에 대응하는 통합 ROI의 각 상대 위치 정보를 포함할 수 있다.
일 실시예에서, 상기 박스 리그레션 벡터는 상기 모든 페어 특징 벡터에 대응할 수 없다. 즉, 상기 박스 리그레션 벡터는 상기 페어 특징 벡터 중 일부를 선택하고, 상기 FC 연산 중 적어도 일부를 상기 선택된 페어 특징 벡터에 적용하여 생성될 수 있다. 이러한 예시는 추후 상세히 설명될 것이다.
이와 같이 상기 판별 벡터 및 상기 박스 리그레션 벡터가 생성되면, 상기 학습 장치(100)는 상기 로스 유닛(230)으로 하여금, 상기 판별 벡터, 상기 박스 리그레션 벡터 및 이에 대응하는 GT를 참조로 하여 하나 이상의 로스를 생성하도록 한다. 상기 로스는
Figure pat00023
와
Figure pat00024
두 구성요소로 이루어질 수 있는데, 상기
Figure pat00025
는 상기 판별 벡터와 관련된 판별 로스로서, 크로스 엔트로피(cross entropy) 방식을 통해 생성된 것일 수 있고, 상기
Figure pat00026
은 상기 박스 리그레션 벡터와 관련된 박스 리그레션 로스로서, 스무스 L1(smooth-L1) 방식을 통해 생성된 것일 수 있다.
구체적으로는, 상기 판별 로스는 하기 수식에 따라 생성되되,
Figure pat00027
이때,
Figure pat00028
은 상기 판별 벡터들의 개수를 의미하고,
Figure pat00029
는 제i 판별 벡터를 의미하며,
Figure pat00030
는 상기 제i 판별 벡터에 대한 제i 판별 GT 벡터를 의미할 수 있다.
또한, 상기 박스 리그레션 로스는 하기 수식에 따라 생성되되,
Figure pat00031
Figure pat00032
이때,
Figure pat00033
은 상기 박스 리그레션 벡터의 개수를,
Figure pat00034
는 제i 박스 리그레션 벡터를, 그리고
Figure pat00035
는 상기 제i 박스 리그레션 벡터에 대한 제i 박스 리그레션 GT 벡터를 의미한다.
상기 로스가 생성된 후, 이러한 로스는 백프로퍼게이션됨으로써 상기 DNN(200)에 포함된 상기 판별 네트워크(220)의 하나 이상의 파라미터 중 적어도 일부를 학습하는 데에 사용될 수 있다. 이에 따라, 상기 판별 네트워크(220)는 그의 입력된 바운딩 박스가 보다 정확히 통합될 수 있는지를 판단하고, 통합된 후의 상기 꼭짓점 정보를 더욱 정확하게 예측할 수 있게 된다.
본 발명의 다른 실시예로서, 상기 학습 장치(100)가, 상기 DNN(200)에 포함된 상기 판별 네트워크(220)로 하여금, 상기 페어 특징 벡터에 상기 FC 연산 중 적어도 일부를 적용하여 상기 판별 벡터를 생성하도록 한 다음, 상기 페어 특징 벡터 중, 특정 페어가 통합될 특정 확률을 나타내는 특정 판별 벡터의 값이 기설정된 임계 값 이상인 하나 이상의 특정 페어 특징 벡터에 상기 FC 연산 중 나머지 일부를 적용하여, 상기 특정 페어 특징 벡터에 대응하는 상기 박스 리그레션 벡터를 생성하도록 할 수 있다. 상기 다른 예는 통합될 확률이 상기 임계 값 이하인 페어의 좌표 값을 계산하지 않으므로 효율적이다.
이 때, 상기 DNN(200)의 작동 원리는 하기에 설명된다. 상기 학습 장치(100)가 상기 DNN(200)의 하나 이상의 레이어에 포함된 각 딥러닝 뉴런으로 하여금, 그의 적어도 하나의 파라미터를 사용하여 상기 각 딥러닝 뉴런의 입력에 하나 이상의 컨벌루션 연산을 적용하고, 상기 각 딥러닝 뉴런의 출력을 다음 딥러닝 뉴런에 전달하는 과정을 반복함으로써, 상기 페어 특징 벡터, 상기 판별 벡터 및 상기 박스 리그레션 벡터를 생성하도록 할 수 있다.
상기 학습 프로세스가 완료된 후, 상기 학습 장치(100)가 테스팅 장치로서 기능하는 과정에 대해 도 4를 참조로 하여 살피도록 한다.
참고로, 이하의 설명에서 혼동을 피하기 위해, 학습 프로세스와 관련된 용어에는 " 학습용" 또는 " 트레이닝"이라는 문구가, 테스팅 프로세스와 관련된 용어에는 "테스트용"또는 "테스팅"이라는 문구가 추가되었다.
도 4는 본 발명의 실시예에 따라 상기 특정 공간에 대한 각각의 상기 원본 이미지를 통합하여 상기 특정 공간에 대한 상기 통합 이미지를 생성할 때, 각각의 상기 원본 이미지에 대한 각각의 상기 객체 검출 정보를 통합하여 상기 통합 이미지에 추가적인 연산을 하지 않고도 상기 통합 이미지에 대한 상기 통합 객체 검출 정보를 생성하는 상기 학습 방법의 수행이 완료된 상태인 테스팅 장치의 구체적인 동작 방식을 개략적으로 나타낸 도면이다.
도 4를 참조로 하면, 상기 테스팅 장치는, 상기 로스 유닛(230) 대신 병합 유닛을 포함할 수 있다. 상기 병합 유닛은, 적어도 하나의 테스트용 판별 벡터에 포함된, 두 개의 테스트용 원본 바운딩 박스가 통합되어야 할 확률이 특정 임계 값 이상일 경우, 상기 두 개의 테스트용 원본 바운딩 박스가 적어도 하나의 테스트용 박스 리그레션 벡터에 포함된 테스트용 변경 값을 이용하여 통합된 테스트용 통합 바운딩 박스의 꼭짓점 좌표를 계산할 수 있다. 상기 원본 ROI의 상기 페어 각각은, 이러한 연산을 상기 원본 ROI의 상기 페어의 테스트용 페어 특징 벡터에 반복함으로써 상기 원본 ROI의 상기 페어 각각을 통합하고, 이후 상기 연산을 각 원본 ROI에 적용함으로써 상기 원본 이미지를 통합하고, 이후 상기 통합 이미지에 대한 객체 검출 결과를 상기 통합 이미지에 추가 연산을 가하지 않고도 생성할 수 있다. 상기 컨캐터네이팅 네트워크(210)와 상기 판별 네트워크(220)와 같은 구성요소의 기능은 상기 학습 장치(100)에서 수행할 때의 기능과 유사하므로 생략하도록 한다.
구체적으로는, (a) (1) 상기 학습 장치가, 제1 학습용 원본 이미지 및 제2 학습용 원본 이미지가 처리되어 생성된, 제1 학습용 객체 검출 정보 및 제2 학습용 객체 검출 정보를 획득하면, 상기 DNN(200)에 포함된 컨캐터네이팅 네트워크(210)로 하여금, 상기 제1 학습용 원본 이미지에 포함된 제1 학습용 원본 ROI 및 상기 제2 학습용 원본 이미지에 포함된, 제2 학습용 원본 ROI의 하나 이상의 학습용 페어에 관한 정보를 포함하는 하나 이상의 학습용 페어 특징 벡터를 생성하도록 하고, (2) 상기 학습 장치(100)가, 상기 DNN(200)에 포함된 판별 네트워크(220)로 하여금, 상기 학습용 페어 특징 벡터에 하나 이상의 FC 연산을 적용함으로써, (i) 상기 학습용 페어 각각에 포함된, 상기 제1 학습용 원본 ROI 및 상기 제2 학습용 원본 ROI가 통합되기에 적합할 확률에 관한 정보를 포함하는 하나 이상의 학습용 판별 벡터 및 (ii) 상기 학습용 통합 이미지 상에서, 상기 학습용 페어 중 적어도 일부의 각 요소의 각 기존 위치와 비교한, 상기 학습용 페어 중 상기 적어도 일부에 대응하는 학습용 통합 ROI의 각 상대 위치에 관한 정보를 포함하는 하나 이상의 학습용 박스 리그레션 벡터를 생성하도록 하며, (3) 상기 학습 장치가, 상기 로스 유닛(230)으로 하여금, 상기 학습용 판별 벡터와 상기 학습용 박스 리그레션 벡터, 및 이에 대응하는 GT를 참조로 하여, 통합 로스를 생성하도록 하고, 상기 통합 로스를 이용하여 백프로퍼게이션을 수행함으로써 상기 DNN(200)에 포함된 파라미터 중 적어도 일부를 학습하도록 한 상태에서, 테스팅 장치가, 상기 제1 테스트용 원본 이미지 및 상기 제2 테스트용 원본 이미지가 처리되어 생성된, 상기 제1 테스트용 객체 검출 정보 및 상기 제2 테스트용 객체 검출 정보를 획득하면, 상기 DNN(200)에 포함된 상기 컨캐터네이팅 네트워크(210)로 하여금, 상기 제1 테스트용 원본 이미지에 포함된 제1 테스트용 원본 ROI 및 상기 제2 테스트용 원본 이미지에 포함된 제2 테스트용 원본 ROI의 하나 이상의 테스트용 페어에 관한 정보를 포함하는 하나 이상의 테스트용 페어 특징 벡터를 생성하도록 할 수 있다.
이후, 상기 테스팅 장치가, 상기 DNN(200)에 포함된 상기 판별 네트워크로 하여금, 상기 테스트용 페어 특징 벡터에 상기 FC 연산을 적용함으로써, (i) 상기 테스트용 페어 각각에 포함된, 상기 제1 테스트용 원본 ROI 및 상기 제2 테스트용 원본 ROI가 통합되기에 적합할 확률에 관한 정보를 포함하는 하나 이상의 테스트용 판별 벡터 및 (ii) 상기 테스트용 통합 이미지 상에서, 상기 테스트용 페어 중 적어도 일부의 각 요소의 각 기존 위치와 비교한, 상기 테스트용 페어 중 상기 적어도 일부에 대응하는 테스트용 통합 ROI의 각 상대 위치에 관한 정보를 포함하는 하나 이상의 테스트용 박스 리그레션 벡터를 생성하도록 할 수 있다.
마지막으로, 상기 테스팅 장치가, 상기 병합 유닛(240)으로 하여금, 상기 테스트용 판별 벡터 및 상기 테스트용 박스 리그레션 벡터를 참조로 하여, 제1 테스트용 원본 바운딩 박스 및 제2 테스트용 원본 바운딩 박스로 이루어진 상기 테스트용 페어 중 적어도 일부를 병합함으로써 상기 테스트용 통합 객체 검출 정보를 생성하도록 할 수 있다.
이 때, 상기 제1 테스트용 객체 검출 정보 및 상기 제2 테스트용 객체 검출 정보는, 상기 테스팅 장치가 탑재된 차량에 설치된, 제1 방향을 담당하는 제1 카메라 및 제2 방향을 담당하는 제2 카메라를 통해 획득된, 상기 제1 테스트용 원본 이미지 및 상기 제2 테스트용 원본 이미지에 의해 획득된다.
본 발명의 상기 DNN(200)은 병합 네트워크로 일컬을 수 있는데 이는, 다른 객체 검출 정보를 병합할 수 있기 때문이다.
본 발명은 이종 센서 융합에 관한 방법을 알려주는 것으로, 구체적으로 통합 ROI 공간에 관한 여러 카메라들을 통해 획득한 정보를 참조로 하여 생성된 ROI를 통합하는 방법을 제공한다. 본 발명을 수행함으로써, 객체 검출 결과는 하나의 데이터 세트로 통합되어 연산력 소모를 줄일 수 있도록 도와준다.
본 발명 기술분야의 통상의 기술자에게 이해될 수 있는 바로서, 위에서 설명된 이미지, 예컨대 상기 원본 이미지, 원본 라벨 및 추가 라벨과 같은 이미지 데이터의 송수신이 상기 학습 장치(100) 및 상기 테스팅 장치의 통신부에 의하여 이루어질 수 있으며, 특징 맵과 연산을 수행하기 위한 데이터가 상기 학습 장치(100) 및 상기 테스팅 장치의 프로세서(및/또는 메모리)에 의하여 보유/유지될 수 있고, 컨벌루션 연산, 디컨벌루션 연산, 로스 값 연산 과정이 주로 상기 학습 장치(100) 및 상기 테스팅 장치의 프로세서에 의하여 수행될 수 있으나, 본 발명이 이에 한정되지는 않을 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (22)

  1. 적어도 하나의 통합 이미지를 생성하는데 이용될, 특정 공간에 대한 제1 원본 이미지 및 제2 원본 이미지에 각각 대응하는, 제1 객체 검출 정보 및 제2 객체 검출 정보를 통합하여, 상기 통합 이미지에 추가로 연산을 하지 않고 상기 통합 이미지의 통합 객체 검출 정보를 생성하는 학습 방법에 있어서,
    (a) 학습 장치가, 상기 제1 원본 이미지 및 상기 제2 원본 이미지가 처리되어 생성된, 상기 제1 객체 검출 정보 및 상기 제2 객체 검출 정보를 획득하면, DNN(Deep Neural Network)에 포함된 컨캐터네이팅(concatenating) 네트워크로 하여금, 상기 제1 원본 이미지에 포함된 제1 원본 ROI(region of interest) 및 상기 제2 원본 이미지에 포함된 제2 원본 ROI의 하나 이상의 페어에 관한 정보를 포함하는 하나 이상의 페어 특징 벡터를 생성하도록 하는 단계;
    (b) 상기 학습 장치가, 상기 DNN에 포함된 판별 네트워크로 하여금, 상기 페어 특징 벡터에 하나 이상의 FC(fully connected) 연산을 적용함으로써, (i) 상기 페어 각각에 포함된, 상기 제1 원본 ROI 및 상기 제2 원본 ROI가 통합되기에 적합할 확률에 관한 정보를 포함하는 하나 이상의 판별 벡터 및 (ii) 상기 통합 이미지 상에서, 상기 페어 중 적어도 일부의 각 요소의 각 기존 위치와 비교한, 상기 페어 중 상기 적어도 일부에 대응하는 통합 ROI의 각 상대 위치에 관한 정보를 포함하는 하나 이상의 박스 리그레션(regression) 벡터를 생성하도록 하는 단계; 및
    (c) 상기 학습 장치가, 로스 유닛으로 하여금, 상기 판별 벡터와 상기 박스 리그레션 벡터, 및 이에 대응하는 GT(Ground Truth)를 참조로 하여, 통합 로스를 생성하도록 하고, 상기 통합 로스를 이용하여 백프로퍼게이션(backpropagation)을 수행함으로써 상기 DNN에 포함된 파라미터 중 적어도 일부를 학습하도록 하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  2. 제 1항에 있어서,
    상기 (a) 단계에서,
    상기 페어 특징 벡터 중 하나인 특정 페어 특징 벡터는, (i) 상기 제1 원본 이미지에 포함된 제1 특정 객체의 제1 클래스 정보, (ii) 상기 제1 특정 객체를 포함하는 제1 특정 원본 ROI의 특징 값, (iii) 상기 제1 특정 원본 ROI에 대응하는 제1 특정 원본 바운딩 박스의 좌표 값, (iv) 상기 제1 특정 원본 ROI의 좌표 값, (v) 상기 제2 원본 이미지에 포함된 제2 특정 객체의 제2 클래스 정보, (vi) 상기 제2 특정 객체를 포함하는 제2 특정 원본 ROI의 특징 값, (vii) 상기 제2 특정 원본 ROI에 대응하는 제2 특정 원본 바운딩 박스의 좌표 값, 및 (viii) 상기 제2 특정 원본 ROI의 좌표 값을 포함하는 것을 특징으로 하는 방법.
  3. 제 2항에 있어서,
    상기 (b) 단계에서,
    상기 특정 페어 특징 벡터에 대응하는, 상기 판별 벡터 중 하나인 특정 판별 벡터는, 상기 제1 특정 원본 ROI 및 상기 제2 특정 원본 ROI가 상기 통합 이미지에 통합될 확률에 관한 정보를 포함하고, 상기 특정 페어 특징 벡터에 대응하는, 상기 박스 리그레션 벡터 중 하나인 특정 박스 리그레션 벡터는, 상기 통합 이미지 상의 상기 제1 특정 원본 ROI 및 상기 제2 특정 원본 ROI를 통합하여 생성되는 특정 통합 바운딩 박스의 좌표에 관한 정보를 포함하는 것을 특징으로 하는 방법.
  4. 제 1항에 있어서,
    상기 (c) 단계에서,
    상기 학습 장치는, 상기 로스 유닛으로 하여금, (i) 크로스 엔트로피(cross entropy) 방식을 통해 상기 판별 벡터 중 적어도 일부를 사용하여 판별 로스를 생성하고, (ii) 스무스 L1(smooth-L1) 방식을 통해 상기 박스 리그레션 벡터 중 적어도 일부를 사용하여 박스 리그레션 로스를 생성한 후, (iii) 상기 판별 로스 및 상기 박스 리그레션 로스를 참조로 하여 상기 통합 로스를 생성하도록 하는 것을 특징으로 하는 방법.
  5. 제 4항에 있어서,
    상기 (c) 단계에서,
    상기 판별 로스는 하기 수식에 따라 생성되되,
    Figure pat00036

    Figure pat00037
    은 상기 판별 벡터의 개수를,
    Figure pat00038
    는 제i 판별 벡터를, 그리고
    Figure pat00039
    는 상기 제i 판별 벡터에 대한 제i 판별 GT 벡터를 의미하고,
    상기 박스 리그레션 로스는 하기 수식에 따라 생성되되,
    Figure pat00040

    Figure pat00041

    Figure pat00042
    은 상기 박스 리그레션 벡터의 개수를,
    Figure pat00043
    는 제i 박스 리그레션 벡터를, 그리고
    Figure pat00044
    는 상기 제i 박스 리그레션 벡터에 대한 제i 박스 리그레션 GT 벡터를 의미하는 것을 특징으로 하는 방법.
  6. 제 1항에 있어서,
    상기 학습 장치가, 상기 DNN의 하나 이상의 레이어에 포함된 각 딥러닝 뉴런으로 하여금, 그의 적어도 하나의 파라미터를 사용하여 상기 각 딥러닝 뉴런의 입력에 하나 이상의 컨벌루션 연산을 적용하고, 상기 각 딥러닝 뉴런의 출력을 다음 딥러닝 뉴런에 전달하는 과정을 반복함으로써, 상기 페어 특징 벡터, 상기 판별 벡터 및 상기 박스 리그레션 벡터를 생성하도록 하는 것을 특징으로 하는 방법.
  7. 제 1항에 있어서,
    상기 (b) 단계에서,
    상기 학습 장치가, 상기 DNN에 포함된 상기 판별 네트워크로 하여금, 상기 페어 특징 벡터에 상기 FC 연산 중 적어도 일부를 적용하여 상기 판별 벡터를 생성하도록 한 다음, 상기 페어 특징 벡터 중, 특정 페어가 통합될 특정 확률을 나타내는 특정 판별 벡터의 값이 기설정된 임계 값 이상인 하나 이상의 특정 페어 특징 벡터에 상기 FC 연산 중 나머지 일부를 적용하여, 상기 특정 페어 특징 벡터에 대응하는 상기 박스 리그레션 벡터를 생성하도록 하는 것을 특징으로 하는 방법.
  8. 적어도 하나의 테스트용 통합 이미지를 생성하는데 이용될, 테스트용 특정 공간에 대한 제1 테스트용 원본 이미지 및 제2 테스트용 원본 이미지에 각각 대응하는, 제1 테스트용 객체 검출 정보 및 제2 테스트용 객체 검출 정보를 통합하여, 상기 테스트용 통합 이미지에 추가로 연산을 하지 않고 상기 테스트용 통합 이미지의 테스트용 통합 객체 검출 정보를 생성하는 테스팅 방법에 있어서,
    (a) (1) 학습 장치가, 제1 학습용 원본 이미지 및 제2 학습용 원본 이미지가 처리되어 생성된, 제1 학습용 객체 검출 정보 및 제2 학습용 객체 검출 정보를 획득하면, DNN에 포함된 컨캐터네이팅 네트워크로 하여금, 상기 제1 학습용 원본 이미지에 포함된 제1 학습용 원본 ROI 및 상기 제2 학습용 원본 이미지에 포함된, 제2 학습용 원본 ROI의 하나 이상의 학습용 페어에 관한 정보를 포함하는 하나 이상의 학습용 페어 특징 벡터를 생성하도록 하고, (2) 상기 학습 장치가, 상기 DNN에 포함된 판별 네트워크로 하여금, 상기 학습용 페어 특징 벡터에 하나 이상의 FC 연산을 적용함으로써, (i) 상기 학습용 페어 각각에 포함된, 상기 제1 학습용 원본 ROI 및 상기 제2 학습용 원본 ROI가 통합되기에 적합할 확률에 관한 정보를 포함하는 하나 이상의 학습용 판별 벡터 및 (ii) 상기 학습용 통합 이미지 상에서, 상기 학습용 페어 중 적어도 일부의 각 요소의 각 기존 위치와 비교한, 상기 학습용 페어 중 상기 적어도 일부에 대응하는 학습용 통합 ROI의 각 상대 위치에 관한 정보를 포함하는 하나 이상의 학습용 박스 리그레션 벡터를 생성하도록 하며, (3) 상기 학습 장치가, 로스 유닛으로 하여금, 상기 학습용 판별 벡터와 상기 학습용 박스 리그레션 벡터, 및 이에 대응하는 GT를 참조로 하여, 통합 로스를 생성하도록 하고, 상기 통합 로스를 이용하여 백프로퍼게이션을 수행함으로써 상기 DNN에 포함된 파라미터 중 적어도 일부를 학습하도록 한 상태에서, 테스팅 장치가, 상기 제1 테스트용 원본 이미지 및 상기 제2 테스트용 원본 이미지가 처리되어 생성된, 상기 제1 테스트용 객체 검출 정보 및 상기 제2 테스트용 객체 검출 정보를 획득하면, 상기 DNN에 포함된 상기 컨캐터네이팅 네트워크로 하여금, 상기 제1 테스트용 원본 이미지에 포함된 제1 테스트용 원본 ROI 및 상기 제2 테스트용 원본 이미지에 포함된 제2 테스트용 원본 ROI의 하나 이상의 테스트용 페어에 관한 정보를 포함하는 하나 이상의 테스트용 페어 특징 벡터를 생성하도록 하는 단계;
    (b) 상기 테스팅 장치가, 상기 DNN에 포함된 상기 판별 네트워크로 하여금, 상기 테스트용 페어 특징 벡터에 상기 FC 연산을 적용함으로써, (i) 상기 테스트용 페어 각각에 포함된, 상기 제1 테스트용 원본 ROI 및 상기 제2 테스트용 원본 ROI가 통합되기에 적합할 확률에 관한 정보를 포함하는 하나 이상의 테스트용 판별 벡터 및 (ii) 상기 테스트용 통합 이미지 상에서, 상기 테스트용 페어 중 적어도 일부의 각 요소의 각 기존 위치와 비교한, 상기 테스트용 페어 중 상기 적어도 일부에 대응하는 테스트용 통합 ROI의 각 상대 위치에 관한 정보를 포함하는 하나 이상의 테스트용 박스 리그레션 벡터를 생성하도록 하는 단계; 및
    (c) 상기 테스팅 장치가, 병합 유닛으로 하여금, 상기 테스트용 판별 벡터 및 상기 테스트용 박스 리그레션 벡터를 참조로 하여, 제1 테스트용 원본 바운딩 박스 및 제2 테스트용 원본 바운딩 박스로 이루어진 상기 테스트용 페어 중 적어도 일부를 병합함으로써 상기 테스트용 통합 객체 검출 정보를 생성하도록 하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  9. 제 8항에 있어서,
    상기 제1 테스트용 객체 검출 정보 및 상기 제2 테스트용 객체 검출 정보는, 상기 테스팅 장치가 탑재된 차량에 설치된, 제1 방향을 담당하는 제1 카메라 및 제2 방향을 담당하는 제2 카메라를 통해 획득된, 상기 제1 테스트용 원본 이미지 및 상기 제2 테스트용 원본 이미지로부터 획득되는 것을 특징으로 하는 방법.
  10. 제 8항에 있어서,
    상기 (a) 단계에서,
    상기 테스트용 페어 특징 벡터 중 하나인 테스트용 특정 페어 특징 벡터는, (i) 상기 제1 테스트용 원본 이미지에 포함된 제1 테스트용 특정 객체의 제1 테스트용 클래스 정보, (ii) 상기 제1 테스트용 특정 객체를 포함하는 제1 테스트용 특정 원본 ROI의 테스트용 특징 값, (iii) 상기 제1 테스트용 특정 원본 ROI에 대응하는 제1 테스트용 특정 원본 바운딩 박스의 좌표 값, (iv) 상기 제1 테스트용 특정 원본 ROI의 좌표 값, (v) 상기 제2 테스트용 원본 이미지에 포함된 제2 테스트용 특정 객체의 제2 테스트용 클래스 정보, (vi) 상기 제2 테스트용 특정 객체를 포함하는 제2 테스트용 특정 원본 ROI의 테스트용 특징 값, (vii) 상기 제2 테스트용 특정 원본 ROI에 대응하는 제2 테스트용 특정 원본 바운딩 박스의 좌표 값, 및 (viii) 상기 제2 테스트용 특정 원본 ROI의 좌표 값을 포함하는 것을 특징으로 하는 방법.
  11. 제 10항에 있어서,
    상기 (b) 단계에서,
    상기 테스트용 특정 페어 특징 벡터에 대응하는, 상기 테스트용 판별 벡터 중 하나인 테스트용 특정 판별 벡터는, 상기 제1 테스트용 특정 원본 ROI 및 상기 제2 테스트용 특정 원본 ROI가 상기 테스트용 통합 이미지에 통합될 확률에 관한 정보를 포함하고, 상기 테스트용 특정 페어 특징 벡터에 대응하는, 상기 테스트용 박스 리그레션 벡터 중 하나인 테스트용 특정 박스 리그레션 벡터는, 상기 테스트용 통합 이미지 상의 상기 제1 테스트용 특정 원본 ROI 및 상기 제2 테스트용 특정 원본 ROI를 통합하여 생성되는 테스트용 특정 통합 바운딩 박스의 좌표에 관한 정보를 포함하는 것을 특징으로 하는 방법.
  12. 적어도 하나의 통합 이미지를 생성하는데 이용될, 특정 공간에 대한 제1 원본 이미지 및 제2 원본 이미지에 각각 대응하는, 제1 객체 검출 정보 및 제2 객체 검출 정보를 통합하여, 상기 통합 이미지에 추가로 연산을 하지 않고 상기 통합 이미지의 통합 객체 검출 정보를 생성하는 학습 장치에 있어서,
    인스트럭션들을 저장하는 하나 이상의 메모리; 및
    (I) 상기 제1 원본 이미지 및 상기 제2 원본 이미지가 처리되어 생성된, 상기 제1 객체 검출 정보 및 상기 제2 객체 검출 정보를 획득하면, DNN(Deep Neural Network)에 포함된 컨캐터네이팅(concatenating) 네트워크로 하여금, 상기 제1 원본 이미지에 포함된 제1 원본 ROI(region of interest) 및 상기 제2 원본 이미지에 포함된 제2 원본 ROI의 하나 이상의 페어에 관한 정보를 포함하는 하나 이상의 페어 특징 벡터를 생성하도록 하는 프로세스, (II) 상기 DNN에 포함된 판별 네트워크로 하여금, 상기 페어 특징 벡터에 하나 이상의 FC(fully connected) 연산을 적용함으로써, (i) 상기 페어 각각에 포함된, 상기 제1 원본 ROI 및 상기 제2 원본 ROI가 통합되기에 적합할 확률에 관한 정보를 포함하는 하나 이상의 판별 벡터 및 (ii) 상기 통합 이미지 상에서, 상기 페어 중 적어도 일부의 각 요소의 각 기존 위치와 비교한, 상기 페어 중 상기 적어도 일부에 대응하는 통합 ROI의 각 상대 위치에 관한 정보를 포함하는 하나 이상의 박스 리그레션(regression) 벡터를 생성하도록 하는 프로세스, 및 (III) 로스 유닛으로 하여금, 상기 판별 벡터와 상기 박스 리그레션 벡터, 및 이에 대응하는 GT(Ground Truth)를 참조로 하여, 통합 로스를 생성하도록 하고, 상기 통합 로스를 이용하여 백프로퍼게이션(backpropagation)을 수행함으로써 상기 DNN에 포함된 파라미터 중 적어도 일부를 학습하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하는 학습 장치.
  13. 제 12항에 있어서,
    상기 (I) 프로세스에서,
    상기 페어 특징 벡터 중 하나인 특정 페어 특징 벡터는, (i) 상기 제1 원본 이미지에 포함된 제1 특정 객체의 제1 클래스 정보, (ii) 상기 제1 특정 객체를 포함하는 제1 특정 원본 ROI의 특징 값, (iii) 상기 제1 특정 원본 ROI에 대응하는 제1 특정 원본 바운딩 박스의 좌표 값, (iv) 상기 제1 특정 원본 ROI의 좌표 값, (v) 상기 제2 원본 이미지에 포함된 제2 특정 객체의 제2 클래스 정보, (vi) 상기 제2 특정 객체를 포함하는 제2 특정 원본 ROI의 특징 값, (vii) 상기 제2 특정 원본 ROI에 대응하는 제2 특정 원본 바운딩 박스의 좌표 값, 및 (viii) 상기 제2 특정 원본 ROI의 좌표 값을 포함하는 것을 특징으로 하는 학습 장치.
  14. 제 13항에 있어서,
    상기 (II) 프로세스에서,
    상기 특정 페어 특징 벡터에 대응하는, 상기 판별 벡터 중 하나인 특정 판별 벡터는, 상기 제1 특정 원본 ROI 및 상기 제2 특정 원본 ROI가 상기 통합 이미지에 통합될 확률에 관한 정보를 포함하고, 상기 특정 페어 특징 벡터에 대응하는, 상기 박스 리그레션 벡터 중 하나인 특정 박스 리그레션 벡터는, 상기 통합 이미지 상의 상기 제1 특정 원본 ROI 및 상기 제2 특정 원본 ROI를 통합하여 생성되는 특정 통합 바운딩 박스의 좌표에 관한 정보를 포함하는 것을 특징으로 하는 학습 장치.
  15. 제 12항에 있어서,
    상기 (III) 프로세스에서,
    상기 프로세서는, 상기 로스 유닛으로 하여금, (i) 크로스 엔트로피 방식을 통해 상기 판별 벡터 중 적어도 일부를 사용하여 판별 로스를 생성하고, (ii) 스무스 L1 방식을 통해 상기 박스 리그레션 벡터 중 적어도 일부를 사용하여 박스 리그레션 로스를 생성한 후, (iii) 상기 판별 로스 및 상기 박스 리그레션 로스를 참조로 하여 상기 통합 로스를 생성하도록 하는 것을 특징으로 하는 학습 장치.
  16. 제 15항에 있어서,
    상기 (III) 프로세스에서,
    상기 판별 로스는 하기 수식에 따라 생성되되,
    Figure pat00045

    Figure pat00046
    은 상기 판별 벡터의 개수를,
    Figure pat00047
    는 제i 판별 벡터를, 그리고
    Figure pat00048
    는 상기 제i 판별 벡터에 대한 제i 판별 GT 벡터를 의미하고,
    상기 박스 리그레션 로스는 하기 수식에 따라 생성되되,
    Figure pat00049

    Figure pat00050

    Figure pat00051
    은 상기 박스 리그레션 벡터의 개수를,
    Figure pat00052
    는 제i 박스 리그레션 벡터를, 그리고
    Figure pat00053
    는 상기 제i 박스 리그레션 벡터에 대한 제i 박스 리그레션 GT 벡터를 의미하는 것을 특징으로 하는 학습 장치.
  17. 제 12항에 있어서,
    상기 프로세서가, 상기 DNN의 하나 이상의 레이어에 포함된 각 딥러닝 뉴런으로 하여금, 그의 적어도 하나의 파라미터를 사용하여 상기 각 딥러닝 뉴런의 입력에 하나 이상의 컨벌루션 연산을 적용하고, 상기 각 딥러닝 뉴런의 출력을 다음 딥러닝 뉴런에 전달하는 과정을 반복함으로써, 상기 페어 특징 벡터, 상기 판별 벡터 및 상기 박스 리그레션 벡터를 생성하도록 하는 것을 특징으로 하는 학습 장치.
  18. 제 12항에 있어서,
    상기 (II) 프로세스에서,
    상기 프로세서가, 상기 DNN에 포함된 상기 판별 네트워크로 하여금, 상기 페어 특징 벡터에 상기 FC 연산 중 적어도 일부를 적용하여 상기 판별 벡터를 생성하도록 한 다음, 상기 페어 특징 벡터 중, 특정 페어가 통합될 특정 확률을 나타내는 특정 판별 벡터의 값이 기설정된 임계 값 이상인 하나 이상의 특정 페어 특징 벡터에 상기 FC 연산 중 나머지 일부를 적용하여, 상기 특정 페어 특징 벡터에 대응하는 상기 박스 리그레션 벡터를 생성하도록 하는 것을 특징으로 하는 학습 장치.
  19. 적어도 하나의 테스트용 통합 이미지를 생성하는데 이용될, 테스트용 특정 공간에 대한 제1 테스트용 원본 이미지 및 제2 테스트용 원본 이미지에 각각 대응하는, 제1 테스트용 객체 검출 정보 및 제2 테스트용 객체 검출 정보를 통합하여, 상기 테스트용 통합 이미지에 추가로 연산을 하지 않고 상기 테스트용 통합 이미지의 테스트용 통합 객체 검출 정보를 생성하는 테스팅 장치에 있어서,
    인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    (I) (1) 학습 장치가, 제1 학습용 원본 이미지 및 제2 학습용 원본 이미지가 처리되어 생성된, 제1 학습용 객체 검출 정보 및 제2 학습용 객체 검출 정보를 획득하면, DNN에 포함된 컨캐터네이팅 네트워크로 하여금, 상기 제1 학습용 원본 이미지에 포함된 제1 학습용 원본 ROI 및 상기 제2 학습용 원본 이미지에 포함된, 제2 학습용 원본 ROI의 하나 이상의 학습용 페어에 관한 정보를 포함하는 하나 이상의 학습용 페어 특징 벡터를 생성하도록 하고, (2) 상기 학습 장치가, 상기 DNN에 포함된 판별 네트워크로 하여금, 상기 학습용 페어 특징 벡터에 하나 이상의 FC 연산을 적용함으로써, (i) 상기 학습용 페어 각각에 포함된, 상기 제1 학습용 원본 ROI 및 상기 제2 학습용 원본 ROI가 통합되기에 적합할 확률에 관한 정보를 포함하는 하나 이상의 학습용 판별 벡터 및 (ii) 상기 학습용 통합 이미지 상에서, 상기 학습용 페어 중 적어도 일부의 각 요소의 각 기존 위치와 비교한, 상기 학습용 페어 중 상기 적어도 일부에 대응하는 학습용 통합 ROI의 각 상대 위치에 관한 정보를 포함하는 하나 이상의 학습용 박스 리그레션 벡터를 생성하도록 하며, (3) 상기 학습 장치가, 로스 유닛으로 하여금, 상기 학습용 판별 벡터와 상기 학습용 박스 리그레션 벡터, 및 이에 대응하는 GT를 참조로 하여, 통합 로스를 생성하도록 하고, 상기 통합 로스를 이용하여 백프로퍼게이션을 수행함으로써 상기 DNN에 포함된 파라미터 중 적어도 일부를 학습하도록 한 상태에서, 상기 제1 테스트용 원본 이미지 및 상기 제2 테스트용 원본 이미지가 처리되어 생성된, 상기 제1 테스트용 객체 검출 정보 및 상기 제2 테스트용 객체 검출 정보를 획득하면, 상기 DNN에 포함된 상기 컨캐터네이팅 네트워크로 하여금, 상기 제1 테스트용 원본 이미지에 포함된 제1 테스트용 원본 ROI 및 상기 제2 테스트용 원본 이미지에 포함된 제2 테스트용 원본 ROI의 하나 이상의 테스트용 페어에 관한 정보를 포함하는 하나 이상의 테스트용 페어 특징 벡터를 생성하도록 하는 프로세스, (II) 상기 DNN에 포함된 상기 판별 네트워크로 하여금, 상기 테스트용 페어 특징 벡터에 상기 FC 연산을 적용함으로써, (i) 상기 테스트용 페어 각각에 포함된, 상기 제1 테스트용 원본 ROI 및 상기 제2 테스트용 원본 ROI가 통합되기에 적합할 확률에 관한 정보를 포함하는 하나 이상의 테스트용 판별 벡터 및 (ii) 상기 테스트용 통합 이미지 상에서, 상기 테스트용 페어 중 적어도 일부의 각 요소의 각 기존 위치와 비교한, 상기 테스트용 페어 중 상기 적어도 일부에 대응하는 테스트용 통합 ROI의 각 상대 위치에 관한 정보를 포함하는 하나 이상의 테스트용 박스 리그레션 벡터를 생성하도록 하는 프로세스, 및 (III) 병합 유닛으로 하여금, 상기 테스트용 판별 벡터 및 상기 테스트용 박스 리그레션 벡터를 참조로 하여, 제1 테스트용 원본 바운딩 박스 및 제2 테스트용 원본 바운딩 박스로 이루어진 상기 테스트용 페어 중 적어도 일부를 병합함으로써 상기 테스트용 통합 객체 검출 정보를 생성하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하는 테스팅 장치.
  20. 제 19항에 있어서,
    상기 제1 테스트용 객체 검출 정보 및 상기 제2 테스트용 객체 검출 정보는, 상기 테스팅 장치가 탑재된 차량에 설치된, 제1 방향을 담당하는 제1 카메라 및 제2 방향을 담당하는 제2 카메라를 통해 획득된, 상기 제1 테스트용 원본 이미지 및 상기 제2 테스트용 원본 이미지로부터 획득되는 것을 특징으로 하는 테스팅 장치.
  21. 제 19항에 있어서,
    상기 (I) 프로세스에서,
    상기 테스트용 페어 특징 벡터 중 하나인 테스트용 특정 페어 특징 벡터는, (i) 상기 제1 테스트용 원본 이미지에 포함된 제1 테스트용 특정 객체의 제1 테스트용 클래스 정보, (ii) 상기 제1 테스트용 특정 객체를 포함하는 제1 테스트용 특정 원본 ROI의 테스트용 특징 값, (iii) 상기 제1 테스트용 특정 원본 ROI에 대응하는 제1 테스트용 특정 원본 바운딩 박스의 좌표 값, (iv) 상기 제1 테스트용 특정 원본 ROI의 좌표 값, (v) 상기 제2 테스트용 원본 이미지에 포함된 제2 테스트용 특정 객체의 제2 테스트용 클래스 정보, (vi) 상기 제2 테스트용 특정 객체를 포함하는 제2 테스트용 특정 원본 ROI의 테스트용 특징 값, (vii) 상기 제2 테스트용 특정 원본 ROI에 대응하는 제2 테스트용 특정 원본 바운딩 박스의 좌표 값, 및 (viii) 상기 제2 테스트용 특정 원본 ROI의 좌표 값을 포함하는 것을 특징으로 하는 테스팅 장치.
  22. 제 21항에 있어서,
    상기 (II) 프로세스에서,
    상기 테스트용 특정 페어 특징 벡터에 대응하는, 상기 테스트용 판별 벡터 중 하나인 테스트용 특정 판별 벡터는, 상기 제1 테스트용 특정 원본 ROI 및 상기 제2 테스트용 특정 원본 ROI가 상기 테스트용 통합 이미지에 통합될 확률에 관한 정보를 포함하고, 상기 테스트용 특정 페어 특징 벡터에 대응하는, 상기 테스트용 박스 리그레션 벡터 중 하나인 테스트용 특정 박스 리그레션 벡터는, 상기 테스트용 통합 이미지 상의 상기 제1 테스트용 특정 원본 ROI 및 상기 제2 테스트용 특정 원본 ROI를 통합하여 생성되는 테스트용 특정 통합 바운딩 박스의 좌표에 관한 정보를 포함하는 것을 특징으로 하는 테스팅 장치.
KR1020200001720A 2019-01-31 2020-01-06 비최대값 억제를 학습하는 병합 네트워크를 이용한 이종 센서 융합을 위한 학습 방법 및 학습 장치 KR102372687B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799097P 2019-01-31 2019-01-31
US62/799,097 2019-01-31
US16/724,301 2019-12-22
US16/724,301 US10650279B1 (en) 2019-01-31 2019-12-22 Learning method and learning device for heterogeneous sensor fusion by using merging network which learns non-maximum suppression

Publications (2)

Publication Number Publication Date
KR20200095357A true KR20200095357A (ko) 2020-08-10
KR102372687B1 KR102372687B1 (ko) 2022-03-10

Family

ID=70612711

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200001720A KR102372687B1 (ko) 2019-01-31 2020-01-06 비최대값 억제를 학습하는 병합 네트워크를 이용한 이종 센서 융합을 위한 학습 방법 및 학습 장치

Country Status (5)

Country Link
US (1) US10650279B1 (ko)
EP (1) EP3690723A1 (ko)
JP (1) JP6903352B2 (ko)
KR (1) KR102372687B1 (ko)
CN (1) CN111507161B (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10817777B2 (en) * 2019-01-31 2020-10-27 StradVision, Inc. Learning method and learning device for integrating object detection information acquired through V2V communication from other autonomous vehicle with object detection information generated by present autonomous vehicle, and testing method and testing device using the same
CN113505661A (zh) * 2021-06-22 2021-10-15 中国农业大学 产地鉴别的方法、装置、电子设备及存储介质
EP4116871A1 (en) * 2021-07-08 2023-01-11 Argo AI GmbH Method and processing unit for processing sensor data of several different sensors with an artificial neural network in a vehicle
CN113673487A (zh) * 2021-10-21 2021-11-19 杭州觅睿科技股份有限公司 一种宠物识别方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160379079A1 (en) * 2015-06-26 2016-12-29 Samsung Electronics Co., Ltd. System, apparatus, method, and computer readable storage medium for extracting information

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3577895B2 (ja) * 1997-06-19 2004-10-20 松下電器産業株式会社 広域監視装置及び広域監視システム
US10095917B2 (en) * 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
US10262237B2 (en) * 2016-12-08 2019-04-16 Intel Corporation Technologies for improved object detection accuracy with multi-scale representation and training
CN106780536A (zh) * 2017-01-13 2017-05-31 深圳市唯特视科技有限公司 一种基于对象掩码网络的形状感知实例分割方法
US10169679B1 (en) * 2017-10-13 2019-01-01 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using loss augmentation and testing method and testing device using the same
US10007865B1 (en) * 2017-10-16 2018-06-26 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same
US9953437B1 (en) * 2017-10-18 2018-04-24 StradVision, Inc. Method and device for constructing a table including information on a pooling type and testing method and testing device using the same
US10747224B2 (en) * 2018-06-19 2020-08-18 Toyota Research Institute, Inc. Debugging an autonomous driving machine learning model
US11391819B2 (en) * 2018-07-18 2022-07-19 Qualcomm Incorporate Object verification using radar images
CN109145743A (zh) * 2018-07-19 2019-01-04 叶涵 一种基于深度学习的图像识别方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160379079A1 (en) * 2015-06-26 2016-12-29 Samsung Electronics Co., Ltd. System, apparatus, method, and computer readable storage medium for extracting information

Also Published As

Publication number Publication date
US10650279B1 (en) 2020-05-12
JP6903352B2 (ja) 2021-07-14
EP3690723A1 (en) 2020-08-05
KR102372687B1 (ko) 2022-03-10
JP2020126622A (ja) 2020-08-20
CN111507161A (zh) 2020-08-07
CN111507161B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
KR102264394B1 (ko) 카메라로부터 획득된 이미지와, 이에 대응하는, 레이더 또는 라이더를 통해 획득된 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
US10410120B1 (en) Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same
EP3686779B1 (en) Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
KR20200095357A (ko) 비최대값 억제를 학습하는 병합 네트워크를 이용한 이종 센서 융합을 위한 학습 방법 및 학습 장치
KR20200094652A (ko) 자동 주차 시스템을 제공하기 위해 결정 지점 간의 관계 및 결정 지점에 대한 리그레션 결과를 이용하여 주차 공간을 검출하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
KR102372703B1 (ko) V2v 통신을 통해 획득된 타 자율 주행 차량의 공간 탐지 결과를 자신의 자율 주행 차량의 공간 탐지 결과와 통합하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102309708B1 (ko) 인스턴스 세그멘테이션을 이용한 객체의 자세에 따라 모드를 전환할 수 있는 cnn 기반의 수도-3d 바운딩 박스를 검출하는 방법 및 이를 이용한 장치
JP2020126608A (ja) 生成ニューラルネットワークと、判別ニューラルネットワークとを含む敵対的生成ネットワークを利用して、合成可否判断不可の合成イメージを生成する方法、及び装置
US10423860B1 (en) Learning method and learning device for object detector based on CNN to be used for multi-camera or surround view monitoring using image concatenation and target object merging network, and testing method and testing device using the same
US10796206B2 (en) Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same
US20230121534A1 (en) Method and electronic device for 3d object detection using neural networks
CN111460879B (zh) 利用网格生成器的神经网络运算方法及使用该方法的装置
KR20200091317A (ko) 자율 주행 자동차의 레벨 4를 충족시키기 위해 영역의 클래스에 따라 모드를 전환하여 그리드 셀 별로 가중 컨벌루션 필터를 이용한 감시용 이미지 세그멘테이션 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102309712B1 (ko) 객체의 조건에 따라 모드를 전환할 수 있는 CNN 기반으로 군사 목적, 스마트폰 또는 가상 주행에 사용되는 수도(Pseudo)-3D 바운딩 박스를 검출하는 방법 및 이를 이용한 장치
US10402686B1 (en) Learning method and learning device for object detector to be used for surveillance based on convolutional neural network capable of converting modes according to scales of objects, and testing method and testing device using the same
KR102309705B1 (ko) Cnn 기반 차선 검출을 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
US10373004B1 (en) Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right