KR20200023708A - 객체 검출 방법, 객체 검출을 위한 학습 방법 및 그 장치들 - Google Patents

객체 검출 방법, 객체 검출을 위한 학습 방법 및 그 장치들 Download PDF

Info

Publication number
KR20200023708A
KR20200023708A KR1020180098379A KR20180098379A KR20200023708A KR 20200023708 A KR20200023708 A KR 20200023708A KR 1020180098379 A KR1020180098379 A KR 1020180098379A KR 20180098379 A KR20180098379 A KR 20180098379A KR 20200023708 A KR20200023708 A KR 20200023708A
Authority
KR
South Korea
Prior art keywords
image
domain
feature
learning
input image
Prior art date
Application number
KR1020180098379A
Other languages
English (en)
Other versions
KR102565279B1 (ko
Inventor
임비
김창현
이경무
Original Assignee
삼성전자주식회사
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 서울대학교산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020180098379A priority Critical patent/KR102565279B1/ko
Priority to US16/408,702 priority patent/US10990857B2/en
Publication of KR20200023708A publication Critical patent/KR20200023708A/ko
Application granted granted Critical
Publication of KR102565279B1 publication Critical patent/KR102565279B1/ko

Links

Images

Classifications

    • G06K9/00791—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

일 실시예에 따른 객체 검출 방법 및 장치는 입력 영상을 수신하고, 입력 영상의 특징 분포를 지시하는 잠재 변수를 생성하며, 잠재 변수에 기초하여 입력 영상 내 객체를 검출한다.

Description

객체 검출 방법, 객체 검출을 위한 학습 방법 및 그 장치들{OBJECT DETECTION METHOD, LEARNING METHOD FOR OBJECT DETECTION, AND DEVICES THEREOF}
아래 실시예들은 객체 검출 방법, 객체 검출을 위한 학습 방법 및 그 장치들에 관한 것이다.
자율 주행(Automatic Driving)을 위한 객체의 인식 및 검출은 차량의 주행 영상을 통해 수행될 수 있다. 따라서, 객체의 인식 및 검출은 실제 주행 환경과 비슷할 것으로 예상되는 다량의 영상 데이터 세트(Data set)를 이용한 학습을 통해 수행될 수 있다. 하지만, 데이터 세트의 크기가 작은 경우, 학습이 충분히 이뤄지지 않거나 모델이 해당 데이터 세트에만 과적합(overfitting)되는 문제가 발생할 수 있다. 과적합을 해결하기 위하여 모델의 학습 시에 다른 다양한 데이터 세트를 함께 사용하거나 영상을 변형하여 데이터의 다양성을 증가시키는 방식이 사용될 수 있으나, 성능 향상면에서 그 효과는 매우 제한적이다. 예를 들어, 보행자와 같은 특정 클래스(class)의 경우, 데이터 세트의 크기가 크더라도 데이터 세트에 포함된 개별 요소(instance)의 비율이 상대적으로 작기 때문에 단순히 데이터의 크기를 증가시키는 것으로는 충분한 객체 수를 확보하기가 어렵다.
일 실시예에 따르면, 객체 검출 방법은 입력 영상을 수신하는 단계; 상기 입력 영상의 특징 분포를 지시하는 잠재 변수(latent variable)를 생성하는 단계; 및 상기 잠재 변수에 기초하여, 상기 입력 영상 내 객체를 검출하는 단계를 포함한다.
상기 잠재 변수를 생성하는 단계는 상기 입력 영상을 인코딩하는 신경망을 이용하여 상기 입력 영상의 특징을 추출하는 단계; 및 상기 입력 영상의 특징에 대응하는 특징 분포를 결정하는 신경망을 이용하여 상기 잠재 변수를 획득하는 단계를 포함할 수 있다.
상기 신경망은 실제 영상, 및 합성 영상(synthesized image)을 상기 실제 영상(real image)의 페이크 영상(fake image)으로 변환한 합성 영상의 스코어에 기초하여 필터링된 합성 영상 중 적어도 하나에 기초하여 학습된 것일 수 있다.
상기 잠재 변수는 상기 입력 영상의 도메인을 변환하기 위한 특징; 및 상기 객체를 검출하기 위한 특징을 내재할 수 있다.
상기 입력 영상의 도메인을 변환하기 위한 특징은 합성 영상의 제1 도메인을 실제 영상의 제2 도메인으로 변환하기 위한 특징, 및 상기 제2 도메인을 상기 제1 도메인으로 변환하기 위한 특징 사이의 공유되는(shared) 특징을 포함할 수 있다.
상기 잠재 변수는 다차원 평균 벡터와 다차원 분산 벡터를 포함할 수 있다.
상기 객체를 검출하는 단계는 상기 입력 영상 내 객체의 위치를 지시하는 정보를 획득하는 단계; 및 상기 객체를 분류(classify)하는 정보를 획득하는 단계 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 학습 방법은 합성 영상의 제1 도메인을 실제 영상의 제2 도메인으로 변환하는 단계; 상기 변환된 합성 영상의 스코어(score)를 산출하는 단계; 상기 스코어를 기초로, 상기 변환된 합성 영상을 필터링하는 단계; 및 상기 필터링한 합성 영상을 이용하여 입력 영상에 포함된 객체를 검출하는 신경망을 학습하는 단계를 포함한다.
상기 필터링하는 단계는 상기 스코어와 임계치를 비교하는 단계; 및 상기 스코어가 상기 임계치보다 크거나 같은 경우에 상기 제1 도메인으로 변환된 합성 영상을 선택하는 단계를 포함할 수 있다.
상기 신경망을 학습하는 단계는 상기 실제 영상 및 상기 필터링된 합성 영상 중 적어도 하나를 이용하여 상기 신경망을 학습하는 단계를 포함할 수 있다.
상기 신경망을 학습하는 단계는 상기 제2 도메인의 인코더에 기초하여, 상기 필터링된 합성 영상을 인코딩하는 단계; 상기 인코딩 결과에 기초하여 잠재 변수를 생성하는 단계; 상기 잠재 변수 및 검출기에 기초하여 상기 입력 영상에 포함된 객체를 검출하는 단계; 상기 객체와 관련된 실측 정보(ground truth)와 상기 검출 결과가 서로 유사한 정도에 기초한 검출 로스(detection loss)를 획득하는 단계; 및 상기 검출 로스에 기초하여, 상기 검출기를 학습하는 단계를 포함할 수 있다.
상기 신경망을 학습하는 단계는 상기 잠재 변수를 상기 제1 도메인에서 디코딩함으로써, 상기 제1 도메인의 페이크 영상을 생성하는 단계; 상기 잠재 변수를 상기 제2 도메인에서 디코딩함으로써, 상기 제2 도메인의 페이크 영상을 생성하는 단계; 상기 합성 영상과 상기 제1 도메인의 페이크 영상이 서로 구별되는 정도에 기초한 제1 적대 로스(adversarial loss)를 획득하는 단계; 상기 필터링된 합성 영상과 상기 제2 도메인의 페이크 영상이 서로 유사한 정도에 기초한 제1 로스(loss)를 획득하는 단계; 및 상기 제1 적대 로스 및 상기 제1 로스에 기초하여, 상기 제2 도메인의 인코더를 학습하는 단계를 포함할 수 있다.
상기 잠재 변수는 상기 합성 영상의 제1 도메인을 상기 실제 영상의 제2 도메인으로 변환하기 위한 특징, 및 상기 제2 도메인을 상기 제1 도메인으로 변환하기 위한 특징 사이의 공유되는 특징; 및 상기 객체를 검출하기 위한 특징을 내재할 수 있다.
일 실시예에 따르면, 객체 검출 장치는 입력 영상을 수신하는 통신 인터페이스; 및 상기 입력 영상의 특징 분포를 지시하는 잠재 변수를 생성하고, 상기 잠재 변수에 기초하여, 상기 입력 영상 내 객체를 검출하는 프로세서를 포함한다.
상기 프로세서는 상기 입력 영상을 인코딩하는 신경망을 이용하여 상기 입력 영상의 특징을 추출하고, 상기 입력 영상의 특징에 대응하는 특징 분포를 결정하는 신경망을 이용하여 상기 잠재 변수를 획득할 수 있다.
상기 신경망은 실제 영상, 및 합성 영상을 상기 실제 영상의 페이크 영상으로 변환한 합성 영상의 스코어에 기초하여 필터링된 합성 영상 중 적어도 하나에 기초하여 학습된 것일 수 있다.
상기 잠재 변수는 상기 입력 영상의 도메인을 변환하기 위한 특징; 및 상기 객체를 검출하기 위한 특징을 내재할 수 있다.
상기 입력 영상의 도메인을 변환하기 위한 특징은 합성 영상의 제1 도메인을 실제 영상의 제2 도메인으로 변환하기 위한 특징, 및 상기 제2 도메인을 상기 제1 도메인으로 변환하기 위한 특징 사이의 공유되는 특징을 포함할 수 있다.
상기 프로세서는 상기 입력 영상 내 객체의 위치를 지시하는 정보를 획득하고, 상기 객체를 분류하는 정보를 획득할 수 있다.
도 1은 일 실시예에 따른 객체 검출을 위한 학습 방법을 설명하기 위한 도면.
도 2는 일 실시예에 따른 GAN(Generative Adversarial Network) 변환기의 동작을 설명하기 위한 도면.
도 3은 일 실시예에 따른 객체 검출을 위한 학습 방법을 나타낸 흐름도.
도 4는 다른 실시예에 따른 객체 검출을 위한 학습 장치의 동작을 설명하기 위한 도면.
도 5 내지 도 6은 도 4에 도시된 학습 장치에서 도메인 변환 네트워크를 학습하는 방법을 설명하기 위한 도면.
도 7은 일 실시예에 따른 객체 검출 방법을 나타낸 흐름도.
도 8은 일 실시예에 따른 객체 검출 장치의 동작을 설명하기 위한 도면.
도 9는 일 실시예에 따른 객체 검출 장치의 블록도.
본 명세서에 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것이다. 개시된 실시예들은 다양한 다른 형태로 변경되어 실시될 수 있으며 본 명세서의 범위는 개시된 실시예들에 한정되지 않는다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
하기에서 설명될 실시예들은 스마트 차량 등의 증강 현실 내비게이션 (Augmented Reality Navigation) 시스템에서 차선을 표시하거나, 자율 주행 차량의 조향을 돕기 위한 시각 정보를 생성하는 데에 활용될 수 있다. 또한, 실시예들은 차량 내 주행 보조 또는 완전 자율 주행을 위해 설치된 HUD(Head Up Display) 등의 지능 시스템을 포함하는 기기에서 시각 정보(Visual Information)를 해석하여 안전하고 쾌적한 주행을 돕는 데에 사용될 수 있다. 실시예들은 예를 들어, 자율 주행 자동차, 지능형 자동차, 스마트 폰, 및 모바일 기기 등에 적용될 수 있다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 객체 검출을 위한 학습 방법을 설명하기 위한 도면이다. 도 1을 참조하면, 일 실시예에 따른 학습 장치의 구조 및 동작이 도시된다.
일반적으로 영상으로부터의 객체 검출 및/또는 세그먼테이션(Segmentation)의 경우, 영상 내에 특정 객체에 대한 데이터가 많이 부족한 클래스가 존재할 수 있다. 데이터가 부족한 클래스에 대한 데이터 획득은 쉽지 않을 뿐만 아니라, 데이터 취득 후에도 레이블링(Labeling) 과정이 요구되므로 학습 데이터의 취득 과정에 많은 시간과 비용이 소요된다.
일 실시예에서는 컴퓨터 시뮬레이터(Simulator)로 생성한, 실제 주행 영상과 유사한 합성 영상(Synthetic image)을 이용하여 필요한 특정 클래스(예를 들어, 보행자)의 데이터를 무한대로 생성할 수 있다.
이하에서, 합성 영상(Synthetic image)은 Image 1로 표시하고, 실제 영상(real image)은 Image 2로 표시하기로 한다. 합성 영상의 도메인은 제1 도메인으로, 실제 영상의 도메인은 제2 도메인으로 이해될 수 있다. 합성 영상의 실측 정보(Ground Truth; GT)는 Ground Truth 1으로, 실제 영상의 실측 정보는 Ground Truth 2로 표시하기로 한다. 또한, 합성 영상의 페이크 영상(fake image)은 Image 1'으로, 실제 영상의 페이크 영상은 Image 2'으로 표시하기로 한다. 여기서, 실측 정보(GT)는 합성 영상 및 실제 영상에서 어떤 물체가 어느 위치에 있는지를 표기한 정답 정보에 해당할 수 있다. 여기서, 각 영상의 '페이크 영상'은 해당 영상의 도메인을 변환하여 표현한 영상일 수 있다. 예를 들어, 합성 영상의 페이크 영상은 제1 도메인의 합성 영상을 제2 도메인으로 변환하여 표현한 영상이고, 실제 영상의 페이크 영상은 제2 도메인의 실제 영상을 제1 도메인으로 변환하여 표현한 영상일 수 있다.
일 실시예에 따른 학습 장치는 제2 도메인의 실제 영상(Image 2)을 사용하여 검출기(Detector)(130)를 학습할 수 있다. 학습 장치는 실제 영상(Image 2)과 실제 영상의 실측 정보(Ground Truth 2)가 유사한 정도에 기초한 로스 함수(Loss function)(140)에 의해 검출기(130)를 학습할 수 있다.
또한, 일 실시예에 따른 학습 장치는 실제 영상(Image 2) 이외에 전술한 합성 영상(Image 1)을 함께 이용하여 검출기(130)를 학습할 수 있다. 학습 장치는 합성 영상(Image 1)의 제1 도메인을 실제 영상(Image 2)의 제2 도메인으로 변환하고, 실제 영상과 변환된 합성 영상을 학습 데이터로 함께 활용할 수 있다. 학습 장치는 실제 영상과 변환된 합성 영상을 함께 이용함으로써 객체 검출을 위한 다량의 데이터를 용이하게 확보할 수 있으며, 데이터의 다양성 또한 증대시킬 수 있다.
학습 장치는 GAN 변환기(110)를 이용하여 합성 영상(Image 1)의 제1 도메인을 실제 영상(Image 2)의 제2 도메인으로 변환한다. 학습 장치는 (제2 도메인으로) 변환된 합성 영상의 스코어를 산출하고, 스코어를 기초로 변환된 합성 영상(Image 1)을 필터링할 수 있다. 예를 들어, 학습 장치는 필터(120)에 의해 스코어가 미리 설정된 임계치보다 크거나 같은지를 비교하고, 스코어가 임계치보다 크거나 같은 경우에 제2 도메인으로 변환된 합성 영상을 선택하여 신경망을 학습하는 데에 이용할 수 있다. 여기서, 스코어는 예를 들어, 도메인 변환된 영상의 완성도를 나타내는 "fake accuracy score"로서, GAN 변환기(110)에 포함된 구별기(Discriminator)(도 4의 제2 구별기(416) 참조)의 출력에 해당할 수 있다. 스코어는 예를 들어, 0 내지 1의 값을 가질 수 있다.
학습 장치는 예를 들어, 변환된 합성 영상의 스코어가 임계치(0.9) 이상이면 변환된 합성 영상을 검출기(130)로 전달하여 학습에 이용하도록 할 수 있다. 학습 장치는 적절하게 설정된 임계치를 통해 정량화된 값으로 도메인 변환된 합성 영상의 성능을 자동으로 평가함으로써 학습에 사용되는 영상의 수준을 원하는 레벨로 설정할 수 있다. 일 실시예에서는 임계치보다 같거나 높은 일정 수준의 변환된 합성 영상, 다시 말해 실제 영상과 유사하게 도메인 변환된 합성 영상이 검출기(130)의 학습에 이용되도록 함으로써 검출기(130)의 검출 성능 또한 향상시킬 수 있다.
학습 장치는 검출기(130)로 전달된 변환된 합성 영상과 합성 영상(Image 1)의 실측 정보(Ground Truth 1)가 유사한 정도에 기초한 로스 함수(Loss function)(140)에 의해 검출기(130)를 학습할 수 있다. 아울러, 학습 장치는 실제 영상(Image 2)과 실제 영상의 실측 정보(Ground Truth 2)가 유사한 정도에 기초한 로스 함수(140)에 의해 검출기를 학습할 수 있다.
학습 장치는 필터(120)에서 필터링한 합성 영상을 이용하여 입력 영상에 포함된 객체를 검출하는 검출기(130)를 학습할 수 있다. 검출기(130)는 예를 들어, 컨볼루션 신경망(Convolution Neural Network; CNN), 심층 신경망(Deep Neural Network; DNN), 서포트 벡터 머신(Support Vector Machine) 등을 포함할 수 있다. 검출기(130)는 예를 들어, 보행자, 다양한 도로 노면 영상의 차선 표시, 횡단 보도 표시 등과 같은 도로 표시, 차량, 등이 미리 학습된 것으로서, 영역 기반(Region-based) 컨볼루션 신경망일 수 있다. 컨볼루션 신경망은 예를 들어, 영상에서 검출하고자 하는 객체의 바운딩 박스(bounding box)와 검출하고자 하는 객체가 미리 학습된 것일 수 있다.
로스 함수(Loss function)(140)에는 예를 들어, Cross Entropy, Least Square Error 값 등 다양한 물리량이 사용될 수 있다.
도 2는 일 실시예에 따른 GAN(Generative Adversarial Network) 변환기의 동작을 설명하기 위한 도면이다. 도 2의 (a)를 참조하면, 실제 영상을 이용하여 구별기(Discriminator; DY)(210)를 학습하는 과정이 도시되고, 도 2의 (b)를 참조하면, 도메인 변환된 합성 영상을 이용하여 생성기(Generator; G)(230) 및 구별기(Discriminator; DY)(250)를 학습하는 과정이 도시된다.
구별기(DY)(210)는 실제 영상과 페이크 영상을 구별할 수 있다. 구별기(DY)(210)는 예를 들어, 실제 영상에 대하여 '1'을 출력하고, 페이크 영상에 대하여 '0'을 출력할 수 있다.
구별기(DY)(250)는 제2 도메인의 실제 영상과 제1 도메인의 합성 영상에서 제2 도메인으로 변환된 합성 영상을 구별할 수 있다. 구별기(DY)(250)는 제2 도메인의 실제 영상에 대하여는 '1'을 출력하고, 도메인 변환된 합성 영상에 대하여는 '0'을 출력하도록 학습될 수 있다.
생성기(G)(230)는 랜덤 코드(random code) 또는 잠재 코드(latent code) x를 받아서 합성 영상 G(x)을 생성할 수 있다. 구별기(DY)(250)는 생성기(G)(230)에서 생성된 합성 영상 G(x)을 이용하여 출력이 '1'이 되도록 학습될 수 있다.
생성기(G)(230) 및 구별기(DY)(250)의 동작은 아래의 수학식 1을 통해 보다 구체적으로 설명한다.
Figure pat00001
우선, 구별기(DY) 관점에서의 동작을 살펴보면 다음과 같다.
수학식 1에서
Figure pat00002
는 확률 밀도 함수에 해당하며, 실제 데이터의 분포를 샘플링한다는 의미이다. 예를 들어,
Figure pat00003
는 학습 데이터에 1000개의 보행자 이미지가 있다고 하면, 거기서 y 값을 하나씩 뽑는 것으로 볼 수 있다.
구별기(DY)는 실제 영상에 대해 '1'에 가까운 값을 출력해야 하므로 수식적으로
Figure pat00004
값을 최대화하도록 표현될 수 있다. 구별기(DY)는 0에서 1 사이의 값을 출력할 수 있다.
Figure pat00005
에서 x는 랜덤한 값이 될 수 있다. x는 생성기(G)에 입력될 수 있다. 생성기(G)는 예를 들어, 가우시안 분포(정규 분포)에 기초하여 다차원의 벡터를 샘플링할 수 있다. 랜덤한 다차원의 벡터 x를 수신한 생성기(G)는 예를 들어, 제1 도메인의 합성 영상으로부터 제2 도메인의 합성 영상을 생성할 수 있다. 생성기(G)는 도메인이 변환된 영상을 생성하므로 '변환기'라고도 부를 수 있다. G(x)를 수신한 구별기(DY)는 0에 가까운 값을 출력해야 하고, 이는 수식적으로
Figure pat00006
와 같이 표현할 수 있다.
그 다음 생성기(G) 관점에서의 동작을 살펴보면 다음과 같다.
생성기(G)는 수학식 1에서 우측 좌변
Figure pat00007
의 값이 최소화되어 야 하고, 구별기(DY)를 학습하는 데에는 생성기(G)가 사용되지 않으므로 수학식 1에서
Figure pat00008
는 생성기(G)가 관여할 수 없는 부분에 해당한다. 따라서, 생성기(G)는 수학식 1에서
Figure pat00009
이 최소화되도록 학습될 수 있다. 생성기(G)는 구별기(DY)와 반대로
Figure pat00010
= 1이 되도록 학습될 수 있다.
일 실시예에 따른 구별기(DY)는 제2 도메인의 입력 영상에 대하여 '1'을 출력하고, 제1 도메인에서 제2 도메인으로 변환된 합성 영상에 대하여는 '0'을 출력하도록 학습될 수 있다. 구별기(DY)의 학습을 위해 다양한 물리량들(Cross Entropy, Least Square Error 값 등)이 사용될 수 있다.
도 3은 일 실시예에 따른 객체 검출을 위한 학습 방법을 나타낸 흐름도이다. 도 3을 참조하면, 일 실시예에 따른 학습 장치는 합성 영상(synthesized image)의 제1 도메인을 실제 영상(real image)의 제2 도메인으로 변환한다(310).
학습 장치는 변환된 합성 영상의 스코어(score)를 산출한다(320),
학습 장치는 스코어를 기초로, 변환된 합성 영상을 필터링한다(330). 학습 장치는 예를 들어, 스코어와 임계치를 비교하고, 스코어가 임계치보다 크거나 같은 경우에 제2 도메인으로 변환된 합성 영상을 선택하여 신경망을 학습하는 데에 이용할 수 있다.
학습 장치는 필터링한 합성 영상을 이용하여 입력 영상에 포함된 객체를 검출하는 신경망을 학습한다(340). 학습 장치는 실제 영상 및 단계(330)에서 필터링된 합성 영상 중 적어도 하나를 이용하여 신경망을 학습할 수 있다. 학습 장치가 신경망을 학습하는 방법을 아래의 도 4 내지 도 6을 참조하여 보다 구체적으로 설명한다.
도 4는 다른 실시예에 따른 객체 검출을 위한 학습 장치의 동작을 설명하기 위한 도면이다. 도 4를 참조하면, 일 실시예에 따른 학습 장치(400)는 GAN 도메인 변환 네트워크(GAN Domain Translation Network)(410) 및 검출 네트워크(Detection Network)(450)를 포함할 수 있다.
GAN 도메인 변환 네트워크(410)는 두 영상들(예를 들어, 실제 영상과 합성 영상) 간에 도메인을 변환할 수 있다. GAN 도메인 변환 네트워크(410)는 합성 영상의 제1 도메인을 실제 영상의 제2 도메인으로 변환할 수도 있고, 실제 영상의 제2 도메인을 합성 영상의 제1 도메인으로 변환할 수도 있다.
또한, GAN 도메인 변환 네트워크(410)는 서로 다른 영상 또는 서로 다른 데이터 세트 사이에서 불필요한 정보(예를 들어, 유사도가 낮거나 품질이 낮은 영상과 관련된 정보)를 제거하고, 특정 클래스의 객체 검출에 필요한 공통의 정보(예를 들어, 잠재 변수(Z))를 특징으로 추출할 수 있다. 공통의 정보는 학습 과정에서의 도메인 변환 시에 공유될 수 있다. 또한, 공통의 정보는 객체 검출 시에도 사용될 수 있다.
일 실시예에 따른 학습 장치(400)는 자동으로 영상의 도메인을 변환함으로써 학습 데이터를 풍부하게 하는 한편, 일정 품질 이상의 학습 데이터를 사용하여 객체 검출 성능 또한 향상시킬 수 있다.
GAN 도메인 변환 네트워크(410)는 제1 인코더(Encoder 1)(411), 제1 디코더(Decoder 1)(412), 제1 구별기(Discriminator 1)(413), 제2 인코더(Encoder 2)(414), 제2 디코더(Decoder 2)(415), 제2 구별기(Discriminator 1)(416), 및 필터(417)를 포함할 수 있다. 제1 인코더(411), 제1 디코더(412), 제1 구별기(413)는 합성 영상의 제1 도메인에 대응한 것이고, 제2 인코더(414), 제2 디코더(415), 및 제2 구별기(416)는 실제 영상의 제2 도메인에 대응한 것일 수 있다.
제1 인코더(411)는 제1 도메인의 합성 영상(Image 1)을 인코딩하여 합성 영상의 특징을 추출할 수 있다. 제1 인코더(411)는 합성 영상(Image 1)으로부터 높은 수준의 정보(high-level knowledge)를 추출할 수 있다.
제1 디코더(412)는 잠재 변수(Z)를 제1 도메인에서 디코딩하여 제1 도메인의 합성 영상(Image 1)의 페이크 영상(Image 1')을 생성할 수 있다. 제1 도메인의 합성 영상(Image 1)의 페이크 영상(Image 1')은 '제1 도메인의 페이크 영상' 또는 '합성 영상의 페이크 영상'으로 간략하게 표현할 수 있다.
이때, 잠재 변수(Z)는 합성 영상(Image 1)의 제1 도메인을 실제 영상(Image 2)의 제2 도메인으로 변환하기 위한 특징, 및 제2 도메인을 제1 도메인으로 변환하기 위한 특징 사이의 공유되는(shared) 특징을 포함할 수 있다. 잠재 변수(Z)는 합성 영상(Image 1) 및 실제 영상(Image 2)이 제1 인코더(411) 및 제2 인코더(414)를 통과하여 생성된 데이터로서, 합성 영상(Image 1) 및 실제 영상(Image 2)보다 작은 해상도를 가질 수 있다.
제1 인코더(411) 및 제1 디코더(412)는 제1 로스에 의해 학습될 수 있다. 제1 로스는 L1 loss에 해당할 수 있다. 제1 로스에 의해 제1 인코더(411) 및 제1 디코더(412)를 학습하는 과정은 아래의 도 5를 참조하여 구체적으로 설명한다.
제1 구별기(413)는 제1 도메인의 합성 영상(Image 1)과 제1 도메인의 페이크 영상(Image 1')을 구별할 수 있다. 제1 구별기(413)는 제1 적대 로스(adversarial loss)에 의해 학습될 수 있다.
제2 인코더(414)는 제2 도메인의 실제 영상(Image 2)을 인코딩하여 실제 영상의 특징을 추출할 수 있다. 제2 인코더(414)는 제2 도메인의 실제 영상(Image 2)으로부터 높은 수준의 정보(high-level knowledge)를 추출할 수 있다.
제2 디코더(415)는 잠재 변수(Z)를 제2 도메인에서 디코딩하여 제2 도메인의 실제 영상(Image 2)의 페이크 영상(Image 2')을 생성할 수 있다. 제2 도메인의 합성 영상(Image 2)의 페이크 영상(Image 2')은 '제2 도메인의 페이크 영상' 또는 '실제 영상의 페이크 영상'으로 간략하게 표현할 수 있다.
제2 인코더(414) 및 제2 디코더(415)는 제2 로스에 의해 학습될 수 있다. 제2 로스는 L1 loss에 해당할 수 있다.
제2 구별기(416)는 제2 도메인의 실제 영상(Image 2)과 제2 도메인의 페이크 영상(Image 2')을 구별할 수 있다. 제2 구별기(416)는 제2 적대 로스에 의해 학습될 수 있다. 제2 적대 로스에 의해 제2 구별기(416)를 학습하는 방법을 아래의 도 6을 참조하여 구체적으로 설명한다.
필터(417)는 실제 영상(real image 2)의 제2 도메인으로 변환된 합성 영상(image 1)의 스코어를 임계치와 비교함으로써 도메인 변환된 합성 영상을 필터링할 수 있다.
예를 들어, 특정 클래스의 데이터가 부족하여 검출 성능이 많이 떨어지는 경우에는 실측 정보(GT)를 생성하기 쉬운 합성 영상의 제1 도메인 데이터를 실제 영상의 제2 도메인 데이터로 변환하여 검출에 사용할 수 있다. 이때, 학습 장치(400)는 제2 도메인으로 변환된 합성 영상의 스코어를 이용하여 변환된 합성 영상을 검출 네트워크(450)의 학습에 사용할 지 여부를 결정함으로써 자동으로 학습 데이터를 원하는 만큼 생성할 수 있다. 학습 장치(400)는 이와 같은 과정을 통해 일정 레벨 이상의 학습 데이터를 생성할 수 있다.
필터(417)를 통해 필터링된 변환된 합성 영상은 제2 인코더(414) 및 잠재 변수(Z)를 거친 후, 제2 디코더(415)를 통해 제2 도메인의 페이크 영상으로 생성되어 제2 로스를 산출하는 데에 이용될 수 있다. 또한, 필터(417)를 통해 필터링된 변환된 합성 영상은 제2 인코더(414) 및 잠재 변수(Z)를 거친 후, 제1 디코더(412)를 통해 제1 도메인의 페이크 영상으로 생성되어 제2 적대 로스를 산출하는 데에 이용될 수 있다.
이 밖에도, 필터(417)를 통해 필터링된 변환된 합성 영상은 제2 인코더(414) 및 잠재 변수(Z)를 거친 후, 검출기(453)를 통해 검출 로스를 산출하는 데에 이용될 수 있다.
제1 구별기(413)의 제1 적대 로스 값 및 제2 구별기(416)의 제2 적대 로스 값은 예를 들어, GAN 도메인 변환 네트워크(410)의 학습 종료 시점에서 이론적으로는 0.5로 수렴할 수 있다. 적대 로스 값을 예를 들어, 실제 클래스에 대하여는 '1'이 페이크 클래스에 대하여는 '0'일 수 있으나, 어떠한 로스 함수(Loss function)를 이용하는지에 따라 로스 값은 다양해질 수 있으므로 반드시 이에 한정되는 것은 아니다. 로스 함수에는 실사 영상과 페이크 영상을 구별할 수 있는 어떠한 정량적인 값이라도 사용될 수 있다.
또한, 검출 네트워크(Detection Network)(450)는 GAN 도메인 변환 네트워크(410)에서 추출된 정보로부터 객체를 검출할 수 있다. 검출 네트워크(450)는 검출기(453)를 포함할 수 있다.
보다 구체적으로 학습 장치(400)는 제2 도메인의 제2 인코더(414)에 기초하여, 필터(417)에 필터링된 합성 영상을 인코딩하고, 인코딩 결과에 기초하여 잠재 변수를 생성할 수 있다. 학습 장치(400)는 잠재 변수 및 검출기(453)에 기초하여 입력 영상에 포함된 객체를 검출할 수 있다.
검출기(453)는 잠재 변수(Z)로부터 객체를 검출할 수 있다. 검출기(453)의 검출 결과(Detection Result)는 미리 정의된 클래스에 해당하는 객체가 합성 영상(Image 1) 및 실제 영상(Image 2)의 어느 부분에 존재하는지를 나타내는 바운딩 박스(bounding box)의 좌표값과 객체의 존재 가능성을 포함할 수 있다. 객체의 존재 가능성은 예를 들어, 0~1 범위의 숫자로 표현될 수 있다.
검출 결과(Detection Result)는 검출기(453)에 의해 검출된 객체와 실측 정보(GT)를 비교한 결과로서, 검출 로스(detection loss)(457)에 의해 실측 정보와의 유사도가 측정될 수 있다. 검출 로스(457)는 객체와 관련된 실측 정보와 검출 결과가 서로 유사한 정도에 기초한 것일 수 있다.
검출 로스(457)는 예를 들어, 분류 로스(Classification Loss) 및 바운딩 박스 리그레션 로스(Bounding Box regression loss)를 포함할 수 있다. 분류 로스는 검출 결과에 포함된 (예상된) 객체가 실측 정보가 같은 클래스인지를 판별하는 것으로서, 예를 들어, 크로스 엔트로피 로스(cross-entropy loss)일 수 있다. 바운딩 박스 리그레션 로스는 검출 결과에 포함된 (예상된) 객체의 바운딩 박스의 위치(localization) 정확도를 측정하는 것으로서, 예를 들어, 리그레션 로스 함수(regression loss function)에 해당할 수 있다.
검출기(453)는 검출 로스(457)에 의해 학습될 수 있다.
일 실시예에 따른 학습 장치(400)에서 합성 영상(Image 1)은 GAN 도메인 변환 네트워크(410) 및 검출 네트워크(Detection Network)(450)를 거치면서 제1 인코더(411), 제1 디코더(412), 제2 인코더(414), 및 제2 디코더(415)의 파라미터를 업데이트할 수 있다.
제1 인코더(411), 제1 디코더(412), 제1 구별기(413), 제2 인코더(414), 제2 디코더(415), 제2 구별기(416), 및 검출기(453)는 예를 들어, 컨볼루션 신경망(Convolution Neural Network; CNN), 심층 신경망(Deep Neural Network; DNN), 서포트 벡터 머신(Support Vector Machine) 이외에도 다양한 형태의 신경망에 의해 구현될 수 있으며, 반드시 이에 한정되지는 않는다.
실시예에 따라서, 제1 인코더(411) 및 제1 디코더(412)는 제1 오토 인코더(auto encoder)로 구현되고, 제2 인코더(414) 및 제2 디코더(415)는 제2 오토 인코더(auto encoder)로 구현될 수도 있다.
도 5은 도 4에 도시된 학습 장치에서 도메인 변환 네트워크를 학습하는 방법을 설명하기 위한 도면이다. 도 5를 참조하면, 제1 로스에 의해 제1 인코더(411) 및 제1 디코더(412)를 학습하는 과정이 도시된다.
도 5에 도시된 것과 같이 합성 영상(Image 1)은 제1 인코더(411) → 잠재 변수(Z) → 제1 디코더(412)로 전달될 수 있다. 합성 영상(Image 1)이 학습 장치(400)에 입력되면, 제1 인코더(411)는 합성 영상(Image 1)에서 특징을 추출할 수 있다. 제1 인코더(411)가 추출한 특징은, 영상의 특징에 대응하는 특징 분포를 결정하는 신경망에 인가되어 잠재 변수(Z)로 출력될 수 있다. 제1 디코더(412)는 잠재 변수를 제1 도메인에서 디코딩함으로써 제1 도메인의 페이크 영상(Image 1')을 생성할 수 있다.
학습 장치는 합성 영상(Image 1)과 제1 도메인의 페이크 영상(Image 1')이 서로 유사한 정도에 기초한 제1 로스를 획득할 수 있다. 제1 로스는 예를 들어, 합성 영상(Image 1)과 제1 도메인의 페이크 영상(Image 1') 사이의 L1 distance일 수 있다.
제1 도메인의 페이크 영상(Image 1')에 대한 제1 로스의 그래디언트(gradient)는 도 4에서 합성 영상(Image 1)이 전달된 경로의 반대 방향으로 전달(back-propagation)되어 해당 경로 상에 있는 제1 인코더(411) 및 제1 디코더(412)(의 파라미터)를 갱신하는 데에 사용될 수 있다.
이 밖에도, 실제 영상(Image 2)은 제2 인코더(414) → 잠재 변수(Z) → 제2 디코더(415)로 전달될 수 있다. 제2 디코더(415)는 잠재 변수를 제2 도메인에서 디코딩함으로써, 제2 도메인의 페이크 영상을 생성할 수 있다. 이때, 생성된 제2 도메인의 페이크 영상은 필터(417)를 거쳐 필터링된 후, 제2 인코더(414)로 입력될 수 있다. 이때, 필터(417)는 도 1의 필터(120)에 해당할 수 있다.
제2 인코더(414)는 필터링된 제2 도메인의 페이크 영상과 실제 영상(Image 2)을 인코딩함으로써 필터링된 제2 도메인의 페이크 영상에서 실제 영상(Image 2)에 보다 가까운 특징을 추출할 수 있다.
학습 장치는 실제 영상(Image 2)과 제2 도메인의 페이크 영상(Image 2')이 서로 유사한 정도에 기초한 제2 로스를 획득할 수 있다. 제2 로스는 실제 영상(Image 2)과 제2 도메인의 페이크 영상(Image 2') 사이의 L1 distance일 수 있다.
도 6은 도 4에 도시된 학습 장치에서 도메인 변환 네트워크를 학습하는 방법을 설명하기 위한 도면이다. 도 6을 참조하면, 제2 적대 로스에 의해 제2 구별기(416)를 학습하는 과정이 도시된다.
예를 들어, 합성 영상(Image 1)이 제1 인코더(411) → 잠재 변수(Z) → 제2 디코더(415)로 전달된다고 하자. 제2 디코더(415)는 잠재 변수를 디코딩함으로써 제2 도메인의 페이크 영상(Image 2`)을 생성할 수 있다. 이러한 과정은 도 1의 GAN 변환기(110)에 의해 수행될 수 있다.
제2 도메인의 실제 영상(Image 2) 및 제2 도메인의 페이크 영상(Image 2`)은 각각 제2 구별기(416)를 통과할 수 있다. 학습 장치(400)는 제2 구별기(416)를 통해 합성 영상과 제1 도메인의 페이크 영상이 서로 구별되는 정도에 기초한 제2 적대 로스(adversarial loss)를 획득할 수 있다. 제2 적대 로스(adversarial loss)는 합성 영상(Image 1)이 전달된 순서로 역방향으로 전달(back-propagation)되어 제2 구별기(416)를 학습하는 데에 이용될 수 있다.
제2 디코더(415)는 제2 적대 로스 및 전술한 제2 로스에 기초하여 학습될 수 있다.
도 7은 일 실시예에 따른 객체 검출 방법을 나타낸 흐름도이고, 도 8은 일 실시예에 따른 객체 검출 장치의 동작을 설명하기 위한 도면이다. 도 7 및 도 8을 참조하면, 일 실시예에 따른 객체 검출 장치(이하, '검출 장치')는 입력 영상을 수신한다(710).
검출 장치는 입력 영상의 특징 분포를 지시하는 잠재 변수(latent variable)를 생성한다(720). 단계(720)에서 검출 장치는 예를 들어, 입력 영상을 인코딩하는 인코더(810)을 이용하여 입력 영상의 특징을 추출할 수 있다. 인코더(810)는 예를 들어, 컨볼루션 뉴럴 네트워크 혹은 그 외의 다양한 신경망으로 구성될 수 있다. 검출 장치는 입력 영상의 특징에 대응하는 특징 분포를 결정하는 인코더(810)를 이용하여 잠재 변수(830)를 획득할 수 있다. 잠재 변수는 다차원 평균 벡터와 다차원 분산 벡터를 포함할 수 있다. 또한, 잠재 변수는 입력 영상의 도메인을 변환하기 위한 특징, 및 객체를 검출하기 위한 특징을 내재할 수 있다. 입력 영상의 도메인을 변환하기 위한 특징은 합성 영상의 제1 도메인을 실제 영상의 제2 도메인으로 변환하기 위한 특징, 및 제2 도메인을 제1 도메인으로 변환하기 위한 특징 사이의 공유되는 특징을 포함할 수 있다. 이때, 인코더(810)은 예를 들어, 실제 영상, 및 합성 영상을 실제 영상의 페이크 영상으로 변환한 합성 영상의 스코어에 기초하여 필터링된 합성 영상 중 적어도 하나에 기초하여 학습된 것일 수 있다.
검출 장치는 잠재 변수에 기초하여, 입력 영상 내 객체를 검출한다(730). 단계(730)에서 검출 장치는 입력 영상 내 객체의 위치를 지시하는 정보 및 객체를 분류하는 정보 중 적어도 하나를 획득할 수 있다. 검출 장치는 객체의 위치를 지시하는 정보 및 객체를 분류하는 정보 중 적어도 하나를 미리 학습된 검출기(850)에 입력함으로써 입력 영상 내 객체를 검출할 수 있다. 검출기(850) 또한 전술한 컨볼루션 뉴럴 네트워크 혹은 그 외의 다양한 신경망으로 구성될 수 있다.
도 9는 일 실시예에 따른 객체 검출 장치의 블록도이다. 도 9를 참조하면, 일 실시예에 따른 객체 검출 장치(이하, '검출 장치')(900)는 프로세서(930) 및 통신 인터페이스(970)를 포함한다. 검출 장치(900)는 센서(910), 메모리(950) 및 디스플레이(990)를 더 포함할 수 있다. 센서(910), 프로세서(930), 메모리(950), 통신 인터페이스(970), 및 디스플레이(990)는 통신 버스(905)를 통해 서로 통신할 수 있다.
센서(910)는 예를 들어, 카메라 센서, 이미지(image) 센서, 비전(vision) 센서 등 일 수 있으며, 반드시 이에 한정되지 않는다. 센서(910)는 차량에 장착되어 차량의 주행 영상을 촬영할 수 있다.
프로세서(930)는 통신 인터페이스(970)를 통해 수신한 입력 영상의 특징 분포를 지시하는 잠재 변수를 생성한다. 프로세서(930)는 잠재 변수에 기초하여, 입력 영상 내 객체를 검출한다. 실시예에 따라서, 프로세서(930)는 센서(910)를 통해 획득한 입력 영상을 이용하여 잠재 변수를 생성하거나, 또는 통신 인터페이스(970)를 통해 수신한 입력 영상과 센서(910)를 통해 획득한 입력 영상을 함께 이용하여 잠재 변수를 생성할 수도 있다.
프로세서(930)는 입력 영상을 인코딩하는 신경망을 이용하여 입력 영상의 특징을 추출하고, 입력 영상의 특징에 대응하는 특징 분포를 결정하는 신경망을 이용하여 잠재 변수를 획득할 수 있다. 이때, 신경망은 실제 영상 및 합성 영상을 실제 영상의 페이크 영상으로 변환한 합성 영상의 스코어에 기초하여 필터링된 합성 영상 중 적어도 하나에 기초하여 학습된 것일 수 있다. 잠재 변수는 예를 들어, 입력 영상의 도메인을 변환하기 위한 특징, 및 객체를 검출하기 위한 특징을 내재할 수 있다. 입력 영상의 도메인을 변환하기 위한 특징은 합성 영상의 제1 도메인을 실제 영상의 제2 도메인으로 변환하기 위한 특징, 및 제2 도메인을 제1 도메인으로 변환하기 위한 특징 사이의 공유되는 특징을 포함할 수 있다.
프로세서(930)는 입력 영상 내 객체의 위치를 지시하는 정보를 획득하고, 객체를 분류하는 정보를 획득할 수 있다.
이 밖에도, 프로세서(930)는 도 1 내지 도 8을 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서(930)는 프로그램을 실행하고, 객체 검출 장치(900)를 제어할 수 있다. 프로세서(930)에 의하여 실행되는 프로그램 코드는 메모리(950)에 저장될 수 있다.
프로세서(930)는 예를 들어, CPU(Central Processing Unit) 또는 GPU(Graphics Processing Unit)으로 구성될 수 있다.
메모리(950)는 입력 영상 및 입력 영상의 특징 분포를 지시하는 잠재 변수를 저장할 수 있다. 메모리(950)는 잠재 변수를 입력 영상에 대응하여 저장할 수 있다. 메모리(950)는 휘발성 메모리 또는 비 휘발성 메모리일 수 있다.
통신 인터페이스(970)는 입력 영상을 수신한다. 통신 인터페이스(970)는 객체 검출 장치(900)의 외부에서 캡쳐된 주행 영상 또는 객체 검출 장치(900)의 외부로부터 수신되는 각종 센서들의 정보, 및 맵 정보 등을 수신할 수 있다. 실시예에 따라서, 통신 인터페이스(970)는 프로세서(930)에서 검출된 객체를 객체 검출 장치(900)의 외부 또는 디스플레이(990)로 전송할 수 있다.
디스플레이(990)는 입력 영상으로부터 검출된 객체를 표시할 수 있다. 디스플레이(990)는 객체를 입력 영상 및/또는 맵 정보와 함께 또는 별도로 표시할 수 있다.
예를 들어, 객체 검출 장치(900)가 차량에 내장(embedded)된 경우, 디스플레이(990)는 차량에 설치된 헤드 업 디스플레이(HUD)로 구성될 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 입력 영상을 수신하는 단계;
    상기 입력 영상의 특징 분포를 지시하는 잠재 변수(latent variable)를 생성하는 단계; 및
    상기 잠재 변수에 기초하여, 상기 입력 영상 내 객체를 검출하는 단계
    를 포함하는, 객체 검출 방법.
  2. 제1항에 있어서,
    상기 잠재 변수를 생성하는 단계는
    상기 입력 영상을 인코딩하는 신경망을 이용하여 상기 입력 영상의 특징을 추출하는 단계; 및
    상기 입력 영상의 특징에 대응하는 특징 분포를 결정하는 신경망을 이용하여 상기 잠재 변수를 획득하는 단계
    를 포함하는, 객체 검출 방법.
  3. 제2항에 있어서,
    상기 신경망은
    실제 영상, 및
    합성 영상(synthesized image)을 상기 실제 영상(real image)의 페이크 영상(fake image)으로 변환한 합성 영상의 스코어에 기초하여 필터링된 합성 영상
    중 적어도 하나에 기초하여 학습된 것인, 객체 검출 방법.
  4. 제1항에 있어서,
    상기 잠재 변수는
    상기 입력 영상의 도메인을 변환하기 위한 특징; 및
    상기 객체를 검출하기 위한 특징
    을 내재하는, 객체 검출 방법.
  5. 제4항에 있어서,
    상기 입력 영상의 도메인을 변환하기 위한 특징은
    합성 영상의 제1 도메인을 실제 영상의 제2 도메인으로 변환하기 위한 특징, 및 상기 제2 도메인을 상기 제1 도메인으로 변환하기 위한 특징 사이의 공유되는(shared) 특징을 포함하는, 객체 검출 방법.
  6. 제1항에 있어서,
    상기 잠재 변수는
    다차원 평균 벡터와 다차원 분산 벡터를 포함하는, 객체 검출 방법.
  7. 제1항에 있어서,
    상기 객체를 검출하는 단계는
    상기 입력 영상 내 객체의 위치를 지시하는 정보를 획득하는 단계; 및
    상기 객체를 분류(classify)하는 정보를 획득하는 단계
    중 적어도 하나를 포함하는, 객체 검출 방법.
  8. 합성 영상의 제1 도메인을 실제 영상의 제2 도메인으로 변환하는 단계;
    상기 변환된 합성 영상의 스코어(score)를 산출하는 단계;
    상기 스코어를 기초로, 상기 변환된 합성 영상을 필터링하는 단계; 및
    상기 필터링한 합성 영상을 이용하여 입력 영상에 포함된 객체를 검출하는 신경망을 학습하는 단계
    를 포함하는, 학습 방법.
  9. 제8항에 있어서,
    상기 필터링하는 단계는
    상기 스코어와 임계치를 비교하는 단계;
    상기 스코어가 상기 임계치보다 크거나 같은 경우에 상기 제1 도메인으로 변환된 합성 영상을 선택하는 단계
    를 포함하는, 학습 방법.
  10. 제8항에 있어서,
    상기 신경망을 학습하는 단계는
    상기 실제 영상 및 상기 필터링된 합성 영상 중 적어도 하나를 이용하여 상기 신경망을 학습하는 단계
    를 포함하는, 학습 방법.
  11. 제10항에 있어서,
    상기 신경망을 학습하는 단계는
    상기 제2 도메인의 인코더에 기초하여, 상기 필터링된 합성 영상을 인코딩하는 단계;
    상기 인코딩 결과에 기초하여 잠재 변수를 생성하는 단계;
    상기 잠재 변수 및 검출기에 기초하여 상기 입력 영상에 포함된 객체를 검출하는 단계;
    상기 객체와 관련된 실측 정보(ground truth)와 상기 검출 결과가 서로 유사한 정도에 기초한 검출 로스(detection loss)를 획득하는 단계; 및
    상기 검출 로스에 기초하여, 상기 검출기를 학습하는 단계
    를 포함하는, 학습 방법.
  12. 제11항에 있어서,
    상기 신경망을 학습하는 단계는
    상기 잠재 변수를 상기 제1 도메인에서 디코딩함으로써, 상기 제1 도메인의 페이크 영상을 생성하는 단계;
    상기 잠재 변수를 상기 제2 도메인에서 디코딩함으로써, 상기 제2 도메인의 페이크 영상을 생성하는 단계;
    상기 합성 영상과 상기 제1 도메인의 페이크 영상이 서로 구별되는 정도에 기초한 제1 적대 로스(adversarial loss)를 획득하는 단계;
    상기 필터링된 합성 영상과 상기 제2 도메인의 페이크 영상이 서로 유사한 정도에 기초한 제1 로스(loss)를 획득하는 단계; 및
    상기 제1 적대 로스 및 상기 제1 로스에 기초하여, 상기 제2 도메인의 인코더를 학습하는 단계
    를 더 포함하는, 학습 방법.
  13. 제11항에 있어서,
    상기 잠재 변수는
    상기 합성 영상의 제1 도메인을 상기 실제 영상의 제2 도메인으로 변환하기 위한 특징, 및 상기 제2 도메인을 상기 제1 도메인으로 변환하기 위한 특징 사이의 공유되는 특징; 및
    상기 객체를 검출하기 위한 특징
    을 내재하는, 학습 방법.
  14. 하드웨어와 결합되어 제1항 내지 제13항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  15. 입력 영상을 수신하는 통신 인터페이스; 및
    상기 입력 영상의 특징 분포를 지시하는 잠재 변수를 생성하고, 상기 잠재 변수에 기초하여, 상기 입력 영상 내 객체를 검출하는 프로세서
    를 포함하는, 객체 검출 장치.
  16. 제15항에 있어서,
    상기 프로세서는
    상기 입력 영상을 인코딩하는 신경망을 이용하여 상기 입력 영상의 특징을 추출하고, 상기 입력 영상의 특징에 대응하는 특징 분포를 결정하는 신경망을 이용하여 상기 잠재 변수를 획득하는, 객체 검출 장치.
  17. 제16항에 있어서,
    상기 신경망은
    실제 영상, 및
    합성 영상을 상기 실제 영상의 페이크 영상으로 변환한 합성 영상의 스코어에 기초하여 필터링된 합성 영상
    중 적어도 하나에 기초하여 학습된 것인, 객체 검출 장치.
  18. 제15항에 있어서,
    상기 잠재 변수는
    상기 입력 영상의 도메인을 변환하기 위한 특징; 및
    상기 객체를 검출하기 위한 특징
    을 내재하는, 객체 검출 장치.
  19. 제18항에 있어서,
    상기 입력 영상의 도메인을 변환하기 위한 특징은
    합성 영상의 제1 도메인을 실제 영상의 제2 도메인으로 변환하기 위한 특징, 및 상기 제2 도메인을 상기 제1 도메인으로 변환하기 위한 특징 사이의 공유되는 특징을 포함하는, 객체 검출 장치.
  20. 제15항에 있어서,
    상기 프로세서는
    상기 입력 영상 내 객체의 위치를 지시하는 정보를 획득하고, 상기 객체를 분류하는 정보를 획득하는, 객체 검출 장치.
KR1020180098379A 2018-08-23 2018-08-23 객체 검출 방법, 객체 검출을 위한 학습 방법 및 그 장치들 KR102565279B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180098379A KR102565279B1 (ko) 2018-08-23 2018-08-23 객체 검출 방법, 객체 검출을 위한 학습 방법 및 그 장치들
US16/408,702 US10990857B2 (en) 2018-08-23 2019-05-10 Object detection and learning method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180098379A KR102565279B1 (ko) 2018-08-23 2018-08-23 객체 검출 방법, 객체 검출을 위한 학습 방법 및 그 장치들

Publications (2)

Publication Number Publication Date
KR20200023708A true KR20200023708A (ko) 2020-03-06
KR102565279B1 KR102565279B1 (ko) 2023-08-09

Family

ID=69583777

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180098379A KR102565279B1 (ko) 2018-08-23 2018-08-23 객체 검출 방법, 객체 검출을 위한 학습 방법 및 그 장치들

Country Status (2)

Country Link
US (1) US10990857B2 (ko)
KR (1) KR102565279B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021221254A1 (en) * 2020-04-30 2021-11-04 StradVision, Inc. Method for performing continual learning on classifier in client capable of classifying images by using continual learning server and continual learning server using the same
KR102332114B1 (ko) * 2020-11-24 2021-12-01 한국과학기술원 이미지 처리 방법 및 장치
US11790486B2 (en) 2020-11-24 2023-10-17 Korea Advanced Institute Of Science And Technology Image processing method and apparatus

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102403494B1 (ko) * 2017-04-27 2022-05-27 에스케이텔레콤 주식회사 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법
WO2020112188A1 (en) * 2018-11-27 2020-06-04 Raytheon Company Computer architecture for artificial image generation
EP3888007A1 (en) * 2018-11-27 2021-10-06 Raytheon Company Computer architecture for artificial image generation using auto-encoder
US11195056B2 (en) 2019-09-25 2021-12-07 Fotonation Limited System improvement for deep neural networks
US20210150799A1 (en) * 2019-11-15 2021-05-20 Waymo Llc Generating Environmental Data
US11120585B2 (en) * 2019-11-28 2021-09-14 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image reconstruction
JP7209657B2 (ja) * 2020-02-28 2023-01-20 株式会社日立製作所 情報処理装置及び方法
US11748932B2 (en) * 2020-04-27 2023-09-05 Microsoft Technology Licensing, Llc Controllable image generation
KR20220098314A (ko) * 2020-12-31 2022-07-12 센스타임 인터내셔널 피티이. 리미티드. 뉴럴 네트워크의 트레이닝 방법과 장치 및 관련 대상 검출 방법과 장치
US11922320B2 (en) * 2021-06-09 2024-03-05 Ford Global Technologies, Llc Neural network for object detection and tracking
US11756288B2 (en) * 2022-01-05 2023-09-12 Baidu Usa Llc Image processing method and apparatus, electronic device and storage medium
US11830264B2 (en) * 2022-01-31 2023-11-28 Intuit Inc. End to end trainable document extraction

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1145124C (zh) 1996-10-31 2004-04-07 传感电子公司 视频信息智能管理系统
US7490031B1 (en) 2002-12-03 2009-02-10 Gang Qiu Mechanization of modeling, simulation, amplification, and intelligence of software
KR101347598B1 (ko) 2007-10-12 2014-01-07 삼성전자주식회사 영상 변환 방법 및 장치
US9256957B1 (en) 2012-09-13 2016-02-09 Bae Systems Information And Electronic Systems Integration Inc. Method for moving-object detection tracking identification cueing of videos
US9361409B2 (en) 2013-01-10 2016-06-07 International Business Machines Corporation Automatic driver modeling for integration of human-controlled vehicles into an autonomous vehicle network
US9639748B2 (en) 2013-05-20 2017-05-02 Mitsubishi Electric Research Laboratories, Inc. Method for detecting persons using 1D depths and 2D texture
US9881234B2 (en) 2015-11-25 2018-01-30 Baidu Usa Llc. Systems and methods for end-to-end object detection
KR102592076B1 (ko) 2015-12-14 2023-10-19 삼성전자주식회사 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치
EP3414710B1 (en) 2016-03-03 2022-11-02 Google LLC Deep machine learning methods and apparatus for robotic grasping
US10373055B1 (en) * 2016-05-20 2019-08-06 Deepmind Technologies Limited Training variational autoencoders to generate disentangled latent factors
EP3261017A1 (en) 2016-06-20 2017-12-27 Delphi Technologies, Inc. Image processing system to detect objects of interest
US20180039853A1 (en) 2016-08-02 2018-02-08 Mitsubishi Electric Research Laboratories, Inc. Object Detection System and Object Detection Method
US10354159B2 (en) 2016-09-06 2019-07-16 Carnegie Mellon University Methods and software for detecting objects in an image using a contextual multiscale fast region-based convolutional neural network
US10210631B1 (en) * 2017-08-18 2019-02-19 Synapse Technology Corporation Generating synthetic image data
US10984286B2 (en) * 2018-02-02 2021-04-20 Nvidia Corporation Domain stylization using a neural network model
US11074717B2 (en) * 2018-05-17 2021-07-27 Nvidia Corporation Detecting and estimating the pose of an object using a neural network model

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ming-Yu Liu 외 2명, "Unsupervised Image-to-Image Translation Networks", arXiv:1703.00848v6, pp.1-11(2018.07.23.) 1부.* *
Suman Saha 외 3명, "Unsupervised Deep Representations for Learning Audience Facial Behaviors" CVPR 2018, pp.1245-1250(2018.05.10.) 1부.* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021221254A1 (en) * 2020-04-30 2021-11-04 StradVision, Inc. Method for performing continual learning on classifier in client capable of classifying images by using continual learning server and continual learning server using the same
KR102332114B1 (ko) * 2020-11-24 2021-12-01 한국과학기술원 이미지 처리 방법 및 장치
US11790486B2 (en) 2020-11-24 2023-10-17 Korea Advanced Institute Of Science And Technology Image processing method and apparatus

Also Published As

Publication number Publication date
KR102565279B1 (ko) 2023-08-09
US20200065635A1 (en) 2020-02-27
US10990857B2 (en) 2021-04-27

Similar Documents

Publication Publication Date Title
KR102565279B1 (ko) 객체 검출 방법, 객체 검출을 위한 학습 방법 및 그 장치들
US10579058B2 (en) Apparatus and method for generating training data to train neural network determining information associated with road included in image
US11315266B2 (en) Self-supervised depth estimation method and system
KR102565278B1 (ko) 영상 분할 방법, 영상 분할 장치, 및 영상 분할을 위한 학습 방법
KR20200075344A (ko) 검출기, 객체 검출 방법, 학습기 및 도메인 변환을 위한 학습 방법
KR20190026116A (ko) 객체 인식 방법 및 장치
BR112017023028B1 (pt) Especificidade de filtro como critério de treinamento para redes neurais
US11836884B2 (en) Real-time generation of functional road maps
US11074438B2 (en) Disentangling human dynamics for pedestrian locomotion forecasting with noisy supervision
CN113168510A (zh) 通过细化形状先验分割对象
KR20200045701A (ko) 소실점 검출을 위한 학습 방법, 소실점 검출 방법 및 장치
WO2021007100A1 (en) Cross-modal sensor data alignment
Malawade et al. Roadscene2vec: A tool for extracting and embedding road scene-graphs
Hu et al. A video streaming vehicle detection algorithm based on YOLOv4
Karkera et al. Autonomous bot using machine learning and computer vision
Cheng et al. Language-guided 3d object detection in point cloud for autonomous driving
Rahman et al. Predicting driver behaviour at intersections based on driver gaze and traffic light recognition
Singh et al. An enhanced YOLOv5 based on color harmony algorithm for object detection in unmanned aerial vehicle captured images
Schennings Deep convolutional neural networks for real-time single frame monocular depth estimation
Roncancio et al. Ceiling analysis of pedestrian recognition pipeline for an autonomous car application
Meftah et al. Deep residual network for autonomous vehicles obstacle avoidance
Hotkar et al. U-Net and YOLO: AIML Models for Lane and Object Detection in Real-Time
Langenberg Deep Learning Metadata Fusion for Traffic Light to Lane Assignment
US20230186586A1 (en) Method and apparatus with object detection
US20220012506A1 (en) System and method of segmenting free space based on electromagnetic waves

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right