KR102138681B1 - 이종 센서를 기반으로 객체를 검출하는 객체 검출 장치 및 방법 - Google Patents

이종 센서를 기반으로 객체를 검출하는 객체 검출 장치 및 방법 Download PDF

Info

Publication number
KR102138681B1
KR102138681B1 KR1020180055179A KR20180055179A KR102138681B1 KR 102138681 B1 KR102138681 B1 KR 102138681B1 KR 1020180055179 A KR1020180055179 A KR 1020180055179A KR 20180055179 A KR20180055179 A KR 20180055179A KR 102138681 B1 KR102138681 B1 KR 102138681B1
Authority
KR
South Korea
Prior art keywords
sensor
candidate image
candidate
feature vector
image
Prior art date
Application number
KR1020180055179A
Other languages
English (en)
Other versions
KR20190134920A (ko
Inventor
김은태
현준혁
이수현
우수한
성홍제
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020180055179A priority Critical patent/KR102138681B1/ko
Publication of KR20190134920A publication Critical patent/KR20190134920A/ko
Application granted granted Critical
Publication of KR102138681B1 publication Critical patent/KR102138681B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G06K9/00791—
    • G06K9/481—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예에 따른 객체 검출 장치는, 감지 가능한 영역에 대한 영상들을 획득하는 서로 다른 종류의 센서들, 상기 획득된 각각의 영상에서 분류하고자 하는 객체가 적어도 일부 존재하는 후보 영역에 따른 후보 영상을 결정하고, 상기 후보 영상에 포함된 객체와 관련된 특징 벡터들을 추출하는 특징 벡터 추출부 및 상기 센서 각각으로부터 추출된 특징 벡터들을 융합하여 융합특징벡터를 생성하고, 상기 생성된 융합특징벡터들을 이용하여 상기 후보 영상에 포함된 객체를 분류하는 객체 분류부를 포함할 수 있다.

Description

이종 센서를 기반으로 객체를 검출하는 객체 검출 장치 및 방법 {Apparatus and method for detecting object based on heterogeneous sensor}
본 발명의 실시예가 속하는 기술 분야는 객체 검출 장치 및 방법에 관한 것이고, 보다 자세하게는 이종 센서를 기반으로 하는 객체 검출 장치 및 방법에 관한 것이다.
최근 자율주행과 인공지능 기술이 발달함에 따라 객체를 검출하고자 하는 지역에 있는 객체를 검출하기 위한 센서 융합 기술에 대한 다양한 연구가 진행되고 있다.
이와 관련하여, 기존의 센서 융합을 이용한 검출 기술들은 여러 센서들을 기반으로 각 센서가 객체 검출을 시행하고, 그 결과를 융합하는 방법을 이용하여왔다. 이러한 융합 방식은 객체 검출 이후에 융합을 시행하기 때문에 높은 단계에서의 융합이라고 할 수 있다.
이하에서 설명하는 본 발명에서는 높은 단계에서의 융합보다 더 효율적으로 객체를 검출할 수 있는 낮은 단계에서의 융합을 이용한 객체 검출 장치 및 방법에 대하여 설명하도록 한다.
한국 등록 특허 제10-1684020호 (등록)
본 발명의 실시예에 따른 이종 센서를 기반으로 객체를 검출하는 객체 검출 장치 및 방법은, 객체 검출 시 이용되어 왔던 기존의 높은 단계에서의 융합보다 객체에 대한 특징을 더 잘 나타내며, 검출 속도를 높일 수 있는 더 효율적인 낮은 단계에서의 융합 방법을 제공한다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 감지 가능한 영역에 대한 영상들을 획득하는 서로 다른 종류의 센서들, 상기 획득된 각각의 영상에서 분류하고자 하는 객체가 적어도 일부 존재하는 후보 영역에 따른 후보 영상을 결정하고, 상기 후보 영상에 포함된 객체와 관련된 특징 벡터들을 추출하는 특징 벡터 추출부 및 상기 센서 각각으로부터 추출된 특징 벡터들을 융합하여 융합특징벡터를 생성하고, 상기 생성된 융합특징벡터들을 이용하여 상기 후보 영상에 포함된 객체를 분류하는 객체 분류부를 포함할 수 있다.
또한, 상기 센서들은, 제1 센서; 및 상기 제1 센서와 다른 공간좌표계를 갖는 제2 센서;를 포함하고, 상기 영상들은 상기 제1 센서로부터 획득된 제1 영상과, 상기 제2 센서로부터 획득된 제2 영상을 포함하며, 상기 특징벡터 추출부는 상기 제1 영상과, 제2 영상에서 분류하고자 하는 객체가 적어도 일부 존재하는 후보 영역에 따른 제1 후보 영상 또는 제2 후보 영상을 결정하고, 상기 결정된 제1 후보 영상과 제2 후보 영상에 포함된 객체와 관련된 특징 벡터들을 추출할 수 있다.
또한, 상기 센서들은, 제1 센서; 및 상기 제1 센서와 다른 공간좌표계를 갖는 제2 센서;를 포함하고, 상기 객체 분류부는, 상기 객체가 위치하는 영역에 따라 상기 제1 센서와 제2 센서에 따른 가중치를 다르게 적용하여, 융합특징벡터를 생성하거나 또는 객체를 분류할 수 있다.
또한, 상기 객체 분류부는 객체에 대한 분류 정보를 포함하는 복수개의 트레이닝 영상들에 대한 학습을 통해, 상기 트레이닝 영상 각각으로부터 획득된 트레이닝 융합특징벡터에 포함되는 특징값들 각각에 적용되는 객체 분류 가중치를 미리 결정하고, 상기 제1 후보 영상과, 제2 후보 영상에 따라 생성된 상기 융합특징벡터에 상기 객체 분류 가중치를 적용하여 객체를 분류할 수 있다.
또한, 상기 특징 벡터 추출부는, 상기 후보 영역에 따른 후보 영상에 대한 특징 벡터를 추출하기 위하여 상기 제1 센서가 획득한 제1 후보 영상 또는 제2 센서가 획득한 제2 후보 영상 중 하나의 후보 영상을 선택할 수 있다.
또한, 상기 객체 분류부는 제1 후보 영상을 제2 센서의 공간좌표계에 변환시키기 위한 변환행렬을 이용하여 변환된 제1 후보 영상을 획득하는 좌표 변환부;를 더 포함할 수 있다.
또한, 상기 객체 분류부가 특징 벡터들을 융합하여 융합특징벡터를 생성하는 것은, 상기 제1 후보 영상과 상기 제2 후보 영상에 포함된 객체간의 유사성을 정의하는 유사도 지수를 미리 결정된 방법에 따라 계산하고, 상기 유사도 지수를 고려하여 상기 제1 후보 영상에 따른 제1 특징 벡터와, 상기 제2 후보 영상에 따른 제2 특징 벡터를 융합하여 융합특징벡터를 생성할 수 있다.
또한, 상기 좌표 변환부는, 상기 제1 센서가 획득하는 제1 후보 영상에 대하여 가상 좌표데이터를 생성함으로써, 상기 제1 센서 및 상기 제2 센서가 가지는 각각의 좌표 특성을 정합시킬 수 있다.
상기 목적을 달성하기 위한 본 발명의 또 다른 일 실시예에 따른 이종 센서를 기반으로 객체를 검출하는 객체 검출 방법에 있어서, 상기 이종 센서가 감지 가능한 영역에 대한 영상들을 획득하는 단계, 상기 획득된 각각의 영상에서 분류하고자 하는 객체가 적어도 일부 존재하는 후보 영역에 따른 후보 영상을 결정하고, 상기 후보 영상에 포함된 객체와 관련된 특징 벡터들을 추출하는 단계 및 상기 이종 센서 각각으로부터 추출된 특징 벡터들을 융합하여 융합특징벡터를 생성하고, 상기 생성된 융합특징벡터들을 이용하여 상기 후보 영상에 포함된 객체를 분류하는 단계를 포함할 수 있다.
또한, 상기 이종 센서는, 제1 센서; 및 상기 제1 센서와 다른 공간좌표계를 갖는 제2 센서;를 포함하고, 상기 영상들은 상기 제1 센서로부터 획득된 제1 영상과, 상기 제2 센서로부터 획득된 제2 영상을 포함하며, 상기 특징 벡터들을 추출하는 단계는 상기 제1 영상과, 제2 영상에서 분류하고자 하는 객체가 적어도 일부 존재하는 후보 영역에 따른 제1 후보 영상과, 제2 후보 영상을 결정하고, 상기 결정된 제1 후보 영상 또는 제2 후보 영상에 포함된 객체와 관련된 특징 벡터들을 추출할 수 있다.
또한, 상기 객체를 분류하는 단계는 상기 객체에 대한 분류 정보를 포함하는 복수개의 트레이닝 영상들에 대한 학습을 통해, 상기 트레이닝 영상 각각으로부터 획득된 트레이닝 융합특징벡터에 포함되는 특징값들 각각에 적용되는 객체 분류 가중치를 미리 결정하고, 상기 제1 후보 영상과, 제2 후보 영상에 따라 생성된 상기 융합특징벡터에 상기 객체 분류 가중치를 적용하여 객체를 분류할 수 있다.
또한, 상기 객체를 분류하는 단계는 제1 후보 영상을 제2 센서의 공간좌표계에 변환시키기 위한 변환행렬을 이용하여 변환된 제1 후보 영상을 획득하는 단계를 더 포함할 수 있다.
또한, 상기 특징 벡터들을 융합하여 융합특징벡터를 생성하는 것은, 상기 제1 후보 영상과 상기 제2 후보 영상에 포함된 객체간의 유사성을 정의하는 유사도 지수를 미리 결정된 방법에 따라 계산하고, 상기 유사도 지수를 고려하여 상기 제1 후보 영상에 따른 제1 특징 벡터와, 상기 제2 후보 영상에 따른 제2 특징 벡터를 융합하여 융합특징벡터를 생성할 수 있다.
또한, 본 발명의 또 다른 목적을 달성하기 위하여, 본 발명의 객체 검출 방법이 컴퓨터에서 수행하기 위한 컴퓨터에서 판독 가능한 프로그램이 기록된 저장 매체를 제공한다.
본 발명의 이종 센서를 기반으로 하는 객체 검출 장치 및 방법은 서로 다른 특성을 갖는 이종 센서를 함께 사용하며 객체에 대한 후보 영역을 생성하기 때문에 객체 검출을 실패할 확률을 현저하게 줄일 수 있고, 검출 속도를 높일 수 있는 효과가 있다.
또한, 이종 센서로부터 획득된 객체와 관련된 특징을 융합하여 사용하기 때문에 특징이 더 많은 정보를 포함하여 객체를 더 잘 나타낼 수 있다.
도1은 본 발명의 일 실시예에 따른 객체 검출 장치의 구성을 개략적으로 도시한 블록도이다.
도2는 본 발명의 일 실시예에 따른 객체 검출 장치가 특징 벡터를 추출하는 동작과 관련하여 설명하기 위해 도시한 참고도이다.
도3은 본 발명의 일 실시예에 따른 객체 검출 방법을 설명하기 위해 도시한 참고도이다.
도4는 가까운 객체에 대한 후보 영역을 예시한 참고도이다.
도5는 멀리 있는 객체에 대한 후보 영역을 예시한 참고도이다.
도6은 본 발명의 일 실시예에 따른 낮은 단계에서 이종 센서(스테레오 카메라와 레이더)를 융합하여 대상 영역에 위치하는 차량과 이륜차 객체를 검출한 결과를 도시한 예시도이다.
도7은 본 발명의 일 실시예에 따른 객체 검출 방법을 시간의 흐름에 따라 도시한 흐름도이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될
수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계 없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록"등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로구현될 수 있다.
이하, 본 발명의 일 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
본 발명의 객체 검출 장치가 적용될 수 있는 기술 분야 중 인공지능 관련 기술 중에서 객체 검술 기술은 활용도가 높은 환경 인식 기술이다. 종래에는 센서 융합을 이용한 객체를 검출하기 위해, 여러 센서들을 기반으로 각 센서가 객체 검출을 시행하고, 그 결과를 융합하는 방법(이하, "높은 단계에서의 융합"이라 함)을 이용하여 왔다.
종래에 이용되어 왔던 상기 높은 단계에서의 융합 방법을 통한 객체 검출 보다 더 효율적으로 객체를 검출하기 위하여 본 발명은 이하에서 설명하는 이종 센서로부터 객체를 인식한 데이터들을 입력 받아서 상기 입력 받은 데이터들 중에서 목표로 하는 객체에서 나온 데이터를 선별하는 방법(이하, "낮은 단계에서의 융합"이라 함)을 제공하는 객체 검출 장치 및 방법에 대하여 상세하게 설명하기로 한다.
도1은 본 발명의 일 실시예에 따른 객체 검출 장치(10)의 구성을 개략적으로 도시한 블록도이고, 도2는 본 발명의 일 실시예에 따른 객체 검출 장치가 특징 벡터를 추출하는 동작과 관련하여 설명하기 위해 도시한 참고도이며, 도3은 본 발명의 일 실시예에 따른 객체 검출 방법을 설명하기 위해 도시한 참고도이다.
먼저, 도1을 참고하면, 본 발명의 일 실시예에 따른 객체 검출 장치(10)는 이종 센서부(100), 객체 검출부(200)를 포함할 수 있고, 여기서 이종 센서부(100)는 다수개의 센서들을 포함하며, 일 실시예에 따른 객체 검출부(200)는 좌표 변환부(210), 후보 영역 생성부(220), 후보 영역지정부(230), 특징벡터 추출부(240) 및 객체 분류부(250)를 포함하여 구성될 수 있다. 여기서, 본 발명의 객체 검출 장치(10)는 이종 센서부(100)를 포함하여 구현될 수 있고, 또 다른 예로 이종 센서부(100)를 포함하지 않고, 이종 센서들이 센싱한 데이터들을 입력 받아, 그 데이터들을 기반으로 객체를 검출하도록 구현될 수도 있다.
본 발명의 일 실시예에 따른 이종 센서부(100)는 서로 다른 특성을 갖는 다수개의 센서들을 포함할 수 있다. 그러나, 이해의 편의를 돕기 위해 이하에서는 이종 센서부(100)가 제1 센서(110)와 제2 센서(120)로 구성되고, 제1 센서(110)는 레이더(radar) 센서일 수 있고, 제2 센서(120)는 스테레오 카메라(stereoscopic camera) 임을 가정하여 설명하도록 한다. 이때, 상기 제1 센서(110) 및 제2 센서(120)는 상기 대상 영역에 있는 객체를 감지하기 위해 영상을 획득한다. 제1 센서(110) 및 제2 센서(110)가 획득하는 영상에는 다수 객체들에 대한 정보가 포함될 수 있다.
또한, 본 발명의 일 실시예에 따른 좌표 변환부(210)는 서로 다른 특성을 가지는 이종 센서들(110, 120)를 융합하기 위하여, 이종 센서(110, 120) 각각이 가지는 좌표 특성을 정합한다. 좌표 변환부(210)가 수행하는 좌표 특성 정합 방법과 관련하여, 후술하여 구체적으로 다루므로, 여기서는 생략하도록 한다.
또한, 본 발명의 일 실시예에 따른 후보 영역 생성부(220)는 객체를 검출하고자 하는 대상 영역에서의 후보 영역을 생성한다. 여기서 후보 영역이란, 센서가 객체를 감지함에 따라 객체가 존재할 것으로 예측되는 영역을 말한다. 예컨대, 후보 영역은 객체들이 존재할 것으로 예측되는 후보 영역에 따른 후보 영상으로 구현될 수 있고, 좌표 값으로만 표현될 수도 있다. 일 예로, 이종 센서(110, 120)로부터 획득되는 후보 영역에 따른 후보 영상들은 제1 센서(110)로부터 획득된 제1 후보 영상과, 상기 제2 센서(120)로부터 획득된 제2 후보 영상을 포함할 수 있다.
본 발명은 객체 검출 장치는 낮은 단계에서의 융합 방법을 통해 객체를 검출하는데, 여기서 낮은 단계란 예를 들어, 상기 생성된 복수의 후보 영역을 센서마다 지정하여, 각 센서별 지정된 검출 영역에서 감지한 객체 정보들을 조합(융합)하여 객체를 검출하는 것을 의미한다. 이에, 본 발명의 후보 영역 생성부(220)는 객체를 검출할 대상 영역에 대하여 후보 영역을 생성하고, 본 발명의 후보 영역 지정부(230)는 상기 생성된 후보 영역을 제1 센서(110) 및 제2 센서(120) 각각에 지정하여, 특징벡터 추출부(240)는 생성된 후보 영역 각각에 대하여 특징벡터를 추출하는 경우, 각 검출 영역에 지정된 센서가 생성한 객체 정보를 기반으로 특징 벡터를 추출한다.
이때, 레이더인 제1 센서(110) 및 스테레오 카메라인 제2 센서(120) 각각이 생성한 객체 정보를 융합하기 위해서는, 각 센서가 가지는 서로 다른 좌표 특성을 정합하여야 한다. 본 발명의 좌표 변환부(210)는 이와 같이, 서로 다른 공간좌표계를 갖는 이종 센서(110, 120)의 좌표 특성을 정합한다.
보다 상세하게 설명하면, 레이더(110)는 3차원 좌표에 따른 객체 정보를 생성하고, 스테레오 카메라(120)는 2차원 좌표에 따른 객체 정보를 생성하는데, 본 발명의 좌표 변환부(210)는 두 센서(110, 120)의 좌표 특성을 정합하기 위한 변환 파라메터를 산출하고, 상기 산출된 파라메터를 이용하여 상기 객체들 중 제1 객체에 대하여 상기 제1 센서가 생성한 후보 영역에 따른 제1 좌표 데이터를 상기 제2 센서가 갖는 좌표 특성으로 좌표 변환할 수 있다. 예를 들어, 본 발명의 좌표 변환부(210)는 레이더(110)로부터 생성 및 획득되는 상기 2차원 좌표에 따른 객체 정보를 기반으로 가상 좌표데이터를 생성함에 따라 두 좌표 특성을 정합할 수 있다. 또한, 좌표 변환부(210)는 좌표 변환된 제1 좌표 데이터와 상기 제2 센서가 상기 제1 객체에 대하여 생성한 후보 영역에 따른 제2 좌표 데이터를 비교하여, 상기 제1 좌표 데이터 및 제2 좌표 데이터의 일치 여부를 판단함으로써, 상기 제1 센서와 제2 센서의 좌표 특성을 정합할 수 있도록 한다.
상기와 같이 제1 후보 영상과 제2 후보 영상에 따른 좌표 특성이 정합됨에 따라, 객체 분류부(250)는 제1 후보 영상과 제2 후보 영상에 포함된 객체간의 유사성을 정의하기 위하여는 유사도 지수를 계산할 수 있고, 계산된 유사도 지수를 고려하여 상기 제1 후보 영상에 따른 제1 특징 벡터와, 상기 제2 후보 영상에 따른 제2 특징 벡터를 융합함으로써 융합특징벡터를 생성할 수 있다.
상기 객체간의 유사성을 정의하는 방법으로는, 상기 제1 후보 영상과 제2 후보 영상에 있어서 동일한 후보 영역에 대한 특징값들을 통해 유사도 거리를 판단함으로써, 상기 제1 후보 영상과 제2 후보 영상에 포함된 객체간의 유사도를 판단할 수 있다. 예를 들어, 여기서 이용되는 유사도 지수를 계산하는 방법은 특별한 한정이 있는 것은 아니나, 유클리드 거리(Euclidean distance), 코사인 거리(Cosine distance), 마하라노비스 거리(Mahalanobis's distance), 맨하탄 거리(Manhattan distance) 등을 계산하고, 계산된 값과 미리 결정된 기준값과의 비교를 통해 특징 벡터들간의 유사도를 계산할 수 있다. 이렇게, 계산된 유사도가 기 설정된 기준치보다 낮은 경우에는 제1 후보 영상과 제2 후보 영상에 있어서 상기 동일하다고 판단된 후보 영역들이 서로 동일한 영역이 아닌 것으로 판단하고, 상기 계산된 유사도가 기 설정된 기준치와 같거나 높은 경우에는 제1 후보 영상과 제2 후보 영상에 있어서 동일한 영역인 것으로 판단할 수 있다.
좌표 변환부(210)는 레이더(110) 및 스테레오 센서(120)의 좌표 정합을 위하여, 레이더(110)는 평탄한 도로와 자신과의 관계를 나타내는 상대 위치를 계산하여, 가상의 3차원 데이터(Z축 좌표 데이터)를 생성할 수 있다.
이렇게, 좌표 변환부(210)는 제1 센서(110)에 대하여 가상 좌표데이터를 생성함에 따라, 상기 제1 센서(110)와 제2 센서(120)의 좌표 특성을 정합하고, 후보 영역 지정부(230)는 상기 제1 센서(110)와 제2 센서(120) 각각에 기 설정된 기준에 따라 상기 생성된 후보 영역들을 분류하여 지정할 수 있다.
후보 영역 지정부(230)는 제1 센서(110)와 제2 센서(120)로부터 생성된 객체 정보들을 이용하여 객체의 후보 영역을 지정할 수 있다.
본 발명의 후보 영역 지정부(230)는 센서들(110, 120) 각각의 특성을 고려하여, 생성된 후보 영역을 지정하는데, 이렇게, 각 센서별 서로 다른 후보 영역을 지정하는 이유는, 각 센서가 가지는 특성에 따른 장점을 보다 효과적으로 이용하여, 검출 성능을 극대화하기 위함이다.
예컨대, 레이더(110)와 스테레오 카메라(120)를 융합하는 경우에, 대상 영역에서 각 객체들과 상기 센서들(110, 120)과의 거리에 따라서 다른 센서를 이용하여 객체를 검출하는 것이 유리하다. 상대적으로 거리가 가까운 영역에 위치하는 객체들을 검출하는 경우에는, 스테레오 카메라(120)의 깊이 정보가 정확하지만, 레이더(110)는 인지할 수 있는 각도의 범위가 좁기 때문에 객체에 대한 정보를 확보하기가 용이하지 않다. 즉, 가까운 거리에 따른 객체는 스테레오 카메라(120)의 제2 객체 정보를 기반으로 검출하는 것이 효과적이고, 먼 거리에 따른 객체는 레이더(110)의 제1 객체 정보를 기반으로 검출하는 것이 효과적이다. 이해를 돕기 위한 일 예로서, 본 발명의 후보 영역 생성부(220)는 먼 거리의 영역의 제1 후보 영역과 가까운 거리의 영역인 제2 후보 영역을 생성하는 것으로 가정한다. 도4는 가까운 객체에 대한 후보 영역들을 예시한 참고도이고, 도5는 멀리 있는 객체에 대한 후보 영역들을 예시한 참고도이다.
이렇게, 각 센서에 대응하는 후보 영역이 지정되고 나면, 특징벡터 추출부(240)는 각 검출 영역에 대하여 생성된 제1 객체 정보 또는 제2 객체 정보를 이용하여 특징벡터들을 추출한다. 보다 자세하게는, 특징벡터 추출부(240)는 상기 제1 객체 정보 또는 제2 객체 정보를 입력값으로 입력함으로써 학습하여 특징 벡터를 추출한다.
도2에 도시된 바와 같이, 본 발명의 특징벡터 추출부(240)는 제1 센서의 제1 객체 정보를 기반으로 제1 특징벡터를 추출하는 제1 특징벡터 추출부(240a)와 제2 센서의 제2 객체 정보를 기반으로 제2 특징벡터를 추출하는 제2 특징벡터 추출부(240b)를 더 포함할 수 있다. 또한, 제1 특징벡터 추출부(240a)는 제1 객체 정보를 입력으로 하여 제1 특징벡터를 추출하는 제1 객체 정보 학습부(242a)를 포함할 수 있고, 제2 특징벡터 추출부(240b)는 제2 객체 정보를 입력으로 하여 제2 특징벡터를 추출하는 제2 객체 정보 학습부(242b)를 포함할 수 있다.
일 실시예인 도2를 참조하면, 제2 특징벡터 추출부(240b)는 제2 센서(120)로부터 생성된 복수개의 객체 정보들을 제2 객체 정보 학습부(242b)로 입력하여 제2 특징벡터를 추출하고, 제2 센서(레이더)가 생성하는 객체 정보, 예컨대 객체로부터 반사되는 파워, 객체 속도, 객체와의 거리 등을 이용하여 특징벡터를 추출하는 것에 대한 예시는 다음 <수학식1>와 같다.
Figure 112018047419693-pat00001
상기 f2는 제2 센서(120)를 이용하여 추출된 제2 특징벡터이다.
다음으로, 도3을 도시된 바와 같이, 상기 제1 특징벡터 및 제2 특징벡터가 추출되고 나면, 본 발명의 객체 분류부(250)는 상기 추출된 제1 특징벡터 및 제2 특징벡터들을 융합하여 융합특징벡터를 생성하고, 생성된 융합특징벡터를 입력값으로 학습하여, 대상 영역에 존재하는 객체들을 분류한다.
예를 들어, 이종 센서가 n개 있다고 가정할 때, 생성되는 융합특징벡터는 아래 <수학식2>와 같다.
Figure 112018047419693-pat00002
여기서 ff는 융합특징벡터이고, f1은 제1 센서에 따른 제1 특징벡터, fn은 제n 센서에 따른 제n 특징벡터이다.
본 발명의 객체 분류부(250)는 융합특징벡터를 생성하는 방법의 일 예로, 상기 추출된 특징벡터들을 연쇄하여 생성할 수 있고, 이와 관련된 실시예는 다음 <수학식3>과 같다.
Figure 112018047419693-pat00003
여기서 ff는 객체 분류부(250)에 의해 생성된 융합특징벡터이고, 객체 분류부(250)는 이렇게 생성된 융합특징벡터를 이용하여 학습함으로써 검출하고자 하는 객체를 분류한다. 여기서, 객체 분류부(250)가 객체를 분류하기 위해 학습하는 것은 아래 <수학식4>을 통해 수행될 수 있다.
Figure 112018047419693-pat00004
여기서, 상기
Figure 112018047419693-pat00005
는 객체 분류부이고, y는 객체 분류 가중치(label, 기준값)이며, Loss 함수는 객체 분류부 학습을 위한 손실함수이다. 일 실시예에 따른 객체 분류 가중치는 융합특징벡터에 포함되는 특징값들 각각에 적용되는 것으로서, 센서들에 의해 검출된 객체의 종류를 분류할 수 있도록 미리 정의되어 저장된 값이다.
예컨대, 본 발명의 객체 분류부는 객체에 대한 분류 정보를 포함하는 복수개의 트레이닝 영상들에 대한 학습을 통해 트레이닝 영상 각각으로부터 획득된 트레이닝 융합특징벡터에 포함되는 특징값들 각각에 적용되는 객체 분류 가중치를 미리 결정할 수 있다.
이렇게, <수학식4>를 통해 객체 분류부를 학습함으로써, 본 발명의 객체 검출 장치가 검출하고자 하는 대상 영역에 위치하는 객체들을 감지함으로써, 상기 학습된 객체 분류부를 기반으로 객체들을 분류하여 검출할 수 있도록 한다.
본 발명에 따른 낮은 단계에서의 융합특징벡터를 이용한 학습은, 복수개의 센서가 객체 분류를 진행한 후 결과를 융합하는 높은 단계에서의 융합 방식과 달리, 하나의 손실 함수만을 필요로 하고, 각 센서(110, 120)로부터 추출된 특징벡터들이 서로 연쇄되어 하나의 융합특징벡터(ff)를 생성함에 따라 융합특징벡터를 사용하여 기존보다 높은 성능의 객체 분류가 가능하다.
본 발명의 객체 검출 장치(10)는 상기 객체 분류부(250)를 통해 최종적으로 객체를 분류함으로써, 대상 영역에 존재하는 객체를 검출할 수 있다.
도6은 본 발명의 일 실시예에 따른 낮은 단계에서 이종 센서(스테레오 카메라와 레이더)를 융합하여 대상 영역에 위치하는 차량과 이륜차 객체를 검출한 결과를 도시하고 있다.
다음으로, 도7은 본 발명의 일 실시예에 따른 객체 검출 방법을 시간의 흐름에 따라 도시한 흐름도이다.
먼저, S70 단계에서는, 본 발명의 후보 영역 생성부(220)가 대상 지역에 있어서 검출하고자 하는 객체를 검출하기 위해서, 대상 영역 중 객체가 존재할 것으로 예측되는 후보 영역을 생성한다. 예컨대, 후보 영역 생성부(220)는 적어도 하나의 후보 영역을 생성할 수 있다.
다음으로 S71 단계에서, 본 발명의 후보 영역 지정부(230)는 이종 센서 각각에 대응하는 객체의 후보 영역을 지정할 수 있다. 보다 상세하게는, 후보 영역 지정부(230)는 이종 센서 각각의 특성을 고려하여, 생성된 후보 영역을 지정할 수 있다.
여기서, 상기 생성된 후보 영역을 각 센서에 지정하기 위하여는 이종 센서가 가지는 서로 다른 특성을 정합하여 지정하여야 한다. 예를 들어, 본 발명의 객체 검출을 위하여 이용되는 이종 센서가 서로 다른 좌표 특성을 가지는 경우, 좌표 특성을 먼저 정합한 후, 정합된 좌표 특성을 기반으로 하여 후보 영역지정부(230)는 후보 영역 생성부(220)로부터 생성된 후보 영역을 각 센서에 지정할 수 있다. 여기서, 각 센서에 지정되는 검출 영역은 하나의 검출 영역이 지정될 수도 있고, 복수개의 검출 영역들이 지정될 수 있다. 이종 센서의 좌표 특성과 관련된 설명은 위에서 상세하게 설명한 바 있으므로, 여기서는 생략하도록 한다.
S72 단계에서는, 복수의 센서들(110, 120)이 지정된 검출 영역에 대하여 센싱함에 따라 센싱된 객체에 대한 객체 정보를 생성한다. 여기서, 이종 센서가 객체 정보를 생성하는 시간적 순서는 검출 영역이 지정된 후일 수 있고, 또 다른 일 실시예에 따르면, 먼저 이종 센서가 대상 영역에 존재하는 객체들에 대한 객체 정보를 생성하고, 후보 영역을 지정하여 지정된 검출 영역에 대한 객체 정보만을 각각 추출하여 객체 검출에 사용하도록 구현될 수도 있다.
다음으로, S73 단계에서, 특징벡터 추출부(240)는 각 검출 영역에 대하여 생성된 객체 정보들을 이용하여 특징벡터들을 추출한다. 예를 들어, 특징벡터 추출부(240)는 제1 센서의 제1 객체 정보를 기반으로 제1 특징벡터를 추출하고, 제2 센서의 제2 객체 정보를 기반으로 제2 특징벡터를 추출할 수 있다.
S74 단계에서는, 상기 제1 특징벡터 및 제2 특징벡터가 추출되고 나면, 객체 분류부(250)가 상기 추출된 제1 특징벡터 및 제2 특징벡터들을 융합하여 융합특징벡터를 생성하고, S75 단계에서, 생성된 융합특징벡터를 입력값으로 학습하여, 대상 영역에 존재하는 객체들을 분류한다. 이에 따라, S76 단계에서, 본 발명의 객체 검출부(200)는 상기 분류된 객체들을 기반으로 대상 지역에 존재하는 객체들을 검출한다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체 등이 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (14)

  1. 감지 가능한 영역에 대한 영상들을 획득하는 서로 다른 종류의 센서들;
    상기 획득된 각각의 영상에서 분류하고자 하는 객체가 적어도 일부 존재하는 후보 영역에 따른 후보 영상을 결정하고, 상기 후보 영상에 포함된 객체와 관련된 특징 벡터들을 추출하는 특징 벡터 추출부; 및
    상기 센서 각각으로부터 추출된 특징 벡터들을 융합하여 융합특징벡터를 생성하고, 상기 생성된 융합특징벡터들을 이용하여 상기 후보 영상에 포함된 객체를 분류하는 객체 분류부를 포함하고,
    상기 센서들은, 제1 센서; 및 상기 제1 센서와 서로 다른 종류의 제2 센서;를 포함하고, 상기 영상들은 상기 제1 센서로부터 획득된 제1 영상과, 상기 제2 센서로부터 획득된 제2 영상을 포함하며,
    상기 특징벡터 추출부는 상기 제1 센서 및 상기 제2 센서 별로 서로 다른 제1 후보 영역 및 제2 후보 영역을 지정하여 상기 제1 영상과, 제2 영상에서 분류하고자 하는 객체가 적어도 일부 존재하는 후보 영역에 따른 제1 후보 영상 또는 제2 후보 영상을 결정하고, 상기 결정된 제1 후보 영상과 제2 후보 영상에 포함된 객체와 관련된 특징 벡터들을 추출하고,
    상기 제1 후보 영역은 거리에 따라 상기 제2 후보 영역과 다른 객체를 검출하고, 상기 제2 후보 영역 보다 상대적으로 거리가 가까운 객체가 존재하도록 지정되는 것을 특징으로 하는 객체 검출 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 제2 센서는 상기 제1 센서와 다른 공간좌표계를 갖고,
    상기 객체 분류부는, 상기 객체가 위치하는 영역에 따라 상기 제1 센서와 제2 센서에 따른 가중치를 다르게 적용하여, 융합특징벡터를 생성하거나 또는 객체를 분류하는 것을 특징으로 하는 객체 검출 장치.
  4. 제1항에 있어서,
    상기 객체 분류부는 객체에 대한 분류 정보를 포함하는 복수개의 트레이닝 영상들에 대한 학습을 통해, 상기 트레이닝 영상 각각으로부터 획득된 트레이닝 융합특징벡터에 포함되는 특징값들 각각에 적용되는 객체 분류 가중치를 미리 결정하고,
    상기 제1 후보 영상과, 제2 후보 영상에 따라 생성된 상기 융합특징벡터에 상기 객체 분류 가중치를 적용하여 객체를 분류하는 것을 특징으로 하는 객체 검출 장치.
  5. 제3항에 있어서,
    상기 특징 벡터 추출부는,
    상기 후보 영역에 따른 후보 영상에 대한 특징 벡터를 추출하기 위하여 상기 제1 센서가 획득한 제1 후보 영상 또는 제2 센서가 획득한 제2 후보 영상 중 하나의 후보 영상을 선택하는 것을 특징으로 하는 객체 검출 장치.
  6. 제1항에 있어서,
    상기 제1 센서 및 상기 제2 센서는 서로 다른 공간좌표계를 가지며,
    상기 객체 분류부는 제1 후보 영상을 제2 센서의 공간좌표계에 변환시키기 위한 변환행렬을 이용하여 변환된 제1 후보 영상을 획득하는 좌표 변환부;를 더 포함하는 것을 특징으로 하는 객체 검출 장치.
  7. 제6항에 있어서,
    상기 객체 분류부가 특징 벡터들을 융합하여 융합특징벡터를 생성하는 것은, 상기 제1 후보 영상과 상기 제2 후보 영상에 포함된 객체간의 유사성을 정의하는 유사도 지수를 미리 결정된 방법에 따라 계산하고, 상기 유사도 지수를 고려하여 상기 제1 후보 영상에 따른 제1 특징 벡터와, 상기 제2 후보 영상에 따른 제2 특징 벡터를 융합하여 융합특징벡터를 생성하는 것을 특징으로 하는 객체 검출 장치.
  8. 제6항에 있어서,
    상기 좌표 변환부는, 상기 제1 센서가 획득하는 제1 후보 영상에 대하여 가상 좌표데이터를 생성함으로써, 상기 제1 센서 및 상기 제2 센서가 가지는 각각의 좌표 특성을 정합시키는 것을 특징으로 하는 객체 검출 장치.
  9. 이종 센서를 기반으로 객체를 검출하는 객체 검출 방법에 있어서,
    상기 이종 센서가 감지 가능한 영역에 대한 영상들을 획득하는 단계;
    상기 획득된 각각의 영상에서 분류하고자 하는 객체가 적어도 일부 존재하는 후보 영역에 따른 후보 영상을 결정하고, 상기 후보 영상에 포함된 객체와 관련된 특징 벡터들을 추출하는 단계; 및
    상기 이종 센서 각각으로부터 추출된 특징 벡터들을 융합하여 융합특징벡터를 생성하고, 상기 생성된 융합특징벡터들을 이용하여 상기 후보 영상에 포함된 객체를 분류하는 단계를 포함하고,
    상기 영상들을 획득하는 단계는, 제1 센서; 및 상기 제1 센서와 다른 공간좌표계를 갖는 제2 센서;를 포함하는 이종 센서에서 제1 센서로부터 획득된 제1 영상과, 상기 제2 센서로부터 획득된 제2 영상을 포함하는 상기 영상들을 획득하며,
    상기 특징 벡터들을 추출하는 단계는 상기 제1 센서 및 상기 제2 센서 별로 서로 다른 제1 후보 영역 및 제2 후보 영역을 지정하여 상기 제1 영상과, 제2 영상에서 분류하고자 하는 객체가 적어도 일부 존재하는 후보 영역에 따른 제1 후보 영상 또는 제2 후보 영상을 결정하고, 상기 결정된 제1 후보 영상과 제2 후보 영상에 포함된 객체와 관련된 특징 벡터들을 추출하고,
    상기 제1 후보 영역은 거리에 따라 상기 제2 후보 영역과 다른 객체를 검출하고, 상기 제2 후보 영역 보다 상대적으로 거리가 가까운 객체가 존재하도록 지정되는 것을 특징으로 하는 객체 검출 방법.
  10. 삭제
  11. 제9항에 있어서,
    상기 객체를 분류하는 단계는 상기 객체에 대한 분류 정보를 포함하는 복수개의 트레이닝 영상들에 대한 학습을 통해, 상기 트레이닝 영상 각각으로부터 획득된 트레이닝 융합특징벡터에 포함되는 특징값들 각각에 적용되는 객체 분류 가중치를 미리 결정하고,
    상기 제1 후보 영상과, 제2 후보 영상에 따라 생성된 상기 융합특징벡터에 상기 객체 분류 가중치를 적용하여 객체를 분류하는 것을 특징으로 하는 객체 검출 방법.
  12. 제9항에 있어서,
    상기 객체를 분류하는 단계는 제1 후보 영상을 제2 센서의 공간좌표계에 변환시키기 위한 변환행렬을 이용하여 변환된 제1 후보 영상을 획득하는 단계를 더 포함하는 것을 특징으로 하는 객체 검출 방법.
  13. 제12항에 있어서,
    상기 특징 벡터들을 융합하여 융합특징벡터를 생성하는 것은, 상기 제1 후보 영상과 상기 제2 후보 영상에 포함된 객체간의 유사성을 정의하는 유사도 지수를 미리 결정된 방법에 따라 계산하고, 상기 유사도 지수를 고려하여 상기 제1 후보 영상에 따른 제1 특징 벡터와, 상기 제2 후보 영상에 따른 제2 특징 벡터를 융합하여 융합특징벡터를 생성하는 것을 특징으로 하는 객체 검출 방법.
  14. 제9항, 제11항 내지 제13항 중 어느 한 항에 따른 객체 검출 방법을 위한 분석 방법을 컴퓨터에서 수행하기 위한 컴퓨터에서 판독 가능한 프로그램이 기록된 저장 매체.
KR1020180055179A 2018-05-15 2018-05-15 이종 센서를 기반으로 객체를 검출하는 객체 검출 장치 및 방법 KR102138681B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180055179A KR102138681B1 (ko) 2018-05-15 2018-05-15 이종 센서를 기반으로 객체를 검출하는 객체 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180055179A KR102138681B1 (ko) 2018-05-15 2018-05-15 이종 센서를 기반으로 객체를 검출하는 객체 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190134920A KR20190134920A (ko) 2019-12-05
KR102138681B1 true KR102138681B1 (ko) 2020-07-28

Family

ID=69002287

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180055179A KR102138681B1 (ko) 2018-05-15 2018-05-15 이종 센서를 기반으로 객체를 검출하는 객체 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102138681B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102584070B1 (ko) * 2020-11-23 2023-10-10 한국전자통신연구원 객체 분류 기반의 오류 제거를 이용한 자율 주행 시스템의 객체 인식 장치 및 이를 이용한 방법
KR20220102044A (ko) * 2021-01-12 2022-07-19 삼성전자주식회사 상시 동작 카메라에 기반한 정보 획득 방법
WO2023085464A1 (ko) * 2021-11-12 2023-05-19 한국전자기술연구원 다중 채널 정보 추출기를 포함하는 경량 딥러닝 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011023002A (ja) * 2009-07-06 2011-02-03 Valeo Vision 自動車用の障害物検知方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101035055B1 (ko) * 2009-06-24 2011-05-19 전자부품연구원 이종 카메라를 이용한 객체 추적 시스템 및 방법
KR101684020B1 (ko) 2014-12-15 2016-12-07 현대자동차주식회사 사각 지대에 있는 차량을 검출하는 장치 및 방법
KR101715782B1 (ko) * 2016-10-06 2017-03-13 삼성전자주식회사 물체 인식 시스템 및 그 물체 인식 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011023002A (ja) * 2009-07-06 2011-02-03 Valeo Vision 自動車用の障害物検知方法

Also Published As

Publication number Publication date
KR20190134920A (ko) 2019-12-05

Similar Documents

Publication Publication Date Title
JP6983800B2 (ja) ニューラルネットワークにおける強化学習によるユニーク／希少なケースの分類のための方法
KR102565279B1 (ko) 객체 검출 방법, 객체 검출을 위한 학습 방법 및 그 장치들
KR102108953B1 (ko) 센서 품질 저하에 강인한 딥러닝 기반 카메라, 라이더 센서 융합 인지 방법 및 시스템
US11106903B1 (en) Object detection in image data
KR102138681B1 (ko) 이종 센서를 기반으로 객체를 검출하는 객체 검출 장치 및 방법
Saleh et al. Kangaroo vehicle collision detection using deep semantic segmentation convolutional neural network
KR101762010B1 (ko) 스켈레톤 자세 데이터세트를 이용한 비디오 기반 상호 활동 모델링 방법
KR102108951B1 (ko) 영상의 전역 문맥 정보를 활용하는 딥러닝 기반 물체 검출 방법 및 시스템
KR20220075273A (ko) 다중 객체 추적 방법 및 이를 위한 장치
KR102420462B1 (ko) 디지털 트윈을 이용하는 협력 학습 방법
KR20190018274A (ko) 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법
KR102174656B1 (ko) 비디오 액션 인식 및 액션 영역 탐지 장치 및 방법
KR102609829B1 (ko) 생성적 적대 신경망을 이용한 스테레오 매칭 신뢰도 추정 장치 및 방법
US11295162B2 (en) Visual object instance descriptor for place recognition
Santoso et al. Learning-based human detection applied to RGB-D images
KR101437228B1 (ko) 입체영상에서의 외곽선 가중치 기반 장애물 영역 검출 장치 및 방법
Hogan et al. Towards Real Time Interpretable Object Detection for UAV Platform by Saliency Maps
Meena et al. Hybrid Neural Network Architecture for Multi-Label Object Recognition using Feature Fusion
KR102575224B1 (ko) 가변 합성곱 신경망을 이용한 객체 검출 시스템 및 그 방법
KR102345366B1 (ko) 적대적 학습을 통한 비쌍 교차 스펙트럴 보행자 검출 장치 및 방법
KR102658344B1 (ko) 시점에 따른 다중 분류기를 이용한 행동 인식 방법 및 시스템
KR102619275B1 (ko) 객체 검색 모델 및 그 학습 방법
KR102224218B1 (ko) 비디오 시간 정보를 활용하는 딥러닝 기반 물체 검출 방법 및 장치
Schierl A 2D/3D Feature-Level Information Fusion Architecture For Remote Sensing Applications
Welsh Real-time pose based human detection and re-identification with a single camera for robot person following

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant