KR102133876B1 - 객체 검출 장치 및 방법 - Google Patents

객체 검출 장치 및 방법 Download PDF

Info

Publication number
KR102133876B1
KR102133876B1 KR1020180088736A KR20180088736A KR102133876B1 KR 102133876 B1 KR102133876 B1 KR 102133876B1 KR 1020180088736 A KR1020180088736 A KR 1020180088736A KR 20180088736 A KR20180088736 A KR 20180088736A KR 102133876 B1 KR102133876 B1 KR 102133876B1
Authority
KR
South Korea
Prior art keywords
feature map
image
information
candidate
visible
Prior art date
Application number
KR1020180088736A
Other languages
English (en)
Other versions
KR20200013486A (ko
Inventor
신현철
첸윤판
여동훈
Original Assignee
주식회사 휴인스
한양대학교 에리카산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 휴인스, 한양대학교 에리카산학협력단 filed Critical 주식회사 휴인스
Priority to KR1020180088736A priority Critical patent/KR102133876B1/ko
Publication of KR20200013486A publication Critical patent/KR20200013486A/ko
Application granted granted Critical
Publication of KR102133876B1 publication Critical patent/KR102133876B1/ko

Links

Images

Classifications

    • G06K9/46—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예들은 객체 검출 장치 및 방법에 관한 것이다. 객체 검출 장치는 후보 제안 모듈을 통해 가시(visible) 이미지 및 열(thermal) 이미지에서 특징맵들(feature maps)을 생성하고, 특징맵들에 기반하여 객체 후보 제안(object candidate proposals) 정보를 생성하며, 검출 모듈을 통해 특징맵들에 기초하여 객체 후보 제안 정보를 분류하여 객체를 검출할 수 있다.

Description

객체 검출 장치 및 방법{APPARATUS AND METHOD FOR DETECTING OBJECT}
본 발명의 실시예들은 객체 검출 장치 및 방법에 관한 것이다.
일반적으로, 객체 검출 장치는 주변을 촬영하여 주변 이미지를 획득하고, 획득된 주변 이미지를 영상 처리하여 객체를 검출할 수 있는 장치일 수 있다.
특히, 이러한 객체 검출 장치를 통해 검출된 객체 정보들은 도로 이탈 경고 시스템(road departure warning system), 자율 주행 시스템(autonomous driving system) 및 운전자 보조 시스템(driver assistance systems) 등 지능형 차량 시스템에 꼭 필요한 정보일 수 있다.
그러나, 종래의 객체 검출 장치는 다양한 조명 조건(illumination conditions)에서 오 인식률 및 미스 레이트(miss rata)가 증가할 뿐만 아니라 다수의 객체 및 다양한 스케일의 객체에 대한 검출 정확성(accuracy)이 떨어지는 문제점이 있다.
본 발명의 실시예들은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 실시예들의 목적은, 다양한 조명 조건(illumination conditions)에서 오 인식률 및 미스 레이트(miss rata)를 감소시킬 뿐만 아니라 다수의 객체 및 다양한 스케일의 객체에 대한 검출 정확성(accuracy)을 높일 수 있는 객체 검출 장치를 제공하는데 있다.
또한, 본 발명의 실시예들의 목적은, 다양한 조명 조건(illumination conditions)에서 오 인식률 및 미스 레이트(miss rata)를 감소시킬 뿐만 아니라 다수의 객체 및 다양한 스케일의 객체에 대한 검출 정확성(accuracy)을 높일 수 있는 객체 검출 방법을 제공하는데 있다.
전술한 목적을 달성하기 위하여 본 발명의 실시예들의 일 측면은, 가시(visible) 이미지 및 열(thermal) 이미지에서 특징맵들(feature maps)을 생성하고, 상기 특징맵들에 기반하여 객체 후보 제안(object candidate proposals) 정보를 생성하는 후보 제안 모듈 및 상기 특징맵들에 기초하여 상기 객체 후보 제안 정보를 분류하여 객체를 검출하는 검출 모듈을 포함하는 객체 검출 장치를 제공하는 것이다.
또한, 전술한 목적을 달성하기 위하여 본 발명의 실시예들의 일 측면은, 가시(visible) 이미지 및 열(thermal) 이미지에서 특징맵들(feature maps)을 생성하고, 상기 특징맵들에 기반하여 객체 후보 제안(object candidate proposals) 정보를 생성하는 단계 및 상기 특징맵들에 기초하여 상기 객체 후보 제안 정보를 분류하여 객체를 검출하는 단계를 포함하는 객체 검출 방법을 제공하는 것이다.
이상에서 설명한 바와 같은 본 발명의 실시예들의 객체 검출 장치에 따르면, 후보 제안 모듈을 통해 가시(visible) 이미지 및 열(thermal) 이미지에서 특징맵들(feature maps)을 생성하고, 특징맵들에 기반하여 객체 후보 제안(object candidate proposals) 정보를 생성하며, 검출 모듈을 통해 특징맵들에 기초하여 객체 후보 제안 정보를 분류하여 객체를 검출함으로써, 비주얼 디테일(visual detail)이 약한 열 이미지와 조명 조건(illumination conditions)에 약한 가시 이미지로부터 객체 후보 제안 정보를 생성하여 객체를 분류할 수 있어, 다양한 조명 조건(illumination conditions)에서 오 인식률 및 미스 레이트(miss rata)를 감소시킬 뿐만 아니라 다수의 객체 및 다양한 스케일의 객체에 대한 검출 정확성(accuracy)을 높일 수 있는 효과가 있다.
또한, 본 발명의 실시예들에 따르면, 콘볼루션 레이어를 통해 가시 이미지 콘볼루션 특징맵과 열 이미지 콘볼루션 특징맵을 생성하고, 이들의 콘볼루션 특징맵에 포함된 가시 정보와 열 정보를 융합하여 객체 후보 제안 정보를 생성함으로써, 객체 후보를 정확하고 강하게(stronger) 생성할 수 있어, 다양한 조명 조건(illumination conditions)에서 오 인식률 및 미스 레이트(miss rata)를 감소시킬 뿐만 아니라 다수의 객체 및 다양한 스케일의 객체에 대한 검출 정확성(accuracy)을 높일 수 있는 효과가 있다.
또한, 본 발명의 실시예들에 따르면, 세 개의 콘볼루션 특징맵 즉, 가시 이미지 콘볼루션 특징맵, 열 이미지 콘볼루션 특징맵 및 이들이 융합된 콘볼루션 특징맵을 생성하고, 이들을 디콘볼루션하여 객체 후보 제안 정보를 맵핑함으로써, 특징맵들의 해상도를 증가시켜 객체의 특징 정보를 추출할 수 있어, 다양한 조명 조건(illumination conditions)에서 오 인식률 및 미스 레이트(miss rata)를 감소시킬 뿐만 아니라 다수의 객체 및 다양한 스케일의 객체에 대한 검출 정확성(accuracy)을 높일 수 있는 효과가 있다.
또한, 본 발명의 실시예들에 따르면, 가시 이미지 특징 정보, 열 이미지 특징 정보 및 융합된 특징 정보를 융합하여 객체를 검출함으로써, 다양한 조명 조건(illumination conditions)에서 오 인식률 및 미스 레이트(miss rata)를 감소시킬 뿐만 아니라 다수의 객체 및 다양한 스케일의 객체에 대한 검출 정확성(accuracy)을 높일 수 있는 효과가 있다.
도 1은 본 발명의 실시예들에 따른 객체 검출 시스템을 설명하기 위한 전체적인 블록 구성도이다.
도 2는 본 발명의 실시예들에 따른 이미지 획득 장치를 구체적으로 설명하기 위한 블록 구성도이다.
도 3은 본 발명의 실시예들에 따른 객체 검출 장치를 구체적으로 설명하기 위한 블록 구성도이다.
도 4는 본 발명의 실시예들에 따른 후보 제안 모듈을 구체적으로 설명하기 위한 블록 구성도이다.
도 5는 본 발명의 실시예들에 따른 검출 모듈을 구체적으로 설명하기 위한 블록 구성도이다.
도 6은 본 발명의 실시예들에 따른 객체 검출 장치의 개념을 설명하기 위한 개념도이다.
도 7은 본 발명의 실시예들에 따른 객체 검출 방법을 설명하기 위한 순서도이다.
도 8은 본 발명의 실시예들에 따른 이미지 획득 방법을 설명하기 위한 순서도이다.
도 9 내지 도 11은 본 발명의 실시예들에 따른 객체 후보 제안 정보를 생성하는 방법을 구체적으로 설명하기 위한 순서도이다.
도 12 내지 도 14는 본 발명의 실시예들에 따른 객체 후보 제안 정보를 생성하는 방법을 구체적으로 설명하기 위한 순서도이다.
도 15 내지 도 16는 본 발명의 실시예들에 따른 객체를 검출하는 방법을 구체적으로 설명하기 위한 순서도이다.
도 17은 본 실시예들에 따른 객체 검출 장치 및 객체 검출 시스템의 컴퓨터 시스템에 대한 블록 구성도이다.
이하, 본 발명의 실시예들의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명의 실시예들은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 발명의 실시예들은 본 발명의 실시예들의 개시가 완전하도록 하며, 본 발명의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 실시예들은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 실시예들의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명의 실시예들을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
또한, 본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하에 기재된 이미지(image) 라는 용어는 영상, 픽처(picture), 프레임(frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예들에 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
이하에서는, 첨부된 도면을 참조하여 본 발명의 실시예들에 따른 객체 검출 장치 및 객체 검출 시스템을 설명한다.
도 1은 본 발명의 실시예들에 따른 객체 검출 시스템을 설명하기 위한 전체적인 블록 구성도이다.
도 1을 참조하면, 본 발명의 실시예들에 따른 객체 검출 시스템은 이미지 획득 장치(100) 및 객체 검출 장치(200) 등을 포함하여 이루어질 수 있다.
이미지 획득 장치(100)는 주변을 촬영하여 주변 이미지 즉, 입력 이미지를 획득할 수 있다.
여기서, 입력 이미지는 가시(visible) 이미지 및 열(thermal) 이미지 중 적어도 하나를 포함할 수 있지만, 이에 한정되는 것은 아니고 주변을 촬영하여 획득된 이미지라면 어떠한 이미지라도 포함할 수 있다.
이미지 획득 장치(100)는 차량의 일측면에 위치할 수 있다. 이미지 획득 장치(100)는 차량의 주변을 촬영하여 차량의 주변 이미지 즉, 입력 이미지를 획득할 수 있다. 예컨대, 이미지 획득 장치(100)는 차량의 주변을 촬영하여 가시 이미지 및 열 이미지 중 적어도 하나를 획득할 수 있다.
객체 검출 장치(200)는 가시(visible) 이미지 및 열(thermal) 이미지에서 특징맵들(feature maps)을 생성하고, 특징맵들에 기반하여 객체 후보 제안(object candidate proposals) 정보를 생성하며, 특징맵들에 기초하여 객체 후보 제안 정보를 분류하여 객체를 검출할 수 있다.
구체적으로, 객체 검출 장치(200)는 이미지 획득 장치(100)와 연결될 수 있다. 객체 검출 장치(200)는 이미지 획득 장치(100)로부터 가시 이미지 및 열 이미지 중 적어도 하나의 이미지를 제공받을 수 있다.
객체 검출 장치(200)는 이미지 획득 장치(100)로부터 제공받은 가시 이미지 및 열 이미지 중 적어도 하나의 이미지에서 특징맵들을 생성할 수 있다. 객체 검출 장치(200)는 생성된 특징맵들에 기반하여 객체 후보 제안 정보를 생성할 수 있다. 객체 검출 장치(200)는 생성된 특징맵들에 기초하여 객체 후보 제안 정보를 분류하여 객체를 검출할 수 있다.
여기서, 객체는 객체 검출 장치에 의해 검출될 수 있는 실제 사물로서, 상태(state) 또는 행동(behavior)을 가지는 모든 사물을 포함할 수 있다. 이러한 사물은 움직이는 사물 및 움직이지 않는 사물 중 적어도 하나를 포함할 수 있다. 여기서, 움직이는 사물은 사람을 포함할 수 있다. 특히, 사람은 보행자(pedestrian)를 포함할 수 있다.
객체 검출 장치(200)는 딥러닝(deep learning)이 적용된 장치를 포함할 수 있다. 여기서, 딥러닝이 적용된 장치는 신경망(neural network)이 적용된 장치를 포함할 수 있다. 특히, 신경망(neural network)이 적용된 장치는 콘볼루션 신경망(convolution neural network)이 적용된 장치를 포함할 수 있다. 이러한 콘볼루션 신경망이 적용된 장치는 멀티 레이어 퓨전 (multi layer fusion)이 적용된 장치를 포함할 수 있다. 이에, 본 발명의 실시예들에 따른 객체 검출 장치(200)는 멀티 레이어 퓨전 콘볼루션 신경망(MLF-CNN)이라 지칭할 수 있다.
도 2는 본 발명의 실시예들에 따른 이미지 획득 장치를 구체적으로 설명하기 위한 블록 구성도이다.
도 2를 참조하면, 본 발명의 실시예들에 따른 이미지 획득 장치(100)는 가시 이미지 획득 모듈(110) 및 열 이미지 획득 모듈(120) 중 적어도 하나를 포함하여 이루어질 수 있다.
가시 이미지 획득 모듈(110)은 주변을 촬영하여 주변 이미지 즉, 가시(visible) 이미지를 획득할 수 있다. 예컨대, 가시 이미지 획득 모듈(110)은 차량의 일측면에 위치하여 차량의 주변을 촬영하고, 이를 기반으로 차량의 주변 이미지 즉, 가시 이미지를 획득할 수 있다.
여기서, 가시 이미지는 실화상 이미지를 포함할 수 있다.
여기서, 가시 이미지에는 보행자를 포함할 수 있다.
가시 이미지 획득 모듈(110)은 실화상 카메라를 포함할 수 있지만, 이에 한정되는 것은 아니고 가시 이미지를 획득할 수 있다면 어떠한 카메라 및/또는 센서라도 포함할 수 있다.
열 이미지 획득 모듈(120)은 주변을 촬영하여 주변 이미지 즉, 열(thermal) 이미지를 획득할 수 있다. 예컨대, 열 이미지 획득 모듈(120)은 차량의 일측면에 위치하여 차량의 주변을 촬영하고, 이를 기반으로 차량의 주변 이미지 즉, 열 이미지를 획득할 수 있다.
여기서, 열 이미지는 열화상 이미지를 포함할 수 있다.
여기서, 열 이미지에는 보행자를 포함할 수 있다.
열 이미지 획득 모듈(120)은 열화상 카메라를 포함할 수 있지만, 이에 한정되는 것은 아니고 열 이미지를 획득할 수 있다면 어떠한 카메라 및/또는 센서라도 포함할 수 있다.
가시 이미지 획득 모듈(110)과 열 이미지 획득 모듈(120)은 도면에 도시된 바와 같이, 개별적으로 구성되어 가시 이미지 및 열 이미지를 각각 획득할 수 있지만, 이에 한정되는 것은 아니고 하나로 통합되어 가시 이미지 및 열 이미지를 획득할 수 있다.
도 3은 본 발명의 실시예들에 따른 객체 검출 장치를 구체적으로 설명하기 위한 블록 구성도이다.
도 3을 참조하면, 본 발명의 실시예들에 따른 객체 검출 장치(200)는 후보 제안 모듈(210) 및 검출 모듈(220) 중 적어도 하나의 모듈을 포함하여 이루어질 수 있다.
후보 제안 모듈(210)은 가시(visible) 이미지 및 열(thermal) 이미지에서 특징맵들(feature maps)을 생성하고, 특징맵들에 기반하여 객체 후보 제안(object candidate proposals) 정보를 생성할 수 있다.
구체적으로, 후보 제안 모듈(210)은 이미지 획득 장치(100)와 연결될 수 있다. 후보 제안 모듈(210)은 이미지 획득 장치(100)로부터 가시 이미지 및 열 이미지 중 적어도 하나의 이미지를 제공받을 수 있다.
후보 제안 모듈(210)은 이미지 획득 장치(100)로부터 제공받은 가시 이미지 및 열 이미지 중 적어도 하나의 이미지에서 특징맵들을 생성할 수 있다.
후보 제안 모듈(210)은 생성된 특징맵들에 기반하여 객체 후보 제안 정보를 생성할 수 있다.
한편, 후보 제안 모듈(210)은 지역 제안 네트워크(region proposal network, RPN)이 적용된 모듈을 포함할 수 있다. 특히, 지역 제안 네트워크(RPN)가 적용된 모듈은 멀티 레이어 퓨전(multi-layer fusion)이 적용된 모듈을 포함할 수 있다. 이에, 본 발명의 실시예들에 따른 후보 제안 모듈(210)은 멀티 레이어 퓨전 지역 제안 네트워크(MLF-RPN)라 지칭할 수 있다.
검출 모듈(220)은 특징맵들에 기초하여 객체 후보 제안 정보를 분류하여 객체를 검출할 수 있다.
구체적으로, 검출 모듈(220)은 후보 제안 모듈(210)과 연결될 수 있다. 검출 모듈(220)은 후보 제안 모듈(210)로부터 특징맵들 및 객체 후보 제안 정보 중 적어도 하나를 제공받을 수 있다.
검출 모듈(220)은 후보 제안 모듈(210)로부터 제공받은 특징맵들에 기초하여, 후보 제안 모듈(210)로부터 제공받은 객체 후보 제안 정보를 분류하여 객체를 검출할 수 있다.
여기서, 객체는 보행자를 포함할 수 있다.
상술한 바와 같이, 본 발명의 실시예들에 따른 객체 검출 장치는, 후보 제안 모듈을 통해 가시(visible) 이미지 및 열(thermal) 이미지에서 특징맵들(feature maps)을 생성하고, 특징맵들에 기반하여 객체 후보 제안(object candidate proposals) 정보를 생성하며, 검출 모듈을 통해 특징맵들에 기초하여 객체 후보 제안 정보를 분류하여 객체를 검출함으로써, 비주얼 디테일(visual detail)이 약한 열 이미지와 조명 조건(illumination conditions)에 약한 가시 이미지로부터 객체 후보 제안 정보를 생성하여 객체를 분류할 수 있어, 다양한 조명 조건(illumination conditions)에서 오 인식률 및 미스 레이트(miss rata)를 감소시킬 뿐만 아니라 다수의 객체 및 다양한 스케일의 객체에 대한 검출 정확성(accuracy)을 높일 수 있다.
계속해서 도 3을 참조하면, 본 발명의 실시예들에 따른 객체 검출 장치(200)는 후보 제안 모듈(210) 및 검출 모듈(220) 중 적어도 하나의 모듈을 포함하여 이루어질 수 있다.
후보 제안 모듈(210)은 가시(visible) 이미지 및 열(thermal) 이미지에서 콘볼루션(convolution) 특징맵들을 생성하고, 콘볼루션 특징맵들에 기반하여 객체 후보 제안 정보를 생성할 수 있다.
구체적으로, 후보 제안 모듈(210)은 이미지 획득 장치(100)와 연결될 수 있다. 후보 제안 모듈(210)은 이미지 획득 장치(100)로부터 가시 이미지 및 열 이미지 중 적어도 하나의 이미지를 제공받을 수 있다.
후보 제안 모듈(210)은 이미지 획득 장치(100)로부터 제공받은 가시 이미지 및 열 이미지 중 적어도 하나의 이미지에서 콘볼루션 특징맵들을 생성할 수 있다.
후보 제안 모듈(210)은 생성된 콘볼루션 특징맵들에 기반하여 객체 후보 제안 정보를 생성할 수 있다.
한편, 후보 제안 모듈(210)은 지역 제안 네트워크(region proposal network, RPN)이 적용된 모듈을 포함할 수 있다. 특히, 지역 제안 네트워크(RPN)가 적용된 모듈은 멀티 레이어 퓨전(multi-layer fusion)이 적용된 모듈을 포함할 수 있다. 이에, 본 발명의 실시예들에 따른 후보 제안 모듈(210)은 멀티 레이어 퓨전 지역 제안 네트워크(MLF-RPN)라 지칭할 수 있다.
검출 모듈(220)은 콘볼루션 특징맵들에 기초하여 객체 후보 제안 정보를 분류하여 객체를 검출할 수 있다.
구체적으로, 검출 모듈(220)은 후보 제안 모듈(210)과 연결될 수 있다. 검출 모듈(220)은 후보 제안 모듈(210)로부터 콘볼루션 특징맵들 및 객체 후보 제안 정보 중 적어도 하나를 제공받을 수 있다.
검출 모듈(220)은 후보 제안 모듈(210)로부터 제공받은 콘볼루션 특징맵들에 기초하여, 후보 제안 모듈(210)로부터 제공받은 객체 후보 제안 정보를 분류하여 객체를 검출할 수 있다.
여기서, 객체는 보행자를 포함할 수 있다.
한편, 검출 모듈(220)은 검출 네트워크(detection network)가 적용된 모듈을 포함할 수 있다. 검출 모듈(220)은 소프트맥스 레이어(softmax layer)와 바운딩 박스 레이어(bounding box layer)가 적용된 모듈을 포함할 수 있다.
도 4는 본 발명의 실시예들에 따른 후보 제안 모듈을 구체적으로 설명하기 위한 블록 구성도이다.
도 4를 참조하면, 본 발명의 실시예들에 따른 후보 제안 모듈(210)은 제 1 특징맵 생성부(211), 제 2 특징맵 생성부(212), 후보 제안부(213) 및 제 2 융합부(214) 중 적어도 하나를 포함하여 이루어질 수 있다.
제 1 특징맵 생성부(211)는 가시(visible) 이미지에서 가시 이미지 특징맵을 생성할 수 있다.
구체적으로, 제 1 특징맵 생성부(211)는 이미지 획득 장치(100)와 연결될 수 있다. 제 1 특징맵 생성부(211)는 이미지 획득 장치(100)로부터 가시 이미지를 제공받을 수 있다. 제 1 특징맵 생성부(211)는 이미지 획득 장치(100)로부터 제공받은 가시 이미지에서 가시 이미지 특징맵을 생성할 수 있다. 여기서, 이미지 획득 장치(100)는 가시 이미지 획득 모듈(110)을 포함할 수 있다.
제 2 특징맵 생성부(212)는 열(thermal) 이미지에서 열 이미지 특징맵을 생성할 수 있다.
구체적으로, 제 2 특징맵 생성부(212)는 이미지 획득 장치(100)와 연결될 수 있다. 제 2 특징맵 생성부(212)는 이미지 획득 장치(100)로부터 열 이미지를 제공받을 수 있다. 제 2 특징맵 생성부(212)는 이미지 획득 장치(100)로부터 제공받은 열 이미지에서 열 이미지 특징맵을 생성할 수 있다. 여기서, 이미지 획득 장치(100)는 열 이미지 획득 모듈(120)을 포함할 수 있다.
후보 제안부(213)는 가시 이미지 특징맵에 포함된 가시 정보 및 열 이미지 특징맵에 포함된 열 정보 중 적어도 하나의 정보에 기반하여 객체 후보 제안 정보를 생성할 수 있다.
구체적으로, 후보 제안부(213)는 제 1 특징맵 생성부(211)와 연결될 수 있다. 후보 제안부(213)는 제 1 특징맵 생성부(211)에서 생성된 가시 이미지 특징맵에 포함된 가시 정보를 검출할 수 있다.
후보 제안부(213)는 제 2 특징맵 생성부(212)와 연결될 수 있다. 후보 제안부(213)는 제 2 특징맵 생성부(212)에서 생성된 열 이미지 특징맵에 포함된 열 정보를 검출할 수 있다.
후보 제안부(213)는 검출된 가시 정보 및 열 정보 중 적어도 하나의 정보에 기반하여 객체 후보 제안 정보를 생성할 수 있다.
한편, 후보 제안부(213)는 검출부(213-1) 및 제 1 융합부(213-2) 중 적어도 하나를 포함하여 이루어질 수 있다.
검출부(213-1)는 가시 이미지 특징맵에 포함된 가시 정보를 검출하고, 열 이미지 특징맵에 포함된 열 정보를 검출할 수 있다
구체적으로, 검출부(213-1)는 제 1 특징맵 생성부(211)와 연결될 수 있다. 검출부(213-1)는 제 1 특징맵 생성부(211)에서 생성된 가시 이미지 특징맵에 포함된 가시 정보를 검출할 수 있다.
검출부(213-1)는 제 2 특징맵 생성부(212)와 연결될 수 있다. 검출부(213-1)는 제 2 특징맵 생성부(212)에서 생성된 열 이미지 특징맵에 포함된 열 정보를 검출할 수 있다.
제 1 융합부(213-2)는 검출된 가시 정보와 열 정보를 융합(fuse)하여 객체 후보 제안 정보를 생성할 수 있다.
구체적으로, 제 1 융합부(213-2)는 검출부(213-1)와 연결될 수 있다. 제 1 융합부(213-2)는 검출부(213-1)로부터 검출된 가시 정보와 열 정보를 제공받을 수 있다. 제 1 융합부(213-2)는 검출부(213-1)로부터 제공받은 가시 정보와 열 정보를 융합하여 객체 후보 제안 정보를 생성할 수 있다.
여기서, 융합은 서메이션 퓨전(summation fusion)을 포함할 수 있지만, 이에 한정되는 것은 아니고 가시 정보와 열 정보를 융합시킬 수 있다면, 어떠한 융합(일 예로, 컨게이트네이션(concatenation))이라도 포함할 수 있다.
제 2 융합부(214)는 가시 이미지 특징맵과 열 이미지 특징맵을 융합(fuse)하여 융합된 특징맵을 생성할 수 있다.
구체적으로, 제 2 융합부(214)는 제 1 특징맵 생성부(211)와 연결될 수 있다. 제 2 융합부(214)는 제 1 특징맵 생성부(211)로부터 가시 이미지 특징맵을 제공받을 수 있다.
제 2 융합부(214)는 제 2 특징맵 생성부(212)와 연결될 수 있다. 제 2 융합부(214)는 제 2 특징맵 생성부(212)로부터 열 이미지 특징맵을 제공받을 수 있다.
제 2 융합부(214)는 제 1 특징맵 생성부(211)로부터 제공받은 가시 이미지 특징맵과 제 2 특징맵 생성부(212)로부터 제공받은 열 이미지 특징맵을 융합하여 융합된 특징맵을 생성할 수 있다.
여기서, 융합은 서메이션 퓨전(summation fusion)을 포함할 수 있지만, 이에 한정되는 것은 아니고 가시 이미지 특징맵과 열 이미지 특징맵을 융합시킬 수 있다면, 어떠한 융합(일 예로, 컨게이트네이션(concatenation))이라도 포함할 수 있다.
계속해서 도 4를 참조하면, 제 1 특징맵 생성부(211)는 가시 이미지에서 가시 이미지 콘볼루션 특징맵을 생성할 수 있다.
예컨대, 제 1 특징맵 생성부(211)는 적어도 하나의 콘볼루션 레이어(convolutional layer)를 통해, 가시 이미지에서 가시 이미지 콘볼루션 특징맵을 생성할 수 있다.
구체적으로, 제 1 특징맵 생성부(211)는 이미지 획득 장치(100)와 연결될 수 있다. 제 1 특징맵 생성부(211)는 이미지 획득 장치(100)로부터 가시 이미지를 제공받을 수 있다. 제 1 특징맵 생성부(211)는 적어도 하나의 콘볼루션 레이어(convolutional layer)를 통해, 이미지 획득 장치(100)로부터 제공받은 가시 이미지에서 가시 이미지 콘볼루션 특징맵을 생성할 수 있다. 여기서, 이미지 획득 장치(100)는 가시 이미지 획득 모듈(110)을 포함할 수 있다.
제 2 특징맵 생성부(212)는, 열 이미지에서 열 이미지 콘볼루션 특징맵을 생성할 수 있다.
예컨대, 제 2 특징맵 생성부(212)는, 적어도 하나의 콘볼루션 레이어(convolutional layer)를 통해, 열 이미지에서 열 이미지 콘볼루션 특징맵을 생성할 수 있다.
구체적으로, 제 2 특징맵 생성부(212)는 이미지 획득 장치(100)와 연결될 수 있다. 제 2 특징맵 생성부(212)는 이미지 획득 장치(100)로부터 열 이미지를 제공받을 수 있다. 제 2 특징맵 생성부(212)는 적어도 하나의 콘볼루션 레이어(convolutional layer)를 통해, 이미지 획득 장치(100)로부터 제공받은 열 이미지에서 열 이미지 콘볼루션 특징맵을 생성할 수 있다. 여기서, 이미지 획득 장치(100)는 열 이미지 획득 모듈(120)을 포함할 수 있다.
후보 제안부(213)는 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보 및 열 이미지 콘볼루션 특징맵에 포함된 열 정보 중 적어도 하나의 정보에 기반하여 객체 후보 제안 정보를 생성할 수 있다.
구체적으로, 후보 제안부(213)는 제 1 특징맵 생성부(211)와 연결될 수 있다. 후보 제안부(213)는 제 1 특징맵 생성부(211)에서 생성된 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보를 검출할 수 있다.
후보 제안부(213)는 제 2 특징맵 생성부(212)와 연결될 수 있다. 후보 제안부(213)는 제 2 특징맵 생성부(212)에서 생성된 열 이미지 콘볼루션 특징맵에 포함된 열 정보를 검출할 수 있다.
후보 제안부(213)는 검출된 가시 정보 및 열 정보 중 적어도 하나의 정보에 기반하여 객체 후보 제안 정보를 생성할 수 있다.
한편, 후보 제안부(213)는 검출부(213-1) 및 제 1 융합부(213-2) 중 적어도 하나를 포함하여 이루어질 수 있다.
검출부(213-1)는 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보를 검출하고, 열 이미지 콘볼루션 특징맵에 포함된 열 정보를 검출할 수 있다
구체적으로, 검출부(213-1)는 제 1 특징맵 생성부(211)와 연결될 수 있다. 검출부(213-1)는 제 1 특징맵 생성부(211)에서 생성된 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보를 검출할 수 있다.
검출부(213-1)는 제 2 특징맵 생성부(212)와 연결될 수 있다. 검출부(213-1)는 제 2 특징맵 생성부(212)에서 생성된 열 이미지 콘볼루션 특징맵에 포함된 열 정보를 검출할 수 있다.
제 1 융합부(213-2)는 검출된 가시 정보와 열 정보를 융합(fuse)하여 객체 후보 제안 정보를 생성할 수 있다.
구체적으로, 제 1 융합부(213-2)는 검출부(213-1)와 연결될 수 있다. 제 1 융합부(213-2)는 검출부(213-1)로부터 검출된 가시 정보와 열 정보를 제공받을 수 있다. 제 1 융합부(213-2)는 검출부(213-1)로부터 제공받은 가시 정보와 열 정보를 융합하여 객체 후보 제안 정보를 생성할 수 있다.
여기서, 융합은 서메이션 퓨전(summation fusion)을 포함할 수 있지만, 이에 한정되는 것은 아니고 가시 정보와 열 정보를 융합시킬 수 있다면, 어떠한 융합(일 예로, 컨게이트네이션(concatenation))이라도 포함할 수 있다
제 2 융합부(214)는 가시 이미지 콘볼루션 특징맵과 열 이미지 콘볼루션 특징맵을 융합(fuse)하여 융합된 콘볼루션 특징맵을 생성할 수 있다.
구체적으로, 제 2 융합부(214)는 제 1 특징맵 생성부(211)와 연결될 수 있다. 제 2 융합부(214)는 제 1 특징맵 생성부(211)로부터 가시 이미지 콘볼루션 특징맵을 제공받을 수 있다.
제 2 융합부(214)는 제 2 특징맵 생성부(212)와 연결될 수 있다. 제 2 융합부(214)는 제 2 특징맵 생성부(212)로부터 열 이미지 콘볼루션 특징맵을 제공받을 수 있다.
제 2 융합부(214)는 제 1 특징맵 생성부(211)로부터 제공받은 가시 이미지 콘볼루션 특징맵과 제 2 특징맵 생성부(212)로부터 제공받은 열 이미지 콘볼루션 특징맵을 융합하여 융합된 콘볼루션 특징맵을 생성할 수 있다.
여기서, 융합은 서메이션 퓨전(summation fusion)을 포함할 수 있지만, 이에 한정되는 것은 아니고 가시 이미지 콘볼루션 특징맵과 열 이미지 콘볼루션 특징맵을 융합시킬 수 있다면, 어떠한 융합(일 예로, 컨게이트네이션(concatenation))이라도 포함할 수 있다.
계속해서 도 4를 참조하면, 제 1 특징맵 생성부(211)는 가시 이미지에서 가시 이미지 콘볼루션 특징맵을 생성할 수 있다.
예컨대, 제 1 특징맵 생성부(211)는 적어도 하나의 콘볼루션 레이어(convolutional layer)를 통해, 가시 이미지에서 가시 이미지 콘볼루션 특징맵을 생성할 수 있다.
구체적으로, 제 1 특징맵 생성부(211)는 이미지 획득 장치(100)와 연결될 수 있다. 제 1 특징맵 생성부(211)는 이미지 획득 장치(100)로부터 가시 이미지를 제공받을 수 있다. 제 1 특징맵 생성부(211)는 적어도 하나의 콘볼루션 레이어(convolutional layer)를 통해, 이미지 획득 장치(100)로부터 제공받은 가시 이미지에서 가시 이미지 콘볼루션 특징맵을 생성할 수 있다. 여기서, 이미지 획득 장치(100)는 가시 이미지 획득 모듈(110)을 포함할 수 있다.
여기서, 콘볼루션 레이어는 복수 개일 수 있다. 이에, 제 1 특징맵 생성부(211)는 복수 개의 콘볼루션 레이어(convolutional layer)를 통해(즉, 순차적으로 수행하여), 가시 이미지에서 가시 이미지 콘볼루션 특징맵을 순차적으로 생성할 수 있다. 특히, 마지막 콘볼루션 레이어를 통해 생성된 가시 이미지 콘볼루션 특징맵은 최종 가시 이미지 콘볼루션 특징맵일 수 있으며, 이러한 최종 가시 이미지 콘볼루션 특징맵은 검출 모듈(220)로 제공될 수 있다.
예컨대, 콘볼루션 레이어가 4개인 경우, 제 1 특징맵 생성부(211)는 4개의 콘볼루션 레이어(convolutional layer)를 통해(즉, 순차적으로 수행하여), 가시 이미지에서 제 1 내지 제 4 가시 이미지 콘볼루션 특징맵을 순차적으로 생성할 수 있다. 특히, 제 4 가시 이미지 콘볼루션 특징맵은 최종 가시 이미지 콘볼루션 특징맵일 수 있으며, 이러한 최종 가시 이미지 콘볼루션 특징맵은 검출 모듈(220)로 제공될 수 있다.
제 1 특징맵 생성부(211)는 가시 이미지 콘볼루션 특징맵에서 가시 이미지 후보 콘볼루션 특징맵을 생성할 수 있다.
예컨대, 제 1 특징맵 생성부(211)는 적어도 하나의 콘볼루션 레이어를 통해, 가시 이미지 콘볼루션 특징맵에서 가시 이미지 후보 콘볼루션 특징맵을 생성할 수 있다.
여기서, 콘볼루션 레이어는 복수 개일 수 있다. 이에, 제 1 특징맵 생성부(211)는 복수 개의 콘볼루션 레이어(convolutional layer)를 통해(즉, 순차적으로 수행하여), 가시 이미지 콘볼루션 특징맵에서 가시 이미지 후보 콘볼루션 특징맵을 순차적으로 생성할 수 있다. 특히, 가시 이미지 콘볼루션 특징맵은 최종 가시 이미지 콘볼루션 특징맵일 수 있다.
예컨대, 콘볼루션 레이어가 2개인 경우, 제 1 특징맵 생성부(211)는 2개의 콘볼루션 레이어(convolutional layer)를 통해(즉, 순차적으로 수행하여), 가시 이미지 콘볼루션 특징맵(즉, 최종 가시 이미지 콘볼루션 특징맵, 제 4 가시 이미지 콘볼루션 특징맵)에서 제 1 및 제 2 가시 이미지 후보 콘볼루션 특징맵을 순차적으로 생성할 수 있다.
제 1 특징맵 생성부(211)는 가시 이미지 후보 콘볼루션 특징맵에서 폴링된 가시 이미지 후보 특징맵을 생성할 수 있다.
예컨대, 제 1 특징맵 생성부(211)는 적어도 하나의 폴링 레이어(pooling layer)를 통해, 가시 이미지 후보 콘볼루션 특징맵에서 폴링된 가시 이미지 후보 특징맵을 생성할 수 있다.
여기서, 콘볼루션 레이어는 하나일 수 있다. 이에, 제 1 특징맵 생성부(211)는 하나의 폴링 레이어를 통해, 가시 이미지 후보 콘볼루션 특징맵(즉, 제 2 가시 이미지 후보 콘볼루션 특징맵)에서 폴링된 가시 이미지 후보 특징맵을 생성할 수 있다.
제 2 특징맵 생성부(212)는 열 이미지에서 열 이미지 콘볼루션 특징맵을 생성할 수 있다.
예컨대, 제 2 특징맵 생성부(212)는 적어도 하나의 콘볼루션 레이어(convolutional layer)를 통해, 열 이미지에서 열 이미지 콘볼루션 특징맵을 생성할 수 있다.
구체적으로, 제 2 특징맵 생성부(212)는 이미지 획득 장치(100)와 연결될 수 있다. 제 2 특징맵 생성부(212)는 이미지 획득 장치(100)로부터 열 이미지를 제공받을 수 있다. 제 2 특징맵 생성부(212)는 적어도 하나의 콘볼루션 레이어(convolutional layer)를 통해, 이미지 획득 장치(100)로부터 제공받은 열 이미지에서 열 이미지 콘볼루션 특징맵을 생성할 수 있다. 여기서, 이미지 획득 장치(100)는 열 이미지 획득 모듈(120)을 포함할 수 있다.
여기서, 콘볼루션 레이어는 복수 개일 수 있다. 이에, 제 2 특징맵 생성부(212)는 복수 개의 콘볼루션 레이어(convolutional layer)를 통해(즉, 순차적으로 수행하여), 열 이미지에서 열 이미지 콘볼루션 특징맵을 순차적으로 생성할 수 있다. 특히, 마지막 콘볼루션 레이어를 통해 생성된 열 이미지 콘볼루션 특징맵은 최종 열 이미지 콘볼루션 특징맵일 수 있으며, 이러한 최종 열 이미지 콘볼루션 특징맵은 검출 모듈(220)로 제공될 수 있다.
예컨대, 콘볼루션 레이어가 4개인 경우, 제 2 특징맵 생성부(212)는 4개의 콘볼루션 레이어(convolutional layer)를 통해(즉, 순차적으로 수행하여), 열 이미지에서 제 1 내지 제 4 열 이미지 콘볼루션 특징맵을 순차적으로 생성할 수 있다. 특히, 제 4 열 이미지 콘볼루션 특징맵은 최종 열 이미지 콘볼루션 특징맵일 수 있으며, 이러한 최종 열 이미지 콘볼루션 특징맵은 검출 모듈(220)로 제공될 수 있다.
제 2 특징맵 생성부(212)는 열 이미지 콘볼루션 특징맵에서 열 이미지 후보 콘볼루션 특징맵을 생성할 수 있다.
예컨대, 제 2 특징맵 생성부(212)는 적어도 하나의 콘볼루션 레이어를 통해, 열 이미지 콘볼루션 특징맵에서 열 이미지 후보 콘볼루션 특징맵을 생성할 수 있다.
여기서, 콘볼루션 레이어는 복수 개일 수 있다. 이에, 제 2 특징맵 생성부(212)는 복수 개의 콘볼루션 레이어(convolutional layer)를 통해(즉, 순차적으로 수행하여), 열 이미지 콘볼루션 특징맵에서 열 이미지 후보 콘볼루션 특징맵을 순차적으로 생성할 수 있다. 특히, 열 이미지 콘볼루션 특징맵은 최종 열 이미지 콘볼루션 특징맵일 수 있다.
예컨대, 콘볼루션 레이어가 2개인 경우, 제 2 특징맵 생성부(212)는 2개의 콘볼루션 레이어(convolutional layer)를 통해(즉, 순차적으로 수행하여), 열 이미지 콘볼루션 특징맵(즉, 최종 열 이미지 콘볼루션 특징맵, 제 4 열 이미지 콘볼루션 특징맵)에서 제 1 및 제 2 열 이미지 후보 콘볼루션 특징맵을 순차적으로 생성할 수 있다.
제 2 특징맵 생성부(212)는 열 이미지 후보 콘볼루션 특징맵에서 폴링된 열 이미지 후보 특징맵을 생성할 수 있다.
예컨대, 제 2 특징맵 생성부(212)는 적어도 하나의 폴링 레이어(pooling layer)를 통해, 열 이미지 후보 콘볼루션 특징맵에서 폴링된 열 이미지 후보 특징맵을 생성할 수 있다.
여기서, 콘볼루션 레이어는 하나일 수 있다. 이에, 제 2 특징맵 생성부(212)는 하나의 폴링 레이어를 통해, 열 이미지 후보 콘볼루션 특징맵(즉, 제 2 열 이미지 후보 콘볼루션 특징맵)에서 폴링된 열 이미지 후보 특징맵을 생성할 수 있다.
후보 제안부(213)는 가시 이미지 콘볼루션 특징맵, 가시 이미지 후보 콘볼루션 특징맵 및 폴링된 가시 이미지 후보 특징맵 중 적어도 하나에 포함된 가시 정보와, 열 이미지 콘볼루션 특징맵, 열 이미지 후보 콘볼루션 특징맵 및 폴링된 열 이미지 후보 특징맵 중 적어도 하나에 포함된 열 정보에 기반하여, 상기 객체 후보 제안 정보를 생성할 수 있다.
구체적으로, 후보 제안부(213)는 제 1 특징맵 생성부(211)와 연결될 수 있다. 후보 제안부(213)는 가시 이미지 콘볼루션 특징맵, 가시 이미지 후보 콘볼루션 특징맵 및 폴링된 가시 이미지 후보 특징맵에 포함된 가시 정보를 검출할 수 있다.
후보 제안부(213)는 제 2 특징맵 생성부(212)와 연결될 수 있다. 후보 제안부(213)는 제 2 특징맵 생성부(212)에서 생성된 열 이미지 콘볼루션 특징맵, 열 이미지 후보 콘볼루션 특징맵 및 폴링된 열 이미지 후보 특징맵에 포함된 열 정보를 검출할 수 있다.
후보 제안부(213)는 검출된 가시 정보 및 열 정보 중 적어도 하나의 정보에 기반하여 객체 후보 제안 정보를 생성할 수 있다.
한편, 후보 제안부(213)는 검출부(213-1) 및 제 1 융합부(213-2) 중 적어도 하나를 포함하여 이루어질 수 있다.
검출부(213-1)는 가시 이미지 콘볼루션 특징맵, 가시 이미지 후보 콘볼루션 특징맵, 폴링된 가시 이미지 후보 특징맵, 열 이미지 콘볼루션 특징맵, 열 이미지 후보 콘볼루션 특징맵, 폴링된 열 이미지 후보 특징맵에 포함된 각각의 가시 정보와 열 정보를 검출할 수 있다.
구체적으로, 검출부(213-1)는 제 1 특징맵 생성부(211)와 연결될 수 있다. 검출부(213-1)는 제 1 특징맵 생성부(211)에서 생성된 가시 이미지 콘볼루션 특징맵, 가시 이미지 후보 콘볼루션 특징맵, 폴링된 가시 이미지 후보 특징맵에 포함된 가시 정보를 검출할 수 있다.
즉, 검출부(213-1)는 제 1 특징맵 생성부(211)에서 생성된 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보를 검출할 수 있다. 여기서, 제 1 특징맵 생성부(211)에서 생성된 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보는 최종 가시 이미지 콘볼루션 특징맵 즉, 제 4 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보를 포함할 수 있다.
검출부(213-1)는 제 1 특징맵 생성부(211)에서 생성된 가시 이미지 후보 콘볼루션 특징맵 에 포함된 가시 정보를 검출할 수 있다. 여기서, 제 1 특징맵 생성부(211)에서 생성된 가시 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보는 제 1 가시 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보 및 제 2 가시 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보를 포함할 수 있다.
검출부(213-1)는 제 1 특징맵 생성부(211)에서 생성된 폴링된 가시 이미지 후보 특징맵 에 포함된 가시 정보를 검출할 수 있다.
검출부(213-1)는 제 2 특징맵 생성부(212)와 연결될 수 있다. 검출부(213-1)는 제 2 특징맵 생성부(212)에서 생성된 열 이미지 콘볼루션 특징맵, 열 이미지 후보 콘볼루션 특징맵, 폴링된 열 이미지 후보 특징맵에 포함된 열 정보를 검출할 수 있다.
구체적으로, 검출부(213-1)는 제 2 특징맵 생성부(212)와 연결될 수 있다. 검출부(213-1)는 제 2 특징맵 생성부(212)에서 생성된 열 이미지 콘볼루션 특징맵, 열 이미지 후보 콘볼루션 특징맵, 폴링된 열 이미지 후보 특징맵에 포함된 열 정보를 검출할 수 있다.
즉, 검출부(213-1)는 제 2 특징맵 생성부(212)에서 생성된 열 이미지 콘볼루션 특징맵에 포함된 열 정보를 검출할 수 있다. 여기서, 제 2 특징맵 생성부(212)에서 생성된 열 이미지 콘볼루션 특징맵에 포함된 열 정보는 최종 열 이미지 콘볼루션 특징맵 즉, 제 4 열 이미지 콘볼루션 특징맵에 포함된 열 정보를 포함할 수 있다.
검출부(213-1)는 제 2 특징맵 생성부(212)에서 생성된 열 이미지 후보 콘볼루션 특징맵 에 포함된 열 정보를 검출할 수 있다. 여기서, 제 2 특징맵 생성부(212)에서 생성된 열 이미지 후보 콘볼루션 특징맵에 포함된 열 정보는 제 1 열 이미지 후보 콘볼루션 특징맵에 포함된 열 정보 및 제 2 열 이미지 후보 콘볼루션 특징맵에 포함된 열 정보를 포함할 수 있다.
검출부(213-1)는 제 2 특징맵 생성부(212)에서 생성된 폴링된 열 이미지 후보 특징맵 에 포함된 열 정보를 검출할 수 있다.
제 1 융합부(213-2)는 검출된 가시 정보와 열 정보를 융합(fuse)하여 객체 후보 제안 정보를 생성할 수 있다.
구체적으로, 제 1 융합부(213-2)는 검출부(213-1)와 연결될 수 있다. 제 1 융합부(213-2)는 검출부(213-1)로부터 검출된 가시 정보와 열 정보를 제공받을 수 있다. 제 1 융합부(213-2)는 검출부(213-1)로부터 제공받은 가시 정보와 열 정보를 융합하여 객체 후보 제안 정보를 생성할 수 있다.
여기서, 융합은 서메이션 퓨전(summation fusion)을 포함할 수 있지만, 이에 한정되는 것은 아니고 가시 정보와 열 정보를 융합시킬 수 있다면, 어떠한 융합(일 예로, 컨게이트네이션(concatenation))이라도 포함할 수 있다.
예컨대, 제 1 융합부(213-2)는 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보와 열 이미지 콘볼루션 특징맵에 포함된 열 정보를 융합하고, 가시 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보와 열 이미지 후보 콘볼루션 특징맵에 포함된 열 정보를 융합하며, 폴링된 가시 이미지 후보 특징맵에 포함된 가시 정보와 폴링된 열 이미지 후보 특징맵에 포함된 열 정보를 융합할 수 있다.
즉, 제 1 융합부(213-2)는 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보와 열 이미지 콘볼루션 특징맵에 포함된 열 정보를 융합할 수 있다. 예컨대, 제 1 융합부(213-2)는 최종 가시 이미지 콘볼루션 특징맵 즉, 제 4 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보와 최종 열 이미지 콘볼루션 특징맵 즉, 제 4 열 이미지 콘볼루션 특징맵에 포함된 열 정보를 융합할 수 있다.
제 1 융합부(213-2)는 가시 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보와 열 이미지 후보 콘볼루션 특징맵에 포함된 열 정보를 융합할 수 있다.
예컨대, 제 1 융합부(213-2)는 제 1 가시 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보와 제 1 열 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보를 융합할 수 있다. 제 1 융합부(213-2)는 제 2가시 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보와 제 2열 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보를 융합할 수 있다.
제 1 융합부(213-2)는 폴링된 가시 이미지 후보 특징맵에 포함된 가시 정보와 폴링된 열 이미지 후보 특징맵에 포함된 열 정보를 융합할 수 있다.
제 1 융합부(213-2)는 융합된 가시 정보와 열 정보에 기반하여 객체 후보 제안 정보를 생성할 수 있다.
제 2 융합부(214)는 가시 이미지 콘볼루션 특징맵과 열 이미지 콘볼루션 특징맵을 융합(fuse)하여 융합된 콘볼루션 특징맵을 생성할 수 있다.
구체적으로, 제 2 융합부(214)는 제 1 특징맵 생성부(211)와 연결될 수 있다. 제 2 융합부(214)는 제 1 특징맵 생성부(211)로부터 가시 이미지 콘볼루션 특징맵을 제공받을 수 있다.
제 2 융합부(214)는 제 2 특징맵 생성부(212)와 연결될 수 있다. 제 2 융합부(214)는 제 2 특징맵 생성부(212)로부터 열 이미지 콘볼루션 특징맵을 제공받을 수 있다.
제 2 융합부(214)는 제 1 특징맵 생성부(211)로부터 제공받은 가시 이미지 콘볼루션 특징맵과 제 2 특징맵 생성부(212)로부터 제공받은 열 이미지 콘볼루션 특징맵을 융합하여 융합된 콘볼루션 특징맵을 생성할 수 있다.
여기서, 가시 이미지 콘볼루션 특징맵은 최종 가시 이미지 콘볼루션 특징맵 즉, 제 4 가시 이미지 콘볼루션 특징맵을 포함할 수 있다.
여기서, 열 이미지 콘볼루션 특징맵은 최종 열 이미지 콘볼루션 특징맵 즉, 제 4 열 이미지 콘볼루션 특징맵을 포함할 수 있다.
여기서, 융합은 서메이션 퓨전(summation fusion)을 포함할 수 있지만, 이에 한정되는 것은 아니고 가시 이미지 콘볼루션 특징맵과 열 이미지 콘볼루션 특징맵을 융합시킬 수 있다면, 어떠한 융합(일 예로, 컨게이트네이션(concatenation))이라도 포함할 수 있다.
상술한 바와 같이, 본 발명의 실시예들에 따른 객체 검출 장치는, 콘볼루션 레이어를 통해 가시 이미지 콘볼루션 특징맵과 열 이미지 콘볼루션 특징맵을 생성하고, 이들의 콘볼루션 특징맵에 포함된 가시 정보와 열 정보를 융합하여 객체 후보 제안 정보를 생성함으로써, 객체 후보를 정확하고 강하게(stronger) 생성할 수 있어, 다양한 조명 조건(illumination conditions)에서 오 인식률 및 미스 레이트(miss rata)를 감소시킬 뿐만 아니라 다수의 객체 및 다양한 스케일의 객체에 대한 검출 정확성(accuracy)을 높일 수 있다.
도 5는 본 발명의 실시예들에 따른 검출 모듈을 구체적으로 설명하기 위한 블록 구성도이다.
도 5를 참조하면, 본 발명의 실시예들에 따른 검출 모듈(220)은 특징 정보 획득부(221), 제 3 융합부(222) 및 객체 검출부(223) 중 적어도 하나를 포함하여 이루어질 수 있다.
특징 정보 획득부(221)는 후보 제안 모듈(210)에서 생성된 가시 이미지 특징맵 및 열 이미지 특징맵에 객체 후보 제안 정보를 맵핑(mapping)하여 특징(feature) 정보들을 획득할 수 있다. 여기서, 특징 정보는 특징 벡터(feature vector)를 포함할 수 있다.
구체적으로, 특징 정보 획득부(221)는 후보 제안 모듈(210)과 연결될 수 있다. 특징 정보 획득부(221)는 후보 제안 모듈(210)로부터 가시 이미지 특징맵, 열 이미지 특징맵 및 객체 후보 제안 정보를 제공받을 수 있다. 특징 정보 획득부(221)는 후보 제안 모듈(210)로부터 제공받은 가시 이미지 특징맵 및 열 이미지 특징맵에, 후보 제안 모듈(210)로부터 제공받은 객체 후보 제안 정보를 맵핑(mapping)하여 특징(feature) 정보들을 획득할 수 있다.
예컨대, 특징 정보 획득부(221)는 후보 제안 모듈(210)에서 생성된 가시 이미지 콘볼루션 특징맵 및 열 이미지 콘볼루션 특징맵에 객체 후보 제안 정보를 맵핑(mapping)하여 특징(feature) 정보들을 획득할 수 있다.
한편, 특징 정보 획득부(221)는 후보 제안 모듈(210)에서 생성된 가시 이미지 특징맵 및 열 이미지 특징맵의 해상도(resolution)를 증가시켜 해상도가 증가된 가시 이미지 특징맵과 해상도가 증가된 열 이미지 특징맵을 획득할 수 있다. 특징 정보 획득부(221)는 해상도가 증가된 가시 이미지 특징맵과 해상도가 증가된 열 이미지 특징맵에 객체 후보 제안 정보를 맵핑(mapping)하여 가시 이미지 특징 정보와 열 이미지 특징 정보를 획득할 수 있다.
예컨대, 특징 정보 획득부(221)는 후보 제안 모듈(210)에서 생성된 가시 이미지 콘볼루션 특징맵 및 열 이미지 콘볼루션 특징맵을 디콘볼루션(deconvolution)하여 디콘볼루션된 가시 이미지 특징맵과 디콘볼루션된 열 이미지 특징맵을 획득할 수 있다. 특징 정보 획득부(221)는 ROI 폴링 레이어(pooling layer)를 통해 디콘볼루션된 가시 이미지 특징맵과 디콘볼루션된 열 이미지 특징맵에 상기 객체 후보 제안 정보를 맵핑(mapping)하여 가시 이미지 특징 정보와 열 이미지 특징 정보를 획득할 수 있다.
제 3 융합부(222)는 특징 정보 획득부(221)를 통해 획득된 특징 정보들을 융합할 수 있다.
예컨대, 제 3 융합부(222)는 가시 이미지 특징 정보와 열 이미지 특징 정보를 융합할 수 있다.
구체적으로, 제 3 융합부(222)는 특징 정보 획득부(221)와 연결될 수 있다. 제 3 융합부(222)는 특징 정보 획득부(221)로부터 가시 이미지 특징 정보와 열 이미지 특징 정보를 제공받을 수 있다. 제 3 융합부(222)는 특징 정보 획득부(221)로부터 제공받은 가시 이미지 특징 정보와 열 이미지 특징 정보를 융합할 수 있다.
여기서, 융합은 서메이션 퓨전(summation fusion)을 포함할 수 있지만, 이에 한정되는 것은 아니고 가시 이미지 특징 정보와 열 이미지 특징 정보를 융합시킬 수 있다면, 어떠한 융합(일 예로, 컨게이트네이션(concatenation))이라도 포함할 수 있다.
객체 검출부(223)는 제 3 융합부(222)를 통해 융합된 특징 정보들을 기반으로 객체를 검출할 수 있다.
구체적으로, 객체 검출부(223)는 제 3 융합부(222)와 연결될 수 있다. 객체 검출부(223)는 제 3 융합부(222)로부터 융합된 특징 정보들을 제공받을 수 있다. 객체 검출부(223)는 제 3 융합부(222)로부터 제공받은 융합된 특징 정보들을 기반으로 객체를 검출할 수 있다.
예컨대, 객체 검출부(223)는 완전 연결 레이어(fully connected layer)를 통해 융합된 특징 정보들을 연결시킬 수 있다. 객체 검출부(223)는 소프트맥스 레이어(softmax layer)를 통해 연결된 특징 정보에 기반하여 객체와 비객체를 분류할 수 있다. 여기서, 객체는 보행자를 포함할 수 있으며, 비객체는 비보행자를 포함할 수 있다. 객체 검출부(223)는 바운딩 박스 레이어(bounding box layer)를 통해 연결된 특징 정보에 기반하여 객체의 위치를 추정할 수 있다.
상술한 바와 같이, 본 발명의 실시예들에 따른 객체 검출 장치는, 세 개의 콘볼루션 특징맵 즉, 가시 이미지 콘볼루션 특징맵, 열 이미지 콘볼루션 특징맵 및 이들이 융합된 콘볼루션 특징맵을 생성하고, 이들을 디콘볼루션하여 객체 후보 제안 정보를 맵핑함으로써, 특징맵들의 해상도를 증가시켜 객체의 특징 정보를 추출할 수 있어, 다양한 조명 조건(illumination conditions)에서 오 인식률 및 미스 레이트(miss rata)를 감소시킬 뿐만 아니라 다수의 객체 및 다양한 스케일의 객체에 대한 검출 정확성(accuracy)을 높일 수 있다.
계속해서 도 5를 참조하면, 특징 정보 획득부(221)는 후보 제안 모듈(210)에서 생성된 가시 이미지 특징맵, 열 이미지 특징맵, 및 가시 이미지 특징맵과 열 이미지 특징맵이 융합된 특징맵에 객체 후보 제안 정보를 맵핑(mapping)하여 특징(feature) 정보들을 획득할 수 있다. 여기서, 특징 정보는 특징 벡터(feature vector)를 포함할 수 있다.
구체적으로, 특징 정보 획득부(221)는 후보 제안 모듈(210)과 연결될 수 있다. 특징 정보 획득부(221)는 후보 제안 모듈(210)로부터 가시 이미지 특징맵, 열 이미지 특징맵, 가시 이미지 특징맵과 열 이미지 특징맵이 융합된 특징맵 및 객체 후보 제안 정보를 제공받을 수 있다. 특징 정보 획득부(221)는 후보 제안 모듈(210)로부터 제공받은 가시 이미지 특징맵, 열 이미지 특징맵, 및 가시 이미지 특징맵과 열 이미지 특징맵이 융합된 특징맵에, 후보 제안 모듈(210)로부터 제공받은 객체 후보 제안 정보를 맵핑(mapping)하여 특징(feature) 정보들을 획득할 수 있다.
예컨대, 특징 정보 획득부(221)는 후보 제안 모듈(210)에서 생성된 가시 이미지 콘볼루션 특징맵, 열 이미지 콘볼루션 특징맵, 및 가시 이미지 콘볼루션 특징맵과 열 이미지 콘볼루션 특징맵이 융합된 콘볼루션 특징맵에 객체 후보 제안 정보를 맵핑(mapping)하여 특징(feature) 정보들을 획득할 수 있다.
한편, 특징 정보 획득부(221)는 후보 제안 모듈(210)에서 생성된 가시 이미지 특징맵, 열 이미지 특징맵, 및 가시 이미지 특징맵과 열 이미지 특징맵이 융합된 특징맵의 해상도(resolution)를 증가시켜 해상도가 증가된 가시 이미지 특징맵, 해상도가 증가된 열 이미지 특징맵, 및 해상도가 증가된 융합된 특징맵을 획득할 수 있다. 특징 정보 획득부(221)는 해상도가 증가된 가시 이미지 특징맵, 해상도가 증가된 열 이미지 특징맵 및 해상도가 증가된 융합된 특징맵에 객체 후보 제안 정보를 맵핑(mapping)하여 가시 이미지 특징 정보, 열 이미지 특징 정보 및 융합된 특징 정보를 획득할 수 있다.
예컨대, 특징 정보 획득부(221)는 후보 제안 모듈(210)에서 생성된 가시 이미지 콘볼루션 특징맵, 열 이미지 콘볼루션 특징맵 및 융합된 콘볼루션 특징맵을 디콘볼루션(deconvolution)하여 디콘볼루션된 가시 이미지 특징맵, 디콘볼루션된 열 이미지 특징맵 및 디콘볼루션된 융합된 콘볼루션 특징맵을 획득할 수 있다. 특징 정보 획득부(221)는 ROI 폴링 레이어(pooling layer)를 통해 디콘볼루션된 가시 이미지 특징맵, 디콘볼루션된 열 이미지 특징맵과 디콘볼루션된 융합된 콘볼루션 특징맵에 객체 후보 제안 정보를 맵핑(mapping)하여 가시 이미지 특징 정보, 열 이미지 특징 정보 및 융합된 특징 정보를 획득할 수 있다.
제 3 융합부(222)는 특징 정보 획득부(221)를 통해 획득된 특징 정보들을 융합할 수 있다.
예컨대, 제 3 융합부(222)는 가시 이미지 특징 정보, 열 이미지 특징 정보 및 융합된 특징 정보를 융합할 수 있다.
구체적으로, 제 3 융합부(222)는 특징 정보 획득부(221)와 연결될 수 있다. 제 3 융합부(222)는 특징 정보 획득부(221)로부터 가시 이미지 특징 정보, 열 이미지 특징 정보 및 융합된 특징 정보를 제공받을 수 있다. 제 3 융합부(222)는 특징 정보 획득부(221)로부터 제공받은 가시 이미지 특징 정보, 열 이미지 특징 정보 및 융합된 특징 정보를 융합할 수 있다.
여기서, 융합은 서메이션 퓨전(summation fusion)을 포함할 수 있지만, 이에 한정되는 것은 아니고 가시 이미지 특징 정보, 열 이미지 특징 정보 및 융합된 특징 정보를 융합시킬 수 있다면, 어떠한 융합(일 예로, 컨게이트네이션(concatenation))이라도 포함할 수 있다.
객체 검출부(223)(213-1)는 제 3 융합부(222)를 통해 융합된 특징 정보들을 기반으로 객체를 검출할 수 있다.
구체적으로, 객체 검출부(223)는 제 3 융합부(222)와 연결될 수 있다. 객체 검출부(223)는 제 3 융합부(222)로부터 융합된 특징 정보들을 제공받을 수 있다. 객체 검출부(223)는 제 3 융합부(222)로부터 제공받은 융합된 특징 정보들을 기반으로 객체를 검출할 수 있다.
예컨대, 객체 검출부(223)는 완전 연결 레이어(fully connected layer)를 통해 융합된 특징 정보들을 연결시킬 수 있다. 객체 검출부(223)는 소프트맥스 레이어(softmax layer)를 통해 연결된 특징 정보에 기반하여 객체와 비객체를 분류할 수 있다. 여기서, 객체는 보행자를 포함할 수 있으며, 비객체는 비보행자를 포함할 수 있다. 객체 검출부(223)는 바운딩 박스 레이어(bounding box layer)를 통해 연결된 특징 정보에 기반하여 객체의 위치를 추정할 수 있다.
상술한 바와 같이, 본 발명의 실시예들에 따른 객체 검출 장치는, 가시 이미지 특징 정보, 열 이미지 특징 정보 및 융합된 특징 정보를 융합하여 객체를 검출함으로써, 다양한 조명 조건(illumination conditions)에서 오 인식률 및 미스 레이트(miss rata)를 감소시킬 뿐만 아니라 다수의 객체 및 다양한 스케일의 객체에 대한 검출 정확성(accuracy)을 높일 수 있다.
도 6은 본 발명의 실시예들에 따른 객체 검출 장치의 개념을 설명하기 위한 개념도이다.
도 6을 참조하면, 본 발명의 실시예들에 따른 객체 검출 장치(200)는 후보 제안 모듈(210) 및 검출 모듈(220)을 포함할 수 있다. 여기서, 후보 제안 모듈(210)은 지역 제안 네트워크(region proposal network, RPN)를 포함할 수 있다. 검출 모듈(220)은 검출 네트워크(detection network), 소프트맥스 레이어(softmax layer) 및 바운딩 박스 레이어(bounding box layer)를 포함할 수 있다.
특히, 지역 제안 네트워크(RPN)는 멀티 스케일이 융합된 멀티 레이어(multi-layer fused multi-scale)일 수 있다. 이러한 지역 제안 네트워크(RPN)는 멀티플 특징맵들(multiple feature maps)로부터 콘볼루션 특징들(convolutional features)을 사용하여, 객체 후보 제안(object candidate proposals) 정보를 생성할 수 있다. 여기서, 객체는 보행자를 포함할 수 있다.
검출 네트워크(detection network, DN)는 객체 후보 제안(object candidate proposals) 정보를 분류할 수 있다.
즉, 지역 제안 네트워크(RPN)는 다수의 콘볼루션 레이어와 폴링 레이어를 통해, 가시 이미지 및 열 이미지에서 콘볼루션 특징맵 뿐만 아니라 보행자 후보 제안 정보를 생성할 수 있다.
또한, 검출 네트워크(DN)는 ROI 폴링 레이어를 통해, 디콘볼루션 특징맵들로부터 고정된 길이(fixed length)의 특징 벡터(feature vector)를 추출할 수 있다.
또한, 추출된 각 특징 벡터는 검출 네트워크(DN)의 완전 연결 레이어(fully connected layer)를 통해, 두 개의 출력 레이어들(소프트맥스 레이어(softmax layer), 바운딩 박스 레이어(bounding box layer))로 분배될 수 있다.
여기서, 소프트맥스 레이어(softmax layer)는 두 클래스 즉, 보행자 또는 비보행자를 추정하기 위해 소프트맥스 확률(softmax probability)을 생성할 수 있다.
여기서, 바운딩 박스 레이어(bounding box layer)는 4개의 파라미터화된 수(four parameterized numbers)를 출력할 수 있다.
구제적으로 설명하면, 지역 제안 네트워크(RPN)는 가시 이미지와 열 이미지를 융합하고, 보행자 후보 제안 정보를 생성할 수 있다.
예컨대, 지역 제안 네트워크(RPN)는 다른 스케일의 4개의 층으로부터 보행자 후보 바운딩 박스(bounding box)를 생성할 수 있다. 이때, 지역 제안 네트워크(RPN)는 RPN-V 및 RPN-N을 포함할 수 있다.
낮은 레벨(lower level)의 Conv4 레이어는 작은 리셉티브 필드(smaller receptive fields)를 가지기 때문에, 작은 보행자를 검출할 수 있다. 높은 레벨(higher level)의 Conv5는 큰 스케일의 보행자를 검출할 수 있다.
지역 제안 네트워크(RPN)는 감지 출력 레이어(detection output layers) Det1-V 내지 Det4-V와 Det1-T 내지 Det4-T를 통해, 콘볼루션 레이어 및 폴링 레이어 중 Conv4-V, Conv5-V, Conv6-V, Pooling6-V와 Conv4-T, Conv5-T, Conv6-T, Pooling6-T를 감지할 수 있다. 이러한 감지 출력 레이어(detection output layers) Det1-V 내지 Det4-V와 Det1-T 내지 Det4-T는 다른 스케일을 가질 수 있다.
지역 제안 네트워크(RPN)는 4개의 융합 레이어 Fused Det1 내지 Fused Det4를 통해, 8개의 감지 출력 레이어(detection output layers) Det1-V 내지 Det4-V와 Det1-T 내지 Det4-T를 융합할 수 있다. 예컨대, Conv4-V 레이어와 Conv4-T 레이어는 Fused Det4를 통해, 통합될 수 있다. 여기서, 융합은 서메이션 퓨전(summation fusion)을 포함할 수 있다.
이를 통해, 본 발명의 실시예들에 따른 객체 검출 장치는 보행자에 대한 후보 정보를 정확하고 강하게(stronger) 생성할 수 있다.
지역 제안 네트워크(RPN)는 콘볼루션 특징맵들을 검출 네트워크(DN)로 제공할 수 있다. 여기서, 콘볼루션 특징맵들은 세 개일 수 있다. 이에, 본 발명의 실시예들에 따른 객체 검출 장치는 세 개의 특징맵을 사용함으로써, 보행자 감지에 더욱 로버스트(robust)해질 수 있다.
지역 제안 네트워크(RPN)는 디콘볼루션 레이어 Conv4-2X-V, Fused Conv4-2X 및 Conv4-2X-T를 통해, 디콘볼루션 특징맵들을 생성할 수 있다. 지역 제안 네트워크(RPN)는 디콘볼루션 레이어 Conv4-2X-V, Fused Conv4-2X 및 Conv4-2X-T를 통해 디콘볼루션 특징맵들을 생성함으로써, 특징맵들의 해상도를 증가시킬 수 있을 뿐만 아니라 계산 및 메모리에 대한 추가 비용을 낮출 수 있다.
지역 제안 네트워크(RPN)는 ROI 폴링 레이어를 통해, 세 개의 디콘볼루션 특징맵들로부터 특징들을 추출할 수 있다. 여기서, ROI 폴링 레이어는 세 개의 디콘볼루션 특징맵들에 보행자 후보 제안 정보를 맵핑할 수 있다. 그리고, ROI 폴링 레이어는 맥스 폴링(max pooling)를 통해, 특징의 크기(dimension)를 고정시킬 수 있다(일 예로, 7 ×7 ×512).
지역 제안 네트워크(RPN)는 Fused ROI를 통해, 고정된 특징을 서메이션 퓨전(summation fusion)하여 통합할 수 있다. 지역 제안 네트워크(RPN)는 완전 연결 레이어(fully connected layer)를 통해 통합된 특징들을 연결할 수 있다.
이후, 소프트맥스 레이어(softmax layer)를 통해, 연결된 특징들에 기반하여 보행자와 비보행자를 분류할 수 있다. 그리고, 바운딩 박스 레이어(bounding box layer)를 통해 연결된 특징에 기반하여 보행자의 위치를 추정할 수 있다.
이하에서는, 첨부된 도면을 참조하여 본 발명의 실시예들에 따른 객체 검출 방법에 대해 설명한다. 특히, 도 1 내지 도 6을 참조하여 상술한 본 발명의 실시예들에 따른 객체 검출 장치와 중복되는 부분은 설명의 간명성을 위하여 이하에서 생략한다.
본 발명의 실시예들에 따른 객체 검출 방법은 후보 제안 모듈(210) 및 검출 모듈(220)을 포함하는 본 발명의 실시예들에 따른 객체 검출 장치(200)를 이용하여 수행될 수 있다.
도 7은 본 발명의 실시예들에 따른 객체 검출 방법을 설명하기 위한 순서도이다.
도 7을 참조하면, 본 발명의 실시예들에 따른 객체 검출 방법은 객체 후보 제안(object candidate proposals) 정보를 생성하는 단계(S100) 및 객체를 검출하는 단계(S200) 등을 포함하여 이루어질 수 있다.
먼저, 가시(visible) 이미지 및 열(thermal) 이미지에서 특징맵들(feature maps)을 생성하고, 특징맵들에 기반하여 객체 후보 제안(object candidate proposals) 정보를 생성할 수 있다(S100).
이후, 특징맵들에 기초하여 객체 후보 제안 정보를 분류하여 객체를 검출할 수 있다(S200).
구체적으로, 단계 S200에서는, 먼저 단계 S100으로부터 특징맵들과 객체 후보 제안 정보를 제공받을 수 있다. 그런 다음, 단계 S100으로부터 제공받은 특징맵들에 기초하여, 단계 S100으로부터 제공받은 객체 후보 제안 정보를 분류하여 객체를 검출할 수 있다
도 8은 본 발명의 실시예들에 따른 이미지 획득 방법을 설명하기 위한 순서도이다.
도 8을 참조하면, 본 발명의 실시예들에 따른 이미지 획득 방법은 단계 S100 이전에 수행될 수 있다.
즉, 단계 S100 이전에, 이미지 획득 장치를 통해 주변을 촬영하여 주변 이미지 즉, 입력 이미지를 획득할 수 있다(S10).
여기서, 입력 이미지는 가시(visible) 이미지 및 열(thermal) 이미지 중 적어도 하나를 포함할 수 있지만, 이에 한정되는 것은 아니고 주변을 촬영하여 획득된 이미지라면 어떠한 이미지라도 포함할 수 있다.
예컨대, 단계 S10에서는, 먼저 주변을 촬영하여 주변 이미지 즉, 가시(visible) 이미지를 획득할 수 있다(S11).
여기서, 가시 이미지는 실화상 이미지를 포함할 수 있다.
여기서, 가시 이미지에는 보행자를 포함할 수 있다.
이후, 주변을 촬영하여 주변 이미지 즉, 열(thermal) 이미지를 획득할 수 있다(S12).
여기서, 열 이미지는 열화상 이미지를 포함할 수 있다.
여기서, 열 이미지에는 보행자를 포함할 수 있다.
상술한 바와 같이, 단계 S11 이후에 단계 S12가 수행될 수 있지만, 이에 한정되는 것은 아니고 단계 S12가 먼저 수행되고 단계 S11이 이후에 수행될 수 있다.
도 9 내지 도 11은 본 발명의 실시예들에 따른 객체 후보 제안 정보를 생성하는 방법을 구체적으로 설명하기 위한 순서도이다.
도 9를 참조하면, 본 발명의 실시예들에 따른 객체 후보 제안 정보를 생성하는 방법은 가시 이미지 특징맵을 생성하는 단계(S110-1), 열 이미지 특징맵을 생성하는 단계(120-1) 및 가시 정보와 열 정보에 기반하여 객체 후보 제안 정보를 생성하는 단계(130-1) 등을 포함하여 이루어질 수 있다.
먼저, 가시(visible) 이미지에서 가시 이미지 특징맵을 생성할 수 있다(S110-1).
구체적으로, 단계 S110-1에서는 먼저, 단계 S11에서 획득된 가시 이미지를 제공받을 수 있다. 그런 다음, 단계 S11에서 획득된 가시 이미지에서 가시 이미지 특징맵을 생성할 수 있다.
이후, 열(thermal) 이미지에서 열 이미지 특징맵을 생성할 수 있다(S120-1).
구체적으로, 단계 S120-1에서는 먼저, 단계 S12에서 획득된 열 이미지를 제공받을 수 있다. 그런 다음, 단계 S12에서 획득된 열 이미지에서 열 이미지 특징맵을 생성할 수 있다.
이후, 가시 이미지 특징맵에 포함된 가시 정보 및 열 이미지 특징맵에 포함된 열 정보 중 적어도 하나의 정보에 기반하여 객체 후보 제안 정보를 생성할 수 있다(S130-1).
도 10을 참조하면, 본 발명의 실시예들에 따른 가시 정보 및 열 정보 중 적어도 하나의 정보에 기반하여 객체 후보 제안 정보를 생성하는 단계는, 가시 정보 및 열 정보를 검출하는 단계(S131-1) 및 객체 제안 정보를 생성하는 단계(S132-1) 등을 포함하여 이루어질 수 있다.
먼저, 가시 이미지 특징맵에 포함된 가시 정보를 검출하고, 열 이미지 특징맵에 포함된 열 정보를 검출할 수 있다(S131-1).
구체적으로, 단계 S131-1에서는 단계 S110-1에서 생성된 가시 이미지 특징맵에 포함된 가시 정보를 검출할 수 있다. 그리고, 단계 S131-1에서는 단계 S120-1에서 생성된 열 이미지 특징맵에 포함된 열 정보를 검출할 수 있다.
이후, 검출된 가시 정보와 열 정보를 융합(fuse)하여 객체 후보 제안 정보를 생성할 수 있다(S132-1).
구체적으로, 단계 S132-1에서는 먼저 단계 S131-1에서 검출된 가시 정보와 열 정보를 제공받을 수 있다. 그런 다음, 단계 S131-1에서 검출된 가시 정보와 열 정보를 융합하여 객체 후보 제안 정보를 생성할 수 있다.
여기서, 융합은 서메이션 퓨전(summation fusion)을 포함할 수 있지만, 이에 한정되는 것은 아니고 가시 정보와 열 정보를 융합시킬 수 있다면, 어떠한 융합(일 예로, 컨게이트네이션(concatenation))이라도 포함할 수 있다.
도 11을 참조하면, 상기 열 이미지에서 열 이미지 특징맵을 생성하는 단계(S120-1) 이후 또는 상기 가시 정보와 열 정보에 기반하여 객체 후보 제안 정보를 생성하는 단계(130-1) 이후에, 융합된 특징맵을 생성하는 단계(S140-1)를 더 포함할 수 있다.
즉, 단계 S120-1 이후, 또는 단계 S130-1 이후에, 가시 이미지 특징맵과 열 이미지 특징맵을 융합(fuse)하여 융합된 특징맵을 생성할 수 있다(S140-1).
구체적으로, 단계 S140-1에서는 먼저, 단계 S110-1에서 생성된 가시 이미지 특징맵을 제공받을 수 있다. 그리고, 단계 S120-1에서 생성된 열 이미지 특징맵을 제공받을 수 있다. 그런 다음, 단계 S110-1에서 생성된 가시 이미지 특징맵과 단계 S120-1에서 생성된 열 이미지 특징맵을 융합하여 융합된 특징맵을 생성할 수 있다.
여기서, 융합은 서메이션 퓨전(summation fusion)을 포함할 수 있지만, 이에 한정되는 것은 아니고 가시 이미지 특징맵과 열 이미지 특징맵을 융합시킬 수 있다면, 어떠한 융합(일 예로, 컨게이트네이션(concatenation))이라도 포함할 수 있다.
도 12 내지 도 14는 본 발명의 실시예들에 따른 객체 후보 제안 정보를 생성하는 방법을 구체적으로 설명하기 위한 순서도이다.
도 12를 참조하면, 본 발명의 실시예들에 따른 객체 후보 제안 정보를 생성하는 방법은 가시 이미지 콘볼루션 특징맵을 생성하는 단계(S110-2), 열 이미지 콘볼루션 특징맵을 생성하는 단계(120-2) 및 가시 정보와 열 정보에 기반하여 객체 후보 제안 정보를 생성하는 단계(130-2) 등을 포함하여 이루어질 수 있다.
먼저, 가시(visible) 이미지에서 가시 이미지 콘볼루션 특징맵을 생성할 수 있다(S110-2).
예컨대, 단계 S110-2에서는 적어도 하나의 콘볼루션 레이어(convolutional layer)를 통해, 가시 이미지에서 가시 이미지 콘볼루션 특징맵을 생성할 수 있다.
구체적으로, 단계 S110-2에서는 먼저, 단계 S11에서 획득된 가시 이미지를 제공받을 수 있다. 그런 다음, 단계 S11에서 획득된 가시 이미지에서 가시 이미지 콘볼루션 특징맵을 생성할 수 있다.
이후, 열(thermal) 이미지에서 열 이미지 콘볼루션 특징맵을 생성할 수 있다(S120-2).
예컨대, 단계 S120-2에서는 적어도 하나의 콘볼루션 레이어(convolutional layer)를 통해, 열 이미지에서 열 이미지 콘볼루션 특징맵을 생성할 수 있다.
구체적으로, 단계 S120-2에서는 먼저, 단계 S12에서 획득된 열 이미지를 제공받을 수 있다. 그런 다음, 단계 S12에서 획득된 열 이미지에서 열 이미지 콘볼루션 특징맵을 생성할 수 있다.
이후, 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보 및 열 이미지 콘볼루션 특징맵에 포함된 열 정보 중 적어도 하나의 정보에 기반하여 객체 후보 제안 정보를 생성할 수 있다(S130-2).
도 13을 참조하면, 본 발명의 실시예들에 따른 가시 정보 및 열 정보 중 적어도 하나의 정보에 기반하여 객체 후보 제안 정보를 생성하는 단계는, 가시 정보 및 열 정보를 검출하는 단계(S131-2) 및 객체 제안 정보를 생성하는 단계(S132-2) 등을 포함하여 이루어질 수 있다
먼저, 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보를 검출하고, 열 이미지 콘볼루션 특징맵에 포함된 열 정보를 검출할 수 있다(S131-2).
구체적으로, 단계 S131-2에서는 단계 S110-2에서 생성된 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보를 검출할 수 있다. 그리고, 단계 S131-2에서는 단계 S120-2에서 생성된 열 이미지 콘볼루션 특징맵에 포함된 열 정보를 검출할 수 있다.
이후, 검출된 가시 정보와 열 정보를 융합(fuse)하여 객체 후보 제안 정보를 생성할 수 있다(S132-2).
구체적으로, 단계 S132-2에서는 먼저 단계 S131-2에서 검출된 가시 정보와 열 정보를 제공받을 수 있다. 그런 다음, 단계 S131-2에서 검출된 가시 정보와 열 정보를 융합하여 객체 후보 제안 정보를 생성할 수 있다.
여기서, 융합은 서메이션 퓨전(summation fusion)을 포함할 수 있지만, 이에 한정되는 것은 아니고 가시 정보와 열 정보를 융합시킬 수 있다면, 어떠한 융합(일 예로, 컨게이트네이션(concatenation))이라도 포함할 수 있다.
도 14를 참조하면, 상기 열 이미지에서 열 이미지 콘볼루션 특징맵을 생성하는 단계(S120-2) 이후 또는 상기 가시 정보와 열 정보에 기반하여 객체 후보 제안 정보를 생성하는 단계(130-2) 이후에, 융합된 특징맵을 생성하는 단계(S140-1)를 더 포함할 수 있다.
즉, 단계 S120-2 이후, 또는 단계 S130-2 이후에, 가시 이미지 콘볼루션 특징맵과 열 이미지 콘볼루션 특징맵을 융합(fuse)하여 융합된 콘볼루션 특징맵을 생성할 수 있다(S140-2).
구체적으로, 단계 S140-2에서는 먼저, 단계 S110-2에서 생성된 가시 이미지 콘볼루션 특징맵을 제공받을 수 있다. 그리고, 단계 S120-2에서 생성된 열 이미지 콘볼루션 특징맵을 제공받을 수 있다. 그런 다음, 단계 S110-2에서 생성된 가시 이미지 콘볼루션 특징맵과 단계 S120-2에서 생성된 열 이미지 콘볼루션 특징맵을 융합하여 융합된 콘볼루션 특징맵을 생성할 수 있다.
여기서, 융합은 서메이션 퓨전(summation fusion)을 포함할 수 있지만, 이에 한정되는 것은 아니고 가시 이미지 콘볼루션 특징맵과 열 이미지 콘볼루션 특징맵을 융합시킬 수 있다면, 어떠한 융합(일 예로, 컨게이트네이션(concatenation))이라도 포함할 수 있다.
계속해서 도 12의 단계 S110-2를 참조하면, 먼저 가시 이미지에서 가시 이미지 콘볼루션 특징맵을 생성할 수 있다.
예컨대, 적어도 하나의 콘볼루션 레이어(convolutional layer)를 통해, 가시 이미지에서 가시 이미지 콘볼루션 특징맵을 생성할 수 있다.
구체적으로, 단계 S11에서 획득된 가시 이미지를 제공받을 수 있다. 그런 다음, 단계 S11에서 획득된 가시 이미지에서 가시 이미지 콘볼루션 특징맵을 생성할 수 있다.
여기서, 콘볼루션 레이어는 복수 개일 수 있다. 이에, 복수 개의 콘볼루션 레이어(convolutional layer)를 통해(즉, 순차적으로 수행하여), 가시 이미지에서 가시 이미지 콘볼루션 특징맵을 순차적으로 생성할 수 있다. 특히, 마지막 콘볼루션 레이어를 통해 생성된 가시 이미지 콘볼루션 특징맵은 최종 가시 이미지 콘볼루션 특징맵일 수 있으며, 이러한 최종 가시 이미지 콘볼루션 특징맵은 검출 모듈로 제공될 수 있다.
예컨대, 콘볼루션 레이어가 4개인 경우, 4개의 콘볼루션 레이어(convolutional layer)를 통해(즉, 순차적으로 수행하여), 가시 이미지에서 제 1 내지 제 4 가시 이미지 콘볼루션 특징맵을 순차적으로 생성할 수 있다. 특히, 제 4 가시 이미지 콘볼루션 특징맵은 최종 가시 이미지 콘볼루션 특징맵일 수 있으며, 이러한 최종 가시 이미지 콘볼루션 특징맵은 단계 S200으로 제공될 수 있다.
이후, 가시 이미지 콘볼루션 특징맵에서 가시 이미지 후보 콘볼루션 특징맵을 생성할 수 있다.
예컨대, 적어도 하나의 콘볼루션 레이어를 통해, 가시 이미지 콘볼루션 특징맵에서 가시 이미지 후보 콘볼루션 특징맵을 생성할 수 있다.
여기서, 콘볼루션 레이어는 복수 개일 수 있다. 이에, 복수 개의 콘볼루션 레이어(convolutional layer)를 통해(즉, 순차적으로 수행하여), 가시 이미지 콘볼루션 특징맵에서 가시 이미지 후보 콘볼루션 특징맵을 순차적으로 생성할 수 있다. 특히, 가시 이미지 콘볼루션 특징맵은 최종 가시 이미지 콘볼루션 특징맵일 수 있다.
예컨대, 콘볼루션 레이어가 2개인 경우, 2개의 콘볼루션 레이어(convolutional layer)를 통해(즉, 순차적으로 수행하여), 가시 이미지 콘볼루션 특징맵(즉, 최종 가시 이미지 콘볼루션 특징맵, 제 4 가시 이미지 콘볼루션 특징맵)에서 제 1 및 제 2 가시 이미지 후보 콘볼루션 특징맵을 순차적으로 생성할 수 있다.
이후, 가시 이미지 후보 콘볼루션 특징맵에서 폴링된 가시 이미지 후보 특징맵을 생성할 수 있다.
예컨대, 적어도 하나의 폴링 레이어(pooling layer)를 통해, 가시 이미지 후보 콘볼루션 특징맵에서 폴링된 가시 이미지 후보 특징맵을 생성할 수 있다.
여기서, 콘볼루션 레이어는 하나일 수 있다. 이에, 하나의 폴링 레이어를 통해, 가시 이미지 후보 콘볼루션 특징맵(즉, 제 2 가시 이미지 후보 콘볼루션 특징맵)에서 폴링된 가시 이미지 후보 특징맵을 생성할 수 있다.
계속해서 도 12의 단계 S120-2를 참조하면, 먼저 열 이미지에서 열 이미지 콘볼루션 특징맵을 생성할 수 있다.
예컨대, 적어도 하나의 콘볼루션 레이어(convolutional layer)를 통해, 열 이미지에서 열 이미지 콘볼루션 특징맵을 생성할 수 있다.
구체적으로, 단계 S12에서 획득된 열 이미지를 제공받을 수 있다. 적어도 하나의 콘볼루션 레이어(convolutional layer)를 통해, 단계 S12에서 획득된 열 이미지에서 열 이미지 콘볼루션 특징맵을 생성할 수 있다.
여기서, 콘볼루션 레이어는 복수 개일 수 있다. 이에, 복수 개의 콘볼루션 레이어(convolutional layer)를 통해(즉, 순차적으로 수행하여), 열 이미지에서 열 이미지 콘볼루션 특징맵을 순차적으로 생성할 수 있다. 특히, 마지막 콘볼루션 레이어를 통해 생성된 열 이미지 콘볼루션 특징맵은 최종 열 이미지 콘볼루션 특징맵일 수 있으며, 이러한 최종 열 이미지 콘볼루션 특징맵은 단계 S200으로 제공될 수 있다.
예컨대, 콘볼루션 레이어가 4개인 경우, 4개의 콘볼루션 레이어(convolutional layer)를 통해(즉, 순차적으로 수행하여), 열 이미지에서 제 1 내지 제 4 열 이미지 콘볼루션 특징맵을 순차적으로 생성할 수 있다. 특히, 제 4 열 이미지 콘볼루션 특징맵은 최종 열 이미지 콘볼루션 특징맵일 수 있으며, 이러한 최종 열 이미지 콘볼루션 특징맵은 단계 S200으로 제공될 수 있다.
이후, 열 이미지 콘볼루션 특징맵에서 열 이미지 후보 콘볼루션 특징맵을 생성할 수 있다.
예컨대, 적어도 하나의 콘볼루션 레이어를 통해, 열 이미지 콘볼루션 특징맵에서 열 이미지 후보 콘볼루션 특징맵을 생성할 수 있다.
여기서, 콘볼루션 레이어는 복수 개일 수 있다. 이에, 복수 개의 콘볼루션 레이어(convolutional layer)를 통해(즉, 순차적으로 수행하여), 열 이미지 콘볼루션 특징맵에서 열 이미지 후보 콘볼루션 특징맵을 순차적으로 생성할 수 있다. 특히, 열 이미지 콘볼루션 특징맵은 최종 열 이미지 콘볼루션 특징맵일 수 있다.
예컨대, 콘볼루션 레이어가 2개인 경우, 2개의 콘볼루션 레이어(convolutional layer)를 통해(즉, 순차적으로 수행하여), 열 이미지 콘볼루션 특징맵(즉, 최종 열 이미지 콘볼루션 특징맵, 제 4 열 이미지 콘볼루션 특징맵)에서 제 1 및 제 2 열 이미지 후보 콘볼루션 특징맵을 순차적으로 생성할 수 있다.
이후, 열 이미지 후보 콘볼루션 특징맵에서 폴링된 열 이미지 후보 특징맵을 생성할 수 있다.
예컨대, 적어도 하나의 폴링 레이어(pooling layer)를 통해, 열 이미지 후보 콘볼루션 특징맵에서 폴링된 열 이미지 후보 특징맵을 생성할 수 있다.
여기서, 콘볼루션 레이어는 하나일 수 있다. 이에, 하나의 폴링 레이어를 통해, 열 이미지 후보 콘볼루션 특징맵(즉, 제 2 열 이미지 후보 콘볼루션 특징맵)에서 폴링된 열 이미지 후보 특징맵을 생성할 수 있다.
계속해서 도 12의 단계 S130-2를 참조하면, 가시 이미지 콘볼루션 특징맵, 가시 이미지 후보 콘볼루션 특징맵 및 폴링된 가시 이미지 후보 특징맵 중 적어도 하나에 포함된 가시 정보와, 열 이미지 콘볼루션 특징맵, 열 이미지 후보 콘볼루션 특징맵 및 폴링된 열 이미지 후보 특징맵 중 적어도 하나에 포함된 열 정보에 기반하여, 상기 객체 후보 제안 정보를 생성할 수 있다.
구체적으로, 먼저 단계 S110-2에서 생성된 가시 이미지 콘볼루션 특징맵, 가시 이미지 후보 콘볼루션 특징맵 및 폴링된 가시 이미지 후보 특징맵에 포함된 가시 정보를 검출할 수 있다.
이후, 단계 S120-2에서 생성된 열 이미지 콘볼루션 특징맵, 열 이미지 후보 콘볼루션 특징맵 및 폴링된 열 이미지 후보 특징맵에 포함된 열 정보를 검출할 수 있다.
이후, 검출된 가시 정보 및 열 정보 중 적어도 하나의 정보에 기반하여 객체 후보 제안 정보를 생성할 수 있다.
계속해서 도 13의 단계 S131-2를 참조하면, 가시 이미지 콘볼루션 특징맵, 가시 이미지 후보 콘볼루션 특징맵, 폴링된 가시 이미지 후보 특징맵, 열 이미지 콘볼루션 특징맵, 열 이미지 후보 콘볼루션 특징맵, 폴링된 열 이미지 후보 특징맵에 포함된 각각의 가시 정보와 열 정보를 검출할 수 있다.
구체적으로, 먼저 단계 S110-2에서 생성된 가시 이미지 콘볼루션 특징맵, 가시 이미지 후보 콘볼루션 특징맵, 폴링된 가시 이미지 후보 특징맵에 포함된 가시 정보를 검출할 수 있다.
즉, 단계 S110-2에서 생성된 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보를 검출할 수 있다. 여기서, 단계 S110-2에서 생성된 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보는 최종 가시 이미지 콘볼루션 특징맵 즉, 제 4 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보를 포함할 수 있다.
그리고, 단계 S110-2에서 생성된 가시 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보를 검출할 수 있다. 여기서, 제 1 특징맵 생성부에서 생성된 가시 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보는 제 1 가시 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보 및 제 2 가시 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보를 포함할 수 있다.
그리고, 단계 S110-2에서 생성된 폴링된 가시 이미지 후보 특징맵에 포함된 가시 정보를 검출할 수 있다.
이후, 단계 S120-2에서 생성된 열 이미지 콘볼루션 특징맵, 열 이미지 후보 콘볼루션 특징맵, 폴링된 열 이미지 후보 특징맵에 포함된 열 정보를 검출할 수 있다.
즉, 단계 S120-2에서 생성된 열 이미지 콘볼루션 특징맵에 포함된 열 정보를 검출할 수 있다. 여기서, 단계 S120-2에서 생성된 열 이미지 콘볼루션 특징맵에 포함된 열 정보는 최종 열 이미지 콘볼루션 특징맵 즉, 제 4 열 이미지 콘볼루션 특징맵에 포함된 열 정보를 포함할 수 있다.
그리고, 단계 S120-2에서 생성된 열 이미지 후보 콘볼루션 특징맵에 포함된 열 정보를 검출할 수 있다. 여기서, 단계 S120-2에서 생성된 열 이미지 후보 콘볼루션 특징맵에 포함된 열 정보는 제 1 열 이미지 후보 콘볼루션 특징맵에 포함된 열 정보 및 제 2 열 이미지 후보 콘볼루션 특징맵에 포함된 열 정보를 포함할 수 있다.
그리고, 단계 S120-2에서 생성된 폴링된 열 이미지 후보 특징맵에 포함된 열 정보를 검출할 수 있다.
계속해서 도 13의 단계 S132-2를 참조하면, 검출된 가시 정보와 열 정보를 융합(fuse)하여 객체 후보 제안 정보를 생성할 수 있다.
구체적으로, 먼저 단계 S131-2에서 검출된 가시 정보와 열 정보를 제공받을 수 있다. 그런 다음, 단계 S131-2에서 검출된 가시 정보와 열 정보를 융합하여 객체 후보 제안 정보를 생성할 수 있다.
여기서, 융합은 서메이션 퓨전(summation fusion)을 포함할 수 있지만, 이에 한정되는 것은 아니고 가시 정보와 열 정보를 융합시킬 수 있다면, 어떠한 융합(일 예로, 컨게이트네이션(concatenation))이라도 포함할 수 있다.
예컨대, 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보와 열 이미지 콘볼루션 특징맵에 포함된 열 정보를 융합하고, 가시 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보와 열 이미지 후보 콘볼루션 특징맵에 포함된 열 정보를 융합하며, 폴링된 가시 이미지 후보 특징맵에 포함된 가시 정보와 폴링된 열 이미지 후보 특징맵에 포함된 열 정보를 융합할 수 있다.
즉, 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보와 열 이미지 콘볼루션 특징맵에 포함된 열 정보를 융합할 수 있다. 예컨대, 최종 가시 이미지 콘볼루션 특징맵 즉, 제 4 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보와 최종 열 이미지 콘볼루션 특징맵 즉, 제 4 열 이미지 콘볼루션 특징맵에 포함된 열 정보를 융합할 수 있다.
그리고, 가시 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보와 열 이미지 후보 콘볼루션 특징맵에 포함된 열 정보를 융합할 수 있다.
예컨대, 제 1 가시 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보와 제 1 열 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보를 융합할 수 있다. 제 2가시 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보와 제 2열 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보를 융합할 수 있다.
그리고, 폴링된 가시 이미지 후보 특징맵에 포함된 가시 정보와 폴링된 열 이미지 후보 특징맵에 포함된 열 정보를 융합할 수 있다.
그리고, 융합된 가시 정보와 열 정보에 기반하여 객체 후보 제안 정보를 생성할 수 있다.
계속해서 도 14의 단계 S140-2를 참조하면, 가시 이미지 콘볼루션 특징맵과 열 이미지 콘볼루션 특징맵을 융합(fuse)하여 융합된 콘볼루션 특징맵을 생성할 수 있다.
구체적으로, 먼저, 단계 S110-2에서 생성된 가시 이미지 콘볼루션 특징맵을 제공받을 수 있다. 그런 다음, 단계 S120-2에서 생성된 열 이미지 콘볼루션 특징맵을 제공받을 수 있다.
그런 다음, 단계 S110-2에서 생성된 가시 이미지 콘볼루션 특징맵과 단계 S120-2에서 생성된 열 이미지 콘볼루션 특징맵을 융합하여 융합된 콘볼루션 특징맵을 생성할 수 있다.
여기서, 가시 이미지 콘볼루션 특징맵은 최종 가시 이미지 콘볼루션 특징맵 즉, 제 4 가시 이미지 콘볼루션 특징맵을 포함할 수 있다.
여기서, 열 이미지 콘볼루션 특징맵은 최종 열 이미지 콘볼루션 특징맵 즉, 제 4 열 이미지 콘볼루션 특징맵을 포함할 수 있다.
여기서, 융합은 서메이션 퓨전(summation fusion)을 포함할 수 있지만, 이에 한정되는 것은 아니고 가시 이미지 콘볼루션 특징맵과 열 이미지 콘볼루션 특징맵을 융합시킬 수 있다면, 어떠한 융합(일 예로, 컨게이트네이션(concatenation))이라도 포함할 수 있다.
도 15 내지 도 16는 본 발명의 실시예들에 따른 객체를 검출하는 방법을 구체적으로 설명하기 위한 순서도이다.
도 15를 참조하면, 본 발명의 실시예들에 따른 객체를 검출하는 방법은 가시 이미지 특징 정보와 열 이미지 특징 정보를 획득하는 단계(S210-1), 융합하는 단계(S220-1) 및 객체를 검출하는 단계(S230-1) 등을 포함하여 이루어질 수 있다.
먼저, 가시 이미지 특징맵 및 열 이미지 특징맵에 객체 후보 제안 정보를 맵핑(mapping)하여 특징(feature) 정보들을 획득할 수 있다(S210-1). 여기서, 특징 정보는 특징 벡터(feature vector)를 포함할 수 있다.
구체적으로, 먼저 단계 S100에서 생성된 가시 이미지 특징맵, 열 이미지 특징맵 및 객체 후보 제안 정보를 제공받을 수 있다. 그런 다음, 단계 S100에서 생성된 가시 이미지 특징맵 및 열 이미지 특징맵에, 단계 S100에서 생성된 객체 후보 제안 정보를 맵핑(mapping)하여 특징(feature) 정보들을 획득할 수 있다.
예컨대, 단계 S100에서 생성된 가시 이미지 콘볼루션 특징맵 및 열 이미지 콘볼루션 특징맵에, 단계 S100에서 생성된 객체 후보 제안 정보를 맵핑(mapping)하여 특징(feature) 정보들을 획득할 수 있다.
한편, 단계 S210-1에서는 먼저 단계 S100에서 생성된 가시 이미지 특징맵 및 열 이미지 특징맵의 해상도(resolution)를 증가시켜 해상도가 증가된 가시 이미지 특징맵과 해상도가 증가된 열 이미지 특징맵을 획득할 수 있다. 그런 다음, 해상도가 증가된 가시 이미지 특징맵과 해상도가 증가된 열 이미지 특징맵에 객체 후보 제안 정보를 맵핑(mapping)하여 가시 이미지 특징 정보와 열 이미지 특징 정보를 획득할 수 있다.
예컨대, 단계 S210-1에서는 먼저 단계 S100에서 생성된 가시 이미지 콘볼루션 특징맵 및 열 이미지 콘볼루션 특징맵을 디콘볼루션(deconvolution)하여 디콘볼루션된 가시 이미지 특징맵과 디콘볼루션된 열 이미지 특징맵을 획득할 수 있다. 그런 다음, ROI 폴링 레이어(pooling layer)를 통해 디콘볼루션된 가시 이미지 특징맵과 디콘볼루션된 열 이미지 특징맵에 상기 객체 후보 제안 정보를 맵핑(mapping)하여 가시 이미지 특징 정보와 열 이미지 특징 정보를 획득할 수 있다.
이후, 단계 S210-1을 통해 획득된 특징 정보들을 융합할 수 있다(S220-1).
예컨대, 단계 S220-1에서는 가시 이미지 특징 정보와 열 이미지 특징 정보를 융합할 수 있다.
구체적으로, 단계 S220-1에서는 먼저 단계 S210-1로부터 가시 이미지 특징 정보와 열 이미지 특징 정보를 제공받을 수 있다. 그런 다음, 단계 S210-1로부터 제공받은 가시 이미지 특징 정보와 열 이미지 특징 정보를 융합할 수 있다.
여기서, 융합은 서메이션 퓨전(summation fusion)을 포함할 수 있지만, 이에 한정되는 것은 아니고 가시 이미지 특징 정보와 열 이미지 특징 정보를 융합시킬 수 있다면, 어떠한 융합(일 예로, 컨게이트네이션(concatenation))이라도 포함할 수 있다.
이후, 단계 S220-1을 통해 융합된 특징 정보들을 기반으로 객체를 검출할 수 있다(S230-1).
구체적으로, 단계 S230-1에서는 먼저, 단계 S220-1로부터 융합된 특징 정보들을 제공받을 수 있다. 그런 다음, 단계 S220-1로부터 제공받은 융합된 특징 정보들을 기반으로 객체를 검출할 수 있다.
예컨대, 단계 S230-1에서는 먼저, 완전 연결 레이어(fully connected layer)를 통해 융합된 특징 정보들을 연결시킬 수 있다. 이후, 소프트맥스 레이어(softmax layer)를 통해 연결된 특징 정보에 기반하여 객체와 비객체를 분류할 수 있다. 여기서, 객체는 보행자를 포함할 수 있으며, 비객체는 비보행자를 포함할 수 있다. 그리고, 바운딩 박스 레이어(bounding box layer)를 통해 연결된 특징 정보에 기반하여 객체의 위치를 추정할 수 있다.
계속해서 도 16을 참조하면, 본 발명의 실시예들에 따른 객체를 검출하는 방법은 가시 이미지 특징 정보, 열 이미지 특징 정보 및 융합된 특징 정보를 획득하는 단계(S210-2), 융합하는 단계(S220-2) 및 객체를 검출하는 단계(S230-2) 등을 포함하여 이루어질 수 있다.
먼저, 가시 이미지 특징맵, 열 이미지 특징맵, 및 가시 이미지 특징맵과 열 이미지 특징맵이 융합된 특징맵에 객체 후보 제안 정보를 맵핑(mapping)하여 특징(feature) 정보들을 획득할 수 있다. 여기서, 특징 정보는 특징 벡터(feature vector)를 포함할 수 있다.
구체적으로, 먼저 단계 S100에서 생성된 가시 이미지 특징맵, 열 이미지 특징맵, 가시 이미지 특징맵과 열 이미지 특징맵이 융합된 특징맵 및 객체 후보 제안 정보를 제공받을 수 있다. 그런 다음, 단계 S100에서 생성된 가시 이미지 특징맵, 열 이미지 특징맵, 및 가시 이미지 특징맵과 열 이미지 특징맵이 융합된 특징맵에, 후보 제안 모듈로부터 제공받은 객체 후보 제안 정보를 맵핑(mapping)하여 특징(feature) 정보들을 획득할 수 있다.
예컨대, 단계 S100에서 생성된 가시 이미지 콘볼루션 특징맵, 열 이미지 콘볼루션 특징맵, 및 가시 이미지 콘볼루션 특징맵과 열 이미지 콘볼루션 특징맵이 융합된 콘볼루션 특징맵에 객체 후보 제안 정보를 맵핑(mapping)하여 특징(feature) 정보들을 획득할 수 있다.
한편, 단계 S210-2에서는 먼저 단계 S100에서 생성된 가시 이미지 특징맵, 열 이미지 특징맵, 및 가시 이미지 특징맵과 열 이미지 특징맵이 융합된 특징맵의 해상도(resolution)를 증가시켜 해상도가 증가된 가시 이미지 특징맵, 해상도가 증가된 열 이미지 특징맵, 및 해상도가 증가된 융합된 특징맵을 획득할 수 있다. 그런 다음, 해상도가 증가된 가시 이미지 특징맵, 해상도가 증가된 열 이미지 특징맵 및 해상도가 증가된 융합된 특징맵에 객체 후보 제안 정보를 맵핑(mapping)하여 가시 이미지 특징 정보, 열 이미지 특징 정보 및 융합된 특징 정보를 획득할 수 있다.
예컨대, 단계 S210-2에서는 먼저 단계 S100에서 생성된 가시 이미지 콘볼루션 특징맵, 열 이미지 콘볼루션 특징맵 및 융합된 콘볼루션 특징맵을 디콘볼루션(deconvolution)하여 디콘볼루션된 가시 이미지 특징맵, 디콘볼루션된 열 이미지 특징맵 및 디콘볼루션된 융합된 콘볼루션 특징맵을 획득할 수 있다. 그런 다음, ROI 폴링 레이어(pooling layer)를 통해 디콘볼루션된 가시 이미지 특징맵, 디콘볼루션된 열 이미지 특징맵과 디콘볼루션된 융합된 콘볼루션 특징맵에 객체 후보 제안 정보를 맵핑(mapping)하여 가시 이미지 특징 정보, 열 이미지 특징 정보 및 융합된 특징 정보를 획득할 수 있다.
이후, 단계 S210-2를 통해 획득된 특징 정보들을 융합할 수 있다(S220-2).
예컨대, 단계 S220-2에서는 가시 이미지 특징 정보, 열 이미지 특징 정보 및 융합된 특징 정보를 융합할 수 있다.
구체적으로, 단계 S220-2에서는 먼저 단계 S210-2로부터 가시 이미지 특징 정보, 열 이미지 특징 정보 및 융합된 특징 정보를 제공받을 수 있다. 그런 다음, 단계 S210-2로부터 제공받은 가시 이미지 특징 정보, 열 이미지 특징 정보 및 융합된 특징 정보를 융합할 수 있다.
여기서, 융합은 서메이션 퓨전(summation fusion)을 포함할 수 있지만, 이에 한정되는 것은 아니고 가시 이미지 특징 정보, 열 이미지 특징 정보 및 융합된 특징 정보를 융합시킬 수 있다면, 어떠한 융합(일 예로, 컨게이트네이션(concatenation))이라도 포함할 수 있다.
이후, 단계 S220-2를 통해 융합된 특징 정보들을 기반으로 객체를 검출할 수 있다(S230-2).
구체적으로, 단계 S230-2에서는 먼저 단계 S220-2로부터 융합된 특징 정보들을 제공받을 수 있다. 그런 다음, 단계 S220-2로부터 제공받은 융합된 특징 정보들을 기반으로 객체를 검출할 수 있다.
예컨대, 단계 S230-2에서는 먼저, 완전 연결 레이어(fully connected layer)를 통해 융합된 특징 정보들을 연결시킬 수 있다. 이후, 소프트맥스 레이어(softmax layer)를 통해 연결된 특징 정보에 기반하여 객체와 비객체를 분류할 수 있다. 여기서, 객체는 보행자를 포함할 수 있으며, 비객체는 비보행자를 포함할 수 있다. 그리고, 바운딩 박스 레이어(bounding box layer)를 통해 연결된 특징 정보에 기반하여 객체의 위치를 추정할 수 있다.
도 17은 본 실시예들에 따른 객체 검출 장치 및 객체 검출 시스템의 컴퓨터 시스템에 대한 블록 구성도이다.
도 17을 참조하면, 이상 상술한 본 실시예들은, 컴퓨터 시스템 내에, 예를 들어, 컴퓨터 판독가능 기록 매체로 구현될 수 있다. 도면에 도시된 바와 같이, 객체 검출 장치 및 객체 검출 시스템 등의 컴퓨터 시스템(1000)은 하나 이상의 프로세서(1010), 메모리(1020), 저장부(1030), 사용자 인터페이스 입력부(1040) 및 사용자 인터페이스 출력부(1050) 중 적어도 하나 이상의 요소를 포함할 수 있으며, 이들은 버스(1060)를 통해 서로 통신할 수 있다. 또한, 컴퓨터 시스템(1000)은 네트워크에 접속하기 위한 네트워크 인터페이스(1070)를 또한 포함할 수 있다. 프로세서(1010)는 메모리(1020) 및/또는 저장소(1030)에 저장된 처리 명령어를 실행시키는 CPU 또는 반도체 소자일 수 있다. 메모리(1020) 및 저장부(1030)는 다양한 유형의 휘발성/비휘발성 기억 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(1021) 및 RAM(1023)을 포함할 수 있다.
이에 따라, 본 발명의 실시 예들은 컴퓨터로 구현되는 방법 또는 컴퓨터 실행 가능 명령어들이 저장된 비휘발성 컴퓨터 기록 매체로 구현될 수 있다. 상기 명령어들은 프로세서에 의해 실행될 때 본 발명의 적어도 일 실시 예에 따른 방법을 수행할 수 있다.
전술한 본 발명의 실시예들에 따른 객체 검출 장치 및 방법에 대한 실시예들에 대하여 설명하였지만, 본 발명의 실시예들은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명의 실시예들에 속한다.
100: 이미지 획득 장치 110: 가시 이미지 획득 모듈
120: 열 이미지 획득 모듈 200: 객체 검출 장치
210: 후보 제안 모듈 211: 제 1 특징맵 생성부
212: 제 2 특징맵 생성부 213: 후보 제안부
213-1: 검출부 213-2: 제 1 융합부
214: 제 2 융합부 220: 검출 모듈
221: 특징 정보 획득부 222: 제 3 융합부
223: 객체 검출부

Claims (15)

  1. 가시(visible) 이미지 및 열(thermal) 이미지에서 특징맵들(feature maps)을 생성하고, 상기 특징맵들에 기반하여 객체 후보 제안(object candidate proposals) 정보를 생성하는 후보 제안 모듈; 및
    상기 특징맵들에 기초하여 상기 객체 후보 제안 정보를 분류하여 객체를 검출하는 검출 모듈을 포함하되,
    상기 후보 제안 모듈은,
    상기 가시 이미지에서 생성된 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보와 상기 열 이미지에서 생성된 열 이미지 콘볼루션 특징맵에 포함된 열 정보를 융합하고,
    상기 가시 이미지 콘볼루션 특징맵에서 생성된 가시 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보와 상기 열 이미지 콘볼루션 특징맵에서 생성된 열 이미지 후보 콘볼루션 특징맵에 포함된 열 정보를 융합하며,
    상기 가시 이미지 후보 콘볼루션 특징맵에서 생성된 폴링된 가시 이미지 후보 특징맵에 포함된 가시 정보와 상기 열 이미지 후보 콘볼루션 특징맵에서 생성된 폴링된 열 이미지 후보 특징맵에 포함된 열 정보를 융합하며,
    각각에서 융합된 가시 정보와 열 정보에 기반하여 상기 객체 후보 제안 정보를 생성하는 객체 검출 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 후보 제안 모듈은,
    적어도 하나의 콘볼루션 레이어를 통해 상기 가시 이미지에서 가시 이미지 콘볼루션 특징맵을 생성하고, 적어도 하나의 콘볼루션 레이어를 통해 상기 가시 이미지 콘볼루션 특징맵에서 가시 이미지 후보 콘볼루션 특징맵을 생성하며, 적어도 하나의 폴링 레이어(pooling layer)를 통해 상기 가시 이미지 후보 콘볼루션 특징맵에서 폴링된 가시 이미지 후보 특징맵을 생성하는 제 1 특징맵 생성부;
    적어도 하나의 콘볼루션 레이어를 통해 상기 열 이미지에서 열 이미지 콘볼루션 특징맵을 생성하고, 적어도 하나의 콘볼루션 레이어를 통해 상기 열 이미지 콘볼루션 특징맵에서 열 이미지 후보 콘볼루션 특징맵을 생성하며, 적어도 하나의 폴링 레이어(pooling layer)를 통해 상기 열 이미지 후보 콘볼루션 특징맵에서 폴링된 열 이미지 후보 특징맵을 생성하는 제 2 특징맵 생성부; 및
    상기 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보와 상기 열 이미지 콘볼루션 특징맵에 포함된 열 정보를 융합하고, 상기 가시 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보와 상기 열 이미지 후보 콘볼루션 특징맵에 포함된 열 정보를 융합하며, 상기 폴링된 가시 이미지 후보 특징맵에 포함된 가시 정보와 상기 폴링된 열 이미지 후보 특징맵에 포함된 열 정보를 융합하여, 상기 객체 후보 제안 정보를 생성하는 후보 제안부를 포함하는 객체 검출 장치.
  6. 제 5 항에 있어서,
    상기 후보 제안부는,
    상기 가시 이미지 콘볼루션 특징맵, 상기 가시 이미지 후보 콘볼루션 특징맵, 상기 폴링된 가시 이미지 후보 특징맵, 상기 열 이미지 콘볼루션 특징맵, 상기 열 이미지 후보 콘볼루션 특징맵, 상기 폴링된 열 이미지 후보 특징맵에 포함된 각각의 가시 정보와 열 정보를 검출하는 검출부; 및
    상기 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보와 상기 열 이미지 콘볼루션 특징맵에 포함된 열 정보를 융합하고, 상기 가시 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보와 상기 열 이미지 후보 콘볼루션 특징맵에 포함된 열 정보를 융합하며, 상기 폴링된 가시 이미지 후보 특징맵에 포함된 가시 정보와 상기 폴링된 열 이미지 후보 특징맵에 포함된 열 정보를 융합하여, 상기 객체 후보 제안 정보를 생성하는 제 1 융합부를 포함하는 객체 검출 장치.
  7. 제 5 항에 있어서,
    상기 후보 제안 모듈은,
    상기 가시 이미지 콘볼루션 특징맵과 상기 열 이미지 콘볼루션 특징맵을 융합(fuse)하여 융합된 콘볼루션 특징맵을 생성하는 제 2 융합부를 더 포함하는 객체 검출 장치.
  8. 제 1 항에 있어서,
    상기 검출 모듈은,
    상기 후보 제안 모듈에서 생성된 가시 이미지 콘볼루션 특징맵, 열 이미지 콘볼루션 특징맵, 및 가시 이미지 콘볼루션 특징맵과 열 이미지 콘볼루션 특징맵이 융합된 콘볼루션 특징맵에 상기 객체 후보 제안 정보를 맵핑(mapping)하여 가시 이미지 특징 정보, 열 이미지 특징 정보 및 융합된 특징 정보를 획득하는 특징 정보 획득부;
    상기 가시 이미지 특징 정보와 열 이미지 특징 정보를 융합하는 제 3 융합부; 및
    상기 제 3 융합부를 통해 융합된 특징 정보들을 기반으로 객체를 검출하는 객체 검출부를 포함하는 객체 검출 장치.
  9. 삭제
  10. 삭제
  11. 제 8 항에 있어서,
    상기 특징 정보 획득부는,
    상기 후보 제안 모듈에서 생성된 가시 이미지 콘볼루션 특징맵, 열 이미지 콘볼루션 특징맵 및 융합된 콘볼루션 특징맵을 디콘볼루션(deconvolution)하여 디콘볼루션된 가시 이미지 특징맵, 디콘볼루션된 열 이미지 특징맵 및 디콘볼루션된 융합된 콘볼루션 특징맵을 획득하고, ROI 폴링 레이어(pooling layer)를 통해 상기 디콘볼루션된 가시 이미지 특징맵, 디콘볼루션된 열 이미지 특징맵과 디콘볼루션된 융합된 콘볼루션 특징맵에 상기 객체 후보 제안 정보를 맵핑(mapping)하여 가시 이미지 특징 정보, 열 이미지 특징 정보 및 융합된 특징 정보를 획득하며,
    상기 제 3 융합부는,
    상기 가시 이미지 특징 정보, 열 이미지 특징 정보 및 융합된 특징 정보를 융합하는 객체 검출 장치.
  12. 가시(visible) 이미지 및 열(thermal) 이미지에서 특징맵들(feature maps)을 생성하고, 상기 특징맵들에 기반하여 객체 후보 제안(object candidate proposals) 정보를 생성하는 단계; 및
    상기 특징맵들에 기초하여 상기 객체 후보 제안 정보를 분류하여 객체를 검출하는 단계를 포함하되,
    상기 객체 후보 제안 정보를 생성하는 단계는,
    상기 가시 이미지에서 생성된 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보와 상기 열 이미지에서 생성된 열 이미지 콘볼루션 특징맵에 포함된 열 정보를 융합하고,
    상기 가시 이미지 콘볼루션 특징맵에서 생성된 가시 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보와 상기 열 이미지 콘볼루션 특징맵에서 생성된 열 이미지 후보 콘볼루션 특징맵에 포함된 열 정보를 융합하며,
    상기 가시 이미지 후보 콘볼루션 특징맵에서 생성된 폴링된 가시 이미지 후보 특징맵에 포함된 가시 정보와 상기 열 이미지 후보 콘볼루션 특징맵에서 생성된 폴링된 열 이미지 후보 특징맵에 포함된 열 정보를 융합하며,
    각각에서 융합된 가시 정보와 열 정보에 기반하여 상기 객체 후보 제안 정보를 생성하는 객체 검출 방법.
  13. 제 12 항에 있어서,
    상기 객체 후보 제안 정보를 생성하는 단계는,
    적어도 하나의 콘볼루션 레이어를 통해 상기 가시 이미지에서 가시 이미지 콘볼루션 특징맵을 생성하고, 적어도 하나의 콘볼루션 레이어를 통해 상기 가시 이미지 콘볼루션 특징맵에서 가시 이미지 후보 콘볼루션 특징맵을 생성하며, 적어도 하나의 폴링 레이어(pooling layer)를 통해 상기 가시 이미지 후보 콘볼루션 특징맵에서 폴링된 가시 이미지 후보 특징맵을 생성하는 단계;
    적어도 하나의 콘볼루션 레이어를 통해 상기 열 이미지에서 열 이미지 콘볼루션 특징맵을 생성하고, 적어도 하나의 콘볼루션 레이어를 통해 상기 열 이미지 콘볼루션 특징맵에서 열 이미지 후보 콘볼루션 특징맵을 생성하며, 적어도 하나의 폴링 레이어(pooling layer)를 통해 상기 열 이미지 후보 콘볼루션 특징맵에서 폴링된 열 이미지 후보 특징맵을 생성하는 단계; 및
    상기 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보와 상기 열 이미지 콘볼루션 특징맵에 포함된 열 정보를 융합하고, 상기 가시 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보와 상기 열 이미지 후보 콘볼루션 특징맵에 포함된 열 정보를 융합하며, 상기 폴링된 가시 이미지 후보 특징맵에 포함된 가시 정보와 상기 폴링된 열 이미지 후보 특징맵에 포함된 열 정보를 융합하여, 상기 객체 후보 제안 정보를 생성하는 단계를 포함하는 객체 검출 방법.
  14. 제 13 항에 있어서,
    상기 열 이미지 콘볼루션 특징맵, 열 이미지 후보 콘볼루션 특징맵 및 폴링된 열 이미지 후보 특징맵을 생성하는 단계 이후 또는 상기 각각에서 융합된 가시 정보와 열 정보에 기반하여 상기 객체 후보 제안 정보를 생성하는 단계 이후에,
    상기 가시 이미지 콘볼루션 특징맵과 상기 열 이미지 콘볼루션 특징맵을 융합(fuse)하여 융합된 특징맵을 생성하는 단계를 더 포함하는 객체 검출 방법.
  15. 제 12 항에 있어서,
    상기 객체를 검출하는 단계는,
    상기 객체 후보 제안 정보를 생성하는 단계에서 생성된 가시 이미지 콘볼루션 특징맵, 열 이미지 콘볼루션 특징맵, 및 가시 이미지 콘볼루션 특징맵과 열 이미지 콘볼루션 특징맵이 융합된 콘볼루션 특징맵에 상기 객체 후보 제안 정보를 맵핑(mapping)하여 가시 이미지 특징 정보, 열 이미지 특징 정보 및 융합된 특징 정보를 획득하는 단계;
    상기 가시 이미지 특징 정보와 열 이미지 특징 정보를 융합하는 단계; 및
    상기 가시 이미지 특징 정보와 열 이미지 특징 정보가 융합된 특징 정보들을 기반으로 객체를 검출하는 단계를 포함하는 객체 검출 방법.
KR1020180088736A 2018-07-30 2018-07-30 객체 검출 장치 및 방법 KR102133876B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180088736A KR102133876B1 (ko) 2018-07-30 2018-07-30 객체 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180088736A KR102133876B1 (ko) 2018-07-30 2018-07-30 객체 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200013486A KR20200013486A (ko) 2020-02-07
KR102133876B1 true KR102133876B1 (ko) 2020-07-14

Family

ID=69570274

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180088736A KR102133876B1 (ko) 2018-07-30 2018-07-30 객체 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102133876B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220137368A (ko) 2021-04-02 2022-10-12 세종대학교산학협력단 멀티레이블 학습을 이용한 멀티스펙트럴 도메인에서의 객체 인식 방법 및 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102345366B1 (ko) * 2020-03-03 2021-12-29 연세대학교 산학협력단 적대적 학습을 통한 비쌍 교차 스펙트럴 보행자 검출 장치 및 방법
KR20220071412A (ko) * 2020-11-24 2022-05-31 서강대학교산학협력단 세그먼트 핑거프린트 생성 방법 및 이를 이용한 비디오 부분 복사 검출 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101858646B1 (ko) * 2012-12-14 2018-05-17 한화에어로스페이스 주식회사 영상 융합 장치 및 방법
KR102450971B1 (ko) * 2015-05-08 2022-10-05 삼성전자주식회사 객체 인식 장치 및 방법
KR101827538B1 (ko) * 2016-12-28 2018-02-09 동국대학교 산학협력단 성별 인식 장치 및 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
공개특허공보 제10-2016-0131848호(2016.11.16.: 인용발명 3) 1부.*
등록특허공보 제10-1827538호(2018.02.09.: 인용발명 2) 1부.*
등록특허공보 제10-1858646호(2018.05.17.: 인용발명 1) 1부.*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220137368A (ko) 2021-04-02 2022-10-12 세종대학교산학협력단 멀티레이블 학습을 이용한 멀티스펙트럴 도메인에서의 객체 인식 방법 및 장치

Also Published As

Publication number Publication date
KR20200013486A (ko) 2020-02-07

Similar Documents

Publication Publication Date Title
CN109034047B (zh) 一种车道线检测方法及装置
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
JP6670071B2 (ja) 車両用画像認識システム、及び対応法
US9607227B2 (en) Boundary detection apparatus and boundary detection method
JP2020064046A (ja) 車両位置決定方法及び車両位置決定装置
US10909395B2 (en) Object detection apparatus
US9659497B2 (en) Lane departure warning system and lane departure warning method
JP7135665B2 (ja) 車両制御システム、車両の制御方法及びコンピュータプログラム
EP2889641A1 (en) Image processing apparatus, image processing method, program and image processing system
JP6808586B2 (ja) 車両用外界認識装置
US9286512B2 (en) Method for detecting pedestrians based on far infrared ray camera at night
JP4173902B2 (ja) 車両周辺監視装置
US20170039434A1 (en) External-Environment-Recognizing Apparatus
KR102133876B1 (ko) 객체 검출 장치 및 방법
US20210064913A1 (en) Driving assistant system, electronic device, and operation method thereof
US20140002655A1 (en) Lane departure warning system and lane departure warning method
KR101748780B1 (ko) 스테레오 카메라를 이용한 도로객체 인식방법 및 장치
Limmer et al. Robust deep-learning-based road-prediction for augmented reality navigation systems at night
WO2016059643A1 (en) System and method for pedestrian detection
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
KR20180047149A (ko) 충돌 위험 경고 장치 및 방법
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
JP2022142790A (ja) マルチタスクネットワークのための評価プロセス
JP2018073275A (ja) 画像認識装置
CN111976585A (zh) 基于人工神经网络的投射信息识别装置及其方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant