KR20200128865A - Cnn 기반의 객체 검출 장치 및 그 방법 - Google Patents

Cnn 기반의 객체 검출 장치 및 그 방법 Download PDF

Info

Publication number
KR20200128865A
KR20200128865A KR1020190052921A KR20190052921A KR20200128865A KR 20200128865 A KR20200128865 A KR 20200128865A KR 1020190052921 A KR1020190052921 A KR 1020190052921A KR 20190052921 A KR20190052921 A KR 20190052921A KR 20200128865 A KR20200128865 A KR 20200128865A
Authority
KR
South Korea
Prior art keywords
object detection
cnn
view image
top view
generated
Prior art date
Application number
KR1020190052921A
Other languages
English (en)
Inventor
나영일
김경은
유재남
박성근
이용범
Original Assignee
현대자동차주식회사
순천향대학교 산학협력단
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 순천향대학교 산학협력단, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020190052921A priority Critical patent/KR20200128865A/ko
Publication of KR20200128865A publication Critical patent/KR20200128865A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G06K9/00718—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 CNN 기반의 객체 검출 장치 및 그 방법에 관한 것으로, 3D 라이다 센서를 통해 획득한 포인트 클라우드를 이용하여 탑뷰 이미지를 생성하고, 상기 생성한 탑뷰 이미지를 기반으로 의미론적 분할과정과 객체 검출과정을 상호 유기적으로 수행함으로써, 환경적 요인에 상관없이 객체를 정확도 높게 검출할 수 있는 것은 물론 상기 객체 검출과정에서 요구되는 활성화 맵(Activation Map)을 별도로 생성하지 않아도 되도록 하는 CNN 기반의 객체 검출 장치 및 그 방법을 제공하고자 한다.
이를 위하여, 본 발명은 CNN 기반의 객체 검출 장치에 있어서, 포인트 클라우드를 획득하는 3D 라이다 센서; 상기 획득한 포인트 클라우드를 이용하여 탑뷰 이미지를 생성하는 탑뷰 이미지 생성부; 및 상기 생성한 탑뷰 이미지를 기반으로 의미론적 분할과정과 객체 검출과정을 상호 유기적으로 수행하는 CNN(Convolution Neural Network)를 포함한다.

Description

CNN 기반의 객체 검출 장치 및 그 방법{APPARATUS FOR DETECTING OBJECT BASED ON CNN AND METHOD THEREOF}
본 발명은 CNN(Convolution Neural Network) 기반으로 객체를 검출하는 기술에 관한 것이다.
3D 라이다(Light Detection And Ranging, LiDAR) 센서는 환경인지 센서의 한 종류로서, 회전하면서 전방위에 레이저를 쏘아 반사되어 돌아오는 시간에 기초하여 반사체의 위치좌표 등을 포인트 클라우드라는 데이터 형식으로 측정하는 센서이다. 이러한 3D 라이다는 항공기 및 위성에 부착되어 지형 측량에 사용되며, 아울러 이동로봇 및 자율주행차량에서 장애물을 탐지하는 용도로도 사용되고 있다.
다수의 연구에서는 환경인지 센서로서 객체의 정보를 시각적으로 쉽게 확인할 수 있는 카메라로 취득한 영상 데이터를 사용하지만, 날씨 및 조도 등과 같은 환경적 변수에 대해 일관된 데이터를 얻기 힘들다는 단점이 있다. 이에 반해, 3D 라이다 센서는 환경적 변수에 강인하며 객체의 위치정보를 알 수 있고, 아울러 전방위에 대한 객체 측정이 가능하기 때문에 다양한 환경에서도 정적 및 동적 장애물을 인지할 수 있다.
심층 학습(Deep Learning)은 기계 학습(Machine Learning)의 한 종류로서, 입력과 출력 사이에 여러 층의 인공 신경망(ANN, Artificial Neural Network)이 구성되어 있으며, 이러한 인공 신경망은 구조와 해결할 문제 및 목적 등에 따라 합성곱 신경망(CNN, Convolution Neural Network) 또는 순환 신경망(RNN, Recurrent Neural Network) 등을 포함할 수 있다.
심층 학습은 분류(classification), 회기(regression), 위치 인식(localization), 검출(detection), 분할(segmentation) 등 다양한 문제를 해결하기 위해 사용된다. 특히, 자율주행시스템에서는 동적, 정적 장애물의 위치와 종류를 판별할 수 있는 의미론적 분할(Semantic Segmentation)과 객체 검출(Object Detection)이 중요하게 사용된다.
의미론적 분할은 이미지 내에서 객체를 찾기 위해 픽셀 단위의 분류 예측을 수행하여 의미가 같은 픽셀 단위로 분할하는 것을 의미하며, 이를 통해 이미지 내에 어떤 객체가 있는지 확인할 수 있을 뿐만 아니라 동일한 의미(동일 객체)를 갖는 픽셀의 위치까지 정확하게 파악할 수 있다.
객체 검출은 이미지 내 객체의 종류를 분류 및 예측하고, 경계 상자(Bounding Box)를 회귀 예측하여 객체의 위치정보를 찾는 것을 의미하며, 이를 통해 단순 분류와는 다르게 이미지에 있는 객체의 종류가 무엇인지 뿐만 아니라 그 객체의 위치정보까지 파악할 수 있다.
종래의 객체 검출 기술은 카메라로 취득한 영상에서 배경영역을 검출하고, 상기 검출된 배경영역을 제외한 나머지 영역 내에서만 객체를 검출하는 방안이 제안되었으나, 카메라로 취득한 영상을 이용하기 때문에 날씨, 조도 등 환경적 변수에 민감하다는 문제점이 있다.
다른 종래의 객체 검출 기술은 의미론적 분할과정과 객체 검출과정이 서로 독립적으로 수행되기 때문에, 상기 객체 검출과정에서 요구되는 활성화 맵을 생성하기 위한 별도의 구성을 반드시 구비해야 하므로 효율성이 떨어지는 문제점이 있다.
대한민국공개특허 제2015-0033047호
상기와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 3D 라이다 센서를 통해 획득한 포인트 클라우드를 이용하여 탑뷰 이미지를 생성하고, 상기 생성한 탑뷰 이미지를 기반으로 의미론적 분할과정과 객체 검출과정을 상호 유기적으로 수행함으로써, 환경적 요인에 상관없이 객체를 정확도 높게 검출할 수 있는 것은 물론 상기 객체 검출과정에서 요구되는 활성화 맵(Activation Map)을 별도로 생성하지 않아도 되도록 하는 CNN 기반의 객체 검출 장치 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 장치는, CNN 기반의 객체 검출 장치에 있어서, 포인트 클라우드를 획득하는 3D 라이다 센서; 상기 획득한 포인트 클라우드를 이용하여 탑뷰 이미지를 생성하는 탑뷰 이미지 생성부; 및 상기 생성한 탑뷰 이미지를 기반으로 의미론적 분할과정과 객체 검출과정을 상호 유기적으로 수행하는 CNN(Convolution Neural Network)를 포함한다.
여기서, 상기 포인트 클라우드는 복수의 포인트를 포함하며, 각 포인트는 객체의 표면에 대한 3차원 위치 좌표 값과 반사도 값을 포함한다.
또한, 상기 탑뷰 이미지 생성부는 3채널로 구성된 탑뷰 이미지를 생성할 수 있다. 이때, 상기 3채널은 기준범위로 정규화된 거리값으로 구성된 제1 채널, 기준범위로 정규화된 반사도 값으로 구성된 제2 채널, 기준범위로 정규화된 높이 값으로 구성된 제3 채널을 포함할 수 있다.
또한, 상기 CNN은 상기 탑뷰 이미지 생성부에 의해 생성된 탑뷰 이미지를 기반으로 활성화 맵(Activation Map)을 생성하는 의미론적 분할부; 및 상기 탑뷰 이미지 생성부에 의해 생성된 탑뷰 이미지와 상기 의미론적 분할부에 의해 생성된 활성화 맵에 기초하여 객체를 검출하는 객체 검출부를 포함할 수 있다.
또한, 상기 객체 검출부는 복수의 1×1 컨벌루션 필터를 이용하여 경계 상자(Bounding Box)를 회귀 예측할 수 있다. 이때, 상기 객체 검출부는 상기 경계 상자의 x좌표 값에 대한 필터링을 수행하는 1×1 컨벌루션 필터; 상기 경계 상자의 y좌표 값에 대한 필터링을 수행하는 1×1 컨벌루션 필터; 상기 경계 상자의 폭 값에 대한 필터링을 수행하는 1×1 컨벌루션 필터; 및 상기 경계 상자의 높이 값에 대한 필터링을 수행하는 1×1 컨벌루션 필터를 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 방법은, CNN 기반의 객체 검출 방법에 있어서, 포인트 클라우드를 획득하는 단계; 상기 획득한 포인트 클라우드를 이용하여 탑뷰 이미지를 생성하는 단계; 및 상기 생성한 탑뷰 이미지를 기반으로 의미론적 분할과정과 객체 검출과정을 상호 유기적으로 수행하는 단계를 포함한다.
여기서, 상기 포인트 클라우드는 복수의 포인트를 포함하며, 각 포인트는 객체의 표면에 대한 3차원 위치 좌표 값과 반사도 값을 포함할 수 있다.
또한, 상기 탑뷰 이미지를 생성하는 단계는, 3채널로 구성된 탑뷰 이미지를 생성할 수 있다. 이때, 상기 3채널은 기준범위로 정규화된 거리값으로 구성된 제1 채널, 기준범위로 정규화된 반사도 값으로 구성된 제2 채널, 기준범위로 정규화된 높이 값으로 구성된 제3 채널을 포함할 수 있다.
또한, 상기 의미론적 분할과정과 객체 검출과정을 상호 유기적으로 수행하는 단계는, 상기 생성된 탑뷰 이미지를 기반으로 활성화 맵(Activation Map)을 생성하는 단계; 및 상기 생성된 탑뷰 이미지와 상기 생성된 활성화 맵에 기초하여 객체를 검출하는 단계를 포함할 수 있다.
또한, 상기 객체를 검출하는 단계는 복수의 1×1 컨벌루션 필터를 이용하여 경계 상자(Bounding Box)를 회귀 예측할 수 있다. 이때, 상기 객체를 검출하는 단계는, 제1 1×1 컨벌루션 필터를 통해 상기 경계 상자의 x좌표 값에 대한 필터링을 수행하는 단계; 제2 1×1 컨벌루션 필터를 통해 상기 경계 상자의 y좌표 값에 대한 필터링을 수행하는 단계; 제3 1×1 컨벌루션 필터를 통해 상기 경계 상자의 폭 값에 대한 필터링을 수행하는 단계; 및 제4 1×1 컨벌루션 필터를 통해 상기 경계 상자의 높이 값에 대한 필터링을 수행하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 CNN 기반의 객체 검출 장치 및 그 방법은, 3D 라이다 센서를 통해 획득한 포인트 클라우드를 이용하여 탑뷰 이미지를 생성하고, 상기 생성한 탑뷰 이미지를 기반으로 의미론적 분할과정과 객체 검출과정을 상호 유기적으로 수행함으로써, 환경적 요인에 상관없이 객체를 정확도 높게 검출할 수 있는 것은 물론 상기 객체 검출과정에서 요구되는 활성화 맵(Activation Map)을 별도로 생성하지 않아도 되도록 하는 효과가 있다.
도 1 은 본 발명의 일 실시예에 따른 CNN 기반의 객체 검출 장치에 대한 구성도,
도 2 는 본 발명의 일 실시예에 따른 CNN 기반의 객체 검출 장치에 구비된 3D 라이다 센서가 획득한 포인트 클라우드에 대한 일예시도,
도 3 은 본 발명의 일 실시예에 따른 CNN 기반의 객체 검출 장치에 구비된 탑뷰 이미지 생성부가 탑뷰 이미지를 생성하는 과정을 나타내는 도면,
도 4 는 본 발명의 일 실시예에 따른 CNN 기반의 객체 검출 장치에 구비된 탑뷰 이미지 생성부가 생성한 탑뷰 이미지에 대한 도면,
도 5 는 본 발명의 일 실시예에 따른 CNN 기반의 객체 검출 장치에 구비된 의미론적 분할부가 생성한 활성화 맵에 대한 도면,
도 6 은 본 발명의 일 실시예에 따른 CNN 기반의 객체 검출 장치에 구비된 객체 검출부가 검출한 객체를 나타내는 도면,
도 7 은 본 발명의 일 실시예에 따른 CNN 기반의 객체 검출 장치에 구비된 CNN의 상세 구성도,
도 8 은 본 발명의 일 실시예에 따른 CNN 기반의 객체 검출 방법에 대한 흐름도,
도 9 는 본 발명의 일 실시예에 따른 CNN 기반의 객체 검출 방법을 실행하기 위한 컴퓨팅 시스템을 보여주는 블록도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1 은 본 발명의 일 실시예에 따른 CNN 기반의 객체 검출 장치에 대한 구성도이다.
도 1 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 CNN 기반의 객체 검출 장치는, 3D 라이다 센서(10), 탑뷰 이미지 생성부(20), CNN(Convolution Neural Network, 30), 및 출력부(40)를 포함할 수 있다. 이때, 본 발명의 일 실시예에 따른 CNN 기반의 객체 검출 장치를 실시하는 방식에 따라 각 구성요소는 서로 결합되어 하나로 구현될 수도 있고, 일부의 구성요소가 생략될 수도 있다.
특히, 본 발명의 일 실시예에 따른 CNN 기반의 객체 검출 장치는 상기 각 구성요소들이 제 기능을 정상적으로 수행할 수 있도록 전반적인 제어를 수행하는 제어부(미도시)를 포함할 수 있는데, 이러한 제어부는 하드웨어의 형태로 구현되거나, 또는 소프트웨어의 형태로 구현될 수 있고, 물론 하드웨어 및 소프트웨어가 결합된 형태로도 구현될 수 있다. 바람직하게는, 제어부는 마이크로프로세서로 구현될 수 있으나 이에 한정되는 것은 아니다.
제어부는 3D 라이다 센서(10)를 통해 획득한 포인트 클라우드를 이용하여 탑뷰 이미지를 생성하도록 탑뷰 이미지 생성부(20)를 제어하고, 상기 탑뷰 이미지 생성부(20)에 의해 생성된 탑뷰 이미지를 입력으로 하여 의미론적 분할과정과 객체 검출과정을 상호 유기적으로 수행하도록 CNN(30)을 제어할 수 있다.
제어부는 3D 라이다 센서(10)를 통해 획득한 포인트 클라우드를 이용하여 탑뷰 이미지를 생성하도록 탑뷰 이미지 생성부(20)를 제어하고, 상기 탑뷰 이미지 생성부(20)에 의해 생성된 탑뷰 이미지를 입력으로 하여 학습과정을 수행하도록 CNN(30)을 제어할 수 있다.
상기 각 구성요소들에 대해 살펴보면, 먼저 3D 라이다 센서(10)는 회전하면서 전방위에 레이저를 쏘아 반사되어 돌아오는 시간에 기초하여 반사체의 위치좌표 등을 포인트 클라우드라는 데이터 형식으로 측정한다. 이렇게 획득한 포인트 클라우드는 일례로 도 2에 도시된 바와 같다.
도 2 는 본 발명의 일 실시예에 따른 CNN 기반의 객체 검출 장치에 구비된 3D 라이다 센서가 획득한 포인트 클라우드에 대한 일예시도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 CNN 기반의 객체 검출 장치가 획득한 포인트 클라우드는, 복수의 포인트를 포함하며, 각 포인트는 대상(객체)의 표면에 대한 위치 좌표 값과 반사도(r) 정보를 포함하고 있다. 이때, 측정 대상의 좌표는 3차원 라이다 좌표계의 x 좌표와 y 좌표, 그리고 z 좌표로 구성되어 있으며, 반사도(r)는 반사체의 재질, 색상, 거리, 특성 등에 따른 빛(레이저)의 반사강도에 따라 달라질 수 있다.
다음으로, 탑뷰 이미지 생성부(20)는 3D 라이다 센서(10)를 통해 획득한 포인트 클라우드를 이용하여 탑뷰 이미지를 생성한다.
이하, 도 3을 참조하여 탑뷰 이미지 생성부(20)가 탑뷰 이미지를 생성하는 과정에 대해 살펴보기로 한다.
도 3 은 본 발명의 일 실시예에 따른 CNN 기반의 객체 검출 장치에 구비된 탑뷰 이미지 생성부가 탑뷰 이미지를 생성하는 과정을 나타내는 도면이다.
일반적으로 3채널 이미지 픽셀의 각 채널은 적(Red), 녹(Green), 청(Blue)의 색상 정보로 구성되어 있다. 탑뷰 이미지 생성부(20)에 의해 생성된 탑뷰 이미지 역시 3채널이지만, 상기 3채널 이미지와는 다르다.
CNN(30)에 입력하기 위한 입력 데이터를 전처리하는 단계로서, 탑뷰 이미지를 만들기 위해 각 채널을 [0, 255]의 범위로 각각 정규화된 거리 값, 반사도 값, 높이 값으로 구성한다. 즉, 탑뷰 이미지 픽셀의 제1 채널(310)은 [0, 255]의 범위로 정규화된 거리 값(Distance Value)으로 구성되고, 제2 채널(320)은 [0, 255]의 범위로 정규화된 반사도 값(r)으로 구성되며, 제3 채널(330)은 [0, 255]의 범위로 정규화된 높이 값(z)으로 구성된다.
탑뷰 이미지의 크기는 포인트 클라우드의 x 범위 및 y 범위와 관련이 있다. 3D 라이다 센서(10)는 거리가 멀어질수록 분해능이 저하되기 때문에 포인트 클라우드를 이용하는 영역을 제안하여 사용한다. 탑뷰 이미지를 생성하기 위해 3D 라이다 좌표계의 x축을 6m ~ 46m로 제한하고, y축을 -10 ~ 10m로 제한하고, z축을 -2.5 ~ 2.5m로 제한한다. 즉, 3D 라이다 좌표계의 x축 기준 40m의 범위와 y축 기준 20m의 범위 및 z축 기준 5m 범위 내에 해당하는 포인트 클라우드를 이용하여 탑뷰 이미지를 생성한다. 탑뷰 이미지의 한 픽셀은 0.5m 간격을 의미하며, 탑뷰 이미지는 200(가로)×400(세로)×3(채널)의 구조를 갖는다. 이렇게 생성된 탑뷰 이미지는 일례로 도 4에 도시된 바와 같다.
본 발명의 일 실시예에서 탑뷰 이미지 생성부(20)는 상기와 같은 포인트 클라우드 정보와 범위, 이미지의 크기 및 채널 수 등을 사용하였지만, 목적에 따라 다양한 조합으로 탑뷰 이미지를 생성할 수 있다.
다음으로, CNN(30)은 의미론적 분할부(31)와 객체 검출부(32)를 포함하며, 이를 통해 학습을 수행하고, 학습 결과로서 모델 파라미터를 생성한다. 참고로, CNN(30)가 학습을 통해 모델 파라미터를 생성하는 과정은 일반적으로 널리 알려진 기술로서 본 발명의 요지가 아니므로 구체적인 설명은 생략하기로 한다. 아울러, 의미론적 분할과정과 객체 검출과정 자체도 주지 관용의 기술이므로 마찬가지 이유로 구체적인 설명은 생략한다.
여기서, 의미론적 분할부(31)는 탑뷰 이미지 생성부(20)에 의해 생성된 탑뷰 이미지를 기반으로 활성화 맵(Activation Map)을 생성한다. 일례로, 활성화 맵을 시각적으로 표시한 이미지는 도 5에 도시된 바와 같다. 이렇게 생성된 활성화 맵은 자율주행차량에서 주행가능 영역을 탐지하는데 사용될 수도 있다.
객체 검출부(32)는 탑뷰 이미지 생성부(20)에 의해 생성된 탑뷰 이미지와 의미론적 분할부(31)에 의해 생성된 활성화 맵에 기초하여 객체를 검출한다. 이때, 활성화 맵은 경계 상자 회귀를 통해 탐색하고자 하는 목표 객체가 탑뷰 이미지 내 어디에 위치하는지를 알려주는 위치정보를 포함한다. 이렇게 검출된 객체는 도 6에 도시된 바와 같으며, 자율주행시스템에서 주행에 방해가 되는 장애물을 탐지하는데 이용될 수 있다.
CNN(30)은 학습 과정을 통해 생성한 모델 파라미터를 저장하는 저장부(미도시)를 더 포함할 수도 있다.
이러한 저장부는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 기록 매체(storage medium)를 포함할 수 있다.
도 7 은 본 발명의 일 실시예에 따른 CNN 기반의 객체 검출 장치에 구비된 CNN의 상세 구성도이다.
도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 CNN 기반의 객체 검출 장치에 구비된 CNN(30)은 의미론적 분할부(31)와 객체 검출부(32)를 포함할 수 있다.
의미론적 분할부(31)는 탑뷰 이미지 생성부(20)에 의해 생성된 탑뷰 이미지를 압축하는 인코더(311)와, 상기 인코더(311)에 의해 인코딩된 이미지에서 특징을 추출하는 콘텍스트 모듈(312), 및 이미지의 크기를 다시 복원하는 과정에서 픽셀 단위의 분류를 수행하여 객체를 나타내는 활성화 맵(314)을 생성하는 디코더(313)를 포함한다. 이때, 활성화 맵은 이미지 마스크로서 각 객체에 대한 영역정보(픽셀정보)를 포함할 수 있다.
이렇게 생성된 활성화 맵(314)은 객체 검출부(32)에서 찾으려고 하는 임의의 객체가 이미지 내에서 어디에 있는지에 대한 위치정보를 제공하는 용도로 사용된다. 참고로, 의미론적 분할부(31)가 활성화 맵을 생성하는 과정은 일반적으로 널리 알려진 기술이다.
객체 검출부(32)는 탑뷰 이미지 생성부(20)에 의해 생성된 탑뷰 이미지와 활성화 맵(314)을 채널 방향으로 연결하고(320), 컨벌루션 필터를 이용하여 특징들을 추출한다(330). 이후, 상기 추출된 특징들을 복수의 1×1 컨벌루션 필터(341 내지 344)가 구비된 필터부(340)에 입력하여 경계 상자 정보에 대한 회귀 예측을 수행한다. 즉, 경계 상자에 대한 중심점 x, y 좌표와 폭(width) 및 높이(Height) 등 경계 상자 정보(324)에 대한 회귀 예측을 수행한다.
여기서, 각 1×1 컨벌루션 필터(341 내지 344)는 서로 다른 기준으로 필터링을 수행하며, 필터링 결과로서 복수의 값을 출력하기 때문에 글로벌 애버리지 풀링(Global Average Pooling) 기법이 적용되어 복수의 값에 대한 평균이 출력된다. 각 1×1 컨벌루션 필터(341 내지 344)는 전연결계층(Fully Connected Layer)과 동일한 역할을 수행하면서도 파라미터의 수를 크게 줄여 신경망의 연산량을 줄일 수 있다.
예를 들어, 객체 검출부(32)는 1×1 컨벌루션 필터(341)를 통해 센터 x에 대한 복수의 값을 출력하고, 글로벌 애버리지 풀링 기법을 적용하여 하나의 센터 x 값을 출력한다. 객체 검출부(32)는 1×1 컨벌루션 필터(342)를 통해 센터 y에 대한 복수의 값을 출력하고, 글로벌 애버리지 풀링 기법을 적용하여 하나의 센터 y 값을 출력한다. 객체 검출부(32)는 1×1 컨벌루션 필터(343)를 통해 폭에 대한 복수의 값을 출력하고, 글로벌 애버리지 풀링 기법을 적용하여 하나의 폭 값을 출력한다. 객체 검출부(32)는 1×1 컨벌루션 필터(344)를 통해 높이에 대한 복수의 값을 출력하고, 글로벌 애버리지 풀링 기법을 적용하여 하나의 높이 값을 출력한다.
다음으로, 출력부(40)는 객체 검출부(32)에 의해 검출된 객체를 출력한다. 이러한 출력부(40)는 디스플레이로 구현되어 객체 검출부(32)에 의해 검출된 객체를 디스플레이할 수도 있고, 전송기로 구현되어 차량 네트워크를 통해 자율주행시스템으로 전송할 수도 있다.
도 8 은 본 발명의 일 실시예에 따른 CNN 기반의 객체 검출 방법에 대한 흐름도이다.
먼저, 3D 라이다 센서(10)가 포인트 클라우드를 획득한다(801). 이러한 3D 라이다 센서(10)는 차량에 탑재되어 차량 주변의 객체를 검출하는데 이용될 수 있다.
이후, 탑뷰 이미지 생성부(20)는 3D 라이다 센서(10)에 의해 획득된 포인트 클라우드를 이용하여 탑뷰 이미지를 생성한다(802).
이후, CNN(30)은 탑뷰 이미지 생성부(20)에 의해 생성된 탑뷰 이미지를 기반으로 의미론적 분할과정과 객체 검출과정을 상호 유기적으로 수행한다(803). 즉, CNN(30)은 의미론적 분할과정에서 생성된 활성화 맵(Activation Map)을 객체 검출과정에 이용한다.
도 9 는 본 발명의 일 실시예에 따른 CNN 기반의 객체 검출 방법을 실행하기 위한 컴퓨팅 시스템을 보여주는 블록도이다.
도 9를 참조하면, 상술한 본 발명의 일 실시예에 따른 CNN 기반의 객체 검출 방법은 컴퓨팅 시스템을 통해서도 구현될 수 있다. 컴퓨팅 시스템(1000)은 시스템 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, SSD(Solid State Drive), 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 3D 라이다 센서
20: 탑뷰 이미지 생성부
30: CNN
31: 의미론적 분할부
32: 객체 검출부
40: 출력부

Claims (14)

  1. 포인트 클라우드를 획득하는 3D 라이다 센서;
    상기 획득한 포인트 클라우드를 이용하여 탑뷰 이미지를 생성하는 탑뷰 이미지 생성부; 및
    상기 생성한 탑뷰 이미지를 기반으로 의미론적 분할과정과 객체 검출과정을 상호 유기적으로 수행하는 CNN(Convolution Neural Network)
    을 포함하는 CNN 기반의 객체 검출 장치.
  2. 제 1 항에 있어서,
    상기 포인트 클라우드는,
    복수의 포인트를 포함하며, 각 포인트는 객체의 표면에 대한 3차원 위치 좌표 값과 반사도 값을 포함하는 것을 특징으로 하는 CNN 기반의 객체 검출 장치.
  3. 제 2 항에 있어서,
    상기 탑뷰 이미지 생성부는,
    3채널로 구성된 탑뷰 이미지를 생성하는 것을 특징으로 하는 CNN 기반의 객체 검출 장치.
  4. 제 3 항에 있어서,
    상기 3채널은,
    기준범위로 정규화된 거리값으로 구성된 제1 채널, 기준범위로 정규화된 반사도 값으로 구성된 제2 채널, 기준범위로 정규화된 높이 값으로 구성된 제3 채널을 포함하는 것을 특징으로 하는 CNN 기반의 객체 검출 장치.
  5. 제 1 항에 있어서,
    상기 CNN은,
    상기 탑뷰 이미지 생성부에 의해 생성된 탑뷰 이미지를 기반으로 활성화 맵(Activation Map)을 생성하는 의미론적 분할부; 및
    상기 탑뷰 이미지 생성부에 의해 생성된 탑뷰 이미지와 상기 의미론적 분할부에 의해 생성된 활성화 맵에 기초하여 객체를 검출하는 객체 검출부
    를 포함하는 CNN 기반의 객체 검출 장치.
  6. 제 5 항에 있어서,
    상기 객체 검출부는,
    복수의 1×1 컨벌루션 필터를 이용하여 경계 상자(Bounding Box)를 회귀 예측하는 것을 특징으로 하는 CNN 기반의 객체 검출 장치.
  7. 제 6 항에 있어서,
    상기 객체 검출부는,
    상기 경계 상자의 x좌표 값에 대한 필터링을 수행하는 1×1 컨벌루션 필터;
    상기 경계 상자의 y좌표 값에 대한 필터링을 수행하는 1×1 컨벌루션 필터;
    상기 경계 상자의 폭 값에 대한 필터링을 수행하는 1×1 컨벌루션 필터; 및
    상기 경계 상자의 높이 값에 대한 필터링을 수행하는 1×1 컨벌루션 필터
    를 포함하는 CNN 기반의 객체 검출 장치.
  8. 포인트 클라우드를 획득하는 단계;
    상기 획득한 포인트 클라우드를 이용하여 탑뷰 이미지를 생성하는 단계; 및
    상기 생성한 탑뷰 이미지를 기반으로 의미론적 분할과정과 객체 검출과정을 상호 유기적으로 수행하는 단계
    를 포함하는 CNN 기반의 객체 검출 방법.
  9. 제 8 항에 있어서,
    상기 포인트 클라우드는,
    복수의 포인트를 포함하며, 각 포인트는 객체의 표면에 대한 3차원 위치 좌표 값과 반사도 값을 포함하는 것을 특징으로 하는 CNN 기반의 객체 검출 방법.
  10. 제 9 항에 있어서,
    상기 탑뷰 이미지를 생성하는 단계는,
    3채널로 구성된 탑뷰 이미지를 생성하는 것을 특징으로 하는 CNN 기반의 객체 검출 방법.
  11. 제 10 항에 있어서,
    상기 3채널은,
    기준범위로 정규화된 거리값으로 구성된 제1 채널, 기준범위로 정규화된 반사도 값으로 구성된 제2 채널, 기준범위로 정규화된 높이 값으로 구성된 제3 채널을 포함하는 것을 특징으로 하는 CNN 기반의 객체 검출 방법.
  12. 제 8 항에 있어서,
    상기 의미론적 분할과정과 객체 검출과정을 상호 유기적으로 수행하는 단계는,
    상기 생성된 탑뷰 이미지를 기반으로 활성화 맵(Activation Map)을 생성하는 단계; 및
    상기 생성된 탑뷰 이미지와 상기 생성된 활성화 맵에 기초하여 객체를 검출하는 단계
    를 포함하는 CNN 기반의 객체 검출 방법.
  13. 제 12 항에 있어서,
    상기 객체를 검출하는 단계는,
    복수의 1×1 컨벌루션 필터를 이용하여 경계 상자(Bounding Box)를 회귀 예측하는 것을 특징으로 하는 CNN 기반의 객체 검출 방법.
  14. 제 13 항에 있어서,
    상기 객체를 검출하는 단계는,
    제1 1×1 컨벌루션 필터를 통해 상기 경계 상자의 x좌표 값에 대한 필터링을 수행하는 단계;
    제2 1×1 컨벌루션 필터를 통해 상기 경계 상자의 y좌표 값에 대한 필터링을 수행하는 단계;
    제3 1×1 컨벌루션 필터를 통해 상기 경계 상자의 폭 값에 대한 필터링을 수행하는 단계; 및
    제4 1×1 컨벌루션 필터를 통해 상기 경계 상자의 높이 값에 대한 필터링을 수행하는 단계
    를 포함하는 CNN 기반의 객체 검출 방법.
KR1020190052921A 2019-05-07 2019-05-07 Cnn 기반의 객체 검출 장치 및 그 방법 KR20200128865A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190052921A KR20200128865A (ko) 2019-05-07 2019-05-07 Cnn 기반의 객체 검출 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190052921A KR20200128865A (ko) 2019-05-07 2019-05-07 Cnn 기반의 객체 검출 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20200128865A true KR20200128865A (ko) 2020-11-17

Family

ID=73642464

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190052921A KR20200128865A (ko) 2019-05-07 2019-05-07 Cnn 기반의 객체 검출 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20200128865A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220078029A (ko) * 2020-12-03 2022-06-10 충북대학교 산학협력단 3d 라이다를 이용한 비정형 객체 검출 시스템 및 그 방법
KR20230075125A (ko) 2021-11-22 2023-05-31 광운대학교 산학협력단 상황 정보 기반의 객체 검출 정확도 보정 방법 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150033047A (ko) 2013-09-23 2015-04-01 에스케이텔레콤 주식회사 객체를 검출하기 위한 전처리 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150033047A (ko) 2013-09-23 2015-04-01 에스케이텔레콤 주식회사 객체를 검출하기 위한 전처리 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220078029A (ko) * 2020-12-03 2022-06-10 충북대학교 산학협력단 3d 라이다를 이용한 비정형 객체 검출 시스템 및 그 방법
KR20230075125A (ko) 2021-11-22 2023-05-31 광운대학교 산학협력단 상황 정보 기반의 객체 검출 정확도 보정 방법 및 시스템

Similar Documents

Publication Publication Date Title
US11204417B2 (en) Selective attention mechanism for improved perception sensor performance in vehicular applications
CN112287860B (zh) 物体识别模型的训练方法及装置、物体识别方法及系统
US11275673B1 (en) Simulated LiDAR data
CN116129376A (zh) 一种道路边缘检测方法和装置
US20200082182A1 (en) Training data generating method for image processing, image processing method, and devices thereof
US11568654B2 (en) Object recognition method and object recognition device performing the same
CN113761999B (zh) 一种目标检测方法、装置、电子设备和存储介质
KR102316960B1 (ko) 무인 항공기 영상 내 실시간 객체 검출 방법 및 장치
Benedek et al. Positioning and perception in LIDAR point clouds
CN107609510B (zh) 一种岸桥下集卡定位方法及设备
US20230260132A1 (en) Detection method for detecting static objects
KR20220110034A (ko) 대상체의 기하학적 특성을 반영하여 확장된 표현 범위를 가지는 인텐시티 정보를 생성하는 방법 및 그러한 방법을 수행하는 라이다 장치
KR20200128865A (ko) Cnn 기반의 객체 검출 장치 및 그 방법
KR20190062852A (ko) 보행자 검출 시스템 및 모듈, 방법, 컴퓨터프로그램
CN114119992A (zh) 基于图像与点云融合的多模态三维目标检测方法及装置
CN114118247A (zh) 一种基于多传感器融合的无锚框3d目标检测方法
KR20200065590A (ko) 정밀 도로 지도를 위한 차선 중앙점 검출 방법 및 장치
CN112990049A (zh) 用于车辆自动驾驶的aeb紧急制动方法、装置
Cai et al. 3D vehicle detection based on LiDAR and camera fusion
KR20230119334A (ko) 레이더 클러터 제거를 위한 자가 집중 기법 적용 3차원 물체 검출 기술
Katare et al. Autonomous embedded system enabled 3-D object detector:(With point cloud and camera)
Venugopala Comparative study of 3D object detection frameworks based on LiDAR data and sensor fusion techniques
Su Vanishing points in road recognition: A review
KR20200133919A (ko) 자율주행차량의 경로 보상 장치 및 그 방법
JP2021050945A (ja) 物体認識装置及び物体認識プログラム