KR20210024862A

KR20210024862A - 계층적인 피라미드를 이용하여 객체를 검출하는 객체 검출 시스템 및 이의 객체 검출 방법

Info

Publication number: KR20210024862A
Application number: KR1020190104574A
Authority: KR
Inventors: 김병수; 고상수; 하상혁
Original assignee: 삼성전자주식회사
Priority date: 2019-08-26
Filing date: 2019-08-26
Publication date: 2021-03-08
Also published as: US20210064872A1; DE102020107868A1; CN112508839A; US11308324B2

Abstract

계층적인 피라미드 구조를 이용하여 객체를 검출하는 객체 검출 시스템 및 이의 객체 검출 방법이 개시된다. 본 개시에 따른 객체 검출 시스템은 복수의 시점들에 각각 대응하는 복수의 입력 이미지들을 수신하고, 상기 복수의 입력 이미지들 각각에 대응하는 복수의 피라미드 이미지들을 생성하는 피라미드 이미지 생성기, 상기 복수의 피라미드 이미지로부터 적어도 하나의 객체를 추출함으로써 복수의 객체 데이터를 생성하는 객체 추출기 및 상기 복수의 객체 데이터를 상기 적어도 하나의 객체 별로 저장하는 버퍼를 포함할 수 있다.

Description

계층적인 피라미드를 이용하여 객체를 검출하는 객체 검출 시스템 및 이의 객체 검출 방법 {OBJECT DETECTING APPARATUS DETECTING OBJECT USING HIERARCHICAL PYRAMID AND OBJECT DETECTING METHOD OF THE SAME}

본 개시의 기술적 사상은 객체 검출 시스템에 관한 것으로서, 자세하게는 계층적으로 구성되는 피라미드를 이용해서 객체를 검출하는 객체 검출 시스템 및 객체 검출 방법에 관한 것이다.

객체 검출은 이미지 또는 비디오에 대한 관심 대상을 식별하고 검출하는 데이터 처리 방법을 의미할 수 있다. 객체 검출은 자율 주행(Automatic Driving), 주행 보조(Driving Assistance), 무인 항공기, 및 제스처 기반의 상호작용 시스템에 대한 분야들에서 중요한 역할을 담당한다.

인공지능(Artificial Intelligence) 기술의 발전과 함께, 뉴럴 네트워크에 기반으로 학습된 딥러닝 기술을 이용한 객체 검출 방법이 나타났고, 이러한 방법은 고효율성으로 인하여 널리 이용되게 되었다.

본 개시의 기술적 사상이 해결하고자 하는 과제는 입력 이미지를 이용하여 생성된 적어도 하나의 피라미드 이미지에 입력 이미지가 촬영된 시간 정보를 추가하고, 추가된 시간 정보를 이용하여 입력 이미지로부터 객체를 검출하는 객체 검출 시스템 및 이를 이용한 객체 검출 방법을 제공하는데 있다.

상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일측면에 따른 객체 검출 시스템은 복수의 시점들에 각각 대응하는 복수의 입력 이미지들을 수신하고, 상기 복수의 입력 이미지들 각각에 대응하는 복수의 피라미드 이미지들을 생성하는 피라미드 이미지 생성기, 상기 복수의 피라미드 이미지로부터 적어도 하나의 객체를 추출함으로써 복수의 객체 데이터를 생성하는 객체 추출기 및 상기 복수의 객체 데이터를 상기 적어도 하나의 객체 별로 저장하는 버퍼를 포함할 수 있다.

본 개시의 기술적 사상의 일측면에 따른 객체 검출 방법은 복수의 시점들에 대응하는 복수의 입력 이미지들을 수신하는 단계, 상기 복수의 입력 이미지들에 상기 복수의 입력 이미지가 촬영된 시간 정보를 각각 추가하는 단계, 상기 시간 정보가 추가된 상기 복수의 입력 이미지들을 이용하여 상기 복수의 입력 이미지들 각각에 대응하는 복수의 피라미드 이미지들을 생성하는 단계, 상기 복수의 피라미드 이미지들로부터 객체를 추출함으로써 상기 복수의 시점들에 각각 대응하는 복수의 객체 데이터를 생성하는 단계 및 상기 복수의 객체 데이터를 객체 별로 저장하는 단계를 포함할 수 있다.

본 개시의 기술적 사상의 일측면에 따른 적어도 하나의 객체를 검출함으로써 운송 수단(vehicle)의 주행에 활용하는 운행 보조 시스템은 복수의 시점들에 각각 대응하는 복수의 입력 이미지들을 수신하고, 상기 복수의 입력 이미지들 각각에 촬영된 시간 정보를 추가하고, 상기 복수의 입력 이미지들 각각에 대응하는 복수의 피라미드 이미지들을 생성하는 피라미드 이미지 생성기, 뉴럴 네트워크를 기반으로 하는 딥 러닝을 이용하여, 상기 복수의 피라미드 이미지로부터 적어도 하나의 객체를 추출함으로써 복수의 객체 데이터를 생성하는 객체 추출기, 상기 복수의 객체 데이터를 상기 적어도 하나의 객체 별로 저장하는 버퍼 및 상기 버퍼에 저장된 상기 적어도 하나의 피라미드 이미지를 이용하여 상기 적어도 하나의 객체를 트래킹하는 객체 트래커를 포함할 수 있다.

본 개시의 기술적 사상에 따른 객체 검출 시스템은 입력 이미지를 이용하여 생성된 적어도 하나의 피라미드 이미지에 입력 이미지가 촬영된 시간 정보를 추가하고, 적어도 하나의 피라미드 이미지에 대한 공간 정보 뿐 만 아니라 시간 정보를 함께 이용하여 입력 이미지에 포함된 객체를 검출함으로써 객체 검출이 효과적으로 수행될 수 있다.

도 1은 본 개시의 실시예에 따른 전자 시스템을 나타내는 블록도이다.
도 2는 본 개시의 예시적 실시예에 따른 전자 시스템을 나타내는 블록도이다.
도 3은 본 개시의 예시적 실시예에 따른 객체 검출 시스템을 나타내는 블록도이다.
도 4는 본 개시의 예시적 실시예에 따른 객체 검출 시스템의 동작 방법을 나타내는 순서도이다.
도 5는 본 개시의 예시적 실시예에 따른 뉴럴 네트워크를 나타내는 도면이다.
도 6은 본 개시의 예시적 실시예에 따른 객체 검출 방법을 나타내는 도면이다.
도 7은 본 개시의 예시적 실시예에 따른 객체 검출 시스템을 나타내는 블록도이다.
도 8은 본 개시의 예시적 실시예에 따른 객체 검출 시스템의 동작 방법을 나타내는 순서도이다.
도 9는 본 개시의 예시적 실시예에 따른 객체 검출 시스템을 나타내는 블록도이다.
도 10은 본 개시의 예시적 실시예에 따른 객체 데이터를 나타내는 도면이다.
도 11은 본 개시의 예시적 실시예에 따른 객체 검출 시스템을 나타내는 블록도이다.
도 12는 본 개시의 예시적 실시예에 따른 객체 검출 시스템을 나타내는 블록도이다.
도 13은 본 개시의 예시적 실시예에 따른 피라미드 이미지 생성 방법을 나타내는 도면이다.
도 14는 본 개시의 예시적 실시예에 따른 객체 검출 시스템을 나타내는 블록도이다.
도 15는 본 개시의 예시적인 실시예에 따른 어플리케이션 프로세서를 나타내는 블록도이다.
도 16은 본 개시의 예시적 실시예에 따른 주행 보조 시스템을 나타내는 블록도이다.

이하, 첨부한 도면을 참조하여 본 개시의 실시예에 대해 상세히 설명한다.

도 1은 본 개시의 실시예에 따른 전자 시스템을 나타내는 블록도이다.

도 1을 참조하면, 전자 시스템(10)은 입력 데이터를 실시간으로 분석하여 유효한 정보를 추출하고, 추출된 정보를 기초로 상황을 판단하거나 전자 시스템(10)이 탐재되는 전자 장치의 구성들을 제어할 수 있다. 일 예시에서, 전자 시스템(10)은 입력 이미지로부터 객체를 검출하고, 검출한 객체를 트래킹할 수 있다. 본 명세서에서, 객체는 사용자가 관심을 갖는 건물, 물체, 사람, 동식물 중 적어도 하나를 의미할 수 있다. 예를 들어, 전자 시스템(10)은 드론(drone), 첨단 운전자 보조 시스템(Advanced Drivers Assistance System; ADAS), 로봇 장치, 스마트 TV, 스마트 폰, 의료 장치, 모바일 장치, 영상 표시 장치, 계측 장치, IoT(Internet of Things) 장치 등에 적용될 수 있으며, 이외에도 다양한 종류의 전자 장치 중 하나에 탑재될 수 있다.

전자 시스템(10)은 적어도 하나의 IP 블록(Intellectual Property) 및 객체검출 장치(100)를 포함할 수 있다. 예를 들어, 전자 시스템(10)은 제1 IP 블록(IP1) 내지 제3 IP 블록(IP3) 및 객체 검출 시스템(100)를 포함할 수 있다.

전자 시스템(10)은 다양한 종류의 IP 블록들을 포함할 수 있다. 예를 들어, IP 블록들은 프로세싱 유닛(processing unit), 프로세싱 유닛에 포함된 복수의 코어들(cores), 각종 센서 모듈, MFC(Multi-Format Codec), 비디오 모듈(예컨대, 카메라 인터페이스, JPEG(Joint Photographic Experts Group) 프로세서, 비디오 프로세서, 또는 믹서 등), 3D 그래픽 코어, 오디오 시스템, 드라이버, 디스플레이 드라이버, 휘발성 메모리, 비휘발성 메모리(non-volatile memory), 메모리 컨트롤러(memory controller), 입출력 인터페이스 블록(input and output interface block), 또는 캐시 메모리(cache memory) 등을 포함할 수 있다. 제1 IP 블록(IP1) 내지 제3 IP 블록(IP3) 각각은 상기 다양한 종류의 IP 블록들 중 적어도 하나를 포함할 수 있다.

IP 블록들은 시스템 버스(System Bus)(12)를 기반으로 서로 연결될 수 있다. 예를 들어, 표준 버스 규격으로서, ARM(Advanced RISC Machine) 사의 AMBA(Advanced Microcontroller Bus Architecture) 프로토콜이 적용될 수 있다. AMBA 프로토콜의 버스 타입에는 AHB(Advanced High-Performance Bus), APB(Advanced Peripheral Bus), AXI(Advanced eXtensible Interface), AXI4, ACE(AXI Coherency Extensions) 등이 포함될 수 있다.

객체 검출 시스템(100)은 입력 이미지를 수신하고, 입력 이미지에 포함된 객체를 검출하고, 검출한 객체를 트래킹하거나, 입력 이미지로부터 검출한 객체를 제외시킴으로써 배경을 추출할 수 있다. 본 명세서에서 객체는 사용자가 설정한, 사용자에게 관심이 있는 물체, 사람, 동물 중 적어도 하나를 의미할 수 있고, 배경은 이미지 프레임에서 객체를 제외한 나머지를 의미할 수 있다. 일 실시예에서, 객체 검출 시스템(100)는 뉴럴 네트워크를 이용하여 입력 이미지 데이터에 포함된 객체를 추출하고, 추출한 객체를 트래킹 할 수 있다. 이에 관해서는 도 2 등에서 상세하게 후술한다. 일 실시예에서, 객체 검출 시스템(100)는 입력 이미지를 다운 샘플링함으로써 적어도 하나의 피라미드 이미지를 생성할 수 있고, 피라미드 이미지에 기초하여 객체를 추출할 수 있다. 본 명세서에서, 상술한 바와 같이 하나의 이미지 데이터를 다운 샘플링함으로써 생성한, 서로 다른 해상도(resolution)를 갖는 복수의 피라미드 이미지에 기초하여 객체를 계층적으로 추출하는 구조를 피라미드 구조라고 칭할 수 있다. 이에 관해서는 도 6 등에서 상세하게 후술한다. 또한, 설명의 편의상 본 명세서에서, 입력 이미지 또는 피라미드 이미지는 입력 이미지에 대응하는 데이터 또는 피라미드 이미지에 대응하는 데이터를 의미할 수 있다.

본 개시의 기술적 사상에 따르면, 객체 검출 시스템(100)는 적어도 하나의 피라미드 이미지를 생성할 때, 입력 이미지가 촬영된 시간에 대응하는 시간 정보를 추가시킬 수 있다. 객체 검출 시스템(100)는 객체를 검출하고 트래킹할 때, 적어도 하나의 피라미드에 따른 공간적인 정보 외에 시간 정보를 함께 이용할 수 있고, 이에 따라서, 객체 검출 시스템(100)의 검출 성능이 증가할 수 있다.

도 2는 본 개시의 예시적 실시예에 따른 전자 시스템을 나타내는 블록도이다. 상세하게는, 도 2는 도 1에 개시된 전자 시스템(10)의 일 실시예를 나타낸다. 도 2의 전자 시스템(10)에 관해 도 1과 중복되는 설명은 생략한다.

도 2를 참조하면, 전자 시스템(10)은 CPU(Central Processing Unit)(21), 뉴럴 네트워크 장치(22), RAM(Random Access Memory)(24), 스토리지(25) 및 센서 모듈(26)을 포함할 수 있다. 전자 시스템(10)은 입출력 모듈, 보안 모듈, 전력 제어 장치 등을 더 포함할 수 있으며, 또한 다양한 종류의 연산 장치를 더 포함할 수 있다. 일 실시예에 있어서, 전자 시스템(10)의 구성들(CPU(21), 뉴럴 네트워크 장치(22), RAM(24), 스토리지(25), 센서 모듈(26)) 중 일부 또는 전부는 하나의 반도체 칩에 탑재될 수 있다. 예컨대 전자 시스템(10)은 시스템 온 칩(SoC)으로서 구현될 수 있다. 전자 시스템(10)의 구성들은 시스템 버스(27)를 통해 서로 통신할 수 있다.

CPU(21)는 전자 시스템(10)의 전반적인 동작을 제어할 수 있다. CPU(21)는 하나의 프로세서 코어(Single Core)를 포함하거나, 복수의 프로세서 코어들(Multi-Core)을 포함할 수 있다. CPU(21)는 스토리지(14)에 저장된 프로그램들 및/또는 데이터를 처리 또는 실행할 수 있다. 일 실시예에 있어서, CPU(21)는 스토리지(24)에 저장된 프로그램들을 실행함으로써, 도 1에서 상술한 객체 검출 시스템(100)의 동작을 수행하거나, 객체 검출 동작을 위해 뉴럴 네트워크 장치(22)의 기능을 제어할 수 있다. 뉴럴 네트워크 장치(22)는 뉴럴 네트워크를 생성하거나, 뉴럴 네트워크를 훈련(train, 또는 학습(learn))하거나, 수신되는 입력 데이터를 기초로 연산을 수행하고, 수행 결과를 기초로 정보 신호(information signal)를 생성하거나, 뉴럴 네트워크를 재훈련(retrain)할 수 있다. 일 예시에서, 뉴럴 네트워크 장치(22)는 입력 이미지를 수신하고, 뉴럴 네트워크에 포함되는 연산들을 통해 입력 이미지에 포함된 객체를 추출함으로써 적어도 하나의 객체 데이터를 생성할 수 있다. 뉴럴 네트워크 장치(22)는 컴퓨팅 장치, 컴퓨팅 모듈 등으로 지칭될 수 있다.

뉴럴 네트워크의 모델들은 GoogleNet, AlexNet, VGG Network 등과 같은 CNN(Convolution Neural Network), R-CNN(Region with Convolution Neural Network), RPN(Region Proposal Network), RNN(Recurrent Neural Network), S-DNN(Stacking-based deep Neural Network), S-SDNN(State-Space Dynamic Neural Network), Deconvolution Network, DBN(Deep Belief Network), RBM(Restrcted Boltzman Machine), Fully Convolutional Network, LSTM(Long Short-Term Memory) Network, Classification Network 등 다양한 종류의 모델들을 포함할 수 있으나 이에 제한되지는 않는다.

뉴럴 네트워크 장치(22)는 뉴럴 네트워크의 모델들에 따른 연산을 수행하기 위한 하나 이상의 프로세서를 포함할 수 있다. 또한, 뉴럴 네트워크 장치(22)는 뉴럴 네트워크의 모델들에 대응되는 프로그램들을 저장하기 위한 별도의 메모리를 포함할 수도 있다. 뉴럴 네트워크 장치(22)는 뉴럴 네트워크 프로세서, 뉴럴 네트워크 처리 장치, 뉴럴 네트워크 집적 회로 또는 뉴럴 네트워크 처리 유닛(NPU) 등으로 달리 호칭될 수 있다.

CPU(21) 및 뉴럴 네트워크 장치(22)는 도 1에서 상술한 객체 검출 시스템(100)에 포함될 수 있다. 객체 검출 시스템(100)는 특정 IP(예를 들면, RAM(24), 센서 모듈(26))로부터 입력 이미지에 대응하는 데이터를 수신하고, 입력 이미지에 포함된 객체를 검출할 수 있다. 일 실시예에서, 객체 검출 시스템(100)에 포함되는 CPU(21)는 입력 이미지를 이용하여 피라미드 구조의 적어도 하나의 피라미드 이미지를 생성하고, 입력 이미지가 촬영된 시간에 대응하는 시간 정보를 생성한 피라미드 이미지에 포함시킬 수 있다. 또한, 객체 검출 시스템(100)에 포함되는 뉴럴 네트워크 장치(22)는 네트워크를 기반으로 학습된 딥 러닝을 통해 입력 이미지에 포함된 객체를, 피라미드 이미지의 공간 정보 및 시간 정보에 기초하여 추출하고, 추출한 객체를 트래킹할 수 있다.

RAM(24)은 프로그램들, 데이터, 또는 명령들(instructions)을 일시적으로 저장할 수 있다. 예컨대, 스토리지(25)에 저장된 프로그램들 및/또는 데이터는 CPU(21)의 제어 또는 부팅 코드에 따라 RAM(24)에 일시적으로 로딩될 수 있다. RAM(24)은 DRAM(Dynamic RAM) 또는 SRAM(Static RAM) 등의 메모리를 이용해 구현될 수 있다. 스토리지(25)는 데이터를 저장하기 위한 저장 장소로서, 예를 들어, OS(Operating System), 각종 프로그램들 및 각종 데이터를 저장할 수 있다. 스토리지(25)는 휘발성 메모리(volatile memory) 또는 비휘발성 메모리(non-volatile memory) 중 적어도 하나를 포함할 수 있다. 센서 모듈(26)은 전자 시스템(10) 주변의 정보를 수집할 수 있다. 센서 모듈(26)은 전자 시스템(10) 외부로부터 이미지 신호를 센싱 또는 수신할 수 있고, 센싱 또는 수신된 이미지 신호를 이미지 데이터, 즉 이미지 프레임으로 변환할 수 있다. 이를 위해, 센서 모듈(26)은 센싱 장치, 예컨대 촬상 장치, 이미지 센서, 라이더(LIDAR; light detection and ranging) 센서, 초음파 센서, 적외선 센서 등 다양한 종류의 센싱 장치들 중 적어도 하나를 포함하거나, 또는 상기 장치로부터 센싱 신호를 수신할 수 있다. 일 실시예에서, 센서 모듈(26)은 이미지 프레임으로 구성되는 이미지 데이터를 CPU(21) 또는 뉴럴 네트워크 장치(22)에 제공할 수 있다. 예를 들어, 센서 모듈(26)은 이미지 센서를 포함할 수 있으며, 전자 시스템(10)의 외부 환경을 촬영함으로써 비디오 스트림을 생성하고, 비디오 스트림의 연속되는 이미지 프레임들을 CPU(21) 또는 뉴럴 네트워크 장치(22)에 순차적으로 제공할 수 있다.

본 개시의 예시적 실시예에 따른 전자 시스템(10)는 적어도 하나의 피라미드 이미지를 생성할 때, 이미지 데이터가 촬영된 시간에 대응하는 시간 정보를 추가시킬 수 있고, 뉴럴 네트워크를 이용하여 객체를 검출하고 트래킹할 때, 적어도 하나의 피라미드에 따른 공간적인 정보 외에 시간 정보를 함께 이용할 수 있다. 이에 따라서, 전자 시스템(10)의 객체 검출 성능이 증가할 수 있다. 본 명세서에서 공간적인 정보 또는 공간 정보는 입력 이미지의 픽셀 데이터를 의미할 수 있다.

도 3은 본 개시의 예시적 실시예에 따른 객체 검출 시스템을 나타내는 블록도이다.

도 3을 참조하면, 객체 검출 장치(100)는 피라미드 이미지 생성기(110), 피처 추출기(120), 버퍼(130) 및 객체 트래커(140)를 포함할 수 있다. 피라미드 이미지 생성기(110)는 복수의 시점에 각각 대응하는 복수의 입력 이미지들(IMs)을 수신하고, 수신한 복수의 입력 이미지들(IMs)을 이용하여 복수의 피라미드 이미지들(PIs)을 생성할 수 있다.

피라미드 이미지 생성기(110)는 하나의 시점에 대응하는 입력 이미지를 기초로 복수의 피라미드 이미지들을 생성하고, 복수의 피라미드 이미지들 각각에 입력 이미지가 촬영된 시간 정보를 포함시킬 수 있다. 일 예시에서, 피라미드 이미지 생성기(110)는 제1 시점의 제1 입력 이미지에 대응하여, 제1 해상도를 갖는 제1 피라미드 이미지를 생성하고, 제1 피라미드 이미지를 다운 샘플링함으로써 제2 해상도를 갖는 제2 피라미드 이미지를 생성하고, 제2 피라미드 이미지를 다운 샘플링함으로써 제3 해상도를 갖는 제3 피라미드 이미지를 생성하고, 제1 피라미드 이미지, 제2 피라미드 이미지 및 제3 피라미드 이미지에 입력 이미지가 촬영된 제1 시점에 대응하는 데이터를 추가할 수 있다. 다운 샘플링을 통해 생성되는, 서로 다른 해상도를 갖는 피라미드 이미지의 개수는 객체의 개수 및/또는 종류에 따라서 적응적으로 결정될 수 있다.

피라미드 이미지 생성기(110)는 복수의 시점들에 대응하는 입력 이미지들 별로 복수의 피라미드 이미지들을 생성할 수 있다. 일 예시에서, 피라미드 이미지 생성기(110)는 제2 시점의 제2 입력 이미지에 대응하여, 제1 해상도를 갖는 제4 피라미드 이미지를 생성하고, 제4 피라미드 이미지를 다운 샘플링함으로써 제2 해상도를 갖는 제5 피라미드 이미지를 생성하고, 제5 피라미드 이미지를 다운 샘플링함으로써 제3 해상도를 갖는 제6 피라미드 이미지를 생성하고, 제4 피라미드 이미지, 제5 피라미드 이미지 및 제6 피라미드 이미지에 입력 이미지가 촬영된 제1 시점에 대응하는 데이터를 추가할 수 있다. 일 예시에서, 피라미드 이미지 생성기(110)는 입력 이미지(IMs)의 메타 영역으로부터 촬영 시점에 대한 정보를 획득하거나, 외부 장치(예를 들면, 도 2, 센서 모듈(26))로부터 촬영 시점을 획득할 수 있다.

일 실시예에서, 피라미드 이미지 생성기(110)는 생성한 복수의 피라미드 이미지들의 헤더 영역에 입력 이미지가 촬영된 시간 정보를 추가할 수 있다. 본 개시의 기술적 사상은 이에 제한되지 않고, 피라미드 이미지 생성기(110)가 복수의 피라미드 이미지들에 시간 정보를 추가하는 영역은 다양하게 결정될 수 있다.

일 실시예에서, 피라미드 이미지 생성기(110)는 복수의 피라미드 이미지들 중 적어도 일부에만 시간 정보를 추가할 수 있다. 일 예시에서, 피라미드 이미지 생성기(110)는 제1 해상도를 갖는 제1 피라미드 이미지 및 제2 해상도를 갖는 제2 피라미드 이미지에는 시간 정보를 추가하고, 제3 해상도를 갖는 제3 피라미드 이미지에는 시간 정보를 추가하지 않을 수 있다.

일 실시예에서, 피라미드 이미지 생성기(110)는 복수의 시점에 대응하는 복수의 입력 이미지들로부터 생성하는 하나의 해상도를 갖는 피라미드 이미지의 개수를 다양하게 결정할 수 있다. 일 예시에서, 피라미드 이미지 생성기(110)는 복수의 시점에 각각 대응하는 복수의 입력 이미지들로부터 제1 해상도를 갖는 제1 개수의 제1 피라미드 이미지를 생성하고, 제2 해상도를 갖는 제2 개수의 제2 피라미드 이미지를 생성할 수 있다. 즉, 제1 개수의 제1 피라미드 이미지는 제1 개수의 서로 다른 시점에 촬영된 입력 이미지로부터 생성될 수 있고, 제2 개수의 제2 피라미드 이미지는 제2 개수의 서로 다른 시점에 촬영된 입력 이미지로부터 생성될 수 있다.

피처 추출기(120)는 피라미드 이미지 생성기(110)로부터 복수의 피라미드 이미지들(PIs)을 수신하고, 복수의 피라미드 이미지들(PIs)로부터 복수의 객체 데이터들(ODs)을 추출할 수 있다. 일 실시예에서, 피처 추출기(120)는 뉴럴 네트워크를 기반으로 학습된 딥러닝을 이용하여 복수의 피라미드 이미지들(PIs)로부터 복수의 객체 데이터들(ODs)을 추출할 수 있다. 일 예시에서, 피처 추출기(120)는 도 2의 뉴럴 네트워크 장치(22)로 구현될 수 있다.

본 개시의 기술적 사상에 따르면, 피처 추출기(120)는 복수의 시점들에 대응하는 복수의 피라미드 이미지들로부터 동일한 객체에 대응하는 객체 데이터들을 추출할 수 있다. 피처 추출기(120)는 피라미드 이미지 생성기(110)로부터 하나의 해상도에 대응하는 복수의 시점들의 피라미드 이미지들을 수신하고, 복수의 피라미드 이미지들에 포함된 시간 정보를 기초로 하나의 객체를 추출함으로써 객체 데이터를 생성할 수 있다. 일 예시에서, 피처 추출기(120)는 제1 해상도를 갖는 적어도 하나의 제1 피라미드 이미지로부터 제1 객체를 추출하고, 제2 해상도를 갖는 적어도 하나의 제2 피라미드 이미지로부터 제2 객체를 추출하고, 제3 해상도를 갖는 적어도 하나의 제3 피라미드 이미지로부터 제3 객체를 추출할 수 있다. 일 실시예에서, 제1 객체 내지 제3 객체는 서로 다른 거리에 위치할 수 있고, 이는 도 6에서 보다 상세하게 설명된다. 피처 추출기(120)는 추출한 적어도 하나의 객체 데이터(ODs)를 버퍼(130)에 저장할 수 있다. 일 실시예에서, 피처 추출기(120)는 객체의 종류별로 서로 다른 버퍼 또는 하나의 버퍼의 서로 다른 영역에 적어도 하나의 객체 데이터(ODs)를 저장할 수 있다.

일 예시에서, 피처 추출기(120)는 제1 객체에 대응하는 복수의 시점들의 객체 데이터들(ODs)을 버퍼(130)의 제1 영역에 저장하고, 제2 객체에 대응하는 복수의 시점들의 객체 데이터들(ODs)을 버퍼(130)의 제2 영역에 저장하고, 제3 객체에 대응하는 복수의 시점들의 객체 데이터들(ODs)을 버퍼(130)의 제3 영역에 저장할 수 있다. 일 예시에서, 피처 추출기(120)는 컨켓(Concat) 연산에 기초하여 복수의 객체 데이터들을 버퍼(130)에 객체 별로 저장할 수 있다.

버퍼(130)는 객체 데이터들(ODs)을 저장할 수 있다. 이를 위해 버퍼(130)는 휘발성 메모리(volatile memory) 또는 비휘발성 메모리(non-volatile memory) 중 적어도 하나를 포함할 수 있다. 본 개시의 일 실시예에 따르면, 버퍼(130)는 객체 별로 서로 다른 영역에 객체 데이터들(ODs)을 저장할 수 있다. 또 다른 실시예에서, 버퍼(130)는 복수의 저장 소자들을 포함하고, 객체 데이터들(ODs)을 객체별로 서로 다른 저장 소자들에 저장할 수 있다.

객체 트래커(140)는 객체 데이터들(ODs)을 수신하고, 객체 데이터들(ODs)을 기초로 객체를 트래킹할 수 있다. 본 개시의 일 실시예에서, 객체 트래커(140)는 하나의 객체를 트래킹할 때 복수의 시점에 대응하는 객체 데이터들(ODs)을 이용할 수 있다. 일 예시에서, 객체 트래커(140)는 제1 해상도에 대응하는 복수의 객체 데이터들을 이용하여 제1 객체를 트래킹하고, 제2 해상도에 대응하는 복수의 객체 데이터들을 이용하여 제2 객체를 트래킹할 수 있다.

본 개시의 일 실시예에 따르면, 객체 트래커(140)는 하나의 객체를 추출하기 위해 복수의 시점에 대응하는 객체 데이터들(ODs)을 활용할 수 있다. 일 예시에서, 객체는 배경에 비해 시간에 따라서 데이터 변화량이 더 큰 성질을 가질 수 있고, 객체 트래커(140)는 복수의 시점에 대응하는 복수의 객체 데이터들(ODs)을 서로 비교함으로써 객체를 효율적으로 트래킹할 수 있다.

도 4는 본 개시의 예시적 실시예에 따른 객체 검출 시스템의 동작 방법을 나타내는 순서도이다.

도 3 및 도 4를 참조하면, 객체 검출 시스템(100)은 복수의 시점들에 대응하는 복수의 입력 이미지들을 수신하고(S110), 복수의 입력 이미지들에 상기 복수의 입력 이미지가 촬영된 시간 정보를 각각 추가할 수 있다(S120). 객체 검출 시스템(100)은 시간 정보가 추가된 복수의 입력 이미지들을 이용하여 복수의 입력 이미지들 각각에 대응하는 복수의 피라미드 이미지들을 생성할 수 있다. 일 실시예에서, 객체 검출 시스템(100)은 시간 정보가 추가된 입력 이미지에 대한 다운 샘플링을 반복 수행함으로써 복수의 피라미드 이미지들을 생성할 수 있다.

객체 검출 시스템(100)은 복수의 피라미드 이미지들 각각으로부터 객체를 추출함으로써 복수의 시점들에 각각 대응하는 복수의 객체 데이터를 생성할 수 있다(S140). 일 실시예에서, 객체 검출 시스템(100)은 뉴럴 네트워크를 기반으로 학습된 딥 러닝 모델을 이용하겨 복수의 피라미드 이미지들로부터 복수의 객체 데이터를 생성할 수 있다. 일 예시에서, 객체 검출 시스템(100)은 하나의 객체에 대응하는 복수의 시점 별 객체 데이터를 생성할 수 있다.

객체 검출 시스템(100)은 복수의 객체 데이터를 객체 별로 저장할 수 있다(S150). 일 실시예에서, 객체 검출 시스템(100)은 복수의 시점 별 객체 데이터를 버퍼의 서로 다른 영역에 객체 별로 저장할 수 있고, 컨켓(concat) 연산을 이용하여 버퍼에 저장할 수 있다. 객체 검출 시스템(100)은 객체 별로 저장된 복수의 객체 데이터 및 시간 정보를 이용하여 객체를 트래킹할 수 있다(S160).

도 5는 본 개시의 예시적 실시예에 따른 뉴럴 네트워크를 나타내는 도면이다. 상세하게는, 도 5는 뉴럴 네트워크 구조의 일 예로서, 컨볼루션 뉴럴 네트워크의 구조를 나타낸다. 일 예시에서, 도 5는 도 3의 피처 추출기(120)가 이용하는 뉴럴 네트워크의 일 예시를 나타낸다.

도 5를 참조하면, 뉴럴 네트워크(NN)는 복수의 레이어들(L1 내지 Ln)을 포함할 수 있다. 복수의 레이어들(L1 내지 Ln) 각각은 선형 레이어 또는 비선형 레이어일 수 있으며, 일 실시예에 있어서, 적어도 하나의 선형 레이어 및 적어도 하나의 비선형 레이어가 결합되어 하나의 레이어로 지칭될 수도 있다. 예시적으로, 선형 레이어는 컨볼루션 레이어 및 풀리 커넥티드 레이어를 포함할 수 있으며, 비선형 레이어는 풀링 및 활성 레이어를 포함할 수 있다.

예시적으로, 제1 레이어(L1)는 컨볼루션 레이어이고, 제2 레이어(L2)는 풀링 레이어이고, 제n 레이어(Ln)는 출력 레이어로서 풀리 커넥티드 레이어일 수 있다. 뉴럴 네트워크(NN)는 활성 레이어를 더 포함할 수 있으며, 다른 종류의 연산을 수행하는 레이어를 더 포함할 수 있다.

복수의 레이어들(L1 내지 Ln) 각각은 입력되는 데이터(예컨대, 이미지 프레임) 또는 이전 레이어에서 생성된 피처맵을 입력 피처맵으로서 수신하고, 입력 피처맵을 연산함으로써 출력 피처맵 또는 인식 신호(REC)를 생성할 수 있다. 이 때, 피처맵은 입력 데이터의 다양한 특징이 표현된 데이터를 의미한다. 피처맵들(FM1, FM2, FMn)은 예컨대 2차원 매트릭스 또는 3차원 매트릭스(또는 텐서(tensor)) 형태를 가질 수 있다. 피처맵들(FM1, FM2, FMn)은 너비(W)(또는 칼럼), 높이(H)(또는 로우) 및 깊이(D)를 가지며, 이는 좌표상의 x축, y축 및 z축에 각각 대응될 수 있다. 이 때, 깊이(D)는 채널 수로 지칭될 수 있다.

제1 레이어(L1)는 제1 피처맵(FM1)을 웨이트 맵(WM)과 컨볼루션함으로써 제2 피처맵(FM2)을 생성할 수 있다. 웨이트 맵(WM)은 제1 피처맵(FM1)을 필터링할 수 있으며, 필터 또는 커널로도 지칭될 수 있다. 웨이트 맵(WM)의 깊이, 즉 채널 개수는 제1 피처맵(FM1)의 깊이, 즉 채널 개수와 동일하며, 웨이트 맵(WM)과 제1 피처맵(FM1)의 동일한 채널끼리 컨볼루션 될 수 있다. 웨이트 맵(WM)이 제1 피처맵(FM1)을 슬라이딩 윈도우로 하여 횡단하는 방식으로 시프트 될 수 있다. 시프트되는 양은 "스트라이드(stride) 길이" 또는 "스트라이드"로 지칭될 수 있다. 각 시프트 동안, 웨이트 맵(WM)에 포함되는 웨이트 값들 각각이 제1 피처맵(FM1)과 중첩되는 영역에서의 모든 픽셀 데이터들과 곱해지고 더해질 수 있다. 웨이트 맵(WM)에 포함되는 웨이트 값들 각각이 제1 피처맵(FM1)과 중첩되는 영역에서의 제1 피처맵(FM1)의 데이터들을 추출 데이터라 칭할 수 있다. 제1 피처맵(FM1)과 웨이트 맵(WM)이 컨볼루션 됨에 따라, 제2 피처맵(FM2)의 하나의 채널이 생성될 수 있다. 도 3에는 하나의 웨이트 맵(WM)이 표시되었으나, 실질적으로는 복수의 웨이트 맵들이 제1 피처맵(FM1)과 컨볼루션 되어, 제2 피처맵(FM2)의 복수의 채널들이 생성될 수 있다. 다시 말해, 제2 피처맵(FM2)의 채널의 수는 웨이트 맵의 개수에 대응될 수 있다.

제2 레이어(L2)는 풀링을 통해 제2 피처맵(FM2)의 공간적 크기(spatial size)를 변경함으로써, 제3 피처맵(FM3)을 생성할 수 있다. 풀링은 샘플링 또는 다운-샘플링으로 지칭될 수 있다. 2차원의 풀링 윈도우(PW)가 풀링 윈도우(PW)의 사이즈 단위로 제2 피처맵(FM2) 상에서 시프트 되고, 풀링 윈도우(PW)와 중첩되는 영역의 픽셀 데이터들 중 최대값(또는 픽셀 데이터들의 평균값)이 선택될 수 있다. 이에 따라, 제2 피처맵(FM2)으로부터 공간적 사이즈가 변경된 제3 피처맵(FM3)이 생성될 수 있다. 제3 피처맵(FM3)의 채널과 제2 피처맵(FM2)의 채널 개수는 동일하다. 본 개시의 일 실시예에서, 풀링 윈도우(PW)는 피처맵들(FM2, FM3) 상에서 쉬프트되면서 객체를 추출하기 위한 각종 연산을 수행할 수 있다.

제n 레이어(Ln)는 제n 피처맵(FMn)의 피처들을 조합함으로써 입력 데이터의 클래스(class)(CL)를 분류할 수 있다. 또한, 제n 레이어(Ln)는 클래스에 대응되는 인식 신호(REC)를 생성할 수 있다. 일 실시예에서, 입력 데이터는 입력 이미지를 이용하여 생성한 피라미드 이미지에 대응될 수 있으며, 제n 레이어(Ln)는 이전 레이어로부터 제공되는 제n 피처맵(FMn)을 기초로 프레임 데이터가 나타내는 이미지에 포함되는 객체에 해당하는 클래스를 추출함으로써, 객체을 인식하고, 인식된 객체에 상응하는 인식 신호(REC)를 생성할 수 있다. 일 실시예에서, 피처 추출기(도 3, 120)는 인식 신호(REC)를 객체 데이터(ODs)로써 버퍼(도 3, 130)에 저장하거나, 인식 신호(REC)를 이용하여 생성한 객체 데이터(ODs)를 버퍼(도 3, 130)에 저장할 수 있다.

도 6은 본 개시의 예시적 실시예에 따른 객체 검출 방법을 나타내는 도면이다.

도 3 및 도 6을 참조하면, 피라미드 이미지 생성기(110)는 제1 시점(t1)의 입력 이미지를 기초로 제1 해상도를 갖는 제1 피라미드 이미지(PI1_1)를 생성할 수 있다. 피라미드 이미지 생성기(110)는 제1 피라미드 이미지(PI1_1)를 다운 샘플링 함으로서 제2 해상도를 갖는 제2 피라미드 이미지(PI1_2)를 생성할 수 있다. 피라미드 이미지 생성기(110)는 제2 피라미드 이미지(PI1_2)를 다운 샘플링 함으로서 제3 해상도를 갖는 제3 피라미드 이미지(PI1_3)를 생성할 수 있다. 피라미드 이미지 생성기(110)는 미리 결정된 정수 비율에 기초하여 다운 샘플링을 수행할 수 있고, 일 예시에서, 피라미드 이미지 생성기(110)는 기존 이미지의 해상도를

배 또는

배 함으로써 다운 샘플링을 수행할 수 있다.

피라미드 이미지 생성기(110)는 제2 시점(t2)의 입력 이미지를 기초로 제1 해상도를 갖는 제4 피라미드 이미지(PI2_1)를 생성할 수 있다. 피라미드 이미지 생성기(110)는 제4 피라미드 이미지(PI2_1)를 다운 샘플링 함으로서 제2 해상도를 갖는 제5 피라미드 이미지(PI2_2)를 생성할 수 있다. 피라미드 이미지 생성기(110)는 제5 피라미드 이미지(PI2_2)를 다운 샘플링 함으로서 제3 해상도를 갖는 제6 피라미드 이미지(PI2_3)를 생성할 수 있다.

본 개시의 일 실시예에 따르면, 피라미드 이미지 생성기(110)는 제1 피라미드 이미지(PI1_1) 내지 제3 피라미드 이미지(PI1_3)에는 제1 시점(t1)에 대응하는 시간 정보를 추가하고, 제4 피라미드 이미지(PI2_1) 내지 제6 피라미드 이미지(PI2_3)에는 제2 시점(t2)에 대응하는 시간 정보를 추가할 수 있다.

피처 추출기(120)는 복수의 객체들을 서로 다른 피라미드 이미지들로부터 추출할 수 있다. 일 예시로써, 피처 추출기(120)는 가장 낮은 제3 해상도를 갖는 제3 피라미드 이미지(PI1_3) 및 제6 피라미드 이미지(PI2_3)를 이용하여, 입력 이미지를 생성한 촬영 장치로부터 가장 가깝게 위치하는 제1 객체(O1)를 추출할 수 있고, 피처 추출기(120)는 그 다음으로 낮은 제2 해상도를 갖는 제2 피라미드 이미지(PI1_2) 및 제5 피라미드 이미지(PI2_2)를 이용하여, 입력 이미지를 생성한 촬영 장치로부터 그 다음으로 가깝게 위치하는 제2 객체(O2)를 추출할 수 있다. 또한, 피처 추출기(120)는 가장 높은 제1 해상도를 갖는 제1 피라미드 이미지(PI1_1) 및 제4 피라미드 이미지(PI2_1)를 이용하여, 입력 이미지를 생성한 촬영 장치로부터 그 다음으로 멀게 위치하는 제3 객체(O3)를 추출할 수 있다.

객체 트래커(140)는 피처 추출기(120)가 생성한 복수의 객체 데이터를 기초로 객체를 트래킹할 수 있다. 본 개시의 일 실시예에 따르면, 객체 트래커(140)는 하나의 객체를 트래킹하기 위해 시간 정보를 이용하여 복수의 시점에 대응하는 객체 데이터를 이용할 수 있다. 일 예시에서, 객체 트래커(140)는 제3 객체(O3)를 트래킹 하기 위해 제1 피라미드 이미지(PI1_1)로부터 생성된 객체 데이터 뿐 만 아니라 제4 피라미드 이미지(PI2_1)로부터 생성된 객체 데이터 및 제1 시점(t1)와 제2 시점(t2)의 시간 차이를 더 이용할 수 있다.

도 6에서는 세 개의 해상도를 갖는 피라미드 이미지들을 이용하여 세 개의 객체들을 추출하는 예시가 도시되어 있으나, 이는 일 예시일 뿐이고, 객체 추출에 이용하는 피라미드 이미지들의 개수는 다양하게 결정될 수 있고, 이를 이용하여 추출하는 객체의 개수도 다양하게 결정될 수 있다. 또한, 하나의 피라미드 이미지를 이용하여 두 개 이상의 객체를 추출하는 실시예에도 본 개시의 기술적 사상이 적용될 수 있음은 이해되어야 할 것이다.

도 7은 본 개시의 예시적 실시예에 따른 객체 검출 시스템을 나타내는 블록도이다. 상세하게는, 도 7은 두 개의 시점에서 촬영된 입력 이미지를 기초로 객체를 추출하는 실시예를 나타내는 블록도이다. 도 3과 중복되는 내용은 생략한다.

도 6 및 도 7을 참조하면, 객체 검출 시스템(100)는 피라미드 이미지 생성기(110), 제1 피처 추출기(121), 제2 피처 추출기(122), 버퍼(130) 및 객체 트래커(140)를 포함할 수 있다. 피라미드 이미지 생성기(110)는 제1 시점(t1)에 촬영된 제1 입력 이미지(IM1) 및 제2 시점(t2)에 촬영된 제2 입력 이미지(IM2)를 수신할 수 있다. 피라미드 이미지 생성기(110)는 데이터 매니저(111) 및 다운 샘플러(112)를 포함할 수 있다. 데이터 매니저(111)는 제1 입력 이미지(IM1)에 제1 시점(t1)에 대응하는 시간 정보를 추가함으로써 제1 피라미드 이미지(PI1_1)를 생성하고, 제2 입력 이미지(IM2)에 제2 시점(t2)에 대응하는 시간 정보를 추가함으로써 제4 피라미드 이미지(PI2_1)를 생성할 수 있다.

다운 샘플러(112)는 제1 피라미드 이미지(PI1_1)를 다운 샘플링함으로써 제2 피라미드 이미지(PI1_2) 및 제3 피라미드 이미지(PI1_3)를 생성할 수 있다. 또한, 다운 샘플러(112)는 제4 피라미드 이미지(PI2_1)를 다운 샘플링함으로써 제5 피라미드 이미지(PI2_2) 및 제6 피라미드 이미지(PI2_3)를 생성할 수 있다.

피라미드 이미지 생성기(110)는 생성한 제1 피라미드 이미지(PI1_1) 내지 제3 피라미드 이미지(PI1_3)를 제1 피처 추출기(121)에 출력하고, 제4 피라미드 이미지(PI2_1) 내지 제6 피라미드 이미지(PI2_3)를 제2 피처 추출기(122)에 출력할 수 있다. 제1 피처 추출기(121)는 제1 시점(t1)에 대응하는 제1 피라미드 이미지(PI1_1) 내지 제3 피라미드 이미지(PI1_3)를 수신하고, 수신한 제1 피라미드 이미지(PI1_1) 내지 제3 피라미드 이미지(PI1_3)로부터 객체를 각각 추출함으로써 제1 객체 데이터(OD1_1) 내지 제3 객체 데이터(OD1_3)를 생성할 수 있다. 도 6의 예시에서, 제1 피처 추출기(121)는 제1 피라미드 이미지(PI1_1)로부터 제1 객체를 추출함으로써 제1 객체 데이터(OD1_1)를 생성하고, 제2 피라미드 이미지(PI1_2)로부터 제2 객체를 추출함으로써 제2 객체 데이터(OD1_2)를 생성하고, 제3 피라미드 이미지(PI1_3)로부터 제3 객체를 추출함으로써 제3 객체 데이터(OD1_3)를 생성할 수 있다. 제2 피처 추출기(122)는 제2 시점(t2)에 대응하는 제4 피라미드 이미지(PI2_1) 내지 제6 피라미드 이미지(PI2_3)를 수신하고, 수신한 제4 피라미드 이미지(PI2_1) 내지 제6 피라미드 이미지(PI2_3)로부터 객체를 각각 추출함으로써 제4 객체 데이터(OD2_1) 내지 제6 객체 데이터(OD2_3)를 생성할 수 있다.

제1 피처 추출기(121)는 생성한 제1 객체 데이터(OD1_1)를 버퍼(130)의 제1 영역(Ar1)에 저장하고, 제2 객체 데이터(OD1_2)를 버퍼(130)의 제2 영역(Ar2)에 저장하고, 제3 객체 데이터(OD1_3)를 버퍼(130)의 제3 영역(Ar3)에 저장할 수 있다. 제2 피처 추출기(122)는 생성한 제4 객체 데이터(OD1_1)를 버퍼(130)의 제1 영역(Ar1)에 저장하고, 제2 객체 데이터(OD1_2)를 버퍼(130)의 제2 영역(Ar2)에 저장하고, 제3 객체 데이터(OD1_3)를 버퍼(130)의 제3 영역(Ar3)에 저장할 수 있다.

일 실시예에서, 제1 피처 추출기(121) 및 제2 피처 추출기(122)는 생성한 객체 데이터(OD1_1~OD2_3)를 컨켓(Concat) 연산을 이용하여 버퍼(130)에 저장할 수 있다. 또한, 도 7에서는 객체 별로 하나의 버퍼(130)의 서로 다른 영엮(Ar1~Ar3)에 객체 데이터(OD1_1~OD2_3)를 저장하는 실시예를 도시하였으나, 객체 별로 서로 다른 버퍼들에 객체 데이터(OD1_1~OD2_3)를 저장하는 실시예 역시 본 개시의 기술적 사상이 적용될 수 있음은 상술한 바와 같다.

객체 트래커(140)는 객체 별로 저장된 객체 데이터(OD1_1~OD2_3)를 이용하여 객체를 트래킹할 수 있다. 일 예시에서, 객체 트래커(140)는 버퍼(130)의 제1 영역(Ar1)에 저장된 제1 객체 데이터(OD1_1) 및 제4 객체 데이터(OD2_1)를 독출하고, 제1 객체 데이터(OD1_1) 및 제4 객체 데이터(OD2_1)를 이용하여 제1 객체를 트래킹할 수 있다. 도 7에서는 2 개의 시점에 대응하는 입력 이미지들을 기초로 객체를 추출하는 실시예를 도시하였으나, 이는 일 실시예이고, 2 개보다 많은 시점에 대응하는 입력 이미지들을 기초로 객체를 추출하는 실시예도 본 개시의 기술적 사상이 적용될 수 있음은 이해되어야 할 것이다.

도 8은 본 개시의 예시적 실시예에 따른 객체 검출 시스템의 동작 방법을 나타내는 순서도이다. 상세하게, 도 8은 해상도 별로 서로 다른 개수의 피라미드 이미지를 이용하여 객체를 검출하는 객체 검출 시스템의 동작 방법을 나타낸다.

도 3 및 도 8을 참조하면, 객체 검출 시스템(100)은 복수의 시점들에 각각 대응하는 복수의 입력 이미지들을 이용하여 제1 해상도를 갖는 제1 피라미드 이미지 세트를 생성할 수 있다(S210). 객체 검출 시스템(100)은 제1 피라미드 이미지 세트에 포함된 복수의 피라미드 이미지들 중 적어도 일부를 다운 샘플링 함으로써 제2 해상도를 갖는 제2 피라미드 이미지 세트를 생성할 수 있다(S220).

객체 검출 시스템(100)은 제1 피라미드 이미지 세트로부터 제1 객체를 추출함으로써 N(N은 자연수) 개의 시점에 각각 대응하는 N 개의 제1 객체 데이터를 생성할 수 있다(S230). 객체 검출 시스템(100)은 제2 피라미드 이미지 세트로부터 제2 객체를 추출함으로써 M(M은 N과 상이한 자연수) 개의 시점에 각각 대응하는 M 개의 제2 객체 데이터를 생성할 수 있다(S240). 객체 검출 시스템(100)은 N 개의 제1 객체 데이터를 버퍼(130)의 제1 영역에 저장하고(S250), M 개의 제2 객체 데이터를 버퍼(130)의 제2 영역에 저장할 수 있다(S260). 일 실시예에서, 제1 객체 데이터의 개수(M)은 제2 객체 데이터의 개수(N)보다 많을 수 있다. 본 개시의 일 실시예에 따르면, 객체 검출 시스템(100)은 해상도 별로 서로 다른 개수의 피라미드 이미지를 이용하여 객체를 추출함으로써 객체 데이터를 생성할 수 있다. 일 예시에서, 객체 검출 시스템(100)은 공간 정보가 부족한 제1 객체의 경우 공간 정보가 비교적 많은 제2 객체에 비해 더 많은 피라미드 이미지를 이용하여 객체 데이터를 생성할 수 있다. 공간 정보가 부족한 객체에 대해서 더 많은 피라미드 이미지를 이용하여 객체를 추출함으로써 객체 추출 성능이 향상될 수 있다.

도 9는 본 개시의 예시적 실시예에 따른 객체 검출 시스템을 나타내는 블록도이다. 상세하게는, 도 9는 해상도 별로 서로 다른 개수의 피라미드 이미지를 이용하여 객체를 검출하는 객체 검출 시스템을 나타낸다. 도 7과 중복되는 내용은 생략한다.

도 9를 참조하면, 객체 검출 시스템(100)은 피라미드 이미지 생성기(110), 제1 피처 추출기(121), 제2 피처 추출기(122), 제3 피처 추출기(123), 버퍼(130) 및 객체 트래커(140)를 포함할 수 있다. 피라미드 이미지 생성기(110)는 제1 시점(t1)에 촬영된 제1 입력 이미지(IM1), 제2 시점(t2)에 촬영된 제2 입력 이미지(IM2) 및 제3 시점(t3)에 촬영된 제3 입력 이미지(IM3)를 수신할 수 있다.

피라미드 이미지 생성기(110)는 제1 입력 이미지(IM1)에 제1 시점(t1)에 대응하는 시간 정보를 추가함으로써 제1 피라미드 이미지(PI1_1)를 생성하고, 제1 피라미드 이미지(PI1_1)를 다운 샘플링 함으로써 제2 피라미드 이미지(PI1_2)를 생성하고, 제2 피라미드 이미지(PI1_2)를 다운 샘플링 함으로써 제3 피라미드 이미지(PI1_3)를 생성할 수 있다. 피라미드 이미지 생성기(110)는 제1 피라미드 이미지(PI1_1) 내지 제3 피라미드 이미지(PI1_3)를 제1 피라미드 이미지 세트(PS1)로서 제1 피처 추출기(121)에 출력할 수 있다.

피라미드 이미지 생성기(110)는 제2 입력 이미지(IM2)에 제2 시점(t2)에 대응하는 시간 정보를 추가함으로써 제4 피라미드 이미지(PI2_1)를 생성하고, 제4 피라미드 이미지(PI2_1)를 다운 샘플링 함으로써 제5 피라미드 이미지(PI2_2)를 생성할 수 있다. 피라미드 이미지 생성기(110)는 제4 피라미드 이미지(PI2_1) 및 제5 피라미드 이미지(PI2_2)를 제2 피라미드 이미지 세트(PS2)로서 제2 피처 추출기(122)에 출력할 수 있다. 피라미드 이미지 생성기(110)는 제3 입력 이미지(IM3)에 제3 시점(t3)에 대응하는 시간 정보를 추가함으로써 제6 피라미드 이미지(PI3_1)를 생성하고, 제6 피라미드 이미지(PI3_1)를 제3 피처 추출기(123)에 출력할 수 있다.

제1 피처 추출기(121)는 제1 시점(t1)에 대응하는 제1 피라미드 이미지(PI1_1) 내지 제3 피라미드 이미지(PI1_3)를 수신하고, 수신한 제1 피라미드 이미지(PI1_1) 내지 제3 피라미드 이미지(PI1_3)로부터 객체를 각각 추출함으로써 제1 객체 데이터(OD1_1) 내지 제3 객체 데이터(OD1_3)를 생성할 수 있다. 도 9의 예시에서, 제1 피처 추출기(121)는 제1 피라미드 이미지(PI1_1)로부터 제1 객체를 추출함으로써 제1 객체 데이터(OD1_1)를 생성하고, 제2 피라미드 이미지(PI1_2)로부터 제2 객체를 추출함으로써 제2 객체 데이터(OD1_2)를 생성하고, 제3 피라미드 이미지(PI1_3)로부터 제3 객체를 추출함으로써 제3 객체 데이터(OD1_3)를 생성할 수 있다. 제1 피처 추출기(121)는 생성한 제1 객체 데이터(OD1_1)를 버퍼(130)의 제1 영역(Ar1)에 저장하고, 제2 객체 데이터(OD1_2)를 버퍼(130)의 제2 영역(Ar2)에 저장하고, 제3 객체 데이터(OD1_3)를 버퍼(130)의 제3 영역(Ar3)에 저장할 수 있다.

제2 피처 추출기(122)는 제2 시점(t2)에 대응하는 제4 피라미드 이미지(PI2_1) 및 제5 피라미드 이미지(PI2_2)를 수신하고, 수신한 제4 피라미드 이미지(PI2_1) 및 제5 피라미드 이미지(PI2_2)로부터 객체를 각각 추출함으로써 제4 객체 데이터(OD2_1) 및 제5 객체 데이터(OD2_2)를 생성할 수 있다. 제2 피처 추출기(122)는 생성한 제4 객체 데이터(OD1_1)를 버퍼(130)의 제1 영역(Ar1)에 저장하고, 제2 객체 데이터(OD1_2)를 버퍼(130)의 제2 영역(Ar2)에 저장할 수 있다.

제3 피처 추출기(123)는 제3 시점(t3)에 대응하는 제6 피라미드 이미지(PI3_1)를 수신하고, 수신한 제6 피라미드 이미지(PI3_1)로부터 제3 객체를 추출함으로써 제6 객체 데이터(OD3_1)를 생성할 수 있다. 제3 피처 추출기(123)는 생성한 제6 객체 데이터(OD3_1)를 버퍼(130)의 제1 영역(Ar1)에 저장할 수 있다.

객체 트래커(140)는 객체 별로 저장된 객체 데이터(OD1_1~OD3_1)를 이용하여 객체를 트래킹할 수 있다. 일 예시에서, 객체 트래커(140)는 버퍼(130)의 제1 영역(Ar1)에 저장된 제1 객체 데이터(OD1_1), 제4 객체 데이터(OD2_1) 및 제6 객체 데이터(OD3_1)를 이용하여 제1 객체를 트래킹할 수 있다.

본 개시의 일 실시예에 따르면, 객체 검출 시스템(100)은 객체 별로 서로 다른 개수의 피라미드 이미지를 이용하여 객체를 검출 할 수 있다. 일 예시에서, 객체 검출 시스템(100)은 3 개의 피라미드 이미지들(예를 들면, PI1_1, PI2_1, PI3_1)을 이용하여 제3 객체를 검출하고, 2 개의 피라미드 이미지들(예를 들면, PI1_2, PI2_2)을 이용하여 제2 객체를 검출하고, 1 개의 피라미드 이미지(예를 들면, PI1_3)를 이용하여 제1 객체를 검출할 수 있다. 일 실시예에서, 객체 검출 시스템(100)은 멀리 있는 객체일 수록 더 적은 개수의 피라미드 이미지들을 이용하여 검출할 수 있다.

도 10은 본 개시의 예시적 실시예에 따른 객체 데이터를 나타내는 도면이다. 상세하게는, 도 10은 객체 검출 시스템이 객체 별로 서로 다른 개수의 객체 데이터를 생성하는 실시예를 나타낸다.

도 9 및 도 10을 참조하면, 객체 검출 시스템(100)은 버퍼(130)의 제3 영역(Ar3)에 제1 객체(O1)에 대응하는 제6 객체 데이터(OD1_3)를 저장하고, 제2 영역(Ar2)에 제2 객체(O2)에 대응하는 제4 객체 데이터(OD1_2) 및 제5 객체 데이터(OD2_2)를 저장하고, 제1 영역(Ar1)에 제3 객체(O3)에 대응하는 제1 객체 데이터(OD1_1) 내지 제3 객체 데이터(OD3_1)를 저장할 수 있다.

제1 객체(O1)는 촬영 장치로부터 비교적 가까운 객체일 수 있고, 제1 객체(O1)에 대한 공간적인 정보는 상대적으로 많을 수 있다. 따라서, 객체 검출 시스템(100)은 하나의 제1 시점(t1)에 대응되는 제6 객체 데이터(OD1_3)만을 이용하여 제1 객체(O1)를 검출할 수 있다. 반면, 제3 객체(O3)는 촬영 장치로부터 비교적 먼 객체일 수 있고, 제3 객체(O3)에 대한 공간적인 정보는 상대적으로 적을 수 있다. 따라서, 객체 검출 시스템(100)은 복수의 시점들(예를 들면, 제1 시점(t1) 내지 제3 시점(t3))에 대응되는 제1 객체 데이터(OD1_1) 내지 제3 객체 데이터(OD3_1)를 이용하여 상대적으로 적은 공간적인 정보를 복수의 시점들의 객체 데이터로 보완할 수 있고, 이에 따라서 효율적인 객체 검출이 수행될 수 있다.

도 11은 본 개시의 예시적 실시예에 따른 객체 검출 시스템을 나타내는 블록도이다. 상세하게는, 도 11은 객체 트래커(140)가 객체 트래킹에 필요한 객체 데이터의 개수를 선택적으로 결정하는 실시예를 나타낸다. 도 7과 중복되는 내용은 생략한다.

도 11을 참조하면, 객체 검출 시스템(100)는 피라미드 이미지 생성기(110), 제1 피처 추출기(121), 제2 피처 추출기(122), 제3 피처 추출기(123), 버퍼(130) 및 객체 트래커(140)를 포함할 수 있다. 피라미드 이미지 생성기(110)는 제1 시점(t1)에 촬영된 제1 입력 이미지(IM1), 제2 시점(t2)에 촬영된 제2 입력 이미지(IM2) 및 제3 시점(t3)에 촬영된 제3 입력 이미지(IM3)를 수신할 수 있다.

피라미드 이미지 생성기(110)는 상술한 방법에 따라 생성한 제1 피라미드 이미지(PI1_1) 내지 제3 피라미드 이미지(PI1_3)를 제1 피라미드 이미지 세트(PS1)로서 제1 피처 추출기(121)에 출력할 수 있다. 유사한 방법으로, 피라미드 이미지 생성기(110)는 제4 피라미드 이미지(PI2_1) 내지 제6 피라미드 이미지(PI2_3)를 제2 피라미드 이미지 세트(PS2)로서 제2 피처 추출기(122)에 출력하고, 제7 피라미드 이미지(PI3_1) 내지 제9 피라미드 이미지(PI3_3)를 제3 피라미드 이미지 세트(PS3)로서 제3 피처 추출기(123)에 출력할 수 있다.

제1 피처 추출기(121)는 제1 시점(t1)에 대응하는 제1 피라미드 이미지(PI1_1) 내지 제3 피라미드 이미지(PI1_3)로부터 객체를 각각 추출함으로써 제1 객체 데이터(OD1_1) 내지 제3 객체 데이터(OD1_3)를 생성할 수 있다. 제1 피처 추출기(121)는 생성한 제1 객체 데이터(OD1_1)를 버퍼(130)의 제1 영역(Ar1)에 저장하고, 제2 객체 데이터(OD1_2)를 버퍼(130)의 제2 영역(Ar2)에 저장하고, 제3 객체 데이터(OD1_3)를 버퍼(130)의 제3 영역(Ar3)에 저장할 수 있다.

유사한 방법으로, 제2 피처 추출기(122)는 제2 시점(t2)에 대응하는 제4 피라미드 이미지(PI2_1) 내지 제6 피라미드 이미지(P21_3)로부터 객체를 각각 추출함으로써 제4 객체 데이터(OD2_1) 내지 제6 객체 데이터(OD2_3)를 생성할 수 있다. 제2 피처 추출기(122)는 제4 객체 데이터(OD2_1)를 버퍼(130)의 제1 영역(Ar1)에 저장하고, 제5 객체 데이터(OD2_2)를 버퍼(130)의 제2 영역(Ar2)에 저장하고, 제6 객체 데이터(OD2_3)를 버퍼(130)의 제3 영역(Ar3)에 저장할 수 있다.

제3 피처 추출기(123)는 제3 시점(t3)에 대응하는 제7 피라미드 이미지(PI3_1) 내지 제6 피라미드 이미지(P3_3)로부터 객체를 각각 추출함으로써 제7 객체 데이터(OD3_1) 내지 제9 객체 데이터(OD3_3)를 생성할 수 있다. 제3 피처 추출기(123)는 제7 객체 데이터(OD3_1)를 버퍼(130)의 제1 영역(Ar1)에 저장하고, 제8 객체 데이터(OD3_2)를 버퍼(130)의 제2 영역(Ar2)에 저장하고, 제9 객체 데이터(OD3_3)를 버퍼(130)의 제3 영역(Ar3)에 저장할 수 있다.

객체 트래커(140)는 객체 별로 저장된 객체 데이터(OD1_1~OD3_3) 중 적어도일부를 독출하여 객체를 트래킹할 수 있다. 본 개시의 일 실시예에 따르면, 객체 트래커(140)는 객체 별로 저장된 객체 데이터(OD1_1~OD3_3) 중 일부만을 이용하여 객체를 트래킹할 수 있다. 일 예시에서, 객체 트래커(140)는 제1 객체에 대응하는 제1 객체 데이터(OD1_1), 제4 객체 데이터(OD2_1) 및 제7 객체 데이터(OD3_1) 중 일부인 제1 객체 데이터(OD1_1) 및 제4 객체 데이터(OD2_1) 만을 이용하여 제1 객체를 트래킹할 수 있다.

도 12는 본 개시의 예시적 실시예에 따른 객체 검출 시스템을 나타내는 블록도이다. 상세하게는, 도 12는 관심 영역(Region Of Interest; ROI)에 기초하여 객체를 검출하는 객체 검출 시스템을 나타낸다. 도 3과 중복되는 내용은 생략한다.

도 12를 참조하면, 객체 검출 장치(100a)는 피라미드 이미지 생성기(110), 피처 추출기(120), 버퍼(130), 객체 트래커(140) 및 관심 영역 매니저(150)를 포함할 수 있다. 관심 영역 매니저(150)는 입력 이미지(IMs)에 기초하여 입력 이미지(IMs)에 포함된 일부의 영역을 관심 영역을 식별하며, 상기 관심 영역에 관한 데이터를 포함하는 관심 영역 정보(RI)를 출력할 수 있다. 예컨대, 객체 검출 장치(100a)가 주행 보조 시스템에 포함되는 경우, 관심 영역 매니저(150)는 입력 이미지(IMs)를 분석하여 차량이 주행하기 위해 필요한 정보를 포함하는 영역을 관심 영역으로 식별할 수 있다. 예컨대, 상기 관심 영역은, 주행중인 도로, 다른 차량, 신호등, 횡단보도 등을 포함하는 영역이 될 수 있다.

관심 영역 매니저(150)는 뎁스 생성기(151)를 포함할 수 있다. 뎁스 생성기(151)는 입력 이미지(IMs)에 포함된 객체 및 배경에 관한 뎁스 데이터를 포함하는 뎁스 맵을 생성할 수 있다. 일 예시에서, 입력 이미지(IMs)는 좌안 영상과 우안 영상을 포함할 수 있고, 뎁스 생성기(151)는 좌안 영상 및 우안 영상을 이용하여 패리티를 산출할 수 있고, 산출된 패리티에 기초하여 뎁스 맵을 획득할 수 있다. 또 다른 예시에서, 뎁스 생성기(151)는 거리 센서로부터 획득한 3차원 정보를 이용하여 입력 이미지(IMs)에 포함된 객체 및 배경에 관한 뎁스 맵을 획득할 수 있다.

관심 영역 매니저(150)는 뎁스 생성기(151)로부터 생성된 뎁스 맵을 이용하여 관심 영역 정보(RI)를 생성할 수 있다. 일 예시에서, 관심 영역 매니저(150)는 뎁스 맵을 기초로 일정 거리 이하의 영역을 관심 영역으로 설정할 수 있다.

관심 영역 매니저(150)는 생성된 관심 영역 정보(RI)를 피라미드 이미지 생성기(110)에 출력하고, 피라미드 이미지 생성기(110)는 관심 영역 정보(RI)를 기초로 피라미드 이미지들(PIs)을 생성할 수 있다. 일 실시예에서, 피라미드 이미지 생성기(110)는 관심 영역 정보(RI)를 기초로 입력 이미지(IMs) 중 관심 영역이 아닌 부분을 마스킹하고, 마스킹 되지 않은 부분만을 이용하여 피라미드 이미지들(PIs)을 생성할 수 있다.

도 13은 본 개시의 예시적 실시예에 따른 피라미드 이미지 생성 방법을 나타내는 도면이다.

도 12 및 도 13을 참조하면, 피라미드 이미지 생성기(110)는 제1 시점(t1)에 대응하는 제1 입력 이미지(IM1)를 수신하고, 제1 입력 이미지(IM1)에 제1 시점(t1)에 대응하는 시간 정보를 추가할 수 있다. 또한, 피라미드 이미지 생성기(110)는 관심 영역 정보(RI)를 기초로 관심 영역(ROI) 외의 영역을 마스킹함으로써 제1 피라미드 이미지(PI1_1)를 생성할 수 있다. 관심 영역(ROI)은 제1 객체(O1) 내지 제3 객체(O3)를 모두 포함할 수 있다.

피라미드 이미지 생성기(110)는 마스킹된 제1 피라미드 이미지(PI1_1)를 다운 샘플링함으로써 제2 피라미드 이미지(PI1_2)를 생성하고, 제2 피라미드 이미지(PI1_3)를 다운 샘플링함으로써 제3 피라미드 이미지(PI1_3)를 생성할 수 있다. 객체 검출 시스템(100)는 마스킹된 제1 피라미드 이미지(PI1_1)를 이용하여 제3 객체(O3)를 검출하고, 마스킹된 제2 피라미드 이미지(PI1_2)를 이용하여 제2 객체(O2)를 검출하고, 마스킹된 제3 피라미드 이미지(PI1_3)를 이용하여 제1 객체(O1)를 검출할 수 있다. 본 개시의 일 실시예에 따르면, 입력 이미지를 마스킹한 후 객체를 검출함으로써 관심 영역(ROI) 외의 마스킹된 영역은 검출하지 않을 수 있고, 검출 성능이 향상될 수 있다.

도 14는 본 개시의 예시적 실시예에 따른 객체 검출 시스템을 나타내는 블록도이다. 상세하게는, 도 14는 객체 데이터를 이용하여 배경을 추출하는 객체 검출 시스템을 나타낸다. 도 3과 중복되는 내용은 생략한다.

도 14를 참조하면, 객체 검출 장치(100b)는 피라미드 이미지 생성기(110), 피처 추출기(120), 버퍼(130), 객체 트래커(140) 및 배경 추출기(160)를 포함할 수 있다. 배경 추출기(160)는 버퍼로부터 객체 별로 저장된 복수의 객체 데이터(ODs)를 수신하고, 복수의 객체 데이터들을 기초로 입력 이미지(IMs)의 배경을 추출할 수 있다. 일 예시에서, 배경 추출기(160)은 객체 데이터(ODs)를 기초로 입력 이미지(IMs)로부터 적어도 하나의 객체를 제거함으로써 배경을 추출할 수 있다. 본 개시의 일 실시예에 따르면, 배경 추출기(160)는 복수의 시점들에 대응하는 객체 데이터(ODS)를 기초로 배경으로부터 객체를 제거할 수 있다.

도 15는 본 개시의 예시적인 실시예에 따른 어플리케이션 프로세서를 나타내는 블록도이다. 도 15에 도시된 어플리케이션 프로세서(1000)는 반도체 칩으로서 시스템 온 칩(SoC)으로 구현될 수 있다.

어플리케이션 프로세서(1000)는 프로세서(1010) 및 동작 메모리(1020)를 포함할 수 있다. 또한, 도 15에는 도시되지 않았으나, 어플리케이션 프로세서(1000)는 시스템 버스에 연결되는 하나 이상의 IP(Intellectual Property) 모듈들을 더 포함할 수도 있다. 동작 메모리(1020)는 어플리케이션 프로세서(1000)가 채용되는 시스템의 동작과 관련된 각종 프로그램 및 명령어 등의 소프트웨어를 저장할 수 있으며, 일 예로서 운영 체제(1021), 뉴럴 네트워크 모듈(1022) 및 객체 검출 모듈(1023)을 포함할 수 있다. 프로세서(1010)는 동작 메모리(1020)에 로딩된 객체 검출 모듈(1023)을 실행할 수 있으며, 전술한 실시예들에 따라 시간 정보에 기초하여 입력 이미지로부터 객체를 검출하는 기능이 수행될 수 있다.

한편, 하나 이상의 하드웨어들이 뉴럴 네트워크 모듈(1022)을 실행함에 의해 뉴럴 네트워크의 연산을 수행할 수 있으며, 일 예로서 전술한 실시예들에 따라 피라미드 이미지로부터 객체 데이터를 생성할 수 있다.

도 16은 본 개시의 예시적 실시예에 따른 주행 보조 시스템을 나타내는 블록도이다.

도 16을 참조하면, 주행 보조 시스템(2000)은 프로세서(2010), 센서부(2040), 통신 모듈(2050), 주행 제어 유닛(2060), 자동 항법 시스템(2070) 및 유저 인터페이스(2080)를 포함할 수 있다. 프로세서(2010)는 주행 보조 시스템(2000)의 전반적인 동작을 제어하고, 전술된 실시예들에 따라서 센서부(2040)로부터 시간 정보를 이용하여 수신된 입력 이미지로부터 객체를 검출할 수 있다.

센서부(2040)는 주행 보조 시스템(2000)이 센싱한 객체에 관한 수집할 수 있다. 일 예시에서, 센서부(2040)는 이미지 센서부일 수 있고, 적어도 하나의 이미지 센서를 포함할 수 있다. 센서부(2040)는 주행 보조 시스템(2000)의 외부로부터 이미지 신호를 센싱 또는 수신하고, 상기 이미지 신호를 이미지 데이터, 즉 이미지 프레임으로 변환할 수 있다.

또 다른 예시에서, 센서부(2040)은 거리 센서부일 수 있고, 적어도 하나의 거리 센서를 포함할 수 있다. 거리 센서는 예컨대, 라이다(Light Detection and Ranging) 센서, 레이더(radio detection and ranging) 센서, ToF(Time of Flight) 센서, 초음파 센서, 적외선 센서 등 다양한 종류의 센싱 장치 중 적어도 하나를 포함할 수 있다. 한편, 라이다 센서 및 레이더 센서는 유효 측정 거리에 따라 구분될 수 있으며, 예컨대, 라이다 센서는 롱 라이다 센서, 숏 라이다 센서로 구분될 수 있으며, 레이더 센서는 롱 레이더 센서, 숏 레이더 센서로 구분될 수 있다. 본 개시의 기술적 사상은 이에 제한되지는 않으며, 센서부(2040)은 지자기 센서(Magnetic sensor), 위치 센서(예컨대, GPS), 가속도 센서(Acceleration sensor), 기압 센서, 온/습도 센서, 근접 센서 및 자이로스코프 센서 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.

통신 모듈(2050)은 주행 보조 시스템(2000)의 데이터를 전송 및/또는 수신할 수 있다. 일 예시에서, 통신 모듈(2050)은 V2X(Vehicle to Everthing) 방식으로 통신을 수행할 수 있고, 예컨대, 통신 모듈(2050)은 V2V(Vehicle to Vehicle), V2I(Vehicle to Infra), V2P(Vehile to Pedestrian) 및 V2N(Vehicle to Nomadic Devices) 방식으로 통신을 수행할 수 있다. 그러나 본 개시의 기술적 사상은 이에 제한되지 않으며, 통신 모듈(2050)은 공지된 다양한 통신 방식에 의해 데이터를 전송 및 수신할 수 있다. 예컨대, 통신 모듈(2050)은 예를 들면, 3G, LTE, Wi-Fi, 블루투스, BLE(Bluetooth Low Energy), Zigbee, NFC(Near Field Communication), 초음파를 통한 통신 방법 등에 의해 통신을 수행할 수 있으며, 근거리 통신, 원거리 통신을 모두 포함할 수 있다.

센서부(2040)은 외부를 촬영함으로써 입력 이미지를 생성하고 프로세서(2010)로 전송할 수 있다. 프로세서(2010)는 입력 이미지 및 입력 이미지가 촬영된 시간에 기초하여 객체(예컨대, 다른 차량)를 검출하고 주행 제어 유닛(2060) 및 자율 주행 유닛(2070)을 제어할 수 있다. 프로세서(2010)가 입력 이미지에 기초하여 객체를 검출하는 것으로 예시하였으나, 또 다른 예시에서, 프로세서(2010)는 거리 센서에서 출력된 뎁스 정보에 기초하여 객체를 검출할 수도 있다.

주행 제어 유닛(2060)은 차량의 방향을 제어하도록 구성된 차량 조향 장치, 차량의 모터 또는 엔진을 제어함으로서 가속 및/또는 감속을 제어하도록 구성된 스로틀 장치(throttle device), 차량의 제동을 제어하도록 구성된 브레이크 장치, 외부 조명 장치 등을 포함할 수 있다. 자율 주행 시스템(2070)은 주행 제어 유닛(2060)의 자율 제어를 구현하도록 구성된 컴퓨팅 장치를 포함할 수 있다. 예컨대, 자율 주행 유닛(2070)은 주행 보조 시스템(2000)의 구성 요소들 중 적어도 하나를 포함할 수도 있다. 자율 주행 시스템(2070)은 복수의 프로그램 명령들을 저장하는 메모리 및 상기 프로그램 명령들을 실행하는 하나 이상의 프로세서를 포함할 수 있다. 자율 주행 시스템(2070)은 센서부(2040)로부터 출력된 센싱 신호에 기반하여 주행 제어 유닛(2060)를 제어하도록 구성될 수 있다. 유저 인터페이스(2080)는 차량의 계기판을 나타내는 디스플레이 등 운전석 또는 조수석 등에 포함된 다양한 전자 장치 및 기계 장치를 포함할 수 있다.

한편, 프로세서(2010)는 객체를 검출함에 있어서 입력 이미지, 뎁스 정보 등 다양한 센싱 데이터를 이용할 수 있다. 이 경우, 프로세서(2010)는 효율적인 연산 처리를 위하여 인공 신경망을 이용할 수 있다.

이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims

복수의 시점들에 각각 대응하는 복수의 입력 이미지들을 수신하고, 상기 복수의 입력 이미지들을 이용하여 복수의 피라미드 이미지들을 생성하는 피라미드 이미지 생성기;
상기 복수의 피라미드 이미지로부터 적어도 하나의 객체를 추출함으로써 복수의 객체 데이터를 생성하는 객체 추출기;및
상기 복수의 객체 데이터를 상기 적어도 하나의 객체 별로 저장하는 버퍼;를 포함하는 객체 검출 시스템.
제1항에 있어서,
상기 피라미드 이미지 생성기는,
제1 시점에 촬영된 제1 입력 이미지에 상기 제1 시점에 대응되는 제1 시간 정보를 추가함으로써 제1 해상도의 제1 피라미드 이미지를 생성하고, 상기 제1 피라미드 이미지를 다운 샘플링함으로써 제2 해상도의 제2 피라미드 이미지를 생성하고,
제2 시점에 촬영된 제2 입력 이미지에 상기 제2 시점에 대응되는 제2 시간 정보를 추가함으로써 상기 제1 해상도의 제3 피라미드 이미지를 생성하고, 상기 제3 피라미드 이미지를 다운 샘플링함으로써 상기 제2 해상도의 제4 피라미드 이미지를 생성하는 것을 특징으로 하는 객체 검출 시스템.
제2항에 있어서,
상기 객체 추출기는,
상기 제1 피라미드 이미지에 대해서 뉴럴 네트워크를 기반으로 학습된 딥러닝 모델을 이용하여 제1 객체를 추출함으로써 제1 객체 데이터를 생성하고, 상기 제2 피라미드 이미지에 대해서 딥러닝 모델을 이용하여 제2 객체를 추출함으로써 제2 객체 데이터를 생성하고,
상기 제3 피라미드 이미지에 대해서 딥러닝 모델을 이용하여 상기 제1 객체를 추출함으로써 제3 객체 데이터를 생성하고, 상기 제4 피라미드 이미지에 대해서 딥러닝 모델을 이용하여 상기 제2 객체를 추출함으로써 제4 객체 데이터를 생성하는 것을 특징으로 하는 객체 검출 시스템.
제3항에 있어서,
상기 객체 추출기는,
상기 제1 객체에 대응하는 상기 제1 객체 데이터 및 상기 제3 객체 데이터를 버퍼의 제1 영역에 저장하고, 상기 제2 객체에 대응하는 상기 제2 객체 데이터 및 상기 제4 객체 데이터를 상기 버퍼의 제2 영역에 저장하는 것을 특징으로 하는 객체 검출 시스템.
제4항에 있어서,
상기 제1 영역에 저장된 상기 제1 객체 데이터 및 상기 제3 객체 데이터 중 적어도 하나를 이용하여 상기 제1 객체를 트래킹 하고, 상기 제2 영역에 저장된 상기 제2 객체 데이터 및 상기 제4 객체 데이터 중 적어도 하나를 이용하여 상기 제2 객체를 트래킹 하는 객체 트래커;를 더 포함하고,
상기 객체 트래커는 상기 제1 시간 정보 및 상기 제2 시간 정보를 이용하여 상기 제1 객체 및 상기 제2 객체를 트래킹하는 것을 특징으로 하는 객체 검출 시스템.
제3항에 있어서,
상기 제1 객체는 상기 입력 이미지를 생성한 촬영 장치로부터 비교적 먼 거리에 위치하고, 상기 제2 객체는 상기 촬영 장치로부터 비교적 가까운 거리에 위치하는 것을 특징으로 하는 객체 검출 시스템.
제1항에 있어서,
상기 피라미드 이미지 생성기는,
상기 복수의 입력 이미지들을 이용하여 제1 피라미드 이미지 세트를 생성하고, 상기 제1 피라미드 이미지 세트에 포함된 적어도 하나의 피라미드 이미지를 다운 샘플링 함으로써 제2 피라미드 이미지 세트를 생성하고,
상기 객체 추출기는,
상기 제1 피라미드 이미지 세트로부터 N(N은 자연수) 개의 시점에 대응되는 N개의 제1 객체 데이터를 생성하고, 상기 제2 피라미드 이미지 세트로부터 M(M은 자연수) 개의 시점에 대응되는 M개의 제2 객체 데이터를 생성하는 것을 특징으로 하는 객체 검출 시스템.
제7항에 있어서,
상기 제1 객체 데이터의 개수(N)는 상기 제2 객체 데이터의 개수(M)보다 더 많은 것을 특징으로 하는 객체 검출 시스템.
제7항에 있어서,
상기 N개의 제1 객체 데이터 중 P(P는 N보다 작거나 같은 자연수)개의 제1 객체 데이터를 이용하여 제1 객체를 트래킹하고, 상기 M개의 제1 객체 데이터 중 Q(Q는 M보다 작거나 같은 자연수)개의 제2 객체 데이터를 이용하여 제2 객체를 트래킹하는 객체 트래커;를 더 포함하는 객체 검출 시스템.
제1항에 있어서,
상기 복수의 입력 이미지에 대한 관심 영역을 설정하는 관심 영역 매니저;를 더 포함하고,
상기 객체 추출기는,
상기 복수의 피라미드 이미지들 중 상기 관심 영역에 대응되는 제1 영역으로부터 적어도 하나의 객체를 추출하고, 상기 제1 영역 외의 나머지 영역에 대해서는 객체 추출을 스킵하는 것을 특징으로 하는 객체 검출 시스템.
복수의 시점들에 대응하는 복수의 입력 이미지들을 수신하는 단계;
상기 복수의 입력 이미지들에 상기 복수의 입력 이미지가 촬영된 시간 정보를 각각 추가하는 단계;
상기 시간 정보가 추가된 상기 복수의 입력 이미지들을 이용하여 상기 복수의 입력 이미지들 각각에 대응하는 복수의 피라미드 이미지들을 생성하는 단계;
상기 복수의 피라미드 이미지들로부터 객체를 추출함으로써 상기 복수의 시점들에 각각 대응하는 복수의 객체 데이터를 생성하는 단계;및
상기 복수의 객체 데이터를 객체 별로 저장하는 단계;를 포함하는 객체 검출 방법.
제11항에 있어서,
상기 복수의 피라미드 이미지들을 생성하는 단계는,
제1 시점에 촬영된 제1 입력 이미지에 상기 제1 시점에 대응되는 제1 시간 정보를 추가함으로써 제1 해상도의 제1 피라미드 이미지를 생성하는 단계;
상기 제1 피라미드 이미지를 다운 샘플링함으로써 제2 해상도의 제2 피라미드 이미지를 생성하는 단계;
제2 시점에 촬영된 제2 입력 이미지에 상기 제2 시점에 대응되는 제2 시간 정보를 추가함으로써 상기 제1 해상도의 제3 피라미드 이미지를 생성하는 단계;및
상기 제3 피라미드 이미지를 다운 샘플링함으로써 상기 제2 해상도의 제4 피라미드 이미지를 생성하는 단계;를 포함하는 것을 특징으로 하는 객체 검출 방법.
제12항에 있어서,
상기 복수의 객체 데이터를 생성하는 단계는,
상기 제1 피라미드 이미지에 대해서 뉴럴 네트워크를 기반으로 학습된 딥러닝 모델을 이용하여 제1 객체를 추출함으로써 제1 객체 데이터를 생성하는 단계;
상기 제2 피라미드 이미지에 대해서 딥러닝 모델을 이용하여 제2 객체를 추출함으로써 제2 객체 데이터를 생성하는 단계;
상기 제3 피라미드 이미지에 대해서 딥러닝 모델을 이용하여 상기 제1 객체를 추출함으로써 제3 객체 데이터를 생성하는 단계;및
상기 제4 피라미드 이미지에 대해서 딥러닝 모델을 이용하여 상기 제2 객체를 추출함으로써 제4 객체 데이터를 생성하는 단계;를 포함하는 것을 특징으로 하는 객체 검출 방법.
제13항에 있어서,
상기 저장하는 단계는,
상기 제1 객체에 대응하는 상기 제1 객체 데이터 및 상기 제3 객체 데이터를 버퍼의 제1 영역에 저장하는 단계;및
상기 제2 객체에 대응하는 상기 제2 객체 데이터 및 상기 제4 객체 데이터를 상기 버퍼의 제2 영역에 저장하는 단계;를 포함하는 것을 특징으로 하는 객체 검출 방법.
제14항에 있어서,
상기 제1 영역에 저장된 상기 제1 객체 데이터 및 상기 제3 객체 데이터 중 적어도 하나를 이용하여 상기 제1 객체를 트래킹 하는 단계;및
상기 제2 영역에 저장된 상기 제2 객체 데이터 및 상기 제4 객체 데이터 중 적어도 하나를 이용하여 상기 제2 객체를 트래킹 하는 단계;를 더 포함하고,
상기 제1 객체를 트래킹하는 단계는 상기 제1 시간 정보 및 상기 제2 시간 정보를 이용하여 상기 제1 객체를 트래킹하는 것을 특징으로 하는 객체 검출 방법.
제11항에 있어서,
상기 제1 객체는 상기 입력 이미지를 생성한 촬영 장치로부터 비교적 먼 거리에 위치하고, 상기 제2 객체는 상기 촬영 장치로부터 비교적 가까운 거리에 위치하는 것을 특징으로 하는 객체 검출 방법.
제11항에 있어서,
상기 피라미드 이미지를 생성하는 단계는,
상기 복수의 입력 이미지들을 이용하여 제1 피라미드 이미지 세트를 생성하는 단계;및
상기 제1 피라미드 이미지 세트에 포함된 적어도 하나의 피라미드 이미지들을 다운 샘플링 함으로써 제2 피라미드 이미지 세트를 생성하는 단계;를 포함하고,
상기 적어도 하나의 객체를 추출하는 단계는,
상기 제1 피라미드 이미지 세트로부터 N(N은 자연수) 개의 시점에 대응되는 N개의 제1 객체 데이터를 생성하는 단계;및
상기 제2 피라미드 이미지 세트로부터 M(M은 자연수) 개의 시점에 대응되는 M개의 제2 객체 데이터를 생성하는 단계;를 포함하는 것을 특징으로 하는 객체 검출 방법.
제17항에 있어서,
상기 N개의 제1 객체 데이터 중 P(P는 N보다 작거나 같은 자연수)개의 제1 객체 데이터를 이용하여 제1 객체를 트래킹하는 단계;및
상기 제 M개의 제1 객체 데이터 중 Q(Q는 M보다 작거나 같은 자연수)개의 제2 객체 데이터를 이용하여 제2 객체를 트래킹하는 단계;를 포함하는 것을 특징으로 하는 객체 검출 방법.
적어도 하나의 객체를 검출함으로써 운송 수단(vehicle)의 주행에 활용하는 운행 보조 시스템에 있어서,
복수의 시점들에 각각 대응하는 복수의 입력 이미지들을 수신하고, 상기 복수의 입력 이미지들 각각에 촬영된 시간 정보를 추가하고, 상기 복수의 입력 이미지들 각각에 대응하는 복수의 피라미드 이미지들을 생성하는 피라미드 이미지 생성기;
뉴럴 네트워크를 기반으로 하는 딥 러닝을 이용하여, 상기 복수의 피라미드 이미지로부터 적어도 하나의 객체를 추출함으로써 복수의 객체 데이터를 생성하는 객체 추출기;
상기 복수의 객체 데이터를 상기 적어도 하나의 객체 별로 저장하는 버퍼;및
상기 버퍼에 저장된 상기 적어도 하나의 피라미드 이미지를 이용하여 상기 적어도 하나의 객체를 트래킹하는 객체 트래커;를 포함하는 운행 보조 시스템.
제19항에 있어서,
상기 피라미드 이미지 생성기는,
상기 복수의 입력 이미지들을 이용하여 제1 피라미드 이미지 세트를 생성하고, 상기 제1 피라미드 이미지 세트에 포함된 적어도 하나의 제1 피라미드 이미지를 다운 샘플링 함으로써 제2 피라미드 이미지 세트를 생성하고,
상기 객체 추출기는,
상기 제1 피라미드 이미지 세트로부터 N(N은 자연수) 개의 시점에 대응되는 N개의 제1 객체 데이터를 생성하고, 상기 제2 피라미드 이미지 세트로부터 M(M은 자연수) 개의 시점에 대응되는 M개의 제2 객체 데이터를 생성하는 것을 특징으로 하는 운행 보조 시스템.