KR102489113B1

KR102489113B1 - 고해상도 객체 검출장치 및 방법

Info

Publication number: KR102489113B1
Application number: KR1020210094649A
Authority: KR
Inventors: 이병원; 마춘페이; 양승지; 최준향; 최충환
Original assignee: 에스케이텔레콤 주식회사
Priority date: 2019-10-04
Filing date: 2021-07-20
Publication date: 2023-01-13
Also published as: KR102340988B1; CN113243026A; KR20210093820A; US20210286997A1; WO2021066290A1; KR20210040551A

Abstract

고해상도 객체 검출장치 및 방법을 개시한다.
본 실시예는, 고해상도 영상에 대하여 선행 객체 검출 결과 및 객체 추적 결과를 기반으로 적응적으로 부분 영상(part images)을 생성하고, 부분 영상에 데이터 증강을 적용하여 증강 영상(augmented images)을 생성한다. 생성된 증강 영상을 이용하여 AI(Artificial Intelligence) 기반으로 객체를 검출 및 추적하고, 검출 및 추적 결과를 기반으로 재추론을 실행하는 것이 가능한 객체 검출장치 및 방법을 제공하는 데 목적이 있다.

Description

고해상도 객체 검출장치 및 방법{Method and Apparatus for Detecting Objects from High Resolution Image}

본 발명은 고해상도 객체 검출장치 및 방법에 관한 것이다.

이하에 기술되는 내용은 단순히 본 발명과 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.

보안 분야에서 드론(drone)을 이용한 영상 촬영 및 영상 분석은 물리보안(physical security) 시장의 기술 경쟁력 척도로서 중요한 기술이다. 또한 촬영된 영상의 전송, 보관 및 분석 측면에서 5G(fifth generation) 통신 기술의 활용도가 큰 기술이다. 따라서 주요 통신사들이 관심을 가지고 기술개발 경쟁 중인 분야의 하나이다.

드론에 의하여 촬영된 영상(이하 '드론 영상' 또는 '영상')에 대한 기존의 분석 기술은, 30 m 정도의 상공에서 비행하는 드론에서 촬영된 FHD(Full-High Definition, 예컨대 1K) 영상을 대상으로 한다. 기존의 영상 분석 기술은 촬영된 영상으로부터 보행자, 승용차, 버스, 트럭, 자전거, 모터사이클 등의 객체를 검출하고, 검출 결과를 이용하여 무인 정찰, 침입 탐지 및 적발 등의 서비스를 제공한다.

5G 통신 기술의 장점인 고화질, 대용량 및 저지연(low latency) 특성을 기반으로 더 높은 고도에서 더 넓은 시야(field of view)로 촬영된 고해상도(high resolution, 예컨대 2K FHD 해상도, 4K UHD(Ultra-High Definition) 해상도) 드론 영상의 이용이 가능해지고 있다. 촬영 고도의 증가 및 영상의 해상도 증대 때문에 촬영된 객체의 크기는 작아지므로, 객체 검출의 난이도가 크게 상승할 수 있다. 따라서 종래의 분석 기술 대비 차별화된 기술이 요구된다.

도 3은 AI(Artificial Intelligence) 기반의 딥러닝(deep learning) 모델을 이용하는 종래의 객체 검출 방식에 대한 예시도이다. 사전에 학습된 딥러닝 모델에 입력 영상을 입력하여 추론(inference)을 수행하고, 추론된 결과를 기반으로 영상 내 객체를 검출한다. 도 3에 제시된 방식은 상대적으로 해상도가 낮은 영상에 적용되는 것이 가능하다.

고해상도 영상에 도 3에 제시된 방식을 적용할 경우, 입력 영상의 해상도 때문에 성능 제약이 발생할 수 있다. 첫째, 전체 영상 크기 대비 검출하고자 하는 객체의 크기의 비율이 너무 작기 때문에 작은 객체의 검출 성능이 크게 저하될 수 있다. 둘째, 영상 크기에 비례하여 추론에 필요한 내부 메모리 공간이 기하급수적으로 증가하기 때문에, 하드웨어 리소스를 많이 소비하게 되어, 대용량의 메모리 및 고사양의 GPU(Graphic Processing Unit)가 요구될 수 있다.

도 4는 고해상도 영상에 대하여 딥러닝(deep learning) 모델을 이용하는 종래의 객체 검출 방식에 대한 다른 예시도이다. 도 4에 도시된 방식은 도 3에 제시된 기술의 성능 제약을 개선하기 위해 이용될 수 있다. 도 4에 제시된 방식이 이용하는 딥러닝 모델은 도 3에 제시된 방식이 이용하는 모델과 동일하거나 유사한 구조 및 성능을 보유한 것으로 가정한다.

고해상도의 전체 영상(whole image)을 동일 크기의 중첩된(overlapping) 분할 영상(partitioned image)으로 분할하고, 분할 영상을 이용하여 배치(batch) 방식으로 추론을 수행한다. 각 분할 영상에서 검출된 객체의 위치를 전체 영상에 대응(mapping)시킴으로써 고해상도 전체 영상에 존재하는 객체를 검출할 수 있다. 도 4에 제시된 방식은 점유하는 메모리 공간을 절약할 수 있다는 장점을 보이나, 여전히 매우 작은 객체에 대한 검출 성능 향상에는 근본적인 한계가 존재한다.

따라서, 기존의 딥러닝 모델 및 제한된 하드웨어 자원을 효율적으로 이용하면서도 고해상도 영상으로부터 매우 작은 객체를 검출할 수 있는 성능이 향상된 고해상도 객체 검출방법을 필요로 한다.

본 개시는, 고해상도 영상에 대하여 선행 객체 검출 결과 및 객체 추적 결과를 기반으로 적응적으로 부분 영상(part images)을 생성하고, 부분 영상에 데이터 증강을 적용하여 증강 영상(augmented images)을 생성한다. 생성된 증강 영상을 이용하여 AI(Artificial Intelligence) 기반으로 객체를 검출 및 추적하고, 검출 및 추적 결과를 기반으로 재추론을 실행하는 것이 가능한 객체 검출장치 및 방법을 제공하는 데 주된 목적이 있다.

본 발명의 실시예에 따르면, 전체 영상(whole image)을 획득하는 입력부; 선행 검출 결과를 기반으로 상기 전체 영상에서 적어도 하나의 후보 지역(candidate regions)을 선정하는 후보지역 제어부, 상기 선행 검출 결과는 상기 전체 영상에 대해 객체검출이 수행된 결과를 나타냄; 상기 전체 영상으로부터 상기 후보 지역 각각에 해당하는 부분 영상(part images)을 획득하는 부분영상 생성부; 상기 부분 영상 각각에 대하여 데이터 증강(data augmentation) 기법을 적용하여 증강 영상(augmented images)을 생성하는 데이터증강부; 상기 증강 영상으로부터 객체를 검출하여 증강 검출 결과를 생성하는 AI(Artificial Intelligence) 추론기; 및 상기 증강 검출 결과를 기반으로 상기 전체 영상에서 상기 객체의 위치를 확정하여 최종 검출 결과를 생성하고, 상기 최종 검출 결과 및 상기 선행 검출 결과를 기반으로 재추론(re-inference) 실행 여부를 결정하는 재추론제어부를 포함하는 것을 특징으로 하는 객체 검출장치를 제공한다.

본 발명의 다른 실시예에 따르면, 객체 검출장치의 객체 검출방법에 있어서, 전체 영상(whole image)을 획득하는 과정; 선행 검출 결과를 기반으로 상기 전체 영상에서 적어도 하나의 후보 지역(candidate regions)을 선정하는 과정, 상기 선행 검출 결과는 상기 전체 영상에 대해 객체검출이 수행된 결과를 나타냄; 상기 전체 영상으로부터 상기 후보 지역 각각에 해당하는 부분 영상(part images)을 획득하는 과정; 상기 부분 영상 각각에 대하여 데이터 증강(data augmentation) 기법을 적용하여 증강 영상(augmented images)을 생성하는 과정; 상기 증강 영상을 기반으로 사전에 트레이닝된 AI(Artificial Intelligence) 추론기를 이용하여 상기 부분 영상 별로 객체를 검출하여 증강 검출 결과를 생성하는 과정; 및 상기 증강 검출 결과를 기반으로 상기 전체 영상에서 상기 객체의 위치를 확정하여 최종 검출 결과를 생성하고, 상기 최종 검출 결과 및 상기 선행 검출 결과를 기반으로 재추론(re-inference) 실행 여부를 결정하는 과정을 포함하는 것을 특징으로 하는 객체 검출방법을 제공한다.

본 발명의 다른 실시예에 따르면, 객체 검출방법이 포함하는 각 단계를 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터프로그램을 제공한다.

이상에서 설명한 바와 같이 본 실시예에 따르면, 증강 영상(augmented images)을 이용하여 AI(Artificial Intelligence) 기반으로 객체를 검출 및 추적하고, 검출 및 추적 결과를 기반으로 재추론을 실행하는 것이 가능한 객체 검출장치 및 방법을 제공한다. 이러한 객체 검출장치 및 방법의 이용에 따라 제한된 하드웨어 자원을 효율적으로 이용하면서도 드론 서비스에서 요구되는, 복잡하고 모호한 작은 객체에 대한 검출 성능이 향상되는 효과가 있다.

또한 본 실시예에 따르면, 기존의 드론보다 더 높은 고도에서 더 넓은 시야로 촬영된 고해상도의 영상에 대한 분석이 가능한 객체 검출장치 및 방법을 제공함으로써, 배터리 용량에 기반한 비행시간의 제약을 완화시킬 수 있다는 측면에서 드론을 이용한 보안 서비스의 차별화가 가능해지는 효과가 있다.

또한 본 실시예에 따르면, 드론에서 촬영한 고해상도 영상의 처리를 위해, 5G 통신 기술의 장점인 고화질, 대용량 및 저지연 특성을 보안 분야에 이용하는 것이 가능해지는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 객체 검출장치에 대한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 객체 검출방법에 대한 순서도이다.
도 3은 AI 기반의 딥러닝 모델을 이용하는 종래의 객체 검출 방식에 대한 예시도이다.
도 4는 고해상도 영상에 대하여 딥러닝 모델을 이용하는 종래의 객체 검출 방식에 대한 다른 예시도이다.

이하, 본 발명의 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 실시예들의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 실시예들의 구성요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.

본 실시예는 고해상도(high resolution) 객체 검출장치 및 방법에 대한 내용을 개시한다. 보다 자세하게는, 고해상도 영상에 대하여 적응적 부분 영상(part images)을 생성하고, 부분 영상에 데이터 증강(data augmentation)을 적용하여 증강 영상(augmented images)을 생성한다. 생성된 증강 영상을 이용하여 AI(Artificial Intelligence) 기반으로 객체의 검출 및 재추론의 실행이 가능한 객체 검출장치 및 방법을 제공한다.

본 실시예에서, 객체 검출의 결과로서, 주어진 영상 상에서 객체가 존재하는 위치가 확인되고, 동시에 객체의 종류도 판별되는 것으로 가정한다. 또한 객체의 위치를 표시하기 위하여 객체를 포함하는 직사각형의 바운딩 박스(bounding box)가 사용되는 것으로 가정한다.

도 1은 본 발명의 일 실시예에 따른 객체 검출장치에 대한 구성도이다.

본 발명의 실시예에 있어서, 객체 검출장치(100)는 고해상도 영상으로부터 증강 영상을 생성하고, 생성된 증강 영상을 이용하여 AI 기반으로 드론 촬영 영상에 대하여 요구되는 수준의 작은 객체를 검출한다. 객체 검출장치(100)는 후보지역 제어부(111), 데이터증강부(112), AI 추론기(113), 재추론제어부(114) 및 객체추적부(115)의 전부 또는 일부를 포함한다.

본 실시예에 따른 객체 검출장치(100)에 포함되는 구성요소가 반드시 이에 한정되는 것은 아니다. 예컨대, 객체 검출장치(100) 상에 고해상도 영상을 획득하는 입력부(미도시) 및 부분 영상을 생성하는 부분영상 생성부(미도시)를 추가로 구비할 수 있다.

도 1의 도시는 본 실시예에 따른 예시적인 구성이며, 후보 지역 선정 방법, 데이터 증강 기법, AI 추론기의 구조 및 객체 추적 방법 등에 따라 다른 구성요소 또는 구성요소 간의 다른 연결을 포함하는 구현이 가능하다.

본 발명의 실시예에 있어서, 드론이 고해상도(예컨대 2K, 4K 해상도) 영상을 제공하는 것으로 가정하나, 반드시 이에 한정되는 것은 아니며 고해상도 영상을 제공할 수 있는 어느 디바이스든 될 수 있다. 실시간 분석 또는 지연 분석을 위하여 고해상도 영상은 고속 전송 기술(예컨대 5G 통신 기술)을 이용하여 서버(미도시) 측으로 전송되는 것으로 가정한다.

본 실시예에 따른 객체 검출장치(100)는 서버 또는 서버에 준하는 연산 능력을 보유하는 프로그램가능 시스템에 탑재되는 것으로 가정한다.

또한, 본 실시예에 따른 객체 검출장치(100)는 드론과 같은 고해상도 영상 생성하는 디바이스 상에 탑재될 수 있다. 따라서 탑재되는 디바이스의 컴퓨팅 파워에 의거하여 객체 검출장치(100)의 동작 전부 또는 일부가 디바이스에서 실행될 수 있다.

본 실시예에 따른 객체 검출장치(100)는 하나의 고해상도 영상에 대하여 세번 이상의 추론을 수행하여 검출 성능을 향상시킬 수 있다. 첫 번째 추론을 선행 추론(preceding inference), 두 번째 추론을 현재 추론(current inference)으로 표현하고, 세 번째 이후의 추론은 재추론(re-inference)으로 표현하는 것으로 가정한다. 또한 선행 추론은 선행 추론 결과를 생성하고, 현재 추론은 최종 추론 결과를 생성하며, 재추론은 재추론 결과를 생성하는 것으로 가정한다.

본 실시예에 대한 설명의 편의를 위하여 고해상도 영상을 전체 영상(whole image)이란 표현과 병행하여 사용하는 것으로 가정한다.

이하, 도 1의 도시를 참조하여 객체 검출장치(100)의 각 구성요소의 동작을 설명한다.

본 실시예에 따른 객체 검출장치(100)의 입력부는 드론으로부터 고해상도 영상, 즉 전체 영상을 획득한다.

본 실시예에 따른 객체 검출장치(100)는 전체 영상에 대하여 선행 추론을 실행하여 선행 검출 결과를 생성한다. 객체 검출장치(100)는 먼저 전체 영상을, 도 4에 도시된 종래의 기술처럼, 영상의 일부가 중첩된(overlapping) 동일 크기의 분할 영상(partitioned image)으로 분할한다. 다음, 분할 영상 별로 AI 추론기(113)를 이용하여 추론된 객체를 기반으로, 전체 영상에서 객체의 위치를 확정하여 최종적으로 선행 검출 결과를 생성할 수 있다.

또한 객체추적부(115)는 선행 검출 결과를 기반으로 머신 러닝(machine learning) 기반의 객체 추적(tracking) 알고리즘을 이용하여 객체를 시간적으로(temporally) 추적하여 추적 정보(tracking information)를 생성할 수 있다. 객체추적부(115)에 대한 자세한 내용은 추후에 기술하기로 한다.

본 발명의 다른 실시예에서는, 객체 검출장치(100)는 먼저 다운 샘플링(down-sampling)과 같은 영상처리 기법을 이용하여 상대적으로 낮은 해상도를 갖는 전체 영상을 생성한다. 다음, 객체 검출장치(100)는 저해상도를 갖는 전체 영상을 기반으로, 전체 영상을 분할하거나, 또는 분할 과정을 생략한 채로, AI 추론기(113)를 이용하여 선행 검출 결과를 생성할 수 있다. 저해상도의 전체 영상을 이용함으로써, 객체 검출장치(100)는 선행 검출 결과를 생성하기 위해 소모되는 컴퓨팅 파워를 절감할 수 있다.

본 발명의 다른 실시예에서는, 소모되는 컴퓨팅 파워를 절감하기 위해, 입력되는 전체 영상에 대하여 특정 주기 별로 선행 검출 결과를 생성할 수 있다.

본 실시예에 따른 후보지역 제어부(111)는, 선행 검출 결과 및 객체추적부(115)가 제공한 추적 정보를 기반으로, 다음과 같이 전체 영상에서 적어도 하나의 후보 지역(candidate regions)을 선정한다.

후보지역 제어부(111)는 전체 영상에 대한 선행 검출 결과를 기반으로 혼잡 지역(mess region) 선정한다. 혼잡 지역은 여러 객체가 좁은 지역에 집중되어 있기 때문에 정밀한 검출이 혼동될 수 있는 지역을 의미한다.

혼잡 지역에 일반적인 객체 검출 기술을 적용하는 경우, 큰 국지화 오차(localization error)를 발생시키는 경향이 있다. 따라서 정확한 위치를 정의되지 못한 채로 객체에 대한 바운딩 박스가 흔들리거나 객체에 대한 오검출로 인하여 중첩된 박스가 발생한다. 따라서 정교한 분석을 위하여 혼잡 지역이 후보 지역으로 선정된다.

후보지역 제어부(111)는 선행 검출 결과를 기반으로 저신뢰도(low confidence) 객체를 검출한다. 선행 추론에서의 AI 추론기(113)의 모호한 판단을 재차 판단하기 위하여 후보지역 제어부(111)는 저신뢰도 객체가 검출된 지역을 후보 지역으로 선정하여 AI 추론기(113)의 모호한 판단으로 인한 저신뢰도 객체를 재판단할 수 있다.

후보지역 제어부(111)는 선행 검출 결과를 기반으로 드론에 탑재된 카메라가 보유한 주변 지형 정보에 의거하여 예측되는 크기보다 작은 객체를 판단한다. 후보지역 제어부(111)는 작은 객체를 포함한 주변 영역을 후보 지역으로 선정하여 AI 추론기(113)의 모호한 판단을 재판단할 수 있다.

후보지역 제어부(111)는 선행 검출 결과 및 추적 정보를 기반으로 현재 영상에서 분실 객체(lost object)를 추정한다. 후보지역 제어부(111)는 분실 객체를 포함한 주변 영역을 후보 지역으로 선정하여 시간적인(temporal) 객체의 위치 변화를 고려하여 객체를 재판단할 수 있다.

AI 추론기의 추론을 용이하게 하기 위해 후보지역 제어부(111)에서 선정한 각각의 후보 지역의 크기는 모두 동일한 것으로 가정한다. 후보 지역의 크기를 동일하게 맞추기 위해 후보지역 제어부(111)는 제로 삽입 및 보간(interpolation) 등과 같은 알려진 영상처리 방법을 사용할 수 있다.

본 실시예에 따른 후보지역 제어부(111)는, 현재 추론의 결과를 기반으로 전체 영상에서 재추론을 위한 적어도 하나의 후보 지역(candidate region)을 선정할 수 있다.

후보지역 제어부(111)는 선행 추론 또는 현재 추론에서 검출된 객체 각각을 선정된 후보 지역 중 적어도 하나에 포함시킨다. 또한 후보지역 제어부(111)가 선정한 후보 지역 모두를 합성한 영역은 전체 영상의 전부가 아닐 수도 있다. 따라서, 본 실시예에 따른 객체 검출장치(100)는 전체 영상이 아닌, 선정된 후보 지역만을 객체 검출의 대상 영역으로 이용함으로써, 고해상도 영상 분석에 요구되는 컴퓨팅 파워를 절감할 수 있다.

선행 검출 결과 및 추적 정보를 기반으로 후보지역 제어부(111)가 후보 지역을 하나도 선정하지 못하는 경우(예컨대, 전체 영상에 관심의 대상이 되는 객체가 존재하지 않는 경우), 객체 검출장치(100)는 현재 추론을 생략하고 추론 과정을 종결할 수 있다.

본 실시예에 따른 부분영상 생성부는 전체 영상으로부터 후보 지역 각각에 해당하는 부분 영상을 획득한다.

본 실시예에 따른 데이터증강부(112)는 부분 영상 각각에 대하여 적응적 데이터 증강 기법을 적용하여 증강 영상을 생성한다.

데이터증강부(112)는 데이터 증강 기법으로 업샘플링(up-sampling), 회전(rotation), 플립(flip), 색상 변조(color space modification) 등 다양한 기법을 사용하나, 반드시 이에 한정되는 것은 아니다. 여기서 업샘플링은 영상을 확대하고, 회전은 영상을 회전시키는 기법이다. 또한 플립은 상하 또는 좌우로 미러 영상(mirror image)을 획득하고, 색상 변조는 색상 필터(color filter)가 적용된 부분 영상을 획득하는 기법이다.

데이터증강부(112)는 각 후보 지역 별로 적응적 데이터 증강 기법을 적용하여 검출 성능이 저하된 원인을 보완함으로써 검출 성능을 극대화할 수 있다.

혼잡 지역에 대한 부분 영상에 대하여, 데이터증강부(112)는 업샘플링, 회전, 플립, 색상 변조 등의 증강 기법을 적용하여 증가된 수의 증강 영상을 생성할 수 있다. 증강 기법을 적용하면 복수의 교차확인(cross-check)이 가능하여지므로 객체 검출장치(100)의 종합적인 성능이 향상되는 효과가 있다.

저신뢰도 객체를 포함한 부분 영상에 대하여, 데이터증강부(112)는 1 ~ 2 가지 지정된 증강 기법을 제한적으로 적용하여 저신뢰 객체의 신뢰도를 보완할 수 있다.

작은 객체를 포함한 부분 영상에 대하여, 데이터증강부(112)는 업샘플링(up-sampling)을 기반으로 데이터를 가공하여 작은 객체에 대한 검출 성능을 향상시킬 수 있다.

분실 객체를 포함한 부분 영상에 대하여, 데이터증강부(112)는 1 ~ 2 가지 지정된 증강 기법을 제한적으로 적용하여 현재 영상에서의 검출 성능을 향상시킬 수 있다.

데이터증강부(112)는 전술한 바와 같은 데이터 증강 기법을 적용하여 각각의 부분 영상에 대하여 같거나 증가된 개수의 증강 영상을 생성한다.

AI 추론기의 추론을 용이하게 하기 위해 데이터증강부(111)에서 생성한 증강 영상의 크기는 모두 동일한 것으로 가정한다. 증강 영상의 크기를 동일하게 맞추기 위해 데이터증강부(111)는 제로 삽입 및 보간 등과 같은 알려진 영상처리 방법을 사용할 수 있다.

후보지역 제어부(111)가 선정한 후보 지역, 부분영상 생성부가 생성한 부분 영상 및 데이터증강부(112)가 생성한 증강 영상의 크기는 모두 동일한 것으로 가정한다.

재추론을 실행하는 경우, 데이터증강부(112)는 동일한 부분 영상에 대하여 이전 추론에 적용한 데이터 증강 기법과는 다른 데이터 증강 기법을 적용할 수 있다.

AI 추론기(113)는 증강 영상에 대한 배치(batch) 수행을 기반으로 증강 영상 별로 객체를 검출함으로써 현재 추론을 수행하고, 증강 검출 결과를 생성한다. AI 추론기(113)가 증강 영상을 이용하여 객체를 검출하므로, 다양한 방법으로 하나의 객체가 교차 검출되는 효과가 있다.

AI 추론기(113)는 딥러닝 기반의 모델로 구현되고, 딥러닝 모델은 YOLO(You Only Look Once), R-CNN(Region-based Convolutional Neural Network) 계열의 모델(예컨대, Faster R-CNN, Mask R-CNN 등), SSD(Single Shot Multibox Detector) 등 객체 검출을 위하여 이용이 가능한 어느 것이든 될 수 있다. 딥러닝 모델은 학습용 영상을 이용하여 사전에 트레이닝될 수 있다.

선행 추론, 현재 추론 및 재추론 여부와 무관하게, AI 추론기(113)는 동일한 구조 및 기능을 보유하는 것으로 가정한다.

재추론제어부(114)는 증강 검출 결과를 기반으로 전체 영상에서 객체의 위치를 확정하여 최종 검출 결과를 생성한다. AI 추론기(113)가 교차 검출한 객체의 검출 빈도와 신뢰도를 이용하여 재추론제어부(114)는 최종 검출 결과를 생성할 수 있다.

재추론제어부(114)는 최종 검출 결과를 기반으로 객체추적부(115)를 이용하여 객체에 대한 추적 정보를 생성하고, 최종 검출 결과, 선행 검출 결과 및 추적 정보를 기반으로 재추론(re-inference) 실행 여부를 결정할 수 있다.

재추론제어부(114)는 최종 검출 결과, 선행 검출 결과 및 객체추적부(115)가 제공한 추적 정보를 기반으로, 후보 지역을 선정하기 위해 이용하는 판단 척도(measure)의 변화량을 계산한다. 재추론제어부(114)는 판단 척도의 변화량을 분석하여 재추론의 실행 여부를 결정할 수 있다.

객체추적부(115)는 최종 검출 결과를 기반으로 머신 러닝 기반의 객체 추적 알고리즘을 이용하여 객체를 시간적으로(temporally) 추적하여 추적 정보를 생성한다. 여기서, 머신 러닝 기반의 알고리즘으로는 오픈소스(open-source) 알고리즘인 CSRT(Channel and Spatial Reliability Tracker), MOSSE(Minimum Output Sum of Squared Error) 및 GOTURN(Generic Object Tracking Using Regression Networks) 등 어는 것이든 이용될 수 있다.

객체추적부(115)가 생성하는 추적 정보는 시간적으로 이전 영상의 객체 위치로부터 현재 영상의 객체 위치를 예측한 정보일 수 있다. 또한 추적 정보는 이전 영상의 후보 지역으로부터 현재 영상의 후보 지역을 예측한 정보를 포함할 수 있다.

객체추적부(115)는 선행 추론, 현재 추론 및 재추론 등 모든 과정에서 객체 추적을 실행할 수 있다. 객체추적부(115)는 생성한 추적 정보를 재추론제어부(114) 및 후보지역 제어부(111)에 제공한다.

도 2는 본 발명의 일 실시예에 따른 객체 추적방법에 대한 순서도이다. 도 2의 (a)에 도시된 순서도는 객체 추적 방법을 선행 추론, 현재 추론 및 재추론의 실행 측면에서 도시한 것이다. 도 2의 (b)에 도시된 순서도는 현재 추론(또는 재추론) 단계를 도시한 것이다.

이하, 도 2의 (a)에 도시된 순서도를 설명한다.

본 실시예에 따른 객체 검출장치(100)는 고해상도의 전체 영상을 획득한다(S201).

객체 검출장치(100)는 선행 추론을 실행하여 선행 검출 결과 및 선행 검출 결과에 기반하는 객체 추적 정보를 생성한다(S202). 선행 검출 결과 및 객체 추적 정보를 생성하는 과정은 앞에서 기술되었으므로, 여기서는 자세한 설명을 생략한다.

객체 검출장치(100)는 전체 영상에 대한 현재 추론을 실행하여 최종 검출 결과 및 최종 검출 결과에 기반하는 객체 추적 정보를 생성한다(S203). 객체 검출장치(100)는 전체 영상에 대한 재추론을 실행하여 재추론 결과 및 재추론 결과에 기반하는 객체 추적 정보(object tracking information)를 생성할 수 있다.

현재 추론(또는 재추론) 과정은 도 2의 (b)의 순서도를 이용하여 추후에 설명하기로 한다.

객체 검출장치(100)는 재추론 실행 여부를 판단한다(S204). 객체 검출장치(100)는 선행 검출 결과, 최종 검출 결과 및 객체 추적 정보에 기반하는 판단 결과에 의거하여 재추론을 실행하거나(S203), 추론 과정을 종료한다.

이하, 도 2의 (b)에 도시된 순서도대로 현재 추론(또는 재추론) 단계를 설명한다.

본 실시예에 따른 객체 검출장치(100)는 전체 영상에서 적어도 하나의 후보 지역을 선정한다(S205).

후보 지역은 혼잡 지역, 저신뢰도 객체가 포함된 지역, 작은 객체가 포함된 지역, 분실 객체가 포함된 지역 등을 포함하나, 반드시 이에 한정되는 것은 아니다.

객체 검출장치(100)는 선행 추론의 결과, 즉 선행 검출 결과 및 선행 검출 결과를 이용한 객체 추적 정보를 기반으로 전체 영상에서 현재 추론을 위한 적어도 하나의 후보 지역을 선정할 수 있다.

객체 검출장치(100)는 현재 추론의 결과, 즉 최종 검출 결과 및 최종 검출 결과를 이용한 객체 추적 정보를 기반으로 전체 영상에서 재추론을 위한 적어도 하나의 후보 지역을 선정할 수 있다.

선행 추론 또는 현재 추론에서 검출된 객체 각각은 후보 지역 중 적어도 하나에 포함된다. 또한 선정된 후보 지역이 합성된 영역은 전체 영상의 전부가 아닐 수 있다. 따라서, 현재 추론 또는 재추론 시, 본 실시예에 따른 객체 검출장치(100)는 전체 영상이 아닌, 선정된 후보 지역만을 객체 검출의 대상 영역으로 이용함으로써, 고해상도 영상 분석에 요구되는 컴퓨팅 파워를 절감할 수 있다.

선행 검출 결과 및 추적 정보를 기반으로 후보 지역이 하나도 선정되지 못하는 경우(예컨대, 전체 영상에 관심의 대상이 되는 객체가 존재하지 않는 경우), 객체 검출장치(100)는 현재 추론을 생략하고 추론 과정을 종결할 수 있다.

객체 검출장치(100)는 전체 영상으로부터 후보 지역 각각에 해당하는 부분 영상을 생성한다(S206).

객체 검출장치(100)는 부분 영상 별로 적응적 데이터 증강을 적용하여 증강 영상을 생성한다(S207). 데이터 증강 기법으로 업샘플링, 회전, 플립, 색상 변조 등 다양한 기법이 사용되나, 반드시 이에 한정되는 것은 아니다.

객체 검출장치(100)는 다양한 데이터 증강 기법을 적용하여 각각의 부분 영상에 대하여 같거나 증가된 개수의 증강 영상을 생성한다.

객체 검출장치(100)는 선정된 후보 지역 별로 적응적 데이터 증강 기법을 적용하여 검출 성능이 저하된 원인을 보완함으로써 검출 성능을 극대화할 수 있다.

재추론을 실행하는 경우, 동일한 부분 영상에 대하여 이전 추론에 적용한 데이터 증강 기법과는 다른 데이터 증강 기법이 적용될 수 있다.

객체 검출장치(100)는 증강 영상으로부터 객체를 검출한다(S208).

객체 검출장치(100)는 AI 추론기(113)를 이용하여 현재 추론(또는 재추론)을 수행한다. AI 추론기(113)는 증강 영상 별로 객체를 검출한다. AI 추론기(113)의 추론을 용이하게 하기 위하여 각 후보 지역의 크기 및 후보 지역으로부터 파생된 증강 영상의 크기는 모두 동일한 것으로 가정한다. 객체 검출에 증강 영상이 이용됨으로써 다양한 방법으로 하나의 객체가 교차 검출되는 효과가 있다.

객체 검출장치(100)는 전체 영상에 대한 최종 검출 결과를 생성한다(S209).

객체 검출장치(100)는 교차 검출된 객체의 검출 빈도와 신뢰도에 근거하여 전체 영상에서 객체의 위치를 확정함으로써 최종 검출 결과를 생성한다

객체 검출장치(100)는 최종 검출 결과를 이용하여 객체 추적 정보를 생성한다(S210).

객체 검출장치(100)는 현재 추론(또는 재추론)의 검출 결과를 기반으로 머신 러닝 기반의 객체 추적 알고리즘을 이용하여 객체를 시간적으로 추적하여 추적 정보를 생성한다.

추적 정보는 시간적으로 이전 영상의 객체 위치로부터 현재 영상의 객체 위치를 예측한 정보일 수 있다. 또한 추적 정보는 이전 영상의 후보 지역으로부터 현재 영상의 후보 지역을 예측한 정보를 포함할 수 있다.

본 실시예에 따른 각 순서도에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 순서도에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것이 적용 가능할 것이므로, 순서도는 시계열적인 순서로 한정되는 것은 아니다.

본 명세서에 설명되는 시스템들 및 기법들의 다양한 구현예들은, 디지털 전자 회로, 집적 회로, FPGA(field programmable gate array), ASIC(application specific integrated circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현예들은 프로그래밍가능 시스템 상에서 실행가능한 하나 이상의 컴퓨터 프로그램들로 구현되는 것을 포함할 수 있다. 프로그래밍가능 시스템은, 저장 시스템, 적어도 하나의 입력 디바이스, 그리고 적어도 하나의 출력 디바이스로부터 데이터 및 명령들을 수신하고 이들에게 데이터 및 명령들을 전송하도록 결합되는 적어도 하나의 프로그래밍가능 프로세서(이것은 특수 목적 프로세서일 수 있거나 혹은 범용 프로세서일 수 있음)를 포함한다. 컴퓨터 프로그램들(이것은 또한 프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 혹은 코드로서 알려져 있음)은 프로그래밍가능 프로세서에 대한 명령어들을 포함하며 "컴퓨터-판독가능 매체"에 저장된다.

컴퓨터-판독가능 매체는, 명령어들 및/또는 데이터를 프로그래밍가능 프로세서에게 제공하기 위해 사용되는, 임의의 컴퓨터 프로그램 제품, 장치, 및/또는 디바이스(예를 들어, CD-ROM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등의 비휘발성 또는 비일시적인 기록매체)를 나타낸다.

본 명세서에 설명되는 시스템들 및 기법들의 다양한 구현예들은, 프로그램가능 컴퓨터에 의하여 구현될 수 있다. 여기서, 컴퓨터는 프로그램가능 프로세서, 데이터 저장 시스템(휘발성 메모리, 비휘발성 메모리, 또는 다른 종류의 저장 시스템이거나 이들의 조합을 포함함) 및 적어도 한 개의 커뮤니케이션 인터페이스를 포함한다. 예컨대, 프로그램가능 컴퓨터는 서버, 네트워크 기기, 셋탑 박스, 내장형 장치, 컴퓨터 확장 모듈, 개인용 컴퓨터, 랩탑, PDA(Personal Data Assistant), 클라우드 컴퓨팅 시스템 또는 모바일 장치 중 하나일 수 있다.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 객체 검출장치 111: 후보지역제어부
112: 데이터증강부 113: AI 추론기
114: 재추론제어부 115: 객체추적부

Claims

전체 영상(whole image)을 획득하는 입력부;
상기 전체 영상에서 적어도 하나의 후보 지역(candidate regions)을 선정하는 후보지역 제어부;
상기 전체 영상으로부터 상기 후보 지역 각각에 해당하는 부분 영상(part images)을 획득하는 부분영상 생성부;
상기 부분 영상 각각에 대하여 데이터 증강(data augmentation) 기법을 적용하여 증강 영상(augmented images)을 생성하는 데이터증강부;
상기 증강 영상으로부터 객체를 검출하여 증강 검출 결과를 생성하는 AI(Artificial Intelligence) 추론기;
상기 증강 검출 결과를 기반으로 상기 전체 영상에서 상기 객체의 위치를 확정하여 최종 검출 결과를 생성하고, 상기 최종 검출 결과를 기반으로 재추론(re-inference) 실행 여부를 결정하는 재추론제어부; 및
상기 최종 검출 결과를 기반으로 상기 객체를 시간적으로(temporally) 추적하여 추적 정보(tracking information)를 생성하는 객체추적부;
를 포함하되,
상기 재추론제어부는,
상기 재추론 실행 여부를 결정하기 위해 상기 추적 정보를 추가로 이용하는 것을 특징으로 하는 객체 검출장치.
제1항에 있어서,
상기 AI 추론기는,
상기 전체 영상에서 상기 객체를 추론하여 선행 검출 결과를 생성하고, 상기 선행 검출 결과는 상기 후보지역 제어부, 상기 재추론제어부 및 상기 객체추적부에 제공되는 것을 특징으로 하는 객체 검출장치.
제2항에 있어서,
상기 후보지역 제어부는, 상기 전체 영상에 대한 선행 검출 결과를 기반으로, 여러 객체가 좁은 지역에 집중되는 혼잡 지역(mess region); 저신뢰도(low confidence) 객체가 검출되는 지역; 및 주변 지형 정보의 의거하여 예측되는 크기보다 작은 객체가 발견되는 지역을 상기 후보 지역으로 선정하는 것을 특징으로 하는 객체 검출장치.
제2항에 있어서,
상기 후보지역 제어부는,
상기 선행 검출 결과에 따른 검출 객체 각각을 상기 후보 지역 중 적어도 하나에 포함시키는 것을 특징으로 하는 객체 검출장치.
제1항에 있어서,
상기 데이터증강부는,
상기 후보 지역 별로 적어도 하나의 데이터 증강 기법을 적용하여 각각의 부분 영상에 대하여 같거나 증가된 개수의 증강 영상을 생성하는 것을 특징으로 하는 객체 검출장치.
제1항에 있어서,
상기 데이터증강부는,
상기 재추론제어부의 결정에 의거하여 상기 전체 영상에 대한 재추론을 실행하는 경우, 동일한 부분 영상에 대하여 이전 추론에 적용한 데이터 증강 기법과는 다른 데이터 증강 기법을 적용하는 것을 특징으로 하는 객체 검출장치.
제1항에 있어서,
상기 AI 추론기는,
딥러닝 기반의 모델로 구현되되, 학습용 영상을 이용하여 사전에 트레이닝되는 것을 특징으로 하는 객체 검출장치.
제2항에 있어서,
상기 재추론제어부는,
상기 최종 검출 결과 및 상기 선행 검출 결과를 기반으로, 상기 후보 지역을 선정하기 위해 이용하는 판단 척도(measure)의 변화량을 계산하고, 상기 변화량에 기반하여 상기 재추론의 실행 여부를 결정하는 것을 특징으로 하는 객체 검출장치.
제2항에 있어서,
상기 객체추적부는,
상기 최종 검출 결과, 상기 선행 검출 결과, 또는 상기 재추론의 결과를 기반으로 머신 러닝 기반의 객체 추적 알고리즘을 이용하여 상기 추적 정보를 생성하되, 상기 추적 정보는, 시간적으로 이전 영상의 객체 위치로부터 현재 영상의 객체의 위치를 예측한 정보 또는 상기 이전 영상의 후보 지역으로부터 상기 현재 영상의 후보 지역을 예측한 정보를 포함하는 것을 특징으로 하는 객체 검출장치.
삭제
제9항에 있어서,
상기 후보지역 제어부는,
분실 객체(lost object)가 발생한 경우, 상기 선행 검출 결과 및 상기 추적 정보를 이용하여 상기 분실 객체가 포함되는 지역을 상기 후보 지역으로 추가로 선정하는 것을 특징으로 하는 객체 검출장치.
객체 검출장치의 객체 검출방법에 있어서,
전체 영상(whole image)을 획득하는 과정;
상기 전체 영상에서 적어도 하나의 후보 지역(candidate regions)을 선정하는 과정;
상기 전체 영상으로부터 상기 후보 지역 각각에 해당하는 부분 영상(part images)을 획득하는 과정;
상기 부분 영상 각각에 대하여 데이터 증강(data augmentation) 기법을 적용하여 증강 영상(augmented images)을 생성하는 과정;
상기 증강 영상을 기반으로 사전에 트레이닝된 AI(Artificial Intelligence) 추론기를 이용하여 상기 부분 영상 별로 객체를 검출하여 증강 검출 결과를 생성하는 과정; 및
상기 증강 검출 결과를 기반으로 상기 전체 영상에서 상기 객체의 위치를 확정하여 최종 검출 결과를 생성하고, 상기 최종 검출 결과를 기반으로 재추론(re-inference) 실행 여부를 결정하는 과정; 및
상기 최종 검출 결과를 기반으로 상기 객체를 시간적으로(temporally) 추적하여 추적 정보(tracking information)를 생성하는 과정
을 포함하되,
상기 재추론 실행 여부를 결정하는 과정은,
상기 재추론 실행 여부를 결정하기 위해 상기 추적 정보를 추가로 이용하는 것을 특징으로 하는 객체 검출방법.
제12항에 있어서,
상기 AI 추론기를 이용하여 상기 전체 영상에서 상기 객체를 추론함으로써 선행 검출 결과를 생성하는 과정을 더 포함하되, 상기 후보 지역을 선정하는 과정, 상기 재추론 실행 여부를 결정하는 과정, 및 추적 정보를 생성하는 과정에서 상기 선행 검출 결과를 이용하는 것을 특징으로 하는 객체 검출방법.
제13항에 있어서,
상기 추적 정보를 생성하는 과정은,
상기 최종 검출 결과, 상기 선행 검출 결과, 또는 상기 재추론의 결과를 기반으로 머신 러닝 기반의 객체 추적 알고리즘을 이용하여 상기 추적 정보를 생성하되, 상기 후보 지역을 선정하는 과정에서 상기 추적 정보를 이용하는 것을 특징으로 하는 객체 검출방법.
제12항 내지 제14항 중 어느 한 항에 따른 객체 검출방법이 포함하는 각 단계를 실행시키기 위하여 컴퓨터로 읽을 수 있는, 비휘발성 또는 비일시적인 기록매체에 저장된 컴퓨터프로그램.