KR102435957B1 - 다양한 샘플을 이용하여 개선한 확률기반 사물검출기 - Google Patents

다양한 샘플을 이용하여 개선한 확률기반 사물검출기 Download PDF

Info

Publication number
KR102435957B1
KR102435957B1 KR1020200162673A KR20200162673A KR102435957B1 KR 102435957 B1 KR102435957 B1 KR 102435957B1 KR 1020200162673 A KR1020200162673 A KR 1020200162673A KR 20200162673 A KR20200162673 A KR 20200162673A KR 102435957 B1 KR102435957 B1 KR 102435957B1
Authority
KR
South Korea
Prior art keywords
image
albedo
detection
nms
probability
Prior art date
Application number
KR1020200162673A
Other languages
English (en)
Other versions
KR20220074319A (ko
Inventor
송병철
최재웅
이성욱
이승현
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020200162673A priority Critical patent/KR102435957B1/ko
Publication of KR20220074319A publication Critical patent/KR20220074319A/ko
Application granted granted Critical
Publication of KR102435957B1 publication Critical patent/KR102435957B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/005—Retouching; Inpainting; Scratch removal
    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Abstract

다양한 샘플을 이용하여 개선한 확률기반 사물검출 방법 및 장치가 제시된다. 본 발명에서 제안하는 다양한 샘플을 이용하여 개선한 확률기반 사물검출 장치는 광원에 의한 오검출 가능성을 감소시키기 위해 검출하고자 하는 이미지의 알베도(Albedo) 성분을 추출하는 알베도 성분 추출부, 검출대상의 신뢰도 증가시키기 위해 알베도 성분 추출부에서 추출된 이미지에 대하여 소프트-드롭블록(Soft-Dropblock)을 수행하고, 반복하여 이미지를 추론하는 이미지 추론부, 반복되는 추론을 통해 누적된 결과들을 종합하기 위해 복수의 NMS(Non-Maximum Suppression)를 수행하는 적층형 NMS 수행부 및 복수의 NMS를 통해 생성되는 다중 도메인 간의 시각적 격차로 인한 오검출 결과를 제거하기 위해 인접 프레임 간의 검출 결과를 비교하여 최종 결과를 출력하는 인접 프레임 처리부를 포함한다.

Description

다양한 샘플을 이용하여 개선한 확률기반 사물검출기{Probability-based object detector using various samples}
본 발명은 다양한 샘플을 이용하여 개선한 확률기반 사물검출 방법 및 장치에 관한 것이다.
최근 딥러닝이 발달하여 실무에 적용하려는 시도가 증가하고 있다. 그 중 물체 감지 알고리즘은 실무에 적용되는 딥러닝의 대표적인 예이다.
하지만 사람이 아닌 기계의 판단이기에 검출결과가 '불확실'하다는 가능성을 고려하지 않기 때문에 실환경에서 크고 작은 사고를 야기하게 되기 때문에 확률기반 사물검출기의 필요성이 대두되었다. 물체 감지 알고리즘의 문제가 발생한다면 그것이 아주 작은 오류일지라도 공장 및 자율 주행 차량과 같은 중요한 분야에서는 심각한 사고로 이어질 수 있다.
따라서 확률기반 사물 검출기(Probabilistic Object Detector; PrOD)가 제안되었다. 그러나 현재의 PrOD [1] 들은 제한된 정보와 불완전한 네트워크 구조로 인해 편향된 검출 결과를 산출하며 이로 인해 물체를 안정적으로 검출하는데 문제가 있다.
기존 확률기반 사물검출기의 경우 많은 횟수의 추론으로 인해 검출 소요시간이 오래 걸리며, 검출 대상의 데이터가 한정되기 때문에 결과 또한 일정 범위 내로 편향되게 나타난다. 이는 실환경에서 적용할 경우 검출 결과의 높은 신뢰도를 기대하기 어렵고, 또한 고성능 장비를 도입하지 않게 되면 실시간 검출에는 한계가 생긴다.
D. Miller et al.은 probabilistic MC-Dropout 사물 검출기[3] 를 제안했다. 기존의 사물 검출기와 다른 점은 드롭아웃 레이어(Dropout layer)를 통해 확률적 검출을 구현했다는 점이다.
드롭아웃 레이어는 특징 맵(feature map)을 부분적으로 제거함으로써 대상의 특징 일부를 누락시킨다. 이러한 상태로 여러 번 검출하게 되면 대상을 확률적으로 추론하게 된다.
하지만 드롭아웃 레이어는 확률적 추론을 위한 기술이 아니고, 또한 여러 번 추론하게 될 경우 검출 소요시간이 증가하는 등의 문제가 있다. 그 외에도 단일 이미지에서의 검출은 광원에 의한 오검출 가능성이 있으며, 후처리 과정인 NMS(Non-Maximum Suppression) 또한 여러 번 추론해서 나온 검출 결과들을 정확하게 종합하지 못했다.
따라서 확률적 사물 검출기를 위한 특징 맵 기술과 효과적인 NMS방식, 그리고 오검출 가능성을 줄이기 위한 다양한 이미지 샘플을 적용할 필요가 있다.
본 발명이 이루고자 하는 기술적 과제는 YOLOv3+ASFF 기법[2]을 기반으로 하여 검출 대상을 정확하게 분석하기 위한 사물검출 방법 및 장치를 제공하는데 있다. 이를 위해 알베도(Albedo) 성분 추출, 소프트-드롭 블록(Soft-DropBlock), 적층형 NMS(Stacked Non-Maximum Suppression), 인접 프레임 프로세싱(Inter-frame processing) 등의 네 가지 기술을 적용하여 다양한 샘플을 여러 관점에서 검출하고 결과를 종합함으로써 검출 대상의 오검출 여부 등을 고려할 수 있는 개선된 PrOD를 제안한다. 또한 PrOD의 평가를 위해 제안된 PDQ [1] 스코어를 통해 정량적 성능을 확인한다.
일 측면에 있어서, 본 발명에서 제안하는 다양한 샘플을 이용하여 개선한 확률기반 사물검출 장치는 광원에 의한 오검출 가능성을 감소시키기 위해 검출하고자 하는 이미지의 알베도(Albedo) 성분을 추출하는 알베도 성분 추출부, 검출대상의 신뢰도 증가시키기 위해 알베도 성분 추출부에서 추출된 이미지에 대하여 소프트-드롭블록(Soft-Dropblock)을 수행하고, 반복하여 이미지를 추론하는 이미지 추론부, 반복되는 추론을 통해 누적된 결과들을 종합하기 위해 복수의 NMS(Non-Maximum Suppression)를 수행하는 적층형 NMS 수행부 및 복수의 NMS를 통해 생성되는 다중 도메인 간의 시각적 격차로 인한 오검출 결과를 제거하기 위해 인접 프레임 간의 검출 결과를 비교하여 최종 결과를 출력하는 인접 프레임 처리부를 포함한다.
알베도 성분 추출부는 U-Net을 이용한 알베도 성분 추출 방식을 이용하여 이미지의 음영을 제거한 알베도 이미지 추출하고, 추출된 알베도 이미지와 원본 이미지를 페어링된 데이터 셋으로 구성하여 알베도 네트워크를 학습시킨다.
이미지 추론부는 특징 맵의 로컬 정보를 제거하고, 불연속적인 경계면에 의한 중요 정보 제거를 방지하기 위해 소프트-드롭블록(Soft-Dropblock)을 이용하여 정보를 제거하고, 샘플을 획득한다.
적층형 NMS 수행부는 반복되는 추론에 따라 검출된 사물을 합산하기 전에 예비 보정을 수행하고, 감지 빈도에 따라 검출된 사물을 추가로 제거하는 2단계 NMS를 수행하여 검출하고자 하는 사물을 재구성하고, 사물의 검출 빈도를 계산하여 결과로 출력할지 여부를 결정한다.
인접 프레임 처리부는 인접한 프레임과 현재 프레임에서 사물이 연속해서 검출되지 않을 경우 해당 사물을 제거함으로써 다중 도메인을 통해 추가 TP(True Positive)를 확보하고, 다중 도메인 간의 시각적 차이에 의해 발생하는 FP(False Positive)를 인접 프레임 프로세싱을 통해 제거한다.
또 다른 본 발명에서 제안하는 다양한 샘플을 이용하여 개선한 확률기반 사물검출 방법은 광원에 의한 오검출 가능성을 감소시키기 위해 알베도 성분 추출부를 통해 검출하고자 하는 이미지의 알베도(Albedo) 성분을 추출하는 단계, 검출대상의 신뢰도 증가시키기 위해 이미지 추론부를 통해 알베도 성분 추출부에서 추출된 이미지에 대하여 소프트-드롭블록(Soft-Dropblock)을 수행하고, 반복하여 이미지를 추론하는 단계, 반복되는 추론으로 누적된 결과들을 종합하기 위해 적층형 NMS 수행부를 통해 복수의 NMS(Non-Maximum Suppression)를 수행하는 단계 및 복수의 NMS로 생성되는 다중 도메인 간의 시각적 격차로 인한 오검출 결과를 제거하기 위해 인접 프레임 처리부를 통해 인접 프레임 간의 검출 결과를 비교하여 최종 결과를 출력하는 단계를 포함한다.
본 발명의 실시예들에 따르면 YOLOv3+ASFF 기법[2]을 기반으로 하여 검출 대상을 정확하게 분석할 수 있다. 이를 위해 제안하는 개선된 PrOD를 통해 알베도(Albedo) 성분 추출, 소프트-드롭 블록(Soft-DropBlock), 적층형 NMS(Stacked Non-Maximum Suppression), 인접 프레임 프로세싱(Inter-frame processing) 등의 네 가지 기술을 적용하여 다양한 샘플을 여러 관점에서 검출하고 결과를 종합함으로써 검출 대상의 오검출 여부 등을 고려할 수 있다. 또한 PrOD의 평가를 위해 제안된 PDQ [1] 스코어를 통해 정량적 성능을 확인할 수 있다.
도 1은 본 발명의 일 실시예에 따른 다양한 샘플을 이용하여 개선한 확률기반 사물검출 장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 알베도 성분을 추출 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 다양한 드롭 방식을 비교한 도면이다.
도 4는 본 발명의 일 실시예에 따른 다양한 NMS의 사물검출 결과를 비교한 도면이다.
도 5는 본 발명의 일 실시예에 따른 다양한 샘플을 이용하여 개선한 확률기반 사물검출 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 다양한 샘플을 이용하여 개선한 확률기반 사물검출 기법의 적용 전과 후를 비교한 영상이다.
본 발명에서는 YOLOv3+ASFF 기법[2] 을 기반으로 검출 소요시간을 줄이고 다양한 검출 샘플을 이용하여 신뢰도 높은 검출 결과를 산출하는 개선된 PrOD를 제안한다. 이를 위해 본 발명에서는 소프트-드롭 블록(Soft-DropBlock)과 적층형 NMS(Stacked Non-Maximum Suppression)로 적은 수의 추론 횟수만으로도 검출 결과의 신뢰성을 높인다. 또한, 검출 대상을 다각적으로 분석하기 위해 알베도(Albedo) 성분을 추출하여 검출 입력으로써 활용하였다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 다양한 샘플을 이용하여 개선한 확률기반 사물검출 장치의 구성을 나타내는 도면이다.
제안하는 다양한 샘플을 이용하여 개선한 확률기반 사물검출 장치는 알베도 성분 추출부(110), 이미지 추론부(120), 적층형 NMS 수행부(130) 및 인접 프레임 처리부(140)를 포함한다.
알베도 성분 추출부(110)는 광원에 의한 오검출 가능성을 감소시키기 위해 검출하고자 하는 이미지의 알베도(Albedo) 성분을 추출한다.
알베도 성분 추출부(110)는 U-Net을 이용한 알베도 성분 추출 방식을 이용하여 이미지의 음영을 제거한 알베도 이미지 추출하고, 추출된 알베도 이미지와 원본 이미지를 페어링된 데이터 셋으로 구성하여 알베도 네트워크를 학습시킨다.
이미지 추론부(120)는 검출대상의 신뢰도 증가시키기 위해 알베도 성분 추출부에서 추출된 이미지에 대하여 소프트-드롭블록(Soft-Dropblock)을 수행하고, 반복하여 이미지를 추론한다. 검출 네트워크를 통해 이미지를 추론하되, 보다 효과적인 확률적 검출을 위해 소프트-드롭블록을 수행하며 이를 통해 검출대상의 신뢰도를 올릴 수 있다.
이미지 추론부(120)는 특징 맵의 로컬 정보를 제거하고, 불연속적인 경계면에 의한 중요 정보 제거를 방지하기 위해 소프트-드롭블록(Soft-Dropblock)을 이용하여 정보를 제거하고, 샘플을 획득한다.
적층형 NMS 수행부(130)는 반복되는 추론을 통해 누적된 결과들을 종합하기 위해 복수의 NMS(Non-Maximum Suppression)를 수행한다. 본 발명의 실시예에 따르면, 여러 번의 추론을 통해 누적된 결과들을 효과적으로 종합하기 위해 두 번의 NMS를 수행한다.
적층형 NMS 수행부(130)는 반복되는 추론에 따라 검출된 사물을 합산하기 전에 예비 보정을 수행하고, 감지 빈도에 따라 검출된 사물을 추가로 제거하는 2단계 NMS를 수행하여 검출하고자 하는 사물을 재구성하고, 사물의 검출 빈도를 계산하여 결과로 출력할지 여부를 결정한다.
인접 프레임 처리부(140)는 복수의 NMS를 통해 생성되는 다중 도메인 간의 시각적 격차로 인한 오검출 결과를 제거하기 위해 인접 프레임 간의 검출 결과를 비교하여 최종 결과를 출력한다. 두 번의 NMS를 수행한 결과에 따른 두 도메인의 시각적 격차로 인한 오검출 결과들을 소거하기 위해 인접 프레임간의 검출 결과를 비교하여 확실한 결과들만을 남긴다.
인접 프레임 처리부(140)는 인접한 프레임과 현재 프레임에서 사물이 연속해서 검출되지 않을 경우 해당 사물을 제거함으로써 다중 도메인을 통해 추가 TP(True Positive)를 확보하고, 다중 도메인 간의 시각적 차이에 의해 발생하는 FP(False Positive)를 인접 프레임 프로세싱을 통해 제거한다. 도 2 내지 도 4를 참조하여 제안하는 다양한 샘플을 이용하여 개선한 확률기반 사물검출 장치의 각 구성에 대하여 더욱 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 알베도 성분을 추출 과정을 설명하기 위한 도면이다.
종래기술의 PrOD의 경우 하나의 도메인 내에서 이미지를 검출하기 때문에 광원이나 반사에 의한 오검출 가능성이 존재한다.
본 발명의 일 실시예에 따른 알베도 성분 추출부는 이러한 문제를 해결하기 위해 광원의 영향을 최소화할 수 있도록 검출하고자 하는 이미지(210)의 음영을 제거한 알베도(albedo) 이미지를 원본이미지와 함께 검출에 사용한다.
종래기술에 따른 알베도 추출 방식[4] 은 시간이 오래 걸린다는 단점이 있기 때문에 본 발명에서는 U-Net[5] 을 이용한 알베도 네트워크(AlbedoNet)(220)를 제안한다. MS COCO 데이터 셋에서 상기 알베도 추출 방식[4](230)을 이용하여 알베도 이미지를 추출(231)하고 원본 이미지(210)와 함께 페어링된 데이터 셋(paired dataset)을 구성하여 AlbedoNet을 학습시킨다. 학습된 페어링된 데이터 셋의 이미지는 AlbedoNet을 통해 기존 알베도 추출 방식[4] 보다 수 십배 가량 빠른 속도를 보인다.
도 2를 참조하여 더욱 상세히 설명하면, 알베도 네트워크(220)는 U-Net 구조를 통해 R(Real) 이미지를 입력으로 하고, A(Albedo) 이미지(221)를 출력으로 재생성하는 네트워크로서 GR->A 으로 나타낸다. 학습과정에서 필요한 알베도 이미지(221)와 원본 이미지(210)의 페어링된 데이터 셋(231)은 알베도 추출 방식[4](230)을 이용하여 생성한다.
도 3은 본 발명의 일 실시예에 따른 다양한 드롭 방식을 비교한 도면이다.
종래기술[3]에 적용된 드롭아웃(dropout)[6] 은 특징 맵(feature map)의 일부를 제거함으로써 랜덤한 샘플을 얻게 하는 목적이 있다. 하지만 특징 맵은 인접 픽셀 간 높은 연관성이 있기 때문에 드롭아웃의 영향을 적게 받아 다양한 샘플을 얻는데 방해가 된다.
그로 인해 특징 맵의 정보가 효과적으로 제거되지 않는 문제들이 관찰되었다. 이러한 문제를 보완하기 위해 특징 맵의 로컬 정보(local information)를 효과적으로 제거하기 위한 드롭블록(DropBlock)[7] 이 제안되었다. 하지만 드롭블록(DropBlock)[7]의 불연속적인 경계면은 검출을 위한 중요한 정보를 과도하게 제거할 가능성이 있으므로 본 발명에서는 식(1)과 도 3(c)을 통해 나타낸 소프트-드롭블록(soft-DropBlock)을 제안하여 검출에 필요한 정보를 효과적으로 제거함과 동시에 다양한 샘플을 얻을 수 있는 방법을 제안한다. 소프트-드롭블록의 정의는 식(1)과 같다:
Figure 112020128376474-pat00001
식(1)
여기서, i와 j는 각각 특징맵의 픽셀 인덱스(x, y좌표)를 나타내고, k는 소프트-드롭블록되는 사각 영역의 한 변 길이를 나타낸다. 종래의 드롭 블록 기법은 한 변의 길이가 k픽셀인 박스 영역의 값을 0으로 지정한다. 하지만, 식(1)의 경우는 박스 크기만큼 값이 0으로 탈락된 마스크에 커널 사이즈 k만큼의 박스 필터링(box filtering)을 수행하여, 값이 있는 영역과 0인 값을 가지는 영역의 경계를 완화시킨다. 이로써, 소프트-드롭블록은 드롭블록에 비해 값을 유하게 없애는 효과를 갖는다. 이러한 소프트-드롭블록을 특징 맵에 적용하여 일정 정보를 제거한 상태로 반복적으로 추론하여 다양한 샘플을 획득한다.
도 3(a)는 종래기술에 따른 드롭아웃, 도 3(b)는 종래기술에 따른 드롭블록, 도 3(c)는 본 발명에서 제안하는 소프트-드롭블록을 나타낸다. 본 발명의 일 실시예에 따른 이미지 추론부는 검출대상의 신뢰도 증가시키기 위해 알베도 성분 추출부에서 추출된 이미지에 대하여 소프트-드롭블록(Soft-Dropblock)을 수행하고, 반복하여 이미지를 추론한다. 특징 맵의 로컬 정보를 제거하고, 불연속적인 경계면에 의한 중요 정보 제거를 방지하기 위해 소프트-드롭블록(Soft-Dropblock)을 이용하여 정보를 제거하고, 샘플을 획득한다.
도 4는 본 발명의 일 실시예에 따른 다양한 NMS의 사물검출 결과를 비교한 도면이다.
검출 결과를 정제하는 기존의 NMS는 모든 검출 결과가 신뢰할 수 있다는 가정하에 최종 결과를 추출한다. 일반적으로 부정확한 검출 대상은 오검출의 가능성을 증가시킨다. 일부 정보를 제거한 상태에서 사물 검출을 수행하면 일반적으로 경계 박스(bounding box)의 위치가 부정확하다. 따라서 기존의 NMS를 이러한 부정확한 박스들이 쌓였을 때 적용하면 처리가 복잡해지고 정확도가 크게 저하 될 수 있다.
이러한 문제를 해결하기 위해 본 발명의 일 실시예에 따른 적층형 NMS(Stacked Non-Maximum Suppression)는 2단계에 걸친 처리를 통해 박스를 재구성 한 다음 각 박스의 검출 빈도를 계산하여 결과로 출력할지 여부를 결정한다.
2단계에 걸친 처리란, 결과로 출력되는 이미지에 같은 물체로 인식되는 여러 개의 박스가 그려진다. 해당 박스들의 영역을 겹친 영역에 따라 하나로 묶는 것을 1st NMS라 한다. 두 번째로 1st NMS에서 처리되어 쌓인 이미지들에 대하여 이미지들의 박스들을 다시 한번 2nd NMS를 통해 종합한다.
여기서, 모든 이미지들에 대해 같은 위치 및 같은 클래스의 물체가 계속해서 검출되었는지 여부를 판단한다. 예를 들어, 5번의 결과 이미지를 쌓아놓았으면 같은 위치 및 같은 클래스의 물체가 3번이상 검출되어야 신뢰할 수 있다고 판단한다.
제안된 적층형 NMS는 두 가지 장점이 있다. 첫째, 부정확한 검출 박스들이 합산되기 전에 예비 보정을 수행하여 전체적인 복잡성을 완화한다. 여러 번의 추론을 거치기 때문에 많은 수의 검출박스들이 생성될 수 있다. 예비보정은 각 이미지 별로 NMS를 통해 사전 종합을 수행함으로써 전체적인 검출박스의 수를 효과적으로 줄일 수 있다.
둘째, 불확실성이 과소 평가 된 검출 박스는 감지 빈도에 따라 추가로 제거 할 수 있다. 도 4는 각 NMS의 결과 비교를 보여준다. 도 4(a)는 원본 이미지, 도 4(b)는 종래기술에 따른 NMS, 도 4(c)는 소프트-NMS, 도 4(d)는 적층형 NMS를 나타내는 도면이다.
본 발명의 일 실시예에 따른 인접 프레임 처리부는 복수의 NMS를 통해 생성되는 다중 도메인 간의 시각적 격차로 인한 오검출 결과를 제거하기 위해 인접 프레임 간의 검출 결과를 비교하여 최종 결과를 출력한다.
표 1은 알베도 추출과 인접 프레임 프로세싱 적용 여부에 따른 성능 평가를 비교한 표이다. 알베도 이미지를 기존 이미지와 함께 사용하면 FP(False Positive)와 TP(True Positive)가 증가한다는 것을 표 1을 통해 확인할 수 있다.
<표 1>
Figure 112020128376474-pat00002
또한, 알베도 이미지에서 검출된 대부분의 FP는 인접 프레임에서 연속해서 검출되지 않았음을 확인했다. 따라서 알베도 이미지에서 검출된 FP를 줄여 다중 도메인에서의 검출 성능을 향상시키기 위해 제안하는 인접 프레임 처리부를 통한 인접 프레임 프로세싱을 수행한다. 인접 프레임 프로세싱은 인접한 프레임들과 현재 프레임에서 사물이 연속해서 검출되지 않았을 경우 제거하는 동작을 수행한다. 본 발명에서 제안하는 인접 프레임 프로세싱과 알베도 이미지를 사물 검출에 함께 사용하면 다중 도메인 이미지를 통해 추가 검출결과(TP)를 확보할 수 있으며 도메인 간 시각적 차이에 의해 의도하지 않게 발생하는 FP는 인접 프레임 프로세싱을 통해 제거할 수 있으므로 오검출의 가능성을 줄일 수 있다.
도 5는 본 발명의 일 실시예에 따른 다양한 샘플을 이용하여 개선한 확률기반 사물검출 방법을 설명하기 위한 흐름도이다.
제안하는 다양한 샘플을 이용하여 개선한 확률기반 사물검출 방법은 광원에 의한 오검출 가능성을 감소시키기 위해 알베도 성분 추출부를 통해 검출하고자 하는 이미지의 알베도(Albedo) 성분을 추출하는 단계(510), 검출대상의 신뢰도 증가시키기 위해 이미지 추론부를 통해 알베도 성분 추출부에서 추출된 이미지에 대하여 소프트-드롭블록(Soft-Dropblock)을 수행하고, 반복하여 이미지를 추론하는 단계(520), 반복되는 추론으로 누적된 결과들을 종합하기 위해 적층형 NMS 수행부를 통해 복수의 NMS(Non-Maximum Suppression)를 수행하는 단계(530) 및 복수의 NMS로 생성되는 다중 도메인 간의 시각적 격차로 인한 오검출 결과를 제거하기 위해 인접 프레임 처리부를 통해 인접 프레임 간의 검출 결과를 비교하여 최종 결과를 출력하는 단계(540)를 포함한다.
단계(510), 광원에 의한 오검출 가능성을 감소시키기 위해 알베도 성분 추출부를 통해 검출하고자 하는 이미지의 알베도(Albedo) 성분을 추출한다.
알베도 성분 추출부는 U-Net을 이용한 알베도 성분 추출 방식을 이용하여 이미지의 음영을 제거한 알베도 이미지 추출하고, 추출된 알베도 이미지와 원본 이미지를 페어링된 데이터 셋으로 구성하여 알베도 네트워크를 학습시킨다.
단계(520)에서, 검출대상의 신뢰도 증가시키기 위해 이미지 추론부를 통해 알베도 성분 추출부에서 추출된 이미지에 대하여 소프트-드롭블록(Soft-Dropblock)을 수행하고, 반복하여 이미지를 추론한다. 검출 네트워크를 통해 이미지를 추론하되, 보다 효과적인 확률적 검출을 위해 소프트-드롭블록을 수행하며 이를 통해 검출대상의 신뢰도를 올릴 수 있다.
이미지 추론부는 특징 맵의 로컬 정보를 제거하고, 불연속적인 경계면에 의한 중요 정보 제거를 방지하기 위해 소프트-드롭블록(Soft-Dropblock)을 이용하여 정보를 제거하고, 샘플을 획득한다.
단계(530)에서, 반복되는 추론으로 누적된 결과들을 종합하기 위해 적층형 NMS 수행부를 통해 복수의 NMS(Non-Maximum Suppression)를 수행한다. 본 발명의 실시예에 따르면, 여러 번의 추론을 통해 누적된 결과들을 효과적으로 종합하기 위해 두 번의 NMS를 수행한다.
적층형 NMS 수행부는 반복되는 추론에 따라 검출된 사물을 합산하기 전에 예비 보정을 수행하고, 감지 빈도에 따라 검출된 사물을 추가로 제거하는 2단계 NMS를 수행하여 검출하고자 하는 사물을 재구성하고, 사물의 검출 빈도를 계산하여 결과로 출력할지 여부를 결정한다.
단계(540)에서, 복수의 NMS로 생성되는 다중 도메인 간의 시각적 격차로 인한 오검출 결과를 제거하기 위해 인접 프레임 처리부를 통해 인접 프레임 간의 검출 결과를 비교하여 최종 결과를 출력한다. 두 번의 NMS를 수행한 결과에 따른 두 도메인의 시각적 격차로 인한 오검출 결과들을 소거하기 위해 인접 프레임간의 검출 결과를 비교하여 확실한 결과들만을 남긴다.
인접 프레임 처리부는 인접한 프레임과 현재 프레임에서 사물이 연속해서 검출되지 않을 경우 해당 사물을 제거함으로써 다중 도메인을 통해 추가 TP(True Positive)를 확보하고, 다중 도메인 간의 시각적 차이에 의해 발생하는 FP(False Positive)를 인접 프레임 프로세싱을 통해 제거한다.
도 6은 본 발명의 일 실시예에 따른 다양한 샘플을 이용하여 개선한 확률기반 사물검출 기법의 적용 전과 후를 비교한 영상이다.
표 2는 알베도 추출, 인접 프레임 프로세싱, 소프트-드롭블록 및 적층형 NMS 적용 여부에 따른 성능 평가를 비교한 표이다. 알베도 추출, 인접 프레임 프로세싱, 소프트-드롭블록 및 적층형 NMS를 모두 적용한 본 발명의 경우 PDQ 스코어가 가장 높은 것을 표 1을 통해 확인할 수 있다.
<표 2>
Figure 112020128376474-pat00003
도 6은 PrOD의 평가를 위해 제안된 PDQ 스코어를 통해 정량적 성능을 확인하기 위한 도면이다. 도 6(a)는 제안 기법의 적용 전 사물검출 결과를 나타낸 도면이고, 도 6(b)는 제안기법 적용 후의 사물검출 결과를 나타낸 도면이다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
<참고문헌>
[1] Hall, D., Dayoub, F., Skinner, J., Zhang, H., Miller, D., Corke, P., Carneiro, G., Angelova, A., Siunderhauf, N.: Probabilistic object detection: Denition and evaluation. In: The IEEE Winter Conference on Applications of Computer Vision. pp. 1031-1040 (2020)
[2] Liu, S., Huang, D., Wang, Y.: Learning spatial fusion for single-shot object detection. arXiv preprint
arXiv:1911.09516 (2019)
[3] D. Miller, L. Nicholson, F. Dayoub, M. Milford, and N. S¨underhauf. Dropout Sampling for Robust Object Detection in Open-Set Conditions. In IEEE International Conference on Robotics and Automation (ICRA), 2018.
[4] Bell, S., Bala, K., Snavely, N.: Intrinsic images in the wild. ACM Transactions on Graphics (TOG) 33(4), 1{12 (2014)
[5] Ronneberger, O., Fischer, P., Brox, T.: U-net: Convolutional networks for biomedical image segmentation.
In: International Conference on Medical image computing and computer-assisted intervention. pp. 234{241. Springer (2015)
[6] Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., Salakhutdinov, R.: Dropout: a simple way to
prevent neural networks from overtting. The journal of machine learning research 15(1), 1929{1958
(2014)
[7] Ghiasi, G., Lin, T.Y., Le, Q.V.: Dropblock: A regularization method for convolutional networks. In: Advances in Neural Information Processing Systems. pp. 10727{10737 (2018)

Claims (10)

  1. 광원에 의한 오검출 가능성을 감소시키기 위해 검출하고자 하는 이미지의 알베도(Albedo) 성분을 추출하는 알베도 성분 추출부;
    검출대상의 신뢰도 증가시키기 위해 알베도 성분 추출부에서 추출된 이미지에 대하여 소프트-드롭블록(Soft-Dropblock)을 수행하고, 반복하여 이미지를 추론하는 이미지 추론부;
    반복되는 추론을 통해 누적된 결과들을 종합하기 위해 복수의 NMS(Non-Maximum Suppression)를 수행하는 적층형 NMS 수행부; 및
    복수의 NMS를 통해 생성되는 다중 도메인 간의 시각적 격차로 인한 오검출 결과를 제거하기 위해 인접 프레임 간의 검출 결과를 비교하여 최종 결과를 출력하는 인접 프레임 처리부
    를 포함하는 확률기반 사물검출 장치.
  2. 제1항에 있어서,
    알베도 성분 추출부는,
    U-Net을 이용한 알베도 성분 추출 방식을 이용하여 이미지의 음영을 제거한 알베도 이미지 추출하고, 추출된 알베도 이미지와 원본 이미지를 페어링된 데이터 셋으로 구성하여 알베도 네트워크를 학습시키는
    확률기반 사물검출 장치.
  3. 제1항에 있어서,
    이미지 추론부는,
    특징 맵의 로컬 정보를 제거하고, 불연속적인 경계면에 의한 중요 정보 제거를 방지하기 위해 소프트-드롭블록(Soft-Dropblock)을 이용하여 정보를 제거하고, 샘플을 획득하는
    확률기반 사물검출 장치.
  4. 제1항에 있어서,
    적층형 NMS 수행부는,
    반복되는 추론에 따라 검출된 사물을 합산하기 전에 예비 보정을 수행하고, 감지 빈도에 따라 검출된 사물을 추가로 제거하는 2단계 NMS를 수행하여 검출하고자 하는 사물을 재구성하고, 사물의 검출 빈도를 계산하여 결과로 출력할지 여부를 결정하는
    확률기반 사물검출 장치.
  5. 제1항에 있어서,
    인접 프레임 처리부는,
    인접한 프레임과 현재 프레임에서 사물이 연속해서 검출되지 않을 경우 해당 사물을 제거함으로써 다중 도메인을 통해 추가 TP(True Positive)를 확보하고, 다중 도메인 간의 시각적 차이에 의해 발생하는 FP(False Positive)를 인접 프레임 프로세싱을 통해 제거하는
    확률기반 사물검출 장치.
  6. 광원에 의한 오검출 가능성을 감소시키기 위해 알베도 성분 추출부를 통해 검출하고자 하는 이미지의 알베도(Albedo) 성분을 추출하는 단계;
    검출대상의 신뢰도 증가시키기 위해 이미지 추론부를 통해 알베도 성분 추출부에서 추출된 이미지에 대하여 소프트-드롭블록(Soft-Dropblock)을 수행하고, 반복하여 이미지를 추론하는 단계;
    반복되는 추론으로 누적된 결과들을 종합하기 위해 적층형 NMS 수행부를 통해 복수의 NMS(Non-Maximum Suppression)를 수행하는 단계; 및
    복수의 NMS로 생성되는 다중 도메인 간의 시각적 격차로 인한 오검출 결과를 제거하기 위해 인접 프레임 처리부를 통해 인접 프레임 간의 검출 결과를 비교하여 최종 결과를 출력하는 단계
    를 포함하는 확률기반 사물검출 방법.
  7. 제6항에 있어서,
    광원에 의한 오검출 가능성을 감소시키기 위해 알베도 성분 추출부를 통해 검출하고자 하는 이미지의 알베도 성분을 추출하는 단계는,
    U-Net을 이용한 알베도 성분 추출 방식을 이용하여 이미지의 음영을 제거한 알베도 이미지 추출하고, 추출된 알베도 이미지와 원본 이미지를 페어링된 데이터 셋으로 구성하여 알베도 네트워크를 학습시키는
    확률기반 사물검출 방법.
  8. 제6항에 있어서,
    검출대상의 신뢰도 증가시키기 위해 이미지 추론부를 통해 알베도 성분 추출부에서 추출된 이미지에 대하여 소프트-드롭블록을 수행하고, 반복하여 이미지를 추론하는 단계는,
    특징 맵의 로컬 정보를 제거하고, 불연속적인 경계면에 의한 중요 정보 제거를 방지하기 위해 소프트-드롭블록(Soft-Dropblock)을 이용하여 정보를 제거하고, 샘플을 획득하는
    확률기반 사물검출 방법.
  9. 제6항에 있어서,
    반복되는 추론으로 누적된 결과들을 종합하기 위해 적층형 NMS 수행부를 통해 복수의 NMS를 수행하는 단계는,
    반복되는 추론에 따라 검출된 사물을 합산하기 전에 예비 보정을 수행하고, 감지 빈도에 따라 검출된 사물을 추가로 제거하는 2단계 NMS를 수행하여 검출하고자 하는 사물을 재구성하고, 사물의 검출 빈도를 계산하여 결과로 출력할지 여부를 결정하는
    확률기반 사물검출 방법.
  10. 제6항에 있어서,
    복수의 NMS로 생성되는 다중 도메인 간의 시각적 격차로 인한 오검출 결과를 제거하기 위해 인접 프레임 처리부를 통해 인접 프레임 간의 검출 결과를 비교하여 최종 결과를 출력하는 단계는,
    인접한 프레임과 현재 프레임에서 사물이 연속해서 검출되지 않을 경우 해당 사물을 제거함으로써 다중 도메인을 통해 추가 TP(True Positive)를 확보하고, 다중 도메인 간의 시각적 차이에 의해 발생하는 FP(False Positive)를 인접 프레임 프로세싱을 통해 제거하는
    확률기반 사물검출 방법.
KR1020200162673A 2020-11-27 2020-11-27 다양한 샘플을 이용하여 개선한 확률기반 사물검출기 KR102435957B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200162673A KR102435957B1 (ko) 2020-11-27 2020-11-27 다양한 샘플을 이용하여 개선한 확률기반 사물검출기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200162673A KR102435957B1 (ko) 2020-11-27 2020-11-27 다양한 샘플을 이용하여 개선한 확률기반 사물검출기

Publications (2)

Publication Number Publication Date
KR20220074319A KR20220074319A (ko) 2022-06-03
KR102435957B1 true KR102435957B1 (ko) 2022-08-24

Family

ID=81982935

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200162673A KR102435957B1 (ko) 2020-11-27 2020-11-27 다양한 샘플을 이용하여 개선한 확률기반 사물검출기

Country Status (1)

Country Link
KR (1) KR102435957B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468967B (zh) * 2023-04-18 2024-04-16 北京百度网讯科技有限公司 样本图像筛选方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4082714B2 (ja) 2006-05-29 2008-04-30 松下電器産業株式会社 画像高解像度化装置、画像高解像度化方法、画像高解像度化プログラムおよび画像高解像度化システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410096B2 (en) * 2015-07-09 2019-09-10 Qualcomm Incorporated Context-based priors for object detection in images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4082714B2 (ja) 2006-05-29 2008-04-30 松下電器産業株式会社 画像高解像度化装置、画像高解像度化方法、画像高解像度化プログラムおよび画像高解像度化システム

Also Published As

Publication number Publication date
KR20220074319A (ko) 2022-06-03

Similar Documents

Publication Publication Date Title
CN110009013B (zh) 编码器训练及表征信息提取方法和装置
KR102507941B1 (ko) 타깃 획득 방법 및 장치
US9311550B2 (en) Device and method for image processing
JP6204659B2 (ja) 映像処理装置及び映像処理方法
JP6471448B2 (ja) 視差深度画像のノイズ識別方法及びノイズ識別装置
KR101969623B1 (ko) 병렬 검출과 추적, 및/또는 그룹화된 피처 모션 시프트 추적을 이용한 얼굴 인식
EP3859606A1 (en) Training program, training method, and information processing apparatus
US20230104196A1 (en) Device and a Method for Processing Data Sequences Using a Convolutional Neural Network
KR102435957B1 (ko) 다양한 샘플을 이용하여 개선한 확률기반 사물검출기
KR101942646B1 (ko) 영상 특징점 기반의 실시간 카메라 자세 추정 방법 및 그 장치
KR101821242B1 (ko) 영상 인식에 기반하여 차량을 계수하는 방법 및 이를 이용한 장치
KR20230038086A (ko) 영상 데이터에 포함된 얼굴 및 신체 비식별화 방법 및 이를 수행하기 위한 장치
CN115493612A (zh) 一种基于视觉slam的车辆定位方法及装置
Bober et al. A hough transform based hierarchical algorithm for motion segmentation
KR101195978B1 (ko) 동영상에 포함된 오브젝트를 처리하는 방법 및 장치
Zhang et al. Tracking-assisted weakly supervised online visual object segmentation in unconstrained videos
CN115937825B (zh) 在线俯仰角估计的bev下鲁棒车道线生成方法及装置
KR102120453B1 (ko) 영상 특징의 미분 및 지도 학습을 이용하여 비디오의 장면 상황 정보를 생성하는 방법 및 장치
Yang et al. Edge-based moving object tracking algorithm for an embedded system
CN111179331A (zh) 深度估计方法、装置、电子设备及计算机可读存储介质
KR101853211B1 (ko) 모바일 gpu 환경에서 차영상 정보를 이용한 sift 알고리즘의 복잡도 감소 기법
KR101918159B1 (ko) 영상에서 배경 움직임 영역을 분할하는 방법 및 장치
CN115115535A (zh) 深度图的去噪方法、装置、介质及设备
KR20140123399A (ko) 사용자 영상의 신체 부위를 검출하는 장치 및 방법
KR101899242B1 (ko) 질감정보를 이용한 돈방의 배경 제거 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right