KR102195940B1 - 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법 - Google Patents

적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법 Download PDF

Info

Publication number
KR102195940B1
KR102195940B1 KR1020180111651A KR20180111651A KR102195940B1 KR 102195940 B1 KR102195940 B1 KR 102195940B1 KR 1020180111651 A KR1020180111651 A KR 1020180111651A KR 20180111651 A KR20180111651 A KR 20180111651A KR 102195940 B1 KR102195940 B1 KR 102195940B1
Authority
KR
South Korea
Prior art keywords
box
maximum suppression
suppression method
group
grouping
Prior art date
Application number
KR1020180111651A
Other languages
English (en)
Other versions
KR20200036079A (ko
Inventor
김진영
유광현
Original Assignee
전남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교 산학협력단 filed Critical 전남대학교 산학협력단
Priority to KR1020180111651A priority Critical patent/KR102195940B1/ko
Publication of KR20200036079A publication Critical patent/KR20200036079A/ko
Application granted granted Critical
Publication of KR102195940B1 publication Critical patent/KR102195940B1/ko

Links

Images

Classifications

    • G06K9/00362—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Human Computer Interaction (AREA)

Abstract

본 발명은 비디오 영상을 대상으로 하는 딥러닝(convolutional neural network) 기반의 인간객체 탐지시에 다중 후보군으로부터 최적의 인간객체를 탐지할 수 있도록 한 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법에 관한 것으로, 비최대억제방법을 호출하는 함수 nmax_suppr()의 입력
Figure 112018092974318-pat00144
와
Figure 112018092974318-pat00145
을 입력받아 비최대억제방법을 수행하여 추정된 객체후보 박스 집합
Figure 112018092974318-pat00146
을 출력하는 비최대억제방법 수행부;상기 비최대억제방법 수행부에서 출력되는 집합
Figure 112018092974318-pat00147
에서 중첩된 박스의 개수를 구하는 중첩 박스 확인부;겹친영역의 개수를 고려하여 kmeans 집단화를 수행하기 위한 집단수를 결정하는 집단수 결정부;상기 집단수 결정부에서 결정된 집단수를 이용하여
Figure 112018092974318-pat00148
에 대하여 집단화를 kmeans 알고리듬을 사용하여 수행하는 집단화 수행부;집단화 수행부에서의 k개의 집단에 대하여 집단별 박스 개수로부터 그룹별 임계값을 결정하는 그룹별 임계값 결정부;각 그룹에 대하여 그룹별 임계값 결정부에서 결정된 임계값을 이용하여 비최대억제방법을 시행하고, 그 결과를 모두 합하여 최종 탐지객체박스를 결정하는 탐지객체박스 결정부;를 포함하는 것이다.

Description

적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법{System and Method for Detecting Deep Learning based Human Object using Adaptive Thresholding Method of Non Maximum Suppression}
본 발명은 영상객체 탐지에 관한 것으로, 구체적으로 비디오 영상을 대상으로 하는 딥러닝(convolutional neural network) 기반의 인간객체 탐지시에 다중 후보군으로부터 최적의 인간객체를 탐지할 수 있도록 한 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법에 관한 것이다.
CCTV와 같은 비디오 영상에서 인간 및 자동차와 같은 움직이는 전경객체(foreground)를 탐지하는 기술은 영상기반 감시시스템의 기반기술이라고 할 수 있다.
영상에서 전경영상을 찾는 방법으로는 슬라이딩 윈도우(sliding window)를 이용하여 윈도우 내 인간객체가 존재하는 지 판별하는 방법과 배경영상을 모델링하여 전경영상을 추출하고 전경영상을 검증하는 방법이 있다.
슬라이딩 윈도우를 사용하여 탐지객체존재 유무를 검증하거나 또는 전경영상의 영역에 대하여 객체를 확인하는 다양한 수학적 방법론이 존재하지만 최상의 성능을 보이고 있는 방법은 CNN(convolutional neural network)과 같은 딥러닝 기술이다.
CNN과 같은 딥러닝 패턴 인식을 적용할 때 발생하는 문제점중 하나는 실제 영상에 존재하는 객체의 정확한 위치를 중심으로 다수의 후보영역들(주로 사각형 박스)이 객체후보 영역으로 결정된다는 점이다.
따라서, 딥러닝 기반의 객체탐지후 후처리(post-processing)이 필요한데, 후처리 방법으로 널리 사용되는 것이 비최대억제(non-maximum suppression;NMS)이다.
비최대억제 방법은 참객체영역 주변의 후보박스들의 중첩도를 고려하여 후보박스들을 그룹핑하고, 그룹별로 최대확률을 갖는 영역(박스)만을 남겨두고 제거하는 방법이다.
도 1은 CNN기반 객체 탐지에서 객체영역에 대한 복수후보 박스 결과의 일 예를 나타낸 구성도이고, 도 2는 임계값에 따른 NMS의 성능을 비교한 구성도이다.
도 1은 열화상영상에 대하여 딥러닝기반 인간객체 탐지를 적용한 결과를 나타낸 것으로, 하나의 객체에 대하여 다수의 후보박스들이 선정되어 있음을 확인할 수 있다.
이와 같은 종래 기술의 비최대억제 방법은 중첩영역결정을 위하여 고정된 임계값을 사용하는데, 이 경우 임계값과 후복박스들의 분포에 따라서 오경보(false alarm) 또는 미검출(mis-detection)이 증가하는 현상을 보인다.
도 2는 CNN의 다중 후보박스영역에 대하여 임계값이 작은 경우와 큰 경우에 다하여 최종판별 결과를 나타낸 것이다.
임계값이 작은 경우에는 다중객체가 하나로 오인식되고, 임계값이 큰 경우에는 하나의 객체가 여러 개로 분할되는 현상을 보이고 있다.
이와 같이 CNN과 같은 패턴인식 방법을 통하여 (인간)객체를 탐지하는 방법에서는 후처리 기술을 수행하게 된다.
객체탐지후 정확한 후보 영역을 얻기 어려운 경우 하나의 객체에 대하여 다수의 후보 박스들이 추천되어진다.
따라서 결정된 다수의 후보 박스들로부터 가장 최적인 후보박스를 선정하고, 나머지 후보 박스들을 제거해야 한다.
이때, 객체들이 서로 가까운 거리에 존재하는 경우, 오경보(false alarm;FA) 또는 미검출(misdetection;MD)이 발생하게 된다.
따라서, 이와 같은 고정된 임계값을 사용하는 종래 기술의 비최대억제(NMS) 방법의 문제를 해결하여 딥러닝(convolutional neural network) 기반의 인간객체 탐지시에 다중 후보군으로부터 최적의 인간객체를 탐지할 수 있도록 하는 새로운 기술의 개발이 요구되고 있다.
대한민국 공개특허 제10-2018-0065856호 대한민국 등록특허 제10-1873169호 대한민국 공개특허 제10-2017-0134158호
본 발명은 종래 기술의 영상객체 탐지 기술의 문제점을 해결하기 위한 것으로, 비디오 영상을 대상으로 하는 딥러닝(convolutional neural network) 기반의 인간객체 탐지시에 다중 후보군으로부터 최적의 인간객체를 탐지할 수 있도록 한 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 영상에서 인간객체를 CNN과 같은 딥러닝 기술을 이용하여 탐지하는 경우 하나의 객체에 대해 얻어지는 복수의 후보박스들로부터 가능한 정확하게 객체의 영역을 결정하기 위한 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 신경망에서 생성한 후보영역을 비최대억제 방법을 시행하여 후보 집합을 생성한 뒤 이를 통해 임계값을 동적으로 조절하고, 이를 이용하여 다시 비최대억제 방법을 수행하여 최적의 객체를 검출할 수 있도록 한 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 영상에서의 객체 탐지시에 객체에 대한 후보영역군이 다수 존재하는 경우, 최적 후보박스를 선정하는 비최대억제 방법의 변형을 통하여 미검출(mis-detection)과 오경보(false-alarm)을 저감시킬 수 있도록 한 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 비최대억제방법을 적용할 때, 적응적으로 임계값을 결정하여 FA와 MD를 줄이기 위한 방법을 적용하는 것으로, CNN과 같은 후보박스 추출방법이 각 객체당 발생하는 후보의 개수가 거의 일정하고, 다수의 객체가 중첩된 경우 단위 영역당 후보박스의 개수가 증가한다는 사실에 근거하여 임계값을 자동적으로 결정하는 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 딥러닝 기반의 객체탐지 또는 고전적인 객체탐지를 사각형 박스단위로 검출하는 경우, 하나의 객체의 과도한 분할, 또는 여러 객체의 하나의 객체로의 통합을 방지할 수 있도록 한 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치는 비최대억제방법을 호출하는 함수 nmax_suppr()의 입력
Figure 112018092974318-pat00001
와
Figure 112018092974318-pat00002
을 입력받아 비최대억제방법을 수행하여 추정된 객체후보 박스 집합
Figure 112018092974318-pat00003
을 출력하는 비최대억제방법 수행부;상기 비최대억제방법 수행부에서 출력되는 집합
Figure 112018092974318-pat00004
에서 중첩된 박스의 개수를 구하는 중첩 박스 확인부;겹친영역의 개수를 고려하여 kmeans 집단화를 수행하기 위한 집단수를 결정하는 집단수 결정부;상기 집단수 결정부에서 결정된 집단수를 이용하여
Figure 112018092974318-pat00005
에 대하여 집단화를 kmeans 알고리듬을 사용하여 수행하는 집단화 수행부;집단화 수행부에서의 k개의 집단에 대하여 집단별 박스 개수로부터 그룹별 임계값을 결정하는 그룹별 임계값 결정부;각 그룹에 대하여 그룹별 임계값 결정부에서 결정된 임계값을 이용하여 비최대억제방법을 시행하고, 그 결과를 모두 합하여 최종 탐지객체박스를 결정하는 탐지객체박스 결정부;를 포함하는 것을 특징으로 한다.
여기서, 상기 비최대억제방법을 호출하는 함수 nmax_suppr()의 입력
Figure 112018092974318-pat00006
와
Figure 112018092974318-pat00007
은, 각각 객체 후보 박스들의 집합 {Bi}, 집합
Figure 112018092974318-pat00008
의 후보 박스들의 개수인 것을 특징으로 한다.
그리고 각각 객체 후보 박스들의 집합 {Bi}는, CNN의 결과 i-번째 객체후보 박스, 박스의 크기와 중심좌표와 크기, 그리고 CNN 출력값 정보
Figure 112018092974318-pat00009
로 구성되고, 여기서,
Figure 112018092974318-pat00010
는 박스의 x,y축 좌표,
Figure 112018092974318-pat00011
는 x,y축상의 크기 그리고
Figure 112018092974318-pat00012
는 CNN 신경망의 출력값인 것을 특징으로 한다.
그리고 CNN의 결과를 출력하기 위한 딥러닝 신경망 학습을 위하여, 인간객체 및 비인간객체 샘플 데이터베이스를 구축하여 CNN(Convolutional Neural Network)의 파라미터를 학습하고 그 결과를 저장하고, 다음 입력영상이 들어오면 다중-스케일 탐색(multi-scale search)를 통하여 후보 윈도우 박스 영역의 영상을 CNN 구조에 입력하여 출력값을 계산하는 것을 특징으로 한다.
그리고 슬라이딩 윈도우(박스)의 크기는 고정하고, 입력영상을 스케일-공간 피라미드로 변환하면서, 박스영역의 입력영상을 CNN 분류기에 입력하면, 입력 영상에 대하여 실제 인간객체마다 다수의 후보 박스들이 발생하게 되고, 얻어지는 정보는 박스의 위치 정보와 크기정보인 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 방법은 비최대억제방법을 호출하는 함수 nmax_suppr()의 입력
Figure 112018092974318-pat00013
와
Figure 112018092974318-pat00014
을 입력받아 비최대억제방법을 수행하여 추정된 객체후보 박스 집합
Figure 112018092974318-pat00015
을 출력하는 비최대억제방법 수행 단계;상기 비최대억제방법 수행 단계에서 출력되는 집합
Figure 112018092974318-pat00016
에서 중첩된 박스의 개수를 구하는 중첩 박스 확인 단계;겹친영역의 개수를 고려하여 kmeans 집단화를 수행하기 위한 집단수를 결정하는 집단수 결정 단계;상기 집단수 결정 단계에서 결정된 집단수를 이용하여
Figure 112018092974318-pat00017
에 대하여 집단화를 kmeans 알고리듬을 사용하여 수행하는 집단화 수행 단계;집단화 수행 단계에서의 k개의 집단에 대하여 집단별 박스 개수로부터 그룹별 임계값을 결정하는 그룹별 임계값 결정 단계;각 그룹에 대하여 그룹별 임계값 결정 단계에서 결정된 임계값을 이용하여 비최대억제방법을 시행하고, 그 결과를 모두 합하여 최종 탐지객체박스를 결정하는 탐지객체박스 결정 단계;를 포함하는 것을 특징으로 한다.
여기서, 상기 비최대억제방법을 호출하는 함수 nmax_suppr()의 입력
Figure 112018092974318-pat00018
와
Figure 112018092974318-pat00019
은, 각각 객체 후보 박스들의 집합 {Bi}, 집합
Figure 112018092974318-pat00020
의 후보 박스들의 개수인 것을 특징으로 한다.
그리고 각각 객체 후보 박스들의 집합 {Bi}는, CNN의 결과 i-번째 객체후보 박스, 박스의 크기와 중심좌표와 크기, 그리고 CNN 출력값 정보
Figure 112018092974318-pat00021
로 구성되고, 여기서,
Figure 112018092974318-pat00022
는 박스의 x,y축 좌표,
Figure 112018092974318-pat00023
는 x,y축상의 크기 그리고
Figure 112018092974318-pat00024
는 CNN 신경망의 출력값인 것을 특징으로 한다.
그리고 집단수 결정 단계에서, 집합
Figure 112018092974318-pat00025
에 대하여 영역이 중첩된 후보박스의 개수
Figure 112018092974318-pat00026
을 이용하여 집단화를 시행하기 위한 집단수
Figure 112018092974318-pat00027
를,
Figure 112018092974318-pat00028
으로 결정하는 것을 특징으로 한다.
그리고 집단수 결정이 이루어지면
Figure 112018092974318-pat00029
와
Figure 112018092974318-pat00030
를 이용하여 집단화를 k-means방법을 사용하여 집단화 결과
Figure 112018092974318-pat00031
를 출력하고, 각 그룹
Figure 112018092974318-pat00032
에 대하여 임계값을 결정하는 것을 특징으로 한다.
그리고 각 그룹
Figure 112018092974318-pat00033
에 대하여 임계값을 결정하기 위하여 박스밀집도를
Figure 112018092974318-pat00034
으로 계산하고,
임계값을, if
Figure 112018092974318-pat00035
,
Figure 112018092974318-pat00036
else
Figure 112018092974318-pat00037
으로 계산하고, 여기서
Figure 112018092974318-pat00038
는 문제에 따라 결정되는 고정 임계값인 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법은 다음과 같은 효과가 있다.
첫째, 비디오 영상을 대상으로 하는 딥러닝(convolutional neural network) 기반의 인간객체 탐지시에 다중 후보군으로부터 최적의 인간객체를 탐지할 수 있도록 한다.
둘째, 영상에서 인간객체를 CNN과 같은 딥러닝 기술을 이용하여 탐지하는 경우 하나의 객체에 대해 얻어지는 복수의 후보박스들로부터 가능한 정확하게 객체의 영역을 결정할 수 있도록 한다.
셋째, 신경망에서 생성한 후보영역을 비최대억제 방법을 시행하여 후보 집합을 생성한 뒤 이를 통해 임계값을 동적으로 조절하고, 이를 이용하여 다시 비최대억제 방법을 수행하여 최적의 객체를 검출할 수 있도록 한다.
넷째, 영상에서의 객체 탐지시에 객체에 대한 후보영역군이 다수 존재하는 경우, 최적 후보박스를 선정하는 비최대억제 방법의 변형을 통하여 미검출(mis-detection)과 오경보(false-alarm)을 저감시킬 수 있도록 한다.
다섯째, CNN과 같은 후보박스 추출방법이 각 객체당 발생하는 후보의 개수가 거의 일정하고, 다수의 객체가 중첩된 경우 단위 영역당 후보박스의 개수가 증가한다는 사실에 근거하여 임계값을 자동적으로 결정할 수 있다.
여섯째, 딥러닝 기반의 객체탐지 또는 고전적인 객체탐지를 사각형 박스단위로 검출하는 경우, 하나의 객체의 과도한 분할, 또는 여러 객체의 하나의 객체로의 통합을 방지할 수 있도록 한다.
도 1은 CNN기반 객체 탐지에서 객체영역에 대한 복수후보 박스 결과의 일 예를 나타낸 구성도
도 2는 임계값에 따른 NMS의 성능을 비교한 구성도
도 3은 딥러닝(CNN) 기반 열화상열상 내 인간객체 탐지 방법을 나타낸 구성도
도 4는 멀티스케일 슬라이딩 윈도우 기반 분류 방법을 나타낸 구성도
도 5는 본 발명에 따른 비최대억제 방법을 나타낸 플로우 차트
도 6은 NMS 방법의 개념을 나타낸 구성도
도 7은 본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치의 구성도
도 8은 본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 방법을 나타낸 플로우 차트
도 9는 kmeans 집단화 과정을 나타낸 플로우 차트
도 10는 본 발명을 적용한 열화상 영상에서 인간객체를 탐지를 위한 방법에서 사용되는 CNN 구조의 일 예를 나타낸 구성도
도 11은 본 발명을 적용한 열화상 영상에서 인간객체를 탐지 결과 구성도
이하, 본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 3은 딥러닝(CNN) 기반 열화상열상 내 인간객체 탐지 방법을 나타낸 구성도이고, 도 4는 멀티스케일 슬라이딩 윈도우 기반 분류 방법을 나타낸 구성도이다.
본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법은 영상에서 인간객체를 CNN과 같은 딥러닝 기술을 이용하여 탐지하는 경우 하나의 객체에 대해 얻어지는 복수의 후보박스들로부터 가능한 정확하게 객체의 영역을 결정하기 위한 것이다.
이를 위하여 본 발명은 후보 박스들의 분포에 따라서 적응적으로 임계값을 결정하는 구성을 포함할 수 있다.
딥러닝 기법인 CNN을 이용하여 (인간)객체탐지를 수행하는 방법을 설명하면 다음과 같다.
탐지된 후보 박스들 셋을
Figure 112018092974318-pat00039
라하고, 셋의 원소개수를
Figure 112018092974318-pat00040
라고 하면 주어진 영상내에서
Figure 112018092974318-pat00041
는 다음과 같은 분포를 갖다.
첫째, 각 인간객체에 대한 발생하는 후보박스의 개수는 거의 일정하다.
둘째, 인간객체들이 서로 중첩하여 또는 가까이 존재하는 경우, 서로 다른 인간객체에 해당하는 후보박스들은 서로 중첩되게 되며, 단위 영역 당 후보박스들의 개수가 증가한다.
따라서, 본 발명은 이와 같은 특성을 반영하여 임계값이 자동적으로 결정되도록 최적화하여 오경보(false-alarm)와 미검출(mis-detection)을 억제할 수 있도록 한 것이다.
이상적인 경우 입력영상을 분할하여 영역별로 존재하는 후보 박스의 개수를 측정하면 되겠으나, 이 경우 분할영역의 크기와 영역을 나누는 윈도우(창)의 이동값 등을 결정하고 처리해야하는 어려운 점이 있다.
따라서, 본 발명에서는 비최대억제 방법을 이용하여, 후보대상을 결정하고, 이 후보대상군의 중첩도를 고려하여 집단수를 결정하여 집단화 방법을 적용하여 대략으로 후보박스들을 그룹으로 분할한다.
다음 각 후보 그룹들에 대하여 임계값을 후보박스들의 집중도에 따라 결정하고, 그룹별로 비최대억제 방법을 적용하는 방법을 채택한다.
도 3은 열화상영상에서 딥러닝(CNN) 기반의 인간객체 탐지 방법 모델을 나타낸 것이다.
도 3에서와 같이 딥러닝 신경망 학습에 있어서는 인간객체 및 비인간객체 샘플 데이터베이스를 구축하여 CNN(Convolutional Neural Network)의 파라미터를 학습하고 그 결과를 저장한다.
다음 입력영상이 들어오면 다중-스케일 탐색(multi-scale search)를 통하여 후보 윈도우 박스 영역의 영상을 CNN 구조에 입력하여 출력값을 계산한다.
도 4에서와 같이 슬라이딩 윈도우(박스)의 크기는 고정하고, 입력영상을 스케일-공간 피라미드로 변환하면서, 박스영역의 입력영상을 CNN 분류기에 입력하면 도 2의 우측 그림과 같이 입력 영상에 대하여 실제 인간객체마다 다수의 후보 박스들이 발생하게 된다.
이때 마지막으로 얻어지는 정보는 박스의 위치 정보와 크기정보이다.
여기서 변수를 다음과 같이 정의한다.
Figure 112018092974318-pat00042
: CNN의 결과 i-번째 객체후보 박스, 박스의 크기와 중심좌표와 크기, 그리고 CNN 출력값 정보
Figure 112018092974318-pat00043
로 구성된다.
여기서,
Figure 112018092974318-pat00044
는 박스의 x,y축 좌표,
Figure 112018092974318-pat00045
는 x,y축상의 크기 그리고
Figure 112018092974318-pat00046
는 CNN 신경망의 출력값이다.
Figure 112018092974318-pat00047
: 객체 후보 박스들의 집합 {Bi}
Figure 112018092974318-pat00048
: 집합
Figure 112018092974318-pat00049
의 후보 박스들의 개수
본 발명에 따른 적응적 비최대억제 방법은 다음과 같은 pseudo-code로 표현된다.
step1: 집합
Figure 112018092974318-pat00050
에 대하여 표준 비최대억제방법을 시행하고, 그 결과 객체후보집합
Figure 112018092974318-pat00051
를 얻는다. 단,
Figure 112018092974318-pat00052
라고 한다.
step2: 집합
Figure 112018092974318-pat00053
에 대하여 영역이 중첩된 후보박스의 개수를 구하고 이를
Figure 112018092974318-pat00054
이라고 한다.
step3:
Figure 112018092974318-pat00055
을 이용하여 집단화를 시행하기 위한 집단수
Figure 112018092974318-pat00056
를 다음과 같이 결정한다.
Figure 112018092974318-pat00057
step4: 단계3의
Figure 112018092974318-pat00058
와
Figure 112018092974318-pat00059
를 이용하여 집단화를 k-means방법을 사용하여 시행한다. 집단화 결과를
Figure 112018092974318-pat00060
라고 한다.
step5: 각 그룹
Figure 112018092974318-pat00061
에 대하여 임계값을 다음과 같이 결정한다.
(1)박스밀집도를 수학식 2와 같이 계산한다.
Figure 112018092974318-pat00062
(2)임계값을 다음과 같이 계산한다.
if
Figure 112018092974318-pat00063
,
Figure 112018092974318-pat00064
else
Figure 112018092974318-pat00065
여기서
Figure 112018092974318-pat00066
는 문제에 따라 결정되는 고정 임계값이다.
step6: 각 그룹
Figure 112018092974318-pat00067
에 대하여 임계값
Figure 112018092974318-pat00068
를 이용하여 비최대억제 방법을 시행한다.
다중 후보박스 문제를 해결하기 위해 비최대억제(NMS) 방법이 사용되는데, 이는 다음과 같다.
도 5는 본 발명에 따른 비최대억제 방법을 나타낸 플로우 차트이다.
먼저, 모든 탐지결과(후보박스)를 CNN 출력값에 따라 정렬한다.(S501)
그리고 최대값을 갖는 후보박스에 대하여 중첩 후보박스들을 추출한다. 후보박스를 추출하기 위하여 교집합의 영역크기를 합집합의 크기로 나누어, 이 값이 특정 임계값보다 큰 경우 중첩영역으로 결정한다.(S502)(S503)
최대값 후보박스 및 중첩그룹에 대하여, 최대값 후보박스만 남기고 나머지는 제거하고(S504), 상기 단계들을 나머지 후보박스들에 대하여 반복 시행한다.
여기서, CNN 출력값에 따른 후보박스 정렬은 수학식 3에서와 같이 이루어질 수 있다.
Figure 112018092974318-pat00069
그리고 최대 출력값 박스 제거는 수학식 4에서와 같이 이루어질 수 있다.
Figure 112018092974318-pat00070
그리고 B 중첩 박스 구하기는 다음과 같이 이루어질 수 있다.
Figure 112018092974318-pat00071
도 5에서 사용되는 변수들을 설명하면 다음과 같다.
Figure 112018092974318-pat00072
=
Figure 112018092974318-pat00073
: 객체 후보 박스들의 집합의 구성요소들
Figure 112018092974318-pat00074
을 정렬한 내리차순으로 정렬한 집합이고, 정렬은
Figure 112018092974318-pat00075
의 원소인 CNN 출력값
Figure 112018092974318-pat00076
에 따라 진행된다.
Figure 112018092974318-pat00077
: 정렬된 집합
Figure 112018092974318-pat00078
에서 첫 번째 원소,
Figure 112018092974318-pat00079
:
Figure 112018092974318-pat00080
번째의 NMS 출력 원소,
Figure 112018092974318-pat00081
에서 '-'는 집합에서 원소 삭제,
Figure 112018092974318-pat00082
에서 '+'는 집합에 원소 추가,
Figure 112018092974318-pat00083
은
Figure 112018092974318-pat00084
와
Figure 112018092974318-pat00085
영역의 겹친픽셀의 개수,
Figure 112018092974318-pat00086
: 공집합이다.
도 6은 NMS 방법의 개념을 나타낸 것으로 도 5의 비최대억제방법의 구현의 일 예를 나타낸 것이다.
본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치에 관하여 구체적으로 설명하면 다음과 같다.
도 7은 본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치의 구성도이다.
본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치는 비최대억제방법을 호출하는 함수 nmax_suppr()의 입력
Figure 112018092974318-pat00087
와
Figure 112018092974318-pat00088
을 입력받아 비최대억제방법을 수행하여 추정된 객체후보 박스 집합
Figure 112018092974318-pat00089
을 출력하는 비최대억제방법 수행부(70)와, 집합
Figure 112018092974318-pat00090
에서 중첩된 박스의 개수를 구하는 중첩 박스 확인부(71)와, 겹친영역의 개수를 고려하여 kmeans집단화를 수행하기 위한 집단수를 결정하는 집단수 결정부(72)와, 결정된 집단수를 이용하여
Figure 112018092974318-pat00091
에 대하여 집단화를 kmeans 알고리듬을 사용하여 수행하는 집단화 수행부(73)와, 그룹별 임계값을 k개의 집단에 다하여 집단별 박스 개수로부터 결정하는 그룹별 임계값 결정부(74)와, 각 그룹에 대하여 그룹별 임계값 결정부(74)에서 결정된 임계값을 이용하여 비최대억제방법을 시행하고, 그 결과를 모두 합하여 최종 탐지객체박스를 결정하는 탐지객체박스 결정부(75)를 포함한다.
본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 방법을 구체적으로 설명하면 다음과 같다.
도 8은 본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 방법을 나타낸 플로우 차트이다.
먼저, 비최대억제방법을 호출하는 함수 nmax_suppr()의 입력
Figure 112018092974318-pat00092
와
Figure 112018092974318-pat00093
을 입력받아 비최대억제방법을 수행하여 추정된 객체후보 박스 집합
Figure 112018092974318-pat00094
을 출력하는 비최대억제방법 수행을 한다.(S801)
집합
Figure 112018092974318-pat00095
에서 중첩된 박스의 개수를 구하는 중첩 박스 확인 단계를 수행한다.(S802)
도 6의 실시 예에서는 NMS 수행후 중첩된 후보박스의 개수는 2개이다.
이 단계에서의
Figure 112018092974318-pat00096
은 두 박스간의 겹친영역의 픽셀수를 의미한다.
겹친영역의 개수를 고려하여 kmeans 집단화를 수행하기 위한 집단수를 결정하는 집단수 결정 단계를 수행한다.(S803)
이 단계에서 kmeans 집단화를 수행하기 위한 집단수를 결정하는데, 이 집단수 결정방법은 겹친영역의 개수를 고려하여, 경험적으로 얻어진 수식을 이용한다.
일 예로 수학식 1을 이용할 수 있다.
그리고 결정된 집단수를 이용하여
Figure 112018092974318-pat00097
에 대하여 집단화를 kmeans 알고리듬으로 수행한다.(S804)
kmeans 알고리듬은 잘 알려진 방법으로 도 9에서와 같은 방법을 진행되고, 도 8에서 kmeans()는 kmeans 집단화 방법을 호출하는 함수이다.
이어, 그룹별 임계값을 k개의 집단에 다하여 집단별 박스 개수로부터 결정하는 그룹별 임계값 결정 단계를 수행한다.(S805)
여기서
Figure 112018092974318-pat00098
는
Figure 112018092974318-pat00099
번째 집단의 박스의 집중강도이다.
Figure 112018092974318-pat00100
를 구하는 식은 실험적 경험식이고,
Figure 112018092974318-pat00101
는 일반 비최대억제방법의 임계값으로 이 또한 적용영역에 따라 결정된다.
박스의 집중강도를 구하는 식은 수학식 2에서와 같은 방법이 사용될 수 있다.
그리고 각 그룹에 대하여 그룹별 임계값 결정 단계에서 결정된 임계값을 이용하여 비최대억제방법을 시행하고, 그 결과를 모두 합하여 최종 탐지객체박스를 결정하는 탐지객체박스 결정하는 단계를 수행한다.(S806)
여기서, 그룹별 비최대억제방법 수행은 수학식 6에서와 같이 이루어질 수 있다.
Figure 112018092974318-pat00102
이상에서 설명한 본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법을 적용한 결과를 설명하면 다음과 같다.
도 10는 본 발명을 적용한 열화상 영상에서 인간객체를 탐지를 위한 방법에서 사용되는 CNN 구조의 일 예를 나타낸 구성도이고, 도 11은 본 발명을 적용한 열화상 영상에서 인간객체를 탐지 결과 구성도이다.
본 발명을 적용한 열화상 영상에서 인간객체를 탐지하는 성능을 확인하기 위하여 22,290개의 인간개체와 164,110개의 비인간객체 샘플들을 데이터베이스로 구축하고, 기본 입력 사이즈로 32x16을 이용하였으며, tensorflow를 이용하여 구현하였다.
사용한 CNN의 대략적인 구조는 도 10에서와 같다.
도 11은 적응적 임계값을 갖는 NMS 방법의 결과를 보여주고 있는 것으로서
Figure 112018092974318-pat00103
,
Figure 112018092974318-pat00104
,
Figure 112018092974318-pat00105
그리고 본 발명의 결과를 보이고 있는데, 도 11의 (b)와 (d)를 비교해보면 본 발명을 적용한 (d)가 우수한 성능을 갖고 있음을 알 수 있다.
이상에서 설명한 본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법은 비디오 영상을 대상으로 하는 딥러닝(convolutional neural network) 기반의 인간객체 탐지시에 다중 후보군으로부터 최적의 인간객체를 탐지할 수 있도록 한 것이다.
본 발명은 신경망에서 생성한 후보영역을 비최대억제 방법을 시행하여 후보 집합을 생성한 뒤 이를 통해 임계값을 동적으로 조절하고, 이를 이용하여 다시 비최대억제 방법을 수행하여 최적의 객체를 검출할 수 있도록 한다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
70. 비최대억제방법 수행부 71. 중첩 박스 확인부
72. 집단수 결정부 73. 집단화 수행부
74. 그룹별 임계값 결정부 75. 탐지객체박스 결정부

Claims (11)

  1. 비최대억제방법을 호출하는 함수 nmax_suppr()의 입력
    Figure 112020079464220-pat00106
    와
    Figure 112020079464220-pat00107
    을 입력받아 비최대억제방법을 수행하여 추정된 객체후보 박스 집합
    Figure 112020079464220-pat00108
    을 출력하는 비최대억제방법 수행부;
    상기 비최대억제방법 수행부에서 출력되는 집합
    Figure 112020079464220-pat00109
    에서 중첩된 박스의 개수를 구하는 중첩 박스 확인부;
    겹친영역의 개수를 고려하여 kmeans 집단화를 수행하기 위한 집단수를 결정하는 집단수 결정부;
    상기 집단수 결정부에서 결정된 집단수를 이용하여
    Figure 112020079464220-pat00110
    에 대하여 집단화를 kmeans 알고리듬을 사용하여 수행하는 집단화 수행부;
    집단화 수행부에서의 k개의 집단에 대하여 집단별 박스 개수로부터 그룹별 임계값을 결정하는 그룹별 임계값 결정부;
    각 그룹에 대하여 그룹별 임계값 결정부에서 결정된 임계값을 이용하여 비최대억제방법을 시행하고, 그 결과를 모두 합하여 최종 탐지객체박스를 결정하는 탐지객체박스 결정부;를 포함하고,
    집단수 결정이 이루어지면
    Figure 112020079464220-pat00160
    와
    Figure 112020079464220-pat00161
    를 이용하여 집단화를 k-means방법을 사용하여 집단화 결과
    Figure 112020079464220-pat00162
    를 출력하고, 각 그룹
    Figure 112020079464220-pat00163
    에 대하여 임계값을 결정하기 위하여 박스밀집도를
    Figure 112020079464220-pat00164
    으로 계산하고,
    임계값을,
    if
    Figure 112020079464220-pat00165
    ,
    Figure 112020079464220-pat00166

    else
    Figure 112020079464220-pat00167
    으로 계산하고, 여기서
    Figure 112020079464220-pat00168
    는 문제에 따라 결정되는 고정 임계값인 것을 특징으로 하는 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치.
  2. 제 1 항에 있어서, 상기 비최대억제방법을 호출하는 함수 nmax_suppr()의 입력
    Figure 112018092974318-pat00111
    와
    Figure 112018092974318-pat00112
    은,
    각각 객체 후보 박스들의 집합 {Bi}, 집합
    Figure 112018092974318-pat00113
    의 후보 박스들의 개수인 것을 특징으로 하는 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치.
  3. 제 2 항에 있어서, 각각 객체 후보 박스들의 집합 {Bi}는,
    CNN의 결과 i-번째 객체후보 박스, 박스의 크기와 중심좌표와 크기, 그리고 CNN 출력값 정보
    Figure 112018092974318-pat00114
    로 구성되고,
    여기서,
    Figure 112018092974318-pat00115
    는 박스의 x,y축 좌표,
    Figure 112018092974318-pat00116
    는 x,y축상의 크기 그리고
    Figure 112018092974318-pat00117
    는 CNN 신경망의 출력값인 것을 특징으로 하는 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치.
  4. 제 3 항에 있어서, CNN의 결과를 출력하기 위한 딥러닝 신경망 학습을 위하여,
    인간객체 및 비인간객체 샘플 데이터베이스를 구축하여 CNN(Convolutional Neural Network)의 파라미터를 학습하고 그 결과를 저장하고,
    다음 입력영상이 들어오면 다중-스케일 탐색(multi-scale search)를 통하여 후보 윈도우 박스 영역의 영상을 CNN 구조에 입력하여 출력값을 계산하는 것을 특징으로 하는 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치.
  5. 제 4 항에 있어서, 슬라이딩 윈도우(박스)의 크기는 고정하고, 입력영상을 스케일-공간 피라미드로 변환하면서, 박스영역의 입력영상을 CNN 분류기에 입력하면,
    입력 영상에 대하여 실제 인간객체마다 다수의 후보 박스들이 발생하게 되고, 얻어지는 정보는 박스의 위치 정보와 크기정보인 것을 특징으로 하는 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치.
  6. 비최대억제방법을 호출하는 함수 nmax_suppr()의 입력
    Figure 112020079464220-pat00118
    와
    Figure 112020079464220-pat00119
    을 입력받아 비최대억제방법을 수행하여 추정된 객체후보 박스 집합
    Figure 112020079464220-pat00120
    을 출력하는 비최대억제방법 수행 단계;
    상기 비최대억제방법 수행 단계에서 출력되는 집합
    Figure 112020079464220-pat00121
    에서 중첩된 박스의 개수를 구하는 중첩 박스 확인 단계;
    겹친영역의 개수를 고려하여 kmeans 집단화를 수행하기 위한 집단수를 결정하는 집단수 결정 단계;
    상기 집단수 결정 단계에서 결정된 집단수를 이용하여
    Figure 112020079464220-pat00122
    에 대하여 집단화를 kmeans 알고리듬을 사용하여 수행하는 집단화 수행 단계;
    집단화 수행 단계에서의 k개의 집단에 대하여 집단별 박스 개수로부터 그룹별 임계값을 결정하는 그룹별 임계값 결정 단계;
    각 그룹에 대하여 그룹별 임계값 결정 단계에서 결정된 임계값을 이용하여 비최대억제방법을 시행하고, 그 결과를 모두 합하여 최종 탐지객체박스를 결정하는 탐지객체박스 결정 단계;를 포함하고,
    집단수 결정이 이루어지면
    Figure 112020079464220-pat00169
    와
    Figure 112020079464220-pat00170
    를 이용하여 집단화를 k-means방법을 사용하여 집단화 결과
    Figure 112020079464220-pat00171
    를 출력하고, 각 그룹
    Figure 112020079464220-pat00172
    에 대하여 임계값을 결정하기 위하여 박스밀집도를
    Figure 112020079464220-pat00173
    으로 계산하고,
    임계값을,
    if
    Figure 112020079464220-pat00174
    ,
    Figure 112020079464220-pat00175

    else
    Figure 112020079464220-pat00176
    으로 계산하고, 여기서
    Figure 112020079464220-pat00177
    는 문제에 따라 결정되는 고정 임계값인 것을 특징으로 하는 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 방법.
  7. 제 6 항에 있어서, 상기 비최대억제방법을 호출하는 함수 nmax_suppr()의 입력
    Figure 112018092974318-pat00123
    와
    Figure 112018092974318-pat00124
    은,
    각각 객체 후보 박스들의 집합 {Bi}, 집합
    Figure 112018092974318-pat00125
    의 후보 박스들의 개수인 것을 특징으로 하는 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 방법.
  8. 제 7 항에 있어서, 각각 객체 후보 박스들의 집합 {Bi}는,
    CNN의 결과 i-번째 객체후보 박스, 박스의 크기와 중심좌표와 크기, 그리고 CNN 출력값 정보
    Figure 112018092974318-pat00126
    로 구성되고,
    여기서,
    Figure 112018092974318-pat00127
    는 박스의 x,y축 좌표,
    Figure 112018092974318-pat00128
    는 x,y축상의 크기 그리고
    Figure 112018092974318-pat00129
    는 CNN 신경망의 출력값인 것을 특징으로 하는 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 방법.
  9. 제 6 항에 있어서, 집단수 결정 단계에서,
    집합
    Figure 112018092974318-pat00130
    에 대하여 영역이 중첩된 후보박스의 개수
    Figure 112018092974318-pat00131
    을 이용하여 집단화를 시행하기 위한 집단수
    Figure 112018092974318-pat00132
    를,
    Figure 112018092974318-pat00133
    으로 결정하는 것을 특징으로 하는 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 방법.
  10. 삭제
  11. 삭제
KR1020180111651A 2018-09-18 2018-09-18 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법 KR102195940B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180111651A KR102195940B1 (ko) 2018-09-18 2018-09-18 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180111651A KR102195940B1 (ko) 2018-09-18 2018-09-18 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200036079A KR20200036079A (ko) 2020-04-07
KR102195940B1 true KR102195940B1 (ko) 2020-12-28

Family

ID=70290840

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180111651A KR102195940B1 (ko) 2018-09-18 2018-09-18 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102195940B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783700B (zh) * 2020-07-06 2023-11-24 中国交通通信信息中心 一种路面异物自动识别预警方法和系统
CN112052787B (zh) * 2020-09-03 2021-07-30 腾讯科技（深圳）有限公司 基于人工智能的目标检测方法、装置及电子设备
CN113591734B (zh) * 2021-08-03 2024-02-20 中国科学院空天信息创新研究院 一种基于改进nms算法的目标检测方法
CN114120127B (zh) * 2021-11-30 2024-06-07 济南博观智能科技有限公司 一种目标检测方法、装置及相关设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017157138A (ja) * 2016-03-04 2017-09-07 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
JP2017191608A (ja) * 2016-04-15 2017-10-19 株式会社リコー 対象識別方法、対象識別装置、及び分類器訓練方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10032067B2 (en) 2016-05-28 2018-07-24 Samsung Electronics Co., Ltd. System and method for a unified architecture multi-task deep learning machine for object recognition
KR101917354B1 (ko) * 2016-07-18 2018-11-09 단국대학교 천안캠퍼스 산학협력단 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템 및 방법
US10380741B2 (en) 2016-12-07 2019-08-13 Samsung Electronics Co., Ltd System and method for a deep learning machine for object detection
KR101873169B1 (ko) 2017-10-26 2018-06-29 한국항공우주연구원 관측 영상에 대한 실시간 훈련 및 객체 탐지하는 통합 모듈 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017157138A (ja) * 2016-03-04 2017-09-07 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
JP2017191608A (ja) * 2016-04-15 2017-10-19 株式会社リコー 対象識別方法、対象識別装置、及び分類器訓練方法

Also Published As

Publication number Publication date
KR20200036079A (ko) 2020-04-07

Similar Documents

Publication Publication Date Title
KR102195940B1 (ko) 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법
US11282185B2 (en) Information processing device, information processing method, and storage medium
WO2016107103A1 (zh) 图像主体区域的识别方法及装置
CN109918969B (zh) 人脸检测方法及装置、计算机装置和计算机可读存储介质
US9294665B2 (en) Feature extraction apparatus, feature extraction program, and image processing apparatus
CN105404884B (zh) 图像分析方法
JP5719297B2 (ja) 特徴量算出装置、特徴量算出方法及びプログラム
KR100809431B1 (ko) 가림 현상에 강인한 눈 검출 방법 및 장치
US9245198B2 (en) Object recognition by comparison of patterns against map of image
Karis et al. Local Binary Pattern (LBP) with application to variant object detection: A survey and method
US20200050885A1 (en) Image processing system
Kulkarni et al. Text detection and recognition: a review
Tarabek A real-time license plate localization method based on vertical edge analysis
JP5335554B2 (ja) 画像処理装置及び画像処理方法
KR101847175B1 (ko) 객체 인식방법 및 이를 이용한 객체 인식장치
Vijayalakshmi et al. Performance evaluation of object detection techniques for object detection
Filatov et al. Application of machine learning methods for traffic signs recognition
Prates et al. An adaptive vehicle license plate detection at higher matching degree
Patravali et al. Skin segmentation using YCBCR and RGB color models
US11113820B2 (en) Method of line detection
KR101490027B1 (ko) 영상 처리 방법 및 장치
KR102295619B1 (ko) 소나영상에서 사전형상 판별을 통한 표적식별 고속화 방법
KR101437228B1 (ko) 입체영상에서의 외곽선 가중치 기반 장애물 영역 검출 장치 및 방법
KR101727432B1 (ko) 단계별 영상을 이용한 객체 인식 성능 향상 장치 및 방법
KR101480072B1 (ko) 차량패턴 히스토그램 생성방법 및 이를 이용한 차량패턴 검출방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant