KR20190046349A - 기계 학습 기반의 객체 검출 방법 및 그 장치 - Google Patents

기계 학습 기반의 객체 검출 방법 및 그 장치 Download PDF

Info

Publication number
KR20190046349A
KR20190046349A KR1020170140044A KR20170140044A KR20190046349A KR 20190046349 A KR20190046349 A KR 20190046349A KR 1020170140044 A KR1020170140044 A KR 1020170140044A KR 20170140044 A KR20170140044 A KR 20170140044A KR 20190046349 A KR20190046349 A KR 20190046349A
Authority
KR
South Korea
Prior art keywords
region
detection
confidence score
object detection
threshold value
Prior art date
Application number
KR1020170140044A
Other languages
English (en)
Other versions
KR102348593B1 (ko
Inventor
강선아
김보연
하성종
이상학
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020170140044A priority Critical patent/KR102348593B1/ko
Priority to US16/134,436 priority patent/US10699169B2/en
Publication of KR20190046349A publication Critical patent/KR20190046349A/ko
Application granted granted Critical
Publication of KR102348593B1 publication Critical patent/KR102348593B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06K9/00281—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

기계 학습 기반의 객체 검출 방법이 제공된다. 객체 검출 장치에 의해 수행되는 본 발명의 일 실시예에 따른 기계 학습 기반의 객체 검출 방법은 학습용 이미지셋에 대한 기계 학습을 수행하여 객체 검출 모델을 구축하되, 상기 객체 검출 모델은 타깃 객체에 대한 컨피던스 스코어(confidence score)와 임계 값의 비교 결과에 기초하여 입력 이미지에서 타깃 객체를 검출하는 모델인 것인, 단계, 상기 타깃 객체에 대한 검출 결과가 주어진 입력 이미지를 획득하되, 상기 획득된 입력 이미지는 상기 학습용 이미지셋에 포함되지 않은 이미지인 것인, 단계, 상기 객체 검출 모델을 이용하여, 상기 획득된 입력 이미지에서 상기 타깃 객체가 존재하는 객체 영역을 예측하는 단계, 상기 예측된 객체 영역 중에서 상기 검출 결과에 매칭되지 않는 영역을 오검출 영역으로 분류하는 단계 및 상기 오검출 영역의 컨피던스 스코어에 기초하여, 상기 객체 검출 모델의 임계 값을 조정하는 단계를 포함할 수 있다.

Description

기계 학습 기반의 객체 검출 방법 및 그 장치{Method for detecting target object based on machine-learning and Apparatus thereof}
본 발명은 기계 학습 기반의 객체 검출 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 기계 학습을 통해 구축된 객체 검출 방법에 대한 재학습을 수행하지 않고, 새로운 환경에서 획득된 입력 이미지에 대하여 정확하게 타깃 객체를 검출하는 방법 및 그 방법을 수행하는 장치에 관한 것이다.
지능형 영상 분석 시스템은 CCTV(closed circuit television) 등의 영상 촬영 장치로부터 수집된 영상 정보를 실시간으로 분석하여 타깃 객체(target object)의 검출, 추적, 인식 등을 수행하고, 다양한 분석 정보를 제공하는 시스템을 의미한다. CCTV 보급의 확대 및 영상 분석 기술의 고도화에 따라, 현재 다양한 분야에 지능형 영상 분석 시스템이 구축되어 활용되고 있다.
지능형 영상 분석 시스템이 수행하는 일련의 영상 분석 작업 중에서 타깃 객체 검출은 영상 분석의 가장 기본적인 과정이자 분석 정보의 신뢰성을 담보하는 가장 중요한 작업이라고 할 수 있다. 지금까지 타깃 객체 검출을 위해 다양한 알고리즘이 제안된 바 있으나, 높은 정확도로 인해 기계 학습(machine learning) 기반의 객체 검출 방법이 각광받고 있다.
일반적으로 기계 학습 기반의 객체 검출 모델은 제한된 환경에서 획득된 이미지를 학습하여 타깃 객체의 검출 기준이 되는 임계 값을 확정한다. 또한, 기계 학습 기반의 객체 검출 모델은 확정된 임계 값을 이용하여 타깃 객체를 검출하게 된다. 이와 같은 경우, 제한된 환경에서 학습을 통해 확정된 임계 값을 새로운 환경에 획일적으로 적용하게 되면, 타깃 객체의 오검출(false positive)이 증가하는 문제가 발생된다. 특히, 지능형 영상 분석 시스템에서 객체 검출은 지능형 영상 분석의 첫 단계이기 때문에, 타깃 객체의 오검출은 전체 시스템의 성능을 저하시키는 주요한 원인이 될 수 있다.
상기와 같은 오검출 문제를 해결하기 위해, 새로운 환경에서 획득된 이미지를 기초로 객체 검출 모델에 대한 재학습이 수행될 수 있다. 그러나, 객체 검출 모델의 재학습은 학습 데이터셋 확보, 정제, 학습 등의 일련의 과정에서 많은 시간과 비용을 요구하기 때문에, 적용 환경이 변경될 때마다 재학습을 수행하는 것은 매우 비효율적이다.
따라서, 적용 환경이 변경되더라도 객체 검출 모델에 대한 재학습을 수행하지 않고 타깃 객체를 정확하게 검출할 수 있는 객체 검출 방법의 필요성이 제기된다.
한국등록특허 제10-0861803호 (2008.09.29 공개)
본 발명이 해결하고자 하는 기술적 과제는, 기 학습된 객체 검출 모델의 적용 환경이 변경되는 경우, 상기 객체 검출 모델에 대한 재학습을 수행하지 않고, 임계 값 조정을 통해 정확하게 타깃 객체를 검출할 수 있는 방법 및 그 방법을 수행하는 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 재학습 없이 정확하게 타깃 객체를 검출하기 위한 최적의 임계 값을 결정하는 방법 및 그 방법을 수행하는 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 상기 객체 검출 모델이 복수의 분류기(classifier)로 구성되는 경우, 임계 값 조정 대상이 되는 타깃 분류기를 정확하게 선정하는 방법 및 그 방법을 수행하는 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른 기계 학습 기반의 객체 검출 방법은, 객체 검출 장치에 의해 수행되는 기계 학습 기반의 객체 검출 방법에 있어서, 학습용 이미지셋에 대한 기계 학습을 수행하여 객체 검출 모델을 구축하되, 상기 객체 검출 모델은 타깃 객체에 대한 컨피던스 스코어(confidence score)와 임계 값의 비교 결과에 기초하여 입력 이미지에서 타깃 객체를 검출하는 모델인 것인, 단계, 상기 타깃 객체에 대한 검출 결과가 주어진 입력 이미지를 획득하되, 상기 획득된 입력 이미지는 상기 학습용 이미지셋에 포함되지 않은 이미지인 것인, 단계, 상기 객체 검출 모델을 이용하여, 상기 획득된 입력 이미지에서 상기 타깃 객체가 존재하는 객체 영역을 예측하는 단계, 상기 예측된 객체 영역 중에서 상기 검출 결과에 매칭되지 않는 영역을 오검출 영역으로 분류하는 단계 및 상기 오검출 영역의 컨피던스 스코어에 기초하여, 상기 객체 검출 모델의 임계 값을 조정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 획득된 입력 이미지에서 상기 타깃 객체에 대한 객체 영역을 예측하는 단계는, 상기 획득된 입력 이미지에서 상기 타깃 객체에 대한 컨피던스 스코어가 상기 임계 값 이상인 복수의 객체 후보 영역을 결정하는 단계, 상기 복수의 객체 후보 영역 중에서, 기 정의된 조건을 만족하는 n개(단, n은 1이상의 자연수) 이상의 객체 후보 영역을 각각의 그룹으로 그룹핑하는 단계, 및 상기 그룹핑된 객체 후보 영역을 상기 객체 영역으로 예측하는 단계를 포함할 수 있다.
일 실시예에서, 상기 객체 검출 모델은, 각각의 임계 값과 컨피던스 스코어의 비교 결과에 기초하여 입력 이미지의 각 영역을 객체 영역 또는 비객체 영역으로 분류하는 복수의 분류기(classifier)를 포함하고, 상기 예측된 객체 영역 중에서 상기 검출 결과에 매칭되는 영역을 정상 검출 영역으로 분류하는 단계를 더 포함하되, 상기 객체 검출 모델의 임계 값을 조정하는 단계는, 상기 복수의 분류기 각각에 의해 출력된 상기 정상 검출 영역의 컨피던스 스코어와 상기 오검출 영역의 컨피던스 스코어의 차이를 기초로, 상기 복수의 분류기 중에서 임계 값을 조정할 타깃 분류기를 선정하는 단계 및 상기 선정된 타깃 분류기의 임계 값을 조정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 객체 검출 모델은, 각각의 임계 값과 컨피던스 스코어의 비교 결과에 기초하여 입력 이미지의 각 영역을 객체 영역 또는 비객체 영역으로 분류하는 복수의 분류기(classifier)를 포함하고, 상기 객체 검출 모델의 임계 값을 조정하는 단계는, 각각의 분류기의 임계 값과 상기 각각의 분류기에 의해 출력된 상기 오검출 영역의 컨피던스 스코어의 차이를 기초로, 상기 복수의 분류기 중에서 임계 값을 조정할 타깃 분류기를 선정하는 단계 및 상기 선정된 타깃 분류기의 임계 값을 조정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 객체 검출 모델은, 각각의 임계 값과 컨피던스 스코어의 비교 결과에 기초하여 입력 이미지의 각 영역을 객체 영역 또는 비객체 영역으로 분류하는 복수의 분류기(classifier)를 포함하고, 상기 복수의 분류기는 캐스케이드(cascade) 구조로 구성되며, 상기 객체 검출 모델의 임계 값을 조정하는 단계는, 상기 복수의 분류기 중에서 임계 값을 조정할 어느 하나의 타깃 분류기를 선정하는 단계 및 상기 선정된 타깃 분류기의 임계 값을 조정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 검출 결과를 기초로 상기 획득된 이미지에서 상기 객체 검출 모델을 통해 검출되지 않은 미검출 영역이 존재하는지 여부를 판정하는 단계, 상기 미검출 영역이 존재한다는 판정에 응답하여, 상기 획득된 입력 이미지에 대한 기계 학습을 수행하여 상기 객체 검출 모델을 갱신하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 예측된 객체 영역 중에서 상기 검출 결과에 매칭되는 영역을 정상 검출 영역으로 분류하는 단계를 더 포함하되, 상기 객체 검출 모델의 임계 값을 조정하는 단계는, 상기 오검출 영역의 컨피던스 스코어가 상기 정상 검출 영역의 컨피던스 스코어보다 낮은 경우에 한하여, 상기 객체 검출 모델의 임계 값을 조정하는 단계를 포함할 수 있다.
상술한 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 기계 학습 기반의 객체 검출 장치는, 하나 이상의 프로세서, 네트워크 인터페이스, 상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(Load)하는 메모리 및 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은, 학습용 이미지셋에 대한 기계 학습을 수행하여 객체 검출 모델을 구축하되, 상기 객체 검출 모델은 타깃 객체에 대한 컨피던스 스코어(confidence score)와 임계 값의 비교 결과에 기초하여 입력 이미지에서 타깃 객체를 검출하는 모델인 것인, 오퍼레이션, 상기 타깃 객체에 대한 검출 결과가 주어진 입력 이미지를 획득하되, 상기 획득된 입력 이미지는 상기 학습용 이미지셋에 포함되지 않은 이미지인 것인, 오퍼레이션, 상기 객체 검출 모델을 이용하여, 상기 획득된 입력 이미지에서 상기 타깃 객체가 존재하는 객체 영역을 예측하는 오퍼레이션, 상기 예측된 객체 영역 중에서 상기 검출 결과에 매칭되지 않는 영역을 오검출 영역으로 분류하는 오퍼레이션 및 상기 오검출 영역의 컨피던스 스코어에 기초하여, 상기 객체 검출 모델의 임계 값을 조정하는 오퍼레이션을 포함할 수 있다.
상술한 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨터 프로그램은, 컴퓨팅 장치와 결합되어, 학습용 이미지셋에 대한 기계 학습을 수행하여 객체 검출 모델을 구축하되, 상기 객체 검출 모델은 타깃 객체에 대한 컨피던스 스코어(confidence score)와 임계 값의 비교 결과에 기초하여 입력 이미지에서 타깃 객체를 검출하는 모델인 것인, 단계, 상기 타깃 객체에 대한 검출 결과가 주어진 입력 이미지를 획득하되, 상기 획득된 입력 이미지는 상기 학습용 이미지셋에 포함되지 않은 이미지인 것인, 단계, 상기 객체 검출 모델을 이용하여, 상기 획득된 입력 이미지에서 상기 타깃 객체가 존재하는 객체 영역을 예측하는 단계, 상기 예측된 객체 영역 중에서 상기 검출 결과에 매칭되지 않는 영역을 오검출 영역으로 분류하는 단계 및 상기 오검출 영역의 컨피던스 스코어에 기초하여, 상기 객체 검출 모델의 임계 값을 조정하는 단계를 실행시키기 위하여 컴퓨터 판독 가능한 기록매체에 저장될 수 있다.
상술한 본 발명의 실시예에 따르면, 임계 값 조정 대상이 되는 타깃 분류기 및 최적의 임계 값이 결정된다. 이에 따라, 적용 환경 별로 객체 검출 모델의 임계 값이 미세 조정 가능하고, 새로운 환경에서도 재학습 없이 일정 수준 이상 타깃 객체 검출의 정확성 및 신뢰성이 보장될 수 있다. 특히, 타깃 객체가 오검출되는 거짓 긍정(false positive) 오류가 감소될 수 있다.
또한, 재학습에 요구되는 시간 비용 및 컴퓨팅 비용이 절감될 수 있다.
또한, 본 발명이 지능형 영상 분석 시스템에 적용되는 경우, 타깃 객체의 오검출이 감소함에 따라, 전반적인 시스템 성능이 향상될 수 있다.
또한, 타깃 객체가 미검출 되는 경우 객체 검출 모델의 재학습이 수행될 수 있다. 이에 따라, 타깃 객체가 미검출되는 거짓 부정(false negative) 오류 또한 감소될 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 지능형 영상 분석 시스템의 구성도이다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 기계 학습 기반의 객체 검출 장치를 나타내는 블록도이다.
도 4 및 도 5는 본 발명의 몇몇 실시예에서 참조될 수 있는 객체 검출 모델을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 기계 학습 기반의 객체 검출 장치의 하드웨어 구성도이다.
도 7은 본 발명의 일 실시예에 따른 기계 학습 기반의 객체 검출 방법을 나타내는 흐름도이다.
도 8a 내지 도 8f는 본 발명의 일 실시예에 따라 입력 이미지에 타깃 객체가 존재하는 객체 영역을 검출하는 과정을 설명하기 위한 예시도이다.
도 9a 내지 도 9e는 본 발명의 일 실시예에 따라 영역 별 컨피던스 스코어의 분석 결과를 기초로 객체 검출 모델의 임계 값을 조정하는 과정을 설명하기 위한 예시도이다.
도 10은 본 발명의 일 실시예에 따른 객체 검출 모델의 재학습 방법을 나타내는 흐름도이다.
도 11은 본 발명의 몇몇 실시예에서 참조될 수 있는 데이터 확장(data augmentation) 연산을 설명하기 위한 예시도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 명세서에 대한 설명에 앞서, 본 명세서에서 사용되는 몇몇 용어들에 대하여 명확하게 하기로 한다.
본 명세서에서, 타깃 객체(target object)란, 검출 대상이 되는 사람 또는 사물을 의미한다. 또한, 상기 타깃 객체는 객체의 전부 또는 일부를 의미할 수도 있다. 일 예시로, 상기 타깃 객체는 사람의 얼굴 부위가 될 수 있다. 다만, 상기 예시는 본 발명의 일부 실시예를 설명하기 위한 것으로 상기 예시에 본 발명이 한정되는 것은 아니다.
본 명세서에서, 기계 학습 기반의 객체 검출 모델이란, 기계 학습 알고리즘을 통해 학습되고, 임계 값을 이용하여 입력 이미지에서 타깃 객체가 존재하는 객체 영역을 예측하는 모델이다. 일 예시로, 상기 객체 검출 모델은 입력 이미지에서 타깃 객체에 대한 컨피던스 스코어(confidence score)가 임계 값 이상이 되는 영역을 객체 영역으로 예측하는 모델일 수 있다. 다만, 상기 예시는 본 발명의 일부 실시예를 설명하기 위한 것으로 상기 예시에 본 발명이 한정되는 것은 아니다.
본 명세서에서, 임계 값이란, 타깃 객체 검출의 판정 기준이 되는 값을 의미한다. 일 예시로, 상기 임계 값은 특정한 하나의 값으로 설정될 수 있다. 다른 일 예시로, 상기 임계 값은 일정 범위의 값으로 설정될 수 있다. 다만, 상기 예시들은 본 발명의 일부 실시예를 설명하기 위한 것으로 상기 예시들에 본 발명이 한정되는 것은 아니다.
본 명세서에서, 컨피던스 스코어(confidence score)란, 입력 이미지에 대하여 기계 학습 기반의 객체 검출 모델이 출력하는 출력 값으로, 입력 이미지 또는 입력 이미지의 특정 영역에 타깃 객체가 존재할 확률을 가리키는 값으로 이해될 수 있다. 스케일링(scaling) 정도에 따라, 상기 컨피던스 스코어는 0 내지 1 범위, 0 내지 100 범위 등으로 다양한 범위의 크기 값을 가질 수 있다.
본 명세서에서, 환경(environment)이란, 입력 이미지에서 타깃 객체를 검출하는 데 영향을 미치는 모든 요인을 포함하는 포괄적인 용어로 해석될 수 있다. 예를 들어, 환경은 촬영 지역, 조도, 화질 등과 같이 타깃 객체 검출에 영향을 미치는 모든 요인을 포함할 수 있다. 다만, 상기 예시들은 본 발명의 일부 실시예를 설명하기 위한 것으로 상기 예시들에 본 발명이 한정되는 것은 아니다.
이하, 본 발명의 몇몇 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 지능형 영상 분석 시스템의 구성도이다.
도 1을 참조하면, 지능형 영상 분석 시스템은 객체 검출 장치(100), 지능형 영상 분석 장치(200) 및 적어도 하나의 영상 촬영 장치(300)를 포함하도록 구성될 수 있다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 구성 요소가 추가되거나 삭제될 수 있음은 물론이다. 또한, 도 1에 도시된 지능형 영상 분석 시스템의 각각의 구성 요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 적어도 하나의 구성 요소가 실제 물리적 환경에서는 서로 통합되는 형태로 구현될 수도 있음에 유의한다. 예를 들어, 객체 검출 장치(100)와 지능형 영상 분석 장치(200)는 동일한 장치 내의 서로 다른 로직(logic)으로 구현될 수도 있다. 이하, 상기 지능형 영상 분석 시스템의 각 구성 요소에 대하여 설명하도록 한다.
상기 지능형 영상 분석 시스템에서, 객체 검출 장치(100)는 기계 학습을 통해 구축된 객체 검출 모델을 이용하여 입력 이미지에서 객체 검출을 수행하는 컴퓨팅 장치이다. 본 실시예에서, 상기 입력 이미지는 적어도 하나의 영상 촬영 장치(300)로부터 수신될 수 있으나, 다른 실시예에서 상기 입력 이미지는 어떠한 방식으로 획득되더라도 무방하다.
상기 컴퓨팅 장치는, 노트북, 데스크톱(desktop), 랩탑(laptop) 등이 될 수 있으나, 이에 국한되는 것은 아니며 컴퓨팅 기능 및 통신 기능이 구비된 모든 종류의 장치를 포함할 수 있다. 다만, 실시간으로 영상 분석이 수행되는 경우라면, 객체 검출 장치(100)는 고성능의 서버 컴퓨팅 장치로 구현되는 것이 바람직할 수 있다.
본 발명의 실시예에 따르면, 객체 검출 장치(100)는 타깃 객체에 대한 검출 결과가 주어진 입력 이미지를 기초로 타깃 객체의 오검출이 발생되는지 여부를 판정한다. 또한, 타깃 객체의 오검출 발생 판정에 응답하여, 객체 검출 장치(100)는 타깃 객체의 검출 기준이 되는 임계 값을 동적으로 조정할 수 있다. 예를 들어, 객체 검출 장치(100)가 새로운 환경에 적용되는 경우, 검출 결과가 주어진 새로운 환경의 입력 이미지를 기초로 임계 값이 동적으로 조정될 수 있다. 본 실시예에 따르면, 새로운 환경에 대한 재학습 없이도, 타깃 객체의 오검출 문제가 해결될 수 있다. 이에 따라, 재학습에 소요되는 컴퓨팅 비용 및 시간 비용은 감소되고, 타깃 객체 검출의 정확성 및 신뢰성은 향상될 수 있다. 본 실시예에 대한 자세한 설명은 추후 도 7 내지 도 9e를 참조하여 상세하게 설명하도록 한다.
상기 지능형 영상 분석 시스템에서, 지능형 영상 분석 장치(200)는 객체 검출 장치(100)의 검출 결과를 기초로 타깃 객체에 대한 인식, 추적 등의 지능형 영상 분석을 수행하는 컴퓨팅 장치이다.
상기 지능형 영상 분석 시스템에서, 영상 촬영 장치(300)는 감시 지역에 대한 이미지 정보를 생성하는 장치이다. 영상 촬영 장치(300)는 예를 들어 CCTV로 구현될 수 있으나, 이에 국한되는 것은 아니며, 감시 지역에 대한 이미지 정보를 생성할 수만 있다면 어떠한 장치로 구현되더라도 무방하다. 특히, 도 1은 지능형 영상 분석 시스템이 복수의 영상 촬영 장치(300a, 300b, 300c)를 포함하는 경우를 예로써 도시하고 있다.
상기 지능형 영상 분석 시스템의 각 구성 요소는 네트워크를 통해 통신할 수 있다. 여기서, 상기 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 이동 통신망(mobile radio communication network), Wibro(Wireless Broadband Internet) 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.
지금까지 도 1을 참조하여 본 발명의 일 실시예에 따른 지능형 영상 분석 시스템에 대하여 설명하였다. 다음으로, 상기 지능형 영상 분석 시스템의 일 구성 요소인 객체 검출 장치(100)의 구성 및 동작에 대하여 도 2 내지 도 6을 참조하여 설명하도록 한다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 기계 학습 기반의 객체 검출 장치(100)를 나타내는 블록도이다. 특히, 도 2는 객체 검출 장치(100)의 동작 모드 별 처리 경로를 함께 도시하고 있다.
도 2를 참조하면, 객체 검출 장치(100)는 2가지 모드로 동작할 수 있다. 제1 모드는 타깃 객체에 대한 검출 결과가 주어지지 않은 입력 이미지에서 타깃 객체를 검출하는 모드이다. 객체 검출 장치(100)가 상기 제1 모드로 동작하는 경우, 제1 처리 경로(160)에 따라 타깃 객체의 검출이 수행되고, 검출 결과는 지능형 영상 분석 장치(200)로 제공된다.
제2 모드는 타깃 객체에 대한 검출 결과가 주어진 입력 이미지를 이용하여 타깃 객체의 검출에 이용되는 임계 값을 조정하는 모드이다. 객체 검출 장치(100)가 상기 제2 모드로 동작하는 경우, 제2 처리 경로(170)에 따라 타깃 객체의 검출, 임계 값 조정 등이 수행된다.
실시예에 따라, 상기 제1 모드 및 상기 제2 모드는 자동으로 결정될 수 있다. 예를 들어, 검출 결과가 주어지 않은 제1 입력 이미지가 입력되는 경우, 객체 검출 장치(100)는 자동으로 제1 모드로 동작하고, 반대의 경우 객체 검출 장치(100)는 자동으로 제2 모드로 동작할 수 있다. 이하에서는, 객체 검출 장치(100)가 상기 제2 모드로 동작하는 것을 가정하여, 각 구성 요소(110 내지 150)의 동작에 대하여 설명하도록 한다. 다만, 객체 검출 장치(100)가 상기 제1 모드로 동작하는 경우에도 객체 검출부(120)의 동작이 크게 달라지는 것은 아니다.
도 3을 참조하면, 객체 검출 장치(100)는 이미지 획득부(110), 객체 검출부(120), 분류부(130), 분석부(140) 및 임계 값 조정부(150)를 포함할 수 있다. 다만, 도 3에는 본 발명의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 3에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다. 또한, 도 3에 도시된 객체 검출 장치(100)의 각각의 구성 요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 적어도 하나의 구성 요소가 실제 물리적 환경에서는 서로 통합되는 형태로 구현될 수도 있음에 유의한다.
각 구성 요소를 살펴보면, 이미지 획득부(110)는 객체 검출이 수행될 입력 이미지를 획득한다. 일 예시로, 이미지 획득부(110)는 영상 촬영 장치(300)로부터 입력 이미지를 수신할 수 있다. 다만, 상기 예시는 본 발명의 일부 실시예를 설명하기 위한 것으로 상기 예시에 본 발명이 한정되는 것은 아니다.
객체 검출부(120)는 이미지 획득부(110)에 의해 제공된 입력 이미지에서 타깃 객체를 검출한다.
본 발명의 실시예에 따르면, 객체 검출부(120)는 기계 학습 기반의 객체 검출 모델을 이용하여 입력 이미지에서 타깃 객체가 존재하는 객체 영역을 검출한다. 이때, 상기 입력 이미지는 검출 결과가 미리 주어진 입력 이미지일 수 있다. 단, 객체 검출 장치(100)가 상기 제1 모드로 동작하는 경우라면, 상기 입력 이미지는 검출 결과가 주어지지 않은 이미지일 수 있다.
구체적으로, 객체 검출부(120)는 객체 검출 모델에 의해 출력된 타깃 객체에 대한 컨피던스 스코어와 임계 값과의 비교 결과에 기초하여 입력 이미지에서 타깃 객체가 존재하는 객체 영역을 검출한다. 이때, 임계 값은 임계 값 조정부(150)에 의해 검출 환경에 따라 동적으로 조정되는 값일 수 있다.
일 예시로, 객체 검출부(120)는 입력 이미지에서 컨피던스 스코어가 임계 값 이상인 영역을 타깃 객체가 존재하는 객체 영역으로 검출할 수 있다. 또는, 객체 검출부(120)는 컨피던스 스코어가 임계 값 이상인 영역을 객체 후보 영역으로 검출하고, 지정된 조건을 만족하는 n개(n은 1이상의 자연수) 이상의 객체 후보 영역이 검출된 경우, 상기 n개 이상의 객체 후보 영역을 객체 영역으로 검출할 수도 있다. 이에 대한 사항은 도 8a 내지 도 8f를 참조하여 부연 설명하도록 한다. 다만, 상기 예시는 본 발명의 일부 실시예를 설명하기 위한 것으로 상기 예시에 본 발명이 한정되는 것은 아니다.
본 발명의 실시예에 따르면, 도 4에 도시된 바와 같이, 객체 검출 모델(123)은 아다부스트(AdaBoost) 알고리즘을 기초로 학습된 모델일 수 있다. 다만, 실시예에 따라, 기계 학습 알고리즘의 종류는 얼마든지 달라지더라도 무방하다. 참고로, 아다부스트 알고리즘은 복수의 약 분류기(121-1 내지 121-n, weak classifier)를 학습하여 적어도 하나의 강 분류기(121, strong classifier)를 구축하는 기계 학습 알고리즘으로, 당해 기술 분야에서 이미 널리 알려진 알고리즘이므로 이에 대한 자세한 설명은 생략하도록 한다.
또한, 본 발명의 실시예에 따르면, 복수의 분류기(e.g. 약 분류기, 강 분류기)는 도 5에 도시된 바와 같이 캐스케이드(cascade) 구조로 구성될 수 있다. 특히, 도 5는 m개의 강 분류기(125-1 내지 125-m)가 캐스케이드 구조로 구성되고, 강 분류기(125-1 내지 125-m)을 구성하는 n개의 약 분류기 또한 캐스케이드 구조로 구성된 것을 예로써 도시하였다. 다만, 도 5에 도시된 예시는 본 발명의 일부 실시예를 설명하기 위한 것으로 상기 예시에 본 발명이 한정되는 것은 아니다.
분류부(130)는 객체 검출부(120)에 의해 검출된 객체 영역을 정상 검출 영역, 오검출 영역 및 미검출 영역으로 분류한다. 분류부(130)는 미리 주어진 타깃 객체에 대한 검출 결과를 이용하여 상기 분류를 수행할 수 있다. 구체적으로, 분류부(130)는 복수의 객체 영역 중에서 상기 검출 결과에 매칭되는 영역을 정상 검출 영역으로 분류하고, 매칭되지 않는 영역을 오검출 영역으로 분류한다. 또한, 분류부(130)는 상기 검출 결과에는 존재하지만 객체 영역으로 검출되지 않은 영역을 미검출 영역으로 분류할 수 있다.
분석부(140)는 각 영역 별 컨피던스 스코어를 분석하고 다양한 분석 결과를 제공한다. 일 예시로, 분석부(140)는 객체 영역(e.g. 정상 영역, 오검출 영역, 미검출 영역)을 기준으로 최대, 최소, k번째(단, k는 1이상의 자연수) 컨피던스 스코어 및/또는 해당 컨피던스 스코어를 갖는 영역을 분석 결과로 제공할 수 있다. 다른 일 예시로, 분석부(140)는 객체 영역이 복수의 객체 후보 영역으로 구성되는 경우 객체 후보 영역을 기준으로 최대, 최소, k번째 컨피던스 스코어 및/또는 해당 컨피던스 스코어를 갖는 객체 후보 영역을 분석 결과로 제공할 수 있다. 다만, 상기 예시들은 본 발명의 일부 실시예를 설명하기 위한 것으로 상기 예시들에 본 발명이 한정되지 아니한다.
임계 값 조정부(150)는 분석부(140)의 분석 결과를 기초로 객체 검출부(120)에서, 정확하게는 객체 검출 모델, 이용되는 임계 값을 조정한다. 분석부(140) 및 임계 값 조정부(150)의 동작에 대한 자세한 설명은 이후 도 9a 내지 도 9e를 참조하여 상세하게 설명하도록 한다.
한편, 도 3에 도시되지 않았으나, 객체 검출 장치(100)는 재학습부(미도시)를 더 포함하도록 구성될 수 있다. 재학습부(미도시)는 소정의 조건 하에 기계 학습 기반의 객체 검출 모델에 대한 재학습을 수행할 수 있다. 재학습부의 동작에 대해서는 이후 도 10 및 도 11을 참조하여 후술하도록 한다.
도 2 및 도 3를 참조하여 설명된 각 구성 요소는 소프트웨어(Software) 또는, FPGA(Field Programmable Gate Array)나 ASIC(Application-Specific Integrated Circuit)과 같은 하드웨어(Hardware)를 의미할 수 있다. 그렇지만, 상기 구성 요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(Addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성 요소들 안에서 제공되는 기능은 더 세분화된 구성 요소에 의하여 구현될 수 있으며, 복수의 구성 요소들을 합하여 특정한 기능을 수행하는 하나의 구성 요소로 구현될 수도 있다.
도 6은 본 발명의 또 다른 실시예에 따른 기계 학습 기반의 객체 검출 장치(100)의 하드웨어 구성도이다.
도 6을 참조하면, 기계 학습 기반의 객체 검출 장치(100)는 하나 이상의 프로세서(101), 버스(105), 네트워크 인터페이스(107), 프로세서(101)에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리(103)와, 기계 학습 기반의 객체 검출 소프트웨어(109a)를 저장하는 스토리지(109)를 포함할 수 있다. 다만, 도 6에는 본 발명의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 6에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
프로세서(101)는 기계 학습 기반의 객체 검출 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(101)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(101)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 기계 학습 기반의 객체 검출 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.
메모리(103)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(103)는 본 발명의 실시예들에 따른 기계 학습 기반의 객체 검출 방법을 실행하기 위하여 스토리지(109)로부터 하나 이상의 프로그램(109a)을 로드할 수 있다. 도 6에서 메모리(103)의 예시로 RAM이 도시되었다.
버스(105)는 기계 학습 기반의 객체 검출 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(105)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
네트워크 인터페이스(107)는 기계 학습 기반의 객체 검출 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 네트워크 인터페이스(107)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 네트워크 인터페이스(107)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.
스토리지(109)는 하나 이상의 프로그램(109a) 및 입력 이미지(109b)를 비임시적으로 저장할 수 있다. 도 6에서 하나 이상의 프로그램(109a)의 예시로 기계 학습 기반의 객체 검출 소프트웨어(109a)가 도시되었다.
스토리지(109)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
기계 학습 기반의 객체 검출 소프트웨어(109a)는 이하에서 후술될 본 발명의 실시예에 따른 기계 학습 기반의 객체 검출 방법을 수행할 수 있다. 예를 들어, 기계 학습 기반의 객체 검출 소프트웨어(109a)는 메모리(103)에 로드되어, 하나 이상의 프로세서(101)에 의해, 학습용 이미지셋에 대한 기계 학습을 수행하여 객체 검출 모델을 구축하되, 상기 객체 검출 모델은 타깃 객체에 대한 컨피던스 스코어(confidence score)와 임계 값의 비교 결과에 기초하여 입력 이미지에서 타깃 객체를 검출하는 모델인 것인, 오퍼레이션, 상기 타깃 객체에 대한 검출 결과가 주어진 입력 이미지를 획득하되, 상기 획득된 입력 이미지는 상기 학습용 이미지셋에 포함되지 않은 이미지인 것인, 오퍼레이션, 상기 객체 검출 모델을 이용하여, 상기 획득된 입력 이미지에서 상기 타깃 객체가 존재하는 객체 영역을 예측하는 오퍼레이션, 상기 예측된 객체 영역 중에서 상기 검출 결과에 매칭되지 않는 영역을 오검출 영역으로 분류하는 오퍼레이션 및 상기 오검출 영역의 컨피던스 스코어에 기초하여, 상기 객체 검출 모델의 임계 값을 조정하는 오퍼레이션을 실행할 수 있다.
지금까지, 도 2 내지 도 6을 참조하여 본 발명의 실시예에 따른 기계 학습 기반의 객체 검출 장치(100)의 구성 및 동작에 대하여 설명하였다. 다음으로, 도 7 내지 도 9e를 참조하여 본 발명의 일 실시예에 따른 기계 학습 기반의 객체 검출 방법에 대하여 상세하게 설명한다.
이하에서 후술할 본 발명의 실시예에 따른 기계 학습 기반의 객체 검출 방법의 각 단계는, 컴퓨팅 장치에 의해 수행될 수 있다. 예를 들어, 상기 컴퓨팅 장치는 객체 검출 장치(100)일 수 있다. 다만, 설명의 편의를 위해, 상기 기계 학습 기반의 객체 검출 방법에 포함되는 각 단계의 동작 주체는 그 기재가 생략될 수도 있다. 또한, 기계 학습 기반의 객체 검출 방법의 각 단계는 객체 검출 소프트웨어(109a)의 각 오퍼레이션으로 구현될 수 있다.
도 7은 본 발명의 일 실시예에 따른 기계 학습 기반의 객체 검출 방법의 흐름도이다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.
도 7을 참조하면, 단계(S100)에서, 학습용 이미지셋에 대한 기계 학습을 통해 객체 검출 모델이 구축된다. 예를 들어, 타깃 객체가 얼굴 부위인 경우, 아다부스트(AdaBoost) 알고리즘에 기초한 기계 학습 통해 객체 검출 모델이 구축될 수 있다. 단, 상기 객체 검출 모델에 의해 검출되는 타깃 객체 및/또는 기계 학습에 이용되는 알고리즘의 종류는 얼마든지 달라질 수 있다.
또한, 단계(S100)에서 기계 학습을 통해 타깃 객체의 검출 기준이 되는 임계 값이 결정될 수 있다. 객체 검출 모델은 입력 이미지에서 컨피던스 스코어가 임계 값 이상이 되는 영역을 기초로 타깃 객체가 존재하는 객체 영역을 검출할 수 있다. 상기 임계 값은 예를 들어 신뢰 수준이 90%, 95%, 99% 등이 되는 컨피던스 스코어로 결정될 수 있으나, 이는 일 예시에 불과할 뿐 어떠한 방식으로 결정되더라도 무방하다.
객체 검출 모델이 구축되면, 입력 이미지에서 타깃 객체가 검출될 수 있다. 다만, 학습되지 않은 새로운 환경에 상기 객체 검출 모델이 적용되는 경우, 타깃 객체에 대한 오검출이 빈번하게 발생할 수 있다. 따라서, 본 발명의 실시예에 따르면, 단계(S100)를 통해 구축된 객체 검출 모델이 학습되지 않은 새로운 환경에 적용되기 전에, 단계(S200 내지 S600)을 통해 임계 값을 조정하는 과정이 수행될 수 있다. 이하, 임계 값 조정 과정에 대하여 설명하도록 한다.
단계(S200)에서, 객체 검출 모델을 이용하여 상기 학습용 이미지셋에 포함되지 않은 입력 이미지(이하, "제1 입력 이미지"로 명명함)에서 타깃 객체가 존재하는 객체 영역이 예측된다. 이때, 상기 제1 입력 이미지는 타깃 객체에 대한 검출 결과가 주어진 이미지를 의미한다.
보다 이해의 편의를 제공하기 위해, 타깃 객체가 얼굴 부위인 경우, 객체 검출 모델을 이용하여 객체 영역이 예측되는 과정에 대하여 도 8a 내지 도 8f를 참조하여 부연 설명하도록 한다. 특히, 도 8a 내지 도 8f에서 예시된 객체 검출 모델은 캐스케이드 구조로 구성된 복수의 분류기로 구현되었다고 가정하였다.
입력 이미지가 주어지면, 객체 검출 장치(100)는 도 8a에 도시된 바와 같이 슬라이딩 윈도우(sliding window) 방식으로 각 윈도우 영역을 객체 검출 모델에 입력한다. 또한, 객체 검출 모델은 각 영역 별로 타깃 객체에 대한 컨피던스 스코어를 출력한다. 예를 들어, 객체 검출 모델을 구성하는 각각의 분류기는 입력 이미지(410)의 제1 윈도우 영역(411)에 대하여 제1 컨피던스 스코어를 출력하고, 동일하게 제2 및 제3 윈도우 영역(412, 413)에 대하여 제2 및 제3 컨피던스 스코어를 출력할 수 있다. 이하에서는, 객체 검출 모델을 주체로 하여 설명을 이어가도록 한다.
다음으로, 객체 검출 모델은 출력된 컨피던스 스코어가 임계 값 이상인 영역을 객체 후보 영역으로 검출한다. 일 예시로, 복수의 분류기가 캐스케이드 구조로 구성된 경우, 도 8b에 도시된 바와 같이, 복수의 분류기 각각이 출력한 컨피던스 스코어(423, 425)가 모두 임계 값(421) 이상인 영역이 객체 후보 영역으로 검출될 수 있다. 다른 일 예시로, 복수의 분류기가 캐스케이드 구조로 구성되지 않은 경우, 컨피던스 스코어의 대표 값(e.g. 평균 값, 최빈 값, 중간 값 등)과 임계 값의 비교 결과에 기초하여 객체 후보 영역이 검출될 수 있다. 다만, 상기 예시들은 본 발명의 일부 실시예를 설명하기 위한 것으로 상기 예시들에 본 발명이 한정되지 아니한다.
다음으로, 객체 검출 모델은 검출된 복수의 객체 후보 영역 중에서 기 정의된 조건을 만족하는 n개(단, n은 1이상의 자연수) 이상의 객체 후보 영역을 그룹핑한다. 이때, 기 정의된 조건은 예를 들어 IoU(intersection over union)에 기초한 조건일 수 있다. IoU에 대한 개념은 도 8c를 참조하도록 하며, IoU의 개념은 당해 기술 분야의 종사자라면 자명하게 알 수 있는 것인 바 이에 대한 설명은 생략하도록 한다.
구체적인 예를 들어, 상기 기 정의된 조건이 IoU가 "50%"이상인 조건이고 n이 3으로 설정된 경우, 객체 검출 모델은 IoU가 50% 이상이 되는 3개 이상의 객체 후보 영역을 하나의 그룹으로 그룹핑하게 된다. 도 8d는 상기 예시에 따라, 객체 검출 모델에 의해 그룹핑 된 결과(431, 433)를 도시하고 있다.
여기서, 상기 n의 값은 기 설정된 고정 값 또는 상황에 따라 변동하는 변동 값일 수 있다. 예를 들어, 상기 n의 값은 객체 검출의 정확도 요구 수준이 높을수록 큰 값으로 설정되는 변동 값일 수 있다.
다음으로, 객체 검출 모델은 그룹핑 된 객체 후보 영역에 대한 후처리를 수행하여 객체 영역을 결정한다. 상기 후처리는 예를 들어 도 8e에 도시된 바와 같이 복수의 객체 후보 영역(441, 443, 445)을 정합하는 일련의 프로세스를 의미하는 것일 수 있다. 상기 후처리에 따라, 객체 영역(450)의 위치가 정확하게 결정될 수 있다. 도 8f는 도 8d에 도시된 그룹핑 된 객체 후보 영역(431, 433)에 대하여 후처리가 수행된 결과(461, 463)를 도시하고 있다.
다시 도 7을 참조하면, 단계(S300)에서, 단계(S200)에서 예측된 객체 영역과 미리 주어진 검출 결과와의 비교 결과에 기초하여, 상기 예측된 객체 영역이 정상 검출 영역, 오검출 영역 및 미검출 영역으로 분류된다. 상기 검출 결과는 타깃 객체의 존재하는 객체 영역이 정확하게 검출된 결과(e.g. ground truth)를 의미한다. 예를 들어, 도 8f에 도시된 바와 같이, 미리 주어진 검출 결과에 매칭되지 않는 객체 영역(461)은 오검출 영역으로 분류되고, 검출 결과에 매칭되는 객체 영역(463)은 정상 검출 영역으로 분류된다.
단계(S400)에서, 오검출 영역 존재 여부에 대한 판정이 수행된다. 오검출 영역이 존재하지 않는 것으로 판정된 경우, 이후의 단계(S500, S600)는 수행되지 않고, 곧바로 타깃 객체에 대한 검출 결과가 주어지지 않은 입력 이미지(이하, "제2 입력 이미지"로 명명함)에서 타깃 객체에 대한 검출이 수행될 수 있다.
오검출 영역이 존재하는 것으로 판정된 경우, 단계(S500)에서, 영역 별로 컨피던스 스코어가 분석된다. 이때, 상기 분석은 예를 들어 객체 영역을 기준으로 최대, 최소, k번째(단, k는 1이상의 자연수) 컨피던스 스코어 및/또는 해당 컨피던스 스코어를 갖는 영역을 도출하는 과정을 포함할 수 있다. 다른 예를 들어, 객체 영역이 복수의 객체 후보 영역을 포함하는 경우, 상기 분석은 각 객체 영역을 구성하는 객체 후보 영역을 기준으로 최대, 최소, k번째 컨피던스 스코어 및/또는 해당 컨피던스 스코어를 갖는 객체 후보 영역을 도출하는 과정을 포함할 수 있다. 다만, 상기 예시들은 본 발명의 일부 실시예를 설명하기 위한 것으로 상기 예시들에 본 발명이 한정되지 아니한다.
단계(S600)에서, 단계(S500)의 분석 결과를 기초로 임계 값이 조정된다. 단계(S500, S600)에 대한 설명은 이하에서 보다 상세하게 설명하도록 한다.
단계(S700)에서, 조정된 임계 값을 이용하여 상기 제2 입력 이미지에서 타깃 객체에 대한 검출이 수행될 수 있다. 단계(S700)에서 수행되는 객체 검출 과정은 조정된 임계 값을 이용하여 수행되기 때문에 타깃 객체에 대한 오검출이 감소될 수 있다. 오검출이 감소될 수 있는 이유는 이하의 설명을 참조하면 명확하게 이해될 수 있을 것이다.
지금부터, 영역 별 컨피던스 스코어의 분석 결과에 기초하여 객체 검출 장치(100)가 객체 검출 모델의 임계 값을 조정하는 방법에 대하여 설명하도록 한다. 아울러, 이하에서 후술할 적어도 하나의 실시예는 객체 검출 모델의 임계 값 조정을 위해 다양한 형태로 조합될 수 있음에 유의한다.
일 실시예에서, 오검출 영역의 컨피던스 스코어에 대한 분석 결과에 기초하여 임계 값이 조정될 수 있다. 일 예시로, 복수 개의 오검출 영역 각각에 대한 컨피던스 스코어 중에서 최대 컨피던스 스코어가 분석 결과로 도출되었다고 가정하자. 그러면, 상기 임계 값은 상기 최대 컨피던스 스코어보다 높은 값을 갖도록 조정될 수 있다. 다른 일 예시로, 오검출 영역이 기 지정된 조건을 만족하는 n개 이상의 객체 후보 영역으로 구성되었다고 가정하자. 또한, 상기 객체 후보 영역 별 컨피던스 스코어 중에서 n번째로 높은 제1 컨피던스 스코어와 n-1번째로 높은 제2 컨피던스 스코어가 분석 결과로 도출되었다고 가정하자. 그러면, 상기 임계 값은 상기 제1 컨피던스 스코어와 상기 제2 컨피던스 사이의 값으로 조정될 수 있다. 본 예시에서, 객체 검출 모델은 n개 미만의 객체 후보 영역을 하나의 객체 영역으로 그룹핑하지 않기 때문이다. 다만, 상기 예시들은 본 발명의 일부 실시예를 설명하기 위한 것으로 상기 예시들에 본 발명이 한정되지 아니한다.
일 실시예에서, 정상 검출 영역의 컨피던스 스코어에 대한 분석 결과 및 오검출 영역의 컨피던스 스코어에 대한 분석 결과에 기초하여 임계 값이 조정될 수 있다. 일 예시로, 오검출 영역의 최대 컨피던스 스코어와 정상 검출 영역의 최소 컨피던스 스코어가 분석 결과로 도출되었다고 가정하자. 그러면, 상기 임계 값은 상기 최대 컨피던스 스코어와 상기 최소 컨피던스 스코어 사이의 값으로 조정될 수 있다. 다른 일 예시로, 오검출 영역 및 정상 검출 영역이 기 지정된 조건을 만족하는 n개 이상의 객체 후보 영역으로 구성되었다고 가정하자. 그러면, 오검출 영역을 구성하는 객체 후보 영역의 컨피던스 스코어 중에서 n번째로 높은 제1-1 컨피던스 스코어와 n-1번째로 높은 제1-2 컨피던스 스코어 사이에서 제1 값이 결정될 수 있다. 또한, 정상 검출 영역을 구성하는 객체 후보 영역의 컨피던스 스코어 중에서 n번째로 낮은 제2-1 컨피던스 스코어와 n+1번째로 낮은 제2-2 컨피던스 스코어 사이에서 제2 값이 결정될 수 있다. 그러면, 상기 임계 값은 상기 제1 값과 상기 제2 값 사이의 값으로 조정될 수 있다. 상기 제1 값과 상기 제2 값 사이에 위치한 임계 값을 이용하면, 정상 검출 영역은 여전히 검출되나, 오검출 영역은 검출되지 않을 것이기 때문이다. 다만, 상기 예시들은 본 발명의 일부 실시예를 설명하기 위한 것으로 상기 예시들에 본 발명이 한정되지 아니한다.
이하에서는, 도 9a 내지 도 9e를 참조하여 객체 검출 모델이 캐스케이드 구조로 구성된 복수의 분류기로 구현되고, 정상 검출 영역 및 오검출 영역이 n개 이상의 객체 후보 영역으로 구성되는 경우 임계 값 조정이 수행되는 과정에 대하여 설명하도록 한다.
도 9a는 각 영역에 대한 분류기 별 컨피던스 스코어를 그래프 형태로 도시하고 있다. 상기 그래프의 x축은 각 분류기의 인덱스를 가리키고, y축은 컨피던스 스코어를 가리킨다. 또한, 범례로 도시된 선형 그래프(470)는 오검출 영역의 분류기 별 컨피던스 스코어를 가리키고, 선형 그래프(480)는 정상 검출 영역의 분류기 별 컨피던스 스코어를 가리키며, 선형 그래프(490)는 분류기 별 임계 값을 가리킨다.
도 9a를 참조하면, 영역 별 컨피던스 스코어 분석을 통해, 정상 검출 영역을 구성하는 복수의 객체 후보 영역 중에서 최소 컨피던스 스코어(점선 그래프 481)를 갖는 객체 후보 영역(이하, "제1 객체 후보 영역"으로 명명함) 이 결정된다. 상기 제1 객체 후보 영역은 예를 들어 각 분류기 별 컨피던스 스코어의 대표 값(e.g. 평균 값, 최빈 값, 중간 값 등)이 최소인 영역으로 결정될 수 있다. 그러나, 본 발명의 범위가 이에 한정되는 것은 아니다.
다음으로, 오검출 영역을 구성하는 복수의 객체 후보 영역 중에서 n번째로 높은 컨피던스 스코어(점선 그래프 471)를 갖는 객체 후보 영역(이하, "제2 객체 후보 영역"으로 명명함)이 결정된다.
다음으로, 복수의 분류기 중에서 임계 값 조정 대상이 되는 적어도 하나의 타깃 분류기가 선정된다. 일 예시에서, 복수의 분류기가 캐스케이드 구조로 구성된 경우, 임계 값 조정 대상으로 어느 하나의 타깃 분류기가 선정될 수 있다. 다른 일 예시에서, 복수의 분류기가 캐스케이드 구조로 구성되지 않은 경우 적어도 하나의 타깃 분류기가 설정될 수 있다. 이하에서는, 설명의 편의를 위해, 복수의 분류기가 캐스케이드 구조로 구성된 경우, 타깃 분류기가 선정되는 과정에 대하여 설명하도록 한다.
일 실시예에서, 상기 제2 객체 후보 영역의 컨피던스 스코어와 임계 값과의 차이를 기초로 타깃 분류기가 선정될 수 있다. 구체적으로, 각 분류기 별로 상기 제2 객체 후보 영역의 컨피던스 스코어와 임계 값과의 차이가 산출되고, 상기 차이가 가장 작은 분류기가 타깃 분류기로 선정될 수 있다.
일 실시예에서, 상기 제1 객체 후보 영역의 컨피던스 스코어와 임계 값과의 차이 및/또는 상기 제1 객체 후보 영역의 컨피던스 스코어와 상기 제2 객체 후보 영역의 컨피던스 스코어와의 차이를 기초로 타깃 분류기가 선정될 수 있다. 구체적으로, 각 분류기 별로 상기 제1 객체 후보 영역의 컨피던스 스코어와 상기 제2 객체 후보 영역의 컨피던스 스코어와의 차이가 산출되고, 산출된 차이가 가장 작은 분류기가 타깃 분류기로 선정될 수 있다.
일 실시예에서, 전술한 몇몇 실시예에서 이용된 선정 기준을 종합적으로 고려하여 타깃 분류기가 선정될 수 있다. 예를 들어, 도 9b에 도시된 바와 같이, 제1 객체 후보 영역의 컨피던스 스코어(481)와 제2 객체 후보 영역의 컨피던스 스코어(471)의 차이(493) 값과 제2 객체 후보 영역의 컨피던스 스코어(471)와 임계 값(490)과의 차이(491) 값을 종합적으로 고려(e.g. 두 차이 값의 산술평균, 가중평균 등)하여 타깃 분류기가 선정될 수 있다. 이에 따라, 도 9c에 도시된 바와 같이, 4번 인덱스가 가리키는 분류기(493)가 타깃 분류기로 선정될 수 있다.
다음으로, 선정된 타깃 분류기의 임계 값이 조정될 수 있다. 일 예시로, 조정된 임계 값은 제1 후보 객체 영역의 컨피던스 스코어와 제2 후보 객체 영역의 컨피던스 스코어 사이의 값이 될 수 있다. 다만, 상기 예시는 본 발명의 일부 실시예를 설명하기 위한 것으로 상기 예시에 본 발명이 한정되지 아니한다. 도 9d는 타깃 분류기(493)의 임계 값이 조정된 예를 도시하고 있다. 점선 영역(495)을 참조하면, 분류기(493)의 임계 값은 제2 후보 객체 영역의 컨피던스 스코어(471)보다 크고, 제1 후보 객체 영역의 컨피던스 스코어(481)보다 작은 값으로 조정된 것을 확인할 수 있다.
도 9e는 조정된 임계 값을 이용하여 검출 결과가 주어지지 않은 제2 입력 이미지에 대한 객체 검출을 수행한 예를 도시하고 있다. 특히, 도 9e는 객체 영역이 기 지정된 조건(e.g. IoU가 50% 이상)을 만족하는 "3"개(즉, n=3) 이상의 객체 후보 영역으로 구성된다고 가정하였다.
도 9e를 참조하면, 조정된 임계 값은 3번째 객체 후보 영역의 컨피던스 스코어보다 높은 값이기 때문에, 기존에 검출되었던 3번째(또는 3번째 이상) 객체 후보 영역(501)은 더 이상 객체 후보 영역으로 검출되지 않는다. 즉, 기존의 오검출 영역에서 2개의 객체 후보 영역만이 검출되기 때문에, 더 이상 기존의 오검출 영역이 객체 영역으로 검출되지 않는다. 반면에, 기존의 정상 검출 영역에서는 여전히 3개 이상의 후보 객체 영역(503)이 검출될 수 있다. 따라서, 타깃 객체가 오검출되는 거짓 긍정(false positive) 오류가 감소될 수 있다.
지금까지, 도 9a 내지 도 9e를 참조하여 본 발명의 실시예에 따른 임계 값 조정 방법에 대하여 설명하였다. 상술한 방법에 따르면, 적용 환경 별로 각 분류기의 임계 값을 미세 조정함으로써, 재학습 없이 타깃 객체의 오검출이 방지될 수 있다. 따라서, 새로운 환경에서도 일정 수준 이상 타깃 객체 검출의 정확성 및 신뢰성이 보장될 수 있다.
한편, 본 발명의 몇몇 실시예에 따르면, 일정한 조건 하에서 객체 검출 모델에 대한 재학습이 수행될 수도 있다. 이하에서는, 객체 검출 모델에 대한 재학습이 수행되는 예에 대하여 설명하도록 한다.
일 실시예에서, 단계(S200)를 통해 타깃 객체에 대한 검출을 수행한 결과, 미검출 영역이 존재하는 경우, 객체 검출 모델에 대한 재학습이 수행될 수 있다. 본 실시예에 대하여, 도 10 및 도 11을 참조하여 설명하도록 한다.
도 10은 본 발명의 일 실시예에 따른 객체 검출 모델의 재학습 방법의 흐름도이다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.
도 10을 참조하면, 객체 검출 장치(100)는 기 학습된 객체 검출 모델을 이용하여 타깃 객체에 대한 검출 결과가 주어진 입력 이미지에서 객체 영역을 예측한다(S800, S900). 또한, 객체 검출 장치(100)는 미리 주어진 검출 결과를 이용하여 미검출 영역이 존재하는지 판정한다(S1000, S1100). 단계(S800 내지 S1000)은 전술한 단계(S100 내지 S300)와 동일한 바, 더 이상의 설명은 생략하도록 한다.
미검출 영역이 존재한다는 판정에 응답하여, 단계(S1200)에서, 객체 검출 모델에 대한 재학습이 수행된다. 구체적으로, 검출 결과가 주어진 입력 이미지에 대한 기계 학습을 수행되고, 이를 통해 객체 검출 모델이 갱신된다.
본 발명의 실시예에 따르면, 재학습을 위한 학습용 이미지 생성을 위해 데이터 확장(data augmentation) 연산이 수행될 수 있다. 일 예시로, 상기 입력 이미지에서 미검출 영역을 크롭(crop)하고, 도 11에 도시된 데이터 확장 연산을 수행하여 복수의 학습용 이미지가 생성될 수 있다. 다만, 상기 예시는 본 발명의 일부 실시예를 설명하기 위한 것으로 상기 예시에 본 발명이 한정되지 아니한다. 본 실시예에서, 상기 복수의 학습용 이미지를 기계 학습하여 객체 검출 모델이 갱신될 수 있다. 이에 따라, 타깃 객체가 미검출되는 거짓 부정(false negative) 오류가 감소될 수 있다.
다만, 실시예에 따라, 오검출 영역이 존재하지 않고, 미검출 영역만 존재하는 경우, 객체 검출 장치(100)는 재학습을 수행하지 않고, 임계 값을 미 검출 영역의 컨피던스 스코어보다 낮은 값으로 조정하여 미검출 문제를 해결할 수도 있다.
한편, 본 발명의 실시예에 따르면, 미검출 영역이 존재하지 않더라도 객체 검출 모델에 대한 재학습이 수행될 수 있다. 구체적으로, 단계(S500)의 분석 결과, 오검출 영역의 컨피던스 스코어가 정상 검출 영역의 컨피던스 스코어보다 높은 경우, 객체 검출 장치(100)는 임계 값 조정을 수행하지 않고, 검출 결과가 주어진 입력 이미지를 기계 학습할 수 있다. 이때, 전술한 바와 유사하게, 오검출 영역 및/또는 정상 검출 영역에 대한 데이터 확장 연산을 수행하여 복수의 학습용 이미지를 생성하고, 상기 복수의 학습용 이미지에 대한 기계 학습이 수행될 수도 있다. 본 실시예에서, 객체 검출 모델의 임계 값 조정은, 오검출 영역의 컨피던스 스코어가 상기 정상 검출 영역의 컨피던스 스코어보다 낮은 경우에 한하여 수행될 수 있다.
지금까지, 도 10 및 도 11을 참조하여, 본 발명의 실시예에 따른 객체 검출 모델의 재학습 방법에 대하여 설명하였다. 상술한 방법에 따르면, 타깃 객체가 미검출되는 거짓 부정(false negative) 오류 또한 감소될 수 있다.
지금까지 도 1 내지 도 11를 참조하여 설명된 본 발명의 개념은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.

Claims (16)

  1. 객체 검출 장치에 의해 수행되는 기계 학습 기반의 객체 검출 방법에 있어서,
    학습용 이미지셋에 대한 기계 학습을 수행하여 객체 검출 모델을 구축하되, 상기 객체 검출 모델은 타깃 객체에 대한 컨피던스 스코어(confidence score)와 임계 값의 비교 결과에 기초하여 입력 이미지에서 타깃 객체를 검출하는 모델인 것인, 단계;
    상기 타깃 객체에 대한 검출 결과가 주어진 입력 이미지를 획득하되, 상기 획득된 입력 이미지는 상기 학습용 이미지셋에 포함되지 않은 이미지인 것인, 단계;
    상기 객체 검출 모델을 이용하여, 상기 획득된 입력 이미지에서 상기 타깃 객체가 존재하는 객체 영역을 예측하는 단계;
    상기 예측된 객체 영역 중에서 상기 검출 결과에 매칭되지 않는 영역을 오검출 영역으로 분류하는 단계; 및
    상기 오검출 영역의 컨피던스 스코어에 기초하여, 상기 객체 검출 모델의 임계 값을 조정하는 단계를 포함하는 것을 특징으로 하는,
    기계 학습 기반의 객체 검출 방법.
  2. 제1 항에 있어서,
    상기 예측된 객체 영역 중에서 상기 검출 결과에 매칭되는 영역을 정상 검출 영역으로 분류하는 단계를 더 포함하되,
    상기 객체 검출 모델의 임계 값을 조정하는 단계는,
    상기 정상 검출 영역의 컨피던스 스코어 및 상기 오검출 영역의 컨피던스 스코어에 기초하여, 상기 객체 검출 모델의 임계 값을 조정하는 단계를 포함하는 것을 특징으로 하는,
    기계 학습 기반의 객체 검출 방법.
  3. 제2 항에 있어서,
    상기 정상 검출 영역의 컨피던스 스코어 및 상기 오검출 영역의 컨피던스 스코어에 기초하여, 상기 객체 검출 모델의 임계 값을 조정하는 단계는,
    상기 정상 검출 영역의 컨피던스 스코어 중에서 최소 스코어 가리키는 제1 컨피던스 스코어를 결정하는 단계;
    상기 오검출 영역의 컨피던스 스코어 중에서 최대 스코어를 가리키는 제2 컨피던스 스코어를 결정하는 단계; 및
    상기 제1 컨피던스 스코어와 상기 제2 컨피던스 스코어 사이에 위치하는 어느 하나의 값으로 상기 객체 검출 모델의 임계 값을 조정하는 단계를 포함하는 특징으로 하는,
    기계 학습 기반의 객체 검출 방법.
  4. 제1 항에 있어서,
    상기 획득된 입력 이미지에서 상기 타깃 객체에 대한 객체 영역을 예측하는 단계는,
    상기 획득된 입력 이미지에서 상기 타깃 객체에 대한 컨피던스 스코어가 상기 임계 값 이상인 복수의 객체 후보 영역을 결정하는 단계;
    상기 복수의 객체 후보 영역 중에서, 기 정의된 조건을 만족하는 n개(단, n은 1이상의 자연수) 이상의 객체 후보 영역을 각각의 그룹으로 그룹핑하는 단계; 및
    상기 그룹핑된 객체 후보 영역을 상기 객체 영역으로 예측하는 단계를 포함하는 것을 특징으로 하는,
    기계 학습 기반의 객체 검출 방법.
  5. 제4 항에 있어서,
    상기 오검출 영역으로 분류된 객체 영역은 그룹핑된 n개 이상의 객체 후보 영역을 포함하되,
    상기 객체 검출 모델의 임계 값을 조정하는 단계는,
    상기 n개 이상의 객체 후보 영역의 컨피던스 스코어 중에서, n번째 컨피던스 스코어를 결정하는 단계; 및
    상기 결정된 n번째 컨피던스 스코어를 기초로 상기 객체 검출 모델의 임계 값을 조정하는 단계를 포함하는 것을 특징으로 하는,
    기계 학습 기반의 객체 검출 방법.
  6. 제1 항에 있어서,
    상기 객체 검출 모델은,
    각각의 임계 값과 컨피던스 스코어의 비교 결과에 기초하여 입력 이미지의 각 영역을 객체 영역 또는 비객체 영역으로 분류하는 복수의 분류기(classifier)를 포함하고,
    상기 예측된 객체 영역 중에서 상기 검출 결과에 매칭되는 영역을 정상 검출 영역으로 분류하는 단계를 더 포함하되,
    상기 객체 검출 모델의 임계 값을 조정하는 단계는,
    상기 복수의 분류기 각각에 의해 출력된 상기 정상 검출 영역의 컨피던스 스코어와 상기 오검출 영역의 컨피던스 스코어의 차이를 기초로, 상기 복수의 분류기 중에서 임계 값을 조정할 타깃 분류기를 선정하는 단계; 및
    상기 선정된 타깃 분류기의 임계 값을 조정하는 단계를 포함하는 것을 특징으로 하는,
    기계 학습 기반의 객체 검출 방법.
  7. 제1 항에 있어서,
    상기 객체 검출 모델은,
    각각의 임계 값과 컨피던스 스코어의 비교 결과에 기초하여 입력 이미지의 각 영역을 객체 영역 또는 비객체 영역으로 분류하는 복수의 분류기(classifier)를 포함하고,
    상기 객체 검출 모델의 임계 값을 조정하는 단계는,
    각각의 분류기의 임계 값과 상기 각각의 분류기에 의해 출력된 상기 오검출 영역의 컨피던스 스코어의 차이를 기초로, 상기 복수의 분류기 중에서 임계 값을 조정할 타깃 분류기를 선정하는 단계; 및
    상기 선정된 타깃 분류기의 임계 값을 조정하는 단계를 포함하는 것을 특징으로 하는,
    기계 학습 기반의 객체 검출 방법.
  8. 제7 항에 있어서,
    기 정의된 조건을 만족하는 n개(단, n은 1이상의 자연수) 이상의 객체 후보 영역이 그룹핑되어 상기 오검출 영역을 구성하는 경우,
    상기 임계 값을 조정할 분류기를 타깃 선정하는 단계는,
    상기 n개 이상의 객체 후보 영역의 컨피던스 스코어 중에서, n번째 컨피던스 스코어를 결정하는 단계; 및
    각각의 분류기의 임계 값과 상기 결정된 n번째 컨피던스 스코어와의 차이를 기초로 상기 복수의 분류기 중에서 상기 타깃 분류기를 선정하는 단계를 포함하는 것을 특징으로 하는,
    기계 학습 기반의 객체 검출 방법.
  9. 제1 항에 있어서,
    상기 객체 검출 모델은,
    각각의 임계 값과 컨피던스 스코어의 비교 결과에 기초하여 입력 이미지의 각 영역을 객체 영역 또는 비객체 영역으로 분류하는 복수의 분류기(classifier)를 포함하고,
    상기 복수의 분류기는 캐스케이드(cascade) 구조로 구성되며,
    상기 객체 검출 모델의 임계 값을 조정하는 단계는,
    상기 복수의 분류기 중에서 임계 값을 조정할 어느 하나의 타깃 분류기를 선정하는 단계; 및
    상기 선정된 타깃 분류기의 임계 값을 조정하는 단계를 포함하는 것을 특징으로 하는,
    기계 학습 기반의 객체 검출 방법.
  10. 제9 항에 있어서,
    상기 예측된 객체 영역 중에서 상기 검출 결과에 매칭되는 영역을 정상 검출 영역으로 분류하는 단계를 더 포함하되,
    상기 복수의 분류기 중에서 임계 값을 조정할 어느 하나의 타깃 분류기를 선정하는 단계는,
    각각의 분류기의 임계 값과 상기 각각의 분류기에 의해 출력된 상기 오검출 영역의 컨피던스 스코어의 차이를 가리키는 제1 요소 및 상기 각각의 분류기 의해 출력된 상기 정상 검출 영역의 컨피던스 스코어와 상기 오검출 영역의 컨피던스 스코어의 차이를 가리키는 제2 요소 중 적어도 하나의 요소에 기초하여 상기 타깃 분류기를 선정하는 단계를 포함하는 것을 특징으로 하는,
    기계 학습 기반의 객체 검출 방법.
  11. 제1 항에 있어서,
    상기 타깃 객체는 얼굴 부위이고,
    상기 기계 학습은 아다부스트(AdaBoost) 알고리즘을 통해 수행되는 것을 특징으로 하는,
    기계 학습 기반의 객체 검출 방법.
  12. 제1 항에 있어서,
    상기 검출 결과를 기초로 상기 획득된 이미지에서 상기 객체 검출 모델을 통해 검출되지 않은 미검출 영역이 존재하는지 여부를 판정하는 단계;
    상기 미검출 영역이 존재한다는 판정에 응답하여, 상기 획득된 입력 이미지에 대한 기계 학습을 수행하여 상기 객체 검출 모델을 갱신하는 단계를 더 포함하는 것을 특징으로 하는,
    기계 학습 기반의 객체 검출 방법.
  13. 제12 항에 있어서,
    상기 객체 검출 모델을 갱신하는 단계는,
    상기 미검출 영역에 매칭되는 이미지에 대한 데이터 확장(data augmentation)을 수행하여 복수의 이미지를 생성하는 단계; 및
    상기 생성된 복수의 이미지에 대한 기계 학습을 수행하여 상기 객체 검출 모델을 갱신하는 단계를 포함하는 것을 특징으로 하는,
    기계 학습 기반의 객체 검출 방법.
  14. 제1 항에 있어서,
    상기 예측된 객체 영역 중에서 상기 검출 결과에 매칭되는 영역을 정상 검출 영역으로 분류하는 단계를 더 포함하되,
    상기 객체 검출 모델의 임계 값을 조정하는 단계는,
    상기 오검출 영역의 컨피던스 스코어가 상기 정상 검출 영역의 컨피던스 스코어보다 낮은 경우에 한하여, 상기 객체 검출 모델의 임계 값을 조정하는 단계를 포함하는 것을 특징으로 하는,
    기계 학습 기반의 객체 검출 방법.
  15. 제14 항에 있어서,
    상기 오검출 영역의 컨피던스 스코어가 상기 정상 검출 영역의 컨피던스 스코어보다 높은 경우, 상기 획득된 입력 이미지에 대한 기계 학습을 수행하여 상기 객체 검출 모델을 갱신하는 단계를 더 포함하는 것을 특징으로 하는,
    기계 학습 기반의 객체 검출 방법.
  16. 제1 항에 있어서,
    상기 검출 결과를 기초로 상기 획득된 이미지에서 상기 객체 검출 모델을 통해 검출되지 않은 미검출 영역이 존재하는지 여부를 판정하는 단계를 더 포함하되,
    상기 객체 검출 모델의 임계 값을 조정하는 단계는,
    상기 판정의 결과 상기 미검출 영역이 존재하고, 상기 분류의 결과 상기 오검출 영역이 존재하지 않는 경우, 상기 객체 검출 모델의 임계 값을 상기 미검출 영역의 컨피던스 스코어보다 낮은 값으로 조정하는 단계를 포함하는 것을 특징으로 하는,
    기계 학습 기반의 객체 검출 방법.
KR1020170140044A 2017-10-26 2017-10-26 기계 학습 기반의 객체 검출 방법 및 그 장치 KR102348593B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170140044A KR102348593B1 (ko) 2017-10-26 2017-10-26 기계 학습 기반의 객체 검출 방법 및 그 장치
US16/134,436 US10699169B2 (en) 2017-10-26 2018-09-18 Machine learning-based object detection method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170140044A KR102348593B1 (ko) 2017-10-26 2017-10-26 기계 학습 기반의 객체 검출 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20190046349A true KR20190046349A (ko) 2019-05-07
KR102348593B1 KR102348593B1 (ko) 2022-01-06

Family

ID=66243944

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170140044A KR102348593B1 (ko) 2017-10-26 2017-10-26 기계 학습 기반의 객체 검출 방법 및 그 장치

Country Status (2)

Country Link
US (1) US10699169B2 (ko)
KR (1) KR102348593B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102200608B1 (ko) * 2019-07-03 2021-01-08 영남대학교 산학협력단 문자 검출 장치 및 방법
WO2021071258A1 (ko) * 2019-10-07 2021-04-15 (주)제이엘케이 인공지능 기반의 휴대용 보안영상 학습장치 및 방법
KR102321205B1 (ko) * 2021-06-10 2021-11-03 주식회사 스누아이랩 인공지능 서비스장치 및 그 장치의 구동방법
KR102430033B1 (ko) * 2021-12-21 2022-08-05 주식회사 코난테크놀로지 객체 검출 방법 및 그 장치
KR20220129726A (ko) * 2021-03-17 2022-09-26 고려대학교 세종산학협력단 정확한 객체 탐지를 위한 박스 레벨 후처리 방법 및 장치
US11688199B2 (en) 2019-11-13 2023-06-27 Samsung Electronics Co., Ltd. Method and apparatus for face detection using adaptive threshold
KR102608625B1 (ko) * 2023-08-28 2023-12-04 주식회사 에이아이프로 효율적 운영이 가능한 딥러닝 기반 영상 감시 장치 및 방법

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110324528A (zh) * 2018-03-28 2019-10-11 富泰华工业（深圳）有限公司 摄像装置、影像处理系统及方法
US10565475B2 (en) * 2018-04-24 2020-02-18 Accenture Global Solutions Limited Generating a machine learning model for objects based on augmenting the objects with physical properties
CN110223284B (zh) * 2019-06-11 2023-06-02 深圳市启芯众志科技有限公司 一种基于智能终端的针孔摄像头的探测方法及探测装置
CN110738170B (zh) * 2019-10-15 2021-01-26 贵州电网有限责任公司 一种用于电表终端故障识别的图像识别方法
TWI719713B (zh) * 2019-11-14 2021-02-21 緯創資通股份有限公司 物件偵測方法、電子裝置與物件偵測系統
CN113139559B (zh) * 2020-01-17 2022-06-24 魔门塔(苏州)科技有限公司 一种目标检测模型的训练方法、数据的标注方法和装置
CN111368636B (zh) * 2020-02-07 2024-02-09 深圳奇迹智慧网络有限公司 目标分类方法、装置、计算机设备和存储介质
CN111582305B (zh) * 2020-03-26 2023-08-18 平安科技（深圳）有限公司 生物特征识别方法、装置、计算机设备及存储介质
CN112200802B (zh) * 2020-10-30 2022-04-26 上海商汤智能科技有限公司 图像检测模型的训练方法及相关装置、设备、存储介质
CN112634201B (zh) * 2020-12-02 2023-12-05 歌尔股份有限公司 目标检测方法、装置和电子设备
CN112699746A (zh) * 2020-12-18 2021-04-23 西人马联合测控（泉州）科技有限公司 一种对象检测方法、装置、设备及存储介质
CN112926438B (zh) * 2021-02-22 2024-04-05 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN112926437A (zh) * 2021-02-22 2021-06-08 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN112929613B (zh) * 2021-03-08 2022-03-11 华录智达科技股份有限公司 一种基于图像识别进行设备运维的巡检方法及系统
US11921831B2 (en) * 2021-03-12 2024-03-05 Intellivision Technologies Corp Enrollment system with continuous learning and confirmation
CN113221724B (zh) * 2021-05-08 2022-11-04 杭州鸿泉物联网技术股份有限公司 车辆抛洒物检测方法及系统
CN113221918B (zh) * 2021-05-18 2023-08-04 北京百度网讯科技有限公司 目标检测方法、目标检测模型的训练方法及装置
US11875555B2 (en) * 2021-09-30 2024-01-16 Intel Corporation Applying self-confidence in multi-label classification to model training
KR102594477B1 (ko) 2023-03-03 2023-10-26 주식회사 인피닉 스코어 재조정을 통한 객체 검출 방법
KR102594480B1 (ko) 2023-03-03 2023-10-26 주식회사 인피닉 Mim 기반의 퓨샷 객체 검출 모델 학습 방법
CN116452924B (zh) * 2023-03-21 2023-10-13 长扬科技(北京)股份有限公司 模型阈值调整方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060097895A (ko) * 2005-03-07 2006-09-18 삼성전자주식회사 사용자 적응형 음성 인식 방법 및 장치
KR100861803B1 (ko) 2006-06-14 2008-10-09 주식회사 사람과사람들 기계학습을 이용한 얼굴인식 장치 및 그 방법
US20120141017A1 (en) * 2010-12-03 2012-06-07 Microsoft Corporation Reducing false detection rate using local pattern based post-filter
US20140286527A1 (en) * 2013-03-20 2014-09-25 Qualcomm Incorporated Systems and methods for accelerated face detection

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6999625B1 (en) 2002-07-12 2006-02-14 The United States Of America As Represented By The Secretary Of The Navy Feature-based detection and context discriminate classification for digital images
JP4947216B2 (ja) 2008-09-17 2012-06-06 富士通株式会社 画像処理装置および画像処理方法
US8306265B2 (en) * 2009-01-12 2012-11-06 Eastman Kodak Company Detection of animate or inanimate objects
JP2012190262A (ja) 2011-03-10 2012-10-04 Panasonic Corp 顔検出方法
US9076065B1 (en) * 2012-01-26 2015-07-07 Google Inc. Detecting objects in images
US9858496B2 (en) 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060097895A (ko) * 2005-03-07 2006-09-18 삼성전자주식회사 사용자 적응형 음성 인식 방법 및 장치
KR100861803B1 (ko) 2006-06-14 2008-10-09 주식회사 사람과사람들 기계학습을 이용한 얼굴인식 장치 및 그 방법
US20120141017A1 (en) * 2010-12-03 2012-06-07 Microsoft Corporation Reducing false detection rate using local pattern based post-filter
US20140286527A1 (en) * 2013-03-20 2014-09-25 Qualcomm Incorporated Systems and methods for accelerated face detection

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102200608B1 (ko) * 2019-07-03 2021-01-08 영남대학교 산학협력단 문자 검출 장치 및 방법
WO2021071258A1 (ko) * 2019-10-07 2021-04-15 (주)제이엘케이 인공지능 기반의 휴대용 보안영상 학습장치 및 방법
US11688199B2 (en) 2019-11-13 2023-06-27 Samsung Electronics Co., Ltd. Method and apparatus for face detection using adaptive threshold
KR20220129726A (ko) * 2021-03-17 2022-09-26 고려대학교 세종산학협력단 정확한 객체 탐지를 위한 박스 레벨 후처리 방법 및 장치
KR102321205B1 (ko) * 2021-06-10 2021-11-03 주식회사 스누아이랩 인공지능 서비스장치 및 그 장치의 구동방법
KR102430033B1 (ko) * 2021-12-21 2022-08-05 주식회사 코난테크놀로지 객체 검출 방법 및 그 장치
KR102608625B1 (ko) * 2023-08-28 2023-12-04 주식회사 에이아이프로 효율적 운영이 가능한 딥러닝 기반 영상 감시 장치 및 방법

Also Published As

Publication number Publication date
KR102348593B1 (ko) 2022-01-06
US10699169B2 (en) 2020-06-30
US20190130230A1 (en) 2019-05-02

Similar Documents

Publication Publication Date Title
KR102348593B1 (ko) 기계 학습 기반의 객체 검출 방법 및 그 장치
US10908261B2 (en) Target identification and clutter mitigation in high resolution radar systems
Huang et al. Boosting nested cascade detector for multi-view face detection
US8885943B2 (en) Face detection method and apparatus
US20060126938A1 (en) Apparatus, method, and medium for detecting face in image using boost algorithm
EP2450831A2 (en) Method and system for detecting multi-view human face
KR20210110823A (ko) 이미지 인식 방법, 인식 모델의 트레이닝 방법 및 관련 장치, 기기
US20060120604A1 (en) Method and apparatus for detecting multi-view faces
US20160004935A1 (en) Image processing apparatus and image processing method which learn dictionary
US20190340444A1 (en) Crowd type classification system, crowd type classification method and storage medium for storing crowd type classification program
KR20200052425A (ko) 시계열 데이터 분석 방법, 주영향 변수 결정 방법 및 그 방법들을 지원하는 장치
US11250269B2 (en) Recognition method and apparatus for false detection of an abandoned object and image processing device
US20070112709A1 (en) Enhanced classification of marginal instances
Li et al. Robust object tracking via multi-feature adaptive fusion based on stability: contrast analysis
He et al. Topology modeling for Adaboost-cascade based object detection
US11494906B2 (en) Object detection device, object detection method, and program
US8515184B1 (en) System for visual object recognition using heterogeneous classifier cascades
KR20190048605A (ko) 기계 학습 기반의 분류 방법 및 그 장치
Vaidehi et al. Multiclass object detection system in imaging sensor network using haar-like features and joint-boosting algorithm
Žliobaite et al. Determining the training window for small sample size classification with concept drift
Yang et al. On-road vehicle tracking using keypoint-based representation and online co-training
WO2013128839A1 (ja) 画像認識システム、画像認識方法およびコンピュータ・プログラム
Kutlugün et al. Reducing false positive rate with the help of scene change indicator in deep learning based real-time face recognition systems
Topkaya et al. Using spatial overlap ratio of independent classifiers for likelihood map fusion in mean-shift tracking
Wibowo et al. Blob Detection in Static Camera with Gaussian Mixture and Silhouette Index for Human Counting Application

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant