KR20200095334A - 이미지를 분석하기 위해, 딥러닝 네트워크에 이용하기 위한 트레이닝 이미지에 대한 라벨링 신뢰도를 자동으로 평가하기 위한 방법 및 이를 이용한 신뢰도 평가 장치 - Google Patents

이미지를 분석하기 위해, 딥러닝 네트워크에 이용하기 위한 트레이닝 이미지에 대한 라벨링 신뢰도를 자동으로 평가하기 위한 방법 및 이를 이용한 신뢰도 평가 장치 Download PDF

Info

Publication number
KR20200095334A
KR20200095334A KR1020190147099A KR20190147099A KR20200095334A KR 20200095334 A KR20200095334 A KR 20200095334A KR 1020190147099 A KR1020190147099 A KR 1020190147099A KR 20190147099 A KR20190147099 A KR 20190147099A KR 20200095334 A KR20200095334 A KR 20200095334A
Authority
KR
South Korea
Prior art keywords
label
auto
image
unique
labeling
Prior art date
Application number
KR1020190147099A
Other languages
English (en)
Other versions
KR102328734B1 (ko
Inventor
김계현
김용중
김인수
김학경
남운현
부석훈
성명철
여동훈
유우주
장태웅
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20200095334A publication Critical patent/KR20200095334A/ko
Application granted granted Critical
Publication of KR102328734B1 publication Critical patent/KR102328734B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/18143—Extracting features based on salient regional features, e.g. scale invariant feature transform [SIFT] keypoints
    • G06V30/18152—Extracting features based on a plurality of salient regional features, e.g. "bag of words"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥러닝 네트워크의 학습에 이용하기 위한 트레이닝 이미지에 대한 라벨링 신뢰도를 평가하는 방법에 있어서, 신뢰도 평가 장치가, 유사 이미지 선택 네트워크로 하여금, 언라벨링된 이미지인 원본 이미지와 촬영 환경이 유사한, 고유의 트루 라벨을 가지는 검증 이미지 후보군을 선택하도록 한 다음, 오토 라벨링 네트워크로 하여금 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군과 상기 원본 이미지를 오토 라벨링하도록 하는 단계; (i) 이지(easy) 검증 이미지의 트루 라벨과 오토 라벨을 참조로 하여 상기 오토 라벨링 네트워크의 신뢰도를 평가하고, (ii) 디피컬트(difficult) 검증 이미지의 트루 라벨과 수동 라벨을 참조로 하여 수동 라벨링 장치의 신뢰도를 평가하는 단계;를 포함하는 것을 특징으로 하는 방법이 제공된다. 상기 방법은, BoW(bag-of-words) 모델을 적용하여 주변사항을 인식하고, 유사한 이미지 중 유효한 이미지를 선정하는 샘플링 프로세스를 최적화하고, 주석 비용을 줄이는 데 활용될 수 있다.

Description

이미지를 분석하기 위해, 딥러닝 네트워크에 이용하기 위한 트레이닝 이미지에 대한 라벨링 신뢰도를 자동으로 평가하기 위한 방법 및 이를 이용한 신뢰도 평가 장치{METHOD FOR AUTOMATICALLY EVALUATING LABELING RELIABILITY OF TRAINING IMAGES FOR USE IN DEEP LEARNING NETWORK TO ANALYZE IMAGES, AND RELIABILITY-EVALUATING DEVICE USING THE SAME}
본 발명은 딥러닝 네트워크의 학습에 이용하기 위한 트레이닝 이미지에 대한 라벨링 신뢰도를 평가하는 방법 및 장치에 관한 것이다.
최근, 기계 학습(machine learning)을 이용하여 객체를 식별하는 방법 등에 대한 연구가 이루어지고 있다. 이러한 기계 학습의 일환으로, 입력 레이어와 출력 레이어 사이에 여러 개의 히든 레이어(hidden layer)를 가지는 뉴럴 네트워크를 이용한 딥 러닝은 높은 식별 성능을 가진다.
그리고, 상기 딥 러닝을 이용하는 상기 뉴럴 네트워크는 일반적으로 로스를 이용한 백프로퍼게이션을 통해 학습한다.
이러한 딥 러닝 네트워크의 학습을 진행하기 위해서는 라벨러(labeler)에 의해 개별 데이터 포인트에 태그, 즉, 라벨을 추가한 트레이닝 데이터가 필요하다. 이러한 트레이닝 데이터를 준비하는 것(즉, 데이터를 정확히 분류하는 것)은 특히, 대량의 트레이닝 데이터를 이용할 경우와 데이터 전처리의 품질이 지속적으로 높지 않을 경우, 노동 집약적이고, 비용이 많이 들며 번거로울 수 있다. 종래의 상호적인 라벨링은 비싸고 좋은 결과를 도출하지 못할 수 있다.
따라서, 최근에는 딥 러닝 기반의 오토 라벨링 네트워크를 이용하여 트레이닝 이미지에 태그를 추가하는 오토 라벨링을 수행하고, 검수자가 오토 라벨링된 트레이닝 이미지를 검수하여 상기 태그나 상기 라벨을 교정한다.
또한, 고유의 트루 라벨을 가지는 검증 이미지를 추가하여 상기 오토 라벨링 네트워크와 라벨러에 의한 라벨링 작업에 대한 라벨링 신뢰도를 평가하고 있다.
하지만, 상기 검증 이미지를 언라벨링된 이미지에 추가하는 종래의 방법에서는, 지역, 날씨, 낮/밤 등과 같은, 상기 언라벨링된 이미지의 촬영 환경과 상기 검증 이미지의 촬영 환경이 상이한 경우, 상기 검수자는 상기 언라벨링된 이미지와 상기 검증 이미지를 쉽게 구분할 수 있으며, 이에 따라, 상기 검증 이미지를 위주로 검수가 수행되기 쉬워, 라벨링에 대한 정확한 평가가 이루어지지 못하는 문제점이 있다.
또한, 종래의 방법에서와 같이, 상기 트루 라벨에 대해서만 검수를 할 경우, 검수를 게을리하는 검수자가 열심히 검수하는 검수자 보다 높은 평가를 받을 수 있는 문제점이 있다.
아울러, 검증을 위해 상기 트루 라벨에 오검출 및 미검출의 라벨을 추가하는 경우에는, 상기 오토 라벨링 네트워크에 의해 생성된 오토 라벨과 차이가 날 수 있으며, 이 경우 상기 검수자는 상기 라벨이 검증을 위한 라벨인지를 쉽게 파악할 수 있어 정확한 평가가 이루어지지 않는다는 문제점이 발생할 수 있다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
본 발명은 원본 이미지 즉, 언라벨링된 이미지에 추가될 검증 이미지의 촬영 환경이 상기 원본 이미지의 촬영 환경과 유사하도록 하는 것을 다른 목적으로 한다.
본 발명은 오토 라벨링된 이미지 중 정확하게 라벨링하기 어려운 이미지를 검수하여 라벨링의 신뢰도를 정확히 평가할 수 있도록 하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 딥러닝 네트워크의 학습에 이용하기 위한 하나 이상의 트레이닝 이미지에 대한 라벨링 신뢰도를 평가하는 방법에 있어서, (a) 하나 이상의 원본 이미지가 획득되면, 신뢰도 평가 장치가, 유사 이미지 선택 네트워크로 하여금, 상기 원본 이미지와 촬영 환경이 유사한, 고유의 트루 라벨을 가지는 검증 이미지 후보군을 선택하도록 한 다음, 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군과 상기 원본 이미지를 오토 라벨링 네트워크에 입력함으로써, 상기 오토 라벨링 네트워크로 하여금 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군과 상기 원본 이미지를 오토 라벨링하도록 하되, 상기 원본 이미지는 언라벨링된 이미지인 단계; (b) 상기 신뢰도 평가 장치는, (i) 고유의 트루 라벨 및 오토 라벨을 가지는 이지(easy) 검증 이미지가 상기 오토 라벨링 네트워크로부터 획득되면, 상기 이지 검증 이미지의 상기 트루 라벨과 상기 오토 라벨을 참조로 하여 상기 오토 라벨링 네트워크의 신뢰도를 평가하고, (ii) 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트(difficult) 검증 이미지에 수동 라벨링 연산을 적용하여 생성된 고유의 트루 라벨, 오토 라벨, 및 수동 라벨을 가지는 디피컬트 검증 이미지가 수동 라벨링 장치로부터 획득되면, 상기 디피컬트 검증 이미지의 상기 트루 라벨과 상기 수동 라벨을 참조로 하여, 상기 수동 라벨링 장치의 신뢰도를 평가하되, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지는, 상기 오토 라벨링된 고유의 트루 라벨을 가지는 검증 이미지 후보군 중, 부정확하게 오토 라벨링될 확률이 제1 기설정된 값 미만인 검증 이미지이며, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지는, 상기 오토 라벨링된 고유의 트루 라벨을 가지는 검증 이미지 후보군 중, 부정확하게 오토 라벨링될 확률이 제2 기설정된 값 이상인 검증 이미지인 단계;를 포함하는 것을 특징으로 하는 방법이 개시된다.
일 실시예에서, (c) 상기 신뢰도 평가 장치가, (i) 상기 오토 라벨링 네트워크의 상기 신뢰도가 제1 기설정된 임계치 이상일 경우, 상기 오토 라벨링 네트워크로부터 획득된, 고유의 오토 라벨을 가지는 이지 원본 이미지 중 적어도 일부를 고유의 트루 라벨을 가지는 트레이닝 이미지로서 선정하며, (ii) 상기 수동 라벨링 장치의 상기 신뢰도가 제2 기설정된 임계치 이상일 경우, 상기 수동 라벨링 장치로부터 획득된, 고유의 오토 라벨 및 수동 라벨을 가지는 디피컬트 원본 이미지 중 적어도 일부를 상기 고유의 트루 라벨을 가지는 트레이닝 이미지로서 선정하되, 상기 고유의 오토 라벨을 가지는 이지 원본 이미지는, 상기 원본 이미지를 오토 라벨링하여 획득된, 고유의 오토 라벨을 가지는 원본 이미지 중, 부정확하게 오토 라벨링될 확률이 제3 기설정된 값 미만인 이미지이며, 상기 고유의 오토 라벨을 가지는 디피컬트 원본 이미지는, 상기 원본 이미지를 오토 라벨링하여 획득된, 상기 고유의 오토 라벨을 가지는 원본 이미지 중, 부정확하게 오토 라벨링될 확률이 제4 기설정된 값 이상인 이미지인 단계;를 더 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 신뢰도 평가 장치는, 상기 고유의 오토 라벨 및 수동 라벨을 가지는 디피컬트 원본 이미지 중, 상기 고유의 트루 라벨을 가지는 트레이닝 이미지로서 선정되지 않은, 고유의 오토 라벨 및 수동 라벨을 가지는 특정 디피컬트 원본 이미지를 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군으로 선정하는 것을 특징으로 한다.
일 실시예에서, 상기 (a) 단계에서, 상기 신뢰도 평가 장치는, 상기 유사 이미지 선택 네트워크로 하여금, (i) (i-1) 상기 원본 이미지 상에서의 슬라이딩 윈도우(sliding window)의 각 영역을 크롭(crop)하고 리사이즈하여 생성된 가공 이미지를 획득하고, (i-2) 이미지 분류 CNN(convolutional neural network)을 통해 상기 가공 이미지를 분류하여 각 상위 k개의 클래스 정보를 출력하며, (i-3) 상기 상위 k개의 클래스 정보를 참조하여 적어도 하나의 BoW(Bag of Words)를 생성하는 적어도 하나의 연산을 상기 모든 원본 이미지에 적용하여, 상기 원본 이미지의 적어도 하나의 BoW 히스토그램을 생성하도록 하며, (ii) 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군 중, 상기 BoW 히스토그램과 가까운 순서대로 기설정된 개수의 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군을 선택하는 것을 특징으로 한다.
일 실시예에서, 상기 신뢰도 평가 장치는, 상기 유사 이미지 선택 네트워크로 하여금, 상기 기설정된 개수의 상기 검증 이미지 후보군 중 상기 고유의 트루 라벨을 가지는 디피컬트 검증 이미지와 고유의 오토 라벨을 가지는 디피컬트 원본 이미지를 관리하도록 하여, 상기 기설정된 개수의 검증 이미지 후보군 중 상기 고유의 트루 라벨을 가지는 디피컬트 검증 이미지의 개수가 상기 원본 이미지 중 상기 고유의 오토 라벨을 가지는 디피컬트 원본 이미지의 개수에 대한 특정 비율을 가지도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (a) 단계에서, 상기 신뢰도 평가 장치는, 상기 오토 라벨링 네트워크로 하여금, 상기 원본 이미지와 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군을 오토 라벨링하여, 고유의 오토 라벨을 가지는 원본 이미지와 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군을 출력하도록 한 다음, (i) (i-1) 제1 이미지와 제2 이미지를 생성하되, 이 중 적어도 하나는 상기 고유의 오토 라벨을 가지는 원본 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군 중 하나로부터 변형되어 생성되고, 상기 제1 이미지와 상기 제2 이미지 중 하나만이 상기 고유의 오토 라벨을 가지는 원본 이미지와 상기 검증 이미지 후보군 중 하나로부터 변형되어 생성된 이미지라면, 상기 제1 이미지와 상기 제2 이미지 중 나머지 하나는 상기 원본 이미지와 상기 검증 이미지 후보군 중 하나를 그대로 사용하고, (i-2) 하나 이상의 컨벌루션 레이어로 하여금, 상기 제1 이미지와 상기 제2 이미지에 각각 하나 이상의 컨벌루션 연산을 적용하여 적어도 하나의 제1 특징 맵과 적어도 하나의 제2 특징 맵을 생성하도록 하며, (i-3) 하나 이상의 풀링 레이어로 하여금, 각각의 상기 제1 특징 맵과 각각의 상기 제2 특징 맵 상에서, 상기 고유의 오토 라벨을 가지는 원본 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군의 오토 라벨링된 박스 각각에 대응하는 각 영역에 하나 이상의 풀링 연산을 적용하여 하나 이상의 제1 풀링된 특징 맵과 하나 이상의 제2 풀링된 특징 맵을 생성하도록 하고, 각각의 상기 제1 풀링된 특징 맵과 이에 대응하는 각각의 상기 제2 풀링된 특징 맵을 컨캐터네이트(concatenate)하여, 각각의 상기 오토 라벨링된 박스에 대응하는 하나 이상의 컨캐터네이트된 특징 맵을 생성하도록 하고, (ii) 딥러닝 분류기(classifier)로 하여금, 각각의 상기 오토 라벨링된 박스에 대응하는 각각의 상기 컨캐터네이트된 특징 맵을 입력으로서 획득하여, 각각의 상기 오토 라벨링된 박스를 비정상 클래스 군 또는 정상 클래스 군으로 분류하는 클래스 정보를 생성하도록 하며, (iii) (iii-1) 각각의 상기 오토 라벨링된 박스에 관한 각각의 상기 클래스 정보를 참조하여 상기 비정상 클래스 군의 각 비정상 클래스 요소의 확률 각각을 계산하고, (iii-2) 각각의 상기 비정상 클래스 요소의 상기 확률 각각을 이용하여 상기 고유의 오토 라벨을 가지는 원본 이미지를 고유의 오토 라벨을 가지는 이지 원본 이미지와 고유의 오토 라벨을 가지는 디피컬트 원본 이미지로 구분하며, (iii-3) 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군을 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지로 구분하되, 상기 고유의 오토 라벨을 가지는 이지 원본 이미지는, 상기 고유의 오토 라벨을 가지는 원본 이미지 중, 부정확하게 오토 라벨링될 확률이 상기 제3 기설정된 값 미만인 이미지이며, 상기 고유의 오토 라벨을 가지는 디피컬트 원본 이미지는, 상기 고유의 오토 라벨을 가지는 원본 이미지 중, 부정확하게 오토 라벨링될 확률이 제4 기설정된 값 이상인 이미지인 것을 특징으로 한다.
일 실시예에서, 상기 (b) 단계에서, 상기 신뢰도 평가 장치는, 정밀도(Precision)(X, L) = 1- [L 내 오검출 박스 개수] / [L 내 전체 박스 개수], 재현율(Recall)(X, L) = 1- [X 내 미검출 박스 개수] / [X 내 전체 박스 개수]라 하고, 상기 이지 검증 이미지의 상기 트루 라벨을
Figure pat00001
, 상기 오토 라벨을
Figure pat00002
이라 할 경우, 상기 오토 라벨링 네트워크의 신뢰도(Reliability(AL))를 아래 수학식
Figure pat00003
을 이용하여 평가하는 것을 특징으로 한다.
일 실시예에서, 상기 (b) 단계에서, 상기 신뢰도 평가 장치는, 정밀도(Precision)(X, L) = 1- [L 내 오검출 박스 개수] / [L 내 전체 박스 개수], 재현율(Recall)(X, L) = 1- [X 내 미검출 박스 개수] / [X 내 전체 박스 개수]라 하고, 상기 디피컬트 검증 이미지의 상기 트루 라벨을
Figure pat00004
, 상기 수동 라벨을
Figure pat00005
이라 할 경우, 상기 수동 라벨링 장치의 신뢰도(Reliability(HL))를 아래 수학식
Figure pat00006
을 이용하여 평가하는 것을 특징으로 한다.
본 발명의 다른 태양에 따르면, 딥러닝 네트워크의 학습에 이용하기 위한 하나 이상의 트레이닝 이미지에 대한 라벨링 신뢰도를 평가하는 신뢰도 평가 장치에 있어서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 (I) 하나 이상의 원본 이미지가 획득되면, 유사 이미지 선택 네트워크로 하여금, 상기 원본 이미지와 촬영 환경이 유사한, 고유의 트루 라벨을 가지는 검증 이미지 후보군을 선택하도록 한 다음, 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군과 상기 원본 이미지를 오토 라벨링 네트워크에 입력함으로써, 상기 오토 라벨링 네트워크로 하여금 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군과 상기 원본 이미지를 오토 라벨링하도록 하되, 상기 원본 이미지는 언라벨링된 이미지인 프로세스, 및 (II) (i) 고유의 트루 라벨 및 오토 라벨을 가지는 이지(easy) 검증 이미지가 상기 오토 라벨링 네트워크로부터 획득되면, 상기 이지 검증 이미지의 상기 트루 라벨과 상기 오토 라벨을 참조로 하여 상기 오토 라벨링 네트워크의 신뢰도를 평가하고, (ii) 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트(difficult) 검증 이미지에 수동 라벨링 연산을 적용하여 생성된 고유의 트루 라벨, 오토 라벨, 및 수동 라벨을 가지는 디피컬트 검증 이미지가 수동 라벨링 장치로부터 획득되면, 상기 디피컬트 검증 이미지의 상기 트루 라벨과 상기 수동 라벨을 참조로 하여, 상기 수동 라벨링 장치의 신뢰도를 평가하되, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지는, 상기 오토 라벨링된 고유의 트루 라벨을 가지는 검증 이미지 후보군 중, 부정확하게 오토 라벨링될 확률이 제1 기설정된 값 미만인 검증 이미지이며, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지는, 상기 오토 라벨링된 고유의 트루 라벨을 가지는 검증 이미지 후보군 중, 부정확하게 오토 라벨링될 확률이 제2 기설정된 값 이상인 검증 이미지인 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 신뢰도 평가 장치가 개시된다.
일 실시예에서, 상기 프로세서는, (III) (i) 상기 오토 라벨링 네트워크의 상기 신뢰도가 제1 기설정된 임계치 이상일 경우, 상기 오토 라벨링 네트워크로부터 획득된, 고유의 오토 라벨을 가지는 이지 원본 이미지 중 적어도 일부를 고유의 트루 라벨을 가지는 트레이닝 이미지로서 선정하며, (ii) 상기 수동 라벨링 장치의 상기 신뢰도가 제2 기설정된 임계치 이상일 경우, 상기 수동 라벨링 장치로부터 획득된, 고유의 오토 라벨 및 수동 라벨을 가지는 디피컬트 원본 이미지 중 적어도 일부를 상기 고유의 트루 라벨을 가지는 트레이닝 이미지로서 선정하되, 상기 고유의 오토 라벨을 가지는 이지 원본 이미지는, 상기 원본 이미지를 오토 라벨링하여 획득된, 고유의 오토 라벨을 가지는 원본 이미지 중, 부정확하게 오토 라벨링될 확률이 제3 기설정된 값 미만인 이미지이며, 상기 고유의 오토 라벨을 가지는 디피컬트 원본 이미지는, 상기 원본 이미지를 오토 라벨링하여 획득된, 상기 고유의 오토 라벨을 가지는 원본 이미지 중, 부정확하게 오토 라벨링될 확률이 제4 기설정된 값 이상인 이미지인 프로세스;를 더 수행하는 것을 특징으로 한다.
일 실시예에서, 상기 프로세서는, 상기 고유의 오토 라벨 및 수동 라벨을 가지는 디피컬트 원본 이미지 중, 상기 고유의 트루 라벨을 가지는 트레이닝 이미지로서 선정되지 않은, 고유의 오토 라벨 및 수동 라벨을 가지는 특정 디피컬트 원본 이미지를 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군으로 선정하는 것을 특징으로 한다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서는, 상기 유사 이미지 선택 네트워크로 하여금, (i) (i-1) 상기 원본 이미지 상에서의 슬라이딩 윈도우(sliding window)의 각 영역을 크롭(crop)하고 리사이즈하여 생성된 가공 이미지를 획득하고, (i-2) 이미지 분류 CNN(convolutional neural network)을 통해 상기 가공 이미지를 분류하여 각 상위 k개의 클래스 정보를 출력하며, (i-3) 상기 상위 k개의 클래스 정보를 참조하여 적어도 하나의 BoW(Bag of Words)를 생성하는 적어도 하나의 연산을 상기 모든 원본 이미지에 적용하여, 상기 원본 이미지의 적어도 하나의 BoW 히스토그램을 생성하도록 하며, (ii) 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군 중, 상기 BoW 히스토그램과 가까운 순서대로 기설정된 개수의 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군을 선택하는 것을 특징으로 한다.
일 실시예에서, 상기 프로세서는, 상기 유사 이미지 선택 네트워크로 하여금, 상기 기설정된 개수의 상기 검증 이미지 후보군 중 상기 고유의 트루 라벨을 가지는 디피컬트 검증 이미지와 고유의 오토 라벨을 가지는 디피컬트 원본 이미지를 관리하도록 하여, 상기 기설정된 개수의 검증 이미지 후보군 중 상기 고유의 트루 라벨을 가지는 디피컬트 검증 이미지의 개수가 상기 원본 이미지 중 상기 고유의 오토 라벨을 가지는 디피컬트 원본 이미지의 개수에 대한 특정 비율을 가지도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서는, 상기 오토 라벨링 네트워크로 하여금, 상기 원본 이미지와 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군을 오토 라벨링하여, 고유의 오토 라벨을 가지는 원본 이미지와 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군을 출력하도록 한 다음, (i) (i-1) 제1 이미지와 제2 이미지를 생성하되, 이 중 적어도 하나는 상기 고유의 오토 라벨을 가지는 원본 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군 중 하나로부터 변형되어 생성되고, 상기 제1 이미지와 상기 제2 이미지 중 하나만이 상기 고유의 오토 라벨을 가지는 원본 이미지와 상기 검증 이미지 후보군 중 하나로부터 변형되어 생성된 이미지라면, 상기 제1 이미지와 상기 제2 이미지 중 나머지 하나는 상기 원본 이미지와 상기 검증 이미지 후보군 중 하나를 그대로 사용하고, (i-2) 하나 이상의 컨벌루션 레이어로 하여금, 상기 제1 이미지와 상기 제2 이미지에 각각 하나 이상의 컨벌루션 연산을 적용하여 적어도 하나의 제1 특징 맵과 적어도 하나의 제2 특징 맵을 생성하도록 하며, (i-3) 하나 이상의 풀링 레이어로 하여금, 각각의 상기 제1 특징 맵과 각각의 상기 제2 특징 맵 상에서, 상기 고유의 오토 라벨을 가지는 원본 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군의 오토 라벨링된 박스 각각에 대응하는 각 영역에 하나 이상의 풀링 연산을 적용하여 하나 이상의 제1 풀링된 특징 맵과 하나 이상의 제2 풀링된 특징 맵을 생성하도록 하고, 각각의 상기 제1 풀링된 특징 맵과 이에 대응하는 각각의 상기 제2 풀링된 특징 맵을 컨캐터네이트(concatenate)하여, 각각의 상기 오토 라벨링된 박스에 대응하는 하나 이상의 컨캐터네이트된 특징 맵을 생성하도록 하고, (ii) 딥러닝 분류기(classifier)로 하여금, 각각의 상기 오토 라벨링된 박스에 대응하는 각각의 상기 컨캐터네이트된 특징 맵을 입력으로서 획득하여, 각각의 상기 오토 라벨링된 박스를 비정상 클래스 군 또는 정상 클래스 군으로 분류하는 클래스 정보를 생성하도록 하며, (iii) (iii-1) 각각의 상기 오토 라벨링된 박스에 관한 각각의 상기 클래스 정보를 참조하여 상기 비정상 클래스 군의 각 비정상 클래스 요소의 확률 각각을 계산하고, (iii-2) 각각의 상기 비정상 클래스 요소의 상기 확률 각각을 이용하여 상기 고유의 오토 라벨을 가지는 원본 이미지를 고유의 오토 라벨을 가지는 이지 원본 이미지와 고유의 오토 라벨을 가지는 디피컬트 원본 이미지로 구분하며, (iii-3) 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군을 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지로 구분하되, 상기 고유의 오토 라벨을 가지는 이지 원본 이미지는, 상기 고유의 오토 라벨을 가지는 원본 이미지 중, 부정확하게 오토 라벨링될 확률이 상기 제3 기설정된 값 미만인 이미지이며, 상기 고유의 오토 라벨을 가지는 디피컬트 원본 이미지는, 상기 고유의 오토 라벨을 가지는 원본 이미지 중, 부정확하게 오토 라벨링될 확률이 제4 기설정된 값 이상인 이미지인 것을 특징으로 한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서는, 정밀도(Precision)(X, L) = 1- [L 내 오검출 박스 개수] / [L 내 전체 박스 개수], 재현율(Recall)(X, L) = 1- [X 내 미검출 박스 개수] / [X 내 전체 박스 개수]라 하고, 상기 이지 검증 이미지의 상기 트루 라벨을
Figure pat00007
, 상기 오토 라벨을
Figure pat00008
이라 할 경우, 상기 오토 라벨링 네트워크의 신뢰도(Reliability(AL))를 아래 수학식
Figure pat00009
을 이용하여 평가하는 것을 특징으로 한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서는, 정밀도(Precision)(X, L) = 1- [L 내 오검출 박스 개수] / [L 내 전체 박스 개수], 재현율 (Recall)(X, L) = 1- [X 내 미검출 박스 개수] / [X 내 전체 박스 개수]라 하고, 상기 디피컬트 검증 이미지의 상기 트루 라벨을
Figure pat00010
, 상기 수동 라벨을
Figure pat00011
이라 할 경우, 상기 수동 라벨링 장치의 신뢰도(Reliability(HL))를 아래 수학식
Figure pat00012
을 이용하여 평가하는 것을 특징으로 한다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명은 오토 라벨링 네트워크에 의해 오토 라벨링된 이미지 중 라벨링이 어려운 이미지를 선택하여 검수하도록 함으로써 라벨링의 신뢰도를 정확히 평가하는 효과가 있다.
또한, 본 발명은 오토 라벨링을 위해, 원본 이미지와 촬영 환경이 유사한 검증 이미지를 선택하여 추가함으로써, 검수자가 상기 원본 이미지와 상기 검증 이미지를 쉽게 구분하지 못하도록 하여 상기 라벨링의 신뢰도를 정확히 평가하는 효과가 있다.
또한, 본 발명은 유사 이미지 중 유효한 이미지를 선택하기 위한, 최적화된 샘플링 프로세스를 제공할 수 있는 효과가 있다.
또한, 본 발명은 라벨링이 어려운 이미지를 검수함으로써 검수자의 수를 줄일 수 있게 되며, 그에 따라 주석(annotation) 비용을 절감하는 효과가 있다.
또한, 본 발명은 BoW(bag-of-words) 모델을 적용하여 주변 상황을 인식할 수 있는 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따라 딥러닝 네트워크의 학습에 이용하기 위한 트레이닝 이미지에 대한 라벨링 신뢰도를 평가하는 신뢰도 평가 장치를 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따라 상기 딥러닝 네트워크의 학습에 이용하기 위한 상기 트레이닝 이미지에 대한 상기 라벨링 신뢰도를 평가하는 방법을 개략적으로 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따라 상기 딥러닝 네트워크의 학습에 이용하기 위한 상기 트레이닝 이미지에 대한 상기 라벨링 신뢰도를 평가하는 방법에서, 검증 이미지 후보군 중에서 원본 이미지와 촬영 환경이 유사한 검증 이미지 후보군을 선택하는 방법을 개략적으로 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따라 상기 딥러닝 네트워크의 학습에 이용하기 위한 상기 트레이닝 이미지에 대한 상기 라벨링 신뢰도를 평가하는 방법에서 오토 라벨링 네트워크에서 라벨링 검수를 위한 샘플 이미지를 선택하는 방법을 개략적으로 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따라 상기 딥러닝 네트워크의 학습에 이용하기 위한 상기 트레이닝 이미지에 대한 상기 라벨링 신뢰도를 평가하는 방법에서 상기 오토 라벨링 네트워크에서 라벨링 검수를 위한 상기 샘플 이미지를 선택하는 딥러닝 분류기를 학습하는 방법을 개략적으로 도시한 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 딥러닝 네트워크의 학습에 이용하기 위한 트레이닝 이미지에 대한 라벨링 신뢰도를 평가하는 신뢰도 평가 장치를 개략적으로 도시한 것으로, 도 1을 참조하면, 상기 신뢰도 평가 장치(100)는 상기 트레이닝 이미지에 대한 상기 라벨링 신뢰도를 평가하기 위한 인스트럭션들을 저장하는 메모리(110)와 상기 메모리(110)에 저장된 상기 인스트럭션들에 대응하여 상기 신뢰도를 평가하는 프로세스를 수행하는 프로세서(120)를 포함할 수 있다.
구체적으로, 상기 신뢰도 평가 장치(100)는 전형적으로 적어도 하나의 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 적어도 하나의 컴퓨터 소프트웨어(즉, 상기 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.
또한, 상기 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.
그러나, 이러한 상기 컴퓨팅 장치에 대한 설명이 본 발명을 실시하기 위한 프로세서, 메모리, 매체 또는 기타 컴퓨팅 구성요소가 통합된 형태인 통합 프로세서의 경우를 배제하는 것은 아니다.
본 발명의 일 실시예에 따른 상기 딥러닝 네트워크의 학습에 이용하기 위한 상기 트레이닝 이미지에 대한 상기 라벨링 신뢰도를 평가하는 방법에 대하여 도 2를 참조하여 설명하면 다음과 같다. 이때, 상기 딥러닝 네트워크는 상기 신뢰도 평가 장치(100)를 이용하여 이미지 분석을 수행할 수 있다.
먼저, 하나 이상의 원본 이미지가 획득되면, 상기 신뢰도 평가 장치(100)가, 유사 이미지 선택 네트워크(200)로 하여금, 상기 원본 이미지와 촬영 환경이 유사한, 고유의 트루 라벨을 가지는 검증 이미지 후보군을 선택하도록 한 다음, 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군과 상기 원본 이미지를 상기 오토 라벨링 네트워크(300)에 입력함으로써, 상기 오토 라벨링 네트워크(300)로 하여금 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군과 상기 원본 이미지를 오토 라벨링하도록 할 수 있다. 이때, 상기 원본 이미지는 언라벨링된 이미지이다.
그러면, 상기 원본 이미지와 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군은 각각 상기 오토 라벨링 네트워크(300)에 의해 오토 라벨링되어, 고유의 오토 라벨을 가지는 원본 이미지와 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군이 될 수 있다.
한편, 도 3을 참조하여, 상기 유사 이미지 선택 네트워크(200)가 상기 원본 이미지와 촬영 환경이 유사한, 고유의 트루 라벨을 가지는 검증 이미지 후보군을 선택하는 방법을 설명하면 다음과 같다.
상기 신뢰도 평가 장치(100)가 상기 획득된 원본 이미지를 상기 유사 이미지 선택 네트워크(200)에 입력하면, 상기 유사 이미지 선택 네트워크(200)는 상기 원본 이미지 상에서 각각의 슬라이딩 윈도우의 각 영역을 크롭하고 리사이즈하여 가공 이미지를 출력한다. 이때, 다른 예로, 상기 유사 이미지 선택 네트워크(200)가 아닌, 상기 신뢰도 평가 장치(100)는 상기 원본 이미지 상에서 각각의 상기 슬라이딩 윈도우의 각 영역을 크롭하고 리사이즈한 상기 가공 이미지를 획득하고, 상기 원본 이미지에 대응되는 각각의 상기 가공 이미지를 상기 유사 이미지 선택 네트워크(200)에 입력할 수도 있다.
그러면, 상기 유사 이미지 선택 네트워크(200)는 이미지 분류(Classification)를 위한 CNN인 이미지 분류 CNN(210)으로 하여금, 상기 가공 이미지를 분류하여 각각의 상위 k개의 클래스 정보를 출력하도록 한다. 일 예로, 상기 이미지 분류 CNN(210)은 각각의 상기 가공 이미지의 각각의 특징 맵을 생성하고, 각각의 상기 특징 맵을 이용하여 객체나 배경을 낮, 새, 봄, 구름, 산, 나무, 집, 자전거, 사람, 도로, 개 등과 같은 클래스 군으로 분류하며, 상기 상위 k개의 클래스 정보를 출력할 수 있다. 이때, 도면에서는 상위 4개의 클래스 정보를 출력하는 것으로 도시하였으나, 본 발명의 범위는 이에 한정되지 않는다. 또한, 도면에서는 각각의 상기 가공 이미지에 대응하는 상기 이미지 분류 CNN(210)이 복수 개로 도시되어 있으나, 이와는 달리 하나의 이미지 분류 CNN을 이용하여 각각의 상기 가공 이미지에 대응하는 상기 상위 k개의 클래스 정보를 출력하도록 하거나, 상기 가공 이미지에 대응하나 상기 가공 이미지 개수와는 다른 개수의 상기 이미지 분류 CNN을 이용하여 상기 상위 k개의 클래스 정보를 출력하도록 할 수도 있다.
그리고, 상기 유사 이미지 선택 네트워크(200)는, 상기 이미지 분류 CNN(210)으로부터 출력되는 각각의 상기 가공 이미지에 대응하는 상기 상위 k개의 클래스 정보를 참조하여, 적어도 하나의 BoW(Bag of Words)를 생성하는 적어도 하나의 연산을 모든 상기 원본 이미지에 적용하여 상기 원본 이미지에 대한 적어도 하나의 BoW 히스토그램을 생성하도록 한다.
이후, 상기 유사 이미지 선택 네트워크(200)는 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군 중, 상기 BoW 히스토그램과 가까운 순서대로 기설정된 개수의 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군을 선택하여, 상기 원본 이미지와 상기 기설정된 개수의 검증 이미지 후보군을 오토 라벨링하기 위해 상기 오토 라벨링 네트워크(300)에 전송할 수 있다. 이때, 상기 유사 이미지 선택 네트워크(200)는 상기 기설정된 개수의 상기 검증 이미지 후보군 중 고유의 트루 라벨을 가지는 디피컬트(difficult) 검증 이미지와 디피컬트 원본 이미지를 관리하여, 상기 기설정된 개수의 검증 이미지 후보군 중 상기 고유의 트루 라벨을 가지는 디피컬트 검증 이미지의 개수가 상기 원본 이미지 중 상기 디피컬트 원본 이미지의 개수에 대한 특정 비율을 가지도록 할 수 있다. 일 예로, 상기 기설정된 개수의 검증 이미지 후보군 중 상기 고유의 트루 라벨을 가지는 디피컬트 검증 이미지의 개수는 상기 원본 이미지 중 상기 디피컬트 원본 이미지의 개수의 10%일 수 있다. "이지"(easy)와 "디피컬트"가 앞에 붙은 이미지의 정의에 대해서는 후에 설명하도록 한다.
또한, 도 4를 참조하여, 상기 오토 라벨링 네트워크(300)가 상기 원본 이미지와 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군을 오토 라벨링하여 상기 고유의 오토 라벨을 가지는 원본 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군을 출력함으로써, 이지 이미지와 디피컬트 이미지를 선택하는 방법을 설명하면 다음과 같다. 상기 이지 이미지와 상기 디피컬트 이미지에 대해서는 추후 정의하도록 한다.
상기 오토 라벨링 네트워크(300)는 이미지 변형 레이어(310)로 하여금 상기 고유의 오토 라벨을 가지는 원본 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군을 그대로 사용하거나 이들을 변형하여, 제1 이미지와 제2 이미지를 생성하도록 한다. 이때, 상기 제1 이미지 및 상기 제2 이미지 중 적어도 하나는 상기 고유의 오토 라벨을 가지는 원본 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군 중 하나로부터 변형되어 생성된 이미지일 수 있다.
한편, 상기 이미지 변형 레이어(310)을 이용해 상기 제1 이미지와 상기 제2 이미지를 생성하도록 함에 있어서, 다수의 변형 페어를 이용하여, 상기 고유의 오토 라벨을 가지는 원본 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군에 각각 대응하는, 상기 제1 이미지와 상기 제2 이미지의 적어도 하나의 이미지 페어를 생성하도록 할 수 있다.
일 예로, 상기 변형 페어는 다음과 같이 나타내어질 수 있다.
색인 제1 이미지 제2 이미지
1 480P로 리사이즈 540P로 리사이즈
2 640P로 리사이즈 720P로 리사이즈
3 900P로 리사이즈 1080P로 리사이즈
4 원본 좌우 반전
5 원본 감마 0.5
6 원본 감마 1.5
즉, 임의의 순서로 연속으로 입력된, 상기 고유의 오토 라벨을 가지는 원본 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 중 하나에 따라 설정된 상기 변형 페어에 대응되는, 상기 제1 이미지와 상기 제2 이미지의 하나 이상의 이미지 페어가 생성될 수 있다.
다음으로, 상기 오토 라벨링 네트워크(300)는, 하나 이상의 컨벌루션 레이어(320)로 하여금, 상기 제1 이미지와 상기 제2 이미지에 각각 하나 이상의 컨벌루션 연산을 적용하여, 적어도 하나의 제1 특징 맵과 적어도 하나의 제2 특징 맵을 출력하도록 한다. 이때, 각각의 상기 컨벌루션 레이어(320)는 상기 이미지를 오토 라벨링하는 상기 오토 라벨링 네트워크를 구성하는 적어도 하나의 오토 라벨링 컨벌루션 레이어일 수 있다. 즉, 상기 오토 라벨링 네트워크가 다수의 변형의 조합을 사용하는 경우, 상기 변형 페어는 상기 오토 라벨링 네트워크가 사용하는 상기 변형으로만 정의될 수 있으며, 그에 따라 상기 오토 라벨링 네트워크의 상기 오토 라벨링 컨벌루션 레이어에서 출력된 특징 맵이 추가 과정 없이 그대로 사용될 수 있으므로, 상기 특징 맵의 연산에 소요되는 시간을 절감할 수 있게 된다.
이후, 상기 오토 라벨링 네트워크(300)는 하나 이상의 풀링 레이어(330)로 하여금, 상기 제1 특징 맵 상에서, 상기 고유의 오토 라벨을 가지는 원본 이미지 또는 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군의 오토 라벨링된 박스 각각에 대응되는 각 영역에 하나 이상의 풀링 연산을 적용하여 각각의 제1 풀링된 특징 맵을 출력하도록 하고, 상기 제2 특징 맵 상에서, 상기 고유의 오토 라벨을 가지는 원본 이미지 또는 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군의 상기 오토 라벨링된 박스 각각에 대응되는 각 영역에 상기 풀링 연산을 적용하여 각각의 제2 풀링된 특징 맵을 출력하도록 하며, 상기 각각의 오토 라벨링된 박스에 각각 대응되는, 각각의 상기 제1 풀링된 특징 맵과 각각의 상기 제2 풀링된 특징 맵을 컨캐터네이트하여 상기 오토 라벨링된 박스 각각에 대응되는 각각의 컨캐터네이트된 특징 맵을 생성한다. 이때, 도 4에서는 두 개의 컨벌루션 레이어(320)와, 두 개의 풀링 레이어(330)가 도시되었으나, 이와는 달리 하나의 컨벌루션 레이어와 하나의 풀링 레이어가, 상기 제1 이미지와 제2 이미지에 상기 컨벌루션 연산을 적용하며, 상기 제1 특징 맵과 상기 제2 특징 맵에 상기 풀링 연산을 적용하기 위해 각각 사용될 수도 있다.
그리고, 상기 오토 라벨링 네트워크(300)는 적어도 하나의 딥러닝 분류기(340)로 하여금 상기 각각의 컨캐터네이트된 특징 맵을 입력으로서 획득하여, 상기 각각의 오토 라벨링된 박스를 비정상 클래스 군 또는 정상 클래스 군으로 분류하는 클래스 정보를 출력하도록 할 수 있다. 이때, 상기 비정상 클래스 군은 오검출 클래스 군과 미검출 클래스 군을 포함할 수 있으며, 상기 정상 클래스 군은 객체로 분류된 박스에 대한 클래스 군과 상기 배경으로 분류된 박스에 대한 클래스 군을 포함할 수 있고, 상기 박스는 상기 비정상 클래스 군에 포함되지 않은 상기 오토 라벨링된 박스 중 적어도 일부이다. 상기 오토 라벨링된 박스에 대한 분류에 대해서는 도 5를 참조하여 상기 딥러닝 분류기(340)의 학습 방법에서 설명하기로 한다.
이후, 상기 오토 라벨링 네트워크 장치(300)는 디피컬트 이미지 판별 레이어(350)로 하여금 (i) 상기 각각의 오토 라벨링된 박스의 각 클래스 정보를 참조하여, 상기 비정상 클래스 군의 각각의 비정상 클래스 요소에 대한 확률값 각각을 계산하고, (ii) 각각의 상기 비정상 클래스 요소에 대한 상기 확률값 각각을 이용하여, 상기 고유의 오토 라벨을 가지는 원본 이미지 또는 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군이, 추후 설명될 디피컬트 이미지인지를 판단하도록 한다.
이때, 상기 딥러닝 분류기(340)의 출력에 시그모이드 함수가 적용된 다음 각각의 상기 비정상 클래스 요소의 각 확률값이 계산될 수 있다. 각각의 상기 비정상 클래스 요소의 각 확률값은 상기 오검출 클래스 군의 오검출 클래스 요소에 대한 각각의 확률값과 상기 미검출 클래스 군의 미검출 클래스 요소에 대한 각각의 확률값을 포함할 수 있다.
일 예로, 상기 오검출 클래스 요소(FP)에 대한 확률값은
Figure pat00013
로 나타낼 수 있으며, 상기 미검출 클래스 요소(FN)에 대한 확률값은
Figure pat00014
로 나타낼 수 있다.
이때,
Figure pat00015
는 상기 오토 라벨링된 박스 중 하나의 오토 라벨링된 박스이며,
Figure pat00016
와
Figure pat00017
는 각각 상기 제1 이미지와 상기 제2 이미지를 나타낸다.
또한, 상기 오토 라벨링 네트워크(300)는, 각 상기 오토 라벨링된 박스 별로, 상기 변형 페어 각각에 대응하는 각각의 상기 비정상 클래스 요소에 대한 각각의 확률값을 계산하고, 상기 산출된 확률값의 적어도 하나의 가중 평균을 계산할 수 있다.
즉, 상기 오검출 클래스 요소에 대한 확률값(
Figure pat00018
)과 상기 미검출 클래스 요소에 대한 확률값(
Figure pat00019
)은 아래와 같이 나타낼 수 있다.
Figure pat00020
Figure pat00021
이때, 상기 오검출 클래스 요소에 대한 확률값(
Figure pat00022
)과 상기 미검출 클래스 요소에 대한 확률값(
Figure pat00023
)은 가중치에 대한 선형 함수이므로,
Figure pat00024
의 제약 조건이 있는 제약 최적화(Constrained optimization)로 상기 가중치의 최적화가 가능하게 된다.
그리고, 각각의 상기 비정상 클래스 요소의 확률값에 대한 적어도 하나의 일반화된 평균(generalized mean)이 기설정된 값 이상일 경우, 상기 오토 라벨링 네트워크(300)는 상기 고유의 오토 라벨을 가지는 원본 이미지 또는 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군을 상기 디피컬트 이미지로 판단할 수 있다.
일 예로, 상기 오토 라벨링 네트워크(300)는, 각 오토 라벨링된 박스 별, 상기 오검출 클래스 요소에 대한 각 확률값(
Figure pat00025
)과 상기 미검출 클래스 요소에 대한 각 확률값(
Figure pat00026
)을 참조하여, 상기 고유의 오토 라벨을 가지는 원본 이미지 또는 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군이 상기 디피컬트 이미지일 확률값(
Figure pat00027
)을 다음과 같은 일반화된 평균으로 계산할 수 있다.
Figure pat00028
그리고, 각 오토 라벨링된 박스 별, 상기 오검출 클래스 요소에 대한 각 확률값(
Figure pat00029
)과 상기 미검출 클래스 요소에 대한 각 확률값(
Figure pat00030
)을 참조하여 계산한 각각의 상기 확률값(
Figure pat00031
)이 상기 기설정된 값 이상일 경우, 상기 오토 라벨링 네트워크(300)는 상기 고유의 오토 라벨을 가지는 원본 이미지 또는 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군을 상기 디피컬트 이미지로 판단할 수 있다. 여기서, 상기 디피컬트 이미지는 부정확하게 오토 라벨링될 확률이 상기 기설정된 값 이상인 이미지를 나타낼 수 있고, 상기 기설정된 값은 제1 기설정된 값, 제2 기설정된 값, 제3 기설정된 값, 및 제4 기설정된 값을 포함하며, 이는 추후 설명된다.
이때, 상기 기설정된 값은, 상기 오토 라벨링 네트워크의 오토 라벨링 프로세스 이후 수동으로 검수된 상기 검증 이미지 후보군에 대한 정답 적중률 중 적어도 하나의 가장 높은 적중률일 수 있다.
다음으로, 상기 오토 라벨링 네트워크(300)는, 상기 고유의 오토 라벨을 가지는 원본 이미지 또는 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군이 상기 디피컬트 이미지일 경우, 상기 고유의 오토 라벨을 가지는 원본 이미지 또는 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군을 라벨 검수용 샘플 이미지로서 선정할 수 있다. 즉, 상기 고유의 오토 라벨을 가지는 원본 이미지는, 고유의 오토 라벨을 가지는 이지 원본 이미지와 고유의 오토 라벨을 가지는 디피컬트 원본 이미지로 구분될 수 있으며, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군은 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지와 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지로 구분될 수 있다. 이때, (i) 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지는, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군 중, 부정확하게 오토 라벨링될 확률이 상기 제1 기설정된 값 미만인 검증 이미지이고, (ii) 상기 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지는, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군 중, 부정확하게 오토 라벨링될 확률이 상기 제2 기설정된 값 이상인 검증 이미지이며, (iii) 상기 고유의 오토 라벨을 가지는 이지 원본 이미지는, 상기 고유의 오토 라벨을 가지는 원본 이미지 중, 부정확하게 오토 라벨링될 확률이 상기 제3 기설정된 값 미만인 이미지이고, (iv) 상기 고유의 오토 라벨을 가지는 디피컬트 원본 이미지는, 상기 고유의 오토 라벨을 가지는 원본 이미지 중, 부정확하게 오토 라벨링될 확률이 상기 제4 기설정된 값 이상인 이미지일 수 있다. 상기 제1 기설정된 값, 상기 제2 기설정된 값, 상기 제3 기설정된 값, 및 상기 제4 기설정된 값 중 적어도 일부는 서로 동일할 수도 있고 상이할 수 있다. 이때, 상기 오토 라벨링 네트워크(300)는, 상기 디피컬트 이미지로서 선정된, 상기 고유의 오토 라벨을 가지는 디피컬트 원본 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지 상의, 상기 비정상 클래스 군으로 분류된 상기 오토 라벨링된 박스에 대응되는 영역을 식별하여, 검수자가 용이하게 검수할 수 있도록 할 수 있다.
한편, 상기 딥러닝 분류기는 다중의 FC 레이어 또는 풀리 컨벌루션 네트워크(fully convolutional network)를 포함할 수 있으며, 상기 딥러닝 분류기를 학습하는 과정을 도 5을 참조하여 설명하면 다음과 같다.
상기 오토 라벨링 네트워크에 의해 라벨링된, 오토 박스를 가지는 적어도 하나의 트레이닝 이미지가 획득되면, 학습 장치(500)가 하나 이상의 학습용 컨벌루션 레이어(510)로 하여금 상기 학습용 컨벌루션 레이어의 컨벌루션 연산을 상기 트레이닝 이미지에 적용하여 적어도 하나의 학습용 특징 맵을 출력하도록 한다.
이때, 상기 트레이닝 이미지의 상기 오토 박스는, 상기 오토 라벨링 네트워크를 통해 라벨링된 상기 오토 박스와는 달리, 학습을 위해 임의로 생성된 것일 수도 있다.
또한, 상기 학습 장치(500)는 상기 딥러닝 클래스 분류기의 학습을 위한 인스트럭션들을 저장하는 메모리(미도시)와 상기 메모리에 저장된 상기 인스트럭션들에 대응하여 상기 딥러닝 클래스 분류기에 대한 학습을 수행하는 프로세서(미도시)를 포함할 수 있다.
구체적으로, 상기 학습 장치(500)는 전형적으로 적어도 하나의 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 적어도 하나의 컴퓨터 소프트웨어(즉, 상기 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다. 또한, 상기 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다. 그러나, 이러한 상기 컴퓨팅 장치에 대한 설명이 본 발명을 실시하기 위한 프로세서, 메모리, 매체 또는 기타 컴퓨팅 구성요소가 통합된 형태인 통합 프로세서의 경우를 배제하는 것은 아니다.
다음으로, 상기 학습 장치(500)는 학습용 풀링 레이어(520)로 하여금 상기 학습용 풀링 레이어의 하나 이상의 풀링 연산을, 상기 학습용 특징 맵 상에서 상기 오토 박스 각각에 대응되는 각각의 영역에 각각 적용하여 하나 이상의 학습용 풀링된 특징 맵을 출력하도록 한다.
이후, 상기 학습 장치(500)는 상기 딥러닝 분류기(530)로 하여금 상기 오토 박스 각각에 대응되는 각각의 상기 학습용 풀링된 특징 맵을 입력으로서 획득하여, 상기 오토 박스를 상기 비정상 클래스 군 또는 상기 정상 클래스 군으로 분류하는 상기 클래스 정보를 출력하도록 한다.
이때, 상기 클래스 정보는, 상기 오검출 클래스 군과 상기 미검출 클래스 군을 가지는 상기 비정상 클래스 군을 포함할 수 있다. 그리고, 상기 클래스 정보는 2 차원 출력을 포함할 수 있다.
일 예로, 상기 오검출 클래스 군(FP,
Figure pat00032
))은, 제1 특정 오토 박스와 동일한 클래스 정보를 가지는 제1 특정 트루 박스가 다른 트루 박스와 상기 제1 기설정된 임계치 이상으로 겹쳐 있지 않는 경우에 해당할 수 있다.
이때, 상기 오검출 클래스 군(FP,
Figure pat00033
)은
Figure pat00034
와 같이 나타날 수 있다.
그리고, 상기 미검출 클래스 군(FN,
Figure pat00035
)은, 제2 특정 트루 박스와 동일한 클래스 정보를 가지는 제2 특정 오토 박스가 다른 오토 박스와 상기 제2 기설정된 임계치 이상 겹쳐 있지 않은 상태에서, 제3 특정 오토 박스가 상기 제2 특정 트루 박스와 제3 기설정된 임계치 이상으로 겹쳐 있는 경우에 해당할 수 있다.
이때, 상기 미검출 클래스 군(FN,
Figure pat00036
)은
Figure pat00037
,
Figure pat00038
):
Figure pat00039
로 나타날 수 있다.
일 예로, 상기에서
Figure pat00040
로 설정될 수 있으나, 이에 한정되는 것은 아니다.
그리고, 상기 정상 클래스 군(
Figure pat00041
)은 상기 오검출 클래스 군 및 상기 미검출 클래스 군 이외의 다른 클래스 군을 포함할 수 있으며, 상기 객체와 상기 배경에 대응될 수 있다.
한편, 상기 클래스의 불균형을 예방하기 위하여, 상기 학습 장치(500)는 상기 오검출 클래스 군, 상기 미검출 클래스 군 및 상기 정상 클래스 군을 관리하여, 상기 비정상 클래스 군 중에서 요소 개수가 많은 클래스 군의 개수가 요소 개수가 적은 나머지 클래스 군 개수의 기설정된 제1 배수 이하로 되도록 하며, 상기 정상 클래스 군의 요소 개수가 상기 비정상 클래스 군의 요소 개수의 기설정된 제2 배수와 동일해지도록 한다.
이때, 상기 학습 장치(500)는 상기 오검출 클래스 군(FP)의 요소의 개수, 상기 미검출 클래스 군(FN)의 요소의 개수, 및 상기 정상 클래스 군의 요소의 개수를 랜덤 샘플링을 이용하여 조정할 수 있다.
다음으로, 상기 학습 장치(500)는, 적어도 하나의 로스 레이어(540)로 하여금 각각의 상기 오토 라벨링된 박스에 대한 상기 각 클래스 정보와 이에 대응하는 하나 이상의 GT(ground truth)를 참조하여 하나 이상의 로스를 계산하도록 함으로써, 상기 로스를 이용한 백프로퍼게이션을 통해 상기 딥러닝 분류기(530)의 파라미터 중 적어도 일부를 학습할 수 있다.
이때, 상기 학습 장치(500)는 크로스 엔트로피 로스(cross-entropy loss)를 이용하여 상기 백프로퍼게이션을 수행할 수 있다.
한편, 상기 학습은, 상기 딥러닝 분류기(530)를 구성하는 뉴럴 네트워크 내 연결된 두 레이어의 시놉스 강도인 가중치를, 로스가 작아지도록 조정하는 것일 수 있다.
일 예로, 확률적 경사 하강법(Stochastic Gradient Descent, SGD)을 이용하여 상기 백프로퍼게이션을 수행할 경우에는, 다음과 같이 각각의 가중치를 조정할 수 있다.
Figure pat00042
상기에서,
Figure pat00043
는 학습률을 나타내며,
Figure pat00044
는 비용 함수(Cost function)를 나타낸다.
이때, 상기 비용 함수는 지도 학습, 비지도 학습, 자율 학습, 및 강화 학습 등과 같은 학습의 형태와 활성화 함수같은 요인들에 의해서 결정될 수 있다.
예를 들면, 다중 클래스(multi-class) 분류 문제를 풀기 위한 학습을 수행할 때, 일반적으로 상기 활성화 함수와 상기 비용 함수는 각각 소프트맥스 함수와 크로스 엔트로피 함수로 결정된다.
상기 소프트맥스 함수는
Figure pat00045
와 같이 나타낼 수 있으며, 상기 비용 함수는
Figure pat00046
와 같이 나타낼 수 있다.
이때, pj는 클래스 확률(class probability)을 나타내며, xj와 xk는 각각 유닛 j로의 전체 입력과 유닛 k로의 전체 입력을 나타낼 수 있다. 그리고, dj는 출력 유닛 j에 대한 목표 확률(target probability)을 나타내며, pj는 해당 활성화 함수를 적용한 이후의 상기 출력 유닛 j에 대한 확률 출력(probability output)을 나타낼 수 있다.
상기에서는 상기 로스를 이용한 백프로퍼게이션의 일 예로, 상기 확률적 경사 하강법에 대해 설명하였으나, 본 발명의 범위는 이에 한정되지 않으며, 모멘텀(Momentum) 방식, 네스테로프 가속 경사(Nesterov Accelerated Gradient, NAG) 방식, AdaGrad(Adaptive Gradient) 방식, RMSProp(Root Mean Square Propagation) 방식, AdaDelta(Adaptive Delta) 방식, Adam(Adaptive Moment Estimation) 방식 등을 사용하여 상기 뉴럴 네트워크의 학습을 위한 상기 백프로퍼게이션을 수행할 수도 있다.
다시, 도 2를 참조하면, 상기 신뢰도 평가 장치(100)는 상기 오토 라벨링 네트워크(300)로부터 상기 고유의 오토 라벨을 가지는 이지 원본 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지를 획득할 수 있으며, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지의 트루 라벨과 오토 라벨을 참조하여 상기 오토 라벨링 네트워크(300)의 신뢰도를 평가할 수 있다.
이때, 정밀도(Precision)(X, L) = 1- [L 내 오검출 박스 개수] / [L 내 전체 박스 개수], 재현율(Recall)(X, L) = 1- [X 내 미검출 박스 개수] / [X 내 전체 박스 개수]라 하고, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지의 상기 트루 라벨을
Figure pat00047
, 상기 오토 라벨을
Figure pat00048
이라 할 경우, 상기 오토 라벨링 네트워크(300)의 신뢰도(Reliability(AL))는 다음과 같이 평가될 수 있다.
Figure pat00049
또한, 상기 오토 라벨링 네트워크(300)로부터 출력된, 상기 고유의 오토 라벨을 가지는 디피컬트 원본 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지를 수동으로 라벨링하여 생성된, 고유의 오토 라벨 및 수동 라벨을 가지는 디피컬트 원본 이미지와 고유의 트루 라벨, 오토 라벨 및 수동 라벨을 가지는 디피컬트 검증 이미지가 수동 라벨링 장치(400)로부터 획득되면, 상기 신뢰도 평가 장치(100)는 상기 고유의 트루 라벨, 오토 라벨 및 수동 라벨을 가지는 디피컬트 검증 이미지의 트루 라벨과 오토 라벨을 참조하여 상기 수동 라벨링 장치(400)의 신뢰도를 평가할 수 있다.
이때, 정밀도(Precision)(X, L) = 1- [L 내 오검출 박스 개수] / [L 내 전체 박스 개수], 재현율(Recall)(X, L) = 1- [X 내 미검출 박스 개수] / [X 내 전체 박스 개수]라 하고, 상기 고유의 트루 라벨, 오토 라벨 및 수동 라벨을 가지는 디피컬트 검증 이미지의 상기 트루 라벨을
Figure pat00050
, 상기 수동 라벨을
Figure pat00051
이라 할 경우, 상기 수동 라벨링 장치(400)의 신뢰도(Reliability(HL))는 다음과 같이 평가될 수 있다.
Figure pat00052
다음으로, 상기 오토 라벨링 네트워크(300)의 신뢰도가 상기 제1 기설정된 임계치 이상일 경우, 상기 신뢰도 평가 장치(100)는, 상기 오토 라벨링 네트워크(300)로부터 획득된 상기 고유의 오토 라벨을 가지는 이지 원본 이미지 중 적어도 일부를 고유의 트루 라벨을 가지는 트레이닝 이미지로서 선정할 수 있다.
또한, 상기 수동 라벨링 장치(400)의 신뢰도가 상기 제2 기설정된 임계치 이상일 경우, 상기 신뢰도 평가 장치(100)는, 상기 수동 라벨링 장치(400)로부터 획득된 상기 고유의 오토 라벨 및 수동 라벨을 가지는 디피컬트 원본 이미지 중 적어도 일부를 상기 고유의 트루 라벨을 가지는 트레이닝 이미지로서 선정할 수 있다.
이에 더하여, 상기 신뢰도 평가 장치(100)는, 상기 수동 라벨링 장치(400)로부터 출력된 상기 고유의 오토 라벨 및 수동 라벨을 가지는 디피컬트 원본 이미지 중, 상기 고유의 트루 라벨을 가지는 트레이닝 이미지로서 선정되지 않은 고유의 오토 라벨 및 수동 라벨을 가지는 특정 디피컬트 원본 이미지를 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군으로 선정하여, 다음 번의 오토 라벨링 신뢰도를 평가하는 데에 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군을 이용할 수 있다.
오토 라벨링의 정확도가 높아지면, 오토 라벨이 트루 라벨과 일치하는 경우가 많아져서 트루 라벨을 검수할 때 교정 작업의 필요성이 줄어든다. 하지만, 본 발명의 일 실시예에 따르면, 디피컬트 이미지만 주어지는 경우, 상기 정확도가 높아지더라도 상기 교정 작업을 수행할 수 있게 되며, 검증 이미지뿐만 아니라 원본 이미지에서도 디피컬트 이미지가 선택됨으로써, 검수자가 검수 여부를 구분할 가능성이 낮아지므로 상기 검수자에 대한 정확한 평가가 이루어질 수 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (16)

  1. 딥러닝 네트워크의 학습에 이용하기 위한 하나 이상의 트레이닝 이미지에 대한 라벨링 신뢰도를 평가하는 방법에 있어서,
    (a) 하나 이상의 원본 이미지가 획득되면, 신뢰도 평가 장치가, 유사 이미지 선택 네트워크로 하여금, 상기 원본 이미지와 촬영 환경이 유사한, 고유의 트루 라벨을 가지는 검증 이미지 후보군을 선택하도록 한 다음, 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군과 상기 원본 이미지를 오토 라벨링 네트워크에 입력함으로써, 상기 오토 라벨링 네트워크로 하여금 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군과 상기 원본 이미지를 오토 라벨링하도록 하되, 상기 원본 이미지는 언라벨링된 이미지인 단계;
    (b) 상기 신뢰도 평가 장치는, (i) 고유의 트루 라벨 및 오토 라벨을 가지는 이지(easy) 검증 이미지가 상기 오토 라벨링 네트워크로부터 획득되면, 상기 이지 검증 이미지의 상기 트루 라벨과 상기 오토 라벨을 참조로 하여 상기 오토 라벨링 네트워크의 신뢰도를 평가하고, (ii) 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트(difficult) 검증 이미지에 수동 라벨링 연산을 적용하여 생성된 고유의 트루 라벨, 오토 라벨, 및 수동 라벨을 가지는 디피컬트 검증 이미지가 수동 라벨링 장치로부터 획득되면, 상기 디피컬트 검증 이미지의 상기 트루 라벨과 상기 수동 라벨을 참조로 하여, 상기 수동 라벨링 장치의 신뢰도를 평가하되,
    상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지는, 상기 오토 라벨링된 고유의 트루 라벨을 가지는 검증 이미지 후보군 중, 부정확하게 오토 라벨링될 확률이 제1 기설정된 값 미만인 검증 이미지이며, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지는, 상기 오토 라벨링된 고유의 트루 라벨을 가지는 검증 이미지 후보군 중, 부정확하게 오토 라벨링될 확률이 제2 기설정된 값 이상인 검증 이미지인 단계;
    를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    (c) 상기 신뢰도 평가 장치가, (i) 상기 오토 라벨링 네트워크의 상기 신뢰도가 제1 기설정된 임계치 이상일 경우, 상기 오토 라벨링 네트워크로부터 획득된, 고유의 오토 라벨을 가지는 이지 원본 이미지 중 적어도 일부를 고유의 트루 라벨을 가지는 트레이닝 이미지로서 선정하며, (ii) 상기 수동 라벨링 장치의 상기 신뢰도가 제2 기설정된 임계치 이상일 경우, 상기 수동 라벨링 장치로부터 획득된, 고유의 오토 라벨 및 수동 라벨을 가지는 디피컬트 원본 이미지 중 적어도 일부를 상기 고유의 트루 라벨을 가지는 트레이닝 이미지로서 선정하되,
    상기 고유의 오토 라벨을 가지는 이지 원본 이미지는, 상기 원본 이미지를 오토 라벨링하여 획득된, 고유의 오토 라벨을 가지는 원본 이미지 중, 부정확하게 오토 라벨링될 확률이 제3 기설정된 값 미만인 이미지이며, 상기 고유의 오토 라벨을 가지는 디피컬트 원본 이미지는, 상기 원본 이미지를 오토 라벨링하여 획득된, 상기 고유의 오토 라벨을 가지는 원본 이미지 중, 부정확하게 오토 라벨링될 확률이 제4 기설정된 값 이상인 이미지인 단계;
    를 더 포함하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 신뢰도 평가 장치는, 상기 고유의 오토 라벨 및 수동 라벨을 가지는 디피컬트 원본 이미지 중, 상기 고유의 트루 라벨을 가지는 트레이닝 이미지로서 선정되지 않은, 고유의 오토 라벨 및 수동 라벨을 가지는 특정 디피컬트 원본 이미지를 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군으로 선정하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 (a) 단계에서,
    상기 신뢰도 평가 장치는, 상기 유사 이미지 선택 네트워크로 하여금, (i) (i-1) 상기 원본 이미지 상에서의 슬라이딩 윈도우(sliding window)의 각 영역을 크롭(crop)하고 리사이즈하여 생성된 가공 이미지를 획득하고, (i-2) 이미지 분류 CNN(convolutional neural network)을 통해 상기 가공 이미지를 분류하여 각 상위 k개의 클래스 정보를 출력하며, (i-3) 상기 상위 k개의 클래스 정보를 참조하여 적어도 하나의 BoW(Bag of Words)를 생성하는 적어도 하나의 연산을 상기 모든 원본 이미지에 적용하여, 상기 원본 이미지의 적어도 하나의 BoW 히스토그램을 생성하도록 하며, (ii) 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군 중, 상기 BoW 히스토그램과 가까운 순서대로 기설정된 개수의 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군을 선택하는 것을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 신뢰도 평가 장치는, 상기 유사 이미지 선택 네트워크로 하여금, 상기 기설정된 개수의 상기 검증 이미지 후보군 중 상기 고유의 트루 라벨을 가지는 디피컬트 검증 이미지와 고유의 오토 라벨을 가지는 디피컬트 원본 이미지를 관리하도록 하여, 상기 기설정된 개수의 검증 이미지 후보군 중 상기 고유의 트루 라벨을 가지는 디피컬트 검증 이미지의 개수가 상기 원본 이미지 중 상기 고유의 오토 라벨을 가지는 디피컬트 원본 이미지의 개수에 대한 특정 비율을 가지도록 하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    상기 (a) 단계에서,
    상기 신뢰도 평가 장치는, 상기 오토 라벨링 네트워크로 하여금, 상기 원본 이미지와 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군을 오토 라벨링하여, 고유의 오토 라벨을 가지는 원본 이미지와 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군을 출력하도록 한 다음, (i) (i-1) 제1 이미지와 제2 이미지를 생성하되, 이 중 적어도 하나는 상기 고유의 오토 라벨을 가지는 원본 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군 중 하나로부터 변형되어 생성되고, 상기 제1 이미지와 상기 제2 이미지 중 하나만이 상기 고유의 오토 라벨을 가지는 원본 이미지와 상기 검증 이미지 후보군 중 하나로부터 변형되어 생성된 이미지라면, 상기 제1 이미지와 상기 제2 이미지 중 나머지 하나는 상기 원본 이미지와 상기 검증 이미지 후보군 중 하나를 그대로 사용하고, (i-2) 하나 이상의 컨벌루션 레이어로 하여금, 상기 제1 이미지와 상기 제2 이미지에 각각 하나 이상의 컨벌루션 연산을 적용하여 적어도 하나의 제1 특징 맵과 적어도 하나의 제2 특징 맵을 생성하도록 하며, (i-3) 하나 이상의 풀링 레이어로 하여금, 각각의 상기 제1 특징 맵과 각각의 상기 제2 특징 맵 상에서, 상기 고유의 오토 라벨을 가지는 원본 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군의 오토 라벨링된 박스 각각에 대응하는 각 영역에 하나 이상의 풀링 연산을 적용하여 하나 이상의 제1 풀링된 특징 맵과 하나 이상의 제2 풀링된 특징 맵을 생성하도록 하고, 각각의 상기 제1 풀링된 특징 맵과 이에 대응하는 각각의 상기 제2 풀링된 특징 맵을 컨캐터네이트(concatenate)하여, 각각의 상기 오토 라벨링된 박스에 대응하는 하나 이상의 컨캐터네이트된 특징 맵을 생성하도록 하고, (ii) 딥러닝 분류기(classifier)로 하여금, 각각의 상기 오토 라벨링된 박스에 대응하는 각각의 상기 컨캐터네이트된 특징 맵을 입력으로서 획득하여, 각각의 상기 오토 라벨링된 박스를 비정상 클래스 군 또는 정상 클래스 군으로 분류하는 클래스 정보를 생성하도록 하며, (iii) (iii-1) 각각의 상기 오토 라벨링된 박스에 관한 각각의 상기 클래스 정보를 참조하여 상기 비정상 클래스 군의 각 비정상 클래스 요소의 확률 각각을 계산하고, (iii-2) 각각의 상기 비정상 클래스 요소의 상기 확률 각각을 이용하여 상기 고유의 오토 라벨을 가지는 원본 이미지를 고유의 오토 라벨을 가지는 이지 원본 이미지와 고유의 오토 라벨을 가지는 디피컬트 원본 이미지로 구분하며, (iii-3) 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군을 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지로 구분하되,
    상기 고유의 오토 라벨을 가지는 이지 원본 이미지는, 상기 고유의 오토 라벨을 가지는 원본 이미지 중, 부정확하게 오토 라벨링될 확률이 상기 제3 기설정된 값 미만인 이미지이며, 상기 고유의 오토 라벨을 가지는 디피컬트 원본 이미지는, 상기 고유의 오토 라벨을 가지는 원본 이미지 중, 부정확하게 오토 라벨링될 확률이 제4 기설정된 값 이상인 이미지인 것을 특징으로 하는 방법.
  7. 제1항에 있어서,
    상기 (b) 단계에서,
    상기 신뢰도 평가 장치는, 정밀도(Precision)(X, L) = 1- [L 내 오검출 박스 개수] / [L 내 전체 박스 개수], 재현율(Recall)(X, L) = 1- [X 내 미검출 박스 개수] / [X 내 전체 박스 개수]라 하고, 상기 이지 검증 이미지의 상기 트루 라벨을
    Figure pat00053
    , 상기 오토 라벨을
    Figure pat00054
    이라 할 경우,
    상기 오토 라벨링 네트워크의 신뢰도(Reliability(AL))를 아래 수학식
    Figure pat00055

    을 이용하여 평가하는 것을 특징으로 하는 방법.
  8. 제1항에 있어서,
    상기 (b) 단계에서,
    상기 신뢰도 평가 장치는, 정밀도(Precision)(X, L) = 1- [L 내 오검출 박스 개수] / [L 내 전체 박스 개수], 재현율(Recall)(X, L) = 1- [X 내 미검출 박스 개수] / [X 내 전체 박스 개수]라 하고, 상기 디피컬트 검증 이미지의 상기 트루 라벨을
    Figure pat00056
    , 상기 수동 라벨을
    Figure pat00057
    이라 할 경우,
    상기 수동 라벨링 장치의 신뢰도(Reliability(HL))를 아래 수학식
    Figure pat00058

    을 이용하여 평가하는 것을 특징으로 하는 방법.
  9. 딥러닝 네트워크의 학습에 이용하기 위한 하나 이상의 트레이닝 이미지에 대한 라벨링 신뢰도를 평가하는 신뢰도 평가 장치에 있어서,
    인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    (I) 하나 이상의 원본 이미지가 획득되면, 유사 이미지 선택 네트워크로 하여금, 상기 원본 이미지와 촬영 환경이 유사한, 고유의 트루 라벨을 가지는 검증 이미지 후보군을 선택하도록 한 다음, 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군과 상기 원본 이미지를 오토 라벨링 네트워크에 입력함으로써, 상기 오토 라벨링 네트워크로 하여금 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군과 상기 원본 이미지를 오토 라벨링하도록 하되, 상기 원본 이미지는 언라벨링된 이미지인 프로세스, 및 (II) (i) 고유의 트루 라벨 및 오토 라벨을 가지는 이지(easy) 검증 이미지가 상기 오토 라벨링 네트워크로부터 획득되면, 상기 이지 검증 이미지의 상기 트루 라벨과 상기 오토 라벨을 참조로 하여 상기 오토 라벨링 네트워크의 신뢰도를 평가하고, (ii) 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트(difficult) 검증 이미지에 수동 라벨링 연산을 적용하여 생성된 고유의 트루 라벨, 오토 라벨, 및 수동 라벨을 가지는 디피컬트 검증 이미지가 수동 라벨링 장치로부터 획득되면, 상기 디피컬트 검증 이미지의 상기 트루 라벨과 상기 수동 라벨을 참조로 하여, 상기 수동 라벨링 장치의 신뢰도를 평가하되, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지는, 상기 오토 라벨링된 고유의 트루 라벨을 가지는 검증 이미지 후보군 중, 부정확하게 오토 라벨링될 확률이 제1 기설정된 값 미만인 검증 이미지이며, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지는, 상기 오토 라벨링된 고유의 트루 라벨을 가지는 검증 이미지 후보군 중, 부정확하게 오토 라벨링될 확률이 제2 기설정된 값 이상인 검증 이미지인 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하는 신뢰도 평가 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    (III) (i) 상기 오토 라벨링 네트워크의 상기 신뢰도가 제1 기설정된 임계치 이상일 경우, 상기 오토 라벨링 네트워크로부터 획득된, 고유의 오토 라벨을 가지는 이지 원본 이미지 중 적어도 일부를 고유의 트루 라벨을 가지는 트레이닝 이미지로서 선정하며, (ii) 상기 수동 라벨링 장치의 상기 신뢰도가 제2 기설정된 임계치 이상일 경우, 상기 수동 라벨링 장치로부터 획득된, 고유의 오토 라벨 및 수동 라벨을 가지는 디피컬트 원본 이미지 중 적어도 일부를 상기 고유의 트루 라벨을 가지는 트레이닝 이미지로서 선정하되,
    상기 고유의 오토 라벨을 가지는 이지 원본 이미지는, 상기 원본 이미지를 오토 라벨링하여 획득된, 고유의 오토 라벨을 가지는 원본 이미지 중, 부정확하게 오토 라벨링될 확률이 제3 기설정된 값 미만인 이미지이며, 상기 고유의 오토 라벨을 가지는 디피컬트 원본 이미지는, 상기 원본 이미지를 오토 라벨링하여 획득된, 상기 고유의 오토 라벨을 가지는 원본 이미지 중, 부정확하게 오토 라벨링될 확률이 제4 기설정된 값 이상인 이미지인 프로세스;
    를 더 수행하는 것을 특징으로 하는 신뢰도 평가 장치.
  11. 제10항에 있어서,
    상기 프로세서는, 상기 고유의 오토 라벨 및 수동 라벨을 가지는 디피컬트 원본 이미지 중, 상기 고유의 트루 라벨을 가지는 트레이닝 이미지로서 선정되지 않은, 고유의 오토 라벨 및 수동 라벨을 가지는 특정 디피컬트 원본 이미지를 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군으로 선정하는 것을 특징으로 하는 신뢰도 평가 장치.
  12. 제9항에 있어서,
    상기 (I) 프로세스에서,
    상기 프로세서는, 상기 유사 이미지 선택 네트워크로 하여금, (i) (i-1) 상기 원본 이미지 상에서의 슬라이딩 윈도우(sliding window)의 각 영역을 크롭(crop)하고 리사이즈하여 생성된 가공 이미지를 획득하고, (i-2) 이미지 분류 CNN(convolutional neural network)을 통해 상기 가공 이미지를 분류하여 각 상위 k개의 클래스 정보를 출력하며, (i-3) 상기 상위 k개의 클래스 정보를 참조하여 적어도 하나의 BoW(Bag of Words)를 생성하는 적어도 하나의 연산을 상기 모든 원본 이미지에 적용하여, 상기 원본 이미지의 적어도 하나의 BoW 히스토그램을 생성하도록 하며, (ii) 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군 중, 상기 BoW 히스토그램과 가까운 순서대로 기설정된 개수의 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군을 선택하는 것을 특징으로 하는 신뢰도 평가 장치.
  13. 제12항에 있어서,
    상기 프로세서는, 상기 유사 이미지 선택 네트워크로 하여금, 상기 기설정된 개수의 상기 검증 이미지 후보군 중 상기 고유의 트루 라벨을 가지는 디피컬트 검증 이미지와 고유의 오토 라벨을 가지는 디피컬트 원본 이미지를 관리하도록 하여, 상기 기설정된 개수의 검증 이미지 후보군 중 상기 고유의 트루 라벨을 가지는 디피컬트 검증 이미지의 개수가 상기 원본 이미지 중 상기 고유의 오토 라벨을 가지는 디피컬트 원본 이미지의 개수에 대한 특정 비율을 가지도록 하는 것을 특징으로 하는 신뢰도 평가 장치.
  14. 제9항에 있어서,
    상기 (I) 프로세스에서,
    상기 프로세서는, 상기 오토 라벨링 네트워크로 하여금, 상기 원본 이미지와 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군을 오토 라벨링하여, 고유의 오토 라벨을 가지는 원본 이미지와 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군을 출력하도록 한 다음, (i) (i-1) 제1 이미지와 제2 이미지를 생성하되, 이 중 적어도 하나는 상기 고유의 오토 라벨을 가지는 원본 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군 중 하나로부터 변형되어 생성되고, 상기 제1 이미지와 상기 제2 이미지 중 하나만이 상기 고유의 오토 라벨을 가지는 원본 이미지와 상기 검증 이미지 후보군 중 하나로부터 변형되어 생성된 이미지라면, 상기 제1 이미지와 상기 제2 이미지 중 나머지 하나는 상기 원본 이미지와 상기 검증 이미지 후보군 중 하나를 그대로 사용하고, (i-2) 하나 이상의 컨벌루션 레이어로 하여금, 상기 제1 이미지와 상기 제2 이미지에 각각 하나 이상의 컨벌루션 연산을 적용하여 적어도 하나의 제1 특징 맵과 적어도 하나의 제2 특징 맵을 생성하도록 하며, (i-3) 하나 이상의 풀링 레이어로 하여금, 각각의 상기 제1 특징 맵과 각각의 상기 제2 특징 맵 상에서, 상기 고유의 오토 라벨을 가지는 원본 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군의 오토 라벨링된 박스 각각에 대응하는 각 영역에 하나 이상의 풀링 연산을 적용하여 하나 이상의 제1 풀링된 특징 맵과 하나 이상의 제2 풀링된 특징 맵을 생성하도록 하고, 각각의 상기 제1 풀링된 특징 맵과 이에 대응하는 각각의 상기 제2 풀링된 특징 맵을 컨캐터네이트(concatenate)하여, 각각의 상기 오토 라벨링된 박스에 대응하는 하나 이상의 컨캐터네이트된 특징 맵을 생성하도록 하고, (ii) 딥러닝 분류기(classifier)로 하여금, 각각의 상기 오토 라벨링된 박스에 대응하는 각각의 상기 컨캐터네이트된 특징 맵을 입력으로서 획득하여, 각각의 상기 오토 라벨링된 박스를 비정상 클래스 군 또는 정상 클래스 군으로 분류하는 클래스 정보를 생성하도록 하며, (iii) (iii-1) 각각의 상기 오토 라벨링된 박스에 관한 각각의 상기 클래스 정보를 참조하여 상기 비정상 클래스 군의 각 비정상 클래스 요소의 확률 각각을 계산하고, (iii-2) 각각의 상기 비정상 클래스 요소의 상기 확률 각각을 이용하여 상기 고유의 오토 라벨을 가지는 원본 이미지를 고유의 오토 라벨을 가지는 이지 원본 이미지와 고유의 오토 라벨을 가지는 디피컬트 원본 이미지로 구분하며, (iii-3) 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지 후보군을 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지로 구분하되,
    상기 고유의 오토 라벨을 가지는 이지 원본 이미지는, 상기 고유의 오토 라벨을 가지는 원본 이미지 중, 부정확하게 오토 라벨링될 확률이 상기 제3 기설정된 값 미만인 이미지이며, 상기 고유의 오토 라벨을 가지는 디피컬트 원본 이미지는, 상기 고유의 오토 라벨을 가지는 원본 이미지 중, 부정확하게 오토 라벨링될 확률이 제4 기설정된 값 이상인 이미지인 것을 특징으로 하는 신뢰도 평가 장치.
  15. 제9항에 있어서,
    상기 (II) 프로세스에서,
    상기 프로세서는, 정밀도(Precision)(X, L) = 1- [L 내 오검출 박스 개수] / [L 내 전체 박스 개수], 재현율(Recall)(X, L) = 1- [X 내 미검출 박스 개수] / [X 내 전체 박스 개수]라 하고, 상기 이지 검증 이미지의 상기 트루 라벨을
    Figure pat00059
    , 상기 오토 라벨을
    Figure pat00060
    이라 할 경우,
    상기 오토 라벨링 네트워크의 신뢰도(Reliability(AL))를 아래 수학식
    Figure pat00061

    을 이용하여 평가하는 것을 특징으로 하는 신뢰도 평가 장치.
  16. 제9항에 있어서,
    상기 (II) 프로세스에서,
    상기 프로세서는, 정밀도(Precision)(X, L) = 1- [L 내 오검출 박스 개수] / [L 내 전체 박스 개수], 재현율 (Recall)(X, L) = 1- [X 내 미검출 박스 개수] / [X 내 전체 박스 개수]라 하고, 상기 디피컬트 검증 이미지의 상기 트루 라벨을
    Figure pat00062
    , 상기 수동 라벨을
    Figure pat00063
    이라 할 경우,
    상기 수동 라벨링 장치의 신뢰도(Reliability(HL))를 아래 수학식
    Figure pat00064

    을 이용하여 평가하는 것을 특징으로 하는 신뢰도 평가 장치.
KR1020190147099A 2019-01-31 2019-11-15 이미지를 분석하기 위해, 딥러닝 네트워크에 이용하기 위한 트레이닝 이미지에 대한 라벨링 신뢰도를 자동으로 평가하기 위한 방법 및 이를 이용한 신뢰도 평가 장치 KR102328734B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/264,027 2019-01-31
US16/264,027 US10579907B1 (en) 2019-01-31 2019-01-31 Method for automatically evaluating labeling reliability of training images for use in deep learning network to analyze images, and reliability-evaluating device using the same

Publications (2)

Publication Number Publication Date
KR20200095334A true KR20200095334A (ko) 2020-08-10
KR102328734B1 KR102328734B1 (ko) 2021-11-22

Family

ID=69172713

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190147099A KR102328734B1 (ko) 2019-01-31 2019-11-15 이미지를 분석하기 위해, 딥러닝 네트워크에 이용하기 위한 트레이닝 이미지에 대한 라벨링 신뢰도를 자동으로 평가하기 위한 방법 및 이를 이용한 신뢰도 평가 장치

Country Status (5)

Country Link
US (1) US10579907B1 (ko)
EP (1) EP3690741A3 (ko)
JP (1) JP6932395B2 (ko)
KR (1) KR102328734B1 (ko)
CN (1) CN111507371B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102340998B1 (ko) * 2021-07-06 2021-12-20 (주) 웨다 오토 레이블링 방법 및 시스템
WO2023128026A1 (ko) * 2021-12-30 2023-07-06 한국전자기술연구원 영상 데이터의 라벨링 가이드 방법 및 자동 라벨링 장치
WO2024043389A1 (ko) * 2022-08-26 2024-02-29 한국전자기술연구원 설치환경에 최적화된 딥러닝 모델 생성 시스템 및 방법, 이의 학습 데이터 구성 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10824151B2 (en) * 2019-01-31 2020-11-03 StradVision, Inc. Method and device for providing personalized and calibrated adaptive deep learning model for the user of an autonomous vehicle
US20210133596A1 (en) * 2019-10-30 2021-05-06 International Business Machines Corporation Ranking image sources for transfer learning
KR20210106814A (ko) * 2020-02-21 2021-08-31 삼성전자주식회사 뉴럴 네트워크 학습 방법 및 장치
CN111368116B (zh) * 2020-05-26 2020-09-18 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机设备及存储介质
EP3985560A1 (en) * 2020-10-15 2022-04-20 Aptiv Technologies Limited Methods and systems for determining candidate data sets for labelling
KR102636461B1 (ko) 2023-09-14 2024-02-15 주식회사 에이아이노미스 인공지능 모델 학습을 위한 오토 레이블링 자동화 방법, 장치 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170083419A (ko) * 2016-01-08 2017-07-18 마우키스튜디오 주식회사 레이블링되지 않은 다수의 학습 데이터를 이용하여 딥 러닝의 모델을 트레이닝하는 방법 및 이를 수행하는 딥 러닝 시스템
KR20190117969A (ko) * 2018-04-09 2019-10-17 주식회사 뷰노 레이블 있는 데이터 및 레이블 없는 데이터를 병용하는 준지도 강화 학습 방법 및 이를 이용한 장치
KR20200002149A (ko) * 2018-06-29 2020-01-08 주식회사 디플리 자동 레이블링이 가능한 머신 러닝 방법 및 장치
KR102168558B1 (ko) * 2019-10-24 2020-10-21 서울대학교산학협력단 액티브 러닝을 위한 학습용 데이터 선정 방법, 액티브 러닝을 위한 학습용 데이터 선정 장치 및 액티브 러닝을 이용한 영상 분석 방법
KR20200124887A (ko) * 2019-04-25 2020-11-04 에스케이텔레콤 주식회사 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8098976B1 (en) * 2011-09-26 2012-01-17 Limelight Networks, Inc. Methods and systems for performing top concepts extraction
US9767386B2 (en) * 2015-06-23 2017-09-19 Adobe Systems Incorporated Training a classifier algorithm used for automatically generating tags to be applied to images
CN104992184B (zh) * 2015-07-02 2018-03-09 东南大学 一种基于半监督极限学习机的多类图像分类方法
CN108351986B (zh) * 2015-10-30 2022-03-29 株式会社摩如富 学习系统及装置和方法、训练数据生成装置及生成方法
US10235623B2 (en) * 2016-02-12 2019-03-19 Adobe Inc. Accurate tag relevance prediction for image search
JP6573233B2 (ja) * 2016-07-19 2019-09-11 日本電信電話株式会社 認識容易性指標算出装置、方法、及びプログラム
CN106777335A (zh) * 2017-01-13 2017-05-31 深圳爱拼信息科技有限公司 一种基于长短期记忆（lstm）模型的多标签行业分类方法及装置
US20180314943A1 (en) * 2017-04-27 2018-11-01 Jianming Liang Systems, methods, and/or media, for selecting candidates for annotation for use in training a classifier
US20180373980A1 (en) * 2017-06-27 2018-12-27 drive.ai Inc. Method for training and refining an artificial intelligence
CN108280516B (zh) * 2018-03-05 2021-05-11 山东领能电子科技有限公司 一种多组卷积神经网络之间互博智能进化的优化方法
CN109255044A (zh) * 2018-08-31 2019-01-22 江苏大学 一种基于YOLOv3深度学习网络的图像智能标注方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170083419A (ko) * 2016-01-08 2017-07-18 마우키스튜디오 주식회사 레이블링되지 않은 다수의 학습 데이터를 이용하여 딥 러닝의 모델을 트레이닝하는 방법 및 이를 수행하는 딥 러닝 시스템
KR20190117969A (ko) * 2018-04-09 2019-10-17 주식회사 뷰노 레이블 있는 데이터 및 레이블 없는 데이터를 병용하는 준지도 강화 학습 방법 및 이를 이용한 장치
KR20200002149A (ko) * 2018-06-29 2020-01-08 주식회사 디플리 자동 레이블링이 가능한 머신 러닝 방법 및 장치
KR20200124887A (ko) * 2019-04-25 2020-11-04 에스케이텔레콤 주식회사 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
KR102168558B1 (ko) * 2019-10-24 2020-10-21 서울대학교산학협력단 액티브 러닝을 위한 학습용 데이터 선정 방법, 액티브 러닝을 위한 학습용 데이터 선정 장치 및 액티브 러닝을 이용한 영상 분석 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102340998B1 (ko) * 2021-07-06 2021-12-20 (주) 웨다 오토 레이블링 방법 및 시스템
WO2023128026A1 (ko) * 2021-12-30 2023-07-06 한국전자기술연구원 영상 데이터의 라벨링 가이드 방법 및 자동 라벨링 장치
WO2024043389A1 (ko) * 2022-08-26 2024-02-29 한국전자기술연구원 설치환경에 최적화된 딥러닝 모델 생성 시스템 및 방법, 이의 학습 데이터 구성 방법

Also Published As

Publication number Publication date
EP3690741A3 (en) 2020-08-19
US10579907B1 (en) 2020-03-03
EP3690741A2 (en) 2020-08-05
CN111507371A (zh) 2020-08-07
CN111507371B (zh) 2023-12-19
JP6932395B2 (ja) 2021-09-08
JP2020126613A (ja) 2020-08-20
KR102328734B1 (ko) 2021-11-22

Similar Documents

Publication Publication Date Title
KR102328734B1 (ko) 이미지를 분석하기 위해, 딥러닝 네트워크에 이용하기 위한 트레이닝 이미지에 대한 라벨링 신뢰도를 자동으로 평가하기 위한 방법 및 이를 이용한 신뢰도 평가 장치
KR102263397B1 (ko) 뉴럴 네트워크 학습에 이용될 오토 라벨링된 이미지 중에서 라벨 검수를 위한 샘플 이미지를 획득하는 방법 및 이를 이용한 샘플 이미지 획득 장치
KR102280414B1 (ko) 고 정밀도로 이미지를 분석하기 위한 딥 러닝 네트워크를 사용하기 위해 트레이닝 이미지를 오토 라벨링하는 오토 라벨링 장치의 하이퍼파라미터를 최적화하는 방법 및 이를 이용한 최적화 장치
KR102309711B1 (ko) 유용한 학습 데이터를 취사 선별하기 위한 cnn 기반 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR20200027427A (ko) 차선 후보 픽셀의 분류를 통해 차선을 검출하는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN111488879B (zh) 利用双嵌入构成的用于提高分割性能的方法及装置
US10402692B1 (en) Learning method and learning device for fluctuation-robust object detector based on CNN using target object estimating network adaptable to customers' requirements such as key performance index, and testing device using the same
KR20200027889A (ko) CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR20200091324A (ko) 원거리 검출 또는 군사 목적을 위해, 이미지 컨캐터네이션을 이용한, cnn 기반의 하드웨어 최적화가 가능한 객체 검출기를 학습하는 방법 및 학습 장치, 이를 이용한 테스팅 방법 및 테스팅 장치
KR20200027888A (ko) 차선 모델을 이용하여 차선을 검출할 수 있는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN114842343A (zh) 一种基于ViT的航空图像识别方法
KR20200092848A (ko) 객체의 스케일에 따라 모드 전환이 가능한 cnn 기반의 감시용 객체 검출기의 학습 방법 및 학습 장치, 이를 이용한 테스트 방법 및 테스트 장치
CN110909588A (zh) 基于cnn的用于车道线检测的方法和装置
CN112085001A (zh) 一种基于多尺度边缘特征检测的隧道识别模型及方法
CN116912290B (zh) 一种记忆增强的难易视频运动小目标检测方法
CN115131687A (zh) 一种基于语义信息和注意力机制的无锚航拍图像检测方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant