KR20200095336A - 고 정밀도로 이미지를 분석하기 위한 딥 러닝 네트워크를 사용하기 위해 트레이닝 이미지를 오토 라벨링하는 오토 라벨링 장치의 하이퍼파라미터를 최적화하는 방법 및 이를 이용한 최적화 장치 - Google Patents

고 정밀도로 이미지를 분석하기 위한 딥 러닝 네트워크를 사용하기 위해 트레이닝 이미지를 오토 라벨링하는 오토 라벨링 장치의 하이퍼파라미터를 최적화하는 방법 및 이를 이용한 최적화 장치 Download PDF

Info

Publication number
KR20200095336A
KR20200095336A KR1020190147101A KR20190147101A KR20200095336A KR 20200095336 A KR20200095336 A KR 20200095336A KR 1020190147101 A KR1020190147101 A KR 1020190147101A KR 20190147101 A KR20190147101 A KR 20190147101A KR 20200095336 A KR20200095336 A KR 20200095336A
Authority
KR
South Korea
Prior art keywords
auto
label
unique
image
original image
Prior art date
Application number
KR1020190147101A
Other languages
English (en)
Other versions
KR102280414B1 (ko
Inventor
김계현
김용중
김인수
김학경
남운현
부석훈
성명철
여동훈
유우주
장태웅
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20200095336A publication Critical patent/KR20200095336A/ko
Application granted granted Critical
Publication of KR102280414B1 publication Critical patent/KR102280414B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은, 연산 시간 감소 및 고 정밀도 획득을 위해, 뉴럴 네트워크를 학습하는데 이용될 트레이닝 이미지를 오토 라벨링하고 오토 평가하는 오토 라벨링 장치의 하이퍼파라미터(hyperparameter)를 최적화하는 방법이 제공된다. 상기 방법은, 최적화 장치가, (a) 상기 오토 라벨링 장치로 하여금, 고유의 오토 라벨을 가지는 원본 이미지와 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지를 생성하여, 상기 고유의 오토 라벨을 가지는 원본 이미지를 이지 원본 이미지와 디피컬트 원본 이미지로 분류하고, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지를 이지 검증 이미지와 디피컬트 검증 이미지로 분류하는 단계; 및 (b) 상기 오토 라벨링 장치의 현재 신뢰도를 계산하고, 샘플 하이퍼파라미터 세트를 생성하며, 상기 오토 라벨링 장치의 샘플 신뢰도를 계산하고, 기설정된 하이퍼파라미터 세트를 최적화하는 단계;를 포함하는 것을 특징으로 한다. 상기 방법은 강화학습의 정책 경사 알고리즘(policy gradient algorithm)에 의해 수행된다.

Description

고 정밀도로 이미지를 분석하기 위한 딥 러닝 네트워크를 사용하기 위해 트레이닝 이미지를 오토 라벨링하는 오토 라벨링 장치의 하이퍼파라미터를 최적화하는 방법 및 이를 이용한 최적화 장치{METHOD FOR OPTIMIZING HYPERPARAMETERS OF AUTO-LABELING DEVICE WHICH AUTO-LABELS TRAINING IMAGES FOR USE IN DEEP LEARNING NETWORK TO ANALYZE IMAGES WITH HIGH PRECISION, AND OPTIMIZING DEVICE USING THE SAME}
본 발명은 뉴럴 네트워크를 학습하는데 사용될 하나 이상의 트레이닝 이미지를 오토 라벨링하는 오토 라벨링 장치의 하이퍼파라미터를 최적화하는 방법 및 장치에 관한 것이다.
최근, 기계 학습(machine learning)을 이용하여 객체를 식별하는 방법 등에 대한 연구가 이루어지고 있다. 이러한 기계 학습의 일환으로, 입력 레이어와 출력 레이어 사이에 여러 개의 히든 레이어(hidden layer)를 가지는 뉴럴 네트워크를 이용한 딥 러닝은 높은 식별 성능을 가진다.
그리고, 상기 딥 러닝을 이용하는 상기 뉴럴 네트워크는 일반적으로 로스를 이용한 백프로퍼게이션을 통해 학습한다.
이러한 딥 러닝 네트워크의 학습을 진행하기 위해서는 라벨러(labeler)에 의해 개별 데이터 포인트에 태그, 즉, 라벨을 추가한 트레이닝 데이터가 필요하다. 이러한 트레이닝 데이터를 준비하는 것(즉, 데이터를 정확히 분류하는 것)은 특히, 대량의 트레이닝 데이터를 이용할 경우와 데이터 전처리의 품질이 지속적으로 높지 않을 경우, 노동 집약적이고, 비용이 많이 들며 번거로울 수 있다. 종래의 상호적인 라벨링은 비싸고 좋은 결과를 도출하지 못할 수 있다.
따라서, 최근에는 딥 러닝 기반의 오토 라벨링 장치를 이용하여 트레이닝 이미지에 태그, 즉 라벨을 추가하는 오토 라벨링을 수행하고, 검수자가 오토 라벨링된 트레이닝 이미지를 검수하여 상기 태그나 상기 라벨을 교정한다.
이러한 종래의 오토 라벨링 장치는 재학습을 통해 정확도를 높일 수 있다.
하지만, 상기 오토 라벨링 장치의 재학습에 의해 정확도가 향상될 수 있는 정도는 제한적이며, 보다 높은 정확도를 얻기 위해서는 반복적인 재학습이 필요하게 된다.
또한, 상기 오토 라벨링 장치의 정확도를 향상시키기 위한 상기 재학습에는 시간이 많이 소요되며, 그에 따라 상기 오토 라벨링 장치의 적정 정확도를 얻기까지는 많은 시간이 소요된다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
본 발명은 재학습 없이 오토 라벨링 장치의 정확도를 향상시킬 수 있도록 하는 것을 다른 목적으로 한다.
본 발명은 재학습 과정에서도 상기 오토 라벨링 장치의 정확도를 향상시킬 수 있도록 하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 뉴럴 네트워크를 학습하는데 이용될 하나 이상의 트레이닝 이미지를 오토 라벨링(auto-labeling)하는 오토 라벨링 장치의 하나 이상의 하이퍼파라미터(hyperparameter)를 최적화하는 방법에 있어서, (a) 라벨링하고자 하는 하나 이상의 원본 이미지 및 상기 원본 이미지와 촬영 환경이 유사한, 고유의 트루 라벨을 가지는 하나 이상의 검증 이미지가 획득되면, 최적화 장치가, 적어도 하나의 기설정된 하이퍼파라미터 세트를 가지는 상기 오토 라벨링 장치로 하여금, 상기 원본 이미지와 상기 고유의 트루 라벨을 가지는 검증 이미지를 각각 오토 라벨링함으로써 고유의 오토 라벨을 가지는 원본 이미지와 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지를 생성하도록 하며, 상기 고유의 오토 라벨을 가지는 원본 이미지를 고유의 오토 라벨을 가지는 이지(easy) 원본 이미지와 고유의 오토 라벨을 가지는 디피컬트(difficult) 원본 이미지로 분류하도록 하고, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지를 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지와 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지로 분류하도록 하는 단계; 및 (b) 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지가 획득되면, 상기 최적화 장치가, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지를 참조함으로써 상기 기설정된 하이퍼파라미터 세트에 대응되는 상기 오토 라벨링 장치의 현재 신뢰도를 계산하며, 상기 기설정된 하이퍼파라미터 세트에 대응되는 적어도 하나의 소정의 규칙에 따라 조정된 하나 이상의 샘플 하이퍼파라미터 세트를 생성하고, 상기 샘플 하이퍼파라미터 세트 각각에 대응하는 상기 오토 라벨링 장치의 샘플 신뢰도 각각을 계산하며, 상기 기설정된 하이퍼파라미터 세트에 대응하는 상기 현재 신뢰도가 특정 샘플 하이퍼파라미터 세트 ― 상기 샘플 하이퍼파라미터 세트 중에서, 상기 기설정된 하이퍼파라미터 세트에 대응하는 상기 현재 신뢰도보다 높은 샘플 신뢰도를 가지는 일부 샘플 하이퍼파라미터 세트를 상기 특정 샘플 하이퍼파라미터 세트로 선정함 ― 에 대응하는 상기 샘플 신뢰도가 높아지는 방향으로 조정되도록 상기 기설정된 하이퍼파라미터 세트를 최적화하는 단계;를 포함하는 것을 특징으로 하는 방법이 개시된다.
일 실시예에서, (c) 상기 최적화 장치가, 상기 기설정된 하이퍼파라미터 세트에 대응하는, 상기 현재 신뢰도가 기설정값 이상인 상태를 유지하면서, 상기 고유의 오토 라벨을 가지는 원본 이미지에 대한 상기 고유의 오토 라벨을 가지는 이지 원본 이미지의 비율이 최대화되도록, 상기 기설정된 하이퍼파라미터 세트를 최적화하는 단계;를 더 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 오토 라벨링 장치는, 상기 고유의 오토 라벨을 가지는 원본 이미지를 상기 고유의 오토 라벨을 가지는 이지 원본 이미지와 상기 고유의 오토 라벨을 가지는 디피컬트 원본 이미지로 분류하고, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지를 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지로 분류하는 디피컬트 이미지 식별 네트워크를 포함하며, 상기 (c) 단계에서, 상기 최적화 장치는, (i) 상기 디피컬트 이미지 식별 네트워크가, 상기 고유의 오토 라벨을 가지는 원본 이미지의 오토 라벨 각각이 비정상 클래스(abnormal class)일 각각의 확률과 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지의 오토 라벨 각각이 상기 비정상 클래스일 각각의 확률을 계산하기 위한 제1 설정값과 (ii) 상기 디피컬트 이미지 식별 네트워크가, 상기 고유의 오토 라벨을 가지는 원본 이미지가 상기 고유의 오토 라벨을 가지는 디피컬트 원본 이미지인지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지가 상기 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지인지를 판별하기 위한 제2 설정값을 포함하는 상기 기설정된 하이퍼파라미터 세트를 최적화하는 것을 특징으로 한다.
일 실시예에서, 상기 (b) 단계에서, 상기 최적화 장치는, 신뢰도 평가 네트워크로 하여금, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지의 트루 라벨 및 오토 라벨을 참조로 하여, 상기 오토 라벨링 장치의 상기 현재 신뢰도를 계산하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지의 트루 라벨을
Figure pat00001
, 오토 라벨을
Figure pat00002
이라 하고, 정밀도(Precision)(
Figure pat00003
) = 1- [
Figure pat00004
내 오검출 라벨 개수] / [
Figure pat00005
내 전체 라벨 개수], 재현율(Recall)(
Figure pat00006
) = 1- [
Figure pat00007
내 미검출 라벨 개수] / [
Figure pat00008
내 전체 라벨 개수]라 할 경우, 상기 오토 라벨링 장치의 상기 현재 신뢰도(Reliability)가
Figure pat00009
에 의해 평가되는 것을 특징으로 한다.
일 실시예에서, 상기 오토 라벨링 장치는, 상기 원본 이미지와 상기 고유의 트루 라벨을 가지는 검증 이미지를 오토 라벨링하여, 상기 고유의 오토 라벨을 가지는 원본 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지를 생성하는 객체 검출 네트워크를 포함하며, 상기 (b) 단계에서, 상기 최적화 장치는, 상기 객체 검출 네트워크의 각 클래스 별 각각의 스코어 임계값, 각 클래스 별 각각의 NMS(non-maximum suppression) 임계값, 각 클래스 별 각각의 바운딩 박스 선정 임계값, 및 각 클래스 별 각각의 최소 객체 사이즈를 포함하는 상기 기설정된 하이퍼파라미터 세트의 하나 이상의 기설정된 하이퍼파라미터 중 적어도 일부를 최적화하는 것을 특징으로 한다.
본 발명의 다른 태양에 따르면, 뉴럴 네트워크를 학습하는데 이용될 하나 이상의 트레이닝 이미지를 오토 라벨링(auto-labeling)하는 오토 라벨링 장치의 하나 이상의 하이퍼파라미터(hyperparameter)를 최적화하는 최적화 장치에 있어서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 (I) 라벨링하고자 하는 하나 이상의 원본 이미지 및 상기 원본 이미지와 촬영 환경이 유사한, 고유의 트루 라벨을 가지는 하나 이상의 검증 이미지가 획득되면, 적어도 하나의 기설정된 하이퍼파라미터 세트를 가지는 상기 오토 라벨링 장치로 하여금, 상기 원본 이미지와 상기 고유의 트루 라벨을 가지는 검증 이미지를 각각 오토 라벨링함으로써 고유의 오토 라벨을 가지는 원본 이미지와 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지를 생성하도록 하며, 상기 고유의 오토 라벨을 가지는 원본 이미지를 고유의 오토 라벨을 가지는 이지 원본 이미지와 고유의 오토 라벨을 가지는 디피컬트 원본 이미지로 분류하도록 하고, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지를 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지와 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지로 분류하도록 하는 프로세스, 및 (II) 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지가 획득되면, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지를 참조함으로써 상기 기설정된 하이퍼파라미터 세트에 대응되는 상기 오토 라벨링 장치의 현재 신뢰도를 계산하며, 상기 기설정된 하이퍼파라미터 세트에 대응되는 적어도 하나의 소정의 규칙에 따라 조정된 하나 이상의 샘플 하이퍼파라미터 세트를 생성하고, 상기 샘플 하이퍼파라미터 세트 각각에 대응하는 상기 오토 라벨링 장치의 샘플 신뢰도 각각을 계산하며, 상기 기설정된 하이퍼파라미터 세트에 대응하는 상기 현재 신뢰도가 특정 샘플 하이퍼파라미터 세트 ― 상기 샘플 하이퍼파라미터 세트 중에서, 상기 기설정된 하이퍼파라미터 세트에 대응하는 상기 현재 신뢰도보다 높은 샘플 신뢰도를 가지는 일부 샘플 하이퍼파라미터 세트를 상기 특정 샘플 하이퍼파라미터 세트로 선정함 ― 에 대응하는 상기 샘플 신뢰도가 높아지는 방향으로 조정되도록 상기 기설정된 하이퍼파라미터 세트를 최적화하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 최적화 장치가 개시된다.
일 실시예에서, 상기 프로세서는, (III) 상기 기설정된 하이퍼파라미터 세트에 대응하는, 상기 현재 신뢰도가 기설정값 이상인 상태를 유지하면서, 상기 고유의 오토 라벨을 가지는 원본 이미지에 대한 상기 고유의 오토 라벨을 가지는 이지 원본 이미지의 비율이 최대화되도록, 상기 기설정된 하이퍼파라미터 세트를 최적화하는 프로세스를 더 수행하는 것을 특징으로 한다.
일 실시예에서, 상기 오토 라벨링 장치는, 상기 고유의 오토 라벨을 가지는 원본 이미지를 상기 고유의 오토 라벨을 가지는 이지 원본 이미지와 상기 고유의 오토 라벨을 가지는 디피컬트 원본 이미지로 분류하고, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지를 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지로 분류하는 디피컬트 이미지 식별 네트워크를 포함하며, 상기 (III) 프로세스에서, 상기 프로세서는, (i) 상기 디피컬트 이미지 식별 네트워크가, 상기 고유의 오토 라벨을 가지는 원본 이미지의 오토 라벨 각각이 비정상 클래스(abnormal class)일 각각의 확률과 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지의 오토 라벨 각각이 상기 비정상 클래스일 각각의 확률을 계산하기 위한 제1 설정값과 (ii) 상기 디피컬트 이미지 식별 네트워크가, 상기 고유의 오토 라벨을 가지는 원본 이미지가 상기 고유의 오토 라벨을 가지는 디피컬트 원본 이미지인지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지가 상기 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지인지를 판별하기 위한 제2 설정값을 포함하는 상기 기설정된 하이퍼파라미터 세트를 최적화하는 것을 특징으로 한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서는, 신뢰도 평가 네트워크로 하여금, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지의 트루 라벨 및 오토 라벨을 참조로 하여, 상기 오토 라벨링 장치의 상기 현재 신뢰도를 계산하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지의 트루 라벨을
Figure pat00010
, 오토 라벨을
Figure pat00011
이라 하고, 정밀도(Precision)(
Figure pat00012
) = 1- [
Figure pat00013
내 오검출 라벨 개수] / [
Figure pat00014
내 전체 라벨 개수], 재현율(Recall)(
Figure pat00015
) = 1- [
Figure pat00016
내 미검출 라벨 개수] / [
Figure pat00017
내 전체 라벨 개수]라 할 경우, 상기 오토 라벨링 장치의 상기 현재 신뢰도(Reliability)가
Figure pat00018
에 의해 평가되는 것을 특징으로 한다.
일 실시예에서, 상기 오토 라벨링 장치는, 상기 원본 이미지와 상기 고유의 트루 라벨을 가지는 검증 이미지를 오토 라벨링하여, 상기 고유의 오토 라벨을 가지는 원본 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지를 생성하는 객체 검출 네트워크를 포함하며, 상기 (II) 프로세스에서, 상기 프로세서는, 상기 객체 검출 네트워크의 각 클래스 별 각각의 스코어 임계값, 각 클래스 별 각각의 NMS(non-maximum suppression) 임계값, 각 클래스 별 각각의 바운딩 박스 선정 임계값, 및 각 클래스 별 각각의 최소 객체 사이즈를 포함하는 상기 기설정된 하이퍼파라미터 세트의 하나 이상의 기설정된 하이퍼파라미터 중 적어도 일부를 최적화하는 것을 특징으로 한다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명은 오토 라벨링(auto-labeling) 장치의 검수 결과를 재학습 없이 반영하여 상기 오토 라벨링 장치의 하이퍼파라미터를 최적화함으로써 상기 오토 라벨링 장치의 정확도를 향상시킬 수 있는 효과가 있다.
또한, 본 발명은 재학습 과정에서도 상기 오토 라벨링 장치의 상기 검수 결과를 반영하여 상기 오토 라벨링 장치의 상기 하이퍼파라미터를 최적화함으로써 상기 오토 라벨링 장치의 정확도를 향상시킬 수 있는 효과가 있다.
또한, 본 발명은 보다 높은 정확도에 의해 신뢰도가 더 높은 트레이닝 데이터를 획득함으로써, 다음 재학습 세션에서 상기 오토 라벨링 장치의 정확도를 더 크게 향상시킬 수 있는 효과가 있다.
또한, 본 발명은 적은 연산 시간 및 높은 정밀도로 상기 트레이닝 이미지의 오토 평가(auto-evaluating)와 오토 라벨링을 수행하는 상기 오토 라벨링 장치를 제공할 수 있는 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따른 뉴럴 네트워크 학습에 이용될 하나 이상의 트레이닝 이미지를 오토 라벨링(auto-labeling)하는 오토 라벨링 장치의 하나 이상의 하이퍼파라미터를 최적화하는 최적화 장치를 개략적으로 나타낸다.
도 2는 본 발명의 일 실시예에 따른 상기 뉴럴 네트워크 학습에 이용될 상기 트레이닝 이미지를 오토 라벨링하는 상기 오토 라벨링 장치의 상기 하이퍼파라미터를 최적화하는 방법을 개략적으로 나타낸다.
도 3은 본 발명의 일 실시예에 따른 상기 뉴럴 네트워크 학습에 이용될 상기 트레이닝 이미지를 오토 라벨링하는 상기 오토 라벨링 장치의 상기 하이퍼파라미터를 최적화하는 방법에서 하나 이상의 원본 이미지와 유사한 촬영 환경의 하나 이상의 검증 이미지를 선정하는 방법을 개략적으로 나타낸다.
도 4는 본 발명의 일 실시예에 따른 상기 뉴럴 네트워크 학습에 이용될 상기 트레이닝 이미지를 오토 라벨링하기 위한 상기 오토 라벨링 장치의 상기 하이퍼파라미터를 최적화하는 방법에서 오토 라벨링을 위한 객체 검출 프로세스를 개략적으로 나타낸다.
도 5는 본 발명의 일 실시예에 따른 상기 뉴럴 네트워크 학습에 이용될 상기 트레이닝 이미지를 오토 라벨링하는 상기 오토 라벨링 장치의 상기 하이퍼파라미터를 최적화하는 방법에서 하나 이상의 디피컬트 이미지를 분류하는 프로세스를 개략적으로 나타낸다.
도 6은 본 발명의 일 실시예에 따른 상기 뉴럴 네트워크 학습에 이용될 상기 트레이닝 이미지를 오토 라벨링하는 상기 오토 라벨링 장치의 상기 하이퍼파라미터를 최적화하는 방법에서 상기 디피컬트 이미지를 분류하는 뉴럴 네트워크를 학습하는 방법을 개략적으로 나타낸다.
도 7은 본 발명의 일 실시예에 따른 상기 뉴럴 네트워크 학습에 이용될 상기 트레이닝 이미지를 오토 라벨링하는 상기 오토 라벨링 장치의 상기 하이퍼파라미터를 최적화하는 방법을 나타낸다.
도 8은 본 발명의 일 실시예에 따른 상기 뉴럴 네트워크 학습에 이용될 상기 트레이닝 이미지를 오토 라벨링하는 상기 오토 라벨링 장치의 상기 하이퍼파라미터를 최적화하는 방법에서 상기 오토 라벨링 장치의 정확도가 향상되는 프로세스를 개략적으로 나타낸다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 이미지를 분석하는, 딥 러닝 네트워크와 같은 뉴럴 네트워크의 학습에 이용될 하나 이상의 트레이닝 이미지를 오토 라벨링(auto-labeling)하는 오토 라벨링 장치의 하나 이상의 하이퍼파라미터를 최적화하는 최적화 장치를 개략적으로 나타낸다. 도 1을 참조하면, 상기 최적화 장치(100)는 상기 오토 라벨링 장치의 상기 하이퍼파라미터를 최적화하기 위한 인스트럭션들을 저장하는 메모리(110)와 상기 오토 라벨링 장치의 하이퍼파라미터를 최적화하기 위해 상기 메모리(110)에 저장된 상기 인스트럭션들에 대응하는 프로세스를 수행하는 프로세서(120)를 포함할 수 있다.
구체적으로, 상기 최적화 장치(100)는 전형적으로 적어도 하나의 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 적어도 하나의 컴퓨터 소프트웨어(즉, 상기 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.
또한, 상기 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.
그러나, 이러한 상기 컴퓨팅 장치에 대한 설명이 본 발명을 실시하기 위한 프로세서, 메모리, 매체 또는 기타 컴퓨팅 구성요소가 통합된 형태인 통합 프로세서의 경우를 배제하는 것은 아니다.
본 발명의 일 실시예에 따른 상기 최적화 장치(100)를 이용하여 상기 뉴럴 네트워크 학습에 이용될 상기 트레이닝 이미지를 오토 라벨링(auto-labeling)하는 상기 오토 라벨링 장치의 상기 하이퍼파라미터를 최적화하는 방법에 대하여 도 2를 참조하여 설명하면 다음과 같다.
먼저, 라벨링하고자 하는 하나 이상의 원본 이미지(10)와 상기 원본 이미지와 촬영 환경이 유사한, 고유의 트루 라벨(true label)을 가지는 하나 이상의 검증 이미지 후보군(20)이 획득(S1)되면, 상기 최적화 장치(100)가, 적어도 하나의 기설정된 하이퍼파라미터 세트를 가지는 상기 오토 라벨링 장치(200)로 하여금, 상기 원본 이미지(10)와 상기 고유의 트루 라벨을 가지는 하나 이상의 검증 이미지 후보군(20)을 각각 오토 라벨링하여, 고유의 오토 라벨을 가지는 원본 이미지와 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지를 생성하도록 한다.
즉, 상기 라벨링하고자 하는 원본 이미지(10)가 획득되면, 상기 최적화 장치(100)가, 유사 이미지 선택 네트워크(300)로 하여금, 상기 원본 이미지(10) 각각에 대응하여, 상기 원본 이미지(10)와 촬영 환경이 유사한, 고유의 트루 라벨을 가지는 검증 이미지(21) 각각을 선택하도록 한다. 그리고, 상기 최적화 장치(100)는 상기 원본 이미지(10)와 상기 고유의 트루 라벨을 가지는 검증 이미지(21)를 상기 오토 라벨링 장치(200)에 입력함으로써, 상기 오토 라벨링 장치(200)로 하여금 상기 원본 이미지(10)와 상기 고유의 트루 라벨을 가지는 검증 이미지(21)를 오토 라벨링하도록 한다.
그러면, 상기 원본 이미지(10)와 상기 고유의 트루 라벨을 가지는 검증 이미지(21)는 상기 오토 라벨링 장치(200)에 의해 각각 오토 라벨링되어, 고유의 오토 라벨을 가지는 원본 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지가 될 수 있다.
한편, 도 3을 참조하여, 상기 유사 이미지 선택 네트워크(300)가 상기 원본 이미지(10)와 촬영 환경이 유사한, 상기 고유의 트루 라벨을 가지는 검증 이미지(21)를 선정하는 방법을 설명하면 다음과 같다.
상기 최적화 장치(100)가 상기 획득된 원본 이미지를 상기 유사 이미지 선택 네트워크(300)에 입력하면, 상기 유사 이미지 선택 네트워크(300)는 상기 원본 이미지 중 임의의 이미지(11)상에서 각각의 슬라이딩 윈도우의 각 영역을 크롭하고 리사이즈하여 가공 이미지(12)를 획득한다. 이때, 다른 예로, 상기 유사 이미지 선택 네트워크(300)가 아닌, 상기 최적화 장치(100)는 상기 임의의 이미지(11)에서 각각의 상기 슬라이딩 윈도우의 각 영역을 크롭하고 리사이즈한 상기 가공 이미지(12)를 획득하고, 각각의 상기 원본 이미지에 대응되는 각각의 상기 가공 이미지를 상기 유사 이미지 선택 네트워크(300)에 입력할 수도 있다.
그러면, 상기 유사 이미지 선택 네트워크(300)는 이미지 분류기(310)로 하여금, 상기 가공 이미지(12)를 분류(Classification)하여 각각의 상위 k개의 클래스 정보를 출력하도록 한다. 일 예로, 상기 이미지 분류기(310)는 각각의 상기 가공 이미지(12)의 각각의 특징 맵을 생성하고, 각각의 상기 특징 맵을 이용하여 객체를 낮, 새, 봄, 구름, 산, 나무, 집, 자전거, 사람, 도로, 개 등과 같은 클래스 군으로 분류하며, 상기 상위 k개의 클래스 정보를 출력할 수 있다. 이때, 도면에서는 상위 4개의 클래스 정보를 출력하는 것으로 도시하였으나, 본 발명의 범위는 이에 한정되지 않는다. 또한, 도면에서는 각각의 상기 가공 이미지(12)에 대응하는 상기 이미지 분류기(310)가 복수 개로 도시되어 있으나, 이와는 달리 하나의 이미지 분류기를 이용하여 각각의 상기 가공 이미지에 대응하는 상기 상위 k개의 클래스 정보를 출력하도록 하거나, 상기 가공 이미지에 대응하나 상기 가공 이미지 개수와는 다른 개수의 상기 이미지 분류기를 이용하여 상기 상위 k개의 클래스 정보를 출력하도록 할 수도 있다.
그리고, 상기 유사 이미지 선택 네트워크(300)는, 상기 이미지 분류기(310)로부터 출력되는 각각의 상기 가공 이미지에 대응하는 상기 상위 k개의 클래스 정보를 참조하여, 적어도 하나의 BoW(Bag of Words)를 생성하는 적어도 하나의 연산을 모든 상기 원본 이미지에 적용하여 상기 원본 이미지에 대한 적어도 하나의 BoW 히스토그램을 생성하도록 한다.
이후, 상기 유사 이미지 선택 네트워크(300)는 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군(20) 중, 상기 BoW 히스토그램과 가까운 순서대로 기설정된 개수의 상기 고유의 트루 라벨을 가지는 검증 이미지(21)를 선택하여, 상기 원본 이미지와 상기 기설정된 개수의 상기 고유의 트루 라벨을 가지는 검증 이미지(21)를 오토 라벨링하기 위해 상기 오토 라벨링 장치(200)에 전송할 수 있다. 이때, 상기 유사 이미지 선택 네트워크(300)는 상기 기설정된 개수의 상기 검증 이미지 후보군 중 고유의 트루 라벨을 가지는 디피컬트 검증 이미지와 디피컬트 원본 이미지를 관리하여, 상기 기설정된 개수의 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군 중 상기 고유의 트루 라벨을 가지는 디피컬트 검증 이미지의 개수가 상기 원본 이미지 중 상기 디피컬트 원본 이미지의 개수에 대하여 특정 비율을 가지도록 할 수 있다. 일 예로, 상기 기설정된 개수의 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군 중 상기 고유의 트루 라벨을 가지는 디피컬트 검증 이미지의 개수는 상기 원본 이미지 중 상기 디피컬트 원본 이미지의 개수의 10%일 수 있다.
또한, 상기 원본 이미지(10)와 상기 고유의 트루 라벨을 가지는 검증 이미지(21)가 획득되면, 상기 오토 라벨링 장치(200)는 객체 검출 네트워크(210)로 하여금, 상기 원본 이미지(10) 상과 상기 고유의 트루 라벨을 가지는 검증 이미지(21) 상에 위치하는 객체에 대한 바운딩 박스를 생성하도록 함으로써, 상기 원본 이미지(10)와 상기 고유의 트루 라벨을 가지는 검증 이미지 (21)를 오토 라벨링하도록 할 수 있다.
도 4를 참조하여, 상기 객체 검출 네트워크(210)가 상기 원본 이미지(10)와 상기 고유의 트루 라벨을 가지는 검증 이미지(21) 상에서 상기 바운딩 박스를 생성하는 방법을 설명하면 다음과 같다.
상기 원본 이미지(10)와 상기 고유의 트루 라벨을 가지는 검증 이미지(21) 중 어느 하나가 입력 이미지로 입력되면, 상기 객체 검출 네트워크(210)는 하나 이상의 컨벌루션 레이어(211)로 하여금, 상기 입력 이미지에 컨벌루션 연산을 적용하여 적어도 하나의 객체 검출용 특징 맵을 출력하도록 한다. 이때, 상기 컨벌루션 레이어(211)는 상기 입력 이미지에 상기 컨벌루션 연산을 순차적으로 적용하여 상기 객체 검출용 특징 맵을 생성할 수 있다.
그리고, 상기 객체 검출 네트워크(210)는 적어도 하나의 RPN(Region Proposal Network)(212)으로 하여금, 상기 객체 검출용 특징 맵 상에서 상기 객체를 포함하는 것으로 예측되는 후보 영역에 대응되는 프로포잘 박스를 출력하도록 한다.
이후, 상기 객체 검출 네트워크(210)는 적어도 하나의 풀링 레이어(213)로 하여금, 상기 객체 검출용 특징 맵 상에서, 상기 프로포잘 박스에 대응되는 영역에 하나 이상의 풀링 연산을 적용하여 하나 이상의 특징 벡터를 출력하도록 한다.
그리고, 상기 객체 검출 네트워크(210)는 적어도 하나의 FC(Fully connected) 레이어(214)로 하여금 상기 특징 백터에 적어도 하나의 FC 연산을 적용하도록 한 다음, 적어도 하나의 분류 레이어(215)로 하여금 각각의 상기 프로포잘 박스에 대응되는 각각의 객체 클래스 정보를 출력하도록 하고, 적어도 하나의 리그레션(regression) 레이어(216)로 하여금 각각의 상기 객체를 바운딩하는 각각의 상기 프로포잘 박스로부터 상기 바운딩 박스 정보를 출력하도록 한다.
이때, 상기 객체 검출 네트워크(210)는 상기 분류 레이어(215)로 하여금 상기 기설정된 하이퍼파라미터 세트의 기설정된 하이퍼파라미터 중 하나인, 각 클래스별 각각의 스코어 임계값에 따라 상기 프로포잘 박스에 대응되는 상기 객체 클래스 정보를 출력하도록 할 수 있다. 즉, 상기 분류 레이어(215)는 특정 바운딩 박스에 대응되는 각 클래스별 각각의 스코어 중 가장 높은 스코어를 갖는 특정 클래스를 상기 특정 바운딩 박스의 특정 클래스 정보로 결정하고, 상기 특정 클래스의 특정 스코어가 기설정된 특정 클래스 스코어 임계값 이상일 경우, 상기 특정 클래스를 상기 특정 바운딩 박스의 상기 객체 클래스 정보로 출력하도록 할 수 있다.
또한, 상기 객체 검출 네트워크(210)는, NMS(non-maximum suppression)를 이용하여, 상기 기설정된 하이퍼파라미터 세트의 상기 기설정된 하이퍼파라미터 중 하나인 NMS 임계값에 따라, 하나의 객체에 대응하여 중복되는 바운딩 박스 중 하나의 바운딩 박스를 선택하여 출력할 수 있다.
또한, 상기 객체 검출 네트워크(210)는, 상기 기설정된 하이퍼파라미터의 일부인 바운딩 박스 선정 임계값 및 최소 객체 사이즈를 이용하여, 다수의 바운딩 박스 중 각각의 상기 객체에 대응하는 각각의 정확한 바운딩 박스를 선택하여 출력할 수 있다.
한편, 상기 객체 검출 네트워크(210)는 사전에 학습된 상태일 수 있다. 즉, 하나 이상의 로스를 이용한 백프로퍼게이션을 통해 상기 FC 레이어(214)와 상기 컨벌루션 레이어(211)의 하나 이상의 파라미터 중 적어도 일부가 조정된 상태일 수 있다. 또한, 상기 RPN(212)도 사전에 학습된 상태일 수 있다.
다시, 도 2를 참조하면, 상기 최적화 장치(100)는 상기 오토 라벨링 장치(200)로 하여금, 상기 고유의 오토 라벨을 가지는 원본 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지를 이지(easy) 이미지와 디피컬트(difficult) 이미지로 각각 분류하도록 할 수 있다. 즉, 상기 최적화 장치(100)는 상기 오토 라벨링 장치 (200)로 하여금, 상기 고유의 오토 라벨을 가지는 원본 이미지를 고유의 오토 라벨을 가지는 이지 원본 이미지와 고유의 오토 라벨을 가지는 디피컬트 원본 이미지로 분류하도록 하며, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지를 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지와 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지로 분류하도록 할 수 있다.
그리고, 상기 오토 라벨링 장치(200)는 디피컬트 이미지 식별 네트워크(220)로 하여금 상기 입력 이미지를 상기 이지 이미지와 상기 디피컬트 이미지로 분류하도록 할 수 있으며, 상기 디피컬트 이미지는 부정확하게 오토 라벨링될 확률이 기설정값 Y 이상인 이미지이고, 상기 이지 이미지는 부정확하게 오토 라벨링될 확률이 기설정된 값 미만인 이미지이다.
이때, 도 5를 참조하여, 상기 오토 라벨링 장치(200)의 상기 디피컬트 이미지 식별 네트워크(220)에 의해 오토 라벨링된, 상기 고유의 오토 라벨을 가지는 원본 이미지와 상기 고유의 트루 라벨과 오토 라벨을 가지는 검증 이미지를 각각 고유의 오토 라벨을 가지는 이지 원본 이미지, 고유의 오토 라벨을 가지는 디피컬트 원본 이미지와 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지, 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지로 분류하는 방법을 설명하면 다음과 같다.
오토 라벨링된 상기 고유의 오토 라벨을 가지는 원본 이미지와 오토 라벨링된 상기 고유의 트루 라벨과 오토 라벨을 가지는 검증 이미지 중 어느 하나의 이미지인 고유의 오토 라벨
Figure pat00019
을 가지는 적어도 하나의 입력 이미지 Ⅰ가 입력되면, 상기 디피컬트 이미지 식별 네트워크(220)는 제1 이미지
Figure pat00020
와 제2 이미지
Figure pat00021
를 생성할 수 있되, 상기 제1 이미지와 상기 제2 이미지 중 하나만이 상기 입력 이미지로부터 변형된 것이라면 나머지 하나는 상기 입력 이미지가 그대로 사용된다. 이때, 상기 제1 이미지
Figure pat00022
및 상기 제2 이미지
Figure pat00023
중 적어도 하나는 상기 입력 이미지 Ⅰ로부터 변형된 이미지일 수 있다.
한편, 상기 제1 이미지
Figure pat00024
와 상기 제2 이미지
Figure pat00025
를 생성함에 있어서, 상기 제1 이미지를 변형하기 위한 하나 이상의 제1 함수와 이에 대응하는, 상기 제2 이미지를 변형하기 위한 제2 함수를 포함하는 하나 이상의 변형 페어를 이용하여, 상기 입력 이미지 Ⅰ에 대응되는 상기 제1 이미지와 상기 제2 이미지의 적어도 하나의 이미지 페어를 생성할 수 있다.
일 예로, 상기 변형 페어는 다음과 같이 나타내어질 수 있다.
색인 제1 이미지 제2 이미지
1 480P로 리사이즈 540P로 리사이즈
2 640P로 리사이즈 720P로 리사이즈
3 900P로 리사이즈 1080P로 리사이즈
4 원본 좌우 반전
5 원본 감마 0.5
6 원본 감마 1.5
즉, 상기 입력 이미지에 따라 설정된 상기 변형 페어에 대응되는, 상기 제1 이미지와 상기 제2 이미지의 하나 이상의 이미지 페어를 생성할 수 있다.
다음으로, 상기 디피컬트 이미지 식별 네트워크(220)는 하나 이상의 컨벌루션 레이어(211)로 하여금, 상기 제1 이미지
Figure pat00026
와 상기 제2 이미지
Figure pat00027
에 각각 하나 이상의 컨벌루션 연산을 적용하여, 적어도 하나의 제1 특징 맵과 적어도 하나의 제2 특징 맵을 출력하도록 한다. 이때, 상기 컨벌루션 레이어(211)는 도 4에 도시된, 오토 라벨링을 하는 상기 객체 검출 네트워크에 포함된 컨벌루션 레이어일 수 있다. 일 예로, 상기 객체 검출 네트워크가 다수의 변형의 조합을 사용하는 경우, 상기 변형 페어는 상기 객체 검출 네트워크가 사용하는 상기 변형으로만 정의될 수 있으며, 그에 따라 상기 객체 검출 네트워크의 상기 컨벌루션 레이어에서 출력된 특징 맵이 추가 과정 없이 그대로 사용될 수 있으므로, 상기 특징 맵의 연산에 소요되는 시간을 절감할 수 있게 된다.
이후, 상기 디피컬트 이미지 식별 네트워크(220)는 하나 이상의 풀링 레이어(222)로 하여금, 상기 제1 특징 맵 상에서 각각의 오토 라벨
Figure pat00028
에 대응되는 각 영역에 하나 이상의 풀링 연산을 적용하여 각각의 제1 풀링된 특징 맵을 출력하도록 하고, 상기 제2 특징 맵 상에서 상기 각각의 오토 라벨
Figure pat00029
에 대응되는 각 영역에 상기 풀링 연산을 적용하여 각각의 제2 풀링된 특징 맵을 출력하도록 하며, 상기 각각의 오토 라벨
Figure pat00030
에 각각 대응되는, 각각의 상기 제1 풀링된 특징 맵과 각각의 제2 풀링된 특징 맵을 컨캐터네이트하여 각각의 컨캐터네이트된 특징 맵을 생성한다. 이때, 도 5에서는 두 개의 상기 컨벌루션 레이어(221)와 두 개의 풀링 레이어(222)가 도시되었으나, 이와는 달리 하나의 컨벌루션 레이어와 하나의 풀링 레이어가, 상기 제1 이미지와 제2 이미지에 상기 컨벌루션 연산을 적용하며, 상기 제1 특징 맵과 상기 제2 특징 맵에 상기 풀링 연산을 적용하기 위해 각각 사용될 수도 있다.
그리고, 상기 디피컬트 이미지 식별 네트워크(220)는 적어도 하나의 딥 러닝 분류기(223)로 하여금 상기 각각의 오토 라벨
Figure pat00031
에 대응되는 상기 각각의 컨캐터네이트된 특징 맵을 입력으로 하여, 상기 각각의 오토 라벨
Figure pat00032
을 비정상 클래스 군 또는 정상 클래스 군으로 분류하는 상기 클래스 정보를 출력하도록 할 수 있다. 이때, 상기 비정상 클래스 군은 오검출 클래스 군과 미검출 클래스 군을 포함할 수 있으며, 상기 정상 클래스 군은 객체로 분류된 오토 라벨에 대한 클래스 군과 배경으로 분류된 오토 라벨에 대한 클래스 군을 포함할 수 있다. 상기 오토 라벨
Figure pat00033
에 대한 분류에 대해서는 도 6을 참조하여 상기 딥 러닝 분류기(223)의 학습 과정에서 설명하기로 한다.
이후, 상기 디피컬트 이미지 식별 네트워크(220)는 (i) 상기 각각의 오토 라벨
Figure pat00034
의 각 클래스 정보를 참조하여, 상기 비정상 클래스 군의 각각의 비정상 클래스 요소에 대한 확률값 각각을 계산하고, (ii) 각각의 상기 비정상 클래스 요소에 대한 상기 확률값 각각을 이용하여, 상기 입력 이미지 Ⅰ가 상기 디피컬트 이미지인지를 판단하도록 한다.
이때, 상기 딥 러닝 분류기(223)의 출력에 시그모이드 함수가 적용된 다음 각각의 상기 비정상 클래스 요소의 각 확률값이 계산될 수 있다. 각각의 상기 비정상 클래스 요소의 각 확률값은 상기 오검출 클래스 군의 오검출 클래스 요소에 대한 각각의 확률값과 상기 미검출 클래스 군의 미검출 클래스 요소에 대한 각각의 확률값을 포함할 수 있다.
일 예로, 상기 오검출 클래스 요소(FP)에 대한 확률값은
Figure pat00035
로 나타낼 수 있으며, 상기 미검출 클래스 요소(FN)에 대한 확률값은
Figure pat00036
로 나타낼 수 있다.
이때,
Figure pat00037
는 상기 오토 라벨 중 하나의 오토 라벨이며,
Figure pat00038
와
Figure pat00039
는 각각 상기 제1 이미지와 상기 제2 이미지를 나타낸다.
또한, 상기 디피컬트 이미지 식별 네트워크(220)는, 각 오토 라벨
Figure pat00040
별로, 상기 변형 페어 각각에 대응하는 각각의 상기 비정상 클래스 요소에 대한 각각의 확률값을 계산하고, 상기 계산된 확률값의 적어도 하나의 가중 평균을 계산할 수 있다.
즉, 상기 오검출 클래스 요소에 대한 확률값(
Figure pat00041
)과 상기 미검출 클래스 요소에 대한 확률값(
Figure pat00042
)은 아래와 같이 나타낼 수 있다.
Figure pat00043
Figure pat00044
이때, 상기 오검출 클래스 요소에 대한 확률값(
Figure pat00045
)과 상기 미검출 클래스 요소에 대한 확률값(
Figure pat00046
)은 상기 기설정된 하이퍼파라미터 세트의 상기 기설정된 하이퍼파라미터 중 하나인 제1 설정값인 가중치(
Figure pat00047
)에 대한 선형 함수이므로,
Figure pat00048
의 제약 조건이 있는 제약 최적화(Constrained optimization)로 상기 가중치의 최적화가 가능하게 된다.
그리고, 각각의 상기 비정상 클래스 요소의 확률값에 대한 적어도 하나의 일반화된 평균(generalized mean)이 제2 설정값 이상일 경우, 상기 디피컬트 이미지 식별 네트워크(220)는 상기 입력 이미지를 상기 디피컬트 이미지로 판단할 수 있다.
일 예로, 상기 디피컬트 이미지 식별 네트워크(220)는, 각 오토 라벨
Figure pat00049
별, 상기 오검출 클래스 요소에 대한 각 확률값(
Figure pat00050
)과 상기 미검출 클래스 요소에 대한 각 확률값(
Figure pat00051
)을 참조하여, 고유의 오토 라벨을 가지는 상기 입력 이미지가 상기 디피컬트 이미지일 확률값(
Figure pat00052
)을 다음과 같은 일반화된 평균으로 계산할 수 있다.
Figure pat00053
그리고, 각 오토 라벨
Figure pat00054
별, 상기 오검출 클래스 요소에 대한 각 확률값(
Figure pat00055
)과 상기 미검출 클래스 요소에 대한 각 확률값(
Figure pat00056
)을 참조하여 계산한 각각의 상기 확률값(
Figure pat00057
)이 상기 기설정된 하이퍼파라미터 세트의 상기 기설정된 하이퍼파라미터 중의 하나인 상기 제2 설정값인 판단 기준값(
Figure pat00058
) 이상일 경우, 상기 디피컬트 이미지 식별 네트워크(220)는 상기 입력 이미지를 상기 디피컬트 이미지로 판단할 수 있다. 여기서, 상기 디피컬트 이미지는 부정확하게 오토 라벨링될 확률이 상기 제2 설정값 이상인 이미지를 나타낼 수 있다.
이때, 상기 제2 설정값(
Figure pat00059
)은, 상기 오토 라벨링 장치의 오토 라벨링 프로세스 이후 수동으로 검수된 상기 검증 이미지에 대한 정답 적중률 중 가장 높은 적중률일 수 있다.
한편, 상기 딥 러닝 분류기(223)는 다중의 FC 레이어 또는 풀리 컨벌루션 네트워크(fully convolutional network)를 포함할 수 있으며, 상기 딥 러닝 분류기(223)를 학습하는 과정을 도 6을 참조하여 설명하면 다음과 같다.
상기 오토 라벨링 장치에 의해 오토 라벨링된, 고유의 트루 라벨 및 오토 라벨을 가지는 적어도 하나의 트레이닝 이미지가 획득되면, 학습 장치(230)가 하나 이상의 학습용 컨벌루션 레이어(231)로 하여금 상기 학습용 컨벌루션 레이어의 컨벌루션 연산을 상기 트레이닝 이미지에 적용하여 적어도 하나의 학습용 특징 맵을 출력하도록 한다.
이때, 상기 트레이닝 이미지의 상기 오토 라벨은, 상기 오토 라벨링 장치를 통해 라벨링된 상기 오토 라벨과는 달리, 학습을 위해 임의로 생성된 것일 수도 있다.
또한, 상기 학습 장치(230)는 상기 딥 러닝 클래스 분류기(223)의 학습을 위한 인스트럭션들을 저장하는 메모리(미도시)와 상기 메모리에 저장된 상기 인스트럭션들에 대응하여 상기 딥 러닝 클래스 분류기(223)에 대한 학습을 수행하는 프로세서(미도시)를 포함할 수 있다.
구체적으로, 상기 학습 장치(230)는 전형적으로 적어도 하나의 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 적어도 하나의 컴퓨터 소프트웨어(즉, 상기 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다. 또한, 상기 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다. 그러나, 이러한 상기 컴퓨팅 장치에 대한 설명이 본 발명을 실시하기 위한 프로세서, 메모리, 매체 또는 기타 컴퓨팅 구성요소가 통합된 형태인 통합 프로세서의 경우를 배제하는 것은 아니다.
다음으로, 상기 학습 장치(230)는 적어도 하나의 학습용 풀링 레이어(232)로 하여금 상기 학습용 풀링 레이어의 하나 이상의 풀링 연산을, 상기 학습용 특징 맵 상에서 상기 오토 라벨 각각에 대응되는 각각의 영역에 각각 적용하여 하나 이상의 학습용 풀링된 특징 맵을 출력하도록 한다.
이후, 상기 학습 장치(230)는 상기 딥 러닝 분류기(223)로 하여금 상기 오토 라벨 각각에 대응되는 각각의 상기 학습용 풀링된 특징 맵을 입력으로 획득하여, 상기 오토 라벨을 상기 비정상 클래스 군 또는 상기 정상 클래스 군으로 분류하는 상기 클래스 정보를 출력하도록 한다.
이때, 상기 클래스 정보는, 상기 오검출 클래스 군과 상기 미검출 클래스 군을 가지는 상기 비정상 클래스 군을 포함할 수 있다. 그리고, 상기 클래스 정보는 2 차원 출력을 포함할 수 있다.
일 예로, 상기 오검출 클래스 군(FP,
Figure pat00060
))은, 제1 특정 오토 라벨과 동일한 클래스 정보를 가지는 제1 특정 트루 라벨이 다른 트루 라벨과 상기 제1 설정값 이상으로 겹쳐 있지 않는 경우를 나타낼 수 있다.
이때, 상기 오검출 클래스 군(FP,
Figure pat00061
)은
Figure pat00062
와 같이 나타날 수 있다.
그리고, 상기 미검출 클래스 군(FN,
Figure pat00063
)은, 제2 특정 트루 라벨과 동일한 클래스 정보를 가지는 제2 특정 오토 라벨이 다른 오토 라벨과 상기 제2 설정값 이상 겹쳐 있지 않은 상태에서, 제3 특정 오토 라벨이 상기 제2 특정 트루 라벨과 제3 설정값 이상으로 겹쳐 있는 경우를 나타낼 수 있다.
이때, 상기 미검출 클래스 군(FN,
Figure pat00064
)은
Figure pat00065
,
Figure pat00066
):
Figure pat00067
로 나타날 수 있다.
일 예로, 상기에서
Figure pat00068
로 설정될 수 있으나, 이에 한정되는 것은 아니다.
그리고, 상기 정상 클래스 군(
Figure pat00069
)은 상기 오검출 클래스 군 및 상기 미검출 클래스 군 이외의 다른 클래스 군을 포함할 수 있으며, 상기 객체와 상기 배경에 대응될 수 있다.
한편, 상기 클래스의 불균형을 예방하기 위하여, 상기 학습 장치(230)는 상기 오검출 클래스 군, 상기 미검출 클래스 군 및 상기 정상 클래스 군을 관리하여, 상기 비정상 클래스 군 중에서 요소 개수가 많은 클래스 군의 개수가 요소 개수가 적은 나머지 클래스 군 개수의 기설정된 제1 배수 이하로 되도록 하며, 상기 정상 클래스 군의 요소 개수가 상기 비정상 클래스 군의 요소 개수의 기설정된 제2 배수와 동일해지도록 한다.
이때, 상기 학습 장치(230)는 상기 오검출 클래스 군(FP)의 요소의 개수, 상기 미검출 클래스 군(FN)의 요소의 개수, 및 상기 정상 클래스 군의 요소의 개수를 랜덤 샘플링을 이용하여 조정할 수 있다.
다음으로, 상기 학습 장치(230)는, 적어도 하나의 로스 레이어(233)로 하여금 각각의 상기 오토 라벨에 대한 상기 각 클래스 정보와 이에 대응하는 GT(ground truth)를 참조하여 하나 이상의 로스를 계산하도록 함으로써, 상기 로스를 이용한 백프로퍼게이션을 통해 상기 딥 러닝 분류기(223)의 파라미터 중 적어도 일부를 학습할 수 있다.
이때, 상기 학습 장치(230)는 크로스 엔트로피 로스(cross-entropy loss)를 이용하여 상기 백프로퍼게이션을 수행할 수 있다.
한편, 상기 학습은, 상기 딥 러닝 분류기(223)를 구성하는 뉴럴 네트워크 내 연결된 두 레이어의 시놉스 강도인 가중치를, 로스가 작아지도록 조정하는 것일 수 있다.
일 예로, 확률적 경사 하강법(Stochastic Gradient Descent, SGD)을 이용하여 상기 백프로퍼게이션을 수행할 경우에는, 다음과 같이 각각의 가중치를 조정할 수 있다.
Figure pat00070
상기에서,
Figure pat00071
는 학습률을 나타내며,
Figure pat00072
는 비용 함수(Cost function)를 나타낸다.
이때, 상기 비용 함수는 지도 학습, 비지도 학습, 자율 학습, 및 강화 학습 등과 같은 학습의 형태와 활성화 함수같은 요인들에 의해서 결정될 수 있다.
예를 들면, 다중 클래스(multi-class) 분류 문제를 풀기 위한 학습을 수행할 때, 일반적으로 상기 활성화 함수와 상기 비용 함수는 각각 소프트맥스 함수와 크로스 엔트로피 함수로 결정된다.
상기 소프트맥스 함수는
Figure pat00073
와 같이 나타낼 수 있으며, 상기 비용 함수는
Figure pat00074
와 같이 나타낼 수 있다.
이때, pj는 클래스 확률(class probability)을 나타내며, xj와 xk는 각각 유닛 j로의 전체 입력과 유닛 k로의 전체 입력을 나타낼 수 있다. 그리고, dj는 출력 유닛 j에 대한 목표 확률(target probability)을 나타내며, pj는 해당 활성화 함수를 적용한 이후의 상기 출력 유닛 j에 대한 확률 출력(probability output)을 나타낼 수 있다.
상기에서는 상기 로스를 이용한 백프로퍼게이션의 일 예로, 상기 확률적 경사 하강법에 대해 설명하였으나, 본 발명의 범위는 이에 한정되지 않으며, 모멘텀(Momentum) 방식, 네스테로프 가속 경사(Nesterov Accelerated Gradient, NAG) 방식, AdaGrad(Adaptive Gradient) 방식, RMSProp(Root Mean Square Propagation) 방식, AdaDelta(Adaptive Delta) 방식, Adam(Adaptive Moment Estimation) 방식 등을 사용하여 상기 뉴럴 네트워크의 학습을 위한 상기 백프로퍼게이션을 수행할 수도 있다.
다시, 도 2를 참조하면, 상기 최적화 장치(100)는 상기 오토 라벨링 장치(200)로 하여금, 상기 고유의 오토 라벨을 가지는 이지 원본 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지를 신뢰도 평가 네트워크(500)로 전송(S2-1)하도록 할 수 있다.
또한, 상기 최적화 장치(100)는 상기 오토 라벨링 장치(200)로 하여금, 상기 고유의 오토 라벨을 가지는 디피컬트 원본 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지를 수동 라벨링 장치(400)에 전송(S2-2)하도록 할 수 있다. 그러면, 상기 수동 라벨링 장치(400)는 수신되는 상기 고유의 오토 라벨을 가지는 디피컬트 원본 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지의 부정확한 라벨을 정정하는 수동 라벨링을 수행하며, 수동 라벨링되어 고유의 오토 라벨 및 수동 라벨을 가지는 디피컬트 원본 이미지와 상기 수동 라벨링되어 고유의 트루 라벨, 오토 라벨 및 수동 라벨을 가지는 디피컬트 검증 이미지를 상기 신뢰도 평가 네트워크(500)로 전송(S2-3)하도록 할 수 있다.
이후, 상기 최적화 장치(100)는 상기 신뢰도 평가 네트워크(500)로 하여금, 수신되는 상기 고유의 오토 라벨을 가지는 이지 원본 이미지, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지, 상기 고유의 오토 라벨 및 수동 라벨을 가지는 디피컬트 원본 이미지, 및 상기 고유의 트루 라벨, 오토 라벨, 및 수동 라벨을 가지는 디피컬트 검증 이미지를 참조하여, 상기 오토 라벨링 장치(200)의 신뢰도와 상기 수동 라벨링 장치(400)의 신뢰도를 평가하도록 할 수 있다.
이때, 상기 신뢰도 평가 네트워크(500)는 상기 오토 라벨링 장치(200)로부터 획득되는 상기 고유의 트루 라벨과 오토 라벨을 가지는 이지 검증 이미지의 트루 라벨과 오토 라벨을 참조하여, 상기 오토 라벨링 장치(200)의 신뢰도를 평가할 수 있다.
이때, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지의 트루 라벨 을
Figure pat00075
, 오토 라벨을
Figure pat00076
이라 하고, 정밀도(Precision)(
Figure pat00077
) = 1- [
Figure pat00078
내 오검출 라벨 개수] / [
Figure pat00079
내 전체 라벨 개수], 재현율(Recall)(
Figure pat00080
) = 1- [
Figure pat00081
내 미검출 라벨 개수] / [
Figure pat00082
내 전체 라벨 개수]라 할 경우, 상기 오토 라벨링 장치(200)의 현재 신뢰도(Reliability(AL))는 다음과 같이 평가될 수 있다.
Figure pat00083
또한, 상기 신뢰도 평가 네트워크(500)는 상기 수동 라벨링 장치(400)로부터 획득되는, 상기 고유의 트루 라벨, 오토 라벨, 및 수동 라벨을 가지는 디피컬트 검증 이미지의 트루 라벨과 수동 라벨을 참조하여, 상기 수동 라벨링 장치(400)의 신뢰도를 평가할 수 있다.
이때, 상기 고유의 트루 라벨, 오토 라벨, 및 수동 라벨을 가지는 디피컬트 검증 이미지의 트루 라벨을
Figure pat00084
, 수동 라벨을
Figure pat00085
이라 하고, 정밀도(Precision)(
Figure pat00086
,
Figure pat00087
) = 1- [
Figure pat00088
내 오검출 라벨 개수] / [
Figure pat00089
내 전체 라벨 개수], 재현율(Recall)(
Figure pat00090
,
Figure pat00091
) = 1- [
Figure pat00092
내 미검출 라벨 개수] / [
Figure pat00093
내 전체 라벨 개수]라 할 경우, 상기 수동 라벨링 장치(400)의 현재 신뢰도(Reliability(HL))는 다음과 같이 평가될 수 있다.
Figure pat00094
상기에서는 상기 최적화 장치(100)가 상기 신뢰도 평가 네트워크(500)로 하여금, 상기 오토 라벨링 장치(200)의 신뢰도와 상기 수동 라벨링 장치(400)의 신뢰도를 계산하도록 하였으나, 상기 최적화 장치(100)가 상기와 같은 방법에 의해 상기 오토 라벨링 장치(200)의 신뢰도와 상기 수동 라벨링 장치(400)의 신뢰도를 계산할 수도 있다.
다음으로, 상기 오토 라벨링 장치(200)의 신뢰도가 상기 기설정값 이상일 경우, 상기 최적화 장치(100)는, 상기 고유의 오토 라벨을 가지는 이지 원본 이미지와 상기 오토 라벨 및 수동 라벨을 가지는 디피컬트 원본 이미지 중 일부를 재학습용 고유의 트루 라벨을 가지는 트레이닝 이미지(30)로 선정할 수 있으며, 상기 고유의 오토 라벨 및 수동 라벨을 가지는 디피컬트 원본 이미지 중 나머지를 상기 고유의 트루 라벨을 가지는 검증 이미지 후보군(20)으로 선정할 수 있다.
그리고, 상기 오토 라벨링 장치의 계산된 신뢰도, 즉, 상기 오토 라벨링 장치의 현재 신뢰도가 획득(S3)되면, 상기 최적화 장치(100)는, 상기 오토 라벨링 장치의 현재 신뢰도에 따른 상기 기설정된 하이퍼파라미터 세트(HP)에 대응되는 적어도 하나의 소정의 규칙에 의해 조정된 하나 이상의 샘플 하이퍼파라미터 세트(HP')을 생성한다. 이때, 상기 샘플 하이퍼파라미터 세트(HP')은, 상기 기설정된 하이퍼파라미터 세트(HP)의 상기 하이퍼파라미터 중 일부를 선택적으로 조정하고, 상기 조정된 하이퍼파라미터를 임의로 조합함으로써 생성될 수 있다. 이는 상기 하이퍼파라미터 각각의 변화가 신뢰도에 미치는 영향이 서로 독립적이지 않기 때문이다.
이후, 상기 최적화 장치(100)는 상기 샘플 하이퍼파라미터 세트(HP') 각각에 대응되는, 상기 오토 라벨링 장치(200)의 신뢰도인 샘플 신뢰도를 계산할 수 있다. 이때, 상기 샘플 신뢰도는, 상기 오토 라벨링 장치(200)의 상기 기설정된 하이퍼파라미터 세트(HP)를 각각의 상기 샘플 하이퍼파라미터 세트(HP')로 대체한 상태에서, 상기에서와 같은 동작을 반복하여 계산할 수도 있으나, 본 발명의 범위는 이에 한정되지 않으며, 상기 기설정된 하이퍼파라미터 세트(HP)를 사용하는 상기에서와 같은 동작에 의해 획득된 각각의 출력값에 각각의 상기 샘플 하이퍼파라미터(HP')를 적용한 시뮬레이션을 통해 계산할 수도 있다.
그리고, 도 7을 참조하면, 상기 현재 신뢰도에 대응하는 현재 하이퍼파라미터 세트(HP)의 위치를 기준으로 각각의 상기 샘플 신뢰도에 대응하는 상기 샘플 하이퍼파라미터 세트(HP')는 가우시안(Gaussian) 분포를 가지게 될 수 있다.
이때, 상기 최적화 장치(100)는 상기 샘플 하이퍼파라미터 세트(HP') 중, 상기 현재 신뢰도보다 높은 샘플 신뢰도를 가지는 일부를 특정 샘플 하이퍼파라미터 세트로 선정하고, 상기 선정된 특정 샘플 하이퍼파라미터 세트의 특정 샘플 신뢰도를 참조하여 상기 샘플 신뢰도가 높아지는 방향을 획득한다.
이후, 상기 최적화 장치(100)는 상기 현재 신뢰도가 상기 특정 샘플 신뢰도가 높아지는 방향에 대응하여 조정되도록, 상기 현재 하이퍼파라미터 세트(HP)인 상기 기설정된 하이퍼파라미터 세트의 개별 하이퍼파라미터를 조정하여 조정된 하이퍼파라미터 세트를 생성하고, 상기 조정된 하이퍼파라미터 세트를 이용하여 상기 오토 라벨링 장치(200)의 상기 기설정된 하이퍼파라미터 세트를 최적화한다(S4).
이때, 조정되는 상기 오토 라벨링 장치(200)의 상기 개별 하이퍼파라미터는, 상기 오토 라벨링 장치(200)에 포함된 상기 객체 검출 네트워크(210)의, 각 클래스 별 각각의 스코어 임계값, 각 클래스 별 각각의 NMS 임계값, 각 클래스 별 각각의 바운딩 박스 선정 임계값, 및 각 클래스 별 각각의 최소 객체 사이즈를 포함할 수 있다.
또한, 상기 최적화 장치(100)는, 상기 오토 라벨링 장치(200)로 하여금, 상기 고유의 오토 라벨을 가지는 원본 이미지를 고유의 오토 라벨을 가지는 이지 원본 이미지와 고유의 오토 라벨을 가지는 디피컬트 원본 이미지로 분류하도록 하고, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지를 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지와 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지로 분류하도록 하는 데 있어서, 상기 기설정된 하이퍼파라미터 세트에 대응하는 상기 현재 신뢰도가 상기 기설정값 이상인 상태를 유지하면서 상기 고유의 오토 라벨을 가지는 상기 원본 이미지 중에서 상기 고유의 오토 라벨을 가지는 상기 원본 이미지로 분류되는 비율을 최대화하도록, 상기 기설정된 하이퍼파라미터 세트를 최적화할 수 있다.
즉, 상기 최적화 장치(100)는, (i) 상기 오토 라벨링 장치(200)의 상기 디피컬트 이미지 식별 네트워크(220)가 상기 고유의 오토 라벨을 가지는 원본 이미지의 오토 라벨 각각이 비정상 클래스(abnormal class)일 각각의 확률과 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지의 오토 라벨 각각이 상기 비정상 클래스일 각각의 확률을 계산하기 위한 상기 제1 설정값(가중치
Figure pat00095
)과 (ii) 상기 오토 라벨링 장치(200)의 상기 디피컬트 이미지 식별 네트워크(220)가 상기 고유의 오토 라벨을 가지는 원본 이미지가 상기 고유의 오토 라벨을 가지는 디피컬트 원본 이미지인지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지가 상기 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지인지를 판별하기 위한 상기 제2 설정값
Figure pat00096
(상기 판단 기준값)을 포함하는, 상기 기설정된 하이퍼파라미터 세트를 최적화할 수 있다.
이를 통해, 상기 최적화된 하이퍼파라미터 세트에 의해 재학습을 진행하지 않는 상태에서도 상기 오토 라벨링 장치(200)의 상기 신뢰도가 향상될 수 있다.
한편, 상기 최적화 장치(100)는, 상기 고유의 트루 라벨을 가지는 트레이닝 이미지를 이용하여 상기 오토 라벨링 장치(200)를 재학습(S5)시킴으로써 상기 오토 라벨링 장치(200)의 상기 신뢰도를 향상시킬 수 있으며, 상기 오토 라벨링 장치(200)의 상기 재학습의 과정 동안에도 상기와 같은 방법에 의해 상기 기설정된 하이퍼파라미터를 최적화함으로써 상기 오토 라벨링 장치(200)의 상기 신뢰도를 추가적으로 더 향상시킬 수 있게 된다.
즉, 도 8을 참조하면, 일주일마다 상기 재학습을 진행한다고 가정할 경우, 상기 신뢰도는 계단식으로 향상될 것이지만, 본 발명에 따라 상기 하이퍼파라미터를 최적화할 경우, 더 높은 신뢰도를 확보할 수 있으며, 그에 따라 재학습을 위한 신뢰도가 더 높은 상기 트루 라벨을 가지는 트레이닝 이미지를 획득할 수 있다. 그리고, 신뢰도가 더 높은 상기 트루 라벨을 가지는 트레이닝 이미지를 이용하여 상기 재학습을 수행함으로써, 상기 재학습에 의한 상기 오토 라벨링 장치의 상기 신뢰도는 종래에 비하여 더 많이 향상될 수 있다.
더욱이, 상기 방법은 정책 경사 알고리즘(policy gradient algorithm)을 이용한 강화 학습에 의해 수행될 수 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (12)

  1. 뉴럴 네트워크를 학습하는데 이용될 하나 이상의 트레이닝 이미지를 오토 라벨링(auto-labeling)하는 오토 라벨링 장치의 하나 이상의 하이퍼파라미터(hyperparameter)를 최적화하는 방법에 있어서,
    (a) 라벨링하고자 하는 하나 이상의 원본 이미지 및 상기 원본 이미지와 촬영 환경이 유사한, 고유의 트루 라벨(true label)을 가지는 하나 이상의 검증 이미지가 획득되면, 최적화 장치가, 적어도 하나의 기설정된 하이퍼파라미터 세트를 가지는 상기 오토 라벨링 장치로 하여금, 상기 원본 이미지와 상기 고유의 트루 라벨을 가지는 검증 이미지를 각각 오토 라벨링함으로써 고유의 오토 라벨을 가지는 원본 이미지와 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지를 생성하도록 하며, 상기 고유의 오토 라벨을 가지는 원본 이미지를 고유의 오토 라벨을 가지는 이지(easy) 원본 이미지와 고유의 오토 라벨을 가지는 디피컬트(difficult) 원본 이미지로 분류하도록 하고, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지를 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지와 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지로 분류하도록 하는 단계; 및
    (b) 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지가 획득되면, 상기 최적화 장치가, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지를 참조함으로써 상기 기설정된 하이퍼파라미터 세트에 대응되는 상기 오토 라벨링 장치의 현재 신뢰도를 계산하며, 상기 기설정된 하이퍼파라미터 세트에 대응되는 적어도 하나의 소정의 규칙에 따라 조정된 하나 이상의 샘플 하이퍼파라미터 세트를 생성하고, 상기 샘플 하이퍼파라미터 세트 각각에 대응하는 상기 오토 라벨링 장치의 샘플 신뢰도 각각을 계산하며, 상기 기설정된 하이퍼파라미터 세트에 대응하는 상기 현재 신뢰도가 특정 샘플 하이퍼파라미터 세트 ― 상기 샘플 하이퍼파라미터 세트 중에서, 상기 기설정된 하이퍼파라미터 세트에 대응하는 상기 현재 신뢰도보다 높은 샘플 신뢰도를 가지는 일부 샘플 하이퍼파라미터 세트를 상기 특정 샘플 하이퍼파라미터 세트로 선정함 ― 에 대응하는 상기 샘플 신뢰도가 높아지는 방향으로 조정되도록 상기 기설정된 하이퍼파라미터 세트를 최적화하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    (c) 상기 최적화 장치가, 상기 기설정된 하이퍼파라미터 세트에 대응하는, 상기 현재 신뢰도가 기설정값 이상인 상태를 유지하면서, 상기 고유의 오토 라벨을 가지는 원본 이미지에 대한 상기 고유의 오토 라벨을 가지는 이지 원본 이미지의 비율이 최대화되도록, 상기 기설정된 하이퍼파라미터 세트를 최적화하는 단계;
    를 더 포함하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 오토 라벨링 장치는, 상기 고유의 오토 라벨을 가지는 원본 이미지를 상기 고유의 오토 라벨을 가지는 이지 원본 이미지와 상기 고유의 오토 라벨을 가지는 디피컬트 원본 이미지로 분류하고, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지를 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지로 분류하는 디피컬트 이미지 식별 네트워크를 포함하며,
    상기 (c) 단계에서,
    상기 최적화 장치는, (i) 상기 디피컬트 이미지 식별 네트워크가, 상기 고유의 오토 라벨을 가지는 원본 이미지의 오토 라벨 각각이 비정상 클래스(abnormal class)일 각각의 확률과 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지의 오토 라벨 각각이 상기 비정상 클래스일 각각의 확률을 계산하기 위한 제1 설정값과 (ii) 상기 디피컬트 이미지 식별 네트워크가, 상기 고유의 오토 라벨을 가지는 원본 이미지가 상기 고유의 오토 라벨을 가지는 디피컬트 원본 이미지인지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지가 상기 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지인지를 판별하기 위한 제2 설정값을 포함하는 상기 기설정된 하이퍼파라미터 세트를 최적화하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 (b) 단계에서,
    상기 최적화 장치는, 신뢰도 평가 네트워크로 하여금, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지의 트루 라벨 및 오토 라벨을 참조로 하여, 상기 오토 라벨링 장치의 상기 현재 신뢰도를 계산하도록 하는 것을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지의 트루 라벨을
    Figure pat00097
    , 오토 라벨을
    Figure pat00098
    이라 하고, 정밀도(Precision)(
    Figure pat00099
    ) = 1- [
    Figure pat00100
    내 오검출 라벨 개수] / [
    Figure pat00101
    내 전체 라벨 개수], 재현율(Recall)(
    Figure pat00102
    ) = 1- [
    Figure pat00103
    내 미검출 라벨 개수] / [
    Figure pat00104
    내 전체 라벨 개수]라 할 경우, 상기 오토 라벨링 장치의 상기 현재 신뢰도(Reliability)가
    Figure pat00105

    에 의해 평가되는 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    상기 오토 라벨링 장치는, 상기 원본 이미지와 상기 고유의 트루 라벨을 가지는 검증 이미지를 오토 라벨링하여, 상기 고유의 오토 라벨을 가지는 원본 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지를 생성하는 객체 검출 네트워크를 포함하며,
    상기 (b) 단계에서,
    상기 최적화 장치는, 상기 객체 검출 네트워크의 각 클래스 별 각각의 스코어 임계값, 각 클래스 별 각각의 NMS(non-maximum suppression) 임계값, 각 클래스 별 각각의 바운딩 박스 선정 임계값, 및 각 클래스 별 각각의 최소 객체 사이즈를 포함하는 상기 기설정된 하이퍼파라미터 세트의 하나 이상의 기설정된 하이퍼파라미터 중 적어도 일부를 최적화하는 것을 특징으로 하는 방법.
  7. 뉴럴 네트워크를 학습하는데 이용될 하나 이상의 트레이닝 이미지를 오토 라벨링(auto-labeling)하는 오토 라벨링 장치의 하나 이상의 하이퍼파라미터(hyperparameter)를 최적화하는 최적화 장치에 있어서,
    인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    (I) 라벨링하고자 하는 하나 이상의 원본 이미지 및 상기 원본 이미지와 촬영 환경이 유사한, 고유의 트루 라벨을 가지는 하나 이상의 검증 이미지가 획득되면, 적어도 하나의 기설정된 하이퍼파라미터 세트를 가지는 상기 오토 라벨링 장치로 하여금, 상기 원본 이미지와 상기 고유의 트루 라벨을 가지는 검증 이미지를 각각 오토 라벨링함으로써 고유의 오토 라벨을 가지는 원본 이미지와 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지를 생성하도록 하며, 상기 고유의 오토 라벨을 가지는 원본 이미지를 고유의 오토 라벨을 가지는 이지 원본 이미지와 고유의 오토 라벨을 가지는 디피컬트 원본 이미지로 분류하도록 하고, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지를 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지와 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지로 분류하도록 하는 프로세스, 및 (II) 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지가 획득되면, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지를 참조함으로써 상기 기설정된 하이퍼파라미터 세트에 대응되는 상기 오토 라벨링 장치의 현재 신뢰도를 계산하며, 상기 기설정된 하이퍼파라미터 세트에 대응되는 적어도 하나의 소정의 규칙에 따라 조정된 하나 이상의 샘플 하이퍼파라미터 세트를 생성하고, 상기 샘플 하이퍼파라미터 세트 각각에 대응하는 상기 오토 라벨링 장치의 샘플 신뢰도 각각을 계산하며, 상기 기설정된 하이퍼파라미터 세트에 대응하는 상기 현재 신뢰도가 특정 샘플 하이퍼파라미터 세트 ― 상기 샘플 하이퍼파라미터 세트 중에서, 상기 기설정된 하이퍼파라미터 세트에 대응하는 상기 현재 신뢰도보다 높은 샘플 신뢰도를 가지는 일부 샘플 하이퍼파라미터 세트를 상기 특정 샘플 하이퍼파라미터 세트로 선정함 ― 에 대응하는 상기 샘플 신뢰도가 높아지는 방향으로 조정되도록 상기 기설정된 하이퍼파라미터 세트를 최적화하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하는 최적화 장치.
  8. 제7항에 있어서,
    상기 프로세서는, (III) 상기 기설정된 하이퍼파라미터 세트에 대응하는, 상기 현재 신뢰도가 기설정값 이상인 상태를 유지하면서, 상기 고유의 오토 라벨을 가지는 원본 이미지에 대한 상기 고유의 오토 라벨을 가지는 이지 원본 이미지의 비율이 최대화되도록, 상기 기설정된 하이퍼파라미터 세트를 최적화하는 프로세스를 더 수행하는 것을 특징으로 하는 최적화 장치.
  9. 제8항에 있어서,
    상기 오토 라벨링 장치는, 상기 고유의 오토 라벨을 가지는 원본 이미지를 상기 고유의 오토 라벨을 가지는 이지 원본 이미지와 상기 고유의 오토 라벨을 가지는 디피컬트 원본 이미지로 분류하고, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지를 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지로 분류하는 디피컬트 이미지 식별 네트워크를 포함하며,
    상기 (III) 프로세스에서,
    상기 프로세서는, (i) 상기 디피컬트 이미지 식별 네트워크가, 상기 고유의 오토 라벨을 가지는 원본 이미지의 오토 라벨 각각이 비정상 클래스(abnormal class)일 각각의 확률과 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지의 오토 라벨 각각이 상기 비정상 클래스일 각각의 확률을 계산하기 위한 제1 설정값과 (ii) 상기 디피컬트 이미지 식별 네트워크가, 상기 고유의 오토 라벨을 가지는 원본 이미지가 상기 고유의 오토 라벨을 가지는 디피컬트 원본 이미지인지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지가 상기 고유의 트루 라벨 및 오토 라벨을 가지는 디피컬트 검증 이미지인지를 판별하기 위한 제2 설정값을 포함하는 상기 기설정된 하이퍼파라미터 세트를 최적화하는 것을 특징으로 하는 최적화 장치.
  10. 제7항에 있어서,
    상기 (II) 프로세스에서,
    상기 프로세서는, 신뢰도 평가 네트워크로 하여금, 상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지의 트루 라벨 및 오토 라벨을 참조로 하여, 상기 오토 라벨링 장치의 상기 현재 신뢰도를 계산하도록 하는 것을 특징으로 하는 최적화 장치.
  11. 제10항에 있어서,
    상기 고유의 트루 라벨 및 오토 라벨을 가지는 이지 검증 이미지의 트루 라벨을
    Figure pat00106
    , 오토 라벨을
    Figure pat00107
    이라 하고, 정밀도(Precision)(
    Figure pat00108
    ) = 1- [
    Figure pat00109
    내 오검출 라벨 개수] / [
    Figure pat00110
    내 전체 라벨 개수], 재현율(Recall)(
    Figure pat00111
    ) = 1- [
    Figure pat00112
    내 미검출 라벨 개수] / [
    Figure pat00113
    내 전체 라벨 개수]라 할 경우, 상기 오토 라벨링 장치의 상기 현재 신뢰도(Reliability)가
    Figure pat00114

    에 의해 평가되는 것을 특징으로 하는 최적화 장치.
  12. 제7항에 있어서,
    상기 오토 라벨링 장치는, 상기 원본 이미지와 상기 고유의 트루 라벨을 가지는 검증 이미지를 오토 라벨링하여, 상기 고유의 오토 라벨을 가지는 원본 이미지와 상기 고유의 트루 라벨 및 오토 라벨을 가지는 검증 이미지를 생성하는 객체 검출 네트워크를 포함하며,
    상기 (II) 프로세스에서,
    상기 프로세서는, 상기 객체 검출 네트워크의 각 클래스 별 각각의 스코어 임계값, 각 클래스 별 각각의 NMS(non-maximum suppression) 임계값, 각 클래스 별 각각의 바운딩 박스 선정 임계값, 및 각 클래스 별 각각의 최소 객체 사이즈를 포함하는 상기 기설정된 하이퍼파라미터 세트의 하나 이상의 기설정된 하이퍼파라미터 중 적어도 일부를 최적화하는 것을 특징으로 하는 최적화 장치.
KR1020190147101A 2019-01-31 2019-11-15 고 정밀도로 이미지를 분석하기 위한 딥 러닝 네트워크를 사용하기 위해 트레이닝 이미지를 오토 라벨링하는 오토 라벨링 장치의 하이퍼파라미터를 최적화하는 방법 및 이를 이용한 최적화 장치 KR102280414B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/262,985 2019-01-31
US16/262,985 US10699192B1 (en) 2019-01-31 2019-01-31 Method for optimizing hyperparameters of auto-labeling device which auto-labels training images for use in deep learning network to analyze images with high precision, and optimizing device using the same

Publications (2)

Publication Number Publication Date
KR20200095336A true KR20200095336A (ko) 2020-08-10
KR102280414B1 KR102280414B1 (ko) 2021-07-23

Family

ID=69147538

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190147101A KR102280414B1 (ko) 2019-01-31 2019-11-15 고 정밀도로 이미지를 분석하기 위한 딥 러닝 네트워크를 사용하기 위해 트레이닝 이미지를 오토 라벨링하는 오토 라벨링 장치의 하이퍼파라미터를 최적화하는 방법 및 이를 이용한 최적화 장치

Country Status (5)

Country Link
US (1) US10699192B1 (ko)
EP (1) EP3690740B1 (ko)
JP (1) JP6849932B2 (ko)
KR (1) KR102280414B1 (ko)
CN (1) CN111507469B (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102337692B1 (ko) * 2021-04-16 2021-12-09 주식회사 에이모 오류가 의심되는 바운딩 박스를 검출하는 방법 및 이를 수행하는 컴퓨터 장치
KR102337693B1 (ko) * 2021-04-16 2021-12-09 주식회사 에이모 누락되거나 잘못된 바운딩 박스 작업 결과를 검출하는 방법 및 이를 수행하는 컴퓨터 장치
US20220318559A1 (en) * 2021-03-31 2022-10-06 Nvidia Corporation Generation of bounding boxes
KR102602841B1 (ko) * 2022-12-23 2023-11-17 한국건설기술연구원 드론영상 학습 오류제거를 위한 하이퍼 파라미터 최적화 시스템, 장치 및 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399382A (zh) * 2018-02-13 2018-08-14 阿里巴巴集团控股有限公司 车险图像处理方法和装置
JP2021114085A (ja) * 2020-01-17 2021-08-05 富士通株式会社 情報処理装置、情報処理方法及び情報処理プログラム
DE102020208008A1 (de) * 2020-06-29 2021-12-30 Robert Bosch Gesellschaft mit beschränkter Haftung Bildklassifikation und zugehöriges Training für sicherheitsrelevante Klassifikationsaufgaben
CN113132482B (zh) * 2021-04-13 2022-10-14 河海大学 一种基于强化学习的分布式消息系统参数自适应优化方法
KR102379636B1 (ko) 2021-08-11 2022-03-29 주식회사 에스아이에이 딥러닝 기반의 어노테이션 방법
US11423643B1 (en) * 2021-11-29 2022-08-23 Deeping Source Inc. Method for generating obfuscated image to be used in training learning net work and labeling device using the same
US20230198947A1 (en) * 2021-12-21 2023-06-22 Mcafee, Llc Website classification via containment queries

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180173971A1 (en) * 2016-12-19 2018-06-21 Waymo Llc Pedestrian detection neural networks

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9053391B2 (en) * 2011-04-12 2015-06-09 Sharp Laboratories Of America, Inc. Supervised and semi-supervised online boosting algorithm in machine learning framework
CN106295646B (zh) * 2016-08-10 2019-08-23 东方网力科技股份有限公司 一种基于深度学习的车牌字符分割方法和装置
US20180121814A1 (en) * 2016-10-31 2018-05-03 Microsoft Technology Licensing, Llc Hyperparameter tuning
CA2948499C (en) * 2016-11-16 2020-04-21 The Governing Council Of The University Of Toronto System and method for classifying and segmenting microscopy images with deep multiple instance learning
US10417524B2 (en) * 2017-02-16 2019-09-17 Mitsubishi Electric Research Laboratories, Inc. Deep active learning method for civil infrastructure defect detection
US11042155B2 (en) * 2017-06-06 2021-06-22 Plusai Limited Method and system for closed loop perception in autonomous driving vehicles
CN107273502B (zh) * 2017-06-19 2020-05-12 重庆邮电大学 一种基于空间认知学习的图像地理标注方法
US10817259B2 (en) * 2017-07-31 2020-10-27 Allegro Artificial Intelligence Ltd System and method for causing actions in a dataset management system
CN108229298A (zh) * 2017-09-30 2018-06-29 北京市商汤科技开发有限公司 神经网络的训练和人脸识别方法及装置、设备、存储介质
CN108416384B (zh) * 2018-03-05 2021-11-05 苏州大学 一种图像标签标注方法、系统、设备及可读存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180173971A1 (en) * 2016-12-19 2018-06-21 Waymo Llc Pedestrian detection neural networks

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220318559A1 (en) * 2021-03-31 2022-10-06 Nvidia Corporation Generation of bounding boxes
KR102337692B1 (ko) * 2021-04-16 2021-12-09 주식회사 에이모 오류가 의심되는 바운딩 박스를 검출하는 방법 및 이를 수행하는 컴퓨터 장치
KR102337693B1 (ko) * 2021-04-16 2021-12-09 주식회사 에이모 누락되거나 잘못된 바운딩 박스 작업 결과를 검출하는 방법 및 이를 수행하는 컴퓨터 장치
KR102602841B1 (ko) * 2022-12-23 2023-11-17 한국건설기술연구원 드론영상 학습 오류제거를 위한 하이퍼 파라미터 최적화 시스템, 장치 및 방법

Also Published As

Publication number Publication date
CN111507469A (zh) 2020-08-07
JP6849932B2 (ja) 2021-03-31
EP3690740A1 (en) 2020-08-05
US10699192B1 (en) 2020-06-30
EP3690740B1 (en) 2024-02-21
EP3690740C0 (en) 2024-02-21
JP2020126615A (ja) 2020-08-20
KR102280414B1 (ko) 2021-07-23
CN111507469B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
KR102280414B1 (ko) 고 정밀도로 이미지를 분석하기 위한 딥 러닝 네트워크를 사용하기 위해 트레이닝 이미지를 오토 라벨링하는 오토 라벨링 장치의 하이퍼파라미터를 최적화하는 방법 및 이를 이용한 최적화 장치
KR102263397B1 (ko) 뉴럴 네트워크 학습에 이용될 오토 라벨링된 이미지 중에서 라벨 검수를 위한 샘플 이미지를 획득하는 방법 및 이를 이용한 샘플 이미지 획득 장치
KR102326256B1 (ko) 고정밀도 이미지를 분석하는 딥러닝 네트워크의 학습에 이용하기 위한 트레이닝 이미지를 오토 라벨링하기 위한 방법 및 이를 이용한 오토 라벨링 장치
KR102328734B1 (ko) 이미지를 분석하기 위해, 딥러닝 네트워크에 이용하기 위한 트레이닝 이미지에 대한 라벨링 신뢰도를 자동으로 평가하기 위한 방법 및 이를 이용한 신뢰도 평가 장치
CN111461106B (zh) 基于可重配置网络的对象检测方法及装置
KR20200027427A (ko) 차선 후보 픽셀의 분류를 통해 차선을 검출하는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR20200047307A (ko) 유용한 학습 데이터를 취사 선별하기 위한 cnn 기반 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
US10402692B1 (en) Learning method and learning device for fluctuation-robust object detector based on CNN using target object estimating network adaptable to customers' requirements such as key performance index, and testing device using the same
CN111488879B (zh) 利用双嵌入构成的用于提高分割性能的方法及装置
EP3910532B1 (en) Learning method and learning device for training an object detection network by using attention maps and testing method and testing device using the same
KR102320995B1 (ko) 객체의 스케일에 따라 모드 전환이 가능한 cnn 기반의 감시용 객체 검출기의 학습 방법 및 학습 장치, 이를 이용한 테스트 방법 및 테스트 장치
KR20210155824A (ko) 적응적 하이퍼파라미터 세트를 이용한 멀티스테이지 학습을 통해 자율 주행 자동차의 머신 러닝 네트워크를 온디바이스 학습시키는 방법 및 이를 이용한 온디바이스 학습 장치
CN114842343A (zh) 一种基于ViT的航空图像识别方法
CN107220659A (zh) 基于共稀疏模型的高分辨sar图像分类方法
CN115937565A (zh) 基于自适应l-bfgs算法的高光谱图像分类方法
CN116912290B (zh) 一种记忆增强的难易视频运动小目标检测方法
CN113673592A (zh) 样本选择方法及装置、分类器训练方法及装置
CN118298319A (en) Remote sensing image small target detection method and device, electronic equipment and storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right