KR102326256B1 - 고정밀도 이미지를 분석하는 딥러닝 네트워크의 학습에 이용하기 위한 트레이닝 이미지를 오토 라벨링하기 위한 방법 및 이를 이용한 오토 라벨링 장치 - Google Patents

고정밀도 이미지를 분석하는 딥러닝 네트워크의 학습에 이용하기 위한 트레이닝 이미지를 오토 라벨링하기 위한 방법 및 이를 이용한 오토 라벨링 장치 Download PDF

Info

Publication number
KR102326256B1
KR102326256B1 KR1020190147100A KR20190147100A KR102326256B1 KR 102326256 B1 KR102326256 B1 KR 102326256B1 KR 1020190147100 A KR1020190147100 A KR 1020190147100A KR 20190147100 A KR20190147100 A KR 20190147100A KR 102326256 B1 KR102326256 B1 KR 102326256B1
Authority
KR
South Korea
Prior art keywords
meta
roi
specific
training image
learning
Prior art date
Application number
KR1020190147100A
Other languages
English (en)
Other versions
KR20200095335A (ko
Inventor
김용중
김인수
김학경
남운현
부석훈
성명철
유우주
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20200095335A publication Critical patent/KR20200095335A/ko
Application granted granted Critical
Publication of KR102326256B1 publication Critical patent/KR102326256B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은 고정밀도를 획득하기 위한, 뉴럴 네트워크를 학습하는데 이용될 트레이닝 이미지를 오토 라벨링(auto-labeling)하는 방법에 있어서, (a) 오토 라벨링 장치가, 메타 ROI(Region Of Interest) 검출 네트워크로 하여금, 특징 맵을 출력하도록 하고, 특정 트레이닝 이미지 상의 객체가 각각의 위치에 따라 그룹화된 n개의 현재 메타 ROI를 획득하도록 하는 단계; 및 (b) 상기 오토 라벨링 장치가, 상기 특정 트레이닝 이미지 상에서, 상기 n개의 현재 메타 ROI에 대응되는 영역을 크롭(crop)하여 n개의 가공 이미지를 생성하고, 객체 검출 네트워크로 하여금 상기 n개의 가공 이미지 각각에 대한 각각의 바운딩 박스를 가지는 n개의 라벨링된 가공 이미지 각각을 출력하도록 하며, 상기 n개의 라벨링된 가공 이미지를 병합하여, 라벨링된 특정 트레이닝 이미지를 생성하는 단계;를 포함하는 것을 특징으로 하는 방법이 제공된다. 상기 방법은 정책 경사 알고리즘(policy gradient algorithm)을 사용한 강화 학습, 온라인 학습, 연속 학습 및 하이퍼파라미터 학습을 이용하여 수행될 수 있다.

Description

고정밀도 이미지를 분석하는 딥러닝 네트워크의 학습에 이용하기 위한 트레이닝 이미지를 오토 라벨링하기 위한 방법 및 이를 이용한 오토 라벨링 장치{METHOD FOR AUTO-LABELING TRAINING IMAGES FOR USE IN DEEP LEARNING NETWORK TO ANALYZE IMAGES WITH HIGH PRECISION, AND AUTO-LABELING DEVICE USING THE SAME}
본 발명은 뉴럴 네트워크의 학습에 이용하기 위한 트레이닝 이미지를 오토 라벨링하는 방법 및 장치에 관한 것이다.
최근, 기계 학습(machine learning)을 이용하여 객체를 식별하는 방법 등에 대한 연구가 이루어지고 있다. 이러한 기계 학습의 일환으로, 입력 레이어와 출력 레이어 사이에 여러 개의 히든 레이어(hidden layer)를 가지는 뉴럴 네트워크를 이용한 딥러닝은 높은 식별 성능을 가진다.
그리고, 상기 딥러닝을 이용하는 상기 뉴럴 네트워크는 일반적으로 로스를 이용한 백프로퍼게이션을 통해 학습한다.
이러한 딥러닝 네트워크의 학습을 진행하기 위해서는 라벨러(labeler)에 의해 개별 데이터 포인트에 태그, 즉, 라벨을 추가한 트레이닝 데이터가 필요하다. 이러한 트레이닝 데이터를 준비하는 것(즉, 데이터를 정확히 분류하는 것)은 특히, 대량의 트레이닝 데이터를 이용할 경우와 데이터 전처리의 품질이 지속적으로 높지 않을 경우, 노동 집약적이고, 비용이 많이 들며 번거로울 수 있다. 종래의 상호적인 라벨링은 비싸고 좋은 결과를 도출하지 못할 수 있다.
따라서, 최근에는 딥러닝 기반의 오토 라벨링 장치를 이용하여 트레이닝 이미지에 태그, 즉 라벨을 추가하는 오토 라벨링을 수행하고, 검수자가 오토 라벨링된 트레이닝 이미지를 검수하여 상기 태그나 상기 라벨을 교정한다.
이러한 종래의 오토 라벨링에서는 사이즈가 작은 객체를 정확히 검출하기 위해 이미지를 확대하지만, 상기 이미지의 사이즈를 확대할 경우 연산량이 증가된다는 문제점이 있다.
이와 반대로, 상기 연산량을 감소하기 위해 상기 이미지를 그대로 사용할 경우에는 사이즈가 작은 상기 객체를 정확히 검출하지 못하게 되므로 정확성이 감소하게 된다.
따라서, 본 발명에서는 정확성을 유지하면서도 상기 연산량을 줄일 수 있도록 하는 오토 라벨링 방법을 제안하고자 한다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
본 발명은 오토 라벨링하고자 하는 이미지 내에 위치하는 사이즈가 작은 객체를 검출하여 라벨링할 수 있도록 하는 것을 다른 목적으로 한다.
본 발명은 연산량을 증가시키지 않고 오토 라벨링하고자 하는 상기 이미지 내에 위치하는 사이즈가 작은 상기 객체를 검출하여 라벨링할 수 있도록 하는 것을 또 다른 목적으로 한다.
본 발명은 연산량을 증가시키지 않고 오토 라벨링의 정확성을 향상시킬 수 있도록 하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 뉴럴 네트워크를 학습하는데 이용될 하나 이상의 트레이닝 이미지를 오토 라벨링(auto-labeling)하는 방법에 있어서, (a) 오토 라벨링 장치가, 상기 트레이닝 이미지 중 특정 트레이닝 이미지가 획득되면, 메타 ROI(Region Of Interest) 검출 네트워크로 하여금, 상기 특정 트레이닝 이미지에 하나 이상의 컨벌루션 연산을 적용하여 적어도 하나의 특징 맵을 출력하도록 하며, 상기 특징 맵을 참조하여, 상기 특정 트레이닝 이미지 상의 객체가 각각의 위치에 따라 그룹화된, 상기 객체의 영역에 대응되는 n개의 현재 메타 ROI를 획득하도록 하는 단계; 및 (b) 상기 오토 라벨링 장치가, 상기 특정 트레이닝 이미지 상에서, 상기 n개의 현재 메타 ROI에 대응되는 영역을 크롭(crop)하여 n개의 가공 이미지를 생성하고, 객체 검출 네트워크로 하여금 상기 n개의 가공 이미지 각각에 대한 각각의 바운딩 박스를 가지는 n개의 라벨링된 가공 이미지 각각을 출력하도록 하며, 상기 n개의 라벨링된 가공 이미지를 병합하여, 라벨링된 특정 트레이닝 이미지를 생성하는 단계;를 포함하는 것을 특징으로 하는 방법이 개시된다.
일 실시예에서, 상기 (a) 단계에서, 상기 오토 라벨링 장치는, 상기 메타 ROI 검출 네트워크로 하여금, 상기 특징 맵의 각각의 그리드 셀 내 각각의 상기 현재 메타 ROI의 각 위치, 각 사이즈, 및 각 현재 메타 ROI 점수를 계산한 다음, 상기 현재 메타 ROI 점수 중 제1 기설정된 임계치 이상인 특정 현재 메타 ROI 점수에 대응하는 특정 현재 메타 ROI를 상기 n개의 현재 메타 ROI로서 판단하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 트레이닝 이미지는 검증을 위한 검증 이미지를 포함하며, 상기 제1 기설정된 임계치는, 상기 검증 이미지에 대응하여 획득된 검증 메타 ROI 중 정답일 확률이 가장 높은 특정 검증 메타 ROI의 특정 검증 메타 ROI 점수인 것을 특징으로 한다.
일 실시예에서, 상기 특징 맵은, 상기 현재 메타 ROI의 상기 위치를 계산하기 위한 두 개 이상의 제 1 특징 맵 채널, 상기 현재 메타 ROI의 상기 사이즈를 계산하기 위한 두 개 이상의 제2 특징 맵 채널, 및 상기 현재 메타 ROI 점수를 계산하기 위한 적어도 하나의 제3 특징 맵 채널을 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 현재 메타 ROI 점수 각각은, 각각의 상기 현재 메타 ROI가 정답일 확률 각각에 시그모이드(sigmoid) 연산을 적용한 각각의 결과인 것을 특징으로 한다.
일 실시예에서, 상기 (a) 단계에서, 상기 오토 라벨링 장치는, (i) 상기 특정 트레이닝 이미지를 다운사이즈하여 적어도 하나의 다운사이즈된 이미지를 생성한 다음, 상기 메타 ROI 검출 네트워크로 하여금, 상기 다운사이즈된 이미지에 상기 컨벌루션 연산을 적용하여 상기 특징 맵을 출력하도록 하는 프로세스, 및 (ii) 상기 메타 ROI 검출 네트워크로 하여금, 상기 특정 트레이닝 이미지를 다운사이즈하여 상기 다운사이즈된 이미지를 생성하도록 한 다음, 상기 메타 ROI 검출 네트워크로 하여금, 상기 다운사이즈된 이미지에 상기 컨벌루션 연산을 적용하여 상기 특징 맵을 출력하도록 하는 프로세스 중 하나의 프로세스를 수행하는 것을 특징으로 한다.
일 실시예에서, 상기 메타 ROI 검출 네트워크는 하나 이상의 컨벌루션 레이어를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 (b) 단계에서, 상기 오토 라벨링 장치는, 상기 n개의 라벨링된 가공 이미지를 병합함에 있어서, 상기 바운딩 박스 중, 두 개 이상의 상기 라벨링된 가공 이미지가 겹친 영역의 가장 자리에서부터 안쪽으로의 특정 거리 내에서 부분적으로만 나타나는 하나 이상의 특정 바운딩 박스를 제거하는 것을 특징으로 한다.
일 실시예에서, 상기 (b) 단계에서, 상기 오토 라벨링 장치는, 상기 n개의 라벨링된 가공 이미지를 병합함에 있어서, 두 개 이상의 상기 라벨링된 가공 이미지가 겹친 영역 내에 위치하는 상기 바운딩 박스에 NMS(Non Maximum Suppression)를 적용하여, 상기 겹친 영역 내에 위치하는 하나 이상의 특정 객체에 대응하는 하나 이상의 특정 바운딩 박스를 획득하는 것을 특징으로 한다.
일 실시예에서, 상기 (b) 단계에서, 상기 오토 라벨링 장치는, 상기 n개의 가공 이미지를 리사이즈하여 동일한 사이즈가 되도록 한 다음, 상기 객체 검출 네트워크로 하여금 상기 바운딩 박스를 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 오토 라벨링 장치는, 상기 바운딩 박스를 포함하는, 상기 동일한 사이즈의 상기 n개의 가공 이미지를 상기 특정 트레이닝 이미지에 대응하는 사이즈가 되도록 리사이즈한 다음, 이를 병합하는 것을 특징으로 한다.
일 실시예에서, 상기 메타 ROI 검출 네트워크는, 학습 장치에 의해, (i) 사전 트레이닝 이미지 중 적어도 하나의 특정 사전 트레이닝 이미지가 획득되면, 상기 특정 사전 트레이닝 이미지에 상기 컨벌루션 연산을 적용하여 적어도 하나의 사전 학습용 특징 맵을 출력하고, (ii) 상기 사전 학습용 특징 맵의 각 그리드 셀 내의 사전 학습용 메타 ROI를 계산하며, (iii) 상기 사전 학습용 메타 ROI를 포함하는 사전 학습용 메타 ROI 군에 대응하여, 적어도 하나의 소정의 규칙에 의해 조정된, 하나 이상의 샘플 메타 ROI 군을 생성하고, (iv) 각각의 상기 샘플 메타 ROI 군의 각 샘플 메타 군 점수를 계산하고, 상기 사전 학습용 메타 ROI 군의 현재 메타 군 점수를 계산한 다음, 높은 상기 샘플 메타 군 점수를 가지는 특정 샘플 메타 ROI 군의 방향으로 상기 사전 학습용 메타 ROI 군의 상기 현재 메타 군 점수가 조정되도록 하는 적어도 하나의 사전 학습용 그래디언트를 계산하며, (v) 상기 사전 학습용 그래디언트를 이용한 강화 학습에 의해 상기 메타 ROI 검출 네트워크의 하나 이상의 파라미터 중 적어도 일부를 학습하는 프로세스를 수행한 상태인 것을 특징으로 한다.
일 실시예에서, 상기 현재 메타 군 점수는 정확성(R) + C Х 효율성(R)으로 획득될 수 있으며, 상기 정확성(R)은, 상기 특정 사전 트레이닝 이미지 상의 객체의 총 개수에 대한, 모든 상기 사전 학습용 메타 ROI에서 검출된 객체 수의 비율이며, 상기 효율성(R)은, 상기 특정 사전 트레이닝 이미지의 면적에 대한 상기 사전 학습용 메타 ROI의 면적 합의 비율의 1과의 차이값이며, 상기 C는, 상기 사전 트레이닝 이미지의 검증을 위해 사용될 사전 학습용 검증 이미지에 대응하여 획득된 검증 메타 군 점수와 1 중, 최대값인 것을 특징으로 한다.
일 실시예에서, 상기 샘플 메타 ROI 군 중 임의의 하나의 샘플 메타 ROI 군의 샘플 메타 군 점수는, 정확성(R') + C × 효율성(R')으로 획득될 수 있으며, 상기 정확성(R')은, 상기 특정 사전 트레이닝 이미지 상의 객체의 총 개수에 대한, 상기 샘플 메타 ROI 군 중 상기 임의의 하나의 샘플 메타 ROI 군의 모든 샘플 메타 ROI 내에서 검출된 객체 개수의 비율이며, 상기 효율성(R')은, 상기 특정 사전 트레이닝 이미지의 면적에 대한 상기 샘플 메타 ROI의 면적 합의 비율의 1과의 차이값이며, 상기 C는, 상기 사전 트레이닝 이미지의 검증을 위해 사용될 사전 학습용 검증 이미지에 대응하여 획득된 검증 메타 군 점수와 1 중, 최대값인 것을 특징으로 한다.
일 실시예에서, 상기 정확성(R')은, 상기 특정 사전 트레이닝 이미지 상 객체의 총 개수에 대한, 상기 임의의 하나의 샘플 메타 ROI 군의 상기 샘플 메타 ROI 중, 샘플 메타 ROI 점수가 제2 기설정된 임계치 이상인 특정 샘플 메타 ROI에서 검출된 객체 개수의 비율이며, 상기 효율성(R')은, 상기 특정 사전 트레이닝 이미지의 면적에 대한 상기 특정 샘플 메타 ROI의 면적 합의 비율의 1과의 차이값인 것을 특징으로 한다.
본 발명의 다른 태양에 따르면, 뉴럴 네트워크를 학습하는데 이용될 하나 이상의 트레이닝 이미지를 오토 라벨링(auto-labeling)하는 오토 라벨링 장치에 있어서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 (I) 상기 트레이닝 이미지 중 특정 트레이닝 이미지가 획득되면, 메타 ROI(Region Of Interest) 검출 네트워크로 하여금, 상기 특정 트레이닝 이미지에 하나 이상의 컨벌루션 연산을 적용하여 적어도 하나의 특징 맵을 출력하도록 하며, 상기 특징 맵을 참조하여, 상기 특정 트레이닝 이미지 상의 객체가 각각의 위치에 따라 그룹화된, 상기 객체의 영역에 대응되는 n개의 현재 메타 ROI를 획득하도록 하는 프로세스, 및 (II) 상기 특정 트레이닝 이미지 상에서, 상기 n개의 현재 메타 ROI에 대응되는 영역을 크롭(crop)하여 n개의 가공 이미지를 생성하고, 객체 검출 네트워크로 하여금 상기 n개의 가공 이미지 각각에 대한 각각의 바운딩 박스를 가지는 n개의 라벨링된 가공 이미지 각각을 출력하도록 하며, 상기 n개의 라벨링된 가공 이미지를 병합하여, 라벨링된 특정 트레이닝 이미지를 생성하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 오토 라벨링 장치가 개시된다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서는, 상기 메타 ROI 검출 네트워크로 하여금, 상기 특징 맵의 각각의 그리드 셀 내 각각의 상기 현재 메타 ROI의 각 위치, 각 사이즈, 및 각 현재 메타 ROI 점수를 계산한 다음, 상기 현재 메타 ROI 점수 중 제1 기설정된 임계치 이상인 특정 현재 메타 ROI 점수에 대응하는 특정 현재 메타 ROI를 상기 n개의 현재 메타 ROI로서 판단하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 트레이닝 이미지는, 검증을 위한 검증 이미지를 포함하며, 상기 제1 기설정된 임계치는, 상기 검증 이미지에 대응하여 획득된 검증 메타 ROI 중 정답일 확률이 가장 높은 특정 검증 메타 ROI의 특정 검증 메타 ROI 점수인 것을 특징으로 한다.
일 실시예에서, 상기 특징 맵은, 상기 현재 메타 ROI의 상기 위치를 계산하기 위한 두 개 이상의 제 1 특징 맵 채널, 상기 현재 메타 ROI의 상기 사이즈를 계산하기 위한 두 개 이상의 제2 특징 맵 채널, 및 상기 현재 메타 ROI 점수를 계산하기 위한 적어도 하나의 제3 특징 맵 채널을 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 현재 메타 ROI 점수 각각은, 각각의 상기 현재 메타 ROI가 정답일 확률 각각에 시그모이드(sigmoid) 연산을 적용한 각각의 결과인 것을 특징으로 한다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서는, (i) 상기 특정 트레이닝 이미지를 다운사이즈하여 적어도 하나의 다운사이즈된 이미지를 생성한 다음, 상기 메타 ROI 검출 네트워크로 하여금, 상기 다운사이즈된 이미지에 상기 컨벌루션 연산을 적용하여 상기 특징 맵을 출력하도록 하는 프로세스, 및 (ii) 상기 메타 ROI 검출 네트워크로 하여금, 상기 특정 트레이닝 이미지를 다운사이즈하여 상기 다운사이즈된 이미지를 생성하도록 한 다음, 상기 메타 ROI 검출 네트워크로 하여금, 상기 다운사이즈된 이미지에 상기 컨벌루션 연산을 적용하여 상기 특징 맵을 출력하도록 하는 프로세스 중 하나의 프로세스를 수행하는 것을 특징으로 한다.
일 실시예에서, 상기 메타 ROI 검출 네트워크는 하나 이상의 컨벌루션 레이어를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서는, 상기 n개의 라벨링된 가공 이미지를 병합함에 있어서, 상기 바운딩 박스 중, 두 개 이상의 상기 라벨링된 가공 이미지가 겹친 영역의 가장 자리에서부터 안쪽으로의 특정 거리 내에서 부분적으로만 나타나는 하나 이상의 특정 바운딩 박스를 제거하는 것을 특징으로 한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서는, 상기 n개의 라벨링된 가공 이미지를 병합함에 있어서, 두 개 이상의 상기 라벨링된 가공 이미지가 겹친 영역 내에 위치하는 상기 바운딩 박스에 NMS(Non Maximum Suppression)를 적용하여, 상기 겹친 영역 내에 위치하는 하나 이상의 특정 객체에 대응하는 하나 이상의 특정 바운딩 박스를 획득하는 것을 특징으로 한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서는, 상기 n개의 가공 이미지를 리사이즈하여 동일한 사이즈가 되도록 한 다음, 상기 객체 검출 네트워크로 하여금 상기 바운딩 박스를 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 프로세서는, 상기 바운딩 박스를 포함하는, 상기 동일한 사이즈의 상기 n개의 가공 이미지를 상기 특정 트레이닝 이미지에 대응하는 사이즈가 되도록 리사이즈한 다음, 이를 병합하는 것을 특징으로 한다.
일 실시예에서, 상기 메타 ROI 검출 네트워크는, 학습 장치에 의해, (i) 사전 트레이닝 이미지 중 적어도 하나의 특정 사전 트레이닝 이미지가 획득되면, 상기 특정 사전 트레이닝 이미지에 상기 컨벌루션 연산을 적용하여 적어도 하나의 사전 학습용 특징 맵을 출력하고, (ii) 상기 사전 학습용 특징 맵의 각 그리드 셀 내의 사전 학습용 메타 ROI를 계산하며, (iii) 상기 사전 학습용 메타 ROI를 포함하는 사전 학습용 메타 ROI 군에 대응하여, 적어도 하나의 소정의 규칙에 의해 조정된, 하나 이상의 샘플 메타 ROI 군을 생성하고, (iv) 각각의 상기 샘플 메타 ROI 군의 각 샘플 메타 군 점수를 계산하고, 상기 사전 학습용 메타 ROI 군의 현재 메타 군 점수를 계산한 다음, 높은 상기 샘플 메타 군 점수를 가지는 특정 샘플 메타 ROI 군의 방향으로 상기 사전 학습용 메타 ROI 군의 상기 현재 메타 군 점수가 조정되도록 하는 적어도 하나의 사전 학습용 그래디언트를 계산하며, (v) 상기 사전 학습용 그래디언트를 이용한 강화 학습에 의해 상기 메타 ROI 검출 네트워크의 하나 이상의 파라미터 중 적어도 일부를 학습하는 프로세스를 수행한 상태인 것을 특징으로 한다.
일 실시예에서, 상기 현재 메타 군 점수는 정확성(R) + C Х 효율성(R)으로 획득될 수 있으며, 상기 정확성(R)은, 상기 특정 사전 트레이닝 이미지 상의 객체의 총 개수에 대한, 모든 상기 사전 학습용 메타 ROI에서 검출된 객체 수의 비율이며, 상기 효율성(R)은, 상기 특정 사전 트레이닝 이미지의 면적에 대한 상기 사전 학습용 메타 ROI의 면적 합의 비율의 1과의 차이값이며, 상기 C는, 상기 사전 트레이닝 이미지의 검증을 위해 사용될 사전 학습용 검증 이미지에 대응하여 획득된 검증 메타 군 점수와 1 중, 최대값인 것을 특징으로 한다.
일 실시예에서, 상기 샘플 메타 ROI 군 중 임의의 하나의 샘플 메타 ROI 군의 샘플 메타 군 점수는, 정확성(R') + C × 효율성(R')으로 획득될 수 있으며, 상기 정확성(R')은, 상기 특정 사전 트레이닝 이미지 상의 객체의 총 개수에 대한, 상기 샘플 메타 ROI 군 중 상기 임의의 하나의 샘플 메타 ROI 군의 모든 샘플 메타 ROI 내에서 검출된 객체 개수의 비율이며, 상기 효율성(R')은, 상기 특정 사전 트레이닝 이미지의 면적에 대한 상기 샘플 메타 ROI의 면적 합의 비율의 1과의 차이값이며, 상기 C는, 상기 사전 트레이닝 이미지의 검증을 위해 사용될 사전 학습용 검증 이미지에 대응하여 획득된 검증 메타 군 점수와 1 중, 최대값인 것을 특징으로 한다.
일 실시예에서, 상기 정확성(R')은, 상기 특정 사전 트레이닝 이미지 상 객체의 총 개수에 대한, 상기 임의의 하나의 샘플 메타 ROI 군의 상기 샘플 메타 ROI 중, 샘플 메타 ROI 점수가 제2 기설정된 임계치 이상인 특정 샘플 메타 ROI에서 검출된 객체 개수의 비율이며, 상기 효율성(R')은, 상기 특정 사전 트레이닝 이미지의 면적에 대한 상기 특정 샘플 메타 ROI의 면적 합의 비율의 1과의 차이값인 것을 특징으로 한다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명은 이미지 상에서, 객체를 포함하는 영역만을 크롭(crop)하여 오토 라벨링을 수행함으로써 오토 라벨링을 위한 연산량을 감소시킬 수 있게 된다.
또한, 본 발명은 이미지 상의, 사이즈가 작은 객체 영역을 크롭하고 리사이즈하여 오토 라벨링을 수행함으로써 사이즈가 작은 객체를 정확히 검출하여 라벨링할 수 있어 오토 라벨링의 정확성을 향상시킬 수 있게 된다.
또한, 본 발명은 이미지 내에 객체가 위치하는 영역만을 크롭하고 리사이즈하여 오토 라벨링을 수행함으로써 오토 라벨링의 연산량을 감소시킴과 동시에 정확성을 향상시킬 수 있게 된다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따라 뉴럴 네트워크의 학습에 이용될 하나 이상의 트레이닝 이미지를 오토 라벨링하는 오토 라벨링 장치를 개략적으로 도시한 것이다.
도 2는 본 발명의 일 실시예에 따라 상기 뉴럴 네트워크의 학습에 이용될 상기 트레이닝 이미지를 오토 라벨링하는 방법을 개략적으로 도시한 것이다.
도 3은 본 발명의 일 실시예에 따라 상기 뉴럴 네트워크의 학습에 이용될 상기 트레이닝 이미지를 라벨링하는 방법에서, 메타 ROI 검출 네트워크로부터 현재 메타 ROI를 획득하는 과정을 개략적으로 도시한 것이다.
도 4는 본 발명의 일 실시예에 따라 상기 뉴럴 네트워크의 학습에 이용될 상기 트레이닝 이미지를 라벨링하는 방법에서, 상기 메타 ROI 검출 네트워크를 학습하는 과정을 개략적으로 도시한 것이다.
도 5는 본 발명의 일 실시예에 따라 상기 뉴럴 네트워크의 학습에 이용될 상기 트레이닝 이미지를 라벨링하는 방법에서, 오토 라벨링을 위한 객체 검출을 수행하는 과정을 개략적으로 도시한 것이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 뉴럴 네트워크의 학습에 이용될 하나 이상의 트레이닝 이미지를 오토 라벨링(auto-labeling)하는 오토 라벨링 장치를 개략적으로 도시한 것으로, 도 1을 참조하면, 상기 오토 라벨링 장치(100)는 상기 트레이닝 이미지를 오토 라벨링하기 위한 인스트럭션들을 저장하는 메모리(110)와 상기 메모리(110)에 저장된 상기 인스트럭션들에 대응하여 상기 트레이닝 이미지를 오토 라벨링하는 프로세스를 수행하는 프로세서(120)를 포함할 수 있다.
구체적으로, 상기 오토 라벨링 장치(100)는 전형적으로 적어도 하나의 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 적어도 하나의 컴퓨터 소프트웨어(즉, 상기 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.
또한, 상기 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.
그러나, 이러한 상기 컴퓨팅 장치에 대한 설명이 본 발명을 실시하기 위한 프로세서, 메모리, 매체 또는 기타 컴퓨팅 구성요소가 통합된 형태인 통합 프로세서의 경우를 배제하는 것은 아니다.
본 발명의 일 실시예에 따른 상기 오토 라벨링 장치(100)를 이용하여 이미지를 분석하는 상기 뉴럴 네트워크의 학습에 이용될 상기 트레이닝 이미지를 라벨링하는 방법에 대해 도 2를 참조하여 설명하면 다음과 같다.
먼저, 상기 트레이닝 이미지 중 적어도 하나의 특정 트레이닝 이미지(IM10)가 획득되면, 상기 오토 라벨링 장치(100)가, 메타 ROI(Region of interest) 검출 네트워크(20)로 하여금, 상기 특정 트레이닝 이미지(IM10)에 하나 이상의 컨벌루션 연산을 적용하여 적어도 하나의 특징 맵을 출력하도록 하며, 상기 특징 맵을 참조하여, 상기 특정 트레이닝 이미지(IM10) 상의 객체가 각각의 위치에 따라 그룹화된, 상기 객체의 영역에 대응되는 n개의 현재 메타 ROI를 획득하도록 한다.
이때, 상기 메타 ROI 검출 네트워크(20)는 하나 이상의 컨벌루션 레이어를 포함할 수 있으며, 상기 특정 트레이닝 이미지(IM10)에 상기 컨벌루션 연산을 적용하여 MХMХL 볼륨의 특징 맵을 출력할 수 있다.
한편, 상기 오토 라벨링 장치(100)는, 상기 메타 ROI 검출 네트워크(20)로 하여금 상기 특정 트레이닝 이미지(IM10)에 상기 컨벌루션 연산을 적용하도록 하는 것과는 달리, 상기 연산량을 감소시키기 위해, 상기 특정 트레이닝 이미지(IM10)를 다운사이즈하여 적어도 하나의 다운사이즈된 이미지를 생성하고 상기 다운사이즈된 이미지에 상기 컨벌루션 연산을 적용할 수 있다.
일 예로, 상기 오토 라벨링 장치(100)는, 상기 특정 트레이닝 이미지(IM10)를 다운사이즈하여 상기 다운사이즈된 이미지를 생성한 다음, 상기 메타 ROI 검출 네트워크(20)로 하여금 상기 다운사이즈된 이미지에 상기 컨벌루션 연산을 적용하여 상기 특징 맵을 출력하도록 할 수 있다. 다른 예로, 상기 오토 라벨링 장치(100)는 상기 메타 ROI 검출 네트워크(20)로 하여금, 상기 특정 트레이닝 이미지(IM10)를 다운사이즈하여 상기 다운사이즈된 이미지를 생성하도록 하고, 상기 다운사이즈된 이미지에 상기 컨벌루션 연산을 적용하여 상기 특징 맵을 출력하도록 할 수 있다.
또한, 상기 트레이닝 이미지에는 고유의 트루 라벨을 가지는 검증 이미지가 포함될 수 있다. 그리고, 도면에서, 상기 특정 트레이닝 이미지(IM10) 내의 점선으로 된 박스 각각은 상기 특정 트레이닝 이미지(IM10) 내에 상기 객체 각각이 위치하는 각 영역을 예시적으로 도시한 것이다.
그리고, 도 3을 참조하여, 상기 메타 ROI 검출 네트워크(20)가 상기 n개의 현재 메타 ROI를 획득하는 과정을 좀 더 상세히 설명하면 다음과 같다.
상기 특정 트레이닝 이미지(IM10)가 획득되면, 상기 메타 ROI 검출 네트워크(20)는 상기 특정 트레이닝 이미지(IM10)를 다운사이즈하여 상기 다운사이즈된 이미지를 생성하며, 상기 다운사이즈된 이미지를 상기 컨벌루션 레이어(21)에 입력할 수 있다. 이때, 상기에서 설명한 바와 같이, 상기 특정 트레이닝 이미지(IM10)가 다운사이즈되지 않고 상기 컨벌루션 레이어(21)에 직접 입력될 수 있으나, 연산량을 감소시키기 위해 상기 다운사이즈된 이미지가 이용될 수 있으며, 상기 오토 라벨링 장치(100)는 상기 다운사이즈된 이미지를 상기 메타 ROI 검출 네트워크(20)에 입력할 수도 있다.
그러면, 상기 컨벌루션 레이어(21)는 상기 다운사이즈된 이미지에 상기 컨벌루션 연산을 적용함으로써, 상기 MХMХL 볼륨의 특징 맵을 출력하게 된다.
이후, 상기 메타 ROI 검출 네트워크(20)는 MХMХL 볼륨의 상기 특징 맵의 각각의 그리드 셀 내 각각의 상기 현재 메타 ROI의 각 위치, 각 사이즈, 및 각 현재 메타 ROI 점수를 계산한다. 도 3에서는 상기 특징 맵이 3Х3Х5 볼륨을 갖는 것으로 도시되었으나, 이는 설명의 편의를 위한 것으로 본 발명이 이에 한정되는 것이 아니며, 이하에서는 3Х3Х5 볼륨의 상기 특징 맵을 이용하여 상기 현재 메타 ROI를 생성하는 방법에 대해 설명한다.
이때, 상기 특징 맵의 각각의 상기 그리드 셀에 대한 출력값, 즉 특징 값은
Figure 112019117640834-pat00001
,
Figure 112019117640834-pat00002
,
Figure 112019117640834-pat00003
,
Figure 112019117640834-pat00004
,
Figure 112019117640834-pat00005
로 나타낼 수 있으며, 각각의 상기 그리드 셀에 대한 각각의 상기 현재 메타 ROI는
Figure 112019117640834-pat00006
과 같이 나타낼 수 있다.
그리고, 각각의 상기 그리드 셀에 대한 각각의 상기 현재 메타 ROI(
Figure 112019117640834-pat00007
)는 다음의 수학식과 같이 나타낼 수 있다.
Figure 112019117640834-pat00008
Figure 112019117640834-pat00009
Figure 112019117640834-pat00010
Figure 112019117640834-pat00011
Figure 112019117640834-pat00012
이때, 각각의
Figure 112019117640834-pat00013
는 각각의 상기 현재 메타 ROI 점수이며, 각각의 상기 현재 메타 ROI이 정답일 확률 각각에 시그모이드(sigmoid) 연산을 적용한 각각의 결과일 수 있다.
그리고,
Figure 112019117640834-pat00014
와
Figure 112019117640834-pat00015
는 각각의 상기 현재 메타 ROI의 각 위치를 나타내고,
Figure 112019117640834-pat00016
와
Figure 112019117640834-pat00017
는 각각의 상기 현재 메타 ROI의 각 사이즈를 나타낼 수 있다. 따라서, 상기 특징 맵은, 상기 현재 메타 ROI의 각 위치를 계산하기 위한 두 개 이상의 제 1 특징 맵 채널, 상기 현재 메타 ROI의 각 사이즈를 계산하기 위한 두 개 이상의 제2 특징 맵 채널, 및 상기 현재 메타 ROI 점수를 계산하기 위한 적어도 하나의 제3 특징 맵 채널을 포함할 수 있다.
또한, 3Х3Х5 볼륨의 상기 특징 맵에는 상기 현재 메타 ROI가 9개 있을 수 있으며, MХMХL 볼륨의 상기 특징 맵에는 상기 현재 메타 ROI가 MХM 개 있을 수 있다.
이후, 상기 메타 ROI 검출 네트워크(20)는 상기 특징 맵의 각각의 상기 그리드 셀에 대한 상기 현재 메타 ROI 점수 중 제1 기설정된 임계치 이상인 특정 현재 메타 ROI 점수에 대응하는 특정 현재 메타 ROI를 상기 n개의 현재 메타 ROI로서 판단할 수 있다.
즉, 상기 메타 ROI 검출 네트워크(20)는, 상기 특징 맵의 각각의 상기 그리드 셀 내 MХM개의 상기 현재 메타 ROI 중, 현재 메타 ROI 점수가 상기 제1 기설정된 임계치 이상인 상기 n개의 현재 메타 ROI를 선정할 수 있다.
이때, 상기 트레이닝 이미지는 검증을 위한 상기 검증 이미지를 포함할 수 있으며, 상기 제1 기설정된 임계치는, 상기 검증 이미지에 대응하여 획득된 검증 메타 ROI 중 정답일 확률이 가장 높은 특정 검증 메타 ROI의 특정 검증 메타 ROI 점수일 수 있다.
한편, 상기 메타 ROI 검출 네트워크(20)는 사전에 학습된 상태일 수 있으며, 상기 메타 ROI 검출 네트워크(20)를 학습하는 방법을 설명하면 다음과 같다.
참고로, 이하의 설명에서 혼동을 피하기 위해, 현재 학습 프로세스 이전에 이미 완료된 사전 학습 프로세스와 관련된 용어에 "사전 트레이닝" 또는 "사전 학습용"이라는 문구가 추가되었다.
사전 트레이닝 이미지 중 적어도 하나의 특정 사전 트레이닝 이미지가 획득되면, 학습 장치(미도시)가, 상기 메타 ROI 검출 네트워크(20)로 하여금 상기 특정 사전 트레이닝 이미지에 상기 컨벌루션 연산을 적용하여 적어도 하나의 사전 학습용 특징 맵을 출력하도록 한다. 이때, 상기에서 설명한 바와 같이, 상기 컨벌루션 연산은 다운사이즈하지 않은 상기 특정 사전 트레이닝 이미지에 적용될 수 있으나, 연산량을 감소시키기 위해 상기 다운사이즈된 이미지가 이용될 수 있으며, 상기 특정 사전 트레이닝 이미지를 다운사이즈한 상기 다운사이즈된 이미지가 상기 학습 장치에 의해 획득될 수도 있다. 또한, 상기 메타 ROI 검출 네트워크(20)는 하나 이상의 컨벌루션 레이어를 포함할 수도 있다.
또한, 학습 장치는 상기 메타 ROI 검출 네트워크(20)의 학습을 위한 인스트럭션들을 저장하는 메모리(미도시)와 메모리에 저장된 인스트럭션들에 대응하여 상기 메타 ROI 검출 네트워크(20)에 대한 학습을 수행하는 프로세서(미도시)를 포함할 수 있다. 구체적으로, 상기 학습 장치는 전형적으로 적어도 하나의 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 적어도 하나의 컴퓨터 소프트웨어(즉, 상기 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다. 또한, 상기 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다. 그러나, 이러한 상기 컴퓨팅 장치에 대한 설명이 본 발명을 실시하기 위한 프로세서, 메모리, 매체 또는 기타 컴퓨팅 구성요소가 통합된 형태인 통합 프로세서의 경우를 배제하는 것은 아니다.
그리고, 상기 학습 장치는 상기 사전 학습용 특징 맵의 각각의 그리드 셀 내에 사전 학습용 메타 ROI(
Figure 112019117640834-pat00018
)를 생성하며, 상기 사전 학습용 메타 ROI를 포함하는 사전 학습용 메타 ROI 군(R)에 대응하여, 소정의 규칙에 의해 조정된, 다수의 샘플 메타 ROI 군(
Figure 112019117640834-pat00019
)을 생성한다.
일 예로, 상기 샘플 메타 ROI 군(R')은 상기 사전 학습용 메타 ROI 군(R)의 주변으로 생성될 수 있다.
이때, 상기 각각의 그리드 셀에서 대한 조정된 출력값은
Figure 112019117640834-pat00020
로 나타낼 수 있고, 상기 조정된 샘플 메타 ROI 점수는
Figure 112019117640834-pat00021
로 나타낼 수 있으며, 이때, 표준 편차(
Figure 112019117640834-pat00022
)는 1일 수 있다.
상기에서는 3Х3Х5 볼륨의 상기 특징 맵을 예시적으로 설명하였으나, 본 발명은 이에 한정되지 않으며, MХMХL 볼륨의 상기 특징 맵에서도 동일하게 적용될 수 있다.
이후, 상기 학습 장치는 각각의 상기 샘플 메타 ROI 군(R')의 각 샘플 메타 군 점수(S(R'))를 계산하며, 상기 사전 학습용 메타 ROI 군(R)의 현재 메타 군 점수(S(R))를 계산할 수 있다.
이때, 상기 현재 메타 군 점수(S(R))는 정확성(R) + C Х 효율성(R)으로 획득될 수 있으며, 상기 정확성(R)은, 상기 특정 사전 트레이닝 이미지 상의 객체의 총 개수에 대한, 모든 상기 사전 학습용 메타 ROI에서 검출된 객체 수의 비율이며, 상기 효율성(R)은, 상기 특정 사전 트레이닝 이미지의 면적에 대한 상기 사전 학습용 메타 ROI의 면적 합의 비율의 1과의 차이값이며, 상기 C는, 상기 사전 트레이닝 이미지의 검증을 위해 사용될 사전 학습용 검증 이미지에 대응하여 획득된 검증 메타 군 점수와 1 중, 최대값일 수 있다.
즉, S(R)= 정확성(R) + C Х 효율성(R),
정확성(R) =
Figure 112019117640834-pat00023
,
효율성(R) = 1 -
Figure 112019117640834-pat00024
와 같이 나타낼 수 있다.
또한, 상기 샘플 메타 ROI 군 중 임의의 하나의 샘플 메타 ROI 군의 샘플 메타 군 점수는, 정확성(R') + C Х 효율성(R')으로 획득될 수 있으며, 상기 정확성(R')은, 상기 특정 사전 트레이닝 이미지 상의 객체의 총 개수에 대한, 상기 샘플 메타 ROI 군 중 상기 임의의 하나의 샘플 메타 ROI 군의 샘플 메타 ROI 각각 내에서 검출된 객체 개수의 총 합의 비율이며, 상기 효율성(R')은, 상기 특정 사전 트레이닝 이미지의 면적에 대한 상기 샘플 메타 ROI의 면적 합의 비율의 1과의 차이값이며, 상기 C는, 상기 사전 트레이닝 이미지의 검증을 위해 사용될 상기 사전 학습용 검증 이미지에 대응하여 획득된 검증 메타 군 점수와 1 중, 최대값일 수 있다. 이때, 상기 샘플 메타 ROI 군 중 동일한 군의 제1 샘플 메타 ROI와 제2 샘플 메타 ROI 모두에 위치하는 특정 객체는 두 개로 셈하지 않는다.
즉, S(R')= 정확성(R') + C Х 효율성(R'),
정확성(R') =
Figure 112019117640834-pat00025
,
효율성(R') = 1 -
Figure 112019117640834-pat00026
와 같이 나타낼 수 있다.
한편, 상기 샘플 메타 ROI 군(R') 중 임의의 하나의 샘플 메타 ROI 군의 샘플 메타 군 점수 (S(R'))를 계산하는 데 있어서, 샘플 메타 ROI 점수(
Figure 112019117640834-pat00027
)가 제2 기설정된 임계치 이상인 특정 샘플 메타 ROI가 활용될 수 있다. 이때, 상기 제2 기설정된 임계치는 1일 수 있으나, 이에 한정되지 않으며, 상기 샘플 메타 ROI 군(R')의 상기 샘플 메타 군 점수(S(R')) 중 일부가 상기 현재 메타 군 점수(S(R)) 보다 큰 값으로 설정될 수 있다.
즉, 상기 정확성(R')은, 상기 특정 사전 트레이닝 이미지 상 객체의 총 개수에 대한, 상기 임의의 하나의 샘플 메타 ROI 군의 상기 샘플 메타 ROI 중, 상기 샘플 메타 ROI 점수가 상기 제2 기설정된 임계치 이상인 상기 특정 샘플 메타 ROI에서 검출된 객체 개수의 비율이며, 상기 효율성(R')은, 상기 특정 사전 트레이닝 이미지의 면적에 대한 상기 특정 샘플 메타 ROI의 면적 합의 비율의 1과의 차이값일 수 있다.
이후, 상기 학습 장치는, 상기 샘플 메타 군 점수(S(R'))가 높아지는 상기 특정 샘플 메타 ROI 군(R')의 방향으로, 상기 사전 학습용 메타 ROI 군(R)의 상기 현재 메타 군 점수(S(R))를 조정하기 위한 적어도 하나의 사전 학습용 그래디언트를 계산할 수 있다.
이때, 상기 학습 장치는 다음의 수학식을 사용하여 상기 사전 학습용 그래디언트(
Figure 112019117640834-pat00028
를 계산할 수 있다.
Figure 112019117640834-pat00029
Figure 112019117640834-pat00030
이후, 상기 학습 장치는 상기 사전 학습용 그래디언트를 이용한 강화 학습에 의해 상기 메타 ROI 검출 네트워크(20)의 하나 이상의 파라미터 중 적어도 일부를 조정할 수 있다. 일 예로, 상기 학습 장치는 상기 사전 학습용 그래디언트를 이용한 상기 강화 학습에 의해 상기 메타 ROI 검출 네트워크에 포함된 상기 컨벌루션 레이어의 하나 이상의 파라미터 중 적어도 일부를 조정할 수 있다.
즉, 도 4를 참조하면, 상기 사전 학습용 메타 ROI 군(R)을 기반으로 조정된 상기 샘플 메타 ROI 군(R')은, 상기 사전 학습용 메타 ROI 군(R)의 위치를 기반으로 한 가우시안 분포(Gaussian distribution)를 가지게 되며, 점수가 높은 상기 샘플 메타 ROI 군(R')으로부터 도출된 상기 방향으로 사전 학습용 메타 ROI 군(R)을 조정하도록 강화 학습시킴으로써, 상기 사전 학습용 메타 ROI 군 (R)의 점수는 상기 학습에 의해 점차 높아지게 되며, 그에 따라 상기 현재 메타 ROI을 획득하기 위한 정확성이 증가할 수 있다.
다시, 도 2를 참조하면, 상기 오토 라벨링 장치(100)는 상기 특정 트레이닝 이미지(IM20) 상에서, 상기 n개의 현재 메타 ROI에 대응되는 영역을 크롭(crop)하여 n개의 가공 이미지(IM21)를 생성하고, 객체 검출 네트워크(30)로 하여금 상기 n개의 가공 이미지(IM21) 각각에 대한 각각의 바운딩 박스를 가지는 n개의 라벨링된 가공 이미지(IM30) 각각을 출력할 수 있다.
이때, 상기 객체 검출 네트워크(30)는 상기 n개의 가공 이미지(IM21) 각각에 대응되는 다수의 네트워크로 구성될 수 있으며, 각각의 상기 다수의 네트워크는, 상기 n개의 가공 이미지(IM21) 각각에 대한 바운딩 박스를 생성함으로써 상기 n개의 라벨링된 가공 이미지(IM30)를 생성하거나, 상기 n개의 가공 이미지(IM21)의 사이즈를 리사이즈하여 동일한 사이즈가 되도록 한 다음 상기 객체 검출 네트워크(30)로 하여금 상기 동일한 사이즈의 상기 n개의 라벨링된 가공 이미지(IM30)을 생성하도록 할 수 있다.
한편, 도 5를 참조하여, 상기 객체 검출 네트워크(30)가 적어도 하나의 특정 가공 이미지 상에서 상기 바운딩 박스를 생성하는 방법을 설명하면 다음과 같다.
상기 특정 가공 이미지가 획득되면, 상기 객체 검출 네트워크(30)는 하나 이상의 컨벌루션 레이어(31)로 하여금 상기 특정 가공 이미지에 상기 컨벌루션 연산을 적용하여 적어도 하나의 객체 검출용 특징 맵을 출력하도록 한다. 이때, 상기 컨벌루션 레이어(31)는 상기 특정 가공 이미지에 상기 컨벌루션 연산을 순차적으로 적용하여 상기 객체 검출용 특징 맵을 생성할 수 있다.
그리고, 상기 객체 검출 네트워크(30)는 RPN(Region Proposal Network)(32)으로 하여금 상기 객체 검출용 특징 맵 상에서 상기 객체를 포함하는 것으로 예측되는 후보 영역에 대응되는 프로포잘 박스를 출력하도록 한다.
이후, 상기 객체 검출 네트워크(30)는 적어도 하나의 풀링 레이어(33)로 하여금, 상기 객체 검출용 특징 맵 상에서, 상기 프로포잘 박스에 대응되는 영역에 하나 이상의 풀링 연산을 적용하여 하나 이상의 특징 벡터를 출력하도록 한다.
그리고, 상기 객체 검출 네트워크(30)는 적어도 하나의 FC(Fully connected) 레이어(34)로 하여금 상기 특징 벡터를 이용하여, 각각의 상기 프로포잘 박스에 대응되는 각각의 객체 클래스 정보(35)와 각각의 리그레션 값(36)을 출력함으로써 상기 특정 가공 이미지 상에 위치하는 상기 객체에 대응되는 상기 바운딩 박스를 생성하도록 한다.
한편, 상기 객체 검출 네트워크(30)는 사전에 학습된 상태일 수 있다. 즉, 하나 이상의 로스를 이용한 백프로퍼게이션을 통해 상기 FC 레이어(34) 및 상기 컨벌루션 레이어(31)의 하나 이상의 파라미터 중 적어도 일부가 조정된 상태일 수 있다. 또한, 상기 RPN(32)도 사전에 학습된 상태일 수 있다.
다시, 도 2를 참조하면, 상기 오토 라벨링 장치(100)는 상기 n개의 라벨링된 가공 이미지(IM30)를 병합하여, 라벨링된 특정 트레이닝 이미지 (IM31)를 생성할 수 있다.
이때, 상기 오토 라벨링 장치(100)는, 상기 n개의 라벨링된 가공 이미지(IM30)를 병합함에 있어서, 상기 바운딩 박스 중, 두 개 이상의 상기 라벨링된 가공 이미지(IM30)가 겹친 영역의 가장 자리에서부터 안쪽으로의 특정 거리 내에서 부분적으로만 나타나는 하나 이상의 특정 바운딩 박스를 제거할 수 있다. 일 예로, 상기 오토 라벨링 장치(100)는, 상기 라벨링된 가공 이미지(IM30) 중 3의 라벨링된 가공 이미지 내에서 부분적으로만 나타나는 바운딩 박스(b)를 제거하고, 상기 라벨링된 가공 이미지(IM30)를 병합할 수 있다.
또한, 상기 오토 라벨링 장치(100)는, 상기 n개의 라벨링된 가공 이미지(IM30)를 병합함에 있어서, 두 개 이상의 상기 라벨링된 가공 이미지가 겹친 영역 내에 위치하는 상기 바운딩 박스에 NMS(Non Maximum Suppression)를 적용하여, 상기 겹친 영역 내에 위치하는 하나 이상의 특정 객체에 대응하는 하나 이상의 특정 바운딩 박스를 획득할 수 있다. 즉, 상기 겹친 영역이, 서로 겹치는 바운딩 박스를 포함하는 경우, 상기 확률이 가장 높은 특정 바운딩 박스가 특정 객체에 대응되는 상기 특정 바운딩 박스로 지정되며, 확률이 낮은 바운딩 박스를 제거할 수 있다.
그리고, 상기 오토 라벨링 장치(100)는, 상기 바운딩 박스가 생성된 상기 n개의 라벨링된 가공 이미지(IM30)를 병합함에 있어서, 상기 특정 트레이닝 이미지에 대응될 상기 n개의 라벨링된 가공 이미지를 병합할 수 있다. 특히, 상기 동일한 사이즈의 상기 n개의 라벨링된 가공 이미지(IM30)를 병합할 경우, 상기 n개의 라벨링된 가공 이미지(IM30)를 각각 상기 특정 트레이닝 이미지에 대응하게 리사이즈한 다음 병합할 수 있다.
상기 방법은, 정책 경사 알고리즘(policy gradient algorithm)을 사용하는 강화 학습, 온라인 학습, 연속 학습 및 하이퍼파라미터 학습을 이용하여, 이미지를 고정밀도로 분석하기 위해 수행될 수 있다.
또한, 이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (30)

  1. 뉴럴 네트워크를 학습하는데 이용될 하나 이상의 트레이닝 이미지를 오토 라벨링(auto-labeling)하는 방법에 있어서,
    (a) 오토 라벨링 장치가, 상기 트레이닝 이미지 중 특정 트레이닝 이미지가 획득되면, 메타 ROI(Region Of Interest) - 상기 메타 ROI는 상기 특정 트레이닝 이미지 내의 객체들을 위치에 따라 그룹화하며, 객체들의 그룹 각각이 상기 특정 트레이닝 이미지 내에 위치하는 영역 임 - 검출 네트워크로 하여금, 상기 특정 트레이닝 이미지에 하나 이상의 컨벌루션 연산을 적용하여 적어도 하나의 특징 맵을 출력하도록 하며, 상기 특징 맵을 참조하여, 상기 특정 트레이닝 이미지 상의 객체가 각각의 위치에 따라 그룹화된, 상기 객체의 영역에 대응되는 n개의 현재 메타 ROI를 획득하도록 하는 단계; 및
    (b) 상기 오토 라벨링 장치가, 상기 특정 트레이닝 이미지 상에서, 상기 n개의 현재 메타 ROI에 대응되는 영역을 크롭(crop)하여 n개의 가공 이미지를 생성하고, 객체 검출 네트워크로 하여금 상기 n개의 가공 이미지 각각에 대한 각각의 바운딩 박스를 가지는 n개의 라벨링된 가공 이미지 각각을 출력하도록 하며, 상기 n개의 라벨링된 가공 이미지를 병합하여, 라벨링된 특정 트레이닝 이미지를 생성하는 단계;
    를 포함하고,
    상기 (a) 단계에서,
    상기 오토 라벨링 장치는, (i) 상기 특정 트레이닝 이미지를 다운사이즈하여 적어도 하나의 다운사이즈된 이미지를 생성한 다음, 상기 메타 ROI 검출 네트워크로 하여금, 상기 다운사이즈된 이미지에 상기 컨벌루션 연산을 적용하여 상기 특징 맵을 출력하도록 하는 프로세스, 및 (ii) 상기 메타 ROI 검출 네트워크로 하여금, 상기 특정 트레이닝 이미지를 다운사이즈하여 상기 다운사이즈된 이미지를 생성하도록 한 다음, 상기 메타 ROI 검출 네트워크로 하여금, 상기 다운사이즈된 이미지에 상기 컨벌루션 연산을 적용하여 상기 특징 맵을 출력하도록 하는 프로세스 중 하나의 프로세스를 수행하며,
    상기 오토 라벨링 장치는, 상기 메타 ROI 검출 네트워크로 하여금, 상기 특징 맵의 각각의 그리드 셀 내 각각의 상기 현재 메타 ROI의 각 위치, 각 사이즈, 및 각 현재 메타 ROI 점수를 계산한 다음, 상기 현재 메타 ROI 점수 중 제1 기설정된 임계치 이상인 특정 현재 메타 ROI 점수에 대응하는 특정 현재 메타 ROI를 상기 n개의 현재 메타 ROI로서 판단하도록 하는 것을 특징으로 하는 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 트레이닝 이미지는 검증을 위한 검증 이미지를 포함하며, 상기 제1 기설정된 임계치는, 상기 검증 이미지에 대응하여 획득된 검증 메타 ROI 중 정답일 확률이 가장 높은 특정 검증 메타 ROI의 특정 검증 메타 ROI 점수인 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 특징 맵은, 상기 현재 메타 ROI의 상기 위치를 계산하기 위한 두 개 이상의 제 1 특징 맵 채널, 상기 현재 메타 ROI의 상기 사이즈를 계산하기 위한 두 개 이상의 제2 특징 맵 채널, 및 상기 현재 메타 ROI 점수를 계산하기 위한 적어도 하나의 제3 특징 맵 채널을 포함하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 현재 메타 ROI 점수 각각은, 각각의 상기 현재 메타 ROI가 정답일 확률 각각에 시그모이드(sigmoid) 연산을 적용한 각각의 결과인 것을 특징으로 하는 방법.
  6. 삭제
  7. 제1항에 있어서,
    상기 메타 ROI 검출 네트워크는 하나 이상의 컨벌루션 레이어를 포함하는 것을 특징으로 하는 방법.
  8. 제1항에 있어서,
    상기 (b) 단계에서,
    상기 오토 라벨링 장치는, 상기 n개의 라벨링된 가공 이미지를 병합함에 있어서, 상기 바운딩 박스 중, 두 개 이상의 상기 라벨링된 가공 이미지가 겹친 영역의 가장 자리에서부터 안쪽으로의 특정 거리 내에서 부분적으로만 나타나는 하나 이상의 특정 바운딩 박스를 제거하는 것을 특징으로 하는 방법.
  9. 제1항에 있어서,
    상기 (b) 단계에서,
    상기 오토 라벨링 장치는, 상기 n개의 라벨링된 가공 이미지를 병합함에 있어서, 두 개 이상의 상기 라벨링된 가공 이미지가 겹친 영역 내에 위치하는 상기 바운딩 박스에 NMS(Non Maximum Suppression)를 적용하여, 상기 겹친 영역 내에 위치하는 하나 이상의 특정 객체에 대응하는 하나 이상의 특정 바운딩 박스를 획득하는 것을 특징으로 하는 방법.
  10. 제1항에 있어서,
    상기 (b) 단계에서,
    상기 오토 라벨링 장치는, 상기 n개의 가공 이미지를 리사이즈하여 동일한 사이즈가 되도록 한 다음, 상기 객체 검출 네트워크로 하여금 상기 바운딩 박스를 생성하도록 하는 것을 특징으로 하는 방법.
  11. 제10항에 있어서,
    상기 오토 라벨링 장치는, 상기 바운딩 박스를 포함하는, 상기 동일한 사이즈의 상기 n개의 가공 이미지를 상기 특정 트레이닝 이미지에 대응하는 사이즈가 되도록 리사이즈한 다음, 이를 병합하는 것을 특징으로 하는 방법.
  12. 제1항에 있어서,
    상기 메타 ROI 검출 네트워크는, 학습 장치에 의해, (i) 사전 트레이닝 이미지 중 적어도 하나의 특정 사전 트레이닝 이미지가 획득되면, 상기 특정 사전 트레이닝 이미지에 상기 컨벌루션 연산을 적용하여 적어도 하나의 사전 학습용 특징 맵을 출력하고, (ii) 상기 사전 학습용 특징 맵의 각 그리드 셀 내의 사전 학습용 메타 ROI를 계산하며, (iii) 상기 사전 학습용 메타 ROI를 포함하는 사전 학습용 메타 ROI 군에 대응하여, 적어도 하나의 소정의 규칙에 의해 조정된, 하나 이상의 샘플 메타 ROI 군을 생성하고, (iv) 각각의 상기 샘플 메타 ROI 군의 각 샘플 메타 군 점수를 계산하고, 상기 사전 학습용 메타 ROI 군의 현재 메타 군 점수를 계산한 다음, 높은 상기 샘플 메타 군 점수를 가지는 특정 샘플 메타 ROI 군의 방향으로 상기 사전 학습용 메타 ROI 군의 상기 현재 메타 군 점수가 조정되도록 하는 적어도 하나의 사전 학습용 그래디언트를 계산하며, (v) 상기 사전 학습용 그래디언트를 이용한 강화 학습에 의해 상기 메타 ROI 검출 네트워크의 하나 이상의 파라미터 중 적어도 일부를 학습하는 프로세스를 수행한 상태인 것을 특징으로 하는 방법.
  13. 제12항에 있어서,
    상기 현재 메타 군 점수는 정확성(R) + C Х 효율성(R)으로 획득될 수 있으며,
    상기 정확성(R)은, 상기 특정 사전 트레이닝 이미지 상의 객체의 총 개수에 대한, 모든 상기 사전 학습용 메타 ROI에서 검출된 객체 수의 비율이며,
    상기 효율성(R)은, 상기 특정 사전 트레이닝 이미지의 면적에 대한 상기 사전 학습용 메타 ROI의 면적 합의 비율의 1과의 차이값이며,
    상기 C는, 상기 사전 트레이닝 이미지의 검증을 위해 사용될 사전 학습용 검증 이미지에 대응하여 획득된 검증 메타 군 점수와 1 중, 최대값인 것을 특징으로 하는 방법.
  14. 제12항에 있어서,
    상기 샘플 메타 ROI 군 중 임의의 하나의 샘플 메타 ROI 군의 샘플 메타 군 점수는, 정확성(R') + C × 효율성(R')으로 획득될 수 있으며,
    상기 정확성(R')은, 상기 특정 사전 트레이닝 이미지 상의 객체의 총 개수에 대한, 상기 샘플 메타 ROI 군 중 상기 임의의 하나의 샘플 메타 ROI 군의 모든 샘플 메타 ROI 내에서 검출된 객체 개수의 비율이며,
    상기 효율성(R')은, 상기 특정 사전 트레이닝 이미지의 면적에 대한 상기 샘플 메타 ROI의 면적 합의 비율의 1과의 차이값이며,
    상기 C는, 상기 사전 트레이닝 이미지의 검증을 위해 사용될 사전 학습용 검증 이미지에 대응하여 획득된 검증 메타 군 점수와 1 중, 최대값인 것을 특징으로 하는 방법.
  15. 제14항에 있어서,
    상기 정확성(R')은, 상기 특정 사전 트레이닝 이미지 상 객체의 총 개수에 대한, 상기 임의의 하나의 샘플 메타 ROI 군의 상기 샘플 메타 ROI 중, 샘플 메타 ROI 점수가 제2 기설정된 임계치 이상인 특정 샘플 메타 ROI에서 검출된 객체 개수의 비율이며,
    상기 효율성(R')은, 상기 특정 사전 트레이닝 이미지의 면적에 대한 상기 특정 샘플 메타 ROI의 면적 합의 비율의 1과의 차이값인 것을 특징으로 하는 방법.
  16. 뉴럴 네트워크를 학습하는데 이용될 하나 이상의 트레이닝 이미지를 오토 라벨링(auto-labeling)하는 오토 라벨링 장치에 있어서,
    인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    (I) 상기 트레이닝 이미지 중 특정 트레이닝 이미지가 획득되면, 메타 ROI(Region Of Interest) - 상기 메타 ROI는 상기 특정 트레이닝 이미지 내의 객체들을 위치에 따라 그룹화하며, 객체들의 그룹 각각이 상기 특정 트레이닝 이미지 내에 위치하는 영역 임 - 검출 네트워크로 하여금, 상기 특정 트레이닝 이미지에 하나 이상의 컨벌루션 연산을 적용하여 적어도 하나의 특징 맵을 출력하도록 하며, 상기 특징 맵을 참조하여, 상기 특정 트레이닝 이미지 상의 객체가 각각의 위치에 따라 그룹화된, 상기 객체의 영역에 대응되는 n개의 현재 메타 ROI를 획득하도록 하는 프로세스, 및 (II) 상기 특정 트레이닝 이미지 상에서, 상기 n개의 현재 메타 ROI에 대응되는 영역을 크롭(crop)하여 n개의 가공 이미지를 생성하고, 객체 검출 네트워크로 하여금 상기 n개의 가공 이미지 각각에 대한 각각의 바운딩 박스를 가지는 n개의 라벨링된 가공 이미지 각각을 출력하도록 하며, 상기 n개의 라벨링된 가공 이미지를 병합하여, 라벨링된 특정 트레이닝 이미지를 생성하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하고,
    상기 (I) 프로세스에서,
    상기 프로세서는, (i) 상기 특정 트레이닝 이미지를 다운사이즈하여 적어도 하나의 다운사이즈된 이미지를 생성한 다음, 상기 메타 ROI 검출 네트워크로 하여금, 상기 다운사이즈된 이미지에 상기 컨벌루션 연산을 적용하여 상기 특징 맵을 출력하도록 하는 프로세스, 및 (ii) 상기 메타 ROI 검출 네트워크로 하여금, 상기 특정 트레이닝 이미지를 다운사이즈하여 상기 다운사이즈된 이미지를 생성하도록 한 다음, 상기 메타 ROI 검출 네트워크로 하여금, 상기 다운사이즈된 이미지에 상기 컨벌루션 연산을 적용하여 상기 특징 맵을 출력하도록 하는 프로세스 중 하나의 프로세스를 수행하며,
    상기 프로세서는, 상기 메타 ROI 검출 네트워크로 하여금, 상기 특징 맵의 각각의 그리드 셀 내 각각의 상기 현재 메타 ROI의 각 위치, 각 사이즈, 및 각 현재 메타 ROI 점수를 계산한 다음, 상기 현재 메타 ROI 점수 중 제1 기설정된 임계치 이상인 특정 현재 메타 ROI 점수에 대응하는 특정 현재 메타 ROI를 상기 n개의 현재 메타 ROI로서 판단하도록 하는 것을 특징으로 하는 오토 라벨링 장치.
  17. 삭제
  18. 제16항에 있어서,
    상기 트레이닝 이미지는 검증을 위한 검증 이미지를 포함하며, 상기 제1 기설정된 임계치는, 상기 검증 이미지에 대응하여 획득된 검증 메타 ROI 중 정답일 확률이 가장 높은 특정 검증 메타 ROI의 특정 검증 메타 ROI 점수인 것을 특징으로 하는 오토 라벨링 장치.
  19. 제16항에 있어서,
    상기 특징 맵은, 상기 현재 메타 ROI의 상기 위치를 계산하기 위한 두 개 이상의 제 1 특징 맵 채널, 상기 현재 메타 ROI의 상기 사이즈를 계산하기 위한 두 개 이상의 제2 특징 맵 채널, 및 상기 현재 메타 ROI 점수를 계산하기 위한 적어도 하나의 제3 특징 맵 채널을 포함하는 것을 특징으로 하는 오토 라벨링 장치.
  20. 제16항에 있어서,
    상기 현재 메타 ROI 점수 각각은, 각각의 상기 현재 메타 ROI가 정답일 확률 각각에 시그모이드(sigmoid) 연산을 적용한 각각의 결과인 것을 특징으로 하는 오토 라벨링 장치.
  21. 삭제
  22. 제16항에 있어서,
    상기 메타 ROI 검출 네트워크는 하나 이상의 컨벌루션 레이어를 포함하는 것을 특징으로 하는 오토 라벨링 장치.
  23. 제16항에 있어서,
    상기 (II) 프로세스에서,
    상기 프로세서는, 상기 n개의 라벨링된 가공 이미지를 병합함에 있어서, 상기 바운딩 박스 중, 두 개 이상의 상기 라벨링된 가공 이미지가 겹친 영역의 가장 자리에서부터 안쪽으로의 특정 거리 내에서 부분적으로만 나타나는 하나 이상의 특정 바운딩 박스를 제거하는 것을 특징으로 하는 오토 라벨링 장치.
  24. 제16항에 있어서,
    상기 (II) 프로세스에서,
    상기 프로세서는, 상기 n개의 라벨링된 가공 이미지를 병합함에 있어서, 두 개 이상의 상기 라벨링된 가공 이미지가 겹친 영역 내에 위치하는 상기 바운딩 박스에 NMS(Non Maximum Suppression)를 적용하여, 상기 겹친 영역 내에 위치하는 하나 이상의 특정 객체에 대응하는 하나 이상의 특정 바운딩 박스를 획득하는 것을 특징으로 하는 오토 라벨링 장치.
  25. 제16항에 있어서,
    상기 (II) 프로세스에서,
    상기 프로세서는, 상기 n개의 가공 이미지를 리사이즈하여 동일한 사이즈가 되도록 한 다음, 상기 객체 검출 네트워크로 하여금 상기 바운딩 박스를 생성하도록 하는 것을 특징으로 하는 오토 라벨링 장치.
  26. 제25항에 있어서,
    상기 프로세서는, 상기 바운딩 박스를 포함하는, 상기 동일한 사이즈의 상기 n개의 가공 이미지를 상기 특정 트레이닝 이미지에 대응하는 사이즈가 되도록 리사이즈한 다음, 이를 병합하는 것을 특징으로 하는 오토 라벨링 장치.
  27. 제16항에 있어서,
    상기 메타 ROI 검출 네트워크는, 학습 장치에 의해, (i) 사전 트레이닝 이미지 중 적어도 하나의 특정 사전 트레이닝 이미지가 획득되면, 상기 특정 사전 트레이닝 이미지에 상기 컨벌루션 연산을 적용하여 적어도 하나의 사전 학습용 특징 맵을 출력하고, (ii) 상기 사전 학습용 특징 맵의 각 그리드 셀 내의 사전 학습용 메타 ROI를 계산하며, (iii) 상기 사전 학습용 메타 ROI를 포함하는 사전 학습용 메타 ROI 군에 대응하여, 적어도 하나의 소정의 규칙에 의해 조정된, 하나 이상의 샘플 메타 ROI 군을 생성하고, (iv) 각각의 상기 샘플 메타 ROI 군의 각 샘플 메타 군 점수를 계산하고, 상기 사전 학습용 메타 ROI 군의 현재 메타 군 점수를 계산한 다음, 높은 상기 샘플 메타 군 점수를 가지는 특정 샘플 메타 ROI 군의 방향으로 상기 사전 학습용 메타 ROI 군의 상기 현재 메타 군 점수가 조정되도록 하는 적어도 하나의 사전 학습용 그래디언트를 계산하며, (v) 상기 사전 학습용 그래디언트를 이용한 강화 학습에 의해 상기 메타 ROI 검출 네트워크의 하나 이상의 파라미터 중 적어도 일부를 학습하는 프로세스를 수행한 상태인 것을 특징으로 하는 오토 라벨링 장치.
  28. 제27항에 있어서,
    상기 현재 메타 군 점수는 정확성(R) + C Х 효율성(R)으로 획득될 수 있으며,
    상기 정확성(R)은, 상기 특정 사전 트레이닝 이미지 상의 객체의 총 개수에 대한, 모든 상기 사전 학습용 메타 ROI에서 검출된 객체 수의 비율이며,
    상기 효율성(R)은, 상기 특정 사전 트레이닝 이미지의 면적에 대한 상기 사전 학습용 메타 ROI의 면적 합의 비율의 1과의 차이값이며,
    상기 C는, 상기 사전 트레이닝 이미지의 검증을 위해 사용될 사전 학습용 검증 이미지에 대응하여 획득된 검증 메타 군 점수와 1 중, 최대값인 것을 특징으로 하는 오토 라벨링 장치.
  29. 제27항에 있어서,
    상기 샘플 메타 ROI 군 중 임의의 하나의 샘플 메타 ROI 군의 샘플 메타 군 점수는, 정확성(R') + C × 효율성(R')으로 획득될 수 있으며,
    상기 정확성(R')은, 상기 특정 사전 트레이닝 이미지 상의 객체의 총 개수에 대한, 상기 샘플 메타 ROI 군 중 상기 임의의 하나의 샘플 메타 ROI 군의 모든 샘플 메타 ROI 내에서 검출된 객체 개수의 비율이며,
    상기 효율성(R')은, 상기 특정 사전 트레이닝 이미지의 면적에 대한 상기 샘플 메타 ROI의 면적 합의 비율의 1과의 차이값이며,
    상기 C는, 상기 사전 트레이닝 이미지의 검증을 위해 사용될 사전 학습용 검증 이미지에 대응하여 획득된 검증 메타 군 점수와 1 중, 최대값인 것을 특징으로 하는 오토 라벨링 장치.
  30. 제29항에 있어서,
    상기 정확성(R')은, 상기 특정 사전 트레이닝 이미지 상 객체의 총 개수에 대한, 상기 임의의 하나의 샘플 메타 ROI 군의 상기 샘플 메타 ROI 중, 샘플 메타 ROI 점수가 제2 기설정된 임계치 이상인 특정 샘플 메타 ROI에서 검출된 객체 개수의 비율이며,
    상기 효율성(R')은, 상기 특정 사전 트레이닝 이미지의 면적에 대한 상기 특정 샘플 메타 ROI의 면적 합의 비율의 1과의 차이값인 것을 특징으로 하는 오토 라벨링 장치.
KR1020190147100A 2019-01-31 2019-11-15 고정밀도 이미지를 분석하는 딥러닝 네트워크의 학습에 이용하기 위한 트레이닝 이미지를 오토 라벨링하기 위한 방법 및 이를 이용한 오토 라벨링 장치 KR102326256B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/263,393 2019-01-31
US16/263,393 US10540572B1 (en) 2019-01-31 2019-01-31 Method for auto-labeling training images for use in deep learning network to analyze images with high precision, and auto-labeling device using the same

Publications (2)

Publication Number Publication Date
KR20200095335A KR20200095335A (ko) 2020-08-10
KR102326256B1 true KR102326256B1 (ko) 2021-11-16

Family

ID=69167060

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190147100A KR102326256B1 (ko) 2019-01-31 2019-11-15 고정밀도 이미지를 분석하는 딥러닝 네트워크의 학습에 이용하기 위한 트레이닝 이미지를 오토 라벨링하기 위한 방법 및 이를 이용한 오토 라벨링 장치

Country Status (5)

Country Link
US (1) US10540572B1 (ko)
EP (1) EP3690742A1 (ko)
JP (1) JP6853560B2 (ko)
KR (1) KR102326256B1 (ko)
CN (1) CN111507335B (ko)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
SG11202103493QA (en) 2018-10-11 2021-05-28 Tesla Inc Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
JP7322965B2 (ja) * 2019-10-28 2023-08-08 富士通株式会社 学習方法、学習プログラム、および学習装置
US11462023B2 (en) 2019-11-14 2022-10-04 Toyota Research Institute, Inc. Systems and methods for 3D object detection
CN111383219B (zh) * 2020-03-12 2020-12-01 众能联合数字技术有限公司 一种智能检测高空作业平台设备清洁度的方法及系统
JP7486349B2 (ja) * 2020-05-28 2024-05-17 キヤノン株式会社 ニューラルネットワーク、ニューラルネットワークの学習方法、プログラム、画像処理装置
CN111950538B (zh) * 2020-06-23 2022-02-08 合肥联宝信息技术有限公司 一种标签检测方法、装置以及计算机可读存储介质
CN111967595B (zh) * 2020-08-17 2023-06-06 成都数之联科技股份有限公司 候选框标注方法及系统及模型训练方法及目标检测方法
CN112102338A (zh) * 2020-09-17 2020-12-18 西安泽塔云科技股份有限公司 基于深度学习的影像样本数据的获取方法及装置
KR20220052223A (ko) 2020-10-20 2022-04-27 삼성에스디에스 주식회사 객체 감지를 위한 라벨링 장치 및 방법
JP2022131497A (ja) * 2021-02-26 2022-09-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
KR102637343B1 (ko) * 2021-05-26 2024-02-16 삼성전자주식회사 오브젝트 추적 방법 및 장치
KR102375217B1 (ko) * 2021-06-03 2022-03-16 (주)하우스퍼즐 인공지능 기반 건축 시공비 시뮬레이션 시스템 및 방법
CN113897324B (zh) * 2021-10-13 2023-07-28 云南师范大学 一种用作抗锰剂的JcVIPP1重组大肠杆菌及其构建方法
KR20230064889A (ko) 2021-11-04 2023-05-11 서울시립대학교 산학협력단 인공지능 기반의 훈련 데이터 생성 방법 및 이를 이용한 딥러닝 모듈 훈련 방법
US11783609B1 (en) * 2022-11-30 2023-10-10 Intuit Inc. Scalable weak-supervised learning with domain constraints

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170206431A1 (en) * 2016-01-20 2017-07-20 Microsoft Technology Licensing, Llc Object detection and classification in images

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6448325B2 (ja) * 2014-11-19 2019-01-09 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
KR102592076B1 (ko) * 2015-12-14 2023-10-19 삼성전자주식회사 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치
US10664719B2 (en) * 2016-02-12 2020-05-26 Adobe Inc. Accurate tag relevance prediction for image search
US10217236B2 (en) * 2016-04-08 2019-02-26 Orbital Insight, Inc. Remote determination of containers in geographical region
US10706533B2 (en) * 2016-05-13 2020-07-07 National Jewish Health Systems and methods for automatic detection and quantification of pathology using dynamic feature classification
US10354362B2 (en) * 2016-09-08 2019-07-16 Carnegie Mellon University Methods and software for detecting objects in images using a multiscale fast region-based convolutional neural network
EP3306528B1 (en) * 2016-10-04 2019-12-25 Axis AB Using image analysis algorithms for providing traning data to neural networks
JP6964234B2 (ja) * 2016-11-09 2021-11-10 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置およびプログラム
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
KR101879207B1 (ko) * 2016-11-22 2018-07-17 주식회사 루닛 약한 지도 학습 방식의 객체 인식 방법 및 장치
CN110235146A (zh) * 2017-02-03 2019-09-13 西门子股份公司 用于检测图像中的感兴趣对象的方法和装置
WO2018165753A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
US10209089B2 (en) * 2017-04-03 2019-02-19 Robert Bosch Gmbh Automated image labeling for vehicles based on maps
CN107239803A (zh) * 2017-07-21 2017-10-10 国家海洋局第海洋研究所 利用深度学习神经网络的海底底质自动分类方法
US11093793B2 (en) * 2017-08-29 2021-08-17 Vintra, Inc. Systems and methods for a tailored neural network detector
US10169679B1 (en) * 2017-10-13 2019-01-01 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using loss augmentation and testing method and testing device using the same
CN108334878B (zh) * 2018-02-07 2021-01-05 北京影谱科技股份有限公司 视频图像检测方法、装置、设备及可读存储介质
CN108961229A (zh) * 2018-06-27 2018-12-07 东北大学 基于深度学习的心血管oct影像易损失斑块检测方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170206431A1 (en) * 2016-01-20 2017-07-20 Microsoft Technology Licensing, Llc Object detection and classification in images

Also Published As

Publication number Publication date
US10540572B1 (en) 2020-01-21
KR20200095335A (ko) 2020-08-10
JP2020126614A (ja) 2020-08-20
CN111507335A (zh) 2020-08-07
CN111507335B (zh) 2023-10-13
JP6853560B2 (ja) 2021-03-31
EP3690742A1 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
KR102326256B1 (ko) 고정밀도 이미지를 분석하는 딥러닝 네트워크의 학습에 이용하기 위한 트레이닝 이미지를 오토 라벨링하기 위한 방법 및 이를 이용한 오토 라벨링 장치
KR102280395B1 (ko) 차선 후보 픽셀의 분류를 통해 차선을 검출하는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102325033B1 (ko) 에지 이미지를 이용하여 객체를 검출하는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
US10692002B1 (en) Learning method and learning device of pedestrian detector for robust surveillance based on image analysis by using GAN and testing method and testing device using the same
KR102373456B1 (ko) 자동 주차 시스템을 제공하기 위해 결정 지점 간의 관계 및 결정 지점에 대한 리그레션 결과를 이용하여 주차 공간을 검출하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
US10430691B1 (en) Learning method and learning device for object detector based on CNN, adaptable to customers' requirements such as key performance index, using target object merging network and target region estimating network, and testing method and testing device using the same to be used for multi-camera or surround view monitoring
EP3686791B1 (en) Learning method and learning device for object detector based on cnn to be used for multi-camera or surround view monitoring using image concatenation and target object merging network, and testing method and testing device using the same
US10509987B1 (en) Learning method and learning device for object detector based on reconfigurable network for optimizing customers' requirements such as key performance index using target object estimating network and target object merging network, and testing method and testing device using the same
JP6849932B2 (ja) 高精密度のイメージを分析するためのディープラーニングネットワークを使用するためにトレーニングイメージをオートラベリングするオートラベルリング装置のハイパーパラメータを最適化する方法、及びこれを利用した最適化装置
US10387752B1 (en) Learning method and learning device for object detector with hardware optimization based on CNN for detection at distance or military purpose using image concatenation, and testing method and testing device using the same
KR102279376B1 (ko) CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102328734B1 (ko) 이미지를 분석하기 위해, 딥러닝 네트워크에 이용하기 위한 트레이닝 이미지에 대한 라벨링 신뢰도를 자동으로 평가하기 위한 방법 및 이를 이용한 신뢰도 평가 장치
KR102320985B1 (ko) 멀티 카메라 시스템 내의 더블 임베딩 구성을 이용하여 도로 이용자 이벤트를 검출하기 위해 이용될 세그먼테이션 성능 향상을 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
EP3686795B1 (en) Learning method and learning device for improving segmentation performance to be used for detecting events including pedestrian event, vehicle event, falling event and fallen event using edge loss and test method and test device using the same
US10402692B1 (en) Learning method and learning device for fluctuation-robust object detector based on CNN using target object estimating network adaptable to customers' requirements such as key performance index, and testing device using the same
KR102279388B1 (ko) 차선 모델을 이용하여 차선을 검출할 수 있는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102337383B1 (ko) 하드웨어 최적화에 사용되는 1xK 또는 Kx1 컨벌루션 연산을 이용한 CNN을 학습하는 방법 및 학습 장치, 이를 이용한 테스트 방법 및 테스트 장치
KR102320995B1 (ko) 객체의 스케일에 따라 모드 전환이 가능한 cnn 기반의 감시용 객체 검출기의 학습 방법 및 학습 장치, 이를 이용한 테스트 방법 및 테스트 장치
CN113052108A (zh) 基于深度神经网络的多尺度级联航拍目标检测方法和系统
US10373004B1 (en) Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant