JP6853560B2 - 高精度イメージを分析するディープラーニングネットワークの学習に利用するためのトレーニングイメージをオートラベリングするための方法、及びこれを利用したオートラベリング装置{method for auto−labeling training images for use in deep learning network to analyze images with high precision, and auto−labeling device using the same} - Google Patents
高精度イメージを分析するディープラーニングネットワークの学習に利用するためのトレーニングイメージをオートラベリングするための方法、及びこれを利用したオートラベリング装置{method for auto−labeling training images for use in deep learning network to analyze images with high precision, and auto−labeling device using the same} Download PDFInfo
- Publication number
- JP6853560B2 JP6853560B2 JP2020004730A JP2020004730A JP6853560B2 JP 6853560 B2 JP6853560 B2 JP 6853560B2 JP 2020004730 A JP2020004730 A JP 2020004730A JP 2020004730 A JP2020004730 A JP 2020004730A JP 6853560 B2 JP6853560 B2 JP 6853560B2
- Authority
- JP
- Japan
- Prior art keywords
- meta
- roi
- specific
- auto
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims description 133
- 238000002372 labelling Methods 0.000 title claims description 75
- 238000000034 method Methods 0.000 title claims description 64
- 238000013135 deep learning Methods 0.000 title description 6
- 238000001514 detection method Methods 0.000 claims description 74
- 238000012795 verification Methods 0.000 claims description 57
- 230000008569 process Effects 0.000 claims description 32
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000003754 machining Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 101100072571 Pisum sativum IM30 gene Proteins 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 230000002787 reinforcement Effects 0.000 description 5
- 238000011176 pooling Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/759—Region-based matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
- G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
- G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
と表すことができ、それぞれの前記グリッドセルに対するそれぞれの前記現在メタROIは、
のように表すことができる。
と
はそれぞれの前記現在メタROIの各位置を示し、
と
はそれぞれの前記現在メタROIの各サイズを表すことができる。したがって、前記特徴マップは、前記現在メタROIの各位置を計算するための二つ以上の第1特徴マップチャンネル、前記現在メタROIの各サイズを計算するための二つ以上の第2特徴マップチャンネル、及び前記現在メタROI点数を計算するための少なくとも一つの第3特徴マップチャンネルを含むことができる。
を生成し、前記事前学習用メタROIを含む事前学習用メタROI群Rに対応して、所定の規則によって調整された、多数のサンプルメタROI群
を生成する。
が第2の予め設定された閾値以上である特定のサンプルメタROIが活用され得る。この際、前記第2の予め設定された閾値は1であり得るが、これに限定されず、前記サンプルメタROI群R’の前記サンプルメタ群点数S(R’)のうち一部が前記現在のメタ群点数S(R)より大きい値に設定され得る。
Claims (30)
- ニューラルネットワークを学習するのに利用される一つ以上のトレーニングイメージをオートラベリング(auto−labeling)する方法において、
(a)オートラベリング装置が、前記トレーニングイメージのうち特定のトレーニングイメージが取得されると、メタROI(Region Of Interest)検出ネットワークをもって、前記特定のトレーニングイメージに一つ以上のコンボリューション演算を適用して少なくとも一つの特徴マップを出力させ、前記特徴マップを参照して、前記特定のトレーニングイメージ上の物体がそれぞれの位置によりグループ化された、前記物体の領域に対応するn個の現在メタROIを取得させる段階;及び
(b)前記オートラベリング装置が、前記特定のトレーニングイメージ上で、前記n個の現在メタROIに対応する領域をクロップ(crop)してn個の加工イメージを生成し、物体検出ネットワークをもって、前記n個の加工イメージそれぞれに対するそれぞれのバウンディングボックスを有するn個のラベリングされた加工イメージそれぞれを出力させ、前記n個のラベリングされた加工イメージを併合して、ラベリングされた特定のトレーニングイメージを生成する段階;
を含むことを特徴とする方法。 - 前記(a)段階で、
前記オートラベリング装置は、前記メタROI検出ネットワークをもって、前記特徴マップのそれぞれのグリッドセル内それぞれの前記現在メタROIの各位置、各サイズ、及び各現在メタROI点数を計算した後、前記現在メタROI点数のうち第1の予め設定された閾値以上である特定の現在メタROI点数に対応する特定の現在メタROIを前記n個の現在メタROIとして判断させることを特徴とする請求項1に記載の方法。 - 前記トレーニングイメージは、検証のための検証イメージを含み、前記第1の予め設定された閾値は、前記検証イメージに対応して取得された検証メタROIのうち正答である確率が最も高い特定の検証メタROIの特定の検証メタROI点数であることを特徴とする請求項2に記載の方法。
- 前記特徴マップは、前記現在メタROIの前記位置を計算するための二つ以上の第1特徴マップチャンネル、前記現在メタROIの前記サイズを計算するための二つ以上の第2特徴マップチャンネル、及び前記現在メタROI点数を計算するための少なくとも一つの第3特徴マップチャンネルを含むことを特徴とする請求項2に記載の方法。
- 前記現在メタROI点数それぞれは、それぞれの前記現在メタROIが正答である確率それぞれにシグモイド(sigmoid)演算を適用したそれぞれの結果であることを特徴とする請求項2に記載の方法。
- 前記(a)段階で、
前記オートラベリング装置は、(i)前記特定のトレーニングイメージをダウンサイズして少なくとも一つのダウンサイズされたイメージを生成した後、前記メタROI検出ネットワークをもって、前記ダウンサイズされたイメージに前記コンボリューション演算を適用して前記特徴マップを出力させるプロセス、及び(ii)前記メタROI検出ネットワークをもって、前記特定のトレーニングイメージをダウンサイズして前記ダウンサイズされたイメージを生成させた後、前記メタROI検出ネットワークをもって、前記ダウンサイズされたイメージに前記コンボリューション演算を適用して前記特徴マップを出力させるプロセスのうち一つのプロセスを遂行することを特徴とする請求項1に記載の方法。 - 前記メタROI検出ネットワークは、一つ以上のコンボリューションレイヤを含むことを特徴とする請求項1に記載の方法。
- 前記(b)段階で、
前記オートラベリング装置は、前記n個のラベリングされた加工イメージを併合するのにおいて、前記バウンディングボックスのうち、二つ以上の前記ラベリングされた加工イメージが重なった領域の端から内側への特定の距離内で部分的にのみ現れる一つ以上の特定のバウンディングボックスを除去することを特徴とする請求項1に記載の方法。 - 前記(b)段階で、
前記オートラベリング装置は、前記n個のラベリングされた加工イメージを併合するのにおいて、二つ以上の前記ラベリングされた加工イメージが重なった領域内に位置する前記バウンディングボックスにNMS(Non Maximum Suppression)を適用して、前記重なった領域内に位置する一つ以上の特定物体に対応する一つ以上の特定のバウンディングボックスを取得することを特徴とする請求項1に記載の方法。 - 前記(b)段階で、
前記オートラベリング装置は、前記n個の加工イメージをリサイズして同一サイズになるようにした後、前記物体検出ネットワークをもって前記バウンディングボックスを生成させることを特徴とする請求項1に記載の方法。 - 前記オートラベリング装置は、前記バウンディングボックスを含む、前記同一サイズの前記n個の加工イメージを前記特定のトレーニングイメージに対応するサイズになるようにリサイズした後、これを併合することを特徴とする請求項10に記載の方法。
- 前記メタROI検出ネットワークは、学習装置によって、(i)事前トレーニングイメージのうち少なくとも一つの特定の事前トレーニングイメージが取得されると、前記特定の事前トレーニングイメージに前記コンボリューション演算を適用して少なくとも一つの事前学習用特徴マップを出力し、(ii)前記事前学習用特徴マップの各グリッドセル内の事前学習用メタROIを計算し、(iii)前記事前学習用メタROIを含む事前学習用メタROI群に対応して、少なくとも一つの所定の規則によって調整された、一つ以上のサンプルメタROI群を生成し、(iv)それぞれの前記サンプルメタROI群の各サンプルメタ群点数を計算し、前記事前学習用メタROI群の現在のメタ群点数を計算した後、高い前記サンプルメタ群点数を有する特定のサンプルメタROI群の方向に前記事前学習用メタROI群の前記現在のメタ群点数が調整されるようにする少なくとも一つの事前学習用グラディエントを計算し、(v)前記事前学習用グラディエントを利用した強化学習によって前記メタROI検出ネットワークの一つ以上のパラメータのうち少なくとも一部を学習するプロセスを遂行した状態であることを特徴とする請求項1に記載の方法。
- 前記現在のメタ群点数は、正確性R+C×効率性Rによって取得され得、
前記正確性Rは、前記特定の事前トレーニングイメージ上の物体の総個数に対する、すべての前記事前学習用メタROIにおいて検出された物体個数の割合であり、
前記効率性Rは、前記特定の事前トレーニングイメージの面積に対する前記事前学習用メタROIの面積和の割合の1との差異値であり、
前記Cは、前記事前トレーニングイメージの検証のために使用される事前学習用検証イメージに対応して取得された検証メタ群点数と1とのうち最大値であることを特徴とする請求項12に記載の方法。 - 前記サンプルメタROI群のうち任意の一つのサンプルメタROI群のサンプルメタ群点数は、正確性R’+C×効率性R’によって取得され得、
前記正確性R’は、前記特定の事前トレーニングイメージ上の物体の総個数に対する、前記サンプルメタROI群のうち前記任意の一つのサンプルメタROI群における全てのサンプルメタROI内で検出された物体個数の割合であり、
前記効率性R’は、前記特定の事前トレーニングイメージの面積に対する前記サンプルメタROIの面積和の割合の1との差異値であり、
前記Cは、前記事前トレーニングイメージの検証のために使用される事前学習用検証イメージに対応して取得された検証メタ群点数と1とのうち最大値であることを特徴とする請求項12に記載の方法。 - 前記正確性R’は、前記特定の事前トレーニングイメージ上の物体の総個数に対する、前記任意の一つのサンプルメタROI群における前記サンプルメタROIのうち、サンプルメタROI点数が第2の予め設定された閾値以上である特定のサンプルメタROIで検出された物体個数の割合であり、
前記効率性R’は、前記特定の事前トレーニングイメージの面積に対する前記特定のサンプルメタROIの面積和の割合の1との差異値であることを特徴とする請求項14に記載の方法。 - ニューラルネットワークを学習するのに利用される一つ以上のトレーニングイメージをオートラベリング(auto−labeling)するオートラベリング装置において、
各インストラクションを格納する少なくとも一つのメモリと、
(I)前記トレーニングイメージのうち特定のトレーニングイメージが取得されると、メタROI(Region Of Interest)検出ネットワークをもって、前記特定のトレーニングイメージに一つ以上のコンボリューション演算を適用して少なくとも一つの特徴マップを出力させ、前記特徴マップを参照して、前記特定のトレーニングイメージ上の物体がそれぞれの位置によりグループ化された、前記物体の領域に対応するn個の現在メタROIを取得させるプロセス、及び(II)前記特定のトレーニングイメージ上で、前記n個の現在メタROIに対応する領域をクロップ(crop)してn個の加工イメージを生成し、物体検出ネットワークをもって、前記n個の加工イメージそれぞれに対するそれぞれのバウンディングボックスを有するn個のラベリングされた加工イメージそれぞれを出力させ、前記n個のラベリングされた加工イメージを併合して、ラベリングされた特定のトレーニングイメージを生成するプロセスを遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とするオートラベリング装置。 - 前記(I)プロセスで、
前記プロセッサは、前記メタROI検出ネットワークをもって、前記特徴マップそれぞれのグリッドセル内それぞれの前記現在メタROIの各位置、各サイズ、及び各現在メタROI点数を計算した後、前記現在メタROI点数のうち第1の予め設定された閾値以上である特定の現在メタROI点数に対応する特定の現在メタROIを前記n個の現在メタROIとして判断させることを特徴とする請求項16に記載のオートラベリング装置。 - 前記トレーニングイメージは、検証のための検証イメージを含み、前記第1の予め設定された閾値は、前記検証イメージに対応して取得された検証メタROIのうち正答である確率が最も高い特定の検証メタROIの特定の検証メタROI点数であることを特徴とする請求項17に記載のオートラベリング装置。
- 前記特徴マップは、前記現在メタROIの前記位置を計算するための二つ以上の第1特徴マップチャンネル、前記現在メタROIの前記サイズを計算するための二つ以上の第2特徴マップチャンネル、及び前記現在メタROI点数を計算するための少なくとも一つの第3特徴マップチャンネルを含むことを特徴とする請求項17に記載のオートラベリング装置。
- 前記現在メタROI点数それぞれは、それぞれの前記現在メタROIが正答である確率それぞれにシグモイド(sigmoid)演算を適用したそれぞれの結果であることを特徴とする請求項17に記載のオートラベリング装置。
- 前記(I)プロセスで、
前記プロセッサは、(i)前記特定のトレーニングイメージをダウンサイズして少なくとも一つのダウンサイズされたイメージを生成した後、前記メタROI検出ネットワークをもって、前記ダウンサイズされたイメージに前記コンボリューション演算を適用して前記特徴マップを出力させるプロセス、及び(ii)前記メタROI検出ネットワークをもって、前記特定のトレーニングイメージをダウンサイズして前記ダウンサイズされたイメージを生成させた後、前記メタROI検出ネットワークをもって、前記ダウンサイズされたイメージに前記コンボリューション演算を適用して前記特徴マップを出力させるプロセスのうち一つのプロセスを遂行することを特徴とする請求項16に記載のオートラベリング装置。 - 前記メタROI検出ネットワークは、一つ以上のコンボリューションレイヤを含むことを特徴とする請求項16に記載のオートラベリング装置。
- 前記(II)プロセスで、
前記プロセッサは、前記n個のラベリングされた加工イメージを併合するのにおいて、前記バウンディングボックスのうち、二つ以上の前記ラベリングされた加工イメージが重なった領域の端から内側への特定の距離内で部分的にのみ現れる一つ以上の特定のバウンディングボックスを除去することを特徴とする請求項16に記載のオートラベリング装置。 - 前記(II)プロセスで、
前記プロセッサは、前記n個のラベリングされた加工イメージを併合するのにおいて、二つ以上の前記ラベリングされた加工イメージが重なった領域内に位置する前記バウンディングボックスにNMS(Non Maximum Suppression)を適用して、前記重なった領域内に位置する一つ以上の特定物体に対応する一つ以上の特定のバウンディングボックスを取得することを特徴とする請求項16に記載のオートラベリング装置。 - 前記(II)プロセスで、
前記プロセッサは、前記n個の加工イメージをリサイズして同一サイズになるようにした後、前記物体検出ネットワークをもって前記バウンディングボックスを生成させることを特徴とする請求項16に記載のオートラベリング装置。 - 前記プロセッサは、前記バウンディングボックスを含む、前記同一サイズの前記n個の加工イメージを前記特定のトレーニングイメージに対応するサイズになるようにリサイズした後、これを併合することを特徴とする請求項25に記載のオートラベリング装置。
- 前記メタROI検出ネットワークは、学習装置によって、(i)事前トレーニングイメージのうち少なくとも一つの特定の事前トレーニングイメージが取得されると、前記特定の事前トレーニングイメージに前記コンボリューション演算を適用して少なくとも一つの事前学習用特徴マップを出力し、(ii)前記事前学習用特徴マップの各グリッドセル内の事前学習用メタROIを計算し、(iii)前記事前学習用メタROIを含む事前学習用メタROI群に対応して、少なくとも一つの所定の規則によって調整された、一つ以上のサンプルメタROI群を生成し、(iv)それぞれの前記サンプルメタROI群の各サンプルメタ群点数を計算し、前記事前学習用メタROI群の現在のメタ群点数を計算した後、高い前記サンプルメタ群点数を有する特定のサンプルメタROI群の方向に前記事前学習用メタROI群の前記現在のメタ群点数が調整されるようにする少なくとも一つの事前学習用グラディエントを計算し、(v)前記事前学習用グラディエントを利用した強化学習によって前記メタROI検出ネットワークの一つ以上のパラメータのうち少なくとも一部を学習するプロセスを遂行した状態であることを特徴とする請求項16に記載のオートラベリング装置。
- 前記現在のメタ群点数は正確性R+C×効率性Rによって取得され得、
前記正確性Rは、前記特定の事前トレーニングイメージ上の物体の総個数に対する、すべての前記事前学習用メタROIにおいて検出された物体個数の割合であり、
前記効率性Rは、前記特定の事前トレーニングイメージの面積に対する前記事前学習用メタROIの面積和の割合の1との差異値であり、
前記Cは、前記事前トレーニングイメージの検証のために使用される事前学習用検証イメージに対応して取得された検証メタ群点数と1とのうち最大値であることを特徴とする請求項27に記載のオートラベリング装置。 - 前記サンプルメタROI群のうち任意の一つのサンプルメタROI群のサンプルメタ群点数は、正確性R’+C×効率性R’によって取得され得、
前記正確性R’は、前記特定の事前トレーニングイメージ上の物体の総個数に対する、前記サンプルメタROI群のうち前記任意の一つのサンプルメタROI群における全てのサンプルメタROI内で検出された物体個数の割合であり、
前記効率性R’は、前記特定の事前トレーニングイメージの面積に対する前記サンプルメタROIの面積和の割合の1との差異値であり、
前記Cは、前記事前トレーニングイメージの検証のために使用される事前学習用検証イメージに対応して取得された検証メタ群点数と1とのうち最大値であることを特徴とする請求項27に記載のオートラベリング装置。 - 前記正確性R’は、前記特定の事前トレーニングイメージ上の物体の総個数に対する、前記任意の一つのサンプルメタROI群における前記サンプルメタROIのうち、サンプルメタROI点数が第2の予め設定された閾値以上である特定のサンプルメタROIで検出された物体個数の割合であり、
前記効率性R’は、前記特定の事前トレーニングイメージの面積に対する前記特定のサンプルメタROIの面積和の割合の1との差異値であることを特徴とする請求項29に記載のオートラベリング装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/263,393 | 2019-01-31 | ||
US16/263,393 US10540572B1 (en) | 2019-01-31 | 2019-01-31 | Method for auto-labeling training images for use in deep learning network to analyze images with high precision, and auto-labeling device using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020126614A JP2020126614A (ja) | 2020-08-20 |
JP6853560B2 true JP6853560B2 (ja) | 2021-03-31 |
Family
ID=69167060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020004730A Active JP6853560B2 (ja) | 2019-01-31 | 2020-01-15 | 高精度イメージを分析するディープラーニングネットワークの学習に利用するためのトレーニングイメージをオートラベリングするための方法、及びこれを利用したオートラベリング装置{method for auto−labeling training images for use in deep learning network to analyze images with high precision, and auto−labeling device using the same} |
Country Status (5)
Country | Link |
---|---|
US (1) | US10540572B1 (ja) |
EP (1) | EP3690742A1 (ja) |
JP (1) | JP6853560B2 (ja) |
KR (1) | KR102326256B1 (ja) |
CN (1) | CN111507335B (ja) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018176000A1 (en) | 2017-03-23 | 2018-09-27 | DeepScale, Inc. | Data synthesis for autonomous control systems |
US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
SG11202103493QA (en) | 2018-10-11 | 2021-05-28 | Tesla Inc | Systems and methods for training machine models with augmented data |
US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11150664B2 (en) | 2019-02-01 | 2021-10-19 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
JP7322965B2 (ja) * | 2019-10-28 | 2023-08-08 | 富士通株式会社 | 学習方法、学習プログラム、および学習装置 |
US11462023B2 (en) | 2019-11-14 | 2022-10-04 | Toyota Research Institute, Inc. | Systems and methods for 3D object detection |
CN111383219B (zh) * | 2020-03-12 | 2020-12-01 | 众能联合数字技术有限公司 | 一种智能检测高空作业平台设备清洁度的方法及系统 |
JP7486349B2 (ja) * | 2020-05-28 | 2024-05-17 | キヤノン株式会社 | ニューラルネットワーク、ニューラルネットワークの学習方法、プログラム、画像処理装置 |
CN111950538B (zh) * | 2020-06-23 | 2022-02-08 | 合肥联宝信息技术有限公司 | 一种标签检测方法、装置以及计算机可读存储介质 |
CN111967595B (zh) * | 2020-08-17 | 2023-06-06 | 成都数之联科技股份有限公司 | 候选框标注方法及系统及模型训练方法及目标检测方法 |
CN112102338A (zh) * | 2020-09-17 | 2020-12-18 | 西安泽塔云科技股份有限公司 | 基于深度学习的影像样本数据的获取方法及装置 |
KR20220052223A (ko) | 2020-10-20 | 2022-04-27 | 삼성에스디에스 주식회사 | 객체 감지를 위한 라벨링 장치 및 방법 |
JP2022131497A (ja) * | 2021-02-26 | 2022-09-07 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
KR102637343B1 (ko) * | 2021-05-26 | 2024-02-16 | 삼성전자주식회사 | 오브젝트 추적 방법 및 장치 |
KR102375217B1 (ko) * | 2021-06-03 | 2022-03-16 | (주)하우스퍼즐 | 인공지능 기반 건축 시공비 시뮬레이션 시스템 및 방법 |
CN113897324B (zh) * | 2021-10-13 | 2023-07-28 | 云南师范大学 | 一种用作抗锰剂的JcVIPP1重组大肠杆菌及其构建方法 |
KR20230064889A (ko) | 2021-11-04 | 2023-05-11 | 서울시립대학교 산학협력단 | 인공지능 기반의 훈련 데이터 생성 방법 및 이를 이용한 딥러닝 모듈 훈련 방법 |
US11783609B1 (en) * | 2022-11-30 | 2023-10-10 | Intuit Inc. | Scalable weak-supervised learning with domain constraints |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6448325B2 (ja) * | 2014-11-19 | 2019-01-09 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US9965719B2 (en) * | 2015-11-04 | 2018-05-08 | Nec Corporation | Subcategory-aware convolutional neural networks for object detection |
KR102592076B1 (ko) * | 2015-12-14 | 2023-10-19 | 삼성전자주식회사 | 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치 |
US9858496B2 (en) * | 2016-01-20 | 2018-01-02 | Microsoft Technology Licensing, Llc | Object detection and classification in images |
US10664719B2 (en) * | 2016-02-12 | 2020-05-26 | Adobe Inc. | Accurate tag relevance prediction for image search |
US10217236B2 (en) * | 2016-04-08 | 2019-02-26 | Orbital Insight, Inc. | Remote determination of containers in geographical region |
US10706533B2 (en) * | 2016-05-13 | 2020-07-07 | National Jewish Health | Systems and methods for automatic detection and quantification of pathology using dynamic feature classification |
US10354362B2 (en) * | 2016-09-08 | 2019-07-16 | Carnegie Mellon University | Methods and software for detecting objects in images using a multiscale fast region-based convolutional neural network |
EP3306528B1 (en) * | 2016-10-04 | 2019-12-25 | Axis AB | Using image analysis algorithms for providing traning data to neural networks |
JP6964234B2 (ja) * | 2016-11-09 | 2021-11-10 | パナソニックIpマネジメント株式会社 | 情報処理方法、情報処理装置およびプログラム |
US20180136332A1 (en) * | 2016-11-15 | 2018-05-17 | Wheego Electric Cars, Inc. | Method and system to annotate objects and determine distances to objects in an image |
KR101879207B1 (ko) * | 2016-11-22 | 2018-07-17 | 주식회사 루닛 | 약한 지도 학습 방식의 객체 인식 방법 및 장치 |
CN110235146A (zh) * | 2017-02-03 | 2019-09-13 | 西门子股份公司 | 用于检测图像中的感兴趣对象的方法和装置 |
WO2018165753A1 (en) * | 2017-03-14 | 2018-09-20 | University Of Manitoba | Structure defect detection using machine learning algorithms |
US10209089B2 (en) * | 2017-04-03 | 2019-02-19 | Robert Bosch Gmbh | Automated image labeling for vehicles based on maps |
CN107239803A (zh) * | 2017-07-21 | 2017-10-10 | 国家海洋局第海洋研究所 | 利用深度学习神经网络的海底底质自动分类方法 |
US11093793B2 (en) * | 2017-08-29 | 2021-08-17 | Vintra, Inc. | Systems and methods for a tailored neural network detector |
US10169679B1 (en) * | 2017-10-13 | 2019-01-01 | StradVision, Inc. | Learning method and learning device for adjusting parameters of CNN by using loss augmentation and testing method and testing device using the same |
CN108334878B (zh) * | 2018-02-07 | 2021-01-05 | 北京影谱科技股份有限公司 | 视频图像检测方法、装置、设备及可读存储介质 |
CN108961229A (zh) * | 2018-06-27 | 2018-12-07 | 东北大学 | 基于深度学习的心血管oct影像易损失斑块检测方法及系统 |
-
2019
- 2019-01-31 US US16/263,393 patent/US10540572B1/en active Active
- 2019-11-15 KR KR1020190147100A patent/KR102326256B1/ko active IP Right Grant
-
2020
- 2020-01-15 JP JP2020004730A patent/JP6853560B2/ja active Active
- 2020-01-15 EP EP20152011.1A patent/EP3690742A1/en active Pending
- 2020-01-16 CN CN202010045702.7A patent/CN111507335B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US10540572B1 (en) | 2020-01-21 |
KR20200095335A (ko) | 2020-08-10 |
KR102326256B1 (ko) | 2021-11-16 |
JP2020126614A (ja) | 2020-08-20 |
CN111507335A (zh) | 2020-08-07 |
CN111507335B (zh) | 2023-10-13 |
EP3690742A1 (en) | 2020-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6853560B2 (ja) | 高精度イメージを分析するディープラーニングネットワークの学習に利用するためのトレーニングイメージをオートラベリングするための方法、及びこれを利用したオートラベリング装置{method for auto−labeling training images for use in deep learning network to analyze images with high precision, and auto−labeling device using the same} | |
US10692002B1 (en) | Learning method and learning device of pedestrian detector for robust surveillance based on image analysis by using GAN and testing method and testing device using the same | |
KR102279350B1 (ko) | 자율 주행 상황에서 장애물 검출을 위한 cnn 학습용 이미지 데이터 세트의 생성 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
CN106980871B (zh) | 应用到道路场景图像的低保真分类器和高保真分类器 | |
KR102337376B1 (ko) | 레인 마스크(Lane Mask)를 사용하여 후처리 없이 입력 이미지에 포함된 하나 이상의 차선을 검출하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
CN109726627B (zh) | 一种神经网络模型训练及通用接地线的检测方法 | |
JP6849932B2 (ja) | 高精密度のイメージを分析するためのディープラーニングネットワークを使用するためにトレーニングイメージをオートラベリングするオートラベルリング装置のハイパーパラメータを最適化する方法、及びこれを利用した最適化装置 | |
JP6855091B2 (ja) | ニューラルネットワーク学習に利用されるオートラベリングされたイメージのうちでラベル検収のためのサンプルイメージを取得する方法、及びそれを利用したサンプルイメージ取得装置 | |
US10509987B1 (en) | Learning method and learning device for object detector based on reconfigurable network for optimizing customers' requirements such as key performance index using target object estimating network and target object merging network, and testing method and testing device using the same | |
US10430691B1 (en) | Learning method and learning device for object detector based on CNN, adaptable to customers' requirements such as key performance index, using target object merging network and target region estimating network, and testing method and testing device using the same to be used for multi-camera or surround view monitoring | |
JP6846069B2 (ja) | 遠距離検出または軍事目的のために、イメージコンカチネーションを利用したcnn基盤のハードウェア最適化が可能な物体検出器を学習する方法及び学習装置、それを利用したテスト方法及びテスト装置{learning method and learning device for object detector with hardware optimization based on cnn for detection at distance or military purpose using image concatenation, and testing method and testing device using the same} | |
EP3686791B1 (en) | Learning method and learning device for object detector based on cnn to be used for multi-camera or surround view monitoring using image concatenation and target object merging network, and testing method and testing device using the same | |
JP6850046B2 (ja) | 重要業績評価指標のようなユーザ要求事項に適したターゲット物体予測ネットワークを用いた、cnn基盤の変動に強い物体検出器を学習する方法及び学習装置、並びにこれを利用したテスティング方法及びテスティング装置 | |
CN110874563B (zh) | 通过cnn的多个图像输出的提供集成的特征图的方法及装置 | |
EP3910532B1 (en) | Learning method and learning device for training an object detection network by using attention maps and testing method and testing device using the same | |
US11461653B2 (en) | Learning method and learning device for CNN using 1xK or Kx1 convolution to be used for hardware optimization, and testing method and testing device using the same | |
CN111881743B (zh) | 一种基于语义分割的人脸特征点定位方法 | |
CN111507152A (zh) | 基于内置独立型预测来转换自动驾驶模式的方法及装置 | |
Al Mamun et al. | Efficient lane marking detection using deep learning technique with differential and cross-entropy loss. | |
US10373004B1 (en) | Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image | |
KR102288566B1 (ko) | 딥 뉴럴 네트워크 구성 방법 및 장치 | |
CN110705695B (zh) | 搜索模型结构的方法、装置、设备和存储介质 | |
CN110942179A (zh) | 一种自动驾驶路线规划方法、装置及车辆 | |
CN112668582B (en) | Image recognition method, device, equipment and storage medium | |
KR20230080804A (ko) | 인공지능 기반의 사람 자세 추정 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210302 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210304 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6853560 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |