JP6853560B2 - 高精度イメージを分析するディープラーニングネットワークの学習に利用するためのトレーニングイメージをオートラベリングするための方法、及びこれを利用したオートラベリング装置{method for auto−labeling training images for use in deep learning network to analyze images with high precision, and auto−labeling device using the same} - Google Patents

高精度イメージを分析するディープラーニングネットワークの学習に利用するためのトレーニングイメージをオートラベリングするための方法、及びこれを利用したオートラベリング装置{method for auto−labeling training images for use in deep learning network to analyze images with high precision, and auto−labeling device using the same} Download PDF

Info

Publication number
JP6853560B2
JP6853560B2 JP2020004730A JP2020004730A JP6853560B2 JP 6853560 B2 JP6853560 B2 JP 6853560B2 JP 2020004730 A JP2020004730 A JP 2020004730A JP 2020004730 A JP2020004730 A JP 2020004730A JP 6853560 B2 JP6853560 B2 JP 6853560B2
Authority
JP
Japan
Prior art keywords
meta
roi
specific
auto
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020004730A
Other languages
English (en)
Other versions
JP2020126614A (ja
Inventor
− ヒョン キム、ケイ
− ヒョン キム、ケイ
キム、ヨンジュン
キム、インスー
− キョン キム、ハク
− キョン キム、ハク
ナム、ウヒョン
ブー、ソッフン
ソン、ミュンチュル
ヨー、ドンフン
リュー、ウジュ
チャン、テウン
ジョン、キュンチョン
チェ、ホンモ
チョウ、ホジン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020126614A publication Critical patent/JP2020126614A/ja
Application granted granted Critical
Publication of JP6853560B2 publication Critical patent/JP6853560B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24143Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/096Transfer learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759Region-based matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、ニューラルネットワークの学習に利用するためのトレーニングイメージをオートラベリングする方法及び装置に関する。
近年、機械学習(machine learning)を利用して物体を識別する方法等に関する研究が行われている。このような機械学習の一環として、入力レイヤと出力レイヤとの間に複数個のヒドゥンレイヤ(hidden layer)を有するニューラルネットワークを利用したディープラーニングは高い識別性能を有する。
そして、前記ディープラーニングを利用する前記ニューラルネットワークは、一般的にロスを利用したバックプロパゲーションを通じて学習する。
このようなディープラーニングネットワークの学習を進めるためには、ラベラー(labeler)によって個別データポイントにタグ、すなわち、ラベルを追加したトレーニングデータが必要である。このようなトレーニングデータを準備すること(すなわち、データを正確に分類すること)は、特に大量のトレーニングデータを利用する場合とデータの前処理の品質が持続的に高くない場合、労働集約的であり、費用が多くかかって煩雑であり得る。従来の相互的なラベリングは、費用が高く好ましい結果を導き出すことができない。
したがって、最近ではディープラーニング基盤のオートラベリング装置を利用してトレーニングイメージにタグ、すなわちラベルを追加するオートラベリングを遂行し、検収者がオートラベリングされたトレーニングイメージを検収して前記タグや前記ラベルを校正する。
このような従来のオートラベリングでは、サイズの小さい物体を正確に検出するためにイメージを拡大するが、前記イメージのサイズを拡大する場合、演算量が増加するという問題点がある。
これとは反対に、前記演算量を減少させるために前記イメージをそのまま使用する場合には、サイズの小さい前記物体を正確に検出することができなくなるため、正確性が減少するようになる。
したがって、本発明では正確性を維持し、かつ前記演算量を減らすことができるオートラベリングの方法を提案することにする。
本発明は、前述した問題点を全て解決することをその目的とする。
本発明は、オートラベリングしようとするイメージ内に位置するサイズの小さい物体を検出してラベリングし得るようにすることを他の目的とする。
本発明は、演算量を増加させずにオートラベリングしようとする前記イメージ内に位置するサイズの小さい前記物体を検出して、ラベリングし得るようにすることをまた他の目的とする。
本発明は、演算量を増加させずにオートラベリングの正確性を向上させることをまた他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は以下の通りである。
本発明の一態様によると、ニューラルネットワークを学習するのに利用される一つ以上のトレーニングイメージをオートラベリング(auto−labeling)する方法において、(a)オートラベリング装置が、前記トレーニングイメージのうち特定のトレーニングイメージが取得されると、メタROI(Region Of Interest)検出ネットワークをもって、前記特定のトレーニングイメージに一つ以上のコンボリューション演算を適用して少なくとも一つの特徴マップを出力させ、前記特徴マップを参照して、前記特定のトレーニングイメージ上の物体がそれぞれの位置によりグループ化された、前記物体の領域に対応するn個の現在メタROIを取得させる段階;及び(b)前記オートラベリング装置が、前記特定のトレーニングイメージ上で、前記n個の現在メタROIに対応する領域をクロップ(crop)してn個の加工イメージを生成し、物体検出ネットワークをもって、前記n個の加工イメージそれぞれに対するそれぞれのバウンディングボックスを有するn個のラベリングされた加工イメージそれぞれを出力させ、前記n個のラベリングされた加工イメージを併合して、ラベリングされた特定のトレーニングイメージを生成する段階;を含むことを特徴とする。
一実施例において、前記(a)段階で、前記オートラベリング装置は、前記メタROI検出ネットワークをもって、前記特徴マップのそれぞれのグリッドセル内それぞれの前記現在メタROIの各位置、各サイズ、及び各現在メタROI点数を計算した後、前記現在メタROI点数のうち第1の予め設定された閾値以上である特定の現在メタROI点数に対応する特定の現在メタROIを前記n個の現在メタROIとして判断させることを特徴とする。
一実施例において、前記トレーニングイメージは、検証のための検証イメージを含み、前記第1の予め設定された閾値は、前記検証イメージに対応して取得された検証メタROIのうち正答である確率が最も高い特定の検証メタROIの特定の検証メタROI点数であることを特徴とする。
一実施例において、前記特徴マップは、前記現在メタROIの前記位置を計算するための二つ以上の第1特徴マップチャンネル、前記現在メタROIの前記サイズを計算するための二つ以上の第2特徴マップチャンネル、及び前記現在メタROI点数を計算するための少なくとも一つの第3特徴マップチャンネルを含むことを特徴とする。
一実施例において、前記現在メタROI点数それぞれは、それぞれの前記現在メタROIが正答である確率それぞれにシグモイド(sigmoid)演算を適用したそれぞれの結果であることを特徴とする。
一実施例において、前記(a)段階で、前記オートラベリング装置は、(i)前記特定のトレーニングイメージをダウンサイズして少なくとも一つのダウンサイズされたイメージを生成した後、前記メタROI検出ネットワークをもって、前記ダウンサイズされたイメージに前記コンボリューション演算を適用して前記特徴マップを出力させるプロセス、及び(ii)前記メタROI検出ネットワークをもって、前記特定のトレーニングイメージをダウンサイズして前記ダウンサイズされたイメージを生成させた後、前記メタROI検出ネットワークをもって、前記ダウンサイズされたイメージに前記コンボリューション演算を適用して前記特徴マップを出力させるプロセスのうち一つのプロセスを遂行することを特徴とする。
一実施例において、前記メタROI検出ネットワークは、一つ以上のコンボリューションレイヤを含むことを特徴とする。
一実施例において、前記(b)段階で、前記オートラベリング装置は、前記n個のラベリングされた加工イメージを併合するのにおいて、前記バウンディングボックスのうち、二つ以上の前記ラベリングされた加工イメージが重なった領域の端から内側への特定の距離内で部分的にのみ現れる一つ以上の特定のバウンディングボックスを除去することを特徴とする。
一実施例において、前記(b)段階で、前記オートラベリング装置は、前記n個のラベリングされた加工イメージを併合するのにおいて、二つ以上の前記ラベリングされた加工イメージが重なった領域内に位置する前記バウンディングボックスにNMS(Non Maximum Suppression)を適用して、前記重なった領域内に位置する一つ以上の特定物体に対応する一つ以上の特定のバウンディングボックスを取得することを特徴とする。
一実施例において、前記(b)段階で、前記オートラベリング装置は、前記n個の加工イメージをリサイズして同一サイズになるようにした後、前記物体検出ネットワークをもって前記バウンディングボックスを生成させることを特徴とする。
一実施例において、前記オートラベリング装置は、前記バウンディングボックスを含む、前記同一サイズの前記n個の加工イメージを前記特定のトレーニングイメージに対応するサイズになるようにリサイズした後、これを併合することを特徴とする。
一実施例において、前記メタROI検出ネットワークは、学習装置によって、(i)事前トレーニングイメージのうち少なくとも一つの特定の事前トレーニングイメージが取得されると、前記特定の事前トレーニングイメージに前記コンボリューション演算を適用して少なくとも一つの事前学習用特徴マップを出力し、(ii)前記事前学習用特徴マップの各グリッドセル内の事前学習用メタROIを計算し、(iii)前記事前学習用メタROIを含む事前学習用メタROI群に対応して、少なくとも一つの所定の規則によって調整された、一つ以上のサンプルメタROI群を生成し、(iv)それぞれの前記サンプルメタROI群の各サンプルメタ群点数を計算し、前記事前学習用メタROI群の現在のメタ群点数を計算した後、高い前記サンプルメタ群点数を有する特定のサンプルメタROI群の方向に前記事前学習用メタROI群の前記現在のメタ群点数が調整されるようにする少なくとも一つの事前学習用グラディエントを計算し、(v)前記事前学習用グラディエントを利用した強化学習によって前記メタROI検出ネットワークの一つ以上のパラメータのうち少なくとも一部を学習するプロセスを遂行した状態であることを特徴とする。
一実施例において、前記現在のメタ群点数は、正確性R+C×効率性Rによって取得され得、前記正確性Rは、前記特定の事前トレーニングイメージ上の物体の総個数に対する、すべての前記事前学習用メタROIにおいて検出された物体個数の割合であり、前記効率性Rは、前記特定の事前トレーニングイメージの面積に対する前記事前学習用メタROIの面積和の割合の1との差異値であり、前記Cは、前記事前トレーニングイメージの検証のために使用される事前学習用検証イメージに対応して取得された検証メタ群点数と1とのうち最大値であることを特徴とする。
一実施例において、前記サンプルメタROI群のうち任意の一つのサンプルメタROI群のサンプルメタ群点数は、正確性R’+C×効率性R’によって取得され得、前記正確性R’は、前記特定の事前トレーニングイメージ上の物体の総個数に対する、前記サンプルメタROI群のうち前記任意の一つのサンプルメタROI群における全てのサンプルメタROI内で検出された物体個数の割合であり、前記効率性R’は、前記特定の事前トレーニングイメージの面積に対する前記サンプルメタROIの面積和の割合の1との差異値であり、前記Cは、前記事前トレーニングイメージの検証のために使用される事前学習用検証イメージに対応して取得された検証メタ群点数と1とのうち最大値であることを特徴とする。
一実施例において、前記正確性R’は、前記特定の事前トレーニングイメージ上の物体の総個数に対する、前記任意の一つのサンプルメタROI群における前記サンプルメタROIのうち、サンプルメタROI点数が第2の予め設定された閾値以上である特定のサンプルメタROIで検出された物体個数の割合であり、前記効率性R’は、前記特定の事前トレーニングイメージの面積に対する前記特定のサンプルメタROIの面積和の割合の1との差異値であることを特徴とする。
本発明の他の態様によると、ニューラルネットワークを学習するのに利用される一つ以上のトレーニングイメージをオートラベリング(auto−labeling)するオートラベリング装置において、各インストラクションを格納する少なくとも一つのメモリと、(I)前記トレーニングイメージのうち特定のトレーニングイメージが取得されると、メタROI(Region Of Interest)検出ネットワークをもって、前記特定のトレーニングイメージに一つ以上のコンボリューション演算を適用して少なくとも一つの特徴マップを出力させ、前記特徴マップを参照して、前記特定のトレーニングイメージ上の物体がそれぞれの位置によりグループ化された、前記物体の領域に対応するn個の現在メタROIを取得させるプロセス、及び(II)前記特定のトレーニングイメージ上で、前記n個の現在メタROIに対応する領域をクロップ(crop)してn個の加工イメージを生成し、物体検出ネットワークをもって、前記n個の加工イメージそれぞれに対するそれぞれのバウンディングボックスを有するn個のラベリングされた加工イメージそれぞれを出力させ、前記n個のラベリングされた加工イメージを併合して、ラベリングされた特定のトレーニングイメージを生成するプロセスを遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
一実施例において、前記(I)プロセスで、前記プロセッサは、前記メタROI検出ネットワークをもって、前記特徴マップそれぞれのグリッドセル内それぞれの前記現在メタROIの各位置、各サイズ、及び各現在メタROI点数を計算した後、前記現在メタROI点数のうち第1の予め設定された閾値以上である特定の現在メタROI点数に対応する特定の現在メタROIを前記n個の現在メタROIとして判断させることを特徴とする。
一実施例において、前記トレーニングイメージは、検証のための検証イメージを含み、前記第1の予め設定された閾値は、前記検証イメージに対応して取得された検証メタROIのうち正答である確率が最も高い特定の検証メタROIの特定の検証メタROI点数であることを特徴とする。
一実施例において、前記特徴マップは、前記現在メタROIの前記位置を計算するための二つ以上の第1特徴マップチャンネル、前記現在メタROIの前記サイズを計算するための二つ以上の第2特徴マップチャンネル、及び前記現在メタROI点数を計算するための少なくとも一つの第3特徴マップチャンネルを含むことを特徴とする。
一実施例において、前記現在メタROI点数それぞれは、それぞれの前記現在メタROIが正答である確率それぞれにシグモイド(sigmoid)演算を適用したそれぞれの結果であることを特徴とする。
一実施例において、前記(I)プロセスで、前記プロセッサは、(i)前記特定のトレーニングイメージをダウンサイズして少なくとも一つのダウンサイズされたイメージを生成した後、前記メタROI検出ネットワークをもって、前記ダウンサイズされたイメージに前記コンボリューション演算を適用して前記特徴マップを出力させるプロセス、及び(ii)前記メタROI検出ネットワークをもって、前記特定のトレーニングイメージをダウンサイズして前記ダウンサイズされたイメージを生成させた後、前記メタROI検出ネットワークをもって、前記ダウンサイズされたイメージに前記コンボリューション演算を適用して前記特徴マップを出力させるプロセスのうち一つのプロセスを遂行することを特徴とする。
一実施例において、前記メタROI検出ネットワークは、一つ以上のコンボリューションレイヤを含むことを特徴とする。
一実施例において、前記(II)プロセスで、前記プロセッサは、前記n個のラベリングされた加工イメージを併合するのにおいて、前記バウンディングボックスのうち、二つ以上の前記ラベリングされた加工イメージが重なった領域の端から内側への特定の距離内で部分的にのみ現れる一つ以上の特定のバウンディングボックスを除去することを特徴とする。
一実施例において、前記(II)プロセスで、前記プロセッサは、前記n個のラベリングされた加工イメージを併合するのにおいて、二つ以上の前記ラベリングされた加工イメージが重なった領域内に位置する前記バウンディングボックスにNMS(Non Maximum Suppression)を適用して、前記重なった領域内に位置する一つ以上の特定物体に対応する一つ以上の特定のバウンディングボックスを取得することを特徴とする。
一実施例において、前記(II)プロセスで、前記プロセッサは、前記n個の加工イメージをリサイズして同一サイズになるようにした後、前記物体検出ネットワークをもって前記バウンディングボックスを生成させることを特徴とする。
一実施例において、前記プロセッサは、前記バウンディングボックスを含む、前記同一サイズの前記n個の加工イメージを前記特定のトレーニングイメージに対応するサイズになるようにリサイズした後、これを併合することを特徴とする。
一実施例において、前記メタROI検出ネットワークは、学習装置によって、(i)事前トレーニングイメージのうち少なくとも一つの特定の事前トレーニングイメージが取得されると、前記特定の事前トレーニングイメージに前記コンボリューション演算を適用して少なくとも一つの事前学習用特徴マップを出力し、(ii)前記事前学習用特徴マップの各グリッドセル内の事前学習用メタROIを計算し、(iii)前記事前学習用メタROIを含む事前学習用メタROI群に対応して、少なくとも一つの所定の規則によって調整された、一つ以上のサンプルメタROI群を生成し、(iv)それぞれの前記サンプルメタROI群の各サンプルメタ群点数を計算し、前記事前学習用メタROI群の現在のメタ群点数を計算した後、高い前記サンプルメタ群点数を有する特定のサンプルメタROI群の方向に前記事前学習用メタROI群の前記現在のメタ群点数が調整されるようにする少なくとも一つの事前学習用グラディエントを計算し、(v)前記事前学習用グラディエントを利用した強化学習によって前記メタROI検出ネットワークの一つ以上のパラメータのうち少なくとも一部を学習するプロセスを遂行した状態であることを特徴とする。
一実施例において、前記現在のメタ群点数は正確性R+C×効率性Rによって取得され得、前記正確性Rは、前記特定の事前トレーニングイメージ上の物体の総個数に対する、すべての前記事前学習用メタROIにおいて検出された物体個数の割合であり、前記効率性Rは、前記特定の事前トレーニングイメージの面積に対する前記事前学習用メタROIの面積和の割合の1との差異値であり、前記Cは、前記事前トレーニングイメージの検証のために使用される事前学習用検証イメージに対応して取得された検証メタ群点数と1とのうち最大値であることを特徴とする。
一実施例において、前記サンプルメタROI群のうち任意の一つのサンプルメタROI群のサンプルメタ群点数は、正確性R’+C×効率性R’によって取得され得、前記正確性R’は、前記特定の事前トレーニングイメージ上の物体の総個数に対する、前記サンプルメタROI群のうち前記任意の一つのサンプルメタROI群における全てのサンプルメタROI内で検出された物体個数の割合であり、前記効率性R’は、前記特定の事前トレーニングイメージの面積に対する前記サンプルメタROIの面積和の割合の1との差異値であり、前記Cは、前記事前トレーニングイメージの検証のために使用される事前学習用検証イメージに対応して取得された検証メタ群点数と1とのうち最大値であることを特徴とする。
一実施例において、前記正確性R’は、前記特定の事前トレーニングイメージ上の物体の総個数に対する、前記任意の一つのサンプルメタROI群における前記サンプルメタROIのうち、サンプルメタROI点数が第2の予め設定された閾値以上である特定のサンプルメタROIで検出された物体個数の割合であり、前記効率性R’は、前記特定の事前トレーニングイメージの面積に対する前記特定のサンプルメタROIの面積和の割合の1との差異値であることを特徴とする。
その他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。
本発明は、イメージ上において物体を含む領域のみをクロップ(crop)してオートラベリングを遂行することにより、オートラベリングのための演算量を減少させることが可能となる。
また、本発明は、イメージ上の、サイズの小さい物体領域をクロップしリサイズしてオートラベルを遂行することにより、サイズの小さい物体を正確に検出してラベリングすることができるため、オートラベリングの正確性を向上させることが可能となる。
また、本発明は、イメージ内に物体が位置する領域のみをクロップしリサイズしてオートラベルを遂行することにより、オートラベリングの演算量を減少させるとともに正確性を向上させることができるようになる。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者(以下「通常の技術者」)にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
本発明の一実施例にしたがって、ニューラルネットワークの学習に利用される一つ以上のトレーニングイメージをオートラベリングするオートラベリング装置を簡略に示したものである。 本発明の一実施例にしたがって、前記ニューラルネットワークの学習に利用される前記トレーニングイメージをオートラベリングする方法を簡略に示したものである。 本発明の一実施例にしたがって、前記ニューラルネットワークの学習に利用される前記トレーニングイメージをラベリングする方法において、メタROI検出ネットワークから現在のメタROIを取得する過程を簡略に示したものである。 本発明の一実施例にしたがって、前記ニューラルネットワークの学習に利用される前記トレーニングイメージをラベリングする方法において、前記メタROI検出ネットワークを学習する過程を簡略に示したものである。 本発明の一実施例にしたがって、前記ニューラルネットワークの学習に利用される前記トレーニングイメージをラベリングする方法において、オートラベリングのための物体検出を遂行する過程を簡略に示したものである。
後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体(例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物)を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ(例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ)でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体(例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物)を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
図1は、本発明の一実施例にしたがって、ニューラルネットワークの学習に利用される一つ以上のトレーニングイメージをオートラベリング(auto−labeling)するオートラベリング装置を簡略に示したものであり、図1を参照すると、前記オートラベリング装置100は、前記トレーニングイメージをオートラベリングするための各インストラクションを格納するメモリ110と、前記メモリ110に格納された前記各インストラクションに対応して前記トレーニングイメージをオートラベリングするプロセスを遂行するプロセッサ120とを含むことができる。
具体的に、前記オートラベリング装置100は、典型的に少なくとも一つのコンピューティング装置(例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含み得る装置;ルータ、スイッチなどのような電子通信装置;ネットワーク接続ストレージ(NAS)及びストレージ領域ネットワーク(SAN)のような電子情報ストレージシステム)と少なくとも一つのコンピュータソフトウェア(すなわち、前記コンピューティング装置をもって特定の方式で機能させる各インストラクション)との組合せを利用して所望のシステム性能を達成するものであり得る。
また、前記コンピューティング装置のプロセッサは、MPU(Micro Processing Unit)またはCPU(Central Processing Unit)、キャッシュメモリ(Cache Memory)、データバス(Data Bus)などのハードウェアの構成を含み得る。また、コンピューティング装置は、運営体制、特定の目的を遂行するアプリケーションのソフトウェアの構成をさらに含むこともできる。
しかし、このような前記コンピューティング装置に関する説明が本発明を実施するためのプロセッサ、メモリ、媒体またはその他のコンピューティング構成要素が統合された形態である統合プロセッサの場合を排除するわけではない。
本発明の一実施例による前記オートラベリング装置100を利用してイメージを分析する前記ニューラルネットワークの学習に利用される前記トレーニングイメージをラベリングする方法について、図2を参照して説明すると以下のとおりである。
まず、前記トレーニングイメージのうち少なくとも一つの特定のトレーニングイメージIM10が取得されると、前記オートラベリング装置100が、メタROI(Region Of interest)検出ネットワーク20をもって、前記特定のトレーニングイメージIM10に一つ以上のコンボリューション演算を適用して少なくとも一つの特徴マップを出力するようにし、前記特徴マップを参照して、前記特定のトレーニングイメージIM10上の物体がそれぞれの位置によりグループ化された、前記物体の領域に対応するn個の現在メタROIを取得させる。
この際、前記メタROI検出ネットワーク20は、一つ以上のコンボリューションレイヤを含むことができ、前記特定のトレーニングイメージIM10に前記コンボリューション演算を適用してM×M×Lボリュームの特徴マップを出力することができる。
一方、前記オートラベリング装置100は、前記メタROI検出ネットワーク20をもって、前記特定のトレーニングイメージIM10に前記コンボリューション演算を適用させることとは異なり、前記演算量を減少させるために、前記特定のトレーニングイメージIM10をダウンサイズして少なくとも一つのダウンサイズされたイメージを生成し、前記ダウンサイズされたイメージに前記コンボリューション演算を適用することができる。
一例として、前記オートラベリング装置100は、前記特定のトレーニングイメージIM10をダウンサイズして前記ダウンサイズされたイメージを生成した後、前記メタROI検出ネットワーク20をもって、前記ダウンサイズされたイメージに前記コンボリューション演算を適用して前記特徴マップを出力させることができる。その他の例として、前記オートラベリング装置100は、前記メタROI検出ネットワーク20をもって、前記特定のトレーニングイメージIM10をダウンサイズして前記ダウンサイズされたイメージを生成させ、前記ダウンサイズされたイメージに前記コンボリューション演算を適用して前記特徴マップを出力させることができる。
また、前記トレーニングイメージには固有のトゥルーラベルを有する検証イメージが含まれ得る。そして、図面において、前記特定のトレーニングイメージIM10内の点線からなるボックスそれぞれは、前記特定のトレーニングイメージIM10内に前記物体それぞれが位置する各領域を例示的に示したものである。
そして、図3を参照して、前記メタROI検出ネットワーク20が前記n個の現在メタROIを取得する過程を、さらに詳しく説明すると以下のとおりである。
前記特定のトレーニングイメージIM10が取得されると、前記メタROI検出ネットワーク20は、前記特定のトレーニングイメージIM10をダウンサイズして前記ダウンサイズされたイメージを生成し、前記ダウンサイズされたイメージを前記コンボリューションレイヤ21に入力することができる。この際、前記にて説明したように、前記特定のトレーニングイメージIM10がダウンサイズされずに前記コンボリューションレイヤ21に直接入力され得るが、演算量を減少させるために前記ダウンサイズされたイメージが利用され得、前記オートラベリング装置100は、前記ダウンサイズされたイメージを前記メタROI検出ネットワーク20に入力することもできる。
そうすると、前記コンボリューションレイヤ21は、前記ダウンサイズされたイメージに前記コンボリューション演算を適用することにより、前記M×M×Lボリュームの特徴マップを出力するようになる。
以後、前記メタROI検出ネットワーク20は、M×M×Lボリュームの前記特徴マップのそれぞれのグリッドセル内それぞれの前記現在メタROIの各位置、各サイズ、及び各現在メタROIの点数を計算する。図3では、前記特徴マップが3×3×5ボリュームを有するものと示されているが、これは説明の便宜のためであって発明がこれに限定されるわけではなく、以下では3×3×5ボリュームの前記特徴マップを利用して前記現在メタROIを生成する方法について説明する。
この場合、前記特徴マップのそれぞれの前記グリッドセルに対する出力値、すなわち特徴値は、
Figure 0006853560

と表すことができ、それぞれの前記グリッドセルに対するそれぞれの前記現在メタROIは、
Figure 0006853560

のように表すことができる。
そして、それぞれの前記グリッドセルに対するそれぞれの前記現在メタROI
Figure 0006853560

は、以下の数学式のように表すことができる。
Figure 0006853560
この場合、それぞれの
Figure 0006853560

は、それぞれの前記現在メタROI点数であり、それぞれの前記現在メタROIが正答である確率それぞれにシグモイド(sigmoid)演算を適用したそれぞれの結果であり得る。
そして、
Figure 0006853560


Figure 0006853560

はそれぞれの前記現在メタROIの各位置を示し、
Figure 0006853560


Figure 0006853560

はそれぞれの前記現在メタROIの各サイズを表すことができる。したがって、前記特徴マップは、前記現在メタROIの各位置を計算するための二つ以上の第1特徴マップチャンネル、前記現在メタROIの各サイズを計算するための二つ以上の第2特徴マップチャンネル、及び前記現在メタROI点数を計算するための少なくとも一つの第3特徴マップチャンネルを含むことができる。
また、3×3×5ボリュームの前記特徴マップには、前記現在メタROIが9つあり得、M×M×Lボリュームの前記特徴マップには、前記現在メタROIがM×M個あり得る。
以後、前記メタROI検出ネットワーク20は、前記特徴マップのそれぞれの前記グリッドセルに対する前記現在メタROI点数のうち第1の予め設定された閾値以上である特定の現在メタROI点数に対応する特定の現在メタROIを前記n個の現在メタROIとして判断することができる。
すなわち、前記メタROI検出ネットワーク20は、前記特徴マップのそれぞれの前記グリッドセル内M×M個の前記現在メタROIのうち、現在メタROI点数が前記第1の予め設定された閾値以上である前記n個の現在メタROIを選定することができる。
この際、前記トレーニングイメージは、検証のための前記検証イメージを含むことができ、前記第1の予め設定された閾値は、前記検証イメージに対応して取得された検証メタROIのうち正答である確率が最も高い特定の検証メタROIの特定の検証メタROI点数であり得る。
一方、前記メタROI検出ネットワーク20は、事前に学習された状態であり得、前記メタROI検出ネットワーク20を学習する方法を説明すると以下のとおりである。
参考までに、以下の説明で混同を避けるために、現在の学習プロセス以前に既に完了した事前学習プロセスに関連する用語に「事前トレーニング」または「事前学習用」という文句が追加されている。
事前トレーニングイメージのうち少なくとも一つの特定の事前トレーニングイメージが取得されると、学習装置(図示せず)が、前記メタROI検出ネットワーク20をもって、前記特定の事前トレーニングイメージに前記コンボリューション演算を適用して少なくとも一つの事前学習用特徴マップを出力させる。この場合、前記で説明したように、前記コンボリューション演算はダウンサイズしない前記特定の事前トレーニングイメージに適用され得るが、演算量を減少させるために前記ダウンサイズされたイメージが利用され得、前記特定の事前トレーニングイメージをダウンサイズした前記ダウンサイズされたイメージが前記学習装置によって取得されてもよい。また、前記メタROI検出ネットワーク20は、一つ以上のコンボリューションレイヤを含んでいてもよい。
また、学習装置は、前記メタROI検出ネットワーク20の学習のための各インストラクションを格納するメモリ(図示せず)と、メモリに格納された各インストラクションとに対応して、前記メタROI検出ネットワーク20に関する学習を遂行するプロセッサ(図示せず)を含むことができる。具体的に、前記学習装置は、典型的に少なくとも一つのコンピューティング装置(例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含み得る装置;ルータ、スイッチなどのような電子通信装置;ネットワーク接続ストレージ(NAS)及びストレージ領域ネットワーク(SAN)のような電子情報ストレージシステム)と少なくとも一つのコンピュータソフトウェア(すなわち、前記コンピューティング装置をもって特定の方式で機能させる各インストラクション)との組合せを利用して所望のシステム性能を達成するものでもあり得る。また、前記コンピューティング装置のプロセッサは、MPU(Micro Processing Unit)またはCPU(Central Processing Unit)、キャッシュメモリ(Cache Memory)、データバス(Data Bus)などのハードウェアの構成を含み得る。また、コンピューティング装置は、運営体制、特定の目的を遂行するアプリケーションのソフトウェアの構成をさらに含むこともできる。しかし、このような前記コンピューティング装置に関する説明が本発明を実施するためのプロセッサ、メモリ、媒体またはその他のコンピューティング構成要素が統合された形態である統合プロセッサの場合を排除するわけではない。
そして、前記学習装置は、前記事前学習用特徴マップのそれぞれのグリッドセル内に事前学習用メタROI
Figure 0006853560

を生成し、前記事前学習用メタROIを含む事前学習用メタROI群Rに対応して、所定の規則によって調整された、多数のサンプルメタROI群
Figure 0006853560

を生成する。
一例として、前記サンプルメタROI群R’は、前記事前学習用メタROI群Rの周辺に生成され得る。
この際、前記それぞれのグリッドセルに対する調整された出力値は、
Figure 0006853560

と表すことができ、前記調整されたサンプルメタROI点数は
Figure 0006853560

と表すことができ、この際、標準偏差
Figure 0006853560

は1であり得る。
前記では、3×3×5ボリュームの前記特徴マップを例示的に説明したが、本発明はこれに限定されず、M×M×Lボリュームの前記特徴マップでも同一に適用され得る。
以後、前記学習装置は、それぞれの前記サンプルメタROI群R’の各サンプルメタ群点数S(R’)を計算し、前記事前学習用メタROI群Rの現在のメタ群点数S(R)を計算することができる。
この際、前記現在のメタ群点数S(R)は、正確性R+C×効率性Rによって取得され得、前記正確性Rは、前記特定の事前トレーニングイメージ上の物体の総個数に対する、すべての前記事前学習用メタROIで検出された物体個数の割合であり、前記効率性Rは、前記特定の事前トレーニングイメージの面積に対する前記事前学習用メタROIの面積和の割合の1との差異値であり、前記Cは、前記事前トレーニングイメージの検証のために使用される事前学習用検証イメージに対応して取得された検証メタ群点数と1とのうち最大値であり得る。
すなわち、S(R)=正確性R+C×効率性R、
Figure 0006853560


Figure 0006853560

のように表すことができる。
また、前記サンプルメタROI群のうち任意の一つのサンプルメタROI群におけるサンプルメタ群点数は、正確性R’+C×効率性R’によって取得され得、前記正確性R’は、前記特定の事前トレーニングイメージ上の物体の総個数に対する、前記サンプルメタROI群のうち前記任意の一つのサンプルメタROI群におけるサンプルメタROIそれぞれ内で検出された物体個数の総和の割合であり、前記効率性R’は、前記特定の事前トレーニングイメージの面積に対する前記サンプルメタROIの面積和の割合の1との差異値であり、前記Cは、前記事前トレーニングイメージの検証のために使用される前記事前学習用検証イメージに対応して取得された検証メタ群点数と1とのうち最大値であり得る。この際、前記サンプルメタROI群のうち同一の群の第1サンプルメタROIと第2サンプルメタROIとの両方に位置する特定物体は二つと数えない。
すなわち、S(R’)=正確性R’+C×効率性R’、
Figure 0006853560


Figure 0006853560

のように表すことができる。
一方、前記サンプルメタROI群R’のうち任意の一つのサンプルメタROI群におけるサンプルメタ群点数S(R’)を計算するにおいて、サンプルメタROI点数
Figure 0006853560

が第2の予め設定された閾値以上である特定のサンプルメタROIが活用され得る。この際、前記第2の予め設定された閾値は1であり得るが、これに限定されず、前記サンプルメタROI群R’の前記サンプルメタ群点数S(R’)のうち一部が前記現在のメタ群点数S(R)より大きい値に設定され得る。
つまり、前記正確性R’は、前記特定の事前トレーニングイメージ上の物体の総個数に対する、前記任意の一つのサンプルメタROI群における前記サンプルメタROIのうち、前記サンプルメタROI点数が前記第2の予め設定された閾値以上である前記特定のサンプルメタROIで検出された物体個数の割合であり、前記効率性R’は、前記特定の事前トレーニングイメージの面積に対する前記特定のサンプルメタROIの面積和の割合の1との差異値であり得る。
以後、前記学習装置は、前記サンプルメタ群点数S(R’)が高くなる前記特定のサンプルメタROI群R’の方向に、前記事前学習用メタROI群Rの前記現在のメタ群点数S(R)を調整するための少なくとも一つの事前学習用グラディエントを計算することができる。
この場合、前記学習装置は、次の数学式を使用して前記事前学習用グラディエント
Figure 0006853560

を計算することができる。
Figure 0006853560
以後、前記学習装置は、前記事前学習用グラディエントを利用した強化学習によって前記メタROI検出ネットワーク20の一つ以上のパラメータのうち少なくとも一部を調整することができる。一例として、前記学習装置は、前記事前学習用グラディエントを利用した前記強化学習により、前記メタROI検出ネットワークに含まれている前記コンボリューションレイヤの一つ以上のパラメータのうち少なくとも一部を調整することができる。
すなわち、図4を参照すると、前記事前学習用メタROI群Rに基づいて調整された前記サンプルメタROI群R’は、前記事前学習用メタROI群Rの位置に基づくカウシアン分布(Gaussian distribution)を有するようになり、点数が高い前記サンプルメタROI群R’から導き出された前記方向に事前学習用メタROI群Rを調整するように強化学習させることにより、前記事前学習用メタROI群Rの点数は、前記学習によって漸次高くなるようになり、それに伴って前記現在メタROIを取得するための正確性が増加し得る。
再び図2を参照すると、前記オートラベリング装置100は、前記特定のトレーニングイメージIM20上で、前記n個の現在メタROIに対応する領域をクロップ(crop)してn個の加工イメージIM21を生成し、物体検出ネットワーク30をもって、前記n個の加工イメージIM21それぞれに対するそれぞれのバウンディングボックスを有するn個のラベリングされた加工イメージIM30それぞれを出力することができる。
この際、前記物体検出ネットワーク30は、前記n個の加工イメージIM21それぞれに対応する多数のネットワークで構成され得、それぞれの前記多数のネットワークは、前記n個の加工イメージIM21それぞれに対するバウンディングボックスを生成することにより、前記n個のラベリングされた加工イメージIM30を生成するか、前記n個の加工イメージIM21のサイズをリサイズして同一サイズになるようにした後、前記物体検出ネットワーク30をもって、前記同一サイズの前記n個のラベリングされた加工イメージIM30を生成させることができる。
一方、図5を参照して、前記物体検出ネットワーク30が少なくとも一つの特定の加工イメージ上で前記バウンディングボックスを生成する方法を説明すると以下のとおりである。
前記特定の加工イメージが取得されると、前記物体検出ネットワーク30は、一つ以上のコンボリューションレイヤ31をもって、前記特定の加工イメージに前記コンボリューション演算を適用して少なくとも一つの物体検出用特徴マップを出力させる。この際、前記コンボリューションレイヤ31は、前記特定の加工イメージに前記コンボリューション演算を順次に適用して前記物体検出用特徴マップを生成することができる。
そして、前記物体検出ネットワーク30は、RPN(Region Proposal Network)32をもって、前記物体検出用特徴マップ上で前記物体を含むものと予測される候補領域に対応するプロポーザルボックスを出力させる。
以後、前記物体検出ネットワーク30は、少なくとも一つのプーリングレイヤ33をもって、前記物体検出用特徴マップ上で、前記プロポーザルボックスに対応する領域に一つ以上のプーリング演算を適用して一つ以上の特徴ベクトルを出力させる。
そして、前記物体検出ネットワーク30は、少なくとも一つのFC(Fully connected)レイヤ34をもって、前記特徴ベクトルを利用して、それぞれの前記プロポーザルボックスに対応するそれぞれの物体クラス情報35とそれぞれのリグレッション値36とを出力することによって、前記特定の加工イメージ上に位置する前記物体に対応する前記バウンディングボックスを生成させる。
一方、前記物体検出ネットワーク30は、事前に学習された状態であり得る。すなわち、一つ以上のロスを利用したバックプロパゲーションを通じて前記FCレイヤ34及び前記コンボリューションレイヤ31の一つ以上のパラメータのうち少なくとも一部が調整された状態であり得る。また、前記RPN32も事前に学習された状態であり得る。
再び図2を参照すると、前記オートラベリング装置100は、前記n個のラベリングされた加工イメージIM30を併合して、ラベリングされた特定のトレーニングイメージIM31を生成することができる。
この場合、前記オートラベリング装置100は、前記n個のラベリングされた加工イメージIM30を併合するのにおいて、前記バウンディングボックスのうち、二つ以上の前記ラベリングされた加工イメージIM30が重なった領域の端から内側への特定の距離内で部分的に現れる一つ以上の特定のバウンディングボックスを除去することができる。一例として、前記オートラベリング装置100は、前記ラベリングされた加工イメージIM30のうち3のラベリングされた加工イメージ内で部分的にのみ現れるバウンディングボックスbを除去し、前記ラベリングされた加工イメージIM30を併合することができる。
また、前記オートラベリング装置100は、前記n個のラベリングされた加工イメージIM30を併合するのにおいて、二つ以上の前記ラベリングされた加工イメージが重なった領域内に位置する前記バウンディングボックスにNMS(Non Maximum Suppression)を適用して、前記重なった領域内に位置する一つ以上の特定物体に対応する一つ以上の特定のバウンディングボックスを取得することができる。すなわち、前記重なった領域が、互いに重なるバウンディングボックスを含む場合、前記確率の最も高い特定のバウンディングボックスが特定の物体に対応する前記特定のバウンディングボックスに指定され、確率の低いバウンディングボックスを除去することができる。
そして、前記オートラベリング装置100は、前記バウンディングボックスが生成された前記n個のラベリングされた加工イメージIM30を併合するのにおいて、前記特定のトレーニングイメージに対応する前記n個のラベリングされた加工イメージを併合することができる。特に、前記同一サイズの前記n個のラベリングされた加工イメージIM30を併合する場合、前記n個のラベリングされた加工イメージIM30をそれぞれ前記特定のトレーニングイメージに対応するようにリサイズした後、併合することができる。
前記方法は、ポリシー勾配アルゴリズム(policy gradient algorithm)を使用する強化学習、オンライン学習、連続学習及びハイパーパラメータ学習を利用して、イメージを高精度に分析するために遂行され得る。
また、以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、フロプティカルディスク(Floptical Disk)のような磁気−光メディア(Magneto−Optical Media)、及びROM、RAM、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (30)

  1. ニューラルネットワークを学習するのに利用される一つ以上のトレーニングイメージをオートラベリング(auto−labeling)する方法において、
    (a)オートラベリング装置が、前記トレーニングイメージのうち特定のトレーニングイメージが取得されると、メタROI(Region Of Interest)検出ネットワークをもって、前記特定のトレーニングイメージに一つ以上のコンボリューション演算を適用して少なくとも一つの特徴マップを出力させ、前記特徴マップを参照して、前記特定のトレーニングイメージ上の物体がそれぞれの位置によりグループ化された、前記物体の領域に対応するn個の現在メタROIを取得させる段階;及び
    (b)前記オートラベリング装置が、前記特定のトレーニングイメージ上で、前記n個の現在メタROIに対応する領域をクロップ(crop)してn個の加工イメージを生成し、物体検出ネットワークをもって、前記n個の加工イメージそれぞれに対するそれぞれのバウンディングボックスを有するn個のラベリングされた加工イメージそれぞれを出力させ、前記n個のラベリングされた加工イメージを併合して、ラベリングされた特定のトレーニングイメージを生成する段階;
    を含むことを特徴とする方法。
  2. 前記(a)段階で、
    前記オートラベリング装置は、前記メタROI検出ネットワークをもって、前記特徴マップのそれぞれのグリッドセル内それぞれの前記現在メタROIの各位置、各サイズ、及び各現在メタROI点数を計算した後、前記現在メタROI点数のうち第1の予め設定された閾値以上である特定の現在メタROI点数に対応する特定の現在メタROIを前記n個の現在メタROIとして判断させることを特徴とする請求項1に記載の方法。
  3. 前記トレーニングイメージは、検証のための検証イメージを含み、前記第1の予め設定された閾値は、前記検証イメージに対応して取得された検証メタROIのうち正答である確率が最も高い特定の検証メタROIの特定の検証メタROI点数であることを特徴とする請求項2に記載の方法。
  4. 前記特徴マップは、前記現在メタROIの前記位置を計算するための二つ以上の第1特徴マップチャンネル、前記現在メタROIの前記サイズを計算するための二つ以上の第2特徴マップチャンネル、及び前記現在メタROI点数を計算するための少なくとも一つの第3特徴マップチャンネルを含むことを特徴とする請求項2に記載の方法。
  5. 前記現在メタROI点数それぞれは、それぞれの前記現在メタROIが正答である確率それぞれにシグモイド(sigmoid)演算を適用したそれぞれの結果であることを特徴とする請求項2に記載の方法。
  6. 前記(a)段階で、
    前記オートラベリング装置は、(i)前記特定のトレーニングイメージをダウンサイズして少なくとも一つのダウンサイズされたイメージを生成した後、前記メタROI検出ネットワークをもって、前記ダウンサイズされたイメージに前記コンボリューション演算を適用して前記特徴マップを出力させるプロセス、及び(ii)前記メタROI検出ネットワークをもって、前記特定のトレーニングイメージをダウンサイズして前記ダウンサイズされたイメージを生成させた後、前記メタROI検出ネットワークをもって、前記ダウンサイズされたイメージに前記コンボリューション演算を適用して前記特徴マップを出力させるプロセスのうち一つのプロセスを遂行することを特徴とする請求項1に記載の方法。
  7. 前記メタROI検出ネットワークは、一つ以上のコンボリューションレイヤを含むことを特徴とする請求項1に記載の方法。
  8. 前記(b)段階で、
    前記オートラベリング装置は、前記n個のラベリングされた加工イメージを併合するのにおいて、前記バウンディングボックスのうち、二つ以上の前記ラベリングされた加工イメージが重なった領域の端から内側への特定の距離内で部分的にのみ現れる一つ以上の特定のバウンディングボックスを除去することを特徴とする請求項1に記載の方法。
  9. 前記(b)段階で、
    前記オートラベリング装置は、前記n個のラベリングされた加工イメージを併合するのにおいて、二つ以上の前記ラベリングされた加工イメージが重なった領域内に位置する前記バウンディングボックスにNMS(Non Maximum Suppression)を適用して、前記重なった領域内に位置する一つ以上の特定物体に対応する一つ以上の特定のバウンディングボックスを取得することを特徴とする請求項1に記載の方法。
  10. 前記(b)段階で、
    前記オートラベリング装置は、前記n個の加工イメージをリサイズして同一サイズになるようにした後、前記物体検出ネットワークをもって前記バウンディングボックスを生成させることを特徴とする請求項1に記載の方法。
  11. 前記オートラベリング装置は、前記バウンディングボックスを含む、前記同一サイズの前記n個の加工イメージを前記特定のトレーニングイメージに対応するサイズになるようにリサイズした後、これを併合することを特徴とする請求項10に記載の方法。
  12. 前記メタROI検出ネットワークは、学習装置によって、(i)事前トレーニングイメージのうち少なくとも一つの特定の事前トレーニングイメージが取得されると、前記特定の事前トレーニングイメージに前記コンボリューション演算を適用して少なくとも一つの事前学習用特徴マップを出力し、(ii)前記事前学習用特徴マップの各グリッドセル内の事前学習用メタROIを計算し、(iii)前記事前学習用メタROIを含む事前学習用メタROI群に対応して、少なくとも一つの所定の規則によって調整された、一つ以上のサンプルメタROI群を生成し、(iv)それぞれの前記サンプルメタROI群の各サンプルメタ群点数を計算し、前記事前学習用メタROI群の現在のメタ群点数を計算した後、高い前記サンプルメタ群点数を有する特定のサンプルメタROI群の方向に前記事前学習用メタROI群の前記現在のメタ群点数が調整されるようにする少なくとも一つの事前学習用グラディエントを計算し、(v)前記事前学習用グラディエントを利用した強化学習によって前記メタROI検出ネットワークの一つ以上のパラメータのうち少なくとも一部を学習するプロセスを遂行した状態であることを特徴とする請求項1に記載の方法。
  13. 前記現在のメタ群点数は、正確性R+C×効率性Rによって取得され得、
    前記正確性Rは、前記特定の事前トレーニングイメージ上の物体の総個数に対する、すべての前記事前学習用メタROIにおいて検出された物体個数の割合であり、
    前記効率性Rは、前記特定の事前トレーニングイメージの面積に対する前記事前学習用メタROIの面積和の割合の1との差異値であり、
    前記Cは、前記事前トレーニングイメージの検証のために使用される事前学習用検証イメージに対応して取得された検証メタ群点数と1とのうち最大値であることを特徴とする請求項12に記載の方法。
  14. 前記サンプルメタROI群のうち任意の一つのサンプルメタROI群のサンプルメタ群点数は、正確性R’+C×効率性R’によって取得され得、
    前記正確性R’は、前記特定の事前トレーニングイメージ上の物体の総個数に対する、前記サンプルメタROI群のうち前記任意の一つのサンプルメタROI群における全てのサンプルメタROI内で検出された物体個数の割合であり、
    前記効率性R’は、前記特定の事前トレーニングイメージの面積に対する前記サンプルメタROIの面積和の割合の1との差異値であり、
    前記Cは、前記事前トレーニングイメージの検証のために使用される事前学習用検証イメージに対応して取得された検証メタ群点数と1とのうち最大値であることを特徴とする請求項12に記載の方法。
  15. 前記正確性R’は、前記特定の事前トレーニングイメージ上の物体の総個数に対する、前記任意の一つのサンプルメタROI群における前記サンプルメタROIのうち、サンプルメタROI点数が第2の予め設定された閾値以上である特定のサンプルメタROIで検出された物体個数の割合であり、
    前記効率性R’は、前記特定の事前トレーニングイメージの面積に対する前記特定のサンプルメタROIの面積和の割合の1との差異値であることを特徴とする請求項14に記載の方法。
  16. ニューラルネットワークを学習するのに利用される一つ以上のトレーニングイメージをオートラベリング(auto−labeling)するオートラベリング装置において、
    各インストラクションを格納する少なくとも一つのメモリと、
    (I)前記トレーニングイメージのうち特定のトレーニングイメージが取得されると、メタROI(Region Of Interest)検出ネットワークをもって、前記特定のトレーニングイメージに一つ以上のコンボリューション演算を適用して少なくとも一つの特徴マップを出力させ、前記特徴マップを参照して、前記特定のトレーニングイメージ上の物体がそれぞれの位置によりグループ化された、前記物体の領域に対応するn個の現在メタROIを取得させるプロセス、及び(II)前記特定のトレーニングイメージ上で、前記n個の現在メタROIに対応する領域をクロップ(crop)してn個の加工イメージを生成し、物体検出ネットワークをもって、前記n個の加工イメージそれぞれに対するそれぞれのバウンディングボックスを有するn個のラベリングされた加工イメージそれぞれを出力させ、前記n個のラベリングされた加工イメージを併合して、ラベリングされた特定のトレーニングイメージを生成するプロセスを遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とするオートラベリング装置。
  17. 前記(I)プロセスで、
    前記プロセッサは、前記メタROI検出ネットワークをもって、前記特徴マップそれぞれのグリッドセル内それぞれの前記現在メタROIの各位置、各サイズ、及び各現在メタROI点数を計算した後、前記現在メタROI点数のうち第1の予め設定された閾値以上である特定の現在メタROI点数に対応する特定の現在メタROIを前記n個の現在メタROIとして判断させることを特徴とする請求項16に記載のオートラベリング装置。
  18. 前記トレーニングイメージは、検証のための検証イメージを含み、前記第1の予め設定された閾値は、前記検証イメージに対応して取得された検証メタROIのうち正答である確率が最も高い特定の検証メタROIの特定の検証メタROI点数であることを特徴とする請求項17に記載のオートラベリング装置。
  19. 前記特徴マップは、前記現在メタROIの前記位置を計算するための二つ以上の第1特徴マップチャンネル、前記現在メタROIの前記サイズを計算するための二つ以上の第2特徴マップチャンネル、及び前記現在メタROI点数を計算するための少なくとも一つの第3特徴マップチャンネルを含むことを特徴とする請求項17に記載のオートラベリング装置。
  20. 前記現在メタROI点数それぞれは、それぞれの前記現在メタROIが正答である確率それぞれにシグモイド(sigmoid)演算を適用したそれぞれの結果であることを特徴とする請求項17に記載のオートラベリング装置。
  21. 前記(I)プロセスで、
    前記プロセッサは、(i)前記特定のトレーニングイメージをダウンサイズして少なくとも一つのダウンサイズされたイメージを生成した後、前記メタROI検出ネットワークをもって、前記ダウンサイズされたイメージに前記コンボリューション演算を適用して前記特徴マップを出力させるプロセス、及び(ii)前記メタROI検出ネットワークをもって、前記特定のトレーニングイメージをダウンサイズして前記ダウンサイズされたイメージを生成させた後、前記メタROI検出ネットワークをもって、前記ダウンサイズされたイメージに前記コンボリューション演算を適用して前記特徴マップを出力させるプロセスのうち一つのプロセスを遂行することを特徴とする請求項16に記載のオートラベリング装置。
  22. 前記メタROI検出ネットワークは、一つ以上のコンボリューションレイヤを含むことを特徴とする請求項16に記載のオートラベリング装置。
  23. 前記(II)プロセスで、
    前記プロセッサは、前記n個のラベリングされた加工イメージを併合するのにおいて、前記バウンディングボックスのうち、二つ以上の前記ラベリングされた加工イメージが重なった領域の端から内側への特定の距離内で部分的にのみ現れる一つ以上の特定のバウンディングボックスを除去することを特徴とする請求項16に記載のオートラベリング装置。
  24. 前記(II)プロセスで、
    前記プロセッサは、前記n個のラベリングされた加工イメージを併合するのにおいて、二つ以上の前記ラベリングされた加工イメージが重なった領域内に位置する前記バウンディングボックスにNMS(Non Maximum Suppression)を適用して、前記重なった領域内に位置する一つ以上の特定物体に対応する一つ以上の特定のバウンディングボックスを取得することを特徴とする請求項16に記載のオートラベリング装置。
  25. 前記(II)プロセスで、
    前記プロセッサは、前記n個の加工イメージをリサイズして同一サイズになるようにした後、前記物体検出ネットワークをもって前記バウンディングボックスを生成させることを特徴とする請求項16に記載のオートラベリング装置。
  26. 前記プロセッサは、前記バウンディングボックスを含む、前記同一サイズの前記n個の加工イメージを前記特定のトレーニングイメージに対応するサイズになるようにリサイズした後、これを併合することを特徴とする請求項25に記載のオートラベリング装置。
  27. 前記メタROI検出ネットワークは、学習装置によって、(i)事前トレーニングイメージのうち少なくとも一つの特定の事前トレーニングイメージが取得されると、前記特定の事前トレーニングイメージに前記コンボリューション演算を適用して少なくとも一つの事前学習用特徴マップを出力し、(ii)前記事前学習用特徴マップの各グリッドセル内の事前学習用メタROIを計算し、(iii)前記事前学習用メタROIを含む事前学習用メタROI群に対応して、少なくとも一つの所定の規則によって調整された、一つ以上のサンプルメタROI群を生成し、(iv)それぞれの前記サンプルメタROI群の各サンプルメタ群点数を計算し、前記事前学習用メタROI群の現在のメタ群点数を計算した後、高い前記サンプルメタ群点数を有する特定のサンプルメタROI群の方向に前記事前学習用メタROI群の前記現在のメタ群点数が調整されるようにする少なくとも一つの事前学習用グラディエントを計算し、(v)前記事前学習用グラディエントを利用した強化学習によって前記メタROI検出ネットワークの一つ以上のパラメータのうち少なくとも一部を学習するプロセスを遂行した状態であることを特徴とする請求項16に記載のオートラベリング装置。
  28. 前記現在のメタ群点数は正確性R+C×効率性Rによって取得され得、
    前記正確性Rは、前記特定の事前トレーニングイメージ上の物体の総個数に対する、すべての前記事前学習用メタROIにおいて検出された物体個数の割合であり、
    前記効率性Rは、前記特定の事前トレーニングイメージの面積に対する前記事前学習用メタROIの面積和の割合の1との差異値であり、
    前記Cは、前記事前トレーニングイメージの検証のために使用される事前学習用検証イメージに対応して取得された検証メタ群点数と1とのうち最大値であることを特徴とする請求項27に記載のオートラベリング装置。
  29. 前記サンプルメタROI群のうち任意の一つのサンプルメタROI群のサンプルメタ群点数は、正確性R’+C×効率性R’によって取得され得、
    前記正確性R’は、前記特定の事前トレーニングイメージ上の物体の総個数に対する、前記サンプルメタROI群のうち前記任意の一つのサンプルメタROI群における全てのサンプルメタROI内で検出された物体個数の割合であり、
    前記効率性R’は、前記特定の事前トレーニングイメージの面積に対する前記サンプルメタROIの面積和の割合の1との差異値であり、
    前記Cは、前記事前トレーニングイメージの検証のために使用される事前学習用検証イメージに対応して取得された検証メタ群点数と1とのうち最大値であることを特徴とする請求項27に記載のオートラベリング装置。
  30. 前記正確性R’は、前記特定の事前トレーニングイメージ上の物体の総個数に対する、前記任意の一つのサンプルメタROI群における前記サンプルメタROIのうち、サンプルメタROI点数が第2の予め設定された閾値以上である特定のサンプルメタROIで検出された物体個数の割合であり、
    前記効率性R’は、前記特定の事前トレーニングイメージの面積に対する前記特定のサンプルメタROIの面積和の割合の1との差異値であることを特徴とする請求項29に記載のオートラベリング装置。
JP2020004730A 2019-01-31 2020-01-15 高精度イメージを分析するディープラーニングネットワークの学習に利用するためのトレーニングイメージをオートラベリングするための方法、及びこれを利用したオートラベリング装置{method for auto−labeling training images for use in deep learning network to analyze images with high precision, and auto−labeling device using the same} Active JP6853560B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/263,393 2019-01-31
US16/263,393 US10540572B1 (en) 2019-01-31 2019-01-31 Method for auto-labeling training images for use in deep learning network to analyze images with high precision, and auto-labeling device using the same

Publications (2)

Publication Number Publication Date
JP2020126614A JP2020126614A (ja) 2020-08-20
JP6853560B2 true JP6853560B2 (ja) 2021-03-31

Family

ID=69167060

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020004730A Active JP6853560B2 (ja) 2019-01-31 2020-01-15 高精度イメージを分析するディープラーニングネットワークの学習に利用するためのトレーニングイメージをオートラベリングするための方法、及びこれを利用したオートラベリング装置{method for auto−labeling training images for use in deep learning network to analyze images with high precision, and auto−labeling device using the same}

Country Status (5)

Country Link
US (1) US10540572B1 (ja)
EP (1) EP3690742A1 (ja)
JP (1) JP6853560B2 (ja)
KR (1) KR102326256B1 (ja)
CN (1) CN111507335B (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
SG11202103493QA (en) 2018-10-11 2021-05-28 Tesla Inc Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
JP7322965B2 (ja) * 2019-10-28 2023-08-08 富士通株式会社 学習方法、学習プログラム、および学習装置
US11462023B2 (en) 2019-11-14 2022-10-04 Toyota Research Institute, Inc. Systems and methods for 3D object detection
CN111383219B (zh) * 2020-03-12 2020-12-01 众能联合数字技术有限公司 一种智能检测高空作业平台设备清洁度的方法及系统
JP7486349B2 (ja) * 2020-05-28 2024-05-17 キヤノン株式会社 ニューラルネットワーク、ニューラルネットワークの学習方法、プログラム、画像処理装置
CN111950538B (zh) * 2020-06-23 2022-02-08 合肥联宝信息技术有限公司 一种标签检测方法、装置以及计算机可读存储介质
CN111967595B (zh) * 2020-08-17 2023-06-06 成都数之联科技股份有限公司 候选框标注方法及系统及模型训练方法及目标检测方法
CN112102338A (zh) * 2020-09-17 2020-12-18 西安泽塔云科技股份有限公司 基于深度学习的影像样本数据的获取方法及装置
KR20220052223A (ko) 2020-10-20 2022-04-27 삼성에스디에스 주식회사 객체 감지를 위한 라벨링 장치 및 방법
JP2022131497A (ja) * 2021-02-26 2022-09-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
KR102637343B1 (ko) * 2021-05-26 2024-02-16 삼성전자주식회사 오브젝트 추적 방법 및 장치
KR102375217B1 (ko) * 2021-06-03 2022-03-16 (주)하우스퍼즐 인공지능 기반 건축 시공비 시뮬레이션 시스템 및 방법
CN113897324B (zh) * 2021-10-13 2023-07-28 云南师范大学 一种用作抗锰剂的JcVIPP1重组大肠杆菌及其构建方法
KR20230064889A (ko) 2021-11-04 2023-05-11 서울시립대학교 산학협력단 인공지능 기반의 훈련 데이터 생성 방법 및 이를 이용한 딥러닝 모듈 훈련 방법
US11783609B1 (en) * 2022-11-30 2023-10-10 Intuit Inc. Scalable weak-supervised learning with domain constraints

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6448325B2 (ja) * 2014-11-19 2019-01-09 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
KR102592076B1 (ko) * 2015-12-14 2023-10-19 삼성전자주식회사 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치
US9858496B2 (en) * 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images
US10664719B2 (en) * 2016-02-12 2020-05-26 Adobe Inc. Accurate tag relevance prediction for image search
US10217236B2 (en) * 2016-04-08 2019-02-26 Orbital Insight, Inc. Remote determination of containers in geographical region
US10706533B2 (en) * 2016-05-13 2020-07-07 National Jewish Health Systems and methods for automatic detection and quantification of pathology using dynamic feature classification
US10354362B2 (en) * 2016-09-08 2019-07-16 Carnegie Mellon University Methods and software for detecting objects in images using a multiscale fast region-based convolutional neural network
EP3306528B1 (en) * 2016-10-04 2019-12-25 Axis AB Using image analysis algorithms for providing traning data to neural networks
JP6964234B2 (ja) * 2016-11-09 2021-11-10 パナソニックIpマネジメント株式会社 情報処理方法、情報処理装置およびプログラム
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
KR101879207B1 (ko) * 2016-11-22 2018-07-17 주식회사 루닛 약한 지도 학습 방식의 객체 인식 방법 및 장치
CN110235146A (zh) * 2017-02-03 2019-09-13 西门子股份公司 用于检测图像中的感兴趣对象的方法和装置
WO2018165753A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
US10209089B2 (en) * 2017-04-03 2019-02-19 Robert Bosch Gmbh Automated image labeling for vehicles based on maps
CN107239803A (zh) * 2017-07-21 2017-10-10 国家海洋局第海洋研究所 利用深度学习神经网络的海底底质自动分类方法
US11093793B2 (en) * 2017-08-29 2021-08-17 Vintra, Inc. Systems and methods for a tailored neural network detector
US10169679B1 (en) * 2017-10-13 2019-01-01 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using loss augmentation and testing method and testing device using the same
CN108334878B (zh) * 2018-02-07 2021-01-05 北京影谱科技股份有限公司 视频图像检测方法、装置、设备及可读存储介质
CN108961229A (zh) * 2018-06-27 2018-12-07 东北大学 基于深度学习的心血管oct影像易损失斑块检测方法及系统

Also Published As

Publication number Publication date
US10540572B1 (en) 2020-01-21
KR20200095335A (ko) 2020-08-10
KR102326256B1 (ko) 2021-11-16
JP2020126614A (ja) 2020-08-20
CN111507335A (zh) 2020-08-07
CN111507335B (zh) 2023-10-13
EP3690742A1 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
JP6853560B2 (ja) 高精度イメージを分析するディープラーニングネットワークの学習に利用するためのトレーニングイメージをオートラベリングするための方法、及びこれを利用したオートラベリング装置{method for auto−labeling training images for use in deep learning network to analyze images with high precision, and auto−labeling device using the same}
US10692002B1 (en) Learning method and learning device of pedestrian detector for robust surveillance based on image analysis by using GAN and testing method and testing device using the same
KR102279350B1 (ko) 자율 주행 상황에서 장애물 검출을 위한 cnn 학습용 이미지 데이터 세트의 생성 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN106980871B (zh) 应用到道路场景图像的低保真分类器和高保真分类器
KR102337376B1 (ko) 레인 마스크(Lane Mask)를 사용하여 후처리 없이 입력 이미지에 포함된 하나 이상의 차선을 검출하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN109726627B (zh) 一种神经网络模型训练及通用接地线的检测方法
JP6849932B2 (ja) 高精密度のイメージを分析するためのディープラーニングネットワークを使用するためにトレーニングイメージをオートラベリングするオートラベルリング装置のハイパーパラメータを最適化する方法、及びこれを利用した最適化装置
JP6855091B2 (ja) ニューラルネットワーク学習に利用されるオートラベリングされたイメージのうちでラベル検収のためのサンプルイメージを取得する方法、及びそれを利用したサンプルイメージ取得装置
US10509987B1 (en) Learning method and learning device for object detector based on reconfigurable network for optimizing customers' requirements such as key performance index using target object estimating network and target object merging network, and testing method and testing device using the same
US10430691B1 (en) Learning method and learning device for object detector based on CNN, adaptable to customers' requirements such as key performance index, using target object merging network and target region estimating network, and testing method and testing device using the same to be used for multi-camera or surround view monitoring
JP6846069B2 (ja) 遠距離検出または軍事目的のために、イメージコンカチネーションを利用したcnn基盤のハードウェア最適化が可能な物体検出器を学習する方法及び学習装置、それを利用したテスト方法及びテスト装置{learning method and learning device for object detector with hardware optimization based on cnn for detection at distance or military purpose using image concatenation, and testing method and testing device using the same}
EP3686791B1 (en) Learning method and learning device for object detector based on cnn to be used for multi-camera or surround view monitoring using image concatenation and target object merging network, and testing method and testing device using the same
JP6850046B2 (ja) 重要業績評価指標のようなユーザ要求事項に適したターゲット物体予測ネットワークを用いた、cnn基盤の変動に強い物体検出器を学習する方法及び学習装置、並びにこれを利用したテスティング方法及びテスティング装置
CN110874563B (zh) 通过cnn的多个图像输出的提供集成的特征图的方法及装置
EP3910532B1 (en) Learning method and learning device for training an object detection network by using attention maps and testing method and testing device using the same
US11461653B2 (en) Learning method and learning device for CNN using 1xK or Kx1 convolution to be used for hardware optimization, and testing method and testing device using the same
CN111881743B (zh) 一种基于语义分割的人脸特征点定位方法
CN111507152A (zh) 基于内置独立型预测来转换自动驾驶模式的方法及装置
Al Mamun et al. Efficient lane marking detection using deep learning technique with differential and cross-entropy loss.
US10373004B1 (en) Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image
KR102288566B1 (ko) 딥 뉴럴 네트워크 구성 방법 및 장치
CN110705695B (zh) 搜索模型结构的方法、装置、设备和存储介质
CN110942179A (zh) 一种自动驾驶路线规划方法、装置及车辆
CN112668582B (en) Image recognition method, device, equipment and storage medium
KR20230080804A (ko) 인공지능 기반의 사람 자세 추정 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210304

R150 Certificate of patent or registration of utility model

Ref document number: 6853560

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250