JP6855091B2 - ニューラルネットワーク学習に利用されるオートラベリングされたイメージのうちでラベル検収のためのサンプルイメージを取得する方法、及びそれを利用したサンプルイメージ取得装置 - Google Patents

ニューラルネットワーク学習に利用されるオートラベリングされたイメージのうちでラベル検収のためのサンプルイメージを取得する方法、及びそれを利用したサンプルイメージ取得装置 Download PDF

Info

Publication number
JP6855091B2
JP6855091B2 JP2020004613A JP2020004613A JP6855091B2 JP 6855091 B2 JP6855091 B2 JP 6855091B2 JP 2020004613 A JP2020004613 A JP 2020004613A JP 2020004613 A JP2020004613 A JP 2020004613A JP 6855091 B2 JP6855091 B2 JP 6855091B2
Authority
JP
Japan
Prior art keywords
image
auto
labeled
class
class group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020004613A
Other languages
English (en)
Other versions
JP2020123330A (ja
Inventor
ゲヒョン キム
ゲヒョン キム
ヨンジュン キム
ヨンジュン キム
インス キム
インス キム
ハクギョン キム
ハクギョン キム
ウンヒョン ナム
ウンヒョン ナム
ソクフン ブ
ソクフン ブ
ミョンチョル ソン
ミョンチョル ソン
ドンフン ヨ
ドンフン ヨ
ウジュ リュ
ウジュ リュ
テウン ジャン
テウン ジャン
ギョンジュン ジョン
ギョンジュン ジョン
ホンモ ジェ
ホンモ ジェ
ホジン ジョ
ホジン ジョ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020123330A publication Critical patent/JP2020123330A/ja
Application granted granted Critical
Publication of JP6855091B2 publication Critical patent/JP6855091B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Description

本発明は、ディープラーニングネットワーク学習のための少なくとも一つのオートラベリングされたイメージのうちでラベル検収のための少なくとも一つのサンプルイメージを取得する方法及び装置に関する。
近年、機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）を利用して物体を識別する方法等に関する研究が行われている。このような機械学習の一環として、入力レイヤと出力レイヤとの間に複数個のヒドゥンレイヤ（ｈｉｄｄｅｎ ｌａｙｅｒ）を有するニューラルネットワークを利用したディープラーニングは高い識別性能を有する。
そして、前記ディープラーニングを利用する前記ニューラルネットワークは、一般的にロスを利用したバックプロパゲーションを通じて学習する。
このようなディープラーニングネットワークの学習を進めるためには、ラベラー（ｌａｂｅｌｅｒ）によって個別データポイントにタグ、すなわち、ラベルを追加したトレーニングデータが必要である。このようなトレーニングデータを準備すること（すなわち、データを正確に分類すること）は、特に大量のトレーニングデータを利用する場合とデータの前処理の品質が持続的に高くない場合、労働集約的であり、費用が多くかかって煩雑であり得る。従来の相互的なラベリングは、費用が高く好ましい結果を導き出すことができない。
したがって、最近ではディープラーニング基盤のオートラベリング装置を利用してトレーニングイメージにタグ、すなわちラベルを追加するオートラベリングを遂行し、検収者がオートラベリングされたトレーニングイメージを検収して前記タグや前記ラベルを校正する。
しかし、このような従来の方法においては、前記オートラベリング装置の処理率（ｔｈｒｏｕｇｈｐｕｔ）に比べて検収者の処理率が低いため、トレーニングイメージ全てにトゥルーラベルを生成するのには長時間が所要される。処理率を全般的に向上させるためには検収者の数を増やさなければならないが、この場合には費用が増加するという問題点がある。
また、前記オートラベリング装置の前記処理率に堪えるだけの多数の熟練した検収者を確保するのにも困難がある。
本発明は、前述の問題点を全て解決することをその目的とする。
本発明はオートラベリングを行うことで全てのトレーニングイメージのラベリング処理率（ｔｈｒｏｕｇｈｐｕｔ）を向上させることを他の目的とする。
本発明は、検収者の数を減らし、かつ前記オートラベリングの処理率を最大値に維持することをまた他の目的とする。
本発明は、熟練していない検収者が前記オートラベリング装置の処理率に遅れをとらないようにしつつラベル検収を行うようにすることをまた他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は以下の通りである。
本発明の一態様によると、ディープラーニングネットワーク学習のための少なくとも一つのオートラベリングされたイメージのうちでラベル検収のための少なくとも一つのサンプルイメージを取得する方法において、（ａ）オートラベリングネットワークによってラベリング済みの前記オートラベリングされたイメージが取得されると、サンプルイメージ取得装置が（ｉ）第１イメージと第２イメージとを生成し、このうち少なくとも一つは前記オートラベリングされたイメージから変形して生成され、前記第１イメージと前記第２イメージとのうち一つだけが前記オートラベリングされたイメージから変形して生成されたイメージであれば、残りの一つは前記オートラベリングされたイメージがそのまま使用され、（ｉｉ）一つ以上のコンボリューションレイヤをもって、一つ以上のコンボリューション演算を前記第１イメージと前記第２イメージとにそれぞれ適用して少なくとも一つの第１特徴マップと少なくとも一つの第２特徴マップとを生成させ、（ｉｉｉ）一つ以上のプーリングレイヤをもって、前記第１特徴マップ上で、前記オートラベリングされたイメージのオートラベリング済みボックスそれぞれに対応する各領域に一つ以上のプーリング演算を適用してそれぞれの第１プーリング済み特徴マップを生成させ、前記第２特徴マップ上で、前記オートラベリングされたイメージの前記オートラベリング済みボックスそれぞれに対応する各領域に前記プーリング演算をそれぞれ適用して第２プーリング済み特徴マップそれぞれを生成させ、（ｉｖ）前記オートラベリング済みボックスそれぞれに対応する、それぞれの前記第１プーリング済み特徴マップとそれぞれの前記第２プーリング済み特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）して、それぞれの前記オートラベリング済みボックスに対応するそれぞれのコンカチネートされた特徴マップを生成する段階；（ｂ）前記サンプルイメージ取得装置が、ディープラーニング分類器（ｃｌａｓｓｉｆｉｅｒ）をもって、それぞれの前記コンカチネートされた特徴マップを入力として取得して、それぞれの前記オートラベリング済みボックスを非正常クラス群または正常クラス群に分類するクラス情報を生成させる段階；及び、（ｃ）前記サンプルイメージ取得装置が、（ｉ）それぞれの前記オートラベリング済みボックスに関するそれぞれの前記クラス情報を参照して前記非正常クラス群の各非正常クラス要素の確率それぞれを計算し、（ｉｉ）それぞれの前記非正常クラス要素の前記確率それぞれを利用して前記オートラベリングされたイメージがディフィカルト（ｄｉｆｆｉｃｕｌｔ）イメージであるかを判断し、（ｉｉｉ）前記オートラベリングされたイメージが前記ディフィカルトイメージとして判断される場合、前記オートラベリングされたイメージをラベル検収のための前記サンプルイメージとして選定し、前記ディフィカルトイメージは不正確にオートラベリングされる確率が予め設定された値以上であるイメージである段階；を含むことを特徴とする方法が開示される。
一実施例において、前記（ａ）段階で、前記サンプルイメージ取得装置は、前記第１イメージと前記第２イメージとを生成するのにおいて、前記第１イメージを変形する一つ以上の第１関数とこれに対応して前記第２イメージを変形する第２関数とを含む一つ以上の変形ペアを利用して、前記オートラベリングされたイメージに対応する、前記第１イメージと前記第２イメージとの少なくとも一つのイメージペアを生成し、前記（ｃ）段階で、前記サンプルイメージ取得装置は、それぞれの前記オートラベリング済みボックスごとに、前記変形ペアそれぞれに対応する前記非正常クラス要素それぞれの各確率を計算し、前記それぞれの確率に対する少なくとも一つの重み付け平均を計算することを特徴とする。
一実施例において、前記非正常クラス群は、誤検出（ｍｉｓｄｅｔｅｃｔｉｏｎ）クラス群と未検出（ｎｏｎ−ｄｅｔｅｃｔｉｏｎ）クラス群とを含み、前記非正常クラス要素それぞれの各確率は、前記誤検出クラス群の誤検出クラス要素それぞれの確率と前記未検出クラス群の未検出クラス要素それぞれの確率とを含むことを特徴とする。
一実施例において、前記（ｃ）段階で、前記不正確にオートラベリングされる確率は、前記非正常クラス要素それぞれの確率に対する少なくとも一つの一般化された平均（ｇｅｎｅｒａｌｉｚｅｄ ｍｅａｎ）であることを特徴とする。
一実施例において、前記予め設定された値は、前記オートラベリングネットワークを通じてオートラベリングされた後、手動で検収された検証イメージに対する正答的中率のうち最も高い的中率であることを特徴とする。
一実施例において、（ｄ）前記サンプルイメージ取得装置は、前記ディフィカルトイメージとして判断された前記オートラベリングされたイメージ上で、前記非正常クラス群に分類された前記オートラベリング済みボックスに対応する領域を識別する段階；をさらに含むことを特徴とする。
一実施例において、それぞれの前記コンボリューションレイヤは、前記オートラベリングネットワークを構成する少なくとも一つのオートラベリングコンボリューションレイヤであることを特徴とする。
一実施例において、前記ディープラーニング分類器は、多重のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）レイヤまたは一つのＦＣＮ（ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）を含むことを特徴とする。
一実施例において、学習装置によって、前記ディープラーニング分類器は、（ｉ）前記オートラベリング済みボックスに対応するトゥルーボックスとオートボックスとを含む少なくとも一つのトレーニングイメージが取得されると、（ｉ−１）学習用コンボリューションレイヤをもって、前記学習用コンボリューションレイヤのコンボリューション演算を前記トレーニングイメージに適用して学習用特徴マップを生成させ、（ｉ−２）学習用プーリングレイヤをもって、前記学習用特徴マップ上で前記オートボックスに対応する領域それぞれに前記学習用プーリングレイヤのプーリング演算を適用して、学習用プーリング済み特徴マップを生成させ、（ｉｉ）前記オートボックスそれぞれに対応する前記学習用プーリング済み特徴マップそれぞれを入力として取得して、前記オートボックスを前記正常クラス群または前記非正常クラス群に分類する前記クラス情報を生成し、（ｉｉｉ）少なくとも一つのロスレイヤをもって、前記クラス情報とこれに対応する一つ以上の原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照して一つ以上のロスを算出させることにより、前記ロスを利用したバックプロパゲーションを通じて前記ディープラーニング分類器のパラメータのうち少なくとも一部を学習することを特徴とする。
一実施例において、前記クラス情報は、誤検出クラス群と未検出クラス群とを有する前記非正常クラス群を含み、（ｉ）前記誤検出クラス群は、第１特定のオートボックスと同一のクラス情報を有する第１特定のトゥルーボックスが他のどのトゥルーボックスとも第１の予め設定された閾値以上に重なっていない場合に該当し、（ｉｉ）前記未検出クラス群は、第２特定のトゥルーボックスと同一のクラス情報を有する第２特定のオートボックスが他のどのオートボックスとも第２の予め設定された閾値以上に重なっていない状態で、第３特定のオートボックスが前記第２特定のトゥルーボックスと第３の予め設定された閾値以上に重なっている場合に該当し、前記正常クラス群は、前記誤検出クラス群と前記未検出クラス群とを除いたすべてのクラス群を含むことを特徴とする。
一実施例において、前記学習装置は、前記誤検出クラス群、前記未検出クラス群、及び前記正常クラス群を管理して、前記非正常クラス群のうちで要素個数が多いクラス群の個数が、要素個数が少ない残りのクラス群の個数の予め設定された第１倍数以下になるようにし、前記正常クラス群の要素個数が前記非正常クラス群の要素個数の予め設定された第２倍数と同一になるようにすることを特徴とする。
一実施例において、前記学習装置は、ランダムサンプリングを利用して、前記誤検出クラス群の要素の個数、前記未検出クラス群の要素の個数、及び前記正常クラス群の要素の個数を調整することを特徴とする。
一実施例において、前記学習装置は、クロスエントロピーロス（ｃｒｏｓｓ−ｅｎｔｒｏｐｙ ｌｏｓｓ）を利用して前記バックプロパゲーションを遂行することを特徴とする。
本発明の他の態様によると、ディープラーニングネットワーク学習のための少なくとも一つのオートラベリングされたイメージのうちでラベル検収のための少なくとも一つのサンプルイメージを取得するサンプルイメージ取得装置において、各インストラクションを格納する少なくとも一つのメモリと、（Ｉ）オートラベリングネットワークによってラベリング済みの前記オートラベリングされたイメージが取得されると、（ｉ）第１イメージと第２イメージとを生成し、このうち少なくとも一つは前記オートラベリングされたイメージから変形して生成され、前記第１イメージと前記第２イメージとのうち一つだけが前記オートラベリングされたイメージから変形して生成されたイメージであれば、残りの一つは前記オートラベリングされたイメージがそのまま使用され、（ｉｉ）一つ以上のコンボリューションレイヤをもって、一つ以上のコンボリューション演算を前記第１イメージと前記第２イメージとにそれぞれ適用して少なくとも一つの第１特徴マップと少なくとも一つの第２特徴マップとを生成させ、（ｉｉｉ）一つ以上のプーリングレイヤをもって、前記第１特徴マップ上で、前記オートラベリングされたイメージのオートラベリング済みボックスそれぞれに対応する各領域に一つ以上のプーリング演算を適用してそれぞれの第１プーリング済み特徴マップを生成させ、前記第２特徴マップ上で、前記オートラベリングされたイメージの前記オートラベリング済みボックスそれぞれに対応する各領域に前記プーリング演算をそれぞれ適用して第２プーリング済み特徴マップそれぞれを生成させ、（ｉｖ）前記オートラベリング済みボックスそれぞれに対応する、それぞれの前記第１プーリング済み特徴マップとそれぞれの前記第２プーリング済み特徴マップとをコンカチネートして、それぞれの前記オートラベリング済みボックスに対応するそれぞれのコンカチネートされた特徴マップを生成するプロセス、（ＩＩ）ディープラーニング分類器（ｃｌａｓｓｉｆｉｅｒ）をもって、それぞれの前記コンカチネートされた特徴マップを入力として取得して、それぞれの前記オートラベリング済みボックスを非正常クラス群または正常クラス群に分類するクラス情報を生成させるプロセス、及び（ＩＩＩ）（ｉ）それぞれの前記オートラベリング済みボックスに関するそれぞれの前記クラス情報を参照して前記非正常クラス群の各非正常クラス要素の確率それぞれを計算し、（ｉｉ）それぞれの前記非正常クラス要素の前記確率それぞれを利用して前記オートラベリングされたイメージがディフィカルトイメージであるかを判断し、（ｉｉｉ）前記オートラベリングされたイメージが前記ディフィカルトイメージとして判断される場合、前記オートラベリングされたイメージをラベル検収のための前記サンプルイメージとして選定し、前記ディフィカルトイメージは不正確にオートラベリングされる確率が予め設定された値以上であるイメージであるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
一実施例において、前記プロセッサは、前記（Ｉ）プロセスで、前記第１イメージと前記第２イメージとを生成するのにおいて、前記第１イメージを変形する一つ以上の第１関数と、それに対応して前記第２イメージを変形する第２関数とを含む一つ以上の変形ペアを利用して、前記オートラベリングされたイメージに対応する、前記第１イメージと前記第２イメージとの少なくとも一つのイメージペアを生成し、前記（ＩＩＩ）プロセスで、前記プロセッサは、それぞれの前記オートラベリング済みボックスごとに、前記変形ペアそれぞれに対応する前記非正常クラス要素それぞれの各確率を計算し、前記それぞれの確率に対する少なくとも一つの重み付け平均を計算することを特徴とする。
一実施例において、前記非正常クラス群は、誤検出（ｍｉｓｄｅｔｅｃｔｉｏｎ）クラス群と未検出（ｎｏｎ−ｄｅｔｅｃｔｉｏｎ）クラス群とを含み、前記非正常クラス要素それぞれの各確率は、前記誤検出クラス群の誤検出クラス要素それぞれの確率と前記未検出クラス群の未検出クラス要素それぞれの確率とを含むことを特徴とする。
一実施例において、前記（ＩＩＩ）プロセスで、前記不正確にオートラベリングされる確率は、前記非正常クラス要素それぞれの確率に対する少なくとも一つの一般化された平均（ｇｅｎｅｒａｌｉｚｅｄ ｍｅａｎ）であることを特徴とする。
一実施例において、前記予め設定された値は、前記オートラベリングネットワークを通じてオートラベリングされた後、手動で検収された検証イメージに対する正答的中率のうち最も高い的中率であることを特徴とする。
一実施例において、前記プロセッサは、（ＩＶ）前記ディフィカルトイメージとして判断された前記オートラベリングされたイメージ上で、前記非正常クラス群に分類された前記オートラベリング済みボックスに対応する領域を識別するプロセス；を更に遂行することを特徴とする。
一実施例において、それぞれの前記コンボリューションレイヤは、前記オートラベリングネットワークを構成する少なくとも一つのオートラベリングコンボリューションレイヤであることを特徴とする。
一実施例において、前記ディープラーニング分類器は、多重のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）レイヤまたは一つのＦＣＮを含むことを特徴とする。
一実施例において、学習装置によって、前記ディープラーニング分類器は、（ｉ）前記オートラベリング済みボックスに対応するトゥルーボックスとオートボックスとを含む少なくとも一つのトレーニングイメージが取得されると、（ｉ−１）学習用コンボリューションレイヤをもって、前記学習用コンボリューションレイヤのコンボリューション演算を前記トレーニングイメージに適用して学習用特徴マップを生成させ、（ｉ−２）学習用プーリングレイヤをもって、前記学習用特徴マップ上で前記オートボックスに対応する領域それぞれに前記学習用プーリングレイヤのプーリング演算を適用して、学習用プーリング済み特徴マップを生成させ、（ｉｉ）前記オートボックスそれぞれに対応する前記学習用プーリング済み特徴マップそれぞれを入力として取得して、前記オートボックスを前記正常クラス群または前記非正常クラス群に分類する前記クラス情報を生成し、（ｉｉｉ）少なくとも一つのロスレイヤをもって、前記クラス情報とこれに対応する一つ以上の原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照して一つ以上のロスを算出させることにより、前記ロスを利用したバックプロパゲーションを通じて前記ディープラーニング分類器のパラメータのうち少なくとも一部を学習することを特徴とする。
一実施例において、前記クラス情報は、誤検出クラス群と未検出クラス群とを有する前記非正常クラス群を含み、（ｉ）前記誤検出クラス群は、第１特定のオートボックスと同一のクラス情報を有する第１特定のトゥルーボックスが他のどのトゥルーボックスとも第１の予め設定された閾値以上に重なっていない場合に該当し、（ｉｉ）前記未検出クラス群は、第２特定のトゥルーボックスと同一のクラス情報を有する第２特定のオートボックスが他のどのオートボックスとも第２の予め設定された閾値以上に重なっていない状態で、第３特定のオートボックスが前記第２特定のトゥルーボックスと第３の予め設定された閾値以上に重なっている場合に該当し、前記正常クラス群は、前記誤検出クラス群と前記未検出クラス群とを除いたすべてのクラス群を含むことを特徴とする。
一実施例において、前記学習装置は、前記誤検出クラス群、前記未検出クラス群、及び前記正常クラス群を管理して、前記非正常クラス群のうちで要素個数が多いクラス群の個数が、要素個数が少ない残りのクラス群の個数の予め設定された第１倍数以下になるようにし、前記正常クラス群の要素個数が前記非正常クラス群の要素個数の予め設定された第２倍数と同一になるようにすることを特徴とする。
一実施例において、前記学習装置は、ランダムサンプリングを利用して、前記誤検出クラス群の要素の個数、前記未検出クラス群の要素の個数、及び前記正常クラス群の要素の個数を調整することを特徴とする。
一実施例において、前記学習装置は、クロスエントロピーロス（ｃｒｏｓｓ−ｅｎｔｒｏｐｙ ｌｏｓｓ）を利用して前記バックプロパゲーションを遂行することを特徴とする。
その他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取り可能な記録媒体がさらに提供される。
本発明は、オートラベリング装置によってオートラベリングされたイメージのうちラベリングするのが難しいイメージを選択して検収することで、検収時間を減らすことができる効果がある。
また、本発明は、ラベリングするのが難しい前記イメージを検収することにより、熟練していない検収者であっても前記オートラベリングネットワークの処理率（ｔｈｒｏｕｇｈｐｕｔ）に遅れをとらないようにすることで、全体の前記トレーニングイメージをラベリングする処理率を向上させ得る効果がある。
また、本発明は、ラベリングするのが難しい前記イメージを検収することにより、検収者の数を減らすことが可能となるため、手動ラベリングのためのサンプリング過程を最適化し、注釈（ａｎｎｏｔａｔｉｏｎ）費用を節減することができる効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
図１は、本発明の一実施例にしたがって、ニューラルネットワークの学習に利用するための一つ以上のオートラベリングされたイメージのうちでラベル検収のための少なくとも一つのサンプルイメージを取得するサンプルイメージ取得装置を簡略に示した図面である。 図２は、本発明の一実施例にしたがって、前記ニューラルネットワークの学習に利用するための前記オートラベリングされたイメージのうちでラベル検収のための前記サンプルイメージを取得する方法を簡略に示した図面である。 図３は、本発明の一実施例にしたがって前記ニューラルネットワークの学習に利用するための前記オートラベリングされたイメージ上のオートラベリング済みボックスのクラスを分類するディープラーニング分類器を学習する方法を簡略に示した図面である。
後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
図１は、本発明の一実施例にしたがってニューラルネットワークの学習に利用するための一つ以上のオートラベリングされたイメージのうちでラベル検収のための少なくとも一つのサンプルイメージを取得するサンプルイメージ取得装置を簡略に示した図面である。図１を参照すると、前記サンプルイメージ取得装置１００は、前記オートラベリングされたイメージのうちでラベル検収のための前記サンプルイメージを取得するためのインストラクションを格納するメモリ１１０と、前記メモリ１１０に格納された前記各インストラクションに対応して前記オートラベリングされたイメージのうちでラベル検収のための前記サンプルイメージを取得するためのプロセスを遂行するプロセッサ１２０を含むことができる。
具体的に、前記サンプルイメージ取得装置１００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含み得る装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（すなわち、前記コンピューティング装置をもって特定の方式で機能させる各インストラクション）との組合せを利用して所望のシステム性能を達成するものであり得る。
また、前記コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェアの構成を含み得る。また、コンピューティング装置は、運営体制、特定の目的を遂行するアプリケーションのソフトウェアの構成をさらに含むこともできる。
しかし、このような前記コンピューティング装置に関する説明が本発明を実施するためのプロセッサ、メモリ、媒体またはその他のコンピューティング構成要素が統合された形態である統合プロセッサの場合を排除するわけではない。
本発明の一実施例にしたがって前記ニューラルネットワークの学習に利用される前記オートラベリングされたイメージのうちでラベル検収のための前記サンプルイメージを取得する方法について、図２を参照して説明すると以下のとおりである。この場合、前記ニューラルネットワークは、前記サンプルイメージ取得装置１００を利用してイメージ分析を遂行することができる。
まず、オートラベリングネットワークを通じてラベリング済みの前記オートラベリングされたイメージが取得されると、前記サンプルイメージ取得装置１００が、イメージ変形レイヤ１５０をもって、前記オートラベリングされたイメージをそのまま使用するか、これを変形（ｔｒａｎｓｆｏｒｍ）して第１イメージと第２イメージとを生成させる。この際、前記第１イメージ及び前記第２イメージのうち少なくとも一つは前記オートラベリングされたイメージから変形して生成されたイメージであり得る。また、前記オートラベリングされたイメージは、トゥルーボックスを含む検証イメージを含むことができ、前記検証イメージは、前記オートラベリング及び手動ラベリングの結果を評価するために使用され得る。
一方、前記サンプルイメージ取得装置１００は、前記イメージ変形レイヤ１５０をもって、前記第１イメージと前記第２イメージとを生成するのにおいて、前記第１イメージを変形する一つ以上の第１関数と、それに対応して前記第２イメージを変形する第２関数とを含む一つ以上の変形ペアを利用して、前記オートラベリングされたイメージに対応する前記第１イメージと前記第２イメージとの少なくとも一つのイメージペアを生成させることができる。
一例として、前記変形ペアは以下のように表される。
Figure 0006855091
すなわち、前記オートラベリングされたイメージによって設定された前記変形ペアに対応する、前記第１イメージと前記第２イメージとの一つ以上のイメージペアを生成することができる。前記においては前記変形ペアに対する例示として６つの例示を示したが、本発明の範囲はこれに限定されるわけではなく、前記変形ペアの個数は任意の個数に設定することができる。
次に、前記サンプルイメージ取得装置１００は、一つ以上のコンボリューションレイヤ１６０をもって、前記第１イメージと前記第２イメージとにそれぞれ一つ以上のコンボリューション演算を適用して、少なくとも一つの第１特徴マップと少なくとも一つの第２特徴マップとを出力させる。
この際、それぞれの前記コンボリューションレイヤ１６０は、前記オートラベリングネットワークを構成する少なくとも一つのオートラベリングコンボリューションレイヤであり得る。すなわち、前記オートラベリングネットワークが多数の変形の組合せを使用する場合、前記変形ペアは、前記オートラベリングネットワークが使用する前記変形としてのみ定義され得、それに伴って前記オートラベリングネットワークの前記オートラベリングコンボリューションレイヤから出力された特徴マップがさらなる過程なしにそのまま使用され得るので、前記特徴マップの演算に所要される時間を節減することができるようになる。
以後、前記サンプルイメージ取得装置１００は、一つ以上のプーリングレイヤ１７０をもって、前記第１特徴マップ上で前記オートラベリングされたイメージのオートラベリング済みボックスそれぞれに対応する各領域に一つ以上のプーリング演算を適用してそれぞれの第１プーリング済み特徴マップを出力させ、前記第２特徴マップ上で前記オートラベリングされたイメージの前記オートラベリング済みボックスそれぞれに対応する各領域に前記プーリング演算を適用してそれぞれの第２プーリング済み特徴マップを出力させ、前記それぞれのオートラベリング済みボックスにそれぞれ対応する、それぞれの前記第１プーリング済み特徴マップとそれぞれの前記第２プーリング済み特徴マップとをコンカチネートして前記オートラベリング済みボックスそれぞれに対応するそれぞれのコンカチネートされた特徴マップを生成する。
この際、図２では二つのコンボリューションレイヤ１６０と、二つのプーリングレイヤ１７０が示されているが、これとは異なって一つのコンボリューションレイヤと一つのプーリングレイヤが、前記第１イメージと第２イメージとに前記コンボリューション演算を適用し、前記第１特徴マップと前記第２特徴マップとに前記プーリング演算を適用するためにそれぞれ使用されてもよい。
そして、前記サンプルイメージ取得装置１００は、少なくとも一つのディープラーニング分類器１８０をもって、前記それぞれのコンカチネートされた特徴マップを入力として取得して、前記それぞれのオートラベリング済みボックスを非正常クラス群または正常クラス群に分類するクラス情報を出力させることができる。
この際、前記非正常クラス群は、誤検出クラス群と未検出クラス群とを含むことができ、前記正常クラス群は物体に分類されたボックスに関するクラス群と背景に分類されたボックスに関するクラス群とを含むことができ、前記ボックスは前記非正常クラス群に含まれていない前記オートラベリング済みボックスのうち少なくとも一部である。前記オートラベリング済みボックスに関する分類については、下記のように前記ディープラーニング分類器１８０の学習方法で説明することにする。
以後、前記サンプルイメージ取得装置１００は、少なくとも一つのディフィカルト（ｄｉｆｆｉｃｕｌｔ）イメージ判別レイヤ１９０をもって、（ｉ）前記それぞれのオートラベリング済みボックスの各クラス情報を参照して、前記非正常クラス群のそれぞれの非正常クラス要素に対する確率値それぞれを計算し、（ｉｉ）それぞれの前記非正常クラス要素に関する前記確率値それぞれを利用して、前記オートラベリングされたイメージが、追って説明されるディフィカルトイメージであるかを判断させる。
この際、前記ディープラーニング分類器１８０の出力にシグモイド関数が適用された後、それぞれの前記非正常クラス要素の各確率値が計算され得る。それぞれの前記非正常クラス要素の各確率値は、前記誤検出クラス群の誤検出クラス要素に対するそれぞれの確率値と前記未検出クラス群の未検出クラス要素に対するそれぞれの確率値とを含むことができる。
一例として、前記誤検出クラス要素ＦＰに対する確率値は、ｐ（ｂｉ：ＦＰ｜ＩＡ，ＩＢ）で表すことができ、前記未検出クラス要素ＦＮに対する確率値は、ｐ（ｂｉ：ＦＮ｜ＩＡ，ＩＢ）で表すことができる。
この際、ｂｉは、前記オートラベリング済みボックスのうち一つのオートラベリング済みボックスであり、ＩＡとＩＢそれぞれ前記第１イメージと前記第２イメージを表す。
また、前記サンプルイメージ取得装置１００は、各前記オートラベリング済みボックスごとに、前記変形ペアそれぞれに対応するそれぞれの前記非正常クラス要素に対するそれぞれの確率値を計算し、前記算出された確率値の少なくとも一つの重み付け平均を計算することができる。
すなわち、前記誤検出クラス要素に対する確率値ｐ（ｂｉ：ＦＰ）と前記未検出クラス要素に対する確率値ｐ（ｂｉ：ＦＮ）は以下のように示し得る。
Figure 0006855091
この場合、前記誤検出クラス要素に対する確率値ｐ（ｂｉ：ＦＰ）と前記未検出クラス要素に対する確率値ｐ（ｂｉ：ＦＮ）とは重み付け値に対する線形関数であるため、Σｊｗｊ＝１の制約条件のある制約最適化（Ｃｏｎｓｔｒａｉｎｅｄ ｏｐｔｉｍｉｚａｔｉｏｎ）により前記重み付け値の最適化が可能になる。
そして、それぞれの前記非正常クラス要素の確率値に対する少なくとも一つの一般化された平均（ｇｅｎｅｒａｌｉｚｅｄ ｍｅａｎ）が予め設定された値以上である場合、前記サンプルイメージ取得装置１００は、前記オートラベリングされたイメージを前記ディフィカルトイメージとして判断することができる。
一例として、前記サンプルイメージ取得装置１００は、各オートラベリング済みボックスごとの、前記誤検出クラス要素に対する各確率値ｐ（ｂｉ：ＦＰ）と前記未検出クラス要素に対する各確率値ｐ（ｂｉ：ＦＮ）とを参照して、前記オートラベリングされたイメージが前記ディフィカルトイメージである確率値ｐ（Ｉ：Ｄｉｆｆｉｃｕｌｔ）を次のような一般化された平均として計算することができる。
Figure 0006855091
そして、各オートラベリング済みボックスごとの、前記誤検出クラス要素に対する各確率値ｐ（ｂｉ：ＦＰ）と前記未検出クラス要素に対する各確率ｐ（ｂｉ：ＦＮ）とを参照して計算したそれぞれの前記確率値ｐ（Ｉ：Ｄｉｆｆｉｃｕｌｔ）が前記予め設定された値以上である場合、前記サンプルイメージ取得装置１００は、前記オートラベリングされたイメーを前記ディフィカルトイメージとして判断することができる。ここで、前記ディフィカルトイメージは、不正確にオートラベリングされる確率が前記予め設定された値以上であるイメージを示し得る。
この際、前記予め設定された値は、前記オートラベリングネットワークのオートラベリングプロセス以後に手動で検収された前記検証イメージに対する正答的中率のうち最も高い的中率であり得る。
次に、前記サンプルイメージ取得装置１００は、前記オートラベリングされたイメージが前記ディフィカルトイメージである場合、前記オートラベリングされたイメージをラベル検収のための前記サンプルイメージとして選定する。
以後、前記サンプルイメージ取得装置１００は、前記ディフィカルトイメージとして選定された前記オートラベリングされたイメージ上の、前記非正常クラス群に分類された前記オートラベリング済みボックスに対応する領域を識別して検収者が容易に検査し得るようにすることができる。
一方、前記ディープラーニング分類器は、多重のＦＣレイヤまたはＦＣＮ（ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）を含むことができ、前記ディープラーニング分類器を学習する過程を、図３を参照して説明すると以下のとおりである。
まず、前記オートラベリングネットワークによってラベリングされたオートボックスを有する少なくとも一つのトレーニングイメージが取得されると、学習装置２００が一つ以上の学習用コンボリューションレイヤ２６０をもって、前記学習用コンボリューションレイヤのコンボリューション演算を前記トレーニングイメージに適用して少なくとも一つの学習用特徴マップを出力させる。
この際、前記トレーニングイメージの前記オートボックスは、前記オートラベリングネットワークを通じてラベリングされた前記オートボックスとは異なり、学習のために任意に生成されたものでもあり得る。
また、前記学習装置２００は、前記ディープラーニングクラス分類器の学習のための各インストラクションを格納するメモリ（図示せず）と、前記メモリに格納された前記各インストラクションに対応して前記ディープラーニングクラス分類器に対する学習を遂行するプロセッサ（図示せず）を含むことができる。
具体的に、前記学習装置２００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータのプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含むことができる装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（すなわち、前記コンピューティング装置をもって、特定の方式で機能させる各インストラクション）との組合せを利用して所望のシステム性能を達成するものであり得る。また、前記コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェアの構成を含むことができる。また、コンピューティング装置は、運営体制、特定の目的を遂行するアプリケーションのソフトウェアの構成をさらに含むこともできる。しかし、このような前記コンピューティング装置に関する説明が本発明を実施するためのプロセッサ、メモリ、媒体またはその他のコンピューティング構成要素が統合された形態である統合プロセッサである場合を排除するものではない。
次に、前記学習装置２００は、学習用プーリングレイヤ２７０をもって、前記学習用プーリングレイヤの一つ以上のプーリング演算を、前記学習用特徴マップ上で前記オートボックスそれぞれに対応するそれぞれの領域にそれぞれ適用して一つ以上の学習用プーリング済み特徴マップを出力させる。
以後、前記学習装置２００は、前記ディープラーニング分類器２８０をもって、前記オートボックスそれぞれに対応するそれぞれの前記学習用プーリング済み特徴マップを入力として取得して、前記オートボックスを前記非正常クラス群または前記正常クラス群に分類する前記クラス情報を出力させる。
この場合、前記クラス情報は、前記誤検出クラス群と前記未検出クラス群とを有する前記非正常クラス群を含むことができる。そして、前記クラス情報は２次元出力を含むことができる。
一例として、前記誤検出クラス群ＦＰ、ｙｉ＝[１，０］は、第１特定のオートボックスと同一のクラス情報を有する第１特定のトゥルーボックスが他のトゥルーボックスと前記第１の予め設定された閾値以上に重なっていない場合に該当し得る。
Figure 0006855091
そして、前記未検出クラス群ＦＮ、ｙｉ＝[０，１］は、第２特定のトゥルーボックスと同一のクラス情報を有する第２特定のオートボックスが、他のオートボックスと前記第２の予め設定された閾値以上に重なっていない状態で、第３特定のオートボックスが前記第２特定のトゥルーボックスと第３の予め設定された閾値以上に重なっている場合に該当し得る。
Figure 0006855091
一例として、前記においてα＝０．９、β＝０．５と設定され得るが、これに限定されるわけではない。
そして、前記正常クラス群ｙｉ＝[０，０］は、前記誤検出クラス群及び前記未検出クラス群以外の他のクラス群を含むことができ、前記物体と前記背景に対応し得る。
一方、前記クラスの不均衡を予防するために、前記学習装置２００は、前記誤検出クラス群、前記未検出クラス群及び前記正常クラス群を管理して、前記非正常クラス群のうちで要素個数が多いクラス群の個数が、要素個数が少ない残りのクラス群個数の予め設定された第１倍数以下になるようにし、前記正常クラス群の要素個数が前記非正常クラス群の要素個数の予め設定された第２倍数と同一になるようにする。
この際、前記学習装置２００は、前記誤検出クラス群ＦＰの要素の個数、前記未検出クラス群ＦＮの要素の個数、及び前記正常クラス群の要素の個数を、ランダムサンプリングを利用して調整することができる。
次に、前記学習装置２００は、少なくとも一つの、レイヤ２８１をもって、それぞれの前記オートラベリング済みボックスに対する前記各クラス情報と、これに対応する原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照して一つ以上のロスを計算させることにより、前記ロスを利用したバックプロパゲーションを通じて前記ディープラーニング分類器２８０のパラメータのうち少なくとも一部を学習することができる。
この際、前記学習装置２００は、クロスエントロピーロス（ｃｒｏｓｓ−ｅｎｔｒｏｐｙ ｌｏｓｓ）を利用して前記バックプロパゲーションを遂行することができる。
一方、前記学習は、前記ディープラーニング分類器２８０を構成するニューラルネットワーク内に連結された二つのレイヤのシナプス強度である重み付け値を、ロスが小さくなるように調整するものであり得る。
一例として、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ、ＳＧＤ）を利用して前記バックプロパゲーションを遂行する場合には、次のようにそれぞれの重み付け値を調整することができる。
Figure 0006855091
前記において、ｌｒは学習率を示し、Ｃは費用関数（Ｃｏｓｔ ｆｕｎｃｔｉｏｎ）を示す。
この際、前記費用関数は、指導学習、非指導学習、自律学習、及び強化学習などのような学習の形態と活性化関数のような各要因によって決定され得る。
例えば、多重クラス（ｍｕｌｔｉ−ｃｌａｓｓ）分類の問題を解決するための学習を遂行する場合に、一般的に前記活性化関数と前記費用関数とはそれぞれソフトマックス関数とクロスエントロピー関数として決定される。
Figure 0006855091
この際、ｐｊはクラス確率（ｃｌａｓｓ ｐｒｏｂａｂｉｌｉｔｙ）を示し、ｘｊとｘｋはそれぞれユニットｊとしての全体入力とユニットｋとしての全体入力を示し得る。そして、ｄｊは、出力ユニットｊに対する目標確率（ｔａｒｇｅｔ ｐｒｏｂａｂｉｌｉｔｙ）を示し、ｐｊは当該活性化関数を適用した後の前記出力ユニットｊに対する確率出力（ｐｒｏｂａｂｉｌｉｔｙ ｏｕｔｐｕｔ）を示し得る。
前記では、前記ロスを利用したバックプロパゲーションの一例として、前記確率的勾配降下法について説明したが、本発明の範囲はこれに限定されず、モメンタム方式（Ｍｏｍｅｎｔｕｍ）、ネステロフ加速勾配（Ｎｅｓｔｅｒｏｖ Ａｃｃｃｃｅｌｌｅｒａｔｅｄ Ｇｒａｄｉｅｎｔ、ＮＡＧ）方式、ＲＭＳＰｒｏｐ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ Ｐｒｏｐａｇａｔｉｏｎ）方式、ＡｄａＤｅｌｔａ（Ａｄａｐｔｉｖｅ Ｄｅｌｔａ）方式、Ａｄａｍ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ）方式などを使用して前記ニューラルネットワークの学習のための前記バックプロパゲーションを遂行することができる。
併せて、前記方法は、多数の変形ペアを有するロバストアルゴリズム（ｒｏｂｕｓｔ ａｌｇｏｒｉｔｈｍ）を利用して遂行することができる。
本発明を通じて、危険な状況をより正確に検出することができる。
以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (26)

  1. ディープラーニングネットワーク学習のための少なくとも一つのオートラベリングされたイメージのうちでラベル検収のための少なくとも一つのサンプルイメージを取得する方法において、
    （ａ）オートラベリングネットワークによってラベリング済みの前記オートラベリングされたイメージが取得されると、サンプルイメージ取得装置が（ｉ）第１イメージと第２イメージとを生成し、このうち少なくとも一つは前記オートラベリングされたイメージから変形して生成され、前記第１イメージと前記第２イメージとのうち一つだけが前記オートラベリングされたイメージから変形して生成されたイメージであれば、残りの一つは前記オートラベリングされたイメージがそのまま使用され、（ｉｉ）一つ以上のコンボリューションレイヤをもって、一つ以上のコンボリューション演算を前記第１イメージと前記第２イメージとにそれぞれ適用して少なくとも一つの第１特徴マップと少なくとも一つの第２特徴マップとを生成させ、（ｉｉｉ）一つ以上のプーリングレイヤをもって、前記第１特徴マップ上で、前記オートラベリングされたイメージのオートラベリング済みボックスそれぞれに対応する各領域に一つ以上のプーリング演算を適用してそれぞれの第１プーリング済み特徴マップを生成させ、前記第２特徴マップ上で、前記オートラベリングされたイメージの前記オートラベリング済みボックスそれぞれに対応する各領域に前記プーリング演算をそれぞれ適用して第２プーリング済み特徴マップそれぞれを生成させ、（ｉｖ）前記オートラベリング済みボックスそれぞれに対応する、それぞれの前記第１プーリング済み特徴マップとそれぞれの前記第２プーリング済み特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）して、それぞれの前記オートラベリング済みボックスに対応するそれぞれのコンカチネートされた特徴マップを生成する段階；
    （ｂ）前記サンプルイメージ取得装置が、ディープラーニング分類器（ｃｌａｓｓｉｆｉｅｒ）をもって、それぞれの前記コンカチネートされた特徴マップを入力として取得して、それぞれの前記オートラベリング済みボックスを非正常クラス群または正常クラス群に分類するクラス情報を生成させる段階；及び、
    （ｃ）前記サンプルイメージ取得装置が、（ｉ）それぞれの前記オートラベリング済みボックスに関するそれぞれの前記クラス情報を参照して前記非正常クラス群の各非正常クラス要素の確率それぞれを計算し、（ｉｉ）それぞれの前記非正常クラス要素の前記確率それぞれを利用して前記オートラベリングされたイメージがディフィカルト（ｄｉｆｆｉｃｕｌｔ）イメージであるかを判断し、（ｉｉｉ）前記オートラベリングされたイメージが前記ディフィカルトイメージとして判断される場合、前記オートラベリングされたイメージをラベル検収のための前記サンプルイメージとして選定し、前記ディフィカルトイメージは不正確にオートラベリングされる確率が予め設定された値以上であるイメージである段階；
    を含むことを特徴とする方法。
  2. 前記（ａ）段階で、
    前記サンプルイメージ取得装置は、前記第１イメージと前記第２イメージとを生成するのにおいて、前記第１イメージを変形する一つ以上の第１関数とこれに対応して前記第２イメージを変形する第２関数とを含む一つ以上の変形ペアを利用して、前記オートラベリングされたイメージに対応する、前記第１イメージと前記第２イメージとの少なくとも一つのイメージペアを生成し、
    前記（ｃ）段階で、
    前記サンプルイメージ取得装置は、それぞれの前記オートラベリング済みボックスごとに、前記変形ペアそれぞれに対応する前記非正常クラス要素それぞれの各確率を計算し、前記それぞれの確率に対する少なくとも一つの重み付け平均を計算することを特徴とする請求項１に記載の方法。
  3. 前記非正常クラス群は、誤検出（ｍｉｓｄｅｔｅｃｔｉｏｎ）クラス群と未検出（ｎｏｎ−ｄｅｔｅｃｔｉｏｎ）クラス群とを含み、
    前記非正常クラス要素それぞれの各確率は、前記誤検出クラス群の誤検出クラス要素それぞれの確率と前記未検出クラス群の未検出クラス要素それぞれの確率とを含むことを特徴とする請求項１に記載の方法。
  4. 前記（ｃ）段階で、
    前記不正確にオートラベリングされる確率は、前記非正常クラス要素それぞれの確率に対する少なくとも一つの一般化された平均（ｇｅｎｅｒａｌｉｚｅｄ ｍｅａｎ）であることを特徴とする請求項１に記載の方法。
  5. 前記予め設定された値は、前記オートラベリングネットワークを通じてオートラベリングされた後、手動で検収された検証イメージに対する正答的中率のうち最も高い的中率であることを特徴とする請求項１に記載の方法。
  6. （ｄ）前記サンプルイメージ取得装置は、前記ディフィカルトイメージとして判断された前記オートラベリングされたイメージ上で、前記非正常クラス群に分類された前記オートラベリング済みボックスに対応する領域を識別する段階；
    をさらに含むことを特徴とする請求項１に記載の方法。
  7. それぞれの前記コンボリューションレイヤは、前記オートラベリングネットワークを構成する少なくとも一つのオートラベリングコンボリューションレイヤであることを特徴とする請求項１に記載の方法。
  8. 前記ディープラーニング分類器は、多重のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）レイヤまたは一つのＦＣＮ（ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）を含むことを特徴とする請求項１に記載の方法。
  9. 学習装置によって、前記ディープラーニング分類器は、（ｉ）前記オートラベリング済みボックスに対応するトゥルーボックスとオートボックスとを含む少なくとも一つのトレーニングイメージが取得されると、（ｉ−１）学習用コンボリューションレイヤをもって、前記学習用コンボリューションレイヤのコンボリューション演算を前記トレーニングイメージに適用して学習用特徴マップを生成させ、（ｉ−２）学習用プーリングレイヤをもって、前記学習用特徴マップ上で前記オートボックスに対応する領域それぞれに前記学習用プーリングレイヤのプーリング演算を適用して、学習用プーリング済み特徴マップを生成させ、（ｉｉ）前記オートボックスそれぞれに対応する前記学習用プーリング済み特徴マップそれぞれを入力として取得して、前記オートボックスを前記正常クラス群または前記非正常クラス群に分類する前記クラス情報を生成し、（ｉｉｉ）少なくとも一つのロスレイヤをもって、前記クラス情報とこれに対応する一つ以上の原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照して一つ以上のロスを算出させることにより、前記ロスを利用したバックプロパゲーションを通じて前記ディープラーニング分類器のパラメータのうち少なくとも一部を学習することを特徴とする請求項１に記載の方法。
  10. 前記クラス情報は、誤検出クラス群と未検出クラス群とを有する前記非正常クラス群を含み、
    （ｉ）前記誤検出クラス群は、第１特定のオートボックスと同一のクラス情報を有する第１特定のトゥルーボックスが他のどのトゥルーボックスとも第１の予め設定された閾値以上に重なっていない場合に該当し、（ｉｉ）前記未検出クラス群は、第２特定のトゥルーボックスと同一のクラス情報を有する第２特定のオートボックスが他のどのオートボックスとも第２の予め設定された閾値以上に重なっていない状態で、第３特定のオートボックスが前記第２特定のトゥルーボックスと第３の予め設定された閾値以上に重なっている場合に該当し、前記正常クラス群は、前記誤検出クラス群と前記未検出クラス群とを除いたすべてのクラス群を含むことを特徴とする請求項９に記載の方法。
  11. 前記学習装置は、前記誤検出クラス群、前記未検出クラス群、及び前記正常クラス群を管理して、前記非正常クラス群のうちで要素個数が多いクラス群の個数が、要素個数が少ない残りのクラス群の個数の予め設定された第１倍数以下になるようにし、前記正常クラス群の要素個数が前記非正常クラス群の要素個数の予め設定された第２倍数と同一になるようにすることを特徴とする請求項１０に記載の方法。
  12. 前記学習装置は、ランダムサンプリングを利用して、前記誤検出クラス群の要素の個数、前記未検出クラス群の要素の個数、及び前記正常クラス群の要素の個数を調整することを特徴とする請求項１０に記載の方法。
  13. 前記学習装置は、クロスエントロピーロス（ｃｒｏｓｓ−ｅｎｔｒｏｐｙ ｌｏｓｓ）を利用して前記バックプロパゲーションを遂行することを特徴とする請求項９に記載の方法。
  14. ディープラーニングネットワーク学習のための少なくとも一つのオートラベリングされたイメージのうちでラベル検収のための少なくとも一つのサンプルイメージを取得するサンプルイメージ取得装置において、
    各インストラクションを格納する少なくとも一つのメモリと、
    （Ｉ）オートラベリングネットワークによってラベリング済みの前記オートラベリングされたイメージが取得されると、（ｉ）第１イメージと第２イメージとを生成し、このうち少なくとも一つは前記オートラベリングされたイメージから変形して生成され、前記第１イメージと前記第２イメージとのうち一つだけが前記オートラベリングされたイメージから変形して生成されたイメージであれば、残りの一つは前記オートラベリングされたイメージがそのまま使用され、（ｉｉ）一つ以上のコンボリューションレイヤをもって、一つ以上のコンボリューション演算を前記第１イメージと前記第２イメージとにそれぞれ適用して少なくとも一つの第１特徴マップと少なくとも一つの第２特徴マップとを生成させ、（ｉｉｉ）一つ以上のプーリングレイヤをもって、前記第１特徴マップ上で、前記オートラベリングされたイメージのオートラベリング済みボックスそれぞれに対応する各領域に一つ以上のプーリング演算を適用してそれぞれの第１プーリング済み特徴マップを生成させ、前記第２特徴マップ上で、前記オートラベリングされたイメージの前記オートラベリング済みボックスそれぞれに対応する各領域に前記プーリング演算をそれぞれ適用して第２プーリング済み特徴マップそれぞれを生成させ、（ｉｖ）前記オートラベリング済みボックスそれぞれに対応する、それぞれの前記第１プーリング済み特徴マップとそれぞれの前記第２プーリング済み特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）して、それぞれの前記オートラベリング済みボックスに対応するそれぞれのコンカチネートされた特徴マップを生成するプロセス、（ＩＩ）ディープラーニング分類器（ｃｌａｓｓｉｆｉｅｒ）をもって、それぞれの前記コンカチネートされた特徴マップを入力として取得して、それぞれの前記オートラベリング済みボックスを非正常クラス群または正常クラス群に分類するクラス情報を生成させるプロセス、及び（ＩＩＩ）（ｉ）それぞれの前記オートラベリング済みボックスに関するそれぞれの前記クラス情報を参照して前記非正常クラス群の各非正常クラス要素の確率それぞれを計算し、（ｉｉ）それぞれの前記非正常クラス要素の前記確率それぞれを利用して前記オートラベリングされたイメージがディフィカルトイメージであるかを判断し、（ｉｉｉ）前記オートラベリングされたイメージが前記ディフィカルトイメージとして判断される場合、前記オートラベリングされたイメージをラベル検収のための前記サンプルイメージとして選定し、前記ディフィカルトイメージは不正確にオートラベリングされる確率が予め設定された値以上であるイメージであるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とするサンプルイメージ取得装置。
  15. 前記（Ｉ）プロセスで、
    前記プロセッサは、前記第１イメージと前記第２イメージとを生成するのにおいて、前記第１イメージを変形する一つ以上の第１関数と、それに対応して前記第２イメージを変形する第２関数とを含む一つ以上の変形ペアを利用して、前記オートラベリングされたイメージに対応する、前記第１イメージと前記第２イメージとの少なくとも一つのイメージペアを生成し、
    前記（ＩＩＩ）プロセスで、
    前記プロセッサは、それぞれの前記オートラベリング済みボックスごとに、前記変形ペアそれぞれに対応する前記非正常クラス要素それぞれの各確率を計算し、前記それぞれの確率に対する少なくとも一つの重み付け平均を計算することを特徴とする請求項１４に記載のサンプルイメージ取得装置。
  16. 前記非正常クラス群は、誤検出（ｍｉｓｄｅｔｅｃｔｉｏｎ）クラス群と未検出（ｎｏｎ−ｄｅｔｅｃｔｉｏｎ）クラス群とを含み、前記非正常クラス要素それぞれの各確率は、前記誤検出クラス群の誤検出クラス要素それぞれの確率と前記未検出クラス群の未検出クラス要素それぞれの確率とを含むことを特徴とする請求項１４に記載のサンプルイメージ取得装置。
  17. 前記（ＩＩＩ）プロセスで、
    前記不正確にオートラベリングされる確率は、前記非正常クラス要素それぞれの確率に対する少なくとも一つの一般化された平均（ｇｅｎｅｒａｌｉｚｅｄ ｍｅａｎ）であることを特徴とする請求項１４に記載のサンプルイメージ取得装置。
  18. 前記予め設定された値は、前記オートラベリングネットワークを通じてオートラベリングされた後、手動で検収された検証イメージに対する正答的中率のうち最も高い的中率であることを特徴とする請求項１４に記載のサンプルイメージ取得装置。
  19. 前記プロセッサは、（ＩＶ）前記ディフィカルトイメージとして判断された前記オートラベリングされたイメージ上で、前記非正常クラス群に分類された前記オートラベリング済みボックスに対応する領域を識別するプロセス；を更に遂行することを特徴とする請求項１４に記載のサンプルイメージ取得装置。
  20. それぞれの前記コンボリューションレイヤは、前記オートラベリングネットワークを構成する少なくとも一つのオートラベリングコンボリューションレイヤであることを特徴とする請求項１４に記載のサンプルイメージ取得装置。
  21. 前記ディープラーニング分類器は、多重のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）レイヤまたは一つのＦＣＮを含むことを特徴とする請求項１４に記載のサンプルイメージ取得装置。
  22. 学習装置によって、前記ディープラーニング分類器は、（ｉ）前記オートラベリング済みボックスに対応するトゥルーボックスとオートボックスとを含む少なくとも一つのトレーニングイメージが取得されると、（ｉ−１）学習用コンボリューションレイヤをもって、前記学習用コンボリューションレイヤのコンボリューション演算を前記トレーニングイメージに適用して学習用特徴マップを生成させ、（ｉ−２）学習用プーリングレイヤをもって、前記学習用特徴マップ上で前記オートボックスに対応する領域それぞれに前記学習用プーリングレイヤのプーリング演算を適用して、学習用プーリング済み特徴マップを生成させ、（ｉｉ）前記オートボックスそれぞれに対応する前記学習用プーリング済み特徴マップそれぞれを入力として取得して、前記オートボックスを前記正常クラス群または前記非正常クラス群に分類する前記クラス情報を生成し、（ｉｉｉ）少なくとも一つのロスレイヤをもって、前記クラス情報とこれに対応する一つ以上の原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照して一つ以上のロスを算出させることにより、前記ロスを利用したバックプロパゲーションを通じて前記ディープラーニング分類器のパラメータのうち少なくとも一部を学習することを特徴とする請求項１４に記載のサンプルイメージ取得装置。
  23. 前記クラス情報は、誤検出クラス群と未検出クラス群とを有する前記非正常クラス群を含み、
    （ｉ）前記誤検出クラス群は、第１特定のオートボックスと同一のクラス情報を有する第１特定のトゥルーボックスが他のどのトゥルーボックスとも第１の予め設定された閾値以上に重なっていない場合に該当し、（ｉｉ）前記未検出クラス群は、第２特定のトゥルーボックスと同一のクラス情報を有する第２特定のオートボックスが他のどのオートボックスとも第２の予め設定された閾値以上に重なっていない状態で、第３特定のオートボックスが前記第２特定のトゥルーボックスと第３の予め設定された閾値以上に重なっている場合に該当し、前記正常クラス群は、前記誤検出クラス群と前記未検出クラス群とを除いたすべてのクラス群を含むことを特徴とする請求項２２に記載のサンプルイメージ取得装置。
  24. 前記学習装置は、前記誤検出クラス群、前記未検出クラス群、及び前記正常クラス群を管理して、前記非正常クラス群のうちで要素個数が多いクラス群の個数が、要素個数が少ない残りのクラス群の個数の予め設定された第１倍数以下になるようにし、前記正常クラス群の要素個数が前記非正常クラス群の要素個数の予め設定された第２倍数と同一になるようにすることを特徴とする請求項２３に記載のサンプルイメージ取得装置。
  25. 前記学習装置は、ランダムサンプリングを利用して、前記誤検出クラス群の要素の個数、前記未検出クラス群の要素の個数、及び前記正常クラス群の要素の個数を調整することを特徴とする請求項２３に記載のサンプルイメージ取得装置。
  26. 前記学習装置は、クロスエントロピーロス（ｃｒｏｓｓ−ｅｎｔｒｏｐｙ ｌｏｓｓ）を利用して前記バックプロパゲーションを遂行することを特徴とする請求項２２に記載のサンプルイメージ取得装置。
JP2020004613A 2019-01-30 2020-01-15 ニューラルネットワーク学習に利用されるオートラベリングされたイメージのうちでラベル検収のためのサンプルイメージを取得する方法、及びそれを利用したサンプルイメージ取得装置 Active JP6855091B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/262,142 2019-01-30
US16/262,142 US10373027B1 (en) 2019-01-30 2019-01-30 Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same

Publications (2)

Publication Number Publication Date
JP2020123330A JP2020123330A (ja) 2020-08-13
JP6855091B2 true JP6855091B2 (ja) 2021-04-07

Family

ID=67477578

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020004613A Active JP6855091B2 (ja) 2019-01-30 2020-01-15 ニューラルネットワーク学習に利用されるオートラベリングされたイメージのうちでラベル検収のためのサンプルイメージを取得する方法、及びそれを利用したサンプルイメージ取得装置

Country Status (5)

Country Link
US (1) US10373027B1 (ja)
EP (1) EP3690714B1 (ja)
JP (1) JP6855091B2 (ja)
KR (1) KR102263397B1 (ja)
CN (1) CN111507370B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399382A (zh) * 2018-02-13 2018-08-14 阿里巴巴集团控股有限公司 车险图像处理方法和装置
US11922314B1 (en) * 2018-11-30 2024-03-05 Ansys, Inc. Systems and methods for building dynamic reduced order physical models
CN111291755B (zh) * 2020-02-13 2022-11-15 腾讯科技（深圳）有限公司 对象检测模型训练及对象检测方法、装置、计算机设备和存储介质
CN111832406B (zh) * 2020-06-05 2022-12-06 中国科学院计算技术研究所 一种长尾目标检测方法与系统
CN111814582B (zh) * 2020-06-15 2022-06-28 开易（北京）科技有限公司 一种用于驾驶员行为监测图像的处理方法及装置
CN111753729B (zh) * 2020-06-24 2022-06-24 西安深信科创信息技术有限公司 一种假脸检测方法、装置、电子设备及存储介质
CN112464846B (zh) * 2020-12-03 2024-04-02 武汉理工大学 一种车站货运列车车厢异常故障的自动识别方法
CN112598058A (zh) * 2020-12-22 2021-04-02 深延科技(北京)有限公司 一种自动化深度学习方法、装置及存储介质
CN112906811B (zh) * 2021-03-09 2023-04-18 西安电子科技大学 基于物联网架构的工程车载设备图像自动分类方法
CN113436138B (zh) * 2021-03-31 2023-07-21 成都飞机工业（集团）有限责任公司 一种基于数字图像的航空结构件识别的图像预处理方法
CN113870230B (zh) * 2021-09-30 2022-08-02 湖南大学 一种基于混合监督学习的表面异常检测方法
JP7343646B1 (ja) 2022-03-30 2023-09-12 本田技研工業株式会社 教師データの収集方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4132229B2 (ja) * 1998-06-03 2008-08-13 株式会社ルネサステクノロジ 欠陥分類方法
JP4742193B2 (ja) * 2009-04-28 2011-08-10 Ｎｅｃソフト株式会社 年齢推定装置、年齢推定方法及びプログラム
JP2011158373A (ja) * 2010-02-02 2011-08-18 Dainippon Screen Mfg Co Ltd 自動欠陥分類のための教師データ作成方法、自動欠陥分類方法および自動欠陥分類装置
AU2015261891A1 (en) * 2014-05-23 2016-10-13 Ventana Medical Systems, Inc. Systems and methods for detection of biological structures and/or patterns in images
US9418319B2 (en) * 2014-11-21 2016-08-16 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
US10410096B2 (en) * 2015-07-09 2019-09-10 Qualcomm Incorporated Context-based priors for object detection in images
JP6596260B2 (ja) 2015-08-19 2019-10-23 株式会社Ｓｃｒｅｅｎホールディングス 教示支援方法および画像分類方法
US9767381B2 (en) * 2015-09-22 2017-09-19 Xerox Corporation Similarity-based detection of prominent objects using deep CNN pooling layers as features
US9965705B2 (en) * 2015-11-03 2018-05-08 Baidu Usa Llc Systems and methods for attention-based configurable convolutional neural networks (ABC-CNN) for visual question answering
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
US20170124409A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Cascaded neural network with scale dependent pooling for object detection
US10002313B2 (en) * 2015-12-15 2018-06-19 Sighthound, Inc. Deeply learned convolutional neural networks (CNNS) for object localization and classification
US9858496B2 (en) * 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images
CN108475331B (zh) * 2016-02-17 2022-04-05 英特尔公司 用于对象检测的方法、装置、系统和计算机可读介质
JP6573233B2 (ja) 2016-07-19 2019-09-11 日本電信電話株式会社 認識容易性指標算出装置、方法、及びプログラム
US10354362B2 (en) * 2016-09-08 2019-07-16 Carnegie Mellon University Methods and software for detecting objects in images using a multiscale fast region-based convolutional neural network
US10387740B2 (en) * 2016-10-10 2019-08-20 Gyrfalcon Technology Inc. Object detection and recognition apparatus based on CNN based integrated circuits
CN106599773B (zh) * 2016-10-31 2019-12-24 清华大学 用于智能驾驶的深度学习图像识别方法、系统及终端设备
US10198671B1 (en) * 2016-11-10 2019-02-05 Snap Inc. Dense captioning with joint interference and visual context
JP6854344B2 (ja) * 2016-11-15 2021-04-07 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 直方体検出のための深層機械学習システム
US20180211403A1 (en) * 2017-01-20 2018-07-26 Ford Global Technologies, Llc Recurrent Deep Convolutional Neural Network For Object Detection
US10600184B2 (en) * 2017-01-27 2020-03-24 Arterys Inc. Automated segmentation utilizing fully convolutional networks
US10346724B2 (en) * 2017-06-22 2019-07-09 Waymo Llc Rare instance classifiers
US10474908B2 (en) * 2017-07-06 2019-11-12 GM Global Technology Operations LLC Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation
JP7149692B2 (ja) * 2017-08-09 2022-10-07 キヤノン株式会社 画像処理装置、画像処理方法
US11531830B2 (en) * 2017-08-14 2022-12-20 Tata Consultancy Services Limited Synthetic rare class generation by preserving morphological identity
US10169679B1 (en) * 2017-10-13 2019-01-01 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using loss augmentation and testing method and testing device using the same
US10223610B1 (en) * 2017-10-15 2019-03-05 International Business Machines Corporation System and method for detection and classification of findings in images
US10007865B1 (en) * 2017-10-16 2018-06-26 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same
CN108805188B (zh) * 2018-05-29 2020-08-21 徐州工程学院 一种基于特征重标定生成对抗网络的图像分类方法
JP7117934B2 (ja) * 2018-08-07 2022-08-15 日本放送協会 画像分類装置及びプログラム
US10223614B1 (en) * 2018-09-04 2019-03-05 StradVision, Inc. Learning method, learning device for detecting lane through classification of lane candidate pixels and testing method, testing device using the same
US10229346B1 (en) * 2018-09-04 2019-03-12 StradVision, Inc. Learning method, learning device for detecting object using edge image and testing method, testing device using the same

Also Published As

Publication number Publication date
EP3690714A1 (en) 2020-08-05
US10373027B1 (en) 2019-08-06
EP3690714C0 (en) 2023-12-06
EP3690714B1 (en) 2023-12-06
KR20200094622A (ko) 2020-08-07
CN111507370A (zh) 2020-08-07
KR102263397B1 (ko) 2021-06-11
JP2020123330A (ja) 2020-08-13
CN111507370B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
JP6855091B2 (ja) ニューラルネットワーク学習に利用されるオートラベリングされたイメージのうちでラベル検収のためのサンプルイメージを取得する方法、及びそれを利用したサンプルイメージ取得装置
JP6849932B2 (ja) 高精密度のイメージを分析するためのディープラーニングネットワークを使用するためにトレーニングイメージをオートラベリングするオートラベルリング装置のハイパーパラメータを最適化する方法、及びこれを利用した最適化装置
JP6853560B2 (ja) 高精度イメージを分析するディープラーニングネットワークの学習に利用するためのトレーニングイメージをオートラベリングするための方法、及びこれを利用したオートラベリング装置｛ｍｅｔｈｏｄ ｆｏｒ ａｕｔｏ−ｌａｂｅｌｉｎｇ ｔｒａｉｎｉｎｇ ｉｍａｇｅｓ ｆｏｒ ｕｓｅ ｉｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｎｅｔｗｏｒｋ ｔｏ ａｎａｌｙｚｅ ｉｍａｇｅｓ ｗｉｔｈ ｈｉｇｈ ｐｒｅｃｉｓｉｏｎ， ａｎｄ ａｕｔｏ−ｌａｂｅｌｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
JP6932395B2 (ja) イメージを分析するために、ディープラーニングネットワークに利用するためのトレーニングイメージに対するラベルリング信頼度を自動的に評価するための方法、及びこれを利用した信頼度評価装置
US10546242B2 (en) Image analysis neural network systems
KR102373456B1 (ko) 자동 주차 시스템을 제공하기 위해 결정 지점 간의 관계 및 결정 지점에 대한 리그레션 결과를 이용하여 주차 공간을 검출하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
CN108764063B (zh) 一种基于特征金字塔的遥感影像时敏目标识别系统及方法
JP6875021B2 (ja) 有用な学習データを取捨選別するためのｃｎｎ基盤の学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置
JP6865363B2 (ja) ラプラシアンピラミッドネットワークを利用して自律走行自動車レベル４及びレベル５を満足させるために要求される道路障害物検出におけるセグメンテーション性能向上のための学習方法及び学習装置、並びにこれを利用したテスト方法及びテスト装置
JP6867054B2 (ja) マルチカメラシステム内のダブルエンベディング構成を利用して、道路利用者イベントを検出するために用いられるセグメンテーション性能向上のための学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置。｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｉｍｐｒｏｖｉｎｇ ｓｅｇｍｅｎｔａｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｒｏａｄ ｕｓｅｒ ｅｖｅｎｔｓ ｕｓｉｎｇ ｄｏｕｂｌｅ ｅｍｂｅｄｄｉｎｇ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｉｎ ｍｕｌｔｉ−ｃａｍｅｒａ ｓｙｓｔｅｍ ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
JP6865364B2 (ja) エッジロスを利用して歩行者イベント、自動車イベント、フォーリングイベント、フォールンイベントを含むイベントを検出するにおいて利用されるセグメンテーション性能向上のための学習方法及び学習装置、並びにそれを利用したテスト方法及びテスト装置
JP6846069B2 (ja) 遠距離検出または軍事目的のために、イメージコンカチネーションを利用したｃｎｎ基盤のハードウェア最適化が可能な物体検出器を学習する方法及び学習装置、それを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ ｗｉｔｈ ｈａｒｄｗａｒｅ ｏｐｔｉｍｉｚａｔｉｏｎ ｂａｓｅｄ ｏｎ ｃｎｎ ｆｏｒ ｄｅｔｅｃｔｉｏｎ ａｔ ｄｉｓｔａｎｃｅ ｏｒ ｍｉｌｉｔａｒｙ ｐｕｒｐｏｓｅ ｕｓｉｎｇ ｉｍａｇｅ ｃｏｎｃａｔｅｎａｔｉｏｎ， ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
KR20200027889A (ko) CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
JP6916548B2 (ja) 自律走行自動車のレベル４を満たすために必要なｈｄマップとのコラボレーションを支援するエンベディングロス及びソフトマックスロスを利用して少なくとも一つの車線を有するイメージをセグメンテーションする学習方法及び学習装置、並びにそれを利用したテスト方法及びテスト装置
JP7327077B2 (ja) 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
CN112085001A (zh) 一种基于多尺度边缘特征检测的隧道识别模型及方法
CN113160117A (zh) 一种自动驾驶场景下的三维点云目标检测方法
CN114202671A (zh) 一种图像预测优化处理方法及装置
CN110705695A (zh) 搜索模型结构的方法、装置、设备和存储介质
CN113362372B (zh) 一种单目标追踪方法及计算机可读介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210310

R150 Certificate of patent or registration of utility model

Ref document number: 6855091

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250