JP6932395B2 - イメージを分析するために、ディープラーニングネットワークに利用するためのトレーニングイメージに対するラベルリング信頼度を自動的に評価するための方法、及びこれを利用した信頼度評価装置 - Google Patents
イメージを分析するために、ディープラーニングネットワークに利用するためのトレーニングイメージに対するラベルリング信頼度を自動的に評価するための方法、及びこれを利用した信頼度評価装置 Download PDFInfo
- Publication number
- JP6932395B2 JP6932395B2 JP2020004704A JP2020004704A JP6932395B2 JP 6932395 B2 JP6932395 B2 JP 6932395B2 JP 2020004704 A JP2020004704 A JP 2020004704A JP 2020004704 A JP2020004704 A JP 2020004704A JP 6932395 B2 JP6932395 B2 JP 6932395B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- label
- auto
- unique
- verification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims description 126
- 238000000034 method Methods 0.000 title claims description 49
- 238000011156 evaluation Methods 0.000 title claims description 43
- 238000012549 training Methods 0.000 title claims description 36
- 238000013135 deep learning Methods 0.000 title claims description 33
- 238000012795 verification Methods 0.000 claims description 180
- 230000002159 abnormal effect Effects 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims description 7
- 238000010200 validation analysis Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
- G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
- G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/18143—Extracting features based on salient regional features, e.g. scale invariant feature transform [SIFT] keypoints
- G06V30/18152—Extracting features based on a plurality of salient regional features, e.g. "bag of words"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Operations Research (AREA)
- Algebra (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
Description
本発明は、ディープラーニングネットワークの学習に利用するためのトレーニングイメージに対するラベルリング信頼度を評価する方法及び装置に関する。
近年、機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）を利用して物体を識別する方法等に関する研究が行われている。このような機械学習の一環として、入力レイヤと出力レイヤとの間に複数個のヒドゥンレイヤ（ｈｉｄｄｅｎ ｌａｙｅｒ）を有するニューラルネットワークを利用したディープラーニングは、高い識別性能を有する。
そして、前記ディープラーニングを利用する前記ニューラルネットワークは、一般的にロスを利用したバックプロパゲーションを通じて学習する。
このようなディープラーニングネットワークの学習を進めるためには、ラベラー（ｌａｂｅｌｅｒ）によって個別データポイントにタグ、すなわち、ラベルを追加したトレーニングデータが必要である。このようなトレーニングデータを準備すること（すなわち、データを正確に分類すること）は、特に大量のトレーニングデータを利用する場合とデータの前処理の品質が持続的に高くない場合、労働集約的であり、費用が多くかかって煩雑であり得る。従来の相互的なラベリングは、費用が高く好ましい結果を導き出すことができない。
したがって、最近ではディープラーニング基盤のオートラベリングネットワークを利用してトレーニングイメージにタグを追加するオートラベリングを遂行し、検収者がオートラベリングされたトレーニングイメージを検収して前記タグや前記ラベルを校正する。
また、固有のトゥルーラベルを有する検証イメージを追加して、前記オートラベリングネットワークとラベラーによるラベリング作業に対するラベリング信頼度を評価している。
しかしながら、前記検証イメージをアンラベリングされたイメージに追加する従来の方法においては、地域、天気、昼と夜などのような、前記アンラベリングされたイメージの撮影環境と前記検証イメージの撮影環境が異なる場合、前記検収者は前記アンラベリングされたイメージと前記検証イメージとを容易に区分することができ、これによって前記検証イメージを中心として検収を遂行することが容易であるため、ラベルリングに対する正確な評価が行われ得ない問題点がある。
また、従来の方法のように、前記トゥルーラベルに対してのみ検収を行う場合、検収を怠る検収者が一生懸命に検収する検収者より高い評価を受けかねない問題点がある。
併せて、検証のために前記トゥルーラベルに誤検出及び未検出のラベルを追加する場合には、前記オートラベリングネットワークによって生成されたオートラベリングと差異が生じ得、この場合、前記検収者は前記ラベルが検証のためのラベルであるのかを容易に把握することができるため、正確な評価が行われないという問題点が生じ得る。
本発明は、前述した問題点を全て解決することをその目的とする。
本発明は、原本イメージ、すなわち、アンラベリングされたイメージに追加される検証イメージの撮影環境が前記原本イメージの撮影環境とほぼ同じであるようにすることを他の目的とする。
本発明は、オートラベリングされたイメージのうち正確にラベルリングすることが難しいイメージを検収して、ラベリングの信頼度を正確に評価するのを可能にすることをまた他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は以下の通りである。
本発明の一態様によると、ディープラーニングネットワークの学習に利用するための一つ以上のトレーニングイメージに対するラベルリング信頼度を評価する方法において、（ａ）一つ以上の原本イメージが取得されると、信頼度評価装置が、類似イメージ選択ネットワークをもって、前記原本イメージと撮影環境が類似する、固有のトゥルーラベルを有する検証イメージ候補群を選択させた後、前記固有のトゥルーラベルを有する検証イメージ候補群と前記原本イメージとをオートラベリングネットワークに入力することにより、前記オートラベリングネットワークをもって、前記固有のトゥルーラベルを有する検証イメージ候補群と前記原本イメージとをオートラベリングさせ、前記原本イメージはアンラベリングされたイメージである段階；（ｂ）前記信頼度評価装置は、（ｉ）固有のトゥルーラベル及びオートラベルを有するイージー（ｅａｓｙ）検証イメージが前記オートラベリングネットワークから取得されると、前記イージー検証イメージの前記トゥルーラベルと前記オートラベルとを参照して前記オートラベリングネットワークの信頼度を評価し、（ｉｉ）固有のトゥルーラベル及びオートラベルを有するディフィカルト（ｄｉｆｆｉｃｕｌｔ）検証イメージに手動ラベリング演算を適用して生成された固有のトゥルーラベル、オートラベル、及び手動ラベルを有するディフィカルト検証イメージが手動ラベリング装置から取得されると、前記ディフィカルト検証イメージの前記トゥルーラベルと前記手動ラベルとを参照して、前記手動ラベリング装置の信頼度を評価し、前記固有のトゥルーラベル及びオートラベルとを有するイージー検証イメージは、前記オートラベリングされた固有のトゥルーラベルを有する検証イメージ候補群のうち、不正確にオートラベリングされる確率が第１の予め設定された値未満である検証イメージであり、前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージは、前記オートラベリングされた固有のトゥルーラベルを有する検証イメージ候補群のうち、不正確にオートラベリングされる確率が第２の予め設定された値以上である検証イメージである段階；を含むことを特徴とする方法が開示される。
一実施例において、（ｃ）前記信頼度評価装置が、（ｉ）前記オートラベリングネットワークの前記信頼度が第１の予め設定された閾値以上である場合、前記オートラベリングネットワークから取得された、固有のオートラベルを有するイージー原本イメージのうち少なくとも一部を固有のトゥルーラベルを有するトレーニングイメージとして選定し、（ｉｉ）前記手動ラベリング装置の前記信頼度が第２の予め設定された閾値以上である場合、前記手動ラベリング装置から取得された、固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージのうち少なくとも一部を前記固有のトゥルーラベルを有するトレーニングイメージとして選定し、前記固有のオートラベルを有するイージー原本イメージは、前記原本イメージをオートラベリングして取得された、固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第３の予め設定された値未満であるイメージであり、前記固有のオートラベルを有するディフィカルト原本イメージは、前記原本イメージをオートラベリングして取得された、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第４の予め設定された値以上であるイメージである段階；をさらに含むことを特徴とする。
一実施例において、前記信頼度評価装置は、前記固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージのうち前記固有のトゥルーラベルを有するトレーニングイメージとして選定されていない、固有のオートラベル及び手動ラベルを有する特定のディフィカルト原本イメージを前記固有のトゥルーラベルを有する検証イメージ候補群として選定することを特徴とする。
一実施例において、前記（ａ）段階で、前記信頼度評価装置は、前記類似イメージ選択ネットワークをもって、（ｉ）（ｉ−１）前記原本イメージ上におけるスライドウィンドウ（ｓｌｉｄｉｎｇ ｗｉｎｄｏｗ）の各領域をクロップ（ｃｒｏｐ）しリサイズして生成された加工イメージを取得し、（ｉ−２）イメージ分類ＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を通じて前記加工イメージを分類して各上位ｋ個のクラス情報を出力し、（ｉ−３）前記上位ｋ個のクラス情報を参照して少なくとも一つのＢｏＷ（Ｂａｇ ｏｆ Ｗｏｒｄｓ）を生成する少なくとも一つの演算を前記すべての原本イメージに適用して、前記原本イメージの少なくとも一つのＢｏＷヒストグラムを生成させ、（ｉｉ）前記固有のトゥルーラベルを有する検証イメージ候補群のうち、前記ＢｏＷヒストグラムに近い順序に予め設定された個数の前記固有のトゥルーラベルを有する検証イメージ候補群を選択することを特徴とする。
一実施例において、前記信頼度評価装置は、前記類似イメージ選択ネットワークをもって、前記予め設定された個数の前記検証イメージ候補群のうち前記固有のトゥルーラベルを有するディフィカルト検証イメージと固有のオートラベルを有するディフィカルト原本イメージとを管理させて、前記予め設定された個数の検証イメージ候補群のうち前記固有のトゥルーラベルを有するディフィカルト検証イメージの個数が前記原本イメージのうち前記固有のオートラベルを有するディフィカルト原本イメージの個数に対する特定の割合を有するようにすることを特徴とする。
一実施例において、前記（ａ）段階で、前記信頼度評価装置は、前記オートラベリングネットワークをもって、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージ候補群とをオートラベリングして、固有のオートラベルを有する原本イメージと固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とを出力させた後、（ｉ）（ｉ−１）第１イメージと第２イメージとを生成し、このうち少なくとも一つは、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とのうち一つから変形して生成され、前記第１イメージと前記第２イメージとのうち一つだけが前記固有のオートラベルを有する原本イメージと前記検証イメージ候補群とのうち一つから変形して生成されたイメージであれば、前記第１イメージと前記第２イメージのうち残りの一つは、前記原本イメージと前記検証イメージ候補群とのうち一つをそのまま使用し、（ｉ−２）一つ以上のコンボリューションレイヤをもって、前記第１イメージと前記第２イメージとにそれぞれ一つ以上のコンボリューション演算を適用して少なくとも一つの第１特徴マップと少なくとも一つの第２特徴マップとを生成させ、（ｉ−３）一つ以上のプーリングレイヤをもって、それぞれの前記第１特徴マップとそれぞれの前記第２特徴マップ上で、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とのオートラベリングされたボックスそれぞれに対応する各領域に一つ以上のプーリング演算を適用して一つ以上の第１プーリング済み特徴マップと一つ以上の第２プーリング済み特徴マップとを生成させ、それぞれの前記第１プーリング済み特徴マップと、これに対応するそれぞれの前記第２プーリング済み特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）して、それぞれの前記オートラベリングされたボックスに対応する一つ以上のコンカチネートされた特徴マップを生成させ、（ｉｉ）ディープラーニング分類器（ｃｌａｓｓｉｆｉｅｒ）をもって、それぞれの前記オートラベリングされたボックスに対応するそれぞれの前記コンカチネートされた特徴マップを入力として取得して、それぞれの前記オートラベリングされたボックスを非正常クラス群または正常クラス群に分類するクラス情報を生成させ、（ｉｉｉ）（ｉｉｉ−１）それぞれの前記オートラベリングされたボックスに関するそれぞれの前記クラス情報を参照して前記非正常クラス群の各非正常クラス要素の確率それぞれを計算し、（ｉｉｉ−２）それぞれの前記非正常クラス要素の前記確率それぞれを利用して前記固有のオートラベルを有する原本イメージを固有のオートラベルを有するイージー原本イメージと固有のオートラベルを有するディフィカルト原本イメージとに区分し、（ｉｉｉ−３）前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群を、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに区分し、前記固有のオートラベルを有するイージー原本イメージは、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が前記第３の予め設定された値未満であるイメージであり、前記固有のオートラベルを有するディフィカルト原本イメージは、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第４の予め設定された値以上であるイメージであることを特徴とする。
一実施例において、前記（ｂ）段階で、前記信頼度評価装置は、精密度
／
、
／
とし、前記イージー検証イメージの前記トゥルーラベルを
、前記オートラベルを
とする場合、前記オートラベリングネットワークの信頼度
を下記数学式
を利用して評価することを特徴とする。
を利用して評価することを特徴とする。
一実施例において、前記（ｂ）段階で、前記信頼度評価装置は、
／
、
／
とし、前記ディフィカルト検証イメージの前記トゥルーラベルを
、前記手動ラベルを
とする場合、前記手動ラベリング装置の信頼度
を下記数学式
を利用して評価することを特徴とする。
を利用して評価することを特徴とする。
本発明の他の態様によると、ディープラーニングネットワークの学習に利用するための一つ以上のトレーニングイメージに対するラベルリング信頼度を評価する信頼度評価装置において、各インストラクションを格納する少なくとも一つのメモリと、（Ｉ）一つ以上の原本イメージが取得されると、類似イメージ選択ネットワークをもって、前記原本イメージと撮影環境が類似する、固有のトゥルーラベルを有する検証イメージ候補群を選択させた後、前記固有のトゥルーラベルを有する検証イメージ候補群と前記原本イメージとをオートラベリングネットワークに入力することにより、前記オートラベリングネットワークをもって前記固有のトゥルーラベルを有する検証イメージ候補群と前記原本イメージとをオートラベリングさせ、前記原本イメージはアンラベリングされたイメージであるプロセス、及び（ＩＩ）（ｉ）固有のトゥルーラベル及びオートラベルを有するイージー（ｅａｓｙ）検証イメージが前記オートラベリングネットワークから取得されると、前記イージー検証イメージの前記トゥルーラベルと前記オートラベルとを参照して前記オートラベリングネットワークの信頼度を評価し、（ｉｉ）固有のトゥルーラベル及びオートラベルを有するディフィカルト（ｄｉｆｆｉｃｕｌｔ）検証イメージに手動ラベリング演算を適用して生成された固有のトゥルーラベル、オートラベル、及び手動ラベルを有するディフィカルト検証イメージが手動ラベリング装置から取得されると、前記ディフィカルト検証イメージの前記トゥルーラベルと前記手動ラベルとを参照して、前記手動ラベリング装置の信頼性を評価し、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージは、前記オートラベリングされた固有のトゥルーラベルを有する検証イメージ候補群のうち不正確にオートラベリングされる確率が第１の予め設定された値未満である検証イメージであり、前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージは、前記オートラベリングされた固有のトゥルーラベルを有する検証イメージ候補群のうち、不正確にオートラベリングされる確率が第２の予め設定された値以上である検証イメージであるプロセスを遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする信頼度評価装置が開示される。
一実施例において、前記プロセッサは、（ＩＩＩ）（ｉ）前記オートラベリングネットワークの前記信頼度が第１の予め設定された閾値以上である場合、前記オートラベリングネットワークから取得された、固有のオートラベルを有するイージー原本イメージのうち少なくとも一部を固有のトゥルーラベルを有するトレーニングイメージとして選定し、（ｉｉ）前記手動ラベリング装置の前記信頼度が第２の予め設定された閾値以上である場合、前記手動ラベリング装置から取得された、固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージのうち少なくとも一部を前記固有のトゥルーラベルを有するトレーニングイメージとして選定し、前記固有のオートラベルを有するイージー原本イメージは、前記原本イメージをオートラベリングして取得された、固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第３の予め設定された値未満であるイメージであり、前記固有のオートラベルを有するディフィカルト原本イメージは、前記原本イメージをオートラベリングして取得された、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第４の予め設定された値以上であるイメージであるプロセス；をさらに遂行することを特徴とする。
一実施例において、前記プロセッサは、前記固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージのうち前記固有のトゥルーラベルを有するトレーニングイメージとして選定されていない、固有のオートラベル及び手動ラベルを有する特定のディフィカルト原本イメージを前記固有のトゥルーラベルを有する検証イメージ候補群として選定することを特徴とする。
一実施例において、前記（Ｉ）プロセスで、前記プロセッサは、前記類似イメージ選択ネットワークをもって、（ｉ）（ｉ−１）前記原本イメージ上におけるスライドウィンドウ（ｓｌｉｄｉｎｇ ｗｉｎｄｏｗ）の各領域をクロップ（ｃｒｏｐ）しリサイズして生成された加工イメージを取得し、（ｉ−２）イメージ分類ＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を通じて前記加工イメージを分類して各上位ｋ個のクラス情報を出力し、（ｉ−３）前記上位ｋ個のクラス情報を参照して少なくとも一つのＢｏＷ（Ｂａｇ ｏｆ Ｗｏｒｄｓ）を生成する少なくとも一つの演算を前記すべての原本イメージに適用して、前記原本イメージの少なくとも一つのＢｏＷヒストグラムを生成させ、（ｉｉ）前記固有のトゥルーラベルを有する検証イメージ候補群のうち、前記ＢｏＷヒストグラムに近い順序に予め設定された個数の前記固有のトゥルーラベルを有する検証イメージ候補群を選択することを特徴とする。
一実施例において、前記プロセッサは、前記類似イメージ選択ネットワークをもって、前記予め設定された個数の前記検証イメージ候補群のうち前記固有のトゥルーラベルを有するディフィカルト検証イメージと固有のオートラベルを有するディフィカルト原本イメージとを管理させて、前記予め設定された個数の検証イメージ候補群のうち前記固有のトゥルーラベルを有するディフィカルト検証イメージの個数が前記原本イメージのうち前記固有のオートラベルを有するディフィカルト原本イメージの個数に対する特定の割合を有するようにすることを特徴とする。
一実施例において、前記（Ｉ）プロセスで、前記プロセッサは、前記オートラベリングネットワークをもって、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージ候補群とをオートラベリングして、固有のオートラベルを有する原本イメージと固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とを出力させた後、（ｉ）（ｉ−１）第１イメージと第２イメージとを生成し、このうち少なくとも一つは前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とのうち一つから変形して生成され、前記第１イメージと前記第２イメージとのうち一つだけが前記固有のオートラベルを有する原本イメージと前記検証イメージ候補群とのうち一つから変形して生成されたイメージであれば、前記第１イメージと前記第２イメージのうち残りの一つは前記原本イメージと前記検証イメージ候補群とのうち一つをそのまま使用し、（ｉ−２）一つ以上のコンボリューションレイヤをもって、前記第１イメージと前記第２イメージとにそれぞれ一つ以上のコンボリューション演算を適用して少なくとも一つの第１特徴マップと少なくとも一つの第２特徴マップとを生成させ、（ｉ−３）一つ以上のプーリングレイヤをもって、それぞれの前記第１特徴マップとそれぞれの前記第２特徴マップ上で、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とのオートラベリングされたボックスそれぞれに対応する各領域に一つ以上のプーリング演算を適用して一つ以上の第１プーリング済み特徴マップと一つ以上の第２プーリング済み特徴マップとを生成させ、それぞれの前記第１プーリング済み特徴マップと、これに対応するそれぞれの前記第２プーリング済み特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）して、それぞれの前記オートラベリングされたボックスに対応する一つ以上のコンカチネートされた特徴マップを生成させ、（ｉｉ）ディープラーニング分類器（ｃｌａｓｓｉｆｉｅｒ）をもって、それぞれの前記オートラベリングされたボックスに対応するそれぞれの前記コンカチネートされた特徴マップを入力として取得して、それぞれの前記オートラベリングされたボックスを非正常クラス群または正常クラス群に分類するクラス情報を生成させ、（ｉｉｉ）（ｉｉｉ−１）それぞれの前記オートラベリングされたボックスに関するそれぞれの前記クラス情報を参照して前記非正常クラス群の各非正常クラス要素の確率それぞれを計算し、（ｉｉｉ−２）それぞれの前記非正常クラス要素の前記確率それぞれを利用して前記固有のオートラベルを有する原本イメージを固有のオートラベルを有するイージー原本イメージと固有のオートラベルを有するディフィカルト原本イメージとに区分し、（ｉｉｉ−３）前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群を、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに区分し、前記固有のオートラベルを有するイージー原本イメージは、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が前記第３の予め設定された値未満であるイメージであり、前記固有のオートラベルを有するディフィカルト原本イメージは、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第４の予め設定された値以上であるイメージであることを特徴とする。
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは、
／
、
／
とし、前記イージー検証イメージの前記トゥルーラベルを
、前記オートラベルを
とする場合、前記オートラベリングネットワークの信頼度
を下記数学式
を利用して評価することを特徴とする。
を利用して評価することを特徴とする。
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは、
／
、
／
とし、前記ディフィカルト検証イメージの前記トゥルーラベルを
、前記手動ラベルを
とする場合、前記手動ラベリング装置の信頼度
を下記数学式
を利用して評価することを特徴とする。
を利用して評価することを特徴とする。
その他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取り可能な記録媒体がさらに提供される。
本発明はオートラベリングネットワークによってオートラベリングされたイメージのうちラベリングが難しいイメージを選択して検収させることにより、ラベリングの信頼度を正確に評価する効果がある。
また、本発明は、オートラベリングのために原本イメージと撮影環境が類似する検証イメージを選択して追加することにより、検収者が前記原本イメージと前記検証イメージとを容易に区分できないようにして、前記ラベリングの信頼度を正確に評価する効果がある。
また、本発明は、類似イメージのうち有効なイメージを選択するための、最適化されたサンプリングプロセスを提供することができる効果がある。
また、本発明は、ラベルリングが難しいイメージを検収することで検収者の数を減らすことが可能となり、それに伴って注釈（ａｎｎｏｔａｔｉｏｎ）費用を削減する効果がある。
また、本発明は、ＢｏＷ（ｂａｇ−ｏｆ−ｗｏｒｄｓ）モデルを適用して周辺状況を認識することができる効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように十分詳細に説明される。また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項をもってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
図１は、本発明の一実施例にしたがって、ディープラーニングネットワークの学習に利用するためのトレーニングイメージに対するラベリング信頼度を評価する信頼度評価装置を簡略に示したものであって、図１を参照すると、前記信頼度評価装置１００は、前記トレーニングイメージに対する前記ラベリング信頼度を評価するための各インストラクションを格納するメモリ１１０と、前記メモリ１１０に格納された前記各インストラクションに対応して前記信頼度を評価するプロセスを遂行するプロセッサ１２０とを含むことができる。
具体的に、前記信頼度評価装置１００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含み得る装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（すなわち、前記コンピューティング装置をもって特定の方式で機能させる各インストラクション）との組合せを利用して所望のシステム性能を達成するものであり得る。
また、前記コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェアの構成を含み得る。また、コンピューティング装置は、運営体制、特定の目的を遂行するアプリケーションのソフトウェアの構成をさらに含むこともできる。
しかし、このような前記コンピューティング装置に関する説明が本発明を実施するためのプロセッサ、メモリ、媒体またはその他のコンピューティング構成要素が統合された形態である統合プロセッサの場合を排除するわけではない。
本発明の一実施例による前記ディープラーニングネットワークの学習に利用するための前記トレーニングイメージに対する前記ラベリング信頼度を評価する方法について、図２を参照して説明すると以下のとおりである。この場合、前記ディープラーニングネットワークは、前記信頼度評価装置１００を利用してイメージ分析を遂行することができる。
まず、一つ以上の原本イメージが取得されると、前記信頼度評価装置１００が、類似イメージ選択ネットワーク２００をもって、前記原本イメージと撮影環境が類似する、固有のトゥルーラベルを有する検証イメージ候補群を選択させた後、前記固有のトゥルーラベルを有する検証イメージ候補群と前記原本イメージとを前記オートラベリングネットワーク３００に入力することにより、前記オートラベリングネットワーク３００をもって、前記固有のトゥルーラベルを有する検証イメージ候補群と前記原本イメージとをオートラベリングさせることができる。この際、前記原本イメージはアンラベリングされたイメージである。
そうすると、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージの候補群とは、それぞれ前記オートラベリングネットワーク３００によってオートラベリングされて、固有のオートラベルを有する原本イメージと固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とになり得る。
一方、図３を参照して、前記類似イメージ選択ネットワーク２００が前記原本イメージと撮影環境が類似する、固有のトゥルーラベルを有する検証イメージ候補群を選択する方法を説明すると以下のとおりである。
前記信頼度評価装置１００が、前記取得された原本イメージを前記類似イメージ選択ネットワーク２００に入力すると、前記類似イメージ選択ネットワーク２００は、前記原本イメージ上でそれぞれのスライドウィンドウの各領域をクロップしリサイズして加工イメージを出力する。この際、その他の例として、前記類似イメージ選択ネットワーク２００でなく、前記信頼度評価装置１００は、前記原本イメージ上でそれぞれの前記スライドウィンドウの各領域をクロップしリサイズした前記加工イメージを取得し、前記原本イメージに対応するそれぞれの前記加工イメージを前記類似イメージ選択ネットワーク２００に入力することもできる。
そうすると、前記類似イメージ選択ネットワーク２００は、イメージ分類ＣＮＮ２１０、すなわち、イメージ分類（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）のためのＣＮＮをもって、前記加工イメージを分類して、それぞれの上位ｋ個のクラス情報を出力させる。一例として、前記イメージ分類ＣＮＮ２１０は、それぞれの前記加工イメージのそれぞれの特徴マップを生成し、それぞれの前記特徴マップを利用して物体や背景を昼、鳥、春、雲、山、木、家、自転車、人、道路、犬などのようなクラス群に分類し、前記上位ｋ個のクラス情報を出力することができる。この場合、図面では上位４つのクラス情報を出力するものと示したが、本発明の範囲は、これに限定されない。また、図面では、それぞれの前記加工イメージに対応する前記イメージ分類ＣＮＮ２１０が複数個で示されているが、これとは異なり、一つのイメージ分類ＣＮＮを利用して、それぞれの前記加工イメージに対応する前記上位ｋ個のクラス情報を出力させるか、前記加工イメージに対応するものの、前記加工イメージの個数とは異なる個数の前記イメージ分類ＣＮＮを利用して前記上位ｋ個のクラス情報を出力させることもできる。
そして、前記類似イメージ選択ネットワーク２００は、前記イメージ分類ＣＮＮ２１０から出力されるそれぞれの前記加工イメージに対応する前記上位ｋ個のクラス情報を参照して、少なくとも一つのＢｏＷ（Ｂａｇ ｏｆ Ｗｏｒｄｓ）を生成する少なくとも一つの演算をすべての前記原本イメージに適用して前記原本イメージに対する少なくとも一つのＢｏＷヒストグラムを生成させる。
以後、前記類似イメージ選択ネットワーク２００は、前記固有のトゥルーラベルを有する検証イメージ候補群のうち、前記ＢｏＷヒストグラムに近い順序に予め設定された個数の前記固有のトゥルーラベルを有する検証イメージ候補群を選択して、前記原本イメージと前記予め設定された個数の検証イメージ候補群とをオートラベリングするために前記オートラベリングネットワーク３００に伝送することができる。この際、前記類似イメージ選択ネットワーク２００は、前記予め設定された個数の前記検証イメージ候補群のうち、固有のトゥルーラベルを有するディフィカルト（ｄｉｆｆｉｃｕｌｔ）検証イメージとディフィカルト原本イメージとを管理して、前記予め設定された個数の検証イメージ候補群のうち前記固有のトゥルーラベルを有するディフィカルト検証イメージの個数が前記原本イメージのうち前記ディフィカルト原本イメージの個数に対する特定の比率を有するようにすることができる。一例として、前記予め設定された個数の検証イメージ候補群のうち前記固有のトゥルーラベルを有するディフィカルト検証イメージの個数は、前記原本イメージのうち前記ディフィカルト原本イメージの個数の１０％であり得る。「イージー」（ｅａｓｙ）と「ディフィカルト」が前についたイメージの定義については、後に説明することにする。
また、図４を参照して、前記オートラベリングネットワーク３００が、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージ候補群とをオートラベリングして前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とを出力することによって、イージーイメージとディフィカルトイメージとを選択する方法を説明すると以下のとおりである。前記イメージと前記ディフィカルトイメージについては、追って定義することにする。
前記オートラベリングネットワーク３００は、イメージ変形レイヤ３１０をもって、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とをそのまま使用するか、これらを変形して、第１イメージと第２イメージとを生成させる。この際、前記第１イメージ及び前記第２イメージのうち少なくとも一つは、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とのうち一つから変形して生成されたイメージであり得る。
一方、前記イメージ変形レイヤ３１０を利用して、前記第１イメージと前記第２イメージとを生成させるのにおいて、多数の変形ペアを利用して、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とにそれぞれ対応する、前記第１イメージと前記第２イメージのうち少なくとも一つのイメージペアを生成させることができる。
一例として、前記変形ペアは、以下のように表すことができる。
すなわち、任意の順序に連続して入力された、前記固有のオートラベルを有する原本イメージと、前記固有のトゥルーラベル及びオートラベルを有する検証イメージのうち一つによって設定された前記変形ペアに対応する、前記第１イメージと前記第２イメージとのうち一つ以上のイメージペアが生成され得る。
次に、前記オートラベリングネットワーク３００は、一つ以上のコンボリューションレイヤ３２０をもって、前記第１イメージと前記第２イメージとにそれぞれ一つ以上のコンボリューション演算を適用して、少なくとも一つの第１特徴マップと少なくとも一つの第２特徴マップとを出力させる。この際、それぞれの前記コンボリューションレイヤ３２０は、前記イメージをオートラベリングする前記オートラベリングネットワークを構成する少なくとも一つのオートラベリングコンボリューションレイヤであり得る。すなわち、前記オートラベリングネットワークが多数の変形の組合せを使用する場合、前記変形ペアは、前記オートラベリングネットワークが使用する前記変形としてのみ定義され得、それによって前記オートラベリングネットワークの前記オートラベリングコンボリューションレイヤから出力された特徴マップがさらなる過程なしにそのまま使用され得るので、前記特徴マップの演算に所要される時間を削減することができるようになる。
以後、前記オートラベリングネットワーク３００は、一つ以上のプーリングレイヤ３３０をもって、前記第１特徴マップ上で、前記固有のオートラベルを有する原本イメージまたは前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群のオートラベリングされたボックスそれぞれに対応する各領域に一つ以上のプーリング演算を適用してそれぞれの第１プーリング済み特徴マップを出力させ、前記第２特徴マップ上で、前記固有のオートラベルを有する原本イメージまたは前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群の前記オートラベリングされたボックスそれぞれに対応する各領域に前記プーリング演算を適用して、それぞれの第２プーリング済み特徴マップを出力させ、前記それぞれのオートラベリングされたボックスにそれぞれ対応する、それぞれの前記第１プーリング済み特徴マップとそれぞれの前記第２プーリング済み特徴マップとをコンカチネートして前記オートラベリングされたボックスそれぞれに対応するそれぞれのコンカチネートされた特徴マップを生成する。この際、図４では二つのコンボリューションレイヤ３２０と二つのプーリングレイヤ３３０とが示されているが、これとは異なって一つのコンボリューションレイヤと一つのプーリングレイヤとが、前記第１イメージと第２イメージとに前記コンボリューション演算を適用し、前記第１特徴マップと前記第２特徴マップとに前記プーリング演算を適用するためにそれぞれ使用されてもよい。
そして、前記オートラベリングネットワーク３００は、少なくとも一つのディープラーニング分類器３４０をもって、前記それぞれのコンカチネートされた特徴マップを入力として取得して、前記それぞれのオートラベリングされたボックスを非正常クラス群または正常クラス群に分類するクラス情報を出力させることができる。この場合、前記非正常クラス群は、誤検出クラス群と未検出クラス群とを含むことができ、前記正常クラス群は、物体として分類されたボックスに対するクラス群と前記背景として分類されたボックスに対するクラス群とを含むことができ、前記ボックスは、前記非正常クラス群に含まれていない前記オートラベリングされたボックスのうち少なくとも一部である。前記オートラベリングされたボックスに関する分類については、図５を参照して前記ディープラーニング分類器３４０の学習方法で説明することにする。
以後、前記オートラベリングネットワーク装置３００は、ディフィカルトイメージ判別レイヤ３５０をもって、（ｉ）前記それぞれのオートラベリングされたボックスの各クラス情報を参照して、前記非正常クラス群のそれぞれの非正常クラス要素に対する確率値それぞれを計算し、（ｉｉ）それぞれの前記非正常クラス要素に対する前記確率値それぞれを利用して、前記固有のオートラベルを有する原本イメージまたは前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群が、追って説明されるディフィカルトイメージであるかを判断させる。
この際、前記ディープラーニング分類器３４０の出力にシグモイド関数が適用された後、それぞれの前記非正常クラス要素の各確率値が計算され得る。それぞれの前記非正常クラス要素の各確率値は、前記誤検出クラス群の誤検出クラス要素に対するそれぞれの確率値と前記未検出クラス群の未検出クラス要素に対するそれぞれの確率値とを含むことができる。
一例として、前記誤検出クラス要素ＦＰに対する確率値は、
で表すことができ、前記未検出クラス要素ＦＮに対する確率値は、
で表すことができる。
この際、
は、前記オートラベリングされたボックスのうち一つのオートラベリングされたボックスであり、
と
はそれぞれ前記第１イメージと前記第２イメージとを表す。
また、前記オートラベリングネットワーク３００は、各前記オートラベリングされたボックスごとに、前記変形ペアそれぞれに対応するそれぞれの前記非正常クラス要素に対するそれぞれの確率値を計算し、前記算出された確率値の少なくとも一つの重み付け平均を計算することができる。
すなわち、前記誤検出クラス要素に対する確率値
と前記未検出クラスに対する確率値
は以下のように表し得る。
この場合、前記誤検出クラス要素に対する確率値
と前記未検出クラス要素に対する確率値
とは重み付け値に対する線形関数であるため、
の制約条件のある制約最適化（Ｃｏｎｓｔｒａｉｎｅｄ ｏｐｔｉｍｉｚａｔｉｏｎ）により前記重み付け値の最適化が可能になる。
そして、それぞれの前記非正常クラス要素の確率値に対する少なくとも一つの一般化された平均（ｇｅｎｅｒａｌｉｚｅｄ ｍｅａｎ）が予め設定された値以上である場合、前記オートラベリングネットワーク３００は、前記固有のオートラベルを有する原本イメージまたは前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群を前記ディフィカルトイメージとして判断することができる。
一例として、前記オートラベリングネットワーク３００は、各オートラベリングされたボックスごとの、前記誤検出クラス要素に対する各確率値
と前記未検出クラス要素に対する各確率値
とを参照して、前記固有のオートラベルを有する原本イメージまたは前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群が前記ディフィカルトイメージである確率値
を次のような一般化された平均として計算することができる。
そして、各オートラベリングされたボックスごとの、前記誤検出クラス要素に対する各確率値
と前記未検出クラス要素に対する各確率値
とを参照して計算したそれぞれの前記確率値
が前記予め設定された値以上である場合、前記オートラベリングネットワーク３００は、前記固有のオートラベルを有する原本イメージまたは前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群を前記ディフィカルトイメージとして判断することができる。ここで、前記ディフィカルトイメージは、不正確にオートラベリングされる確率が前記予め設定された値以上であるイメージを表し得、前記予め設定された値は、第１の予め設定された値、第２の予め設定された値、第３の予め設定された値、及び第４の予め設定された値を含み、これは追って説明される。
この場合、前記予め設定された値は、前記オートラベリングネットワークのオートラベリングプロセス以後に手動で検収された前記検証イメージ候補群に対する正解的中率のうち少なくとも一つの最も高い的中率であり得る。
次に、前記オートラベリングネットワーク３００は、前記固有のオートラベルを有する原本イメージまたは前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群が前記ディフィカルトイメージである場合、前記固有のオートラベルを有する原本イメージまたは前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群を、ラベル検収用サンプルイメージとして選定することができる。すなわち、前記固有のオートラベルを有する原本イメージは、固有のオートラベルを有するイージー原本イメージと固有のオートラベルを有するディフィカルト原本イメージとに区分することができ、前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群は、固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに区分され得る。この際、（ｉ）前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージは、前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群のうち、不正確にオートラベリングされる確率が前記第１の予め設定された値未満である検証イメージであり、（ｉｉ）前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージは、前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群のうち、不正確にオートラベリングされる確率が前記第２の予め設定された値以上である検証イメージであり、（ｉｉｉ）前記固有のオートラベルを有するイージー原本イメージは、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が前記第３の予め設定された値未満であるイメージであり、（ｉｖ）前記固有のオートラベルを有するディフィカルト原本イメージは、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が前記第４の予め設定された値以上であるイメージであり得る。前記第１の予め設定された値、前記第２の予め設定された値、前記第３の予め設定された値、及び前記第４の予め設定された値のうち少なくとも一部は互いに同一であってもよく異なっていてもよい。この際、前記オートラベリングネットワーク３００は、前記ディフィカルトイメージとして選定された、前記固有のオートラベルを有するディフィカルト原本イメージと前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージ上の、前記非正常クラス群に分類された前記オートラベリングされたボックスに対応する領域を識別して、検収者が容易に検収し得るようにすることができる。
一方、前記ディープラーニング分類器は、多重のＦＣレイヤ又はＦＣネットワーク（ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）を含むことができ、前記ディープラーニング分類器を学習する過程を、図５を参照して説明すると以下のとおりである。
前記オートラベリングネットワークによってラベリングされたオートボックスを有する少なくとも一つのトレーニングイメージが取得されると、学習装置５００が一つ以上の学習用コンボリューションレイヤ５１０をもって、前記学習用コンボリューションレイヤのコンボリューション演算を前記トレーニングイメージに適用して少なくとも一つの学習用特徴マップを出力させる。
この際、前記トレーニングイメージの前記オートボックスは、前記オートラベリングネットワークを通じてラベリングされた前記オートボックスとは異なり、学習のために任意に生成されたものであってもよい。
また、前記学習装置５００は、前記ディープラーニングクラス分類器の学習のための各インストラクションを格納するメモリ（図示せず）と、前記メモリに格納された前記各インストラクションに対応して前記ディープラーニングクラス分類器に関する学習を遂行するプロセッサ（図示せず）とを含むことができる。
具体的に、前記学習装置５００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータのプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含むことができる装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と、少なくとも一つのコンピュータソフトウェア（つまり、前記コンピューティング装置をもって特定の方式で機能させる各インストラクション）との組合せを利用して所望のシステム性能を達成するものであり得る。また、前記コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェア構成を含むことができる。また、コンピューティング装置は運営体制、特定の目的を遂行するアプリケーションのソフトウェアの構成をさらに含むこともできる。しかし、このような前記コンピューティング装置についての説明が本発明を実施するためのプロセッサ、メモリ、媒体又はその他のコンピューティング構成要素が統合された形態である統合プロセッサの場合を排除するわけではない。
次に、前記学習装置５００は、学習用プーリングレイヤ５２０をもって、前記学習用プーリングレイヤの一つ以上のプーリング演算を、前記学習用特徴マップ上において前記オートボックスそれぞれに対応するそれぞれの領域にそれぞれ適用して一つ以上の学習用プーリング済み特徴マップを出力させる。
以後、前記学習装置５００は、前記ディープラーニング分類器５３０をもって前記オートボックスそれぞれに対応するそれぞれの前記学習用プーリング済み特徴マップを入力として取得して、前記オートボックスを前記非正常クラス群または前記正常クラス群に分類する前記クラス情報を出力させる。
この場合、前記クラス情報は、前記誤検出クラス群と前記未検出クラス群とを有する前記非正常クラス群を含むことができる。そして、前記クラス情報は２次元出力を含むことができる。
一例として、前記誤検出クラス群ＦＰ、
は、第１特定のオートボックスと同一のクラス情報を有する第１特定のトゥルーボックスが他のトゥルーボックスと前記第１の予め設定された閾値以上に重なっていない場合に該当し得る。
この際、前記誤検出クラス群ＦＰ、
は、
のように示され得る。
そして、前記未検出クラス群ＦＮ、
は、第２特定のトゥルーボックスと同一のクラス情報を有する第２特定のオートボックスが、他のオートボックスと前記第２の予め設定された閾値以上に重なっていない状態で、第３特定のオートボックスが前記第２特定のトゥルーボックスと第３の予め設定された閾値以上に重なっている場合に該当し得る。
この場合、前記未検出クラス群ＦＮ、
は、
と示され得る。
と示され得る。
一例として、前記において
と設定され得るが、これに限定されるわけではない。
そして、前記正常クラス群
は、前記誤検出クラス群及び前記未検出クラス群以外の他のクラス群を含むことができ、前記物体と前記背景に対応し得る。
一方、前記クラスの不均衡を予防するために、前記学習装置５００は、前記誤検出クラス群と、前記未検出クラス群と、前記正常クラス群とを管理して、前記非正常クラス群のうちで要素個数が多いクラス群の個数が、要素個数が少ない残りのクラス群個数の予め設定された第１倍以下になるようにし、前記正常クラス群の要素個数が前記非正常クラス群の要素個数の予め設定された第２倍数と同一になるようにする。
この場合、前記学習装置５００は、前記誤検出クラス群ＦＰの要素の個数、前記未検出クラス群ＦＮの要素の個数、及び前記正常クラス群の要素の個数を、ランダムサンプリングを利用して調整することができる。
次に、前記学習装置５００は、少なくとも一つのロスレイヤ５４０をもって、それぞれの前記オートラベリングされたボックスに関する前記各クラス情報とこれに対応する一つ以上の原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照して一つ以上のロスを計算させることにより、前記ロスを利用したバックプロパゲーションを通じて前記ディープラーニング分類器５３０のパラメータのうち少なくとも一部を学習することができる。
この場合、前記学習装置５００は、クロスエントロピーロス（ｃｒｏｓｓ−ｅｎｔｒｏｐｙ ｌｏｓｓ）を利用して前記バックプロパゲーションを遂行することができる。
一方、前記学習は、前記ディープラーニング分類器５３０を構成するニューラルネットワーク内に連結された二つのレイヤのシナプス強度である重み付け値を、ロスが小さくなるように調整するものであり得る。
一例として、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ、ＳＧＤ）を利用して前記バックプロパゲーションを遂行する場合には、次のようにそれぞれの重み付け値を調整することができる。
前記において、
は学習率を示し、
は費用関数（Ｃｏｓｔ ｆｕｎｃｔｉｏｎ）を示す。
この際、前記費用関数は、指導学習、非指導学習、自律学習、及び強化学習などのような学習の形態と活性化関数のような各要因によって決定され得る。
例えば、多重クラス（ｍｕｌｔｉ−ｃｌａｓｓ）分類の問題を解決するための学習を遂行する場合に、一般的に前記活性化関数と前記費用関数はそれぞれソフトマックス関数とクロスエントロピー関数として決定される。
前記ソフトマックス関数は、
のように表すことができ、前記費用関数は
のように表すことができる。
この際、ｐｊはクラス確率（ｃｌａｓｓ ｐｒｏｂａｂｉｌｉｔｙ）を示し、ｘｊとｘｋはそれぞれユニットｊとしての全体入力とユニットｋとしての全体入力を表し得る。そして、ｄｊは、出力ユニットｊに対する目標確率（ｔａｒｇｅｔ ｐｒｏｂａｂｉｌｉｔｙ）を表し、ｐｊは当該活性化関数を適用した後の前記出力ユニットｊに対する確率出力（ｐｒｏｂａｂｉｌｉｔｙ ｏｕｔｐｕｔ）を表し得る。
前記では、前記ロスを利用したバックプロパゲーションの一例として、前記確率的勾配降下法について説明したが、本発明の範囲はこれに限定されず、モメンタム（Ｍｏｍｅｎｔｕｍ）方式、ネステロフ加速勾配（Ｎｅｓｔｅｒｏｖ Ａｃｃｃｃｅｌｌｅｒａｔｅｄ Ｇｒａｄｉｅｎｔ、ＮＡＧ）方式、ＲＭＳＰｒｏｐ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ Ｐｒｏｐａｇａｔｉｏｎ）方式、ＡｄａＤｅｌｔａ（Ａｄａｐｔｉｖｅ Ｄｅｌｔａ）方式、Ａｄａｍ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ）方式などを使用して前記ニューラルネットワークの学習のための前記バックプロパゲーションを遂行することができる。
再び、図２を参照すると、前記信頼度評価装置１００は、前記オートラベリングネットワーク３００から前記固有のオートラベルを有するイージー原本イメージと、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージとを取得することができ、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージのトゥルーラベルとオートラベルとを参照して前記オートラベリングネットワーク３００の信頼度を評価することができる。
この際、
／
、
／
とし、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージの前記トゥルーラベルを
、前記オートラベルを
とする場合、前記オートラベリングネットワーク３００の信頼度
は次のように評価され得る。
また、前記オートラベリングネットワーク３００から出力された、前記固有のオートラベルを有するディフィカルト原本イメージと、前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとを手動でラベリングして生成された、固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージと、固有のトゥルーラベル、オートラベル及び手動ラベルを有するディフィカルト検証イメージとが手動ラベリング装置４００から取得されると、前記信頼度評価装置１００は、前記固有のトゥルーラベル、オートラベル及び手動ラベルを有するディフィカルト検証イメージのトゥルーラベルとオートラベルとを参照して、前記手動ラベリング装置４００の信頼度を評価することができる。
この場合、
／
、
／
とし、前記固有のトゥルーラベル、オートラベル及び手動ラベルを有するディフィカルト検証イメージの前記トゥルーラベルを
、前記手動ラベルを
とする場合、前記手動ラベリング装置４００の信頼度
は次のように評価され得る。
次に、前記オートラベリングネットワーク３００の信頼度が前記第１の予め設定された閾値以上である場合、前記信頼度評価装置１００は、前記オートラベリングネットワーク３００から取得された前記固有のオートラベルを有するイージー原本イメージのうち少なくとも一部を固有のトゥルーラベルを有するトレーニングイメージとして選定することができる。
また、前記手動ラベリング装置４００の信頼度が前記第２の予め設定された閾値以上である場合、前記信頼度評価装置１００は、前記手動ラベリング装置４００から取得された前記固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージのうち少なくとも一部を前記固有のトゥルーラベルを有するトレーニングイメージとして選定することができる。
これに加えて、前記信頼度評価装置１００は、前記手動ラベリング装置４００から出力された前記固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージのうち、前記固有のトゥルーラベルを有するトレーニングイメージとして選定されていない固有のオートラベル及び手動ラベルを有する特定のディフィカルト原本イメージを前記固有のトゥルーラベルを有する検証イメージ候補群として選定して、次回のオートラベリング信頼度を評価するのにおいて前記固有のトゥルーラベルを有する検証イメージ候補群を利用することができる。
オートラベリングの正確度が高くなると、オートラベリングがトゥルーラベルと一致する場合が多くなって、トゥルーラベルを検収する際に校正作業の必要性が減る。しかし、本発明の実施例によれば、ディフィカルトイメージのみが与えられる場合、前記正確度が高くなっても前記校正作業を遂行することが可能となり、検証イメージだけでなく原本イメージにおいてもディフィカルトイメージが選択されることによって、検収者が検収の可否を区分する可能性が低くなるため、前記検収者に対する正確な評価が行われ得る。
以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
Claims (10)
- ディープラーニングネットワークの学習に利用するための一つ以上のトレーニングイメージに対するラベルリング信頼度を評価する方法において、
（ａ）一つ以上の原本イメージが取得されると、信頼度評価装置が、類似イメージ選択ネットワークをもって、前記原本イメージと撮影環境が類似する、固有のトゥルーラベルを有する検証イメージ候補群を選択させた後、前記固有のトゥルーラベルを有する検証イメージ候補群と前記原本イメージとをオートラベリングネットワークに入力することにより、前記オートラベリングネットワークをもって、前記固有のトゥルーラベルを有する検証イメージ候補群と前記原本イメージとをオートラベリングさせ、前記原本イメージはアンラベリングされたイメージである段階；
（ｂ）前記信頼度評価装置は、（ｉ）固有のトゥルーラベル及びオートラベルを有するイージー（ｅａｓｙ）検証イメージが前記オートラベリングネットワークから取得されると、前記イージー検証イメージの前記トゥルーラベルと前記オートラベルとを参照して前記オートラベリングネットワークの信頼度を評価し、（ｉｉ）固有のトゥルーラベル及びオートラベルを有するディフィカルト（ｄｉｆｆｉｃｕｌｔ）検証イメージに手動ラベリング演算を適用して生成された固有のトゥルーラベル、オートラベル、及び手動ラベルを有するディフィカルト検証イメージが手動ラベリング装置から取得されると、前記ディフィカルト検証イメージの前記トゥルーラベルと前記手動ラベルとを参照して、前記手動ラベリング装置の信頼度を評価し、
前記固有のトゥルーラベル及びオートラベルとを有するイージー検証イメージは、前記オートラベリングされた固有のトゥルーラベルを有する検証イメージ候補群のうち、不正確にオートラベリングされる確率が第１の予め設定された値未満である検証イメージであり、前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージは、前記オートラベリングされた固有のトゥルーラベルを有する検証イメージ候補群のうち、不正確にオートラベリングされる確率が第２の予め設定された値以上である検証イメージである段階；
を含み、
前記（ａ）段階で、
前記信頼度評価装置は、前記オートラベリングネットワークをもって、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージ候補群とをオートラベリングして、固有のオートラベルを有する原本イメージと固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とを出力させた後、（ｉ）（ｉ−１）第１イメージと第２イメージとを生成し、このうち少なくとも一つは、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とのうち一つから変形して生成され、前記第１イメージと前記第２イメージとのうち一つだけが前記固有のオートラベルを有する原本イメージと前記検証イメージ候補群とのうち一つから変形して生成されたイメージであれば、前記第１イメージと前記第２イメージとのうち残りの一つは、前記原本イメージと前記検証イメージ候補群とのうち一つをそのまま使用し、（ｉ−２）一つ以上のコンボリューションレイヤをもって、前記第１イメージと前記第２イメージとにそれぞれ一つ以上のコンボリューション演算を適用して少なくとも一つの第１特徴マップと少なくとも一つの第２特徴マップとを生成させ、（ｉ−３）一つ以上のプーリングレイヤをもって、それぞれの前記第１特徴マップとそれぞれの前記第２特徴マップ上で、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とのオートラベリングされたボックスそれぞれに対応する各領域に一つ以上のプーリング演算を適用して一つ以上の第１プーリング済み特徴マップと一つ以上の第２プーリング済み特徴マップとを生成させ、それぞれの前記第１プーリング済み特徴マップと、これに対応するそれぞれの前記第２プーリング済み特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）して、それぞれの前記オートラベリングされたボックスに対応する一つ以上のコンカチネートされた特徴マップを生成させ、（ｉｉ）ディープラーニング分類器（ｃｌａｓｓｉｆｉｅｒ）をもって、それぞれの前記オートラベリングされたボックスに対応するそれぞれの前記コンカチネートされた特徴マップを入力として取得して、それぞれの前記オートラベリングされたボックスを非正常クラス群または正常クラス群に分類するクラス情報を生成させ、（ｉｉｉ）（ｉｉｉ−１）それぞれの前記オートラベリングされたボックスに関するそれぞれの前記クラス情報を参照して前記非正常クラス群の各非正常クラス要素の確率それぞれを計算し、（ｉｉｉ−２）それぞれの前記非正常クラス要素の前記確率それぞれを利用して前記固有のオートラベルを有する原本イメージを固有のオートラベルを有するイージー原本イメージと固有のオートラベルを有するディフィカルト原本イメージとに区分し、（ｉｉｉ−３）前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群を、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに区分し、
前記固有のオートラベルを有するイージー原本イメージは、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が前記第３の予め設定された値未満であるイメージであり、前記固有のオートラベルを有するディフィカルト原本イメージは、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第４の予め設定された値以上であるイメージであり、
前記（ｂ）段階で、
前記信頼度評価装置は、
／
、
／
とし、前記イージー検証イメージの前記トゥルーラベルを
、前記オートラベルを
とする場合、
前記オートラベリングネットワークの信頼度
を下記数学式
を利用して評価し、
前記Ｌ内誤検出ボックスの個数、前記Ｌ内全体ボックスの個数、前記Ｘ内未検出ボックスの個数および前記Ｘ内全体ボックスの個数は、前記トゥルーラベルの数と前記オートラベルの数とに基づく、
または、
前記（ｂ）段階で、
前記信頼度評価装置は、
／
、
／
とし、前記ディフィカルト検証イメージの前記トゥルーラベルを
、前記手動ラベルを
とする場合、
前記手動ラベリング装置の信頼度
を下記数学式
を利用して評価し、
前記Ｌ内誤検出ボックスの個数、前記Ｌ内全体ボックスの個数、前記Ｘ内未検出ボックスの個数および前記Ｘ内全体ボックスの個数は、前記トゥルーラベルの数と前記手動ラベルの数とに基づくことを特徴とする方法。 - （ｃ）前記信頼度評価装置が、（ｉ）前記オートラベリングネットワークの前記信頼度が第１の予め設定された閾値以上である場合、前記オートラベリングネットワークから取得された、固有のオートラベルを有するイージー原本イメージのうち少なくとも一部を固有のトゥルーラベルを有するトレーニングイメージとして選定し、（ｉｉ）前記手動ラベリング装置の前記信頼度が第２の予め設定された閾値以上である場合、前記手動ラベリング装置から取得された、固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージのうち少なくとも一部を前記固有のトゥルーラベルを有するトレーニングイメージとして選定し、
前記固有のオートラベルを有するイージー原本イメージは、前記原本イメージをオートラベリングして取得された、固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第３の予め設定された値未満であるイメージであり、前記固有のオートラベルを有するディフィカルト原本イメージは、前記原本イメージをオートラベリングして取得された、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第４の予め設定された値以上であるイメージである段階；
をさらに含むことを特徴とする請求項１に記載の方法。 - 前記信頼度評価装置は、前記固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージのうち前記固有のトゥルーラベルを有するトレーニングイメージとして選定されていない、固有のオートラベル及び手動ラベルを有する特定のディフィカルト原本イメージを前記固有のトゥルーラベルを有する検証イメージ候補群として選定することを特徴とする請求項２に記載の方法。
- 前記（ａ）段階で、
前記信頼度評価装置は、前記類似イメージ選択ネットワークをもって、（ｉ）（ｉ−１）前記原本イメージ上におけるスライドウィンドウ（ｓｌｉｄｉｎｇ ｗｉｎｄｏｗ）の各領域をクロップ（ｃｒｏｐ）しリサイズして生成された加工イメージを取得し、（ｉ−２）イメージ分類ＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を通じて前記加工イメージを分類して各上位ｋ個のクラス情報を出力し、（ｉ−３）前記上位ｋ個のクラス情報を参照して少なくとも一つのＢｏＷ（Ｂａｇ ｏｆ Ｗｏｒｄｓ）を生成する少なくとも一つの演算を前記すべての原本イメージに適用して、前記原本イメージの少なくとも一つのＢｏＷヒストグラムを生成させ、（ｉｉ）前記固有のトゥルーラベルを有する検証イメージ候補群のうち、前記ＢｏＷヒストグラムに近い順序に予め設定された個数の前記固有のトゥルーラベルを有する検証イメージ候補群を選択することを特徴とする請求項１に記載の方法。 - 前記信頼度評価装置は、前記類似イメージ選択ネットワークをもって、前記予め設定された個数の前記検証イメージ候補群のうち前記固有のトゥルーラベルを有するディフィカルト検証イメージと固有のオートラベルを有するディフィカルト原本イメージとを管理させて、前記予め設定された個数の検証イメージ候補群のうち前記固有のトゥルーラベルを有するディフィカルト検証イメージの個数が前記原本イメージのうち前記固有のオートラベルを有するディフィカルト原本イメージの個数に対する特定の割合を有するようにすることを特徴とする請求項４に記載の方法。
- ディープラーニングネットワークの学習に利用するための一つ以上のトレーニングイメージに対するラベルリング信頼度を評価する信頼度評価装置において、
各インストラクションを格納する少なくとも一つのメモリと、
（Ｉ）一つ以上の原本イメージが取得されると、類似イメージ選択ネットワークをもって、前記原本イメージと撮影環境が類似する、固有のトゥルーラベルを有する検証イメージ候補群を選択させた後、前記固有のトゥルーラベルを有する検証イメージ候補群と前記原本イメージとをオートラベリングネットワークに入力することにより、前記オートラベリングネットワークをもって前記固有のトゥルーラベルを有する検証イメージ候補群と前記原本イメージとをオートラベリングさせ、前記原本イメージはアンラベリングされたイメージであるプロセス、及び（ＩＩ）（ｉ）固有のトゥルーラベル及びオートラベルを有するイージー（ｅａｓｙ）検証イメージが前記オートラベリングネットワークから取得されると、前記イージー検証イメージの前記トゥルーラベルと前記オートラベルとを参照して前記オートラベリングネットワークの信頼度を評価し、（ｉｉ）固有のトゥルーラベル及びオートラベルを有するディフィカルト（ｄｉｆｆｉｃｕｌｔ）検証イメージに手動ラベリング演算を適用して生成された固有のトゥルーラベル、オートラベル、及び手動ラベルを有するディフィカルト検証イメージが手動ラベリング装置から取得されると、前記ディフィカルト検証イメージの前記トゥルーラベルと前記手動ラベルとを参照して、前記手動ラベリング装置の信頼性を評価し、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージは、前記オートラベリングされた固有のトゥルーラベルを有する検証イメージ候補群のうち不正確にオートラベリングされる確率が第１の予め設定された値未満である検証イメージであり、前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージは、前記オートラベリングされた固有のトゥルーラベルを有する検証イメージ候補群のうち、不正確にオートラベリングされる確率が第２の予め設定された値以上である検証イメージであるプロセスを遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含み、
前記（Ｉ）プロセスで、
前記プロセッサは、前記オートラベリングネットワークをもって、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージ候補群とをオートラベリングして、固有のオートラベルを有する原本イメージと固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とを出力させた後、（ｉ）（ｉ−１）第１イメージと第２イメージとを生成し、このうち少なくとも一つは前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群のうち一つから変形して生成され、前記第１イメージと前記第２イメージとのうち一つだけが前記固有のオートラベルを有する原本イメージと前記検証イメージ候補群とのうち一つから変形して生成されたイメージであれば、前記第１イメージと前記第２イメージのうち残りの一つは前記原本イメージと前記検証イメージ候補群とのうち一つをそのまま使用し、（ｉ−２）一つ以上のコンボリューションレイヤをもって、前記第１イメージと前記第２イメージとにそれぞれ一つ以上のコンボリューション演算を適用して少なくとも一つの第１特徴マップと少なくとも一つの第２特徴マップとを生成させ、（ｉ−３）一つ以上のプーリングレイヤをもって、それぞれの前記第１特徴マップとそれぞれの前記第２特徴マップ上で、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とのオートラベリングされたボックスそれぞれに対応する各領域に一つ以上のプーリング演算を適用して一つ以上の第１プーリング済み特徴マップと一つ以上の第２プーリング済み特徴マップとを生成させ、それぞれの前記第１プーリング済み特徴マップと、これに対応するそれぞれの前記第２プーリング済み特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）して、それぞれの前記オートラベリングされたボックスに対応する一つ以上のコンカチネートされた特徴マップを生成させ、（ｉｉ）ディープラーニング分類器（ｃｌａｓｓｉｆｉｅｒ）をもって、それぞれの前記オートラベリングされたボックスに対応するそれぞれの前記コンカチネートされた特徴マップを入力として取得して、それぞれの前記オートラベリングされたボックスを非正常クラス群または正常クラス群に分類するクラス情報を生成させ、（ｉｉｉ）（ｉｉｉ−１）それぞれの前記オートラベリングされたボックスに関するそれぞれの前記クラス情報を参照して前記非正常クラス群の各非正常クラス要素の確率それぞれを計算し、（ｉｉｉ−２）それぞれの前記非正常クラス要素の前記確率それぞれを利用して前記固有のオートラベルを有する原本イメージを固有のオートラベルを有するイージー原本イメージと固有のオートラベルを有するディフィカルト原本イメージとに区分し、（ｉｉｉ−３）前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群を、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに区分し、
前記固有のオートラベルを有するイージー原本イメージは、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が前記第３の予め設定された値未満であるイメージであり、前記固有のオートラベルを有するディフィカルト原本イメージは、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第４の予め設定された値以上であるイメージであり、
前記（ＩＩ）プロセスで、
前記プロセッサは、
／
、
／
とし、前記イージー検証イメージの前記トゥルーラベルを
、前記オートラベルを
とする場合、
前記オートラベリングネットワークの信頼度
を下記数学式
を利用して評価し、
前記Ｌ内誤検出ボックスの個数、前記Ｌ内全体ボックスの個数、前記Ｘ内未検出ボックスの個数および前記Ｘ内全体ボックスの個数は、前記トゥルーラベルの数と前記オートラベルの数とに基づく、
または、
前記（ＩＩ）プロセスで、
前記プロセッサは、
／
、
／
とし、前記ディフィカルト検証イメージの前記トゥルーラベルを
、前記手動ラベルを
とする場合、
前記手動ラベリング装置の信頼度
を下記数学式
を利用して評価し、
前記Ｌ内誤検出ボックスの個数、前記Ｌ内全体ボックスの個数、前記Ｘ内未検出ボックスの個数および前記Ｘ内全体ボックスの個数は、前記トゥルーラベルの数と前記手動ラベルの数とに基づくことを特徴とする信頼度評価装置。 - 前記プロセッサは、
（ＩＩＩ）（ｉ）前記オートラベリングネットワークの前記信頼度が第１の予め設定された閾値以上である場合、前記オートラベリングネットワークから取得された、固有のオートラベルを有するイージー原本イメージのうち少なくとも一部を固有のトゥルーラベルを有するトレーニングイメージとして選定し、（ｉｉ）前記手動ラベリング装置の前記信頼度が第２の予め設定された閾値以上である場合、前記手動ラベリング装置から取得された、固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージのうち少なくとも一部を前記固有のトゥルーラベルを有するトレーニングイメージとして選定し、
前記固有のオートラベルを有するイージー原本イメージは、前記原本イメージをオートラベリングして取得された、固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第３の予め設定された値未満であるイメージであり、前記固有のオートラベルを有するディフィカルト原本イメージは、前記原本イメージをオートラベリングして取得された、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第４の予め設定された値以上であるイメージであるプロセス；
をさらに遂行することを特徴とする請求項６に記載の信頼度評価装置。 - 前記プロセッサは、前記固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージのうち前記固有のトゥルーラベルを有するトレーニングイメージとして選定されていない、固有のオートラベル及び手動ラベルを有する特定のディフィカルト原本イメージを前記固有のトゥルーラベルを有する検証イメージ候補群として選定することを特徴とする請求項７に記載の信頼度評価装置。
- 前記（Ｉ）プロセスで、
前記プロセッサは、前記類似イメージ選択ネットワークをもって、（ｉ）（ｉ−１）前記原本イメージ上におけるスライドウィンドウ（ｓｌｉｄｉｎｇ ｗｉｎｄｏｗ）の各領域をクロップ（ｃｒｏｐ）しリサイズして生成された加工イメージを取得し、（ｉ−２）イメージ分類ＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を通じて前記加工イメージを分類して各上位ｋ個のクラス情報を出力し、（ｉ−３）前記上位ｋ個のクラス情報を参照して少なくとも一つのＢｏＷ（Ｂａｇ ｏｆ Ｗｏｒｄｓ）を生成する少なくとも一つの演算を前記すべての原本イメージに適用して、前記原本イメージの少なくとも一つのＢｏＷヒストグラムを生成させ、（ｉｉ）前記固有のトゥルーラベルを有する検証イメージ候補群のうち、前記ＢｏＷヒストグラムに近い順序に予め設定された個数の前記固有のトゥルーラベルを有する検証イメージ候補群を選択することを特徴とする請求項６に記載の信頼度評価装置。 - 前記プロセッサは、前記類似イメージ選択ネットワークをもって、前記予め設定された個数の前記検証イメージ候補群のうち前記固有のトゥルーラベルを有するディフィカルト検証イメージと固有のオートラベルを有するディフィカルト原本イメージとを管理させて、前記予め設定された個数の検証イメージ候補群のうち前記固有のトゥルーラベルを有するディフィカルト検証イメージの個数が前記原本イメージのうち前記固有のオートラベルを有するディフィカルト原本イメージの個数に対する特定の割合を有するようにすることを特徴とする請求項９に記載の信頼度評価装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/264,027 US10579907B1 (en) | 2019-01-31 | 2019-01-31 | Method for automatically evaluating labeling reliability of training images for use in deep learning network to analyze images, and reliability-evaluating device using the same |
| US16/264,027 | 2019-01-31 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020126613A JP2020126613A (ja) | 2020-08-20 |
| JP6932395B2 true JP6932395B2 (ja) | 2021-09-08 |
Family
ID=69172713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020004704A Active JP6932395B2 (ja) | 2019-01-31 | 2020-01-15 | イメージを分析するために、ディープラーニングネットワークに利用するためのトレーニングイメージに対するラベルリング信頼度を自動的に評価するための方法、及びこれを利用した信頼度評価装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10579907B1 (ja) |
| EP (1) | EP3690741A3 (ja) |
| JP (1) | JP6932395B2 (ja) |
| KR (1) | KR102328734B1 (ja) |
| CN (1) | CN111507371B (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10824151B2 (en) * | 2019-01-31 | 2020-11-03 | StradVision, Inc. | Method and device for providing personalized and calibrated adaptive deep learning model for the user of an autonomous vehicle |
| US20210133596A1 (en) * | 2019-10-30 | 2021-05-06 | International Business Machines Corporation | Ranking image sources for transfer learning |
| KR20210106814A (ko) * | 2020-02-21 | 2021-08-31 | 삼성전자주식회사 | 뉴럴 네트워크 학습 방법 및 장치 |
| CN111368116B (zh) * | 2020-05-26 | 2020-09-18 | 腾讯科技（深圳）有限公司 | 图像分类方法、装置、计算机设备及存储介质 |
| EP3985560A1 (en) * | 2020-10-15 | 2022-04-20 | Aptiv Technologies Limited | Methods and systems for determining candidate data sets for labelling |
| KR102340998B1 (ko) * | 2021-07-06 | 2021-12-20 | (주) 웨다 | 오토 레이블링 방법 및 시스템 |
| KR20230102670A (ko) * | 2021-12-30 | 2023-07-07 | 한국전자기술연구원 | 영상 데이터의 라벨링 가이드 방법 및 자동 라벨링 장치 |
| KR20240029126A (ko) * | 2022-08-26 | 2024-03-05 | 한국전자기술연구원 | 설치환경에 최적화된 딥러닝 모델 생성 시스템 및 방법, 이의 학습 데이터 구성 방법 |
| KR102636461B1 (ko) | 2023-09-14 | 2024-02-15 | 주식회사 에이아이노미스 | 인공지능 모델 학습을 위한 오토 레이블링 자동화 방법, 장치 및 시스템 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8098976B1 (en) * | 2011-09-26 | 2012-01-17 | Limelight Networks, Inc. | Methods and systems for performing top concepts extraction |
| US9767386B2 (en) * | 2015-06-23 | 2017-09-19 | Adobe Systems Incorporated | Training a classifier algorithm used for automatically generating tags to be applied to images |
| CN104992184B (zh) * | 2015-07-02 | 2018-03-09 | 东南大学 | 一种基于半监督极限学习机的多类图像分类方法 |
| CN108351986B (zh) * | 2015-10-30 | 2022-03-29 | 株式会社摩如富 | 学习系统及装置和方法、训练数据生成装置及生成方法 |
| KR20170083419A (ko) * | 2016-01-08 | 2017-07-18 | 마우키스튜디오 주식회사 | 레이블링되지 않은 다수의 학습 데이터를 이용하여 딥 러닝의 모델을 트레이닝하는 방법 및 이를 수행하는 딥 러닝 시스템 |
| US10235623B2 (en) * | 2016-02-12 | 2019-03-19 | Adobe Inc. | Accurate tag relevance prediction for image search |
| JP6573233B2 (ja) * | 2016-07-19 | 2019-09-11 | 日本電信電話株式会社 | 認識容易性指標算出装置、方法、及びプログラム |
| CN106777335A (zh) * | 2017-01-13 | 2017-05-31 | 深圳爱拼信息科技有限公司 | 一种基于长短期记忆（lstm）模型的多标签行业分类方法及装置 |
| US20180314943A1 (en) * | 2017-04-27 | 2018-11-01 | Jianming Liang | Systems, methods, and/or media, for selecting candidates for annotation for use in training a classifier |
| US20180373980A1 (en) * | 2017-06-27 | 2018-12-27 | drive.ai Inc. | Method for training and refining an artificial intelligence |
| CN108280516B (zh) * | 2018-03-05 | 2021-05-11 | 山东领能电子科技有限公司 | 一种多组卷积神经网络之间互博智能进化的优化方法 |
| KR102177568B1 (ko) * | 2018-04-09 | 2020-11-11 | 주식회사 뷰노 | 레이블 있는 데이터 및 레이블 없는 데이터를 병용하는 준지도 강화 학습 방법 및 이를 이용한 장치 |
| KR102189362B1 (ko) * | 2018-06-29 | 2020-12-11 | 주식회사 디플리 | 자동 레이블링이 가능한 머신 러닝 방법 및 장치 |
| CN109255044A (zh) * | 2018-08-31 | 2019-01-22 | 江苏大学 | 一种基于YOLOv3深度学习网络的图像智能标注方法 |
| KR102230559B1 (ko) * | 2019-04-25 | 2021-03-22 | 에스케이텔레콤 주식회사 | 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치 |
| KR102168558B1 (ko) * | 2019-10-24 | 2020-10-21 | 서울대학교산학협력단 | 액티브 러닝을 위한 학습용 데이터 선정 방법, 액티브 러닝을 위한 학습용 데이터 선정 장치 및 액티브 러닝을 이용한 영상 분석 방법 |
-
2019
- 2019-01-31 US US16/264,027 patent/US10579907B1/en active Active
- 2019-11-15 KR KR1020190147099A patent/KR102328734B1/ko active IP Right Grant
-
2020
- 2020-01-15 EP EP20152002.0A patent/EP3690741A3/en active Pending
- 2020-01-15 JP JP2020004704A patent/JP6932395B2/ja active Active
- 2020-01-21 CN CN202010071205.4A patent/CN111507371B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP3690741A3 (en) | 2020-08-19 |
| KR20200095334A (ko) | 2020-08-10 |
| US10579907B1 (en) | 2020-03-03 |
| EP3690741A2 (en) | 2020-08-05 |
| CN111507371A (zh) | 2020-08-07 |
| CN111507371B (zh) | 2023-12-19 |
| KR102328734B1 (ko) | 2021-11-22 |
| JP2020126613A (ja) | 2020-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6932395B2 (ja) | イメージを分析するために、ディープラーニングネットワークに利用するためのトレーニングイメージに対するラベルリング信頼度を自動的に評価するための方法、及びこれを利用した信頼度評価装置 | |
| JP6855091B2 (ja) | ニューラルネットワーク学習に利用されるオートラベリングされたイメージのうちでラベル検収のためのサンプルイメージを取得する方法、及びそれを利用したサンプルイメージ取得装置 | |
| JP6849932B2 (ja) | 高精密度のイメージを分析するためのディープラーニングネットワークを使用するためにトレーニングイメージをオートラベリングするオートラベルリング装置のハイパーパラメータを最適化する方法、及びこれを利用した最適化装置 | |
| US10546242B2 (en) | Image analysis neural network systems | |
| KR102373456B1 (ko) | 자동 주차 시스템을 제공하기 위해 결정 지점 간의 관계 및 결정 지점에 대한 리그레션 결과를 이용하여 주차 공간을 검출하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치 | |
| JP6875021B2 (ja) | 有用な学習データを取捨選別するためのｃｎｎ基盤の学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置 | |
| CN108764063B (zh) | 一种基于特征金字塔的遥感影像时敏目标识别系统及方法 | |
| KR20200027427A (ko) | 차선 후보 픽셀의 분류를 통해 차선을 검출하는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
| JP6867054B2 (ja) | マルチカメラシステム内のダブルエンベディング構成を利用して、道路利用者イベントを検出するために用いられるセグメンテーション性能向上のための学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置。｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｉｍｐｒｏｖｉｎｇ ｓｅｇｍｅｎｔａｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｒｏａｄ ｕｓｅｒ ｅｖｅｎｔｓ ｕｓｉｎｇ ｄｏｕｂｌｅ ｅｍｂｅｄｄｉｎｇ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｉｎ ｍｕｌｔｉ−ｃａｍｅｒａ ｓｙｓｔｅｍ ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝ | |
| CN111507150B (zh) | 利用基于深度神经网络的多重图像块组合识别人脸的方法 | |
| JP6850046B2 (ja) | 重要業績評価指標のようなユーザ要求事項に適したターゲット物体予測ネットワークを用いた、ｃｎｎ基盤の変動に強い物体検出器を学習する方法及び学習装置、並びにこれを利用したテスティング方法及びテスティング装置 | |
| JP6872259B2 (ja) | Ｒ−ｃｎｎ基盤の物体検出器の学習方法とテスト方法、及びそれを利用した学習装置とテスト装置 | |
| KR20200027889A (ko) | CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
| JP2020119501A (ja) | エッジロスを利用して歩行者イベント、自動車イベント、フォーリングイベント、フォールンイベントを含むイベントを検出するにおいて利用されるセグメンテーション性能向上のための学習方法及び学習装置、並びにそれを利用したテスト方法及びテスト装置 | |
| CN113704522B (zh) | 基于人工智能的目标图像快速检索方法及系统 | |
| KR20200027888A (ko) | 차선 모델을 이용하여 차선을 검출할 수 있는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
| CN114842343A (zh) | 一种基于ViT的航空图像识别方法 | |
| CN111507152A (zh) | 基于内置独立型预测来转换自动驾驶模式的方法及装置 | |
| CN112085001A (zh) | 一种基于多尺度边缘特征检测的隧道识别模型及方法 | |
| CN115272814A (zh) | 一种远距离空间自适应多尺度的小目标检测方法 | |
| CN117876771A (zh) | 一种小样本目标检测识别方法、装置及计算设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210119 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210415 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210615 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210803 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210811 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6932395 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |