JP6932395B2 - イメージを分析するために、ディープラーニングネットワークに利用するためのトレーニングイメージに対するラベルリング信頼度を自動的に評価するための方法、及びこれを利用した信頼度評価装置 - Google Patents
イメージを分析するために、ディープラーニングネットワークに利用するためのトレーニングイメージに対するラベルリング信頼度を自動的に評価するための方法、及びこれを利用した信頼度評価装置 Download PDFInfo
- Publication number
- JP6932395B2 JP6932395B2 JP2020004704A JP2020004704A JP6932395B2 JP 6932395 B2 JP6932395 B2 JP 6932395B2 JP 2020004704 A JP2020004704 A JP 2020004704A JP 2020004704 A JP2020004704 A JP 2020004704A JP 6932395 B2 JP6932395 B2 JP 6932395B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- label
- auto
- unique
- verification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims description 126
- 238000000034 method Methods 0.000 title claims description 49
- 238000011156 evaluation Methods 0.000 title claims description 43
- 238000012549 training Methods 0.000 title claims description 36
- 238000013135 deep learning Methods 0.000 title claims description 33
- 238000012795 verification Methods 0.000 claims description 180
- 230000002159 abnormal effect Effects 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims description 7
- 238000010200 validation analysis Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
- G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
- G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/18143—Extracting features based on salient regional features, e.g. scale invariant feature transform [SIFT] keypoints
- G06V30/18152—Extracting features based on a plurality of salient regional features, e.g. "bag of words"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Operations Research (AREA)
- Algebra (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
Description
/
、
/
とし、前記イージー検証イメージの前記トゥルーラベルを
、前記オートラベルを
とする場合、前記オートラベリングネットワークの信頼度
を下記数学式
を利用して評価することを特徴とする。
/
、
/
とし、前記ディフィカルト検証イメージの前記トゥルーラベルを
、前記手動ラベルを
とする場合、前記手動ラベリング装置の信頼度
を下記数学式
を利用して評価することを特徴とする。
/
、
/
とし、前記イージー検証イメージの前記トゥルーラベルを
、前記オートラベルを
とする場合、前記オートラベリングネットワークの信頼度
を下記数学式
を利用して評価することを特徴とする。
/
、
/
とし、前記ディフィカルト検証イメージの前記トゥルーラベルを
、前記手動ラベルを
とする場合、前記手動ラベリング装置の信頼度
を下記数学式
を利用して評価することを特徴とする。
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
と前記未検出クラス要素に対する確率値
とは重み付け値に対する線形関数であるため、
の制約条件のある制約最適化(Constrained optimization)により前記重み付け値の最適化が可能になる。
と前記未検出クラス要素に対する各確率値
とを参照して、前記固有のオートラベルを有する原本イメージまたは前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群が前記ディフィカルトイメージである確率値
を次のような一般化された平均として計算することができる。
と前記未検出クラス要素に対する各確率値
とを参照して計算したそれぞれの前記確率値
が前記予め設定された値以上である場合、前記オートラベリングネットワーク300は、前記固有のオートラベルを有する原本イメージまたは前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群を前記ディフィカルトイメージとして判断することができる。ここで、前記ディフィカルトイメージは、不正確にオートラベリングされる確率が前記予め設定された値以上であるイメージを表し得、前記予め設定された値は、第1の予め設定された値、第2の予め設定された値、第3の予め設定された値、及び第4の予め設定された値を含み、これは追って説明される。
は、第1特定のオートボックスと同一のクラス情報を有する第1特定のトゥルーボックスが他のトゥルーボックスと前記第1の予め設定された閾値以上に重なっていない場合に該当し得る。
は、第2特定のトゥルーボックスと同一のクラス情報を有する第2特定のオートボックスが、他のオートボックスと前記第2の予め設定された閾値以上に重なっていない状態で、第3特定のオートボックスが前記第2特定のトゥルーボックスと第3の予め設定された閾値以上に重なっている場合に該当し得る。
/
、
/
とし、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージの前記トゥルーラベルを
、前記オートラベルを
とする場合、前記オートラベリングネットワーク300の信頼度
は次のように評価され得る。
/
、
/
とし、前記固有のトゥルーラベル、オートラベル及び手動ラベルを有するディフィカルト検証イメージの前記トゥルーラベルを
、前記手動ラベルを
とする場合、前記手動ラベリング装置400の信頼度
は次のように評価され得る。
Claims (10)
- ディープラーニングネットワークの学習に利用するための一つ以上のトレーニングイメージに対するラベルリング信頼度を評価する方法において、
(a)一つ以上の原本イメージが取得されると、信頼度評価装置が、類似イメージ選択ネットワークをもって、前記原本イメージと撮影環境が類似する、固有のトゥルーラベルを有する検証イメージ候補群を選択させた後、前記固有のトゥルーラベルを有する検証イメージ候補群と前記原本イメージとをオートラベリングネットワークに入力することにより、前記オートラベリングネットワークをもって、前記固有のトゥルーラベルを有する検証イメージ候補群と前記原本イメージとをオートラベリングさせ、前記原本イメージはアンラベリングされたイメージである段階;
(b)前記信頼度評価装置は、(i)固有のトゥルーラベル及びオートラベルを有するイージー(easy)検証イメージが前記オートラベリングネットワークから取得されると、前記イージー検証イメージの前記トゥルーラベルと前記オートラベルとを参照して前記オートラベリングネットワークの信頼度を評価し、(ii)固有のトゥルーラベル及びオートラベルを有するディフィカルト(difficult)検証イメージに手動ラベリング演算を適用して生成された固有のトゥルーラベル、オートラベル、及び手動ラベルを有するディフィカルト検証イメージが手動ラベリング装置から取得されると、前記ディフィカルト検証イメージの前記トゥルーラベルと前記手動ラベルとを参照して、前記手動ラベリング装置の信頼度を評価し、
前記固有のトゥルーラベル及びオートラベルとを有するイージー検証イメージは、前記オートラベリングされた固有のトゥルーラベルを有する検証イメージ候補群のうち、不正確にオートラベリングされる確率が第1の予め設定された値未満である検証イメージであり、前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージは、前記オートラベリングされた固有のトゥルーラベルを有する検証イメージ候補群のうち、不正確にオートラベリングされる確率が第2の予め設定された値以上である検証イメージである段階;
を含み、
前記(a)段階で、
前記信頼度評価装置は、前記オートラベリングネットワークをもって、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージ候補群とをオートラベリングして、固有のオートラベルを有する原本イメージと固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とを出力させた後、(i)(i−1)第1イメージと第2イメージとを生成し、このうち少なくとも一つは、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とのうち一つから変形して生成され、前記第1イメージと前記第2イメージとのうち一つだけが前記固有のオートラベルを有する原本イメージと前記検証イメージ候補群とのうち一つから変形して生成されたイメージであれば、前記第1イメージと前記第2イメージとのうち残りの一つは、前記原本イメージと前記検証イメージ候補群とのうち一つをそのまま使用し、(i−2)一つ以上のコンボリューションレイヤをもって、前記第1イメージと前記第2イメージとにそれぞれ一つ以上のコンボリューション演算を適用して少なくとも一つの第1特徴マップと少なくとも一つの第2特徴マップとを生成させ、(i−3)一つ以上のプーリングレイヤをもって、それぞれの前記第1特徴マップとそれぞれの前記第2特徴マップ上で、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とのオートラベリングされたボックスそれぞれに対応する各領域に一つ以上のプーリング演算を適用して一つ以上の第1プーリング済み特徴マップと一つ以上の第2プーリング済み特徴マップとを生成させ、それぞれの前記第1プーリング済み特徴マップと、これに対応するそれぞれの前記第2プーリング済み特徴マップとをコンカチネート(concatenate)して、それぞれの前記オートラベリングされたボックスに対応する一つ以上のコンカチネートされた特徴マップを生成させ、(ii)ディープラーニング分類器(classifier)をもって、それぞれの前記オートラベリングされたボックスに対応するそれぞれの前記コンカチネートされた特徴マップを入力として取得して、それぞれの前記オートラベリングされたボックスを非正常クラス群または正常クラス群に分類するクラス情報を生成させ、(iii)(iii−1)それぞれの前記オートラベリングされたボックスに関するそれぞれの前記クラス情報を参照して前記非正常クラス群の各非正常クラス要素の確率それぞれを計算し、(iii−2)それぞれの前記非正常クラス要素の前記確率それぞれを利用して前記固有のオートラベルを有する原本イメージを固有のオートラベルを有するイージー原本イメージと固有のオートラベルを有するディフィカルト原本イメージとに区分し、(iii−3)前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群を、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに区分し、
前記固有のオートラベルを有するイージー原本イメージは、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が前記第3の予め設定された値未満であるイメージであり、前記固有のオートラベルを有するディフィカルト原本イメージは、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第4の予め設定された値以上であるイメージであり、
前記(b)段階で、
前記信頼度評価装置は、
/
、
/
とし、前記イージー検証イメージの前記トゥルーラベルを
、前記オートラベルを
とする場合、
前記オートラベリングネットワークの信頼度
を下記数学式
を利用して評価し、
前記L内誤検出ボックスの個数、前記L内全体ボックスの個数、前記X内未検出ボックスの個数および前記X内全体ボックスの個数は、前記トゥルーラベルの数と前記オートラベルの数とに基づく、
または、
前記(b)段階で、
前記信頼度評価装置は、
/
、
/
とし、前記ディフィカルト検証イメージの前記トゥルーラベルを
、前記手動ラベルを
とする場合、
前記手動ラベリング装置の信頼度
を下記数学式
を利用して評価し、
前記L内誤検出ボックスの個数、前記L内全体ボックスの個数、前記X内未検出ボックスの個数および前記X内全体ボックスの個数は、前記トゥルーラベルの数と前記手動ラベルの数とに基づくことを特徴とする方法。 - (c)前記信頼度評価装置が、(i)前記オートラベリングネットワークの前記信頼度が第1の予め設定された閾値以上である場合、前記オートラベリングネットワークから取得された、固有のオートラベルを有するイージー原本イメージのうち少なくとも一部を固有のトゥルーラベルを有するトレーニングイメージとして選定し、(ii)前記手動ラベリング装置の前記信頼度が第2の予め設定された閾値以上である場合、前記手動ラベリング装置から取得された、固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージのうち少なくとも一部を前記固有のトゥルーラベルを有するトレーニングイメージとして選定し、
前記固有のオートラベルを有するイージー原本イメージは、前記原本イメージをオートラベリングして取得された、固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第3の予め設定された値未満であるイメージであり、前記固有のオートラベルを有するディフィカルト原本イメージは、前記原本イメージをオートラベリングして取得された、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第4の予め設定された値以上であるイメージである段階;
をさらに含むことを特徴とする請求項1に記載の方法。 - 前記信頼度評価装置は、前記固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージのうち前記固有のトゥルーラベルを有するトレーニングイメージとして選定されていない、固有のオートラベル及び手動ラベルを有する特定のディフィカルト原本イメージを前記固有のトゥルーラベルを有する検証イメージ候補群として選定することを特徴とする請求項2に記載の方法。
- 前記(a)段階で、
前記信頼度評価装置は、前記類似イメージ選択ネットワークをもって、(i)(i−1)前記原本イメージ上におけるスライドウィンドウ(sliding window)の各領域をクロップ(crop)しリサイズして生成された加工イメージを取得し、(i−2)イメージ分類CNN(convolutional neural network)を通じて前記加工イメージを分類して各上位k個のクラス情報を出力し、(i−3)前記上位k個のクラス情報を参照して少なくとも一つのBoW(Bag of Words)を生成する少なくとも一つの演算を前記すべての原本イメージに適用して、前記原本イメージの少なくとも一つのBoWヒストグラムを生成させ、(ii)前記固有のトゥルーラベルを有する検証イメージ候補群のうち、前記BoWヒストグラムに近い順序に予め設定された個数の前記固有のトゥルーラベルを有する検証イメージ候補群を選択することを特徴とする請求項1に記載の方法。 - 前記信頼度評価装置は、前記類似イメージ選択ネットワークをもって、前記予め設定された個数の前記検証イメージ候補群のうち前記固有のトゥルーラベルを有するディフィカルト検証イメージと固有のオートラベルを有するディフィカルト原本イメージとを管理させて、前記予め設定された個数の検証イメージ候補群のうち前記固有のトゥルーラベルを有するディフィカルト検証イメージの個数が前記原本イメージのうち前記固有のオートラベルを有するディフィカルト原本イメージの個数に対する特定の割合を有するようにすることを特徴とする請求項4に記載の方法。
- ディープラーニングネットワークの学習に利用するための一つ以上のトレーニングイメージに対するラベルリング信頼度を評価する信頼度評価装置において、
各インストラクションを格納する少なくとも一つのメモリと、
(I)一つ以上の原本イメージが取得されると、類似イメージ選択ネットワークをもって、前記原本イメージと撮影環境が類似する、固有のトゥルーラベルを有する検証イメージ候補群を選択させた後、前記固有のトゥルーラベルを有する検証イメージ候補群と前記原本イメージとをオートラベリングネットワークに入力することにより、前記オートラベリングネットワークをもって前記固有のトゥルーラベルを有する検証イメージ候補群と前記原本イメージとをオートラベリングさせ、前記原本イメージはアンラベリングされたイメージであるプロセス、及び(II)(i)固有のトゥルーラベル及びオートラベルを有するイージー(easy)検証イメージが前記オートラベリングネットワークから取得されると、前記イージー検証イメージの前記トゥルーラベルと前記オートラベルとを参照して前記オートラベリングネットワークの信頼度を評価し、(ii)固有のトゥルーラベル及びオートラベルを有するディフィカルト(difficult)検証イメージに手動ラベリング演算を適用して生成された固有のトゥルーラベル、オートラベル、及び手動ラベルを有するディフィカルト検証イメージが手動ラベリング装置から取得されると、前記ディフィカルト検証イメージの前記トゥルーラベルと前記手動ラベルとを参照して、前記手動ラベリング装置の信頼性を評価し、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージは、前記オートラベリングされた固有のトゥルーラベルを有する検証イメージ候補群のうち不正確にオートラベリングされる確率が第1の予め設定された値未満である検証イメージであり、前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージは、前記オートラベリングされた固有のトゥルーラベルを有する検証イメージ候補群のうち、不正確にオートラベリングされる確率が第2の予め設定された値以上である検証イメージであるプロセスを遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含み、
前記(I)プロセスで、
前記プロセッサは、前記オートラベリングネットワークをもって、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージ候補群とをオートラベリングして、固有のオートラベルを有する原本イメージと固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とを出力させた後、(i)(i−1)第1イメージと第2イメージとを生成し、このうち少なくとも一つは前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群のうち一つから変形して生成され、前記第1イメージと前記第2イメージとのうち一つだけが前記固有のオートラベルを有する原本イメージと前記検証イメージ候補群とのうち一つから変形して生成されたイメージであれば、前記第1イメージと前記第2イメージのうち残りの一つは前記原本イメージと前記検証イメージ候補群とのうち一つをそのまま使用し、(i−2)一つ以上のコンボリューションレイヤをもって、前記第1イメージと前記第2イメージとにそれぞれ一つ以上のコンボリューション演算を適用して少なくとも一つの第1特徴マップと少なくとも一つの第2特徴マップとを生成させ、(i−3)一つ以上のプーリングレイヤをもって、それぞれの前記第1特徴マップとそれぞれの前記第2特徴マップ上で、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とのオートラベリングされたボックスそれぞれに対応する各領域に一つ以上のプーリング演算を適用して一つ以上の第1プーリング済み特徴マップと一つ以上の第2プーリング済み特徴マップとを生成させ、それぞれの前記第1プーリング済み特徴マップと、これに対応するそれぞれの前記第2プーリング済み特徴マップとをコンカチネート(concatenate)して、それぞれの前記オートラベリングされたボックスに対応する一つ以上のコンカチネートされた特徴マップを生成させ、(ii)ディープラーニング分類器(classifier)をもって、それぞれの前記オートラベリングされたボックスに対応するそれぞれの前記コンカチネートされた特徴マップを入力として取得して、それぞれの前記オートラベリングされたボックスを非正常クラス群または正常クラス群に分類するクラス情報を生成させ、(iii)(iii−1)それぞれの前記オートラベリングされたボックスに関するそれぞれの前記クラス情報を参照して前記非正常クラス群の各非正常クラス要素の確率それぞれを計算し、(iii−2)それぞれの前記非正常クラス要素の前記確率それぞれを利用して前記固有のオートラベルを有する原本イメージを固有のオートラベルを有するイージー原本イメージと固有のオートラベルを有するディフィカルト原本イメージとに区分し、(iii−3)前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群を、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに区分し、
前記固有のオートラベルを有するイージー原本イメージは、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が前記第3の予め設定された値未満であるイメージであり、前記固有のオートラベルを有するディフィカルト原本イメージは、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第4の予め設定された値以上であるイメージであり、
前記(II)プロセスで、
前記プロセッサは、
/
、
/
とし、前記イージー検証イメージの前記トゥルーラベルを
、前記オートラベルを
とする場合、
前記オートラベリングネットワークの信頼度
を下記数学式
を利用して評価し、
前記L内誤検出ボックスの個数、前記L内全体ボックスの個数、前記X内未検出ボックスの個数および前記X内全体ボックスの個数は、前記トゥルーラベルの数と前記オートラベルの数とに基づく、
または、
前記(II)プロセスで、
前記プロセッサは、
/
、
/
とし、前記ディフィカルト検証イメージの前記トゥルーラベルを
、前記手動ラベルを
とする場合、
前記手動ラベリング装置の信頼度
を下記数学式
を利用して評価し、
前記L内誤検出ボックスの個数、前記L内全体ボックスの個数、前記X内未検出ボックスの個数および前記X内全体ボックスの個数は、前記トゥルーラベルの数と前記手動ラベルの数とに基づくことを特徴とする信頼度評価装置。 - 前記プロセッサは、
(III)(i)前記オートラベリングネットワークの前記信頼度が第1の予め設定された閾値以上である場合、前記オートラベリングネットワークから取得された、固有のオートラベルを有するイージー原本イメージのうち少なくとも一部を固有のトゥルーラベルを有するトレーニングイメージとして選定し、(ii)前記手動ラベリング装置の前記信頼度が第2の予め設定された閾値以上である場合、前記手動ラベリング装置から取得された、固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージのうち少なくとも一部を前記固有のトゥルーラベルを有するトレーニングイメージとして選定し、
前記固有のオートラベルを有するイージー原本イメージは、前記原本イメージをオートラベリングして取得された、固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第3の予め設定された値未満であるイメージであり、前記固有のオートラベルを有するディフィカルト原本イメージは、前記原本イメージをオートラベリングして取得された、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第4の予め設定された値以上であるイメージであるプロセス;
をさらに遂行することを特徴とする請求項6に記載の信頼度評価装置。 - 前記プロセッサは、前記固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージのうち前記固有のトゥルーラベルを有するトレーニングイメージとして選定されていない、固有のオートラベル及び手動ラベルを有する特定のディフィカルト原本イメージを前記固有のトゥルーラベルを有する検証イメージ候補群として選定することを特徴とする請求項7に記載の信頼度評価装置。
- 前記(I)プロセスで、
前記プロセッサは、前記類似イメージ選択ネットワークをもって、(i)(i−1)前記原本イメージ上におけるスライドウィンドウ(sliding window)の各領域をクロップ(crop)しリサイズして生成された加工イメージを取得し、(i−2)イメージ分類CNN(convolutional neural network)を通じて前記加工イメージを分類して各上位k個のクラス情報を出力し、(i−3)前記上位k個のクラス情報を参照して少なくとも一つのBoW(Bag of Words)を生成する少なくとも一つの演算を前記すべての原本イメージに適用して、前記原本イメージの少なくとも一つのBoWヒストグラムを生成させ、(ii)前記固有のトゥルーラベルを有する検証イメージ候補群のうち、前記BoWヒストグラムに近い順序に予め設定された個数の前記固有のトゥルーラベルを有する検証イメージ候補群を選択することを特徴とする請求項6に記載の信頼度評価装置。 - 前記プロセッサは、前記類似イメージ選択ネットワークをもって、前記予め設定された個数の前記検証イメージ候補群のうち前記固有のトゥルーラベルを有するディフィカルト検証イメージと固有のオートラベルを有するディフィカルト原本イメージとを管理させて、前記予め設定された個数の検証イメージ候補群のうち前記固有のトゥルーラベルを有するディフィカルト検証イメージの個数が前記原本イメージのうち前記固有のオートラベルを有するディフィカルト原本イメージの個数に対する特定の割合を有するようにすることを特徴とする請求項9に記載の信頼度評価装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/264,027 US10579907B1 (en) | 2019-01-31 | 2019-01-31 | Method for automatically evaluating labeling reliability of training images for use in deep learning network to analyze images, and reliability-evaluating device using the same |
US16/264,027 | 2019-01-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020126613A JP2020126613A (ja) | 2020-08-20 |
JP6932395B2 true JP6932395B2 (ja) | 2021-09-08 |
Family
ID=69172713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020004704A Active JP6932395B2 (ja) | 2019-01-31 | 2020-01-15 | イメージを分析するために、ディープラーニングネットワークに利用するためのトレーニングイメージに対するラベルリング信頼度を自動的に評価するための方法、及びこれを利用した信頼度評価装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10579907B1 (ja) |
EP (1) | EP3690741B1 (ja) |
JP (1) | JP6932395B2 (ja) |
KR (1) | KR102328734B1 (ja) |
CN (1) | CN111507371B (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10824151B2 (en) * | 2019-01-31 | 2020-11-03 | StradVision, Inc. | Method and device for providing personalized and calibrated adaptive deep learning model for the user of an autonomous vehicle |
US20210133596A1 (en) * | 2019-10-30 | 2021-05-06 | International Business Machines Corporation | Ranking image sources for transfer learning |
KR20210106814A (ko) * | 2020-02-21 | 2021-08-31 | 삼성전자주식회사 | 뉴럴 네트워크 학습 방법 및 장치 |
CN111368116B (zh) * | 2020-05-26 | 2020-09-18 | 腾讯科技(深圳)有限公司 | 图像分类方法、装置、计算机设备及存储介质 |
EP3985560A1 (en) * | 2020-10-15 | 2022-04-20 | Aptiv Technologies Limited | Methods and systems for determining candidate data sets for labelling |
KR102340998B1 (ko) * | 2021-07-06 | 2021-12-20 | (주) 웨다 | 오토 레이블링 방법 및 시스템 |
KR20230102670A (ko) * | 2021-12-30 | 2023-07-07 | 한국전자기술연구원 | 영상 데이터의 라벨링 가이드 방법 및 자동 라벨링 장치 |
KR20240029126A (ko) * | 2022-08-26 | 2024-03-05 | 한국전자기술연구원 | 설치환경에 최적화된 딥러닝 모델 생성 시스템 및 방법, 이의 학습 데이터 구성 방법 |
KR102636461B1 (ko) | 2023-09-14 | 2024-02-15 | 주식회사 에이아이노미스 | 인공지능 모델 학습을 위한 오토 레이블링 자동화 방법, 장치 및 시스템 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8098976B1 (en) * | 2011-09-26 | 2012-01-17 | Limelight Networks, Inc. | Methods and systems for performing top concepts extraction |
US9767386B2 (en) * | 2015-06-23 | 2017-09-19 | Adobe Systems Incorporated | Training a classifier algorithm used for automatically generating tags to be applied to images |
CN104992184B (zh) * | 2015-07-02 | 2018-03-09 | 东南大学 | 一种基于半监督极限学习机的多类图像分类方法 |
WO2017073373A1 (ja) * | 2015-10-30 | 2017-05-04 | 株式会社モルフォ | 学習システム、学習装置、学習方法、学習プログラム、教師データ作成装置、教師データ作成方法、教師データ作成プログラム、端末装置及び閾値変更装置 |
KR20170083419A (ko) * | 2016-01-08 | 2017-07-18 | 마우키스튜디오 주식회사 | 레이블링되지 않은 다수의 학습 데이터를 이용하여 딥 러닝의 모델을 트레이닝하는 방법 및 이를 수행하는 딥 러닝 시스템 |
US10235623B2 (en) * | 2016-02-12 | 2019-03-19 | Adobe Inc. | Accurate tag relevance prediction for image search |
JP6573233B2 (ja) * | 2016-07-19 | 2019-09-11 | 日本電信電話株式会社 | 認識容易性指標算出装置、方法、及びプログラム |
CN106777335A (zh) * | 2017-01-13 | 2017-05-31 | 深圳爱拼信息科技有限公司 | 一种基于长短期记忆(lstm)模型的多标签行业分类方法及装置 |
US20180314943A1 (en) * | 2017-04-27 | 2018-11-01 | Jianming Liang | Systems, methods, and/or media, for selecting candidates for annotation for use in training a classifier |
US20180373980A1 (en) * | 2017-06-27 | 2018-12-27 | drive.ai Inc. | Method for training and refining an artificial intelligence |
CN108280516B (zh) * | 2018-03-05 | 2021-05-11 | 山东领能电子科技有限公司 | 一种多组卷积神经网络之间互博智能进化的优化方法 |
KR102177568B1 (ko) * | 2018-04-09 | 2020-11-11 | 주식회사 뷰노 | 레이블 있는 데이터 및 레이블 없는 데이터를 병용하는 준지도 강화 학습 방법 및 이를 이용한 장치 |
KR102189362B1 (ko) * | 2018-06-29 | 2020-12-11 | 주식회사 디플리 | 자동 레이블링이 가능한 머신 러닝 방법 및 장치 |
CN109255044A (zh) * | 2018-08-31 | 2019-01-22 | 江苏大学 | 一种基于YOLOv3深度学习网络的图像智能标注方法 |
KR102230559B1 (ko) * | 2019-04-25 | 2021-03-22 | 에스케이텔레콤 주식회사 | 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치 |
KR102168558B1 (ko) | 2019-10-24 | 2020-10-21 | 서울대학교산학협력단 | 액티브 러닝을 위한 학습용 데이터 선정 방법, 액티브 러닝을 위한 학습용 데이터 선정 장치 및 액티브 러닝을 이용한 영상 분석 방법 |
-
2019
- 2019-01-31 US US16/264,027 patent/US10579907B1/en active Active
- 2019-11-15 KR KR1020190147099A patent/KR102328734B1/ko active IP Right Grant
-
2020
- 2020-01-15 EP EP20152002.0A patent/EP3690741B1/en active Active
- 2020-01-15 JP JP2020004704A patent/JP6932395B2/ja active Active
- 2020-01-21 CN CN202010071205.4A patent/CN111507371B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US10579907B1 (en) | 2020-03-03 |
EP3690741B1 (en) | 2024-08-07 |
EP3690741A3 (en) | 2020-08-19 |
KR20200095334A (ko) | 2020-08-10 |
CN111507371A (zh) | 2020-08-07 |
KR102328734B1 (ko) | 2021-11-22 |
CN111507371B (zh) | 2023-12-19 |
EP3690741A2 (en) | 2020-08-05 |
JP2020126613A (ja) | 2020-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6932395B2 (ja) | イメージを分析するために、ディープラーニングネットワークに利用するためのトレーニングイメージに対するラベルリング信頼度を自動的に評価するための方法、及びこれを利用した信頼度評価装置 | |
JP6855091B2 (ja) | ニューラルネットワーク学習に利用されるオートラベリングされたイメージのうちでラベル検収のためのサンプルイメージを取得する方法、及びそれを利用したサンプルイメージ取得装置 | |
JP6849932B2 (ja) | 高精密度のイメージを分析するためのディープラーニングネットワークを使用するためにトレーニングイメージをオートラベリングするオートラベルリング装置のハイパーパラメータを最適化する方法、及びこれを利用した最適化装置 | |
US10546242B2 (en) | Image analysis neural network systems | |
KR102373456B1 (ko) | 자동 주차 시스템을 제공하기 위해 결정 지점 간의 관계 및 결정 지점에 대한 리그레션 결과를 이용하여 주차 공간을 검출하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치 | |
JP6853560B2 (ja) | 高精度イメージを分析するディープラーニングネットワークの学習に利用するためのトレーニングイメージをオートラベリングするための方法、及びこれを利用したオートラベリング装置{method for auto−labeling training images for use in deep learning network to analyze images with high precision, and auto−labeling device using the same} | |
JP6875021B2 (ja) | 有用な学習データを取捨選別するためのcnn基盤の学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置 | |
CN111507150B (zh) | 利用基于深度神经网络的多重图像块组合识别人脸的方法 | |
KR20200027427A (ko) | 차선 후보 픽셀의 분류를 통해 차선을 검출하는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
JP6867054B2 (ja) | マルチカメラシステム内のダブルエンベディング構成を利用して、道路利用者イベントを検出するために用いられるセグメンテーション性能向上のための学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置。{learning method and learning device for improving segmentation performance to be used for detecting road user events using double embedding configuration in multi−camera system and testing method and testing device using the same} | |
JP6980289B2 (ja) | 車線モデルを利用して車線を検出し得る学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置{learning method, learning device for detecting lane using lane model and test method, test device using the same} | |
KR20200027889A (ko) | CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
CN113704522B (zh) | 基于人工智能的目标图像快速检索方法及系统 | |
JP2020119501A (ja) | エッジロスを利用して歩行者イベント、自動車イベント、フォーリングイベント、フォールンイベントを含むイベントを検出するにおいて利用されるセグメンテーション性能向上のための学習方法及び学習装置、並びにそれを利用したテスト方法及びテスト装置 | |
CN108446727B (zh) | 驾驶行为决策方法、系统和电子设备 | |
CN112085001A (zh) | 一种基于多尺度边缘特征检测的隧道识别模型及方法 | |
CN115272814B (zh) | 一种远距离空间自适应多尺度的小目标检测方法 | |
CN118411524A (zh) | 语义分割方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210119 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210415 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210803 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210811 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6932395 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |