TWI731459B - 圖像辨識裝置及方法 - Google Patents

圖像辨識裝置及方法 Download PDF

Info

Publication number
TWI731459B
TWI731459B TW108139465A TW108139465A TWI731459B TW I731459 B TWI731459 B TW I731459B TW 108139465 A TW108139465 A TW 108139465A TW 108139465 A TW108139465 A TW 108139465A TW I731459 B TWI731459 B TW I731459B
Authority
TW
Taiwan
Prior art keywords
learning model
feature
learning
feature extraction
image recognition
Prior art date
Application number
TW108139465A
Other languages
English (en)
Other versions
TW202029013A (zh
Inventor
弓場竜
豊田康隆
新藤博之
Original Assignee
日商日立全球先端科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商日立全球先端科技股份有限公司 filed Critical 日商日立全球先端科技股份有限公司
Publication of TW202029013A publication Critical patent/TW202029013A/zh
Application granted granted Critical
Publication of TWI731459B publication Critical patent/TWI731459B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本發明係於使用機械學習之輪廓線擷取中，不需要正解值或確定性因子就能選擇最適合推論時圖像之學習模型。本發明之特徵在於具備：特徵擷取用學習模型群，其儲存複數個特徵擷取用之學習模型；想起用學習模型群，其儲存與特徵擷取用之學習模型成對之想起用之學習模型；特徵量擷取部，其參照特徵擷取用之學習模型自輸入資料擷取特徵量；資料間想起部，其參照想起用之學習模型輸出伴隨特徵量之次元壓縮之想起結果；及學習模型選擇部，其以特徵量與想起結果之差量最小為條件自特徵擷取用學習模型群之中選擇特徵擷取用之學習模型。

Description

圖像辨識裝置及方法
本發明例如係關於一種半導體圖案之檢查中之圖像辨識裝置及方法。
使用以深層學習為首之機械學習之圖案辨識能夠自各種圖像高精度地擷取各種圖案，於自半導體圖案中擷取輪廓線之用途中亦可期待效果。自半導體圖案中擷取之輪廓線用於利用與半導體圖案之設計圖之比較之形狀評價等。
於在輪廓擷取中將複數種圖像作為推論對象運用之情形時，例如於將半導體製造製程中之微影或蝕刻等複數個製造製程之圖像作為推論對象運用之情形時等，為了於圖像之觀察方法之差異針對圖像之每個種類較大時使用機械學習之輪廓線擷取發揮進一步高之性能，期望分割學習模型。
所謂學習模型，係指深層學習之網路構造體之係數等參數，係自包括圖像與訓練資料(成為學習之目標之推論結果)之組之學習樣本，使用事前與學習模型對應之規定之學習運算而計算者。機械學習之性質上，為了自圖像擷取良好之輪廓線，而於用於學習運算之學習樣本之中，必須包含具備作為推論對象之圖像之圖像特徵之圖像，即與推論對象類似之圖像。為了輪廓線擷取發揮更高之性能，期望不與作為推論對象之圖像類似之圖像不包含於學習樣本中。其原因在於，藉由學習運算，而獲得對來自作為推論對象之圖像之輪廓擷取特化之學習模型。
另一方面，於準備複數個學習模型時，需要自複數個學習模型之中選擇最佳之學習模型之方法。所謂最佳之學習樣本，係指相對於提供於運用時之圖像，可自該圖像進行最良好之輪廓線擷取之學習模型。
於專利文獻1，表示了自複數個學習模型之中，以預測誤差最小為條件選擇最佳之學習模型之方法。所謂預測誤差，係指使用學習模型推論時之預測值與正解值之間之誤差。
於專利文獻2，揭示了藉由使用被稱為確定性因子(certainty factor)之指標之選擇方法，自複數個學習模型之中選擇最佳之學習模型之方法。所謂確定性因子，係指使用學習模型根據直至給出推論結果為止之中間處理結果計算之指標，成為推論結果之似然度(為正解之期待值)之標準。 [先前技術文獻] [專利文獻]
專利文獻1：日本專利特開2001-236337號公報 專利文獻2：日本專利特開2001-339265號公報
[發明所欲解決之問題]
上述專利文獻1、專利文獻2中記載之手法對半導體圖案之檢查中之圖像辨識裝置及方法適用而有用。
然而，該專利文獻1之手法存在學習模型之選擇需要正解值之第1問題。所謂輪廓線擷取之正解值，係指圖像中之所有部位中正確地擷取之輪廓線之推論結果。正確地擷取之輪廓線例如能夠藉由利用人手將輪廓線擷取之正解值分配至圖像中之各像素而取得，但針對將其作為推論對象之每個圖像準備直至運用開始為止需要作業時間與作業步驟數。
又，於專利文獻2中著重之確定性因子根據學習模型之種類(機械學習之數理模型或深層學習之網路構造等)而尺度不同，故而存在無法適用於複數種學習模型成為選擇之對象之情形時之第2問題。
根據以上之情況，本發明之目的在於，提供一種於使用機械學習之輪廓線擷取中，不需要正解值或確定性因子即可選擇最適合推論時之圖像之學習模型之圖像辨識裝置及方法。 [解決問題之技術手段]
根據以上之內容，於本發明中係「一種圖像辨識裝置，其特徵在於具備：特徵擷取用學習模型群，其儲存複數個特徵擷取用之學習模型；想起用學習模型群，其儲存與特徵擷取用之學習模型成對之想起用之學習模型；特徵量擷取部，其參照特徵擷取用之學習模型自輸入資料擷取特徵量；資料間想起部，其參照想起用之學習模型輸出伴隨特徵量之次元壓縮之想起結果；及學習模型選擇部，其以特徵量與想起結果之差量最小為條件自特徵擷取用學習模型群之中選擇特徵擷取用之學習模型」。
又，於本發明中係「一種圖像辨識裝置，其特徵在於具備：特徵擷取用學習模型群，其儲存複數個特徵擷取用之學習模型；特徵量擷取部，其參照特徵擷取用之學習模型自輸入資料擷取特徵量；及學習模型選擇部，其根據特徵量擷取部擷取特徵量時之得分來計算能夠於複數種學習模型間進行比較之共通尺度，自特徵擷取用學習模型群之中使用共通尺度選擇特徵擷取用之學習模型」。
又，於本發明中係「一種圖像辨識方法，其特徵在於：具備複數個特徵擷取用之學習模型及與特徵擷取用之學習模型成對之複數個想起用之學習模型，參照特徵擷取用之學習模型自輸入資料擷取特徵量，參照想起用之學習模型獲得伴隨特徵量之次元壓縮之想起結果，以特徵量與想起結果之差量最小為條件自特徵擷取用學習模型群之中選擇特徵擷取用之學習模型」。
又，於本發明中係「一種圖像辨識方法，其特徵在於：具備複數個特徵擷取用之學習模型，參照特徵擷取用之學習模型自輸入資料擷取特徵量，根據擷取特徵量時之得分來計算能夠於複數種學習模型間進行比較之共通尺度，自複數個特徵擷取用之學習模型之中使用共通尺度選擇特徵擷取用之學習模型」。 [發明之效果]
藉由適用本發明，而於使輸入資料為圖像且使特徵量為輪廓線時，能夠自設為推論對象之圖像擷取特徵量，又，取得特徵量之想起結果，以特徵量與想起結果之差量最小為條件選擇特徵量擷取用之學習模型。
以下，一面參照圖式一面對本發明之具體實施例進行說明。 實施例1
將使用計算機裝置實現之本發明之實施例1之圖像辨識裝置之功能構成之一例表示於圖1。
首先，若敍述圖1之功能構成之概要，則計算機裝置7包括作為藉由CPU(Central Processing Unit，中央處理單元)等之運算功能而實現之處理之特徵量擷取部1、資料間想起部3、學習模型選擇部5及一般而言藉由資料庫而實現之特徵擷取用學習模型群M2與想起用學習模型群M4。於計算機裝置7中，取入作為成為半導體圖案之檢查中之輪廓擷取之對象的圖像之運用時之樣本之輸入樣本10。
特徵擷取用學習模型群M2將2個以上之特徵擷取用之學習模型m2儲存於資料庫內。想起用學習模型群M4將2個以上之想起用之學習模型m4儲存於資料庫內。特徵擷取用學習模型群M2及想起用學習模型群M4共有特徵擷取用及想起用之學習模型m2、m4分配之記號，相同之記號之特徵擷取用及想起用之學習模型m2、m4為自同一之學習樣本學習之對。
特徵量擷取部1具備參照特徵擷取用之學習模型m2自輸入樣本10中之圖像擷取輪廓線(以下，將特徵量擷取部1擷取之輪廓線記為特徵量)之功能，針對特徵擷取用學習模型群M2中之特徵擷取用之每個學習模型m2，自輸入樣本10中之圖像擷取特徵量。
資料間想起部3具備參照想起用之學習模型m4自特徵量想起特徵量之功能，分別自特徵量擷取部1輸出之特徵量想起特徵量。以後，將資料間想起部3想起之特徵量標記為想起結果。
學習模型選擇部5選擇特徵量擷取部1輸出之特徵量與資料間想起部3輸出之特徵量之差量成為最小的學習模型m2，輸出分配至學習模型m2之記號。以上所述之圖1中之各功能可利用任意之計算機上之信號處理來實現。
以下，敍述圖1中之各構成功能之詳細情況。輸入樣本10為於運用時成為特徵量之擷取對象之圖像之少數之樣本。少數之樣本藉由隨機地選擇運用時攝影之圖像等而取得。輸入樣本10係自有限之種類之製造製程等收集者，於少數之樣本中，包括一個或少數種類之圖像。
圖2係說明特徵量擷取部1之輸入輸出之圖。使用圖2對特徵量擷取部1之單體之功能進行說明。特徵量擷取部1於著眼於特徵擷取用學習模型群M2中之一個特徵擷取用之學習模型m2，參照其時，自輸入樣本10中之一個輸入資料30，使用語義分割將一個特徵量40輸出至資料間想起部3。
圖3係表示典型性的一個輸入資料30與相對於一個輸入資料30使用語義分割求出之一個特徵量40之例。首先，輸入資料30如圖3之左表示例所示為成為輪廓線之擷取對象之圖像，圖像中之各像素例如為256×256位元之資料。
此處，所謂語義分割，係指判別圖像中之各像素之類別之機械學習之一手法。特徵擷取用之學習模型m2為於語義分割中參照之負載係數或閾值等參數。
於特徵量擷取部1中，使用語義分割求出之一個特徵量40如圖3之右表示例所示，為將輸入資料30內之構成要素(像素)判別為如輪廓線41、封閉區域42(由輪廓線41包圍之區域)、背景43般之類別者(輪廓線之擷取結果)。
藉由圖3列舉一例說明特徵量擷取部1之輸入(一個輸入資料30)與輸出(一個特徵量40)之關係，該擷取使用特徵擷取用之學習模型m2來實現，故而其次對特徵擷取用之學習模型m2側進行說明。
特徵擷取用之學習模型m2係根據包括輸入資料30與訓練資料之組之一個以上之學習樣本藉由規定之學習運算而計算。此處，所謂訓練資料，係指與圖3之左例示之特徵量40相同之格式之圖像，圖像中之各像素之類別適當地分配。於該學習運算中，自學習樣本中所包含之輸入資料30而特徵量擷取部1所輸出之特徵量與學習樣本中之訓練資料之差量以成為最小之方式最佳化。
藉由該學習運算，特徵量擷取部1於參照特徵擷取用之學習模型m2時，於提供與學習樣本類似之輸入資料30時，可輸出精度良好地判別輸入資料30中之各像素之類別之特徵量40。另一方面，特徵量擷取部1於參照學習模型m2時，於提供與學習樣本背離之輸入資料30時，由於為最佳化之範圍外，故而於特徵量40中之像素中包含誤判別。誤判別尤其容易於在輸入資料30中學習樣本與圖像之表觀背離之場所出現。
於圖1之構成圖中特徵量擷取部1相對於輸入樣本10中之輸入資料30(一個以上)、及特徵擷取用學習模型群M2中所包含之特徵擷取用之學習模型m2(2個以上)之組合各者，擷取特徵量40。
圖4係說明資料間想起部3之輸入輸出之圖。其次，使用圖4對資料間想起部3之單體之功能進行說明。資料間想起部3於參照想起用學習模型群M4中之一個想起用之學習模型m4時，自一個特徵量40將一個想起結果50使用次元壓縮輸出至學習模型選擇部5。
圖5係表示典型性的一個特徵量40與一個想起結果50之例。首先，圖5右側之想起結果50包括使圖5之左所示之特徵量40(包括輪廓線41、封閉區域42、背景43之類別)與構成要素相同之類別之輪廓線51、封閉區域52、背景53。於圖1之構成圖中資料間想起部4對於特徵量擷取部1所輸出之特徵量40、及想起用學習模型群M4中所包含之想起用之學習模型14之組合各者，輸出想起結果50。
根據圖5之圖示，特徵量40與想起結果50之差異未必明確，但想起結果50為將特徵量40次元壓縮之資訊。使用圖6對資料間想起部3中之次元壓縮進行說明。所謂次元壓縮，係指於將特徵量40及想起結果50捕捉為包括構成要素(像素)之高次元資料(像素數之次元之資料)時，於將特徵量40映射(壓縮)為次元較特徵量40更低之次元壓縮資料70之後，再次映射(恢復)為想起結果50之次元之運算。
該次元壓縮具有如下性質：若特徵量40處於與次元壓縮資料70對應之高次元空間中之規定範圍，則於自特徵量40壓縮為次元壓縮資料70之過程中資訊幾乎不消失，想起結果50與特徵量40之差量變小。次元壓縮相反亦具有如下性質：於特徵量40自高次元空間中之規定範圍內脫離之情形時，於自特徵量40壓縮為次元壓縮資料70之過程中資訊消失，想起結果50與特徵量40之差量變大。該次元壓縮可藉由適用主成分分析或深層學習之自動編碼器等之一般性的演算法來實現。
圖7係說明資料間想起部3中之次元壓縮之另一形態之圖。如圖7所示，於次元壓縮中，於特徵量40與次元壓縮資料70之間或次元壓縮資料70與想起結果50之間亦可包含映射資料之中間資料71及72。於該情形時，以上所述之性質亦不變。
根據圖4列舉一例說明資料間想起部3之輸入(一個特徵量40)與輸出(一個想起結果50)之關係，但由於該次元壓縮使用想起用之學習模型m4來實現，故而其次對想起用之學習模型m4側進行說明。
想起用之學習模型m4為於次元壓縮中參照之負載係數或閾值等參數。於學習運算中，想起用之學習模型m4係自包括一個以上之特徵量40之學習樣本，以學習樣本內之特徵量40與該想起結果50之差量變小之方式求出。藉由該學習運算，即便將學習樣本內之特徵量40壓縮為低次元資料70亦幾乎不會極力消失資訊。(若學習樣本內之特徵量40之分佈之複雜度處於想起用之學習模型m4之容許範圍，則即便將學習樣本內之特徵量40壓縮為低次元資料70而資訊亦幾乎不會全部消失。) 其結果，於將與學習樣本類似之特徵量40提供至資料間想起部3時，即便壓縮為低次元資料70亦消失之資訊較小(或幾乎全無)，故而想起結果50與特徵量40之差量變小。另一方面，於將與學習樣本背離之特徵量40提供至資料間想起部3時，由於在壓縮為低次元資料70之過程中較多之資訊消失，故而想起結果50與特徵量40之差量變大。
圖8係表示收納特徵擷取用學習模型群M2及想起用學習模型群M4之資料庫DB中之資料儲存手法之圖。於特徵擷取用學習模型群M2及想起用學習模型群M4中，被儲存之2個以上之特徵擷取用之學習模型m2及想起用之學習模型m4如圖8所示被分配如a、b般之相同之記號20且例如於資料庫DB中管理。此處，記號20為串列編號等，亦可分配任意之記號。分配有同一之記號之特徵擷取用之學習模型m2及想起用之學習模型m4為自相同之學習樣本計算出之對。
使用圖9之流程對學習模型選擇部5之信號處理之概要進行說明。再者，於該流程中，處理步驟S1與處理步驟S6之組合係指針對每個學習模型將該等之間之處理重複執行。又，於該流程中，處理步驟S2與處理步驟S4之組合係指針對每個特徵量將該等之間之處理重複執行。
根據圖9之流程，首先，於特徵擷取用學習模型群M2中之特徵擷取用之學習模型m2之各者(處理步驟S1至處理步驟S6)，關於特徵量擷取部1所輸出之特徵量40之各者(處理步驟S2至處理步驟S4)，求出特徵量40與想起結果50之差量(處理步驟S3)。然後，根據自特徵量40之各者求出之處理步驟S3之差量，計算遍及複數個特徵量40之差量之統計量(處理步驟S5)。
於以上之重複處理對所有學習模型、及特徵量40執行之後，進入至處理步驟S7之處理。於處理步驟S7中，自複數個特徵擷取用之學習模型m2之中，求出處理步驟S5中所求出之差量之統計量之最小值。然後，於處理步驟S8中，選擇處理步驟S3之差量取處理步驟S7之最小值時之特徵擷取用之學習模型m2之記號20(參照圖8)。自處理步驟S8中所選擇之記號20，藉由參照資料庫DB可一意地特定特徵擷取用之學習模型m2及想起用之學習模型m4。
以下，使用圖10a、圖10b、圖11、圖12之例，對圖9之處理步驟S3之詳細情況進行說明。
首先，圖10a係表示收納於圖8之資料庫DB之特徵擷取用之學習模型m2a(左)及與其對應之想起用學習模型m4a(右)之具體構成事例。又，圖10b係表示收納於圖8之資料庫DB之特徵擷取用之學習模型m2b(左)及與其對應之想起用學習模型m4b(右)之具體構成事例。
再者，於進行處理步驟S3之處理時，儲存於圖8之資料庫DB之各種之資料預先以如下之方式準備。
首先，儲存於圖8之資料庫DB之特徵擷取用之學習模型m2a如圖10a所示，將輸入資料30a與訓練資料60a、及與輸入資料30a類似之輸入資料30與該訓練資料作為學習樣本學習。又，特徵擷取用之學習模型m2b如圖10b所示，將輸入資料30b與訓練資料60b、及與輸入資料30b類似之輸入資料30與訓練資料作為學習樣本學習。
進而，如圖10a、圖10b所示，於訓練資料60a及60b，分配有自輸入資料30a及30b之各像素理想地擷取特徵量40之情形時之輪廓線61a及61b、封閉區域62a及62b、背景63a及63b之類別。
此處，存在如下差異：於圖10a之訓練資料60a中於中央部64a中左右之封閉區域62a離開，另一方面，於圖10b之訓練資料60b於中中央部64b中左右之封閉區域62a連結。又，想起用之學習模型m4a係自與訓練資料60a、及輸入資料30a類似之圖像與該訓練資料事前學習。想起用之學習模型m4b係自與訓練資料60ab及輸入資料30b類似之圖像與該訓練資料學習。
以下，列舉將1片與輸入資料30a大致相同之圖像作為輸入樣本10提供之情形為例進行說明。圖11係表示特徵量擷取部1使用特徵擷取用之學習模型m2a、m2b輸出之特徵量40a、40b之例的圖。
此時，如圖11之左所示，於特徵量擷取部1使用特徵擷取用之學習模型m2a輸出之特徵量40a中，為了將與輸入樣本10類似之圖10a之輸入資料30a包含於學習樣本中，而於包含中央部44a之所有場所中正確地判別輪廓線41a、封閉區域42a、背景43a之類別。
另一方面，如圖11之右所示，於使用特徵擷取用之學習模型m2b輸出之特徵量40b，由於該學習樣本之輸入資料30b(參照圖10b)及與其類似之輸入資料30不與輸入樣本10類似，故而於特徵量40b中於輪廓線41b、封閉區域42b、背景43b之類別包含誤判別。又，該誤判別於輸入資料30a與輸入資料30b之間，集中於圖像之外觀之差異較大之中央部44b。
圖12係表示資料間想起部3參照想起用之學習模型m4a及m4b，自特徵量40a及40b輸出之想起結果50a及50b。
圖12左之想起結果50a由於在學習想起用之學習模型m4a時之學習樣本中包含與特徵量40a類似之訓練資料60a，故而於包含中央部54a在內之圖像整體中於特徵量40a與想起結果50a之間幾乎不產生差量。另一方面，圖12右之想起結果50b由於在學習想起用之學習模型m4b時之學習樣本中，如特徵量40b般不於中央部44b含有包含誤判別之特徵量40，故而於中央部54b於與特徵量40b之間出現較大之差量。
根據圖10a、圖10b、圖11、圖12之例，圖9之處理步驟S3中之處理中之差量導出係利用將特徵量40及想起結果50設為高次元向量時之向量間之距離來計算。
例如，利用將使特徵量40及想起結果50中之各像素之輪廓線41及51、封閉區域42及52、背景43及53依次設為第1、第2、第3要素之要素向量以僅特徵量40及想起結果50之像素數向量結合而成的特徵量向量(若像素數為N個則為3N次元)間之歐幾里得距離，可計算向量間之距離。但是，除了歐幾里得距離以外，若為可測量2個特徵量向量間之距離之尺度，則亦可利用任意之尺度計算向量間之距離。
再者，於次元壓縮中，輪廓線51、封閉區域52、背景53之資料之形態即便與輪廓線41、封閉區域42、背景43之資料之形態不同，若為可計算向量間之距離之尺度則不成為問題。例如，即便前者之資料之形態為連續值，後者之資料之形態為離散值，由於可計算歐幾里得距離，故而不成為問題。
返回至圖9，對處理步驟S5之具體處理內容進行說明。於處理步驟S5中，計算對於輸入樣本10中之輸入資料30各者求出之處理步驟S3之差量之統計量。
差量之統計量可利用複數個特徵量向量之距離之相加平均來計算。但是，並不限定於相加平均若為調和平均或中央值等能夠自複數個特徵量向量實現代表值者，則可適用任意之統計量。差量之統計量例如於輸入樣本10中之輸入資料30主要包括與輸入資料30a類似者之情形時，參照想起用之學習模型m4a求出之差量之統計量變小，另一方面，參照想起用之學習模型m4b求出之差量之統計量變大。
於圖9之處理步驟S7中，計算處理步驟S5之差量之統計量之最小值。於處理步驟S8中，輸出分配至處理步驟S5之差量之統計量取最小值時之特徵擷取用之學習模型m2的記號20。例如於輸入樣本10中之輸入資料30與輸入資料30a類似之情形時，將於圖8之資料庫中分配至想起用之學習模型m4a之記號a輸出。再者，學習模型選擇部5除了輸出記號20以外，亦可輸出記號20指定之特徵擷取用之學習模型m2之檔案之實際狀態或檔案名等、一意地規定特徵擷取用之學習模型m2之資訊。
圖13係表示學習模型選擇部5之畫面顯示之例之圖。學習模型選擇部5亦可使用如圖13之畫面80中之畫面顯示，進行實施例1之執行控制等之作業者可目視確認選擇結果。於選擇結果81表示有圖8之資料庫中之記號20中由學習模型選擇部5選擇者(圖中之例a)。亦可於畫面80中顯示如82般選擇之學習模型之差量之數值(處理步驟S5之差量之統計量)或如83般作為學習模型選擇之對象之記號20之選擇範圍，以便作業者可把握學習模型選擇之詳細情況。
於本發明之實施例1中，藉由求出利用以上所述之方法而特徵量擷取部1輸出之特徵量40與資料間想起部3輸出之想起結果50之差量，且利用差量成為最小之條件選擇記號20，能夠自特徵量擷取用學習模型群之中選擇相對於輸入樣本10最佳之特徵擷取用之學習模型m2。此時為了求出差量，與專利文獻1不同不需要正解值，且與專利文獻2不同不需要確定性因子。 實施例2
於實施例1中，以適當地構成學習模型為前提而構成圖像辨識裝置，但於實施例2中提出亦考慮不適當地構成學習模型之圖像辨識裝置。
將本發明之實施例2之圖像辨識裝置7之功能構成例表示於圖14。再者，圖14之圖像辨識裝置7與圖1之構成不同之方面在於，追加學習模型適當與否判定部106，以學習模型重新選擇部107之方式構成圖1之學習模型選擇部5。
於圖14中，首先，m2及m4為藉由實施例1而選擇之特徵擷取用之學習模型及想起用之學習模型。此處，將分配至該學習模型之記號設為x。
輸入樣本10為於輪廓擷取之長期運用時以規定之時序擷取之輸入資料30之少數之樣本。所謂長期運用時，係指於利用實施例1之方法選擇學習模型之後，以規定以上之期間繼續運用輪廓擷取之時序。
特徵量擷取部1參照特徵擷取用之學習模型m2自輸入樣本10中之輸入資料30擷取特徵量40。資料間想起部103參照想起用之學習模型m4，自特徵量擷取部1輸出之特徵量40輸出想起結果50。
於實施例2中追加之學習模型適當與否判定部106根據特徵量擷取部1及資料間想起部3輸出之特徵量40及想起結果50，以與圖9之處理步驟S5相同之順序計算差量之統計量。而且，若該差量之統計量大於事前規定之規定閾值，則對於對輸入樣本10進行取樣之長期運用時之輸入資料30，將記號x之學習模型判定為非適合。該判定之結果利用學習模型重新選擇部107(相當於圖1之學習模型選擇部5)輸出之畫面80之顯示等輸出。或者，亦可輸出至檔案，或經由網路而通知給外部之計算機。
亦可於學習模型適當與否判定部106之後段，進而設置學習模型重新選擇部107。學習模型重新選擇部107於學習模型適當與否判定部106判定為非適合時，將輸入樣本10輸入(將舊輸入樣本10置換為新輸入樣本10)，以實施例1之順序選擇特徵量擷取用之學習模型12。
於本發明之實施例1中，藉由以上所述之方法，可檢測於長期運用之過程中輸入資料30之性質變化，且利用實施例1之方法選擇之輪廓擷取用之學習模型12成為非適合。又，進而，亦能夠重新選擇對輸入樣本110最佳之輪廓擷取用之學習模型12。
再者，圖14所示之實施例2之構成係於圖1所示之實施例1之構成中，可於資料間想起部3與學習模型選擇部5之間設置學習模型適當與否判定部106者，可於圖像辨識裝置7中之作動當初不經由學習模型適當與否判定部106，根據其後之運轉經驗而使學習模型適當與否判定部106發揮功能，於學習模型選擇部5中進行重新選擇。 實施例3
於實施例3中，對以實際運用實施例1、實施例2中記載之圖像辨識裝置7為前提，簡便地取得於圖像辨識裝置7之設計、準備階段中需要之訓練資料，對學習模型進行學習之情況進行說明。因此，作為實施例3之學習結果之學習模型反映於實施例1、實施例2。
將本發明之實施例3之圖像辨識裝置之功能構成之一例表示於圖15。再者，圖15之圖像辨識裝置7與圖1之構成不同之方面在於，追加訓練資料製成支援部208與學習模型學習部209。
再者，此處，於圖15中未記述圖1中之學習模型選擇部5或圖14中之學習模型適當與否判定部106，但該等之功能僅無記述，於實際運用時以實施例1、實施例2之方式構成。
m2及m4為藉由實施例1選擇之特徵擷取用之學習模型及想起用之學習模型。輸入樣本10為任意之輸入資料30之集合，例如亦可為實施例1、2中所述之輸入樣本10。特徵量擷取部1參照特徵擷取用之學習模型m2自輸入樣本10中之輸入資料30擷取特徵量40。資料間想起部3參照想起用之學習模型m4，自特徵量擷取部201輸出之特徵量40輸出想起結果50。
實施例3中追加之訓練資料製成支援部208係包含以圖9之處理步驟S3之順序求出特徵量擷取部1及資料間想起部3輸出之特徵量40及想起結果50之差量，且於該差量較多之場所縮小輸入部位之附加訓練用之使用者介面而構成者。
圖16中之畫面90為訓練資料製成支援部208之使用者介面之一例，包括輸入畫面91、輸入選擇92、輸入筆93。於輸入畫面91中，使輸入資料30為底稿，作業者能夠進行分配輪廓線61、封閉區域62、背景63之類別之作業。輸入畫面91之標記之分配藉由作業者自輸入選擇92之射頻按鈕之中選擇輪廓線61、封閉區域62、背景63之類別，操作輸入筆93而進行。如此，於學習樣本製成支援部208中之使用者介面中，可具有使輸入資料為底稿描畫特徵量之類別，進而可輸入特徵量之類別之功能。
訓練資料製成支援部208於輸入畫面91中，判別處理步驟S3之差量較少之場所與較多之場所。該較少之場所與較多之場所係若將輸入畫面91中之輸入資料30少區域分割為區塊等時之處理步驟S3之差量之密度較閾值高則設為差量較多，若較低則設為較少。而且，將處理步驟S3之差量較少之場所之標記以與特徵量40相同之方式顯示。即，將特徵量40中之輪廓線41、封閉區域42、背景43依次分配至輸入畫面91中之輪廓線61、封閉區域62、背景63。而且，縮小為處理步驟S3之差量較多之區域，並催促作業者在輸入畫面91輸入。
例如，於輸入畫面91之底稿為輸入資料30a，特徵擷取用之學習模型m2及想起用之學習模型m4分別為m2b及m4b時，存在上述處理步驟S3之差量之場所成為(於自輸入資料30a擷取之特徵量40b與自特徵量40b擷取之想起結果50b之間差量較多之)中央部44b。
此處，訓練資料製成支援部208亦可藉由自(使特徵擷取用之學習模型m2及想起用之學習模型m4包括複數對特徵擷取用之學習模型m2及想起用之學習模型m4，)複數個特徵量40及想起結果50，產生畫面91中之類別(輪廓線61、封閉區域62、背景63)，而謀求上述畫面91中之類別之精度改善。例如，可根據複數個特徵量40及想起結果50之差量之最頻值等統計量求出存在上述處理步驟S3之差量之場所，產生畫面91中之類別。或者，亦可藉由於畫面90上未圖示之按鈕之操作，自複數個特徵量40及想起結果50之中，由作業者切換對使用於畫面91中之類別之產生適當者。如此，可進行學習樣本製成支援部208使用複數個特徵量與想起結果求出輸入部位，或者切換輸入部位之至少一者。
又，藉由實施例3追加之學習模型學習部209將輸入樣本10中之輸入資料30及畫面90之輸入結果使用以訓練資料為組之學習樣本，學習特徵擷取用之學習模型m2。於學習模型學習部209之學習中，以參照學習模型時之特徵量40之推論結果優異之方式，除了上述學習樣本以外亦可添加任意之學習樣本。
於學習模型學習部209中之學習中，亦可設置於實施例2中所述之長期運用時之學習模型之重新選擇，除了特徵擷取用之學習模型m2還學習想起用之學習模型m4，分配新的記號20後追加至圖8之資料庫DB。
如此一來，學習模型學習部進而學習上述想起用之學習模型，將學習模型學習部學習之特徵量之學習模型追加至特徵擷取用學習模型群，將學習模型學習部學習之想起用之學習模型追加至特徵擷取用學習模型群。
於本發明之實施例3中，藉由以上所述之方法，可使用藉由訓練資料製成支援部208而縮小作業者輸入之部位之訓練資料來學習對於對輸入樣本10進行取樣之母集團最佳之特徵擷取用之學習模型m2。藉由縮小該作業者輸入之部位，而與對輸入樣本10中之輸入資料30之所有像素分配訓練資料相比，可減少訓練資料之製成之步驟數。 實施例4
於實施例4中，對簡便地取得最佳之學習模型進行說明。
將本發明之實施例4之圖像辨識裝置7A之功能構成之一例表示於圖17。圖17之構成係於圖1之構成中將資料間想起部3之構成除外者，但關於特徵擷取用學習模型群M2、特徵量擷取部1、學習模型選擇部5，由於一部分其處理資料、內部構成或處理內容等不同，故而將該等分別於圖17中表述為特徵擷取用學習模型群M2A、特徵量擷取部1A、學習模型選擇部5A。
首先，特徵擷取用學習模型群M2A為於特徵擷取用之學習模型m2之中亦尤其於擷取特徵量40時能夠輸出每個類別之得分之種類之特徵擷取用之學習模型m2A的集合。
特徵量擷取部1A參照特徵擷取用學習模型群M2A中之特徵擷取用之學習模型m2A各者，自輸入樣本10中之輸入資料30各者輸出特徵量40及上述得分。
學習模型選擇部5A根據上述得分計算於複數種特徵擷取用之學習模型m2A間能夠比較類別之判別結果之可靠係數之共通尺度，以該共通尺度最小為條件選擇最佳之特徵擷取用之學習模型m2A。
圖18係表示圖17之學習模型選擇部5A之信號處理流程之圖。再者，於該流程中，處理步驟S301與處理步驟S306之組合係指針對每個學習模型將該等之間之處理重複執行。又，於該流程中，處理步驟S302與處理步驟S304之組合係指針對每個輸入資料30將該等之間之處理重複執行。
根據圖18之流程，首先，於特徵擷取用學習模型群M2A中之特徵擷取用之學習模型m2A各者中(處理步驟S301至處理步驟S306)，關於輸入樣本10中之輸入資料30各者(處理步驟S302至處理步驟S304)，於處理步驟S303中根據得分計算共通尺度。
然後，根據自輸入資料30各者求出之處理步驟S303之共通尺度，於處理步驟S305中根據各輸入資料30中之各像素中之共通尺度之平均值或中央值等計算共通尺度之統計量。
於將以上之重複處理對所有學習模型、及輸入資料30執行之後，進入至處理步驟S307之處理。於處理步驟S307中，求出於處理步驟S305中求出之共通尺度之統計量之最大值。然後，於處理步驟S308中，選擇共通尺度取最大值時之特徵擷取用之學習模型m2A之記號20。
圖19表示圖18之處理步驟S303之共通尺度之例。圖表311及圖表312表示根據種類不同之特徵量擷取用之學習模型m2A求出之每個類別之得分。所謂上述種類，係指特徵量擷取用之學習模型m2A中之機械學習之數理模型或深層學習之網路構造等不同。所謂圖表311及圖表312中之類別，係指分配至構成特徵量40之輪廓線41、封閉區域42、背景43之標記。若觀察圖表311及圖表312中之2個上述得分，則圖表312中之值較圖表311之值更大，但由於上述種類不同故而尺度不同，故而無法比較大小。
此處，一般而言，特徵量擷取用之學習模型m2A將上述得分判別為最大之類別。此時，上述得分之最大值與其他值越具有差，則類別之判別越可靠。例如，圖表312之上述得分係類別3為最高者，但是類別1與類別2之上述得分之差較小。因此，認為根據圖表312判別為類別3稍微干擾且若具有上述得分之變動則類別之判別結果改變之可靠係數較低。相反，圖表312之上述得分係值最大之類別3與其他類別1、2之間存在較大之差。因此，認為根據圖表311判別為類別3即便為稍微之干擾而類別之判別結果亦不變之可靠係數較高。
因此，於處理步驟S303中，將上述得分之不均設為共通尺度。所謂上述不均，係指表示上述得分之標準偏差或熵等偏差程度之統計量，表示越取較大之值則如圖表311般類別間之上述得分越具有差。或者，於處理步驟S303中，亦可將上述得分之突出度設為共通尺度。所謂上述突出度，係指表示上述得分之最大值與其他上述得分相比突出何種程度而較大之指標，例如可利用圖表311中之上述得分之最大值與上述得分之平均值之差或上述得分之最大值與上述得分之第2大之值的差來計算。
使用圖20，對處理步驟S303中之共通尺度之其他例進行敍述。圖表321中之確定性因子1係圖表311中之上述得分之最大值。如此將上述得分之最大值設為確定性因子於使用機械學習之類別判別之演算法中較為一般。圖表322中之確定性因子2為圖表321中之上述得分之最大值。所謂圖表321及圖表322中之正解率，係指於將確定性因子1及確定性因子2取規定值時之類別之判別結果設為母集團時，成為表示以哪種機率為正解之正解率之期待值之指標。再者，於上述母集團，可適用學習特徵擷取用之學習模型12時之學習樣本，但並不限定於此，可適用任意之輸入資料30與其訓練資料之組。
於圖18之處理步驟S303中，將上述正解率設為共通尺度。例如，於根據圖表311及圖表312計算之確定性因子為k1及k2時，圖表321中及圖表322中之正解率為y1及y2，y1高於y2，故而認為根據圖表311求出之類別之判別結果之正解率較高，故而可靠係數較高。因此，於處理步驟S303中，可將如確定性因子1或確定性因子2般之確定性因子藉由換算為正解率而設為共通指標。
於圖18之處理步驟S303中，於複數種特徵擷取用之學習模型m2A中，於上述不均或上述突出度之大小大幅度不同之情形時，亦可以與圖20之說明中所述之順序相同之順序換算為正解率之後，設為共通尺度。或者，亦可為了於複數種特徵擷取用之學習模型m2A間抑制大小之不均，而求出上述母集團中之上述不均或上述突出度之平均值等統計量，利用該統計量進行除算而標準化。
於本發明之實施例4中，若藉由以上所述之方法，而限定為於特徵擷取用之學習模型m2A中於擷取特徵量40時能夠輸出上述得分之種類者，則能夠自複數個特徵擷取用之學習模型m2A之中選擇對輸入樣本10最佳者。又，與專利文獻2不同，即便為特徵擷取用學習模型群M2A中之特徵擷取用之學習模型m2A之確定性因子分別不同之指標，亦能夠選擇特徵擷取用之學習模型m2A。
圖21係表示實施例4之變化實施例1之圖像辨識裝置7A之功能構成例。圖21之圖像辨識裝置7A之上部分採用圖17之構成，下半部分係將圖14之一部分構成組合而成者。
於本發明之實施例4之變化實施例1中，如圖21所示，與實施例2相同地亦可於長期運用時，設置使用自構成輸入樣本110之輸入資料30以與處理步驟S305相同之順序求出之共通尺度之統計量，判定對輸入樣本10而學習模型選擇部5A選擇之特徵擷取用之學習模型m2之適當與否之學習模型適當與否判定部306。學習模型適當與否判定部306若以與上述處理步驟S305相同之順序求出之共通尺度之統計量小於事前規定之閾值，則判定為可靠係數較低而不適合。進而，於判斷為學習模型適當與否判定部306不適合之情形時，亦可設置將對輸入樣本10適當之特徵擷取用之學習模型m2自特徵擷取用學習模型群M2之中選擇的學習模型重新選擇部307(內包特徵量擷取部301與學習模型選擇部306之功能)。
圖22係表示實施例4之變化實施例2之圖像辨識裝置7A之功能構成例。圖22之圖像辨識裝置7A之上部分採用圖17之構成，下半部分係將圖15之一部分構成組合而成者。
於本發明之實施例4之變化實施例2之圖像辨識裝置7A中，亦可具備訓練資料製成支援部308及學習模型學習部309，該訓練資料製成支援部308自輸入樣本10中求出圖18之處理步驟S305之共通尺度，且具備將訓練資料製成支援部208中之訓練資料之輸入部位縮小為上述處理步驟S305之共通尺度較小之部位(特徵量40之類別判別之可靠係數較低之部位)的使用者介面，該學習模型學習部309使用訓練資料製成支援部308中製成之訓練資料學習特徵量擷取用之學習模型m2。
藉此，與實施例3相同地，可使用將作業者輸入之部位縮小之訓練資料學習對於對輸入樣本210進行取樣之母集團最佳之特徵擷取用之學習模型m2。又，學習模型學習部309亦可將所學習之特徵量擷取用之學習模型m2以可利用學習模型重新選擇部307選擇之方式增加至特徵擷取用學習模型群M2。
於以上所述之本發明之實施例1至實施例4中，能夠於不脫離其本質之範圍內將構成要素以如下之方式變更。
構成特徵量40之類別不限定於輪廓線41、封閉區域42、背景43以外。例如，亦可增加輪廓線之角點等類別。又，亦可自輪廓線41、封閉區域42、背景43之中省略類別。據此，想起結果50或60a等訓練資料之類別之構成要素亦變化。
特徵量40除了以上所述之輪廓線以外，亦可設為可自輸入資料30(即圖像)擷取之任意之特徵量。例如，亦可將輸入資料30之設計圖或輸入資料30中之缺陷設為特徵量40。據此，想起結果50或60a等構成訓練資料之類別亦變化。上述任意之特徵量只要為能夠取得想起結果50者，則並不限定為各像素之類別。例如，上述任意之特徵量可設為各像素之亮度。
特徵量擷取部1除了使用以上所述之機械學習擷取特徵量40之手法以外，亦可為根據輸入樣本10而合適之參數不同之圖像處理。於該情形時，特徵擷取用之學習模型m2成為上述參數。上述圖像處理例如亦可為於輸入資料30中之各像素中求出亮度梯度與亮度，與上述參數中之規定之閾值進行比較，將輸入資料30中之各像素類別判別為輪廓線41與背景43。或者，特徵量擷取部1亦可使機械學習與上述圖像處理混合存在。於該情形時，特徵量擷取部1亦可根據特徵擷取用學習模型群M2中之特徵擷取用之學習模型m2，切換機械學習與上述圖像處理。
輸入資料30除了以上所述之圖像以外，亦可於實施例1至實施例3中設為資料間想起部3能夠輸出伴隨次元壓縮之想起結果之任意之資料。據此，想起結果50或60a等構成訓練資料之類別亦變化。例如，亦可將輸入資料30設為發聲聲音，將特徵量40設為字母。 [產業上之可利用性]
本發明之學習模型選擇除了可適用於輪廓線擷取用之學習模型之選擇以外，還可適用於使用自特徵量處理能夠實現伴隨次元壓縮之想起之特徵量之任意之機械學習的整個系統。
1:特徵量擷取部 1A:特徵量擷取部 2:特徵擷取用學習模型群 3:資料間想起部 4:想起用學習模型群 5:學習模型選擇部 5A:學習模型選擇部 7:計算機裝置 7A:圖像辨識裝置 10:輸入樣本 20:記號 30:輸入資料 30a:輸入資料 30b:輸入資料 40:特徵量 40a:特徵量 40b:特徵量 41:輪廓線 41a:輪廓線 41b:輪廓線 42:封閉區域 42a:封閉區域 42b:封閉區域 43:背景 43a:背景 43b:背景 44a:中央部 44b:中央部 50:想起結果 50a:想起結果 50b:想起結果 54a:中央部 54b:中央部 60a:訓練資料 60b:訓練資料 61:輪廓線 61a:輪廓線 61b:輪廓線 62:封閉區域 62a:封閉區域 62b:封閉區域 63:背景 63a:背景 63b:背景 70:次元壓縮資料 71:中間資料 72:中間資料 80:畫面 81:選擇結果 82:差量 83:選擇範圍 90:畫面 91:輸入畫面 92:輸入選擇 93:輸入筆 106:學習模型適當與否判定部 107:學習模型重新選擇部 208:訓練資料製成支援部 209:學習模型學習部 306:學習模型適當與否判定部 307:學習模型重新選擇部 311:圖表 312:圖表 321:圖表 322:圖表 m2:特徵擷取用之學習模型 m2a:特徵擷取用之學習模型 m2b:特徵擷取用之學習模型 m4:想起用之學習模型 m4a:想起用學習模型 m4b:想起用學習模型 M2:特徵擷取用學習模型群 M2A:特徵擷取用學習模型群 M4:想起用學習模型群
圖1係表示本發明之實施例1之圖像辨識裝置之功能構成之一例的圖。 圖2係說明特徵量擷取部1之輸入輸出之圖。 圖3係表示典型性的一個輸入資料30與相對於一個輸入資料30使用語義分割求出之一個特徵量40之例的圖。 圖4係說明資料間想起部3之輸入輸出之圖。 圖5係表示典型性的一個特徵量40與一個想起結果50之例之圖。 圖6係說明資料間想起部3中之次元壓縮之圖。 圖7係資料間想起部3中之次元壓縮之另一形態。 圖8係表示收納特徵擷取用學習模型群M2及想起用學習模型群M4之資料庫中之資料儲存手法之圖。 圖9係表示學習模型選擇部5之信號處理流程之圖。 圖10a係表示收納於圖8之資料庫DB之特徵擷取用之學習模型m2a(左)及與其對應之想起用學習模型m4a(右)之具體構成事例之圖。 圖10b係表示收納於圖8之資料庫DB之特徵擷取用之學習模型m2b(左)及與其對應之想起用學習模型m4b(右)之具體構成事例之圖。 圖11係表示特徵量擷取部1使用特徵擷取用之學習模型m2a、m2b輸出之特徵量40a、40b之例的圖。 圖12係表示資料間想起部3參照想起用之學習模型m4a及m4b自特徵量40a及40b輸出之想起結果50a及50b之圖。 圖13係表示學習模型選擇部之畫面顯示之例之圖。 圖14係表示本發明之實施例2之圖像辨識裝置之功能構成之一例的圖。 圖15係表示本發明之實施例3之圖像辨識裝置之功能構成之一例的圖。 圖16係表示訓練資料製成支援部208中之顯示畫面例之圖。 圖17係表示本發明之實施例4之圖像辨識裝置之功能構成之一例的圖。 圖18係表示圖17之學習模型選擇部5A之信號處理流程之圖。 圖19係說明處理步驟S303中之共通尺度之求出方法之例的圖。 圖20係說明處理步驟S303中之共通尺度之求出方法之另一例的圖。 圖21係表示實施例4之變化實施例1之圖像辨識裝置7A之功能構成例的圖。 圖22係表示實施例4之變化實施例2之圖像辨識裝置7A之功能構成例的圖。
1:特徵量擷取部
3:資料間想起部
5:學習模型選擇部
7:計算機裝置
10:輸入樣本
30:輸入資料
40:特徵量
m2:特徵擷取用之學習模型
m4:想起用之學習模型
M2:特徵擷取用學習模型群
M4:想起用學習模型群

Claims (26)

  1. 一種圖像辨識裝置，其特徵在於具備：特徵擷取用學習模型群，其儲存複數個特徵擷取用之學習模型；想起用學習模型群，其儲存與上述特徵擷取用之學習模型成對之想起用之學習模型；特徵量擷取部，其參照上述特徵擷取用之學習模型自輸入資料擷取特徵量；資料間想起部，其參照上述想起用之學習模型輸出伴隨上述特徵量之次元壓縮之想起結果；及學習模型選擇部，其以上述特徵量與上述想起結果之差量最小為條件自特徵擷取用學習模型群之中選擇上述特徵擷取用之學習模型。
  2. 如請求項1之圖像辨識裝置，其具備學習模型適當與否判定部，該學習模型適當與否判定部判定對於根據上述特徵量與上述想起結果之差量對上述輸入資料之樣本進行取樣之母集團選擇之上述特徵擷取用的學習模型是否適合。
  3. 如請求項2之圖像辨識裝置，其中於上述學習模型適當與否判定部判定為不適合之情形時，使用上述輸入資料之樣本重新選擇上述特徵擷取用之學習模型。
  4. 如請求項1之圖像辨識裝置，其具備：訓練資料製成支援部，其於上述輸入資料之樣本中上述特徵量與上述想起結果之差量較多之處設置縮小輸入部位之附加訓練之使用者介面；及學習模型學習部，其使用訓練資料製成支援部中製成之訓練資料學 習上述特徵擷取用之學習模型。
  5. 如請求項4之圖像辨識裝置，其中於上述訓練資料製成支援部中之上述使用者介面中，具有使上述輸入資料為底稿而描畫上述特徵量之類別，進而可輸入上述特徵量之類別之功能。
  6. 如請求項4之圖像辨識裝置，其中上述訓練資料製成支援部進行使用複數個上述特徵量與上述想起結果求出上述輸入部位，或切換上述輸入部位之至少一者。
  7. 如請求項4之圖像辨識裝置，其中上述學習模型學習部進而學習上述想起用之學習模型，將上述學習模型學習部所學習之上述特徵量之學習模型追加至上述特徵擷取用學習模型群，將上述學習模型學習部所學習之上述想起用之學習模型追加至特徵擷取用學習模型群。
  8. 如請求項1至7中任一項之圖像辨識裝置，其中上述特徵量為上述輸入資料中之要素之類別。
  9. 如請求項1至7中任一項之圖像辨識裝置，其中上述輸入資料為圖像，上述特徵量為輪廓線或設計圖。
  10. 如請求項1至7中任一項之圖像辨識裝置，其中上述次元壓縮使用主成分分析或自動編碼器來進行。
  11. 如請求項1至7中任一項之圖像辨識裝置，其中於上述特徵量擷取部之中包含一個以上之使用機械學習以外之手法之特徵量擷取部。
  12. 如請求項1至7中任一項之圖像辨識裝置，其中上述學習模型選擇部將上述特徵擷取用之學習模型之選擇結果、上述差量、上述特徵擷取用之學習模型之選擇之範圍中一個以上進行畫面顯示。
  13. 一種圖像辨識裝置，其特徵在於具備：特徵量擷取部，其參照特徵擷取用之學習模型自輸入資料擷取特徵量；及特徵擷取用學習模型群，其儲存複數個上述特徵擷取用之學習模型；且上述特徵量擷取部具有將上述特徵量之類別判別之得分針對上述特徵量之每個上述類別予以輸出的功能；且上述圖像辨識裝置更具備：學習模型選擇部，其根據上述特徵量擷取部自上述得分來計算能夠於複數種學習模型間進行比較之共通尺度，自上述特徵擷取用學習模型群之中使用上述共通尺度選擇上述特徵擷取用之學習模型。
  14. 如請求項13之圖像辨識裝置，其具備學習模型適當與否判定部，該學習模型適當與否判定部判定根據上述共通尺度選擇之上述特徵擷取用之學習模型是否適合。
  15. 如請求項14之圖像辨識裝置，其具備學習模型重新選擇部，該學習模型重新選擇部於上述學習模型適當與否判定部判定為不適合之情形時，使用上述輸入資料之樣本重新選擇上述特徵擷取用之學習模型。
  16. 如請求項13之圖像辨識裝置，其具備：訓練資料製成支援部，其於輸入資料之樣本中上述共通尺度較小之處設置縮小輸入部位之附加訓練之使用者介面；及學習模型學習部，其使用訓練資料製成支援部中製成之訓練資料學習上述特徵擷取用之學習模型。
  17. 如請求項16之圖像辨識裝置，其中上述訓練資料製成支援部中之上述使用者介面具有使上述輸入資料為底稿而描畫上述特徵量之類別，且可輸入上述特徵量之類別之功能。
  18. 如請求項16之圖像辨識裝置，其中將上述學習模型學習部所學習之上述特徵量之學習模型追加至特徵擷取用學習模型群。
  19. 如請求項13至18中任一項之圖像辨識裝置，其中上述特徵量為上述輸入資料中之要素之類別。
  20. 如請求項13至18中任一項之圖像辨識裝置，其中上述輸入資料為圖像，上述特徵量為輪廓線或設計圖。
  21. 如請求項13至18中任一項之圖像辨識裝置，其中上述共通尺度為表示上述得分之偏差程度之統計量或表示上述得分之突出程度的統計量。
  22. 如請求項13至18中任一項之圖像辨識裝置，其中上述共通尺度為根據上述得分換算之正解率。
  23. 如請求項13至18中任一項之圖像辨識裝置，其中於上述特徵量擷取部之中包含一個以上之使用機械學習以外之手法之特徵量擷取部。
  24. 如請求項13至18中任一項之圖像辨識裝置，其中上述學習模型選擇部將上述特徵擷取用之學習模型之選擇結果、差量、上述特徵擷取用之學習模型之選擇之範圍中一個以上進行畫面顯示。
  25. 一種圖像辨識方法，其特徵在於：具備複數個特徵擷取用之學習模型及與上述特徵擷取用之學習模型成對之複數個想起用之學習模型，參照上 述特徵擷取用之學習模型自輸入資料擷取特徵量，參照上述想起用之學習模型獲得伴隨上述特徵量之次元壓縮之想起結果，以上述特徵量與上述想起結果之差量最小為條件自特徵擷取用學習模型群之中選擇上述特徵擷取用之學習模型。
  26. 一種圖像辨識方法，其特徵在於具備：特徵量擷取步驟，其參照特徵擷取用之學習模型自輸入資料擷取特徵量；具備複數個上述特徵擷取用之學習模型；且上述特徵量擷取步驟具有將上述特徵量之類別判別之得分針對上述特徵量之每個上述類別予以輸出的步驟；且上述圖像辨識方法更具備：學習模型選擇步驟，其根據上述得分來計算能夠於複數種學習模型間進行比較之共通尺度，自複數個上述特徵擷取用之學習模型之中使用上述共通尺度選擇上述特徵擷取用之學習模型。
TW108139465A 2018-12-21 2019-10-31 圖像辨識裝置及方法 TWI731459B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/JP2018/047224 2018-12-21
PCT/JP2018/047224 WO2020129235A1 (ja) 2018-12-21 2018-12-21 画像認識装置及び方法

Publications (2)

Publication Number Publication Date
TW202029013A TW202029013A (zh) 2020-08-01
TWI731459B true TWI731459B (zh) 2021-06-21

Family

ID=71102706

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108139465A TWI731459B (zh) 2018-12-21 2019-10-31 圖像辨識裝置及方法

Country Status (4)

Country Link
US (1) US12014530B2 (zh)
KR (1) KR102654003B1 (zh)
TW (1) TWI731459B (zh)
WO (1) WO2020129235A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7151501B2 (ja) * 2019-01-18 2022-10-12 富士通株式会社 Ｄｎｎ選択プログラム、ｄｎｎ選択方法および情報処理装置
CN113366389A (zh) * 2019-01-29 2021-09-07 Asml荷兰有限公司 用于控制光刻工艺的方法及设备
TWI732370B (zh) * 2019-12-04 2021-07-01 財團法人工業技術研究院 神經網路模型的訓練裝置和訓練方法
CN116342923A (zh) * 2022-12-16 2023-06-27 环旭电子股份有限公司 影像识别深度学习模型的训练方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012068965A (ja) * 2010-09-24 2012-04-05 Denso Corp 画像認識装置
US20140370480A1 (en) * 2013-06-17 2014-12-18 Fuji Xerox Co., Ltd. Storage medium, apparatus, and method for information processing
TWI584206B (zh) * 2015-06-03 2017-05-21 Mitsubishi Electric Corp Inference Device and Inference Method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3743247B2 (ja) 2000-02-22 2006-02-08 富士電機システムズ株式会社 ニューラルネットワークによる予測装置
JP4478290B2 (ja) 2000-05-29 2010-06-09 マスプロ電工株式会社 波形補正回路
JP6639123B2 (ja) * 2015-07-06 2020-02-05 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US10217236B2 (en) * 2016-04-08 2019-02-26 Orbital Insight, Inc. Remote determination of containers in geographical region
JP6701979B2 (ja) * 2016-06-01 2020-05-27 富士通株式会社 学習モデル差分提供プログラム、学習モデル差分提供方法、および学習モデル差分提供システム
JP6824125B2 (ja) * 2017-07-28 2021-02-03 株式会社日立製作所 医用撮像装置及び画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012068965A (ja) * 2010-09-24 2012-04-05 Denso Corp 画像認識装置
US20140370480A1 (en) * 2013-06-17 2014-12-18 Fuji Xerox Co., Ltd. Storage medium, apparatus, and method for information processing
TWI584206B (zh) * 2015-06-03 2017-05-21 Mitsubishi Electric Corp Inference Device and Inference Method

Also Published As

Publication number Publication date
WO2020129235A1 (ja) 2020-06-25
US12014530B2 (en) 2024-06-18
US20210374403A1 (en) 2021-12-02
KR102654003B1 (ko) 2024-04-04
KR20210082222A (ko) 2021-07-02
TW202029013A (zh) 2020-08-01

Similar Documents

Publication Publication Date Title
TWI731459B (zh) 圖像辨識裝置及方法
EP4060607A1 (en) Information processing device, information processing method, and program
JP2020522077A (ja) 画像特徴の取得
CN106846316A (zh) 一种gis内部典型缺陷图像自动识别方法
JPWO2019026104A1 (ja) 情報処理装置、情報処理プログラム及び情報処理方法
CN113516650B (zh) 基于深度学习的电路板塞孔缺陷检测方法及装置
JP2015087903A (ja) 情報処理装置及び情報処理方法
CN107004265A (zh) 信息处理装置、处理信息的方法、鉴别器生成装置、生成鉴别器的方法、以及程序
CN108334805A (zh) 检测文档阅读顺序的方法和装置
CN105701450B (zh) K线形态识别方法及装置
CN105913067A (zh) 图像轮廓特征的提取方法及其装置
Shang et al. Support vector machine-based classification of rock texture images aided by efficient feature selection
CN111275126A (zh) 样本数据集生成方法、装置、设备及存储介质
CN111461010B (zh) 一种基于模板跟踪的电力设备识别效率优化方法
CN114255212A (zh) 一种基于cnn的fpc表面缺陷检测方法及其系统
CN111414930A (zh) 深度学习模型训练方法及装置、电子设备及存储介质
CN111767273B (zh) 基于改进som算法的数据智能检测方法及装置
CN115362445A (zh) 数据分类装置、数据分类方法以及数据分类程序
CN112784494A (zh) 假阳性识别模型的训练方法、目标识别方法及装置
CN114080644A (zh) 用于诊断小肠清洁度的系统和方法
JP2004192555A (ja) 情報管理方法、情報管理装置及び情報管理プログラム
JP2011113360A (ja) 物体識別装置
CN114638809A (zh) 基于pa-mlfpn工件表面多尺度微小缺陷检测方法
CN115345848A (zh) 一种基于大数据的显示屏的质检方法
CN117115172B (zh) 一种基于机器视觉的阿胶品质检测方法及系统