TWI832958B - 影像辨識系統及影像辨識方法 - Google Patents

影像辨識系統及影像辨識方法 Download PDF

Info

Publication number
TWI832958B
TWI832958B TW109101886A TW109101886A TWI832958B TW I832958 B TWI832958 B TW I832958B TW 109101886 A TW109101886 A TW 109101886A TW 109101886 A TW109101886 A TW 109101886A TW I832958 B TWI832958 B TW I832958B
Authority
TW
Taiwan
Prior art keywords
model
inspection device
image data
identification
image
Prior art date
Application number
TW109101886A
Other languages
English (en)
Other versions
TW202101625A (zh
Inventor
渡邊真二郎
Original Assignee
日商東京威力科創股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商東京威力科創股份有限公司 filed Critical 日商東京威力科創股份有限公司
Publication of TW202101625A publication Critical patent/TW202101625A/zh
Application granted granted Critical
Publication of TWI832958B publication Critical patent/TWI832958B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/28—Testing of electronic circuits, e.g. by signal tracer
    • G01R31/2851—Testing of integrated circuits [IC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Analysis (AREA)

Abstract

提供一種在工廠內之檢查裝置中，可於無法正確進行辨識對象之影像辨識的情況，能在短期間辨識出辨識對象的影像辨識系統及影像辨識方法。
具有：影像數據收集部，係從設置在工廠內之複數個檢查裝置來收集包含辨識對象之影像數據；學習實行部，係針對會辨識出辨識對象之特徵部的第1模型，藉由影像收集部所收集之影像數據來實行追加之機械學習；模型更新部，係基於機械學習之結果，來將第1模型更新為第2模型；第1傳送部，係在設置於工廠內之檢查裝置中，將第2模型傳送至特定檢查裝置；辨識結果判斷部，係接收使用第2模型來進行辨識對象之辨識後的辨識結果並加以判斷；以及第2傳送部，係藉由判斷結果，來將第2模型朝檢查裝置傳送。

Description

影像辨識系統及影像辨識方法
本揭露係關於一種影像辨識系統及影像辨識方法。
在半導體元件之製造程序中，於半導體晶圓(以下僅記為晶圓)中之全部程序結束的階段，會進行形成在晶圓W之複數個半導體元件(以下僅記為元件)的電性檢查。在進行此般電性檢查的裝置中，一般而言係配置會與吸附保持晶圓之台座對向，並具有會接觸於晶圓所形成的半導體元件之複數個探針的探針卡。然後，藉由讓台座上之晶圓朝探針卡按壓，來讓探針卡之各探針與元件的電極接點接觸以進行電氣特性的檢查。
此般檢查裝置中，為了確認探針已碰觸到元件之電極接點，便會使用一種以照相機來拍攝電極接點，而從該影像來辨識針跡的影像辨識技術(例如專利文獻1)。
[先前技術文獻]
[專利文獻]
專利文獻1：日本特開2005-45194號公報
本揭露係提供一種在工廠內之檢查裝置中，於無法正確進行辨識對象之影像辨識的情況，可在短期間不將資訊帶出工廠外便能辨識辨識對象的影像辨識系統及影像辨識方法。
本揭露一態樣相關的影像辨識系統，具有：影像數據收集部，係從設置在工廠內之複數個檢查裝置來收集包含辨識對象之影像數據；學習實行部，係針對在事前之機械學習所得到的會辨識出該辨識對象之特徵部的第1模型，藉由該影像收集部所收集之影像數據來實行追加之機械學習；模型更新部，係基於該學習實行部所致的該機械學習之結果，來將會辨識出該辨識對象的該特徵部之模型從該第1模型更新為第2模型；第1傳送部，係將該第2模型傳送至設置於該工廠內之該複數個檢查裝置中的特定檢查裝置；辨識結果判斷部，係接收在該特定檢查裝置中使用該第2模型來進行該辨識對象之辨識後的辨識結果並加以判斷；以及第2傳送部，係藉由該辨識結果判斷部所致之判斷結果，來將該第2模型朝檢查裝置傳送。
根據本揭露，便提供一種在工廠內之檢查裝置中，於無法正確進行針跡等的辨識對象之影像辨識的情況，可在短期間便能辨識辨識對象的影像辨識系統及影像辨識方法。
10:影像數據收集部
20:學習實行部
30:模型更新部
40:第1傳送部
50:辨識結果判斷部
60:第2傳送部
100、100’、101、101’、102、103:影像辨識系統
200:第1檢查裝置
300:第2檢查裝置
400、401:檢查系統
圖1係將具備有第1實施形態相關之影像辨識系統一範例的檢查系統概略顯示的方塊圖。
圖2係顯示圖1的檢查系統中之第1檢查裝置的概略構成圖。
圖3係顯示在第1檢查裝置中，以第1照相機來拍攝形成在晶圓的被檢查元件之模樣的概略圖。
圖4係顯示在第1檢查裝置中，以第2照相機來拍攝探針卡之模樣的概略圖。
圖5係用以說明第1實施形態之影像辨識系統100的影像辨識方法之流程圖。
圖6A係顯示影像辨識之辨識對象為探針之針跡的情況之影像的範例之圖式。
圖6B係顯示影像辨識之辨識對象為探針之針跡的情況之影像的範例之圖式。
圖6B係顯示影像辨識之辨識對象為探針之針跡的情況之影像的範例之圖式。
圖7A係顯示影像辨識之辨識對象為探針之針尖的情況之影像的範例之圖式。
圖7B係顯示影像辨識之辨識對象為探針之針尖的情況之影像的範例之圖式。
圖7C係顯示影像辨識之辨識對象為探針之針尖的情況之影像的範例之圖式。
圖7D係顯示影像辨識之辨識對象為探針之針尖的情況之影像的範例之圖式。
圖7E係顯示影像辨識之辨識對象為探針之針尖的情況之影像的範例之圖式。
圖7F係顯示影像辨識之辨識對象為探針之針尖的情況之影像的範例之圖式。
圖7G係顯示影像辨識之辨識對象為探針之針尖的情況之影像的範例之圖式。
圖8係顯示第1實施形態相關之影像辨識系統的其他例之方塊圖。
圖9係將具備有第2實施形態相關之影像辨識系統一範例的檢查系統概略顯示的方塊圖。
圖10係用以說明第2實施形態之影像辨識系統的影像辨識方法之流程圖。
圖11係顯示第2實施形態相關之影像辨識系統的其他例之方塊圖。
圖12係顯示第3實施形態相關之影像辨識系統一範例的方塊圖。
圖13係顯示第3實施形態相關之影像辨識系統的其他例之方塊圖。
以下，便參照添附圖式，就本發明之實施形態來加以說明。
<第1實施形態>
首先，就第1實施形態來加以說明。
圖1係將具備有第1實施形態相關之影像辨識系統一範例的檢查系統概略顯示的方塊圖。
檢查系統400係具備：複數個第1檢查裝置200，係設置於工廠內；以及影像辨識系統100，係用以提高包含第1檢查裝置200之辨識對象的影像數據中之辨識對象的辨識等級。
第1檢查裝置200如圖2所示，具備：台座201，係吸附保持晶圓W；探針卡202，係具有複數個探針203；測試器204；第1照相機205、第2照相機206；以及控制部207。
台座201可藉由對位器(未圖示)來進行平面方向及上下方向的對位，再藉由讓探針203接觸於複數形成於晶圓W之被檢查元件的電極接點，來進行利用測試器204之電性檢查。另外，第1檢查裝置200亦可藉由掃描晶圓W，來相對性地讓探針203一邊掃描晶圓W，一邊進行檢查，或是可對形成在晶圓W的複數個被檢查元件來總括地讓複數個探針接觸，以進行檢查。又，第1檢查裝置200可為單體之檢查裝置，亦可為具有複數個檢查部之檢查裝置。
第1照相機205係設置為可移動，並如圖3所示，可拍攝形成在晶圓W之被檢查元件。又，第2照相機206亦可設置為可移動，並如圖4所示，可拍攝探針卡202。藉由該等，便可得到包含檢查所需之辨識對象的影像數據。作為辨識對象係可舉有例如電極接點、檢查時讓探針203接觸於元件之電極接點後的針跡、探針203之針尖形狀等。該等辨識對象會以控制部207之影像辨識部208來被加以辨識。電極接點形狀之辨識係對探針與電極之對位而言有其必要，而針尖之辨識係對針尖的中心定位而言有其必要，針跡之辨識係為了確認探針已碰觸到元件之電極接點而有其必要。
在第1檢查裝置200中，控制部207之影像辨識部208係搭載有會就上述辨識對象，使用在事前之機械學習所得到的會辨識出辨識對象之特徵部的 模型，而從影像數據來辨識出辨識對象的軟體。模型係可藉由下述追加之機械學習來加以更新。
所謂機械學習係讓電腦等進行如人類所自然進行的學習之功能的技術、手法。作為機械學習可適當地使用深度學習。所謂深度學習係使用會藉由階層性地連接有複數處理層所構築出之多層神經網路(Neural Network)的機械學習之手法。此時所使用的模型係數學式，數學式中係存在有複數個參數，而可藉由各參數之數值及權重等來改變模型。本範例中，第1檢查裝置200之影像辨識部208的初期狀態之模型係第1模型(#1)。
影像辨識系統100如圖1所示，係具有影像數據收集部10、會實行機械學習之學習實行部20、模型更新部30、第1傳送部40、辨識結果判斷部50以及第2傳送部60。
影像數據收集部10會從第1檢查裝置200來收集上述般包含辨識對象之影像數據。作為影像數據收集部10所收集的影像數據可為無法以第1檢查裝置200之影像辨識部208來辨識出之影像數據。
學習實行部20係針對在事前之機械學習所得到的會辨識出辨識對象之特徵部的第1模型(與搭載於第1檢查裝置200的第1模型(#1)相同)，藉由影像數據收集部10所收集之影像數據來實行追加之機械學習。此時之機械學習典型來說會使用上述深度學習。學習實行部20中之機械學習的實行係可在適當時間點來自動實行。機械學習的實行可定期進行，亦可在影像數據收集部10之數據到既定量的時間點來加以進行。另外，亦可藉由操作者之操作來進行機械學習之實行。
模型更新部30會基於學習實行部20之機械學習的結果，來將會辨識出辨識對象之特徵部的模型從第1模型(#1)更新為第2模型(#2)。第2模型可為即便是就在第1模型中無法辨識出辨識對象的影像數據仍可辨識之辨識等級更高的模型。
另外，學習實行部20與模型更新部30可為一體。
第1傳送部40會接收從模型更新部30所更新後的第2模型，而將第2模型傳送至複數個第1檢查裝置200中特定的檢查裝置200。在該特定的第1檢查裝置200中，會使用第2模型來進行在第1模型中無法辨識出辨識對象之影像數據的辨識對象之辨識評價。
辨識結果判斷部50會接收在該特定的第1檢查裝置200中使用第2模型所進行的會與在第1模型中無法辨識出辨識對象之影像數據相同或同等的影像數據中之辨識對象的辨識結果來進行判斷。
第2傳送部60會藉由辨識結果判斷部50之判斷結果，來將第2模型傳送至特定的第1檢查裝置以外的第1檢查裝置200。更具體而言，第2傳送部60會在藉由辨識結果判斷部50判斷辨識結果為良好的情況下，將第2模型傳送至第1檢查裝置200。
接著，便就第1實施形態之影像辨識系統100的影像辨識方法來加以說明。圖5係用以說明第1實施形態之影像辨識系統100的影像辨識方法之流程圖。
首先，會從設置於工廠內之複數個第1檢查裝置200來將包含辨識對象之影像數據收集於影像數據收集部10(ST1)。作為此時之影像數據可為無法以第1檢查裝置200的影像辨識部208來辨識者。
接著，便會藉由學習實行部20來針對在事前之機械學習所得到的會辨識出辨識對象之特徵部的第1模型，藉由影像數據收集部10所收集之影像數據而實行追加之機械學習(ST2)。此時之機械學習典型來說會使用上述深度學習。
接著，便基於機械學習之結果，藉由模型更新部30來將會辨識出辨識對象之特徵部的模型從第1模型更新為第2模型(ST3)。
接著，便將第2模型傳送至工廠所設置之複數個第1檢查裝置200中特定的第1檢查裝置(ST4)。
接著，便在特定的第1檢查裝置200中，使用第2模型來進行辨識對象的辨識評價(ST5)。
接著，便判斷在特定的第1裝置中進行辨識後的辨識結果(ST6)。
接著，便藉由上述ST6之判斷結果，來將第2模型從第2傳送部60傳送至第1檢查裝置200(ST7)。具體而言，在ST6中藉由辨識結果判斷部50來判斷辨識結果為良好的情況下，便會將第2模型傳送至工廠內所有第1檢查裝置200，而將所有檢查裝置200之影像辨識部的模型更新為第2模型。
另外，在特定的第1檢查裝置200之辨識結果非為良好的情況下，便會中止朝第2模型之更新。又，在上述範例中，雖於ST5中僅在特定的第1檢查裝置200進行第2模型之辨識評價，但亦可在ST5將特定的第1檢查裝置200之模型更新為第2模型。在此情況下，在ST6中藉由辨識結果判斷部50來判斷辨識結果為良好的情況，便會在ST7中將第2模型傳送至特定的第1檢查裝置200以外的第1檢查裝置200。
如此般，根據本實施形態之影像辨識系統100，便會從設置於工廠內之複數個第1檢查裝置來將包含辨識對象之影像數據收集至影像數據收集 部10。然後，針對第1模型，藉由所收集之影像數據來實行追加的機械學習，而將模型從第1模型更新為第2模型。在特定的第1裝置200確認第2模型之辨識結果後，來將工廠內之所有第1檢查裝置200的模型置換為新的第2模型。藉此，關於工廠內的所有第1檢查裝置200，便可藉由不斷更新的新模型來辨識出辨識對象。因此，即便在無法正確進行辨識對象之影像辨識的情況，仍可在短期間來效率良好地辨識出辨識對象。又，可不將資訊帶出工廠外便能辨識出辨識對象。
以往，如專利文獻1所記載般，會進行藉由照相機拍攝針跡等的辨識對象，而作為影像來進行辨識。然而，關於用以進行辨識對象之影像辨識的軟體的更新，專利文獻1並未有任何記載。
一般而言，在此種辨識對象之影像辨識中，因為例如新元件之檢查時或與時變化、雜質的存在、對比的差異等而使辨識對象產生變化時，以往的軟體便會無法對應，而會有無法正確進行影像辨識而導致辨識結果不良之情況。
例如，在辨識對象為針跡的情況，即便軟體在圖6A之影像中，將形成在電極接點501的針跡502作為針跡而可進行辨識，仍會如圖6B般，在除了針跡502之外存在有雜質503時便無法辨識出正確的針跡而導致辨識結果不良。又，在辨識對象為針尖的情況，典型來說即便為圖7A般之形狀，仍會因與時變化或對比的差異，而在影像中如圖7B~7G般，有一部分會消失之情事。其他還會產生局部性地變薄，或是因尖端的磨耗等而使特定部分變大等的在影像上的各種形態。因此，便會容易導致辨識結果不良。又，在新元件中，會有元件之電極接點的形狀改變的情況，在此情況下，便會無法作為電極接點來加以辨識。
以往，在產生此般事態而導致辨識結果不良的情況，售後服務部門及技術部分的關係者便會需要進行從影像收集到軟體之設計、製作、評價、封裝為止的改良案檢討。又，從辨識結果不良到改善後的軟體稼動為止係需要長期間。
相對於此，本實施形態相關之影像辨識系統100如上述般，係即便在無法正確進行辨識對象之影像辨識的情況，仍可藉由機械學習來在短期間效率良好地辨識出辨識對象。又，由於可不將資訊帶出工廠外便能辨識出辨識對象，故亦可得到防止資訊洩漏的效果。又，可對工廠內的所有第1檢查裝置200，以相同模型來進行辨識對象之辨識，而可在工廠內以相同等級來辨識出辨識對象。
另外，作為影像辨識系統100之變形例，係可如圖8所示般在模型更新部30更新為第2模型後，不會特定出僅會將模型傳送至複數個第1檢查裝置200的檢查裝置而是具有會傳送第2模型之功能的影像辨識系統100’。在此情況，在第1檢查裝置200辨識結果非為良好的情況，可藉由另體設置會讓模型回到第1模型的機構，或是讓操作者將模型回到第1來加以對應。
<第2實施形態>
接著，便就第2實施形態來加以說明。
圖9係將具備有第2實施形態相關之影像辨識系統一範例的檢查系統概略顯示的方塊圖。
檢查系統401係具備：上述複數個第1檢查裝置200，係設置於工廠內；1個或複數個第2檢查裝置300；以及影像辨識系統101，係用以提高包含 第1檢查裝置200及第2檢查裝置300之辨識對象的影像數據中之辨識對象的辨識等級。
第2檢查裝置300的基本構成係與第1檢查裝置200相同，但在影像辨識部之軟體不會使用以會辨識出辨識對象之特徵部的機械學習所得到的模型這點上來與第1檢查裝置200有所不同。
本實施形態相關之影像辨識系統101如圖9所示，具有：影像數據收集部10；學習實行部20，係實行機械學習；模型更新部30；第1傳送部40；辨識結果判斷部50；第2傳送部60；推測影像數據收集部110；推測部120；以及數據處理部130。
學習實行部20、模型更新部30、第1傳送部40、辨識結果判斷部50、第2傳送部60係構成為與第1實施形態相同。
推測影像數據收集部110會從第2檢查裝置300來收集包含辨識對象之影像數據。作為推測影像數據收集部110所收集之影像數據可為無法以第2檢查裝置300之影像辨識部所辨識出的影像數據。
推測部120會從推測影像數據收集部110來接收包含辨識對象之影像數據，而就影像數據進行該辨識對象之推測。具體而言，推測部120會使用上述第1模型來進行辨識對象之推測。由於第2檢查裝置300的影像辨識部之軟體係不會使用辨識出辨識對象之特徵部的模型者，故會在推測部120使用與第1檢查裝置200相同的第1模型來進行辨識對象之推測。推測部120會從模型更新部30來接收資訊，而可將第1模型更新為第2模型。藉此，即便在推測部120亦可使用第2模型來進行辨識對象之推測。
數據處理部130會將在推測部120中推測(辨識)出辨識對象後的結果傳送至影像數據之傳送點的第2檢查裝置300。影像處理部130在推測部120中無法推測(辨識)出辨識對象的情況，會將辨識對象之推測結果傳送至影像數據之傳送點的第2檢查裝置300，並在影像數據收集部10累積該影像數據。被傳送至第2檢查裝置300的推測結果係數值數據(在辨識對象為針跡的情況下係針跡之位置、尺寸等)。另外，在推測部120推測(辨識)出辨識對象的情況，該影像數據本身便會從推測影像數據收集部110被廢棄。
接著，便就第2實施形態之影像辨識系統101的影像辨識方法來加以說明。圖10係用以說明第2實施形態之影像辨識系統101的影像辨識方法之流程圖。
從設置於工廠內之第2檢查裝置300來將影像數據收集在推測影像數據收集部110(ST11)。作為此時收集之影像數據可為無法以第2檢查裝置300之影像辨識部所辨識出的影像數據。
就推測影像數據收集部110所收集的影像數據以推測部120來進行辨識對象之推測(ST12)。此工序係可使用上述第1模型來進行辨識對象之推測。藉此，便可以與第1檢查裝置200相同等級來進行第2檢查裝置300之辨識對象的辨識。此ST12係在模型更新部30將模型從第1模型更新為第2模型時，可從模型更新部30來接收資訊，以進行將第1模型更新為第2模型。
在ST12中，於推測出辨識對象的情況，便會將其結果傳送至影像數據之傳送點的第2檢查裝置300。又，在無法推測出辨識對象的情況，便會將其結果傳送至影像數據傳送點的第2檢查裝置300，並將該影像數據累積在影像數據收集部10(ST13)。藉此，便可從第2檢查裝置300來收集模型更新用的影像數 據。在ST13中，被傳送至第2檢查裝置300的是數值數據(在辨識對象為針跡之情況下係針跡之位置、尺寸等)。另外，在可推測出辨識對象之情況下，該影像數據便會從推測影像數據收集部110被廢棄。
本實施形態中，除了該等工序之外，還會實施第1實施形態之ST1~ST7。雖圖10中係將ST11~ST13記載於ST1~ST7上，但ST1~ST7與ST11~13的順序並不限制，而可先進行ST1~ST7，或是可將ST1~7與ST11~13同時一併進行。
根據本實施形態之影像辨識系統101，便可與第1實施形態之影像辨識系統100同樣地經由朝影像數據收集部10收集包含辨識對象之影像數據、追加的機械學習、模型之更新，而將所有第1檢查裝置200之模型置換為第2模型。藉此，關於工廠內的所有第1檢查裝置200，便可藉由不斷更新的新模型來辨識出辨識對象。因此，即便在無法正確進行辨識對象之影像辨識的情況，仍可在短期間來效率良好地且不將資訊帶出工廠外便能辨識出辨識對象。又，除此之外，即便在工廠內存在有不使用會以機械學習所得到之模型的第2檢查裝置300的情況，仍可使辨識對象之辨識等級成為會接近於僅第1檢查裝置200之情況的等級。進一步地，在第2檢查裝置300中亦可將無法在推測部120推測出之包含辨識對象的影像數據收集在影像數據收集部10，而作為追加的機械學習用之影像數據來加以使用，以助於模型之升級。
另外，作為影像辨識系統101之變形例，係可如圖11所示般在模型更新部30更新為第2模型後，不會特定出僅會將模型傳送至複數個第1檢查裝置200的檢查裝置而是具有會傳送第2模型之功能的影像辨識系統101’。在此情 況，在第1檢查裝置200辨識結果非為良好的情況，可藉由另體設置會讓模型回到第1模型的機構，或是讓操作者將模型回到第1來加以對應。
<第3實施形態>
接著，便就第3實施形態來加以說明。
圖12係顯示第3實施形態相關之影像辨識系統一範例的方塊圖。本實施形態係與第2實施形態同樣地混合有第1檢查裝置200與第2檢查裝置300來作為檢查裝置。
本實施形態相關之影像辨識系統102如圖12所示，具有影像數據收集部10、推測影像收集部110、推測部120以及數據處理部130。亦即，影像辨識系統102係從第2實施形態之影像辨識系統101去除掉學習實行部20、模型更新部30、第1傳送部40、辨識結果判斷部50以及第2傳送部60者。
本實施形態相關之影像辨識系統102係與第2實施形態之影像辨識系統101同樣地會從設置於工廠內之第2檢查裝置300來將影像數據收集在推測影像數據收集部110。作為此時所收集的影像數據可為無法以第2檢查裝置300之影像辨識部所辨識出的影像數據。就推測影像數據收集部110所收集的影像數據，係在推測部120使用上述第1模型來進行辨識對象之推測。然後，在數據處理部130將辨識對象之推測結果傳送至影像數據之傳送點的第2檢查裝置300。數據處理部130在無法於推測部120中推測出辨識對象的情況，便會將推測結果傳送至影像數據之傳送點的第2檢查裝置300，並將該影像數據累積在影像數據收集部10。影像數據收集部10亦會從第1檢查裝置200來收集有無法辨識出辨識對象之影像數據。
從而，在工廠內之檢查裝置混合有會使用第1模型並利用機械學習的第1檢查裝置200與不會利用機械學習的第2檢查裝置300的情況，第2檢查裝置300亦可以等同於第1檢查裝置200之等級來辨識出辨識對象。又，亦可從第1檢查裝置200與第2檢查裝置300兩者來將無法以第1模型所辨識出之影像數據累積在影像數據累積部10。因此，可藉由將該等影像數據供給至另體設置之機械學習實行部，來更新模型，而可提高辨識對象之辨識等級。
另外，圖13所示之影像辨識系統103之構成係與影像辨識系統102相同，而為工廠內之檢查裝置全部為第2檢查裝置300之情況。在此情況下亦同樣，第2檢查裝置300可以等同於第1檢查裝置200的等級來辨識出辨識對象。又，亦可從第2檢查裝置300來將無法以第1模型來辨識出辨識對象的影像數據累績在影像數據收集部10。因此，可藉由將該等影像數據供給至另體設置之機械學習實行部，來更新模型，而可提高辨識對象之辨識等級。
以上，雖已就實施形態來加以說明，但本次所揭露的實施形態在所有的點上應為例示而非為限制。上述實施形態係可不超出添附申請專利範圍及其主旨來以各式形態進行省略、置換、變更。
例如，上述實施形態之檢查裝置不過是例示，只要為包含藉由影像辨識來辨識出辨識對象的操作之檢查裝置的話，便可適用。
又，上述實施形態中，作為辨識對象雖例示有電極接點、探針朝電極接點之針跡、探針之針尖，但並不限於此。
10:影像數據收集部
20:學習實行部
30:模型更新部
40:第1傳送部
50:辨識結果判斷部
60:第2傳送部
100:影像辨識系統
200:第1檢查裝置
400:檢查系統

Claims (16)

  1. 一種影像辨識系統，具有：影像數據收集部，係從設置在工廠內之複數個檢查裝置來收集包含辨識對象之影像數據；學習實行部，係針對在事前之機械學習所得到的會辨識出該辨識對象之特徵部的第1模型，藉由該影像收集部所收集之影像數據來實行追加之機械學習；模型更新部，係基於該學習實行部所致的該機械學習之結果，來將會辨識出該辨識對象的該特徵部之模型從該第1模型更新為第2模型；第1傳送部，係將該第2模型傳送至設置於該工廠內之該複數個檢查裝置中的特定檢查裝置；辨識結果判斷部，係接收在該特定檢查裝置中使用該第2模型來進行該辨識對象之辨識後的辨識結果並加以判斷；以及第2傳送部，係藉由該辨識結果判斷部所致之判斷結果，來將該第2模型朝檢查裝置傳送；該影像數據收集部係收集有無法正確辨識該辨識對象之影像數據。
  2. 如申請專利範圍第1項之影像辨識系統，其中傳送有該第2模型之該檢查裝置係將會辨識出該辨識對象之該特徵部的模型從該第1模型更新為該第2模型。
  3. 如申請專利範圍第1或2項之影像辨識系統，其中設置於該工廠內之複數個檢查裝置係包含使用會辨識出藉由在事前之機械學習所得到之該辨識對象的特徵部之模型來進行該辨識對象之辨識的第1檢查裝置；傳送有該第2模型之該檢查裝置係該第1檢查裝置。
  4. 如申請專利範圍第1或2項之影像辨識系統，其係進一步地具有：推測部，係至少接收在該檢查裝置中無法辨識出該辨識對象之影像數據，而就該影像數據來進行該辨識對象之推測；以及數據處理部，係將該推測部中該辨識對象之推測結果傳送至為該影像數據之傳送點的該檢查裝置，而在該推測部中無法推測出該辨識對象的情況，將該影像數據儲存於該影像數據收集部。
  5. 如申請專利範圍第4項之影像辨識系統，其中設置於該工廠內之複數個檢查裝置係包含：第2檢查裝置，係未使用會辨識出該辨識對象之特徵部的模型；該推測部係至少接收在該第2檢查裝置中無法辨識出該辨識對象之影像數據，而進行該辨識對象之推測。
  6. 如申請專利範圍第4項之影像辨識系統，其中該推測部係就該影像數據使用該第1模型來進行該辨識對象之推測。
  7. 如申請專利範圍第4項之影像辨識系統，其中該推測部所使用的該第1模型係可更新為該模型更新部所更新後的該第2模型。
  8. 如申請專利範圍第1或2項之影像辨識系統，其中該檢查裝置係針對形成有複數個元件之晶圓，而讓探針卡之各探針與元件之電極接點接觸來進行電氣特性檢查者；該辨識對象係該電極接點、針對該電極接點來讓該探針碰觸後之針跡以及該探針之針尖中的至少1種。
  9. 一種影像辨識方法，係具有：從設置在工廠內之複數個檢查裝置來將包含辨識對象之影像數據收集至影像數據收集部之工序； 針對在事前之機械學習所得到的會辨識出該辨識對象之特徵部的第1模型，藉由所收集之該影像數據來實行追加之機械學習之工序；基於該機械學習之結果，來將會辨識出該辨識對象的該特徵部之模型從該第1模型更新為第2模型之工序；將該第2模型傳送至設置於該工廠內之該複數個檢查裝置中的特定檢查裝置之工序；在該特定檢查裝置中，使用該第2模型來進行該辨識對象之辨識的工序；判斷在該特定檢查裝置中進行辨識後之辨識結果的工序；以及藉由該判斷工序之辨識結果來將該第2模型朝該檢查裝置傳送；收集包含該辨識對象之影像數據的工序會收集無法正確辨識出該辨識對象之影像數據。
  10. 如申請專利範圍第9項之影像辨識方法，其中傳送有該第2模型之該檢查裝置係將會辨識出該辨識對象之該特徵部的模型從該第1模型更新為該第2模型。
  11. 如申請專利範圍第9或10項之影像辨識方法，其中設置於該工廠內之複數個檢查裝置係包含使用會辨識出藉由在事前之機械學習所得到之該辨識對象的特徵部之模型來進行該辨識對象之辨識的第1檢查裝置，傳送有該第2模型之該檢查裝置係該第1檢查裝置。
  12. 如申請專利範圍第9或10項之影像辨識方法，其係進一步地具有：就在該檢查裝置中無法辨識出該辨識對象之影像數據來進行該辨識對象之推測之工序；以及 將該辨識對象之推測結果傳送至為該影像數據之傳送點的該檢查裝置，而在無法推測出該辨識對象的情況，將該影像數據儲存於該影像數據收集部。
  13. 如申請專利範圍第12項之影像辨識方法，其中設置於該工廠內之複數個檢查裝置係包含：第2檢查裝置，係未使用會辨識出該辨識對象之特徵部的模型；進行該辨識對象之推測的工序係就在該第2檢查裝置中無法辨識出該辨識對象之影像數據來進行該辨識對象之推測。
  14. 如申請專利範圍第12項之影像辨識方法，其中進行該辨識對象之推測的工序係就該影像數據使用該第1模型來進行該辨識對象之推測。
  15. 如申請專利範圍第12項之影像辨識方法，其中進行該辨識對象之推測的工序所使用的該第1模型係可更新為以更新該模型之工序所更新後的該第2模型。
  16. 如申請專利範圍第9或10項之影像辨識方法，其中該檢查裝置係針對形成有複數個元件之晶圓，而讓探針卡之各探針與元件之電極接點接觸來進行電氣特性檢查者；該辨識對象係該電極接點、針對該電極接點來讓該探針碰觸後之針跡以及該探針之針尖中的至少1種。
TW109101886A 2019-01-29 2020-01-20 影像辨識系統及影像辨識方法 TWI832958B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019012630A JP7262232B2 (ja) 2019-01-29 2019-01-29 画像認識システムおよび画像認識方法
JP2019-012630 2019-01-29

Publications (2)

Publication Number Publication Date
TW202101625A TW202101625A (zh) 2021-01-01
TWI832958B true TWI832958B (zh) 2024-02-21

Family

ID=71731500

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109101886A TWI832958B (zh) 2019-01-29 2020-01-20 影像辨識系統及影像辨識方法

Country Status (5)

Country Link
US (1) US20200242747A1 (zh)
JP (1) JP7262232B2 (zh)
KR (1) KR102315595B1 (zh)
CN (1) CN111563872B (zh)
TW (1) TWI832958B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021149329A1 (ja) 2020-01-20 2021-07-29 学校法人昭和大学 Ｈｉｃ−５インヒビターの新規用途

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002269563A (ja) * 2001-03-08 2002-09-20 Matsushita Electric Ind Co Ltd 顔画像照合システム
TW201202876A (en) * 2010-01-29 2012-01-16 Tokyo Electron Ltd Method and system for self-learning and self-improving a semiconductor manufacturing tool
CN103411974A (zh) * 2013-07-10 2013-11-27 杭州赤霄科技有限公司 基于云端大数据的平面材料检测远程系统及检测方法
TW201800057A (zh) * 2016-06-20 2018-01-01 蝴蝶網路公司 用於協助使用者操作超音波裝置的自動化影像獲取
CN109146082A (zh) * 2017-06-27 2019-01-04 发那科株式会社 机器学习装置、机器人控制系统和机器学习方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3434976B2 (ja) * 1996-06-28 2003-08-11 三菱電機株式会社 画像処理装置
JP4628665B2 (ja) 2002-10-28 2011-02-09 大日本スクリーン製造株式会社 針痕読取装置および針痕読取方法
JP5385752B2 (ja) * 2009-10-20 2014-01-08 キヤノン株式会社 画像認識装置、その処理方法及びプログラム
JP2012208710A (ja) 2011-03-29 2012-10-25 Panasonic Corp 属性推定装置
US9536178B2 (en) * 2012-06-15 2017-01-03 Vufind, Inc. System and method for structuring a large scale object recognition engine to maximize recognition accuracy and emulate human visual cortex
US9990587B2 (en) * 2015-01-22 2018-06-05 Preferred Networks, Inc. Machine learning heterogeneous edge device, method, and system
KR102601848B1 (ko) * 2015-11-25 2023-11-13 삼성전자주식회사 데이터 인식 모델 구축 장치 및 방법과 데이터 인식 장치
CN107292223A (zh) * 2016-04-13 2017-10-24 芋头科技（杭州）有限公司 一种实时手势检测的在线验证方法及系统
JP6453805B2 (ja) 2016-04-25 2019-01-16 ファナック株式会社 製品の異常に関連する変数の判定値を設定する生産システム
US11237119B2 (en) * 2017-01-10 2022-02-01 Kla-Tencor Corporation Diagnostic methods for the classifiers and the defects captured by optical tools
JP6795788B2 (ja) * 2017-01-24 2020-12-02 株式会社安川電機 産業機器用の画像認識装置及び画像認識方法
JP6686151B2 (ja) * 2017-01-27 2020-04-22 三菱日立パワーシステムズ株式会社 モデルパラメータ値推定装置及び推定方法、プログラム、プログラムを記録した記録媒体、モデルパラメータ値推定システム
JP6660900B2 (ja) 2017-03-06 2020-03-11 Kddi株式会社 モデル統合装置、モデル統合システム、方法およびプログラム
GB201704373D0 (en) * 2017-03-20 2017-05-03 Rolls-Royce Ltd Surface defect detection
US10878342B2 (en) * 2017-03-30 2020-12-29 Intel Corporation Cloud assisted machine learning
JP6705777B2 (ja) * 2017-07-10 2020-06-03 ファナック株式会社 機械学習装置、検査装置及び機械学習方法
CN107886500A (zh) * 2017-10-13 2018-04-06 北京邮电大学 一种基于机器视觉和机器学习的产品生产监控方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002269563A (ja) * 2001-03-08 2002-09-20 Matsushita Electric Ind Co Ltd 顔画像照合システム
TW201202876A (en) * 2010-01-29 2012-01-16 Tokyo Electron Ltd Method and system for self-learning and self-improving a semiconductor manufacturing tool
CN103411974A (zh) * 2013-07-10 2013-11-27 杭州赤霄科技有限公司 基于云端大数据的平面材料检测远程系统及检测方法
TW201800057A (zh) * 2016-06-20 2018-01-01 蝴蝶網路公司 用於協助使用者操作超音波裝置的自動化影像獲取
CN109146082A (zh) * 2017-06-27 2019-01-04 发那科株式会社 机器学习装置、机器人控制系统和机器学习方法

Also Published As

Publication number Publication date
KR20200094089A (ko) 2020-08-06
US20200242747A1 (en) 2020-07-30
CN111563872A (zh) 2020-08-21
KR102315595B1 (ko) 2021-10-21
CN111563872B (zh) 2023-11-21
JP7262232B2 (ja) 2023-04-21
TW202101625A (zh) 2021-01-01
JP2020119476A (ja) 2020-08-06

Similar Documents

Publication Publication Date Title
CN111656883B (zh) 元件图像识别用学习完成模型生成系统及方法
KR101071013B1 (ko) 검사 방법 및 이 검사 방법을 기록한 프로그램 기록 매체
TWI832958B (zh) 影像辨識系統及影像辨識方法
CN109946320A (zh) 缺陷检查方法
TWI763183B (zh) 晶圓測試系統及其方法
TW201712774A (zh) 診斷半導體晶圓之方法以及系統
CN113767407A (zh) 信息处理装置、信息处理方法、信息处理程序以及记录介质
US11113804B2 (en) Quality estimation device, quality estimation method, and quality estimation program
JP7268418B2 (ja) 通信システム、サーバ、及び車外検出装置
CN112272968B (zh) 检查方法、检查系统及记录介质
US8436633B2 (en) Method to determine needle mark and program therefor
WO2020174626A1 (ja) 製造管理方法
US20140055160A1 (en) Apparatus and method for inspection of marking
CN114659799A (zh) 车辆检查方法及车辆检查系统
CN106528402A (zh) 一种测试终端的方法及系统
JP5061719B2 (ja) 基板検査装置及び方法
JP2004342676A (ja) 半導体ウエハ検査方法および半導体ウエハ検査装置
JP2009259942A (ja) 検査方法及び検査装置
JP2013003821A (ja) パターン位置検出方法
JP4105008B2 (ja) レビューデータ管理システムおよびレビューデータ管理方法
JP2007095766A (ja) プローバ装置及び半導体デバイスの検査方法
CN115669256A (zh) 检查装置、部件装配系统以及基板制造方法
EP3723115A1 (en) Information management device and information management method
CN114066131A (zh) 主要原因推定装置、主要原因推定系统以及程序
CN112292924A (zh) 检查方法、检查系统及程序