TW202001798A - 光學檢測方法、光學檢測裝置及光學檢測系統 - Google Patents

光學檢測方法、光學檢測裝置及光學檢測系統 Download PDF

Info

Publication number
TW202001798A
TW202001798A TW107122594A TW107122594A TW202001798A TW 202001798 A TW202001798 A TW 202001798A TW 107122594 A TW107122594 A TW 107122594A TW 107122594 A TW107122594 A TW 107122594A TW 202001798 A TW202001798 A TW 202001798A
Authority
TW
Taiwan
Prior art keywords
image
pattern
flawless
flawed
flaw
Prior art date
Application number
TW107122594A
Other languages
English (en)
Other versions
TWI787296B (zh
Inventor
亞魯木魯甘 安比卡帕
徐敏堂
陸家樑
方志恆
Original Assignee
由田新技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 由田新技股份有限公司 filed Critical 由田新技股份有限公司
Priority to TW107122594A priority Critical patent/TWI787296B/zh
Priority to CN201811366351.9A priority patent/CN110658198B/zh
Priority to US16/455,735 priority patent/US11017259B2/en
Publication of TW202001798A publication Critical patent/TW202001798A/zh
Application granted granted Critical
Publication of TWI787296B publication Critical patent/TWI787296B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Vascular Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Textile Engineering (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)

Abstract

本發明的實施例提供一種光學檢測方法，其用於包括光學鏡頭的光學檢測裝置。所述方法包括：經由所述光學鏡頭擷取待測物的第一影像；對所述第一影像執行邊緣偵測，以獲得具有邊緣圖案的第二影像；以及基於神經網路架構對所述第二影像執行瑕疵檢測操作，以檢測所述第二影像中的瑕疵圖案。此外，本發明的實施例也提供一種光學檢測裝置與光學檢測系統。

Description

光學檢測方法、光學檢測裝置及光學檢測系統
本發明是有關於一種瑕疵圖案檢測技術，且特別是有關於一種光學檢測方法、光學檢測裝置及光學檢測系統。
在電子元件出廠前，一般是由資深目檢人員對其進行肉眼檢測，以確認所生產的電子元件是否存在瑕疵(defect)。隨著科技的進步，人工智慧逐漸被設計為具有自動化的瑕疵識別能力，以嘗試減少目檢人員的工作負擔。然而，現有的自動化缺陷檢測技術存在很高的錯誤率，故電子元件經過自動化檢測後還是需要由目檢人員進行雙重確認。
本發明提供一種光學檢測方法、光學檢測裝置及光學檢測系統，可有效提高光學檢測裝置對於瑕疵圖案的檢測精確性。
本發明的實施例提供一種光學檢測方法，其用於包括光學鏡頭的光學檢測裝置。所述光學檢測方法包括：經由所述光學鏡頭擷取待測物的第一影像；對所述第一影像執行邊緣偵測，以獲得具有邊緣圖案的第二影像；以及基於神經網路架構對所述第二影像執行瑕疵檢測操作，以檢測所述第二影像中的瑕疵圖案。
本發明的實施例另提供一種光學檢測裝置，其包括光學鏡頭與處理電路。所述光學鏡頭用以擷取待測物的第一影像。所述處理電路耦接至所述光學鏡頭並且用以對所述第一影像執行邊緣偵測，以獲得具有邊緣圖案的第二影像。所述處理電路更用以基於神經網路架構對所述第二影像執行瑕疵檢測操作，以檢測所述第二影像中的瑕疵圖案。
本發明的實施例另提供一種光學檢測系統，其包括光學檢測裝置與伺服器。所述光學檢測裝置用以擷取待測物的第一影像並對所述第一影像執行邊緣偵測，以獲得具有邊緣圖案的第二影像。所述伺服器耦接至所述光學檢測裝置並用以基於神經網路架構對所述第二影像執行瑕疵檢測操作，以檢測所述第二影像中的瑕疵圖案。
基於上述，在經由光學檢測裝置的光學鏡頭擷取待測物的第一影像後，可對所述第一影像執行邊緣偵測以獲得具有邊緣圖案的第二影像。然後，可基於神經網路架構對所述第二影像執行瑕疵檢測操作，以檢測所述第二影像中的瑕疵圖案。藉此，可有效提高光學檢測裝置對於瑕疵圖案的檢測正確性。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
圖1是根據本發明的一實施例所繪示的光學檢測系統的示意圖。圖2是根據本發明的一實施例所繪示的光學檢測裝置的示意圖。請參照圖1與圖2，光學檢測系統10可應用於自動光學檢測(Automated Optical Inspection, AOI)設備上，以對半導體晶片、晶圓、面板、電路板(PCB、FPC、陶瓷電路板)等待測物工件進行表面瑕疵檢測。換言之，光學檢測系統10可用於檢測待測物表面的瑕疵。
光學檢測系統10可包括光學檢測裝置11、移載裝置12及輔助光源裝置13。光學檢測裝置11具有光學鏡頭111。光學鏡頭111可包括面掃描攝影機(Area Scan Camera)與線掃描攝影機(Line Scan Camera)的至少其中之一。線掃描攝影機較常用於動態檢測，於待測物101移動的同時進行拍攝，可確保檢測流程的連續性。移載裝置12用於實現全自動化檢測。例如，移載裝置12可將待測物101移載至檢測區域，經由設置於該檢測區域一側的光學鏡頭111進行拍攝，以獲取待測物101的影像並進行影像分析。
輔助光源裝置13用以提供光源以對待測物101進行照明。例如，輔助光源裝置13的類型可為平行光燈具、漫射光燈具、穹形燈等，本發明不加以限制。針對不同類型的待測物101，輔助光源裝置13的類型可對應改變。此外，輔助光源裝置13可發出白光、紅光、綠光、藍光、紫外光、紅外光等各類型光線。須注意的是，本發明不限制光學檢測裝置11、移載裝置12及輔助光源裝置13的數目。在一實施例中，光學檢測裝置11可發送控制訊號以控制光學鏡頭111、移載裝置12及輔助光源裝置13的至少其中之一。
光學檢測裝置11可分析光學鏡頭111所擷取的影像，以經由影像檢測待測物101表面上的瑕疵。在經由光學鏡頭111獲取影像後，光學檢測裝置11可將所述影像進行前處理(例如執行影像強化、去除雜訊、加強對比、加強邊緣、擷取特徵、影像壓縮、影像轉換等操作)，並將輸出的影像經由視覺軟體工具和演算法進行分析，以獲得判定結果並將判定結果輸出或儲存於資料庫。
於自動光學檢測中，待測物101上的異塵及瑕疵不管是經由人工檢測的方式或是機器視覺檢測(亦稱為自動檢測)的方式經常有混淆誤認的情況，主要原因在於機器視覺中對於異塵及瑕疵的定義都是相對母片而言的噪點。雖然異塵及瑕疵在特性上尚有一些差異(例如異塵通常是立體、突出於表面上，瑕疵例如刮痕、碎亮點通常形成於內側)，但對於一般機器視覺而言，兩者均是與母片不相同的部分，一般的辨識邏輯難以分出區別。因此，早期的方式通常是由機器檢出缺陷後，再由人工檢測的方式進行確認。然而在大量製程(mass production)中，產品生產的數量可能是以每小時數萬計，人檢相較於機器視覺於效率及可靠度上就不是那麼的合適。此外，人檢所花費的時間往往較機器視覺檢測所花費的時間多。在一實施例中，光學檢測裝置11可自動完成整個檢測程序，從而減少人檢所需的人力資源消耗。
光學檢測裝置11包括光學鏡頭111、處理電路112、儲存電路113及輸入/輸出(Input/Ouput, I/O)介面電路114。光學鏡頭111可包括一或多個光學透鏡，且本發明不限制光學鏡頭111的類型。處理電路112可以是中央處理單元(Central Processing Unit, CPU)、圖形處理器(graphics processing unit, GPU)、或是其他可程式化之一般用途或特殊用途的微處理器、數位訊號處理器(Digital Signal Processor, DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits, ASIC)、可程式化邏輯裝置(Programmable Logic Device, PLD)或其他類似裝置或這些裝置的組合。處理電路112可負責光學檢測裝置11的整體或部分運作。
儲存電路113可包括揮發性儲存媒體及/或非揮發性儲存媒體並可用於儲存資料。例如，揮發性儲存媒體可以是隨機存取記憶體(RAM)，而非揮發性儲存媒體可以是唯讀記憶體(ROM)、固態硬碟(SSD)或傳統硬碟(HDD)等。輸入/輸出介面電路114可包括顯示器、投影機、喇叭等訊號輸出裝置、及/或滑鼠、鍵盤、觸控板、遙控器、麥克風等訊號輸入裝置。在一實施例中，輸入/輸出介面電路114亦可包括觸控螢幕及/或網路介面卡等訊號輸入/輸出裝置。
在經由光學鏡頭111擷取待測物101的影像(亦稱為第一影像)後，處理電路112可對第一影像執行邊緣偵測，以獲得具有邊緣圖案的另一影像(亦稱為第二影像)。例如，所述邊緣偵測可偵測第一影像(即原始影像)中至少部分圖案的邊緣(亦稱為輪廓)並將所偵測到的邊緣以額外產生的邊緣圖案的形式呈現於第二影像中。例如，處理電路112可偵測第一影像中亮度明顯變化的點作為第二影像中邊緣圖案的至少一部分。本發明不限制處理電路112執行邊緣偵測所採用的影像分析技術。此外，處理電路112可對第二影像中非屬於邊緣圖案的其他影像資料進行淡化處理或將其移除，以突顯第二影像中的邊緣圖案。
一般來說，由光學鏡頭111攝得的第一影像中可呈現所拍攝的電子元件的圖案，但第一影像中並不具有前述經邊緣偵測而額外產生的邊緣圖案。從另一角度來看，處理電路112可將原始由光學鏡頭111獲得的不具有邊緣圖案的第一影像轉換為具有邊緣圖案的第二影像。在一實施例中，經由邊緣偵測，可提高處理電路112辨識瑕疵圖案的精準度。例如，相對於直接對第一影像進行瑕疵檢測，對第二影像進行瑕疵圖案的檢測可具有較高的準確度。
圖3A是根據本發明的一實施例所繪示的第一影像的示意圖。圖3B是根據本發明的一實施例所繪示的第二影像的示意圖。請參照圖3A與圖3B，假設影像31為第一影像且影像31中具有不明顯的瑕疵301。基於影像31，無論是人工檢測或自動檢測，影像31中的瑕疵301可能都不容易被測得。在對影像31執行邊緣偵測後，影像32(即第二影像)可被產生。相對於影像31，影像32具有所拍攝的電子元件的邊緣圖案302與瑕疵301的邊緣圖案303(即瑕疵圖案)。相對於圖3A中的瑕疵301，圖3B中瑕疵301的邊緣圖案303更加明顯且更加容易地被辨識。
請回到圖2，處理電路112可基於正常模式對第一影像執行邊緣偵測以獲得具有邊緣圖案的第二影像。例如，在正常模式中，處理電路112可使用第一影像中各像素原始的R值、G值及B值對第一影像執行邊緣偵測。
在一實施例中，處理電路112亦可基於三原色光模式(RGB color model)中的紅色模式、綠色模式及藍色模式的至少其中之一，來對第一影像執行邊緣偵測以獲得具有邊緣圖案的第二影像。例如，在紅色模式中，處理電路112可使用影像顏色調整技術保留第一影像中各像素的R值並將各像素的G值與B值設為0(或接近0的數值)，並對調整後的第一影像執行邊緣偵測。在綠色模式中，處理電路112可使用影像顏色調整技術保留第一影像中各像素的G值並將各像素的R值與B值設為0(或接近0的數值)，並對調整後的第一影像執行邊緣偵測。在藍色模式中，處理電路112可使用影像顏色調整技術保留第一影像中各像素的B值並將各像素的R值與G值設為0(或接近0的數值)，並對調整後的第一影像執行邊緣偵測。
對於某些類型的瑕疵來說，以前述正常模式對第一影像進行邊緣偵測可能無法產生明顯的瑕疵的邊緣圖案。然而，若採用紅色模式、綠色模式及藍色模式的至少其中之一進行邊緣偵測，則有可能在某一種模式中讓瑕疵的邊緣圖案(即瑕疵圖案)更加清晰地呈現在第二影像中。藉此，可提高對於瑕疵的自動檢測的精確度。
在獲得第二影像後，處理電路112可基於神經網路(Neural Network)(亦稱為人工神經網路或類神經網路)架構對第二影像執行瑕疵檢測操作，以檢測第二影像中的瑕疵圖案。在經過深度學習後，神經網路架構對於瑕疵圖案的偵測準確度可逐漸提高。例如，透過深度學習，神經網路架構可自動地學習並找出重要的特徵資訊。此特徵資訊可應用於檢測第二影像中的瑕疵圖案。換言之，訓練後的神經網路架構可自動檢測第二影像中的瑕疵圖案。
在一實施例中，神經網路架構可基於LeNet模型、AlexNet模型、GoogleNet模型或VGG模型(Visual Geometry Group)進行修改及擴充。不需要經由人員挑選特徵，神經網路架構可主動辨識其認為重要的特徵資訊，從而大幅減少運用於訓練的人力成本。
在一實施例中，為了訓練神經網路架構，處理電路112可獲得一個樣本影像。例如，此樣本影像可符合用於影像檢測的一標準規格。此外，此樣本影像不具有瑕疵。換言之，此樣本影像只具有經實際拍攝或模擬產生的正常的電子零組件的影像。
處理電路112可根據此樣本影像產生至少一組成對的無瑕影像與瑕疵影像。一組成對的無瑕影像與瑕疵影像亦稱為成對影像。例如，處理電路112可對樣本影像執行邊緣偵測以產生所述無瑕影像與瑕疵影像。此外，處理電路112也可基於正常模式、紅色模式、綠色模式及藍色模式等顏色模式來對樣本影像執行邊緣偵測以產生所述無瑕影像與瑕疵影像。
須注意的是，瑕疵影像具有至少一瑕疵圖案，且無瑕影像不具有任何瑕疵圖案。一組成對影像對應於樣本影像中的同一個影像區域。處理電路112可根據至少一組成對影像訓練所述神經網路架構，以提高神經網路架構對瑕疵圖案的檢測精確度。
在一實施例中，處理電路112可對樣本影像執行色度調整操作、亮度調整操作及圖案縮放操作的至少其中之一，以產生所述無瑕影像與瑕疵影像。色度調整操作用以調整樣本影像的色度(亦稱為飽和度或彩度)，以產生具有不同色度的無瑕影像及/或瑕疵影像。亮度調整操作用以調整樣本影像的亮度，以產生具有不同亮度的無瑕影像及/或瑕疵影像。圖案縮放操作用以調整樣本影像中圖案的尺寸及/或縮放比例，以產生具有不同圖案尺寸的無瑕影像及/或瑕疵影像。
須注意的是，一組成對影像將具有相同的色度、相同的亮度及/或相同的圖案尺寸。此外，處理電路112可隨機在所選定的影像區域中加入瑕疵圖案，以產生瑕疵影像。
圖4是根據本發明的一實施例所繪示的根據樣本影像產生無瑕影像與瑕疵影像的示意圖。請參照圖2與圖4，樣本影像41包括影像區域410、420及430。樣本影像41中不存在瑕疵。須注意的是，在另一實施例中，樣本影像41還可以被劃分為包含更多或更少的影像區域，本發明不加以限制。
瑕疵影像411(1)~411(P)及無瑕影像412(1)~412(P)皆對應於影像區域410。瑕疵影像411(A)與無瑕影像412(A)為一組成對影像，且A為1與P之間的任意整數。處理電路112可對影像區域410中的影像執行色度調整操作、亮度調整操作及圖案縮放操作的至少其中之一，以產生瑕疵影像411(1)~411(P)及無瑕影像412(1)~412(P)。此外，處理電路112可隨機在影像區域410中加入至少一個瑕疵圖案，以產生瑕疵影像411(1)~411(P)。
瑕疵影像421(1)~421(Q)及無瑕影像422(1)~422(Q)皆對應於影像區域420。瑕疵影像421(B)與無瑕影像422(B)為一組成對影像，且B為1與Q之間的任意整數。處理電路112可對影像區域420中的影像執行色度調整操作、亮度調整操作及圖案縮放操作的至少其中之一，以產生瑕疵影像421(1)~421(Q)及無瑕影像422(1)~422(Q)。此外，處理電路112可隨機在影像區域420中加入至少一個瑕疵圖案，以產生瑕疵影像421(1)~421(Q)。
瑕疵影像431(1)~431(R)及無瑕影像432(1)~432(R)皆對應於影像區域430。瑕疵影像431(C)與無瑕影像432(C)為一組成對影像，且C為1與R之間的任意整數。P、Q及R可為相同數值或不同數值，本發明不加以限制。處理電路112可對影像區域430中的影像執行色度調整操作、亮度調整操作及圖案縮放操作的至少其中之一，以產生瑕疵影像431(1)~431(R)及無瑕影像432(1)~432(R)。此外，處理電路112可隨機在影像區域430中加入至少一個瑕疵圖案，以產生瑕疵影像431(1)~431(R)。
在一實施例中，對應於同一影像區域的多個瑕疵影像(或無瑕影像)是基於對此影像區域執行色度調整操作、亮度調整操作及圖案縮放操作的至少其中一者而產生，故對應於同一影像區域的多個瑕疵影像(或無瑕影像)彼此間可具有色度差異、亮度差異及圖案尺寸差異中的至少一種差異。
以圖4為例，瑕疵影像411(1)~411(P)中的兩個瑕疵影像之間可具有色度差異、亮度差異及圖案尺寸差異中的至少一種差異，且無瑕影像412(1)~412(P)中的兩個無瑕影像之間也可具有色度差異、亮度差異及圖案尺寸差異中的至少一種差異。例如，瑕疵影像411(1)可具有某一色度(亦稱為第一色度)，瑕疵影像411(2)可具有另一色度(亦稱為第二色度)，第一色度的值(亦稱為第一色度值)不同於第二色度的值(亦稱為第二色度值)，且第一色度與第二色度之間的差異(或第一色度值與第二色度值之間的差異)即為所述色度差異。
此外，多組成對影像之間也可具有色度差異、亮度差異及圖案尺寸差異中的至少一種差異。以圖4為例，瑕疵影像411(1)與無瑕影像412(1)可具有某一亮度(亦稱為第一亮度)，且瑕疵影像411(2)與無瑕影像412(2)可具有另一亮度(亦稱為第二亮度)，第一亮度的值(亦稱為第一亮度值)不同於第二亮度的值(亦稱為第二亮度值)，且第一亮度與第二亮度之間的差異(或第一亮度值與第二亮度值之間的差異)即為所述亮度差異。
在一實施例中，對應於同一影像區域的多個瑕疵影像中的瑕疵圖案皆是隨機產生，故此些瑕疵影像中的瑕疵圖案可相同或不同。以圖4為例，瑕疵影像411(1)~411(P)中的兩個瑕疵影像可具有不同的瑕疵圖案。須注意的是，所述不同的瑕疵圖案可以是指具有不同尺寸、不同形狀及/或不同所在位置的瑕疵圖案。
圖5是根據本發明的一實施例所繪示的根據樣本影像產生無瑕影像與瑕疵影像的示意圖。請參照圖5，根據樣本影像51，瑕疵影像511(1)~511(4)及無瑕影像512(1)~512(4)可被產生。瑕疵影像511(1)~511(4)及無瑕影像512(1)~512(4)皆對應於樣本影像51中相同的影像區域。瑕疵影像511(1)~511(4)及無瑕影像512(1)~512(4)可用於訓練神經網路架構。
具體而言，瑕疵影像511(1)與無瑕影像512(1)為一組成對影像，故瑕疵影像511(1)與無瑕影像512(1)具有相同的色度、相同的亮度及相同的圖案尺寸。瑕疵影像511(1)具有瑕疵圖案501，而無瑕影像512(1)不具有瑕疵圖案501。
瑕疵影像511(2)與無瑕影像512(2)為一組成對影像，故瑕疵影像511(2)與無瑕影像512(2)具有相同的色度、相同的亮度及相同的圖案尺寸。瑕疵影像511(2)具有瑕疵圖案502，而無瑕影像512(2)不具有瑕疵圖案502。
瑕疵影像511(3)與無瑕影像512(3)為一組成對影像，故瑕疵影像511(3)與無瑕影像512(3)具有相同的色度、相同的亮度及相同的圖案尺寸。瑕疵影像511(3)具有瑕疵圖案503，而無瑕影像512(3)不具有瑕疵圖案503。
須注意的是，瑕疵影像511(3)與無瑕影像512(3)中的電子零組件的圖案尺寸分別大於瑕疵影像511(1)與無瑕影像512(1)中的電子零組件的圖案尺寸，如圖5所示。例如，相對於瑕疵影像511(1)與無瑕影像512(1)，瑕疵影像511(3)與無瑕影像512(3)是基於較大的圖案縮放倍率(例如，原始圖案尺寸×2)放大樣本影像51而產生。
瑕疵影像511(4)與無瑕影像512(4)為一組成對影像，故瑕疵影像511(4)與無瑕影像512(4)具有相同的色度、相同的亮度及相同的圖案尺寸。瑕疵影像511(4)具有瑕疵圖案504，而無瑕影像512(4)不具有瑕疵圖案504。
須注意的是，瑕疵影像511(4)與無瑕影像512(4)中的電子零組件的圖案尺寸分別小於瑕疵影像511(1)與無瑕影像512(1)中的電子零組件的圖案尺寸，如圖5所示。例如，相對於瑕疵影像511(1)與無瑕影像512(1)，瑕疵影像511(4)與無瑕影像512(4)是基於較小的圖案縮放倍率(例如，原始圖案尺寸×0.5)縮小樣本影像51而產生。
從另一角度來看，在一組成對影像中，瑕疵影像與無瑕影像的差異(僅)在於是否具有蓄意產生的瑕疵圖案，而其餘亮度、色度、及/或圖案尺寸等可影響瑕疵圖案在成對影像中的辨識結果的參數皆不變。
圖6是根據本發明的一實施例所繪示的隨機產生瑕疵圖案的示意圖。請參照圖2與圖6，處理電路112可在影像區域61中隨機選擇N個像素(亦稱為第一像素)601。N可為任意正整數。須注意的是，選擇第一像素之操作可用於決定所產生的瑕疵圖案在瑕疵影像中的位置。
在選定第一像素601後，處理電路112可在影像區域61中隨機選擇與第一像素601相鄰的M個像素(亦稱為第二像素)602。M可為任意正整數。須注意的是，選擇第二像素602之操作可用於決定所產生的瑕疵圖案的概略尺寸及/或概略形狀。例如，處理電路112可以是以第一像素601為中心，沿著某一個行或某一個列向外延伸一個隨機的長度，並選擇所延伸的路徑上的至少一個像素作為第二像素602。
處理電路112可根據第一像素601與第二像素602產生瑕疵圖案。例如，處理電路112可在第一像素601與第二像素602的所在位置加上圖案遮罩603。然後，處理電路112可對圖案遮罩603的多個端點進行連結與平滑處理，以形成瑕疵圖案604。
須注意的是，圖6的實施例僅為產生瑕疵圖案的其中一個範例，處理電路112還可以根據其他的技術手段產生瑕疵圖案。例如，在一實施例中，處理電路112可隨機在影像區域61中選擇多個像素並直接在所選擇的像素上加上遮罩而形成瑕疵圖案。或者，在一實施例中，儲存電路113中儲存有至少一個瑕疵圖案的模型。處理電路112可從儲存電路113中隨機選擇一個瑕疵圖案的模型並根據此模型在影像區域61中選擇相應的像素並加上遮罩以形成瑕疵圖案。
圖7是根據本發明的一實施例所繪示的神經網路架構的示意圖。請參照圖7，神經網路架構71可為卷積神經網路架構(Convolutional Neural Networks, CNN)，其主要包括多個特徵提取器720、全連結群層730、正規化輸出層740、比較模組760及權重調整模組770。特徵提取器720可包括卷積群層(Multi-Convolutional Layer)701、線性整流單元(Rectified Linear Unit, ReLU)702及池化(pooling)群層203。全連結群層730可包括一或多個全連結層(fully connected layers)。此外，正規化輸出層740可執行softmax運算。
在訓練神經網路架構71時，包含瑕疵影像與無瑕影像的至少一組成對影像710可被輸入至神經網路架構71，並經由反向傳播演算法(Backpropagation)訓練全連結層730的權重。成對影像710對應於一個輸入值(即影像數據)與預期輸出(即良品、NG品、瑕疵品或瑕疵品的瑕疵種類等)。經過卷積群層701、線性整流單元702、池化群層703進行特徵強化及影像壓縮處理後，全連結群層730依據權重比例對此輸入值進行分類。然後，由正規化輸出層740輸出分類結果750。分類結果750可包括良品、NG品、瑕疵品或瑕疵品的瑕疵種類等。
於取得分類結果750後，比較模組760可將分類結果750與預期輸出進行比對並判斷分類結果750是否符合預期。若不符合預期，比較模組760可將所獲得的誤差值輸出至權重調整模組770。權重調整模組770可基於反向傳播演算法計算並調整全連結群層730的權重。經由重複上述操作，可逐步訓練神經網路架構71，從而提高神經網路架構712對於瑕疵圖案的檢測正確率。
在基於神經網路架構71對第二影像進行瑕疵檢測操作時，經由特徵提取器720、全連結群層730及正規化輸出層740的運算，對應於第二影像的分類結果750可被產生。此分類結果750可表示第二影像所對應的待測物(例如圖1的待測物101)為良品、NG品、瑕疵品及/或所測得的瑕疵圖案之種類等。
在一實施例中，神經網路架構71是實作於圖1的光學檢測裝置11。例如，神經網路架構71可以是以軟體、韌體或硬體形式與圖2的處理電路112結合。或者，在另一實施例中，神經網路架構71則是實作於另一個伺服器(亦稱為伺服器網路)。此伺服器可執行所述瑕疵圖案的自動檢測。
圖8是根據本發明的一實施例所繪示的光學檢測系統的示意圖。請參照圖8，光學檢測系統80包括光學檢測裝置81與伺服器82。光學檢測裝置81經由網路801連接至伺服器82。網路801可以是有線網路或無線網路。此外，網路801可以是本地區域網路或網際網路(Internet)。
在本實施例中，伺服器82可具有中央處理器、儲存電路及各式輸入/輸出介面電路，以協同運作執行所需的操作功能。特別是，伺服器82具有用以自動檢測瑕疵圖案的神經網路架構(例如圖7的神經網路架構71)。光學檢測裝置81可經由光學鏡頭擷取待測物的第一影像並對第一影像執行邊緣偵測，以獲得具有邊緣圖案的第二影像。光學檢測裝置81可經由網路801將第二影像傳送至伺服器82。伺服器82可基於經訓練的神經網路架構對第二影像執行瑕疵檢測操作，以檢測第二影像中的瑕疵圖案。
在本實施例中，伺服器82可自動地基於樣本影像產生至少一組成對影像並根據此成對影像對神經網路架構進行訓練。或者，在一實施例中，根據樣本影像產生成對影像的操作亦可以是由光學檢測裝置81或其他的電腦裝置執行，並可經由網路801將成對影像提供給伺服器82進行訓練。相關的操作細節皆已詳述於上，在此便不贅述。
圖9是根據本發明的一實施例所繪示的光學檢測方法的流程圖。請參照圖9，在步驟S901中，經由光學鏡頭擷取待測物的第一影像。在步驟S902中，對所述第一影像執行邊緣偵測，以獲得具有邊緣圖案的第二影像。在步驟S903中，基於神經網路架構對所述第二影像執行瑕疵檢測操作，以檢測所述第二影像中的瑕疵圖案。
圖10是根據本發明的一實施例所繪示的光學檢測方法的流程圖。請參照圖10，在步驟S1001中，獲得樣本影像。在步驟S1002中，根據所述樣本影像產生無瑕影像與瑕疵影像。在步驟S1003中，根據所述無瑕影像與所述瑕疵影像訓練神經網路架構。
須注意的是，圖9與圖10中各步驟已詳細說明如上，在此便不再贅述。此外，圖9與圖10中各步驟可以實作為多個程式碼或是電路，本發明不加以限制。進一步，圖9與圖10中的方法可以搭配以上範例實施例使用，也可以單獨使用，本發明不加以限制。在圖1的一實施例中，處理電路112與儲存電路113之組合亦可以實作為至少一個功能模組(亦稱為光學檢測模組)。所述光學檢測模組可包括軟體模組、韌體模組及/或硬體模組並可執行圖9及/或圖10中的各步驟。相關操作細節皆已詳述於上，在此便不贅述。
綜上所述，本發明實施例可有效提高光學檢測裝置或光學檢測系統對於瑕疵圖案的檢測正確性。在一實施例中，由於對於瑕疵圖案的檢測正確性提高，故所述光學檢測裝置或光學檢測系統的檢測結果可不需經目檢人員雙重確認，有效提高檢測效率。此外，藉由自動且隨機產生對應於樣本影像的成對影像，可以有效提升對於神經網路架構的訓練效率。例如，相對於以人工方式產生具有瑕疵的訓練樣本對神經網路架構進行訓練，本發明實施例所提供的自動產生成對影像並對神經網路架構進行訓練，可大幅減少對於神經網路架構進行訓練所需的時間，並可減少人力成本。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10、80‧‧‧光學檢測系統11、81‧‧‧光學檢測裝置111‧‧‧光學鏡頭12‧‧‧移載裝置13‧‧‧輔助光源裝置101‧‧‧待測物112‧‧‧處理電路113‧‧‧儲存電路114‧‧‧輸入/輸出介面電路31、32‧‧‧影像301‧‧‧瑕疵302、303‧‧‧邊緣圖案41、51‧‧‧樣本影像410、420、430、61‧‧‧影像區域411(1)~411(P)、421(1)~421(Q)、431(1)~431(R)、511(1)~511(4)‧‧‧瑕疵影像412(1)~412(P)、422(1)~422(Q)、432(1)~432(R)、512(1)~512(4)‧‧‧無瑕影像501~504、604‧‧‧瑕疵圖案601、602‧‧‧像素603‧‧‧圖案遮罩71‧‧‧神經網路架構710‧‧‧成對影像720‧‧‧特徵提取器701‧‧‧卷積群層702‧‧‧線性整流單元703‧‧‧池化群層730‧‧‧全連結群層740‧‧‧正規化輸出層750‧‧‧分類結果760‧‧‧比較模組770‧‧‧權重調整模組82‧‧‧伺服器801‧‧‧網路S901~S903、S1001~S1003‧‧‧步驟
圖1是根據本發明的一實施例所繪示的光學檢測系統的示意圖。 圖2是根據本發明的一實施例所繪示的光學檢測裝置的示意圖。 圖3A是根據本發明的一實施例所繪示的第一影像的示意圖。 圖3B是根據本發明的一實施例所繪示的第二影像的示意圖。 圖4是根據本發明的一實施例所繪示的根據樣本影像產生無瑕影像與瑕疵影像的示意圖。 圖5是根據本發明的一實施例所繪示的根據樣本影像產生無瑕影像與瑕疵影像的示意圖。 圖6是根據本發明的一實施例所繪示的隨機產生瑕疵圖案的示意圖。 圖7是根據本發明的一實施例所繪示的神經網路架構的示意圖。 圖8是根據本發明的一實施例所繪示的光學檢測系統的示意圖。 圖9是根據本發明的一實施例所繪示的光學檢測方法的流程圖。 圖10是根據本發明的一實施例所繪示的光學檢測方法的流程圖。
S901~S903‧‧‧步驟

Claims (24)

  1. 一種光學檢測方法，用於包括一光學鏡頭的一光學檢測裝置，該光學檢測方法包括： 經由該光學鏡頭擷取一待測物的一第一影像； 對該第一影像執行一邊緣偵測，以獲得具有一邊緣圖案的一第二影像；以及 基於一神經網路架構對該第二影像執行一瑕疵檢測操作，以檢測該第二影像中的一瑕疵圖案。
  2. 如申請專利範圍第1項所述的光學檢測方法，其中對該第一影像執行該邊緣偵測以獲得具有該邊緣圖案的該第二影像的步驟包括： 基於三原色光模式中的一紅色模式、一綠色模式及一藍色模式的至少其中之一來對該第一影像執行該邊緣偵測以獲得具有該邊緣圖案的該第二影像。
  3. 如申請專利範圍第1項所述的光學檢測方法，更包括： 獲得一樣本影像； 根據該樣本影像產生一第一無瑕影像與一第一瑕疵影像，其中該第一瑕疵影像具有一第一瑕疵圖案，該第一無瑕影像不具有該第一瑕疵圖案，且該第一無瑕影像與該第一瑕疵影像皆對應於該樣本影像中的一第一影像區域；以及 根據該第一無瑕影像與該第一瑕疵影像訓練該神經網路架構。
  4. 如申請專利範圍第3項所述的光學檢測方法，其中根據該樣本影像產生該第一無瑕影像與該第一瑕疵影像的步驟包括： 對該樣本影像執行一色度調整操作、一亮度調整操作及一圖案縮放操作的至少其中之一，以產生該第一無瑕影像與該第一瑕疵影像。
  5. 如申請專利範圍第3項所述的光學檢測方法，其中根據該樣本影像產生該第一無瑕影像與該第一瑕疵影像的步驟包括： 隨機在該第一影像區域中加入該第一瑕疵圖案，以產生該第一瑕疵影像。
  6. 如申請專利範圍第5項所述的光學檢測方法，其中隨機在該第一影像區域中加入該第一瑕疵圖案的步驟包括： 選擇該第一影像區域中的至少一第一像素； 選擇該第一影像區域中與該至少一第一像素中的至少一者相鄰的至少一第二像素；以及 根據該至少一第一像素與該至少一第二像素產生該第一瑕疵圖案。
  7. 如申請專利範圍第3項所述的光學檢測方法，更包括： 根據該樣本影像產生一第二無瑕影像與一第二瑕疵影像，其中該第二瑕疵影像具有一第二瑕疵圖案，該第二無瑕影像不具有該第二瑕疵圖案，該第二無瑕影像與該第二瑕疵影像皆對應於該樣本影像中的該第一影像區域，該第一無瑕影像與該第二無瑕影像之間具有一色度差異、一亮度差異及一圖案尺寸差異的至少其中之一，且該第一瑕疵影像與該第二瑕疵影像之間具有該色度差異、該亮度差異及該圖案尺寸差異的該至少其中之一；以及 根據該第二無瑕影像與該第二瑕疵影像訓練該神經網路架構。
  8. 如申請專利範圍第3項所述的光學檢測方法，更包括： 根據該樣本影像產生一第三無瑕影像與一第三瑕疵影像，其中該第三瑕疵影像具有一第三瑕疵圖案，該第三無瑕影像不具有該第三瑕疵圖案，該第三無瑕影像與該第三瑕疵影像皆對應於該樣本影像中的該第一影像區域，且該第三瑕疵圖案不同於該第一瑕疵圖案；以及 根據該第三無瑕影像與該第三瑕疵影像訓練該神經網路架構。
  9. 一種光學檢測裝置，包括： 一光學鏡頭，用以擷取一待測物的一第一影像；以及 一處理電路，耦接至該光學鏡頭並且用以對該第一影像執行一邊緣偵測，以獲得具有一邊緣圖案的一第二影像， 其中該處理電路更用以基於一神經網路架構對該第二影像執行一瑕疵檢測操作，以檢測該第二影像中的一瑕疵圖案。
  10. 如申請專利範圍第9項所述的光學檢測裝置，其中該處理電路對該第一影像執行該邊緣偵測以獲得具有該邊緣圖案的該第二影像的操作包括： 基於三原色光模式中的一紅色模式、一綠色模式及一藍色模式的至少其中之一來對該第一影像執行該邊緣偵測以獲得具有該邊緣圖案的該第二影像。
  11. 如申請專利範圍第9項所述的光學檢測裝置，其中該處理電路更用以： 獲得一樣本影像； 根據該樣本影像產生一第一無瑕影像與一第一瑕疵影像，其中該第一瑕疵影像具有一第一瑕疵圖案，該第一無瑕影像不具有該第一瑕疵圖案，且該第一無瑕影像與該第一瑕疵影像皆對應於該樣本影像中的一第一影像區域；以及 根據該第一無瑕影像與該第一瑕疵影像訓練該神經網路架構。
  12. 如申請專利範圍第11項所述的光學檢測裝置，其中該處理電路根據該樣本影像產生該第一無瑕影像與該第一瑕疵影像的操作包括： 對該樣本影像執行一色度調整操作、一亮度調整操作及一圖案縮放操作的至少其中之一，以產生該第一無瑕影像與該第一瑕疵影像。
  13. 如申請專利範圍第11項所述的光學檢測裝置，其中該處理電路根據該樣本影像產生該第一無瑕影像與該第一瑕疵影像的操作包括： 隨機在該第一影像區域中加入該第一瑕疵圖案，以產生該第一瑕疵影像。
  14. 如申請專利範圍第13項所述的光學檢測裝置，其中該處理電路隨機在該第一影像區域中加入該第一瑕疵圖案的操作包括： 選擇該第一影像區域中的至少一第一像素； 選擇該第一影像區域中與該至少一第一像素中的至少一者相鄰的至少一第二像素；以及 根據該至少一第一像素與該至少一第二像素產生該第一瑕疵圖案。
  15. 如申請專利範圍第11項所述的光學檢測裝置，其中該處理電路更用以： 根據該樣本影像產生一第二無瑕影像與一第二瑕疵影像，其中該第二瑕疵影像具有一第二瑕疵圖案，該第二無瑕影像不具有該第二瑕疵圖案，該第二無瑕影像與該第二瑕疵影像皆對應於該樣本影像中的該第一影像區域，該第一無瑕影像與該第二無瑕影像之間具有一色度差異、一亮度差異及一圖案尺寸差異的至少其中之一，且該第一瑕疵影像與該第二瑕疵影像之間具有該色度差異、該亮度差異及該圖案尺寸差異的該至少其中之一；以及 根據該第二無瑕影像與該第二瑕疵影像訓練該神經網路架構。
  16. 如申請專利範圍第11項所述的光學檢測裝置，其中該處理電路更用以： 根據該樣本影像產生一第三無瑕影像與一第三瑕疵影像，其中該第三瑕疵影像具有一第三瑕疵圖案，該第三無瑕影像不具有該第三瑕疵圖案，該第三無瑕影像與該第三瑕疵影像皆對應於該樣本影像中的該第一影像區域，且該第三瑕疵圖案不同於該第一瑕疵圖案；以及 根據該第三無瑕影像與該第三瑕疵影像訓練該神經網路架構。
  17. 一種光學檢測系統，包括： 一光學檢測裝置，用以擷取一待測物的一第一影像並對該第一影像執行一邊緣偵測，以獲得具有一邊緣圖案的一第二影像；以及 一伺服器，耦接至該光學檢測裝置並用以基於一神經網路架構對該第二影像執行一瑕疵檢測操作，以檢測該第二影像中的一瑕疵圖案。
  18. 如申請專利範圍第17項所述的光學檢測系統，其中該光學檢測裝置對該第一影像執行該邊緣偵測以獲得具有該邊緣圖案的該第二影像的操作包括： 基於三原色光模式中的一紅色模式、一綠色模式及一藍色模式的至少其中之一來對該第一影像執行該邊緣偵測以獲得具有該邊緣圖案的該第二影像。
  19. 如申請專利範圍第17項所述的光學檢測系統，其中該伺服器更用以： 獲得一樣本影像； 根據該樣本影像產生一第一無瑕影像與一第一瑕疵影像，其中該第一瑕疵影像具有一第一瑕疵圖案，該第一無瑕影像不具有該第一瑕疵圖案，且該第一無瑕影像與該第一瑕疵影像皆對應於該樣本影像中的一第一影像區域；以及 根據該第一無瑕影像與該第一瑕疵影像訓練該神經網路架構。
  20. 如申請專利範圍第19項所述的光學檢測系統，其中該伺服器根據該樣本影像產生該第一無瑕影像與該第一瑕疵影像的操作包括： 對該樣本影像執行一色度調整操作、一亮度調整操作及一圖案縮放操作的至少其中之一，以產生該第一無瑕影像與該第一瑕疵影像。
  21. 如申請專利範圍第17項所述的光學檢測系統，其中該伺服器根據該樣本影像產生該第一無瑕影像與該第一瑕疵影像的操作包括： 隨機在該第一影像區域中加入該第一瑕疵圖案，以產生該第一瑕疵影像。
  22. 如申請專利範圍第21項所述的光學檢測系統，其中該伺服器隨機在該第一影像區域中加入該第一瑕疵圖案的操作包括： 選擇該第一影像區域中的至少一第一像素； 選擇該第一影像區域中與該至少一第一像素中的至少一者相鄰的至少一第二像素；以及 根據該至少一第一像素與該至少一第二像素產生該第一瑕疵圖案。
  23. 如申請專利範圍第17項所述的光學檢測系統，其中該伺服器更用以： 根據該樣本影像產生一第二無瑕影像與一第二瑕疵影像，其中該第二瑕疵影像具有一第二瑕疵圖案，該第二無瑕影像不具有該第二瑕疵圖案，該第二無瑕影像與該第二瑕疵影像皆對應於該樣本影像中的該第一影像區域，該第一無瑕影像與該第二無瑕影像之間具有一色度差異、一亮度差異及一圖案尺寸差異的至少其中之一，且該第一瑕疵影像與該第二瑕疵影像之間具有該色度差異、該亮度差異及該圖案尺寸差異的該至少其中之一；以及 根據該第二無瑕影像與該第二瑕疵影像訓練該神經網路架構。
  24. 如申請專利範圍第17項所述的光學檢測系統，其中該伺服器更用以： 根據該樣本影像產生一第三無瑕影像與一第三瑕疵影像，其中該第三瑕疵影像具有一第三瑕疵圖案，該第三無瑕影像不具有該第三瑕疵圖案，該第三無瑕影像與該第三瑕疵影像皆對應於該樣本影像中的該第一影像區域，且該第三瑕疵圖案不同於該第一瑕疵圖案；以及 根據該第三無瑕影像與該第三瑕疵影像訓練該神經網路架構。
TW107122594A 2018-06-29 2018-06-29 光學檢測方法、光學檢測裝置及光學檢測系統 TWI787296B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107122594A TWI787296B (zh) 2018-06-29 2018-06-29 光學檢測方法、光學檢測裝置及光學檢測系統
CN201811366351.9A CN110658198B (zh) 2018-06-29 2018-11-16 光学检测方法、光学检测装置及光学检测系统
US16/455,735 US11017259B2 (en) 2018-06-29 2019-06-27 Defect inspection method, defect inspection device and defect inspection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107122594A TWI787296B (zh) 2018-06-29 2018-06-29 光學檢測方法、光學檢測裝置及光學檢測系統

Publications (2)

Publication Number Publication Date
TW202001798A true TW202001798A (zh) 2020-01-01
TWI787296B TWI787296B (zh) 2022-12-21

Family

ID=69028561

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107122594A TWI787296B (zh) 2018-06-29 2018-06-29 光學檢測方法、光學檢測裝置及光學檢測系統

Country Status (3)

Country Link
US (1) US11017259B2 (zh)
CN (1) CN110658198B (zh)
TW (1) TWI787296B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI777307B (zh) * 2020-11-20 2022-09-11 南臺學校財團法人南臺科技大學 在太陽能模組影像中以深度學習進行太陽能電池瑕疵辨識的方法、電腦程式及電腦可讀取媒體
TWI848253B (zh) * 2021-12-24 2024-07-11 友達光電股份有限公司 瑕疵檢查方法及系統

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI653605B (zh) * 2017-12-25 2019-03-11 由田新技股份有限公司 利用深度學習的自動光學檢測方法、設備、電腦程式、電腦可讀取之記錄媒體及其深度學習系統
CH716479A1 (de) * 2019-08-02 2021-02-15 Finatec Holding Ag Verfahren und Vorrichtung zur optischen Prüfung von Hohlkörpern.
US11774371B2 (en) 2020-05-22 2023-10-03 Kla Corporation Defect size measurement using deep learning methods
DE102020120257A1 (de) 2020-07-31 2022-02-03 Smartvision Gmbh Verfahren und Analysevorrichtung zum Erzeugen von Trainings- oder Korrekturdaten für ein künstliches neuronales Netz
CN114184138B (zh) * 2020-08-24 2024-06-04 深圳中科飞测科技股份有限公司 一种检测装置和检测方法
CN111929309B (zh) * 2020-09-14 2021-01-08 成都卓识维景科技有限公司 一种基于机器视觉的铸造件外观缺陷检测方法及系统
US11900581B2 (en) 2020-09-22 2024-02-13 Future Dial, Inc. Cosmetic inspection system
US11836912B2 (en) * 2020-09-22 2023-12-05 Future Dial, Inc. Grading cosmetic appearance of a test object based on multi-region determination of cosmetic defects
DE102020216289A1 (de) 2020-12-18 2022-06-23 Fresenius Medical Care Deutschland Gmbh Verfahren zur klassifizierung von bildern und verfahren zur optischen prüfung eines objekts
CN112304960B (zh) * 2020-12-30 2021-08-10 中国人民解放军国防科技大学 一种基于深度学习的高分辨率图像物体表面缺陷检测方法
CN113111946A (zh) * 2021-04-15 2021-07-13 宁波九纵智能科技有限公司 一种集手眼脑于一体的品质管控方法及其系统
CN112987356B (zh) * 2021-04-16 2021-08-31 高视科技(苏州)有限公司 液晶面板底部异物滤除装置
TWI802873B (zh) * 2021-04-26 2023-05-21 威盛電子股份有限公司 透明基板薄膜的瑕疵檢測方法及其系統
US20230133515A1 (en) * 2021-11-04 2023-05-04 Modern Cleaning Concept L.P. System and method for randomized verification of services performed
DE102023108878A1 (de) 2023-04-06 2024-10-10 Audi Aktiengesellschaft Verfahren und Vorrichtung zum Prüfen einer flexiblen Leiterplatte, insbesondere bei Herstellung, auf Fehler

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3485052B2 (ja) * 1999-12-16 2004-01-13 日本電気株式会社 参照画像作成方法、パターン検査装置及び参照画像作成プログラムを記録した記録媒体
US7522763B2 (en) * 2004-07-30 2009-04-21 Mitutoyo Corporation Method of measuring occluded features for high precision machine vision metrology
TW201043947A (en) * 2009-06-11 2010-12-16 Zhi-Bin Sun Inspection method, inspection device and mobile phone having the inspection device
CN104899871B (zh) * 2015-05-15 2017-08-29 广东工业大学 一种ic元件焊点空焊检测方法
CN106409711B (zh) * 2016-09-12 2019-03-12 佛山市南海区广工大数控装备协同创新研究院 一种太阳能硅晶片缺陷检测系统及方法
US11047806B2 (en) * 2016-11-30 2021-06-29 Kla-Tencor Corporation Defect discovery and recipe optimization for inspection of three-dimensional semiconductor structures
CN108038843A (zh) * 2017-11-29 2018-05-15 英特尔产品（成都）有限公司 一种用于缺陷检测的方法、装置和设备
JP6924413B2 (ja) * 2017-12-25 2021-08-25 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI777307B (zh) * 2020-11-20 2022-09-11 南臺學校財團法人南臺科技大學 在太陽能模組影像中以深度學習進行太陽能電池瑕疵辨識的方法、電腦程式及電腦可讀取媒體
TWI848253B (zh) * 2021-12-24 2024-07-11 友達光電股份有限公司 瑕疵檢查方法及系統

Also Published As

Publication number Publication date
TWI787296B (zh) 2022-12-21
US11017259B2 (en) 2021-05-25
CN110658198B (zh) 2023-04-18
CN110658198A (zh) 2020-01-07
US20200005070A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
TWI787296B (zh) 光學檢測方法、光學檢測裝置及光學檢測系統
TWI689875B (zh) 利用深度學習系統的自動光學檢測分類設備及其訓練設備
US8045789B2 (en) Method and apparatus for inspecting defect of pattern formed on semiconductor device
JP2018005640A (ja) 分類器生成装置、画像検査装置、及び、プログラム
US20070047801A1 (en) Defect detecting method and defect detecting device
JP2017049974A (ja) 識別器生成装置、良否判定方法、およびプログラム
JP2018005639A (ja) 画像分類装置、画像検査装置、及び、プログラム
CN105486687A (zh) 触摸面板检查装置和方法
JP2004294202A (ja) 画面の欠陥検出方法及び装置
JP5795046B2 (ja) ソルダージョイントの検査方法
TWI743837B (zh) 訓練資料增量方法、電子裝置與電腦可讀取記錄媒體
JP2007147442A (ja) 木材の検査方法及び装置及びプログラム
TWI798650B (zh) 自動光學檢測方法、自動光學檢測系統及記錄媒體
JP2020112483A (ja) 外観検査システム、計算モデル構築方法及び計算モデル構築プログラム
JP2005345290A (ja) 筋状欠陥検出方法及び装置
JP2005165387A (ja) 画面のスジ欠陥検出方法及び装置並びに表示装置
TWI722861B (zh) 分類方法及分類系統
WO2020158630A1 (ja) 検出装置、学習器、コンピュータプログラム、検出方法及び学習器の生成方法
JP2023177926A (ja) 金属セラミックス複合基板の表面傷検出方法、及び、その装置
JP2009264882A (ja) 外観検査装置
TWI493177B (zh) 一種檢測具週期性結構光學薄膜的瑕疵檢測方法及其檢測裝置
JP2002250700A (ja) パターン検査方法およびその装置
JP2005140655A (ja) シミ欠陥の検出方法及びその検出装置
JP2014135007A (ja) フラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法
JP2006145228A (ja) ムラ欠陥検出方法及び装置