TWI654584B - 強化工件光學特徵之設備、方法、強化工件光學特徵之深度學習方法及非暫態電腦可讀取記錄媒體 - Google Patents

強化工件光學特徵之設備、方法、強化工件光學特徵之深度學習方法及非暫態電腦可讀取記錄媒體

Info

Publication number
TWI654584B
TWI654584B TW107106952A TW107106952A TWI654584B TW I654584 B TWI654584 B TW I654584B TW 107106952 A TW107106952 A TW 107106952A TW 107106952 A TW107106952 A TW 107106952A TW I654584 B TWI654584 B TW I654584B
Authority
TW
Taiwan
Prior art keywords
workpiece
light source
image
variable
feature
Prior art date
Application number
TW107106952A
Other languages
English (en)
Other versions
TW201939441A (zh
Inventor
鄒嘉駿
Original Assignee
由田新技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 由田新技股份有限公司 filed Critical 由田新技股份有限公司
Priority to TW107106952A priority Critical patent/TWI654584B/zh
Priority to CN201810432174.3A priority patent/CN110231340B/zh
Priority to US16/265,334 priority patent/US20190272628A1/en
Application granted granted Critical
Publication of TWI654584B publication Critical patent/TWI654584B/zh
Publication of TW201939441A publication Critical patent/TW201939441A/zh
Priority to US17/082,893 priority patent/US20210073975A1/en

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G06T5/77—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N21/13—Moving of cuvettes or solid samples to or from the investigating station
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/60—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0112—Apparatus in one mechanical, optical or electronic block
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8809—Adjustment for highlighting flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8874—Taking dimensions of defect into account
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Abstract

本發明係提供一種強化工件光學特徵之設備，包含至少一個可變影像擷取裝置、至少一個可變光源裝置、一影像處理模組、以及一控制裝置。該可變影像擷取裝置對一工件進行影像擷取，且該可變影像擷取裝置的外在參數與內在參數為可調整的。該可變光源裝置對該工件提供光源，且該可變光源裝置的光學輸出特性為可調整的。該影像處理模組根據該瑕疵影像資訊產生一特徵強化資訊。該控制裝置根據該特徵強化資訊調整該外在參數、該內在參數、及該光學輸出特性，並控制該可變影像擷取裝置及該可變光源裝置之操作，藉以獲得該工件的特徵強化影像。

Description

強化工件光學特徵之設備、方法、強化工件光學特徵之深度學習 方法及非暫態電腦可讀取記錄媒體
本發明有關於一種強化工件光學特徵之設備、方法、強化工件光學特徵之深度學習方法及非暫態電腦可讀取記錄媒體，特別是指一種用以增加瑕疵及缺陷的強化工件光學特徵之設備、方法、強化工件光學特徵之深度學習方法及非暫態電腦可讀取記錄媒體。
人工智慧(Artificial Intelligence,AI)亦稱機器智慧，是指由人製造出來的機器，經由模擬人類推理、知識、規劃、學習、交流、感知、移動及操作物體等能力而表現出來的類人智慧。隨著科技的發展，人工智慧目前已經有了初步的成果，特別是在影像辨識、語言分析、棋類遊戲等單一面向的能力已經可以超越人類的水準。
早期的技術係利用機器學習(Machine Learning)分析影像數據，並由數據中從中學習，判斷或預測待測物的狀態。隨 著演算法的進步以及硬體設備效能的提升，深度學習(Deep Learning)已經有了長足的突破，在類神經網路的架構下，機器的學習不需要透過人工揀選的方式幫助機器訓練，而是透過強大的硬體效能及演算法的加持，將影像直接輸入類神經網路後讓機器自行學習，預計深度學習在未來將逐漸取代機器學習的方式成為機器視覺及影像辨識的主流技術。
本發明的目的，在於透過光學的方式強化影像中的缺陷特徵，並將強化後的影像傳送至深度學習模組進行訓練，藉以增加卷積神經網路對於工件瑕疵的辨識率。
為達到上述目的，本發明係提供一種強化工件光學特徵之設備，自外部接收一工件與對應的一瑕疵影像資訊，該設備包含至少一個可變影像擷取裝置、至少一個可變光源裝置、一影像處理模組、以及一控制裝置。該可變影像擷取裝置於一工作區域內，對一工件進行影像擷取，其中該可變影像擷取裝置的外在參數與內在參數為可調整的。該可變光源裝置於該工作區域內，對該工件提供光源，其中該可變光源裝置的光學輸出特性為可調整的。該影像處理模組根據該瑕疵影像資訊，以產生一特徵強化資訊。該控制裝置根據該特徵強化資訊調整該外在參數、該內在參數、及/或該光學輸出特性，並控制該可變影像擷取裝置及/或該可變光源裝置之操作，藉以獲得該工件的特徵強化影像。
本發明的另一目的，在於提供一種強化工件光學特徵的方法，包含：自外部接收一工件與對應的一瑕疵影像資訊；移動該工件至一工作區域；根據該瑕疵影像資訊，產生一特徵強 化資訊；根據該特徵強化資訊，調整一可變光源裝置的光學輸出特性，藉以對該工作區域上的該工件提供光源；根據該特徵強化資訊，調整一可變影像擷取裝置之外在參數與內在參數，藉以影像擷取於該工作區域上的該工件，以獲得該工件之特徵強化影像。
本發明的另一目的，在於提供一種強化工件光學特徵之深度學習方法，包括：自外部接收一工件與對應的一瑕疵影像資訊；移動該工件至一工作區域；根據該瑕疵影像資訊，產生一特徵強化資訊；根據該特徵強化資訊，調整一可變光源裝置的光學輸出特性，藉以對該工作區域上的該工件提供光源；根據該特徵強化資訊，調整一可變影像擷取裝置之外在參數與內在參數，藉以影像擷取於該工作區域上的該工件，以獲得該工件之一特徵強化影像；正規化該特徵強化影像，以形成一訓練樣本；以及提供該訓練樣本至一深度學習模型，藉以訓練該深度學習模型分辨該瑕疵影像資訊。
本發明的更一目的，在於提供一種非暫態電腦可讀取記錄媒體，具有一電腦程式，當控制器載入該程式並執行後，可完成如上所述的方法。
本發明可以有效的強化工件影像的瑕疵及缺陷於影像中的表現，有助於提升深度學習模型對於瑕疵及缺陷特徵的辨識率。
本發明可以擷取工件於各種不同光源環境下的影像表現，並將其輸入至深度學習模型中進行學習，同樣有助於提升深度學習模型對於瑕疵及缺陷特徵的辨識率。
10‧‧‧自動光學檢測設備
11‧‧‧影像擷取裝置
12‧‧‧影像處理裝置
20‧‧‧移載裝置
30‧‧‧強化工件光學特徵之設備
31‧‧‧可變影像擷取裝置
311‧‧‧第二移動式載台
312‧‧‧升降裝置
313‧‧‧旋轉裝置
32‧‧‧可變光源裝置
321‧‧‧光源控制模組
32A‧‧‧光源強度控制單元
32B‧‧‧光源角度控制單元
32C‧‧‧光源頻譜控制單元
322‧‧‧第一移動式載台
33‧‧‧影像處理模組
33A‧‧‧影像分析模組
33B‧‧‧缺陷定位模組
33C‧‧‧缺陷面積計算模組
34‧‧‧控制裝置
35‧‧‧運算器
L1‧‧‧環形燈
L2‧‧‧側向燈
L3‧‧‧背光燈
201‧‧‧卷積群層
202‧‧‧線性整流單元
203‧‧‧池化群層
204‧‧‧全連結群層
205‧‧‧正規化輸出層
206‧‧‧比較模組
207‧‧‧權重調整模組
P‧‧‧工件
步驟S11-步驟S19
圖1，本發明光學特徵強化系統的方塊示意圖。
圖2，本發明中影像處理模組的功能方塊示意圖。
圖3，本發明中可變光源裝置的光源控制模組示意圖。
圖4，本發明中可變光源裝置其中一較佳實施態樣的示意圖。
圖5，本發明可變光源裝置另一較佳實施態樣的示意圖。
圖6，本發明中可變影像擷取裝置及其移載裝置的外觀示意圖(一)。
圖7，本發明中可變影像擷取裝置及其移載裝置的外觀示意圖(二)。
圖8，本發明中卷積神經網路的訓練方塊示意圖。
圖9，本發明強化工件缺陷特徵以增加深度學習瑕疵辨識率的方法流程示意圖(一)。
圖10，本發明強化工件缺陷特徵以增加深度學習瑕疵辨識率的方法流程示意圖(二)。
有關本發明之詳細說明及技術內容，現就配合圖式說明如下。再者，本發明中之圖式，為說明方便，其比例未必照實際比例繪製，該等圖式及其比例並非用以限制本發明之範圍，在此先行敘明。
以下係針對本發明一較佳實施態樣進行說明，請參閱「圖1」，係本發明光學特徵強化系統的方塊示意圖。
本發明主要包括自動光學檢測設備10、以及一或複數個設置於該自動光學檢測設備10下游的移載裝置20以及強化工件光學特徵之設備30。該移載裝置20將該自動光學檢測設備10檢測過後的工件，移載至該強化工件光學特徵之設備30的工作區域內。該強化工件光學特徵之設備30則經由補光強化工件中的缺陷特徵，以供後續輸出至卷積神經網路系統(CNN)進行訓練程序。
所述的自動光學檢測設備10包括一影像擷取裝置11以及一連接至該影像擷取裝置11的影像處理裝置12。該影像擷取裝置11拍攝工件並經由拍攝工件後獲取工件影像。於一較佳實施態樣中，該影像擷取裝置11係可以為面掃描攝影機(Area Scan Camera)或線掃描攝影機(Line Scan Camera)，於本發明中不予以限制。該影像處理裝置12係用以進行影像分析及影像處理程序，用以產生一瑕疵影像資訊。其中，所述的瑕疵影像資訊例如包括缺陷的類別資訊及/或缺陷位置資訊。
所述的移載裝置20設置於該自動光學檢測設備10的下游位置，用以將該自動光學檢測設備10檢測完成的工件，透過自動或半自動化的方式移載至該強化工件光學特徵之設備30的工作區域。於一較佳實施態樣中，該移載裝置20可以由複數個工作裝置所構成，透過複數個工作裝置間相互間的協同工作，以較短或較佳的路徑傳遞工件，並盡量的避免在傳遞或移載工件的過程中碰撞或損壞工件。具體而言，該移載裝置20例如可以為傳輸帶(Conveying belt)、線性移動載台、真空吸附裝置、多軸載具、多軸機械手臂(Multi-Axis Robot Arm)、翻面裝置(Flipping Device) 等、或其他類此的裝置、或更甚者由複數個上述裝置相互協同所構成的設備，於本發明中不予以限制。
所述的強化工件光學特徵之設備30係設置於該自動光學檢測裝置10的下游位置以經由該移載裝置20取得檢測過後的工件。該強化工件光學特徵之設備30包括至少一可變影像擷取裝置31、至少一可變光源裝置32、一影像處理模組33、以及一連接至該可變影像擷取裝置31、該可變光源裝置32及該影像處理模組33的控制裝置34、以及一耦接至該控制裝置34的運算器35。該可變光源裝置32及該可變影像擷取裝置31係設置於一工作區域內，用以對工件進行輔助照明並進一步拍攝工件的影像。
該可變光源裝置32用以對工件提供光源，其中該可變光源裝置32的光學輸出特性是可調整的。具體而言，該可變光源裝置32可調整的該光學輸出特性包括光源的強度、照射角度、或頻譜等。
於一較佳實施態樣中，該可變光源裝置32可以提供均勻光、平行光、環形光、點光源、聚光燈、區域光、體積光等。又於一較佳實施態樣中，該可變光源裝置32可以提供複數個設置於不同角度位置的燈具(例如：正面光源、背面光源、以及不同角度的側向光源等)，依據控制裝置34的指令啟動對應角度的光源進行拍攝，以獲取不同光源照射下的工件影像；亦或是透過移動式載台，將燈具移動至不同的位置以實現多角度或是提供局部光源的效果。
又於一較佳實施態樣中，該可變光源裝置32可以提供不同頻譜的光源，例如白光、紅光、藍光、綠光、黃光、UV光、 雷射光等，透過將不同頻譜的光源照射至工件，凸顯工件的缺陷特徵。
又於一較佳實施態樣中，該可變光源裝置32可以依據控制裝置34的指令，局部性的對工件的瑕疵提供照明，於本發明中不予以限制。
該可變影像擷取裝置31用以對工件進行影像擷取，其中該可變影像擷取裝置31的外在參數與內在參數為可調整的。其中，所述的內在參數包括焦距、像距、鏡頭投影中心成像在影像上的位置、像素的長寬比、鏡頭扭曲變形的參數等；外在參數包括攝影機在三維座標中的位置與拍攝方向，包含旋轉矩陣與位移矩陣等。
於一較佳實施態樣中，該可變影像擷取裝置31係可以為面掃描攝影機(Area Scan Camera)或線掃描攝影機(Line Scan Camera)，此部分端看設備配置上的需求，於本發明中不予以限制。
該影像處理模組33用以根據該瑕疵影像資訊，以產生一特徵強化資訊。具體而言，所述的特徵強化資訊係可以為一系列控制參數的組合，該控制參數係依據缺陷的類別、位置而生成；該控制參數例如為具體的座標、照明對策、或是工作流程等。於一較佳實施態樣中，可以透過建立資料庫並依據依據缺陷的類別、位置找到對應的控制參數，該等控制參數用以輸出至該控制裝置，該控制裝置34可預先調整及/或即時(real time)調整該可變影像擷取裝置31及可變光源裝置32的輸出。
該控制裝置34根據該特徵強化資訊調整該外在參數、該內在參數、及/或該光學輸出特性，並控制該可變影像擷取 裝置31及/或該可變光源裝置32之操作，藉以獲得該工件的特徵強化影像。
於一較佳實施態樣中，該控制裝置34主要包含有處理器，以及連接於該處理器的儲存單元。在本實施例中，處理器以及儲存單元可共同構成一電腦或處理器，例如是個人電腦、工作站、主機電腦或其他型式之電腦或處理器，在此並不限制其種類。在本實施態樣中，處理器可耦接於儲存單元。處理器例如是中央處理器(Central Processing Unit,CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor,DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)、可程式化邏輯裝置(Programmable Logic Device,PLD)或其他類似裝置或這些裝置的組合。
所述的運算器35係用以載入儲存裝置後執行一深度學習模型，根據該特徵強化影像，藉以分辨該瑕疵影像資訊。所述的深度學習模型例如可以但不限於LeNet模型、AlexNet模型、GoogleNet模型或VGG模型(Visual Geometry Group)、或是依據上述模型作為基礎進行修改及擴充的卷積神經網路。
以下請一併參閱「圖2」，係本發明中影像處理模組的功能方塊示意圖。
於該自動光學檢測設備10拍攝該工件影像後，係針對該工件影像中的缺陷特徵進行標記，並將瑕疵影像資訊傳送至影像處理模組33，經由影像處理模組33輸出特徵強化資訊至下游的強化工件光學特徵之設備30，以便下游的強化工件光學特徵之 設備30控制該可變影像擷取裝置31及/或該可變光源裝置32之操作。該影像處理模組33依據其所執行的功能係包括影像分析模組33A、缺陷定位模組33B、缺陷面積計算模組33C。
所述的影像分析模組33A係用以影像分析該瑕疵影像資訊，以確認缺陷特徵及缺陷種類。具體而言，該影像分析模組33A係可以執行影像的預處理程序(例如影像強化、去除雜訊、加強對比、加強邊緣、擷取特徵、影像壓縮、影像轉換等)，並將輸出的影像經由視覺軟體工具和演算法進行分析，藉此可以凸顯出缺陷特徵於影像中的表現，並經由比對處理過後的工件影像及標準母片的差異性，確認缺陷的存在，同時較佳的可以經由瑕疵及缺陷的表現判斷缺陷特徵及缺陷種類。
所述的缺陷定位模組33B係用以定位該缺陷特徵於該工件上的相對位置。具體而言，於影像分析模組33A確認瑕疵及缺陷的存在後，該缺陷定位模組33B將於影像中設定缺陷特徵所在位置的座標，並將座標與工件的品號及瑕疵/缺陷種類進行綁定，儲存於資料庫以供查找及存取。其中，座標的基準點可以經由工件、或載具上的明顯特徵為參考點進行標記，或是直接設定工件的邊界(例如面板、電路板等平面物件)為基準設定座標，於本發明中不予以限制。
所述的缺陷面積計算模組33C係用以分析該缺陷特徵的涵蓋面積。具體而言，於確認缺陷的種類以及位置後，為了確保後端的強化工件光學特徵之設備30可以完整的拍攝工件上的缺陷特徵，並確認需要進行強化的區域，必須要先確認缺陷特徵涵蓋的範圍。缺陷面積計算模組33C係可以透過搜尋連通區塊的 邊界值，找到缺陷特徵所涵蓋的範圍，進一步計算出缺陷特徵的面積。
經由上述的程序，影像處理模組33所獲取的缺陷特徵將包括缺陷的類別資訊及/或缺陷所在的位置資訊。
由於不同的缺陷特徵對於不同的類型的光源分別有較佳的表現，強化工件光學特徵之設備30的控制裝置34於獲得特徵強化資訊後(包括類別資訊及位置資訊)，控制裝置34係依據缺陷特徵的種類決定要提供何種照明光源至該工作區域上的工件。
該控制裝置34的儲存單元係預存有資料庫，資料庫內係包括有索引以及分別對應於索引的輸出值，控制裝置34於獲得影像處理模組33傳送而來的特徵強化資訊時，依據特徵強化資訊作為索引找到對應的輸出值，以此輸出值調整該可變光源裝置32的光學輸出特性。
缺陷種類及光學輸出特性的對應，以下係列舉之，惟下面的列舉內容僅為本發明的其中一可實施態樣，並非用於限制本發明的範圍，在此先行敘明。
如所屬的缺陷特徵相對於周遭之色調、飽和度、亮度反差較大的區域容易經由影像處理程序(如二值化法)後被辨識出來，可以提供均勻光(或環境光)至工件的表面，使工件之可視平面上每一處的亮度呈均勻分布。所述的缺陷特徵例如可以為金屬變色、料件表面變色、黑線、積墨、漏底材、亮點、花斑、髒污、刮傷之部分。
如所屬的缺陷特徵係為影像中的不平整區域，可以 提供側向的平行光至工件的表面，讓光路徑係與工件的可視平面形成一夾角，使影像中的不平整區域產生陰影。所述的缺陷特徵例如可以為豎紋、刀紋、砂光紋等造成工件表面不平整的瑕疵。
如所述的缺陷特徵係為工件內部的瑕疵或是所屬的瑕疵特別能夠反射特定波長的光，可以提供背光源至工件的背面，或是提供可切換頻譜的光源用以照射工件，使影像中的缺陷被凸顯出來。所述的缺陷特徵例如可以為斑紋(Mura)、或是亮點、碎亮點等。
除以上揭示的實施態樣外，本發明配合不同的缺陷特徵亦可以組合各式不同的光源以凸顯影像中的缺陷特徵。經凸顯過缺陷特徵的特徵強化影像，最後傳送至運算器35的深度學習模型進行訓練，藉此增加深度學習模型的辨識率。
以下針對可變光源裝置32的多種不同實施態樣進行說明，請一併參閱「圖3」，係本發明中可變光源裝置的光源控制模組示意圖，如圖所示：
於一較佳實施態樣中，該可變光源裝置32可以由複數個燈組所構成，並透過連接或耦接於該複數個燈組的光源控制模組321控制該複數個燈組的運作。具體而言，該光源控制模組321係包括光源強度控制單元32A、光源角度控制單元32B、及光源頻譜控制單元32C。
該光源強度控制單元32A係用以控制單一或複數個燈組的輸出功率，藉此，強化工件光學特徵之設備30可以透過偵測環境光的狀態，決定燈組的輸出功率。
該光源角度控制單元32B係用以控制燈組的照射角 度。於其中一較佳實施態樣中，可以直接設置複數個以不同角度對準至工作區域，光源角度控制單元32B係直接依據控制裝置34的指令決定開啟對應位置的燈組。於另一較佳實施態樣中，可以透過設置移載裝置乘載可變光源裝置32(燈具)移動至對應的位置對工件進行補光。又於一較佳實施態樣中，可以透過於傳播介質上設置電磁轉換模組變更光源的偏振特性，藉此輸出不同相位或是偏振方向的光源，於本發明中不予以限制。
該光源頻譜控制單元32C係用以控制輸出不同頻譜的光源，透過切換不同波長的光源，以凸顯工件表面的瑕疵。所述不同頻譜的光源例如白光、紅光、藍光、綠光、黃光、UV光、雷射光等。本實施態樣例如可以用於凸顯面板的斑紋瑕疵(Mura)、或其他隱藏於工件內側並容易顯示於特殊光源下的缺陷。
於其中一較佳實施態樣，請參閱「圖4」，係本發明中可變光源裝置其中一較佳實施態樣的示意圖，如圖所示：光源控制模組321於較佳的實施態樣中，係可以連接至複數種不同的燈具，以配合不同的缺陷特徵輸出不同類型的光源。於本實施態樣中，所述的光源控制模組321係連接至環形燈L1、側向燈L2、及背光燈L3，當光源控制模組321收到控制裝置34所傳遞而來的指令時，係可依據指令的內容決定開啟的燈具，以輸出對應的光源至工件經由該可變影像擷取裝置31拍攝工件P。
於另一較佳實施態樣中，請參閱「圖5」，係本發明可變光源裝置另一較佳實施態樣的示意圖，如圖所示：本實施態樣中的該強化工件光學特徵之設備30更包 括一用以承載該可變光源裝置32的第一移動式載台322，該第一移動式載台322依據控制裝置34的指令於該工作區域內移動該可變光源裝置32，藉以調整該可變光源裝置32的該光學輸出特性。本實施態樣可以用於局部強化工件上的部分區域，用以加深工件的缺陷特徵相對周遭區域的對比度，以便從影像中凸顯缺陷特徵的影像。
該第一移動式載台322於較佳的實施態樣中，係可以為多維式的線性移動載台、多軸機械手臂(Multi-Axis Robot Arm)等，於本發明中不予以限制。
以下針對可變影像擷取裝置31的多種不同實施態樣進行說明，請一併參閱「圖6」、及「圖7」，係本發明中可變影像擷取裝置及第二移動式載台的外觀示意圖(一)及外觀示意圖(二)，如圖所示： 所述的可變影像擷取裝置31於一較佳實施態樣中係可以配合缺陷類別或缺陷位置，依據控制裝置34的指令移動至較佳的取像位置或取像角度拍攝該工件P。該強化工件光學特徵之設備30更包括一用以承載該可變影像擷取裝置31的第二移動式載台311，該第二移動式載台311於該工作區域內移動該可變影像擷取裝置31，並配合調整該可變影像擷取裝置31的該外在參數與該內在參數，藉此以最佳的方式拍攝工件P並獲得缺陷的加強影像。於本實施態樣中，所述的第二移動式載台311係為多維的線性移動載台，用以於XYZ θ方向上移動，以調整該可變影像擷取裝置31與工件P之間的相對位置、間距、及角度。
如「圖6」所示，該可變影像擷取裝置31可以透過 線性移動載台於XY方向上移動，於該控制裝置34接收到該缺陷特徵的位置資訊時，係可依據該位置資訊控制線性移動載台於X方向上及Y方向上的移動量，以移動該可變影像擷取裝置31並對準至該缺陷特徵的位置進行拍攝。
除了於XY方向上移動外，該線性移動載台亦可以控制該可變影像擷取裝置31於Z方向上的位置及拍攝角度，如「圖7」所示，該線性移動載台上係可以選擇性的設置有一升降裝置312以及一旋轉裝置313。該升降裝置312係可以相對該線性移動載台升降，藉此可調整該可變影像擷取裝置31與該工件P之間的距離；該旋轉裝置313用以乘載該可變影像擷取裝置31，該旋轉裝置313可以經由接收該控制裝置34的指令決定其旋轉角度θ，以控制該可變影像擷取裝置31的拍攝角度。
除了上述的方式外，該控制裝置34亦可透過軟體或光學手段調整該可變影像擷取裝置31對焦及取像的位置以獲得該特徵強化影像，於本發明中不予以限制。
經由上述的設備，最終可獲得強化缺陷特徵後的特徵強化影像。所獲得的該特徵強化影像正規化後輸入至該運算器35的深度學習模型進行訓練。其中深度學習模型的架構可以為LeNet模型、AlexNet模型、GoogleNet模型或VGG模型(Visual Geometry Group)，於本發明中不予以限制。
有關於卷積神經網路的訓練方式，以下請一併參閱「圖8」，係為卷積神經網路的訓練方塊示意圖，如圖所示：將上述過程所獲得的特徵強化影像輸入至電腦設備(運算器35)，電腦設備係逐一針對特徵強化影像進行訓練。每一 組的特徵強化影像包含有網路的輸入值(影像數據)及預期輸出(良品、NG品、瑕疵品或其瑕疵種類等)兩種參數，輸入值係經由卷積神經網路重複經過卷積群層201、線性整流單元202、池化群層203進行特徵強化及影像壓縮處理，並經由全連結群層204依據權重比例進行分類，最終經由正規化輸出層205輸出分類的結果。於取得分類的結果後，係藉由比較模組206將檢測結果與預期輸出進行比對，判斷檢測結果是否符合預期，若不符合預期的話該比較模組206係將所獲得的誤差值輸出至權重調整模組207，基於反向傳播演算法計算並調整全連結層的權重，藉此經由重複上述的步驟完成訓練。
經由上述的過程，最終可以有效的提升卷積神經網路對於瑕疵及缺陷特徵的辨識率，而且在於檢測的過程中亦可以進行反覆的驗證，訓練後的機台最終可以達到相當高的完成度及辨識率。
以下針對本發明強化工件光學特徵的方法進行說明，請一併參閱「圖9」及「圖10」，為本發明強化工件光學特徵的方法的流程示意圖(一)及流程示意圖(二)，如圖所示；本發明係提供一種強化工件光學特徵的方法，該方法主要包括：工件移載至自動光學檢測設備10的檢測區域上，預備進行瑕疵/缺陷檢測(步驟S11)；自動光學檢測設備10經由影像擷取裝置11拍攝工件，並獲取該工件影像(步驟S12)；於取得該工件影像後，該自動光學檢測設備10的影 像處理裝置12經由影像處理獲取該工件影像中的瑕疵影像資訊(步驟S13)，其中所述的瑕疵影像資訊例如包括缺陷的類別資訊及/或缺陷位置資訊；透過移載裝置20將檢測過後的工件由自動光學檢測設備10的檢測區域移載至強化工件光學特徵之設備30的工作區域，並由該影像處理裝置12獲得該瑕疵影像資訊(步驟S14)；根據該瑕疵影像資訊，產生一特徵強化資訊(步驟S15)，其中所述的特徵強化資訊係可以為一系列控制參數的組合，該控制參數係依據缺陷的類別、位置而生成；根據該特徵強化資訊，調整可變光源裝置32的光學輸出特性照射至該工作區域上的該工件，藉以對該工作區域上的工件提供光源，以強化該工件的缺陷特徵(步驟S16)其中，該可變光源裝置32的光學輸出特性依據該缺陷類別調整，該可變光源裝置32可調整的該光學輸出特性包括光源的強度、照射角度、或頻譜；接著，根據該特徵強化資訊，控制裝置34係操作該可變影像擷取裝置31的外在參數與內在參數，藉以影像擷取於該工作區域上的該工件，以獲得該工件之特徵強化影像(步驟S17)；其中，控制裝置34係可依據缺陷類別調整該可變影像擷取裝置31的位置、角度、或是焦距等。
最後，控制裝置34將強化後的該特徵強化影像進行正規化後形成一訓練樣本(步驟S18)，該訓練樣本係包括至少一輸入值及一對應於該輸入值的預期輸出；將該訓練樣本傳送至電腦設備(運算器35)，以經由 該電腦設備輸入至一深度學習模型，藉以訓練該深度學習模型分辨該瑕疵影像資訊(步驟S19)。
上述的方法步驟可透過非暫存電腦可讀取記錄媒體的方式實施，所述的電腦可讀取紀錄媒體例如可為唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之儲存媒介。
綜上所述，本發明可以有效的強化工件影像的瑕疵及缺陷於影像中的表現，有助於提升深度學習模型對於瑕疵及缺陷特徵的辨識率。此外，本發明可以擷取工件於各種不同光源環境下的影像表現，並將其輸入至深度學習模型中進行學習，同樣有助於提升深度學習模型對於瑕疵及缺陷特徵的辨識率。
以上已將本發明做一詳細說明，惟以上所述者，僅惟本發明之一較佳實施例而已，當不能以此限定本發明實施之範圍，即凡依本發明申請專利範圍所作之均等變化與修飾，皆應仍屬本發明之專利涵蓋範圍內。

Claims (23)

  1. 一種強化工件光學特徵之設備，自外部接收一工件與對應的一瑕疵影像資訊，該設備包含：至少一個可變影像擷取裝置，於一工作區域內，對該工件進行影像擷取，其中該可變影像擷取裝置的外在參數與內在參數為可調整的；至少一個可變光源裝置，於該工作區域內，對該工件提供光源，其中該可變光源裝置的光學輸出特性為可調整的；一影像處理模組，根據該瑕疵影像資訊，以產生一特徵強化資訊；以及一控制裝置，根據該特徵強化資訊調整該外在參數、該內在參數、及/或該光學輸出特性，並控制該可變影像擷取裝置及/或該可變光源裝置之操作，藉以獲得該工件的特徵強化影像。
  2. 如申請專利範圍第1項所述的設備，更包含一耦接於該控制裝置的運算器，該運算器係載入儲存裝置後執行一深度學習模型，根據該特徵強化影像，藉以分辨該瑕疵影像資訊。
  3. 如申請專利範圍第2項所述的設備，其中該深度學習模型係為LeNet模型、AlexNet模型、GoogleNet模型或VGG模型。
  4. 如申請專利範圍第1項所述的設備，其中該可變光源裝置可調整的該光學輸出特性包括光源的強度、照射角度、或頻譜。
  5. 如申請專利範圍第4項所述的設備，其中該可變光源裝置包括複數個設置於不同角度位置的燈具。
  6. 如申請專利範圍第4項所述的設備，其中該可變光源裝置所提供的不同頻譜的光源包括白光、紅光、藍光、綠光、黃光、UV光、或雷射光。
  7. 如申請專利範圍第4項所述的設備，其中該可變光源裝置包括複數個燈組、以及一連接或耦接於該複數個燈組的光源控制模組。
  8. 如申請專利範圍第7項所述的設備，其中該光源控制模組係包括：一光源強度控制單元，用以控制單一或複數個該燈組的輸出功率；一光源角度控制單元，用以控制燈組的照射角度；以及一光源頻譜控制單元，用以控制輸出不同頻譜的光源。
  9. 如申請專利範圍第1項所述的設備，其中該影像處理模組所接收的該瑕疵影像資訊包括缺陷的類別資訊及/或缺陷位置資訊。
  10. 如申請專利範圍第1項所述的設備，更包含一或複數個移載裝置，用以將外部自動光學檢測設備所傳送的工件，移載至該工作區域內。
  11. 如申請專利範圍第10項所述的設備，其中，該移載裝置係為傳輸帶(Conveying belt)、線性移動載台、真空吸附裝置、多軸載具、多軸機械手臂(Multi-Axis Robot Arm)、或翻面裝置(Flipping Device)。
  12. 如申請專利範圍第1項所述的設備，更包含一第一移動式載台，用以承載該可變光源裝置，其中該第一移動式載台於該工作區域內移動該可變光源裝置，藉以調整該可變光源裝置的該光學輸出特性。
  13. 如申請專利範圍第12項所述的設備，其中，該第一移動式載台為多維式的線性移動載台、或多軸機械手臂(Multi-Axis Robot Arm)。
  14. 如申請專利範圍第1項所述的設備，更包含一第二移動式載台，用以承載該可變影像擷取裝置，其中該第二移動式載台於該工作區域內移動該可變影像擷取裝置，並配合調整該可變影像擷取裝置的該外在參數與該內在參數。
  15. 如申請專利範圍第1項所述的設備，其中該影像處理模組包括：一影像分析模組，影像分析該瑕疵影像資訊，用以確認缺陷特徵與缺陷種類；一缺陷定位模組，用以定位該缺陷特徵於該工件上的相對位置；以及一缺陷面積計算模組，用以分析該缺陷特徵的涵蓋面積。
  16. 一種強化工件光學特徵的方法，包含：自外部接收一工件與對應的一瑕疵影像資訊；移動該工件至一工作區域；根據該瑕疵影像資訊，產生一特徵強化資訊；根據該特徵強化資訊，調整一可變光源裝置的光學輸出特性，藉以對該工作區域上的該工件提供光源；根據該特徵強化資訊，調整一可變影像擷取裝置之外在參數與內在參數，藉以影像擷取於該工作區域上的該工件，以獲得該工件之特徵強化影像。
  17. 如申請專利範圍第16項所述的方法，更包含提供該特徵強化資訊至一深度學習模型，藉以訓練該深度學習模型分辨該瑕疵影像資訊。
  18. 如申請專利範圍第17項所述的方法，其中該訓練包括：將所獲得的該特徵強化影像輸入至運算器，該運算器係逐一針對輸入的該特徵強化影像進行訓練，每一組的該特徵強化影像包含有網路的輸入值及預期輸出兩種參數；該輸入值係經由卷積神經網路重複經過卷積群層、線性整流單元、池化群層進行特徵強化及影像壓縮處理，並經由全連結群層依據權重比例進行分類，經由正規化輸出層輸出分類的結果；藉由比較模組將檢測結果與預期輸出進行比對，判斷檢測結果是否符合預期；以及若不符合預期的話該比較模組係將所獲得的誤差值輸出至權重調整模組，基於反向傳播演算法計算並調整該全連結群層的權重。
  19. 如申請專利範圍第16項所述的方法，其中調整該光學輸出特性包括調整光源的強度、照射角度、或頻譜。
  20. 如申請專利範圍第16項所述的方法，其中調整該可變影像擷取裝置之該外在參數與該內在參數包括調整該可變影像擷取裝置的拍攝位置、對焦位置、或焦距。
  21. 如申請專利範圍第16項所述的方法，其中根據該瑕疵影像資訊，產生特徵強化資訊包括：影像分析該瑕疵影像資訊，用以確認缺陷特徵與缺陷種類；定位該缺陷特徵於該工件上的相對位置；以及分析該缺陷特徵的涵蓋面積。
  22. 一種強化工件光學特徵之深度學習方法，包括：自外部接收一工件與對應的一瑕疵影像資訊；移動該工件至一工作區域；根據該瑕疵影像資訊，產生一特徵強化資訊；根據該特徵強化資訊，調整一可變光源裝置的光學輸出特性，藉以對該工作區域上的該工件提供光源；根據該特徵強化資訊，調整一可變影像擷取裝置之外在參數與內在參數，藉以影像擷取於該工作區域上的該工件，以獲得該工件之一特徵強化影像；正規化該特徵強化影像，以形成一訓練樣本；以及提供該訓練樣本至一深度學習模型，藉以訓練該深度學習模型分辨該瑕疵影像資訊。
  23. 一種非暫態電腦可讀取記錄媒體，具有一電腦程式，當控制器載入該程式並執行後，可完成如申請專利範圍第16至22項中任一項所述的方法。
TW107106952A 2018-03-02 2018-03-02 強化工件光學特徵之設備、方法、強化工件光學特徵之深度學習方法及非暫態電腦可讀取記錄媒體 TWI654584B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW107106952A TWI654584B (zh) 2018-03-02 2018-03-02 強化工件光學特徵之設備、方法、強化工件光學特徵之深度學習方法及非暫態電腦可讀取記錄媒體
CN201810432174.3A CN110231340B (zh) 2018-03-02 2018-05-08 强化工件光学特征的设备、方法、深度学习方法及媒体
US16/265,334 US20190272628A1 (en) 2018-03-02 2019-02-01 Apparatus and method for enhancing optical feature of workpiece, method for enhancing optical feature of workpiece through deep learning, and non-transitory computer-readable recording medium
US17/082,893 US20210073975A1 (en) 2018-03-02 2020-10-28 Method for enhancing optical feature of workpiece, method for enhancing optical feature of workpiece through deep learning, and non transitory computer readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107106952A TWI654584B (zh) 2018-03-02 2018-03-02 強化工件光學特徵之設備、方法、強化工件光學特徵之深度學習方法及非暫態電腦可讀取記錄媒體

Publications (2)

Publication Number Publication Date
TWI654584B true TWI654584B (zh) 2019-03-21
TW201939441A TW201939441A (zh) 2019-10-01

Family

ID=66590687

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107106952A TWI654584B (zh) 2018-03-02 2018-03-02 強化工件光學特徵之設備、方法、強化工件光學特徵之深度學習方法及非暫態電腦可讀取記錄媒體

Country Status (3)

Country Link
US (2) US20190272628A1 (zh)
CN (1) CN110231340B (zh)
TW (1) TWI654584B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI702373B (zh) * 2019-03-22 2020-08-21 由田新技股份有限公司 翻面式多軸機械手臂裝置及其光學檢測設備
TWI707299B (zh) * 2019-10-18 2020-10-11 汎思數據股份有限公司 光學檢測二次圖像分類方法
TWI732618B (zh) * 2020-07-02 2021-07-01 撼訊科技股份有限公司 影像辨識方法及其系統
TWI801717B (zh) * 2019-03-25 2023-05-11 大陸商中國銀聯股份有限公司 一種實物圖像生成方法及裝置、設備、非暫態電腦可讀存儲介質及電腦程式產品

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7087792B2 (ja) * 2018-07-31 2022-06-21 株式会社リコー 画像データ生成装置、画像データ生成方法およびプログラム
US11462868B2 (en) 2019-02-12 2022-10-04 Ecoatm, Llc Connector carrier for electronic device kiosk
CA3130587A1 (en) * 2019-02-18 2020-08-27 Ecoatm, Llc Neural network based physical condition evaluation of electronic devices, and associated systems and methods
CN110763700A (zh) * 2019-10-22 2020-02-07 深选智能科技(南京)有限公司 一种半导体元器件缺陷检测方法和设备
CN111079831A (zh) * 2019-12-13 2020-04-28 智泰科技股份有限公司 智能型光学检测的样品特征与瑕疵自动标记方法及其装置
CN110956627A (zh) * 2019-12-13 2020-04-03 智泰科技股份有限公司 智能型光学检测样品特征与瑕疵智能打光取像方法及装置
CN110940672A (zh) * 2019-12-13 2020-03-31 智泰科技股份有限公司 智能光学检测样品特征与瑕疵ai模型自动产生方法及装置
CN111210418A (zh) * 2020-01-09 2020-05-29 中国电建集团华东勘测设计研究院有限公司 一种用透明摄像球检查市政供水管道的方法
US11922467B2 (en) 2020-08-17 2024-03-05 ecoATM, Inc. Evaluating an electronic device using optical character recognition
CN112200179A (zh) * 2020-10-15 2021-01-08 马婧 一种光源调节方法及装置
CN112528922A (zh) * 2020-12-21 2021-03-19 广东爱科环境科技有限公司 一种地下排水管道缺陷图像采集分类系统及方法
CN112712504B (zh) * 2020-12-30 2023-08-15 广东粤云工业互联网创新科技有限公司 基于云端的工件检测方法及系统、计算机可读存储介质
CN117642769A (zh) * 2021-07-14 2024-03-01 巴斯夫欧洲公司 用于评估物理对象的质量的系统
CN113689355B (zh) * 2021-09-10 2022-07-08 数坤(北京)网络科技股份有限公司 图像处理方法、装置、存储介质及计算机设备
TWI799083B (zh) * 2022-01-14 2023-04-11 合晶科技股份有限公司 自動光學缺陷檢測裝置及方法
CN116228766B (zh) * 2023-05-08 2023-07-25 德中(深圳)激光智能科技有限公司 一种等离子加工设备的智能调控方法及系统
CN117147586A (zh) * 2023-10-26 2023-12-01 江苏纳沛斯半导体有限公司 一种cof树脂区异物检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007107945A (ja) * 2005-10-12 2007-04-26 Olympus Corp 基板検査装置
JP2009150718A (ja) * 2007-12-19 2009-07-09 Nikon Corp 検査装置および検査プログラム
CN102023164B (zh) * 2009-09-23 2015-09-16 法国圣-戈班玻璃公司 用于检测透明平板的局部缺陷的装置和方法
TWI571627B (zh) * 2015-10-19 2017-02-21 由田新技股份有限公司 運用多軸機臂的光學檢查設備
CN106645177B (zh) * 2016-12-30 2019-05-03 河南奇测电子科技有限公司 电池壳表面视觉检测流水线及其内底面检测装置
CN107153072A (zh) * 2017-06-21 2017-09-12 苏州卡睿知光电科技有限公司 一种镜片疵病检测方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI702373B (zh) * 2019-03-22 2020-08-21 由田新技股份有限公司 翻面式多軸機械手臂裝置及其光學檢測設備
CN111716362A (zh) * 2019-03-22 2020-09-29 由田新技股份有限公司 翻面式多轴机械手臂装置及光学检测设备
TWI801717B (zh) * 2019-03-25 2023-05-11 大陸商中國銀聯股份有限公司 一種實物圖像生成方法及裝置、設備、非暫態電腦可讀存儲介質及電腦程式產品
TWI707299B (zh) * 2019-10-18 2020-10-11 汎思數據股份有限公司 光學檢測二次圖像分類方法
TWI732618B (zh) * 2020-07-02 2021-07-01 撼訊科技股份有限公司 影像辨識方法及其系統

Also Published As

Publication number Publication date
US20190272628A1 (en) 2019-09-05
TW201939441A (zh) 2019-10-01
CN110231340B (zh) 2022-09-13
US20210073975A1 (en) 2021-03-11
CN110231340A (zh) 2019-09-13

Similar Documents

Publication Publication Date Title
TWI654584B (zh) 強化工件光學特徵之設備、方法、強化工件光學特徵之深度學習方法及非暫態電腦可讀取記錄媒體
US11017259B2 (en) Defect inspection method, defect inspection device and defect inspection system
CN110659660B (zh) 利用深度学习系统的自动光学检测分类设备及其训练设备
TWI598581B (zh) 檢查裝置及檢查方法
CN102412170B (zh) 多方向上反射的光源的采集系统和方法
US20200018707A1 (en) Appearance inspection device, lighting device, and imaging lighting device
CN107796825A (zh) 器件检测方法
KR20190101857A (ko) 외관 검사 장치, 및 외관 검사 장치의 조명 조건 설정 방법
CN105352437B (zh) 板卡位置检测方法及装置
CN110956627A (zh) 智能型光学检测样品特征与瑕疵智能打光取像方法及装置
US20210024297A1 (en) System and method for sorting moving objects
CN113146172A (zh) 一种基于多视觉的检测与装配系统及方法
Yang et al. Detecting defects with support vector machine in logistics packaging boxes for edge computing
JP2023509739A (ja) 中古の電子デバイスを自動的に等級付けするためのシステムおよび方法
CN115112682A (zh) 一种可视化的手机曲面玻璃检测装置和方法
TWM596871U (zh) 智慧型光學檢測ai資料蒐集系統
CN111833350B (zh) 机器视觉检测方法与系统
CN113189109A (zh) 一种基于人工智能的瑕疵判定系统及瑕疵判定方法
CN107248151A (zh) 一种基于机器视觉的液晶片智能检测方法及系统
JP2018072260A (ja) 検査条件決定装置、検査条件決定方法及び検査条件決定プログラム
CN206470210U (zh) 机器视觉焊锡定位检测系统
CN114037595A (zh) 图像数据处理方法、装置、电子设备和存储介质
JP2010281754A (ja) 生成装置、検査装置、プログラムおよび生成方法
CN113406094B (zh) 一种基于图像处理的金属表面缺陷在线检测装置和方法
CN212180649U (zh) 膏体外观缺陷检测设备