TWI710762B - 基於影像的分類系統 - Google Patents

基於影像的分類系統 Download PDF

Info

Publication number
TWI710762B
TWI710762B TW108127221A TW108127221A TWI710762B TW I710762 B TWI710762 B TW I710762B TW 108127221 A TW108127221 A TW 108127221A TW 108127221 A TW108127221 A TW 108127221A TW I710762 B TWI710762 B TW I710762B
Authority
TW
Taiwan
Prior art keywords
layer
image
candidate
network
feature
Prior art date
Application number
TW108127221A
Other languages
English (en)
Other versions
TW202107074A (zh
Inventor
方志恆
陸家樑
廖家德
Original Assignee
由田新技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 由田新技股份有限公司 filed Critical 由田新技股份有限公司
Priority to TW108127221A priority Critical patent/TWI710762B/zh
Priority to CN202010659098.7A priority patent/CN112396575A/zh
Priority to US16/934,728 priority patent/US20210035305A1/en
Application granted granted Critical
Publication of TWI710762B publication Critical patent/TWI710762B/zh
Publication of TW202107074A publication Critical patent/TW202107074A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本發明提供一種基於影像的分類系統，包括一影像擷取裝置、一連接至該影像擷取裝置的處理裝置。該影像擷取裝置用於擷取一待測物影像，其中該待測物具有一表面層與膜內層。該處理裝置包括被配置於使用一深度學習模型，並根據該待測物影像進行影像分割，界定該表面層區域與該膜內層區域，以產生分類資訊。

Description

基於影像的分類系統
本發明係有關於一種基於影像的分類系統，尤指一種經由類神經網路系統執行異形膜內分割的影像分類系統。
自動光學檢測(Automatic Optical Inspection,AOI)設備的應用相當廣泛，經常使用在面板、半導體前段及後段製程中用以進行瑕疵檢測。以面板製程相關的自動光學檢測系統而言，即包括玻璃檢測(Glass AOI)、前段Array製程的Array檢測、彩色濾光片(Color Filter)檢測、以及後段液晶模組(LCM)檢測等。
習知的自動光學檢測系統透過機器視覺進行影像材質分類時，一般是透過邊緣檢測的演算法確定邊界的位置，有時須透過人工的方式標記影像藉以形成正確的遮罩(例如分水嶺演算法)。這樣的影像分類方式雖然仍可以達到相應的可靠度，但在實務操作上確有其侷限性，再者在檢測的效率上亦難以達到較佳的表現。
本發明的主要目的，在於提供一種基於影像的分類系統，包括一影像擷取裝置、一連接至該影像擷取裝置的處理裝置。該影像擷取裝置用於擷取一待測物影像，其中該待測物具有 一表面層與膜內層。該處理裝置被配置於使用一深度學習模型，並根據該待測物影像進行影像分割，界定該表面層區域與該膜內層區域，以產生分類資訊。
本發明無須手動設計特徵，即可透過類神經網絡自動由面板影像中擷取出異形膜內區域，藉此提升檢測的效率及可靠度。
再者，本發明可以在一次檢測程序完成分割異形膜內以及瑕疵檢測，效率明顯優於傳統演算法。
100‧‧‧自動光學檢測系統
10‧‧‧影像擷取裝置
20‧‧‧處理裝置
21‧‧‧處理器
22‧‧‧儲存單元
30‧‧‧移載設備
40‧‧‧輔助光源
P‧‧‧待測物
M1‧‧‧深度學習模型
N1‧‧‧主幹網絡
N11‧‧‧特徵提取網絡
N111‧‧‧第一卷積層
N112‧‧‧第一卷積層
N113‧‧‧第一卷積層
N114‧‧‧第一卷積層
N115‧‧‧第一卷積層
N12‧‧‧特徵金字塔網絡
N121‧‧‧等尺寸特徵圖
N122‧‧‧等尺寸特徵圖
N123‧‧‧等尺寸特徵圖
N124‧‧‧等尺寸特徵圖
Q1-Q4‧‧‧融合特徵圖
N2‧‧‧區域候選網絡
N21‧‧‧第三卷積層
N22‧‧‧softmax層
N23‧‧‧邊框迴歸層
N24‧‧‧候選層
RO‧‧‧感興趣區域
N3‧‧‧ROI排列模組
D1‧‧‧座標位置
D2‧‧‧座標位置
D3‧‧‧座標位置
D4‧‧‧座標位置
NM‧‧‧正規化影像
N4‧‧‧全卷積網絡
N41‧‧‧第四卷積層
SD‧‧‧實例分割遮罩
N5‧‧‧去背模組
N6‧‧‧全連結層
N7‧‧‧分類結果
S01-S07‧‧‧步驟
圖1，為本發明中自動光學檢測系統的方塊示意圖(一)。
圖2，為本發明中自動光學檢測系統的方塊示意圖(二)。
圖3，為本發明中類神經網路的架構示意圖。
圖4，為本發明中主幹網絡的架構示意圖。
圖5，為本發明中區域候選網絡的架構示意圖。
圖6，為本發明中候選層的工作流程示意圖。
圖7，為本發明中ROI排列模組的池化示意圖。
圖8，為本發明中全卷積網絡的架構示意圖。
有關本發明之詳細說明及技術內容，現就配合圖式說明如下。再者，本發明中之圖式，為說明方便，其比例未必照 實際比例繪製，該等圖式及其比例並非用以限制本發明之範圍，在此先行敘明。
本發明係應用於自動光學檢測系統(Automated Optical Inspection,AOI)上，透過類神經網絡自動於面板影像中生成遮罩，並依據該遮罩擷取出面板影像上的感興趣區域進行瑕疵檢測，達到較佳的可靠度及檢測效率。
請參閱「圖1」，為本發明基於影像的分類系統的方塊示意圖(一)，如圖所示：
於本實施例中所述的基於影像的分類系統100主要包括一影像擷取裝置10、以及一連接至該影像擷取裝置10的處理裝置20。一般而言，為了實現全自動化檢測，通常會再增加移載設備30，用於將待測物P移載至檢測區域進行拍攝，實現全自動化控制；此外，針對不同的待測物P或瑕疵種類，分類系統100上亦可安裝有各式的輔助光源40，用以對待測物P進行照明。所述的輔助光源40例如可以為但不限定於平行光燈具、漫射光燈具、穹形燈等，一些特殊的待測物P可能會用到兩組以上的輔助光源40，端看所對應的待測物P種類決定。
用於自動光學檢測的攝影機係依據實際需求而配置。通常對於工件的精密度及可靠度有相當程度的需求時，必須要配置更為精密的攝影機：反之，為了減少設備的成本，可選用較為低階的攝影機，此部分端看廠商的需求而定。一般攝影機種類可分為面掃描攝影機(Area Scan Camera)、以及線掃描攝影機 (Line Scan Camera)，配合實務上的需求所述的兩種攝影機都有可能被使用。線掃描攝影機較常用於動態檢測，於待測物P移動的同時進行拍攝，可確保檢測流程的連續性。
影像擷取裝置10係連接於後台的處理裝置20，經由處理裝置20的處理器21分析影像擷取裝置10所獲得的影像，以經由影像中得到待測物P表面上的瑕疵。於一較佳的實施例中，影像擷取裝置10係配置有微處理器(通常於影像擷取裝置10出廠時配置)用以控制影像擷取裝置10或是針對影像擷取裝置10所拍攝到的影像進行預處理。處理裝置20的處理器21經由該影像擷取裝置10(或微處理器)獲取影像後，係將該影像進行前處理程序(例如影像強化、去除雜訊、加強對比、加強邊緣、擷取特徵、影像壓縮、影像轉換等)，並將輸出的影像經由視覺軟體工具和演算法進行分析，以獲得判定結果並將判定結果輸出或儲存於資料庫。所述的處理器21係用以載入儲存單元22的深度學習模型M1執行自動光學檢測。
請一併參閱「圖2」，為本發明基於影像的分類系統的方塊示意圖(二)，如圖所示：
本發明採用遮罩區域候選卷積神經網路(以下稱Mask RCNN)做為主要架構並進行修改以達到同時執行影像分割及瑕疵辨識之功能。所述影像分割及瑕疵檢測係藉由處理器21載入儲存單元22後執行，有關於處理器21及儲存單元22如何協同運作，由於非屬本發明所欲限制的範圍，以下不針對該等技術方案 進行贅述。
於本發明中處理器21於載入儲存單元22後配置於執行一深度學習模型M1，並根據該待測物P影像，界定該表面層區域P1與該膜內層區域P2，以產生分類資訊，並根據該分類資訊，判斷該膜內層區域的瑕疵P21，以產生檢測結果。
以下係針對本發明的一較佳實施例進行說明。請參閱「圖3」至「圖8」，係本發明中類神經網路、主幹網絡、區域候選網絡的架構示意圖、候選層的工作流程示意圖、ROI排列模組的池化示意圖、以及全卷積網絡的架構示意圖，如圖所示：
請一併參閱「圖3」，深度學習模型M1主要包括主幹網絡N1、區域候選網絡N2(Region Proposal Network,RPN)、ROI排列模組N3(ROI Align Module)、全卷積網絡N4(Full Convolutional Network)、去背模組N5、以及一全連結層N6，待測物影像輸入該深度學習模型M1之後，將獲得分類資訊，將該表面層區域P1與該膜內層區域P2分別進行標記並區分，接續判斷該膜內層P2區域的瑕疵P21，最終產生檢測結果。
請一併參閱「圖4」，所述的主幹網絡N1係主要用以由該面板的原始影像IP執行特徵提取，以獲取一或複數個特徵圖。於本實施例中，該主幹網絡N1包括特徵提取網絡N11以及特徵金字塔網絡N12(Feature Pyramid Network,FPN)。
該特徵提取網絡N11包括複數個由底層至頂層排列的第一卷積層N111、N112、N113、N114、N115，其中底層的卷積 層(例如第一卷積層N111)提取影像中的低級特徵，高層的卷積層(例如第二卷積層N112至第五卷積層N115)提取影像中的高級特徵，該卷積層的數量可依據樣本的需求而設定，非屬本發明所欲限制的範圍。原始影像IP係經過正規化處理後由底層輸入該第一卷積層N111，並經由該第一卷積層N111進行特徵提取獲得複數個特徵圖(Feature Map)。於一較佳實施例中，該特徵提取網絡N11係可以為深度殘差網絡(Deep residual network,ResNet)，具有較佳的收斂效果，以解決深層網絡的退化問題。
在目標檢測上，低層的特徵圖包含較少的訊息量，但是特徵圖較大，因此目標位置相對較為準確，有助於識別影像中的細節；高層的特徵圖包含較多的訊息量，但相對而言目標位置則顯粗略，且由於步伐(stride)較大，造成影像中較小物體的檢測性能下降。為了提高檢測精度，主幹網絡N1更進一步運用了特徵金字塔網絡N12(Feature Pyramid Network,FPN)用以同時保留目標位置的準確度以及訊息量。具體而言，該特徵金字塔網絡N12(Feature Pyramid Network,FPN)依據該第一卷積層N111各層的輸出將頂層的該特徵圖元進行上採樣(upsampling)以獲得複數個對應數量的等尺寸特徵圖N121、N122、N123、N124，將該第一卷積層N111、N112、N113、N114、N115輸出的特徵圖與對應尺寸的等尺寸特徵圖N121、N122、N123、N124融合(merge)後，輸出複數個融合特徵圖Q1-Q4。藉此底層的輸出可以用於檢測影像中的小型物件、中層的輸出可以用於檢測影像中的中型物件、頂層的輸 出可以用於檢測影像中的大型物件，以此類推。選用的輸出特徵係依據目標尺寸動態確定。
請一併參閱「圖5」，所述的區域候選網絡N2連接至該主幹網絡N1以獲取該特徵圖，並經由該特徵圖決定一或複數個感興趣區域。區域候選網絡N2是一個小型的神經網路，透過滑動視窗掃描圖像，用以尋找存在目標的區域。具體而言，該區域候選網絡N2包括一第三卷積層N21、一softmax層N22、一邊框迴歸層N23、以及一候選層N24(Proposal Layer)。該第三卷積層N21係將該融合特徵圖Q1-Q4依據設定的錨點圖(anchor box)執行卷積輸出以獲取複數個候選外框，並經由該softmax層N22的輸出將該候選外框依據可能包含物體的機率(score)分類為前景或後景，該邊框迴歸層N23迴授該候選外框的變換量至該候選層N24，該候選層N24依據複數個具有前景的該候選外框以及該變換量執行邊框精調以獲得感興趣區域RO。所述的錨點圖可以預設多種不同大小組合多種不同長寬比而為複數種，該錨點圖的數量非屬本發明所欲限制的範圍。
具體而言，如「圖6」所示，該候選層N24執行以下步驟以獲得該感興趣區域RO：生成錨點圖；將所有的錨點圖做邊框回歸以獲得該候選外框(步驟S01)；按照softmax層N22的輸出分數由大到小排序該候選外框(步驟S02)；依據該輸出分數提取具前景的該候選外框(步驟S03)；設定超出圖像邊界的候選外框為邊界(步驟S04)；去除尺寸低於設定閾值的候選外框(步驟S05)；對該候 選外框執行非極大值抑制(Non-Maximum Suppression,NMS)(步驟S06)；再次由剩餘的該候選外框去除尺寸低於設定閾值的候選外框，以獲得該感興趣區域RO(步驟S07)。
請一併參閱「圖7」，分類器並不能很好地處理多種輸入尺寸(通常只能處理固定的輸入尺寸)。然而區域候選網絡N2(RPN)中的邊框精調步驟使感興趣區域RO可以有不同的尺寸，必須要採用池化的方式壓縮影像，藉以正規化輸入的影像。為了避免量化扣除浮點數後造成的誤差，所述的ROI排列模組N3經由雙線性內插的方式避免量化產生的誤差值，最終獲得正規化影像。具體而言，該ROI排列模組N3主要執行以下步驟：逐一遍歷所有感興趣區域RO，保持浮點數邊界(即不執行量化)；將感興趣區域RO分割成k x k個單元(圖式以2x2表示)；在每個單元中計算固定四個座標位置D1、D2、D3、D4，用雙線性內插的方法計算出這四個位置的值，然後進行最大池化(Max Pool)操作，經過最大池化運算後，得到正規化影像NM。
請一併參閱「圖8」，所述的全卷積網絡N4(Full Convolutional Network,FCN)，輸入該正規化影像NM後，經由複數個第四卷積層N41運算後獲得分割遮罩，最後為了避免重複運算，將該分割遮罩進行差補運算映射至該特徵圖輸出一實例分割遮罩SD。主要在前端卷積神經網絡的過程中會一直作下採樣的動作，所以全卷積網絡N4最後的輸出實際上得到的會是一個低分辨率的掩碼遮罩，由於掩碼遮罩的結果比較粗糙，為了讓效果更好， 再做上採樣(upsampling)補足像素，取前面幾層的結果來作差補運算，基於全卷積網絡N4的遮罩特徵、以及遮罩損失函數，最後將獲得實例分割遮罩SD。
經由上述的計算，深度學習模型M1總共可以獲得三個輸出，融合特徵圖Q1-Q4、感興趣區域RO、以及實例分割遮罩SD。由於該實例分割遮罩SD係直接映射至該融合特徵圖Q1-Q4上，可省去重複提取特徵的過程。
最終該處理裝置20根據該分類資訊進行檢測，判斷該膜內層區域P2的瑕疵，以產生檢測結果。
該深度學習模型包括一去背模組N5以及一全連結層N6。該去背模組N5將融合特徵圖Q1-Q4對應於感興趣區域RO執行分割後，將分割後的影像依據該實例分割遮罩SD進行去背處理以獲得物件去背特徵影像。由於全連結層N6的輸入必須是正規影像，去背特徵影像中去背的區域可以填入單一影像參數使輸入可以符合全連結層N6的需求(於訓練的過程中訓練的影像可以為同時具有膜內區及膜外區的影像、或是膜內區的影像)。將該物件去背特徵影像係輸入至經訓練過後的該全連結層N6，該全連結層N6的末端係可以為softmax層N22，最終將去背特徵影像依據權重分類輸出以獲得分類結果N7(例如良品、及瑕疵種類)。
綜上所述，本發明透過類神經網絡自動由面板影像中擷取出異形膜內區域，藉此提升檢測的效率及可靠度。此外，本發明可以在一次檢測程序完成分割異形膜內以及瑕疵檢測，於 效率明顯優於傳統演算法。
以上已將本發明做一詳細說明，惟以上所述者，僅為本發明之一較佳實施例而已，當不能以此限定本發明實施之範圍，即凡依本發明申請專利範圍所作之均等變化與修飾，皆應仍屬本發明之專利涵蓋範圍內。
IP‧‧‧原始影像
N1‧‧‧主幹網絡
N2‧‧‧區域候選網絡
N3‧‧‧ROI排列模組
N4‧‧‧全卷積網絡
N5‧‧‧去背模組
N6‧‧‧全連結層
N7‧‧‧分類結果

Claims (8)

  1. 一種基於影像的分類系統，包括：一影像擷取裝置，用於擷取一待測物影像，其中該待測物具有一表面層與膜內層；以及一處理裝置，連接至該影像擷取裝置，該處理裝置被配置於使用一深度學習模型，並根據該待測物影像進行影像分割，界定該表面層區域與該膜內層區域，以產生分類資訊。
  2. 如申請專利範圍第1項所述的分類系統，其中，該處理裝置被配置於使用該深度學習模型，並根據該分類資訊進行檢測，判斷該膜內層區域的瑕疵，以產生檢測結果。
  3. 如申請專利範圍第2項所述的分類系統，其中，該深度學習模型包括：一主幹網絡，由該待測物的原始影像執行特徵提取，以獲取一或複數個特徵圖；一區域候選網絡(Region Proposal Network,RPN)，連接至該主幹網絡以獲取該特徵圖，並經由該特徵圖決定一或複數個感興趣區域；一ROI排列模組(ROI Align Module)，經由雙線性內插的方式將該感興趣區域範圍的影像進行池化，以獲得正規化影像；一全卷積網絡(Full Convolutional Network)，輸入該正規化影像後，經由複數個卷積層運算後獲得分割遮罩，將該分割遮罩進行差補運算以映射至該特徵圖輸出一實例分割遮罩。 一去背模組，依據該實例分割遮罩將該感興趣區域內的影像進行去背，以獲得物件去背特徵影像；以及一全連結層，該物件去背特徵影像係輸入至該全連結層，並由該全連結層分類輸出分類結果。
  4. 如申請專利範圍第3項所述的分類系統，其中，該主幹網絡包括：一特徵提取網絡，包括複數個由底層至頂層排列的第一卷積層，所述的原始影像係經過正規化處理後由底層輸入該第一卷積層，並經由該第一卷積層進行特徵提取獲得複數個特徵圖(Feature Map)；以及一特徵金字塔網絡(Feature Pyramid Network,FPN)，依據該第一卷積層各層的輸出將頂層的該特徵圖元進行上採樣(upsampling)以獲得等尺寸特徵圖，將該第一卷積層的特徵圖與對應尺寸的等尺寸特徵圖融合(merge)後，分別經由一第二卷積層進行卷積後輸出複數個融合特徵圖。
  5. 如申請專利範圍第4項所述的分類系統，其中，該特徵提取網絡係為深度殘差網絡(Deep residual network,ResNet)。
  6. 如申請專利範圍第5項所述的分類系統，其中，該區域候選網絡(Region Proposal Network,RPN)包括一第三卷積層、一softmax層、一邊框迴歸層、以及一候選層，該第三卷積層係將該融合特徵圖依據設定的錨點圖執行卷積輸出以獲取複數 個候選外框，並經由該softmax層的輸出將該候選外框分類為前景或後景，該邊框迴歸層迴授該候選外框的變換量至該候選層，該候選層依據複數個具有前景的該候選外框以及該變換量執行邊框精調以獲得該感興趣區域。
  7. 如申請專利範圍第6項所述的分類系統，其中，該候選層執行以下步驟以獲得該感興趣區域：生成該錨點圖；將所有的錨點圖做邊框回歸以獲得該候選外框；按照該softmax層的輸出分數由大到小排序該候選外框；依據該輸出分數提取具前景的該候選外框；設定超出圖像邊界的候選外框為邊界；去除尺寸低於設定閾值的候選外框；對該候選外框執行非極大值抑制(NMS)；再次由剩餘的該候選外框去除尺寸低於設定閾值的候選外框，以獲得該感興趣區域。
  8. 如申請專利範圍第1至7項中任一項所述的分類系統，用以執行異形膜內檢測。
TW108127221A 2019-07-31 2019-07-31 基於影像的分類系統 TWI710762B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW108127221A TWI710762B (zh) 2019-07-31 2019-07-31 基於影像的分類系統
CN202010659098.7A CN112396575A (zh) 2019-07-31 2020-07-09 基于影像的分类系统
US16/934,728 US20210035305A1 (en) 2019-07-31 2020-07-21 Image-based classification system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108127221A TWI710762B (zh) 2019-07-31 2019-07-31 基於影像的分類系統

Publications (2)

Publication Number Publication Date
TWI710762B true TWI710762B (zh) 2020-11-21
TW202107074A TW202107074A (zh) 2021-02-16

Family

ID=74202506

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108127221A TWI710762B (zh) 2019-07-31 2019-07-31 基於影像的分類系統

Country Status (3)

Country Link
US (1) US20210035305A1 (zh)
CN (1) CN112396575A (zh)
TW (1) TWI710762B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11222425B2 (en) * 2020-02-11 2022-01-11 DeepVoxel, Inc. Organs at risk auto-contouring system and methods
TWI785535B (zh) * 2021-03-15 2022-12-01 住華科技股份有限公司 一種檢測光學膜的方法、裝置及系統
US20220374720A1 (en) * 2021-05-18 2022-11-24 Samsung Display Co., Ltd. Systems and methods for sample generation for identifying manufacturing defects
US20240144635A1 (en) * 2022-10-26 2024-05-02 Mindtrace.Ai Usa, Inc. Techniques For Unsupervised Anomaly Classification Using An Artificial Intelligence Model
CN117095180B (zh) * 2023-09-01 2024-04-19 武汉互创联合科技有限公司 基于分期识别的胚胎发育阶段预测与质量评估方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201824098A (zh) * 2016-12-22 2018-07-01 三星電子股份有限公司 訓練深層學習分類網路之系統和方法
CN109118482A (zh) * 2018-08-07 2019-01-01 腾讯科技（深圳）有限公司 一种面板缺陷分析方法、装置及存储介质
WO2019018693A2 (en) * 2017-07-19 2019-01-24 Altius Institute For Biomedical Sciences METHODS OF ANALYZING MICROSCOPIC IMAGES USING AUTOMATIC LEARNING
TW201908716A (zh) * 2017-06-14 2019-03-01 以色列商肯提克有限公司 缺陷自動分類技術
TW201917566A (zh) * 2017-07-05 2019-05-01 美商深視有限公司 深度視覺處理器
WO2019118941A2 (en) * 2017-12-14 2019-06-20 Essenlix Corporation Improved optical transmission sample holder and analysis, particularly for hemoglobin

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7162073B1 (en) * 2001-11-30 2007-01-09 Cognex Technology And Investment Corporation Methods and apparatuses for detecting classifying and measuring spot defects in an image of an object
KR20140122608A (ko) * 2013-04-10 2014-10-20 삼성전자주식회사 디펙의 깊이 정보 추출 장치 및 방법과 그 디펙의 깊이 정보를 이용한 반도체 공정 개선방법
CN109285139A (zh) * 2018-07-23 2019-01-29 同济大学 一种基于深度学习的x射线成像焊缝检测方法
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109993734A (zh) * 2019-03-29 2019-07-09 北京百度网讯科技有限公司 用于输出信息的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201824098A (zh) * 2016-12-22 2018-07-01 三星電子股份有限公司 訓練深層學習分類網路之系統和方法
TW201908716A (zh) * 2017-06-14 2019-03-01 以色列商肯提克有限公司 缺陷自動分類技術
TW201917566A (zh) * 2017-07-05 2019-05-01 美商深視有限公司 深度視覺處理器
WO2019018693A2 (en) * 2017-07-19 2019-01-24 Altius Institute For Biomedical Sciences METHODS OF ANALYZING MICROSCOPIC IMAGES USING AUTOMATIC LEARNING
WO2019118941A2 (en) * 2017-12-14 2019-06-20 Essenlix Corporation Improved optical transmission sample holder and analysis, particularly for hemoglobin
CN109118482A (zh) * 2018-08-07 2019-01-01 腾讯科技（深圳）有限公司 一种面板缺陷分析方法、装置及存储介质

Also Published As

Publication number Publication date
US20210035305A1 (en) 2021-02-04
TW202107074A (zh) 2021-02-16
CN112396575A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
TWI710762B (zh) 基於影像的分類系統
CN112313554B (zh) 用于提供超分辨率成像的准确度的反馈并改进超分辨率成像的准确度的系统、装置和方法
CN111833306B (zh) 缺陷检测方法和用于缺陷检测的模型训练方法
KR102166458B1 (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
CN112819772B (zh) 一种高精度快速图形检测识别方法
CN111612737B (zh) 一种人造板表面瑕疵检测装置及检测方法
US7409081B2 (en) Apparatus and computer-readable medium for assisting image classification
CN115791822A (zh) 晶圆表面缺陷的视觉检测算法及检测系统
CN113658176A (zh) 基于交互注意力与卷积神经网络的瓷砖表面缺陷检测方法
JP2001509618A (ja) マスクレスの半導体及び液晶ディスプレイ検査方法及び装置
CN111523540A (zh) 基于深度学习的金属表面缺陷检测方法
CN110021012B (zh) 基于机器视觉技术的手机镜头视窗玻璃缺陷检测方法
CN112132196B (zh) 一种结合深度学习和图像处理的烟盒缺陷识别方法
US20230351582A1 (en) A line clearance system
KR20200099977A (ko) 화상 생성 장치, 검사 장치 및 화상 생성 방법
WO2021161646A1 (ja) 欠陥検出装置、欠陥検出方法、欠陥修正装置
WO2024002187A1 (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN115661110B (zh) 一种透明工件识别与定位的方法
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
CN114841992A (zh) 基于循环生成对抗网络和结构相似性的缺陷检测方法
CN114399505A (zh) 工业检测中的检测方法、检测装置
CN112184619A (zh) 一种基于深度学习的金属部件表面缺陷检测方法
US20080002874A1 (en) Distinguishing reference image errors in optical inspections
CN212646436U (zh) 一种人造板表面瑕疵检测装置
CN114926675A (zh) 外壳污损缺陷检测方法、装置、计算机设备及存储介质