TWM594688U

TWM594688U - 光學檢測系統

Info

Publication number: TWM594688U
Application number: TW108217534U
Authority: TW
Inventors: 蘇愷宏; 賴彥廷
Original assignee: 亞達科技股份有限公司
Priority date: 2019-12-31
Filing date: 2019-12-31
Publication date: 2020-05-01

Abstract

一種用以檢測目標表面是否存在缺陷的光學檢測系統包括：雷射光源、攝像裝置、伺服器與顯示器。雷射光源用以將柵狀雷射投射至目標表面上。攝像裝置用以拍攝被柵狀雷射所投射之目標表面以產生待測圖像。伺服器預載了人工智能物件辨識模型，透過訓練樣本圖像來訓練人工智能物件辨識模型，已完成訓練的人工智能物件辨識模型進行檢測辨識來分析待測圖像以檢測目標表面是否存在缺陷的檢測結果。顯示器用以顯示待測圖像，且用以於目標表面存在缺陷時，於待測圖像中標示出缺陷的位置。

Description

光學檢測系統

本新型係有關一種光學檢測系統，且特別是有關於一種用以檢測目標表面是否存在缺陷的光學檢測系統。

在工業檢測產業中，金屬表面瑕疵檢測是很重要的檢測項目之一。傳統上，若透過檢測人員以目測、觸摸或量測儀器等方式檢查金屬表面平整度，往往需要花費大量時間，且這種檢測很難有固定的標準。另一種習知的表面瑕疵檢測方式是採用自動光學檢查(automated optical inspection，AOI)技術，利用人造特徵進行瑕疵檢測及分類，然而，採用此技術將會需要額外花時間打造特徵，且實際對於需檢測的樣本進行檢測時，可能會因為環境光線明暗、金屬表面反光、影像解析度等等因素，使得檢測難度增加而難以提高檢測準確率。

本新型的實施例提出一種光學檢測系統，用以檢測目標表面是否存在至少一缺陷，所述光學檢測系統包括：雷射光源、攝像裝置、伺服器以及顯示器。所述雷射光源用以將柵狀雷射(grid laser)投射至目標表面上。所述攝像裝置用以拍攝被柵狀雷射所投射之目標表面以產生待測圖像。所述伺服器電性連接攝像裝置，其中所述伺服器預載了人工智能(Artificial Intelligence，AI)物件辨識模型，其中所述伺服器所預載之人工智能物件辨識模型係透過多個訓練樣本圖像來進行訓練，其中已完成訓練的人工智能物件辨識模型用以進行檢測辨識來分析待測圖像以輸出檢測結果，其中檢測結果係用以表示目標表面是否存在至少一缺陷。所述顯示器電性連接伺服器，所述顯示器用以顯示待測圖像，且所述顯示器更用以於目標表面存在至少一缺陷時，於待測圖像中標示出至少一缺陷的位置。

在一些實施例中，上述雷射光源更用以根據目標表面的材質來調整柵狀雷射的頻率。

在一些實施例中，上述雷射光源更用以根據至少一缺陷的預定義尺度來調整柵狀雷射的網格大小。

在一些實施例中，其中已完成訓練的人工智能物件辨識模型於進行檢測辨識以分析待測圖像之前，已完成訓練的人工智能物件辨識模型更會對待測圖像進行資料前處理。

在一些實施例中，其中伺服器所預載之人工智能物件辨識模型係透過以下步驟來進行訓練：取得所述訓練樣本圖像，其中所述訓練樣本圖像包含多個表面具缺陷之樣本圖像與多個表面不具缺陷之樣本圖像；對所述訓練樣本圖像進行資料前處理；以及將進行完資料前處理的訓練樣本圖像輸入伺服器所預載之人工智能物件辨識模型來對伺服器所預載之人工智能物件辨識模型進行訓練。

在一些實施例中，其中係藉由調整方式來取得所述訓練樣本圖像，其中所述調整方式包含以下至少一者：調整雷射光源的角度、調整雷射光源與目標表面的距離、調整攝像裝置的角度、調整攝像裝置與目標表面的距離。

在一些實施例中，所述資料前處理包含以下至少一者：資料清潔處理、資料擴增處理、資料標記處理。

在一些實施例中，所述資料清潔處理係用以判定所述待測圖像或所述訓練樣本圖像中是否有屬於模糊不清或標的物殘缺的瑕疵圖像，並將屬於瑕疵圖像的待測圖像或訓練樣本圖像從待測圖像或訓練樣本圖像中去除。

在一些實施例中，上述資料擴增處理係用以對所述待測圖像或所述訓練樣本圖像進行圖像變形處理，其中所述圖像變形處理包含以下至少一者：左右翻轉、上下翻轉、小程度扭曲、亮度變化。

在一些實施例中，上述資料標記處理係用以將所述待測圖像或所述訓練樣本圖像中對應至少一缺陷的位置以矩形框格式標記。

在一些實施例中，上述伺服器更用以將已完成分析的所述待測圖樣與相對應的所述檢測結果輸入已完成訓練的人工智能物件辨識模型來對已完成訓練的人工智能物件辨識模型進行再訓練。

為讓本新型的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧光學檢測系統

110‧‧‧雷射光源

120‧‧‧攝像裝置

130‧‧‧伺服器

140‧‧‧顯示器

180‧‧‧目標表面

1100-1800‧‧‧步驟

從以下結合所附圖式所做的詳細描述，可對本新型之態樣有更佳的了解。

[圖1]與[圖2]係根據本新型的實施例之光學檢測系統的示意圖。

[圖3]係根據本新型的實施例之用以說明柵狀雷射的網格大小與不同尺度的表面缺陷之關係的示意圖。

[圖4]係根據本新型的實施例之光學檢測系統之人工智能物件辨識模型進行離線建模與線上檢測的流程圖。

以下仔細討論本新型的實施例。然而，可以理解的是，實施例提供許多可應用的概念，其可實施於各式各樣的特定內容中。所討論、揭示之實施例僅供說明，並非用以限定本新型之範圍。

圖1與圖2係根據本新型的實施例之光學檢測系統100的示意圖。光學檢測系統100包含雷射光源110、攝像裝置120、伺服器130以及顯示器140，光學檢測系統100係用以檢測待測之目標表面180是否存在缺陷。光學檢測系統100的雷射光源110用以將柵狀雷射(grid laser)投射至目標表面180上。光學檢測系統100的攝像裝置120用以拍攝被柵狀雷射所投射之目標表面180以產生待測圖像。光學檢測系統100的伺服器130電性連接攝像裝置120以接收所述待測圖像。

在本新型的實施例中，伺服器130已預載了人工智能(Artificial Intelligence，AI)物件辨識模型，其中，在光學檢測系統100要對待測之目標表面180進行線上即時檢測之前將會，例如，先以離線的方式對於伺服器130所預載之人工智能物件辨識模型透過多個訓練樣本圖像來先進行訓練。在本新型的實施例中，伺服器130所預載之人工智能物件辨識模型係透過以下步驟來進行訓練：(步驟1)取得多個訓練樣本圖像；(步驟2)對所述多個訓練樣本圖像進行資料前處理；以及(步驟3)將進行完資料前處理的訓練樣本圖像輸入伺服器130所預載之人工智能物件辨識模型來對伺服器130所預載之人工智能物件辨識模型進行訓練。

於步驟1當中，會經由蒐集來取得包含缺陷之表面與不包含缺陷之表面之多個訓練樣本圖像，蒐集的方式係藉由調整雷射光源110和攝像裝置120之角度、遠近，蒐集在不同照射條件、拍攝條件下之訓練樣本圖像。換言之，係藉由各種調整方式來取得所述多個訓練樣本圖像，上述之調整方式包含以下至少一者：調整雷射光源110的角度、調整雷射光源110與已知之目標表面180的距離、調整攝像裝置120的角度、調整攝像裝置120與已知之目標表面180的距離等等。其中，於步驟1當中之調整方式所提到的已知之目標表面180包含：已知之表面存在缺陷的表面以及已知之表面不存在缺陷的表面，換言之，所述多個訓練樣本圖像包含多個表面具缺陷之樣本圖像與多個表面不具缺陷之樣本圖像。

於步驟2當中的資料前處理包含以下至少一者：資料清潔處理、資料擴增處理、資料標記處理。資料清潔處理係用以判定所述多個訓練樣本圖像中是否有屬於模糊不清或標的物殘缺的瑕疵圖像，並將屬於瑕疵圖像的訓練樣本圖像從所述多個訓練樣本圖像中去除。資料擴增處理係用以對所述多個訓練樣本圖像進行圖像變形處理，上述之圖像變形處理包含以下至少一者：左右翻轉、上下翻轉、小程度扭曲、亮度變化等人工方式擴增，以加強人工智能物件辨識模型訓練後之穩固性及通用性。資料標記處理係用以將所述多個訓練樣本圖像中之表面具缺陷之樣本圖像所對應至少一缺陷的位置以矩形框格式標記，以供人工智能物件辨識模型分類辨識。

在本新型的實施例中，已完成訓練的人工智能物件辨識模型用以進行線上即時的檢測辨識來分析待測圖像以輸出檢測結果，上述檢測結果係用以表示待測之目標表面180是否存在至少一缺陷。在本新型的實施例中，已完成訓練的人工智能物件辨識模型於進行檢測辨識以分析待測圖像之前，已完成訓練的人工智能物件辨識模型更會對待測圖像進行資料前處理。

已完成訓練的人工智能物件辨識模型對於待測圖像所進行之資料前處理包含以下至少一者：資料清潔處理、資料擴增處理、資料標記處理。資料清潔處理係用以判定所述待測圖像是否有屬於模糊不清或標的物殘缺的瑕疵圖像，並將屬於瑕疵圖像的待測圖像去除。資料擴增處理係用以對所述待測圖像進行圖像變形處理，上述之圖像變形處理包含以下至少一者：左右翻轉、上下翻轉、小程度扭曲、亮度變化等人工方式擴增，以加強人工智能物件辨識模型訓練後之穩固性及通用性。資料標記處理係用以將存在缺陷之目標表面所對應之待測圖像所相應之至少一缺陷的位置以矩形框格式標記，以供人工智能物件辨識模型分類辨識。

光學檢測系統100的顯示器140電性連接伺服器130，顯示器140用以顯示待測圖像(如圖1與圖2所示)，且顯示器140更用以於檢測出待測之目標表面180存在至少一缺陷時，於顯示器140的顯示畫面所顯示之待測圖像上標示出至少一缺陷的位置(如圖2所示)。具體而言，如圖1所示，雷射光源110將柵狀雷射以網格形式投射至目標表面180上，如目標表面180無凹陷或突起則顯示器140所顯示之待測圖像會呈現均勻網格；另外，如圖2所示，雷射光源110將柵狀雷射以網格形式投射至目標表面180上，如目標表面180有凹陷或突起則顯示器140所顯示之待測圖像會呈現非均勻網格且有彎曲現象。在本新型的實施例中，顯示器140更用以於檢測出待測之目標表面180存在至少一缺陷時，於顯示器140的顯示畫面所顯示之待測圖像上標示出至少一缺陷的位置且顯示該缺陷存在的機率來提示檢測人員。

在本新型的實施例中，在針對不同材質的目標表面180時，光學檢測系統100還可透過選擇不同頻率(包含可見光及不可見光)的柵狀雷射，從而能夠最佳地凸顯目標表面180的缺陷特徵。換言之，光學檢測系統100的雷射光源110更用以根據目標表面180的材質來調整雷射光源110的柵狀雷射的頻率。

在本新型的實施例中，更可透過調整柵狀雷射的網格大小，來更佳地凸顯不同尺度的表面缺陷。圖3係根據本新型的實施例之用以說明柵狀雷射的網格大小與不同尺度的表面缺陷之關係的示意圖。具體而言，光學檢測系統100會先定義所要偵測的瑕疵的尺度，並據以調整雷射光源110的柵狀雷射的網格大小使表面缺陷特徵能正確地凸顯出來。換言之，雷射光源110更用以根據至少一缺陷的預定義尺度來調整雷射光源110的柵狀雷射的網格大小。

在本新型的實施例中，伺服器130更用以將已完成分析的所述待測圖樣與相對應的檢測結果輸入已完成訓練的人工智能物件辨識模型來對已完成訓練的人工智能物件辨識模型進行再訓練，從而將人工智能物件辨識模型訓練之最佳化。

圖4係根據本新型的實施例之光學檢測系統100之人工智能物件辨識模型進行離線建模與線上檢測的流程圖，包含步驟1100-1800。於步驟1100，根據目標表面180的材質來調整雷射光源110的柵狀雷射的頻率，從而能夠最佳地凸顯目標表面180的缺陷特徵。於步驟1200，定義所要偵測的瑕疵的尺度，從而據以調整雷射光源110的柵狀雷射的網格大小使表面缺陷特徵能正確地凸顯出來。於步驟1300，雷射光源110將柵狀雷射以網格形式投射至目標表面180，從而凸顯目標表面180之不平整處的雷射網格特徵。於步驟1400，蒐集包含缺陷之表面與不包含缺陷之表面之多個訓練樣本圖像。於步驟1500，對多個訓練樣本圖像進行資料前處理，包含：資料清潔處理、資料擴增處理、資料標記處理。於步驟1600，將進行完資料前處理的多個訓練樣本圖像輸入伺服器130所預載之人工智能物件辨識模型來對伺服器130所預載之人工智能物件辨識模型進行訓練。於步驟1700，進行人工智能物件辨識模型測試與分析，舉例來說，包含以下指標：正確率(Accuracy)、損失函數(Loss function)、偽陽性率(False positive)、偽陰性率(False negative)等等。於步驟1800，透過已完成訓練的人工智能物件辨識模型來對待測之目標表面180進行線上即時的檢測辨識來分析待測之目標表面180是否存在缺陷。

具體而言，本新型利用雷射光源110之柵狀雷射之雷射光具有同調性、高亮度、高集中、不易發散的特性，來凸顯目標表面的瑕疵特徵。本新型將雷射光源110之柵狀雷射以均勻網格型式打在需檢測的目標表面180上。雷射網格通過目標表面的不平整處(凹陷、突起)時產生彎曲現象，再透過人工智能物件辨識模型先透過訓練來學習雷射光彎曲處之特徵，從而能夠利用已完成訓練的人工智能物件辨識模型來自動偵測待測之目標表面的不平整處之位置。透過本新型之光學檢測系統100可以降低人為誤差、減少檢測時間，且讓檢測有一定的標準。

本新型之光學檢測系統100可用於各種工業場域(航空、半導體設備、面板…等)，只需準確且有系統地蒐集需檢測表面的特徵，即可利用光學檢測系統100檢測不同場域之表面瑕疵。

雖然本新型已以實施方式揭露如上，然其並非用以限定本新型，任何熟習此技藝者，在不脫離本新型之精神和範圍內，當可作各種之更動與潤飾，因此本新型之保護範圍當視後附之申請專利範圍所界定者為準。