TWI701638B - 應用機械學習技術於自動化光學檢測系統 - Google Patents

Abstract

本發明係提供一種應用機械學習技術於自動化光學檢測系統，其包含：一定位裝置，其係用以定位一工件；一影像擷取單元，其係用以擷取該工件之影像；一處理單元，其訊號連結於該影像擷取單元，並係用以執行一尺寸檢測步驟及一光澤檢測步驟，該尺寸檢測步驟包含：將工件之影像銳化，並藉由邊緣檢測以獲得一邊緣影像；將邊緣影像進行卷積運算，並將該卷積影像依軸向計算點之數量；界定點數量變化較高之部分為一邊緣，並計算該邊緣之像素數；透過設定閥值，以藉由像素數與閥值之比對判斷該工件之尺寸是否合格；並可藉由CNN卷積類神經網路訓練工件之合格影像及瑕疵影像，以於拍攝工件影像時，直接進行合格與否之判別；藉此，本發明可自動化進行工件之品質檢測，並可將合格品與不合格品予以分類，以降低人力檢測之成本，並可確保工件生產銷售之品質者。

Description

應用機械學習技術於自動化光學檢測系統

本發明係提供一種應用機械學習技術於自動化光學檢測系統，尤指一種可自動化快速進行工件之尺寸檢測及光澤檢測，以篩分合格及不合格之工件，藉以提升工件出產之品質及精度者。

按，隨著文明之蓬勃發展，間接導致出生率降低以及預期壽命的延長，至今，人類即將面臨的是勞動力缺乏的高齡化社會。根據內政部統計處之統計，關於我國之人口結構，65歲以上的人口比率，自民國94年1月至民國104年1月間，由9.51%迅速提升至12.04%；反觀14歲以下的人口比率，則由19.29%大幅下滑至13.96%，老年人口增加，少子化的現象也在全世界持續發酵；由於人口結構的大幅改變，勞動力已不如以往；為解決勞動力不足以及勞動成本提高之問題，各業者以逐步導入自動化設備，藉以自動化進行相關製程及檢測流程，期以降低對於勞動力之仰賴，並進一步提升產能及工作效率者。

而就工件之製造而言，多數者，往往係需經酸洗、抽線、擠壓、冷鐓、削切、攻牙、鍍層等工序，而每一工序皆有致工序瑕疵之可能性，為防止工件無法使用，或破壞其他用以結合之物件，故於工件出廠時，將會透過品管人員進行檢測，而人工檢測之過程較為耗時，且需消耗諸多勞動力，亦難以快速及準確辨識及篩分不良品，其將導致影像工件生產之產能及品質之控制。

有鑑於此，吾等發明人乃潛心進一步研究工件之檢測，並著手進行研發及改良，期以一較佳設作以解決上述問題，且在經過不斷試驗及修改後而有本發明之問世。

爰是，本發明之目的係為解決前述問題，為達致以上目的，吾等發明人提供一種應用機械學習技術於自動化光學檢測系統，其包含：一定位裝置，其係用以定位一工件；一影像擷取單元，其係用以擷取該工件之影像；以及一處理單元，其訊號連結於該影像擷取單元，並係用以執行一尺寸檢測步驟，該尺寸檢測步驟包含：將該影像擷取單元擷取該工件之影像予以銳化，並藉由邊緣檢測以獲得一邊緣影像；將該邊緣影像進行卷積運算，以獲得主要以點構成之卷積影像；定義一軸向，並將該卷積影像依該軸向計算點之數量；界定點數量變化較高之部分為一邊緣，並計算該邊緣之像素數；以及定義一閥值，將該像素數比對該閥值，藉以依據該閥值判斷該工件之尺寸是否合格。

據上所述之應用機械學習技術於自動化光學檢測系統，其中，該尺寸檢測步驟更包含：分別對該工件之影像予以進行一階微分銳化及二階微分銳化，並將分別銳化後之結果及原工件之影像予以疊加，而後藉由邊緣檢測以獲得該邊緣影像。

據上所述之應用機械學習技術於自動化光學檢測系統，其中，該尺寸檢測步驟更包含：藉由計算點數量變化之水平梯度及垂直梯度，並藉由平方相加後取得一梯度值及梯度方向，並比較每一選定之點於其正負梯度方向之點，並於選定之該點之梯度最大時保留其點，其餘者則設為0；以及界定一上閥值及一下閥值，並定義該點之梯度值大於該上閥值時界定為邊緣，而小於該下閥值時界定為非邊緣。

據上所述之應用機械學習技術於自動化光學檢測系統，其中，該尺寸檢測步驟更包含：定義選定之該點之梯度值介於該上閥值及該下閥值之間者，若其周圍之點之梯度值大於該上閥值，則令選定之該點定義為邊緣。

據上所述之應用機械學習技術於自動化光學檢測系統，其中，該尺寸檢測步驟更包含：將該影像擷取單元擷取該工件之影像予以銳化，係予抑制雜訊後，方藉由邊緣檢測以獲得該邊緣影像。

據上所述之應用機械學習技術於自動化光學檢測系統，其中，該處理單元更用以執行一光澤檢測步驟，該光澤檢測步驟更包含：建立一影像資料庫，其包含複數合格影像及複數瑕疵影像；建構CNN卷積類神經網路，藉以透過所述合格影像及所述瑕疵影像以訓練一演算法；藉由該影像擷取單元擷取該工件之影像，並藉由該演算法以判定該工件之影像光澤是否合格。

據上所述之應用機械學習技術於自動化光學檢測系統，其中，該定位裝置更包含一基座，該基座頂端設有一第一座體及一第二座體，該第一座體及該第二座體之間形成一對應承接該工件之溝槽，且該第一座體及該第二座體分別於溝槽一端形成一滑軌；一驅動裝置，其設於該基座內部，其係升降驅動一滑台，該滑台兩側分別設有一連桿，所述連桿分別設有一定位元件，所述定位元件設有對應於所述滑軌之滑塊，且所述定位元件係凸伸於所述溝槽，且係用以夾掣該工件；且該影像擷取單元係設於對應於該第一座體及該第二座體上表面徑向方向一端者。

據上所述之應用機械學習技術於自動化光學檢測系統，其中，該驅動裝置更縱向設置有一螺桿，該滑台設有一穿孔，該穿孔內緣設有對應於該螺桿之組接部；且該基座內設有至少一於旋轉方向定位該滑台之承接部。

據上所述之應用機械學習技術於自動化光學檢測系統，更包含一底座，其設有一驅動單元、一齒盤及一轉盤，該基座係設置並從動旋轉於該轉盤，該齒盤係從動於該驅動單元，且該齒盤係對應嚙合並旋轉傳動該轉盤。

據上所述之應用機械學習技術於自動化光學檢測系統，更包含一分類機構，其係耦接於該處理單元，並設於該基座對應於該溝槽之頂端處，藉以依據該工件之合格與否分類移動該工件。

是由上述說明及設置，顯見本發明主要具有下列數項優點及功效，茲逐一詳述如下：

1.本發明可透過影像偵測工件之尺寸及光澤，其中，尺寸檢測步驟係可予以初步鑑定工件之尺寸是否符合所預定尺寸之規範，而光澤檢測步驟係可予以更進一步檢視工件表面是否具有瑕疵，諸如：刮痕、崩牙等缺陷，且其檢測係可自動化完成，並可藉由分類機構之設置，以篩分合格與不合格之工件，藉以降低人力成本之耗費，並可有效提升工件品質檢測之效率。

2.本發明之定位裝置係可有效二維度定位工件，藉以利於影像擷取單元擷取工件之影像，以利進行尺寸及光澤之檢測，使更進一步提升工件品質偵測之精確度者。

關於吾等發明人之技術手段，茲舉數種較佳實施例配合圖式於下文進行詳細說明，俾供  鈞上深入了解並認同本發明。

請先參閱第1圖至第4圖所示，本發明係一種應用機械學習技術於自動化光學檢測系統，其包含：

一定位裝置1，其係用以定位一工件2；在一實施例中，該定位裝置1係包含一基座11，該基座11頂端設有一第一座體12及一第二座體13，該第一座體12及該第二座體13之間形成一對應承接該工件2之溝槽14，以藉由將工件2置於溝槽14以形成於縱向方向之定位；而該第一座體12及該第二座體13分別於溝槽14一端形成一滑軌141；一驅動裝置3，其設於該基座11內部，其係升降驅動一滑台4，該滑台4兩側分別設有一連桿41，所述連桿41分別設有一定位元件42，所述定位元件42設有對應於所述滑軌141之滑塊421，藉此，當滑台4降低時，由於連桿41亦將予以下降，故將拉動定位元件42，而定位元件42受滑軌141及滑塊421設置之限制，故定位元件42將延滑軌141之設置方向而朝滑台4之中心移動，進而可達致夾掣之效果，反之，如第4圖所示，當滑台4上升時，連桿41將推動定位元件42，使定位元件42遠離滑台4之中心，藉以令定位元件42非進行夾掣者，而所述定位元件42係凸伸於所述溝槽14，故可用以夾掣該工件2之兩側，藉以於二維度之方向定位工件2。

就驅動裝置3對於控制滑台4之升降而言，在一實施例中，該驅動裝置3更縱向設置有一螺桿31，該滑台4設有一穿孔43，該穿孔43內緣設有對應於該螺桿31之組接部431，藉以透過螺合之方式以控制滑台4之升降，而為防止滑台4僅係單純旋轉，而無法受螺桿31驅動而升降，故可知悉者，該基座11內設有至少一於旋轉方向定位該滑台4之承接部15，藉以防止滑台4空轉。

一影像擷取單元5，其係用以擷取該工件2之影像，在一實施例中，該影像擷取單元5係設於對應於該第一座體12及該第二座體13上表面徑向方向一端；故可知悉者，該影像擷取單元5係可架設於一架體6，以定位影像擷取單元5，並使其可由側向擷取工件2之影像。

而為令影像擷取單元5可由各角度擷取工件2之影像，故在另一較佳之實施例中，係更包含一底座7，其設有一驅動單元71、一齒盤72及一轉盤73，該基座11係設置並從動旋轉於該轉盤73，該齒盤72係從動於該驅動單元71，且該齒盤72係對應嚙合並旋轉傳動該轉盤73，藉以於驅動單元71運作時，可藉由齒盤72傳動於轉盤73，使基座11整理予以旋轉，使工件2亦得以旋轉而供影像擷取單元5擷取工件2之影像，惟其僅係舉例說明，並不以此作為限定，在其他實施例中，亦可預先定位基座11及影像擷取單元5，並進行單一視角擷取工件2之影像。

一處理單元，其訊號連結於該影像擷取單元5，並係用以執行一尺寸檢測步驟或光澤檢測步驟，故可知悉者，該處理單元可為電腦，以進行尺寸檢測或光澤檢測之檢測、辨識及運算者。

其中，尺寸檢測步驟係可藉以檢測工件2之外觀尺寸是否符合需求，就尺寸而言，其係可包含工件2整體之長度、直徑、螺距等具有尺寸特徵者，該尺寸檢測步驟如第5圖所示，包含：

S001：將該影像擷取單元5擷取該工件2之影像予以銳化，在一實施例中，為利於強化邊緣影像使利於檢測邊緣，故係可分別對該工件2之影像予以進行一階微分銳化及二階微分銳化，如第6圖及第7圖所示，係可分別用Sobel（索伯）及Laplacian（拉普拉斯）進行銳化，其中，Laplacian為二階微分，易產生雙邊緣，而Sobel為一階微分，易產生寬邊緣，並將分別銳化後之結果及原工件2之影像予以疊加，對於影像之疊加，係可直接疊加，或可依需求而以特定之比例進行疊加，而疊加後之影像係如第8圖所示者，藉可得到邊緣更加明顯之影像。

S002：抑制雜訊；在一實施例中，係可採用5×5的高斯濾波，並如下數學式1所示：

【數學式1】

其中以σ=1.3代入後，可得到高斯濾波矩陣，如下數學式2所示：

【數學式2】

S003：將抑制雜訊後之圖像進行邊緣檢測以獲得一邊緣影像，在一實施例中，係可使用Canny邊緣檢測法進行檢測，因Canny邊緣檢測法在抗雜訊和精確定位間有不錯的效果，惟其僅係舉例說明，並不以此作為限定。

S004：對該邊緣影像進行卷積運算，以獲得主要以點構成之卷積影像，如第9圖所示者；在一具體之實施例中，係可透過下數學式3所示之矩陣進行卷積運算。

【數學式3】

S005：定義一軸向，舉例而言，係可界定一縱軸，如：x=a，並將該卷積影像依該軸向計算點之數量。

S006：界定點數量變化較高之部分為一邊緣；在一實施例中，係可藉由Sobel運算子計算點數量變化之水平梯度及垂直梯度(Gx、Gy)，如下數學式4、5所示：

【數學式4】

【數學式5】

並藉由平方相加後取得一梯度值G及梯度方向θ，如下數學式6、7所示：

【數學式6】

【數學式7】

並將其分成0、45、90、135度四類；

而後，比較每一選定之點於其正負梯度方向之點，並於選定之該點之梯度最大時保留其點，其餘者則設為0；並界定一上閥值及一下閥值，並定義該點之梯度值大於該上閥值時界定為邊緣，而小於該下閥值時界定為非邊緣，更進一步者，係定義選定之該點之梯度值介於該上閥值及該下閥值之間者，若其周圍之點之梯度值大於該上閥值，則令選定之該點定義為邊緣。

最後，即可予以計算該邊緣之像素數。

S007：定義一閥值，將該像素數比對該閥值，藉以依據該閥值判斷該工件2之尺寸是否合格；在一實施例中，閥值之定義，係藉由相同之環境擷取標準工件2之影像，並如前述之步驟計算像素數，即可依據標準工件2而予以界定閥值，亦可重複運行而得到一定數量之標準工件2像素數後，及予以統計而界定特定之閥值或其區間；在其他實施例中，亦可更進一步計算標準工件2每一像素之真實尺寸，乘以其像素數而界定閥值，而將待測工件2之像素數乘以真實尺寸以得到量測值，藉以依據閥值而判斷待測工件2之量測值，以判斷待測工件2是否合格。

並如第10圖所示，本發明係可架設一分類機構8，其係耦接於該處理單元，且該分類機構8係設於該基座11對應於該溝槽14之頂端處，藉以依據該工件2之合格與否分類移動該工件2，在一實施例中，分類機構8係可被配置於該架體6；在一具體之實施例中，該分類機構8具有一本體81，該本體81設置有二傳動桿82，並分別位於該溝槽14之兩側，且所述傳動桿82係可觸及該工件2，藉以於判斷待測工件2合格時，處理單元將令分類機構8傳動其一傳動桿82a以朝一方向排除定位元件42夾持之工件2，而於工件2不合格時，傳動另一傳動桿82b以朝另一方向排除工件2，藉以達致分類之功效，惟其僅係舉例說明，並不以此作為限定。

而就光澤檢測步驟而言，其係可藉由光澤以偵測工件2是否具有瑕疵，諸如：刮痕、崩牙等情形，因其瑕疵將影響工件2之光澤，故如第11圖所示，其步驟包含：

S008：建立一影像資料庫，其包含複數合格影像及複數瑕疵影像；在一實施例中，舉例而言，係可預先建好約250張影像，其包括150張合格影像及100張瑕疵影像，如第12、13圖所示。

S009：建構CNN卷積類神經網路，在一實施例中，係可使用VGGnet，其係可具有十三個卷積層及三個全連接層，以具有足夠之深度，故可利於影像之辨識，藉以利用所述合格影像及所述瑕疵影像，以訓練一演算法。

S010：藉由該影像擷取單元5擷取該工件2之影像，並藉由該演算法以判定該工件2之影像光澤是否合格，並可如前所述，藉由分類機構8予以分類合格或不合格之工件2。

藉此，若具有足夠之合格影像及瑕疵影像透過CNN卷積類神經網路訓練，則可令準確率近乎100％，藉可有效提升檢測之精度。

綜上所述，本發明所揭露之技術手段確能有效解決習知等問題，並達致預期之目的與功效，且申請前未見諸於刊物、未曾公開使用且具長遠進步性，誠屬專利法所稱之發明無誤，爰依法提出申請，懇祈  鈞上惠予詳審並賜准發明專利，至感德馨。

惟以上所述者，僅為本發明之數種較佳實施例，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明書內容所作之等效變化與修飾，皆應仍屬本發明專利涵蓋之範圍內。

1:定位裝置 11:基座 12:第一座體 13:第二座體 14:溝槽 141:滑軌 15:承接部 2:工件 3:驅動裝置 31:螺桿 4:滑台 41:連桿 42:定位元件 421:滑塊 43:穿孔 431:組接部 5:影像擷取單元 6:架體 7:底座 71:驅動單元 72:齒盤 73:轉盤 8:分類機構 81:本體 82a、82b:傳動桿 S001~S010:步驟

第1圖係本發明定位裝置之立體示意圖。 第2圖係本發明定位裝置之立體分解示意圖。 第3圖係第1圖於A－A位置之剖視示意圖。 第4圖係本發明之定位元件於非夾掣時之剖視暨使用狀態示意圖。 第5圖係本發明尺寸檢測步驟之流程圖。 第6圖係本發明經Sobel銳化後之影像圖。 第7圖係本發明經Laplacian銳化後之影像圖。 第8圖係本發明經疊合後之影像圖。 第9圖係本發明經卷積後之影像圖。 第10圖係本發明之定位裝置及分類機構之側視暨使用狀態示意圖。 第11圖係本發明光澤檢測步驟之流程圖。 第12圖係本發明合格影像之影像圖。 第13圖係本發明瑕疵影像之影像圖。

S001~S007:步驟

Claims (9)

1. 一種應用機械學習技術於自動化光學檢測系統，其包含：一定位裝置，其係用以定位一工件；一影像擷取單元，其係用以擷取該工件之影像；以及一處理單元，其訊號連結於該影像擷取單元，並係用以執行一尺寸檢測步驟，該尺寸檢測步驟包含：將該影像擷取單元擷取該工件之影像予以銳化，並藉由邊緣檢測以獲得一邊緣影像；將該邊緣影像進行卷積運算，以獲得主要以點構成之卷積影像；定義一軸向，並將該卷積影像依該軸向計算點之數量；界定點數量變化較高之部分為一邊緣；其係藉由計算點數量變化之水平梯度及垂直梯度，並藉由平方相加後取得一梯度值及梯度方向，並比較每一選定之點於其正負梯度方向之點，並於選定之該點之梯度最大時保留其點；界定一上閥值及一下閥值，並定義該點之梯度值大於該上閥值時界定為邊緣，而小於該下閥值時界定為非邊緣，並計算該邊緣之像素數；以及定義一閥值，將該像素數比對該閥值，藉以依據該閥值判斷該工件之尺寸是否合格。
2. 如申請專利範圍第1項所述之應用機械學習技術於自動化光學檢測系統，其中，該尺寸檢測步驟更包含：分別對該工件之影像予以進行一階微分銳化及二階微分銳化，並將分別銳化後之結果及原工件之影像予以疊加，而後藉由邊緣檢測以獲得該邊緣影像。
3. 如申請專利範圍第1項所述之應用機械學習技術於自動化光學檢測系統，其中，該尺寸檢測步驟更包含：定義選定之該點之梯度值介於該上閥值及該下閥值之間者，若其周圍之點之梯度值大於該上閥值，則令選定之該點定義為邊緣。
4. 如申請專利範圍第1項所述之應用機械學習技術於自動化光學檢測系統，其中，該尺寸檢測步驟更包含：將該影像擷取單元擷取該工件之影像予以銳化，係予抑制雜訊後，方藉由邊緣檢測以獲得該邊緣影像。
5. 如申請專利範圍第1項所述之應用機械學習技術於自動化光學檢測系統，其中，該處理單元更用以執行一光澤檢測步驟，該光澤檢測步驟更包含：建立一影像資料庫，其包含複數合格影像及複數瑕疵影像；建構CNN卷積類神經網路，藉以透過所述合格影像及所述瑕疵影像以訓練一演算法；藉由該影像擷取單元擷取該工件之影像，並藉由該演算法以判定該工件之影像光澤是否合格。
6. 如申請專利範圍第1至5項中任一項所述之應用機械學習技術於自動化光學檢測系統，其中，該定位裝置更包含一基座，該基座頂端設有一第一座體及一第二座體，該第一座體及該第二座體之間形成一對應承接該工件之溝槽，且該第一座體及該第二座體分別於溝槽一端形成一滑軌；一驅動裝置，其設於該基座內部，其係升降驅動一滑台，該滑台兩側分別設有一連桿，所述連桿分別設有一定位元件，所述定位元件設有對應於所述滑軌之滑塊，且所述定 位元件係凸伸於所述溝槽，且係用以夾掣該工件；且該影像擷取單元係設於對應於該第一座體及該第二座體上表面徑向方向一端者。
7. 如申請專利範圍第6項所述之應用機械學習技術於自動化光學檢測系統，其中，該驅動裝置更縱向設置有一螺桿，該滑台設有一穿孔，該穿孔內緣設有對應於該螺桿之組接部；且該基座內設有至少一於旋轉方向定位該滑台之承接部。
8. 如申請專利範圍第6項所述之應用機械學習技術於自動化光學檢測系統，更包含一底座，其設有一驅動單元、一齒盤及一轉盤，該基座係設置並從動旋轉於該轉盤，該齒盤係從動於該驅動單元，且該齒盤係對應嚙合並旋轉傳動該轉盤。
9. 如申請專利範圍第6項所述之應用機械學習技術於自動化光學檢測系統，更包含一分類機構，其係耦接於該處理單元，並設於該基座對應於該溝槽之頂端處，藉以依據該工件之合格與否分類移動該工件。

Images