TWM631676U - 具人工智慧模組進行檢測緊固件的設備 - Google Patents
具人工智慧模組進行檢測緊固件的設備 Download PDFInfo
- Publication number
- TWM631676U TWM631676U TW110211935U TW110211935U TWM631676U TW M631676 U TWM631676 U TW M631676U TW 110211935 U TW110211935 U TW 110211935U TW 110211935 U TW110211935 U TW 110211935U TW M631676 U TWM631676 U TW M631676U
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- artificial intelligence
- fasteners
- deep learning
- optical
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 30
- 230000003287 optical effect Effects 0.000 claims abstract description 41
- 238000013135 deep learning Methods 0.000 claims abstract description 34
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 39
- 238000007689 inspection Methods 0.000 abstract description 25
- 230000008569 process Effects 0.000 abstract description 19
- 230000002950 deficient Effects 0.000 abstract description 7
- 238000007781 pre-processing Methods 0.000 abstract description 7
- 238000001514 detection method Methods 0.000 description 25
- 230000007547 defect Effects 0.000 description 18
- 238000005516 engineering process Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000012360 testing method Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000003255 drug test Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Stereo-Broadcasting Methods (AREA)
- Image Analysis (AREA)
Abstract
本創作係為一種具人工智慧模組進行檢測緊固件的設備，特別是關於一可透過人工智慧及光學檢測達到提升檢測效率與精密度之方法、流程與設備，其主要係利用一光學系統掃描待檢測緊固件的圖像後，對該圖像資料做影像前處理，並藉由人工智慧模組啟動深度學習神經網路進行圖像資料訓練，構成一圖像特徵資料集，並透過該圖像特徵資料進行判斷該緊固件是否為瑕疵品。
Description
本創作為一種具人工智慧模組進行檢測緊固件的方法、檢測流程及其設備，其特別是關於一種可透過人工智慧達到提升檢測效率與精密度之方法、檢測流程及其設備。
近年來由於新興產業之興起，各式精密零件的檢測相較以往的判斷標準而言，瑕疵品的判斷要求已經提升到更嚴謹的瑕疵精密度，尤其於消費性電子、車用、航太、通訊、甚至傳統產業中皆被使用到的緊固零件，為了產品或機台的安全性及使用壽命等都將必須做到百分百之全面檢驗。
而傳統對精密零件的檢測方式，除了人為判斷外，亦有利用光學系統分析影像判斷的零件是否為瑕疵品的判斷模式；人為目視的判斷模式僅能提供最粗略的瑕疵度判斷，微小的瑕疵將無法被發現，因此目前多數的判斷模式多合併採用光學機台的判斷模式，利用影像分析該光學機台拍攝被判斷零件的各面向影像畫面，分析比對其光學反射資料而進行判斷，其結果相較人為目視判斷將可得到更精密且精確的判斷結果。
目前光學判斷技術多需有一標準件的資料輸入該判斷機台，以其為標準進行瑕疵件的判斷，倘若新設計的零件，則會因沒有比對資料而無法進行瑕疵判斷。因此如何提升現行的檢測效率與精密度，並避免新設計的零件無法被判斷之缺失，則為本創作所與解決的問題。
為克服習知中所提及之問題及所需達成的目的，本創作之創作人提出一種具人工智慧模組進行檢測緊固件的方法、檢測流程及其設備。本創作藉由研發製造之精密光學檢測整合深度學習模組機台，其適用於檢測各種精密螺絲、螺母、銅柱、微型零件、一般緊固件、汽車部件、建築類等大型螺絲、醫療用品、藥品檢測、特殊零件及半導體精密零件等檢測，藉由解決現行前述品檢的問題，以降低產品出貨的不良率，進而提高該等產品的競爭力。
本創作提出一種具人工智慧模組進行檢測緊固件的方法，該方法係利用一光學系統掃描待檢測緊固件的圖像後，對該圖像資料做影像前處理，並藉由人工智慧(Artificial Intelligence)模組啟動深度學習神經網路進行圖像資料訓練，構成一圖像特徵資料集，並透過該圖像特徵資料判斷該緊固件是否為瑕疵品。
影像處理與辨識一直是光學檢測設備領域最被廣泛使用的技術，本創作藉由人工智慧(Artificial Intelligence)搭配傳統自動化檢測及機器視覺領域技術，採用之方法在大量影像資料經過自動化、影像處理、及深度學習進行萃取出其中之核心資訊，構成一圖像特徵資料集，形成一深度學習延並伸出大量資料庫的判斷方法，透過該圖像特徵資料進而判斷該緊固件是否為瑕疵品。
其中，本創作所提及的深度學習神經網路的發展不僅限應用於檢測與辨識效果，從基本之文字辨識、物件辨識、人臉辨識及自動化圖像辨識與判別描述等、無人駕駛車、編譯器編碼與還原等技術，皆是影像辨識與深度學習進行整合後之應用。現有公開具前瞻性的深度學習網路架構，包括：LeNet、AlexNet、VGG、GoogLeNet、ResNet、Inception-v4等，以應用場域瑕疵檢測資料測試，具有多個較小但結構完整的分支網路架構，提供分支決策與協同決策之彈性，對於難易不同之待檢影像，提供整合最佳分析結果，以提高結果預測及檢測準確度，並減少執行設備系統檢測所花費之時間。
因此，深度神經網路（Deep Neural Networks, DNN）是一種判別模型，可以使用反向傳播演算法進行訓練。權重更新可以使用下式進行隨機梯度下降法求解：
其中，η為學習率，C為代價函式。此一函式之選擇與學習類型(監督學習、無監督學習、增強學習)以及啟用功能相關。為了在一個多分類問題上進行監督學習，通常選擇是使用非線性函數ReLU作為神經網路激活Activation function功能，而使用交叉熵Cross-entropy作為代價函式Cost function。交叉熵定義為：
其中dj代表輸出單元j的目標機率，pj代表應用了啟用功能後對單元 j的機率的輸出。而最後Prediction輸出層使用Softmax函式其定義為：
其中pj代表類別j的機率，而xj和xk分別代表對單元j和k的輸入。
再者，本創作涉及光學影像檢測與辨識技術，特別是利用工業線掃描(Line-scan)與面掃描(Area-scan)光學相機影像檢測裝置檢測緊固件及辨識瑕疵。經由線掃描或面掃描影像檢測裝置所拍攝至少多張待檢測緊固件的360度環繞視角的圖像，再藉由影像前處理將上述由線掃描與面掃描影像檢測裝置所拍攝得到的多張圖像進行平移、旋轉、展開平整化及特徵提取，轉換成平面延伸展開的二維圖像，再利用深度學習神經網絡之方式與預先已經由深度學習網路所訓練過、並儲存於深度學習神經網絡中的各種工料形態之影像資料集進行比對，再搭配傳統機器視覺辨識將待檢測的工料進行分類與篩選。
本創作亦提出具人工智慧模組進行檢測緊固件的方法檢測流程，該流程為：(1)固定一待檢測的緊固件；(2)由光學系統的影像裝置進行緊固件取像；(3)將取得的影像進行影像特徵處理與分析；(4)利用深度學習神經網路模組進行圖像特徵收集及訓練；(5)利用深度神經網路判別瑕疵基準；及(6)將緊固件依據瑕疵基準分類與篩選。
而該流程僅列出主要的流程步驟，實際採用的判斷流程可根據使用本創作方法的檢測機台的設計需求，增加細部步驟。
而前述的方法及流程對應有一種具人工智慧模組進行檢測緊固件的光學設備，該光學設備至少包括：一用於旋轉待檢測緊固件之固定裝置；一光學掃描器，其可對該待檢測緊固件進行線掃描或面掃描；一具有深度學習神經網路模組的人工智慧系統(AI system)，訊號連接於該光學掃描器，用以接收掃描後圖檔，並對圖檔進行分析。
此外，深度學習網路模組之處理與訓練之架構與流程，以及精密光學檢測與深度學習模組整合機台之檢測流程亦藉由下列技術使其深度學習神經網路模組的功能更為完善：
機器學習（Machine Learning）是人工智慧發展的一環，讓機器自主學習並增強的演算法。透過迴歸分析，機器能從一堆數據中找出規律並做出預測，當輸入的數據越來越多，演算法也會持續的調整並做出更精準的分析與預測。
深度學習(Deep Learning)應用包括影像、語音辨識、自然語言處理、生物醫學資訊、大數據系統等，各種與生活相關領域皆有深度學習之應用場景。其中對於自動光學檢測領域中，影像辨識為進行待檢物之產品瑕疵、缺陷、判斷、篩選或量測外觀尺寸等之檢測應用為最廣泛。
影像分析與處理以及電腦與機器視覺的應用也因深度學習神經網路的整合應用，使影像類資料能有更進一步有效率的處理，使得光學檢測設備對於工件物料之辨識與分類效果能更加提升，因此處理影像資料的深度學習架構應用層面變的非常廣泛。藉由開發之自動化檢測整合深度學習模組之系統設備可發揮出強大之檢測與辨識之效果。
提供搭載整合高精度光學檢測技術與深度學習經網路模組，以更便捷性操作的機台，對於各種零件的檢測，能做到目視檢測無法達到的高精度，增加零件的高附加價值。除了持續提供高水準的服務，更將進一步開發整合檢測科技，朝向新世代工業4.0邁進。
而本申請案之光學技術、軟體研發、機械設計及電路控制等，均可針對客戶的產品特性製造對應的檢測設備。檢測設備可更搭配有一簡易的軟體介面，藉由設定簡易的人機介面與人性化操作設計可讓使用者快速完成檢測設定，節省不必要的時間浪費，達成高效率機台產出，且該檢測備可設計為具有遠端連線裝置並支援線上遠端連線服務。全機模組化結構設計易於保養及維護，並可依照不同類型產品需求以低成本完成檢測功能調整及機台升級。自有軟體模組整合與研發可因應更多樣新產品檢測及多種不同檢測需求。
而透過前述的創作說明可知，本創作旨在提出以自行開發之自動化檢測設備整合深度學習模組之系統，進行各領域所用之緊固件之瑕疵分類與檢測、及尺寸量測等之整合性應用，其中所述之應用領域包括但不限於：消費性電子、半導體、車用、航太、通訊、傳統產業之緊固件等領域，並且，對傳統檢測方法所無法檢測出之領域或特殊應用，其具有複雜形貌或特殊瑕疵的物件工料，皆能透過本案研發之自動光學檢測整合深度學習系統達到高準度辨識篩選與高精度量測。
自動光學檢測流程是利用光學儀器取得受測物體表面的狀態，再應用機器視覺相關技術來檢測是否有異常，接下來通過顯示器或其他自動標示方法來供人員判別，整體測試流程中大部分都可自動化執行，除了能節省人力成本也能降低人為檢測時的誤判率，在檢測設備產業中持續發展自動光學檢測已是廠商維持競爭力的一種趨勢。以下將配合圖示，對本創作所提出的一種具人工智慧模組進行檢測緊固件的方法、檢測流程及其設備做進一步的說明，其技術內容、特點與功效，在以下配合參考圖式之較佳實施例的詳細說明中，將可清楚的呈現。
第1圖係代表本創作一種具人工智慧模組進行檢測緊固件的方法示意圖；該方法係利用一光學系統掃描待檢測緊固件的圖像後，對該圖像資料做影像前處理，並藉由人工智慧模組啟動深度學習神經網路進行圖像資料訓練，構成一圖像特徵資料集，並透過該圖像特徵資料判斷該緊固件是否為瑕疵品。
其中掃描待檢測緊固件的圖像可採用線掃描和面掃描的掃描模式，而於本創作實施例中系採用工業線掃描模式，其掃描待檢測緊固件的圖像區域為局部影像或360度影像。線掃描的優點不僅在得到的圖像精確外，機台環境的光源與攝影成本都將比面掃描具有優勢，也因其圖像更為精確，在後續的
影像前處理步驟將得到更精確的檢測資料亦可判斷出更細微的產品瑕疵。
而其圖像資料影像前處理與深度學習神經網路的運算方式皆如創作說明中所述之模式與運算式進行處理，形成深度學習神經網路進行圖像資料訓練，最終構成一圖像特徵資料集。
圖1係為本創作一種具人工智慧模組進行檢測緊固件之檢測流程示意圖。其檢測流程為：(1)固定一待檢測的緊固件，(2)由光學系統的影像裝置進行緊固件取像，(3)將取得的影像進行影像特徵處理與分析、(4)利用深度學習神經網路模組進行圖像特徵收集及訓練、(5)利用深度神經網路判別瑕疵基準、(6)將緊固件依據瑕疵基準分類與篩選。
圖2係為本創作實施例的具人工智慧模組進行檢測緊固件的光學設備、圖3係為本創作實施例的瑕疵分類與操作檢測畫面、圖4係為本創作實施例的機構設置與檢測實施示意圖。圖5係為本創作實施例的單元方塊圖。同步參考配合圖2-圖5，一種具人工智慧模組進行檢測緊固件的方法一種具人工智慧模組進行檢測緊固件的光學設備，包括：一用於旋轉待檢測緊固件之固定裝置；一光學掃描器，其可對該待檢測緊固件進行線掃描或面掃描；一具有深度學習神經網路模組的人工智慧系統(AI system)，訊號連接於該光學掃描器，用以接收掃描後圖檔，並對圖檔進行分析。
透過前述的方法、流程及設備，當一緊固件的產品透過本創作逐一檢測是否為合格品或瑕疵品時，其過程則是將緊固件的產品自動導入本創作的設備(如第3圖)，緊固件將依序被固定裝置固定後進行光學掃描，其掃描圖像將傳輸至設備的電腦設備中進行圖像的影像前處理，其處理完成的二維影像及光學資料將輸入深度學習神經網路模組進行圖像資料訓練並加入其圖像特徵資
料集中，並與該資料集中原有資料進行比對藉以判斷是否具有瑕疵，當判別完成則會由設備的輸出帶輸出並進行下一緊固件的固定、掃描、建構與比對等流程。經由不斷的透過深度學習神經網路模組進行圖像資料訓練，並將結果加入其圖像特徵資料集中，特徵資料庫將會益發完善，因此對後續比對的精確度也會更為正確。對沒有比對資料的新產品而言，雖於初期沒有比對資料，但透過深度學習神經網路模組不斷的進行圖像資料訓練，亦可快速地建構出該新產品的圖像特徵資料集，使新產品亦可快速進入瑕疵判斷的流程。
上述說明可知，本創作透過實施態樣可確實提供本文中所欲達成之目的，而上述之態樣僅是對本創作之一種實施例做說明，並非對本創作做出任何形式上的限制，再不脫離本創作的技術特徵範圍之內，任何利用上述揭式的技術內容做出簡單變換的等同方案，均屬本創作的保護範圍。
1:具人工智慧模組進行檢測緊固件的光學設備
2:光學掃描器
3:具有深度學習神經網路模組的人工智慧系統
4:用於旋轉待檢測緊固件之固定裝置
圖1係為本創作之檢測方法流程示意圖。
圖2係為本創作實施例的具人工智慧模組進行檢測緊固件的光學設備。
圖3係為本創作實施例的瑕疵分類與操作檢測畫面。
圖4係為本創作實施例的機構設置與檢測流程圖。
圖5係為本創作實施例的單元方塊圖。
1:具人工智慧模組進行檢測緊固件的光學設備
2:光學掃描器
3:具有深度學習神經網路模組的人工智慧系統
4:用於旋轉待檢測緊固件之固定裝置
Claims (1)
- 一種具人工智慧模組進行檢測緊固件的光學設備，包括： 一用於旋轉待檢測緊固件之固定裝置； 一光學掃描器，其可對該待檢測緊固件進行線掃描或面掃描以取得360度環繞視角的圖像； 一具有深度學習神經網路模組的人工智慧系統，訊號連接於該光學掃描器，用以接收掃描後複數個圖檔，並對複數個圖檔進行圖像進行平移、旋轉、展開平整化及特徵提取，轉換成平面延伸展開的二維圖像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108107286 | 2019-03-05 | ||
| TW108107286 | 2019-03-05 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TWM631676U true TWM631676U (zh) | 2022-09-11 |
Family
ID=73643633
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109107318A TW202034218A (zh) | 2019-03-05 | 2020-03-05 | 具人工智慧模組進行檢測緊固件的方法、檢測流程及其設備 |
| TW110211935U TWM631676U (zh) | 2019-03-05 | 2020-03-05 | 具人工智慧模組進行檢測緊固件的設備 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109107318A TW202034218A (zh) | 2019-03-05 | 2020-03-05 | 具人工智慧模組進行檢測緊固件的方法、檢測流程及其設備 |
Country Status (1)
| Country | Link |
|---|---|
| TW (2) | TW202034218A (zh) |
-
2020
- 2020-03-05 TW TW109107318A patent/TW202034218A/zh unknown
- 2020-03-05 TW TW110211935U patent/TWM631676U/zh not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| TW202034218A (zh) | 2020-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10964004B2 (en) | Automated optical inspection method using deep learning and apparatus, computer program for performing the method, computer-readable storage medium storing the computer program, and deep learning system thereof | |
| JP6924413B2 (ja) | データ生成装置、データ生成方法及びデータ生成プログラム | |
| JP6573226B2 (ja) | データ生成装置、データ生成方法及びデータ生成プログラム | |
| US11341626B2 (en) | Method and apparatus for outputting information | |
| JP5898221B2 (ja) | 製造されたウェブ製品のデジタルサンプルに対する評価のコンピュータ支援割り当て | |
| US11715190B2 (en) | Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device | |
| JP2017049974A (ja) | 識別器生成装置、良否判定方法、およびプログラム | |
| Sacco et al. | Automated fiber placement defects: Automated inspection and characterization | |
| CN112088387A (zh) | 检测成像物品缺陷的系统和方法 | |
| JP2011214903A (ja) | 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム | |
| Althubiti et al. | Circuit manufacturing defect detection using VGG16 convolutional neural networks | |
| CN109840900A (zh) | 一种应用于智能制造车间的故障在线检测系统及检测方法 | |
| JP2021515885A (ja) | 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体 | |
| TW202209153A (zh) | 檢查方案的自動最佳化 | |
| CN114494780A (zh) | 基于特征对比的半监督工业缺陷检测方法及系统 | |
| JP7453813B2 (ja) | 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット | |
| CN115147363A (zh) | 一种基于深度学习算法的影像缺陷检测和分类方法及系统 | |
| CN114881987A (zh) | 基于改进YOLOv5的热压导光板缺陷可视化检测方法 | |
| JPWO2020071234A1 (ja) | 画像処理装置、画像処理方法、外観検査システムおよびコンピュータプログラム | |
| Ekambaram et al. | Identification of defects in casting products by using a convolutional neural network | |
| TWM631676U (zh) | 具人工智慧模組進行檢測緊固件的設備 | |
| Bahreini et al. | Dynamic graph CNN based semantic segmentation of concrete defects and as-inspected modeling | |
| Subha et al. | A Novel Deep Learning Approach to Detect Manufacturing Defects over Textile Fabric Materials | |
| Indasyah et al. | Automated Visual Inspection System of Gear Surface Defects Detection Using Faster RCNN | |
| Pandya et al. | Bare PCB (Printed Circuit Board) Fault Detection in Real-time Using YOLOv5 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GD4K | Issue of patent certificate for granted utility model filed before june 30, 2004 | ||
| MM4K | Annulment or lapse of a utility model due to non-payment of fees |