TWI833525B - 異常偵測方法、異常偵測裝置及異常偵測系統 - Google Patents
異常偵測方法、異常偵測裝置及異常偵測系統 Download PDFInfo
- Publication number
- TWI833525B TWI833525B TW111149903A TW111149903A TWI833525B TW I833525 B TWI833525 B TW I833525B TW 111149903 A TW111149903 A TW 111149903A TW 111149903 A TW111149903 A TW 111149903A TW I833525 B TWI833525 B TW I833525B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- interest
- region
- input
- solder joint
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 62
- 230000005856 abnormality Effects 0.000 title claims abstract description 31
- 229910000679 solder Inorganic materials 0.000 claims abstract description 68
- 238000010801 machine learning Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000006243 chemical reaction Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims description 11
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 8
- 230000000717 retained effect Effects 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 21
- 238000012545 processing Methods 0.000 description 17
- 230000002159 abnormal effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 238000012549 training Methods 0.000 description 11
- 238000013473 artificial intelligence Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002902 bimodal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
一種異常偵測方法、異常偵測裝置及異常偵測系統。所述方法包括下列步驟：取得拍攝有銲點的輸入影像；定義該輸入影像中該銲點所在的感興趣區域，以產生可區分該感興趣區域的一第一影像；對該輸入影像進行色調模型轉換，並以轉換後的多個色調值產生一第二影像；將該第二影像中對應該第一影像的該感興趣區域的影像與該第一影像中除該感興趣區域外的其他區域影像合併為一第三影像；以及將該第三影像輸入機器學習模型，而輸出對於該銲點的異常判斷結果。
Description
本發明是有關於一種異常偵測技術，且特別是有關於一種用以偵測銲點異常的異常偵測方法、異常偵測裝置及異常偵測系統。
在工業領域的中央處理單元(Central Processing Unit，CPU)製程上，CPU的腳位之於CPU扮演著很重要的角色，而在為了確保CPU腳位的產出品質正常與節省人力資源的需求下，可以在生產出來的CPU腳位滴入特定顏色的墨水做測試，並用高畫素相機拍照加以檢視，每張照片以CPU的其中一個腳位為單位。若腳位內滲入了該特定顏色的墨水，代表此腳位是有瑕疵的，反之若沒有特定墨水滲入其中，則代表為正常。現今已經有許多使用影像處理的方法應用在工業領域的技術，其中的應用有一部分是為了要能夠用自動化的方式，透過人工智慧(Artificial Intelligence，AI)偵測模型來辨識出具有瑕疵的圖像，藉以節省
人力資源，並確保產品品質。
現今已有許多使用影像處理的方法應用在工業領域的技術，其中的應用有一部分是為了要能夠以自動化的方式，透過人工智慧(Artificial Intelligence，AI)偵測模型來辨識出具有瑕疵的圖像，藉以節省人力資源，並確保產品品質。為了實現自動化檢測，常見的實現方式有兩種：(1)透過蒐集大量的正常與異常標記型資料來建立模型，以使AI模型具備多樣化的偵測能力；(2)僅使用正常腳位的資料對AI模型進行訓練，藉以建立出門檻值來檢測未知的資料是正常或是異常。
然而，上述的實現方式(1)需要透過不斷增加正常與異常類型的資料，以應付多樣化性的資料來提升AI模型在不同情況下的偵測表現，其中需要花費大量的時間成本蒐集以及標記資料、另外也存在正常與異常資料容易不平衡的問題、需要反覆重新的訓練AI模型。上述的實現方式(2)則難以單靠AI模型學習後所建立出的門檻值來對變化性極大的腳位圖片做正常或是異常的準確判斷。
有鑑於此，本發明提出一種異常偵測方法、異常偵測裝置及異常偵測系統，可節省訓練機器學習模型所需之成本，並且提升機器學習模型的偵測能力。
本發明實施例提供一種異常偵測方法。此方法包括以下
步驟：取得拍攝有銲點的輸入影像；定義輸入影像中銲點所在的感興趣區域，以產生可區分感興趣區域的第一影像；對輸入影像進行色調模型轉換，並以轉換後的多個色調值產生第二影像；將第二影像中對應第一影像的感興趣區域的影像與第一影像中除感興趣區域外的其他區域影像合併為第三影像；以及將第三影像輸入經由多張輸入影像及對應的異常判斷結果訓練的機器學習模型，而輸出對於銲點的異常判斷結果。
本發明實施例提供一種異常偵測裝置，其包括儲存裝置以及處理器。儲存裝置儲存有電腦程式以經由多張輸入影像及對應的異常判斷結果訓練的機器學習模型。處理器耦接儲存裝置，經配置而執行該電腦程式以：取得由拍攝裝置所拍攝的輸入影像，該輸入影像存在銲點；定義輸入影像中銲點所在的感興趣區域，以產生可區分感興趣區域的第一影像；對輸入影像進行色調模型轉換，並以轉換後的多個色調值產生第二影像；將第二影像中對應第一影像的感興趣區域的影像與第一影像中除感興趣區域外的其他區域影像合併為第三影像；以及將第三影像輸入機器學習模型，而輸出對於銲點的異常判斷結果。
本發明實施例提供一種異常偵測系統，其包括拍攝裝置、儲存裝置以及處理器。拍攝裝置拍攝輸入影像，該輸入影像存在銲點。儲存裝置儲存有電腦程式以及機器學習模型。處理器耦接拍攝裝置與儲存裝置，經配置而執行該電腦程式以：取得由拍攝裝置所拍攝的輸入影像；定義輸入影像中銲點所在的感興趣
區域，以產生可區分感興趣區域的第一影像；對輸入影像進行色調模型轉換，並以轉換後的多個色調值產生第二影像；將第二影像中對應第一影像的感興趣區域的影像與第一影像中除感興趣區域外的其他區域影像合併為第三影像；以及將第三影像輸入機器學習模型，而輸出對於銲點的異常判斷結果。
基於上述，於本發明的實施例中，藉由對拍攝有銲點的輸入影像定義感興趣區域以及色調模型轉換處理，可強化滴入於銲點上用以識別異常之特定顏色墨水的特色。藉此，不需要倚靠大量正常與異常標記型資料來訓練，即可使訓練出來的機器學習模型具備更佳的檢測能力。
為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100、900:異常偵測系統
110:拍攝裝置
120:異常偵測裝置
122:儲存裝置
124:處理器
300a、300b、700b、810a、810b、820a、820b:影像
500、700、800:輸入影像
500a、700a、:二值化影像
310、320、510:區域
520、720:空洞
530、710、730:感興趣區域
810:第一影像
820:第二影像
830:第三影像
900a:前處理模組
900b:機器學習模型
910:訓練資料
920:檢測資料
930:異常判斷結果
B901~B907:模組
B908:自編碼器
S202~S210、S2042~S2046:步驟
圖1是根據本發明一實施例所繪示的異常偵測系統的方塊圖。
圖2是根據本發明一實施例所繪示的異常偵測方法的流程圖。
圖3A及圖3B是說明本發明一實施例中的感興趣區域(Region Of Interest，ROI)的示意圖。
圖4是定義輸入影像中銲點所在的感興趣區域的流程圖。
圖5A及圖5B是根據本發明一實施例所繪示的輸入影像與二值化影像的示意圖。
圖6A及圖6B是根據本發明一實施例所繪示的影像填補處理的示意圖。
圖7A至圖7C是根據本發明一實施例所繪示的影像填補處理的另一示意圖。
圖8是根據本發明一實施例所繪示的將第一影像與第二影像合併為第三影像之處理的示意圖。
圖9是根據本發明一實施例所繪示的異常偵測系統執行異常偵測的示意圖。
圖1是根據本發明一實施例所繪示的異常偵測系統的方塊圖。請參照圖1，異常偵測系統100包括拍攝裝置110以及異常偵測裝置120。在一實施例中，拍攝裝置110與異常偵測裝置120可整合為單一裝置，例如為智慧型手機或平板電腦，使用者可藉由智慧型手機或平板電腦的照相功能拍攝一CPU接腳的銲點，再由同一智慧型手機或平板電腦執行該銲點是否為異常的判斷。在另一實施例中，拍攝裝置110與異常偵測裝置120則是彼此獨立的兩個裝置。本實施例不限制異常偵測系統100的實施方式。
拍攝裝置110為包括透鏡以及拍攝元件的裝置，用以產生影像。所述拍攝元件例如是電荷耦合元件(charge coupled
device，CCD)、互補性氧化金屬半導體(complementary metal-oxide semiconductor，CMOS)元件或其他用以感測入射光線強度的感光元件。經由透鏡所擷取到的影像會成像於拍攝元件並且轉換成數位訊號，並以PNG(Portable Network Graphics，可攜式網路圖形)、JPG等常見的影像檔案格式進行儲存。
異常偵測裝置120包括儲存裝置122及處理器124，其例如是個人電腦、筆記型電腦、智慧型手機、平板電腦等具有運算能力的電子裝置，可經由有線或無線的方式取得由拍攝裝置110所拍攝的影像。
儲存裝置122是用以儲存影像、程式碼、應用軟體等資料的儲存媒介，其例如是任意型式的固定式或可移式(removable)隨機存取記憶體(random access memory，RAM)、唯讀記憶體(read-only memory，ROM)、快閃記憶體(flash memory)、硬碟或其他類似裝置、積體電路及其組合。
處理器124耦接於儲存裝置122，用以控制異常偵測裝置120之運作，其例如是中央處理單元(central processing unit，CPU)、圖形處理單元(graphic processing unit，GPU)，或是其他可程式化之一般用途或特殊用途的微處理器(microprocessor)、數位訊號處理器(digital signal processor，DSP)、影像訊號處理器(image signal processor，ISP)、可程式化控制器、特殊應用積體電路(application specific integrated circuits，ASIC)、可程式化邏輯裝置(programmable logic device，PLD)或其他類似裝置或這
些裝置的組合。
以下將列舉實施例說明異常偵測系統100執行異常偵測方法的詳細步驟。圖2為根據本發明一實施例所繪示的異常偵測方法的流程圖。請同時參照圖1以及圖2，本實施例的方法適用於圖1中的異常偵測系統100，以下搭配異常偵測系統100中的各構件說明本實施例的詳細流程。
首先，於步驟S202中，異常偵測裝置120的處理器124取得由拍攝裝置110所拍攝的輸入影像。該輸入影像是由拍攝裝置110對一個CPU接腳的銲點進行拍攝而得。更詳細而言，該輸入影像是拍攝裝置110在PCB的背側拍攝CPU接腳銲在PCB上之銲點而得到的影像。所述銲點上例如滴入有用以識別異常之特定顏色的墨水。在一實施例中，可對銲點滴入紅色的墨水以進行拍攝，然而只要墨水的顏色能夠有效判斷出墨水有無滲入銲點，本發明並不對墨水的顏色進行限制。
在一些實施例中，在取得拍攝裝置110所拍攝的輸入影像之後，處理器124例如會將輸入影像的大小調整至一固定尺寸，例如48×48像素或其他尺寸，使得調整後的影像適於後續處理。
接下來，於步驟S204中，處理器124定義輸入影像中銲點所在的感興趣區域，以產生可區分該感興趣區域的第一影像。在本發明實施例中，所謂的感興趣區域能夠用以依據特定顏色之墨水的滲入程度決定銲點是否為異常。
圖3A及圖3B是根據本發明一實施例所繪示的感興趣區
域的示意圖。在圖3A的影像300a中，中心處大半部近似圓形的區域310表示銲點，此可作為本實施例的感興趣區域，其餘部分則表示銲點以外的PCB部分。類似地，在圖3B的影像300b中，近似圓形的區域320表示銲點，該區域320亦可作為本實施例的感興趣區域，而該區域320之左上方存在一小塊缺口部分，此即代表銲點內滲入了墨水，而可作為判定銲點是否異常的依據。
關於處理器124定義輸入影像中的感興趣區域以產生可區分感興趣區域的第一影像的詳細流程，請參照圖4，圖4是定義輸入影像中的感興趣區域以產生可區分感興趣區域的第一影像的流程圖。
在步驟S2042中，處理器124藉由對輸入影像進行自適應二值化處理，來產生二值化影像，較佳地，銲點所在的第一區域在二值化影像中為可區分的。在影像分割的技術領域中，二值化的演算法可根據門檻值選取的不同而分為固定門檻值與自適應門檻值。固定門檻值的二值化演算法較適合內容單純的影像，而對於影像內的每個像素之間可能都有關聯性之內容複雜的影像，使用自適應門檻值的演算法能夠有更好的二值化效果。
在本發明一實施例中，以大津二值化演算法(Otsu’s thresholding algorithm)作為自適應二值化處理的演算法。先將輸入影像轉換為一幅灰階影像，接下來對該灰階影像套用大津二值化演算法以取得一個門檻值，再將該灰階影像中大於該門檻值的像素之灰度值設為最大值，並將該灰階影像中小於該門檻值的像
素之灰度值設為0。在本實施例中將最大值定為255。如此一來，便會得到只有黑白兩種顏色的影像，藉以區分出銲點所在的區域以及銲點外的區域，以產生一幅二值化影像。
圖5A及圖5B是根據本發明一實施例所繪示的輸入影像與二值化影像的示意圖。藉由對如圖5A所示的輸入影像500執行上述的步驟，可得到如圖5B所示的二值化影像500a。在該二值化影像500a中，中央白色所涵蓋的區域510便為銲點所在的第一區域。
需要說明的是，在本發明上述的實施例中使用了大津二值化演算法來進行自適應二值化，但也可使用例如迭代法、雙峰直方圖分裂法(bimodal histogram splitting method)等方法來取得灰度門檻值以進行影像二值化，或是亦可使用其它的影像二值化方法，本發明並不以此為限。
然而，雖然經由步驟S2042能夠得到可區分銲點所在的第一區域之二值化影像，但隨著輸入影像的實際狀況不同，在該第一區域內可能會存在如圖5B所示的空洞520，而此空洞520有可能帶有用以判斷銲點異常與否的重要資訊。因此，在進行影像二值化處理得到二值化影像之後，對二值化影像中的第一區域之影像進行影像填補處理，以產生第一影像，而填補後的第一區域可定義為感興趣區域。
在步驟S2044中，處理器124對二值化影像進行二值化空洞填補，以將位於第一區域內的灰度值為0的像素之灰度值設
定為最大值，以作為影像填補處理。詳細而言，檢測出在第一區域內且灰度值為0(亦即黑色部分)的像素，並將這些像素的灰度值設為最大值，在本實施例中最大值為255。如此，便能得到較完整的銲點所在的區域。如圖6A與6B所示，圖6A為一二值化影像500a，圖6B為對圖6A之二值化影像500a進行步驟S2044處理後的第一影像500b。從圖6B可以看出，原本存在於二值化影像500a中的空洞520已被填補，得到沒有空洞520的感興趣區域530。
在步驟S2046中，處理器124對二值化影像進行霍夫圓轉換，以取得與第一區域相符之最小外接圓區域，並將位於最小外接圓區域之內部的灰度值為0的像素之灰度值設定為最大值，以作為影像填補處理。在步驟S2046中，對二值化影像進行霍夫圓轉換，以區劃出最近似於第一區域的一個圓形區域，亦即取得與第一區域相符之最小外接圓區域。然後，檢測出位於此最小外接圓區域內且灰度值為0(亦即黑色部分)的像素，並將這些像素的灰度值設為最大值，在本實施例中最大值為255。如此，便能得到更完整的銲點所在的最小外接圓區域，並將此最小外接圓區域設定為感興趣區域，並另存為第一影像。
上述步驟S2044係填補二值化影像中的空洞，而步驟S2046則是填補二值化影像邊緣的空洞，通過執行這兩種空洞填補，可將影像中的空洞填補完整，使得接續執行的處理能夠得到更佳的處理效果。需說明的是，本實施例係先執行影像內的空洞
填補再執行影像邊緣的空洞填補，而在其他實施例中，亦可先執行影像邊緣的空洞填補再執行影像內的空洞填補，在此不設限。
如圖7A至7C所示，圖7A為輸入影像700，圖7B為輸入影像700經由自適應二值化處理及影像內空洞填補後所得的二值化影像700a，其中包括感興趣區域710及空洞720，圖7C為二值化影像700a再經由影像邊緣空洞填補後所得的影像700b，其中包括感興趣區域730。從圖7B可以看出，二值化影像700a中的空洞720位於邊緣，因此需要執行影像邊緣的空洞填補，以獲得填補完整的感興趣區域730的影像。
回到圖3的流程，於步驟S206中，處理器124對輸入影像進行色調模型轉換，並以轉換後的多個色調值產生第二影像。進行色調模型轉換之用意在於，強化滴入至銲點的墨水顏色的特色，以作為識別墨水是否有滲入銲點，亦即銲點是否有異常。
在本發明一實施例中，對輸入影像中的每個像素，取得該像素在HSV(Hue-Saturation-Value，色相-飽和度-明度)色調模型中的色相(Hue)值以作為色調值，並將該些色相值作為像素值儲存，以產生第二影像。例如，數位影像通常以RGB格式儲存，每個像素上的顏色皆具有R、G、B分量，在步驟S206中便依據每個像素之顏色的R、G、B分量計算出色相值。RGB或其他色調模型與HSV色調模型之間的轉換可依據標準的計算公式來實現，在此不贅述。
在步驟S208中，處理器124將第二影像中對應於第一影
像的感興趣區域的影像與第一影像中除感興趣區域外的其他區域影像合併為第三影像。在一些實施例中，處理器124可將第二影像中的多個像素與第一影像中的多個對應像素逐像素進行比對，若該像素在第一影像中的對應像素之灰度值為0，亦即對應到第一影像中的感興趣區域以外的部分，則將該第二影像中的像素之像素值(亦即色調值)設為0；相對地，若該像素在第一影像中的對應像素之灰度值為1，亦即對應到第一影像中的感興趣區域的部分，則將該第二影像中的像素之像素值(亦即色調值)保留。所謂第二影像中的像素在第一影像中的對應像素，指的是在影像中的位置相對應的像素。接下來以比對後的該第二影像作為該第三影像，亦即以經過上述處理之多個像素值另存為第三影像。如此，所得到的第三影像會具備兩個區域，一個區域對應於感興趣區域，且此區域中的像素值對應於第二影像中的像素值，亦即色調值；另一個區域對應於感興趣區域以外的部分，且此區域中的像素值為0。
圖8是根據本發明一實施例所繪示的將第一影像與第二影像合併為第三影像之處理的示意圖。請參照圖8，輸入影像800例如是以RGB格式儲存的影像；第一影像810是輸入影像800經二值化處理及影像填補處理所得的影像，其中包括感興趣區域的影像810a及除感興趣區域外的其他區域的影像810b；第二影像820是輸入影像800經色調模型轉換所得的影像，其中包括對應於第一影像810中的感興趣區域的影像820a及其他區域的影像
820b；第三影像830是經由合併第一影像810與第二影像820所得到的影像。在本實施例中，第二影像820中對應於第一影像810中的感興趣區域的影像820a與第一影像810中除感興趣區域外的其他區域影像810b合併，以得到如圖8所示的第三影像830。
在本發明之一實施例中，作為步驟S208之更具體的實現方式，可藉由對第一影像及第二影像的每一個像素進行「按位元及」(bitwise AND)運算，來得到第三影像。具體而言，在本發明之實施例中的第一影像是以灰度值0及255儲存的二值化影像，亦即在第一影像中的每一個像素的灰度值在二進制上只有00000000(黑色區域)與11111111(白色區域)兩種值。而第二影像中的像素值為色調值，因此在對第一影像及第二影像的每一個像素進行按位元及運算的前提下，若第一影像中的對應像素為灰度值為0(黑色區域)的像素，則會得到0的結果；若第一影像中的對應像素為灰度值為255(白色區域)的像素，則得到的結果會是第二影像中的對應像素之像素值。
最後，進入步驟S210，將第三影像輸入至已經訓練完成的機器學習模型，輸出對於銲點的異常判斷結果。其中，該機器學習模型是經由多張輸入影像及對應的異常判斷結果所訓練完成。在本發明之一實施例中，使用卷積自編碼器(Convolutional AutoEncoder，CAE)作為機器學習模型。相較於一般的卷積神經網路(Convolutional Neural Network,CNN)，卷積自編碼器進行的不是分類，而是編碼與解碼；而相較於一般的自編碼器，卷積自
編碼器對於影像類的資料有較佳的辨識效果。將所產生的第三影像輸入至卷積自編碼器，由卷積自編碼器判斷該第三影像中對應於銲點的部分是否存在異常，若存在異常則輸出1，若未存在異常則輸出0。
其中，關於銲點是否異常的依據，在於銲點內是否有所滴入的墨水之顏色的特徵。以前述的HSV色調模型為例，在電腦視覺函式庫OpenCV中，色相的值域各區間所代表的顏色示意圖如下面的表1所示，在此前提下，於滴入的墨水為紅色墨水時，若第三影像中的像素值落於紅色定義的區間(亦即落於0~10或落於156~180)，則代表該像素對應的部分可能有銲點異常。
在卷積自編碼器的訓練過程中，同樣將經過上述步驟S202至S208而得的第三影像作為訓練資料，將標記為銲點正常的判斷結果的影像以及銲點異常的判斷結果的影像輸入卷積自編碼器，以對卷積自編碼器進行訓練。在辨識過程中，訓練完成的卷積自編碼器針對銲點所在的部分以色調值所表示的影像(亦即第三影像)，具有判斷銲點是否存在異常的辨識能力。
另外，在經過感興趣區域的定義及色調模型轉換以產生銲點所在的區域以色調值所表示的影像後，也可以將每個像素之
色調值正規化為-1至1之間，藉以降低機器學習模型的計算複雜度。以電腦視覺函式庫OpenCV為例，其HSV色相值的範圍介於0~180之間，因此可藉由將色相值減去90後再除以90來將其正規化為-1至1之間的範圍。
圖9是根據本發明一實施例所繪示的異常偵測系統執行異常偵測的示意圖。請參照圖9，本實施例的異常偵測系統900包括前處理模組900a及機器學習模型900b兩部分，前處理模組900a可區分為模組B901~B907，而機器學習模型900b中則包括自編碼器B908。在訓練階段中，首先將作為訓練資料910的拍攝有銲點的輸入影像輸入至前處理模組900a，在模組B901中調整輸入影像大小至48×48像素，接下來同步進行模組B902~B904及模組B905之處理。在模組B902~B904中，首先進行對輸入影像進行自適應二值化處理，以產生可區分出銲點所在的第一區域的二值化影像(B902)，接下來對二值化影像進行二值化空洞填補，將位於第一區域之內部的灰度值為0的像素之灰度值設定為最大值(B903)，然後再對二值化影像進行霍夫圓轉換以取得與第一區域相符之最小外接圓區域，並將位於最小外接圓區域之內部的灰度值為0的像素之灰度值設定為最大值，產生出可區分感興趣區域的第一影像。另一方面，與模組B902~B904之處理並行地，對輸入影像進行色調模型轉換，並以轉換後的多個色調值產生第二影像(B905)。接著，在模組B906中，進行影像合併處理，將第二影像中對應第一影像的感興趣區域的影像與第一影像中除感興趣
區域外的其他區域影像合併為第三影像，並在模組B907中，將第三影像中的多個像素之像素值正規化為-1至1之間。其中，本實施例例如是由訓練者將此第三影像標記為銲點正常/異常的影像，並將標記後的影像作為訓練資料輸入機器學習模型900b，以對自編碼器B908進行訓練。
在自編碼器B908的訓練完成後，於檢測階段中，首先將作為檢測資料920的輸入影像輸入至前處理模組900a，接下來則與訓練階段同樣地進行模組B901~B907的處理，以得到像素值正規化後的第三影像，並將此第三影像輸入訓練完成的自編碼器B908，最終輸出對於此第三影像中的銲點之異常判斷結果930。
綜上所述，本發明實施例的異常偵測方法、異常偵測裝置及異常偵測系統，藉由對拍攝有銲點的輸入影像進行感興趣區域的定義以及色調模型轉換，可強化滴入於銲點上用以識別異常之特定顏色墨水的特色，並以經過上述處理的影像訓練卷積自編碼器，使得卷積自編碼器可精確辨識出後續輸入影像中的異常。藉此，本發明實施例不需要以龐大的訓練資料集對機器學習模型進行訓練，即可使機器學習模型具備更佳的檢測能力。整體而言，能夠在滿足節省資源之需求的同時，確保電子裝置之異常檢測的品質。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍
當視後附的申請專利範圍所界定者為準。
S202~S210:步驟
Claims (10)
- 一種異常偵測方法，適用於具處理器的電子裝置，包括以下步驟： 取得拍攝有一銲點的一輸入影像； 定義該輸入影像中該銲點所在的感興趣區域（region of interest），以產生可區分該感興趣區域的一第一影像； 對該輸入影像進行色調模型轉換，並以轉換後的多個色調值產生一第二影像； 將該第二影像中對應該第一影像的該感興趣區域的影像與該第一影像中除該感興趣區域外的其他區域影像合併為一第三影像；以及 將該第三影像輸入一機器學習模型，而輸出對於該銲點的異常判斷結果。
- 如請求項1所述的異常偵測方法，其中定義該感興趣區域，以產生可區分該感興趣區域的該第一影像的步驟包括： 對該輸入影像進行一自適應二值化（adaptive threshold）處理，以產生一二值化影像，該銲點所在的第一區域在該二值化影像中為可區分的；以及 對該二值化影像進行一影像填補處理，以產生該第一影像，其中填補後的該第一區域定義為該感興趣區域。
- 如請求項2所述的異常偵測方法，其中對該二值化影像進行該影像填補處理以產生該第一影像的步驟包括： 對該二值化影像進行一二值化空洞填補，以將位於該第一區域內灰度值為0的像素之灰度值設定為最大值。
- 如請求項2所述的異常偵測方法，其中對該二值化影像進行該影像填補處理以產生該第一影像的步驟包括： 對該二值化影像進行一霍夫圓轉換（Hough Circle Transform），以取得與該第一區域相符之一最小外接圓區域，並將位於該最小外接圓區域內灰度值為0的像素之灰度值設定為最大值。
- 如請求項2所述的異常偵測方法，其中將該第二影像中對應該第一影像的該感興趣區域的影像與該第一影像中除該感興趣區域外的其他區域影像合併為該第三影像的步驟包括： 將該第二影像中的多個像素與該第一影像中的多個對應像素逐像素進行比對，若該第二影像中的該像素對應至該第一影像中的該對應像素之灰度值為0，則將該像素之像素值設為0，否則保留該像素之原像素值，並以比對後的該第二影像作為該第三影像。
- 如請求項1所述的異常偵測方法，其中取得拍攝有該銲點的該輸入影像的步驟包括將該輸入影像的大小調整為一固定大小。
- 如請求項1所述的異常偵測方法，其中在將該第二影像中對應該第一影像的該感興趣區域的影像與該第一影像中除該感興趣區域外的其他區域影像合併為該第三影像的步驟之後，更包括將該第三影像中的多個像素之像素值正規化為-1至1之間。
- 如請求項1所述的異常偵測方法，其中該機器學習模型為卷積自編碼器。
- 一種異常偵測裝置，包括： 一儲存裝置，儲存有電腦程式以及經由多張輸入影像及對應的異常判斷結果訓練的機器學習模型；以及 一處理器，耦接該儲存裝置，經配置而執行該電腦程式以： 取得由一拍攝裝置所拍攝的一輸入影像，該輸入影像存在一銲點； 定義該輸入影像中該銲點所在的感興趣區域，以產生可區分該感興趣區域的一第一影像； 對該輸入影像進行色調模型轉換，並以轉換後的多個色調值產生一第二影像； 將該第二影像中對應該第一影像的該感興趣區域的影像與該第一影像中除該感興趣區域外的其他區域影像合併為一第三影像；以及 將該第三影像輸入該機器學習模型，而輸出對於該銲點的異常判斷結果。
- 一種異常偵測系統，包括： 一拍攝裝置，拍攝一輸入影像，該輸入影像存在一銲點； 一儲存裝置，儲存有電腦程式以及一機器學習模型；以及 一處理器，耦接該拍攝裝置與該儲存裝置，經配置而執行該電腦程式以： 取得由該拍攝裝置所拍攝的該輸入影像； 定義該輸入影像中該銲點所在的感興趣區域，以產生可區分該感興趣區域的一第一影像； 對該輸入影像進行色調模型轉換，並以轉換後的多個色調值產生一第二影像； 將該第二影像中對應該第一影像的該感興趣區域的影像與該第一影像中除該感興趣區域外的其他區域影像合併為一第三影像；以及 將該第三影像輸入該機器學習模型，而輸出對於該銲點的異常判斷結果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111149903A TWI833525B (zh) | 2022-12-26 | 2022-12-26 | 異常偵測方法、異常偵測裝置及異常偵測系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111149903A TWI833525B (zh) | 2022-12-26 | 2022-12-26 | 異常偵測方法、異常偵測裝置及異常偵測系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI833525B true TWI833525B (zh) | 2024-02-21 |
| TW202426899A TW202426899A (zh) | 2024-07-01 |
Family
ID=90824993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111149903A TWI833525B (zh) | 2022-12-26 | 2022-12-26 | 異常偵測方法、異常偵測裝置及異常偵測系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI833525B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101908891A (zh) * | 2010-08-23 | 2010-12-08 | 南京信息工程大学 | 基于提升小波和pcnn的医学图像roi压缩方法 |
| TW201714144A (zh) * | 2015-10-08 | 2017-04-16 | 台達電子工業股份有限公司 | 電子元件外觀影像檢測方法及其電腦可讀媒體 |
| TW202205205A (zh) * | 2020-07-23 | 2022-02-01 | 和碩聯合科技股份有限公司 | 焊點檢測模型訓練方法、焊點檢測方法及焊點檢測裝置 |
| CN114972209A (zh) * | 2022-05-05 | 2022-08-30 | 清华大学 | 宫颈病理图像处理方法和装置 |
| US20220309637A1 (en) * | 2021-03-26 | 2022-09-29 | Minds Al Technologies Ltd | Electronic substrate defect detection |
-
2022
- 2022-12-26 TW TW111149903A patent/TWI833525B/zh active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101908891A (zh) * | 2010-08-23 | 2010-12-08 | 南京信息工程大学 | 基于提升小波和pcnn的医学图像roi压缩方法 |
| TW201714144A (zh) * | 2015-10-08 | 2017-04-16 | 台達電子工業股份有限公司 | 電子元件外觀影像檢測方法及其電腦可讀媒體 |
| TW202205205A (zh) * | 2020-07-23 | 2022-02-01 | 和碩聯合科技股份有限公司 | 焊點檢測模型訓練方法、焊點檢測方法及焊點檢測裝置 |
| US20220309637A1 (en) * | 2021-03-26 | 2022-09-29 | Minds Al Technologies Ltd | Electronic substrate defect detection |
| CN114972209A (zh) * | 2022-05-05 | 2022-08-30 | 清华大学 | 宫颈病理图像处理方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202426899A (zh) | 2024-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Huang et al. | Real-time classification of green coffee beans by using a convolutional neural network | |
| US7894666B2 (en) | Image processing method and apparatus, image sensing apparatus, and program | |
| TWI743837B (zh) | 訓練資料增量方法、電子裝置與電腦可讀取記錄媒體 | |
| WO2015070723A1 (zh) | 眼部图像处理方法和装置 | |
| WO2013030850A2 (en) | Chemical structure recognition tool | |
| Steffens et al. | Cnn based image restoration: Adjusting ill-exposed srgb images in post-processing | |
| CN117611590B (zh) | 一种缺陷轮廓复合检测方法、装置、设备及存储介质 | |
| CN112150460A (zh) | 检测方法、检测系统、设备和介质 | |
| TW202200993A (zh) | 檢查裝置、檢查方法及檢查程式 | |
| CN112102926A (zh) | 一种图像处理方法、装置、设备和存储介质 | |
| US8498496B2 (en) | Method and apparatus for filtering red and/or golden eye artifacts | |
| TWI786894B (zh) | 檢測方法 | |
| CN118275449A (zh) | 铜带表面缺陷检测方法、装置及设备 | |
| CN110751225A (zh) | 图像分类方法、装置及存储介质 | |
| TWI833525B (zh) | 異常偵測方法、異常偵測裝置及異常偵測系統 | |
| KR20220026439A (ko) | 인쇄회로기판의 부품 미실장 검출 방법 및 그 장치 | |
| CN113012030A (zh) | 图像拼接方法、装置及设备 | |
| CN116128833A (zh) | 焊缝缺陷检测方法、装置、可读存储介质及电子设备 | |
| KR102361444B1 (ko) | 다각형 기반의 객체 인식 성능 보정 장치 및 방법 | |
| KR20230082346A (ko) | 오토인코더 및 합성곱 심층 신경망을 활용한 고해상도 영상 기반 제조품 결함 탐지 방법 | |
| KR20220101373A (ko) | 영상 기반 pcb 결함 검출 장치 및 방법 | |
| US10958899B2 (en) | Evaluation of dynamic ranges of imaging devices | |
| Razzazi et al. | A robust feature for single image camera identification using local binary patterns | |
| JP6961319B2 (ja) | 評価方法及び評価装置 | |
| TWI842292B (zh) | 自動化產線產品外觀瑕疵檢驗方法及系統 |