TWI822269B - 圖像檢查方法、不良部位的圖像的管理方法以及圖像檢查裝置 - Google Patents
圖像檢查方法、不良部位的圖像的管理方法以及圖像檢查裝置 Download PDFInfo
- Publication number
- TWI822269B TWI822269B TW111131778A TW111131778A TWI822269B TW I822269 B TWI822269 B TW I822269B TW 111131778 A TW111131778 A TW 111131778A TW 111131778 A TW111131778 A TW 111131778A TW I822269 B TWI822269 B TW I822269B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- defective
- images
- transfer
- inspection
- Prior art date
Links
- 230000002950 deficient Effects 0.000 title claims abstract description 209
- 238000007689 inspection Methods 0.000 title claims abstract description 147
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000007726 management method Methods 0.000 title description 4
- 238000005259 measurement Methods 0.000 claims abstract description 53
- 230000007547 defect Effects 0.000 claims description 29
- 238000011179 visual inspection Methods 0.000 claims description 5
- 235000012431 wafers Nutrition 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000007704 transition Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000003908 quality control method Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005476 soldering Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000009736 wetting Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/8874—Taking dimensions of defect into account
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
- G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
- G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Image Analysis (AREA)
- Preparing Plates And Mask In Photomechanical Process (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本發明提供一種例如使用X射線檢查裝置等圖像檢查裝置的圖像檢查方法,藉由將某零件的不良部位的圖像轉印至其他零件的圖像,可生成及顯示虛造的不良部位的圖像與測量值,從而以視覺及數值的方式來判別良品與不良品的差異。使用圖像檢查裝置的圖像檢查方法具有將不良部位的圖像轉印至良品圖像中的轉印目標而生成轉印圖像的轉印步驟,以作為所有步驟中的一部分。
Description
本發明是有關於一種用於藉由對檢查對象物的圖像進行檢查來判定檢查對象物的良與不良的圖像檢查方法以及圖像檢查裝置。
以往,已知的是:在實際的製造步驟中無法獲得品質管理所需數量的不良圖像的情況下,基於良品圖像來製作虛造的不良圖像。例如,在虛造地製作初始學習時所需的不良圖像的情況下,能夠自動且大量地製作的虛造不良圖像自動製作裝置是公知的。所述虛造不良圖像自動製作裝置自良品輸入部輸入並學習良品圖像,以作為神經網路的學習資料。而且,自不良圖像輸入部輸入並學習不良圖像。進而,利用不良圖像提取部來提取與良品的差值資料,在虛造資料條件設定部中,根據隨機數產生部的隨機數值來大量製作不良合成位置等的不良製作條件,虛造不良圖像製作部基於該不良製作條件將差值資料合成至良品圖像,藉此來製作大量的虛造不良圖像,並輸入作為神經網路的學習資料(例如參照專利文獻1)。
而且,能夠使判別良品與不良品的模型精度良好地學習
的學習裝置亦是公知的。所述學習裝置包括中間圖像生成部、中間圖像顯示部、邊界受理部與教學圖像確定部。中間圖像生成部根據表示良品的圖像即良品圖像與表示不良品的圖像即不良品圖像來生成多個中間圖像。中間圖像顯示部將多個中間圖像配置於良品圖像與不良品圖像之間而顯示於顯示裝置。邊界受理部自用戶受理中間圖像的邊界指定,以作為良品圖像與不良品圖像的邊界。教學圖像確定部基於經指定的邊界來確定良品圖像以及不良品圖像的圖像(例如參照專利文獻2)。而且,可由不良品圖像來容易地生成良品圖像的圖像處理裝置亦是公知的(例如參照專利文獻3)。
根據所述專利文獻1中揭示的發明內容,基於與良品圖像相關的資料和與不良圖像相關的資料來製作虛造不良圖像,輸入該虛造不良圖像作為神經網路的學習資料,藉此,可提高作為虛造不良圖像自動製作裝置的檢查裝置的良否判定的精度。然而,不能說可使用自過去累積的不良圖像來效率良好地製作虛造不良圖像或其測量值。
而且,根據所述專利文獻2中揭示的發明內容,當基於良品圖像與不良品圖像來生成多個中間圖像時,在邊界受理部中,自用戶受理中間圖像的邊界指定以作為良品圖像與不良品圖像的邊界。然而,在指定中間圖像的邊界時,若未能充分獲得不良品圖像,則不得不僅基於良品圖像來指定中間圖像的邊界,從而有可能需要依賴於經驗的指定。該依賴於經驗的指定有可能導
致借助學習裝置的檢查品質產生偏差,因而不佳。而且,不能說可使用自過去累積的不良圖像來效率良好地製作新的虛造不良圖像。
[專利文獻1]日本專利特開2005-156334號公報
[專利文獻2]日本專利第6780769號公報
[專利文獻3]日本專利特開2020-008488號公報
本發明是有鑒於如上所述的問題而完成,最終目的在於提供一種圖像檢查方法以及圖像檢查裝置,藉由將過去獲取的不良部位的圖像轉印為良品圖像,從而可效率良好地製作虛造的不良部位的圖像以利用於品質管理。
用於解決所述課題的揭示技術的一形態包含一種圖像檢查方法,能夠使用圖像檢查裝置來進行檢查對象物中的良品與不良品的判別,所述圖像檢查方法包括:圖像顯示步驟,顯示所述良品的圖像;不良圖像顯示步驟,顯示與所述良品同種的檢查對象物中的多個不良部位的圖像;選擇步驟,選擇所述良品的圖像中的轉印目標、以及與所述
轉印目標對應地選擇所述多個不良部位的圖像中的一個以上的不良部位的圖像;以及轉印步驟,將在所述選擇步驟中經選擇的所述多個不良部位的圖像中的一個以上的不良部位的圖像轉印至所述良品的圖像中的所述轉印目標,而生成轉印圖像。
據此,在轉印步驟中,藉由將不良部位的圖像轉印至良品的圖像中的轉印目標,從而可效率良好地生成虛造的不良部位的圖像。該虛造的不良部位的圖像可用於製造步驟中的良品與不良品的差異的判別,藉此,容易執行將良品與不良品的差異登記至圖像檢查裝置的、稱作示教的作業。亦可提供該轉印圖像來作為良品與不良品的差異的判別基準。而且,在轉印步驟中轉印的不良部位的圖像越多,則可獲得越多的虛造的不良部位的圖像。
而且,揭示技術的一形態中,亦可設為下述圖像檢查方法,其更包括:轉印圖像顯示步驟,顯示所述轉印圖像;測量步驟,測量所述轉印圖像中的規定的特徵量;以及測量結果顯示步驟,顯示在所述測量步驟中獲得的測量結果、或者在所述測量步驟中獲得的測量結果以及其他檢查對象物中的所述規定的特徵量的測量結果。據此,能夠以視覺以及數值的方式來判別良品與不良品的差異,判別基準變得更為明確,因此更容易執行示教。
而且,揭示技術的一形態中,亦可設為下述圖像檢查方法,其特徵在於,在所述圖像顯示步驟以及所述不良圖像顯示步驟中,所述良品的圖像以及所述多個不良部位的圖像分別顯示為
自XYZ這三方向觀察的斷層圖像。據此,在不良品為立體的情況下,可防止因死角導致看漏所述不良品中的不良部位的風險。
而且,揭示技術的一形態中,亦可設為下述圖像檢查方法,即,在所述轉印步驟中,在所述轉印目標的尺寸與所述不良部位的圖像的尺寸不同的情況下,能夠調整所述不良部位的圖像的尺寸,以使各自的尺寸變得相同。據此,不論轉印目標的尺寸如何均可進行轉印。
而且,揭示技術的一形態中,亦可設為下述圖像檢查方法,其特徵在於,在所述測量結果顯示步驟中,所述測量結果是以直方圖來顯示。藉由以直方圖來顯示,可根據測量值來簡單地確認不良品的頻率。
而且,揭示技術的一形態中,亦可設為下述圖像檢查方法,其特徵在於,所述檢查對象物是搭載有電子元件的電路基板,所述良品的圖像中的所述轉印目標是所述電子元件與所述電路基板的連接部,所述良品圖像中的所述連接部的XY方向的邊界是藉由二值化而自動判定。據此,可明確地確定轉印目標。
而且,揭示技術的一形態中,亦可設為下述圖像檢查方法,其特徵在於,所述連接部的Z方向的邊界為所述連接部的兩端,是藉由捕捉所述連接部的兩端的位置來自動設定。據此,即便在良品為立體的情況下,亦可明確地確定轉印目標。
而且,揭示技術的一形態中,亦可設為一種不良部位的圖像的管理方法,是所述的圖像檢查方法中的、多個不良部位的
圖像的管理方法,其特徵在於,對在過去的檢查中獲取的所述多個不良部位的圖像進行資料庫化,對於所述多個不良部位的各個圖像,關聯有所述檢查對象物的種類及不良的種類、以及基於表示不良程度的數值的不良階段,基於所述數值的不良階段是基於過去在所述測量步驟中測量出的測量結果,或者基於過去藉由目測而判定的結果所決定的數值。據此,可掌握與不良部位相關的更詳細的資訊。亦可提供與該不良部位相關的更詳細的資訊。
而且,揭示技術的一形態包含一種圖像檢查裝置,能夠進行檢查對象物中的良品與不良品的判別,所述圖像檢查裝置包括:資料庫,累積所述良品的圖像的資料;不良資料庫,累積與所述良品同種的檢查對象物中的多個不良部位的圖像的資料;轉印部,將與轉印目標對應地自所述不良資料庫獲取的所述多個不良部位的圖像中的一個以上的不良部位的圖像轉印至自所述資料庫獲取的所述良品的圖像中的所述轉印目標,而生成轉印圖像;以及顯示部,顯示自所述資料庫獲取的所述良品的圖像、以及自所述不良資料庫獲取的所述多個不良部位的圖像。
據此,可利用簡單的裝置結構來將不良部位的圖像轉印至良品的圖像中的轉印目標。藉此,可判別良品與不良品的差異,而且,藉由可判別良品與不良品的差異,從而容易執行示教。
而且,揭示技術的一形態中,亦可設為下述圖像檢查裝置,其特徵在於更包括:測量部,測量所述轉印圖像中的規定的特徵量,所述顯示部亦顯示在所述轉印部中獲得的所述轉印圖像、以及在所述測量部中獲得的測量結果及其他檢查對象物中的所述規定的特徵量的測量結果。據此,能夠以視覺以及數值的方式來判別良品與不良品的差異,判別基準變得更為明確,因此更容易執行示教。
而且,揭示技術的一形態中,亦可設為下述圖像檢查裝置,其特徵在於,在所述顯示部中,所述良品的圖像以及所述多個不良部位的圖像分別顯示為自XYZ這三方向觀察的斷層圖像。據此,在不良品為立體的情況下,可防止因死角導致看漏所述不良品中的不良部位的風險。顯示部可將良品的圖像以及多個不良部位的圖像顯示為自XY方向、YZ方向以及XZ方向的所有方向觀察的斷層圖像,因此容易掌握良品以及不良部位的整體像。
而且,揭示技術的一形態中,亦可設為下述圖像檢查裝置,即,在所述轉印部中,在所述轉印目標的尺寸與所述不良部位的圖像的尺寸不同的情況下,能夠調整所述不良部位的圖像的尺寸,以使各自的尺寸變得相同。據此,不論轉印目標的尺寸如何均可進行轉印。
而且,揭示技術的一形態中,亦可設為下述圖像檢查裝置,其特徵在於,在所述顯示部中,所述測量結果是以直方圖來顯示。藉由以直方圖來顯示,可根據測量值來簡單地確認不良品
的頻率。而且,若能夠在顯示部中同時顯示轉印圖像與直方圖,則更容易以視覺以及數值的方式來判別良品與不良品的差異。
而且,揭示技術的一形態中,亦可設為下述圖像檢查裝置,其特徵在於,所述檢查對象物是搭載有電子元件的電路基板,所述良品的圖像中的所述轉印目標是所述電子元件與所述電路基板的連接部,所述良品圖像中的所述連接部的XY方向的邊界是藉由二值化來自動判定。據此,可明確地確定轉印目標。
而且,揭示技術的一形態中,亦可設為下述圖像檢查裝置,其特徵在於,所述連接部的Z方向的邊界為所述連接部的兩端,是藉由捕捉所述連接部的兩端的位置來自動設定。據此,即便在良品為立體的情況下,亦可明確地確定轉印目標。
而且,揭示技術的一形態中,亦可設為下述圖像檢查裝置,其特徵在於,在所述不良資料庫中,對在過去的檢查中獲取的所述多個不良部位的圖像進行資料庫化,對於所述多個不良部位的各個圖像,關聯有所述檢查對象物的種類及不良的種類、以及基於表示不良程度的數值的不良階段,基於所述數值的不良階段是基於過去在所述測量部中測量出的測量結果,或者基於過去藉由目測而判定的結果所決定的數值。據此,可掌握與不良部位相關的更詳細的資訊。
再者,用於解決所述課題的手段可儘可能地相互組合使用。
根據本發明,藉由將某零件的不良部位的圖像轉印至良品圖像,從而可效率良好地製作虛造的不良部位的圖像並利用於品質管理。其結果,可生成及顯示虛造的不良部位的圖像與測量值,以視覺以及數值的方式來判別良品與不良品的差異。而且,可確保充分的不良部位的圖像,容易執行示教。
1:X射線檢查裝置
10:拍攝部
11:載台
12:拍攝條件記憶部
13:X射線產生器
14:X射線檢測器
20:運算部
21:三維資料製作部
22:資料庫
23:不良資料庫
24:轉印部
25:測量部
30:顯示部
40:晶片
50:接腳
51:不良接腳
52:轉印接腳
60:測量結果
S101~S107:步驟
圖1是表示實施例的X射線檢查裝置的一例的功能方塊圖。
圖2是表示使用實施例的X射線檢查裝置的圖像檢查方法中的、多個不良部位的圖像的管理方法的一例的說明圖。
圖3A是說明在使用實施例的X射線檢查裝置的圖像檢查方法中,顯示部所顯示的內容的一例的推移的第一圖。圖3B是說明在使用實施例的X射線檢查裝置的圖像檢查方法中,顯示部所顯示的內容的一例的推移的第二圖。
圖4A是說明在使用實施例的X射線檢查裝置的圖像檢查方法中,顯示部所顯示的內容的一例的推移的第三圖。圖4B是說明在使用實施例的X射線檢查裝置的圖像檢查方法中,顯示部所顯示的內容的一例的推移的第四圖。
圖5是說明在使用實施例的X射線檢查裝置的圖像檢查方法中,顯示部所顯示的內容的一例的推移的第五圖。
圖6是表示使用實施例的X射線檢查裝置的圖像檢查方法的流程的流程圖。
以下,使用一部分圖式來說明本揭示技術的適用例。本揭示技術可適用於圖1所示的X射線檢查裝置1。而且,本揭示技術藉由使用X射線檢查裝置1,從而可適用於圖6的流程圖所示的處理。
圖1是表示本揭示技術可適用的X射線檢查裝置1的一例的功能方塊圖。如圖1所示,X射線檢查裝置1大致上包括拍攝部10、運算部20以及顯示部30而構成。拍攝部10是包括載台11、拍攝條件記憶部12、X射線產生器13以及X射線檢測器14而構成。藉由X射線檢查裝置1進行檢查的檢查對象物(例如焊接有電子零件的電路基板等)被置於載台11上,基於自拍攝條件記憶部12讀出的拍攝條件(例如拍攝距離或亮度等),由拍攝攝影機(省略圖示)進行拍攝。而且,藉由自X射線產生器13產生的X射線,對被置於載台11上的檢查對象物分析立體結構等。X射線檢測器14對自X射線產生器13照射並透射過檢查對象物的X射線的強度進行檢測。
運算部20是包括三維資料製作部21、資料庫22、不良資料庫23、轉印部24以及測量部25而構成。三維資料製作部21基於由拍攝攝影機所拍攝的檢查對象物的圖像來製作三維資料。再者,所謂三維資料,是指自XYZ這三方向觀察時的斷層圖像。此處,由於在檢查對象物的製造步驟中發生不良的頻率低這一理
由,多難以自檢查對象物獲取不良品的三維資料。因此,檢查對象物的三維資料多被製作為良品的資料。而且,所製作的三維資料被累積至資料庫22中。再者,例如在檢查對象物為平面結構體的情況或者僅欲獲取檢查對象物的表面的資料的情況等下,運算部20亦可包括製作二維資料的結構而非三維資料製作部21。不良資料庫23累積有與檢查對象物為相同種類的零件中的多個不良部位的三維資料。再者,關於不良資料庫23所累積的資料,亦可為二維資料。
顯示部30顯示三維資料製作部21所製作的三維資料(以下,為了與不良部位的三維資料明確區分,將所述三維資料稱作「良品的圖像」)以及不良資料庫23所累積的不良部位的三維資料(以下稱作「不良部位的圖像」)。在不良資料庫23中,預先對在過去的檢查中獲取的不良部位的圖像進行了資料庫化。在顯示部30中選擇良品圖像的一部分區域以及不良部位的圖像,藉此,轉印部24將良品圖像的一部分區域作為轉印目標來轉印不良部位的圖像。藉此,對良品的圖像進行更新,生成包含虛造的不良部位的轉印圖像。此處,所謂轉印,是指將一般的圖像處理方法(例如借助二值化的方法)加以組合,以不會變得不自然的方式來進行圖像剪貼的處理(關於以下的實施例中記載的轉印亦同樣)。而且,所謂轉印目標,是指執行進行圖像剪貼的處理的區域(關於以下的實施例中記載的轉印目標亦同樣)。顯示部30顯示該轉印圖像,測量部25對所顯示的轉印圖像進行測量。當測量結
束時,顯示部30顯示測量結果(省略圖示)。根據該測量結果,可確認檢查對象物中的不良的發生頻率。
再者,關於所述的運算部20所執行的運算處理與顯示部30所顯示的內容,詳情將在以下的實施例中使用圖3A至圖5來進行說明。
圖6是表示使用可適用本揭示技術的X射線檢查裝置1的圖像檢查方法的流程的流程圖。關於流程,在本適用例中僅說明概要,詳情將利用以下的實施例來進行說明。
在使用本適用例中的X射線檢查裝置1的圖像檢查方法中,如上所述,首先,將三維資料製作部21所製作的良品圖像顯示於顯示部30,繼而,將自不良資料庫23獲取的不良部位的圖像亦顯示於顯示部30。接下來,自顯示於顯示部30的良品圖像選擇任意的點來作為轉印目標,而且,自顯示於顯示部30的多個不良部位的圖像中選擇一個以上的不良部位的圖像。當轉印目標被確定時,將所選擇的不良部位的圖像轉印至該轉印目標。藉此,對良品圖像進行加工,生成包含虛造的不良部位的轉印圖像。接下來,將該轉印圖像顯示於顯示部30,在測量部25中測量規定的特徵量。最後將測量結果顯示於顯示部30。
如上所述,根據使用本適用例中的X射線檢查裝置1的圖像檢查方法,即便在未在檢查對象物的製造步驟中產生不良,而無法自三維資料製作部21獲取檢查對象物中的不良部位的資料的情況下,亦可藉由轉印部24來生成包含虛造的不良部位的轉印
圖像。進而,藉由在測量部25中測量轉印圖像,從而能夠以視覺及數值的方式來判別良品與不良品的差異。亦可提供該轉印圖像來作為良品與不良品的差異的判別基準。
以下,關於使用實施例的X射線檢查裝置1的圖像檢查方法,使用圖式(亦包含在所述的適用例中暫時進行了說明的圖式)來進一步詳細說明。再者,本實施例的X射線檢查裝置並非限定於以下結構的意旨。而且,本實施例中,作為圖像檢查裝置的一例,例示了X射線檢查裝置1,但並非限定於此的意旨,亦可為其他種類的裝置。
<裝置結構>
此處,返回圖1的說明。本實施例的X射線檢查裝置1具有與在適用例中進行了說明的X射線檢查裝置1同樣的結構,因此關於在適用例中進行了說明的內容,省略詳細的說明。而且,在本說明書中,對於相同的構成元件,使用相同的符號來進行說明。
三維資料製作部21可自資料庫22獲取過去累積於資料庫22中的良品圖像。因此,即便在載台11上未放置有檢查對象物,轉印部24亦可將不良部位的圖像轉印至檢查對象物的良品圖像。因而,三維資料製作部21可作為與X射線檢查裝置1中的拍攝功能獨立的功能而生成轉印圖像。而且,例如,如圖2所示,在不良資料庫23中,預先對在過去的檢查中獲取的多個不良部位的圖像進行了資料庫化,對於多個不良部位的各個圖像,關聯有
檢查對象物的種類及不良的種類、以及基於表示不良程度的數值的不良階段。並且,將不良部位的圖像、零件的種類、不良的種類與基於數值的不良階段這四個項目作為一個組(set)而賦予識別符(Identifier,ID)。顯示部30亦可為可顯示所述四個項目的資訊。而且,可藉由過濾功能或分類功能來檢索所述四個項目中的一個項目。在檢查對象物例如為焊接有電子元件的電路基板的情況下,作為不良的種類,例如可列舉不浸潤或虛焊等(圖2中,作為不良部位的圖像,例示經焊接的部位的不良接腳51(詳情將在以下說明)的圖像)。基於數值的不良階段是基於過去由測量部25所測量出的測量結果,或者基於過去藉由目測而判定的結果所決定的數值。作為與不良部位的圖像相關的詳細資訊,亦可提供將所述四個項目作為一個組而管理的資訊。圖2所示的管理方法相當於本揭示中的不良部位的圖像的管理方法。
<使用X射線檢查裝置的圖像檢查方法>
以下,基於圖3A至圖5來說明在使用本實施例的X射線檢查裝置1的圖像檢查方法中,顯示部30所顯示的內容的一例的推移。顯示部30所顯示的內容是基於運算部20所執行的運算處理。而且,以下,作為一例,設檢查對象物是電路基板上的電子元件即晶片40中的多個接腳50。
圖3A是三維資料製作部21製作晶片40的良品圖像時顯示部30所顯示的內容的一例。顯示部30對於一個晶片40,將分別自XY方向(俯視時的方向)、YZ方向(側視時的方向)以
及XZ方向(正視或背視時的方向)觀察時的圖像顯示為斷層圖像。為了明確是自哪個方向觀察時的圖像,亦可對各個圖像附上「XY」「YZ」「XZ」等標註。而且,在為良品的情況下,自XY方向觀察時的接腳50具有具備高真圓度的圓形形狀,自YZ方向以及XZ方向觀察時的接腳50具有橢圓形狀。而且,在顯示部30,顯示有「轉印設定」「轉印執行」「測量」等表示對運算部20的指令的按鈕,藉由用戶按下該按鈕,運算部20開始運算處理。
圖3B是自不良資料庫23獲取了多個不良部位(以下稱作「不良接腳51」)的圖像時顯示部30所顯示的內容的一例。藉由用戶按下「轉印設定」按鈕,多個不良接腳51的圖像進行列表化而顯示。對於不良接腳51,分別自XY方向、YZ方向、XZ方向觀察時的圖像亦為一個組而顯示為斷層圖像。而且,對於不良接腳51,亦可附上「XY」「YZ」「XZ」等標註。再者,本實施例中,所謂不良接腳51,例如是指真圓或者橢圓的形狀被破壞的接腳。
圖4A是選擇作為轉印目標的晶片40的圖像的一部分、與作為轉印源的不良接腳51的圖像時顯示部30所顯示的內容的一例。在確定轉印目標與轉印源時,自圖3A中顯示的晶片40的圖像選擇任意一點,自圖3B中顯示的多個不良接腳51的圖像選擇一個不良接腳51的圖像。各個選擇部位例如如圖4A所示般以黑點等來顯示。而且,在自晶片40的圖像選擇了任意的一點時,基於該一點,轉印目標確定。對於作為轉印目標的接腳50,具體
而言,XY方向的邊界是藉由二值化來自動判定,或者,在手動進行了區域設定後對於所述區域內的圖像藉由二值化來自動判定。Z方向的邊界為接腳50的兩端,是藉由捕捉接腳50的兩端的位置來自動設定。對於晶片40的圖像,捕捉晶片40或接腳50的特徵來進行圖像處理,以自動設定Z方向的邊界。藉此,作為轉印目標的晶片40的圖像的部分、與對應於轉印目標而成為轉印源的不良接腳51的圖像分別確定。再者,在晶片40的圖像中,亦可以包含多個接腳50的圖像的方式來選擇區域,並與所述多個接腳50各自對應地選擇多個不良接腳51的圖像。此處,轉印目標相當於作為電子元件與電路基板的連接部的接腳50。
圖4B是將不良接腳51的圖像轉印至晶片40的圖像的一部分時顯示部30所顯示的內容的一例。藉由用戶按下「轉印執行」按鈕,轉印部24將在圖4A中所選擇的不良接腳51的圖像轉印至晶片40的圖像的一部分。藉由該轉印,晶片40中的接腳50被替換為不良接腳51(以下,將藉由該轉印而替換的接腳50稱作「轉印接腳52」),從而生成轉印圖像。在轉印時,作為轉印目標的圖像與作為轉印源的圖像各自的尺寸多不同,因此可藉由放大或縮小來調整作為轉印源的不良接腳51的圖像的尺寸,以使他們的尺寸變得相同。再者,圖4A中,例如選擇了自XY方向觀察時的晶片40的圖像的一部分區域時,該區域不僅在XY方向上,在YZ方向以及XZ方向上亦被確定,因此在圖4B中,在生成轉印圖像時,在XY方向、YZ方向以及XZ方向的所有方向上顯示轉
印接腳52(即,當顯示自XY方向觀察時的轉印接腳52時,亦對應於該轉印接腳52而顯示自YZ方向以及XZ方向觀察時的轉印接腳52)。例如,如圖4B所示,轉印接腳52是以方框包圍而顯示。而且,如上所述,在圖4A中,亦可在多處部位選擇晶片40的圖像的一部分,並與所述多個部位各自對應地選擇多個不良接腳51的圖像,因此在此時,可轉印多個不良接腳51而獲得更多的轉印接腳52的圖像(即不良部位的圖像)。
圖5是在測量轉印圖像時顯示部30所顯示的內容的一例。轉印圖像具有接腳50與轉印接腳52,藉由用戶按下「測量」按鈕,測量部25測量轉印圖像上的所有的接腳50與轉印接腳52、以及並非轉印圖像的其他晶片40上的所有的接腳50與轉印接腳52的規定的特徵量。當執行測量時,顯示部30顯示測量結果60。測量結果60例如如圖5所示,是以將測量值設為橫軸,將頻率設為縱軸的直方圖來顯示。此時,既可從新製作的轉印圖像中的規定的特徵量的測量值與其他晶片40的圖像中,顯示步驟中的測量對象物的規定的特徵量的測量值的直方圖,亦可顯示與在該時間點所顯示的轉印圖像相關的晶片40中的、所有的接腳50與轉印接腳52的測量值的直方圖。而且,所謂規定的特徵量,例如是指接腳50以及轉印接腳52的表面的真圓度或面積,接腳50以及轉印接腳52基於該測量值中的規定的臨限值而大致分為良品與不良品。
<流程圖>
此處,返回圖6的說明。以下,使用圖6來詳細說明使用本實施例的X射線檢查裝置1的圖像檢查方法的流程。本流程圖中,首先,三維資料製作部21製作自XY方向、YZ方向以及XZ方向觀察時的晶片40的圖像,顯示部30將該晶片40的圖像顯示為斷層圖像(步驟S101)。此處,步驟S101相當於本揭示中的圖像顯示步驟以及本實施例中的圖3A。進而,顯示部30將自不良資料庫23獲取的自XY方向、YZ方向以及XZ方向觀察時的多個不良接腳51的圖像亦與晶片40的圖像予以排列顯示(步驟S102)。此處,步驟S102相當於本揭示中的不良圖像顯示步驟以及本實施例中的圖3B。接下來,在顯示於顯示部30的晶片40的圖像中選擇任意的點,並與所述任意的點對應地自多個不良接腳51的圖像中選擇一個以上的不良接腳51的圖像。當自晶片40的圖像中選擇了任意的點時,基於所述任意的點,XY方向的邊界與Z方向的邊界被確定,藉此,轉印目標被確定(步驟S103)。此處,步驟S103相當於本揭示中的選擇步驟以及本實施例中的圖4A。當轉印目標被確定時,將所選擇的不良接腳51的圖像轉印至該轉印目標。藉此,晶片40的圖像受到加工,生成包含作為虛造的不良部位的轉印接腳52的轉印圖像(步驟S104)。此處,步驟S104相當於本揭示中的轉印步驟以及本實施例中的圖4B。顯示部30顯示轉印圖像(步驟S105),測量部25對於轉印圖像以及並非轉印圖像的其他晶片40上的所有接腳50與轉印接腳52,例如測量他們表面的真圓度或面積(步驟S106)。此處,步驟S105相當於本揭示中
的轉印圖像顯示步驟以及本實施例中的圖4B。而且,步驟S106相當於本揭示中的測量步驟以及本實施例中的圖5。步驟S106中的測量結果60例如是以直方圖而顯示於顯示部30(步驟S107)。此處,步驟S107相當於本揭示中的測量結果顯示步驟以及本實施例中的圖5。
<附註1>
一種圖像檢查方法,能夠使用圖像檢查裝置(1)來進行檢查對象物(40)中的良品(50)與不良品(51、52)的判別,所述圖像檢查方法包括:圖像顯示步驟(步驟S101),顯示所述良品的圖像;不良圖像顯示步驟(步驟S102),顯示與所述良品同種的檢查對象物中的多個不良部位(51)的圖像;選擇步驟(步驟S103),選擇所述良品的圖像中的轉印目標、以及與所述轉印目標對應地選擇所述多個不良部位的圖像中的一個以上的不良部位的圖像;以及轉印步驟(步驟S104),將在所述選擇步驟中經選擇的所述多個不良部位的圖像中的一個以上的不良部位的圖像轉印至所述良品的圖像中的所述轉印目標,而生成轉印圖像。
<附註2>
一種圖像檢查裝置(1),能夠進行檢查對象物(40)中的良品(50)與不良品(51、52)的判別,所述圖像檢查裝置(1)包括:
資料庫(22),累積所述良品的圖像的資料;不良資料庫(23),累積與所述良品同種的檢查對象物中的多個不良部位(51)的圖像的資料;轉印部(24),將與轉印目標對應地自所述不良資料庫獲取的所述多個不良部位的圖像中的一個以上的不良部位的圖像轉印至自所述資料庫獲取的所述良品的圖像中的所述轉印目標,而生成轉印圖像;以及顯示部(30),顯示自所述資料庫獲取的所述良品的圖像、以及自所述不良資料庫獲取的所述多個不良部位的圖像。
S101~S107:步驟
Claims (16)
- 一種圖像檢查方法,能夠使用圖像檢查裝置來進行檢查對象物中的良品與不良品的判別,所述圖像檢查方法包括: 圖像顯示步驟,顯示所述良品的圖像; 不良圖像顯示步驟,顯示與所述良品同種的檢查對象物中的多個不良部位的圖像; 選擇步驟,選擇所述良品的圖像中的轉印目標、以及與所述轉印目標對應地選擇所述多個不良部位的圖像中的一個以上的不良部位的圖像;以及 轉印步驟,將在所述選擇步驟中經選擇的所述多個不良部位的圖像中的一個以上的不良部位的圖像轉印至所述良品的圖像中的所述轉印目標,而生成轉印圖像。
- 如請求項1所述的圖像檢查方法,更包括: 轉印圖像顯示步驟,顯示所述轉印圖像; 測量步驟,測量所述轉印圖像中的規定的特徵量;以及 測量結果顯示步驟,顯示在所述測量步驟中獲得的測量結果、或者在所述測量步驟中獲得的測量結果以及其他檢查對象物中的所述規定的特徵量的測量結果。
- 如請求項1或請求項2所述的圖像檢查方法,其中 在所述圖像顯示步驟以及所述不良圖像顯示步驟中,所述良品的圖像以及所述多個不良部位的圖像分別顯示為自XYZ這三方向觀察的斷層圖像。
- 如請求項1或請求項2所述的圖像檢查方法,其中 在所述轉印步驟中,在所述轉印目標的尺寸與所述不良部位的圖像的尺寸不同的情況下,能夠調整所述不良部位的圖像的尺寸,以使各自的尺寸變得相同。
- 如請求項2所述的圖像檢查方法,其中 在所述測量結果顯示步驟中,所述測量結果是以直方圖來顯示。
- 如請求項1或請求項2所述的圖像檢查方法,其中 所述檢查對象物是搭載有電子元件的電路基板, 所述良品的圖像中的所述轉印目標是所述電子元件與所述電路基板的連接部, 所述良品的圖像中的所述連接部的XY方向的邊界是藉由二值化而自動判定。
- 如請求項6所述的圖像檢查方法,其中 所述連接部的Z方向的邊界為所述連接部的兩端,是藉由捕捉所述連接部的兩端的位置來自動設定。
- 一種不良部位的圖像的管理方法,是如請求項2所述的圖像檢查方法中的、多個不良部位的圖像的管理方法,其特徵在於, 對在過去的檢查中獲取的所述多個不良部位的圖像進行資料庫化, 對於所述多個不良部位的各個圖像,關聯有所述檢查對象物的種類及不良的種類、以及基於表示不良程度的數值的不良階段,基於所述數值的不良階段是基於過去在所述測量步驟中測量出的測量結果,或者基於過去藉由目測而判定的結果所決定的數值。
- 一種圖像檢查裝置,能夠進行檢查對象物中的良品與不良品的判別,所述圖像檢查裝置包括: 資料庫,累積所述良品的圖像的資料; 不良資料庫,累積與所述良品同種的檢查對象物中的多個不良部位的圖像的資料; 轉印部,將與轉印目標對應地自所述不良資料庫獲取的所述多個不良部位的圖像中的一個以上的不良部位的圖像轉印至自所述資料庫獲取的所述良品的圖像中的所述轉印目標,而生成轉印圖像;以及 顯示部,顯示自所述資料庫獲取的所述良品的圖像、以及自所述不良資料庫獲取的所述多個不良部位的圖像。
- 如請求項9所述的圖像檢查裝置,更包括: 測量部,測量所述轉印圖像中的規定的特徵量, 所述顯示部亦顯示在所述轉印部中獲得的所述轉印圖像、以及在所述測量部中獲得的測量結果及其他檢查對象物中的所述規定的特徵量的測量結果。
- 如請求項9或請求項10所述的圖像檢查裝置,其中 在所述顯示部中,所述良品的圖像以及所述多個不良部位的圖像分別顯示為自XYZ這三方向觀察的斷層圖像。
- 如請求項9或請求項10所述的圖像檢查裝置,其中 在所述轉印部中,在所述轉印目標的尺寸與所述不良部位的圖像的尺寸不同的情況下,能夠調整所述不良部位的圖像的尺寸,以使各自的尺寸變得相同。
- 如請求項10所述的圖像檢查裝置,其中 在所述顯示部中,所述測量結果是以直方圖來顯示。
- 如請求項9或請求項10所述的圖像檢查裝置,其中 所述檢查對象物是搭載有電子元件的電路基板, 所述良品的圖像中的所述轉印目標是所述電子元件與所述電路基板的連接部, 所述良品的圖像中的所述連接部的XY方向的邊界是藉由二值化來自動判定。
- 如請求項14所述的圖像檢查裝置,其中 所述連接部的Z方向的邊界為所述連接部的兩端,是藉由捕捉所述連接部的兩端的位置來自動設定。
- 如請求項10所述的圖像檢查裝置,其中 在所述不良資料庫中,對在過去的檢查中獲取的所述多個不良部位的圖像進行資料庫化, 對於所述多個不良部位的各個圖像,關聯有所述檢查對象物的種類及不良的種類、以及基於表示不良程度的數值的不良階段,基於所述數值的不良階段是基於過去在所述測量部中測量出的測量結果,或者基於過去藉由目測而判定的結果所決定的數值。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021161192A JP2023050857A (ja) | 2021-09-30 | 2021-09-30 | 画像検査方法、及び画像検査装置 |
JP2021-161192 | 2021-09-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202316107A TW202316107A (zh) | 2023-04-16 |
TWI822269B true TWI822269B (zh) | 2023-11-11 |
Family
ID=85477226
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111131778A TWI822269B (zh) | 2021-09-30 | 2022-08-24 | 圖像檢查方法、不良部位的圖像的管理方法以及圖像檢查裝置 |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP2023050857A (zh) |
CN (1) | CN115908238A (zh) |
DE (1) | DE102022208849A1 (zh) |
TW (1) | TWI822269B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6456899B1 (en) * | 1999-12-07 | 2002-09-24 | Ut-Battelle, Llc | Context-based automated defect classification system using multiple morphological masks |
US9183624B2 (en) * | 2013-06-19 | 2015-11-10 | Kla-Tencor Corp. | Detecting defects on a wafer with run time use of design data |
CN109390245A (zh) * | 2017-08-11 | 2019-02-26 | 三星电子株式会社 | 晶片图分析器及分析晶片图的方法 |
CN112602020A (zh) * | 2018-08-15 | 2021-04-02 | Asml荷兰有限公司 | 利用机器学习从原始图像自动选择高品质平均扫描电镜图像 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005156334A (ja) | 2003-11-25 | 2005-06-16 | Nec Tohoku Sangyo System Kk | 疑似不良画像自動作成装置及び画像検査装置 |
US10963739B2 (en) | 2017-03-23 | 2021-03-30 | Nec Corporation | Learning device, learning method, and learning program |
JP7194348B2 (ja) | 2018-07-11 | 2022-12-22 | オムロン株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
-
2021
- 2021-09-30 JP JP2021161192A patent/JP2023050857A/ja active Pending
-
2022
- 2022-08-24 CN CN202211016830.4A patent/CN115908238A/zh active Pending
- 2022-08-24 TW TW111131778A patent/TWI822269B/zh active
- 2022-08-26 DE DE102022208849.2A patent/DE102022208849A1/de active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6456899B1 (en) * | 1999-12-07 | 2002-09-24 | Ut-Battelle, Llc | Context-based automated defect classification system using multiple morphological masks |
US9183624B2 (en) * | 2013-06-19 | 2015-11-10 | Kla-Tencor Corp. | Detecting defects on a wafer with run time use of design data |
CN109390245A (zh) * | 2017-08-11 | 2019-02-26 | 三星电子株式会社 | 晶片图分析器及分析晶片图的方法 |
CN112602020A (zh) * | 2018-08-15 | 2021-04-02 | Asml荷兰有限公司 | 利用机器学习从原始图像自动选择高品质平均扫描电镜图像 |
Also Published As
Publication number | Publication date |
---|---|
DE102022208849A1 (de) | 2023-03-30 |
TW202316107A (zh) | 2023-04-16 |
JP2023050857A (ja) | 2023-04-11 |
CN115908238A (zh) | 2023-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4552749B2 (ja) | 検査基準設定装置及び方法、並びに、工程検査装置 | |
US7352890B2 (en) | Method for analyzing circuit pattern defects and a system thereof | |
TWI313748B (en) | Board inspecting method and apparatus and inspection logic setting method and apparatus | |
US20030050761A1 (en) | Inspection method and its apparatus, inspection system | |
US20060093082A1 (en) | Method of inspection for inner defects of an object and apparatus for same | |
CN112053318A (zh) | 基于深度学习的二维pcb缺陷实时自动检测与分类装置 | |
US6987874B2 (en) | Method and apparatus for managing surface image of thin film device, and method and apparatus for manufacturing thin film device using the same | |
JP6277754B2 (ja) | 品質管理システムおよび内部検査装置 | |
CN106168582B (zh) | 检查装置及检查方法 | |
JP7214432B2 (ja) | 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法 | |
KR20230126163A (ko) | 교사 데이터 생성 장치, 교사 데이터 생성 방법 및 기록 매체에 기록된 프로그램 | |
JP2004177139A (ja) | 検査条件データ作成支援プログラム及び検査装置及び検査条件データ作成方法 | |
JP2004172464A (ja) | 半田付け検査の特徴量算出装置 | |
TWI822269B (zh) | 圖像檢查方法、不良部位的圖像的管理方法以及圖像檢查裝置 | |
JP5323457B2 (ja) | 観察条件決定支援装置および観察条件決定支援方法 | |
CN116804637A (zh) | 检查系统、教师数据生成装置、教师数据生成方法及存储介质 | |
JP2010025836A (ja) | 外観検査方法および外観検査装置、半導体検査装置ならびに半導体ウェハの断面検査装置 | |
JP4333349B2 (ja) | 実装外観検査方法及び実装外観検査装置 | |
JP2023051102A (ja) | 画像検査方法、及び画像検査装置 | |
JPH11258178A (ja) | 検査装置および方法 | |
TWI433246B (zh) | 半導體積體電路之缺陷複查裝置 | |
JP2023050842A (ja) | 画像検査方法、及び画像検査装置 | |
JP2023050937A (ja) | 画像検査方法、及び画像検査装置 | |
JP2023050697A (ja) | 画像検査方法、及び画像検査装置 | |
JP7462377B1 (ja) | 方法、プログラム、情報処理装置、及び学習済みモデル |