TW202338745A - 檢查系統、教師資料生成裝置、教師資料生成方法以及程式 - Google Patents

檢查系統、教師資料生成裝置、教師資料生成方法以及程式 Download PDF

Info

Publication number
TW202338745A
TW202338745A TW111142697A TW111142697A TW202338745A TW 202338745 A TW202338745 A TW 202338745A TW 111142697 A TW111142697 A TW 111142697A TW 111142697 A TW111142697 A TW 111142697A TW 202338745 A TW202338745 A TW 202338745A
Authority
TW
Taiwan
Prior art keywords
defect
aforementioned
inspection
defects
image
Prior art date
Application number
TW111142697A
Other languages
English (en)
Other versions
TWI837934B (zh
Inventor
海津正博
塩見順一
杉山勝彦
瀧本達也
Original Assignee
日商斯庫林集團股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商斯庫林集團股份有限公司 filed Critical 日商斯庫林集團股份有限公司
Publication of TW202338745A publication Critical patent/TW202338745A/zh
Application granted granted Critical
Publication of TWI837934B publication Critical patent/TWI837934B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biophysics (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biochemistry (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

檢查系統1係具備：檢查部20，係不使用機器學習，對拍攝對象物所得之圖像進行檢查而檢測缺陷；分類部52，係具有預先生成之學習完畢模型，藉由將表示缺陷之圖像輸入至學習完畢模型而對缺陷的缺陷類別進行分類；以及分類必要性決定部53，係基於在檢測缺陷時由檢查部20取得或者利用之缺陷關聯資訊決定是否需要在分類部52中對藉由檢查部20檢測出之缺陷進行分類。藉此，能夠實現避免學習完畢模型中之重大的誤分類並且縮短分類處理所需的時間。

Description

檢查系統、教師資料生成裝置、教師資料生成方法以及程式
本發明係關於一種檢查對象物之技術。
以往，使用一種檢查系統，係對印刷基板等對象物進行拍攝而檢查缺陷。在日本專利特開2021-177154號公報的檢查系統中設置有一次檢查部與二次檢查部，該一次檢查部係基於拍攝對象物所得之圖像進行不良判定而不使用機器學習，該二次檢查部係基於由一次檢查部判定為不良之對象物的圖像，使用機器學習模型而區分真不良品與過度判定品。藉此，抑制由過度判定品的產生引起之生產性的下降。
如上所述，在將學習完畢模型(機器學習模型)用於對真缺陷或者偽缺陷進行分類之情形下，需要預先使用複數個教師資料進行學習而生成該學習完畢模型。在該情形下，藉由作業者對預先準備的缺陷圖像判定真缺陷或者偽缺陷(亦即藉由註解(annotation))，生成對該缺陷圖像標記真缺陷或者偽缺陷所得之教師資料。
然而，由於印刷基板上的缺陷係根據位置或者狀態等會對印刷基板的動作或者性能等造成大影響，因此存在無法容許學習完畢模型的分類錯誤(此處係指將真缺陷誤分類為偽缺陷)之情形。為了避免學習完畢模型中之重大的誤分類，可考慮使用許多教師資料進行學習，但在該情形下，藉由作業者進行的標記作業需要長時間，並且學習所需的時間亦會變長。而且，無法完全避免學習完畢模型中之誤分類。進一步地，在將檢測出之全部缺陷輸入至學習完畢模型之情形下，會導致分類處理所需的時間變長。
本發明著眼於檢查系統，目的在於實現避免學習完畢模型中之重大的誤分類並且縮短分類處理所需的時間，且目的亦在於縮短教師資料之生成中的標記作業以及學習所需的時間。
本發明的檢查系統係具備：檢查部，係不使用機器學習，對拍攝對象物所得之圖像進行檢查而檢測缺陷；分類部，係具有預先生成之學習完畢模型，藉由將表示缺陷之圖像輸入至前述學習完畢模型而對前述缺陷的缺陷類別進行分類；以及分類必要性決定部，係基於在檢測前述缺陷時由前述檢查部取得或者利用之缺陷關聯資訊決定是否需要在前述分類部中對藉由前述檢查部檢測出之缺陷進行分類。
根據本發明，能夠實現避免學習完畢模型中之重大的誤分類並且縮短分類處理所需的時間。
較佳為前述分類部係將藉由前述檢查部檢測出之缺陷分類為真缺陷或者偽缺陷；前述檢查部係在檢測缺陷時，取得前述缺陷的缺陷類別，並將前述缺陷類別包含於前述缺陷關聯資訊；前述分類必要性決定部係決定成無需在前述分類部中對特定缺陷類別之缺陷進行分類。
較佳為前述檢查部係具備有：第一檢查處理部，係藉由第一檢查處理而檢測缺陷，並取得包含前述缺陷之缺陷圖像；以及第二檢查處理部，係藉由與前述第一檢查處理不同之第二檢查處理而檢測缺陷，並取得包含前述缺陷之缺陷圖像；前述第一檢查處理部係能夠取得較前述第二檢查處理部更詳細之缺陷圖像中之缺陷的位置資訊，並將藉由前述第一檢查處理部取得之前述位置資訊包含於前述缺陷關聯資訊；前述分類必要性決定部係決定成需要在前述分類部中對藉由前述第一檢查處理部檢測出之缺陷進行分類，且決定成無需在前述分類部中對藉由前述第二檢查處理部檢測出之缺陷進行分類；前述分類部係將基於缺陷的位置資訊而從缺陷圖像截取前述缺陷的區域所得之圖像輸入至前述學習完畢模型。
較佳為對前述對象物的各位置設定複數個檢查靈敏度中之一個檢查靈敏度；將表示前述檢查部檢測缺陷時所利用之檢查靈敏度之資訊包含於前述缺陷關聯資訊；前述分類必要性決定部係決定成無需在前述分類部中對以特定檢查靈敏度檢測出之缺陷進行分類。
本發明亦著眼於一種用以生成教師資料之教師資料生成裝置。本發明的教師資料生成裝置係具備：圖像受理部，係從不使用機器學習而對拍攝對象物所得之圖像進行檢查之檢查部受理包含缺陷之缺陷圖像以及檢測前述缺陷時所取得或者利用之缺陷關聯資訊；圖像必要性決定部，係基於前述缺陷關聯資訊決定是否將前述缺陷圖像用於教師資料；顯示控制部，係將用於教師資料之缺陷圖像顯示於顯示器；判定結果受理部，係受理作業者對於顯示於前述顯示器之前述缺陷圖像之缺陷類別的判定結果的輸入；以及教師資料生成部，係對前述缺陷圖像標記前述判定結果而生成教師資料。根據本發明，能夠縮短教師資料之生成中的標記作業以及學習所需的時間。
較佳為前述判定結果受理部係受理作業者對於真缺陷或者偽缺陷的判定結果的輸入；將前述檢查部檢測缺陷時所取得之前述缺陷的缺陷類別包含於前述缺陷關聯資訊；前述圖像必要性決定部係決定成不將包含特定缺陷類別之缺陷之缺陷圖像用於教師資料。
較佳為前述檢查部係具備：第一檢查處理部，係藉由第一檢查處理而檢測缺陷，並取得包含前述缺陷之缺陷圖像；以及第二檢查處理部，係藉由與前述第一檢查處理不同之第二檢查處理而檢測缺陷，並取得包含前述缺陷之缺陷圖像；前述第一檢查處理部係能夠取得較前述第二檢查處理部更詳細之缺陷圖像中之缺陷的位置資訊，並將藉由前述第一檢查處理部取得之前述位置資訊包含於前述缺陷關聯資訊；前述圖像必要性決定部係決定成將藉由前述第一檢查處理部檢測出之缺陷的缺陷圖像用於教師資料，且決定成不將藉由前述第二檢查處理部檢測出之缺陷的缺陷圖像用於教師資料；前述教師資料生成部係生成教師資料，前述教師資料係包含基於缺陷的位置資訊而從缺陷圖像截取前述缺陷的區域所得之圖像。
較佳為對前述對象物的各位置設定複數個檢查靈敏度中之一個檢查靈敏度；將表示前述檢查部檢測缺陷時所利用之檢查靈敏度之資訊係包含於前述缺陷關聯資訊；前述圖像必要性決定部係決定成不將包含以特定檢查靈敏度檢測出之缺陷之缺陷圖像用於教師資料。
本發明亦著眼於一種用以生成教師資料之教師資料生成方法。本發明的教師資料生成方法係具備：工序a，係從不使用機器學習而對拍攝對象物所得之圖像進行檢查之檢查部受理包含缺陷之缺陷圖像以及檢測前述缺陷時所取得或者利用之缺陷關聯資訊；工序b，係基於前述缺陷關聯資訊決定是否將前述缺陷圖像用於教師資料；工序c，係將用於教師資料之缺陷圖像顯示於顯示器；工序d，係受理作業者對於顯示於前述顯示器之前述缺陷圖像之缺陷類別的判定結果的輸入；以及公序e，係對前述缺陷圖像標記前述判定結果而生成教師資料。
本發明亦著眼於一種用以使電腦生成教師資料之程式。電腦執行本發明的程式而使前述電腦執行：工序a，係從不使用機器學習而對拍攝對象物所得之圖像進行檢查之檢查部受理包含缺陷之缺陷圖像以及檢測前述缺陷時所取得或者利用之缺陷關聯資訊；工序b，係基於前述缺陷關聯資訊決定是否將前述缺陷圖像用於教師資料；工序c，係將用於教師資料之缺陷圖像顯示於顯示器；工序d，係受理作業者對於顯示於前述顯示器之前述缺陷圖像之缺陷類別的判定結果的輸入；以及工序e，係對前述缺陷圖像標記前述判定結果而生成教師資料。
上述目的、其他的目的、特徵、形態以及優點根據參照隨附圖式而以如下方式進行的本發明的詳細說明而變得明瞭。
[第一實施形態] 圖1係表示本發明的第一實施形態的檢查系統1的構成之圖。檢查系統1係對作為對象物之印刷基板進行檢查。檢查系統1係具備檢查裝置2、電腦3以及缺陷確認裝置11。圖1中，利用虛線矩形圍繞由電腦3所實現之功能構成。
檢查裝置2係具備圖示省略之拍攝部與移動機構。拍攝部係拍攝印刷基板。移動機構係使印刷基板相對於拍攝部而相對移動。檢查裝置2係進一步地具備檢查部20。檢查部20係例如藉由電腦或者／以及電性電路而實現。檢查部20係具備第一檢查處理部21以及第二檢查處理部22。第一檢查處理部21以及第二檢查處理部22係對從拍攝部輸出之拍攝圖像執行彼此不同之檢查處理，根據該拍攝圖像而檢測缺陷。若第一檢查處理部21或者第二檢查處理部22檢測出缺陷，則會將包含該缺陷的區域之缺陷圖像輸出至電腦3。將藉由檢查裝置2檢查後之印刷基板搬入至缺陷確認裝置11。缺陷確認裝置11係基於從電腦3輸入之資訊，對印刷基板中之缺陷的區域進行拍攝並顯示於顯示器，由作業者對缺陷進行確認。
圖2係表示電腦3的構成之圖。電腦3係具有包含CPU(Central Processing Unint；中央處理單元)31、ROM(Read Only Memory；唯讀記憶體)32、RAM(Random Access Memory；隨機存取記憶體)33、硬碟34、顯示器35、輸入部36、讀取裝置37、通訊部38、GPU(Graphics Processing Unit；圖形處理單元)39以及匯流排30之一般的電腦系統的構成。CPU31係進行各種運算處理。GPU39係進行與圖像處理相關之各種運算處理。ROM32係記憶基本程式。RAM33以及硬碟34係記憶各種資訊。顯示器35係顯示圖像等各種資訊。輸入部36係具備受理來自作業者的輸入之鍵盤36a以及滑鼠36b。讀取裝置37從光碟、磁碟、磁光碟、記憶卡等電腦能夠讀取之記錄媒體81進行資訊的讀取。通訊部38係在與檢查系統1的其他構成以及外部裝置之間收發訊號。匯流排30為訊號電路，用以連接CPU31、GPU39、ROM32、RAM33、硬碟34、顯示器35、輸入部36、讀取裝置37以及通訊部38。
在電腦3中，預先經由讀取裝置37從作為程式產品之記錄媒體81讀取程式811，並將該程式811記憶於硬碟34。程式811亦可經由網路而記憶於硬碟34。CPU31以及GPU39係根據程式811，利用RAM33或者硬碟34並且執行運算處理。CPU31以及GPU39係在電腦3中作為運算部而發揮功能。除了CPU31以及GPU39以外，亦可採用作為運算部而發揮功能之其他構成。
在檢查系統1中，電腦3係根據程式811而執行運算處理等，藉此實現圖1中之由虛線圍繞之功能構成。亦即，電腦3的CPU31、GPU39、ROM32、RAM33、硬碟34以及這些構件的周邊構成係實現教師資料生成裝置4、學習部51、分類部52以及分類必要性決定部53。這些功能的全部或者一部分亦可藉由專用的電性電路而實現，這些功能亦可藉由單獨的程式而實現。而且，亦可藉由複數個電腦而實現這些功能。
分類部52係具有分類器521，該分類器521係藉由表示缺陷之圖像的輸入將該缺陷分類為真缺陷或者偽缺陷(亦稱為誤報或者假缺陷)。分類必要性決定部53係對於從檢查部20輸入之缺陷圖像所示之缺陷，決定是否需要在分類部52中進行分類。學習部51係使用後述的複數個教師資料進行學習，藉此生成作為學習完畢模型之上述分類器521。教師資料生成裝置4係生成學習部51所使用之教師資料。
圖3係表示教師資料生成裝置4的構成之圖。教師資料生成裝置4係具備圖像受理部41、圖像必要性決定部42、顯示控制部43、判定結果受理部44以及教師資料生成部45。圖像受理部41係連接於檢查部20，受理來自檢查部20之缺陷圖像等的輸入。圖像必要性決定部42係決定是否將各缺陷圖像用於教師資料。顯示控制部43係連接於顯示器35，將缺陷圖像等顯示於顯示器35。判定結果受理部44係連接於輸入部36，受理作業者經由輸入部36進行的輸入。教師資料生成部45係對缺陷圖像進行標記而生成教師資料。
此處，對檢查部20係檢測缺陷之處理進行說明。如上所述，檢查裝置2係取得拍攝圖像，藉由檢查部20的第一檢查處理部21以及第二檢查處理部22對拍攝圖像執行彼此不同之檢查處理。在藉由檢查部20進行之檢查中，不使用機器學習，例如藉由規則庫等檢測缺陷。亦可藉由機器學習而決定檢查所利用之臨限值等。此處，拍攝圖像係設為灰階圖像，但亦可為彩色圖像。
圖4是用以對第一檢查處理部21所執行的第一檢查處理進行說明之圖，表示了拍攝圖像的一部分。圖4中，表示了藉由銅等金屬形成之配線區域61以及作為印刷基板的基材表面等之區域62(以下稱為「背景區域62」)。例如，能夠根據預定的臨限值區分配線區域61與背景區域62。
在第一檢查處理的一例中，測定線寬度。例如，基於設計資料等，在配線區域61上預先設定許多檢查位置，將拍攝圖像中之位於各檢查位置之像素確定為對象像素。檢查位置係例如為配線區域61的寬度(亦即與配線區域61的長邊方向垂直之方向的寬度)的大致中央之位置。接著，以等角度間隔設定以對象像素為中心之16個方向之直線，求出各直線與配線區域61重疊之長度(亦即直線上之與配線區域61的兩個邊緣重疊之位置間的長度)。接著，取得16條直線的上述長度中之最小長度作為測定距離。將測定距離與預定的下限距離以及上限距離作比較。在該測定距離小於下限距離之情形下，或者在該測定距離大於上限距離之情形下，檢測出在該檢查位置存在缺陷。在圖4的例子中，由於帶有元件符號A1之箭頭所示之測定距離小於下限距離，因此檢測出配線區域61的缺失缺陷亦即缺陷69。
以上述方式取得各檢查位置的測定距離，藉此能夠檢測出圖5所例示之各種類別之缺陷。對於圖5左側的例子，在鄰接之複數個檢查位置處測定距離變得小於下限距離，檢測出線變細之缺陷亦即缺陷69。對於圖5中央的例子，在鄰接之複數個檢查位置處測定距離變得大於上限距離，檢測出線變粗之缺陷(焊墊部分的線變粗)亦即缺陷69。對於圖5右側的例子，分別檢測出測定距離在一個檢查位置處變得小於下限距離之缺失缺陷以及測定距離在一個檢查位置處變得大於上限距離之突起缺陷作為缺陷69。
如上所述，在第一檢查處理部21中能夠以檢查位置為單位詳細(較進行後述的第二檢查處理之第二檢查處理部22更詳細)地取得缺陷的位置資訊。若在第一檢查處理部21中檢測出缺陷69，則會從拍攝圖像截取包含缺陷69之預定尺寸的缺陷圖像。而且，亦取得表示缺陷圖像中之缺陷69的位置之位置資訊(以下亦稱為「缺陷位置資訊」)以及缺陷69的缺陷類別，生成包含兩者之缺陷關聯資訊。缺陷圖像以及缺陷關聯資訊係彼此關聯而輸出至電腦3。再者，缺陷關聯資訊中亦包含缺陷圖像所示之印刷基板上的位置(以下相同)。
在本處理例中，檢測配線區域61的開路(斷線)缺陷以及短路(short)缺陷之其他的第一檢查處理亦藉由第一檢查處理部21進行。在該其他的第一檢查處理中，對圖6右側所示之拍攝圖像71中之配線區域61的連接性進行確認。例如，在配線區域61中，確定經由配線區域61而與各檢查位置(亦可為與上述處理中之檢查位置不同之位置)相連之其他的檢查位置，藉此能夠對配線區域61的連接性進行確認。如圖6的左側所示，亦準備表示與拍攝圖像71相同之區域之主圖像70(例如根據設計資料而生成之二值圖像)，第一檢查處理部21係與上述同樣地對主圖像70中之配線區域61的連接性(檢查位置間之連接關係)進行確認。接著，在拍攝圖像71中之配線區域61的連接性以及主圖像70中之配線區域61的連接性相異之情形下，檢測出產生了相異之部分作為缺陷。
對於圖6的例子，由於拍攝圖像71中產生了主圖像70中不存在之連接性(檢查位置間之連接)(參照箭頭A2)，故而產生了該連接性之部分係作為短路缺陷亦即缺陷69被檢測出。在第一檢查處理部21中從拍攝圖像71截取包含缺陷69之預定尺寸的缺陷圖像。而且，生成缺陷關聯資訊，該缺陷關聯資訊係包含缺陷圖像中之缺陷位置資訊以及缺陷69的缺陷類別。接著，缺陷圖像以及缺陷關聯資訊係彼此關聯而輸出至電腦3。另一方面，在拍攝圖像中缺少(未產生)主圖像中存在之連接性的情形下，缺少該連接性之部分係作為開路缺陷亦即缺陷而被檢測出。接著，包含該缺陷之預定尺寸的缺陷圖像以及包含缺陷位置資訊與缺陷類別的缺陷關聯資訊係輸出至電腦3。
接下來，對第二檢查處理部22所執行的第二檢查處理的一例進行說明。在第二檢查處理中，將多色調之拍攝圖像分割為預定尺寸的複數個圖像(以下稱為「分割圖像」)。接著，比較以預定的臨限值對各分割圖像進行二值化所得之圖像(以下稱為「二值分割圖像」)以及二值主圖像的對應區域。圖7中，右側表示了二值分割圖像72，左側表示了對應於該分割圖像之主圖像70的區域。使用矩陣對二值分割圖像72與主圖像70進行比較。
圖8係表示二值分割圖像的各像素以及二值主圖像的對應像素之間的互斥或(exclusive OR)之圖像，圖8中之帶有平行斜線之像素係表示兩個圖像中之像素值相異之像素(以下稱為「相異像素」)。圖8中，為了便於說明，使用了與圖7不同之二值分割圖像以及主圖像。關於二值分割圖像與主圖像之間的比較，概念上，當使矩陣M1在圖8的圖像中沿列方向以及行方向掃描且矩陣M1內所含的像素中之相異像素的個數之比例超過容許值時，檢測出存在缺陷。在圖8的例子中，矩陣M1的尺寸為4像素×4像素，容許值為75%。因此，在圖8中之細虛線所示之矩陣M1的位置處相異像素之比例未超過容許值，但在圖8中之粗虛線所示之矩陣M1的位置處相異像素的比例超過容許值。藉此，檢測出分割圖像中存在缺陷。矩陣M1的尺寸亦可適當變更為2像素×2像素、3像素×3像素等，亦可變更容許值。
實際上，對於圖7的二值分割圖像72，求出配置於各位置之矩陣M1內所含的像素中之像素值與遮罩圖像70的對應像素不同之像素的個數之比例。接著，在該比例超過容許值之情形下，檢測出分割圖像中存在缺陷。對於圖7的例子，在二值分割圖像72中，利用粗實線圍繞值與主圖像70的對應像素不同之像素(以下與圖8同樣地稱為「相異像素」)。在使用矩陣M1之本處理例中，二值分割圖像72中之孤立存在的相異像素係未對缺陷之檢測產生影響(被忽略)，但某程度的個數之相異像素的集合係容易被檢測為缺陷(參照位於二值分割圖像72的中央附近之相異像素組)。
若檢測出二值分割圖像72中存在缺陷，則對應的多色調之分割圖像會作為缺陷圖像而輸出至電腦3。在第二檢查處理部22中既不取得分割圖像(缺陷圖像)中之缺陷的詳細位置，亦不取得缺陷類別。因此，與第一檢查處理部21不同，不包含缺陷位置資訊以及缺陷類別之缺陷關聯資訊會輸出至電腦3。如上所述，缺陷關聯資訊中包含缺陷圖像所示之印刷基板上的位置。缺陷關聯資訊中亦可包含表示已藉由第二檢查處理進行了檢測之資訊。
圖9係表示教師資料生成裝置4生成教師資料之處理的流程之圖。首先，在圖3的圖像受理部41中從檢查部20受理缺陷圖像與缺陷關聯資訊(步驟S11)。在本處理例中，藉由檢查部20根據對於複數個印刷基板之許多拍攝圖像預先取得複數個缺陷圖像，複數個缺陷圖像以及對於該複數個缺陷圖像之缺陷關聯資訊係由圖像受理部41受理。對於複數個缺陷圖像之缺陷關聯資訊亦可在與複數個缺陷圖像分別關聯之狀態下包含於一個列表。如上所述，藉由第一檢查處理部21檢測出之缺陷的缺陷關聯資訊中包含缺陷位置資訊以及缺陷類別。另一方面，藉由第二檢查處理部22檢測出之缺陷的缺陷關聯資訊中不包含缺陷位置資訊以及缺陷類別。
接著，在圖像必要性決定部42中基於缺陷關聯資訊決定是否將各缺陷圖像用於教師資料(步驟S12)。在本處理例中，特定缺陷類別之缺陷的缺陷圖像不會用於教師資料。特定缺陷類別的一例為開路缺陷以及短路缺陷。而且，藉由第二檢查處理部22檢測出之缺陷的缺陷圖像亦不會用於教師資料，亦即缺陷關聯資訊中不包含缺陷位置資訊以及缺陷類別之缺陷圖像亦不會用於教師資料。將除了這些缺陷圖像之外的剩餘之缺陷圖像係被決定成用於教師資料之缺陷圖像。再者，不將開路缺陷與短路缺陷等特定缺陷類別之缺陷圖像以及藉由第二檢查處理部22檢測出之缺陷的缺陷圖像用於教師資料之理由將於後述。
在顯示控制部43中將用於教師資料之缺陷圖像顯示於顯示器35(步驟S13)。顯示於顯示器35之圖像既可為缺陷圖像的整體，亦可為缺陷圖像的一部分。亦即，顯示控制部43係將缺陷圖像的至少一部分顯示於顯示器35。在一例中，於顯示器35上的視窗中排列顯示複數個缺陷圖像的縮圖，作業者經由輸入部36選擇一個缺陷圖像的縮圖，藉此在顯示器35中顯示該缺陷圖像(以下稱為「選擇缺陷圖像」)的至少一部分。可藉由各種眾所周知之方法選擇顯示於顯示器35之缺陷圖像。
在判定結果受理部44中受理作業者對於顯示於顯示器35之選擇缺陷圖像之真缺陷或者偽缺陷的判定結果的輸入(步驟S14)。在一例中，於顯示器35上的視窗中與選擇缺陷圖像一併設置表示「真缺陷」之按鈕以及表示「偽缺陷」之按鈕。作業者對選擇缺陷圖像進行確認並經由輸入部36選擇任一個按鈕，藉此輸入判定結果，該判定結果表示選擇缺陷圖像所示之缺陷為真缺陷或者偽缺陷中之哪一個缺陷。該判定結果的輸入係藉由判定結果受理部44受理。可藉由各種眾所周知之方法輸入作業者的判定結果。
在教師資料生成部45中藉由對缺陷圖像標記判定結果而生成教師資料(步驟S15)。教師資料為包含缺陷圖像以及作業者對於該缺陷圖像的判定結果之資料。如上所述，用於教師資料之缺陷圖像的缺陷關聯資訊中包含缺陷位置資訊，較佳為將基於缺陷位置資訊而從缺陷圖像截取缺陷的區域所得之圖像(以下同樣亦稱為「缺陷圖像」)包含於教師資料。藉此，能夠抑制將缺陷的區域以外的多餘區域的特徵用於後述的學習，並提高分類器521的分類精度。實際上，對於複數個缺陷圖像輸入作業者的判定結果，生成複數個教師資料。根據以上內容，教師資料生成處理完成，獲得複數個教師資料(學習用資料集)。
若生成複數個教師資料，則在圖1的學習部51中會以使與複數個教師資料中之缺陷圖像的輸入相對之分類器的輸出以及複數個教師資料所示之判定結果(真缺陷或者偽缺陷)變得大致相同之方式進行機器學習，生成分類器。分類器為用以將圖像所示之缺陷分類為真缺陷或者偽缺陷之學習完畢模型，在分類器之生成中決定分類器所含之參數的值以及／或者分類器的構造。機器學習係例如藉由使用了神經網路(neural network)之深度學習(deep learning)進行。該機器學習亦可藉由深度學習以外的眾所周知之方法進行。分類器(實際上為表示參數的值或者分類器的構造之資訊)傳輸並導入至分類部52。
圖10係表示檢查系統1對印刷基板進行檢查之處理的流程之圖。當進行圖10的處理時，藉由上述處理而預先生成學習完畢模型亦即分類器521。在印刷基板之檢查中，檢查裝置2係取得表示印刷基板的複數個位置之複數個拍攝圖像，藉由檢查部20檢查複數個拍攝圖像中有無缺陷。若檢測出缺陷(步驟S21)，則將包含該缺陷之缺陷圖像以及缺陷關聯資訊輸出至分類必要性決定部53。如上所述，藉由第一檢查處理部21檢測出之缺陷的缺陷關聯資訊中包含缺陷位置資訊(亦即缺陷圖像中之缺陷的位置資訊)以及缺陷類別。另一方面，藉由第二檢查處理部22檢測出之缺陷的缺陷關聯資訊中不包含缺陷位置資訊以及缺陷類別。
接著，在分類必要性決定部53中基於缺陷關聯資訊決定是否需要在分類部52中對缺陷圖像所示之缺陷進行分類。在本處理例中，將特定缺陷類別之缺陷決定成無需在分類部52中進行分類(步驟S22)。特定缺陷類別的一例為開路缺陷以及短路缺陷。而且，將藉由第二檢查處理部22檢測出之缺陷亦決定成無需在分類部52中進行分類，亦即將缺陷關聯資訊中不包含缺陷位置資訊以及缺陷類別之缺陷亦決定成無需在分類部52中進行分類。將開路缺陷以及短路缺陷等特定缺陷類別之缺陷以及藉由第二檢查處理部22檢測出之缺陷決定成無需在分類部52中進行分類之理由將於後述。
決定成無需分類之缺陷的缺陷圖像以及缺陷關聯資訊係輸出至缺陷確認裝置11。如上所述，缺陷關聯資訊中包含缺陷圖像所示之印刷基板上的位置(亦即印刷基板中之缺陷圖像的位置資訊)。在缺陷確認裝置11中參照缺陷關聯資訊而對印刷基板上的該缺陷圖像的區域進行拍攝並顯示於顯示器。作業者對所顯示之圖像所含的缺陷進行確認，藉此最終決定該缺陷為真缺陷或者偽缺陷中的哪一個缺陷(步驟S23)。再者，在該顯示器中亦可與缺陷確認裝置11所拍攝之圖像一併顯示缺陷圖像(以下相同)。
另一方面，在分類必要性決定部53中將藉由第一檢查處理部21檢測出且並非為特定缺陷類別之缺陷決定成無需在分類部52中進行分類(步驟S22)。決定成需要分類之缺陷的缺陷圖像以及缺陷關聯資訊係輸出至分類部52。在分類部52中藉由將缺陷圖像輸入至分類器521，將缺陷圖像所示之缺陷分類為真缺陷或者偽缺陷(步驟S24)。較佳為在分類部52中取得基於缺陷位置資訊而從缺陷圖像截取缺陷的區域所得之圖像，將該圖像輸入至分類器521。藉此，能夠抑制將缺陷的區域以外的多餘區域的特徵被用於分類器521中之分類處理，並精度更佳地對該缺陷分類為真缺陷或者偽缺陷中的哪一個缺陷進行分類。
在藉由分類部52將缺陷分類為真缺陷之情形下(步驟S25)，該缺陷的缺陷圖像以及缺陷關聯資訊係輸出至缺陷確認裝置11。在缺陷確認裝置11中對印刷基板上的該缺陷圖像的區域進行拍攝並顯示於顯示器。作業者對所顯示之圖像所含的缺陷進行確認，藉此最終決定該缺陷為真缺陷或者偽缺陷中的哪一個缺陷(步驟S23)。在藉由分類部52將缺陷分類為偽缺陷之情形下(步驟S25)，該缺陷的缺陷圖像以及缺陷關聯資訊係不會輸出至缺陷確認裝置11，對於該缺陷之處理結束。如此，省略作業者對於藉由分類部52分類為偽缺陷之缺陷進行確認，藉此能夠削減缺陷確認所需之作業者的工時。
此處，說明將開路缺陷與短路缺陷等特定缺陷類別之缺陷以及藉由第二檢查處理部22檢測出之缺陷決定成無需在分類部52中進行分類之理由。由於開路缺陷以及短路缺陷等特定缺陷類別之缺陷會對印刷基板的動作或者性能等造成大影響，因此在多數情形下無法容許分類器521的分類錯誤(此處係指將真缺陷誤分類為偽缺陷)。因此，對於特定缺陷類別之缺陷，為了避免分類器521中之重大的誤分類，較佳為不藉由分類器521進行分類，而是由作業者利用缺陷確認裝置11進行確認並最終決定該缺陷為真缺陷或者偽缺陷中的哪一個缺陷。如此，由於不藉由分類器521對開路缺陷以及短路缺陷等特定缺陷類別之缺陷進行分類，因此較佳為亦不使用該特定缺陷類別之缺陷圖像作為教師資料。
而且，由於藉由第二檢查處理部22檢測出之缺陷的缺陷關聯資訊中不包含缺陷位置資訊，因此分類部52無法取得從缺陷圖像截取缺陷區域所得之圖像。在該情形下，若將缺陷圖像直接輸入至分類器521，則會導致將缺陷的區域以外的多餘區域的特徵用於分類處理。結果為藉由第二檢查處理部22檢測出之缺陷在分類器521中之分類精度變低，容易產生誤分類。因此，對於藉由第二檢查處理部22檢測出之缺陷，較佳為不藉由分類器521進行分類，而是由作業者利用缺陷確認裝置11進行確認並最終決定該缺陷為真缺陷或者偽缺陷中的哪一個缺陷。如此，由於不藉由分類器521對藉由第二檢查處理部22檢測出之缺陷進行分類，因此較佳為亦不使用藉由第二檢查處理部22檢測出之缺陷的缺陷圖像作為教師資料。
如以上所說明，在圖1的檢查系統1中設置有檢查部20以及分類部52；該檢查部20係不使用機器學習，對拍攝印刷基板所得之圖像進行檢查而檢測缺陷；該分類部52係藉由將表示缺陷之圖像輸入至分類器521而對該缺陷的缺陷類別(在上述處理中為真缺陷或者偽缺陷)進行分類。而且，在分類必要性決定部53中基於在檢測該缺陷時由檢查部20取得之缺陷關聯資訊決定是否在分類部52中對藉由檢查部20檢測出之缺陷進行分類。在檢查系統1中能夠從分類對象中容易地排除不適合於分類器521的分類之缺陷，從而能夠實現避免分類器521中之重大的誤分類並且縮短分類處理所需的時間。
較佳為在分類部52中將藉由檢查部20檢測出之缺陷分類為真缺陷或者偽缺陷。在檢查部20中檢測缺陷時，取得該缺陷的缺陷類別(此處為真缺陷以及偽缺陷以外的缺陷類別)，並將該缺陷類別包含於缺陷關聯資訊。在分類必要性決定部53中決定成無需在分類部52中對特定缺陷類別之缺陷進行分類。藉此，能夠容易地防止無法容許分類錯誤之缺陷類別之缺陷(亦即重要缺陷)的誤分類。在上述特定缺陷類別包含開路缺陷以及短路缺陷之情形下，能夠容易地防止開路缺陷以及短路缺陷的誤分類。
較佳為檢查部20中設置有第一檢查處理部21以及第二檢查處理部22；該第一檢查處理部21係藉由第一檢查處理而檢測缺陷，並取得包含該缺陷之缺陷圖像；該第二檢查處理部22係藉由與第一檢查處理不同之第二檢查處理而檢測缺陷，並取得包含該缺陷之缺陷圖像。在第一檢查處理部21中能夠取得較第二檢查處理部22更詳細之缺陷圖像中之缺陷的位置資訊，並將藉由第一檢查處理部21取得之該位置資訊包含於缺陷關聯資訊。在分類必要性決定部53中決定成需要在分類部52中對藉由第一檢查處理部21檢測出之缺陷進行分類，且決定成無需在分類部52中對藉由第二檢查處理部22檢測出之缺陷進行分類。而且，在分類部52中將基於缺陷的位置資訊而從缺陷圖像截取該缺陷的區域所得之圖像輸入至分類器521。根據此種構成，能夠不取得缺陷的詳細位置(缺陷位置資訊)而從分類對象中容易地排除分類器521的分類精度變低之缺陷，從而能夠更確實地實現減少分類器521中之誤分類並且縮短分類處理所需的時間。
在圖3的教師資料生成裝置4中從檢查部20輸入包含缺陷之缺陷圖像以及檢測該缺陷時所取得之缺陷關聯資訊並由圖像受理部41受理。在圖像必要性決定部42中基於缺陷關聯資訊決定是否將缺陷圖像用於教師資料。用於教師資料之缺陷圖像係藉由顯示控制部43而顯示於顯示器35，作業者對於所顯示之缺陷圖像之缺陷類別(在上述處理中為真缺陷或者偽缺陷)的判定結果的輸入係藉由判定結果受理部44受理。接著，藉由教師資料生成部45對缺陷圖像標記該判定結果，並生成教師資料。教師資料生成裝置4能夠容易地排除不適合於教師資料之圖像，從而能夠縮短標記作業以及學習所需的時間。
較佳為在判定結果受理部44中受理作業者對於真缺陷或者偽缺陷的判定結果的輸入。在檢查部20中將在檢測缺陷時所取得之該缺陷的缺陷類別包含於缺陷關聯資訊。在圖像必要性決定部42中決定成不將包含特定缺陷類別之缺陷之缺陷圖像用於教師資料。藉此，能夠生成以不對上述特定缺陷類別之缺陷進行分類為前提的較佳的分類器521。在上述特定缺陷類別包含開路缺陷以及短路缺陷之情形下，能夠生成以不對開路缺陷以及短路缺陷進行分類為前提的較佳的分類器521。
較佳為在檢查部20中設置有上述第一檢查處理部21以及第二檢查處理部22。在第一檢查處理部21中能夠取得較第二檢查處理部22更詳細之缺陷圖像中之缺陷的位置資訊，並將藉由第一檢查處理部21取得之該位置資訊包含於缺陷關聯資訊。在圖像必要性決定部42中決定成將藉由第一檢查處理部21檢測出之缺陷的缺陷圖像用於教師資料，且決定成不將藉由第二檢查處理部22檢測出之缺陷的缺陷圖像用於教師資料。而且，在教師資料生成部45中生成教師資料，該教師資料係包含基於缺陷的位置資訊而從缺陷圖像截取該缺陷的區域所得之圖像。根據此種構成，能夠生成以不對缺陷圖像中之未取得詳細位置之缺陷(分類精度變低之缺陷)進行分類為前提的較佳的分類器521。
[第二實施形態] 接下來，對本發明的第二實施形態的檢查系統1之處理進行說明。圖11係表示印刷基板9的整體之圖。製造中途之印刷基板9係包含廢棄基板區域92，該廢棄基板區域92為最終製品中被除去之部分。圖11中，對廢棄基板區域92標記了平行斜線。圖12係放大地表示圖11的印刷基板9中之由虛線圍繞的部分B1之圖。圖12中，利用粗虛線圍繞廢棄基板區域92。
如圖12所示，印刷基板9中存在區域91(圖12中之由細虛線圍繞的區域)，該區域91係密集地排列有小的鍍覆區域或者設置有細的配線圖案。由於存在於區域91之缺陷會對印刷基板9的動作造成大影響，因此在本處理例中之檢查部20中對區域91設定較其他區域更嚴格之第一檢查靈敏度。以下，將區域91稱為「第一靈敏度設定區域91」。另一方面，由於存在於上述廢棄基板區域92之缺陷係幾乎不會對印刷基板9的動作造成影響，因此對廢棄基板區域92設定較其他區域更寬鬆之第二檢查靈敏度。以下，將廢棄基板區域92稱為「第二靈敏度設定區域92」。而且，對除了第一靈敏度設定區域91以及第二靈敏度設定區域92以外的區域93設定中間之第三檢查靈敏度。以下，將區域93稱為「第三靈敏度設定區域93」。如上所述，對印刷基板9的各位置設定複數個檢查靈敏度中之任一個檢查靈敏度。
在檢查部20的檢查處理中，根據檢查靈敏度而檢測缺陷。例如，在參照圖8而說明之第二檢查處理中，與矩陣M1內之相異像素的比例作比較之容許值會根據檢查靈敏度而變化。具體而言，藉由參照設計資料(CAM(Computer Aided Manufacturing；電腦輔助製造)資料等)，確定對拍攝圖像進行分割所得之上述分割圖像所示之位置是屬於第一靈敏度設定區域91、第二靈敏度設定區域92以及第三靈敏度設定區域93中之哪一個靈敏度設定區域，並取得應利用之容許值。在第一靈敏度設定區域91中取得較其他區域更小之容許值；在第二靈敏度設定區域92中取得較其他區域更大之容許值。接著，將矩陣M1內之相異像素的比例與該容許值作比較，在超過容許值之情形下檢測出存在缺陷。
若檢測出存在缺陷，則會將包含該缺陷之缺陷圖像(多色調之分割圖像)以及缺陷關聯資訊輸出至電腦3。此時，缺陷關聯資訊中包含表示檢測該缺陷時所利用之檢查靈敏度之檢查靈敏度資訊。例如，檢查靈敏度資訊係表示第一檢查靈敏度、第二檢查靈敏度以及第三檢查靈敏度中之任一個檢查靈敏度之資訊，或者檢查靈敏度資訊係表示第一靈敏度設定區域91、第二靈敏度設定區域92以及第三靈敏度設定區域93中之任一個靈敏度設定區域之資訊。第一檢查處理部21亦同樣地根據檢查靈敏度而檢測缺陷，並將包含缺陷之缺陷圖像以及包含檢查靈敏度資訊之缺陷關聯資訊輸出至電腦3。在缺陷之檢測中可使用各種方法，檢查靈敏度的設定方式會根據缺陷的檢測方法而適當變更。
在藉由教師資料生成裝置4進行的教師資料之生成中，在圖像受理部41中從檢查部20受理缺陷圖像與缺陷關聯資訊(圖9：步驟S11)。如上所述，缺陷關聯資訊係包含檢查靈敏度資訊。在圖像必要性決定部42中基於缺陷關聯資訊決定是否將各缺陷圖像用於教師資料(步驟S12)。在本處理例中，不將包含以特定檢查靈敏度檢測出之缺陷之缺陷圖像用於教師資料。特定檢查靈敏度的一例為對第一靈敏度設定區域91設定之第一檢查靈敏度。將包含以第二檢查靈敏度以及第三檢查靈敏度檢測出之缺陷之缺陷圖像決定成用於教師資料之缺陷圖像。不將以特定檢查靈敏度檢測出之缺陷的缺陷圖像用於教師資料之理由將於後述。
在用於教師資料之缺陷圖像顯示於顯示器35之後(步驟S13)，藉由作業者輸入對於缺陷圖像之真缺陷或者偽缺陷的判定結果並受理該輸入(步驟S14)。接著，藉由對缺陷圖像標記判定結果而生成教師資料(步驟S15)。然後，與上述處理例同樣地，使用複數個教師資料而生成分類器521。
在檢查系統1對於印刷基板9之檢查中，若檢查部20檢測出缺陷(圖10：步驟S21)，則會將包含該缺陷之缺陷圖像以及缺陷關聯資訊輸出至分類必要性決定部53。如上所述，缺陷關聯資訊中包含檢查靈敏度資訊。接著，在分類必要性決定部53中基於缺陷關聯資訊決定是否需要在分類部52中對該缺陷圖像所示之缺陷進行分類。在本處理例中，將以特定檢查靈敏度檢測出之缺陷決定成無需在分類部52中進行分類(步驟S22)。特定檢查靈敏度的一例為對第一靈敏度設定區域91設定之第一檢查靈敏度。將以特定檢查靈敏度檢測出之缺陷決定成無需在分類部52中進行分類之理由將於後述。
決定成無需分類之缺陷的缺陷圖像以及缺陷關聯資訊係輸出至缺陷確認裝置11。在缺陷確認裝置11中對印刷基板9上的該缺陷圖像的區域進行拍攝並顯示於顯示器。作業者對所顯示之圖像所含的缺陷進行確認，藉此最終決定該缺陷為真缺陷或者偽缺陷中的哪一個缺陷(步驟S23)。
另一方面，將以特定檢查靈敏度以外的檢查靈敏度檢測出之缺陷決定成需要在分類部52中進行分類(步驟S22)。決定成需要分類之缺陷的缺陷圖像以及缺陷關聯係資訊輸出至分類部52。在分類部52中藉由將缺陷圖像輸入至分類器521，將缺陷圖像所示之缺陷分類為真缺陷或者偽缺陷(步驟S24)。在藉由分類部52將缺陷分類為真缺陷之情形下(步驟S25)，該缺陷的缺陷圖像以及缺陷關聯資訊輸出至缺陷確認裝置11，藉由作業者最終決定該缺陷為真缺陷或者偽缺陷中的哪一個缺陷(步驟S23)。在藉由分類部52將缺陷分類為偽缺陷之情形下(步驟S25)，該缺陷的缺陷圖像以及缺陷關聯資訊不會輸出至缺陷確認裝置11，對於該缺陷之處理結束。
此處，說明將以特定檢查靈敏度檢測出之缺陷決定成無需在分類部52中進行分類之理由。如上所述，由於存在於第一靈敏度設定區域91之缺陷會對印刷基板9的動作造成大影響，因此存在無法容許分類器521的分類錯誤(此處係指將真缺陷誤分類為偽缺陷)之情形。因此，對於在第一靈敏度設定區域91中檢測出之缺陷，亦即對於以特定檢查靈敏度檢測出之缺陷，為了避免分類器521中之重大的誤分類，較佳為不藉由分類器521進行分類，而是由作業者利用缺陷確認裝置11進行確認並最終決定該缺陷為真缺陷或者偽缺陷中的哪一個缺陷。如此，由於不藉由分類器521對以特定檢查靈敏度檢測出之缺陷進行分類，因此較佳為亦不使用以該特定檢查靈敏度檢測出之缺陷的缺陷圖像作為教師資料。
如上所述，在檢查系統1中之本處理例中，對印刷基板9的各位置設定複數個檢查靈敏度中之一個檢查靈敏度，將表示檢查部20檢測缺陷時所利用之檢查靈敏度之資訊包含於缺陷關聯資訊。在分類必要性決定部53中決定成無需在分類部52中對以特定檢查靈敏度檢測出之缺陷進行分類。藉此，能夠容易地防止無法容許分類錯誤之檢查靈敏度高的區域中之缺陷的誤分類。而且，在教師資料生成裝置4的圖像必要性決定部42中決定成不將包含以特定檢查靈敏度檢測出之缺陷之缺陷圖像用於教師資料。藉此，能夠生成以不對檢查靈敏度高的區域中之缺陷進行分類為前提的較佳的分類器521。
在上述處理例中，藉由相同的分類器521對以第二檢查靈敏度檢測出之缺陷以及以第三檢查靈敏度檢測出之缺陷進行分類，但亦可生成各檢查靈敏度用的分類器。例如，生成以第二檢查靈敏度檢測出之缺陷的複數個教師資料並使用該複數個教師資料進行機器學習，藉此生成第二檢查靈敏度用的分類器。第三檢查靈敏度用的分類器亦同樣地生成。在檢查系統1中之印刷基板的檢查中，將以第二檢查靈敏度檢測出之缺陷決定成需要在分類部52中進行分類，並藉由第二檢查靈敏度用的分類器而將該缺陷分類為真缺陷或者偽缺陷。將以第三檢查靈敏度檢測出之缺陷亦決定成需要在分類部52中進行分類，並藉由第三檢查靈敏度用的分類器而將該缺陷分類為真缺陷或者偽缺陷。在檢查系統1中亦可生成藉由檢查部20取得之各缺陷類別用的分類器(分類為真缺陷或者偽缺陷之分類器)。
上述檢查系統1、教師資料生成裝置4以及教師資料生成方法能夠進行各種變形。
由於印刷基板係根據料號而在線寬、間隔、材料、製程等會有不同，因此亦可基於藉由檢查部20檢測出缺陷之印刷基板的料號，由分類必要性決定部53決定是否需要在分類部52中對該缺陷進行分類。而且，亦可基於檢測出缺陷之印刷基板之前的工序之種類，決定是否需要在分類部52中對該缺陷進行分類。例如，在檢測出缺陷時，在檢查部20中取得印刷基板的料號或者／以及表示工序的種類之識別碼，並將該料號或者／以及識別碼包含於缺陷關聯資訊。在分類必要性決定部53中記憶有針對料號或者／以及識別碼而表示是否需要分類之表格，使用缺陷關聯資訊所含之料號或者／以及識別碼而參照該表格，藉此決定是否需要在分類部52中對缺陷進行分類。對於教師資料生成裝置4的圖像必要性決定部42而言亦相同。
無需在分類部52中進行分類之缺陷類別並非僅限定於開路缺陷以及短路缺陷，例如外裝基板中之阻焊劑(solder resist)剝落等其他缺陷類別亦可包含於無需分類之特定缺陷類別。在決定不用於教師資料之缺陷圖像之情形下亦相同。
在上述第一實施形態中之分類必要性決定部53中未必需要將特定缺陷類別之缺陷以及藉由第二檢查處理部22檢測出之缺陷這兩者決定成無需在分類部52中進行分類，亦可僅將一個缺陷決定成無需在分類部52中進行分類。對於教師資料生成裝置4的圖像必要性決定部42而言亦相同。
在檢查部20中未必需要取得缺陷的缺陷類別。而且，亦可僅設置第一檢查處理部21以及第二檢查處理部22中之一個檢查處理部。第一檢查處理部21中之第一檢查處理亦可為能夠取得缺陷位置資訊之其他處理。第二檢查處理部22中之第二檢查處理亦可為上述處理以外的處理。
上述第一實施形態以及第二實施形態中，在圖9的步驟S14中，對於缺陷圖像之真缺陷或者偽缺陷的判定結果藉由作業者輸入，但亦可輸入真缺陷以及偽缺陷以外的缺陷類別(例如異物附著、膜剝落等)的判定結果。亦即，在判定結果受理部44中受理作業者對於顯示於顯示器35之缺陷圖像之缺陷類別的判定結果(包含真缺陷或者偽缺陷的判定結果)的輸入。同樣地，分類部52亦可將缺陷分類為真缺陷以及偽缺陷以外的缺陷類別。
在檢查系統1中，分類必要性決定部53的功能亦可設置於檢查裝置2。而且，教師資料生成裝置4中之圖像受理部41以及圖像必要性決定部42的功能亦可設置於檢查裝置2。
檢查部20中之檢查的對象物除了印刷基板以外，亦可為半導體基板或者玻璃基板等基板。而且，機械零件等基板以外的對象物的缺陷亦可藉由檢查部20檢測。檢查系統1以及教師資料生成裝置4能夠用於檢查各種對象物。
上述實施形態以及各變形例中之構成只要不互相矛盾，可適當組合。
雖詳細地描述發明而進行了說明，但上述說明為例示性說明，並不進行限定。因此，可謂只要不脫離本發明的範圍，便可有許多變形或者形態。
1:檢查系統 2:檢查裝置 3:電腦 4:教師資料生成裝置 9:印刷基板 11:缺陷確認裝置 20:檢查部 21:第一檢查處理部 22:第二檢查處理部 30:匯流排 31:CPU 32:ROM 33:RAM 34:硬碟 35:顯示器 36:輸入部 36a:鍵盤 36b:滑鼠 37:讀取裝置 38:通訊部 39:GPU 41:圖像受理部 42:圖像必要性決定部 43:顯示控制部 44:判定結果受理部 45:教師資料生成部 51:學習部 52:分類部 53:分類必要性決定部 61:配線區域 62:背景區域 69:缺陷 70:主圖像 71:拍攝圖像 72:二值分割圖像 81:記錄媒體 91:區域(第一靈敏度設定區域) 92:廢棄基板區域(第二靈敏度設定區域) 93:區域(第三靈敏度設定區域) 521:分類器 811:程式 A1,A2:箭頭 B1:部分 M1:矩陣 S11至S15,S21至S25:步驟
[圖1]係表示檢查系統的構成之圖。 [圖2]係表示電腦的構成之圖。 [圖3]係表示教師資料生成裝置的構成之圖。 [圖4]係用以對第一檢查處理進行說明之圖。 [圖5]係表示能夠藉由第一檢查處理檢測之缺陷類別之圖。 [圖6]係用以對第一檢查處理的其他例子進行說明之圖。 [圖7]係表示二值分割圖像以及主圖像之圖。 [圖8]係用以對第二檢查處理進行說明之圖。 [圖9]係表示生成教師資料之處理的流程之圖。 [圖10]係表示對印刷基板進行檢查之處理的流程之圖。 [圖11]係表示印刷基板之圖。 [圖12]係表示印刷基板的一部分之圖。
1:檢查系統
2:檢查裝置
3:電腦
4:教師資料生成裝置
11:缺陷確認裝置
20:檢查部
21:第一檢查處理部
22:第二檢查處理部
51:學習部
52:分類部
53:分類必要性決定部
521:分類器

Claims (10)

  1. 一種檢查系統，係具備有： 檢查部，係不使用機器學習，對拍攝對象物所得之圖像進行檢查而檢測缺陷； 分類部，係具有預先生成之學習完畢模型，藉由將表示缺陷之圖像輸入至前述學習完畢模型而對前述缺陷的缺陷類別進行分類；以及 分類必要性決定部，係基於在檢測前述缺陷時由前述檢查部取得或者利用之缺陷關聯資訊決定是否需要在前述分類部中對藉由前述檢查部檢測出之缺陷進行分類。
  2. 如請求項1所記載之檢查系統，其中前述分類部係將藉由前述檢查部檢測出之缺陷分類為真缺陷或者偽缺陷； 前述檢查部在檢測缺陷時取得前述缺陷的缺陷類別，並將前述缺陷類別包含於前述缺陷關聯資訊； 前述分類必要性決定部係決定成無需在前述分類部中對特定缺陷類別之缺陷進行分類。
  3. 如請求項1或2所記載之檢查系統，其中前述檢查部係具備有： 第一檢查處理部，係藉由第一檢查處理而檢測缺陷，並取得包含前述缺陷之缺陷圖像；以及 第二檢查處理部，係藉由與前述第一檢查處理不同之第二檢查處理而檢測缺陷，並取得包含前述缺陷之缺陷圖像； 前述第一檢查處理部係能夠取得較前述第二檢查處理部更詳細之缺陷圖像中之缺陷的位置資訊，並將藉由前述第一檢查處理部取得之前述位置資訊包含於前述缺陷關聯資訊； 前述分類必要性決定部係決定成需要在前述分類部中對藉由前述第一檢查處理部檢測出之缺陷進行分類，且決定成無需在前述分類部中對藉由前述第二檢查處理部檢測出之缺陷進行分類； 前述分類部係將基於缺陷的位置資訊而從缺陷圖像截取前述缺陷的區域所得之圖像輸入至前述學習完畢模型。
  4. 如請求項1或2所記載之檢查系統，其中對前述對象物的各位置設定複數個檢查靈敏度中之一個檢查靈敏度； 將表示前述檢查部檢測缺陷時所利用之檢查靈敏度之資訊包含於前述缺陷關聯資訊； 前述分類必要性決定部係決定成無需在前述分類部中對以特定檢查靈敏度檢測出之缺陷進行分類。
  5. 一種教師資料生成裝置，係用以生成教師資料，並具備有： 圖像受理部，係從不使用機器學習而對拍攝對象物所得之圖像進行檢查之檢查部受理包含缺陷之缺陷圖像以及檢測前述缺陷時所取得或者利用之缺陷關聯資訊； 圖像必要性決定部，係基於前述缺陷關聯資訊決定是否將前述缺陷圖像用於教師資料； 顯示控制部，係將用於教師資料之缺陷圖像顯示於顯示器； 判定結果受理部，係受理作業者對於顯示於前述顯示器之前述缺陷圖像之缺陷類別的判定結果的輸入；以及 教師資料生成部，係對前述缺陷圖像標記前述判定結果而生成教師資料。
  6. 如請求項5所記載之教師資料生成裝置，其中前述判定結果受理部係受理作業者對於真缺陷或者偽缺陷的判定結果的輸入； 將前述檢查部檢測缺陷時所取得之前述缺陷的缺陷類別包含於前述缺陷關聯資訊； 前述圖像必要性決定部係決定成不將包含特定缺陷類別之缺陷之缺陷圖像用於教師資料。
  7. 如請求項5或6所記載之教師資料生成裝置，其中前述檢查部係具備有： 第一檢查處理部，係藉由第一檢查處理而檢測缺陷，並取得包含前述缺陷之缺陷圖像；以及 第二檢查處理部，係藉由與前述第一檢查處理不同之第二檢查處理而檢測缺陷，並取得包含前述缺陷之缺陷圖像； 前述第一檢查處理部係能夠取得較前述第二檢查處理部更詳細之缺陷圖像中之缺陷的位置資訊，並將藉由前述第一檢查處理部取得之前述位置資訊包含於前述缺陷關聯資訊； 前述圖像必要性決定部係決定成將藉由前述第一檢查處理部檢測出之缺陷的缺陷圖像用於教師資料，且決定成不將藉由前述第二檢查處理部檢測出之缺陷的缺陷圖像用於教師資料； 前述教師資料生成部係生成教師資料，前述教師資料係包含基於缺陷的位置資訊而從缺陷圖像截取前述缺陷的區域所得之圖像。
  8. 如請求項5或6所記載之教師資料生成裝置，其中對前述對象物的各位置設定複數個檢查靈敏度中之一個檢查靈敏度； 將表示前述檢查部檢測缺陷時所利用之檢查靈敏度之資訊包含於前述缺陷關聯資訊； 前述圖像必要性決定部係決定成不將包含以特定檢查靈敏度檢測出之缺陷之缺陷圖像用於教師資料。
  9. 一種教師資料生成方法，係用以生成教師資料，並具備： 工序a，係從不使用機器學習而對拍攝對象物所得之圖像進行檢查之檢查部受理包含缺陷之缺陷圖像以及檢測前述缺陷時所取得或者利用之缺陷關聯資訊； 工序b，係基於前述缺陷關聯資訊決定是否將前述缺陷圖像用於教師資料； 工序c，係將用於教師資料之缺陷圖像顯示於顯示器； 工序d，係受理作業者對於顯示於前述顯示器之前述缺陷圖像之缺陷類別的判定結果的輸入；以及 工序e，係對前述缺陷圖像標記前述判定結果而生成教師資料。
  10. 一種程式，用以使電腦生成教師資料； 前述電腦執行前述程式而使前述電腦執行： 工序a，係從不使用機器學習而對拍攝對象物所得之圖像進行檢查之檢查部受理包含缺陷之缺陷圖像以及檢測前述缺陷時所取得或者利用之缺陷關聯資訊； 工序b，係基於前述缺陷關聯資訊決定是否將前述缺陷圖像用於教師資料； 工序c，係將用於教師資料之缺陷圖像顯示於顯示器； 工序d，係受理作業者對於顯示於前述顯示器之前述缺陷圖像之缺陷類別的判定結果的輸入；以及 工序e，係對前述缺陷圖像標記前述判定結果而生成教師資料。
TW111142697A 2022-03-24 2022-11-09 檢查系統、訓練資料生成裝置、訓練資料生成方法以及程式 TWI837934B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022048188A JP2023141721A (ja) 2022-03-24 2022-03-24 検査システム、教師データ生成装置、教師データ生成方法およびプログラム
JP2022-048188 2022-03-24

Publications (2)

Publication Number Publication Date
TW202338745A true TW202338745A (zh) 2023-10-01
TWI837934B TWI837934B (zh) 2024-04-01

Family

ID=88078658

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111142697A TWI837934B (zh) 2022-03-24 2022-11-09 檢查系統、訓練資料生成裝置、訓練資料生成方法以及程式

Country Status (4)

Country Link
JP (1) JP2023141721A (zh)
KR (1) KR20230138869A (zh)
CN (1) CN116804637A (zh)
TW (1) TWI837934B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102693776B1 (ko) * 2023-11-14 2024-08-09 주식회사 파이비스 딥러닝 모델을 기반으로 오브젝트의 결함을 검출하기 위한 장치 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019059011A1 (ja) * 2017-09-19 2019-03-28 富士フイルム株式会社 教師データ作成方法及び装置並びに欠陥検査方法及び装置
JP6964031B2 (ja) * 2018-03-27 2021-11-10 Ｔａｓｍｉｔ株式会社 パターンエッジ検出方法
DE112018007171T5 (de) * 2018-03-29 2021-01-28 Mitsubishi Electric Corporation Abnormalitätsinspektionsvorrichtung und abnormalitätsinspektionsverfahren
US10929761B2 (en) * 2019-06-21 2021-02-23 Clinic, Inc. Systems and methods for automatically detecting and repairing slot errors in machine learning training data for a machine learning-based dialogue system
US11449977B2 (en) * 2020-07-29 2022-09-20 Applied Materials Israel Ltd. Generating training data usable for examination of a semiconductor specimen

Also Published As

Publication number Publication date
KR20230138869A (ko) 2023-10-05
JP2023141721A (ja) 2023-10-05
TWI837934B (zh) 2024-04-01
CN116804637A (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
JP7087397B2 (ja) 基板の欠陥検査装置、基板の欠陥検査方法及び記憶媒体
US20060133660A1 (en) Apparatus and method for detecting defect existing in pattern on object
KR20230126163A (ko) 교사 데이터 생성 장치, 교사 데이터 생성 방법 및 기록 매체에 기록된 프로그램
Sanz et al. Machine-vision techniques for inspection of printed wiring boards and thick-film circuits
JP2002299401A (ja) 検査システムと検査装置と半導体デバイスの製造方法及び検査プログラム
TW202338745A (zh) 檢查系統、教師資料生成裝置、教師資料生成方法以及程式
Aggarwal et al. A survey on automatic printed circuit board defect detection techniques
JP2014126445A (ja) 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム
US11830232B2 (en) Image judgment apparatus and image judgment method
Malge et al. A survey: Automated visual pcb inspection algorithm
Hong et al. Parallel processing machine vision system for bare PCB inspection
KR20040042775A (ko) 검사 상황 표시 방법
JP7423368B2 (ja) 不良検出装置及び不良検出方法
JPH095255A (ja) 欠陥検査方法およびその装置並びに薄膜磁気ヘッド用の素子の製造方法
JP2008014717A (ja) 欠陥検査システムおよび欠陥検査方法
US6005966A (en) Method and apparatus for multi-stream detection of high density metalization layers of multilayer structures having low contrast
JP2006049348A (ja) プリント回路基板外観検査方法、プリント回路基板外観検査プログラム及びプリント回路基板外観検査装置
JP2001099625A (ja) パターン検査装置およびパターン検査方法
JP2017133868A (ja) パターン検査装置およびパターン検査方法
CN114441554B (zh) 检测方法
JP2008298680A (ja) 基板外観検査装置、基板外観検査方法及びそのプログラム
TW201925804A (zh) 診斷半導體晶圓的方法
WO2024062854A1 (ja) 画像処理装置および画像処理方法
WO2024116675A1 (ja) 画像処理装置および画像処理方法
US20240241498A1 (en) Module for predicting semiconductor physical defects and method thereof