TW202132766A - 缺陷分類方法、缺陷分類裝置以及玻璃物品的製造方法 - Google Patents

缺陷分類方法、缺陷分類裝置以及玻璃物品的製造方法 Download PDF

Info

Publication number
TW202132766A
TW202132766A TW109141471A TW109141471A TW202132766A TW 202132766 A TW202132766 A TW 202132766A TW 109141471 A TW109141471 A TW 109141471A TW 109141471 A TW109141471 A TW 109141471A TW 202132766 A TW202132766 A TW 202132766A
Authority
TW
Taiwan
Prior art keywords
defect
image data
classification
classifier
defects
Prior art date
Application number
TW109141471A
Other languages
English (en)
Inventor
茗原貴裕
北川幹将
井上厚司
Original Assignee
日商日本電氣硝子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商日本電氣硝子股份有限公司 filed Critical 日商日本電氣硝子股份有限公司
Publication of TW202132766A publication Critical patent/TW202132766A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Immunology (AREA)
  • Nonlinear Science (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Analytical Chemistry (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Liquid Crystal (AREA)

Abstract

本發明的玻璃物品的缺陷分類方法包括：第一判定步驟S431，基於圖像資料，藉由第一分類器12判定缺陷F是否屬於第一分類；及第二判定步驟S432，於判定缺陷F不屬於第一分類的情形，藉由第二分類器13判定該缺陷F是否屬於第二分類。

Description

缺陷分類方法、缺陷分類裝置以及玻璃物品的製造方法
本發明是有關於一種對玻璃物品所含的缺陷進行分類的方法及裝置、以及藉由利用該方法及裝置來製造玻璃物品的方法。
液晶顯示器或有機電致發光（electroluminescence，EL）顯示器等顯示器使用玻璃板。於顯示器用玻璃板的製造中，使用各種製造裝置來成形玻璃板，但通常均進行以下操作：將玻璃原料加熱熔解，使熔融玻璃均質化後成形為特定形狀。於該製造方法中，存在各種原因導致玻璃板於表面或內部產生缺陷的情形。因此，準確測定玻璃板的缺陷的技術非常重要。
例如專利文獻1中揭示有一種玻璃板的製造方法，該製造方法包括藉由雷射顯微鏡測定玻璃板內部存在的缺陷的尺寸或深度（距玻璃表面的距離）等的檢查步驟。於該製造方法中，於檢查步驟中藉由檢查員操作雷射顯微鏡測定缺陷。 現有技術文獻 專利文獻
專利文獻1：日本專利特開2015-205811號公報
[發明所欲解決之課題] 欲測定的缺陷中存在泡或異物、污垢等種類，存在於檢查步驟中檢查員對缺陷的種類進行分類的情形。於該情形，有檢查中人員的增加或各檢查員的負擔增加而導致作業效率降低之虞。又，根據本發明者等人的銳意研究，若使分類器對泡或異物、污垢全部進行機械學習而由該分類器對缺陷的種類進行分類，則精度不足。
本發明是鑒於所述情況而完成，其技術性課題在於藉由利用分類器精度良好地對玻璃物品的缺陷的種類進行分類來提高檢查的作業效率。 [解決課題之手段]
本發明是用來解決所述課題者，其是將玻璃物品所含的缺陷作為圖像資料檢測出，並基於所述圖像資料，藉由缺陷分類裝置對所述缺陷的種類進行分類的方法，其特徵在於：所述缺陷的種類包括第一分類與第二分類，所述缺陷分類裝置包括藉由對所述第一分類的第一訓練資料進行機械學習所製作的第一分類器、及藉由對所述第二分類的第二訓練資料進行機械學習所製作的第二分類器，所述方法包括：第一判定步驟，基於所述圖像資料，利用所述第一分類器判定所述缺陷是否屬於所述第一分類；及第二判定步驟，於判定所述缺陷不屬於所述第一分類的情形，基於所述圖像資料，利用所述第二分類器判定所述缺陷是否屬於所述第二分類。
根據該結構，利用缺陷分類裝置自動對缺陷的種類進行分類，藉此能夠效率良好地進行缺陷檢查的相關作業。於本發明中，由於進行第一判定步驟的第一分類器與進行第二判定步驟的第二分類器是藉由對第一訓練資料及第二訓練資料進行機械學習而製成，故而能夠精度良好地對第一分類及第二分類的缺陷的種類進行分類。
於本發明的缺陷分類方法中，所述第一分類器的準確率可高於所述第二分類器的準確率。藉此，可進一步精度良好地對玻璃物品所含的缺陷的種類進行分類。
於本發明的缺陷分類方法中，所述第一分類的所述第一訓練資料包含與形成於所述玻璃物品的特定深度的缺陷相關的圖像資料，所述缺陷分類方法包括深度判定步驟，於所述第一判定步驟之前判定自所述玻璃物品檢測出的所述圖像資料中的所述缺陷的深度是否為所述特定深度，可於所述深度判定步驟中判定所述缺陷的深度為所述特定深度的情形執行所述第一判定步驟。
損傷或污垢僅存在於玻璃物品的表面，於中間部分並不存在。因此，於深度判定步驟中，可藉由設定與缺陷的深度相關的基準值來縮小缺陷種類的範圍，從而可提高第一分類器及第二分類器的準確率。藉此，能夠進一步精度良好地對缺陷的種類進行分類。
於本發明的缺陷分類方法中，所述第一訓練資料的所述圖像資料可僅包含與泡相關的圖像資料，所述第二訓練資料的所述圖像資料可僅包含與鉑異物相關的圖像資料。
根據本發明者等人的銳意研究，判明相較於利用與泡相關的圖像資料及與鉑異物相關的圖像資料混合存在的訓練資料進行機械學習所製作的分類器，利用僅包含與泡相關的圖像資料的第一訓練資料與僅包含與鉑異物相關的圖像資料的第二訓練資料所製作的第一分類器及第二分類器的缺陷分類的準確率有所提高。藉此，能夠精度良好地對與泡及鉑異物相關的缺陷進行分類。
所述與泡相關的所述圖像資料亦可包含與所述泡的形狀及/或顏色相關的資訊。如上所述，藉由第一訓練資料包含與泡的形狀及/或顏色相關的資訊，能夠將與泡相關的缺陷的種類細分至其形狀、顏色。
所述與鉑異物相關的所述圖像資料亦可包含與所述鉑異物的形狀及/或顏色相關的資訊。如上所述，藉由第二訓練資料包含與鉑異物的形狀及/或顏色相關的資訊，能夠將與鉑異物相關的缺陷的種類細分至其形狀、顏色。
本發明是用來解決所述課題者，其是玻璃物品的製造方法，其特徵在於包括：攝像步驟，獲得所述玻璃物品所含的缺陷的圖像資料；及分類步驟，基於所述圖像資料，藉由所述任一缺陷分類方法對所述缺陷的種類進行分類。
根據該結構，基於攝像步驟中所獲得的圖像資料，利用所述缺陷分類方法對缺陷的種類進行分類，藉此能夠效率良好地進行缺陷檢查的相關作業。藉此，可提高玻璃物品的製造效率。
本發明是用來解決所述課題者，其是將玻璃物品所含的缺陷作為圖像資料檢測出，並基於所述圖像資料對所述缺陷的種類進行分類的裝置，其特徵在於：所述缺陷的種類包括第一分類與第二分類，所述裝置包括：第一分類器，藉由對所述第一分類的第一訓練資料進行機械學習所製作，基於所述圖像資料判定所述缺陷是否屬於所述第一分類；及第二分類器，藉由對所述第二分類的第二訓練資料進行機械學習所製作，於判定所述缺陷不屬於所述第一分類的情形，基於所述圖像資料判定所述缺陷是否屬於所述第二分類。
根據該結構，利用缺陷分類裝置自動對缺陷的種類進行分類，藉此能夠效率良好地進行缺陷檢查的相關作業。由於本發明的缺陷分類裝置的第一分類器及第二分類器是藉由對第一訓練資料及第二訓練資料進行機械學習而製成，故而能夠精度良好地對缺陷的種類進行分類。 [發明的效果]
根據本發明，藉由利用分類器精度良好地對玻璃物品的缺陷的種類進行分類，可提高檢查的作業效率。
以下，參照圖式對用來實施本發明的形態進行說明。圖1至圖12表示本發明的玻璃物品的製造方法及該方法所使用的檢查裝置的一實施形態。以下，對製造作為玻璃物品的例的透明玻璃板的情形進行說明。
如圖1所示，檢查裝置1包括：攝像裝置3，對載置於載置台2的玻璃板G進行攝像；圖像處理裝置4，對藉由攝像裝置3獲得的圖像資料進行圖像處理；及缺陷分類裝置5，對該圖像資料所包含的缺陷的種類進行分類。
攝像裝置3包括光學顯微鏡，可以獲得玻璃板G的表面S及內部的放大圖像而作為資料。攝像裝置3以能夠藉由移動機構3a而相對於上下方向及水平方向移動的方式構成。攝像裝置3藉由以特定間距沿上下方向移動，而可相對於玻璃板G的厚度方向改變其焦點的位置。藉此，攝像裝置3可對玻璃板G的內部所含的缺陷進行攝像。攝像裝置3連接於圖像處理裝置4。攝像裝置3向圖像處理裝置4發送所獲得的圖像資料。
圖像處理裝置4包括個人電腦（personal computer，PC），所述個人電腦除了內置中央處理單元（central processing unit，CPU）、圖像處理單元（graphics processing unit，GPU）、隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read only memory，ROM）、硬磁碟驅動機（hard disk drive，HDD）、SSD等以外，安裝顯示器4a、輸入介面等各種硬體。如圖2所示，圖像處理裝置4包括：運算處理部6，包含CPU等；儲存部7，包含HDD、固態磁碟（solid state disk，SSD）等；及通訊部8，與攝像裝置3、缺陷分類裝置5之間進行資料的發送接收。
圖像處理裝置4藉由利用運算處理部6執行儲存於儲存部7中的圖像解析程式，而控制攝像裝置3的運作。圖像處理裝置4可自攝像裝置3接收藉由該攝像裝置3獲得的多數圖像資料，並且對各圖像資料執行各種圖像處理。
缺陷分類裝置5包括內置CPU、GPU、RAM、ROM、HDD、SSD等硬體的PC。如圖2所示，缺陷分類裝置5包括：運算處理部9，包含CPU等；儲存部10，包含HDD、SSD等；及通訊部11，與圖像處理裝置4之間進行資料的發送接收。
運算處理部9執行儲存於儲存部10中的圖像解析程式，藉此可對利用攝像裝置3所獲得的圖像資料所包含的缺陷的種類進行分類。又，運算處理部9執行圖像解析程式，藉此可使用保存於儲存部10中的訓練資料進行用來對缺陷的種類進行分類的機械學習。
儲存部10儲存用來進行缺陷分類的圖像解析程式。圖像解析程式中組入有例如深度學習工具（程式）。圖像解析程式可藉由基於訓練資料的機械學習（深度學習）來製作用以對缺陷的種類進行分類的推論模型（演算法）。
儲存部10包含將玻璃板G所含的缺陷的種類分類為第一分類的第一分類器12、及將缺陷的種類分類為第二分類的第二分類器13。各分類器12、13是藉由圖像解析程式的機械學習而由運算處理部9製作的推論模型。於本實施形態中，缺陷的種類中與「泡」相關的缺陷被設定為第一分類，與「鉑異物」相關的缺陷被設定為第二分類。
作為缺陷的泡包括含有一些氣體的氣泡、或不含氣體的真空氣泡。於含有氣體的氣泡的情形，作為該氣體的種類，有氧、二氧化碳、一氧化碳、氮氧化物（NOx）、氮、氯、溴、氫、氬、氦、氖、氙、水蒸氣、硫氧化物（SOx）、二氧化硫等。又，於為真空氣泡的情形，存在氣泡生成時的成分以某種狀態作為固體而析出至氣泡內壁的情形。
與「鉑異物」相關的缺陷並非如泡般對可見光具有透過性，而是包含具有遮蔽性的微細的鉑。「鉑異物」導致的缺陷因自供給及移送例如用來成形玻璃板G的熔融玻璃的鉑製容器產生的微小的鉑混入熔融玻璃中而形成於玻璃板G的內部。
第一分類器12是藉由對包含與「泡」相關的多個圖像資料的第一訓練資料進行機械學習所製作的推論模型。第一訓練資料僅包含與「泡」相關的圖像資料，不包含與「鉑異物」相關的圖像資料。第一訓練資料中的「泡」的圖像資料包含與泡的形狀及/或顏色相關的資訊。
作為泡形狀的資訊的例，例如可列舉「橫長」、「縱長」、「尺寸過大」等。如圖3所示，與「橫長」相關的形狀是指橫向延伸的扁平狀泡的形狀。如圖4所示，與「縱長」相關的形狀是指縱向延伸的扁平狀泡的形狀。如圖5所示，與「尺寸過大」相關的形狀意指「橫長」形狀（或「縱長」形狀）中畫面的範圍內未映出泡的整體形狀。作為與泡的「顏色」相關的資訊的例，例如可列舉「白色」。具體而言，第一訓練資料的各圖像資料被分類為「橫長」、「縱長」、「尺寸過大」、「白色」等小分類，以關聯於小分類的狀態對各圖像資料進行機械學習。
第二分類器13是藉由對包含與「鉑異物」相關的多個圖像資料的第二訓練資料進行機械學習所製作的推論模型。第二訓練資料僅包含與「鉑異物」相關的圖像資料，不包含與「泡」相關的圖像資料。第二訓練資料中的「鉑異物」的圖像資料包含與鉑異物的形狀及/或顏色相關的資訊。
作為與鉑異物的形狀相關的資訊的例，例如可列舉「三角形」、「多邊形」、「圓形」等。如圖6所示，與「三角形」相關的形狀是指呈三角形狀的鉑異物的形狀。如圖7所示，與「多邊形」相關的形狀是指除三角形以外的多邊形狀的鉑異物的形狀。如圖8所示，與「圓形」相關的形狀是指圓形狀的鉑異物的形狀。又，作為與鉑異物的「顏色」相關的資訊的例，例如可列舉「白色」。具體而言，第二訓練資料的各圖像資料被分類為「三角形」、「多邊形」、「圓形」、「白色」等小分類，以關聯於小分類的狀態對各圖像資料進行機械學習。
以下，對利用所述檢查裝置1製造玻璃板G的方法進行說明。如圖9所示，本方法主要包括切斷步驟S1、端面加工步驟S2、洗淨步驟S3、及檢查步驟S4。
例如藉由可執行溢流下拉法的成形裝置由熔融玻璃連續地成形一塊（帶狀）玻璃帶，自玻璃帶切下矩形玻璃原板，藉此獲得向切斷步驟S1供給的玻璃原板。再者，玻璃帶的成形亦可使用浮式法。
於切斷步驟S1中，藉由將玻璃原板切斷，而以所需尺寸切出一塊或多塊矩形玻璃板G。切斷是藉由例如於玻璃原板形成劃線槽後折斷而進行。
於端面加工步驟S2中，利用砂輪對玻璃板G的端面（切斷面）進行研削、研磨，藉此去除端面的裂痕。
於洗淨步驟S3中，對經過端面加工步驟S2的玻璃板G實施洗淨處理。
檢查步驟S4包括：第一檢查步驟，檢查玻璃板G中有無缺陷；及第二檢查步驟，於玻璃板G包含缺陷的情形，對其缺陷進行檢查。
於第一檢查步驟中，藉由配置於檢查裝置1的上游側的公知的檢查裝置（未圖示）對玻璃板G檢查有無缺陷。作為該檢查裝置，例如使用邊緣光方式的檢查裝置，但不限定於此。於在玻璃板G檢測出缺陷的情形，將與該缺陷的位置（平面方向上的位置）及大小相關的資訊輸入圖像處理裝置4中，並保存於所述儲存部7中。
另一方面，於在玻璃板G未檢測到缺陷的情形，將意為不存在缺陷的資訊輸入圖像處理裝置4中，並保存於儲存部7中。對於檢測出缺陷的玻璃板G中該缺陷的大小超過基準（例如10 μm左右）的玻璃板G，於第二檢查步驟中進一步進行檢查。將其他玻璃板G認定為良品。
如圖10所示，第二檢查步驟包括：攝像步驟S41，對玻璃板G所含的缺陷進行攝像而獲得其圖像資料；測定步驟S42，對圖像資料所含的缺陷的狀態進行測定；分類步驟S43，對缺陷的種類進行分類；及優劣判定步驟S44，對玻璃板G（缺陷）的優劣進行判定。
如圖11所示，於攝像步驟S41中，藉由操作員（檢查員）操作圖像處理裝置4或自動控制，而利用攝像裝置3拍攝玻璃板G。於攝像步驟S41中，藉由移動機構3a的運作移動攝像裝置3，以使玻璃板G所含的缺陷F位於視野內。其後，攝像裝置3一面以特定的間距沿上下方向移動，一面對玻璃板G的表面S及內部進行多次拍攝。
將利用攝像裝置3所獲得的玻璃板G的圖像資料發送至圖像處理裝置4。圖像處理裝置4的運算處理部6將接收到的圖像資料保存於儲存部7中。繼而，藉由圖像處理裝置4的圖像解析程式對缺陷F進行測定。
於測定步驟S42中，對缺陷F的大小及深度進行測定。缺陷F的大小（最大尺寸）例如藉由圖像解析程式進行測定。
如圖11所示，缺陷F的深度D意指玻璃板G的厚度方向上的表面S距該缺陷F的距離。缺陷F的深度D例如以如下方式進行測定。
即，藉由圖像處理裝置4的圖像解析程式選定於多個焦點位置拍攝的缺陷F的多個圖像資料中最清晰的圖像資料。然後，算出所選定的圖像資料中的攝像裝置3的焦點位置（座標）距玻璃板G的表面S的距離作為缺陷F的深度D。將與測得的缺陷F的大小及深度D相關的資訊與圖像資料一起保存於儲存部7中。
分類步驟S43包括：第一分類步驟，藉由缺陷分類裝置5對缺陷F的種類進行分類；及第二分類步驟，由操作員使用圖像處理裝置4對缺陷F的種類進行分類。
如圖12所示，第一分類步驟包括：第一判定步驟S431，藉由第一分類器12判定缺陷F是否屬於第一分類；及第二判定步驟S432，判定缺陷F是否屬於第二分類。
於第一判定步驟S431中，運算處理部9啟動第一分類器12，判定圖像資料所含的缺陷F的種類是否屬於第一分類（「泡」）。於本實施形態中，運算處理部9藉由第一分類器12判定缺陷F是否屬於「橫長」、「縱長」、「尺寸過大」、「白色」等小分類的任一者。運算處理部9於判定圖像資料所含的缺陷F符合「泡」的情形，將第一分類的分類資訊附加至該圖像資料並保存於儲存部10。於第一分類器12判定圖像資料的缺陷F並非「泡」的情形，運算處理部9將該缺陷F分類為「其他」，將其分類資訊附加至圖像資料並保存於儲存部10。
於第二判定步驟S432中，運算處理部9啟動第二分類器13，對判定為不屬於第一分類的圖像資料、即被分類為「其他」的圖像資料（缺陷F）是否屬於第二分類進行判定。於本實施形態中，運算處理部9藉由第二分類器13判定缺陷F是否屬於「三角形」、「多邊形」、「圓形」、「白色」等小分類的任一者。於第二分類器13判定圖像資料所含的缺陷F符合「鉑異物」的情形，運算處理部9將該圖像資料分類為第二分類。運算處理部9將第二分類的分類資訊附加至該圖像資料並保存於儲存部10。
於第二分類器13認定缺陷F不符合「鉑異物」的情形，運算處理部9將該缺陷F分類為「其他」。運算處理部9將該分類資訊附加至該圖像資料並保存於儲存部10。
其後，運算處理部9將結束分類的圖像資料發送至圖像處理裝置4。圖像處理裝置4將自缺陷分類裝置5發送的完成分類的圖像資料保存於儲存部7。
圖像處理裝置4藉由操作員的操作或自動控制而將自缺陷分類裝置5接收到的圖像資料顯示於顯示器4a中。顯示器4a顯示圖像資料以及其分類資訊（與「泡」、「鉑異物」、「其他」相關的資訊）。
於第二分類步驟中，對於第一分類步驟中被分類為「其他」的缺陷F，操作員藉由目視認定缺陷F的種類。具體而言，操作員藉由目視觀察於圖像處理裝置4的顯示器4a顯示的圖像資料，認定缺陷F的種類（例如「泡」、「鉑異物」、「鉑以外的異物」、「污垢」、「損傷」）。操作員將分類資訊（認定結果）附加至圖像資料並保存於儲存部7。
於優劣判定步驟S44中，圖像處理裝置4基於缺陷F的大小（尺寸）、深度D及種類等資訊認定玻璃板G的優劣。具體而言，於缺陷F對玻璃板G的表面S的面性狀造成不良影響的情形，即判斷缺陷F會導致玻璃板G的表面S的凹凸等時，圖像處理裝置4將對應於該圖像資料的該玻璃板G認定為不良品。另一方面，於缺陷F不會對玻璃板G的表面S的面性狀造成不良影響的情形，圖像處理裝置4將該玻璃板G認定為良品。
根據以上所說明的本實施形態的玻璃物品（玻璃板G）的製造方法、缺陷分類方法及檢查裝置1，於檢查步驟S4中利用缺陷分類裝置5對圖像資料所含的缺陷F的種類進行自動分類，藉此能夠提高檢查步驟S4的作業效率。藉此，可提高玻璃物品的製造效率。
再者，本發明並不限定於所述實施形態的結構，亦不限定於所述作用效果。本發明可於不脫離本發明的主旨的範圍內進行各種變更。
於所述實施形態中，已例示由不同裝置構成圖像處理裝置4與缺陷分類裝置5的檢查裝置1，但本發明並不限定於該結構。例如，亦可由一台裝置構成圖像處理裝置4與缺陷分類裝置5。
於所述實施形態中，已例示對作為玻璃物品的玻璃板G的缺陷F進行分類的方法及裝置，但本發明並不限定於該結構。本發明亦可應用於例如對管玻璃所含的缺陷進行分類的情形。
於所述實施形態中，已例示執行由缺陷分類裝置5進行的第一分類步驟、及由操作員進行的第二分類步驟的缺陷分類方法，但本發明並不限定於該結構。本發明可僅藉由缺陷分類裝置5執行分類步驟S43。
於所述實施形態中，已例示包括將缺陷的種類分類為第一分類（「泡」）的第一分類器12、及將缺陷的種類分類為第二分類（「鉑異物」）的第二分類器13的缺陷分類裝置5，但本發明並不限定於該結構。缺陷分類裝置5亦可進而包括一個以上例如將缺陷的種類分類為其他分類的其他分類器。又，第一分類可不限於「泡」，亦可為其他缺陷的種類，第二分類亦可不限於「鉑異物」，亦可為其他缺陷的種類。
於所述實施形態中，不論缺陷的深度如何均使用第一分類器12及第二分類器13，但亦可準備與缺陷的深度相應的第一分類器12及第二分類器13，而利用對應於所測得的缺陷深度的第一分類器12及第二分類器13對缺陷進行分類。例如，準備與位於玻璃板的表面周邊的深度的「泡」相關的第一訓練資料、與位於玻璃板的背面周邊的深度的「泡」相關的第一訓練資料、及與位於表面和背面的中間的深度的「泡」相關的第一訓練資料。分別使用該等第一訓練資料，而分別製作與位於表面周邊的「泡」相關的第一分類器、與位於背面周邊的「泡」相關的第一分類器、及與位於表面和背面的中間的「泡」相關的第一分類器。
於該情形，可於執行第一判定步驟S431之前進行深度判定步驟，判定缺陷是否為特定的深度。具體而言，於深度判定步驟中，判定檢測到的圖像資料的缺陷位於表面周邊、中間、背面周邊何種位置。然後，於其後的第一判定步驟S431中，使用對應於深度判定步驟中的判定結果的位置的第一分類器對缺陷的種類進行分類。於該情形，關於第二分類器，亦與第一分類器同樣地，製作與位於表面周邊、中間、背面周邊的「鉑異物」相關的第二分類器。於第二判定步驟S432中，與第一判定步驟S431同樣，使用對應於深度判定步驟中的判定結果的位置的第二分類器對缺陷的種類進行判定。 實施例
為了精度良好地對圖像資料所包含的缺陷的種類進行分類，本發明者等人進行了試驗來確認利用缺陷分類裝置的有效的機械學習方法。本發明者等人製作具有「泡」、「鉑異物」、「鉑以外的異物」、「污垢」、「損傷」的屬性的圖像資料混合存在的訓練資料，實施利用缺陷分類裝置的機械學習（深度學習）。以下，將藉由所述機械學習所製作的缺陷的推論模型（演算法）稱為比較例。
本發明者等人製作僅包含具有「泡」的屬性的圖像資料的訓練資料（第一訓練資料），實施利用缺陷分類裝置的機械學習。以下，將藉由所述機械學習所製作的缺陷的推論模型（第一分類器）稱為實施例1。
又，本發明者等人製作僅包含具有「鉑異物」的屬性的圖像資料的訓練資料（第二訓練資料），實施利用缺陷分類裝置的機械學習。以下，將藉由所述機械學習所製作的缺陷的推論模型（第二分類器）稱為實施例2。
於該試驗中，藉由比較例及實施例1對由熟練的作業者（操作員）判定為「泡」的多個試驗用圖像資料進行判定，比較其準確率。又，藉由比較例及實施例2對由熟練的作業者判定為「鉑異物」的多個試驗用圖像資料進行判定，比較其準確率。又，將「泡」的試驗用圖像資料的數量（第一訓練資料的資料數）與「鉑異物」的試驗用圖像資料的數量（第二訓練資料的資料數）設為相同，將藉由實施例1判定「泡」的情形的準確率與藉由實施例2判定「鉑異物」的情形的準確率加以比較。
試驗結果判明，關於「泡」的分類，比較例的準確率為100%，實施例1的準確率為100%，比較例的準確率與實施例1的準確率相等，但關於「鉑異物」的分類，比較例的準確率為76%，實施例2的準確率為97%，實施例2的準確率高於比較例的準確率。
根據該試驗結果可知，於使用缺陷分類裝置對圖像資料進行「泡」及「鉑異物」的分類的情形，先執行與「泡」相關的分類（第一判定步驟S431），然後執行與「鉑異物」相關的分類（第二判定步驟S432），藉此可精度良好且效率良好地進行該分類（尤其是比較例中準確率較低的與「鉑異物」相關的分類）。
1:檢查裝置 2:載置台 3:攝像裝置 3a:移動機構 4:圖像處理裝置 4a:顯示器 5:缺陷分類裝置 6:運算處理部 7:運算處理部 8:通訊部 9:運算處理部 10:儲存部 11:通訊部 12:第一分類器 13:第二分類器 D:缺陷的深度 F:缺陷 G:玻璃板 S:玻璃板的表面 S1:切斷步驟 S2:端面加工步驟 S3:洗淨步驟 S4:檢查步驟 S41:攝像步驟 S42:測定步驟 S43:分類步驟 S44:優劣判定步驟 S431:第一判定步驟 S432:第二判定步驟
圖1是表示玻璃物品的檢查裝置的側視圖。 圖2是表示玻璃物品的檢查裝置的功能方塊圖。 圖3是表示缺陷的圖像資料的例的照片。 圖4是表示缺陷的圖像資料的例的照片。 圖5是表示缺陷的圖像資料的例的照片。 圖6是表示缺陷的圖像資料的例的照片。 圖7是表示缺陷的圖像資料的例的照片。 圖8是表示缺陷的圖像資料的例的照片。 圖9是表示玻璃物品的製造方法的流程圖。 圖10是表示檢查步驟的流程圖。 圖11是表示檢查步驟的側視圖。 圖12是表示分類步驟的流程圖。
1:檢查裝置
2:載置台
3:攝像裝置
3a:移動機構
4:圖像處理裝置
4a:顯示器
5:缺陷分類裝置
G:玻璃板
S:玻璃板的表面

Claims (8)

  1. 一種缺陷分類方法，將玻璃物品所含的缺陷作為圖像資料檢測出，並基於所述圖像資料，藉由缺陷分類裝置對所述缺陷的種類進行分類，所述缺陷分類方法的特徵在於： 所述缺陷的種類包括第一分類與第二分類， 所述缺陷分類裝置包括：第一分類器，藉由對所述第一分類的第一訓練資料進行機械學習所製作；及第二分類器，藉由對所述第二分類的第二訓練資料進行機械學習所製作， 所述缺陷分類方法包括： 第一判定步驟，基於所述圖像資料，利用所述第一分類器判定所述缺陷是否屬於所述第一分類；及 第二判定步驟，於判定所述缺陷不屬於所述第一分類的情形，基於所述圖像資料，利用所述第二分類器判定所述缺陷是否屬於所述第二分類。
  2. 如請求項1所述的缺陷分類方法，其中所述第一分類器的準確率高於所述第二分類器的準確率。
  3. 如請求項1或請求項2所述的缺陷分類方法，其中所述第一分類的所述第一訓練資料及所述第二分類的所述第二訓練資料包含形成於所述玻璃物品的特定深度的所述缺陷的所述圖像資料， 所述缺陷分類方法包括深度判定步驟，於所述第一判定步驟之前判定自所述玻璃物品檢測出的所述圖像資料中的所述缺陷的深度是否為所述特定深度， 於所述深度判定步驟中判定所述缺陷的深度為所述特定深度的情形執行所述第一判定步驟。
  4. 如請求項1至請求項3中任一項所述的玻璃物品的缺陷分類方法，其中 所述第一訓練資料的所述圖像資料僅包含與泡相關的圖像資料， 所述第二訓練資料的所述圖像資料僅包含與鉑異物相關的圖像資料。
  5. 如請求項4所述的缺陷分類方法，其中所述與泡相關的所述圖像資料包含與所述泡的形狀及/或顏色相關的資訊。
  6. 如請求項4或請求項5所述的缺陷分類方法，其中所述與鉑異物相關的所述圖像資料包含與所述鉑異物的形狀及/或顏色相關的資訊。
  7. 一種玻璃物品的製造方法，其特徵在於包括： 攝像步驟，獲得所述玻璃物品所含的缺陷的圖像資料；及 分類步驟，基於所述圖像資料，藉由如請求項1至請求項6中任一項所述的缺陷分類方法對所述缺陷的種類進行分類。
  8. 一種缺陷分類裝置，將玻璃物品所含的缺陷作為圖像資料檢測出，並基於所述圖像資料對所述缺陷的種類進行分類，所述缺陷分類裝置的特徵在於： 所述缺陷的種類包括第一分類與第二分類， 所述缺陷分類裝置包括： 第一分類器，藉由對所述第一分類的第一訓練資料進行機械學習所製作，基於所述圖像資料判定所述缺陷是否屬於所述第一分類；及 第二分類器，藉由對所述第二分類的第二訓練資料進行機械學習所製作，於判定所述缺陷不屬於所述第一分類的情形，基於所述圖像資料判定所述缺陷是否屬於所述第二分類。
TW109141471A 2019-12-17 2020-11-26 缺陷分類方法、缺陷分類裝置以及玻璃物品的製造方法 TW202132766A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019227239A JP7349066B2 (ja) 2019-12-17 2019-12-17 欠陥分類方法、欠陥分類装置及びガラス物品の製造方法
JP2019-227239 2019-12-17

Publications (1)

Publication Number Publication Date
TW202132766A true TW202132766A (zh) 2021-09-01

Family

ID=76431082

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109141471A TW202132766A (zh) 2019-12-17 2020-11-26 缺陷分類方法、缺陷分類裝置以及玻璃物品的製造方法

Country Status (5)

Country Link
JP (1) JP7349066B2 (zh)
KR (1) KR20220113348A (zh)
CN (1) CN114556414A (zh)
TW (1) TW202132766A (zh)
WO (1) WO2021124775A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023095756A1 (ja) * 2021-11-29 2023-06-01 日本電気硝子株式会社 ガラス板の製造方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004354251A (ja) 2003-05-29 2004-12-16 Nidek Co Ltd 欠陥検査装置
JP5022174B2 (ja) 2007-10-22 2012-09-12 株式会社日立製作所 欠陥分類方法及びその装置
JP2012026982A (ja) 2010-07-27 2012-02-09 Panasonic Electric Works Sunx Co Ltd 検査装置
JP6113024B2 (ja) 2013-08-19 2017-04-12 株式会社Ｓｃｒｅｅｎホールディングス 分類器取得方法、欠陥分類方法、欠陥分類装置およびプログラム
JP6067777B2 (ja) 2015-04-27 2017-01-25 ＡｖａｎＳｔｒａｔｅ株式会社 フラットパネルディスプレイ用ガラス基板及びその製造方法、ならびに液晶ディスプレイ
JP6669453B2 (ja) 2015-09-08 2020-03-18 株式会社Ｓｃｒｅｅｎホールディングス 画像分類装置および画像分類方法
CN106645180A (zh) 2017-02-06 2017-05-10 东旭科技集团有限公司 检查基板玻璃缺陷的方法、现场终端及服务器
CN109635856A (zh) 2018-11-29 2019-04-16 上海集成电路研发中心有限公司 一种产线缺陷图像智能分类系统及分类方法

Also Published As

Publication number Publication date
JP2021096151A (ja) 2021-06-24
CN114556414A (zh) 2022-05-27
KR20220113348A (ko) 2022-08-12
JP7349066B2 (ja) 2023-09-22
WO2021124775A1 (ja) 2021-06-24

Similar Documents

Publication Publication Date Title
JP5932110B2 (ja) 原石のインクルージョンを検出／同定する方法および機器
CN111696077A (zh) 一种基于WaferDet网络的晶圆缺陷检测方法
JP4024832B1 (ja) ドリル検査装置、ドリル検査方法、およびそのプログラム
JP2012045610A (ja) ビードの終端部の形状を判定する装置及びその方法
JP6788837B2 (ja) ガラス板の検査方法及びその製造方法並びにガラス板の検査装置
TW201310359A (zh) 用於識別材料中之缺陷之系統及方法
JP2015038441A (ja) 分類器取得方法、欠陥分類方法、欠陥分類装置およびプログラム
JP2006234771A (ja) 金属ロールの表面欠陥検査方法およびその装置
TW475062B (en) Inspection system for edges of glass
ES2856756T3 (es) Máquina de inspección de recipientes de vidrio con interfaz gráfica de usuario
TW201610418A (zh) 偏光薄膜缺陷監測方法
CN108445020A (zh) 一种玻璃基板缺陷聚集识别方法
TW202132766A (zh) 缺陷分類方法、缺陷分類裝置以及玻璃物品的製造方法
CN103630552A (zh) 板状体的缺陷检查方法以及缺陷检查装置
CN113588665B (zh) 基于机器视觉实现光纤预制棒瑕疵检测的方法
CN114066890A (zh) 齿轮缺陷检测方法、装置、计算机设备及存储介质
CN104180772A (zh) 一种视觉检测装置
CN106841211A (zh) 一种运用机器视觉对电池片表面缺陷检测的平台及方法
TWI593958B (zh) 鑑別光學薄膜缺陷方法
JP2007057278A (ja) 枚葉片断裁評価装置及び枚葉片断裁配置決定方法
CN110998298B (zh) 板状玻璃的制造方法
CN112697813A (zh) 一种aoi特殊扫描作业的方法
KR20210114542A (ko) 점성 리본을 처리하는 방법
CN218726568U (zh) 一种可测量玻璃基板缺陷位置的工具
CN111507955B (zh) 光学膜的缺陷判断方法及缺陷判断系统