TWI786316B - 附標籤之影像資料的製作方法、檢查方法、程式、附標籤之影像資料的製作裝置及檢查裝置 - Google Patents

附標籤之影像資料的製作方法、檢查方法、程式、附標籤之影像資料的製作裝置及檢查裝置 Download PDF

Info

Publication number
TWI786316B
TWI786316B TW108124976A TW108124976A TWI786316B TW I786316 B TWI786316 B TW I786316B TW 108124976 A TW108124976 A TW 108124976A TW 108124976 A TW108124976 A TW 108124976A TW I786316 B TWI786316 B TW I786316B
Authority
TW
Taiwan
Prior art keywords
image
pixel value
segmented
data
discriminator
Prior art date
Application number
TW108124976A
Other languages
English (en)
Other versions
TW202013315A (zh
Inventor
坂野和見
山岸祐一
木部裕行
豐島邦光
Original Assignee
日商Ｎ Ｔｅｃｈ股份有限公司
日商益力多本社股份有限公司
日商東邦商事股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商Ｎ Ｔｅｃｈ股份有限公司, 日商益力多本社股份有限公司, 日商東邦商事股份有限公司 filed Critical 日商Ｎ Ｔｅｃｈ股份有限公司
Publication of TW202013315A publication Critical patent/TW202013315A/zh
Application granted granted Critical
Publication of TWI786316B publication Critical patent/TWI786316B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本發明除了構成拍攝了物品之影像的複數個通道以外，附加alpha通道。對於對應alpha通道中的缺陷區域之區域賦予第二像素值，該第二像素值與被賦予於沒有缺陷的區域之第一像素值不同。將包含alpha通道之影像分割為複數個分割影像。對分割影像中的alpha通道包含第二像素值之分割影像賦予不良標籤，對分割影像中的alpha通道不包含第二像素值之分割影像賦予良品標籤。自分割影像去除alpha通道而製作附標籤之分割影像資料。

Description

附標籤之影像資料的製作方法、檢查方法、程式、附標籤之影像資料的製作裝置及檢查裝置
本發明是關於製作在進行監督式學習等時作為監督資料而給予鑑別器的附標籤之影像資料的製作方法、檢查方法、程式、附標籤之影像資料的製作裝置及檢查裝置。
例如，專利文獻1揭示一種學習裝置，其將附正確標籤的影像資料分割為複數個，且進行了追加學習，結果，對於附監督之影像，追加產出穩定之結果者。該學習裝置包括：影像生成部，基於第一附正確標籤之影像，生成未標籤影像；影像選擇部，選擇對使用者提示之未標籤影像；輸出部，將所選擇的未標籤影像輸出至顯示部；與正確標籤設定部，使自輸入部取得之正確標籤與所選擇之未標籤影像產生關連，而設為第二附正確標籤之影像。鑑別器生成部基於第一附正確標籤之影像的特徵向量與第二附正確標籤之影像的特徵向量，進行鑑定器之再生成處理。
又，專利文獻2揭示有使用將機械學習用於監督資料之生成的手法之機械學習裝置。
專利文獻1：日本特開第2013-125322號公報 專利文獻2：日本特開第2015-185149 號公報
然而，在深度學習等機器學習中，為了決定鑑別器的參數，必須學習極多的影像。例如，已知於使用鑑別器進行檢查之情形時，若如專利文獻1般分割影像則精確度（Precision）會提高，但對每個經分割之分割影像賦予標籤之作業是必須的。又，鑑別器的正確率不足之情形時，若變更影像的分割數而再次進行學習，則有可獲得正確率高之鑑別器的情形。
然而，若變更影像的分割數，則存在必須對以變更後之分割數進行分割的分割影像再次賦予標籤之課題。再者，此種課題不限於深度學習，而大致共通於藉由專利文獻1所記載之支援向量機（support vector machine，SVM）等所進行的監督式機器學習中。
本發明的目的在於提供一種附標籤之影像資料的製作方法、檢查方法、程式、附標籤之影像資料的製作裝置及檢查裝置，能夠減輕分割影像而作為監督資料被用於監督式或半監督式（semi-supervised）機器學習之附標籤之影像資料的製作負擔並抑制學習成本為低。
以下，記載有關用於解決上述課題之手段及其作用效果。
解決上述課題之附標籤之影像資料的製作方法製作附標籤之影像資料，為了生成被使用於檢查所拍攝之影像中的檢查對象有無缺陷之檢查的鑑別器，該附標籤之影像資料被用作使學習前之鑑別器進行監督式或半監督式機器學習之監督資料，該附標籤之影像資料的製作方法具備：通道附加步驟，對於拍攝了檢查對象之影像，除了構成該影像的一個或複數個通道以外，附加其他通道；像素值賦予步驟，對於該其他通道中的該與影像中之缺陷區域對應的區域，賦予第二像素值作為表示缺陷的像素值，該第二像素值與被賦予於沒有缺陷的其他區域之第一像素值不同 ；分割步驟，將包含該其他通道的影像分割為複數個分割影像；標籤賦予步驟，於複數個該分割影像中，對該分割影像中的該其他通道包含該第二像素值之該分割影像賦予不良標籤，對該分割影像中的該其他通道不包含該第二像素值之該分割影像賦予良好標籤；與通道去除步驟，自該分割影像去除該其他通道而製作附標籤之影像資料。
根據該方法，即使分割所拍攝的影像而製作被用作監督資料之附標籤之影像資料，也可以減少製作負擔並抑制學習成本為低。例如，變更影像分割數而重新製作附標籤之影像資料之情形時，操作者亦不需在每次變更分割數量時重新進行指定影像的缺陷區域之作業，可減少作業負擔，將學習成本抑制為低。
上述影像資料的製作方法中，較佳該缺陷有複數種類別，該像素值賦予步驟中，對該其他通道賦予該第二像素值之情形時，賦予根據該缺陷的類別之不同值的第二像素值，該標籤賦予步驟中，對包含該第二像素值之該分割影像，賦予根據該第二像素值的值之不同的不良標籤。
根據該方法，可製作賦予了依據缺陷的種類之不同的不良標籤之附標籤之影像資料。
上述影像資料的製作方法中，較佳該分割步驟中，將附加了該其他通道的該影像分割為彼此相鄰之該分割影像一部分重複之複數個該分割影像。
根據該方法，即使缺陷跨越複數個分割影像，也可以減低缺陷被分割的頻率。因此，於使用附標籤之影像資料進行學習時，容易獲得高正確率。
上述影像資料的製作方法中，較佳該其他通道為alpha通道。
根據該方法，藉由利用用於設定影像的不透明度之alpha通道，可以不對所拍攝的影像之通道造成影響，而相對容易地對與缺陷區域對應之區域賦予表示缺陷的第二像素值。
上述影像資料的製作方法中，較佳於將測試資料輸入以該附標籤之影像資料作為監督資料進行監督式或半監督式機器學習而生成的鑑別器時的輸出無法獲得已定值以上的正確率之情形時，變更該分割步驟中之分割數。
根據該方法，於測試資料被輸入至藉由監督式或半監督式機器學習生成的鑑別器時之輸出無法獲得已定值以上的正確率，而變更分割步驟中的分割數並當重新製作附標籤之影像資料之情形時，已對影像賦予其它個通道及表示缺陷的第二像素值。因此，變更影像的分割數而重新製作附標籤之影像資料時，操作者不須為了於其他通道指定賦予第二像素值之區域，進行操作輸入裝置並指定缺陷區域之作業。
解決上述課題之檢查方法具備：鑑別器生成步驟，生成鑑別器，該鑑別器以藉由上述附標籤之影像資料的製作方法製作的該附標籤之影像資料作為監督資料而進行監督式或半監督式機器學習；與判定步驟，根據輸出值對拍攝了檢查對象之影像判定該檢查對象之良好／不良，該輸出值是以與被用於該鑑別器之生成的該分割影像之分割數相同的分割數進行分割而取得複數個分割影像，且將該分割影像輸入該鑑別器而自該鑑別器作為鑑別結果被輸出。
根據該方法，減少使學習前之鑑別器進行學習的附標籤之影像資料之製作負擔，故能夠以低學習成本檢查檢查對象的良好／不良。
上述檢查方法中，較佳該機器學習為深度學習。
根據該方法，能夠以深度學習且低學習成本對檢查對象的良好／不良進行檢查。
解決上述課題之程式為製作附標籤之影像資料的電腦所執行，為了生成被使用於檢查所拍攝之影像中的檢查對象有無缺陷之檢查的鑑別器，該附標籤之影像資料被用作使學習前之鑑別器進行監督式或半監督式機器學習之監督資料，該程式具備：通道附加步驟，電腦對於拍攝了檢查對象之影像，除了構成該影像的一個或複數個通道以外，附加其他通道；像素值賦予步驟，電腦對於該其他通道中的與該影像中之缺陷區域對應的區域，賦予第二像素值作為表示缺陷的像素值，該第二像素值與被賦予於沒有缺陷的其他區域之第一像素值不同 ；分割步驟，電腦將包含該其他通道的影像分割為複數個分割影像；標籤賦予步驟，電腦於複數個該分割影像中，對該分割影像中的該其他通道包含該第二像素值之該分割影像賦予不良標籤，對該分割影像中的該其他通道不包含該第二像素值之該分割影像賦予良好標籤；與通道去除步驟，電腦自該分割影像去除該其他通道而製作附標籤之影像資料。
藉由於電腦執行該程式，減輕將所拍攝的影像進行分割而製作並且若學習後之鑑別器的正確率低則變更分割數而重新製作的附標籤之影像資料之製作負擔，從而可抑制學習成本為低。例如，變更影像之分割數而重新製作附標籤之影像資料之情形時，亦可減低操作者每次變更分割數時重新指定影像之缺陷區域的作業之作業負擔，抑制學習成本為低。
解決上述課題之附標籤之影像資料的製作裝置，其製作附標籤之影像資料，為了生成被使用於檢查所拍攝之影像中的檢查對象有無缺陷之檢查的鑑別器，該附標籤之影像資料被用作使學習前之鑑別器進行監督式或半監督式機器學習之監督資料，該附標籤之影像資料的製作裝置具備：通道附加部，對於拍攝了檢查對象之影像，除了構成該影像的一個或複數個通道以外，附加其他通道；像素值賦予部，對於該其他通道中的與該影像中之缺陷區域對應的區域，賦予第二像素值作為表示缺陷的像素值，該第二像素值與被賦予於沒有缺陷的其他區域之第一像素值不同；分割步驟，電腦將包含該其他通道的影像分割為複數個分割影像；標籤賦予步驟，電腦於複數個該分割影像中，對該分割影像中的該其他通道包含該第二像素值之該分割影像賦予不良標籤，對該分割影像中的該其他通道不包含該第二像素值之該分割影像賦予良好標籤；與通道去除步驟，電腦自該分割影像去除該其他通道而製作附標籤之影像資料。
根據該附標籤之影像資料製作裝置，減輕將所拍攝的影像進行分割而製作並且若學習後之鑑別器的正確率低則變更分割數而重新製作的附標籤之影像資料之製作負擔，從而可抑制學習成本為低。例如，變更影像之分割數而重新製作附標籤之影像資料之情形時，亦可減低操作者每次變更分割數時重新指定影像之缺陷區域的作業之作業負擔，抑制學習成本為低。
解決上述課題之檢查裝置，具備：上述附標籤之影像資料的製作裝置；鑑別器，以該附標籤之影像資料的製作裝置所製作的該附標籤之影像資料作為監督資料進行監督式或半監督式機器學習而生成；分割影像取得部，以與被用於該鑑別器之生成的該分割影像之分割數相同的分割數將拍攝了檢查對象之影像進行分割而取得複數個分割影像；與判定部，根據將該分割影像取得部所取得之該分割影像輸入該鑑別器時之來自該鑑別器的輸出結果，判定該檢查對象之良好／不良。
根據該檢查裝置，可以減少使學習完成前之鑑別器學習的附標籤之影像資料的製作負擔，能夠以低學習成本檢查檢查對象之良好／不良。
根據本發明，即使將影像分割而製作作為監督資料而用於監督式或半監督式機器學習的附標籤之影像資料，亦可減輕製作負擔而將學習成本抑制為低。
（第一實施方式） 以下，針對具備具有機器學習功能之檢查裝置的檢查系統，參照圖式進行說明。圖1所示之檢查系統11使用拍攝了物品12之影像檢查物品12有無缺陷。檢查系統11具備運送物品12之運送裝置20、與檢查藉由運送裝置20被運送的物品12之檢查裝置30。
如圖1所示，運送裝置20具備：運送機21，用於運送物品12；　感測器22，檢查載置於運送機21而被運送的物品12；與排出裝置23，在自檢查裝置30之檢查結果判定為有缺陷之不良品的情形時，從良品的流動線排除不良品之物品12。運送機21例如為捲繞吊掛於複數個滾子24之帶25藉由電動馬達26之動力環繞轉動的帶式運送機。運送機21只要可運送物品12，也可為例如滾子運送機等其他構成。於與運送機21之運送方向X交叉的寬度方向之兩側，配置有引導物品12的一對引導構件27。排出裝置23可列舉將物品12推出而進行排除的構成、或藉由氣體之力吹離物品12而進行排除的構成，但只要可排除不良之物品12，也可為其他構成。
檢查系統11具備控制運送裝置20及檢查裝置30之控制器C。
檢查裝置30具備：攝影機31，拍攝由運送機21運送之物品12；及電腦32，與攝影機31電連接。檢查裝置30使用攝影機31對物品12進行拍攝而得之影像，判定物品12有無缺陷。電腦32構成控制器C的一部分。詳細而言，控制器C具備：可程式邏輯控制器33（以下也稱作「PLC 33」），控制運送裝置20及攝影機31；以及電腦32，電連接於PLC 33。電腦32具備輸入裝置34與顯示部35。
PLC33控制運送裝置20，根據感測器22檢測物品12之檢測信號控制攝影機31之攝影時機。物品12藉由攝影機31而被拍攝之影像資料被送至電腦32。電腦32使用來自攝影機31的影像資料檢查物品12有無缺陷。圖1所示之例子中，電腦32為個人電腦等，但也可為內設於一體地構成電腦32與PLC33之控制器C內的微處理器等。
圖1、圖2中雖表示四角板狀之物品12的例子，但物品12的形狀、尺寸及品項不特別限定。
如圖5（a）所示，攝影機31所拍攝的影像除了物品12g以外，作為影像的一部分也包含物品12g之周邊的帶25、引導構件27之一部分等。本實施方式的檢查裝置30基於攝影機31所拍攝的影像資料，使用鑑別器66（參照圖4）檢查物品12有無缺陷。檢查裝置30於檢測出缺陷之情形時，判別缺陷的類別。
本實施方式中，為了生成進行檢查所必須之鑑別器66，檢查裝置30進行監督式學習。本例中，採用深度學習作為機器學習。深度學習中，為了獲得鑑別器66的高正確率必須學習大量影像。然而，由於準備大量學習用之影像相當費工，因此以容易製作附標籤之影像資料，且因條件變更而重新進行之費工少的方式，設為容易處理。
檢查裝置30製作作為監督資料之附標籤之分割影像資料DIm（參照圖10（b）），該附標籤之分割影像資料DIm例如將分割了攝影機31所拍攝之物品12的影像資料而得之分割影像資料、與表示為良品之意及不良品之情形時表示缺陷的類別之正確標籤設為一組。然後，檢查裝置30使用附標籤之分割影像資料DIm進行監督式學習，從而生成鑑別器66。
用於製作監督資料的影像（原影像）的資料如圖3所示，分為良品之資料夾F1與不良品之資料夾F2、F3而被收納。良品之資料夾F1收納有無缺陷的良品之影像資料Im1。不良品之資料夾F2、F3依據缺陷的類別準備有複數種（圖3之例中為2種）。例如，資料夾F2收納有包含小的缺陷Ds之不良品的影像資料Im2。又，資料夾F3收納有包含大的缺陷Dl之不良品的影像資料Im3。再者，於不特別區分每個缺陷的類別之不良品的影像資料Im2、Im3之情形時，也有總稱而記載為影像資料Imd之情形。又，用於製作監督資料的原影像不限於檢查裝置30之攝影機31所拍攝者，也可為使用與檢查裝置30不同的攝影機在其他場所預先拍攝物品12而得之影像。此情形時，電腦32可自外部記憶體輸入影像資料，或經由網際網路自伺服器接收影像資料。
接著，參照圖4說明檢查系統11之電性構成。如圖4所示，控制器C具備電腦32與PLC33。構成運送裝置20之運送機21、感測器22及排出裝置23電連接於PLC33。PLC33具備攝影機觸發（camera trigger）處理部36及不良排出處理部37。若輸入感測器22檢測物品12之檢測信號，則攝影機觸發處理部36對電腦32輸出拍攝觸發信號。不良排出處理部37於電腦32所檢查之物品12為不良品時，自電腦32輸入排出指示信號。
攝影機31連接於電腦32。於電腦32連接有輸入裝置34及顯示部35。若自攝影機觸發處理部36輸入觸發信號，則電腦32對攝影機31輸出拍攝指示信號。攝影機31若接收拍攝指示信號，則於運送機21上以攝影區域之中央部對感測器22所檢測之物品12進行拍攝。又，電腦32使用攝影機31所拍攝之影像資料進行檢查處理，若判定物品12為有缺陷之不良品，則對不良排出處理部37輸出排出指示信號。不良排出處理部37基於自電腦32輸入之排出指示信號驅動排出裝置23，將不良品之物品12自運送機21排除。
接著，參照圖4，針對構成檢查裝置30之電腦32的構成進行說明。如圖4所示，電腦32具備CPU41、記憶體42與輔助記憶體43。輔助記憶體43例如由硬磁碟驅動機（hard disk drive，HDD）構成。
於記憶體42儲存有各種程式Pr及鑑別器資料CD。程式Pr包含於圖12以流程圖表示之缺陷位置登錄用程式、及於圖13以流程圖表示之分割影像製作用程式。所謂鑑別器資料CD，包含構成鑑別器66之模型資料（model data）及參數。CPU41讀取鑑別器資料CD，作為鑑別器66而發揮功能。然而，鑑別器66於學習完成前的階段，即未學習或學習中的階段，其鑑別結果無法獲得所欲之高正確率。因此，學習部64於鑑別器66進行監督式學習，將構成鑑別器資料CD的參數調整至最適當之值。因此，鑑別器66存在依據學習程度而可獲得所欲之正確率的學習完成之鑑別器66，與無法獲得所欲的正確率之處於未學習或學習中的階段的學習完成前之鑑別器66。再者，即使成為學習完成之鑑別器66，亦不能夠結束學習，為了得到更高的正確率，或是為了於即使是同樣的物品12卻因缺陷形態之微小變化等導致正確率下降時之調整而進行追加學習。
因此，鑑別器66學習完成前之階段中，鑑別器資料CD是由模型資料與調整前之參數構成。然後，鑑別器66學習完成之階段中，鑑別器資料CD是由學習完成前之鑑別器66進行監督式學習而調整之參數及模型資料構成。CPU41讀取藉由經由監督式學習而被調整之參數及模型資料而成之鑑別器資料CD，作為學習完成之鑑別器66而發揮功能。程式Pr包含後述之監督資料製作部52用於製作監督資料的程式，該監督資料是學習部64為了使學習完成前之鑑別器66進行學習而給予。
CPU41具備控制部51、監督資料製作部52、深度學習部53及檢查處理部54。再者，各部51～54為由CPU41執行程式Pr而構築之軟體構成的功能部。控制部51總體地控制各部52～54。
監督資料製作部52製作學習部64使學習完成前之鑑別器66進行監督式學習而給予的監督資料。監督資料製作部52具備缺陷位置登錄部61、作為分割部之一例的分割影像製作部62及作為標籤賦予部之一例的標籤設定部63。再者，監督資料製作部52除了學習部64為了監督式學習給予鑑別器66之監督資料的製作以外，也進行後述之推論部65為了驗證監督式學習的結果鑑別器66是否獲得所欲之正確率而給予鑑別器66作為測試資料之監督資料的製作。再者，本實施方式中，監督資料製作部52相當於附標籤之影像資料製作裝置之一例。
深度學習部53具備學習部64、推論部65及鑑別器66。學習部64使學習完成前之鑑別器66利用監督資料進行監督式學習，藉此生成學習完成之鑑別器66。本例之機器學習為深度學習（深層學習）。學習部64將監督資料製作部52所製作之監督資料給予鑑別器66進行監督式學習，藉此將加權係數等參數調整至最適當之值。
輔助記憶體43儲存有圖4所示之影像資料群IG。影像資料群IG包含成為監督資料製作部52製作監督資料時之原影像的多個影像資料Im（以下也僅稱為「影像Im」。）圖4所示之例子中，影像資料群IG包含學習用資料群TrD與測試用資料群TsD。屬於學習用資料群TrD之影像資料Im，是成為監督資料製作部52製作監督式學習用之監督資料時的原影像之影像資料。學習用資料群TrD包含圖3所示之OK影像Im1與NG影像Imd（Im2、Im3）。如圖3所示，於將「OK」、「NG1」、「NG2」設為名稱之資料夾F1、F2、F3，分別收納有OK之影像資料Im1、NG1之影像資料Im2、NG2之影像資料Im3。如此於本例中，NG影像資料Imd被分開收納於被命名為依據缺陷之大小或缺陷之種類的名稱之複數種資料夾F2、F3。
又，屬於測試用資料群TsD之影像資料Im，是成為監督資料製作部52製作推論部65驗證鑑別器66之正確率的測試用監督資料時之原影像的影像資料。測試用資料群TsD雖包含與學習用資料群TrD不同的複數個影像資料，但與學習用資料群TrD同樣地，包含如圖3所示之被分為被命名為複數種名稱之複數個資料夾F1～F3的OK影像Im1s與NG影像Im2s、Im3s。再者，本實施方式中，資料夾F1～F3之名稱被使用於在監督資料製作部52自影像Im製作監督資料時賦予資料的正確標籤。又，圖4中，於輔助記憶體43僅表示有針對物品12之一種類的品種之影像資料群IG。針對複數品種之物品12進行檢查之情形時，依每個品種儲存影像資料群IG。此情形時，鑑別器資料CD及鑑別器66亦存在於每個品種。又，即使為同一物品12而檢查對象之部分為複數之情形時，影像資料群IG、鑑別器資料CD及鑑別器66存在於每個檢查對象部分。
接著，參照圖4，針對監督資料製作部52之構成要素進行說明。缺陷位置登錄部61於影像Im中存在缺陷的影像Imd登錄缺陷之位置。若經由操作者自輸入裝置34輸入指定缺陷之位置區域，則缺陷位置登錄部61對於有缺陷的影像Imd，除了表現影像Imd之顏色的顏色表現通道以外附加其他通道。其他通道為除了顏色表現通道以外被附加之輔助通道。輔助通道例如為表示不透明度的通道，本例中為alpha通道Imα。缺陷位置登錄部61對於有缺陷的影像Imd，除了顏色表現通道以外附加alpha通道Imα。然後，缺陷位置登錄部61於alpha通道Imα登錄缺陷之位置區域。
分割影像製作部62將影像資料Im分割為複數個，製作複數個分割影像資料DI。操作者操作輸入裝置34，向分割影像製作部62指示分割數。分割影像製作部62以所指示之分割數M×N分割影像資料Im，製作M×N個分割影像資料DI（以下亦稱為「分割影像DI」）。
標籤設定部63對分割影像DI賦予標籤。若分割影像資料具有alpha通道，則標籤設定部63判斷有無表示缺陷的第二像素值，若有第二像素值，則將收納有原影像之資料夾的名稱（資料夾名）之「NG1」、「NG2」作為標籤而賦予。雖然分割影像資料具有alpha通道，但若沒有表示缺陷的第二像素值，則將「OK」作為標籤而賦予。分割影像資料若不具有alpha通道，則將收納有原影像之資料夾的名稱（資料夾名）之「OK」作為標籤而賦予。標籤設定部63於賦予標籤後自分割影像去除alpha通道，藉此製作作為由附標籤RGB影像構成的監督資料之附標籤之影像資料DIm（參照圖10（b））。
深度學習部53的學習部64使用附標籤之影像資料作為監督資料，使學習完成前之鑑別器66進行監督式學習。藉由使鑑別器66學習監督資料，生成學習完成之鑑別器66。
本例之機器學習為深度學習（深層學習）。學習部64使鑑別器66學習監督資料而決定參數。
推論部65使用學習完成之鑑別器66，將檢查對象之影像輸入鑑別器66，自藉由深度學習而得之輸出結果檢查有無缺陷。利用該深度學習進行的檢查中存在缺陷之情形時，亦判別缺陷的類別。又，推論部65不僅被使用於實際的檢查，也為了驗證學習結果是否適當而被使用。然後，推論部65將監督資料製作部52以測試用資料群TsD中的影像資料Im作為原影像而製作的附標籤之分割影像資料DIm輸入學習完成之鑑別器66，將其輸出結果與正確標籤進行比較而驗證正確率。若獲得已定值以上之正確率則學習結束，若為未達已定值的正確率，則變更影像資料Im的分割數等將條件變更，再度重新學習。
圖4所示的檢查處理部54使用鑑別器66檢查攝影機31所拍攝的檢查對象之物品12。檢查處理部54具備影像取得部67、作為分割影像取得部之一例的影像分割部68及判定部69。影像取得部67取得攝影機31所拍攝的物品12之影像。影像分割部68將影像取得部67所取得的影像，以與學習部64於監督式學習時用作監督資料的附標籤之分割影像資料DIm相同之分割數進行分割。檢查處理部54將影像分割部68所分割的分割影像送至深度學習部53。深度學習部53中，推論部65將自檢查處理部54之影像分割部68接收的分割影像DI輸入鑑別器66並基於鑑別器66之輸出結果，推論是否為「OK」、「NG1」、「NG2」之任一者。推論部65的推論結果自深度學習部53被送至檢查處理部54之判定部69。檢查處理部54中，判定部69基於來自深度學習部53的推論結果進行檢查之判定。判定部69根據「OK」、「NG1」、「NG2」中之一個推論結果，判定物品12有無缺陷。本例中，若推論結果為「OK」則判定部69判定為良品，若推論結果為「NG1」或「NG2」則判定部69判定為不良品。
電腦32根據檢查處理部54之判定結果，若物品12之檢查結果為不良品，則對不良排出處理部37輸出排出指示信號。若輸入排出指示信號，則不良排出處理部37使排出裝置23驅動，將運送機21上符合的不良品之物品12自運送機21上向外部排除。
圖5（a）表示以攝影機31拍攝的影像資料Im之一例。該影像資料Im為含有缺陷Dg之不良品的影像資料Imd（亦稱為「NG影像資料Imd」。）如圖5（a）所示，攝影機31所拍攝之影像Im包含物品12g、帶25g、引導構件27g。攝影機31可進行彩色拍攝。攝影機31所拍攝的影像Im如圖5（b）所示，是藉由紅色通道（R通道）、綠色通道（G通道）、藍色通道（B通道）三個通道構成。
操作者使資料夾一覽顯示於顯示部35，以滑鼠操作打開不良品資料夾F2、F3，選擇不良品之影像Imd，於顯示部35顯示拍攝了含有缺陷Dg之物品12g的不良品之影像Imd（亦稱為「Ng影像Imd」。）例如，顯示圖5（a）所示之含有缺陷Dg的NG影像Imd。操作者使用輸入裝置34之滑鼠或電子筆（觸控筆，stylus pen）等點選裝置，輸入指定NG影像Imd中的缺陷Dg之區域。
圖6（a）表示圖5（a）所示的NG影像Imd中之缺陷。若存在圖6（a）所示之缺陷Dg，則操作者操作構成輸入裝置34之滑鼠或電子筆等點選裝置，沿著缺陷Dg的輪廓描繪以粗線示於圖6（b）之包圍線EL從而包圍缺陷區域DA，或是藉由點選裝置的操作塗滿缺陷區域DA，藉此輸入指定缺陷區域的位置座標。
缺陷位置登錄部61具備通道附加部61A與像素值賦予部61B。若存在自輸入裝置34指定缺陷區域DA的位置座標之輸入，則通道附加部61A對NG影像資料Imd附加alpha通道Imα。然後，像素值賦予部61B對相當於alpha通道之缺陷區域DA的區域Dα（以下亦稱為「缺陷區域Dα」。）賦予第二像素值P2作為表示缺陷之像素值，該第二像素值P2與被賦予於沒有缺陷的區域之第一像素值P1不同。對屬於在NG影像Imd上被指定之缺陷區域DA的位置座標與以alpha通道Imα上之相同位置標被規定的缺陷區域Dα之所有像素，賦予第二像素值P2。
如圖7所示，登錄缺陷位置後的不良品之影像ImD（也稱為NG影像ImD）是由R通道ImR、G通道ImG、B通道ImB與對缺陷區域Dα賦予第二像素值P2之alpha通道Imα構成。登錄缺陷位置後的NG影像ImD與原影像被收納於相同之資料夾F2、F3、或相同名稱之其他資料夾F2、F3。
分割影像製作部62分割學習用之資料夾F1～F3內的影像Im。作為分割影像製作部62所分割的對象之影像Im是附加了良品資料夾F1內之OK影像Im1與不良品資料夾F2、F3內之alpha通道Imα之NG影像ImD。分割影像製作部62於顯示部35顯示分割數輸入欄。操作者操作輸入裝置34輸入適合學習的影像之分割數。影像的分割數是輸入影像之縱分割數M與橫分割數N而指定。其中，M、N為自然數，且至少一者為2以上。
如圖8所示，分割影像製作部62將影像資料Im分割為M×N個。結果，製作M×N個分割影像DI。如圖8所示，M×N個分割影像DI被分為包含缺陷之至少一部分的K個分割影像與不含缺陷（M×N－K個）之分割影像。又，於分割影像DI也存在完全不含物品12g者。圖8中，表示將影像Im分割為6×8之48個的例子。
本實施方式中，較佳分割影像製作部62 將影像資料Im分割為相鄰者彼此的邊界之一部分重複。如圖9（a）所示，針對於縱方向與橫方向兩者相鄰的其他分割影像所位在的分割影像DIo，分割影像製作部62於縱方向與橫方向同時在兩側以每次重複量ΔL擴展。
又，關於位於沿著影像資料Im的外周之位置的分割影像DI，於縱方向與橫方向之至少一者的外側不存在相鄰的分割影像。關於不存在相鄰的分割影像之方向，使分割影像DIo於旁邊存在分割影像之側擴展重複量ΔL的兩倍長度之量。例如，如圖9（b）所示，影像資料Im之左上的角落部位之分割影像DIo只在下方向與右方向存在相鄰的分割影像。因此，分割影像製作部62使圖9（b）的分割影像DIo於下方向與右方向擴展重複量ΔL的兩倍長度之量。如此，影像Im以與相鄰的分割影像DI重複一部分的方式，被分割為複數個同一尺寸的分割影像DI。
若將複數個資料夾F1～F3中所有的影像Im分割完成為M×N個分割影像DI，則接著標籤設定部63對分割影像DI賦予正確標籤（以下僅稱為「標籤」。）也就是說，標籤設定部63製作使分割影像DI與標籤產生關連之設定資料。
如圖10（a）所示，標籤之設定對於來自不良品之影像ImD的分割影像DI，使用附加了alpha通道DIα（以下亦記載為「α通道DIα」。）之分割影像DI。分割影像製作部62對於良品之分割影像DI，將其原影像所屬的資料夾F1之名稱「OK」設定為標籤。再者，來自不良品的影像ImD之分割影像DI是由R通道DIR、G通道DIG、B通道DIB及alpha通道DIα構成。
關於原影像屬於兩個不良品資料夾F2、F3之任一者的分割影像DI，如圖10（a）所示，只要有於分割影像DI之α通道DIα表示缺陷的第二像素值P2，則將原影像所屬的資料夾F2或F3之名稱「NG1」、「NG2」設定為標籤。關於沒有第二像素值P2的分割影像DI，與原影像所屬的資料夾F2或F3之名稱無關，而將「OK」設定為標籤。
若對所有分割影像DI將標籤設定完成，則如圖10（b）所示，標籤設定部63自標籤設定後之分割影像DI將RGB影像與標籤一同取出。也就是說，自分割影像DI去除α通道DIα，取得作為監督資料之附標籤之分割影像資料DIm（以下亦稱為「監督資料DIm」。）接著，接收附標籤之分割影像DIm之學習部64如圖10（c）所示，將去除附標籤之分割影像資料DIm中之標籤的分割影像資料轉換為陣列資料。陣列資料為將分割影像DI之所有像素的像素值陣列為已定之順序的資料。
如圖11所示，深度學習部53具備鑑別器66。進行學習時，鑑別器66為學習完成前（包括未學習或遷移學習（Transfer Learning）前）之狀態。學習部64給予鑑別器66監督資料進行監督式學習之結果，若獲得所欲之正確率，則鑑別器66學習完成。也就是說，學習部64藉由使學習完成前之鑑別器66進行監督式學習，生成學習完成之鑑別器66。以下，不特別區分學習前後而說明鑑別器66 之構成。
鑑別器66具有類神經網路之模型。例如採用卷積類神經網路（convolutional neural network）等。鑑別器66具有輸入層81、中間層82（隱藏層）與輸出層83。輸入層81具有複數個感知器（perceptron）。圖11所示之例中，具有x1、…、xk、…、xn之共計n個感知器。例如若設為分割影像DI為由50×50個像素之合計2500個像素組成的影像資料，由於每一個像素具有R值、G值、B值三個像素值，因此陣列資料由7500個像素值資料之陣列組成。該例中，輸入層81具有7500個感知器x1～xn（其中，n＝7500）。中間層82是由以複數個感知器構成之複數層組成。輸出層83具有將輸出結果輸出之與正確標籤同數量的感知器。
此處，於以下提供分割影像之情形時的精確度（Precision）。整體之影像Im中，若將缺陷Dg的像素數設為TP（true positive），將非缺陷之像素數設為FP（false positive），則精確度Prec1以Prec1＝TP／（TP＋FP）表示。於設為將影像Im進行M×N分割，且於其中之一個分割影像包含所有缺陷之情形時，精確度Prec2以TP／（TP＋（FP／（M×N）））表示。也就是說，正確率Prec2是以Prec2≒（M×N）・Prec1表示。由此，以將影像Im進行（N×M）分割之附標籤之分割影像資料DIm作為監督資料而使用，藉此精確度被提高至大約（M×N）倍。然後，使用精確度高的分割影像資料DIm進行監督式學習，藉此可生成高正確率之鑑別器66。
接著，針對檢查裝置30之作用進行說明。首先，參照圖12，針對電腦32執行程式而進行之缺陷位置登錄處理進行說明。該處理為監督資料製作部52之缺陷位置登錄部61所進行。例如，操作者使電腦32內之用於製作附標籤之影像資料的應用軟體起動。操作者於該應用軟體上操作輸入裝置34，指定收納了用於製作附標籤之影像資料的原影像之資料夾。也就是說，操作者指定收納了使電腦32顯示之NG影像Imd的不良品資料夾F2、F3。再者，操作者亦可藉由構成輸入裝置34之滑鼠的操作打開資料夾，逐個選擇使電腦32顯示之NG影像Imd。
首先，步驟S11中，電腦32自不良品資料夾讀取並顯示NG影像。即，電腦32自儲存於輔助記憶體43的複數個資料夾F1～F3中被指定的不良品資料夾F2、F3讀取第一個NG影像Imd並顯示於顯示部35。
操作者依據顯示於顯示部35之畫面的訊息，對於顯示於顯示部35的NG影像Imd，使用滑鼠或電子筆等點選裝置，將缺陷Dg沿著其輪廓以包圍線EL包圍，藉此指定缺陷區域DA。
步驟S12中，電腦32判斷缺陷區域DA是否已被指定。操作者若操作點選裝置連接包圍線EL的起點與終點，確定被包圍的區域，則判斷缺陷區域DA已被指定。若缺陷區域DA被指定，則電腦32將圖6（b）中以影陰線表示的被指定之區域藉由已定之顏色塗滿等，向操作者視覺性地傳達被指定的區域。
步驟S13中，電腦32對NG影像Imd附加alpha通道Imα。即，電腦32對構成NG影像Imd之RGB的三個顏色表現通道附加其他通道。本實施方式中，其他通道是作為以像素值表現影像的不透明度之輔助通道的alpha通道Imα。因此，如圖7所示，附alpha通道的影像ImD是由R通道ImR、G通道ImG、B通道ImB及alpha通道Imα之四個通道構成。再者，本實施方式中，該步驟S13之處理相當於對拍攝了檢查對象之影像，除了構成該影像的一個或複數個通道以外，附加其他通道之「通道附加步驟」的一例。
步驟S14中，電腦32將缺陷區域DA登錄於alpha通道Imα。即，電腦32對alpha通道Imα中與缺陷區域DA對應的區域Dα，賦予第二像素值P2作為表示缺陷之像素值，該第二像素值P2與被賦予於該區域以外之沒有缺陷的區域之第一像素值P1不同。圖7所示之例中，電腦32於alpha通道Imα中與缺陷區域DA對應的區域Dα，也就是alpha通道Imα上之缺陷區域Dα，登錄圖7中以黑色表示的第二像素值P2，對alpha通道Imα中沒有缺陷的區域，賦予圖7中以白色表示的第一像素值P1。第一像素值P1例如為alpha通道Imα之初期值，設定不透明度100％之值等，且登錄不透明度100％之值以外的值作為第二像素值P2。再者，只要第一像素值與第二像素值為不同值即足夠，只要分別為不同值則可設定任意之像素值。例如，若影像之像素值為256色調，則可第一像素值為「255」，第二像素值為「0」，亦可為相反。本實施方式中，該步驟S14之處理，相當於對於該其他通道中的與影像中之缺陷區域對應的區域，賦予第二像素值作為表示缺陷的像素值，該第二像素值與被賦予於沒有缺陷的其他區域之第一像素值不同之「像素值賦予步驟」的一例。
步驟S15中，將附alpha通道之影像ImD保存於記憶體43。因此，於記憶體43儲存有附alpha通道之NG影像ImD，該附alpha通道之NG影像ImD於alpha通道Imα中與缺陷區域DA對應的區域Dα被賦予第二像素值P2。
步驟S16中，電腦32判斷是否已處理所有的影像。若未處理所有的影像，則返回步驟S11，針對下一個NG影像Imd同樣地重複步驟S11～S15之處理。本例中，若對不良品資料夾F2、F3內之所有NG影像Imd完成步驟S11～S15之處理，則於步驟S16為肯定判定，結束該缺陷位置登錄處理。如此，每個缺陷類別的附alpha通道之NG影像ImD以收納於對應之資料夾F2、F3之狀態儲存於記憶體43。
接著，參照圖13，針對分割影像製作處理進行說明。若完成圖12所示之缺陷位置登錄處理，電腦32執行圖13所示之分割影像製作常式。該分割影像製作處理為分割影像製作部62與標籤設定部63所進行。操作者在應用程式軟體於顯示部35顯示之設定畫面的分割數輸入欄，藉由滑鼠等之操作預先輸入指定所欲之分割數M×N。
首先步驟S21中，電腦32自資料夾F1～F3 讀取影像。電腦32首先讀取第一個影像Im。
步驟S22中，電腦32以指定的分割數分割影像Imd。如圖8所示，影像Im被分割為指定之M×N個分割影像DI。此時，如圖9（a）、（b）所示，將相同尺寸的M×N個分割影像DI分割為與相鄰的分割影像DI僅重複重複量ΔL或2・ΔL。電腦32藉由以下之步驟S23～S27之處理，對各分割影像DI設定標籤。再者，本實施方式中，該步驟S22之處理相當於將包含該其他通道的影像分割為複數個分割影像之「分割步驟」的一例。
步驟S23中，電腦32判斷分割影像DI是否為OK影像以外者。此處，所謂OK影像，是指自被收納於資料夾名為「OK」之資料夾F1的OK影像分割之分割影像DI。也就是說，只要分割影像DI之原影像所屬的資料夾之名稱為「OK」，則該分割影像DI為OK影像。若分割影像DI為OK影像以外者，則電腦32進入步驟S24，若分割影像DI非OK影像以外者，即為OK影像的話，則電腦32進入步驟S26。
步驟S26中，電腦32對分割影像DI之標籤設定原影像所屬的資料夾之名稱。例如，於在步驟S23判斷為OK影像之分割影像DI，對其標籤設定原影像所屬的資料夾F1之名稱「OK」。
步驟S24中，電腦32判斷分割影像DI是否附有α通道。也就是說，判斷是否為從操作者進行了缺陷位置登錄之附α通道的NG影像分割之分割影像DI且具有α通道DIα。只要分割影像DI附有α通道，則電腦32進入步驟S25，若未附有α通道則電腦32進入步驟S26。所謂未附有α通道之分割影像DI，例如為分割影像DI之原影像雖屬於不良品資料夾F2、F3，但缺陷位置登錄為未登錄之分割影像DI。即使假如混有操作者未進行缺陷區域DA之指定的影像，對於該分割影像DI，於其標籤設定其原影像所屬之資料夾的名稱「NG1」或「NG2」。
步驟S25中，電腦32判斷於分割影像DI是否存在缺陷區域DA。若於分割影像DI之α通道DIα存在表示缺陷的第二像素值P2之像素，則電腦32判斷存在缺陷區域DA。又，若於分割影像DI之α通道DIα不存在第二像素值P2之像素，則電腦32判斷不存在缺陷區域DA。若於分割影像DI存在缺陷區域DA則進入步驟S26，若於分割影像DI不存在缺陷區域DA則進入步驟S27。
若於分割影像DI存在缺陷區域DA，則於步驟S26中，電腦32對分割影像DI之標籤設定作為其原影像之NG影像Imd所屬的不良品資料夾F2、F3之名稱的「NG1」或「NG2」。
步驟S27中，電腦32對分割影像DI之標籤設定「OK」。也就是說，即使是OK影像以外（也就是NG影像）且附有α通道，對於無缺陷區域DA之分割影像DI，也對其標籤設定「OK」。再者，本實施方式中，步驟25（肯定判定）及S26之處理，相當於在複數個分割影像DI中，對分割影像DI中的其他通道包含表示缺陷的第二像素值P2之分割影像DI賦予不良標籤的處理。又，步驟25（否定判定）及S27之處理，相當於對分割影像DI中的其他通道不包含第二像素值P2之分割影像DI賦予良品標籤之處理。故，步驟S25～S27之處理相當於「標籤賦予步驟」之一例。
步驟S28中，電腦32將分割影像DI作為RGB影像保存於記憶體43。此時，若分割影像DI附有α通道，則電腦32自附標籤之分割影像DI去除α通道DIα，將由附標籤之RGB影像組成的附標籤之分割影像資料DIm作為監督資料，保存於記憶體43。又，若分割影像DI沒有α通道，則電腦32直接作為由附標籤之RGB影像組成的附標籤之分割影像資料DIm保存於記憶體43。再者，本實施方式中，該步驟S28之處理相當於自分割影像DI去除其他通道之「通道去除步驟」之一例。
步驟29中，電腦32判斷是否已處理所有的分割影像DI。若存在未處理之分割影像DI，則返回步驟S23，針對下一個分割影像DI，進行步驟S23～S28之處理，對下一個分割影像ID設定標籤。然後，若針對所有的分割影像DI，進行步驟S23～S28之處理，完成對所有的分割影像DI設定標籤（於S29為肯定判定），則進入步驟S30。
步驟S30中，電腦32判斷是否已處理所有的影像Im。若存在未處理的影像Im，則返回步驟S21，針對下一個影像Im，進行步驟S21～S29之處理，對分割下一個影像Im而得之所有分割影像DI設定標籤。然後，若針對所有影像Im，進行步驟S21～S29之處理，完成對作為所有影像Im之分割與經分割之所有分割影像DI設定標籤（於S30為肯定判定），則完成該分割影像製作常式。如此，作為監督資料之附標籤之分割影像資料DIm全部被製作且儲存於記憶體43。例如若於資料夾F1～F3存在合計100張影像資料Im，則於M×N＝48之情形時，各影像Im被分割為48個，作為監督資料而製作4800張附標籤之分割影像資料DIm。
之後，學習部64將附標籤之分割影像DIm作為監督資料而進行監督式學習。學習部64將附標籤之分割影像資料DIm中標籤以外的RGB影像，如圖10（c）所示轉換成由像素值之陣列組成的陣列資料。然後，學習部64將陣列資料正規化，將該正規化陣列資料如圖11所示，輸入學習完成前之鑑別器66的輸入層81。正規化陣列資料被輸入至輸入層81之各感知器x1～xn。
對於鑑別器66之輸入層81，例如依序輸入4800張監督資料DIm的RGB影像之正規化陣列資料。鑑別器66基於輸入至輸入層81之正規化陣列資料，經由包含輸入層81、2～150層之中間層82以及輸出層83之類神經網路進行學習處理。學習處理中，進行使輸出值與正確標籤之誤差反向傳播至各層，調整各層之份量以接近正確值的誤差反向傳播法等，決定份量W1、W2等之最合適的參數。
將附有標籤之監督資料DIm用於分割影像Im而得之分割影像DI，藉此，對於學習後獲得之鑑別器66，可期待高正確率。又，未獲得所欲之正確率之情形時，操作者變更分割數而重新製作監督資料DIm。此情形時，於NG影像ImD殘留有於最初附加之alpha通道Imα及賦予於缺陷區域DA之第二像素值P2。因此，即使分割影像製作部62以操作者再指定之分割數將影像Im進行再分割， 標籤設定部63也能夠根據經再分割之分割影像DI的alpha通道DIα之第二像素值P2的有無，對分割影像DI設定標籤。因此，操作者只要對影像Imd進行一次指定缺陷區域DA之作業即足夠，再分割時不需要此種作業。因此，能夠以較輕的負擔完成對於將影像Im分割而得之各個分割影像DI設定標籤而製作的監督資料DIm之製作，可如此程度地抑制學習成本為低。再者，以100張之影像Im中NG影像Imd為數張之例進行了說明，但為了實際獲得所欲之正確率，對於鑑別器66之學習所必要的影像Im之張數變多，一次完成於NG影像Imd指定缺陷區域DA之作業，會大幅減輕製作負擔。
檢查方法具備鑑別器生成步驟、分割影像取得步驟與判定步驟。鑑別器生成步驟中，學習部64將被賦予了標籤的附標籤之分割影像DIm作為監督資料，進行監督式之機器學習而生成鑑別器66。分割影像取得步驟中，影像分割部68以與製作用於鑑別器66之生成的監督資料DIm時之分割影像DI的分割數相同的分割數，將拍攝了物品12的影像Im進行分割而取得複數個分割影像DI。判定步驟中，判定部69基於將分割影像DI輸入鑑別器66而作為鑑別結果自鑑別器66輸出的輸出值，判定物品12有無缺陷。尤其，判定部69判定物品12為良品或不良品，被判定為不良品之物品12會藉由排出裝置23自運送機21上被排除，該排出裝置23是藉由電腦32之指示經由不良排出處理部37而驅動。再者，藉由檢查將物品12判定為不良品之情形時，於顯示部35顯示作為不良品之主旨、以及根據鑑別器的鑑別結果之缺陷的類別。
如以上所詳細敘述，根據該實施方式，可獲得以下之效果。
（1）本實施方式的附標籤之影像資料的製作方法，其製作附標籤之分割影像資料DIm，為了生成被使用於檢查所拍攝之影像Im中的檢查對象有無缺陷Dg之檢查的鑑別器66，該附標籤之影像資料被用作使學習完成前之鑑別器66進行監督式機器學習之監督資料。該附標籤之影像資料的製作方法具備：通道附加步驟（步驟S13）、像素值賦予步驟（步驟S14）、分割步驟（步驟S22）、標籤賦予步驟（步驟S25～S27）與通道去除步驟（步驟S28）。通道附加步驟（S13）中，對於拍攝了檢查對象之影像Im，除了構成該影像Im的複數個顏色表現通道ImR、ImG、ImB以外，附加其他通道作為alpha通道Imα。像素值賦予步驟（S14）中，對於對應alpha通道Imα中的影像Im中之缺陷區域DA的區域Dα，賦予第二像素值P2作為表示缺陷的像素值，該第二像素值P2與被賦予於沒有缺陷的其他區域之第一像素值P1不同。分割步驟（S22）中，將包含alpha通道Imα的影像分割ImD為複數個分割影像DI。標籤賦予步驟（S25～S27）中，於複數個分割影像DI中，對分割影像DI中的alpha通道DIα包含第二像素值P2之分割影像DI賦予不良標籤（「NG1」或「NG2」之標籤），對分割影像DI中的alpha通道DIα不包含第二像素值P2之分割影像DI賦予良好標籤（「OK」之標籤）。通道去除步驟（S28）中，自分割影像DI去除alpha通道DIα而製作附標籤之分割影像資料DIm。由此，即使將所拍攝的影像Im分割製作作為監督資料的附標籤之分割影像資料DIm，也能夠減輕作業負擔而將學習成本抑制為低。例如，變更影像Im的分割數而重新製作附標籤之分割影像資料DIm之情形時，操作者也不需要於每次變更分割數時重新進行指定影像Im的缺陷區域DA之作業，可減輕作業負擔，將學習成本抑制為低。又，由於將影像Im分割而製作附標籤之分割影像資料DIm，故與未分割之情形相比，可提高精確度。然後，由於使用精確度高的附標籤之分割影像資料DIm進行監督式學習，故可生成正確率高的鑑別器66。因此，藉由使用了正確率高的鑑別器66之深度學習，能夠以高精度檢查物品12有無缺陷。
（2）分割步驟（S22）中，將附加了alpha通道Imα的影像ImD分割為彼此相鄰之分割影像DI一部分重複之複數個分割影像DI。因此，即使缺陷DG跨越複數個分割影像DI，也可降低缺陷DG被分割的頻率。因此，使用附標籤之分割影像DIm進行學習時容易獲得高正確率。
（3）作為其他通道，使用alpha通道Imα。因此，藉由利用設定影像之不透明度的alpha通道Imα，可以不對攝影機31所拍攝的影像Im之顏色表現通道造成影響，而相對容易地對與缺陷區域DA對應之區域Dα賦予表示缺陷的第二像素值P2。
（4）於將測試資料輸入以附標籤之分割影像資料DIm作為監督資料進行監督式機器學習而生成的鑑別器66時的輸出無法獲得已定值以上的正確率之情形時，變更分割步驟（S22）中之分割數。由此，於無法獲得已定值以上之正確率，而變更分割步驟（S22）中之分割數重新製作附標籤之分割影像資料DIm之情形時，已對影像附與有alpha通道Imα及表示缺陷的第二像素值P2。由此，於變更分割數而重新製作附標籤之分割影像資料DIm時，操作者不須為了於alpha通道Imα指定賦予第二像素值P2之區域Dα，進行操作輸入裝置34並指定缺陷區域DA之作業。
（5）檢查方法具備：鑑別器生成步驟、分割影像取得步驟與判定步驟。鑑別器生成步驟中，以被附予標籤的附標籤之分割影像資料DIm作為監督資料，進行監督式機器學習而生成鑑別器66。分割影像取得步驟中，以與製作被用於鑑別器66之生成的監督資料時之分割影像DI的分割數相同的分割數，分割拍攝了檢查對象之影像Im而取得複數個分割影像DI。判定步驟中，根據輸出值對判定物品12之良好／不良，該輸出值是將分割影像DI輸入鑑別器66而自鑑別器66作為鑑別結果被輸出。由此，由於減少為了使學習完成前之鑑別器66進行監督式學習，作為監督資料而被給予的附標籤之分割影像資料DIm的製作負擔，故能夠以低學習成本檢查物品12的良好／不良。
（6）機器學習為深度學習。由此，能夠藉由深度學習，以低學習成本且精度良好地檢查物品12的良好／不良。
（7）程式Pr為電腦32為了製作附標籤之分割影像資料DIm所執行，為了生成被使用於檢查所拍攝之影像Im中的物品12有無缺陷之檢查的鑑別器66，該附標籤之分割影像資料Im被用作使學習完成前之鑑別器66進行監督式機器學習之監督資料。電腦32依序執行被包含於程式Pr之通道附加步驟（S13）、像素值賦予步驟（S14）、分割步驟（S22）、標籤賦予步驟（S25～S27）及通道去除步驟（S28）。通道附加步驟（S13）中，電腦32對於拍攝了檢查對象之影像Im，除了構成該影像Im的複數個顏色表現通道以外，附加alpha通道Imα作為其他通道。像素值賦予步驟（S14）中，電腦32對於對應alpha通道Imα中的影像中之缺陷區域DA的區域Dα，賦予第二像素值P2作為表示缺陷的像素值，該第二像素值P2與被賦予於沒有缺陷的其他區域之第一像素值P1不同。分割步驟（S22）中，電腦32將包含alpha通道Imα的影像ImD分割為複數個分割影像DI。標籤賦予步驟（S25～S27）中，電腦32於複數個分割影像DI中，對分割影像中的alpha通道Imα包含第二像素值P2之分割影像DI賦予不良標籤（「NG1」或「NG2」之標籤），對分割影像DI中的alpha通道Imα不包含第二像素值P2之分割影像DI賦予良好標籤。通道去除步驟（S28）中，電腦32自分割影像DI去除alpha通道Imα而製作附標籤之影像資料DIm。
藉由於電腦32執行該程式Pr，即使將所拍攝的影像Im進行分割而製作作為監督資料並用於監督式機器學習的附標籤之分割影像資料DIm，也可減輕製作負擔並抑制學習成本為低。例如，變更影像Im之分割數而重新製作附標籤之分割影像資料DIm之情形時，亦可減低操作者每次變更分割數時重新指定影像Im之缺陷區域DA的作業之作業負擔，抑制學習成本為低。
（8）作為附標籤之影像資料的製作裝置之一例的監督資料製作部52，其製作附標籤之分割影像資料DIm，為了生成被使用於檢查所拍攝之影像中的檢查對象有無缺陷之檢查的鑑別器66，該附標籤之分割影像資料DIm被用作使學習完成前之鑑別器66進行監督式機器學習之監督資料。監督資料製作部52具備：通道附加部61A、像素值賦予部61B、分割影像製作部62及標籤設定部63。通道附加部61A對於拍攝了檢查對象之影像Im，除了alpha通道Imα作為構成該影像Im的一個或複數個通道以外，附加其他通道。像素值賦予部61B對於對應alpha通道Imα中的影像Im中之缺陷區域DA的區域Dα，賦予第二像素值P2作為表示缺陷的像素值，該第二像素值P2與被賦予於沒有缺陷的其他區域之第一像素值P1不同。分割影像製作部62將包含alpha通道Imα的影像Im分割為複數個分割影像DI。標籤設定部63於複數個分割影像DI中，對分割影像DI中的alpha通道DIα包含第二像素值P2之分割影像DI賦予不良標籤（「NG1」或「NG2」標籤），對分割影像DI中的alpha通道DIα不包含第二像素值P2之分割影像DI賦予良好標籤（「OK」標籤）。進而，自賦予標籤後之分割影像DI去除alpha通道DIα而製作附標籤之分割影像資料DIm。由此，該監督資料製作部52即使將所拍攝的影像Im進行分割而製作作為監督資料並用於監督式機器學習的附標籤之分割影像資料DIm，只要於原影像之階段進行一次指定缺陷區域DA的作業，則可對經分割之各個分割影像DI賦予合適的標籤。例如，學習之結果，鑑別器66無法獲得所欲之正確率的情形時，變更影像Im的分割數而重新製作附標籤之分割影像資料DIm。此情形時，由於對影像Im之alpha通道Imα之附加與對對應於缺陷區域DA的區域Dα之第二像素值P2的賦予已經結束，故操作者只要指定變更的分割數，開始利用電腦32進行的影像ImD之分割處理即可。也就是說，操作者不需於每次變更分割數時重新進行指定影像Im的缺陷區域DA之作業。由此，可減輕附標籤之分割影像資料DIm的製作負擔，將學習成本抑制為低。
（9）檢查裝置30基於拍攝了檢查對象之物品12的影像Im，檢查物品12有無缺陷。檢查裝置30具備監督資料製作部52、鑑別器66、影像分割部68及判定部69。鑑別器66為將監督資料製作部52所製作之附標籤之分割影像資料DIm作為監督資料進行監督式機器學習而生成。影像分割部68以與製作用於鑑別器66之生成的附標籤之分割影像資料DIm時之分割影像DI的分割數相同的分割數，將拍攝了檢查對象之物品12的影像Im進行分割而取得複數個分割影像DI。鑑別器66輸入影像分割部68所取得之分割影像DI，輸出辨識結果。判定部69基於來自鑑別器66之辨識結果判定物品12之良好／不良。根據該檢查裝置30，可減輕使學習完成前之鑑別器66進行學習的附標籤之分割影像DIm的製作負擔，因此能夠以低學習成本檢查物品12的良好／不良。
（第二實施方式） 接著針對第二實施方式，參照圖式進行說明。第二實施方式中與前述第一實施方式不同的點在於，也對alpha通道賦予標籤的種類之資訊。關於與前述第一實施方式相同的構成省略說明，僅特別針對不同之構成進行說明。
如圖14所示，缺陷位置登錄部61之處理內容與前述第一實施方式一部分不同。缺陷位置登錄部61將示於圖14（a）、（b）之左側的顯示內容顯示於顯示部35。於顯示屬於資料夾名為「NG1」的不良品資料夾F2的NG影像之情形時，於顯示部35顯示指定不良品之種類的輸入部71、72。圖14（a）所示之例中，輸入部71指定「NG1」之類別，輸入部72指定「NG2」之類別。操作者操作滑鼠或電子筆等點選裝置，於沿著缺陷Ds的輪廓描繪包圍線EL並指定缺陷區域DA後，以滑鼠等選擇對應該缺陷Ds的類別之輸入部71。若如此，則通道附加部61A對圖14（a）之右側所示的NG影像Im2附加alpha通道Imα。又，像素值賦予部61B對於所附加的alpha通道Imα之對應影像Im中之缺陷區域DA的區域Dα1，根據藉由輸入部71所選擇的缺陷之類別賦予第二像素值P21。
又，圖14（b）所示之例中，操作者操作滑鼠或電子筆等點選裝置，於沿著缺陷Dl的輪廓描繪包圍線EL並輸入指定缺陷區域DA之後，以滑鼠等選擇對應該缺陷Dl的類別之輸入部72。若如此，則缺陷位置登錄部61對圖14（b）之右側所示的NG影像Im3附加alpha通道Imα，並且對於所附加的alpha通道Imα之對應影像Im中之缺陷區域DA的區域Dα2，根據藉由輸入部72所選擇的缺陷之類別賦予第二像素值P22。再者，圖14所示之例中，依據缺陷的大小將缺陷的類別進行了分類，但亦可依據缺陷的種類進行分類。
接著，參照圖15，說明第二實施方式之檢查裝置30的作用。缺陷位置登錄部61之處理如圖14所示，於alpha通道Imα中，對於對應缺陷區域DA之區域Dα1或Dα2，設定對應缺陷之類別的值之第二像素值P21或P22。電腦32藉由執行圖15所示之分割影像製作常式，作為分割影像製作部62發揮功能。以下，針對電腦32所執行的分割影像製作處理進行說明。
圖15中，步驟S23～S27為與前述第一實施方式相同的處理，步驟S31之處理與前述第一實施方式不同。又，圖15中省略之圖13的步驟S21、S22、S28～S30的處理與第一實施方式相同。電腦32顯示自資料夾F1～F3讀取之第一個影像（S21）。操作者於顯示在顯示部35之設定畫面的分割數輸入欄預先輸入所欲之分割數M×N。電腦32將影像分割為M×N個分割影像（S22）。
圖15所示之步驟S23中，電腦32判斷分割影像DI是否為OK影像以外者。若分割影像DI為OK影像以外者，則電腦32進入步驟S24，若分割影像DI並非OK影像以外者即為OK影像，則電腦32進入步驟S26。步驟S26中，電腦32於分割影像DI的標籤設定原影像所屬的資料夾之名稱「OK」。
步驟S24中，電腦32判斷分割影像DI是否附有α通道。若分割影像DI附有α通道則電腦32進入步驟S25，若未附有α通道則電腦32進入步驟S26。對於為OK影像以外者且未附有α通道之分割影像DI，於其標籤設定其原影像所屬之資料夾的名稱「NG1」或「NG2」。
步驟S25中，電腦32判斷於分割影像DI是否存在缺陷區域DA。於分割影像DI之α通道DIα若存在表示缺陷之第二像素值P2之像素，則電腦32判斷為存在缺陷區域DA，若不存在表示缺陷之第二像素值P2之像素，則電腦32判斷為不存在缺陷區域DA。若於分割影像DI存在缺陷區域DA則進入步驟S31，若於分割影像DI不存在缺陷區域DA則進入步驟S27。
步驟S31中，電腦32設定對應alpha通道DIα之缺陷區域Dα的第二像素值P2之標籤。即，若alpha通道Imα之缺陷區域Dα的第二像素值P2為表示第一缺陷Ds的第二像素值P21，則電腦32設定對應第二像素值P21之標籤「NG1」。又，若alpha通道Imα之缺陷區域Dα的第二像素值P2為表示第二缺陷DI的第二像素值P22，則電腦32設定對應第二像素值P22之標籤「NG2」。
步驟S27中，電腦32對分割影像DI之標籤設定「OK」。即，即使為OK影像以外者（即NG影像）且附有α通道，對於沒有缺陷區域DA之分割影像DI，對其標籤設定「OK」。
於將影像Im分割而得之分割影像DI藉由標籤被分為複數種的缺陷存在之情形時，對分割影像DI設定對應缺陷之類別的合適的標籤。因此，對於學習後之鑑別器66，可期待高正確率。又，無法獲得所欲之正確率的情形時，即使操作者變更分割數，由於殘留有賦予於最初附加之α通道Imα及缺陷區域Dα1、Dα2的第二像素值P21、P22，因此即使以不同之分割數將影像進行再分割，也能夠對經再分割之分割影像DI自動地設定對應α通道DIα之第二像素值P21、P22之有無及第二像素值P21、P22之值的標籤。因此，操作者只要對影像Im進行一次輸入指定缺陷區域DA的作業即可，於再分割時不需該作業。由此，將影像Im分割並對各個分割影像DI設定標籤而製作附標籤之分割影像資料DIm的情形時，能夠較輕地完成製作負擔，且如此程度地抑制學習成本為低。
根據第二實施方式，除了與前述第一實施方式相同的效果以外，還可獲得以下之效果。
（10）缺陷D有複數種類別。像素值賦予步驟（S14）中，於對alpha通道Imα賦予第二像素值P2之情形時，賦予對應缺陷D的類別之不同值的第二像素值P21、P22。標籤賦予步驟（S25～S27）中，對包含第二像素值P2之分割影像DI賦予對應第二像素值P21、P22之值的不同之不良標籤（「NG1」或「NG2」標籤）。因此，可製作賦予對應缺陷D之類別的不同之不良標籤的附標籤之分割影像資料DIm。
實施方式不限於上述，也可變更為以下之態樣。
作為其他通道之一例的輔助通道之alpha通道的色調值不限於256色調，可為64色調、32色調、16色調、8色調、4色調、2色調。例如，對用於缺陷的類別之第二像素值，可設定組合了缺陷之類別以外的資訊之值。
組合缺陷Dg的尺寸與種類，即使是屬於相同尺寸範圍之缺陷，若缺陷的種類不同，也可設定彼此不同的第二像素值。根據該構成，於包含缺陷之影像的情形時，可辨識組合缺陷的尺寸與缺陷的種類而決定之缺陷的類別。
影像不限於如RGB影像般之彩色影像，也可為灰階影像。也就是說，攝影機31拍攝而得之影像的通道亦可為單一通道。此情形時，缺陷位置登錄部61對灰階影像附加alpha通道作為其他通道，於對應所附加之alpha通道中相當於缺陷區域之區域，設定與被賦予於沒有缺陷的區域之第一像素值不同的第二像素值。
可應用於混有給予正確標籤之影像與未給予之影像的半監督式學習。
檢查對象之物品12的形狀、尺寸及品項並無特別限定。物品12例如可為寶特瓶、瓶子等容器、食品、飲料、電子零件、電氣化製品、日常用品、零件、構件、粉粒體或液狀等之原料等。物品12只要為能夠自外觀檢查缺陷者即可。其中，檢查裝置30所進行之物品12的檢查不限於物品12之外觀檢查，例如也可使用照射高音波或X光而拍攝之影像，以非破壞性之方式檢查物品12的內部。
檢查對象不限於物品12，也可將建築物之照片、航空攝影之地形照片、天空的照片、天文照片、顯微鏡照片等作為檢查對象。可將該等照片分割而製成附標籤之分割影像資料。
附標籤之影像資料的製作裝置可作為與檢查裝置30不同之裝置而構成。
監督式或半監督式之機器學習不限定於深度學習。例如可應用於中間層為一層類神經網路或支援向量機（SVM）等之機器學習。
可使用搭載了GPU（Graphics Processing Unit）之電腦32。此情形時，包含鑑別器66之深度學習部53較佳安裝於GPU。此情形時，鑑別器資料CD被儲存於GPU記憶體。又，可構成將使學習完成前之鑑別器66進行學習的學習功能與進行檢查的檢查功能分開的裝置。即，可分為具有使學習完成前之鑑別器66學習之學習功能的附標籤影像資料製作裝置、與使用由附標籤之影像資料製作裝置驅使學習的鑑別器66之檢查物品的檢查裝置。此情形時，附標籤之影像資料製作裝置具備GPU，GPU具備深度學習部53。再者，為了進行追加學習，檢查裝置較佳具備附標籤之影像資料製作裝置。此情形時，由於進行追加學習時的處理負擔小，故設為檢查裝置不具備GPU，而CPU具備深度學習部53之構成即可。
11:檢查系統 12:作為檢查對象之一例的物品 20:運送裝置 21:運送機 23:排出裝置 30:檢查裝置 31:攝影機 32:電腦 33:可程式邏輯控制器 34:輸入部 35:顯示部 36:攝影機觸發處理部 37:不良排出處理部 41:CPU 42:記憶體 43:輔助記憶體 51:控制部 52:作為附標籤之影像資料製作裝置的一例之監督資料製作部 53:深度學習部 54:檢查處理部 61:缺陷位置登錄部 61A:通道附加部 61B:像素值賦予部 62:做為分割部之一例的分割影像製作部 63:作為標籤賦予部之一例的標籤設定部 64:學習部 65:推論部 66:鑑別器 67:影像取得部 68:作為分割影像取得部之一例的影像分割部 69:判定部 81:輸入層 82:中間層 83:輸出層 X:運送方向 C:控制器 Pr:程式 IG:影像資料群 TrD:學習用資料群 Im:影像資料（影像） Imd:不良品之影像（NG影像） Imα:作為其他通道之一例的alpha通道 ImD:不良品之影像（NG影像） D、Ds、Dl:缺陷 Dg:缺陷 DA:缺陷區域 Dα、Dα1、Dα2:區域（缺陷區域） P1:第一像素值 P2:第二像素值 P21:第二像素值 P22:第二像素值 DI:分割影像（分割影像資料） DIα:alpha通道 ΔL:重複量 TsD:測試用資料群 DIm:附標籤之影像資料及測試資料之一例且作為監督資料的附標籤之分割影像資料
圖1為表示具備第一實施方式之機器學習功能的檢查裝置之示意性側視圖。 圖2為表示檢查裝置之拍攝檢查對象的物品之部分的示意性俯視圖。 圖3為表示複數種資料夾與資料夾內的影像之一例的示意圖。 圖4為表示具備機器學習功能的檢查裝置之電性構成的方塊圖。 圖5（a）為表示所拍攝的影像之示意圖。 圖5（b）為表示所拍攝的影像之通道結構的示意圖。 圖6（a）為表示影像中的缺陷之示意圖。 圖6（b）為說明缺陷區域的輸入指定方法之示意圖。 圖7為表示附加了alpha通道之影像的構成之示意圖。 圖8為說明影像的分割之示意圖。 圖9（a）、（b）為說明影像之分割的方法之示意圖。 圖10（a）為說明標籤設定之示意圖。 圖10（b）為表示作為監督資料的附標籤之分割影像資料之示意圖。 圖10（c）為說明陣列資料轉換之示意圖。 圖11為說明深度學習部中之鑑別器的監督式學習之示意圖。 圖12為表示缺陷位置登錄常式之流程圖。 圖13為表示製作作為監督資料之附標籤之分割影像的分割影像製作常式之流程圖。 圖14（a）、（b）為說明對第二實施方式中的alpha通道之缺陷區域賦予第二像素值的處理之示意圖。 圖15為表示製作作為監督資料之附標籤之分割影像資料的分割影像製作常式的主要部份之流程圖。
S21、S22、S23、S24、S25、S26、S27、S28、S29、S30:步驟

Claims (10)

  1. 一種附標籤之影像資料的製作方法，其製作附標籤之影像資料，為了生成被使用於檢查所拍攝之影像中的檢查對象有無缺陷之檢查的鑑別器，該附標籤之影像資料被用作使學習前之鑑別器進行監督式或半監督式機器學習之監督資料，該附標籤之影像資料的製作方法之特徵在於，具備： 通道附加步驟，對於拍攝了檢查對象之影像，除了構成該影像的一個或複數個通道以外，附加其他通道； 像素值賦予步驟，對於該其他通道中的與該影像中之缺陷區域對應的區域，賦予第二像素值作為表示缺陷的像素值，該第二像素值與被賦予於沒有缺陷的其他區域之第一像素值不同 ； 分割步驟，將包含該其他通道的影像分割為複數個分割影像； 標籤賦予步驟，於複數個該分割影像中，對該分割影像中的該其他通道包含該第二像素值之該分割影像賦予不良標籤，對該分割影像中的該其他通道不包含該第二像素值之該分割影像賦予良好標籤；與 通道去除步驟，自該分割影像去除該其他通道而製作附標籤之影像資料。
  2. 如請求項1記載的附標籤之影像資料的製作方法，其中，該缺陷有複數種類別， 該像素值賦予步驟中，對該其他通道賦予該第二像素值之情形時，賦予根據該缺陷的類別之不同值的第二像素值， 該標籤賦予步驟中，對包含該第二像素值之該分割影像，賦予根據該第二像素值的值之不同的不良標籤。
  3. 如請求項1或2記載的附標籤之影像資料的製作方法，其中，該分割步驟中，將附加了該其他通道的該影像分割為彼此相鄰之該分割影像一部分重複之複數個該分割影像。
  4. 如請求項1或2記載的附標籤之影像資料的製作方法，其中，該其他通道為alpha通道。
  5. 如請求項1或2記載的附標籤之影像資料的製作方法，其中，於將測試資料輸入以該附標籤之影像資料作為監督資料進行監督式或半監督式機器學習而生成的鑑別器時的輸出無法獲得已定值以上的正確率之情形時，變更該分割步驟中之分割數。
  6. 一種檢查方法，其特徵在於，具備： 鑑別器生成步驟，生成鑑別器，該鑑別器以藉由請求項1或請求項2的附標籤之影像資料的製作方法製作的該附標籤之影像資料作為監督資料而進行監督式或半監督式機器學習；與 判定步驟，根據輸出值對拍攝了檢查對象之影像判定該檢查對象之良好／不良，該輸出值是以與被用於該鑑別器之生成的該分割影像之分割數相同的分割數進行分割而取得複數個分割影像，且將該分割影像輸入該鑑別器而自該鑑別器作為鑑別結果被輸出。
  7. 如請求項6記載的檢查方法，其中，該機器學習為深度學習。
  8. 一種程式，為製作附標籤之影像資料的電腦所執行，為了生成被使用於檢查所拍攝之影像中的檢查對象有無缺陷之檢查的鑑別器，該附標籤之影像資料被用作使學習前之鑑別器進行監督式或半監督式機器學習之監督資料，該程式之特徵在於，具備： 通道附加步驟，電腦對於拍攝了檢查對象之影像，除了構成該影像的一個或複數個通道以外，附加其他通道； 像素值賦予步驟，電腦對於該其他通道中的與該影像中之缺陷區域對應的區域，賦予第二像素值作為表示缺陷的像素值，該第二像素值與被賦予於沒有缺陷的其他區域之第一像素值不同 ； 分割步驟，電腦將包含該其他通道的影像分割為複數個分割影像； 標籤賦予步驟，電腦於複數個該分割影像中，對該分割影像中的該其他通道包含該第二像素值之該分割影像賦予不良標籤，對該分割影像中的該其他通道不包含該第二像素值之該分割影像賦予良好標籤；與 通道去除步驟，電腦自該分割影像去除該其他通道而製作附標籤之影像資料。
  9. 一種附標籤之影像資料的製作裝置，其製作附標籤之影像資料，為了生成被使用於檢查所拍攝之影像中的檢查對象有無缺陷之檢查的鑑別器，該附標籤之影像資料被用作使學習前之鑑別器進行監督式或半監督式機器學習之監督資料，該附標籤之影像資料的製作裝置之特徵在於，具備： 通道附加部，對於拍攝了檢查對象之影像，除了構成該影像的一個或複數個通道以外，附加其他通道； 像素值賦予部，對於該其他通道中的與該影像中之缺陷區域對應的區域，賦予第二像素值作為表示缺陷的像素值，該第二像素值與被賦予於沒有缺陷的其他區域之第一像素值不同 ； 分割部，將包含該其他通道的影像分割為複數個分割影像；與 標籤賦予部，於複數個該分割影像中，對該分割影像中的該其他通道包含該第二像素值之該分割影像賦予不良標籤，對該分割影像中的該其他通道不包含該第二像素值之該分割影像賦予良好標籤，於賦予標籤後自該分割影像去除該其他通道而製作附標籤之影像資料。
  10. 一種檢查裝置，其特徵在於具備： 請求項9的附標籤之影像資料的製作裝置； 鑑別器，以該附標籤之影像資料的製作裝置所製作的該附標籤之影像資料作為監督資料進行監督式或半監督式機器學習而生成； 分割影像取得部，以與被用於該鑑別器之生成的該分割影像之分割數相同的分割數將拍攝了檢查對象之影像進行分割而取得複數個分割影像；與 判定部，根據將該分割影像取得部所取得之該分割影像輸入該鑑別器時之來自該鑑別器的輸出結果，判定該檢查對象之良好／不良。
TW108124976A 2018-07-20 2019-07-16 附標籤之影像資料的製作方法、檢查方法、程式、附標籤之影像資料的製作裝置及檢查裝置 TWI786316B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-137179 2018-07-20
JP2018137179A JP7129669B2 (ja) 2018-07-20 2018-07-20 ラベル付き画像データ作成方法、検査方法、プログラム、ラベル付き画像データ作成装置及び検査装置

Publications (2)

Publication Number Publication Date
TW202013315A TW202013315A (zh) 2020-04-01
TWI786316B true TWI786316B (zh) 2022-12-11

Family

ID=69164389

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108124976A TWI786316B (zh) 2018-07-20 2019-07-16 附標籤之影像資料的製作方法、檢查方法、程式、附標籤之影像資料的製作裝置及檢查裝置

Country Status (7)

Country Link
US (1) US11983863B2 (zh)
EP (1) EP3825957B1 (zh)
JP (1) JP7129669B2 (zh)
KR (1) KR20210034030A (zh)
CN (1) CN112424827A (zh)
TW (1) TWI786316B (zh)
WO (1) WO2020017427A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112304952B (zh) * 2019-07-23 2024-04-02 纬创资通股份有限公司 影像辨识装置、影像辨识方法及其计算机程序产品
CN112362679B (zh) * 2019-07-23 2024-06-04 纬创资通股份有限公司 影像辨识装置、影像辨识方法及其计算机程序产品
CN112308816B (zh) * 2019-07-23 2024-02-06 纬创资通股份有限公司 影像辨识装置、影像辨识方法及其存储介质
CN111415343B (zh) * 2020-03-18 2020-10-27 珠海市奥德维科技有限公司 一种基于人工智能的片式多层陶瓷电容六面外观检测方法
JP7257470B2 (ja) * 2021-09-01 2023-04-13 株式会社エフ・シー・シー 欠陥検査装置、欠陥検査方法および予測モデル生成方法
JP2023035618A (ja) * 2021-09-01 2023-03-13 ダイハツ工業株式会社 異常検知装置および異常検知方法
KR102390004B1 (ko) * 2021-09-16 2022-04-25 라이트브라더스 주식회사 스케일 변화량 분석 기반의 자전거 비파괴 검사 장치, 방법, 및 컴퓨터 판독 가능한 기록 매체
JP7036477B1 (ja) * 2021-10-18 2022-03-15 株式会社Anamorphosis Networks 欠陥検出方法、欠陥検出システム、及び、欠陥検出プログラム
WO2023146946A1 (en) * 2022-01-27 2023-08-03 Te Connectivity Solutions Gmbh Vision inspection system for defect detection
CN114758125B (zh) * 2022-03-31 2023-04-14 上海科致电气自动化股份有限公司 基于深度学习的齿轮表面缺陷检测方法与系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201728897A (zh) * 2015-11-17 2017-08-16 克萊譚克公司 單一影像偵測
CN107771336A (zh) * 2015-09-15 2018-03-06 谷歌有限责任公司 基于颜色分布的图像中的特征检测和掩模
JP2018081629A (ja) * 2016-11-18 2018-05-24 住友電気工業株式会社 判定装置、判定方法および判定プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010098743A (ja) * 2008-10-20 2010-04-30 Toshiba Corp 画像処理装置、画像読取装置、及び画像処理方法
JP2013125322A (ja) 2011-12-13 2013-06-24 Olympus Corp 学習装置、プログラム及び学習方法
JP6277818B2 (ja) * 2014-03-26 2018-02-14 日本電気株式会社 機械学習装置、機械学習方法、及びプログラム
JP5889426B1 (ja) * 2014-04-14 2016-03-22 株式会社東芝 ウェブ検査装置、ウェブ検査方法、ウェブ検査プログラム
CN107341499B (zh) * 2017-05-26 2021-01-05 昆明理工大学 一种基于无监督分割和elm的织物缺陷检测和分类方法
CN111080622B (zh) * 2019-12-13 2023-11-07 熵智科技(深圳)有限公司 神经网络训练方法、工件表面缺陷分类与检测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107771336A (zh) * 2015-09-15 2018-03-06 谷歌有限责任公司 基于颜色分布的图像中的特征检测和掩模
TW201728897A (zh) * 2015-11-17 2017-08-16 克萊譚克公司 單一影像偵測
JP2018081629A (ja) * 2016-11-18 2018-05-24 住友電気工業株式会社 判定装置、判定方法および判定プログラム

Also Published As

Publication number Publication date
WO2020017427A1 (ja) 2020-01-23
EP3825957A4 (en) 2022-05-04
US20210166374A1 (en) 2021-06-03
CN112424827A (zh) 2021-02-26
EP3825957A1 (en) 2021-05-26
US11983863B2 (en) 2024-05-14
JP2020013507A (ja) 2020-01-23
KR20210034030A (ko) 2021-03-29
EP3825957B1 (en) 2023-07-19
JP7129669B2 (ja) 2022-09-02
TW202013315A (zh) 2020-04-01

Similar Documents

Publication Publication Date Title
TWI786316B (zh) 附標籤之影像資料的製作方法、檢查方法、程式、附標籤之影像資料的製作裝置及檢查裝置
JP7004145B2 (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
JP7015001B2 (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
JP6869490B2 (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
CN107944504B (zh) 木板识别及木板识别的机器学习方法、装置及电子设备
Sacco et al. Automated fiber placement defects: Automated inspection and characterization
WO2020023762A1 (en) System and method for produce detection and classification
US11348349B2 (en) Training data increment method, electronic apparatus and computer-readable medium
KR102282087B1 (ko) 딥러닝 모델에 적용하기 위한 학습 데이터 확장방법, 딥러닝을 이용한 이미지 분류장치 및 그 방법
CN104103032A (zh) 图像处理装置、控制方法及程序
CA3166581A1 (en) Method and system for training inspection equipment for automatic defect classification
US20220414861A1 (en) Product inspection system and method
JP7248316B2 (ja) 豆腐類検査装置、豆腐類製造システム、豆腐類の検査方法、およびプログラム
JP6997964B2 (ja) 判別システム、判別装置、学習装置、判別方法及びプログラム
Hridoy et al. A framework for industrial inspection system using deep learning
CN116542962A (zh) 一种基于改进Yolov5m模型光伏电池缺陷检测方法
García et al. A configuration approach for convolutional neural networks used for defect detection on surfaces
Sahitya et al. Quality Analysis on Agricultural Produce Using CNN
Dighvijay et al. A Faster R-CNN implementation of presence inspection for parts on industrial produce
WO2023190044A1 (ja) 画像生成システム、画像生成方法及びプログラム
WO2023190045A1 (ja) 画像生成システム、画像生成方法及びプログラム
KR102621884B1 (ko) 상품불량 선별을 위한 딥러닝 기반의 이미지 분석 방법 및 이를 위한 시스템
Mawardi et al. Performance Analysis of ResNet50 and Inception-V3 Image Classification for Defect Detection in 3D Food Printing.
Jeon et al. GAN-based Defect Image Generation for Imbalanced Defect Classification of OLED panels.
JP7505256B2 (ja) 画像検査装置、画像検査方法及び学習済みモデル生成装置