TW202109028A - 自動判別處理裝置、自動判別處理方法、檢查系統、程式、及記錄媒體 - Google Patents

自動判別處理裝置、自動判別處理方法、檢查系統、程式、及記錄媒體 Download PDF

Info

Publication number
TW202109028A
TW202109028A TW109123957A TW109123957A TW202109028A TW 202109028 A TW202109028 A TW 202109028A TW 109123957 A TW109123957 A TW 109123957A TW 109123957 A TW109123957 A TW 109123957A TW 202109028 A TW202109028 A TW 202109028A
Authority
TW
Taiwan
Prior art keywords
aforementioned
image
discrimination
false detection
automatic
Prior art date
Application number
TW109123957A
Other languages
English (en)
Other versions
TWI842931B (zh
Inventor
金敏秀
Original Assignee
日商Ｊｅ國際股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商Ｊｅ國際股份有限公司 filed Critical 日商Ｊｅ國際股份有限公司
Publication of TW202109028A publication Critical patent/TW202109028A/zh
Application granted granted Critical
Publication of TWI842931B publication Critical patent/TWI842931B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/93—Detection standards; Calibrating baseline adjustment, drift correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

自動判別處理裝置具備圖像取得部、自動判別部與判別結果輸出部。誤檢測驗證裝置可讓不良候選圖像顯示於顯示裝置。誤檢測驗證裝置是透過輸入元件來取得針對前述不良候選圖像的2次檢查的判別結果之資訊。圖像取得部從用於在前述顯示裝置顯示的媒體讀取誤檢測驗證裝置所顯示之前述不良候選圖像。自動判別部會進行判別處理並輸出判別結果，前述判別處理是依據前述圖像取得部所讀取到的前述不良候選圖像的內容來進行。判別結果輸出部會生成因應於前述判別結果之訊號。該訊號和以下之情形等效之訊號：透過連接於前述誤檢測驗證裝置之輸入元件，來將前述誤檢測驗證裝置所顯示之畫面中包含的「不良」之按鈕或「良」之按鈕的任一個按鈕按下。

Description

自動判別處理裝置、自動判別處理方法、檢查系統、程式、及記錄媒體
本發明是有關於一種自動判別處理裝置、自動判別處理方法、檢查系統、程式、及記錄媒體。
本申請案是依據已於2019年7月18日於日本提出專利申請之特願2019-132725號而主張優先權，並在此援引其內容。
在樹脂製的薄膜上形成有銅箔之配線圖案的印刷基板等的檢查中，一般而言所使用的是使用了相機之光學式檢查。在光學式檢查中，以下之方法已廣泛地被使用：讓電腦進行將檢查對象物之拍攝圖像和參照圖像比較之圖像處理來檢測缺陷。然而，在上述之方法中，有誤將原本並非缺陷的部分辨識為缺陷的可能性。這樣的情形被稱為誤檢測(虛報)。從而，有作業人員必須再確認電腦所進行之圖像處理結果的問題。
在專利文獻1中記載有以下技術：為了減少上述之誤檢測，而對用於檢測缺陷之基準進行調整。具體而言，在專利文獻1之段落0006中記載有以下情形：提供「一種檢查方法，可以抑制虛報及漏看的至少其中一者的產生，而使缺陷的檢測精度提升」等。 先前技術文獻 專利文獻
專利文獻1：日本特許第6218094號公報
發明欲解決之課題
所期望的是進行成可以有效率地判別作為電腦所進行之圖像處理的結果而報告之缺陷是真的缺陷(實報)、或假的缺陷(虛報(誤檢測))。
在以往的技術中，誤檢測驗證裝置(或誤檢測驗證程式)是將具有作為電腦所進行之圖像處理的結果來報告之缺陷的圖像顯示於電腦的畫面上。又，作業人員(人)是目視確認顯示於畫面的圖像來判別為實報或虛報。並且，作業人員使用鍵盤或滑鼠等的輸入元件來將判別結果輸入誤檢測驗證裝置等。進行成可以削減像這樣的由作業員所進行的作業之作法，將涉及到檢查的效率化。
在檢查的效率化中，讓施加於以往之系統(誤檢測驗證裝置等)的改變儘量變少之作法，將涉及到對檢查設備之投資效率的提升。
本發明是根據上述的課題理解而進行的發明。本發明是設為如以下的發明：提供一種可以將目視來判別所顯示之圖像的作業效率化，並且以儘可能地讓對以往的設備的改變較少的方式來完成之自動判別處理裝置、自動判別處理方法、檢查系統、程式、及記錄媒體。 用以解決課題之手段
實施形態之自動判別處理裝置具備圖像取得部、自動判別部與判別結果輸出部。誤檢測驗證裝置將不良候選圖像顯示於顯示裝置，並且透過輸入元件來取得針對前述不良候選圖像的2次檢查的判別結果。圖像取得部從用於在前述顯示裝置顯示的媒體讀取前述誤檢測驗證裝置所顯示之前述不良候選圖像。自動判別部會進行判別處理並輸出判別結果，前述判別處理是依據前述圖像取得部所讀取到的前述不良候選圖像的內容來進行。判別結果輸出部會生成因應於前述判別結果之訊號。該訊號是和以下情形等效之訊號：透過連接於前述誤檢測驗證裝置之輸入元件，來將前述誤檢測驗證裝置所顯示之畫面中包含的「不良」之按鈕或「良」之按鈕的任一個按鈕按下。
前述自動判別部亦可保持有針對前述不良候選圖像與前述判別結果的關係已機械學習完畢的模型，並藉由將前述模型適用於前述圖像來進行前述判別處理。
前述誤檢測驗證裝置亦可為將前述不良候選圖像顯示輸出之裝置，前述不良候選圖像是藉由光學地讀取電子電路而被檢測出之圖像。前述自動判別部亦可依據前述不良候選圖像來進行判別前述電子電路為良或不良的任一者之處理，並輸出前述判別結果。
前述輸入元件亦可是滑鼠或鍵盤的至少其中一種。在前述輸入元件為滑鼠的情況下，前述判別結果輸出部會生成以下訊號：藉由產生滑鼠之事件，讓滑鼠游標移動到前述「不良」之按鈕或前述「良」之按鈕的任一個的區域內後讓滑鼠點擊。在前述輸入元件為鍵盤的情況下，前述判別結果輸出部會生成以下訊號：藉由產生鍵盤之事件，讓焦點移動到前述「不良」之按鈕或前述「良」之按鈕的任一個後決定之操作。
前述自動判別處理裝置亦可更具備情節(scenario)執行部。前述情節執行部是執行記述有處理程序的情節。前述情節是將前述情節執行部作為前述圖像取得部與前述判別結果輸出部來發揮功能之情節。
前述情節執行部亦可藉由執行前述情節來進一步完成前述誤檢測驗證裝置為了將前述圖像顯示於前述顯示裝置所需要的處理程序。
自動判別處理方法包含圖像取得過程、自動判別過程與判別結果輸出過程。誤檢測驗證裝置將不良候選圖像顯示於顯示裝置，並且透過輸入元件取得針對前述不良候選圖像的判別結果之資訊來作為2次檢查。在圖像取得過程中，是例如電腦從用於在前述顯示裝置顯示的媒體讀取前述誤檢測驗證裝置所顯示之前述不良候選圖像。在自動判別過程中，是例如電腦依據在前述圖像取得過程中所讀取到的前述不良候選圖像的內容來進行判別處理並輸出判別結果。在判別結果輸出過程中，是例如電腦生成因應於前述判別結果之訊號，且前述訊號和以下情形等效：透過連接於前述誤檢測驗證裝置之輸入元件，來將前述誤檢測驗證裝置所顯示之畫面中包含的「不良」之按鈕或「良」之按鈕的任一個按鈕按下。
程式是在電腦中執行上述自動判別處理方法之程式。可電腦讀取之記錄媒體是記錄有上述程式之記憶媒體。
檢查系統是構成為包含光學檢查裝置、誤檢測驗證裝置與自動判別處理裝置。前述光學檢查裝置是依據以光學方式所拍攝之圖像來檢測不良候選圖像而作為1次檢查。前述誤檢測驗證裝置是使前述光學檢查裝置所檢測出的前述不良候選圖像顯示於顯示裝置，並且透過輸入元件取得關於前述不良候選圖像的判別結果之資訊來作為2次檢查。前述自動判別處理裝置是作為解決機構而記載之上述的任一個自動判別處理裝置。 發明效果
根據本發明，可以讓外部裝置將關於顯示於顯示裝置之圖像的判別、與依據判別結果的應答自動化。
用以實施發明之形態
接著，說明本發明的實施形態。
[第1實施形態] 圖1是顯示第1實施形態之檢查系統的功能構成的方塊圖。
如圖示，檢查系統3包含自動判別處理裝置1、誤檢測驗證裝置2與光學檢查裝置9。自動判別處理裝置1包含情節編輯部12、情節記憶部13、情節執行部14與自動判別部15。檢查系統3包含圖像記憶體21與指示裝置22而作為用於輸入輸出之功能的一部分。這些各部分的功能是例如使用電子電路來實現。再者，亦可進行成以電腦或程式來實現這些各部分的至少一部分的功能。誤檢測驗證裝置2是從自動判別處理裝置1側觀看的情況下的「外部裝置」。包含於檢查系統3的功能的概要是如下所述。
檢查系統3是利用機器人流程自動化(RPA，Robotic process automation)方式來將以往為人所判斷的流程自動化而構成的系統。具體而言，檢查系統3讓以往是將人所進行之操作及判斷設為必要的誤檢測驗證裝置2設為可以在不透過人的情形下運作。作為用於該運作之方法，自動判別處理裝置1是擷取誤檢測驗證裝置2輸出到畫面的不良候選圖像。自動判別處理裝置1是使用人工智能的技術來自動地進行該不良候選圖像為良(good)或不良(no good)的判別(2次檢查)。自動判別處理裝置1是自動地將判別結果輸入到誤檢測驗證裝置2。
藉此，自動判別處理裝置1依據圖像而自動地進行判別處理。從而，在使用檢查系統3的情況下，不必將作為1次檢查的結果而從光學檢查裝置9輸出的不良候選圖像一個個以人眼方式來觀看並判定。自動判別處理裝置1是依據判別結果來自動地將模擬滑鼠或鍵盤等的訊號供給至誤檢測驗證裝置2。從而，毋須讓人使用滑鼠或鍵盤來輸入判別結果。又，藉由如此地構成自動判別處理裝置1，而毋須人的判斷或人的操作來進行2次檢查。
也就是說，自動判別處理裝置1是利用RPA的方式來如以下地動作。即自動判別處理裝置1會擷取藉由誤檢測驗證裝置2而顯示於顯示器之不良候選圖像的影像。又，自動判別處理裝置1是使用人工智能的技術，也就是使用學習處理完畢的機械學習模型來判別上述不良候選圖像。判別結果是良或不良(真正不良)。在判別結果為良的情況下，自動判別處理裝置1是進行成藉由自動地產生滑鼠或鍵盤之事件，來讓不良候選圖像實際上是顯示「良」之(誤檢測之)情形的訊號回傳到誤檢測驗證裝置2側。在判別結果為不良的情況下，自動判別處理裝置1是進行成藉由自動地產生滑鼠或鍵盤之事件，來讓不良候選圖像為真正顯示「不良」之(並非誤檢測之)情形的訊號回傳到誤檢測驗證裝置2側。如上述，自動判別處理裝置1與誤檢測驗證裝置2之間的介面是讓顯示裝置、滑鼠或鍵盤等中介之介面。也就是說，可以在不必改變既有的誤檢測驗證裝置2的情形下(例如不必修正其程式之情形下)實現2次檢查的自動化。
光學檢查裝置9在內部具有相機。光學檢查裝置9是使用其相機來拍攝電路基板等，並依據其圖像而檢測電路等的不良處的候選來作為1次檢查。光學檢查裝置9會針對包含所檢測出的不良處之檢查對象製品(電路基板等)來輸出其圖像(不良候選圖像、NG影像)。光學檢查裝置9是將不良候選圖像傳送至誤檢測驗證裝置2。再者，光學檢查裝置9所輸出之不良候選圖像可為灰階標度圖像，亦可為彩色圖像。又，光學檢查裝置9本身可以使用既有的技術來實現。
電路基板是例如在樹脂之板上形成有由金屬薄膜所形成之配線的基板。再者，電路基板上，將存在由金屬所形成之配線的區域稱為配線區域，並將其他的區域(不存在由金屬所形成之配線的區域)稱為空間區域。在那樣的電路基板中的不良的例子中，有如以下的例子。第1，有以下不良：應連接著的1個配線區域被空間區域隔開成2個或其以上的配線區域，並將此不良稱為「斷開」。第2，有以下不良：應被空間區域隔開的2個配線區域成為互相電連接狀態，並將此不良稱為「短路」。第3，有以下不良：與線狀之配線區域的長邊方向正交之方向的寬度缺損到預定的容許範圍以上，並將此不良稱為「缺損」。第4，有以下不良：與線狀之配線區域的長邊方向正交之方向的寬度擴大到預定的容許範圍以上，並將此不良稱為「突起」。第5，有以下不良：在本來應為空間區域之區域的一部分以呈島狀的方式存在有配線，並將此不良稱為「島狀物」。第6，有以下不良，在本來作為應為配線區域的區域而擴大之處的一部分存在有針孔狀的空間，並將此不良稱為「針孔」。再者，也可能有在此所列舉之種類以外的不良。有包含這些不良中的任一種的可能性的電路基板是作為1次檢查而被光學檢查裝置9挑選出來。
誤檢測驗證裝置2是用於判定(2次檢查)從光學檢查裝置9輸出之不良候選圖像是真正拍攝了不良製品的圖像(實報)、或拍攝了並非不良之製品的圖像(虛報、誤檢測)之裝置。為了此判定，本來，誤檢測驗證裝置2是進行用於使上述之不良候選圖像顯示於電腦的顯示裝置之處理。又，本來的誤檢測驗證裝置2是從輸入元件(例如鍵盤或滑鼠等)取得觀看顯示於顯示裝置之不良候選圖像的人(作業人員)的判定結果。並且，誤檢測驗證裝置2是依據所輸入的判定結果(良或不良)來進行區別原本之製品的處理。誤檢測驗證裝置2本身可使用既有的技術來實現。
在本實施形態中，自動判別處理裝置1是自動地進行判定(2次檢查)來取代上述之作業人員。為此，自動判別處理裝置1會從圖像記憶體21取得誤檢測驗證裝置2顯示於顯示裝置之不良候選圖像(判定對象圖像)。自動判別處理裝置1是自動地對所取得之圖像進行良或不良的判別，並輸出判別結果。又，自動判別處理裝置1是將本來和作業員所進行之自輸入元件(鍵盤或滑鼠等)的輸入為等效之訊號(因應於上述之判別結果的訊號)經由指示裝置22來傳送至誤檢測驗證裝置2。
圖像記憶體21是至少暫時地保持誤檢測驗證裝置2顯示於顯示裝置的圖像之記憶體。圖像記憶體21是使用例如半導體記憶體(可讀寫的RAM(隨機存取記憶體)等)來實現。圖像記憶體21是通常受到電腦之顯示裝置的驅動器所管理之記憶體。在本實施形態中，自動判別處理裝置1構成為可以對圖像記憶體21存取，來取得圖像記憶體21所保持之圖像。
指示裝置22是具有以下功能之裝置：依據來自例如滑鼠或鍵盤等的輸入元件的訊號，來將對應於該訊號內容的資訊傳送至誤檢測驗證裝置2側。指示裝置22通常是作為滑鼠或鍵盤等的輸入元件的驅動器來實現。在本實施形態中，自動判別處理裝置1是構成為以虛擬的方式操作滑鼠或鍵盤，並將對應於該等操作的訊號供給至指示裝置22。
再者，在此，作為例子而說明了使用鍵盤或滑鼠來進行指示的情況，但亦可以進行成可使用其他的元件來進行對誤檢測驗證裝置2之資訊的輸入。例如，亦可進行成除了鍵盤或滑鼠以外，還使用觸控面板、觸控筆、語音、或光學型樣(條碼或二維碼)讀取器等。在任一個情況下，都是指示裝置22依據來自自動判別處理裝置1的指示，來將和物理上之操作了輸入元件時同樣的訊號傳送至誤檢測驗證裝置2。
自動判別處理裝置1是如前述地，具有情節編輯部12、情節記憶部13、情節執行部14與自動判別部15。自動判別處理裝置1是藉由執行已記憶於情節記憶部13之情節來執行相當於2次檢查之處理。
情節編輯部12是編輯用於讓自動判別處理裝置1執行的情節之構件。情節是使用情節記述用的語言來記述。情節記述用的語言可為作為字串來表示的語言，亦可為組合圖形來表示之圖形性語言。情節編輯部12具有使用者介面。使用者可以通過該使用者介面(例如使用文字資料之編輯器功能等)來編輯情節。情節編輯部12會將編輯結果即情節寫入情節記憶部13。
情節記憶部13是事先記憶有情節之構件。情節是以文字資料的形式或二進制資料的形式被適當記憶。情節記憶部13可使用例如半導體記憶體或磁碟裝置等來實現。記憶於情節記憶部13的情節可由情節編輯部12或情節執行部14來參照。情節能夠藉由情節編輯部12來編輯。情節能夠藉由情節執行部14來執行。
情節執行部14是從情節記憶部13讀出情節，並執行該情節之構件。情節執行部14是以例如直譯器(interpreter)方式或編譯器(compiler)方式等之合宜的方式來執行情節。本實施形態中的情節執行部14可以從圖像記憶體21讀入圖像之資料，並將該圖像(判別對象圖像)傳送至自動判別部15來作為具體的處理。又，情節執行部14可以從自動判別部15接收判別結果，並將依據該判別結果的訊號傳送至指示裝置22。
自動判別部15是針對從情節執行部14接收到之圖像(有關於製品的判別對象圖像)來進行判別處理，並將該判別結果回傳到情節執行部14。作為具體例，自動判別部15是從情節執行部14接收製品之不良候選圖像來作為判別對象圖像。並且，自動判別部15判別包含於該圖像的製品為真的不良(實報)、或並非不良(虛報)。也就是說，自動判別部15會執行自動判別過程。
自動判別部15是例如使用機械學習之手法來進行上述的判別處理。也就是說，自動判別部15在內部已具有機械學習模型。作為機械學習模型之一例亦可使用類神經網路。此機械學習模型已事先學習完畢。也就是說，自動判別部15以附有正確的解釋的方式事先大量地準備正例(實報)的圖像與反例(虛報)的圖像來作為學習資料，而事先實施使用該學習資料的機械學習處理。從而，學習完畢之機械學習模型可以對輸入之未知的判別對象圖像進行正確的判別處理。
圖2是顯示使用電腦來實現檢查系統3的情況下之程式的構成的概略圖。如圖示，包含於檢查系統3之程式是構成為屬於以下之任一層：應用層(Application Layer)、事件處理層(Event Layer)、作業系統層(Operating System Layer)。作業系統141屬於作業系統層。顯示輸出部121、滑鼠事件處理部122與鍵盤事件處理部123屬於事件處理層。自動判別應用程式與誤檢測驗證應用程式102屬於應用層。這些程式任一個皆在具有CPU(中央處理裝置)或記憶體等的執行環境中執行。
作業系統141是如以下的系統：將電腦的資源(CPU時間、記憶體、輸入輸出機器等)之整體合宜地控制，並適當地分配給在電腦上運作的各個流程。作為作業系統141，可使用例如Windows(Windows作業系統)、Linux(Linux作業系統)、UNIX(UNIX作業系統)等(分別為註冊商標)。
自動判別應用程式101是具有以下功能之程式：依據所給予之製品(電子電路等)的圖像來判別其之良或不良。自動判別應用程式101具有對應於圖1中的自動判別處理裝置1的功能。自動判別應用程式101是實現所謂的RPA(機器人流程自動化，Robotic Process Automation)之程式。再者，自動判別應用程式101亦可稱為「RPA判斷應用程式，RPA Judgement Application」。
誤檢測驗證應用程式102是具有以下功能之程式：將作為1次檢查之結果而得到的製品(電子電路等)的不良候選圖像顯示於畫面，並接收其2次檢查結果(良或不良)之輸入。換言之，誤檢測驗證應用程式102具有以下功能：用於進行在光學檢查裝置9(圖1)所進行之1次檢查中判定為不良的圖像的再判定。誤檢測驗證應用程式102具有對應於圖1之誤檢測驗證裝置2之功能。再者，誤檢測驗證應用程式102亦可稱為「驗證應用程式，Verification Application」。
顯示輸出部121、滑鼠事件處理部122、或鍵盤事件處理部123是各自適當地處理電腦的輸入輸出之事件的構件。這些屬於事件處理層的程式是用於控制連接於電腦的各種輸入輸出元件之程式。
顯示輸出部121是將由程式所輸出的圖像轉換為可在顯示裝置中顯示的圖像訊號並輸出。再者，顯示輸出部121在內部持有圖1所示之圖像記憶體21並進行管理。也就是說，在本實施形態中，顯示輸出部121具有以下功能：將誤檢測驗證應用程式102欲顯示於顯示裝置之圖像設成可以讓自動判別應用程式101取得。
滑鼠事件處理部122會接收指向元件(pointing device)即滑鼠的訊號，並依據該訊號來生成滑鼠之事件，且傳送至程式。滑鼠之事件是指滑鼠游標的移動、滑鼠的按鈕(右鍵、左鍵等)的各種點擊(單擊、雙擊等)、或於存在有滑鼠滾輪的情況下是滑鼠滾輪的旋轉等。在本實施形態中，滑鼠事件處理部122從自動判別應用程式101接收用於代替來自滑鼠之訊號的指示，並依據該指示來生成滑鼠之事件，且因應於需要而經由作業系統141來將該事件傳送至誤檢測驗證應用程式102。
鍵盤事件處理部123是接收用於輸入文字等的元件即鍵盤之訊號，並依據該訊號來生成鍵盤之事件，且傳送至程式。鍵盤之事件是指對應於按下了特定之鍵盤的情形下之事件。在本實施形態中，鍵盤事件處理部123是從自動判別應用程式101接收用於代替來自鍵盤之訊號的指示，並依據該指示來生成鍵盤之事件，且因應於需要而經由作業系統141來將該事件傳送至誤檢測驗證應用程式102。
如上述，滑鼠事件處理部122或鍵盤事件處理部123可分別將如同人操作滑鼠或鍵盤的作用推及到誤檢測驗證應用程式102。在本實施形態中，滑鼠事件處理部122或鍵盤事件處理部123是因應於從自動判別應用程式101所輸出的判別結果來分別產生合宜的事件。再者，在此，雖然針對作為輸入元件的例子而使用滑鼠或鍵盤的情況進行了說明，但在使用其他的輸入元件(例如觸控面板、觸控筆、語音、或光學型樣(條碼或二維碼)讀取器，但並不限定於此)的情況下，是設為將用於處理各個元件的程式置於事件處理層。
在不良候選圖像為虛報(亦即誤檢測)的情況下，換言之，在對應於不良候選圖像之製品的狀態為「良」的情況下，是滑鼠事件處理部122或鍵盤事件處理部123等產生對應於該判定結果之事件(滑鼠操作或鍵盤操作)。藉此，可向誤檢測驗證裝置2側傳達不良候選圖像為虛報。另一方面，在不良候選圖像為實報(也就是表示真的不良)的情況下，換言之，在對應於不良候選圖像之製品的狀態為「不良」的情況下，是滑鼠事件處理部122或鍵盤事件處理部123等產生對應於該判定結果之事件(滑鼠操作或鍵盤操作)。藉此，可向誤檢測驗證裝置2側傳達不良候選圖像為實報。
圖3是顯示自動判別處理裝置1依據預定之情節的例子而動作時的處理程序的流程圖。以下，沿著此流程圖來說明動作程序。
首先，在步驟S1中，自動判別處理裝置1是判定結束條件為真或否。在結束條件為真的情況下(步驟S1：是)，即結束本流程圖整體的處理。在結束條件並非真的情況下(步驟S1：否)，前進至下一個步驟S2。再者，結束條件是指例如沒有下一個判定對象圖像之情形(圖像的結束，end of images)。可將下一個判定對象圖像的有無適當地通知情節執行部14。或者，亦可添加其他的結束條件(例如有來自操作人員的處理結束之指示)。
接著，在步驟S2中，情節執行部14執行到使判別對象圖像顯示為止的程序。此程序亦可包含有例如以下處理：對指示裝置22指示有關於滑鼠或者鍵盤等的操作之處理。藉由執行本步驟，誤檢測驗證裝置2會進行用於將判別對象圖像顯示於顯示裝置之處理。
接著，在步驟S3中，若檢測到判別對象圖像已顯示於顯示裝置之情形後，情節執行部14即擷取顯示裝置之畫面。具體而言，是情節執行部14從圖像記憶體21取得畫面整體的圖像之資料。再者，為了檢測判別對象圖像已顯示於顯示裝置之情形，是例如情節執行部14判定是否於畫面內之預定的區域顯示有特定之圖像。
接著，在步驟S4中，情節執行部14從在步驟S3中所擷取到之圖像提取判別對象圖像的區域。例如，在所擷取到之畫面上的判別對象圖像的區域之位置(例如長方形之區域的左上角及右下角的各個點的X座標及Y座標)為已知的情況下，情節執行部14是使用該座標值來剪下判別對象圖像。
接著，在步驟S5中，情節執行部14將在步驟S4中所提取出之判別對象圖像傳送至自動判別部15。自動判別部15會判別所傳送來的圖像(不良候選圖像)為實報(不良)或虛報(良)。
接著，在步驟S6中，情節執行部14從自動判別部15取得判別結果。判別結果為實報(不良)或虛報(良)中的任一個。
接著，在步驟S7中，情節執行部14進行因應於在步驟S6中所接收到的判別結果的預定之處理。具體而言，情節執行部14是將指示傳送至指示裝置22，以生成並輸出因應於判別結果之滑鼠事件訊息或鍵盤事件訊息。其結果，指示裝置22會執行和對誤檢測驗證裝置2進行因應於判別結果的動作之情形等效的處理。
指示裝置22的處理例是如以下。在判別結果為實報(不良)的情況下，作為一例，指示裝置22將使滑鼠游標移動至誤檢測驗證裝置2的畫面上的顯示有「實報(不良)」之按鈕的區域後點擊滑鼠之左鍵的訊息，發送至誤檢測驗證裝置2。在判別結果為虛報(良)的情況下，作為一例，指示裝置22將使滑鼠游標移動至誤檢測驗證裝置2的畫面上的顯示有「實報(不良)」之按鈕的區域後點擊滑鼠之左鍵的訊息，發送至誤檢測驗證裝置2。如上述，本實施形態中的按鈕包含顯示於顯示畫面之形態的按鈕。
圖4是顯示情節執行部14所執行之情節的一例的概要圖。同圖所示之情節是以預定的語言來記述。可將此情節例如藉由情節執行部14所具備之直譯器功能來逐次解釋並執行。或者，亦可將此情節藉由編譯器翻譯成其他形式之指令列並執行。此情節是對應於圖3所示之流程圖的處理程序。再者，在此情節中為了方便而附有列號。以下，沿著此情節進行說明。
情節的第1列是while節。其條件為「not end_of_images」。「end of images」是持有表示狀況之值的變數，且表示以下情形：判別對象的圖像已結束且不存在(結束條件)。又，「not」為否定的邏輯運算子。也就是說，表示以下情形：此while節是只要還留下有判別對象之圖像，即應執行以第1列之左波形括號(curly braces)(左中括弧)及第7列之右波形括號(右中括弧)所包圍之部分的情節。
情節之第2列到第6列是在上述while節的條件為真的狀態下依序執行之處理的序列。
第2列是顯示執行get_next_image_for_verification()函數之處理。此函數是對應於圖3中的步驟S2之處理。作為執行此函數的結果，誤檢測驗證裝置2是將判定對象即下一個圖像(不良候選圖像)顯示於畫面。藉此，可在圖像記憶體21的預定的區域儲存下一個不良候選圖像的資料。
第3列是顯示執行capture_screen()函數之處理。此函數是對應於圖3中的步驟S3之處理。藉由執行此函數，自動判別處理裝置1會擷取誤檢測驗證裝置2所顯示之畫面。換言之，自動判別處理裝置1是取得圖像記憶體21內的圖像之資料。
第4列是顯示執行extract_rectabgle_image_from_screen()函數之處理。此函數是對應圖3中的步驟S4之處理。也就是說，自動判別處理裝置1提取顯示畫面內的預定區域之圖像。在本例中，是將表示應提取之長方形的區域之座標值作為對此函數的實引數來傳送。作為一例，長方形的左上角之點的圖像為(x‚y)=(120‚200)，且該長方形的右下角之點的圖像為(x‚y)=(720‚600)。再者，是將以下情形設為前提：在被這些座標值所特定之長方形的區域顯示有判別對象即不良候選圖像。在此是將所提取出的圖像之資料帶入到用於儲存圖像資料之為二維陣列的變數image_for_verification。
第5列是顯示執行automated_verification()函數之處理。此函數是對應於圖3中的步驟S5到步驟S6之處理。作為此函數的引數而被傳送的是已儲存於上述之變數image_for_verification的判別對象圖像之資料。也就是說，自動判別處理裝置1是藉由執行此函數來進行針對判別對象圖像的判別處理，並取得判別結果。
具體而言，藉由執行此函數，情節執行部14將判別對象圖像傳送至自動判別部15，並將其結果即判別結果作為上述函數之傳回值來接收。可將automated_verification()函數之傳回值帶入變數result。result之值是表示「良」或「不良」的任一個之值。
第6列是顯示執行input_process()函數之處理。此函數是對應於圖3中的步驟S7之處理。作為此函數的引數而傳送的是上述之變數result之值。input_process()函數之處理是因應於作為引數而傳送之判別結果(良或不良)，來分別產生適當之滑鼠事件或鍵盤事件。藉由此虛擬的滑鼠操作或鍵盤操作，自動判別處理裝置1可以將判別結果之資訊正確地傳給誤檢測驗證裝置2。再者，亦可除了滑鼠操作或鍵盤操作以外，還使用由觸控面板、觸控筆、或語音所進行的輸入之方法。在由語音所進行的輸入的情況下，是裝置進行語音辨識處理。在由觸控面板、觸控筆、或語音所進行的輸入的情況下，input_process()函數之處理也是產生和上述滑鼠事件或鍵盤事件同樣的事件。
再者，只要第1列之while節的條件為真，即可重複從第2列到第6列為止之處理。這對應於圖4中的步驟S7之處理後返回到步驟S1之處理的作法。
圖5是顯示誤檢測驗證裝置2所顯示的畫面的例子的概要圖。如圖示，此畫面具有用於顯示判別對象圖像之長方形的區域。又，此畫面包含有用於選擇性地輸入「不良」或「良」中的任一個的按鈕。自動判別處理裝置1可以從圖像記憶體21取得包含於此畫面的圖像等之資料。
又，自動判別處理裝置1可以將和按下「不良」之按鈕或「良」之按鈕等效之訊號傳送至指示裝置22。例如，自動判別處理裝置1可以藉由產生滑鼠之事件，來使滑鼠游標移動至「不良」之按鈕的區域內的某處後，在該位置讓滑鼠進行「左鍵點擊」。在此情況下，誤檢測驗證裝置2會接收和按下「不良」按鈕之情況同樣的資訊。又，自動判別處理裝置1可以藉由產生滑鼠之事件，來使滑鼠游標移動至「良」之按鈕的區域內的某處後，在該位置讓滑鼠進行「左鍵點擊」。在此情況下，誤檢測驗證裝置2會接收和按下「良」按鈕之情況同樣的資訊。
又，自動判別處理裝置1可以取代滑鼠之事件而藉由產生鍵盤之事件，來使焦點移動至「不良」之按鈕(可使用例如「tab(製表)」鍵等)後進行決定之操作(可使用例如「enter(輸入)」鍵等)。在此情況下，誤檢測驗證裝置2會接收和按下「不良」按鈕之情況同樣的資訊。又，自動判別處理裝置1可以藉由產生鍵盤之事件，來使焦點移動至「良」按鈕(與上面之情況同樣地可使用例如「tab」鍵)後進行決定之操作(與上面之情況同樣地可使用例如「enter」鍵)。在此情況下，誤檢測驗證裝置2會接收和按下「良」之按鈕之情況同樣的資訊。
再者，在自動判別處理裝置1中，是讓從自動判別部15輸出之判別結果、與從情節執行部輸出之事件(與滑鼠或鍵盤等有關之事件)之間的關係成為可以適當地定義並設定。從而，只要因應於需要來變更此判定結果與事件之間的關係之設定，即可以改變自動判別處理裝置1所輸出之訊號(事件之訊號)。
圖6是顯示在情節執行部14中執行特定之情節的情況下的情節執行部14之功能構成的概要的方塊圖。如圖示，情節執行部14是藉由執行情節，而作為圖像取得部147及判別結果輸出部148來發揮功能。圖像取得部147從用於在顯示裝置顯示的媒體即圖像記憶體21讀取誤檢測驗證裝置2顯示於顯示裝置之圖像。也就是說，圖像取得部147執行圖像取得過程。判別結果輸出部148從自動判別部15接收判別結果，並生成因應於該判別結果之訊號。該訊號是指和透過連接於誤檢測驗證裝置2之輸入元件(滑鼠、鍵盤、觸控面板等)來輸入資訊之情況等效之訊號(事件)。也就是說，判別結果輸出部148會執行判別結果輸出過程。以上，如所說明地，已記憶於情節記憶部13之情節是使情節執行部14作為圖像取得部147及判別結果輸出部148來發揮功能的情節。
總結本實施形態之特徵，即如下述。
圖像取得部147(情節執行部14)是從用於在顯示裝置顯示的媒體(圖像記憶體21)讀取外部裝置(誤檢測驗證裝置2)顯示於顯示裝置之圖像。
自動判別部15進行依據圖像取得部147所讀取到的前述圖像(判別對象圖像)的內容之判別處理，並輸出判別結果(對應於判別對象圖像之製品為「良」或「不良」)。
自動判別部15亦可保持有針對圖像與判別結果之關係已機械學習完畢的模型，並藉由將前述模型適用於前述圖像來進行前述判別處理。機械學習完畢的模型之一例是類神經網路。
判別結果輸出部148(情節執行部14)生成因應於前述判別結果之訊號，且前述訊號(事件)和以下情況等效：透過連接於前述外部裝置之輸入元件(滑鼠、鍵盤、觸控面板等)來輸入資訊。
前述輸入元件亦可是滑鼠或鍵盤的至少其中一種。
外部裝置(誤檢測驗證裝置2)亦可為將不良候選圖像顯示輸出為圖像之裝置，前述不良候選圖像是藉由光學地讀取電子電路(印刷基板等)而被檢測出之圖像。
在此情況下，自動判別部15是依據該不良候選圖像來進行判別前述電子電路為良或不良的任一者之處理，並輸出前述判別結果。
自動判別處理裝置1亦可具備情節執行部14。情節執行部14執行記述有處理程序之情節。前述情節是使情節執行部14作為圖像取得部147及判別結果輸出部148來發揮功能之情節。再者，情節執行部14亦可藉由執行情節來進一步完成外部裝置(誤檢測驗證裝置2)為了將前述圖像顯示於顯示裝置所需要的處理程序。具體而言，圖3所示之步驟S2的處理相當於該處理程序。也就是說，情節執行部14是藉由此處理而使指示裝置22產生滑鼠之事件或鍵盤之事件等。依據該等事件，誤檢測驗證裝置2會進行預定的動作。作為其結果，誤檢測驗證裝置2會執行用於驗證不良候選圖像之處理。並且，誤檢測驗證裝置2會將不良候選圖像顯示於顯示裝置。意即，可將該不良候選圖像寫入圖像記憶體21。
[第2實施形態] 接著，針對第2實施形態進行說明。再者，針對在前實施形態中已說明的事項，有時在以下會省略說明。在此，以本實施形態中特有的事項為中心來說明。
圖7是顯示本實施形態之檢查系統的功能構成的方塊圖。如圖示，檢查系統4包含自動判別處理裝置5、誤檢測驗證裝置2與光學檢查裝置9。自動判別處理裝置5包含自動判別部15、圖像取得部247與判別結果輸出部248。再者，本實施形態之自動判別處理裝置5並未持有以下功能：用於編輯情節之功能、用於記憶情節之功能、或用於執行情節之功能。在本實施形態中，圖像取得部247或判別結果輸出部248並非藉由情節來實現之構件，而是分別作為專用的功能來實現。圖像取得部247或判別結果輸出部248亦可使用專用之電子電路等來實現，亦可使用電腦與程式來實現。圖像取得部247是從用於在顯示裝置顯示的媒體即圖像記憶體21讀取誤檢測驗證裝置2顯示於顯示裝置之圖像。判別結果輸出部248是從自動判別部15接收判別結果，並生成因應於該判別結果之訊號。該訊號是指和透過連接於誤檢測驗證裝置2之輸入元件(滑鼠、鍵盤、觸控面板等)來輸入資訊之情況等效之訊號(事件)。又，檢查系統4是和第1實施形態之情況同樣地作為用於輸入輸出之功能的一部分而包含圖像記憶體21與指示裝置22。
在第2實施形態中，自動判別處理裝置5並非使用情節來實現之裝置。但是，以下之點與第1實施形態是同樣的：自動判別處理裝置5取得誤檢測驗證裝置2所輸出之圖像、自動判別處理裝置5依據該圖像來判別圖像的狀況、自動判別處理裝置5依據該判別結果來進行用於操作誤檢測驗證裝置2之指示。
以上，雖然說明了複數個實施形態，但本發明仍可進一步以如下的變形例來實施。例如，在上面的各個實施形態中，自動判別處理裝置是從圖像記憶體21(即記憶媒體)取得判別對象之圖像。但是，亦可進行成並非是從記憶媒體，而是從用於傳輸圖像的傳輸媒體(電纜或光纖等)來取得判別對象圖像。
圖8是顯示第1實施形態或第2實施形態中的自動判別處理裝置、誤檢測驗證裝置、光學檢查裝置、或指示裝置等的內部構成的例子的方塊圖。在此所列舉的各個裝置能夠使用電腦來實現。如圖示，該電腦是包含中央處理裝置901、RAM902、輸入輸出埠903、輸入輸出元件904或905等、與匯流排906而構成。電腦本身可使用既有技術來實現。中央處理裝置901是執行包含於從RAM902等所讀入之程式的命令。中央處理裝置901是依照各個命令來將資料寫入RAM902、從RAM902讀出資料、進行算術運算或邏輯運算。RAM902會記憶資料或程式。包含於RAM902的各個要素是持有位址，且能夠使用位址來存取的要素。再者，RAM是「隨機存取記憶體」之縮寫。輸入輸出埠903是中央處理裝置901用於與外部之輸入輸出元件等進行資料的交換之埠。輸入輸出元件904或905是輸入輸出元件。輸入輸出元件904或905是透過輸入輸出埠903而在與中央處理裝置901之間交換資料。匯流排906是在電腦內部使用之共通的通訊路。例如，中央處理裝置901透過匯流排906來或讀或寫RAM902的資料。又，例如中央處理裝置901是透過匯流排906來對輸入輸出埠進行存取。
可以藉電腦之程式來實現上述之各個實施形態中的自動判別處理裝置、誤檢測驗證裝置、光學檢查裝置、或指示裝置等的至少一部分的功能。在該情況下，亦可藉由以下作法來實現：將用於實現此功能的程式記錄在電腦可讀取的記錄媒體中，並且使電腦系統讀入此記錄媒體所記錄的程式並執行。再者，在此所謂的「電腦系統」是設為包含OS(作業系統)或周邊機器等之硬體的系統。又，「電腦可讀取的記錄媒體」是指軟式磁碟(flexible disk)、光碟、ROM、CD-ROM、DVD-ROM、USB記憶體等之可攜式媒體、內置於電腦系統的硬碟等之儲存裝置。此外，「電腦可讀取的記錄媒體」亦可包含：如透過網際網路等之網路或電話線路等之通訊線路來發送程式的情況之通訊線路，以暫時的且動態的方式保持程式的記錄媒體、如成為該情況的伺服器或客戶端的電腦系統內部之揮發性記憶體，而在一定時間保持有程式的記錄媒體。又，上述程式亦可為用於實現前述功能的一部分的程式，此外，亦可為能夠以和已經將前述之功能記錄於電腦系統的程式之組合的方式來實現的構成。
以上，根據所說明之實施形態的任一個(包含變形例)，可以將以往為人所進行的判別作業替換為由電腦等所進行之自動的處理。藉此，可以削減檢查的操作成本。又，相較於人進行判別作業的情況，可以將判斷的基準統一為固定，在品質管理上也是較有效的。
又，自動判別處理裝置會取得誤檢測驗證裝置2顯示於顯示裝置之圖像，並且透過以仿真方式連接於誤檢測驗證裝置2之輸入元件來將判別結果傳送至誤檢測驗證裝置2。藉由採取這樣的方式，可以在毋須改變既有的誤檢測驗證裝置2的情形下追加自動判別的機制。
以上，雖然參照圖式而詳細地描述了此發明的實施形態，但是具體的構成並不限定於此實施形態，也可包含不脫離此發明的主旨之範圍的設計等。 產業上之可利用性
本發明可以利用於例如使用了光學式拍攝機構的檢查系統等。但是，本發明的利用範圍並不限定於在此所例示的內容。
1,5:自動判別處理裝置 2:誤檢測驗證裝置 3,4:檢查系統 9:光學檢查裝置 12:情節編輯部 13:情節記憶部 14:情節執行部 15:自動判別部 21:圖像記憶體 22:指示裝置 101:自動判別應用程式 102:誤檢測驗證應用程式 121:顯示輸出部 122:滑鼠事件處理部 123:鍵盤事件處理部 141:作業系統 147,247:圖像取得部 148,248:判別結果輸出部 901:中央處理裝置 902:RAM 903:輸入輸出埠 904,905:輸入輸出元件 906:匯流排 S1~S7:步驟
圖1是顯示第1實施形態之檢查系統的功能構成的方塊圖。 圖2是顯示使用電腦來實現第1實施形態之檢查系統的情況下之程式的構成的概要圖。 圖3是顯示第1實施形態之自動判別處理裝置依據預定之情節而動作時的處理程序的流程圖。 圖4是顯示第1實施形態之自動判別處理裝置的文字資料之一例的概要圖，前述文字資料是表示對應於圖3的處理程序的情節之資料。 圖5是顯示第1實施形態之誤檢測驗證裝置所顯示之畫面(使用者介面)的例子的概要圖。 圖6是顯示已在第1實施形態之情節執行部中執行特定之情節的情況下的情節執行部的功能構成之概要的方塊圖。 圖7是顯示第2實施形態之檢查系統的功能構成的方塊圖。 圖8是顯示第1實施形態或第2實施形態中的自動判別處理裝置、誤檢測驗證裝置、光學檢查裝置、或指示裝置等的內部構成的例子的方塊圖。
1:自動判別處理裝置
2:誤檢測驗證裝置
3:檢查系統
9:光學檢查裝置
12:情節編輯部
13:情節記憶部
14:情節執行部
15:自動判別部
21:圖像記憶體
22:指示裝置

Claims (10)

  1. 一種自動判別處理裝置，具備： 圖像取得部，從用於在顯示裝置顯示的媒體讀取誤檢測驗證裝置所顯示之不良候選圖像， 前述誤檢測驗證裝置將前述不良候選圖像顯示於前述顯示裝置，並且透過輸入元件來取得針對前述不良候選圖像之判別結果的資訊來作為2次檢查； 自動判別部，進行判別處理並輸出判別結果，前述判別處理是依據前述圖像取得部所讀取到的前述不良候選圖像的內容來進行；及 判別結果輸出部，生成因應於前述判別結果之訊號，且前述訊號和以下情形等效：透過連接於前述誤檢測驗證裝置之輸入元件，來將前述誤檢測驗證裝置所顯示之畫面中包含的「不良」之按鈕或「良」之按鈕的任一個按鈕按下。
  2. 如請求項1之自動判別處理裝置，其中前述自動判別部保持有針對前述不良候選圖像與前述判別結果之關係已機械學習完畢之模型，並藉由將前述模型適用於前述圖像來進行前述判別處理。
  3. 如請求項1或2之自動判別處理裝置，其中前述誤檢測驗證裝置是將藉由光學地讀取電子電路而被檢測出之前述不良候選圖像顯示輸出之裝置， 前述自動判別部是依據前述不良候選圖像，來進行判別前述電子電路為良或不良的任一者之處理，並輸出前述判別結果。
  4. 如請求項1至3中任一項之自動判別處理裝置，其中前述輸入元件是滑鼠或鍵盤的至少其中一種， 在前述輸入元件為滑鼠的情況下，前述判別結果輸出部會生成以下訊號：藉由產生滑鼠之事件，讓滑鼠游標移動到前述「不良」之按鈕或前述「良」之按鈕的任一個的區域內後，讓滑鼠點擊， 在前述輸入元件為鍵盤的情況下，前述判別結果輸出部會生成以下訊號：藉由產生鍵盤之事件，讓焦點移動至前述「不良」之按鈕或前述「良」之按鈕的任一個後決定之操作。
  5. 如請求項1至4中任一項之自動判別處理裝置，其具備執行記述有處理程序之情節的情節執行部， 前述情節是使前述情節執行部作為前述圖像取得部與前述判別結果輸出部來發揮功能之情節。
  6. 如請求項5之自動判別處理裝置，其中前述情節執行部是藉由執行前述情節來進一步完成前述誤檢測驗證裝置為了將前述圖像顯示於前述顯示裝置所需要的處理程序。
  7. 一種自動判別處理方法，包含以下過程： 圖像取得過程，從用於在顯示裝置顯示的媒體，讀取誤檢測驗證裝置所顯示之不良候選圖像，前述誤檢測驗證裝置將前述不良候選圖像顯示於前述顯示裝置，並且透過輸入元件來取得針對前述不良候選圖像之判別結果的資訊來作為2次檢查； 自動判別過程，進行判別處理並輸出判別結果，前述判別處理是依據在前述圖像取得過程中所讀取到的前述不良候選圖像的內容來進行；及 判別結果輸出過程，生成因應於前述判別結果之訊號，且前述訊號和以下情形等效：透過連接於前述誤檢測驗證裝置之輸入元件，來將前述誤檢測驗證裝置所顯示之畫面中包含的「不良」之按鈕或「良」之按鈕的任一個按鈕按下。
  8. 一種程式，用於使電腦作為如請求項1至6中任一項之自動判別處理裝置來發揮功能。
  9. 一種記錄媒體，記錄有程式，前述程式是用於使電腦作為如請求項1至6中任一項之自動判別處理裝置來發揮功能。
  10. 一種檢查系統，包含： 光學檢查裝置，依據以光學方式所拍攝之圖像來檢測不良候選圖像而作為1次檢查； 誤檢測驗證裝置，將前述光學檢查裝置所檢測出的前述不良候選圖像顯示於顯示裝置，並且透過輸入元件取得針對前述不良候選圖像之判別結果的資訊來作為2次檢查；及 如請求項1至6中任一項之自動判別處理裝置。
TW109123957A 2019-07-18 2020-07-15 自動判別處理裝置、自動判別處理方法、檢查系統、程式、及記錄媒體 TWI842931B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-132725 2019-07-18
JP2019132725A JP6653929B1 (ja) 2019-07-18 2019-07-18 自動判別処理装置、自動判別処理方法、検査システム、プログラム、および記録媒体

Publications (2)

Publication Number Publication Date
TW202109028A true TW202109028A (zh) 2021-03-01
TWI842931B TWI842931B (zh) 2024-05-21

Family

ID=

Also Published As

Publication number Publication date
KR20210148326A (ko) 2021-12-07
JP6653929B1 (ja) 2020-02-26
JP2021018104A (ja) 2021-02-15
WO2021010390A1 (ja) 2021-01-21
CN113994377A (zh) 2022-01-28
US20220351361A1 (en) 2022-11-03

Similar Documents

Publication Publication Date Title
JP6653929B1 (ja) 自動判別処理装置、自動判別処理方法、検査システム、プログラム、および記録媒体
DK2996015T3 (en) PROCEDURE TO USE IMPROVED REALITY AS HMI VIEW
US10997045B2 (en) Universal automated testing of embedded systems
KR20190063839A (ko) 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
WO2017165071A1 (en) Visual regression analysis
CN104731446A (zh) 基于提示的斑点修复技术
US20220028055A1 (en) Defect detection method, computer device and storage medium
US20240168546A1 (en) Identifying a Place of Interest on a Physical Object Through its 3D Model in Augmented Reality View
TWI842931B (zh) 自動判別處理裝置、自動判別處理方法、檢查系統、程式、及記錄媒體
WO2021087818A1 (zh) 软件知识捕捉方法、装置和系统
EP3992923A2 (en) System and method for identifying non-standard user interface object
CN116245808A (zh) 工件缺陷检测方法、装置、电子设备及存储介质
JP6259962B1 (ja) 遠隔作業支援システム、遠隔作業支援方法およびプログラム
JP2020095364A (ja) 機械学習システム、ドメイン変換装置、及び機械学習方法
US11150849B2 (en) Device and method for checking the printing of an article
Standfield et al. An approach to monitoring and guiding manual assembly processes
WO2022022757A1 (en) A method for testing an embedded system of a device, a method for identifying a state of the device and a system for these methods
US20220375095A1 (en) Apparatus and manual providing apparatus
CN115658544B (zh) 一种基于模拟点击的测试方法
US20240114624A1 (en) Automatic processing method for printed circuit board data and electronic device
CN116665500A (zh) 基于虚拟现实的发动机试车模拟培训全任务系统及方法
JP2022177393A (ja) マニュアル解析装置、マニュアル提供装置、マニュアル読解システム、方法、およびプログラム
CN117112034A (zh) 驱动控制方法、装置、电子设备及计算机存储介质
JP2022177394A (ja) マニュアル提供装置、マニュアル読解システム、方法、およびプログラム
CN111931812A (zh) 视觉算法的测试方法、装置、存储介质和电子设备