KR20210148326A - 자동 판별 처리 장치, 자동 판별 처리 방법, 검사 시스템, 프로그램 및 기록매체 - Google Patents

자동 판별 처리 장치, 자동 판별 처리 방법, 검사 시스템, 프로그램 및 기록매체 Download PDF

Info

Publication number
KR20210148326A
KR20210148326A KR1020217036291A KR20217036291A KR20210148326A KR 20210148326 A KR20210148326 A KR 20210148326A KR 1020217036291 A KR1020217036291 A KR 1020217036291A KR 20217036291 A KR20217036291 A KR 20217036291A KR 20210148326 A KR20210148326 A KR 20210148326A
Authority
KR
South Korea
Prior art keywords
image
automatic
unit
determination result
candidate image
Prior art date
Application number
KR1020217036291A
Other languages
English (en)
Inventor
김민수
Original Assignee
제이이 인터네셔널 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제이이 인터네셔널 코포레이션 filed Critical 제이이 인터네셔널 코포레이션
Publication of KR20210148326A publication Critical patent/KR20210148326A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/93—Detection standards; Calibrating baseline adjustment, drift correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

자동 판별 처리 장치(1)는, 화상 취득부(14, 147, 247)와 자동 판별부(15)와 판별결과 출력부(14, 148, 248)를 포함한다. 과오검출 검증 장치(2)는 불량 후보 화상을 디스플레이 장치에 표시하도록 한다. 과오검출 검증 장치(2)는, 입력 디바이스를 통해, 불량 후보 화상에 대한 2차 검사의 판별결과의 정보를 취득한다. 화상 취득부(14, 147, 247)는, 과오검출 검증 장치(2)가 표시하는 불량 후보 화상을, 디스플레이 장치에 표시를 위한 매체로부터 독출한다. 자동 판별부(15)는, 화상 취득부(14, 147, 247)가 독출한 불량 후보 화상의 내용에 근거해 판별 처리를 실시하고 판별결과를 출력한다. 판별결과 출력부(14, 148, 248)는 상기 판별결과에 따른 신호를 생성시킨다. 상기 신호는, 상기 과오검출 검증 장치(2)에 접속되는 입력 디바이스를 통해 과오검출 검증 장치(2)가 표시하는 화면에 포함되는 "불량" 버튼 혹은 "양호" 버튼 중 어느 것을 누르는 것과 등가인 신호이다.

Description

자동 판별 처리 장치, 자동 판별 처리 방법, 검사 시스템, 프로그램 및 기록매체
본 발명은 자동 판별 처리 장치, 자동 판별 처리 방법, 검사 시스템, 프로그램 및 기록매체에 관한 것이다.
본원은 2019년 7월 18일 일본에 출원된 특허출원 2019-132725호에 의거 우선권을 주장하고 그 내용을 여기에 원용한다.
수지제 필름에 동박의 배선패턴이 형성된 프린트기판 등의 검사에는 일반적으로 카메라를 이용한 광학식 검사가 이용된다. 광학식 검사에서는, 컴퓨터가, 검사 대상물의 촬상 화상을 참조 화상과 비교하는 화상 처리를 하고, 결함을 검출하는 방법이 넓게 이용되고 있다. 그러나 상기 방법으로는, 본래 결함이 아닌 부분을 잘못하여 결함으로 인식할 가능성이 있다. 이것은, 과오검출(허위정보)로 불리는 것이다. 따라서, 컴퓨터에 의한 화상 처리 결과를, 작업자가 다시 체크해야 한다는 문제가 있다.
특허 문헌 1에는, 상기의 과오검출을 줄이기 위해서, 결함을 검출을 위한 기준을 조정하는 기술이 기재되어 있다. 구체적으로는 특허문헌 1의 단락 0006에는 '허위정보 및 간과의 적어도 한쪽의 발생을 억제하고, 결함의 검출 정밀도를 향상시킬 수 있는, 검사방법' 등을 제공하는 것이 기재되어 있다.
특허문헌 1 특허 JP 제6218094호
컴퓨터에 의한 화상 처리의 결과로 보고된 결함이, 진정한 결함(진실정보)인지, 가짜 결함(허위정보(과오검출))인지를, 효율적으로 판별할 수 있도록 하는 것이 바람직하다.
종래의 기술에서는, 과오검출 검증 장치(혹은 과오검출 검증 프로그램)는, 컴퓨터에 의한 화상 처리의 결과로서 보고된 결함을 가지는 화상을, 컴퓨터의 화면상에 표시하고 있었다. 또 작업자(사람)가 화면에 표시된 화상을 눈으로 확인해 진실정보인지 허위정보인지를 판별하고 있었다. 그리고 작업자가, 키보드나 마우스 등과 같은 입력 디바이스를 이용하고, 판별결과를 과오검출 검증 장치 등에 입력하고 있었다. 이러한 작업자에 의한 작업을 삭감할 수 있도록 하는 것이 검사의 효율화로 연결된다.
검사를 효율화하는 데 있어서, 종래의 시스템(과오검출 검증 장치 등)에 가하는 변경을 가능한 한 적게 하는 것이, 검사 설비에 대한 투자 효율의 향상으로 연결된다.
본 발명은, 상기의 과제 인식에 근거해 행해진 것이다. 본 발명은 표시된 화상을 눈으로 판별하는 작업을 효율화하고, 기존 설비에 대한 변경을 가능한 한 적게 끝낼 수 있는 자동 판별 처리 장치, 자동 판별 처리 방법, 검사 시스템, 프로그램 및 기록매체를 제공하려는 것이다.
실시 형태의 자동 판별 처리 장치는, 화상 취득부와 자동 판별부와 판별결과 출력부를 갖춘다. 과오검출 검증 장치는, 불량 후보 화상을 디스플레이 장치에 표시시키는 것과 동시에 입력 디바이스를 통해 상기 불량 후보 화상에 대한 2차 검사의 판별결과를 취득한다. 화상 취득부는, 상기 과오검출 검증 장치가 표시하는 상기 불량 후보 화상을, 상기 디스플레이 장치에의 표시를 위한 매체로부터 읽어낸다. 자동 판별부는 상기 화상 취득부가 판독한 상기 불량 후보 화상 내용에 기초하여 판별처리를 하고 그 판별결과를 출력한다. 판별결과 출력부는 상기 판별결과에 따른 신호를 생성시킨다. 그 신호는, 상기 과오검출 검증 장치에 접속되는 입력 디바이스를 통해 상기 과오검출 검증 장치가 표시하는 화면에 포함되는 "불량"의 버튼 혹은 "양호"의 버튼의 어느쪽인가를 누르는 것과 등가인 신호이다.
상기 자동 판별부는 상기 불량 후보 화상과 상기 판별결과와의 관계에 대해 기계학습을 마친 모델을 보유하고 있으며, 상기 모델을 상기 화상에 적용함으로써 상기 판별처리를 해도 된다(판별처리를 할 수 있다).
상기 과오검출 검증 장치는 전자회로를 광학적으로 읽어냄으로써 검출된 상기 불량 후보 화상을 표시 출력하는 것이어도 된다. 상기 자동 판별부는 상기 불량 후보 화상에 의거 상기 전자회로가 양호 또는 불량 중 어느 쪽인지 판별하는 처리를 하여 상기 판별결과를 출력해도 된다.
상기 입력 디바이스는 마우스 또는 키보드 중 적어도 어느 것이어도 된다. 상기 입력 디바이스가 마우스일 경우에는 상기 판별결과 출력부는 마우스 이벤트를 발생시킴으로써 상기 "불량" 버튼 또는 상기 "양호" 버튼 중 하나의 영역으로 마우스 커서를 이동시킨 후 마우스를 클릭시키는 신호를 생성시킨다. 상기 입력장치가 키보드일 경우에는 상기 판별결과 출력부는 키보드 이벤트를 발생시킴으로써 포커스를 상기 "불량"의 버튼 또는 상기 "양호"의 버튼 중 하나로 이동시킨 후 결정조작 신호를 생성시킨다.
상기 자동 판별 처리 장치는, 한층 더 시나리오 실행부를 갖추어도 된다. 상기 시나리오 실행부는 처리순서가 기술된 시나리오를 실행한다. 상기 시나리오는 상기 시나리오 실행부를 상기 화상 취득부와 상기 판별결과 출력부로서 기능 하게 한다.
상기 시나리오 실행부는, 상기 시나리오를 실행함으로써, 또한, 상기 과오검출 검증 장치가 상기 디스플레이 장치에 상기 화상을 표시시키기 위해서 필요한 처리 순서를 수행해도 된다.
자동 판별 처리 방법은 화상취득단계와 자동판별단계와, 판별결과 출력단계를 포함한다. 과오검출 검증 장치는, 불량 후보 화상을 디스플레이 장치에 표시시키는 것과 동시에 2차 검사로서 입력 디바이스를 통해 상기 불량 후보 화상에 대한 판별결과의 정보를 취득한다. 화상 취득 단계에서는, 예를 들면 컴퓨터가, 상기 과오검출 검증 장치가 표시하는 상기 불량 후보 화상을 상기 디스플레이 장치에의 표시를 위한 매체로부터 읽어낸다. 자동 판별 단계에서는, 예를 들면 컴퓨터가, 상기 화상 취득 단계에서 판독한 상기 불량 후보 화상의 내용에 근거하는 판별 처리를 해 판별결과를 출력한다. 판별결과 출력 단계에서는, 예를 들면 컴퓨터가, 상기 판별결과에 응한 신호이며, 상기 과오검출 검증 장치에 접속되는 입력 디바이스를 통해 상기 과오검출 검증 장치가 표시하는 화면에 포함되는 "불량"의 버튼 혹은 "양호"의 버튼의 어느쪽인가를 누르는 것과 등가의 신호를 생성시킨다.
프로그램은, 컴퓨터에, 상기 자동 판별 처리 방법을 실행시키는 것이다. 컴퓨터 판독 가능한 기록 매체는 상기 프로그램을 기록한 것이다.
검사 시스템은 광학 검사 장치와 과오검출 검증 장치, 자동 판별 처리 장치를 포함하도록 구성된다. 상기 광학 검사 장치는, 광학적으로 촬영한 화상에 근거하여, 1차 검사로서 불량 후보 화상을 검출한다. 상기 과오검출 검증 장치는, 상기 광학 검사 장치가 검출한 상기 불량 후보 화상을 디스플레이 장치에 표시시키는 것과 동시에, 2차 검사로서 입력 디바이스를 통해 상기 불량 후보 화상에 대한 판별결과의 정보를 취득한다. 상기 자동 판별 처리 장치는 해결수단으로서 기재한 상기 중 하나의 자동 판별 처리 장치이다.
본 발명에 따르면 외부장치가 디스플레이 장치에 표시하는 화상에 대한 판별과 판별결과에 기초한 응답을 자동화할 수 있다.
[도 1] 제1 실시 형태에 의한 검사 시스템의 기능 구성을 나타내는 블록도이다.
[도 2] 컴퓨터를 이용해 제1 실시 형태에 의한 검사 시스템을 실현하는 경우의, 프로그램의 구성을 나타내는 개략도이다.
[도 3] 제1 실시 형태에 의한 자동 판별 처리 장치가 소정의 시나리오에 근거하여 동작할 때의 처리절차를 나타내는 흐름도이다.
[도 4] 제1 실시 형태에 의한 자동 판별 처리 장치의, 도 3의 처리순서에 대응하는 시나리오를 나타내는 텍스트 데이터의 한 예를 나타내는 개략도이다.
[도 5] 제1 실시 형태에 의한 과오검출 검증 장치가 표시하는 화면(사용자 인터페이스)의 예를 나타내는 개략도이다.
[도 6] 제1 실시 형태에 의한 시나리오 실행부에서 특정 시나리오를 실행시켰을 경우의 시나리오 실행부 기능구성의 개략을 나타내는 블록 그림이다.
[도 7] 제2 실시 형태에 의한 검사 시스템의 기능 구성을 나타내는 블록도이다.
[도 8] 제1 실시 형태 및 제2 실시 형태에서의 자동 판별 처리 장치와 과오검출 검증 장치, 광학 검사 장치, 지시 장치 등의 내부구성의 예를 나타내는 블록도이다.
다음으로, 본 발명의 실시 형태에 대해 설명한다.
[제1 실시 형태]
도 1은 제1 실시 형태에 의한 검사 시스템의 기능 구성을 나타내는 블록 그림이다.
도시된 바와 같이 검사 시스템(3)은 자동 판별 처리 장치(1)과 과오검출 검증 장치(2)와 광학 검사 장치(9)를 포함한다. 자동 판별 처리 장치(1)은 시나리오 편집부(12)와 시나리오 기억부(13)과 시나리오 실행부(14)와 자동 판별부(15)를 포함한다. 검사 시스템(3)은 입출력을 위한 기능의 일부로서 화상 메모리(21)과 지시 장치(22)를 포함한다. 이들 각부의 기능은 예를 들어 전자회로를 사용하여 실현된다. 덧붙여 이들 각부의 적어도 일부의 기능을, 컴퓨터 및 프로그램으로 실현하도록 해도 된다. 과오검출 검증 장치(2)는, 자동 판별 처리 장치(1) 측에서 보았을 경우의 "외부장치"이다. 검사 시스템(3)에 포함되는 기능의 개략은, 다음과 같다.
검사 시스템(3)은 로보틱 프로세스 오토메이션(RPA) 방식을 이용해 기존에 사람이 판단하던 프로세스를 자동화해 구성되는 시스템이다. 구체적으로는 검사 시스템(3)은 기존에는 사람에 의한 조작 및 판단을 필요로 했던 과오검출 검증 장치(2)를 사람이 거치지 않고 가동할 수 있도록 한다. 이를 위한 방법으로서 자동 판별 처리 장치(1)은, 과오검출 검증 장치(2)가 화면에 출력하는 불량 후보 화상을 캡처한다. 자동 판별 처리 장치(1)은 인공지능 기술을 이용해 자동으로 그 불량 후보 화상이 양호(good)인지 불량(no good)인지를 판별(2차 검사)한다. 자동 판별 처리 장치(1)은 판별결과를 자동으로 과오검출 검증 장치(2)에 입력한다.
이것에 의해, 자동 판별 처리 장치(1)은, 화상에 근거해 자동적으로 판별 처리를 실시한다. 따라서 검사 시스템(3)을 이용할 경우 광학 검사 장치(9)에서 1차 검사결과로 출력되는 불량 후보 화상을 일일이 사람의 눈으로 보고 판정할 필요가 없다. 자동 판별 처리 장치(1)은, 판별결과에 근거해, 마우스나 키보드 등을 에뮬레이션하는 신호를 자동적으로 과오검출 검증 장치(2)에 공급한다. 따라서 사람이 마우스나 키보드를 이용해 판별결과를 입력할 필요가 없다. 또한, 이와 같이 자동 판별 처리 장치(1)을 구성하므로, 2차 검사를 실시하기 위해 사람의 판단이나 사람의 조작이 필요하지 않다.
즉, 자동 판별 처리 장치(1)은 RPA 방식을 이용하여 다음과 같이 동작한다. 즉, 자동 판별 처리 장치(1)은 과오검출 검증 장치(2)에 의해 디스플레이에 표시되는 불량 후보 화상의 이미지를 캡처한다. 또, 자동 판별 처리 장치(1)은, 인공지능 기술을 이용해, 즉 학습 처리가 끝난 기계 학습 모델을 이용해, 상기 불량 후보 화상을 판별한다. 판별결과는, 양호 또는 불량(실제로 불량)이다. 판별결과가 양호일 경우 자동 판별 처리 장치(1)은 마우스 또는 키보드 이벤트를 자동으로 발생시킴으로써, 불량 후보 화상이 실제로는 양호(과오검출)인 것을 나타내는 신호를 과오검출 검증 장치(2)측에 돌려주도록 한다. 판별결과가 불량일 경우 자동 판별 처리 장치(1)은 마우스 또는 키보드 이벤트를 자동으로 발생시킴으로써 불량 후보 화상이 진정으로 불량임(과오검출이 아님)을 알려주는 신호를 과오검출 검증 장치(2)측으로 돌려보내도록 한다. 위와 같이 자동 판별 처리 장치(1)과 과오검출 검증 장치(2) 사이의 인터페이스는 디스플레이 장치나 마우스 또는 키보드 등을 통한 것이다. 즉, 기존의 과오검출 검증 장치(2)를 변경하는 일 없이(예를 들면, 그 프로그램을 수정하거나 하는 일 없이), 2차 검사의 자동화를 실현할 수 있다.
광학 검사 장치(9)는 내부에 카메라를 가지고 있다. 광학 검사 장치(9)는 그 카메라를 이용해 회로기판 등을 촬영하고 1차 검사로서 그 화상에 기초하여 회로 등의 불량 개소의 후보를 검출한다. 광학 검사 장치(9)는 검출된 불량한 개소를 포함한 검사대상 제품(회로기판 등)에 관해서 그 화상(불량 후보 화상, NG 화상)을 출력한다. 광학 검사 장치(9)는, 불량 후보 화상을, 과오검출 검증 장치(2)에 건네준다. 덧붙여 광학 검사 장치(9)가 출력하는 불량 후보 화상은, 그레이스케일 화상이어도 되고, 컬러 화상이어도 된다. 또 광학 검사 장치(9) 자체는 기존 기술을 이용해 실현 가능하다.
회로기판은 예를 들어 수지의 판상에 금속박막에 의한 배선을 형성한 것이다. 덧붙여 회로기판상에서, 금속에 의한 배선이 존재하는 영역을 배선영역이라고 부르고, 그 외의 영역(금속에 의한 배선이 존재하지 않은 영역)을 공간영역이라고 부른다. 그러한 회로기판에 있어서의 불량의 예에는 다음과 같은 것이 있다. 첫 번째로, 접속되어 있어야 할 1개의 배선영역이 공간영역에 의해서 2개 또는 그 이상의 배선영역으로 격리된 불량으로, 이 불량은 "개방"(open)이라고 부른다. 두 번째로, 공간영역에 의해서 격리되어 있어야 할 2개의 배선영역이 서로 전기적으로 접속 상태가 되는 불량으로, 이 불량은 "단락"(short)이라고 부른다. 세 번째로 선상(線狀)의 배선영역의 길이 방향과 직교하는 방향의 폭이 소정의 허용범위 이상으로 좁은 불량으로, 이 불량은 "결핍"이라고 부른다. 네 번째로, 선상의 배선영역의 길이 방향 방향과 직교하는 방향의 폭이 소정의 허용 범위 이상으로 넓은 불량으로, 이 불량은 "돌기"라고 부른다. 다섯 번째로, 본래는 공간영역이어야 하는 영역의 일부분에 아일랜드 형상으로 배선이 존재하는 불량으로, 이 불량은 "아일랜드"라 부른다. 여섯 번째로, 본래는 배선영역이어야 하는 영역으로서 확장하고 있는 개소의 일부분에 핀홀 상태로 공간이 존재하는 불량으로, 이 불량은 "핀홀"이라고 부른다. 여기에 열거한 종류 이외의 불량도 있을 수 있다. 이들 불량 중 어느 하나를 포함할 가능성이 있는 회로기판은 1차 검사로서 광학 검사 장치(9)에 의해 픽업된다.
과오검출 검증 장치(2)는 광학 검사 장치(9)로부터 출력되는 불량 후보 화상이 실제로 불량제품을 촬영한 화상(진실정보)인지, 불량이 아닌 제품을 촬영한 화상(허위정보, 과오검출)인지를 판정(2차 검사)하기 위한 장치이다. 이 판정을 위해, 본래, 과오검출 검증 장치(2)는, 상기의 불량 후보 화상을 컴퓨터의 디스플레이 장치에 표시시키기 위한 처리를 실시한다. 또, 본래의 과오검출 검증 장치(2)는, 디스플레이 장치에 표시된 불량 후보 화상을 본 사람(작업자)의 판정 결과를, 입력 디바이스(예를 들면, 키보드나 마우스 등)로부터 취득한다. 그리고 과오검출 검증 장치(2)는 입력된 판정결과(양호 또는 불량)에 기초하여 원래의 제품을 구별하는 처리를 한다. 과오검출 검증 장치(2) 자체는 기존의 기술을 이용해 실현 가능하다.
본 실시 형태에서는 자동 판별 처리 장치(1)이 상기 작업자를 대신해 자동적으로 판정(2차 검사)을 실시한다. 그 때문에, 자동 판별 처리 장치(1)은, 과오검출 검증 장치(2)가 디스플레이 장치에 표시한 불량 후보 화상(판정 대상 화상)을, 화상 메모리(21)로부터 취득한다. 자동 판별 처리 장치(1)은 취득한 화상에 대해 양호 또는 불량을 자동적으로 판별하여 그 판별결과를 출력한다. 또, 자동 판별 처리 장치(1)은, 본래는 작업자가 행하고 있던 입력 디바이스(키보드나 마우스등)로부터의 입력과 등가인 신호(상기의 판별결과에 따른 신호)를, 지시 장치(22)를 경유해, 과오검출 검증 장치(2)에 건네준다.
화상 메모리(21)은, 과오검출 검증 장치(2)가 디스플레이 장치에 표시시키는 화상을 적어도 일시적으로 보관유지하는 메모리다. 화상 메모리(21)은, 예를 들면, 반도체 메모리(읽고 쓰기 가능한 RAM(랜덤 액세스 메모리) 등)를 이용해 실현된다. 화상 메모리(21)은, 통상, 컴퓨터의 디스플레이 장치의 드라이버에 의해서 관리되는 메모리다. 본 실시 형태에서는, 자동 판별 처리 장치(1)이, 화상 메모리(21)에 액세스해, 화상 메모리(21)이 보관유지하는 화상을 취득할 수 있도록 구성되어 있다.
지시 장치(22)는, 예를 들면, 마우스나 키보드 같은 입력 디바이스로부터의 신호에 근거해, 그 신호 내용에 대응하는 정보를 과오검출 검증 장치(2) 측에 건네주는 기능을 가지는 것이다. 지시 장치(22)는 통상 마우스나 키보드 등과 같은 입력 디바이스의 드라이버로서 실현된다. 본 실시 형태에서는 자동 판별 처리 장치(1)이 마우스나 키보드를 가상적으로 조작해 이들 조작에 대응한 신호를 지시 장치(22)에 공급하도록 구성되어 있다.
덧붙여 여기에서는, 예로서 키보드나 마우스를 이용해 지시를 실시하는 경우의 설명을 했지만, 다른 디바이스를 이용해 과오검출 검증 장치(2)로의 정보 입력을 실시할 수 있도록 해도 된다. 예를 들어 키보드나 마우스 외에 터치패널이나 터치펜, 음성이나 광학패턴(바코드 혹은 2차원 코드) 리더(reader) 등을 이용하도록 해도 된다. 어느 경우나, 지시 장치(22)는, 자동 판별 처리 장치(1)로부터의 지시에 근거해, 물리적인 입력 디바이스를 조작했을 때와 같은 신호를, 과오검출 검증 장치(2)에 건네준다.
자동 판별 처리 장치(1)은 전술한 바와 같이 시나리오 편집부(12)와 시나리오 기억부(13)과 시나리오 실행부(14)와 자동 판별부(15)를 가지고 있다. 자동 판별 처리 장치(1)은 시나리오 기억부(13)에 기억된 시나리오를 실행함으로써 2차 검사에 상당하는 처리를 실행한다.
시나리오 편집부(12)는 자동 판별 처리 장치(1)이 실행하기 위한 시나리오를 편집하는 것이다. 시나리오는, 시나리오 기술용 언어를 사용하여 기술된다. 시나리오 기술용 언어는 문자의 열로서 나타나는 언어 여도 되며, 도형을 조합하여 나타나는 도형적 언어 여도 된다. 시나리오 편집부(12)는, 사용자 인터페이스를 가지고 있다. 사용자는 그 사용자 인터페이스를 통해(예를 들면, 문자 데이터의 에디터 기능 등을 이용해), 시나리오를 편집할 수 있다. 시나리오 편집부(12)는 편집 결과인 시나리오를 시나리오 기억부(13)에 기입한다.
시나리오 기억부(13)은 시나리오를 기억(저장)해 두는 것이다. 시나리오는 텍스트 데이터 형식이나 바이너리 데이터 형식으로 적절히 기억된다. 시나리오 기억부(13)은 예를 들면 반도체 메모리나 자기 디스크 장치 등을 이용해 실현된다. 시나리오 기억부(13)에 기억되고 있는 시나리오는 시나리오 편집부(12)와 시나리오 실행부(14)에 의해 참조 가능하다. 시나리오는 시나리오 편집부(12)에 의해 편집될 수 있다. 시나리오는 시나리오 실행부(14)에 의해 실행될 수 있다.
시나리오 실행부(14)은 시나리오 기억부(13)에서 시나리오를 읽어(독출해) 그 시나리오를 실행시키는 것이다. 시나리오 실행부(14)는 예를 들어 인터프리터 방식이나 컴파일러 방식 등의 적절한 방식으로 시나리오를 실행한다. 본 실시 형태에 있어서의 시나리오 실행부(14)는, 구체적인 처리로서 화상 메모리(21)로부터 화상의 데이터를 읽어들여, 그 화상(판별 대상 화상)을 자동 판별부(15)에 건네줄 수 있다. 또 시나리오 실행부(14)는 자동 판별부(15)로부터 판별결과를 받아 그 판별결과에 기초한 신호를 지시 장치(22)에 전달할 수 있다.
자동 판별부(15)는 시나리오 실행부(14)로부터 받은 화상(제품에 관한 판별 대상 화상)에 대해 판별 처리를 실시해, 그 판별결과를 시나리오 실행부(14)에 돌려주는 것이다. 구체적인 예로서 자동 판별부(15)는, 제품의 불량 후보 화상을, 판별 대상 화상으로서 시나리오 실행부(14)로부터 받는다. 그리고 자동 판별부(15)는, 그 화상에 포함되는 제품이, 진정한 불량인지(진실정보인지), 불량이 아닌지(허위정보인지)를 판별한다. 즉, 자동 판별부(15)는 자동 판별 단계를 실행한다.
자동 판별부(15)는 예를 들어 기계학습 기법을 이용하여 상기 판별처리를 한다. 즉, 자동 판별부(15)는 기계학습 모델을 내부에 가지고 있다. 기계 학습 모델의 일례로서 뉴럴 네트워크(neural network)를 이용해도 된다. 이 기계 학습 모델은, 미리 학습이 끝난 상태이다. 즉, 자동 판별부(15)는, 학습 데이터로서 정례(正例)(진질정보)의 화상과 부례(負例)(허위정보)의 화상을 정답으로 미리 대량으로 준비해, 그 학습 데이터를 이용한 기계 학습 처리를 미리 실시해 둔다. 따라서 이미 학습된 기계학습 모델은 입력되는 미지의 판별 대상 화상에 대해 올바른 판별처리를 할 수 있다.
도 2는, 컴퓨터를 이용해 검사 시스템(3)을 실현하는 경우의, 프로그램의 구성을 나타내는 개략도이다. 도시된 바와 같이, 검사 시스템(3)에 포함되는 프로그램은, 애플리케이션 층(Application Layer), 이벤트 핸들링 층(Event Layer), 운영 시스템 층(operating system Layer)의, 어느 하나의 층에 속하도록 구성된다. 운영 시스템 층에는 운영 시스템(141)이 속한다. 이벤트 핸들링 층에는 표시출력부(121)과 마우스 이벤트 처리부(122)와 키보드 이벤트 처리부(123)이 속한다. 애플리케이션 층에는, 자동 판별 애플리케이션과 과오검출 검증 애플리케이션(102)가 속한다. 이들 프로그램은 모두 CPU(중앙처리 장치)나 메모리 등을 갖는 실행 환경에서 실행된다.
운영 시스템(141)은 컴퓨터 자원(CPU 시간, 메모리, 입출력기기 등) 전체를 적절하게 제어해 컴퓨터상에서 가동하는 각 프로세스에 적절히 할당하는 것이다. 운영 시스템(141)로서는, 예를 들면, Windows(윈도우즈), Linux(리눅스), UNIX(유닉스) 등(각각, 등록상표)이 이용된다.
자동 판별 애플리케이션(101)은 주어지는 제품(전자회로 등)의 화상을 바탕으로 그 양호 혹은 불량을 판별하는 기능을 가진 프로그램이다. 자동 판별 애플리케이션(101)은 도 1의 자동 판별 처리 장치(1)에 대응하는 기능을 가진다. 자동 판별 애플리케이션은 이른바 RPA(Robotic Process Automation)를 실현하는 것이다. 덧붙여 자동 판별 애플리케이션(101)은, "RPA Judgement Application"라고도 불린다.
과오검출 검증 애플리케이션(102)는, 1차 검사의 결과로서 얻을 수 있는 제품(전자 회로 등)의 불량 후보 화상을 화면에 표시해, 그 2차 검사 결과(양호 혹은 불량)의 입력을 받아들이는 기능을 가지는 프로그램이다. 바꾸어 말하면, 과오검출 검증 애플리케이션(102)는, 광학 검사 장치(9)(도 1)에 의한 1차 검사에서 불량으로 판정된 화상의 재판정을 실시하기 위한 기능을 가진다. 과오검출 검증 애플리케이션(102)는, 도 1에 있어서의 과오검출 검증 장치(2)에 대응하는 기능을 가진다. 덧붙여 과오검출 검증 애플리케이션(102)는, "Verification Application"이라고도 불린다.
표시 출력부(121)이나, 마우스 이벤트 처리부(122)나, 키보드 이벤트 처리부(123)은, 각각, 컴퓨터의 입출력 이벤트를 적절히 핸들링하는 것이다. 이러한, 이벤트 핸들링 층에 속하는 프로그램은, 컴퓨터에 접속되어 있는 여러 가지 입출력 디바이스를 제어하기 위한 것이다.
표시 출력부(121)은 프로그램에서 출력되는 화상을 디스플레이 장치에서 표시 가능한 화상신호로 변환하여 출력한다. 덧붙여 표시 출력부(121)은, 도 1에 나타낸 화상 메모리(21)을 내부에 가져, 관리한다. 즉, 본 실시 형태에 있어서, 표시 출력부(121)은, 과오검출 검증 애플리케이션(102)가 디스플레이 장치에 표시하려고 하는 화상을, 자동 판별 애플리케이션(101)이 취득할 수 있도록 하는 기능을 가진다.
마우스 이벤트 처리부(122)는 포인팅 디바이스인 마우스의 신호를 받아 그 신호를 토대로 마우스 이벤트를 생성해 프로그램에 전달한다. 마우스 이벤트란 마우스 커서의 이동이나 마우스 버튼(오른쪽 버튼, 왼쪽 버튼 등)의 각종 클릭(싱글 클릭, 더블 클릭 등)이나 마우스 휠이 존재하는 경우에는 마우스 휠의 회전 등이다. 본 실시 형태에서 마우스 이벤트 처리부(122)는 마우스로부터의 신호를 대체하기 위한 지시를 자동 판별 애플리케이션(101)로부터 받아 그 지시에 따라 마우스 이벤트를 생성하고 필요에 따라 운영 시스템(141)을 경유해서 해당 이벤트를 과오검출 검증 애플리케이션(102)에 전달한다.
키보드 이벤트 처리부(123)은, 문자 등을 입력하기 위한 디바이스인 키보드의 신호를 받아, 그 신호에 근거해 키보드의 이벤트를 생성해, 프로그램에 건네준다. 키보드 이벤트란 특정 키보드가 눌러진 것에 대응하는 이벤트이다. 본 실시 형태에서 키보드 이벤트 처리부(123)은 키보드로부터의 신호를 대체하기 위한 지시를 자동 판별 애플리케이션(101)로부터 받아, 그 지시에 근거해 키보드 이벤트를 생성하고, 필요에 따라서 운영 시스템(141)을 경유해 그 이벤트를 과오검출 검증 애플리케이션(102)에 건네준다.
상기와 같이 마우스 이벤트 처리부(122)나 키보드 이벤트 처리부(123)은 각각 사람이 마우스나 키보드를 조작하는 것 같은 작용을 과오검출 검증 애플리케이션(102)에 미치는 것이 가능하다. 본 실시 형태에서는 마우스 이벤트 처리부(122)나 키보드 이벤트 처리부(123)은 자동 판별 애플리케이션(101)에서 출력되는 판별결과에 따라 각각 적절한 이벤트를 발생시킨다. 덧붙여 여기에서는, 입력 디바이스의 예로서 마우스나 키보드를 이용하는 경우에 대해 설명했지만, 다른 입력 디바이스(예를 들면, 터치 패널이나, 터치 펜이나, 음성이나, 광학 패턴(바코드 혹은 2차원 코드) 리더. 단, 이것들에 한정되지 않는다)를 이용하는 경우에는, 각 디바이스를 핸들링하기 위한 프로그램을, 이벤트 핸들링 층에 두도록 한다.
불량 후보 화상이 허위정보(즉, 과오검출)일 경우, 바꿔 말하면 불량후보 화상에 대응하는 제품 상태가 '양호'일 경우에는 마우스 이벤트 처리부(122)나 키보드 이벤트 처리부(123) 등은 그 판별결과에 대응하는 이벤트(마우스 조작이나 키보드 조작)를 발생시킨다. 이에 따라 과오검출 검증 장치(2) 측에는 불량 후보 화상이 허위정보였음이 전달된다. 한편, 불량 후보 화상이 진실정보(즉 진정한 불량임을 나타냄)일 경우, 바꿔 말하면 불량 후보 화상에 대응하는 제품 상태가 '불량'일 경우에는 마우스 이벤트 처리부(122)나 키보드 이벤트 처리부(123) 등은 그 판별결과에 대응하는 이벤트(마우스 조작이나 키보드 조작)를 발생시킨다. 이것에 의해, 과오검출 검증 장치(2)측에는, 불량 후보 화상이 진실정보였음이 전달된다.
도 3은 자동 판별 처리 장치(1)이 소정의 시나리오 예를 바탕으로 동작할 때의 처리 순서를 나타내는 흐름도이다. 이하, 이 흐름도에 따라 동작순서를 설명한다.
우선 단계 S1에서 자동 판별 처리 장치(1)은 종료 조건이 참인지 아닌지를 판정한다. 종료 조건이 참일 경우(단계 S1:YES)에는, 본 흐름도 전체의 처리를 종료한다. 종료 조건이 참이 아닐 경우(단계 S1:NO)에는 다음 단계 S2로 넘어간다. 종료 조건이란 예를 들어 다음 판정대상 화상이 없는 것(end of images)이다. 다음 판정 대상 화상의 유무는 적절히 시나리오 실행부(14)에 통지되는 것이다. 혹은 다른 종료 조건(예를 들어 작업자(operator)로부터 처리종료 지시가 있을 것)을 더해도 된다.
다음으로, 단계 S2에서 시나리오 실행부(14)는 판별 대상 화상을 표시할 때까지의 절차를 실행한다. 이 절차는 예를 들어 지시 장치(22)에 대해 마우스 혹은 키보드 등에 관한 조작의 처리를 지시하는 처리를 포함해도 된다. 본 단계를 실행하는 것에 의해서, 과오검출 검증 장치(2)는, 판별 대상 화상을 디스플레이 장치에 표시하기 위한 처리를 실시한다.
다음으로, 단계 S3에서 판별 대상 화상이 디스플레이 장치에 표시된 것을 검지하면 시나리오 실행부(14)는 디스플레이 장치의 화면을 캡처한다. 구체적으로는, 시나리오 실행부(14)는, 화상 메모리(21)로부터, 화면 전체의 화상의 데이터를 취득한다. 덧붙여 판별 대상 화상이 디스플레이 장치에 표시된 것을 검지하기 위해서는, 예를 들면, 시나리오 실행부(14)는, 화면 내의 소정의 영역에 특정의 화상이 표시되고 있는지 아닌지를 판정한다.
다음으로, 단계 S4에서 시나리오 실행부(14)는 단계 S3에서 캡처한 화상에서 판별 대상 화상의 영역을 추출한다. 예를 들어 캡처한 화면상의 판별 대상 화상의 영역 위치(예를 들어 장방형 영역의 좌측 상단 및 우측 하단 각 포인트의 X 좌표 및 Y 좌표)가 이미 알려진 경우 시나리오 실행부(14)는 해당 좌표값을 이용하여 판별 대상 화상을 절취(cut)한다.
다음으로, 단계 S5에서, 시나리오 실행부(14)는, 단계 S4에서 추출한 판별 대상 화상을, 자동 판별부(15)에 건네준다. 자동 판별부(15)는 넘겨받은 화상(불량후보 화상)이 진실정보(불량)인지 허위정보(양호)인지를 판별한다.
다음으로, 단계 S6에서 시나리오 실행부(14)는 자동 판별부(15)에서 판별결과를 취득한다. 판별결과는 진실정보(불량) 또는 허위정보(양호) 중 하나이다.
다음으로, 단계 S7에서 시나리오 실행부(14)는 단계 S6에서 받은 판별결과에 따른 소정의 처리를 한다. 구체적으로는 시나리오 실행부(14)는 판별결과에 따른 마우스 이벤트 메시지 또는 키보드 이벤트 메시지를 생성하여 출력하도록 지시 장치(22)에 지시를 보낸다. 그 결과, 지시 장치(22)는, 판별결과에 대응한 액션을 과오검출 검증 장치(2)에 대해서 실시하는 것과 등가의 처리를 실행한다.
지시 장치(22)의 처리 예는 다음과 같다. 판별결과가 진실정보(불량)인 경우, 일례로서 지시 장치(22)는, 과오검출 검증 장치(2)의 화면상의 "진실정보(불량)"의 버튼이 표시되고 있는 영역으로 마우스 커서를 이동시킨 다음, 마우스의 왼쪽 버튼을 클릭하는 메시지를 과오검출 검증 장치(2)에 보낸다. 판별결과가 허위정보(양호)인 경우, 일례로서 지시 장치(22)는, 과오검출 검증 장치(2)의 화면상의 "허위정보(양호)"의 버튼이 표시되고 있는 영역으로 마우스 커서를 이동시킨 다음, 마우스의 왼쪽 버튼을 클릭하는 메시지를 과오검출 검증 장치(2)에 보낸다. 위와 같이 본 실시 형태에서의 버튼은 디스플레이 화면에 표시된 형태의 버튼을 포함한다.
도 4는 시나리오 실행부(14)가 실행하는 시나리오의 한 예를 나타내는 개략도이다. 이 그림에 나타내는 시나리오는 소정의 언어로 기술되어 있다. 이 시나리오는 예를 들어 시나리오 실행부가 갖추는 인터프리터 기능에 의해 순차적으로 해석되어 실행된다. 혹은 이 시나리오는 컴파일러에 의해 다른 형식의 지령 열(command)의 열(列)로 번역되어 실행되어도 된다. 이 시나리오는 도 3에 나타낸 흐름도의 처리순서에 대응하고 있다. 또한, 이 시나리오에는 편의상 행 번호를 매기고 있다. 이하, 이 시나리오에 따라서 설명한다.
시나리오의 제1행은 'while' 절이다. 그 조건은 "not end_of_images"이다. "end_of_images"는 상황을 나타내는 값을 갖는 변수로 판별 대상 화상이 종료되어 있고 존재하지 않은 것(종료 조건)을 나타낸다. 또, "not"은, 부정의 논리 연산자이다. 즉, 이 'while' 절은, 판별 대상의 화상이 남아 있는 한, 제1행의 좌측 컬리브레이스(Curlybraces)(좌중괄호) 및 제7행의 우측 컬리브레이스(우중괄호)로 둘러싸이는 부분의 시나리오를 실행해야 하는 것을 나타낸다.
시나리오의 제2행부터 제6행까지는 상기 'while' 절 조건이 참인 상태에서 순차적으로 실행되는 처리의 순서이다.
제2행은 'get_next_image_for_verification()' 함수를 실행하는 처리를 나타낸다. 이 함수는 도 3에서의 단계 S2의 처리에 대응한다. 이 함수를 실행한 결과로 과오검출 검증 장치(2)는 판정대상인 다음 화상(불량 후보 화상)을 화면에 표시하도록 한다. 이것에 의해, 화상 메모리(21)의 소정의 영역에는, 다음의 불량 후보 화상의 데이터가 격납(저장)된다.
제3행은 'capture_screen()' 함수를 실행하는 처리를 나타낸다. 이 함수는 도 3에서의 단계 S3의 처리에 대응한다. 이 함수를 실행함으로써, 자동 판별 처리 장치(1)은, 과오검출 검증 장치(2)가 표시한 화면을 캡처한다. 바꾸어 말하면, 자동 판별 처리 장치(1)은, 화상 메모리(21)내의 화상의 데이터를 취득한다.
제4행은 'extract_rectabgle_image_from_screen()' 함수를 실행하는 처리를 나타낸다. 이 함수는 도 3에서의 단계 S4의 처리에 대응한다. 즉, 자동 판별 처리 장치(1)은, 표시 화면 내의 소정의 영역의 화상을 추출한다. 본례에서는 추출해야 하는 직사각형 영역을 나타내는 좌표값을 이 함수에 대한 실제 인수로서 건네주었다. 하나의 예로서 장방형(직사각형)의 좌측 상단 모서리의 점의 화상이 (x,y)=(120,200)이며, 그 장방형의 우측 하단 모서리의 점의 화상이 (x,y)=(720,600)이다. 덧붙여 이러한 좌표치에 의해서 특정되는 장방형의 영역에, 판별 대상인 불량 후보 화상이 표시되고 있는 것을 전제로 하고 있다. 여기서 추출된 화상의 데이터는 화상 데이터를 격납(저장)하기 위한 2차원 행렬인 변수 'image_for_verification'에 대입된다.
제5행은 'automated_verification()' 함수를 실행하는 처리를 나타낸다. 이 함수는 도 3에서의 단계 S5부터 S6의 처리에 대응한다. 이 함수의 인수로서 전달되는 것은 상기 변수 'image_for_verification'에 저장되어 있는 판별 대상 화상의 데이터이다. 즉, 자동 판별 처리 장치(1)은 이 함수를 실행함으로써 판별대상 화상에 대한 판별처리를 하고 판별결과를 취득한다.
구체적으로는 이 함수의 실행에 의해 시나리오 실행부(14)가 자동 판별부(15)에 판별 대상 화상을 전달하고, 그 결과인 판별결과를 상기 함수의 반환값으로서 받는다. 'automated_verification()' 함수의 반환값은 변수 'result'에 대입된다. 'result' 의 값은, "양호" 또는 "불량"의 어느쪽인가를 나타내는 것이다.
제6행은 'input_process()' 함수를 실행하는 처리를 나타낸다. 이 함수는 도 3에서의 단계 S7의 처리에 대응한다. 이 함수의 인수로서 전달되는 것은 상기 변수 'result'의 값이다. 'input_process()' 함수의 처리는 인수로서 건네지는 판별결과(양호 또는 불량)에 따라 각각 적절한 마우스 이벤트 혹은 키보드 이벤트를 발생시킨다. 이 가상적인 마우스 조작 혹은 키보드 조작에 의해서, 자동 판별 처리 장치(1)은, 판별결과의 정보를 과오검출 검증 장치(2)에 올바르게 전할 수 있다. 또한, 마우스 조작이나 키보드 조작에 덧붙여, 터치 패널이나, 펜 탭이나, 음성에 의한 입력 방법을 이용해도 된다. 음성에 의한 입력의 경우에는 장치가 음성인식처리를 실시한다. 터치패널, 펜 탭, 음성에 의한 입력의 경우에도 'input_process()' 함수의 처리는 상기 마우스 이벤트나 키보드 이벤트와 같은 이벤트를 발생시킨다.
덧붙여 제1행의 'while' 절의 조건이 참인 한, 제2행부터 제6행까지의 처리는 반복된다. 이것은 도 4에서의 단계 S7의 처리 후에 단계 S1의 처리로 돌아가는 것에 대응하고 있다.
도 5는, 과오검출 검증 장치(2)가 표시하는 화면의 예를 나타내는 개략도이다. 도시된 바와 같이, 이 화면은, 판별 대상 화상을 표시하기 위한 장방형의 영역을 가지고 있다. 또한, 이 화면은 '불량' 혹은 '양호' 중 하나를 선택적으로 입력하기 위한 버튼을 포함하고 있다. 자동 판별 처리 장치(1)은, 이 화면에 포함되는 화상등의 데이터를, 화상 메모리(21)로부터 취득할 수 있다.
또 자동 판별 처리 장치(1)은 불량 버튼 또는 양호 버튼을 누르는 것과 등가 신호를 지시 장치(22)에 전달할 수 있다. 예를 들어 자동 판별 처리 장치(1)이 마우스 이벤트를 발생시킴으로써 불량 버튼의 영역 내 어딘가로 마우스 커서를 이동시킨 뒤 그 위치에서 마우스의 왼쪽을 클릭시킬 수 있다. 이 경우, "불량" 버튼이 눌렸을 경우와 같은 정보를, 과오검출 검증 장치(2)는 받는다. 또 자동 판별 처리 장치(1)이 마우스 이벤트를 발생시킴으로써 양호 버튼의 영역 내 어딘가로 마우스 커서를 이동시킨 뒤 그 위치에서 마우스의 왼쪽을 클릭시킬 수 있다. 이 경우, "양호" 버튼이 눌렸을 경우와 같은 정보를, 과오검출 검증 장치(2)는 받는다.
또한, 자동 판별 처리 장치(1)이 마우스 이벤트 대신 키보드 이벤트를 발생시킴으로써 포커스를 '불량' 버튼으로 이동시켜(예를 들어 '탭' 키 등이 이용됨) 결정 조작을 하는(예를 들어 '엔터' 키 등이 이용됨) 것이 가능하다. 이 경우, "불량" 버튼이 눌렸을 경우와 같은 정보를, 과오검출 검증 장치(2)는 받는다. 또, 자동 판별 처리 장치(1)이, 키보드의 이벤트를 발생시킴으로써, 포커스를 "양호" 버튼으로 이동시켜(위의 경우와 마찬가지로, 예를 들면 '탭' 키가 이용된다) 결정 조작을 하는(위의 경우와 같이, 예를 들면 '엔터' 키가 이용된다) 것이 가능하다. 이 경우, "양호" 버튼이 눌렸을 경우와 같은 정보를, 과오검출 검증 장치(2)는 받는다.
덧붙여 자동 판별 처리 장치(1)에서는, 자동 판별부(15)로부터 출력되는 판별결과와 시나리오 실행부에서 출력되는 이벤트(마우스나 키보드 등에 관한 이벤트)와의 관계를, 적절히 정의해 설정할 수 있게 되어 있다. 따라서 필요에 따라 이 판별결과와 이벤트와의 관계 설정만 변경해도 자동 판별 처리 장치(1)이 출력하는 신호(이벤트의 신호)를 바꿀 수 있다.
도 6은 시나리오 실행부(14)에서 특정 시나리오를 실행시켰을 경우의 시나리오 실행부(14)의 기능 구성의 개략을 나타내는 블록도이다. 도시된 바와 같이 시나리오를 실행함으로써 시나리오 실행부(14)는 화상 취득부(147) 및 판별결과 출력부(148)로서 기능한다. 화상 취득부(147)은, 과오검출 검증 장치(2)가 디스플레이 장치에 표시하는 화상을 디스플레이 장치에 표시를 하기 위한 매체인 화상 메모리(21)로부터 읽어낸다. 즉, 화상 취득부(147)은, 화상 취득 단계를 실행한다. 판별결과 출력부(148)은 자동 판별부(15)로부터 판별결과를 받아 그 판별결과에 따른 신호를 생성시킨다. 그 신호란, 과오검출 검증 장치(2)에 접속되는 입력 디바이스(마우스, 키보드, 터치 패널 등)를 개입시켜 정보를 입력하는 경우와 등가의 신호(이벤트)이다. 즉, 판별결과 출력부(148)은 판별결과 출력 단계를 실행한다. 이상 설명한 바와 같이 시나리오 기억부(13)에 기억되어 있는 시나리오는 시나리오 실행부(14)를 화상 취득부(147) 및 판별결과 출력부(148)로서 기능하게 하는 것이다.
본 실시 형태의 특징을 정리하면 다음과 같다.
화상 취득부(147)(시나리오 실행부(14))은, 외부장치(과오검출 검증 장치(2))가 디스플레이 장치에 표시하는 화상을 디스플레이 장치에 표시를 위한 매체(화상 메모리(21))로부터 읽어낸다.
자동 판별부(15)는, 화상 취득부(147) 가 읽어낸 상기 화상(판별 대상 화상)의 내용에 근거하는 판별 처리를 실시해 판별결과(판별 대상 화상에 대응하는 제품 등이 "양호"인지 "불량"인지)를 출력한다.
자동 판별부(15)는 화상과 판별결과와의 관계에 대해 기계학습이 끝난 모델을 보유하고 있어 상기 모델을 상기 화상에 적용함으로써 상기 판별 처리를 해도 된다. 기계 학습이 끝난 모델의 일례는, 뉴럴 네트워크(neural network)이다.
판별결과 출력부(148)(시나리오 실행부(14))은 상기 판별결과에 따른 신호로, 상기 외부장치에 접속되는 입력 디바이스(마우스, 키보드, 터치패널 등)를 통해 정보를 입력하는 경우와 등가의 신호(이벤트)를 생성시킨다.
상기 입력 디바이스는 마우스 또는 키보드 중 적어도 어느 것이어도 된다.
외부장치(과오검출 검증 장치(2))는 전자회로(프린트기판 등)를 광학적으로 읽어냄으로써 검출된 불량 후보 화상을 화상으로 표시하여 출력하는 것이어도 된다.
이 경우 자동 판별부(15)는 그 불량 후보 화상에 근거해 상기 전자회로가 양호 또는 불량 중 어느 쪽인지 판별하는 처리를 하여 상기 판별결과를 출력한다.
자동 판별 처리 장치(1)은 시나리오 실행부(14)를 갖추어도 된다. 시나리오 실행부(14)는 처리순서가 기술된 시나리오를 실행하는 것이다. 상기 시나리오는 시나리오 실행부(14)를 화상 취득부(147) 및 판별결과 출력부(148)으로서 기능하게 한다. 또한, 시나리오 실행부는 시나리오를 실행함으로써 외부장치(과오검출 검증 장치(2))가 디스플레이 장치에 상기 화상을 표시하기 위해 필요한 처리 절차를 수행하는 것이어도 된다. 구체적으로는 도 3에 나타낸 단계 S2의 처리가 그 처리 순서에 상당한다. 즉, 이 처리를 통해 시나리오 실행부(14)는 지시 장치(22)에 마우스 이벤트와 키보드 이벤트 등을 발생시킨다. 그러한 이벤트에 근거해, 과오검출 검증 장치(2)가, 소정의 동작을 한다. 그 결과로서 과오검출 검증 장치(2)는, 불량 후보 화상을 검증하기 위한 처리를 실행한다. 그리고 과오검출 검증 장치(2)는, 불량 후보 화상을 디스플레이 장치에 표시한다. 즉, 그 불량 후보 화상은, 화상 메모리(21)에 기입된다.
[제2 실시 형태］
다음으로, 제2 실시 형태에 대해 설명한다. 또한, 전술한 제1 실시 형태에서 이미 설명한 사항에 대해서는 이하에서 설명을 생략하는 경우가 있다. 여기에서는 본 실시 형태에 특유의 사항을 중심으로 설명한다.
도 7은 본 실시 형태에 의한 검사 시스템의 기능 구성을 나타내는 블록도이다. 도시된 바와 같이 검사 시스템(4)는 자동 판별 처리 장치(5)와 과오검출 검증 장치(2)와 광학 검사 장치(9)를 포함한다. 자동 판별 처리 장치(5)는, 자동 판별부(15)와 화상 취득부(247)과 판별결과 출력부(248)을 포함한다. 또한, 본 실시 형태에 의한 자동 판별 처리 장치(5)는 시나리오를 편집하기 위한 기능이나 시나리오를 기억하기 위한 기능이나 시나리오를 실행하기 위한 기능을 갖지 않는다. 본 실시 형태에서 화상 취득부(247)이나 판별결과 출력부(248)은 시나리오에 의해 실현되는 것이 아니라 각각 전용의 기능으로서 실현된다. 화상 취득부(247)이나 판별결과 출력부(248)은 전용의 전자회로 등을 이용해 실현되어도 되고, 컴퓨터와 프로그램을 이용해 실현되어도 된다. 화상 취득부(247)은, 과오검출 검증 장치(2)가 디스플레이 장치에 표시하는 화상을 디스플레이 장치에 표시를 위한 매체인 화상 메모리(21)로부터 읽어낸다. 판별결과 출력부(248)은 자동 판별부(15)로부터 판별결과를 받아 그 판별결과에 따른 신호를 생성시킨다. 그 신호란, 과오검출 검증 장치(2)에 접속되는 입력 디바이스(마우스, 키보드, 터치 패널 등)를 개입시켜 정보를 입력하는 경우와 등가의 신호(이벤트)이다. 또한, 검사 시스템(4)는 제1 실시 형태의 경우와 마찬가지로 입출력을 위한 기능의 일부로서 화상 메모리(21)과 지시 장치(22)를 포함한다.
제2 실시 형태에서는 자동 판별 처리 장치(5)가 시나리오를 이용하여 실현되는 것은 아니다. 그러나 과오검출 검증 장치(2)가 출력한 화상을 자동 판별 처리 장치(5)가 취득하거나 그 화상에 근거해 자동 판별 처리 장치(5)가 화상의 상황을 판별하거나 그 판별결과에 근거해 자동 판별 처리 장치(5)가 과오검출 검증 장치(2)를 조작하기 위한 지시를 실시하거나 하는 점은, 제1 실시 형태와 같다.
이상, 복수의 실시 형태를 설명했지만, 본 발명은 나아가 다음과 같은 변형 예로도 실시하는 것이 가능하다. 예를 들어 위의 각 실시 형태에서는 자동 판별 처리 장치는 화상메모리(21)로부터 즉 기억매체로부터 판별대상 화상을 취득했다. 그러나 기억 매체가 아니고, 화상을 전송하기 위한 전송 매체(전기케이블이나 광케이블 등)로부터, 판별 대상 화상을 취득하도록 해도 된다.
도 8은 제1 실시 형태나 제2 실시 형태에서의 자동 판별 처리 장치, 과오검출 검증 장치, 광학 검사 장치, 지시 장치 등 내부 구성의 예를 나타내는 블록도이다. 여기에 열거한 각 장치는 컴퓨터를 이용해 구현될 수 있다. 도시된 바와 같이, 그 컴퓨터는, 중앙처리 장치(901)과, RAM(902)와, 입출력 포트(903)과, 입출력 디바이스(904, 905 등)과, 버스(906)를 포함하여 구성된다. 컴퓨터 자체는 기존기술을 이용하여 실현 가능하다. 중앙처리 장치(901)은 RAM(902) 등에서 읽은 프로그램에 포함되는 명령을 실행한다. 중앙처리 장치(901)은 각 명령에 따라 RAM(902)에 데이터를 쓰거나 RAM(902)로부터 데이터를 읽기 시작하거나 산술연산이나 논리연산을 수행한다. RAM(902)는 데이터나 프로그램을 기억한다. RAM(902)에 포함되는 각 요소는, 주소를 가지고, 주소를 이용해 액세스 될 수 있는 것이다. 덧붙여 RAM는, '랜덤 액세스 메모리'의 약어이다. 입출력 포트(903)은 중앙처리 장치(901)이 외부 입출력 장치 등과 데이터를 주고받기 위한 포트이다. 입출력 디바이스(904, 905 등)은 입출력 디바이스이다. 입출력 디바이스(904, 905 등)는 입출력 포트(903)을 통해 중앙처리 장치(901)과의 사이에 데이터를 교환한다. 버스(906)은 컴퓨터 내부에서 사용되는 공통 통신로이다. 예를 들어 중앙처리 장치(901)은 버스(906)을 통해 RAM(902)의 데이터를 읽고 쓴다. 또, 예를 들면, 중앙 처리 장치(901)은, 버스(906)을 개입시켜 입출력 포트에 액세스 한다.
전술한 각 실시 형태에서의 자동 판별 처리 장치와 과오검출 검증 장치 및 광학 검사 장치, 지시 장치 등의 적어도 일부 기능을 컴퓨터 프로그램으로 실현할 수 있다. 이 경우 이 기능을 구현하기 위한 프로그램을 컴퓨터 판독 가능한 기록매체에 기록하고 이 기록매체에 기록된 프로그램을 컴퓨터 시스템에 읽혀 실행함으로써 실현해도 된다. 여기서 말하는 '컴퓨터 시스템'이란 OS나 주변기기 등의 하드웨어를 포함하는 것을 말한다. 또한 '컴퓨터 판독 가능한 기록매체'란 유연성 디스크, 광자기 디스크, ROM, CD-ROM, DVD-ROM, USB 메모리 등의 휴대용 매체, 컴퓨터 시스템에 내장되는 하드디스크 등의 기억장치를 말한다. 더욱이 '컴퓨터 판독 가능한 기록 매체'란, 인터넷 등의 네트워크나 전화 회선 등의 통신회선을 개입시켜 프로그램을 송신하는 경우의 통신선과 같이, 일시적으로, 동적으로, 프로그램을 보관 유지하는 것, 그 경우의 서버나 클라이언트가 되는 컴퓨터 시스템 내부의 휘발성 메모리와 같이, 일정시간 프로그램을 보유하고 있는 것도 포함해도 된다. 또 상기 프로그램은, 전술한 기능의 일부를 실현하기 위한 것이어도 좋고, 한층 더 전술한 기능을 컴퓨터 시스템에 이미 기록되어 있는 프로그램과 협동으로 실현될 수 있는 것이어도 된다.
이상, 설명한 실시 형태 중 하나(변형 예를 포함한다)에 의하면, 종래에는 사람이 행하고 있던 판별 작업을, 컴퓨터 등에 의한 자동적인 처리로 치환할 수 있다. 이것에 의해, 검사의 운영 비용을 삭감할 수 있다. 또 사람이 판별 작업을 하는 경우에 비해 판단 기준을 일정하게 갖출 수 있고 품질관리상으로도 효과적이다.
또, 자동 판별 처리 장치는, 과오검출 검증 장치(2)가 디스플레이 장치에 표시한 화상을 취득하는 것과 동시에, 의사적(疑似的)으로 과오검출 검증 장치(2)에 접속되는 입력 디바이스를 개입시켜 판별결과를 과오검출 검증 장치(2)에 건네준다. 이러한 방식을 채용하는 것으로써, 기존의 과오검출 검증 장치(2)를 변경하는 일 없이, 자동 판별의 구조(메카니즘)를 추가할 수 있다.
이상, 이 발명의 실시 형태에 대해 도면을 참조해 상술해 왔지만, 구체적인 구성은 이 실시 형태에 한정되는 것이 아니고, 이 발명의 요지를 벗어나지 않는 범위의 설계 등도 포함된다.
[산업상의 이용 가능성]
본 발명은 예를 들어 광학식 촬영수단을 이용한 검사 시스템 등에 이용할 수 있다. 단, 본 발명의 이용범위는 여기에 예시한 것에 한정되지 않는다.
1,5 자동 판별 처리 장치
2 과오검출 검증 장치
3, 4 검사 시스템
9 광학 검사 장치
12 시나리오 편집부
13 시나리오 기억부
14 시나리오 실행부
15 자동 판별부
21 화상 메모리
22 지시 장치
101 자동 판별 애플리케이션
102 과오검출 검증 애플리케이션
121 표시 출력부
122 마우스 이벤트 처리부
123 키보드 이벤트 처리부
141 운영 시스템
147,247 화상 취득부
148,248 판별결과 출력부
901 중앙 처리 장치
902 RAM
903 입출력 포트
904,905 입출력 디바이스
906 버스

Claims (10)

  1. 불량 후보 화상을 디스플레이 장치에 표시함과 동시에 2차 검사로서 입력 디바이스를 통해 상기 불량 후보 화상에 대한 판별결과의 정보를 취득하는 과오검출 검증 장치가 표시하는 상기 불량 후보 화상을 상기 디스플레이 장치로의 표시를 위한 매체로부터 독출하는 화상 취득부;
    상기 화상 취득부가 독출한 상기 불량 후보 화상의 내용에 근거한 자동 판별 처리를 실시해 판별결과를 출력하는 자동 판별부;
    상기 판별결과에 따른 신호이고, 상기 과오검출 검증 장치에 접속되는 입력 디바이스를 통해 상기 과오검출 검증 장치가 표시하는 화면에 포함되는 '불량' 버튼 혹은 '양호' 버튼 중 하나를 누르는 것과 등가의 신호를 생성시키는 판별결과 출력부;
    를 포함하는 자동 판별 처리 장치.
  2. 제1항에 있어서,
    상기 자동 판별부는 상기 불량 후보 화상과 상기 판별결과와의 관계에 대해 기계학습 완료된 모델을 보유하고 있으며 상기 모델을 상기 화상에 적용함으로써 상기 판별처리를 하는,
    자동 판별 처리 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 과오검출 검증 장치는 전자회로를 광학적으로 독출함으로써 검출된 상기 불량 후보 화상을 표시 출력하며,
    상기 자동 판별부는 상기 불량 후보 화상에 근거해 상기 전자회로가 양호 또는 불량 중 어느쪽인지 판별하는 처리를 하여 상기 판별결과를 출력하는,
    자동 판별 처리 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 입력 디바이스는 마우스 또는 키보드 중 적어도 하나이고,
    상기 입력 디바이스가 마우스일 경우에는, 상기 판별결과 출력부는 마우스 이벤트를 발생시킴으로써, 상기 "불량" 버튼 또는 상기 "양호" 버튼 중 어느 하나의 영역으로 마우스 커서를 이동시킨 후 마우스를 클릭시키는 신호를 생성시키고,
    상기 입력 디바이스가 키보드일 경우에는, 상기 판별결과 출력부는 키보드 이벤트를 발생시킴으로써, 포커스를 "불량" 버튼 또는 상기 "양호" 버튼 중 어느 하나로 이동시킨 후 결정 조작의 신호를 생성시키는,
    자동 판별 처리 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    처리순서가 기술된 시나리오를 실행하는 시나리오 실행부를 더 포함하며,
    상기 시나리오는 상기 시나리오 실행부를 상기 화상 취득부와 상기 판별결과 출력부로 기능하게 하는 것인,
    자동 판별 처리 장치.
  6. 제5항에 있어서,
    상기 시나리오 실행부는 상기 시나리오를 실행함으로써 또한 상기 과오 검출 검증 장치가 상기 디스플레이 장치에 상기 화상을 표시하기 위해서 필요한 처리 절차를 수행하는,
    자동 판별 처리 장치.
  7. 불량 후보 화상을 디스플레이 장치에 표시하는 동시에 2차 검사로 입력 디바이스를 통해서 상기 불량 후보 화상에 대한 판별결과 정보를 취득하는 과오검출 검증 장치가 표시하는 상기 불량 후보 화상을 상기 디스플레이 장치에 표시를 위한 매체에서 독출하는 화상 취득 단계;
    상기 화상 취득 단계에서 독출한 상기 불량 후보 화상의 내용에 근거하여 판별 처리를 실시하고 판별결과를 출력하는 자동 판별 단계;
    상기 판별결과에 따른 신호이며, 상기 과오검출 검증 장치에 접속되는 입력 디바이스를 통해서 상기 과오검출 검증 장치가 표시하는 화면에 포함되는 불량" 버튼 또는 "양호" 버튼 중 하나를 누르는 것과 등가인 신호를 생성시키는 판별결과 출력 단계;
    를 포함하는 자동 판별 처리 방법.
  8. 컴퓨터를
    제1항 내지 제6항 중 어느 한 항의 자동 판별 처리 장치로 기능하도록 하는 프로그램.
  9. 컴퓨터를
    제1항 내지 제6항 중 어느 한 항의 자동 판별 처리 장치로 기능하도록 하는 프로그램을 기록한 기록 매체.
  10. 광학적으로 촬영한 화상으로 1차 검사로서 불량 후보 화상을 검출하는 광학 검사 장치;
    상기 광학 검사 장치가 검출된 상기 불량 후보 화상을 디스플레이 장치에 표시하는 동시에, 2차 검사로서 입력 디바이스를 통해서 상기 불량 후보 화상에 대한 판별결과의 정보를 취득하는 과오검출 검증 장치;
    제1항 내지 제6항 중 어느 한 항의 자동 판별 처리 장치;
    를 포함하는 검사 시스템.

KR1020217036291A 2019-07-18 2020-07-14 자동 판별 처리 장치, 자동 판별 처리 방법, 검사 시스템, 프로그램 및 기록매체 KR20210148326A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2019-132725 2019-07-18
JP2019132725A JP6653929B1 (ja) 2019-07-18 2019-07-18 自動判別処理装置、自動判別処理方法、検査システム、プログラム、および記録媒体
PCT/JP2020/027347 WO2021010390A1 (ja) 2019-07-18 2020-07-14 自動判別処理装置、自動判別処理方法、検査システム、プログラム、および記録媒体

Publications (1)

Publication Number Publication Date
KR20210148326A true KR20210148326A (ko) 2021-12-07

Family

ID=69624562

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217036291A KR20210148326A (ko) 2019-07-18 2020-07-14 자동 판별 처리 장치, 자동 판별 처리 방법, 검사 시스템, 프로그램 및 기록매체

Country Status (6)

Country Link
US (1) US20220351361A1 (ko)
JP (1) JP6653929B1 (ko)
KR (1) KR20210148326A (ko)
CN (1) CN113994377A (ko)
TW (1) TWI842931B (ko)
WO (1) WO2021010390A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7423368B2 (ja) * 2020-03-23 2024-01-29 イビデン株式会社 不良検出装置及び不良検出方法
CN112036160B (zh) * 2020-03-31 2024-04-12 北京来也网络科技有限公司 结合rpa和ai的语料数据的获取方法和装置
JP7410402B2 (ja) * 2020-05-08 2024-01-10 ダイキン工業株式会社 外観検査システム
KR102494578B1 (ko) 2020-12-09 2023-02-01 순천대학교 산학협력단 딥 러닝을 이용한 ai 기반의 농기계 탈부착형 안전 탐지 방법 및 안전장치
KR102668045B1 (ko) * 2021-04-28 2024-05-22 주식회사 크레셈 기판 검사 방법
KR20240100887A (ko) * 2022-12-23 2024-07-02 엘지이노텍 주식회사 객체의 외관 검사 장치 및 객체의 외관 검사 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06218094A (ja) 1992-12-12 1994-08-09 Fuji Shoji:Kk 弾球遊戯機

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002031605A (ja) * 2000-07-13 2002-01-31 Hitachi Ltd 欠陥確認装置および自動外観検査装置
JP2003233576A (ja) * 2002-02-08 2003-08-22 Matsushita Electric Ind Co Ltd Ｕｓｂ通信装置
JP4018089B2 (ja) * 2004-08-03 2007-12-05 本田技研工業株式会社 表面状態を判定するためのデータマップを生成する方法および判定方法
KR20060082917A (ko) * 2005-01-13 2006-07-20 삼성전자주식회사 검사 장치
US8290239B2 (en) * 2005-10-21 2012-10-16 Orbotech Ltd. Automatic repair of electric circuits
JP2009150718A (ja) * 2007-12-19 2009-07-09 Nikon Corp 検査装置および検査プログラム
JP2015075412A (ja) * 2013-10-10 2015-04-20 不二エレクトロニクス株式会社 外観検査システム
CN108663377A (zh) * 2014-07-23 2018-10-16 塞米西斯科株式会社 不良检查系统及其方法
JP6218094B1 (ja) * 2016-04-15 2017-10-25 Ｊｅインターナショナル株式会社 検査方法、検査装置、検査プログラム、および記録媒体
JP2018059830A (ja) * 2016-10-06 2018-04-12 川崎重工業株式会社 外観検査方法
CN110036279B (zh) * 2016-12-06 2022-03-15 三菱电机株式会社 检查装置和检查方法
JP6924413B2 (ja) * 2017-12-25 2021-08-25 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06218094A (ja) 1992-12-12 1994-08-09 Fuji Shoji:Kk 弾球遊戯機

Also Published As

Publication number Publication date
CN113994377A (zh) 2022-01-28
TW202109028A (zh) 2021-03-01
WO2021010390A1 (ja) 2021-01-21
JP2021018104A (ja) 2021-02-15
JP6653929B1 (ja) 2020-02-26
US20220351361A1 (en) 2022-11-03
TWI842931B (zh) 2024-05-21

Similar Documents

Publication Publication Date Title
KR20210148326A (ko) 자동 판별 처리 장치, 자동 판별 처리 방법, 검사 시스템, 프로그램 및 기록매체
US10997045B2 (en) Universal automated testing of embedded systems
WO2016206113A1 (en) Technologies for device independent automated application testing
WO2019019628A1 (zh) 移动应用的测试方法、装置、测试设备及介质
CN108829371B (zh) 界面控制方法、装置、存储介质及电子设备
CN111428374A (zh) 零件缺陷检测方法、装置、设备及存储介质
CN114253841A (zh) 测试脚本生成方法、装置及存储介质
CN118193376A (zh) 一种测试方法、系统、电子设备、存储介质及测试终端
CN117951009A (zh) 一种测试脚本生成方法、装置、计算设备及存储介质
US20240168546A1 (en) Identifying a Place of Interest on a Physical Object Through its 3D Model in Augmented Reality View
JP7383999B2 (ja) 協調作業システム、解析装置および解析プログラム
US11070716B2 (en) Image sensor system, image sensor, data generation method of image sensor in image sensor system, and non-transitory computer-readable recording medium
JP2023533297A (ja) 連続する動的スキャンのセグメンテーション
CN112559342A (zh) 一种画面测试图像的获取方法、装置、设备及存储介质
CN115917446A (zh) 用于机器人过程自动化的系统和方法
WO2024095721A1 (ja) 画像処理装置および画像処理方法
JP7528669B2 (ja) 情報処理装置及び情報処理プログラム
WO2024210106A1 (ja) 画像処理システムおよびコンピュータプログラム
WO2024210107A1 (ja) 画像処理システムおよびコンピュータプログラム
JP7520589B2 (ja) 作業動作保証システム
CN111931812A (zh) 视觉算法的测试方法、装置、存储介质和电子设备
CN117033239A (zh) 一种控件匹配方法、装置、计算机设备及存储介质
CN117112034A (zh) 驱动控制方法、装置、电子设备及计算机存储介质
CN118535001A (zh) 用于在虚拟环境中交互的方法、装置、设备和存储介质
JP2023003207A (ja) プログラム、情報処理装置、情報処理方法及び学習モデルの生成方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal