KR20210119883A - 이상 검출 장치 및 이상 검출 방법 - Google Patents

이상 검출 장치 및 이상 검출 방법 Download PDF

Info

Publication number
KR20210119883A
KR20210119883A KR1020210032593A KR20210032593A KR20210119883A KR 20210119883 A KR20210119883 A KR 20210119883A KR 1020210032593 A KR1020210032593 A KR 1020210032593A KR 20210032593 A KR20210032593 A KR 20210032593A KR 20210119883 A KR20210119883 A KR 20210119883A
Authority
KR
South Korea
Prior art keywords
image data
abnormality
unit
abnormal
pseudo
Prior art date
Application number
KR1020210032593A
Other languages
English (en)
Inventor
모토이 오카다
Original Assignee
도쿄엘렉트론가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 도쿄엘렉트론가부시키가이샤 filed Critical 도쿄엘렉트론가부시키가이샤
Publication of KR20210119883A publication Critical patent/KR20210119883A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/91—Investigating the presence of flaws or contamination using penetration of dyes, e.g. fluorescent ink
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
    • B05B12/00—Arrangements for controlling delivery; Arrangements for controlling the spray area
    • B05B12/08—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
    • B05B12/00—Arrangements for controlling delivery; Arrangements for controlling the spray area
    • B05B12/08—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means
    • B05B12/084—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means responsive to condition of liquid or other fluent material already sprayed on the target, e.g. coating thickness, weight or pattern
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C—APPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C5/00—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

본 발명은, 이상을 고정밀도로 검출하는 것이다. 제1 생성부는, 액체 공급부를 구비한 설비이며, 액체 공급부로부터 액체를 정상으로 공급하는 설비를 촬영한 정상 화상 데이터의 화상의 랜덤한 위치에 대략 원형의 화상을 합성한 의사 이상 화상 데이터를 생성한다. 제2 생성부는, 정상 화상 데이터 및 의사 이상 화상 데이터의 학습을 행하여, 설비의 정상, 이상을 판정하는 판정 모델을 생성한다. 취득부는, 설비를 촬영한 화상 데이터를 취득한다. 검출부는, 판정 모델을 사용해서 취득부에 의해 취득된 화상 데이터로부터 설비의 이상을 검출한다.

Description

이상 검출 장치 및 이상 검출 방법{ABNORMALITY DETECTION APPARATUS AND ABNORMALITY DETECTION METHOD}
본 개시는, 이상 검출 장치 및 이상 검출 방법에 관한 것이다.
특허문헌 1은, 검사 영역을 갖는 교시용 화상의 검사 영역의 화상으로부터 특징량을 변화시킨 변화 검사 영역 화상을 생성하여, 교시용 화상에 변화 검사 영역 화상을 배치한 신규 결함 추가 교시용 화상을 생성하는 방법을 개시한다.
일본 특허 공개 제2006-337152호 공보
본 개시는, 이상을 고정밀도로 검출하는 기술을 제공한다.
본 개시의 일 양태에 의한 이상 검출 장치는, 제1 생성부와, 제2 생성부와, 취득부와, 검출부를 갖는다. 제1 생성부는, 액체 공급부를 구비한 설비이며, 액체 공급부로부터 액체를 정상으로 공급하는 설비를 촬영한 정상 화상 데이터의 화상의 랜덤한 위치에 대략 원형의 화상을 합성한 의사 이상 화상 데이터를 생성한다. 제2 생성부는, 정상 화상 데이터 및 의사 이상 화상 데이터의 학습을 행하여, 설비의 정상, 이상을 판정하는 판정 모델을 생성한다. 취득부는, 설비를 촬영한 화상 데이터를 취득한다. 검출부는, 판정 모델을 사용해서 취득부에 의해 취득된 화상 데이터로부터 설비의 이상을 검출한다.
본 개시에 의하면, 이상을 고정밀도로 검출할 수 있다.
도 1은 실시 형태에 따른 감시 대상의 일례를 도시하는 개략도이다.
도 2는 실시 형태에 따른 감시 대상을 촬영한 화상의 일례를 도시하는 도면이다.
도 3은 실시 형태에 따른 이상 검출 장치의 개략적인 구성을 도시한 블록도이다.
도 4는 실시 형태에 따른 의사 이상 화상 데이터의 일례를 도시하는 도면이다.
도 5는 실시 형태에 따른 이상 검출의 일례를 모식적으로 도시한 도면이다.
도 6은 실시 형태에 따른 생성 처리의 흐름의 일례를 나타내는 흐름도이다.
도 7은 실시 형태에 따른 이상 검출 처리의 흐름의 일례를 나타내는 흐름도이다.
이하, 도면을 참조하여 본원이 개시하는 이상 검출 장치 및 이상 검출 방법의 실시 형태에 대해서 상세하게 설명한다. 또한, 본 실시 형태에 의해, 개시하는 이상 검출 장치 및 이상 검출 방법이 한정되는 것은 아니다.
그런데, AI(Artificial Intelligence) 등의 학습 모델을 이용한 이상의 검출이 검토되어 있다. 이 학습 모델을 이용한 이상의 검출에서는, 감시 대상이 정상으로 동작하고 있을 경우의 정상 화상 데이터만을 학습 모델에 학습시킨 경우, 좁은 범위의 이상을 고정밀도로 검출할 수 없는 경우가 있다. 그래서, 감시 대상에 이상이 발생한 경우의 이상 화상 데이터도 학습 모델에 학습시킬 수 있다. 그러나, 현실에는, 감시 대상에 이상이 발생하는 개소가 다양하게 있다. 또한, 감시 대상에 이상이 발생하는 일이 드문 경우가 있다. 이 때문에, 감시 대상에 실제로 이상이 발생한 이상 화상 데이터로부터 학습에 필요로 되는 충분한 이상 화상 데이터를 취득하는 것이 어려울 경우가 있다. 그 결과, 학습 모델을 이용한 이상의 검출에서는, 이상을 고정밀도로 검출할 수 없는 경우가 있다.
그래서, 이상을 고정밀도로 검출할 수 있는 기술이 기대되고 있다.
[실시 형태]
[감시 대상]
실시 형태에 대해서 설명한다. 이하에서는, 이상 검출 장치에 의해 감시 대상의 이상의 발생을 검출하는 경우를 예로 들어 설명한다. 또한, 이하에서는, 감시 대상을, 액체를 토출하는 도포 유닛으로 한 경우를 예로 들어 설명한다. 도 1은, 실시 형태에 따른 감시 대상의 일례를 도시하는 개략도이다. 도 1에는, 감시 대상으로서, 액체를 토출하는 도포 유닛(10)이 도시되어 있다. 도포 유닛(10)은 액체 공급부를 구비한 설비의 일례이다. 도포 유닛(10)은, 예를 들어 레지스트, 순수, 용제 등의 액체를 사용하는 도포 장치나 현상 장치 등의 액 처리 장치에 마련된다.
도 1에는, 액체를 토출하는 대상면(S)이 도시되어 있다. 대상면(S)은, 예를 들어 반도체 웨이퍼 등의 기판 상면의 액체를 도포하는 면이다. 도포 유닛(10)은 대상면(S)의 주위에 배치되어 있다. 도포 유닛(10)은, 암(11)과, 지지부(12)를 갖는다. 암(11)은 지지부(12)에 지지되어 있다. 암(11)은, 선단(11a)이 대상면(S) 상에 위치하도록 배치되어 있다. 암(11)의 선단(11a)에는, 액체의 토출구인 노즐(13)이 마련되어 있다. 노즐(13)은, 암(11) 및 지지부(12)의 내부에 마련된 도시하지 않은 배관을 통해서, 액체의 공급원, 밸브 및 정량 펌프를 포함하는 도시하지 않은 공급계에 접속되어 있다. 도포 유닛(10)은, 공급계로부터 공급된 액체를 노즐(13)로부터 토출한다. 또한, 도포 유닛(10)은, 이동 기구를 구비하여, 암(11)을 수평 방향 및 수직 방향으로 이동 가능하게 해도 된다. 또한, 도포 유닛(10)은, 지지부(12)를 회전시킴으로써 암(11)의 선단(11a)이 대상면(S) 상으로 되는 도포 위치와, 대상면(S) 상으로부터 벗어난 대기 위치로 이동 가능하게 해도 된다.
도포 유닛(10)의 주위에는, 카메라(20)가 배치되어 있다. 카메라(20)는, 화각 내에 암(11), 노즐(13) 및 대상면(S)이 들어가게 배치되어, 암(11)이나 노즐(13)을 측면에서 본 화상을 촬영 가능하게 되어 있다. 카메라(20)는, 도포 유닛(10)이 대상면(S)에 액체를 토출하는 도포 처리 중의 노즐(13)을 구비한 암(11) 및 대상면(S)의 상황을, 소정의 프레임 레이트(예를 들어, 30fps)로 촬영한다.
도 2는, 실시 형태에 따른 감시 대상을 촬영한 화상의 일례를 도시하는 도면이다. 도 2에는, 카메라(20)에 의해 촬영된 화상의 일례가 도시되어 있다. 도 2에 도시하는 화상에는, 암(11), 노즐(13), 대상면(S)이 찍혀 있다. 도 2에서는, 노즐(13)로부터 액체가 토출되어 대상면(S)에 액체의 도포가 행하여지고 있다.
카메라(20)에 의해 촬영된 화상의 화상 데이터는, 이상 검출 장치에 출력되어, 이상의 검출이 행하여진다.
[이상 검출 장치의 구성]
이어서, 이상 검출 장치에 대해서 상세하게 설명한다. 도 3은, 실시 형태에 따른 이상 검출 장치(50)의 개략적인 구성을 도시한 블록도이다. 이상 검출 장치(50)는, 예를 들어 퍼스널 컴퓨터나 서버 컴퓨터 등의 컴퓨터이다. 이상 검출 장치(50)는, 외부 I/F(interface)부(51)와, 표시부(52)와, 입력부(53)와, 기억부(54)와, 제어부(55)를 갖는다. 또한, 이상 검출 장치(50)는, 도 3에 도시한 기능부 이외에도 기지의 컴퓨터가 갖는 각종 기능부를 가져도 된다.
외부 I/F부(51)는, 다른 장치와 정보를 입출력하는 인터페이스이다. 예를 들어, 외부 I/F부(51)는, 예를 들어 USB(Universal Serial Bus) 포트나, LAN 포트 등의 통신 인터페이스이다. 외부 I/F부(51)는, 카메라(20)로부터 촬영된 화상의 화상 데이터가 입력된다.
표시부(52)는 각종 정보를 표시하는 표시 디바이스이다. 표시부(52)로서는, LCD(Liquid Crystal Display)나 CRT(Cathode Ray Tube) 등의 표시 디바이스를 들 수 있다. 표시부(52)는 각종 정보를 표시한다.
입력부(53)는 각종 정보를 입력하는 입력 디바이스이다. 예를 들어, 입력부(53)로서는, 마우스나 키보드 등의 입력 디바이스를 들 수 있다. 입력부(53)는, 관리자 등으로부터의 조작 입력을 접수하고, 접수한 조작 내용을 나타내는 조작 정보를 제어부(55)에 입력한다.
기억부(54)는 각종 데이터를 기억하는 기억 디바이스이다. 예를 들어, 기억부(54)는, 하드 디스크, SSD(Solid State Drive), 광 디스크 등의 기억 장치이다. 또한, 기억부(54)는, RAM(Random Access Memory), 플래시 메모리, NVSRAM(Non Volatile Static Random Access Memory) 등의 데이터를 재기입 가능한 반도체 메모리이어도 된다.
기억부(54)는, 제어부(55)에서 실행되는 OS(Operating System)나 각종 프로그램을 기억한다. 예를 들어, 기억부(54)는, 후술하는 생성 처리나 이상 검출 처리를 실행할 프로그램을 포함하는 각종 프로그램을 기억한다. 또한, 기억부(54)는, 제어부(55)에서 실행되는 프로그램에서 사용될 각종 데이터를 기억한다. 예를 들어, 기억부(54)는, 모델 생성용 데이터(60)와, 모델 데이터(61)를 기억한다. 또한, 기억부(54)는, 상기에 예시한 데이터 이외에도, 다른 데이터를 함께 기억할 수도 있다.
모델 생성용 데이터(60)는, 후술하는 판정 모델의 생성에 사용할 데이터이다. 모델 생성용 데이터(60)에는, 판정 모델의 생성에 사용할 각종 데이터가 포함된다. 예를 들어, 모델 생성용 데이터(60)는, 복수의 정상 화상 데이터(60a)와, 복수의 실제 이상 화상 데이터(60b)와, 복수의 의사 이상 화상 데이터(60c)를 포함한다.
정상 화상 데이터(60a)는, 정상으로 동작하는 감시 대상을 촬영한 화상의 화상 데이터이다. 예를 들어, 정상 화상 데이터(60a)는, 도포 유닛(10)이 드리핑, 드로핑 등의 이상을 발생시키지 않고 액체를 토출한 화상의 화상 데이터이다. 여기서, 「드리핑」이란, 노즐(13)이나 암(11)에 액체의 액적이 매달린 상태를 말한다. 또한, 「드로핑」이란, 노즐(13)이나 암(11)으로부터 액체가 흘러내린 상태를 말한다. 예를 들어, 도포 유닛(10)이 이상을 발생시키지 않고 액체를 토출한 일련의 동작을 카메라(20)로 촬영한 복수의 화상 데이터를 각각 정상 화상 데이터(60a)로서 저장한다.
실제 이상 화상 데이터(60b)는, 이상이 발생한 감시 대상을 촬영한 화상의 화상 데이터이다. 예를 들어, 실제 이상 화상 데이터(60b)는, 도포 유닛(10)이 드리핑, 드로핑 등의 이상을 발생시켰을 때의 화상 화상 데이터이다. 예를 들어, 도포 유닛(10)에서 이상이 발생했을 때 카메라(20)로 촬영한 화상 데이터를 각각 실제 이상 화상 데이터(60b)로서 저장한다.
의사 이상 화상 데이터(60c)는, 이상이 발생했을 때의 화상을 의사적으로 생성한 화상 데이터이다. 의사 이상 화상 데이터(60c)의 상세는 후술한다.
모델 데이터(61)는, AI 등의 학습 모델을 이용해서 생성한 판정 모델을 기억한 데이터이다.
제어부(55)는 이상 검출 장치(50)를 제어하는 디바이스이다. 제어부(55)로서는, CPU(Central Processing Unit), MPU(Micro Processing Unit) 등의 전자 회로나, ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 집적 회로를 채용할 수 있다. 제어부(55)는, 각종 처리 수순을 규정한 프로그램이나 제어 데이터를 저장하기 위한 내부 메모리를 갖고, 이들에 의해 다양한 처리를 실행한다. 제어부(55)는, 각종 프로그램이 동작함으로써 각종 처리부로서 기능한다. 예를 들어, 제어부(55)는, 제1 생성부(70)와, 접수부(71)와, 제2 생성부(72)와, 취득부(73)와, 검출부(74)와, 출력부(75)를 갖는다.
그런데, 학습 모델을 이용한 이상의 검출에서는, 정상 화상 데이터(60a)만을 학습 모델에 학습시킨 경우, 좁은 범위의 이상을 고정밀도로 검출할 수 없는 경우가 있다. 그래서, 감시 대상에 이상이 발생한 경우의 실제 이상 화상 데이터(60b)도 학습 모델에 학습시킬 수 있다. 그러나, 현실에는, 감시 대상에 이상이 발생하는 개소가 다양하며, 또한 감시 대상에 이상이 발생하는 일이 드문 경우가 있다. 예를 들어, 도포 유닛(10)은, 노즐(13)로부터 드리핑, 드로핑 등의 이상을 발생시키는 경우가 있다. 또한, 도포 유닛(10)은, 암(11)의 내부의 배관으로부터 누액이 발생해서 암(11)으로부터 드리핑, 드로핑 등의 이상을 발생시키는 경우가 있다. 도포 유닛(10)은, 드리핑, 드로핑 등의 이상을 발생시키지 않도록 설계된다. 이 때문에, 도포 유닛(10)은 이상이 발생하는 것이 드물다. 예를 들어, 암(11)에서 이상을 발생시키는 케이스는 드물다. 이 때문에, 감시 대상에 실제로 이상이 발생한 이상 화상 데이터를 취득하는 것이 어려울 경우가 있다. 예를 들어, 암(11)의 다양한 개소에서 실제로 드리핑, 드로핑 등의 이상이 발생하고 있는 화상 데이터를 취득하는 것은 곤란하다. 그 결과, 학습 모델을 이용한 이상의 검출에서는, 이상을 고정밀도로 검출할 수 없는 경우가 있다.
그래서, 제1 생성부(70)는, 정상 화상 데이터(60a)의 화상의 일부를 변경한 의사 이상 화상 데이터(60c)를 생성한다. 예를 들어, 제1 생성부(70)는, 정상 화상 데이터(60a)의 화상의 랜덤한 위치에 대략 원형의 화상을 합성한 의사 이상 화상 데이터(60c)를 생성한다. 대략 원형은, 원형이나 타원형을 포함한다. 일례로서, 제1 생성부(70)는, 정상 화상 데이터(60a)의 화상에 대하여, 랜덤 소거(Random erasing)를 행하여, 랜덤한 위치에 대략 원형의 화상을 합성한 의사 이상 화상 데이터(60c)를 생성한다. 여기서, 랜덤 소거는, 통상, 판정의 로버스트성을 향상시킬 목적으로, 교사 데이터가 되는 화상의 랜덤한 일부 직사각형 영역을 마스크한 화상을 생성해서 정상으로 하는 교사 데이터를 증가시키는 기술이다. 한편, 본 실시 형태에서는, 랜덤 소거를 사용하여, 정상 화상 데이터(60a)의 화상에, 드리핑, 드로핑 등의 이상과 유사한 형상의 대략 원형의 화상을 합성해서 의사적으로 이상인 의사 이상 화상 데이터(60c)를 생성한다.
제1 생성부(70)는, 정상으로 동작하는 감시 대상의 일련의 동작을 촬영한 복수의 정상 화상 데이터 각각에 대해서 화상의 일부를 변경한 복수의 의사 이상 화상 데이터를 생성한다. 예를 들어, 제1 생성부(70)는, 도포 유닛(10)이 이상을 발생시키지 않고 액체를 토출한 일련의 동작을 촬영한 복수의 정상 화상 데이터(60a) 각각에 대해서 화상의 일부를 변경한 복수의 의사 이상 화상 데이터(60c)를 생성한다. 예를 들어, 본 실시 형태에서는, 도포 유닛(10)이 이상을 발생시키지 않고 액체를 토출한 일련의 동작을 10회분, 카메라(20)로 촬영한 복수의 화상 데이터를 각각 정상 화상 데이터(60a)로서 기억한다. 제1 생성부(70)는, 10회분 중 1회분의 일련의 동작의 정상 화상 데이터(60a)에 대하여, 1개의 정상 화상 데이터(60a)의 화상에 1개 랜덤한 위치에 대략 원형의 화상을 합성한 의사 이상 화상 데이터(60c)를 생성한다.
여기서, 감시 대상은, 이상이 발생하는 개소가 특정 범위에 치우치는 경우가 있다. 또한, 화상 내에서의 이상 개소의 사이즈가 특정 사이즈 이하로 치우치는 경우가 있다. 예를 들어, 도포 유닛(10)은, 노즐(13)이나 암(11)에서 드리핑, 드로핑 등의 이상을 발생시킨다. 또한, 드리핑, 드로핑은, 사이즈가 작아 좁은 범위에서 발생한다.
그래서, 접수부(71)는, 화상을 합성할 범위 및 합성할 화상의 사이즈의 지정을 접수한다. 예를 들어, 접수부(71)는, 화상을 합성할 범위 및 합성할 화상의 사이즈를 지정하는 화면을 표시부(52)에 표시시키고, 입력부(53)로부터 화상을 합성할 범위 및 합성할 화상의 사이즈의 지정을 접수한다.
제1 생성부(70)는, 접수부(71)에서 지정된 사이즈 이하이고, 지정된 범위 내의 랜덤한 위치에 대략 원형의 화상을 합성한 의사 이상 화상 데이터(60c)를 생성한다. 예를 들어, 노즐(13)이나 암(11)으로부터의 드리핑, 드로핑을 이상으로서 검출하는 경우, 관리자는, 노즐(13)이나 암(11)을 포함하는 범위와, 드리핑, 드로핑의 액적의 최대 사이즈를 지정한다. 제1 생성부(70)는, 지정된 노즐(13)이나 암(11)을 포함하는 범위 내의 랜덤한 위치에, 지정된 사이즈 이하이고 대략 원형의 화상을 합성한 의사 이상 화상 데이터(60c)를 생성한다.
도 4는, 실시 형태에 따른 의사 이상 화상 데이터(60c)의 일례를 도시하는 도면이다. 도 4에는, 도 2에 도시한 화상에, 백색으로 대략 원형의 화상(80)을 합성한 의사 이상 화상이 도시되어 있다. 도 4에서는, 암(11)의 하면 부근에 백색으로 대략 원형의 화상(80)이 합성되어 있다.
또한, 합성할 화상(80)의 색은, 백색에 한정되는 것은 아니다. 합성할 화상(80)의 색은, 미리 정해도 된다. 또한, 합성할 화상(80)의 색은, 정상 화상 데이터(60a)로부터 정해도 된다. 예를 들어, 제1 생성부(70)는, 정상 화상 데이터(60a)의 화상의 화소의 휘도값을 높은 순으로 배열했을 경우에 상위로부터 소정의 비율(예를 들어, 20％)의 휘도값을 휘도로 한 대략 원형의 화상(80)을 합성한 의사 이상 화상 데이터(60c)를 생성해도 된다. 이와 같이, 정상 화상 데이터(60a)로부터 합성할 화상(80)의 색을 정함으로써, 실제의 화상과 유사한 색으로 화상(80)을 합성할 수 있다. 이와 같이, 실제의 화상과 유사한 색으로 화상(80)을 합성함으로써, 실제로 발생하는 이상을 고정밀도로 검출할 수 있다.
제2 생성부(72)는, 복수의 정상 화상 데이터(60a), 복수의 실제 이상 화상 데이터(60b) 및 복수의 의사 이상 화상 데이터(60c)의 학습을 행하여, 감시 대상의 정상, 이상을 판정하는 판정 모델을 생성한다. 예를 들어, 제2 생성부(72)는, 복수의 정상 화상 데이터(60a)에 정상이라는 부가 정보를 첨부하고, 복수의 실제 이상 화상 데이터(60b) 및 복수의 의사 이상 화상 데이터(60c)에 이상이라는 부가 정보를 첨부한다. 예를 들어, 판정 모델은, 화상 데이터가 입력되면, 화상 데이터를 출력하는 모델로 한다. 제2 생성부(72)는, 예를 들어 Opposite Learning에 의해, 정상인 화상 데이터의 재현성을 높게 하고, 이상인 화상 데이터의 재현성이 낮아지도록 학습을 행하여, 정상인 화상 데이터에 대해서는 재현성이 높은 화상 데이터를 출력하는 판정 모델을 생성한다. 판정 모델은, 의사 이상 화상 데이터(60c)의 학습을 행함으로써, 현실에는 발생하는 일이 드문 이상을 의사 이상 화상 데이터(60c)로부터 학습할 수 있다. 이 때문에, 판정 모델의 판정 정밀도가 향상된다. 또한, 제2 생성부(72)는, 복수의 실제 이상 화상 데이터(60b)를 사용하지 않고, 복수의 정상 화상 데이터(60a) 및 복수의 의사 이상 화상 데이터(60c)의 학습을 행하여 판정 모델을 생성해도 된다. 그러나, 정상 화상 데이터(60a) 및 의사 이상 화상 데이터(60c)에 더하여, 실제 이상 화상 데이터(60b)를 학습한 판정 모델을 생성함으로써, 판정 모델은, 정상 데이터와 이상 데이터에서 재현성의 차이를 크게 할 수 있어, 판정 정밀도가 향상된다.
제2 생성부(72)는, 생성한 판정 모델의 데이터를 모델 데이터(61)로서 기억부(54)에 저장한다.
취득부(73)는, 감시 대상을 촬영한 화상 데이터를 취득한다. 예를 들어, 취득부(73)는, 카메라(20)로부터 출력된 화상 데이터를 외부 I/F부(51)를 통해서 취득한다.
검출부(74)는, 모델 데이터(61)의 판정 모델을 사용해서 취득부(73)에 의해 취득된 화상 데이터로부터 감시 대상의 이상을 검출한다. 도 5는, 실시 형태에 따른 이상 검출의 일례를 모식적으로 도시한 도면이다. 예를 들어, 검출부(74)는, 취득된 화상 데이터를 판정 모델에 입력한다. 판정 모델은, 화상 데이터를 출력한다. 출력된 화상 데이터는, 정상인 화상 데이터일 경우, 입력된 화상 데이터의 재현성이 높고, 이상인 화상 데이터일 경우, 재현성이 낮다. 검출부(74)는, 출력된 화상 데이터와 입력한 화상 데이터를 비교해서 차분을 구한다. 예를 들어, 검출부(74)는, 차분으로서 각 화소의 화소값의 변화를 구한다. 검출부(74)는, 구한 차분이 소정의 역치 이내인 경우, 정상이라고 판정하고, 차분이 역치를 초과한 경우, 이상이라고 판정함으로써, 이상을 검출한다.
또한, 판정 모델은 다음과 같은 모델이어도 된다. 예를 들어, 제2 생성부(72)는, 복수의 정상 화상 데이터(60a)에 정상이라는 부가 정보를 첨부하고, 복수의 실제 이상 화상 데이터(60b) 및 복수의 의사 이상 화상 데이터(60c)에 이상이라는 부가 정보를 첨부한다. 그리고, 제2 생성부(72)는, 복수의 정상 화상 데이터(60a), 복수의 실제 이상 화상 데이터(60b) 및 복수의 의사 이상 화상 데이터(60c)를 사용해서 딥 러닝 등의 기계 학습을 행하여, 입력된 화상 데이터의 정상, 이상을 판정해서 출력하는 판정 모델을 생성한다. 검출부(74)는, 취득된 화상 데이터를 판정 모델에 입력한다. 판정 모델은, 입력된 화상 데이터가 정상인지 이상인지를 출력한다. 검출부(74)는, 판정 모델의 정상, 이상의 출력 결과를 사용해서 이상을 검출한다. 이 경우도, 제2 생성부(72)는, 복수의 실제 이상 화상 데이터(60b)를 사용하지 않고, 복수의 정상 화상 데이터(60a) 및 복수의 의사 이상 화상 데이터(60c)의 학습을 행하여 판정 모델을 생성해도 된다. 그러나, 정상 화상 데이터(60a) 및 의사 이상 화상 데이터(60c)에 더하여, 실제 이상 화상 데이터(60b)를 학습한 판정 모델을 생성함으로써, 생성한 판정 모델은, 정상, 이상의 판정 정밀도가 향상된다.
그런데, 카메라(20)로 촬영한 화상 데이터에 일시적으로 노이즈 등이 발생하여, 도포 유닛(10)이 정상임에도 불구하고, 도포 유닛(10)에 이상이 발생했다고 검출되는 경우가 있다. 도포 유닛(10)이 액체를 도포하는 일련의 동작을 카메라(20)로 촬영한 경우, 드리핑, 드로핑 등의 이상은, 복수의 화상 데이터에서 검출된다. 그래서, 검출부(74)는, 연속해서 촬영된 소정수의 화상 데이터에서 이상이라고 판정된 경우, 감시 대상에 이상이 발생했다고 검출해도 된다. 예를 들어, 검출부(74)는, 연속해서 촬영된 3장의 화상 데이터에서 이상이라고 판정된 경우, 도포 유닛(10)에 이상이 발생했다고 검출한다. 이에 의해, 이상의 판정 정밀도가 향상된다.
출력부(75)는 검출부(74)의 검출 결과를 출력한다. 예를 들어, 출력부(75)는, 검출부(74)에 의해 이상이 검출된 경우, 이상이 발생한 취지를 표시부(52)에 출력한다. 또한, 출력부(75)는, 검출부(74)의 판정 결과의 데이터를 다른 장치에 출력해도 된다. 예를 들어, 출력부(75)는, 검출부(74)에 의해 이상이라고 판정된 경우, 도포 유닛(10)이 탑재된 장치를 관리하는 관리 장치에, 이상이 발생한 취지의 데이터를 출력해도 된다.
[처리의 흐름]
이어서, 실시 형태에 따른 이상 검출 장치(50)가 실시하는 각종 처리의 흐름을 설명한다. 우선, 실시 형태에 따른 이상 검출 장치(50)가 판정 모델을 생성하는 생성 처리의 흐름을 설명한다. 도 6은, 실시 형태에 따른 생성 처리의 흐름의 일례를 나타내는 흐름도이다.
제1 생성부(70)는, 정상 화상 데이터(60a)의 화상의 일부를 변경한 의사 이상 화상 데이터(60c)를 생성한다(스텝 S10). 예를 들어, 제1 생성부(70)는, 정상 화상 데이터(60a)의 화상의 랜덤한 위치에 대략 원형의 화상을 합성한 의사 이상 화상 데이터(60c)를 생성한다.
제2 생성부(72)는, 정상 화상 데이터(60a), 실제 이상 화상 데이터(60b) 및 의사 이상 화상 데이터(60c)의 학습을 행하여, 감시 대상의 정상, 이상을 판정하는 판정 모델을 생성한다(스텝 S11). 제2 생성부(72)는, 생성한 판정 모델의 데이터를 모델 데이터(61)로서 기억부(54)에 저장하고(스텝 S12), 처리를 종료한다.
이어서, 실시 형태에 따른 이상 검출 장치(50)가 판정 모델을 사용해서 이상을 검출하는 이상 검출 처리의 흐름을 설명한다. 도 7은, 실시 형태에 따른 이상 검출 처리의 흐름의 일례를 나타내는 흐름도이다.
취득부(73)는 감시 대상을 촬영한 화상 데이터를 취득한다(스텝 S20). 예를 들어, 취득부(73)는, 카메라(20)로부터 출력된 화상 데이터를 외부 I/F부(51)를 통해서 취득한다.
검출부(74)는, 모델 데이터(61)의 판정 모델을 사용해서 취득부(73)에 의해 취득된 화상 데이터로부터 감시 대상의 이상을 검출한다(스텝 S21).
출력부(75)는, 검출부(74)의 검출 결과를 출력하고(스텝 S22), 처리를 종료한다.
이상과 같이, 실시 형태에 따른 이상 검출 장치(50)는, 제1 생성부(70)와, 제2 생성부(72)와, 취득부(73)와, 검출부(74)를 갖는다. 제1 생성부(70)는, 액체 공급부(노즐(13))로부터 액체를 정상으로(즉, 이상 없이) 공급하는 설비(도포 유닛(10))를 촬영한 정상 화상 데이터(60a)의 화상의 랜덤한 위치에 대략 원형의 화상을 합성한 의사 이상 화상 데이터(60c)를 생성한다. 제2 생성부(72)는, 정상 화상 데이터(60a) 및 의사 이상 화상 데이터(60c)의 학습을 행하여, 설비의 정상, 이상을 판정하는 판정 모델을 생성한다. 취득부(73)는, 설비를 촬영한 화상 데이터를 취득한다. 검출부(74)는, 판정 모델을 사용해서 취득부(73)에 의해 취득된 화상 데이터로부터 설비의 이상을 검출한다. 이에 의해, 이상 검출 장치(50)는, 판정 모델이 현실에는 발생하는 일이 드문 이상을 의사 이상 화상 데이터(60c)로부터 학습할 수 있기 때문에, 이상을 고정밀도로 검출할 수 있다.
또한, 제2 생성부(72)는, 정상 화상 데이터(60a) 및 의사 이상 화상 데이터(60c)에 더하여, 이상이 발생한 설비(도포 유닛(10))를 촬영한 실제 이상 화상 데이터(60b)의 학습을 행하여, 판정 모델을 생성한다. 이에 의해, 이상 검출 장치(50)는, 판정 모델이 실제로 발생하는 이상을 실제 이상 화상 데이터(60b)로부터 학습할 수 있기 때문에, 이상을 보다 고정밀도로 검출할 수 있다.
또한, 설비(도포 유닛(10))는, 액체를 토출하는 노즐(13) 또는 배관을 마련한 암(11)으로 한다. 제1 생성부(70)는, 정상 화상 데이터(60a)의 화상의 랜덤한 위치에 대략 원형의 화상(80)을 합성한 의사 이상 화상 데이터(60c)를 생성한다. 이에 의해, 이상 검출 장치(50)는, 드리핑, 드로핑 등의 이상을 보다 고정밀도로 검출할 수 있다.
또한, 이상 검출 장치(50)는 접수부(71)를 더 갖는다. 접수부(71)는, 대략 원형의 화상을 합성할 범위 및/또는 대략 원형의 합성할 화상의 사이즈의 지정을 접수한다. 제1 생성부(70)는, 접수부(71)에서 지정된 사이즈 이하이고, 지정된 범위 내의 랜덤한 위치에 대략 원형의 화상을 합성한 의사 이상 화상 데이터(60c)를 생성한다. 이에 의해, 이상 검출 장치(50)는, 검출하는 이상에 대응해서 화상을 합성할 범위 및 합성할 화상의 사이즈가 적절하게 지정됨으로써, 이상을 고정밀도로 검출할 수 있다.
또한, 제1 생성부(70)는, 정상 화상 데이터(60a)의 화상의 화소의 휘도값을 높은 순으로 배열했을 경우에 상위로부터 소정의 비율의 휘도값을 휘도로 한 대략 원형의 화상을 합성한 의사 이상 화상 데이터(60c)를 생성한다. 이에 의해, 이상 검출 장치(50)는, 실제로 발생하는 이상을 고정밀도로 검출할 수 있다.
또한, 제1 생성부(70)는, 정상으로(즉, 이상 없이) 동작하는 설비(도포 유닛(10))의 일련의 동작을 촬영한 복수의 정상 화상 데이터(60a) 각각에 대해서 화상의 랜덤한 위치에 대략 원형의 화상을 합성한 복수의 의사 이상 화상 데이터(60c)를 생성한다. 제2 생성부(72)는, 복수의 정상 화상 데이터(60a) 및 복수의 의사 이상 화상 데이터(60c)의 학습을 행하여, 설비의 정상, 이상을 판정하는 판정 모델을 생성한다. 취득부(73)는, 설비의 일련의 동작을 촬영한 복수의 화상 데이터를 취득한다. 검출부(74)는, 판정 모델을 사용해서 취득부(73)에 의해 취득된 복수의 화상 데이터의 정상, 이상을 판정하여, 어느 화상 데이터에서 이상이라고 판정된 경우, 설비에 이상이 발생했다고 검출한다. 이에 의해, 이상 검출 장치(50)는, 설비의 일련의 동작을 판정 모델에 학습시킬 수 있기 때문에, 설비의 일련의 동작 중에 발생한 이상을 고정밀도로 검출할 수 있다.
또한, 검출부(74)는, 연속해서 촬영된 소정수의 화상 데이터에서 이상이라고 판정된 경우, 설비에 이상이 발생했다고 검출한다. 이에 의해, 이상 검출 장치(50)는, 이상의 판정 정밀도가 향상된다.
이상, 실시 형태에 대해서 설명했지만, 금회 개시된 실시 형태는, 모든 점에서 예시이며 제한적인 것은 아니라고 생각되어야 한다. 실제로, 상술한 실시 형태는, 다양한 형태로 구현될 수 있다. 또한, 상술한 실시 형태는, 청구범위 및 그 취지를 일탈하지 않고, 다양한 형태로 생략, 치환, 변경되어도 된다.
예를 들어, 상술한 실시 형태에서는, 감시 대상으로 하는 설비를 도포 유닛(10)으로 한 경우를 예로 들어 설명하였다. 그러나, 이것에 한정되는 것은 아니다. 설비는, 액체를 토출(공급)하는 액체 공급부를 구비하면, 어느 것이어도 된다.
또한, 상술한 실시 형태에서는, 드리핑, 드로핑 등의 이상을 검출하는 경우를 예로 들어 설명했지만, 이것에 한정되는 것은 아니다. 검출하는 이상은, 어느 것이든 된다.
또한, 상술한 실시 형태에서는, 이상 검출 장치(50)에서 판정 모델을 생성하는 경우를 예로 들어 설명했지만, 이것에 한정되는 것은 아니다. 판정 모델은, 다른 장치에서 생성되어 이상 검출 장치(50)의 기억부(54)에 저장되어도 된다. 이상 검출 장치(50)는, 다른 장치에서 생성되어 기억부(54)에 저장되어 판정 모델을 사용하여, 취득된 화상 데이터로부터 설비의 이상을 검출해도 된다.
또한, 금회 개시된 실시 형태는 모든 점에서 예시이며 제한적인 것은 아니라고 생각되어야 한다. 실제로, 상기한 실시 형태는 다양한 형태로 구현될 수 있다. 또한, 상기 실시 형태는, 첨부의 특허 청구 범위 및 그 취지를 일탈하지 않고, 다양한 형태로 생략, 치환, 변경되어도 된다.

Claims (15)

  1. 액체 공급부를 구비한 설비이며, 상기 액체 공급부로부터 액체를 정상으로 공급하는 상기 설비를 촬영한 정상 화상 데이터의 화상의 랜덤한 위치에 대략 원형의 화상을 합성한 의사 이상 화상 데이터를 생성하는 제1 생성부와,
    상기 정상 화상 데이터 및 상기 의사 이상 화상 데이터의 학습을 행하여, 상기 설비의 정상, 이상을 판정하는 판정 모델을 생성하는 제2 생성부와,
    상기 설비를 촬영한 화상 데이터를 취득하는 취득부와,
    상기 판정 모델을 사용해서 상기 취득부에 의해 취득된 상기 화상 데이터로부터 상기 설비의 이상을 검출하는 검출부
    를 포함하는 이상 검출 장치.
  2. 제1항에 있어서, 상기 제2 생성부는, 상기 정상 화상 데이터 및 상기 의사 이상 화상 데이터에 더하여, 이상이 발생한 상기 설비를 촬영한 실제 이상 화상 데이터의 학습을 행하여, 상기 판정 모델을 생성하는, 이상 검출 장치.
  3. 제1항 또는 제2항에 있어서, 상기 액체 공급부는, 액체를 토출하는 노즐 또는 배관을 마련한 암으로 이루어지는, 이상 검출 장치.
  4. 제1항 또는 제2항에 있어서, 대략 원형의 화상을 합성할 범위 및/또는 대략 원형의 합성할 화상의 사이즈의 지정을 접수하는 접수부를 더 포함하고,
    상기 제1 생성부는, 상기 접수부에서 지정된 사이즈 이하이고, 지정된 범위 내의 랜덤한 위치에 대략 원형의 화상을 합성한 의사 이상 화상 데이터를 생성하는, 이상 검출 장치.
  5. 제1항 또는 제2항에 있어서, 상기 제1 생성부는, 정상 화상 데이터의 화상의 화소의 휘도값을 높은 순으로 배열했을 경우에 상위로부터 미리 정해진 비율의 휘도값을 휘도로 한 대략 원형의 화상을 합성한 의사 이상 화상 데이터를 생성하는, 이상 검출 장치.
  6. 제1항 또는 제2항에 있어서, 상기 제1 생성부는, 정상으로 동작하는 상기 설비의 일련의 동작을 촬영한 복수의 정상 화상 데이터 각각에 대해서 화상의 랜덤한 위치에 대략 원형의 화상을 합성한 복수의 의사 이상 화상 데이터를 생성하고,
    상기 제2 생성부는, 복수의 상기 정상 화상 데이터 및 복수의 상기 의사 이상 화상 데이터의 학습을 행하여, 상기 설비의 정상, 이상을 판정하는 판정 모델을 생성하고,
    상기 취득부는, 상기 설비의 일련의 동작을 촬영한 복수의 화상 데이터를 취득하고,
    상기 검출부는, 상기 판정 모델을 사용해서 상기 취득부에 의해 취득된 복수의 상기 화상 데이터의 정상, 이상을 판정하여, 어느 상기 화상 데이터에서 이상이라고 판정된 경우, 상기 설비에 이상이 발생했다고 검출하는, 이상 검출 장치.
  7. 제6항에 있어서, 상기 검출부는, 연속해서 촬영된 미리 정해진 수의 상기 화상 데이터에서 이상이라고 판정된 경우, 상기 설비에 이상이 발생했다고 검출하는, 이상 검출 장치.
  8. 액체 공급부를 구비한 설비이며, 상기 액체 공급부로부터 액체를 정상으로 공급하는 상기 설비를 촬영한 정상 화상 데이터 및 상기 정상 화상 데이터의 화상의 랜덤한 위치에 대략 원형의 화상을 합성한 의사 이상 화상 데이터의 학습을 행하여 생성된 판정 모델이며, 상기 설비의 정상, 이상을 판정하는 상기 판정 모델을 기억하는 기억부와,
    상기 설비를 촬영한 화상 데이터를 취득하는 취득부와,
    상기 판정 모델을 사용해서 상기 취득부에 의해 취득된 상기 화상 데이터로부터 상기 설비의 이상을 검출하는 검출부
    를 포함하는 이상 검출 장치.
  9. 제8항에 있어서, 상기 액체 공급부는, 액체를 토출하는 노즐 또는 배관을 마련한 암으로 이루어지는, 이상 검출 장치.
  10. 액체 공급부를 구비한 설비이며, 상기 액체 공급부로부터 액체를 정상으로 공급하는 상기 설비를 촬영한 정상 화상 데이터의 화상의 랜덤한 위치에 대략 원형의 화상을 합성한 의사 이상 화상 데이터를 생성하는 공정과,
    상기 정상 화상 데이터 및 상기 의사 이상 화상 데이터의 학습을 행하여, 상기 설비의 정상, 이상을 판정하는 판정 모델을 생성하는 공정과,
    상기 설비를 촬영한 화상 데이터를 취득하는 공정과,
    상기 판정 모델을 사용하여, 취득된 상기 화상 데이터로부터 상기 설비의 이상을 검출하는 공정
    을 포함하는 이상 검출 방법.
  11. 제10항에 있어서, 상기 액체 공급부는, 액체를 토출하는 노즐 또는 배관을 마련한 암으로 이루어지는, 이상 검출 방법.
  12. 제10항 또는 제11항에 있어서, 대략 원형의 화상을 합성할 범위 및/또는 대략 원형의 합성할 화상의 사이즈의 지정을 접수하고,
    상기 의사 이상 화상 데이터를 생성하는 공정은, 지정된 사이즈 이하이고, 지정된 범위 내의 랜덤한 위치에 대략 원형의 화상을 합성한 의사 이상 화상 데이터를 생성하는, 이상 검출 방법.
  13. 제10항 또는 제11항에 있어서, 상기 의사 이상 화상 데이터를 생성하는 공정은, 정상 화상 데이터의 화상의 화소의 휘도값을 높은 순으로 배열했을 경우에 상위로부터 미리 정해진 비율의 휘도값을 휘도로 한 대략 원형의 화상을 합성한 의사 이상 화상 데이터를 생성하는, 이상 검출 방법.
  14. 액체 공급부를 구비한 설비를 촬영한 화상 데이터를 취득하는 공정과,
    상기 액체 공급부로부터 액체를 정상으로 공급하는 상기 설비를 촬영한 정상 화상 데이터 및 상기 정상 화상 데이터의 화상의 랜덤한 위치에 대략 원형의 화상을 합성한 의사 이상 화상 데이터의 학습을 행해서 생성된 판정 모델이며, 상기 설비의 정상, 이상을 판정하는 상기 판정 모델을 사용하여, 취득된 상기 화상 데이터로부터 상기 설비의 이상을 검출하는 공정
    을 포함하는 이상 검출 방법.
  15. 제14항에 있어서, 상기 액체 공급부는, 액체를 토출하는 노즐 또는 배관을 마련한 암으로 이루어지는, 이상 검출 방법.
KR1020210032593A 2020-03-25 2021-03-12 이상 검출 장치 및 이상 검출 방법 KR20210119883A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020054721A JP7482662B2 (ja) 2020-03-25 2020-03-25 異常検出装置及び異常検出方法
JPJP-P-2020-054721 2020-03-25

Publications (1)

Publication Number Publication Date
KR20210119883A true KR20210119883A (ko) 2021-10-06

Family

ID=77809078

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210032593A KR20210119883A (ko) 2020-03-25 2021-03-12 이상 검출 장치 및 이상 검출 방법

Country Status (5)

Country Link
US (1) US11928810B2 (ko)
JP (1) JP7482662B2 (ko)
KR (1) KR20210119883A (ko)
CN (1) CN113447494A (ko)
TW (1) TW202205126A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230096364A (ko) * 2021-12-23 2023-06-30 (주)아이티공간 Gan 알고리즘을 이용한 기기의 예지 보전방법
KR102611403B1 (ko) * 2022-02-21 2023-12-08 다겸 주식회사 수리 파트 결정 기능 및 수리 완성도 평가 기능을 포함하는 이상 탐지 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006337152A (ja) 2005-06-01 2006-12-14 Sharp Corp 教示用画像生成方法および装置、画像処理アルゴリズム生成方法および装置、画像検査方法および装置、プログラムならびに記録媒体

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6888958B1 (en) * 1999-03-30 2005-05-03 Kabushiki Kaisha Toshiba Method and apparatus for inspecting patterns
DE10314071B3 (de) * 2003-03-28 2004-09-30 Koenig & Bauer Ag Verfahren zur qualitativen Beurteilung eines Materials mit mindestens einem Erkennungsmerkmal
US7787692B2 (en) * 2003-09-25 2010-08-31 Fujifilm Corporation Image processing apparatus, image processing method, shape diagnostic apparatus, shape diagnostic method and program
WO2015163087A1 (ja) * 2014-04-21 2015-10-29 富士フイルム株式会社 インクジェット記録装置のメンテナンスシステム
JP6833452B2 (ja) 2016-10-28 2021-02-24 株式会社東芝 巡視点検システム、情報処理装置、巡視点検制御プログラム
US20230123194A1 (en) * 2017-01-16 2023-04-20 Aptar France Sas Method for analysing a spray generated by a device for dispensing fluid pharmaceutical product
JP6772963B2 (ja) * 2017-06-05 2020-10-21 トヨタ自動車株式会社 異常診断装置及び異常診断方法
US10369825B2 (en) * 2017-06-06 2019-08-06 Kyocera Document Solutions Inc. Systems and methods for supply quality measurement
KR20200108876A (ko) 2018-01-26 2020-09-21 도쿄엘렉트론가부시키가이샤 기판 처리 장치
EP3751976A4 (en) * 2018-02-09 2021-02-24 Fuji Corporation SYSTEM AND METHOD FOR CREATING A LEARNED MODEL FOR COMPONENT IMAGE RECOGNITION
JP6879431B2 (ja) * 2018-03-29 2021-06-02 日本電気株式会社 画像処理装置、画像処理方法および画像処理プログラム
US20220351359A1 (en) * 2018-08-15 2022-11-03 Asml Netherlands B.V. Utilize machine learning in selecting high quality averaged sem images from raw images automatically
CN112639611A (zh) * 2018-08-31 2021-04-09 Asml荷兰有限公司 测量方法和设备
JP7211751B2 (ja) * 2018-10-05 2023-01-24 株式会社Ｓｃｒｅｅｎホールディングス 基板処理装置および基板処理方法
BE1026775B1 (de) * 2018-11-09 2020-06-08 Phoenix Contact Gmbh & Co Vorrichtung und Verfahren zum kalibrierten Prüfen einer Bedruckung eines Artikels
US10616447B1 (en) * 2019-01-14 2020-04-07 Xerox Corporation Scanner approximation of an in-line spectrophotometer (ILS) in duplex systems
CN113454533A (zh) * 2019-02-25 2021-09-28 Asml荷兰有限公司 用于确定印刷图案的随机变化的方法
CN111915549A (zh) * 2019-05-09 2020-11-10 富泰华工业（深圳）有限公司 瑕疵检测方法、电子装置及计算机可读存储介质
JP7220629B2 (ja) * 2019-06-27 2023-02-10 株式会社Ｓｃｒｅｅｎホールディングス 画像判別モデル構築方法、画像判別装置、および画像判別方法
JP7331568B2 (ja) * 2019-09-12 2023-08-23 東京エレクトロン株式会社 液処理装置及び液処理装置の液検出方法
WO2021054200A1 (ja) * 2019-09-18 2021-03-25 富士フイルム株式会社 印刷物検査装置、印刷物検査方法、プログラム及び印刷装置
CN114556112A (zh) * 2019-10-24 2022-05-27 株式会社日立高新技术 自动分析装置以及试剂的分注方法
US11734814B2 (en) * 2019-12-12 2023-08-22 Ricoh Company, Ltd. Enhanced print defect detection
EP3839530A1 (en) * 2019-12-20 2021-06-23 Siemens Aktiengesellschaft Methods and systems for assessing printed circuit boards
CN111260731B (zh) * 2020-01-10 2023-05-12 大连理工大学 一种棋盘格亚像素级角点自适应检测的方法
FR3107643B1 (fr) * 2020-02-27 2022-01-21 Oreal Machine pour la distribution d’une quantité contrôlée d’une composition cosmétique
JP2022083487A (ja) * 2020-11-25 2022-06-06 キヤノン株式会社 検査システム、管理装置、検査方法、プログラム、記録媒体および物品の製造方法
JP2022125593A (ja) * 2021-02-17 2022-08-29 トヨタ自動車株式会社 異常検出方法および異常検出装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006337152A (ja) 2005-06-01 2006-12-14 Sharp Corp 教示用画像生成方法および装置、画像処理アルゴリズム生成方法および装置、画像検査方法および装置、プログラムならびに記録媒体

Also Published As

Publication number Publication date
US11928810B2 (en) 2024-03-12
TW202205126A (zh) 2022-02-01
CN113447494A (zh) 2021-09-28
JP2021157303A (ja) 2021-10-07
JP7482662B2 (ja) 2024-05-14
US20210304383A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
KR20210119883A (ko) 이상 검출 장치 및 이상 검출 방법
US10930037B2 (en) Image processing device for displaying object detected from input picture image
WO2019227762A1 (zh) 光学模组像素缺陷检测方法、装置及设备
US5319459A (en) Method and apparatus for checking defect on display screen
CN109979389A (zh) 伽马校正方法及装置、显示装置、计算机存储介质
CN110620887B (zh) 图像生成装置和图像生成方法
US8094191B2 (en) System and method for correcting an image
CN103927749A (zh) 图像处理方法、装置和自动光学检测机
US7869645B2 (en) Image capture and calibratiion
JP2017045166A (ja) ワークの処理方法、基準画像の作成方法、基準画像の作成装置、ワークの処理装置、プログラム、及び記録媒体
CN113407461A (zh) 界面测试方法、装置、电子设备及存储介质
US8687921B2 (en) Image processing apparatus, image processing method, and image processing program
KR101619097B1 (ko) 반도체 제조 공정에서의 공정 모니터링 시스템
KR102585478B1 (ko) 딥러닝을 이용한 스핀 코터의 포토레지스트 도포 상태 검사 시스템
CN116245808A (zh) 工件缺陷检测方法、装置、电子设备及存储介质
JP6184746B2 (ja) 欠陥検出装置、欠陥修正装置および欠陥検出方法
JP2010008074A (ja) 指針指示角度算出装置、指針指示角度評価システム、及び、指針指示角度算出プログラム
CN115294373A (zh) 一种设备参数信息更新方法和更新系统
JP7340381B2 (ja) 空間周波数比測定装置およびそのプログラム
KR102327761B1 (ko) Ｄｖｓ와 딥러닝을 이용한 스핀 코터의 포토레지스트 코팅 품질 검사 시스템
CN109844805B (zh) 图像处理用元件形状数据生成系统及图像处理用元件形状数据生成方法
KR102368201B1 (ko) 스핀 코터의 포토레지스트 코팅 품질 검사 시스템
JP7432377B2 (ja) ディスプレイｍｔｆ測定装置およびそのプログラム
CN117768637A (zh) 一种多相机失效检测方法、系统、设备及介质
KR20230089787A (ko) 표시결함 검출 시스템 및 그 검출 방법

Legal Events

Date Code Title Description
A201 Request for examination