KR102011628B1 - 검사 장치 및 검사 방법 - Google Patents

검사 장치 및 검사 방법 Download PDF

Info

Publication number
KR102011628B1
KR102011628B1 KR1020197015539A KR20197015539A KR102011628B1 KR 102011628 B1 KR102011628 B1 KR 102011628B1 KR 1020197015539 A KR1020197015539 A KR 1020197015539A KR 20197015539 A KR20197015539 A KR 20197015539A KR 102011628 B1 KR102011628 B1 KR 102011628B1
Authority
KR
South Korea
Prior art keywords
image data
data
unit
inspected
input
Prior art date
Application number
KR1020197015539A
Other languages
English (en)
Other versions
KR20190065457A (ko
Inventor
가즈유키 미야자와
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20190065457A publication Critical patent/KR20190065457A/ko
Application granted granted Critical
Publication of KR102011628B1 publication Critical patent/KR102011628B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95684—Patterns showing highly reflecting parts, e.g. metallic elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8896—Circuits specially adapted for system specific signal conditioning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

종래의 검사 장치에서는, 화소마다 연산 및 이상의 유무를 판정하고, 모든 화소에서 높은 정밀도로 위치 맞춤을 행할 필요가 있기 때문에, 도입 비용의 증가 및 컴퓨터의 계산 시간의 증가를 초래한다고 하는 문제가 있었다. 이상을 포함하지 않는 대상물의 데이터에 대하여 데이터의 차원을 줄이는 차원 압축을 하는 것에 의해 이상을 포함하지 않는 대상물의 데이터의 성질을 나타내는 파라미터를 산출하고, 검사하는 대상물의 데이터를 파라미터를 이용하여 차원 압축하는 해석부(12a)와, 해석부(12a)에서 차원 압축한 검사하는 대상물의 데이터를 복원한 복원 데이터를 생성하는 복원부(14a)와, 검사하는 대상물의 데이터와 복원 데이터의 차분의 대소에 근거하여 검사하는 대상물이 이상이 있는지 여부를 나타내는 판정 결과를 출력하는 판정부(14a)와, 판정부(14a)가 출력한 판정 결과를 출력하는 출력부(15)를 마련하도록 한다.

Description

검사 장치 및 검사 방법
본 발명은, 취득한 대상물의 데이터로부터, 대상물의 결손, 잘못된 배치, 결함 등의 이상의 유무를 검사하는 검사 장치 및 검사 방법에 관한 것이다.
대상물을 카메라로 촬영하고, 취득한 화상 데이터로부터 대상물의 이상의 유무를 기계가 자동적으로 검사하는 것은, 예컨대 공업 제품의 제조 과정에서 행하여지는 육안 검사 또는 외관 검사의 자동화 또는 노동력 절약을 위해 중요한 기술이다.
종래, 대상물의 결손, 잘못된 배치, 결함 등의 이상의 유무의 검사는, 예컨대, 특허문헌 1의 검사 장치에서는, 대상물을 촬영하여 취득한 화상 데이터를 복수 기억하고, 그 복수의 화상 데이터로부터 동일 좌표를 갖는 화소마다 대상물에 이상이 없다고 판정하는 휘도치의 범위를 산출하고, 대상물의 이상의 유무의 검사의 기준으로 설정한다. 검사 장치는, 동일 좌표를 갖는 화소마다, 검사하는 대상물을 촬영하여 취득한 화상 데이터의 휘도치가 설정한 대상물에 이상이 없다고 판정하는 휘도치의 범위 내인지 여부를 판정하는 것에 의해, 대상물의 결손, 잘못된 배치, 결함 등의 이상의 유무를 검사하고 있었다.
특허문헌 1 : 일본 특허 공개 2013-32995호 공보
그렇지만, 상기한 종래의 검사 장치에서는, 화소마다 대상물에 이상이 없다고 판정하는 휘도치의 범위를 산출하고, 화소마다 대상물의 결손, 잘못된 배치, 결함 등의 이상의 유무를 판정하여 검사를 하고 있다. 그 때문에, 촬영시의 대상물과 카메라의 위치 관계는 항상 일정하고, 모든 화소에 대하여, 높은 정밀도로 위치 맞춤을 행하는 처리가 필요하다. 검사 장치의 도입에 따라 모든 화소에 대하여, 높은 정밀도로 위치 맞춤을 행하기 위한 카메라 및 대상물을 고정하기 위한 지그, 위치 결정 장치 등도 도입할 필요가 있다. 따라서, 도입 비용의 증가 및 컴퓨터의 계산 시간의 증가를 초래한다고 하는 문제가 있었다.
본 발명은, 상술한 바와 같은 문제를 해결하기 위해 이루어진 것으로서, 종래의 검사 장치보다, 대상물과 카메라의 확실한 고정 및 대상물을 촬영하여 취득한 화상 데이터의 화소마다 높은 정밀도의 위치 맞춤을 행한다고 하는 제약을 완화하면서, 대상물의 결손, 잘못된 배치, 결함 등의 이상의 유무를 검사하는 검사 장치 및 검사 방법을 제공하는 것을 목적으로 한다.
본 발명과 관련되는 검사 장치는, 이상을 포함하지 않는 대상물의 데이터에 대하여 데이터의 차원을 줄이는 차원 압축을 하는 것에 의해 이상을 포함하지 않는 대상물의 데이터의 성질을 나타내는 파라미터를 산출하고, 검사하는 대상물의 데이터를 파라미터를 이용하여 차원 압축하는 해석부와, 해석부에서 차원 압축한 검사하는 대상물의 데이터를 복원한 복원 데이터를 생성하는 복원부와, 검사하는 대상물의 데이터와 복원 데이터의 차분의 대소에 근거하여 검사하는 대상물이 이상이 있는지 여부를 나타내는 판정 결과를 출력하는 판정부와, 판정부가 출력한 판정 결과를 출력하는 출력부를 구비한다.
본 발명에 따르면, 이상을 포함하지 않는 대상물의 데이터에 대하여 데이터의 차원을 줄이는 차원 압축을 하는 것에 의해 이상을 포함하지 않는 대상물의 데이터의 성질을 나타내는 파라미터를 산출하고, 검사하는 대상물의 데이터를 파라미터를 이용하여 차원 압축하고, 차원 압축한 검사하는 대상물의 데이터를 복원한 복원 데이터를 생성하고, 검사하는 대상물의 데이터와 복원 데이터의 차분의 대소에 근거하여 검사하는 대상물이 이상이 있는지 여부를 나타내는 판정 결과를 출력하기 때문에, 종래의 검사 장치보다, 대상물과 카메라의 확실한 고정 및 대상물을 촬영하여 취득한 화상 데이터의 화소마다 높은 정밀도의 위치 맞춤을 행한다고 하는 제약을 완화하면서, 대상물의 결손, 잘못된 배치, 결함 등의 이상의 유무를 검사할 수 있다.
도 1은 본 발명의 실시의 형태 1과 관련되는 검사 장치를 포함하는 검사 시스템의 기능 블록도이다.
도 2는 본 발명의 실시의 형태 1과 관련되는 검사 장치의 하드웨어 구성도이다.
도 3은 본 발명의 실시의 형태 1과 관련되는 검사 장치의 학습 모드에 있어서의 동작을 나타내는 플로차트이다.
도 4는 주성분 분석의 개념도이다.
도 5는 본 발명의 실시의 형태 1과 관련되는 검사 장치의 검사 모드에 있어서의 동작을 나타내는 플로차트의 일부이다.
도 6은 본 발명의 실시의 형태 1과 관련되는 검사 장치의 검사 모드에 있어서의 동작을 나타내는 플로차트의 일부이다.
도 7은 프린트 기판을 대상물로 하여, 기판 상에 이상이 없는지 여부를 검사하는 예이다.
도 8은 검사하는 대상물이 되고 있는 기판의 일부에 결손이 있는 경우의 예이다.
도 9는 임계치 처리의 결과이다.
도 10은 검사 대상 영역을 한정하기 위한 2차원 마스크의 예이다.
도 11은 입출력 장치가 그 구성에 디스플레이를 포함하는 경우에, 입출력부가 입출력 장치에 대하여 지시하는 표시 내용의 예이다.
도 12는 입출력 장치가 그 구성에 디스플레이를 포함하는 경우에, 입출력부가 입출력 장치에 대하여 지시하는 표시 내용의 다른 예이다.
도 13은 입출력 장치가 그 구성에 디스플레이를 포함하는 경우에, 입출력부가 입출력 장치에 대하여 지시하는 표시 내용의 또 다른 예이다.
도 14는 본 발명의 실시의 형태 2와 관련되는 검사 장치를 포함하는 검사 시스템의 기능 블록도이다.
도 15는 본 발명의 실시의 형태 2와 관련되는 검사 장치의 학습 모드에 있어서의 동작을 나타내는 플로차트이다.
도 16은 뉴런을 다입력 1출력의 노드로서 모델화한 도면이다.
도 17은 모래시계형 뉴럴 네트워크의 예이다.
도 18은 자기 부호화기의 숨겨진 층의 총수를 변경했을 때의 모습을 나타내는 일례이다.
도 19는 본 발명의 실시의 형태 2와 관련되는 검사 장치의 검사 모드에 있어서의 동작을 나타내는 플로차트의 일부이다.
도 20은 본 발명의 실시의 형태 2와 관련되는 검사 장치의 검사 모드에 있어서의 동작을 나타내는 플로차트의 일부이다.
도 21은 본 발명의 실시의 형태 3과 관련되는 검사 장치를 포함하는 검사 시스템의 기능 블록도이다.
도 22는 본 발명의 실시의 형태 3과 관련되는 검사 장치의 검사 모드에 있어서의 동작을 나타내는 플로차트의 일부이다.
도 23은 본 발명의 실시의 형태 3과 관련되는 검사 장치의 검사 모드에 있어서의 동작을 나타내는 플로차트의 일부이다.
실시의 형태 1.
도 1은 본 발명의 실시의 형태 1과 관련되는 검사 장치(1)를 포함하는 검사 시스템의 기능 블록도이다.
검사 시스템은, 대상물(3)을 검사하는 검사 장치(1)와 대상물(3)을 촬영하는 카메라(2)와 검사 내용의 입력 및 검사 결과를 출력하는 입출력 장치(4)를 구비하고 있다. 검사 장치(1)는, 카메라(2)로 촬영한 대상물(3)의 화상 데이터를 입력 데이터로서 수신하고, 해석을 행하여 그 결과를 입출력 장치(4)에 송신한다.
검사 장치(1)는, 각 부를 제어하는 제어부(10)와, 화상 데이터가 입력되는 입력부(11)와, 입력부(11)로부터 입력된 화상 데이터를 해석하는 해석부(12a)와, 해석한 결과를 기록하는 기억부(13a)와, 해석한 결과와 취득한 화상 데이터로부터 대상물(3)이 이상이 있는지 여부를 나타내는 판정 결과를 출력하는 판정부(14a)와, 판정부(14a)가 출력한 판정 결과를 출력하는 입출력부(15)를 구비하고 있다.
제어부(10)는, 입력부(11)와, 해석부(12a)와, 기억부(13a)와, 판정부(14a)와, 입출력부(15)와 지시를 송수신함으로써, 각 부를 제어한다.
입력부(11)는, 카메라(2)로부터 대상물(3)의 화상 데이터를 수신한다. 화상 데이터는, 대상물(3)의 데이터의 일례이고, 화상에 한하지 않고 파형, 입체 등을 나타내는 데이터이더라도 좋다. 또, 실시의 형태 1에서는 입력되는 화상 데이터는 디지털 데이터인 것을 전제로 하지만, 아날로그 데이터이더라도 좋다.
해석부(12a)는, 제어부(10)로부터 송신된 지시에 근거하여 2개의 상이한 동작 모드를 전환하여 실행한다. 여기서, 2개의 동작 모드란 학습 모드와 검사 모드이다. 학습 모드에서는, 이상을 포함하지 않는 정상적인 대상물(3)의 화상 데이터를 1매 이상 사용하고, 이상을 포함하지 않는 정상적인 대상물(3)의 화상 데이터에 대하여 대상물(3)의 화상 데이터의 차원을 줄이는 차원 압축을 하는 것에 의해, 이상을 포함하지 않는 정상적인 대상물(3)의 데이터의 성질을 나타내는 파라미터를 산출함으로써 정상적인 상태가 어떤 상태인지를 학습한다. 따라서, 학습 모드에서는 검사 장치(1)는 대상물(3)의 이상의 유무의 검사는 행하지 않는다. 이상의 유무의 검사는, 학습 모드의 완료 후에 실시되는 검사 모드에서 행하여진다. 여기서, 이상을 포함하지 않는 정상적인 대상물(3)의 화상 데이터는 복수이더라도 산출되는 정상적인 대상물(3)의 데이터의 성질을 나타내는 파라미터는 1개이다. 또, 학습 모드에 있어서는, 대상물(3)은 이상을 포함하지 않는 정상적인 상태인 것을 전제로 한다. 단, 대상물(3)이 동일한 종류의 물체이면, 복수의 상이한 물체로부터 화상 데이터를 취득하더라도 상관없다. 이하에서는, 이상을 포함하지 않는 대상물(3)을 촬영함으로써 취득되는 화상 데이터를 정상 화상 데이터라고 기재한다.
검사 모드에서는, 검사하는 대상물(3)의 화상 데이터에 대하여 학습 모드에서 학습한 정상적인 대상물(3)의 데이터의 성질을 나타내는 파라미터를 산출했을 때에 행한 차원 압축과 마찬가지의 차원 압축을 행한다.
기억부(13a)는, 제어부(10)로부터의 지시에 근거하여 학습 결과를 기억 및 학습 결과를 읽어내고, 해석부(12a)에 송신한다. 여기서 읽어내는 학습 결과는 학습 모드에 있어서 이용한 차원 압축 수법에 대응한 학습 결과이다.
판정부(14a)는, 차원 압축한 검사하는 대상물(3)의 화상 데이터를 차원 압축에서 이용한 방법과 마찬가지의 방법으로 복원하고, 복원한 화상 데이터인 복원 데이터와 검사하는 대상물(3)의 화상 데이터의 차분의 대소에 근거하여, 검사하는 대상물(3)이 이상이 있는지 여부를 나타내는 판정 결과를 입출력부(15)에 출력한다. 또, 판정부(14a)는, 복원부와 판정부를 합친 부의 일례이다.
입출력부(15)는, 제어부(10)로부터의 지시에 근거하여, 학습의 진척 상황 등을 나타내는 정보를 입출력 장치(4)로부터 외부에 출력한다. 또, 여기서는 외부에서 작업자가 입출력 장치(4)를 확인하는 것을 상정하고 있지만, 반드시 그와 같이 할 필요는 없고, 특히 작업자를 개재시키는 일 없이 외부의 제어 장치 등에 신호를 출력하도록 하더라도 좋다. 또한, 입출력부(15)는, 제어부(10)로부터의 지시에 근거하여, 판정부(14a)로부터 수신한 판정 결과를 입출력 장치(4)로부터 외부에 출력한다. 또, 여기서는 외부에서 작업자가 입출력 장치(4)를 확인하는 것을 상정하고 있지만, 반드시 그와 같이 할 필요는 없고, 특히 작업자를 개재시키는 일 없이 외부의 제어 장치 등에 신호를 출력하도록 하더라도 좋다. 또, 입출력부(15)는, 출력부의 일례이고, 실시의 형태 1에서는 출력부에 입력부도 더 구비된 것이다.
카메라(2)는, 대상물(3)을 촬영하여 화상 데이터에 보존함으로써 대상물(3)의 화상 데이터를 취득한다. 카메라(2)는, 대상물(3)의 화상 데이터를 검사 장치(1)에 송신한다. 카메라(2)는 일례이고, 대상물(3)의 데이터를 취득할 수 있으면 이것에 한하지 않는다.
입출력 장치(4)는, 검사 장치(1)의 검사 내용을 입력하고, 검사 장치(1)가 내보낸 검사 결과를 출력한다. 입출력 장치(4)는, 예컨대 디스플레이, 스피커, 키보드, 마우스 등으로 구성하는 것을 생각할 수 있다. 또한, 디스플레이는 표시부의 일례이다.
도 2는 본 발명의 실시의 형태 1과 관련되는 검사 장치(1)의 하드웨어 구성도이다. 도 2를 이용하여, 본 발명의 실시의 형태 1과 관련되는 검사 장치(1)의 구성에 대하여 설명한다.
실시의 형태 1에 있어서, 검사 장치(1)는 컴퓨터로 구성된다. 검사 장치(1)를 구성하는 컴퓨터는, 버스(104), 데이터를 송수신하는 입출력 인터페이스(100), 메모리(102), 프로그램, 학습 데이터 등을 기억하는 기억 매체(103), 메모리(102)에 로드한 기억 매체(103)의 프로그램을 읽고 실행하는 프로세서(101)라고 하는 하드웨어를 구비한다. 또, 이하에서는 입출력 인터페이스(100)는 입출력 IF(100)라고 기재한다.
버스(104)는, 각 장치 사이를 전기적으로 접속하고, 데이터의 교환을 행하는 신호 경로이다.
입출력 IF(100)는, 데이터를 송수신한다. 예컨대, 입출력 IF(100)는, 입출력 장치(4)로부터의 검사 장치(1)의 기동 신호 및 설정 신호를 수신하면, 제어부(10)에 송신한다. 또한, 예컨대, 입출력 IF(100)는, 제어부(10)로부터 해석부(12a)로의 지시 신호를 수신하면, 해석부(12a)에 지시 신호를 송신한다. 입력부(11)와, 입출력부(15)는, 입출력 IF(100)에 의해 실현한다.
메모리(102)는, 기억 매체(103)에 기억한 프로그램을 로드하는 워크 에리어로서 기능한다. 메모리(102)는, 예컨대, RAM(Random Access Memory)이다.
기억 매체(103)는, 학습 모드의 프로그램, 검사 모드의 프로그램의 기능을 실현하는 프로그램을 기억한다. 또한, 기억 매체(103)는, 학습 데이터 등을 기억한다. 기억 매체(103)는, 예컨대, ROM(Read Only Memory), 플래시 메모리, 또는, HDD(Hard Disk Drive)이다. 기억 매체(103)는, OS(Operating System)도 기억한다. 기억부(13a)는, 기억 매체(103)에 의해 실현한다.
프로세서(101)는, 버스(104)를 거쳐서 다른 장치와 접속하고, 이들 다른 장치 및 각 부를 제어한다. 프로세서(101)는, 메모리(102)에 로드한 기억 매체(103)의 프로그램을 읽고, 실행한다. 프로세서(101)는, 기억 매체(103)에 기억한 OS의 적어도 일부를 메모리(102)에 로드하고, OS를 실행하면서, 프로그램을 실행한다. 프로세서(101)는, 프로세싱을 행하는 IC(Integrated Circuit)이다. 프로세서(101)는, 예컨대, CPU(Central Processing Unit)이다. 제어부(10)와, 해석부(12a)와, 판정부(14a)는, 프로세서(101)가 메모리(102)에 로드한 기억 매체(103)의 프로그램을 읽고, 실행하는 것에 의해 실현한다.
또, 각 장치의 결과를 나타내는 정보, 데이터, 신호치, 변수치 등을, 메모리(102), 기억 매체(103), 또는, 프로세서(101) 내의 레지스터 또는 캐시 메모리에 기억한다.
또한, 메모리(102)와 기억 매체(103)는, 장치를 나누지 않고 동일한 장치이더라도 좋다.
또한, 프로그램을, 자기 디스크, 플렉서블 디스크, 광 디스크, 콤팩트 디스크, DVD(Digital Versatile Disc)라고 하는 가반 기록 매체에 기억하더라도 좋다.
다음으로, 본 발명의 실시의 형태 1과 관련되는 검사 장치(1)의 동작에 대하여 설명한다.
도 3은 본 발명의 실시의 형태 1과 관련되는 검사 장치(1)의 학습 모드에 있어서의 동작을 나타내는 플로차트이다. 도 3을 이용하여, 검사 장치(1)의 학습 모드에 있어서의 동작을 이하에 설명한다.
스텝 S10에 있어서, 제어부(10)는, 입출력부(15)를 경유하여 입출력 장치(4)로부터 기동 신호 및 설정 신호를 수신한다. 그리고, 그 설정 신호에 근거하여 입력부(11)에 지시를 준다. 입력부(11)는, 카메라(2)로부터 대상물(3)의 정상 화상 데이터를 수신한다. 이때, 정상 화상 데이터를 수신하는 타이밍은, 예컨대 1초 동안에 30회와 같이 미리 결정하여 두더라도 좋고, 제어부(10)로부터의 지시에 근거하여 결정하더라도 좋다. 제어부(10)는, 해석부(12a)에 학습 모드의 처리 개시의 지시를 준다. 해석부(12a)는, 메모리(102)에 로드한 기억 매체(103)의 학습 모드에 대응하는 프로그램을 메모리(102)로부터 읽어내어 프로세서(101)에서 실행하는 것에 의해 학습 모드로 전환한다. 해석부(12a)는, 입력부(11)로부터 카메라(2)가 촬영한 대상물(3)의 정상 화상 데이터를 수신한다.
스텝 S11에 있어서, 해석부(12a)는, 정상 화상 데이터를 더 수신할지, 혹은 정상 화상 데이터를 수신하는 것을 종료할지를 판정한다. 여기서, 정상 화상 데이터 수신의 종료 판정은 해석부(12a)가 결정하더라도 좋고, 제어부(10)로부터의 지시에 근거하여 결정하더라도 좋다. 해석부(12a)가 결정하는 경우는, 예컨대 수신한 정상 화상 데이터의 매수가 미리 지정된 매수에 도달한 시점에 정상 화상 데이터의 수신을 종료하는 것을 생각할 수 있다. 미리 지정된 매수는, 예컨대 100매, 1000매 등이다. 제어부(10)로부터의 지시에 근거하여 결정하는 경우는, 예컨대 제어부(10)가 입출력부(15)를 경유하여 입출력 장치(4)로부터 정상 화상 데이터의 수신 종료 지시를 수신하고, 그것을 해석부(12a)에 송신하는 것을 생각할 수 있다.
스텝 S12에 있어서, 해석부(12a)는, 스텝 S11의 판정 결과에 근거하여 정상 화상 데이터의 수신으로 돌아가거나, 혹은 다음의 스텝으로 진행한다. 정상 화상 데이터 수신 종료 판정의 결과, 정상 화상 데이터의 수신이 더 필요하다고 판단된 경우, 스텝 S12에서 "아니오"가 되고, 다시 스텝 S10으로 돌아간다. 정상 화상 데이터 수신 종료로 판정된 경우, 스텝 S12에서 "예"가 되고, 다음의 스텝으로 진행한다.
스텝 S13에 있어서, 해석부(12a)는 수신한 정상 화상 데이터를 사용하여 차원 압축을 행한다. 여기서, 차원 압축이란, 화상 데이터, 3차원 입체 데이터 등의 고차원 데이터를 저차원의 데이터로 변환하는 것을 가리킨다. 해석부(12a)는, 학습 모드에 있어서 정상 화상 데이터를 이용하여 학습을 행하고, 정상 화상 데이터에 최적인 데이터 변환 방법을 획득한다.
차원 압축 수법으로서는, 주성분 분석, 선형 판별 분석, 정준 상관 분석, 이산 코사인 변환, 랜덤 프로젝션, 뉴럴 네트워크에 의한 자기 부호화기 등이 알려져 있다. 이들 중에서, 선형의 차원 압축 수법으로서는 주성분 분석이 가장 자주 이용되는 수법의 하나이다. 이하에서는, 주성분 분석을 이용한 경우에 대하여 설명한다.
주성분 분석이란, 다차원의 공간에 분산되는 다수의 학습용의 정상 화상 데이터로부터, 분포의 특징을 나타내는 저차원의 공간을 구하는 수법이다. 이 저차원의 공간을 부분 공간이라고 부른다. 스텝 S10에서 수신한 다수의 정상 화상 데이터의 화소치를 그대로 공간에 플롯하면, 매우 낮은 차원의 부분 공간에 뭉쳐서 분포하는 경우가 많다.
도 4는 주성분 분석의 개념도이다. 도 4에 나타내는 바와 같이, 예컨대, 3차원의 공간에 분포하는 정상 화상 데이터는 면 안에 갇힌 모임으로서 나타내어진다. 주성분 분석에서는, 이 모임의 특징을 나타내는 도 4와 같은 2차원 평면을 구한다. 여기서, 차원이란 물리적인 의미를 갖고 있지 않고, 데이터에 포함되는 요소이다. 다시 말해, 차원 수란 데이터에 포함되는 요소의 수이다. 여기서는, 1화소=1차원이고, 예컨대, 세로 10화소, 가로 10화소의 화상 데이터가 있었다고 하면, 이 화상 데이터는 10×10으로 100개의 화소를 가지므로, "100차원의 데이터"라고 하게 된다. 이것은 다시 말해, 100차원 공간에 있어서의 하나의 점으로서 나타내어진다. 도 4는 주성분 분석을 가시화할 수 있도록 3차원으로 도시한 모식도이다. 도 4에 있어서의 타원의 하나하나가 1매의 화상 데이터에 대응한다. 도 4에서는, 3차원으로 나타내고 있기 때문에, 화상 데이터는 3화소의 화상 데이터이다. 이 예에서는, 실제로는 3차원 공간에 분포하는 화상 데이터를 2차원의 부분 공간에서 나타낸다. 다시 말해, 차원 압축하는 모습을 나타내고 있다.
스텝 S10에서 수신한 정상 화상 데이터의 총수를 N으로 하고, 정상 화상 데이터 1매당 화소 수의 총수를 K로 한다. 예컨대, N의 값은 100, 1000 등이고, K의 값은 정상 화상 데이터의 사이즈가 32화소×32화소이면 1024, 640화소×640화소이면 409600 등이다. 이때, 정상 화상 데이터의 매수를 n으로 하면, 정상 화상 데이터 xn은 벡터로서 식 (1)로 나타낼 수 있다. 단, T는 전치 벡터이다.
Figure 112019055518211-pct00001
다음으로, 이 평균 벡터 M과 분산 공분산 행렬 S를 식 (2), 식 (3)으로 구한다.
Figure 112019055518211-pct00002
Figure 112019055518211-pct00003
주성분 분석에서는, 정상 화상 데이터의 공간 중의 분포에 있어서, 평균치가 되는 점을 지나고, 변동성이 가장 큰 방향의 직선인 제 1 주성분을 구한다. 다음으로, 그 제 1 주성분에 직교하고 또한 평균을 지나는 2번째로 변동성이 큰 방향의 제 2 주성분의 직선을 구한다. 이와 같이 차례차례로 주성분을 구하여 간다. 평균을 지나는 변동성이 큰 방향이란 분산 공분산 행렬 S의 고유 벡터를 구하는 문제와 동일하게 된다.
즉, 계산한 분산 공분산 행렬 S를 이용하여, 식 (4)를 만족시키는 고유치 λj와 고유 벡터 uj를 구한다. 여기서, j는 차원의 개수이다.
Figure 112019055518211-pct00004
고유치 λj가 큰 쪽으로부터 그것에 대응하는 고유 벡터 uj를 d개 선택하면 d차원의 주성분(u1, u2, …, ud)이 구하여진다. 고유치 λj가 큰 쪽이란, 주성분 분석 중에서 주요한 성분을 나타낸다. 주요한 성분을 골라냄으로써 주성분 분석의 중요한 파라미터 순으로 소트한다. 단, d≤K이고, 일반적으로 d는 K보다 대폭 작다. uj를 제 j 주성분이라고 부른다. 주성분은 서로 직교하고 있고, 기저라고 불리는 일도 있다. d차원의 주성분(u1, u2, …, ud)의 값이, 대상물(3)의 데이터의 성질을 나타내는 파라미터의 일례이다.
차원 압축하기 전의 원래의 정상 화상 데이터는, 이 주성분의 선형 결합으로 나타낼 수 있다. d차원까지를 채용하고, 그 이외인 d+1차원 이상을 버림으로써 원래는 K차원이었던 정상 화상 데이터를 d차원으로 압축할 수 있게 된다.
여기서, d의 값은 실시의 형태 1과 관련되는 검사 장치(1)의 성능을 좌우하는 중요한 파라미터이다. d의 값을 적절히 설정함으로써, 스텝 S10에서 수신한 정상 화상 데이터에 공통으로 나타나는 중요한 성분만을 골라낼 수 있다. 한편, 동일한 종류의 대상물(3) 사이에서의 격차, 촬영 타이밍이 상이한 것에 의한 화상 데이터의 격차, 카메라의 노이즈 등이라고 하는 불필요한 성분은 제외할 수 있다.
그러나, d의 값을 너무 작게 하면 중요한 성분까지 제외되어 버리고, 또한, d의 값을 너무 크게 하면 불필요한 성분이 남아 버린다.
d의 값은 예컨대 제어부(10)로부터의 지시에 근거하여 결정하는 것을 생각할 수 있다. 이 경우, 제어부(10)는 입출력부(15)를 경유하여 입출력 장치(4)로부터 d의 값을 수신하고, 해석부(12a)에 송신한다.
또한, 해석부(12a)는, 메모리(102) 혹은 기억 매체(103)에 기억되어 있는 d의 값을 읽어내어 이용하더라도 좋다. 이 경우에 미리 기억하여 두는 d의 값은 예컨대 화상 데이터의 화소 수의 총수 K의 10분의 1 정도, 5분의 1 정도 등으로 하는 것을 생각할 수 있다.
또한, 해석부(12a)는, 학습용의 정상 화상 데이터의 성질에 근거하여 적응적으로 d의 값을 결정하는 것도 생각할 수 있다. 이 경우, 식 (5)로 계산되는 누적 기여율 P를 이용하는 것이 유효하다.
Figure 112019055518211-pct00005
누적 기여율 P는, d차원까지의 성분을 이용함으로써 차원 압축하기 전의 원래의 정상 화상 데이터가 갖고 있는 정보의 특징을 어느 정도까지 나타낼 수 있는지를 나타내는 지표이고, 해석부(12a)에 있어서 P의 값이 임계치를 넘는 최소의 d의 값을 구함으로써 정상 화상 데이터의 성질에 따른 적절한 차원 압축을 행할 수 있다.
누적 기여율 P에 대한 임계치는 예컨대 제어부(10)로부터의 지시에 근거하여 결정하는 것을 생각할 수 있다. 이 경우, 제어부(10)는 입출력부(15)를 경유하여 입출력 장치(4)로부터 임계치를 수신하고, 해석부(12a)에 송신한다.
또한, 해석부(12a)는, 메모리(102) 혹은 기억 매체(103)에 기억되어 있는 임계치를 읽어내어 이용하더라도 좋다. 이 경우에 미리 기억하여 두는 임계치는 예컨대 80, 100 등으로 하는 것을 생각할 수 있다.
도 3으로 돌아가, 스텝 S14에 있어서, 차원 압축을 행한 후, 해석부(12a)는 정상 화상 데이터를 학습한 결과인 대상물(3)의 데이터의 성질을 나타내는 파라미터로서 d차원의 주성분(u1, u2, …, ud)을 기억부(13a)에 송신한다. 기억부(13a)는, 해석부(12a)로부터 출력된 학습 결과인 대상물(3)의 데이터의 성질을 나타내는 파라미터를 제어부(10)로부터의 지시에 근거하여 기억 매체(103)에 보존한다. 또, 기억부(13a)는, 해석부(12a)로부터 출력된 학습 결과인 대상물(3)의 데이터의 성질을 나타내는 파라미터를 제어부(10)로부터의 지시에 근거하여 기억 매체(103)에 보존한다고 했지만, 보존 장소는 메모리(102)이더라도 좋다.
학습 모드의 경우, 제어부(10)는, 해석부(12a)의 처리 완료 후, 입출력부(15)에 처리 개시의 지시를 준다. 입출력부(15)는, 제어부(10)로부터의 지시에 근거하여, 학습의 진척 상황 등을 나타내는 정보를 입출력 장치(4)로부터 외부에 출력한다. 또, 여기서는 외부에서 작업자가 입출력 장치(4)를 확인하는 것을 상정하고 있지만, 반드시 그와 같이 할 필요는 없고, 특히 작업자를 개재시키는 일 없이 외부의 제어 장치에 신호를 출력하도록 하더라도 좋다.
도 5는 본 발명의 실시의 형태 1과 관련되는 검사 장치(1)의 검사 모드에 있어서의 동작을 나타내는 플로차트의 일부이다. 도 5를 이용하여, 검사 장치(1)의 검사 모드에 있어서의 동작을 이하에 설명한다.
스텝 S20에 있어서, 제어부(10)는, 입출력부(15)를 경유하여 입출력 장치(4)로부터 기동 신호 및 설정 신호를 수신한다. 그리고, 그 설정 신호에 근거하여 입력부(11)에 지시를 준다. 입력부(11)는, 카메라(2)로부터 대상물(3)의 검사하는 화상 데이터를 수신한다. 이때, 화상 데이터를 수신하는 타이밍은, 예컨대 1초 동안에 30회와 같이 미리 결정하여 두더라도 좋고, 제어부(10)로부터의 지시에 근거하여 결정하더라도 좋다. 제어부(10)는, 해석부(12a)에 검사 모드의 처리 개시의 지시를 준다. 해석부(12a)는, 메모리(102)에 로드한 기억 매체(103)의 검사 모드에 대응하는 프로그램을 메모리(102)로부터 읽어내어 프로세서(101)에서 실행하는 것에 의해 검사 모드로 전환한다. 해석부(12a)는, 입력부(11)로부터 카메라(2)가 촬영한 대상물(3)의 화상 데이터를 수신한다. 또, 대상물(3)의 검사하는 화상 데이터가 검사하는 대상물의 데이터의 일례이다.
스텝 S21에 있어서, 해석부(12a)는, 화상 데이터를 더 수신할지, 혹은 화상 데이터를 수신하는 것을 종료할지를 판정한다. 여기서, 화상 데이터 수신의 종료 판정은 해석부(12a)가 결정하더라도 좋고, 제어부(10)로부터의 지시에 근거하여 결정하더라도 좋다. 해석부(12a)가 결정하는 경우는, 예컨대 수신한 화상 데이터의 매수가 미리 지정된 매수에 도달한 시점에 화상 데이터의 수신을 종료하는 것을 생각할 수 있다. 미리 지정된 매수는, 예컨대 1매, 10매 등이다. 제어부(10)로부터의 지시에 근거하여 결정하는 경우는, 예컨대 제어부(10)가 입출력부(15)를 경유하여 입출력 장치(4)로부터 화상 데이터의 수신 종료 지시를 수신하고, 그것을 해석부(12a)에 송신하는 것을 생각할 수 있다.
스텝 S22에 있어서, 해석부(12a)는, 스텝 S21의 판정 결과에 근거하여 화상 데이터의 수신으로 돌아가거나, 혹은 다음의 스텝으로 진행한다. 화상 데이터 수신 종료 판정의 결과, 화상 데이터의 수신이 더 필요하다고 판단된 경우, 스텝 S22에서 "아니오"가 되고, 다시 S20으로 돌아간다. 화상 데이터 취득 종료로 판단된 경우, 스텝 S22에서 "예"가 되고, 다음의 스텝으로 진행된다.
스텝 S23에 있어서, 해석부(12a)는 학습 모드에서 학습한 결과를 읽어내기 위해 제어부(10)에 대하여 읽기 요구를 송신한다. 기억부(13a)는, 제어부(10)로부터의 지시에 근거하여 필요한 학습 결과를 기억 매체(103)로부터 읽어내고, 해석부(12a)에 입력한다. 여기서 읽어내는 학습 결과는 학습 모드에 있어서 이용한 차원 압축 수법 스텝 S13에 대응한 학습 결과이다. 다시 말해, 실시의 형태 1에서는, 예로서 주성분 분석을 이용했으므로, 주성분을 나타내는 벡터인 d차원의 주성분(u1, u2, …, ud)의 값이 읽어내는 학습 결과가 된다.
스텝 S24에 있어서, 해석부(12a)는, 읽어낸 학습 결과에 근거하여 수신한 검사하는 화상 데이터의 차원 압축을 행한다. 차원 압축의 방법은, 학습 모드에 있어서 이용한 차원 압축 수법 스텝 S13에 대응한 차원 압축의 방법이다. 학습 모드에 있어서 주성분을 나타내는 벡터인 d차원의 주성분(u1, u2, …, ud)의 값이 얻어졌기 때문에, 검사하는 화상 데이터를 d차원의 벡터에 투영함으로써 차원 압축을 행한다. 해석부(12a)는, 검사하는 화상 데이터와, 검사하는 화상 데이터를 차원 압축한 결과인 벡터를 판정부(14a)에 송신한다. 여기서, A는 다음의 처리이고, 상세는 후술한다.
도 6은 본 발명의 실시의 형태 1과 관련되는 검사 장치(1)의 검사 모드에 있어서의 동작을 나타내는 플로차트의 일부이다. 도 6을 이용하여, 검사 장치(1)의 검사 모드에 있어서의 동작의 계속을 이하에 설명한다.
스텝 S30에 있어서, 스텝 S24 후의 A의 처리의 계속으로서, 제어부(10)는, 해석부(12a)의 처리 완료 후, 판정부(14a)에 처리 개시의 지시를 준다. 판정부(14a)는, 제어부(10)로부터의 지시에 근거하여 메모리(102)에 로드한 기억 매체(103)의 프로그램을 메모리(102)로부터 읽어내어 프로세서(101)에서 실행한다. 판정부(14a)는, 우선 해석부(12a)로부터 수신한 검사하는 화상 데이터를 차원 압축한 결과인 벡터를 화상 데이터로서 복원한다. 여기서, 화상 데이터를 복원하는 방법은, 스텝 S24의 차원 압축에서 이용한 수법과 마찬가지의 복원을 한다. 다시 말해, 실시의 형태 1에서는, 주성분 분석을 이용하여 복원을 행한다.
차원 압축에 주성분 분석을 이용한 경우, 수신한 검사하는 화상 데이터를 차원 압축한 결과인 벡터는 도 4에 나타내는 바와 같은 저차원의 부분 공간에서 나타내어지고 있기 때문에, 이것을 원래의 화상 데이터와 동일한 차원의 공간에 투영함으로써 화상 데이터의 복원이 행하여진다.
스텝 S31에 있어서, 판정부(14a)는, 복원한 화상 데이터와 검사하는 화상 데이터의 차분을 계산한다. 이때 차분은 화소마다 차분을 계산한다. 또, 차분은 절대치 차분으로 하더라도 좋다. 여기서, 이하에서는 복원한 화상 데이터를 복원 데이터라고 기재한다.
도 7은 프린트 기판을 대상물(3)로 하여, 기판 상에 이상이 없는지 여부를 검사하는 예이다. 도 7은 좌측 도면이 검사하는 화상 데이터, 중앙 도면이 복원 데이터, 우측 도면이 검사하는 화상 데이터와 복원 데이터의 차분을 나타내는 데이터이다. 우측 도면의 검사하는 화상 데이터와 복원 데이터의 차분을 나타내는 데이터에서는, 검을수록 차분이 작고, 희어질수록 차분이 큰 것을 나타내고 있다. 지금, 검사하는 대상물(3)이 되고 있는 기판이 정상적인 경우, 차원 압축을 행하더라도 검사하는 화상 데이터와 거의 동일한 화상 데이터를 복원하는 것이 가능하다. 이것은, 학습 모드에 있어서, 정상 화상 데이터의 특징을 효율적으로 나타내는 방법을 학습하고 있고, 검사 모드에 있어서도 검사하는 대상물(3)이 정상이면 학습에 사용한 정상 화상 데이터와 매우 유사한 화상 데이터가 검사하는 화상 데이터가 되기 때문이다.
따라서, 도 7에 나타내는 바와 같이, 복원 데이터와 검사하는 화상 데이터의 차분을 계산하더라도 화상 데이터 전체에 걸쳐 차분치는 거의 제로가 된다.
한편, 검사하는 대상물(3)에 이상이 있는 경우, 정상 화상 데이터로 학습한 결과를 사용하여 차원 압축을 행하면 정상 화상 데이터와 현저하게 상이한 부분은 올바르게 복원할 수 없다.
도 8은 검사하는 대상물(3)이 되고 있는 기판의 일부에 결손이 있는 경우의 예이다. 도 8은 좌측 도면이 검사하는 화상 데이터, 중앙 도면이 복원 데이터, 우측 도면이 검사하는 화상 데이터와 복원 데이터의 차분을 나타내는 데이터이다. 우측 도면의 검사하는 화상 데이터와 복원 데이터의 차분을 나타내는 데이터에서는, 검을수록 차분이 작고, 희어질수록 차분이 큰 것을 나타내고 있다. 이 경우, 정상 부분에 대해서는 복원 데이터에 있어서 올바르게 복원되지만, 결손 부분에 대해서는 학습 모드에서 사용한 정상 화상 데이터에 근거하여 복원되기 때문에 올바르게 복원할 수 없다.
따라서, 도 8에 나타내는 바와 같이, 복원 데이터와 검사하는 화상 데이터의 차분을 계산하면, 이상 부분이 되는 정상 화상 데이터와 상이한 개소만 차분이 커진다.
도 6으로 돌아가, 스텝 S32에 있어서, 판정부(14a)는, 복원 데이터와 검사하는 화상 데이터의 차분에 근거하여 검사하는 화상 데이터에 이상이 존재하는지 여부를 나타내는 판정 결과를 입출력부(15)에 출력한다. 판정부(14a)는, 복원 데이터와 검사하는 화상 데이터의 차분에 임계치 처리를 행하고, 차분치가 임계치 미만이 되는 화소의 값을 0, 임계치 이상이 되는 화소의 값을 1로 한다. 여기서, 0과 1을 바꾸거나, 다른 값을 이용하거나 하더라도 상관없다.
임계치는 예컨대 제어부(10)로부터의 지시에 근거하여 결정하는 것을 생각할 수 있다. 이 경우, 제어부(10)는 입출력부(15)를 경유하여 입출력 장치(4)로부터 임계치를 수신하고, 해석부(12a)에 송신한다.
또한, 판정부(14a)는, 메모리(102) 혹은 기억 매체(103)에 기억하고 있는 임계치의 값을 읽어내서 이용하더라도 좋다. 이 경우에 미리 기억하여 두는 임계치의 값은 예컨대 100, 200 등이다.
또한, 판정부(14a)는, 차분치의 분포에 따라 적응적으로 임계치를 결정하더라도 좋다. 어느 임계치를 결정했을 때에 그 임계치 이상의 화소치를 갖는 화소의 집합을 클래스 1, 그 이외의 화소의 집합을 클래스 2로 하면, 클래스 1과 클래스 2의 화소치로부터 클래스 간 분산과 클래스 내 분산을 구하고, 이들 값으로부터 계산되는 분리도가 최대가 되도록 임계치를 결정한다.
도 9는 임계치 처리의 결과이다. 임계치 처리에 의해 도 9와 같은 결과를 얻을 수 있었던 것으로 한다. 단, 도 9에 있어서, 검은색으로 나타낸 영역이 임계치 미만이 되는 영역, 흰색으로 나타낸 영역이 임계치 이상이 되는 영역이다.
판정부(14a)는, 도 9에 파선으로 나타내는 바와 같이 흰색 영역에 외접하는 직사각형을 구하고, 그 위치에 이상이 존재하는 것을 입출력부(15)에 송신한다. 여기서, 이하에서는, 흰색 영역에 외접하는 직사각형을 바운딩 박스라고 기재한다. 또, 송신하는 정보로서는, 바운딩 박스의 좌측 위 좌표, 세로 폭, 가로 폭 등이다. 또, 판정부(14a)는, 바운딩 박스를 입출력부(15)에 송신하지 않고, 이상이 있는 화소의 위치의 전부를 입출력부(15)에 송신하더라도 좋다.
또한, 판정부(14a)는, 계산한 차분 화상 데이터를 입출력부(15)에 송신하도록 하더라도 좋다.
또, 바운딩 박스의 위치 또는 크기에 대하여 조건을 마련하고, 그 조건을 만족시키지 않는 바운딩 박스에 대해서는 무시하도록 하더라도 좋다. 이와 같이 함으로써, 화상 데이터 중의 대상 영역 밖에서의 잘못된 검지를 막거나, 노이즈에 의한 잘못된 검지를 막거나 하는 것이 가능하게 된다.
바운딩 박스에 대한 조건은 예컨대 제어부(10)로부터의 지시에 근거하여 결정하는 것을 생각할 수 있다. 이 경우, 제어부(10)는 입출력부(15)를 경유하여 입출력 장치(4)로부터 조건을 수신하고, 해석부(12a)에 송신한다.
또한, 판정부(14a)는, 메모리(102) 혹은 기억 매체(103)에 기억하고 있는 조건을 읽어내서 이용하더라도 좋다. 이 경우에 미리 기억하여 두는 조건은 예컨대, 바운딩 박스의 세로 폭이 3화소 이상인 것, 바운딩 박스의 가로 폭이 3화소 이상인 것, 검사 대상 영역을 한정하기 위한 2차원 마스크 내에 있는 것 등을 들 수 있다.
도 10은 검사 대상 영역을 한정하기 위한 2차원 마스크의 예이다. 도 10은 좌측 도면이 검사하는 화상 데이터이고, 우측 도면이 2차원 마스크이다. 판정부(14a)는, 우측 도면의 2차원 마스크를 좌측 도면의 검사하는 화상 데이터에 적응시킨다. 도 10의 우측 도면의 2차원 마스크에 있어서, 흰색으로 나타내어진 영역이 검사 대상 영역이고, 검은색으로 나타내어진 영역이 바운딩 박스이다. 따라서, 우측 도면의 2차원 마스크를 좌측 도면의 검사하는 화상 데이터에 적응시킨 경우, 우측 도면의 2차원 마스크의 검은색으로 나타내어진 바운딩 박스 내에 대응하는 좌측 도면의 영역 내는 이상이 있더라도 무시된다.
도 6으로 돌아가, 검사 모드의 경우, 제어부(10)는, 판정부(14a)의 처리 완료 후, 입출력부(15)에 처리 개시의 지시를 준다. 입출력부(15)는, 제어부(10)로부터의 지시에 근거하여, 판정부(14a)로부터 수신한 판정 결과를 입출력 장치(4)로부터 외부에 출력한다. 또, 여기서는 외부에서 작업자가 입출력 장치(4)를 확인하는 것을 상정하고 있지만, 반드시 그와 같이 할 필요는 없고, 특히 작업자를 개재시키는 일 없이 외부의 제어 장치 등에 신호를 출력하도록 하더라도 좋다.
도 11은 입출력 장치(4)가 그 구성에 디스플레이를 포함하는 경우에, 입출력부(15)가 입출력 장치(4)에 대하여 지시하는 표시 내용의 예이다.
도 11은 판정부(14a)에서 이상이 검출되지 않은 경우를 나타내고 있다. 이 경우, 단지 검사하는 화상 데이터를 그대로 표시하고, 또한 이상이 없는 것을 통지하기 위한 메시지를 표시한다. 이상이 없는 것을 통지하기 위한 메시지는, 예컨대 도 11의 좌측 위에 나타낸 OK 마크를 들 수 있다. 또, OK 마크가 아닌, 이상 없음, 정상, ○ 마크 등의 마크이더라도 좋다.
도 12는 입출력 장치(4)가 그 구성에 디스플레이를 포함하는 경우에, 입출력부(15)가 입출력 장치(4)에 대하여 지시하는 표시 내용의 다른 예이다.
도 12는 판정부(14a)에서 2개소의 이상이 검출된 경우를 나타내고 있다. 이 경우, 검사하는 화상 데이터에 대하여 검출된 이상 개소를 점선으로 중첩 표시하고, 또한 이상이 검출된 것을 통지하기 위한 메시지를 표시한다. 이상이 검출된 것을 통지하기 위한 메시지는, 예컨대 도 12의 좌측 위에 나타낸 NG 마크를 들 수 있다. 또, NG 마크가 아닌, 이상, 비정상, × 마크 등의 마크이더라도 좋다. 또한, 이상 개소에 메시지로서 "CHECK!" 마크를 붙이더라도 좋다. 이상 개소는, 판정부(14a)로부터 수신한 바운딩 박스에 근거하여 특정한다. 바운딩 박스에 근거하여 이상 개소를 특정하는 것은, 판정부(14a) 또는 입출력부(15) 중 어느 것이 행하더라도 좋다. 또, 바운딩 박스는, 표시되더라도 되지 않더라도 좋다.
도 13은 입출력 장치(4)가 그 구성에 디스플레이를 포함하는 경우에, 입출력부(15)가 입출력 장치(4)에 대하여 지시하는 표시 내용의 또 다른 예이다.
도 13은 도 12와 동일하게 판정부(14a)에서 2개소의 이상이 검출된 경우를 나타내고 있다. 단, 검출된 이상 개소를 직접적으로 나타내는 것이 아니고, 좌측에 검사하는 화상 데이터를, 우측에 검사하는 화상 데이터에 대하여 판정부(14a)에서 계산한 차분 화상 데이터를 합성한 차분 합성 화상 데이터를 표시한다. 차분 합성 화상 데이터에 대해서는, 검을수록 차분이 작고, 흴수록 차분이 큰 것을 나타내고 있다. 이와 같이 하면, 도 13의 우측의 차분 합성 화상 데이터에서 희게 눈에 띄는 부분이, 검사하는 화상 데이터에 있어서 정상 상태로부터의 차분이 커져 있는 개소로서 현저하게 눈에 띄어 보이기 때문에, 이상의 검사를 행하는 작업자가 주목해야 할 개소를 용이하게 파악할 수 있게 된다. 도 12와 마찬가지로, 바운딩 박스에 근거하여 이상 개소를 특정하는 것은, 판정부(14a) 또는 입출력부(15) 중 어느 것이 행하더라도 좋다.
또, 도 11, 도 12, 도 13에 나타낸 입출력 장치(4)에서의 표시 방법은 어디까지나 예이고, 실제로는 이들의 조합 또는 이들과는 상이한 표시 방법을 이용하는 것도 생각할 수 있다. 또한, 입출력 장치(4)가 디스플레이가 아닌, 스피커로 구성되는 경우도 있고, 그 경우는 음성, 음악 등에 의해 외부에 정보를 출력하는 것도 생각할 수 있다.
전원을 OFF로 하는 것 혹은 종료 조작이 이루어지는 등의 처리의 종료의 트리거가 있을 때까지 상기와 같은 학습 모드의 처리 및 검사 모드의 처리를 반복하는 것에 의해, 대상물(3)과 카메라(2)의 확실한 고정 및 대상물(3)을 촬영하여 취득한 화상 데이터의 화소마다 높은 정밀도의 위치 맞춤을 행한다고 하는 제약을 완화하면서, 대상물(3)의 결손, 잘못된 배치, 결함 등의 이상의 유무를 검사할 수 있다. 또, 학습 모드의 처리 및 검사 모드의 처리를 반복하는 것으로 했지만, 학습 모드의 처리는 반복하지 않고 1회만 행하더라도 좋다. 마찬가지로, 검사 모드의 처리는 반복하지 않고 1회만 행하더라도 좋다.
이상 말한 바와 같이, 본 실시의 형태 1의 검사 시스템에 포함되는 검사 장치(1)는, 이상을 포함하지 않는 대상물(3)의 데이터를 차원 압축하는 것에 의해 이상을 포함하지 않는 대상물(3)의 데이터의 성질을 나타내는 파라미터를 산출하고, 검사하는 대상물(3)의 데이터를 파라미터를 이용하여 차원 압축하고, 차원 압축한 검사하는 대상물(3)의 데이터를 복원한 복원 데이터를 생성하고, 검사하는 대상물(3)의 데이터와 복원 데이터의 차분의 대소에 근거하여 검사하는 대상물(3)이 이상이 있는지 여부를 나타내는 판정 결과를 입출력부(15)에 출력하기 때문에, 종래의 검사 장치보다, 대상물(3)과 카메라(2)의 확실한 고정 및 대상물(3)을 촬영하여 취득한 화상 데이터의 화소마다 높은 정밀도의 위치 맞춤을 행한다고 하는 제약을 완화하면서, 대상물(3)의 결손, 잘못된 배치, 결함 등의 이상의 유무를 검사할 수 있다.
또한, 본 실시의 형태 1의 검사 시스템에 포함되는 검사 장치(1)는, 주성분 분석을 이용한 차원 압축에 의해, 정상 화상 데이터에 공통으로 나타나는 대상물(3)의 데이터의 성질을 나타내는 파라미터만을 골라낸 효율적인 특징을 얻을 수 있다. 이 과정에서 동일한 종류의 대상물(3) 사이에서의 격차, 촬영 타이밍이 상이한 것에 의한 화상 데이터의 격차, 카메라의 노이즈 등이라고 하는 불필요한 정보는 버리고 갈 수 있기 때문에, 데이터 사이즈가 작아지고 기억 매체(103)가 필요로 하는 기억 용량을 삭감할 수 있다.
또한, 본 실시의 형태 1의 검사 시스템에 포함되는 검사 장치(1)는, 정상 화상 데이터로부터 정상 상태의 대상물(3)의 화상 데이터를 학습하고, 검사를 행하기 때문에, 이상 상태에 대하여 이용자, 개발자 등이 정의할 필요가 없다. 그 때문에, 이상 상태의 정의에 누락이 있어, 이상을 놓친다고 하는 일이 없고, 어떠한 이상에도 범용적으로 적용할 수 있다.
또, 상기한 본 실시의 형태 1의 검사 시스템에서는, 검사 장치(1), 카메라(2), 및 입출력 장치(4)를 분리한 구성으로 하고 있지만, 카메라(2) 또는 입출력 장치(4) 또는 카메라(2)와 입출력 장치(4)의 양쪽을 검사 장치(1) 내에 포함시킨 구성으로 하더라도 좋다. 이와 같이 구성된 검사 시스템이더라도, 상기한 실시의 형태 1의 효과를 얻을 수 있다.
상기한 본 실시의 형태 1의 검사 시스템에서는, 판정부(14a)는, 차원 압축한 검사하는 대상물(3)의 화상 데이터를 차원 압축에서 이용한 방법과 마찬가지의 방법으로 복원하고, 복원한 화상 데이터인 복원 데이터와 검사하는 대상물(3)의 화상 데이터의 차분의 대소에 근거하여, 검사하는 대상물(3)이 이상이 있는지 여부를 나타내는 판정 결과를 입출력부(15)에 출력한다. 그리고, 판정부(14a)는, 복원부와 판정부를 합친 부의 일례인 것으로 했다. 그러나, 차원 압축한 검사하는 대상물(3)의 화상 데이터를 차원 압축에서 이용한 방법과 마찬가지의 방법으로 복원하는 복원부는 독립하여 검사 장치(1)에 구비하고 있더라도 좋고, 해석부(12a)가 복원부의 기능을 구비하고 있더라도 좋다. 이와 같이 구성된 검사 시스템이더라도, 상기한 실시의 형태 1의 효과를 얻을 수 있다.
상기한 본 실시의 형태 1의 검사 시스템에서는, 해석부(12a)는, 대상물(3)의 차원 압축에 주성분 분석을 이용하고, 기억부(13a)는, 주성분 분석의 결과를 기억하고, 판정부(14a)는, 주성분 분석을 이용하여 복원을 행하였지만, 대상물(3)에 복수의 종류가 존재하는 경우, 대상물(3)의 종류마다 차원 압축 방법을 변경하더라도 좋다. 예컨대, 1종류째의 대상물(3)에 있어서, 해석부(12a)는, 1종류째의 대상물(3)의 차원 압축에 주성분 분석을 이용하고, 기억부(13a)는, 주성분 분석의 결과를 기억하고, 판정부(14a)는, 주성분 분석을 이용하여 복원을 행하고, 2종류째의 대상물(3)에 있어서, 해석부(12a)는, 2종류째의 대상물(3)의 차원 압축에 선형 판별 분석을 이용하고, 기억부(13a)는, 선형 판별 분석의 결과를 기억하고, 판정부(14a)는, 선형 판별 분석을 이용하여 복원을 행하는 등 하더라도 좋다. 또, 대상물(3)의 종류는 몇 개이더라도 좋고, 대상물(3)의 종류와 차원 압축 방법의 조합은, 임의이다. 단, 동일 종류의 대상물(3)의 경우는, 동일한 차원 압축의 방법을 이용한다. 이와 같이 구성된 검사 시스템이더라도, 상기한 실시의 형태 1의 효과를 얻을 수 있다.
실시의 형태 2.
실시의 형태 1에서는, 해석부(12a)는, 대상물(3)의 차원 압축에 주성분 분석을 이용하고, 기억부(13a)는, 주성분 분석의 결과를 기억하고, 판정부(14a)는, 주성분 분석을 이용하여 복원을 행하였다. 주성분 분석은 선형의 차원 압축 수법의 대표적인 예이다. 실시의 형태 2와 관련되는 해석부(12b), 기억부(13b) 및 판정부(14b)는, 도 14~도 20에 나타내는 바와 같이, 차원 압축에 뉴럴 네트워크를 이용한 자기 부호화기를 이용한다. 뉴럴 네트워크를 이용한 자기 부호화기는, 비선형의 차원 압축이 가능한 수법으로서 알려져 있다. 이 때문에, 선형의 차원 압축 수법인 주성분 분석과 비교하여, 비선형의 차원 압축이 가능하기 때문에, 더 효율적으로 특징을 획득하는 것이 가능하다. 그 이외는, 실시의 형태 1과 마찬가지이다.
도 14는 본 발명의 실시의 형태 2와 관련되는 검사 장치(200)를 포함하는 검사 시스템의 기능 블록도이다. 이하의 설명에 있어서 이미 설명한 구성 및 동작에 대해서는 동일 부호를 붙이고, 중복되는 설명을 생략한다.
실시의 형태 2에서는, 실시의 형태 1의 도 1의 해석부(12a), 기억부(13a) 및 판정부(14a) 대신에 해석부(12b), 기억부(13b) 및 판정부(14b)가 기능 블록도의 구성으로서 더하여진다.
해석부(12b)는, 실시의 형태 1의 해석부(12a)에서의 차원 압축에 있어서 이용한 주성분 분석 대신에, 뉴럴 네트워크를 이용한 자기 부호화기를 이용하여 차원 압축을 행한다. 그 이외는, 해석부(12a)와 마찬가지이다.
기억부(13b)는, 실시의 형태 1의 기억부(13a)에서 기억한 주성분 분석의 학습 결과를 기억 및 주성분 분석의 학습 결과를 읽어내고, 해석부(12a)에 입력하는 대신에, 뉴럴 네트워크를 이용한 자기 부호화기의 학습 결과를 기억 및 뉴럴 네트워크를 이용한 자기 부호화기의 학습 결과를 읽어내고, 해석부(12b)에 입력한다. 그 이외는, 기억부(13a)와 마찬가지이다.
판정부(14b)는, 실시의 형태 1의 판정부(14b)에서의 복원에 있어서 이용한 주성분 분석 대신에, 뉴럴 네트워크를 이용한 자기 부호화기를 이용하여 복원을 행한다. 그 이외는, 판정부(14a)와 마찬가지이다.
본 발명의 실시의 형태 2와 관련되는 검사 장치(200)의 하드웨어 구성도는, 실시의 형태 1의 도 2와 마찬가지이다. 해석부(12b)의 하드웨어 구성은 해석부(12a)와 마찬가지, 기억부(13b)의 하드웨어 구성은 기억부(13a)와 마찬가지, 판정부(14b)의 하드웨어 구성은 판정부(14a)와 마찬가지이다.
다음으로, 본 발명의 실시의 형태 2와 관련되는 검사 장치(200)의 학습 모드에 있어서의 동작에 대하여 설명한다.
도 15는 본 발명의 실시의 형태 2와 관련되는 검사 장치(200)의 학습 모드에 있어서의 동작을 나타내는 플로차트이다. 도 15를 이용하여, 검사 장치(200)의 학습 모드에 있어서의 동작을 이하에 설명한다.
스텝 S40, 스텝 S41, 스텝 S42는 실시의 형태 1의 스텝 S10, 스텝 S11, 스텝 S12와 마찬가지이다. 단, 해석부(12a) 대신에 해석부(12b)가 처리를 행한다.
스텝 S43에 있어서, 해석부(12b)는 수신한 정상 화상 데이터를 사용하여 차원 압축을 행한다. 여기서, 차원 압축이란, 실시의 형태 1과 마찬가지로, 화상 데이터, 3차원 입체 데이터 등의 고차원 데이터를 저차원의 데이터로 변환하는 것을 가리킨다. 해석부(12b)는, 학습 모드에 있어서 정상 화상 데이터를 이용하여 학습을 행하고, 정상 화상 데이터에 최적인 데이터 변환 방법을 획득한다. 이하에서는, 차원 압축의 방법으로서, 뉴럴 네트워크에 의한 자기 부호화기를 이용한 경우에 대하여 설명한다.
뉴럴 네트워크란, 시냅스를 통해서 네트워크 형상으로 이어진 뉴런이 거기에 흐르는 전류의 강약으로 학습, 패턴 인식 등을 행한다고 하는 인간의 뇌의 메커니즘을 계산기로 본뜬 것이고, 가장 단순한 모델은 퍼셉트론이라고 불린다.
도 16은 뉴런을 다입력 1출력의 노드로서 모델화한 도면이다.
퍼셉트론은, 도 16에 나타내는 바와 같이, 뉴런을 다입력 1출력의 노드로서 모델화한 도면이다. 실시의 형태 1과 마찬가지로, 스텝 S40에서 수신한 정상 화상 데이터 1매당 화소 수의 총수를 K, 차원의 개수를 j로 한다. 예컨대, K의 값은 정상 화상 데이터의 사이즈가 32화소×32화소이면 1024, 640화소×640화소이면 409600 등이다. 퍼셉트론은, 입력 데이터인 정상 화상 데이터의 화소 xj에 대하여 가중치 wj로 가중하여 바이어스 b를 뺀 선형 가중합과, 그 선형 가중합의 양과 음에 따라 1과 0을 출력하는 임계치 논리 함수 z(u)로 구성된다. 또, 입력 데이터인 정상 화상 데이터의 화소 xj의 모임이 정상 화상 데이터의 벡터 x, 가중치 wj의 모임이 가중 벡터 w가 된다. y를 출력 데이터로 하면, 퍼셉트론은, 식 (6) 으로 나타내어진다. 또, 도 16은 화상 데이터 1매에 대한 계산이고, 화상 데이터가 1000매 있는 경우는, 마찬가지의 계산을 1000회 행한다.
Figure 112019055518211-pct00006
식 (6)은, 입력 데이터인 정상 화상 데이터의 화소 xj의 임계치 논리 함수 z(u)가 클래스 c1에 속하는지 클래스 c2에 속하는지에 따라, 1 또는 0의 값을 취하는 2클래스의 식별 함수가 된다. 식별 함수란, 예컨대, 미리 개의 화상 데이터를 모은 클래스 c1과 고양이의 화상 데이터를 모은 클래스 c2를 준비하여 두고, 각각의 화상 데이터에 개의 화상 데이터인 것, 고양이의 화상 데이터인 것의 라벨 부여를 하여 둔다. 입력 데이터로서 라벨 부여가 되어 있지 않은 개의 화상 데이터를 식별 함수에 넣으면, 클래스 c1의 개의 화상 데이터와 클래스 c2의 고양이의 화상 데이터로부터 입력 데이터로서 라벨 부여가 되어 있지 않은 화상 데이터가 클래스 c1의 개의 화상 데이터인지 클래스 c2의 고양이의 화상 데이터인지를 판정하고, 입력 데이터로서 라벨 부여가 되어 있지 않은 개의 화상 데이터를 개의 화상 데이터라고 판정한다. 또, 퍼셉트론에 있어서의 임계치 논리 함수 z(u)는, 보다 일반적으로는 활성화 함수라고 불리는 다른 다양한 함수로 대체하는 것이 가능하다. 예컨대, 시그모이드 함수, ReLU 등을 들 수 있다.
식 (6)에서는, 클래스 c1에 속하는 데이터와 클래스 c2에 속하는 데이터를 미리 복수 준비하여 둔다. 여기서, 미리 준비한 클래스 c1에 속하는 데이터와 클래스 c2에 속하는 데이터를 학습 데이터라고 기재한다. 학습 데이터에 대하여 클래스 c1에 속하는지 클래스 c2에 속하는지를 식별할 수 있도록 가중 벡터 w를 학습함으로써, 새로운 데이터가 입력되었을 때에 그 클래스를 식별하는 것이 가능하게 된다. 가중 벡터 w의 값이, 대상물(3)의 데이터의 성질을 나타내는 파라미터의 일례이다.
도 17은 모래시계형 뉴럴 네트워크의 예이다.
자기 부호화기란, 도 17에 나타내는 바와 같이 데이터가 입력되는 입력층과 출력되는 출력층의 중간에 있는 숨겨진 층의 노드 수가 입력층 및 출력층의 노드 수보다 작은 모래시계형 뉴럴 네트워크이다. 또, 도 17에 나타내는 네트워크의 좌단이 입력층, 도 17에 나타내는 네트워크의 우단이 출력층, 도 17에 나타내는 네트워크의 중간이 숨겨진 층이다. 여기서, 도 16과 마찬가지로, 스텝 S40에서 수신한 정상 화상 데이터 1매당 화소 수의 총수를 K, 차원의 개수를 j로 한다. 예컨대, K의 값은 정상 화상 데이터의 사이즈가 32화소×32화소이면 1024, 640화소×640화소이면 409600 등이다. 입력 데이터는, 정상 화상 데이터의 화소 xj의 모임인 정상 화상 데이터의 벡터 x로 하고, 가중치 wj의 모임을 가중 벡터 w로 한다. 또한, 숨겨진 층의 벡터를 aj로 한다. 출력 데이터는, 정상 화상 데이터의 화소 xj의 모임인 정상 화상 데이터의 벡터 x와 거의 동일한 화소 yj의 모임인 화상 데이터의 벡터 y이고, 가중치 vj의 모임이 가중 벡터 v가 된다. 입력 데이터인 정상 화상 데이터의 화소 xj의 모임의 정상 화상 데이터의 벡터 x에, 가중치 wj의 모임의 가중 벡터 w를 곱하면, 숨겨진 층의 벡터 aj가 되고, 숨겨진 층의 벡터 aj에, 가중치 vj의 모임의 가중 벡터 v를 곱하면, 정상 화상 데이터의 화소 xj의 모임인 정상 화상 데이터의 벡터 x와 거의 동일한 화소 yj의 모임인 화상 데이터의 벡터 y가 된다. 숨겨진 층의 벡터 aj가 화상 데이터에서 주요한 성분을 나타내고, 가중 벡터 w의 값 및 가중 벡터 v의 값이, 대상물(3)의 데이터의 성질을 나타내는 파라미터의 일례이다. 또, 도 17은 화상 데이터 1매에 대한 계산이고, 화상 데이터가 1000매 있는 경우는, 마찬가지의 계산을 1000회 행한다.
자기 부호화기는, 학습 데이터에 대하여 입력 데이터와 출력 데이터가 거의 일치하도록 각 노드의 가중치를 학습한다. 이와 같이 함으로써, 숨겨진 층에 입력 데이터의 정보를 가능한 한 보존하면서 저차원화한 특징을 얻을 수 있는 것이 알려져 있다.
도 15로 돌아가, 스텝 S43에 있어서, 스텝 S40에서 취득한 정상 화상 데이터를 입력 데이터로 하고, 입력 데이터와 출력 데이터가 거의 일치하는 자기 부호화기를 학습함으로써, 정상 화상 데이터에 공통으로 나타나는 중요한 성분만을 숨겨진 층에 있어서 골라낼 수 있다. 다시 말해, 입력 데이터로서 입력한 정상 화상 데이터와 숨겨진 층을 통해 출력하는 입력 데이터를 복원한 화상 데이터가 정상 화상 데이터에 공통으로 나타나는 중요한 성분에 대하여 일치하는 자기 부호화기를 학습한다. 한편, 동일한 종류의 물체 사이에서의 격차, 촬영 타이밍이 상이한 것에 의한 화상의 격차, 카메라의 노이즈 등이라고 하는 불필요한 성분은 제외할 수 있다.
도 18은 자기 부호화기의 숨겨진 층의 총수를 변경했을 때의 모습을 나타내는 일례이다.
도 17에 나타내는 자기 부호화기의 숨겨진 층은 1층이지만, 이 총수는 자유롭게 변경할 수 있다. 총수의 변경은 용이하고, 도 18의 (1)에 나타내는 바와 같이, 우선 도 17에 나타내는 숨겨진 층이 1층인 자기 부호화기를 학습시킨다. 그 후, 도 18의 (2)에 나타내는 바와 같이, 자기 부호화기의 출력층을 없애고, 입력층과 숨겨진 층을 남김으로써, 입력 데이터의 차원을 압축하는 네트워크를 얻을 수 있다. 다음으로, 도 18의 (3)에 나타내는 바와 같이, 그 차원 압축된 데이터를 입력 데이터로 하여, 새롭게 도 18의 (1)과는 상이한 가중 벡터가 되는 자기 부호화기를 학습함으로써 차원을 더 압축할 수 있다.
여기서, 자기 부호화기의 층수는 실시의 형태 2와 관련되는 검사 장치(200)의 성능을 좌우하는 중요한 파라미터이다. 층수를 적절히 설정함으로써, 스텝 S40에서 취득한 정상 화상 데이터에 공통으로 나타나는 중요한 성분만을 골라낼 수 있다. 한편, 동일한 종류의 대상물(3) 사이에서의 격차, 촬영 타이밍이 상이한 것에 의한 화상 데이터의 격차, 카메라의 노이즈 등이라고 하는 불필요한 성분은 제외할 수 있다.
그러나, 층수를 너무 크게 하면 중요한 성분까지 제외되어 버리고, 또한, 층수를 너무 작게 하면 불필요한 성분이 남아 버린다.
층수는 예컨대 제어부(10)로부터의 지시에 근거하여 결정하는 것을 생각할 수 있다. 이 경우, 제어부(10)는 입출력부(15)를 경유하여 입출력 장치(4)로부터 층수를 수신하고, 해석부(12b)에 송신한다.
또한, 해석부(12b)는, 메모리(102) 혹은 기억 매체(103)에 기억되어 있는 층수의 값을 읽어내어 이용하더라도 좋다. 이 경우에 미리 기억하여 두는 층수의 값은 예컨대 5 정도, 10 정도 등으로 하는 것을 생각할 수 있다.
도 15로 돌아가, 스텝 S44에 있어서, 차원 압축을 행한 후, 해석부(12b)는 정상 화상 데이터를 학습한 결과로서 각 노드의 가중 벡터의 값을 기억부(13b)에 송신한다. 또, 층수에 따라 기억하는 가중 벡터의 값의 수도 상이하다. 기억부(13b)는, 해석부(12b)로부터 출력된 학습 결과를 제어부(10)로부터의 지시에 근거하여 기억 매체(103)에 보존한다. 또, 기억부(13b)는, 해석부(12b)로부터 출력된 학습 결과를 제어부(10)로부터의 지시에 근거하여 기억 매체(103)에 보존하는 것으로 했지만, 보존 장소는 메모리(102)이더라도 좋다.
학습 모드의 경우, 제어부(10)는, 해석부(12a)의 처리 완료 후, 입출력부(15)에 처리 개시의 지시를 준다. 입출력부(15)는, 제어부(10)로부터의 지시에 근거하여, 학습의 진척 상황 등을 나타내는 정보를 입출력 장치(4)로부터 외부에 출력한다. 또, 여기서는 외부에서 작업자가 입출력 장치(4)를 확인하는 것을 상정하고 있지만, 반드시 그와 같이 할 필요는 없고, 특히 작업자를 개재시키는 일 없이 외부의 제어 장치에 신호를 출력하도록 하더라도 좋다.
도 19는 본 발명의 실시의 형태 2와 관련되는 검사 장치(200)의 검사 모드에 있어서의 동작을 나타내는 플로차트의 일부이다. 도 19를 이용하여, 검사 장치(200)의 검사 모드에 있어서의 동작을 이하에 설명한다.
스텝 S50, 스텝 S51, 스텝 S52는 실시의 형태 1의 스텝 S20, 스텝 S21, 스텝 S22와 마찬가지이다. 단, 해석부(12a) 대신에 해석부(12b)가 처리를 행한다.
스텝 S53에 있어서, 해석부(12b)는 학습 모드에서 학습한 결과를 읽어내기 위해 제어부(10)에 대하여 읽기 요구를 송신한다. 기억부(13b)는, 제어부(10)로부터의 지시에 근거하여 필요한 학습 결과를 기억 매체(103)로부터 읽어내고, 해석부(12b)에 입력한다. 여기서 읽어내는 학습 결과는 학습 모드에 있어서 이용한 차원 압축 수법 스텝 S43에 대응한 학습 결과이다. 다시 말해, 실시의 형태 2에서는, 예로서 뉴럴 네트워크에 의한 자기 부호화기를 이용했으므로, 각 노드의 가중 벡터의 값을 읽어내는 학습 결과가 된다.
스텝 S54에 있어서, 해석부(12b)는, 읽어낸 학습 결과에 근거하여 수신한 검사하는 화상 데이터의 차원 압축을 행한다. 차원 압축의 방법은, 학습 모드에 있어서 이용한 차원 압축 수법 스텝 S43에 대응한 차원 압축의 방법이다. 학습 모드에 있어서 각 노드의 가중 벡터의 값을 얻었기 때문에, 동일한 가중치를 사용한 뉴럴 네트워크에 검사하는 화상 데이터를 입력함으로써 차원 압축을 행할 수 있다. 해석부(12b)는, 검사하는 화상 데이터와, 검사하는 화상 데이터를 차원 압축한 결과인 벡터를 판정부(14b)에 송신한다. 검사하는 화상 데이터를 차원 압축한 결과인 벡터란, 출력층의 값인 출력 데이터가 된다. 여기서, B는 다음의 처리이고, 상세는 후술한다.
도 20은 본 발명의 실시의 형태 2와 관련되는 검사 장치(200)의 검사 모드에 있어서의 동작을 나타내는 플로차트의 일부이다. 도 20을 이용하여, 검사 장치(200)의 검사 모드에 있어서의 동작의 계속을 이하에 설명한다.
스텝 S60에 있어서, 스텝 S54 후의 B의 처리의 계속으로서, 제어부(10)는, 해석부(12b)의 처리 완료 후, 판정부(14b)에 처리 개시의 지시를 준다. 판정부(14b)는, 제어부(10)로부터의 지시에 근거하여 메모리(102)에 로드한 기억 매체(103)의 프로그램을 메모리(102)로부터 읽어내어 프로세서(101)에서 실행한다. 판정부(14b)는, 우선 해석부(12b)로부터 수신한 검사하는 화상 데이터를 차원 압축한 결과인 벡터를 화상 데이터로서 복원한다. 여기서, 화상 데이터를 복원하는 방법은, 스텝 S54의 차원 압축에서 이용한 수법과 마찬가지의 복원을 한다. 다시 말해, 실시의 형태 2에서는, 뉴럴 네트워크에 의한 자기 부호화기를 이용하여 복원을 행한다.
차원 압축에 뉴럴 네트워크를 이용한 경우, 뉴럴 네트워크의 출력은 벡터로 되어 있기 때문에, 이것을 2차원의 배열로 다시 정렬함으로써 화상 데이터의 복원이 행하여진다. 또, 이용하는 뉴럴 네트워크의 종류에 따라서는, 뉴럴 네트워크의 출력이 2차원의 화상 데이터로 되어 있는 경우도 있다. 이 경우는, 화상 데이터의 복원 처리는 불필요하다.
스텝 S61, 스텝 S62는 실시의 형태 1의 스텝 S31, 스텝 S32와 마찬가지이다. 단, 해석부(12a) 대신에 해석부(12b)가, 기억부(13a) 대신에 기억부(13b)가, 판정부(14a) 대신에 판정부(14b)가 처리를 행한다.
전원을 OFF로 하는 것 혹은 종료 조작이 이루어지는 등의 처리의 종료의 트리거가 있을 때까지 상기와 같은 학습 모드의 처리 및 검사 모드의 처리를 반복하는 것에 의해, 대상물(3)과 카메라(2)의 확실한 고정 및 대상물(3)을 촬영하여 취득한 화상 데이터의 화소마다 높은 정밀도의 위치 맞춤을 행한다고 하는 제약을 완화하면서, 대상물(3)의 결손, 잘못된 배치, 결함 등의 이상의 유무를 검사할 수 있다. 또, 학습 모드의 처리 및 검사 모드의 처리를 반복하는 것으로 했지만, 학습 모드의 처리는 반복하지 않고 1회만 행하더라도 좋다. 마찬가지로, 검사 모드의 처리는 반복하지 않고 1회만 행하더라도 좋다.
이상 말한 바와 같이, 본 실시의 형태 2의 검사 시스템에 포함되는 검사 장치(200)는, 이상을 포함하지 않는 대상물(3)의 데이터를 차원 압축하는 것에 의해 이상을 포함하지 않는 대상물(3)의 데이터의 성질을 나타내는 파라미터를 산출하고, 검사하는 대상물(3)의 데이터를 파라미터를 이용하여 차원 압축하고, 차원 압축한 검사하는 대상물(3)의 데이터를 복원한 복원 데이터를 생성하고, 검사하는 대상물(3)의 데이터와 복원 데이터의 차분의 대소에 근거하여 검사하는 대상물(3)이 이상이 있는지 여부를 나타내는 판정 결과를 입출력부(15)에 출력하기 때문에, 종래의 검사 장치보다, 대상물(3)과 카메라(2)의 확실한 고정 및 대상물(3)을 촬영하여 취득한 화상 데이터의 화소마다 높은 정밀도의 위치 맞춤을 행한다고 하는 제약을 완화하면서, 대상물(3)의 결손, 잘못된 배치, 결함 등의 이상의 유무를 검사할 수 있다.
또한, 본 실시의 형태 2의 검사 시스템에 포함되는 검사 장치(200)는, 뉴럴 네트워크에 의한 자기 부호화기를 이용한 차원 압축에 의해, 정상 화상 데이터에 공통으로 나타나는 파라미터만을 골라낸 효율적인 특징을 얻을 수 있다. 이 과정에서 동일한 종류의 대상물(3) 사이에서의 격차, 촬영 타이밍이 상이한 것에 의한 화상 데이터의 격차, 카메라의 노이즈 등이라고 하는 불필요한 정보는 버리고 갈 수 있기 때문에, 데이터 사이즈가 작아지고 기억 매체(103)가 필요로 하는 기억 용량을 삭감할 수 있다.
또한, 본 실시의 형태 2의 검사 시스템에 포함되는 검사 장치(200)는, 정상 화상 데이터로부터 정상 상태의 대상물(3)의 화상 데이터를 학습하고, 검사를 행하기 때문에, 이상 상태에 대하여 이용자, 개발자 등이 정의할 필요가 없다. 그 때문에, 이상 상태의 정의에 누락이 있어, 이상을 놓친다고 하는 일이 없고, 어떠한 이상에도 범용적으로 적용할 수 있다.
본 실시의 형태 2의 검사 시스템에 포함되는 검사 장치(200)는, 자기 부호화기는, 선형의 차원 압축 수법인 주성분 분석과 비교하여, 비선형의 차원 압축이 가능하기 때문에 더 효율적인 특징의 획득을 할 수 있다.
또, 상기한 본 실시의 형태 2의 검사 시스템에서는, 검사 장치(200), 카메라(2), 및 입출력 장치(4)를 분리한 구성으로 하고 있지만, 카메라(2) 또는 입출력 장치(4) 또는 카메라(2)와 입출력 장치(4)의 양쪽을 검사 장치(200) 내에 포함시킨 구성으로 하더라도 좋다. 이와 같이 구성된 검사 시스템이더라도, 상기한 실시의 형태 2의 효과를 얻을 수 있다.
상기한 본 실시의 형태 2의 검사 시스템에서는, 판정부(14b)는, 차원 압축한 검사하는 대상물(3)의 화상 데이터를 차원 압축에서 이용한 방법과 마찬가지의 방법으로 복원하고, 복원한 화상 데이터인 복원 데이터와 검사하는 대상물(3)의 화상 데이터의 차분의 대소에 근거하여, 검사하는 대상물(3)이 이상이 있는지 여부를 나타내는 판정 결과를 입출력부(15)에 출력한다. 그리고, 판정부(14b)는, 복원부와 판정부를 합친 부의 일례인 것으로 했다. 그러나, 차원 압축한 검사하는 대상물(3)의 화상 데이터를 차원 압축에서 이용한 방법과 마찬가지의 방법으로 복원하는 복원부는 독립하여 검사 장치(200)에 구비하고 있더라도 좋고, 해석부(12b)가 복원부의 기능을 구비하고 있더라도 좋다. 이와 같이 구성된 검사 시스템이더라도, 상기한 실시의 형태 2의 효과를 얻을 수 있다.
상기한 본 실시의 형태 2의 검사 시스템에서는, 해석부(12b)는, 대상물(3)의 차원 압축에 뉴럴 네트워크에 의한 자기 부호화기를 이용하고, 기억부(13b)는, 뉴럴 네트워크에 의한 자기 부호화기의 결과를 기억하고, 판정부(14b)는, 뉴럴 네트워크에 의한 자기 부호화기를 이용하여 복원을 행하였지만, 대상물(3)에 복수의 종류가 존재하는 경우, 대상물(3)의 종류마다 차원 압축 방법을 변경하더라도 좋다. 예컨대, 1종류째의 대상물(3)에 있어서, 해석부(12b)는, 1종류째의 대상물(3)의 차원 압축에 뉴럴 네트워크에 의한 자기 부호화기를 이용하고, 기억부(13b)는, 뉴럴 네트워크에 의한 자기 부호화기의 결과를 기억하고, 판정부(14b)는, 뉴럴 네트워크에 의한 자기 부호화기를 이용하여 복원을 행하고, 2종류째의 대상물(3)에 있어서, 해석부(12b)는, 2종류째의 대상물(3)의 차원 압축에 선형 판별 분석을 이용하고, 기억부(13b)는, 선형 판별 분석의 결과를 기억하고, 판정부(14b)는, 선형 판별 분석을 이용하여 복원을 행하는 등 하더라도 좋다. 또, 대상물(3)의 종류는 몇 개이더라도 좋고, 대상물(3)의 종류와 차원 압축 방법의 조합은, 임의이다. 단, 동일 종류의 대상물(3)의 경우는, 동일한 차원 압축의 방법을 이용한다. 이와 같이 구성된 검사 시스템이더라도, 상기한 실시의 형태 2의 효과를 얻을 수 있다.
상기한 본 실시의 형태 2의 검사 시스템에서는, 해석부(12b)는, 대상물(3)의 차원 압축에 뉴럴 네트워크에 의한 자기 부호화기를 이용했지만, 자기 부호화기는, 뉴럴 네트워크에 근거하는 차원 압축 수법 중에서는 가장 단순한 방식이기 때문에, 보다 복잡한 방식을 이용하더라도 좋다. 이와 같이 구성된 검사 시스템이더라도, 상기한 실시의 형태 2의 효과에 더하여, 더 성능을 향상시킬 수 있다고 하는 효과를 얻을 수 있다. 보다 복잡한 방식의 예로서는, 컨볼루션 뉴럴 네트워크(Convolutional Neural Network), Generative Adversarial Network 등을 이용하는 방법이 있다. 실시의 형태 2와 관련되는 검사 장치(200)에서는, 이러한 다양한 차원 압축 수법 중 어느 것을 이용하더라도 좋고, 이용한 수법에 따라 도 15의 스텝 S43, 스텝 S44, 도 19의 스텝 S53, 스텝 S54, 도 20의 스텝 S60에 있어서의 뉴럴 네트워크에 의한 자기 부호화기의 처리 방법을 컨볼루션 뉴럴 네트워크 또는 Generative Adversarial Network 등으로 변경하면 된다.
실시의 형태 3.
실시의 형태 1에서는, 이상을 포함하지 않는 대상물(3)의 데이터를 차원 압축하는 것에 의해 이상을 포함하지 않는 대상물(3)의 데이터의 성질을 나타내는 파라미터를 산출하고, 검사하는 대상물(3)의 데이터를 파라미터를 이용하여 차원 압축하고, 차원 압축한 검사하는 대상물(3)의 데이터를 복원한 복원 데이터를 생성하고, 검사하는 대상물(3)의 데이터와 복원 데이터의 차분의 대소에 근거하여 검사하는 대상물(3)이 이상이 있는지 여부를 나타내는 판정 결과를 입출력부(15)에 출력하고 있었다. 실시의 형태 3에서는, 도 21~도 23에 나타내는 바와 같이, 복원 데이터와 검사하는 화상 데이터의 사이의 오차를 작게 하는 필터를 설계 및 그 설계한 필터를 이용하여 복원 데이터를 필터링하는 보정부(16)가 새롭게 더해지고, 판정부(14a) 대신에 판정부(14c)를 구비한다. 이 때문에, 예컨대 학습 모드에 있어서 사용한 학습용의 정상 화상 데이터의 부족 등에 의해, 복원 데이터와 검사하는 화상 데이터의 사이에 현저한 오차가 생겨 버리는 경우에도 보정부(16)에 있어서 양자의 오차를 저감함으로써, 계속되는 판정부(14c)에 있어서의 판정 정밀도를 높이는 것이 가능하게 된다. 그 이외는, 실시의 형태 1과 마찬가지이다.
도 21은 본 발명의 실시의 형태 3과 관련되는 검사 장치(300)를 포함하는 검사 시스템의 기능 블록도이다. 이하의 설명에 있어서 이미 설명한 구성 및 동작에 대해서는 동일 부호를 붙이고, 중복되는 설명을 생략한다.
실시의 형태 3에서는, 실시의 형태 1의 도 1의 판정부(14a) 대신에 판정부(14c)가 더해지고, 또한 보정부(16)가 새롭게 기능 블록도의 구성으로서 더해진다.
보정부(16)는, 차원 압축한 검사하는 대상물(3)의 화상 데이터를 차원 압축에서 이용한 방법과 마찬가지의 방법으로 복원하고, 복원 데이터와 검사하는 화상 데이터의 사이의 오차를 보정하는 필터를 설계 및 그 설계한 필터를 이용하여 복원 데이터를 필터링하고, 보정 데이터를 생성한다. 보정 데이터는, 복원 데이터와 검사하는 대상물의 데이터의 오차를 보정하는 필터를 이용하여 복원 데이터를 필터링하여 보정한 복원 데이터이다. 또, 보정부(16)는, 복원부와 보정부를 합친 부의 일례이다.
판정부(14c)는, 보정부(16)에서 복원 및 보정한 화상 데이터인 보정 데이터와 검사하는 대상물(3)의 화상 데이터의 차분의 대소에 근거하여, 검사하는 대상물(3)이 이상이 있는지 여부를 나타내는 판정 결과를 입출력부(15)에 출력한다. 또, 판정부(14c)는, 복원부를 구비하는 판정부(14a)와 달리, 복원은 보정부(16)가 행하기 때문에, 판정부(14c)는 복원을 행하지 않는다. 그 이외는, 판정부(14a)와 마찬가지이다.
본 발명의 실시의 형태 3과 관련되는 검사 장치(300)의 하드웨어 구성도는, 실시의 형태 1의 도 2와 마찬가지이다. 판정부(14c)의 하드웨어 구성은 판정부(14a)와 마찬가지이다. 또한, 보정부(16)는, 프로세서(101)가 메모리(102)에 로드한 기억 매체(103)의 프로그램을 읽어, 실행하는 것에 의해 실현한다.
본 발명의 실시의 형태 3과 관련되는 검사 장치(300)의 학습 모드에 있어서의 동작을 나타내는 플로차트는, 실시의 형태 1의 도 3과 마찬가지이다.
본 발명의 실시의 형태 3과 관련되는 검사 장치(300)의 검사 모드에 있어서의 동작을 나타내는 플로차트의 일부는, 실시의 형태 1의 도 5와 마찬가지이다.
도 22는 본 발명의 실시의 형태 3과 관련되는 검사 장치(300)의 검사 모드에 있어서의 동작을 나타내는 플로차트의 일부이다. 도 22를 이용하여, 검사 장치(300)의 검사 모드에 있어서의 동작의 계속을 이하에 설명한다.
스텝 S70에 있어서, 스텝 S24 후의 A의 처리의 계속으로서, 제어부(10)는, 해석부(12a)의 처리 완료 후, 보정부(16)에 처리 개시의 지시를 준다. 보정부(16)는, 제어부(10)로부터의 지시에 근거하여 메모리(102)에 로드한 기억 매체(103)의 프로그램을 메모리(102)로부터 읽어내서 프로세서(101)에서 실행한다. 보정부(16)는, 우선 해석부(12a)로부터 수신한 검사하는 화상 데이터를 차원 압축한 결과인 벡터와 검사하는 화상 데이터를 수신하고, 수신한 검사하는 화상 데이터를 차원 압축한 결과인 벡터를 화상 데이터로서 복원한다. 화상 데이터의 복원의 방법은, 실시의 형태 1의 도 6의 스텝 S30에 있어서의 판정부(14a)에서 행하여지는 방법과 마찬가지이다.
스텝 S71에 있어서, 보정부(16)는, 복원한 복원 데이터와 검사하는 화상 데이터의 사이의 오차를 작게 하는 필터를 설계한다. 이것에 의해, 예컨대 학습 모드에 있어서 사용한 학습용의 정상 화상 데이터의 부족 등에 의해, 복원 데이터와 검사하는 화상 데이터의 사이에 현저한 오차가 생겨 버리는 경우, 보정부(16)에 있어서 양자의 오차를 저감함으로써, 계속되는 판정부(14c)에 있어서의 판정 정밀도를 높일 수 있다.
어느 신호가 노이즈에 의해 열화한 경우, 그것을 복원하기 위한 필터로서는 역 필터, 위너 필터, 적응 필터, 노이즈 제거 필터 등이 있다. 여기서, 본 발명의 실시의 형태 3에 있어서는 열화 전의 원래의 신호인 검사하는 화상 데이터가 기지인 것으로부터, 위너 필터를 이용하는 것이 가장 효과적이다. 이하에서는 예로서 위너 필터의 설계 방법에 대하여 말한다.
열화한 신호 g로부터, 원래의 신호 f를 복원하기 위한 공간 필터 k를 생각한다. 이때, 주파수 영역에 있어서는, 열화 신호의 푸리에 변환 G는, 원래의 신호의 푸리에 변환 F와 점 확산 함수의 푸리에 변환 H의 곱으로 나타내어진다. 그래서, 점 확산 함수가 기지인 경우, 식 (7)에 나타내는 바와 같이 역 필터 Kinv를 이용하여 열화 신호를 필터링하는 것에 의해, 식 (8)과 같이 원래의 신호의 푸리에 변환 F를 구할 수 있다.
Figure 112019055518211-pct00007
Figure 112019055518211-pct00008
여기서, 주파수 영역에 있어서의 노이즈를 고려한 열화 과정은 식 (9)와 같이 나타내어진다. 단, N은 노이즈의 푸리에 변환을 나타낸다.
Figure 112019055518211-pct00009
이때, 복원 데이터 f'와 원래의 신호가 되는 검사하는 화상 데이터인 원래의 데이터 f 사이의 오차를 최소로 하는 필터 Kw는 식 (10)으로 주어진다.
Figure 112019055518211-pct00010
식 (10)으로 나타내어지는 필터 Kw를 위너 필터라고 부른다.
도 22로 돌아가, 스텝 S72에 있어서, 보정부(16)는 복원 데이터에 대하여 필터 Kw를 이용하여 필터링하여 보정을 행한 후에 검사하는 화상 데이터와 보정 데이터를 판정부(14c)에 송신한다. 여기서, C는 다음의 처리이고, 상세는 후술한다.
도 23은 본 발명의 실시의 형태 3과 관련되는 검사 장치(300)의 검사 모드에 있어서의 동작을 나타내는 플로차트의 일부이다. 도 23을 이용하여, 검사 장치(300)의 검사 모드에 있어서의 동작의 계속을 이하에 설명한다.
스텝 S80에 있어서, 스텝 S72 후의 C의 처리의 계속으로서, 제어부(10)는, 판정부(14c)에 처리 개시의 지시를 준다. 판정부(14c)는, 제어부(10)로부터의 지시에 근거하여 메모리(102)에 로드한 기억 매체(103)의 프로그램을 메모리(102)로부터 읽어내어 프로세서(101)에서 실행한다. 판정부(14c)는, 우선 보정부(16)로부터 검사하는 화상 데이터와 보정 데이터를 수신한다. 판정부(14c)는, 보정 데이터와 검사하는 화상 데이터의 차분을 계산한다. 상기 이외는, 판정부(14c)는, 도 6의 스텝 S31의 판정부(14a)와 마찬가지의 처리를 행한다.
스텝 S81은 실시의 형태 1의 스텝 S32와 마찬가지이다. 단, 판정부(14a) 대신에 판정부(14c)가 처리를 행한다.
전원을 OFF로 하는 것 혹은 종료 조작이 이루어지는 등의 처리의 종료의 트리거가 있을 때까지 상기와 같은 학습 모드의 처리 및 검사 모드의 처리를 반복하는 것에 의해, 대상물(3)과 카메라(2)의 확실한 고정 및 대상물(3)을 촬영하여 취득한 화상 데이터의 화소마다 높은 정밀도의 위치 맞춤을 행한다고 하는 제약을 완화하면서, 대상물(3)의 결손, 잘못된 배치, 결함 등의 이상의 유무를 검사할 수 있다. 또, 학습 모드의 처리 및 검사 모드의 처리를 반복하는 것으로 했지만, 학습 모드의 처리는 반복하지 않고 1회만 행하더라도 좋다. 마찬가지로, 검사 모드의 처리는 반복하지 않고 1회만 행하더라도 좋다.
이상 말한 바와 같이, 본 실시의 형태 3의 검사 시스템에 포함되는 검사 장치(300)는, 이상을 포함하지 않는 대상물(3)의 데이터를 차원 압축하는 것에 의해 이상을 포함하지 않는 대상물(3)의 데이터의 성질을 나타내는 파라미터를 산출하고, 검사하는 대상물(3)의 데이터를 파라미터를 이용하여 차원 압축하고, 차원 압축한 검사하는 대상물(3)의 데이터를 복원한 복원 데이터를 생성하고, 검사하는 대상물(3)의 데이터와 복원 데이터의 차분의 대소에 근거하여 검사하는 대상물(3)이 이상이 있는지 여부를 나타내는 판정 결과를 입출력부(15)에 출력하기 때문에, 종래의 검사 장치보다, 대상물(3)과 카메라(2)의 확실한 고정 및 대상물(3)을 촬영하여 취득한 화상 데이터의 화소마다 높은 정밀도의 위치 맞춤을 행한다고 하는 제약을 완화하면서, 대상물(3)의 결손, 잘못된 배치, 결함 등의 이상의 유무를 검사할 수 있다.
또한, 본 실시의 형태 3의 검사 시스템에 포함되는 검사 장치(300)는, 주성분 분석을 이용한 차원 압축에 의해, 정상 화상 데이터에 공통으로 나타나는 대상물(3)의 데이터의 성질을 나타내는 파라미터만을 골라낸 효율적인 특징을 얻을 수 있다. 이 과정에서 동일한 종류의 대상물(3) 사이에서의 격차, 촬영 타이밍이 상이한 것에 의한 화상 데이터의 격차, 카메라의 노이즈 등이라고 하는 불필요한 정보는 버리고 갈 수 있기 때문에, 데이터 사이즈가 작아지고 기억 매체(103)가 필요로 하는 기억 용량을 삭감할 수 있다.
또한, 본 실시의 형태 3의 검사 시스템에 포함되는 검사 장치(300)는, 정상 화상 데이터로부터 정상 상태의 대상물(3)의 화상 데이터를 학습하고, 검사를 행하기 때문에, 이상 상태에 대하여 이용자, 개발자 등이 정의할 필요가 없다. 그 때문에, 이상 상태의 정의에 누락이 있어, 이상을 놓친다고 하는 일적이 없고, 어떠한 이상에도 범용적으로 적용할 수 있다.
본 실시의 형태 3의 검사 시스템에 포함되는 검사 장치(300)는, 차원 압축한 검사하는 대상물(3)의 화상 데이터로부터 복원한 복원 데이터와 검사하는 화상 데이터의 사이의 오차를 작게 하는 필터를 설계 및 그 설계한 필터를 이용하여 복원 데이터를 필터링하는 보정부(16)가 새롭게 더해지고, 판정부(14a) 대신에 판정부(14c)를 구비한다. 이 때문에, 예컨대 학습 모드에 있어서 사용한 학습용의 정상 화상 데이터의 부족 등에 의해, 복원 데이터와 검사하는 화상 데이터의 사이에 현저한 오차가 생겨 버리는 경우에도 보정부(16)에 있어서 양자의 오차를 저감함으로써, 계속되는 판정부(14c)에 있어서의 판정 정밀도를 높이는 것이 가능하게 된다.
또, 상기한 본 실시의 형태 3의 검사 시스템에서는, 검사 장치(300), 카메라(2), 및 입출력 장치(4)를 분리한 구성으로 하고 있지만, 카메라(2) 또는 입출력 장치(4) 또는 카메라(2)와 입출력 장치(4)의 양쪽을 검사 장치(300) 내에 포함시킨 구성으로 하더라도 좋다. 이와 같이 구성된 검사 시스템이더라도, 상기한 실시의 형태 3의 효과를 얻을 수 있다.
상기한 본 실시의 형태 3의 검사 시스템에서는, 보정부(16)는, 복원 데이터와 검사하는 화상 데이터의 사이의 오차를 보정하는 필터를 설계 및 그 설계한 필터를 이용하여 복원 데이터를 필터링한다. 그리고, 보정부(16)는, 복원부와 보정부를 합친 부의 일례인 것으로 했다. 그러나, 차원 압축한 검사하는 대상물(3)의 화상 데이터를 차원 압축에서 이용한 방법과 마찬가지의 방법으로 복원하는 복원부는 독립하여 검사 장치(300)에 구비하고 있더라도 좋고, 해석부(12a)가 복원부의 기능을 구비하고 있더라도 좋다. 이와 같이 구성된 검사 시스템이더라도, 상기한 실시의 형태 3의 효과를 얻을 수 있다.
상기한 본 실시의 형태 3의 검사 시스템에서는, 해석부(12a)는, 대상물(3)의 차원 압축에 주성분 분석을 이용하고, 기억부(13a)는, 주성분 분석의 결과를 기억하고, 보정부(16)는, 주성분 분석을 이용하여 복원을 행하였지만, 대상물(3)에 복수의 종류가 존재하는 경우, 대상물(3)의 종류마다 차원 압축 방법을 변경하더라도 좋다. 예컨대, 1종류째의 대상물(3)에 있어서, 해석부(12a)는, 1종류째의 대상물(3)의 차원 압축에 주성분 분석을 이용하고, 기억부(13a)는, 주성분 분석의 결과를 기억하고, 보정부(16)는, 주성분 분석을 이용하여 복원을 행하고, 2종류째의 대상물(3)에 있어서, 해석부(12a)는, 2종류째의 대상물(3)의 차원 압축에 선형 판별 분석을 이용하고, 기억부(13a)는, 선형 판별 분석의 결과를 기억하고, 보정부(16)는, 선형 판별 분석을 이용하여 복원을 행하는 등 하더라도 좋다. 또, 대상물(3)의 종류는 몇 개이더라도 좋고, 대상물(3)의 종류와 차원 압축 방법의 조합은, 임의이다. 단, 동일 종류의 대상물(3)의 경우는, 동일한 차원 압축의 방법을 이용한다. 이와 같이 구성된 검사 시스템이더라도, 상기한 실시의 형태 3의 효과를 얻을 수 있다.
상기한 본 실시의 형태 3의 검사 시스템에서는, 해석부(12a)는, 대상물(3)의 차원 압축에 주성분 분석을 이용했지만, 뉴럴 네트워크에 의한 자기 부호화기 또는 컨볼루션 뉴럴 네트워크(Convolutional Neural Network), Generative Adversarial Network 등의 뉴럴 네트워크에 의한 자기 부호화기보다 복잡한 방식을 이용하더라도 좋다. 이와 같이 구성된 검사 시스템이더라도, 상기한 실시의 형태 3의 효과에 더하여, 더 성능을 향상시킬 수 있다고 하는 효과를 얻을 수 있다. 실시의 형태 3과 관련되는 검사 장치(300)에서는, 이러한 다양한 차원 압축 수법 중 어느 것을 이용하더라도 좋다.
그런데, 상기한 실시의 형태에 나타낸 검사 장치를 구비한 검사 시스템은 일례에 지나지 않고, 적당히, 조합하여 구성할 수 있는 것이고, 실시의 형태 단독의 구성으로 한정되는 것이 아니다.
1, 200, 300 : 검사 장치
2 : 카메라
3 : 대상물
4 : 입출력 장치
10 : 제어부
11 : 입력부
12a, 12b : 해석부
13a, 13b : 기억부
14a, 14b, 14c : 판정부
15 : 입출력부
16 : 보정부
100 : 입출력 IF
101 : 프로세서
102 : 메모리
103 : 기억 매체
104 : 버스

Claims (15)

  1. 이상을 포함하지 않는 대상물의 화상 데이터에 대하여 데이터의 차원을 줄이는 차원 압축을 하는 것에 의해 상기 이상을 포함하지 않는 대상물의 화상 데이터의 성질을 나타내는 파라미터를 산출하고, 검사하는 대상물의 화상 데이터를 상기 파라미터를 이용하여 차원 압축하는 해석부와,
    상기 해석부에서 차원 압축한 상기 검사하는 대상물의 화상 데이터를 복원한 복원 데이터를 생성하는 복원부와,
    상기 복원부가 복원한 상기 복원 데이터와 상기 검사하는 대상물의 화상 데이터의 오차를 보정하는 필터를 이용하여 상기 복원 데이터를 필터링하여 보정한 복원 데이터를 생성하는 보정부와,
    상기 검사하는 대상물의 화상 데이터와 보정한 상기 복원 데이터의 화소마다의 차분의 대소에 근거하여 상기 검사하는 대상물이 이상이 있는지 여부를 나타내는 판정 결과를 출력하는 판정부와,
    상기 판정부가 출력한 상기 판정 결과를 출력하는 출력부
    를 구비한 검사 장치.
  2. 제 1 항에 있어서,
    상기 해석부가 산출한 상기 파라미터를 기억하는 기억부를 구비하고,
    상기 해석부는, 상기 검사하는 대상물의 화상 데이터를 상기 기억부에 기억한 상기 파라미터를 이용하여 차원 압축하는
    검사 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 필터는, 위너 필터인 검사 장치.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 판정부는, 상기 차분이 임계치 이상일 때 상기 검사하는 대상물이 이상이 있다고 나타내는 판정 결과를 출력하는 검사 장치.
  5. 제 1 항 또는 제 2 항에 있어서,
    상기 차원 압축은, 주성분 분석을 이용하는 검사 장치.
  6. 제 1 항 또는 제 2 항에 있어서,
    상기 차원 압축은, 뉴럴 네트워크를 이용한 자기 부호화기를 이용하는 검사 장치.
  7. 제 6 항에 있어서,
    상기 복원부는, 상기 파라미터를 이용하여 상기 복원 데이터를 생성하는 검사 장치.
  8. 제 4 항에 있어서,
    상기 판정부는, 상기 검사하는 대상물이 이상이 있다고 나타내는 판정 결과를 출력한 상기 차분이 임계치 이상인 영역에 외접하는 직사각형인 바운딩 박스를 산출하고,
    상기 출력부는, 상기 판정부가 산출한 상기 바운딩 박스를 상기 판정 결과로서 출력하는
    검사 장치.
  9. 제 8 항에 있어서,
    상기 출력부는, 상기 바운딩 박스에 근거하여 특정된 상기 검사하는 대상물의 화상 데이터의 이상 개소를 점선으로 상기 검사하는 대상물의 화상 데이터에 중첩 표시시키도록 출력하는 검사 장치.
  10. 제 8 항에 있어서,
    상기 출력부는, 상기 검사하는 대상물의 화상 데이터에 대하여 상기 차분의 화상 데이터를 합성한 차분 합성 화상 데이터를 출력하는 검사 장치.
  11. 제 1 항 또는 제 2 항에 있어서,
    상기 출력부는, 상기 판정부가 상기 검사하는 대상물이 이상이 있다고 나타내는 판정 결과를 출력하는 경우, 이상이 검출된 것을 통지하기 위한 메시지를 표시시키도록 출력하는 검사 장치.
  12. 제 1 항 또는 제 2 항에 있어서,
    상기 출력부가 출력한 상기 판정 결과를 표시하는 표시부를 구비한 검사 장치.
  13. 이상을 포함하지 않는 대상물의 화상 데이터에 대하여 데이터의 차원을 줄이는 차원 압축을 하는 것에 의해 상기 이상을 포함하지 않는 대상물의 화상 데이터의 성질을 나타내는 파라미터를 산출하고, 검사하는 대상물의 화상 데이터를 기억 매체에 기억된 상기 파라미터를 이용하여 차원 압축하는 스텝과,
    차원 압축한 상기 검사하는 대상물의 화상 데이터를 복원한 복원 데이터를 생성하는 스텝과,
    복원한 상기 복원 데이터와 상기 검사하는 대상물의 화상 데이터의 오차를 보정하는 필터를 이용하여 상기 복원 데이터를 필터링하여 보정한 복원 데이터를 생성하는 스텝과,
    상기 검사하는 대상물의 화상 데이터와 보정한 상기 복원 데이터의 화소마다의 차분의 대소에 근거하여 상기 검사하는 대상물이 이상이 있는지 여부를 나타내는 판정 결과를 출력하는 스텝과,
    상기 판정 결과를 출력하는 스텝
    을 갖는 검사 방법.
  14. 삭제
  15. 삭제
KR1020197015539A 2016-12-06 2016-12-06 검사 장치 및 검사 방법 KR102011628B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/086138 WO2018105028A1 (ja) 2016-12-06 2016-12-06 検査装置及び検査方法

Publications (2)

Publication Number Publication Date
KR20190065457A KR20190065457A (ko) 2019-06-11
KR102011628B1 true KR102011628B1 (ko) 2019-08-16

Family

ID=60570330

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197015539A KR102011628B1 (ko) 2016-12-06 2016-12-06 검사 장치 및 검사 방법

Country Status (7)

Country Link
US (1) US11645744B2 (ko)
JP (1) JP6241576B1 (ko)
KR (1) KR102011628B1 (ko)
CN (1) CN110036279B (ko)
DE (1) DE112016007498B4 (ko)
TW (1) TWI638157B (ko)
WO (1) WO2018105028A1 (ko)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018195119A (ja) * 2017-05-18 2018-12-06 住友電装株式会社 異変検出装置及び異変検出方法
KR102171491B1 (ko) * 2017-12-21 2020-10-29 동의대학교 산학협력단 딥러닝을 이용한 양품 선별 방법
JP2021042955A (ja) * 2017-12-27 2021-03-18 キユーピー株式会社 食品検査装置、食品検査方法及び食品検査装置の食品再構成ニューラルネットワークの学習方法
US20190205751A1 (en) * 2017-12-29 2019-07-04 University Of Southern California Method for prioritizing candidate objects
US11386538B2 (en) 2018-01-29 2022-07-12 Nec Corporation Image processing apparatus, image processing method, and storage medium
KR102206698B1 (ko) * 2018-03-29 2021-01-22 미쓰비시덴키 가부시키가이샤 이상 검사 장치 및 이상 검사 방법
JP2019178941A (ja) * 2018-03-30 2019-10-17 リコーエレメックス株式会社 検査システムおよび検査方法
JP6424309B1 (ja) * 2018-08-15 2018-11-14 裕樹 有光 採寸値に基づく３次元モデルを生成するプログラム及び装置
JP6760503B2 (ja) * 2018-08-31 2020-09-23 東芝三菱電機産業システム株式会社 製造プロセス監視装置
WO2020110224A1 (ja) 2018-11-28 2020-06-04 Eizo株式会社 情報処理方法及びコンピュータプログラム
JP2020139905A (ja) * 2019-03-01 2020-09-03 セイコーエプソン株式会社 検査装置、検査方法、およびプログラム
JP2020160616A (ja) * 2019-03-25 2020-10-01 ブラザー工業株式会社 生成装置、コンピュータプログラム、生成方法
WO2020202352A1 (ja) 2019-03-29 2020-10-08 株式会社ワコム ペン状態検出回路及びペン状態検出方法
JP6737487B1 (ja) * 2019-05-20 2020-08-12 株式会社アルム 画像処理装置、画像処理システム、および画像処理プログラム
JP6683960B1 (ja) * 2019-05-20 2020-04-22 株式会社アルム 画像処理装置、画像処理システム、および画像処理プログラム
JP2020201800A (ja) * 2019-06-12 2020-12-17 株式会社日立製作所 自動点検システム及び無線子機
JP2021009441A (ja) * 2019-06-28 2021-01-28 ルネサスエレクトロニクス株式会社 異常検知システム及び異常検知プログラム
JP2021089219A (ja) * 2019-12-05 2021-06-10 東洋製罐グループホールディングス株式会社 画像検査システム、及び画像検査方法
DE112020006786T5 (de) * 2020-04-27 2023-01-12 Mitsubishi Electric Corporation Bilduntersuchungsvorrichtung und Bilduntersuchungsverfahren
JP7270842B2 (ja) * 2020-04-28 2023-05-10 三菱電機株式会社 外観検査装置および外観検査方法
JP6989860B2 (ja) * 2020-05-02 2022-01-12 Ａｒｉｔｈｍｅｒ株式会社 画像検査装置、画像検査方法及びプログラム
KR102437115B1 (ko) * 2020-06-04 2022-08-29 한국생산기술연구원 제품 구조 예측 기술을 이용한 딥러닝 기반 결함 검사 장치 및 방법
US20240161271A1 (en) 2021-03-26 2024-05-16 Konica Minolta, Inc. Information processing apparatus, control program, and control method
JP2022191966A (ja) * 2021-06-16 2022-12-28 株式会社日立製作所 異常判定用計算機及び異常判定方法
TWI803353B (zh) * 2022-04-19 2023-05-21 南亞科技股份有限公司 晶圓檢測方法
JP7386287B1 (ja) 2022-05-09 2023-11-24 Ｊｆｅテクノリサーチ株式会社 検査方法及び検査装置
CN114782445B (zh) * 2022-06-22 2022-10-11 深圳思谋信息科技有限公司 对象缺陷检测方法、装置、计算机设备和存储介质
TWI819698B (zh) * 2022-07-14 2023-10-21 友達光電股份有限公司 判斷瑕疵的方法及電子裝置
CN117315368B (zh) * 2023-10-23 2024-04-23 龙坤(无锡)智慧科技有限公司 一种大规模数据中心智能运维巡检方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010165053A (ja) 2009-01-13 2010-07-29 Canon Inc オブジェクト識別装置及びオブジェクト識別方法
JP2010257409A (ja) 2009-04-28 2010-11-11 Nec Soft Ltd 年齢推定装置、年齢推定方法及びプログラム

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1209693A (en) * 1983-06-02 1986-08-12 Craig C. Todd Helical scan recording and playback systems
JPS60251771A (ja) * 1984-05-29 1985-12-12 Ricoh Co Ltd 画像デ−タ圧縮再生方法及び装置
JPH0695728B2 (ja) * 1984-05-29 1994-11-24 株式会社リコー 画像データ圧縮再生装置
CA1288516C (en) * 1987-07-31 1991-09-03 Leendert M. Bijnagte Apparatus and method for communicating textual and image information between a host computer and a remote display terminal
CN1062963C (zh) * 1990-04-12 2001-03-07 多尔拜实验特许公司 用于产生高质量声音信号的解码器和编码器
JPH06281592A (ja) * 1993-03-29 1994-10-07 Sumitomo Metal Ind Ltd 表面検査方法
AUPN002594A0 (en) * 1994-12-13 1995-01-12 Dunn, Alexander Atkinson Improvements in software for the protection of executable programs, libraries and their data
CA2595719A1 (en) * 1997-07-15 1999-01-28 Silverbrook Research Pty. Limited Image transformation means including user interface
JP2000346627A (ja) 1999-06-07 2000-12-15 Toray Eng Co Ltd 検査装置
EP1296351A4 (en) * 2000-06-27 2009-09-23 Ebara Corp INVESTIGATION DEVICE FOR LOADED PARTICLE RAYS AND METHOD FOR PRODUCING A COMPONENT ELEVATED WITH THIS INSPECTION DEVICE
KR100425447B1 (ko) * 2001-05-10 2004-03-30 삼성전자주식회사 명도 보정 및 선택적 결함 검출 방법 및 이를 기록한 기록매체
JP3904419B2 (ja) * 2001-09-13 2007-04-11 株式会社日立製作所 検査装置および検査システム
WO2003046531A2 (en) * 2001-11-28 2003-06-05 Applied Materials, Inc. Method for detecting defects in substrates
JP2005156516A (ja) 2003-11-05 2005-06-16 Hitachi Ltd パターン欠陥検査方法及びその装置
JP4550559B2 (ja) 2004-11-24 2010-09-22 シャープ株式会社 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム
JP4637642B2 (ja) * 2005-05-18 2011-02-23 株式会社日立ハイテクノロジーズ パターン間の欠陥検査装置および方法
US7570796B2 (en) * 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
WO2009031612A1 (ja) * 2007-09-05 2009-03-12 Nikon Corporation 観察装置および観察方法、並びに検査装置および検査方法
JP2009032273A (ja) 2008-08-29 2009-02-12 Olympus Corp 分類装置
JP5301955B2 (ja) * 2008-11-13 2013-09-25 オリンパス株式会社 欠陥修正装置
JP5506274B2 (ja) * 2009-07-31 2014-05-28 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP5406705B2 (ja) * 2009-12-28 2014-02-05 キヤノン株式会社 データ補正装置及び方法
JP5695924B2 (ja) * 2010-02-01 2015-04-08 株式会社ニューフレアテクノロジー 欠陥推定装置および欠陥推定方法並びに検査装置および検査方法
JP5804834B2 (ja) * 2011-08-03 2015-11-04 株式会社オービット 検査プログラム、同プログラムを格納した記録媒体及び検査装置
DE102012101242A1 (de) * 2012-02-16 2013-08-22 Hseb Dresden Gmbh Inspektionsverfahren
CN102881029A (zh) 2012-07-19 2013-01-16 中国人民解放军第二炮兵工程大学 一种热波图像序列的压缩和重构方法
JP5944850B2 (ja) * 2013-03-11 2016-07-05 株式会社日立ハイテクノロジーズ 欠陥検査方法及びこれを用いた装置
WO2014155755A1 (ja) * 2013-03-28 2014-10-02 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム並びに記録媒体
JP6389651B2 (ja) * 2013-09-10 2018-09-12 Juki株式会社 検査方法、実装方法、及び実装装置
US9710728B2 (en) * 2014-10-28 2017-07-18 Kla-Tencor Corporation Image based signal response metrology
JP2016091359A (ja) * 2014-11-06 2016-05-23 株式会社リコー 情報処理システム、情報処理装置、情報処理方法、及びプログラム
JP2016139467A (ja) * 2015-01-26 2016-08-04 株式会社日立ハイテクノロジーズ 試料観察方法および試料観察装置
US10012599B2 (en) * 2015-04-03 2018-07-03 Kla-Tencor Corp. Optical die to database inspection
TWI571701B (zh) * 2015-04-30 2017-02-21 力晶科技股份有限公司 偵測微影熱點的方法
CN105426902B (zh) 2015-09-16 2019-06-25 西安印钞有限公司 基于形变复原技术的钞券质量检测系统及方法
US10416087B2 (en) * 2016-01-01 2019-09-17 Kla-Tencor Corporation Systems and methods for defect detection using image reconstruction
US9915625B2 (en) * 2016-01-04 2018-03-13 Kla-Tencor Corp. Optical die to database inspection
US10346740B2 (en) * 2016-06-01 2019-07-09 Kla-Tencor Corp. Systems and methods incorporating a neural network and a forward physical model for semiconductor applications
WO2018039904A1 (zh) * 2016-08-30 2018-03-08 深圳大学 一种基于块稀疏压缩感知的红外图像重构方法及其系统
US10031997B1 (en) * 2016-11-29 2018-07-24 Taiwan Semiconductor Manufacturing Co., Ltd. Forecasting wafer defects using frequency domain analysis

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010165053A (ja) 2009-01-13 2010-07-29 Canon Inc オブジェクト識別装置及びオブジェクト識別方法
JP2010257409A (ja) 2009-04-28 2010-11-11 Nec Soft Ltd 年齢推定装置、年齢推定方法及びプログラム

Also Published As

Publication number Publication date
US20210295485A1 (en) 2021-09-23
DE112016007498T5 (de) 2019-08-29
TWI638157B (zh) 2018-10-11
CN110036279A (zh) 2019-07-19
DE112016007498B4 (de) 2020-11-26
WO2018105028A1 (ja) 2018-06-14
KR20190065457A (ko) 2019-06-11
JP6241576B1 (ja) 2017-12-06
TW201821788A (zh) 2018-06-16
CN110036279B (zh) 2022-03-15
JPWO2018105028A1 (ja) 2018-12-06
US11645744B2 (en) 2023-05-09

Similar Documents

Publication Publication Date Title
KR102011628B1 (ko) 검사 장치 및 검사 방법
CN109858461B (zh) 一种密集人群计数的方法、装置、设备以及存储介质
CN113822885B (zh) 融合多注意力机制的工件缺陷检测方法和装置
JP2017097718A (ja) 識別処理装置、識別システム、識別処理方法、およびプログラム
CN111179235B (zh) 图像检测模型的生成方法及装置、应用方法及装置
CN110879982A (zh) 一种人群计数系统及方法
CN109949280B (zh) 图像处理方法、装置、设备存储介质及生长发育评估系统
KR101786754B1 (ko) 나이 추정 장치 및 방법
CN110383332B (zh) 图像处理装置、图像处理方法及图像处理程序
CN111275703A (zh) 图像检测方法、装置、计算机设备和存储介质
US20170316542A1 (en) Information processing device, information processing method, and recording medium
CN113139963A (zh) 缺陷检测方法和装置
CN115760646B (zh) 一种针对不规则孔洞的多模态人脸图像修复方法和系统
Xiao A Multi-scale Structure SIMilarity metric for image fusion qulity assessment
Li et al. Gradient-weighted structural similarity for image quality assessments
US8774545B2 (en) Image processing apparatus and image processing method with weighted vectors for filtering
JP7409606B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2007264951A (ja) 医療用画像補正装置
KR20230117170A (ko) 적층 제조를 위한 딥 러닝 기반 이미지 향상
CN114494065A (zh) 图像去模糊方法、装置、设备及可读存储介质
Mandal et al. Super-resolving a single intensity/range image via non-local means and sparse representation
JP7386287B1 (ja) 検査方法及び検査装置
JP6147003B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7512150B2 (ja) 情報処理装置、情報処理方法およびプログラム
Sadjadi Measures of effectiveness and their use in comparative image fusion analysis

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right