KR20230037587A - 촬상 시스템, 검사 시스템, 정보 처리 장치, 정보 처리 방법 및 그 프로그램, 그리고 촬상 제어 방법 및 그 프로그램 - Google Patents
촬상 시스템, 검사 시스템, 정보 처리 장치, 정보 처리 방법 및 그 프로그램, 그리고 촬상 제어 방법 및 그 프로그램 Download PDFInfo
- Publication number
- KR20230037587A KR20230037587A KR1020237003880A KR20237003880A KR20230037587A KR 20230037587 A KR20230037587 A KR 20230037587A KR 1020237003880 A KR1020237003880 A KR 1020237003880A KR 20237003880 A KR20237003880 A KR 20237003880A KR 20230037587 A KR20230037587 A KR 20230037587A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- stage
- imaging
- light
- inspection
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 142
- 238000007689 inspection Methods 0.000 title claims description 129
- 238000000034 method Methods 0.000 title claims description 53
- 230000010365 information processing Effects 0.000 title claims description 23
- 238000003672 processing method Methods 0.000 title claims description 13
- 238000012545 processing Methods 0.000 claims abstract description 95
- 239000002131 composite material Substances 0.000 claims abstract description 59
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 34
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 34
- 230000008569 process Effects 0.000 claims description 32
- 230000002194 synthesizing effect Effects 0.000 claims description 19
- 238000007781 pre-processing Methods 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 5
- 230000001678 irradiating effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 31
- 230000008901 benefit Effects 0.000 description 21
- 230000000052 comparative effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000015654 memory Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000008602 contraction Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
- G01N2021/8812—Diffuse illumination, e.g. "sky"
- G01N2021/8816—Diffuse illumination, e.g. "sky" by using multiple sources, e.g. LEDs
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Analytical Chemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Biochemistry (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
촬상 시스템은, 촬상 장치와, 조명 장치와, 제어부와, 출력부를 구비한다. 촬상 장치는, 피사체를 촬상한다. 조명 장치는, 피사체에 광을 조사한다. 제어부는, 피사체에 대하여 광을 조사하는 방향이 서로 상이한 조사 방향으로부터 피사체에 광을 조사하도록 조명 장치를 제어하고, 또한, 서로 상이한 조사 방향마다 촬상 장치로 하여금 피사체를 촬상하게 한다. 출력부는, 촬상 장치에 의하여 촬상된 복수의 촬상 화상을, 복수의 촬상 화상을 이용하여 헐레이션을 저감시킨 합성 화상을 생성하는 합성 기능을 갖는 화상 처리 장치(2)에 출력한다.
Description
본 개시는, 일반적으로 촬상 시스템, 검사 시스템, 정보 처리 장치, 정보 처리 방법 및 그 프로그램, 그리고 촬상 제어 방법 및 그 프로그램에 관한 것이다. 보다 상세하게는, 본 개시는, 피사체를 촬상하는 촬상 시스템, 피사체를 촬상한 화상에 포함되는 하나 이상의 물품을 검사하는 검사 시스템, 검사 시스템에 이용되는 정보 처리 장치에 관한 것이다. 또, 본 개시는, 검사 시스템에 이용되는 정보 처리 방법, 및 정보 처리 방법을 실행하기 위한 프로그램, 그리고 피사체를 촬상하는 촬상 제어 방법, 및 촬상 제어 방법을 실행하기 위한 프로그램에 관한 것이다.
특허문헌 1에는, 라인 센서 카메라로 시험편의 예비적인 위치 결정을 행하는 검사 장치가 개시되어 있다. 특허문헌 1에 기재된 검사 장치에서는, 광 센서의 배열 방향이 x축 방향과 평행이 되도록 라인 센서 카메라를 배치하고, xy스테이지를 y축 방향으로 이동시키면서 촬상하여, 이차원적인 화상을 얻는다.
특허문헌 1에 기재된 검사 장치에서는, 검사 대상(물품)에 따라서는 화상에 헐레이션(Halation)이 발생하여, 화상에 있어서의 검사 대상의 위치를 인식하기 어려워진다고 하는 문제가 있었다.
본 개시는, 화상에 있어서의 물품의 위치를 인식하기 쉽게 하는 촬상 시스템, 검사 시스템, 정보 처리 장치, 정보 처리 방법 및 그 프로그램, 그리고 촬상 제어 방법 및 그 프로그램을 제공하는 것을 목적으로 한다.
본 개시의 일 양태에 따른 촬상 시스템은, 촬상 장치와, 조명 장치와, 제어부와, 출력부를 구비한다. 상기 촬상 장치는, 피사체를 촬상한다. 상기 조명 장치는, 상기 피사체에 광을 조사한다. 상기 제어부는, 서로 상이한 조사 방향으로부터 상기 피사체에 광을 조사하도록 상기 조명 장치를 제어하고, 또한, 조사 방향마다 상기 촬상 장치로 하여금 상기 피사체를 촬상하게 한다. 상기 출력부는, 상기 촬상 장치에 의하여 촬상된 복수의 촬상 화상을 화상 처리 장치에 출력한다. 상기 화상 처리 장치는, 상기 복수의 촬상 화상을 이용하여 헐레이션을 저감시킨 합성 화상을 생성하는 합성 기능을 갖는다.
본 개시의 다른 일 양태에 따른 검사 시스템은, 상기 촬상 시스템과, 상기 합성 화상에 포함되는 하나 이상의 물품을 검사하는 검사 처리를 실행하는 상기 화상 처리 장치를 구비한다.
본 개시의 다른 일 양태에 따른 정보 처리 장치는, 상기 검사 시스템에 상기 화상 처리 장치로서 이용된다.
본 개시의 다른 일 양태에 따른 정보 처리 방법은, 화상 취득 처리와, 화상 합성 처리를 갖는다. 상기 화상 취득 처리는, 피사체를 촬상하는 촬상 장치에 의하여 촬상된, 상기 피사체에 대한 광의 조사 방향이 서로 상이한 복수의 촬상 화상을 취득한다. 상기 화상 합성 처리는, 상기 화상 취득 처리에 의하여 취득한 상기 복수의 촬상 화상을 이용하여 헐레이션을 저감시킨 합성 화상을 생성한다.
본 개시의 일 양태에 따른 프로그램은, 하나 이상의 프로세서로 하여금, 상기 정보 처리 방법을 실행하게 한다.
본 개시의 다른 일 양태에 따른 촬상 제어 방법은, 제어 처리와, 출력 처리를 갖는다. 상기 제어 처리는, 서로 상이한 조사 방향으로부터 상기 피사체에 광을 조사하도록 조명 장치를 제어하고, 또한, 조사 방향마다 촬상 장치로 하여금 상기 피사체를 촬상하게 한다. 상기 출력 처리는, 상기 촬상 장치에 의하여 촬상된 복수의 촬상 화상을, 상기 복수의 촬상 화상을 이용하여 헐레이션을 저감시킨 합성 화상을 생성하는 합성 기능을 갖는 화상 처리 장치에 출력한다.
본 개시의 다른 일 양태에 따른 프로그램은, 하나 이상의 프로세서로 하여금, 상기 촬상 제어 방법을 실행하게 한다.
본 개시는, 화상에 있어서의 물품의 위치를 인식하기 쉬워진다고 하는 이점이 있다.
도 1은, 본 개시의 실시 형태에 따른 촬상 시스템 및 검사 시스템의 개요를 나타내는 블록도이다.
도 2는, 상기와 같은 검사 시스템의 외관 사시도이다.
도 3은, 상기와 같은 촬상 시스템에 이용되는 스테이지 카메라 및 스테이지 조명을 나타내는 평면도이다.
도 4는, 상기와 같은 스테이지 카메라와, 스테이지 조명이 갖는 광원의 위치 관계를 나타내는 개요도이다.
도 5는, 상기와 같은 검사 시스템에 있어서의 화상 처리 장치에 의한 합성 처리의 일례의 설명도이다.
도 6은, 상기와 같은 검사 시스템의 동작의 일례를 나타내는 플로차트이다.
도 7은, 비교예의 촬상 시스템에 있어서의 스테이지 카메라와 광원의 위치 관계를 나타내는 개요도이다.
도 8은, 상기와 같은 비교예의 촬상 시스템에 있어서의 문제점의 설명도이다.
도 2는, 상기와 같은 검사 시스템의 외관 사시도이다.
도 3은, 상기와 같은 촬상 시스템에 이용되는 스테이지 카메라 및 스테이지 조명을 나타내는 평면도이다.
도 4는, 상기와 같은 스테이지 카메라와, 스테이지 조명이 갖는 광원의 위치 관계를 나타내는 개요도이다.
도 5는, 상기와 같은 검사 시스템에 있어서의 화상 처리 장치에 의한 합성 처리의 일례의 설명도이다.
도 6은, 상기와 같은 검사 시스템의 동작의 일례를 나타내는 플로차트이다.
도 7은, 비교예의 촬상 시스템에 있어서의 스테이지 카메라와 광원의 위치 관계를 나타내는 개요도이다.
도 8은, 상기와 같은 비교예의 촬상 시스템에 있어서의 문제점의 설명도이다.
(1) 개요
도 1은, 본 개시의 실시 형태에 따른 촬상 시스템(10) 및 검사 시스템(100)의 개요를 나타내는 블록도이다. 이하, 본 실시 형태의 촬상 시스템(10) 및 검사 시스템(100)에 대하여 도면을 참조하여 설명한다. 단, 하기의 실시 형태는, 본 개시의 다양한 실시 형태의 일부에 지나지 않는다. 하기의 실시 형태는, 본 개시의 목적을 달성할 수 있으면, 설계 등에 따라 다양한 변경이 가능하다. 또, 하기의 실시 형태에 있어서 설명하는 각 도면은, 모식적인 도면이고, 도면 중의 각 구성 요소의 크기 및 두께 각각의 비가 반드시 실제의 치수비를 반영하고 있다고는 할 수 없다.
촬상 시스템(10)은, 검사 시스템(100)에서 이용되는 피사체(A1)를 포함하는 촬상 화상(P1)(도 5를 참조)을 촬상하기 위한 시스템이다. 검사 시스템(100)은, 검사 대상인 물품(W1)(도 5를 참조)의 외관을 검사하기 위한 시스템이다. 물품(W1)은, 예를 들면, 저항, 콘덴서, 또는 인덕터 등의 칩 부품을 포함할 수 있다. 물품(W1)은, 예를 들면, 회로 기판, 판 스프링 등의 판금 부품, 또는 커버 등의 수지 성형 부품을 포함할 수 있다. 본 실시 형태에서는, 물품(W1)은, 일례로서, 와셔이다. 검사 시스템(100)은, 예를 들면, 물품(W1)의 외표면의 오염, 상처, 버(burr), 또는 결락 등의 외관상의 결함을 검사한다. 검사 시스템(100)은, 물품(W1)의 제조 라인에 내장되어 있어도 되고, 제조 라인 밖에서 외관 검사를 행해도 된다.
촬상 시스템(10)은, 도 1에 나타내는 바와 같이, 촬상 장치(32)와, 조명 장치(34)와, 제어부(11)와, 출력부(12)를 구비하고 있다.
촬상 장치(32)는, 피사체(A1)를 촬상한다. 본 실시 형태에서는, 촬상 장치(32)는, 검사 시스템(100)에 의한 검사 대상인 하나 이상의 물품(W1)이 재치(載置)되는 스테이지(4)를 피사체(A1)로 하여 촬상하는 스테이지 카메라(32)이다. 이하에서는, 특별히 언급이 없는 한, 「촬상 장치」를 「스테이지 카메라」라고 한다.
조명 장치(34)는, 피사체(A1)에 광을 조사한다. 본 실시 형태에서는, 조명 장치(34)는, 피사체(A1)인 스테이지(4)에 광을 조사하는 스테이지 조명(34)이다. 이하에서는, 특별히 언급이 없는 한, 「조명 장치」를 「스테이지 조명」이라고 한다.
제어부(11)는, 서로 상이한 조사 방향으로부터 스테이지(4)(피사체(A1))에 광을 조사하도록 스테이지 조명(조명 장치)(34)을 제어하고, 또한, 조사 방향마다 스테이지 카메라(촬상 장치)(32)로 하여금 스테이지(4)를 촬상하게 한다.
출력부(12)는, 스테이지 카메라(촬상 장치)(32)에 의하여 촬상된 복수의 촬상 화상(P1)을 화상 처리 장치(2)에 출력한다. 화상 처리 장치(2)는, 복수의 촬상 화상(P1)을 이용하여 헐레이션을 저감시킨 합성 화상(P2)(도 5를 참조)을 생성하는 화상 합성 기능을 갖고 있다.
본 개시에서 말하는 「헐레이션」은, 스테이지 카메라(촬상 장치)(32)에 입사하는 광이 너무 강한 것에 의하여, 촬상 화상(P1)의 일부에 있어서 다른 부분보다 희고 불선명한 부분이 생기는 현상을 말한다. 헐레이션은, 스테이지 조명(조명 장치)(34)으로부터 스테이지(4)(피사체(A1))에 입사한 광이 물품(W1)에서 반사되고, 반사광이 직접 스테이지 카메라(32)에 입사함으로써 발생할 수 있다. 즉, 헐레이션은, 주로 물품(W1)이 광을 반사하는 경면을 갖고 있는 경우에 발생할 수 있다.
여기서, 헐레이션이 발생한 촬상 화상(P1)을 이용하여, 촬상 화상(P1)에 있어서의 하나 이상의 물품(W1)의 위치를 인식하기 위하여 화상 처리를 실행한 경우, 헐레이션이 발생한 개소에 있는 물품(W1)의 위치를 인식하기 어렵다고 하는 문제가 있다. 헐레이션이 발생한 개소에 있어서는, 물품(W1)의 윤곽이 불선명해지기 때문이다.
이에, 본 실시 형태에서는, 화상 처리 장치(2)는, 출력부(12)로부터 출력된 복수(본 실시 형태에서는, 2장)의 촬상 화상(P1)을 이용하여 화상 합성 처리를 실행함으로써, 헐레이션을 저감시킨 합성 화상(P2)을 생성하고 있다. 이 때문에, 합성 화상(P2)에 있어서는, 헐레이션을 저감시키고 있지 않은 경우와 비교하여, 하나 이상의 물품(W1)의 윤곽이 선명해진다. 따라서, 본 실시 형태에서는, 화상(합성 화상(P2))에 있어서의 물품(W1)의 위치를 인식하기 쉬워진다고 하는 이점이 있다.
(2) 상세
이하, 본 실시 형태의 촬상 시스템(10) 및 검사 시스템(100)에 대하여 도 1 및 도 2를 참조하여 상세하게 설명한다. 도 2는, 본 개시의 실시 형태에 따른 검사 시스템(100)의 외관 사시도이다. 이하의 설명에서는, 도 2에 나타내는 바와 같이, 스테이지(4)의 길이 방향을 X방향, 스테이지(4)의 폭방향을 Y방향, 스테이지(4)의 두께 방향을 Z방향이라고 규정한다. 단, 이들 방향의 규정은, 검사 시스템(100)의 사용 방향을 한정하는 취지는 아니다. 또, 도면 중의 방향을 나타내는 화살표는 설명을 위하여 표기하고 있는 것에 지나지 않고, 실체를 수반하지 않는다.
검사 시스템(100)은, 도 1 및 도 2에 나타내는 바와 같이, 제어 장치(1)와, 화상 처리 장치(2)와, 컨트롤러(31)와, 스테이지 카메라(촬상 장치)(32)와, 검사 카메라(33)와, 스테이지 조명(조명 장치)(34)과, 검사 조명(35)을 구비하고 있다. 검사 시스템(100)은, 스테이지(4)(피사체(A1))와, 제1 액추에이터(5A)와, 제2 액추에이터(5B)와, 제3 액추에이터(5C)와, 제4 액추에이터(5D)와, 하우징(6)을 추가로 구비하고 있다. 또, 검사 시스템(100)에는, 표시 장치(7)가 접속되어 있다.
촬상 시스템(10)은, 제어 장치(1)가 갖는 제어부(11) 및 출력부(12)와, 스테이지 카메라(32)와, 스테이지 조명(34)으로 구성되어 있다. 촬상 시스템(10)은, 화상 처리 장치(2)와 함께 검사 시스템(100)을 구성하고 있다. 화상 처리 장치(2)는, 후술하는 바와 같이, 촬상 시스템(10)으로부터 출력되는 복수의 촬상 화상(P1)을 이용하여 합성 화상(P2)을 생성한다. 화상 처리 장치(2)는, 생성한 합성 화상(P2)에 포함되는 하나 이상의 물품(W1)을 검사하는 검사 처리(ST5)(도 6을 참조)를 실행한다. 도 6은, 본 개시의 실시 형태에 따른 검사 시스템의 동작의 일례를 나타내는 플로차트이다.
하우징(6)은, 도 2에 나타내는 바와 같이, 베이스(61)와, 보디(62)와, 아암(63)과, 케이스(64)를 갖고 있다. 또한, 도 2에서는, 케이스(64)의 내부의 구성을 도시하기 위하여, 케이스(64)의 일부의 도시를 생략하고 있다.
베이스(61)는, 예를 들면 바닥 등의 조영면(造營面)에 재치되어, 보디(62), 아암(63), 및 케이스(64)를 지지한다. 베이스(61)의 일면(상면)에는, 스테이지(4)가 X방향으로 이동 가능한 형태로 장착되어 있다. 보디(62)는, Z방향으로 길이를 갖는 직방체 형상이며, 베이스(61)의 Y방향에 있어서의 일단부(후단부)와 일체로 형성되어 있다. 아암(63)은, Y방향으로 길이를 갖는 직방체 형상이며, 보디(62)의 Z방향에 있어서의 일단부(상단부)와 일체로 형성되어 있다. 케이스(64)는, Z방향으로 길이를 갖는 통 형상이며, Y방향으로 이동 가능한 형태로 아암(63)에 장착되어 있다. 케이스(64)의 내부에는, 검사 카메라(33) 및 검사 조명(35)이 Z방향으로 이동 가능한 형태로 수용되어 있다. 케이스(64)의 외벽에는, 스테이지 카메라(32) 및 스테이지 조명(34)이 제1 장착판(65)과 제2 장착판(66) 사이에 끼인 형태로 고정되어 있다.
스테이지(4)는, 평면에서 보았을 때의 형상이 직사각형의 판 형상으로 형성된 지지대이다. 스테이지(4)는, 제1 액추에이터(5A)에 의하여 X방향으로 이동 가능하다. 도 5는, 본 개시의 실시 형태에 따른 검사 시스템에 있어서의 화상 처리 장치에 의한 합성 처리의 일례의 설명도이다. 스테이지(4)의 일면(상면)에는, 도 5에 나타내는 바와 같이, 하나 이상의 물품(W1)이 예를 들면 격자 형상으로 재치된다. 스테이지(4)에는, 하나 이상의 물품(W1)이 직접, 재치되어도 되고, 하나 이상의 물품(W1)이 수용된 트레이가 재치되어도 된다.
제1 액추에이터(5A)는, 제1 모터(도시하지 않음)를 포함한다. 제1 모터는, 컨트롤러(31)의 드라이브 회로(도시하지 않음)에 의하여 동작이 제어된다. 제1 액추에이터(5A)는, 제1 모터가 동작함으로써 X방향으로 이동 가능하다. 제1 액추에이터(5A)에는, 스테이지(4)가 장착되어 있다. 따라서, 제1 액추에이터(5A)가 X방향으로 이동함으로써, 스테이지(4)를 X방향으로 이동시키는 것이 가능하다.
제2 액추에이터(5B)는, 제2 모터를 포함한다. 제2 모터(도시하지 않음)는, 컨트롤러(31)의 드라이브 회로에 의하여 동작이 제어된다. 제2 액추에이터(5B)는, 제2 모터가 동작함으로써 Z방향으로 이동 가능하다. 제2 액추에이터(5B)에는, 검사 카메라(33)가 장착되어 있다. 따라서, 제2 액추에이터(5B)가 Z방향으로 이동함으로써, 검사 카메라(33)를 Z방향으로 이동시키는 것이 가능하다.
제3 액추에이터(5C)는, 제3 모터(도시하지 않음)를 포함한다. 제3 모터는, 컨트롤러(31)의 드라이브 회로에 의하여 동작이 제어된다. 제3 액추에이터(5C)는, 제3 모터가 동작함으로써 Z방향으로 이동 가능하다. 제3 액추에이터(5C)에는, 검사 조명(35)이 장착되어 있다. 따라서, 제3 액추에이터(5C)가 Z방향으로 이동함으로써, 검사 조명(35)을 Z방향으로 이동시키는 것이 가능하다.
이와 같이, 제2 액추에이터(5B) 및 제3 액추에이터(5C)에 의하여, 검사 카메라(33) 및 검사 조명(35)을 서로 독립적으로 Z방향으로 이동시키는 것이 가능하다. 물론, 1개의 액추에이터에 의하여 검사 카메라(33) 및 검사 조명(35)의 양쪽 모두를 동시에 Z방향으로 이동시키도록 구성되어 있어도 된다.
제4 액추에이터(5D)는, 제4 모터(도시하지 않음)를 포함한다. 제4 모터는, 컨트롤러(31)의 드라이브 회로에 의하여 동작이 제어된다. 제4 액추에이터(5D)는, 제4 모터가 동작함으로써 Y방향으로 이동 가능하다. 제4 액추에이터(5D)가 Y방향으로 이동함으로써, 제4 액추에이터(5D)에 장착되어 있는 케이스(64)를, 즉, 스테이지 카메라(32), 검사 카메라(33), 스테이지 조명(34), 및 검사 조명(35)을 Y방향으로 이동시키는 것이 가능하다.
컨트롤러(31)는, 제어 장치(1)로부터 출력되는 제어 지령에 따라, 제1 액추에이터(5A), 제2 액추에이터(5B), 제3 액추에이터(5C), 및 제4 액추에이터(5D)를 각각 제어한다. 컨트롤러(31)는, 드라이브 회로를 포함한다. 드라이브 회로는, 제1 액추에이터(5A)에 포함되는 제1 모터의 온 또는 오프, 제2 액추에이터(5B)에 포함되는 제2 모터의 온 또는 오프, 제3 액추에이터(5C)에 포함되는 제3 모터의 온 또는 오프, 및 제4 액추에이터(5D)에 포함되는 제4 모터의 온 또는 오프를 각각 제어한다.
스테이지 카메라(32)는, 예를 들면, 에어리어 카메라이다. 에어리어 카메라는, 복수의 수광 소자(예를 들면 포토다이오드)가 이차원으로 배열되어 있는 촬상 소자를 갖는 이차원 카메라이다. 촬상 소자는, 예를 들면, CCD(Charge Coupled Device) 이미지 센서, 또는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 등의 이차원 이미지 센서이다. 도 3은, 본 개시의 실시 형태에 따른 촬상 시스템(10)에 이용되는 스테이지 카메라(32) 및 스테이지 조명(34)을 나타내는 평면도이다. 스테이지 카메라(32)는, 광각의 렌즈(321)를 구비하고 있다. 이 때문에, 스테이지 카메라(32)는, 검사 카메라(33)보다 넓은 영역을 촬상하는 것이 가능하다. 바꾸어 말하면, 스테이지 카메라(32)의 화각은, 검사 카메라(33)의 화각보다 광각이다. 스테이지 카메라(32)의 촬상 범위(C1)(도 4를 참조)는, 하나 이상의 물품(W1)이 재치되는 스테이지(4) 전체를 포함하는 범위이다. 도 4는, 본 개시의 실시 형태에 따른 스테이지 카메라(32)와, 스테이지 조명(34)이 갖는 광원(341)의 위치 관계를 나타내는 개요도이다.
검사 카메라(33)는, 스테이지 카메라(32)와 동일하게, 에어리어 카메라이다. 검사 카메라(33)에서는, 검사 카메라(33)의 촬상 범위는, 검사 대상이 되는 1개의 물품(W1)의 전체, 또는 검사 대상이 되는 1개의 물품(W1)의 일부를 포함하는 범위이다. 검사 카메라(33)의 촬상 범위에는, 검사 대상이 되는 1개의 물품(W1)과는 상이한 다른 물품(W1)의 일부가 포함되어 있어도 된다.
스테이지 조명(34)은, 피사체(A1)인 스테이지(4)에 대하여 광을 조사하도록 구성되어 있다. 본 실시 형태에서는, 스테이지 조명(조명 장치)(34)은, 개별적으로 구동 가능한 복수(여기에서는, 2개)의 광원(341)을 갖고 있다. 광원(341)은, 예를 들면 발광 다이오드 등의 고체 발광 소자를 배치한 회로 기판을 포함하는 구성이다. 복수의 광원(341)은, 모두 스테이지(4)에 대하여 광을 조사 가능한 위치에 배치되어 있다. 본 실시 형태에서는, 복수의 광원(341)은, 도 3에 나타내는 바와 같이, Y방향에 있어서 스테이지 카메라(32)를 사이에 둔 양측에 위치하도록 배치되어 있다. 따라서, 복수의 광원(341)은, 각각 스테이지(4)(피사체(A1))에 대하여 조사하는 광의 방향이 서로 상이하다.
구체적으로는, 스테이지 카메라(32) 및 스테이지 조명(34)은, 도 2에 나타내는 바와 같이, Y방향으로 길이를 갖는 제1 장착판(65) 및 제2 장착판(66) 사이에 끼인 형태로, 하우징(6)의 케이스(64)에 고정되어 있다. 스테이지 카메라(32)는, 제1 장착판(65)의 Y방향에 있어서의 중앙에 장착되어 있다. 스테이지 조명(34)의 2개의 광원(341)은, 제1 장착판(65)의 Y방향에 있어서의 양단부에 각각 장착되어 있다. 이하에서는, 2개의 광원(341) 중 하우징(6)의 보디(62) 측에 위치하는 광원(341)을 「제1 광원(34A)」, 다른 쪽의 광원(341)을 「제2 광원(34B)」이라고도 한다.
제2 장착판(66)은, Z방향에 있어서 제1 장착판(65)보다 하우징(6)의 베이스(61) 측에 위치한다. 바꾸어 말하면, 제2 장착판(66)은, 제1 장착판(65)의 하방에 위치한다. 제2 장착판(66)은, 예를 들면 나사 고정됨으로써 제1 장착판(65)에 장착되어 있다. 제2 장착판(66)은, 도 3에 나타내는 바와 같이, 각각이 Z방향으로 관통하는 원 형상의 제1 구멍(661), 제2 구멍(662), 및 제3 구멍(663)을 갖고 있다.
제1 구멍(661)은, 제2 장착판(66)의 Y방향에 있어서의 중앙에 형성되어 있다. 제1 구멍(661)은, 스테이지 카메라(32)의 렌즈(321)를 스테이지(4)에 대하여 노출시키고 있다. 렌즈(321)의 직경 치수는, 제1 구멍(661)의 직경 치수와 실질적으로 동일하다.
제2 구멍(662)은, 제2 장착판(66)의 Y방향에 있어서의 제1단(도 3에 있어서의 우측단)에 형성되어 있다. 제2 구멍(662)은, 스테이지 조명(34)의 제1 광원(34A)을 스테이지(4)에 대하여 노출시키고 있다. 제1 광원(34A)의 직경 치수는, 제2 구멍(662)의 직경 치수와 대략 같고, 또한, 제1 구멍(661)의 직경 치수보다 작다.
제3 구멍(663)은, 제2 장착판(66)의 Y방향에 있어서의 제2 단(도 3에 있어서의 좌측단)에 형성되어 있다. 제3 구멍(663)은, 스테이지 조명(34)의 제2 광원(34B)을 스테이지(4)에 대하여 노출시키고 있다. 제2 광원(34B)의 직경 치수는, 제3 구멍(663)의 직경 치수와 실질적으로 같고, 또한, 제1 구멍(661)의 직경 치수보다 작다.
즉, 스테이지 조명(조명 장치)(34)이 갖는 광원(341)의 직경 치수는, 스테이지 카메라(촬상 장치)(32)가 갖는 렌즈(321)의 직경 치수보다 작게 되어 있다. 일례로서, 렌즈(321)의 직경 치수(제1 구멍(661)의 직경 치수)가 11~12mm인 것에 대하여, 광원(341)의 직경 치수(제2 구멍(662)의 직경 치수 및 제3 구멍(663)의 직경 치수)가 3~4mm이다.
이와 같이, 광원(341)은, 그 직경 치수가 렌즈(321)의 직경 치수와 비교하여 작고, 점광원으로서 기능한다. 광원(341)이 점광원으로서 기능하는 경우, 선광원 또는 면광원으로서 기능하는 경우와 비교하여, 스테이지 카메라(32)로 촬상했을 때에 촬상 화상(P1)에 헐레이션이 발생하는 범위가 좁기 때문에, 바람직하다.
스테이지 조명(34)은, 스테이지 카메라(32)에 의하여 스테이지(4)를 촬상할 때에 이용된다. 구체적으로는, 스테이지 조명(34)은, 스테이지 카메라(32)의 렌즈(321)의 중심과, 스테이지(4)의 중심이 Z방향을 따라 늘어선 상태로, 스테이지(4)에 대하여 광을 조사한다. 여기서, 스테이지 조명(34)이 갖는 복수의 광원(341)은, 촬상 시에 있어서 동시에 점등하는 것이 아니라, 서로 상이한 타이밍에 점등한다. 따라서, 스테이지(4)에 대한 광의 조사 방향은, 점등하는 광원(341)마다 상이하다.
예를 들면, 제1 광원(34A)이 점등하고 있는 경우, Z방향에서 스테이지(4)를 보았을 때, 보디(62)를 상 방향으로 하면 스테이지(4)의 상측 반분의 영역에서의 조도는, 스테이지(4)의 하측 반분의 영역에서의 조도보다 커진다. 한편, 제2 광원(34B)이 점등하고 있는 경우, Z방향에서 스테이지(4)를 보았을 때, 스테이지(4)의 하측 반분의 영역에서의 조도는, 스테이지(4)의 상측 반분의 영역에서의 조도보다 커진다.
여기서, 스테이지 카메라(32)에 의하여 스테이지(4)를 촬상할 때에는, 복수의 광원(341)은, 도 4에 나타내는 바와 같이, 규정 영역(D1)에 배치된다. 도 4는, 스테이지 카메라(32), 스테이지 조명(34), 및 스테이지(4)를 X방향에서 본 상태를 나타내는 개요도이다. 규정 영역(D1)은, 스테이지(4)(피사체(A1))에서의 반사광(구체적으로는, 스테이지(4) 상의 물품(W1)에서의 반사광)이 스테이지 카메라(촬상 장치)(32)에 입사하는 영역이다. 즉, 복수의 광원(341)은, 모두 스테이지 카메라(32)로 촬상했을 때에 촬상 화상(P1)에 헐레이션이 발생할 수 있는 범위에 배치되어 있다. 그리고, 복수의 광원(341) 간의 거리(여기에서는, 제1 광원(34A)과 제2 광원(34B) 사이의 거리)는, 스테이지 카메라(촬상 장치)(32)가 갖는 렌즈(321)의 직경 치수 이상이다.
또, 스테이지 카메라(32)에 의하여 스테이지(4)를 촬상할 때에는, 복수의 광원(341)은, 도 4에 나타내는 바와 같은 위치 관계인 것이 바람직하다. 즉, 복수의 광원(341)은, X방향에서 보았을 때 제1 선분(L1)과 제2 선분(L2)이 이루는 각도(θ1)가 90도 이상이 되도록, 간격을 두고 배치되는 것이 바람직하다. 제1 선분(L1)은, 스테이지(4)의 중심(X1)과 제1 광원(34A)의 중심을 연결하는 선분이다. 제2 선분(L2)은, 스테이지(4)의 중심(X1)과 제2 광원(34B)의 중심을 연결하는 선분이다.
이와 같이, 복수의 광원(341)이 비교적 떨어져 배치되어 있으므로, 각 광원(341)으로부터의 광에 기인하는 반사광이, 스테이지 카메라(32)에 있어서의 같은 수광 소자(즉, 화소)에 입사하기 어렵게 되어 있다. 이 때문에, 복수의 촬상 화상(P1) 각각에서 같은 영역에 헐레이션이 발생하는 것을 회피하기 쉽고, 결과적으로 합성 화상(P2)에서 헐레이션을 제거(저감)하기 쉽다고 하는 이점이 있다. 가령, 복수의 촬상 화상(P1) 각각에서 같은 영역에 헐레이션이 발생한 경우, 어느 촬상 화상(P1)으로부터 이 영역을 채용해도, 합성 화상(P2)에서 헐레이션을 다 제거할 수 없다. 복수의 광원(341) 간의 거리는, 스테이지 카메라(32)의 분해능에 따라 적절히 설정되는 것이 바람직하다.
검사 조명(35)은, 검사 카메라(33)의 촬상 범위에 대하여 광을 조사하도록 구성되어 있다. 본 실시 형태에서는, 검사 조명(35)은, 환 형상의 광원을 갖는 링 조명이다. 링 조명은, 예를 들면 발광 다이오드 등의 복수의 고체 발광 소자를 원주 상에 배치한 회로 기판을 포함하는 구성이다. 이와 같이, 검사 조명(35)으로서 링 조명을 이용함으로써, 검사 카메라(33)의 촬상 범위에 대하여 균일한 광을 조사할 수 있어, 촬상 범위에 포함되는 물품(W1)의 그림자가 생기기 어렵다.
제어 장치(1)는, 하드웨어로서의 하나 이상의 프로세서 및 메모리를 주 구성으로 하는 컴퓨터 시스템이다. 이 컴퓨터 시스템에서는, 메모리에 기록된 프로그램을 하나 이상의 프로세서에서 실행함으로써, 제어 장치(1)가 갖는 다양한 기능이 실현된다. 프로그램은, 컴퓨터 시스템의 메모리에 미리 기록되어도 되고, 전기 통신 회선을 통하여 제공되어도 되며, 컴퓨터 시스템으로 판독 가능한 광학 디스크, 하드 디스크 드라이브 등의 비일시적 기록 매체에 기록되어 제공되어도 된다.
제어 장치(1)는, 제어부(11)와, 출력부(12)를 갖고 있다.
제어부(11)는, 컨트롤러(31), 스테이지 카메라(32), 검사 카메라(33), 스테이지 조명(34), 및 검사 조명(35) 각각에 제어 지령을 출력함으로써, 이들을 제어한다. 제어부(11)는, 제어 처리(ST1)(도 6을 참조)의 실행 주체이다. 제어부(11)는, 서로 상이한 조사 방향으로부터 스테이지(4)에 광을 조사하도록 스테이지 조명(34)을 제어하고, 또한, 조사 방향마다 스테이지 카메라(32)로 하여금 스테이지(4)를 촬상하게 한다. 예를 들면, 제어부(11)는, 스테이지 카메라(32)로 스테이지(4)를 촬상할 때에, 스테이지 카메라(32)로 하여금 스테이지(4)를 복수 회 촬상하게 하고, 또한, 스테이지 카메라(32)로 하여금 촬상하게 할 때마다 스테이지(4)에 대한 광의 조사 방향이 상이하도록 스테이지 조명(34)을 제어한다.
구체적으로는, 제어부(11)는, 스테이지 카메라(32)로 하여금 스테이지(4)를 2회 촬상하게 한다. 1회째의 촬상에 있어서는, 제어부(11)는, 스테이지 조명(34)이 갖는 2개의 광원(341) 중 제1 광원(34A)만을 점등시킨 상태로, 스테이지(4)를 촬상한다. 2회째의 촬상에 있어서는, 제어부(11)는, 스테이지 조명(34)이 갖는 2개의 광원(341) 중 제2 광원(34B)만을 점등시킨 상태로, 스테이지(4)를 촬상한다. 이에 의하여, 복수(여기에서는, 2장)의 촬상 화상(P1)이 얻어진다. 이하에서는, 2장의 촬상 화상(P1) 중 제1 광원(34A)만을 점등시킨 상태로 촬상된 촬상 화상(P1)을 「제1 촬상 화상(P11)」, 제2 광원(34B)만을 점등시킨 상태로 촬상된 촬상 화상(P1)을 「제2 촬상 화상(P12)」이라고도 한다.
제1 촬상 화상(P11) 및 제2 촬상 화상(P12)의 일례를 도 5에 나타낸다. 도 5에 있어서의 일점쇄선(B1)으로 둘러싸는 영역과, 일점쇄선(B2)으로 둘러싸는 영역은, 모두 헐레이션이 발생하고 있는 영역을 나타내고 있다. 도 5에 있어서 이점쇄선으로 표시되어 있는 물품(W1)은, 실선으로 표시되어 있는 물품(W1)보다 휘도가 크게 되어 있고, 또한, 윤곽이 불선명하게 되어 있다. 도 5에 나타내는 바와 같이, 제1 촬상 화상(P11)에서는, 스테이지(4)의 상측 반분의 영역에 있어서 헐레이션이 발생하고 있다. 제2 촬상 화상(P12)에서는, 스테이지(4)의 하측 반분의 영역에 있어서 헐레이션이 발생하고 있다.
출력부(12)는, 스테이지 카메라(32)에 의하여 촬상된 복수의 촬상 화상(P1)을 화상 처리 장치(2)에 출력한다. 출력부(12)는, 출력 처리(ST2)(도 6을 참조)의 실행 주체이다. 본 실시 형태에서는, 출력부(12)는, 스테이지 카메라(32)에 의한 2회째의 촬상이 종료되면, 제1 촬상 화상(P11) 및 제2 촬상 화상(P12)을 화상 처리 장치(2)에 출력한다. 또한, 출력부(12)는, 스테이지 카메라(32)에 의한 1회째의 촬상이 종료된 시점에서 제1 촬상 화상(P11)을 출력하고, 스테이지 카메라(32)에 의한 2회째의 촬상이 종료된 시점에서 제2 촬상 화상(P12)을 출력해도 된다.
화상 처리 장치(2)는, 하드웨어로서의 하나 이상의 프로세서 및 메모리를 주 구성으로 하는 컴퓨터 시스템이다. 이 컴퓨터 시스템에서는, 메모리에 기록된 프로그램을 하나 이상의 프로세서에서 실행함으로써, 화상 처리 장치(2)가 갖는 다양한 기능이 실현된다. 프로그램은, 컴퓨터 시스템의 메모리에 미리 기록되어도 되고, 전기 통신 회선을 통하여 제공되어도 되며, 컴퓨터 시스템으로 판독 가능한 광학 디스크, 하드 디스크 드라이브 등의 비일시적 기록 매체에 기록되어 제공되어도 된다.
도 1에 나타내는 바와 같이, 화상 처리 장치(2)는, 화상 취득부(21)와, 화상 합성부(22)와, 검사부(23)와, 기억부(24)를 갖고 있다.
화상 취득부(21)는, 제어 장치(1)의 출력부(12)로부터 출력되는 복수의 촬상 화상(P1)을 취득한다. 화상 취득부(21)는, 취득 처리(ST3)(도 6을 참조)의 실행 주체이다. 본 실시 형태에서는, 화상 취득부(21)는, 출력부(12)로부터 출력되는 제1 촬상 화상(P11) 및 제2 촬상 화상(P12)을 취득한다.
화상 합성부(22)는, 화상 취득부(21)에서 취득한 복수의 촬상 화상(P1)을 이용하여, 헐레이션을 제거한 합성 화상(P2)을 생성하는 화상 합성 처리를 실행한다. 화상 합성부(22)는, 화상 합성 처리(ST4)(도 6을 참조)의 실행 주체이다. 본 실시 형태에서는, 화상 합성부(22)는, 화상 취득부(21)에서 취득한 제1 촬상 화상(P11) 및 제2 촬상 화상(P12)을 이용하여, 합성 화상(P2)을 생성한다.
구체적으로는, 화상 합성부(22)는, 제1 촬상 화상(P11)의 화소의 휘도값과, 대응하는 제2 촬상 화상(P12)의 화소의 휘도값을 비교하여, 휘도값이 작은 쪽의 화소를 합성 화상(P2)의 화소로서 채용한다. 화상 합성부(22)는, 상기의 처리를 모든 화소에 대하여 실행한다. 이에 의하여, 합성 화상(P2)에 있어서는, 헐레이션이 제거된다.
도 5에 나타내는 예에서는, 제1 촬상 화상(P11)의 일점쇄선(B1)으로 둘러싸인 영역에서는 헐레이션이 발생하고 있고, 비교적 휘도가 높게 되어 있다. 한편, 제2 촬상 화상(P12)의 대응하는 영역에서는 헐레이션이 발생하고 있지 않고, 비교적 휘도가 작게 되어 있다. 이 때문에, 화상 합성부(22)는, 이 영역에 관해서는, 제2 촬상 화상(P12)의 화소를 합성 화상(P2)의 화소로서 채용한다. 또, 도 5에 나타내는 예에서는, 제2 촬상 화상(P12)의 일점쇄선(B2)으로 둘러싸인 영역에서는 헐레이션이 발생하고 있고, 비교적 휘도가 높게 되어 있다. 한편, 제1 촬상 화상(P11)의 대응하는 영역에서는 헐레이션이 발생하고 있지 않고, 비교적 휘도가 작게 되어 있다. 이 때문에, 화상 합성부(22)는, 이 영역에 관해서는, 제1 촬상 화상(P11)의 화소를 합성 화상(P2)의 화소로서 채용한다. 따라서, 합성 화상(P2)에 있어서는, 일점쇄선(B1)으로 둘러싸인 영역, 및 일점쇄선(B2)으로 둘러싸인 영역 중 어느 것에 있어서도, 헐레이션이 제거된다.
즉, 화상 처리 장치(2)가 갖는 화상 합성 기능은, 복수의 촬상 화상(P1)을 화소마다 비교하여, 원하는 휘도값을 갖는 화소를 합성한 합성 화상(P2)을 생성한다. 그리고, 화상 합성 기능에서는, 비교한 복수의 대상 중 휘도값이 역치보다 작은 대상을 채용한다.
검사부(23)는, 화상 합성부(22)에서 생성된 합성 화상(P2)에 포함되는 하나 이상의 물품(W1)을 검사하는 검사 처리(ST5)를 실행한다. 검사 처리에 있어서는, 검사부(23)는, 합성 화상(P2)에 대하여 적절한 화상 처리(예를 들면, 에지 검출 처리 등)를 실행함으로써, 합성 화상(P2)에 있어서의 하나 이상의 물품(W1)의 위치를 인식한다. 다음으로, 검사부(23)는, 인식한 물품(W1)마다, 검사 조명(35)으로부터 광을 조사한 상태로, 물품(W1)을 검사 카메라(33)에 의하여 촬상한다. 검사 카메라(33)에 의하여 물품(W1)을 촬상할 때에는, 검사부(23)는, 합성 화상(P2)에 의거하여, 검사 카메라(33) 및 검사 조명(35)이 검사 대상의 물품(W1)과 Z방향에 있어서 대향하도록, 스테이지(4), 검사 카메라(33) 및 검사 조명(35)의 위치를 조정한다.
이에 의하여, 물품(W1)마다의 검사 화상이 얻어진다. 검사 화상은, 합성 화상(P2)과 비교하여, 검사 대상의 물품(W1)을 확대한 화상이 된다. 검사부(23)는, 검사 화상마다 적절한 화상 처리를 실행함으로써, 검사 화상에 포함되는 물품(W1)에 결함이 있는지 여부, 및 물품(W1)이 양품인지 여부를 검사한다.
기억부(24)는, 예를 들면, 하드 디스크 드라이브(Hard Disk Drive; HDD)이다. 기억부(24)는, 화상 합성부(22)에서 생성된 합성 화상(P2), 및 검사 카메라(33)로 촬상되는 검사 화상을 기억한다. 기억부(24)는, 검사부(23)에서 검사 처리를 실행할 때에 이용하는 검사 정보를 기억한다. 검사 정보는, 예를 들면, 물품(W1)에 포함되는 결함 부분을 2치화하기 위한 추출 역치와, 물품(W1)이 양품인지 여부를 판정하기 위한 판정 역치를 포함한다.
표시 장치(7)는, 예를 들면, 액정 디스플레이이다. 본 실시 형태에서는, 표시 장치(7)는, 검사 시스템(100)의 화상 처리 장치(2)가 갖는 외부 인터페이스를 통하여, 화상 처리 장치(2)에 접속되어 있다. 표시 장치(7)는, 합성 화상(P2) 또는 검사 화상을 표시하도록 구성되어 있다. 또한, 표시 장치(7)는, 터치 패널 디스플레이여도 된다.
(3) 동작
이하, 본 실시 형태의 검사 시스템(100)의 동작의 일례에 대하여 도 6을 참조하여 설명한다.
우선, 제어부(11)는, 컨트롤러(31)를 제어함으로써, 제2 액추에이터(5B) 및 제3 액추에이터(5C)를 동작시키고, 검사 카메라(33) 및 검사 조명(35)을 각각 제1 상승 위치 및 제2 상승 위치까지 상승시킨다(단계 S1). 제1 상승 위치 및 제2 상승 위치는, 스테이지 카메라(32)로 촬상할 때에, 각각 검사 카메라(33) 및 검사 조명(35)이 스테이지(4)에 비치지 않는 높이의 위치이다.
다음으로, 제어부(11)는, 컨트롤러(31)를 제어함으로써, 제1 액추에이터(5A) 및 제4 액추에이터(5D)를 동작시켜, 스테이지(4) 및 케이스(64)를 각각 이동시킨다. 이에 의하여, 스테이지 카메라(32)의 렌즈(321)의 중심과, 스테이지(4)의 중심이 Z방향을 따라 늘어서도록, 스테이지 카메라(32) 및 스테이지(4)의 상대적인 위치가 조정된다(단계 S2). 또한, 처리 S1, S2의 순서는 역이어도 된다.
다음으로, 제어부(11)는, 스테이지 카메라(32)에 의한 스테이지(4)의 촬상을 개시한다. 제어부(11)는, 스테이지 조명(34)의 제1 광원(34A)만을 점등시킨다(단계 S3). 제어부(11)는, 스테이지 카메라(32)로 하여금 스테이지(4)를 촬상하게 하고(단계 S4), 촬상 후에 제1 광원(34A)을 소등하게 한다. 제어부(11)는, 스테이지 조명(34)의 제2 광원(34B)만을 점등시킨다(단계 S5). 제어부(11)는, 스테이지 카메라(32)로 하여금 스테이지(4)를 촬상하게 하고(단계 S6), 제2 광원(34B)을 소등하게 한다. 단계 S3~S6은, 제어 처리(ST1)에 상당한다. 또한, 제어 처리(ST1)에 있어서, 단계 S3, S4와, 단계 S5, S6의 순서는 역이어도 된다.
다음으로, 출력부(12)는, 스테이지 카메라(32)에 의하여 촬상된 복수의 촬상 화상(P1)(여기에서는, 제1 촬상 화상(P11) 및 제2 촬상 화상(P12))을, 화상 처리 장치(2)에 출력한다(단계 S7). 단계 S7은, 출력 처리(ST2)에 상당한다.
화상 처리 장치(2)에 있어서, 화상 취득부(21)는, 출력부(12)로부터 출력된 복수의 촬상 화상(P1)을 취득한다(단계 S8). 단계 S8은, 취득 처리(ST3)에 상당한다. 그리고, 화상 합성부(22)는, 화상 취득부(21)에서 취득한 복수의 촬상 화상(P1)을 이용하여, 헐레이션을 제거한 합성 화상(P2)을 생성한다(단계 S9). 단계 S9는, 화상 합성 처리(ST4)에 상당한다.
제어부(11)는, 컨트롤러(31)를 제어함으로써, 제2 액추에이터(5B) 및 제3 액추에이터(5C)를 동작시키고, 검사 카메라(33) 및 검사 조명(35)을 각각 제1 하강 위치 및 제2 하강 위치까지 하강시킨다(단계 S10). 제1 하강 위치는, 검사 카메라(33)가 검사 대상의 물품(W1)을 촬상 가능한 높이의 위치이다. 제2 하강 위치는, 검사 조명(35)이 검사 대상의 물품(W1)에 대하여 광을 조사 가능한 높이의 위치이다.
다음으로, 화상 처리 장치(2)에 있어서, 검사부(23)는, 물품(W1)의 검사를 개시한다. 검사부(23)는, 제어부(11)에 제어 지령을 내려 컨트롤러(31)를 제어함으로써, 제1 액추에이터(5A) 및 제4 액추에이터(5D)를 동작시켜, 스테이지(4) 및 케이스(64)를 각각 이동시킨다. 이에 의하여, 검사 카메라(33)의 중심과, 검사 대상의 물품(W1)의 중심이 Z방향을 따라 늘어서도록, 검사 카메라(33) 및 스테이지(4)의 상대적인 위치가 조정된다(단계 S11). 단계 S11에 있어서는, 검사부(23)는, 합성 화상(P2)에 의거하여 검사 대상의 물품(W1)의 위치를 인식한다.
다음으로, 검사부(23)는, 제어부(11)에 제어 지령을 내림으로써, 검사 조명(35)을 점등시킨다(단계 S12). 그리고, 검사부(23)는, 제어부(11)에 제어 지령을 내림으로써, 검사 카메라(33)로 하여금 검사 대상의 물품(W1)을 촬상하게 하고(단계 S13), 검사 조명(35)을 소등시킨다. 검사부(23)는, 스테이지(4) 상에 다른 미검사의 물품(W1)이 있는 경우에는(단계 S14에 있어서 No), 단계 S11~S13을 반복한다. 그리고, 검사부(23)는, 스테이지(4) 상에 다른 미검사의 물품(W1)이 없는 경우에는(단계 S14에 있어서 Yes), 동작을 종료한다. 단계 S11~S14는, 검사 처리(ST5)에 상당한다.
또한, 도 6에서는 도시를 생략하고 있지만, 검사부(23)는, 단계 S11~S14에 의하여 얻어진 모든 물품(W1)의 검사 화상에 대하여 화상 처리를 실행함으로써, 모든 물품(W1)에 대하여 결함이 있는지 여부, 및 양품인지 여부를 검사한다.
(4) 이점
이하, 촬상 시스템(10)의 이점에 대하여, 비교예의 촬상 시스템과의 비교를 섞어 도 7 및 도 8을 이용하여 설명한다. 도 7은, 비교예의 촬상 시스템에 있어서의 스테이지 카메라(32)와 광원(400)의 위치 관계를 나타내는 개요도이다. 도 8은, 상기와 같은 비교예의 촬상 시스템에 있어서의 문제점의 설명도이다. 비교예의 촬상 시스템은, 스테이지 조명이 1개의 광원(400)(도 7을 참조)만을 갖는 점, 및 스테이지 카메라(32)가 스테이지(4)(피사체(A1))를 1회만 촬상하는 점에서, 본 실시 형태의 촬상 시스템(10)과 상이하다. 도 7에는 1개의 광원(400)을 규정 영역(D1) 내에 배치한 경우와 규정 영역(D1) 외에 배치한 경우를, 양쪽 모두 나타내고 있다.
비교예의 촬상 시스템에 있어서, 예를 들면 도 7에 나타내는 바와 같이, 광원(400)을 규정 영역(D1) 내에 배치했다고 가정한다. 이 경우, 광원(400)으로부터의 광이 스테이지(4) 상의 물품(W1)에서 반사되고, 반사광이 직접 스테이지 카메라(32)에 입사함으로써, 촬상 화상(P1)에 있어서 헐레이션이 발생한다. 한편, 광원(400)을 규정 영역(D1)의 외측에 배치한 경우, 광원(400)으로부터의 광이 스테이지(4) 상의 물품(W1)에서 반사되어도, 반사광이 직접 스테이지 카메라(32)에 입사하는 일이 없기 때문에, 촬상 화상(P1)에 있어서 헐레이션이 발생하지 않는다.
그러나, 비교예의 촬상 시스템에서는, 촬상 화상(P1)에 있어서 헐레이션이 발생하지 않도록 하기 위해서는, 규정 영역(D1)의 외측에 광원(400)을 배치해야 한다. 이 때문에, 비교예의 촬상 시스템에서는, 스테이지 카메라(32)의 촬상 범위(C1)를 충분한 광량으로 촬상하는 것이 어렵다고 하는 문제가 있다. 비교예의 촬상 시스템에서는, 규정 영역(D1)의 외측에 광원(400)을 배치해야 하는 점에서, 광원(400)(즉, 스테이지 조명)의 레이아웃의 자유도가 손상되기 쉽다고 하는 문제가 있다.
또한, 비교예의 촬상 시스템에서는, 규정 영역(D1)의 외측에 광원(400)을 배치했다고 해도, 도 8에 나타내는 바와 같이, 물품(W1)의 표면의 형상에 따라서는, 광원(400)으로부터의 광이 물품(W1)의 곡면에서 반사됨으로써, 반사광이 직접 스테이지 카메라(32)에 입사할 가능성이 있다. 이 경우, 촬상 화상(P1)에 있어서 헐레이션이 발생하게 된다.
이에 대하여, 본 실시 형태의 촬상 시스템(10)에서는, 촬상 화상(P1)에 있어서 헐레이션이 발생하는 것을 허용하면서, 스테이지(4)(피사체(A1))에 대한 광의 조사 방향이 서로 상이한 상태로 복수의 촬상 화상(P1)을 촬상하고 있다. 이 때문에, 본 실시 형태에서는, 복수의 촬상 화상(P1) 각각에 헐레이션이 발생하고 있었다고 하더라도, 헐레이션이 발생하고 있는 개소는, 촬상 화상(P1)마다 상이하다. 따라서, 헐레이션이 발생할 수 있는 개소가 서로 상이한 복수의 촬상 화상(P1)을 이용하여, 화상 처리 장치(2)에서 헐레이션이 발생하지 않은 개소를 채용한 합성 화상(P2)을 생성시키는 것이 가능하다.
그 결과, 합성 화상(P2)에 있어서는, 헐레이션을 제거하고 있지 않은 경우와 비교하여, 하나 이상의 물품(W1)의 윤곽이 선명해진다. 따라서, 본 실시 형태에서는, 화상(합성 화상(P2))에 있어서의 물품(W1)의 위치를 인식하기 쉬워진다고 하는 이점이 있다.
(5) 변형예
상술한 실시 형태는, 본 개시의 다양한 실시 형태 중 하나에 지나지 않는다. 상술한 실시 형태는, 본 개시의 목적을 달성할 수 있으면, 설계 등에 따라 다양한 변경이 가능하다. 또, 화상 처리 장치(2)와 동일한 기능은, 정보 처리 방법, (컴퓨터)프로그램, 또는 프로그램을 기록한 비일시적 기록 매체 등으로 구현화되어도 된다. 또한, 촬상 시스템(10)과 동일한 기능은, 촬상 제어 방법, (컴퓨터)프로그램, 또는 프로그램을 기록한 비일시적 기록 매체 등으로 구현화되어도 된다.
본 개시의 일 양태에 따른 정보 처리 방법은, 화상 취득 처리(ST3)와, 화상 합성 처리(ST4)를 갖는다. 화상 취득 처리(ST3)는, 피사체(A1)를 촬상하는 촬상 장치(32)에 의하여 촬상된, 피사체(A1)에 대한 광의 조사 방향이 서로 상이한 복수의 촬상 화상(P1)을 취득하는 처리이다. 화상 합성 처리(ST4)는, 화상 취득 처리(ST3)에 의하여 취득한 복수의 촬상 화상(P1)을 이용하여 헐레이션을 저감시킨 합성 화상(P2)을 생성하는 처리이다. 또, 본 개시의 일 양태에 따른 프로그램은, 하나 이상의 프로세서로 하여금, 상기의 정보 처리 방법을 실행하게 한다.
본 개시의 일 양태에 따른 촬상 제어 방법은, 제어 처리(ST1)와, 출력 처리(ST2)를 갖는다. 제어 처리(ST1)는, 서로 상이한 조사 방향으로부터 피사체(A1)에 광을 조사하도록 조명 장치(34)를 제어하고, 또한, 서로 상이한 조사 방향마다 촬상 장치(32)로 하여금 피사체(A1)를 촬상하게 하는 처리이다. 출력 처리(ST2)는, 촬상 장치(32)에 의하여 촬상된 복수의 촬상 화상(P1)을, 복수의 촬상 화상(P1)을 이용하여 헐레이션을 저감시킨 합성 화상(P2)을 생성하는 화상 합성 기능을 갖는 화상 처리 장치(2)에 출력하는 처리이다. 본 개시의 일 양태에 따른 프로그램은, 하나 이상의 프로세서로 하여금, 상기의 촬상 제어 방법을 실행하게 한다.
이하, 상술한 실시 형태의 변형예를 열거한다. 이하에 설명하는 변형예는, 적절히 조합하여 적용 가능하다.
본 개시에 있어서의 검사 시스템(100)에서는, 예를 들면, 제어 장치(1) 및 화상 처리 장치(2) 등에, 컴퓨터 시스템을 포함하고 있다. 컴퓨터 시스템은, 하드웨어로서의 프로세서 및 메모리를 주 구성으로 한다. 컴퓨터 시스템의 메모리에 기록된 프로그램을 프로세서가 실행함으로써, 본 개시에 있어서의 검사 시스템(100)으로서의 기능이 실현된다. 프로그램은, 컴퓨터 시스템의 메모리에 미리 기록되어도 되고, 전기 통신 회선을 통하여 제공되어도 되며, 컴퓨터 시스템으로 판독 가능한 메모리 카드, 광학 디스크, 하드 디스크 드라이브 등의 비일시적 기록 매체에 기록되어 제공되어도 된다. 컴퓨터 시스템의 프로세서는, 반도체 집적 회로(IC(Integrated Circuit)) 또는 대규모 집적 회로(LSI(Large Scale Integration))를 포함하는 1 또는 복수의 전자 회로로 구성된다. 여기서 말하는 IC 또는 LSI 등의 집적 회로는, 집적의 정도에 따라 부르는 법이 상이하고, 시스템 LSI, VLSI(Very Large Scale Integration), 또는 ULSI(Ultra Large Scale Integration)로 불리는 집적 회로를 포함한다. 또한, LSI의 제조 후에 프로그램되는, FPGA(Field-Programmable Gate Array), 또는 LSI 내부의 접합 관계의 재구성 혹은 LSI 내부의 회로 구획의 재구성이 가능한 논리 디바이스에 대해서도, 프로세서로서 채용할 수 있다. 복수의 전자 회로는, 1개의 칩에 집약되어 있어도 되고, 복수의 칩에 분산되어 설치되어 있어도 된다. 복수의 칩은, 1개의 장치에 집약되어 있어도 되고, 복수의 장치에 분산되어 설치되어 있어도 된다. 여기서 말하는 컴퓨터 시스템은, 하나 이상의 프로세서 및 하나 이상의 메모리를 갖는 마이크로 컨트롤러를 포함한다. 따라서, 마이크로 컨트롤러에 대해서도, 반도체 집적 회로 또는 대규모 집적 회로를 포함하는 1 또는 복수의 전자 회로로 구성된다.
또, 검사 시스템(100)에 있어서의 복수의 기능이, 1개의 하우징 내에 집약되어 있는 것은 검사 시스템(100)에 필수인 구성은 아니다. 검사 시스템(100)의 구성 요소는, 복수의 하우징에 분산되어 설치되어 있어도 된다. 또한, 검사 시스템(100)의 적어도 일부의 기능은, 예를 들면, 서버 장치 및 클라우드(클라우드 컴퓨팅) 등에 의하여 실현되어도 된다.
상술한 실시 형태에서는, 화상 합성부(22)는, 복수의 촬상 화상(P1)을 화소마다 비교함으로써 합성 화상(P2)을 생성하고 있지만, 이 양태에 한정되지 않는다. 예를 들면, 화상 합성부(22)는, 복수의 촬상 화상(P1)을 영역마다 비교함으로써 합성 화상(P2)을 생성해도 된다. 즉, 화상 처리 장치(2)가 갖는 화상 합성 기능은, 복수의 촬상 화상(P1)을 영역마다 비교하여, 원하는 영역을 합성한 합성 화상(P2)을 생성해도 된다.
일례로서, 도 5에 나타내는 예에서는, 화상 합성부(22)는, 제1 촬상 화상(P11)의 상측 반분의 영역과, 대응하는 제2 촬상 화상(P12)의 상측 반분의 영역을 비교하여, 휘도값이 작은 쪽의 영역(여기에서는, 제2 촬상 화상(P12)의 상측 반분의 영역)을 합성 화상(P2)의 영역으로서 채용한다. 도 5에 나타내는 예에서는, 화상 합성부(22)는, 제1 촬상 화상(P11)의 하측 반분의 영역과, 대응하는 제2 촬상 화상(P12)의 하측 반분의 영역을 비교하여, 휘도값이 작은 쪽의 영역(여기에서는, 제1 촬상 화상(P11)의 하측 반분의 영역)을 합성 화상(P2)의 영역으로서 채용한다. 이에 의하여, 합성 화상(P2)에 있어서는, 헐레이션이 제거된다.
상술한 실시 형태에서는, 화상 합성부(22)는, 제1 촬상 화상(P11)의 하측 반분의 영역과, 대응하는 제2 촬상 화상(P12)의 하측 반분의 영역을 비교한 것 중 휘도값이 역치보다 작은 쪽을 채용하고 있지만, 이 양태에 한정되지 않는다. 예를 들면, 화상 합성부(22)는, 비교한 복수의 대상 중 가장 휘도값이 큰 대상을 채용해도 된다. 물품(W1)의 크기, 형상, 색, 또는 배경(스테이지(4) 또는 트레이 등)의 색에 따라서는, 합성 화상(P2)의 콘트라스트가 부족하여, 물품(W1)의 위치를 인식하기 어려운 경우가 있을 수 있다. 이와 같은 경우에서도, 가장 휘도값이 큰 대상을 채용함으로써, 합성 화상(P2)에서 물품(W1)의 가장자리부에 헐레이션을 발생시킴으로써, 합성 화상(P2)의 콘트라스트를 크게 하여 물품(W1)의 위치를 인식하기 쉽게 할 수 있다. 또, 화상 합성부(22)는, 복수의 대상의 휘도값으로부터 대표값을 연산하고, 연산한 대표값을 채용해도 된다. 대표값은, 일례로서, 평균값, 중앙값, 최빈수 등을 포함할 수 있다.
화상 합성 기능에 있어서는, 제1 촬상 화상(P11)의 각 화소값과, 제2 촬상 화상(P12)의 각 화소값의 차분값(절댓값)을 이용하여 합성 화상(P2)을 생성하는 것도 가능하다. 이 양태에서는, 물품(W1)의 입체적인 특정 방향의 면을 용이하게 추출할 수 있다. 또, 조도차 스테레오법을 사용함으로써, 상기 면의 방향을 추정할 수도 있다.
상술한 실시 형태에서는, 화상 합성 기능은, 제1 촬상 화상(P11)의 각 화소값과, 제2 촬상 화상(P12)의 각 화소값에 처리를 가하지 않고, 그대로 화소마다 또는 영역마다 비교하고 있지만, 이 양태에 한정되지 않는다. 예를 들면, 합성 기능은, 복수의 촬상 화상(P1)을 비교하기 전에, 복수의 촬상 화상(P1) 각각을 보정하는 전처리를 실행해도 된다. 구체적으로는, 합성 기능은, 각 화소값의 랜덤 노이즈 등 제거를 목적으로 하는 전처리(메디안 필터), 또는 촬상 시의 핀트 어긋남의 보정을 목적으로 하는 전처리(첨예화 필터)를 각 화소에 대하여 실행한 후에, 화소마다 또는 영역마다 비교하는 양태여도 된다. 이 양태에서는, 비교 대상의 휘도값은, 전처리를 실행한 후의 휘도값이 된다. 예를 들면, 전처리로서는, 2치화, 팽창 알고리즘, 수축 알고리즘, 혹은 팽창 알고리즘과 수축 알고리즘을 조합한 결합 알고리즘, 또는 분리 알고리즘 등을 들 수 있다.
상술한 실시 형태에서는, 복수의 광원(341)은, 도 4에 나타내는 바와 같이, X방향에서 보았을 때 스테이지(4)의 중심을 통과하는 직선에 대하여 선대칭으로 배치되어 있지만, 비대칭으로 배치되어 있어도 된다. 또, 상술한 실시 형태에서는, 복수의 광원(341)은, 스테이지 카메라(촬상 장치)(32)를 사이에 둔 양측에 배치되어 있지만, 어느 한쪽 측에 배치되어 있어도 된다.
상술한 실시 형태에서는, 복수의 광원(341)은, Y방향으로 늘어서서 배치되어 있지만, 이 양태에 한정되지 않는다. 예를 들면, 복수의 광원(341)은, X방향으로 늘어서서 배치되어도 된다. 또, 예를 들면, 복수의 광원(341)은, 환상이며, 둘레 방향으로 간격을 두고 배치되어도 된다.
상술한 실시 형태에서는, 스테이지 조명(조명 장치)(34)은 2개의 광원(341)을 갖고 있지만, 더욱 많은 광원(341)을 갖고 있어도 된다. 이 경우, 제어부(11)는, 복수의 광원(341)을 순차적으로 단독으로 점등시킨 상태로, 스테이지 카메라(촬상 장치)(32)로 하여금 스테이지(4)(피사체(A1))를 촬상하게 하면 된다. 즉, 제어부(11)는, 복수의 광원(341)의 수와 같은 횟수만큼 스테이지 카메라(32)로 하여금 스테이지(4)를 촬상하게 하면 된다. 이 경우, 출력부(12)는, 복수의 광원(341)의 수와 같은 장수의 촬상 화상(P1)을 화상 처리 장치(2)에 출력한다.
또, 스테이지 조명(조명 장치)(34)은, 스테이지(4)(피사체(A1))에 대한 광의 조사 방향을 변화 가능한 양태이면, 1개의 광원(341)만을 갖고 있어도 된다. 이 경우, 제어부(11)는, 예를 들면 광원(341)에 장착된 액추에이터를 제어함으로써, 광원(341)을 제2 장착판(66)의 길이 방향(Y방향)으로 슬라이드 이동시키거나, 회전시킴으로써, 광원(341)으로부터의 광의 조사 방향을 변화시키는 것이 가능하다. 또, 이 경우, 제어부(11)는, 광원(341)으로부터의 광의 조사 방향을 순차적으로 변화시키고, 스테이지 카메라(촬상 장치)(32)로 하여금 스테이지(4)(피사체(A1))를 촬상하게 하면 된다. 즉, 제어부(11)는, 광원(341)으로부터의 광의 조사 방향의 변화 횟수와 같은 횟수만큼 스테이지 카메라(32)로 하여금 스테이지(4)를 촬상하게 하면 된다. 이 경우, 출력부(12)는, 광원(341)으로부터의 광의 조사 방향의 변화 횟수와 같은 장수의 촬상 화상(P1)을 화상 처리 장치(2)에 출력한다.
상술한 실시 형태에 있어서, 화상 처리 장치(2)는, 검사 시스템(100)에 포함되어 있지만, 화상 처리 장치(2) 단체여도 정보 처리 장치(2)로서 시장에 유통할 수 있다. 바꾸어 말하면, 정보 처리 장치(2)는, 검사 시스템(100)에 화상 처리 장치(2)로서 이용된다.
상술한 실시 형태에 있어서, 촬상 시스템(10)과 화상 처리 장치(2)는 같은 하우징(6)에 설치됨으로써 같은 장소에 배치되지만, 서로 상이한 장소에 배치되어도 된다. 이 경우, 촬상 시스템(10)의 출력부(12)는, 유선 통신 또는 무선 통신에 의하여 화상 처리 장치(2)의 화상 취득부(21)와 통신 가능하게 구성되어 있으면 된다.
상기 실시 형태 및 변형예에서는, 화상 처리 장치(2)는 복수의 촬상 화상(P1)을 이용하여 헐레이션을 제거한 합성 화상을 생성하는 화상 합성 기능을 갖지만, 헐레이션을 100% 제거하는 것에 한정되지 않는다. 즉, 개개의 촬상 화상(P1)에 있어서의 헐레이션보다 헐레이션의 정도를 저감시키는 양태여도 되고, 이 경우, 화상 처리 장치(2)는 복수의 촬상 화상(P1)을 이용하여 헐레이션을 저감시킨 합성 화상을 생성하는 화상 합성 기능을 갖는다고 할 수 있다.
또, 제어부(11)는, 서로 상이한 조사 방향으로부터 피사체(A1)에 광을 조사하도록 조명 장치를 제어하고, 또한, 조사 방향마다 촬상 장치로 하여금 피사체(A1)를 촬상하게 하지만, 예를 들면, 서로 상이한 복수의 조사 방향 중의 어떤 특정 조사 방향(1개여도 되고, 복수여도 된다)에 대하여, 피사체(A1)를 복수 회 촬상하게 하는 것으로 해도 된다. 화상 처리 장치(2)는, 각 조사 방향에 있어서 얻어진 1장 또는 복수 장의 촬상 화상(P1) 중 일부 또는 전부를 이용하여, 합성 화상을 생성해도 된다. 일례로서, 조사 방향마다 광의 조사 시간을 변경시켜 촬상한 복수의 화상을 이용하여, 하이 다이나믹 레인지(HDR: High Dynamic Range) 합성을 행하는 등 복수 장의 화상을 합성함으로써, 조사 방향마다의 헐레이션을 저감시키면서, 복수 조사 방향의 합성으로 추가로 헐레이션을 저감시킬 수 있다. 이 경우, 전처리의 하나로서, 같은 조사 방향의 복수 장의 화상으로부터 보정을 가하게 된다.
(정리)
이상 서술한 바와 같이, 제1 양태에 따른 촬상 시스템(10)은, 촬상 장치(32)와, 조명 장치(34)와, 제어부(11)와, 출력부(12)를 구비한다. 촬상 장치(32)는, 피사체(A1)를 촬상한다. 조명 장치(34)는, 피사체(A1)에 광을 조사한다. 제어부(11)는, 서로 상이한 조사 방향으로부터 피사체(A1)에 광을 조사하도록 조명 장치(34)를 제어하고, 또한, 조사 방향마다 촬상 장치(32)로 하여금 피사체(A1)를 촬상하게 한다. 출력부(12)는, 촬상 장치(32)에 의하여 촬상된 복수의 촬상 화상(P1)을 화상 처리 장치(2)에 출력한다. 화상 처리 장치(2)는, 복수의 촬상 화상(P1)을 이용하여 헐레이션을 저감시킨 합성 화상(P2)을 생성하는 화상 합성 기능을 갖는다.
이 양태에 의하면, 화상(합성 화상(P2))에 있어서의 물품(W1)의 위치를 인식하기 쉬워진다고 하는 이점이 있다.
제2 양태에 따른 촬상 시스템(10)에서는, 제1 양태에 있어서, 화상 합성 기능은, 복수의 촬상 화상(P1)을 화소마다 비교하여, 원하는 휘도값을 갖는 화소를 합성한 합성 화상(P2)을 생성하는 처리를 실행한다.
이 양태에 의하면, 화상(합성 화상(P2))으로부터 헐레이션을 저감시키기 쉽다고 하는 이점이 있다.
제3 양태에 따른 촬상 시스템(10)에서는, 제1 양태에 있어서, 화상 합성 기능은, 복수의 촬상 화상(P1)을 영역마다 비교하여, 원하는 영역을 합성한 합성 화상(P2)을 생성하는 처리를 실행한다.
이 양태에 의하면, 화상(합성 화상(P2))으로부터 헐레이션을 저감시키기 쉽다고 하는 이점이 있다.
제4 양태에 따른 촬상 시스템(10)에서는, 제2 또는 제3 양태에 있어서, 합성 기능은, 복수의 촬상 화상(P1)을 비교하기 전에, 복수의 촬상 화상(P1) 각각을 보정하는 전처리를 실행한다.
이 양태에 의하면, 화상(합성 화상(P2))으로부터 헐레이션을 저감시키기 쉽다고 하는 이점이 있다.
제5 양태에 따른 촬상 시스템(10)에서는, 제2~4 중 어느 하나의 양태에 있어서, 화상 합성 기능에서는, 비교한 복수의 대상 중 휘도값이 역치보다 작은 대상을 채용한다.
이 양태에 의하면, 화상(합성 화상(P2))으로부터 헐레이션을 저감시키기 쉽다고 하는 이점이 있다.
제6 양태에 따른 촬상 시스템(10)에서는, 제1~제5 중 어느 하나의 양태에 있어서, 조명 장치(34)는, 개별적으로 구동 가능한 복수의 광원(341)을 갖는다.
이 양태에 의하면, 복수의 광원(341)을 개별적으로 구동하는 것만으로, 피사체(A1)에 대한 광의 조사 방향을 변화시키기 쉽다고 하는 이점이 있다.
제7 양태에 따른 촬상 시스템(10)에서는, 제6 양태에 있어서, 복수의 광원(341)은, 피사체(A1)에서의 반사광이 촬상 장치(32)에 입사하는 규정 영역(D1)에 배치된다. 복수의 광원(341) 간의 거리는, 촬상 장치(32)가 갖는 렌즈(321)의 직경 치수 이상이다.
이 양태에 의하면, 복수의 촬상 화상(P1) 각각에서 같은 영역에 헐레이션이 발생하는 것을 회피하기 쉽고, 결과적으로 합성 화상(P2)에서 헐레이션을 저감시키기 쉽다고 하는 이점이 있다.
제8 양태에 따른 촬상 시스템(10)에서는, 제1~제7 중 어느 하나의 양태에 있어서, 조명 장치(34)가 갖는 광원(341)의 직경 치수는, 촬상 장치(32)가 갖는 렌즈(321)의 직경 치수 이하이다.
이 양태에 의하면, 광원(341)이 점광원으로서 기능하기 쉽고, 선광원 또는 면광원으로서 기능하는 경우와 비교하여, 촬상 장치(32)로 촬상했을 때에 촬상 화상(P1)에 헐레이션이 발생하는 범위가 좁아지기 쉽다고 하는 이점이 있다.
제9 양태에 따른 촬상 시스템(10)에서는, 제1~제8 중 어느 하나의 양태에 있어서, 하나 이상의 물품(W1)이 재치되는 스테이지(4)를 피사체(A1)로 하여 촬상한다.
이 양태에 의하면, 스테이지(4)를 포함하는 화상(합성 화상(P2))으로부터 헐레이션을 저감시키기 쉽다고 하는 이점이 있다.
제10 양태에 따른 검사 시스템(100)은, 제1~제9 중 어느 하나의 양태의 촬상 시스템(10)과, 화상 처리 장치(2)를 구비한다. 화상 처리 장치(2)는, 합성 화상(P2)에 포함되는 하나 이상의 물품(W1)을 검사하는 검사 처리(ST5)를 실행한다.
이 양태에 의하면, 헐레이션을 저감시킨 화상(합성 화상(P2))을 이용함으로써, 검사 처리(ST5)에 있어서 하나 이상의 물품(W1)을 인식하기 쉽다고 하는 이점이 있다.
제11 양태에 따른 정보 처리 장치(2)는, 제10 양태의 검사 시스템(100)에 화상 처리 장치(2)로서 이용된다.
이 양태에 의하면, 화상(합성 화상(P2))에 있어서의 물품(W1)의 위치를 인식하기 쉬워진다고 하는 이점이 있다.
제12 양태에 따른 정보 처리 방법은, 화상 취득 처리(ST3)와, 화상 합성 처리(ST4)를 갖는다. 화상 취득 처리(ST3)는, 피사체(A1)를 촬상하는 촬상 장치(32)에 의하여 촬상된, 피사체(A1)에 대한 광의 조사 방향이 서로 상이한 복수의 촬상 화상(P1)을 취득하는 처리이다. 화상 합성 처리(ST4)는, 화상 취득 처리(ST3)에 의하여 취득한 복수의 촬상 화상(P1)을 이용하여 헐레이션을 저감시킨 합성 화상(P2)을 생성하는 처리이다.
이 양태에 의하면, 화상(합성 화상(P2))에 있어서의 물품(W1)의 위치를 인식하기 쉬워진다고 하는 이점이 있다.
제13 양태에 따른 프로그램은, 하나 이상의 프로세서로 하여금, 제12 양태의 정보 처리 방법을 실행하게 한다.
이 양태에 의하면, 화상(합성 화상(P2))에 있어서의 물품(W1)의 위치를 인식하기 쉬워진다고 하는 이점이 있다.
제14 양태에 따른 촬상 제어 방법은, 제어 처리(ST1)와, 출력 처리(ST2)를 갖는다. 제어 처리(ST1)는, 서로 상이한 조사 방향으로부터 피사체(A1)에 광을 조사하도록 조명 장치(34)를 제어하고, 또한, 조사 방향마다 촬상 장치(32)로 하여금 피사체(A1)를 촬상하게 하는 처리이다. 출력 처리(ST2)는, 촬상 장치(32)에 의하여 촬상된 복수의 촬상 화상(P1)을, 복수의 촬상 화상(P1)을 이용하여 헐레이션을 저감시킨 합성 화상(P2)을 생성하는 화상 합성 기능을 갖는 화상 처리 장치(2)에 출력하는 처리이다.
이 양태에 의하면, 화상(합성 화상(P2))에 있어서의 물품(W1)의 위치를 인식하기 쉬워진다고 하는 이점이 있다.
제15 양태에 따른 프로그램은, 하나 이상의 프로세서로 하여금, 제14 양태의 촬상 제어 방법을 실행하게 한다.
이 양태에 의하면, 화상(합성 화상(P2))에 있어서의 물품(W1)의 위치를 인식하기 쉬워진다고 하는 이점이 있다.
제2~제9 양태에 따른 구성에 대해서는, 촬상 시스템(10)에 필수인 구성은 아니고, 적절히 생략 가능하다.
1 제어 장치
2 화상 처리 장치(정보 처리 장치)
4 스테이지
5A 제1 액추에이터
5B 제2 액추에이터
5C 제3 액추에이터
5D 제4 액추에이터
6 하우징
7 표시 장치
10 촬상 시스템
100 검사 시스템
11 제어부
12 출력부
21 화상 취득부
22 화상 합성부
23 검사부
24 기억부
31 컨트롤러
32 스테이지 카메라(촬상 장치)
321 렌즈
33 검사 카메라
34 스테이지 조명(조명 장치)
341 광원
34A 제1 광원
34B 제2 광원
35 검사 조명
400 광원
61 베이스
62 보디
63 아암
64 케이스
65 제1 장착판
66 제2 장착판
661 제1 구멍
662 제2 구멍
663 제3 구멍
P1 촬상 화상
A1 피사체
P2 합성 화상
D1 규정 영역
W1 물품
2 화상 처리 장치(정보 처리 장치)
4 스테이지
5A 제1 액추에이터
5B 제2 액추에이터
5C 제3 액추에이터
5D 제4 액추에이터
6 하우징
7 표시 장치
10 촬상 시스템
100 검사 시스템
11 제어부
12 출력부
21 화상 취득부
22 화상 합성부
23 검사부
24 기억부
31 컨트롤러
32 스테이지 카메라(촬상 장치)
321 렌즈
33 검사 카메라
34 스테이지 조명(조명 장치)
341 광원
34A 제1 광원
34B 제2 광원
35 검사 조명
400 광원
61 베이스
62 보디
63 아암
64 케이스
65 제1 장착판
66 제2 장착판
661 제1 구멍
662 제2 구멍
663 제3 구멍
P1 촬상 화상
A1 피사체
P2 합성 화상
D1 규정 영역
W1 물품
Claims (15)
- 피사체를 촬상하는 촬상 장치와,
상기 피사체에 광을 조사하는 조명 장치와,
서로 상이한 조사 방향으로부터 상기 피사체에 광을 조사하도록 상기 조명 장치를 제어하고, 또한, 조사 방향마다 상기 촬상 장치로 하여금 상기 피사체를 촬상하게 하는 제어부와,
상기 촬상 장치에 의하여 촬상된 복수의 촬상 화상을 화상 처리 장치에 출력하는 출력부를 구비하고,
상기 화상 처리 장치는, 상기 복수의 촬상 화상을 이용하여 헐레이션을 저감시킨 합성 화상을 생성하는 화상 합성 기능을 갖는,
촬상 시스템. - 청구항 1에 있어서,
상기 화상 합성 기능은, 상기 복수의 촬상 화상을 화소마다 비교하여, 원하는 휘도값을 갖는 화소를 합성한 합성 화상을 생성하는, 촬상 시스템. - 청구항 1에 있어서,
상기 화상 합성 기능은, 상기 복수의 촬상 화상을 영역마다 비교하여, 원하는 영역을 합성한 합성 화상을 생성하는, 촬상 시스템. - 청구항 2 또는 청구항 3에 있어서,
상기 화상 합성 기능은, 상기 복수의 촬상 화상을 비교하기 전에, 상기 복수의 촬상 화상 각각을 보정하는 전처리를 실행하는, 촬상 시스템. - 청구항 2 내지 청구항 4 중 어느 한 항에 있어서,
상기 화상 합성 기능에서는, 비교한 복수의 대상 중 휘도값이 역치보다 작은 대상을 채용하는, 촬상 시스템. - 청구항 1 내지 청구항 5 중 어느 한 항에 있어서,
상기 조명 장치는, 개별적으로 구동 가능한 복수의 광원을 갖는, 촬상 시스템. - 청구항 6에 있어서,
상기 복수의 광원은, 상기 피사체에서의 반사광이 상기 촬상 장치에 입사하는 규정 영역에 배치되고, 상기 복수의 광원 간의 거리는, 상기 촬상 장치가 갖는 렌즈의 직경 치수 이상인, 촬상 시스템. - 청구항 1 내지 청구항 7 중 어느 한 항에 있어서,
상기 조명 장치가 갖는 광원의 직경 치수는, 상기 촬상 장치가 갖는 렌즈의 직경 치수 이하인, 촬상 시스템. - 청구항 1 내지 청구항 8 중 어느 한 항에 있어서,
상기 촬상 장치는, 하나 이상의 물품이 재치(載置)되는 스테이지를 상기 피사체로 하여 촬상하는, 촬상 시스템. - 청구항 1 내지 청구항 9 중 어느 한 항에 기재된 촬상 시스템과,
상기 합성 화상에 포함되는 하나 이상의 물품을 검사하는 검사 처리를 실행하는 상기 화상 처리 장치를 구비하는,
검사 시스템. - 청구항 10에 기재된 검사 시스템에 상기 화상 처리 장치로서 이용되는,
정보 처리 장치. - 피사체를 촬상하는 촬상 장치에 의하여 촬상된, 상기 피사체에 대한 광의 조사 방향이 서로 상이한 복수의 촬상 화상을 취득하는 화상 취득 처리와,
상기 화상 취득 처리에 의하여 취득한 상기 복수의 촬상 화상을 이용하여 헐레이션을 저감시킨 합성 화상을 생성하는 화상 합성 처리를 갖는,
정보 처리 방법. - 하나 이상의 프로세서로 하여금,
청구항 12에 기재된 정보 처리 방법을 실행하게 하는,
프로그램. - 서로 상이한 조사 방향으로부터 상기 피사체에 광을 조사하도록 조명 장치를 제어하고, 또한, 조사 방향마다 촬상 장치로 하여금 상기 피사체를 촬상하게 하는 제어 처리와,
상기 촬상 장치에 의하여 촬상된 복수의 촬상 화상을, 상기 복수의 촬상 화상을 이용하여 헐레이션을 저감시킨 합성 화상을 생성하는 화상 합성 기능을 갖는 화상 처리 장치에 출력하는 출력 처리를 갖는,
촬상 제어 방법. - 하나 이상의 프로세서로 하여금,
청구항 14에 기재된 촬상 제어 방법을 실행하게 하는,
프로그램.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JPJP-P-2020-121664 | 2020-07-15 | ||
| JP2020121664 | 2020-07-15 | ||
| PCT/JP2021/023012 WO2022014247A1 (ja) | 2020-07-15 | 2021-06-17 | 撮像システム、検査システム、情報処理装置、情報処理方法及びそのプログラム、並びに撮像制御方法及びそのプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230037587A true KR20230037587A (ko) | 2023-03-16 |
Family
ID=79555474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237003880A KR20230037587A (ko) | 2020-07-15 | 2021-06-17 | 촬상 시스템, 검사 시스템, 정보 처리 장치, 정보 처리 방법 및 그 프로그램, 그리고 촬상 제어 방법 및 그 프로그램 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20230281772A1 (ko) |
| EP (1) | EP4184150A4 (ko) |
| JP (1) | JPWO2022014247A1 (ko) |
| KR (1) | KR20230037587A (ko) |
| CN (1) | CN115836213A (ko) |
| WO (1) | WO2022014247A1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000088764A (ja) | 1998-09-17 | 2000-03-31 | Nippon Steel Corp | 自動顕微鏡検査装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007170838A (ja) * | 2005-12-19 | 2007-07-05 | Ryusyo Industrial Co Ltd | 外観検査装置 |
| JP2012231422A (ja) * | 2011-04-27 | 2012-11-22 | Avermedia Information Inc | グレア除去装置及びグレア除去方法 |
| JP2015068668A (ja) * | 2013-09-27 | 2015-04-13 | 株式会社Ｓｃｒｅｅｎホールディングス | 外観検査装置 |
| JPWO2015102057A1 (ja) * | 2014-01-06 | 2017-03-23 | 富士通株式会社 | 画像処理方法、画像処理システム、およびプログラム |
| JP7152223B2 (ja) * | 2018-08-31 | 2022-10-12 | 株式会社キーエンス | 画像測定装置 |
| JP6568991B2 (ja) * | 2018-09-19 | 2019-08-28 | 株式会社キーエンス | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
| JP7268991B2 (ja) * | 2018-11-29 | 2023-05-08 | 株式会社キーエンス | 拡大観察装置 |
| JP7268992B2 (ja) * | 2018-11-29 | 2023-05-08 | 株式会社キーエンス | 拡大観察装置 |
-
2021
- 2021-06-17 KR KR1020237003880A patent/KR20230037587A/ko unknown
- 2021-06-17 EP EP21842050.3A patent/EP4184150A4/en active Pending
- 2021-06-17 JP JP2022536186A patent/JPWO2022014247A1/ja active Pending
- 2021-06-17 WO PCT/JP2021/023012 patent/WO2022014247A1/ja unknown
- 2021-06-17 US US18/004,326 patent/US20230281772A1/en active Pending
- 2021-06-17 CN CN202180049362.8A patent/CN115836213A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000088764A (ja) | 1998-09-17 | 2000-03-31 | Nippon Steel Corp | 自動顕微鏡検査装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022014247A1 (ja) | 2022-01-20 |
| US20230281772A1 (en) | 2023-09-07 |
| JPWO2022014247A1 (ko) | 2022-01-20 |
| EP4184150A4 (en) | 2024-01-17 |
| EP4184150A1 (en) | 2023-05-24 |
| CN115836213A (zh) | 2023-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6832650B2 (ja) | 検査装置および検査方法 | |
| JP6943412B2 (ja) | 基板検査装置 | |
| JP6233824B1 (ja) | 画像検査装置、生産システム、画像検査方法、プログラム及び記憶媒体 | |
| JP2014038045A (ja) | 検査装置、照明、検査方法、プログラム及び基板の製造方法 | |
| CN110793968A (zh) | 辨识孔壁瑕疵的检测设备 | |
| KR101363520B1 (ko) | 광조사 각도 조절가능한 조명부를 포함하는 비전검사장치 | |
| JP2015197361A (ja) | 表面検査装置および表面検査方法 | |
| JPWO2019064810A1 (ja) | 外観検査装置及び外観検査方法 | |
| JP4275149B2 (ja) | 境界の位置決定装置、境界の位置を決定する方法、当該装置としてコンピュータを機能させるためのプログラム、および記録媒体 | |
| KR100969349B1 (ko) | 에이오아이（ａｏｉ） 장치 | |
| KR20230037587A (ko) | 촬상 시스템, 검사 시스템, 정보 처리 장치, 정보 처리 방법 및 그 프로그램, 그리고 촬상 제어 방법 및 그 프로그램 | |
| JP5647084B2 (ja) | 面法線計測装置、面法線計測システム及び面法線計測プログラム | |
| JPWO2022014247A5 (ko) | ||
| JP2021032598A (ja) | ウエーハ外観検査装置および方法 | |
| JP3933060B2 (ja) | ボンディングワイヤ検査方法 | |
| KR101381836B1 (ko) | 영상 선명도가 개선된 비전검사장치 | |
| JP2002131238A (ja) | 外観検査装置 | |
| KR20090116553A (ko) | 에이오아이（ａｏｉ） 장치 | |
| JP2012225716A (ja) | 基板の外観検査装置および外観検査方法 | |
| CN103703357B (zh) | 外观检查装置及外观检查方法 | |
| WO2016111025A1 (ja) | 外観検査装置 | |
| JP2011149742A (ja) | 半田付け部の検査装置、検査方法、検査プログラムおよび検査システム | |
| JP2008139126A (ja) | 欠陥検出装置および欠陥検出方法 | |
| KR102557511B1 (ko) | 검사 장치 | |
| WO2023032095A1 (ja) | ワーク高さ計測装置、及びこれを用いた実装基板検査装置 |