KR20210122293A - 형광 현미경 검사 시스템, 장치 및 방법 - Google Patents
형광 현미경 검사 시스템, 장치 및 방법 Download PDFInfo
- Publication number
- KR20210122293A KR20210122293A KR1020217027949A KR20217027949A KR20210122293A KR 20210122293 A KR20210122293 A KR 20210122293A KR 1020217027949 A KR1020217027949 A KR 1020217027949A KR 20217027949 A KR20217027949 A KR 20217027949A KR 20210122293 A KR20210122293 A KR 20210122293A
- Authority
- KR
- South Korea
- Prior art keywords
- light
- specimen
- sample
- image data
- filter
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 80
- 238000000799 fluorescence microscopy Methods 0.000 title abstract description 11
- 238000005286 illumination Methods 0.000 claims description 74
- 230000007547 defect Effects 0.000 claims description 51
- 230000005284 excitation Effects 0.000 claims description 39
- 238000013499 data model Methods 0.000 claims description 8
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 5
- 238000012512 characterization method Methods 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 description 33
- 238000005516 engineering process Methods 0.000 description 32
- 230000007246 mechanism Effects 0.000 description 31
- 239000000463 material Substances 0.000 description 30
- 238000012545 processing Methods 0.000 description 28
- 238000004422 calculation algorithm Methods 0.000 description 22
- 238000007689 inspection Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000012549 training Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 12
- 238000013473 artificial intelligence Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 8
- 230000001427 coherent effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000000386 microscopy Methods 0.000 description 4
- 239000000049 pigment Substances 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000007847 structural defect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000011960 computer-aided design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 235000012431 wafers Nutrition 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000005670 electromagnetic radiation Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000005424 photoluminescence Methods 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- HBMJWWWQQXIZIP-UHFFFAOYSA-N silicon carbide Chemical compound [Si+]#[C-] HBMJWWWQQXIZIP-UHFFFAOYSA-N 0.000 description 2
- 229910010271 silicon carbide Inorganic materials 0.000 description 2
- 239000013077 target material Substances 0.000 description 2
- RWSOTUBLDIXVET-UHFFFAOYSA-N Dihydrogen sulfide Chemical compound S RWSOTUBLDIXVET-UHFFFAOYSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/0016—Technical microscopes, e.g. for inspection or measuring in industrial production processes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/12—Condensers affording bright-field illumination
- G02B21/125—Condensers affording bright-field illumination affording both dark- and bright-field illumination
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G06K9/00134—
-
- G06K9/00147—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H04N5/247—
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Microscoopes, Condenser (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
형광 현미경 검사 시스템은 표본이 형광을 발하게 하는 광과 표본이 형광을 발하지 않게 하는 광을 방출할 수 있는 광원들을 포함한다. 방출된 광은 하나 이상의 필터와 대물 채널들을 통해 표본으로 향한다. 조명들의 링은 암시야 채널을 통해 비스듬한 각도로 표본에 광을 투사한다. 필터들 중 하나는 표본과 연관된 미리 결정된 밴드갭 에너지와 일치하도록 광을 수정할 수 있고, 또 하나의 필터는 표본으로부터 그리고 카메라로 반사되는 광의 파장들을 필터링할 수 있다. 카메라는 수신된 광으로부터 이미지를 생성할 수 있고, 표본 분류 및 특징 분석이 이미지에 대해 수행될 수 있다.
Description
상호 참조
본 출원은 2019년 4월 30일에 출원된 미국 특허 출원 번호 16/399,058에 우선권을 주장하며, 2019년 2월 7일에 출원된 미국 가출원 번호 62/744,478의 혜택을 주장하고, 이들 각각의 전체 내용이 모든 목적을 위해 참조로 본 출원에 포함된다.
기술 분야
본 개시는 일반적으로 비간섭(incoherent) 조명 기술을 사용하는 형광 현미경 검사 시스템, 장치 및 방법에 관한 것이다. 보다 구체적으로, 본 발명의 실시예들은 표본 또는 표본에 포함된 물질의 특정 층을 여기시키도록 타겟된 가변 파장들의 비간섭 광을 제공할 수 있고 광 또는 다른 전자기 방사선의 흡수에 의해 야기된 결과적인 형광으로부터 표본의 특징들을 자동으로 검출할 수 있는 형광 현미경 검사 시스템에 관한 것이다.
표본에 비(non)-가시광을 투사하고 표본에 의해 방출되는 결과적인 형광/광 발광(photoluminescence)을 캡처하면, 표본에 있는 특징들의 양, 유형, 위치 및 형태에 대한 중요한 정보를 제공할 수 있다. 또한, 무엇보다도, 표본의 순도 또는 구조적 결함과 같은 표본의 소정 특징들은 단지 보이지 않는 조명을 사용하여 관찰될 수 있다. 당업자에 의해 이해되는 바와 같은 표본들은 검사 물품(예를 들어, 웨이퍼 또는 생물학적 슬라이드)을 지칭하고, 특징들은 이상 및/또는 결함을 포함하는 표본의 관찰 가능한 특성들을 지칭한다. 특징들에는 회로, 회로 기판 구성 요소, 생물학적 세포, 조직, 결함(예: 불순물, 구조적 결함, 불규칙성, 적층 결함, 오염물, 결정학적 결함, 스크래치, 먼지, 지문)이 포함될 수 있지만, 이에 국한되지 않는다.
본 명세서에서 사용되는 용어 형광(FL)은 일반적으로 반도체 물질로부터의 광 방출과 연관된 광 발광을 포함한다. 비-가시광은 파장이 10 ~ 400nm(즉, 가시광선과 X선 사이의 영역)인 전자기 스펙트럼 영역을 의미한다. 일부 실시예에서, 예를 들어, 200nm 내지 400nm, 300nm 내지 400nm, 및/또는 임의의 다른 적절한 파장 범위의 광 파장이 선택될 수 있다. 더욱이, 광 또는 기타 전자기 복사의 흡수로부터 표본을 여기시키고 표본에 의해 형광을 발생시키는데 필요한 광 파장은 lOnm 내지 400nm 사이의 파장 범위로 제한되지 않지만, 일부 실시예에서는, 본 명세서에서 설명된 바와 같이, 표본에 원하는 여기를 제공하기 위해 400nm 이상의 범위에서 선택될 수 있다. 간섭 광(coherent light)은 동일한 주파수를 갖는 광 에너지의 입자들을 말하며, 그의 파동들은 서로 위상이 같다. 대조적으로, 비간섭 광의 광 에너지 입자들은 동일한 주파수를 갖지 않으며, 그의 파동들은 서로 위상이 맞지 않다.
간섭 광원(예: 레이저)은 일반적으로 표본 형광에 사용되지만, 이러한 광원들은 큰 특징들을 감지하거나 특정 유형들의 표본(예: 패턴 웨이퍼)에 사용하는데에는 이상적이지 않다. 반면, 비간섭 광원은 (패턴 웨이퍼들의 특징들 및 큰 특징들을 포함하는) 더 넓은 범위의 특징들을 감지하는데 더 적합하다. 또한, 간섭 광원들은 시야의 작은 부분만을 조명하는 반면, 비간섭 광은 전체 시야를 조명하여 표본 특징 맵을 만드는데 더 적합하다. 표본 특징 맵들은 표본의 특징들을 분류하고 그들의 위치를 지정한다. 당업자에 의해 이해되는 바와 같은 용어 시야는 이미지 센서에 의해 한번에 캡처되는 검사 영역을 의미한다. 또한, 당업자는 시야 및 이미지라는 용어들이 본 명세서에서 상호 교환적으로 사용된다는 것을 쉽게 이해할 것이다.
따라서, 비간섭 조명 기술을 사용하는 새로운 형광 현미경 검사 메커니즘은 표본 또는 표본에 포함된 재료들의 특정 층들을 여기시켜 그것들의 형광을 일으키고 결과적인 형광으로부터 표본의 특징들을 자동으로 감지하는데 바람직하다. 또한, 형광을 일으키지 않는 조명 기술을 사용하여 표본의 특징들을 검사하는 동일한 메커니즘이 또한 바람직하다.
일례에서, 시스템은 프레임, 상기 프레임에 연결되고 적어도 표본이 형광을 일으키게 하는 제 1 광 파장과 표본이 형광을 일으키게 하지 않는 제 2 광 파장을 방출하도록 구성된 하나 이상의 비간섭 광원 - 방출된 광은 상기 표본으로 전달되도록(directed) 구성됨 -, 상기 프레임에 연결되고 상기 하나 이상의 광원으로부터 나오는 광을 필터링하도록 구성된 여기(excitation) 필터 - 상기 필터링된 광은 상기 표본과 연관된 소정의 밴드갭 에너지와 일치하도록 구성됨 -, 상기 프레임에 연결되고 명시야 채널과 암시야 채널을 포함하는 대물렌즈, 상기 프레임에 연결되고 상기 대물렌즈와 상기 하나 이상의 비간섭 광원 사이의 광로를 따라 위치하는 슬라이더 - 상기 슬라이더는 광을 비스듬한 각도로 상기 표본에 향하게 하도록 구성된 적어도 암시야 채널로 상기 광로를 따라 광을 전송하도록 구성된 적어도 하나의 구성을 포함함 -, 및 상기 프레임에 연결되고 상기 표본으로부터 반사된 광의 선택된 파장들을 수신 카메라로 필터링하도록 구성된 방출 필터를 포함한다.
일부 실시예들에서, 상기 슬라이더의 적어도 하나의 구성은 광을 상기 명시야 채널과 상기 암시야 채널 둘 다에 전송하도록 구성된다.
일부 실시예들에서, 상기 시스템은 상기 프레임에 연결된 노즈피스(nosepiece)를 더 포함하고, 상기 대물렌즈는 부착물을 통해 상기 노즈피스에 연결되고, 암시야 삽입물이 상기 부착물에 고정되고 상기 대물렌즈의 암시야 채널 위에(above) 위치하며, 상기 암시야 삽입물은 상기 표본에 비스듬한 각도로 광을 투사하도록 구성된 조명 링을 포함한다.
일부 실시예들에서, 상기 슬라이더는 상기 프레임에 연결된 그리고 상기 암시야 삽입물 아래에 위치된 필터 슬라이더이고, 상기 필터 슬라이더는 다수의 유형들의 여기 필터들, 및 상기 명시야 채널 또는 상기 암시야 채널 중 하나 이상에 대한 하나 이상의 추가 방출 필터를 제공하도록 구성된다.
일부 실시예들에서, 상기 시스템은 적어도 제 2 카메라를 더 포함하고, 상기 방출된 광은 각자의 카메라들로 향하는 가시광선 및 비(non)-가시광선을 포함한다.
일부 실시예들에서, 상기 시스템은 상기 프레임에 연결된 하나 이상의 추가 카메라를 포함하고, 각각의 추가 카메라는 각자의 고유한 광 파장들을 수신하도록 구성된다.
일부 실시예들에서, 상기 시스템은 하나 이상의 프로세서, 및 명령들을 저장하는 메모리를 더 포함하고, 상기 명령들은 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서가 상기 수신 카메라로부터 이미지 데이터를 수신하게 하고 - 상기 이미지 데이터는 상기 표본으로부터의 상기 전달된 광에 근거함 -, 상기 수신된 이미지 데이터에 근거하여 트레이닝된 분류기(trained classifier)로 상기 표본을 분류하게 하고, 상기 표본의 분류와 연관된 저장된 시스템 구성들을 검색하게 하고, 그리고 상기 시스템 구성들을 상기 광원들, 여기 필터, 방출 필터, 또는 수신 카메라 중 하나 이상에 적용하게 한다.
일부 실시예들에서, 상기 메모리는 상기 수신 카메라로부터 추가 이미지 데이터를 수신하고 - 상기 추가 이미지 데이터는 상기 시스템 구성들이 적용된 후에 수신됨 -, 상기 수신된 추가 이미지 데이터에 근거하여 이미지 데이터 모델로 표본 결함들을 식별하고, 그리고 상기 표본 결함들에 근거하여 특징 맵을 생성하기 위한 추가 명령들을 저장한다.
일부 실시예들에서, 상기 하나 이상의 비간섭 광원은 상기 프레임에 연결되고 상기 하나 이상의 비간섭 광원으로부터 상기 표본으로 반사 광을 방출하도록 구성된 제 1 광원, 및 상기 표본 아래의 상기 프레임에 부착되고 하나의 또는 제 1의 상기 비간섭 광원에 의해 방출되는 광과 동시에 상기 표본을 향하는 광을 방출하여 상기 표본 상의(on) 광의 강도를 증가시키도록 구성된 추가 광원을 더 포함한다.
일부 실시예들에서, 상기 시스템은 상기 프레임에 연결되고 방출된 광을 상기 표본 쪽으로 향하게 하도록 구성된 빔 스플리터(beam splitter)를 더 포함한다.
일례에서, 방법은 하나 이상의 비간섭 광원으로부터, 표본이 형광을 일으키게 하는 제 1 광 파장 및 상기 표본이 형광을 일으키게 하지 않는 제 2 광 파장을 방출하는 것 - 방출된 광은 상기 표본으로 전달됨 -, 여기 필터를 통해 상기 방출된 광을 필터링하는 것 - 상기 필터링된 광은 소정의 밴드갭 에너지와 일치함 -, 슬라이더를 통해 상기 방출된 광을 비스듬한 각도로 대물렌즈의 암시야 채널을 통해 상기 표본으로 전송하는 것, 및 상기 표본으로부터 반사된 광을 수신 카메라로 전달하는 것을 포함하고, 상기 반사된 광은 전달된 상기 필터링된 광에 반응하고 상기 표본으로부터 반사된 상기 전달된 광은 선택된 파장들을 포함한다.
일부 실시예들에서, 상기 방법은 상기 슬라이더를 통해 상기 필터링된 광을 상기 표본에 상기 대물렌즈의 명시야 채널로 전송하는 것을 더 포함한다.
일부 실시예들에서, 상기 방법은, 상기 대물렌즈의 암시야 채널을 통해 비스듬한 각도로 상기 표본에 광을 방출하는, 조명 링을 포함하는, 상기 대물렌즈의 암시야 채널 위에 위치한 암시야 삽입물을 포함한다.
일부 실시예들에서, 상기 방출된 광은 가시광선 및 비-가시광선을 포함하고, 상기 방법은 제 2 카메라에 의해, 상기 표본으로부터 반사된 상기 전달된 광의 적어도 일부를 수신하는 것을 더 포함한다.
일부 실시예들에서, 상기 방법은 하나 이상의 추가 카메라에 의해, 상기 표본으로부터 반사된 고유한 광 파장들을 수신하는 것을 포함한다.
일부 실시예들에서, 상기 방법은 상기 수신 카메라로부터 이미지 데이터를 수신하는 것 - 상기 이미지 데이터는 상기 표본으로부터 반사된 상기 전달된 광에 근거함 -, 상기 수신된 이미지 데이터에 근거하여 트레이닝된 분류기로 상기 표본을 분류하는 것, 상기 표본의 분류와 연관된 저장된 시스템 구성들을 검색하는 것, 그리고 상기 시스템 구성들을 상기 광원들, 여기 필터, 방출 필터, 또는 수신 카메라 중 하나 이상에 적용하는 것을 포함한다.
일부 실시예들에서, 상기 방법은 상기 수신 카메라로부터 추가 이미지 데이터를 수신하는 것 - 상기 추가 이미지 데이터는 상기 시스템 구성들이 적용된 후에 수신됨 -, 상기 수신된 추가 이미지 데이터에 근거하여 이미지 데이터 모델로 표본 결함들을 식별하는 것, 그리고 상기 표본 결함들에 근거하여 특징 맵을 생성하는 것을 포함한다.
일부 실시예들에서, 상기 방법은 상기 하나 이상의 비간섭 광원 중 제 1 광원으로부터 상기 표본 쪽으로 제 1 광을 방출하는 것, 및 상기 표본의 아래로부터, 상기 하나 이상의 비간섭 광원 중 추가 광원으로부터 상기 표본으로 향하는 제 2 광을 방출하여, 상기 표본의 광의 강도를 증가시키는 것을 더 포함하고, 추가 광은 상기 하나 이상의 비간섭 광원 중 상기 제 1 광원에 의해 방출된 광과 동시에 방출된다.
일부 실시예들에서, 상기 방법은 빔 스플리터를 사용하여 상기 방출된 광을 상기 표본 쪽으로 향하게 하는 것을 더 포함한다.
일례에서, 장치는 적어도 표본이 형광을 일으키게 하는 제 1 광 파장과 상기 표본이 형광을 일으키게 하지 않는 제 2 광 파장을 방출하도록 구성된 하나 이상의 비간섭 광원 - 방출된 광은 상기 표본으로 전달되도록 구성됨 -, 상기 하나 이상의 광원으로부터 나오는 광을 필터링하도록 구성된 여기 필터 - 상기 필터링된 광은 상기 표본과 연관된 소정의 밴드갭 에너지와 일치하도록 구성됨 -, 명시야 채널과 암시야 채널을 포함하는 대물렌즈, 부착물을 통해 상기 대물렌즈에 연결된 노즈피스, 상기 부착물에 고정되고 상기 대물렌즈의 암시야 채널 위에 위치한 암시야 삽입물 - 상기 암시야 삽입물은 상기 표본에 비스듬한 각도로 광을 투사하도록 구성된 조명 링을 포함함 -, 상기 표본으로부터 반사된 광의 선택된 파장들을 수신 카메라로 필터링하도록 구성된 방출 필터, 하나 이상의 프로세서, 및 명령들을 저장하는 메모리를 포함하고, 상기 명령들은 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서가 상기 수신 카메라로부터 이미지 데이터를 수신하게 하고 - 상기 이미지 데이터는 상기 표본으로부터 반사된 상기 전달된 광에 근거함 -, 상기 수신된 이미지 데이터에 근거하여 트레이닝된 분류기로 상기 표본을 분류하게 하고, 상기 표본의 분류와 연관된 저장된 시스템 구성들을 검색하게 하고, 상기 시스템 구성들을 상기 광원들, 여기 필터, 방출 필터, 또는 수신 카메라 중 하나 이상에 적용하게 하고, 상기 수신 카메라로부터 추가 이미지 데이터를 수신하게 하고 - 상기 추가 이미지 데이터는 상기 시스템 구성들이 적용된 후에 수신됨 -, 상기 수신된 추가 이미지 데이터에 근거하여 이미지 데이터 모델로 표본 결함들을 식별하게 하고, 그리고 상기 표본 결함들에 근거하여 특징 맵을 생성하게 한다.
본 개시의 상기 언급된 및 다른 이점들과 특징들이 획득될 수 있는 방식을 설명하기 위해, 위에서 간략하게 설명된 원리들에 대한 보다 구체적인 설명은 첨부된 도면들에 예시된 특정 실시예들을 참조하여 렌더링될 것이다. 이들 도면은 본 개시의 예시적인 실시예만을 도시하고 따라서 그 범위를 제한하는 것으로 간주되지 않는다는 것을 이해하면, 본 명세서의 원리들은 첨부된 도면의 사용을 통해 추가적으로 구체적이고 상세하게 개시되고 설명된다. 도면에서:
도 1a 및 도 1b는 개시된 기술의 일부 특징들에 따른, 형광 현미경 검사 시스템의 예들을 도시한 도면이다.
도 2는 2개의 이미징 디바이스들을 포함하는 형광 현미경 검사 시스템들의 예시적인 실시예를 도시한 도면이다.
도 3a 및 도 3b는 형광 현미경 검사 시스템의 광 경로에서 명시야/암시야 슬라이더의 예시적인 실시예들을 도시한 도면이다.
도 3c, 도 4a 및 도 4b는 명시야/암시야 슬라이더의 예시적인 실시예들을 도시한 도면이다.
도 5a는 암시야 삽입물을 포함하는 실린더 부착물을 갖는 형광 현미경 검사 시스템의 예시적인 실시예를 도시한 도면이다.
도 5b는 암시야 삽입물을 포함하는 실린더 부착물을 갖는 예시적인 노즈피스를 도시한 도면이다.
도 6a는 암시야 삽입물의 예시적인 실시예를 도시한 도면이다.
도 6b는 실린더 부착물의 예시적인 실시예를 도시한 도면이다.
도 6c는 필터 슬라이더의 예시적인 실시예를 도시한 도면이다.
도 7a는 개시된 기술의 일부 특징들에 따른, FM 검사 시스템을 사용하여 표본을 조명하기 위한 예시적인 방법을 개략적으로(at a high level) 도시한 도면이다.
도 7b는 개시된 기술의 일부 특징들에 따른, 표본 분류를 식별하고 FM 검사 시스템을 위한 광원들 및 필터들을 자동으로 조정하기 위한 예시적인 프로세스의 단계들을 도시한 도면이다.
도 7c는 개시된 기술의 일부 특징들에 따른, 표본 결함들을 자동으로 식별하고/식별하거나 분류하기 위한 예시적인 프로세스의 단계들을 도시한 도면이다.
도 8은 개시된 주제의 일부 실시예들에 따른, 컴퓨터 분석 시스템의 실시예의 일반적인 구성을 도시한 도면이다.
도 9는 이미지 처리 모듈이 표본 및 표본의 특징들을 식별할 수 있도록 트레이닝 데이터(training data)로 처음 트레이닝되는 이미지 처리 알고리즘을 도시한 도면이다.
도 10은 개시된 기술의 일부 특징들에 따른, 컨볼루션 신경망(convolutional neural networks; CNNs)을 사용하는 예시적인 분류 방법을 도시한 도면이다.
도 1a 및 도 1b는 개시된 기술의 일부 특징들에 따른, 형광 현미경 검사 시스템의 예들을 도시한 도면이다.
도 2는 2개의 이미징 디바이스들을 포함하는 형광 현미경 검사 시스템들의 예시적인 실시예를 도시한 도면이다.
도 3a 및 도 3b는 형광 현미경 검사 시스템의 광 경로에서 명시야/암시야 슬라이더의 예시적인 실시예들을 도시한 도면이다.
도 3c, 도 4a 및 도 4b는 명시야/암시야 슬라이더의 예시적인 실시예들을 도시한 도면이다.
도 5a는 암시야 삽입물을 포함하는 실린더 부착물을 갖는 형광 현미경 검사 시스템의 예시적인 실시예를 도시한 도면이다.
도 5b는 암시야 삽입물을 포함하는 실린더 부착물을 갖는 예시적인 노즈피스를 도시한 도면이다.
도 6a는 암시야 삽입물의 예시적인 실시예를 도시한 도면이다.
도 6b는 실린더 부착물의 예시적인 실시예를 도시한 도면이다.
도 6c는 필터 슬라이더의 예시적인 실시예를 도시한 도면이다.
도 7a는 개시된 기술의 일부 특징들에 따른, FM 검사 시스템을 사용하여 표본을 조명하기 위한 예시적인 방법을 개략적으로(at a high level) 도시한 도면이다.
도 7b는 개시된 기술의 일부 특징들에 따른, 표본 분류를 식별하고 FM 검사 시스템을 위한 광원들 및 필터들을 자동으로 조정하기 위한 예시적인 프로세스의 단계들을 도시한 도면이다.
도 7c는 개시된 기술의 일부 특징들에 따른, 표본 결함들을 자동으로 식별하고/식별하거나 분류하기 위한 예시적인 프로세스의 단계들을 도시한 도면이다.
도 8은 개시된 주제의 일부 실시예들에 따른, 컴퓨터 분석 시스템의 실시예의 일반적인 구성을 도시한 도면이다.
도 9는 이미지 처리 모듈이 표본 및 표본의 특징들을 식별할 수 있도록 트레이닝 데이터(training data)로 처음 트레이닝되는 이미지 처리 알고리즘을 도시한 도면이다.
도 10은 개시된 기술의 일부 특징들에 따른, 컨볼루션 신경망(convolutional neural networks; CNNs)을 사용하는 예시적인 분류 방법을 도시한 도면이다.
개시된 주제의 일부 실시예들에 따르면, 표본 또는 표본에 포함된 물질들의 특정 층들을 여기시켜 그것들이 형광을 일으키게 하고 결과적인 형광으로부터 표본의 특징들을 자동으로 감지하기 위해 비간섭 조명 기술을 사용하는 형광 현미경 검사를 위한 (시스템, 방법, 디바이스, 장치 등을 포함할 수 있는) 메커니즘들이 제공된다. 형광을 일으키지 않는 조명 기술을 사용하여 표본의 특징들을 검사하는 데에도 동일한 메커니즘이 사용될 수 있다. 또한, 일부 실시예들에서, 안료(pigment)가 표본에 추가될 수 있고, 비간섭성 조명 기술이 안료에 표적화되어(targeted) 그것이 형광을 유발하도록 사용될 수 있다. 검사(때때로 시험이라고도 함)는 형광 이미징을 위해 개시된 비간섭성 현미경 검사 메커니즘을 사용하는 표본의 스캐닝, 이미징, 분석, 측정 및 기타 적절한 검토를 의미한다.
도 1a 및 도 1b는 개시된 주제의 일부 실시예들에 따른, (여기에서 "FMIS(100)"으로 지칭되는) 표본에서 방출된 형광을 자동으로 분석하기 위해 비간섭성 조명을 사용하는 형광 현미경 검사 시스템들의 예를 도시한다. 개략적으로(at a high level), 일부 실시예들에 따른 FMIS(100)의 기본 구성요소들은 비간섭성 광을 제공하기 위한 하나 이상의 조명 소스(예: 광원(25, 25a 및 28)), 표본의 초점 평면(in-focus plane)을 찾기 위한 포커싱 메커니즘(32), 조명기(22), 이미징 디바이스(6), 하나 이상의 대물렌즈(35), 스테이지(30), 하나 이상의 필터 메커니즘(15), 명시야/암시야 슬라이더(40) 및 하드웨어, 소프트웨어, 및/또는 펌웨어를 포함하는 제어 모듈(110) 및 컴퓨터 분석 시스템(115)을 포함한다. 도시된 바와 같이, 제어 모듈(110) 및 컴퓨터 분석 시스템(115)은 통신 채널(120)을 통해 검사 시스템(100)에 연결된다(coupled). 통신 채널(120)은 버스 또는 무선 RF 채널과 같은 하나 이상의 신호 전송 수단을 포함할 수 있다는 것이 이해된다. 또한 FMIS(100)는 당업계에 잘 알려진 추가 현미경 구성요소들을 포함할 수 있음을 이해해야 한다. 예를 들어, FMIS(100)는 FMIS(100)의 다양한 구성요소들(예를 들어, 하나 이상의 조명 소스, 포커싱 메커니즘, 조명기, 이미징 디바이스, 하나 이상의 대물렌즈, 스테이지, 하나 이상의 필터 메커니즘, 명시야/암시야 슬라이더, 제어 모듈, 노즈피스, 빔 스플리터)가 (예를 들어, 휴대성, 안정성, 모듈식 지원 등을 위해) 연결될 수 있는 프레임(미도시됨)을 포함할 수 있다. 일부 실시예들에서, 컴퓨터 분석 시스템은 상기 프레임에 연결될 수 있고, 일부 실시예들에서는 연결되지 않을 수 있다. 여기에 나열되지 않았지만 당업계에 잘 알려진 다른 현미경 구성요소들이 또한 상기 프레임에 연결될 수 있다.
FMIS(100)는 임의의 적절한 유형의 현미경의 일부로서 구현될 수 있다. 예를 들어, 일부 실시예들에서, FMIS(100)는 반사광(도 1a에 도시됨) 및/또는 투과광(도 1b에 도시됨)을 사용하는 광학 현미경의 일부로서 구현될 수 있다. 보다 구체적으로, FMIS(100)는 오하이오주 Cuyahoga Falls의 Nanotronics Imaging, Inc.로부터 입수 가능한 nSpec® 광학 현미경의 일부로서 구현될 수 있다.
일부 실시예들에서, XY 변환 스테이지가 스테이지(30)에 사용될 수 있다. XY 변환 스테이지는 스테퍼(stepper) 모터, 서보(servo) 모터, 선형 모터, 피에조(piezo) 모터, 및/또는 임의의 다른 적절한 메커니즘에 의해 구동될 수 있다. XY 변환 스테이지는 일부 실시예들에서, 임의의 적절한 컨트롤러의 제어 하에 X축 및/또는 Y축 방향으로 표본을 이동시키도록 구성될 수 있다.
일부 실시예들에서, 스테이지(30)에 결합된 초점 메커니즘(32)은 대물렌즈(35)를 향하여 그리고 대물렌즈로부터 멀어지는 Z 방향으로 스테이지를 조정하는데 사용될 수 있다. 초점 메커니즘(32)은 예를 들어, 0 내지 5mm, 0 내지 10mm, 0 내지 30mm, 및/또는 임의의 다른 적절한 거리 범위(들)의 대략적인 초점 조정을 하기 위해 사용될 수 있다. 초점 메커니즘(32)은 또한 스테이지(30)를 상하로 이동시켜 서로 다른 두께의 표본들이 스테이지 상에 놓이도록 하는데 사용될 수 있다. 초점 메커니즘(32)은 또한 일부 실시예들에서, 예를 들어 0 내지 50㎛, 0 내지 100㎛, 0 내지 200㎛, 및/또는 임의의 다른 적절한 거리 범위(들)의 미세 초점을 제공하기 위해 사용될 수 있다. 일부 실시예들에서, 초점 메커니즘(32)은 또한 위치(location) 디바이스를 포함할 수 있다. 위치 디바이스는 임의의 적절한 시점에서 스테이지(30)의 위치를 결정하도록 구성될 수 있다. 일부 실시예들에서, 임의의 적절한 위치(예를 들어, 표본에 초점이 맞춰져 있을 때의 스테이지 위치)는 임의의 적절한 방식으로 저장될 수 있고, 나중에 FMIS(100)의 재설정(reset) 및/또는 전원(power) 사이클링 시에도 스테이지를 해당 위치로 되돌리는데 사용될 수 있다. 일부 실시예들에서, 위치 디바이스는 선형 인코더, 로터리(rotary) 인코더, 또는 대물렌즈에 대한 스테이지(30)의 절대 위치를 추적하기 위한 임의의 다른 적절한 메커니즘일 수 있다.
일부 실시예들에서, FMIS(100)는 하나 이상의 대물렌즈(35)를 포함할 수 있다. 대물렌즈들은 서로 다른 배율을 가질 수 있고/있거나, 형광뿐만 아니라 명시야/암시야, 차동 간섭 대비(differential interference contrast; DIC), 편광, 교차 편광, 및/또는 기타 적절한 형태의 조명으로 작동하도록 구성될 수 있다. 표본을 검사하는데 사용되는 대물렌즈 및/또는 조명 기술은 일부 실시예들에서 소프트웨어, 하드웨어 및/또는 펌웨어에 의해 제어될 수 있다.
일부 실시예들에서, 제 2 초점 메커니즘(도시되지 않음)은 대물렌즈(35)를 스테이지(30)를 향하여 그리고 스테이지(30)로부터 멀어지는 Z 방향으로 구동하는데 사용될 수 있다. 제 2 초점 메커니즘은 대물렌즈(35)의 대략적인 또는 미세한 초점 조정을 위해 설계될 수 있다. 제 2 초점 메커니즘은 스테퍼 모터, 서보 모터, 선형 액추에이터, 피에조 모터, 및/또는 기타 적절한 메커니즘일 수 있다. 예를 들어, 일부 실시예에서, 피에조 모터가 사용될 수 있고 0 내지 50 마이크로미터(㎛), 0 내지 100㎛, 또는 0 내지 200㎛, 및/또는 임의의 다른 적절한 거리 범위(들)의 대물렌즈를 구동할 수 있다.
일부 실시예들에서, 제어 모듈(예를 들어, 컨트롤러 및 컨트롤러 인터페이스)과 FMIS(100)의 구성요소들 사이의 통신은 하나 이상의 다른 디바이스와 통신하고/하거나 컴퓨터 네트워크와 데이터를 거래할 수 있는 능력을 제공하는 임의의 적절한 통신 기술을 사용할 수 있다. 예를 들어, 구현된 통신 기술에는 아날로그 기술(예: 릴레이 로직), 디지털 기술(예: RS232, 이더넷 또는 무선), 네트워크 기술(예: 로컬 영역 네트워크(local area network; LAN)), 광역 네트워크(WAN), 인터넷, 블루투스 기술, 근거리 통신 기술, 보안 RF 기술, 및/또는 기타 적절한 통신 기술이 포함될 수 있지만, 이에 국한되지 않는다.
일부 실시예들에서, 조작자(operator) 입력은 임의의 적절한 입력 디바이스(예를 들어, 키보드, 마우스, 조이스틱, 터치, 터치-스크린 등)를 사용하여 제어 모듈(110)에 전달될 수 있다.
일부 실시예들에서, 컴퓨터 분석 시스템(115)은 아날로그 기술(예를 들어, 릴레이 로직), 디지털 기술(예를 들어, RS232, 이더넷, 또는 무선), 네트워크 기술(예를 들어, 로컬 영역 네트워크(LAN), 광역 네트워크(WAN), 인터넷) 블루투스 기술, 근거리 통신 기술, 보안 RF 기술 및/또는 기타 적절한 통신 기술과 같은 임의의 적절한 통신 기술을 사용하여 임의의 적절한 방식으로 FMIS(100)에 결합되거나 포함될 수 있다. 컴퓨터 분석 시스템(115) 및 컴퓨터 분석 시스템(115) 내의 모듈은 FMIS(100)에 의해 출력되고/되거나 컴퓨터 판독 가능 매체에 의해 저장된 이미지를 사용하여 본 명세서에서 추가로 설명되는 다수의 기능들을 수행하도록 구성될 수 있다.
컴퓨터 분석 시스템(115)은 예를 들어, 컴퓨터, 마이크로프로세서, 마이크로컨트롤러, 주문형 집적 회로(ASIC), 현장 프로그래밍 가능 게이트 어레이(FPGA), 및 (하드웨어 프로세서라고 할 수 있는) 디지털 신호 프로세서(DSP)와 같은 (일부 실시예들에서 소프트웨어를 실행할 수 있는) 임의의 적절한 하드웨어, 인코더, 인코더를 읽기 위한 회로망, (하나 이상의 EPROMS, 하나 이상의 EEPROM, 동적 랜덤 액세스 메모리("DRAM"), 정적 랜덤 액세스 메모리("SRAM"), 및/또는 플래시 메모리를 포함하는) 메모리 디바이스, 및/또는 기타 적절한 하드웨어 요소들을 포함할 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 비일시적 매체일 수 있으며, 휘발성 및 비휘발성 매체와 이동식 및 비이동식 매체를 둘 다 포함한다. 예를 들어, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있지만, 이에 한정되는 것은 아니다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체들을 포함할 수 있다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, 디지털 비디오 디스크(DVD) 또는 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 다른 자기 스토리지 디바이스, 또는 원하는 정보를 저장하는데 사용할 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이에 한정되는 것은 아니다.
FMIS(100)는 하나 이상의 조명 소스, 예를 들어 광원(25, 25a, 28)을 포함할 수 있다. 일부 실시예들에서, 예를 들어 도 1a에 도시된 바와 같이, 반사 조명(즉, 표본 위에서 발생하는 빛)이 사용될 수 있다. 반사 광은 수직 조명기(22)를 통해 빔 스플리터(20)로 통과한다. 빔 스플리터(20)는 노즈피스(23)를 통해 그리고 대물렌즈(35)의 명시야 채널(42)을 통해 90° 아래쪽으로 조명 소스(들)로부터 나오는 광을 표본으로 반사할 수 있다. 다른 실시예들에서, 예를 들어 도 1b에 도시된 바와 같이, 투과 조명(즉, 표본 아래(광원 25a)에서 발생하는 광)을 사용할 수 있다. 서로 다른 조명원(조명 소스)들은 서로 상이한 파장들에서 조명을 제공하도록 구성될 수 있다. 서로 다른 조명 소스들을 조정하여, 단위 면적당 제공되는 강도를 제어할 수도 있다.
본 명세서에 사용된 바와 같은 빔 스플리터는, 공지된 특정 파장의 광을 투과하고 투과된 광을 다른 공지된 특정 파장의 광과 결합하는 미러(mirrors), 다이크로익(dichroics), 필터 또는 빔 결합기를 지칭할 수 있다.
일부 실시예들에서, 도 1b에 도시된 바와 같이, 표본에 대한 광의 강도를 증가시키기 위해, 조명 소스들(25/28)로부터의 반사광은 조명 소스(25a)로부터의 투과된 광과 동시에 투사될 수 있다. 일부 양태에서, 다양한 조명 소스들은 유사하거나 동일한 파장들의 광을 제공할 수 있다. 다른 실시예들에서, FMIS(100)는 다양한 파장 범위들의 광을 제공할 수 있는 단일 조명 소스를 포함할 수 있다.
일부 실시예들에서, 예를 들어, 제 1 조명 소스(조명원)(25)은 비가시광(8)(예를 들어, 10 내지 400 나노미터(nm) 범위의 파장을 갖는 투사광)을 제공하는 반면, 제2 조명원(28)은 가시광선(9)(예를 들어, 400 내지 740 나노미터(nm) 범위의 파장을 갖는 투사광)을 제공한다. 추가 실시예들에서, 조명원들은 다른 적절한 파장들을 제공할 수 있다.
일부 실시예들에서, 도 1a 및 도 1b에 도시된 바와 같이, 조명 소스(25)는 그 광이 수직 조명기(22)를 향해 실질적으로 수평 방향으로 투사되도록 위치된다. 조명 소스(조명원)들(25, 25a 및 28)은 각각의 소스의 방출된 광의 파장에 적합한 포커싱 렌즈를 포함할 수 있다.
2개의 조명 소스를 사용하는 일부 실시예들에서, 빔 스플리터(60)는 광이 수직 조명기(22)로 이동하기 전에 두 조명 소스들(예를 들어, 조명 소스(25 및 28))의 광학 경로에 배치된다. 조명 소스들은 둘 다 동시에 또는 서로 다른 시간에 조명을 제공하도록 활성화될 수 있다. 개시된 기술의 범위를 벗어나지 않으면서 조명원(조명 소스)들의 다른 배치가 고려될 수 있다. 임의의 적절한 구성에서 전술한 디바이스들의 조합을 사용하여, 원하는 조명 소스들 및 파장들을 반사 및 투과할 수 있다. 일부 실시예들에서, 특정 컷-오프 파장을 갖는 빔 스플리터는, 조명원(28)에 의해 방출된 광의 파장을 반사하고 조명원(25)으로부터 방출된 광의 파장을 통과시킬 수 있도록 선택된다. 빔 스플리터(60)는 45°의 입사각을 위해 설계될 수 있으므로, 조명원(28)으로부터의 거부된 광은 90°의 각도에서 반사되고 조명원(25)으로부터의 광 경로와 평행하게 이동한다. 개시된 기술의 범위를 벗어나지 않으면서 다른 빔 스플리터 설계가 고려된다.
일부 실시예들서, 발광 다이오드(LED), 할로겐 램프 및/또는 형광등을 포함하지만 이에 제한되지 않는 조명원들(25, 25a, 28)과 함께 임의의 적절한 비간섭성 조명원(들)이 사용될 수 있다는 점에 유의해야 한다.
일부 실시예들에서, 필터 메커니즘(15)은 광원(25 및 28)으로부터 지정된 파장 범위들이 표본을 통과하도록 하는데 사용될 수 있다. 필터 메커니즘(15)(여기(excitation) 필터라고도 함)은 예를 들어, 서로 다른 대역통과 필터들(예를 들어, 대역통과 필터(16 및 17))을 갖는 슬라이드일 수 있다. 각각의 대역 통과 필터는 특정 파장들은 통과시키고 다른 모든 파장은 차단한다. 모터 또는 기계적 메커니즘을 사용하여, 대역 통과 필터들 중 하나를 선택하고 배치할 수 있다. 다른 실시예들에서, 소프트웨어, 펌웨어 및/또는 하드웨어를 포함하는 조정 가능한 필터를 사용하여, 원하는 파장이 표본을 통과하도록 제어할 수 있다. 일부 실시예들에서, 선택되는 대역통과 필터는 표본 내의 재료들 중 하나 이상의 재료의 밴드갭 특성들을 기반으로 할 수 있다. 예를 들어, 대역통과 필터는 검사되는 표본의 재료들 중 하나의 재료의 밴드갭과 일치하거나 초과하는 파장 에너지에 대응하도록 선택될 수 있다. 즉, 표본에 전달되는 파장 에너지를 선택하여, 표본 내의 표적(target) 물질이 형광을 발하도록 할 수 있다. 각 재료는 다른 재료들과는 다른 알려진 밴드갭 에너지를 갖고 있다. 밴드갭 에너지는 특정 재료(물질)의 가전자대 상단과 전도대 하단 사이의 에너지 차이를 나타낸다. 형광은 재료 내의 전자들이 광의 파장들에 의해 여기될 때 발생하고, 이로써 전자들은 광자를 흡수하고 여기 광을 방출한다(종종 방출된 광은 흡수된 광보다 긴 파장에서 방출된다). 시료(표본)를 여기시키기 위해 적절한 파장을 인가하는 것 외에도, 단위 면적당 충분한 강도가 인가되어야 하고, 이로써 형광이 발생할 수 있다. 단위 면적당 강도의 충분성은 시료(표본)의 재료 구성에 따라 달라지며, 일반적으로 1 Watt/cm2에서 11 Watt/cm2의 범위이다. 예를 들어, 365nm의 파장과 4W(Watts)의 강도에서 광을 투사하는 조명 소스는 3.26eV의 밴드갭 에너지를 가진 탄화규소의 표본에 적용되어 형광 반응을 여기시킬 수 있다.
추가 실시예들에서, 선택된 파장 에너지는 표본 내의 표적 물질(재료) 및/또는 표적 표본에 첨가된 안료(pigment)가 형광을 발하도록 하는데 필요한 파장 에너지에 대응할 수 있다. "여기(excite)"라는 용어는 시료(표본) 또는 시료에 첨가된 안료가 형광을 발하도록 하는(즉, 형광을 방출하게 하는) 파장 에너지를 나타낸다.
일부 실시예들에서, 여기 필터 메커니즘은 수행될 원하는 현미경 검사에 기초하여 사용될 수 있으며, 예를 들어 선택된 범위의 파장들만이 통과하도록 허용할 수 있다. 예를 들어, 필터 메커니즘은 통과될 비가시 범위의 파장(예를 들어, 조명원(25)으로부터의 자외선) 또는 (예를 들어, 조명원(28)으로부터) 가시 범위의 파장을 선택하는데 사용될 수 있다. 다른 실시예들에서, 필터 메커니즘을 사용하여 특정 파장(예를 들어, 검사 중인 재료의 밴드갭에 해당하고 재료를 여기시킬 파장)의 광을 시료(표본)로 전달할 수 있다.
여기 필터 슬라이더(15)는 예시적인 실시예를 나타내고, 하나 이상의 여기 필터(들)는 광이 시료(표본)에 도달하기 전에, 광 경로를 따라 임의의 적절한 위치에 배치될 수 있다. 일부 실시예들에서, 슬라이더(40)는 여기 필터를 포함할 수 있고/있거나 여기 필터는 노즈피스(23)에 포함될 수 있다. 이러한 다양한 실시예들이 여기에서 설명될 것이다.
추가 실시예들에서, 하나 이상의 방출 필터를 사용하여, 적절한 파장이 표본으로부터 이미징 디바이스로 전송되도록 하여, 원하는 파장만이 이미징되도록 할 수 있다. 여기 필터와 유사하게 방출 필터는 특정 파장은 통과시키고 다른 파장은 차단하는 대역통과 필터일 수 있다. 다른 실시예들에서, 소프트웨어, 펌웨어, 및/또는 하드웨어를 포함하는 조정 가능한 필터는 통과되는 원하는 파장을 제어하는데 사용될 수 있다.
하나 이상의 방출 필터(들)는 표본의 형광 반응을 전달하기 위해 각각의 이미징 디바이스 앞에(예를 들어, 도 2에 도시된 방출 필터(18, 19)), 튜브 렌즈(90) 앞에(예를 들어, 도 1a에 도시된 방출 필터(21)), 및/또는 노즈 피스(23) 내에(예를 들어, 도 6c에 도시된 필터 슬라이더(52)의 방출 필터(F3)) 배치될 수 있다. 일부 실시예에서, 하나 이상의 이미징 디바이스에 도달하는 것으로부터 특정 색상(color)들의 파장을 추가로 필터링하는 방출 필터 휠(wheel)이 사용될 수 있다. 방출 필터들은 특정 파장들이 이미징 디바이스들에 도달하도록 하기 위해 선택되거나 제어될 수 있다. 예를 들어, 서로 다른 파장들에서 탄화규소의 형광 반응을 조사하기 위해, 다양한 파장 범위(예: 414-440nm, 500-550nm 또는 590-670nm)를 통과시킬 수 있는 서로 다른 방출 대역통과 필터들(또는 단일 파장)이 사용될 수 있다. 이러한 필터들은 한 번에 하나씩 적용될 수 있거나, 또는 여러 카메라가 있는 경우에, 그것들은 동시에 적용되거나 순차(sequential) 슬라이더의 일부로서 적용될 수 있다(즉, 각각의 이미징 디바이스 앞에서 다른 파장 범위를 허용하는 필터 사용).
도 2는 2개의 이미징 디바이스(6, 7)를 포함하는 예시적인 실시예를 도시한다. 일부 실시예에서, 이미징 디바이스들(6, 7)은 이미지 센서들(5, 4)을 각각 포함하는 카메라일 수 있다. 이미징 디바이스들(6, 7)은 표본의 이미지들을 캡처하는데 사용될 수 있다. 이미지 센서들(5, 4)은 예를 들어, CCD, CMOS 이미지 센서, 및/또는 광을 하나 이상의 전기 신호로 변환하는 임의의 다른 적절한 전자 디바이스일 수 있다. 이러한 전기 신호들은 표본의 이미지 및/또는 비디오(형광 이미지 및/또는 비디오를 포함)를 형성하는데 사용될 수 있다. 일부 실시예에서, 이미징 디바이스는 입사 광자로부터 전자 전하를 생성하는데 효과적인 높은 양자 효율 카메라일 수 있다. 일부 실시예에서, 이러한 전기 신호들은 FMIS(100)에 연결된 디스플레이 화면에 표시하기 위해 전송된다. 일부 실시예에서, 이미징 디바이스는 표본을 보는데 사용되는 접안경 또는 접안렌즈로, 또는 표본의 스펙트럼 방출을 측정하는데 사용되는 분광계로 대체되거나 보완될 수 있다.
이미징 디바이스는 FMIS(100)의 공액(conjugate) 초점 평면에 위치할 수 있다. 일부 실시예에서, 이미징 디바이스는 선택된 위치를 시스템의 광학 특성에 적응시키기 위해 적절한 구성요소를 사용하여 다른 위치들에 장착될 수 있다. 추가 실시예에서, 하나보다 많은 이미징 디바이스가 사용될 수 있다. 일부 실시예에서, 이미징 디바이스는 카메라가 표본, 스테이지 및/또는 표본의 특징부에 정렬되도록 구성된, 이미지 센서를 포함하는 회전 가능한 카메라일 수 있다. FMIS(100)에 의해 사용될 수 있는 카메라를 회전시키기 위한 몇 가지 예시적인 방법은 "Camera and Object Alignment to Facilitate Large Area Imaging in Microscopy"라는 제목의 미국 특허 번호 US 10,048,477에 설명되어 있으며, 이는 그 전체가 본 명세서에 참조로 통합된다.
도 2는 각자의 이미징 디바이스에 각각 결합된 방출 필터링 디바이스들(18, 19)을 포함한다. 각각의 필터링 디바이스는 표본에서 반사된/또는 표본으로부터 방출된 특정 파장들이 관련 이미징 디바이스에 의해 수신되도록 하고, 다른 모든 파장들을 차단한다. 도 2는 표본에서 반사된/표본으로부터 방출된 광의 광학 경로에서 조명기(22) 위에 위치된 빔 스플리터(24)를 포함한다. 빔 스플리터는 특정 범위의 파장들이 하나의 이미징 디바이스를 향하고 다른 범위의 광의 파장들이 제 2 이미징 디바이스를 향하도록 배치될 수 있다.
FMIS(100)에 의한 표본의 이미징은 명시야, 암시야, 차동 간섭 대비(DIC), 및 당업자들에게 공지된 다른 것들을 포함하는 다양한 관찰 모드를 사용하여 수행될 수 있다.
일부 실시예에서, FMIS(100)는 명시야 및 암시야 조명 둘 다를 동시에 또는 개별적으로 제공할 수 있다. 암시야 조명은 샘플을 비추기 위해, 직교 조명이 아닌 비스듬한 조명을 사용하는 조명 기술을 나타낸다. 대물렌즈는 90도 미만 및 0도 초과, 전형적으로 25 내지 80도의 입사각에서 샘플에 광이 투과되도록 하는 명시야 채널 주위에 환형 암시야 채널을 포함할 수 있다. 일부 실시예에서, FMIS(100)는 명시야/암시야 슬라이더(40), 또는 암시야 조명만, 명시야 조명만, 명시야/암시야 조명의 결합, 또는 또는 다른 유형들의 조명(예: DIC)이 샘플에 도달하도록 허용하는 다른 적절한 메커니즘(예: 케이지 큐브(cage cube))을 포함할 수 있다. 명시야/암시야 슬라이더(40)의 서로 다른 구성들은 도 2 내지 도 5와 관련하여 논의될 것이다. 다른 실시예에서, 명시야/암시야 조명은, 암시야 채널 위의 광원을 결합하고 샘플에 암시야 조명을 제공하기 위해 제어 모듈(110)을 통해 광원을 활성화함으로써 달성될 수 있다. 일부 예시적인 실시예들은 도 2 내지 도 5와 관련하여 논의된다.
일부 실시예에서, 도 3a, 3b 및 3c에 도시된 바와 같이, FMIS(100)는 명시야 구성(43) 및 암시야 구성(44)을 포함하는 일종의 슬라이더인 명시야/암시야 슬라이더(40)를 사용한다. 명시야/암시야 슬라이더(40)는 (예를 들어, 수직 조명기에서, 빔 스플리터(20) 전(before) 또는 노즈피스(23) 위 또는 아래에 결합된) 표본으로 이동하는 광 경로(10)를 따라 임의의 위치에 배치될 수 있다. 명시야/암시야 슬라이더(40)는 2개의 구성: 43 및 44를 포함한다. 도 3a에 도시된 바와 같이, 제 1 위치에서, 구성(43)이 광 경로에 위치될 때, 구성(43)의 중심에 있는 구멍은 광(10a)이 표본에 명시야 조명을 제공하기 위해 대물렌즈(35)의 중심에 있는 명시야 채널을 통해 빔 스플리터(20)를 통과하고 반사하는 것을 허용하고, 암시야 채널(41)을 통과하는 광을 차단한다. 또한, 일부 실시예에서, 구성(43)의 중심에 있는 구멍은 특정 파장들만이 (빔 스플리터(20)의 반사를 통해) 시료(표본)에 도달하도록 하는 여기 필터로 대체될 수 있다.
도 3b에 도시된 바와 같이, 제 1 위치에서, 구성(44)이 광 경로에 위치할 때, 중앙 개구(중심 구멍)는 닫혀서 광이 명시야 채널(42)로 투과되는 것을 차단하고 광(10b)을 빔 스플리터(20)의 반사를 통해 암시야 채널 링(41)을 통해 투과시켜서 표본에 비스듬한 조명을 제공한다. 모터 또는 기계적 메커니즘을 사용하여 명시야/암시야 슬라이더 구성들 중 하나를 선택 및 배치할 수 있다. 이후, 표본으로부터 반사된 광(10c)은 대물렌즈(35)를 통해 이미징 디바이스(들)로 이동한다.
명시야/암시야 슬라이더(40)의 다른 구성들은 예를 들어 도 4a(명시야/암시야 슬라이더 40a) 및 도 4b(명시야/암시야 슬라이더 40b)에 도시된 바와 같이 가능하다.
명시야/암시야 슬라이더(40a)는 (폐쇄 중심 주위에 조명들(46)의 링(예를 들어, LED 조명 링)을 포함하는) 구성(45) 및 (도 3a 내지 도 3c와 관련하여 설명되는) 구성(43)을 포함할 수 있다. 구성(45)이 광 경로에 위치하고 LED 조명(46)이 활성화되면, 비스듬한 조명이 (빔 스플리터(20)의 반사에 의해) 암시야 채널(41)을 통해 표본에 전달될 수 있다. 링의 중심이 닫혀 있고 (빔 스플리터(20)의 반사를 통해) 명시야 채널로 들어오는 광을 차단하기 때문에, 어떠한 명시야 광도 표본으로 전달되지 않는다.
도 4b에 도시된 바와 같이, 명시야/암시야 슬라이더(40b)는 (개구 주위에 광들(46)의 LED 링을 포함하는) 구성(47) 및 (도 3a 및 3b와 관련하여 설명되는) 구성(43)을 포함할 수 있다. 구성(47)이 광 경로에 위치하고 조명들(46)의 LED 링이 활성화되면, 비스듬한 조명이 (빔 스플리터(20)의 반사를 통해) 시료(표본)에 투사되고 전달될 수 있으며, 동시에 명시야 조명이 중앙의 조리개(중앙 개구, 중심 구멍)를 통과하여, (도 5b에 도시된 바와 같이) 대물렌즈(35)의 명시야 채널(42)을 통해 표본으로 전달될 수 있다.
일부 실시예에서, (예시적인 FMIS(100)를 보여주는) 도 5a, (예시적인 노즈피스(23)의 세부사항을 보여주는) 도 5b, (예시적인 암시야 삽입(51)을 보여주는) 도 6a 및 (예시적인 실린더(29)를 보여주는) 도 6b에 도시된 바와 같이, 실린더(29)(본 명세서에서 "부착물" 또는 "실린더 부착물"로도 지칭됨)는 (예를 들어, 나사 또는 다른 패스너를 통해) FMIS(100)의 노즈피스(23)에 고정될 수 있고, (환형 암시야 채널(41) 및 명시야 채널(42) 포함하는) 대물렌즈(35)는 암시야 채널(41) 위의 실린더(29)에 고정될 수 있다. 또한, 조명들(46)(예를 들어, LED 조명(46))의 링을 갖는 암시야 삽입물(51)은 암시야 채널(41) 위의 실린더(29)에 고정될 수 있다. 이러한 구성으로 인해, 실린더(29)는 모든 노즈피스에 고정되고 모든 대물렌즈와 함께 사용될 수 있다. 실린더(29)는 임의의 적절한 형상일 수 있음에 유의해야 한다. 또한, 암시야 삽입물(51) 상에 포함된 조명들의 링은 하나 이상의 파장을 방출하는 임의의 적절한 광을 포함할 수 있고, 다른 유형의 광을 포함하고 다른 파장(또는 파장들의 세트)을 방출하는 조명들의 링을 갖는 또 하나의 삽입물(51)과 유연하게 교환될 수 있다.
일부 실시예에서, 다중 방출/여기 필터들(F1, F2, F3...FN)을 갖는 슬라이더 유형인 필터 슬라이더(52)는 암시야 삽입물(51) 아래의 실린더(29)에 결합될 수 있다. 일부 실시예에서, 슬라이더(52)의 필터(F1)는 구멍(개구)을 포함하고, 이 구멍에 의해 조명들(46)로부터의 광은 활성화될 때, 암시야 채널(41)을 통해 여과(필터링)되지 않은 채 표본으로 통과될 수 있다. 슬라이더(52)의 필터(F2)는 특정 암시야 및 명시야 파장들만이 표본에 도달하도록 허용하는 여기 필터를 포함한다. 일부 실시예에서, 여기 필터는 중앙에 구멍을 포함할 수 있고, 표본에 도달하는 암시야 광만을 필터링할 수 있다. 추가 실시예에서, 필터(F3)는 명시야 및 암시야 채널들에 대한 서로 다른 필터들을 포함할 수 있다. 예를 들어, 암시야 필터는 암시야 여기 광을 필터링하도록 구성될 수 있는 반면, 명시야 필터는 표본으로부터 방출된 광이 하나 이상의 이미징 디바이스에 도달하기 전에 그것을 필터링하는 방출 필터로서 구성될 수 있다. 슬라이더(52)는 표본에 도달하는 특정 여기 파장들 및/또는 하나 이상의 이미징 디바이스에 도달하는 특정 방출 파장들을 목표로 하는 다른 적절한 필터들을 포함할 수 있다.
임의의 적절한 구성에서, 전술한 여기 및 방출 필터들의 조합을 사용하여, 원하는 조명 소스들 및 파장들을 반사하고 전달할 수 있다.
도 7a는 개시된 주제의 일부 실시예들에 따른, 이미지 캡처를 위한 원하는 스펙트럼 방출 및 다른 원하는 조명을 달성하기 위해 FM 검사 시스템을 사용하여 표본을 조명하기 위한 예시적인 방법(700)을 개략적으로 보여준다. 일부 실시예에서, 방법(700)은 FMIS(100)를 사용할 수 있다.
710에서, 검사될 표본이 표본 스테이지(30) 상에 배치될 수 있다. 일부 실시예에서, 표본은 FMIS(100)의 광원들 및 필터들이 선택되기 전에 초점이 맞춰진다.
720에서, FMIS(100)의 설정은 이미지 캡처를 위해 조정될 수 있다. 이것은 예를 들어, 검사되는 표본의 특징들 또는 표본의 재료 구성을 기반으로 (예를 들어, 컴퓨터 알고리즘을 사용하여) 수동 또는 자동으로 수행될 수 있다. 일부 실시예에서, 제어 모듈(110)은 특정 표본, 표본 클래스 및/또는 임의의 다른 적절한 분류 그룹에 대한 저장된 정보에 따라, 광원(들)으로부터의 광의 파장들 및 강도뿐만 아니라 대응하는 여기 및 방출 필터들을 활성화하고 조정할 수 있다. 상기 저장된 정보는 표본에서 알려진 특징들의 유형 및 위치를 식별하는 맵("표본 특징 맵" 또는 "특징 맵")을 포함할 수 있다. 상기 저장된 정보는 또한, 표본의 재료 구성, (예를 들어, 표본에 지시할 광의 파장 및 강도를 지정함으로써, 적절한 여기 및/또는 방출 필터들을 선택 및 조정함으로써) 다양한 관심 영역에서 표본의 다양한 이미지를 캡처하기 위한 최적의 FM 검사 시스템 설정을 포함할 수 있다. 또한, 저장된 정보는 표본의 알려진 또는 예상되는 결함들의 유형 및 위치에 대한 정보를 포함할 수 있다. 적절한 저장된 정보를 선택하기 위한 방법들은 도 8과 관련하여 더 논의된다.
730에서, 일부 실시예들에 따라, 표본의 하나 이상의 이미지가 FMIS(100)에 의해 캡처된다. 단계들(720 및 730)은 표본의 서로 다른 이미지들을 캡처하기 위해 원하는 만큼 반복될 수 있다. 예를 들어, 광원들(25, 25a 및/또는 28)의 강도 및 파장들과 해당 여기 및 방출 필터들을 조정하여 표본의 서로 다른 이미지들을 캡처할 수 있다. 광원에 대한 조정들은 예를 들어, 표본 구성, 표본의 알려진 또는 예상되는 결함들, 및/또는 표본 특징 맵을 포함하여, 표본에 대해 저장된 정보를 기반으로 수행될 수 있다. 또한, 광원들(25, 25a 및/또는 28)의 파장 및 대응하는 필터들은 (표본 특징 맵 등에 의해 표시된 바와 같은) 표본의 서로 다른 관심 영역들에 대해 조정될 수 있고, 이미지들은 각각의 관심 영역에 대해 캡처될 수 있다. 일부 실시예에서, 광원들(25, 25a 및/또는 28)의 파장 및 대응하는 필터들은 표본 및/또는 관심 영역에 원하는 여기(excitation)를 제공하기에 적절한 범위에서 선택될 수 있다. 또한, 명시야, 암시야, 명시야 및 암시야의 조합, 및/또는 DIC 조명을 적용하는 것과 같이 표본에 제공된 조명 유형을 조정하여, 표본의 서로 다른 이미지들을 캡처할 수 있다.
도 7b는 개시된 기술의 일부 양태에 따른, 표본 분류를 식별하고 FMIS(100)에 대한 광원들 및 필터들을 자동으로 조정하기 위한 예시적인 프로세스(705)의 단계들을 도시한다. 프로세스(705)는 예를 들어, 이미지 처리 시스템, 예를 들어 이미지 처리 모듈(834)(도 8에 도시됨)에 의해 이미지 데이터가 수신되는 단계(740)에서 시작한다. 일부 접근 방식에서, 이미지 데이터는, FMIS(100)의 일부로서 이미징 디바이스에 의해 촬영된 표본의 수신된 이미지에 포함될 수 있다. 이미지 데이터는 FMIS(100)의 스테이지 상에 배치되는 표본의 전체 또는 일부를 포함할 수 있다.
단계(750)에서, 표본의 분류를 식별하기 위해 이미지 데이터가 분석된다. 어떤 경우에는, 표본 내의 특정 영역, 특징 또는 재료와 같은 표본의 하위 집합(subset)을 식별하기 위해 이미지 분석을 수행할 수 있다. 아래에 논의되는 바와 같이, 기계 학습 분류기, 컴퓨터 비전, 및/또는 인공 지능을 사용하여, 표본과 표본 상의 특징들을 식별/분류할 수 있다. 컨볼루션 신경망(convolutional neural networks; CNNs)을 사용한 분류 방법의 예는 도 10에 도시되어 있다.
이후에, 저장된 정보는 표본(또는 특징) 분류에 기초하여 자동으로 선택될 수 있다(단계 760). 표본/특징 분류는 표본, 표본의 재료 구성, 표본 특징 유형들, 및/또는 기타 적절한 분류 그룹과 연관된 저장된 정보를 포함하는 데이터베이스(예: 저장된 정보 데이터베이스(836))를 쿼리(query)하는데 사용될 수 있다. 단계(750)에서 결정된 검체(표본) 분류를 참조하여, 검체(표본)에 적합한 저장된 정보를 자동으로 식별하여 검색할 수 있다. 위에서 논의된 바와 같이, 저장된 정보는 관찰되는 표본, 특징 및/또는 재료에 대한 최적의 조명 및 이미지 캡처를 달성하는데 사용될 수 있는 FMIS(100)의 구성들을 설명하는 다양한 설정 데이터를 포함할 수 있다.
도 7c는 개시된 기술의 일부 양태에 따른, 표본 결함들을 자동으로 식별 및/또는 분류하기 위한 예시적인 프로세스(710)의 단계들을 도시한다. 일부 구현들에서, 단계(780)는 도 7b와 관련하여 위에서 논의된 단계(770)를 따를 수 있다. 하지만, 프로세스(710)는 위에서 논의된 프로세스들(700 및 705)의 다양한 단계들과는 독립적으로 수행될 수 있다는 것이 이해된다.
단계(780)에서, 형광을 포함하는 이미지 데이터는 FM 검사 시스템의 조정/설정들의 적용에 따라 이미징 디바이스로부터 수신된다. 일부 접근 방식에서, 단계(780)는 위의 단계(770)에서 설명한 바와 같이, 표본의 자동 분류에 이어 수행될 수 있다. 이와 같이, 단계(780)에서 수신된 이미지 데이터는, FM 검사 시스템에 대해 수행된 설정 선택에 의해 실현되는, 최적화되거나 개선된 조명 조건들에서 촬영된 표본의 이미지를 나타낼 수 있다.
단계(785)에서, 형광을 포함하는 새로운 이미지 데이터는 표본의 결함/특징들을 자동으로 식별/검출 및/또는 분류하도록 구성되는 결함 검출 분류기에 제공된다. 결함/특징 검출 및 분류는 표본 분류 또는 유형에 대한 지식 없이 수행될 수 있다. 그러나, 일부 실시예에서, 표본 분류 및/또는 연관된 저장된 정보는 결함 검출 분류기에 대한 입력으로서 사용될 수 있고, 이에 따라 결함/특징 검출 및 식별의 프로세스를 알리는데 사용될 수 있다.
단계(790)에서, 표본의 하나 이상의 결함/특징이 식별 및/또는 분류된다. 표본 결함/특징들을 식별 및/또는 분류하는 프로세스는 원하는 구현에 따라 다양한 방식으로 수행될 수 있다. 예를 들어, 결함/특징 식별은 주어진 표본 및/또는 표본 분류와 연관된 특징 맵 및/또는 저장된 정보를 자동으로 생성하거나 업데이트하는데 사용될 수 있다(단계 795). 이와 같이, 새로운 결함/특징들의 식별은 미래의 결함/특징 분류 계산들을 개선(트레이닝)할 뿐만 아니라, 프로세스(705)에 설명된 바와 같은, FM 검사 시스템 설정들을 조정하는 자동화된 프로세스를 개선하는데 사용될 수 있다. 일부 양태에서, 결함/특징 식별 및/또는 분류는 예를 들어, 감지된 결함/특징 및/또는 결함/특징 유형(분류)의 존재에 대해 FM 검사 시스템의 사용자에게 알리기 위해, 경보를 트리거하는데 사용될 수 있다.
여기에 설명된 방법들(700, 705, 710)의 부분들 중 적어도 일부는 일부 실시예에서, 도 7a, 7b 및 7c와 관련하여 도시되고 설명된 차례 및 순서로 제한되지 않는 임의의 차례 또는 순서로 수행될 수 있음을 이해해야 한다. 또한, 여기에 설명된 프로세스들(700, 705 및 710)의 일부 부분들은 적절한 경우 실질적으로 동시에 또는 일부 실시예에서 병행하여(in parallel) 수행될 수 있다. 추가적으로 또는 대안적으로, 프로세스(700, 705, 710)의 일부 부분들은 일부 실시예들에서 생략될 수 있다. 방법들(700, 705, 710)은 임의의 적절한 하드웨어 및/또는 소프트웨어로 구현될 수 있다. 예를 들어, 일부 실시예에서, 방법들(700, 705, 710)은 FM 검사 시스템(100)에서 구현될 수 있다.
도 8은 개시된 주제의 일부 실시예들에 따른, 컴퓨터 분석 시스템(115)의 실시예의 일반적인 구성을 도시한다. 컴퓨터 분석 시스템(115)이 버스(805)를 통해 다양한 구성요소들이 결합된 국부적 컴퓨팅 시스템으로 예시되어 있지만, 다양한 구성요소들 및 기능적 계산 유닛(모듈)들이 별도의 물리적 또는 가상 시스템들로서 구현될 수 있음을 이해해야 한다. 예를 들어, 하나 이상의 구성요소 및/또는 모듈은 예를 들어 클라우드 환경에서 인스턴스화된 가상 프로세스들(예: 가상 머신 또는 컨테이너)를 사용하여, 물리적으로 분리된 원격 디바이스들 내에 구현될 수 있다.
컴퓨터 분석 시스템(115)은 판독 전용 메모리(ROM)(820) 및 랜덤 액세스 메모리(RAM)(825)와 같은 시스템 메모리(815)를 포함하는 다양한 시스템 구성요소들을 프로세서/s(810)에 결합하는 처리 유닛(예를 들어, CPU/s 및/또는 프로세서/s)(810) 및 버스(805)를 포함한다.
메모리(815)는, 메모리 캐시(812)와 같은, 성능 특성이 서로 다른 다양한 메모리 유형들을 포함할 수 있다. 프로세서(810)는 저장된 정보 데이터베이스(836)와 같은 하나 이상의 기능적 모듈 및/또는 데이터베이스 시스템을 구현하는데 필요한 소프트웨어 및 명령어를 저장하도록 구성된 저장 디바이스(830)에 결합된다. 이들 모듈들 및/또는 데이터베이스 시스템들 각각은 프로세서(810)뿐만 아니라, 소프트웨어 명령들이 실제 프로세서 설계에 통합되는 특수 목적 프로세서를 제어하도록 구성될 수 있다. 이와 같이, 이미지 처리 모듈(834) 및 저장된 정보 데이터베이스(836)는 완전히 독립적인(self-contained) 시스템일 수 있다. 예를 들어, 이미지 처리 모듈(834)은 개시된 기술의 범위를 벗어남이 없이, 개별 이미지 처리 시스템으로서 구현될 수 있다.
컴퓨터 분석 시스템(115)과의 사용자 상호작용을 가능하게 하기 위해, 입력 디바이스(845)는 음성용 마이크, 제스처 또는 그래픽 입력용 터치 감지 스크린, 키보드, 마우스, 모션 입력 등과 같은 임의의 수의 입력 메커니즘들을 나타낼 수 있다. 출력 디바이스(835)는 또한 당업자에게 알려진 다수의 출력 메커니즘들 중 하나 이상일 수 있다. 일부 예에서, 다중 모드 시스템들은 사용자가 컴퓨터 분석 시스템(115)과 통신하기 위해 여러 유형들의 입력을 제공할 수 있게 하여, 예를 들어 표본 유형/분류 또는 기타 특성들과 관련된 표본 정보를 전달할 수 있다. 통신 인터페이스(840)는 일반적으로 사용자 입력 및 시스템 출력을 통제하고 관리할 수 있다. 임의의 특정 하드웨어 배열에서 작동하는데 제한이 없으므로, 여기서의 기본 기능(특징)들은 개발될 때 개선된 하드웨어 또는 펌웨어 배열로 쉽게 대체될 수 있다.
저장 디바이스(830)는 비일시적 메모리이며, 자기(magnetic) 카세트, 플래시 메모리 카드, 솔리드 스테이트 메모리 디바이스, 디지털 다목적 디스크, 카트리지, 랜덤 액세스 메모리(RAM)(825), 판독 전용 메모리(ROM)(820), 및 이들의 하이브리드와 같은, 컴퓨터에 의해 액세스 가능한 데이터를 저장할 수 있는 하드 디스크 또는 다른 유형들의 컴퓨터 판독 가능 매체일 수 있다.
실제로, 저장된 정보 데이터베이스(836)는 표본, 표본 클래스 및/또는 다른 적절한 표본 분류와 연관된 컨텍스트 데이터를 수신, 저장 및 업데이트하도록 구성될 수 있다. 각각의 표본/표본 클래스/표본 분류에 대한 컨텍스트 데이터에는 다음이 포함되지만 이에 국한되는 것은 아니다: 표본 및/또는 표본의 특징들의 컴퓨터 지원 설계(computer aided design; CAD) 파일, 특징들 및 그 위치들을 식별하는 특징 맵, FMIS(100)에 의해 캡처된 표본들의 이미지들/특징들, 알려진 표본 및/또는 특징의 이미지, 알려진 치수, 재료 구성, 표본의 기계적 및/또는 물리적 특성, 알려진 재료 또는 표본에 대한 스펙트럼 변화 맵, 공통의(common) 적층 결함, 구조적 결함 또는 표본과 연관된 기타 결함, 표본의 특징에 대한 최적의 FM 검사 설정, 표본 또는 표본 분류, 조사할 관심 영역/또는 관심 재료 식별. 일부 실시예에서 관심 영역은 특징 맵 상에서 식별될 수 있다. 저장 정보 데이터베이스(836)는 이미지 처리 모듈(834)에 연결될 수 있고, 이미지 처리 모듈(834)과 데이터를 송수신할 수 있다. 또한, 컨텍스트 데이터는 다음과 같은 표본을 검사하는데 사용되는 FMIS(100)와 관련된 데이터를 포함할 수 있다: FMIS(100)의, 광원들의 수, 각 광원에 대한 파장 범위 및 강도, 이미징 디바이스들의 수 및 다양한 유형들의 여기/방출 필터들 및 그 위치들; 표본 스테이지(30)와 대물렌즈(35) 사이의 가능한 거리 범위.
프로세서(810)는 이미지 처리 모듈(834)을 포함할 수 있다. 이미지 처리 모듈(834)은 저장된 정보 데이터베이스(836)와 함께 사용되어, 다음과 같은 것들을 기반으로 표본을 분류할 수 있다: 표본 이미지(들)에서 수신된, 형광을 포함하는 이미지 데이터; 저장된 정보 데이터베이스(836)로부터 검색된 컨텍스트 데이터, 및/또는 예를 들어 입력(845)을 통해, 사용자에 의해 수동으로 제공되는 것과 같은 다른 수신된 표본 특성들. 추가적으로, 이미지 처리 모듈은 특정 표본 특징들을 분류하고, 다른 물리적 및/또는 기계적 표본 특성들(예: 표본 반사율, 표본 치수, 표본 재료 구성)을 결정하도록 구성될 수 있다. 표본 유형들의 분류, 및 표본 특징/특성들은 저장된 정보 데이터베이스(836)에 저장될 수 있다.
일부 실시예에서, 표본 유형, 특정 특징들 및/또는 표본의 재료 구성이 (예를 들어, 이미지 처리 모듈(834)에 의해) 결정되면, 결정된 표본 유형/특징들과 연관된 추가 컨텍스트 데이터가 저장된 정보 데이터베이스(836)로부터 검색되고 제어 모듈(110)에 전송되어, (예를 들어, 특정 특징 및/또는 관심 영역의 이미지를 캡처함으로써) 특정 표본 이미지를 캡처하고/하거나 FMIS(100)에 의한 표본 검사를 안내하기 위해 FMIS(100)의 설정을 조정할 수 있다.
일부 실시예에서, 이미지 처리 모듈(834)은 전체 표본 스캔, 또는 표본의 하나 이상의 이미지를 수신할 수 있다. 이미지 처리 모듈(834)은 도 9에 도시된 바와 같이, 표본 유형뿐만 아니라 표본 상의 특징들을 분류하기 위해 하나 이상의 인공 지능 알고리즘(들)을 적용할 수 있다.
당업자에 의해 이해되는 바와 같이, 인공 지능/기계 학습(machine learning) 기반 분류 기술들은 개시된 기술을 벗어나지 않고서 원하는 구현에 따라 달라질 수 있다. 예를 들어, 기계 학습 분류 체계는 다음 중 하나 이상을 단독으로 또는 조합하여 활용할 수 있다: 히든 마르코프(hidden Markov) 모델; 순환 신경망; 컨볼루션 신경망(CNNs); 딥 러닝(deep learning); 베이지안(Bayesian) 기호 방법; 일반 적대(adversarial) 네트워크; 지원 벡터 기계; 이미지 등록 방법; 적용 가능한 규칙 기반 시스템. 회귀 알고리즘들이 사용되는 경우에, 그것들은 다음을 포함할 수 있지만, 이에 국한되는 것은 아니다: 확률적 경사 하강법 회귀자(Stochastic Gradient Descent Regressor), 및/또는 수동적 공격형 회귀자(Passive Aggressive Regressor) 등.
기계 학습 분류 모델은 또한 클러스터링 알고리즘(예: 미니-배치 K-수단(Mini-batch K-means) 클러스터링 알고리즘), 추천 알고리즘(예: 미니와이즈 해싱(Miniwise Hashing) 알고리즘, 또는 유클리드(Euclidean) LSH 알고리즘), 및/또는 로컬 이상치(outlier) 요인과 같은 이상 탐지 알고리즘을 기반으로 할 수 있다. 또한, 기계 학습 모델은 다음 중 하나 이상과 같은 차원 축소 접근 방식을 사용할 수 있다: 미니-배치 사전 학습(Mini-batch Dictionary Learning) 알고리즘, 증분 주성분 분석(Incremental Principal Component Analysis; PCA) 알고리즘, 잠재 디리클레 할당(Latent Dirichlet Allocation) 알고리즘, 및/또는 미니-배치 K-수단(Mini-batch K-means) 알고리즘 등.
어떤 경우에는 기계 학습 모델을 사용하여 표본, 표본 내의 재료, 표본 특징 및/또는 기타 표본 특성들의 분류를 수행할 수 있다. 일부 양태에서, 표본 이미지로부터의 이미지 데이터는 예를 들어 이미지 처리 모듈(834)에 의해, 기계 학습 분류 시스템에 대한 입력으로서 제공될 수 있다. 분류기 출력은 샘플 또는 특징 분류를 지정할 수 있고, 이후에 이 샘플 또는 특징 분류를 사용하여, FMIS(100)에 의한 추가 검사를 위해 표본 상의 특정 관심 영역들을 식별할 수 있고, 그 관심 영역들을 검사하는데 사용되어야 하는 광원 및 필터의 유형에 대해 FMIS(100)의 제어 모듈(110)에 명령들을 제공할 수 있다.
이러한 알고리즘들, 네트워크들, 기계들 및 시스템들은 임의의 "인공 지능을 사용하여 표본의 특징을 결정하기 위한 수단" 또는 "인공 지능을 사용하여 추가 검사를 위해 표본의 관심 영역을 결정하기 위한 수단" 또는 "인공 지능을 사용하여 표본의 특징을 결정하는 수단"과 관련하여 사용되는 구조들의 예를 제공한다.
또한, 표본의 각 특징에 대해 또는 관심 영역에 대해, 이미지 처리 모듈은 하나 이상의 인공 지능 알고리즘(들)을 적용하여: i) 상기 특징을 검출할 수 있고; ii) 특징 유형을 분류할 수 있고; iii) 표본에서 특징의 위치를 결정할 수 있고; iv) 표본/특징의 재료 구성을 결정할 수 있고; v) 특징/표본/재료를 검사하기 위해 FMIS(100)에 대한 최적의 설정들(예를 들어, 파장 여기 설정, 파장 방출 설정, 적용된 조명 기술)을 결정할 수 있다. 일부 실시예에서, 이미지 처리 모듈(834)에 의해 사용되는 알고리즘(들)은 표본 상의 특징의 위치, 검사되는 표본의 유형, 검사되는 표본의 물리적 및 기계적 특성, 동일하거나 유사한 표본 상의 유사한 특징들, 검사된 표본에 대한 참조 특징 맵, 표본 스캔 또는 표본 이미지를 생성하는데 사용된 FM 검사 시스템 설정과 같은 컨텍스트 데이트를 고려할 수 있다.
이미지 처리 모듈(834)에 의해 사용될 수 있는 기계 학습 인공 지능 기반 이미지 처리 알고리즘의 예는 「Barbara Zitova, "Image Registration Methods: A Survey", Image and Vision Computing, 2003년 10월 11일, Volume 21, Issue 11, pp. 977-1000」에 설명된 이미지 등록이고, 이 문헌은 그 전체가 본 명세서에 참조로 포함된다. 개시된 방법들은 단지 예시일 뿐이며, 제한하려는 의도가 아니다. 예를 들어, 기계 학습/인공 지능 모델들은 다수의 트레이닝 데이터 소스들을 사용하여 트레이닝될 수 있으며, 이러한 트레이닝 데이터의 소스들에는 다음이 포함되지만 이에 국한되는 것은 아니다: 표본 및/또는 표본의 특징들의 컴퓨터 지원 설계(CAD) 파일, 표본 상의 특징들 및 그 위치들을 식별하는 표본 특징 맵, 알려진 표본들 및/또는 특징들의 이미지, 및/또는 알려진 표본들에 대한 정보(예를 들어, 표본의 치수, 표본의 재료 구성, 표본의 기계적 및/또는 물리적 특성들, 알려진 재료들 또는 표본들에 대한 스펙트럼 변화 맵, 공통(common) 적층 결함, 구조적 결함, 표본 분류 내의 특징들이 일반적으로 위치하는 위치를 식별하는 특징 맵).
일부 실시예들에서, 도 9에 도시된 바와 같이, 이미지 처리 알고리즘(905)은 먼저 트레이닝 데이터(920)로 트레이닝되어, 이미지 처리 모듈(834)이 표본을 인식 및 분류하고 표본의 특징들을 검출 및 인식할 수 있다. 여러 트레이닝 기술들이 사용될 수 있으며, 사용되는 특정 분류기 모델에 따라 달라질 수 있다. 일례에서, 13-레이어 CNN 등과 같은 CNN은 각각의 오류 공간을 탐색하기 위해 확률적 경사 하강법을 사용하여 다수의 에포크(epochs)에 걸쳐 트레이닝될 수 있다. 일례에서, 80 에포크가 트레이닝에 사용되며, 확률적 경사 하강법은 모멘텀 인자를 포함할 수 있다. 추가적으로, 예를 들어 그리고 제한 없이, 초기 에포크 동안 (예를 들어, 확률적 경사 하강법의 단계 값으로서) 0.1로부터 나중 에포크의 0.01로의 학습 속도(rate) 조정과 같은 적응 학습 속도가 사용될 수 있다.
트레이닝 데이터(920)는 알려진 유형들의 표본 및 특징들의 레이블이 지정된(labeled) 예들을 포함할 수 있다. (예를 들어, 특징, 특징 유형, 결함 유형 등)에 대해 트레이닝되는 각각의 분류에 대해, 트레이닝 데이터(920)는 변형된 특징들(이들은 실제 변형 특징들 또는 소정 파라미터들에 따라 시뮬레이션된 변형 특징들일 수 있다)의 라벨링된(labeled) 이미지를 더 포함할 수 있고, 트레이닝 데이터(920)는 그러한 변형된 특징들의 라벨링된 이미지들을 포함할 수 있다. 트레이닝 데이터(920)는 또한 0-360도에서 회전된 각각의 결함 유형의 라벨링된 이미지들을 포함할 수 있다. 트레이닝 데이터(920)는 또한 서로 다른 크기(sizes)로 생성된 각각의 결함 유형의 라벨링된 이미지들을 포함할 수 있다. 트레이닝 데이터(920)의 일례는 서로 다른 구조, 형상 및 크기를 갖는 라벨링된 적층 결함들, 및 각 유형의 적층 결함에 대한 대응하는 형광 방출을 포함하는 이미지이다. 또한, 라벨링된 이미지들은 FMIS(100)에 대한 설정들(예를 들어, 파장 여기 설정, 파장 방출 설정, 적용된 조명 기술), 특징 또는 표본의 재료 구성, 표본 상의 특징 위치, 특징의 물리적/기계적 속성들 및/또는 기타 다른 적절한 특성을 지정하는 정보와 같은 추가 컨텍스트 데이터를 포함할 수도 있다. 일부 실시예에서, 트레이닝 데이터는 또한 라벨링되지 않은 데이터를 포함할 수 있다.
이미지 처리 알고리즘이 트레이닝되면, 그것은 이미지 처리 모듈(834)에 의해, 수신된 표본 스캔(들) 또는 표본의 이미지(들)에 적용되어, 표본 유형을 분류하고, 특징들을 검출하고, 결함 유형을 분류하고, 특징 및/또는 결함 위치들을 결정하고, 표본 구성을 결정하고, 그리고 특징/표본을 검출하기 위한 최적의 FM 검사 시스템 설정들을 결정할 수 있다. 출력 데이터는 시각적으로 표시되거나, 인쇄되거나, 파일 형식으로 생성되어 데이터베이스(836)에 저장되거나 추가 처리를 위해 다른 구성요소들로 전송될 수 있다.
일부 실시예에서, 출력 데이터는 표본에 대한 특징 맵을 생성하기 위해 특징 맵 생성기 모듈(832)로 전송될 수 있다. 일부 실시예에서, 출력 데이터는 다수의 이미지들을 포함할 수 있다. 생성된 특징 맵은 표본에서 특징들을 식별하고 찾을 수 있다. 생성된 특징 맵은 시각적으로 표시되거나, 인쇄되거나, 파일 형식으로 생성되어 저장된 정보 데이터베이스(836)에 저장되거나 추가 처리를 위해 다른 모듈로 전송될 수 있다.
또한, 생성된 특징 맵은 표본의 특정 특징들 및/또는 영역들에 대한 FMIS(100)에 의한 추가 검사에 초점을 맞추는데 사용될 수 있다. 특징들 및 영역들의 특성에 근거하여, 저장된 정보는 저장된 정보 데이터베이스(836)로부터 검색될 수 있다. 예를 들어, 각각의 특징 및/또는 관심 영역에 대해, 명령어들은 서로 다른 이미지들을 캡처하기 위해 서로 다른 여기/방출 필터들을 사용하여, 서로 다른 파장들 및 강도 레벨들에서, 서로 다른 광원들 및 조명 기술들을 적용하기 위해 저장된 정보 데이터베이스(836)로부터 검색되고, 제어 모듈(110)로 전송될 수 있다. 예를 들어, 하나 이상의 이미징 디바이스 앞에(before) 서로 다른 대역통과 방출 필터들을 적용함으로써, 서로 다른 형광 방출들이 감지되고 표본의 서로 다른 특징들(예를 들어, 표본 표면의 불규칙성 또는 결함들)이 식별될 수 있다.
도 10은 딥(deep) 컨볼루션 네트워크 분류기(1005)를 사용하는 이미지 처리 모듈(834)을 트레이닝하기 위한 일 실시예를 설명한다. 분류기(1005)는 시뮬레이션된 증강 데이터(1007)를 사용하여 트레이닝될 수 있다. 예를 들어, 서로 다른 유형들의 표본들에 대해 알려진 결함들은 서로 다른 방향, 서로 다른 크기, 서로 다른 픽셀 강도, 표본 상의 서로 다른 위치에서 생성될 수 있다(1006 및 1009). 이러한 알려진 결함들의 형상은 흐릿하고(blurred)/흐릿하거나 왜곡될 수 있다. 일단 트레이닝되면, FMIS(100)의 하나 이상의 후보 이미지가 분류기에 입력될 수 있다(1009). 일부 실시예에서, 이미지(1001)는 먼저 특정 영역들을 검출하고 그 영역들로부터 특징들을 추출함으로써 처리된다(1002 및 1003). 분류기(1005)는 이후 추출된 특징들을 분석하고 특징들을 유형들로 분류하고 표본에서 그 특징들을 찾는데 사용된다(1010). FMIS(100)에 의해 사용될 수 있는 표본 상의 특징을 찾기 위한 몇 가지 예시적인 방법은 "Macro Inspection Systems, Apparatus and Methods"라는 제목의 미국 특허 출원 번호 16/262,017에 설명되어 있으며, 이 특허 문헌은 그 전체가 본 명세서에 참조로 포함된다. 일부 실시예에서, 알려진 결함들은 서로 다른 구조, 크기 및 형상을 갖는 적층 결함들을 포함한다.
일부 실시예에서, 임의의 적절한 컴퓨터 판독가능 매체는 본 명세서에 설명된 기능들 및/또는 프로세스들을 수행하기 위한 명령들을 저장하는데 사용될 수 있다. 예를 들어, 일부 실시예에서, 컴퓨터 판독가능 매체는 일시적이거나 비일시적일 수 있다. 예를 들어, 비일시적 컴퓨터 판독 가능 매체는 다음과 같은 매체를 포함할 수 있다: 비일시적 자기 매체(예: 하드 디스크, 플로피 디스크 등), 비일시적 광학 매체(예: 콤팩트 디스크, 디지털 비디오 디스크, 블루-레이(Blu-ray) 디스크 등), 비일시적 반도체 매체(예: 플래시 메모리, 전기적으로 프로그래밍 가능한 판독 전용 메모리(EPROM), 전기적으로 지울 수 있는 프로그램 가능한 판독 전용 메모리(EEPROM) 등), 일시적이지 않거나 전송 중 영구적인 것처럼 보이는 임의의 적절한 매체, 및/또는 임의의 적절한 유형의 매체. 또 하나의 예로서, 일시적인 컴퓨터 판독 가능 매체는 네트워크 상의 신호, 전선, 전도체, 광섬유, 회로, 및 전송 중 일시적이고 영속성이 없는 임의의 적절한 매체, 및/또는 임의의 적절한 무형 매체를 포함할 수 있다.
여기에 설명된 다양한 시스템, 방법 및 컴퓨터 판독 가능 매체는 클라우드 네트워크 환경의 일부로 구현될 수 있다. 이 문서에서 사용된 바와 같은 클라우드 기반 컴퓨팅 시스템은 가상화된 컴퓨팅 리소스, 소프트웨어 및/또는 정보를 클라이언트 디바이스에 제공하는 시스템이다. 컴퓨팅 리소스, 소프트웨어 및/또는 정보는 네트워크와 같은 통신 인터페이스를 통해 에지(edge) 디바이스가 액세스할 수 있는 중앙 집중식 서비스 및 리소스를 유지함으로써 가상화될 수 있다. 클라우드는 서비스로서의 소프트웨어(software as a service; SaaS)(예: 협업(collaboration) 서비스, 이메일 서비스, 엔터프라이즈 리소스 관리(enterprise resource planning) 서비스, 콘텐츠 서비스, 통신 서비스 등), 서비스로서의 인프라(infrastructure as a service; IaaS)(예: 보안 서비스, 네트워킹 서비스, 시스템 관리 서비스 등), 서비스로서의 플랫폼(platform as a service; PaaS)(예: 웹 서비스, 스트리밍 서비스, 애플리케이션 개발 서비스 등), 및 서비스로서의 데스크탑(desktop as a service; DaaS), 서비스로서의 정보 기술 관리(ITaaS), 서비스로서의 관리형 소프트웨어(MSaaS), 서비스로서의 모바일 백엔드(backend)(MBaaS) 등과 같은 다른 유형들의 서비스와 같은 클라우드 요소들을 통해 다양한 클라우드 컴퓨팅 서비스들을 제공할 수 있다.
여기에 설명된 예시들의 제공(또한 "~와 같은", "예를 들어", "포함하는" 등으로 표현된 절)은 청구된 주제를 특정 예에 제한하는 것으로 해석되어서는 안되며; 오히려, 그러한 예시들은 가능한 많은 측면(양태)들 중 일부만을 설명하기 위한 것이다. 당업자는 메커니즘이라는 용어가 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 적절한 조합을 포함할 수 있음을 이해할 것이다.
위의 논의에서 명백하게 달리 명시되지 않는 한, 설명 전반에 걸쳐, "결정하는", "제공하는", "식별하는", "비교하는" 등과 같은 용어를 사용하는 논의들은, 컴퓨터 시스템 메모리 또는 레지스터 또는 기타 정보 저장소(스토리지), 전송 또는 표시(디스플레이) 디바이스들 내에서 물리적 (전자) 수량(quantities)으로 표시된 데이터를 조작하고 변환하는 컴퓨터 시스템 또는 이와 유사한 전자 컴퓨팅 디바이스의 동작 및 프로세스들을 지칭하는 것으로 이해된다. 본 개시의 특정 양태들은 알고리즘의 형태로 본 명세서에 설명된 프로세스 단계들 및 명령들을 포함한다. 본 개시 내용의 프로세스 단계들 및 명령들은 소프트웨어, 펌웨어 또는 하드웨어로 구현될 수 있고, 소프트웨어로 구현될 때에는, 실시간 네트워크 운영 체제에 의해 사용되는 서로 다른 플랫폼들 상에 상주하고 그것들로부터 작동되도록 다운로드될 수 있다는 점에 유의해야 한다.
본 개시는 또한 본 명세서의 동작(작동)들을 수행하기 위한 장치에 관한 것이다. 이 장치는 필요한 목적을 위해 특별히 구성되거나, 또는 컴퓨터가 액세스할 수 있는 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨터를 포함할 수 있다. 이러한 컴퓨터 프로그램은 다음과 같은 컴퓨터 판독 가능 저장 매체에 저장될 수 있지만, 그것들로 제한되는 것은 아니다: 플로피 디스크, 광학 디스크, CD-ROM, 자기 광학 디스크를 포함하는 임의의 유형의 디스크, ROM(판독 전용 메모리), 랜덤 액세스 메모리(RAM), EPROM, EEPROM, 자기 또는 광학 카드, 주문형 집적 회로(ASIC), 또는 전자 명령들을 저장하기에 적합한 임의의 유형의 비일시적 컴퓨터 판독 가능 저장 매체. 게다가, 본 명세서에서 언급된 컴퓨터는 단일 프로세서를 포함할 수 있거나, 향상된 컴퓨팅 능력을 위해 다중 프로세서 설계들을 사용하는 아키텍처일 수 있다.
본 명세서에 제시된 알고리즘들 및 동작들은 본질적으로 특정 컴퓨터 또는 기타 장치와 관련이 없다. 다양한 범용 시스템들이 본 명세서의 교시에 따른 프로그램과 함께 사용될 수도 있거나, 필요한 방법 단계들 및 시스템 관련 동작들을 수행하기 위해 보다 전문화된 장치를 구성하는 것이 편리할 수도 있다. 이러한 다양한 시스템들에 필요한 구조는 동등한 변형들과 함께 당업자에게 명백할 것이다. 또한, 본 개시는 임의의 특정 프로그래밍 언어를 참조하여 설명되지 않는다. 다양한 프로그래밍 언어들이 본 명세서에 설명된 바와 같은 본 개시의 교시들을 구현하기 위해 사용될 수 있고, 특정 언어에 대한 임의의 참조가 본 개시의 인에이블먼트(enablement) 및 최상의 모드의 개시를 위해 제공된다는 것이 이해된다.
FM 검사 장치, 방법 및 시스템은 이들 예시된 실시예들을 구체적으로 참조하여 상세히 설명되었다. 그러나, 전술한 명세서에서 설명된 바와 같은 본 개시의 사상 및 범위 내에서 다양한 수정 및 변경이 이루어질 수 있고, 그러한 수정 및 변경은 본 개시의 균등물 및 일부로 간주되어야 한다는 것이 명백할 것이다.
Claims (19)
- 현미경 시스템으로서,
프레임;
상기 프레임에 연결되고 적어도 표본이 형광을 일으키게 하는 제 1 광 파장과 표본이 형광을 일으키게 하지 않는 제 2 광 파장을 방출하도록 구성된 하나 이상의 비간섭 광원 - 방출된 광은 상기 표본으로 전달되도록(directed) 구성됨 -;
상기 프레임에 연결되고 상기 하나 이상의 비간섭 광원으로부터 나오는 광을 필터링하도록 구성된 여기(excitation) 필터 - 상기 필터링된 광은 상기 표본과 연관된 소정의 밴드갭 에너지와 일치하도록 구성됨 -;
상기 프레임에 연결되고 명시야 채널과 암시야 채널을 포함하는 대물렌즈;
부착물을 통해 상기 대물렌즈에 연결된 노즈피스(nosepiece);
상기 프레임에 연결되고 상기 대물렌즈와 상기 하나 이상의 비간섭 광원 사이의 광로(lightpath)를 따라 위치하는 슬라이더 - 상기 슬라이더는 광을 비스듬한 각도로 상기 표본에 향하게 하도록 구성된 적어도 암시야 채널로 상기 광로를 따라 광을 전송하도록 구성된 적어도 하나의 구성을 포함함 -;
상기 프레임에 연결되고 상기 표본으로부터 반사된 광의 선택된 파장들을 수신 카메라로 필터링하도록 구성된 방출 필터;
하나 이상의 프로세서; 및
명령들을 저장하는 메모리를 포함하고,
상기 명령들이 상기 하나 이상의 프로세서에 의해 실행된 결과에 의해 상기 현미경 시스템은:
상기 표본으로부터 반사된 상기 전달된 광에 근거하는 이미지 데이터를 상기 수신 카메라로부터 획득하고;
수신된 이미지 데이터에 근거하여 트레이닝된 분류기(trained classifier)로 상기 표본을 분류하고;
상기 표본의 분류와 연관된 저장된 시스템 구성들을 검색하고;
상기 시스템 구성들을 상기 비간섭 광원들, 여기 필터, 방출 필터, 또는 상기 수신 카메라 중 하나 이상에 적용하고;
상기 시스템 구성들이 적용된 후에 상기 수신 카메라로부터 추가 이미지 데이터를 획득하고;
상기 획득된 추가 이미지 데이터에 근거하여 이미지 데이터 모델로 표본 결함들을 식별하고; 그리고
상기 표본 결함들에 근거하여 특징 맵(feature map)을 생성하는 것을 특징으로 하는, 현미경 시스템. - 제 1 항에 있어서,
상기 슬라이더의 적어도 하나의 구성은 광을 상기 명시야 채널과 상기 암시야 채널 둘 다에 전송하도록 구성되는, 현미경 시스템. - 제 1 항에 있어서,
상기 슬라이더는 상기 프레임에 연결된 그리고 암시야 삽입물 아래에 위치된 필터 슬라이더이고, 상기 필터 슬라이더는 다수의 유형들의 여기 필터들; 및 상기 명시야 채널 또는 상기 암시야 채널 중 하나 이상에 대한 하나 이상의 추가 방출 필터를 제공하도록 구성되는, 현미경 시스템. - 제 1 항에 있어서,
적어도 제 2 카메라를 더 포함하고,
상기 방출된 광은 각자의 카메라들로 향하는 가시광선 및 비(non)-가시광선을 포함하는, 현미경 시스템. - 제 1 항에 있어서,
상기 프레임에 연결된 하나 이상의 추가 카메라를 더 포함하고,
각각의 추가 카메라는 각자의 고유한 광 파장들을 수신하도록 구성되는, 현미경 시스템. - 제 1 항에 있어서,
하나 이상의 프로세서; 및
명령들을 저장하는 메모리를 더 포함하고,
상기 명령들이 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 명령들에 의해 상기 하나 이상의 프로세서는:
상기 표본으로부터의 상기 전달된 광에 근거하는 이미지 데이터를 상기 수신 카메라로부터 수신하고;
상기 수신된 이미지 데이터에 근거하여 트레이닝된 분류기(trained classifier)로 상기 표본을 분류하고;
상기 표본의 분류와 연관된 저장된 시스템 구성들을 검색하고; 그리고
상기 시스템 구성들을 상기 광원들, 여기 필터, 방출 필터, 또는 수신 카메라 중 하나 이상에 적용하는, 현미경 시스템. - 제 6 항에 있어서,
상기 메모리는:
상기 시스템 구성들이 적용된 후에 수신되는 추가 이미지 데이터를 상기 수신 카메라로부터 수신하고;
상기 수신된 추가 이미지 데이터에 근거하여 이미지 데이터 모델로 표본 결함들을 식별하고; 그리고
상기 표본 결함들에 근거하여 특징 맵을 생성하기 위해
추가 명령들을 저장하는, 현미경 시스템. - 제 1 항에 있어서,
상기 하나 이상의 비간섭 광원은:
상기 프레임에 연결되고 상기 하나 이상의 비간섭 광원으로부터 상기 표본으로 반사 광을 방출하도록 구성된 제 1 광원; 및
상기 표본 아래의 상기 프레임에 부착되고, 하나의 또는 제 1의 상기 비간섭 광원에 의해 방출되는 광과 동시에 상기 표본을 향하는 광을 방출하여 상기 표본 상의(on) 광의 강도를 증가시키도록 구성된 추가 광원을 더 포함하는, 현미경 시스템. - 제 1 항에 있어서,
상기 프레임에 연결되고 방출된 광을 상기 표본 쪽으로 향하게 하도록 구성된 빔 스플리터(beam splitter)를 더 포함하는 현미경 시스템. - 하나 이상의 비간섭 광원으로부터, 적어도 표본이 형광을 일으키게 하는 제 1 광 파장 및 상기 표본이 형광을 일으키게 하지 않는 제 2 광 파장을 방출하는 단계 - 방출된 광은 상기 표본으로 전달됨 -;
여기 필터를 통해 상기 방출된 광을 필터링하는 단계 - 상기 필터링된 광은 소정의 밴드갭 에너지와 일치함 -;
슬라이더를 통해 상기 방출된 광을 비스듬한 각도로 대물렌즈의 암시야 채널을 통해 상기 표본으로 전송하는 단계;
방출 필터를 사용하여, 상기 표본으로부터 반사된 광을 수신 카메라로 전달하는 단계 - 상기 반사된 광은 전달된 상기 필터링된 광에 반응하고, 상기 표본으로부터 반사된 상기 전달된 광은 선택된 파장들을 포함함 -;
상기 표본으로부터 반사된 상기 전달된 광에 근거하는 이미지 데이터를 상기 수신 카메라로부터 획득하는 단계;
상기 이미지 데이터에 근거하여 트레이닝된 분류기로 상기 표본을 분류하는 단계;
상기 표본의 분류와 연관된 저장된 시스템 구성들을 검색하는 단계;
상기 시스템 구성들을 상기 비간섭 광원들, 상기 여기 필터, 상기 방출 필터, 또는 상기 수신 카메라 중 하나 이상에 적용하는 단계;
상기 시스템 구성들이 적용된 후에 상기 수신 카메라로부터 추가 이미지 데이터를 획득하는 단계;
상기 획득된 추가 이미지 데이터에 근거하여 이미지 데이터 모델로 표본 결함들을 식별하는 단계; 및
상기 표본 결함들에 근거하여 특징 맵을 생성하는 단계를 포함하는 방법. - 제 10 항에 있어서,
상기 슬라이더를 통해 상기 필터링된 광을 상기 표본에 상기 대물렌즈의 명시야 채널로 전송하는 단계를 더 포함하는 방법. - 제 10 항에 있어서,
조명들의 링을 포함하는, 상기 대물렌즈의 암시야 채널 위에 위치한 암시야 삽입물이 상기 대물렌즈의 암시야 채널을 통해 비스듬한 각도로 상기 표본에 광을 방출하는, 방법. - 제 10 항에 있어서,
상기 방출된 광은 가시광선 및 비-가시광선을 포함하고, 그리고
제 2 카메라에 의해, 상기 표본으로부터 반사된 상기 전달된 광의 적어도 일부를 수신하는 단계를 더 포함하는 방법. - 제 10 항에 있어서,
하나 이상의 추가 카메라에 의해, 상기 표본으로부터 반사된 광의 고유 파장들을 수신하는 단계를 더 포함하는 방법. - 제 10 항에 있어서,
상기 표본으로부터 반사된 상기 전달된 광에 근거하는 이미지 데이터를 상기 수신 카메라로부터 수신하는 단계;
상기 수신된 이미지 데이터에 근거하여 트레이닝된 분류기로 상기 표본을 분류하는 단계;
상기 표본의 분류와 연관된 저장된 시스템 구성들을 검색하는 단계; 및
상기 시스템 구성들을 상기 광원들, 여기 필터, 방출 필터, 또는 수신 카메라 중 하나 이상에 적용하는 단계를 더 포함하는 방법. - 제 15 항에 있어서,
상기 시스템 구성들이 적용된 후에 수신되는 추가 이미지 데이터를 상기 수신 카메라로부터 수신하는 단계;
상기 수신된 추가 이미지 데이터에 근거하여 이미지 데이터 모델로 표본 결함들을 식별하는 단계; 및
상기 표본 결함들에 근거하여 특징 맵을 생성하는 단계를 더 포함하는 방법. - 제 10 항에 있어서,
상기 하나 이상의 비간섭 광원 중 제 1 광원으로부터 상기 표본 쪽으로 제 1 광을 방출하는 단계; 및
상기 표본의 아래로부터, 상기 하나 이상의 비간섭 광원 중 추가 광원으로부터 상기 표본을 향하는 제 2 광을 방출하여, 상기 표본 상의 광의 강도를 증가시키는 단계를 더 포함하고,
추가 광은 상기 하나 이상의 비간섭 광원 중 상기 제 1 광원에 의해 방출된 광과 동시에 방출되는, 방법. - 제 10 항에 있어서,
빔 스플리터를 사용하여 상기 방출된 광을 상기 표본 쪽으로 향하게 하는 단계를 더 포함하는 방법. - 현미경 장치로서,
적어도 표본이 형광을 일으키게 하는 제 1 광 파장과 상기 표본이 형광을 일으키게 하지 않는 제 2 광 파장을 방출하도록 구성된 하나 이상의 비간섭 광원 - 방출된 광은 상기 표본으로 전달되도록 구성됨 -;
상기 하나 이상의 광원으로부터 나오는 광을 필터링하도록 구성된 여기 필터 - 상기 필터링된 광은 상기 표본과 연관된 소정의 밴드갭 에너지와 일치하도록 구성됨 -;
명시야 채널과 암시야 채널을 포함하는 대물렌즈;
부착물을 통해 상기 대물렌즈에 연결된 노즈피스;
상기 부착물에 고정되고 상기 대물렌즈의 암시야 채널 위에 위치한 암시야 삽입물 - 상기 암시야 삽입물은 상기 표본에 비스듬한 각도로 광을 투사하도록 구성된 조명들의 링을 포함함 -;
상기 표본으로부터 반사된 광의 선택된 파장들을 수신 카메라로 필터링하도록 구성된 방출 필터;
하나 이상의 프로세서; 및
명령들을 저장하는 메모리를 포함하고,
상기 명령들이 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 명령들에 의해 상기 하나 이상의 프로세서는:
상기 표본으로부터 반사된 상기 전달된 광에 근거하는 이미지 데이터를 상기 수신 카메라로부터 수신하고;
상기 수신된 이미지 데이터에 근거하여 트레이닝된 분류기로 상기 표본을 분류하고;
상기 표본의 분류와 연관된 저장된 시스템 구성들을 검색하고;
상기 시스템 구성들을 상기 광원들, 여기 필터, 방출 필터, 또는 수신 카메라 중 하나 이상에 적용하고;
상기 시스템 구성들이 적용된 후에 수신되는 추가 이미지 데이터를 상기 수신 카메라로부터 수신하고;
상기 수신된 추가 이미지 데이터에 근거하여 이미지 데이터 모델로 표본 결함들을 식별하고; 그리고
상기 표본 결함들에 근거하여 특징 맵을 생성하는 것을 특징으로 하는, 현미경 장치.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962802246P | 2019-02-07 | 2019-02-07 | |
| US62/802,246 | 2019-02-07 | ||
| US16/399,058 | 2019-04-30 | ||
| US16/399,058 US10578850B1 (en) | 2019-02-07 | 2019-04-30 | Fluorescence microscopy inspection systems, apparatus and methods |
| PCT/US2020/016497 WO2020163267A1 (en) | 2019-02-07 | 2020-02-04 | Fluorescence microscopy inspection systems, apparatus and methods |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247019632A Division KR20240096890A (ko) | 2019-02-07 | 2020-02-04 | 형광 현미경 검사 시스템, 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210122293A true KR20210122293A (ko) | 2021-10-08 |
| KR102675890B1 KR102675890B1 (ko) | 2024-06-14 |
Family
ID=71944815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217027949A KR102675890B1 (ko) | 2019-02-07 | 2020-02-04 | 형광 현미경 검사 시스템, 장치 및 방법 |
Country Status (6)
| Country | Link |
|---|---|
| US (3) | US11294162B2 (ko) |
| EP (1) | EP3909236A4 (ko) |
| JP (2) | JP7226856B2 (ko) |
| KR (1) | KR102675890B1 (ko) |
| CN (1) | CN113412613B (ko) |
| WO (1) | WO2020163267A1 (ko) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113646877B (zh) * | 2019-03-28 | 2023-08-18 | 浜松光子学株式会社 | 检查装置及检查方法 |
| WO2021067726A1 (en) * | 2019-10-03 | 2021-04-08 | The Regents Of The University Of California | Fluorescence imitating brightfield imaging |
| EP4027182A1 (en) * | 2021-01-08 | 2022-07-13 | Leica Microsystems CMS GmbH | Lightsheet fluorescence microscopy for a plurality of samples |
| CN114295565B (zh) * | 2021-12-28 | 2023-08-08 | 上海集成电路装备材料产业创新中心有限公司 | 测定图像传感器量子效率的方法、装置、设备和介质 |
| CN114581782B (zh) * | 2022-05-06 | 2022-08-16 | 南京航空航天大学 | 一种基于由粗到精检测策略的细微缺陷检测方法 |
| CN115825076B (zh) * | 2022-11-07 | 2024-05-28 | 睿励科学仪器（上海）有限公司 | 一种缺陷检测装置和检测方法 |
| CN116429766A (zh) * | 2023-03-23 | 2023-07-14 | 长园视觉科技(珠海)有限公司 | 基于多通道分离的方法、系统、装置及存储介质 |
| CN117492161B (zh) * | 2023-12-29 | 2024-04-12 | 深圳市迈腾电子有限公司 | 均光片定位与纠偏方法、电子设备与计算机可读介质 |
Family Cites Families (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03266809A (ja) * | 1990-03-16 | 1991-11-27 | Mitsutoyo Corp | 紫外域用落射蛍光顕微鏡 |
| JPH08145888A (ja) * | 1994-11-16 | 1996-06-07 | Olympus Optical Co Ltd | 蛍光測色装置 |
| JP3526489B2 (ja) * | 1995-05-25 | 2004-05-17 | オリンパス株式会社 | 落射蛍光顕微鏡 |
| US6259807B1 (en) | 1997-05-14 | 2001-07-10 | Applied Imaging Corp. | Identification of objects of interest using multiple illumination schemes and finding overlap of features in corresponding multiple images |
| CN1304866C (zh) * | 2000-03-24 | 2007-03-14 | 奥林巴斯光学工业株式会社 | 显微镜装置 |
| US20040207836A1 (en) | 2002-09-27 | 2004-10-21 | Rajeshwar Chhibber | High dynamic range optical inspection system and method |
| US7027143B1 (en) * | 2002-10-15 | 2006-04-11 | Kla-Tencor Technologies Corp. | Methods and systems for inspecting reticles using aerial imaging at off-stepper wavelengths |
| US7525659B2 (en) * | 2003-01-15 | 2009-04-28 | Negevtech Ltd. | System for detection of water defects |
| US7630065B2 (en) * | 2005-02-21 | 2009-12-08 | Olympus Corporation | Low-light specimen image pickup unit and low-light specimen image pickup apparatus |
| TWI439684B (zh) | 2005-07-06 | 2014-06-01 | Nanometrics Inc | 具自晶圓或其他工件特定材料層所發射光致發光信號優先偵測之光致發光成像 |
| EP1904826B1 (en) * | 2005-07-14 | 2019-02-20 | Battelle Memorial Institute | Systems and methods for biological and chemical detection |
| JP4778755B2 (ja) * | 2005-09-09 | 2011-09-21 | 株式会社日立ハイテクノロジーズ | 欠陥検査方法及びこれを用いた装置 |
| JP4723362B2 (ja) * | 2005-11-29 | 2011-07-13 | 株式会社日立ハイテクノロジーズ | 光学式検査装置及びその方法 |
| JP2008116405A (ja) * | 2006-11-07 | 2008-05-22 | Hitachi High-Technologies Corp | 欠陥検査方法及びその装置 |
| JP4936867B2 (ja) * | 2006-12-05 | 2012-05-23 | 株式会社キーエンス | 拡大画像観察装置、拡大画像観察方法 |
| MX2010002556A (es) | 2007-09-07 | 2010-08-02 | Fluidigm Corp | Metodos y sistemas para determinar la variacion del numero de copia. |
| EP2286175A4 (en) * | 2008-06-03 | 2017-04-12 | Hwan J. Jeong | Interferometric defect detection and classification |
| JP5387328B2 (ja) | 2009-08-31 | 2014-01-15 | ソニー株式会社 | 蛍光像取得装置、蛍光像取得方法及び蛍光像取得プログラム |
| US9163987B2 (en) | 2010-08-24 | 2015-10-20 | Kla-Tencor Corporation | Defect inspection and photoluminescence measurement system |
| US8947777B2 (en) | 2011-02-25 | 2015-02-03 | Utah State University Research Foundation | Multiple petal deployable telescope |
| JP5247950B1 (ja) | 2011-09-30 | 2013-07-24 | 三洋電機株式会社 | ビームスプリッタおよび観察装置 |
| US20130260382A1 (en) | 2012-02-21 | 2013-10-03 | Inscopix, Inc. | Systems and methods for utilizing microscopy |
| US9575304B2 (en) | 2012-06-25 | 2017-02-21 | Huron Technologies International Inc. | Pathology slide scanners for fluorescence and brightfield imaging and method of operation |
| BR112016005728B1 (pt) * | 2013-09-18 | 2022-04-19 | Illumigyn Ltd | Sistema para geração de imagens diretas, diagnóstico e remoção de células anormais em um tecido alvo |
| WO2015105831A1 (en) * | 2014-01-08 | 2015-07-16 | Colorado Seminary, Which Owns And Operates The University Of Denver | A wavelength dispersive microscope spectrofluorometer for characterizing multiple particles simultaneously |
| KR102058453B1 (ko) | 2014-10-14 | 2019-12-23 | 나노트로닉스 이미징, 인코포레이티드 | 명시야 암시야 대물렌즈를 이용한 고유의 비스듬한 조명 기술 및 그에 관련한 이미징 방법 |
| JP6555680B2 (ja) | 2015-01-26 | 2019-08-07 | オリンパス株式会社 | 顕微鏡用照明装置 |
| US10067072B2 (en) * | 2015-07-10 | 2018-09-04 | Kla-Tencor Corporation | Methods and apparatus for speckle suppression in laser dark-field systems |
| US9567159B2 (en) | 2015-07-10 | 2017-02-14 | Triton Manufacturing, Inc. | Method and apparatus for constructing steel garbage dumpsters |
| DE102016109945A1 (de) * | 2015-11-05 | 2017-05-11 | Leica Microsystems Cms Gmbh | Mikroskop für die Durchlicht- und Fluoreszenzmikroskopie |
| US10346740B2 (en) * | 2016-06-01 | 2019-07-09 | Kla-Tencor Corp. | Systems and methods incorporating a neural network and a forward physical model for semiconductor applications |
| US11580398B2 (en) * | 2016-10-14 | 2023-02-14 | KLA-Tenor Corp. | Diagnostic systems and methods for deep learning models configured for semiconductor applications |
| US10234402B2 (en) * | 2017-01-05 | 2019-03-19 | Kla-Tencor Corporation | Systems and methods for defect material classification |
| KR102414312B1 (ko) | 2017-02-10 | 2022-06-28 | 나노트로닉스 이미징, 인코포레이티드 | 현미경 검사에서 대 영역 이미징을 용이하게 하는 카메라 및 표본 정렬 |
| TWI778078B (zh) * | 2017-06-14 | 2022-09-21 | 以色列商肯提克有限公司 | 用於自動缺陷分類之方法及系統以及相關非暫時性電腦程式產品 |
| US10146041B1 (en) | 2018-05-01 | 2018-12-04 | Nanotronics Imaging, Inc. | Systems, devices and methods for automatic microscope focus |
| US10578850B1 (en) | 2019-02-07 | 2020-03-03 | Nanotronics Imaging, Inc. | Fluorescence microscopy inspection systems, apparatus and methods |
-
2020
- 2020-01-24 US US16/751,303 patent/US11294162B2/en active Active
- 2020-02-04 EP EP20753126.0A patent/EP3909236A4/en active Pending
- 2020-02-04 CN CN202080013058.3A patent/CN113412613B/zh active Active
- 2020-02-04 WO PCT/US2020/016497 patent/WO2020163267A1/en unknown
- 2020-02-04 KR KR1020217027949A patent/KR102675890B1/ko active IP Right Grant
- 2020-02-04 JP JP2021545880A patent/JP7226856B2/ja active Active
-
2022
- 2022-04-04 US US17/657,818 patent/US11662563B2/en active Active
-
2023
- 2023-02-02 JP JP2023014840A patent/JP2023052870A/ja active Pending
- 2023-05-26 US US18/324,317 patent/US20230296872A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023052870A (ja) | 2023-04-12 |
| US11294162B2 (en) | 2022-04-05 |
| JP7226856B2 (ja) | 2023-02-21 |
| US20200257100A1 (en) | 2020-08-13 |
| EP3909236A1 (en) | 2021-11-17 |
| CN113412613A (zh) | 2021-09-17 |
| JP2022520542A (ja) | 2022-03-31 |
| US11662563B2 (en) | 2023-05-30 |
| EP3909236A4 (en) | 2022-10-12 |
| US20220221703A1 (en) | 2022-07-14 |
| WO2020163267A1 (en) | 2020-08-13 |
| CN113412613B (zh) | 2024-01-09 |
| KR102675890B1 (ko) | 2024-06-14 |
| US20230296872A1 (en) | 2023-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102675890B1 (ko) | 형광 현미경 검사 시스템, 장치 및 방법 | |
| US10578850B1 (en) | Fluorescence microscopy inspection systems, apparatus and methods | |
| KR102539921B1 (ko) | 자동으로 생성된 결함 피처를 가진 반도체 구조의 검사를 위한 방법 및 시스템 | |
| JP7080884B2 (ja) | 三次元半導体構造の検査用の欠陥発見およびレシピ最適化 | |
| JP6272617B2 (ja) | 複数のサブ画像から構成される物体の複合画像を生成するための方法 | |
| US20230316465A1 (en) | System, method and apparatus for macroscopic inspection of reflective specimens | |
| KR102650301B1 (ko) | 장애물 필터링을 위한 심층 학습 네트워크 | |
| WO2020076591A1 (en) | Macro inspection systems, apparatus and methods | |
| TW202043744A (zh) | 無監督之缺陷分段 | |
| TW202225677A (zh) | 使用深度學習之3d結構檢測或計量 | |
| JP6509818B2 (ja) | 顕微鏡システムにおいて平行撮像を用いて焦点の合った画像を生成するための装置および方法 | |
| JP2023501581A (ja) | 非直交配置の照明対物レンズおよび集光対物レンズを用いたオープントップ型ライトシート顕微鏡 | |
| US20240126063A1 (en) | Fluorescence microscopy inspection systems, apparatus and methods | |
| TWI837296B (zh) | 螢光顯微鏡檢查系統、裝置及方法 | |
| KR20240096890A (ko) | 형광 현미경 검사 시스템, 장치 및 방법 | |
| US20160018631A1 (en) | High versatile combinable microscope base and microscope having the same | |
| US20230258918A1 (en) | Digital microscope with artificial intelligence based imaging | |
| TW202407331A (zh) | 多模式光學檢測 | |
| Savla | IMPROVED LED ARRAY REFLECTANCE IMAGING FOR HIGH THROUGHPUT APPLICATIONS | |
| CN118111892A (zh) | 基于单源单探测器的超多路成像流式细胞检测装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |