KR20230021136A - 자동 초점 현미경 시스템을 위한 딥 러닝 모델 - Google Patents

자동 초점 현미경 시스템을 위한 딥 러닝 모델 Download PDF

Info

Publication number
KR20230021136A
KR20230021136A KR1020237000838A KR20237000838A KR20230021136A KR 20230021136 A KR20230021136 A KR 20230021136A KR 1020237000838 A KR1020237000838 A KR 1020237000838A KR 20237000838 A KR20237000838 A KR 20237000838A KR 20230021136 A KR20230021136 A KR 20230021136A
Authority
KR
South Korea
Prior art keywords
focal plane
sample
specimen
distance
images
Prior art date
Application number
KR1020237000838A
Other languages
English (en)
Inventor
데니스 와이. 샤로우코브
토니슬라브 이바노브
조나단 리
Original Assignee
나노트로닉스 이미징, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 나노트로닉스 이미징, 인코포레이티드 filed Critical 나노트로닉스 이미징, 인코포레이티드
Publication of KR20230021136A publication Critical patent/KR20230021136A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/26—Stages; Adjusting means therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Studio Devices (AREA)

Abstract

컴퓨팅 시스템은 이미지 센서로부터 현미경 시스템의 시료 스테이지에 위치한 시료의 적어도 두 개의 이미지를 수신한다. 컴퓨팅 시스템은 상기 시료의 초점 평면까지의 적어도 하나의 거리를 검출하기 위해 상기 적어도 두 개의 이미지를 자동 초점 모델에 제공한다. 컴퓨팅 시스템은 자동 초점 모델을 통해 상기 시료의 초점 평면까지의 적어도 하나의 거리를 식별한다. 상기 식별에 기초해, 컴퓨팅 시스템은 현미경 시스템의 대물 렌즈에 대한 상기 시료의 위치를 자동으로 조정한다.

Description

자동 초점 현미경 시스템을 위한 딥 러닝 모델
관련 출원에 대한 교차 참조
본 출원은 2020년 8월 7일에 출원된 미국 가출원 제63/062,592호의 우선권을 주장하며, 그 전문이 참조로 여기에 포함된다.
초점 평면을 찾는 것은 이미징 시스템에서 중요하다. 올바른 초점 평면에서 관심있는 모든 특징은 명확하게 보이고 높은 대비를 갖는다. 현미경 관찰에서, 이 평면을 찾는 것은 일반적으로 이미지가 얼마나 포커스되어 있는지를 평가하는 대비 점수 메트릭과 더 높은 대비 점수를 가지는 이미지로 시스템을 안내하는 z-축 검색 알고리즘을 사용하여 수행된다. 그러나 이 포커스 절차는 넓은 Z축 범위에 걸쳐 있는 많은 수의 이미지를 수집하고 평가하기 때문에 시간이 많이 소요될 수 있다. 또한, 주어진 샘플에 대한 최상의 대비 점수 메트릭을 식별하는 것은 사소한 작업이 아니다. 예를 들어, 시료 검사 분야에서, 이러한 문제는 시료당 여러 위치에서 포커싱을 요구하는 많은 수의 시료의 검사를 포함하는 높은 처리량 생산 목표를 방해할 수 있다. 또다른 예에서, 빛에 민감한 생물학적 샘플의 검사 분야에서, 샘플의 광표백은 샘플에 대해 종래에 따른 포커싱하는 동안 빛에 장기간 노출되기 때문에 발생할 수 있다.
일부 실시예로, 현미경 시스템이 여기에 개시된다. 현미경 시스템은 시료를 이미징하기 위한 광학 시스템과 상기 광학 시스템을 자동으로 포커싱하기 위한 초점 검출 시스템을 포함한다. 상기 광학 시스템은 대물 렌즈와 이미징 동안 상기 시료를 지원하도록 구성된 시료 스테이지를 포함한다. 상기 초점 검출 시스템은 프로세서와 메모리를 포함하는 컴퓨팅 시스템을 포함한다. 상기 메모리에는 상기 프로세서에 의해 실행될 때 상기 컴퓨팅 시스템이 동작을 수행하도록 프로그래밍 코드가 저장되어 있다. 상기 동작은, 상기 컴퓨팅 시스템에 의해, 상기 광학 시스템으로부터 상기 시료 스테이지에 위치한 상기 시료의 적어도 두개의 이미지를 수신하는 것을 포함한다. 상기 동작은, 상기 컴퓨팅 시스템에 의해, 상기 시료의 초점 평면까지의 적어도 하나의 거리를 검출하기 위해 상기 적어도 두 개의 이미지를 자동 초점 모델에 제공하는 것을 더 포함한다. 상기 동작은 상기 자동 초점 모델을 통해 상기 시료의 초점 평면까지의 적어도 하나의 거리를 식별하는 것을 더 포함한다. 상기 동작은 상기 식별에 기초해 상기 컴퓨팅 시스템에 의해 현미경 시스템의 대물 렌즈에 대한 상기 시료 스테이지의 위치를 자동으로 조정하는 것을 더 포함한다.
일부 실시예로, 방법이 여기에 개시된다. 컴퓨팅 시스템은 이미지 센서로부터 현미경 시스템의 시료 스테이지에 위치한 시료의 적어도 두 개의 이미지를 수신한다. 컴퓨팅 시스템은 상기 시료의 초점 평면까지의 적어도 하나의 거리를 검출하기 위해 상기 적어도 두 개의 이미지를 자동 초점 모델에 제공한다. 컴퓨팅 시스템은 자동 초점 모델을 통해 상기 시료의 초점 평면까지의 적어도 하나의 거리를 식별한다. 상기 식별에 기초해, 컴퓨팅 시스템은 현미경 시스템의 대물 렌즈에 대한 상기 시료의 위치를 자동으로 조정한다.
일부 실시예로, 비일시적 컴퓨터 판독가능 매체가 여기에 개시된다. 비일시적 컴퓨터 판독 가능 매체는 프로세서에 의해 실행될 때 컴퓨팅 시스템이 동작(operations)을 수행하게 하는 하나 이상의 명령 시퀀스를 포함한다. 동작은 이미지 센서로부터 컴퓨팅 시스템에 의해 현미경 시스템의 시료 스테이지에 위치된 시료의 적어도 2개의 이미지를 수신하는 것을 포함한다. 동작은 컴퓨팅 시스템에 의해 시료의 초점 평면까지의 적어도 하나의 거리를 검출하기 위해 자동 초점 모델에 상기 적어도 2개의 이미지를 제공하는 것을 더 포함한다. 동작은 자동 초점 모델을 통해 시료의 초점 평면까지의 적어도 하나의 거리를 식별하는 것을 더 포함한다. 동작은 상기 식별에 기초하여 컴퓨팅 시스템에 의해 현미경 시스템의 대물 렌즈에 대한 시료 스테이지의 위치를 자동으로 조정하는 것을 더 포함한다.
본 발명의 상기 인용된 특징이 상세하게 이해될 수 있는 방식으로, 위에서 간략히 요약한 본 발명의 보다 구체적인 설명은 실시예를 참조하여 얻을 수 있으며, 그 중 일부는 첨부된 도면에 도시되어 있다. 그러나, 첨부된 도면은 본 개시의 전형적인 실시예만을 예시하고 따라서 그 범위를 제한하는 것으로 간주되어서는 안 되며, 이는 본 개시가 다른 동일하게 유효한 실시예를 허용할 수 있다는 점에 유의해야 한다.
도 1은 예시적인 실시예(example embodiments)에 따른 예시적인(exemplary) 현미경 시스템을 나타낸다.
도 2는 예시적인 실시예에 따른 자동 초점 모델의 아키텍쳐를 나타낸다.
도 3은 예시적인 실시예에 따른 현미경 시스템을 자동으로 포커싱하는 방법을 설명하는 흐름도이다.
도 4A는 예시적인 실시예에 따른 시스템 아키텍쳐를 산정하는(computing) 시스템 버스를 나타낸다.
도 4B는 예시적인 실시예에 따른 칩셋 아키텍쳐를 가지는 컴퓨터 시스템을 나타낸다.
이해를 용이하게 하기 위해, 도면에 공통되는 동일한 구성 요소를 지정하기 위해 가능한 경우 동일한 참조 번호가 사용되었다. 일부 실시예에서 개시되는 구성 요소는 특정한 인용없이 다른 실시예에서 유리하게 사용될 수 있음이 고려될 수 있다.
포커싱은 현미경 시스템의 중요한 기능으로 1970년대부터 자동 초점에 대한 연구가 진행되어 왔다. 현미경에 부착된 특수 하드웨어를 사용하여 시스템의 초점을 맞추는 하드웨어 자동 초점과 이미지 데이터에서 실행되는 알고리즘을 사용하여 시스템의 초점을 맞추는 소프트웨어 자동 초점의 두 가지 범주로 분류되는 서로 다른 솔루션이 모색되었다.
상업적으로 이용 가능한 하드웨어 자동 초점 시스템은 일반적으로 정초점(in-focus) 위치를 결정하기 위해 공초점(confocal) 변위 구성에서 레이저 또는 백색광을 이용한다. 정확하고 빠른 반면, 이러한 시스템은 매우 비싸고, 적절하게 반사되는 샘플이 필요할 수 있으며 이미지 아티팩트(artifacts)를 야기할 수 있다. 초점을 맞추는 데 저렴한 하드웨어가 필요하고, 위상 센서를 사용하여 획득한 데이터를 사용한 다음, 초점 거리를 예측하기 위해 심층 강화 학습을 적용하고, 가간섭(coherent) LED 조명에서 촬영된 초점이 흐려진 이미지의 푸리에 변환을 계산한 다음, 초점을 예측하기 위해 완전 연결 푸리에 신경망을 사용하는 몇 가지 다른 하드웨어 기반 포커싱 방법이 제안되었다. 훨씬 더 경제적이지만 이러한 접근 방식 모두 위상 센서와 LED 패턴 조명을 요구해 추가 하드웨어를 설치해야 한다. 일부 시스템에서는 이러한 하드웨어를 설치하는 것이 불가능할 수 있다. 본 시스템은 추가 하드웨어를 요구하지 않는다.
한편, 소프트웨어 알고리즘은 실시간으로 Z축을 조정하고 다양한 Z축 위치에서 이미지를 획득하고 연산을 수행하여 최적의 초점 평면을 찾는다. 스코어링이라고도 알려진, 원시 이미지에 대한 이 계산은 이미지의 초점을 정량화할 수 있는 메트릭을 계산한다. 일반적으로 초점 점수는 Sobel 커널과 같은 엣지 감지 커널을 이미지의 모든 픽셀에 적용하고 픽셀 값을 합산하여 계산되는 대비 메트릭(contrast metric)이다. 점수 메트릭과 함께 몇 가지 다른 검색 알고리즘이 올바른 초점 평면을 식별하기 위해 사용될 수 있다. 선형 또는 이진 검색은 미리 정의된 검색 창 내에서 초점 평면을 찾기 위해 사용될 수 있다. 또는 포물선 검색은 미리 정의된 검색 창의 요구 사항을 제거하기 위해 사용될 수 있다. 이 알고리즘은 초점 점수 함수가 포물선이라고 가정한 다음 초점 점수 포물선의 피크를 예측하기 위해 점수 함수의 도함수를 계산한다. 신호 대 노이즈 비율이 좋고 엣지 특징이 충분한 이미지에서 대비 점수 기능은 초점 평면을 정확하게 결정한다. 그럼에도 불구하고 현미경 척(chuck)을 이동하고 이미지를 획득하는 검색 알고리즘을 수행하는 데는 시간이 많이 걸릴 수 있다.
종래의 포커싱 알고리즘의 시간적 한계를 극복하기 위해, 여기서 설명하는 하나 이상의 기술은 (예를 들어, z-방향으로) 짧은 거리 떨어져 촬영된 적어도 2개의 이미지를 이용하며, 이는 초점 평면까지의 오프셋 거리를 한번에 예측한다. 예를 들어, 여기서 설명하는 하나 이상의 기술은 시료 샘플로부터 상이한 X, Y 및 Z축 위치로부터의 데이터에 대해 학습된 회귀 컨벌루션 신경망(CNN) 모델을 사용할 수 있다. 이러한 접근 방식은 z축을 스윕할(sweeping) 필요없이 한 번에 초점을 맞출 거리를 예측하기 때문에 기존 방법에 비해 훨씬 빠르다. 제한된 입력 데이터로도 본 접근 방식은 매우 높은 수준의 정확도로 초점 거리에 대한 오프셋을 찾는다. 일부 실시예에서, 대비 메트릭(contrast metric)은 예상된 위치가 피사계 심도(depth of field) 내에 있는지 확인하기 위해 사용될 수 있다. 일부 실시예에서, 초점 평면에 도달하지 못한 것과 같은 경우 절차가 반복되거나 오류를 수정하기 위해 미세-초점(fine-focus) 알고리즘이 수행될 수 있다.
일부 실시예에서, 적어도 2개의 이미지는 Z축 위치에서만 상이할 수 있다. 일부 실시예에서, 적어도 2개의 이미지는 추가로 X, Y축 위치에서 상이할 수 있다. 이러한 실시예에서, 자동 초점 모델은 어떤 지점에서 초점 평면까지의 오프셋 거리를 예측할 수 있다. 이러한 접근 방식을 사용하면, Z축이 이동하기를 기다리는 동안 X 및 Y 방향으로 이동할 수 있어 시료의 많은 지점에서 예상 초점 위치를 더 빠르게 획득할 수 있다.
일부 실시예에서, 절차는 분석 중인 시료에 따라 여러 레벨에 대해 반복될 수 있다. 일부 실시예에서, 이러한 동작은 많은 초점 평면을 가지는 시료에 적용될 수 있어 시료 내에서 특정 초점 평면의 일관된 선택을 가능하게 할 수 있다.
일부 실시예에서, 절차는 명시야(bright field) 및 암시야(dark field) 이미징 모두에 적용될 수 있다. 일부 실시예에서, 절차는 형광 이미징에 적용될 수 있다. 일부 실시에에서, 절차는 UV 이미징에 적용될 수도 있다.
위에서 논의된 바와 같이, 종래의 현미경 포커싱 방법은 초점 평면을 추정하기 위해 Z축을 통해 시간 소모적인 스윕을 수행한다. 여기에 설명된 하나 이상의 기술은 설정된 거리만큼 떨어진 최소 2개의 이미지 입력을 사용하여 초기 위치에서 초점 평면까지의 거리 오프셋을 한 번에 예측하는 딥 러닝 모델을 구현하는 시스템을 제공함으로써 종래의 접근 방식을 개선한다. 이 두 이미지의 차이는 디포커스 수차의 양과 초점 평면으로부터의 거리 사이의 직접적인 매핑을 학습하도록 훈련될 수 있는 회귀 CNN 모델을 통해 처리될 수 있다. 일부 실시예에서, 학습 데이터셋은 샘플의 서로 다른 표면 위치와 초점에서 서로 다른 거리에 있는 시료 샘플로부터 획득될 수 있다. 일부 실시예에서, 실측 초점 평면은 Tenengrad 점수 메트릭과 함께 포물선 자동 초점 알고리즘을 사용하여 결정될 수 있다. 일부 실시예에서, CNN 모델은 드물고 패턴화된 시료 샘플에 대해 테스트될 수 있다. 이 모델은 높은 신뢰성으로 초점 위치를 결정할 수 있으며 기존 컴퓨터 비전에 의존하는 기존 방법보다 훨씬 빠르다. 또한, 본 시스템은 초점 평면을 찾을 수 없는 드문 경우를 감지하고 미세 초점 알고리즘을 적용하여 결과를 수정할 수 있다. 충분한 학습 데이터를 수집함으로써 본 딥 러닝 포커싱 모델은 기존의 포커싱 방법보다 훨씬 빠른 대안을 제공한다.
자동 초점을 위한 하나의 종래 접근법은 심층 강화 학습(Deep Reinforcement Learning)을 사용하는 것으로, 이는 시스템에 초점을 맞추기 위해 몇 가지 거칠고 미세한 단계를 통해 자동 초점 정책을 학습한다. 이 시스템과 달리, 본 접근 방식은 단일 단계에서 초점에 도달한다. 다른 기존 방법은 초점이 맞지 않는 이미지를 감지하는 데 사용되는 확률 점수 및/또는 시스템의 초점을 맞추는 데 사용되는 초점 품질 예측을 생성하기 위해 CNN과 수작업 기능의 조합을 생성하기 위해 CNN 기능을 사용한다. 이러한 방법과 달리, 본 시스템은 일부 추상적인 초점 메트릭이 아닌 초점까지의 거리를 직접 예측하도록 구성된다.
또 다른 종래의 접근법은 단일 초점이 흐려진 이미지로부터 초점이 맞춰진 이미지를 생성하는 단일 샷 자동 초점을 설명했다. 예를 들어, 이 접근 방식은 초점이 맞는 이미지와 초점이 맞지 않는 이미지 쌍에서 학습하는 GAN(Generative Adversarial Network)을 활용했다. 본 모델과의 주요 차이점 중 하나는 온라인 설정에서 사용하도록 설계되었으며 초점 거리를 생성한다는 것이다. 이에 비해 이 종래의 모델은 합성된 오프라인 초점이 맞는 이미지를 생성한다. 또한, 자동 초점에 대한 또 다른 기존 접근 방식은 초점이 맞지 않는 단일 이미지에서 초점 거리를 얻기 위해 잔류 CNN을 사용한다. 이 접근 방식은 PSF(Point Spread Function)의 비대칭으로 인해 CNN이 두 번째 이미지 없이도 초점 평면에 대한 오프셋 방향을 식별할 수 있다고 주장한다. 본 시스템은 판단을 내리는데 적어도 2개의 이미지를 이용하기 때문에, 본 시스템은 유사한 가정을 할 필요가 없다.
또한, 또 다른 기존 접근 방식은 고정된 거리에서 촬영한 두 이미지 간의 차이를 이용한 다음, 초점 거리를 예측하기 위해 CNN에 입력한다. 이 차이는 본질적으로 대칭 PSF의 경우 이동 방향(위 또는 아래)을 인코딩한다. 반면에 본 시스템은 기성 신경망을 활용하는 대신 맞춤형 신경망 아키텍쳐를 사용합니다. 본 시스템은 또한 특징이 없고 초점을 맞추기가 훨씬 더 어려운 다양한 유형의 이미지 데이터에 대한 실험을 수행한다.
도 1은 예시적인 실시예(example embodiments)에 따른 예시적인(exemplary) 현미경 시스템을 나타낸다. 현미경 시스템(10)은 시료를 이미징하기 위한 광학 시스템(12)과 자동 포커싱을 위한 초점 검출 시스템(14)을 포함할 수 있다. 현미경 시스템(10)은 광학 시스템(12)으로 변형된 반사광 현미경을 사용할 수 있지만, 투과광 현미경도 유사하게 적용될 수 있다.
광학 시스템(12)은 대물 렌즈(18) 아래에서 시료 S를 두는 시료 스테이지(16)를 포함할 수 있다. 광학 시스템(12)은 시료 S를 조명하기 위한 광원(20)과 수직 조명기(22)를 더 포함할 수 있다. 광학 시스템(12)은 또한 조정가능한 F-Stop(24)을 포함할 수 있다. 이미지 센서(26)는 대물 렌즈(18)를 통해 전송되는 이미지를 수신할 수 있다. 일부 실시예에서, 이미지 센서(26)는 초점 검출 시스템(14)의 구성 요소로 고려될 수 있다.
초점 검출 시스템(14)은 모터(28)와 상기 시료 스테이지(16) (그리고, 그 위의 시료 S)을 대물 렌즈(18) 로 향하거나 멀어지도록 움직이게 동작하는 드라이브 메커니즘(30)을 포함할 수 있다. 드라이브 메커니즘(30)은 시료 스테이지(16)를 전진시키기 위해 모터(28)에 의해 회전하는 나사로 나타낼 수 있다. 예를 들어, 시료 스테이지(16)는 드라이브 메커니즘(30)을 한 방향(예: 시계 방향)으로 회전시킴으로써 위쪽으로 움직일 수 있다. 유사하게, 시료 스테이지(16)는 드라이브 메커니즘(30)을 반대 방향(예: 시계 반대 방향)으로 회전시킴으로써 아래쪽으로 움직일 수 있다. 드라이브 메커니즘(30)이 본 도면에서 스크린으로 구현될 수 있지만, 다른 드라이브 메커니즘이 사용될 수 있음이 이해될 수 있다. 대물 렌즈(18)와 시료 S의 상대적인 움직임은 중요해 드라이브 메커니즘은 대안적으로 또는 추가적으로 시료 S에 대해 상대적으로 그것을 움직일수 있도록 현미경을 조작할 수 있다. 일반적으로, 본 장치 및 방법을 통해 경험적으로 결정되는 피사계 심도(the depths of field)의 크기는 일반적으로 매우 작기 때문에, 드라이브 메커니즘(30)은 스테이지(16) 및 그 위의 시료 S가 마이크론 또는 더 바람직하게는 나노미터 단위의 매우 작은 증분으로 이동될 수 있도록 할 수 있다. 모터(28)는 하나 이상의 연결(34) 또는 무선 통신과 같은 다른 적절한 메커니즘을 통해 모터(28)와 통신할 수 있는 컴퓨팅 시스템(32)에 의해 제어될 수 있다.
일부 실시예에서, 초점 검출 시스템(14)은 또한 F-Stop(24)를 열고 닫기 위한 모터(36)를 포함할 수 있다. 모터(28)과 비슷하게, 모터(36)는 하나 이상의 연결(34) 또는 무선 통신과 같은 다른 적절한 메커니즘을 통해 모터(36)와 통신할 수 있는 컴퓨팅 시스템(32)에 의해 제어될 수 있다.
일부 실시예에서, 컴퓨팅 시스템(32)과 이미지 센서(26)는 하나 이상의 연결(34) 또는 무선 통신과 같은 다른 적절한 메커니즘을 통해 통신할 수 있다. 키보드, 터치 스크린 모니터 또는 기타 표준 수단과 같은 조작자 입력 유닛(42)은 조작자가 원하는 제어 및 데이터를 입력할 수 있도록 하는 데 사용할 수 있다.
도시된 바와 같이, 컴퓨팅 시스템(32)은 자동 초점 모델(100)을 포함할 수 있다. 자동 초점 모델(100)은 광학 시스템(12)의 초점을 맞추기 위해 대물 렌즈(18)에 대하여 시료 스테이지(16)의 위치를 자동으로 조절하도록 구성될 수 있다. 자동 초점 모델(100)은 시료의 2개 이미지의 입력에 기초하여 부호 있는 초점 거리(예: 음수 거리의 양수)를 예측하기 위해 도 1(: 예시적인 실시예에 따른 U-Net 아키텍쳐에 기초한 예측 모델을 도시)에 도시된 회귀 컨벌루션 신경망을 나타낼 수 있다. 예를 들어, 자동 초점 모델(100)은 두 이미지간의 초점의 차이를 식별할 수 있다. 위쪽 이미지가 초점 평면보다 위에 있으면 초점이 덜 맞을 수 있고, 초점 평면보다 아래에 있으면 초점이 더 맞을 수 있기 때문에, 따라서 부호가 있는 이러한 차이는 초점을 맞출 방향을 자동으로 인코딩할 수 있다.
도 2는 예시적인 실시예에 따른 자동 초점 모델(100)의 예시적인 아키텍쳐(200)를 설명하는 블럭도이다. 자동 초점 모델은 덴스 출력층(dense output layer)(204)이 뒤따르는 다섯 개의 컨볼루션 블록(202)를 포함할 수 있다. 각 컨볼루션 블록(202)은 3x3 필터를 갖는 컨볼루션 계층(206), 정류된 선형 활성화 함수(ReLU)(미도시) 및 다운 샘플링 계수가 2인 최대 풀링 계층(210)을 포함할 수 있다. 일부 실시예에서, 배치 정규화 계층(212)은 각각의 최대 풀링 계층(210) 후에 도입될 수 있다.
일부 실시예에서, 자동 초점 모델(100)은 각각의 연속적인 컨볼루션 블록(202)에서 특징 맵의 수를 4에서 시작하여 64까지 두배로 할 수 있다. 자동 초점 모델(100)은 출력 덴스(output dense) 계층 (204)을 더 포함할 수 있다. 출력 덴스 계층 (204)는 이전의 컨볼루션 계층과 완전히 연결된 선형 활성화를 갖는 하나의 노드를 포함할 수 있다. 일부 실시예에서, 선형 활성은 초점 거리에 대한 양수와 음수 값을 달성하는데 사용될 수 있다. 아키텍쳐(200)는 과다학습을 피하기 위해 선택될 수 있지만 그 사이즈는 학습을 효율적으로 만든다.
학습하는 동안, 컴퓨팅 시스템(32)는 손실 함수(loss function)로써 다음과 같이 정의되는 평균 제곱근 오차(RMSE)를 사용할 수 있다.
Figure pct00001
일부 실시예에서, 컴퓨팅 시스템(32)은 He 일반 초기화를 사용해 자동 초점 모델(100)에 대한 가중치를 초기화할 수 있다. 일부 실시예에서, 컴퓨팅 시스템(32)은 학습하는 동안 Adam 최적화기를 사용할 수 있다. 예를 들어, 컴퓨팅 시스템(32)은 초기 학습률이 0.0001이고 학습률이 검증 손실의 안정기에서 10의 거듭제곱으로 감소하는 Adam 최적화기를 사용할 수 있다. 그러나, 당업자는 다른 학습 속도가 사용될 수 있음을 이해한다. 일부 실시예에서, 컴퓨팅 시스템(32)은 예를 들어 학습을 위한 약 16개의 배치 크기와 검증을 위한 약 4개의 배치 크기로 약 100 에포크 동안 자동 초점 모델(100)을 학습시킬 수 있다. 학습하는 동안, 컴퓨팅 시스템(32)은 참조(reference) 자동 초점 알고리즘에 의해 결정된 바와 같이 최적의 초점 위치로부터 이미지의 거리를 계산하고 이 거리가 대물 렌즈(18)의 피사계 심도(DoF) 내에 있는지 확인함으로써 이미지의 초점이 맞는지 평가할 수 있다. 예를 들어, 5X 대물렌즈의 경우 거리는 약 12.2μm이다. 컴퓨팅 시스템(32)은 다음과 같이 초점이 맞는 이미지의 백분율을 계산할 수 있다.
Figure pct00002
일부 실시예에서, 초점 평면을 결정하기 위해 사용된 참조 자동 초점 알고리즘은 Tenengrad 점수 메트릭을 사용한 Parabolic Search Focus일 수 있다.
일부 실시예에서, 데이터세트는 자동 검사 플랫폼인 nSpecTM으로 생성될 수 있다. 일부 실시예에서, 현미경 시스템(10)은 F-스톱(24)이 닫힌 상태에서 약 5x 배율로 베어 시료(bear specimen)를, F-스톱(24)이 열려 있는 상태에서 패턴 시료(patterned specimen)를 스캔할 수 있다. 현미경 시스템(10)은 도시된 바와 같이 각각의 시료에 걸쳐 펼쳐진 복수의 위치를 스캔할 수 있다. 각 위치에서 현미경 (10) 시스템은 이미지의 Z 스택을 수집할 수 있다. 예를 들어, 수집된 이미지의 Z 스택은 초점 평면 주위에서 약 1μm 간격으로 약 +300μm에서 약 -300μm 범위로 위치당 총 약 600개의 이미지를 생성할 수 있다. 일부 실시예에서, 트레이닝 세트와 관련된 z 이동뿐만 아니라 2개의 인접 이미지의 근접성에 대한 증분 z 이동의 결정은 경험에 따라 또는 초점 심도(DOF)의 함수로서 스텝 크기의 연관에 의해 설정될 수 있다. 예를 들어, 특정 목표에 대한 DOF가 20μm인 경우 스텝 크기는 DOF의 5% 및 스텝을 1μm로 할당하는 것과 같은 DOF의 함수로 결정할 수 있다. 당업자가 인식하는 바와 같이, 다른 범위, 간격 및 이미지가 사용될 수 있다. 일부 실시예에서, 각 이미지의 크기는 약 2200x2752일 수 있다. 일부 실시예에서, 각 이미지는 약 1100x1376 단일 채널 이미지로 절반으로 다운샘플링될 수 있다. 샘플 이미지는 도 1에서 보여진다. 각 이미지는 신경망에 대한 입력인 차이 이미지를 계산하기 위해 약 +10μm 위의 이미지와 쌍을 이룰 수 있다.
일부 실시예에서, 각 위치의 데이터는 학습, 검증 및 테스트 세트로 무작위로 분할되었다. 예를 들어, 데이터는 400:100:100 비율로 학습, 검증 및 테스트 세트로 분할될 수 있다. 일부 실시예에서, 모델은 0.0001의 초기 학습률로 학습되었고 플래토(plateau)에서 10배 감소했다. 일부 실시예에서, 배치 크기는 학습 세트의 경우 16, 검증 세트의 경우 4로 설정되었다.
일부 실시예에서, 예측 모델의 정확도와 속도를 입증하기 위해, 현미경 시스템(10)은 모든 데이터 위치에 걸쳐 그리고 초점으로부터 다양한 거리에서 복수의 테스트 이미지에 대해 테스트를 실행할 수 있다. 일부 실시예에서, 시스템은 초점 평면까지의 거리의 RMSE와 초점이 맞는 이미지의 백분율(대물렌즈의 DoF 내 이미지의 수)을 측정할 수 있다.
일부 실시예에서, 비교를 위한 전통적인 초점 알고리즘의 정확도 및 속도를 입증하기 위해, 컴퓨팅 시스템(32)은 복수의 무작위 위치에서 초점을 계산할 수 있다. 일부 실시예에서, 컴퓨팅 시스템(32)은 수동으로 결정된 실제 초점으로부터 +/-300μm, +/-200μm, +/-100μm 및 0μm에서 현재 콘트라스트 기반 자동 초점 알고리즘 파라볼릭 검색을 실행하고 그 오류 및 지속 시간을 측정할 수 있다.
컴퓨팅 시스템(32)은 약 6.23μm의 RMSE로 초점 이미지에서 약 95%의 정확도를 달성할 수 있다. 종래의 접근 방식과 비교하여 포물선형 자동 초점은 99%의 정확도와 RMSE 5.89μm를 가진다. 자동 초점 모델(100)은 초점 비율이 더 낮더라도 RMSE는 기존 방법과 유사했다. 그러나 컴퓨팅 시스템(32)의 평균 초점 시간은 약 0.79초였다. 이에 비해 기존 방식의 평균 초점 시간은 2.3초로 3배 더 느리다. 자동 초점 모델(100)은 자동 초점 예측을 하는 데 약 0.009초가 걸릴 수 있다. 나머지 시간은 Z축을 이동하고 입력 이미지를 획득하는 데 사용할 수 있다. 따라서, 컴퓨팅 시스템(32)은 현장에서 현재 사용되는 것보다 상당히 빠르며, 더 큰 처리량으로 시료 검사를 가능하게 할 수 있다.
일부 실시예에서, 초점 평면을 예측하기 어려운 경우, 컴퓨팅 시스템(32)은 시료 스테이지(16)를 자동 초점 모델(100)에 의해 예측된 위치로 이동시키고, 이미지를 찍고, 대비 점수 메트릭을 사용하여 광학 시스템(12)의 초점을 평가할 수 있다.
일부 실시예에서, 자동 초점 모델(100)로부터의 출력은 초점 평면에 대한 추정치로서 쓸 수 있다. 컴퓨팅 시스템(32)은 하나 이상의 미세 초점 알고리즘을 이용하여 시료의 초점 평면을 식별하기 위해 이 추정치를 이용할 수 있다. 이러한 방식으로, 자동 초점 모델(100)로부터의 출력은 컴퓨팅 시스템(32)이 초점 평면까지의 실제 거리 대신에 초점 평면을 식별하기 위한 시작 위치로서 역할을 할 수 있다.
일부 실시예에서, 자동 초점 모델(100)로부터의 출력은 초점 평면에 대한 실제 거리에 근접하거나 이를 포함할 가능성이 있는 거리의 범위일 수 있다. 이 거리의 범위를 이용해 컴퓨팅 시스템(32)은 초점 평면까지의 실제 거리를 식별하기 위해 거리 범위에서 하나 이상의 미세 초점 알고리즘을 구현할 수 있다. 이러한 접근은 예를 들어 컴퓨팅 시스템(32)에 초점 거리의 더 정확한 추정치를 제공할 수 있기 때문에 유용할 수 있다. 이러한 방식으로, 컴퓨팅 시스템(32)은 초점 평면까지의 거리의 실제 수치를 제공하는 대신 시료의 특정 위치에서 초점 평면을 평가하기 위해 자동 초점 모델(100)을 이용할 수 있다.
도 3은 예시적인 실시예에 따라 현미경 시스템(10)의 광학 시스템(12)을 자동으로 포커싱하는 방법(300)을 나타내는 흐름도이다. 방법(300)은 단계 302에서 시작할 수 있다.
단계 302에서, 컴퓨팅 시스템(32)은 현미경 시스템(10)의 시료 스테이지(16)에 있는 시료의 적어도 두 개의 이미지를 수신할 수 있다. 일부 실시예에서, 적어도 두 개의 이미지는 z-방향으로 고정된 거리만큼 떨어져 촬영된 것일 수 있다. 일부 실시예에서, 적어도 두 개의 이미지는 시료의 초점 평면 위에서 촬영된 제1 이미지와 시료의 초점 평면 아래에서 촬영된 제2 이미지를 포함할 수 있다. 일부 실시예에서, 적어도 두 개의 이미지는 시료의 초점 평면 위에서 촬영된 것일 수 있다. 일부 실시예에서, 적어도 두 개의 이미지는 모두 상기 시료의 초점 평면 아래에서 촬영된 것일 수 있다. 일부 실시예에서, 적어도 두 개의 이미지 각각에 대해 시료 스테이지(16) 또는 시료 스테이지(16) 상의 시료의 위치는 일정할 수 있다. 일부 실시예에서, 적어도 두 개의 이미지 각각에 대해 시료 스테이지(16) 또는 시료 스테이지(16) 상의 시료의 위치는 변경될 수 있다.
일부 실시예에서, 주어진 대물 렌즈(18)와 시료에 대해 다중 초점 평면이 있을 수 있다. 이러한 방식으로, 컴퓨팅 시스템(32)은 다중 초점 평면에 기초한 두 장 이상의 이미지의 복수의 셋을 수신할 수 있다.
단계 304에서, 컴퓨팅 시스템(32)은 적어도 두 개의 이미지를 자동 초점 모델(100)에 제공할 수 있다. 자동 초점 모델(100)은 시료의 초점 평면까지의 거리를 식별하기 위해 구성된 회귀 기반 컨볼루션 신경망을 나타낼 수 있다. 일부 실시예에서, 시료의 초점 평면까지의 거리는 부호의 차이일 수 있다. 예를 들어, 거리는 시료 스테이지(16)가 양 또는 음의 방향으로 이동될 필요가 있는지 여부를 나타낼 수 있다.
단계 306에서, 컴퓨팅 시스템(32)은 시료의 초점 평면까지의 거리를 식별할 수 있다. 예를 들어, 자동 초점 모델(100)은 시료의 초점 평면과 상기 초점 평면에 대한 부호화된 차이를 식별하기 위해 상기 적어도 두 개의 이미지를 분석할 수 있다. 상기 초점 평면까지의 부호 있는 거리는 대물 렌즈(18)가 초점이 맞도록 시료 스테이지(16)가 이동할 수 있는 거리를 나타낼 수 있다. 일부 실시예에서는, 초점 평면까지의 단일 거리를 식별하기보다는, 컴퓨팅 시스템(32)은 초점 평면까지의 거리의 범위를 식별할 수 있다. 예를 들어, 자동 초점 모델(100)은 시료의 초점 평면과 초점 평면까지의 부호화된 거리의 범위를 식별하기 위해 상기 적어도 두 개의 이미지를 분석할 수 있다.
단계 308에서, 컴퓨팅 시스템(32)은 시료 스테이지(16)의 위치를 자동으로 조절할 수 있다. 예를 들어, 초점 평면까지의 식별된 거리에 기초하여, 컴퓨팅 시스템(32)은 표본 스테이지(16)와 대물 렌즈(18) 사이의 거리를 조절하기 위해 모터(28) 및/또는 드라이브 메커니즘(30)을 야기할 수 있다. 일부 실시예에서, 컴퓨팅 시스템(32)은 양의 방향으로 시료 스테이지(16)를 조절할 수 있다. 일부 실시예에서, 컴퓨팅 시스템(32)은 음의 방향으로 시료 스테이지(16)를 조절할 수 있다.
도 4A는 예시적인 실시예에 따른 시스템 버스 컴퓨팅 시스템(400)의 아키텍쳐를 나타낸다. 시스템(400)의 하나 이상의 구성 요소는 버스(405)를 이용해 서로 전기적으로 통신할 수 있다. 시스템(400)은 프로세서(410)(예: 하나 이상의 CPUs, GPUs 또는 다른 종류의 프로세서)와 ROM(read only memory)(420) 및 RAM(random access memory)(425)과 같은 시스템 메모리(415) 를 포함하는 다양한 시스템 구성 요소를 프로세서(410)에 연결하는 시스템 버스(405)를 포함할 수 있다. 시스템(400)은 프로세서(410)와 직접 연결되거나 프로세서(410)에 근접하거나 일부로 통합된 고속 메모리의 캐시를 포함할 수 있다. 시스템(400)은 프로세서(410)에 의한 빠른 처리를 위해 메모리(415) 및/또는 저장 장치(430)로부터 캐시(412)로 데이터를 복사할 수 있다. 이러한 방식으로, 캐시 (412)는 데이터를 기다리는 동안 프로세서(410) 지연을 방지하는 성능 향상을 제공할 수 있다. 이들 및 다른 모듈은 다양한 동작을 수행하기 위해 프로세서(410)를 제어하거나 제어하도록 구성될 수 있다. 다른 시스템 메모리(415)도 이용될 수 있다. 메모리(415)는 상이한 성능 특성을 갖는 다수의 상이한 유형의 메모리를 포함할 수 있다. 프로세서(410)는 단일 프로세서 또는 다중 프로세서를 나타낼 수 있다. 프로세서(410)는 하나 이상의 범용 프로세서 또는 하드웨어 모듈 또는 프로세서(410)를 제어하도록 구성된 저장 장치(430)에 저장된 서비스 1(432), 서비스 2(434) 및 서비스 4(436)와 같은 소프트웨어 모듈 뿐만 아니라 소프트웨어 명령이 실제 프로세서 설계에 통합되는 특수 목적 프로세서를 포함할 수 있다. 프로세서(410)는 기본적으로 다중 코어 또는 프로세서, 버스, 메모리 컨트롤러, 캐시 등을 포함하는 완전히 독립적인 컴퓨팅 시스템일 수 있다. 다중 코어 프로세서는 대칭 또는 비대칭일 수 있다.
시스템(400)과 사용자 상호작용을 가능하게 하기 위해, 입력 장치(445)는 음성용 마이크, 제스처 또는 그래픽 입력용 터치 스크린, 키보드, 마우스, 모션 입력, 음성 등과 같은 입력 메커니즘의 일부일 수 있다. 출력 장치(435)(예: 디스플레이)는 또한 당업자에게 알려진 다수의 출력 메커니즘 중 하나 이상일 수 있다. 일부 예에서 다중 모드 시스템은 시스템(400)과 통신하게 할 수 있도록 사용자에게 여러 유형의 입력을 제공할 수 있다. 통신 인터페이스(440)는 일반적으로 사용자 입력 및 시스템 출력을 제어하고 관리할 수 있다. 특정 하드웨어 배열에 대한 작동에 제한이 없으므로 여기에 있는 기본 기능은 개선된 하드웨어 또는 펌웨어 배열이 개발될 때 쉽게 대체될 수 있다.
저장 장치(430)는 비휘발성 메모리일 수 있고, 하드 디스크 또는 자기 카세트, 플래시 메모리 카드, 솔리드 스테이트 메모리 장치, 디지털 다목적 디스크, 카트리지, RAM(random access memory)(425), ROM(read only memory)(420) 및 이들의 혼성체와 같은 컴퓨터에 의해 액세스 가능한 데이터를 저장할 수 있는 다른 유형의 컴퓨터 판독 가능 매체일 수 있다.
저장 장치(430)는 프로세서(410)를 제어하기 위한 서비스(432, 434, 436)를 포함할 수 있다. 다른 하드웨어 또는 소프트웨어 모듈이 고려된다. 저장 장치(430)는 시스템 버스(405)에 연결될 수 있다. 일 양태(aspect)에서, 특정 기능을 수행하는 하드웨어 모듈은, 그 기능을 수행하기 위한 프로세서(410), 버스(405), 출력 장치(435)(예: 디스플레이) 등과 같은 필요한 하드웨어 구성 요소와 연결되어 컴퓨터 판독가능 매체에 저장된 소프트웨어 구성 요소를 포함할 수 있다.
도 4b는 예시적인 실시예에 따른 칩셋 아키텍쳐를 갖는 컴퓨터 시스템(450)을 나타낸다. 컴퓨터 시스템(450)은 개시된 기술을 구현하기 위해 사용될 수 있는 컴퓨터 하드웨어, 소프트웨어 및 펌웨어의 예일 수 있다. 시스템(450)은 하나 이상의 프로세서(455)를 포함할 수 있으며, 소프트웨어, 펌웨어 및 식별된 계산을 수행하도록 구성된 하드웨어를 실행할 수 있는 물리적 및/또는 논리적으로 구별되는 임의의 수의 리소스를 나타낸다. 하나 이상의 프로세서(455)는 하나 이상의 프로세서(455)로의 입력 및 출력을 제어할 수 있는 칩셋(460)과 통신할 수 있다. 이 예에서, 칩셋(460)은 디스플레이와 같은 출력(465)으로 정보를 출력하고, 예를 들어 자기 매체 및 솔리드 스테이트 매체를 포함할 수 있는 저장 장치(460)로 정보를 읽고 쓸 수 있다. 칩셋(460)은 또한 RAM(475)으로부터 데이터를 읽고 쓸 수 있다. 다양한 사용자 인터페이스 구성 요소(485)와 인터페이스하기 위한 브리지(480)가 칩셋(460)과 인터페이스하기 위해 제공될 수 있다. 이러한 사용자 인터페이스 구성 요소(485)는 키보드, 마이크, 터치 검출 및 처리 회로, 마우스와 같은 포인팅 장치 등을 포함할 수 있다. 일반적으로, 시스템(450)에 대한 입력은 다양한 소스, 기계가 생성(machine generated) 및/또는 인간이 생성(human generated) 중 임의로부터 올 수 있다.
칩셋(460)은 또한 상이한 물리적 인터페이스를 가질 수 있는 하나 이상의 통신 인터페이스(490)와 인터페이스할 수 있다. 이러한 통신 인터페이스는 유선 및 무선 근거리 통신망, 광대역 무선 네트워크 및 개인 통신망을 위한 인터페이스를 포함할 수 있다. 본 명세서에 개시된 GUI를 생성, 디스플레이 및 사용하기 위한 방법의 일부 애플리케이션은 물리적 인터페이스를 통해 정렬된 데이터세트를 수신하는 것을 포함하거나 저장 장치(470 또는 475)에 저장된 데이터를 분석하는 하나 이상의 프로세서(455)에 의해 기계 자체에 의해 생성될 수 있다. 또한, 기계는 사용자 인터페이스 구성요소(485)를 통해 사용자로부터 입력을 수신하고 하나 이상의 프로세서(455)를 사용하여 이러한 입력을 해석함으로써 브라우징 기능과 같은 적절한 기능을 실행할 수 있다.
예시적인 시스템(400 및 450)은 하나 이상의 프로세서(410, 455)를 가질 수 있거나 더 큰 처리 능력을 제공하기 위해 함께 네트워킹된 컴퓨팅 장치의 그룹 또는 클러스터의 일부일 수 있음을 알 수 있다.
위에서 제공된 바와 같이, 종래의 현미경 자동 초점 방법은 초점 평면을 결정하기 위해 각각의 이미지에 대해 초점 스코어링 알고리즘을 실행하는 동안 초점 축을 통해 시간 소모적인 스윕을 수행한다. 이 절차는 시료 내 검사의 빠른 처리량 생산 일정을 방해할 수 있다. 또한, 그것은 빛에 민감한 시료의 광표백 양을 증가시킨다. 이러한 어려움을 피하기 위해 본 시스템은 임의의 초기 위치에서 찍은 두 개의 이미지만 입력하면 현미경 시스템의 정확한 초점 거리를 한 번에 예측하는 딥 러닝 모델을 구현할 수 있다. 자동 초점 모델은 초점이 흐려진 이미지와 초점 평면으로부터의 절대 거리 간의 매핑을 학습할 수 있다. 자동 초점 모델은 기존 접근 방식보다 3배 더 빠르게 초점을 맞출 수 있으며 초점이 맞는 이미지를 생성하는 데 95% 정확합니다. 오류를 제거하기 위해 기존의 미세 초점 접근 방식으로 보강할 수 있다. 특히, 속도 때문에 본 방법은 신속한 시료 검사 및 감광성 시료 샘플의 이미징에 활용될 수 있다.
전술한 내용은 본 명세서에 기술된 실시예에 관한 것이지만, 그 기본 범위를 벗어나지 않고 다른 실시예 및 추가 실시예가 고안될 수 있다. 예를 들어, 본 개시의 양상들은 하드웨어 또는 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 여기에 설명된 일 실시예는 컴퓨터 시스템과 함께 사용하기 위한 프로그램 제품으로 구현될 수 있다. 프로그램 제품의 프로그램(들)은 실시예(여기서 기술된 방법을 포함)의 기능을 정의하고 다양한 컴퓨터 판독 가능 저장 매체에 포함될 수 있다. 예시적인 컴퓨터 판독 가능 저장 매체는 다음을 포함하지만 이에 제한되지는 않는다: (i) 정보가 영구적으로 저장되는 쓰기 불가능한 저장 매체(예: CD-ROM 드라이브에 의해 판독 가능한 CD-ROM 디스크와 같은 컴퓨터 내의 읽기 전용 메모리(ROM) 장치, 플래시 메모리, ROM 칩 또는 모든 유형의 솔리드 스테이트 비휘발성 메모리); 및 (ii) 변경 가능한 정보가 저장되는 쓰기 가능한 저장 매체(예: 디스켓 드라이브, 하드 디스크 드라이브 또는 모든 유형의 솔리드 스테이트 랜덤 액세스 메모리 내의 플로피 디스크). 이러한 컴퓨터 판독 가능 저장 매체는 개시된 실시예의 기능을 지시하는 컴퓨터 판독 가능 명령을 수행할 때 본 개시의 실시 예이다.
전술한 예는 예시적인 것이며 제한적이지 않다는 것은 당업자에게 이해될 것이다. 본 명세서를 읽고 도면을 연구한 당업자에게 명백한 이에 대한 변형, 확장, 등가물 및 개선은 본 발명의 진정한 사상 및 범위 내에 포함된다는 것으로 의도된다. 따라서, 다음의 첨부된 청구범위는 이러한 교시의 진정한 사상 및 범위 내에 속하는 모든 변형, 치환 및 등가물을 포함하는 것으로 의도된다.

Claims (20)

  1. 시료를 이미징하기 위한 광학 시스템; 및
    상기 광학 시스템을 자동으로 포커싱하기 위한 초점 검출 시스템을 포함하고,
    상기 광학 시스템은 대물 렌즈와, 이미징 동안 시료를 지원하도록 구성된 시료 스테이지를 포함하고,
    상기 초점 검출 시스템은 프로세서와 메모리를 포함하는 컴퓨팅 시스템을 포함하고,
    상기 메모리는 상기 프로세서에 의해 실행될 때 상기 컴퓨팅 시스템에 의해 상기 광학 시스템으로부터 상기 시료 스테이지에 위치한 적어도 두 개의 시료 이미지를 수신하고, 시료의 초점 평면(focal plane)으로의 적어도 하나의 거리를 검출하기 위해 상기 적어도 두 개의 이미지를 자동 초점 모델에 제공하고, 상기 자동 초점 모델을 통해 상기 시료의 초점 평면으로의 적어도 하나의 거리를 식별하고, 및 상기 식별에 기초해 상기 컴퓨팅 시스템에 의해 현미경 시스템의 상기 대물 렌즈와 관련하여 상기 시료 시테이지의 위치를 자동으로 조절하도록 저장된 프로그래밍 코드를 가지는, 현미경 시스템.
  2. 제 1항에 있어서, 상기 컴퓨팅 시스템에 의해 상기 광학 시스템으로부터 상기 시료 스테이지에 위치한 적어도 두 개의 시료 이미지를 수신하는 것은,
    제1 z-위치에서 상기 적어도 두 개의 시료 이미지 중 제1 이미지를 수신하고,
    제2 z-위치에서 상기 적어도 두 개의 시료 이미지 중 제2 이미지를 수신하는 것을 포함하는, 현미경 시스템.
  3. 제2항에 있어서,
    상기 시료 스테이지의 x-위치와 y-위치는 상기 제1 z-위치가 상기 제2 z-위치와 다른 동안 정수로 남아 있는, 현미경 시스템.
  4. 제1항에 있어서, 상기 자동 초점 모델을 통해 상기 시료의 초점 평면으로의 적어도 하나의 거리를 식별하는 것은,
    상기 초점 평면까지의 실질적인 거리를 포함하는 상기 초점 평면까지의 거리 범위를 생성하는 것인, 현미경 시스템.
  5. 제1항에 있어서, 상기 컴퓨팅 시스템에 의해 상기 광학 시스템으로부터 상기 시료 스테이지에 위치한 적어도 두 개의 시료 이미지를 수신하는 것은,
    상기 시료의 제1 초점 평면에서 적어도 하나의 이미지를 수신하고,
    상기 시료의 제2 초점 평면에서 적어도 하나의 이미지를 수신하는 것인, 현미경 시스템.
  6. 제5항에 있어서, 상기 자동 초점 모델을 통해 상기 시료의 초점 평면으로의 적어도 하나의 거리를 식별하는 것은,
    상기 시료의 상기 제1 초점 평면까지의 적어도 하나의 제1 거리를 식별하고,
    상기 시료의 상기 제2 초점 평면까지의 적어도 하나의 제2 거리를 식별하는 것인, 현미경 시스템.
  7. 제1항에 있어서, 상기 컴퓨팅 시스템에 의해 상기 현미경 시스템의 상기 대물 렌즈와 관련하여 상기 시료 시테이지의 위치를 자동으로 조절하는 것은,
    상기 시료 스테이지와 상기 대물 렌즈 사이의 거리를 조절하기 위해 상기 현미경 시스템의 드라이브 메커니즘을 야기하는 것인, 현미경 시스템.
  8. 컴퓨팅 시스템에 의해 이미지 센서로부터 현미경 시스템의 시료 스테이지에 위치한 시료의 적어도 두 개의 이미지를 수신하는 단계;
    상기 컴퓨팅 시스템에 의해 상기 시료의 초점 평면으로의 적어도 하나의 거리를 검출하기 위해 상기 적어도 두 개의 이미지를 자동 초점 모델에 제공하는 단계;
    상기 자동 초점 모델을 통해 상기 시료의 초점 평면으로의 적어도 하나의 거리를 식별하는 단계; 및
    상기 식별에 기초해 상기 컴퓨팅 시스템에 의해 상기 현미경 시스템의 대물 렌즈와 관련하여 상기 시료 시테이지의 위치를 자동으로 조절하는 단계를 포함하는, 방법.
  9. 제8항에 있어서, 상기 컴퓨팅 시스템에 의해 이미지 센서로부터 현미경 시스템의 시료 스테이지에 위치한 시료의 적어도 두 개의 이미지를 수신하는 단계는,
    제1 z-위치에서 상기 적어도 두 개의 시료 이미지 중 제1 이미지를 수신하는 단계; 및
    제2 z-위치에서 상기 적어도 두 개의 시료 이미지 중 제2 이미지를 수신하는 단계를 포함하는, 방법.
  10. 제9항에 있어서, 상기 시료 스테이지의 x-위치와 y-위치는 상기 제1 z-위치가 상기 제2 z-위치와 다른 동안 정수로 남아 있는, 방법.
  11. 제8항에 있어서, 상기 자동 초점 모델을 통해 상기 시료의 초점 평면으로의 적어도 하나의 거리를 식별하는 단계는,
    상기 초점 평면까지의 실질적인 거리를 포함하는 상기 초점 평면까지의 거리 범위를 생성하는 단계를 포함하는, 방법.
  12. 제8항에 있어서, 상기 컴퓨팅 시스템에 의해 상기 광학 시스템으로부터 상기 시료 스테이지에 위치한 적어도 두 개의 시료 이미지를 수신하는 단계는,
    상기 시료의 제1 초점 평면에서 적어도 하나의 이미지를 수신하는 단계; 및
    상기 시료의 제2 초점 평면에서 적어도 하나의 이미지를 수신하는 단계를 포함하는, 방법.
  13. 제12항에 있어서, 상기 자동 초점 모델을 통해 상기 시료의 초점 평면으로의 적어도 하나의 거리를 식별하는 단계는,
    상기 시료의 상기 제1 초점 평면까지의 적어도 하나의 제1 거리를 식별하는 단계; 및
    상기 시료의 상기 제2 초점 평면까지의 적어도 하나의 제2 거리를 식별하는 단계를 포함하는, 방법.
  14. 제8항에 있어서, 상기 컴퓨팅 시스템에 의해 상기 현미경 시스템의 상기 대물 렌즈와 관련하여 상기 시료 시테이지의 위치를 자동으로 조절하는 단계는,
    상기 시료 스테이지와 상기 대물 렌즈 사이의 거리를 조절하기 위해 상기 현미경 시스템의 드라이브 메커니즘을 야기하는 단계를 포함하는, 방법.
  15. 하나 이상의 명령 시퀀스를 포함하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 프로세서에 의해 실행될 때 컴퓨팅 시스템이:
    이미지 센서로부터 컴퓨팅 시스템에 의해 현미경 시스템의 시료 스테이지에 위치한 시료의 적어도 두 이미지를 수신 하는 동작;
    컴퓨팅 시스템에 의해, 시료의 초점 평면에 대한 적어도 하나의 거리를 검출하기 위해 자동 초점 모델에 적어도 2개의 이미지를 제공하는 동작;
    자동 초점 모델을 통해 시료의 초점 평면까지의 적어도 하나의 거리를 식별하는 동작; 및
    상기 식별하는 동작에 기초해, 컴퓨팅 시스템에 의해 현미경 시스템의 대물 렌즈에 대한 시료 스테이지의 위치를 자동으로 조절하는 동작을 수행하게 하는 비일시적 컴퓨터 판독 가능 매체.
  16. 제15항에 있어서, 이미지 센서로부터 컴퓨팅 시스템에 의해, 현미경 시스템의 시료 스테이지에 위치된 시료의 적어도 2개의 이미지를 수신하는 동작은:
    제1 z-위치에서 적어도 2개의 이미지 중 제1 이미지를 수신하는 동작; 및
    제2 z-위치에서 적어도 2개의 이미지 중 제2 이미지를 수신하는 동작을 포함하는 비일시적 컴퓨터 판독 가능 매체.
  17. 제15항에 있어서, 자동 초점 모델을 통해, 시료의 초점 평면까지의 적어도 하나의 거리를 식별하는 동작은:
    초점 평면까지의 거리 범위를 생성하는 동작을 포함하고,
    상기 거리 범위는 초점 평면까지의 실제 거리를 포함하는, 비일시적 컴퓨터 판독 가능 매체.
  18. 제15항에 있어서, 이미지 센서로부터 컴퓨팅 시스템에 의해, 현미경 시스템의 표본 스테이지에 위치된 표본의 적어도 2개의 이미지를 수신하는 동작은:
    시료의 제1 초점 평면에서 적어도 하나의 이미지를 수신하는 동작; 및
    상기 시료의 제2 초점 평면에서 적어도 하나의 이미지를 수신하는 동작을 포함하는 비일시적 컴퓨터 판독 가능 매체.
  19. 제18항에 있어서, 자동 초점 모델을 통해, 시료의 초점 평면까지의 적어도 하나의 거리를 식별하는 동작은:
    시료의 첫 번째 초점 평면에 대한 적어도 하나의 첫 번째 거리를 식별하는 동작;
    상기 시료의 두 번째 초점 평면에 대한 적어도 하나의 두 번째 거리를 식별하는 동작을 포함하는 비일시적 컴퓨터 판독 가능 매체.
  20. 제15항에 있어서, 컴퓨팅 시스템에 의해 현미경 시스템의 대물 렌즈에 대한 시료 스테이지의 위치를 자동으로 조정하는 동작은:
    시편 스테이지와 대물 렌즈 사이의 거리를 조정하기 위해 현미경 시스템의 구동 메커니즘을 유발하는 동작을 포함하는 비일시적 컴퓨터 판독 가능 매체.
KR1020237000838A 2020-08-07 2021-08-06 자동 초점 현미경 시스템을 위한 딥 러닝 모델 KR20230021136A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063062592P 2020-08-07 2020-08-07
US63/062,592 2020-08-07
PCT/US2021/044988 WO2022032126A1 (en) 2020-08-07 2021-08-06 Deep learning model for auto-focusing microscope systems

Publications (1)

Publication Number Publication Date
KR20230021136A true KR20230021136A (ko) 2023-02-13

Family

ID=80114352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237000838A KR20230021136A (ko) 2020-08-07 2021-08-06 자동 초점 현미경 시스템을 위한 딥 러닝 모델

Country Status (7)

Country Link
US (1) US20220046180A1 (ko)
EP (1) EP4193207A1 (ko)
JP (1) JP2023537892A (ko)
KR (1) KR20230021136A (ko)
CN (1) CN116075762A (ko)
TW (2) TW202343058A (ko)
WO (1) WO2022032126A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116259053B (zh) * 2023-05-15 2023-07-21 西南科技大学 基于卷积神经网络的医学显微图像成像焦点预测方法
CN116736511A (zh) * 2023-06-28 2023-09-12 江苏集萃华科智能装备科技有限公司 一种基于深度学习的自然图像自动对焦方法
CN117132646B (zh) * 2023-10-26 2024-01-05 湖南自兴智慧医疗科技有限公司 基于深度学习的分裂相自动对焦系统
CN117689892B (zh) * 2024-02-02 2024-04-09 中国科学院长春光学精密机械与物理研究所 遥感影像焦面的判别方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69231269T2 (de) * 1991-03-29 2001-02-01 Olympus Optical Co Vorrichtung zum ermitteln der automatischen fokussierung
US5932872A (en) * 1994-07-01 1999-08-03 Jeffrey H. Price Autofocus system for scanning microscopy having a volume image formation
WO2002039059A1 (en) * 2000-11-07 2002-05-16 Cellavision Ab Autofocusing
US7576307B2 (en) * 2007-04-30 2009-08-18 General Electric Company Microscope with dual image sensors for rapid autofocusing
US7729049B2 (en) * 2007-05-26 2010-06-01 Zeta Instruments, Inc. 3-d optical microscope
EP2448246B1 (en) * 2010-10-28 2019-10-09 Axis AB Method for focusing
US9297995B2 (en) * 2011-02-11 2016-03-29 University Of South Florida Automatic stereological analysis of biological tissue including section thickness determination
JP2018537709A (ja) * 2015-11-11 2018-12-20 スコピオ ラボズ リミテッド 異なる照明条件下で画像を生成するためのコンピュータ顕微鏡及び方法
WO2017102827A1 (en) * 2015-12-16 2017-06-22 Ventana Medical Systems, Inc. Auto-focus methods and systems for digital imaging using mutli-spectral trajectories
CN106842534B (zh) * 2017-03-22 2019-12-24 上海理工大学 基于双ccd的自动对焦显微镜及测量方法
CN111819485B (zh) * 2018-02-14 2022-07-29 国立研究开发法人理化学研究所 自动对焦装置和具备其的光学装置以及显微镜

Also Published As

Publication number Publication date
TW202223471A (zh) 2022-06-16
JP2023537892A (ja) 2023-09-06
TWI811758B (zh) 2023-08-11
TW202343058A (zh) 2023-11-01
CN116075762A (zh) 2023-05-05
US20220046180A1 (en) 2022-02-10
WO2022032126A1 (en) 2022-02-10
EP4193207A1 (en) 2023-06-14

Similar Documents

Publication Publication Date Title
KR20230021136A (ko) 자동 초점 현미경 시스템을 위한 딥 러닝 모델
JP7431458B2 (ja) 超解像イメージングの精度に関するフィードバックを行い、その精度を改善するためのシステム、デバイス、および方法
JP7075743B2 (ja) マルチレベル拡大被写界深度画像処理機能を備えた可変焦点距離レンズ
US10705326B2 (en) Autofocus system for a computational microscope
US10944896B2 (en) Single-frame autofocusing using multi-LED illumination
CN111352227B (zh) 显微镜系统中样本平面的距离确定
CA2827703C (en) Method for assessing image focus quality
JP2022509959A (ja) 学習型のオートフォーカス
US10534164B2 (en) Digital microscope and focusing method thereof
JP7226852B2 (ja) 基板上の流動的対象を自動的にマッピングするための方法およびシステム
JP2022533001A (ja) 無限遠補正顕微鏡のための自己較正および方向集束のシステムおよび方法
US20120249770A1 (en) Method for automatically focusing a microscope on a predetermined object and microscope for automatic focusing
CN114994895A (zh) 用于试样的光片显微镜检测的方法和装置
WO2023166624A1 (ja) 焦点調整方法、プログラム、装置
RU2786926C1 (ru) Система и способ формирования изображений объектов флуоресценции при секвенировании днк
JP2006030304A (ja) 顕微鏡の焦点検出装置
CN116263535A (zh) 用于确定物体的图像的z-堆栈边界的方法