KR102411099B1 - 실시간 오토포커스 스캐닝 - Google Patents

실시간 오토포커스 스캐닝 Download PDF

Info

Publication number
KR102411099B1
KR102411099B1 KR1020207008599A KR20207008599A KR102411099B1 KR 102411099 B1 KR102411099 B1 KR 102411099B1 KR 1020207008599 A KR1020207008599 A KR 1020207008599A KR 20207008599 A KR20207008599 A KR 20207008599A KR 102411099 B1 KR102411099 B1 KR 102411099B1
Authority
KR
South Korea
Prior art keywords
sample
objective lens
value
lens distance
buffer
Prior art date
Application number
KR1020207008599A
Other languages
English (en)
Other versions
KR20200041982A (ko
Inventor
렁-춘 천
앨런 올슨
윈루 조우
페이만 나지마바디
그렉 크랜들
Original Assignee
라이카 바이오시스템즈 이미징 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 라이카 바이오시스템즈 이미징 인크. filed Critical 라이카 바이오시스템즈 이미징 인크.
Priority to KR1020227020389A priority Critical patent/KR102523559B1/ko
Publication of KR20200041982A publication Critical patent/KR20200041982A/ko
Application granted granted Critical
Publication of KR102411099B1 publication Critical patent/KR102411099B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/006—Optical details of the image generation focusing arrangements; selection of the plane to be imaged
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H04N5/37206—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/711—Time delay and integration [TDI] registers; TDI shift registers

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Microscoopes, Condenser (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

실시간 오토포커스. 실시형태에서, 스캐닝 장치는 이미징 센서, 포커싱 센서, 대물 렌즈, 및 이미징 센서와 포커싱 센서에 의해 캡처된 이미지 데이터를 분석하고, 그리고 대물 렌즈를 이동시키도록 구성된 프로세서(들)를 포함한다. 샘플의 스캐닝 동안 실시간 오토포커스는 샘플 상의 지점에 대한 그리고 샘플 상의 복수의 구역의 각각에 대한 대물 렌즈에 대한 트루-Z값을 결정함으로써 달성된다. 트루-Z값 및/또는 이로부터 계산된 표면은 샘플의 미스캐닝된 구역에 대한 예상-Z값을 결정하도록 사용된다. 대물 렌즈는 미스캐닝된 구역의 처음에 예상-Z값으로 조정된다. 구역을 스캐닝한 후, 트루-Z값은 구역에 대해 결정되고 그리고 예상-Z값과 비교된다. 구역의 리스캔은 비교가 미리 결정된 문턱값으르 초과한다면 개시된다.

Description

실시간 오토포커스 스캐닝
관련 출원에 대한 상호 참조
본 출원은 미국 특허 가출원 제62/566,155호(출원일: 2017년 9월 29일)의 우선권을 주장하고, 상기 기초출원은 마치 전문이 제시된 것처럼 참조에 의해 본 명세서에 원용된다.
본 출원은 국제 특허 출원 제PCT/US2016/053581호(출원일: 2016년 9월 23일)와 관련되고, 그리고 국제 특허 공개 제WO/2017/053891호로서 공개되고, 상기 기초출원은 마치 전문이 제시된 것처럼 참조에 의해 본 명세서에 원용된다.
본 발명의 분야
본 개시내용은 일반적으로 디지털 병리학에 관한 것이고, 더 구체적으로, 디지털 슬라이드 스캐닝 장치의 실시간 오토포커싱에 관한 것이다.
관련 기술
디지털 병리학은 물리적 슬라이드로부터 생성된 정보의 관리를 허용하는 컴퓨터 기술에 의해 가능한, 이미지-기반 정보 환경이다. 디지털 병리학은 물리적 유리 슬라이드 상에서 시편을 스캐닝하고 그리고 저장, 관찰, 관리, 및 분석될 수 있는 디지털 슬라이드 이미지를 컴퓨터 모니터에서 생성하는 관행인, 가상 현미경 검사에 의해 부분적으로 가능하다. 전체 유리 슬라이드를 이미지 처리하는 능력을 사용하여, 디지털 병리학의 분야는 급증되었고 그리고 현재 진단 의학의 가장 유망한 방안 중 하나로서 간주되어, 중요한 질병, 예컨대, 암의 훨씬 더 우수한, 더 빠른, 그리고 더 저렴한 진단, 예상 및 예측을 달성한다.
디지털 병리학 산업을 위한 주요 목적은 스캐닝 시간을 감소시키는 것이다. 감소된 스캐닝 시간은 실제 스캐닝 동안 실시간 포커싱으로 전환함으로써 달성될 수 있다. 실제 스캐닝 동안 실시간 포커스를 사용하여 고품질의 포커싱된 이미지 데이터를 달성하기 위해서, 스캐닝 디바이스는 대물 렌즈에 대한 다음의 Z값(예를 들어, 대물 렌즈와 시편 사이의 거리)을 결정할 수 있어야 한다. 따라서, 위에서 설명된 종래의 시스템에서 발견되는 이 상당한 문제를 극복하는 시스템 및 방법이 필요하다.
실시형태에서, 스캐닝 장치는 이미징 센서, 포커싱 센서, 및 이미징 센서와 포커싱 센서에 의해 캡처된 이미지 데이터를 분석하도록 구성된 프로세서를 포함한다. 포커싱 센서의 개별적인 픽셀의 광학 경로에 따른 위치가 캡처되는 이미지 데이터의 각각의 라인에 대해 가변되고, 그리고 이미징 센서의 개별적인 픽셀의 광학 경로에 따른 위치가 캡처되는 이미지 데이터의 각각의 라인에 대해 전부 동일하다.
처음에, 프로세서는 샘플 상의 매크로-초점을 선택할 수도 있고 그리고 대물 렌즈와 샘플 사이의 상대적 거리를 변경함으로써, 복수의 이미지 평면에서 매크로-초점을 포함하는 단일의 시야를 스캐닝할 수도 있다. 이것은 대물 렌즈를 광학 경로에서 위로 그리고 아래로 이동시킴으로써 달성될 수 있다. 각각의 이미지 평면에서 이미지 데이터가 분석되어 가장 높은 콘트라스트를 가진 이미지 평면을 결정한다. 이미징 센서의 픽셀을 가장 높은-콘트라스트 이미지 평면에 배치하는 대물 렌즈의 위치는 "트루-Z(true-Z)" 로서 지칭되고 그리고 또한 샘플로부터 대물 렌즈의 거리(예를 들어, 대물 렌즈의 높이)로서 지칭될 수도 있고, 거리는 광학 경로에 따른 대물 렌즈의 가능한 위치의 범위에 비례한다. 매크로-초점에 대한 트루-Z값이 결정된 후, 샘플의 표면에 걸친 가장 긴 거리가 결정되고 그리고 일련의 구역이 샘플에 걸친 가장 긴 거리에 걸치는 라인을 따라 스캐닝된다.
일련의 구역 중 각각의 구역은 바람직하게는 샘플에 걸친 이미징 센서 및 포커싱 센서의 시야의 연속된 세트이다. 실시형태에서, 시야의 연속된 세트는 1,000개의 시야를 포함할 수도 있고, 각각의 개별적인 시야는 단일의 스캔 라인을 나타내고 그리고 시야의 세트는 "버퍼(buffer)"로서 지칭된다. 용어 "버퍼"는 임의의 특정한 수의 스캔 라인 또는 임의의 특정한 물리적 메모리 세그먼트와 관련 없고, 따라서, 버퍼의 크기는 예를 들어, 물리적 메모리 세그먼트 또는 스캐닝 장치의 속도에 따라 가변될 수 있고, 속도는 스테이지 속도에 의해 또는 이미지 데이터 캡처 속도에 의해 규정될 수 있다.
실시형태에서, 복수의 기준 버퍼가 샘플에 걸쳐 가장 긴 거리를 나타내는 라인을 따라 스캐닝되고, 그리고 트루-Z값이 기준 버퍼 내 모든 스캔 라인에 걸친 각각의 픽셀에 대한 포커싱 센서로부터의 콘트라스트 값과 이미징 센서로부터의 콘트라스트 값의 비를 계산함으로써 각각의 기준 버퍼에 대해 결정되어 기준 버퍼에 대한 평균 콘트라스트 비 벡터를 결정한다. 평균 콘트라스트 비 벡터는 기준 버퍼 내 각각의 픽셀 열에 대한 평균 콘트라스트 비 값을 포함한다. 이어서 평균 콘트라스트 비 벡터가 분석되어 모든 픽셀 열에 걸쳐 단일의 피크 콘트라스트 비 값을 결정하고, 그리고 단일의 피크 콘트라스트 비 값에 대응하는 픽셀 위치가 기준 버퍼에 대한 트루-Z값으로 변환된다.
실시형태에서, 복수의 기준 버퍼 및 매크로-초점에 대한 트루-Z값이 결정된 후, 이미징 스캔이 샘플의 하나의 에지에서 제1 스트립(stripe)에 의해 시작된다. 제1 스트립은 스캐닝을 위해 복수의 이미지 버퍼로 분리된다. 매크로-초점, 복수의 기준 버퍼, 및 이미지 버퍼 중 (샘플에 걸친 X-Y 거리의) 가장 가까운 트루-Z값은 제1 스트립의 각각의 이미지 버퍼를 스캐닝할 때 사용된다. 부가적으로, 프로세서는 매크로-초점 및 기준 버퍼에 대한 트루-Z값 및 각각의 이미지 버퍼를 스캐닝한 후 각각의 이미지 버퍼에 대해 계산되는 트루-Z값을 사용하여 전반적인 샘플 표면을 계산하기 시작한다. 추가의 스트립이 스캐닝될 때, 각각의 이미지 버퍼에 대한 트루-Z값이 위에서 설명된 바와 같이 결정되고 그리고 전반적인 표면을 최적화하도록 사용된다.
전반적인 표면에 더하여, 하나 이상의 국부적인 샘플 표면은 또한 인근의 이미지 버퍼 및 기준 버퍼로부터 트루-Z값을 사용하여 계산된다. 실시형태에서, 국부적인 표면은 스캐닝될 다음의 이미지 버퍼를 둘러싸는 2㎜ L자 형상의 구역 내에 있는 인근의 버퍼로부터의 트루-Z값을 포함하는 것으로 제한된다. 다음의 이미지 버퍼를 스캐닝할 때, 국부적인 표면은 대물 렌즈가 다음의 이미지 버퍼를 스캐닝하는 초반에 배치되는 예상-Z값을 결정하도록 사용된다(적용 가능하다면). 실시형태에서, 국부적인 표면의 경사, 매크로-초점, 복수의 기준 버퍼, 이미지 버퍼 중 가장 가까운 트루-Z값, 및 다음의 이미지 버퍼의 시작까지의 거리(예를 들어, 1,000개의 라인 = 0.25㎜)는 다음의 이미지 버퍼에 대한 예상-Z값을 결정하도록 사용된다. 대물 렌즈가 예상-Z값으로 이동되어, 대물 렌즈는 다음의 이미지 버퍼의 제1 스캔 라인이 스캐닝될 때 예상-Z값에 있다. 각각의 이미지 버퍼가 스캐닝된 후, 각각의 버퍼에 대한 트루-Z값이 결정되고 그리고 스캔을 위해 사용되는 예상-Z값이 트루-Z값과 비교된다. 실시형태에서, 트루-Z값과 예상-Z값 간의 차의 절대값이 0.9㎛ 초과라면, 프로세서는 적어도 각각의 이미지 버퍼가 리스트립 논리(restripe logic)를 적용함으로써 리스캐닝되게(rescanned) 한다. 대안적으로, 각각의 이미지 버퍼를 둘러싸는 복수의 이미지 버퍼 또는 전체 스트립이 리스캐닝될 수도 있다.
실시형태에서, 대물 렌즈의 광학 경로에 배치된 포커스 센서와 이미징 센서; 다음의 작업에 의해 샘플의 스캐닝 동안 대물 렌즈의 높이를 조정하도록 구성된 프로세서를 포함하는 디지털 스캐닝 장치가 개시된다: 샘플 상에 매크로-초점을 선택하는 작업으로서, 매크로-초점은 샘플의 에지의 미리 결정된 범위 내에 있고 그리고 샘플에 걸친 최대 길이의 동일한 미리 결정된 범위 내에 있는, 샘플 상에 매크로-초점을 선택하는 작업; 대물 렌즈의 복수의 높이 위치에 대응하는 복수의 이미지 평면에서 매크로-초점을 포함하는 이미지 데이터의 단일의 시야를 스캐닝하는 작업; 복수의 이미지 평면의 각각에 대한 콘트라스트 값을 결정하는 작업; 가장 높은 콘트라스트 값을 가진 이미지 평면에 대응하는 제1 트루-Z값(Z1)을 식별하는 작업; 샘플에 걸친 최대 길이를 따라 이미지 데이터의 복수의 버퍼를 스캐닝하는 작업으로서, 이미지 데이터의 각각의 버퍼가 복수의 스캔 라인을 포함하고 그리고 각각의 스캔 라인이 복수의 픽셀을 포함하여, 각각의 버퍼가 복수의 스캔 라인의 수와 같은 픽셀의 행의 수 및 복수의 픽셀의 수와 같은 픽셀의 열의 수를 포함하는, 이미지 데이터의 복수의 버퍼를 스캐닝하는 작업; 선택된 버퍼 내 각각의 픽셀에 대한 콘트라스트 비 값을 결정하고; 선택된 버퍼 내 픽셀의 각각의 열에 대한 평균 콘트라스트 비 값을 결정하고; 그리고 선택된 버퍼 내 픽셀의 각각의 열에 대한 평균 콘트라스트 비 값에 기초하여 선택된 버퍼에 대한 콘트라스트 비 값을 결정함으로써, 각각의 버퍼에 대한 콘트라스트 비 값을 결정하는 작업; 각각의 버퍼에 대한 각각의 콘트라스트 비 값에 대응하는 복수의 추가의 트루-Z값(Z2 내지 Zn)을 식별하는 작업; 매크로 초점을 포함하는 각각의 버퍼 또는 시야에 대한 대응하는 X-Y 위치 정보를 가진 트루-Z값(Z1 내지 Zn)을 저장하는 작업; 이미지 스캐닝될 샘플의 다음의 부분의 X-Y 위치를 결정하는 작업; 결정된 X-Y 위치와 저장된 X-Y 위치의 비교에 기초하여 가장 가까운 트루-Z값을 식별하는 작업; 이미지 스캐닝될 샘플의 다음의 부분의 처음 위치에서 가장 가까운 트루-Z값에 대응하는 이미지 평면에 도달하도록 대물 렌즈의 높이 위치를 조정하는 작업. 과정은 샘플의 제1 부분(샘플의 제1 부분은 트루-Z값으로 최근에 스캐닝되었음)에 대한 포스트 Z값을 결정하고; 샘플의 제1 부분에 대한 포스트 Z값을 샘플의 제1 부분이 스캐닝되는 트루-Z값과 비교하고; 포스트 Z값과 트루-Z값 간의 차가 미리 결정된 값보다 더 크다면 샘플의 제1 부분의 리스캔(rescan)을 개시시키도록 더 구성될 수도 있다.
실시형태에서, 다음의 단계를 포함하는 방법이 개시된다: 샘플 상에 매크로-초점을 선택하는 단계로서, 매크로-초점은 샘플의 에지의 미리 결정된 범위 내에 있고 그리고 샘플에 걸친 최대 길이의 동일한 미리 결정된 범위 내에 있는, 샘플 상에 매크로-초점을 선택하는 단계; 대물 렌즈의 복수의 높이 위치에 대응하는 복수의 이미지 평면에서 매크로-초점을 포함하는 이미지 데이터의 단일의 시야를 스캐닝하는 단계; 복수의 이미지 평면의 각각에 대한 콘트라스트 값을 결정하는 단계; 가장 높은 콘트라스트 값을 가진 이미지 평면에 대응하는 제1 트루-Z값(Z1)을 식별하는 단계; 샘플에 걸친 최대 길이에 따라 이미지 데이터의 복수의 버퍼를 스캐닝하는 단계로서, 이미지 데이터의 각각의 버퍼가 복수의 스캔 라인을 포함하고 그리고 각각의 스캔 라인이 복수의 픽셀을 포함하여, 각각의 버퍼가 복수의 스캔 라인의 수와 같은 픽셀의 행의 수 및 복수의 픽셀의 수와 같은 픽셀의 열의 수를 포함하는, 이미지 데이터의 복수의 버퍼를 스캐닝하는 단계; 선택된 버퍼 내 각각의 픽셀에 대한 콘트라스트 비 값을 결정하고; 선택된 버퍼 내 픽셀의 각각의 열에 대한 평균 콘트라스트 비 값을 결정하고; 그리고 선택된 버퍼 내 픽셀의 각각의 열에 대한 평균 콘트라스트 비 값에 기초하여 선택된 버퍼에 대한 콘트라스트 비 값을 결정함으로써, 각각의 버퍼에 대한 콘트라스트 비 값을 결정하는 단계; 각각의 버퍼에 대한 각각의 콘트라스트 비 값에 대응하는 복수의 추가의 트루-Z값(Z2 내지 Zn)을 식별하는 단계; 매크로 초점을 포함하는 각각의 버퍼 또는 시야에 대한 대응하는 X-Y 위치 정보를 가진 트루-Z값(Z1 내지 Zn)을 저장하는 단계; 이미지 스캐닝될 샘플의 다음의 부분의 X-Y 위치를 결정하는 단계; 결정된 X-Y 위치와 저장된 X-Y 위치의 비교에 기초하여 가장 가까운 트루-Z값을 식별하는 단계; 이미지 스캐닝될 샘플의 다음의 부분의 처음 위치에서 가장 가까운 트루-Z값에 대응하는 이미지 평면에 도달하도록 대물 렌즈의 높이 위치를 조정하는 단계. 방법은 샘플의 제1 부분(샘플의 제1 부분은 트루-Z값으로 최근에 스캐닝되었음)에 대한 포스트 Z값을 결정하는 단계; 샘플의 제1 부분에 대한 포스트 Z값을 샘플의 제1 부분이 스캐닝되는 트루-Z값과 비교하는 단계; 포스트 Z값과 트루-Z값 간의 차가 미리 결정된 값보다 더 크다면 샘플의 제1 부분의 리스캔을 개시시키는 단계를 더 포함할 수도 있다.
본 발명의 다른 특징 및 이점은 다음의 상세한 설명 및 첨부 도면을 검토한 후 당업자에게 더 손쉽게 분명해질 것이다.
본 발명의 구성 및 작동은 다음의 상세한 설명 및 유사한 참조 부호가 유사한 부분을 나타내는 첨부 도면의 검토로부터 이해될 것이다.
도 1은 실시형태에 따른, 디지털 스캐닝 장치에서 실시간 오토포커스를 위한 예시적인 초기화 과정을 예시하는 흐름도;
도 2는 실시형태에 따른, 실시간 오토포커스를 사용하여 샘플을 스캐닝하기 위한 예시적인 과정을 예시하는 흐름도;
도 3은 실시형태에 따른, 실시간 오토포커스를 사용하여 이미 스캐닝된 이미지 데이터를 확인하기 위한 예시적인 과정을 예시하는 흐름도;
도 4a 내지 도 4f는 실시형태에 따른, 실시간 오토포커스를 위한 과정 및 샘플에 대한 예시적인 슬라이드를 예시하는 블록도;
도 5a는 본 명세서에 설명된 실시형태와 관련되어 사용될 수도 있는 예시적인 프로세서-가능 디바이스를 예시하는 블록도;
도 5b는 실시형태에 따른, 단일의 선형 어레이를 가진 예시적인 라인 스캔 카메라를 예시하는 블록도;
도 5c는 실시형태에 따른, 3개의 선형 어레이를 가진 예시적인 라인 스캔 카메라를 예시하는 블록도; 및
도 5d는 실시형태에 따른, 복수의 선형 어레이를 가진 예시적인 라인 스캔 카메라를 예시하는 블록도.
본 명세서에 개시된 특정한 실시형태가 스캐닝 작업흐름을 제공하여 실시간 오토포커스를 구현한다. 예를 들어, 본 명세서에 개시된 하나의 방법은 샘플 상의 매크로-점에서 대물 렌즈에 대한 트루-Z값을 결정하고, 그리고 샘플 상의 복수의 기준 버퍼(즉, 연속된 구역)의 각각에 대해 대물 렌즈에 대한 트루-Z값을 결정함으로써 실시간 오토포커스 스캔을 개시시키는 것을 허용한다. 트루-Z값은 샘플의 전체 그리고 국부적 표면을 계산하도록 사용된다. 트루-Z값 및 이로부터 계산된 표면(들)은 샘플의 미스캐닝된 이미지 버퍼(즉, 연속된 구역)에 대한 예상-Z값을 결정하도록 사용된다. 스캐닝 동안, 대물 렌즈가 (예를 들어, 위로 또는 아래로) 이동될 수도 있어서, 대물 렌즈는 미스캐닝된 이미지 버퍼의 처음(예를 들어, 제1 스캔 라인)에 예상-Z값에 도달한다. 각각의 이미지 버퍼를 스캐닝한 후, 트루-Z값은 각각의 이미지 버퍼에 대해 결정되고 그리고 각각의 이미지 버퍼에 대한 예상-Z값과 비교된다. 구역에 대한 예상-Z값과 트루-Z값 간의 차가 미리 결정된 문턱값을 초과한다면, 각각의 이미지 버퍼의 리스캔이 개시된다.
이 설명을 읽은 후, 본 발명을 다양한 대안적인 실시형태 및 대안적인 적용으로 구현하는 방식이 당업자에게 분명해질 것이다. 그러나, 본 발명의 다양한 실시형태가 본 명세서에 설명될지라도, 이 실시형태가 제한이 아닌 오직 실시예로서 제공된다는 것을 이해한다. 이와 같이, 다양한 대안적인 실시형태의 이 상세한 설명은 첨부된 청구항에 제시된 바와 같이 본 발명의 범주 또는 범위를 제한하는 것으로 해석되지 않아야 한다.
실시형태에서, 본 명세서에 설명된 디지털 스캐닝 장치는 국제 특허 공개 제WO/2017/053891호에 설명된 이미징 센서 및 포커싱 센서의 구성을 활용할 수도 있다. 예를 들어, 국제 특허 공개 제WO/2017/053891호에 설명된 이미징 센서(20) 및 포커싱 센서(30)는 본 명세서에 설명된 이미징 센서 및 포커싱 센서, 각각으로서 활용될 수도 있다.
도 1은 실시형태에 따른, 디지털 스캐닝 장치에서 실시간 오토포커스를 위한 예시적인 초기화 과정을 예시하는 흐름도이다. 예시된 과정은 디지털 스캐닝 장치 시스템, 예컨대, 도 5a 내지 도 5d에 대하여 설명된 디지털 스캐닝 장치 시스템에 의해 수행될 수 있다. 처음에, 단계(10)에서, 매크로-초점의 위치가 선택된다. 매크로-초점의 위치는 바람직하게는 샘플의 에지의 미리 결정된 범위 내에 있고, 그리고 또한 바람직하게는 샘플의 표면의 걸쳐 가장 긴 거리의 동일한 미리 결정된 범위 내에 있다. 실시형태에서, 미리 결정된 범위는 광학 경로에 대하여 포커싱 센서의 수직 범위에 의해 결정된다.
일단 매크로-초점의 위치가 결정된다면, 매크로-초점을 포함하는 샘플의 시야는 단계(20)에서 도시된 바와 같이, 모든 이용 가능한 이미지 평면에서 스캐닝된다. 이용 가능한 이미지 평면의 영역은 대물 렌즈와 샘플 사이의 가능한 상대적 거리의 세트에 의해 결정된다. 간단한 실시형태에서, 포커스 조정은 광축을 따라 대물 렌즈의 위치를 조정함으로써 이루어지고 따라서 이용 가능한 이미지 평면은 가장 가까운 대물 렌즈 위치와 가장 먼 대물 렌즈 위치 및 이 가장 가까운 위치와 가장 먼 위치 사이의 증대하는 대물 렌즈에 의해 결정된다.
다음에, 단계(30)에서, 매크로-초점에 대한 트루-Z값이 결정된다. 이전에 논의된 바와 같이, 트루-Z값은 샘플로부터 대물 렌즈의 거리(대물 렌즈가 보통 샘플 위에 배치되므로, 본 명세서에서 또한 "높이"로서 지칭됨)를 나타내고, 거리는 광학 경로에 따른 대물 렌즈의 가능한 위치의 범위에 비례한다. 트루-Z값이 광학 경로에서 대물 렌즈를 위로 그리고 아래로 이동시킴으로써 결정되어 포커스 심도를 나타내는 복수의 이미지 평면의 각각에 대한 이미지 데이터를 획득한다. 대안적으로, 복수의 이미지 평면에 대한 이미지 데이터는 경사진 포커싱 센서를 사용하여 동시에 획득될 수도 있다. 어느 경우든, 각각의 이미지 평면에서 이미지 데이터가 분석되어 가장 높은 콘트라스트를 가진 이미지 평면을 결정한다. 가장 높은-콘트라스트 이미지 평면을 이미징 센서의 픽셀에 배치하는 대물 렌즈의 위치는 트루-Z값으로서 지칭된다.
다음에, 단계(40)에서, 샘플에 걸친 최대 길이가 결정된다. 이 단계는 매크로-초점이 샘플의 에지의 미리 결정된 거리 내에 그리고 또한 샘플에 걸쳐 최대 길이를 나타내는 라인의 미리 결정된 거리 내에 있도록, 매크로-초점을 선택하는 과정 동안 발생할 수도 있다. 일단 샘플에 걸쳐 최대 길이를 나타내는 라인이 결정된다면, 단계(50)에서, 최대 길이에 따른 복수의 기준 버퍼가 스캐닝되고, 그리고 단계(60)에서, 트루-Z값이 각각의 기준 버퍼에 대해 계산된다. 실시형태에서, 복수의 기준 버퍼는 샘플에 걸쳐 최대 길이에 따라 완전한 연속된 구역을 형성한다. 대안적인 실시형태에서, 샘플에 걸쳐 최대 길이에 따른 기준 버퍼는 서로로부터 완전히 또는 부분적으로 분리될 수도 있다.
각각의 기준 버퍼가 스캐닝된 후, 버퍼에 대한 트루-Z값이 결정된다. 위에서 설명된 바와 같이, 실시형태에서, 단일의 시야에 대한 트루-Z값을 결정하는 것은 포커싱 센서 및 이미징 센서 내 각각의 픽셀에 의해 제공되는 원(raw) 강도 정보를 분석하고 그리고 각각의 픽셀에 대한 콘트라스트 비 값을 계산하는 것을 포함한다. 포커싱 센서의 각각의 픽셀이 광학 경로에 대하여 상이한 이미지 평면에 있으므로, 가장 높은 콘트라스트 비 값을 가진 픽셀의 각각의 이미지 평면이 가장 높은-콘트라스트 이미지 평면으로 결정되고, 따라서, 가장 높은-콘트라스트 이미지 평면 상의 이미징 센서의 모든 픽셀을 배치하는 대물 렌즈 높이가 매크로-초점에 대한 트루-Z값인 것으로 결정된다.
유사한 과정은 복수의 스캔 라인을 포함하는 버퍼에 대한 트루-Z값을 결정할 때 후속된다. 예를 들어, 버퍼는 복수의 스캔 라인을 포함하고, 그리고 각각의 스캔 라인은 복수의 픽셀을 갖는다. 예를 들어, 버퍼는 4096개의 픽셀 열을 가질 수도 있고, 그리고 버퍼 내 행의 수는 버퍼 내 스캔 라인의 수와 같다. 버퍼에 대한 트루-Z값을 결정할 때, 각각의 픽셀 열의 콘트라스트 비 값은 버퍼 내 4096개의 픽셀 열에 대응하는 4096개의 평균 콘트라스트 비 값의 벡터를 생성하도록 평균된다. 평균 콘트라스트 비 벡터는 버퍼에 대한 트루-Z값을 결정하도록 단일의 시야와 동일한 방식으로 분석된다. 트루-Z값이 각각의 기준 버퍼에 대해 결정된 후, 버퍼에 대한 X-Y 위치 정보와 함께 트루-Z값이 메모리에 저장된다. X-Y 위치 정보가 샘플, 슬라이드, 또는 스테이지의 평면 내 버퍼의 위치를 나타낸다는 것이 이해되어야 한다.
도 2는 실시형태에 따른, 실시간 오토포커스를 사용하여 샘플을 스캐닝하기 위한 예시적인 과정을 예시하는 흐름도이다. 예시된 과정은 디지털 스캐닝 장치 시스템, 예컨대, 도 5a 내지 도 5d에 대하여 설명된 디지털 스캐닝 장치 시스템에 의해 수행될 수 있다. 단계(90 및 100)에서, 전반적인 샘플 표면 및 국부적인 샘플 표면은 적절히, 입수 가능한 트루-Z값 및 이들의 대응하는 X-Y 위치 정보에 기초하여, 처음에 계산 및/또는 업데이트된다. 전반적인 샘플 표면은 모든 입수 가능한 트루-Z값에 기초하고, 그리고 국부적인 표면은 인근의 입수 가능한 트루-Z값에만 기초하고, "인근의"는 다음에 스캐닝될 대상 이미지 버퍼와 관련된(예를 들어, 인접한)다.
단계(110)에서, 스캐닝될 다음의 이미지 버퍼(본 명세서에서 "대상 이미지 버퍼"로서 지칭됨)가 결정된다. 이어서, 단계(120)에서, 샘플의 표면에 걸쳐 X-Y 거리에서 가장 가까운 트루-Z값이 대상 이미지 버퍼에 대해 식별된다. 다음에, 단계(130)에서, 대상 이미지 버퍼에 대한 예상-Z값이 계산된다. 실시형태에서, 예상-Z값은 가장 가까운 트루-Z값과 같다. 대안적으로, 예상-Z값은 가장 가까운 트루-Z값 및 대상 이미지 버퍼에 대해 결정되었던 국부적인 표면으로부터의 정보에 기초하여 계산될 수도 있다. 또 다른 대안으로서, 예상-Z값은 가장 가까운 트루-Z값 및 샘플에 대해 결정되었던 전반적인 표면으로부터의 정보에 기초하여 계산될 수도 있다. 또 다른 대안으로서, 예상-Z값은 가장 가까운 트루-Z값 및 대상 이미지 버퍼에 대해 결정되었던 국부적인 표면으로부터의 정보 및 샘플에 대해 결정되었던 전반적인 표면으로부터의 정보에 기초하여 계산될 수도 있다. 일단 예상-Z값이 계산된다면, 단계(140)에서, 대상 이미지 버퍼는 예상-Z값에 대응하는 시작되는 대물 렌즈 높이로 스캐닝된다. 단계(150)에서 결정될 때, 샘플에 대해 스캐닝될 이미지 버퍼가 더 많다면(즉, 단계(150)에서 "Y"), 과정은 스캐닝될 다음의 이미지 버퍼가 식별되는 단계(110)로 루프 백(loop back)한다. 샘플의 스캐닝이 완료된다면(즉, 단계(150)에서 "N"), 과정은 단계(160)에 도시된 바와 같이 종료된다.
도 3은 실시형태에 따른, 실시간 오토포커스를 사용하여 이미 스캐닝된 이미지 데이터를 확인하기 위한 예시적인 과정을 예시하는 흐름도이다. 예시된 과정은 디지털 스캐닝 장치 시스템, 예컨대, 도 5a 내지 도 5d에 대하여 설명된 디지털 스캐닝 장치 시스템에 의해 수행될 수 있다. 처음에, 단계(170)에서, 제1 이미지 버퍼가 스캐닝된 후, 제1 이미지 버퍼에 대한 이미지 데이터가 분석되어 제1 이미지 버퍼에 대한 트루-Z값을 결정한다. 다음에, 단계(180)에서, 제1 이미지 버퍼에 대한 트루-Z값이 제1 이미지 버퍼에 대한 예상-Z값과 비교된다. 제1 이미지 버퍼에 대한 트루-Z값과 제1 이미지 버퍼에 대한 예상-Z값 간의 차가 단계(190)에 도시된 바와 같이, 미리 결정된 문턱값을 초과한다면, 제1 이미지 버퍼는 리스캐닝될 필요가 있는 것으로 식별된다. 실시형태에서, 전체 샘플에 걸친 이미지 버퍼의 특정한 비율이 리스캐닝될 필요가 있는 것으로 식별된다면, 전체 샘플의 리스캔이 개시된다. 대안적으로, 트루-Z값과 예상-Z값 간의 차가 미리 결정된 문턱값을 초과하는 경우에, 리스캔은 오직 이 이미지 버퍼에 대해 개시될 수도 있다. 실시형태에서, 미리 결정된 문턱값은 0.5㎛이다. 대안적인 실시형태에서, 미리 결정된 문턱값은 0.9㎛이다.
도 4a 내지 도 4f는 실시형태에 따른, 실시간 오토포커스를 위한 과정을 설명할 때 사용될, 갭(220)을 가진 샘플(210)을 구비한 예시적인 슬라이드(200)를 예시하는 블록도이다. 도 4a에서 시작해서, 샘플(210)을 지지하는 슬라이드(200)가 도시된다. 예시된 실시형태에서, 샘플(210)은 갭(220)을 갖는다. 샘플(210)이 이미지 스캐닝될 때, 처음에 매크로-초점(300)이 선택된다. 실시형태에서, 선택된 매크로-초점(300)의 위치는 샘플(210)의 에지의 특정한 범위 내에 있다. 이 범위는 반경(310)으로서 규정된다. 부가적으로, 이 실시형태에서, 선택된 매크로-초점(300)의 위치는 샘플에 걸쳐 가장 긴 길이(320)를 따라 연장되는 라인(320)의 동일한 범위(즉, 반경(310)) 내에 있다. 따라서, 매크로-초점(300)은 샘플(210)의 에지와 샘플에 걸쳐 가장 긴 길이를 따른 라인(320)이 둘 다 매크로-초점(300)으로부터 미리 결정된 반경(310) 내에 있도록 선택된다. 실시형태에서, 반경(310)의 길이는 광학 경로에 대해 수직인 포커싱 센서의 범위에 의해 결정된다.
일단 매크로-초점(300)이 선택되었다면, 매크로-초점(300)을 포함한 시야가 스캐닝되고, 그리고 트루-Z값이 매크로-초점(300)에 대해 결정된다. 다음에, 샘플에 걸쳐 가장 긴 길이(320)를 따른 일련의 기준 버퍼(330)가 스캐닝되고 그리고 트루-Z값이 기준 버퍼(330)의 각각에 대해 결정된다. 기준 버퍼가 도시된 바와 같이 시편의 길이에 걸쳐 연속될 수도 있거나, 또는 기준 버퍼가 대안적으로 비연속될 수도 있다는 것에 유의한다. 매크로-초점(300) 및 각각의 기준 버퍼(330)에 대한 트루-Z값 및 이들의 X-Y 위치 정보가 메모리에 저장된다.
도 4b 내지 도 4f를 참조하면, 전체 샘플(210)이 이미지 스캐닝된다. 이미지 스캔은 보통 샘플(210)의 측면에서 시작된다. 제1 이미지 버퍼(A)는 다음에 스캐닝될 대상 버퍼로서 식별되고 그리고 예상-Z값은 대상 이미지 버퍼(A)에 대해 결정된다. 이 예시적인 실시형태에서, 대상 이미지 버퍼(A)에 대한 국부적인 표면이 이용 가능하지 않고, 따라서, 가장 가까운 트루-Z값(400)(이 경우에 매크로-초점(300)에 대한 트루-Z값)이 대상 이미지 버퍼(A)에 대한 예상-Z값으로 결정된다. 대안적으로, 대상 이미지 버퍼(A)에 대한 예상-Z값은 모든 입수 가능한 트루-Z값에 기초하여 계산되는 전반적인 표면에 관한 정보 및 가장 가까운 트루-Z값(400)에 기초하여 계산될 수도 있다. 일단 예상-Z값이 대상 이미지 버퍼(A)에 대해 결정된다면, 대물 렌즈의 높이가 예상-Z값으로 조정되고, 스테이지가 대상 이미지 버퍼(A)를 스캐닝하기 위한 시작 위치에 배치되고, 그리고 이어서 스테이지가 대물 렌즈에 대하여 이동되어 대상 이미지 버퍼(A)를 스캐닝한다.
대상 이미지 버퍼(A)의 스캐닝 동안, 대상 이미지 버퍼(B)에 대한 예상-Z값이 가장 가까운 트루-Z값(410)에 기초하여 결정되고, 그리고 대물 렌즈의 높이가 대상 이미지 버퍼(B)에 대한 예상-Z값으로 조정되어, 대상 이미지 버퍼(B)의 제1 스캔 라인이 이미지 센서에 의해 스캐닝될 때 대물 렌즈가 예상-Z값에 대한 대응하는 높이에 있다. 이전에 설명된 바와 같이, 예상-Z값은 또한 국부적인 표면에 관한 정보(예를 들어, 이미지 버퍼(A)에 관한 정보) 및/또는 전반적인 표면에 관한 정보에 기초하여 결정될 수도 있다.
대상 이미지 버퍼(A)의 스캐닝에 후속하여, 대상 이미지 버퍼(A)의 트루-Z값이 결정되고 그리고 이미지 버퍼(A)의 트루-Z값이 이미지 버퍼(A)의 예상-Z값과 비교된다. 실시형태에서, 대상 이미지 버퍼(A)의 트루-Z값과 대상 이미지 버퍼(A)의 예상-Z값 간의 차가 미리 결정된 문턱값을 초과한다면, 대상 이미지 버퍼(A)는 리스캔의 타겟이 된다.
이미지 버퍼의 스캐닝은 이 방식으로 연속적이다. 도 4d를 참조하면, 대상 이미지 버퍼(C)에 대한 가장 가까운 트루-Z값(420)은 매크로-초점(310) 또는 임의의 기준 버퍼(330)의 트루-Z값 대신에, 이전에 스캐닝된 이미지 버퍼(N1 또는 N2)의 트루-Z값이다. 이것은 대상 이미지 버퍼(C)가 매크로-초점(310) 또는 임의의 기준 버퍼(330)보다 이전에 스캐닝된 이미지 버퍼(N1 또는 N2)와 더 가깝기 때문이다. 실시형태에서, 이미지 버퍼(N2)가 가장 가까운 트루-Z값(420)이 대상 이미지 버퍼(C)에 대해 결정될 때 스캐닝되는 과정 중에 있으므로, 이전에 스캐닝된 이미지 버퍼(N1)의 트루-Z값은 대상 이미지 버퍼(C)에 대한 가장 가까운 트루-Z값(420)으로서 사용된다. 대안적인 실시형태에서, 대상 이미지 버퍼(C)가 이미지 버퍼(N1)보다 이미지 버퍼(N2)와 더 가깝기 때문에, 이전에 스캐닝된 이미지 버퍼(N2)의 트루-Z값은 대상 이미지 버퍼(C)에 대한 가장 가까운 트루-Z값(420)으로서 사용된다.
유사하게, 도 4e를 참조하면, 이전에 스캐닝된 이미지 버퍼가 대상 이미지 버퍼(D)와 더 가깝기 때문에, 가장 가까운 트루-Z값(430)은 매크로-초점(310)의 트루-Z값 또는 기준 버퍼(330)의 트루-Z값 대신에, 이전에 스캐닝된 이미지 버퍼의 트루-Z값이다. 도 4f의 또 다른 실시예를 참조하면, 대상 이미지 버퍼(E)가 특정한 기준 버퍼(330)와 더 가깝기 때문에, 대상 이미지 버퍼(E)의 가장 가까운 트루-Z값(440)은 매크로-초점(310)의 트루-Z값 또는 이전에 스캐닝된 버퍼의 트루-Z값 대신에, 기준 버퍼(330)의 트루-Z값이다. 이전에 설명된 바와 같이, 각각의 예상-Z값은 임의의 단일의 정보에 관한 정보 또는 가장 가까운 Z값, 국부적인 표면, 및 전반적인 표면에 관한 정보의 조합에 기초하여 결정될 수도 있다.
도 5a는 본 명세서에 설명된 다양한 실시형태와 관련되어 사용될 수도 있는 예시적인 프로세서-가능 디바이스(550)를 예시하는 블록도이다. 디바이스(550)의 대안적인 형태가 또한 당업자가 이해할 바와 같이, 사용될 수도 있다. 예시된 실시형태에서, 디바이스(550)는 하나 이상의 프로세서(555), 하나 이상의 메모리(565), 하나 이상의 움직임 제어기(570), 하나 이상의 인터페이스 시스템(575), 하나 이상의 샘플(590)과 함께 하나 이상의 유리 슬라이드(585)를 각각 지지하는 하나 이상의 이동식 스테이지(580), 샘플을 조명하는 하나 이상의 조명 시스템(595), 광학축을 따라 이동하는 광학 경로(605)를 각각 규정하는 하나 이상의 대물 렌즈(600), 하나 이상의 대물 렌즈 포지셔너(630), 하나 이상의 임의의 에피-조명 시스템(635)(예를 들어, 형광 스캐너 시스템에 포함됨), 하나 이상의 포커싱 광학 기기(610), 하나 이상의 라인 스캔 카메라(615), 및/또는 샘플(590)(예를 들어, 샘플(210)에 대응함) 및/또는 유리 슬라이드(585)(예를 들어, 슬라이드(200)에 대응함) 상에서 분리된 시야(625)를 각각 규정하는, 하나 이상의 추가의 카메라(620)(예를 들어, 라인 스캔 카메라 또는 영역 스캔 카메라)를 포함하는, 디지털 이미징 디바이스(또한 스캐너 시스템, 스캐닝 시스템, 스캐닝 장치, 디지털 스캐닝 장치, 디지털 슬라이드 스캐닝 장치 등으로서 본 명세서에서 지칭됨)로서 제공된다. 스캐너 시스템(550)의 다양한 구성요소는 하나 이상의 통신 버스(560)를 통해 통신 가능하게 연결된다. 스캐너 시스템(550)의 다양한 구성요소의 각각의 하나 이상이 있을 수도 있지만, 명료성을 위해서, 이 구성요소는 적절한 정보를 전달하기 위해 복수형으로 설명되는 것이 필요할 때를 제외하고 단수형으로 본 명세서에서 설명될 것이다.
하나 이상의 프로세서(555)는 예를 들어, 명령어를 동시에 처리할 수 있는 중앙 처리 장치(central processing unit: CPU) 및 독립형 그래픽 처리 장치(graphics processing unit: GPU)를 포함할 수도 있거나, 또는 하나 이상의 프로세서(555)는 명령어를 동시에 처리할 수 있는 멀티코어 프로세서를 포함할 수도 있다. 추가의 독립형 프로세서는 또한 특정한 컴포넌트를 제어하거나 또는 특정한 기능, 예컨대, 이미지 처리를 수행하도록 제공될 수도 있다. 예를 들어, 추가의 프로세서는 데이터 입력을 관리하기 위한 보조 프로세서, 부유점 수학 연산을 수행하기 위한 보조 프로세서, 신호-처리 알고리즘의 고속 실행에 적합한 아키텍처를 가진 특수-목적 프로세서(예를 들어, 디지털-신호 프로세서), 메인 프로세서에 종속된 슬레이브 프로세서(예를 들어, 벡-엔드 프로세서), 라인 스캔 카메라(615), 스테이지(580), 대물 렌즈(225), 및/또는 디스플레이(미도시)를 제어하기 위한 추가의 프로세서를 포함할 수도 있다. 이러한 추가의 프로세서는 독립형 이산 프로세서일 수도 있거나 또는 프로세서(555)와 통합될 수도 있다.
메모리(565)는 프로세서(555)에 의해 실행될 수 있는 프로그램을 위한 데이터 및 명령어의 저장을 제공한다. 메모리(565)는 데이터 및 명령어를 저장하는 하나 이상의 휘발성 및/또는 비-휘발성 컴퓨터-판독 가능한 저장 매체를 포함할 수도 있고 예를 들어, 랜덤 액세스 메모리, 판독 전용 메모리, 하드 디스크 드라이브, 외장형 저장 드라이브 등을 포함한다. 프로세서(555)는 메모리(565)에 저장되는 명령어를 실행시키고 그리고 통신 버스(560)를 통해 스캐너 시스템(550)의 다양한 구성요소와 통신하여 스캐너 시스템(550)의 전체 기능을 수행하도록 구성된다.
하나 이상의 통신 버스(560)는 아날로그 전기 신호를 전달하도록 구성되는 통신 버스(560)를 포함할 수도 있고 그리고 디지털 데이터를 전달하도록 구성되는 통신 버스(560)를 포함할 수도 있다. 따라서, 프로세서(555), 움직임 제어기(570), 및/또는 인터페이스 시스템(575)으로부터 하나 이상의 통신 버스(560)를 통한 통신은 전기 신호와 디지털 데이터 둘 다를 포함할 수도 있다. 프로세서(555), 움직임 제어기(570), 및/또는 인터페이스 시스템(575)은 또한 무선 통신 링크를 통해 스캐닝 시스템(550)의 다양한 구성요소의 하나 이상과 통신하도록 구성될 수도 있다.
움직임 제어 시스템(570)은 스테이지(580)(예를 들어, X-Y 평면 내) 및/또는 대물 렌즈(600)(예를 들어, 대물 렌즈 포지셔너(630)를 통해, X-Y 평면과 직교하는 Z축을 따라) X, Y 및/또는 Z 이동을 정확하게 제어 및 조정하도록 구성된다. 움직임 제어 시스템(570)은 또한 스캐너 시스템(550) 내 임의의 다른 이동 부품의 이동을 제어하도록 구성된다. 예를 들어, 형광 스캐너 실시형태에서, 움직임 제어 시스템(570)은 에피-조명 시스템(635) 내 광학 필터 등의 이동을 조정하도록 구성된다.
인터페이스 시스템(575)은 스캐너 시스템(550)이 다른 시스템 및 인간 조작자와 인터페이싱하게 한다. 예를 들어, 인터페이스 시스템(575)은 정보를 조작자에게 직접적으로 제공하고/하거나 조작자로부터 직접적인 입력을 허용하기 위한 사용자 인터페이스를 포함할 수도 있다. 인터페이스 시스템(575)은 또한 스캐닝 시스템(550)과, 직접적으로 연결되는 하나 이상의 외부 디바이스(예를 들어, 프린터, 외장형 저장 매체) 또는 네트워크(미도시)를 통해 스캐너 시스템(550)에 연결되는, 외부 디바이스, 예컨대, 이미지 서버 시스템, 조작자 스테이션, 사용자 스테이션, 및 행정 서버 시스템 사이의 통신 및 데이터 전달을 가능하게 하도록 구성된다.
조명 시스템(595)은 샘플(590)의 일부를 조명하도록 구성된다. 조명 시스템은 예를 들어, 광원 및 조명 광학 기기를 포함할 수도 있다. 광원은 광 출력을 최대화하기 위한 오목한 반사 거울 및 열을 억제하기 위한 KG-1 필터를 구비한 가변-강도 할로겐 광원을 포함할 수도 있다. 광원은 또한 아크-램프, 레이저, 또는 다른 광원의 임의의 유형을 포함할 수 있다. 실시형태에서, 조명 시스템(595)이 샘플(590)을 전송 모드에서 조명하여 라인 스캔 카메라(615) 및/또는 카메라(620)가 샘플(590)을 통해 전송되는 광에너지를 감지한다. 대안적으로 또는 조합하여, 조명 시스템(595)이 또한 샘플(590)을 반사 모드에서 조명하여 라인 스캔 카메라(615) 및/또는 카메라(620)가 샘플(590)로부터 반사되는 광에너지를 감지한다. 조명 시스템(595)은 광학 현미경의 임의의 공지된 모드에서 미세한 샘플(590)의 인터로게이션(interrogation)에 적합하도록 구성될 수도 있다.
실시형태에서, 스캐너 시스템(550)은 형광 스캐닝을 위한 스캐너 시스템(550)을 최적화하도록 에피-조명 시스템(635)을 임의로 포함한다. 형광 스캐닝은 특정한 파장(여기)에서 광을 흡수할 수 있는 광자-민감성 분자인, 형광 분자를 포함하는 샘플(590)의 스캐닝이다. 이 광자-민감성 분자는 또한 광을 더 높은 파장(방출)에서 방출할 수도 있다. 이 포토루미네선스 현상(photoluminescence phenomenon)의 효율이 매우 낮으므로, 방출된 광의 양은 종종 매우 적다. 방출된 광의 이 적은 양은 보통 샘플(590)을 스캐닝하고 그리고 디지털화하기 위한 종래의 기법(예를 들어, 전송 모드 현미경 검사)을 실패하게 한다. 유리하게는, 스캐너 시스템(550)의 임의의 형광 스캐너 시스템 실시형태에서, 다수의 선형 센서 어레이를 포함하는 라인 스캔 카메라(615)(예를 들어, 시간 지연 적분(time delay integration: "TDI") 라인 스캔 카메라)의 사용은, 라인 스캔 카메라(615)의 다수의 선형 센서 어레이의 각각에 대해 샘플(590)의 동일한 영역을 노출시킴으로써 라인 스캔 카메라의 광에 대한 민감도를 증가시킨다. 이것은 소량의 형광 샘플을 저 방출된 광으로 스캐닝할 때 특히 유용하다.
따라서, 형광 스캐너 시스템 실시형태에서, 라인 스캔 카메라(615)는 바람직하게는 단색 TDI 라인 스캔 카메라이다. 유리하게는, 단색 이미지는 이들이 샘플 상에 존재하는 다양한 채널로부터 실제 신호의 더 정확한 표현을 제공하므로 형광 현미경 검사에서 이상적이다. 당업자가 이해할 바와 같이, 형광 샘플(590)은 "채널"로서 또한 지칭되는, 상이한 파장에서 광을 방출하는 다수의 형광 염료에 의해 표기될 수 있다.
게다가, 다양한 형광 샘플의 로우-엔드 신호 레벨 및 하이-엔드 신호 레벨이 라인 스캔 카메라(615)가 감지하는 파장의 넓은 스펙트럼을 제공하기 때문에, 라인 스캔 카메라(615)가 감지할 수 있는, 로우-엔드 신호 레벨 및 하이-엔드 신호 레벨이 유사하게 넓은 것이 바람직하다. 따라서, 형광 스캐너 실시형태에서, 형광 스캐닝 시스템(550)에서 사용되는 라인 스캔 카메라(615)는 단색 10-비트 64-선형-어레이 TDI 라인 스캔 카메라이다. 라인 스캔 카메라(615)에 대한 다양한 비트 깊이는 스캐닝 시스템(550)의 형광 스캐너 실시형태에 의한 사용을 위해 채용될 수 있다는 것에 유의해야 한다.
이동식 스테이지(580)는 프로세서(555) 또는 움직임 제어기(570)의 제어하에서 정확한 X-Y 이동을 위해 구성된다. 이동식 스테이지는 또한 프로세서(555) 또는 움직임 제어기(570)의 제어하에서 Z 이동을 위해 구성될 수도 있다. 이동식 스테이지는 라인 스캔 카메라(615) 및/또는 영역 스캔 카메라에 의한 이미지 데이터 캡처 동안 샘플을 목적하는 위치에 배치하도록 구성된다. 이동식 스테이지는 또한 샘플(590)을 스캐닝 방향으로 실질적으로 일정한 속도로 가속하고 그리고 이어서 라인 스캔 카메라(615)에 의한 이미지 데이터 캡처 동안 실질적으로 일정한 속도를 유지하도록 구성된다. 실시형태에서, 스캐너 시스템(550)은 이동식 스테이지(580) 상의 샘플(590)의 위치를 돕도록 높은 정확도 및 단단히 조정된 X-Y 격자를 채용할 수도 있다. 실시형태에서, 이동식 스테이지는 X축과 Y축 둘 다에서 채용되는 높은 정확도의 인코더를 구비한 선형-모터-기반 X-Y 스테이지이다. 예를 들어, 매우 정확한 나노미터 인코더는 스캐닝 방향의 축에서, 그리고 스캐닝 방향에 대해 수직이고 그리고 스캐닝 방향과 동일한 평면에 있는 방향인 축에서 사용될 수 있다. 스테이지는 또한 샘플(590)이 배치되는 유리 슬라이드(585)를 지지하도록 구성된다.
샘플(590)(예를 들어, 샘플(210)에 대응함)은 광학 현미경에 의해 인터로게이팅될 수도 있는 어느 것일 수 있다. 예를 들어, 유리 현미경 슬라이드(585)(예를 들어, 슬라이드(200)에 대응함)는 조직 및, 세포, 염색체, DNA, 단백질, 혈액, 골수, 소변, 세균, 비드, 생체 검사 물질, 또는 죽거나 또는 살아 있거나, 착색되거나 또는 착색되지 않았거나, 표기되거나 또는 표기되지 않은 임의의 다른 유형의 생물학적 물질 또는 실체를 포함하는 시편을 위한 관찰 기판으로서 흔히 사용된다. 샘플(590)은 또한 마이크로어레이로서 흔히 알려진 임의의 그리고 모든 샘플을 포함하는, 임의의 유형의 슬라이드 또는 다른 기판 상에 증착되는 임의의 유형의 DNA 또는 DNA-관련 물질, 예컨대, cDNA 또는 RNA 또는 단백질의 어레이일 수도 있다. 샘플(590)은 마이크로타이터 플레이트(예를 들어, 96-웰 플레이트)일 수도 있다. 샘플(590)의 다른 예는 집적 회로 기판, 전기 영동 기록부, 페트리 접시, 막, 반도체 물질, 포렌식 물질, 및 기계가공된 부분을 포함한다.
대물 렌즈(600)는 실시형태에서 대물 렌즈(600)에 의해 규정된 광학축을 따라 대물 렌즈(600)를 이동시키도록 매우 정확한 선형 모터를 채용하는, 대물 렌즈 포지셔너(630) 상에 장착된다. 예를 들어, 대물 렌즈 포지셔너(630)의 선형 모터는 50 나노미터 인코더를 포함할 수도 있다. X축, Y축 및/또는 Z축에서 스테이지(580)와 대물 렌즈(600)의 상대적 위치는 전체 스캐닝 시스템(550) 작동을 위한 컴퓨터-실행 가능한 프로그래밍된 단계를 포함하는, 정보 및 명령어를 저장하기 위한 메모리(565)를 채용하는 프로세서(555)의 제어하에서, 움직임 제어기(570)를 사용하여 폐루프 방식으로 조정 및 제어된다.
실시형태에서, 대물 렌즈(600)는 바람직한 가장 높은 공간 분해능에 대응하는 개구수를 가진 플랜 아포크로매틱(apochromatic"APO") 무한-정정형 대물 렌즈이고, 대물 렌즈(600)는 전송-모드 조명 현미경 검사, 반사-모드 조명 현미경 검사, 및/또는 에피-조명-모드 형광 현미경 검사(예를 들어, 올림푸스사의 40X, 0.75NA 또는 20X, 0.75 NA)에 적합하다. 유리하게는, 대물 렌즈(600)는 색 수차 및 구면 수차를 정정할 수 있다. 대물 렌즈(600)가 무한-정정형이기 때문에, 포커싱 광학 기기(610)는 대물 렌즈(600) 위의 광학 경로(605)에 배치될 수 있고, 대물 렌즈(600)를 통과하는 광빔은 시준된 광빔이 된다. 포커싱 광학 기기(610)는 라인 스캔 카메라(615) 및/또는 영역 스캔 카메라(620)의 광-반응성 구성요소 상에서 대물 렌즈(600)에 의해 캡처된 광신호를 포커싱하고, 그리고 광학 컴포넌트, 예컨대, 필터, 배율 변경기 렌즈 등을 포함할 수도 있다. 포커싱 광학 기기(610)와 결합된 대물 렌즈(600)는 총 배율을 스캐닝 시스템(550)에 제공한다. 실시형태에서, 포커싱 광학 기기(610)는 튜브 렌즈 및 임의의 2X 배율 변경기를 포함할 수도 있다. 유리하게는, 2× 배율 변경기는 네이티브 20× 대물 렌즈(600)가 40× 배율로 샘플(590)을 스캐닝하게 한다.
라인 스캔 카메라(615)는 사진 구성요소("픽셀")의 적어도 하나의 선형 어레이를 포함한다. 라인 스캔 카메라는 단색 또는 다색일 수도 있다. 컬러 라인 스캔 카메라는 보통 적어도 3개의 선형 어레이를 갖고, 반면에 단색 라인 스캔 카메라는 단일의 선형 어레이 또는 복수의 선형 어레이를 가질 수도 있다. 단일의 또는 복수의 선형 어레이의 임의의 유형이, 카메라의 일부로서 패키징되거나 또는 이미징 전자 모듈에 주문-통합되든지 간에, 또한 사용될 수 있다. 예를 들어, 3-선형-어레이("적-녹-청" 또는 "RGB") 컬러 라인 스캔 카메라 또는 96 선형 어레이 단색 TDI가 또한 사용될 수도 있다. TDI 라인 스캔 카메라는 보통 시편의 이전에 이미지 처리된 구역으로부터 강도 데이터를 합산함으로써 실질적으로 더 우수한 신호-대-잡음 비(signal-to-noise ratio: "SNR")를 출력 신호에 제공하여, 통합 스테이지의 수의 제곱근과 비례하는 SNR의 증가를 생성한다. TDI 라인 스캔 카메라는 다수의 선형 어레이를 포함한다. 예를 들어, 24개, 32개, 48개, 64개, 96개 또는 심지어 더 많은 선형 어레이를 구비한 TDI 라인 스캔 카메라가 이용 가능하다. 스캐너 시스템(550)은 또한 512개의 픽셀을 구비한 일부, 1024개의 픽셀을 구비한 일부, 및 4096개의 픽셀만큼 많은 픽셀을 구비한 다른 것을 포함한 다양한 포맷으로 제작되는 선형 어레이를 지원한다. 유사하게, 다양한 픽셀 크기를 가진 선형 어레이가 또한 스캐너 시스템(550)에서 사용될 수 있다. 임의의 유형의 라인 스캔 카메라(615)의 선택을 위한 핵심적인 필요조건은 스테이지(580)의 움직임이 라인 스캔 카메라(615)의 라인 속도와 동기화될 수 있어서, 스테이지(580)가 샘플(590)의 디지털 이미지 캡처 동안 라인 스캔 카메라(615)에 대해 이동할 수 있다는 것이다.
라인 스캔 카메라(615)에 의해 생성된 이미지 데이터가 메모리(565)의 일부에 저장되고 그리고 프로세서(555)에 의해 처리되어 샘플(590)의 적어도 일부의 연속된 디지털 이미지를 생성한다. 연속된 디지털 이미지가 프로세서(555)에 의해 더 처리될 수 있고, 그리고 보정된 연속된 디지털 이미지가 또한 메모리(565)에 저장될 수 있다.
2개 이상의 라인 스캔 카메라(615)에 대한 실시형태에서, 라인 스캔 카메라(615) 중 적어도 하나는 이미징 센서로서 기능하도록 구성되는 다른 라인 스캔 카메라(615) 중 적어도 하나와 결합하여 작동하는 포커싱 센서로서 기능하도록 구성될 수 있다. 포커싱 센서는 이미징 센서와 동일한 광학축 상에 논리적으로 배치될 수 있거나 또는 포커싱 센서는 스캐너 시스템(550)의 스캐닝 방향에 대하여 이미징 센서 앞에 또는 뒤에 논리적으로 배치될 수도 있다. 이러한 실시형태에서, 포커싱 센서로서 기능하는 적어도 하나의 라인 스캔 카메라(615)를 사용하여, 포커싱 센서에 의해 생성된 이미지 데이터가 메모리(565)의 일부에 저장되고 그리고 하나 이상의 프로세서(555)에 의해 처리되어 포커스 정보를 생성하여 스캐너 시스템(550)이 샘플(590)과 대물 렌즈(600) 사이의 상대적 거리를 조정해서 스캐닝 동안 샘플 상의 포커스를 유지한다. 부가적으로, 실시형태에서, 포커싱 센서로서 기능하는 적어도 하나의 라인 스캔 카메라(615)는, 포커싱 센서의 복수의 개별적인 픽셀의 각각이 광학 경로(605)를 따라 상이한 논리적 높이에 배치되도록 지향될 수도 있다.
작동 시, 메모리(565)에 저장된 프로그래밍된 모듈 및 스캐너 시스템(550)의 다양한 컴포넌트는 유리 슬라이드(585) 상에 배치되는, 샘플(590)의 자동 스캐닝 및 디지털화를 가능하게 한다. 유리 슬라이드(585)는 샘플(590)을 스캐닝하기 위해 스캐너 시스템(550)의 이동식 스테이지(580) 상에 단단히 배치된다. 프로세서(555)의 제어하에서, 이동식 스테이지(580)는 라인 스캔 카메라(615)에 의한 감지를 위해 샘플(590)을 실질적으로 일정한 속도로 가속하고, 스테이지의 속도는 라인 스캔 카메라(615)의 라인 속도와 동기화된다. 이미지 데이터의 스트립을 스캐닝한 후, 이동식 스테이지(580)는 감속되고 그리고 샘플(590)을 실질적으로 완전한 정지 상태로 둔다. 이어서 이동식 스테이지(580)가 스캐닝 방향과 직교하는 방향으로 이동되어 이미지 데이터의 후속의 스트립(예를 들어, 인접한 스트립)의 스캐닝을 위해 샘플(590)을 배치한다. 추가의 스트립은 샘플(590)의 전체 부분 또는 전체 샘플(590)이 스캐닝될 때까지 후속하여 스캐닝된다.
예를 들어, 샘플(590)의 디지털 스캐닝 동안, 샘플(590)의 연속된 디지털 이미지는 이미지 스트립을 형성하도록 함께 결합되는 복수의 연속된 시야로서 획득된다. 복수의 인접한 이미지 스트립은 유사하게 일부 또는 전체 샘플(590)의 연속된 디지털 이미지를 형성하도록 함께 결합된다. 샘플(590)의 스캐닝은 수직 이미지 스트립 또는 수평 이미지 스트립의 획득을 포함할 수도 있다. 샘플(590)의 스캐닝은 상단부터 하단으로, 하단부터 상단으로, 또는 둘 다로(양방향으로) 이루어질 수도 있고 그리고 샘플 상의 임의의 지점에서 시작될 수도 있다. 대안적으로, 샘플(590)의 스캐닝은 좌측부터 우측으로, 우측부터 좌측으로, 또는 둘 다로(양방향으로) 이루어질 수도 있고 그리고 샘플 상의 임의의 지점에서 시작될 수도 있다. 부가적으로, 이미지 스트립이 인접한 또는 연속된 방식으로 획득되는 것이 불필요하다. 게다가, 샘플(590)의 발생된 이미지는 전체 샘플(590)의 이미지 또는 오직 샘플(590)의 일부일 수도 있다.
실시형태에서, 컴퓨터-실행 가능한 명령어(예를 들어, 프로그래밍된 모듈 및 소프트웨어)는 메모리(565)에 저장되고 그리고, 실행될 때, 스캐닝 시스템(550)이 본 명세서에 설명된 다양한 기능을 수행하게 한다. 이 설명에서, 용어 "컴퓨터-판독 가능한 저장 매체"는 컴퓨터 실행 가능한 명령어를 프로세서(555)에 의한 실행을 위해 스캐닝 시스템(550)에 저장 및 제공하도록 사용되는 임의의 매체를 나타내도록 사용된다. 이 매체의 예는 직접적으로 또는 간접적으로, 예를 들어, 네트워크(미도시)를 통해, 스캐닝 시스템(550)과 통신 가능하게 연결된 임의의 외장형 또는 외부 저장 매체(미도시) 및 메모리(565)를 포함한다.
도 5b는 전하 결합 디바이스(charge coupled device: "CCD") 어레이로서 구현될 수도 있는, 단일의 선형 어레이(640)를 가진 라인 스캔 카메라를 예시한다. 단일의 선형 어레이(640)는 복수의 개별적인 픽셀(645)을 포함한다. 예시된 실시형태에서, 단일의 선형 어레이(640)는 4096개의 픽셀을 갖는다. 대안적인 실시형태에서, 선형 어레이(640)는 더 많거나 또는 더 적은 픽셀을 가질 수도 있다. 예를 들어, 선형 어레이의 공통 포맷은 512개, 1024개 및 4096개의 픽셀을 포함한다. 픽셀(645)은 선형 어레이(640)에 대한 시야(625)를 규정하도록 선형 방식으로 배열된다. 시야(625)의 크기는 스캐너 시스템(550)의 배율에 따라 변경된다.
도 5c는 3개의 선형 어레이를 가진 라인 스캔 카메라를 예시하고, 선형 어레이의 각각은 CCD 어레이로서 구현될 수도 있다. 3개의 선형 어레이는 컬러 어레이(650)를 형성하도록 결합된다. 실시형태에서, 컬러 어레이(650) 내 각각의 개별적인 선형 어레이는 상이한 컬러 강도, 예를 들어, 적색, 녹색, 또는 청색을 검출한다. 컬러 어레이(650) 내 각각의 개별적인 선형 어레이로부터 컬러 이미지 데이터는 컬러 이미지 데이터의 단일의 시야(625)를 형성하도록 결합된다.
도 5d는 복수의 선형 어레이를 가진 라인 스캔 카메라를 예시하고, 선형 어레이의 각각은 CCD 어레이로서 구현될 수도 있다. 복수의 선형 어레이는 TDI 어레이(655)를 형성하도록 결합된다. 유리하게는, TDI 라인 스캔 카메라는 시편의 이전에 이미지 처리된 구역으로부터 강도 데이터를 합산함으로써 실질적으로 더 우수한 SNR을 이의 출력 신호에 제공할 수도 있어서, 선형 어레이(또한 통합 스테이지로서 지칭됨)의 수의 제곱근과 비례하는 SNR의 증가를 생성한다. TDI 라인 스캔 카메라는 다양한 더 큰 수의 선형 어레이를 포함할 수도 있다. 예를 들어, TDI 라인 스캔 카메라의 공통 포맷은 24개, 32개, 48개, 64개, 96개, 120개 그리고 심지어 더 많은 선형 어레이를 포함한다.
개시된 실시형태의 위의 설명은 당업자가 본 발명을 만들거나 또는 사용하게 하도록 제공된다. 이 실시형태에 대한 다양한 변경은 당업자에게 손쉽게 명백할 것이고, 그리고 본 명세서에 설명된 일반적인 원리는 본 발명의 정신 또는 범위로부터 벗어나는 일 없이 다른 실시형태에 적용될 수 있다. 따라서, 본 명세서에 제공된 설명 및 도면이 본 발명의 현재 바람직한 실시형태를 나타내고 따라서 본 발명에 의해 넓게 고려되는 주제를 나타낸다는 것이 이해된다. 본 발명의 범위가 당업자에게 분명할 수도 있는 다른 실시형태를 완전히 포괄하고 그리고 본 발명의 범위가 이에 따라 제한되지 않는다는 것이 더 이해된다.

Claims (12)

  1. 디지털 스캐닝 장치로서,
    대물 렌즈;
    상기 대물 렌즈의 시야를 감지하도록 상기 대물 렌즈의 광학 경로에 배치된 포커싱 센서 및 이미징 센서; 및
    적어도 하나의 프로세서로서, 적어도 하나의 상기 프로세서는,
    샘플 상에 매크로-초점을 선택하는 단계로서, 상기 매크로-초점은 상기 샘플의 에지와 상기 샘플에 걸쳐 최대 길이를 나타내는 라인 둘 다의 미리 결정된 범위 내에 있는, 상기 샘플 상에 매크로-초점을 선택하는 단계,
    상기 샘플로부터 상기 대물 렌즈의 복수의 거리 위치에 대응하는 복수의 이미지 평면에서 상기 매크로-초점을 포함하는 이미지 데이터를 획득하도록 상기 포커싱 센서를 사용하여 상기 매크로-초점을 포함하는 단일의 시야를 스캐닝하는 단계,
    상기 복수의 이미지 평면의 각각에 대한 콘트라스트 값을 결정하는 단계,
    결정된 콘트라스트 값 중 가장 높은 콘트라스트 값을 가진 복수의 이미지 평면 중 하나의 이미지 평면에 대응하며 샘플로부터 대물 렌즈의 거리를 나타내는 대물 렌즈 거리 값(Z1)을 식별하는 단계,
    이미지 데이터의 복수의 버퍼(buffer)를 획득하도록 상기 샘플에 걸쳐 상기 최대 길이를 나타내는 라인을 따라 복수의 구역을 스캐닝하는 단계로서, 각각의 버퍼가 복수의 스캔 라인을 포함하고 그리고 각각의 스캔 라인이 복수의 픽셀을 포함하여, 각각의 버퍼가 상기 복수의 스캔 라인의 수와 같은 픽셀의 행의 수 및 각각의 스캔 라인 내 상기 복수의 픽셀의 수와 같은 픽셀의 열의 수를 포함하는, 라인을 따라 복수의 구역을 스캐닝하는 단계,
    상기 복수의 버퍼의 각각에 대한 콘트라스트 비 값을 결정하는 단계,
    상기 복수의 버퍼에 대한 결정된 콘트라스트 비 값에 대응하는, 복수의 추가의 대물 렌즈 거리 값(Z2 내지 Zn)을 식별하는 단계로서, 각각의 추가의 대물 렌즈 거리 값(Z2 내지 Zn)은 상기 복수의 버퍼 중 각각의 버퍼에 대해, 상기 이미징 센서의 상기 이미지 평면이 피크 콘트라스트를 갖는 샘플로부터의 상기 대물 렌즈의 거리를 나타내는, 상기 복수의 추가의 대물 렌즈 거리 값을 식별하는 단계,
    각각의 위치 정보를 가진, 대물 렌즈 거리 값(Z1 내지 Zn)을 저장하는 단계로서, 대물 렌즈 거리 값(Z1)에 대한 상기 위치 정보는 상기 매크로-초점의 위치를 나타내고, 그리고 대물 렌즈 거리 값(Z2 내지 Zn)의 각각에 대한 상기 위치 정보는 상기 복수의 버퍼 중 각각의 버퍼의 위치를 나타내는, 상기 모든 대물 렌즈 거리 값을 저장하는 단계,
    스캐닝될 상기 샘플의 구역의 위치를 결정하는 단계,
    상기 대물 렌즈 거리 값(Z1 내지 Zn)에 대한 결정된 위치 및 저장된 위치 정보에 기초하여 상기 샘플의 상기 구역에 대하여 대물 렌즈 거리 값(Z1 내지 Zn) 중 가장 가까운 대물 렌즈 거리 값을 식별하는 단계,
    상기 대물 렌즈 거리 값(Z1 내지 Zn) 중 가장 가까운 대물 렌즈 거리 값에 적어도 부분적으로 기초하여, 상기 샘플의 상기 구역에 대하여 예상되는 대물 렌즈 거리 값을 결정하는 단계, 및
    상기 샘플의 상기 구역의 스캐닝의 시작 시, 상기 예상되는 대물 렌즈 거리 값에 기초하여, 상기 대물 렌즈와 상기 샘플 사이의 거리를 조정하는 단계를 수행하도록 된,
    적어도 하나의 프로세서;를 포함하는, 디지털 스캐닝 장치.
  2. 제1항에 있어서, 상기 복수의 버퍼의 각각에 대한 콘트라스트 비 값을 결정하는 것은 상기 버퍼 내 픽셀의 각각의 열에 대한 평균 콘트라스트 비 값을 결정하고, 그리고 상기 버퍼 내 픽셀의 각각의 열에 대한 상기 평균 콘트라스트 비 값에 기초하여 상기 버퍼에 대한 콘트라스트 비 값을 결정하는 것을 포함하는, 디지털 스캐닝 장치.
  3. 제1항에 있어서, 적어도 하나의 상기 프로세서는, 상기 샘플의 상기 구역을 스캐닝한 후,
    상기 샘플의 상기 구역에 대한, 대물 렌즈 거리 값(Znew)을 결정하고;
    상기 샘플의 상기 구역에 대한 상기 대물 렌즈 거리 값(Znew)과 상기 샘플의 상기 구역에 대한 상기 예상되는 대물 렌즈 거리 값 간의 차를 결정하고; 그리고
    상기 차가 미리 결정된 문턱값을 초과할 때 상기 샘플의 상기 구역의 리스캔(rescan)을 개시시키도록 더 구성되는, 디지털 스캐닝 장치.
  4. 제3항에 있어서, 상기 적어도 하나의 프로세서는, 상기 샘플의 복수의 스캐닝된 구역을 스캐닝한 후, 상기 대물 렌즈 거리 값(Znew)과 상기 예상되는 대물 렌즈 거리 값 간의 차이가 상기 복수의 스캐닝된 구역의 미리 결정된 비율에 대한 상기 미리 결정된 문턱값을 초과한다면, 전체 샘플의 리스캔(rescan)을 개시시키도록 더 구성되는, 디지털 스캐닝 장치.
  5. 제3항에 있어서, 상기 미리 결정된 문턱값은 0.5 내지 0.9㎛의 범위 이내인, 디지털 스캐닝 장치.
  6. 제3항에 있어서, 상기 적어도 하나의 프로세서는 모든 대물 렌즈 거리 값(Z1 내지 Zn)을 사용하여 전반적인 샘플 표면을 계산하도록 더 구성되고, 그리고 상기 샘플의 상기 구역에 대한 상기 예상되는 대물 렌즈 거리 값은 상기 가장 가까운 대물 렌즈 거리 값 및 전반적인 샘플 표면에 적어도 부분적으로 기초하는, 디지털 스캐닝 장치.
  7. 제6항에 있어서, 상기 적어도 하나의 프로세서는 상기 샘플의 상기 구역을 스캐닝한 후, 상기 샘플의 스캐닝된 구역에 대해, 상기 대물 렌즈 거리 값(Znew)을 사용하여 상기 전반적인 샘플 표면을 재계산하도록 더 구성되는, 디지털 스캐닝 장치.
  8. 제6항에 있어서, 상기 전반적인 샘플 표면은 새로운 대물 렌즈 거리 값이 계산 및 저장될 때, 상기 샘플에 대한 모든 저장된 대물 렌즈 거리 값을 반영하도록 계속적으로 업데이트되는, 디지털 스캐닝 장치.
  9. 제1항에 있어서, 적어도 하나의 상기 프로세서는 스캐닝될 상기 샘플의 구역과 인접한 구역에 대응하는 버퍼에 대한 대물 렌즈 거리 값의 하위세트를 사용하여 국부적인 샘플 표면을 계산하도록 더 구성되고, 그리고 상기 샘플의 상기 구역에 대한 상기 예상되는 대물 렌즈 거리 값은 상기 가장 가까운 대물 렌즈 거리 값 및 상기 국부적인 샘플 표면에 적어도 부분적으로 기초하는, 디지털 스캐닝 장치.
  10. 제9항에 있어서, 상기 국부적인 샘플 표면은 L자 형상인, 디지털 스캐닝 장치.
  11. 제1항에 있어서, 상기 샘플에 걸쳐 상기 최대 길이를 나타내는 상기 라인을 따라 스캐닝되는, 상기 복수의 구역은 상기 샘플에 걸쳐 연장되는 상기 샘플의 연속된 부분을 집합적으로 형성하는, 디지털 스캐닝 장치.
  12. 대물 렌즈, 상기 대물 렌즈의 시야를 감지하도록 상기 대물 렌즈의 광학 경로에 배치된 포커싱 센서 및 이미징 센서, 및 적어도 하나의 프로세서를 포함하는 디지털 스캐닝 장치를 포커싱하기 위한 방법으로서, 상기 방법은 상기 디지털 스캐닝 장치의 적어도 하나의 프로세서에 의해,
    샘플 상에 매크로-초점을 선택하는 단계로서, 상기 매크로-초점은 상기 샘플의 에지와 상기 샘플에 걸쳐 최대 길이를 나타내는 라인 둘 다의 미리 결정된 범위 내에 있는, 상기 샘플 상에 매크로-초점을 선택하는 단계;
    상기 샘플로부터 상기 대물 렌즈의 복수의 거리 위치에 대응하는 복수의 이미지 평면에서 상기 매크로-초점을 포함하는 이미지 데이터를 획득하도록 상기 포커싱 센서를 사용하여 상기 매크로-초점을 포함하는 단일의 시야를 스캐닝하는 단계;
    상기 복수의 이미지 평면의 각각에 대한 콘트라스트 값을 결정하는 단계;
    결정된 콘트라스트 값 중 가장 높은 콘트라스트 값을 가진 복수의 이미지 평면 중 하나의 이미지 평면에 대응하며 샘플로부터 대물 렌즈의 거리를 나타내는 대물 렌즈 거리 값(Z1)을 식별하는 단계;
    이미지 데이터의 복수의 버퍼를 획득하도록 상기 샘플에 걸쳐 상기 최대 길이를 나타내는 상기 라인을 따라 복수의 구역을 스캐닝하는 단계로서, 각각의 버퍼가 복수의 스캔 라인을 포함하고 그리고 각각의 스캔 라인이 복수의 픽셀을 포함하여, 각각의 버퍼가 상기 복수의 스캔 라인의 수와 같은 픽셀의 행의 수 및 각각의 스캔 라인 내 상기 복수의 픽셀의 수와 같은 픽셀의 열의 수를 포함하는, 상기 라인을 따라 복수의 구역을 스캐닝하는 단계;
    상기 복수의 버퍼의 각각에 대한 콘트라스트 비 값을 결정하는 단계;
    상기 복수의 버퍼에 대한 결정된 콘트라스트 비 값에 대응하는, 복수의 추가의 대물 렌즈 거리 값(Z2 내지 Zn)을 식별하는 단계로서, 각각의 추가의 대물 렌즈 거리 값(Z2 내지 Zn)은 상기 복수의 버퍼 중 각각의 버퍼에 대해, 상기 이미징 센서의 상기 이미지 평면이 피크 콘트라스트를 갖는 상기 샘플로부터의 상기 대물 렌즈의 거리 위치를 나타내는, 복수의 추가의 대물 렌즈 거리 값을 식별하는 단계;
    각각의 위치 정보를 가진, 모든 대물 렌즈 거리 값(Z1 내지 Zn)을 저장하는 단계로서, 대물 렌즈 거리 값(Z1)에 대한 상기 위치 정보는 상기 매크로-초점의 위치를 나타내고, 그리고 대물 렌즈 거리 값(Z2 내지 Zn)의 각각에 대한 위치 정보는 상기 복수의 버퍼 중 각각의 버퍼의 위치를 나타내는, 모든 대물 렌즈 거리 값을 저장하는 단계;
    스캐닝될 상기 샘플의 구역의 위치를 결정하는 단계;
    상기 대물 렌즈 거리 값(Z1 내지 Zn)에 대한 결정된 위치 및 저장된 위치 정보에 기초하여 상기 샘플의 상기 구역에 대한 대물 렌즈 거리 값(Z1 내지 Zn) 중 가장 가까운 대물 렌즈 거리 값을 식별하는 단계;
    상기 대물 렌즈 거리 값(Z1 내지 Zn) 중 가장 가까운 대물 렌즈 거리 값에 적어도 부분적으로 기초하여, 상기 샘플의 상기 구역에 대한 예상되는 대물 렌즈 거리 값을 결정하는 단계; 및
    상기 샘플의 상기 구역의 스캐닝의 시작 시, 상기 예상되는 대물 렌즈 거리 값에 기초하여, 상기 대물 렌즈와 상기 샘플 사이의 거리를 조정하는 단계를 포함하는, 디지털 스캐닝 장치를 포커싱하기 위한 방법.
KR1020207008599A 2017-09-29 2018-09-28 실시간 오토포커스 스캐닝 KR102411099B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227020389A KR102523559B1 (ko) 2017-09-29 2018-09-28 디지털 스캐닝 장치

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762566155P 2017-09-29 2017-09-29
US62/566,155 2017-09-29
PCT/US2018/053637 WO2019068043A1 (en) 2017-09-29 2018-09-28 AUTOMATIC FOCUS SCAN IN REAL TIME

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227020389A Division KR102523559B1 (ko) 2017-09-29 2018-09-28 디지털 스캐닝 장치

Publications (2)

Publication Number Publication Date
KR20200041982A KR20200041982A (ko) 2020-04-22
KR102411099B1 true KR102411099B1 (ko) 2022-06-22

Family

ID=65896064

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207008599A KR102411099B1 (ko) 2017-09-29 2018-09-28 실시간 오토포커스 스캐닝
KR1020227020389A KR102523559B1 (ko) 2017-09-29 2018-09-28 디지털 스캐닝 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020227020389A KR102523559B1 (ko) 2017-09-29 2018-09-28 디지털 스캐닝 장치

Country Status (9)

Country Link
US (4) US10481377B2 (ko)
EP (2) EP4254037A3 (ko)
JP (1) JP6899963B2 (ko)
KR (2) KR102411099B1 (ko)
CN (2) CN114779459A (ko)
AU (2) AU2018339011B2 (ko)
CA (1) CA3075288C (ko)
ES (1) ES2959361T3 (ko)
WO (1) WO2019068043A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114779459A (zh) * 2017-09-29 2022-07-22 徕卡生物系统成像股份有限公司 实时自动聚焦扫描
US10502941B2 (en) * 2017-09-29 2019-12-10 Leica Biosystmes Imaging, Inc. Two-dimensional and three-dimensional fixed Z scanning
CN110456969B (zh) * 2019-07-10 2022-09-27 努比亚技术有限公司 一种长截图实现方法、终端及计算机可读存储介质
KR20220035867A (ko) 2019-08-06 2022-03-22 라이카 바이오시스템즈 이미징 인크. 슬라이드 스캐닝 시스템의 실시간 포커싱
WO2021026374A1 (en) 2019-08-06 2021-02-11 Leica Biosystems Imaging, Inc. Graphical user interface for slide-scanner control
IL293254A (en) * 2019-11-25 2022-07-01 Hologic Inc Method and system for digital imaging
GB2595873B (en) * 2020-06-09 2023-01-25 Ffei Ltd A method for analysing scanning efficacy
US11333616B2 (en) * 2020-07-30 2022-05-17 Kla Corporation Adaptive focusing system for a scanning metrology tool
CN114114663B (zh) * 2021-02-25 2023-11-21 广东粤港澳大湾区黄埔材料研究院 一种显微镜的锁焦探测系统和方法
CN113358056B (zh) * 2021-05-31 2023-06-27 深圳中科飞测科技股份有限公司 工件表面形貌的扫描方法、扫描系统及存储介质
CN115415547B (zh) * 2022-11-07 2023-03-24 北京清研智束科技有限公司 电子束扫描方法、装置、设备及介质
CN117665032B (zh) * 2024-02-01 2024-05-14 国仪量子技术(合肥)股份有限公司 扫描方法、装置、系统、存储介质和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004514920A (ja) 2000-05-03 2004-05-20 ダーク・ソーンクセン 全自動迅速顕微鏡用スライドスキャナ
JP2015523587A (ja) 2012-05-02 2015-08-13 ライカ バイオシステムズ イメージング インコーポレイテッド ライン走査イメージングにおけるリアルタイムフォーカシング
WO2017053891A1 (en) 2015-09-24 2017-03-30 Leica Biosystems Imaging, Inc. Real-time focusing in line scan imaging
WO2017097950A1 (en) 2015-12-09 2017-06-15 Ventana Medical Systems, Inc. An image scanning apparatus and methods of operating an image scanning apparatus

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL111229A (en) * 1994-10-10 1998-06-15 Nova Measuring Instr Ltd Autofocusing microscope
JP3462006B2 (ja) * 1996-05-20 2003-11-05 株式会社ミツトヨ オートフォーカス装置
JP4332905B2 (ja) * 1998-02-12 2009-09-16 株式会社ニコン 顕微鏡システム
JP4434376B2 (ja) * 1999-09-24 2010-03-17 オリンパス株式会社 顕微鏡画像転送システム
US7518652B2 (en) * 2000-05-03 2009-04-14 Aperio Technologies, Inc. Method and apparatus for pre-focus in a linear array based slide scanner
US7120286B2 (en) 2001-11-21 2006-10-10 Mitutoyo Corporation Method and apparatus for three dimensional edge tracing with Z height adjustment
AU2003263109A1 (en) 2002-09-30 2004-04-23 Applied Materials Israel, Ltd. Dark field inspection system
DE10342264C5 (de) * 2003-09-12 2012-10-31 Leica Biosystems Nussloch Gmbh System zum eindeutigen Zuordnen von histologischen Kassetten und Objektträgern
JP2008009341A (ja) * 2006-06-30 2008-01-17 Sony Corp オートフォーカス装置、撮像装置及びオートフォーカス方法
EP2042853B1 (en) * 2006-07-12 2014-04-23 Toyobo Co., Ltd. Analyzer and use thereof
US7570795B2 (en) 2006-07-18 2009-08-04 Mitutoyo Corporation Multi-region autofocus tool and mode
CN100561326C (zh) * 2007-07-06 2009-11-18 鸿富锦精密工业（深圳）有限公司 自动对焦系统及自动对焦方法
US8878923B2 (en) * 2007-08-23 2014-11-04 General Electric Company System and method for enhanced predictive autofocusing
US8089947B2 (en) 2007-08-31 2012-01-03 Intel Corporation Spatial reuse in directional antenna systems
US8743195B2 (en) 2008-10-24 2014-06-03 Leica Biosystems Imaging, Inc. Whole slide fluorescence scanner
CN101762232B (zh) 2008-12-23 2012-01-25 鸿富锦精密工业（深圳）有限公司 多重表面对焦系统及方法
US9767342B2 (en) 2009-05-22 2017-09-19 Affymetrix, Inc. Methods and devices for reading microarrays
DE102009044987A1 (de) * 2009-09-24 2011-03-31 Carl Zeiss Microimaging Gmbh Mikroskop
DE102009044983A1 (de) * 2009-09-24 2011-03-31 Carl Zeiss Microimaging Gmbh Mikroskop
JP2011090221A (ja) * 2009-10-23 2011-05-06 Sony Corp 顕微鏡、合焦位置検出方法及び合焦位置検出プログラム
JP5672688B2 (ja) * 2009-10-23 2015-02-18 ソニー株式会社 合焦装置、合焦方法、合焦プログラム及び顕微鏡
US8111905B2 (en) 2009-10-29 2012-02-07 Mitutoyo Corporation Autofocus video tool and method for precise dimensional inspection
EP2519853A2 (en) * 2009-12-31 2012-11-07 Abbott Point Of Care, Inc. Method and apparatus for fast focus imaging biologic specimens
US8396269B2 (en) * 2010-04-08 2013-03-12 Digital Pathco LLC Image quality assessment including comparison of overlapped margins
JP5576739B2 (ja) 2010-08-04 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、撮像装置及びプログラム
US8175452B1 (en) * 2010-10-26 2012-05-08 Complete Genomics, Inc. Method and system for imaging high density biochemical arrays with sub-pixel alignment
US9041791B2 (en) 2011-02-01 2015-05-26 Roche Diagnostics Hematology, Inc. Fast auto-focus in imaging
JP5197785B2 (ja) * 2011-03-30 2013-05-15 キヤノン株式会社 画像処理装置、撮像システム、画像処理システム
BR112014005012A2 (pt) * 2011-09-09 2017-03-28 Ventana Med Syst Inc dispositivo e método para obtenção de uma imagem focalizada de um espécime e meio legível do computador não transitório
CN103323939A (zh) * 2012-03-20 2013-09-25 麦克奥迪实业集团有限公司 数字切片实时扫描自动聚焦系统及方法
JP2014178357A (ja) * 2013-03-13 2014-09-25 Sony Corp デジタル顕微鏡装置、その撮像方法およびプログラム
EP2990849B1 (en) * 2013-04-26 2020-09-02 Hamamatsu Photonics K.K. Image acquisition device and method and system for creating focus map for specimen
CN103852878B (zh) * 2014-01-08 2016-05-25 麦克奥迪实业集团有限公司 一种具有实时聚焦的显微切片快速数字扫描装置及其方法
CN105093479A (zh) * 2014-04-30 2015-11-25 西门子医疗保健诊断公司 用于显微镜的自动对焦方法和装置
US10274715B2 (en) 2014-08-06 2019-04-30 Cellomics, Inc. Image-based laser autofocus system
WO2016120441A2 (en) * 2015-01-30 2016-08-04 Ventana Medical Systems, Inc. Quality metrics for automatic evaluation of dual ish images
JP6411294B2 (ja) * 2015-06-30 2018-10-24 富士フイルム株式会社 位相差顕微鏡および撮像方法
CN115457550A (zh) * 2015-09-16 2022-12-09 徕卡生物系统公司 病理学明场像中的自动化染色查找
CN114779459A (zh) * 2017-09-29 2022-07-22 徕卡生物系统成像股份有限公司 实时自动聚焦扫描

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004514920A (ja) 2000-05-03 2004-05-20 ダーク・ソーンクセン 全自動迅速顕微鏡用スライドスキャナ
JP2015523587A (ja) 2012-05-02 2015-08-13 ライカ バイオシステムズ イメージング インコーポレイテッド ライン走査イメージングにおけるリアルタイムフォーカシング
WO2017053891A1 (en) 2015-09-24 2017-03-30 Leica Biosystems Imaging, Inc. Real-time focusing in line scan imaging
WO2017097950A1 (en) 2015-12-09 2017-06-15 Ventana Medical Systems, Inc. An image scanning apparatus and methods of operating an image scanning apparatus

Also Published As

Publication number Publication date
US10852523B2 (en) 2020-12-01
EP3625600A4 (en) 2021-01-27
EP3625600B1 (en) 2023-08-23
ES2959361T3 (es) 2024-02-23
EP4254037A2 (en) 2023-10-04
CA3075288A1 (en) 2019-04-04
KR20200041982A (ko) 2020-04-22
US20210103134A1 (en) 2021-04-08
KR102523559B1 (ko) 2023-04-19
CN111183385A (zh) 2020-05-19
AU2018339011B2 (en) 2023-11-02
JP6899963B2 (ja) 2021-07-07
AU2024200522A1 (en) 2024-02-15
CN114779459A (zh) 2022-07-22
US11422351B2 (en) 2022-08-23
CN111183385B (zh) 2022-04-08
US10481377B2 (en) 2019-11-19
KR20220092999A (ko) 2022-07-04
EP4254037A3 (en) 2023-12-27
US20190101739A1 (en) 2019-04-04
US20200064612A1 (en) 2020-02-27
WO2019068043A1 (en) 2019-04-04
AU2018339011A1 (en) 2020-01-23
CA3075288C (en) 2022-08-30
US20220357565A1 (en) 2022-11-10
JP2020535477A (ja) 2020-12-03
EP3625600A1 (en) 2020-03-25

Similar Documents

Publication Publication Date Title
KR102411099B1 (ko) 실시간 오토포커스 스캐닝
KR102419163B1 (ko) 실시간 오토포커스 포커싱 알고리즘
CN111133359B (zh) 二维和三维固定z扫描
EP3625611B1 (en) Dual processor image processing

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant