KR20220083702A - 서브픽셀 라인 스캐닝 - Google Patents

서브픽셀 라인 스캐닝 Download PDF

Info

Publication number
KR20220083702A
KR20220083702A KR1020227012442A KR20227012442A KR20220083702A KR 20220083702 A KR20220083702 A KR 20220083702A KR 1020227012442 A KR1020227012442 A KR 1020227012442A KR 20227012442 A KR20227012442 A KR 20227012442A KR 20220083702 A KR20220083702 A KR 20220083702A
Authority
KR
South Korea
Prior art keywords
line
sample
view
same angle
image
Prior art date
Application number
KR1020227012442A
Other languages
English (en)
Inventor
윤루 조우
Original Assignee
라이카 바이오시스템즈 이미징 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 라이카 바이오시스템즈 이미징 인크. filed Critical 라이카 바이오시스템즈 이미징 인크.
Publication of KR20220083702A publication Critical patent/KR20220083702A/ko

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036Scanning details, e.g. scanning stages
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/02Objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48Increasing resolution by shifting the sensor relative to the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/701Line sensors

Landscapes

  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)

Abstract

서브픽셀 라인 스캐닝. 슬라이드 스캐닝 장치는 각각 복수의 픽셀 센서들을 포함하는 복수의 라인 센서들을 포함한다. 각각의 라인 센서는 인접한 라인 센서로부터 각 픽셀 센서 길이의 일부만큼 오프셋 되고, 각각의 오프셋에서 동일한 화각의 라인 이미지를 생성한다. 샘플 상 복수의 위치들 각각에 대해, 프로세서는 각각의 오프셋들에서 복수의 라인 센서들에 의해 생성된, 동일한 화각의 라인 이미지들을 결합하여, 동일한 화각의 라인 이미지들 내에서 적어도 하나의 픽셀들의 서브셋 각각에 대한 복수의 서브픽셀들을 만들고, 복수의 서브픽셀들을 포함하는 위치의 업-샘플링된(up-sampled) 라인 이미지들을 생성한다. 그 후, 프로세서는 샘플 상 복수의 위치들의 각각의 업-샘플링된 라인 이미지들을 하나의 이미지로 결합한다.

Description

서브픽셀 라인 스캐닝
관련 출원에 대한 상호 참조
본 출원은 2019년 10월 14일 출원된 미국 가출원 번호 제62/914,879호에 대한 우선권을 주장하며, 이러한 출원의 내용 전체는 본 개시에 참조로서 통합된다.
기술 분야
본 발명은 일반적으로 전체-슬라이드 이미징(whole-slide imaging)에 관한 것으로, 보다 더 상세하게는, 현미경 슬라이드들 상의 샘플들의 서브-픽셀 스캐닝(sub-pixel scanning)에 관한 것이다.
현재 픽셀-시프팅(pixel-shifting) 기술은 픽셀의 너비보다 길이가 작은 단위로 이미지 센서를 이동시켜 해상도를 향상시킨다. 예를 들어, 픽셀 사이즈의 4분의 1인 서브픽셀을 샘플링하기 위해, 서브픽셀을 포함하는 제 1 이미지가 이미징되어, 이미지 센서가 왼쪽으로 반픽셀만큼 이동되고 서브픽셀을 포함하는 제 2 이미지가 이미징되어, 이미지 센서가 반픽셀 위로 이동되고 서브픽셀을 포함하는 제 3 이미지가 이미징되어, 이미지 센서가 반픽셀만큼 오른쪽으로 이동되고 서브픽셀을 포함하는 제 4 이미지가 이미징된다. 4개의 이미지들의 명도값들은 그 후 서브픽셀을 생성하기 위해 결합된다.
일 실시예에서, 샘플을 갖는 현미경용 슬라이드를 지지하는 스테이지(stage); 복수의 라인 센서들(line sensors) - 복수의 라인 센서들 각각은, 복수의 픽셀(pixel) 센서들을 포함하고, 라인 센서의 종방향으로, 복수의 라인 센서들 중 인접한 하나로부터 각 픽셀 센서의 길이의 일부(fraction)만큼 오프셋(offset)됨 -; 샘플의 동일한 화각을 복수의 라인 센서들 각각에 연속적으로 제공하여, 샘플 상 복수의 위치들 각각에 대해, 복수의 라인 센서들 각각이 위치의 동일한 화각을 감지하고, 라인 센서의 각 오프셋에서 위치의 동일한 화각의 라인 이미지를 생성하도록 하는 대물 렌즈; 및 샘플 상 복수의 위치들 각각에 대해, 각각의 오프셋들에서 복수의 라인 센서들에 의해 생성된, 동일한 화각의 라인 이미지들을 결합하여, 동일한 화각의 라인 이미지들 내에서 적어도 하나의 픽셀들의 서브셋(subset) 각각에 대한 복수의 서브픽셀들을 만들고, 만들어진 복수의 서브픽셀들을 포함하는 위치의 업-샘플링된(up-sampled) 라인 이미지를 생성하고, 샘플 상 복수의 위치들의 각각의 업-샘플링된 라인 이미지들을 하나의 이미지로 결합하는 적어도 하나의 하드웨어 프로세서를 포함하는 슬라이드 스캐닝 장치가 개시된다. 복수의 라인 센서들은 N개의 라인 센서들로 구성될 수 있고, 복수의 라인 센서들 각각이 인접한 라인 센서로부터 오프셋되는 각 픽셀 센서의 길이의 일부는 1/N이다. 샘플 상 복수의 위치들 각각에 대해, 동일한 화각의 라인 이미지들은 0에서 (N-1)/N까지의 N개의 오프셋들에 대한 라인 이미지를 포함할 수 있다. 샘플 상 복수의 위치들 각각에 대해, 동일한 화각의 라인 이미지들을 결합하는 것은, 적어도 하나의 픽셀들의 서브셋 각각에 대해, 이들 각 오프셋들에서 라인 이미지들 각각으로부터 픽셀에 대한 명도 값들을 합하는 것을 포함한다. 적어도 하나의 하드웨어 프로세서가: 샘플 상 복수의 위치들 각각의 업-샘플링된 라인 이미지들을 복수의 이미지 스트라이프들(stripes)로 결합하고; 복수의 이미지 스트라이프들 각각을 복수의 이미지 스트라이프들 중 적어도 하나의 인접한 스트라이프와 연속 디지털 이미지로 정렬시킬 수 있다.
일 실시예에서, 적어도 하나의 하드웨어 프로세서를 사용하여: 복수의 라인 센서들로부터 이미지 데이터를 수신하는 단계 - 복수의 라인 센서들 각각은 복수의 픽셀 센서들을 포함하고, 복수의 라인 센서들 각각은, 라인 센서의 종방향으로, 복수의 라인 센서들 중 인접한 하나로부터 각 픽셀 센서의 길이의 일부만큼 오프셋됨 -; 샘플의 동일한 화각을 복수의 라인 센서들 각각에 연속적으로 제공하여, 샘플 상 복수의 위치들 각각에 대해, 복수의 라인 센서들 각각이 위치의 동일한 화각을 감지하고 라인 센서의 각 오프셋에서 위치의 동일한 화각의 라인 이미지를 생성하도록 대물렌즈를 제어하는 단계; 상기 샘플 상 복수의 위치들 각각에 대해, 각각의 오프셋들에서 복수의 라인 센서들에 의해 생성된, 동일한 화각의 라인 이미지들을 결합하여, 동일한 화각의 라인 이미지들 내에서 적어도 하나의 픽셀들의 서브셋 각각에 대한 복수의 서브픽셀들을 만들고, 만들어진 복수의 서브픽셀들을 포함하는 위치의 업-샘플링된 라인 이미지를 생성하고; 샘플 상 복수의 위치들 각각의 업-샘플링된 라인 이미지들을 하나의 이미지로 결합하는 단계를 수행하는 것을 포함하는 방법이 개시된다.
일 실시예에서, 명령어들을 저장하는 비-일시적 컴퓨터-판독가능에 있어서, 명령어들은, 프로세서에 의해 실행될 때, 프로세서로 하여금: 복수의 라인 센서들로부터 이미지 데이터를 수신하는 단계 - 복수의 라인 센서들 각각은 복수의 픽셀 센서들을 포함하고, 복수의 라인 센서들 각각은, 라인 센서의 종방향으로 복수의 라인 센서들 중 인접한 하나로부터 각 픽셀 센서의 길이의 일부만큼 오프셋됨-; 샘플의 동일한 화각을 복수의 라인 센서들 각각에 연속적으로 제공하여, 샘플 상 복수의 위치들 각각에 대해, 복수의 라인 센서들 각각이 위치의 동일한 화각을 감지하고 라인 센서의 각 오프셋에서 위치의 동일한 화각의 라인 이미지를 생성하도록 대물 렌즈를 제어하는 단계; 샘플 상 복수의 위치들 각각에 대해, 각각의 오프셋들에서 복수의 라인 센서들에 의해 생성된, 동일한 화각의 라인 이미지들을 결합하여, 동일한 화각의 라인 이미지들 내에서 적어도 하나의 픽셀들의 서브셋 각각에 대한 복수의 서브픽셀들을 만들고, 만들어진 복수의 서브픽셀들을 포함하는 위치의 업-샘플링된 라인 이미지를 생성하고; 샘플 상 복수의 위치들 각각의 업-샘플링된 라인 이미지들을 하나의 이미지로 결합하는 단계를 수행하도록 하는, 명령어들을 저장하는 비-일시적 컴퓨터-판독가능이 개시된다.
일 실시예에서, 샘플을 갖는 현미경용 슬라이드를 지지하는 스테이지; 픽셀 센서들의 2차원 배열 - 2차원 배열은 제 1 축에 평행한 열들과 제 1 축에 직교하는 제 2 축에 평행한 행들을 포함함 - 을 포함하는 라인 스캔 카메라; 샘플의 동일한 화각을 2차원 배열의 복수의 행들 각각에 연속적으로 제공하여, 샘플 상 복수의 위치들 각각에 대해, 복수의 행들 각각이 위치의 동일한 화각을 감지하고 위치의 동일한 화각의 라인 이미지를 생성하도록 하는 대물 렌즈; 및 샘플 상 복수의 위치들 각각에 대해, 스테이지, 대물 렌즈 및 라인 스캔 카메라 중 하나 이상을 제어하여, 2차원 배열의 복수의 행들에 제공되는, 샘플의 화각이, 제 1 축 및 제 2 축에 대해 0이 아닌 각도로 2차원 배열의 복수의 행들을 가로질러 이동하도록 함으로써, 복수의 행들 내의 각 행이 각 픽셀 센서의 길이의 다른 일부와 동일한 오프셋에서 동일한 화각을 감지하도록 하고, 각각의 오프셋들에서 2차원 배열의 복수의 행들에 의해 생성된, 동일한 화각의 라인 이미지들을 결합하여, 동일한 화각의 라인 이미지들 내에서 적어도 하나의 픽셀들의 서브셋 각각에 대한 복수의 서브픽셀들을 만들고, 상기 만들어진 복수의 서브픽셀들을 포함하는 위치의 업-샘플링된 라인 이미지를 생성하고, 샘플 상 복수의 위치들 각각의 업-샘플링된 라인 이미지들을 하나의 이미지로 결합하는 적어도 하나의 하드웨어 프로세서를 포함하는 슬라이드 스캐닝 장치가 개시된다. 스테이지는 전동식(motorized) 스테이지일 수 있고, 스테이지, 대물 렌즈 및 라인 스캔 카메라 중 하나 이상을 제어하는 것은 전동식 스테이지가 대물 렌즈에 대해 이동하도록 제어하는 것을 포함할 수 있다. 복수의 행들은 N개의 행들로 구성될 수 있고, 제 1 축에 대한 각도는 1/N의 아크탄젠트(arctangent)와 동일하다. 샘플 상 복수의 위치들 각각에 대해, 동일한 화각의 라인 이미지들은 0에서 (N-1)/N까지의 N개의 오프셋들에 대한 라인 이미지를 포함할 수 있다.
일 실시예에서, 적어도 하나의 하드웨어 프로세서를 사용하여: 픽셀 센서들의 2차원 배열 - 2차원 배열은 제 1 축에 평행한 열들과 제 1 축에 직교하는 제 2 축에 평행한 행들을 포함함 - 을 포함하는 라인 스캔 카메라로부터 이미지 데이터를 수신하는 단계; 샘플의 동일한 화각을 2차원 배열의 복수의 행들 각각에 연속적으로 제공하여, 샘플 상 복수의 위치들 각각에 대해, 복수의 행들 각각이 위치의 동일한 화각을 감지하고 위치의 동일한 화각의 라인 이미지를 생성하도록 대물 렌즈를 제어하는 단계; 샘플 상 복수의 위치들 각각에 대해, 스테이지, 대물 렌즈 및 라인 스캔 카메라 중 하나 이상을 제어하여, 2차원 배열의 복수의 행들에 제공되는, 샘플의 화각이, 제 1 축 및 제 2 축에 대해 0이 아닌 각도로 2차원 배열의 복수의 행들을 가로질러 이동하도록 함으로써, 복수의 행들 내의 각 행이 각 픽셀 센서의 길이의 다른 일부와 동일한 오프셋에서 동일한 화각을 감지하도록 하고, 각각의 오프셋들에서 2차원 배열의 복수의 행들에 의해 생성된, 동일한 화각의 라인 이미지들을 결합하여, 동일한 화각의 라인 이미지들 내에서 적어도 하나의 픽셀들의 서브셋 각각에 대한 복수의 서브픽셀들을 만들고, 만들어진 복수의 서브픽셀들을 포함하는 위치의 업-샘플링된 라인 이미지를 생성하고; 샘플 상 복수의 위치들 각각의 업-샘플링된 라인 이미지들을 하나의 이미지로 결합하는 단계를 수행하는 것을 포함하는 방법이 개시된다.
일 실시예에서, 명령어들을 저장하는 비-일시적 컴퓨터-판독가능에 있어서, 명령어들은, 프로세서에 의해 실행될 때, 프로세서로 하여금: 픽셀 센서들의 2차원 배열 - 2차원 배열은 제 1 축에 평행한 열들과 제 1 축에 직교하는 제 2 축에 평행한 행들을 포함함 - 을 포함하는 라인 스캔 카메라로부터 이미지 데이터를 수신하는 단계; 샘플의 동일한 화각을 2차원 배열의 복수의 행들 각각에 연속적으로 제공하여, 샘플 상 복수의 위치들 각각에 대해, 복수의 행들 각각이 위치의 동일한 화각을 감지하고 위치의 동일한 화각의 라인 이미지를 생성하도록 대물 렌즈를 제어하는 단계; 샘플 상 복수의 위치들 각각에 대해, 스테이지, 대물 렌즈 및 라인 스캔 카메라 중 하나 이상을 제어하여, 2차원 배열의 복수의 행들에 제공되는, 샘플의 화각이, 제 1 축 및 제 2 축에 대해 0이 아닌 각도로 2차원 배열의 복수의 행들을 가로질러 이동하도록 함으로써, 복수의 행들 내의 각 행이 각 픽셀 센서의 길이의 다른 일부와 동일한 오프셋에서 동일한 화각을 감지하도록 하고, 각각의 오프셋들에서 2차원 배열의 복수의 행들에 의해 생성된, 동일한 화각의 라인 이미지들을 결합하여, 동일한 화각의 라인 이미지들 내에서 적어도 하나의 픽셀들의 서브셋 각각에 대한 복수의 서브픽셀들을 만들고, 만들어진 복수의 서브픽셀들을 포함하는 위치의 업-샘플링된 라인 이미지를 생성하고; 상기 샘플 상 복수의 위치들 각각의 업-샘플링된 라인 이미지들을 하나의 이미지로 결합하는 단계를 수행하도록 하는, 명령어들을 저장하는 비-일시적 컴퓨터-판독가능이 개시된다.
본 발명의 다른 특징들 및 장점들은 이하 상세한 설명 및 첨부된 도면들을 검토한 후 당업자들에게 용이하게 명백해질 것이다.
본 발명의 구조 및 동작은 이하 상세한 설명 및 유사한 참조번호들이 유사한 부분들을 지칭하는 첨부 도면의 검토로부터 이해될 것이다.
도 1a는 제 1 실시예에 따라, 오프셋 라인 센서들의 배열을 도시한다;
도 1b는 일 실시예에 따라, 도 1a의 센서를 포함하는 디지털 이미징 장치의 다양한 구성요소들 간의 관계를 도시한다;
도 2는 제 2 실시예에 따라, 센서를 도시한다;
도 3a 및 3b는 실시예들에 따라, 서브픽셀을 형성하기 위한 픽셀들의 적층을 도시한다;
도 4는 일 실시예에 따라, 디지털 이미지에 대한 서브픽셀 해상도를 생성하는 프로세스를 도시한다;
도 5a는 일 실시예에 따라, 본 명세서에 설명된 다양한 실시예들과 관련하여 사용될 수 있는 프로세서-지원 장치를 도시한다;
도 5b는 일 실시예에 따라, 단일 선형 배열을 갖는 라인 스캔 카메라를 도시한다;
도 5c는, 일 실시예에 따라, 3개의 선형 배열들을 갖는 라인 스캔 카메라를 도시한다;
도 5d는, 일 실시예에 따라, 복수의 선형 배열들을 갖는 라인 스캔 카메라를 도시하는 블록도이다.
일반적으로 디지털 이미징 장치의 해상도는 센서들의 픽셀 사이즈와 이미징 광학계(imaging optics)의 해상도에 의해 제한된다. 그러나, 본 명세서에 개시된 특정 실시예들은 합리적인 비용으로 표준 이미징 광학계를 이용하면서, 이미지 센서(들) 내의 픽셀-생성 요소들의 사이즈에 의해 캡쳐될(captured) 수 있는 것보다 더 높은 해상도에서 이미지들을 효율적으로 캡쳐하기 위해 픽셀 시프팅(pixel-shifting)을 이용하는 디지털 이미징 장치(예: 디지털 슬라이드 스캐너)를 제공한다. 또한, 개시된 방식들은 일반적으로 디지털 슬라이드 스캐너들의 요구되는 픽셀 해상도와 관련된 화각 한계를 극복하기 위한 솔루션들을 제공할 수 있으며, 이는 특히 라인 스캔 메커니즘(line-scan mechanism)에서, 더 빠른 스캐닝이 가능하다.
본 설명을 읽은 후, 다양한 대안적인 실시예들 및 대안적인 응용들에 있어서 본 발명을 구현하기 위한 방법이 당업자에게 명백해질 것이다. 그러나, 본 발명의 다양한 실시예들이 본 명세서에서 설명될 것이지만, 이러한 실시예들은 단지 예시로서 제시되고, 제한되지 않는 것으로 이해된다. 이와 같이, 다양한 대안적인 실시예들의 이러한 상세한 설명은 첨부된 청구범위들에 기재된 바와 같이 본 발명의 범위 또는 폭을 제한하는 것으로 해석되어서는 안된다.
1. 오프셋 라인 센서들
제 1 실시예에서, 이미지 센서는 픽셀 길이의 일부과 동일한 거리만큼, 종 방향으로, 서로 논리적으로 오프셋된 복수의 라인 센서들을 포함한다. 따라서 각각의 연속적인 라인 센서가 샘플의 동일한 부분으로부터 빛을 수신할 때, 해당 라인 센서는 선행 라인 센서에 의해 생성된 이미지 데이터 라인으로부터 약간 오프셋된(즉, 픽셀 길이의 일부만큼) 이미지 데이터의 라인(또한 본 명세서에서 “라인 이미지”로 지칭)을 생성한다. 이 오프셋은 공간에서 복수의 라인 센서들의 물리적 오프셋일 수 있지만, 대안적인 실시예에서, 오프셋은 정의된 시간 간격으로 공간에서 단일 라인 센서를 시프팅하여 대신 유도될 수 있다.
도 1a는 일 실시예에 따른, 3개의 오프셋 라인 센서들(110)을 포함하는, 센서(100)를 도시한다. 스캔 모션의 방향과 직교하는 방향에서, 라인 센서들(110) 각각은 픽셀 길이의 일부만큼 인접한 라인 센서(들)로부터 오프셋된다. 스캔 모션의 방향은 이미지화되는, 화각이, 센서(100)에 대해, 이동하는 방향을 나타낸다. 스캔 모션은 이미지 센서에 제공된 광경로에 대해 샘플을 이동시켜/이동시키거나(예를 들어, 샘플이 지지되는 전동식 스테이지를 이동시킴) 샘플에 대해 광경로를 이동시킴으로써(예를 들어, 이미지 센서 및/또는 스캐닝 장치의 대물 렌즈를 이동시킴)구현될 수 있다.
비록 도 1a는 각각의 라인 센서(110)에 대한 하나의 라인을 도시하지만, 각각의 라인 센서(110)는 다수의 라인 센서들의 세트를 포함할 수 있다. 예를 들어, 각각의 라인 센서(110)는 3가지의 색을 가진 센서들의 세트(예를 들어, 3선형 센서를 나타내는 3개의 라인들)를 포함할 수 있다. 또한, 비록 센서(100)가 3개의 오프셋 라인 센서들(즉, 라인 센서들(110A, 110B 및 110C))로 도시되어 있지만, 센서(100)는 임의의 다수의 라인 센서들(110)을 가질 수 있다. 일반적으로, N개의 오프셋 라인 센서들(110)이 사용된다면, N개의 라인 센서들(110) 각각은 픽셀 센서(112) 길이의 1/N만큼 인접한 라인 센서(들)(110)로부터 오프셋되어야 한다. 각 라인 센서(110)는 각각의 다른 라인 센서들(110)과 동일한 라인 이미지를 캡쳐하지만, 각 인접 라인 센서(110)에 의해 캡쳐된 동일한 라인 이미지에 대해 픽셀 길이의 1/N만큼 오프셋됨이 이해되어야한다. 이는 전체 슬라이드 이미지의 각 라인 이미지에 대해, 동일한 이미지 데이터의 N개의 라인들을 만들지만, 다시, 각 라인 이미지 내의 이미지 데이터는 인접한 라인 센서에 의해 캡쳐된 라인 이미지의 이미지 데이터로부터 픽셀 길이의 1/N만큼 오프셋된다.
3개의 오프셋 라인 센서(110)들(즉, 110A, 110B 및 110C)이 있는 도시된 실시예에서, 라인 센서(110B)는 라인 센서(110A)로부터 픽셀 길이의 1/3만큼 오프셋되고, 라인 센서(110C)는 라인 센서(110B)로부터 픽셀 길이의 1/3만큼 오프셋되고 라인 센서(110A)로부터 픽셀 길이의 2/3만큼 오프셋된다. 2개의 오프셋 라인 센서들(110)이 있는 일 실시예에서, 각각의 라인 센서는 다른 라인 센서로부터 픽셀 길이의 1/2만큼 오프셋될 것이다. 유사하게, 4개의 오프셋 라인 센서들(110)이 있는 일 실시예에서, 각각의 라인 센서는 인접한 라인 센서(들)로부터 픽셀 길이의 1/4만큼 오프셋될 것이다.
비록 센서(100)가 특정 측면(즉, 도 1a의 우측을 향함)을 향해 오프셋된 오프셋 라인 센서들로 도시되어 있지만, 오프셋 라인 센서들은 대신 본 명세서에 설명된 기술들에 대한 변경 없이 다른 측면(즉, 도 1a의 좌측을 향함)을 향해 오프셋될 수 있다.
도 1b는, 일 실시예에 따라, 오프셋 픽셀들이 픽셀 센서들(112)에 의해 캡쳐되는 방법을 도시한다. 저-해상도(즉, 기본 또는 비-서브-픽셀) 이미징을 위해 동일한 광학계를 가지는 단일 라인 센서와 비교할 때, 고-해상도(즉, 서브-픽셀) 이미징을 위해 N개의 오프셋 라인 센서들을 사용하는 센서(100)의 스캐닝 모션의 스피드는 N배 더 느려야 한다. 이는 각 라인 이미지가 N개의 다른 오프셋들에서 N번 캡쳐될 필요가 있기 때문이다. 따라서, 3개의 라인 센서들(110)이 있는 도시된 실시예에서, 단일 라인 센서만을 갖는 센서와 동일한 라인 속도를 달성하기 위해, 스캐닝 모션의 스피드는 단일 라인 센서만을 갖는 센서의 스캐닝 모션의 스피드보다 3배 더 느려야 한다.
도 1b는, 시간 t1, t2 및 t3에서, 렌즈(130)(예를 들어, 본 명세서의 다른 곳에서 설명된 대물 렌즈) 및 슬라이드(120) 상 샘플(122)에 대한, 픽셀 센서들(112A, 112B 및 112C)의 논리적 위치들을 도시한다. 전술한 바와 같이, 고해상도 이미징을 위한 센서(100)의 스캐닝 스피드는 저해상도 이미징을 위한 단일 라인 센서만으로 구성된 센서의 스캐닝 스피드보다 3배 더 느리게 설정될 수 있으며, 따라서 각각의 시간 t1, t2 및 t3는 단일 라인 센서가 이미지 데이터의 단일 라인을 캡쳐하는데 걸린 시간이다.
도 1b에 도시된 바와 같이, 시간 t1에서, 샘플(122)의 위치 x1은 렌즈(130)에 의해 제공된 화각 내에 있는 반면, 렌즈(130)는 초점 높이 z1에 있다. 샘플(122) 상의 위치 x1의 보이는 범위는 광경로를 통해, 렌즈(130)에 의해, 라인 센서(110A) - 라인 센서(110A)의 픽셀 센서(112A)를 포함함 - 로 제공된다. 따라서, 픽셀 센서(112A)는 위치 x1에서 샘플(122)의 픽셀-사이즈 부분을 나타내는 이미지 데이터의 제 1 픽셀을 생성한다.
시간 t2에서, 샘플(122) 상 위치 x1은 렌즈(130)에 의해 제공된 화각 내에 유지되는 반면, 렌즈(130)는 초점 높이 z1에 유지된다. 그러나, 샘플(122) 상 위치 x1의 보이는 범위는 스캔 모션의 방향으로 이동하여, 샘플(122) 상 위치 x1의 보이는 범위는 광경로를 통해, 렌즈(130)에 의해, 라인 센서(110B) - 라인 센서(110B)의 픽셀 센서(112B)를 포함함 - 로 제공된다. 따라서, 픽셀 센서(112B)는 위치 x1에서 샘플(122)의 픽셀-사이즈 부분을 나타내는 이미지 데이터의 제 2 픽셀을 생성한다. 이러한 제 2 픽셀은 제 1 픽셀로부터 픽셀 길이의 1/3만큼 오프셋된다.
시간 t3에서, 샘플(122) 상 위치 x1은 렌즈(130)에 의해 제공되는 화각 내에 유지되는 반면, 렌즈(130)는 초점 높이 z1에 유지된다. 그러나, 샘플(122) 상 위치 x1의 보이는 범위는 스캔 모션의 방향으로 이동하여, 샘플(122) 상 위치 x1의 보이는 범위는 광경로를 통해, 렌즈(130)에 의해, 라인 센서(110C) - 라인 센서(110C)의 픽셀 센서(112C)를 포함함 - 로 제공된다. 따라서, 픽셀 센서(112C)는 위치 x1에서 샘플(122)의 픽셀-사이즈의 부분을 나타내는 이미지 데이터의 제 3 픽셀을 생성한다. 이러한 제 3 픽셀은 제 1 픽셀로부터 픽셀 길이의 2/3만큼 오프셋되고, 제 2 픽셀로부터 픽셀 길이의 1/3만큼 오프셋된다.
따라서, 3개의 오프셋 라인 센서(110)들을 갖는 센서(100)에서, 캡쳐되는 각 픽셀은(즉, 샘플(122)의 픽셀-사이즈 부분을 나타냄) 3개의 다른 오프셋들(즉, 제로 오프셋, 픽셀 길이의 1/3만큼의 오프셋 및 픽셀 길이의 2/3만큼의 오프셋)에서 세 번 캡쳐된다. 유사하게, 2개의 오프셋 라인 센서들(110)들을 갖는 센서에서, 각각의 픽셀은 2개의 다른 오프셋들(즉, 제로 오프셋 및 픽셀 길이의 1/2만큼의 오프셋)에서 두 번 캡쳐될 것이다. 4개의 오프셋 라인 센서들(110)이 있는 센서에서, 각각의 픽셀은 4개의 다른 오프셋들(즉, 제로 오프셋, 픽셀 길이의 1/4만큼의 오프셋, 픽셀 길이의 2/4만큼의 오프셋 및 픽셀 길이의 3/4만큼의 오프셋)에서 네 번 캡쳐될 것이다.
각각의 경우에, 각각의 오프셋 픽셀은 N개의 서브픽셀들을 생성하기 위해, 본 명세서의 다른 곳에서 설명된 방식으로 결합될 수 있다. 따라서, 3개의 오프셋 라인 센서들(110)의 경우, 각 픽셀에 대해 3개의 서브픽셀들이 생성될 것이다. 2개의 오프셋 라인 센서들(110)의 경우, 각 픽셀에 대해 2개의 서브픽셀들이 생성될 것이다. 4개의 오프셋 라인 센서들(110)의 경우, 각 픽셀에 대해 4개의 서브픽셀들이 생성될 것이다.
2개, 3개 및 4개의 라인 센서들(110)을 갖는 예시가 설명되었지만, 본 명세서에 설명된 기술은 각 픽셀에 대해 N개의 서브픽셀들을 달성하기 위해 임의의 N개의 라인 센서들(110)(예를 들어, 5개, 10개 등)로 추정될 수 있다는 것이 이해되어야 한다. 일 실시예에서, 샘플(122) 상 동일한 위치(예를 들어, x1)가 N개의 오프셋 라인 센서들(110) 중 하나에 의해 이미지화되는 각각의 시간(예를 들어, t1, t2, t3) 동안, 렌즈(130)는 동일한 초점 높이(예를 들어, z1)에 유지되어, 각 픽셀이 동일한 초점을 가지고 생성될 수 있다. 동일한 위치가 센서(100)의 N개의 오프셋 라인 센서들(110) 각각에 의해 이미지화되면, 초점 높이는 최적의 초점(예를 들어, 초점 맵 또는 다른 자동 초점 기술에 기반함)을 지속하기 위해 적절하다면, 조정될 수 있다.
대안적인 실시예에서, 단일 라인 센서(110)는 샘플 상 이미지화되는, 위치를 N-1번(즉, 동일한 선형 부분의 각 개별 스캔 사이) 시프팅하면서, 샘플의 각 선형 부분을 N번 스캔함으로써 N개의 라인 센서들(110)을 갖는 센서(100)와 동일한 효과를 달성하기 위해 사용될 수 있다. 이러한 실시예에서, 샘플의 논리적 위치가 라인 센서(110)에 대해 시프트될 때마다, 논리적 위치는 픽셀 센서(112) 길이의 1/N인 길이만큼 시프트되어, N개의 라인 이미지들이 픽셀 길이의 제로 오프셋에서 (N-1)/N번째 오프셋까지 캡쳐된다. 동일한 선형 부분에 대해 N개의 라인 이미지들이 생성되면, 샘플에 대한, 센서(110)의 논리적 위치가, 이동되어 다음 선형 부분이 픽셀 길이의 제로 오프셋에서 시작하여 (N-1)/N번째 오프셋으로 끝나면서, N번 이미지화될 수 있다.
2. 각진 스캔 모션
대안적인 제 2 실시예에서, 스캐닝 모션은 이미지 센서에 대해 각진 궤적을 따른다. 다시 말해, 복수의 오프셋 라인 센서들의 배열 대신, 이미지 센서는 수평(즉, 오프셋이 아님)이지만, 각진 궤적으로 스캔하는 하나 이상의 센서들을 포함할 수 있다. 따라서, 표준 이미지 센서들은 제 1 실시예의 오프셋 라인 센서들과 동일한 오프셋 라인 이미지들을 달성하도록 조정될 수 있다.
도 2는, 일 실시예에 따른, 각진 궤적으로 스캔하는 센서(200)를 도시한다. 도시된 바와 같이, 센서(200)는 행들(210) 및 열들을 갖는 2차원 배열에서 정렬된 복수의 픽셀 센서들(212)을 갖는 라인 스캔 카메라를 포함한다. 대안적으로, 센서(200)는 영역 스캔 카메라를 포함할 수 있다.
라인 스캔 카메라가 사용된 실시예들에서, 센서(200)는 시간 지연 통합(TDI) 라인 스캔 카메라를 포함할 수 있다. 캐나다, 온타리오주, 워털루에 있는 Teledyne DALSA Inc.의 Piranha XL™은 이러한 실시예에서 라인 스캔 카메라로 사용될 수 있는 TDI 라인 스캔 카메라의 한 예시이다. TDI 라인 스캔 카메라들은 다수 스테이지들의 라인 센서들(예를 들어, 24, 32, 48, 64, 96 등)을 포함하고, 각각은 동일한 라인 이미지를 캡쳐한다. 각각의 라인 이미지로부터의 명도 데이터(intensity data)는 그 후 실질적으로 더 나은 신호 대 잡음비(SNR)를 갖는 출력 라인 이미지를 제공하기 위해 합산된다. 예를 들어, 픽셀 센서들(212)의 행(210A), 픽셀 센서들(212)의 행(210B), 기타 등등, 픽셀 센서들(212)의 행(210Z) 사이에 의해 캡쳐된 라인 이미지들은, 단일 출력 라인 이미지를 생성하기 위해 이러한 방식으로 통합될 것이다.
그러나, TDI 라인 스캔 카메라를 이용하는 실시예들에서, TDI 라인 스캔 카메라는 TDI 모드에서 영역 모드로 전환될 수 있다. 영역 모드에서, 행(210)에 의해 생성된 라인 이미지들은 단일 출력 라인 이미지로 합산되지 않는다. 오히려, 영역 모드에서, 각 라인 이미지는 샘플 상 다른 위치에 있는 이미지 데이터의 다른 라인을 나타낸다.
센서(200)에 의해 이미지화되는 샘플 상 위치의 모션은, 센서(200)에 대해, 각 행(210)의 종방향과 직교하고 센서(200)의 열들의 종방향과 평행한 X축에 대해 각도 θ의 방향을 따른다. 각도 θ는 N-1 - N은 각 픽셀에 대해 바람직한 서브픽셀들의 수임 - 의 역탄젠트(즉, θ = arctan(1/N))와 같아야 한다. X축에 평행하게 이동하고 본 명세서에서 설명된 서브픽셀 기술을 구현하지 않는 센서(200)와 동일한 라인 속도를 지속하려면, 스캔 모션의 스피드는
v1 = N * v0 * cosθ,
이어야 하며, v0는 센서가 X축에 평행하게 이동하고 N개의 오프셋들에서 각 픽셀을 캡쳐하지 않는 센서의 스피드를 나타낸다.
센서(200)가 각진 궤적을 따라 샘플 상 위치를 이미지화할때, 센서(200)와 샘플 사이의 상대적 이동이 설정되어, N개의 행들의 각 세트가 이미지 데이터의 동일한 라인을 캡쳐하는데 사용된다. 예를 들어, N=3으로 도시된 실시예에서, 행들(210A, 210B 및 210C)은 각각 X축을 따라 동일한 위치 x1에서의(예를 들어, 각각의 시간 t1, t2 및 t3에서) 라인 이미지를 캡쳐하는데 사용된다. 유사하게, 행들(210X, 210Y 및 210Z)은 각각 X축을 따라 동일한 위치 x2에서 라인 이미지를 캡쳐하는데 사용되고, 여기서 x2 > x1이다. N개의 행들(210)의 각각의 서브셋에 의해 생성된 라인 이미지는 샘플의 동일한 선형 부분을 나타내지만, N개의 다른 위치들에서 오프셋된다. 다시 말해, 결과는 제 1 실시예와 동일하다. 구체적으로, 이미지 센서에 의해 이미지화되는 샘플 상 각 위치에 대해, 각각의 인접한 라인 센서(110) 또는 행(210)에 의해 캡쳐된 선형 이미지로부터 픽셀 길이의 1/N만큼 각각 오프셋되는 N개의 선형 이미지들이 만들어진다. N=3인 경우, 동일한 위치의 각각의 위치에 대해, 제로 오프셋을 갖는 제 1 라인 이미지, 픽셀 길이의 1/3인 오프셋을 갖는 제 2 라인 이미지, 픽셀 길이의 2/3인 오프셋을 갖는 제 3 라인 이미지를 포함하는 3개의 라인 이미지들이 생성될 것이다.
특히, 센서(200)는, 각각의 행(210)이 샘플의 다른 선형 부분을 캡쳐하는데 사용되는 경우 캡쳐되는 것보다 더 적은 수의 라인 이미지들을 캡쳐한다. 구체적으로, 센서(200)가 M개의 행들(210)(예를 들어, M-스테이지 TDI 라인 스캔 카메라)을 포함하는 경우, 센서(200)는, 각 행(210)이 샘플의 다른 선형 부분을 캡쳐하기 위해 사용되는 경우 출력될 M개의 라인 이미지들보다는, 한 번에 M/N개의 라인 이미지들을 출력한다.
3. 서브픽셀 생성
도 3a 및 도 3b는, 2개의 대안적인 실시예들에 따라, 오프셋 라인 이미지들로부터 픽셀 길이의 1/3인 서브픽셀을 생성하기 위해 3개의 오프셋 픽셀들이 사용될 수 있는 방법을 도시한다. 도 3a 및 3b는, 픽셀 길이의 1/3 길이인 서브픽셀을 생성하기 위해 3개의 오프셋 픽셀들을 사용하는 것을 도시하지만, 이 기술이 픽셀 길이의 각각 1/N인 N개의 서브픽셀들로 픽셀을 분할하기 위해 임의의 N개의 오프셋 픽셀들과 함께 사용될 수 있는 방법이 명백해야 한다.
도 3a는, 결합된 이미지 픽셀(300)을 생성하기 위해 직사각형의 픽셀이 사용될 수 있는 방법을 도시한다. 각 라인 센서(110)는 라인 이미지(140)를 만든다. 따라서, 예를 들어, 라인 센서(110A)는 라인 이미지(140A)를 생성하고, 라인 센서(110B)는 라인 이미지(140B)를 생성하고, 라인 센서(110C)는 라인 이미지(140C)를 생성한다. 도 3b는 각 라인 이미지(140)의 부분 세그먼트만을 도시함이 이해되어야한다. 도시된 실시예에서, 라인 이미지들(140) 각각은 직사각형의 이미지 픽셀들(142)을 포함한다. 이미지 픽셀들(142)의 길이는 모션 방향으로 스캔 스피드를 조절함으로써 제어될 수 있다. 도시된 바와 같이, 각각의 라인 이미지들(140)로부터 직사각형의 픽셀들(142)이 결합될 때, 결합은 정사각형의 이미지 서브픽셀(300)이 도출된다. 직사각형의 픽셀들(142)의 결합은 각 픽셀들(142)의 부분에 대한 명도 값들을 합하는 것을 포함할 수 있고, 이러한 명도 값들의 합은 서브픽셀(300)로서 사용된다.
한편, 도 3a에 도시된 실시예는 정사각형의 서브픽셀들(300)을 만들기 위해 직사각형의 픽셀들을 사용한 반면, 도 3b에 도시된 실시예는 직사각형의 서브픽셀들(300)을 만들기 위해 정사각형의 픽셀들을 사용한다. 도 3b에 도시된 바와 같이, 시간 t1에서, 픽셀 센서(112A 또는 212A)는 제로 오프셋을 갖는 제 1 정사각형의 픽셀을 생성한다. 다음으로, 시간 t2에서, 픽셀 센서(112B 또는 212B)는 픽셀 센서(112 또는 212) 길이의 1/3인 오프셋을 갖는 제 2 정사각형의 픽셀을 생성한다. 마지막으로, 시간 t3에서, 픽셀 센서(112C 또는 212C)는 픽셀 센서(112 또는 212) 길이의 2/3인 오프셋을 갖는 제 3 정사각형의 픽셀을 생성한다. 제 1, 제 2 및 제 3 픽셀들의 중첩 부분들은 직사각형의 서브픽셀(300)을 생성하기 위해 결합된다. 예를 들어, 픽셀들의 조합은 제 1, 제 2 및 제 3 픽셀들 각각의 명도 값들을 합하는 것을 포함할 수 있고, 동시에 이러한 명도 값들의 합은 서브픽셀(300)로서 사용된다. 이러한 실시예를 사용하여, 정사각형의 서브픽셀(300)을 얻기 위해, 동일한 서브픽셀 동작이 직교 방향으로 반복될 수 있다.
서브픽셀(300)로의 픽셀들의 합은, 이미지 데이터의 각각의 단일 픽셀에 대해 N개의 서브픽셀들을 생성하기 위해 각 픽셀 센서(112 또는 212)에 의해 캡쳐된 오프셋 픽셀들의 각 세트(즉, 이미지 데이터의 단일 픽셀을 종합적으로 나타냄)에 대해 반복되어, 전체 슬라이드 이미지의 해상도를 N배로 업-샘플링할 수 있다. N=3인, 본 명세서의 도시된 예시에서, 이미지 데이터의 각 픽셀에 대해 3개의 서브픽셀들이 생성되어, 3배의 해상도로 업-샘플링된 이미지를 만든다.
도 4는, 일 실시예에 따른, 본 명세서에 설명된 제 1 또는 제 2 실시예들의 픽셀-시프팅(pixel-shifting) 기술을 사용하여, 디지털 이미지(예를 들어, 전체 슬라이드 이미지)에 대한 서브픽셀 해상도를 생성하는 프로세스(400)를 도시한다. 프로세스(400)는 "디모자이킹(demosaicing)"으로 지칭될 수 있고, 디지털 이미징 장치(예를 들어, 메모리(565)에 저장되고 장치(550)의 프로세서(들)(555)에 의해 실행되는 소프트웨어로서) 내에서 소프트웨어 및/또는 하드웨어로 구현될 수 있다. 프로세스(400)는 샘플의 스캐닝(즉, 센서(100 또는 200)를 사용한 라인 이미지들의 생성) 이후에 또는 이와 동시에 수행될 수 있다.
단계(410)에서, 모든 라인 이미지들이 - 각각은 샘플(예를 들어, 샘플의 부분 또는 전 샘플 또는 슬라이드) 상 관심 영역 내 위치를 나타냄 - 획득되었는지 여부가 결정된다. 추가 위치들을 나타내는, 라인 이미지들이 획득되기 위해 유지되는 경우(즉, 단계(410)에서 "아니오"), 프로세스(400)는 단계(420)으로 진행된다. 그렇지 않고, 모든 라인 이미지들이 획득된 경우(즉, 단계(410)에서 "예"), 프로세스(400)는 단계(450)으로 진행된다.
단계(420)에서, 현재 위치가 라인 이미지들이 획득될 다음 위치로 변경된다. 프로세스(400)의 시작에서, 단계(420)의 다음 위치는 라인 이미지가 획득될 시작 위치를 나타낼 것임이 이해되어야 한다.
단계(430)에서, 현재 위치의 N개의 오프셋 라인 이미지들이 획득된다. 본 명세서의 다른 곳에서 설명된 바와 같이, 각 라인 이미지는 동일한 위치의 이미지를 나타내지만, 픽셀 길이의 1/N의 증분만큼 오프셋된다. 종합하면, N개의 오프셋 라인 이미지들은 픽셀 길이의 0에서 (N-1)/N번째 오프셋들에서의 현재 위치를 나타낸다.
단계(440)에서, 단계(430)에서 획득된 N개의 오프셋 라인 이미지들 각각은, 그 결과 적층된 라인 이미지 내의 각 픽셀에 대해 N개의 서브픽셀들을 생성하도록 적층된다. 오프셋 라인 이미지들 내의 각 픽셀은 본 명세서의 다른 곳에서 설명된 바와 같이(예를 들어, 도 3a 및 3b와 관련하여) 적층될 수 있다. 단계(440) 이 후에, 프로세스(400)는 단계(410)로 돌아간다.
단계(410)에서, 샘플 상 이미지화 될 전 관심 영역을 나타내는, 모든 라인 이미지들이, 획득되었다고 결정되면, 프로세스(400)는 단계(450)로 진행한다. 단계(450)에서, 획득된 라인 이미지들은 이미지 스트라이프들(stripes) 또는 타일들(tiles)로 결합된다. 결과 이미지 스트라이프들 또는 타일들은 단계 (440)에서 서브픽셀들을 사용하여 생성된 업-샘플링되지 않은 이미지 스트라이프들 또는 타일들의 해상도의 N배이다.
단계(460)에서, 업-샘플링된 이미지 스트라이프들 또는 타일들은 연속 디지털 이미지(예를 들어, 전체 슬라이드 이미지)로 정렬된다.
단계(470)에서, 예를 들어, 노이즈(예를 들어, 이미지 스트라이프들 또는 타일들을 함께 "스티칭(stitching)"함으로써 발생하는 엣지(edge) 효과들)를 줄이기 위해, 하나 이상의 필터들이 연속 디지털 이미지에 적용되고, 프로세스(400)가 종료된다.
4. 예시적인 디지털 이미징 장치
도 5a는 본 명세서에 설명된 다양한 실시예들과 관련하여 사용될 수 있는 예시적인 프로세서-지원 장치(550)를 도시하는 블록도이다. 도시된 실시예에서, 장치(550)는, 디지털 이미징 장치(본 명세서에서, 디지털 슬라이드 스캐너, 스캐너 시스템 또는 스캐닝 시스템으로 지칭됨)로 제시되고, 하나 이상의 프로세서들(555), 하나 이상의 메모리들(565), 하나 이상의 모션 제어기들(570), 하나 이상의 인터페이스 시스템들(575), 하나 이상의 샘플들(590)을 갖는 하나 이상의 유리 슬라이드들(585)을 각각 지지하는 하나 이상의 이동식 스테이지들(580), 샘플을 조명하는 하나 이상의 조명 시스템들(595), 광학 축을 따라 이동하는 광경로(605)를 각각 정의하는 하나 이상의 대물 렌즈들(600), 하나 이상의 대물 렌즈 포지셔너들(positioners)(630), 하나 이상의 선택적 에피(epi)-조명 시스템들(635)(예를 들어, 형광 스캐너 시스템에 포함됨), 하나 이상의 집속 광학계(610), 하나 이상의 라인 스캔 카메라들(615) 및/또는 하나 이상의 영역 스캔 카메라들(620) - 각각은 샘플(590) 및/또는 유리 슬라이드(585) 상에 대해 별도의 화각(625)을 정의함 - 을 포함한다. 디지털 이미징 장치(550)의 다양한 요소들은 하나 이상의 통신 버스들(560)을 통해 통신가능하게 연결된다. 디지털 이미징 장치(550)의 다양한 요소들 각각이 하나 이상 있을 수 있지만, 이하 설명의 단순성을 위해, 이러한 요소들은 적절한 정보를 전달하기 위해 복수로 설명되어야할 필요가 있는 경우를 제외하고는 단수로 설명될 것이다. 당업자에 의해 이해되는 바와 같이, 디지털 이미징 장치(550)는 대안적인 형태들로도 사용될 수 있다.
하나 이상의 프로세서들(555)은, 예를 들어, 명령어들을 병렬로 처리할 수 있는 별도의 그래픽 처리 장치("GPU") 및 중앙 처리 장치("CPU")를 포함할 수 있거나, 프로세서(555)가 명령어들을 병렬로 처리할 수 있는 멀티코어 프로세서를 포함할 수 있다. 특정 구성 요소들을 제어하거나 이미지 처리와 같은 특정 기능들을 수행하기 위해 별도의 추가 프로세서들이 제공될 수도 있다. 예를 들어, 추가 프로세서들은, 데이터 입력을 관리하기 위한 보조 프로세서, 부동 소수점 수학 연산을 수행하기 위한 보조 프로세서, 신호 처리 알고리즘의 빠른 실행에 적합한 아키텍처를 갖는 특수-목적 프로세서(예를 들어, 디지털 신호 프로세서), 메인 프로세서에 종속된 슬레이브(slave) 프로세서(예를 들어, 백-엔드 프로세서), 라인 스캔 카메라(615), 스테이지(580), 대물 렌즈(600) 및/또는 디스플레이(미도시)를 제어하기 위한 추가 프로세서를 포함할 수 있다. 이러한 추가 프로세서들은 별도의 개별 프로세서들이거나 프로세서(555)와 통합될 수 있다.
메모리(565)는 프로세서(555)에 의해 실행될 수 있는 프로그램들에 대한 명령어들 및 데이터의 저장을 제공한다. 메모리(565)는, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 하드 디스크 드라이브, 이동식 저장 드라이브 등과 같은 데이터 및 명령어들을 저장하는, 하나 이상의 휘발성 및/또는 비휘발성 컴퓨터 판독 가능 저장 매체들을 포함할 수 있다. 프로세서(555)는 메모리(565)에 저장된 명령어들을 실행하고 디지털 이미징 장치(550)의 전반적 기능을 수행하기 위해 디지털 이미징 장치(550)의 다양한 요소들과 통신 버스(560)를 통해 통신하도록 구성될 수 있다.
하나 이상의 통신 버스들(560)은 아날로그 전기 신호들을 전달하도록 구성된 통신 버스(560) 및/또는 디지털 데이터를 전달하도록 구성된 통신 버스(560)를 포함할 수 있다. 따라서, 하나 이상의 통신 버스들(560)을 통한 프로세서(555), 모션 제어기(570) 및/또는 인터페이스 시스템(575)으로부터의 통신들은 전기 신호들 및/또는 디지털 데이터를 포함할 수 있다. 프로세서(555), 모션 제어기(570) 및/또는 인터페이스 시스템(575)은 또한 무선 통신 링크를 통해 디지털 이미징 장치(550)의 다양한 요소들 중 하나 이상과 통신하도록 구성될 수 있다.
모션 제어 시스템(570)은 스테이지(580) 및/또는 대물 렌즈(600)(예를 들어, 대물 렌즈 포지셔너(630)를 통해)의 XYZ 이동을 정밀하게 제어하고 조정하도록 구성된다. 모션 제어 시스템(570)은 또한 디지털 이미징 장치(550)에서 임의의 다른 이동 파트의 이동을 제어하도록 구성될 수 있다. 예를 들어, 형광 스캐너 실시예에서, 모션 제어 시스템(570)은 에피-조명 시스템(635)에서 광학 필터들 등의 이동을 조정하도록 구성될 수 있다.
인터페이스 시스템(575)은, 디지털 이미징 장치(550)로 하여금 다른 시스템들 및 인간 운영자들과 접속하는 것을 허용한다. 예를 들어, 인터페이스 시스템(575)은 운영자에게 직접 정보를 제공하고/하거나 운영자로부터의 직접 입력을 허용하기 위해 사용자 인터페이스(예를 들어, 그래픽 사용자 인터페이스)를 포함할 수 있다. 인터페이스 시스템(575)은, 또한 디지털 이미징 장치(550) 및 직접 연결된 하나 이상의 로컬 외부 장치들(예를 들어, 프린터, 이동식 저장 매체 등) 및/또는 네트워크(예를 들어, 이미지 서버, 운영자 스테이션, 사용자 스테이션, 관리 서버 등)를 통해 디지털 이미징 장치(550)에 연결된 하나 이상의 원격 외부 장치 사이들 간의 통신 및 데이터 전송을 용이하게 하도록 구성될 수 있다.
조명 시스템(595)은 샘플(590)의 부분을 조명하도록 구성될 수 있다. 예를 들어, 조명 시스템(595)은 광원 및 조명 광학계를 포함할 수 있다. 광원은 광출력을 최대화하기 위한 오목 반사경과 열을 억제하기 위한 KG-1 필터가 있는 가변(variable) 명도 할로겐 광원일 수 있다. 광원은 또한 임의의 유형의 아크- 램프, 레이저 또는 기타 광원일 수 있다. 일 실시예에서, 조명 시스템(595)은 전송 모드에서 샘플(590)을 조명하여, 라인 스캔 카메라(615) 및/또는 영역 스캔 카메라(620)가 샘플(590)을 통해 전송되는 광학 에너지를 감지하도록 한다. 대안적으로, 또는 결합하여, 조명 시스템(595)은 반사 모드에서 샘플(590)을 조명하도록 구성될 수 있어, 라인 스캔 카메라(615) 및/또는 영역 스캔 카메라(620)가 샘플(590)로부터 반사되는 광학 에너지를 감지할 수 있다. 전반적으로, 조명 시스템(595)은 임의의 알려진 광학 현미경 모드에서 현미경용 샘플(590)의 조사에 적합하도록 구성된다.
일 실시예에서, 디지털 이미징 장치(550)는 형광 스캐닝을 위해 디지털 이미징 장치(550)를 최적화하도록 에피-조명 시스템(635)을 선택적으로 포함한다. 형광 스캐닝은 특정 파장에서 빛을 흡수할 수 있는(여기(excitation)) 광자 민감 분자들인 형광 분자들을 포함하는, 샘플들(590)의 스캐닝이다. 이러한 광자 민감 분자들은 또한 더 높은 파장에서 빛을 방출한다(방출). 이러한 광발광(photoluminescence) 현상의 효율은 매우 낮기 때문에, 방출되는 빛의 양이 종종 매우 적다. 이 적은 양의 방출된 빛은 일반적으로 샘플(590)을 스캔하고 디지털화하는 기존 기술(예를 들어, 전송 모드 현미경)을 무력화한다. 유리하게는, 디지털 이미징 장치(550)의 형광 스캐너 시스템 실시예에서, 다수의 선형 센서 배열들을 포함하는 라인 스캔 카메라(예를 들어, 시간 지연 통합("TDI") 라인 스캔 카메라)(615)의 사용은, 라인 스캔 카메라(615)의 다수의 선형 센서 배열들 각각에 샘플(590)의 동일한 영역을 노출시켜 라인 스캔 카메라(615)의 빛에 대한 민감도를 증가시킨다. 이는 방출광이 적은 희미한 형광 샘플들을 스캔할 때 특히 유용하다.
따라서, 형광 스캐너 시스템 실시예에서, 라인 스캔 카메라(615)는 바람직하게는 흑백 TDI 라인 스캔 카메라이다. 흑백 이미지들은 샘플(590) 상에 존재하는 다양한 채널로부터의 실제 신호들을 보다 정확하게 나타내므로, 형광 현미경에 이상적이다. 당업자에 의해 이해되는 바와 같이, 형광 샘플(590)은 "채널"로도 지칭되는, 다른 파장들에서 광을 방출하는 다수의 형광 염료들로 분류될 수 있다.
나아가, 다양한 형광 샘플들(590)의 로우 엔드(low-end) 및 하이 엔드(high-end) 신호 레벨들은 라인 스캔 카메라(615)가 감지할 수 있는 광범위한 파장들의 스펙트럼을 나타내기 때문에, 라인 스캔 카메라(615)가 감지할 수 있는 로우 엔드 및 하이 엔드 신호 레벨들이 이와 유사하게 넓은 것이 바람직하다. 따라서, 형광 스캐너 실시예에서, 디지털 이미징 장치(550)에 사용되는 라인 스캔 카메라(615)는 흑백 10-비트 64-선형-배열 TDI 라인 스캔 카메라이다. 라인 스캔 카메라(615)에 대한 다양한 비트 깊이들이 디지털 이미징 장치(550)의 형광 스캐너 실시예와 함께 사용하기 위해 채택될 수 있음에 유의해야 한다.
일 실시예에서, 이동식 스테이지(580)는 프로세서(555) 또는 모션 제어기(570)의 제어하에 정확한 XY 이동을 위해 구성된다. 이동 가능한 스테이지(580)는 또한 프로세서(555) 또는 모션 제어기(570)의 제어 하에 Z 이동을 위해 구성될 수 있다. 이동식 스테이지(580)는 라인 스캔 카메라(615) 및/또는 영역 스캔 카메라(620)에 의한 이미지 캡쳐 동안 바람직한 자리에 샘플(590)을 위치하도록 구성될 수 있다. 이동식 스테이지(580)는, 또한 스캐닝 방향으로 샘플(590)을 실질적으로 일정한 속도로 가속시킨 후, 라인 스캔 카메라(615)에 의한 이미지 캡쳐 동안 실질적으로 일정한 속도를 유지하도록 구성될 수 있다. 일 실시예에서, 디지털 이미징 장치(550)는 이동식 스테이지(580) 상 샘플(590)의 자리를 돕기 위해 고정밀 및 긴밀하게 조정된 XY 그리드를 채택할 수 있다. 일 실시예에서, 이동식 스테이지(580)는, X 및 Y 축 모두에 채택된 고정밀 인코더들(encoders)을 갖는 선형 모터 기반 XY 스테이지이다. 예를 들어, 매우 정밀한 나노미터 인코더들은, 스캐닝 방향의 축과 스캐닝 방향과 수직인 방향의 축 및 스캐닝 방향과 동일한 평면 상에 사용될 수 있다. 스테이지(580)는 또한 샘플(590)이 배치되는 유리 슬라이드(585)를 지지하도록 구성될 수 있다.
샘플(590)은 광학 현미경으로 조사될 수 있는 모든 것이 될 수 있다. 예를 들어, 유리 현미경 슬라이드(585)는, 표본들을 위한 관찰 기판으로 자주 사용되는데, 이는 조직들 및 세포들, 염색체들, DNA, 단백질, 혈액, 골수, 소변, 박테리아, 비드들(beads), 생검 재료들 또는 죽거나 살아 있는, 얼룩이 있는 것 또는 얼룩이 없는 것, 레이블되거나 레이블되지 않은 것, 기타 유형의 생물학적 재료나 물질을 포함한다. 샘플(590)은 또한 마이크로배열들(microarrays)로 일반적으로 알려진 모든 샘플들을 포함하여, 모든 유형의 슬라이드 또는 기타 기질에 침착된 cDNA, RNA 또는 단백질과 같은 모든 유형의 DNA 또는 DNA-관련 물질의 배열일 수 있다. 샘플(590)은 마이크로티터 플레이트(microtiter plate), 예를 들어 96-웰 플레이트(96-well plate)일 수 있다. 샘플(590)의 다른 예시들은 집적 회로 기판들, 전기 영동 기록들, 페트리 접시들, 필름, 반도체 재료들, 법의학 재료들 또는 기계 부품들을 포함한다.
일 실시예에서, 대물 렌즈(600)는 대물 포지셔너(630)에 장착되는데, 이는 대물 렌즈(600)에 의해 정의된 광축을 따라 대물 렌즈(600)를 이동시키기 위해 매우 정밀한 선형 모터를 채택할 수 있다. 예를 들어, 대물 렌즈 포지셔너(630)의 선형 모터는 50-나노미터 인코더를 포함할 수 있다. XYZ 축들에서 스테이지(580)와 대물 렌즈(600)의 상대적 위치들은, 정보 및 명령어들을 저장하기 위해 메모리(565)를 채택하는 프로세서(555)의 제어하에 모션 제어기(570)를 사용하여 폐쇄 루프 방식으로 조정되고 제어되며, 여기에는 디지털 이미징 장치(550)의 전반적 동작을 위해 컴퓨터-실행가능 프로그래밍된 단계들이 포함된다.
일 실시예에서, 대물 렌즈(600)는 원하는 가장 높은 공간 해상도에 대응되는 개구수를 갖는 평면 아포크로매틱("APO") 무한 보정 대물렌즈이며, 여기서 대물 렌즈(600)는 전송 모드 조명 현미경, 반사 모드 조명 현미경 및/또는 에피-조명 모드 형광 현미경(예를 들어, Olympus 40X, 0.75NA 또는 20X, 0.75NA)에 적합하다. 유리하게는, 대물 렌즈(600)는 색수차 및 구면 수차를 보정할 수 있다. 대물 렌즈(600)가 무한 보정될 때, 집속 광학계(610)는 대물 렌즈를 통과하는 광 빔이 콜리메이트된(collimated) 광 빔이 되는 대물 렌즈(600) 위의 광경로(605)에 배치될 수 있다. 집속 광학계(610)는 대물 렌즈(600)에 의해 캡쳐된 광학 신호를 라인 스캔 카메라(615) 및/또는 영역 스캔 카메라(620)의 광 응답 요소들에 집속하고, 필터들, 배율 변환 렌즈들 및/또는 이와 유사한 광학 부품들을 포함할 수 있다. 집속 광학계(610)와 결합된 대물 렌즈(600)는 디지털 이미징 장치(550)에 대한 전체 배율을 제공한다. 일 실시예에서, 집속 광학계(610)는 튜브 렌즈 및 선택적 2X 배율 변환기를 포함할 수 있다. 유리하게는, 2X 배율 변환기는 기본 20X 대물 렌즈(600)로 하여금 40X 배율에서 샘플(590)을 스캔할 수 있도록 한다.
일 실시예에서, 라인 스캔 카메라(615)는 화소들("픽셀들")의 적어도 하나의 선형 배열을 포함한다. 라인 스캔 카메라는 흑백 또는 컬러일 수 있다. 컬러 라인 스캔 카메라들에는 일반적으로 최소 3개의 선형 배열들이 있는 반면, 흑백 라인 스캔 카메라들은 단일 선형 배열 또는 복수의 선형 배열들을 포함할 수 있다. 카메라의 일부로 패키징되거나 이미징 전자 모듈에 맞춤형-통합된 모든 유형의 단수 또는 복수 선형 배열도 사용될 수 있다. 예를 들어, 3-선형 배열("빨간색-녹색-파란색" 또는 "RGB") 컬러 라인 스캔 카메라 또는 96-선형-배열 흑백 TDI가 사용될 수 있다. TDI 라인 스캔 카메라들은, 일반적으로 이전 표본의 이미지화된 영역들로부터 명도 데이터를 합하여 출력 신호에서 실질적으로 더 나은 신호 대 잡음비("SNR")를 제공하여, 통합 스테이지들 수의 제곱근에 비례하는 SNR 증가를 산출한다. TDI 라인 스캔 카메라들은 다수의 선형 배열들로 구성된다. 예를 들어, TDI 라인 스캔 카메라들은 24, 32, 48, 64, 96 또는 더 많은 선형 배열들과 함께 사용할 수 있다. 디지털 이미징 장치(550)는 또한 일부는 512개의 픽셀들, 일부는 1024개의 픽셀들 및 4096개 또는 그 이상의 픽셀들을 갖는 다른 것들을 포함하는 다양한 포맷들로 제조된 선형 배열들도 지원한다. 유사하게, 다양한 픽셀 사이즈들을 갖는 선형 배열들도 디지털 이미징 장치(550)에서 사용될 수 있다. 임의의 유형의 라인 스캔 카메라(615)를 선택하기 위한 가장 중요한 요구 사항은 스테이지(580)의 모션이 라인 스캔 카메라(615)의 라인 속도와 동기화될 수 있어, 스테이지(580)가 샘플(590)의 이미지를 캡쳐하는 동안 라인 스캔 카메라(615)에 대해 움직일 수 있다.
라인 스캔 카메라(615)에 의해 생성된 이미지 데이터는 메모리(565)에 저장되고 프로세서(555)에 의해 처리되어, 샘플(590)의 적어도 일 부분의 연속 디지털 이미지를 생성할 수 있다. 연속 디지털 이미지는 프로세서(555)에 의해 추가로 처리될 수 있고, 수정된 연속 디지털 이미지는 또한 메모리(565)에 저장될 수 있다.
2개 이상의 라인 스캔 카메라들(615)이 있는 실시예에서, 라인 스캔 카메라들(615) 중 적어도 하나는 이미징 센서로 기능하도록 구성된 라인 스캔 카메라들(615) 중 적어도 하나와 결합하여 동작하는 집속 센서로 기능하도록 구성될 수 있다. 집속 센서는 논리적으로 이미징 센서와 동일한 광경로 상에 위치될 수 있거나 집속 센서는 디지털 이미징 장치(550)의 스캐닝 방향에 대해 이미징 센서 앞 또는 뒤에 논리적으로 위치될 수 있다. 적어도 하나의 라인 스캔 카메라(615)가 집속 센서로서 기능하는 그러한 실시예에서, 집속 센서에 의해 생성된 이미지 데이터는 메모리(565)에 저장되고 프로세서(555)에 의해 처리되어, 디지털 이미징 장치(550)가 스캐닝 동안 샘플(590)에 대한 초점을 유지하기 위해 샘플(590)과 대물 렌즈(600) 간 상대적 거리를 조정할 수 있도록 하는 집속 정보를 생성할 수 있다.
동작 시, 디지털 이미징 장치(550)의 다양한 구성요소들 및 메모리(565)에 저장된 프로그래밍된 모듈들은 유리 슬라이드(585) 상 배치된 샘플(590)의 자동 스캐닝 및 디지털화를 가능하게 한다. 유리 슬라이드(585)는 샘플(590)을 스캐닝하기 위해 디지털 이미징 장치(550)의 이동식 스테이지(580)에 안전하게 놓일 수 있다. 프로세서(555)의 제어하에, 이동식 스테이지(580)는 라인 스캔 카메라(615)에 의한 감지를 위해 샘플(590)을 실질적으로 일정한 속도 - 여기서 스테이지(580)의 스피드는 라인 스캔 카메라(615)의 라인 속도와 동기화됨 - 로 가속한다. 이미지 데이터의 스트라이프를 스캔한 후, 이동식 스테이지(580)는 감속하여 샘플(590)을 실질적으로 완전히 정지시킨다. 그 후, 이동식 스테이지(580)는 이미지 데이터의 후속 스트라이프(예를 들어, 인접 스트라이프)의 스캐닝을 위해 샘플(590)을 위치시키도록 스캐닝 방향에 직각으로 이동한다. 샘플(590)의 전 부분 또는 전 샘플(590)이 스캔될 때까지 추가 스트라이프들이 스캔된다.
예를 들어, 샘플(590)의 디지털 스캐닝 동안, 샘플(590)의 연속 디지털 이미지는 이미지 스트라이프를 형성하기 위해 함께 결합되는 복수의 연속 화각들로서 획득될 수 있다. 복수의 인접한 이미지 스트라이프들은 유사하게 함께 결합되어, 전 샘플(590) 또는 부분의 연속 디지털 이미지를 형성한다. 샘플(590)의 스캐닝은 수직 이미지 스트라이프들 또는 수평 이미지 스트라이프들을 획득하는 것을 포함할 수 있다. 샘플(590)의 스캐닝은 위에서 아래로, 아래에서 위로 또는 둘 다(양-방향)일 수 있으며, 샘플(590) 상 임의의 지점에서 시작할 수 있다. 대안적으로, 샘플(590)의 스캐닝은 왼쪽에서 오른쪽, 오른쪽에서 왼쪽 또는 둘 다(양방향)일 수 있으며, 샘플(590) 상 임의의 지점에서 시작할 수 있다. 추가적으로, 이미지 스트라이프가 인접하거나 연속적인 방식으로 획득될 필요는 없다. 또한, 샘플(590)의 결과 이미지는 전 샘플(590)의 이미지이거나 샘플(590)의 부분만 일 수 있다.
일 실시예에서, 컴퓨터-실행가능 명령어들(예를 들어, 프로그래밍된 모듈들 또는 소프트웨어)은 메모리(565)에 저장되고, 실행될 때, 디지털 이미징 장치(550)로 하여금 본 명세서에 설명된 다양한 기능들을 수행할 수 있도록 한다. 이러한 설명에서, "컴퓨터-판독가능 저장 매체"라는 용어는, 프로세서(555)에 의한 실행을 위해 디지털 이미징 장치(550)에 컴퓨터로 실행가능 명령어들을 저장하고 제공하는 데 사용되는 임의의 매체를 지칭하는 데 사용된다. 이러한 매체의 예들은, 메모리(565) 및 임의의 이동식 또는 외부 저장 매체(미도시) - 예를 들어 네트워크(미도시)를 통해 직접 또는 간접적으로 디지털 이미징 장치(550)와 통신 가능하게 연결되어 있음 - 를 포함한다.
도 5b는 전하 연결 장치("CCD") 배열로서 구현될 수 있는 단일 선형 배열(640)를 갖는 라인 스캔 카메라(615)를 도시한다. 단일 선형 배열(640)은 복수의 개별 픽셀들(645)을 포함한다. 도시된 실시예에서, 단일 선형 배열(640)은 4096개의 픽셀들(645)을 갖는다. 대안적인 실시예들에서, 선형 배열(640)은 더 많거나 더 적은 픽셀들(645)을 가질 수 있다. 예를 들어, 선형 배열들의 일반적인 포맷들은 512개, 1024개 및 4096개의 픽셀들(645)을 포함한다. 픽셀들(645)은 선형 배열(640)에 대한 화각(625)을 정의하기 위해 선형 방식으로 배열된다. 화각(625)의 사이즈는 디지털 이미징 장치(550)의 배율에 따라 변한다.
도 5c는 3개의 선형 배열들 - 이들 각각은 CCD 배열로 구현될 수 있음 - 을 갖는 라인 스캔 카메라(615)를 도시한다. 3개의 선형 배열들은 결합되어 컬러 배열(650)를 형성한다. 일 실시예에서, 컬러 배열(650)의 각각의 개별 선형 배열은 다른 컬러 명도(예를 들어, 적색, 녹색 또는 청색)를 검출한다. 컬러 배열(650)의 각각의 개별 선형 배열로부터의 컬러 이미지 데이터는 결합되어 컬러 이미지 데이터의 단일 화각(625)을 형성한다.
도 5d는 복수의 선형 배열들 - 각각의 복수의 선형 배열들은 CCD로 구현될 수 있음 - 을 갖는 라인 스캔 카메라를 도시한다. 복수의 선형 배열들은 종합적으로 TDI 배열(655)을 형성한다. 유리하게는, TDI 라인 스캔 카메라는, 이전 표본의 이미지화된 영역들로부터 명도 데이터를 합하여 출력 신호에서 실질적으로 더 나은 SNR을 제공할 수 있고, 선형 배열들의 수의 제곱근에 비례하는 SNR의 증가를 산출한다(통합 스테이지들로 지칭됨). TDI 라인 스캔 카메라는 더 다양한 수의 선형 배열들을 포함할 수 있다. 예를 들어, TDI 라인 스캔 카메라의 일반적인 포맷들은 24, 32, 48, 64, 96, 120 및 더 많은 선형 배열들을 포함한다.
개시된 실시예들의 위의 설명은 당업자로 하여금 본 발명을 만들거나 사용할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 수정들은 당업자에게 용이하게 명백할 것이며, 여기에 설명된 일반적인 원리들은 본 발명의 사상 또는 범위를 벗어나지 않고 다른 실시예들에 적용될 수 있다. 따라서, 본 명세서에 제공된 설명 및 도면들은 본 발명의 현재 바람직한 실시예를 나타내며 따라서 본 발명에 의해 광범위하게 고려되는 주제를 나타내는 것으로 이해되어야 한다. 본 발명의 범위는 당업자에게 자명할 수 있는 다른 실시예들을 완전히 포함하고 본 발명의 범위가 이에 따라 제한되지 않는다는 것이 추가로 이해되어야 한다.

Claims (13)

  1. 슬라이드 스캐닝 장치에 있어서,
    샘플을 갖는 현미경용 슬라이드를 지지하는 스테이지(stage);
    복수의 라인 센서들(line sensors) - 상기 복수의 라인 센서들 각각은 복수의 픽셀(pixel) 센서들을 포함하고, 상기 복수의 라인 센서들 각각은, 상기 라인 센서의 종방향으로, 상기 복수의 라인 센서들 중 인접한 하나로부터 각 픽셀 센서의 길이의 일부(fraction)만큼 오프셋(offset)됨 -;
    상기 샘플의 동일한 화각을 상기 복수의 라인 센서들 각각에 연속적으로 제공하여, 상기 샘플 상 복수의 위치들 각각에 대해, 상기 복수의 라인 센서들 각각이 상기 위치의 상기 동일한 화각을 감지하고 상기 라인 센서의 각 오프셋에서 상기 위치의 상기 동일한 화각의 라인 이미지를 생성하도록 하는 대물 렌즈; 및
    적어도 하나의 하드웨어 프로세서 - 상기 적어도 하나의 하드웨어 프로세서는:
    상기 샘플 상 상기 복수의 위치들 각각에 대해,
    각각의 오프셋들에서 상기 복수의 라인 센서들에 의해 생성된, 상기 동일한 화각의 상기 라인 이미지들을 결합하여, 상기 동일한 화각의 상기 라인 이미지들 내에서 적어도 하나의 픽셀들의 서브셋(subset) 각각에 대한 복수의 서브픽셀들을 만들고,
    상기 만들어진 복수의 서브픽셀들을 포함하는 상기 위치의 업-샘플링된(up-sampled) 라인 이미지를 생성하고,
    상기 샘플 상 상기 복수의 위치들의 각각의 상기 업-샘플링된 라인 이미지들을 하나의 이미지로 결합함 - 를 포함하는, 슬라이드 스캐닝 장치.
  2. 제 1 항에 있어서,
    상기 복수의 라인 센서들은 N개의 라인 센서들로 구성되고, 상기 복수의 라인 센서들 각각이 인접한 라인 센서로부터 오프셋되는, 각 픽셀 센서의 상기 길이의 일부는 1/N인, 슬라이드 스캐닝 장치.
  3. 제 2 항에 있어서,
    상기 샘플 상 상기 복수의 위치들 각각에 대해, 상기 동일한 화각의 상기 라인 이미지들은 0에서 (N-1)/N까지의 N개의 오프셋들에 대한 라인 이미지를 포함하는, 슬라이드 스캐닝 장치.
  4. 제 3 항에 있어서,
    상기 샘플 상 상기 복수의 위치들 각각에 대해, 상기 동일한 화각의 상기 라인 이미지들을 결합하는 것은, 상기 적어도 하나의 픽셀들의 서브셋 각각에 대해, 이들 각 오프셋들에서 상기 라인 이미지들 각각으로부터 상기 픽셀에 대한 명도 값들을 합하는 것을 포함하는, 슬라이드 스캐닝 장치.
  5. 제 1 항에 있어서,
    상기 적어도 하나의 하드웨어 프로세서가:
    상기 샘플 상 상기 복수의 위치들 각각의 상기 업-샘플링된 라인 이미지들을 복수의 이미지 스트라이프들(stripes)로 결합하고;
    상기 복수의 이미지 스트라이프들 각각을 상기 복수의 이미지 스트라이프들 중 적어도 하나의 인접한 스트라이프와 연속 디지털 이미지로 정렬하는, 슬라이드 스캐닝 장치.
  6. 복수의 라인 센서들로부터 이미지 데이터를 수신하고 - 상기 복수의 라인 센서들 각각은 복수의 픽셀 센서들을 포함하고, 상기 복수의 라인 센서들 각각은, 상기 라인 센서의 종방향으로, 상기 복수의 라인 센서들 중 인접한 하나로부터 각 픽셀 센서의 길이의 일부만큼 오프셋됨-;
    샘플의 동일한 화각을 상기 복수의 라인 센서들 각각에 연속적으로 제공하여, 상기 샘플 상 복수의 위치들 각각에 대해, 상기 복수의 라인 센서들 각각이 상기 위치의 상기 동일한 화각을 감지하고 상기 라인 센서의 각 오프셋에서 상기 위치의 상기 동일한 화각의 라인 이미지를 생성하도록 대물렌즈를 제어하고;
    상기 샘플 상 상기 복수의 위치들 각각에 대해,
    각각의 오프셋들에서 상기 복수의 라인 센서들에 의해 생성된, 상기 동일한 화각의 상기 라인 이미지들을 결합하여, 상기 동일한 화각의 상기 라인 이미지들 내에서 적어도 하나의 픽셀들의 서브셋 각각에 대한 복수의 서브픽셀들을 만들고,
    상기 만들어진 복수의 서브픽셀들을 포함하는 상기 위치의 업-샘플링된 라인 이미지를 생성하고;
    상기 샘플 상 상기 복수의 위치들 각각의 상기 업-샘플링된 라인 이미지들을 하나의 이미지로 결합하기 위해,
    적어도 하나의 하드웨어 프로세서를 사용하는 단계를 포함하는, 방법.
  7. 명령어들을 저장하는 비-일시적 컴퓨터-판독가능에 있어서,
    상기 명령어들은, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
    복수의 라인 센서들로부터 이미지 데이터를 수신하고 - 상기 복수의 라인 센서들 각각은 복수의 픽셀 센서들을 포함하고, 상기 복수의 라인 센서들 각각은, 상기 라인 센서의 종방향으로 상기 복수의 라인 센서들 중 인접한 하나로부터 각 픽셀 센서의 길이의 일부만큼 오프셋됨-;
    샘플의 동일한 화각을 상기 복수의 라인 센서들 각각에 연속적으로 제공하여, 상기 샘플 상 복수의 위치들 각각에 대해, 상기 복수의 라인 센서들 각각이 상기 위치의 상기 동일한 화각을 감지하고 상기 라인 센서의 각 오프셋에서 상기 위치의 상기 동일한 화각의 라인 이미지를 생성하도록 대물 렌즈를 제어하고;
    상기 샘플 상 상기 복수의 위치들 각각에 대해,
    각각의 오프셋들에서 상기 복수의 라인 센서들에 의해 생성된, 상기 동일한 화각의 상기 라인 이미지들을 결합하여, 상기 동일한 화각의 상기 라인 이미지들 내에서 적어도 하나의 픽셀들의 서브셋 각각에 대한 복수의 서브픽셀들을 만들고,
    상기 만들어진 복수의 서브픽셀들을 포함하는 상기 위치의 업-샘플링된 라인 이미지를 생성하고;
    상기 샘플 상 상기 복수의 위치들 각각의 상기 업-샘플링된 라인 이미지들을 하나의 이미지로 결합하도록 하는, 비-일시적 컴퓨터-판독가능.
  8. 슬라이드 스캐닝 장치에 있어서,
    샘플을 갖는 현미경용 슬라이드를 지지하는 스테이지;
    픽셀 센서들의 2차원 배열 - 상기 2차원 배열은 제 1 축에 평행한 열들과 상기 제 1 축에 직교하는 제 2 축에 평행한 행들을 포함함 - 을 포함하는 라인 스캔 카메라;
    상기 샘플의 동일한 화각을 상기 2차원 배열의 복수의 행들 각각에 연속적으로 제공하여, 상기 샘플 상 복수의 위치들 각각에 대해, 상기 복수의 행들 각각이 상기 위치의 상기 동일한 화각을 감지하고 상기 위치의 상기 동일한 화각의 라인 이미지를 생성하도록 하는 대물 렌즈; 및
    적어도 하나의 하드웨어 프로세서 - 상기 적어도 하나의 하드웨어 프로세서는:
    상기 샘플 상 상기 복수의 위치들 각각에 대해,
    상기 스테이지, 상기 대물 렌즈 및 상기 라인 스캔 카메라 중 하나 이상을 제어하여, 상기 2차원 배열의 상기 복수의 행들에 제공되는, 상기 샘플의 상기 화각이, 상기 제 1 축 및 상기 제 2 축에 대해 0이 아닌 각도로 상기 2차원 배열의 상기 복수의 행들을 가로질러 이동하도록 함으로써, 상기 복수의 행들 내의 각 행이 각 픽셀 센서의 길이의 다른 일부와 동일한 오프셋에서 상기 동일한 화각을 감지하도록 하고,
    상기 2차원 배열의 상기 복수의 행들에 의해 그들 각각의 오프셋들에서 생성된, 상기 동일한 화각의 상기 라인 이미지들을 결합하여, 상기 동일한 화각의 상기 라인 이미지들 내에서 적어도 하나의 픽셀들의 서브셋 각각에 대한 복수의 서브픽셀들을 만들고,
    상기 만들어진 복수의 서브픽셀들을 포함하는 상기 위치의 업-샘플링된 라인 이미지를 생성하고,
    상기 샘플 상 상기 복수의 위치들 각각의 상기 업-샘플링된 라인 이미지들을 하나의 이미지로 결합함 - 를 포함하는, 슬라이드 스캐닝 장치.
  9. 제 8 항에 있어서,
    상기 스테이지는 전동식(motorized) 스테이지이고, 상기 스테이지, 상기 대물 렌즈 및 상기 라인 스캔 카메라 중 하나 이상을 제어하는 것은 상기 전동식 스테이지가 상기 대물 렌즈에 대해 이동하도록 제어하는 것을 포함하는, 슬라이드 스캐닝 장치.
  10. 제 8 항에 있어서,
    상기 복수의 행들은 N개의 행들로 구성되고, 상기 제 1 축에 대한 상기 각도는 1/N의 아크탄젠트(arctangent)와 동일한, 슬라이드 스캐닝 장치.
  11. 제 10 항에 있어서,
    상기 샘플 상 상기 복수의 위치들 각각에 대해, 상기 동일한 화각의 상기 라인 이미지들은 0에서 (N-1)/N까지의 N개의 오프셋들에 대한 라인 이미지를 포함하는, 슬라이드 스캐닝 장치.
  12. 픽셀 센서들의 2차원 배열 - 상기 2차원 배열은 제 1 축에 평행한 열들과 상기 제 1 축에 직교하는 제 2 축에 평행한 행들을 포함함 - 을 포함하는 라인 스캔 카메라로부터 이미지 데이터를 수신하고;
    샘플의 동일한 화각을 상기 2차원 배열의 복수의 행들 각각에 연속적으로 제공하여, 상기 샘플 상 복수의 위치들 각각에 대해, 상기 복수의 행들 각각이 상기 위치의 상기 동일한 화각을 감지하고 상기 위치의 상기 동일한 화각의 라인 이미지를 생성하도록 대물 렌즈를 제어하고;
    상기 샘플 상 상기 복수의 위치들 각각에 대해,
    스테이지, 상기 대물 렌즈 및 상기 라인 스캔 카메라 중 하나 이상을 제어하여, 상기 2차원 배열의 상기 복수의 행들에 제공되는, 상기 샘플의 상기 화각이, 상기 제 1 축 및 상기 제 2 축에 대해 0이 아닌 각도로 상기 2차원 배열의 상기 복수의 행들을 가로질러 이동하도록 함으로써, 상기 복수의 행들 내의 각 행이 각 픽셀 센서의 길이의 다른 일부와 동일한 오프셋에서 상기 동일한 화각을 감지하도록 하고,
    상기 2차원 배열의 상기 복수의 행들에 의해 그들 각각의 오프셋들에서 생성된, 상기 동일한 화각의 상기 라인 이미지들을 결합하여, 상기 동일한 화각의 상기 라인 이미지들 내에서 적어도 하나의 픽셀들의 서브셋 각각에 대한 복수의 서브픽셀들을 만들고,
    상기 만들어진 복수의 서브픽셀들을 포함하는 상기 위치의 업-샘플링된 라인 이미지를 생성하고;
    상기 샘플 상 상기 복수의 위치들 각각의 상기 업-샘플링된 라인 이미지들을 하나의 이미지로 결합하기 위해
    적어도 하나의 하드웨어 프로세서를 사용하는 단계를 포함하는, 방법.
  13. 명령어들을 저장하는 비-일시적 컴퓨터-판독가능에 있어서,
    상기 명령어들은, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
    픽셀 센서들의 2차원 배열 - 상기 2차원 배열은 제 1 축에 평행한 열들과 상기 제 1 축에 직교하는 제 2 축에 평행한 행들을 포함함 - 을 포함하는 라인 스캔 카메라로부터 이미지 데이터를 수신하고;
    샘플의 동일한 화각을 상기 2차원 배열의 복수의 행들 각각에 연속적으로 제공하여, 상기 샘플 상 복수의 위치들 각각에 대해, 상기 복수의 행들 각각이 상기 위치의 상기 동일한 화각을 감지하고 상기 위치의 상기 동일한 화각의 라인 이미지를 생성하도록 대물 렌즈를 제어하고;
    상기 샘플 상의 상기 복수의 위치들 각각에 대해,
    스테이지, 상기 대물 렌즈 및 상기 라인 스캔 카메라 중 하나 이상을 제어하여, 상기 2차원 배열의 상기 복수의 행들에 제공되는, 상기 샘플의 상기 화각이, 상기 제 1 축 및 상기 제 2 축에 대해 0이 아닌 각도로 상기 2차원 배열의 상기 복수의 행들을 가로질러 이동하도록 함으로써, 상기 복수의 행들 내의 각 행이 각 픽셀 센서의 길이의 다른 일부와 동일한 오프셋에서 상기 동일한 화각을 감지하도록 하고,
    상기 2차원 배열의 상기 복수의 행들에 의해 그들 각각의 오프셋들에서 생성된, 상기 동일한 화각의 상기 라인 이미지들을 결합하여, 상기 동일한 화각의 상기 라인 이미지들 내에서 적어도 하나의 픽셀들의 서브셋 각각에 대한 복수의 서브픽셀들을 만들고,
    상기 만들어진 복수의 서브픽셀들을 포함하는 상기 위치의 업-샘플링된 라인 이미지를 생성하고;
    상기 샘플 상 상기 복수의 위치들 각각의 상기 업-샘플링된 라인 이미지들을 하나의 이미지로 결합하도록 하는, 비-일시적 컴퓨터-판독가능.
KR1020227012442A 2019-10-14 2020-10-12 서브픽셀 라인 스캐닝 KR20220083702A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962914879P 2019-10-14 2019-10-14
US62/914,879 2019-10-14
PCT/US2020/055241 WO2021076447A1 (en) 2019-10-14 2020-10-12 Subpixel line scanning

Publications (1)

Publication Number Publication Date
KR20220083702A true KR20220083702A (ko) 2022-06-20

Family

ID=73060081

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227012442A KR20220083702A (ko) 2019-10-14 2020-10-12 서브픽셀 라인 스캐닝

Country Status (6)

Country Link
US (1) US20220373777A1 (ko)
EP (1) EP4028818A1 (ko)
JP (1) JP2023502302A (ko)
KR (1) KR20220083702A (ko)
CN (1) CN114424106A (ko)
WO (1) WO2021076447A1 (ko)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0070620A3 (en) * 1981-07-20 1985-11-06 Xerox Corporation High density imager
US4767937A (en) * 1986-12-30 1988-08-30 The Boeing Company Scanning system with low scan rate and high effective frame rate
DE60044580D1 (de) * 2000-08-29 2010-08-05 Perkinelmer Singapore Pte Ltd Mikroskop für Infrarotabbildung
WO2002091424A1 (en) * 2001-05-07 2002-11-14 Photon Vision Systems, Inc. A cmos system for capturing an image and a method thereof
US7176433B1 (en) * 2004-05-07 2007-02-13 Kla-Teacor Technologies Corporation Resolution enhancement for macro wafer inspection
DE102017106831A1 (de) * 2017-03-30 2018-10-04 Sick Ag Kamera und Verfahren zur Erfassung von relativ zu der Kamera in einer Förderrichtung bewegten Objekten

Also Published As

Publication number Publication date
CN114424106A (zh) 2022-04-29
WO2021076447A1 (en) 2021-04-22
US20220373777A1 (en) 2022-11-24
JP2023502302A (ja) 2023-01-24
EP4028818A1 (en) 2022-07-20

Similar Documents

Publication Publication Date Title
US11422351B2 (en) Real-time autofocus scanning
KR102419163B1 (ko) 실시간 오토포커스 포커싱 알고리즘
JP6940696B2 (ja) 二次元および三次元の固定式z走査
JP2021193459A (ja) 二重光学経路および単一撮像センサを使用した低解像度スライド撮像、スライドラベル撮像および高解像度スライド撮像
KR20220083702A (ko) 서브픽셀 라인 스캐닝
EP3625611B1 (en) Dual processor image processing