JP5698398B2 - スライド全体蛍光スキャナ - Google Patents

スライド全体蛍光スキャナ Download PDF

Info

Publication number
JP5698398B2
JP5698398B2 JP2014054023A JP2014054023A JP5698398B2 JP 5698398 B2 JP5698398 B2 JP 5698398B2 JP 2014054023 A JP2014054023 A JP 2014054023A JP 2014054023 A JP2014054023 A JP 2014054023A JP 5698398 B2 JP5698398 B2 JP 5698398B2
Authority
JP
Japan
Prior art keywords
image
sample
scanned
focus
fluorescent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014054023A
Other languages
English (en)
Other versions
JP2014142657A (ja
Inventor
ペイマン ナマバディ
ペイマン ナマバディ
グレゴリー ジェイ. クランドール
グレゴリー ジェイ. クランドール
アーロン アラン スターレット
アーロン アラン スターレット
ディルク ジー. ションクセン
ディルク ジー. ションクセン
クリストファ アダム リー
クリストファ アダム リー
シンシア パーズ
シンシア パーズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Biosystems Imaging Inc
Original Assignee
Aperio Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aperio Technologies Inc filed Critical Aperio Technologies Inc
Publication of JP2014142657A publication Critical patent/JP2014142657A/ja
Application granted granted Critical
Publication of JP5698398B2 publication Critical patent/JP5698398B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • G02B21/0084Details of detection or image processing, including general computer control time-scale detection, e.g. strobed, ultra-fast, heterodyne detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/701Line sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N2021/6463Optics
    • G01N2021/6471Special filters, filter wheel
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Eye Examination Apparatus (AREA)

Description

本発明は一般に、ラインスキャンカメラを用いたデジタルでの病理状態に関するものであり、より詳細には、ラインスキャンカメラを用いて蛍光顕微鏡の試料をスキャンすることに関する。
明視野のスキャナは、ラインスキャンカメラまたはエリアスキャンカメラ等の高感度のカラーカメラの使用に依存する。デジタルでの病理状態について、エリアスキャンカメラよりも優位にあるラインスキャンカメラは、カメラのデータ取得パラメータと同期した、スライド(およびスライドが置かれるステージ)の正確な動きを必要とする。
明視野のスキャニングにおけるラインスキャンカメラの重要な利点は、蛍光スキャナに適切に適合されていない。なぜならば、蛍光発光と明視野の試料との間の元々の差異が、蛍光試料の自動スキャンおよび表示のための新たな技術を必要とするからである。明視野と蛍光スキャニングとの間の1つの根本的な差は、蛍光スキャニングは通常、試料から反射された光を用いるが、他方で明視野のスキャニングは試料を介して透過された光を用いることである。
蛍光スキャニングにおいて、蛍光分子(蛍光色素ともいう)は、特定波長(励起)において光を吸収できる光子高感度(photon sensitive)分子であり、より高い波長(発光)において光を発する。このフォトルミネセンス現象の効率性は非常に低く、発せられた光の量は非常に低い。蛍光スキャニングにおけるこの弱い信号に起因して、明視野スキャニングで通常用いられる単一アレイのラインスキャンカメラは準最適なものである。なぜならば、それは高い画像忠実度を生成するために、より低いラインスキャニング速度で稼動させる必要があるからである。
さらに、蛍光試料の組織を見出す作業は極めて難しいものである。なぜならば、組織を見つけるためには最も効率的な照明である明視野の照明においては、試料は通常透明だからである。ラインスキャンカメラを用いる蛍光スキャニングでさらに困難なことは、オートフォーカスによる平面認識の作業である。蛍光スキャニングでの別の重要な困難は、蛍光試料に対する最適な露出時間を決定することである。なぜならば、それは発光の強さに著しく左右されるからである。ラインスキャンカメラを用いた蛍光スキャンに関連した他の非常に重要な困難は、組織を発見すること、オートフォーカス、自動露出、マルチチャネル・スキャニング(異なる発光波長を有する複数の蛍光色素を有するスキャニング試料)、ストライプ調整、および照明(例えば落射照明)を含む。さらに、マルチチャネル画像に関しては、新たな、かつ重要な困難がデータ管理、視覚化、および結果としての画データに関する分析に対して存在する。それゆえ、必要とされるものは、蛍光スキャニングにおいてラインスキャンカメラの使用を可能にし、かつ上述の従来のシステムにおいて見出された重要な問題を克服するシステムおよび方法である。
従って、蛍光スキャニングにおけるラインスキャンカメラシステムの速度および正確さについての利点を提供するために、複数の線形アレイを有するモノクロ時間遅延積分方式(「TDI」)ラインスキャンカメラ(「TDIラインスキャンカメラ」)を用いる蛍光デジタル病理システムが提供される。モノクロのTDIラインスキャンカメラにより、複数の線形アレイを用いることによって蛍光試料をスキャニングするためのより高いライン速度が可能となり、単一のアレイのラインスキャンカメラと比較して感度が向上している。このことは特に、信号が明視野の顕微鏡使用におけるよりも、概して弱い場合での蛍光スキャニングにおいて有用である。このシステムはまた、迅速かつ正確に組織を見出すために斜めからの明視野照明を用い、かつ、独特の二重スイープでのフォーカスのスコアリングおよび対物レンズの高さの平均化技術を用いて、フォーカス点を特定し、かつその後のスキャニングの間に、その後に生じ得るフォーカスマップを生成し、オートフォーカス性能を提供する。
このシステムはさらに、TDIラインスキャンカメラがスキャニングの間に、最適なライン速度を決定するために、試料の小さなスキャンされた領域のヒストグラムを用い、それにより、蛍光試料をスキャンするための最適な露出時間を提供する。このシステムはまた、蛍光試料のマルチチャネルをスキャンするために、効率的なスキャニングのワークフローを用いる。ストライプ調整に関して、このシステムは、十分なコントラストが利用できる場合に、隣接するストライプを調節するために、隣接するストライプ間の重複領域におけるコントラストを利用し、また、マルチチャネルの試料における各チャネルについて、隣接するストライプを調節する。さらに、デジタル病理システムは、TDIラインスキャンカメラの方形のセンサと近しい位置にある楕円形または方形の領域を照射するためにビーム成形を適宜利用する照射システムを有し、これは、蛍光試料を保存し、より短い露出時間を可能にする。このシステムはまた、マルチチャネルの試料のスキャンに関連付けられた困難性に取り組むために、データ管理能力を提供する。このシステムは、同様に、単一チャネルおよびマルチチャネルの閲覧に取り組むために、視覚化および分析、ならびに、デジタルスライド画像の分析を提供する。
本発明の他の特徴および利点は、以下の詳細な記載および添付の図面を検討した後、当業者に対してより確実に明らかとなる。本発明の詳細は、その構造および作動の両方に関して、添付の図面を分析することで部分的に情報を集めることができてもよく、図面において、類似する参照符号は同様の部分を参照するものとする。
図1は、本発明の実施形態に係る例示的な蛍光スキャナシステムを示すネットワークの図である。 図2は、本発明の実施形態に係る例示的な蛍光スキャナシステムを示すブロック図である。 図3は、本発明の実施形態に係る蛍光スキャナシステム40における例示的なモジュールのセットを示すブロック図である。 図4は、本発明の実施形態に係る蛍光スキャナシステムにおけるマクロフォーカスのための例示的なプロセスを示すフロー図である。 図5は、本発明の実施形態に係る蛍光スキャナシステムにおけるオートフォーカスのための例示的なプロセスを示すフロー図である。 図6は、本発明の実施形態に係る蛍光スキャナシステムにおける最適な自動露出のライン速度を決定するための例示的なプロセスを示すフロー図である。 図7は、本発明に係るシェーディング補正のための画像を取得するための例示的なプロセスを示すフロー図である。 図8は、本発明に係る例示的なスキャニングのワークフローのプロセスを示すフロー図である。
本明細書において開示する実施形態は、スライド全体蛍光スキャニングシステムおよび蛍光スキャニングシステムの作動方法を提供する。本明細書の記載を読了後、当業者には、様々な代替的な実施形態および代替的な用途において本発明を実施する方法が明らかとなる。しかしながら、本発明の様々な実施形態が本明細書において記載されるが、これらの実施形態は例示としてのみ提示されるものであり、限定を意図するものではない。従って、様々な代替的な実施形態の本明細書での詳細な記載は、添付の特許請求の範囲において説明されるように、本発明の範囲または広さを限定するものとして解釈されるべきではない。
図1は、本発明の実施形態に係る例示的な蛍光スキャナシステム100を示すネットワークの図である。図示した実施形態において、システム100は、データ格納領域45を用いて構成された蛍光スキャニングシステム40を備える。蛍光スキャニングシステム40は、データ通信ネットワーク60を介して、オペレータステーション20、ユーザステーション30、および画像サーバシステム50と通信可能に連結される。オペレータステーション20、ユーザステーション30、および画像サーバシステム50の各々は、データ格納領域25、35、および55を各々用いて構成される。データ格納領域25、35、45、および55は、例えばランダムアクセスメモリおよびハードディスクドライブを含む揮発性記憶装置および固定記憶装置を含んでよい。ネットワーク60は、有線および無線、パブリックおよびプライベートを含む様々なネットワークタイプのいずれかであってよく、または、インターネット等の通信ネットワークの任意の組合せであってもよい。
動作において、蛍光スキャニングシステム40は、複数の蛍光試料をデジタル化して、蛍光スキャニングシステム40または画像サーバシステム50上において格納可能である、対応の複数のデジタルスライド画像を生成する。蛍光スキャニングシステム40は、直接に稼動されてもよく、または、オペレータステーション20においてオペレータによって遠隔で稼動されてもよい。蛍光スキャニングシステム40または画像サーバシステム50において位置する蛍光デジタルスライド画像は、ユーザステーション30においてユーザによって閲覧されてよく、ここでデジタル画像データはネットワーク60を介してユーザステーション30に提供される。
図2は、本発明の実施形態に係る例示的な蛍光スキャナシステム40のブロック図である。図示した実施形態において、蛍光スキャナシステム40は、例えば、揮発性または固定のコンピュータ可読記憶装置媒体を含むことができるデータ格納領域45と通信可能に連結されるプロセッサ245を備える。プロセッサ245は、データ記憶装置245において、プログラミングされたモジュールを実行して、マクロカメラ240、TDIラインスキャンカメラ205、焦点合わせ光学系210、電動式フィルタ・キューブターレット215、および対物レンズ225に連結される対象ポジショナー220を制御する。プロセッサはまた、データ記憶装置245において、プログラミングされたモジュールを実行し、照明モジュール235、モーションコントローラ250、および試料230を支持する電動式ステージ255を制御する。プロセッサはまた、データ記憶装置245において、プログラミングされたモジュールを実行し、光源265、落射蛍光照明光学系270および任意のビーム成形光学系275を備える最適化された落射蛍光照明モジュール290、ならびに電動式励起フィルタホイール280を制御する。
動作において、蛍光スキャナシステム40と、データ記憶装置245に格納されたプログラミングされたモジュールの様々なコンポーネントは、蛍光試料230の自動スキャニングおよびデジタル化を有効にする。顕微鏡スライド(図示せず)は、蛍光試料230を支持するためのプラットフォームとしてしばしば用いられ、試料230をスキャンするための蛍光スキャナシステム40の電動式ステージ255上に固定されて配置可能である。プロセッサ245の制御下では、電動式ステージ255は、試料230を、TDIラインスキャンカメラ205によって感知するために、実質的に一定速度まで加速させ、ここでそのステージの速度は、TDIラインスキャンカメラ205のライン速度と同期される。画像データのストライプのスキャニングの後、電動式ステージ255は、減速されて、さらなる同じストライプまたは異なるストライプの前に、試料230を実質的に完全に停止させる。
試料230は、蛍光染料または蛍光色素を用いて標識付けされている任意の種類の標本であってよく、例えば、例を挙げれば、組織、細胞、DNA、およびタンパク質がそうした種類の試料である。蛍光試料230はまた、例えば、組織切片、DNA、または基板上に配置されるDNA関連の物質等の一通りの標本であってよい。当業者によって理解されるように、蛍光光学顕微鏡によって調べることのできる任意の蛍光の標本はまた、蛍光試料230のデジタルスライド画像を生成するために、蛍光スキャナシステム40によってスキャン可能である。
蛍光分子は特定の波長(励起)において光を吸収可能である光子高感度分子である。これらの光子高感度分子はまた、より高い波長(発光)で光を発する。このフォトルミネセンス現象の効率性は非常に低く、発せられた光の量は非常に低い。低い量の発せられた光は、試料230をスキャニングおよびデジタル化するための従来の技術を妨げてしまう。有利にも、複数の線形のセンサアレイを備えるTDIラインスキャンカメラ205の使用により、試料230の同じ領域をTDIラインスキャンカメラ205の複数の線形センサアレイに露出することによってカメラの感度を上昇させる。低い発光での淡い蛍光試料をスキャンする場合に、これは特に有益である。代替的な実施形態において、TDIラインスキャンカメラ205は、64個、96個、または120個の線形センサアレイを含んでよく、これは、電荷結合素子(「CCD」)であってよい。
1つの実施形態において、TDIラインスキャンカメラ205は、モノクロのTDIラインスキャンカメラであるが、本明細書に記載するシステムおよび方法はモノクロのカメラに限定されない。有利にも、モノクロの画像は、蛍光顕微鏡検査法においては理想的なものである。なぜならば、それは、試料上にある様々なチャネルから実際の信号のさらなる正確な表示を提供するからである。当業者に理解されるように、蛍光試料230は、いわゆる「チャネル」と呼ばれる、異なる波長において光を発する複数の蛍光染料で標識付け可能である。
さらに、様々な蛍光試料のローエンドおよびハイエンドの信号レベルは、感知すべきTDIラインスキャンカメラ205に対して広帯域の波長を提示するので、TDIラインスキャンカメラ205が感知できるローエンドおよびハイエンドの信号レベルが同様に広いことが望ましい。従って、1つの実施形態において、蛍光スキャニングシステム40において用いられるTDIラインスキャンカメラ205は、モノクロ10ビットの64ステージTDIラインスキャンカメラである。TDIラインスキャンカメラ205には、様々なビット深度が、蛍光スキャニングシステム40との使用に用いることができる。
1つの実施形態において、蛍光スキャニングシステム40は、高精度かつ目が細かく調整された(tightly coordinated)XYグリッドを用い、電動式ステージ255上での試料230の位置付けを助ける。1つの実施形態において、電動式ステージ255はXおよびY軸の両方で用いられる高精度エンコーダを用いて、リニアモータベースのXYステージである。例えば、50ナノメートルのエンコーダは、この軸上で、スキャニング方向において用いることができ、5ナノメートルのエンコーダは、スキャニング方向と直交する方向にあって、かつ同一平面上にある軸上で用いることができる。対物レンズ225はまた、50ナノメートルのエンコーダを有して、光学軸上にあるリニアモータを利用する対象保定装置220上に搭載される。1つの実施形態において、3つのXYZ軸が調節され、運動制御駆動(図示せず)および運動制御ボード(図示せず)を含むモーションコントローラ250を用いて、閉ループの形態で制御される。制御および調整は、プロセッサ245によって維持され、プロセッサ245はスキャニングシステム40の動作のための、コンピュータが実行可能なプログラミングされた工程を含む情報および命令を格納するためのデータ格納領域45を用いる。
1つの実施形態において、対物レンズ225は、蛍光顕微鏡検査法に適切なPlanAPO無限遠補正の対物レンズ(例えばオリンパス ×20、0.75NA)である。有利にも、対物レンズ225は色収差および球面収差を補正することができる。対物レンズ225は無限遠補正であり、他の光学コンポーネント、例えばフィルタ、倍率切替レンズ等は、対物レンズ225の上方にある光学経路内に配置されることができ、ここで、対物レンズを通過する光線はコリメートされた光線となる。焦点合わせ光学系210と組み合わされた対物レンズ255は、蛍光スキャニングシステム40に、総合倍率を提供し、また、TDIラインスキャンカメラ205の表面に焦点を合わせる。焦点合わせ光学系210は、チューブレンズおよび任意の2倍の倍率切替器を含む。1つの実施形態においては、2倍の倍率切替器は、40倍の倍率で試料230をスキャンするために、元々が20倍である対物レンズ255を可能にする。
蛍光顕微鏡検査法を効果的に行うためのスキャニングシステム40のためには、適切な光源265が用いられる必要がある。代替的な実施形態において、例えば水銀ランプ、メタルハライドランプ、キセノンランプまたはLED光源等のアーク灯がこの目的のために用いることができる。1つの実施形態において、光源265は、200ワットの水銀ベースのDC稼動およびプロセッサ制御の光源等のアークベースの光源である。有利にも、光源265により、プロセッサ245はシャッター制御およびアイリスコントロールを管理することができる。1つの実施形態において、リキッドライトガイド(図示せず)は、光を、対物レンズ225の視野(ここでスキャンが行われる)に運ぶために用いることができるか、または、蛍光スキャニングシステム40内の他の所望の位置に光を運ぶために用いることができる。例えば、3mmコアのリキッドライトガイドが光を運ぶために用いることができる。
蛍光スキャニングシステム40は、さらに、落射蛍光照明光学系270を含む照射光学系と、最適化された落射蛍光照明290として集合的に示される任意のビーム成形光学系275を含む。落射蛍光照明光学系270は、対物レンズ225を介して試料230上に励起光を集中させる。落射蛍光照明における場合のように、試料から発された光はまた、同じ対物レンズ225で集められる。落射照射を用いることの1つの特定の利点は、TDIラインスキャンカメラ205の複数の線形アレイセンサに達する励起光の閉塞を最大化することである。同様に、このことはまた、TDIラインスキャンカメラ205の複数の線形アレイセンサに達する、発された光の量を最大化する。
落射照射光学系270は、波長依存の反射性および透過性を提供するダイクロイックミラーを用いて実施することができる。結果として、励起光は、ダイクロイックミラーの表面から反射して、対物レンズ225を介して案内されて、試料230に到達する。しかしながら、より高い波長にある試料230から発せられた光は、ダイクロイックミラーを通過し、TDIラインスキャンカメラ205の複数の線形アレイセンサに達する。
落射蛍光照明光学系270はまた、光源265からの光をコリメートする。代替的な実施形態において、このことは、ケーラー照明または臨界照明を用いて達成される。ケーラー照明は、デジタルスライド画像においてシェーディングを最小化するために、試料230上に最も均一な光照明を提供し、他方で、臨界照明は、画像化に必要な露出時間を低減するために、試料上への光強度を提供する。ケーラー照明および臨界照明の双方とも、蛍光スキャニングシステム40によって利用可能である。
1つの実施形態において、落射蛍光照明光学系270は、リキッドライトガイド(図示せず)を介して、光源265から受け取られた光をコリメートし、その光を試料230へと伝達するように設計されているリレーレンズ・チューブ光学(図示せず)を含む。この実施形態において、試料上の光のプロファイルは、対物レンズ225を介した画像化の視野内での最小のロールオフを有する。
代替的な実施形態において、光線成形光学系275は、TDIラインスキャンカメラ205の複数の線形アレイセンサによって感知される部分のみを照明するように作動する。有利にも、光線成形光学系275は、照明領域を、元々の円形状から、方形のセンサ領域に非常に近くなる薄い楕円形状に再形成する。再形成された照明領域は、有利にも、増加した光のエネルギーを受け取る。照明領域を再形成することは、従来のマスキングに対して広範な改良となり、これは、方形のマスクの外側の全ての光エネルギーを取り除く。光線成形光学系275の利点は(a)励起光への余分な露出から試料を保護し、それにより、試料の光退色を最小化し、かつ(b)試料上の照明領域へ運ばれる光エネルギーを増加させ、それにより、デジタルスライド画像を生成するために、試料230のスキャニングの間、より短い露出時間(例えば、より高いライン速度)を可能にすることを含む。組み合わせると、これら2つは重要な利点を提供することができる。
蛍光スキャニングシステム40はまた、様々なフィルタの構成および使用を促進する電動式の励起フィルタホイール280を備える。蛍光顕微鏡検査法の効率を上昇させるのに利用可能である所定のフィルタを有することが所望される。所望されるフィルタの一部は(a)光源265から生成された広帯域の光を、試料230の励起に必要な特定帯域へと狭める励起フィルタ、(b)TDIラインスキャンカメラ205の線形アレイセンサの1つ以上に達し得る過剰な光および、場合によっては励起光をフィルタリングする発光フィルタ、(c)落射蛍光照明と共に使用するために上述で記載したようなダイクロイックミラーを含む。他のフィルタもまた含めることができる。
1つの実施形態において、蛍光スキャニングシステム40は、励起フィルタのための電動式ホイール、発光フィルタのための電動式ホイール、およびダイクロイックミラーのための電動式ホイールを含む。ホイールの代わりにスライダーを用いることもできる。代替的な実施形態において、蛍光スキャニングシステム40は、発光フィルタおよびダイクロイックミラーを含む電動式励起フィルタホイール280および電動式フィルタ・キューブターレット215を含む。励起フィルタを発光フィルタおよびダイクロイックミラーから分離する1つの特定の利点は、モノクロのTDIラインスキャンカメラ205の使用に関連する。詳細には、モノクロのTDIラインスキャンカメラ205の使用により、試料230の各ストライプ領域が複数回、スキャンおよびデジタル化される。すなわち、調べられる各発光波長(すなわちチャネル)毎である。単一のストライプの複数スキャンの登録は、それゆえ、複数のスキャンを各チャネルからの情報を含む単一の画像へと統一することを可能にするために極めて重要である。
さらに、電動式のフィルタ・キューブターレット215は発光フィルタおよびダイクロイックミラーを含むので、電動式フィルタ・キューブターレット215は、複数の帯域フィルタ・キューブ(ダイクロイックミラーおよび発光フィルタ)および単一の帯域の励起フィルタが組み合わせて用いられる(「ピンケル(Pinkel)」構成)フィルタ構成を実施することができる。ピンケル構成を有利に利用することによって、複数回、試料230をスキャニングおよびデジタル化でき、他方で、電動式の励起フィルタホイール280を用いた励起フィルタのみを変更できる。結果として、機械的または光学的な登録の問題は、試料上の同じストライプの画像の間で観察されない。なぜならば、画像化経路中には移動するコンポーネントは存在しないからである。これは、複数回、試料230の同じ領域をスキャンし、かつ結果として複数の画像を結合するラインスキャンカメラ(例えばTDIラインスキャンカメラ205)を用いた場合、励起フィルタを、発光フィルタおよびダイクロイックミラーから分離する重要な利点である。
1つの実施形態において、電動式励起フィルタホイール280は、標準の25mmフィルタを収容可能な6箇所配置のホイールである。電動式の励起フィルタホイール280はプロセッサ245の制御下にある。当業者に理解されるように、任意の標準の蛍光フィルタを用いることができる。好ましくは、ハードコートのフィルタが、スキャニングシステム40と共に用いられる。なぜならば、それらはより耐久性があり、かつ洗浄するのに容易だからである。
1つの実施形態において、電動式のフィルタ・キューブターレット215はまた、フィルタキューブを保持する6箇所配置のターレットであり、例えば標準のオリンパス・フィルターキューブを用いることができる。電動式のフィルタキューブ・ターレット215はプロセッサ245の制御下にある。電動式のフィルタホイール280および電動式のフィルタキューブ・ターレット215のフィルタは、試料230上の特定の蛍光色素、および蛍光スキャニングシステム40内で構成される利用可能なフィルタに依存して、プロセッサ245の制御下の照明経路または画像化経路内に自動的に配置される。
蛍光試料を画像化する場合に1つの特に困難なことは、顕微鏡スライド上の試料230を認識し、デジタルスライド画像へとスキャンされデジタル化される領域を決定することである。さらに、蛍光試料は、しばしば、透明に見えるので、このことがこの困難性を大きくする。なぜなら、通常の照明を用いた蛍光試料の通常の画像化は、スライド上の標本を認識するための手段を必ずしも提供しないからである。したがって、照明モジュール235は、斜めからの照明を蛍光試料230に適用するように構成される。マクロカメラ240は、それが照明モジュール235によって斜めからの照明で照らされた後、試料の画像をキャプチャするように構成される。有利にも、その結果の画像における組織は十分なコントラストをもって認識できるものである。
1つの実施形態において、照明モジュール235は、適切な角度で、試料230を照明するために、ある角度で配置されたビーム拡散器(図示せず)と統合した白色LEDモジュール(図示せず)を利用する。1つの実施形態において、30度の角度で斜めからの照明が用いられる(顕微鏡スライドの表面に対して測定される)。しかしながら、0度から85度の範囲の任意の角度で斜めからの照明を用いることができる。ゼロ度の角度(例えば、スライドの厚さを通した試料230を照明する等)は、例えば、線形のファイバーを用いて達成することができる。1つの実施形態において、照明モジュール235周囲のさらなる囲い(shrouding)が、試料230の表面を打つ斜めからの光をより良く導くために提供される。マクロカメラ240周囲の囲い(shrouding)がまた提供されて、マクロカメラ240によってキャプチャされた試料230からの反射された光の量を増加させ、同時にまた、マクロカメラ240によってキャプチャされた照明光の量を最小化する。
プロセッサ245は、当業者によって理解されるように、1つ以上のプロセッサのコアを備えてよい。さらなる別個のプロセッサもまた、提供されてよく、特定のコンポーネントを制御するか、または特定の機能を実行する。例えば、さらなるプロセッサは、データ入力を管理する補助プロセッサ、浮動小数点演算を実行する補助プロセッサ、信号処理アルゴリズム(デジタル信号プロセッサ)の迅速な実行に適したアーキテクチャを有する特定用途向けプロセッサ、メインプロセッサに従属するスレーブプロセッサ(たとえばバックエンドプロセッサ)、TDIラインスキャンカメラ205を制御するためのさらなるプロセッサ、ステージ255、対物レンズ225、またはディスプレイ(図示せず)を備えてもよい。そのような追加のプロセッサは、完全に別個のプロセッサであってもよく、またはプロセッサ245に一体化されていてもよい。
プロセッサ245は、蛍光スキャニングシステム40の制御、調整、および全体的な管理を提供するために、蛍光スキャニングシステム40の様々なコンポーネントに好ましくは電気的に連結される。あるいは、プロセッサ245は、蛍光スキャニングシステム40の様々なコンポーネントの1つ以上と無線通信可能である。
データ格納領域45は、プロセッサ245上で実行するプログラムのためのデータおよび命令の記憶装置を提供する。データ格納領域45は、データおよび命令の揮発性記憶装置および固定記憶装置を好ましくは備え、ならびに、ランダムアクセスメモリ、読み出し専用メモリ、ハードディスクドライブ、リムーバブル記憶装置ドライブ等を含んでよい。
スキャニングシステム40はまた、スキャニングシステム40と、ネットワーク60と直接に接続した外部デバイス(例えばプリンター)、または、ネットワーク60を介して接続したオペレータステーション20、ユーザステーション30、およびサーバステーションシステム50等の外部デバイスとの間でソフトウェアおよびデータを転送可能な通信インターフェースを備えてもよい。
1つの実施形態において、コンピュータが実行可能な命令(例えば、プログラミングされたモジュールおよびソフトウェア)はデータ格納領域245内に格納され、実行するときに、スキャニングシステム40が本明細書に記載の様々な機能を実行することを可能にする。本明細書の記載において、用語「コンピュータが読み取り可能な記憶媒体」とは、プロセッサ245による実行のために、コンピュータが実行可能な命令をスキャニングシステム40に保存および提供するために用いられる任意の媒体のことをいうために用いられる。これらの媒体の例としては、例えば、ネットワーク60を介して、直接または間接に、スキャニングシステム40と通信可能に接続されるデータ格納領域245および任意のリムーバブルまたは外部の記憶媒体(図示せず)を含む。
図3は、本発明の一実施形態に係る蛍光スキャナシステム40におけるモジュールの例示的なセットを示すブロック図である。例示的な実施形態において、モジュールは、組織発見モジュール305、オートフォーカスモジュール310、自動露出モジュール315、スキャニング・ワークフローモジュール320、シェーディング補正モジュール325、ストライプアライメントモジュール330、データ管理モジュール335、ならびに視覚化および分析モジュール340を含む。特定の組み合わせにおいて、さまざまな図示したモジュールを併せて、スライド蛍光スキャニング全体を実行させる。様々なモジュールによって実行される特定の方法は、図4から図8に関連して後に記載される。
組織発見モジュール305は、顕微鏡スライド上での試料230の位置を決定するために動作する。試料の位置は、前述した、電動式のステージのためのXY座標に関連して決定される。組織発見モジュール305は、マクロカメラ240からの画像データを分析して、組織の位置を決定する。有利にも、試料230の斜めからの照明の結果、マクロカメラ240は、試料230の高コントラスト画像を組織発見モジュール305に提供する。組織発見モジュール305は、試料230の位置を決定するために、マクロカメラ240から高コントラスト画像を分析する。例えば、最も高いコントラストの領域は、標本のペリメータを規定してよく、組織発見アルゴリズム305が試料230の輪郭を決定することを可能にする。1つの実施形態において、組織発見モジュール305は閾値化アルゴリズムを利用し、これは、黒いピクセル(組織が存在しない領域を表す)および白いピクセル(組織が存在する領域を表す)から主に構成された画像が与えられた場合、白いピクセル(「閾値」)の最小のピクセルの強度を計算する。閾値は、次いで、組織であるものとして、または、組織ではないものとしてのマクロ画像中の各ピクセルを分類するために用いられる。この選ばれた閾値は、以下の式:ωntσnt+ωσの結果を最小化する。
ここでωntは、ピクセルが組織ではないものとして分類される可能性であり、σntは、組織ではないものとして分類されたピクセルの輝度の分散であり、ωは、ピクセルが組織であるとして分類される可能性であり、σは組織であるとして分類されたピクセルの輝度の分散である。
オートフォーカスモジュール310は、試料230の表面の焦点マップを生成するように動作し、その結果、試料をスキャニングした結果として生成されるデジタルスライド画像は最適な焦点を有する。オートフォーカスモジュール310はまず、XY座標を用いて試料上の一連の点を決定する。次に、各点はTDIラインスキャンカメラによって巡回され、各点における対物レンズのための最適なフォーカスの高さが決定される。1つの実施形態において、XYの点のための最適なフォーカスの高さは、対物レンズのZ範囲の上側の端から対物レンズのZ範囲の底側の端までの試料上のXYの点をスキャンし、かつ、対物レンズのZ範囲の底側の端から対物レンズのZ範囲の上側の端までの試料上の同じ点をスキャンし、次いでその2点を平均化することによって決定可能である。スキャンされた画像データ内の最も高いコントラストを提供する対物レンズの高さは、次いで、双方のスキャン(すなわち上側から下側および下側から上側)で決定され、平均の高さが次いで、そのXYの点についての最適なフォーカスの高さとして計算される。
代替的な実施形態において、XYの点についての最適なフォーカスの高さは、対物レンズのZ範囲の上側の端からその対物レンズのZ範囲の底側の端まで、またはその逆の試料上の点をスキャンすることによって決定可能である。スキャンされた画像データにおける最も高いコントラストを提供する対物レンズの高さが、次いで、そのXYの点についての最適なフォーカスの高さとして決定される。この技術はそれほど望ましいものではない。
XYの点についての最適なフォーカスの高さを決定するためのいずれかの技術の結果は、各々がXYの位置およびフォーカスの高さを含む一連のフォーカス点である。一連のフォーカス点は、次いで、スキャン領域を覆う、非平面の焦点表面を計算するために利用される。スキャン領域は、試料230全体または試料230の一部を含むことができる。
試料230上のXYの点について最適なフォーカスの高さを決定することの1つの特定の困難な点は、TDIラインスキャンカメラ205の使用から生じる。なぜならば、TDIラインスキャンカメラは、均一な配置での平行した形態で、並んで配置される複数の線形の感知アレイ(例えば64または96)を備える。相対的な動きのスキャニングの間、試料230は線形の感知アレイに垂直に動くので、試料230は、第1のアレイに、次いで第2等によって感知される。有利にも、これは、試料がセンサに相対的に動くので、試料230の各領域の複数の露出が提供される。複数の露出は、次いで、結果としての画像を生成するように結合されるが、これは、スキャニングの速度を犠牲にすることなく、露出時間を増加させる利益を生じる。この増加した露出時間は、上で説明したように、淡い蛍光試料について用いる場合には特に有用である。
しかしながら、TDIラインスキャンカメラ205のこの利点は、試料上のXYの点について最適なフォーカスの高さを決定する場合と同じように、試料および線形の感知アレイの垂直の相対的な動きが取り除かれる場合には不利益となるものである。例えば、TDIラインスキャンカメラ205がそのZ範囲の上側の端から底側の端まで移動すると、複数の線形の感知アレイの各々は、それが「見る」ことができる試料230の部分に対しての画像データをキャプチャする。TDIカメラ205が適切に様々な線形の感知アレイからの画像データを統合すると、その画像データは、試料230の同じ正確な部分からではなくなる。従って、様々な線形の感知アレイからの画像データは、結果としての画像を生成するように結合されて、その結果としての画像はぼやけたようになる。これは、空間的曇り(spatial blurring)といわれる。
TDIラインスキャンカメラ205を利用した場合の関連する問題は、時間的曇り(temporal blurring)といわれる。時間的曇りにおいては、問題は、対物レンズがそのZ範囲を介して移動すると、最初の線形のアレイセンサが時間t1において、その画像データをキャプチャすることである。この画像データは、次いで、時間t2において、第2の線形のアレイセンサによってキャプチャされる画像データ等に統合される。96番目の線形のアレイセンサがその画像を96番目にキャプチャする頃には、対物レンズのZレベルは異なる焦点名面上へと十分に変化している。このように、時間的曇りはまた、試料230上のXYの点についての最適なフォーカスの高さを特定するのには困難性となるものである。
従って、オートフォーカスモジュール310は、各XYのフォーカス位置について、対物レンズはそのZ範囲の上側の端からそのZ範囲の底側の端へと移動し、次いで、そのZ範囲の底側の端からそのZ範囲の上側の端へとさらに移動する。上側から下側へのスキャンおよび下側から上側のスキャンの結果は、次いで、最適なフォーカスの高さを決定するために平均化される。これは、フォーカス点において、最適なフォーカスの高さを特定するために、TDIラインスキャンカメラ205を用いることに関連する時間的曇りの諸問題を効果的に取り除き、かつ、オートフォーカスモジュール310が、各XY点についての最適なフォーカスの高さとして、上側から下側にスキャンされた画像データおよび下側から上側にスキャンされた画像データにおける最大のコントラストを提供する、対物レンズの平均の高さを用いることを可能にする。
代替の実施形態において、上側から下側のスキャンの間および下側から上側のスキャンの間に、時間的曇りに付随する諸問題を取り除くために、各Z位置においてキャプチャされた線形の感知アレイの各々から(例えば96個全てのアレイから)の画像データがデータの単一のラインへと統合される。この方法において、空間的曇りはまだ存在するが、時間的曇りは取り除かれる。
自動露出モジュール315は、蛍光スキャニングシステム40によってスキャンされる試料上の蛍光色素の各々についての最適な露出時間を決定するように動作する。露出時間の決定のプロセスは、通常は、試料230全体および特定の蛍光色素(すなわち特定のチャネル)を表す試料230の小さな領域を用いる。自動露出モジュール315は、試料230の小さな領域から、フォーカスされた画像データを取得し、試料230の小さな領域についての推定された最適な露出時間を計算するために画像データを分析する。スキャン、分析、および計算のプロセスは、次いで、TDIラインスキャンカメラ205によって用いられる実際の露出時間が、計算されたその推定の最適な露出時間と略等しくなるまで繰り返される。
最適な露出時間が1つの蛍光色素(すなわちチャネル)に対していったん計算されると、自動露出モジュール315は、スキャンの間に、後の使用のために、データ格納領域内にその露出時間を格納する。自動露出モジュール315は、次いで、試料230上に、任意の残りの蛍光色素について、最適な露出時間を続けて決定する。有利にも、スキャニングシステム40は、モノクロTDIラインスキャンカメラ205、ならびに別個の励起フィルタホイールおよび発光フィルタホイールを用い、各蛍光色素についての露出時間は、他の蛍光色素とは独立して計算されることができる。蛍光スキャニングシステム40のこの配置構成は、1つのスキャニングの動きの間に、複数の蛍光色素から画像データをキャプチャすることを試みるといった、蛍光スキャニングシステムに対する重要な利点を提供する。
スキャニングワークフローモジュール320は、蛍光スキャニングシステム40を用いて、蛍光試料230のデジタルスライド画像を生成するための全体のプロセスを管理するように作動する。前述したように、スキャニングシステム40は、最適な画像化の性能を達成するために、高い感度および高いビット深度を用いたモノクロTDIラインスキャンカメラ205を用いる。しかしながら、蛍光試料230は、通常は、複数の蛍光色素を用いてマーキングされ、これにより、光は、複数の波長(すなわちチャネル)において、試料230から発せられる。従って、複数のチャネルの蛍光試料230をスキャンする場合、チャネルの分離は、特定のフィルタの使用により、蛍光スキャニングシステム40によって達成される。最大の柔軟性のために、上述のように、励起フィルタが、発光フィルタとは別々に搭載される。これにより、1つ以上の発光フィルタキューブを有するフィルタキューブターレットと組み合わされる1つ以上の励起フィルタを有するフィルタホイールにより、複数のフィルタの組合せを可能にする。フィルタホイールは電動式のデバイスなので、スキャニング時間を最小限にするためには、フィルタホイールの回転を最小限にすることもまた好適である。
スキャニングワークフローモジュール320は、フィルタホイールの回転の数を有利にも最小限にする非常に効率的なプロセスを実施する。例えば、従来の画像角度調節システムと比較して、スキャニングワークフローモジュール320は、60倍〜120倍で、フィルタホイールの回転数を低減する。従来の画像角度調節システムにおいては、あらゆる小さな画像タイルについて、フィルタホイールは、「N」回、配置される必要があり、ここでNはチャネルの数に等しい。タイル毎の10ミリ秒の通常の露出時間に対しては、実際に画像を感知して経過するよりも、フィルタホイールをN回、回転して経過するほうが著しく時間が経過する。蛍光スキャニングシステム40は、対照的に、各々スキャンされたストライプに対して、N回のみ、フィルタホイールを回転させる。通常のスキャンした画像タイルは、おおよそ1メガピクセルであり、これに対して、通常のスキャンされたストライプはおおよそ60メガピクセルであるので、最初のものを超える各々のチャネルについては、スキャンワークフローモジュール320によって実施されるプロセスの効率性に起因して、フィルタホイール回転数が60から1へと低減する。
シェーディング補正モジュール325は、落射蛍光照射光学およびTDIラインスキャンカメラ205における非均一性を補正するように動作する。シェーディング補正モジュール325は、試料が存在しない特定のXY座標において、スライドの試料320(例えば1mm)の小さな領域をスキャンする。1つの実施形態において、スキャンは、試料320について決定されていた特定のフォーカスパラメータを用いて実行される。スキャンは、スライド(バックグラウンド蛍光)上に存在する任意の残留色素によって発せられる光をキャプチャするために、TDIラインスキャンカメラ205の最大露出時間において実行される。そのスキャンにおいて、各ピクセルのカラムについての平均の輝度は、正確な照明のプロファイルが計算できるように保証するように計算および確認がされて、次いで、シェーディング補正モジュール325は、各々のピクセルのカラムの平均の輝度と、画像に存在する最大の平均の輝度と比較することによって照明の補正プロファイルを計算する。このプロファイルは、蛍光スキャニングシステム40によってスキャンされる各蛍光色素(すなわちチャネル)に対して計算される。
ストライプ調整モジュール330は、TDIラインスキャンカメラ205によってキャプチャされた画像データの隣接するストライプを並べるように動作する。1つの実施形態において、電動式ステージ255の高精度のXYの精密さにより、画像データの各ストライプは、結果としての単一のファイルのデジタルスライド画像において、その隣接の画像と接することができる。ステージ255の高精度のXYの精密さは、それゆえ、画像データのコンテンツの分析に依存した、任意のソフトウェアが実施するアライメントを必要とすることなく、十分にアライメントされた隣接のストライプを提供する。このことは、生じる蛍光試料230について、画像データのストライプのソフトウェアベースのアライメントに関する特定の問題を解決する。なぜならば、蛍光試料の画像データは、通常は、隣接のストライプの重複領域において、十分なコントラストを含まず、蛍光試料の画像データのストライプのソフトウェアベースのアライメントを可能にするからである。
代替の実施形態において、スキャニングシステム40は、蛍光試料画像データにおける十分なコントラストが存在する場合、ストライプのソフトウェアベースのアライメントを用いる。この実施形態において、隣接するストライプのアライメントは、隣接のストライプの重複領域における最も高いコントラストを有するように決定された特定数のピクセルに基づいては決定されない。その代わり、ストライプ調整モジュール330は、隣接するストライプの重複領域全体のコントラスト分布を計算する。ストライプ調整モジュール330は、次いで、重複領域のコントラスト分布におけるコントラストのピークを特定して、そのコントラストのピーク周囲の帯域を規定する。最適なストライプ調整は、コントラストのピーク周囲の帯域に対応するピクセルに基づいて決定される。有利にも、過飽和のピクセルは、コントラスト分布を計算する場合、無視される。
さらに、マルチチャネルの蛍光試料230について、隣接するストライプ間の最適なストライプのアライメントは、各チャネルについて計算可能であり、最も強いアライメントを提供するチャネルが利用可能である。有利にも、様々なチャネルに対応するストライプからの画像データはデジタルスライド画像に結合されるので、隣接するストライプ間のたった1つのチャネルのアライメントが必要とされる。さらに、ストライプ調整モジュール330は、一度、スキャニング方向に対して垂直の方向においてストライプ調整を計算する。これは、画像データキャプチャの始まりと組み合わせて、ステージ225の高精度のXYの精密さに基づいて計算され、これは、全てのチャネルに対して同じであるべきである。
データ管理モジュール335は、TDIラインスキャンカメラ205によって生成されるマルチチャネル画像データ、関連の画像データ、およびメタデータ情報を管理するように動作する。まず、明視野デジタルスライド画像と同様に、蛍光デジタルスライド画像スキャンは、単一のデジタルスライド画像ファイルに保存可能である。試料230が複数のZレベルにおいてスキャンされる場合、様々なZレベルの各々についての画像はまた、デジタルスライド画像ファイルへと組み込まれる。
さらに、蛍光スキャンは通常、複数のチャネルからの画像データを含み、各々のチャネルは、同じ試料230に関連するので、単一のデジタルスライド画像ファイルにマルチチャネル画像データを格納することは有利である。さらに、関連するサブ画像データおよび機器取得設定に関連するメタデータ、画像データ記述子、ならびに、デジタルスライド画像ファイルにおける試料情報を格納することもまた有益である。さらに、任意の公知の、またはスキャン時間が計算された、画像間の関係もまた、デジタルスライド画像ファイルに格納可能である。
関連するサブ画像は、スライドラベルの画像(例えばバーコード)、スライド全体のマクロ画像、および取得された画像のサムネイルを含んでよい。機器取得設定に関連するメタデータは、露出時間、フィルタ仕様、光源仕様、および較正情報を含んでよい。画像データ記述子に関連するメタデータは、画像ピクセルの輝度の分布、自動的に決定される関連領域および非関連領域、コントラスト分布等の画像特性、周波数特性、メリットのある構造および形状を含んでよい。試料情報に関連するメタデータは、組織の種類、および調合品、ならびに標的となる生物学的特性を含んでよい。画像間の関係とは、移動および画像の回転についてのデータを含む。
1つの実施形態において、蛍光デジタルスライド画像ファイルは、タイル状の複数層画像として構造化され、格納される。ベース層は、元々のスキャン分解能であり、以降の層は、画像ピラミッドを形成するサブサンプリングされた分解能である。各層は1つ以上のタイルからなり、1つの層の各タイルは、ディスクおよびメモリの利用を改善し、ファイル転送速度およびネットワーク画像サービング速度を改善するために、可逆圧縮アルゴリズムまたは非可逆圧縮アルゴリズムで圧縮可能である。
マルチチャネルデジタルスライド画像については、ベース層および各々のその後の層が、各チャネルに対して画像データを含む。例えば、4つのチャネルデジタルスライド画像は、四象限へと分けられるベース層を有し、ここで、各象限は、その四象限の1つにおいて、試料230の完全な画像を含む。
デジタルスライド画像は、データ格納領域、例えば、スキャニングシステム40のデータ格納領域45、または画像サーバシステム50のデータ格納領域55内に格納される。1つの実施形態において、データ管理モジュール335は、付随する患者、標本、およびスライドに対して、スキャンされた画像を、各々を項目にして記し、また、格納されたデジタルスライド画像に関連する定量分析の結果を記録してもよい。データ管理モジュール335はまた、格納された情報の全てをユーザに提供してもよく、ならびに、データを共有させるために、インターフェースに、病院の情報システムおよび研究室の情報システムを提供してもよい。
代替の実施形態において、別個のデジタルスライド画像は、標本230がスキャンされた各チャネルに対して生成可能である。このような実施形態において、関連するデジタルスライド画像ファイルを参照するセカンダリファイルが生成される。セカンダリファイルは、画像間の関係ならびに、視覚化の好みおよび調節(以下で記載する)を含む。このセカンダリファイルは、融合画像(fused image)と呼ばれる。
視覚化および分析モジュール340は、蛍光デジタルスライド画像ファイルの閲覧および分析を容易にするように動作する。各々の蛍光デジタルスライド画像は、様々な別個のチャネルの各々において閲覧可能であり、および/または、融合画像として閲覧可能であり、ここで、様々な別個のチャネルからの画像データは、2つ以上のチャネルを含む試料を単一の閲覧となるようにオーバーレイされる。デジタルスライド画像が閲覧される場合(別個または融合されたチャネルにおいて)、試料230全体の画像は、リアルタイムでの画像ナビゲーション、回転、ズーミング、拡大、およびZレベルの深度トラバースに利用可能である。
1つの実施形態において、複数の蛍光色素のチャネルは、それらを並べて配置することによって、または、格子状に並べることによって同時に閲覧されてもよい。有利には、画像は、同期したナビゲーションを有効にするように登録される。例えば、4つのチャネルスキャンは、四象限のレイアウトにおいて配置されてよい。1つの実施形態において、1つの画像をズーミングすることにより、4象限全てが同様にズームする。さらに、パンニング(panning)が1つの象限にあるのであれば、例えば、パンは4象限全てにある等となる。
明るさ、コントラスト、ガンマ、着色等の画像閲覧調整は、格納された画像記述子および取得設定を用いて自動的に決定される。1つの実施形態において、閲覧調整は、ユーザにより、個々の画像および/または融合画像(すなわち、2つ以上の個々のチャネル画像が結合した画像)に対して、ユーザステーション30において、なされることができる。さらに、融合画像を閲覧する場合、相対的な移動および回転の補正が調整されてよい。
インタラクティブ画像の探索ツールもまた、細胞学的なベースにおける蛍光反応に即座にアクセスするために、デジタルによる視覚化および分析モジュール340によって可能にされる。さらに、所定の関連領域は、ユーザに対して、有意味の生物学的反応を示すか、または自動的に、定量的に分析をするために、ユーザステーション30において、表示されることができる注釈を含んでよい。さらに、視覚化および分析モジュール340は、ユーザステーション30のユーザに、関連領域に注釈を付け、次いで、ベース層画像に関連するデジタルスライド画像ファイル内にその注釈を格納するためのツールを提供してよい。有利にも、そのような注釈は、画像内のドキュメントのアーチファクト、画像内の関連領域へと案内するのに有益であるか、または、報告の分析または定量的な分析のための画像の領域を特定するのに有益であってよい。
さらに、視覚化および分析モジュール340は、コンテンツベースの画像検索技術を用いた類似の画像データまたはパターンを位置づけるために、あらかじめ決められた、もしくは、そうでなければ、特定済みの画像特性を利用してよい。有利にも、このユーティリティは、ユーザステーション30のユーザに、関連のケース情報および画像データを提供することができる。
1つの実施形態において、クライアント−サーバのアーキテクチャにより、ユーザステーション30のユーザは、必要な場合に応じて、特定のピラミッドレベルにおいて、圧縮された画像タイルをリクエストすることによって、かつ、ユーザリクエストを見越して、クライアント側でのタイルのキャッシングを行うことによって、画像サーバシステム50またはスキャニングシステム40に位置付けられた蛍光デジタルスライド画像を閲覧することができる。
デジタルの視覚化および分析モジュール340は、さらに、蛍光デジタルスライド画像のスライドの定量分析全体を容易にするように動作し、その画像は象限のスタイルの画像または融合のスタイルの画像である。1つの実施形態において、デジタルの視覚化および分析モジュール340は、デジタルスライド画像全体の代わりに、特定の関連領域の定量分析を容易にすることができる。分析結果は、データ管理およびデータ報告と共に利用するためのデータ格納領域45、55、25、または35等のデータ格納領域内に格納できる。
図4は、本発明の実施形態に係る蛍光スキャナシステムにおけるマクロフォーカスのための例示的なプロセスを示すフロー図である。図示のプロセスは、図1から図3に関連して以前に記載された蛍光スキャニングシステム40によって実施可能である。特に、蛍光デジタルスライド画像生成とは対照的に、明視野のデジタルスライド画像生成においては、ラインスキャンカメラは単一の固定された露出時間で動作する。しかしながら、試料(明視野にあるように)によってブロックされる光の代わりに、試料から発せられる光を感知することによって蛍光スキャニングシステム40は作動し、かつ、発せられる光の量は、1つのスライドからその次のスライドで数桁程度も変わることがあり得るので、蛍光デジタルスライド画像生成において、全てのスライドにフォーカスを合わせるための単一の固定された露出時間を用いることは可能ではない。さらに、前もって格納されている露出時間を常に用いることはできず、または、自動露出調整アルゴリズムを用いて一度計算されたものを常に用いることもできない。というのも、そのアルゴリズムが正確な結果を出すことができる前に試料にフォーカスが合っていることを自動調整アルゴリズムが必要とするからである。結果として、蛍光デジタルスライド画像生成において、最適な露出時間が有利にも決定され、同時にマクロフォーカスも行われる。
従って、マクロフォーカスが開始された場合、TDIラインスキャンカメラ205は、ステップ400に示すように、最初の固定された露出時間を用いて開始される。次に、ステップ405において、対物レンズ225は、その範囲の一端から他端(例えば、底部から上部)へスイープされる。ステップ410に示すように、この対物レンズのスイープからの画像データは、データ格納領域(例えば画像バッファ)にキャプチャされ、次いで、ステップ415において、画像データが適切に露出されているかどうかが決定される。
例えば、対物レンズを上方へスイープする間に、TDIラインスキャンカメラ205は、初期のライン速度(すなわち一定の露出時間)でデータをキャプチャし、画像データの結果としてのラインはデータ格納領域(例えば2次元画像バッファ)に格納される。2次元画像バッファにおける画像データの各ラインはピクセルの単一の列であり、その対物レンズは試料から離れた異なる距離にある。TDIラインスキャンカメラ205は、一定の露出時間においてラインをキャプチャするので、スイープ中の対物レンズ225の速度は連続したライン間の距離の量を決定する。従って、画像バッファの上側のラインは、その対物レンズが試料230から最短の距離にあるときに見られるのと同じような、試料230の画像であり、画像バッファの底側のラインは、その対物レンズが試料230から最長の距離にあるときに見られるのと同じような、試料230の画像である。
第1のスイープからの画像データがステップ410においてキャプチャされた後、その画像データが過飽和であるのか、または飽和以下(すなわち、露出された場合、ライン速度が適切であることを意味する)であるのかを決定するために、ステップ415において、その画像データが、自動調整アルゴリズムを介して通過される。画像データが十分に露出されない場合、露出時間は、ステップ420において、例えば、ライン速度を2倍にするか、または半分にすることによって、調整される。次いで、このプロセスはステップ405に戻り、ここで、対物レンズのスイープが再び実行されて、画像データがキャプチャされる。このプロセスは、それがステップ415において、画像データが十分に露出されると決定されるまで、数回の繰返しを介してループしてよい。
いったん、画像データが、ステップ415において十分に露出されていると決定されると、その画像データは、ステップ425に示すように、最も高いフォーカスのスコアを決定するように処理される。1つの実施形態において、画像バッファにおいて、ピクセルの各列がスコア付けされ、最も高いコントラストを有する画像データは、最も高いフォーカスのスコアを有するように決定される。従って、対物レンズのための適切なフォーカスの高さは、最も高いフォーカスのスコアを有する画像バッファにおけるピクセルの列を決定することによって決定される。1つの実施形態において、最も高いフォーカスのスコアが所定の閾値を満たすか、または超過する場合、マクロフォーカシングのプロセスが、第1のスイープとは反対の方向における、対物レンズについての第2のスイープの間、継続する。
有利にも、反対方向に対物レンズをスイープし、かつ、フォーカススコアのプロセスを繰返し、次いで、各々の対物レンズのスイープから、最も高いフォーカススコアの対物レンズの高さを平均化することで、TDIラインスキャンカメラ205を用いることによって導入されるバイアスを取り除く。従って、ステップ430において、対物レンズ225は、その範囲の一端から他端(例えば、上部から底部)へスイープされる。ステップ435に示すように、この対物レンズのスイープからの画像データは、データ格納領域(例えば画像バッファ)にキャプチャされ、次いで、ステップ440において、画像データが適切に露出されているかどうかが決定される。画像データが十分に露出されていない場合、次いで、このプロセスは、ステップ445を介してループし、このステップにおいて、ステップ440において決定されたように、ライン速度は調整され、十分に露出された画像データがキャプチャされるまで繰り返される。十分にフォーカスが合った画像データがいったん取得されると、その画像データは、ステップ450に示すように、最も高いフォーカスのスコアを決定するために分析される。
明視野のデジタルスライド画像化を用いて生成されたデジタルスライド画像について最も高いフォーカススコアを決定する場合、そのフォーカススコアは以下の式を用いて計算することができる。
ここでpは指数xにおけるピクセルの輝度である。しかしながら、蛍光デジタルスライド画像化を用いて生成されるデジタルスライド画像について最も高いフォーカススコアを決定する場合、その式は、その画像の遷移領域についてより高いスコアの結果となり、ここでその画像はちょうどフォーカスが合い始めるところである。なぜならば、遷移領域に存在するピクセルの輝度の間での多くの数の小さな差異が、その試料において最適にフォーカスが合っている画像の領域に存在するピクセルの輝度の間での少数の大きな差異よりも上回るからである。従って、従来の明視野のフォーカスのスコア付けは、蛍光デジタル画像上では利用できない。
蛍光スキャニングシステム40によって生成されるデジタル画像は、しかしながら、それらがさらにフォーカスが合うにつれて、より高い輝度を有する傾向がある。従って、蛍光画像に用いられるフォーカスのスコア付けの式は以下のようになる。
ここでpは指数xにおけるピクセルの輝度である。有利にも、ピクセルの輝度における差異が、この式におけるピクセルの輝度によって重み付けられるので、そして、蛍光デジタル画像におけるフォーカスと輝度との間の相関に起因して、蛍光デジタル画像のフォーカスのスコア付けのためのこの式を用いることで、フォーカス画像データにおいてさらに表れるより高いピクセルの輝度が最も高いフォーカススコアを有することとなる。スコア付けする前にデジタル画像からのノイズをフィルタリングするなどのさらなる操作もまた用いられてもよく、これにより性能を改善し、かつ誤検出を取り除き、例えばこうした誤検出は、試料が存在しない領域にフォーカスを合わせようとする場合などに生じ得るものである。
最も高いフォーカスのスコアがステップ450においていったん決定されると、第1のスイープについての最も高いフォーカススコアでの対物レンズの高さおよび第2のスイープについての最も高いフォーカススコアでの対物レンズは、次いで、ステップ455に示すように、最適なフォーカスの高さを決定するために平均化される。
有利にも、ステップ(405、410、415、420)および(430、435、440、445)に関して上述した露出調整のみが、マクロフォーカスの動作の間に行われる必要がある。蛍光スキャニングシステム40が、試料230のトポグラフィを決定し、かつフォーカスマップを生成するために、個々のXYフォーカス点にフォーカスを合わせる場合、スキャニングシステム40は、マクロフォーカス動作によって決定された露出率を用いる。
図5は、本発明の実施形態に係る蛍光スキャナシステムにおけるオートフォーカスのための例示的プロセスを示すフロー図である。図示したプロセスは、図1から図3に関連して前述した蛍光スキャニングシステム40によって実施可能である。上述のように、蛍光試料230を迅速にスキャンした場合に、対物レンズを誘導するために後に用いることができるフォーカスマップを生成するために、試料230の上において複数のフォーカス点を決定する場合、空間的曇りおよび時間的曇りは、特定の困難をもたらすものとなる。
まず、試料230上の一連のXY点が、フォーカスマップを生成することにおいて使用するために特定される。ステップ470において、スキャニングシステム40は、対物レンズを、第1のXYフォーカス点に移動させる。1つの実施形態においては、XY平面において物理的に移動して、対物レンズの下に第1のXYフォーカス点を配置させるのは電動式ステージ255である。次に、ステップ475において、対物レンズは、その移動範囲全体、例えば、その最も低い点からその最も高い点までスイープする。対物レンズがその最も低い点からその最も高い点まで上へと移動するにつれて、画像データは、ステップ480において、データ格納領域(例えば画像バッファ)へキャプチャされる。完全なスイープから画像データがキャプチャされた場合、ステップ485において、最も高いフォーカススコアを有する画像データのラインを決定することがスコア付けされる。データの特定の最も高いフォーカスのスコアラインがキャプチャされた場合、対物レンズの高さが特定され、格納される。
次に、ステップ490において、第1のスイープとは反対の方向において、例えば、その最も高い位置からその最も低い位置へと、その移動の全範囲に亘って、対物レンズがスイープする。対物レンズがその最も高い点からその最も低い点へと移動するにつれ、画像データは、ステップ495において、データ格納領域(例えば画像バッファ)へとキャプチャされる。完全なスイープからの画像データがキャプチャされた場合、ステップ500において、最も高いフォーカスのスコアを用いて画像データのラインを決定することがスコア付けされる。データの特定の最も高いフォーカスのスコアラインがキャプチャされる場合、対物レンズの高さが特定されて格納される。ステップ505において、データの、上方へのスイープでの最も高いフォーカスのスコアラインについての対物レンズの高さ、およびデータの下方へのスイープでの最も高いフォーカスのスコアラインについての対物レンズの高さが平均化される。この平均の高さは、次いで、フォーカスマップを生成することにおいて用いられるXYフォーカス点についての対物レンズの高さであると決定される。
図6は、本発明の実施形態に係る蛍光スキャナシステムにおいて、最適なオートフォーカスライン速度を決定する例示的なプロセスを示すフロー図である。図示したプロセスは、図1から図3に関連して前述した蛍光スキャニングシステム40によって実施可能である。さらに、図示したプロセスを用いて最適な露出時間を決定することはまた、エリアスキャンカメラを利用した従来の画像角度調節システムによって実施可能である。上述したように、蛍光デジタルスライド画像化は、試料230から発せられた光をキャプチャし、その発せられた光の強さはスライドからスライドにかけて、数桁も変化し得るので、試料230のスキャニングおよびデジタル化の間に、その発せられた光をキャプチャするための最適な露出時間を決定することが必要である。さらに、蛍光デジタル画像化における飽和ピクセルは特定の問題を提示する。なぜならば、それらのピクセルは、他のピクセルよりも明るく、それゆえ、結果としての画像データにおいては意味がない。というのも、それらは、飽和していないピクセルとの線形相関を有さず、結果として、正確なデータを生じないからである。定量分析のために用いられるデジタル画像を生成する場合、飽和している画像におけるピクセルの数を限定することが重要である。従って、特定の試料230のための最適な露出時間を決定する場合、飽和したピクセルの数を限定することが重要である。
さらに、特定の試料230のための最適な露出時間を決定する場合、結果としても画像のダイナミックレンジを最大化することもまた重要である。なぜならば、露出の足りない画像は、特定可能にするピクセルの輝度における十分な違いを提供しない場合がある。従って、蛍光スキャナシステムにおける最適な自動露出ライン速度を決定することは、飽和を最小にして、ピクセルの強度を最大化する必要がある。
図6に示すプロセスにおいて、まず、試料230が焦点を合わせていない場合には、ステップ530に示すように焦点が合わせられる。試料に焦点を合わせることは、図4または図5、あるいはそれら両方に関して前述したプロセスによって達成されてよい。試料230にいったん焦点が合うと、ステップ535において、試料230の小さな領域は、最初のライン速度(すなわち露出時間)において特定され、かつスキャンされ、スキャンからの画像データは、ステップ540に示すように、データ格納領域(例えば画像バッファ)に格納される。例えば、試料230の小さな領域は、約1mm×1mmであってよく、用いられる初期のライン速度は、ステップ530の焦点プロセスにおいて決定可能である。
次に、ステップ545からステップ560において、画像バッファにおいてキャプチャされるスキャンされた画像についての最適な露出時間が決定され、そのライン速度がそれに従って調節される。試料230の小さな領域をスキャンし、最適な露出時間を決定し、ライン速度を調節するプロセスは、キャプチャされたピクセルの輝度のレベルが最も高くなる(ピクセルの最小の飽和を有して)まで、次いで繰り返す。ライン速度は、蛍光試料230のデジタルスライド画像を生成する場合に、最適な露出時間についての最適なライン速度として、ステップ565において特定される。
有利にも、蛍光試料230によって発せられた光の強さは、ポアソン分布に近似し、かつ飽和していないカメラセンサは、センサに当たる光の量に関して線形であるので、画像バッファにおいてキャプチャされる画像データのヒストグラムもまたポアソン分布に近似する。さらに、最適なライン速度(すなわち最適な露出)の第1の対物レンズは、飽和したピクセルの数を限定するので、ヒストグラムの下り方向のスロープのみが考慮される。
従って、スキャニングシステム40は、ヒストグラムにおける各々のゼロではない値が、2を底とする対数をとる事によって測られるように、指数関数的減衰関数としてのヒストグラムの分布を扱い、その結果、ステップ545に示すように、ラインセグメントに近似する、対数的に測られたヒストグラムとなる。次に、線形回帰分析が、その測られたヒストグラム上で行われ、負のスロープを有する線形の傾向線を生じ、ヒストグラムと強度の軸との交点は、ステップ550に示すように、その傾向線のx切片に位置付けられることによって求められる。x切片は、この輝度を有するピクセルの数がゼロであり、傾向線およびy切片のスロープを用いて求められる。
ヒストグラムと輝度の軸との交点が、スキャンされた画像データについていったん求められると、TDIラインスキャンカメラ205の飽和点を僅かに下回るピクセル強度を示す最適値と比較される。その画像データがTDIラインスキャンカメラ205の飽和点の特定の(例えばユーザが構成可能な)許容範囲内にある場合、ステップ555において求められるように、その画像は十分に露出されたと考えることができ、現在のライン速度は、ステップ565に示すように、最適な露出時間/最適なライン速度として特定される。その画像データがTDIラインスキャンカメラ205の飽和点の特定の許容範囲内にない場合、最適なピーク強度と実際のピーク強度との比が計算され、ステップ560において、TDIラインスキャンカメラ205の露出時間(すなわち、ライン速度)がその比を用いて調節される。最適なライン速度が特定されるまでこのプロセスは次いで繰り返される。
図7は、本発明に係るシェーディング補正のために画像を獲得する例示的なプロセスを示すフロー図である。図示したプロセスは、図1から図3に関連して上述した蛍光スキャニングシステム40によって実施可能である。有利にも、蛍光デジタルスライド画像のシェーディング補正は、ストライプのエッジ上の最小のシェーディングアーチファクトを有する画像を獲得するのに必要である照射光(例えばロールオフによって)の損失を補う。従って、デジタルスライド画像へとスキャンされる試料230について照射のプロファイルを決定することは有利である。照射のプロファイルは、蛍光試料230を有するスライドのバックグラウンド蛍光に基づいて決定される。照射光のプロファイルは、スライドのカバースリップの下の透明点を利用して決定可能である。好ましくは、この透明点は、任意の蛍光の標識付けされた試料230を含まないスライドの領域内にある。従って、バックグラウンド蛍光から獲得された光のプロファイルは、照射光のロールオフを補うために用いることができる。
まず、ステップ580において、試料230の画像は焦点が合わせられる。これは、前述のマクロフォーカスまたはオートフォーカスのプロセスによって達成可能である。1つの実施形態において、ステップ580において、少なくとも3つのフォーカス点が試料230上で特定される。試料230の照射のプロファイルは、フォーカスに基づいた試料230上の対物レンズ225の高さに依存して様々である。
次に、ステップ585において、最初のライン速度が最も低い値で設定され、試料230の小さな領域がステップ590においてスキャンされ、その結果としてのデジタル画像データがデータ格納領域に格納される(例えば画像バッファ)。スキャン領域のサイズは様々であってよい。可能な限りで最も高い露出時間についての最初のライン速度を設定することは有利である。なぜならば、背景の材料はしばしば蛍光発光が低いからである。次に、ステップ595において、画像データの平均強度が計算される。その平均の強度が特定の範囲内ではない場合、ステップ600において決定されるように、ライン速度は、ステップ605において調整され、そのプロセスは、試料230の小さな領域を再スキャンするために繰り返す。
1つの実施形態において、調節されたライン速度は、以前のライン速度を用いて、ステップ595において計算された平均強度の線形のマッピングに基づいて選択される。有利にも、その調整されたライン速度は、最小の許容可能な平均強度を生じるライン速度と、最大の許容可能な平均強度を生じるライン速度との間にある。
その平均の強度は、特定の範囲(例えば、ユーザが構成可能な範囲)内にある場合、ステップ610に示すように、試料230のシェーディング補正のための光のプロファイルが生成される。1つの実施形態において、10ビットモードで画像をスキャンする場合、許容可能な特定の平均の強度範囲は80〜600である。有利にも、平均の強度が特定の範囲にあることを決定することは、飽和した画像を棄却し、他方でまた、TDIラインスキャンカメラ205のノイズレベルよりも高い平均ピクセルの強度を有するローエンドの画像をも含む。
1つの実施形態において、ステップ610において生成されるシェーディング補正のための光のプロファイルは、スキャニング中の照射光を補うために用いられる。例えば、ピクセル補正係数は、光のプロファイルに基づいて決定可能である。光のプロファイルは、そのプロファイルの中央に通常現れる最も明るいピクセル値へと正常化され、次いで、係数またはピクセルの移動量(multiplier)が、TDIラインスキャンカメラ205の視野内の全てのピクセルに対して計算される。上述のシェーディング補正は、試料230の全てのチャネルに対して有利に実行可能である。
代替の実施形態において、シェーディング補正が点のついた画像を生成する場合には、異常値棄却のアルゴリズムが用いられる。これは、試料230上のクリアな場所(すなわち蛍光色素のない領域)に位置することが不可能、または非常に困難である場合に有用である。異常値棄却のアルゴリズムは、有利にも、各カラムのピクセル値の平均を超えるピクセルを棄却することによって、シェーディングの補正された画像におけるアーチファクトを除外する。1つの実施形態において、平均のピクセル値よりも20カウントも高いピクセルが棄却される。
図8は、本発明に係る例示的なスキャニングのワークフローのプロセスを示すフロー図である。図示したプロセスは、図1から図3に関して前述した蛍光スキャニングシステム40によって実施可能である。まず、ステップ650において、スキャニングシステムおよびその励起フィルタならびに発光フィルタ/ターレットは、デジタルスライド画像へとスキャンされる試料230の種類、および試料230がマーキングされ得る様々な蛍光色素に従って構成される。1つの実施形態において、このような構成は、システムコンソールまたは遠隔操作ステーションを通じて達成可能である。さらに、励起フィルタおよび発光フィルタ/ダイクロイックミラー、ならびにフィルタホイールまたはターレット上でのそれらの相対位置がステップ650において特定される。
次に、ステップ655において、試料が運ばれる。これは、試料がスキャニングシステム40へと配置される顕微鏡スライドに配置することを含むことができる。試料が運ばれた後、試料のマクロ画像がステップ660において、例えば、図2に関して前述したプロセスを用いて獲得される。次に、マクロ画像は、ステップ665に示すように、シェーディング補正点を特定するために分析され、かつ、ステップ670において示すように、組織を含むスライド上における領域を決定するために分析される。次いで、ステップ675において、試料230上の様々な蛍光色素が特定されて、様々な傾向色素に対応する様々なチャネルにおいて、試料230をスキャンするために、励起フィルタおよび発光フィルタの正確な組合せに相関させられる。
蛍光スキャニングにおける困難性の1つは、各チャネル(すなわち各蛍光色素)についての最適な露出時間の特定であるので、図6に関連して前述したように、このスキャニングのワークフローは自動的に、各チャネルについて、最適な露出時間を特定する。従って、ステップ680において、自動露出プロセスが開始され、チャネルの数が決定される。ステップ685において、自動露出プロセスが行われる。自動露出は、全てのチャネルにおいて自動的に実行されてもよく、または、1つのチャネルにおいて実行されてもよい。
ステップ690およびステップ720において、オペレータは、自動露出の結果を許可するように従事してよく、かつ、全てのチャネルが処理され、各チャネルに対して決定された有効な露出時間を確認してもよい。あるいは、スキャニングシステム40は、最適な露出時間が、オペレータの入力無しで、各チャネルに対して計算されるまで、ステップ690からステップ720までの自動的に進めてもよい。
自動露出プロセスが完結し、各チャネルに対する最適な露出時間がいったん決定されると、ステップ725において、スキャニングシステム40は、試料230上に一連のセットのXYフォーカス点を特定する。ステップ730において、スキャニングシステムは、そのセットにおける各XYフォーカス点を訪れ、そのXYフォーカス点の各々において、最適なフォーカスの高さを決定する。次いで、これらのフォーカス点(XY位置および最適なフォーカスの高さを含む)は、組み合わされて、試料230の表面を覆うフォーカスマップを生成する。次いで、ステップ735において、シェーディング補正情報がチャネルの各々について決定される。
フォーカスマップが生成され、シェーディング補正情報が決定された後、スキャニングシステム40は、ステップ740に示すように、各チャネルにおいて、試料230のスキャンを開始する。各チャネルに対するスキャンによって生成されたデジタル画像データは、ステップ745においてデータ格納領域に格納され、次いで、チャネルの全てについて画像データを有するデジタルスライド画像がステップ750において生成される。最後に、蛍光デジタルスライド画像はデータ格納領域に格納される。
1つの実施形態において、オートフォーカスは、フォーカス点およびフォーカスマップ情報が、特定のストライプがスキャンされる直前にその特定のストライプに対して生成されるように、スキャニングのプロセスとインターリーブすることができる。さらに、オートフォーカスは、単一のチャネルに対してなされることができ、または、各チャネルに対してなされることもできる。
モノクロのTDIラインスキャンカメラ205が蛍光スキャニングシステム40によって用いられるので、一度に1つのチャネルのみがスキャンされる。有利にも、電動式のフィルタホイールを使用することで、単一のストライプを、複数回を連続して、各チャネルに対して一度に、スキャンすることができる。言い換えれば、単一のストライプの各チャネルは、次のストライプへと移動する前にキャプチャされる。スキャニングシステム40は別個の励起フィルタおよび発光フィルタを用いるので、励起フィルタのみが回転する必要があり、上述の好ましいピンケル構成(複数帯域のフィルタキューブおよび単一の帯域の励起フィルタ)において、マルチチャネルの試料230を自動的にスキャンする。有利にも、次のストライプへ移動する前に、単一のストライプの各々のチャネルをスキャンすることで、結果としての画像データはチャネル全てに亘って最適に登録されることを保証する。さらに、フィルタ交換の数もまた、従来の画像角度調節システムと比較して最小にされる。あるいは、試料の一部または全てのチャネルが、単一の帯域の励起/発光フィルタおよびダイクロイックミラーを有する単一の帯域フィルタキューブを用いてスキャン可能である。スキャニングプロセスが継続すると、複数のモノクロのデジタルスライド画像が生成され、これは、試料上のチャンネル数に対応する。これらの画像は、単一のデジタルスライド画像ファイルに格納されるか、または、様々な別個の画像ファイルを関連付けるインデックスファイルと共に、別個の画像ファイルとして格納可能である。さらに、選択された擬似色を有する全てのチャネルの合成画像である融合画像が生成可能である。
本明細書において記載された蛍光スキャニングシステム40の様々な実施形態は、ハードウェアモジュールおよびソフトウェアモジュールの両方の組合せを用いて実施可能である。例えば、プログラミングされたソフトウェアモジュール、特定用途向け集積回路、またはフィールド・プログラマブル・ゲート・アレイが交換可能に利用でき、スキャニングシステム40の特定の機能的なモジュールを実施する。従って、本明細書において開示された図面および様々な実施形態の全てに関連して記載した様々な図示したモジュール、ブロック、およびステップが、ハードウェア、ソフトウェア、またはそれら2つの組合せとして実施可能であることを当業者は理解する。ハードウェアおよびソフトウェアのこの相互交換性を明確に図示するために、様々な図示によるモジュール、ブロック、およびステップが、それらの機能性に関して上述されており、そのような機能性がハードウェアまたはソフトウェア、あるいはそれらの2つの組合せであるのかどうかは、特定の用途およびシステム全体にかかる設計の制約に依存する。
当業者が、特定の設計制約の下で特定用途のために様々な方法において上述の機能性を実施可能である一方で、そのような実施の決定は、本発明の範囲から逸脱するものとして解釈されるべきではない。さらに、特定のモジュール、ブロック、またはステップ内の機能性のグループ化、あるいは、特定モジュール、ブロック、またはステップからの機能の除去は、本発明の範囲から逸脱することなく、当業者によって達成可能である。
開示された実施形態の上述の記載により、任意の当業者が、本発明をなす、または本発明を利用することができる。これらの実施形態に対して様々な修正が当業者に対して容易に明らかとなり、かつ、本明細書において記載された一般的な原理は、本発明の趣旨または範囲から逸脱することなく他の実施形態に適用可能である。このように、本明細書において提示された記載および図面は、本発明の様々な実施形態を表し、かつ、それゆえ、本発明に広範に予定されている主題を表していると理解される。本発明の範囲は、当業者に対して明らかとなり得る他の実施形態を十全に包含するものであり、かつ、本発明の範囲は、従って限定されるものではないことはさらに理解される。

Claims (10)

  1. 蛍光の試料の、隣接したデジタル画像を生成するためのコンピュータが実施する方法であって、1つ以上のプロセッサが以下のステップを実行するようにプログラミングされており、
    斜めからの照射を前記蛍光の試料に当てるステップと、
    斜めからの照射の下で、前記蛍光の試料のマクロ画像をキャプチャし、かつデータ格納領域において前記マクロ画像を格納するステップと、
    前記マクロ画像を分析して、前記蛍光の試料の少なくとも一部を含む領域を特定するステップと、
    前記試料のスキャンされた領域のヒストグラムに基づいて、時間遅延積分方式(TDI)のラインスキャンカメラを用いて、画像をキャプチャする間に使用するための最適なライン速度を決定するステップと、
    前記蛍光の試料上に、複数のフォーカス点を特定するステップであって、フォーカス点はX−Y位置および対物レンズの高さを含む、ステップと、
    前記複数のフォーカス点を含むフォーカスマップを生成するステップと、
    前記マクロ画像を分析して、前記蛍光の試料の少なくとも一部を含む領域を特定するステップの後に、前記最適なライン速度に従った前記TDIラインスキャンカメラを用いて前記蛍光の試料の少なくとも一部を含む特定された領域のデジタル画像をスキャンするステップと、
    複数のデジタル画像部分を、前記蛍光の試料の、隣接したデジタル画像へと組み合わせるステップと、を含み、
    前記試料のスキャンされた領域のヒストグラムに基づいて、前記最適なライン速度を決定するステップは、
    スキャンされた画像データを取得するために前記試料の領域をスキャンするステップと、
    前記スキャンされた画像データの対数ヒストグラムを算出するステップであって、前記対数ヒストグラムの輝度の軸は、前記スキャンされた画像データの輝度を表し、前記対数ヒストグラムの別の軸は、前記スキャンされた画像データの輝度におけるピクセルの数を表す、ステップと、
    前記対数ヒストグラムで線形回帰分析を行い、負のスロープを有する線形の傾向線を生じ、前記傾向線のx切片に位置付けられることによって前記対数ヒストグラムと前記輝度の軸との交点を求めるステップであって、前記x切片は、前記輝度を有するピクセルの数がゼロである強度を表す、ステップと、
    前記交点を最適値と比較するステップと、
    を前記スキャンされた画像データが、前記TDIラインスキャンカメラの飽和点の所定の許容範囲内となるまで露出時間を調節しながら繰り返し行う、
    方法。
  2. 前記蛍光の試料の少なくとも一部のデジタル画像をスキャンするステップは、
    第1の励起フィルタを用いて、第1の部分の蛍光の試料をスキャンして、前記蛍光の試料について第1のチャネルをキャプチャするステップと、
    第2の励起フィルタを用いて、前記第1の部分の蛍光の試料をスキャンして、前記蛍光の試料について第2のチャネルをキャプチャするステップと、をさらに含む、請求項1に記載の方法。
  3. 前記マクロ画像を分析して、前記蛍光の試料の少なくとも一部を含む領域を特定するステップは、前記マクロ画像のコントラストに基づいて前記蛍光の試料の輪郭を決定するステップを含む、請求項1に記載の方法。
  4. 前記マクロ画像のコントラストに基づいて前記蛍光の試料の輪郭を決定するステップは、前記蛍光の試料の外周を決定するための強度閾値に基づいて、組織であるもの又は組織ではないものとしての前記マクロ画像の各ピクセルを分類することを含む、請求項3に記載の方法。
  5. 前記蛍光の試料上に、前記複数のフォーカス点を特定するステップは
    微鏡試料上の前記複数のフォーカス点を特定するステップと、
    前記複数のフォーカス点のそれぞれについて、
    フォーカス点において前記TDIラインスキャンカメラとの光通信にて対物レンズを位置付けるステップと、
    前記TDIラインスキャンカメラを用いて、前記顕微鏡試料上の前記フォーカス点の第1の画像をスキャンし、他方でさらに、Z軸におけるその範囲の第1の端部から前記Z軸におけるその範囲の第2の端部へと、前記対物レンズをスイープするステップと、
    スキャンされた前記第1の画像を分析して、最も高いフォーカスのスコアを有するスキャンされた前記第1の画像の一部を特定するステップと、
    最も高いフォーカスのスコアを有するスキャンされた前記第1の画像の一部における第1の対物レンズの高さを決定するステップと、
    前記TDIラインスキャンカメラを用いて、前記顕微鏡試料上の前記フォーカス点の第2の画像をスキャンし、他方でさらに、前記Z軸におけるその範囲の前記第2の端部から前記Z軸におけるその範囲の前記第1の端部へと、前記対物レンズをスイープするステップと、
    スキャンされた前記第2の画像を分析して、最も高いフォーカスのスコアを有するスキャンされた前記第2の画像の一部を特定するステップと、
    最も高いフォーカスのスコアを有するスキャンされた前記第2の画像の一部における第2の対物レンズの高さを決定するステップと、
    前記フォーカス点に対して、前記第1の対物レンズの高さおよび前記第2の対物レンズの高さの平均を求めて、最適な対物レンズの高さを決定するステップと、を含む、請求項1に記載の方法。
  6. 最も高いフォーカスのスコアは、コントラストを用いて決定される、請求項5に記載の方法。
  7. 最も高いフォーカスのスコアは、ピクセルの輝度を用いて求められる、請求項5に記載の方法。
  8. 最も高いフォーカスのスコアは、コントラストとピクセルの輝度との組み合わせを用いて求められる、請求項5に記載の方法。
  9. 前記スキャンされた画像データの前記対数ヒストグラムを算出するステップは、前記対数ヒストグラムを生成するために、2を底とする対数をとることにより前記スキャンされた画像データのヒストグラムにおける各ゼロでない値を測るステップを含み、前記対数ヒストグラムは、ラインセグメントに近似する、請求項に記載の方法。
  10. 前記x切片の位置は、前記傾向線の傾き及び前記傾向線のy切片を用いて求められる、請求項に記載の方法。
JP2014054023A 2008-10-24 2014-03-17 スライド全体蛍光スキャナ Expired - Fee Related JP5698398B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10843108P 2008-10-24 2008-10-24
US61/108,431 2008-10-24

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2011533391A Division JP5643210B2 (ja) 2008-10-24 2009-10-23 スライド全体蛍光スキャナ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015025564A Division JP6100813B2 (ja) 2008-10-24 2015-02-12 スライド全体蛍光スキャナ

Publications (2)

Publication Number Publication Date
JP2014142657A JP2014142657A (ja) 2014-08-07
JP5698398B2 true JP5698398B2 (ja) 2015-04-08

Family

ID=42120014

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2011533391A Expired - Fee Related JP5643210B2 (ja) 2008-10-24 2009-10-23 スライド全体蛍光スキャナ
JP2014054023A Expired - Fee Related JP5698398B2 (ja) 2008-10-24 2014-03-17 スライド全体蛍光スキャナ
JP2015025564A Expired - Fee Related JP6100813B2 (ja) 2008-10-24 2015-02-12 スライド全体蛍光スキャナ

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2011533391A Expired - Fee Related JP5643210B2 (ja) 2008-10-24 2009-10-23 スライド全体蛍光スキャナ

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2015025564A Expired - Fee Related JP6100813B2 (ja) 2008-10-24 2015-02-12 スライド全体蛍光スキャナ

Country Status (4)

Country Link
US (2) US8743195B2 (ja)
EP (2) EP3764085A3 (ja)
JP (3) JP5643210B2 (ja)
WO (1) WO2010048584A2 (ja)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8055034B2 (en) * 2006-09-13 2011-11-08 Fluidigm Corporation Methods and systems for image processing of microfluidic devices
EP3764085A3 (en) 2008-10-24 2021-03-24 Leica Biosystems Imaging Inc. Whole slide fluorescence scanner
US20100157086A1 (en) 2008-12-15 2010-06-24 Illumina, Inc Dynamic autofocus method and system for assay imager
JP5499732B2 (ja) * 2009-06-23 2014-05-21 ソニー株式会社 生体サンプル像取得装置、生体サンプル像取得方法及び生体サンプル像取得プログラム
JP5672688B2 (ja) * 2009-10-23 2015-02-18 ソニー株式会社 合焦装置、合焦方法、合焦プログラム及び顕微鏡
CN103210338A (zh) * 2010-08-30 2013-07-17 三洋电机株式会社 观察装置、观察程序及观察系统
US9201234B2 (en) 2010-10-22 2015-12-01 William Gelbart Automated slide scanning system for a microscope
US8934718B2 (en) 2011-08-02 2015-01-13 Nec Laboratories America, Inc. Interactive analytics of digital histology slides
TW201315202A (zh) * 2011-09-30 2013-04-01 Smobio Inc 掃描裝置
JP6309459B2 (ja) * 2012-02-15 2018-04-11 ヘプタゴン・マイクロ・オプティクス・ピーティーイー・エルティーディーHeptagon Micro Optics Pte.Ltd. ストライプ照明の飛行時間型カメラ
ES2953897T3 (es) * 2012-05-02 2023-11-16 Leica Biosystems Imaging Inc Enfoque en tiempo real en imagenología de exploración lineal
EP2929420B1 (en) * 2012-12-06 2022-03-02 Leica Microsystems CMS GmbH Systems and methods for split screen display of a biological specimen and for capturing records thereof
JP2014178474A (ja) * 2013-03-14 2014-09-25 Sony Corp デジタル顕微鏡装置、その合焦位置探索方法およびプログラム
US10088658B2 (en) 2013-03-18 2018-10-02 General Electric Company Referencing in multi-acquisition slide imaging
JP6288650B2 (ja) * 2013-03-19 2018-03-07 国立研究開発法人理化学研究所 核酸配列決定用のフローセル
WO2014174919A1 (ja) 2013-04-26 2014-10-30 浜松ホトニクス株式会社 画像取得装置及び画像取得装置のフォーカス方法
HUE052489T2 (hu) 2013-04-26 2021-04-28 Hamamatsu Photonics Kk Képfelvevõ berendezés és eljárás és rendszer fókusztérkép elõállítására minta számára
CN105143954B (zh) 2013-04-26 2018-06-19 浜松光子学株式会社 图像取得装置、取得试样的对准焦点信息的方法以及系统
US9250431B2 (en) * 2013-09-05 2016-02-02 Excelitas Canada, Inc. Diffusing collection lens for direct coupled high power microscopy illumination systems
US9420207B2 (en) * 2013-11-06 2016-08-16 Thorlabs, Inc. Method for correcting images acquired via asynchronously triggered acquisition
JP2015125177A (ja) 2013-12-25 2015-07-06 ソニー株式会社 顕微鏡システムおよびその画像データ転送方法
JP6171970B2 (ja) * 2014-02-10 2017-08-02 ソニー株式会社 レーザ走査型顕微鏡装置および制御方法
JP6800845B2 (ja) * 2014-10-29 2020-12-16 ルーメンコア インコーポレイテッド 統合型蛍光スキャニングシステム
CN107076887B (zh) 2015-03-12 2021-07-06 皇家飞利浦有限公司 用于数字病理学扫描的光照单元
DE102016109945A1 (de) * 2015-11-05 2017-05-11 Leica Microsystems Cms Gmbh Mikroskop für die Durchlicht- und Fluoreszenzmikroskopie
US10277824B2 (en) * 2016-03-10 2019-04-30 Visbit Inc. Time multiplexing programmable field of view imaging
US10551608B2 (en) * 2016-03-24 2020-02-04 Molecular Devices, Llc Imaging system with ancillary image detector for sample location
WO2017163427A1 (ja) 2016-03-25 2017-09-28 オリンパス株式会社 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
LU93021B1 (de) 2016-04-08 2017-11-08 Leica Microsystems Verfahren und Mikroskop zum Untersuchen einer Probe
KR101856073B1 (ko) * 2016-10-04 2018-05-10 온스캔스주식회사 3차원 스캐닝 방법 및 그 장치
JP6423841B2 (ja) 2016-10-11 2018-11-14 浜松ホトニクス株式会社 試料観察装置及び試料観察方法
EP3538941A4 (en) 2016-11-10 2020-06-17 The Trustees of Columbia University in the City of New York METHODS FOR FAST IMAGING OF HIGH RESOLUTION LARGE SAMPLES
US10554899B2 (en) * 2016-12-16 2020-02-04 Goodrich Corporation HDR imaging
EP3563292A4 (en) 2016-12-30 2020-08-12 Leica Biosystems Imaging, Inc. LOW RESOLUTION SLIDE IMAGING AND SLIDE LABEL IMAGING AND HIGH RESOLUTION SLIDE IMAGING USING TWO OPTICAL PATHS AND A SINGLE IMAGING SENSOR
EP3605185B1 (en) * 2017-03-30 2022-12-21 FUJIFILM Corporation Observation device, observation control method, and observation control program
JP6993100B2 (ja) * 2017-04-27 2022-01-13 オリンパス株式会社 観察装置および観察方法
WO2019002281A1 (en) * 2017-06-28 2019-01-03 Ventana Medical Systems, Inc. CALIBRATION OF SYSTEM LEVEL
WO2019065144A1 (ja) 2017-09-29 2019-04-04 富士フイルム株式会社 観察装置、観察方法および観察プログラム
EP3625605B1 (en) 2017-09-29 2022-08-17 Leica Biosystems Imaging, Inc. Two-dimensional and three-dimensional fixed z scanning
CN111183385B (zh) * 2017-09-29 2022-04-08 徕卡生物系统成像股份有限公司 实时自动聚焦扫描
JP7009619B2 (ja) * 2017-09-29 2022-01-25 ライカ バイオシステムズ イメージング インコーポレイテッド 2回通過式マクロ画像
KR102419163B1 (ko) * 2017-09-29 2022-07-08 라이카 바이오시스템즈 이미징 인크. 실시간 오토포커스 포커싱 알고리즘
CN109874335B (zh) * 2017-10-02 2022-06-10 特励达数字成像有限公司 对线扫描相机进行同步的方法
US20190101553A1 (en) * 2017-10-04 2019-04-04 Leica Biosystems Imaging, Inc. Carousel for 2x3 and 1x3 slides
AU2018375358B2 (en) * 2017-11-28 2021-02-04 Leica Biosystems Imaging, Inc. Dual processor image processing
US11943537B2 (en) * 2017-11-30 2024-03-26 Leica Biosystems Imaging, Inc. Impulse rescan system
JP6856559B2 (ja) * 2018-01-23 2021-04-07 浜松ホトニクス株式会社 光測定装置及び光測定方法
IL264937B (en) * 2018-02-25 2022-09-01 Orbotech Ltd Range differences for self-focusing in optical imaging systems
CN109272575B (zh) * 2018-09-28 2022-06-28 麦克奥迪实业集团有限公司 一种提高数字切片扫描仪建模速度的方法
CN115903205A (zh) 2018-11-02 2023-04-04 豪洛捷公司 用于检视整个样本图像的系统
JP7348730B2 (ja) * 2019-02-22 2023-09-21 シスメックス株式会社 試料測定装置および試料測定方法
DE102019127775A1 (de) * 2019-10-15 2021-04-15 Carl Zeiss Microscopy Gmbh Lichtmikroskop und Verfahren zur Bildaufnahme mit einem Lichtmikroskop
WO2021159285A1 (zh) * 2020-02-12 2021-08-19 深圳华大智造科技股份有限公司 光学成像系统及应用所述光学成像系统的生化物质检测系统
CN112652360B (zh) * 2020-12-15 2024-10-18 苏州缔因安生物科技有限公司 一种数字pcr荧光信号获取方法、装置、设备及存储介质
CN114414545B (zh) * 2022-01-21 2024-03-05 江苏禹视科技有限公司 一种荧光扫描检测系统和方法
WO2024006284A1 (en) * 2022-07-01 2024-01-04 Illumina Cambridge Limited Multiband scanning and fiber bundle to enable reduced light source intensity and improved imaging quality
US20240035967A1 (en) * 2022-07-29 2024-02-01 Applied Materials, Inc. Time delay integration acquisition for spatial genomics imaging
WO2024031069A1 (en) * 2022-08-04 2024-02-08 Applied Materials, Inc. High-throughput spatial imaging system for biological samples
CN116400490B (zh) * 2023-06-08 2023-08-25 杭州华得森生物技术有限公司 荧光显微成像系统及其方法
CN116754565B (zh) * 2023-08-04 2024-04-26 哈尔滨工业大学 一种光学元件全口径表面微缺陷光致荧光检测用自动对焦检测方法

Family Cites Families (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3643015A (en) 1970-06-19 1972-02-15 Paul Davidovits Scanning optical microscope
US4926489A (en) 1983-03-11 1990-05-15 Kla Instruments Corporation Reticle inspection system
US4742558A (en) 1984-02-14 1988-05-03 Nippon Telegraph & Telephone Public Corporation Image information retrieval/display apparatus
DE3577355D1 (de) 1984-06-25 1990-05-31 Olympus Optical Co Mikroskop.
US4700298A (en) 1984-09-14 1987-10-13 Branko Palcic Dynamic microscope image processing scanner
US4672559A (en) 1984-12-26 1987-06-09 E. I. Du Pont De Nemours And Company Method for operating a microscopical mapping system
US4760385A (en) 1985-04-22 1988-07-26 E. I. Du Pont De Nemours And Company Electronic mosaic imaging process
US4673988A (en) 1985-04-22 1987-06-16 E.I. Du Pont De Nemours And Company Electronic mosaic imaging process
US4777525A (en) 1985-12-23 1988-10-11 Preston Jr Kendall Apparatus and method for a multi-resolution electro-optical imaging, display and storage/retrieval system
US4845552A (en) 1987-08-20 1989-07-04 Bruno Jaggi Quantitative light microscope using a solid state detector in the primary image plane
US4806015A (en) 1987-12-08 1989-02-21 Cottingham Hugh V Agglutination detection apparatus
US5740270A (en) 1988-04-08 1998-04-14 Neuromedical Systems, Inc. Automated cytological specimen classification system and method
JP2749069B2 (ja) 1988-04-26 1998-05-13 オリンパス光学工業株式会社 蛍光顕微鏡装置
JP2513862B2 (ja) 1988-10-11 1996-07-03 イー・アイ・デュポン・ドウ・ヌムール・アンド・カンパニー 走査型レ−ザ顕微鏡装置
US5067152A (en) 1989-01-30 1991-11-19 Information Technologies Research, Inc. Method and apparatus for vector quantization
US4960999A (en) 1989-02-13 1990-10-02 Kms Fusion, Inc. Scanning and storage of electrophoretic records
US4987480A (en) 1989-07-11 1991-01-22 Massachusetts Institute Of Technology Multiscale coding of images
US5086477A (en) 1990-08-07 1992-02-04 Northwest Technology Corp. Automated system for extracting design and layout information from an integrated circuit
JP2991483B2 (ja) 1990-11-27 1999-12-20 日本分光工業株式会社 顕微鏡イメージマッピング装置及び方法
US5784162A (en) 1993-08-18 1998-07-21 Applied Spectral Imaging Ltd. Spectral bio-imaging methods for biological research, medical diagnostics and therapy
US5231663A (en) 1991-03-18 1993-07-27 Earl Joseph G Image processing system
US5185638A (en) 1991-04-26 1993-02-09 International Business Machines Corporation Computer controlled, multiple angle illumination system
US5187754A (en) 1991-04-30 1993-02-16 General Electric Company Forming, with the aid of an overview image, a composite image from a mosaic of images
KR960007481B1 (ko) 1991-05-27 1996-06-03 가부시끼가이샤 히다찌세이사꾸쇼 패턴검사방법 및 장치
US5790710A (en) 1991-07-12 1998-08-04 Jeffrey H. Price Autofocus system for scanning microscopy
JPH0576005A (ja) 1991-09-13 1993-03-26 Nikon Corp 画像入力装置
US5172228A (en) 1991-11-19 1992-12-15 Utah State University Foundation Image compression method and apparatus employing distortion adaptive tree search vector quantization
US5495535A (en) 1992-01-31 1996-02-27 Orbotech Ltd Method of inspecting articles
US5912699A (en) 1992-02-18 1999-06-15 Neopath, Inc. Method and apparatus for rapid capture of focused microscopic images
US5448399A (en) 1992-03-13 1995-09-05 Park Scientific Instruments Optical system for scanning microscope
JPH05264221A (ja) 1992-03-17 1993-10-12 Fujitsu Ltd 半導体露光装置用マーク位置検出装置及びこれを用いた半導体露光装置用位置合わせ装置
JPH05316302A (ja) 1992-05-13 1993-11-26 Minolta Camera Co Ltd 画像入力装置
JP3275368B2 (ja) 1992-07-09 2002-04-15 株式会社ニコン 露光方法及び装置
US5650813A (en) 1992-11-20 1997-07-22 Picker International, Inc. Panoramic time delay and integration video camera system
US5633948A (en) 1992-11-30 1997-05-27 Kegelmeyer, Jr.; W. Philip Method and apparatus for detecting a desired behavior in digital image data
US5923430A (en) 1993-06-17 1999-07-13 Ultrapointe Corporation Method for characterizing defects on semiconductor wafers
US5479252A (en) 1993-06-17 1995-12-26 Ultrapointe Corporation Laser imaging system for inspection and analysis of sub-micron particles
US5483055A (en) 1994-01-18 1996-01-09 Thompson; Timothy V. Method and apparatus for performing an automatic focus operation for a microscope
US5793969A (en) 1993-07-09 1998-08-11 Neopath, Inc. Network review and analysis of computer encoded slides
US5434629A (en) 1993-12-20 1995-07-18 Focus Automation Systems Inc. Real-time line scan processor
GB2286309B (en) 1994-02-01 1998-04-15 Rank Cintel Ltd High resolution film scanner
US5578832A (en) 1994-09-02 1996-11-26 Affymetrix, Inc. Method and apparatus for imaging a sample on a device
JPH07243823A (ja) 1994-03-03 1995-09-19 Toshiba Corp パターン検査装置
US5932872A (en) 1994-07-01 1999-08-03 Jeffrey H. Price Autofocus system for scanning microscopy having a volume image formation
US5649032A (en) 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
US5489772A (en) * 1994-11-14 1996-02-06 Hewlett-Packard Company Variable optical sampling rate dependent on requested scan resolution
WO1996039619A1 (en) 1995-06-06 1996-12-12 Kla Instruments Corporation Optical inspection of a specimen using multi-channel responses from the specimen
US5922282A (en) 1995-06-07 1999-07-13 Ledley; Robert S. Super fast tuberculosis diagnosis and sensitivity testing method
JP2000501844A (ja) 1995-07-19 2000-02-15 モルフォメトリックス テクノロジーズ インク. 顕微鏡スライドの自動走査
DE69618565D1 (de) 1995-10-18 2002-02-21 Koninkl Philips Electronics Nv Bereichbasiertes strukturkodierungs- und -dekodierungsverfahren sowie zugehörige systeme
US5710835A (en) 1995-11-14 1998-01-20 The Regents Of The University Of California, Office Of Technology Transfer Storage and retrieval of large digital images
JP2000501184A (ja) 1995-11-30 2000-02-02 クロマビジョン メディカル システムズ,インコーポレイテッド 生体標本の自動画像分析の方法および装置
US6151405A (en) 1996-11-27 2000-11-21 Chromavision Medical Systems, Inc. System and method for cellular specimen grading
JPH09197290A (ja) 1996-01-12 1997-07-31 Omron Corp 顕微鏡画像入力装置
US6005964A (en) 1996-01-24 1999-12-21 The Board Of Trustees Of The University Of Illinois Automatic machine vision microscope slide inspection system and method
US5872591A (en) 1996-02-21 1999-02-16 Pakon, Inc. Film scanner
JPH09247545A (ja) 1996-03-11 1997-09-19 Matsushita Electric Ind Co Ltd スキャナ型電子カメラ
US6078681A (en) 1996-03-18 2000-06-20 Marine Biological Laboratory Analytical imaging system and process
US6091846A (en) 1996-05-31 2000-07-18 Texas Instruments Incorporated Method and system for anomaly detection
US5796861A (en) 1996-07-12 1998-08-18 Frim International, Inc. Mosaic construction, processing, and review of very large electronic micrograph composites
US6272235B1 (en) 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
US6031930A (en) 1996-08-23 2000-02-29 Bacus Research Laboratories, Inc. Method and apparatus for testing a progression of neoplasia including cancer chemoprevention testing
US5754291A (en) 1996-09-19 1998-05-19 Molecular Dynamics, Inc. Micro-imaging system
GB9622055D0 (en) 1996-10-23 1996-12-18 Univ Strathclyde Vector quantisation
CN1254762C (zh) 1996-11-08 2006-05-03 Ncs皮尔逊股份有限公司 具有经校正的象素输出的光学扫描
US5968731A (en) 1996-12-10 1999-10-19 The Regents Of The University Of California Apparatus for automated testing of biological specimens
US20010017941A1 (en) 1997-03-14 2001-08-30 Navin Chaddha Method and apparatus for table-based compression with embedded coding
DE19714221A1 (de) 1997-04-07 1998-10-08 Zeiss Carl Fa Konfokales Mikroskop mit einem motorischen Scanningtisch
US6169816B1 (en) 1997-05-14 2001-01-02 Applied Imaging, Inc. Identification of objects of interest using multiple illumination schemes and finding overlap of features in corresponding multiple images
US6002789A (en) 1997-06-24 1999-12-14 Pilot Industries, Inc. Bacteria colony counter and classifier
US5895915A (en) 1997-07-24 1999-04-20 General Scanning, Inc. Bi-directional scanning system with a pixel clock system
US6262838B1 (en) 1998-03-20 2001-07-17 Genetic Microsystems Inc Focusing in microscope systems
JP3824116B2 (ja) 1998-01-29 2006-09-20 日本電信電話株式会社 顕微鏡画像遠隔制御システム
CA2229175A1 (en) 1998-02-06 1999-08-06 Morphometrix Technologies Inc. Automatic focus system
US20030036855A1 (en) * 1998-03-16 2003-02-20 Praelux Incorporated, A Corporation Of New Jersey Method and apparatus for screening chemical compounds
US6185030B1 (en) 1998-03-20 2001-02-06 James W. Overbeck Wide field of view and high speed scanning microscopy
US5943122A (en) 1998-07-10 1999-08-24 Nanometrics Incorporated Integrated optical measurement instruments
US6316774B1 (en) * 1998-08-18 2001-11-13 Molecular Devices Corporation Optical system for a scanning fluorometer
JP3139998B2 (ja) 1998-12-01 2001-03-05 株式会社東京精密 外観検査装置及び方法
US6330348B1 (en) 1999-01-21 2001-12-11 Resolution Sciences Corporation Method and apparatus for measurement of microtome performance
US6249341B1 (en) 1999-01-25 2001-06-19 Amnis Corporation Imaging and analyzing parameters of small moving objects such as cells
JP4323608B2 (ja) 1999-03-12 2009-09-02 キヤノン株式会社 露光装置およびデバイス製造方法
US7106895B1 (en) 1999-05-05 2006-09-12 Kla-Tencor Method and apparatus for inspecting reticles implementing parallel processing
JP3544892B2 (ja) 1999-05-12 2004-07-21 株式会社東京精密 外観検査方法及び装置
US7212667B1 (en) 1999-05-17 2007-05-01 Samsung Electronics Co., Ltd. Color image processing method for indexing an image using a lattice structure
JP2001093455A (ja) 1999-09-21 2001-04-06 Nikon Corp 電子ビーム装置
US6594401B1 (en) 1999-10-20 2003-07-15 Xerox Corporation Detection and elimination of scanning artifacts
JP2001210263A (ja) 2000-01-27 2001-08-03 Hitachi Ltd 走査電子顕微鏡、そのダイナミックフォーカス制御方法および半導体デバイスの表面および断面形状の把握方法
US6711283B1 (en) 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US7518652B2 (en) * 2000-05-03 2009-04-14 Aperio Technologies, Inc. Method and apparatus for pre-focus in a linear array based slide scanner
JP2002042706A (ja) 2000-07-25 2002-02-08 Hitachi Ltd 走査電子顕微鏡の自動焦点機能
US6763140B1 (en) 2000-09-07 2004-07-13 Chipworks Method and apparatus for focusing a micro-imaging system onto a tilted or uneven sample to acquire images of the sample
US7155049B2 (en) 2001-01-11 2006-12-26 Trestle Acquisition Corp. System for creating microscopic digital montage images
JP2003023496A (ja) 2001-07-06 2003-01-24 Ntt Communications Kk 音声情報提供方法及び装置及び音声情報提供プログラム及び音声情報提供プログラムを格納した記憶媒体
US7338168B2 (en) 2001-07-06 2008-03-04 Palantyr Research, Llc Particle analyzing system and methodology
JP3999479B2 (ja) * 2001-07-10 2007-10-31 オリンパス株式会社 光学装置
EP1415187A4 (en) * 2001-08-06 2008-03-26 Bioview Ltd DEVELOPING IMAGES IN A FLUORESCENCE IMAGING APPARATUS
US20030048933A1 (en) * 2001-08-08 2003-03-13 Brown Carl S. Time-delay integration imaging of biological specimen
US7283253B2 (en) * 2002-03-13 2007-10-16 Applied Precision, Llc Multi-axis integration system and method
US7272252B2 (en) * 2002-06-12 2007-09-18 Clarient, Inc. Automated system for combining bright field and fluorescent microscopy
DE10232242A1 (de) 2002-07-17 2004-02-05 Leica Microsystems Semiconductor Gmbh Verfahren und Vorrichtung zum Rastern einer Probe mit einem optischen ab Bildungssystem
JP2004363085A (ja) 2003-05-09 2004-12-24 Ebara Corp 荷電粒子線による検査装置及びその検査装置を用いたデバイス製造方法
JP4194905B2 (ja) 2003-08-18 2008-12-10 株式会社ノリタケカンパニーリミテド 多孔質筒体の支持構造および支持部材の固着方法
US7282180B2 (en) * 2003-07-02 2007-10-16 Immunivest Corporation Devices and methods to image objects
GB0317679D0 (en) * 2003-07-29 2003-09-03 Amersham Biosciences Uk Ltd Analysing biological entities
US20060247862A1 (en) * 2003-09-08 2006-11-02 Arini Nicholas S Determining cell cycle phase data
JP4934281B2 (ja) * 2004-02-09 2012-05-16 オリンパス株式会社 全反射蛍光顕微鏡
EP1751599B1 (en) * 2004-05-27 2018-07-11 Leica Biosystems Imaging, Inc. System and method for assessing virtual slide image quality
US7667764B2 (en) * 2004-06-04 2010-02-23 Konica Minolta Holdings, Inc. Image sensing apparatus
JP4020893B2 (ja) * 2004-07-07 2007-12-12 オリンパス株式会社 顕微鏡撮像装置および生体試料観察システム
US20060018013A1 (en) 2004-07-07 2006-01-26 Yoshimasa Suzuki Microscope imaging apparatus and biological-specimen examination system
JP2006030304A (ja) * 2004-07-12 2006-02-02 Nikon Corp 顕微鏡の焦点検出装置
JP2006039315A (ja) * 2004-07-28 2006-02-09 Hamamatsu Photonics Kk 自動焦点装置及びそれを用いた顕微鏡装置
JP4786207B2 (ja) * 2005-03-17 2011-10-05 浜松ホトニクス株式会社 顕微鏡システム
US7768638B2 (en) * 2005-03-18 2010-08-03 Illumina, Inc. Systems for and methods of facilitating focusing an optical scanner
WO2007038260A2 (en) * 2005-09-23 2007-04-05 Massachusetts Institute Of Technology Systems and methods for force-fluorescence microscopy
WO2007101205A2 (en) * 2006-02-27 2007-09-07 Aperio Technologies, Inc System and method for single optical axis multi-detector microscope slide scanner
JP4917331B2 (ja) * 2006-03-01 2012-04-18 浜松ホトニクス株式会社 画像取得装置、画像取得方法、及び画像取得プログラム
JP4663602B2 (ja) * 2006-08-14 2011-04-06 オリンパス株式会社 自動合焦装置、顕微鏡および自動合焦方法
JP2008051772A (ja) * 2006-08-28 2008-03-06 Hamamatsu Photonics Kk 蛍光画像取得装置、及び蛍光画像取得方法
EP3764085A3 (en) 2008-10-24 2021-03-24 Leica Biosystems Imaging Inc. Whole slide fluorescence scanner

Also Published As

Publication number Publication date
JP2012507009A (ja) 2012-03-22
JP5643210B2 (ja) 2014-12-17
EP2344864A4 (en) 2018-01-24
EP2344864B1 (en) 2020-05-06
US20110115897A1 (en) 2011-05-19
JP2015111143A (ja) 2015-06-18
US9523844B2 (en) 2016-12-20
EP3764085A2 (en) 2021-01-13
US20140247379A1 (en) 2014-09-04
JP2014142657A (ja) 2014-08-07
US8743195B2 (en) 2014-06-03
WO2010048584A3 (en) 2010-08-05
JP6100813B2 (ja) 2017-03-22
EP3764085A3 (en) 2021-03-24
WO2010048584A2 (en) 2010-04-29
EP2344864A2 (en) 2011-07-20

Similar Documents

Publication Publication Date Title
JP6100813B2 (ja) スライド全体蛍光スキャナ
JP6899963B2 (ja) リアルタイムの自動焦点調節走査
JP5989109B2 (ja) 蛍光顕微鏡システムの標準化
JP6307770B2 (ja) 撮像素子
US7876948B2 (en) System for creating microscopic digital montage images
JP7167276B2 (ja) 二重光学経路および単一撮像センサを使用した低解像度スライド撮像、スライドラベル撮像および高解像度スライド撮像
JP7146635B2 (ja) マルチスペクトル軌跡を使用するデジタル撮像のための自動合焦の方法およびシステム
JP6985506B2 (ja) リアルタイムオートフォーカス合焦アルゴリズム
CN111164484B (zh) 双程微距图像
EP2024772B1 (en) Method and system for digitizing a specimen with fluorescent target points
JP2008542800A (ja) コントラストを評価して試料を走査するための方法および装置
JP2014098575A (ja) 画像取得装置および画像取得方法
US20230258918A1 (en) Digital microscope with artificial intelligence based imaging
JP5471715B2 (ja) 合焦装置、合焦方法、合焦プログラム及び顕微鏡
JP2021512346A (ja) 衝撃再走査システム
US11422349B2 (en) Dual processor image processing

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150212

R150 Certificate of patent or registration of utility model

Ref document number: 5698398

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees