JP7167276B2 - 二重光学経路および単一撮像センサを使用した低解像度スライド撮像、スライドラベル撮像および高解像度スライド撮像 - Google Patents

二重光学経路および単一撮像センサを使用した低解像度スライド撮像、スライドラベル撮像および高解像度スライド撮像 Download PDF

Info

Publication number
JP7167276B2
JP7167276B2 JP2021148134A JP2021148134A JP7167276B2 JP 7167276 B2 JP7167276 B2 JP 7167276B2 JP 2021148134 A JP2021148134 A JP 2021148134A JP 2021148134 A JP2021148134 A JP 2021148134A JP 7167276 B2 JP7167276 B2 JP 7167276B2
Authority
JP
Japan
Prior art keywords
slide
image
stage
optical path
illumination system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021148134A
Other languages
English (en)
Other versions
JP2021193459A (ja
Inventor
ゾウ ユンルー
クランドール グレゴリー
ニューバーグ ニコラス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Biosystems Imaging Inc
Original Assignee
Leica Biosystems Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Biosystems Imaging Inc filed Critical Leica Biosystems Imaging Inc
Publication of JP2021193459A publication Critical patent/JP2021193459A/ja
Application granted granted Critical
Publication of JP7167276B2 publication Critical patent/JP7167276B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/18Arrangements with more than one light path, e.g. for comparing two specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/34Microscope slides, e.g. mounting specimens on microscope slides
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/191Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a one-dimensional array, or a combination of one-dimensional arrays, or a substantially one-dimensional array, e.g. an array of staggered elements
    • H04N1/192Simultaneously or substantially simultaneously scanning picture elements on one main scanning line
    • H04N1/193Simultaneously or substantially simultaneously scanning picture elements on one main scanning line using electrically scanned linear arrays, e.g. linear CCD arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/245Devices for focusing using auxiliary sources, detectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)

Description

本発明は概して、デジタル撮像システムに関し、特に、ライン走査カメラを使用したデジタルパソロジ撮像システムに関する。
従来のスライドグラスは典型的には、生物標本を包含する標本領域、およびバーコード(例えば、一次元バーコード、QRコード、もしくは二次元バーコードなど)またはプリントラベルもしくは手書きラベルを包含する別個のラベル領域を有する。自動全面スライド撮像(WSI)走査デバイスでは、スライドグラスの標本領域全体の低解像度マクロ画像は典型的には、スライドグラスの下からの照明を使用して、第1の倍率で走査され、結果として生じる低解像度デジタル画像(本明細書で、「マクロ画像」と称する)はその後、スライド上の標本領域を識別し、スライド上の標本のサムネイル画像を提供するために使用される。別々に(前にまたは後に)、スライドグラスのラベル領域全体は典型的には、グラスの上からの照明を使用して、第2の倍率で走査され、その結果、追跡および在庫管理のために標本のデジタルスライド画像を識別することができる。低解像度マクロ画像およびラベル画像は典型的には、領域走査撮像センサに光学的に結合された低解像度レンズを含む光学経路を使用して走査される。
マクロ画像およびラベル画像が走査された後、高解像度WSI画像は典型的には、スライドグラスの下または上からの照明を使用して(落射照明のケースにおける)、また、高解像度レンズ、高倍率光学系、および別個の高忠実度撮像センサを含む別個の光学経路を使用して、第3の(より高い)倍率で走査される。高解像度走査からの結果として生じる画像タイル(領域走査のケースにおける)または画像ストライプ(ライン走査のケースにおける)は、複合全面スライド画像に共に組み立てられる。高解像度WSIを捕捉するために複数のタイルまたはストライプを必要とすることは、高倍率での高忠実度撮像センサの視野(「FOV」)が制限されることに起因する。
追加の撮像ハードウェア、追加の走査の動き、および追加の画像取得を必要とすることは、走査デバイスのコストを増大させ、全面スライド撮像走査を完了するために必要とされる総時間を増大させる。したがって、必要なのは、上記説明されたような従来のシステムにおいて発見されたそれらの重要な課題を解決するシステムおよび方法である。
本開示では、ライン走査を採用する走査デバイスにおいてマクロ画像およびラベル画像を生成するハードウェア要件および処理時間を最小化するシステムおよび方法が提供される。開示される走査システムは、2つの光学経路を含む。第1の光学経路は、低解像度レンズ、第1の照明システム(下からの透過モード照明)、および第2の照明システム(上からの斜めモード照明)を含む。第2の光学経路は、高解像度レンズおよび少なくとも第3の照明システム(例えば、透過モード)を含む。光学経路の各々は、同一のライン走査センサに光学的に結合される。
有利なことに、第1の光学経路は、第1および第2の照明システムのうちの1つまたは両方を使用して、同一の走査の動きの間、および同一の倍率で試料領域およびラベル領域の単一の全面スライド画像を走査するために使用される。全面スライド画像は、別個のマクロ画像および別個のラベル画像を生成するように処理されることができる。結果として生じるマクロ画像およびラベル画像は両方、それらの意図された使用、すなわち、スライド上の標本領域を識別すること、スライド上の標本のサムネイル画像(マクロ画像)を提供すること、ならびにデジタルスライド画像(ラベル画像)を追跡および在庫管理することに機能的に適切である。第2の光学経路は、高倍率での高解像度走査のために使用される。有利なことに、第2の高忠実度、高倍率の光学経路に対して修正を行う必要はない。
第1の実施形態では、スライドが第1の照明システムおよび第2の照明システムの両方を使用して照射されている間、ステージは、第1の光学経路を使用してラインセンサのFOVにわたって試料を移動させる。有利なことに、第1の光学経路におけるレンズおよびいずれかの他の光学系に従って、ラインセンサのFOVは、スライドの試料領域の全幅を覆う。ステージがラインセンサのFOVにわたって移動するにつれて、試料領域全体を含む全面スライド画像は、単一の連続するステージ移動において捕捉される。同様に、ラインセンサのFOVは、スライドのラベル領域の全幅を覆い、したがって、単一のステージ移動において捕捉される全面スライド画像はまた、ラベル領域全体を含む。有利なことに、全面スライド画像は、ラベル領域全体および標本領域全体の別個の画像を生成するように処理されることができる。
単一のステージ移動(すなわち、単一のストライプ)における全面スライド画像の画像捕捉の間、ライン走査カメラは、パラメータの単一のセットにより構成され、第1および第2の照明システムの明度は、ライン走査カメラ構成パラメータに基づいて、それらの関連する画像についての最良の画像品質に最適化される。有利なことに、スライドの試料領域部分の画像捕捉の間、透過モード照明システムは、光学経路を支配し、その結果、試料領域の結果として生じる画像は、斜めモード照明システムからの光の存在によって影響されない。加えて、スライドのラベル領域部分の画像捕捉の間、透過モード照明システムからの光は、透明でないラベルによって遮断され、その結果、ラベル領域の結果として生じる画像は、透過モード照明システムからの光の存在によって影響されない。エッチングされたラベルのケースでは、透過モード照明は、ラベル領域の撮像を支配する。
第2の実施形態では、双方向走査は、第1の方向での第1のステージ移動においてスライドグラスを走査し、第2の方向での第2のステージ移動においてスライドグラスを走査するために使用される。第1の方向での走査の間、第1の照明システムが使用され、ライン走査カメラは、パラメータの第1のセットにより構成される。第2の(反対)方向での走査の間、第2の照明システムが使用され、ライン走査カメラは、パラメータの第2のセットにより構成される。例えば、ライン走査カメラは最初に、パラメータの第1のセットにより構成され、ステージは、ライン走査カメラのFOVに対して第1の方向にスライドを移動させ、スライドは、第1の照明システムを使用して照射される。第1の全面スライド画像は、第1の方向での移動および第1の照明システムによる照射の間に捕捉される。ライン走査カメラはその後、パラメータの第2のセットにより再構成され、ステージは、ライン走査カメラのFOVに対して第2の方向(例えば、第1の方向とは反対の)にスライドを移動させ、スライドは、第2の照明システムを使用して照射される。第2の全面スライド画像は、第2の方向での移動および第2の照明システムによる照射の間に捕捉される。第1の全面スライド画像は、試料領域およびラベル領域の両方を含む最終的な全面スライド画像を生成するために第2の全面スライド画像と組み合わされる。有利なことに、第1および第2の全面スライド画像は、ラベル領域全体の別個の画像および標本領域全体の別個の画像を生成するように処理されることができる。
この新たな方法を、領域カメラを使用した従来のステップ-スナップ方法と区別する、ライン走査カメラによる単一ステージ移動または二重ステージ移動の低解像度画像走査と関連付けられた2つの大きな利点、速度および画像解像度が存在する。例えば、7,500ヘルツのライン速度で稼働する4kライン走査カメラは、領域カメラを使用して4~5秒を必要とする5メガ画素解像度の全面スライド画像と比較して、1~2秒で32メガ画素解像度の全面スライド画像を提供する。
本発明の他の特徴および利点は、以下の詳細な説明および添付図面を再考した後、当業者にとってさらに容易に明らかになるであろう。
本発明の構造および動作は、以下の詳細な説明および添付図面の再考から理解され、図面では、同一の参照符号は同一の部分を指す。
本発明の実施形態に従った、実施例のスライドグラスを例示するブロック図である。 本発明の実施形態に従った、スライドの組み合わされたマクロ撮像およびラベル撮像のための実施例のシステムを例示するブロック図である。 本発明の実施形態に従った、実施例の単一ラインカラーライン走査センサを例示するブロック図である。 本発明の実施形態に従った、実施例の二重ラインカラーライン走査センサを例示するブロック図である。 本発明の実施形態に従った、実施例の三重ラインカラーライン走査センサを例示するブロック図である。 本発明の実施形態に従った、実施例のカラーライン走査センサを例示するブロック図である。 本発明の実施形態に従った、スライドの組み合わされたマクロ撮像およびラベル撮像のための実施例のシステムを例示するブロック図である。 本発明の実施形態に従った、スライドの組み合わされたマクロ撮像およびラベル撮像の代替的な実施例のシステムを例示するブロック図である。 本発明の実施形態に従った、同一のライン走査カメラを使用した、組み合わされた低解像度撮像および高解像度撮像のための実施例の処理を例示するフローチャートである。 本発明の実施形態に従った、同一のライン走査カメラを使用した、組み合わされた双方向走査の低解像度撮像および高解像度撮像のための代替的な実施例の処理を例示するフローチャートである。 本発明の実施形態に従った、同一のライン走査カメラを使用した、組み合わされた低解像度撮像および高解像度撮像のための代替的な実施例の処理を例示するフローチャートである。 本明細書で説明される様々な実施形態と関連して使用されてもよい、実施例のプロセッサ使用可能デバイス550を例示するブロック図である。 単一の線形配列を有する実施例のライン走査カメラを例示するブロック図である。 3つの線形配列を有する実施例のライン走査カメラを例示するブロック図である。 複数の線形配列を有する実施例のライン走査カメラを例示するブロック図である。
本明細書で開示される特定の実施形態は、スライドの試料領域およびスライドのラベル領域の両方を含む、スライドの全面スライド画像の生成をもたらす。結果として生じる全面スライド画像は、スライドの試料領域およびスライドのラベル領域の別個の画像を生成するように処理されることができる。例えば、本明細書で開示される1つの方法は、単一のステージ移動において全面スライド画像を走査することを可能にし、結果として生じる全面スライド画像は、試料領域全体およびラベル領域全体を含む。全面スライド画像が単一のステージ移動において走査されるとき、スライドグラスは、透過モード照明システムおよび斜めモード照明システムからの照射の影響を同時に受ける。この説明を読んだ後、当業者にとって、様々な代替的な実施形態および代替的な適用において本発明をどのように実施することができるかが明らかになるであろう。しかしながら、本発明の様々な実施形態が本明細書で説明されるが、それらの実施形態は単に実施例として提示され、限定ではないことを理解されよう。そのようにして、様々な代替的な実施形態のこの詳細な説明は、添付の特許請求の範囲に示されるように、本発明の範囲または広さを限定するものと解釈されるべきではない。
図1Aは、本発明の実施形態に従った、実施例のスライドグラス20を例示するブロック図である。例示される実施形態では、スライドグラスは、バーコードラベル23を有するラベル領域22および標本領域24を含む。標本領域24は、顕微鏡試料(本明細書では、標本とも称される)を支持するように構成される。スライドグラス20は、デジタルパソロジシステムによる使用に適合可能であり、デジタルパソロジシステムは、ラベル領域22および試料領域24の両方を含む、スライドグラス20を走査して、スライドグラス20のデジタル画像を生成するように構成されたデジタルパソロジ撮像装置を含んでもよい。
図1Bは、本発明の実施形態に従った、スライドの組み合わされたマクロ撮像およびラベル撮像のための実施例のシステム10を例示するブロック図である。例示される実施形態では、システム10は、撮像光学系55に光学的に結合されるライン走査カメラ50を含み、撮像光学系55は、ライン走査カメラ50がスライドグラス60の一部の視野を有するように光学経路を定める。スライド60は、その中で試料65が位置付けられた試料領域64、およびその中でラベル63が位置付けられたラベル領域62を含む。システム10は、2つの照明システム、すなわち、(1)透過モード照明のために構成された第1の照明システム70、および(2)斜めモード照明のために構成された第2の照明システム80を含む。第1の照明システム70は、スライドグラス60および標本を通じて撮像光学系55内に、およびライン走査カメラ50上に光を伝送する。一実施形態では、第1の透過照明システム70は、試料領域64のマクロ画像を捕捉するために使用される。第2の照明システム80は、撮像光学系55に対向しているスライドグラス60の上面上で、ある角度において光を伝送する。一実施形態では、第2の斜め照明システム80は、ラベル領域62のマクロ画像を捕捉するために使用される。
システム10は、ライン走査カメラ50の視野に対してスライド60を移動させ、単一のステージ移動においてスライド60の全面スライド画像30を捕捉するように構成される。結果として生じる全面スライド画像30は、スライド60のラベル領域62全体を記述したラベル領域36を含み、結果として生じる全面スライド画像30は、スライド60の試料領域64全体を記述した試料領域38を含む。
図2Aは、本発明の実施形態に従った、実施例の単一ラインカラーライン走査センサ90を例示するブロック図である。例示されるライン走査センサ90は、単方向走査および双方向走査の両方のために使用されることができる。有利なことに、ライン走査センサ90が双方向走査のために使用されるとき、ライン走査センサ90は、第1の方向において試料を支持するステージの移動と、第2の方向(第1の方向とは反対の)において試料を支持するステージの移動と、の間で再構成される必要がない。
図2Bは、本発明の実施形態に従った、実施例の二重ラインカラーライン走査センサ92を例示するブロック図である。例示されるライン走査センサ92は、単方向走査および双方向走査の両方のために使用されることができる。一実施形態では、ライン走査センサ92が双方向走査のために使用されるとき、ライン走査センサ92は、第1の方向おいて試料を支持するステージの移動と、第2の方向(第1の方向とは反対の)において試料を支持するステージの移動と、の間で再構成される。
図2Cは、本発明の実施形態に従った、実施例の三重ラインカラーライン走査センサ94を例示するブロック図である。例示されるライン走査センサ94は、単方向走査および双方向走査の両方のために使用されることができる。一実施形態では、ライン走査センサ94が双方向走査のために使用されるとき、ライン走査センサ94は、第1の方向おいて試料を支持するステージの移動と、第2の方向(第1の方向とは反対の)において試料を支持するステージの移動と、の間で再構成される。
図2Dは、本発明の実施形態に従った、実施例のカラーライン走査センサ96を例示するブロック図である。例示されるライン走査センサ96は、単方向走査および双方向走査の両方のために使用されることができる。有利なことに、ライン走査センサ96が双方向走査のために使用されるとき、ライン走査センサ90は、第1の方向において試料を支持するステージの移動と、第2の方向(第1の方向とは反対の)において試料を支持するステージの移動と、の間で再構成される必要がない。
図3は、本発明の実施形態に従った、スライドの組み合わされたマクロ撮像およびラベル撮像のための実施例のシステム100を例示するブロック図である。マクロ撮像およびラベル撮像の両方が、本明細書で、低解像度撮像と称されてもよいことに留意されるべきである。例示される実施形態では、システム100は、マクロレンズ155およびミラー160に光学的に結合されるライン走査カメラ105を含み、マクロレンズ155およびミラー160は、ライン走査カメラ105が走査ステージ(図示せず)の移動によってスライド120のいずれかの部分上で訓練されることができる視野を有するように第1の光学経路165を定める。ステージは、スライドグラス120を支持し、スライドグラス120は次いで、試料125を支持する。スライドグラス120はまた、ラベル130を有する。
第1の光学経路は、透過モード照明のために構成されたマクロライト140を含む第1の照明システムによって照射されてもよい。第1の光学経路165はまた、斜めモード照明のために構成されたラベルライト145を含む第2の照明システムによって照射されてもよい。有利なことに、一実施形態では、第1の光学経路165は、マクロライト140による第1の照明システムおよびラベルライト145による第2の照明システムの両方によって同時に照射されてもよい。
捕捉カメラのライン走査カメラ105はまた、対物レンズ110に光学的に結合され、対物レンズ110は、ライン走査カメラ105がスライド120の視野を有するように第2の光学経路115を定める。第2の光学経路115は、透過モード照明のために構成された集光レンズ135を含む第3の照明システムによって照射される。第2の光学経路115は、対物レンズ110を介した高解像度撮像および高倍率撮像のために使用される。
動作中、スライドグラス120が走査ステージ上に載置されるとき、走査ステージは、対物レンズ110に対して第2の光学経路115内の走査位置にスライドグラス120を移動させる。一実施形態では、対物レンズ110に対して第2の光学経路115内にスライドグラスを位置付けるとき、システム100によって、走査ステージは、第1の光学経路165に従って、ライン走査カメラ104の視野の下にスライドグラス120を最初に移動させる。ライン走査カメラ105および第1の光学経路165に対する第1の方向でのスライドグラスのこの第1の移動は、スライドグラス120全体の全面スライド画像をもたらすことができる。代わりに、ライン走査カメラ105および第1の光学経路165に対する第1の方向でのスライドグラスの第1の移動は、スライドグラス120の第1の部分のみの全面スライド画像をもたらすことができる。
この実施形態では、第1の光学経路115および第2の光学経路165の方位は、対物レンズ110に対して第2の光学経路115内にスライドグラスを位置付けるために、スライドグラス120が、ライン走査カメラ105および第1の光学経路165に対する第2の方向でのスライドグラス120の第2の移動の影響を受けることを必要とする。したがって、ライン走査カメラ105および第1の光学経路165に対する第2の方向でのスライドグラス120のこの第2の移動は、スライドグラス120全体の第2の全面スライド画像をもたらすことができ、またはそれは、スライドグラス120の第2の部分のみの全面スライド画像をもたらすことができる。
図4は、本発明の実施形態に従った、スライドの組み合わされたマクロ撮像およびラベル撮像の代替的な実施例のシステム102を例示するブロック図である。例示される実施形態では、システム102は、マクロレンズ155およびミラー160に光学的に結合されるライン走査カメラ105を含み、マクロレンズ155およびミラー160は、ライン走査カメラ105が走査ステージ(図示せず)の移動によってスライド120のいずれかの部分上で訓練されることができる視野を有するように第1の光学経路165を定める。ステージは、スライドグラス120を支持し、スライドグラス120は次いで、試料125を支持する。スライドグラス120はまた、ラベル130を有する。
第1の光学経路は、透過モード照明のために構成されたマクロライト140を含む第1の照明システムによって照射されてもよい。第1の光学経路165はまた、斜めモード照明のために構成されたラベルライト145を含む第2の照明システムによって照射されてもよい。有利なことに、一実施形態では、第1の光学経路165は、マクロライト140による第1の照明システムおよびラベルライト145による第2の照明システムの両方によって同時に照射されてもよい。
捕捉カメラのライン走査カメラ105はまた、対物レンズ110に光学的に結合され、対物レンズ110は、ライン走査カメラ105がスライド120の視野を有するように第2の光学経路115を定める。第2の光学経路115は、透過モード照明のために構成された集光レンズ135を含む第3の照明システムによって照射される。第2の光学経路115は、対物レンズ110を介した高解像度撮像および高倍率撮像のために使用される。
動作中、スライドグラス120が走査ステージ上に載置されるとき、走査ステージは、対物レンズ110に対して第2の光学経路115内の走査位置内にスライドグラス120を移動させる。一実施形態では、対物レンズ110に対して第2の光学経路115内にスライドグラスを位置付けるとき、システム100によって、走査ステージは、第1の光学経路165に従ってライン走査カメラ104の視野の下にスライドグラス120を最初に移動させる。ライン走査カメラ105および第1の光学経路165に対する第1の方向でのスライドグラスのこの第1の移動は、スライドグラス120全体の全面スライド画像をもたらすことができる。代わりに、ライン走査カメラ105および第1の光学経路165に対する第1の方向でのスライドグラスの第1の移動は、スライドグラス120の第1の部分のみの全面スライド画像をもたらすことができる。
この実施形態では、第1の光学経路115および第2の光学経路165の方位は、スライドグラス120が次に、さらなる処理のために(例えば、高解像度、高倍率走査)対物レンズ110に対して第2の光学経路115内の走査位置に渡されることを必要とする。さらなる処理に続いて、スライドグラス120は、走査ステージからスライドグラス120を取り外す前に、ライン走査カメラ105および第1の光学経路165に対する第2の方向でのスライドグラス120の第2の移動の影響を受ける。したがって、ライン走査カメラ105および第1の光学経路165に対する第2の方向でのスライドグラス120のこの第2の移動は、スライドグラス120全体の第2の全面スライド画像をもたらすことができ、またはそれは、スライドグラス120の第2の部分のみの全面スライド画像をもたらすことができる。
図5Aは、本発明の実施形態に従った、同一のライン走査カメラを使用した、組み合わされた低解像度撮像および高解像度撮像のための実施例の処理を例示するフローチャートである。例示される処理は、例えば、図3~図4および図7A~7Dに説明されるようなシステムによって実行されることができる。例示される実施形態では、ステップ200では、システムは、マクロレンズを有する第1の光学経路を介した低解像度撮像のためにライン走査カメラを最初に構成する。次に、ステップ205では、第1および第2の照明システムは、透過モード照明および斜めモード照明の両方がライン走査カメラおよびマクロレンズの両方によって定められた光学経路に存在するようにターンオンされる。次に、ステップ210では、スライドを支持するステージは、ステップ215に示されるように、スライドグラス全体(または、実質的にスライドグラス全体)の全面スライド画像を捕捉するために、マクロレンズを介してライン走査カメラの視野に対して第1の速度で(例えば、相対的に高速で)移動する。結果として生じる全面スライド画像は、スライドグラスのラベル領域全体およびスライドグラスの試料領域全体の画像を含む。全面スライド画像はその後、ラベル領域全体(または、その一部)の画像のみを含むラベル画像を生成し、試料領域全体(または、その一部)の画像のみを含む試料画像を生成するように処理されることができる。ラベル領域のラベル画像および試料領域のマクロ画像は、ステップ220に示されるように保存される。
低解像度画像取得が完了した後、ステップ225では、第1の照明システムおよび第2の照明システムがターンオフされ、ステップ230では、ライン走査カメラが高解像度撮像のために再構成される。次に、ステップ235では、第3の照明システム(高解像度撮像照明)がターンオンされ、ステップ240では、スライドは、ライン走査カメラの視野に対して第2の速度で(例えば、低解像度撮像よりも相対的に低速で)繰り返し移動する。ステップ245では、システムは、スライドの標本領域の複数の画像ストライプを捕捉する。ステップ250に示されるように、ストライプは、全面試料領域の連続する画像として共に組み合わされて記憶される。高解像度画像取得が完了した後、ステップ255では、第3の照明システムがターンオフされ、ステップ260では、スライドが高速でステージから取り外される。
図5Bは、本発明の実施形態に従った、同一のライン走査カメラを使用した、組み合わされた双方向走査の低解像度撮像および高解像度撮像のための代替的な実施例の処理を例示するフローチャートである。例示される処理は、例えば、図3~図4および図7A~7Dに説明されるようなシステムによって実行されることができる。例示される実施形態では、ステップ300では、システムは、マクロレンズを有する第1の光学経路を介した低解像度撮像のためにライン走査カメラを最初に構成する。次に、ステップ305では、第1の照明システムは、透過モード照明がライン走査カメラおよびマクロレンズによって定められた光学経路に存在するようにターンオンされる。次に、ステップ310では、スライドは、スライドグラス全体(または、実質的にスライドグラス全体)の第1の全面スライド画像を捕捉するために、マクロレンズを介してライン走査カメラの視野に対して第1の速度で(例えば、相対的に高速で)移動し、次いで、ステップ315に示されるように、第1の照明システムがターンオフされる。次に、ステップ320では、ライン走査カメラは任意選択で、使用されるラインセンサのタイプに応じて、反対方向での双方向走査のために再構成される。
次に、ステップ325では、第2の照明システムは、斜めモード照明がライン走査カメラおよびマクロレンズによって定められた光学経路に存在するようにターンオンされる。次に、ステップ330では、スライドは、スライドグラス全体(または、実質的にスライドグラス全体)の第2の全面スライド画像を捕捉するために、マクロレンズを介してライン走査カメラの視野に対して第1の速度で移動し、次いで、ステップ335に示されるように、第2の照明システムがターンオフされる。第1および第2の全面スライド画像はその後、スライドグラスのラベル領域全体を含むラベル画像を生成し、スライドグラスの試料領域全体を含む試料画像を生成し、スライドグラスのラベル領域全体およびスライドグラスの試料領域全体の両方を含む全面スライド画像を生成するように処理されることができる。
低解像度画像が取得された後、ステップ340では、システムは、高解像度撮像のためにライン走査カメラを再構成し、ステップ345では、第3の照明システムをターンオンする。次いで、ステップ350では、スライドは、スライドの標本領域の複数の画像ストライプを捕捉するために、対物レンズを介してライン走査カメラの視野に対して第2の速度で(例えば、低解像度撮像よりも相対的に低速で)繰り返し移動する。高解像度画像ストライプは、全面試料領域の連続する高解像度画像として共に組み合わされて記憶される。
図6は、本発明の実施形態に従った、同一のライン走査カメラを使用した、組み合わされた低解像度撮像および高解像度撮像のための代替的な実施例の処理を例示するフローチャートである。例示される処理は、例えば、図3~図4および図7A~7Dに説明されるようなシステムによって実行されることができる。例示される実施形態では、ステップ400では、システムは、マクロレンズを有する第1の光学経路を介した透過モード低解像度撮像のためにライン走査カメラを最初に構成する。次に、ステップ405では、第1の照明システムは、透過モード照明がライン走査カメラおよびマクロレンズによって定められた光学経路に存在するようにターンオンされる。次に、ステップ410では、スライドは、ステップ415に示されるように、スライドグラス全体(または、実質的にスライドグラス全体)の第1の全面スライド画像を捕捉するために、マクロレンズを介してライン走査カメラの視野に対して第1の速度で(例えば、相対的に高速で)移動する。ステップ420では、スライドグラス全体の第1の全面スライド画像(すなわち、マクロ画像)が保存される。
低解像度での第1の全面スライド画像の取得の後、ステップ425では、第1の照明システムがターンオフされ、ステップ430では、ライン走査カメラが高解像度撮像のために再構成される。次に、ステップ435では、第3の照明システムがターンオンされ、ステップ440では、スライドは、ステップ445に示されるように、スライドの標本領域の複数の画像ストライプを捕捉するために、対物レンズを介してライン走査カメラの視野に対して第2の速度で(例えば、低解像度撮像よりも相対的に低速で)繰り返し移動する。ステップ450では、ストライプは、全面試料領域の高解像度の連続する画像として共に組み合わされて記憶され、および/または個々の画像ストライプとして記憶され、次いで、ステップ455では、第3の照明システムがターンオフされる。
次に、ステップ460では、システムは、マクロレンズを有する第1の光学経路を介した斜めモード低解像度撮像のためにライン走査カメラを再構成する。次いで、ステップ465では、第2の照明システムは、斜めモード照明がライン走査カメラおよびマクロレンズによって定められた光学経路に存在するようにターンオンされる。次に、ステップ470では、スライドは、ステップ475に示されるように、スライドグラス全体(または、実質的にスライドグラス全体)の第2の全面スライド画像を捕捉するために、マクロレンズを介してライン走査カメラの視野に対して第1の速度で(例えば、相対的に高速で)移動する。ステップ480では、第2の全面スライド画像(すなわち、ラベル画像)が保存される。第1および第2の全面スライド画像はその後、スライドグラスのラベル領域全体を含むラベル画像を生成し、スライドグラスの試料領域全体を含む試料画像を生成し、スライドグラスのラベル領域全体およびスライドグラスの試料領域全体の両方を含む全面スライド画像を生成するように処理されることができる。最後に、ステップ485では、ラベル撮像ライトがターンオフされる。
図7Aは、本明細書で説明される様々な実施形態と関連して使用されてもよい、実施例のプロセッサ使用可能デバイス550を例示するブロック図である。デバイス550の代替的な形式も当業者によって理解されるように使用されてもよい。例示される実施形態では、デバイス550は、1つ以上のプロセッサ555、1つ以上のメモリ565、1つ以上の動きコントローラ570、1つ以上のインタフェースシステム575、1つ以上の試料590を有する1つ以上のスライドグラス585を各々が支持する1つ以上の可動ステージ580、試料を照射する1つ以上の照明システム595、光学軸に沿って進む光学経路605を各々が定める1つ以上の対物レンズ600、1つ以上の対物レンズポジショナ630、1つ以上の任意選択の落射照明システム635(例えば、蛍光発光スキャナシステムに含まれる)、1つ以上の焦点調節光学系610、1つ以上のライン走査カメラ615、および/または1つ以上の領域走査カメラ620を含み、その各々が試料590および/またはスライドグラス585上で別個の視野625を定めるデジタル撮像デバイス(本明細書で、スキャナシステムまたは走査システムとも称される)として提示される。スキャナシステム550の様々な要素は、1つ以上の通信バス560を介して通信可能に結合される。以下の説明における簡略化のために、スキャナシステム550の様々な要素の各々のうちの1つ以上が存在してもよいが、それらの要素は、適切な情報を搬送するために複数であると説明される必要があるときを除き、単一であると説明される。
1つ以上のプロセッサ555は、例えば、命令を並列に処理することが可能な中央処理装置(「CPU」)および別個のグラフィックプロセシングユニット(「GPU」)を含んでもよく、または1つ以上のプロセッサ555は、命令を並列に処理することが可能なマルチコアプロセッサを含んでもよい。追加の別個のプロセッサも、特定の構成要素を制御し、または画像処理などの特定の機能を実行するために設けられてもよい。例えば、追加のプロセッサは、データ入力を管理する補助プロセッサ、浮動小数点演算を実行する補助プロセッサ、信号処理アルゴリズムの高速実行に適切なアーキテクチャを有する特殊目的プロセッサ(例えば、デジタルシグナルプロセッサ)、メインプロセッサに従属するスレーブプロセッサ(例えば、バックエンドプロセッサ)、ライン走査カメラ615、ステージ580、対物レンズ225、および/またはディスプレイ(図示せず)を制御する追加のプロセッサを含んでもよい。そのような追加のプロセッサは、別個の離散プロセッサであってもよく、またはプロセッサ555と統合されてもよい。
メモリ565は、プロセッサ555によって実行されることができるプログラムに対してデータおよび命令の記憶をもたらす。メモリ565は、データおよび命令を記憶する1つ以上の揮発性および永続的コンピュータ可読記憶媒体、例えば、ランダムアクセスメモリ、リードオンリメモリ、ハードディスクドライブ、および着脱可能記憶ドライブなどを含んでもよい。プロセッサ555は、メモリ565に記憶された命令を実行し、スキャナシステム550の全体的な機能を実行するために、通信バス560を介してスキャナシステム550の様々な要素と通信するように構成される。
1つ以上の通信バス560は、アナログ電気信号を搬送するように構成された通信バス560およびデジタルデータを搬送するように構成された通信バス560を含んでもよい。したがって、1つ以上の通信バス560を介したプロセッサ555、動きコントローラ570、および/またはインタフェースシステム575からの通信は、電気信号およびデジタルデータの両方を含んでもよい。プロセッサ555、動きコントローラ570、および/またはインタフェースシステム575はまた、無線通信リンクを介して、走査システム550の様々な要素のうちの1つ以上と通信するように構成されてもよい。
動き制御システム570は、ステージ580および対物レンズ600のXYZの移動を正確に制御および調整する(例えば、対物レンズポジショナ630を介して)ように構成される。動き制御システム570はまた、スキャナシステム550におけるいずれかの他の移動部分の移動を制御するように構成される。例えば、蛍光発光スキャナの実施形態では、動き制御システム570は、落射照明システム635において光学フィルタなどの移動を調整するように構成される。
インタフェースシステム575は、スキャナシステム550が他のシステムおよびヒューマンオペレータと連動することを可能にする。例えば、インタフェースシステム575は、オペレータに情報を直接提供し、および/またはオペレータからの直接入力を可能にするユーザインタフェースを含んでもよい。インタフェースシステム575はまた、走査システム550と、直接接続された1つ以上の外部デバイス(例えば、プリンタ、着脱可能記憶媒体)またはネットワーク(図示せず)を介してスキャナシステム550に接続された画像サーバシステム、オペレータステーション、ユーザステーション、および管理サーバシステムなどの外部デバイスとの間の通信およびデータ転送を促進するように構成される。
照明システム595は、試料590の一部を照射するように構成される。照明システムは、例えば、光源および照明光学系を含んでもよい。光源は、光出力を最大化する凹型反射ミラーおよび熱を抑制するKG-1フィルタを有する可変明度ハロゲン光源であってもよい。光源はまた、いずれかのタイプのアークランプ、レーザ、または他の光源であってもよい。一実施形態では、照明システム595は、透過モードにおいて試料590を照射し、その結果、ライン走査カメラ615および/または領域走査カメラ620は、試料590を通じて伝送された光エネルギーを検知する。代わりに、または組み合わせて、照明システム595はまた、反射モードにおいて試料590を照射するように構成されてもよく、その結果、ライン走査カメラ615および/または領域走査カメラ620は、試料590から反射された光エネルギーを検知する。全体的に、照明システム595は、光学顕微鏡検査のいずれかの既知のモードにおいて顕微鏡の試料590の検査に適切になるように構成される。
一実施形態では、スキャナシステム550は任意選択で、蛍光発光走査のためにスキャナシステム550を最適化する落射照明システム635を含む。蛍光発光走査は、蛍光発光微粒子を含む試料590の走査であり、蛍光発光微粒子は、特定の波長(励起)で光を吸収することができる分子敏感微粒子である。それらの分子敏感微粒子はまた、より高い波長(放射)で光を放射する。このフォトルミネセンス現象の効率性が非常に低いことを理由に、放射される光の量が非常に少ないことが多い。この少ない量の放射される光は典型的には、試料590を走査およびデジタル化するための従来の技術(例えば、透過モード顕微鏡検査)を妨げる。有利なことに、スキャナシステム550の任意選択の蛍光発光スキャナシステムの実施形態では、複数の線形センサ配列を含むライン走査カメラ615(例えば、時間遅延統合(「TDI」)ライン走査カメラ)の使用は、ライン走査カメラ615の複数の線形センサ配列の各々に試料590の同一の領域を暴露することによって、ライン走査カメラの光への感度を増大させる。これは特に、放射された少ない光によりわずかな蛍光発光試料を走査するときに有益である。
したがって、蛍光発光スキャナシステムの実施形態では、ライン走査カメラ615は好ましくは、モノクロTDIライン走査カメラである。有利なことに、モノクロ画像は、それらが試料に存在する様々なチャネルからの実信号のさらなる正確な表現を提供することを理由に、蛍光発光顕微鏡検査において理想である。当業者によって理解されるように、蛍光発光試料590は、異なる波長で光を放射する複数の蛍光染料によりラベル付けされることができ、異なる波長は、「チャネル」とも称される。
さらに、最低の信号レベルおよび最高の信号レベルの様々な蛍光発光試料が、検知するライン走査カメラ615についての広いスペクトルの波長を提示することを理由に、ライン走査カメラ615が検知することができる最低の信号レベルおよび最高の信号レベルが同様に広いことが望ましい。したがって、蛍光発光スキャナの実施形態では、蛍光発光走査システム550において使用されるライン走査カメラ615は、モノクロの10ビットの64個の線形配列TDIライン走査カメラである。ライン走査カメラ615についての様々なビット深度が走査システム550の蛍光発光スキャナの実施形態による使用のために採用されることができることに留意されるべきである。
可動ステージ580は、プロセッサ555または動きコントローラ570の制御の下、正確なXYの移動のために構成される。可動ステージはまた、プロセッサ555または動きコントローラ570の制御の下、Zでの移動のために構成されてもよい。可動ステージは、ライン走査カメラ615および/または領域走査カメラによる画像データの捕捉の間、所望の位置に試料を位置付けるように構成される。可動ステージはまた、走査方向において実質的に一定の速度に試料590を加速させ、次いで、ライン走査カメラ615による画像データの捕捉の間、実質的に一定の速度を維持するように構成される。一実施形態では、スキャナシステム550は、可動ステージ580上での試料590の位置において支援する高精度且つ厳格に調整されたXY格子を採用してもよい。一実施形態では、可動ステージ580は、XおよびY軸の両方において採用された高精度エンコーダを有する線形モータに基づくXYステージである。例えば、非常に正確なナノメートルエンコーダは、走査方向における軸上で、および走査方向に垂直な方向における軸上で、且つ走査方向と同一の平面上で使用されることができる。ステージはまた、試料590がその上に配置されたスライドグラス585を支持するように構成される。
試料590は、光学顕微鏡検査によって検査されてもよい、いずれかのものであることができる。例えば、顕微鏡スライドグラス585は、組織および細胞、染色体、DNA、タンパク質、血液、骨髄、尿、バクテリア、気泡、生検材料、または死亡しもしくは生存しているかのいずれかであり、着色されもしくは着色されていないかのいずれかであり、ラベル付けされもしくはラベル付けされていないかのいずれかである、いずれかの他のタイプの生物材料を含む標本についての観察用の基板として頻繁に使用される。試料590はまた、マイクロ配列として一般的に知られているいずれかの試料および全ての試料を含む、いずれかのタイプのスライドまたは他の基板上に堆積されたいずれかのタイプのDNA、cDNAもしくはRNAなどのDNA関連材料、またはタンパク質の配列であってもよい。試料590は、微量定量プレート、例えば、96ウェルプレートであってもよい。試料590の他の例は、集積回路ボード、電気泳動レコード、ペトリ皿、フィルム、半導体材料、法医学材料、または機械加工部品を含む。
対物レンズ600は、対物ポジショナ630上に取り付けられ、対物ポジショナ630は、一実施形態では、対物レンズ600によって定められた光学軸に沿って対物レンズ600を移動させるために非常に正確な線形モータを採用してもよい。例えば、対物レンズポジショナ630の線形モータは、50ナノメートルのエンコーダを含んでもよい。XYZ軸におけるステージ580および対物レンズ600の相対的な位置は、走査システム550の全体的な操作のためにコンピュータ実行可能プログラムされたステップを含む、情報および命令を記憶するためのメモリ565を採用するプロセッサ555の制御の下、動きコントローラ570を使用して閉ループ方式において調整および制御される。
一実施形態では、対物レンズ600は、望ましい最高空間分解能に対応する開口数を有する平面アポクロマート(「APO」)無限補正対物レンズであり、対物レンズ600は、透過モード照明顕微鏡検査、反射モード照明顕微鏡検査、および/または落射照明モード蛍光発光顕微鏡検査(例えば、Olympus 40X、0.75NAもしくは20X、0.75NA)に適切である。有利なことに、対物レンズ600は、色収差および球面収差を補正することが可能である。対物レンズ600が無限に補正されることを理由に、焦点調節光学系610は、対物レンズ600の上で光学経路605内に配置されることができ、対物レンズを通過する光ビームは平行光ビームとなる。焦点調節光学系610は、ライン走査カメラ615および/または領域走査カメラ620の光反応素子上で対物レンズ600によって捕捉された光信号の焦点を調節し、フィルタ、倍率変換器レンズなどの光学構成要素を含んでもよい。焦点調節光学系610と組み合わされた対物レンズ600は、走査システム550についての全倍率を提供する。一実施形態では、焦点調節光学系610は、チューブレンズおよび任意選択の2Xの倍率変換器を包含してもよい。有利なことに、2Xの倍率変換器は、本来の20Xの対物レンズ600が40Xの倍率で試料590を走査することを可能にする。
ライン走査カメラ615は、画像素子(「画素」)の少なくとも1つの線形配列を含む。ライン走査カメラは、モノクロまたはカラーであってもよい。カラーライン走査カメラは典型的には、少なくとも3つの線形配列を有し、モノクロライン走査カメラは、単一の線形配列または複数の線形配列を有してもよい。カメラの一部としてパッケージ化され、または撮像電子モジュールにカスタム統合されているかに関わらず、いずれかのタイプの単数または複数の線形配列も使用されることができる。例えば、3つの線形配列(「赤-緑-青」すなわち「RGB」)カラーライン走査カメラまたは96個の線形配列モノクロTDIも使用されてもよい。TDIライン走査カメラは典型的には、標本の前に撮像された領域から明度データを合計することによって、出力信号における大幅に良好な信号対雑音比(「SNR」)をもたらし、統合ステージの数の平方根に比例したSNRにおける増大を得る。TDIライン走査カメラは、複数の線形配列を含み、例えば、24個、32個、48個、64個、96個、またはそれよりも多い偶数の線形配列を有するTDIライン走査カメラが利用可能である。スキャナシステム550はまた、512個の画素を有するもの、1024個の画素を有するもの、および4096個の画素と同数の画素を有するその他を含む、様々なフォーマットにおいて製造された線形配列を支持する。同様に、様々な画素サイズを有する線形配列も、スキャナシステム550において使用されることができる。いずれかのタイプのライン走査カメラ615の選択のための突出した要件は、ステージ580の動きがライン走査カメラ615のライン速度と同期されることができ、その結果、試料590のデジタル画像の捕捉の間、ステージ580がライン走査カメラ615に対する動くことができることである。
ライン走査カメラ615によって生成された画像データは、メモリ565の一部に記憶され、試料590の少なくとも一部の連続するデジタル画像を生成するようにプロセッサ555によって処理される。連続するデジタル画像はさらに、プロセッサ555によって処理されることができ、改正された連続するデジタル画像もメモリ565に記憶されることができる。
2つ以上のライン走査カメラ615を有する実施形態では、ライン走査カメラ615のうちの少なくとも1つは、撮像センサとして機能するように構成されたライン走査カメラのうちの少なくとも1つとの組み合わせで動作する焦点調節センサとして機能するように構成されることができる。焦点調節センサは、撮像センサと同一の光学経路上に論理的に位置付けられることができ、または焦点調節センサは、スキャナシステム550の走査方向に対して撮像センサの前もしくは後に論理的に位置付けられてもよい。焦点調節センサとして機能する少なくとも1つのライン走査カメラ615を有するそのような実施形態では、焦点調節センサによって生成された画像データは、メモリ565の一部に記憶され、スキャナシステム550が試料590と対物レンズ600との間の相対的な距離を調節して、走査の間の試料上の焦点を維持することを可能にするために焦点調節情報を生成するように1つ以上のプロセッサ555によって処理される。
動作中、スキャナシステム550の様々な構成要素およびメモリ565に記憶されたプログラムされたモジュールは、スライドグラス585上に配置された試料590の自動走査およびデジタル化を可能にする。スライドグラス585は、試料590を走査するためのスキャナシステム550の可動ステージ580上に固定して配置される。プロセッサ555の制御の下、可動ステージ580は、ライン走査カメラ615による検知のために実質的に一定の速度に試料590を加速させ、ステージの速度は、ライン走査カメラ615のライン速度と同期される。画像データのストライプを走査した後、可動ステージ580は、試料590を減速させ、実質的に完全停止に至らせる。可動ステージ580は次いで、画像データの後続のストライプ、例えば、隣接するストライプの走査のために試料590を位置付けるように走査方向に直交して移動する。追加のストライプはその後、試料590の全体部分または試料590全体が走査されるまで走査される。
例えば、試料590のデジタル走査の間、試料590の連続するデジタル画像は、画像ストライプを形成するように共に組み合わされた複数の連続する視野として取得される。複数の隣接する画像ストライプは同様に、試料590の一部または全体の連続するデジタル画像を形成するように共に組み合わされる。試料590の走査は、垂直画像ストライプまたは水平画像ストライプを取得することを含んでもよい。試料590の走査は、上から下、下から上、またはその両方(双方向)のいずれかであってもよく、試料上のいずれかのポイントにおいて開始してもよい。代わりに、試料590の走査は、左から右、右から左、またはその両方(双方向)のいずれかであってもよく、試料上のいずれかのポイントにおいて開始してもよい。加えて、画像ストライプが隣接する方式または連続する方式において取得される必要はない。さらに、試料590の結果として生じる画像は、試料590の全体または試料590の一部のみの画像であってもよい。
一実施形態では、コンピュータ実行可能命令(例えば、プログラムされたモジュールおよびソフトウェア)がメモリ565に記憶され、実行されるとき、走査システム550が本明細書で説明される様々な機能を実行することを可能にする。この説明では、用語「コンピュータ可読記憶媒体」は、プロセッサ555による実行のためのコンピュータ実行可能命令を記憶し、走査システム550に提供するために使用されるいずれかの媒体を指すものとして使用される。それらの媒体の例は、メモリ565、および、例えば、ネットワーク(図示せず)を介して直接または間接的のいずれかで走査システム550と通信可能に結合されたいずれかの着脱可能または外部記憶媒体(図示せず)を含む。
図7Bは、電荷結合素子(「CCD」)配列として実装されてもよい、単一の線形配列640を有するライン走査カメラを例示する。単一の線形配列640は、複数の個々の画素645を含む。例示される実施形態では、単一の線形配列640は、4096個の画素を有する。代替的な実施形態では、線形配列640は、さらに多くのまたはさらに少ない画素を有してもよい。例えば、線形配列の共通フォーマットは、512個、1024個、および4096個の画素を含む。画素645は、線形配列640についての視野625を定めるために線形方式において配列される。視野のサイズは、スキャナシステム550の倍率に従って変化する。
図7Cは、各々がCCD配列として実装されてもよい、3つの線形配列を有するライン走査カメラを例示する。3つの線形配列は、カラー配列650を形成するように組み合わせる。一実施形態では、カラー配列650内の各々の個々の線形配列は、異なる色明度、例えば、赤、緑、または青を検出する。カラー配列650内の各々の個々の線形配列からのカラー画像データは、カラー画像データの単一の視野625を形成するように組み合わされる。
図7Dは、各々がCCD配列として実装されてもよい、複数の線形配列を有するライン走査カメラを例示する。複数の線形配列は、TDI配列655を形成するように組み合わせる。有利なことに、TDIライン走査カメラは、標本の前に撮像された領域から明度データを合計することによって、その出力信号における大幅に良好なSNRをもたらし、線形配列(統合ステージとも称される)の数の平方根に比例したSNRにおける増大を得る。TDIライン走査カメラは、より幅広い数の線形配列を含んでもよく、例えば、共通フォーマットのTDIライン走査カメラは、24個、32個、48個、64個、96個、120個、およびそれよりも多い偶数の線形配列を含む。
開示される実施形態の上記説明は、いずれかの当業者が本発明を作成または使用することを可能にするために提供される。それらの実施形態に対する様々な修正は、当業者にとって容易に明らかであり、本明細書で説明された一般的な原理は、本発明の精神または範囲から逸脱することなく他の実施形態に適用されることができる。よって、本明細書で提示される説明および図面は、本発明の現時点で好ましい実施形態を表し、したがって、本発明によって広く考慮される主題を表すことが理解されることになる。さらに、本発明の範囲は、当業者にとって明白になることができる他の実施形態を完全に包含し、したがって、本発明の範囲は限定されないことが理解されよう。

Claims (8)

  1. 撮像システムにおいて、
    試料領域およびラベル領域を有するスライドを支持し、可動に構成されたステージと、
    前記スライドの一部を撮像するように構成されたライン走査カメラと、
    第1の光学経路を定めるように前記ライン走査カメラに光学的に結合された第1のレンズと、
    第2の光学経路を定めるように前記ライン走査カメラに光学的に結合された第2のレンズと、
    前記第1の光学経路に対応する前記スライドの一部を透過モードで照射するように構成された第1の照明システムと、
    前記第1の光学経路に対応する前記スライドの一部を反射モードで照射するように構成された第2の照明システムと、
    前記第2の光学経路に対応する前記スライドの一部を透過モードで照射するように構成された第3の照明システムと、
    前記ステージの移動、前記ライン走査カメラの構成、前記ライン走査カメラによる画像捕捉、および、前記第1の照明システムと前記第2の照明システムと前記第3の照明システムとによる照射を制御するように構成されたプロセッサであって、前記プロセッサは、さらに、前記第1の光学経路に対する単一のステージ移動を行うように前記ステージを制御し、前記単一のステージ移動の間、前記スライドの全面スライド画像を捕捉するように前記ライン走査カメラを制御するように構成されたプロセッサと、
    を備え、
    前記全面スライド画像は、前記試料領域全体および前記ラベル領域全体を含み、
    第1の全面スライド画像は、前記スライドが前記第1の照明システムのみによって照射されている間に捕捉され、第2の全面スライド画像は、前記スライドが前記第2の照明システムのみによって照射されている間に捕捉され、
    前記スライドが前記第3の照明システムによって照明されている間、前記プロセッサは、前記ステージを制御し、前記第2の光学経路に対して複数のステージ移動を行い、前記スライドの複数の画像ストライプを捕捉するようにさらに構成され、
    前記単一のステージ移動および前記複数のステージ移動の方向は、前記第1の光学経路と前記第2の光学経路との間で前記ステージを移動させる方向に平行である、
    システム。
  2. 前記プロセッサは、前記複数の画像ストライプを組み合わせ、前記スライド上の標本の連続する画像とするようにさらに構成される、
    請求項1に記載のシステム。
  3. 前記プロセッサは、さらに、
    前記スライドの前記全面スライド画像のラベル領域部分を判定し、
    前記全面スライド画像から前記ラベル領域部分のみを含むラベル画像を生成する、
    ように構成される、
    請求項1または2に記載のシステム。
  4. 前記プロセッサは、さらに、
    前記スライドの前記全面スライド画像の標本領域部分を判定し、
    前記全面スライド画像から前記標本領域部分のみを含む標本画像を生成する、
    ように構成される、
    請求項1または2に記載のシステム。
  5. 撮像システムにおいて、
    試料領域およびラベル領域を有するスライドを支持し、可動に構成されたステージと、
    前記スライドの一部を撮像するように構成されたライン走査カメラと、
    第1の光学経路を定めるように前記ライン走査カメラに光学的に結合された第1のレンズと、
    第2の光学経路を定めるように前記ライン走査カメラに光学的に結合された第2のレンズと、
    前記第1の光学経路に対応する前記スライドの一部を透過モードで照射するように構成された第1の照明システムと、
    前記第1の光学経路に対応する前記スライドの一部を反射モードで照射するように構成された第2の照明システムと、
    前記第2の光学経路に対応する前記スライドの一部を透過モードで照射するように構成された第3の照明システムと、
    前記ステージの移動、前記ライン走査カメラの構成、前記ライン走査カメラによる画像捕捉、および、前記第1の照明システムと前記第2の照明システムと前記第3の照明システムとによる照射を制御するように構成されたプロセッサであって、前記プロセッサは、さらに、前記第1の光学経路に対する第1の方向での第1の双方向ステージ移動を行うように前記ステージを制御し、前記第1の双方向ステージ移動の間、第1の全面スライド画像を捕捉するように前記ライン走査カメラを制御するように構成され、前記プロセッサは、さらに、前記第1の光学経路に対する第2の方向での第2の双方向ステージ移動を行うように前記ステージを制御し、前記第2の双方向ステージ移動の間、第2の全面スライド画像を捕捉するように前記ライン走査カメラを制御するように構成されるプロセッサと、
    を備え、
    前記第1および第2の全面スライド画像は、前記試料領域全体および前記ラベル領域全体を含み、
    前記第1の全面スライド画像は、前記スライドが前記第1の照明システムのみによって照射されている間に捕捉され、
    前記第2の全面スライド画像は、前記スライドが前記第2の照明システムのみによって照射されている間に捕捉され、
    前記第1の双方向ステージ移動および前記第2の双方向ステージ移動の方向は、前記第1の光学経路と前記第2の光学経路との間で前記ステージを移動させる方向に平行である、
    システム。
  6. 前記プロセッサは、さらに、
    前記ステージが第1の方向に移動している間、前記第1の全面スライド画像を捕捉する前に第1の方向の画像捕捉のために前記ライン走査カメラを制御し、
    前記ステージが第2の方向に移動している間、前記第2の全面スライド画像を捕捉する前に第2の方向の画像捕捉のために前記ライン走査カメラを制御する、
    ように構成される、
    請求項5に記載のシステム。
  7. 前記プロセッサは、さらに、
    前記ステージが前記第1の方向に移動している間、前記第1の照明システムを使用して前記スライドを照射し、
    前記ステージが前記第2の方向に移動している間、前記第2の照明システムを使用して前記スライドを照射する、
    ように構成される、
    請求項6に記載のシステム。
  8. 前記プロセッサは、さらに、
    前記第1の全面スライド画像から標本領域部分のみを含む標本画像を生成し、
    前記第2の全面スライド画像からラベル領域部分のみを含むラベル画像を生成する、
    ように構成される、
    請求項5から7のいずれかに記載のシステム。
JP2021148134A 2016-12-30 2021-09-10 二重光学経路および単一撮像センサを使用した低解像度スライド撮像、スライドラベル撮像および高解像度スライド撮像 Active JP7167276B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662440604P 2016-12-30 2016-12-30
US62/440,604 2016-12-30
JP2019535904A JP2020507106A (ja) 2016-12-30 2017-12-29 二重光学経路および単一撮像センサを使用した低解像度スライド撮像、スライドラベル撮像および高解像度スライド撮像

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019535904A Division JP2020507106A (ja) 2016-12-30 2017-12-29 二重光学経路および単一撮像センサを使用した低解像度スライド撮像、スライドラベル撮像および高解像度スライド撮像

Publications (2)

Publication Number Publication Date
JP2021193459A JP2021193459A (ja) 2021-12-23
JP7167276B2 true JP7167276B2 (ja) 2022-11-08

Family

ID=62710769

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019535904A Pending JP2020507106A (ja) 2016-12-30 2017-12-29 二重光学経路および単一撮像センサを使用した低解像度スライド撮像、スライドラベル撮像および高解像度スライド撮像
JP2021148134A Active JP7167276B2 (ja) 2016-12-30 2021-09-10 二重光学経路および単一撮像センサを使用した低解像度スライド撮像、スライドラベル撮像および高解像度スライド撮像

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019535904A Pending JP2020507106A (ja) 2016-12-30 2017-12-29 二重光学経路および単一撮像センサを使用した低解像度スライド撮像、スライドラベル撮像および高解像度スライド撮像

Country Status (5)

Country Link
US (3) US10409049B2 (ja)
EP (1) EP3563292A4 (ja)
JP (2) JP2020507106A (ja)
CN (2) CN110140129B (ja)
WO (1) WO2018126138A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018126138A1 (en) * 2016-12-30 2018-07-05 Leica Biosystems Imaging, Inc. Low resolution slide imaging and slide label imaging and high resolution slide imaging using dual optical paths and a single imaging sensor
ES2928577T3 (es) * 2017-09-29 2022-11-21 Leica Biosystems Imaging Inc Barrido en Z fijo bidimensional y tridimensional
WO2019068039A1 (en) 2017-09-29 2019-04-04 Leica Biosystems Imaging, Inc. MACRO-IMAGE WITH TWO PASSAGES
US11977215B2 (en) * 2018-11-02 2024-05-07 Hologic, Inc. Digital imaging system and method
CN113366364A (zh) * 2019-08-06 2021-09-07 徕卡生物系统成像股份有限公司 载玻片扫描系统中的实时聚焦
US11704003B2 (en) 2019-08-06 2023-07-18 Leica Biosystems Imaging, Inc. Graphical user interface for slide-scanner control
WO2024081816A1 (en) * 2022-10-14 2024-04-18 Alpenglow Biosciences, Inc. Apparatuses, systems, and methods for processing of three dimensional optical microscopy image data

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003084203A (ja) 2001-09-12 2003-03-19 Nikon Corp 顕微鏡装置
JP2004514920A (ja) 2000-05-03 2004-05-20 ダーク・ソーンクセン 全自動迅速顕微鏡用スライドスキャナ
US20090160994A1 (en) 2004-05-25 2009-06-25 Leica Microsystems Cms Gmbh System for recording and representing images of preparations
JP2009528580A (ja) 2006-03-03 2009-08-06 3ディーヒステック ケイエフティー. スライドをディジタル撮影する方法及びそのための自動ディジタル画像記録システム
JP2011053362A (ja) 2009-08-31 2011-03-17 Sony Corp 組織切片像取得表示装置、組織切片像取得表示方法及び組織切片像取得表示プログラム
JP2012003004A (ja) 2010-06-16 2012-01-05 Olympus Corp 画像取得装置および画像取得方法
JP2012021852A (ja) 2010-07-13 2012-02-02 Olympus Corp 基板検査装置および基板検査方法
JP2012042657A (ja) 2010-08-18 2012-03-01 Canon Inc 顕微鏡

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3854665B2 (ja) * 1996-08-30 2006-12-06 オリンパス株式会社 顕微鏡
US7738688B2 (en) * 2000-05-03 2010-06-15 Aperio Technologies, Inc. System and method for viewing virtual slides
AU2003900924A0 (en) 2003-02-28 2003-03-13 Medsaic Pty Ltd Imaging device
WO2005048169A2 (en) * 2003-11-14 2005-05-26 Sick Auto Ident Inc. Scanning imaging system and method for imaging articles using same
JP4917331B2 (ja) * 2006-03-01 2012-04-18 浜松ホトニクス株式会社 画像取得装置、画像取得方法、及び画像取得プログラム
EP3764085A3 (en) 2008-10-24 2021-03-24 Leica Biosystems Imaging Inc. Whole slide fluorescence scanner
CA2756045A1 (en) * 2009-03-20 2010-09-23 Biorad Laboratories, Inc. Serial-line-scan-encoded multi-color fluorescence microscopy and imaging flow cytometry
WO2011049608A2 (en) * 2009-10-19 2011-04-28 Bioimagene, Inc. Imaging system and techniques
US10139613B2 (en) * 2010-08-20 2018-11-27 Sakura Finetek U.S.A., Inc. Digital microscope and method of sensing an image of a tissue sample
US8175452B1 (en) * 2010-10-26 2012-05-08 Complete Genomics, Inc. Method and system for imaging high density biochemical arrays with sub-pixel alignment
US8923568B2 (en) * 2011-07-13 2014-12-30 Leica Biosystems Imaging, Inc. Standardizing fluorescence microscopy systems
US9575308B2 (en) * 2012-03-23 2017-02-21 Huron Technologies International Inc. Slide scanner with dynamic focus and specimen tilt and method of operation
ES2953897T3 (es) * 2012-05-02 2023-11-16 Leica Biosystems Imaging Inc Enfoque en tiempo real en imagenología de exploración lineal
CN202854042U (zh) * 2012-09-29 2013-04-03 帝麦克斯(苏州)医疗科技有限公司 光学扫描显微镜系统
US9288395B2 (en) * 2012-11-08 2016-03-15 Apple Inc. Super-resolution based on optical image stabilization
EP3014331A4 (en) * 2013-06-26 2017-01-25 Huron Technologies International Inc. Preview station and method for taking preview images of microscope slides
JP2017506367A (ja) * 2013-11-15 2017-03-02 マイクロスキャン テクノロジーズ,インク. 地質学のスキャナ
DE102014115540A1 (de) * 2014-10-24 2016-04-28 Sick Ag Kamera und Verfahren zur Erfassung von Objekten
WO2018126138A1 (en) 2016-12-30 2018-07-05 Leica Biosystems Imaging, Inc. Low resolution slide imaging and slide label imaging and high resolution slide imaging using dual optical paths and a single imaging sensor

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004514920A (ja) 2000-05-03 2004-05-20 ダーク・ソーンクセン 全自動迅速顕微鏡用スライドスキャナ
JP2003084203A (ja) 2001-09-12 2003-03-19 Nikon Corp 顕微鏡装置
US20090160994A1 (en) 2004-05-25 2009-06-25 Leica Microsystems Cms Gmbh System for recording and representing images of preparations
JP2009528580A (ja) 2006-03-03 2009-08-06 3ディーヒステック ケイエフティー. スライドをディジタル撮影する方法及びそのための自動ディジタル画像記録システム
JP2011053362A (ja) 2009-08-31 2011-03-17 Sony Corp 組織切片像取得表示装置、組織切片像取得表示方法及び組織切片像取得表示プログラム
JP2012003004A (ja) 2010-06-16 2012-01-05 Olympus Corp 画像取得装置および画像取得方法
JP2012021852A (ja) 2010-07-13 2012-02-02 Olympus Corp 基板検査装置および基板検査方法
JP2012042657A (ja) 2010-08-18 2012-03-01 Canon Inc 顕微鏡

Also Published As

Publication number Publication date
CN110140129A (zh) 2019-08-16
US10809514B2 (en) 2020-10-20
JP2021193459A (ja) 2021-12-23
EP3563292A4 (en) 2020-08-12
US20210048659A1 (en) 2021-02-18
US10409049B2 (en) 2019-09-10
EP3563292A1 (en) 2019-11-06
US20180188517A1 (en) 2018-07-05
CN110140129B (zh) 2023-10-17
JP2020507106A (ja) 2020-03-05
CN117218432A (zh) 2023-12-12
US20200026056A1 (en) 2020-01-23
WO2018126138A1 (en) 2018-07-05
US11347044B2 (en) 2022-05-31

Similar Documents

Publication Publication Date Title
JP7167276B2 (ja) 二重光学経路および単一撮像センサを使用した低解像度スライド撮像、スライドラベル撮像および高解像度スライド撮像
KR102523559B1 (ko) 디지털 스캐닝 장치
JP6985506B2 (ja) リアルタイムオートフォーカス合焦アルゴリズム
CN111164484B (zh) 双程微距图像
JP7184983B2 (ja) 二次元および三次元の固定式z走査
JP2023065612A (ja) ハイスループットな実験室環境において複数の走査装置を管理するためのシステムおよび方法
JP6952891B2 (ja) 2×3および1×3スライド用のカルーセル
CN111527438B (zh) 冲击重新扫描系统
CN111279242B (zh) 双处理器图像处理

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211007

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221026

R150 Certificate of patent or registration of utility model

Ref document number: 7167276

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150