JP6865740B2 - ライン走査イメージングにおけるリアルタイム合焦 - Google Patents

ライン走査イメージングにおけるリアルタイム合焦 Download PDF

Info

Publication number
JP6865740B2
JP6865740B2 JP2018515597A JP2018515597A JP6865740B2 JP 6865740 B2 JP6865740 B2 JP 6865740B2 JP 2018515597 A JP2018515597 A JP 2018515597A JP 2018515597 A JP2018515597 A JP 2018515597A JP 6865740 B2 JP6865740 B2 JP 6865740B2
Authority
JP
Japan
Prior art keywords
sensor
image
focus
focusing
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018515597A
Other languages
English (en)
Other versions
JP2018534610A5 (ja
JP2018534610A (ja
Inventor
ゾウ ユンルー
ゾウ ユンルー
オルソン アレン
オルソン アレン
サリグラマ キラン
サリグラマ キラン
チェン ルディ
チェン ルディ
ナジマバディ ペイマン
ナジマバディ ペイマン
クランダル グレッグ
クランダル グレッグ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Biosystems Imaging Inc
Original Assignee
Leica Biosystems Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Biosystems Imaging Inc filed Critical Leica Biosystems Imaging Inc
Publication of JP2018534610A publication Critical patent/JP2018534610A/ja
Publication of JP2018534610A5 publication Critical patent/JP2018534610A5/ja
Application granted granted Critical
Publication of JP6865740B2 publication Critical patent/JP6865740B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/40Optical focusing aids
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/02Objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/18Arrangements with more than one light path, e.g. for comparing two specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/245Devices for focusing using auxiliary sources, detectors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/34Microscope slides, e.g. mounting specimens on microscope slides
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Description

関連出願の相互参照
本願は、2015年9月24日に出願され、「Real−Time Focusing in Line Scan Imaging」と題する米国仮特許出願第62/232,229号の優先権を主張し、その全体が参照により本明細書に援用される。
本願は、2014年10月31日に出願された米国特許出願第14/398,443号に関連し、該特許出願は、2013年3月13日に出願された国際特許出願第PCT/US2013/031045号、および2012年5月2日に出願された米国仮特許出願第61/641,788号の優先権を主張し、これらすべての全体が参照により本明細書に援用される。
発明の分野
本発明は概してデジタル病理学に関し、より具体的には、ライン走査イメージングでリアルタイム合焦を実行するための独立した多重線形センサ装置に関する。
顕微鏡撮像システムにおける大部分の自動焦点方法は、2つのカテゴリ、つまりスライド位置を検知するためのレーザーベースの干渉計、および画像内容分析に分けることができる。レーザーベースの干渉計方法では、スライド表面からのレザービームの反射を測定することはスライド位置またはカバースリップ位置の全体のフォーカス情報だけしか提供できない。それは高さが大きく変動する組織試料に対して合焦精度に欠ける。さらに、画像内容分析方法は異なる焦点深度での複数の画像取得を必要とし、最良の焦点を決定するために画像を比較するためのアルゴリズムを使用する。しかしながら、異なる焦点深度で複数の画像を取得することは、合焦と撮像との間に時間遅延を生じさせることがある。したがって、必要とされるのは、上述の従来の方法に見られるこれらの重大な問題を克服するシステムおよび方法である。
実施形態では、試料のデジタル画像を取得するために試料を走査するためのシステムが開示される。システムは、試料を支持するように構成されたステージと、ステージに直交する単一の光軸を有する対物レンズと、撮像センサと、合焦センサと、対物レンズに光学的に結合され、対物レンズの光軸に対応する視野を受け入れ、視野の少なくとも1つの第1の部分を撮像センサに、および視野の少なくとも1つの第2の部分を合焦センサに同時に提供するように構成された少なくとも1つの第1のビームスプリッタとを備えてよい。
合焦センサは光路に沿った視野の第2の部分を受け入れてよく、合焦センサは光路に対して斜めに傾けられ、これにより視野の第2の部分は異なる焦点距離を表すピクセルを含む画像として合焦センサによって取得される。さらに、合焦センサは複数の領域を含んでよく、合焦センサの各領域は別個の光路に沿った視野の第2の部分を受け入れ、合焦センサは別個の光路のそれぞれに対して斜めに傾けられ、それによって視野の第2の部分は、合焦センサの他の領域におけるものとは異なる焦点距離で合焦センサの各領域によって取得される。
代わりに、合焦センサは複数の領域を含んでよく、合焦センサの各領域は別個の光路に沿った視野の第2の部分を受け入れ、合焦センサは別個の光路のそれぞれに対して直交し、別個の光路のそれぞれは異なる焦点距離を有し、これにより視野の第2の部分は、合焦センサの他の領域におけるものとは異なる焦点距離で合焦センサの各領域によって取得される。
代わりに、合焦センサは第1の部分および第2の部分を含んでよく、合焦センサの第1の部分は、第1の光路に沿った視野の第2の部分を受け入れ、第1の光路に対して第1の角度で傾けられ、合焦センサの第2の部分は、第1の光路とは別個である第2の光路に沿った視野の第2の部分を受け入れ、第2の光路に対して、第1の角度と逆である第2の角度で傾けられる。
代わりに、合焦センサは第1の領域および第2の領域を含んでよく、第1の領域は第1の光路に沿った視野の第2の部分を受け入れ、第2の領域は第2の光路に沿った視野の鏡像化された第2の部分を受け入れ、合焦センサは第1の光路および第2の光路のそれぞれに対して斜めに傾けられる。
代わりに、傾斜センサを非傾斜センサで置換し、ウェッジプリズムを非傾斜センサの前に設置することができる。傾斜角は負の値、ゼロ値、または正の値であり得る。
代わりに、合焦センサはセンサの部分であってよく、ウェッジ光学系をその前に有してセンサ軸に沿ったセンサのこの合焦部分を範囲とする焦点変動を生じさせる。一方、センサの他の部分は撮像センサとして機能する。
さらに、システムは、走査される試料のそれぞれの部分について合焦センサから試料の部分の合焦画像を取得し、合焦センサの複数の位置のそれぞれについて合焦センサのその位置に対応する合焦画像の領域のコントラスト測度を計算し、コントラスト測度のピークを決定し、合焦センサ上の1つの同焦点の点でコントラスト測度にピークを与える対物レンズの位置を決定するように構成されるプロセッサを含んでよい。
別の実施形態では、自動リアルタイム合焦のための方法が開示される。方法は、走査される試料のそれぞれの部分について、試料の部分が撮像センサによって検知される前に、検知されるのと同時に、または検知された後に、合焦センサから試料の部分の合焦画像の一部分を取得するためにスライドスキャナでプロセッサを使用することを含んでよく、合焦センサによって検知される視野の一部分は、撮像センサによって検知される視野の一部分から偏位され、これにより走査方向では、合焦センサは視野の一部分を、撮像センサが視野のその同じ部分を検知する前に、検知するのと同時に、または検知した後に検知し、合焦センサ上の1つの点は撮像センサと同一焦点であり、合焦センサに複数の位置のそれぞれについて、合焦センサのその位置に対応する合焦画像の領域のコントラスト測度を計算し、コントラスト測度のピークを決定し、合焦センサでの同一焦点の点でコントラスト測度にピークを与える対物レンズの位置を決定し、決定された位置に対物レンズを移動し、対物レンズが決定された位置にある間に撮像センサから試料の部分の画像を取得するためにスライドスキャナのプロセッサを使用することを含んでよい。
別の実施形態では、命令が記憶されている非一時的のコンピュータ可読媒体が開示される。プロセッサによる実行時、命令は、プロセッサに、走査される試料のそれぞれの部分について、試料の部分が撮像センサによって取得される前に、取得されるのと同時に、または取得された後に、合焦センサから試料の部分の合焦画像を取得させ、合焦センサによって検知される視野の一部分は、撮像センサによって検知される視野の一部分から偏位され、これにより走査方向で、合焦センサは視野の一部分を、撮像センサが視野のその同じ部分を検知する前に、検知するのと同時に、または検知した後に検知し、上の1つのポイントは撮像センサと同一焦点であり、合焦センサの複数の位置のそれぞれについて、合焦センサのその位置に対応する合焦画像の領域のコントラスト測度を計算させ、コントラスト測度のピークを決定させ、合焦センサ上の同焦点の点でコントラスト測度のピークを与える対物レンズの位置を決定させ、対物レンズを決定された位置に移動させ、対物レンズが決定された位置にある間に撮像センサから試料の部分の画像を取得させる。
別の実施態様では、合焦画像からのコントラスト測度とメイン画像からのコントラスト測度の関係(例えば、差異または割合)が定義され、この関係のピークが決定され、それによって同焦点の点に対する対物レンズの位置を決定する。
開示される実施形態の他の特長および利点は、以下の発明を実施するための形態および添付の図面から当業者に容易に明らかになるであろう。
実施形態の構造および動作は、以下の発明を実施するための形態および添付図面を検討することから理解されるであろう。図面では類似の参照番号は類似する部分を指す。
一実施形態に係る、走査システムの側面構成例を示すブロック図である。 実施形態に係る、照明の半径および円形の光学視野に関して合焦センサおよび撮像センサの構成例を示すブロック図である。 一実施形態に係る撮像センサの上面構成例を示すブロック図である。 本発明による傾斜合焦センサの上面構成例を示すブロック図である。 実施形態に従って、センサの半分が通常の画像を生じさせるために使用され、他の半分が、画像全体で多様な焦点深度を有する画像を生じさせるために使用されるセンサの例を示すブロック図である。 一実施形態に従って、傾斜合焦センサの上面構成例を示すブロック図である。 実施形態に従って、合焦センサと撮像センサとの間の相互動作の例を示す時間チャート図である。 実施形態に従って、集束光学系を有する傾斜合焦センサの例を示すブロック図である。 実施形態に従って、集束光学系を有する傾斜していない合焦センサの例を示すブロック図である。 実施形態に従って、集束光学系を有する傾斜していない合焦センサの例を示すブロック図である。 実施形態に従って、集束光学系を有する傾斜していない合焦センサの例を示すブロック図である。 実施形態に従って、ピーク発見アルゴリズムからの例の結果を示す図である。 実施形態に従って、傾斜合焦センサと撮像センサの焦点関係を示す図である。 実施形態に従って、傾斜合焦センサおよび撮像センサのコントラスト関数の関係を示す図である。 実施形態に従って、傾斜合焦センサおよび撮像センサのコントラスト関数の関係を示す図である。 実施形態に従って、傾斜合焦センサおよび撮像センサのコントラスト関数の関係を示す図である。 実施形態に従って、2つの傾斜ラインセンサを備える傾斜合焦センサの例を示す図である。 一実施形態に従って、逆転された画像を取得するための集束光学系を有する傾斜合焦センサの例を示すブロック図である。 一実施形態に従って、逆転された画像を取得するための集束光学系を有する傾斜合焦センサの例を示すブロック図である。 実施形態に従って、合焦センサによって取得される2つの画像の焦点距離の指向性を示す図である。 実施形態に従って、合焦センサによって取得される2つの逆転画像のコントラスト関数を示す図である。 実施形態に係るリアルタイム合焦プロセスの流れ図である。 実施形態に従って、顕微鏡スライドスキャナの例を示すブロック図である。 一実施形態に係る代替の顕微鏡スライドスキャナの例を示すブロック図である。 実施形態に係る線形センサアレイの例を示すブロック図である。 本明細書に説明される多様な実施形態に関連して使用され得る、例の有線または無線の、プロセッサによって有効にされた装置を示すブロック図である。
ある特定の実施形態は、画像内容分析に基づいており、正確なリアルタイムオートフォーカスのために線映像法および線焦点法を利用する。一実施形態では、ライン走査の帰線プロセスの間にフルストライプ合焦(full stripe focusing)が実行される。代替の実施形態では、合焦は画像走査中に実行される。両方の実施形態とも画像走査における時間遅延を排除し、それによってデジタル画像走査プロセス全体を加速する。さらに、ある特定の実施形態は複数の線形検出器または他の構成要素を使用し、ライン走査イメージングでリアルタイム(つまり、瞬時のまたはほぼ瞬時の)合焦を提供する。この説明を読んだ後、多様な代替の実施形態をどのようにして実施し、それらの実施形態を代替用途においてどのようにして使用するのかが当業者には明らかになる。しかし、本明細書では多様な実施形態が記載されるが、これらの実施形態は制限ではなくほんの一例として提示されることが理解される。したがって、多様な実施形態の本発明を実施するための形態は、添付の特許請求の範囲に記載された本願の範囲または広がりを制限するものと解釈されるべきではない。
実施形態では、試料(例えば、ガラス顕微鏡スライド上に準備された組織試料)のために1つ以上の焦点が決定される。例えば、マクロ焦点または複数の焦点が試料のために決定されてよい。具体的には、試料上の1つ以上の位置が決定されてよい。これらの位置のそれぞれについて、試料は(例えば、電動式ステージによって)X軸およびY軸に沿って移動され、これにより試料上のその位置は対物レンズの下に位置する。代替の実施形態では、対物レンズはX軸およびY軸に沿って移動されてよい、または対物レンズと試料の両方ともX軸およびY軸に沿って移動されてよく、これにより対物レンズは試料の各位置の上方に位置する。いずれの場合でも、位置ごとに、その位置での試料の領域の画像は、対物レンズが複数の焦点高さを通して、Z軸に沿って(つまり、X軸とY軸の両方に直交して)移動されるにつれ、試料がX軸およびY軸で静止している間に、対物レンズと光学的に結合された合焦センサを介して複数の焦点高さで取得されてよい。ソフトウェアが、位置の複数の焦点高さで取得される画像に基づいて、位置ごとに最良の焦点高さを計算するために使用されてよい。リアルタイム合焦機構は次いで、試料全体を走査している間に、フィードバックループを介して、対応する位置での計算された最良の焦点高さで対物レンズを制約してよい。用語「焦点高さ」または「Z高さ」は試料に対する対物レンズの距離を説明するために通して使用されてよいが、この用語が、開示されている実施形態を試料上方に配置された対物レンズに制限するのではなく、代わりに、互いに対するその向きとは関係なく対物レンズと試料の平面との間の距離を表す任意の距離を包括することを理解されたい。
図1は、一実施形態に係る走査システム11の側面構成例を示すブロック図である。示されている実施形態では、走査システム11は、電動式ステージ(図示せず)上に設置され、照明システム(図示せず)によって照明されて、走査方向65に移動される試料120(例えば、ガラス顕微鏡スライド上で準備された組織試料)を含む。対物レンズ130は、試料120で訓練される光学視野(FOV)250を有し、スライド上の標本を通過し、スライド上の標本に反射し、スライド上の標本から発光する、またはそれ以外の場合対物レンズ130を通過する照明システムからの光に光路を与える。
図1は、空間内の撮像センサ20と合焦センサ30との間の相対位置を示す。光は対物レンズ130を通ってビームスプリッタ140まで光路上を移動し、該ビームスプリッタは光の一部がレンズ160を通過し、撮像センサ20まで到達することを可能にする。図1に示されるように、光はレンズ160と撮像センサ20の間で(例えば90°で)ミラー150によって曲げられてよい。撮像センサ20は、例えば電荷結合素子(CCD)またはライン相補型金属酸化物半導体(CMOS)素子であってよい。
さらに、光の一部はビームスプリッタ140からレンズ165を通って合焦センサ30に移動する。図1に示されるように、この光は対物レンズ130とレンズ165との間で(例えば、90°で)ビームスプリッタ140によって曲げられてよい。また、合焦センサ30は、例えばライン電荷結合素子(CCD)またはラインCMOS素子であってもよい。
実施形態では、撮像センサ20まで移動する光、および合焦センサ30まで移動する光は、それぞれ対物レンズ130からの完全な光学視野250を表す。システムの構成に基づいて、試料120の走査方向65は、論理走査方向60が、対物レンズ130の光学視野250にそれぞれの合焦センサ30および撮像センサ20を通過させるように、撮像センサ20および合焦センサ30に対して論理的に配向される。
図2は、実施形態に従って、円形照明半径240を有する光学視野250に関する合焦センサ30および撮像センサ20の構成例を示すブロック図である。示されている実施形態では、合焦センサ30の配置は、撮像センサ20および論理走査方向60に対して示されている。この場合、走査方向60は、ステージまたは標本(例えば、組織試料)が空間内でセンサ30およびセンサ20に対して移動している方向を指す。示されているように、撮像センサ20は対物レンズ130の光学視野250の中心に置かれる。一方、合焦センサ30は対物レンズ130の光学視野250の中心から偏位される。合焦センサ30が対物レンズ130の光学視野250の中心から偏位される方向は、論理走査方向60の反対である。この設置は撮像センサ20の前方で合焦センサ30を論理的に配向し、これによりスライド上の標本が走査されるにつれ、合焦センサ30は、撮像センサ20がその同じ画像データを検知する前に、検知するのと同時に、または検知した後に画像データを検知する。したがって、試料120の所与の部分(例えば、線)は最初に合焦センサ30に到達し、その後2番目に撮像センサ20に到達する。
撮像センサ20および合焦センサ30が、例えばビームスプリッタを使用し、同じ平面上に投影されるとき、合焦センサ30は、論理走査方向60の観点から一次撮像センサ20の前方の場所で光学視野250の、半径Rを有する照明円の中にある。したがって、組織試料の断面のビューが合焦センサ30を通過するとき、焦点データが取り込まれ得、対物レンズ130の焦点高さが、組織試料の同じ断面のビューが撮像センサ20を通過する時点の前に、通過する時点と同時に、または通過する時点の後に、1つ以上の所定のアルゴリズムに基づいて計算できる。焦点データおよび対物レンズ130の計算された焦点高さは、組織試料の同じ断面図が対物レンズ130を介して撮像センサ20によって検知される前に、(例えばコントローラによって)試料120からの対物レンズ130の高さを制御するために使用できる。このようにして、撮像センサ20は、対物レンズ130が計算された焦点高さにある間に組織試料の断面のビューを検知する。
円形の照明半径240は、好ましくは合焦センサ30と撮像センサ20の両方を範囲とする光学視野250を照明する。半径240は、試料120の視野および焦点光路M合焦の光学倍率の関数である。関数は、以下のように表現することができる。
2R=FOV×M合焦
例えば、M合焦=20およびFOV=1.25mm(例えば、Leica PlanApo 20x対物レンズ)の場合、R=12.5mmである。撮像センサ20は、最良の画像品質のために光学視野250の中央に投影される。一方、合焦センサ30は撮像センサ20から距離hだけ、光学視野250の中心に対して偏位される。合焦センサ30の距離h、半径R、および長さLには以下の関係がある。
h≦平方根(R−(L/2)
例えば、センサ長=20.48mmおよびR=12.5mmの場合、h≦7.2mmである。h>0のとき、試料120の任意の所与の領域は、最初に合焦センサ30によって、2番目に撮像センサ20によって検知されるのに対して、h<0であるとき、試料120の所与の領域は、最初に撮像センサ20によって、2番目に合焦センサ30によって検知されることを理解されたい。h=0である場合、ステージがスライド走査方向65に沿って移動する際、試料120の所与の領域は撮像センサ20および合焦センサ30によって同時に検知される。実施形態では、試料120の同じ領域の複数の線画像の平均がその領域の線画像として使用されてよい。
複数のカメララインを取り込むため、焦点高さ計算のため、および対物レンズ130を正しい焦点高さに移動するための合焦センサ30の利用可能時間tは、合焦センサ30と撮像センサ20との間の距離h、倍率M合焦、および走査速度vの関数である。
v×t=h/M合焦
例えば、4.6mm/秒の走査速度の場合、利用可能な最大時間は、M合焦=20およびh=7.22mmの場合、約78.3ミリ秒である。焦点計算に利用可能な、合焦センサ30によって取り込まれるカメララインの最大数は以下のとおりである。
N=t×κ、ただしκは合焦センサ30のライン速度である。
例えば、18.7kHzのカメラライン速度の場合、N最大=1,464ラインであり、対物レンズ130は同じ高さに留まる。それ以外の場合、対物レンズ130が次の焦点高さに移動できるようにするためにN<N最大である。
高レベルでは、試料120(例えば、組織試料)はX方向で対物レンズ130の下を通過する。試料120の一部分が照明されて、試料120の一部分のZ方向での(つまり、試料120のX−Y平面に垂直に)照明されている光学視野250を生じさせる。照明されている光学視野250は、例えばビームスプリッタ140を使用し、合焦センサ30と撮像センサ20の両方に光学的に結合される対物レンズ130を通過する。合焦センサ30および撮像センサ20は配置され、合焦センサ30は、撮像センサ20が同じ領域またはラインを受け入れる前に、受け入れるのと同時に、または受け入れた後に光学視野250の領域またはラインを受け入れるようになる。言い換えると、合焦センサ30が画像データの第1のラインを受け入れている際、撮像センサ20は同時に、前に合焦センサ30によって受け入れられ、画像データの第1のラインから試料上距離h/M合焦である画像データの第2のラインを受け入れている。合焦センサ30が画像データの第1のラインを受け入れた後に撮像センサ20が画像データの第1のラインを受け入れるには期間Δtを要し、Δtは試料120が論理走査方向60で距離h/M合焦だけ移動するのに要する時間を表す。
期間Δtの間、走査システム10のプロセッサは画像データの第1のラインのZ方向で最適焦点高さを計算し、撮像センサ20が画像データの第1のラインを受け入れる前、受け入れたとき、または受け入れた後に対物レンズ130を計算された最適焦点距離に調整する。
実施形態では、合焦センサ30は撮像センサ20とは別個であり、光学撮像経路に垂直な方向に対して角度θで傾けられる。したがって、画像データのラインごとに、合焦センサ30は複数のZ高さ値で画像データのピクセルを同時に受け入れる。プロセッサは、次いで画像データのラインの中で最良の焦点を有する(例えば、画像データのラインの中の他のピクセルに対して最高のコントラストを有する)ピクセル(複数可)を決定してよい。最適Z高さ値が決定された後、プロセッサまたは他のコントローラは、撮像センサ20が画像データの同じラインを受け入れる前に、受け入れるのと同時に、または受け入れた後に、対物レンズ130をZ方向で決定された最適Z高さ値に移動してよい。
上述のように、合焦センサ30は、対物レンズ130からの光が複数のZ高さ値で合焦センサ30によって検知されるように光学視野内で傾けられてよい。図3Aは、一実施形態に係る、撮像光路210に関する撮像センサ20の上面構成例を示すブロック図である。図3Bは、一実施形態に係る、合焦光路200に関する、傾けられた合焦センサ30の例の上面構成を示すブロック図である。図3Bで分かるように、合焦センサ30は、合焦光路200に垂直な方向に関して角度θで傾けられている。図3Cは、センサの半分がメイン画像を取得するために使用され、センサの他の半分が合焦画像を取得するために使用されるセンサの例を示すブロック図である。
したがって、傾斜合焦センサ30に投影され、傾斜合焦センサ30により画像データのラインとして取得される画像は可変の鮮鋭さまたはコントラストを有する。画像データのこのラインは、傾斜合焦センサ30の特定の領域またはピクセル場所でその最高の焦点(例えば、最大の鮮鋭さまたはコントラスト)を有する。傾斜合焦センサ30の各領域またはピクセル場所は、対物レンズ130のZ高さに直接的にマッピングされる、またはそれ以外の場合相互に関連付けられ、これにより対物レンズ130のZ高さは傾斜合焦センサ30の特定のピクセル場所から決定されてよい。したがって、いったん最高の焦点(例えば、最高のコントラスト)のピクセル場所が決定されると、最高の焦点を提供する対物レンズ130のZ高さは、最高の焦点のそのピクセル場所にマッピングされる対物レンズ130のZ高さを識別することによって決定されてよい。したがって、フィードバックループが構築されてよい。このフィードバックループによって、試料120の所与の領域について、対物レンズ130の位置は、撮像センサ20が試料120の同じ領域を検知する前に、検知するときに、または検知した後にその領域の最高の焦点を有する傾斜合焦センサ30上の位置につねに対応するように(例えば、対物レンズ130の高さを増加または減少させることによって)自動的に制御されてよく、これにより撮像センサ20によって撮像されている試料120の領域はつねに利用可能な最高の焦点になる。
図4は、一実施形態に従って傾斜合焦センサ30の例を示すブロック図である。示されている実施形態では、傾斜合焦センサ30は組織試料(約20μm)上の合焦範囲(z)の中に複数のセンサピクセル218を含む。図4に示されるように、傾斜合焦センサ30は、Z方向の合焦範囲(z)全体が、光学系によってY方向の傾斜合焦センサ30のセンサピクセル218のアレイ全体に移送される場所に配置されてよい。各センサピクセル218の場所は、対物レンズ130のZ高さに直接的に相互に関連付けられる、またはマッピングされる。図4に示されるように、投影合焦範囲(d)を横切る各破線、p, p, …p…pは異なる焦点値を表し、対物レンズ130の異なる焦点高さに対応する。試料の所与の領域の最高焦点を有するpは、試料120のその領域について対物レンズ130の最適焦点高さを決定するために走査システム11によって使用できる。
傾斜合焦センサ30の投影合焦範囲(d)と試料120上の合焦範囲(z)の関係は、d=z×M合焦 で表され、M合焦は合焦経路の光学倍数である。例えば、z=20μmおよびM合焦=20の場合、d=8mmである。
線形アレイセンサである傾斜合焦センサ30によって投影合焦範囲(d)全体を範囲とするために、傾斜角θはsinθ=d/Lという関係に従わなければならず、この式ではLは合焦センサ30の長さである。d=8mmおよびL=20.48mmを使用すると、θ=23.0°である。θおよびLは、傾斜合焦センサ30が合焦範囲(z)全体を範囲とする限り変化できる。
合焦解像度、つまりZ軸に沿った焦点高さ動きΔzの最小ステップはセンサピクセルサイズ、e=最小(ΔL)の関数である。上記の公式から、Δz=e×z/Lが誘導される。例えば、e=10μm、L=20.48mm、およびz=20μmである場合、Δz=0.0097μm<10nmである。
実施形態では、傾斜合焦センサ30によって試料120から取得される走査線(例えば、1次元画像データ)が分析される。性能指数(FOM)(例えば、データのコントラスト)が定められてよい。センサアレイ上の最大FOMのピクセル218の(対物レンズ130の焦点高さ値に対応する)場所を見つけることができる。このようにして、最大FOMのピクセル218の場所に対応する対物レンズ130の焦点高さが、その走査線について決定できる。
ピクセルiの傾斜合焦センサ30上の場所Lと対物レンズ130の焦点高さZの関係は、以下の通り表されてよい。つまり、L = Z×M合焦 /sinθである。
焦点距離がLからLへの平均によって決定される場合、上述の傾斜合焦センサ30からのデータの分析に従って、対物レンズ130の焦点高さは、ZからZに、Z= Z+(L−L)×sinθ/M合焦 に基づいて移動される必要がある。
合焦センサ30および撮像センサ20のY軸での視野(FOV)は異なる場合があるが、両方のセンサの中心は好ましくはY軸に沿って互いに位置合わせされる。
図5は、実施形態に従って、走査中の合焦センサ30と撮像センサ20との間の例の相互動作を示すタイムチャート図である。具体的には、撮像センサ20および合焦センサ30を使用する走査のタイミングが示される。時間tで、対物レンズ130の焦点高さは、合焦センサ30の視野内にある組織切片X上のZにある。合焦センサ30は、組織切片Xに対応する合焦データを受け取る。焦点高さZは、合焦データを使用し、組織切片Xの最適焦点高さであると判断され、一部の実施形態では合焦アルゴリズムと関連付けられる。最適焦点高さは次いで、例えば制御ループを使用し、対物レンズ130を高さZに移動するためにZポジショナに送られる。時間tで、組織切片Xは、撮像センサ20の視野の中に移動される。正しい焦点高さで、撮像センサ20は組織切片Xの最適に合焦した画像を検知する。同じ時間tで、合焦センサ30は組織切片Xから合焦データを取り込み、合焦データは最適焦点高さZを決定するために使用される。該最適焦点高さは、次いで組織切片Xが時間tで撮像センサ20の視野の中に移行するときにまたは移行した後にZポジショナに送られる。係るプロセスは、組織試料全体が走査されるまで続行され得る。
一般的に、時間tで、組織切片Xn+1が合焦センサ30の視野内にあり、組織切片Xは撮像センサ20の視野内にあり、対物レンズ130はZの焦点高さにある。さらにtn+1の前、時点、または後に、組織切片Xn+1の最適焦点高さが決定され、対物レンズ130の焦点高さがZn+1に調整される。時間tで、合焦センサ30は組織切片Xを検知し、組織切片Xについて焦点高さをZとして決定する。時間tで、組織切片Xは撮像センサ20の下で移動し、対物レンズ130は焦点高さZに移動する。一方、合焦センサ30は組織切片Xを検知し、組織切片Xについて焦点高さをZとして決定する。時間tで、組織切片Xは撮像センサ20の下で移動し、対物レンズ130は焦点高さZ に移動する。一方、合焦センサ30は組織切片Xn+1を検知し、組織切片Xn+1について焦点高さをZn+1として決定する。走査線が合焦センサ30によって取得され、走査線の最適焦点高さが決定され、同じ走査線が撮像センサ20によって取得される前に、取得されるのと同時に、または取得された後に決定される限り、Xn−1およびXは必ずしも画像データの連続ラインまたは隣接ラインを表さない。言い換えると、合焦センサ30および撮像センサ20は、合焦センサ30の視野と撮像センサ20の視野との間に1つ以上の走査線が存在する、つまり、合焦センサ30と撮像センサ20との間のその距離hがデータの1つ以上の走査線を含むように配置されてよい。例えば、距離hが5本の走査線を含む場合、組織切片Xは、組織切片Xが撮像センサ20の視野内にあるのと同時に、合焦センサ30の視野内にあるだろう。この場合、対物レンズ130の焦点高さは、組織切片Xが撮像センサ20によって検知された後であるが、組織切片Xが撮像センサ20によって検知される前、検知されるのと同時に、または検知された後に計算された最適焦点高さに調整されるだろう。有利なことに、対物レンズ130の焦点高さは、組織試料の緩やかな勾配に近似するXとXとの間の焦点高さに漸進的変化があるように組織切片XとXの間で円滑に制御されてよい。
図6は、一実施形態に従って、1つ以上のビームスプリッタおよび1つ以上のプリズムミラーを活用する傾斜合焦センサ30を示す。ビームスプリッタ(複数可)およびミラー(複数可)は、傾斜合焦センサ30上の同じ視野の複数の画像を作り出すために使用され、複数の画像のそれぞれは異なる焦点距離にあり、それによって合焦センサ30が(対物レンズ130の異なる焦点高さに対応する)試料120の同じ領域の複数の画像を同時に検知できるようにする。合焦センサ30は単一の大型のラインセンサであってよい、または(例えば、長手方向軸に沿った行に配置された)複数のラインセンサを含んでよい。
具体的には、図6は、(分けられたチャネルである必要はないが、別々の赤チャネル、青チャネル、および緑チャネルとして示される)光ビーム605を、それぞれが異なる焦点距離を有する複数の光路610A〜610Cを通して単一の傾斜ラインセンサ30の上に誘導するためにビームスプリッタ620Aおよび620B、ならびにプリズムミラー630を活用する傾斜合焦センサ30を示す。光ビーム605が対物レンズ130から視野を伝達することを理解されたい。示されるように、光路は、最高の焦点距離から最低の焦点距離への順に610A、610B、および610Cである。しかしながら、各光路は、傾斜ラインセンサ30の傾きのため、単一の焦点距離でよりむしろ一連の焦点距離で傾斜ラインセンサ30に到達することを理解されたい。言い換えると、各光路で傾斜ラインセンサ30によって取得される画像は、画像の第1の側から画像の第2の反対側に増加する焦点距離で取得されたピクセルを含む。示される例では、光ビーム605はビームスプリッタ620Aに入射し、第1の焦点距離で傾斜合焦センサ30の第1の領域に進む光路610A、およびビームスプリッタ620Bに進む光路に分割される。ビームスプリッタ620Bに進む光路は、第2の焦点距離で傾斜合焦センサ30の第2の領域に進む光路610B、および第3の距離で傾斜合焦センサ30の第3の領域の上にミラー630から反射される光路610Cに分割される。第1の焦点距離、第2の焦点距離、および第3の焦点距離、ならびに第1の領域、第2の領域、および第3の領域のそれぞれは互いと異なる。このようにして、単一の傾斜合焦センサ30は複数の異なる焦点距離(例えば、示されている例では3つ)で光ビーム605を同時に検知する。異なる焦点距離を有するより少ないまたはより多い光路610(例えば、それぞれが傾斜合焦センサ30に関して異なる焦点距離を有する2つの光路または4つ以上の光路)を作り出すためにより少ないまたはより多いビームスプリッタ620および/またはミラー630が使用されてよいことを理解されたい。
図6に示される実施形態に関して、最良の焦点は上述と同じ方法で、決定され、対物レンズ130の高さに相互に関連付けられてよい。異なる焦点距離の複数の画像からの冗長な情報は、焦点結果により高い確実性を与え得る。
図7Aおよび図7Bは、傾斜合焦センサの代替形態を示す。具体的には、図7Aおよび図7Bは、いくつかの実施形態に従って、傾斜合焦センサと同じ結果を達成するために、1つ以上のビームスプリッタおよび1つ以上のプリズムミラーを活用する非傾斜合焦センサ30を示す。ビームスプリッタ(複数可)およびミラー(複数可)は、合焦センサ30上の同じ視野の複数の画像を作り出すために使用され、複数の画像のそれぞれは異なる焦点距離にあり、それによって合焦センサ30が(対物レンズ130の異なる焦点高さに対応する)試料120の同じ領域の複数の画像を同時に検知できるようにする。合焦センサ30は単一の大型のラインセンサであってよい、または長手方向軸に沿った行に配置された複数のラインセンサを含んでよい。
図7Aは、(分けられたチャネルである必要はないが、別々の赤チャネル、青チャネル、および緑チャネルとして示される)光ビーム605を、それぞれが異なる焦点距離を有する複数の光路610A〜610Cを通して単一のラインセンサ30の上に誘導するためにビームスプリッタ620Aおよび620B、ならびにプリズムミラー630Aおよび630Bを活用する非傾斜合焦センサ30を示す。光ビーム605が対物レンズ130から視野を伝達することを理解されたい。示されるように、光路は、最高の焦点距離から最低の焦点距離への順に610A、610B、および610Cである。示される例では、光ビーム605はビームスプリッタ620Aに入射し、ミラー630Aからガラスブロック640Aを通って第1の焦点距離で合焦センサ30の上に反射される光路610B、およびビームスプリッタ620Bに進む光路に分割される。ビームスプリッタ620Bに進む光路は、第2の焦点距離で(例えば、合焦センサ30の第1の領域に隣接する)合焦センサ30の第2の領域の上に渡る光路610A、およびミラー630Bからガラスブロック640Bを通って第3の焦点距離で(例えば、合焦センサ30の第2の領域に隣接する)合焦センサ30の第3の領域の上に反射される光路610Cに分割される。第1の焦点距離、第2の焦点距離、および第3の焦点距離、ならびに第1の領域、第2の領域、および第3の領域のそれぞれは互いと異なる。このようにして、合焦センサ30は複数の異なる焦点距離(例えば、示されている例では3つ)で光ビーム605を同時に検知する。異なる焦点距離を有するより少ないまたはより多い光路610(例えば、それぞれが合焦センサ30に関して異なる焦点距離を有する2つの光路または4つ以上の光路)を作り出すためにより少ないまたはより多いビームスプリッタ620、ミラー630、ガラスブロック640、および/または合焦センサ30の領域が使用されてよいことを理解されたい。
図7Bは、(分けられたチャネルである必要はないが、別々の赤チャネル、青チャネル、および緑チャネルとして示される)光ビーム605を、それぞれが異なる焦点距離を有する複数の光路610A〜610Cを通して複数のラインセンサ30A〜30Cのそれぞれのラインセンサ上に誘導するためにビームスプリッタ620Aおよび620B、ならびにプリズムミラー630Aおよび630Bを活用する非傾斜合焦センサ30を示す。示されるように、光路は、最高の焦点距離から最低の焦点距離への順に610A、610B、および610Cである。示される例では、光ビーム605はビームスプリッタ620Aに入射し、ミラー630Aからガラスブロック640Aを通って第1の焦点距離で合焦センサ30の第1の領域の上に反射される光路610A、およびビームスプリッタ620Bに進む光路に分割される。ビームスプリッタ620Bに進む光路は、第2の焦点距離で合焦センサ30の第2の領域の上に渡る光路610A、および第3の距離で合焦センサ30の第3の領域の上にミラー630Bからおよびガラスブロック640Bを通して反射される光路610Cに分割される。合焦センサ30の第1の焦点距離、第2の焦点距離、および第3の焦点距離、ならびに第1の領域、第2の領域、および第3の領域のそれぞれは互いと異なる。このようにして、合焦センサ30は複数の異なるそれぞれの焦点距離(例えば、示されている例では3つ)で光ビーム605を同時に検知する。異なる焦点距離を有するより少ないまたはより多い光路610(例えば、それぞれが異なる傾斜合焦センサ30に関して異なる焦点距離を有する2つの光路または4つ以上の光路)を作り出すためにより少ないまたはより多いビームスプリッタ620、ミラー630、ガラスブロック640、および/または合焦センサ30の領域が使用されてよいことを理解されたい。
図6、図7A、および図7Bに示される実施形態では、ビームスプリッタおよびミラーは、光路で撮像レンズの後ろに配置される。代わりに、鏡筒レンズがビームスプリット光学系の後ろに配置されてよい。この代替の実施形態では、同じ視野を有する個々の画像の場所は、焦点距離およびレンズの位置によって定められる。
図7Cは、実施形態に従って、ビームスプリット光学系が鏡筒レンズの前に配置される代替の非傾斜合焦センサ30を示す。具体的には、非傾斜合焦センサ30は、光ビーム605を、それぞれが異なる焦点距離を有する複数の光路610A〜610Dを通して単一のラインセンサ30の上に誘導するためにビームスプリッタ620A、620B、および620C、ならびにプリズムミラー630を活用する。示されるように、光路は、最高の焦点距離から最低の焦点距離への順に610A、610B、610C、および610Dである。示される例では、光ビーム605はビームスプリッタ620Aに入射し、第1の焦点距離で合焦センサ30の第1の領域の上にレンズ650Aによって集束される光路610A、およびビームスプリッタ620Bに進む光路に分割される。ビームスプリッタ620Bに進む光路は、第2の焦点距離で合焦センサ30の第2の領域にレンズ650Bによって集束される光路610B、およびビームスプリッタ620Cに進む光路に分割される。ビームスプリッタ620Bに進む光路は、第3の焦点距離で合焦センサ30の第3の領域の上にレンズ650Cによって集束される光路610C、およびミラー630から反射され、第4の焦点距離で傾斜合焦センサ30の第4の領域の上にレンズ650Dによって集束される光路に分割される。第1の焦点距離、第2の焦点距離、第3の焦点距離、および第4の焦点距離ならびに第1の領域、第2の領域、第3の領域、および第4の領域のそれぞれは互いと異なる。このようにして、(例えば、単一のラインセンサまたは複数のラインセンサを備える)合焦センサ30は、複数の異なる焦点距離(例えば、示されている例では4つ)で光ビーム605を同時に検知する。異なる焦点距離を有するより少ないまたはより多い光路610(例えば、それぞれが合焦センサ30に関して異なる焦点距離を有する2つの光路または5つ以上の光路)を作り出すためにより少ないまたはより多いビームスプリッタ620、ミラー630、および/または合焦センサ30の領域が使用されてよいことを理解されたい。
上述の実施形態では、試料120の所与の領域は複数の異なる焦点距離で合焦センサ30の異なる領域によって同時に取得され、異なる焦点距離で複数の画像を生じさせる。次いで、アルゴリズムが、Z軸に沿って対物レンズ130の焦点高さに相互に関連付けることができる最良の焦点距離を決定するためにこの複数の画像に適用できる。
(例えば、上述のような)光学系を位置合わせすることによって、合焦センサ30の異なる領域によって取得される複数の画像は、フォーカスバッファから多様な焦点スポットに相互に関連またはマッピングできる。フォーカスバッファは焦点について、対物レンズ130がZ軸に沿って移動する間(つまり、対物レンズ130の焦点高さが変化するにつれ)連続的に取得された画像データから計算されたコントラスト測度を含んでよい。例えば、複数の画像によって表される焦点高さごとのコントラストの測度(例えば、平均されたコントラスト)が、図8の点によって例に示されるように描画されてよい。最良の焦点(つまり、フォーカスバッファのコントラスト測度のピーク)は、図8の曲線によって例に示されるように、点に最も良く適合する曲線のピークを識別するために、ピーク発見アルゴリズム(例えば、適合、山登り)を使用することによって決定できる。曲線のピークは最良のコントラスト測度を表し、最良の焦点を提供する特定の焦点高さにマッピングする。
図9Aは、実施形態に従って傾斜合焦センサ30と撮像センサ20の間の焦点関係を示す。具体的には、実施形態では、傾斜合焦センサ30の点Pは撮像センサ20と同焦点である。したがって、傾斜合焦センサ30を使用し、試料120の領域を検知するとき、対物レンズ130の試料120からの適切な焦点高さは、最良の焦点を有するピクセル(複数可)を合焦センサ30の点Pに位置決めする対物レンズ130の焦点高さとして決定されてよい。決定された焦点高さは、撮像センサ20を使用し、同じ領域を検知するとき、対物レンズ130に対して使用されてよいものである。
図9B〜図9Dは、傾斜合焦センサ30および撮像センサ20の焦点関数を示す。焦点関数は、傾斜合焦センサ30および撮像センサ20によって検知される画像の中のコントラストの関数であってよい。例えば、Cは撮像センサ20のコントラスト関数を表し、Cは傾斜合焦センサ30のコントラスト関数を表す。このようにして、C(x)は撮像センサ20のアレイに沿った位置xでの画像ピクセルのコントラスト測度を返し、C(x)は傾斜合焦センサ30のアレイに沿った位置xでの画像ピクセルのコントラスト測度を返す。両方の例で、コントラスト測度はxでのコントラスト値の二乗平均平方根であってよい。Cは、CとCとの間の差異を表す(例えば、C−C)。したがって、C(x)は、撮像センサ20および傾斜合焦センサ30のアレイに沿った位置xでのCとCの間の差異を表す(例えば、C(x)−C(x))。C(x)は、組織に依存する空間変動を削除する。2つの画像のコントラスト関数の比率は、組織に依存する空間変動(例えば、C(x)/C(x))を削除するために使用することもできる。さらに、閾値を、背景雑音からの影響を排除するために定義できる。
図9Bは、撮像センサ20の位置の関数としてコントラスト測度を表すコントラスト関数C を表す。同様に、図9Cは、傾斜合焦センサ30の位置の関数としてコントラスト測度を表すコントラスト関数C を表す。図9Dは、傾斜合焦センサ30のコントラスト関数の、撮像センサ20のコントラスト関数に対する比率を示す(つまり、C /C )。
傾斜合焦センサ30および撮像センサ20が両方とも試料120の同じ領域を検知するとき、最良の焦点は、CのCに対する比率(例えば、C/C)が1.0である、両方のセンサ30および20の位置xとなる。傾斜合焦センサ30の所定の点Pは、撮像センサ20と同焦点である。この点Pは、システム較正の間に決定されてよい。
実施形態では、性能指数(FOM)関数が、傾斜合焦センサ30によって取得されるデータに基づいて試料120の領域の最良の焦点を決定するために使用されてよい。具体的には、C関数のピークが決定されてよい。このCピークは、傾斜合焦センサ30の位置xに対応し、対物レンズ130のZ範囲内の焦点高さに相互に関連付けられる。したがって、Cピークが傾斜合焦センサ30上の同焦点の点Pから離れている(つまり、C(P)がピーク値を表さない)とき、試料120に直交する軸(つまり、Z軸)に沿ってリアルタイムで対物レンズ130を移動するためにコマンドが起動される。つまり、CのピークがPにあるまで(つまり、C(P)がCのピーク値になるまで)。言い換えると、焦点ぼけは傾斜合焦センサ30上の同焦点の点Pから離れたCのピーク値のシフトによって特徴付けられ、オートフォーカスは、Cのピーク値が傾斜合焦センサ30上の同焦点の点PになるまでZ軸に沿って対物レンズ130を移動するフィードバックループを介して達成できる。
実施形態では、撮像センサ20によって取得される視野の画像が、合焦センサ30(例えば、傾斜合焦センサ30)によって取得される同じ視野の画像に、それらの比率、差異、または他の計算を使用して比較される。
実施形態では、合焦センサ30は、画像のピクセルによって表される焦点距離に関して逆転される、同じ視野の2つの画像を取得するように設計された単一ラインセンサまたは二重ラインセンサを備えてよい。例えば、2つの画像の内の一方は、取り込まれた視野の第1の側(例えば、左側)で最低の焦点距離を表すピクセルを、および第1の側の反対である取り込まれた視野の第2の側(例えば、右側)で最高の焦点距離を表すピクセルを有し、一方2つの画像の第2の画像は取り込まれた視野の第1の側(例えば、左側)での最高の焦点距離を表すピクセルを、および取り込まれた視野の第2の側(例えば、右側)での最低の焦点距離を表すピクセルを有する。最高の焦点距離および最低の焦点距離が両方の画像にとって同じである場合、次いで各画像の中心のピクセルの線は2つの画像の間で同焦点となり、中心から各画像の取り込まれた視野の側面端縁(例えば左端縁および右端縁)に発するピクセルの対応する線も2つの画像の間で同焦点となるが、反対の方向となる。例えば、左および右を使用して、画像の端縁を任意に画定すると、すべての距離Dに対して、第1の画像で表される視野の中心から左端までの距離Dである第1の画像のピクセルの垂直線は、第2の画像の視野の中心から右端までの距離Dである第2の画像のピクセルの垂直線と同焦点となる。第1の画像と第2の画像との間で視野が反転または鏡像化される場合には、両方の画像とも、画像の同じ側であるが、画像によって表される視野の対向する側にその最高の焦点距離および最低の焦点距離を有することを理解されたい。
図10は、実施形態に従って、2つの合焦センサ30Aおよび30Bを使用し、逆転された焦点距離を有する2つの画像を形成するための光学系を示す。合焦センサ30Aの傾きは、論理Z軸(つまり、焦点軸)の回りで合焦センサ30Bの傾きに関して逆転される。光は対物レンズ130を通過後、光は(例えばビームスプリッタまたはプリズムミラーによって直角に)曲げられてよいので、図10の論理Z軸は必ずしも対物レンズ130の物理Z軸と同じではないことを理解されたい。本実施形態では、光路610Aおよび610Bは合焦センサ30Aおよび30Bに同じ光学視野を提供するが、合焦センサ30Aおよび30Bはその傾きに関して逆転されるので、2つの画像のピクセルの焦点距離は逆転される。これは、それぞれが異なる試料焦点高さを表すZ、Z、およびとラベルが付けられる一連の3つの矢印によって示される。したがって、Z およびZ はともに第1の焦点高さを表し、Z およびZ はともに第2の焦点高さを表し、Z およびZ はともに第3の焦点高さを表し、第1の焦点高さ、第2の焦点高さ、および第3の焦点高さのそれぞれは互いと異なる。
図11Aおよび図11Bは、2つの異なる実施形態に従って、傾斜合焦センサ30で2つの鏡像を形成するための光学部品を示す。示される実施形態では、1つ以上の光学部品が、傾斜合焦センサ30の第1の領域に視野を、および傾斜合焦センサ30の第2の領域に逆転された視野を形成するために使用されてよい。傾斜合焦センサ30が、単一のラインセンサまたは複数の隣接するラインセンサであってよいことを理解されたい。
図11Aは、第1の実施形態に従って、傾斜合焦センサ30に2つの鏡像を形成するための光学部品を示す。示されるように、光ビーム605はビームスプリッタ620に入射し、第1の画像が合焦センサ30の第1の領域30Aから取得されるように、合焦センサ30の第1の領域30Aの上にミラー630から反射される光路610A、およびダブプリズム660を通過する光路610Bに分割される。ダブプリズム660は、合焦センサ30の第2の領域30Bにミラーイメージが形成され、これにより第2の画像が合焦センサ30の第2の領域30Bから取得されるように、光ビーム605を逆転する。言い換えると、光路610Aは、視野を合焦センサ30の第1の領域30Aに、および鏡像化された視野を合焦センサ30の第2の領域30Bに提供する。したがって、第2の画像は、論理Z軸の回りの第1の画像の鏡像である。傾斜角(θ)は傾斜合焦センサ30の第1の領域30Aと第2の領域30Bの両方で同じであるので、第1の画像および第2の画像に示される視野は、それらが取得された焦点距離の方向(例えば、最高から最低へ)に関して逆転される。
図11Bは、第2の実施形態に従って、傾斜合焦センサ30で2つの鏡像を形成するための光学部品を示す。示されるように、光ビーム605はビームスプリッタ620に入射し、ミラー630A(例えば、平板)から傾斜合焦センサ30の第1の領域30Aに反射される光路610A、および光路610Bに分割される。光路610Bは、ミラー630Bの2つの表面からビームスプリッタ620に戻して反射され、該ビームスプリッタで光は傾斜合焦センサ30の第2の領域30Bに反射される。光路610Bを移動する光ビーム605は、それが、傾斜合焦センサ30の第1の領域30Aの光路610Aに形成された画像の鏡像である画像を、傾斜合焦センサ30の第2の領域30B上に生じさせるように逆転される。傾斜角(θ)は、傾斜合焦センサ30の第1の領域30Aと第2の領域30Bの両方で同じであるので、第1の画像および第2の画像に示される視野は、それらが取得される焦点距離の方向(例えば、最高から最低へ)に関して逆転される。
図12Aは、実施形態に従って、図10、図11A、および図11Bに示される実施形態で合焦センサ30の領域30Aおよび30Bによって取得される2つの画像の焦点距離の方向性を示す。差異、比率、または別の計算を使用するこれらの2つの画像の比較は、合焦センサ30の最良の焦点を達成するZ軸上の焦点高さに対物レンズ130を設置するために必要とされる移動の量および移動の方向を提供し得る。実施形態では、合焦センサ30の領域(複数可)のそれぞれ(つまり、独自の別々の光路610に対応する各領域)の中心または同焦点の点は、互いに、ならびに撮像センサ20と同焦点である。したがって、試料120の所与の領域の最良の焦点を決定することは、対物レンズ130の焦点高さを識別し、これにより合焦センサ30によって取得される2つの画像の最良の焦点が、画像を取得した合焦センサ30のそれぞれの領域の中心または同焦点の点にあることを含む。合焦センサ30の領域の最良の焦点がこのようにして中心に置かれるまたは同焦点であるとき、両方の領域の中心または同焦点の点に対応する対物レンズ130の焦点高さは、(例えばシステム較正の間に決定された、合焦センサ30の両方の領域の中心と、または同焦点の点と同焦点である)撮像センサ20が試料120の所与の領域の最良の焦点にある焦点高さでもある。
図12Bは、合焦センサ30の領域30Aおよび30Bによって取得される2つの逆転された画像の焦点関数を示す。鏡像化された画像が(例えば、図11Aおよび図11Bの領域30Bによって)取得される実施形態では、鏡像化された画像は、2つの逆転された画像に関して実行される操作の前にソフトウェアまたは他の手段によって反転される。鏡像化された画像のこの反転の結果、2つの画像は内容に関して互いの鏡像ではなくなる。言い換えると、2つの画像は、同じ向きの同じ視野を表す。しかしながら、画像によって表される視野の向きは同じであるが、その焦点距離の方向は逆転されている。例えば、この反転プロセスの後、画像の第1の画像の一方の側の内容は、焦点距離Zで取得されていることとなるが、画像の第2の画像の同じ側の同じ内容は焦点距離Zで取得されていることとなり、第1の画像の他方の側の内容は焦点距離Zで取得されていることとなるが、第2の画像の同じ側の内容はZで取得されていることとなる。画像の中心はともにZで取得されていることとなる。
焦点関数は、逆転された画像の中のコントラストの関数であってよい。関数は、逆転された画像の一方を取得する合焦センサ30の各領域(例えば、領域30Aおよび30B)に沿った所与の位置xのコントラスト測度を返してよい(例えば、位置xでのコントラスト値の二乗平均平方根)。例えば、Cは、逆転された画像を取得した合焦センサ30の領域30Bのコントラスト測度を表し、Cは、逆転されていない画像を取得した合焦センサ30の領域30Aのコントラスト測度を表す。C およびC は逆転画像の中央部分のコントラスト測度を表し、C およびC は逆転画像の一方の側の対応する部分のコントラスト測度を表し、C およびC は逆転画像の他方の側の対応する部分のコントラスト測度を表す。
比率アルゴリズムが使用される場合、C /C は、両方の画像の最良の焦点が、合焦センサ30のその対応する領域(例えば、領域30Aおよび30B)の中心に置かれると、合焦センサ30の視野全体にわたって1.0に近くなる。C /C の最小値(つまり、C /C < 1.0)が同焦点の点Pの左側にあるとき、コマンドは、C /C の最小値が同焦点の点Pに向かって移動するような方向でZ軸に沿って対物レンズ130を移動するためにフィードバックループで送信されてよい。C /C の最大値(つまり、C /C > 1.0)が同焦点の点Pの左側にあるとき、コマンドは、C /C の最大値が同焦点の点Pに向かって移動するような方向でZ軸に沿って対物レンズ130を移動するためにフィードバックループで送信されてよい。同じアルゴリズムが、同焦点の点Pに対して中心に置かれた比率データの他方の半分(つまり、曲線の右側)に適用されてよい。データの第2の集合は、視野の半分が組織データもしくは役に立たないデータを含む場合に、または単に成功率を上げるために冗長性のために使用できる。
合焦センサの複数の領域を使用するとして本明細書に説明される実施形態(例えば、図6〜図7C、図11A、および図11bに示される実施形態)のいずれでも、合焦センサ30は複数の領域を含む単一の合焦センサ、またはそれぞれが複数の領域の1つから成る複数の合焦センサであってよい。さらに、複数の合焦センサが合焦センサ30の領域として使用される実施形態では、複数の合焦センサのそれぞれは、特定の設計に応じて、互いと同じ平面または互いと異なる平面に配置されてよい。
図13は、実施形態に係るリアルタイム合焦のための方法を示す。最初に、較正ステップ1302が実行されてよい。較正ステップ1302は(傾斜合焦センサを活用する実施形態では)傾斜合焦センサ30で同焦点の点P(例えば、撮像センサ20と同焦点)を見つけること、撮像センサ20からの画像の照明プロファイルを決定すること、および/または合焦センサ30からの画像の照明プロファイルを決定することを含んでよい。較正ステップ1302は特定のシステム11に対して一度だけ実行されてよい、または再較正が必要もしくは所望される場合はシステム11に対して定期的に実行されてよいことを理解されたい。
リアルタイム合焦プロセスはステップ1304で始まってよく、そこでは1つ以上、および好ましくは複数の3つ以上の焦点がフォーカスバッファ方法を使用し、取得される。各焦点はX位置、Y位置、およびZ位置を含んでよく、X位置およびY位置は試料120の平面内の位置を表し、Z位置は対物レンズ130の焦点高さを表す。実施形態では、各焦点は、試料120上のX−Y位置上に対物レンズ130を配置し、対物レンズ130をその高さ範囲の一方の端からその高さ範囲の他方の端にスイープして、X−Y位置で最良の焦点(例えば、コントラスト関数のピーク)を提供する焦点高さを決定することによって得られる。
ステップ1306で、ステップ1304で得られた焦点を使用し、基準面が作成される。基準面がわずか3つの焦点から作成できることを理解されたい。3つより多い焦点があるとき、平坦な基準面に関して外れ値である焦点は破棄されてよい。それ以外の場合、すべての焦点は基準面に適合するために使用されてよい。代わりに、基準面の代わりに、あらゆる複数の焦点から焦点面が作成されてよい。基準面または焦点面を作成するための異なる実施形態は、2000年5月3日に出願され、2004年3月23日に出願された米国特許第6,711,283号として発行された米国特許出願第09/563,437号、および2004年4月16日に出願され、2009年4月14日に米国特許第7,518,652号として発行された米国特許出願第10/827,207号に記載され、その両方の全体が参照により本明細祖に援用される。
ステップ1308で、対物レンズ130が、走査されるX−Y位置の関数として基準面によって画定されるZ位置に移動される。
ステップ1310で、合焦画像が合焦センサ30から取得される。同様に、ステップ1320で、メイン画像が撮像センサ20から取得される。
ステップ1312で、ステップ1310で取得された合焦画像の照明は、周知の照明補正技術を使用し、補正される。同様に、ステップ1322で、ステップ1320で取得されたメイン画像の照明は、周知の照明補正技術を使用し、補正される。合焦画像の照明補正は、較正ステップ1302で決定された合焦センサ30の照明プロファイルに基づいてよく、メイン画像の照明補正は較正ステップ1302で決定された撮像センサ20の照明プロファイルに基づいてよい。
ステップ1314で、照明補正された合焦画像の絶対勾配が計算される。同様に、ステップ1324で、照明補正されたメイン画像の絶対勾配が計算される。
ステップ1316で、ステップ1314で計算された合焦画像勾配の行が平均化される。同様に、ステップ1326で、ステップ1324で計算されたメイン画像勾配の行が平均化される。
ステップ1318で、低域通過フィルタが合焦画像勾配に適用される。同様に、ステップ1328で、低域通過フィルタがメイン画像勾配に適用される。
ステップ1330で、メイン画像の背景領域(つまり、組織がない組織の領域)が、メイン画像の組織領域(つまり、組織を有する画像の領域)未満であるかどうかが判断される。メイン画像で背景領域が組織領域よりも大きい場合(つまり、ステップ1330で「No」)、プロセスはステップ1308に戻ってよい。それ以外の場合、背景領域がメイン画像の組織領域未満である場合(つまり、ステップ1330で「Yes」)、プロセスはステップ1332に進んでよい。
ステップ1332で、比率(複数可)が合焦画像勾配とメイン画像勾配との間で計算される。例えば、合焦画像勾配はメイン画像勾配で除算されてよい。
ステップ1334で、ピークが、最小のエラーで、ステップ1332で計算された比率(複数可)に適合される。例えば、最良適合曲線が比率(複数可)について見つけられ得る。
ステップ1336で、ステップ1334の適合のピークが決定される。例えば、最良適合曲線がステップ1334の比率(複数可)について見つけられる実施形態では、最良適合曲線のピークはステップ1336で識別されてよい。
ステップ1338で、ステップ1336で識別されたピークが同焦点の点Pではない場合、対物レンズ130は、例えば本明細書の他の部分で説明されるように、フィードバックループを使用し、ピークが同焦点の点Pになるまで移動される。
ステップ1340で、走査が完了したかどうかが判断される。走査が完了していない場合(つまり、ステップ1340で「No」)、プロセスはステップ1310および1320に戻る。それ以外の場合、操作が完了している場合(つまり、ステップ1340で「Yes」)、プロセスは終了する。
図14Aおよび図14Bは、実施形態に係る顕微鏡スライドスキャナの例を示すブロック図であり、図14Cは実施形態に係る線形センサアレイの例を示すブロック図である。これらの3つの図は、以下により詳細に説明される。しかしながら、これらの3つの図は最初に、概要を示すために組み合わせて説明される。以下の記載がスライドスキャナ装置の一例にすぎないこと、および代替のスライドスキャナ装置も利用できることに留意されたい。図14Aおよび図14Bは、開示されるセンサ構成と併せて使用できる顕微鏡スライドスキャナの例を示す。図14Cは、開示されるセンサ(撮像センサ20または合焦センサ30)としての任意の組合せで使用できる線形センサの例を示す。
例えば、撮像センサ20および合焦センサ30は、一次撮像センサ20としてライン走査カメラ18を使用し、上述のように配置されてよい。一実施形態では、ライン走査カメラ18は、合焦センサ30と撮像センサ20の両方を含んでよい。撮像センサ20および合焦センサ30は、顕微鏡対物レンズ130ならびに/または集束光学系34および290を通して試料120から画像情報を受信できる。合焦センサ30用の集束光学系290は、図6〜図8に示される多様なビームスプリッタ620、ミラー630、およびガラスブロック640を含んでよい。撮像センサ20および合焦センサ30は、データプロセッサ21に情報を提供できる、および/またはデータプロセッサ21から情報を受け取ることができる。データプロセッサ21は、メモリ36およびデータストレージ38と通信で接続される。データプロセッサ21は、1つ以上のコンピュータ44に少なくとも1つのネットワーク42によって接続されてよい通信ポートにさらに接続されてよく、該コンピュータ44は同様にディスプレイモニタ(複数可)46に接続されてよい。
また、データプロセッサ21は、スライドスキャナ11の電動ステージ14を制御するステージコントローラ22に通信で接続され、命令を提供してもよい。電動ステージ14は試料120を支持し、X−Y平面の1つ以上の方向で移動する。一実施形態では、電動ステージ14はZ軸に沿って移動してもよい。また、データプロセッサ21は、電動ポジショナ24(例えば、圧電ポジショナ)を制御する電動コントローラ26に通信で接続され、命令を提供してもよい。電動ポジショナ24は、Z軸で対物レンズ130を移動するように構成される。また、スライドスキャナ11は、上方または下方のどちらかから試料120を照明するために、光源31および/または照明光学系32も含む。
図14Aは、実施形態に係る、光学顕微鏡システム10の実施形態のブロック図である。システム10の中心は、標本または試料120を走査し、デジタル化するために役立つ顕微鏡スライドスキャナ11である。試料120は、光学顕微鏡法によって調べることができるものであれば何であってもよい。例えば、試料120は、光学顕微鏡法によって調べることができる顕微鏡スライドまたは他の試料タイプを含んでよい。顕微鏡スライドは、組織および細胞、染色体、DNA、タンパク質、血液、骨髄、尿、細菌、ビーズ、生検材料、または任意の他の種類の生物学的材料、または、死んでいるもしくは生きている、染色されているもしくは染色されていない、標識されているもしくは標識されていない物質を含む標本の観察基材としてよく使用される。試料120はまた、マイクロアレイとして一般に知られているありとあらゆる試料を含む、任意の種類のスライドまたは他の基材上に配置されるcDNA、RNAまたはタンパク質などの任意の種類のDNAまたはDNA関連材料のアレイであり得る。試料120は、マイクロタイタープレート、例えば、96ウェルプレートであり得る。試料120の他の例は、集積回路基板、電気泳動レコード、ペトリ皿、フィルム、半導体材料、法医学材料、または機械加工部品を含む。
スキャナ11は、電動ステージ14、顕微鏡対物レンズ130、ライン走査カメラ18、およびデータプロセッサ21を含む。試料120は、走査のために電動ステージ14に配置される。電動ステージ14はステージコントローラ22に接続され、ステージコントローラは、次いでデータプロセッサ21に接続される。データプロセッサ21は、ステージコントローラ22を介して電動ステージ14上の試料120の位置を決定する。実施形態では、電動ステージ14は、試料120の平面にある少なくとも2つの軸(x/y)で試料120を移動する。また、光学z軸に沿った試料120の微細移動が、例えば焦点制御等のスキャナ11の特定の用途に必要とされ得る。Z軸移動は、例えばPolytec PIのPIFOCまたはPiezosystem JenaのMIPOS3等の圧電ポジショナ24で達成されてよい。圧電ポジショナ24は顕微鏡対物レンズ130に直接的に取り付けられ、圧電コントローラ26を介してデータプロセッサ21に接続され、それによって誘導される。焦点の租調整を提供する手段も必要とされる場合があり、電動ステージ14の一部または手動焦点粗動装置としてZ軸移動によって提供できる(図示せず)。
一実施形態では、電動ステージ14は、円滑な動きおよび優れた直線ならびに平坦性精度を提供するために、ボールベアリング線形通路を有する高精度位置決めテーブルを含む。例えば、電動ステージ14は、一方が他方の上に積み重ねられた2つのDaedal型106004テーブルを含むことがあるだろう。ボールベアリング以外の方式に基づいた積み重ね式単軸ステージ、中心で開き、試料の下方からの透過照明に特に適した単軸もしくは多軸位置決めステージ、または複数の試料を支持できるより大型のステージを含む、他のタイプの電動ステージ14もスキャナ11に適している。一実施形態では、電動ステージ14は、それぞれが2つのミリメートル主ネジおよびNema−23ステッピングモータに結合された2つの積み重ね式単軸位置決めテーブルを含む。毎秒25回転の最大主ねじ速度で、電動ステージ14上の試料120の最大速度は毎秒50ミリメートルである。例えば5ミリメートル等のより大きい直径を有する主ねじを選択すると、最大速度を毎秒100ミリメートルを超えて増加できる。電動ステージ14は、システムに多大な費用を加える不利な点を有する機械的な位置エンコーダまたは光学的な位置エンコーダを装備する場合がある。結果的に、係る実施形態は位置エンコーダを含まない。しかしながら、ステッピングモータの代わりにサーボモータを使用するならば、適切な制御のためには位置フィードバックを使用しなくてはならないだろう。
データプロセッサ21からの位置コマンドは、ステージコントローラ22のモータ電流または電圧コマンドに変換される。一実施形態では、ステージコントローラ22は、2軸サーボ/ステッピングモータコントローラ(Compumotor 6K2)および2つの4アンペアマイクロステッピング装置(Compumotor OEMZL4)を含む。マイクロステッピングは、相対的に大きい単一1.8度のモータステップよりもはるかに小さい増分でステッピングモータに命令するための手段を提供する。例えば、100のマイクロステップで、試料120は0.1マイクロメートルほど小さいステップで移動するように命令できる。実施形態では、25,000のマイクロステップが使用される。より小さいステップサイズも可能である。電動ステージ14およびステージコントローラ22の最適な選択は、試料120の性質、試料デジタル化に所望される時間、および結果として生じる試料120のデジタル画像の所望される解像度を含む多くの要因に依存することを理解されたい。
顕微鏡対物レンズ130は、一般的に入手可能な任意の顕微鏡対物レンズであり得る。当業者は、どの対物レンズを使用するのかの選択が特定の状況に依存することを認識するであろう。実施形態では、顕微鏡対物レンズ130は無限遠補正型タイプである。
試料120は、光源31および照明光学系32を含む照明システム28によって照明される。実施形態では、光源31は、光出力を最大にする凹面反射鏡および熱を抑制するKG−1フィルタを含む可変強度のハロゲン光源を含む。しかしながら、光源31はまた、任意のタイプのアークランプ、レーザ、発光ダイオード(「LED」)、または他の光源であることもある。実施形態では、照明光学系32は、光軸に直交する2つの共役面を有する標準ケーラー照明システムを含む。照明光学系32は、Leica、Carl Zeiss、Nikon、またはOlympus等の企業によって販売される大部分の市販の複合顕微鏡に見られる明視野照明光学系を代表する。共役面の1セットは、(i)光源31によって照明されるし視界虹彩絞り(field iris aperture)、(ii)試料120の焦点面により画定された対物面、および(iii)ライン走査カメラ18の光応答素子を含む平面を含む。第2の共役面は(i)光源31の一部である電球のフィラメント、(ii)照明光学系32の一部である集光器光学系のすぐ前に位置する集光器虹彩の絞り、および(iii)顕微鏡対物レンズ130の後焦点面を含む。一実施形態では、試料120は透過モードで照明および撮像され、ライン走査カメラ18が、試料120によって伝達される光エネルギーまたは逆に試料120によって吸収される光エネルギーを感知する。
スキャナ11は、試料120から反射される光エネルギーを検出するのに等しく適切であり、その場合、光源31、照明光学系32、および顕微鏡対物レンズ130は反射撮像との互換性に基づいて選択されなければならない。したがって、考えられる実施形態は、試料120の上方に配置される光ファイババンドルによる照明を含んでよい。他の可能性は、モノクロメータによってスペクトル的に調整される励起を含む。顕微鏡対物レンズ130が位相差顕微鏡法と互換性があるように選択される場合、照明光学系32の一部である集光器光学系への少なくとも1つの位相ストップの組み込みにより、スキャナ11を位相差顕微鏡法で使用できるようになる。当業者にとって、微分干渉コントラスト顕微鏡法および共焦点顕微鏡法等の他のタイプの顕微鏡法に必要とされる修正は容易に明らかになるはずである。全体的に見ると、スキャナ11は、適切であるが周知の修正により、任意の周知の光学顕微鏡モードでの顕微鏡試料の調査に適している。
顕微鏡対物レンズ130とライン走査カメラ18との間には、顕微鏡対物レンズ130によって取り込まれた光信号をライン走査カメラ18の光応答素子(例えば、撮像センサ20)の上に集束するライン走査カメラ集束光学系34が位置する。近代の無限遠補正型顕微鏡では、顕微鏡対物レンズと接眼レンズ光学系との間、または顕微鏡対物レンズと外部撮像口との間の集束光学系は、顕微鏡の視検筒の一部である鏡筒レンズとして知られる光学系を含む。多くの場合、鏡筒レンズは、コマ収差または非点収差の挿入を防ぐために複数の光学系から成る。従来の有限鏡筒光学系から無限遠補正型光学系への相対的に最近の変更の動機の1つは、試料120〜の光エネルギーが平行である物理空間を拡大すること、つまりこの光エネルギーの焦点が無限遠であることであった。この場合、ダイクロイックミラーまたはフィルタ等の付属品要素が、光路倍率を変更せずにまたは望ましくない光学アーチファクトを導入することなく無限空間の中に挿入できる。
無限遠補正型顕微鏡対物レンズは、通常、無限遠記号を刻まれている。無限遠補正型顕微鏡の対物レンズの倍率は、対物レンズの焦点距離で除算された鏡筒レンズの焦点距離の商によって与えられる。例えば、9ミリメートルの焦点距離を有する対物レンズが使用される場合、180ミリメートルの焦点距離を有する鏡筒レンズは20倍の倍率となる。異なる顕微鏡製造メーカによって製造される対物レンズに互換性がないことの理由の1つは、鏡筒レンズの焦点距離の標準化が行われていないためである。例えば、180ミリメートルの鏡筒レンズの焦点距離を使用する企業であるOlympusの20倍の対物レンズは、200ミリメートルの異なる鏡筒長焦点距離に基づくNikon顕微鏡では20倍の倍率を提供しない。代わりに、20倍が彫り込まれ、9ミリメートルの焦点距離を有する係るOlympus対物レンズの有効倍率は、200ミリメートルの鏡筒レンズ焦点距離を対物レンズの9ミリメートルの焦点距離で除算することにより得られる22.2倍となる。従来の顕微鏡で鏡筒レンズを変更することは、顕微鏡を分解しないでは実際に不可能である。鏡筒レンズは顕微鏡の重大な固定部品の一部である。対物レンズと異なる製造メーカにより製造される対物レンズとの間の非互換性に寄与する別の要因は、接眼レンズ光学系、つまり標本がそれを通して観察される双眼鏡筒の設計である。光学補正の大部分は顕微鏡対物レンズの中に盛り込まれているが、大部分の顕微鏡利用者は、最良の視覚画像を達成するためにはある製造メーカの双眼鏡筒光学系を同じ製造メーカの顕微鏡対物レンズに一致させることになんらかの利点があると固く信じ続けている。
ライン走査カメラ集束光学系34は、機械的鏡筒の内部に取り付けられた鏡筒レンズ光学系を含む。スキャナ11は、実施形態において、従来の目視観察用の双眼鏡筒または接眼レンズを欠いているので、対物レンズと双眼鏡筒との潜在的な非互換性の従来の顕微鏡が被ってきた問題はただちに排除される。当業者は同様に、顕微鏡の接眼レンズとディスプレイモニタ上のデジタル画像との間の同焦点も、いかなる接眼レンズも有さないおかげで排除されることを理解する。また、スキャナ11は、実際には試料120の物理的な境界によってだけ制限される視野を提供することによって、従来の顕微鏡の視野制限も克服するので、スキャナ11によって提供されるようなオールデジタル撮像顕微鏡における倍率の重要性は制限される。試料120の一部分がデジタル化されると、試料の120の画像に、その倍率を上げるために、電子ズームとしても知られる電子拡大を適用することは容易である。画像の倍率を電子的に上げることは、画像を表示するために使用されるモニタでのその画像のサイズを大きくする効果を有する。多すぎる電子ズームが適用されると、ディスプレイモニタは拡大が像の部分だけしか表示できなくなる。しかしながら、最初にデジタル化された元の光信号に存在しなかった情報を表示するために電子拡大を使用することは不可能である。スキャナ11の対物レンズの1つは、実施形態において、高品質のデジタル画像を提供するためであるので、顕微鏡の接眼レンズを通した目視観察の代わりに、スキャナ11によって取得される画像の内容は可能な限り多くの画像詳細を含む必要がある。解像度という用語は、通常、係る画像詳細を説明するために使用され、回折限界という用語は、波長で制限された光信号で入手可能な最大空間の詳細を説明するために使用される。スキャナ11は、周知のナイキストサンプリング基準に従って、ライン走査カメラ18等の光検知カメラの個々のピクセル要素のサイズに、および顕微鏡対物レンズ130の開口数の両方に適合される鏡筒焦点距離の選択により、回折限界のデジタルイメージングを提供する。倍率ではなく、開口数が顕微鏡対物レンズの解像度制限属性であることは周知である。
例が、ライン走査カメラ集束光学系34の一部である鏡筒レンズ焦点距離の最適選択を示す一助となろう。再び、上述の9ミリメートルの焦点長を有する20倍の顕微鏡対物レンズ130を考慮し、この対物レンズが0.50の開口数を有すると仮定する。集光器からの感知できるほどの劣化はないと仮定すると、500ナノメートルの波長でのこの対物レンズの回折限界の解像力は、周知のアッベ関係を使用して得られる約0.6マイクロメートルである。さらに、実施形態では複数の14マイクロメートル平方ピクセルを有するライン走査カメラ18が、試料120の一部分を検出するために使用されると仮定する。サンプリング理論に従って、少なくとも2つのセンサピクセルが最小解像可能空間特徴を包むことが必要である。この場合、鏡筒レンズは、2つの14マイクロメートルのピクセルに相当する28マイクロメートルを、最小解像可能特徴寸法である0.6マイクロメートルで除算することによって得られる46.7の倍率を達成するために選択されなければならない。したがって、最適鏡筒レンズ光学焦点距離は、46.7を9で乗算することによって得られる約420ミリメートルである。したがって、420ミリメートルの焦点距離を有する鏡筒レンズ光学系を有するライン走査集束光学系34は、同じ20倍の対物レンズを使用し、顕微鏡下で標本を見ることによって観察されるだろうものと同様な、考えられる最良の空間解像度を有する画像を取得できる。繰り返すと、スキャナ11は、回折限界のデジタル画像を取得するためにより高い倍率の光学構成(上記の例では約47倍)で従来の20倍の顕微鏡対物レンズ130を活用する。例えば0.75等、より高い開口数を有する従来の20倍の倍率の対物レンズ130が使用された場合、回折限界撮像に必要とされる鏡筒レンズ光学倍率は、68倍の全体的な光学倍率に相当する約615ミリメートルだろう。同様に、20倍の対物レンズの開口数が0.3にすぎないならば、最適鏡筒レンズ光学系倍率は、約252ミリメートルの鏡筒レンズ焦点距離に相当する約28倍にすぎないだろう。ライン走査カメラ集束光学系34は、最適デジタルイメージングのために必要に応じて交換できるスキャナ11のモジュール式要素であってよい。回折限界のデジタルイメージングの優位点は、倍率の増加に伴う信号輝度の減少が適切に設計された照明システム28の輝度を増加させることによって容易に補償される、例えば明視野顕微鏡法等の用途で特に重要である。
原則的に、スキャナ11についてすぐ上で説明された回折限界のイメージングを達成するように鏡筒レンズ倍率を効果的に増加させるために、外部倍率増加光学系を従来の顕微鏡ベースのデジタルイメージングシステムに取り付けることが可能である。しかしながら、結果として生じる視野の減少は多くの場合受け入れがたく、この手法を実現困難にする。さらに、顕微鏡の多くの利用者は、通常これらの技術を自身で効果的に利用するのに十分なほど回折限界撮像の詳細について理解していない。実際には、デジタルカメラは、視野の大きさを、接眼レンズを通して見ることができるものにより類似して拡大しようとするために、倍率減少光学カプラを有する顕微鏡ポートに取り付けられる。目標が回折限界のデジタル画像を得ることである場合、縮小光学系を加える標準的技法は間違った方向の措置である。
従来の顕微鏡では、異なる解像度および倍率で標本を見るためには、通常、異なる倍率の対物レンズが使用される。標準的な顕微鏡は、5つの対物レンズを保持する対物レンズ台を有する。スキャナ11等のオールデジタルイメージングシステムでは、所望の最高の空間解像度に相当する開口数を有する1つの顕微鏡対物レンズ130だけが必要とされる。したがって、実施形態では、スキャナ11は、1つの顕微鏡対物レンズ130だけから成る。いったん回折限界のデジタル画像が今解像度で取り込まれると、任意の所望の削減された解像度および倍率で画像を提示することは、標準デジタル画像処理技法を使用し、容易である。
スキャナ11の一実施形態は、各ピクセルが14マイクロメートルx14マイクロメートルの寸法を有する、線形アレイで配置された1024のピクセル(画素)を有するDalsa SPARKライン走査カメラ18に基づいている。また、カメラの一部としてパッケージ化されていても、撮像電子モジュールにカスタム集積化されていても、任意の他のタイプの線形アレイを使用することができる。一実施形態の線形アレイは、8ビットの量子化を効果的に提供するが、より高いレベルまたは低いレベルの量子化を提供する他のアレイも使用されてよい。3チャネル赤−緑−青(RGB)色情報または時間遅延積分(time delay integration)(TDI)に基づいた代替アレイも使用され得る。TDIアレイは、標本の以前に撮像された領域からの強度データを合計して、積分ステージ数の平方根に比例する信号対雑音比(「SNR」)を増加させることによって、出力信号の実質的に良好なSNRを提供する。TDIアレイは、線形アレイの複数のステージを含み得る。TDIアレイは、24、32、48、64、96、またはさらに多いステージで利用可能である。スキャナ11は、また、512ピクセルのフォーマット、1024ピクセルのフォーマット、および4096ピクセルものピクセルのフォーマットを含むさまざまなフォーマットで製造された線形アレイをサポートする。照明システム28およびライン走査カメラ集束光学系34に対する適切であるが、周知の修正が、より大きいアレイに対応するために必要とされる場合がある。さまざまなピクセルサイズを有する線形アレイも、スキャナシステム11で使用できる。任意のタイプのライン走査カメラ18を選択するための顕著な要件は、高品質の画像を得るために、試料120が試料120のデジタル化の間ライン走査カメラ18に関して動いており、先行技術で既知の従来の撮像傾斜手法の静的要件を克服することである。
ライン走査カメラ18の出力信号はデータプロセッサ21に接続される。実施形態では、データプロセッサ21は、撮像基板またはフレームグラバ等の少なくとも1つの信号デジタル化電子基板をサポートするために補助電子機器(例えば、マザーボード)を有する中央演算処理装置を含む。実施形態では、撮像基板は、EPIX PIXCID24 PCIバス撮像基板である。しかしながら、EPIX基板の代わりに使用できるだろうさまざまな製造メーカの多くの他のタイプの撮像基板またはフレームグラバがある。代替の実施形態は、撮像基板を完全に回避し、データストレージ38(例えば、ハードディスク)に直接的にデータを記憶するために、Firewireとしても知られているIEEE1394等のインタフェースを使用するライン走査カメラであるだろう。
また、データプロセッサ21は、データの短期の記憶のためにランダムアクセスメモリ(RAM)等のメモリ36に、および長期のデータ記憶のためにハードドライブ等のデータストレージ38にも接続される。さらに、データプロセッサ21は、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、イントラネット、エクストラネット、またはインターネット等のネットワーク42に接続される通信ポート40に接続される。メモリ36およびデータストレージ38も互いに接続される。データプロセッサ21は、ライン走査カメラ18およびステージコントローラ22等のスキャナ11の重大な要素を制御するために、またはさまざまな画像処理機能、画像分析機能、もしくはネットワーキングのために、ソフトウェアの形態のコンピュータプログラムを実行することもできる。データプロセッサ21は、例えばWindows、Linux、OS/2、Mac OS、およびUnix等のオペレーティングシステムを含む任意のオペレーティングシステムに基づき得る。実施形態では、データプロセッサ21は、Windows NTオペレーティングシステムに基づいて動作する。
データプロセッサ21、メモリ36、データストレージ38、および通信ポート40は、それぞれ従来のコンピュータで見られる要素である。一例は、Pentium III 500 MHzプロセッサおよび最大で756メガバイト(MB)までのRAMを特徴とするDell Dimension XPS T500等のパーソナルコンピュータだろう。実施形態では、データプロセッサ21、メモリ36、データストレージ38、および通信ポート40を含むコンピュータ要素はすべてスキャナ11にとって内部であり、これによりスキャナ11のシステム10の他の要素への唯一の接続は、通信ポート40を介するものである。スキャナ11の代替の実施形態では、コンピュータ要素は、コンピュータ要素とスキャナ11との間の対応する接続によりスキャナ11に対して外部となるだろう。
実施形態では、スキャナ11は光学顕微鏡法、デジタルイメージング、電動試料配置、コンピューティング、およびネットワークベースの通信を単一エンクロージャのユニットに統合する。スキャナ11を、データ入力および出力の一次手段として通信ポート40を有する単一エンクロージャユニットとしてパッケージ化する主要な優位点は、複雑度の削減および信頼性の増加である。顕微鏡、光源、電動ステージ、カメラ、およびコンピュータが通常異なるベンダによって提供され、多大な統合および保守を必要とする従来の顕微鏡ベースの撮像システムと際立って対照的に、スキャナ11の多様な要素はともに機能するように最適化される。
通信ポート40は、ネットワーク42を含むシステム10の他の要素との高速通信のための手段を提供する。通信ポート40のための1つの通信プロトコルは、伝送制御およびインターネットワーキングのためのTCP/IPプロトコルとともに、イーサネット等の衝突検出型搬送波検知多重アクセスプロトコルである。スキャナ11は、ブロードバンド、ベースバンド、同軸ケーブル、ツイストペア、光ファイバ、DSL、または無線を含む任意のタイプの伝送媒体と連動することを目的とする。
一実施形態では、スキャナ11の制御およびスキャナ11によって取り込まれた画像データの確認は、ネットワーク42に接続されるコンピュータ44で実行される。実施形態では、コンピュータ44は、オペレータに画像情報を提供するためにディスプレイモニタ46に接続される。複数のコンピュータ44が、ネットワーク42に接続されてよい。実施形態では、コンピュータ44は、Microsoft(商標)のInternet Explorer(商標)、Google(商標)のChrome(商標)、Apple(商標)のSafari(商標)等のネットワークブラウザを使用し、スキャナ11と通信する。画像は、大部分の商用のブラウザにすでに内蔵されている標準的な画像解凍方法と互換性のある画像フォーマットである、JPEG等の一般的な圧縮フォーマットでスキャナ11に記憶される。他の標準的なまたは非標準的な、不可逆または可逆の画像圧縮フォーマットも機能する。一実施形態では、スキャナ11は、スキャナ11からコンピュータ44に送信されるウェブページに基づいたオペレータインタフェースを提供するウェブサーバである。画像データの動的確認のためには、スキャナ11の実施形態は、コンピュータ44に接続されるディスプレイモニタ46での確認のために、例えばMicrosoft(商標)のMedia−Player(商標)、Apple(商標)のQuicktime(商標)、またはReal Networks(商標)のRealPlayer(商標)等の標準的な複数フレームブラウザに互換性のあるソフトウェアを使用し、画像データの複数のフレームを再生することに基づいている。実施形態では、コンピュータ44のブラウザは、伝送制御のためのTCPとともにハイパーテキスト転送プロトコル(HTTP)を使用する。
スキャナ11がコンピュータ44または複数のコンピュータと通信でき得る多くの異なる手段およびプロトコルがあり、将来にあるだろう。一実施形態は標準的な手段およびプロトコルに基づいているが、アプレットとして知られる1つまたは複数のカスタマイズされたソフトウェアモジュールを開発する手法が等しく実現可能であり、スキャナ11の選択された将来の用途に望ましくあり得る。さらに、コンピュータ44が、パーソナルコンピュータ(PC)等の任意の特定のタイプである、またはDell(商標)等の任意の特定の企業によって製造される旨の制約はない。標準化された通信ポート40の利点の1つは、共通のネットワークベースのソフトウェアを操作する任意のタイプのコンピュータ44がスキャナ11と通信できる点である。
所望される場合、スキャナ11に多少の修正を加えて、スペクトル的に解像された画像を得ることが可能である。スペクトル的に解像された画像は、スペクトル情報があらゆる画像ピクセルで測定される画像である。スペクトル的に解像された画像は、スキャナ11のライン走査カメラ18を光学スリットおよびイメージングスペクトログラフで置換することによって得られるだろう。イメージングスペクトログラフは、プリズムまたは回折格子を使用して光学スリットで合焦される光信号を検出器の行のそれぞれに沿って分散させることによって、画像ピクセルの列のために波長特有の強度データを取り込むために2次元CCD検出器を使用する。
図14Bは、実施形態に係る光学顕微鏡システム10の第2の実施形態のブロック図である。このシステム10で、スキャナ11は、図14Aに示される実施形態よりも複雑且つ高価である。示されているスキャナ11の追加の属性のすべては、任意の代替の実施形態が正しく機能するために存在する必要はない。図14Bは、スキャナ11の中に組み込むことができる追加の特徴および機能の妥当な例を提供することを目的とする。
図14Bの代替の実施形態は、図14Aの実施形態よりもはるかに大きいレベルの自動化を提供する。照明システム28の自動化のより完成したレベルは、データプロセッサ21と、照明システム28の光源31と照明光学系32の両方との間の接続によって達成される。光源31への接続は、光源31の輝度を制御するために、開ループ式または閉ループ式で電圧または電流を制御してよい。光源31がハロゲン電球であってよいことを思い出すこと。データプロセッサ21と照明光学系32との間の接続は、視界虹彩絞りおよび集光器虹彩の閉ループ制御を提供して、最適なケーラー照明が維持されることを確実にするための手段を提供し得る。
スキャナ11を蛍光撮像のために使用するには、光源31、照明光学系32、および顕微鏡対物レンズ130に対する容易に認識される修正が必要になる。また、図14Bの実施形態は、励起フィルタ、ダイクロイックフィルタ、およびバリアフィルタを含む蛍光フィルタキューブ50も提供する。蛍光フィルタキューブ50は、顕微鏡対物レンズ130とライン走査カメラ集束光学系34との間に存在する無限遠補正型ビーム経路に配置される。蛍光撮像のための実施形態は、市場で入手可能なさまざまな蛍光染料またはナノ結晶に適切なスペクトル励起を与えるために照明光学系32の中にフィルタホイールまたは同調フィルタを追加することを含み得る。
撮像経路の中に少なくとも1つのビームスプリッタ52を追加すると、光信号を少なくとも2つの経路に分割できる。一次経路は、上述のように、ライン走査カメラ集束光学系34を介して、(撮像センサ20を含んでよい)ライン走査カメラ18による回折限界撮像を可能にする。第2の経路は、面走査カメラ56による撮像のために面走査カメラ集束光学系54を介して提供される。これらの2つの集束光学系の適切な選択が異なるピクセルサイズを有する2つのカメラセンサによる回折限界撮像を確実にできることは容易に明らかになるであろう。面走査カメラ56は、簡略なカラービデオカメラ、高性能冷却CCDカメラ、または可変積分時間高速フレームカメラを含む、現在入手可能である多くのタイプの内の1つであり得る。面走査カメラ56は、スキャナ11に従来の撮像システムを提供する。面走査カメラ56はデータプロセッサ21に接続される。例えばライン走査カメラ18および面走査カメラ56等の2つのカメラが使用される場合、両方のカメラタイプは単一の二重目的撮像基板、2つの異なる撮像基板、またはその場合一方のまたは両方の撮像基板は必要とされない場合があるIEEE1394Firewireインタフェースのどちらかを使用し、データプロセッサに接続され得る。撮像センサをデータプロセッサ21にインタフェースする他の関連する方法も利用可能である。
スキャナ11のコンピュータ44への一次インタフェースはネットワーク42を介するが、例えばネットワーク42の故障の例がある場合があり、スキャナ11をディスプレイモニタ58等のローカル出力装置に接続できる、ならびにスキャナ11のデータプロセッサ21に直接的に接続されるキーボードおよびマウス59等のローカル入力装置を提供できることが有益である。この例では、適切なドライバソフトウェアおよびハードウェアも提供されなければならないだろう。
また、図14Bに示される第2の代替の実施形態は、はるかに大きいレベルの自動撮像性能を提供する。スキャナ11の撮像の自動化の強化は、周知のオートフォーカスの方法を使用し、圧電ポジショナ24、圧電コントローラ26、およびデータプロセッサ21を含む焦点制御ループを閉じることによって達成できる。また、第2の実施形態は、いくつかの対物レンズに対応するために電動対物レンズ台62を提供する。電動対物レンズ台62は、対物レンズ台コントローラ64を通してデータプロセッサ21に接続され、データプロセッサ21によって誘導される。
組み込まれ得るスキャナ11の他の特徴および機能がある。例えば、試料120のX−Y平面で実質的に静止している顕微鏡対物レンズ130に対して試料120を走査するプロセスは、静止試料120に対する顕微鏡対物レンズ130の走査(つまり、X−Y平面で顕微鏡対物レンズ130を移動すること)を含むように修正できるだろう。試料120を走査すること、または顕微鏡対物レンズ130を走査すること、または試料120と顕微鏡対物レンズ130の両方を同時に走査することは、上述のように、試料120の同じ大きい連続デジタル画像を提供できるスキャナ11の考えられる実施形態である。
また、スキャナ11は、多くのタイプの顕微鏡ベースの分析を自動化するための汎用プラットフォームも提供する。照明システム28は、レーザ励起を用いて試料120の走査を可能にするために、従来のハロゲンランプまたはアークランプからレーザーベースの照明しステムに修正できるだろう。ライン走査カメラ18または面走査カメラ56に加えてまたは代わりに、光電子増倍管または他の非撮像検出器を含む修正が、レーザエネルギーの試料120との相互作用から生じる光信号を検出する手段を提供するために使用できるだろう。
ここで図14Cを参照すると、ライン走査カメラの視野250は、線形アレイ74に直線的に配置される多数の個々のピクセル要素72によって撮像される、図14Aの試料120の領域を含む。実施形態の線形アレイ74は、ピクセル要素72のそれぞれが14マイクロメートル平方である、1024の個々のピクセル要素72を含む。実施形態では、線形アレイ74の物理的な寸法は14.34ミリメートル×14マイクロメートルである。スキャナ11の動作の説明のために、試料120とライン走査カメラ18との間の倍率が10であると仮定すると、ライン走査カメラの視野250は、1.43ミリメートル×1.4マイクロメートルに等しい寸法を有する試料120の領域に対応する。各ピクセル要素72は、約1.4マイクロメートル×1.4マイクロメートルの面積を撮像する。
スキャナ11の一実施形態では、走査およびデジタル化は画像ストリップ間で交互になる移動の方向で実行される。このタイプの双方向走査は、一方向走査、つまり画像ストリップごとに同じ移動方向を必要とする走査およびデジタル化の方法よりもより迅速なデジタル化プロセスを提供する。
通常、(例えば、撮像センサ20を含む)ライン走査カメラ18および合焦センサ30の機能が、走査および合焦が双方向で行うことができるのか、それとも一方向で行うことができるのかを決定する。一方向システムは、多くの場合、例えば図14Cに示される、3チャネルカラーアレイ86またはマルチチャネルTDIアレイ88等の複数の線形アレイ74を含む。カラーアレイ86は、カラー画像を得るために必要とされるRGB輝度を検出する。カラー情報を得るための代替の実施形態は、広帯域光信号を3色チャネルに分割するためにプリズムを使用する。TDIアレイ88は、高速データレートを維持しつつ、およびデジタル画像データの信号対雑音比の多大な損失なく、ライン走査カメラ18の効果的な積分時間を増加する手段を提供するために、スキャナ11の代替の実施形態で使用できるだろう。
図15は、本明細書に説明される多様な実施形態に関連して使用され得る有線システムまたは無線システム例1500を示すブロック図である。例えば、システム1500は、上述の機構、プロセス、方法、または機能の1つ以上としてまたは上述の機構、プロセス、方法、または機能の1つ以上と併せて使用され得、例えばデータプロセッサ21等のスライドスキャナ11の構成要素を表し得る。システム1500は、有線通信または無線通信できる、任意のプロセッサにより有効にされたデバイスであり得る。当業者にとって明らかになるように、他のコンピュータシステムおよび/またはアーキテクチャも使用され得る。
システム1500は、好ましくはプロセッサ1510等の1つ以上のプロセッサを含む。例えば、データ入出力を管理するための補助プロセッサ、浮動小数点演算を実行するための補助プロセッサ、信号処理アルゴリズムの高速実行に適したアーキテクチャを有する専用プロセッサ(例えば、デジタル信号プロセッサ)、メイン処理装置に従属するスレーブプロセッサ(例えば、バックエンドプロセッサ)、デュアルプロセッサシステムもしくはマルチプロセッサシステム用の追加のマイクロプロセッサもしくはコントローラ、またはコプロセッサ等の追加のプロセッサが提供されてよい。係る補助プロセッサは別々のプロセッサであってよい、またはプロセッサ1510と統合されてよい。システム1500と使用されてよいプロセッサの例は、すべてがカリフォルニア、サンタクララのIntel Corporationから入手できる、Pentium(登録商標)プロセッサ、Core i7(登録商標)プロセッサ、およびXeon(登録商標)プロセッサを含むが、これに限定されるものではない。
プロセッサ1510は、好ましくは通信バス1505に接続される。通信バス1505は、ストレージとシステム1500の他の周辺構成要素との間での情報の転送を容易にするためのデータチャネルを含んでよい。通信バス1505は、データバス、アドレスバス、および制御バス(図示せず)を含んで、プロセッサ1510との通信のために使用される一連の信号をさらに提供してよい。通信バス1505は、例えば業界標準アーキテクチャ(ISA)、拡張業界標準アーキテクチャ(EISA)、マイクロチャネルアーキテクチャ(MCA)、ペリフェラルコンポーネントインターコネクト(PCI)ローカルバス、またはIEEE488汎用インタフェースバス(GPIB)、IEEE696/S−100等を含む電気電子技術者協会(IEEE)により普及されている規格と準拠するバスアーキテクチャ等の標準または非標準のバスアーキテクチャを含んでよい。
システム1500は、好ましくはメインメモリ1515を含み二次メモリ1520も含んでよい。メインメモリ1515は、上述の機能および/またはモジュールの1つ以上等、プロセッサ1510で実行中のプログラムに命令およびデータのストレージを提供する。メモリに記憶され、プロセッサ1510によって実行されるプログラムは、C/C++、Java、JavaScript、Perl、Visual Basic、NET等を含むが、これに限定されるものではない任意の適切な言語に従って作成および/またはコンパイルされてよいことを理解されたい。メインメモリ1515は、通常、ダイナミックランダムアクセスメモリ(DRAM)およびスタティックランダムアクセスメモリ(SRAM)等の半導体ベースのメモリである。他の半導体ベースのメモリタイプは、例えばシンクロナスダイナミックランダムアクセスメモリ(SDRAM)、ランバス ダイナミックランダムアクセスメモリ(RDRAM)、強誘電体ランダムアクセスメモリ(FRAM)等を含み、読み出し専用メモリ(ROM)を含む。
二次メモリ1520は、任意選択で内部メモリ1525および/または取り外し可能なメディア1530を含んでよい。取り外し可能なメディア1530は、任意の周知の様式で読み出される、および/または書き込まれる。取り外し可能なメディア1530は、例えば磁気テープドライブ、コンパクトディスク(CD)ドライブ、デジタル多用途ディスク(DVD)ドライブ、他の光ドライブ、フラッシュメモリドライブ等であってよい。
取り外し可能な記憶媒体1530は、コンピュータ実行可能コード(つまり、ソフトウェア)および/またはデータを記憶している非一時的コンピュータ可読媒体である。取り外し可能な記憶媒体1530に記憶されたコンピュータソフトウェアまたはデータは、プロセッサ1510による実行のためにシステムに読み込まれる。
代替の実施形態では、二次メモリ1520は、コンピュータプログラムまたは他のデータもしくは命令をシステム1500にロードできるようにするための他の類似の手段を含んでよい。係る手段は、例えば外部記憶媒体1545および通信インタフェース1540(例えば、通信ポート40)を含んでよく、それらはソフトウェアおよびデータを外部記憶媒体1545からシステム1500に転送できるようにする。外部記憶媒体1545の例は、外部ハードディスクドライブ、外部光学式ドライブ、外部光磁気ドライブ等を含んでよい。二次メモリ1520の他の例は、例えば、プログラマブル読み取り専用メモリ(PROM)、消去可能プログラマブル読み取り専用メモリ(EPROM)、電気的消去可能プログラマブル読み取り専用メモリ(EEPROM)、またはフラッシュメモリ(EEPROMに類似するブロック指向(block−oriented)メモリ)を含んでよい。
上述のように、システム1500は通信インタフェース1540を含んでよい。通信インタフェース1540は、ソフトウェアおよびデータをシステム1500と外部デバイス(例えば、プリンタ)、ネットワーク、または他の情報ソースとの間で転送できるようにする。例えば、コンピュータソフトウェアまたは実行可能コードは、通信インタフェース1540を介してネットワークサーバからシステム1500に転送されてよい。通信インタフェース1540の例は、内蔵ネットワークアダプタ、ネットワークインタフェースカード(NIC)、PCメモリカード国際協会(PCMCIA)ネットワークカード、カードバスネットワークアダプタ、無線ネットワークアダプタ、ユニバーサルシリアルバス(USB)ネットワークアダプタ、モデム、ネットワークインタフェースカード(NIC)、無線データカード、通信ポート、赤外線インタフェース、IEEE1394ファイアワイヤ、またはネットワークもしくは別のコンピューティングデバイスとシステム550をインタフェースできる任意の他の装置を含む。通信インタフェース1540は、好ましくは例えばイーサネットIEEE802規格、ファイバーチャネル、デジタル加入者回線(DSL)、非同期デジタル加入者回線(ADSL)、フレームリレー、非同期転送モード(ATM)、サービス総合デジタル網(ISDN)、パーソナル通信サービス(PCS)、伝送制御プロトコル/インターネットプロトコル(TCP/IP)、シリアルラインインターネットプロトコル/ポイントツーポイントプロトコル(SLIP/PPP)等の業界公布プロトコル規格を実装するが、カスタマイズされたまたは非標準のインタフェースプロトコルを実装してもよい。
通信インタフェース1540を介して転送されるソフトウェアおよびデータは、概して電気通信信号1555の形態である。これらの信号1555は、通信チャネル1550を介して通信インタフェース1540に提供されてよい。実施形態では、通信チャネル1550は、有線ネットワークもしくは無線ネットワーク、または任意のさまざまな他の通信リンクであってよい。通信チャネル1550は信号1555を搬送し、いくつか例を挙げるとワイヤもしくはケーブル、光ファイバ、従来の電話回線、セルラー電話リンク、無線データ通信リンク、無線周波数(「RF」)リンク、または赤外線リンクを含む、さまざまな有線通信手段または無線通信手段を使用し、実装できる。
コンピュータ実行可能コード(つまり、コンピュータプログラムまたはソフトウェア)は、メインメモリ1515および/または二次メモリ1520に記憶される。また、コンピュータプログラムは通信インタフェース1540を介して受信し、メインメモリ1515および/または二次メモリ1520に記憶することもできる。係るコンピュータプログラムは、実行時、システム1500が、本明細書の他の箇所で説明されるように、開示される実施形態の多様な機能を実行できるようにする。
本記載では、「コンピュータ可読記憶媒体」という用語は、コンピュータ実行可能コード(例えば、ソフトウェアおよびコンピュータプログラム)をシステム1500に提供するために使用される任意の非一時的のコンピュータ可読記憶媒体を指すために使用される。係る媒体の例は、メインメモリ1515、(内部メモリ1525、取り外し可能なメディア1530、および外部記憶媒体1545を含む)二次メモリ1520、ならびに(ネットワーク情報サーバまたは他のネットワーク装置を含む)通信インタフェース1540と通信で結合された任意の周辺装置を含む。これらの非一時的のコンピュータ可読媒体は、実行可能コード、プログラミング命令、およびソフトウェアをシステム1500に提供するための手段である。
ソフトウェアを使用し、実装される実施形態では、ソフトウェアはコンピュータ可読媒体に記憶され、取り外し可能なメディア1530、I/Oインタフェース1535、または通信インタフェース1540を経由してシステム1500にロードされてよい。係る実施形態では、ソフトウェアは、電気通信信号1555の形態でシステム1500にロードされる。ソフトウェアは、プロセッサ1510による実行時、好ましくはプロセッサ1510に、本明細書の他の箇所に記載される特長および機能を実行させる。
一実施形態では、I/Oインタフェース1535は、システム1500の1つ以上の構成要素と1つ以上の入力装置および/または出力装置との間のインタフェースを提供する。入力装置の例は、キーボード、タッチスクリーン、または他のタッチセンサ式の装置、生体認証検知装置、コンピュータマウス、トラックボール、ペンベースのポインティングデバイス等を含むが、これに限定されるものではない。出力装置の例は、陰極線管(CRT)、プラズマディスプレイ、発光ダイオード(LED)ディスプレイ、液晶ディスプレイ(LCD)、プリンタ、真空蛍光ディスプレイ(VFD)、表面電界ディスプレイ(SED)、電界放出ディスプレイ(FED)等を含むが、これに限定されるものではない。
また、システム1500は、音声ネットワークおよび/またはデータネットワーク上の無線通信を容易にする任意選択の無線通信構成要素も含む。無線通信構成要素は、アンテナシステム1570、無線システム1565、およびベースバンドシステム1560を含む。システム1500では、無線周波数(RF)信号が、無線システム1565の管理下でアンテナシステム1570によって無線で送信および受信される。
一実施形態では、アンテナシステム1570は、アンテナシステム1570に送信信号経路および受信信号経路を提供するために切り替え機能を実行する1つ以上のアンテナおよび1つ以上のマルチプレクサ(図示せず)を含んでよい。受信経路では、受信されたRF信号はマルチプレクサから、受信されたRF信号を増幅し、増幅された信号を無線システム1565に送信する低雑音増幅器(図示せず)に結合できる。
代替の実施形態では、無線システム1565は、多様な周波数を介して通信するように構成される1つ以上の無線を含んでよい。実施形態では、無線システム1565は、復調器(図示せず)および変調器(図示せず)を1つの集積回路(IC)に結合する。復調器および変調器は別の構成要素であることもできる。入信経路では、復調器はRF搬送波信号を切り捨て、ベースバンド受信音声信号を残し、これが無線システム1565からベースバンドシステム1560に送信される。
受信信号が音声信号を含む場合、ベースバンドシステム1560は信号を復号し、信号をアナログ信号に変換する。次いで、信号は増幅され、スピーカに送信される。また、ベースバンドシステム1560は、マイクからアナログ音声信号を受信する。これらのアナログ音声信号はデジタル信号に変換され、ベースバンドシステム1560によって符号化される。また、ベースバンドシステム1560は伝送のためにデジタル信号をコーディングし、無線システム1565の変調器部分に送られるベースバンド送信音声信号を生成する。変調器は、ベースバンド送信音声信号をRF搬送波信号と混合し、アンテナシステム1570に送られ、電力増幅器(図示なし)を通過してよいRF送信信号を生成する。電力増幅器はRF送信信号を増幅し、該信号を、該信号が伝送のためにアンテナポートに切り替えられるアンテナシステム1570に送る。
また、ベースバンドシステム1560は、中央演算処理装置(CPU)であってよいプロセッサ1510と通信で結合される。プロセッサ1510は、データストレージ領域1515および1520にアクセスできる。プロセッサ1510は、好ましくは、メインメモリ1515または二次メモリ1520に記憶できる命令(つまり、コンピュータプログラムまたはソフトウェア)を実行するように構成される。また、コンピュータプログラムはベースバンドプロセッサ1560から受信され、メインメモリ1510もしくは二次メモリ1520に記憶する、または受信時に実行することができる。係るコンピュータプログラムは、実行時、システム1500が、開示される実施形態の多様な機能を実行できるようにする。例えば、データストレージ領域1515または1520は、多様なソフトウェアモジュールを含んでよい。
当業者は、上述の図および本明細書に開示される実施形態に関連して記載される多様な例示的な論理ブロック、モジュール、回路、および方法ステップが多くの場合、電子ハードウェア、コンピュータソフトウェア、または両方の組み合わせとして実装できることを理解する。ハードウェアとソフトウェアとのこの互換性を明確に説明するために、多様な例示的な構成要素、ブロック、モジュール、回路、およびステップが、それらの機能の観点から一般的に上で記載された。係る機能がハードウェアとして実装されるのか、それともソフトウェアとして実装されるかは、特定のアプリケーションおよびシステム全体に課される設計制約に依存する。当業者は、記載された機能を特定のアプリケーションごとにさまざまな方法で実装できるが、係る実装の決定は、本発明の範囲から逸脱するものと解釈されるべきではない。さらに、モジュール、ブロック、回路、またはステップ内の機能のグループ分けは、記載を容易にするためのものである。特定の機能またはステップは、本発明から逸脱することなく、あるモジュール、ブロックまたは回路から別のモジュール、ブロックまたは回路に移動させることができる。
本明細書に記載されるソフトウェア構成要素のいずれも、さまざまな形態をとり得る。例えば、構成要素はスタンドアロンのソフトウェアパッケージであり得、またはより大きなソフトウェア製品に「ツール」として組み込まれたソフトウェアパッケージであり得る。構成要素は、例えばウェブサイトなどのネットワークから、スタンドアロン製品として、または既存のソフトウェアアプリケーションにインストールするためのアドインパッケージとしてダウンロードし得る。構成要素はまた、クライアント/サーバソフトウェアアプリケーションとして、ウェブ対応ソフトウェアアプリケーションとして、および/またはモバイルアプリケーションとして利用し得る。
開示される実施形態の上の記載は、いずれの当業者も本願の主題を作成または使用できるようにするために提供される。これらの実施形態に対するさまざまな修正形態は、当業者には容易に明らかとなり、本明細書に記載された一般的な原理は、本願の精神または範囲から逸脱することなく、他の実施形態に適用することができるであろう。したがって、本明細書で提示する記載および図面は、現在好ましい実施形態を表し、したがって、本願によって広く企図されている主題を表すことを理解されたい。本願の範囲は、当業者に明らかになり得る他の実施形態を完全に包含し、したがって、本願の範囲は限定されないことをさらに理解されたい。

Claims (14)

  1. 試料を走査して、前記試料のデジタル画像を取得するためのシステムであって、
    試料を支持するように構成されたステージと、
    前記ステージに直交する単一の光軸を有する対物レンズと、
    撮像センサと、
    合焦センサと、
    前記対物レンズに光学的に結合され、前記対物レンズの前記光軸に対応する視野を受け入れ、前記視野の少なくとも1つの第1の部分を前記撮像センサに、および前記視野の少なくとも1つの第2の部分を前記合焦センサに同時に提供するように構成された少なくとも1つの第1のビームスプリッタと、
    を備え、
    前記視野の前記第1の部分は、前記視野の第1の領域であり、
    前記視野の前記第2の部分は、前記視野の前記第1の領域から偏位される前記視野の第2の領域であり、
    前記合焦センサ上の1つの点は、前記撮像センサと同焦点であり、
    前記合焦センサは、第1の領域および第2の領域を備え、前記第1の領域は、第1の光路に沿った前記視野の前記第2の部分を受け入れ、前記第2の領域は、第2の光路に沿った前記視野の鏡像化された第2の部分を受け入れ、前記合焦センサは、前記第1の光路および前記第2の光路のそれぞれに対して斜めに傾けられ、
    前記合焦センサの前記第1の領域と前記合焦センサの前記第2の領域との両方の上の少なくとも1つの点は、前記撮像センサと同焦点であり、
    前記視野の前記第2の部分は、焦点距離で前記合焦センサの前記第1の領域によって受け入れられ、前記視野の前記鏡像化された第2の部分は、同じ焦点距離で前記合焦センサの前記第2の領域によって受け入れられ、
    前記合焦センサの前記第1の領域は、前記視野の前記第2の部分の第1の画像を取得し、前記合焦センサの前記第2の領域は、前記視野の前記鏡像化された第2の部分の第2の画像を取得し、前記第1の画像は、前記第1の画像の第1の側から前記第1の画像の第2の側への方向で減少する焦点距離で取得されたピクセルを含み、前記第2の画像は、前記第1の画像と同じ方向で減少する焦点距離で取得されたピクセルを含む、
    システム。
  2. 試料を走査して、前記試料のデジタル画像を取得するためのシステムであって、
    試料を支持するように構成されたステージと、
    前記ステージに直交する単一の光軸を有する対物レンズと、
    撮像センサと、
    合焦センサと、
    前記対物レンズに光学的に結合され、前記対物レンズの前記光軸に対応する視野を受け入れ、前記視野の少なくとも1つの第1の部分を前記撮像センサに、および前記視野の少なくとも1つの第2の部分を前記合焦センサに同時に提供するように構成された少なくとも1つの第1のビームスプリッタと、
    を備え、
    前記視野の前記第1の部分は、前記視野の第1の領域であり、
    前記視野の前記第2の部分は、前記視野の前記第1の領域から偏位される前記視野の第2の領域であり、
    前記合焦センサ上の1つの点は、前記撮像センサと同焦点であり、
    前記システムは、走査される前記試料のそれぞれの部分について、
    前記合焦センサから前記試料の前記部分の合焦画像を取得し、
    前記撮像センサから前記試料の前記部分のメイン画像を取得し、
    前記合焦センサの複数の位置のそれぞれについて、前記合焦センサ上のその位置に対応する前記合焦画像の領域のコントラスト測度を計算し、
    前記撮像センサの複数の位置のそれぞれについて、前記撮像センサ上のその位置に対応する前記メイン画像の領域のコントラスト測度を計算し、
    前記合焦画像と前記メイン画像の関係を決定し、
    前記関係のピークを決定し、
    前記ピークに対応する前記合焦センサ上の場所と、前記合焦センサと前記撮像センサとの間の同焦点の点と、の間の距離に基づいて目標表面を更新し、
    次の目標表面に移動する前記対物レンズの位置を決定する、
    ように構成されたプロセッサをさらに備える、
    システム。
  3. 前記合焦センサは、光路に沿った前記視野の前記第2の部分を受け入れ、前記合焦センサは、前記光路に対して斜めに傾けられ、これにより前記視野の前記第2の部分は、異なる焦点距離を表すピクセルを含む画像として前記合焦センサによって取得される、
    請求項1または2に記載のシステム。
  4. 前記合焦センサは、複数の領域を備え、前記合焦センサの各領域が別個の光路に沿った前記視野の前記第2の部分を受け入れ、前記合焦センサは、前記別個のそれぞれ光路に対して斜めに傾けられ、これにより前記視野の前記第2の部分は、前記合焦センサの他の領域におけるものとは異なる焦点距離で、前記合焦センサの各領域によって取得され、
    前記複数の領域の1つでの少なくとも1つの点は、前記撮像センサと同焦点である、
    請求項1から3のいずれかに記載のシステム。
  5. 集束光学系をさらに備え、前記集束光学系は、前記少なくとも1つの第1のビームスプリッタに光学的に結合され、ビームを分割し、前記視野の前記第2の部分を前記別個の光路に伝達する複数の第2のビームスプリッタを備え、
    前記複数の第2のビームスプリッタのそれぞれは、前記合焦センサから同距離に配置され、
    前記集束光学系は、前記分割されたビームを前記別個の光路の1つに反射する少なくとも1つのミラーをさらに備える、
    請求項4に記載のシステム。
  6. 前記合焦センサのすべての領域は、単一のラインセンサの中にある、
    請求項4に記載のシステム。
  7. 前記合焦センサは、複数の領域を備え、前記合焦センサの各領域は、別個の光路に沿った前記視野の前記第2の部分を受け入れ、前記合焦センサは、前記別個の光路のそれぞれに対して直交し、前記別個の光路のそれぞれは、異なる焦点距離を有し、これにより前記視野の前記第2の部分は、前記合焦センサの他の領域におけるものとは異なる焦点距離で、合焦センサの各領域によって取得され、
    前記複数の領域の1つでの少なくとも1つの点は、前記撮像センサと同焦点である、
    請求項2に記載のシステム。
  8. 前記合焦センサは、第1の部分および第2の部分を備え、前記合焦センサの前記第1の部分は、第1の光路に沿った前記視野の前記第2の部分を受け入れ、前記第1の光路に対して第1の角度で傾けられ、前記合焦センサの前記第2の部分は、前記第1の光路とは別個である第2の光路に沿った前記視野の前記第2の部分を受け入れ、前記第2の光路に対して前記第1の角度の逆である第2の角度で傾けられ、
    前記合焦センサの前記第1の部分と前記合焦センサの前記第2の部分との両方の上の少なくとも1つの点は、前記撮像センサと同焦点であり、
    前記合焦センサの前記第1の部分は、第1の画像を取得し、前記合焦センサの前記第2の部分は、第2の画像を取得し、前記第1の画像は、前記第1の画像の第1の側から前記第1の画像の第2の側への方向で減少する焦点距離で取得されたピクセルを含み、前記第2の画像は、前記第2の画像の前記第1の側から前記第2の画像の前記第2の側への方向で増加する焦点距離で取得されたピクセルを含む、
    請求項1または2に記載のシステム。
  9. 集束光学系をさらに備え、前記集束光学系は、前記少なくとも1つの第1のビームスプリッタに光学的に結合され、ビームを分割し、前記視野の前記第2の部分を前記第1の光路および前記第2の光路に伝達する少なくとも1つの第2のビームスプリッタを備え
    記集束光学系は、前記少なくとも1つの第1のビームスプリッタと前記合焦センサの前記第2の領域との間の前記第2の光路に、前記視野の前記第2の部分を反転させて、前記視野の前記鏡像化された第2の部分を形成するダブプリズムをさらに備える、
    請求項1に記載のシステム。
  10. 前記1つの同焦点の点は、前記合焦センサの中心にある、
    請求項1または2に記載のシステム。
  11. 前記プロセッサは、
    前記対物レンズを前記決定された位置に移動し、
    走査される前記試料の次の位置のために新しい合焦画像およびメイン画像を取得し、
    走査される前記試料のそれぞれの部分について、前記合焦画像と前記メイン画像の関係を決定する、
    ようにさらに構成され、
    前記合焦画像と前記メイン画像との前記関係が、前記合焦画像のコントラスト測度と前記メイン画像のコントラスト測度との比率を含む、または、前記合焦画像のコントラスト測度と前記メイン画像のコントラスト測度との差異を含む、
    請求項2に記載のシステム。
  12. 前記関係のピークを決定することは、
    前記関係の最良適合曲線を計算することと、
    前記最良適合曲線のピークを決定することと、
    を含む、
    請求項2または11に記載のシステム。
  13. 前記合焦センサの前記複数の位置のそれぞれは、前記対物レンズの位置にマッピングされ、前記対物レンズの位置を決定することは、前記決定されたピークに対応する前記合焦センサの位置にマッピングされる前記対物レンズの位置を決定することを含む、
    請求項2、11、12のいずれかに記載のシステム。
  14. 前記関係の前記ピークを提供する前記対物レンズの位置を決定することは、前記ピークが前記更新された目標表面上になるまで前記対物レンズを移動するためにフィードバックループを使用することを含み、
    前記フィードバックループを使用する前記対物レンズの移動の方向は、前記合焦画像と前記合焦画像の鏡像との関係に基づいており、前記合焦画像は、前記合焦画像の第1の側から前記合焦画像の第2の側への方向で減少する焦点距離で取得されたピクセルを含み、前記合焦画像の前記鏡像は、前記合焦画像と同じ方向で減少する焦点距離で取得されたピクセルを含む、
    請求項2、11、12のいずれかに記載のシステム。
JP2018515597A 2015-09-24 2016-09-23 ライン走査イメージングにおけるリアルタイム合焦 Active JP6865740B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562232229P 2015-09-24 2015-09-24
US62/232,229 2015-09-24
PCT/US2016/053581 WO2017053891A1 (en) 2015-09-24 2016-09-23 Real-time focusing in line scan imaging

Publications (3)

Publication Number Publication Date
JP2018534610A JP2018534610A (ja) 2018-11-22
JP2018534610A5 JP2018534610A5 (ja) 2019-10-17
JP6865740B2 true JP6865740B2 (ja) 2021-04-28

Family

ID=58387414

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018515597A Active JP6865740B2 (ja) 2015-09-24 2016-09-23 ライン走査イメージングにおけるリアルタイム合焦

Country Status (9)

Country Link
US (2) US10634894B2 (ja)
EP (1) EP3353601A4 (ja)
JP (1) JP6865740B2 (ja)
KR (1) KR20180058730A (ja)
CN (1) CN108139650B (ja)
AU (1) AU2016326723B2 (ja)
BR (1) BR112018005822A2 (ja)
CA (1) CA3000053C (ja)
WO (1) WO2017053891A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11422350B2 (en) 2015-09-24 2022-08-23 Leica Biosystems Imaging, Inc. Real-time focusing in line scan imaging

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11709156B2 (en) 2017-09-18 2023-07-25 Waters Technologies Corporation Use of vapor deposition coated flow paths for improved analytical analysis
US11709155B2 (en) 2017-09-18 2023-07-25 Waters Technologies Corporation Use of vapor deposition coated flow paths for improved chromatography of metal interacting analytes
JP2019062462A (ja) * 2017-09-27 2019-04-18 キヤノン株式会社 表示装置およびその制御装置、ならびにそれらの制御方法
JP6985506B2 (ja) * 2017-09-29 2021-12-22 ライカ バイオシステムズ イメージング インコーポレイテッドLeica Biosystems Imaging, Inc. リアルタイムオートフォーカス合焦アルゴリズム
WO2019068043A1 (en) * 2017-09-29 2019-04-04 Leica Biosystems Imaging, Inc. AUTOMATIC FOCUS SCAN IN REAL TIME
CN111133359B (zh) * 2017-09-29 2022-12-13 徕卡生物系统成像股份有限公司 二维和三维固定z扫描
WO2019108691A1 (en) * 2017-11-28 2019-06-06 Leica Biosystems Imaging, Inc. Dual processor image processing
US11055105B2 (en) * 2018-08-31 2021-07-06 Micron Technology, Inc. Concurrent image measurement and execution
JPWO2020066043A1 (ja) 2018-09-28 2021-08-30 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
CN112714888B (zh) 2018-09-28 2023-02-17 仪景通株式会社 显微镜系统、投影单元以及图像投影方法
CN112714886B (zh) * 2018-09-28 2023-03-21 仪景通株式会社 显微镜系统、投影单元以及图像投影方法
JP7150867B2 (ja) 2018-09-28 2022-10-11 株式会社エビデント 顕微鏡システム
CN109342322A (zh) * 2018-10-23 2019-02-15 南京光声超构材料研究院有限公司 时域热反射谱测量中的自动聚焦方法
CN109905618B (zh) * 2019-03-26 2021-03-16 中国科学院长春光学精密机械与物理研究所 夹心成像单元结构及一步正样的设计方法
EP4010791A1 (en) 2019-08-06 2022-06-15 Leica Biosystems Imaging, Inc. Graphical user interface for slide-scanner control
CN113366364A (zh) 2019-08-06 2021-09-07 徕卡生物系统成像股份有限公司 载玻片扫描系统中的实时聚焦
US11053540B1 (en) 2020-01-17 2021-07-06 Element Biosciences, Inc. High performance fluorescence imaging module for genomic testing assay
US11918936B2 (en) 2020-01-17 2024-03-05 Waters Technologies Corporation Performance and dynamic range for oligonucleotide bioanalysis through reduction of non specific binding
CN111866387B (zh) * 2020-07-27 2021-11-02 支付宝(杭州)信息技术有限公司 深度图像成像系统和方法
JP2022049808A (ja) * 2020-09-17 2022-03-30 オリンパス株式会社 撮影装置、撮影システム、及び、制御方法
CN111932542B (zh) * 2020-10-14 2021-02-02 深圳市瑞图生物技术有限公司 一种基于多焦距的图像识别方法及装置、存储介质
JP2022127536A (ja) * 2021-02-19 2022-08-31 株式会社キーエンス 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器
CN113031243B (zh) * 2021-03-26 2021-08-31 杭州辰景光电科技有限公司 一种基于波导片的反射式片上数字全息显微装置
CN113281874A (zh) * 2021-06-30 2021-08-20 成都易迅光电科技有限公司 一种伸缩多镜头模组
KR102717663B1 (ko) 2021-08-11 2024-10-15 주식회사 뷰웍스 영상 획득 장치 및 이를 이용한 초점 위치 판별 방법
CN117908219A (zh) * 2024-03-06 2024-04-19 东莞市沃德普自动化科技有限公司 一种对焦模组、自动对焦显微成像系统及方法

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3967110A (en) * 1973-09-21 1976-06-29 Corning Glass Works Automatic focusing system
US4636627A (en) 1983-01-17 1987-01-13 Canon Kabushiki Kaisha Focus detecting apparatus
US5756307A (en) 1991-09-20 1998-05-26 The United States Of America As Represented By The Department Of Health And Human Services Sequence of human dopamine transporter cDNA
JP2966311B2 (ja) * 1995-03-10 1999-10-25 科学技術振興事業団 顕微測光装置
JPH08320430A (ja) * 1995-05-23 1996-12-03 Nikon Corp 自動焦点検出装置
JPH09189850A (ja) * 1996-01-09 1997-07-22 Olympus Optical Co Ltd オートフォーカス顕微鏡
JPH1152224A (ja) 1997-06-04 1999-02-26 Hitachi Ltd 自動焦点検出方法およびその装置並びに検査装置
US6091075A (en) 1997-06-04 2000-07-18 Hitachi, Ltd. Automatic focus detection method, automatic focus detection apparatus, and inspection apparatus
US20060060781A1 (en) 1997-08-11 2006-03-23 Masahiro Watanabe Charged-particle beam apparatus and method for automatically correcting astigmatism and for height detection
US6640014B1 (en) * 1999-01-22 2003-10-28 Jeffrey H. Price Automatic on-the-fly focusing for continuous image acquisition in high-resolution microscopy
US6839469B2 (en) * 2000-01-21 2005-01-04 Lam K. Nguyen Multiparallel three dimensional optical microscopy system
US6724489B2 (en) 2000-09-22 2004-04-20 Daniel Freifeld Three dimensional scanning camera
US7009651B2 (en) 2000-10-12 2006-03-07 Amnis Corporation System and method for high numeric aperture imaging systems
DE10127284A1 (de) 2001-06-05 2002-12-12 Zeiss Carl Jena Gmbh Autofokussiereinrichtung für ein optisches Gerät
JP2004046132A (ja) 2002-05-17 2004-02-12 Olympus Corp 自動焦点調節装置
US6760154B1 (en) 2002-06-04 2004-07-06 Biotechs, Inc. Microscope system with continuous autofocus
JP4370554B2 (ja) 2002-06-14 2009-11-25 株式会社ニコン オートフォーカス装置およびオートフォーカス付き顕微鏡
DE10319182B4 (de) 2003-04-29 2008-06-12 Carl Zeiss Jena Gmbh Verfahren und Anordnung zur Bestimmung der Fokusposition bei der Abbildung einer Probe
US7330574B2 (en) 2003-05-08 2008-02-12 Ometrix, Inc. Best-focus estimation by lateral scanning
US20050089208A1 (en) 2003-07-22 2005-04-28 Rui-Tao Dong System and method for generating digital images of a microscope slide
JP2005070225A (ja) 2003-08-21 2005-03-17 Tokyo Seimitsu Co Ltd 表面画像投影装置及び表面画像投影方法
JP2005114859A (ja) * 2003-10-03 2005-04-28 Nikon Corp 顕微鏡
US7115890B2 (en) 2003-11-18 2006-10-03 Applied Materials, Inc. Method and apparatus for inspecting a sample having a height measurement ahead of a focal area
US7813579B2 (en) * 2004-05-24 2010-10-12 Hamamatsu Photonics K.K. Microscope system
US7232980B2 (en) * 2004-05-24 2007-06-19 Hamamatsu Photonics K.K. Microscope system
US8164622B2 (en) 2005-07-01 2012-04-24 Aperio Technologies, Inc. System and method for single optical axis multi-detector microscope slide scanner
JP4680052B2 (ja) 2005-12-22 2011-05-11 シスメックス株式会社 標本撮像装置及びこれを備える標本分析装置
EP1989508A4 (en) 2006-02-10 2009-05-20 Monogen Inc APPARATUS AND APPARATUS OF DIGITAL IMAGE DATA COLLECTION SOFTWARE OF SPECIMENS BASED ON MICROSCOPE SUPPORT
JP5094048B2 (ja) 2006-06-09 2012-12-12 株式会社日立ハイテクノロジーズ 外観検査装置
DE102006027836B4 (de) * 2006-06-16 2020-02-20 Carl Zeiss Microscopy Gmbh Mikroskop mit Autofokuseinrichtung
US7769219B2 (en) * 2006-12-11 2010-08-03 Cytyc Corporation Method for assessing image focus quality
DE102007017598A1 (de) 2007-04-13 2008-10-16 Carl Zeiss Microimaging Gmbh Verfahren und Anordnung zum Positionieren eines Lichtblattes in der Fokusebene einer Detektionsoptik
US7576307B2 (en) 2007-04-30 2009-08-18 General Electric Company Microscope with dual image sensors for rapid autofocusing
US8179432B2 (en) 2007-04-30 2012-05-15 General Electric Company Predictive autofocusing
US8878923B2 (en) 2007-08-23 2014-11-04 General Electric Company System and method for enhanced predictive autofocusing
JP4885156B2 (ja) 2008-02-07 2012-02-29 株式会社日立製作所 フォーカス制御装置及び方法
WO2010067256A1 (en) 2008-12-09 2010-06-17 Koninklijke Philips Electronics N.V. Autofocus for a microscope system.
ATE551841T1 (de) 2009-04-22 2012-04-15 Raytrix Gmbh Digitales bildgebungsverfahren zum synthetisieren eines bildes unter verwendung der mit einer plenoptischen kamera aufgezeichneten daten
US8304704B2 (en) 2009-07-27 2012-11-06 Sensovation Ag Method and apparatus for autofocus using a light source pattern and means for masking the light source pattern
SG187479A1 (en) 2009-10-19 2013-02-28 Ventana Med Syst Inc Imaging system and techniques
ES2561937T3 (es) 2009-12-30 2016-03-01 Koninklijke Philips N.V. Sensor para microscopia
US10061108B2 (en) 2010-05-18 2018-08-28 Koninklijke Philips N.V. Autofocus imaging for a microscope
BR112012032713A2 (pt) 2010-06-24 2016-09-13 Koninkl Philips Electronics Nv sistema de representação de imagem de autofoco para um sistema de microscópio, sistema de microscópio, método para representação de imagem de autofoco para um sistema de microscópio e elemento de programa para representação de imagem de autofoco de um sistema de microscópio
US8175452B1 (en) 2010-10-26 2012-05-08 Complete Genomics, Inc. Method and system for imaging high density biochemical arrays with sub-pixel alignment
EP2715321A4 (en) 2011-05-25 2014-10-29 Huron Technologies Internat Inc 3D DISEASE GLEITSCANNER
GB201113071D0 (en) * 2011-07-29 2011-09-14 Ffei Ltd Method and apparatus for image scanning
IN2014DN03134A (ja) 2011-09-21 2015-05-22 Huron Technologies Internat Inc
US9402036B2 (en) 2011-10-17 2016-07-26 Rudolph Technologies, Inc. Scanning operation with concurrent focus and inspection
WO2014112086A1 (ja) 2013-01-17 2014-07-24 浜松ホトニクス株式会社 画像取得装置及び画像取得装置のフォーカス方法
US10298833B2 (en) 2011-12-19 2019-05-21 Hamamatsu Photonics K.K. Image capturing apparatus and focusing method thereof
JP6019998B2 (ja) 2012-02-17 2016-11-02 ソニー株式会社 撮像装置、撮像制御プログラム及び撮像方法
ES2953897T3 (es) 2012-05-02 2023-11-16 Leica Biosystems Imaging Inc Enfoque en tiempo real en imagenología de exploración lineal
GB2505691B (en) 2012-09-07 2018-02-21 Ffei Ltd Method and apparatus for image scanning
EP2947487A4 (en) * 2013-01-17 2016-08-24 Hamamatsu Photonics Kk IMAGE-DEFINITION APPARATUS AND METHOD FOR FOCUSING AN IMAGE-DEFINITION DEVICE
JP2014178474A (ja) 2013-03-14 2014-09-25 Sony Corp デジタル顕微鏡装置、その合焦位置探索方法およびプログラム
CN105143952B (zh) 2013-04-26 2018-09-28 浜松光子学株式会社 图像取得装置以及图像取得装置的聚焦方法
JP6010505B2 (ja) 2013-06-11 2016-10-19 浜松ホトニクス株式会社 画像取得装置及び画像取得装置のフォーカス方法
JP6394850B2 (ja) 2013-09-20 2018-09-26 大学共同利用機関法人自然科学研究機構 補償光学系及び光学装置
TWI515503B (zh) 2013-12-09 2016-01-01 聯詠科技股份有限公司 自動對焦影像擷取裝置與影像擷取方法
AU2016326723B2 (en) 2015-09-24 2021-11-11 Leica Biosystems Imaging, Inc. Real-time focusing in line scan imaging

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11422350B2 (en) 2015-09-24 2022-08-23 Leica Biosystems Imaging, Inc. Real-time focusing in line scan imaging

Also Published As

Publication number Publication date
US10634894B2 (en) 2020-04-28
US20180275388A1 (en) 2018-09-27
CA3000053A1 (en) 2017-03-30
EP3353601A4 (en) 2019-10-02
CN108139650A (zh) 2018-06-08
CN108139650B (zh) 2020-10-30
US20200218053A1 (en) 2020-07-09
JP2018534610A (ja) 2018-11-22
KR20180058730A (ko) 2018-06-01
WO2017053891A1 (en) 2017-03-30
AU2016326723B2 (en) 2021-11-11
BR112018005822A2 (pt) 2018-10-09
US11422350B2 (en) 2022-08-23
CA3000053C (en) 2023-07-04
EP3353601A1 (en) 2018-08-01
AU2016326723A1 (en) 2018-04-12

Similar Documents

Publication Publication Date Title
JP6865740B2 (ja) ライン走査イメージングにおけるリアルタイム合焦
US11243387B2 (en) Real-time focusing in line scan imaging
JP5989109B2 (ja) 蛍光顕微鏡システムの標準化
CN115061271B (zh) 实时自动对焦聚焦算法
JP2017194700A5 (ja)
JP2020536271A (ja) 二次元および三次元の固定式z走査

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190904

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200617

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210406

R150 Certificate of patent or registration of utility model

Ref document number: 6865740

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250