JP6074429B2 - フォーカスおよびイメージングシステムならびにエラー信号を使用する技術 - Google Patents

フォーカスおよびイメージングシステムならびにエラー信号を使用する技術 Download PDF

Info

Publication number
JP6074429B2
JP6074429B2 JP2014528924A JP2014528924A JP6074429B2 JP 6074429 B2 JP6074429 B2 JP 6074429B2 JP 2014528924 A JP2014528924 A JP 2014528924A JP 2014528924 A JP2014528924 A JP 2014528924A JP 6074429 B2 JP6074429 B2 JP 6074429B2
Authority
JP
Japan
Prior art keywords
focus
dither
lens
stage
error signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014528924A
Other languages
English (en)
Other versions
JP2014529102A (ja
Inventor
ロニー,グレゴリー・シー
スターク,グレン
Original Assignee
ベンタナ メディカル システムズ, インコーポレイテッド
ベンタナ メディカル システムズ, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベンタナ メディカル システムズ, インコーポレイテッド, ベンタナ メディカル システムズ, インコーポレイテッド filed Critical ベンタナ メディカル システムズ, インコーポレイテッド
Publication of JP2014529102A publication Critical patent/JP2014529102A/ja
Application granted granted Critical
Publication of JP6074429B2 publication Critical patent/JP6074429B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/245Devices for focusing using auxiliary sources, detectors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data

Description

本願は、イメージングの分野に関し、より具体的には画像を取得するためのシステムおよび技術に関する。
病気を示す細胞構造の変化の分子イメージング同定は、医薬科学のよりよい理解にとって重要である。顕微鏡応用は、微生物学(たとえばグラム染色など)植物組織の培養、動物細胞の培養(たとえば位相コントラスト顕微鏡など)、分子生物学、免疫学(たとえばELISAなど)、細胞生物学(免疫蛍光法、染色体解析など)、共焦点顕微鏡、コマ撮りおよび生体細胞イメージング、シリーズおよび3次元イメージングに応用できる。
細胞内で生じる多くの秘密の解明されていない多くを備え、蛍光マーカーを用いて転写および翻訳レベルの変化が検出できる、共焦点顕微鏡において進歩があった。共焦点アプローチの進歩は、標本を通じて連続的に高解像度の個別の光学領域を画像化する能力から得られている。しかし、比較的に低コストで病理学上の組織の正確な分析を提供する、病理学上の組織の画像のディジタル処理のためのシステムおよび方法に対するニーズが依然としてある。
短時間で観察するために高解像度のディジタル画像を得ることがディジタル病理学の望ましい目的である。現在の手動の方法で、病理医は、顕微鏡の接眼レンズを通してスライドを観察し、細胞の特徴の観察による視診を可能にし、または、染色された細胞と染色されていない細胞をカウントすることを可能にする。ディジタル画像が収集され、高解像度モニターで観察でき、後の使用のために共有化または保管される自動化された方法が望まれる。ディジタル化プロセスをハイスループットで効率的に達成し、高解像度および高画質を達成することは利益がある。
従来のバーチャル顕微鏡システムにおいて、イメージング技術は、多くの画像上に優位に焦点外となりえる個別の画像を生成することがある。従来のイメージングシステムは、カメラで取得される各個別のスナップショットの単一の焦点距離に制限され、これらの「視野」のそれぞれは、スキャンされる対象標本が単一の表面を備えないときに、焦点外の領域を備える。バーチャル顕微鏡において採用される高倍率レベルにおいて、不均一表面を備える標本は非常にまれである。
従来のシステムは、焦点外画像の高比率に対処するために、予備フォーカス技術を使用し、これは、2ステッププロセスに基づいている。この2ステップは、1)第1パスにおいて、組織区域のトップにおかれる2次元グリッド上に配置されるn個の画像フレームにより分離されるポイントのアレイにおけるベストフォーカスを決定し、;2)もう1つのパスにおいて、各焦点を移動させ、画像フレームを取得する。これらのベストフォーカスポイントの間のポイントにおいて、焦点は挿入される。この2ステッププロセスは、焦点外画像を減らすまたは無くすことができ、このプロセスは、タイル状の画像の取得のスピードを優位に低下させる。
したがって、従来のイメージングシステムに内在する優位な問題を克服し、効率的に焦点のあった高品質な画像をハイスループットで提供するシステムを提供することが望まれる。
本明細書で説明されるシステムによれば、標本のフォーカスされた画像を取得するための装置は、標本の検査のために配置される対物レンズを含む。スローフォーカスステージを対物レンズに連結させることができ、スローフォーカスステージは対物レンズの動きを制御する。ディザレンズおよびディザフォーカスステージを含むディザフォーカスステージは、ディザレンズを動かすことができる。フォーカスセンサは、ディザレンズを介して伝播される光にしたがってフォーカス情報を提供することができる。少なくとも1つの電気部品は、メトリックおよびメトリックにより対物レンズの第1フォーカス位置を決定するために、フォーカス情報を使用することができる。少なくとも1つの電気部品は、第1フォーカス位置を決定するために、メトリックに基づいて生成されるエラー信号情報を処理するエラー信号部品を含むことができる。少なくとも1つの電気部品は、対物レンズを第1フォーカス位置に移動させるために、スローフォーカスステージに位置情報を送ることができる。画像センサは、対物レンズが第1フォーカス位置に移動した後に、標本の画像を取得することができる。エラー信号情報は、ディザレンズの移動によりメトリックに基づいて生成される波形のポイントを使用して、エラー信号関数により決定することができる。エラー信号関数は、コントラストエラー信号関数とすることができ、第1フォーカス位置は、コントラストエラー信号関数がゼロになるところに決定することができる。コントラストエラー信号関数は、ディザレンズの動きが中心決めされる鮮鋭度の応答カーブの少なくとも1つの位置のそれぞれに計算される、波形の鮮鋭度の少なくとも3つのポイントに基づいて決定することができる。コントラストエラー信号(contrast error signal, CES)は、CES=(a-c)/bの式で表すことができ、ここでaは鮮鋭度波形のトラフであり、bは鮮鋭度波形のピークであり、cは鮮鋭度波形の次のトラフである。XY移動ステージを提供することができ、この上に標本が配置され、少なくとも1つの電気部品がXY移動ステージの運動を制御することができ、および/またはXY移動ステージは、ディザレンズの移動にフェーズロックすることができる。ディザフォーカスステージは、ディザレンズを並進運動で移動させる、ボイスコイル駆動の屈曲アセンブリ(flexured assembly)を含むことができる。ディザレンズは、少なくとも60Hzの共振周波数で運動することができ、少なくとも1つの電気部品は、1秒当たり少なくも60回のフォーカス計算を実行するために、フォーカス情報を使用する。フォーカスセンサおよびディザフォーカスステージは、双方向に動作するように設定することができ、フォーカスセンサは、共振周波数におけるディザレンズの運動のシヌソイド波形の上下部分の両方でフォーカス情報を生成することができる。メトリックは、コントラスト情報、鮮鋭度情報、彩度情報の少なくとも1つを含むことができる。
本明細書で説明されるシステムによれば、標本のフォーカスされた画像を取得するための方法が提供される。本方法は、標本の検査のために配置される対物レンズの運動を制御することを含む。ディザレンズの運動は制御されるようにすることができる。フォーカス情報は、ディザレンズを介して伝播される光により提供することができる。フォーカス情報は、メトリックを決定するために、また、メトリックにしたがって対物レンズの第1フォーカス位置を決定するために使用することができる。第1フォーカス位置の決定は、メトリックに基づいて生成されるエラー信号情報を処理することを含む。位置情報は、対物レンズを第1フォーカス位置に移動させるために使用するように送ることができる。エラー信号情報は、ディザレンズの運動により、メトリックに基づいて生成される波形のポイントを使用して、エラー信号関数にしたがって形成することができる。エラー信号関数は、コントラストエラー信号関数とすることができ、また、第1フォーカス位置は、コントラストエラー信号関数がゼロになるように決定することができる。コントラストエラー信号関数は、ディザレンズの運動が中心決めされる鮮鋭度応答値カーブでの少なくとも1つの位置のそれぞれが計算される、鮮鋭度波形の少なくとも3つのポイントに基づいて決定することができる。コントラストエラー信号(CES)は、CES=(a-c)/bの式で表すことができ、ここでaは鮮鋭度波形のトラフであり、bは鮮鋭度波形のピークであり、cは鮮鋭度波形の次のトラフである。第1フォーカス位置は、ベストフォーカス位置として決定することができ、また、本方法は、さらに、対物レンズがベストフォーカス位置に移動した後に、標本の画像を取得することを含むことができる。ディザレンズは、少なくとも60Hzの共振周波数で移動することができ、1秒当たりに少なくとも60回のフォーカス計算を達成することができる。メトリックは、鮮鋭度情報、コントラスト情報、彩度情報の少なくとも1つを含むことができる。
本明細書で説明されるシステムによれば、不揮発性のコンピュータ可読媒体は、標本のフォーカスされた情報を取得するためのソフトウェアを記憶する。このソフトウェアは、標本の検査のために配置される対物レンズの運動を制御する実行可能なコードを含むことができる。実行可能なコードは、ディザレンズの運動を制御するように提供することができる。実行可能なコードは、ディザレンズを介して伝播される光にしたがってフォーカス情報を提供するようにすることができる。実行可能なコードは、メトリックおよびメトリックにしたがって対物レンズの第1フォーカス位置を決定するために使用するようにすることができる。第1フォーカス位置の決定は、メトリックに基づいて生成されるエラー信号情報を処理することを含むことができる。実行可能なコードは、対物レンズを第1フォーカス位置に移動させるために使用される位置情報を送るようにすることができる。エラー信号情報は、ディザレンズの運動にしたがってメトリックに基づいて生成される波形のポイントを使用するエラー信号関数により決定することができる。エラー信号関数は、コントラストエラー信号関数とすることができ、第1フォーカス位置は、コントラストエラー信号関数がゼロになるところで決定することができる。コントラストエラー信号関数は、ディザレンズの運動が中心決めされる鮮鋭度応答値カーブ上の少なくとも1つの位置のそれぞれについて計算される、鮮鋭度波形の少なくとも3つのポイントに基づいて決定することができる。コントラストエラー信号(CES)は、CES=(a-c)/bの式で表すことができ、ここでaは鮮鋭度波形のトラフであり、bは鮮鋭度波形のピークであり、cは鮮鋭度波形の次のトラフである。
以下において、添付図面を参照しながら本明細書で説明されるシステムの実施形態がより詳細に説明される。添付図面は以下の通りである。
本明細書で説明されるシステムの様々な実施形態による、ディジタル病理学サンプルスキャニングおよびイメージングに関連付けられる様々な要素装置を含み得る、スキャニング顕微鏡および/または他のスキャニング装置のイメージングシステムの概略図である。 本明細書で説明されるシステムの実施形態による、フォーカスシステムを含むイメージング装置を示す概略図である。 コントロールシステムの実施形態の概略図であり、コントロールシステムは適切な電子機器を含むことができることを示す図である。 コントロールシステムの実施形態の概略図であり、コントロールシステムは適切な電子機器を含むことができることを示す図である。 本明細書で説明されるシステムの一実施形態による、ディザフォーカスステージをより詳細に示す概略図である。 本明細書で説明されるシステムによる、フォーカス動作の反復を示す概略図である。 本明細書で説明されるシステムによる、フォーカス動作の反復を示す概略図である。 本明細書で説明されるシステムによる、フォーカス動作の反復を示す概略図である。 本明細書で説明されるシステムによる、フォーカス動作の反復を示す概略図である。 本明細書で説明されるシステムによる、フォーカス動作の反復を示す概略図である。 本明細書で説明されるシステムの一実施形態による、ディザフォーカス光学系の命令波形および鮮鋭度の決定を示すプロットの概略図である。 ディザレンズのサイン波運動の計算された鮮鋭度(Z)値のプロットを示す概略図である。 本明細書で説明されるシステムの一実施形態による、フォーカス決定および標本(組織)の調整を示す概略図である。 本明細書で説明されるシステムの一実施形態による、フォーカス決定および標本(組織)の調整を示す概略図である。 本明細書で説明されるシステムの一実施形態による、フォーカス処理およびイメージングに関連する、イメージフレームおよびフォーカスフレームを備えるカメラウィンドウを示す概略図である。 本明細書で説明されるシステムの一実施形態による、ディザフォーカス光学系により取得された複数のポイントにおける、鮮鋭度カーブおよびコントラストエラー信号を含む鮮鋭度プロファイルの例を示す概略図である。 スローフォーカスステージを制御するために制御信号を生成するためのコントラスト関数の使用を示す関数制御ループブロックダイアグラムを示す図である。 本明細書で説明されるシステムの一実施形態による、フォーカス処理およびイメージングに関連して、領域に分割されるフォーカスフレームを示す概略図である。 本明細書で説明されるシステムの一実施形態による、時間ポイントにおいて取得され得る異なる鮮鋭度値を示す図である。 本明細書で説明されるシステムの一実施形態による、時間ポイントにおいて取得され得る異なる鮮鋭度値を示す図である。 本明細書で説明されるシステムの一実施形態による、検査における標本のスキャン中のオンザフライフォーカス処理を示すフローダイアグラムである。 本明細書で説明されるシステムの一実施形態による、スローフォーカスステージにおける処理を示すフローダイアグラムである。 本明細書で説明されるシステムの一実施形態による、画像取得処理を示すフローダイアグラムである。 本明細書で説明されるシステムの一実施形態による、フォーカス処理のための代替構成を示す概略図である。 本明細書で説明されるシステムの一実施形態による、フォーカス処理の代替構成を示す概略図である。 本明細書で説明されるシステムの一実施形態による、スライド上の組織のモザイク画像を取得するための処理を示すフローダイアグラムである。 本明細書で説明されるシステムの一実施形態に関して使用することができる、XYステージの精密ステージ(たとえばYステージ部分)の実施例を示す概略図である。 本明細書で説明されるシステムの一実施形態に関して使用することができる、精密ステージの移動ステージブロックのより詳細な図である。 本明細書で説明されるシステムの一実施形態に関して使用することができる、精密ステージの移動ステージブロックのより詳細な図である。 本明細書で説明されるシステムの一実施形態に関して使用することができる、Yステージ、Xステージ、およびベースプレートを含む本稿で議論される精密ステージの特徴による、XY合成ステージ全体の実施例を示す図である。 本明細書で説明されるシステムの一実施形態に関して使用することができる、発光ダイオード(LED)照明アセンブリを使用するスライドを照明するための、照明システムを示す概略図である。 本明細書で説明されるシステムに関して使用することができる、LED照明アセンブリのための一実施形態をより詳細に示す概略図である。 本明細書で説明されるシステムの一実施形態に関して使用することができる、LED照明アセンブリの具体的な実施例を示す分解図である。
図1は、本明細書で説明されるシステムの様々な実施形態による、ディジタル病理学サンプルスキャニングおよびイメージングに関して使用される様々な要素を含み得る、スキャニング顕微鏡および/または他のスキャニング装置のイメージングシステム5の概略図である。イメージングシステム5は、本明細書の他の箇所でさらに議論される実施形態によるフォーカスシステム10を備えるイメージング装置を含むことができる。さらに、様々な実施形態において、イメージングシステム5は、イメージングまたは他の適切な操作に関して使用される他のシステムを含むことができ、スライドステージシステム20、スライドキャッチシステム30、および照明システム40、他の要素システム50の1つ以上を含み、これらは本稿でさらに詳細に説明される。Loneyらによる「Imaging System and Techniques」という表題の国際公開WO2011/049608号を参照すると、イメージングおよび他の適切な操作、特に顕微鏡イメージングに使用することができる様々な要素システムおよび技術の例が説明されている。この文献は、参照により本明細書に組み込まれる。また、ここで説明されるシステムは、Dietzらによる「Digital Microscope Slide Scanning System and Methods」との表題の米国特許出願公開第2008/0240613号明細書に説明されているように、顕微鏡スライドスキャニング機器の構造および技術、画像取得、スティッチング(stiching)および拡大に関して使用することができ、実質的な正確さの損失なく拡大して画像を再構成し、再構成された画像を表示および保存することに関する特徴を含んでいる。かかる文献は参照により本明細書に組み込まれる。
図2は、光学スキャニング顕微鏡および/または他の適切なイメージングシステムのイメージング装置100を示す概略図であり、本明細書で説明されるシステムの一実施形態による、スライド上に配置された組織サンプル101および/または他の物体のフォーカス画像を取得するためのフォーカスシステムの要素を含む。本明細書で説明されるフォーカスシステムは、スナップショットが取得されるときに、各スナップショットのベストフォーカスを決定し、「オンザフライフォーカシング」と言及されることがある。本明細書で提供される装置および技術は、病理学スライド内の領域のディジタル画像を形成するために必要とされる時間を優位に減少させる。本明細書で説明されるシステムは、従来のシステムの2ステップアプローチを統合し、予備フォーカスに必要とされる時間を実質的に取り除く。本明細書で説明されるシステムは、スナップショット取得するためのオンザフライ処理を用いて顕微鏡スライド上の標本のディジタル画像を形成することを提供し、本システムでは、すべてのスナップショットを取得するための総時間は、スナップショットを取得する前に各スナップショットのための焦点を予備決定するステップを使用する方法により必要とされる時間よりも短い。
イメージング装置100は、電荷結合素子(CCD)および/または相補性金属酸化膜半導体(CMOS)画像センサのようなイメージングセンサ110を含むことができ、これはディジタル病理学画像を取得するカメラ111の一部である。イメージングセンサ110は、チューブレンズ112、ビームスプリッタ114、およびコンデンサ116、光源118および/または他の適切な光学部品119を含む他の要素を介して顕微鏡対物レンズから伝播された光を受け取る。顕微鏡対物レンズ120は、無限に補正され得る。一実施形態において、ビームスプリッタ114は、光ビーム源の約70%を画像センサ110に向け、約30%の残りの部分をディザフォーカスステージ150およびフォーカスセンサ160の経路に沿って向けるように設けることができる。画像取得される組織サンプル101は、XY移動ステージ130上に配置することができ、これは、X方向およびY方向に移動することができ、本明細書でさらに説明されるように制御することができる。スローフォーカシングステージ140は、画像センサ110で取得される組織101の画像にフォーカスするために、顕微鏡対物レンズ120の運動をZ方向に制御することができる。スローフォーカスステージ140は、モーターおよび/または顕微鏡対物レンズ120を移動させるための他の好適な装置を含むことができる。ディザフォーカスステージ150およびフォーカスセンサ160は、本明細書で説明されるシステムによる、オンフライフォーカシングの精細なフォーカス制御を提供するために使用される。様々な実施形態において、フォーカスセンサ160は、CCDセンサおよび/またはCMOSセンサとすることができる。
ディザフォーカスステージ150およびフォーカスセンサ160は、鮮鋭度値および/または他のメトリックにしたがって、オンザフライフォーカシングを提供し、鮮鋭度値および/または他のメトリックは、スナップショットが取得されるときに各画像のスナップショットのためのベストフォーカスを得るために、イメージングプロセスの間に迅速に計算される。本明細書でより詳細に議論されるように、ディザフォーカスステージ150は、顕微鏡対物レンズ120のよりスローな運動に実行できる運動周波数に独立に且つこれを超えて、たとえばシヌソイド運動で、所定の周波数で運動することができる。ディザフォーカスステージ150の運動範囲にわたって組織の観察のためにフォーカス情報に関して、フォーカスセンサ160により複数の測定が行われる。フォーカス電子機器および制御システム170は、フォーカスセンサ160、ディザフォーカスステージ150、マスタークロックを制御するために電子機器、スローフォーカスステージ140(Z方向)、X−Y移動ステージ130、本稿の技術によるシステムの実施形態の他の部品を制御するための電子機器を含むことができる。フォーカス電子機器および制御システム170は、ディザフォーカスステージ150およびフォーカスセンサ160からの情報を用いて鮮鋭度の計算を実行するために使用することができる。鮮鋭度値は、ディザ運動により画定されるシヌソイドカーブの少なくとも一部にわたって計算されるようにすることができる。フォーカス電子機器および制御システム170は、組織のベストフォーカス画像のための位置を決定するため、また、イメージングプロセス中にベストフォーカス画像を取得するために、顕微鏡対物レンズ120を所望の位置に移動させるように(図示のようにZ軸に沿って)スローフォーカスステージ140に命令するために、この情報を使用することができる。また、制御システム170は、XY移動ステージ130のスピード、たとえばステージ130のY方向における移動スピード、を制御するために、この情報を使用することができる。一実施形態において、鮮鋭度値は、隣接するピクセルのコントラスト値の差を計算し、二乗し、これらを合計して1つのスコアを計算することで計算することができる。鮮鋭度値を決定する様々なアルゴリズムが本明細書でさらに議論される。
本明細書で説明されるシステムによる様々な実施形態において、また、本明細書で議論される部品によれば、顕微鏡スライド上の標本のディジタル画像を形成するための装置は、無限に補正される顕微鏡対物レンズ、ビームスプリッタ、カメラフォーカスレンズ、高解像度カメラ、センサフォーカスレンズグループ、ディザフォーカスステージ、フォーカスセンサ、コース(スロー)フォーカスステージ、フォーカス電子機器を含むことができる。この装置は、スナップショットを取得する前に全てのスナップショットの焦点を予め決定する必要なく、対物レンズの焦点を合わせてカメラを介して各スナップショットを取得することを可能にすることができ、全てのスナップショットを取得するための総時間は、スナップショットを取得する前に各スナップショットの焦点を予め決定するステップを必要とするシステムに必要とされる時間よりも短い。このシステムは、コンピュータ制御を含むことができ、i)第1フォーカスポイントまたはいくつかのフォーカスポイントを決定すること、ここではプレスキャンという、アンカーまたは限定組織ポイント、粗フォーカスステージをz範囲の全体にわたって移動させて鮮鋭度値を監視することにより、組織上に名目フォーカス平面を設定し、ii)関心領域の角部からスタートするためにx方向およびy方向で組織を位置決めし、iii)移動させるためにディザ精細フォーカスステージを設定し、ディザフォーカスステージはマスタークロックに同期され、マスタークロックはxyステージの速度を制御し、iv)ステージをフレームから隣接するフレームへ移動するように命令し、および/または、v)画像センサ上のフレームを取得し、パルス光を生成するために光源をトリガするようにトリガ信号を生成する。
さらに、他の実施形態によれば、本稿で説明されるシステムは、顕微鏡スライド上に配置された標本のディジタル画像を形成するための、コンピュータに実装可能な方法を提供することができる。この方法は、標本の少なくとも一部を含む顕微鏡スライドの領域を備えるスキャン領域を決定することを含むことができる。スキャン領域は、複数のスナップショットに分割することができる。スナップショットは、顕微鏡対物レンズおよびカメラを使用して取得することができ、スナップショットを取得する前に全てのスナップショットのフォーカスポイントを予め決定する必要なく、対物レンズおよび顕微鏡の焦点合わせをし、カメラで各スナップショットを取得することができる。全てのスナップショットを取得するための総時間は、スナップショットを取得する前に各スナップショットのフォーカスポイントを予め決定するステップを必要とする方法により必要とされる時間よりも短い。
図3Aは、フォーカス電子機器および制御システム170の実施形態の概略図であり、フォーカス電子機器161、マスタークロック163、およびステージ制御電子機器165を含む。図3Bは、電子機器161の実施形態の概略図である。図示の実施形態において、フォーカス電子機器161は、適切な電子機器を含むことができ、適当な速さのA/D変換器171、および、マイクロプロセッサ173を備えるフィールドプログラマブルゲートアレイ(FPGA)172、を含むことができ、マイクロプロセッサ173は、鮮鋭度の計算および/または本明細書でさらに議論される他の処理を実行するために使用することができる。A/D変換器171は、FPGA172およびマイクロプロセッサ173に連結され、また、鮮鋭度情報を出力するために使用されるフォーカスセンサ160から情報を受け取ることができる。符号170に含まれるマスタークロックは、フォーカス電子機器161、ステージ制御電子機器165、およびシステムの他の部品にマスタークロック信号を供給することができる。ステージ制御電子機器165は、スローフォーカスステージ140、X−Y移動ステージ130、ディザフォーカスステージ150、および/または、他の制御信号および情報を制御するために使用される制御信号を生成することができ、これらは本明細書でさらに議論される。FPGA172は、フォーカスセンサ160にクロック信号および他の情報を供給することができる。研究室での測定は、640×32ピクセルフレームの鮮鋭度計算は18マイクロ秒でできることを示し、本稿で説明されるシステムの好適な操作に十分な速さである。一実施形態において、フォーカスセンサ160は、本稿でさらに議論されるように、640×32ストリップのウィンドウを備える単色CCDカメラを含むことができる。スキャニング顕微鏡は、1Dまたは2Dアレイのピクセルを取得することができ、本稿で議論されるように、コントラスト情報、および/または強度情報をRGBまたはいくつかの他の色空間で含む。システムは、たとえば25mm×50mmのガラススライド上で、大きな領域にわたってベストフォーカスポイントを見つける。多くの市販のシステムは、20倍、0.75NAの顕微鏡対物レンズにより生成される領域をCCDアレイでサンプル取得する。対物レンズおよびコンデンサの0.75のNA、500nmの波長が与えられると、光学系の横方向の分解能は約0.5ミクロンとなる。この分解能素子をナイキスト周波数でサンプリングするために、物体におけるピクセルサイズは約0.25ミクロンである。30fpsで動作し、7.4ミクロンのピクセルサイズを備える4Mピクセルカメラ(たとえばDalsa Falcon 4M30/60)では、物体からイメージングカメラまでの拡大率は、7.4/0.25=30倍となる。本稿で説明されるシステムは、望ましくは、フォーカス寸法における組織の空間変動が物体におけるフレームサイズよりも十分に小さい場合に使用される。実際的に、フォーカスの変動は、より大きな距離にわたって生じ、また、多くのフォーカス調整は傾きを補正するためになされる。これらの傾きは、概ね、物体におけるフレーム寸法につき0.5−1ミクロンの範囲である。
現在のスキャニングシステム(たとえば、BioImagene iScan Coreo system)で結果を得るための時間は、20×15mm×15mmの視野での予備スキャンおよびスキャンで約3.5分であり、15mm×15mmの視野の40×スキャンで約15分である。15mm×15mmの視野は、26パスで35フレームを繰り返すことでスキャンされる。スキャンは、1秒の往復時間で単一方向になされ得る。本明細書で説明されるシステムによる技術を用いるスキャンの時間は、名目フォーカス平面を見つけるのに約5秒かかり、1パスあたり1.17秒(25パス)かかり、全体で5+25×(1.17+1)=59.25秒(約1分)である。これは従来のアプローチに対して相当な時間節約である。本稿で説明される他のシステムの実施形態は、フォーカス時間をより早くすることができるが、連続スキャンに対する運動のぼけを避けるための短い照射時間に必要とされる光量に制限となり得る。以下でさらに詳細に議論されるLED光とすることができる、高ピーク照射を可能とする光源118をパルス化またはストロボ化することでこの問題を軽減できる。一実施形態において、光源118のパルス化は、フォーカス電子機器および制御システム170により制御することができる。さらに、システムの双方向の運転は、20スキャンに対して約25秒の戻り時間を除去でき、35秒のスキャン時間とすることができる。
フォーカス電子機器および制御システム170に関して使用される部品は、より一般的に、本稿で説明される技術の実施形態に関する様々な異なる機能を実行するために用いられる電気部品として言及されることがあることに注意されたい。
図4は、本稿で説明されるシステムの実施形態による、ディザフォーカスステージ150をより詳細に示す概略図である。ディザフォーカスステージ150は、ディザフォーカスレンズ151を含むことができ、ボイスコイルアクチュエータのようなこれは1つ以上のアクチュエータ152a、bにより動かすことができ、また、剛体ステージ153内に取り付けることができる。一実施形態において、レンズは、市販の50mmの焦点距離を備える色消しレンズとすることができ、たとえばEdmund Scientific, NT32-323とすることができる。代替的に、ディザフォーカスレンズ151は、プラスチックから非球面に形成することができ、レンズの重量が減少(極低質量)するように形状付けられる。屈曲構造部154は、剛体ハウジング153に取り付けられるようにすることができ、また、剛体グラウンドポイントに取り付けられ、ディザフォーカスレンズ151の、たとえば約600−1000ミクロンの小さな距離で並進運動のみが可能になるようにすることができる。一実施形態において、屈曲構造部154は、曲げ方向において、約0.010インチの厚さの適切なステンレス鋼シートから構成することができ、4バーリンケージを形成する。屈曲部154は、多くのサイクルにわたり動作させるために、疲労限界から遠い使用応力で、好適なスプリング鋼から形成できる。
ディザフォーカスレンズ151および屈曲部154の移動質量は、60Hz以上または第1機械共振よりも大きな周波数を提供するように設計することができる。移動質量は、制御システム170(図2参照)にフィードバックを提供するために、容量センサまたは渦電流センサのような、好適なバンド幅(たとえば1kHz以上)の位置センサ155で監視することができる。たとえば、KLA Tencor’s ADE部門は、この用途に好適な、1kHzバンド幅、1mm測定範囲、77ナノメートル分解能で、5mm 2805プローブの容量センサを製造している。要素170に機能的に含まれるもののような、ディザフォーカスおよび制御システムは、ディザフォーカスレンズ151の拡大率を予め規定されたフォーカス範囲に維持することができる。ディザフォーカスおよび制御システムは、周知のゲイン制御されるオシレータ回路に依存することができる。共振で動作するとき、ディザフォーカスレンズ151は低電流で駆動でき、ボイスコイル巻き部において低いパワーを消費する。たとえば、BEI Kimco LAO8-10(Winding A)アクチュエータを使用すると、平均電流は180mA未満となり得、消費パワーは0.1W未満となり得る。
本明細書で説明される様々な実施形態に関して、ディザレンズの他のタイプの運動および他のタイプのアクチュエータ152a、bを使用することができることに注意されたい。たとえば、ピエゾ電気アクチュエータをアクチュエータ152a、bとして使用することができる。さらに、ディザレンズの運動は、顕微鏡対物レンズ120の運動からの独立を維持する、共振周波数以外での運動とすることができる。
上述した容量センサおよび本稿の技術による実施形態に使用されるようなセンサ155は、ディザフォーカスレンズがどこに位置しているか(たとえば、サイン波またはレンズの運動に対応するサイクルに対して)についてフィードバックを提供することができる。
本稿で説明されるように、フォーカスセンサを使用して得られるどの画像フレームがベスト鮮鋭度値を生成するかについて決定することができる。このフレームに関し、センサ155により示されるように、ディザフォーカスレンズの位置がサイン波の位置に対して決定することができる。センサ155により示される位置は、スローフォーカスステージ140のための適切な調整を決定するために、制御電子機器170により使用できる。たとえば、一実施形態において、顕微鏡対物レンズ120の運動は、スローフォーカスステージ140のスローステップモータにより制御することができる。センサ155により示される位置は、Z方向におけるベストフォーカス位置に顕微鏡対物レンズ120を位置決めするために、対応する移動量(および対応する制御信号)を決定するために使用することができる。制御信号は、スローフォーカスステージ140のステップモータに伝達することができ、必要に応じて顕微鏡対物レンズ120をベストフォーカス位置に再位置決めすることができるようにする。
図5A−5Eは、本稿で説明されるシステムによるフォーカス動作の繰り返しを示す概略図である。これらの図は、画像センサ110、フォーカスセンサ160、ディザレンズ付きディザフォーカスステージ150、および顕微鏡対物レンズ120を示している。組織101は、y軸に移動しているように示され、すなわちXY移動ステージ130上に示されており、フォーカス動作が行われる。一例として、ディザフォーカスステージ150は、60Hzまたはそれ以上(たとえば80Hz、100Hz)の所望の周波数でディザレンズを移動させることができるが、他の実施形態において、本稿で説明されるシステムは、適用可能な状況によりより低い周波数(たとえば50Hz)でディザレンズを移動させるようにすることもできる。XY移動ステージ130は、たとえばY方向において、あるフレームから隣接するフレームに移動するように命令されるようにすることができる。たとえば、ステージ130は、13mm/秒の一定速度で移動するように命令することができ、これは、20倍の対物レンズに関して約30フレーム/秒の取得速度に対応する。ディザフォーカスステージ150およびXY移動ステージ130は、フェーズロックすることができるので、ディザフォーカスステージ150およびセンサ160は、1秒当たり60フォーカス計算をすることができ、または、双方向に機能して(サイン波の上および下への運動で読む)1秒あたり120フォーカスポイント、または1フレーム当たり4フォーカスポイントとすることができる。1728ピクセルのフレーム高さに関して、これは、431ピクセル毎のフォーカスポイント、または20倍対物レンズで108ミクロンに相当する。XY移動ステージ130は移動しているので、場面の変動を最小に維持するために、フォーカスポイントは非常に短い時間期間、たとえば330μsec(またはそれ以下)で取得する必要がある。
様々な実施形態において、本明細書でさらに議論されるように、このデータは記録され、次のフレームのフォーカス位置を推定するのに使用され、または、代替的に、推定は使用されずに直近のフォーカスポイントをアクティブフレームのフォーカスのために使用される。60Hzのディザ周波数および1秒当たり30フレームのフレーム速度で、フォーカスポイントは、スナップされたフレームの中心から1/4未満の位置で取得される。一般に、組織の高さは、フレームの1/4ではこのフォーカスポイントが不正確になるほど大きく変化しない。
名目フォーカス平面または参照平面101´を確立するために、組織上で第1フォーカスポイントを見つけることができる。たとえば、参照平面101´は、スローフォーカスステージ140を使用して、Z範囲の全体、たとえは+1/−1mmにわたり、顕微鏡対物レンズ120を最初に移動させ、鮮鋭度値を監視することで決定することができる。参照平面101´が見つかったら、組織101は、関心領域の角部および/または他の特定の位置で開始するために、XおよびY方向に位置決めすることができ、ディザフォーカスステージ150は移動するようにセットされ、および/または図5で始まるディザフォーカスステージ150の他の運動が監視され続ける。
ディザフォーカスステージ150は、制御システム170(図2参照)においてマスタークロックに同期させることができ、制御システム170はまた、XYステージ130の速度を制御するのに使用することができる。たとえば、ディザフォーカスステージ150が60Hzで0.6ミリメートルp−v(ピークから谷)のシヌソイド運動をする場合、シヌソイドのより線形な範囲を使用するために、32%のデューティサイクルが想定され、2.7ミリ秒にわたるフォーカス範囲を通じて8ポイントが取得できる。図5B−5Dにおいて、ディザフォーカスステージ150は、ディザレンズをシヌソイド運動で移動させ、シヌソイドカーブの少なくとも一部に沿ってフォーカスサンプルが取得される。それゆえ、フォーカスサンプルは、330μ秒ごとに、または3kHzの速度で取得される。対物レンズとフォーカスセンサ160との間の5.5倍の拡大率で、0.6mm p−vのディザレンズの運動は、対物レンズにおける20ミクロン p―v運動に相当する。この情報は、スローフォーカスステージ140のスローステップモータに、最大の鮮鋭度値、すなわちベストフォーカスが計算される位置を伝達するために使用される。図5Eに示されるように、スローフォーカスステージ140は、画像センサ110が組織101の関心領域のベストフォーカス画像110´を取得する時間において、顕微鏡対物レンズ120をベストフォーカス位置に移動させる(運動範囲120´で示される)ように命令される。一実施形態において、たとえば制御システム170により画像センサ110がトリガされ、ディザレンズの運動のある回数のサイクルの後に画像がスナップショットされる。XY移動ステージ130は、次のフレームに移動し、ディザフォーカスステージ150のディザレンズサイクル運動が続き、図5A−5Eのフォーカス動作が繰り返される。鮮鋭度値は、プロセスのボトルネックとならない速さで計算することができ、たとえば3kHzで計算することができる。
図6Aは、本稿で説明されるシステムの一実施形態による、ディザフォーカス光学系の命令波形および鮮鋭度決定を示すプロット200の概略図である。一実施形態において、図5A−5Eの例に関して議論される時間に基づく。
T = 16.67 msec /レンズが60Hzで共振する場合のディザレンズのシヌソイドの周期
F = 300μm /フォーカス値の正の範囲
N = 8 /期間Eにおいて取得されるフォーカスポイントの数
Δt = 330μsec /330μsecごとに取得されるフォーカスポイントサンプル
E = 2.67msec /Nフォーカスポイントが取得される期間
Δf = 1.06μm フォーカス移動の中心において /フォーカスカーブのステップサイズ
それゆえ、32%のデューティサイクルにより、フォーカス処理を通じて8.84μm(8×1.06μm=8.48μm)がサンプル取得される。
図6Bは、プロット210に示されるディザレンズのサイン波運動の一部の計算された鮮鋭度(Z)値のプロット210を示す概略図である。各ポイントiの関数としてサンプル取得された各フォーカス平面の位置(z)は、式1により与えらえる。
CCDカメラをウインドーイングすることは、本稿で説明されるシステムに好適な高フレームレートを提供し得る。たとえば、Ontario, CanadaにあるWaterlooのDalsa社は、Genie M640-1/3 640×480 Monochrome cameraを製造している。Genie M640-1/3は、640×32のフレームサイズで3000フレーム/秒で動作し得る。CCDアレイ上のピクセルサイズは7.4ミクロンである。物体とフォーカス平面との間における5.5倍において、1つのフォーカスピクセルは物体において約1.3ミクロンに相当する。フォーカスピクセル毎の約16物体ピクセル(4×4)のいくらかの平均化が生じるが、良いフォーカス情報を得るために十分な高空間周波数コントラスト変化が保護される。一実施形態において、ベストフォーカス位置は、鮮鋭度計算プロット210のピーク値により決定することができる。追加的な実施形態において、本稿でさらに議論されるコントラストメトリックを含む、他のメトリックによりベストフォーカスを決定するために他のフォーカス計算および技術を使用できることに注意されたい。
図7Aおよび7Bは、本稿で説明されるシステムの一実施形態による、フォーカス決定および標本(組織)の調整を示す概略図である。図7Aにおいて、図柄250は、本稿で議論されるXY移動ステージ130の運動によるY軸に沿った標本の移動に関する概略イメージフレームにおける標本の図である。Y軸およびX軸に沿った標本の移動(たとえばXYステージ130の運動による)に関する、標本上の1横断または1通過は、符号250に示されており、標本を横断する曲がりくねったパターンを示している。図示250´は、図示250の一部の拡大図である。図示250´の1つのフレームは、dtpを示し、これは標本の明確な組織ポイント(definite tissue point)またはアンカーポイントを示している。図示250´の例において、標本境界が示され、スキャン中に、本稿で説明されるシステムにより複数回のフォーカス計算が行われる。例として、フレーム251において、標本のイメージングに関して4回のフォーカス計算(フォーカス位置1、2、3、0として示される)が実行された後に、ベストフォーカス決定がなされるが、本稿で説明されるシステムに関してより多くのフォーカス計算が行われるようにしてもよい。図7Bは、検査される標本のY軸位置に対する顕微鏡対物レンズのZ軸位置のプロットを示す概略図260を示す。図示の位置261は、本稿で説明されるシステムの一実施形態によるベストフォーカスを達成するための顕微鏡対物レンズ120の調整のために決定されたZ軸に沿う位置を示す。
本稿で説明されるシステムは、米国特許第7576307号明細書、第7518642号明細書に開示されているもののような従来のシステムに対して優位な効果を提供する。これらの文献は参照によりその全体が本明細書に組み込まれ、顕微鏡対物レンズの全体はシヌソイドまたは三角形のパターンでフォーカスを通じて移動される。本稿で提供されるシステムは有利であり、重く(特に他の対物レンズがタレットを介して追加される場合)、ディザ光学系を使用して説明される高い周波数で移動させることができない、顕微鏡対物レンズおよび付随するステージとの使用に好適である。本稿で説明されるディザレンズは、調整されるマス(たとえば、ガラスより軽量に形成される)を備えることができ、フォーカスセンサへのイメージング要求は、顕微鏡対物レンズに必要とされるものよりも小さい。フォーカスデータは、鮮鋭度を計算するときに場面の変化を最小にするために、本稿で説明されるように高レートで取得することができる。場面の変化を最小化することで、本稿で説明されるシステムは、システムがフォーカス内外へ移動し、組織が顕微鏡対物レンズの下で移動するときに、鮮鋭度メトリックにおける不連続性を小さくする。従来のシステムにおいて、そのような不連続性はベストフォーカス計算にノイズを与える。
図8は、イメージセンサのイメージフレーム304およびフォーカスセンサのフォーカスフレーム306を含むカメラウィンドウ302を示す概略図である。フォーカスフレーム306およびイメージフレーム304の各々の視野が整列して示されている。イメージフレーム304は、イメージング中に取得されるフレームの列がカメラウィンドウ302に整合するように、ステージ130の移動方向に向けることができる。たとえばDalsa 4M30/60 CCDカメラ、2352x1728ピクセル、7.4ミクロン平方ピクセルを使用するイメージフレーム304の視野は、21倍拡大チューブレンズを使用して0.823mm×0.604mmである。イメージフレームの広い寸法(0.823mm)は、フォーカスフレーム306の長い寸法に垂直に向けることができる。フォーカスセンサ(たとえば、Dalsa Genie 640x480 ピクセル、7.4ミクロン平方ピクセル)のフォーカスフレーム306は、フォーカスレッグにおいて5倍の拡大を使用して物体において、100ピクセル×320ピクセルまたは0.148mm×0.474mmの矩形306´に窓をかけることができる。それゆえ、フォーカスフレーム306は、イメージフレーム304により観察される組織の大部分を観察することができる。これは、組織セクションがフレーム内で分離して配置されている場合にでもフォーカス操作における組織の取得の可能性を増加させる。フォーカスフレーム306により観察される組織の大きな領域は、ベストフォーカスを決定するときにノイズ低減、高感度を提供し、また、非組織領域と組織領域とを識別するのに有利に使用することができる。本稿で説明されるシステムの一実施形態によれば、1秒当たり60のベストフォーカス決定をすることができ、各フォーカスセンサのサイクルで20の鮮鋭度が計算され、60Hzのフォーカスディザで1秒当たり1200の鮮鋭度計算を生じさせる。標本のイメージングに関してフォーカス計算(たとえば図7Aおよび7Bに示され鵜フォーカス位置1、2、3、0)が実行される。ベストフォーカスイメージフレームは、イメージフレーム304´として示される。全ての関心領域を横断する曲がりくねったパターンを実行することで組織の範囲がカバーされる。
鮮鋭度計算の例は式2(たとえば320×100の領域に窓をかけるカメラの使用に基づく)に示される。行iに関して、次元nは100まであり、列jに関して次元mは320/zまであり、ここでzは、鮮鋭度か計算される領域の数であり、領域の鮮鋭度は式2で表される。
ここでkは、1から5までの整数である。この実施形態においてz=1(1つの領域のみ)であるが、本稿でさらに議論される他の実施形態では、本稿で説明されるシステムに関して1つより多くの領域を用いることができる。また、他の鮮鋭度のメトリクスおよびアルゴリズムを、本稿で説明されるシステムに関して使用することができる。XY移動ステージ130がy軸に沿って移動するとき、システムはフォーカスフレーム内の現在の領域で鮮鋭度情報を取得し、この情報はベストフォーカス位置を決定するために使用される。
図9は、フォーカス位置を通る移動から生成される鮮鋭度プロファイルの例を示す概略図であり、本稿で説明されるシステムの一実施形態による、鮮鋭度応答カーブ360、およびディザフォーカス光学系によりサンプル取得される複数のポイントにおける各鮮鋭度応答のコントラストエラー信号370を含む。プロット360は、x軸におけるマイクロメータにおけるディザレンズの幅、およびy軸に沿う鮮鋭度単位を示す。図示のように、ディザレンズの運動は、代表的な位置A、B、C、D、Eにおいて中心決めすることができる。しかし、本稿で説明される計算は、鮮鋭度カーブの各ポイントに適用することができることに注意されたい。ディザレンズの運動が各位置A、B、C、D、Eにおいて中心決めされるとき、ディザレンズシヌソイドの半サイクルに関して、フォーカスセンサ160から生成される鮮鋭度応答値は、それぞれ波形プロット361−365に示される。
本稿で議論されるように、ディザレンズは、60Hzで、ピーク−ピークで約300ミクロンの振幅で振動するようにすることができる。これは、フォーカスセンサにより観察されるときに、組織において約+/−5ミクロンのフォーカスの変化を生じさせる。ベストフォーカスは、各フォーカスフレームにおいて鮮鋭度を計算することでフォーカスセンサにより測定することができる。この計算は、カメラのFPGAで行うことができる。それゆえ、ディザレンズが60Hzで振動しているときに、ディザサイクルごとに20の鮮鋭度メトリックが計算される(1秒あたり1200の鮮鋭度を計算)。特性波形361−365は、ベストフォーカスに対する顕微鏡対物レンズの位置に依存して測定される。たとえば、ベストフォーカス(位置C)において、ディザレンズは鮮鋭度応答の両サイドをサンプル取得し、ディザ振動の周波数の2倍でサイン波(波形363)を生成する。サイン波トラフ(谷部)のポイント「a」、ピーク(頂部)のポイント「b」、および次のトラフのポイント「c」は、フォーカスを制御するために使用されるエラー信号を計算するために使用することができ、たとえば、イメージセンサ110が画像110´を取得する前に、スローフォーカスステージ140を、顕微鏡対物レンズ120をベストフォーカス位置に移動させるように制御することでフォーカスを制御する。ポイントa、b、cは波形361−365からの鮮鋭度値であり、コントラストエラー信号370を計算するために鮮鋭度応答カーブ360上に示されるディザレンズの各中心決めされたポイント(たとえばA、B、C、D、E)に関して得られる。
一実施形態において、コントラストエラー信号(Contrast Error Signal, CES)370は、式3に示されるように計算されるエラー関数とすることができる。
CES=(a−c)/b 式3
フォーカスはずれの位置において、たとえば位置A(波形361参照)において、CESは負になり、位置B(波形362参照)において負の値はより縮小するように移動する。位置Cにおいて(波形363参照、波形363から得られるポイントa、b、cから)CESはゼロになり、システムが位置D、E(波形364、波形365参照)を通ってフォーカスから離れて移動すると、正の値に増加する。CESがゼロになるポイント(位置C)は、フォーカスモーターに関してベストフォーカスであることを示す。このCESエラー関数は、本稿でさらに議論されるように、スローフォーカスモーターを制御するためにフィードバックループに使用することができる。+/−5ミクロンの「ロック範囲」の外側の領域は、ディザ周波数に等しい特性周波数を備える。フォーカス外へのさらなる移動は、波形の振幅を漸進的に小さくする。コントラストが一定の領域または組織が無い領域において、波形の振幅は非常に小さくなり、または、変動のない一定の信号を提供する。波形の振幅に閾値を設定することで、組織が視界にあるのかないのかを決定することができる。
図10は、機能的な制御ループブロックダイアグラム400を示し、スローフォーカスステージ140を制御するための制御信号を生成するコントラストエラー信号の使用を示している。Uは、フォーカス制御ループに対する外乱と考えることができ、また、たとえば、スライドの傾きまたは組織の表面高さの変化を示すものとすることができる。機能ブロック402は、鮮鋭度ベクトル情報の生成を示し、これは、フォーカスセンサ160により生成され、また、フォーカス電子機器および制御システム170に連絡される。機能ブロック404は、ディザレンズがフォーカスをサンプリングしているポイントにおけるコントラスト数(たとえば、式3によるもののようなコントラストエラー信号の値)の生成を示す。このコントラスト数は、ベストフォーカスが予め確立された場所で最初のステップにおいて生成される、セットポイントまたは参照値(Ref)と比較される。
偏差(proportional, P)、積分(integrating, I)、微分(differentiating, D)(PID)機能ブロック406は、スローフォーカスモーターを補正するために、対応する既知の制御理論技術を使用し、スローフォーカスモーターは(機能ブロック408において)、場面をフォーカス状態に維持し、最適な安定性を提供し、外乱(フォーカスの突然の変化など)に応答するように機能する。適切な制御ループ応答に基づいて、システムは、イメージデータの列を取得しながら動的にフォーカスすることができる。一実施形態は、移動量の最小値または閾値にしたがって顕微鏡対物レンズ120の位置を調整することができることに注意されたい。したがって、そのような実施形態は、閾値よりも小さい調整をすることを避けることができる。
代替的に、他の実施形態において、本システムは、上述のアプローチを用いてフォーカスデータを取得し、列のベストフォーカス位置を記憶するために、Yステージ/スライドをY方向に移動させることができる。これは、ディザフォーカスアプローチにより非常に迅速に行うことができる。本システムは、このフォーカスデータを用いて列のイメージングを繰り返すことができる。次の列は、同様の方法でスキャンされる。列スキャニングは、関心領域が取得されるまで継続される。
代替的に、他の実施形態において、データの第1列は、まばらな予備スキャンデータにより生成されるベストフォーカス表面を更新するために使用することができる。たとえば、関心領域は、まがりくねったパターンでスキャンされ、第1列をイメージングし、上述のディザレンズの方法により生成されるベストフォーカスデータを記憶し、このフォーカスデータを使用してベストフォーカス表面を再計算し、第2列をイメージングする、等を関心領域がスキャンされるまで行われる。
代替的に、他の実施形態において、フォーカスセンサは、視野が完全に隣接する列に入るように整合させることができる。関心領域は、曲がりくねったパターンでスキャンされる。スキャンされたデータの第1列(列1)は、隣接する第2列(列2)のために単純にベストフォーカスデータを記憶する。戻り経路上で、ベストフォーカスデータを使用して列2がイメージングされ、列3のベストフォーカスデータが記憶され、関心領域の全体がスキャンされるまでこれを繰り返す。
本稿で説明される方法は、非常に速いスキャニングを提供し、組織をベストフォーカスに維持するためのフォーカス情報を提供する。
図11は、カメラウィンドウ452の概略図であり、本稿で説明されるシステムの他の実施形態によるフォーカスプロセスに関して複数の領域に分割されるフォーカスウィンドウ456を示している。図示の実施形態において、フォーカスフレーム456は8個の領域に分割されるが、本稿で説明されるシステムに関して、8個より少ないまたは多い領域を使用してもよい。領域の第1サブセットはスナップショットn内に、領域の第2サブセットはスナップショットn+1内にすることができる。たとえば、領域2、3、4、5は、時間t1においてスナップ撮りされるイメージフレーム454内にある。領域6、7は、XY移動ステージ130が図の下から上に移動するときにスナップ撮りされる次のイメージフレーム内に完全に入るようにし、および/または、領域0、1は、ステージ130が図の上から下へ移動するときにスナップ撮りされる次のイメージフレーム内に完全に入るようにすることができる。フォーカス位置0、1、2、3は、位置0における次のスナップ撮りされるフレームのためにベストフォーカス位置を外挿するために使用することができる。たとえば、関心領域の全てを曲がりくねったパターンで横断するように実行することで、組織の適用範囲を確立することができる。イメージフレーム406の広い方の寸法は、フォーカスフレーム456の長い方の寸法に垂直になるように向けることができ、組織のセクションにわたって横断する列の数を最小化することができる。様々な実施形態において、フォーカスセンサのフォーカスフレーム456は、イメージセンサのイメージフレーム404よりも様々な範囲でより長くすることができ、複数の領域を含む先取りフォーカス技術とともに有利に使用することができ、これは本稿でさらに議論される。複数の領域を使用して単一のフォーカスポイントの鮮鋭度メトリックを計算するとき、鮮鋭度メトリックは、各領域について決定して結合させることができ、たとえば、単一のポイントと考えらえる全ての領域の鮮鋭度メトリックを合計することにより決定することができる。ベストフォーカスイメージはフレーム454´内に示される。
スキャニングプロセスの間、本システムが白空間(組織無し)から黒空間(組織)へ遷移しているかどうかを決定することは有利となり得る。XY移動ステージ130がy軸に沿って移動しているとき、システムは、フォーカス振動402内の領域0−7の全ての鮮鋭度情報を取得する。ステージ130が移動しているときに、組織セクションの高さがどのように変化しているかを知ることが望ましい。領域6、7において鮮鋭度を計算することにより、この遷移が生じているかどうかを予測することが可能である。列をスキャンしながら、領域6、7が鮮鋭度の増加を示す場合、XY移動ステージ130は、組織の境界上でより緊密な間隔でフォーカスポイントを形成するようにスピードを落とすように命令することができる。一方、高鮮鋭度から低鮮鋭度へ移動が検出される場合、スキャナの視野が白空間に入っていることを決定することができ、組織境界上でより緊密な間隔でフォーカスポイントを形成するために、ステージ130のスピードを落とすことが望まれる。これらの遷移が生じていない領域において、ステージ130は、スライドスキャンの全体のスループットを高めるために、より速い一定のスピードで移動させるように命令することができる。鮮鋭度計算は、式2に関して議論したように行うことができ、この実施形態において、640x32ストリップのウィンドウのカメラを使用することに基づくことができる。たとえば、行i、大きさnは、32までとすることができ、列j、大きさmは640/zまでとすることができ、ここでzは、領域の数である(たとえば8個の領域、領域0−7など)。この方法は、有利に組織を迅速にスキャンすることを可能にし得る。本稿で説明されるシステムによれば、スナップショットは、フォーカスデータが収集されるときに取得することができる。さらに、全てのフォーカスデータは、第1スキャンにおいて収集および記憶することができ、スナップショットは、後続のスキャンの間にベストフォーカスで取得することができる。一実施形態は、フォーカスの変化を検出するために鮮鋭度値に関して本稿で説明されたのと類似の手法でコントラスト関数値を使用することができ、組織を含む領域または白空間へ出入りする遷移を決定する。
他の実施形態において、フォーカスセンサ160としてカラーカメラを使用することができ、および、鮮鋭度コントラストメトリックに代替的におよび/または追加的に、彩度メトリックを決定することができる。この実施形態によれば、たとえば、640×480Genie cameraのDalsa color versionをフォーカスセンサ160として好適に使用することができる。彩度メトリックは、照射された白色に類似の輝度に関する色彩性として説明することができる。数式(式4Aおよび式4B)において、彩度(C)は、R、G、Bの色測定値の線形結合とすることができる。
=-37.797×R-74.203×G+112×B 式4A
=112×R-93.786×G-18.214×B 式4B
R=G=Bの場合、C=C=0である。総彩度を表す値Cは、CおよびCに基づいて決定することができる(たとえば、CおよびCを合計することにより)。
XY移動ステージ130がy軸に沿って移動しているとき、フォーカスセンサ160は、明視野顕微鏡におけるように、カラー情報(R、G、B)を取得することができる。RGBカラー情報は、コントラスト技術と同様に、システムが白空間(組織無し)から色彩空間(組織)へ遷移しているかどうかを決定するのに使用することができる。一実施形態において、白空間から色彩空間への遷移に関する情報は、フォーカスフレームの処理にしたがって行うことができ、イメージフレームの視野と実質的に同程度の視野を備え、図示300に関して議論される1つの領域のみを使用する。
他の実施形態において、本稿で説明するシステムに関して先読み処理技術を使用することができる。たとえば領域6および領域7において彩度を計算することで、白空間(組織無し)と色彩空間(組織)との間の遷移が生じようとしているかを予測することができる。たとえば、ほとんど彩度が検出されない場合、C=0であり、組織境界が近づいていないことを認識することができる。しかし、フォーカス列をスキャンしているとき、領域6および領域7が彩度の増加を示す場合、組織境界上でより緊密な間隔でフォーカスポイントを形成するために、ステージ130に速度を落とすように命令することができる。一方、高彩度から低彩度への移動が検出される場合、スキャナが白空間に入ろうとしていることが決定され、組織境界上でより緊密なフォーカスポイントを形成するために、ステージ130の速度を落とすことが望まれる。これらの遷移が生じない場所において、ステージ130は、スライドスキャニングの全体のスループットを増加させるために、より速い一定のスピードで動くように命令することができる。
視野または近づいているフレームが組織のあるスライド領域に入ろうとしているまたは出ようとしているときを決定するために、鮮鋭度値、コントラスト比、および/または彩度値の使用に関して、処理の変形をすることができる。たとえば、白空間から組織のある領域に入るとき、Y方向の運動を減少させ、取得されるフォーカスポイントの数を増加させることができる。白空間または組織の間の領域を見ているとき、Y方向の運動を増加させ、組織を含む領域に移動するまで、より少ない決定されるフォーカスポイントを検出するようにすることができる(たとえば、彩度および/または鮮鋭度値の増加などにより)。本稿で議論される実施形態は、先読み技術とともに使用するように構成することができ、および/または、先読み処理の使用をせずにたった1つの領域とともに使用するように構成することができることに注意されたい。たとえば、より広い矩形フォーカスフレームは、たった1つの領域を使用するフォーカス処理に好適となりえ、イメージフレームを超えて延びることができるより長いストリップ状のフォーカスフレームは、先読みフォーカス処理技術との使用により好適となり得る。
図12Aおよび図12Bは、本稿で説明されるシステムの実施形態による、時間ポイントにおいて得られる鮮鋭度値を使用するフォーカス技術に関するプロットを示すグラフ470、480を示す。
図12Aは、本稿で説明される、現在、フォーカス状態であり補正が必要ではない状態におけるシステムのプロット図470を示している。最上部のプロット471は、ミクロンを秒による時間でプロットしており、ディザレンズ運動のサイン波サイクルの半分に対応するカーブとしてディザレンズの位置を示す(たとえば、ピークからピークの1サイクルまたは周期の半分)。プロット472は、ディザサイン波運動の線形領域にわたるサンプリングクロックを示し、ここで1のクロック値でサンプリングが生じる。プロット473は、フォーカスを通って線形運動(z方向)により全てのポイントがサンプル取得されたかのように得られる鮮鋭度値のセットを使用して、鮮鋭度メトリックから計算される鮮鋭度値(任意の単位)を示す。プロット474は、ディザサイン波運動の線形領域にわたってサンプル取得される鮮鋭度カーブを示す。ベストフォーカスz位置は、サンプル取得された鮮鋭度データから挿入される。この場合において、本システムがフォーカス状態にあり補正が必要とされず、すなわちピーク鮮鋭度は、ゼロ位置における示されるディザレンズ位置に対応し、この付近で鮮鋭度応答が計算されている(たとえば、図9の位置Cの波形363を参照)。
図12Bは、本稿で説明される、フォーカス状態になく、補正が必要な状態であるシステムのプロット図を示す。最上部のプロット481は、ミクロンを時間秒でプロットしており、ディザレンズ運動のサイン波サイクルの半分に対応するカーブとしてディザレンズ位置を示している(たとえば、ピークからピークの1サイクルまたは周期の半分)。プロット482は、ディザサイン波運動の線形領域にわたるサンプリングクロックを示し、ここで1のクロック値でサンプリングが生じる。プロット483は、フォーカスを通って線形運動(z方向)により全てのポイントがサンプル取得されたかのように得られる鮮鋭度値のセットを使用して、鮮鋭度メトリックから計算される鮮鋭度値(任意の単位)を示す。プロット484は、ディザサイン波運動の線形領域にわたってサンプル取得される鮮鋭度カーブを示す。ベストフォーカスz位置は、サンプル取得された鮮鋭度データから挿入される。この場合において、システムは本稿で議論される技術によるフォーカス補正を必要とし、すなわち、ピーク鮮鋭度がディザレンズ位置から約−1ミクロンのところで見つかる(たとえば、図9の位置Bの波形362を参照)。本稿で議論されるように、エラー補正信号を本稿の技術により決定することができ、補正情報をスローフォーカスモーターに場面をフォーカス状態に維持するように供給することができる。
図13は、本稿で説明されるシステムの一実施形態による検査のもとで、標本のスキャン中のオンザフライフォーカス処理を示す、フローダイアグラム500である。ステップ502において、検査される標本のために、名目フォーカス平面または参照平面が決定される。ステップ502の後、処理はステップ504に進み、本稿で説明されるシステムによれば、ここで、ディザレンズは、特定の共振周波数で動作するようにセットされる。ステップ504の後、処理はステップ506に進み、ここで、XY移動ステージは、特定のスピードで移動するように命令される。ステップ504およびステップ506の順番は、ここで議論される処理の他のステップと同様に、本稿で説明されるシステムに応じて適切に修正することができることに注意されたい。ステップ506の後、処理はステップ508に進み、ここで、本稿で説明されるシステムによるディザレンズの運動に関して、検査される標本に対するフォーカスポイントにおける鮮鋭度計算が行われる。鮮鋭度計算は、コントラスト、彩度、および/または、本稿でさらに議論されるような他の適切な測定値の利用を含むことができる。
ステップ508の後、処理はステップ510に進み、ここで、本稿で説明されるシステムによる、画像を取得するためのイメージセンサに関して使用される顕微鏡対物レンズのベストフォーカス位置合わせのために、鮮鋭度計算およびコントラストエラー信号(contrast error signal, CES)関数のような計算されたエラー信号情報に基づいてベストフォーカス位置が決定される。ステップ510の後、処理はステップ512に進み、ここで、ベストフォーカス位置に関する制御信号が、顕微鏡対物レンズの位置(Z軸)を制御するスローフォーカスステージに送られる。ステップ512は、対物レンズの下の標本部分の画像を取得するために、カメラにトリガ信号を送ることを含むことができる。トリガ信号は、たとえば、(たとえばディザレンズ運動に関する)特定のサイクル数の後にイメージセンサによる画像の取得を生じさせる制御信号とすることができる。ステップ512の後、処理はテストステップ514に進み、ここで、スキャンの下で標本を保持するXY移動ステージのスピードを調整すべきかどうかが決定される。一実施形態において、この決定は、フォーカスされた視野の鮮鋭度および/または他の情報を使用して、先読み処理技術により行うことができ、これは本稿でさらに詳細に議論される。他の実施形態において、この決定は、先読み処理を使用せずに1つの領域の1つの鮮鋭度および/または他の情報の使用にのみ基づいて行うことができる。テストステップ514において、XYステージのスピードが調整されるべきと決定されたら、処理はステップ516に進み、ここで、XY移動ステージのスピードが調整される。ステップ516の後、処理はステップ508に戻る。テストステップ514において、XY移動ステージのスピードの調整を行わないことが決定されると、処理はテストステップ518に進み、ここで、フォーカス処理を続けるかどうかが決定される。処理が続けられるならば、処理はステップ508に戻る。一方、処理が続けられない場合(たとえば、現在の標本のスキャンが完了した場合)、フォーカス処理は終了し、処理が完了する。
図14は、本稿で説明されるシステムの一実施形態による、スローフォーカスステージにおける処理を示すフローダイアグラム530である。ステップ532において、顕微鏡対物レンズの位置を(たとえばZ軸に沿って)制御するスローフォーカスステージは、標本を検査する顕微鏡対物レンズの位置を調整するための情報を備える制御信号を受け取る。ステップ532の後、処理はステップ534に進み、ここで、スローフォーカスステージは、本稿で説明されるシステムによる顕微鏡対物レンズの位置を調整する。ステップ534の後、処理は待ちステップ536に進み、ここで、スローフォーカスステージはさらなる制御信号を受け取るのを待つ。ステップ536の後、処理はステップ532に戻る。
図15は、本稿で説明されるシステムの一実施形態による画像取得処理を示すフローダイアグラムである。ステップ552において、カメラのイメージセンサは、顕微鏡検査のもとで標本の画像を取得する処理を開始するトリガ信号および/または他の命令を受け取る。様々な実施形態において、トリガ信号は、制御システムから受け取ることができ、制御システムは、本稿で説明されるシステムによるフォーカス処理に用いられるディザレンズの運動サイクルの一定数の後に、イメージセンサの画像取得処理を開始するように制御する。代替的に、トリガ信号は、XY移動ステージ上の位置センサに基づいて提供することができる。一実施形態において、位置センサは、Renishaw Linear Encoder Model No.T1000-10Aとすることができる。ステップ552の後、処理はステップ554に進み、ここで、イメージセンサは画像を取得する。本稿で詳細に議論されるように、イメージセンサにより取得された画像は、本稿で説明されるシステムによるフォーカスシステムの動作に関してフォーカスされている。取得された画像は、本稿で参照される他の技術に関連して互いに結び付けることができる。ステップ554の後、処理はステップ556に進み、ここで、イメージセンサは次のトリガ信号の受信を待つ。ステップ556の後、処置はステップ552に戻る。
図16は、本稿で説明されるシステムの一実施形態によるフォーカス処理の代替構成を示す概略図600である。ウィンドウかけされたフォーカスセンサはフレーム視野(FOV)602を備え、FOV604は傾斜しており、または、イメージセンサのFOV604の幅に実質的に等しい帯で斜めにスキャンするように他のように位置決めされる。本稿で説明されるように、ウィンドウは進行方向に対して傾斜するようにすることができる。たとえば、傾斜したフォーカスセンサのフレームFOV602は、45°回転させるようにすることができ、物体(組織)において、0.94×0.707の有効幅を備える。イメージセンサのフレームFOV604は、0.588mmの有効幅を備え、それゆえ、組織を保持するXY移動ステージが対物レンズの下で移動するとき、傾斜するフォーカスセンサのフレーム602は、イメージセンサにより観察される帯のエッジを見る。視野において、傾斜するフォーカスセンサの複数のフレームば、時間0、1、2、3における中間位置で、イメージセンサのフレームFOV603上で重ねられるように示される。フォーカスポイントは、フォーカ列における隣接するフレームの中心の間の3つの位置において取得することができる。フォーカス位置0、1、2、3は、位置0における次のスナップされるフレームのためにベストフォーカス位置を外挿するために用いられる。この方法のスキャン時間は、本稿の他の箇所で説明された方法と類似する。傾斜フォーカスセンサのフレーム602がより短い先読みを備え、この場合、0.707×(0.94−0.432)/2=0.18mmまたは傾斜フォーカスセンサは、取得される次のフレーム内に42%侵入し、イメージセンサのフレームFOV604に対して傾斜する傾斜フォーカスセンサのフレームFOV602は、スキャンする帯のエッジ上の組織を見て、ある場合は有利となりえる、エッジのフォーカス情報を提供する。
図17は、本稿で説明されるシステムの他の一実施形態によるフォーカス処理の代替構成を示す概略図650である。図示650のように、傾斜フォーカスセンサのフレームFOV653およびイメージセンサのフレームFOV654が示されている。傾斜フォーカスセンサのフレームFOV652は、組織にわたる前方経路上でフォーカス情報を取得するために使用することができる。前方経路のフォーカスデータを使用してフォーカスステージを調整し、一方で、後方経路において、イメージセンサは、フレームをスナップ取得する。前述の方法における中間位置0、1、2、3をスキップして、全てのイメージフレームにおけるフォーカスデータを取得したい場合、XY移動ステージは、高速のフォーカスポイント取得の前方経路において4倍のスピードで移動することができる。たとえば、20倍で15mm×15mmでは、列のデータは35フレームである。フォーカスデータは1秒あたり120ポイント取得されるので、前方経路は、0.3秒(35フレーム/1秒当たり120フォーカスポイント)で実行できる。この例の列の数は26であり、それゆえ、フォーカスポイントは、26×0.3または7.6秒で行うことができる。30fpsにおける画像取得は約32秒である。したがって、総スキャン時間のフォーカス部分は20%だけであり、これは効率的である。さらに、フォーカスが1フレームごとにスキップすることが可能である場合、スキャン時間のフォーカス部分は実質的にさらに小さくなる。
他の実施形態において、フォーカスセンサの位置および向きに関する上述した実施形態は、本稿で説明されるシステムにおいて、先読み処理を使用することなく1つだけの領域に関して使用することができることに注意されたい。したがって、フォーカスフレームは、イメージフレームを越えては延びず、また、概略図600、650におけるものよりも広くおよび/または大きくすることができ、また、図示300のフォーカスフレームのようなサイズにすることもできる。他の実施形態において、フォーカス領域は、隣接する列のデータをサンプル取得して追加的な先読み情報を含む追加的なフォーカス情報を提供するために、視野の中で他の位置および他の向きに位置決めすることができ、これらは本稿で説明されるシステムに関して使用することができる。
スライドを移動させるXY移動ステージは、後方工程上で生成されるものに対して、前方工程上で生成されるベストフォーカスポイントを繰り返すことができる。20倍で0.75NA、09.ミクロンのフォーカス深さの対物レンズにおいて、約0.1ミクロンで繰り返すことが望ましい。ステージは、0.1ミクロンの前方/後方の反復性に適合するように構築され、したがって、この要求は、本稿でさらに議論するように技術的に実行可能である。
一実施形態において、本稿で説明されるシステムにより検査されるガラススライド上の組織または少量の物質は、スライドの全体をカバーすることができ、または、約25mm×50mmの領域をカバーすることができる。分解能は対物レンズの開口数(NA)、スライドへのカップリング媒体、コンデンサのNA、および光の波長に依存する。たとえば、60倍で0.9NAの顕微鏡対物レンズ、プランアポクロマート(Plan apochromat, Plan APO)、空気中で緑の光(532nm)において、顕微鏡の横方向解像度は、約0.2umであり、0.5umのフォーカス深さである。
本稿で説明されるシステムの動作に関して、ディジタル画像は、関心領域上を、ラインスキャナセンサまたはCCDを介して、限定された視野を移動させ、限定された視野またはフレームまたはタイルをザイクを作成するように互いに結合させることで取得することができる。観察者が画像の全体を観察するときに、視認できる結合部、または、フォーカスまたは明度の変動がない繋ぎ目のないモザイクとなるようにすることが望まれる。
図18は、本稿で説明されるシステムの一実施形態による、スライド上の組織のモザイク画像を取得する処理を示すフローダイアグラムである。ステップ702において、スライドのサムネイル画像を取得することができる。サムネイル画像は、1倍または2倍の拡大率のオーダーで低解像度とすることができる。スライドラベルにバーコードが存在する場合、バーコードは解読され、このステップにおいてスライドイメージに添付される。ステップ702の後、処理はステップ704に進み、ここで、標準的な画像処理ツールを用いてスライド上で組織が発見される。スキャン領域を与えられる関心領域へと狭くするために、組織を境界付けることができる。ステップ704の後、処理はステップ706に進み、ここで、組織の平面に対してXY座標系を付与することができる。ステップ706の後、処理はステップ708に進み、ここで、組織の規則的なXY間隔で、1つ以上のフォーカスポイントが生成され、本稿で議論した1つ以上のオンフライフォーカス技術のようなフォーカス技術を用いてベストフォーカスが決定される。ステップ708の後、処理はステップ710に進み、ここで、望ましいフォーカスポイントの座標および/または他の適切な情報が保存され、また、アンカーポイントとして参照される。フレームがアンカーポイントの間に位置する場合、フォーカスポイントを外挿することができることに注意されたい。
ステップ710の後、処理はステップ712に進み、ここで、顕微鏡対物レンズは、本稿で議論される技術によりベストフォーカス位置に位置決めされる。ステップ712の後、処理はステップ714に進み、ここで画像が収集される。ステップ714の後、処理はテストステップ716に進み、ここで、関心領域の全体がスキャンされ画像取得されたかどうかが決定される。まだであったら、処理はステップ718に進み、ここでXYステージは、本稿で議論される技術により、組織をX方向および/またはY方向に移動させる。ステップ718の後、処理はステップ708に戻る。テストステップ716において、関心領域の全体がスキャンされ、画像取得されたことを決定されると、処理はステップ720に進み、ここで収集された画像フレームは互いに結び付けられ、または他の方法で結合され、本稿で説明されたシステムおよび本稿で議論される技術(たとえば、米国特許出願第2008/0240613号などを参照)を用いて、モザイク画像を形成する。ステップ720の後、処理は完了する。1つまたはそれ以上のモザイク画像を取得するために、本稿で説明されるシステムに他の適切な手順を採用することもできることに注意されたい。
本稿で説明されるシステムの有利な動作に関して、z位置の再現性は、対物レンズのフォーカス深さの端数まで再現できるようにすることができる。フォーカスモーターによるz位置の戻るときの小さなエラーは、タイルシステム(2D CCDまたはCMOS)およびラインスキャンシステムの隣接列で容易に観察できる。上述した60倍での分解能に関し、150ナノメートルまたはそれ以下のオーダーでのzピーク再現性が望ましく、そのような再現性は、4倍、20倍、および/または40倍の対物レンズなどの他の対物レンズにも好適である。
本稿で説明されるさらなるシステムによれば、本稿で説明されるディジタル病理学イメージングの特徴および技術に使用できる病理学顕微鏡用途のために、XYステージを含むスライドステージシステムの様々な実施形態が提供され、たとえば、オンザフライフォーカス技術に関して本稿で議論したXY移動ステージ130のように機能するものを含む。一実施形態によれば、本稿でさらに詳細に議論されるように、XYステージは、剛性ベースブロックを含むことができる。ベースブロックは、盛り上がったボス上に支持される、ガラスの平坦なブロックを含むことができ、また、盛り上がったボス上に支持される、三角形の断面を備えるガラスの第2ブロックを含むことができる。
図19は、本稿で説明されるシステムの一実施形態に使用することができるXYステージの精密ステージ800(たとえばYステージ部分)の実施形態を示す概略図である。たとえば、精密ステージ800は、25mm×50mmの領域にわたって、150ナノメートルまたはそれ以下のオーダーでzピークの再現性を達成することができる。本稿でさらに議論されるように、精密ステージ800は、本稿で議論される特徴および技術とともに使用することができ、たとえば、オンザフライフォーカス技術に関して議論したXY移動ステージ130の機能を含むことができる。精密ステージ800は、剛性ベースブロック810を含むことができ、ガラスの平坦なブロック812が盛り上がったボス上に支持される。これらのボスの間隔は、精密ステージ800の重量により、単純な支持部上のガラスブロックの沈降が最小化されるようにされる。三角形の断面を備えるガラス814の第2ブロックは、盛り上がったボス上に支持される。ガラスブロック812、814は、ガラスブロックを曲げない半剛性エポキシによりベースブロック810に接着式に結合することができる。ガラスブロック812、814はまっすぐなものとすることができ、また、500nmの光の1つまたは2つの波長分に研磨される。Zerodur(登録商標)のような低熱膨張の材料を、ガラスブロック812、814の材料として採用することができる。他の適切なガラスのタイプを本稿で説明されるシステムに使用することもできる。カットアウト部816は、顕微鏡コンデンサからの光がスライド上の組織を照らすことを可能にする。
2つのガラスブロック812、814は、滑らかなまっすぐなレールとして、または移動ステージブロック820のガイドの道として使用することができる。移動ステージブロック820は、硬質プラスチックの球形に形成されたボタン(たとえば5つのボタン)を含むことができ、これは位置821a−eに示されるようにガラスブロックに接触する。これらのプラスチックボタンは球形であり、接触表面は、プラスチックの弾性係数により決定される非常に小さな領域<<0.5mmに制限されるようにすることができる。たとえば、PTFE、または、英国のGGB Bearing Technology社からの他の熱可塑性プラスチックおよび他の潤滑添加剤を使用することができ、また、約3mm直径の接触ボタンの形状に型入れすることができる。一実施形態において、プラスチックボタンと磨きガラスとの間の摩擦係数はできるだけ小さくなるようにすべきであるが、装置のメンテナンスを節約するために液体潤滑材の使用は避けることが望ましい。一実施形態において、0.1から0.15の間の摩擦係数は、乾燥使用で容易に達成することができる。
図20A、20Bは、本稿で説明されるシステムの一実施形態に使用できる移動ステージブロック820のより詳細な図であり、位置821a−eにおいてガラスブロック810、812に接触する球形上ボタン822a−eを示している。ボタンは、駆動方向(Y)以外のすべての方向に剛性となる位置に配置することができる。たとえば、2つのプラスチックボタンは、互いに向かい合い、三角形状のガラスブロック814の側部に接触し、一方のプラスチックボタン822aは平坦なガラスブロック812に接触するように位置決めされる。移動ステージブロック820は、1つまたはそれ以上の穴824を含むことができ、軽量化し、および、プラスチック支持ボタン822a−eの位置により形成される三角形の中心に重心がくるように形状つける。このようにして、三角形828の角部におけるプラスチックボタン822a−eの各々は、ステージ800の運動中のあらゆるときに等しい重量を備えるようにすることができる。
精密ステージ800において、スライドは、スライドネスト832におけるバネ付勢アーム830を介してクランプされる。スライド801は、ネスト832内に手動で配置することができ、および/または補助的な機構によりロボット式にネスト832内に配置することができる。剛性のカンチレバーアーム840は、小径屈曲ロッド842の端部を支持および固くクランプし、ロッド842は高疲労強度鋼で形成することができる。一例において、この直径は0.7mmとすることができる。ロッド屈曲部842の他方の端部は、移動ステージ820上の重心位置826に取り付けることができる。カンチレバーアーム840は、ベアリングブロック850に取り付けることができ、ベアリングブロックは硬質化鋼レール852上の再循環ベアリング設計を介して移動することができる。リードスクリューアセンブリ854は、ステッパモーター856により回転させることができる。上述した要素の好適な部品は、日本のTHK社などいくつかの会社から入手可能である。リードスクリューアセンブリ854は、レール852上でベアリングブロック850を駆動し、これはロッド屈曲部842を介して移動ステージブロック820を押し、引きする。
ロッド屈曲部842の曲げ剛性は、6000xより大きく、プラスチックパッド上の移動ステージブロック820の剛性よりも小さい(z方向における移動ステージの平面に直交する力に対抗する剛性である)。これは、ベアリングノイズにより生成されるベアリングブロック850/カンチレバーアーム840の上下運動からステージブロック820を効率的に分離する。
本稿で説明される精密ステージ800の設計における注意深い質量バランスおよび配置への注意は、小さな揺れ運動を生成し得る、移動ステージブロック820のモーメントを最小化する。さらに、移動ステージブロック820は磨きガラス上を移動するので、移動ステージブロック820は、150ナノメートルピークより小さいz位置再現性を備え、これは60倍の拡大でのスキャンに十分である。60倍の条件は、もっとも厳しく、20倍および40倍の高NA対物レンズのようなより低い倍率は、60倍の条件で得られる性能に類似の好適な性能を示す。
図21は、本稿で議論される精密ステージによるXY複合ステージ900の全体の実施例を示し、これは、Yステージ920、Xステージ940、およびベースプレート960を含み、これは本稿で説明されるシステムの実施形態に使用することができる。この場合、Yステージ920のベースブロックは、X方向の移動ステージであるXステージ940になる。Xステージ940のベースブロックは、地上に固定することができるベースプレート960である。本稿で説明されるシステムによれば、XY複合ステージ900は、Z方向において150ナノメートルのオーダーの再現性を提供し、X方向およびY方向において1−2ミクロン(またはそれ以下)のオーダーの再現性を提供する。本稿で説明されるシステムによれば、ステージが英国のGloucestershireのRenishawにより製造されるもののようなテープスケールを介してフィードバック位置を含む場合、サブミクロンの正確さを達成可能である。
本稿で説明されるシステムによるステージ設計は、本稿で説明されるシステムによるXYステージが、非球形ボールベアリングまたは非円筒形クロスローラーベアリングによる再現性エラーを受けないという点で、球形ベアリングに支持される移動ステージよりも優れたものとすることができる。さらに、再循環ベアリング設計において、異なるサイズのボールの新しいボール要素は、繰り返し不可の運動を生じさせることがある。本稿で説明される実施形態のさらなる利点は、ステージのコストである。ガラス要素は、標準的なラップ仕上げおよび磨き技術を使用し、過度に高価ではない。ベアリングブロックおよびリードスクリューアセンブリは、ロッド屈曲部が移動ステージをベアリングブロックから脱連結させるという点で特別に高品質である必要はない。
本稿で説明されるさらなるシステムによれば、本稿で説明されるシステムの様々な技術および特徴に適用できる顕微鏡の実施形態に、照明システムを使用することができる。顕微鏡は、明視野顕微鏡にケーラー照明を広く使用できることが知られている。ケーラー照明の主な特徴は、開口数および照明領域の両方が調整可能なアイリスを介して制御可能であることであり、様々な倍率、視野、および開口数で顕微鏡対物レンズの広い範囲に調整できる。ケーラー照明は、望ましい結果を生じさせるが、空間を優位に消費する多数の部品を必要とすることがある。したがって、本稿で説明されるシステムの様々な実施形態は、顕微鏡応用の有利に照明のための特徴および技術を提供し、公知のケーラー照明システムのいくつかの欠点を避け、ケーラー照明の有利な点を維持する。
図22は、本稿で説明されるシステムの実施形態に使用することができる、発光ダイオード(LED)照明アセンブリ1002を使用するスライド1001を照明するための照明システム1000を示す概略図である。本稿で説明されるシステムに、他の適切な照明システムを使用することもできることに注意されたい。LED照明アセンブリ1002は、本稿でさらに議論されるように、複数の実施形態による様々な特徴を備えるようにすることができる。LED照明アセンブリ1002からの光は、ミラー1004および/または他の適切な光学部品を介してコンデンサ1006に伝播する。コンデンサ1006は、本稿でさらに議論されるように、XYステージ1008の必要とされる任意の動作距離に対応するために、適切な動作距離(たとえば少なくとも28mm)を備えるコンデンサとすることができる。一実施形態において、コンデンサは、28mmの動作距離を備えるMotic社により製造されるコンデンサSG03.0701とすることができる。コンデンサ1006は、スライド1002上の標本を照射する光の開口数(円錐角度)を制御する調整可能なアイリス絞りを含むことができる。スライド1001は、顕微鏡の対物レンズ1010の下でXYステージ1008上に配置することができる。LED照明アセンブリ1002は、スライド1001上の標本のスキャンおよびイメージングに使用することができ、たとえば、本稿で説明されるシステムの特徴および技術による、ダイナミックフォーカスのためのXYステージの運動に関する操作を含む。
LED照明アセンブリ1002は、高輝度白色LEDのようなLED1020を含むことができ、また、集光素子として使用できるレンズ1022、スライド1001上の照明領域を制御することができる調整可能なアイリス視野絞り1024を含むことができる。LED1020の発光表面は、レンズ1022により、コンデンサ1006の入口瞳上1006aに写像することができる。入口瞳1006aは、コンデンサ1006のNA調整絞り1006bとともに配置することができる。レンズ1022は、LED1020の出力光の大部分を集光し、LED1020の像を、コンデンサ1006のNA調整絞り1006b上に適切な拡大率でフォーカスするように選択でき、LED1002の像は、コンデンサ1006のNA調整絞り1006bの開口部を満たす。
コンデンサ1006は、NA調整絞り1006bとともにLED1020の光をスライド1001上にフォーカスするために使用することができる。スライド1001上の照明領域は、LED照明アセンブリ1002に設けられる視野絞り1024により制御することができる。視野絞り、および/またはコンデンサ1006と視野絞り1024との間の空間は、LED1020からの光をスライド1001の平面上に写像するために調整することができ、視野絞り1024は、照明されるスライド1001の領域を制御することができる。
イメージセンサは、スライドを収容するYステージが移動しているときにフレームを取得するので、短時間で高輝度化を可能にするために、LED1020をパルス状にオン、オフすることができる(たとえばストロボ化される)。たとえば、約13mm/secで移動しているYステージに関し、0.5ピクセルより小さいぼけを維持するために、LED1020は、10ミリ秒にパルス化することができる。LED光パルスは、本稿でさらに議論されるフォーカスシステムおよび技術による、ディザレンズ共振周波数にロックされるマスタークロックによりトリガされるようにすることができる。
図23は、本稿で説明されるシステムの実施形態に使用することができる、LED照明アセンブリ1002´の実施形態の詳細な側面図を示す概略図であり、LED照明アセンブリ1002に関して説明された特徴に対応する。LED1030、レンズ1032、および視野絞り1034の実装および構成は、他の構造的な支持部および調整可能な部品1036に関して示されている。
図24は、本稿で説明されるシステムの実施形態に使用でき、LED照明アセンブリ1002に関して議論したものと類似の特徴および機能を備える、LED照明アセンブリ1002´´の具体的な実装の分解図を示す概略図である。アダプタ1051、マウント1052、クランプ1053、およびマウント1054は、LED1055を、レンズ1062に対して固定的に位置決めされるように、LED照明アセンブリ1002´´内にしっかりと固定し位置を与えるために使用することができる。
LED照明アセンブリ1002´´を固定取り付けするために、さらに、適切なネジおよびワッシャ部品1056−1061を使用することができる。様々な実施形態において、LED1055は、Lexeonにより製造される、4500ルーメンの光学出力、70000時間の寿命を備える高輝度白色LED、および/または好適なLEDである、Luminus, PhatLitght White LED CM-360 Seriesとすることができる。レンズ1062は、MG 9P6mm, 12mm OD(外径)レンズとすることができる。チューブレンズ素子1063、アパーチャ1064、スタックチューブレンズ素子および保持リング1067は、レンズ1062を調整可能な視野絞り素子1065に対して位置決めおよび取り付けるために使用することができる。調整可能な視野絞り素子1065は、Thor LabsによるRing-Activated Iris Diaphragm, pat number SM1D12Dとすることができる。スタックチューブレンズ1066は、Thor LabsによるP3LGスタックチューブレンズとすることができる。チューブレンズ1063は、Thor LabsによるP50DまたはP5LGチューブレンズとすることができる。LED照明アセンブリ1002´´の素子をさらに固定取り付けするのに適切であれば、他のワッシャ1068およびネジ部品1069を使用することができる。
本稿で議論される様々な実施形態は、本稿で説明されるシステムにおいて適切な組み合わせで組み合わせることがでる。さらに、いくつかの例において、フローチャート、フローダイアグラム、および/またはフロー処理のステップの順番は適切な場合は修正することができる。さらに、本稿で説明されるシステムの様々な側面は、ソフトウェア、ハードウェア、ソフトウェアとハードウェアとの組み合わせ、および/または、説明された特徴を備え且つ説明された機能を実行する、他のコンピュータに実装されたモジュールまたは装置を用いて実装することができる。本稿で説明されるシステムのソフトウェア実装は、不揮発性のコンピュータで読み取り可能な媒体に記憶された実行可能な、また、1つまたはそれ以上のプロセッサにより実行されるコードを含むことができる。不揮発性のコンピュータで読み取り可能な媒体は、コンピュータのハードドライブ、ROM、RAM、フラッシュメモリ、CD−ROM,DVD−ROM,フラッシュドライブ、および/またはたとえばUSBインターフェースを備える他のドライブのような携帯コンピュータ記憶媒体、および/または、他の任意の適切な記憶媒体またはプロセッサにより実行される実行可能なコードが記憶されコンピュータメモリなどを含むことができる。本稿で説明されるシステムは、任意の適切なオペレーティングシステムとともに使用することができる。
本発明の他の実施形態は、本明細書を熟慮し、または本稿で議論される発明を実施化することで当業者に明らかになるであろう。本明細書および実施例は単なる例示であることを意図しており、本発明の範囲及び趣旨は添付の特許請求の範囲に示される。

Claims (13)

  1. 標本のフォーカス画像を取得するための装置であって、
    前記標本の検査のために配置される対物レンズと、
    前記対物レンズに連結されるスローフォーカスステージと、を有し、前記スローフォーカスステージは、前記対物レンズの動きを制御し、
    前記装置はさらに、ディザレンズを含むディザフォーカスステージを有し、前記ディザフォーカスステージは前記ディザレンズを動かし、
    前記装置はさらに、前記ディザレンズを介して伝播される光にしたがってフォーカス情報を提供するフォーカスセンサと、
    メトリックおよび前記メトリックにしたがって前記対物レンズの第1フォーカス位置を決定するために前記フォーカス情報を使用する、少なくとも1つの電気素子と、を有し、前記少なくとも1つの電気素子は、前記第1フォーカス位置を決定するために前記メトリックに基づいて生成されるエラー信号情報を処理する、エラー信号素子を含み、前記少なくとも1つの電気素子は、前記対物レンズを前記第1フォーカス位置に移動させるために、前記スローフォーカスステージに位置情報を伝達し、
    前記装置はさらに、前記対物レンズが前記第1フォーカス位置に移動した後に、前記標本の画像を取得する、イメージセンサを有し、
    前記エラー信号情報は、前記ディザレンズの運動による前記メトリックに基づいて生成される波形のポイントを使用する、エラー信号関数により決定され、前記エラー信号関数は、コントラストエラー信号関数であり、前記第1フォーカス位置は、前記コントラストエラー信号関数がゼロになるところで決定され、
    前記イメージセンサは、前記標本を曲がりくねってスキャンする間に、列ごとに前記標本の画像を取得するように構成され、前記標本の第1列は、第1方向にスキャンされ、前記フォーカスセンサの視野は、第2列のフォーカスデータが生成されるように、前記第1列に隣接する第2列に整合する、装置。
  2. 請求項1に記載の装置であって、前記コントラストエラー信号関数は、前記ディザレンズの運動が中心決めされる場所で、鮮鋭度応答カーブ上の少なくとも1つの位置の各々に計算される鮮鋭度波形の少なくとも3つのポイントに基づいて決定される、装置。
  3. 請求項2に記載の装置であって、前記コントラストエラー信号(CES)は、
    CES=(a−c)/b
    の式で表され、ここで、aは鮮鋭度波形の谷部であり、bは鮮鋭度波形の頂部であり、cは鮮鋭度波形の次の谷部である、装置。
  4. 請求項1に記載の装置であって、さらに、
    XY移動ステージを有し、前記標本は前記XY移動ステージ上に配置され、(i)前記XY移動ステージの運動を制御する少なくとも1つの電気部品、および、(ii)前記XY移動ステージは、前記ディザレンズの運動にフェーズロックされるとの特徴の少なくとも1つが提供される、装置。
  5. 請求項1に記載の装置であって、前記ディザフォーカスステージは、前記ディザレンズを並進運動で運動させる、ボイスコイル駆動の屈曲部アセンブリを含む、装置。
  6. 請求項1に記載の装置であって、前記ディザレンズは、少なくとも60Hzの共振周波数で運動し、前記少なくとも1つの電気部品は、1秒当たり60回のフォーカス計算を実行するために、前記フォーカス情報を使用する、装置。
  7. 請求項1に記載の装置であって、前記ディザフォーカスステージは、双方向に動作するように設定され、前記フォーカスセンサは、共振周波数における前記ディザレンズの運動のシヌソイド波形の上昇部分および下降部分の両方でフォーカス情報を生成する、装置。
  8. 請求項1に記載の装置であって、前記メトリックは、コントラスト情報、鮮鋭度情報、および彩度情報の少なくとも1つを含む、装置。
  9. 請求項に記載の装置であって、さらに、前記第2列のフォーカスデータを使用して、前記第1列がスキャンされる前記第1方向の反対の方向に前記第2列をスキャンする、装置。
  10. 請求項に記載の装置であって、前記第2列のフォーカスデータは予め決定され、前記対物レンズは、前記第1列のフォーカスデータが前記第2列のフォーカスデータと異なるときに、前記対物レンズは第2フォーカス位置に移動させられる、装置。
  11. 標本のフォーカス画像を取得する方法であって、
    前記標本の検査のために配置される対物レンズの運動を制御するステップと、
    ディザレンズの運動を制御するステップと、
    前記ディザレンズを介して伝播される光にしたがってフォーカス情報を提供するステップと、
    メトリックを決定し、前記メトリックにしたがって前記対物レンズの第1フォーカス位置を決定するためにフォーカス情報を使用するステップと、を有し、前記第1フォーカス位置を決定するステップは、前記メトリックに基づいて生成されるエラー信号情報を処理することを含み、
    前記方法はさらに、前記対物レンズを前記第1フォーカス位置に移動させるために使用される位置情報を送るステップ、を有し、
    前記エラー信号情報は、前記ディザレンズの運動による前記メトリックに基づいて生成される波形のポイントを使用して、エラー信号関数にしたがって決定され、前記エラー信号関数は、コントラストエラー信号関数であり、前記第1フォーカス位置は、前記コントラストエラー信号関数がゼロになるとことで決定され、
    前記方法はさらに、前記標本を曲がりくねってスキャンする間に、列ごとに前記標本の画像を取得するようにイメージセンサを使用するステップを有し、前記標本の第1列は、前記イメージセンサにより第1方向にスキャンされ、フォーカスセンサの視野は、第2列のフォーカスデータが生成されるように、前記第1列に隣接する第2列に整合する、方法。
  12. 標本のフォーカス画像を取得するためのソフトウェアが記憶された、不揮発性のコンピュータ可読媒体であって、前記ソフトウェアは、
    前記標本の検査のために配置される対物レンズの運動を制御する実行可能なコードと、
    ディザレンズの運動を制御する実行可能なコードと、
    前記ディザレンズを介して伝播される光にしたがってフォーカス情報を提供する実行可能なコードと、
    メトリックを決定し、前記メトリックにしたがって前記対物レンズの第1フォーカス位置を決定するために、前記フォーカス情報を使用する実行可能なコードと、を有し、前記第1フォーカス位置を決定することは、前記メトリックに基づいて生成されるエラー信号情報を処理することを含み、
    前記ソフトウェアはさらに、前記対物レンズを前記第1フォーカス位置に移動させるために使用される位置情報を送る実行可能なコードを有し、
    前記エラー信号情報は、前記ディザレンズの運動による前記メトリックに基づいて生成される波形のポイントを使用して、エラー信号関数により決定され、前記エラー信号関数は、コントラストエラー信号関数であり、前記第1フォーカス位置は、コントラストエラー信号関数がゼロになるところで決定され、
    前記ソフトウェアはさらに、前記標本を曲がりくねってスキャンする間に、列ごとに前記標本の画像を取得するようにイメージセンサを使用する実行可能なコードを有し、前記標本の第1列は、前記イメージセンサにより第1方向にスキャンされ、フォーカスセンサの視野は、第2列のフォーカスデータが生成されるように、前記第1列に隣接する第2列に整合する、不揮発性のコンピュータ可読媒体。
  13. 請求項12に記載の不揮発性のコンピュータ可読媒体であって、前記コントラストエラー信号関数は、前記ディザレンズの運動が中心化されるところで、鮮鋭度応答カーブ上の少なくとも1つの位置の各々に計算される鮮鋭度波形の少なくとも3つのポイントに基づいて決定される、不揮発性のコンピュータ可読媒体。
JP2014528924A 2011-09-09 2012-08-21 フォーカスおよびイメージングシステムならびにエラー信号を使用する技術 Expired - Fee Related JP6074429B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161532709P 2011-09-09 2011-09-09
US61/532,709 2011-09-09
PCT/EP2012/066265 WO2013034429A1 (en) 2011-09-09 2012-08-21 Focus and imaging system and techniques using error signal

Publications (2)

Publication Number Publication Date
JP2014529102A JP2014529102A (ja) 2014-10-30
JP6074429B2 true JP6074429B2 (ja) 2017-02-01

Family

ID=46763063

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014528924A Expired - Fee Related JP6074429B2 (ja) 2011-09-09 2012-08-21 フォーカスおよびイメージングシステムならびにエラー信号を使用する技術

Country Status (11)

Country Link
US (1) US20140204196A1 (ja)
EP (1) EP2753966A1 (ja)
JP (1) JP6074429B2 (ja)
KR (1) KR101734628B1 (ja)
CN (1) CN103765277B (ja)
AU (1) AU2012306571B2 (ja)
BR (1) BR112014005012A2 (ja)
CA (1) CA2844989C (ja)
IL (1) IL230591A0 (ja)
SG (1) SG2014011217A (ja)
WO (1) WO2013034429A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI827841B (zh) * 2018-05-01 2024-01-01 美商奈米創尼克影像公司 自動顯微鏡聚焦系統、裝置及方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2845045B1 (en) * 2012-05-02 2023-07-12 Leica Biosystems Imaging, Inc. Real-time focusing in line scan imaging
WO2015164843A1 (en) * 2014-04-24 2015-10-29 Vutara, Inc. Galvo scanning mirror for super-resolution microscopy
US9438802B2 (en) 2014-05-30 2016-09-06 Apple Inc. Optical image stabilization calibration
EP3180646B1 (en) * 2014-08-13 2020-04-01 Daniel Summer Gareau Line-scanning, sample-scanning, multimodal confocal microscope
JP2016051167A (ja) * 2014-08-29 2016-04-11 キヤノン株式会社 画像取得装置およびその制御方法
KR102640848B1 (ko) 2016-03-03 2024-02-28 삼성전자주식회사 시료 검사 방법, 시료 검사 시스템, 및 이들을 이용한 반도체 소자의 검사 방법
JP6619315B2 (ja) * 2016-09-28 2019-12-11 富士フイルム株式会社 観察装置および方法並びに観察装置制御プログラム
KR102018487B1 (ko) * 2016-10-31 2019-09-04 미쓰비시덴키 가부시키가이샤 촬상 기기 제휴 장치, 촬상 기기 제휴 프로그램, 제휴 서포트 시스템 및 제어 시스템
CA3055249A1 (en) * 2017-03-03 2018-09-07 Apton Biosystems, Inc. High speed scanning system with acceleration tracking
JP6812562B2 (ja) * 2017-08-30 2021-01-13 富士フイルム株式会社 観察装置および方法並びに観察装置制御プログラム
CA3075287C (en) 2017-09-29 2022-06-14 Leica Biosystems Imaging, Inc. Real-time autofocus focusing algorithm
EP3625600B1 (en) * 2017-09-29 2023-08-23 Leica Biosystems Imaging, Inc. Real-time autofocus scanning
WO2019068039A1 (en) * 2017-09-29 2019-04-04 Leica Biosystems Imaging, Inc. MACRO-IMAGE WITH TWO PASSAGES
US10502944B2 (en) 2017-10-02 2019-12-10 Nanotronics Imaging, Inc. Apparatus and method to reduce vignetting in microscopic imaging
TWI791046B (zh) * 2017-10-02 2023-02-01 美商奈米創尼克影像公司 減少顯微鏡成像中之暈影的設備及方法
US10247910B1 (en) 2018-03-14 2019-04-02 Nanotronics Imaging, Inc. Systems, devices and methods for automatic microscopic focus
US11624710B2 (en) * 2019-05-24 2023-04-11 Lawrence Livermore National Security, Llc Fast image acquisition system and method using pulsed light illumination and sample scanning to capture optical micrographs with sub-micron features
WO2021099061A1 (en) * 2019-11-22 2021-05-27 Robert Bosch Gmbh A device for controlling a movement of an objective lens on a sample and a method thereof
CN112444212B (zh) * 2020-12-17 2022-08-02 北京微链道爱科技有限公司 一种由色差引起的结构光三维测量误差的补偿方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR81726E (fr) * 1962-05-23 1963-11-02 Centre Nat Rech Scient Procédé de mesure interférentielle et ses applications
JPS584109A (ja) * 1981-06-30 1983-01-11 Canon Inc プレ検出装置
JPS61239780A (ja) * 1985-04-16 1986-10-25 Matsushita Electric Ind Co Ltd オ−トフオ−カス装置
JPH0352459A (ja) * 1989-07-20 1991-03-06 Ricoh Co Ltd 自動合焦装置
GB2258109B (en) * 1991-07-25 1995-05-17 Sony Broadcast & Communication Autofocus systems
US5589938A (en) * 1995-07-10 1996-12-31 Zygo Corporation Method and apparatus for optical interferometric measurements with reduced sensitivity to vibration
US6665008B1 (en) 1997-07-15 2003-12-16 Silverbrook Research Pty Ltd Artcard for the control of the operation of a camera device
DE19746575A1 (de) * 1997-10-22 1999-04-29 Zeiss Carl Fa Optische Bildaufnahmeeinrichtung und Verfahren zu deren Nutzung
US6445662B1 (en) * 1998-12-24 2002-09-03 Victor Company Of Japan, Ltd. Reproducing apparatus
NO314323B1 (no) * 2000-03-24 2003-03-03 Optonor As Framgangsmåte og interferometer for måling av mikroskopisk vibrasjon
JP3794670B2 (ja) * 2000-04-28 2006-07-05 株式会社日立国際電気 顕微鏡のオートフォーカス方法及び装置
US7518652B2 (en) * 2000-05-03 2009-04-14 Aperio Technologies, Inc. Method and apparatus for pre-focus in a linear array based slide scanner
US6690635B2 (en) * 2000-07-18 2004-02-10 Victor Company Of Japan, Ltd. Reproducing apparatus
WO2003009305A2 (en) * 2001-07-18 2003-01-30 The Regents Of The University Of California Measurement head for atomic force microscopy and other applications
JP3990177B2 (ja) * 2002-03-29 2007-10-10 独立行政法人放射線医学総合研究所 顕微鏡装置
US7379104B2 (en) * 2003-05-02 2008-05-27 Canon Kabushiki Kaisha Correction apparatus
US7196300B2 (en) * 2003-07-18 2007-03-27 Rudolph Technologies, Inc. Dynamic focusing method and apparatus
JP2005202092A (ja) * 2004-01-15 2005-07-28 Hitachi Kokusai Electric Inc 合焦点検出方法及びそれを用いた光学顕微鏡
US20060103969A1 (en) * 2004-11-12 2006-05-18 Samsung Electronics Co., Ltd. System and apparatus for position error signal linearization
US7508583B2 (en) * 2005-09-14 2009-03-24 Cytyc Corporation Configurable cytological imaging system
JP2007086559A (ja) * 2005-09-26 2007-04-05 Pentax Corp カメラ
JP4708143B2 (ja) * 2005-09-30 2011-06-22 シスメックス株式会社 自動顕微鏡及びこれを備える分析装置
JP2007140278A (ja) * 2005-11-21 2007-06-07 Eastman Kodak Co デジタルカメラ、露出条件決定方法
US7697831B1 (en) * 2007-02-20 2010-04-13 Siimpel Corporation Auto-focus with lens vibration
US8098956B2 (en) 2007-03-23 2012-01-17 Vantana Medical Systems, Inc. Digital microscope slide scanning system and methods
US8179432B2 (en) * 2007-04-30 2012-05-15 General Electric Company Predictive autofocusing
US7576307B2 (en) 2007-04-30 2009-08-18 General Electric Company Microscope with dual image sensors for rapid autofocusing
US8330768B2 (en) * 2007-07-27 2012-12-11 Sharp Laboratories Of America, Inc. Apparatus and method for rendering high dynamic range images for standard dynamic range display
KR101424414B1 (ko) * 2009-10-19 2014-08-01 벤타나 메디컬 시스템즈, 인코포레이티드 현미경 스테이지에 대한 디바이스

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI827841B (zh) * 2018-05-01 2024-01-01 美商奈米創尼克影像公司 自動顯微鏡聚焦系統、裝置及方法

Also Published As

Publication number Publication date
EP2753966A1 (en) 2014-07-16
SG2014011217A (en) 2014-06-27
IL230591A0 (en) 2014-03-31
BR112014005012A2 (pt) 2017-03-28
JP2014529102A (ja) 2014-10-30
KR20140094504A (ko) 2014-07-30
US20140204196A1 (en) 2014-07-24
AU2012306571B2 (en) 2015-05-14
CA2844989C (en) 2016-10-11
CN103765277A (zh) 2014-04-30
CN103765277B (zh) 2016-11-09
KR101734628B1 (ko) 2017-05-11
WO2013034429A1 (en) 2013-03-14
AU2012306571A1 (en) 2014-02-06
CA2844989A1 (en) 2013-03-14

Similar Documents

Publication Publication Date Title
JP6074429B2 (ja) フォーカスおよびイメージングシステムならびにエラー信号を使用する技術
JP5902144B2 (ja) 撮像システムおよび技法
JP6165811B2 (ja) イメージングシステム、カセッテ、およびこれを使用する方法
AU2013205438B2 (en) Imaging system and techniques

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160129

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170106

R150 Certificate of patent or registration of utility model

Ref document number: 6074429

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees