JPH10502466A - スキャニングマイクロスコピー用オートフォーカスシステム - Google Patents

スキャニングマイクロスコピー用オートフォーカスシステム

Info

Publication number
JPH10502466A
JPH10502466A JP8503973A JP50397396A JPH10502466A JP H10502466 A JPH10502466 A JP H10502466A JP 8503973 A JP8503973 A JP 8503973A JP 50397396 A JP50397396 A JP 50397396A JP H10502466 A JPH10502466 A JP H10502466A
Authority
JP
Japan
Prior art keywords
image
focus
autofocus
plane
electronic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8503973A
Other languages
English (en)
Inventor
ジェフレイ エイチ. プライス,
Original Assignee
ジェフレイ エイチ. プライス,
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジェフレイ エイチ. プライス, filed Critical ジェフレイ エイチ. プライス,
Publication of JPH10502466A publication Critical patent/JPH10502466A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1468Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle
    • G01N15/147Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle the analysis being performed on a sample stream
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dispersion Chemistry (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)
  • Eye Examination Apparatus (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 多顕微鏡フィールドをスキャンできるシステムから蛍光ステイン細胞成分の正確な測定値を取得するには信頼性の高いオートフォーカスが必要である。オートフォーカスは蛍光イメージで直接的に実行することもできるが、フォトブリーチングや破壊的蛍光副産物のため、光に敏感なスペシメンや生細胞には蛍光露出を最低限度に押さえることが最良である。この露出問題は、蛍光マイクロスコピーと同じ機器を通じて実施されるフェーズコントラストマイクロスコピーで完全に回避することが可能であろう。フェーズコントラストと蛍光オートフォーカスの両方に対するファンクションは本発明を利用して評価され、蛍光マイクロスコピーに対するフェーズコントラストオートフォーカスの適正さが決定された。オートフォーカスの速度はボリュームイメージによってさらに速められる。ボリュームイメージは複数のイメージ平面の各イメージ平面でのイメージ観察体を観察することで取得され、各イメージ平面はそれぞれのイメージ平面から垂直方向に離れている。電子イメージ表示は各イメージ平面で取得される。イメージ平面はイメージ観察体上でスキャンされ、イメージはバッファで時間的にアラインされる。バッファは、バッファでアラインされたイメージ平面でのイメージを含んだボリュームイメージを保持する。最良フォーカスを有したイメージ平面が選択され、顕微鏡のオブジェクティブは選択された平面に自動的にポジションされる。

Description

【発明の詳細な説明】 スキャニングマイクロスコピー用オートフォーカスシステム マイクロフィッシュアペンディクス(Microfiche Appendix) コンピュータソースコード(computer source code)を含んだマイクロフィッ シュアペンディックスが装備されている。マイクロフィッシュアペンディックス は、1体のタイトルフレーム(title frame)を含んだ22体のフレームを有し た1枚のマイクロフィッシュを含んでいる。 このマイクロフィッシュアペンディクスは、著作権に関係するもの含んでいる 。米国特許商標局保管の書類から判断すれば、著作権者はその利用を許可してい るようであるが、その全ての著作権は留保している。 技術分野 本発明はオートフォーカス技術(autofocusing)に関する。さらに特定するな らば、顕微鏡用のオートフォーカスシステムに関する。 従来技術 オートフォーカスはシングルフィールド以上の領域をスキャンしなければなら ない全自動顕微鏡ベースイメージ処理システムには必須である。経験によれば、 顕微鏡スライド上の2点で最良のフォーカスを決定し、3次元でそれらの間のラ インに沿ってスキャンするだけではフォーカスを維持することは不可能である。 この原因はいくつか考えられる。例えば、顕微鏡の物理的な不安定性やガラスス ライド表面の不均質性も原因となろう。また、不均質に熱を放出する光源に起因 する顕微鏡の数ミクロン単位の不安定度も関与するであろう。例えば、アルミニ ウムの熱膨張係数を考えるなら、1.0℃の増加は、顕微鏡内の観察物と載物台 との間に25mm毎に0.6μmの膨張を引き起こす。物理的不安定性は載物台 の可動部材間のギヤの滑りや不動状態を原因とすることもある。顕微鏡スライド 面の不均質性も誤差の原因である。標準的な光学品質の反射鏡平坦度(standard optical quality mirro flatness)は、25mmに対して約1.5μmである 。反射鏡が研磨ガラス(ground glass)であり、顕微鏡スライドがフロートガラ ス(float glass)であるとすれば、顕微鏡スライド面の不規則性はさらに顕著 になる。フランコン(「マイクロスコピーの進歩」ロー,ピーターソン,イリノ イ州エバンストン,1961年)等の定義によれば、ニューメリカルアパーチャ (numrical aperture:NA)0.75を有する観察物に対するフィールドの理 論的顕微鏡デプス(depth)は波長500nmで0.74μmである。最良フォ ーカスは顕微鏡スライド上の50mmの水平スキャンにおいて約25μmのレン ジで可変であろう。不安定性の原因が何であれ、位置変動が比較的に長時間の定 数(long time constants)を有している場合には、オートフォーカスはそれを 補正することが可能である。 たいていのオートフォーカス手法は2つのカテゴリーに入る。すなわち、ポジ ションセンサー法(position sensing)とイメージ分析法(image content anal ysis)である。インターフェロメトリ(interferometry)などのポジションセン サー法は最良フォーカス位置の独立的キャリブレーション(calibration)を必 要とし、特に、光または音を反射する1体の良好に定義された表面(well-defin ed surface)を必要とする。光マイクロスコピーにおいては、2体の反射面であ るカバースリップ(coverslip)とスライドとが多用される。さらに、組織試験 体(tissue specimens)は大きなデプスを有しており、最良フォーカスは必ずし もガラス表面では達成されない。これらの問題は光マイクロスコピーでの絶対ポ ジションセンサー法の利用を非現実的としている。一方、顕微鏡のオートフォー カスのために本発明によって利用されるようなイメージ分析ファンクション(fu nctions)は、イメージから直接的に測定される特性のみに依存する。最良フォ ーカスは、異なる垂直ポジションにて取得された一連のイメージの特性を比 較することで得られる。このオートフォーカス法は独立基準(independent refe rence)を必要とせず、第2の反射面(second reflective surface)によっても さほどに影響を受けない。その最も重要な限定要因は速度であり、これはビデオ レート(video rate)、垂直再ピジション時間、ファンクション(関数)計算時 間、及びサーチレンジに関与するものである。 イメージオートフォーカスファンクションはブライトフィールドマイクロスコ ピー(brightfield microscopy)において以前から比較されているが、蛍光マイ クロスコピー(fluorescence microscopy)またはフェーズコントラストマイク ロスコピー(phase-contrast microscopy)においては利用されていなかったよ うである。例えば、グロエン、ヤング及びリグサート(「オートフォーカスアル ゴリズムに使用するための異なるフォーカスファンクションの比較」シトメトリ (Cytometry)6:81−91,1985年)は、電子顕微鏡グリッドとメタフェ ーズスプレッド(metaphase spread)とを使用してブライトフィールドのもとで 11のオートフォーカスファンクションを比較しており、ボラス(「コレラティ ブ法(Correlative Methods)によるオートフォーカス法」マイクロスコピー誌1 47:279−288,1987年)は、パーライトスチール試験体を使用して ブライトフィールドでオートコリレーションファンクション(autocorrelation function)をテストした。グロエン他は、3つのオートフォーカスファンクショ ン、すなわち、2つのグラジエントファンクション(gradient functions)とそ のインテンシティバリアンス(intensity variance)とが最良であると結論した 。しかし、1体の試験体に対して良好にパーフォームしたオートフォーカスファ ンクションは他の試験体に対しては良好にパーフォームしなかった。よって彼ら はそれらの結果を他のイメージモードや試験体に自動的に適用しないように忠告 した。 1種の顕微鏡法から他の顕微鏡法へのオートフォーカステスト結果の適用の不 確定性は本発明を導いた。本発明の開発は蛍光ステインされた(fluorescent st ained)生物的試験体のマイクロスコピーにおけるオートフォーカスパーフォー マンスの開発を含んでいた。その蛍光信号はオートフォーカスのために直接的に 使用が可能である。しかし、フォトブリーチング(photobleaching)と、遊離基 、一重項酸素、及び熱の形成とを含んだ、チェン(「培養生細胞の蛍光マイクロ スコピーにおけるミトコンドリアの蛍光ラベル法」パートA,ワングとテイラー 監修,アカデミックプレス,サンディエゴ,103−123,1989年)等に よりまとめられた問題は、蛍光励起(fluorescent excitaion)のミニマム化が 非常に重要となるような条件を創出することであろう。おそらく、最も重要な条 件は、生細胞の分析において発生するであろう。もし信号が弱く、抗フォトブリ ーチング剤が毒性のために使用できなければ、その信号はオートフォーカスに要 する5から10のビデオフレームの露出において容易に完全消失するかも知れな い。さらに、蛍光副産物自体は毒性であり、過剰な露出は結果を変更したり生細 胞にダメージを与えるかも知れない。よって、オートフォカスのための非破壊的 イメージ技術が嘱望されている。ブライトフィールドマイクロスコピーにおいて 、蛍光ステイン細胞は非ステインであるかのようであり、ほとんどコントラスト を示さない。一方、フェーズコントラストマイクロスコピーは非ステイン細胞の 高コントラストイメージを提供し、オートフォーカスにはさらに有用である。こ れらの理由によってオートフォーカスファンクションパーフォーマンスは、フェ ーズコントラストマイクロスコピーと蛍光マイクロスコピーとの両方に対してテ ストされた。オートフォーカスに対する異なる取り組みの詳細はジェフリーH. プライスの博士論文「細胞単層のスキャニングシトメトリ」(カルフォルニア大 学,サンディエゴ,1990年)に紹介されており、本明細書はその全内容を含 むものとする。 発明の開示 複数の顕微鏡フィールドをスキャンできるシステムにおける感光性試験体(ph otosensitive specimens)及び生細胞からの細胞成分(cellular components) の短時間で信頼性のあるオートフォーカスに関する諸問題は、処理を自動化し、 単純化し、促進し、質的改良されてデザインされたスキャニングマイクロスコピ ー用の本発明のオートフォーカスシステムで解消されよう。このオートフォーカ スシステムの目標は、顕微鏡のフォーカスポジショナーあるいはフォーカス機構 を正確で自動的にポジションさせて情報を収集させ、その情報をさらに処理させ ることである。 図面の簡単な説明 本発明の目的、利点及び特徴は、添付の図面と共に以下の詳細な説明を読めば さらに容易に理解されるであろう。 図1は、本発明のオートフォーカスシステムの1好適実施例による基本的な構 成を示す略図である。 図2は、図1に示すシステムの顕微鏡を通して見られる細胞拡大図である。 図3は、図1の好適イメージプロセッサーのブロック図である。 図4は、図1のシステムによって実行されるオートフォーカスプロセスのフロ ー図である。 図5は、図1のシステムによって実行されるバイナリ(binary)サーチオート フォーカスプロセスのフロー図である。 図6は、図1のシステムによって実行されるセクエンシャルな(sequential) オートフォーカスプロセスのフロー図である。 図7A,7B,7C,7D,7E,7F,7G,7H及び7Iは、図1のシス テムを使用した、10体の蛍光ステイン細胞を含んだ顕微鏡フィールドに対する オートフォーカスファンクション(F1−F11)の結果を示す。 図8A,8B,8C,8D,8E,8F,8G,8H及び8Iは、図1のシス テムを使用した、10体の細胞を含んだフェーズコントラスト顕微鏡フィールド に対するオートフォーカスファンクション(F1−F11)の結果を示す。 図9A,9B,9C,9D,9E,9F,9G,9H及び9Iは、図1のシス テムを使用した、1体の蛍光ステイン細胞を含んだ顕微鏡フィールドに対するオ ートフォーカスファンクション(F1−F11)の結果を示す。 図10A,10B,10C,10D,10E,10F,10G,10H及び1 0Iは、図1のシステムを使用した、1体の細胞を含んだフェーズコントラスト 顕微鏡フィールドに対するオートフォーカスファンクション(F1−F11)の結 果を示す。 図11は、図1のシステムを使用した、フォーカスポジションとズームとに対 するファンクションF3のレスポンスの3次元プロットである。 図12は、フェーズコントラスト法と蛍光法におけるオートフォーカス精度( precision)、正確性(accuracy)及び速度(speed)の実験結果を示すチャート である。 図13は、本発明によるボリュームイメージ法(volume imaging)を使用した 、オートフォーカスシステムのオペレーションを示す顕微鏡システムの略図であ る。 図14Aと14Bは、ボリュームイメージ装置の第1実施例のブロック図であ る。 図15Aと15Bは、ボリュームイメージ装置の第2実施例の略図である。 図16は、本発明によるボリュームイメージアレイ(array)によりスキャン されている顕微鏡フィールドを示す。 図17は、そのボリュームイメージ装置のイメージアライメント用のバッファ を示す。 図18は、図17のバッファに保存されたボリュームイメージの略図である。 図19は、そのボリュームイメージ装置を使用したオートフォーカス手法を示 すフロー図である。 図20は、ボリュームイメージ法を使用した、最良フォーカスの選択のための 光学晶質メトリック(optical quality metric)を示すプロット図である。 図21は、光学ハイパスフィルター処理(optical highpass filtration)を 使用したボリュームイメージオートフォーカスシステムの1実施例である。 本発明を実施する最良の態様 垂直ポジショニングによるオートフォーカス 垂直再ポジショニングによるオートフォーカスの好適実施例の以下の詳細な説 明は、「請求の範囲」の理解を助けるために特定の実施例の説明を提供するもの である。しかし、本発明は、請求項にて定義され、カバーされている多数の異な る方法による実施例においても有効である。 説明の便宜のため、以下の説明は次の主要な章に分割されている。 I:材料と方法。 II:パフォーマンスのメトリックス(metrics);オートフォーカスファン クション。 III:パフォーマンス結果。 IV:結論。 それらの詳細は以下の通りである。 I.材料と方法 A.顕微鏡とイメージプロセッサーの概要 B.顕微鏡とビデオカメラ C.ポジショナー D.ランプと露出コントロール E.イメージプロセッサー、コンピュータ及びソフトウェア F.細胞とスペシメンの準備 G.オートフォーカスファンクション比較の基本 H.一般的オートフォーカスプロセス I.バイナリサーチオートフォーカスプロセス J.セクエンシャルオートフォーカスプロセス K.自動スキャニングとリアルタイムフォーカス計算 II.パフォーマンスのメトリックス;オートフォーカスファンクション A.解像度(resolution)に基づくファンクション B.コントラストに基づくファンクション C.解像度とコントラストの組み合せに基づくファンクション D.オートコリレーション(autocorrelation)に基づくファンクション III.パフォーマンス結果 A.選択顕微鏡フィールドのオートフォーカスファンクションの評価 1.10体の細胞の顕微鏡フィールド 2.1体の細胞の顕微鏡フィールド 3.倍率(magnification)とサンプリングへのファンクション依存 (dependence) B.自動スキャニングのオートフォーカスパフォーマンス 1.精度、正確度及び速度 2.蛍光フォーカスの予測値としてのフェーズコントラストフォーカ ス IV.結論 I.材料と方法 A.顕微鏡とイメージプロセッサーの概要 図1は本発明のオートフォーカスシステム100の1好適実施例を図示してお り、これはフォーカス情報を取得するために垂直ポジショニングを利用している 。システム100のハードウェアコンポーネントには、エピ蛍光顕微鏡(epiflu orescent microscope)102、XYモーター104aとZモーター104bで コントロールされたモーター駆動式載物台103、XYZ載物台コントローラ1 06、圧電ポジショナー(piezoelectric positioner)107、ビデオカメラ1 08、イメージプロセッサー110、及びホストプロセッサー112が含まれて い る。以下においてこれらのコンポーネントを詳細に説明する。 B.顕微鏡とビデオカメラ 1好適実施例において、細胞(図2)はニコンオプチフォト(Optiphot)10 2(図1)に、Ph3フェーズコントラストでCFフルオル(Fluor)DL 20 x C,0.75 NA観察体(objective)を通してイメージされる。このフル オライト(fluorite)観察体は高UVトランスミッション(transmission)を提 供する。このエピ蛍光フィルターキューブ(epifluorescence filter cube)は 、365nm±10nm(ピークの50%)バンドパス励起(excitation)フィ ルターと、400nmダイクロイックミラー(dichroic mirror)と、無バリア フィルター(no barrier filter)とを有している。実験では、これらイメージ はニコンCCTV 0.9−2.25 ズームレンズを介してデージ(Dage)VE 1000 RS−170 CCDカメラ108にさらに拡大された。実験は、サ ンプル実験以外では1.0のズームで実施された。サンプル実験は一連の倍率で 実行された。フェーズコントラストに対しては、ニコン 0.52 NA長寿命距 離コンデンサー(long working distance condenser)が使用される。 C.ポジショナー 顕微鏡載物台103(図1)はコンピュータのコントロール下でステッパモー ターによって横方向に移動される。この載物台103はシノプチックス(カルフ ォルニア州サニーベール)によって製造されており、ニューイングランドアフィ リエーテドテクノロジー(マサチューセッツ州ローレンス)によってさらに微細 なステッピングと単純なコンピュータ制御を可能にするように改良されてたもの である。最少ステップサイズは0.127μmである。載物台103はニューイ ングランドアフィリエーテドテクノロジー 103M マイクロステッピングドラ イバー(microstepping driver)と、オレゴンマイクロシステムズインク(オレ ゴン州ビーバートン)PCX AT ISA−バスコンパチブルコンピュータボー ドによってコントロールされている。 フォーカスは、圧電観察体ポジショナー(”PIFOC”)107とE−81 0.10 閉鎖ループコントローラ(ポリテク PI,カリフォルニア州コスタメ サ)で変更される。この圧電ポジショナー107は、観察体タレット(objectiv e turret)と顕微鏡102の観察体との間に挟まれている。内蔵リニア可変ディ ファレンシャルトランスフォーマー(LVDT)センサー出力を読み取るオシロ スコープでの測定では、1μm以下の移動がフルオライト観察体の10ミリ秒( ms)以下にて発生し、そのレスポンスは観察体の質量によって決定されること が知られた。オプチフォト102の160mmチューブ長を維持するため、観察 体タレットは専用(custom-machined)のアダプターで置換されている。13m m厚の観察体ポジショナーは、これが実行されなければイメージ質を大きく損ね るが、100μm(0.004インチ)レンジの移動はイメージをさほどには劣 化させない。ポジションはキースレーメトラバイト(マサチューセッツ州タウン トン)のDAS−1600 データ取得ボードのデジタル−アナログコンバータ からの出力によってコントロールされる。この12ビットD/AコンバータはP IFOC 107の100μmレンジをそれぞれ24nmである4096のステ ップに分割する。前述した顕微鏡自体の温度不安定性と物理的不安定性とによっ て、実際のフォーカスの正確度は長期においては数ミクロンよりも良好にはなら ないが、秒以下の要求されるフォーカスインターバルに対しては、精度は最低ス テップサイズに接近する。 D.ランプと露出コントロール 蛍光オートフォーカステストに関しては、スペシメン露出はユニブリッツモデ ルD122 ドライバー及びシャッター(ビンセントアソシエーツ,ニューヨー ク州ロチェスター)でコントロールされる。蛍光ランプは、ニコン HMX−2 ランプハウス内のオスラム 100w HBO W/2 水銀蒸気アークランプであ る。このランプでの3時間にわたる±3%以下の変度は、10μg/ml D APIと1mg/ml ニシン精子(Herring Sperm)DNA(シグマ、セントル イス)の追加が施された前述の細胞ステイン溶液の照明によって測定される。こ の溶液は、シール処理されたカバースリップ下のアクリル槽(acrylic well)に 入れられる。フェーズコントラストに関しては、露出はEG&G エレクトロ− オプチックス PS 450AC電源(マサチューセッツ州セーレム)とXSA8 0−35S−30171 キセノンフラッシュランプ(アドバンストラジエーシ ョンコープ,カルフォルニア州サンタクララ)でコントロールされる。ニコン HMA−2 ランプハウスは加工されており、このキセノンフラッシュランプを 収容して、450 AC電源にワイヤ接続された。ストロボはデータ取得ボード のタイマー回路によってトリガーされる。ストロボのタイミングはイメージプロ セッサー110(図1)からの垂直ブランクハードウェアインテラプト(vertic al blank hardware interrupt)によって供給される。データ取得ボードは、観 察体ポジショナーをイメージ取得以前に確実に移動完了させるため14msにセ ットされるプログラム可能なストロボディレイ(strobe delay)を有している。 フェーズコントラストフォーカステスト中のストロボレートは60Hzである。 このランプの平均安定度は水銀蒸気アークランプよりも優れているが、時にはイ ンテンシティスパイク現象(intensity spikes)が発生する。 リアルタイムでオートフォーカス計算を実行するためには、フォーカスポジシ ョンを16ms(60Hzの場合)以下で移動させるか、あるいは、一定速度で 移動させ、イメージをストロボでフリーズ(frozen)させなければならない。こ こで利用される増移動(incremental movement)のパフォーマンスを得るため、 イメージは移動完了後に収集される。これはフェーズコントラストにおいては、 (ポジション変更の命令がPIFOC 170に送られるとき)ビデオ信号内の 垂直ブランク(vertical blank)後にストロボを14msディレーさせることで 実行される。このディレー処理によって、フォーカスポジションはイメージがビ デオカメラ108で収集される以前に確実に変化する。この14msのディレー とストロボは、そのポジションが約1msの垂直ブランクインターバル中に変化 可能であれば必要ではないであろう。PIFOC 107のさらに良いフィード バックコントロール電子コンポーネント(feedback control electronics)は、 ストロボの必要性を排除する程度に充分に素早く移動を実行させるであろう。 E.イメージプロセッサー、コンピュータ及びソフトウェア イメージングテクノロジーインクのシリーズ 151 イメージプロセッサー1 10(図1)がイメージオペレーションを促進させるために使用される。この好 適なイメージプロセッサー110のブロック図は図3に示されている。イメージ プロセッサー110は一般的に本発明のオートフォーカスオペレーションを促進 するが、速度がさほど重要な要素でなければ、この計算はホストプロセッサー1 12(図1)あるいは他のコンピュータで実行しても構わない。イメージプロセ ッサー110は好適には6体のファンクショナルユニット(functional units) あるいはボードで構成される。すなわち、(1)カメラ108によって発生され るビデオ信号のアナログ−デジタル変換のための512x512 8ビット 可変 スキャンインターフェース130と、(2)4のデジタルイメージの保存のため の512x512x32ビットフレームバッファ132と、(3)16のデジタ ルイメージの保存のための1024x1024x32ビットフレームバッファ( 図示せず。しかし、フレームバッファ132に関して示されるように、プロセッ サー110のバスに対して同様な接続が行われる)と、(4)10ビットのイン テンシティヒストグラム(intensity histogram)を創出させるためのヒストグ ラム/フィーチャエクストラクタ(Histogram/Feature Extractor)134と、 (5)8x8コンボリューション(convolutions)と16ビットのルックアップ テーブル(look-up-table)のためのリアルタイムソベル(Sobel)モジュールを 備えたリアルタイムモジュラープロセッサー(RTMP)138と、(6)乗算 、減算、減算、加算及びスケーリング(scaling)のための計算/ロジックユニ ット(Arithmetic/Logic Unit)136とである。RTMP138はサブモジュ ールのための3のプラグイン接続部を備えた1体のボードである。このリアルタ イムソベルモジュールはこれら接続部の2つを利用し、ルックアップテーブルは 残りの接続部を利用する。これらのオペレーションの全てはビデオレートで行わ れ、 並行オペレーション(parallel operation)のためにパイプライン処理(pipelj ned)が可能である。 オートフォーカスファンクションをテストするためのこのシステムの重要なコ ンポーネントは、8x8コンボルバー(RTMP138の一部)とヒストグラマ ー(histogrammer)134とである。たいていのオートフォーカスファンクショ ンに対しては、イメージは1つのパイプラインビデオフレームあるいはフィール ドにおいてコンボルブされ、ヒストグラムされる。ヒストグラムはインテンシテ イサム(intensity sum)、平方(squares)及び統計量(statistics)、例えば 、フィルターされたイメージ結果が8または10ビット/ピクセルへとトランケ ート処理(truncated)されたバリアンス(variance)あるいは標準偏差(stand ard deviation)の総量(sum)を計算するのに使用される。その計算結果は、フ ォーカス値(measure)の計算にさらに活用される。16ビット計算に関しては 、イメージはまずホストコンピュータにトランスファー(transfer)される。8 ビットと10ビットとの結果には小さな差異が時に観測される。しかし、16ビ ットの結果を利用してもさらなる改善は観測されない。よって、選択フィールド のオートフォーカスに対しては10ビットデータのみが報告される。好適な60 Hzスキャニングには、フィルターイメージの絶対値(absolute value)が8ビ ットへのトランケーション(truncation)の前にとられる。ホストコンピュータ 112(図1)は好適にはATコンパチブル 33 メガヘルツ(MHz)インテ ル i486パーソナルコンピュータ(PC)である。 オートフォーカスプロセス(図4)と、関連コントロールファンクションを実 行するソフトウェアプログラムは、’C’とアセンブラ('C' and assembler) で書かれている。’C’とアセンブラ源の一部は取り付けられたマイクロフィッ シュアペンディックスに含まれている。CルーチンはメタウェアハイC(カリフ ォルニア州サンタクルス)で編集されている。ファーラップ(Phar Lap)(マサ チューセッツ州ケンブリッジ)アセンブラは、バックグランドでラン(run)し ているインテラプトサービスルーチン(interrupt service routines)に対して 使用される。全観察体コード(object code)はファーラップ 386 DOS エ クステンダーとリンクしている。イメージテクノロジーシリーズ 151 C ラ イブラリソースコードもANSI Cにポート(port)され、メタウェアハイC で再編集される。この組み合せで、16ビットのDOSでランするプログラムに よってi486 CPUの32ビット能力がフルに活用される。 F.細胞とスペシメンの準備 図1のスペシメン114のごとき1例としてのスペシメンの一部が図2に示さ れている。図2は、細胞セットと、特に細胞核(一般的に116で表示)で成る 典型的なスペシメンの拡大イメージを図示している。 1実験では、NIH 3T3 細胞が洗浄され、オートクレーブされた#1.5 カバースリップ上にプレート処理された。これら細胞はイーグル食塩(Earle's salts)を含んだイーグル最少エッセンシャル媒質(Eagle's minimal essential medium)内に保持され、10%の胎児牛血清(fetal bovine serum)、100 μg/mlのゲンタミシン(gentamicin)及び0.26mg/mlのL−グルタ ミン(最終濃度)を37℃で湿度調節された5%の二酸化炭素(CO2)インキ ュベータ(incubator)にて補充された。1日の細胞成長後、カバースリップは 燐酸バッファされたサリン(saline)(PBS)内で洗浄され、60%PBS内 の4%のパラホルムアルデヒド内に10分間固定され、1時間ステインされた。 ステイン溶液は、50ng/mlの4’,6−ジアミジノ−2−フェニルインド ール ジヒドロクロリド(4',6-diamidino-2-phenyllindole dihydrochloride( DAPI),モレキュラープローブズ,オレゴン州ユージン)と、10mM TR ISと、10mM EDTAと、100mM NaClと、2%の2−メルカプト エタノールとで成っていた。これはハマダとフジタ(量式シトフルオメトリのた めに改良されたDAPIステイニング,ヒストケム89−291−226,19 83年)等が解説している。ステイン処理後に、DAPI溶液の2、3滴がガラ ススライドに落とされ、カバースリップは溶液上に伏せられて置かれ、余剰の溶 液はティッシュで排出され、カバースリップはネイルポリッシュでスライドにシ ール処理された。このステイン溶液は優れた抗フォトブリーチング特性(antiph otobleaching properties)を有することが発見された。フォトブリーチングは この準備で回避されたが、フォトブリーチング程度は異なる技術では大きく変動 する。このスペシメンはそれほどのオート蛍光(autofluorescence)を示すこと もなかった。もし不特定的(nonspecific)で拡散的(diffuse)であったなら、 コントラストを減少させてパフォーマンスに悪影響を及ぼすかも知れない。 G.オートフォーカスファンクション比較の基本 オートフォーカスファンクションがテスト可能な独立的基準は存在しない。よ って、パフォーマンスは比較によってレートされなければならない。グロエン他 は、オートフォーカスファンクションのパフォーマンスの比較に8の基準を提案 する。すなわち、(1)ユニモダリティ(unimodality)あるいは1の最大値ま たは最少値の存在、(2)精度あるいは極値と最良フォーカスの一致、(3)再 現性(reproducibility)あるいは明瞭な極値(extremum)、(4)レンジある いはそれに基づいてファンクションが最良フォーカス方向を明確に決定するであ ろう垂直距離、(5)一般的適用性あるいは異なるクラスのイメージに対する作 用性能(ability towork)、(6)他のパラメータに対する不感性(insensitiv ity)あるいは平均インテンシティ(mean intensity)の変化のごとき影響から の独立性、(7)ビデオ信号共立性(compatibility)あるいはイメージ分析に 利用されるものと同一のビデオ信号使用能力、及び(8)利用性(implementati on)、すなわち、そのファンクションを素早く計算する能力、である。 最初の3つの基準である、ユニモダリティ、精度及び再現性は、自動スキャニ ングでは最も重要である。フォーカスは通常、最良フォーカスが計算されたばか りのフィールドに隣接したフィールドで行われるため、レンジの重要性はさらに 低い。グロエン他により実行された顕微鏡オートフォーカスファンクションの比 較は、5番目の基準である”全タイプのイメージに対する一般的適用性”が必ず しも期待できないという結論に導いた。しかしスキャニングシステムに対しては 、全顕微鏡フィールドに対する1方式の顕微鏡イメージ法(例:フェーズコント ラスト法あるいは蛍光法)に対する適用性を要求することで充分である。7番目 の基準であるビデオ信号共立性はハードウェアに依存するものであり、容易に達 成される。8番目の基準である利用性は、コンピュータ速度とファンクションコ ンプレキシティ(function complexity)に依存する。 H.一般的オートフォーカスプロセス 図4を利用して、オートフォーカスプロセス200のハイレベルな説明を行う 。オートフォーカスはホストプロセッサー112(図1)でコントロールされる 。ホストプロセッサー112あるいはホストプロセッサーの制御下のイメージプ ロセッサー110はそのイメージの変換を行うことができ、フォーカス程度を表 す値を取得することができる。この値は、載物台移動の次方向を示すためにXY Z載物台コントローラ106を介して載物台が上または下に移動した後、または 、観察体がPIFOC107で調整された後に、別のイメージから取得された別 の値と比較が可能である。 スタートステート202で始まり、システム100はステート204へと進み 、第1垂直ポジションの載物台103のスペシメン114のデジタルイメージを 取得する。このイメージはイメージプロセッサー110で捉えられる。ステート 206に移動し、システム100はフィルターをデジタルイメージに適用し、中 間あるいはフィルターイメージを創出する。この好適実施例はデジタルフィルタ ー、さらに特定すれば、表1のファンクションF7に定義されるイメージ鮮明化 変換を利用する。もちろん、アナログフィルター等の他のフィルターも使用が可 能である。ステート208に進行し、システム100は測定ファンクションを中 間イメージに適用し、その大きさ(magnitude)を取得する。この好適実施例は 、イメージインテンシティのバリアンスあるいは標準偏差、またはイメージイン テンシティの平方の総計を利用するコントラスト測定ファンクションを使用する 。決 定ステート210に移動し、システム100は、N番目のイメージが取得された かどうかを判定する。利用されたNの値は、採用された特定のオートフォーカス 法に従って変動する。この説明の目的と例示とのため、Nを2とする。すると、 ステート204から210の最初のパス中に、第1イメージのみが取得され、フ ロー(flow)はステート212で継続し、載物台103はZモータ104bで垂 直方向に新(第2)垂直ポジションにまで移動される。この好適実施例では2体 のフォーカス機構が存在し、よって、圧電PIFOCポジショナー107は載物 台103の代わりに迅速なオートフォーカスのために移動され、PIFOC10 7と載物台103は共に移動され、迅速なオートフォーカスと拡張されたフォー カスレンジとが組み合わされる。 載物台103が新垂直ポジションに移動した後、あるいは、PIFOC107 がオブジェクティブ(objective)を調整した後、フローはステート204で継 続し、デジタルイメージは第2垂直ポジションで取得される。ステート206と 208は、第2の大きさを取得するために第2イメージを使用して再度実行され る。ステート210に移動し、N=2の現行例と同様にN番目のイメージが取得 されたとき、システム100はステート214に進行する。ステート214で、 取得された大きさは比較され、フォーカスは比較の結果に基づいて調整される。 現行例では、もし第1垂直ポジションの大きさが第2垂直ポジションでの大きさ よりも大きければ、フォーカス機構は第1垂直ポジション方向に移動される。あ るいは、もし第1ポジションの大きさが第2ポジションの大きさより小さければ 、フォーカス機構は第2垂直ポジション方向に移動される。PIFOC107と 垂直載物台ステッパーモータポジショナーは両方ともフォーカスポジショナーで ある。PIFOCはずっと迅速であるが、短いレンジ(本好適モデルでは100 μmあるいは0.004インチであり、別モデルでは200μm)を有している 。ステッパーモータはオブジェクティブのみでなく載物台の全質量を移動させる が、時間がかかり、リアルタイムでの計算には使用不能であるが、スペシメン及 びオブジェクティブと顕微鏡の物理的設計との間の空間によってのみ限定される レンジを有している。一方あるいは両方がオートフォーカスに使用可能である。 数秒 のフォーカス速度のスローなシステムでは、載物台は充分に速いと考えられる。 秒以下のフォーカスを要求する迅速システムでは、PIFOC107が必要であ る。さらに大きなレンジと速いフォーカスを必要とする適用においては、載物台 がまずフォーカスされ、続く全てのフォーカス処理はレンジを越えるまでPIF OC107によって実行される。 載物台は、PIFOC107をそのレンジ内に保持するため、必要に応じて調 整が可能である。フォーカスがステート214で調整された後、オートフォーカ スプロセス200はエンドステート216で完了する。 以下において解説する多数の異なるオートフォーカスファンクションは、ステ ート206及び/又は208の一方あるいは両方を実行することもできよう。 以下の2つのセクションにて、オートフォーカスのために利用される2つの特 殊な方法であるバイナリサーチとセクエンシャルオートフォーカスとを説明する 。 I.バイナリサーチオートフォーカスプロセス 図5を利用してバイナリサーチオートフォーカスプロセス250を解説する。 このプロセスは図4のプロセス200のさらに特殊な形態である。オートフォー カスプロセス250は、載物台103(図1)を移動させ、最良フォーカスの位 置を決定するため、周知なバイナリサーチアルゴリズムを使用する。サーチレン ジはフォーカスサーチインターバルの距離で固定され、レンジの中心はフォーカ スサーチインターバルの中心である。バイナリサーチオートフォーカスは2つの フォーカスポジションを定義することで実行される。それらの間にフォーカスが 存在すると考えられ、続いてそのレンジは半分に分割され、最良フォーカスに接 近される。このレンジは最良フォーカスを特定するのに必要な精度よりも小さく なるまでこのように狭められる。 バイナリサーチオートフォーカスプロセス250はステート252でスタート する。ここで、ユーザーあるいは自動スキャニングプログラムはフォーカス処理 をリクエストする。このレンジは当初値、例えば4ミクロンにセットされる。シ ステム100はステート254に移動し、そこでフォーカス機構はフォーカステ ストレンジの中央にポジションされる。このフォーカス機構はPIFOC107 あるいは載物台103(垂直コントロールは104bであり、載物台103を顕 微鏡内の一連のギヤを介して移動させる)またはそれら両方である。その後にイ メージは取得され、フィルターされ、イメージプロセッサー110を使用するこ とでヒストグラム処理される。このヒストグラムから、1つのフォーカスファン クション結果(Fc)はそのポジション用に計算され、保存される。ステート2 56に移動し、フォーカス機構はレンジの開始部にポジションされ、別のイメー ジが取得され、フィルターされ、ヒストグラム処理される。別なフォーカスファ ンクション結果(Fa)が前述のごとくに計算されて保存される。ステート25 8に進行し、フォーカス機構はレンジのエンド部にポジションされ、別のイメー ジが取得され、フィルターされ、ヒストグラム処理される。このヒストグラムか ら、1つのフォーカスファンクション結果(Fb)がそのポジション用に前述の ように計算され、保存される。ステート252から258はそのプロセスの初期 化セクエンス(initialization sequence)を含んでいる。フローチャートの残 りのステートは、フォーカスが発見されるまで狭めらるように実行されるループ を表す。 決定ステート260で継続し、チェック(最小以下のレンジ)が実行され、望 む精度が達成されたかどうかが調べられる。最小はユーザーと適用法とによって 決定されるものである。最小の実際的な例は、0.001μmから1.0μmで あり、適用の形態によって異なる。好適なPIFOC107の最小ステップサイ ズは0.024μmであり、ホストコンピュータ112のデジタル/アナログコ ンバータコントロールボードとPIFOCコントローラの電子機器とによって決 定される。レンジが充分に小さければ、フォーカスは位置の決定がなされ、フロ ーはエンドステート272で完了する。決定ステート260で決定されるレンジ が最小よりも小さくなければ、システム100はステート262で継続され、レ ンジは半分に減少される。決定ステート264に進行し、フォーカス値結果Fa がFbよりも大きいかどうかが判定される。もしFa、すなわちレンジの開始部 でのフォーカス値がレンジの終了部でのフォーカス値Fbよりも大きければ、フ ォーカスはレンジの開始部に近いことになる。新レンジは前の開始部と中央部と によって定義される。その逆であれば、フォーカスはレンジの終了部に近いこと になり、新レンジは前の中央部と終了部とで定義される。 もしFaがFbよりも大きければ、フォーカス値が前のレンジの開始部に近い ので、システムはステート266に移動する。システム100は新しい中央部を 前のレンジの中央部と開始部との間にセットし、フォーカス機構を新中央部に移 動させる。またシステムは、前の中央部のフォーカス値(Fc)をFbで表され る保存部に配置する。なぜなら、これはレンジの新終了部だからである。システ ム100は新イメージのフォーカスファンクションを取得し、フィルターし、ヒ ストグラム処理して計算し、その結果をFcにて保存する。ステート266の終 了によって、システム100は決定ステート260に戻り、レンジが前述のよう に最小よりも小さいかどうかを判定する。 決定ステート264で決定され、ステート268で確認されるごとくFaがF bよりも大きくなければ、フォーカス値が前のレンジの終了部に近いのでシステ ムはステート270に移動する。ステート270で、システムは新中央部をレン ジの前の中央部と前の終了部との間のポジションにセットし、フォーカス機構を 新中央部に移動させる。またシステムは前の中央部のフォーカス値(Fc)をF aで表される保存部に配置する。なぜなら、これはレンジの新開始部だからであ る。システム100は新イメージのフォーカスファンクション値を取得し、フィ ルターし、ヒストグラム処理して計算し、その結果をFcに保存する。ステート 270の完了によってシステム100は前述のように決定ステート260に戻る 。 J.セクエンシャルオートフォーカスプロセス 図6を利用してセクエンシャルオートフォーカスプロセス300を解説する。 セクエンシャルオートフォーカスプロセス300はオートフォーカスプロセス2 00(図4)のさらに特殊な形態であり、スタートステート302でスタートす る。ここで、ユーザーあるいは自動スキャニングプログラムはフォーカス処理を リクエストする。レンジは当初値、例えば4ミクロンにセットされる。システム 100はステート304に移動し、ここでスタートポジションはレンジの開始部 の当初値にセットされ、ポジション番号nは0にセットされる。ステート306 に移動し、システム100はフォーカス機構をポジションするループ(ステート 306から310)を開始し、各ポジションにてフォーカスファンクションを計 算する。このフォーカス機構は’スタートポジションプラス(ステップサイズの n倍)’にポジションされる。このステップサイズは図12の実験表の”フォー カスインクレメント(focus increment)”と同じである。フォーカスインクレ メント0.102、0.195、0.244、0.146、0.220及び0. 073μmがこれらの実験で使用された。次にイメージが取得され、フィルター され、ヒストグラム処理され、そのフォーカスファンクションが計算された。そ の結果は後の最良フォーカスの計算のために保存される。決定ステート308に 進行し、システム100は、’(現行ポジション)−(スタートポジション)≦ (レンジ)’であるかどうか、すなわち、フォーカスポジションセクエンスは終 了しているかどうかを判定する。そうであれば、システムはステート312に移 動し、最良フォーカスを計算する。そうでなければ、システム100はステート 310に移動し、ポジション番号nを1だけ増分させ、ステート306に戻るこ とで移動を継続し、フォーカスファンクションの結果を計算する。 決定ステート308で決定されるところの、フォーカスポジションセクエンス が終了していれば、システム100はステート312に移動し、最良フォーカス を計算する。パワー加重平均式(power weighted average equation)(等式1 )が使用され、ポジション0からzのF0...Fzでのフォーカスファンクシ ョン値から最良フォーカスが計算される。最良フォーカスの計算の完了で、シス テ ムは決定ステート314に前進し、その結果がレンジの開始部あるいは終了部に 近すぎないかを判定する。近すぎる1例は、レンジの1/4以内である。フォー カスサーチレンジが4μmであり、フォーカス結果がレンジのいずれか端部から 1μm以内であれば、レンジの中央部は再ポジションされ、フォーカスは反復さ れるであろう。実際の値は適用(スペシメン、必要速度等)によって変動する。 その場合、実際のフォーカスはレンジの外側に存在するであろう。システム10 0はステート316に進行し、計算されたフォーカスに最も近いレンジの端部に 中央部を変化させ、前述のようにステート304に戻ることでフォーカスセクエ ンスを反復する。レンジは同じままであるが、このプロセスはフォーカス値が最 良フォーカスに向かって増加する限り継続される。このレンジは自動的に拡張が 可能であり、最良フォーカスの発見を加速させる。この特徴は、スタートポジシ ョンに関係なくフォーカスする一般の顕微鏡フォーカス機能の場合等の隣接フィ ールドでのフォーカスが知られていない場合に重要である。最良フォーカスは、 決定ステート314で判定されるように、その結果が中央部に近ければ達成され る。よって、システム100はステート318に進行し、そこでフォーカス機構 は最良フォーカスにポジションされる。セクエンシャルオートフォーカスプロセ ス300は、エンドステート320で完了する。 K.自動式スキャニングとリアルタイムフォーカス計算 システム100の一連のテストは自動的にラスタパタンの1000以上の顕微 鏡フィールドのスキャニング領域に関与した。各新フィールドにて、先行フィー ルドの最良フォーカスがテストフォーカスレンジの中央部に対して使用される。 顕微鏡は、計算された最良フォーカスがテストレンジの内側半分に入るまで、各 フィールドのテストセクエンスの開始部にて再フォーカスされる。これにより、 最良フォーカスが当初テストレンジの外側であってもベストフォーカスを達成さ せることができる。実際には、テストレンジは再フォーカスの場合がほとんどな いほど充分に広かった。オートフォーカスに先行して、蛍光イメージのインテン シティが総計され、少なくとも1細胞の存在が確認される。細胞が全く存在して いなければ、そのフィールドはスキップされる。新しい列(row)の開始部で、 先行の列の開始部からの最良フォーカスはテストレンジの中央部となる。各実験 の開始以前に、スペシメンは顕微鏡上に置かれ、スキャニング用レクタングル( rectangle)が選択され、その角部がチェック処理されてフォーカスが100μ mレンジ内に存在するかどうかが確認される。第1フィールドにおいて、フォー カスは手動で実行される。第1フィールドの後では、スキャンが完了するまで人 の介在は不要である。 フォーカスは、各フィールドのフェーズコントラストと蛍光との両方に対して 20回計算され、再現性の統計的分析と正確度の比較とが実施される。精度は全 スキャンからの全フォーカステストの組み合わされた標準偏差によって評価され る。組み合わされた標準偏差は平均バリアンスの平方根を計算することで得られ る。各フォーカステストセクエンスはインテラプトサービスルーチンコントロー ル(interrupt service routine control)によって60Hzで実行される。イ ンテラプトは、シリーズ 151 イメージプロセッサーの可変スキャンインター フェースボードによって各垂直ブランク(60Hz)の開始部にて開始される。 インテラプトサービスルーチンはストロボをコントロールし、CCDチップのイ メージインテグレーション(オブジェクティブポジショナー移動)とイメージプ ロセッサーのヒストグラム取得との間の2垂直ブランクディレー(vertical bla nk delay)を提供する。ポジショニングとイメージ安定化との間のデレーの提供 は、ビデオレートでの再ポジショニングと測定とを可能にする。イメージプロセ ッサーを通過する通路は、コンボルバーを通過する可変スキャンインターフェー スのデジタルイメージからヒストグラマーへと延びている。ヒストグラマーイン プットは、60Hzのポジショニングとファンクション計算のための奇数と偶数 のフィールドを分離するのに使用される2バンク(bank)の10ビットルックア ップテーブルを含んでいる。ヒストグラマールックアップテーブルバンク 0 は 偶数フィールドを変化させずに通過させるようにプログラムされており、バンク 1 は奇数フィールドに256を加えるようにプログラムされている。インテラ プトサービスルーチンは交互垂直ブランク(alternate vertical blanks) のバンクをスイッチ処理する。各奇数フィールドのエンド部で、インテラプトサ ービスルーチンは得られた9ビットヒストグラムをトランスファー処理し、独立 的に奇数と偶数の総計、平方の総計、及びピクセルカウントを計算する。これら の値は最良フォーカスポジションの最終計算のために’C’ルーチンにアクセス 可能なアレイに配置される。ファンクション結果もまたそのピクセル数でノーマ ル化される。 各フォーカスセクエンスの後で、複数のポジションでのファンクション評価に より、最大と加重平均とが最良フォーカスを発見するために使用される。もしそ の細胞が顕微鏡のフィールドのデプス及びフォーカスファンクションの識別レン ジ(discrimination range)よりも薄かったならば、最大は好適に振舞うと予期 できたであろう。しかし実際には、その細胞はフィールドのデプスよりも厚く、 解像ファンクションの識別レンジよりもずっと厚い(以下の結果セクション参照 )。この条件により、ファンクション結果は対応ポジションのフォーカス度の予 想値であると考えられる。データの標準適合度(fit)あるいは加重平均はテス ト中に実施された。フォーカスデータの理想的な形状に基づき、ガウスに対する 曲線適合度、2次及び3次多項式(second and third order polynomials)がテ ストされた。各場合に、データは、曲線標準適合度を非常に劣悪に行わせる比較 的に”外れた”形状で発見された。異常な形状の曲線は、恐らく、一連の局部的 最大値を提供する垂直方向の細胞成分のディスクリートな頒布によって創出され たものであろう。これらの理由により、以下の加重平均 (waは加重平均ポジション、zは垂直ポジション(以下で多用される特殊ファ ンクションとは異なる)、Fは1ポジションで取得されたイメージから計算され る所定のオートフォーカスファンクション、nは加重(weighing)の累乗数(po wer)を表す)が使用される。この累乗数はピーク値を強調する。増分(increme nts)がフィールドのデプスよりも相当に小さい場合の狭サーチレンジの1ま たは2μmにわたってファンクション値は類似しており、低い累乗数は平均zに 非常に近い最良フォーカスを提供する。ピーク値に対する感度(sensitivity) を改善するため、累乗数’n’は、最大に対する合理的感度が達成される前に4 と8とに増加される。これらのステップは図6のフローチャートに示されており 、前記で説明されている。 セクエンシャルオートフォーカスはバイナリオートフォーカスよりも優れた点 を有している。テストされた各フォーカスポジションはフォーカスルーチンが開 始する前に定義される。先行ポジションでのフォーカスファンクション値には全 く依存しない。よって、ビデオカメラ108のイメージのインテグレーション( integration)と、イメージプロセッサー110のデジタル化との間のようなデ ィレーは、バイナリサーチでのようにはフォーカスルーチンの実行を遅延させな い。 セクエンシャルオートフォーカスにおいて、フォーカスポジションは一連の位 置に移動される。各位置においてイメージは取得され、フィルターされ、ヒスト グラム処理される。このヒストグラムに基づき、1つのフォーカス値が計算され て保存される。フォーカステストセクエンスが完了すると、フォーカスファンク ション値の累乗加重平均(power-weigted average)は最良フォーカスの計算に 使用される。バイナリオートフォーカスとは異なり、その計算された最良フォー カスポジションはテストされたポジションの中間に入るであろう。 これら両オートフォーカス法はフォーカスが所定レンジ内であることを想定し ている。たいていの場合、これはスキャニングマイクロスコピーでは真である。 なぜなら、各新フィールドは先行フィールドに隣接するからである。最良フォー カスがレンジの両エンド部に、あるいはそれらの近辺に位置するのであれば、そ れが実際にはレンジの外側に存在する確率は高い。セクエンシャルオートフォー カス法においては、もし最良フォーカスが両エンド部に接近して存在するなら、 そのレンジは移動され、オートフォーカスプロセスは反復される。 II.パフォーマンスのメトリックス;オートフォカスファンクション イメージ内容オートフォーカスファンクションは、フォーカスが改善するとイ メージのコントラストと解像度(縁部の鮮明度)が改善することを想定している 。明暗領域で成るイメージを有したコントラストモデルにおいては、装置がフォ ーカスから離れるにつれて明領域は暗くなり、暗領域は明るくなる。このコント ラスト変化はピクセルインテンシティのバリアンスあるいは標準偏差の変化で数 学的に記述が可能である。解像度モデルにおいては、イメージがフォーカスから 外れるに従ってイメージの詳細は不鮮明となる。解像度はフーリエ周波数スペク トル(Fourier frequency spectrum)の分析で、あるいは、グラジエントの適用 で、または高周波数を分離するハイパスフィルターの適用で測定が可能である。 この高周波あるいはグラジエントの大きさは解像度の測定値として使用が可能と なる。これを最良フォーカスの最大値として定義される。光トランスファーファ ンクション(optical transfer function)に対するデフォーカス処理(defocus ing)の影響は、例えば、ボーンとウルフ(「光の原理」第6版,パーガモンプ レス,ニューヨーク,1989年)、エルテザ(「鮮明度インデックスとフォー カスコントロールへのその応用」応用光学,15:8777−881,1976 年;「鮮明度インデックスオートフォーカスシステムのコンバージェンスのデプ ス」応用光学,16:2273−2278,1977年)、グッドマン(「フー リエ光学の基礎」マクグローヒル,ニューヨーク,1968年)、グロエン他と ホプキンズ(「デフォーカスされた光学システムの周波数レスポンス」プロック ロイ協会A 231:91−103,1955年)等が解説している。ボラ(1 987年)(ドイツ特許第2,910,875号 C2,米国特許第4,350 ,884,1982年,欧州特許第0017726号)は、オートコリレーショ ンに基づいて追加的なオートフォーカスファンクションを導き出し、ノイズの影 響を減少させる改良を提案した。 テストされた11のオートフォーカスファンクションは、使用されたコンピュ ータハードウェアに対する基準値と計算回数と共に表1に掲載されている。これ らファンクションは次のグループに分割されている。すなわち、(1)ハイパス フィルター結果の平方の総計である解像度の測定値(F1−F4)、(2)インテ ンシティバリアンスあるいは標準偏差により表されたコントラストの測定値(F5 ,F6)、(3)解像度とコントラストの組み合せ測定値(F7,F8)、(4) 解像度及び/又はコントラストの成分をも含んだオートコリレーションファンク ション(F9−F11)である。基準ファンクション(referenced functions)を 支持する理論は、それぞれの研究者によって説明されている。これらファンクシ ョンの数学的説明のため、イメージをgijで表わす。このiとjは空間座標(sp atial coordinates)であり、gはピクセルインテンシティであり、全総計はi とjでダブルである。これら等式において、イメージとオートフォーカスファン クションの垂直ポジションへの依存が想定されている(すなわち、ファンクショ ン値は各ポジションのイメージから計算される)。 これら全てのファンクションは細胞だけでなく全イメージを利用する。蛍光に おいては、細胞または観察像はしきい値(threshold)及び観察ピクセルのみか ら計算されたフォーカスを使用して大まかに特定が可能であろう。しかしこれに よって複雑化が増し、オートフォーカスがスローになるであろう。ポジショニン グはファンクション計算の2フィールド手前なので、その特徴(features)をし きい値処理(threshold)し、マスク(mask)を構築するのに必要な条件を介在 させると、少なくとも数フレームのディレーが発生するであろう。他の問題も発 生するかも知れない。明瞭で明るい核は最良フォーカスから離れると不鮮明な塊 状となる。この不鮮明な塊が肉眼でやっと確認できる程度のとき、最良フォーカ ス方向は使用されるアルゴリズムによって容易に決定が可能である。これは、し きい値処理が信頼性の高い観察像を提供するようなインテンシティよりずっと低 い場合でも真である。また、見かけの観察像サイズはフォーカスを外れて増加す るので、1ポジションでのしきい値処理は別ポジションでのしきい値処理と同じ セットの観察ピクセルを提供しないであろう。フェーズコントラストにおいては 、イメージ背景からの細胞の特徴の分割は、単純なしきい値の場合よりも一層に 困難であろう。このことは、特にフォーカスを外れたイメージの場合に当てはま る。予備実験では、フィールド内に細胞が存在しないときでさえ、少量の細胞破 片の存在はシステムをフォーカス状態に保つのに充分であった。これは恐らく多 数のピクセルが信号−ノイズ比を大きく改善するからであろう。これらの理由に より、フォーカス計算には全イメージの利用が有利である。 照明の変化に影響を受けないことが望ましい。フェーズコントラストに対して は、各ポジションでの結果は、インテンシティの平均、あるいは平均の平方で割 られ、インテンシティに依存するファンクションの累乗数をマッチさせ、ランプ のフラクチュエーション(fuctuations)が補整された。蛍光に対しては、その ようなスケーリング(scaling)は望ましくない。なぜなら、平均インテンシテ ィはフォーカスから離れていない0に接近し、ランプインテンシティよもさらに 優れたフォーカス測定値だからである。よって、これらファンクションは蛍光オ ートフォーカスでは同様にはスケールされなかった。蛍光でのランプのフラクチ ュエーションを補整するためには、ランプインテンシティの独立した測定値が要 求される。 テストされたオートフォーカスファンクションは他の研究者による評価及び利 用可能なコンピュータハードウェアに基づいて選択された。メンデルソン及びメ イオール(「ヒトの染色体のコンピュータ利用分析−IIIフォーカス」コンピ ュータバイオメディカル 2:137−150,1972年)によるしきい絶対 グラジエント(threshold absolute gradient)としきいビデオ信号内容(thres hold video-signal content)とのごときファンクションはテストされなかった 。なぜなら、パフォーマンスはグレオン他により、部分的にはしきい値の随意選 択に影響されることが証明されているからである。シャノン(「コミュニケーシ ョンの数学理論」ベルシステムズテクノロジー 27:379−423,623 −656,1948年)によって説明されたようなエントロピーファンクション (entropy function)は、ファイヤーストーン他(「自動マイクロスコピーのオ ートフォーカス法の比較」シトメトリー12:195−206,1991年)に よって、マルチモーダル(multimodal)であることが証明されている。ファイヤ ーストーン他はログスペクトルモーメント(log spectral moment)と、ハード ウェアの問題で選択されなかった2つの細胞ロジックファンクション(cellular logic functions)をもテストした。ログスペクトルモーメントはフーリエ変換 を要するが、リアルタイムでの計算には費用がかさみ、一方、細胞ロジックファ ンクションは迅速適用のために利用されるものとは異なるハードウェアを必要と する。ハイパスフィルター処理のバリエーションも他者によってアナログ回路で 試験されている。例えば、ヂュー、キング、ミグドル(「異なる白血球カウ ンティングの自動顕微鏡システム」ヒストケム,シトケム22:685−696 ,1974年)とジョンソン及びゴフォース(「閉鎖回路テレビを使用したメタ フェーズスプレッド検出及びフォーカス」ヒストケム,シトケム 22:536 −545,1974年)が実験した。 A.解像度に基づくファンクション グロエン他は、F1、F2及びF5が、明フィールドマイクロスコピー(bright field microscopy)に対してテストされた11のファンクション中で最良である と報告した。F1、すなわちブレナー他(「シトロジック研究のための自動顕微 鏡」ヒストケム,シトケム24:100−111,1976年)、エルテザ、ミ ュラー、バフィントン(「イメージ鮮明化を通じた自動的にデグレードされたテ レスコープイメージのリアルタイム修正」オプトソサイエティAM 64:12 00,1974年)等の他者によって解説された平方グラジエントファンクショ ン(squared gradient function)は、イメージインテンシティのファーストデ リバティブ(first derivative)の適用である。スペクトルの観点では、これは イメージの最大値の真下にある周波数を増強(enhance)させるバンドパスフィ ルターである。総計の平方はファンクション値間の相違を際だたせる。 F2はエルテザとミュラーとバフィントンによって解説された1Dラプラシア ン(1D Laplacian)である。このフィルターはイメージデンシティのセカンドデ リバティブ(second derivative)の測定値である。隣接するピクセルに対して 実行すると、F2はF1よりもさらに支配的なハイパス周波数特性を有し、さらに 小さなスケールで解像度を測定する。肉眼での横方向インヒビション(lateral inhibition)に基づくラプラシアンのバリエーションも、ハームズとアウス(「 TV顕微鏡システムのデジタルフォーカス基準の比較」シトメトリ 5:236 −243,1984年)等によって評価された。F3はエルテザ、ミュラー、バ フィングトンによって解説されたディファレンスフィルター(difference filte r)の平方の総計である。両方の隣接するピクセルに対して利用すると、F3 は最小スケールで最も支配的なハイパス周波数特性と測定解像度を有する。同様 なデリバティブフィルターの使用は、シャゼールとハリス(「デジタルイメージ プロセシングのためのアーキテクチャーとアルゴリズムにおけるシーン内容を使 用したデジタルオートフォーカス」II SPIE 534:150−158,1 985年)等の他者によって開発されている。以前にテストされていない通常の 2DラプラシアンであるF4は比較のために追加された。正方形ピクセルに関し ては、F4は水平及び垂直に隣接するピクセルに対応した最高周波数と、斜めに 隣接するピクセルに対応した次の最高周波数との混合だったであろう。しかし、 方形ピクセルと、RS−170カメラのさらに大きな垂直サンプリング期間に関 しては、このフィルターはさらに低い周波数内に混合され、F3よりも高い周波 数レスポンスを有していなかった。 B.コントラストに基づくファンクション コントラストの測定値としてのインテンシティの統計バリアンスであるF5は 、例えば、ケルンフォルシュングズチェントラムカールスルーヒ(特許明細書 PLA 7907,1979年)によって提案された。F6はインテンシティの標 準偏差あるいはF5の平方根である。条件によっては、コントラストは最良フォ ーカスにて最大値ではなく局部的最小値を提供する。これを引き起こす干渉縞( interference fringes)はトランスミッション電子マイオクロスコピー(transm ission electron microscopy)にてさらに普通に観測される。光顕微鏡の場合に は、この現象を観測する1方法は、マイクロメータ(例:0.85 NA 40x オブジェクティブと10μmスペース)をイメージ処理させるフェーズコント ラストを使用することである。最良フォーカスは局部的コントラスト最小値(lo cal contrast minimum)にあり、干渉はフォーカスが変化する際に一連のコント ラストマキシマ(maxima)とミニマ(minima)とを創出する。よって、フォーカ スの測定値としてのコントラストは、明フィールド顕微鏡モードで観測される非 ランダムスペーシング(nonrandom spacing)でのスペシメンにおいては注意し て利用されなければならない。 C.解像度とコントラストの組み合せに基づくファンクション F7とF8はバリアンスと標準偏差それぞれと、3x3鮮明化フィルター(shar pening filter)とを組み合せる。ボラス(「自動フォーカスアルゴリズムの作 用に対するシーンパラメータとノイズの影響」マイクロスコピー 152(2) :133−146,1988年)等によって指摘されたように、周波数スペクト ルはバリアンスに影響されない。すなわち、バリアンスはレラティブフーリエパ ワースペクトル(relative Fourier power spectrum)を変更せずにインテンシ ティをスケールすることで変更が可能である。コンバース(converse)は真では ない。イメージのフィルター処理はコントラストを変更させるであろう。従って 、イメージ統計(image statistics)はフーリエスペクトルとは根本的に異なる 特性、あるいはイメージ鮮明度を測定する。すなわち、基本的オートフォーカス 測定値としてのバリアンス(あるいは標準偏差)の使用と、イメージの予備フィ ルター処理による周波数の影響の変更とを提案している。ビデオレートでのフィ ルターされたイメージのバリアンスの計算能力を備えたハードウェアは普通のも のになっているという事実は、このクラスのオートフォーカスファンクションの 考察を適正なものとしている。 D.オートコリレーションに基づくファンクション コリレーションは、イメージを異なるレラティブシフト(relative shifts) でかけ算(multiply)し、得られたピクセルを総計することでイメージをアライ ンさせるのに使用が可能である。イメージが適正にアラインされたとき、最大値 が発生する。オートフォーカスに対しても同様に、イメージがそれ自身によって かけ算され、シフトされたDi、Djであれば、コリレーションファンクションの 最大値はDi=0、Dj=0で発生する。ボラスは1987年と1982年に、イ メージがそれ自身、例えば、Di=0、Dj=0に関してシフトされているコリレ ーションファンクションと、Di=1、Dj=0でのコリレーションファンクショ ンがと比較されれば、その相違はイメージコントラストが増加するにつれて増加 すると指摘した。よって、コリレーションファンクションの最大値(F8)は最 良フォーカスにて発生するであろう。ボラスは1988年にF9とF10とを得る ためにF8とそのバリアンスであるF3との間にアナロギー(analogies)を創出 させた。これらコリレーションファンクションはバイオロジー顕微鏡イメージ( biologic microscope images)では今までテストされたことがないようである。 III.パフォーマンス結果 図6のセクエンシャルオートフォーカスプロセスを使用した多様なファンクシ ョンの適正さを判定するため、各々はフェーズコントラストと蛍光マイクロスコ ピーの両方に対し、選択された顕微鏡フィールドでまずテストされた。予備実験 では、フォーカスファンクションのプロット形状はそのフィールド内の細胞数に 影響されることが知られた。特に、1つの小細胞を含んだフィールドが、いくつ かの細胞を含んだフィールドとは大きく異なる結果を創出することが発見された 。この理由により、テストは両タイプのフィールドに対して実施された。その結 果は、同一のオブジェクティブを使用する場合でさえも、倍率に影響されること も発見された。よって、テストはリレーレンズ(relay lens)のズームを変更し た一連の倍率で行われた。選択されたフィールドのこれらの実験から、ファンク ションはフェーズコントラストと蛍光オートフォーカスに対して選択され、正確 性、精度、信頼性、及び速度のために、多くのフィールドをスキャンする実験で 比較評価された。 A.選択された顕微鏡フィールドに対するオートフォーカスファンクションの 評価 1.10体の細胞を有した顕微鏡フィールド オートフォーカスファンクションは10体の細胞を含んだ顕微鏡フィールドで まずテストされた。フォーカスは0.098μm増分(100μmレンジ内の4 096デジタルステップのうち4)で変化し、次のポジションに移動する前に各 ポジションでファンクションはフェーズコントラストと蛍光とに対して評価され た。図7は蛍光に対するスケールされたファンクション値とポジションとの関係 のプロットを示す。ピークの幅と鮮明度とには明確なバリエーションが存在する が、これらファンクションは基本的にはユニモーダルである。統計測定値に影響 されるファンクション(図7e、7f、7i)のみがサイドピーク(side peaks )を示す。これらは恐らく、アルゴリズムを不正確にフォーカスさせる程度には 大きくはないであろう。これら小さなサイドピークは平均密度にも現れる(図7 )。これらピークの反復パターンは、恐らくそれらがランプのフラクチュエーシ ョンではなく、干渉に影響されているであろうことを示している。 表2は蛍光に対する各ファンクションのピーク幅と最良フォーカスを掲載して いる。最大値の90%の幅はそのファンクションの周波数特性に対する明確な依 存を示している。ファンクションF1、F2及びF3は最低から最大までの周波数 エンハンスメントで並べられており、ピーク幅はさらに高い周波数で狭まり、F3 を最狭ピークとしている。スペースフィルター(spatial filter)に関しては F2と類似したF9も非常に類似した50%と90%の幅を有している。解像ファ ンクションは非常に狭いピークを有しており、コントラストファンクションはず っと幅広いピークを有している。コンビネーションファンクションであるF7と F8はコントラストファンクションよりも狭いピークと、解像ファンクションよ りも幅広いレンジとの交換を申し出る。基本的には統計的なファンクションであ るF5、F6及びF11のマキシマあるいは最良フォーカスは、他とは1.07μm だけ異なる。1フィールドだけではこの相違の大きさを決定するには不十分であ るが、コントラストと解像度の測定値は同じフォーカスを提供しない可能性はで てくる。 10体の細胞を有したフィールドに対する同一実験からのフェーズコントラス トの結果は図8と表3とに示されている。図8において、ピークは鮮明ではなく 、プロットはさらに不規則であることが直ちに分かる。全プロットにおいてサイ ドピーク側の傾向が存在する。これは図8eと8iの統計ファンクションにおい ては特に目立っている。サイドピークの傾向はさらに高い周波数レスポンスフィ ルターで減少されており、図8a、8b及び8cのF1からF2とF3への最初の 肩部で進行的に減少していることも観察できる。蛍光の場合と同じ傾向はピーク 幅で観察できる。すなわち、最高周波数レスポンスフィルターF3とF4も最狭ピ ークを有しており、コントラストファンクションは非常に幅広いレンジを有して いる。 2.1体の細胞の顕微鏡フィールド 次の実験は1体の細胞を含んだ顕微鏡フィールドに対して同一方法で実施され た。図9と表4とに示される蛍光データから、ピークはさらに狭いことが分かる 。これは恐らく、垂直方向の細胞成分の減少した配分によって引き起こされたも のであろう。細胞数が多ければ、そのポーションはオーバースリップからさらに 遠くにまで延び出ることであろう。このことは核ステイン(nuclear stain)に おいてはさらに真であろう。なぜなら、核はたいていは球形細胞膨張(spherica lly shaped cellular bulge)を引き起こし、細胞膜のようにガラスに直接的に 接着しないからである。フィールドのデプスが細胞厚とほとんど同じであれば、 フ ォーカスファンクションの幅はスペシメン厚に依存することであろう。さらに、 ファンクションF2とF3とは表4に示すようにたった0.12μmである90% のピーク幅を示すだけである。これは0.74μmであるフィールドの理論値よ りも相当に小さい。なぜなら、各結果は平方処理されることとなる大きなピクセ ル数の総計だからであろう。大きなピクセル数(245,760)を総計すると 、信号−ノイズ比が大きく増加する。平方処理はピークをさらに狭める。ボーン とウルフ(441ページ)によるフィールドのデプス偏差は、中央イメージパッ チのアテニュエーション(attenuation)によって測定されるように、そのフォ ーカスセクションの最端部(extremes)での垂直解像度において20%のロスを 想定している。明らかに、この適用での信号−ノイズ特性は、20%の変化より もずっと優れた識別を許容する。 表4から、マキシマあるいは最良フォーカス間には差異が存在し、最大のもの は統計ファンクションとハイパスフィルター間であったことが分かる。しかし、 これらの差異は10体の細胞フィールドからのものよりも小さく、スペシメン厚 が何らかの役割を果たした可能性を秘めている。 1体の細胞による実験からのフェーズコントラストデータは図10と表5とに 示されている。図10から、1体の細胞のフィールドのフェーズコントラストフ ォーカスが最もシビアなオートフォーカスチャレンジ(autofocus challenge) を示したようであることが知られる。全プロットは明確なサイドピークを示し、 いくらかは非常にノイジー(noisy)である(ノイジーとは本発明の説明用の用 語である:イメージノイズがこの現象を引き起こしたとは恐らく言えないであろ う)。図10eと10iの統計ファンクションF5、F6及びF11はノイジーであ り、最大のサイドピークを有している。図10dのF4もまたノイジーであるよ うに思われる。最初は、F4のノイジーな外見がハイパスフィルターの周波数特 性に起因するように見えた。しかし、前述のように、方形ピクセルを有したカメ ラの周波数レスポンスは垂直周波数を低下させ、その原因の説明を複雑化してい る。図10fのF7とF8、すなわち解像ファンクションとコントラストファンク ションとの混合もノイジーに見える。図10a、10b及び10cの単純なハイ パスフィルターF1、F2及びF3はスムーズであり、益々高くなる周波数レスポ ンスで先に観測されたサイドピークの減少を示す。表5から、最良フォーカスに はいくらかの相違が存在するが、これらの相違は小さいことが知られる。 フェーズコントラストのランプフラクチュエーションに対するファンクション 感度のいくらかの表示は図8と10において見られる。これらの対応実験の双方 において、インテンシティスパイク(intensity spikes)が存在した。図8eに おいて、約87μmのポジションで平均インテンシティスパイクが存在し、図1 0eにおいては55μm付近に1つ、そして85μmに別なスパイクが存在する 。図8eの平均インテンシティスパイクは、図8dと8fのF4、F7及びF8に 現れ、図8eと8iのF5、F6及びF11に多少現れた。図8aから8cの解像フ ァンクションF1からF3、及び図8gと8hのオートコリレーションファンクシ ョンF9とF10はこのランプフラクチュエーションには影響を受けなかったよう に見える。この同じパターンは図10に示されている。F5の例外を除けば、こ れ らランプフラクチュエーションに敏感な高いファンクションはバリアンスまたは 標準偏差のコントラスト測定値に依存していることは特記に値する。 3.倍率とサンプリングへのファンクション依存 1体の細胞のフェーズコントラストフォーカスのデータは、そのフォーカスフ ァンクションの周波数レスポンスがサイドピークの形成において重要な役割を果 たすことを示した。これらサイドピークは最良フォーカスの真上あるいは真下の 干渉から発生するであろう。干渉は低い周波数で発生すると考えられる。なぜな ら、最良フォーカスから離れると、顕微鏡のモジュレーショントランスファーフ ァンクション(MTF)を劣化させ、低周波カット(lower frequency cut off )をするからである。フォーカスファンクションが最高周波数のみを測定したな ら、それはこれらからは影響を受けないであろう。しかし、フォーカスファンク ションは周波数レスポンスの唯一のソース(source)である。顕微鏡とカメラも またフォーカスファンクションに先行して作用する特徴的な周波数レスポンスを 有している。(Nyquist)ニクイストサンプル基準によれば、理想的には、カメ ラは光信号(optical signal)の最大周波数の少なくとも2倍でサンプルすべき である。レイライ解像度予想値(Reyleigh resolution estimate)は、イノウエ (「ビデオマイクロスコピー」プレナムプレス,ニューヨーク,1986年)等 によって説明されている。 ここでのλは光の波長であり、NAはニューメリカルアパーチャ(numerical aperture)である。0.52NAコンデンサー、0.75NAオブジェクティブ 、及び、使用されるデイライトフィルター(daylight filter)のピークトラン スミッタンスに対応する540nmのピーク波長で、解像度は0.518μmで あった。よって、イメージが拡大され、隣接するピクセルに投影されたスペシメ ンの成分間の距離がそのスペシメンで約0.25μmに対応するようにされな ければならない。これらの光学機器での1.0のズームで、投影距離は0.60 7μmであった。これはアンダーサンプリング(undersampling)の条件であり 、アリアシング(aliasing)を引き起こす。ニクエストサンプリングの達成は、 最大可能なズーム2.25を越える0.607/0.250=2.43のズーム を必要としたであろう。 しかしながら、蛍光マイクロスコピーの限定された輝度(brightness)は、ニ クエストサンプリングを非常に非現実的とし、あるいは不可能とする。インテン シティは倍率の逆平方(inverse square)と比例し、ここでの明るい準備(brig ht preparation)の場合でさえも、2.25のズームはカメラとイメージプロセ ッサーの操作をケインの上限に強制し、非常にノイジーな信号を提供する。限定 された蛍光インテンシティは、アンダーサンプリングの問題を増幅させる高NA 、低倍率オブジェクティブの使用を促す。倍率の増加による信号ロスのため、蛍 光のオートフォーカスを理想的にサンプルすることは非現実的である。アンダー サンプリング条件はこの実験に対して維持された。 しかし、オートフォーカスへのサンプリングの影響を理解することは重要であ る。なぜなら、多くのオブジェクティブと、異なる倍率とNAを有する顕微鏡が 存在するからである。サイドピークの倍率への依存をさらに研究するため、1細 胞の顕微鏡フィールドの実験が、37から93%のアンダーサンプリングのレン ジに対応する一連のズーム0.9から2.25で実施された。ファンクションF3 のレスポンスとフォーカスポジション及びズームの関係を表す3Dプロットは 図11に示されている。0.9のズームでサイドピークは充分に大きく、オート フォーカスアルゴリズムに、何らかの条件で見かけの最良フォーカスの位置を決 定させることができる。予想されるように、倍率をほぼ理想のサンプリングであ る2.25に増加させると、サイドピークは消滅する。この実験は、光学機器と カメラの選択がフォーカスファンクション特性の決定には非常に重要であるとい う事実を確認させる。解像度あるいは倍率を変更させるいかなるものも同様な変 化を引き起こすであろう。 例えば、スライドの代わりにカバースリップで細胞を増殖させることは、サイ ドピークのサイズを増加させることが観測された(データは図示せず)。これは 、オブジェクティブアベレーション(objective aberrations)が最良に修正さ れる位置に細胞を配置することで得られる解像度のゲインのおかげである。この ことは、ギブソン(「蛍光ランプ顕微鏡の3Dイメージ特性のモデル化」カーネ ギーメロン大学,ペンシルベニア州ピッツバーグ,1990年)等によって解説 されている。搭載媒体(mounting media)の屈折率、カバースリップの厚み、光 通路の汚れ、照明波長、及びカメラとイメージプロセッサー電子機器は、イノウ エによって解説されたようにシステムMTFを変化させる可能性があり、フォー カスファンクションの形状を変化させる別要素である。 B.自動スキャニングにおけるオートフォーカスパフォーマンス 最後に、フェーズコントラストと蛍光オートフォーカスは1000フィールド 以上の方形領域のスキャニングをする一連の実験でテストされた。これらの実験 の目的は、加重平均が、最良フォーカスの良好な予想値であるという仮説をテス トし、オートフォーカス精度を測定し、最大速度を達成する試みで精度を犠牲に せずにどれだけ少ない数のフォーカスポジションが利用可能であるかを決定させ 、フェーズコントラストと蛍光との間の最良フォーカスを比較することであった 。 異なるスペシメンに対していくつかの方形領域がラスタパターンでスキャンさ れた。再フォーカスは蛍光で20回、そしてフェーズコントラストで20回実施 された。F3は全実験でフェーズコントラストに使用され、フィルターが[−1 2.5 −1]であるときF3あるいはF7のバリエーションは蛍光に使用された 。これらの選択はピーク鮮明度(peak sharpness)とユニモダリティとの考慮に 基づいていた。スキャニング顕微鏡において、大きな垂直レンジの操作はそれほ ど重要ではない。なぜなら、隣接フィールドの最良フォーカスはたいていはあま り離れていないからである。さらに、大きなレンジとなるこれらのファンクショ ン もフェーズコントラストの1細胞に対してユニモダリティの問題を有していた。 よって、最高周波数レスポンスフィルターはフェーズコントラストのために選択 された。蛍光に対して、F3はスキャニングマイクロスコピーに対しても問題で ある、1細胞の充分に狭いレンジ(表5より1.03μm 50%ピーク幅)を 提供した。よって、F7とF3は良好な候補であると考えられた。リアルタイムの 適用はインターレースされたカメラ信号を利用したので、2Dフィルターを1D 鮮明化フィルター(sharpening filter)で置き換えるF7のバリエーションが使 用された。 1.正確性、精度及び速度 20回のオートフォーカステストで成る各セットに対して、平均と標準偏差と が最大と最良フォーカスの加重平均に対して計算された。マキシマの平均と加重 平均との差異も、加重平均が最良フォーカスの比較的に正確な予想値であるかど うかを決定するために計算された。 図12にはこれらのテスト結果が示されている。組み合わされた標準偏差から 、フェーズコントラストのオートフォーカス精度は最大での0.154μmと、 加重平均での0.069μmに平均された。蛍光においては、精度は最大での0 .23μmと、加重平均での0.159μmとに平均された。これは20x、0 .75NAオブジェクティブのフィールドの0.74μmのデプスよりも相当に 優れている。最初の実験以外はすべて、精度は蛍光よりもフェーズコントラスト において優れていた。この差異の原因にはいくつかの要素が存在すると考えられ る。フェーズコントラストにおいては、イメージは、圧電フォーカスが新ポジシ ョンで停止した後にビデオフィールドのエンド部付近でストロボされた。蛍光に おいては、各フィールドは、フォーカスが変化している(フィールドデュレーシ ョン(duration)の30から50%)ときにCCDにインテグレート(integrate )していた。前述のように、細胞成分と核成分とは相違状態に配分されていたか も知れない。 マキシマと加重平均の差異からの統計は最良フォーカスの2つの予想値と非常 に良好に合致した。フェーズコントラストにおいては、この差異は−0.025 から0.014μmの範囲であり、最大標準偏差は0.071μmであった。蛍 光では、この差異は−0.002から0.044μmで、最大標準偏差は0.0 88μmであった。これら2つの予想値の合致と、組み合わせた標準偏差の改善 とで、加重平均は最良フォーカスのさらに優れた測定値であることが明かである 。 前述のパフォーマンスはフェーズコントラストではほんの0.25秒のフォー カス時間で得られた。テストされた11のフォーカスポジションにおける0.2 5秒でのフォーカス精度には劣化は発生しないようであった。よって、さらに迅 速なオートフォーカスも可能であろう。 2.蛍光フォーカスの予想値としてのフェーズコントラスト フェーズと蛍光とにおける各セットのフォーカステストの平均間の差異は表6 に示されている。蛍光オートフォーカスがスキャンの一部の追跡ができなかった 実験2以外は、2つの顕微鏡モード間の差異は−0.394と0.745μmの 間で変化し、マキシマと加重平均との良好な合致が見られた。フォーカスのこの 差異の原因はいくつか存在しよう。例えば、顕微鏡アライメントや、フォーカス サンプリングインターバルや、核とシトプラズマ成分(cytoplasmic component )の配分の差も原因となろう。これらの結果は2つの顕微鏡モードの差異の測定 と補整が重要な改善を提供するであろうことを示している。しかし、1つのスペ シメンと別のスペシメンとの差異を予想することが可能とは考えられなかった。 実験2を除外して、平均標準偏差は最大で0.347μmであり、加重平均で0 .342μmであった。よって、この差異の標準偏差はオブジェクティブのフィ ールドデプスの約1/2であった。これは蛍光測定の精度における小ロスの原因 となるかも知れないが、フェーズコントラストオートフォーカスが蛍光オートフ ォーカスの良好な予想値を提供することを示している。 IV.結論 本発明のオートフォーカスシステムの好適実施例による実験は、蛍光イメージ 処理のための露出を最低限にするようにフェーズコントラストオートフォーカス を使用して顕微鏡スライドの大きな領域をスキャンすることが可能であることを 示した。これによって生細胞のイメージ処理が最低の毒性で可能となり、敏感な 蛍光準備物の分析がフォーカス最中にフォトブリーチングを発生させずに可能に なるであろう。フェーズコントラストと蛍光の最良フォーカスには相当な相違が 存在したが、この差異は補正が可能な程度にコンスタントであった。さらに、オ ートフォーカスは、フィールドのデプスよりも良好な大きさの順序で、0.25 秒以内に高精度で実施できることが示された。改善された精度は加重平均を使用 して達成された。これにはテストされた全フォーカスポジションからのデータが 利用された。 パワー−加重平均はポジションの平均であり、各々はそのポジションでのフォ ーカス値のパワー値によってウェイト処理(weighted)された。加重平均はフォ ーカスファンクション結果のアレイから計算された。各フォーカスファンクショ ン結果は、1ポジションでの全イメージフレーム(245,760ピクセル)あ るいはフィールド(122,880ピクセル)にわたるファンクションの計算か ら得られた大きさ(magnitude)である。全ポジションでのファンクション値を 平均することで加重平均なら可能であるが、最大は隣接ポジションでの値の大き さを提供しない。 このパフォーマンスは最も顕著なハイパスフィルター特性を有したオートフォ ーカスファンクションを選択することでアンダーサンプリングの影響を最小化し た後に達成された。アンダーサンプリングの問題は、低倍率、高NAオブジェク ティブ、及びさらに高いNAコンデンサーではさらにシビアであろう。マルチモ ダリティは、解像度にさほど依存しないファンクションにとってはさらにシビア であり、コントラスト測定においては特にシビアであった。フェーズコントラス トオートフォーカスにおけるインテンシティバリアンス(あるいは標準偏差)で のユニモダリティの欠如は、コントラストベースのファンクションの使用をさら に懐疑的にする。この問題を引き起こすような干渉は全形態のトランスミットさ れマイクロスコピーにおいて存在するかもしれない。ここでのイメージエレメン ト(element)は数が少なく、あるいは規則的に間隔が開けられている。 蛍光において、輝度も最良フォーカスからの距離に直接に関係するという事実 は、不都合な干渉コントラストエクストレマ(extrema)を圧倒するかもしれな い。テストされた全オートフォーカスファンクションは、減少しているイメージ インテンシティと共にその大きさが減少する。アテニュエートされた蛍光はフォ ーカスのコトラスト測定値のマルチモダリティを減少あるいは排除する。ハイパ スフィルターファンクションは、このインテンシティ依存のためにさらに狭いレ ンジを有している。統計と解像度測定値を組み合わせることでレンジは比較的に 狭いピークを維持しながら拡張が可能である。このような組み合せは、まばらな 細胞スペシメンのスキャニングに重要であろうし、さらに大きなオペレーション レンジを必要とするオートフォーカスへの適用には必要であろう。 オートフォーカスの信頼性と、ここで達成された速度のレベルは、フローシト メトリ(flow cytometry)に共通な測定値をスキャニングシトメトリでの実用レ ベルに近づける重要なステップである。このような測定値は形態論(morphology )のごときインシツ分析(in situ analyses)や、フローシトメトリでは不可能 な関係とポジションとに関係する利点を有するであろう。ポジションは、細胞単 位のトラッキング(tracking)が短スキャンインターバルで可能であろう生細胞 の時間を費やす分析にとって特に有利であろう。 連続スキャニングによるボリュームイメージングを使用したオートフォーカス 本発明のオートフォーカス技術の速度は、顕微鏡で観察されているイメージ観 察体のボリュームイメージを連続的に取得するボリュームイメージ装置で速まる であろう。このイメージは垂直方向に並んだそれぞれの2次元イメージ平面にて 取得されたイメージセットを含む。以降、このようなイメージを”ボリュームイ メージ”あるいは”3次元イメージ”と呼称する。 この実施例は、顕微鏡で検査されているイメージ観察体の一部のボリュームイ メージが、(1)複数のイメージ装置であって、各々は複数の実質的に平行なイ メージ平面のそれぞれのイメージ平面に配置されており、各イメージ平面は互の イメージ平面に関して特定な寸法で離れているも装置と、(2)複数の電子イメ ージ表示を形成する前記複数のイメージ装置にカップリングされたイメージ形成 装置であって、各々の電子イメージ表示は複数のイメージ平面のそれぞれのイメ ージ平面でイメージを表す装置とを含んだ装置によって取得が可能であるという 重要な発見に基づいている。 各電子イメージ表示はイメージ観察体の一部を表し、そのイメージ観察体の他 の全部分から特定の寸法だけ離れている。 スキャニング顕微鏡でのオートフォーカスをサポートするため、このボリュー ムイメージ装置はスペシメンイメージ装置に先だって連続的にスキャンされる。 ボリュームイメージ装置とスペシメンイメージ装置の両方は同じ顕微鏡光学装置 で同じイメージ観察体を観測している。よって、オートフォーカスは図1から1 2で解説した前述のオートフォーカス技術の分析方法によって実施が可能である 。ボリュームイメージ装置はボリュームイメージを取得するのにZディメンショ ンの顕微鏡の増分ポジショニング(incremental positioning)を必要とはしな い。よって、顕微鏡載物台をZディメンションに増分的にポジショニングするこ とでイメージセットを取得するための各顕微鏡フィールドでの停止は必要としな い。従って、この実施例は図1から12に示すオートフォーカス技術を加速する 非常に重要な目的を達成する。 図13は、ハイブリッドブロック図/略図で、顕微鏡390の連続スキャニン グオートフォーカス処理を全自動化する本発明のシステムを図示している。顕微 鏡390は2体のオーバーラップする光学システム、すなわち、ボリュームイメ ージ用と、蛍光イメージ用とを有している。好適には、顕微鏡390は、フェー ズコントラスト光学機器を有したエピ蛍光直立顕微鏡(図1に示すようなもの) である。この蛍光イメージ光学システムは、コレクターレンズ412とリレーレ ンズ414とを有した、イメージ観察体を照射するエピ照射光源(epi-illumina tion light source)410と、そのエミッション干渉フィルターが外されて4 48に配置された蛍光フィルターブロック415と、矢印419に沿って2方向 に調整可能な圧電ポジションされた対物レンズ418とを含んでいる。光源によ って提供されるエピ照射は、イメージ観察体(この場合、細胞を有した顕微鏡フ ィールド420)を蛍光させ、蛍光発光は対物レンズ419とフィルターブロッ ク415を通過して、干渉フィルター448とリレーレンズ432を介してCC Dカメラ433に蛍光発光を反射させるジクロイックミラー(dichroic mirror )430に到達する。カメラ433の出力はシトメトリプロセッサー434に提 供され、顕微鏡フィールド420の細胞の蛍光イメージが処理される。 このボリュームイメージ光学システムは、フェーズコントラスト光学機器用の イメージ観察体の照明を提供するトランス照明光源(trans-illumination light source)400を含む。これはコレクターレンズ402と、リレーレンズ40 4と、蛍光励起と発光波長(典型的には、DAPIに対して365nmと480 nm)からオートフォーカス用の光を分離する幅広バンドパス干渉フィルター4 07(例えば、600nm±50nmバンドパスフィルター)を介してトランス 照明を反射するミラー406とを含んでいる。明らかに、このトランス照明波長 は容易に変更が可能であり、他の蛍光波長に対応する。トランス照明光はジクロ イックミラー430によって発光された蛍光から分離され、ボリュームイメージ アレイ436とカメラのアレイ437とを含むボリュームイメージ装置でリレー レンズ435を通過させてイメージされる。アレイ437のカメラは、例えば、 時間ディレーインテグレーション(time-delay-and-integration:TDI)CC Dカメラを含むこともできる。好適には、アレイ437のカメラは、その出力( 以下では”電子イメージ表示”)がA/D回路440を介したアナログ−デジタ ル(A/D)フォーマットに変換された状態で、並行(in parallel)に操作さ れる。この並行変換電子イメージ表示は、A/D回路440からボリュームイメ ージプロセッサー442(保存装置443を含む)に提供され、カメラアレイ4 37の電子イメージ表示から最良フォーカスが計算される。ボリュームイメージ プロセッサー442の最良フォーカス出力は、圧電オブジェクティブポジショナ ー447を操作する圧電オブジェクティブポジショナーコントローラ446に提 供される。圧電オブジェクティブポジショナー447は対物レンズ418をボ リュームイメージプロセッサー442によって決定された現行の最良フォーカス ポジションにポジションさせる。 顕微鏡390はxy平面でのスキャニングと、軸439で示されるZ軸上の移 動のために移動手段(図示せず)によって動かされる。この点で、顕微鏡390 は図1の顕微鏡102と同一である。 本発明のボリュームイメージ処理の光学原理は、図14Aと図14Bを参照す れば理解されよう。ボリュームイメージ処理は、イメージ形成顕微鏡平面(”イ メージ観察体平面”)での最良フォーカスの合理的な垂直距離(数ミクロン)内 に、隣接光学平面で成るフォーカスボリュームが存在するという考えに基づいて いる。これは、ビデオカメラとディスプレーとを備えた顕微鏡にての単純な実験 で証明が可能である。まず、イメージ観察体がフォーカスされ、ディスプレーに 表示される。そして、ビデオカメラは光軸(optical axis)に沿って短距離を移 動される。これでイメージはフォーカスを離れる。次に、ビデオカメラの新ポジ ションを維持し、顕微鏡のフォーカスノブが調整され、シャープなフォーカスが 再度得られる。このイメージ観察体−オブジエクティブフォーカス距離はこの最 後のステップで数ミクロンだけ変化される。よって、オブジェクティブ面と相対 的に新光平面がフォーカスされる。合理的な垂直距離で、これは光学的なパフォ ーマンスの劣化をもたらさない。このようなイメージボリュームの並行取得手段 は図14Aと14Bとに示されている。 図14Aにおいて、光パイプ(光ファイバー)のアレイ470が示されている 。アレイ470の光パイプはCCDカメラのアレイ474にカップリングされて いる。この点で、各光パイプは2端、すなわち、図14Bにて拡大されているス テップアレイ(stepped array)の他の光パイプの対応第1端部と共に束ねられ ている第1端部と、それぞれのCCDカメラ475に接続された第2端部とを有 している。光パイプ472は第1端部477と第2端部478とを含んでおり、 第2端部478はCCDカメラ479に接続されている。光パイプ472と47 6 の第1端部473と477は図14Bに示すステップアレイで共に束ねられてい る。図14Bに示すように、光パイプの第1端部は端部473と477とを含み 、実質的に軸方向のアレイに配置され、それぞれの第1端部は複数のイメージ平 面のそれぞれのイメージ平面にポジションされている。例えば、端部473はイ メージ平面Z1にポジションされており、端部477は第2イメージ平面Z2にポ ジションされている。図14Bは、n本の光パイプに対して、光パイプ第1端部 のステップされて実質的に軸方向であるアレイが、他のイメージ平面に対して各 イメージ平面が特定の方向(この実施例ではZディメンション)に離れているよ うな対応するイメージ平面のアレイを定義する。よって、イメージ平面Z1はイ メージ平面Z2から垂直上方向に離れている。イメージ平面Znはイメージ平面Z1 とZ2から垂直下方向に離れている。第1端部のステップアレイはイメージ観察 体(例えば、ステイン細胞)が留まるイメージ観察体平面(例えば、顕微鏡スラ イド表面)からZ方向に離れてセットされている。 すなわち、各光パイプはイメージ装置を構成しており、各カメラはイメージ形 成装置である。図13に戻ると、光パイプのアレイ470は図13のボリューム イメージアレイ436に対応しており、CCDのアレイ474は図13のカメラ アレイ437に対応する。 図15Aと15Bは本発明の複数のイメージ装置の第2実施例を、フォトエレ メント(photo element)485のごときアクティブフォトエレメント(active photo elements)のリニアアレイ(linear array)482を有したリニアイメー ジセンサー481の形態で示している。イメージセンサー480はイメージ観察 体平面488に対して傾斜しており、イメージ観察体は、各フォトエレメントが 互のイメージ平面に対して垂直ディメンションで離れているそれぞれのイメージ 平面とインターセクトするように配置されている。よって、図5Bのイメージ平 面Ziはフォト電気エレメント485によってインターセクトされており、垂直 距離dだけ離れたイメージ平面Zi+1は別フォト電気エレメント486でインタ ーセクトされている。このイメージ装置の実施例で、イメージはCCDカメラ 電子機器で形成され、これらは図13のアレイ474のカメラの電子機器と同様 に作動する。 図13、図14A及び図14Bに関して、顕微鏡370は顕微鏡スライド43 8が搭載される従来式載物台を含んでいる。顕微鏡スライド438は前述のよう に蛍光シトメトリ用に準備され、前述のように自動的にラスタパターンで複数の 顕微鏡フィールドにわたってスキャンされる。このようなスキャニングは軸43 9のxy平面である。載物台がxにて定速で移動すると、隣接イメージ平面は小 さな連続時間ディレーでCCDカメラアレイ474のカメラによってサンプルさ れる。これらのディレーはバッファ処理で排除される。分析のために取得された 蛍光イメージは図5に示すようなさらに長いディレーで収集され、例えば、最大 10ミリ秒、あるいは20x対物(objective)の500μm平方フィールドで 100μmトラベル以下である圧電再ポジショニング時間に対応する。フォーカ スは分析のために取得された蛍光イメージと、フォーカスのために取得されたボ リュームイメージとの間の差異の測定によりキャリブレーションが可能である。 この点で、最良蛍光とボリュームイメージフォーカスとの間の差異は、蛍光イメ ージから直接的にフォーカスを計算するため、少々異なるフォーカスレベルでの 反復的スキャンによって測定されるであろう。蛍光フォーカスポジションは、続 くスキャンのための、蛍光での最良フォーカスとボリュームイメージとの差異を 排除するようにセットが可能である。 図16に示すように、光パイプアレイ470のステップ端部は、フィールド4 90のような顕微鏡フィールドの一部をスキャン方向にスキャンするボリューム イメージャーフィールドのビュー(volume imager field of view:FOV)を 形成する。ボリュームイメージャーFOVのトレーリングは蛍光イメージャーF OVである。ボリュームイメージャーFOVに関して、端部473と477とを 含んだ光パイプ端部のステップアレイの方形第1端部の各々のものに略対応する アスペクト比を有したフィールドのスライス(slice)を考慮してみる。このス ライスは図16の△iで表示されている。イメージ平面Zl−Znはこのスライス でスキャンされるので、このスライスの2Dイメージは各光パイプ/CCDカメ ラの組み合せで捕捉(capture)される。このイメージは1個あるいはそれ以上 のピクセルを含むことができる。各イメージPは図17に示すようにこのスライ スに対応するバッファに保存される(電子イメージ表示として)。よって、スラ イス△i(”△iバッファ”)のためのバッファ内の連続バッファ位置のセットに 対して、図14Bに示すステップエンドフェースアレイ(stepped end face arr ay)の各第1エンドフェースはスライス上でスキャンされるので、エンドフェー スのイメージ平面の2Dイメージを表す電子イメージ表示はそのエンドフェース に対応する保存位置にて保存される。よって、光パイプ472のエンドフェース 473に対応するイメージ平面Z1で形成されたイメージP1は、イメージ平面Zl に対応するポジションで△iバッファに保存される。このように、光パイプアレ イ470のステップエンドフェースはスライス上でスキャンされるので、複数の 電子イメージ表示Pjは△iバッファにて保存される。図17が示すように、スラ イスのアレイに対してバッファが提供されている。図18は、それぞれにイメー ジ平面Z1−Znを介して取得された2DイメージP1−Pnの電子イメージ表示に よって形成された△iバッファに保存されたボリュームイメージを示す。 ボリュームイメージが、顕微鏡スライドを直接的に傾斜させず、イメージ平面 で”傾斜(tilt)”させることで(イメージ平面を垂直方向に離す)取得される とき、利点が発生することが理解されよう。この利点は、垂直拡大(magnificat ion)が横方向拡大の平方であるという事実によるものである。例えば、図1か ら12に図示された実施例において、ビデオカメラCCDチップの倍率は約30 xである。よって、垂直倍率は約900xであり、スペシメンの4μm厚ボリュ ームはイメージ平面で3.6mmに拡大されるであろう。この大きな垂直倍率は 、必要な光セクション(optical sections)の正確なサンプリングを単純化する 。 イメージ観察体のディメンションと利用可能なCCDカメラ技術とに関する想 定に基づき、図14Bに示された光パイプ端部のステップアレイのディメンショ ンを計算した。このアレイ(図14Bに示す)のディメンションは、20x対 物と、0.9x−2.25xズームリレーレンズ(ニコン製)とを介して、13 x13μmピクセルの1024ピクセルx96ライン TDI CCDアレイに4 μm厚スペシメンボリュームが拡大されたと想定して計算された。しかし、デザ イン、特定適用条件、及び光学技術並びにカメラ技術の変更により、これらの想 定はもちろん変更される。それでも、比較的に剛性な光パイプを想定すれば、光 パイプをCCDカメラに取り付ける充分な強度を備えた1体のパッケージが図1 4Aと14Bに示される実施例には必要である。このパッケージは図示されてい ないが、例えば、CCDカメラと光パイプとの両方に取り付けられる方形アルミ フレームで構成が可能である。比較的に小さなリモート式CCDカメラ(ダルサ 製の2.0インチx2.0インチx0.75インチのカメラ等)を想定すれば、 これらのコンポーネントは便利なサイズのパッケージに収納が可能であろう。 図14Bに示すディメンションは、製造の容易化のために光パイプエンドフェ ース間に0.017インチの垂直ステップを含んでいる。これは29.387x 横方向倍率と、863.6x 垂直倍率とに相当する。前記のズームレンズを使 用すると、この倍率はズーム1.04x(可能なレンジ0.9x−2.25xか ら)に相当する。502μmインスクライブド平方フィールド(inscribed squa re field)用の710μm直径を有するフィールドビューを有した20x フェ ーズ/フルオライトオブジェクティブが使用可能であろう。このようなフィール ドはプロポーズされた横方向倍率にて14.75mm(0.58インチ)平方に 拡大されるであろう。これで、蛍光イメージを取得するトレーリング(trailing )CCDのための充分なスペースが確保される。CCDカメラはTDIタイプの ものとして紹介されており、光感度を増加させるものであり、これは連続スキャ ニングのためにドエル時間(dwell time)を減少させる。 もちろん、光パイプインターフェースを通過する際には光ロスが発生する。し かし、これは通常のトランスミットされた顕微鏡ランプ(transmitted microsco pe lamps)の明レンジで充分に補償される。TDIカメラの使用は、光パイプイ ンターフェースでは普通である光ファイバーのランダムアレンジをも少々減少 させ、不適性な光ファイバーのマッチングでカメラアレイにて発生するかも知れ ないモアレパターン(Moire patterns)の問題を軽減させる。周知のごとく、ど のモアレセットもTDIカメラで平均化(averaged out)されるであろう。TD Iカメラの2:1ビンニング(binning)は、蛍光とフェーズコントラストの双 方において、効果的なニューメリカルアパーチャ(NA)の限定の通常方法に付 随する光ロスなく、アンダーサンプリングとアリアシングをも排除することであ ろう。 図19は本明細書にインコーポレートされている前記の特許出願にて開示され たオートフォーカスファンクションに従ってイメージ表示を処理することで、光 学品質メトリック(optical quality metric)を決定するのに使用されるプロセ スを示す。好適には、このファンクションは解像ファンクションであり(表1で 解説)、ハイパスフィルター(HPF)の結果の平方を合計するものである。ま た、電子イメージ表示の平方値は増大したインテンシティ値を提供する。図19 が示すように、それぞれのイメージ平面でイメージを表示する電子イメージ表示 は、ステップ501にてCCDカメラの出力部で取得され、ステップ503でデ ジタル化され、ステップ504でバッファされる。セクエンス(sequence)50 1、503、504は、複数のイメージ平面の各イメージ平面に対する電子イメ ージ表示が取得されてバッファされるまで継続される。解像度の測定値は、ステ ップ505と506でデジタル化されたイメージのハイパスフィルター処理の結 果の平方を合計することで取得される。フォーカスメトリック(focus metric) はステップ507で構築され、そのフォーカスメトリックで示されるような最良 フォーカスが発生するイメージ平面はステップ508にて選択され、必要であれ ば、顕微鏡はオートフォーカスメカニズム(autofocus mechanism)によって再 フォーカス(refocused)される。代表的なフォーカスメトリックは、各イメー ジ平面での解像度の測定値を表示する鮮明度インデックス(sharpness index) のプロットとして図20にて図示されている。 光学品質メトリック(解像度あるいは鮮明度)の計算はイメージ表示の処理を 必要とする。図14Bのステップエンドフェースで取得されるような9枚のイメ ージ平面を想定すると、9の並行電子イメージ表示が処理されなければならない であろう。組み合わされると、これは並行に処理されなければならない90MH zピクセルレートを創出するであろう。好適には、各電子イメージ表示に対して 1x3コンボリューション(convolution)(−1 2 −1)がハイパスフィル ターに適用され、その平方の合計の計算が続く。明らかに、ボリュームイメージ プロセッサー(図13の442)はこのイメージ表示を並行に処理できなければ ならない。このような並行処理は、イメージングテクノロジーMVC 40MH zイメージプロセッサーのごときパイプラインイメージプロセッサー(pipeline image processors)によって支持されている。このようなシステムはマザーボ ード(mother boards)のセットを含んでいる。各々は3チャンネル、8ビット A/Dコンバータ、イメージバッファ、及び処理パイプラインを有している。例 えば、9のイメージストリーム(image streams)であれば、3セットのマザー ボードによりイメージングテクノロジープロセッサーにおいて処理が可能である 。 本発明のボリュームイメージ処理は、ハイパスフィルターファンクションを位 置替え(relocation)することでさらに改善が可能である。例えば、図21に示 すオートフォーカスシステムの実施例では、このハイパスフィルターファンクシ ョンは、バックフォーカス、フーリエあるいはピューピルプレーン(backfocal, Fourier or pupil plane)で顕微鏡390の光学機器内に配置されている。この 実施例では、これら複数のイメージ装置は、図15Aと15Bにて示す高感度フ ォト電気エレメント(high sensitivity photo electric elements)の傾斜リニ アアレイ(tilted linear array)に対応するフォトエレメントのアレイ610 を含む。この場合、フォト電気エレメントのアレイ610は、カメラ電子部62 0にカップリングされている。図21に示すオートフォーカスシステムの実施例 (図13のものと同じ参照番号を使用)では、ボリュームイメージプロセッサー 442はハイパスフィルターされた電子イメージ表示を処理し、光学品質メトリ ックを創出する。このプロセッサーは単純化されており、カメラ電子部620 で出力された電子イメージ表示は図21に示すインテグラル(integral)Ix(t) z の形態を有している。図13のボリュームイメージの実施例と比較すると、こ のインテグラルはオートフォーカス計算の実施コストを減少させている。図13 のボリュームイメージプロセッサー442は3次元イメージを提供する多数の2 次元イメージ表示を処理しなければならない。図21に示されるようにハイパス ファンクションが光学的に実行され、電子イメージ表示処理が軽減される。投射 されたピューピル平面(projected pupil plane)(フーリエ変換平面)を創出 するフーリエリレー光学機器(Fourier relay optics)602の使用で、光ハイ パスフィルター605はアテニュエーション(アンプリチュード)フィルターあ るいはフェーズフィルターとして利用が可能である。光フィルター処理に関して は”光学情報処理”(リー,スプリンガー−ベルラグ,ニューヨーク,1981 年)を参照。実際の使用では、光ハイパスフィルター605はイメージの低周波 数部をブロックする。高周波あるいはエッジ情報(edge information)は保持さ れ、高周波情報のインテンシティはフォーカスと比例する。よって、特定のイメ ージ平面でのインテンシティは鮮明度の直接的測定値を提供し、図20のフォー カスメトリックはインテンシティ(鮮明度として)とイメージ平面との関係を単 純にプロットすることで導くことが可能である。多数の異なるイメージ平面での インテンシティ(鮮明度)は傾斜高感度フォト電気エレメントアレイ610を使 用して測定される。これには、電子イメージ表示をバッファし、そのディレーを 排除し、最良フォーカスを計算する1体のイメージプロセッサーのみが必要であ る。本質的には、図21のオートフォーカスシステムの実施例は、3体のイメー ジ処理ボード、9体のCCDカメラ、及び1体の光パイプアレイを、1体のイメ ージ処理ボード、1体の傾斜フォト電気エレメントアレイ、及び1セットのカメ ラ電子機器と置換することで実施コストを軽減させる。 継続的ボリュームイメージ処理は、スリット式あるいはスポット式コンフォー カスアパーチャ(confocal apertures)の場合のように、コンフォーカス顕微鏡 原理を利用してボリュームを急速にスキャンすることもできよう。スリットアパ ーチャの場合、イメージ平面でイメージを形成するCCDカメラの軸方向(lon gitudinal)CCDアレイは、スリットコンフォーカスアパーチャを介して照明 が可能である。幅方向にて1個のピクセルである各カメラのリニアCCDアレイ を想定すると、各リニアCCDアレイは1平面をイメージするであろう。しかし 、イメージ観察体は各リニアCCDアレイに対して対応コンフォーカススリット 光で照明され、高解像が得られよう(特に垂直方向に、しかし横方向でも)。よ って、各々がそれぞれのイメージ平面を照射する固定スリットのアレイは、1方 向定速度での顕微鏡載物台の移動と組み合わされてリアルタイムのボリュームイ メージ処理コンフォーカス顕微鏡を創出するであろう。このコンフォーカススリ ットのアレイの場合と同様に、米国特許第5,239,178号に開示されたも ののごときコンフォーカススポットのアレイもまた、異なるイメージ平面ポジシ ョンにてアレンジが可能であり、さらに高い解像度を提供するために載物台スキ ャニングとの組み合せが可能であろう。 もちろん、当業者であれば、以上の説明から本発明の他の実施例と改良を容易 に着想することができるであろう。よって、本発明はそのような実施例と改良と を包含する「請求の範囲」によってのみ限定されるものである。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,DE, DK,ES,FR,GB,GR,IE,IT,LU,M C,NL,PT,SE),OA(BF,BJ,CF,CG ,CI,CM,GA,GN,ML,MR,NE,SN, TD,TG),AP(KE,MW,SD,SZ,UG), AM,AT,AU,BB,BG,BR,BY,CA,C H,CN,CZ,DE,DK,EE,ES,FI,GB ,GE,HU,IS,JP,KE,KG,KP,KR, KZ,LK,LR,LT,LU,LV,MD,MG,M N,MW,MX,NO,NZ,PL,PT,RO,RU ,SD,SE,SG,SI,SK,TJ,TM,TT, UA,UG,US,UZ,VN 【要約の続き】 スキャンされ、イメージはバッファで時間的にアライン される。バッファは、バッファでアラインされたイメー ジ平面でのイメージを含んだボリュームイメージを保持 する。最良フォーカスを有したイメージ平面が選択さ れ、顕微鏡のオブジェクティブは選択された平面に自動 的にポジションされる。

Claims (1)

  1. 【特許請求の範囲】 1.フォーカス機構を有した顕微鏡用のオートフォーカス方法であって、 (1)第1垂直ポジションで顕微鏡載物台上のスペシメンのデジタルイメー ジを取得するステップと、 (2)該デジタルイメージにデジタルフィルターを適用し、フィルターイメ ージを取得するステップと、 (3)該フィルターイメージに測定ファンクションを適用し、大きさ(magn itude)を取得するステップと、 (4)前記フォーカス機構を第2垂直ポジションにまで垂直方向に移動させ 、ステップ(1)から(3)を反復するステップと、 (5)前記第1垂直ポジションと第2垂直ポジションで取得されたフィルタ ーイメージの大きさを比較し、その比較に基づいて顕微鏡のフォーカスを調整す るステップと、 を含んでいることを特徴とするオートフォーカス方法。 2.前記デジタルフィルターはイメージ鮮明化変換を実行することを特徴とす る請求項1記載の方法。 3.前記測定ファンクションはコントラストを測定することを特徴とする請求 項1記載の方法。 4.前記測定ファンクションはフィルターイメージインテンシティの総計を計 算するステップを含んでいることを特徴とする請求項1記載の方法。 5.前記測定ファンクションは平方されたフィルターイメージインテンシティ の総計を計算するステップを含んでいることを特徴とする請求項1記載の方法。 6.前記比較ステップは、その第1ポジションでの大きさがその第2ポジショ ンでの大きさよりも大きい場合に前記フォーカス機構を第1垂直ポジション方向 に移動させ、その第1ポジションでの大きさがその第2ポジションでの大きさよ りも小さい場合に該フォーカス機構を第2垂直ポジション方向に移動させて顕微 鏡のフォーカスを調整するステップを含んでいることを特徴とする請求項1記載 の方法。 7.ボリュームイメージを発生させる装置であって、 複数のイメージデバイスであって、少なくとも1のイメージデバイスが複数 のイメージ平面のそれぞれのイメージ平面に配置され、各々のイメージ平面は相 互が3次元的に離れているイメージデバイスと、 イメージ形成装置であって、該複数のイメージデバイスにカップリングされ ており、それぞれのイメージ平面におけるイメージを表示する複数の電子イメー ジ表示を形成するイメージ形成装置と、 を含んでいることを特徴とするボリュームイメージ発生装置。 8.前記イメージ形成装置にカップリングされており、電子イメージ表示を組 み合わせることで光学品質メトリックを決定する処理手段をさらに含んでいるこ とを特徴とする請求項7記載の装置。 9.前記複数のイメージ装置は複数の光コンダクターを含んでおり、各光コン ダクターはそれぞれのイメージ平面に配置された第1エンドフェースと、前記イ メージ形成装置にカップリングされた第2エンドフェースとを有していることを 特徴とする請求項7記載の装置。 10.前記複数のイメージデバイスは実質的に長形であるアレイに提供されてい ることを特徴とする請求項7記載の装置。 11.前記イメージ形成装置は複数のチャージカップリングされたデバイス(C CD)カメラを含んでいることを特徴とする請求項7記載の装置。 12.前記複数のイメージデバイスは複数の光コンダクターを含んでおり、各光 コンダクターは複数のイメージ平面のそれぞれのイメージ平面に配置された第1 エンドフェースと、それぞれのCCDカメラにカップリングされた第2エンドフ ェースとを有していることを特徴とする請求項11記載の装置。 13.各前記第1エンドフェースはそれぞれの前記第2エンドフェースから離れ ていることを特徴とする請求項12記載の装置。 14.前記複数のイメージデバイスはフォト電気デバイスの長形アレイを含んで いることを特徴とする請求項7記載の装置。 15.前記フォト電気デバイスの長形アレイはイメージ観察体平面に対して傾斜 しており、複数のイメージ平面の各イメージ平面はフォト電気デバイスの長形ア レイの少なくとも1のフォト電気デバイスでインターセクトされていることを特 徴とする請求項14記載の装置。 16.前記処理手段は、 各々がイメージの少なくとも一部の複数の電子表示を保存する複数のイメ ージバッファと、 それぞれのバッファにカップリングされており、フィルター電子表示を提 供するハイパスフィルターと、 該ハイパスフィルターにカップリングされており、光学品質メトリックを 創出するために複数のフィルター電子表示を組み合わせる手段と、 を含んでいることを特徴とする請求項8記載の装置。 17.前記組み合わせる手段は、 フィルター電子表示の増大インテンシティ値を取得する手段と、 該増大インテンシティ値に基づいて各イメージの光学品質メトリック値を 表示する手段と、 を含んでいることを特徴とする請求項16記載の装置。 18.前記複数のイメージデバイスとイメージ観察体平面との間に配置された光 学ハイパスフィルターと、 前記イメージ形成装置にカップリングされており、電子レンジイメージ表 示を組み合わせることで光学品質メトリックを決定する処理手段と、 をさらに含んでいることを特徴とする請求項7記載の装置。 19.前記処理手段は、 各々がイメージの少なくとも一部の複数のフィルター電子表示を保存する 複数のイメージバッファと、 該複数のイメージバッファにカップリングされており、光学品質メトリッ クを創出するために複数のフィルター電子イメージ表示を組み合わせる手段と、 を含んでいることを特徴とする請求項18記載の装置。 20.前記光学品質メトリックはイメージ鮮明度であることを特徴とする請求項 19記載の装置。 21.複数のイメージデバイスを使用したボリュームイメージ方法であって、少 なくとも1のイメージデバイスが複数のイメージ平面の1イメージ平面に提供さ れており、各イメージ平面は相互が3次元的に離れており、本ボリュームイメー ジ方法は、 前記複数のイメージデバイスをイメージ観察体平面のイメージ観察体が観 察できるように配向するステップと、 前記複数のイメージデバイスを使用して該イメージ観察体の複数のイメー ジを取得するステップであって、該複数のイメージの各イメージはそれぞれのイ メージデバイスで取得されるステップと、 該複数のイメージを複数の電子イメージ表示に変換するステップと、 該複数の電子イメージ表示を保存するステップと、 を含んでいることを特徴とするボリュームイメージ方法。 22.前記複数のイメージデバイスは複数の光コンダクターを含んでおり、各光 コンダクターはそれぞれのイメージ平面に配置された第1エンドフェースを有し ており、前記配向ステップは、各イメージ平面がイメージ観察体と実質的に並行 で、垂直に離れるように該第1エンドフェースを前記イメージ観察体平面に関し て設置するステップを含んでいることを特徴とする請求項21記載の方法。 23.前記複数のイメージデバイスは軸方向のディメンションを有した長形アレ イに提供された複数のフォト電気デバイスを含んでおり、前記配向ステップは該 フォト電気デバイスの長形アレイを、前記軸方向ディメンションの延長が非直角 で前記イメージ観察体平面とインターセクトするように設置するステップを含ん でいることを特徴とする請求項21記載の方法。 24.フォーカス機構を有した顕微鏡をオートフォーカスするオートフォーカス 装置であって、 複数のイメージデバイスであって、その少なくとも1のイメージデバイス が複数のイメージ平面の各それぞれのイメージ平面に提供されており、各イメー ジ平面は相互が3次元的に離れている複数のイメージデバイスと、 該複数のイメージデバイスにカップリングされて複数の電子イメージ表示 を形成するイメージ形成装置であって、各該電子イメージ表示は前記複数のイメ ージ平面のそれぞれの2次元でのイメージを表示しているイメージ形成装置と、 該イメージ形成装置にカップリングされており、前記電子イメージ表示に 測定ファンクションを適用することでフォーカス位置信号を発生させるプロセッ サーと、 前記フォーカス機構に、該フォーカス位置信号に対応して顕微鏡のフォー カスを調整させる手段と、 を含んでいることを特徴とするオートフォーカス装置。 25.前記複数のイメージデバイスは複数の光コンダクターを含んでおり、各光 コンダクターはそれぞれのイメージ平面に配置された第1エンドフェースと、前 記イメージ形成装置にカップリングされた第2エンドフェースとを有しているこ とを特徴とする請求項24記載のオートフォーカス装置。 26.前記イメージ形成装置は複数のチャージカップルされたデバイス(CCD )カメラを含んでいることを特徴とする請求項24記載のオートフォーカス装置 。 27.前記複数のイメージデバイスは複数の光コンダクターを含んでおり、各光 コンダクターは前記複数のイメージ平面のそれぞれのイメージ平面に配置された 第1エンドフェースと、それぞれのCCDカメラにカップリングされた第2エン ドフェースとを有していることを特徴とする請求項26記載のオートフォーカス 装置。 28.前記複数のイメージデバイスはフォト電気デバイスの長形アレイを含んで いることを特徴とする請求項24記載のオートフォーカス装置。 29.前記フォト電気デバイスの長形アレイはイメージ観察体が位置するイメー ジ観察体に対して傾斜しており、前記複数のイメージ平面の各イメージ平面は前 記フォト電気デバイスの長形アレイの少なくとも1のフォト電気デバイスによっ てインターセクトされていることを特徴とする請求項28記載のオートフォーカ ス装置。 30.前記プロセッサーは、 複数のイメージバッファであって、各イメージバッファはイメージの少な くとも一部の複数の電子表示を保存し、各電気表示は複数のイメージ平面のそれ ぞれのイメージ平面での該一部のイメージを表示する複数のイメージバッファと 、 イメージバッファにカップリングされており、複数のフィルター電子イメ ージ表示を提供するハイパスフィルター手段と、 該ハイパスフィルター手段とカップリングされており、フォーカスメトリ ックを創出するために複数のフィルター電子イメージ表示を組み合わせる手段と 、を含んでいることを特徴とする請求項24記載のオートフォーカス装置。 31.前記複数のイメージデバイスとイメージ観察体平面との間に配置された光 フィルターをさらに含んでいることを特徴とする請求項21記載のオートフォー カス装置。 32.処理手段は、 各々がイメージの少なくとも一部の複数のフィルター電子イメージ表示を 保存する複数のイメージバッファと、 該複数のイメージバッファにカップリングされており、光学品質メトリッ クを創出するために複数のフィルター電子イメージ表示を組み合わせる手段と、 を含んでいることを特徴とする請求項31記載のオートフォーカス装置。 33.前記光学品質メトリックはイメージ鮮明度であることを特徴とする請求項 32記載のオートフォーカス装置。 34.前記組み合わせる手段は、 前記フィルター電子イメージ表示の増大インテンシティ値を取得する手段 と、 該増大インテンシティ値に基づいて各イメージのフォーカスメトリック値 を表示する手段と、 を含んでいることを特徴とする請求項30記載のオートフォーカス装置。 35.フォーカス機構を有した顕微鏡用のオートフォーカス方法であって、 イメージ観察体平面のイメージ観察体の複数の電子イメージ表示を取得す るステップであって、各電子イメージ表示は複数のイメージ平面のそれぞれのイ メージ平面でのイメージ観察体のイメージを表示し、各イメージ平面は相互が3 次元的に離れている電子イメージ表示取得ステップと、 前記複数の電子イメージ表示をハイパスフィルターに適用し、複数のフィ ルター電子イメージ表示を取得するステップと、 該複数のフィルター電子イメージ表示に測定ファンクションを適用し、複 数のイメージ鮮明度値を取得するステップと、 該イメージ鮮明度値をイメージ平面ポジションに関連させることで該イメ ージ鮮明度値を組み合わせるステップと、 該組み合せるステップで高イメージ鮮明度に関連されたイメージ平面ポジ ションを選択するステップと、 該選択されたイメージ平面ポジションに基づいて顕微鏡のフォーカスを調 整するステップと、 を含んでいることを特徴とするオートフォーカス方法。
JP8503973A 1994-07-01 1995-06-30 スキャニングマイクロスコピー用オートフォーカスシステム Pending JPH10502466A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US27001794A 1994-07-01 1994-07-01
US08/270,017 1994-07-01
PCT/US1995/008424 WO1996001438A1 (en) 1994-07-01 1995-06-30 Autofocus system for scanning microscopy

Publications (1)

Publication Number Publication Date
JPH10502466A true JPH10502466A (ja) 1998-03-03

Family

ID=23029550

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8503973A Pending JPH10502466A (ja) 1994-07-01 1995-06-30 スキャニングマイクロスコピー用オートフォーカスシステム

Country Status (11)

Country Link
EP (2) EP0769159B1 (ja)
JP (1) JPH10502466A (ja)
AT (2) ATE184113T1 (ja)
AU (1) AU2960395A (ja)
CA (1) CA2192986C (ja)
DE (2) DE69511903T2 (ja)
DK (2) DK0769159T3 (ja)
ES (2) ES2140178T3 (ja)
GR (1) GR3031737T3 (ja)
MX (1) MX9606683A (ja)
WO (1) WO1996001438A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003501693A (ja) * 1999-06-04 2003-01-14 ジヤンセン・フアーマシユーチカ・ナームローゼ・フエンノートシヤツプ 顕微鏡用の強固な自動焦点システム
JP2012093764A (ja) * 2004-05-27 2012-05-17 Aperio Technologies Inc 仮想スライドの画質を評価するシステム及び方法
JP2015194544A (ja) * 2014-03-31 2015-11-05 富士フイルム株式会社 細胞撮像制御装置および方法並びにプログラム
JP2017110986A (ja) * 2015-12-16 2017-06-22 コニカミノルタ株式会社 蛍光画像の合焦位置特定システム、合焦位置特定方法および合焦位置特定プログラム
JP2020505633A (ja) * 2017-01-24 2020-02-20 オリバ フランス エス.アー.エス. 顕微分光測定の方法およびシステム
CN111279242A (zh) * 2017-11-28 2020-06-12 徕卡生物系统成像股份有限公司 双处理器图像处理

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6268611B1 (en) 1997-12-18 2001-07-31 Cellavision Ab Feature-free registration of dissimilar images using a robust similarity metric
US6640014B1 (en) * 1999-01-22 2003-10-28 Jeffrey H. Price Automatic on-the-fly focusing for continuous image acquisition in high-resolution microscopy
US6743576B1 (en) 1999-05-14 2004-06-01 Cytokinetics, Inc. Database system for predictive cellular bioinformatics
US7151847B2 (en) 2001-02-20 2006-12-19 Cytokinetics, Inc. Image analysis of the golgi complex
US6651008B1 (en) 1999-05-14 2003-11-18 Cytokinetics, Inc. Database system including computer code for predictive cellular bioinformatics
WO2001011407A2 (en) * 1999-08-10 2001-02-15 Cellavision Ab A method and device for autofocusing
US6583865B2 (en) * 2000-08-25 2003-06-24 Amnis Corporation Alternative detector configuration and mode of operation of a time delay integration particle analyzer
JP2004512845A (ja) 2000-10-24 2004-04-30 オンコシス リミテッド ライアビリティ カンパニー 三次元の検体内の細胞を選択的に標的化する方法およびデバイス
US7218764B2 (en) 2000-12-04 2007-05-15 Cytokinetics, Inc. Ploidy classification method
EP1368689B1 (en) 2001-02-02 2006-06-14 Cellomics, Inc. Method for estimating the best initial focus position
US7016787B2 (en) 2001-02-20 2006-03-21 Cytokinetics, Inc. Characterizing biological stimuli by response curves
US6956961B2 (en) 2001-02-20 2005-10-18 Cytokinetics, Inc. Extracting shape information contained in cell images
DE10115309A1 (de) * 2001-03-28 2002-10-02 Gnothis Holding Sa Ecublens Mikroskopanordnung zur Fluoreszenzspektorskopie, insbesondere Fluoreszenzkorrelationsspektroskopie
US7495778B2 (en) 2001-09-11 2009-02-24 Leica Microsystems Cms Gmbh Method and device for optically examining an object
DE10234404B4 (de) 2002-07-29 2021-10-14 Leica Microsystems Cms Gmbh Verfahren, Anordnung und Software zur Überwachung und Kontrolle eines Mikroskops
DE10362244B4 (de) * 2003-04-29 2014-06-26 Carl Zeiss Microscopy Gmbh Verfahren zur Bestimmung der Fokusposition und der Verkippung der Fokusebene bei der Abbildung einer Probe
DE10319182B4 (de) 2003-04-29 2008-06-12 Carl Zeiss Jena Gmbh Verfahren und Anordnung zur Bestimmung der Fokusposition bei der Abbildung einer Probe
WO2005010677A2 (en) 2003-07-18 2005-02-03 Cytokinetics, Inc. Characterizing biological stimuli by response curves
US7235353B2 (en) 2003-07-18 2007-06-26 Cytokinetics, Inc. Predicting hepatotoxicity using cell based assays
US20050014217A1 (en) 2003-07-18 2005-01-20 Cytokinetics, Inc. Predicting hepatotoxicity using cell based assays
US8169534B2 (en) 2004-02-24 2012-05-01 The Invention Science Fund I, Llc Volumetric imaging using “virtual” lenslets
US7232221B2 (en) 2004-02-24 2007-06-19 Searete, Llc Volumetric imaging using “virtual” lenslets
US7323318B2 (en) 2004-07-15 2008-01-29 Cytokinetics, Inc. Assay for distinguishing live and dead cells
US7417213B2 (en) 2005-06-22 2008-08-26 Tripath Imaging, Inc. Apparatus and method for rapid microscopic image focusing having a movable objective
US20070031056A1 (en) 2005-08-02 2007-02-08 Perz Cynthia B System for and method of focusing in automated microscope systems
EP2023127B1 (en) 2006-05-31 2017-12-20 Olympus Corporation Biological specimen imaging method and biological specimen imaging apparatus
DE102006055987B4 (de) * 2006-11-24 2011-06-01 Pentacon Gmbh Foto- Und Feinwerktechnik Verfahren zur Fokussierung optischer Bilderfassungseinrichtungen
CA2891142C (en) 2007-02-05 2018-10-09 Intelligent Bio-Systems, Inc. A method of nucleic acid sequencing comprising first and second flow cells
US11940413B2 (en) 2007-02-05 2024-03-26 IsoPlexis Corporation Methods and devices for sequencing nucleic acids in smaller batches
US8481259B2 (en) 2007-02-05 2013-07-09 Intelligent Bio-Systems, Inc. Methods and devices for sequencing nucleic acids in smaller batches
US11035823B2 (en) 2009-03-17 2021-06-15 Qiagen Sciences, Llc Methods and devices for sequencing nucleic acids in smaller batches
US20090185734A1 (en) * 2008-01-18 2009-07-23 Hemocue Ab Apparatus and method for analysis of particles in a liquid sample
DE102008015885A1 (de) * 2008-03-26 2009-10-01 Synentec Gmbh Vorrichtung und Verfahren zur Autofokussierung von optischen Geräten, insbesondere von Mikroskopen
DE102009045107A1 (de) * 2009-09-29 2011-03-31 Carl Zeiss Imaging Solutions Gmbh Automatisches Fokussierverfahren für ein optisches Instrument zum vergrößerten Betrachten eines Objektes
US8774488B2 (en) 2010-03-11 2014-07-08 Cellscape Corporation Method and device for identification of nucleated red blood cells from a maternal blood sample
CN103038692B (zh) * 2010-06-24 2015-12-16 皇家飞利浦电子股份有限公司 基于差分测量的自动聚焦
US9522396B2 (en) 2010-12-29 2016-12-20 S.D. Sight Diagnostics Ltd. Apparatus and method for automatic detection of pathogens
DE102011007751B4 (de) * 2011-04-20 2023-10-19 Carl Zeiss Microscopy Gmbh Weitfeldmikroskop und Verfahren zur Weitfeldmikroskopie
CA2837226A1 (en) * 2011-05-25 2012-11-29 Huron Technologies International Inc. 3d pathology slide scanner
CN104169719B (zh) 2011-12-29 2017-03-08 思迪赛特诊断有限公司 用于检测生物样品中病原体的方法和系统
EP2999988A4 (en) 2013-05-23 2017-01-11 S.D. Sight Diagnostics Ltd. Method and system for imaging a cell sample
IL227276A0 (en) 2013-07-01 2014-03-06 Parasight Ltd A method and system for obtaining a monolayer of cells, for use specifically for diagnosis
CN105659151B (zh) 2013-08-26 2018-06-29 思迪赛特诊断有限公司 数码显微系统与方法
DE102014104430B4 (de) 2014-03-28 2015-10-29 Jenoptik Optical Systems Gmbh Objektiv mit axialem Verstellglied zur aktiven Verstellung von Objektivelementen
EP3186778B1 (en) 2014-08-27 2023-01-11 S.D. Sight Diagnostics Ltd. System and method for calculating focus variation for a digital microscope
EP3859425B1 (en) 2015-09-17 2024-04-17 S.D. Sight Diagnostics Ltd. Methods and apparatus for detecting an entity in a bodily sample
US9939623B2 (en) * 2015-10-19 2018-04-10 Molecular Devices, Llc Microscope system with transillumination-based autofocusing for photoluminescence imaging
EP3436864B1 (en) 2016-03-30 2021-04-28 S.D. Sight Diagnostics Ltd. Image processing device for identifying blood parasites
WO2017195208A1 (en) 2016-05-11 2017-11-16 S.D. Sight Diagnostics Ltd Performing optical measurements on a sample
WO2017195205A1 (en) 2016-05-11 2017-11-16 S.D. Sight Diagnostics Ltd Sample carrier for optical measurements
KR102662878B1 (ko) * 2016-11-25 2024-05-07 텔레다인 달사 비.브이. 복수의 엑스선 영상들로부터 2d 영상을 재구성하기 위한 방법
EP3396430B1 (en) 2017-04-27 2023-08-16 Euroimmun Medizinische Labordiagnostika AG Optical scanning arrangement and method
JP7214729B2 (ja) 2017-11-14 2023-01-30 エス.ディー.サイト ダイアグノスティクス リミテッド 光学測定用試料収容器
GB2600996A (en) 2020-11-17 2022-05-18 Ffei Ltd Image scanning apparatus and method

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS51112114A (en) * 1975-03-27 1976-10-04 Matsushita Electric Ind Co Ltd Record reproduction method
JPS5635111A (en) * 1979-08-31 1981-04-07 Nippon Kogaku Kk <Nikon> Focus detector of phase contrast microscope
JPS61112114A (ja) * 1984-11-06 1986-05-30 Mitsubishi Rayon Co Ltd 自動焦点調節方法
JPS63127148A (ja) * 1986-11-17 1988-05-31 Kanzaki Paper Mfg Co Ltd 表面検査装置
JPS6454408A (en) * 1987-08-25 1989-03-01 Hitachi Ltd Automatic focusing method
JPH0237313A (ja) * 1988-07-27 1990-02-07 Hitachi Ltd 自動焦点位置検出方法
JPH02276363A (ja) * 1989-04-18 1990-11-13 Canon Inc 画像読取装置
JPH04318509A (ja) * 1991-04-17 1992-11-10 Sankyo Seiki Mfg Co Ltd 自動合焦装置及び自動合焦装置における合焦調整方法
JPH05210042A (ja) * 1992-01-23 1993-08-20 Asahi Optical Co Ltd 自動焦点調節装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2615841C3 (de) * 1976-04-10 1978-10-19 Fa. Carl Zeiss, 7920 Heidenheim Verfahren zum automatischen Nachführen der Scharfeinstellung eines mit einer Fernsehkamera ausgerüsteten Mikroskops
US4342905A (en) * 1979-08-31 1982-08-03 Nippon Kogaku K.K. Automatic focusing device of a microscope
EP0163394B1 (en) * 1984-04-16 1991-10-09 Image Recognition Systems, Ltd. An automatic focussing device
DE3828381C2 (de) * 1988-08-20 1997-09-11 Zeiss Carl Fa Verfahren und Einrichtung zur automatischen Fokussierung eines optischen Systems
US5239178A (en) 1990-11-10 1993-08-24 Carl Zeiss Optical device with an illuminating grid and detector grid arranged confocally to an object
US5239170A (en) * 1991-10-23 1993-08-24 Karl Suss America, Incorporated Autofocus method and apparatus for imaging microscopy using a predetermined visual imaging feature
DE4226523B4 (de) * 1992-08-11 2005-01-05 Universität Stuttgart Verfahren und Vorrichtung zum automatischen Fokussieren auf Objekte
DE19502472A1 (de) * 1995-01-27 1996-08-01 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Aufnehmen eines Objektes

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS51112114A (en) * 1975-03-27 1976-10-04 Matsushita Electric Ind Co Ltd Record reproduction method
JPS5635111A (en) * 1979-08-31 1981-04-07 Nippon Kogaku Kk <Nikon> Focus detector of phase contrast microscope
JPS61112114A (ja) * 1984-11-06 1986-05-30 Mitsubishi Rayon Co Ltd 自動焦点調節方法
JPS63127148A (ja) * 1986-11-17 1988-05-31 Kanzaki Paper Mfg Co Ltd 表面検査装置
JPS6454408A (en) * 1987-08-25 1989-03-01 Hitachi Ltd Automatic focusing method
JPH0237313A (ja) * 1988-07-27 1990-02-07 Hitachi Ltd 自動焦点位置検出方法
JPH02276363A (ja) * 1989-04-18 1990-11-13 Canon Inc 画像読取装置
JPH04318509A (ja) * 1991-04-17 1992-11-10 Sankyo Seiki Mfg Co Ltd 自動合焦装置及び自動合焦装置における合焦調整方法
JPH05210042A (ja) * 1992-01-23 1993-08-20 Asahi Optical Co Ltd 自動焦点調節装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003501693A (ja) * 1999-06-04 2003-01-14 ジヤンセン・フアーマシユーチカ・ナームローゼ・フエンノートシヤツプ 顕微鏡用の強固な自動焦点システム
JP2012093764A (ja) * 2004-05-27 2012-05-17 Aperio Technologies Inc 仮想スライドの画質を評価するシステム及び方法
JP2015194544A (ja) * 2014-03-31 2015-11-05 富士フイルム株式会社 細胞撮像制御装置および方法並びにプログラム
US10330907B2 (en) 2014-03-31 2019-06-25 Fujifilm Corporation Cell imaging control device, method, and program
JP2017110986A (ja) * 2015-12-16 2017-06-22 コニカミノルタ株式会社 蛍光画像の合焦位置特定システム、合焦位置特定方法および合焦位置特定プログラム
JP2020505633A (ja) * 2017-01-24 2020-02-20 オリバ フランス エス.アー.エス. 顕微分光測定の方法およびシステム
CN111279242A (zh) * 2017-11-28 2020-06-12 徕卡生物系统成像股份有限公司 双处理器图像处理
JP2021502593A (ja) * 2017-11-28 2021-01-28 ライカ バイオシステムズ イメージング インコーポレイテッドLeica Biosystems Imaging, Inc. デュアルプロセッサ画像処理
CN111279242B (zh) * 2017-11-28 2022-03-29 徕卡生物系统成像股份有限公司 双处理器图像处理

Also Published As

Publication number Publication date
EP0834758A3 (en) 1998-05-06
ES2140178T3 (es) 2000-02-16
DK0834758T3 (da) 1999-12-13
GR3031737T3 (en) 2000-02-29
ES2131838T3 (es) 1999-08-01
EP0769159A1 (en) 1997-04-23
DE69511903D1 (de) 1999-10-07
EP0769159B1 (en) 1999-03-10
DK0769159T3 (da) 1999-09-27
EP0834758B1 (en) 1999-09-01
CA2192986C (en) 2002-01-22
DE69511903T2 (de) 2000-04-20
WO1996001438A1 (en) 1996-01-18
DE69508248D1 (de) 1999-04-15
EP0834758A2 (en) 1998-04-08
AU2960395A (en) 1996-01-25
ATE177539T1 (de) 1999-03-15
DE69508248T2 (de) 1999-11-04
CA2192986A1 (en) 1996-01-18
MX9606683A (es) 1997-12-31
ATE184113T1 (de) 1999-09-15

Similar Documents

Publication Publication Date Title
JPH10502466A (ja) スキャニングマイクロスコピー用オートフォーカスシステム
US5932872A (en) Autofocus system for scanning microscopy having a volume image formation
US5790710A (en) Autofocus system for scanning microscopy
Price et al. Comparison of phase‐contrast and fluorescence digital autofocus for scanning microscopy
US6900426B2 (en) Reverse focusing methods and systems
JP3090679B2 (ja) 生物標本の複数の光学的特性を測定する方法および装置
CA1304612C (en) Solid state microscope
JP5577885B2 (ja) 顕微鏡及び合焦点方法
US6795238B2 (en) Electronic camera for microscope
US9804377B2 (en) Low numerical aperture exclusion imaging
JP2012506060A (ja) 多面画像取得に色収差を使用する自動化された走査型サイトメトリー
US8809809B1 (en) Apparatus and method for focusing in fluorescence microscope
US7335866B2 (en) Method for improving depth discrimination in optical reproduction systems
JPH10506460A (ja) 細胞学的システムの映像収集の統合性をチェックするための装置
US20160041099A1 (en) Light sheet fluorescence and differential interference contrast microscope
CN111788508A (zh) 数码显微镜和用于改变数码显微镜的放大率的方法
US20050275938A1 (en) Microscope illumination intensity measuring device
US6215586B1 (en) Active optical image enhancer for a microscope
Harms et al. Comparison of digital focus criteria for a TV microscope system
US20090168156A1 (en) Microscope system, microscope system control program and microscope system control method
Nguyen et al. Magnification-corrected optical image splitting for simultaneous multiplanar acquisition
CN115656123A (zh) 一种适用于荧光显微镜的自动对焦装置
Inoué Applications of video to light microscopy
Poon et al. Characterization of a 3D microscope imaging system
Egorova et al. Development trends in light microscopy

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040419

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040601

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20041007

A72 Notification of change in name of applicant

Free format text: JAPANESE INTERMEDIATE CODE: A721

Effective date: 20040927