JP3754958B2

JP3754958B2 - 高倍率顕微観測装置

Info

Publication number: JP3754958B2
Application number: JP2002375251A
Authority: JP
Inventors: 勝美吉野; 潤也小林
Original assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Current assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Priority date: 2002-12-25
Filing date: 2002-12-25
Publication date: 2006-03-15
Anticipated expiration: 2022-12-25
Also published as: JP2004205366A; WO2004059244A1

Description

【０００１】
【発明の属する技術分野】
本発明は、高倍率顕微観測装置に関し，詳しくは、高倍率（４００〜２００００倍）デジタルマイクロ顕微鏡、長時間タイムラプス観測顕微鏡、ナノ材料アラインメント装置、ＵＶレーザマイクロカッター（細胞トリミング染色体カット）、微小物レーザトラッピング（捕捉・移動）装置、卵細胞インジェクション装置、ＤＮＡチップスポッティング装置、その他（インクジェットＥＬ製作装置、エリプソ、近接場）等、種々の分野で好適に利用することができる高倍率顕微観測装置に関する。
【０００２】
【従来の技術】
例えば、顕微鏡等のマイクロ以下のステージ制御をする場合は、ステージの移動量や現在地を直接把握するために、磁気目盛り、光学目盛り、レーザ干渉等を利用した測長器をステージに取り付けて、測長器からの信号をモーションコントロール部にフィードバックするフルクローズド制御を採用しなければ、位置制御は殆ど不可能である。
【０００３】
しかし、ステージのコントロールを精密に行っても、例えば、ワークの熱膨張との差による誤差が生じたりすれば、ワークの定位置を絶えず押さえることは、フルクローズド制御といえどもできない。そこで、熱膨張率の近い材質を使ったり、温度補償を行うための環境センサを別途、設ける等の対策が講じられているが、対症療法的に複雑化し、また、制約が生じる。
【０００４】
また、ワークそれぞれの個体差が当然発生するので、ワークの個体差に合わせてステージの制御位置を設定する必要があり、自動化による歩留まり上、この点が最も大きい問題となる。ワーク造りそのものに同等の精度が要求される等、現実的ではない。更に、ステージ上に測長器が組み込まれたシステムでは、ステージの精密な位置決めができても、観測系が移動したりすると、その誤差を補正できなかった。
【０００５】
また、一軸駆動モータを採用すれば、当然、ＸＹの二軸のモータが必要となり、必然的に複数（例えば、ＸＹΘ等）の測長器が必要とされる。そのために誤差が必然的に累積されるので、アライメント精度がより厳しくなり、高コスト化が避けられない。従って、本来、直接にワークそのものを観測しながら、そのワークの希望する位置に合わせるのが理想的であるし、その位置情報を制御系に与えるなら、ワークの位置合わせそのものを精密に行うことが可能である。従って、歩留まりの向上が期待できる。
【０００６】
更に、半導体やバイオチップ等の集積度の高いものを製作する場合は、ステージに載せたワークを二次元的に捉えるのが最もコストパフォーマンスにすぐれる方法であり、かくして、最近、マシンビジョン方式が盛んに採りいれられようとしている。対象物への照明の照射方法が工夫されたり、目標を確認しやすいように工夫がなされているが、視認度の高い解決方法がなかった。また、パターンをコード化して管理するというデータベースを新たに考慮しなければならなかった。
【０００７】
【発明が解決しようとする課題】
本発明は、視認度の高いマーカ等を顕微鏡のスライドガラスやステージ等に取り付けて、パターン画像認識を利用することを目的とする。即ち、従来の高価な測長スケールを全く必要としない、より高精度なフルクローズド制御装置とそれを用いて製作したワークを実現することを目的とする
【０００８】
【課題を解決するための手段】
本発明によれば、上記課題を解決するために、顕微鏡用試料保持材やステージに形成された所定のパターンと、この所定のパターンを認識する認識手段と、この認識手段によって認識された位置情報に基づいて、上記顕微鏡用試料保持材を所定位置に移動させる移動手段とを備えていることを特徴とする高倍率顕微観測装置を提供される。
【０００９】
【発明の実施の形態】
本発明において、顕微鏡用試料保持材とは、例えば、顕微鏡スライドガラスであり、これにコードやマーカ等の所定のパターンを形成する。この所定のパターンは、例えば、顕微鏡下での観察時にレーザ等をスライドガラスに照射してマーキングしたもの、クロム蒸着膜やスクリーン印刷膜や感光性材料等をＵＶやＹＡＧレーザでマーキングしたもの、消去書き換えができるように電子ペーパやＥＬ材料に刻印やレーザ照射したもの、このような発光体を塗布して目的のところにコードや形状を表示させたもの、電子ペーパのように圧力でプローブやペンを押し当てて、その部分をマーキングしたもの等を挙げることができるが、これらに限定されるものではない。また、パターン自体を発光素子によって形成することもできる。
【００１０】
発光素子は、電気的、化学的、光学的又は磁気的に励起されて、その際に電気光学効果を生じる液晶、電子ペーパに用いられれるコロイド粒子、蛍光を発するエレクトロルミネッセンス素子、リン光を発する素子、レーザスポットや光シャッタアレー等のプロジェクタ素子によって光のスポットを表示させる素子等を挙げることができるが、これらに限定されるものではない。
【００１１】
尚、パターンの形状自体は、特に限定されないが、例えば、格子状、千鳥状等の形状が好ましい。更に、所定のパターンをスライドガラス等に形成して、それを液晶パネル等の発光素子の上部に置けば、液晶パネル等が光源となり、スライドガラス等が開口部アレーとなるような使い方もできる。
【００１２】
発光素子として液晶を用いる場合、複数の画素を配置し、この画素の幅が５〜５００μｍ、好ましくは、１０〜１００μｍの液晶表示パネルを用いることができる。５μｍ以下では、回折格子と同じようにフラウンフォファー則によって回折光の干渉の影響が無視できなくなり、これが外乱光となって、精密な位置が特定できないからであり、また、５００μｍより広いときは、移動位置対出力の直線性の特性が歪んでくるからである。更に、ピッチは、５〜５００μｍ、好ましくは、１０〜１００μｍである。このことは、前述した画素幅と同じ理由による。
【００１３】
また、液晶表示パネルの場合、一対の透明基板を対向させ、その間に液晶を封入して構成する。透明基板としては、例えば、ガラス基板、ポリアクリル基板等を挙げることができるが、これらに限定されるものではない。また、透明電極膜には、例えば、ＩＴＯ膜を用いることが好ましいが、しかし、これに限定されるものではない。透明電極膜は、ＣＶＤ法等による蒸着によって形成される。
【００１４】
更に、液晶は、例えば、複屈折型液晶素子、透過散乱型液晶素子、ＴＮ（ツイステッドネマチック）液晶、ＳＴＮ（スーパーＴＮ）液晶、強誘電性液晶素子、反強誘電性液晶、高分子分散型液晶のいずれによっても構成することができるが、これらに限定されるものではない。
【００１５】
対向する基板間の距離（セルギャップ）は、１〜１００μｍ、好ましくは、１〜２０μｍである。
【００１６】
認識手段としては、公知の光検出器、例えば、電荷結合素子（ＣＣＤ）カメラ、放電素子（ＣＩＤ）カメラ、ビデオカメラ、光倍増管、並列ビジョンチップ等の高速撮像素子を用いることができるが、これらに限定されない。尚、読み取りは、認識手段による直接読み取り以外に、例えば、ＤＶＤのリードヘッドと同じように、光学的な読み取りヘッドと読み書きできる相変化等を利用した材料を塗布して、その上に形成されたピットを読み取る方式でもよい。また、同様の方法で検出部が磁気ヘッドでスライドガラス上に磁性体が塗布されていて、そのピットを読み取るようなものでもよい。また、ＩＣカードやフラッシュメモリ等をガラス上にＩＣチップを実装、形成し、電子読み取り装置で読み取ってもよい。
【００１７】
また、移動手段としては、例えば、リニアモータ、ステッピングモータ、ピエゾや超音波モータ等の他のアクチュエータとの組み合わせを用いることができる。また、本発明の対象となる顕微装置は、光学顕微鏡、ＡＦＭ・ＳＴＭ顕微鏡、電子顕微鏡等、あらゆる顕微鏡を含む。
【００１８】
本発明によれば、顕微鏡のスライドガラス等にコードやマーカ等のパターンが刻まれており、それをＣＣＤ等でパターンマッチング検出し、アクチュエータにフィードバックして位置決めをすることによって、スライドガラスの任意の点を特定して、サンプル観察の作業性を向上させることができる。スライドガラスのコードは、光学倍率で１０〜５０倍に拡大して検出するので、分解能として１００ナノ〜１ミクロンの分解能でスライドガラス内の位置を特定することができる。
【００１９】
このコードは予め、既製品としてスライドガラス上にパターンを作成しておいてもよい。マイクロスコープ像を観測したときに、その印字形状や文字がスライドガラス上に表示されていてもよい。位置決めのパターンだけではなく、過去の観測データ等をメモリしておくこともできる。また、スライドガラスにインクジェット印字する方法でもよい。
【００２０】
更に、本発明によれば、顕微鏡用試料保持材に形成された所定のパターンと、この所定のパターンを認識する手段と、上記顕微鏡用試料保持材に保持された試料を処理する処理装置と、上記認識手段によって認識された位置情報に基づいて、上記顕微鏡用試料保持材又は処理装置を所定位置に移動させる移動手段とを備えている高倍率顕微観測装置が提供される。これによって試料の処理装置と試料間の位置決めを高速で行うことができる。
【００２１】
ここで、試料を処理する処理装置としては、例えば、マニピュレータ、レーザカッタ、レーザマーカ等を挙げることができるが、しかし、これらに限定されるものではない。マイクロファクトリに代表されるあらゆる加工機を利用することもできる。処理装置の設置場所としては、前述した所定パターンを認識する手段に付設するのが好ましい。
【００２２】
以下に本発明の好ましい態様を図面に基いて説明する。図１は、本発明による高倍率顕微観測装置の構成を示すものである。図１において、１は位置決めＸＹステージであり、圧電モータ（図示せず）等のアクチュエータにてＸＹ方向に移動させることができる。ＸＹステージ１上にはスライドガラス２が載置されており、スライドガラス２上に検体サンプルＳを置き、カバーガラス（図示せず）によって覆われている。検体サンプルのおよその位置上に顕微鏡鏡筒３が配置されており、顕微鏡鏡筒３内には対物レンズ、集光レンズ等の光学系、撮像用の光電素子等が収容されている。顕微鏡によって観察された像は、モニター４に表示される。
【００２３】
また、顕微鏡鏡筒３には、分岐してＣＣＤからなる検出器５が備わっており、この検出器５は、後述する位置決めマーカーのおよその位置上に配置される。検出器５の画像は、マルチウィンドウとしてモニター４に映し出されると共に、その信号は位置決めコントローラ（ＣＰＵ）６に入り、位置認識処理がなされる。位置認識処理によって所定移動量が算出され、図示しないアクチュエータで位置決めＸＹステージ１が移動する。
【００２４】
位置決めＸＹステージ１上のスライドガラス２の状態を図２に示す。図２において、（ａ）は上面図、（ｂ）は側面図である。図１と同じものには同じ番号が付してある。スライドガラス２は、ステージ１に設けた３本の位置決めピン９に当接して配置されており、検体サンプルＳは真空チャック１０によってカバーガラス（図示せず）に覆われている。
【００２５】
スライドガラス２の内面には位置決めマーカ７がクロム蒸着膜１２等で形成されている。このマーカ７は、図３のようなパターンを形成しており、１５μｍ角の開口部１１がある。位置決めマーカ７には液晶表示モジュール８が接着されており、開口部１１を通して液晶表示モジュール８の特定の点灯光が透過する。それによって位置決めマーカ７の任意の位置を点灯させることが可能となる。
【００２６】
液晶表示モジュール８は、上部基板と下部基板の間に液晶が挟まれて構成されており、液晶表示モジュールは、例えば、全体が２０ｍｍ×２０ｍｍのサイズであり、縦１０５ドット、横７４の画素で構成されている。尚、液晶表示ドットの大きさは、各位置決めマーカの開口部１個あたりに１ドットが割り当てられることになり、２００〜３００ミクロン角の大きさである。１５μの開口部が取り付け時にずれても、２００〜３００ミクロン角内であれば、目的を達成することができ、位置決めの許容ができるようになっている。各画素は、リード線によって選択通電させることができるようになっており、通電によって上下基板に挟まれた液晶が駆動して、基板の底面に設置させたバックライト（図示せず）の光を透過させ、点灯させることによって、そのパターンが点灯できるようになる。
【００２７】
スライドガラス２上の試料の位置を特定する場合は、このようにスライドガラス２上にマーキングすることによってスライドガラス２の設置が容易となり、高精度が要求される場合でも、その設置の容易さは変わらない。スライドガラス２上の絶対座標の特定が可能になる開口部と開口部の間の任意の位置は、ＣＣＤである検出器５によって画素数分で分割が可能である。
【００２８】
位置決めの方法は、パターンマッチング方法によって、予め開口部１１の形状をパターンとして記憶しておき、その形状重心位置を画像上のどの座標に位置するかによって画素数刻みで位置を特定することが可能になる。即ち、検出器５に捉えられる６４０×４８０ピクセルで構成された画像（ＣＣＤの画像）上に表現された開口部１１のパターンとその重心位置にあらわれるところが観測ポイントとして記録され、再び観測位置を特定する場合にその画像を再現するべく、アクチュエータを制御することとなる。スライドガラス２にはこのような開口部を形成せずに、スライドガラス２下部の液晶表示モジュール８のガラスパネル上面に直接クロム蒸着・エッチングにより形成してもよい。
【００２９】
位置の特定の方法は図４のフローに基づいて行われる。スライドガラス２を位置決めＸＹステージ１に設置し、顕微鏡鏡筒３により試料、即ち、検体サンプルＳを観測し、測定ポイントの設定を行う。鏡筒３と一体となった検出器５は、スライドガラス２上の位置決めマーカ７の特定開口部１１が視野に入る。
【００３０】
そのとき液晶表示モジュール８を図５から図７に示すように順次、点灯していく。即ち、先ず、１列方向の画素を表示させて、列を順次スキャンする（図５（ａ）〜（ｃ））。検出器５の視野に入れば、その列を行単位に１画素（液晶表示単位ドット）ずつ順次点灯する（図５（ｄ）から図６（ｆ））。これによって、検出器５の視野に入ったある開口部の位置を液晶表示のアドレスから特定する。検出器５の視野の中にある開口部は、予め、図７（ｇ）のようにパターンを記憶しており、その重心位置が視野の中のどこにあるかを画像上の座標として割り出す。
【００３１】
パターン記憶は開口部の大きさや形状をパターンとして認識させるため、図７（ｇ）のように、予め、開口部周辺部と開口部を選択することによって、図形としてＣＰＵに認識させる。例えば、液晶ドット１つを更に６４０×４８０分割して位置を割出す場合は、パターン情報として登録するために選択するエリアを６４０×４８０ピクセル中の約３０×３０ピクセルから３００×３００ピクセルの大きさになるように選択する。開口部の大きさに伴い、選択するエリアの大きさが決まる。６０×６０以下であるときは、パターンマッチング精度が落ちるために位置決め精度が悪くなる。３００×３００ピクセル以上であるときは、画像上での実際に検出できる検出できる実効面積が少なくなって、液晶パネル全体のなかで計測不可領域が発生する原因になる。最も効果的な大きさは、６０×６０〜１００×１００ピクセル程度である。
【００３２】
これによってスライドガラス上のどの位置にあるかを広範囲に絞り込みが可能となる。液晶のアドレスとこの画像上の座標から位置を特定することができるので、アドレスと画像上の座標をメモリしておけば、確実にその位置を再現することができる。
【００３３】
【発明の効果】
本発明によれば、たとえ、スライドガラスを一度脱着しても、再度、１００ナノレベルで容易に観察位置を割り出すことが可能である。また、温度変化や振動等によって、ステージやスライドガラスや鏡筒がずれても、速やかに位置の特定が可能である。また、画像を絶えず認識して、パターンマッチングを行った状態で観察すれば、実時間でその補正を自律的に行うので、長時間のタイムラプス観測等が容易に可能となる。高速の並列処理撮像素子等を用いれば、１〜１０ｋＨｚ程度のアクティブ除振機能も実現可能である。
【００３４】
また、本発明は、スライドガラスに限らず、種々の位置決めワークにも応用可能である。ワークの微小な位置決めを行うときに、このようなマーキングを予め、印刷等を施しておいて、そのマーキングを液晶表示上に載せるように設置すれば、同様の位置決めが可能である。即ち、加工装置から加工装置へ移動する場合にも、液晶のアドレスと画像上の座標情報を伝えれば、容易に正確に位置決めすることが可能になる。
【００３５】
また、従来型のステージ上に測長器が組み込まれたシステムでは、ステージの精密な位置決めができても、観測系等が移動したりすれば、その誤差を補正できないが、本発明によれば、ステージを画像として観測部から捉える方式であるので、光学システム全体が非常に安定する。特に、観測部のところに試料を加工するマニピュレータ等を設置すれば、マニピュレータと試料間の位置決めをライブで行うことも可能である。
【００３６】
しかも、発光素子を用いて開口部アレーの画像情報をフィードバックすることによって、自律補正ステージができるので、温度の揺らぎや振動があった場合、アクティブにその位置ずれを補正することが可能であり、これによって従来のように顕微鏡を除振台等の防振設備上に設置したり、風や温度変化を抑えた環境調整室内での観測や生産加工等をしなくてよくなる。これを利用することによって、高倍率超深度顕微鏡や長時間蛍光観測ライムラプス顕微鏡等を構築すれば、一層鮮明な画像を得ることが可能となる。更に、並列ビジョンチップ等の高速撮像素子を用いれば、ビジュアルフィードバック応答速度が格段に速くなるので、完全に揺らぎや振動や音等の外乱を除去することが可能となる。将来、並列ビジョン素子等の高速応答撮像素子を用いることによって、より高い周波数の除去等も可能になる。
【００３７】
特に、組立工程においては、マイクロやナノという作業環境での負荷が軽減されるので、顕微鏡技術を応用した研究開発向けの試作装置（レーザカッタ、レーザマーカ、マニピュレータ等を搭載）、生産向けの検査装置、マイクロファクトリに代表される加工機等への応用も可能である。これらの特徴を総合すると、本発明によれば、外乱防止機能、測長顕微鏡機能、高精度位置決め機能等が可能となる。特に、従来の顕微鏡では、顕微鏡の視野中での距離計測を画像処理等で行う機能が付加されているが、顕微鏡の視野外を含めた距離計測も行うことが可能である。
【００３８】
また、本発明の画像認識又はパターンマッチングを用いて移動物体を顕微鏡観測しながら、その移動距離や軌跡を同時に液晶パネルを用いて計測・分析が可能である。即ち、微生物は長時間の蛍光観測等において、測定対象が移動する場合、パターン認識によってその移動物に合わせてステージ位置を対象物を視野にとどめるように自律移動させる過程で、その移動した距離を液晶パネルで同様にして絶対座標を時系列で読み取るようにすれば、その物体が広範囲に移動しても、その移動距離を高分解能で時系列で計測が可能である。
【００３９】
更に、スライドガラスＤＮＡチップ等に置き換えが可能である。その場合は、ＤＮＡアレーがスライドガラス上に刻まれた横にこのようなコードが埋め込まれた形になる。それによって、蛍光識別の場合に読み取り精度を上げたり、スループットを上げるために、従来の画像処理に代わる方法が出てきた場合の精密位置決めチップとして使用が可能である。
【図面の簡単な説明】
【図１】本発明による高倍率顕微観測装置の構成図である。
【図２】（ａ）は位置決めＸＹステージ上面図であり、（ｂ）は位置決めＸＹステージ側面図である。
【図３】位置決めマーカを示す図である。
【図４】位置検出の方法を示す図である。
【図５】液晶表示の走査と位置の特定方法を示す図（ａ）から（ｇ）のうち、（ａ）から（ｅ）を示す図である。
【図６】液晶表示の走査と位置の特定方法を示す図（ａ）から（ｇ）のうち、（ｆ）を示す図である。
【図７】液晶表示の走査と位置の特定方法を示す図（ａ）から（ｇ）のうち、（ｇ）を示す図である。
【符号の説明】
１…位置決めＸＹステージ
２…スライドガラス
３…顕微鏡鏡筒
４…モニター
５…ＣＣＤからなる検出器
６…位置決めコントローラ（ＣＰＵ）
７…位置決めマーカ
８…液晶表示モジュール
９…位置決めピン
１０…真空チャック
１１…開口部
１２…クロム蒸着膜
Ｓ…検体サンプル

Claims

顕微鏡用試料保持材に形成された所定のパターンと、この所定のパターンを認識する認識手段と、この認識手段によって認識された位置情報に基づいて、上記顕微鏡用試料保持材を所定位置に移動させる移動手段とを備えていることを特徴とする高倍率顕微観測装置。
所定のパターンが発光素子によって形成されてなる請求項１に記載の高倍率顕微観測装置。
所定のパターンが発光素子と開口部アレーによって形成されてなる請求項１に記載の高倍率顕微観測装置。
発光素子が電気的、化学的、光学的又は磁気的に励起されて、その際に電気光学効果を生じる液晶と電子ペーパに用いられるコロイド粒子、エレクトロルミネッセンス素子、有機エレクトロルミネッセンス素子若しくは発光ダイオードからなる光源と組合せた素子、又は電子ペーパに用いられるコロイド粒子、エレクトロルミネッセンス素子、有機エレクトロルミネッセンス素子又は発光ダイオードからなる光源単体、又はレーザスポット若しくは光シャッタアレーからなるプロジェクタ素子によって光のスポットを表示させる素子からなる請求項２又は３に記載の高倍率顕微観測装置。
顕微鏡用試料保持材に形成された所定のパターンと、この所定のパターンを認識する認識手段と、上記顕微鏡用試料保持材に保持された試料を処理する処理装置と、上記認識手段によって認識された位置情報に基づいて、上記顕微鏡用試料保持材又は処理装置を所定位置に移動させる移動手段とを備えていることを特徴とする高倍率顕微観測装置。
処理装置がマニピュレータ、レーザカッタ、レーザマーカ、スポッター又はＳＴＮ・ＡＦＭプローブである請求項５に記載の高倍率顕微観測装置。
認識手段が電荷結合素子（ＣＣＤ）カメラ、放電素子（ＣＩＤ）カメラ、ビデオカメラ、光倍増管又は高速応答撮像素子である請求項１から６のいずれかに記載の高倍率顕微観測装置。
移動手段がリニアモータ、ステッピングモータ又はこれらとピエゾ若しくは超音波モータからなるアクチュエータとの組み合わせからなる請求項１乃至７記載の高倍率顕微観測装置。