JP5656444B2 - 透過電子顕微鏡、および視野ずれ補正方法 - Google Patents

Description

本発明は、透過電子顕微鏡に係り、特にリアルタイムで視野ずれを補正可能な技術に関する。

透過電子顕微鏡は、試料を透過した電子線により生じる透過像を観察する装置である。試料の下方に蛍光板を置き、試料を透過した電子線を結像させ、装置に設けられた窓を通して蛍光板に映った試料の透過像を実時間で、すなわちリアルタイムに観察することができる。また、試料を透過した画像を、試料の下方に設けられたテレビカメラ等の撮影装置で電子線を検出することでも得ることができる。この場合は、装置に接続されたディスプレイに画像信号を送り、ディスプレイへ透過像を表示させて観察可能にするので、装置構成によっては画像処理に時間がかかるので、リアルタイムでなく時間遅れが生じる場合がある。

透過電子顕微鏡の制御装置は、透過電子顕微鏡の本体よりも離れたところに設置され、オペレータは制御装置のある場所にいて、透過電子顕微鏡を制御する。したがって、透過像が表示されるディスプレイは、オペレータが観察し易いように、制御装置が設置された場所に置かれる。しかし、オペレータが、蛍光板の画像を観察するときは、透過電子顕微鏡本体の前へ移動して窓をのぞかなければならないといった煩わしさがある。

また、透過像をリアルタイムに観察していると、電子線の照射による熱膨張や外部から入力してきた振動によって、試料の位置が電子線の光軸からずれる試料の位置ドリフトが起こり、視野ずれが発生してしまう。試料のドリフトはいつ発生するかわからないため、オペレータが視野ずれに気付かないことが多々あり、自動的に視野ずれの監視と視野ずれの補正が行われることが望まれている。そこで、従来は、試料位置確認用の検出器によって試料の位置ドリフトを計測し、位置補正を演算する画像処理ユニットを新たに追加し、この演算結果に基づいて電子線を偏向させる信号を出力して視野ずれを自動補正する技術が提案されている（例えば、特許文献１参照）。しかし、透過電子顕微鏡本体から送られる画像信号を制御装置を介して別に新設された画像処理装置に送信し、視野ずれ補正を演算し、演算結果を制御装置へ送信し、制御装置が偏向信号を透過電子顕微鏡本体へ送信して、視野ずれ補正を行い、画像を撮影するという一連の信号処理を行った場合、最初の画像信号を得たときから視野ずれ補正を行い、さらに補正された後の画像信号を得るまでに時間遅れがあるので、視野ずれの補正量が不足したり、現在ディスプレイに表示されている透過像がリアルタイムの画像ではないので、視野ずれ補正の状況をオペレータが誤って認識してしまうという課題があった。

特開２００６−１１４２５１号公報

本発明は、透過電子顕微鏡において、試料の透過像をディスプレイにリアルタイムに表示するとともに、試料ドリフトによる視野ずれの自動補正を行うことを目的とする。

上記目的を達成するために、本発明は、透過電子顕微鏡を制御するコンピュータが、試料の透過像をディスプレイへ表示させるための表示用画像メモリの他に、透過像の位置の移動を算出するための画像処理用メモリを少なくとも２個備え、画像処理用メモリに保持された画像から透過像の位置の移動を算出し、試料の位置を変えて視野ずれを補正するための視野補正装置へ補正信号を送信する演算ユニットを備えたことを特徴とする。

本発明によれば、試料の透過像をディスプレイにリアルタイムに表示するとともに、試料ドリフトによる視野ずれの自動補正を行うことが可能な透過電子顕微鏡を提供することができる。

透過電子顕微鏡の構成図である。 複数の画像表示を自動で選択するときの手順を示すフローチャートである。 視野ずれ補正の手順を示すフローチャートである。 初期設定の手順を示すフローチャートである。 視野補正の手順を示すフローチャートである。 ディスプレイへ表示される画面を示す画面図である。 移動量と視野補正装置の操作量の関係を算出する方法を説明するフローチャートである。 ディスプレイへ表示される画面を示す画面図である。 ディスプレイへ表示される画面を示す画面図である。 透過電子顕微鏡における画像処理を行うための装置の構成を示すブロック図である。 透過電子顕微鏡における画像処理を行うための装置の構成を示すブロック図である。

以下、図面を参照して本発明の実施例を説明する。

図１は、透過電子顕微鏡の構成図である。電子銃１より放出された電子線２は、照射系レンズ３で収束され、試料台４に装着された試料５に照射される。電子線発生装置６は、電子銃１に与える電圧を調整して電子線２のエネルギーを制御する。電子線を試料に照射することから、電子線照射系は、破線で示す装置本体に収納され、真空排気ポンプ１２で真空が保たれる。

試料５を透過した電子線２は、結像系レンズ７により拡大され、試料透過像が蛍光板１４に結像し、蛍光板像が蛍光板撮影用のテレビカメラ１６で撮影される。また、蛍光板駆動装置１５により蛍光板１４を電子線２の光軸から外側に移動させることで、試料透過像そのものをテレビカメラ８で撮影することができる。画像の撮影倍率は、電子線調整装置１０で制御して、変えることができる。撮影視野は、試料移動装置１１で試料台４の位置を変えることで、所望の視野を得ることができる。

装置本体の各制御装置を制御するために、破線で示すコンピュータ１３が各制御装置に接続されている。コンピュータ１３は、プログラム格納メモリ１３ｅに格納されたプログラムを中央演算ユニット１３ａが実行し、テレビカメラ８またはテレビカメラ１６から送られた画像を画像メモリ１３ｄへ一時保管するとともに、入出力インターフェース１３ｃへ送信して、図示しないディスプレイへ表示させる機能を有している。また、画像や各種データ，中央演算ユニット１３ａが演算で求めたデータなどは、データ保存用メモリ１３ｆに保存される。

また、コンピュータ１３は、プログラム格納メモリ１３ｅに格納されたプログラムを中央演算ユニット１３ａが実行して、電子線発生装置６，電子線調整装置１０，試料移動装置１１，蛍光板駆動装置１５，真空排気ポンプ１２を動作させる機能を有する。

図２は、複数の画像表示を自動で選択するときの手順を示すフローチャートである。コンピュータ１３は、蛍光板１４の有無を判断して、ディスプレイへ表示させる画像を自動的に切り替えるプログラムを実行する。透過電子顕微鏡が起動し、試料の電子線透過像を得る準備が整うと、観察画像表示のシステムが開始される（Ｓ０１）。コンピュータ１３の中央演算ユニット１３ａは、電子線の光軸上に、蛍光板１４があるかどうかを判定し（Ｓ０２）、ある場合は蛍光板撮影用のテレビカメラ１６で撮影した画像を画像表示用メモリ１３ｂへ送り、その画像をディスプレイへ表示させ（Ｓ０５）、プログラムが終了する（Ｓ０６）。蛍光板１４がない場合はテレビカメラ８で撮影した画像を画像表示用メモリ１３ｂへ送り、その画像をディスプレイへ表示させ（Ｓ０５）、プログラムが終了する（Ｓ０６）。電子線の光軸上に蛍光板１４があるかないかは、蛍光板駆動装置１５からの制御信号で判定できる。あるいは、蛍光板撮影用のテレビカメラ１６の画像信号がきわめて少ないときは蛍光板がないとみなすことができ、テレビカメラ８の画像信号がきわめて少ないときは蛍光板があるとみなすことができるので、このような画像信号量で判定してもよい。蛍光板１４を電子線の光軸上に位置させるか否かは、オペレータがどちらのテレビカメラの画像を見たいかによって決められ、オペレータがキーボード等を操作して図１に示す入出力インターフェース１３ｃを介して指令する。

以上の構成により、オペレータが蛍光板の位置を指示するだけで、いずれかの試料透過像をディスプレイへ自動的に表示させることができるので、従来のような蛍光板を観察するために移動する煩わしさがなくなる。

図３は、視野ずれ補正の手順を示すフローチャートである。テレビカメラ８，テレビカメラ１６のいずれかで試料透過像の撮影を開始する（Ｓ１１）と、コンピュータ１３は、後述する初期設定を行い（Ｓ１２）、画像を取得し、図１に示した画像表示用メモリ１３ｂへ画像データが保持され、ディスプレイへ表示されるとともに、画像メモリ１３ｄへも画像データが保持され、視野ずれ補正の基準画像とする（Ｓ１３）。視野ずれ補正は、ある程度時間が経過しないと起こらないので、予め設定された待ち時間が経過してから行われる。中央演算ユニット１３ａで、待ち時間が経過したかどうかの判定を行い（Ｓ１４）、経過したなら後述の視野補正が実行される（Ｓ１５）。リアルタイム観察を継続する場合、視野ずれ補正を時々継続して行う必要があるので、中央演算ユニット１３ａは、テレビカメラ８が起動中かどうかを確認し（Ｓ１６）、起動中でない場合は処理を終了する（Ｓ１７）。

図４は、図３中のステップＳ１２の初期設定の手順を示すフローチャートである。初期設定を開始する（Ｓ３１）と、中央演算ユニット１３ａは、今回の画像の拡大率を用いて、視野中の移動寸法と、試料移動装置１１による試料の移動量、または電子線を偏向させる電子線調整装置１０による電子線の移動量との関係式を算出する（Ｓ３２）。次に、中央演算ユニット１３ａは、データ保存用メモリ１３ｆに、算出した関係式を保存し（Ｓ３３）、初期設定を終了する（Ｓ３４）。

図５は、図３のステップＳ１５に示した視野補正の手順を示すフローチャートである。視野補正を開始すると（Ｓ４１）、待ち時間が経過して撮影した画像を比較画像とし（Ｓ４２）、中央演算ユニット１３ａで、この比較画像と、図３に示したステップＳ１３で画像メモリ１３ｄへ保持された基準画像とを比較し、基準画像と比較画像の類似性を定量評価した相関値を算出し、相関値が最も大きい座標位置を視野ずれの移動量として決定する（Ｓ４３）。相関値の算出方法には、例えば、正規化相関を用いたテンプレートマッチングや、ホールエリアマッチング，位相限定相関などが知られている。

視野ずれ補正の実行を、中央演算ユニット１３ａが自動的に判断して実行する場合と、オペレータが判断してから実行する場合とが考えられるので、操作者によりどちらで行うかを予め設定しておき、中央演算ユニット１３ａがどちらであるかを判断する（Ｓ４４）。視野ずれ補正の実行をオペレータが判断する場合は、中央演算ユニット１３ａは、オペレータが実行するか否かのどちらの判断であるかを判定し（Ｓ４５）、実行すると判断している場合は、視野ずれ補正を実行し（Ｓ４７）、視野ずれ補正後の画像を新たな基準画像として画像メモリ１３ｄへ保存する（Ｓ４８）。ステップＳ４４で、視野ずれ補正の実行をコンピュータが判断する場合は、取得した比較画像の視野ずれ量に基づく視野の移動量が、予め設定されている閾値と比較して、超えている場合は、視野ずれ補正を実行し（Ｓ４７）、視野ずれ補正後の画像を新たな基準画像として画像メモリ１３ｄへ保存する（Ｓ４８）。ステップＳ４５でオペレータが視野ずれ補正を実行しないと判断した場合、あるいはステップＳ４６で、取得した比較画像の視野ずれ量が、予め設定されている閾値を超えていない場合は、視野ずれ補正を実行せずに終了する（Ｓ４９）。

ここで、ステップＳ４５で、視野ずれ補正を実行するかしないかをオペレータへ問い合わせる画面表示の例を図６に示す。ディスプレイは、図１に示したコンピュータ１３に接続され、テレビカメラ８やテレビカメラ１６で撮影した試料あるいは蛍光板の画像を表示する。このディスプレイに、図６に示した視野ずれ補正メッセージが表示される。ディスプレイの画面には、視野ずれ補正を実行するかしないかを選択するボタンの他に、画像を表示してからの経過時間，基準画像と比較画像の類似性を定量評価した相関値，視野ずれ補正を実行した場合の移動量，補正回数の累積数を表す累積補正回数が表示される。

図７は、移動量と視野補正装置の操作量の関係を算出する方法を説明するフローチャートである。基準画像と比較画像との間の視野ずれ量を算出するため、画像処理用共有メモリＡと画像処理用共有メモリＢとを準備する。変換式算出ステップを起動し（ステップＳ５１）、テレビカメラ８の画像を画像表示用メモリ１３ｂと画像処理用共有メモリＢに出力し、基準画像とする（ステップＳ５２）。次に、試料移動装置１１や電子線調整装置１０を含む視野補正装置を一定の値だけ操作する（ステップＳ５３）。テレビカメラ８の画像を画像表示用メモリ１３ｂと画像処理用共有メモリＢに出力する（ステップＳ５４）。次に、画像相関処理を行う。画像相関処理として、画像処理用共有メモリＡの画像と画像処理用共有メモリＢの画像を用いて、ソフトウェアで画像の一致度，移動量を算出する（ステップＳ５５）。画像の移動量を視野補正装置の操作量で除算し、移動量を操作量に変換する変換式を算出する（ステップＳ５６）。以上で視野ずれ補正のための移動量を視野補正装置の操作量に変換することができる（ステップＳ５７）。

図８，図９は、ディスプレイへ表示される画面を示す画面図である。図８は、ディスプレイ９の画面１７に、図１のテレビカメラ１６で撮影した蛍光板１４の画像である。ここで、図１の蛍光板駆動装置１５により蛍光板１４を移動させ、試料５を透過した電子線２がテレビカメラ８へ到達させると、画面１７の表示が、図９に示すように、テレビカメラ８で撮影した画像に自動的に切り替わるようにする。画面の表示領域を切り替えることなく表示できるのは、コンピュータ１３の内部で異なるアプリケーションが共通に扱うことができるメモリ領域である共有メモリの画像を表示に用いているためである。

図１０，図１１は、図１に示した透過電子顕微鏡における画像処理を行うための装置の構成を示すブロック図である。図１０は、前述の先行技術文献１に記載されているような従来技術による構成を示し、画像処理ユニット２７を画像処理専用の外付けとしている。テレビカメラ１６あるいはテレビカメラ８で撮影された試料の透過電子像の信号は、テレビカメラコントローラ２１に送信され、コンピュータ２２に装備されたテレビカメラ画像読み込み用ボード２３に送信される。さらに、コンピュータ２２は、予め与えられたプログラムを実行する中央演算ユニット２６の他に、ディスプレイ９に画像を表示させるための画像表示用メモリ２４と、外付けの画像処理ユニット２７に画像信号を送る画像外部出力用ボード２５を備えている。また、試料移動装置１１や電子線調整装置１０を含む視野補正装置に視野ずれ補正のための信号を送信する視野補正装置制御ユニット２８も外付けとし、中央演算ユニット２６から信号が送信される。なお、テレビカメラコントローラ２１やテレビカメラ画像読み込み用ボード２３が不要の場合もあるが、本実施例では説明を省略する。

図１０でわかるように、従来は、視野ずれの補正はオペレータの手作業に任せていたので、コンピュータ２２は、視野ずれの自動補正の機能を有しておらず、テレビカメラで取得した画像をディスプレイへ表示する機能と、その画像信号の外部出力用ボードだけを備えていれば十分であった。したがって、視野ずれ補正を自動で行わせる場合、テレビカメラで撮影された画像に基づき視野ずれを演算する専用の画像処理ユニットを、コンピュータの外付けとして接続するしかなかった。その結果、最初の画像信号から視野ずれ補正をした画像信号を得るまでに時間がかかり、リアルタイムな観察ができなくなってしまう。また、試料のドリフトはいつ発生するかわからないため、オペレータが視野ずれに気付かないことが多々あり、自動的に視野ずれの監視と視野ずれの補正が行われることが望まれている。

これに対して、図１１に示す、本発明による構成の代表例では、視野ずれを自動補正するための機能を、コンピュータへ最初から搭載する構成を採用している。そして、上述の従来技術で用いられていた専用の外付けの画像処理ユニット２７の機能のうち、視野ずれ量の演算の機能に絞り簡略化してコンピュータ１３に搭載し、コンピュータ１３の中央演算ユニット２６に視野ずれの演算と自動補正の機能をもたせたので、最初の画像信号から視野ずれ補正をした画像信号を得るまでに時間がかかることなく、リアルタイムな観察ができるようになった。また、中央演算ユニット２６に、視野ずれの自動監視の機能ももたせることができるようになった。

図１１に示したコンピュータ１３で、画像を用いて視野ずれを演算するために、複数のメモリを追加で搭載している。視野ずれを求めるためには少なくとも２つのメモリが必要である。メモリを共有メモリとして、後述するように複数の画像データを処理する場合は、複数のメモリが有用である。テレビカメラ１６やテレビカメラ８で撮影された画像は、テレビカメラコントローラ２１へ送信され、コンピュータ１３のテレビカメラ画像読み込み用ボード２３に送信され、ディスプレイ９へ画像を表示させるための画像表示用共有メモリ２９と、画像処理用共有メモリＡ３０と、画像処理用共有メモリＢ３１に送られる。中央演算ユニット２６は、画像処理用共有メモリＡ３０と、画像処理用共有メモリＢ３１に保持された画像から視野ずれを演算し、補正量を演算して外付けの視野補正装置制御ユニット２８へ送信する。図１０に示した外付けの画像処理ユニット２７が不要になるので、これに画像信号を送信する画像外部出力用ボード２５が不要になっている。

共有メモリは、コンピュータ１３の内部のメモリ領域を指定するだけなので、別途メモリの増設や回路等のハードウェアの設置は必要でない。また、共有メモリは、コンピュータ１３に設置されたメモリを、使用目的に応じて分割した異なるアプリケーションが共通に扱うことができるメモリ領域であるため、画像表示用共有メモリ２９に別の撮像手段により取得した画像を格納することも可能であるし、画像表示用共有メモリ２９の画像を、別のディスプレイに表示させることも可能である。同様に、画像処理用共有メモリＡ３０や画像処理用共有メモリＢ３１への画像の格納や、画像処理用共有メモリＡ３０や画像処理用共有メモリＢ３１内の画像の利用も、コンピュータ１３の内部のアプリケーションからであれば可能である。

また、本発明による構成では、コンピュータは画像処理用共有メモリを複数有し、異なる画像を画像表示用共有メモリに出力することで、画像の相関値を算出するソフトウェアにより画像の一致度，移動量を算出することができる。このことにより、外付けの画像処理ユニットを使用せず、リアルタイムの画像を表示したまま、リアルタイムの画像の一致度，移動量を算出できる。また、リアルタイムで画像が表示されるので、オペレータは試料の位置ずれの自動補正の様子をディスプレイで観察することができる。

上述のように、本発明の実施例によれば、複数の撮影手段により取得した画像をオペレータが所望する画像をコンピュータが推察し自動で切り替え、ディスプレイ上の単一表示領域に表示する機能と、画像処理ユニットを用いずにソフトウェア内部で画像の一致度，移動量を算出できると共に、リアルタイムの画像表示とリアルタイムのデジタル画像を用いた画像処理を同時に行える機能とを備えた、透過電子顕微鏡を提供できる。

２ 電子線
５ 試料
８，１６ テレビカメラ
９ ディスプレイ
１３ コンピュータ
１４ 蛍光板
１５ 蛍光板駆動装置
２１ テレビカメラコントローラ
２３ テレビカメラ画像読み込み用ボード
２６ 中央演算ユニット
２８ 視野補正装置制御ユニット
２９ 画像表示用共有メモリ
３０ 画像処理用共有メモリＡ
３１ 画像処理用共有メモリＢ

Claims (3)

1. 試料を透過した電子線が結像されて該試料の透過像を映す蛍光板と、
   前記電子線の光軸上に前記蛍光板を位置させるか否かを示す駆動信号を発生する蛍光板
   駆動装置と、
   撮影装置と、
   前記撮影装置で撮影された前記透過像を保持するコンピュータと、
   前記コンピュータから送信された前記透過像を表示するディスプレイと、を備えた透過電子顕微鏡において、
   前記撮影装置は、
   前記蛍光板に対して前記試料側に配置され、該蛍光板に映し出された試料の透過像を撮影する第１の撮影装置と、
   前記蛍光板に対して前記試料の反対側に配置され、前記試料の透過像を直接的に撮影する第２の撮影装置と、を含み、
   前記コンピュータは、
   前記撮影装置で撮影された前記透過像を保持する画像メモリと、
   前記撮影装置で撮影された前記透過像を保持する第１画像処理メモリと、
   前記撮影装置で撮影された前記透過像を保持する第２画像処理メモリと、
   前記第１画像処理メモリと前記第２画像処理メモリに保持された透過像のずれ量を演算するとともに、該ずれ量から前記試料の位置の補正量を演算し、前記試料の位置補正を行う補正装置へ前記補正量を送信する演算ユニットと、
   を備え、該演算ユニットが前記補正量の演算、送信を行っているときに、前記画像メモリに保持した前記透過像を前記ディスプレイへ送信するとともに、
   前記蛍光板駆動装置の駆動信号に基づいて、前記電子線の光軸上に、前記蛍光板が存在するか否かを判定し、
   当該判定の結果に基づいて、前記第１の撮影装置で撮影された画像と、前記第２の撮影装置で撮影された画像と、の間で、前記ディスプレイに表示させる画像を切り替えることを特徴とする透過電子顕微鏡。
2. 請求項１の記載において、
   前記コンピュータは、前記判定の結果、前記蛍光板が前記電子線の光軸上に存在する場合には、前記第１の撮影装置で撮影した画像を前記ディスプレイへ表示させ、前記蛍光板が前記電子線の光軸上に存在しない場合には、前記第２の撮影装置で撮影した画像を前記
   ディスプレイへ表示させることを特徴とする透過電子顕微鏡。
3. 撮影装置と、前記撮影装置で撮影された前記透過像を保持するコンピュータと、を備える透過電子顕微鏡のディスプレイに表示された試料の透過像の視野ずれ補正方法であって、
   前記撮影装置は、蛍光板に対して試料側に配置され、該蛍光板に映し出された試料の透過像を撮影する第１の撮影装置と、前記蛍光板に対して前記試料の反対側に配置され、前記試料の透過像を直接的に撮影する第２の撮影装置と、を含み、
   前記コンピュータは、前記撮影装置で撮影された前記透過像を保持する画像メモリと、前記撮影装置で撮影された前記透過像を保持する第１画像処理メモリと、前記撮影装置で撮影された前記透過像を保持する第２画像処理メモリと、を含み、
   前記コンピュータにより、前記第１画像処理メモリと前記第２画像処理メモリに保持された透過像のずれ量を演算するとともに、該演算されたずれ量から前記試料の位置の補正量を演算し、前記試料の位置を補正する制御ユニットへ前記補正量を送信し、かつ、
   該補正量の演算、送信を行っているときに、前記画像メモリに保持された前記透過像を前記ディスプレイに送信するとともに、
   電子線の光軸上に、前記蛍光板が存在するか否かを判定し、
   当該判定の結果に基づいて、前記第１の撮影装置で撮影された画像と、前記第２の撮影装置で撮影された画像と、の間で、前記ディスプレイに表示させる画像を切り替えることを特徴とする視野ずれ補正方法。
   

Images