JP4012813B2

JP4012813B2 - 透過型電子顕微鏡及び試料観察方法

Info

Publication number: JP4012813B2
Application number: JP2002343776A
Authority: JP
Inventors: 英子中澤; 功長沖
Original assignee: Hitachi High Technologies Corp
Current assignee: Hitachi High Tech Corp
Priority date: 2002-11-27
Filing date: 2002-11-27
Publication date: 2007-11-21
Anticipated expiration: 2022-11-27
Also published as: US7214938B2; US6982420B2; US20060011838A1; JP2004178976A; US20040114788A1; EP2565901A1; EP1424721B1; EP1424721A2; EP1424721A3

Description

【０００１】
【発明の属する技術分野】
本発明は、透過型電子顕微鏡及びそれを用いた試料観察方法に関し、特に、様々な角度に傾斜した試料を含む視野から、目的の試料を選び出すことができる透過型電子顕微鏡及び試料観察方法に関する。
【０００２】
【従来の技術】
透過型電子顕微鏡で観察される試料は、電子線の入射方向に対して、さまざまな方向に傾斜している。そのため、たとえば、正二十面体構造をもったウイルス粒子のように、同じ立体構造を持っている試料でも、傾斜状態によって、その透過像は六方晶の形状を呈したり、八面体状に見えたりする。このように、さまざまな形状の試料が多数存在するような視野から、ある特定の形状の試料を探し出す作業は、観察者の経験と勘に頼るところが多く、非常に多くの時間を要する。さらに、多面体構造を持った試料については、試料の傾斜によって透過像の形状が異なるため、探し出した試料が、目的の形状であるか否かを客観的に判断することは困難である。
【０００３】
この問題を解決する方法の一つとして、試料の立体構造を観察する方法がある。透過型電子顕微鏡を用いて試料の立体構造を観察するには、プラス方向とマイナス方向に、ある一定の角度、試料を傾斜することによって得られた２枚のステレオ写真を、ステレオビュアーを用いて観察することによって行なわれる。
【０００４】
特許文献１には、走査型電子顕微鏡において、登録パターンとの類似度から試料上にある目的パターンの位置を決定する方法が記載されているが、検出されたパターンの位置は、登録パターンとの位置関係からのみ検出される。また、観察条件など検出位置の画像を再現するための条件もすべて、検出されたパターンとの間の位置関係（オフセット）を用いて認識するが、検出パターンとそのパターンの位置に完全な整合性に関しては配慮されていない。また、一旦取り出された試料を再度電子顕微鏡内に入れて、再検索する場合、オフセットによる登録パターンを設定しているので、オフセットを再設定しなければならない。また試料が傾斜しているときのパターンについては考慮されていない。また、試料が回転していた場合も同様に、登録パターンと検出パターンとの位置関係はずれてしまうので、あらかじめ登録したオフセットは無効になる。
【特許文献１】
特開平９−２４５７０９号公報
【０００５】
【発明が解決しようとする課題】
上記従来技術は、目的のオブジェクトを探し出す作業において、試料傾斜によってオブジェクトの見かけの形状が変化することについて配慮していないため、試料検索作業の精度に問題があった。光軸に対して試料をプラス方向、マイナス方向に、それぞれ、ある角度傾斜して得られたステレオペア写真を、ステレオビュアーの下で観察することによってオブジェクトの立体構造を観察する方法は、直感的で科学的正確さに欠けるところがある。しばしば、ラインドローによって構造の模式化が試みられるが、あくまでもマニュアルによる作業のため、立体構造把握のための補助的な目的でしか利用されていない。
【０００６】
本発明の目的は、さまざまな角度に傾斜しているオブジェクトを含む視野から、目的のオブジェクトを、正確に、効率良く選び出し、必要に応じて、目的のオブジェクトの観察条件を再現することができる透過型電子顕微鏡を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成すべく、本発明による試料観察方法は、試料の透過電子線像中のオブジェクトの画像を予め記憶してあるリファレンス画像と比較して認識するステップを有する試料観察方法において、リファレンス画像として、種類が異なる対象物それぞれの、光軸に対する傾斜角が異なる当該対象物の複数の透過電子線像を、異なる複数の種類の対象物ごとに記憶しておくステップと、試料の透過電子線像中からオブジェクトを指定するステップと、指定されたオブジェクトの画像と、この異なる複数の種類の対象物ごとに記憶された複数の傾斜角のリファレンス画像との画像相関をそれぞれ演算するステップと、演算結果を表示するステップとを含むことを特徴とする。
【０００８】
本発明による試料観察方法は、また、試料の透過電子線像中のオブジェクトの画像を予め記憶してあるリファレンス画像と比較して認識するステップを有する試料観察方法において、リファレンス画像として、種類が異なる対象物それぞれの、光軸に対する傾斜角が異なる当該対象物の複数の透過電子線像をそれぞれ極座標変換した画像を、異なる複数の種類の対象物ごとに記憶しておくステップと、試料の透過電子線像中からオブジェクトを指定するステップと、指定されたオブジェクトの画像を極座標変換するステップと、極座標変換されたオブジェクトの画像と、この異なる複数の種類の対象物ごとに記憶された複数の傾斜角の、極座標変換されているリファレンス画像との画像相関をそれぞれ演算するステップと、演算結果を表示するステップとを含むことを特徴とする。
【０００９】
対象物の電子線透過像は、光軸に対する傾斜角が異なる当該対象物の複数の電子線透過像の組からなるのが好ましい。このとき、極座標変換した画像は、光軸に対する傾斜角が異なる当該対象物の複数の電子線透過像のそれぞれに対して用意する。オブジェクトの画像を極座標変換する際の回転支点は透過電子線像中で指定するようにしてもよい。
【００１０】
画像相関の演算結果は、画像の一致度として表示することができる。表示方法としては、一致度の高い順にリスト表示する方法、一致度をある幅を持った何段階かのクラスに分け、クラス別に該当する画像を表示する方法、画像の名称等の識別子と一致度を並べて表示する方法など、種々の方法をとることができる。
【００１１】
本発明による試料観察方法は、また、試料の透過電子線像中のオブジェクトの画像を予め記憶してあるリファレンス画像と比較して認識するステップを有する試料観察方法において、試料の透過電子線像中から複数のオブジェクトを指定するステップと、当該指定した複数のオブジェクトの中から１つのオブジェクトを選択するステップと、リファレンス画像として、当該選択した１つのオブジェクトの光軸に対する傾斜角が異なる複数の透過電子線像を記憶しておくステップと、当該指定した複数のオブジェクトの中の選択された以外の残りのオブジェクトを検索対象のオブジェクトとして指定するステップと、検索対象のオブジェクトの透過電子線像と、この複数の傾斜角のリファレンス画像との画像相関をそれぞれ演算するステップと、演算結果を表示するステップとを含むことを特徴とする。
【００１２】
また、試料の透過電子線像撮像時の装置データを試料の透過電子像と一対一に対応させて保存することが好ましい。これは例えば、試料の透過電子線像を、タグ領域を含むTIFF形式の画像として記憶し、装置データをタグ領域に保存することで実現できる。この方法によると、タグ領域に保存された装置データを透過電子顕微鏡に設定して、目的とするオブジェクトを含む透過電子線像を撮像した条件を再現することができる。
【００１３】
本発明によると、リファレンス画像との一致度を基に特定のオブジェクトの画像を選択し、その観察条件を自動的に電子顕微鏡上に再現することによって、目的の試料を効率よく、正確に検索することが可能になる。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１は、本発明による透過型電子顕微鏡の構成例を示すブロック図である。
透過型電子顕微鏡本体１の電子銃２より放出された電子線３は、照射レンズ４により、試料ステージ５に保持されている試料Ｓに照射される。試料Ｓを透過した電子線像は、対物レンズ６と拡大レンズ系７により拡大され、ＴＶカメラ８に投影される。ＴＶカメラ８は、シンチレータ板とＣＣＤなどの撮像素子を備え、これに投影された電子線像をＴＶカメラ制御部１６に供給して画像信号に変換する。画像信号はモニタ１７に送られ、モニタ１７上に画像として表示される。また、ＴＶカメラ制御部１６から出力された画像信号は、統括制御部１８に供給され、画像データとして記憶され保存される。透過型電子顕微鏡本体１の下部は、カメラ室９となっていて、その中に蛍光板１０が設けられている。ＴＶカメラ駆動部１９によりＴＶカメラ８を電子線３の光軸から外すことで、試料の電子線像を蛍光板１０上で観察することができる。
【００１５】
電子銃２は電子銃制御部１１により制御され、照射レンズ４、対物レンズ６、拡大レンズ系７は、それぞれ照射レンズ制御部１２、対物レンズ制御部１３、拡大レンズ系制御部１４により制御される。また、試料ステージ５は、試料ステージ制御部１５により制御される。これらの制御部１１〜１５は観察条件制御部を構成する。観察条件制御部を構成する各制御部１１〜１５は、それぞれ統括制御部１８に伝送線路で結合されて相互にデータの授受が行なえるようになっており、統括制御部１８から観察条件を設定することができる。統括制御部１８は、所定のプログラムが搭載されたコンピュータを備え、またキーボード等の入力手段２０が接続されており、各制御部１１〜１５を制御するのに必要な制御データを生成する。
【００１６】
次に、本発明による透過型電子顕微鏡の動作について説明する。統括制御部１８は、画像記録処理、画像認識処理、画像検索処理、画像呼び出し処理の４種の処理を実行する。画像記録処理は、ある所望の試料を観察するときの処理である。画像認識処理は、画像記録処理により記録された、ある所望のオブジェクトについて、それが既に記憶されている画像データ（リファレンス）と等しいか否か、あるいは、どのリファレンス画像のデータに相当するか判定する処理である。画像検索処理は、ある所望のオブジェクトについて、そのオブジェクトがどのリファレンスオブジェクトに相当するか、あるいは、複数個の予め指定したオブジェクトから、所望のオブジェクトと同じ形状のオブジェクトを探し出す処理である。画像呼び出し処理は、検索されたオブジェクトの観察条件を再現して観察する処理である。
【００１７】
本発明の好ましい態様では、試料中のオブジェクトの透過像とリファレンス画像との類似度の判定に画像相関を利用する。ここで、画像相関の一例として、位相限定相関について、概略を説明する。位相限定相関とは、フーリエ変換を用いた相関の計算過程において、入力画像の振幅成分を固定値で置き換えるよう修正した画像演算の一つである（「位相限定相関法の原理とその応用」小林孝次他、テレビジョン学会技術報告，pp1-6，No.41，Vol．20（1996）参照）。すなわち、画像（透過像）の離散フーリエ変換によって得られた、振幅スペクトルと位相スペクトルのうち、位相スペクトルのみを抽出して、逆フーリエ変換することによって相関画像を得る方法である。
【００１８】
Ｍ×Ｎ画素から構成される２つの透過像f1(m,n)，f2(m,n)があるとき、その離散フーリエ画像F1(u,v)，F2(u,v)は、それぞれ次の式(1)及び式(2)で定義される。ただし、m=0,1,2,…,M-1；n=0,1,2,…,N-1；u=0,1,2,…,M-1;v=0,1,2,…,N-1であり、A(u,v)，B(u,v)は振幅スペクトル、θ(u,v)，φ(u,v)は位相スペクトルである。
【００１９】
【数１】

【００２０】
位相限定相関では、F1(u,v)，F2(u,v)の振幅スペクトルA(u,v)，B(u,v)を固定値とするため、位相情報のみをもつ画像が得られる。それらの位相画像を、それぞれ、F1'(u,v)，F2'(u,v)とすると、式(3)及び式(4)で定義される。
【００２１】
【数２】

【００２２】
位相画像F1'(u,v)にF2'(u,v)の複素共役をかけて、合成画像H12(u,v)を求める。すなわち、次式(5)のように、画素ごとに位相の差を計算する。
【００２３】
【数３】

【００２４】
相関強度画像は、合成画像を逆フーリエ変換することによって求められ、式(6)で与えられる。ただし、r=0,1,2,…,M-1；s=0,1,2,…,N-1である。
【００２５】
【数４】

【００２６】
位相限定相関は、画像の輝度に全く影響を受けないので、試料傾斜によって、試料の見かけ上の厚さが変化し、照射条件が変更されても、照射条件を再調整する必要がない。
【００２７】
図２は位相限定相関によって得られた相関結果の一例として、相関強度画像のスペクトルを表示したものである。図２（ａ）は２つの画像の類似度が高い場合の相関強度ピークを示し、図２（ｂ）は２つの画像の類似度がそれほど高くない場合の相関強度ピークを示している。このように、画像の類似性の評価を相関強度画像のピークの高さによって行なうことができる。画像が完全に等しい場合、すなわち自己相関のピークの高さを１００あるいは１として、それに対する相対的なピーク高さを一致度として表示してもよい。
【００２８】
ところで、検索対象であるオブジェクトの透過像はリファレンス画像に対して光軸の周りに回転している場合がある。そのような場合にオブジェクト画像とリファレンス画像の相関をとるには、極座標変換したオブジェクト画像とリファレンス画像の位相限定相関をとるとよい。
図３は、極座標変換の模式図である。Ｘ−Ｙ平面内の座標（ｘ，ｙ）は、次の極座標（ｒ，θ）で表すことができる。
【００２９】
【数５】

【００３０】
いま、同一形状のオブジェクトがＸ−Ｙ平面内において原点の周りに回転した場合を考える。例えば、図３（ａ）に示すように、１つの頂点が（ｒ₁，θ₁）に位置していた矩形オブジェクト３１が、図３（ｂ）に示すように座標原点の周りに角度αだけ回転した場合を考える。すると、矩形オブジェクト３１の頂点（ｒ₁，θ₁）は、角度αだけ回転した矩形オブジェクト３２では点（ｒ₁，θ₁＋α）に位置するようになる。同様にして、図３（ａ）に示すオブジェクト３１上の任意の点（ｒ，θ）は、回転後の図３（ｂ）に示すオブジェクト３２の点（ｒ，θ＋α）に移動する。回転前と後のオブジェクトを、縦軸にｒをとり、横軸にθをとった２次元座標上にプロットすると、図３（ｃ）に示すオブジェクト３３，３４のようになる。つまり、Ｘ−Ｙ平面における原点の周りへの回転は、極座標表示した２次元座標系ではθ方向への平行移動に変換される。従って、極座標変換した画像同士を比較すると、Ｘ−Ｙ平面における原点の周りへの回転の影響を受けずに２つの画像の類似度を求めることができる。
【００３１】
ただし、Ｘ−Ｙ平面上の画像を極座標変換してｒ−θ平面の画像に変換する場合、原点をどこに設定するかによって、ｒ−θ平面における画像の形状が変わってくる。従って、オブジェクトの透過像を極座標変換するときの原点とリファレンス画像を極座標変換するときの原点は同等でなければならない。そこで、オブジェクトの透過像とリファレンス画像とでｒが一定となるように、画像のある点を支点として指定して、それを中心にある一定の大きさの画像を切り出して、極座標変換するようにしてもよい。たとえば、CCDカメラなどで撮影したデジタル画像であれば、モニタ上で観察しながら、画像の特徴的な点を手動によって原点に指定する。
【００３２】
図１４に、実際の試料を用いた特徴点の抽出例を示す。像は試料の透過電子線像をＣＣＤカメラで撮影した像である。図１４（ａ）の透過像がリファレンス像である。透過像の特徴的な点を矢印で示したが、この点を極座標の原点として変換処理する。また、特徴点を捉えるために、画像を二値化処理してもよい。図１５は、図１４に示した画像の二値化処理の例である。二値化処理によって抽出された特徴点を矢印で示したが、これを原点として用いてもよい。
【００３３】
図４は、Ｘ−Ｙ平面上の画像の輪郭上の一点を原点として極座標変換した例を示す図である。図４（ａ）に示すように、Ｘ−Ｙ平面上で１つの頂点が原点に位置していた矩形オブジェクト４１が、図４（ｂ）に示すように座標原点の周りに角度βだけ回転した場合を考える。回転前と後のオブジェクトを、縦軸にｒをとり、横軸にθをとった２次元座標上にプロットすると、図４（ｃ）に示すように、θ軸方向に角度βだけ平行移動した関係の同形の画像４３，４４になる。
【００３４】
次に、本発明の画像記録処理、画像認識処理、画像検索処理、画像呼び出し処理について説明する。
最初に、図５のフローチャートを用いて画像記録処理について説明する。始めに、オペレータは観察対象となる試料Ｓを準備し、電子顕微鏡を操作して観察条件を設定し、ＴＶカメラ８により試料Ｓの所望の部分の拡大画像を撮像する。このときの操作は、キーボードなどの入力手段２０を用いて行なわれ、電子銃制御部１１、照射レンズ制御部１２、対物レンズ制御部１３、拡大レンズ系制御部１４に、それぞれ所定の制御データを入力し、所望の加速電圧、倍率、観察モードが得られるようにする。試料ステージ制御部１５にも制御データを入力し、試料６の所望の部分が観察視野になるように、試料ステージ５を動かす。
【００３５】
その結果、所望の観察条件による試料Ｓの所望の部分（座標）の画像が得られる。こうして所望の観察条件による試料Ｓの所望の部分の画像が得られたら、オペレータは、この画像を統括制御部１８に記録させるのに必要な操作を実行する（Ｓ１１）。統括制御部１８では、まずＴＶカメラ８から取り込んだ試料の透過像をメモリに記憶し、保存する（Ｓ１３）。ＴＶカメラ８から取り込んだオブジェクトの画像は、ステップ１２においてTIFF形式のデータに変換してから保存してもよい。その場合、統括制御部１８では、ステップ１３における画像データの保存と並行して、各制御部１１〜１５から試料の観察条件をデータとして取り込み、画像データのタグデータとしてTIFF形式のタグ領域に記憶させるようにしてもよい（Ｓ１４）。タグデータとしてTIFF形式のタグ領域に記憶させる観察条件とは、加速電圧、倍率、エミッション電流、スポットサイズ、試料の位置座標、露出時間、露出量などである。
【００３６】
次に、図６のフローチャートを用いてリファレンス画像の登録処理について説明する。リファレンス画像には、複数の方向に傾斜させて予め撮像しておいたオブジェクトの複数の透過像、及び後述するようにその透過像を極座標変換した画像を用いることができる。また、リファレンス画像は、試料Ｓ中に含まれるオブジェクト自身から作成することもできる。この場合も、試料中の検索したいオブジェクトについて、試料傾斜した透過像と、その極座標変換の画像をリファレンス画像として登録する。
【００３７】
まず、光軸に対して試料ステージが傾斜していない傾斜０°の状態でオブジェクトの透過像（リファレンス画像）を記録する（Ｓ２１）。次に、試料ステージを傾斜してさまざまな角度に傾斜したオブジェクトの透過像を記録する（Ｓ２２）。次に、傾斜０°のリファレンス画像及びさまざまな角度に傾斜したリファレンス画像を極座標変換した画像を求める（Ｓ２３）。また、リファレンス画像の画像信号をTIFF形式に変換し、統括制御部１８に保存する（Ｓ２４）。この画像データの保存と並行して、統括制御部１８は、各制御部１１〜１５から画像の観察条件をデータとして取り込み、画像データのタグデータとしてTIFF形式のタグ領域に記憶させる（Ｓ２５）。こうして、様々な傾斜したオブジェクトの透過像及びそれを極座標変換した画像でリファレンス画像の画像データベースを作成する。
【００３８】
図７は、リファレンス画像として用いる透過像を一覧表示した例を示す図である。ここでは、オブジェクトとしてウイルスを用い、光軸に対してさまざまな角度に傾斜したオブジェクトの傾斜透過像及びその極座標変換後の画像をリファレンス画像のデータベースとした。たとえば、ウイルスＡについて、傾斜角度±６０°の範囲を３０°ステップで一定の方向に傾斜して得られた透過像をウイルスＡのリファレンス画像Ra1，Ra2，Ra3，Ra4，Ra5とし、その画像を極座標変換した後の透過像をリファレンス画像RAa1，RAa2，RAa3，RAa4，RAa5として登録した。同様に、ウイルスＢについて、傾斜角度±６０°の範囲を３０°ステップで一定の方向に傾斜して得られた透過像をウイルスＢのリファレンス画像Rb1，Rb2，Rb3，Rb4，Rb5とし、その画像を極座標変換した後の透過像をリファレンス画像RAb1，RAb2，RAb3，RAb4，RAb5として登録した。また、ウイルスＣについて、傾斜角度±６０°の範囲を３０°ステップで一定の方向に傾斜して得られた透過像をウイルスＣのリファレンス画像Rc1，Rc2，Rc3，Rc4，Rc5とし、その画像を極座標変換した後の透過像をリファレンス画像RAc1，RAc2，RAc3，RAc4，RAc5として登録した。
【００３９】
次に、画像認識処理について図８を用いて説明する。画像認識処理は、所望の試料の透過像とリファレンス画像とを比較するために行なう処理である。試料を観察し（Ｓ３１）、試料中の所望領域の透過像を記録し（Ｓ３２）、透過像中のオブジェクトを極座標変換した画像を求め（Ｓ３３）、透過像の画像と極座標変換後の画像を保存する（Ｓ３４）。その後、試料画像中の所望のオブジェクトの透過像と、リファレンス画像とを比較する（Ｓ３５）。比較は、位相限定相関法のような画像相関によって行ってもよい。極座標変換後の画像同士の画像相関を取ると、オブジェクトの回転の影響を受けないので好ましい。画像相関の結果を画像の一致度として表示してもよい（Ｓ３６）。
【００４０】
次に、画像検索処理について説明する。画像検索処理は、ある所望のオブジェクトが、どのリファレンスに相当するか、あるいは、所望するオブジェクトをリファレンスにして、それと同じ形状の試料を探し出す処理である。リファレンス画像と検索対象の画像の倍率は基本的に等しい方がよく、仮に倍率が変更された場合は、画像記録処理において試料の画像を記録するときに、予めリファレンス画像の観察条件を参照できるようにすることにより、画像の倍率をあわせるのが好ましい。
【００４１】
図９は、画像検索処理の手順を示すフローチャートである。画像検索処理では、まず、リファレンス画像の画像データベースを選定する（Ｓ４１）。このリファレンス画像には、検索対象の試料自身の透過像とそれの傾斜透過像とそれらの極座標変換後の透過像が含まれる。画像認識処理の結果、表示された画像の一致度にもとづいて、所望の試料と相関の高いリファレンス画像を選択し（Ｓ４２）、選択された透過像を表示する（Ｓ４３）。
【００４２】
検索する試料中のオブジェクトの画像をリファレンス画像と相関し、比較して、画像の分類を行なうこともできる。たとえば、試料中のオブジェクトの画像は、ウイルスＡの傾斜＋３０°の透過像で、極座標変換によってθ度回転した画像であるというように、リファレンス画像のデータベースをもとに、画像の分類を行なうこともできる。また、ある試料をリファレンスとして、複数個の試料を分類してもよい。ある試料をリファレンスとして、複数個の試料から、リファレンスである試料と同じ形状の試料を探し出すこともできる。
【００４３】
図１０を用いて、画像の検索処理の例について説明する。最初に、試料中に含まれている所望のオブジェクトの透過像を撮像し、それを保存する。いま、透過像として図１０（ａ）に示すオブジェクト透過像を検索対象としたとする。オブジェクトの透過像を極座標変換した画像も求め、それも保存する。次に、リファレンス画像のデータベースを選択する。ここでは、図７に示したウイルスＡ，Ｂ，Ｃのリファレンス画像のデータベースを選択したものとする。検索結果は、リファレンス画像との画像相関結果（一致度）の一覧表として出力される。
【００４４】
図１０（ｂ）及び図１０（ｃ）は、検索結果の表示例を示す図である。図１０（ｂ）は、試料の画像とデータベースに格納された個々のリファレンス画像との相関結果を、一致度の高い順にランク付けして一覧表示した例である。図１０（ｃ）は、データベース中のリファレンス画像毎に画像相関結果（一致度）を一覧表示した例である。この例では、試料中のオブジェクトはウイルスＢである可能性が高いことが示されている。
【００４５】
図１１は、複数のオブジェクトを含む試料視野において、リファレンス画像と同じオブジェクトを検索する処理の例を示す説明図である。
まず、図１１（ａ）に示すように、複数のオブジェクトを含む試料の視野を撮影、記録する。次に、その視野から複数のオブジェクトを選択する。オブジェクトの選択は、図１１（ｂ）に例示するように、例えば画像がCCDカメラで撮影されたものであれば、オブジェクトをある大きさの枠で囲むことで行うことができる。選択されたオブジェクトには、図示するように適当にナンバリングしてもよい。この例では6個のオブジェクトを選択した。
【００４６】
続いて、リファレンス画像データベースから検索したいリファレンス画像を選択する。ここでは、例として図７に示したウイルスＢのシリーズをリファレンス画像として指定した。次に、選択したオブジェクトと、リファレンス画像との相関をとり、その結果を表示する。結果は、例えば図１１（ｃ）に示すように、試料中で選択したオブジェクトと、リファレンス画像との一致度として表示される。検索結果の表示に当たっては一致度に閾値を設け、一致度が閾値を超えた検索結果のみを出力するようにしてもよい。検索結果から、本例では、試料中のNo.002及びNO.003のオブジェクトがウイルスＢである可能性が非常に高く、また、NO.006及びNO.004のオブジェクトもウイルスＢである可能性が高いことが分かる。
【００４７】
図１２は、試料中のオブジェクトをリファレンスとして、複数のオブジェクトを含む試料視野からそのオブジェクトと同じ形状のものを検索する処理の例を示す説明図である。
【００４８】
まず、図１２（ａ）に示すように、複数のオブジェクトを含む試料視野を撮影、記録する。次に、その視野から所望のオブジェクト試料を選択する。オブジェクトの選択は、図１２（ｂ）に示すように、オブジェクトをマウス操作等によって枠で囲むことで行うことができる。選択されたオブジェクトには適当にナンバリングしてもよい。
【００４９】
続いて、選択された複数のオブジェクトの中から、１つのオブジェクトをターゲットオブジェクトとし、その透過像及びそれを極座標変換した後の画像をリファレンス画像として、残りの選択されたオブジェクトとの相関を取る。ターゲットオブジェクト以外のオブジェクトの透過像についても極座標変換した画像を用意し、画像相関の演算は透過像同士、極座標変換された画像同士で行う。その結果、ターゲットオブジェクトと同じ形状のオブジェクトが検索される。図１２（ｄ）は、検索結果の表示例である。この例では、試料中に見つかったNo.002のオブジェクトと同じ形状のオブジェクトを試料中で検索しているが、No.003のオブジェクトが該当する可能性が高いことが分かる。図示の例では、試料を複数角度に傾斜させることなく、そのままの形状をリファレンスとする場合を示したが、必要に応じて、試料をさまざまの角度に傾斜してオブジェクトの透過像を記録し、それらの極座標変換の画像とともにリファレンス画像としてもよい。
【００５０】
次に、図１３を用いて画像呼び出し処理について説明する。画像呼び出し処理は、検索されたオブジェクトの観察条件を再現して観察する処理のことである。検索されたオブジェクトの画像データはTIFF形式に変換され、統括制御部１８に保存されている。TIFF形式の画像データは、タグ領域にその画像の観察条件を保存している。
【００５１】
検索された画像を指定すると、統括制御部１８から指定された試料の画像データが呼び出される（Ｓ５１）。そこで、統括制御部１８は、この画像データをモニタ１７に供給し、モニタ画面上に、保存されている検索された画像を表示させる。統括制御部８は、必要に応じて、この画像データからタグデータを呼び出し（Ｓ５２）、タグデータの中の加速電圧や倍率などの観察条件を表わす制御データを電子銃制御部１１及び各レンズ制御部１２〜１４に供給する（Ｓ５３）。これにより、タグデータで指示された、試料Sの観察視野になるように試料ステージ５が動き、加速電圧と倍率、観測モード（たとえば回折モード、高分解能モード、ハイコントラストモード、極低倍モードなど）が得られるように制御が行われ、記録画像と同一視野の観察が可能になる（Ｓ５４）。
【００５２】
この方法によれば、試料Ｓが、電子線の入射方向に対して、さまざまな方向に傾斜したオブジェクトを含んでいる場合において、リファレンス画像と、オブジェクトの投影像を比較し、その一致度を定量的に評価することにより、その視野から、ある特定の方向に傾斜した画像のみを選び出すことができ、その結果、効率良く、画像の解析を進めることができる。
【００５３】
ここで、従来技術の場合、例えば、画像のパターンマッチングなどの手法により、画像の選択を行なっているが、リファレンス画像を選定して、その一致度に基づいて、画像を自動的に選定するようにはなっていない。また、画像には、観察条件が付属されていないので、画像を選定しても、選定した画像の観察条件を再現して観察することはできない。この場合、選定した画像を、たとえばフィルムや他の記録媒体を用いて、再度、同じ条件で記録することはできない。しかし、本発明によれば、画像データをTIFF形式のデータに変換し、観察条件をタグ領域に保存するようにしているので、常に画像に対応する観察条件が確実に保存される上、画像データの呼び出しだけで対応する観察条件データも同時に得られることになり、かつ、保存可能なデータ量の制約が少ないので、完全な観察条件の再現が容易である。
【００５４】
【発明の効果】
本発明によると、種々の角度に傾斜しているオブジェクトの中から目的のオブジェクトを、正確に、効率良く選びだすことができる。また、オブジェクト記録画像の表示と同時に、その観察条件を電子顕微鏡にフィードバックすることができるので、記録された画像を、容易に、しかも忠実に電子顕微鏡上に再現することが可能となる。
【図面の簡単な説明】
【図１】本発明による透過型電子顕微鏡の構成例を示すブロック図。
【図２】相関強度画像のスペクトルを示す図。
【図３】極座標変換の模式図。
【図４】Ｘ−Ｙ平面上の画像の輪郭上の一点を原点として極座標変換した例を示す図。
【図５】画像記録処理の手順を示すフローチャート。
【図６】リファレンス画像の登録処理の手順を示すフローチャート。
【図７】リファレンス画像として用いる透過像を一覧表示した例を示す図。
【図８】画像認識処理の手順を示すフローチャート。
【図９】画像検索処理の手順を示すフローチャート。
【図１０】画像の検索処理の例についての説明図。
【図１１】試料視野からリファレンス画像と同じオブジェクトを検索する処理の例を示す説明図。
【図１２】試料視野中で指定したオブジェクトと同じ形状のオブジェクトを検索する処理の例を示す説明図。
【図１３】画像呼び出し処理の手順を示すフローチャート。
【図１４】極座標変換のための原点を示した透過像。
【図１５】二値化処理した画像上で、極座標変換のための原点を示した透過像。
【符号の説明】
１…透過型電子顕微鏡鏡体、２…電子銃、３…電子線、４…照射レンズ、５…試料ステージ、６…対物レンズ、７…拡大レンズ系、８…ＴＶカメラ、９…カメラ室、１０…蛍光板、１１…電子銃制御装置、１２…照射レンズ制御装置、１３…対物レンズ制御装置、１４…拡大レンズ系制御装置、１５…試料ステージ制御装置、１６…ＴＶカメラ制御装置、１７…モニタ、１８…統括制御部、１９…カメラ駆動装置、Ｓ…試料

Claims

試料の透過電子線像中のオブジェクトの画像を予め記憶してあるリファレンス画像と比較して認識するステップを有する試料観察方法において、
前記リファレンス画像として、種類が異なる対象物それぞれの、光軸に対する傾斜角が異なる当該対象物の複数の透過電子線像を、異なる複数の種類の対象物ごとに記憶しておくステップと、
試料の透過電子線像中からオブジェクトを指定するステップと、
前記指定されたオブジェクトの画像と、前記異なる複数の種類の対象物ごとに記憶された複数の傾斜角のリファレンス画像との画像相関をそれぞれ演算するステップと、
演算結果を表示するステップと
を含むことを特徴とする試料観察方法。
試料の透過電子線像中のオブジェクトの画像を予め記憶してあるリファレンス画像と比較して認識するステップを有する試料観察方法において、
前記リファレンス画像として、種類が異なる対象物それぞれの、光軸に対する傾斜角が異なる当該対象物の複数の透過電子線像をそれぞれ極座標変換した画像を、異なる複数の種類の対象物ごとに記憶しておくステップと、
試料の透過電子線像中からオブジェクトを指定するステップと、
前記指定されたオブジェクトの画像を極座標変換するステップと、
前記極座標変換されたオブジェクトの画像と、前記異なる複数の種類の対象物ごとに記憶された複数の傾斜角の、極座標変換されているリファレンス画像との画像相関をそれぞれ演算するステップと、
演算結果を表示するステップと
を含むことを特徴とする試料観察方法。
請求項２記載の試料観察方法において、前記オブジェクトの画像を極座標変換する際の回転支点を前記指定したオブジェクトの画像中で指定するステップを有することを特徴とする試料観察方法。
請求項１又は２記載の試料観察方法において、前記演算結果を、前記オブジェクトの画像と前記リファレンス画像の一致度として表示することを特徴とする試料観察方法。
試料の透過電子線像中のオブジェクトの画像を予め記憶してあるリファレンス画像と比較して認識するステップを有する試料観察方法において、
試料の透過電子線像中から複数のオブジェクトを指定するステップと、
当該指定した複数のオブジェクトの中から１つのオブジェクトを選択するステップと、
前記リファレンス画像として、当該選択した１つのオブジェクトの光軸に対する傾斜角が異なる複数の透過電子線像を記憶しておくステップと、
当該指定した複数のオブジェクトの中の選択された以外の残りのオブジェクトを検索対象のオブジェクトとして指定するステップと、
前記検索対象のオブジェクトの透過電子線像と、前記複数の傾斜角のリファレンス画像との画像相関をそれぞれ演算するステップと、
演算結果を表示するステップと
を含むことを特徴とする試料観察方法。
請求項１又は２記載の試料観察方法において、
試料の透過電子線像撮像時の装置データを前記試料の透過電子像と一対一に対応させて保存することを特徴とする試料観察方法。
請求項６記載の試料観察方法において、
前記試料の透過電子線像はタグ領域を含むＴＩＦＦ形式の画像として記憶され、前記装置データは前記タグ領域に保存されていることを特徴とする試料観察方法。
請求項６記載の試料観察方法において、
前記タグ領域に保存された装置データを透過電子顕微鏡に設定して前記オブジェクトを含む透過電子線像を撮像した条件を再現するステップを含むことを特徴とする試料観察方法。
試料の透過電子線像中のオブジェクトの画像を予め記憶してあるリファレンス画像と比較して認識する機能を備えた透過型電子顕微鏡において、
前記リファレンス画像として、種類が異なる対象物それぞれの、光軸に対する傾斜角が異なる当該対象物の複数の透過電子線像を、異なる複数の種類の対象物ごとに記憶する記憶手段と、
試料の透過電子線像中からオブジェクトを指定する指定手段と、
前記指定されたオブジェクトの画像と、前記異なる複数の種類の対象物ごとに記憶された複数の傾斜角のリファレンス画像との画像相関をそれぞれ演算する演算手段と、
演算結果を表示する表示手段と
を備えていることを特徴とする透過型電子顕微鏡。
試料の透過電子線像中のオブジェクトの画像を予め記憶してあるリファレンス画像と比較して認識する機能を備えた透過型電子顕微鏡において、
前記リファレンス画像として、種類が異なる対象物それぞれの、光軸に対する傾斜角が異なる当該対象物の複数の透過電子線像をそれぞれ極座標変換した画像を、異なる複数の種類の対象物ごとに記憶する記憶手段と、
試料の透過電子線像中からオブジェクトを指定する指定手段と、
前記指定されたオブジェクトの画像を極座標変換する変換手段と、
前記極座標変換されたオブジェクトの画像と、前記異なる複数の種類の対象物ごとに記憶された複数の傾斜角の、極座標変換されているリファレンス画像との画像相関をそれぞれ演算する演算手段と、
演算結果を表示する表示手段と
を備えていることを特徴とする透過型電子顕微鏡。
試料の透過電子線像中のオブジェクトの画像を予め記憶してあるリファレンス画像と比較して認識する機能を備えた透過型電子顕微鏡において、
試料の透過電子線像中から複数のオブジェクトを指定する指定手段と、
当該指定した複数のオブジェクトの中から１つのオブジェクトを選択する選択手段と、
前記リファレンス画像として、当該選択した１つのオブジェクトの光軸に対する傾斜角が異なる複数の透過電子線像を記憶する記憶手段と、
前記指定した複数のオブジェクトの中の選択された以外の残りのオブジェクトを検索対象のオブジェクトとし、当該検索対象のオブジェクトの透過電子線像と、前記複数の傾斜角のリファレンス画像との画像相関をそれぞれ演算する演算手段と、
演算結果を表示する表示手段と
を備えていることを特徴とする透過型電子顕微鏡。