JP4538472B2

JP4538472B2 - 画像形成方法、及び電子顕微鏡

Info

Publication number: JP4538472B2
Application number: JP2007065979A
Authority: JP
Inventors: 功長沖; 佳彦中山; 良一石井
Original assignee: Hitachi High Technologies Corp
Current assignee: Hitachi High Tech Corp
Priority date: 2007-03-15
Filing date: 2007-03-15
Publication date: 2010-09-08
Anticipated expiration: 2027-03-15
Also published as: US20080224040A1; US7838834B2; EP1970936A3; EP1970936A2; JP2008226742A

Description

本発明は電子顕微鏡に係り、特に、試料或いは電子ビームを傾斜して得られる画像間の比較に基づいて、画像を形成する方法及び電子顕微鏡に関する。

透過型電子顕微鏡（Transmission Electron Microscope：ＴＥＭ）の電子ビームの試料に対する照射角を変化させ、複数の照射角にて取得された画像（透過像）を合成して、三次元像を構築する技術が、特許文献１に説明されている。このような手法によって構築された三次元構築像によれば、試料の立体構造の解析が可能となる。

更に、特許文献１には、傾斜させて得られる一連の透過像から、リファレンス画像との二次元相関処理によって、同一視野を選択して切り出すことにより、試料の位置ずれを補正し、三次元再構築を行う例が説明されている。

特開２００５−１９２１８号公報

透過電子顕微鏡では、３次元構築を行うために、ステージ、或いはビームの傾斜角度を大きくした状態で、画像を取り込むと、傾斜による周辺ぼけが発生するため、高傾斜時の画像と、高傾斜時以外の画像との一致度が低下する。両者の一致度に基づく位置合わせができないと、適正な３次元像構築ができない。また、一致度自体の設定が難しいという問題もある。図２６は縦軸を一致度、横軸を傾斜角度としたときの基準画像と、傾斜像との相関の推移を示すグラフである。

一方、特許文献１の説明によれば、リファレンス画像と同一視野をサーチすることによって、位置ずれを補正する技術が説明されているが、傾斜によって生ずる周辺ボケ領域の存在が何等考慮されていない。

また、図１５に示すように、画像の一部に特徴的なコントラストを有する視野においては、視野がずれて補正される場合がある。更に、図２４に示すように、ぼけの存在は特に高倍率における一致度低下を招き、補正精度も低下するという問題がある。

本発明の目的は、３次元像構築等の画像間の比較を伴う画像形成方法、及び当該画像を形成する装置について、比較に要する情報を、高精度、或いは効率よく取得することが可能な画像形成方法、及び電子顕微鏡の提供にある。

上記課題を解決するために、本発明の一態様によれば、試料に対する異なる傾斜角からの電子ビーム照射によって得られた複数の画像間の比較に基づいて、画像を形成する画像形成方法において、第１の方向から照射される電子ビームによって取得された第１の透過像と、前記第１の方向とは異なる方向から照射される電子ビームによって取得されると共に、前記第１の透過像より前記試料上の狭い範囲であって、傾斜によって生ずる周辺ぼけ領域とは異なる領域の第２の透過像を取得し、前記第１の透過像内を前記第２の透過像を用いてサーチを行うことを特徴とする画像形成方法、及び装置を提供するものである。

上記本発明の一態様によれば、画像間比較を伴う画像形成方法、及び装置において、ビーム、或いは試料傾斜によって生ずる周辺ぼけ領域の存在に依らず、高いサーチ精度を得ることが可能となる。

本発明の一実施形態として、透過型電子顕微鏡を用いた３次元像構築方法の具体例を以下に説明する。なお、一実施態様として、透過電子顕微鏡において、電子銃と、電子線と試料に照射する収束レンズと、電子線を偏向する機構と、試料と、試料の焦点を合わせる対物レンズと、試料を透過した電子線を拡大する結像レンズと、透過像を画像データとして取り込む機構と、該画像データの輝度分布を計算する機構と、対物レンズの電流変更後の画像データと、該輝度分布と対物レンズ変更前の画像データの輝度分布を比較する機構と、輝度分布を比較した値と透過像を表示するモニターを有したことを特徴とする透過電子顕微鏡について説明する。

なお、上記比較工程において、画像間の移動量等を計算する手法として、以下のような手法が考えられる。
・本例にて採用される演算法について
（Ａ）位相限定相関で移動量を計算する手法
図２０に示す画像相関の例を用いて、上記した構成を有する透過電子顕微鏡の動作を説明する。透過像（１）の一部を切り取った画像を透過像（３）としてＭ×Ｎの画素数で記憶装置に登録画像としてｆ１（ｍ，ｎ）として記録する。次に記録モード後に取り込んだ画像を透過像（２）をＭ×Ｎの画素数で記憶装置に参照画像としてｆ２（ｍ，ｎ）として記録する。

但し、どちらも自然画像とし、ｍ＝０，１，２，…Ｍ−１、ｎ＝０，１，２，…Ｎ−１である。

ｆ１（ｍ，ｎ），ｆ２（ｍ，ｎ）の離散フーリエ画像Ｆ１（ｍ，ｎ），Ｆ２（ｍ，ｎ）はそれぞれ（１），（２）で定義される。

Ｆ１（ｕ，ｖ）＝Ａ（ｕ，ｖ）ｅｊθ（ｕ，ｖ） …（１）
Ｆ２（ｕ，ｖ）＝Ｂ（ｕ，ｖ）ｅｊφ（ｕ，ｖ） …（２）
但し、ｕ＝０，１，２，…Ｍ−１、ｖ＝０，１，２，…Ｎ−１，Ａ（ｕ，ｖ），Ｂ（ｕ，ｖ）は振幅スペクトル、θ（ｕ，ｖ），φ（ｕ，ｖ）は位相スペクトル。

位相相関では、２画像間で像の平行移動があった場合には相関のピークの位置が移動量だけずれる。以下に移動量の導出方法を説明する。

まず、原画像ｆ２（ｍ，ｎ）が、ｘ方向にｒ′だけ移動したとしてｆ４（ｍ，ｎ）＝
ｆ２（ｍ＋ｒ′，ｎ）とする。式（２）を式（３）のように変形する。

Ｆ４（ｕ，ｖ）＝ΣΣｆ２（ｍ＋ｒ′，ｎ）ｅ−ｊ２π（ｍｕ／Ｍ＋ｎｖ／Ｎ）
＝Ｂ（ｕ，ｖ）ｅｊ（φ＋２πｒ′ｕ／Ｍ） …（３）
振幅スペクトルＢ（ｕ，ｖ）を定数とすることにより、画像のコントラストに依存しない位相画像となる。ｆ４の位相画像Ｆ′４（ｕ，ｖ）は式（４）となる。

Ｆ４′（ｕ，ｖ）＝ｅｊ（φ＋２πｒ′ｕ／Ｍ） …（４）
位相画像Ｆ′１（ｕ，ｖ）にＦ′２（ｕ，ｖ）の複素供役を乗ずることによって合成画像Ｈ１４（ｕ，ｖ）は式（５）となる。

Ｈ１４（ｕ，ｖ）＝Ｆ′１（ｕ，ｖ）（Ｆ′２（ｕ，ｖ））＊
＝ｅｊ（θ−φ−２πｒｕ／Ｍ） …（５）
相関強度画像Ｇ１４（ｒ，ｓ）は、合成画像Ｈ１４（ｕ，ｖ）を逆フーリエ変換することによって式（６）となる。

Ｇ１４（ｒ，ｓ）＝ΣΣ（Ｈ１４（ｕ，ｖ））ｅｊ２π（ｕｒ／Ｍ＋ｕｓ／Ｎ）
＝ΣΣ（ｅｊ（θ−φ−２πｒ′ｕ／Ｍ））ｅｊ２π（ｕｒ／Ｍ
＋ｕｓ／Ｎ）
＝Ｇ１２（ｒ−ｒ′） …（６）
式（６）より、２つの画像間でＸ方向に位置ずれ量ｒ′が存在する場合、相関強度画像のピークの位置は−ｒ′だけずれる。また、位相成分で相関計算するため、２つの画像で明るさやコントラストに違いがあっても移動量の計算が行える。２つの画像間でＸ方向に位置ずれ量が存在する場合は、相関強度画像の中心よりΔＧ(pixel) の位置にピークが発生する。そして、例えば図２０に示すような相関強度画像を形成することができる。

例えば２つの画像間でＸ方向に２pixel のずれがあると、合成画像は２周期の波になる。これを逆フーリエ変換すると相関強度画像となり、中心から２pixelずれた位置にピークが発生する。このΔＧ（pixel）は検出器の受光面での移動量相当し、ΔＧを試料面上の移動量Δｘに変換する。検出器の受光面の径Ｌ、受光面上での透過電子顕微鏡の倍率Ｍ、検出器の受光面の画素数Ｌｍとすると式（７）に示す。

Δｘ＝ΔＧ（pixel）×Ｌ／Ｌｍ（pixel）／Ｍ …（７）
Δｘは２つ画像間の試料面上での移動量となる。
（Ｂ）一致度を計算する手法
次に画像間移動量や倍率，回転角度の精度について説明する。位相成分のみを用いた相関計算では、数学上位相のみを使用しているため相関強度に現れるピークはδピークとなる。例えば２つの画像間で１.５画素ずれると合成画像は１.５周期の波となる。これを逆フーリエ変換すると、相関強度画像の中心より１.５pixelずれた位置にδピークが立つが、１.５の画素は存在しないので、δピークの値は１pixel目と２pixel目に振り分けられる。

ここで一致度が高い画素の重心を取って、この振り分けられた値から真のδピーク位置を計算すると１／１０pixel 程度の精度を計算結果が得られる。また、相関強度画像がδピークのため、２つの画像間における類似性の評価を相関強度画像のピークの高さによって行う。画像ｆ１（ｍ,ｎ）、ピークの高さPeak（pixel）とすると一致度（％）を式(８)に示す。

一致度（％）＝（Ｐｅａｋ）／（ｍ×ｎ）×１００ …（８）
例えば処理画素数は１２８pixel×１２８pixel でPeakが１６３８４（pixel）の場合は、一致度＝（１６３８４）／（１２８×１２８）×１００＝１００（％）となる。
（Ｃ）パターンマッチングを用いた処理
画像のテンプレートマッチングによるテンプレート画像サーチについて以下に一例を示す。

式（９）で示される相関演算をソース画像の指定領域内の全画素に対して行い一致度係数（ｒ）が最大（１.０）になるポイントを移動量として検出する。このとき一致度はｒに１００をかけたものと定義する。

ｆ：ソース画像
ｇ：テンプレート画像
ｎ：テンプレート領域内有効画素数
（１＜ｎ＜＝６５５３６：２５６×２５６相当）

本方式を用いれば、相関係数算出の計算式自体がデータを正規化しているので明るさの変動やボケに対して一致度が高くなる。

図２２に従来のボケ（デフォーカス）と移動量に関係を示す。図２３に本例のボケと移動量の関係を示す。これらの結果からも本例の方式が、ボケに対して認識度が高いことは分かる。

これらの演算は、テンプレート画像の領域と対応するソース画像の一領域に対して行われる。本発明による正規化相関サーチは、セットアップ，トレーニング，サーチの３段階を設定しており、セットアップは、テンプレート画像を入力画像から切り出すことで、トレーニングは、切り出した画像を正規化相関サーチのテンプレート画像として登録する。次にサーチは、トレーニングで登録したテンプレートのサーチを行うこととする。移動量計算は、図１８に示すように移動位置を計算して、図２１に示すようにサブピクセル精度で計算を行う。自動調整は、画像中心で像が移動するので図１９のようにスパイラルでサーチするとサーチ効率が向上する。
（Ｄ）ニューラルネットを用いた処理
図１６及び図１７に図示するように、圧縮・復元ニューラルネットに関して、入力画像と復元画像との差異を小さくする条件下で行われる。しかし、平滑化画像上では同一濃淡値を持つ画素は複数存在する。したがって、この変換方法は、一意の解を解くために、グリッドの歪みを滑らかにする拘束条件を付加したコスト関数を再急降下法で最小にすることにより実現される。式（１０）にコスト関数を示す。

上述の式において、Ｉは再サンプル画像，Ｒは復元画像，（ｄｘ_i,j,ｄｙ_i,j）はグリッド（ｉ，ｊ）における移動ベクトルの推定値である。

（Ｅ）焦点を自動補正する手法
式（７）で算出したΔＸを式（１１）に入れて、デフォーカス量Δｆを計算する。

Δｆ＝ΔＸ／（α×Ｍ）―ＣＳ×α² …（１１）
図２５は、本例にて適用するオートフォーカスの原理図である。

以下、本発明の一実施例を、図２のフローチャートに従って述べる。図１に示すように透過像観察用レンズデータを記憶しているＲＯＭ４６から各ＤＡＣ２４，２５，２８，
３１〜３４に出力してレンズ系のデータをアナログ信号に変換する。各ＤＡＣ２４，２５，２８，３１〜３４より励磁電源１３，１４，１７，２０〜２３にアナログ信号を出力して各レンズ系のレンズコイル２，３，６，９〜１２に電流を出力させる。次に図７に示すように、試料傾斜開始角度，終了角度，ステップ，テンプレートサイズ（Image area
size）を入力する。

次に図２に示す誤動作防止の一致度（Image compare）や補正回数（Correction）の入力を行う。次に、指定された傾斜角度に試料ステージを用いて傾斜して、視野を探す。

Auto Focusでは、図８に図示する自動焦点補正制御画面上での設定に基づいて、図３もしくは図４に図示すように、倍率を入力して、図９に示すように偏向コイルを用いて＋αの角度で電子線傾斜を行う。図１１に示す試料ステージを用いても良いが、本例では、電子線傾斜について記述する。次に、画像を６４０×４８０で取り込みサーチエリア（１）として画像を記録する。

次に電子線を−α傾斜して、画像と取り込み図１７に示すように１２８×１２８でテンプレート（２）として画像記録する。双方の画像を、上述の本例にて採用される演算法
（Ｃ）（Ｄ）（Ｅ）を用いて移動量と一致度を計算する。一致度が６０％以上であれば移動量より対物レンズ電流に補正を行い、焦点補正を行う。一致度が６０％未満の場合は、エラーメッセージを表示して動作を停止してもよい。テンプレートは、図１５にしめすように対象物のみを設定すると±６０°傾斜した場合に視野ずれがすくなくなる。

テンプレートサイズを大きくすると画像中心で補正するので各々の傾斜角で発生するずれも大きくなるので出来るだけ小さい方が精度は向上する。

オートフォーカス後に、１ｋ×１ｋ以上の高精細画像を取り込み、試料を傾斜する。傾斜中にSampling time の入力に従い、画像移動量を計算して、図１１の試料ステージで補正を行う。傾斜中に上述の本例にて採用される演算法（Ｃ）（Ｄ）（Ｅ）を用いて移動量を計算して、一致度が設定値より大きければ継続して処理を行う。

図２７にしめすように本例の計算方法は、±６０°傾斜した場合でも一致度が高く、誤動作発生時の一致度設定が行いやすい。次に一致度が６０％以下で設定値より低い場合は、エラーメッセージを表示して停止する。

試料傾斜が終了したら、画像を取り込みテンプレート（３）として記憶する。このとき、サーチエリア（１）とテンプレート（３）より最終的な移動量と一致度を上述の本例にて採用される演算法（Ｃ）（Ｄ）（Ｅ）を用いて計算を行い、図１１の試料ステージ若しくは図１０のイメージシフトで位置あわせを行う。

以上の動作を設定された傾斜角度まで繰り返して動作を行い画像を取り込む。上述の本例にて採用される演算法（Ａ）（Ｂ）を用いても良いものとする。

以下、本発明の一実施例を、図２のフローチャートに従って述べる。図１に示すように透過像観察用レンズデータをレンズデータを記憶しているＲＯＭ４６から各ＤＡＣ２４，２５，２８，３１〜３４に出力してレンズ系のデータをアナログ信号に変換する。各
ＤＡＣ２４，２５，２８，３１〜３４より励磁電源１３，１４，１７，２０〜２３にアナログ信号を出力して各レンズ系のレンズコイル２，３，６，９〜１２に電流を出力させる。次に図５のフローについて詳述する。

始めに、テンプレートサイズと傾斜角度，傾斜ステップを入力して、試料ステージを傾斜する。そして、試料傾斜後、視野探しを行い、画像を取り込みサーチエリア（１）として記録する。

試料を傾斜して画像中心を入力されたテンプレートサイズで取り込みテンプレート(２)として記憶する。

上述の本例にて採用される演算法（Ｃ）（Ｄ）（Ｅ）を用いて移動量を計算し、一致度が８０％以下の場合は、テンプレートサイズを大きくして再度移動量と一致度を計算する。図２８に似たような粒子が画像に存在した場合に発生する誤動作する一例を示す。図
２９にテンプレートを１２８pixelsから２５６pixelsにした場合の一致度を計算した一例を示す。結果より、テンプレートサイズが大きいと画像の特徴量が大きく取れるので、テンプレートサイズを変更したとことにより誤動作を防止して再計算できる場合もある。

次に一致度が８０％を超えた場合は、図１０のイメージシフトと図１１の試料ステージを用いて補正を行う。上述の本例にて採用される演算法（Ａ）（Ｂ）を用いても良いものとする。

以下、本発明の一実施例を、図２のフローチャートに従って述べる。図１に示すように透過像観察用レンズデータを、レンズデータを記憶しているＲＯＭ４６から各ＤＡＣ２４，２５，２８，３１〜３４に出力してレンズ系のデータをアナログ信号に変換する。各
ＤＡＣ２４，２５，２８，３１〜３４より励磁電源１３，１４，１７，２０〜２３にアナログ信号を出力して各レンズ系のレンズコイル２，３，６，９〜１２に電流を出力させる。

次に図６のフローについて詳述する。図７に示すように、試料傾斜開始角度，終了角度，ステップ，テンプレートサイズ（Image area size）を入力する。次に図２に示す誤動作防止の一致度（Image compare）や補正回数（Correction）の入力を行う。

図１２に示すように試料を傾斜すると周辺でΔｆのデフォーカスが発生する。このため、図１３で示すように傾斜角によりＣＣＤカメラでボケていない領域は各角度で決定される。図１４に示すように傾斜中心にたして左右振り分けてボケる領域が発生する。これを計算して表示を行い、対象物がボケていない領域にあれば倍率を変更しないが、はみ出す場合は、倍率を変更する。

次に、指定された傾斜角度に試料ステージを用いて傾斜して、視野を探す。次に画像を取り込みサーチエリア（１）として記録する。次に試料を傾斜して画像を取り込み、中心画像をテンプレート（２）として記録する。上述の本例にて採用される演算法（Ｃ）(Ｄ)（Ｅ）を用いて、図１０のイメージシフトや図１１の試料ステージで補正を行う。テンプレートサーチは、上述の本例にて採用される演算法（Ａ）（Ｂ）を用いても良いものとする。

以上のように、第１の方向から照射される電子ビームによって取得された第１の透過像と、前記第１の方向とは異なる方向から照射される電子ビームによって取得されると共に、前記第１の透過像より前記試料上の狭い範囲であって、傾斜によって生ずる周辺ぼけ領域とは異なる領域の第２の透過像を取得し、前記第１の透過像内を前記第２の透過像を用いてサーチを行うことによって、ビーム、或いは試料傾斜によって生ずる周辺ぼけ領域の存在に依らず、高いサーチ精度を得ることが可能となる。

透過型電子顕微鏡の概略を説明する図。透過電子顕微鏡の動作を示すフローチャート。透過電子顕微鏡の動作を示すフローチャート。透過電子顕微鏡の動作を示すフローチャート。透過電子顕微鏡の動作を示すフローチャート。透過電子顕微鏡の動作を示すフローチャート。自動試料傾斜制御画面の一例を示す図。自動焦点補正制御画面の一例を示す図。オートフォーカス電子光学系の一例を示す図。イメージシフトの一例を示す図。試料ステージの一例を示す図。試料傾斜機構の一例を示す図。傾斜角度と有効画素数との関係を説明する図。ぼけがない領域を画像上で識別表示した例を示す図。画像の一部に特徴的なコントラストを有する視野の一例を説明する図。ニューラルネットの考え方を説明する図。画像上でテンプレート登録を行う例を説明する図。テンプレートによる移動量計測の例を説明する図。移動量計測法の一例を説明する図。２つの画像の相関を計算する例を説明する図。一致度計算方法の一例を説明する図。デフォーカス時の移動量と一致度との関係を説明する図。本実施例におけるデフォーカス時の移動量と一致度との関係を説明する図。デフォーカスと一致度の関係を説明する図。オートフォーカス法の一例を説明する図。試料傾斜時の像移動量と一致度との関係を説明する図。本実施例における試料傾斜時の像移動量と一致度との関係を説明する図。試料傾斜時の像移動量と一致度との関係を説明する図（１２８画素）。試料傾斜時の像移動量と一致度との関係を説明する図（２５６画素）。

符号の説明

１電子銃
２第１照射レンズコイル
３第２照射レンズコイル
４第１偏向コイル
５第２偏向コイル
６対物レンズコイル
７第１電磁式試料イメージ移動用コイル
８第２電磁式試料イメージ移動用コイル
９第１中間レンズコイル
１０第２中間レンズコイル
１１第１投射レンズコイル
１２第２投射レンズコイル
１３〜２３励磁電源
２４〜３４ＤＡＣ
３５マイクロプロセッサ
３６記憶装置
３７演算装置
３８ＣＲＴコントローラ
３９ＣＲＴ
４０，４１Ｉ／Ｆ
４２倍率切替用ロータリーエンコーダ
４３入力用ロータリーエンコーダ
４４キーボード
４５ＲＡＭ
４６ＲＯＭ
４７ＴＶ制御部
４８シンチレータ
４９ＴＶ
５０マウス

Claims

電子銃と、
電子線を試料に照射する収束レンズと、
電子線を偏向する機構と、
試料に焦点を合わせる対物レンズと、
試料を載置する試料ステージと、
試料を透過した電子線を拡大する結像レンズと、
透過像を画像データとして取り込む機構と、を備え、
第１の方向から試料に電子線を照射して取得した第１の透過像をサーチエリア画像として記憶し、
前記第１の方向とは異なる方向から試料に電子線を照射して取得した第２の透過像における画像中心を含み、且つ、前記サーチエリア画像より狭い領域をテンプレート画像として記憶し、
前記サーチエリア画像と前記テンプレート画像から移動量と一致度を算出し、
前記一致度が所定以上の場合に、前記移動量に基づいて前記対物レンズの焦点を自動補正し、
前記動作を所定の傾斜角度まで繰り返して行い、電子ビームの試料に対する照射角を変化させ、複数の照射角にて取得された透過像を合成し、三次元像を構築することを特徴とする透過電子顕微鏡。
請求項１記載の透過電子顕微鏡であって、
焦点補正後に透過像を取得することを特徴とする透過電子顕微鏡。
電子銃と、
電子線を試料に照射する収束レンズと、
電子線を偏向する機構と、
試料に焦点を合わせる対物レンズと、
試料を載置する試料ステージと、
試料を透過した電子線を拡大する結像レンズと、
透過像を画像データとして取り込む機構と、を備え、
第１の方向から試料に電子線を照射して取得した第１の透過像をサーチエリア画像として記憶し、
前記第１の方向とは異なる方向から試料に電子線を照射して取得した第２の透過像における画像中心を含み、且つ、前記サーチエリア画像より狭い領域をテンプレート画像として記憶し、
前記サーチエリア画像と前記テンプレート画像から移動量と一致度を算出し、
前記一致度が所定以上の場合に、前記移動量に基づいて試料ステージやイメージシフトを用いて位置補正し、
前記動作を所定の傾斜角度まで繰り返して行い、電子ビームの試料に対する照射角を変化させ、複数の照射角にて取得された透過像を合成し、三次元像を構築することを特徴とする透過電子顕微鏡。
請求項１〜３のいずれかに記載の透過電子顕微鏡であって、
前記一致度が所定未満の場合に、エラーメッセージを表示することを特徴とする透過電子顕微鏡。
請求項１〜３のいずれかに記載の透過電子顕微鏡であって、
前記一致度が所定未満の場合に、前記テンプレート画像のサイズを大きくして移動量と一致度を再度算出することを特徴とする透過電子顕微鏡。
請求項１〜５のいずれかに記載の透過電子顕微鏡であって、
正規化パターンマッチングにより前記一致度と前記移動量を算出することを特徴とする透過電子顕微鏡。
請求項１〜５のいずれかに記載の透過電子顕微鏡であって、
ニューラルネットを用いた画像処理により前記一致度と前記移動量を算出することを特徴とする透過電子顕微鏡。