JP4616687B2 - 透過電子顕微鏡試料位置検出方法 - Google Patents

Description

本発明は透過電子顕微鏡位置検出方法に関し、更に詳しくはＴＥＭを用いて自動で像収集を行なう透過電子顕微鏡位置検出方法に関する。

元来、ＴＥＭ（透過型電子顕微鏡）の像観察は蛍光板にて行われ、撮影はフィルムやイメージプレート等で行われてきた。しかしながら、近年、観察や撮影を省力化・自動化するために、ＴＶカメラやスロースキャンＣＣＤカメラ等のデジタルカメラをＴＥＭに装着し、コンピュータによる取り込みや制御が行われるようになってきている。

特に、コンピュータによって試料検索を自動的に行なう試みが近年盛んに行なわれるようになってきた。このような場合、最初に極く低い倍率（例えば数十倍）で試料全体を俯瞰する像を撮影するか、またはそのような倍率が実現困難な場合は、複数の像をつなげてモンタージュ合成を行ない、このように生成した試料全体の像において次にどの部分を撮影すべきかを決める。

図６は試料像の説明図である。図において、（ａ）は試料全体の像、（ｂ）は一部拡大図、（ｃ）は撮影に適した箇所の拡大図である。図において、１は金属メッシュである。金属メッシュは、試料の形状を整えるために用いられる。試料の厚さは例えば数１００ｎｍ程度である。金属メッシュでできる灰色の孔の部分が試料面である。

（ｂ）の拡大図において、（Ａ）は撮影に適した箇所、（Ｂ）はメッシュ上なので撮影に適さない箇所、（Ｃ）は暗い試料なので撮影に適さない箇所、（Ｄ）は試料がないので撮影に適さない箇所である。（ａ）に示すように、試料全体の像から、次にどの部分を撮影するかを決める。（ｂ）が撮影に適した場所の拡大図であり、次にどの部分を撮影すべきかを決める。（ｃ）は拡大画像から更に撮影に適した箇所の拡大図を示している。

（ｂ）に示すように、一般に撮影に適しているのは、金属メッシュの孔の中の適切な試料厚みの部分（Ａ）のみであり、金属部分（Ｂ）、試料の厚みや明るさが適切でない部分（Ｃ），（Ｄ）は撮影に適さない。従って、どの部分が撮影に適しているかを判断してから撮影に移るが、元来この判断は人間が行なってきた。

しかしながら、ＴＥＭ制御、撮影を自動で行なうソフトウェアにおいては、この判断を自動的に行なう必要がある。そのためには、図６の（ａ）に示すように試料全体を俯瞰する像等において、金属部分とメッシュの孔の部分を識別する必要がある。この識別は、図６の（ａ）に示すように、コントラストの明瞭な像においては２値化で簡単に行なうことができる。即ち、明るい部分が孔、暗い部分が金属と判断することができる。

従来のこの種の技術としては、撮像した視野が目的とする形態の検索に適する視野であるか、適さない視野であるかを自動的に判定し、必要な視野のみを効率的に抽出する技術が知られている（例えば特許文献１参照）
特開２００２−２５４９１号広報（段落００１９〜００２３、図１）

しかしながら、試料像が明瞭なコントラストの像になるとは限らない。特に、高速な動作のためにＴＶカメラを用いるような場合には、ノイズやシェーディング（位置によって明るさが異なる現象、画面中央付近で明るく、端に行くほど暗くなる場合等がある）が強く、２値化で孔を捉えられないことがある。図７にＴＶカメラで撮影してモンタージュ合成したシェーディングＴＥＭ像の全体像を示すが、強いシェーディングがあることが確認できる。なお、図中白い線で囲った領域ＡがＴＶカメラで一度に撮影できる範囲を示す。この領域を動かして合成することで、モンタージュ画像が得られる。画面左端が明るく、右側が暗いシェーディングが目立っている。

図７はシェーディングを示す図である。画像の左端と右端に強いシェーディングがあることが分かる。この像を２値化しても、うまく孔を捉えるのは困難である。図８は画像の２値化を示す図である。２値化の結果は、閾値によって異なるが、（ａ）は人間が見て最もよい結果を得る閾値を人間が決めたものである。実際の自動化システムにおいては、コンピュータがこの閾値を決める必要があり、より悪い結果となることが多い。

図８は画像の２値化を示す図である。（ａ）に２値化した例を示すが、ノイズやシェーディングの影響で多くの孔を正確に捉えることができていない。全く検出できていない孔もある。図８の（ｂ）は本発明によって検出した孔を示している（詳細後述）。両者の間には歴然とした差があることが分かる。

本発明はこのような課題に鑑みてなされたものであって、激しいノイズやシェーディングを含むような画像においても、ＴＥＭ試料の金属メッシュ部分と孔の部分を正確に識別することができる透過電子顕微鏡位置検出方法を提供することを目的としている。

（１）請求項１記載の発明は、既知の周期で孔が形成された金属メッシュの像を含んだ試料全体像を作成し、作成した全体像をフーリエ変換し、フーリエ変換して得られたパワースペクトルのうち、前記周期に対応する楕円または正円上に現れるパワースペクトルのピークを検出し、パワースペクトルの格子の周期と方向からダミー格子を生成し、元の像とダミー格子の相互相関像を計算し、計算した結果から孔の位置を決定する、ようにしたことを特徴とする。

本発明によれば、パワースペクトルという全体的な情報とダミー格子というピクセル単独よりは広い範囲の情報を用いることによって、ノイズやシェーディングに影響されにくい孔の検出を行なうことができる。

以下、図面を参照して本発明の実施の形態例を詳細に説明する。
図１は本発明の実施の形態例を示す構成図である。図において、１はＴＥＭ（透過電子顕微鏡）、３はＴＥＭ１との通信用のインターフェイス及び画像取り込み用のインターフェイスを備えたコンピュータ、２はＴＥＭ１とコンピュータ３間を接続するＴＥＭ制御用ケーブル、４はＴＥＭ画像を撮影するディジタルカメラ、５は該ディジタルカメラとコンピュータ３をつなぐ画像取り込み用ケーブルである。６はＴＥＭ試料中の電子線が透過可能な位置を検出する透過可能位置検出手段である。該透過可能位置検出手段６は、ハードウェアでもソフトウェアでも実現することができる。ここでは、ソフトウェアで実現した場合を示す（以下透過可能位置検出手段をソフトウェアと呼ぶ）。このように構成されたシステムの動作を説明すれば、以下の通りである。

コンピュータ３では、本発明によるソフトウェア６が動作し、ＴＥＭ１との制御用ケーブル２を介してＴＥＭ１のステージや光学系を制御する。また、コンピュータ３は画像取り込み用ケーブル５を介して、カメラ４から画像を取り込む。コンピュータ３では、本発明によるソフトウェア６が動作し、ＴＥＭ１の試料全体を俯瞰する像を撮影若しくはモンタージュを合成し、金属部分と孔の部分の識別を行なう。

図２は本発明の動作の一例を示すフローチャートである。なお、予めＴＥＭの納入時等に、カメラ４で見込む視野の大きさがキャリブレーションされ、像の１ピクセルが試料の何ｎｍに相当するかが判明しているものとする。また、メッシュがどのタイプであるかが、操作者によって指定されているものとする。つまり、一般によく使用される金属メッシュは、１／４００インチの周期で孔のある４００メッシュというタイプと、１／２００インチの周期で孔のある２００メッシュというタイプがあるが、このどちらであるかが予め指定されているものとする。以下、図２に示すフローチャートに沿って、順次説明していく。
（Ｓ１）試料全体像作成
ソフトウェア６は、ＴＥＭ１を操作し、カメラ４から像を取り込んで（必要ならモンタージュ合成を行なって）、試料全体を俯瞰する像を生成する。
（Ｓ２）フーリエ変換
ソフトウェア６は生成した像をフーリエ変換する。
（Ｓ３）パワースペクトルのピーク検出
ソフトウェア６は、フーリエ変換した結果の各々のピクセル値である複素数のパワー（実部の二乗と虚部の二乗の和）を求める（図３，図４の左の図）。図３は周期的な構造の例を示す図、図４はパワースペクトルの説明図である。図４において、左の画像（ａ）は図３に示す画像をフーリエ変換して得られるパワースペクトル、真ん中はその低周波成分の部分の拡大図、右は既知の周期に対応する楕円付近をマスキングしたものである。図３に見られる格子状の構造が、（ｃ）に示すようにパワースペクトルでは楕円上の４つのピークとなる。この４つのピークは、グリッドスクエア（メッシュで囲まれた四角形）の周期に対応している。

この時、必要に応じてマスキングを行なう。即ち、周期が分かっている直交する格子状の構造はパワースペクトル上で楕円（元の画像の縦のピクセル数と横のピクセル数が同じならば正円）の上に載る４つのピークとなって現れる（図４の（ｃ））ので、既知の大まかな周期（４００メッシュなら１／４００インチ、２００メッシュなら１／２００インチ）に対応する楕円の付近のみパワースペクトルを計算し、それ以外の部分ではパワーをゼロとしておく（図４の（ｃ）の図）。ソフトウェア６は、パワースペクトルのマスク内から４つのピークの位置を求める。
（Ｓ４）ダミー格子の生成
ソフトウェア６は、ピークの位置から格子構造の正確な周期と方向を得ることができる。この時、フーリエ変換後の複素数の位相から各格子点の位置も計算可能であるので、原理的には各孔の位置を求めることができる。しかしながら、ＴＥＭのステージのわずかな非直交性、非線形性や、像のひずみ等のため、実際の格子は試料全体に渡って厳密な格子になっているわけではなく、フーリエ変換の結果から正方格子を仮定して全体の格子の配置を求めると、場所によっては１周期分くらいずれてしまうことがある。

ただし、局所的なパワースペクトルから求めた格子の周期と方向は実際の構造によく一致するので、この周期と方向を持つ小さな格子像を生成する（図５の（ａ）の図）。これをダミー格子と呼ぶことにする。図５は図４の４つのピークに対応する周期を持つ格子と、それと元の像との相互相関を示す図である。（ａ）は図４の４つのピークに対応する周期及び方向を持つ格子を示し、（ｂ）はそれと元の像（図３参照）との相互相関を示す図である。
（Ｓ５）元の像とダミー格子の相互相関の計算
ソフトウェア６は、元の像とダミー格子の相互相関を計算する。これは、パターン認識の一般的な手法であり、元の像の上で１ピクセルずつずらしながらダミー格子を重ねておき、重なり合ったピクセル同士を比較して、値が似ていれば高い得点を、似ていなければ低い得点を加算することに等しい。この結果、生成された相互相関図（図５の（ｂ））において、白い部分が元の像とダミー格子がよく一致した部分、黒い部分が一致しなかったところを表している。
（Ｓ６）孔の位置の決定
ソフトウェア６は、Ｓ５で生成した相互相関像において高い相関値となっている部分のピークの位置を求め、これを元の像の孔の位置とする。孔の方向は、パワースペクトルのピークから求まっているので、これにより個々の孔と金属部分を識別できる。図７に示した試料全体像における、本発明による孔の密度検出結果を図８の（ｂ）に示す。なお、図８の（ｂ）において、ソフトウェア６の都合上、検出範囲を直径２ｍｍの円形領域に限定したため、一部検出されていない孔がある。

なお、この後、個々の孔の輝度値から撮影にふさわしい部分とそうでない部分をコンピュータが判断して、ＴＥＭ像の収集を自動で行なうことが可能である。
以上、詳細に説明したように、本発明によれば、個々のピクセル値の情報のみで識別を行なう２値化に対して、パワースペクトルという全体的な情報とダミー格子という局所的であるがピクセル単独よりは広い範囲の情報を用いることによって、ノイズやシェーディングに影響されにくい孔の検出を行なうことができる。

実際、図３に見られるように、元の像はノイズやシェーディングの影響が大きく、またそもそも白く写っていない孔もあるが、ダミー格子との相互関係（図５の（ｂ）の図）におけるピークは明瞭で、もともとは孔が写っていなかった位置にもピークが出る。これは、ピクセル単独の輝度値に基づく判断をせずにその周囲の状態が計算に寄与するためである。図８の（ｂ）に示す図においても、図７の全体像の各々の孔の位置を正確に捉えていることが分かる。

本発明により、強いノイズがあったり、一部の孔が写っていない像においても、個々の孔の位置を正確に求めることができるようになった。

本発明の実施の形態例を示す構成図である。 本発明の動作の一例を示すフローチャートである。 周期的な構造の例を示す図である。 パワースペクトルの説明図である。 図４の４つのピークに対応する周期を持つ格子と、それと元の像との相互相関を示す図である。 試料像の説明図である。 シェーディングを示す図である。 画像の２値化を示す図である。

符号の説明

１ ＴＥＭ（透過型電子顕微鏡）
２ ＴＥＭ制御用ケーブル
３ コンピュータ
４ ディジタルカメラ
５ 画像取り込み用ケーブル
６ 透過可能位置検出手段（ソフトウェア）

Claims (1)

1. 既知の周期で孔が形成された金属メッシュの像を含んだ試料全体像を作成し、
   作成した全体像をフーリエ変換し、
   フーリエ変換して得られたパワースペクトルのうち、前記周期に対応する楕円または正円上に現れるパワースペクトルのピークを検出し、
   パワースペクトルの格子の周期と方向からダミー格子を生成し、
   元の像とダミー格子の相互相関像を計算し、
   計算した結果から孔の位置を決定する、
   ようにしたことを特徴とする透過電子顕微鏡試料位置検出方法。