JP4891788B2 - 電子顕微鏡像の歪み補正方法及び輝度補正方法 - Google Patents

Description

本発明は電子顕微鏡の歪み測定方法及び輝度補正方法に関し、更に詳しくは透過型電子顕微鏡（ＴＥＭ）を用いて自動的にステージ移動を行なう分野又は像の歪みを補正する分野に利用される電子顕微鏡の歪み補正方法及び輝度補正方法に関する。

ＴＥＭを用いて像を観察する場合、像の歪みが問題となっている。図３は歪みの概念図である。（ａ）は歪みがない場合の格子状画像例、（ｂ）はたる型歪み、（ｃ）は糸巻き歪みと呼ばれるものである。これらの歪みが生じると、試料上の長さの計測が正確にできないばかりでなく、画像上で見つけた位置に自動的にステージを移動するような自動化システムにおいて正確な移動ができないという問題を生じる。また、歪みによって像が局所的に伸び縮みすることで観察される輝度が高くなったり低くなったりするため、同じ視野の中においても明るさが大きく変化し、試料のコントラストを公平に比較することができない。

従って、歪みを低減するための種々の手法が提案されている。その一つの例として、電子銃から発生した電子線を試料上に収束するための収束レンズ系と、該試料を透過した電子線を拡大結像する結像レンズ系と、該結像レンズ系による像を撮像する手段とを有し、該撮像する手段に前記結像レンズ系による像の歪みを補正する手段を設けた技術が知られている（例えば特許文献１参照）。

また、Ｘ，Ｙ偏向信号を補正回路に入れて、４象限に分割された領域において選択されたそれぞれの領域に限定してＸ，Ｙとも単独に補正を行ない出力して、ＣＲＴ偏向コイルにてＣＲＴを部分的な補正を行った偏向信号により偏向するようにした技術が知られている（例えば特許文献２参照）。
特開平９−６９３５１号公報（段落０００８〜００１６、図１〜図３） 特開平７−３２０６７８号公報（段落０００７〜００１０、図１〜図４）

普通の像観察用のレンズ状態においては、よく調整された場合はこれらの歪みは無視できるほど小さいが、染色しない生物試料の観察などにおいては広い視野を確保したり像のコントラストをよくする目的でしばしば回折パターン用のレンズ状態が用いられ、その場合には大きな像歪みを生じることが多い。

図４に示したのは、炭素の薄い膜に等間隔に円形の孔が空いた試料（ホーリーカーボンと呼ばれる）の像であるが、強い糸巻き歪みのためにほとんどの孔が楕円になり、大きさも間隔も等しく見えない。また、本来視野全体で均一的なコントラストであるはずが、歪みによる像の伸びが大きい周辺部においては、中心部よりかなり輝度が低くなっている。

生体高分子やウイルスを単粒子解析という手法で構造解析する場合には、しばしばこのようなホーリーカーボンの孔の部分に試料液を入れて凍らせたものを用いて像を撮影するが、多数の像を必要とするために撮影の自動化が検討されている。例えば、図４のような像をデジタルカメラで撮影してコンピュータに取り込み、その画像を用いてどの孔に撮影に行くべきかをソフトウェアが自動的に決定したり、使用者が決定してソフトウェアに指示したりする。

ところが、そのようにしてステージを移動すべき位置を画像上で決定しても、このような強い歪みのある像においては正確にその位置に移動することができない。また、撮影すべき孔の判定はしばしば孔の部分の輝度を基準に決める。試料液が入っていない空の孔では全ての電子線が透過するため輝度が高く、試料液が入りすぎて撮影に適さないほど分厚くなってしまった孔は電子線が透過しにくいため輝度が低い。

試料液がほどよく入っている撮影に適した孔は、その中間の輝度で観測されるのである。しかしながら、歪みによって孔の輝度が変化してしまうと、撮影に適した孔を見つけることができなくなる。そのため、歪みを測定して形状と輝度の両方を補正するための手法が要求されている。

歪みを測定する手法は、一般の光を用いたカメラによる撮影において多数用意されているが、いずれもカメラのレンズ系の固定された歪みを測定・補正するものであり、専用のパターンが印刷された試料を撮影して一度だけ行われる。しかしながら、電子顕微鏡による観察のようにレンズ状態がしばしば変更されて毎日のように歪みの状態が変化する状況ではこのような測定・補正方法は用いることができない。

本発明はこのような課題に鑑みてなされたものであって、電子顕微鏡による観察におい
て、容易に歪みを測定し、形状と輝度の両方を補正することができる電子顕微鏡の歪み補正方法及び輝度補正方法を提供することを目的としている。

（１）請求項１記載の発明は、ホーリーカーボンを用いて試料を作成し、ＴＥＭに挿入して観察に適したレンズ状態にし、結像系により結像された画像をデジタルカメラに取り込み、取り込んだ画像を表示すると共に、等間隔に格子状に並んだ円を孔の模式図として、画像の上に重ねて表示し、表示された画像の周辺に表示されたボタンを用いて、模式図を実際の孔に合わせ込み、模式図を実際の孔に合わせ込んだ時の、模式図における歪みの中心（ｘ0，ｙ0）と歪みの大きさκを求め、これら歪みの中心（ｘ0，ｙ0）と歪みの大きさκを用いて、前記画像を、たる型または糸巻き型の歪みのない画像に補正するようにしたことを特徴とする
（２）請求項２記載の発明は、ホーリーカーボンを用いて試料を作成し、ＴＥＭに挿入して観察に適したレンズ状態にし、結像系により結像された画像をデジタルカメラにより取り込み、取り込んだ画像を表示すると共に、等間隔に格子状に並んだ円を孔の模式図として、画像の上に重ねて表示し、表示された画像の周辺に表示されたボタンを用いて、模式図を実際の孔に合わせ込み、模式図を実際の孔に合わせ込んだ時の、模式図における歪みの中心（ｘ0，ｙ0）と歪みの大きさκを求め、前記画像上の位置（ｘ2，ｙ2）における観測された輝度Ｉを、その輝度Ｉと、前記歪みの大きさκと、前記歪みの中心（ｘ0，
ｙ0）から前記位置（ｘ2，ｙ2）までの距離Ｒに基づいて補正するようにしたことを特徴とする。

（１）請求項１記載の発明によれば、等間隔に格子状にならんだ円を孔の模式図として、画像の上に重ねて表示し、模式図が実際の孔に合わせ込まれた時の歪みの中心と歪みの大きさを算出し、歪みの中心と歪みの大きさとから、電子顕微鏡の歪みを測定することができる。
（２）請求項２記載の発明によれば、等間隔に格子状にならんだ円を孔の模式図として、画像の上に重ねて表示し、模式図が実際の孔に合わせ込まれた時の歪みの中心と歪みの大きさを算出し、歪みの中心と歪みの大きさとから、電子顕微鏡の輝度を補正することができる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。図１は本発明システムの構成例を示す図である。図において、１は透過型電子顕微鏡（ＴＥＭ）、４はＴＥＭ像を撮影するデジタルカメラ、３はデジタルカメラ４からの画像を取り込んで、歪みの測定、輝度の補正を行なうコンピュータ、３ａはディスプレイである。２はデジタルカメラ４の画像をコンピュータ３に転送するための画像取り込み用ケーブルである。

このように構成されたシステムにおいて、コンピュータ３では、本発明によるソフトウェアが動作し、画像取り込み用ケーブル２を介してデジタルカメラ４から画像を取得したり、歪み測定のためのユーザインタフェースをディスプレイ３ａに表示する。

図２は本発明システムの動作フローを示す図である。以下、このフローに沿って本発明を説明する。
Ｓ１：ホーリーカーボン試料を準備
操作者は、ホーリーカーボンを用いて試料を作成し、ＴＥＭ１に挿入して観察に適したレンズ状態にする。
Ｓ２：本発明のソフトウェアを起動
操作者はコンピュータ３をオンにし、本発明のソフトウェアを起動する。
Ｓ３：デジタルカメラから画像取り込み
本発明のソフトウェアは、画像取り込み用ケーブル２を介してデジタルカメラ４から画像を取り込む。
Ｓ４：画像と孔の模式図を表示
本発明のソフトウェアは、取り込んだ画像をディスプレイ３ａに表示する。同時に等間隔に格子状に並んだ円を孔の模式図として、画像の上に重ねて表示する。また、孔の模式図の位置、円の半径、間隔、格子の傾き、歪みの中心、歪みの程度を変更するためのボタン等を表示する。

図５は本発明のソフトウェアの実施画面の例を示す図である。図に示す表示は、全てコンピュータ３のディスプレイ３ａに表示される。１０は画像表示部、１１は画像、１２は孔の模式図である。孔の模式図の位置は、マウスによるドラッグで変更する。２０は円の半径を変更するためのボタン、２１は孔の間隔を変更するためのボタン、２２は格子の傾きを変更するためのボタン、２３は歪みの中心を変更するためのボタン、２４は歪みの程度を変更するためのボタンである。

このように、表示部１０には、デジタルカメラ４から取り込んだ像が表示され、それに重ねて孔の模式図（等間隔に並んだ円）、模式図の中心位置（十字）、歪みの中心（×印）が表示されている。この図では、模式図の中心を表す十字と、歪みの中心を表す×印とが重なっている。
Ｓ５：模式図と実際の孔を合わせる
操作者は本発明のソフトウェア上に表示されたボタン等を用いて、孔の模式図の位置、円の半径をボタン２０で、間隔をボタン２１で、格子の傾きをボタン２２で、歪みの中心をボタン２３で、歪みの程度をボタン２４で変更し（図６〜図９、詳細後述）、模式図を実際の孔に合わせ込む（図９）。

ここで、歪みの中心を（ｘ０，ｙ０）、歪みの大きさをκとして画像に歪みを加えると、画像上の位置（ｘ１，ｙ１）にある部分は、以下の式で表される（ｘ２，ｙ２）に移動する。

本発明のソフトウェアは、この式を用いて、操作者が指定した歪みを模式図に加えることが可能である。但し、κが負の時は歪みはたる型、κが正の時は歪みは糸巻き型となる。
Ｓ６：歪みパラメータを記憶
本発明のソフトウェアは、Ｓ５で操作者によって決定された歪みの中心（ｘ０，ｙ０）と歪みの程度κを記憶する。これらのパラメータを用いて、画像に逆向きの歪みをかけることで、歪みのない画像を生成することができる。これにより、試料上の長さの計測が正確にでき、ステージの正確な移動が可能となる。

因みに、形状の補正は（１）式、（２）式で行なうことができるが、輝度の補正も行なう必要がある。図４に示すように、画像の中心が輝度が高く、画像の周辺は輝度が低い。そこで、輝度の補正を行なう必要がある。（１），（２）式を極座標で表すと次式のようになる。

ここで、Ｒ，ｒは次式に示すものとなる。

ｒのＲによる微分は、次式のようになる。

これを用いて図１０の微小面積ΔｓとΔＳの関係を考える。図１０は歪みのないもともとの状態における微小部分の面積Δｓが歪みによってΔＳとして観測される様子を示す模式図である。Δｓにおける輝度をｉとし、Δｓが歪みによってΔＳに引き伸ばされた結果、Ｉとして観測されるとすると、
ｉ・Δｓ＝Ｉ・ΔＳ
であるから、
ｉ＝Ｉ・ΔＳ／Δｓ
となる。ところで、Δｓ及びΔＳは図１０より
Δｓ＝ｒ・Δｒ・Δθ
ΔＳ＝Ｒ・ΔＲ・ΔΘ
と表される。これらの式を用いて、位置（ｘ２，ｙ２）に観測された輝度Ｉの本来の輝度ｉは
ｉ＝Ｉ・ΔＳ／Δｓ＝Ｉ・Ｒ・ΔＲ・ΔΘ／ｒ・Δｒ・Δθ
＝Ｉ・（１＋κＲ²）³／（１−κＲ²） （７）
で求めることができる。即ち、位置（ｘ２，ｙ２）における観測された輝度Ｉを（７）式により輝度ｉに変換することで、本来の輝度に補正することができる。

次に、図６〜図９について説明する。図６は図５の状態から操作者が孔の模式図の中心を移動して模式図の孔の一つを実際の孔の一つに合わせた例を示す図である。十字は模式図の中心位置、×印は歪みの中心位置である。模式図の中心の移動は、マウスによるドラッグで変更する。図７は図６の状態から操作者が孔の模式図の格子を回転して孔の模式図の傾きを実際の孔の並びの傾きに合わせた例を示す図である。傾きの変更は、傾き変更用のボタン２２で行なう。

図８は図７の状態から操作者が孔の模式図の半径と間隔を修正して孔の模式図の一部を歪みの小さい領域における実際の孔に合わせた例を示す図である。半径の修正はボタン２０により行ない、間隔の修正はボタン２１により行なう。図９は図８の状態から操作者が孔の模式図に加える歪みの中心と歪みの強さを修正して、画像全体で孔の模式図を実際の孔に合わせた例を示す図である。歪みの中心の修正はボタン２３により行ない、歪みの強さの修正はボタン２４により行なう。

図９に示すように孔の模式図を実際の孔に合わせた状態で、（１）式、（２）式に示す歪みの中心（ｘ０，ｙ０）と、歪みの大きさκが求まったことになる。そこで、歪みによる移動座標（ｘ２，ｙ２）が求まる。そして、この移動座標（ｘ２，ｙ２）と符号が逆向きの歪みをかけることで歪みのない画像を生成することができる。

図１１は強い糸巻き歪みにより輝度と形状が変化して観測された画像（左上）（ａ）と、その画像の歪みを測定して形状のみ補正した画像（右上）（ｂ）と、輝度のみ補正した画像（左下）（ｃ）と、形状と輝度の両方を補正した画像（右下）（ｄ）を示している。（ａ）では、画像の周辺にいくほど画像がゆがんでおり、また輝度の補正はなされていないので、画像の中心部が輝度が高いことが分かる。（ｂ）に示す画像では、形状の補正がなされているので、周辺の画像もゆがみがなくなっている。しかしながら、輝度の補正はなされていないので、画像の中心部が輝度が高い状態は改善されていない。

（ｃ）に示す画像では、（ａ）に示す画像から輝度のみ補正した画像を示している。画像の中心部が輝度が高い状態は改善されているが、ゆがみは依然として残っている。（ｄ）に示す画像では、画像の形状及び輝度共に補正されていることが分かる。

以上、詳細に説明したように、本発明によれば歪みを容易に測定することができるようになる。また、測定して記憶した歪みパラメータ（歪みの中心と歪みの程度）を用いて歪みを補正することにより、歪みのない画像を生成することができる。また、同時に輝度を補正することもできる。この結果、歪みのない画像を用いれば、精密な計測や正確なステージ移動、試料のコントラストの正確な評価が可能となる。

本発明システムの構成例を示す図である。 本発明システムの動作フローを示す図である。 歪みの概念図である。 回折パターン観察用レンズ状態で撮影した像の例を示す図である。 本発明のソフトウェアの実施画面の例を示す図である。 図５の状態から操作者が孔の模式図の中心を移動して模式図の孔の一つを実際の孔の一つに合わせた例を示す図である。 図６の状態から操作者が孔の模式図の格子を回転して孔の模式図の傾きを実際の孔の並びの傾きに合わせた例を示す図である。 図７の状態から操作者が孔の模式図の半径と間隔を修正して孔の模式図の一部を歪みの小さい領域における実際の孔に合わせた例を示す図である。 図８の状態から操作者が孔の模式図に加える歪みの中心と歪みの強さを修正して画像全体で孔の模式図を実際の孔に合わせた例を示す図である。 歪みのないもともとの状態における微小部分の面積Δｓが歪みによってΔＳとして観測される様子を示す図である。 強い糸巻き歪みにより輝度と形状が変化して観測された画像と、その画像の歪みを測定して形状のみ補正した画像、輝度のみ補正した画像、形状と輝度の両方を補正した画像を示す図である。

符号の説明

１ 透過型電子顕微鏡（ＴＥＭ）
２ 画像取り込み用ケーブル
３ コンピュータ
３ａ ディスプレイ
４ デジタルカメラ

Claims (2)

1. ホーリーカーボンを用いて試料を作成し、ＴＥＭに挿入して観察に適したレンズ状態にし、
   結像系により結像された画像をデジタルカメラに取り込み、
   取り込んだ画像を表示すると共に、等間隔に格子状に並んだ円を孔の模式図として、画像の上に重ねて表示し、
   表示された画像の周辺に表示されたボタンを用いて、模式図を実際の孔に合わせ込み、
   模式図を実際の孔に合わせ込んだ時の、模式図における歪みの中心（ｘ0，ｙ0）と歪みの大きさκを求め、
   これら歪みの中心（ｘ0，ｙ0）と歪みの大きさκを用いて、前記画像を、たる型または糸巻き型の歪みのない画像に補正するようにした
   ことを特徴とする電子顕微鏡像の歪み補正方法。
2. ホーリーカーボンを用いて試料を作成し、ＴＥＭに挿入して観察に適したレンズ状態にし、
   結像系により結像された画像をデジタルカメラにより取り込み、
   取り込んだ画像を表示すると共に、等間隔に格子状に並んだ円を孔の模式図として、画像の上に重ねて表示し、
   表示された画像の周辺に表示されたボタンを用いて、模式図を実際の孔に合わせ込み、
   模式図を実際の孔に合わせ込んだ時の、模式図における歪みの中心（ｘ0，ｙ0）と歪みの大きさκを求め、
   前記画像上の位置（ｘ2，ｙ2）における観測された輝度Ｉを、その輝度Ｉと、前記歪
   みの大きさκと、前記歪みの中心（ｘ0，ｙ0）から前記位置（ｘ2，ｙ2）までの距離Ｒに基づいて補正するようにした
   ことを特徴とする電子顕微鏡像の輝度補正方法。