JP4451647B2 - 電子顕微鏡におけるチルト系列の自動配置決定方法 - Google Patents

Description

本発明は、電子顕微鏡におけるチルト系列の自動配置決定方法に関する。

電子顕微鏡の利用において、電子顕微鏡で観察されるサンプルに関する３次元情報を取得できることが望ましい。そのような３次元情報は、当該サンプルのチルト系列（ｔｉｌｔ ｓｅｒｉｅｓ）から、コンピュータアルゴリズムを利用して３次元構造を再構築することにより導出することができる。透過型電子顕微鏡（ＴＥＭ）では、サンプルの薄さが数百ナノメータ、顕微鏡の分解能が数ナノメータあるいはそれ以下の場合もある。チルト系列とは、あるサンプルの画像系列であり、各画像が当該サンプルを露光する電子ビームの入射角を様々に変えながらサンプルを照射することにより得られるものをいう。例えば、１°刻みによる−７０°から＋７０°までのチルト間隔では、合計１４１枚の画像の系列が得られる。特に高い分解能でサンプルの構造を適切に再構成するため、測定幾何がわかっていることが重要である。従って、これらの画像が適切に位置決めされることが重要である。例えば、データ取得中の顕微鏡の温度ドリフト、サンプルの収縮、あるいは試料台やチルト機構の機械不良によるナノメータ単位の精度での試料台の位置決めができないというような理由から、各画像の位置合わせが失敗する。

チルト系列における複数の画像の位置合わせに関する既知の方法では、典型的には、数十ナノメータのサイズを有する金粒子のようなマーカー粒子をサンプルに付着させる。各マーカー粒子がチルト系列の各画像中に現れ、それによって、各画像の位置を参照することが可能になる。１つのチルト系列には多数の画像があるので、これらのマーカーは自動的に認識及び特定されることが好ましい。画像中のマーカーを自動認識するためのアルゴリズムは、画像中の構造をマーカーとして示すことができるが、そのような検出された構造が確実にマーカーであるという保証はない。このため、検出された構造は候補マーカーとしてラベル付けされ、ある確率でこのラベル付けされた構造は真のマーカーとして検出される。

画像中の候補マーカー群を特定し、各候補マーカーに少なくとも１つの確率パラメータを与える方法に関し、「”Ｓｃａｌｅ−Ｓｐａｃｅ Ｓｉｇｎａｔｕｒｅｓ ｆｏｒ ｔｈｅ Ｄｅｔｅｃｔｉｏｎ ｏｆ Ｃｌｕｓｔｅｒｅｄ Ｍｉｃｒｏｃａｌｃｉｆｉｃａｔｉｏｎｓ ｉｎ Ｄｉｇｉｔａｌ Ｍａｍｍｏｇｒａｍｓ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ， Ｖｏｌ． １８， Ｎｏ． ９， １９９９， ｐｐ．７７４−７８６」において記述がある。この論文において、画像中における候補マーカーの検出方法に関する記述がある。信頼性のあるパラメータの与え方や、検出された構造が認識されるべきかを決定するのに利用されるマーカーのサイズやコントラストに関して記述されている。しかしながら、マーカーの認識に関するさらなる説明はこの文献では与えられていない。
"Ｓｃａｌｅ−Ｓｐａｃｅ Ｓｉｇｎａｔｕｒｅｓ ｆｏｒ ｔｈｅ Ｄｅｔｅｃｔｉｏｎ ｏｆ Ｃｌｕｓｔｅｒｅｄ Ｍｉｃｒｏｃａｌｃｉｆｉｃａｔｉｏｎｓ ｉｎ Ｄｉｇｉｔａｌ Ｍａｍｍｏｇｒａｍｓ"， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ， Ｖｏｌ． １８， Ｎｏ． ９， １９９９， ｐｐ．７７４−７８６

本発明の課題は、考察対象のサンプルにおけるマーカーを認識することによる電子顕微鏡のチルト系列の自動配置決定方法を提供することにある。

上記課題を解決するために、本発明は、複数のマーカーを電子顕微鏡により画像形成されるサンプルに付するステップと、前記サンプルの複数の画像のチルト系列を与えるステップと、前記チルト系列の前記複数の画像の各自で第１候補マーカー群を特定するステップと、少なくとも１つの確率パラメータを各画像の各候補マーカーに与えるステップからなる電子顕微鏡におけるチルト系列の自動配置決定方法であって、前記少なくとも１つの確率パラメータに基づき、前記第１候補マーカー群から第２候補マーカー群を選択するステップと、前記第２候補マーカー群の候補マーカーを１つの画像に投影するステップと、前記１つの画像における前記候補マーカーを最もよく適合させる平行な直線群あるいは細長の楕円群を決定する適合アルゴリズムを適用するステップと、前記特定された候補マーカー群に基づき前記チルト系列の前記複数の画像を配置するステップをさらに備えることを特徴とする。

さらに上記課題を解決するために、本発明は、前記平行な直線群を決定する前記適合アルゴリズムは、ハフ変換から構成されることを特徴とする。

さらに上記課題を解決するために、本発明は、前記平行な直線群あるいは細長の楕円群を決定する前記適合アルゴリズムは、一般化ハフ変換から構成されることを特徴とする。

さらに上記課題を解決するために、本発明は、前記チルト系列の前記複数の画像の各自で候補マーカー群を特定する前に、相互相関処理が前記チルト系列の前記複数の画像に適用されることを特徴とする。

さらに上記課題を解決するために、本発明は、前記少なくとも１つの確率パラメータは、マーカーのサイズまたはローカルコントラストから導出されることを特徴とする。

さらに上記課題を解決するために、本発明は、前記適合アルゴリズムは、さらに、各候補マーカーに対し、前記ハフ変換に従って、対応する候補マーカーの座標に基づき正弦曲線を導出するステップと、前記正弦曲線から、各方向に対して、前記ハフ変換に従って、候補マーカーの密度と直線距離パラメータとの間の関係を示す複数のヒストグラムを導出するステップと、前記複数のヒストグラムの各自にエントロピー処理を適用し、各ヒストグラムに１つのエントロピーパラメータからなるエントロピーパラメータ群を取得するステップと、前記エントロピーパラメータ群の最小値を決定するステップと、ピーク多様性が最も高いものとして前記最小値に対応するヒストグラムを特定するステップと、前記特定されたヒストグラムから複数のピークを選択するステップと、前記ヒストグラムの選択された複数のピークの各ピーク位置から、前記ハフ変換に従って対応する直線距離パラメータを導出するステップを備えることを特徴とする。

本発明によると、チルト系列の画像におけるマーカー検出では、まず、チルト系列の各画像中で候補マーカーをおおまかに特定する。この粗い選択方法を適用するとき、真のマーカーでない多くの候補マーカー（偽陽性候補）が選択される。本発明による確率パラメータに基づくさらなる選択処理を実行することにより、これら偽陽性候補の多くが削除され、より信頼性の高い第２候補マーカー群を抽出することができる。この第２候補マーカー群の候補マーカーを１つの画像上に投影することにより、サンプルの画像のチルト系列を取得するのにチルト軸として利用される回転軸の直交方向の互いに平行な直線群上で真のマーカーが検出される。他の候補マーカー、すなわち、残りの偽陽性マーカーは、投影ステップにおいて得られた画像上に散在する。好ましくはコンピュータを利用して適当な適合アルゴリズムを適用することによって、画像中の候補マーカー群に適合した平行な直線群あるいは細長の楕円が決定される。場合によっては、直線群の代わりに細長の楕円群が利用されることがある。これは、チルト軸が電子ビームの光軸に正確には直交しない場合に起こる。直線群が決定された後、チルト軸の方向が判明し、チルト系列の画像群の位置合わせに利用される真のマーカー、すなわち、直線群上に検出されるマーカーが特定される。以降、既知の方法により位置合わせが実行される。

本発明によると、また、平行な直線群を決定するのに利用される適合アルゴリズムは、ハフ変換から構成される。多数の候補マーカーから直線群を認識するコンピュータによる認識処理では、周知のハフ変換が確実かつ安定的なアルゴリズムであることが知られている。

本発明によると、また、平行な直線群あるいは細長の楕円群を決定するのに利用される適合アルゴリズムは一般化ハフ変換から構成される。ある望ましからぬ影響により、直線に属する候補マーカーは直線に従って配置されず、概ね細長の楕円に従い配置されるかもしれない。このような場合、候補マーカー群に最もよく適合する楕円の長軸方向を検出するのに、一般化ハフ変換は好適なアルゴリズムである。

本発明によると、また、チルト系列の各画像における候補マーカーの特定前に、相互相関処理がチルト系列の画像に適用される。まず、チルト系列の各画像がおおまかに位置合わせされ、マーカーの１つの画像への投影がランダムに散在するのでなく、直線群上にほぼ配置される。この第１の粗い位置合わせ処理により、直線群にマーカーが集められ、適合アルゴリズムにより検出された直線群がわずかな偽陽性候補しか含まないようにすることができる。この第１の粗い位置合わせ処理は、相互相関処理から構成される。

本発明によると、また、確率パラメータはマーカーのサイズまたはローカルコントラストから導出される。これらは、画像のコンピュータ分析により比較的容易に導出でき、第１の粗い選択処理における初期的に検出された構造を候補マーカーとして特定するかの判断のための信頼性の高い数値であることがわかっている。

本発明によると、また、真のマーカー位置を含む直線群を特定するパラメータが決定される。この処理はコンピュータ利用することにより実行可能である。

以下、本発明の実施の形態について図面に基づいて説明する。

図１は、チルト系列において電子ビーム４により露光されているサンプル２の説明図である。典型的には、サンプルの厚さは数百ナノメータのオーダーである。チルト系列において当該サンプルは、図１に関して垂直なチルト軸６に関して回転される。この回転は、例えば、−７０°から＋７０°まで刻み幅１°というようなある一定の角度により行われる。この例では、１４１の露光が実行される。チルト系列におけるサンプルの様々な向きは、２−１、２−２、２−３などのように示される。既知の方法により、サンプルには、典型的には、数十ナノメータの金微粒子の形態によるマーカー粒子（ｍａｒｋｅｒ ｐａｒｔｉｃｌｅ）が与えられる。これは市販の金溶液にサンプルを浸すことにより行うことができる。液体にサンプルを浸けると、無数の金粒子がサンプルに付着し、それらがマーカーとして機能する。図１では、これらマーカーは参照番号８−１、８−２などによって示される。ここで、サンプルの画像に関するチルト軸６の向きは、例えば、電磁レンズ（ｍａｇｎｅｔｉｃ ｅｌｅｃｔｒｏｎ ｌｅｎｓ）を利用することにより生じる画像回転のため、一般にはわからない。チルト系列におけるサンプルの回転中、系列におけるサンプルステージの温度ドリフトやサンプルステージの可動部でのプレイ（ｐｌａｙ）のような様々な理由により、当該サンプルの配置は正確にはわからない。サンプル画像の良好な空間再構成を実現するため、チルト系列の画像の適切な位置決めが可能でなければならず、そのためにマーカーが位置決めのための基準点として利用される。従って、与えられた画像中のマーカーがその他の画像においても認識可能とならねばならない。本発明は、各画像中のマーカーを容易かつ確実に認識するための方法を提供する。

図１ｂは、各マーカーを認識するために、マーカーがどのように投影ラインに寄与するかについての動作原理を示す。図１ｂは、電子ビームの入射方向から見た場合のサンプル２の描写を与えている。回転軸６は、ずべてのマーカーが投影されている画像平面２と共に、図１ｂの平面上に位置する。図１ｂには、複数のマーカー８−１、８−２、８−３、８−４などが示されている。チルト系列の実行において、マーカー８−ｉは軸に関して回転され、回転軸６に直交する平面を有する円の一部を構成する。この円に沿ったマーカーの軌道は、例えば、マーカー８−３を参照することにより示されるように、画像平面２に投影される。チルト系列の各画像ｉは、画像平面２上に投影１２−ｉを与える。ドリフト及びプレイのない理想状態において、投影群１２−ｉが直線１０−３に沿って配置されるが、現実には、投影群１２−ｉは直線１０−３に沿って正確には配置されないが、ほぼこの直線に沿って分布する。本発明の課題は、このような分布した投影１２−ｉに適合する直線を特定することにある。

図２ａ、２ｂ及び２ｃは、チルト系列を利用して考察されるサンプルを示している。サンプル２は、オブジェクト１４から構成され、金粒子がマーカーとして備えられている。これらのマーカーが既知の第１の粗めの（ｒｏｕｇｈ）選択方法を適用することにより特定するようにしてもよい。しかしながら、この第１の粗めの認識処理の結果として、多くの実際のマーカーでない候補マーカーが真のマーカー（偽陽性候補）として特定されてしまう可能性がある。このように得られた第１のマーカー群が、図２ａにおいて参照番号８−１、８−２、…、８−ｉ、…により表されている。第１認識処理の後、１つあるいは２つの確率パラメータが各画像の個々の候補マーカーに与えられ、この確率パラメータに基づき第１候補マーカー群からさらに第２マーカー群を選ぶ選択処理が実行される。この第２の選択処理の結果が図２ｂに表されている。図２ｂでは、第１候補マーカー群のうちの偽陽性とみなされたもの１８−ｉが「−」として表され、第１候補マーカー群のうち、真のマーカーとして選ばれた第２マーカー群１６−ｉが「＋」として表されている。図２ｃには、真のマーカー１６−ｉの画像平面２上への投影結果が示されている。図１ｂを参照することによりすでに説明されたように、マーカー１６−ｉはチルト軸６に関し回転される。基本的に、各マーカーは画像平面２に直線トレース２０−ｉを生成する。しかしながら、例えば、マーカー１６−１と１６−２、及び１６−３と１６−４のように、直線トレースが一致するマーカーもある。このようにして得られる直線が、図３ａと図３ｂを参照することにより後述されるハフ変換（Ｈｏｕｇｈ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）から構成されるアルゴリズムにより検出される。

図３ａでは、直線２２−１は、通常のＸ−Ｙ平面に表されている。直線２２−１上の点（ｘ_０， ｙ_０）が示されている。点（ｘ_０， ｙ_０）を通る直線群が２２−ｉとして示される。直線２２−１は、方程式ｙ＝ｒｘ＋ｃ（ただし、αを直線２２−１とＸ軸の正の部分とのなす角としたとき、ｒ＝ｔａｎ（α）であり、ｃは直線２２−１とＹ軸との交点）により表すことができる。または周知のように、直線２２−１は、ｒ＝ｙｃｏｓ（α）−ｘｓｉｎ（α）（ただし、ｒは原点から直線２２−１までの距離）として表すこともできる。このように点（ｘ_０， ｙ_０）を通る任意の直線は、ｒ＝ｙ_０ｃｏｓ（α）−ｘ_０ｓｉｎ（α）により表現することができ、（ｒ， α）の各ペアにより直線群２２−ｉの１つを特定することができる。後者の数式は、図３ｂに示されるように、α−ｒ平面上の１点として表すことができる。ある特定のｒ， αの値を有する直線２２−１は、図３ｂの１点２２−１により表される。同様にして、図３ａの点（ｘ_０， ｙ_０）を通る他の直線も図３ｂの１点により表現することができる。図３ａの直線群２２−ｉは、図３ｂにおいて正弦曲線２４を構成する点群２２−ｉを与える。

図３ａにおいて、他の点（ｘ_１， ｙ_１）（図示せず）を通る直線群もまた、他の正弦曲線を図３ｂに与える。この２つの正弦曲線が交わる場合、２点（ｘ_０， ｙ_０）と（ｘ_１， ｙ_１）は図３ａにおいて同一直線状にあるということを意味する。同一直線上にあるすべての点を検出するということは、図３ｂのハフ表現に関して、これらの点に対応するすべての正弦曲線の交点を検出するということを意味する。これら正弦曲線すべてが同一の交点を持っている場合、すべての点（ｘ_ｉ， ｙ_ｉ）が図３ａにおいて同一直線上にあるということを意味する。

上記アルゴリズムを図２ｃの（個々に示されるものでなく、直線２０−ｉにより表される）投影されたマーカーに適用するため、各候補マーカーに対し、対応する正弦曲線を生成する必要がある。一例として、真のマーカー（第２マーカー群）として特定された５０個のマーカーが存在し、かつチルト系列が１４１枚の画像（１°刻みで−７０°から＋７０°までのチルト間隔）から構成される場合、図３ｂの正弦曲線をもたらす５０×１４１＝７０５０個の点が図２ｃには存在する。高い密度でマーカーを含む直線を図２ｂにおいて検出するために、図３ｂによるすべての正弦曲線のすべての交点を検出する必要がある。このことは、ｎ本の正弦曲線に対し、図３ｂにおいて１／２ｎ（ｎ−１）個の交点が計算される必要がある。

すべての交点を計算することにより、図３ｂに交点を密に有する領域が与えられる。図３ｂにおけるこの密な交点群は、図２ｂによる相対的に多くのマーカーを含む直線に相当する。

（α， ｒ）形式での交点群の密度に関する数値解析のため、以下の演算が実行される。αにおける全区間が、αの各値のまわりの（均一な）小区間Δαに分割される。αの各値α_０に対し、ヒストグラムが生成され、ｒのすべての値に対して、マーカー数の分布が決定される。この演算結果は、αが分割される区間数に等しいヒストグラム群を与える。そのようなヒストグラムの１つが図４に示される。ここで、ｒの様々な値に対するマーカー個数の分布はそれほど分散しておらず、α_０での小窓（幅Δｒ）をｒ軸方向に変換することは、当該窓に現れるマーカー数に大きな差異をもたらさない。図５ａは、後者の演算のグラフ表現を示す。図５ａでは、すべてのマーカーがＸ−Ｙ平面上に置かれている。マーカーの直線群が密に存在する方向の検出は、幅Δｒと方向αを有する窓を定義することに関係する。図５ａには、方向α_１を有する窓２６と、方向α_２を有する窓２８が示されている。図５ａから、マーカーが密な直線群のの方向がα_１と一致しているということがわかる。窓２８をＸ−Ｙ平面上で平行移動させると、マーカーが密となる領域が現れないということがわかる。したがって、この操作により形成されるヒストグラムでは、窓２８において観察されるマーカー数に高い差異、すなわち、ｒの様々な値は示されない。他の大部分の窓の方向に関して同様のことが成り立つ。しかしながら、方向α_１を有する窓２６を平行移動させると、マーカーが密となる方向α_１を有する直線群が現れ、ｒの対応する値で窓２６には相対的に多くのマーカーが検出される。そのような分布が後述される図６に示される。

マーカーが密な直線群を検出するための上記図形的操作が、コンピュータへの適用に適した数学的方法により説明される。αのすべての値に対して、マーカー数ｎと距離パラメータｒとのヒストグラム（ｒ， ｎ）が生成される。各ヒストグラムは、以下の式（１）に従って、エントロピー計算される。

ここで、Ｓは算出されるエントロピー、ｎ_ｉは距離ｒ_ｉのある値におけるマーカー数、ＮはＳが算出されるヒストグラムにおける合計マーカー数、Ｍは区間Δαの個数、「ｌｎ」はベースをｅ＝２．７１８…とする自然対数を表す。周知のように、Ｓはｒの様々な値に対するマーカー数の分布の発散度合いを示すものであり、言い換えると、Ｓはヒストグラムのピーキネス（ｐｅａｋｉｎｅｓｓ）の度合いを示している。上記式に従って、Ｓの値を得るための計算がすべてのヒストグラムに行われる。これによる値の範囲が図５ｂにおいて方向αの関数として表される。ここで、図５ｂにおいてＳの値が小さいということは、それに属するヒストグラムが高い「ピーキネス」を有するということを意味している。図５ｂにおいて、（最大となるピーキネスに対応する）Ｓの最小値はα＝７７°において達成され、これが選択されたＸ−Ｙ平面に関するチルト軸の直交方向の値を示していると考えることができる。

図６は、上述されたＳの極値、すなわち、チルト軸に直交方向に対応するヒストグラムを示している。図６のヒストグラムを図４のヒストグラムと比較すると、図６はよりピークがはっきりとしていて、高い確率でチルト軸の直交方向に対応したものであるということが明らかである。図６から、図１ｂ、２ｃあるいは５ａに示されるようなマーカーの様々な平行線の特定が可能である。これらの平行線が特定されると、関連する直線を生じ、それに基づきチルト系列の各画像を互いに位置決めした１つのマーカーの様々な投影位置を容易に特定することができる。ここで、他のすべての候補マーカーは偽陽性候補として分類される。

本発明は上記特定の実施例に限定されるものではなく、本発明の要旨内において様々な変形・変更が可能である。

図１ａは、チルト系列において露光されるサンプルを表した図である。 図１ｂは、チルト系列のマーカーが投影された画像を表す図である。 図２ａは、すべてのマーカー候補が表されたオブジェクトの画像を示す図である。 図２ｂは、粗いマーカー選択が実行されたオブジェクトの画像を示す図である。 図２ｃは、チルト系列の選ばれたマーカー候補の投影を示す図である。 図３ａは、本発明によるハフ変換の適用を説明する直線のグラフ表現を示す図である。 図３ｂは、本発明によるハフ変換の適用を説明する直線群のグラフ表現を示す図である。 図４は、第１方向に観察されるマーカー数を表すヒストグラムである。 図５ａは、チルト軸に対応する直線方向の選択を説明する補助図である。 図５ｂは、チルト軸に対応する直線方向を選択するための図４によるヒストグラムのピーキネスを表す補助図である。 図６は、チルト軸の直線方向に対応するヒストグラムである。

符号の説明

２ サンプル
４ 電子ビーム
６ チルト軸
８−１、８−２、８−３、８−４、８−ｉ、１６−１、１６−２、１６−３、１６−４、１６−ｉ、１８−ｉ マーカー
１０−１、１０−２、１０−３、２２−１、２２−２、２２−ｉ 直線
１２−１、１２−２ 投影
１４ オブジェクト
２４ 正弦曲線
２６，２８ 窓

Claims (2)

1. 電子顕微鏡におけるチルト系列の自動配置方法であって、
   複数のマーカーを電子顕微鏡により画像形成されるサンプルに付するステップと、
   前記サンプルの複数の画像のチルト系列を与えるステップと、
   前記チルト系列の前記複数の画像の各画像において第１候補マーカー群を特定するステップと、
   候補マーカーがマーカーである確率を表す少なくとも１つの確率パラメータを各画像の各候補マーカーに付与するステップと、
   前記少なくとも１つの確率パラメータに基づき、前記第１候補マーカー群からの候補マーカーのサブセットとして第２候補マーカー群を選択するステップと、
   前記第２候補マーカー群の候補マーカーを１つの画像に投影するステップと、
   前記１つの画像における前記候補マーカーを最もよく適合させる平行な直線群あるいは細長の楕円群を決定する適合アルゴリズムを適用するステップと、
   前記特定された候補マーカー群に基づき前記チルト系列の前記複数の画像を配置するステップと、
   を備える方法であって、
   前記適合アルゴリズムは、
   各候補マーカーから、対応する候補マーカーの座標に基づき正弦曲線を導出するステップと、
   前記正弦曲線から、各方向に対して、候補マーカーの密度と直線距離パラメータとの間の関係を示す複数のヒストグラムを導出するステップと、
   前記複数のヒストグラムの各ヒストグラムにエントロピー処理を適用し、各ヒストグラムに対し１つのエントロピーパラメータからなるエントロピーパラメータ群を取得するステップと、
   前記エントロピーパラメータ群の最小値を決定するステップと、
   ピーク多様性が最も高いものとして前記最小値に対応するヒストグラムを特定するステップと、
   前記特定されたヒストグラムから複数のピークを選択するステップと、
   前記ヒストグラムの選択された複数のピークの各ピーク位置から、前記適合アルゴリズムに従って対応する直線距離パラメータを導出するステップと、
   を備えることを特徴とする方法。
2. 前記平行な直線群を決定するのに用いられる適合アルゴリズムは、ハフ変換から構成される、請求項１記載の方法。
   

Images