JP5226406B2 - モンタージュ画像の合成方法及び電子顕微鏡 - Google Patents

Description

本発明はモンタージュ画像の合成方法及び電子顕微鏡に関し、更に詳しくはキャリブレーションの回数を可能な限り少なくするようにしたことを特徴とするモンタージュ画像の合成方法及び電子顕微鏡に関する。ここで、モンタージュとは、電子顕微鏡で観察される視野をＣＣＤカメラ等で撮影し、その撮影画像をつなぎ合わせて大きな画像を作成することをいう。つなぎ合わせるため、隣り合う撮影画像は多少の重なり合う面積を持つ。

偏向器で視野を移動させながら撮影して、自動でモンタージュ画像を作成するためには、偏向器と撮影画像との位置関係を知っておく必要がある。偏向器の動きは倍率等の透過型電子顕微鏡（ＴＥＭ）の状態によって変化するものである。そこで、偏向器と撮影画像との位置の関係の情報は、それぞれの状態毎に調べておく必要がある。

偏向器と撮影画像との位置関係を調べる場合、自動で行なうものと手動で行なうものとがあるが、どちらにしてもモンタージュ画像を作成する前に事前にこれらの作業を行なう時間が必要となる。手動の場合は、偏向器によっては２０回、３０回と同じ作業を繰り返さなくてはならず長い時間がかかってしまう。

自動の場合、現在主流の方向ではやはり操作者がそばについていて成功したかどうかを確認しながら作業を進めなくてはならないので、手動の場合よりは手間は少なくなるがやはり時間がかかる。また、時間が経って装置の状態が変わると、再度キャリブレーション作業を行わなければならない。

従来のこの種装置としては、ディスプレイ上に表示された低倍率ＴＥＭ像から、連続視野撮影を行いたい範囲及び倍率を任意の範囲で選択し、各一視野の中心位置を計算し、ディスプレイの中心に来るように試料微動機構を用いて自動的に移動させる技術が知られている（例えば特許文献１参照）。

また、隣接する像の重なり幅を一定にし、重なり部における像を一致させてから写真撮影を行ないつなぎ写真を作成する技術が知られている（例えば特許文献２参照）。また、電子ビームの走査幅の制限に伴う最低倍率を下回る低倍率で広範囲の試料像を観察し、その中の任意の領域について部分拡大像を観察できるようにした技術が知られている（例えば特許文献３参照）。
特開平１１−１４４６６０号公報（段落００１３〜００１８、図２） 特開昭６２−２２９６４７号公報（第２頁左下欄第８行〜第３頁右上欄第３行、第１図〜第３図） 特開２００１−２５０５００号公報（段落０００８〜００１５、図１〜図３）

背景技術のところで述べたように、偏向器を使って自動でモンタージュ画像を作成するためには、事前にそれぞれの状態で偏向器と撮影画像の位置関係を調べておかなくてはならない。この位置関係を示し、双方の位置に変換するためのデータのことを以後はキャリブレーションデータと呼び、キャリブレーションを作成する作業をキャリブレーションすると呼ぶことにする。

従来の方法では、手動でも自動でもキャリブレーションを何回も行わないとモンタージュ画像を作成することができなかった。本発明はこのような課題に鑑みてなされたものであって、キャリブレーションの手間を省くことができるモンタージュ画像の合成方法及び電子顕微鏡を提供することを目的としている。

（１）請求項１記載の発明は、ある装置状態で、視野を動かすための偏向器又はステージと画像撮影するためのカメラとの間でキャリブレーションを行ない、偏向器系又はステージ系とカメラ系の倍率Ｍと座標回転Ｒと軸の回転比Ａと軸の倍率比Ｓを含むキャリブレーションデータＡを作成する工程１と、指定された撮影枚数と重なり合う長さから前記キャリブレーションデータＡを用いて画像を撮影する位置を求める工程２と、前記キャリブレーションデータＡを用いて、偏向器又はステージを駆動してモンタージュを構成する１枚目の画像を撮影するために視野を移動する工程３と、１枚目の画像を撮影する工程４と、前記工程３の場合と同様にして２枚目の画像を撮影するための視野を移動する工程５と、２枚目の画像を撮影する工程６と、１枚目の画像と２枚目の画像で重なり合っている部分で画像マッチングを行ない、位置を補正する工程７と、工程３から工程７をモンタージュ構成枚数だけ繰り返す工程８と、得られた画像を補正した位置で並べて表示する工程９、とを有するモンタージュ画像の合成方法であり、前記工程２において、今の装置と同じ状態のキャリブレーションデータがない時には、キャリブレーション時との状態の違いをデータに反映させてこの時のキャリブレーションデータをキャリブレーションデータＡ２とし、該キャリブレーションデータＡ２を用いて前記工程３を行い、前記工程７において、画像マッチングにより位置を補正した時のキャリブレーションデータＡ又はＡ２へ補正量を反映させたキャリブレーションデータＡ３を今の装置状態でのキャリブレーションデータとして保存しておき、前記工程７で得られたキャリブレーションデータＡ３を新たなキャリブレーションデータとして、前記工程３以降の工程を繰り返して必要枚数のモンタージュ画像を得る、ことを特徴とする。

（２）請求項２記載の発明は、前記請求項１記載のモンタージュ画像の合成方法を実施する機構を電子顕微鏡の内部に組み込んだことを特徴とする。

（１）請求項１記載の発明によれば、前記工程２において、今の装置と同じ状態のキャリブレーションデータがない時には、キャリブレーション時との状態の違いをデータに反映させてこの時のキャリブレーションデータをキャリブレーションデータＡ２とし、該キャリブレーションデータＡ２を用いて前記工程３を行い、前記工程７において、画像マッチングにより位置を補正した時のキャリブレーションデータＡ又はＡ２へ補正量を反映させたキャリブレーションデータＡ３を今の装置状態でのキャリブレーションデータとして保存しておき、前記工程７で得られたキャリブレーションデータＡ３を新たなキャリブレーションデータとして、前記工程３以降の工程を繰り返して必要枚数のモンタージュ画像を得ることで、キャリブレーションの手間を省くことができる。

（２）請求項２記載の発明によれば、キャリブレーションの手間を省くことができるモンタージュ画像の合成方法を電子顕微鏡に導入することができる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。
図１は本発明を実施するシステム構成概念図である。図において、１は透過型電子顕微鏡（ＴＥＭ）、２はＴＥＭ１により得られた画像を撮影するカメラ、５はＴＥＭ１を操作する他、本発明にかかるモンタージュ画像合成を行なうコンピュータ、３はコンピュータ５からＴＥＭ１を操作するための通信用ケーブル、４はコンピュータ、５がカメラ２からの撮影画像を得るための通信用ケーブルである。このように構成されたシステム及び設定画面を用いて、本発明の動作を説明する。
（装置納入時）
（Ｓ１）：装置が納入され、図１に示すシステムが組上がった後、図１に示すシステムはモンタージュ作成動作を開始する。即ち、コンピュータ５はある装置状態で、視野を動かすための偏向器と画像を撮影するためのカメラ２との間でキャリブレーションを行ない、キャリブレーションデータＡを作成する。

図２はキャリブレーションデータの作成の説明図である。（ａ）は偏向器系の、（ｂ）
はカメラ系の座標を示している。（ａ）に示す偏向器系の画像Ｋと、（ｂ）に示すカメラ系の画像ＬＢとは対応している。そして、画像Ａ内の点Ｐ（ｘ，ｙ）と、画像Ｂ内の点Ｐ（Ｘ，Ｙ）はそれぞれ対応している。点ＰとＰ’をつなぐ座標変換の式は次式で表される。

ここで、

はｘ，ｙ方向のずれである。

は偏向器系とカメラ系の回転と軸の傾きと倍率（拡大／縮小）を含む補正係数で、アフィン行列と呼ぶ。このアフィン行列が求まれば、偏向器系とカメラ系の座標変換を行なうことができる。このアフィン行列が求めるべき、キャリブレーションデータとなる。

このアフィン行列の詳細について、以下に説明する。
図３は２つの座標系の説明図である。Ａ座標系とＢ座標系が示されている。Ａ座標のある点Ｐ（ｐ_x，ｐ_y）とし、同じ点をＢ座標でＰ’＝（ｐ’_x，ｐ’_y）と表わすと、Ａ座標系の点ＰとＢ座標系の点Ｐ’には、次式の関係が成り立つ。

ここで、

はＢ座標系のずれ、ｋ_x’／ｋ_xは倍率Ｍ、

は座標回転（ローテーション）Ｒ

は軸の回転比（スキュー）Ａ

は軸の倍率比（アスペクト）Ｓである。

Ｈｏｒｉｚｏｎｔａｌ ｏｖｅｒｌａｐ ａｒｅａ １２８ｐｉｘは２つの画像を合成する時の重なり量が水平方向に１２８ピクセル重ねられることを示している。Ｖｅｒｔｉｃａｌ ｏｖｅｒｌａｐ ａｒｅａ １２８ｐｉｘは２つの画像を合成する時の重なり量が垂直方向に１２８ピクセル重ねられることを示している。１０はモンタージュ開始のスタートボタンである。この時、ステップＳ１で求められたキャリブレーションデータＡを用いる。

但し、今の装置の状態と同じ状態のキャリブレーションデータがない時は、分かる範囲でキャリブレーション時との状態の違いをキャリブレーションデータに反映させておく。
例えば、視野を動かす偏向器が中間レンズ（ＩＬ）の上にあるものだとして倍率をかけ算する等することが考えられる。例えば、倍率１００の時に作成したキャリブレーションデータＡがある時、倍率２００倍の時のキャリブレーションデータを求める時、前記キャリブレーションデータＡを単純に２を乗算することが考えられる。このようにして得られたキャリブレーションデータを、キャリブレーションデータＡ２とする。

このようにすれば、今の状態と同じ状態のキャリブレーションデータがない時には、キャリブレーション時との状態の違いをデータに反映させたものをキャリブレーションデータＡ２としてモンタージュ画像合成に使用することができる。
（Ｓ３）：コンピュータ５は、ＴＥＭ内の偏向器を制御し、上で求めた１枚目の画像撮影位置へ移動させる。
（Ｓ４）：カメラ２は１枚目の画像を撮影する。図５は１枚目の画像が得られた状態を示す図である。この図より、水平方向に３個、垂直方向に３個の計９個の画像をモンタージュすることが分かる。
（Ｓ５）：ステップＳ３の場合と同様に偏向器は、キャリブレーションデータＡ又はキャリブレーションデータＡ２を利用して２枚目の画像撮影位置へ移動する。
（Ｓ６）：カメラ２は２枚目の画像を撮影する。
（Ｓ７）：この時、１枚目の画像と２枚目の画像で重なっている部分で画像マッチングを行ない、位置を補正する。ここで、画像マッチングとしては、既存の技術である例えば相互相関法が用いられる。この時、補正した結果はキャリブレーションデータＡ又はＡ２と
実際とのずれであるととらえてキャリブレーションデータＡ又はＡ２に補正量を反映させたキャリブレーションデータＡ３を作る。

このキャリブレーションデータＡ３を今の装置状態におけるキャリブレーションデータとして保存しておく。このようにすれば、画像マッチングにより位置を補正した時のキャリブレーションデータＡ又はＡ２へ補正量を反映したものをキャリブレーションデータＡ３とし、以降のモンタージュ画像合成にはこのキャリブレーションデータＡ３を用いることを繰り返すことで、画像合成の度にキャリブレーション操作を行なう手間を省くことができる。

この場合において、既に同じ状態のキャリブレーションデータＡ又はＡ２があれば、これに上書きし、無い時は新しく作成する。
（Ｓ８）ステップＳ３からステップＳ７をモンタージュ構成枚数だけ繰り返す。この時における偏向器の移動操作におけるキャリブレーションデータとしては、前記キャリブレーションデータＡ３を用いる。画像合成の度にキャリブレーションデータＡ３を更新するようにする。このようにすれば、前記キャリブレーションデータＡ３を新たなキャリブレーションデータとして、画像合成の度にキャリブレーション操作を行なう手間を省くことができる。

前記ステップＳ３からＳ７をモンタージュ構成枚数だけ繰り返す場合において、重なり合っている範囲内で位置が補正できないほど大きくずれている時には、画像が重なる部分を広げて再度ステップＳ２からやり直す。
（Ｓ９）コンピュータは、得られた画像を補正した位置で並べて表示する。図６は合成したモンタージュ画像を示す図である。このモンタージュ画像は、縦方向に３個、横方向に３個の計９個の画像を画像合成したものである。

上述の実施の形態では、視野を動かす装置として偏向器を用いた場合を例にとった。しかしながら、本発明はこれに限るものではなく、視野を動かすことができるものであれば、例えばステージを用いるようにしてもよい。また、適用する電子顕微鏡も透過型電子顕微鏡（ＴＥＭ）に限る必要はなく、その他の種類の電子顕微鏡、例えばカメラで画像を撮影して表示する電子顕微鏡にも等しく適用することができる。

以上、詳細に説明したように、本発明によれば、隣り合う画像との間で位置合わせのマッチングをとる時にそれに基づいて得られたキャリブレーションデータを新たなキャリブレーションデータとして画像合成を行なうようにしているので、モンタージュのためのキャリブレーション作業にかかる時間が短縮される。また、一度キャリブレーションすれば二度とキャリブレーションを行わなくてもよい。更に、モンタージュをすればするほど、精度のよい位置合わせを行なうことができるようになる。

また、本発明によるモンタージュ合成方法をＴＥＭに用いると、キャリブレーションをその都度行なう必要がないので、キャリブレーションの手間を省くことができ、モンタージュ画像合成のスループットを向上させることができ、実用上の効果が極めて大きい。

本発明を実施するシステム構成概念図である。 キャリブレーションデータの作成の説明図である。 ２つの座標系の説明図である。 本発明による設定画面の例を示す図である。 １枚目の画像が得られた状態を示す図である。 合成したモンタージュ画像を示す図である。

符号の説明

１ 透過型電子顕微鏡（ＴＥＭ）
２ カメラ
３ 通信用ケーブル
４ 通信用ケーブル
５ コンピュータ

Claims (2)

1. ある装置状態で、視野を動かすための偏向器又はステージと画像撮影するためのカメラとの間でキャリブレーションを行ない、偏向器系又はステージ系とカメラ系の倍率Ｍと座標回転Ｒと軸の回転比Ａと軸の倍率比Ｓを含むキャリブレーションデータＡを作成する工程１と、
   指定された撮影枚数と重なり合う長さから前記キャリブレーションデータＡを用いて画像を撮影する位置を求める工程２と、
   前記キャリブレーションデータＡを用いて、偏向器又はステージを駆動してモンタージュを構成する１枚目の画像を撮影するために視野を移動する工程３と、
   １枚目の画像を撮影する工程４と、
   前記工程３の場合と同様にして２枚目の画像を撮影するための視野を移動する工程５と、
   ２枚目の画像を撮影する工程６と、
   １枚目の画像と２枚目の画像で重なり合っている部分で画像マッチングを行ない、位置を補正する工程７と、
   工程３から工程７をモンタージュ構成枚数だけ繰り返す工程８と、
   得られた画像を補正した位置で並べて表示する工程９、
   とを有するモンタージュ画像の合成方法であり、
   前記工程２において、今の装置と同じ状態のキャリブレーションデータがない時には、キャリブレーション時との状態の違いをデータに反映させてこの時のキャリブレーションデータをキャリブレーションデータＡ２とし、該キャリブレーションデータＡ２を用いて前記工程３を行い、
   前記工程７において、画像マッチングにより位置を補正した時のキャリブレーションデータＡ又はＡ２へ補正量を反映させたキャリブレーションデータＡ３を今の装置状態でのキャリブレーションデータとして保存しておき、
   前記工程７で得られたキャリブレーションデータＡ３を新たなキャリブレーションデータとして、前記工程３以降の工程を繰り返して必要枚数のモンタージュ画像を得ることを特徴とするモンタージュ画像の合成方法。
2. 前記請求項１記載のモンタージュ画像の合成方法を実施する機構をその内部に組み込んだことを特徴とする電子顕微鏡。