JP6790282B2 - 荷電粒子顕微鏡装置および広視野画像生成方法 - Google Patents

Description

本発明は、荷電粒子顕微鏡装置および広視野画像生成方法に関する。

荷電粒子顕微鏡は、光学顕微鏡に比べて分割能が非常に高く、被観察対象の微細な構造を鮮明に観察するために広く利用されている。荷電粒子顕微鏡では、荷電粒子ビームを対象試料に照射し、対象試料で反射する、または対象試料から放出される、または対象試料を透過する粒子（照射した荷電粒子と同種、または別種の荷電粒子、または電磁波、光子）を検出器で検出することで、対象資料の画像を取得する。荷電粒子顕微鏡の観察対象は、材料、半導体、食品、バイオ、医療分野等、多岐にわたる。

荷電粒子顕微鏡を用いた検査や解析において、広範囲にわたって構造物の全体像や分布を確認する必要があり、視野が広い撮像画像（以下、「広視野画像」という）で観察したいというニーズがある。加えて、広視野画像においても、高画質の画像すなわち分解能が高く、ＳＮ比が高く、隣接する撮像画像間の位置ずれ量が小さい画像が求められている。ただし、ハードウェアの制約上、高解像度の撮像条件下で振られる荷電粒子ビームの範囲は狭いため、広視野を撮像する場合、試料が乗ったステージを移動させながら非常に多くの画像を撮像する必要がある。

一般的な広視野画像の生成方法では、先ず、オーバーラップ領域を持たせつつ、撮像位置を移動して広視野領域を撮像し、複数枚の撮像画像を取得する。次に、隣接する撮像画像間の対応点ペアを算出し、これらの対応点ペアに基づいて撮像画像間の相対的な位置ずれ量を算出して繋ぎ合わせることで、広視野画像を生成する。しかしながら、算出した対応点ペアに基づいて広視野画像を生成するため、間違った対応点ペアを算出した場合、広視野画像における撮像画像間の位置ずれ量が大きくなるという課題があった。この課題に対応する方法として、下記の特許文献１には、一度生成した広視野画像において、撮像画像間のオーバーラップ領域の相対的な位置を変更する指示を受け付け、受け付けた指示をもとに広視野画像を再生成する方法が記載されている。

具体的には、特許文献１には、情報処理方法に関し、「前記記憶部は、被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像と、前記複数の部分画像のうちの隣接する２つの部分画像ごとに算出された、当該隣接する２つの部分画像の相対的な位置ずれ情報とを記憶する。前記判定部は、前記記憶された複数の部分画像から、前記被写体の画像として表示される領域の画像である表示領域画像を生成するための、１以上の表示用部分画像を判定する。前記生成部は、前記判定部により複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像を前記記憶された位置ずれ情報をもとに互いに接続して、前記表示領域画像を生成する。」と記載されている。

特開２０１３−０５８１２４号公報

しかしながら、特許文献１に記載の方法では、隣接する撮像画像同士が重なり合うオーバーラップ領域の全体に対して相対的な位置ずれ量の補正を行うため、オーバーラップ領域全体の位置ずれ量を補正できる一方で、局所領域の位置ずれ量、特に様々な画像歪みが含まれる局所領域の位置ずれ量を高精度に補正することが難しい、という問題がある。

本発明は、上記課題に鑑みてなされたものであり、生成した広視野画像に局所的な位置ずれが残存した場合でも、局所的な位置ずれを補正するためのユーザ入力を促し、そのユーザ入力に基づいてオーバーラップ領域の局所領域においても位置ずれ量が小さい広視野画像を再生成することができる荷電粒子顕微鏡装置の提供を目的とする。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記の課題を解決する本発明の一態様に係る荷電粒子顕微鏡装置は、荷電粒子顕微鏡と、画像処理部とを有する荷電粒子顕微鏡装置であって、前記荷電粒子顕微鏡は、隣接する撮像画像が重なり合う領域であるオーバーラップ領域をもたせて複数枚の撮像画像を撮像し、前記画像処理部は、前記隣接する撮像画像間で対応点ペアを前記オーバーラップ領域に設定し、所定の制約条件を前記撮像画像ごとに設定し、前記対応点ペアおよび前記制約条件に基づいて前記撮像画像間の相対的な位置ずれ量を算出し、算出した前記位置ずれ量に基づいて前記撮像画像間の相対的な位置ずれを補正して繋ぎ合わせることにより１枚の広視野画像を生成し、前記オーバーラップ領域に設定された複数の局所領域において撮像画像の繋ぎ合わせの信頼度を計算し、前記信頼度が低い前記局所領域または前記局所領域を含むオーバーラップ領域と、前記設定した対応点ペアおよび前記制約条件をユーザに知らせる。

本発明に係る荷電粒子顕微鏡装置によれば、生成した広視野画像に局所的な位置ずれが残存した場合でも、局所的な位置ずれを補正するためのユーザ入力を促し、そのユーザ入力に基づいてオーバーラップ領域の局所領域においても位置ずれ量が小さい広視野画像を再生成することができる。

本発明の第一実施形態に係る荷電粒子顕微鏡装置を実現する走査型電子顕微鏡装置の概略構成の一例を示した図である。 本発明の第一実施形態に係る走査型電子顕微鏡装置の機能ブロックの一例を示した図である。 本発明の第一実施形態に係る広視野画像生成処理の一例を示したフロー図である。 図４Ａは、設定された広視野領域および広視野画像の一例を示した図である。図４Ｂは、図４Ａの広視野画像を構成する各撮像画像の撮像領域と、撮像画像ごとに設定されるオーバーラップ領域の一例を示した図である。 本発明の第一実施形態に係るステップＳ００６の処理の詳細を示したフロー図である。 図６Ａは、局所領域が設定された広視野画像の一部を示した図である。図６Ｂは、図６Ａの局所領域を含むオーバーラップ領域を有する撮像画像のペアを示した図である。図６Ｃは、信頼度の低い局所領域にアイコンが表示された広視野画像の一部を示した図である。 本発明の第一実施形態に係るステップＳ００７の処理の詳細を示したフロー図である。 図８Ａおよび図８Ｂは、繋ぎ合わせの信頼度が低いことを示すアイコンが表示された広視野画像の簡略図である。 本発明の第一実施形態に係るステップＳ００８の処理の詳細を示したフロー図である。 図１０Ａは、対応点ペアの変更を受け付けるＧＵＩの画面例である。図１０Ｂは、変更後の対応点ペアを示した図である。 図１１Ａは、最適化した変換行列を適用する前の撮像画像を示した図である。図１１Ｂは、最適化した変換行列を適用した後の撮像画像を示した図である。 本発明の第一実施形態に係るステップＳ０１１を経由して行われるステップＳ００６の詳細を示したフロー図である。 本発明の第一実施形態に係るステップＳ０１１を経由して行われるステップＳ００８の詳細を示したフロー図である。 本発明の第二実施形態に係るステップＳ００６の詳細を示したフロー図である。 図１５Ａは、局所領域が設定された広視野画像の一部を示した図である。図１５Ｂは、図１５Ａの局所領域を含むオーバーラップ領域を有する撮像画像のペアを示した図である。図１５Ｃは、信頼度および構造情報を反映したアイコンが表示された広視野画像の一部を示した図である。 本発明の第二実施形態に係るステップＳ００７の処理の詳細を示したフロー図である。 本発明の第二実施形態に係る構造情報を反映したアイコンが表示された広視野画像の簡略図である。 本発明の第二実施形態に係る対応点ペアの候補を表示して変更を受け付ける場合のＧＵＩの一例を示した図である。

以下、本発明の各実施形態について図面を用いて説明する。

［第一実施形態］

図１は、本実施形態に係る荷電粒子顕微鏡装置を実現する走査型電子顕微鏡装置１００の概略構成の一例を示した図である。図示するように、走査型電子顕微鏡装置１００は、走査型電子顕微鏡１０と、演算装置２０と、入力装置３０と、出力装置４０と、記憶装置５０とを有している。

走査型電子顕微鏡１０は、電子銃１１で発生させた電子ビーム１２をコンデンサレンズ１３や対物レンズ１４に通すことで試料１５の表面に集束させ、試料１５から放出される二次電子などを検出器１６で検出する顕微鏡である。走査型電子顕微鏡１０は複数の検出器を備えていても良く、例えば電子を検出する検出器１６と電磁波を検出する検出器のように、相互に異なる種類の粒子を検出する検出器が組み合わせられても良い。また、検出器は、エネルギーやスピン方向が特定の範囲内にある粒子のみを検出する検出器であっても良い。また、検出器は、２次荷電粒子検出器と後方散乱荷電粒子検出器のように、相互に異なる性質の粒子を検出する検出器であっても良い。また、検出器は、同じ性質の粒子を検出する検出器が異なる位置に複数配置されても良い。走査型電子顕微鏡１０は、複数の検出器１６を備えている場合、１回の撮像で複数の画像を取得することが可能となる。

また、走査型電子顕微鏡１０は、ステージ１７を移動させることにより、ステージ上に置かれた試料１５の任意の位置における画像を取得する。また、走査型電子顕微鏡１０は、ビーム偏向器１８を用いて電子ビーム（荷電粒子ビーム）１２の向きを２次元的に変えることにより、電子ビーム１２で試料１５を走査（スキャン）する。また、走査型電子顕微鏡１０は、隣接する撮像画像が重なり合う領域であるオーバーラップ領域をもたせて複数枚の撮像画像を撮像する。

演算装置２０は、走査型電子顕微鏡１０の制御および走査型電子顕微鏡１０で撮像された撮像画像を用いて広視野画像を生成する装置である。具体的には、演算装置２０は、入力装置３０を介してユーザから受け付けた撮像条件などの入力情報に基づいて走査型電子顕微鏡１０を制御する。また、演算装置２０は、検出器１６で検出された情報を用いて試料の撮像画像および撮像画像を繋ぎ合わせた広視野画像を生成する。

このような演算装置２０は、様々な演算処理を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、主記憶装置であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などのメモリ装置を有している。

入力装置３０は、例えばタッチパネルやテンキーなどユーザからの指示入力を受け付ける装置である。出力装置４０は、例えばディスプレイなどのグラフィックス情報を表示する装置である。記憶装置５０は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や不揮発性メモリカードといった、少なくとも読み書きが可能な記憶媒体である。

図２は、走査型電子顕微鏡装置１００の機能ブロックの一例を示した図である。走査型電子顕微鏡装置１００は、演算部１０１と、記憶部１０２とを有している。また、演算部１０１は、入力受付部１１１と、出力部１１２と、制御部１１３と、処理部１１４と、画像処理部１１５とを有している。

入力受付部１１１は、様々な情報の入力を受け付ける機能部である。具体的には、入力受付部１１１は、入力装置３０を介して撮像条件や撮像画像および広視野画像の生成に関する指示入力をユーザから受け付ける。

出力部１１２は、出力装置４０の表示画面を構成する画面情報を生成する機能部である。具体的には、出力部１１２は、出力装置４０への表示が要求される所定の画面情報（例えば、広視野画像や所定の画面情報など）を生成し、これを出力装置４０に表示する。

制御部１１３は、走査型電子顕微鏡１０の制御および各機能部の制御を行う。具体的には、制御部１１３は、走査型電子顕微鏡１０の電子銃１１に印加する電圧、コンデンサレンズ１３および対物レンズ１４の焦点位置、ステージ１７の位置、ビーム偏向器１８の偏向度合いなど所定の制御を行う。また、制御部１１３は、入力受付部１１１、出力部１１２、処理部１１４および画像処理部１１５が適切なタイミングで各々の処理を行うようにこれらの機能部を制御する。

処理部１１４は、走査型電子顕微鏡１０の様々な処理を行う機能部である。例えば、処理部１１４は、電子ビーム１２の焦点を試料の表面に合わせるために必要な自動焦点合わせに関する処理などの様々な処理を行う。

画像処理部１１５は、撮像画像および撮像画像を繋ぎ合わせた広視野画像を生成する機能部である。図示するように、画像処理部１１５は、領域設定部１１６と、生成要件設定部１１７と、最適化部１１８と、画像生成部１１９と、信頼度計算部１２０と、信頼度表示部１２１と、生成要件調整部１２２とを有している。

領域設定部１１６は、種々の領域を設定する機能部である。具体的には、領域設定部１１６は、広視野画像の全体領域である広視野領域、撮像画像の撮像領域および隣接する撮像画像間で重なり合うオーバーラップ領域を設定する。

生成要件設定部１１７は、広視野画像の生成要件である対応点ペアおよび制約条件を設定する機能部である。ここで、対応点ペアとは、例えば隣接する撮像画像間で特徴量が類似する特徴点のペアのことである。また、制約条件とは、撮像画像や撮像画像の局所領域において許容もしくは補正する画像歪みのモデルであって、撮像画像を広視野画像座標へ投影する変換行列で表される。

最適化部１１８は、撮像画像を広視野画像座標へ投影する変換行列を最適化する機能部である。具体的には、最適化部１１８は、変換行列の平行移動成分、回転成分、倍率成分および歪み成分などの各成分やアフィン変換行列あるいはホモグラフィ変換行列を最適化する。

画像生成部１１９は、撮像画像および広視野画像を生成する機能部である。具体的には、画像生成部１１９は、走査型電子顕微鏡１０から取得した画像情報を用いて対象試料１５の撮像画像を生成する。また、画像生成部１１９は、撮像画像と最適化された変換行列を用いて広視野画像を生成する。

信頼度計算部１２０は、撮像画像の繋ぎ合わせの信頼度を計算する機能部である。具体的には、信頼度計算部１２０は、オーバーラップ領域に所定数（例えば、３つ）の局所領域を設定し、かかる局所領域で撮像撮像の繋ぎ合わせの信頼度を算出する。

信頼度表示部１２１は、信頼度を可視化して表示する機能部である。具体的には、信頼度表示部１２１は、信頼度の大きさなどに応じて所定のアイコンを対応する局所領域に表示する。

生成要件調整部１２２は、広視野画像の生成要件である対応点ペアおよび制約条件の変更を行う機能部である。具体的には、生成要件調整部１２２は、出力部１１２を介して現在設定されている対応点ペアや制約条件をＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）上に表示して、ユーザからの変更を受け付ける。また、生成要件調整部１２２は、入力受付部１１１を介してユーザから受け付けた変更後の対応点ペアおよび制約条件を設定する。

記憶部１０２は、様々な情報を記憶する機能部である。具体的には、記憶部１０２は、撮像画像１３１、対応点ペア１３２、制約条件１３３、最適化した変換行列１３４および各種パラメータ１３５を記憶する。

なお、走査型電子顕微鏡装置１００の演算部１０１が有する各機能部は、演算装置２０のＣＰＵに処理を行わせるプログラムによって実現される。これらのプログラムは、ＲＯＭあるいは記憶装置５０に格納されており、実行にあたってＲＡＭ上にロードされ、ＣＰＵにより実行される。また、記憶部１０２は、ＲＡＭまたはＲＯＭあるいは記憶装置５０によって実現されても良く、これらの組み合わせによって実現されても良い。

また、各機能ブロックは、本実施形態に係る走査型電子顕微鏡装置１００の機能を理解容易にするために、主な処理内容に応じて分類したものである。したがって、各機能の分類の仕方やその名称によって、本発明が制限されることはない。また、走査型電子顕微鏡装置１００の各構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。

また、各機能部の全部または一部は、コンピュータに実装されるハードウェア（ＡＳＩＣといった集積回路など）により構築されてもよい。また、各機能部の処理が１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。

［動作の説明］
図３は、走査型電子顕微鏡装置１００で実行される広視野画像生成処理の一例を示したフロー図である。本処理は、入力受付部１１１がユーザからの実行指示を受け付けると開始される。なお、撮像条件や以下の処理で用いるしきい値などはパラメータ情報として予め設定されているものとする。

広視野画像生成処理が開始されると、領域設定部１１６は、広視野領域、撮像領域およびオーバーラップ領域を設定する（ステップＳ００１）。具体的には、領域設定部１１６は、入力受付部１１１を介して各領域のサイズを特定する情報の入力をユーザから受け付ける。また、領域設定部１１６は、ユーザの入力情報に基づいて広視野領域、撮像領域およびオーバーラップ領域を設定する。

図４Ａは、設定された広視野領域２００および広視野画像２０１の一例を示した図である。図４Ｂは、図４Ａの広視野画像２０１を構成する各撮像画像２１１〜２２２の撮像領域と、撮像画像ごとに設定されるオーバーラップ領域の一例を示した図である。図４Ａに示す広視野画像２０１は、図４Ｂに示す撮像領域を撮像した１２枚の撮像画像２１１〜２２２をオーバーラップ領域で重ね合わせて合成することにより生成された画像である。図４Ｂの破線で示す境界線により区画された領域は、オーバーラップ領域を示している。例えば、撮像画像２１１では、境界線２３１と撮像領域の右端２３２との間に挟まれた領域が撮像画像２１２との間で重なり合うオーバーラップ領域である。また、撮像画像２１１では、境界線２３３と撮像領域の下端２３４との間に挟まれた領域が撮像画像２１５との間で重なり合うオーバーラップ領域である。

図３に戻って説明する。次に、制御部１１３は、走査型電子顕微鏡１０を制御して、設定された撮像領域を撮像する（ステップＳ００２）。例えば、制御部１１３は、電子ビーム１２で撮像領域のスキャンを高速に行うよう走査型電子顕微鏡１０を制御することにより同一視野の撮像領域における複数の画像情報を取得する。また、画像生成部１１９は、これらの画像情報を積算（平均）することにより、かかる撮像領域の撮像画像を生成する。なお、撮像領域の撮像方法はこれに限られず、制御部１１３は、スキャンを低速に行うよう走査型電子顕微鏡１０を制御することにより各撮像領域の画像情報を取得しても良い。この場合、画像生成部１１９は、取得した画像情報を用いて各撮像領域の撮像画像を生成する。

なお、撮像領域の撮像方法は、上記の撮像方法を組み合わせても良く、例えばドリフト補正などの画像処理を上記の撮像方法と組み合わせても良い。

次に、生成要件設定部１１７は、対応点ペアおよび制約条件を設定する（ステップＳ００３）。具体的には、生成要件設定部１１７は、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｕｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）を用いて対応点ペアを設定する。ＳＩＦＴは、撮像画像の特徴点抽出および特徴量記述を行い、特徴量の差分量などに基づいて撮像画像間の特徴点の類似度を算出し、ユーザが設定した所定のしきい値よりも類似度が高い特徴点をペアとして対応付ける方法である。なお、対応付けられた複数のペアは、そのまま対応点ペアとして設定されても良く、特徴量の類似度が高いペアのみが対応点ペアとして設定されても良い。また、対応点ペアの設定は、前述の方法に限定されるものではなく、他の方法が用いられても良い。

また、生成要件設定部１１７は、制約条件を設定する。制約条件は、撮像画像を広視野画像座標へ投影する変換行列で表され、撮像画像の位置ずれ補正量を意味する。例えば、撮像画像の位置ずれ補正量として平行移動、回転、倍率、スキュー歪みを考慮したい場合、制約条件にはアフィン変換行列が用いられる。また、より複雑な画像歪みを考慮したい場合、制約条件にはホモグラフィ変換行列が用いられる。生成要件設定部１１７は、設定した対応点ペアおよび制約条件を記憶部１０２に格納する。

なお、ステップＳ００３では、生成要件設定部１１７は、変換行列の平行移動成分を制約条件として撮像画像ごとに設定する。平行移動成分を制約条件としたのは、広視野画像の生成効率を考慮したためである。広視野画像の生成には１万枚単位の撮像画像の合成を行う場合がある。後述するように、広視野画像の生成にあたり、制約条件である変換行列の最適化を行うが、初回の生成時から変換行列の他の成分（例えば、回転成分や歪み成分など）を含むアフィン変換行列等の全体を最適化した場合、処理に膨大な時間がかかり、広視野画像の生成効率が低下してしまう。そのため、本実施形態では、広視野画像の初回の生成時には、変換行列の平行移動成分のみが制約条件として設定される。

なお、生成要件設定部１１７は、変換行列の回転成分、倍率成分および歪み成分のうち、いずれか１つを設定するようにしても良い。

次に、最適化部１１８は、対応点ペアを用いて、撮像画像ごとに設定された制約条件すなわち撮像画像を広視野画像座標上へ投影する変換行列を最適化する（ステップＳ００４）。具体的には、最適化部１１８は、対応点ペアの各々が属する撮像画像の変換行列（本例では、平行移動成分）を用いて各撮像画像を広視野画像へ投影した点間の距離の自乗を算出し、全ての対応点ペアの総和をとった値を目的関数に設定する。また、最適化部１１８は、この目的関数を最小化することで最適化された変換行列を算出する。なお、目的関数の最小問題を解く方法としては、例えばレーベンバーグ・マーカート法が用いられる。

次に、画像生成部１１９は、広視野画像を生成する（ステップＳ００５）。具体的には、画像生成部１１９は、最適化した変換行列を用いて広視野画像座標に撮像画像を投影し、隣接する撮像画像間でオーバーラップ領域を重ね合わせて合成することにより広視野画像を生成する。なお、撮像画像の合成方法は、例えば複数の撮像画像を平均合成しても良いし、撮像画像の中心からの距離に応じて撮像画像を重み付け合成しても良い。

次に、信頼度計算部１２０は、オーバーラップ領域に設定した局所領域で撮像画像の繋ぎ合わせの信頼度を計算する（ステップＳ００６）。ここで、信頼度とは、対応点ペアや制約条件の設定の失敗、撮像画像の画像歪みおよび撮像画像の構造情報などが原因で撮像画像の繋ぎ合わせに失敗している可能性を定量化したものである。

図５は、ステップＳ００６の処理の詳細を示したフロー図である。ステップＳ１０１では、信頼度計算部１２０は、オーバーラップ領域に所定数（例えば、３つ）の局所領域を設定する。なお、局所領域のサイズおよび数量は、オーバーラップ領域の設定時に予めユーザから受け付けても良いし、オーバーラップ領域のサイズに応じて信頼度計算部１２０が設定しても良い。

図６Ａは、局所領域が設定された広視野画像の一部を示した図である。図６Ｂは、図６Ａの局所領域を含むオーバーラップ領域を有する撮像画像のペアを示した図である。図示するように、図６Ａの画像３００は、図６Ｂの撮像画像３１０、３２０を平均合成して得られた画像である。信頼度計算部１２０は、ステップＳ１０１の処理により、画像３００の境界３０１、３０２で挟まれたオーバーラップ領域３０３に対し、３つの局所領域３０４、３０５および３０６を設定する。

なお、局所領域３０４には画像歪みがある。これは、局所領域３０４に対応する撮像画像３２０の領域３２１に生じている画像歪みが原因である。局所領域３０４を有する画像３００は、最適化された変換行列（この場合、平行移動成分）を用いて生成された広視野画像の一部であるが、かかる変換行列によっても歪みが解消されておらず星の模様が二重になっている。

次に、信頼度計算部１２０は、局所領域ごとに各撮像画像から対応する領域を抽出する（ステップＳ１０２）。具体的には、信頼度計算部１２０は、局所領域３０４〜３０６の各々に対応する領域３１１〜３１３と領域３２１〜３２３とを各々、撮像画像３１０および３２０から抽出する。

次に、信頼度計算部１２０は、局所領域の相関値を計算する（ステップＳ１０３）。具体的には、信頼度計算部１２０は、抽出した領域３１１と３２１、領域３１２と３２２および領域３１３と３２３の各々について相関値を計算する。より具体的には、信頼度計算部１２０は、局所領域３０４に対応する領域３１１および３２１の相関値を相関値１とし、局所領域３０５に対応する領域３１２および３２２の相関値を相関値２とし、局所領域３０６に対応する領域３１３および３２３の相関値を相関値３として、各々の相関値を計算する。ここで、領域３２１には画像歪みがあるため、算出された相関値１〜３の大小関係は、相関値１＜相関値２≒相関値３となる。

次に、信頼度計算部１２０は、相関値を評価して局所領域の信頼度を決定する（ステップＳ１０４）。具体的には、信頼度計算部１２０は、相関値の大きさを比較し、他の相関値よりも小さい相関値１に相当する局所領域３０４に画像歪みがあると判定する。また、信頼度計算部１２０は、相関値１を他の相関値よりも低くするための重み付けを行う。また、信頼度計算部１２０は、例えば相関値ごとに所定の係数を掛け合わせて信頼度を算出する。なお、信頼度計算部１２０は、相関値に対してしきい値処理を行っても良い。また、信頼度計算部１２０は、各局所領域の信頼度に基づいてオーバーラップ領域全体の信頼度を算出しても良い。

信頼度計算部１２０は、広視野画像に含まれる全てのオーバーラップ領域についてステップＳ１０１〜ステップＳ１０４の処理を行うと、本フローを終了し、処理をステップＳ００７に移行する。

図３に戻って説明する。ステップＳ００７では、信頼度表示部１２１は、撮像画像の繋ぎ合わせの信頼度が低い局所領域を表示する。図７は、ステップＳ００７の処理の詳細を示したフロー図である。ステップＳ２０１では、信頼度表示部１２１は、信頼度の大きさに応じてアイコンの種類、表示色および表示の濃さを決定する。

次に、信頼度表示部１２１は、全ての局所領域（例えば、識別番号ｉ＝１〜Ｎ）についてステップＳ２０２およびステップＳ２０３の処理を繰り返し実行する。ステップＳ２０２では、信頼度表示部１２１は、信頼度が所定のしきい値以下であるか否かを判定する。かかるしきい値は、予めユーザから受け付けても良く、全ての局所領域における信頼度の平均値を用いても良い。

そして、局所領域の信頼度が所定のしきい値以下ではないと判定した場合（ステップＳ２０２でＮｏ）、信頼度表示部１２１は、次の局所領域についてステップＳ２０２の処理を行う。一方で、対応する局所領域の信頼度が所定のしきい値以下であると判定した場合（ステップＳ２０２でＹｅｓ）、信頼度表示部１２１は、信頼度の大きさに応じて決定されたアイコンを対応する局所領域に表示する（ステップＳ２０３）。

図６Ｃは、信頼度の低い局所領域にアイコンが表示された広視野画像の一部を示した図である。前述の通り、局所領域３０４には画像歪みがあるため信頼度が所定のしきい値以下となっている。そのため、信頼度表示部１２１は、局所領域３０４に対してステップＳ２０１で決定したアイコン３３０を表示する。

図８Ａおよび図８Ｂは、繋ぎ合わせの信頼度が低いことを示すアイコンが表示された広視野画像の簡略図である。図示するように、ステップＳ２０１〜ステップＳ２０３の処理により、繋ぎ合わせの信頼度が所定のしきい値よりも低い広視野画像４００の局所領域には信頼度の大きさに応じた種類、色および濃さのアイコン４０１が表示される。また、図８Ｂは、図８Ａよりも大きいしきい値を用いてステップＳ２０２の判定が行われた広視野画像の簡略図である。そのため、図８Ｂの広視野画像４１０には、図８Ａの広視野画像よりも多くのアイコン４１１が表示されている。

なお、オーバーラップ領域に対して撮像画像の繋ぎ合わせの信頼度を算出している場合、信頼度が所定のしきい値よりも小さいオーバーラップ領域にアイコンを表示するようにしても良い。

このような処理により、撮像画像の繋ぎ合わせの信頼度が低い局所領域に対して信頼度が低いことを示すアイコンを表示することができる。これにより、ユーザは、信頼度の低い局所領域を視覚的に把握することができる。

信頼度表示部１２１は、全ての局所領域についてステップＳ２０２あるいはステップＳ２０２およびステップＳ２０３の処理を行うと、本フローを終了し、ステップＳ００８の処理に移行する。

図３に戻って説明する。ステップＳ００８では、生成要件調整部１２２は、信頼度の低い局所領域の対応点ペアおよび制約条件の変更を受け付ける。図９は、ステップＳ００８の処理の詳細を示したフロー図である。ステップＳ３０１では、生成要件調整部１２２は、アイコン表示のある局所領域の数をユーザ入力に基づいて調整する。具体的には、生成要件調整部１２２は、入力受付部１１１を介して、表示されるアイコン数の増減をユーザから受け付ける。

例えば、ユーザからアイコン数を増加させる指示入力を受け付けると、生成要件調整部１２２は、ステップＳ２０２の判定で用いたしきい値よりも大きい所定のしきい値を設定する。また、生成要件調整部１２２は、設定したしきい値よりも小さい信頼度の局所領域を特定し、出力部１１２を介して特定した局所領域に所定のアイコンを表示する。一方で、ユーザからアイコン数を減少させる指示入力を受け付けると、生成要件調整部１２２は、ステップＳ２０２の判定で用いたしきい値よりも小さい所定のしきい値を設定する。また、生成要件調整部１２２は、設定したしきい値よりも小さい信頼度の局所領域を特定し、出力部１１２を介して特定した局所領域に所定のアイコンを表示する。

これにより、ユーザは、アイコンが表示される局所領域の数を調整することができる。例えば、対応点ペアの削除、追加のための時間を減らしたい場合、ユーザは、アイコンの表示数を少なくすることができる。一方で、位置ずれ量が少ない広視野画像の生成を望む場合、ユーザは、アイコンの表示数を多くすることができる。

次に、生成要件調整部１２２は、アイコンが表示された全てのオーバーラップ領域について以下のステップＳ３０２〜ステップＳ３０８の処理を繰り返し実行する。ステップＳ３０２では、生成要件調整部１２２は、アイコンが表示された局所領域と、かかる局所領域が含まれるオーバーラップ領域を有する隣接した２つの撮像画像のペアを特定する。

次に、生成要件調整部１２２は、アイコンが表示された局所領域の対応点ペアおよび制約条件を表示する（ステップＳ３０３）。具体的には、生成要件調整部１２２は、特定した撮像画像のオーバーラップ領域に含まれる局所領域を特定する。また、生成要件調整部１２２は、特定した局所領域に設定されている対応点ペアと、撮像画像に設定されている制約条件とを特定する。また、生成要件調整部１２２は、特定した対応点ペアおよび制約条件と、かかる局所領域を含む広視野画像の一部とをＧＵＩ上に表示し、入力受付部１１１を介して対応点ペアおよび制約条件の変更をユーザから受け付ける。

次に、生成要件調整部１２２は、対応点ペアの変更を受け付けたか否かを判定する（ステップＳ３０４）。具体的には、生成要件調整部１２２は、入力受付部１１１を介してユーザから間違った対応点ペアの削除あるいは新たな対応点ペアの追加を受け付けたか否かを判定する。

図１０Ａは、対応点ペアの変更を受け付けるＧＵＩの画面例である。図示するように、ＧＵＩ５００上には、変更を受け付ける対応点ペア５０１、５０２および対応点ペアが設定されている撮像画像５０３、５０４と、かかる撮像画像を平均合成して得られた広視野画像の一部５０５とが表示されている。なお、対応点ペア５０２は正しく設定されている対応点ペアであり、対応点ペア５０１は間違って設定されている対応点ペアである。

図１０Ｂは、変更後の対応点ペアを示した図である。ユーザは、ＧＵＩ５００上に表示されている対応点ペアを確認し、入力装置３０を介して間違って設定されている対応点ペア５０１を削除する。また、ユーザは、対応点ペアを削除した場合あるいは当初から局所領域に対応点ペアが設定されていない場合には、正しい対応点ペア５１０をＧＵＩ５００上で追加する。

生成要件調整部１２２は、対応点ペアの変更を受け付けたと判定した場合（ステップＳ３０４でＹｅｓ）、変更後の対応点ペアを設定し（ステップＳ３０５）、処理をステップＳ３０６に移行する。一方で、対応点ペアの変更を受け付けていないと判定した場合（ステップＳ３０４でＮｏ）、生成要件調整部１２２は、処理をステップＳ３０６に移行する。

ステップＳ３０６では、生成要件調整部１２２は、制約条件の変更を受け付けたか否かを判定する。具体的には、生成要件調整部１２２は、ステップＳ３０２で特定した撮像画像のペアについて、現在設定されている変換行列（現時点では、変換行列の平行移動成分）からアフィン変換行列（変換行列の平行移動成分、回転成分、倍率成分および歪み成分の全ての成分を含む）あるいはホモグラフィ変換行列への変更をユーザから受け付けたか否かを判定する。なお、生成要件調整部１２２は、変換行列の回転成分、倍率成分および歪み成分のうち、少なくともいずれか１つを追加する変更を受け付けても良い。

ユーザは、制約条件を変更する場合、入力装置３０を介して、例えばテキスト形式でＧＵＩ上に表示された制約条件をアフィン変換行列あるいはホモグラフィ変換行列に変更する。

生成要件調整部１２２は、制約条件の変更を受け付けたと判定した場合（ステップＳ３０６でＹｅｓ）、変更後の制約条件を設定し（ステップＳ３０７）、処理をステップＳ３０８に移行する。一方で、制約条件の変更を受け付けていないと判定した場合（ステップＳ３０６でＮｏ）、生成要件調整部１２２は、処理をステップＳ３０８に移行する。

ステップＳ３０８では、生成要件調整部１２２は、アイコンの表示された全てのオーバーラップ領域について、ステップＳ３０２〜３０７の処理を終了したか否かを判定する。そして、かかる全てのオーバーラップ領域について処理が終了していないと判定した場合（ステップＳ３０８でＮｏ）、生成要件調整部１２２は、処理をステップＳ３０２に戻し、未処理のオーバーラップ領域について処理を行う。一方で、全てのオーバーラップ領域について処理が終了していると判定した場合、生成要件調整部１２２は、本フローを終了し、ステップＳ００９の処理に移行する。

図３に戻って説明する。ステップＳ００９では、画像生成部１１９は、再度、撮像画像を広視野画像に投影する変換行列を最適化する。具体的には、画像生成部１１９は、変更後の対応点ペアおよび制約条件を用いて、ステップＳ００４と同様の方法により変換行列を最適化する。

次に、画像生成部１１９は、広視野画像を仮生成して表示する（ステップＳ０１０）。具体的には、画像生成部１１９は、ステップＳ００５と同様に最適化した変換行列を用いて広視野画像座標に撮像画像を投影し、隣接する撮像画像間でオーバーラップ領域を重ね合わせて合成することにより広視野画像を生成する。

図１１Ａは、最適化した変換行列を適用する前の撮像画像を示した図である。図１１Ｂは、最適化した変換行列を適用した後の撮像画像を示した図である。図示するように、最適化された変換行列を適用する前の撮像画像６０１、６０２には、撮像画像の全体に歪みが生じている。これに対し、変更後の制約条件に係る変換行列を最適化し、これを用いて生成された広視野画像の一部である撮像画像６１０、６１１では、画像全体の歪みが補正されている。ただし、図１１Ｂに示すように、最適化した変換行列を用いて撮像画像全体の歪みを補正しても、領域６１２には歪みが残っているものとする。

次に、入力受付部１１１は、本フローの終了指示をユーザから受け付けたか否かを判定する（ステップＳ０１１）。そして、かかる指示を受け付けたと判定した場合（ステップＳ０１１でＹｅｓ）、入力受付部１１１は、ステップＳ０１０で仮生成した広視野画像を記憶部１０２に保存し（ステップＳ０１２）、本フローを終了する。一方で、本フローの終了指示をユーザから受け付けていないと判定した場合（ステップＳ０１１でＮｏ）、入力受付部１１１は処理をステップＳ００６に移行する。

ステップＳ０１１を経由して行われるステップＳ００６の処理において、信頼度計算部１２０は、設定されている制約条件を特定する。そして、制約条件に変換行列の平行移動成分が設定されている場合、信頼度計算部１２０は、図５のフローに従って信頼度の計算を行う。なお、図５のフローに従った処理は前述と同様であるため、説明を省略する。一方で、制約条件にアフィン変換行列あるいはホモグラフィ変換行列が設定されている場合、信頼度計算部１２０は、図１２のフローに従って信頼度の計算を行う。

図１２は、ステップＳ０１１を経由して行われるステップＳ００６の詳細を示したフロー図である。なお、ステップＳ４０１〜ステップＳ４０３の処理は、前述のステップＳ１０１〜ステップＳ１０３と同様であるため、説明を省略する。

ステップＳ４０３で局所領域の相関値を算出すると、信頼度計算部１２０は、相関値および変換行列を統合的に評価して、局所領域の信頼度を計算する（ステップＳ４０４）。具体的には、信頼度計算部１２０は、設定されている変換行列（この場合、アフィン変換行列またはホモグラフィ変換行列）の平行移動成分、回転成分、倍率成分および歪み成分の補正度合いを算出する。

より具体的には、信頼度計算部１２０は、ステップＳ００９で最適化した変換行列の各成分について、最適化前と最適化後の差分を変換行列の補正度合いとして算出する。また、信頼度計算部１２０は、各成分の補正度合いが所定のしきい値よりも大きい場合、各局所領域の相関値をより低くするための重み付けを行い、各局所領域の信頼度として算出する。

最適化した変換行列を用いて精度良く撮像画像を繋ぎ合わせた場合でも、変換行列の各成分の補正度合いが大きいということは撮像画像を大きく歪ませて繋ぎ合わせたことになる。そのような撮像画像は特性が良くないと考えられるため、精度にリスクのある領域としてユーザに通知する必要がある。そのため、信頼度計算部１２０は、変換行列の各成分の補正度合いが大きい局所領域について信頼度が低くなるように評価を行う。

全ての局所領域についてステップＳ４０４の処理を行うと、信頼度計算部１２０は、本フローを終了し、処理をステップＳ００７に移行する。なお、ステップＳ００７は、前述と同様であるため、説明を省略する。

次に、ステップＳ００８では、生成要件調整部１２２は、再び信頼度の低い局所領域の対応点ペアおよび制約条件の変更を受け付ける。図１３は、ステップＳ０１１を経由して行われるステップＳ００８の詳細を示したフロー図である。なお、ステップＳ５０１〜ステップＳ５０７の処理は、前述のステップＳ３０１〜ステップＳ３０６と同様のため、説明を省略する。

ステップＳ５０８では、生成要件調整部１２２は、局所領域への制約条件の設定を受け付けたか否かを判定する。例えば、図１１Ｂに示すように、最適化した変換行列を用いて撮像画像全体の歪みを補正しても、領域６１２に示すように、局所的な歪みが残っていることがある。このような場合、ユーザは、ＧＵＩ上で歪みのある局所領域に対して制約条件（例えば、アフィン変換行列あるいはホモグラフィ変換行列）を設定する。なお、生成要件調整部１２２は、変換行列の回転成分、倍率成分および歪み成分のうち、少なくともいずれか１つを局所領域に設定するユーザ入力を受け付けても良い。

このように、局所領域に制約条件を設定することで、例えば正しい対応点ペアやアフィン変換行列あるいはホモグラフィ変換行列によっても補正しきれなかった局所的な歪みや位置ずれを補正することができるようになる。

局所領域への制約条件の設定を受け付けたと判定した場合（ステップＳ５０８でＹｅｓ）、生成要件調整部１２２は、局所領域に制約条件を設定し（ステップＳ５０９）、処理をステップＳ５１０に移行する。一方で、局所領域への制約条件の設定を受け付けていないと判定した場合（ステップＳ５０８でＮｏ）、生成要件調整部１２２は、処理をステップＳ５１０に移行する。

ステップＳ５１０では、生成要件調整部１２２は、アイコンの表示された全てのオーバーラップ領域について、ステップＳ５０２〜５０９の処理を終了したか否かを判定する。そして、全てのオーバーラップ領域について処理が終了していないと判定した場合（ステップＳ５１０でＮｏ）、生成要件調整部１２２は、処理をステップＳ５０２に戻し、未処理のオーバーラップ領域について同様の処理を行う。一方で、全てのオーバーラップ領域について処理が終了したと判定した場合、生成要件調整部１２２は、本フローを終了し、ステップＳ００９の処理に移行する。

図３に戻って説明する。ステップＳ００９では、画像生成部１１９は、前述と同様に、再度撮像画像を広視野画像に投影する変換行列を最適化する。具体的には、画像生成部１１９は、変更後の対応点ペアおよび制約条件を用いて、ステップＳ００４と同様の方法により変換行列を最適化する。なお、ステップＳ５０９で局所領域に制約条件を設定した場合、かかる制約条件を目的関数の変数として組み込むことにより変換行列の最適化を行う。

また、前述と同様に、画像生成部１１９は、広視野画像を仮生成して表示する（ステップＳ０１０）。また、入力受付部１１１は、本フローの終了指示を受け付けたか否かを判定する（ステップＳ０１１）。そして、終了指示を受け付けていない判定した場合（ステップＳ０１１でＮｏ）、入力受付部１１１は、処理をステップＳ００６に移行する。一方で、終了指示を受け付けたと判定した場合（ステップＳ０１１でＹｅｓ）、入力受付部１１１は、ステップＳ０１０で仮生成した広視野画像を記憶部１０２に保存し（ステップＳ０１２）、本フローを終了する。

以上、本実施形態に係る広視野画像生成処理について説明した。このような荷電粒子顕微鏡装置によれば、生成した広視野画像に局所的な位置ずれが残存した場合でも、局所的な位置ずれを補正するためのユーザ入力を促し、そのユーザ入力に基づいてオーバーラップ領域の局所領域においても位置ずれ量が小さい広視野画像を再生成することができる。

［第二実施形態］
次に、本発明の第二実施形態について説明する。本実施形態に係る荷電粒子顕微鏡装置は、撮像画像の構造情報を用いて局所領域における撮像画像の繋ぎ合わせの信頼度を計算しアイコン表示によりユーザに通知する。なお、第一実施形態と同様の構成および処理については同一の符号を付して説明を省略する。

走査型電子顕微鏡装置１００は、図３に示す広視野画像生成処理を実行する。なお、ステップＳ００１〜ステップＳ００５およびステップＳ００８〜ステップＳ０１１の処理は第一実施形態と同様であるため説明を省略する。

図１４は、第二実施形態に係るステップＳ００６の詳細を示したフロー図である。なお、ステップＳ６０１およびステップＳ６０２は、前述のステップＳ１０１およびステップＳ１０２と同様であるため説明を省略する。ステップＳ６０３では、信頼度計算部１２０は、前述のステップＳ１０３と同様に局所領域の相関値を算出する。また、ステップＳ６０４では、信頼度計算部１２０は、ステップＳ６０２で抽出した領域とその近傍を含む領域間で相関マップを算出する。以下、図１５を用いて相関値および相関マップの算出について説明する。

図１５Ａは、局所領域が設定された広視野画像の一部を示した図である。図１５Ｂは、図１５Ａの局所領域を含むオーバーラップ領域を有する撮像画像のペアを示した図である。図示するように、図１５Ａの画像７００は、図１５Ｂの撮像画像７１０、７２０を平均合成して得られた画像である。オーバーラップ領域７０１には、３つの局所領域７０２、７０３および７０４が設定されている。

信頼度計算部１２０は、局所領域７０２、７０３および７０４に対応する領域として各々、領域７１１および７２１と、領域７１２および７２２と、領域７１３および７２３とを撮像画像７１０および７２０から抽出する。また、信頼度計算部１２０は、抽出した領域７１１および７２１と、領域７１２および７２２と、領域７１３および７２３との相関値を算出する。

ここで、局所領域７０２に対応する領域７２１には画像歪みがあり、局所領域７０２では星の模様が二重になっている。また、局所領域７０３に相当する領域７１２および７２２には模様がない。また、局所領域７０４に相当する領域７１３および７２３には繰り返し模様がある。そのため、領域７１１および７２１の相関値を相関値１、領域７１２および７２２の相関値を相関値２、領域７１３および７２３の相関値を相関値３とした場合、相関値１〜３の大小関係は、相関値１＞相関値２＜相関値３となる。

また、信頼度計算部１２０は、領域７１１および７２１と、領域７１２および７２２と、領域７１３および７２３とについて、その近傍を含む各領域間の相関マップを算出する。なお、領域７１２および７２２には模様がないため、高いピークが出現しない相関マップが算出される。また、領域７１３および７２３には繰り返し模様があるため、複数の高いピークが出現する相関マップが算出される。

図１４に戻って説明する。ステップＳ６０５では、信頼度計算部１２０は、相関マップを用いて局所領域の構造情報（例えば、模様など）を特定する。具体的には、信頼度計算部１２０は、相関マップに高いピークが出現していない領域７１２および７２２に相当する局所領域７０３には模様がないことを特定する。また、信頼度計算部１２０は、相関マップに複数の高いピークが出現している領域７１３および７２３に相当する局所領域７０４には繰り返し模様が存在することを特定する。

次に、信頼度計算部１２０は、相関値および構造情報を統合的に評価して局所領域の信頼度を決定する（ステップＳ６０６）。具体的には、信頼度計算部１２０は、対応点ペアの抽出が難しくなる模様すなわち「模様なし」や「繰り返し模様」といった構造情報を有する局所領域の相関値をより低くするための重み付けを行い、各局所領域の信頼度として算出する。また、信頼度計算部１２０は、信頼度を算出すると、処理をステップＳ００７に移行する。

図３に戻って説明する。ステップＳ００７では、信頼度表示部１２１は、撮像画像の繋ぎ合わせの信頼度が低い局所領域を表示する。図１６は、第二実施形態に係るステップＳ００７の処理の詳細を示したフロー図である。ステップＳ７０１では、信頼度表示部１２１は、信頼度および構造情報に応じた局所領域のアイコンを設定する。具体的には、信頼度表示部１２１は、信頼度および構造情報の有無に応じてアイコンの種類とその表示色（単色およびグラデーションなど）を決定する。

次に、信頼度表示部１２１は、全ての局所領域（例えば、ｉ＝１〜Ｎ）についてステップＳ７０２〜ステップＳ７０５の処理を繰り返し実行する。ステップＳ７０２では、信頼度表示部１２１は、信頼度が所定のしきい値以下であるか否かを判定する。

そして、局所領域の信頼度が所定のしきい値以下ではないと判定した場合（ステップＳ７０２でＮｏ）、信頼度表示部１２１は、次の局所領域についてステップＳ７０２の処理を行う。一方で、対応する局所領域の信頼度が所定のしきい値以下であると判定した場合（ステップＳ７０２でＹｅｓ）、信頼度表示部１２１は、かかる局所領域に予めユーザから受け付けた所定の構造情報（例えば、「模様なし」、「繰り返し模様」など）があるか否かを判定する（ステップＳ７０３）。

そして、局所領域に所定の構造情報があると判定した場合（ステップＳ７０３でＹｅｓ）、信頼度表示部１２１は、ステップＳ７０１で決定した構造情報がある場合のアイコンを局所領域に表示する（ステップＳ７０４）。一方で、局所領域に所定の構造情報がないと判定した場合（ステップＳ７０３でＮｏ）、信頼度表示部１２１は、構造情報がない場合の所定のアイコンを局所領域に表示する（ステップＳ７０５）。

図１５Ｃは、信頼度および構造情報を反映したアイコンが表示された広視野画像の一部を示した図である。局所領域７０２、７０３、７０４には各々、信頼度および構造情報に基づいて決定されたアイコンが表示されている。局所領域７０３のアイコンは、「模様なし」の構造情報を反映したアイコンである。局所領域７０４のアイコンは、「繰り返し模様」の構造を反映したアイコンである。また、図１７は、構造情報を反映したアイコンが表示された広視野画像の簡略図である。広視野画像８００には、局所領域の構造情報に応じた種類のアイコン８０１が表示されている。

以上の処理により、撮像画像の繋ぎ合わせの信頼度が低い局所領域の構造情報をアイコンで表示できるため、繋ぎ合わせの信頼度を低くした要因である局所領域の構造情報を視覚的にユーザに知らせることができる。

なお、本発明は前述の実施形態に限られるものではなく、例えばステップＳ００８において、対応点ペアおよび制約条件を変更する局所領域や撮像画像をユーザが選択するようにしても良い。

これにより、ユーザは、アイコンが表示されている全ての局所領域について対応点ペアや制約条件の変更を検討する必要がなくなるため、変更作業に費やす時間を短縮することができる。

また、前述の実施形態の変形例として、ステップＳ００８において対応点ペアの変更を受け付ける際、追加する対応点ペアの候補を表示しても良い。図１８は、対応点ペアの候補を表示して変更を受け付ける場合のＧＵＩの一例を示した図である。図示するように、ＧＵＩ９００上には、ステップＳ００３で設定された対応点ペア９０１と、追加候補となる対応点ペア９０２、９０３、９０４および９０５が表示されている。生成要件調整部１２２は、例えばステップＳ００３で対応点ペアを設定する際に候補となった対応点ペアを抽出し、出力部１１２を介してＧＵＩ９００上に表示する。

また、生成要件調整部１２２は、ステップＳ００８において制約条件の変更を受け付ける際、制約条件を追加する領域候補を表示しても良い。生成要件調整部１２２は、ステップＳ００６で設定された局所領域のうち、信頼度の低い順に所定数（例えば、１〜２つ）の局所領域を抽出し、出力部１１２を介してＧＵＩ９００上に表示する。

これにより、追加する対応点ペアの候補や制約条件を追加する候補領域が表示されるため、ユーザは、追加する対応点ペアや制約条件の候補領域を視覚的に確認することができ、効率良く追加のための操作を行うことができる。

また、前述の実施形態の変形例として、ユーザ入力を受け付けずにステップＳ００６〜ステップＳ０１１の処理を繰り返し行っても良い。例えば、ステップＳ００３で対応点ペアを設定する際に候補となった対応点ペアを記憶部１０２に格納する。また、ステップＳ００８で信頼度が低い局所領域に関連する対応点ペアを変更する際、生成要件調整部１２２は、ユーザ入力を受け付けることなく現在の対応点ペアに次いで特徴量の類似度が高い対応点ペアの候補を記憶部１０２から抽出する。また、生成要件調整部１２２は、抽出した対応点ペアの候補を新たな対応点ペアに設定する。ステップＳ０１１を介して、対応点ペアの候補が無くなるか、あるいは全ての局所領域の信頼度がしきい値以上になるまで、このようなステップＳ００６〜ステップＳ０１１の処理を繰り返し行う。

これにより、対応点ペアの候補の中に妥当な対応点ペアが含まれるオーバーラップ領域において、ユーザ入力を介さずに対応点ペアを変更することで、ユーザが対応点ペアの変更作業に費やす時間を短縮することができる。

また、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除、置換をすることが可能である。

また、上記説明では、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えて良い。

１００・・・走査型電子顕微鏡装置（荷電粒子顕微鏡装置）、
１０・・・走査型電子顕微鏡、２０・・・演算装置、３０・・・入力装置、
４０・・・出力装置、５０・・・記憶装置、１０１・・・演算部、１０２・・・記憶部、１１１・・・入力受付部、１１２・・・出力部、１１３・・・制御部、
１１４・・・処理部、１１５・・・画像処理部、１１６・・・領域設定部、
１１７・・・生成要件設定部、１１８・・・最適化部、１１９・・・画像生成部、
１２０・・・信頼度計算部、１２１・・・信頼度表示部、１２２・・・生成要件調整部、１３１・・・撮像画像、１３２・・・対応点ペア、１３３・・・制約条件、
１３４・・・最適化した変換行列、１３５・・・各種パラメータ

Claims (12)

1. 荷電粒子顕微鏡と、画像処理部とを有する荷電粒子顕微鏡装置であって、
   前記荷電粒子顕微鏡は、
   隣接する撮像画像が重なり合う領域であるオーバーラップ領域をもたせて複数枚の撮像画像を撮像し、
   前記画像処理部は、
   前記隣接する撮像画像間で対応点ペアを前記オーバーラップ領域に設定し、
   所定の制約条件を前記撮像画像ごとに設定し、
   前記対応点ペアおよび前記制約条件に基づいて前記撮像画像間の相対的な位置ずれ量を算出し、算出した前記位置ずれ量に基づいて前記撮像画像間の相対的な位置ずれを補正して繋ぎ合わせることにより１枚の広視野画像を生成し、
   前記オーバーラップ領域に設定された複数の局所領域において撮像画像の繋ぎ合わせの信頼度を計算し、
   前記信頼度が低い前記局所領域または前記局所領域を含むオーバーラップ領域と、前記設定した対応点ペアおよび前記制約条件をユーザに知らせる
   ことを特徴とする荷電粒子顕微鏡装置。
2. 請求項１に記載の荷電粒子顕微鏡装置であって、
   前記対応点ペアおよび前記制約条件の変更を受け付ける入力受付部をさらに有し、
   前記画像処理部は、
   前記信頼度表示に基づいて前記設定した対応点ペアおよび前記制約条件のうち一つ以上の前記対応点ペアおよび前記制約条件の変更を受け付け、
   変更を受け付けた前記対応点ペアおよび前記制約条件を設定し、
   変更後の前記対応点ペアおよび前記制約条件に基づいて撮像画像間の相対的な位置ずれ量を算出し、算出した前記位置ずれ量に基づいて前記撮像画像間の相対的な位置ずれを補正して繋ぎ合わせることにより１枚の広視野画像を生成する
   ことを特徴とする荷電粒子顕微鏡装置。
3. 請求項２に記載の荷電粒子顕微鏡装置であって、
   前記画像処理部は、
   変更後の前記対応点ペアおよび前記制約条件に基づき生成された前記広視野画像の前記オーバーラップ領域に設定されている前記局所領域において、前記撮像画像の繋ぎ合わせの信頼度を再度計算し、
   再度計算された前記信頼度が低い前記局所領域または前記局所領域を含むオーバーラップ領域と、前記設定した対応点ペアおよび前記制約条件とをユーザに知らせる
   ことを特徴とする荷電粒子顕微鏡装置。
4. 請求項１に記載の荷電粒子顕微鏡装置であって、
   前記画像処理部は、
   前記補正した前記撮像画像の倍率、回転、歪みの補正度合いのうち少なくとも１つに基づいて前記信頼度を計算する
   ことを特徴とする荷電粒子顕微鏡装置。
5. 請求項２に記載の荷電粒子顕微鏡装置であって、
   所定の出力装置に表示する画面情報を生成する出力部をさらに備え、
   前記画像処理部は、
   前記出力部を介して、前記設定した対応点ペアおよび前記制約条件をユーザが削除するか、新たな対応点ペアおよび制約条件をユーザが追加することを受け付ける画面情報を表示する
   ことを特徴とする荷電粒子顕微鏡装置。
6. 請求項５に記載の荷電粒子顕微鏡装置であって、
   前記画像処理部は、
   前記入力受付部を介して、前記撮像画像に対して倍率、回転、歪みの度合いのうち、少なくともいずれか１つの追加を制約条件の変更として受け付ける
   ことを特徴とする荷電粒子顕微鏡装置。
7. 請求項５に記載の荷電粒子顕微鏡装置であって、
   前記画像処理部は、
   前記出力部を介して、前記ユーザが追加する新たな対応点ペアの候補となる対応点ペアを表示する
   ことを特定とする荷電粒子顕微鏡装置。
8. 請求項１に記載の荷電粒子顕微鏡装置であって、
   前記画像処理部は、
   前記局所領域の構造情報を特定し、特定した前記構造情報に基づき前記信頼度を計算する
   ことを特徴とする荷電粒子顕微鏡装置。
9. 請求項１に記載の荷電粒子顕微鏡装置であって、
   前記画像処理部は、
   前記信頼度の低い要因を表示する
   ことを特徴とする荷電粒子顕微鏡装置。
10. 請求項９に記載の荷電粒子顕微鏡装置であって、
    前記画像処理部は、
    前記信頼度および前記信頼度の低い要因に基づいて、表示する内容を異ならせる
    ことを特徴とする荷電粒子顕微鏡装置。
11. 荷電粒子顕微鏡装置による広視野画像生成方法であって、
    前記荷電粒子顕微鏡装置は、
    隣接する撮像画像が重なり合う領域であるオーバーラップ領域をもたせて複数枚の撮像画像を撮像するステップと、
    前記隣接する撮像画像間で対応点ペアを前記オーバーラップ領域に設定するステップと、
    所定の制約条件を前記撮像画像ごとに設定するステップと、
    前記対応点ペアおよび前記制約条件に基づいて前記撮像画像間の相対的な位置ずれ量を算出し、算出した前記位置ずれ量に基づいて前記撮像画像間の相対的な位置ずれを補正して繋ぎ合わせることにより１枚の広視野画像を生成するステップと、
    前記オーバーラップ領域に設定された複数の局所領域において撮像画像の繋ぎ合わせの信頼度を計算するステップと、
    前記信頼度が低い前記局所領域または前記局所領域を含むオーバーラップ領域と、前記設定した対応点ペアおよび前記制約条件をユーザに知らせるステップと、を行う
    ことを特徴とする広視野画像生成方法。
12. 請求項１１に記載の広視野画像生成方法であって、
    前記信頼度表示に基づいて前記設定した対応点ペアおよび前記制約条件のうち一つ以上の前記対応点ペアおよび前記制約条件の変更を受け付ける入力受付ステップと、
    変更を受け付けた前記対応点ペアおよび前記制約条件を設定するステップと、
    変更後の前記対応点ペアおよび前記制約条件に基づいて撮像画像間の相対的な位置ずれ量を算出し、算出した前記位置ずれ量に基づいて前記撮像画像間の相対的な位置ずれを補正して繋ぎ合わせることにより１枚の広視野画像を生成するステップと、をさらに行う
    ことを特徴とする広視野画像生成方法。

Images