JP6193776B2 - 走査荷電粒子顕微鏡画像の高画質化方法および走査荷電粒子顕微鏡装置 - Google Patents

Description

本発明は、荷電粒子を試料に照射して画像を取得する走査荷電粒子顕微鏡に係り、特に視認性の高い画像を表示するための走査荷電粒子顕微鏡画像の高画質化方法および走査荷電粒子顕微鏡装置に関する。

荷電粒子顕微鏡は、光学顕微鏡に比べて分解能が非常に高く、被観察対象の微細な構造を鮮明に観察するために広く利用されている。荷電粒子顕微鏡では、荷電粒子ビームを対象試料に照射し、対象試料から放出される、または対象試料を透過する粒子（照射した荷電粒子と同種または別種の荷電粒子、または電磁波、光子）を検出器にて検出することで、対象試料の拡大画像を取得する。走査荷電粒子顕微鏡は、集束させた荷電粒子ビームで試料上をスキャンする。本顕微鏡の例としては、走査電子顕微鏡（Scanning Electron Microscope）、走査イオン顕微鏡（Scanning Ion Microscope）、走査透過電子顕微鏡（Scanning Transmission Electron Microscope）などがあり、その観察対象は、材料、半導体、食品、バイオ、医療分野等、多岐にわたる。

走査荷電粒子顕微鏡画像の画質に関連する主な指標として、S/Nや解像度が挙げられる。高S/N化・高解像度化を図るため、従来では電子光学系や検出系の改良が継続的に行われてきた。高S/N化のためには原理的に十分な量の荷電粒子線を試料に照射する必要があるが、照射量を多くするとスループットの低下などの問題を引き起こす。また、高解像度化においても、現状の走査荷電粒子顕微鏡の分解能が物理的制約である回折限界に近づいており、大幅な分解能の改善は本質的に困難になってきている。

これに対し、近年、画像処理による高画質化が検討されている。画像に含まれる信号成分とノイズを識別してノイズを抑制するノイズ除去処理により、高S/N化を実現することが期待できる（例えば特許文献１）。また、画像の解像度に大きな影響を与える荷電粒子ビームの試料上での強度分布に基づいてデコンボリューション処理を施すことで、解像度向上が可能である（例えば特許文献２、３）。さらに、S/Nや解像度とは異なる観点からの高画質化処理として、コントラストを適切に設定したり、画像の歪みや振動を抑制する方法について検討されている（例えば特許文献４、５）。

荷電粒子顕微鏡画像の撮像方法として、高速にスキャンを行って得られた１枚以上の同一視野の画像データを合成することで画像を取得する高速スキャンモードと、時間をかけてスキャンを行う低速スキャンモードがある。高速スキャンモードでは、走査する荷電粒子ビームの振動等に起因して画像のぼやけが発生する。一方、低速スキャンモードではこのようなぼやけを抑えることが可能であるが、１枚の画像を撮像するのに例えば数十秒といった長い時間を要する。両モードとも広く用いられており、用途や目的によって使い分けられている。また、どちらのモードに対しても高画質化のニーズは高い。

特開２００７−１０７９９９号公報 特開平３−４４６１３号公報 特開２０１２−１４２２９９号公報 特開平７−２４０１６６号公報 特開昭６２−８９１７０号公報

以下、画像の左上位置から右下位置に向かって、横方向にスキャンを行う場合（ラスタースキャン）について説明するが、これに限らない。低速スキャンモードでは撮像に時間がかかるため、画像を撮像し終えてから表示をするのではなく、スキャン途中の画像を表示することが多い。この場合、画面上ではスキャンが終わった左上位置から順に画像が表示される。オペレータは、撮像したい対象をできるだけ高画質で撮像するために、スキャン途中の画像を見ながら、フォーカスやスティグマなどの走査荷電粒子顕微鏡の撮像条件を調整したり、撮像位置を変更したり、撮像を中断するなどの操作を行う。このような判断を的確に行うためには、スキャン途中の画像に対して画像処理による高画質化結果を迅速に表示することが望ましい。

しかし、通常の高画質化処理をスキャン中の画像に施すと、まだ処理を行うのに十分なデータが得られていないようなスキャン位置近傍の領域では、擬似模様を発生するなどの不自然な結果が得られる場合がある。

また、低速スキャンモードでは、数千万画素といった多ピクセルの画像を撮像することも多い。この場合、スキャン途中の画像に対して例えば百ミリ秒間隔で高画質化処理を行いたければ、１秒あたり数百万画素の速度で処理を行う必要がある。このため、性能を犠牲にして演算量の少ない高画質化処理を行うか、または、性能を犠牲にしないためには高価な処理装置を用いなければならなくなる。

画像処理のパラメータ（以下、処理パラメータ）をスキャン途中に変更したいというニーズもある。スキャンが終わってから処理パラメータを調整するという方法も考えられるが、この場合、処理パラメータの調整のみでは意図した画像が得られず、撮像をし直す必要があることが、スキャンが終わってから明らかになることがあり、大きな手戻りが発生する場合がある。

したがって、大きな手戻りを発生させず効率的に撮像するためには、スキャン途中の画像を用いて処理パラメータを調整できることが望ましい。しかし、前述のように特に多ピクセルの画像では、高画質化処理を行うためには処理時間がかかるために、処理パラメータを変更してもその結果を即座に反映することができない。

本発明では、上記したような従来技術の課題を解決して、視認性の高い画像を生成して、即座に表示することが可能な走査荷電粒子顕微鏡画像の高画質化方法および走査荷電粒子顕微鏡装置を提供する。

上記した従来技術の課題を解決するために、本発明では、走査荷電粒子顕微鏡で試料を撮像して得た画像を高画質化する方法を、走査荷電粒子顕微鏡の撮像視野内における試料の一部の領域に対して集束した荷電粒子ビームをスキャンしながら照射して試料を撮像することにより試料の画像データを順次取得するスキャンステップと、このスキャンステップにおいて順次画像データを取得する走査荷電粒子顕微鏡の撮像視野内の領域のうち画像データを未取得の領域からの距離に基づいて、画像データを取得した領域を２個以上の領域に分割する領域分割ステップと、分割した領域の各々の画像データに対して領域分割ステップにおいて分割した領域に応じて高画質化処理方法および高画質化の処理パラメータを決定する処理方法・処理パラメータ決定ステップと、領域分割ステップにおいて分割した各領域の画像データに対して、処理方法・処理パラメータ決定ステップにおいて決定した分割した領域に応じた処理方法および処理パラメータを用いて高画質化処理を行う高画質化ステップと、この高画質化ステップにおいて高画質化処理が行われた画像を表示する高画質化結果表示ステップとを有し、スキャンステップから高画質化結果表示ステップまでを、走査荷電粒子顕微鏡の視野内における試料上の領域のスキャンが終了するまで反復して行うようにした。

また、上記した従来技術の課題を解決するために、本発明では、走査荷電粒子顕微鏡装置を、試料に収束させた荷電粒子を照射してスキャンする荷電粒子照射光学系手段と、荷電粒子照射光学系手段により荷電粒子が照射された試料から発生した同種または別種の粒子を検出する検出光学系手段と、検出光学系手段で試料から発生した粒子を検出して得た画像データに対して高画質化処理を行う高画質化手段と、高画質化処理の結果を表示する画像表示手段とを備えて構成し、高画質化手段は、荷電粒子光学系手段により試料に収束させた荷電粒子を照射してスキャンすることにより取得される撮像視野内の画像データについて視野内の画像データを未取得の領域からの距離に基づいて、画像データを取得した領域を２個以上の領域に分割し、この分割した各々の領域の画像データに対して分割した領域に応じて高画質化処理方法および高画質化の処理パラメータを決定し、分割した各領域の画像データに対して決定した分割した領域に応じた処理方法および処理パラメータを用いて高画質化処理を行うことを、撮像視野内の領域のスキャンが終了するまで反復するようにした。

本発明によれば、走査荷電粒子顕微鏡においてスキャン途中の画像に対して高画質化処理を行うことが可能になった。また、擬似模様を抑制した高画質な画像を、少ない演算量で得ることができ、かつ着目領域から優先的に処理を行うことにより高いユーザビリティを実現できるようになった。

スキャン途中のデータに対して高画質化処理を施すシーケンスの一実施例図である。 本発明の実施例１に係る走査荷電粒子顕微鏡の基本構成を示すブロック図である。 本発明の実施例１に係る荷電粒子顕微鏡の高画質化部の詳細な構成を示すブロック図である。 各時刻におけるスキャン途中のデータを表示する画面を表す図である。 本発明の実施例１に係るデータ取得領域をデータ未取得領域からの距離に基づいて２個以上の領域に分割して高画質化処理を行う方法を表す時刻ｔにおける画像の正面図である。 本発明の実施例１に係るデータ取得領域をデータ未取得領域からの距離に基づいて２個以上の領域に分割して高画質化処理を行う方法を表す時刻ｔ＋Δｔにおける画像の正面図である。 本発明の実施例１に係るデータ取得領域の着目点のデータ未取得領域からの距離の定義を説明する画像の正面図である。 通常の高画質化処理を行うために十分なデータを取得する領域について説明している図で、データを取得する領域が正方形又は長方形の場合を示す画像の正面図である。 通常の高画質化処理を行うために十分なデータを取得する領域について説明している図で、データを取得する領域が正方形や長方形などの矩形ではない場合を示す画像の正面図である。 本発明の実施例１に係るデータ取得領域をデータ未取得領域からの距離に基づいて２個以上の領域に分割して高画質化処理を行う方法を表す、図４Ａ又は図４Ｂの場合とは異なる一実施例を示す画像の正面図である。 本発明の実施例１に係る高画質化処理と画像処理アルゴリズムとの組合せを示す表である。 本発明の実施例１に係るデータ取得領域をデータ未取得領域からの距離に基づいて２個以上の領域に分割して高画質化処理を行う方法の処理フローを表すフロー図である。 本発明の実施例２に係る高画質化処理を説明する図であって、時刻ｔで処理パラメータＰを用いて高画質化処理を行った結果を示す画像の正面図である。 本発明の実施例２に係る高画質化処理を説明する図であって、時刻ｔ＋Δｔで処理パラメータＱを用いて高画質化処理を行った結果を示す画像の正面図である。 本発明の実施例２に係る高画質化処理を説明する図であって、時刻ｔ＋２Δｔで処理パラメータＱを用いて高画質化処理を行った結果を示す画像の正面図である。 本発明の実施例２に係る高画質化処理を説明する図であって、時刻ｔ＋２Δｔで処理パラメータＲを用いて高画質化処理を行った結果を示す画像の正面図である。 本発明の実施例２に係る高画質化処理を説明する図であって、時刻ｔで処理パラメータＱを用いて高画質化処理を行った結果を示す画像であって、着目点９１４が指定された場合の処理を行った場合の画像の正面図である。 本発明の実施例２に係る高画質化処理を説明する図であって、時刻ｔ＋Δｔで着目点９１４の周囲の猟奇９２２において処理パラメータＱを用いて高画質化処理を行った結果を示す画像の正面図である。 本発明の実施例２に係るデータ取得領域をデータ未取得領域からの距離に基づいて２個以上の領域に分割して高画質化処理を行う方法の処理フローを表すフロー図である。 本発明の実施例２に係る高画質化処理を説明する図であって、時刻ｔで複数の異なる種類の処理パラメータ（α_１、β_１）を用いて処理Ｘで高画質化処理を行った結果を示す画像の正面図である。 本発明の実施例２に係る高画質化処理を説明する図であって、時刻ｔ＋Δｔで複数の異なる種類の処理パラメータ（α_２、β_１）を用いて処理Ｙで高画質化処理を行った結果を示す画像の正面図である。 本発明の実施例２に係る高画質化処理を説明する図であって、時刻ｔ＋２Δｔで複数の異なる種類の処理パラメータ（α_２、β_２）を用いて領域ごろに異なる処理で高画質化処理を行った結果を示す画像の正面図である。 本発明の実施例２に係るデータ取得領域をデータ未取得領域からの距離に基づいて２個以上の領域に分割して高画質化処理を行う方法において、図１１で説明した処理を実現する方法の処理フローを表すフロー図である。 本発明の実施例２に係るスキャン途中の画像に対する高画質化処理のＧＵＩ画面を表す一実施例図である。 本発明の実施例２に係るスキャン途中の画像に対する高画質化処理のＧＵＩ画面であって、図１３Ａの場合よりの有る時間が経過した後の画像を示すＧＵＩ画面である。

本発明は、荷電粒子を試料に照射して画像を取得する走査荷電粒子顕微鏡に係り、特に視認性の高い画像を表示するための走査荷電粒子顕微鏡画像の画像処理方法およびその装置を提供する。以下、本発明に係る実施の形態について図面を用いて説明する。

本発明では、以下の走査荷電粒子顕微鏡画像の高画質化方法およびその装置により前記課題を解決する。

（１）本発明は、画像のデータ取得領域をデータ未取得領域からの距離に基づいて２個以上の領域に分割し、領域毎に処理方法または処理パラメータを決定することを特徴とする。
これにより、まだ処理を行うのに十分なデータが得られていないような領域（すなわちデータ未取得領域の近傍の領域）と、それ以外の領域、すなわち処理を行うのに十分なデータが得られている領域に分け、前者の領域は暫定的な処理として、例えば不自然な結果になることは抑制できるが画質向上度合いは少ないような処理を施し、後者の領域は通常の高画質化処理を施すといったように、複数の処理を組み合わせることによって全体的に良好な画像を得ることができる。

（２）また、本発明は、分割した２個以上の領域のうち、1個以上の領域に対しては、新たに高画質化処理を行わずに過去の処理結果を用いることを特徴とする。特に、データ未取得領域から離れた領域にある、過去の高画質化処理の結果から大きな変化がない領域については、過去の処理結果を用いる。
これにより、全ての取得データに対して高画質化処理を行うと処理時間が長くなってしまうという問題を改善することができる。処理対象とする領域を最小限に抑えることにより、高画質化処理の処理時間を抑え、処理結果を迅速に表示することができる。

（３）また、本発明は、スキャン途中で処理パラメータが変更された場合に、処理パラメータ変更後に新たに取得したデータのみでなく、処理パラメータ変更前に取得したデータに対しても変更後の処理パラメータを用いて処理をかけ直す。さらに、処理領域に優先度を付けて、優先度の高い順に順次処理を行うことを特徴とする。
フォーカス位置などの撮像条件をスキャン途中で変更した場合には、既に取得したデータに対して撮像条件変更後の画像に置き換えることはできない。しかし、画像処理パラメータを変更した場合には、本発明により既に取得したデータに対して変更後の処理パラメータで処理を行うことが可能である。また、多くの取得データを得た後で処理パラメータが変更された場合など、変更後の処理パラメータで全取得データに対して処理をかけ直すには少なからず時間がかかる場合がある。この場合に、ユーザが着目している領域（または着目しやすい領域）から優先的に処理を行うことで、時間遅延によりユーザビリティが低下するという問題を防ぐ。

（４）また、本発明は、高画質化処理の途中結果を保存しておき、分割により得られた1個以上の領域に対して前記途中結果を用いて処理を行う。
処理パラメータを途中で変更した際、処理パラメータの種類等によっては、高画質化処理を始めからやり直さなくても、途中結果を用いることによって少ない演算量で高画質化結果が得られる場合がある。また、複数種類の処理パラメータを変更した場合に、後述する実施例のように効率良く高画質化処理を行うことも可能になる。

図１は、本発明における試料表面を荷電粒子ビームでスキャン途中に検出器で取得した画像データに対して高画質化処理を施すシーケンスの一実施例図である。１枚分の画像データを取得して表示するまで、ステップＳ１０１〜Ｓ１０７を繰り返す。

ステップＳ１０２では、視野内の一部の領域をスキャンして、画像データの一部を得る。１回分のループでどのくらいの量のデータを取得するかは、スキャンスピードや表示レートによって決まる。例えば、１枚分の画像データを得る、すなわち視野内の全領域をスキャンする時間を６０秒とし、表示レートを５０ミリ秒とする場合には、画像データの１２００分の１の量のデータを１回のループで取得すれば良い。

ステップＳ１０３では、データ取得領域をデータ未取得領域からの距離に基づいて２個以上の領域に分割する。ステップＳ１０４では、ステップＳ１０３の分割により得られた領域の各々に対して、高画質化処理の方法および処理パラメータを決定する。ステップＳ１０５では、各領域に対してステップＳ１０４で決定した処理方法および処理パラメータを用いて高画質化処理を行う。ステップＳ１０６では、高画質化結果を表示する。

図２Ａは、本実施例における走査荷電粒子顕微鏡２００の基本構成を示すブロック図である。走査荷電粒子顕微鏡２００は、例えば、荷電粒子画像取得装置２０１、入出力部２２１、制御部２２２、処理部２２３、記憶部２２４、高画質化部２２５等を備えて構成される。

荷電粒子画像取得装置２０１では、荷電粒子銃２０２から荷電粒子ビーム２０３を発生し、この荷電粒子ビーム２０３をコンデンサレンズ２０４や対物レンズ２０５に通すことにより試料２０６の表面に集束する。次に、試料２０６から発生する粒子を検出器２０８で検出することにより、画像を取得する。画像は、記憶部２２４に保存される。

検出器２０８は複数個備わっていても良く、さらに、電子を検出する検出器と電磁波を検出する検出器のように異なる粒子を検出する検出器であったり、エネルギーやスピン方向が特定の範囲内にある粒子のみを検出する検出器であったり、２次荷電粒子検出器と後方散乱荷電粒子検出器のように異なる性質の粒子を検出する検出器であっても良い。同じ性質の粒子を検出する検出器が異なる配置位置に複数備わっていても良い。検出器２０８が複数個備わっている場合には、通常１回の撮像で、画像を複数枚取得することができる。

試料２０６はステージ２０７に載置されており、ステージ２０７を移動することにより、試料の任意の位置における画像の取得が可能である。また、ビーム偏向器２０９で荷電粒子ビーム２０３の向きを２次元的に変えることにより、荷電粒子ビーム２０３で試料２０６の上をスキャンすることができる。

入出力部２２１では、画像撮像位置や撮像条件の入力、画像及び画像の処理結果を画面上に表示して出力することなどを行う。制御部２２２では、荷電粒子画像取得装置２０１の制御として、荷電粒子銃２０２等に印加する電圧や、コンデンサレンズ２０４および対物レンズ２０５の焦点位置、ステージ２０７の位置、ビーム偏向器２０９による荷電粒子ビーム２０３の偏向度合い等を制御する。また、制御部２２２は、入出力部２２１、処理部２２３、記憶部２２４、高画質化部２２５の制御も行う。

処理部２２３では、各種の処理、例えば、荷電粒子ビーム２０３の焦点をステージ２０７に載置された試料２０６の表面に合わせるために必要な自動焦点合わせに関する処理などを行う。記憶部２２４では、撮像画像、高画質化後の画像、高画質化処理における途中結果、各種処理パラメータ等を保存する。高画質化部２２５では、取得したデータに対する高画質化処理を行う。

高画質化部２２５は、図２Ｂにその詳細な構成を示すように、領域分割部２２６、処理方法・パラメータ制御部２２７、高画質化処理実施部２２８を備えている。領域分割部２２６では、ステップＳ１０３の処理、すなわちデータ取得領域を２個以上の領域に分割する処理を行う。処理方法・パラメータ制御部２２７では、ステップＳ１０４の処理、すなわちステップＳ１０３で分割した領域毎にノイズ除去処理や鮮鋭化処理などを含む高画質化処理の処理方法・パラメータを決定する処理を行う。高画質化処理実施部２２８では、ステップＳ１０３で分割された領域に関する情報と、この分割された各領域に対応する処理方法・パラメータに基づいて高画質化処理を実施する。

図３は、試料２０６の表面を荷電粒子ビーム２０３でスキャン途中に検出器２０８で検出して得られた画像データを表示する画面を表す図である。画像３０１〜３０３は、時刻ｔ、ｔ+Δｔ、ｔ＋２Δｔ（Δｔ＞０）のそれぞれにおける画像表示画面である。時刻ｔでは、位置３１１までスキャンを行なっており、位置３１１より上側、または位置３１１の真横左側の領域３２１は、データ取得領域である。本領域では取得したデータがあり、画像表示が可能である。一方、それ以外の領域、すなわち位置３１１より下側、または位置３１１の真横右側の黒色の領域３２２は、データ未取得領域である。本領域ではまだデータを取得しておらず、画像表示ができない。

時刻ｔ＋Δｔでは、位置３１２までスキャンを行なっており、時刻ｔと比べるとデータ取得領域が広くなっている。時刻ｔ＋２Δｔでは、位置３１３までスキャンを行なっており、さらにデータ取得領域が広くなっている。このように、スキャンを開始してからの時間が経過するにしたがって、データ取得領域が広くなる。これに伴い、高画質化処理が必要な画素の数も増えることになる。

まず、図４Ａ〜図７を用いて、第一の実施形態における、データ取得領域をデータ未取得領域からの距離に基づいて２個以上の領域に分割し、領域毎に処理方法またはパラメータを変える方法について説明する。

図４Ａ及び図４Ｂは、データ取得領域をデータ未取得領域からの距離に基づいて２個以上の領域に分割して高画質化処理を行う方法の一例を示す図である。

図４Ａの画像４０１は、ある時刻ｔにおける撮像画像および領域分割結果である。領域４１４（黒色の領域）がデータ未取得領域である。画像４０１におけるデータ取得領域４１０（領域４１１，４１２，４１３を合わせた領域）を、データ未取得領域４１４からの距離に基づいて分割する。

データ未取得領域４１４からの距離の定義は幾つか考えられる。本実施例においては、図４Ｃに示すように、データ取得領域４１０における位置（ｘ、ｙ）とデータ未取得領域４１４内の任意の位置（ｘｓ、ｙｓ）との距離Ｄ（ｘｓ，ｙｓ）を、そのｙ座標の差、すなわち｜ｙ−ｙｓ｜と定義し、データ取得領域４１０における位置（ｘ、ｙ）とデータ未取得領域４１４内の全ての位置（ｘｓ、ｙｓ）との距離Ｄ（ｘｓ，ｙｓ）の最小値、即ちmin Ｄ（ｘｓ、ｙｓ）を、データ未取得領域からの距離Ｄとする場合を考える。

なお、データ未取得領域４１４からの距離に関する他の定義としては、ユークリッド距離｛（ｘ−ｘｓ）²＋（ｙ−ｙｓ）²｝^1/2や、マンハッタン距離｜ｘ−ｘｓ｜＋｜ｙ−ｙｓ｜、それらを一般化した距離｛（ｘ−ｘｓ）^p＋（ｙ−ｙｓ）^p｝^1/p、各画素の明度値も考慮した距離（例えば測地線距離）を採用する場合などが考えられる。或いは、ユークリッド距離とマンハッタン距離のうち小さい方、といったように、複数の方法で計算した複数の距離から求めた値であっても良い。

データ取得領域における位置（ｘ、ｙ）からデータ未取得領域４１４までの距離Ｄに対して２個のしきい値Ｔ_１、Ｔ_２を設定し（Ｔ_１＜Ｔ_２）、図４Ａにおいて、距離ＤがＴ_２以上の領域を領域Ａ４１１、距離ＤがＴ_１以上Ｔ_２未満の領域を領域Ｂ４１２、距離ＤがＴ_１未満の領域を領域Ｃ４１３とする。

領域Ａ４１１は、通常の高画質化処理を行うために十分なデータが全て取得されている領域であり、通常の高画質化処理を行うことができる。ここで、通常の高画質化処理とは、後述する暫定的な高画質化処理ではないという意味である。

領域Ｂ４１２は、通常の高画質化処理を行うためには一部のデータが不足している（すなわち取得されていないデータがある）領域であり、暫定的な高画質化処理を行う必要がある。ここで、暫定的な高画質化処理とは、高画質化処理を弱くかけたり、一部の処理をスキップするなどにより、データ未取得領域がない場合に行える処理と比べると高画質化の度合いが小さいような処理を指す。

高画質化の度合いが小さいような処理とは、例えばフィルタサイズを小さくしたり、反復回数を減らしたり、明度値が急激に変化することのないよう制約を設けるような処理を表す。また、例えば、通常の処理では高性能な結果が期待できる非線形のフィルタ処理を行い、暫定的な処理では線形フィルタを行なう等、高画質化方法を変更することにより高画質化の度合いを変えても良い。

領域Ｃ４１３は、暫定的な処理を行ったとしても良好な結果が得られず、擬似模様などを発生してしまう可能性が高い領域である。

本実施例では、領域４１１〜４１３に分割し、領域４１１に対しては通常の高画質化処理である単数又は複数の処理アルゴリズムを含む処理４１５を施す。また、領域４１２に対しては暫定的な高画質化処理である単数又は複数の処理アルゴリズムを含む処理４１６を施す。さらに、領域４１３に対しては高画質化処理を施さず、また表示もしない。すなわち、データ未取得領域４１４と同じ扱いとする（例えば領域４１３およびデータ未取得領域４１４は共に黒色で塗り潰す）。領域４１３は、画像の縦方向数ライン分程度の、小さなサイズであることが多いため、データ未取得領域４１４と同じ扱いとしても大半の用途においては問題にならない。

このような処理により、高画質化結果の画像４０２のように領域４０２１と領域４０２２に対して各々の処理結果を表示する。一方、画像４０１における領域４１３とデータ見取得領域４１４は、画像４０２においては共に未処理領域４０２３として黒色で塗りつぶされて表示される。

このように、データ取得領域をデータ未取得領域からの距離に基づいて２個以上の領域に分割し、領域毎に処理方法またはパラメータを決定して高画質化処理を行うことにより、どの領域にも擬似模様などを発生せずに、自然でかつ高画質な画像を出力できる。

なお、分割した領域の境界（例えば領域４０２１と領域４０２２の境界）では、明度値が不連続になるなど、途切れた画像に見える場合が考えられる。そこで、各領域が重複領域を持つように分割して処理を行った後、重複領域に対して補間処理を行っても良い。

一方、図４Ｂの画像４０３は、図４Ａの画像４０１を取得した後の時刻ｔ＋Δｔにおける撮像画像および領域分割結果である。図４Ａに示した時刻ｔで取得した画像４０１において高画質化処理を行った後、時刻ｔ＋Δｔで取得した図４Ｂの画像４０３において高画質化処理を行うことを考える。

画像４０３では、データ取得領域を領域４２１〜４２５の５個の領域に分割する。領域４２２、領域４２３、領域４２４は、それぞれ図４Ａの画像４０１における領域４１１〜４１３と同様の処理を行う。領域４２５はデータ未取得領域である。

領域４２１は処理不要領域で、図４Ａの画像４０１を取得した時点で領域４１１と判断した領域と同じである。この領域は、画像４０１に対して処理Ａ４１５（すなわち通常の高画質化処理）を行っており、時刻ｔ＋Δｔにおいて取得した図４Ｂの画像４０３に対して同様に処理Ａ４１５を行なっても同じ結果が得られる。そのため、画像４０３における領域４２１に対しては再度高画質化処理を行う必要はなく、画像４０２の処理結果をそのまま用いる。

画像４０３に対する高画質化結果の画像４０４では、処理不要領域４０４１と領域４０４２については通常の高画質化処理である処理Ａ４１５又は処理Ａ４２６を行った結果を表示し、領域４０４３については暫定的な高画質化処理である処理Ｂ４２７を行った結果を表示する。領域４０４４は未処理領域である。

このように、処理不要領域４０４１を抽出して、その領域については、先に実行した高画質化処理のデータを用いることにより今回の高画質化処理である処理Ａ４２６を実行する領域の対象外とする。これにより、全ての取得データに対して毎回一部を重複しながら高画質化処理を行うことにより処理時間が長くなってしまうという問題を改善することができる。処理対象とする領域を最小限に抑えることにより、処理結果を迅速に表示することができる。

図５Ａ及び図５Ｂは、通常の高画質化処理を行うために十分なデータを取得する領域について説明している図である。図５Ａの画像５０１において、領域５１０は画像データを取得した領域（画像データ取得領域５１０）、領域５１５は画像データを未取得の領域（画像データ未取得領域５１５）を表わしている。

領域５１３は、画素５１１において通常の高画質化処理を行うために必要なデータ領域を表している。領域５１３は一辺が数画素又はそれ以上の画素数の正方形であるが、本データ領域がどのような形状になるかは高画質化処理アルゴリズムの内容によって決まる。例えば、移動平均フィルタなどの、有限のフィルタ係数からなる２次元畳込み演算や、メディアンフィルタでは、本データ領域はこのような正方形または長方形となることが多い。領域５１４は、画素５１２において通常の高画質化処理を行うために必要なデータ領域を表している。

領域５１３は画像データ未取得領域５１５と共通部分を持たないため（すなわち、領域５１３は全て画像データ取得領域５１０に属するため）、通常の高画質化処理である処理Ａ４１５又は４２６を行うために必要なデータが全て揃っている。このため、画素５１１は通常の高画質化処理である処理Ａ４１５又は４２６を行うことができる。

一方、領域５１４の一部は画像データ未取得領域５１５と重複しており、通常の高画質化処理である処理Ａ４１５又は４２６を行うために必要なデータの一部は未取得であるため、暫定的な高画質化処理である処理Ｂ４１６又は４２７を行う。

このように画像データ取得領域５１０の各画素について、通常の高画質化処理である処理Ａ４１５又は４２６を行うために必要なデータ領域（図５Ａの領域５１３又は５１４）が画像データ未取得領域５１５と共通部分を持つか否かを調べれば、通常の高画質化処理である処理Ａ４１５又は４２６を行えるか否かがわかる。

特に、通常の高画質化処理である処理Ａ４１５又は４２６を行うために必要なデータ領域（図５Ａの領域５１３又は５１４に相当）の形状および大きさが画素に依存しない場合（固定のフィルタサイズを用いた畳込み演算やメディアンフィルタはこの場合に該当する）は、データ未取得領域５１５からの距離にしきい値を設定することで、通常の高画質化処理を行えるか否かを高速に確認することができる。

図５Ａにおいて境界線５１６は、通常の高画質化処理である処理Ａ４１５又は４２６を行える領域５１７と通常の高画質化処理を行えない領域５１８との境界を表す。画像データ取得領域５１０内の位置（ｘ、ｙ）と画像データ未取得領域５１５との距離Ｄは、画像データ未取得領域５１５内の位置（ｘｓ、ｙｓ）とのＬ∞距離（すなわち、ｍａｘ（｜ｘ−ｘｓ｜、｜ｙ−ｙｓ｜））の最小値から計算できる。

図５Ｂに示した画像５０２において、領域５２３および５２４は、それぞれ画素５２１および５２２において通常の高画質化処理である処理Ａ４１５又は４２６を行うために必要なデータ領域を表している。図５Ａに示した画像５０１の場合とは異なり、領域５２３および５２４の形状が正方形や長方形ではないが、高画質化処理の方法によっては（畳込み演算やメディアンフィルタであっても）このような形状になり得る。また、画素５２１と５２２でフィルタの形状が異なっていても良い。

この例では、画素５２１では領域５２３が画像データ未取得領域５２５と共通部分を持たないため（すなわち、領域５２３は全て画像データ取得領域５２０に属するため）、領域５２３の情報を用いて通常の高画質化処理である処理Ａ４１５又は４２６を行うことができる。一方、画素５２２は領域５２４の一部が画像データ未取得領域５２５と重複しており、領域５２４の情報を用いて通常の高画質化処理である処理Ａ４１５又は４２６を行えないため、暫定的な高画質化処理を行う。通常の高画質化処理を行える領域５２７と通常の高画質化処理が行えない領域５２８との境界を５２６に示す。

このようにデータ領域の形状が５２３や５２４のように正方形や長方形でない場合や画素のよって異なる場合では、通常の高画質化処理を行える領域５２７と通常の高画質化処理が行えない領域５２８との境界５２６の形状が、図５Ａに示した場合の境界５１６の場合よりも複雑になる。

高画質化処理は、ノイズ除去処理や鮮鋭化処理などの幾つかの処理に分けることができる。各処理について通常の高画質化処理である処理Ａ４１５又は４２６を行える領域とそうではない通常の高画質化処理である処理Ａ４１５又は４２６を行えない領域に分割して、その結果に基づいて各処理の方法（画像処理アルゴリズム）や処理パラメータを決定するようにしても良い。

図６Ａは、データ取得領域をデータ未取得領域からの距離に基づいて２個以上の領域に分割して高画質化処理を行う方法を表す図であって、図４とは異なる例を示す。画像６０１は、ある時刻ｔにおける撮像画像を領域分割した結果を示す図である。領域６１５が画像データ未取得領域であり、領域６１１，６１２，６１３，６１４を含む画像データ取得領域６１０をデータ未取得領域６１５からの距離に基づいて分割する。

図６Ａの場合における高画質化処理は、画像処理のアルゴリズムａ（例えばノイズ除去処理）と画像処理のアルゴリズムｂ（例えば鮮鋭化処理）からなり、各画像処理アルゴリズムについて通常の処理が行える領域と暫定的な処理を行う領域とを求めることができる。

領域６１１はアルゴリズムａとアルゴリズムｂについて共に通常の処理として処理Ａ６２１を行える領域、領域６１２はアルゴリズムｂのみが通常の処理でとして処理し、アルゴリズムａは暫定的な処理を行う処理Ｂが行われる領域、領域６１３はアルゴリズムａとアルゴリズムｂについて共に通常の処理を行えず何れも暫定的な処理が行う処理Ｂ’が行われる領域、領域６１４はアルゴリズムａとアルゴリズムｂについて共に暫定的な処理を行ったとしても良好な結果が得られず擬似模様などを発生してしまう可能性が高い領域である。

高画質化処理では、領域６１１の各画素に対しては、処理Ａ６２１として図６Ｂに示すように、アルゴリズムａとアルゴリズムｂについて共に通常の処理を施す。また領域６１２の各画素に対しては、処理Ｂ６２２として、アルゴリズムａについて暫定的な処理を行い、アルゴリズムｂについて通常の処理を行う。領域６１３の各画素に対しては、処理Ｂ’としてアルゴリズムａとアルゴリズムｂについて共に暫定的な処理を行う。さらに、領域６１４の各画素に対しては高画質化処理を施さず、また表示もしない。すなわち、データ未取得領域６１５と同じ扱いとする。

領域６１２は、アルゴリズムａについては通常の処理が行えないため、高画質化処理全体として通常の処理が行えるか否かという観点で画像データ取得領域６１０を分割をすると、暫定的な処理を施す領域の側に分割される。しかし、高画質化処理が複数の処理（図６Ａの例では、アルゴリズムａとアルゴリズムｂ）からなっている場合には、本実施例のように処理毎に通常の処理が行える領域とそうではない領域に分割することにより、領域６１２に対してアルゴリズムｂを行う際には通常の処理を施すことができる。すなわち、各画像処理方法（画像処理のアルゴリズム）について暫定的な処理を行う領域を小さく抑えることができ、より視認性の高い画像を得ることができる。

図７は、データ取得領域をデータ未取得領域からの距離に基づいて２個以上の領域に分割して高画質化処理を行う方法の処理フローの一例を示す図である。図７に示した例は、図１のステップＳ１０３〜Ｓ１０５の処理に対応している。

図７において、図１のステップＳ１０２に対応する処理として、ステップＳ７１１でオペレータにより設定された処理パラメータを入出力部２２１から高画質化部２２５に入力し、ステップＳ７１２で制御部２２２のビーム偏向器２０９制御情報から取得した荷電粒子ビーム２０３の試料２０６表面スキャン位置情報を入力して、Ｓ７１３で入力した処理パラメータの情報とスキャン位置情報とを用いてデータ未取得領域からの距離に対するしきい値（データ未取得領域近傍しきい値）を計算する。この算出したしきい値により、画像データ取得領域内の着目画素がデータ未取得領域の近傍か否かを判定できる。このデータ未取得領域近傍しきい値は、図６Ａにて説明したように、アルゴリズム毎に求めても良い。

次に図１のＳ１０３に対応する処理として、ステップＳ７１４で荷電粒子画像取得装置２０１で試料２０６を撮像して得られた撮像画像７０１を高画質化部２２５に入力し、ステップＳ７１５において、ステップＳ７１３で算出したデータ未取得領域近傍しきい値を用いてステップＳ７１４で入力した撮像画像７０１の領域分割を行う。

続いて図１のＳ１０４に対応する処理として、ステップＳ７１６において、分割された撮像画像７０１の各領域について、処理Ａ、処理Ｂに応じて画像処理方法および処理パラメータを決定し、ステップＳ７１７で領域ごとに分割されて各領域における画像処理方法および処理パラメータに関する情報が付与された画像７０４を作成する。

次に、図１のＳ１０５に対応する処理として、ステップＳ７１８において、ステップＳ７１７で作成した画像７０４に付与された各領域ごとの画像処理方法および処理パラメータの情報を用いて高画質化処理を行い、ステップＳ７１９で高画質化結果を得て、入出力部２２１の画面上に表示する。処理はある時間間隔（例えばｔ、ｔ＋Δｔ、ｔ＋２Δｔ、…）毎に行う。時間間隔は等間隔でなくても良い。

Ｓ７１６における画像処理方法および処理パラメータを決定するステップでは、図６Ｂに示したような通常の高画質化処理と暫定的な高画質化処理のそれぞれの場合における画像処理方法と処理パラメータを予め定めておき、Ｓ７１７の分割された各領域における画像処理方法および処理パラメータを付与するステップにおいて、領域分割の結果に応じて画像処理方法および処理パラメータを決定する。例えば、Ｓ７１１で入力した処理パラメータを用いて、まず通常の高画質化処理である処理Ａ４１５，４２６，６２１などにおける画像処理方法および処理パラメータを決定する。

次に、暫定的な高画質化処理である処理Ｂ４１６、４２７、６２２などにおける画像処理方法および処理パラメータを決定する。暫定的な高画質化処理である処理Ｂ４１６、４２７、６２２などにおける画像処理方法は、全てのデータが取得されていなくても適用できる方法とする。例えば、データ未取得領域４１４，４２５、６１５にある画素に対してはフィルタの適用対象外とするように、フィルタ処理方法を変える。

暫定的な高画質化処理である処理Ｂ４１６、４２７、６２２などにおける処理パラメータは、例えば、擬似模様を発生させないような弱い値とする。より具体的な例としては、Ｓ７１１で入力する処理パラメータとして平滑化処理のフィルタサイズが１５であるという値を入力した場合、通常の高画質化処理である処理Ａ４１５，４２６，６２１などではフィルタサイズが１５で平滑化処理を施すが、暫定的な高画質化処理である処理Ｂ４１６、４２７、６２２などではフィルタサイズを１５と比べて小さな値として例えば３にする。この場合、平滑化の度合いは小さくなるが、撮像画像に近い画像が出力されるため、不自然な結果にはなりにくいことが多い。

また、ステップＳ７１７において領域分割の結果に応じて画像処理方法および処理パラメータが付与された画像７０４は分岐されて、一方はステップＳ７１８に進んで高画質化処理が施され、他方はステップＳ７２０において、画像７０４が遅延させられる。次に、ステップＳ７２０で遅延された画像７０４は、ステップＳ７１５とＳ７１６に送られる。

ステップＳ７１５とＳ７１６では、まずステップＳ７２０で遅延された画像７０４の情報を用いずに領域分割（Ｓ７１５）と、画像処理方法・処理パラメータの決定（Ｓ７１６）を行い、次にそれらの結果と遅延された画像７０４の情報を比較することにより、前回の処理と同じ処理を行う領域が抽出される。この抽出された領域は、図４を用いて説明した処理不要領域とみなすことができる。この処理不要領域の情報を画像７０４に付与してステップＳ７１８に送ることにより、ステップＳ７１８において高画質化処理を行う際に、処理不要領域については高画質化処理をスキップすることができる。これにより、画像７０４に対する高画質化処理を施す領域を最小限に抑えることができ、処理時間を短縮して、処理の結果を迅速に表示することができる。

次に、図８Ａ〜１２を用いて、第二の実施形態である、ある時刻で処理パラメータが変更された場合の高画質化処理の方法について説明する。

図８Ａ乃至図８Ｄは、ある時刻で処理パラメータが変更された場合に、どのように高画質化処理を行うかを表す一実施例図である。画像８０１は、時刻ｔにおける撮像画像および領域分割結果である。時刻ｔでは処理パラメータはＰであるとする（処理パラメータは通常複数個からなるが、それらを纏めたものをＰと呼ぶ）。この場合には、データ取得領域８１１に対して処理Ｘ：８１３を行い、高画質化領域８０２１を含む高画質化結果の画像８０２を求める。

８１２はデータ未取得領域であり、画像８０２における領域８１２１はデータ未取得領域８１２に対応する未処理の領域である。図８Ａには記載していないが、実際には図４Ａで説明したように、データ取得領域８１１を複数の領域に分割して領域毎に高画質化処理を行う。時刻ｔの直後で処理パラメータがＰからＱに変更された場合を考える（処理パラメータＰとＱは異なる値であるとする）。

図８Ｂの画像８０３は、時刻ｔ＋Δｔにおける撮像画像および領域分割結果である。時刻ｔ＋Δｔにおける処理パラメータはＱである。もし可能であれば、全てのデータ取得領域に対して処理パラメータＱの高画質化結果を表示できれば望ましいが、処理が間に合わないために困難である場合が多い。そこで、処理が間に合う範囲内で、できるだけ広い領域に対して処理パラメータＱでの高画質化処理を行い、その結果を表示する。この際、ユーザはスキャン位置の近傍に着目していることが多いため、スキャン位置近傍に対する高画質化結果を優先的に表示するようにする。そこで、画像８０３では、スキャン位置に近い領域８２２に対して、処理Ｙ：８２４により処理パラメータＱでの高画質化処理を行う。

一方、領域８２１は、時刻ｔにおいて通常の高画質化処理を行ったか暫定的な高画質化処理を行ったかに関係なく、処理を行わない。すなわち、時刻ｔの時点では処理パラメータＰでの暫定的な高画質化処理を行っており、後の時刻で通常の処理を行う予定であったとしても、時刻ｔ＋Δｔの時点では処理パラメータはＰからＱに変更されているため、従来の予定通りの処理、すなわち処理パラメータＰでの通常の高画質化処理を行うようなことはしない。その結果、高画質化結果の画像８０４として、処理Ｘ：８１３が施された領域からなる高画質化領域８０４１と、処理Ｙ：８２４が施された領域からなる高画質化領域８０４２を含む画像が得られる。画像８０４における領域８２３１はデータ未取得領域８２３に対応する未処理の領域である。

図８Ｃの画像８０５は、さらに時刻が進んで時刻ｔ＋２Δｔにおける撮像画像および領域分割結果である。処理パラメータはＱのままであるとする。このとき、まだ処理パラメータＱでの高画質化結果を求めていない領域である、領域８３２と領域８３４に対して、処理Ｙ：８３６により処理パラメータＱでの高画質化処理を行う。一方、領域８３１のようなデータ未取得領域８３５からの距離が長い領域は、まだ処理不要領域のままにしておき、処理を行わない。領域８３３は既に処理パラメータＱでの高画質化結果を求めた領域であるが、この領域８３３についても処理不要領域として処理を行わない。

高画質化結果を示す画像８０６において、領域８３２、８３３、８３４の各領域では処理パラメータＱでの高画質化結果として、領域８０６２の画像が得られる。一方、領域８０６１はすでに高画質化処理が行われた処理不要領域８３１に対応する領域である。画像８０６における領域８３５１はデータ未取得領域８３５に対応する未処理の領域である。

高画質化処理を施した画像８０４と８０６を比較すると、処理パラメータＱでの高画質化結果が得られている領域は、画像８０６のほうが広くなっている。以下、時刻ｔ＋３Δｔ、ｔ＋４Δｔ等でも同様の処理を繰り返すことにより、十分な時間が経った後では、全てのデータ取得領域に対して処理パラメータＢでの高画質化結果を表示できるようにする。

図８Ｄの画像８０７は、図８Ｃの画像８０５と同様に時刻ｔ＋２Δｔの撮像画像および領域分割結果であるが、時刻ｔ＋Δｔの直後でさらに処理パラメータがＱからＲに変更された場合を表している（処理パラメータＰ、Ｑ、Ｒは全て異なる値であるとする）。この場合、処理パラメータがＱに変更された場合の処理と同様に、スキャン位置近傍から優先してできるだけ広い領域に対して処理パラメータＲの高画質化結果を表示するように処理を施す。

具体的には、データ未取得領域８４４からの距離があるしきい値未満である領域８４３に対して、処理Ｚ：８４５により処理パラメータＲでの高画質化処理を行い、高画質化処理領域８０３２を含む高画質化結果の画像８０８を得る。領域８０８１及び８０８２は、それぞれ領域８４１および８４２に対応して既に高画質化処理が実施されており、ともに処理不要領域である。領域８４１および８４２では、それぞれ処理パラメータＰおよびＱの高画質化結果が得られている。画像８０８における領域８４４１はデータ未取得領域８４４に対応する未処理の領域である。

時刻ｔ＋Δｔの時点では、処理パラメータＱでの高画質化処理を行なっている途中であったが、この処理を中断して処理パラメータＲでの処理を優先して行う。この後、処理パラメータがＲのまま変更がない場合には、十分時間が経てば全てのデータ取得領域に対して処理パラメータＲでの高画質化結果を表示できるように処理を進める。なお、例えば時刻ｔ＋２Δｔの直後で処理パラメータがＰに変更された場合、図８Ａに示した処理パラメータＰでの高画質化結果の画像８０２を利用することができる。過去に求めた高画質化結果を記憶しておき、必要に応じて対応する処理パラメータの結果を表示することもできる。

図９Ａ及び図９Ｂは、ある時刻で処理パラメータが変更された場合に、どのように高画質化処理を行うかを表す、図８とは異なる一実施例を示す図である。図９Ａ及び図９Ｂでは記載していないが、実際には図４Ａ及び図４Ｂを用いて説明したように、データ取得領域を複数の領域に分割して領域毎に高画質化処理を行う。

図９Ａの画像９０１及び画像９０２は、それぞれ図８Ａの画像８０１及び画像８０２と同じである。ただし、着目点９１４が画像９０１上の着目点としてユーザから指定されているとする。画像９０１の領域９１１は画像データが取得された領域、領域９１２は画像データが未取得の領域である。ここで、領域９１１で取得された画像データに対して処理Ｘ：９１３により処理パラメータＰを用いて高画質化処理を行い、高画質化処理領域９０２１を含む画像９０２が得られる。画像９０２における領域９１２１は、画像９０１におけるデータ未取得領域９１２に対応する未処理の領域である。

ここで、図８Ｂの場合と同様に、画像８０１を取得した時刻ｔの直後（時刻ｔ＋Δｔよりも前の時刻）で処理パラメータがＰからＱに変更された場合を考える（処理パラメータＰとＱは異なる値であるとする）。

図９Ｂの画像９０３は、時刻ｔ＋Δｔにおける撮像画像および領域分割結果である。図８Ｂの画像８０３の場合とは違い、図９Ａの画像データが取得された領域９１１を図９Ｂのように着目点９１４の近傍である領域９２２と、それ以外の領域９２１に分割し、領域９２２に対して処理Ｙ：９２４により処理パラメータＱでの高画質化処理を行い、領域９２１は処理を行わない。領域９２３は画像データ未取得領域である。その結果、高画質化結果の画像９０４には、処理パラメータＹを用いて処理した高画質化結果を表示する領域９２５と、時刻ｔで取得した画像９０１の領域９１１に対して処理パラメータＰを用いて処理した高画質化結果を表示する領域９２６と、撮像画像をそのまま表示する領域９２７ができる。

このように着目点９１４が指定された場合は、その近傍から優先して高画質化処理を施すことにより、着目点９１４に対する処理結果を迅速に表示することができる。これにより、ユーザは着目点９１４における画質が高くなるような処理パラメータＱを素早く見つけることができる。

なお、着目点が指定されなかった場合は、スキャン位置を着目点とみなすことにより、図８Ａ乃至図８Ｄを用いて説明したのと同等の処理を行うことができる。着目点が指定された場合はＬ∞距離を用い、指定されなかった場合はｙ座標の差を距離とするなど、距離の定義を変えても良い（実際、図８Ａ乃至図８Ｄではｙ座標の差を距離とし、図９Ａ及び図９ＢではＬ∞距離を用いている）。また、着目点はある面積を持った領域でも良いし、点または領域は複数個あっても良い。図９Ｂに示した領域９２７のように、一部の領域において撮像画像をそのまま表示しても良い。処理パラメータを変更した後で着目点が変更された場合には、変更後の着目点の近傍を優先して処理を行うようにする。

図１０は、データ取得領域をデータ未取得領域からの距離に基づいて２個以上の領域に分割して高画質化処理を行う方法の処理フローを表す一実施例図である。図７で説明した処理フローと同じ処理や画像等には、同じ番号を付与している。図７で説明した処理フローとの大きな違いは、高画質化処理結果を保存しておくためのデータベース１００１を持っていることである。本データベース１００１に異なる処理パラメータでの高画質化結果を記憶しておき、ステップＳ７１１で指定された処理パラメータに対応する結果がデータベース１００１に記憶されていれば、その結果を利用する。

領域分割を行うステップＳ７１５１における処理や、分割された各領域について画像処理方法および処理パラメータを決定するステップＳ７１６１における処理では、データベース１００１内に対応する高画質化結果があるか否かを調べ、ある場合には、ステップＳ７１７１において分割された領域毎に処理方法及びパラメータが決定された画像１０１３に対してステップＳ７１８１の高画質化処理にてその結果を用い、ステップＳ７１９１で高画質化処理の結果が得られる。

これにより、特に処理パラメータが頻繁に変更された場合に、過去に実施した高画質化処理の結果を有効に活用できる。

図１１Ａ乃至図１１Ｃは、複数の異なる種類の処理パラメータが変更された場合に、どのように高画質化処理を行うかを説明する図である。図Ａ乃至図１１Ｃには記載していないが、実際には図４Ａ及び図４Ｂで説明したように、データ取得領域を複数の領域に分割して領域毎に高画質化処理を行う。

図１１Ａは図８Ａと同様である。画像１１０１の領域１１１１は画像データが取得された領域、領域１１１２は画像データが未取得の領域である。ここで、領域１１１１で取得された画像データに対して処理Ｘ：１１１３により高画質化処理を行い、高画質化処理が施された領域１１０２１を含む画像１１０２が得られる。ただし、高画質化処理に用いる処理パラメータとして、パラメータα_１、β_１に設定されている。以下、パラメータα、βの値α_ｋ、β_ｋを並べて（α_ｋ、β_ｋ）のように表記する。

画像１１０１を取得した時刻ｔの直後（時刻ｔ＋Δｔよりも前の時刻）で処理パラメータが（α_１、β_１）から（α_２、β_１）に変更された場合を考える（α_１とα_２は異なる値であるとする）。このとき、図８Ｂの場合と同様に、図１１Ｂの画像１１０３における領域１１２２に対しては、処理Ｙ：１１２４により処理パラメータ（α_２、β_１）での高画質化処理を行い、高画質化処理が施された領域１１０４１を含む画像１１０４を得る。一方、領域１１２１は、画像１１０１を取得した時刻ｔにおいて通常の高画質化処理を行ったか暫定的な高画質化処理を行ったかに依らず、処理を行わず、時刻ｔで得られた画像１１０１に対して高画質化処理が施された領域１１０２１の画像を用いる。領域１１２３は画像データが未取得の領域である。

さらに、画像１１０３を取得した時刻ｔ＋Δｔの直後（時刻ｔ＋２Δｔよりも前の時刻）で処理パラメータが（α_２、β_１）から（α_２、β_２）に変更されたとする（β_１とβ_２は異なる値であるとする）。ここで、パラメータαをα_２に変更した高画質化結果を求める場合と比較し、パラメータβをβ_２に変更した高画質化結果を求めることのほうが、かなり短時間で済むとする。このようなケースの例としては、パラメータαが処理時間が長い処理に対応し、パラメータβが処理時間が短い処理に対応する場合や、値β_２が処理をスキップするような処理を表し、対応する結果を容易に出力できる場合が挙げられる。

図８Ａ乃至図８Ｄを用いて説明した方法を用いれば、処理パラメータ（α_２、β_２）での高画質化結果を求めていくことができるが、短時間で求めることができるパラメータβ_２での高画質化結果を先に表示することもできる。

図１１Ｃの画像１１０５の例では、画像データ取得領域を領域１１３１、領域１１３２、領域１１３３、および領域１１３４に分割する。領域１１３５は、画像データ未取得領域である。領域１１３１は、図１１Ａに示した時刻ｔにおいて取得した画像１１０１において処理Ｘ：１１１３により処理パラメータ（α_１、β_１）での高画質化処理を行った領域１１１１に相当する領域であり、処理Ｙ：１１３６により処理パラメータ（α_１、β_２）での高画質化処理が実行されて高画質化処理された領域１１０６１が得られる。

領域１１３２は、図１１Ｂに示した時刻ｔ＋Δｔにおいて処理Ｙ：１１２４により処理パラメータ（α_２、β_１）で高画質化処理を行った領域１１２２に相当する領域であり、処理Ｚ：１１３７により処理パラメータ（α_２、β_２）での高画質化処理が実行されて高画質化処理された領域１１０６２が得られる。

領域１１３３と１１３４は、時刻ｔ＋Δｔと時刻ｔ＋２Δｔの間に新たにデータを取得した領域であり、領域１１３４に対しては処理Ｗ：１１３９により処理パラメータ（α_２、β_２）での高画質化処理が実行されて高画質化処理された領域１１０６４が得られる。一方、領域１１３３に対しては処理Ｖ：１１３８により処理パラメータ（α_０、β_２）での高画質化処理が実行されて高画質化処理された領域１１０６３が得られる。

これにより、高画質化した画像１１０６が得られる。ここで、α_０は、例えばパラメータαに対応する処理を行わないなど、高速に処理を行えるパラメータの値を表す。これにより、全てのデータ取得領域についてパラメータβの値がβ_２であるような処理パラメータで高画質化処理を行う。さらに計算機パワーに余力があるようであれば、領域１１３４のように一部の領域に対してパラメータαをα_２として高画質化処理を行う。本実施例では、時刻ｔ＋Δｔから時刻ｔ＋２Δｔの間に全てのデータ取得領域についてパラメータβの値がβ_２であるような処理パラメータで高画質化処理を行える場合について説明したが、計算機パワーが相対的にない場合には、ある程度の領域に対して値β_２での処理を行い、残りの領域は次の時刻以降で行うようにしてもよい。

このように、反映させることが容易なパラメータから優先して高画質化処理を行うことにより、ユーザの待ち時間を抑えることができる。

図１２は、データ取得領域をデータ未取得領域からの距離に基づいて２個以上の領域に分割して高画質化処理を行う方法において図１１で説明した処理を実現する方法の処理フローを表す一実施例図である。図１０で説明した処理フローと同じ処理を行うステップに対しては同じ番号を付してある。

図１２に示した処理フローにおいては、データベース１２０１に異なる処理パラメータでの高画質化結果を記憶しておき、ステップＳ７１１で指定された処理パラメータに対応する結果がデータベース１２０１に記憶されていれば、その結果を利用する。領域分割を行うステップＳ１２１１における処理（図１０のステップＳ７１５１に相当）や、分割された各領域について画像処理方法および処理パラメータを決定するステップＳ１２１２（図１０のステップＳ７１６１に相当）における処理では、データベース１２０１内に対応する高画質化結果があるか否かを調べ、ある場合には、ステップＳ１２１３において画像１２２０に分割された領域毎に処理方法及び決定されたパラメータを付与し、高画質化処理１２３０を行う。

図１２に示した処理フローにおいて、図１０で説明した処理フローとの大きな違いは、図１０で説明したステップＳ７１８１における高画質化処理が、図１２に示した処理フローにおいては高画質化処理１２３０としてステップＳ１２１４〜Ｓ１２１６の複数のステップに分かれており、その各々がデータベース１２０１へのアクセスを行うことである。ステップＳ１２１４、Ｓ１２１５の結果、すなわち高画質化処理１２３０における途中結果を、データベース１２０１に記憶する。Ｓ１２１２において処理パラメータの一部が変更された場合に、高画質化処理１２３０のステップＳ１２１４、Ｓ１２１５において、データベース１２０１に記憶されている途中結果の情報を用いて処理を行えば良い場合があり、この場合にはデータベース１２０１に記憶した途中結果を有効利用することができる。

例えば、図１１Ａ乃至図１１Ｃの説明においてパラメータαおよびβは、それぞれステップＳ１２１４の高画質化処理１およびステップＳ１２１６の高画質化処理３に対応するパラメータであるとする。処理パラメータ（α_１、β_１）での高画質化結果を既に計算したことがありそのデータがデータベース１２０１に登録されている場合、処理パラメータを（α_１、β_２）に変更したときには、ステップＳ１２１６の高画質化処理３のみをやり直せば良い。すなわち、この場合にはデータベース１２０１に記憶しておいたステップＳ１２１５の高画質化処理２の結果を用いて、パラメータβ_２によりステップＳ１２１６を行えば良い。

ステップＳ１２１１の領域分割を行う処理や、ステップＳ１２１２の分割された各領域について処理方法および処理パラメータを決定する処理において、与えられた処理パラメータやデータベース１２０１内の情報を基に、高画質化処理１２３０のステップＳ１２１４、Ｓ１２１５において、データベース１２０１に記憶されている途中結果を利用できるか否かを判断する。

図１３は、図２Ａの入出力部２２１の画面上に表示される、スキャン途中の画像に対する高画質化処理のＧＵＩ画面１３００の一例を表す図である。本実施例図では、ＧＵＩ画面１３００を、処理パラメータに関する設定を行う領域１３２１と、データ未取得領域または着目点との距離に関する設定を行う領域１３２２と、画像表示領域１３１１とで構成した。（なお、本明細書では、距離に関する設定に必要な項目は、処理パラメータの一部とみなしている。例えばＳ７１１でオペレータにより設定される処理パラメータは、距離に関する設定に必要な項目を含む。）
領域１３２１では、各パラメータの名称１３０１の傍に、スライダー１３０２やテキストボックス１３０３があり、各パラメータの値を変更できるようになっている。また、各パラメータをデフォルト値に戻すためのデフォルトボタン１３０４が付いている。

領域１３２２では、項目１３０５の欄に表示されたスキャン位置の近傍を優先して処理する場合と、着目点を優先して処理する場合の両方について設定を行える。項目１３０５の傍にある、距離の定義を決めるために優先する事項をドロップダウンリスト１３０６により設定を行う。また、画像表示領域１３１１を用いて１３１２、１３１３のように着目点を設定できる。例えば、マウスの左クリックで着目点を設定できるようにする。着目点は、例えばマウスの右クリックにより解除することもできる。また、チェックボックス１３２３により、高画質化処理のON、OFFを切り替えることもできる。

本チェックボックス１３２３がチェックされていない場合は、画像表示領域１３１１に高画質化結果の代わりに撮像画像を表示する。領域１３２１で処理パラメータを変更した瞬間から高画質化処理に反映させても良いし、反映を実施するためのボタン（本実施例図には記載せず）が押されたときに処理パラメータを反映させても良い。

図１３Ａに示した例では、画像表示領域１３１１に撮像途中の画像が表示されている状態を示している。領域１３１４は撮像された領域を示し、領域１３１５は未撮像領域を示している。着目領域１３１２の全域及び着目領域１３１３の境界を実線で表示した領域は、高画質化処理である処理Ａ：４１５，４２６又は処理Ｘ：８１３，１１１３が実行された領域である。一方、着目領域１３１３の下側の点線で表示した領域は、未撮像領域１３１５に近いために処理Ｂ：４１６，４２７又は処理Ｙ：８２４，１１２４が実行された領域を示す。

一方、図１３Ｂには、図１３Ａの画像表示領域１３１１に表示した画像が撮像された時点よりも時間が進んで撮像された画像を示す。領域１３１４が拡大し未撮像領域である領域１３１５が縮小して、領域１３１４と１３１５との境界１３１６と着目領域１３１３との距離が図１３Ａの場合よりも拡大した状態を示している。この状態において、着目領域１３１３の下側の領域から未撮像領域１３１５までの距離が拡大して、図１３Ａでは点線で表示されていた着目領域１３１３の下側の領域は処理Ａ：４１５，４２６又は処理Ｘ：８１３，１１１３が実行される。その結果として、図１３Ａでは点線で表示されていた着目領域１３１３の下側の領域が、図１３Ｂでは実線で表示されるようになる。

このように、処理パラメータの設定を促す画面１３２１及び１３２２と画像表示画面１３１１を近くに配置することにより、高画質化結果を見ながら処理パラメータを変更することができ、適した処理パラメータを効率良く探すことが可能である。

１０１…反復開始、１０２…視野内の一部の領域をスキャンする処理、１０３…データ取得領域を２個以上の領域に分割する処理、１０４…領域毎に処理方法・処理パラメータを決定する処理、１０５…各領域に対して高画質化を行う処理、１０６…高画質化結果を表示する処理、１０７…反復終了、２０１…ビーム照射・検出装置、２０２…走査荷電粒子銃、２０３…走査荷電粒子ビーム、２０４…コンデンサレンズ、２０５…対物レンズ、２０６…試料、２０７…ステージ、２０８…検出器、２０９…ビーム偏向器、２２１…入出力部、２２２…制御部、２２３…処理部、２２４…記憶部、２２５…高画質化部、２２６…領域分割部、２２７…処理方法・処理パラメータ制御部、２２８…高画質化処理実施部。

Claims (14)

1. 走査荷電粒子顕微鏡で試料を撮像して得た画像を高画質化する方法であって、
   走査荷電粒子顕微鏡の撮像視野内における試料の一部の領域に対して集束した荷電粒子
   ビームをスキャンしながら照射して前記試料を撮像することにより前記試料の画像データ
   を順次取得するスキャンステップと、
   該スキャンステップにおいて順次画像データを取得する前記走査荷電粒子顕微鏡の撮像
   視野内の領域のうち前記画像データを未取得の領域からの距離に基づいて、前記画像デー
   タを取得した領域を２個以上の領域に分割する領域分割ステップと、
   前記分割した領域の各々の画像データに対して前記領域分割ステップにおいて分割した
   領域に応じて高画質化処理方法および高画質化の処理パラメータを決定する処理方法・処
   理パラメータ決定ステップと、
   前記領域分割ステップにおいて分割した各領域の画像データに対して、前記処理方法・
   処理パラメータ決定ステップにおいて決定した前記分割した領域に応じた処理方法および
   処理パラメータを用いて高画質化処理を行う高画質化ステップと、
   該高画質化ステップにおいて高画質化処理が行われた画像を表示する高画質化結果表示
   ステップとを有し、
   前記スキャンステップから前記高画質化結果表示ステップまでを、前記走査荷電粒子顕
   微鏡の視野内における前記試料上の領域のスキャンが終了するまで反復することを特徴と
   する走査荷電粒子顕微鏡における高画質化方法。
2. 前記高画質化結果表示ステップにおいて、データ取得領域のうちスキャン位置の近傍に
   ある一部の領域は表示しないことを特徴とする請求項１記載の走査荷電粒子顕微鏡におけ
   る高画質化方法。
3. 前記領域分割ステップは、前回の反復における前記高画質化処理の結果と同じ処理結果が得られる領域を処理不要領域として抽出し、前記高画質化ステップは、前記処理不要領域については高画質化処理を行わないことを特徴とする請求項１記載の走査荷電粒子顕微鏡における高画質化方法。
4. 現在の反復における処理パラメータを読み込む処理パラメータ読み込みステップを更に
   有し、
   前記領域分割ステップは、現在の反復における処理パラメータ、および前回以前の反復
   において前記処理方法・処理パラメータ決定ステップにより領域毎に決定した前記高画質化処理方法または前記高画質化の処理パラメータを用いて分割方法を決定することを特徴とする請求項１記載の走査荷電粒子顕微鏡における高画質化方法。
5. 前記領域分割ステップは、予め定められた前記撮像視野内の着目点からの距離が近い画
   素ほど優先して現在の反復における処理パラメータでの処理を施すようにすることを特徴
   とする請求項４記載の走査荷電粒子顕微鏡における高画質化方法。
6. さらに前記高画質化処理の結果および前記高画質化ステップにおける処理途中結果を保存しておく高画質化結果保存ステップを有し、
   前記高画質化ステップは、前記領域分割ステップにより分割した領域のうち１個以上の
   領域に対して、前記高画質化結果保存ステップで保存した前記処理途中結果を用いて高画質化処理を行うことを特徴とする請求項４記載の走査荷電粒子顕微鏡における高画質化方法。
7. 前記処理方法・処理パラメータ決定ステップにより決定した前記処理パラメータが前記
   スキャンステップから前記高画質化結果表示ステップまでを反復中に変更された場合には
   、予め定められた前記撮像視野内の着目点からの距離が近い領域から順に前記変更後の処
   理パラメータでの高画質化処理を施すことを特徴とする請求項４記載の走査荷電粒子顕微
   鏡における高画質化方法。
8. 試料に収束させた荷電粒子を照射してスキャンする荷電粒子照射光学系手段と、
   前記荷電粒子照射光学系手段により荷電粒子が照射された前記試料から発生した同種ま
   たは別種の粒子を検出する検出光学系手段と、
   前記検出光学系手段で前記試料から発生した粒子を検出して得た画像データに対して高
   画質化処理を行う高画質化手段と、
   前記高画質化処理の結果を表示する画像表示手段と
   を備えた走査荷電粒子顕微鏡装置であって、
   前記高画質化手段は、前記荷電粒子照射光学系手段により前記試料に収束させた荷電粒子を照射してスキャンすることにより取得される撮像視野内の画像データについて前記撮像視野内の前記画像データを未取得の領域からの距離に基づいて、前記画像データを取得した領域を２個以上の領域に分割し、該分割した各々の領域の画像データに対して前記分割した領域に応じて高画質化処理方法および高画質化の処理パラメータを決定し、前記分割した各領域の画像データに対して前記決定した前記分割した領域に応じた処理方法および処理パラメータを用いて前記高画質化処理を行うことを、前記撮像視野内の領域のスキャンが終了するまで反復することを特徴とする走査荷電粒子顕微鏡装置。
9. 前記画像表示手段は、前記高画質化処理の結果を表示する際、データ取得領域のうちスキャン位置の近傍にある一部の領域は表示しないことを特徴とする請求項８記載の走査荷電粒子顕微鏡装置。
10. 前記高画質化手段は、前記２個以上の領域に分割した領域のうち、前回の反復における前記高画質化処理の結果と同じ処理結果が得られる領域を処理不要領域として抽出し、該抽出した処理不要領域については前記高画質化処理を行わないことを特徴とする請求項８記載の走査荷電粒子顕微鏡装置。
11. 前記高画質化手段は、前記２個以上の領域に分割することを、現在の反復における処理
    パラメータ、および前回以前の反復において分割した領域毎に決定した処理方法または処
    理パラメータを用いて分割方法を決定することを特徴とする請求項８記載の走査荷電粒子
    顕微鏡装置。
12. 前記高画質化手段は、前記分割した２個以上の領域について、予め定められた前記撮像
    視野内の着目点からの距離が近い画素ほど優先して現在の反復における処理パラメータで
    の処理を施すことを特徴とする請求項１１記載の走査荷電粒子顕微鏡装置。
13. 前記高画質化手段は、さらに前記高画質化処理の結果および前記高画質化における処理途中結果を保存しておき、前記分割した領域のうち１個以上の領域に対して、前記保存した途中結果を用いて前記高画質化処理を行うことを特徴とする請求項１１記載の走査荷電粒子顕微鏡装置。
14. 前記高画質化手段は、前記処理パラメータが前記反復中に変更された場合には、予め定
    められた前記撮像視野内の着目点からの距離が近い領域から順に前記変更後の処理パラメ
    ータでの前記高画質化処理を施すことを特徴とする請求項８記載の走査荷電粒子顕微鏡装置。

Images