JP7174170B2 - 試料観察装置 - Google Patents

Description

本発明は、試料観察装置に関する。

本開示の背景技術として、例えば、特許文献１がある。特許文献１は、例えば、「試料観察装置を、移動可能なテーブルに載置した試料に荷電粒子線を照射し走査して試料を撮像する荷電粒子顕微鏡と、荷電粒子顕微鏡で試料を撮像する観察条件を変えて取得した試料の同一箇所の画質が悪い低画質画像と画質が良い高画質画像とを記憶する画像記憶部と、画像記憶部に記憶した低画質画像と高画質画像とを用いて低画質画像から高画質画像を推定するための推定処理パラメータを求める演算部と、荷電粒子顕微鏡で試料の所望の箇所を撮像して得られた試料の所望の箇所の低画質画像を演算部で求めた推定処理パラメータを用いて処理して所望の領域の高画質画像を推定する高画質画像推定部と、高画質画像推定部で推定した推定高画質画像を出力する出力部とを備えて構成した」ことを開示する（要約）。

特開２０１８－１３７２７５号公報

上述のように、低画質画像と高画質画像の対応関係を事前に学習し、入力された低画質画像から高画質画像を推定する学習型手法が、提案されている。学習型の高画質画像推定処理を用いることで、スループットが高い観察条件においても高画質画像を出力することが可能となる。

上記のような学習型高画質画像推定手法においては、低画質画像から高画質画像を推定する適切なモデルをユーザが取得するために要する時間を短縮することが、高スループット観察にとって重要である。

本発明の一態様の試料観察装置は、プローブを試料に照射し、前記試料からの信号を検出し、検出信号を出力する顕微鏡と、前記顕微鏡から受信した前記検出信号から画像を生成する、システムと、を含む。前記システムは、低画質画像から高画質画像を推定する複数の訓練済みモデルのデータを格納するモデルデータベースにおける、１以上の訓練済みモデルに対するユーザによる指定を受け付け、前記検出信号から、現在の低画質観察画像を生成して表示し、前記１以上の訓練済みモデルそれぞれによって、前記現在の低画質観察画像から高画質画像を推定して表示する。

本発明の代表的な一例によれば、ユーザが低画質画像から高画質画像を推定する適切なモデルを取得するために要する時間を短縮できる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

走査型電子顕微鏡を含む試料観察装置の構成例を示す。 制御システムの制御装置、記憶装置、演算装置の構成例を示す。 試料の観察方法の一例のフローチャートを示す。 保存画像取得ステップの詳細を示すフローチャートを示す。 訓練用画像データ自動取得設定画面を示す。 ユーザによる訓練時間の指定を受け付けるための画面を示す。 高画質画像推定処理適用ステップの詳細のフローチャートを示す。 推定モデル選択画面の表示内容の変化を示す。 推定モデル選択画面の表示内容の変化を示す。 推定モデル選択画面の表示内容の変化を示す。 推定モデル選択画面における高画質画像の表示方法の他の例を示す。 試料の観察方法の他の例のフローチャートを示す。

以下、添付図面を参照して実施例を説明する。実施例は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。また、実施例を説明するための図面において、同一又は類似の構成を有する要素には同一の符号を付し、その繰り返しの説明は省略する。

以下に開示される試料観察装置の一例は、低画質画像から高画質画像を推定し、その推定した高画質画像を表示する。試料観察装置は、１以上の訓練済み学習モデル（単にモデルとも呼ぶ）のユーザによる指定を受け付け、指定された１以上の訓練済みモデルにより、低画質画像から高画質画像を推定する。これにより、低画質画像から高画質画像を推定する適切なモデルを効率的に用意することができる。

以下において、実施例に係る試料観察装置を説明する。以下に説明する試料観察装置の例は、試料を撮像するため、走査電子顕微鏡（ＳＥＭ：Ｓｃａｎｎｉｎｇ Ｅｌｅｃｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ）を使用する。走査電子顕微鏡は、荷電粒子顕微鏡の例である。試料観察装置は、試料の画像を撮像するための、他の種類の顕微鏡、例えば、イオンや電磁波をプローブとして使用する顕微鏡や、透過型電子顕微鏡等を使用することができる。画質は、プローブの強度や照射時間に応じても変化し得る。

図１は、本実施例にかかる、ＳＥＭを含む試料観察装置の構成例を示す。試料観察装置１００は、試料の撮像を行うＳＥＭ１０１と、制御システム１２０とを含む。制御システム１２０は、試料の撮像を行うＳＥＭ１０１の構成要素を制御する制御装置１０２、情報を格納する記憶装置１０３、所定の演算を行う演算装置１０４、外部の記憶媒体と通信する外部記憶媒体インタフェース１０５を含む。

制御システム１２０は、さらに、ユーザ（オペレータ）が使用する入出力端末１１３と情報と通信する入出力インタフェース１０６、及び外部ネットワークと接続するためのネットワークインタフェース１０７を含む。制御システム１２０の構成要素は、ネットワーク１１４を介した互いに通信可能である。入出力端末１１３は、キーボードやマウスなどの入力装置及び表示装置やプリンタ等の出力装置を含む。

ＳＥＭ１０１は、試料１０８を載置するステージ１０９、試料１０８に照射する一次電子（プローブ）を生成する電子源１１０、及び試料１０８からの信号を検出する複数の検出器１１１を含む。

ステージ１０９は、観察対象である試料１０８を搭載して、Ｘ－Ｙ平面内又はＸ－Ｙ－Ｚ空間内で移動する。電子源１１０は試料１０８に照射する一次電子ビーム１１５を生成する。複数の検出器１１１は、例えば、一次電子ビーム１１５が照射された試料１０８から発生した二次電子１１７、反射電子１１８、Ｘ線１１９を検出する。ＳＥＭ１０１は、さらに、一次電子ビーム１１５を試料１０８上に収束させる電子レンズ（図示せず）や、一次電子ビーム１１５を試料１０８上で走査するための偏向器（図示せず）を含む。

図２は、制御システム１２０の制御装置１０２、記憶装置１０３、演算装置１０４の構成例を示す。制御装置１０２は、主制御部２００、ステージ制御部２０１、スキャン制御部２０２、及び検出器制御部２０３を含む。制御装置１０２は、例えば、プロセッサと、プロセッサにより実行されるプログラム及びプログラムが使用するデータを格納するメモリと、を含む。例えば、主制御部２００はプログラムモジュールであり、ステージ制御部２０１、スキャン制御部２０２、及び検出器制御部２０３は、それぞれ、電気回路である。

ステージ制御部２０１は、ステージ１０９を制御して、例えば、ステージ１０９をＸ－Ｙ平面内又はＸ－Ｙ－Ｚ空間内で移動し、停止する。ステージ１０９を移動することで、観察画像の視野を移動することができる。スキャン制御部２０２は、一次電子ビーム１１５による試料１０８のスキャンを制御する。具体的には、スキャン制御部２０２は、目的の視野と撮像倍率の画像が得られるように、偏向器（図示せず）を制御して、試料１０８上の一次電子ビーム１１５のスキャン領域を制御する。さらに、スキャン制御部２０２は、スキャン領域における一次電子ビーム１１５のスキャンスピードを制御する。

検出器制御部２０３は、図示していない偏向器により駆動された一次電子ビーム１１５のスキャンに同期して、選択した検出器１１１からの検出信号を取得する。検出器制御部２０３は、検出器１１１からの検出信号に応じて観察画像データを生成し、入出力端末１１３に送信する。入出力端末１１３は、受信した観察画像データをもとに観察画像を表示する。検出器制御部２０３は、入出力端末１１３からのユーザ指示に応じて又は検出信号に応じて自動的に、検出器１１１のゲインやオフセットなどパラメータを調整する。検出器１１１のパラメータを調整することで、画像のコントラスト及びブライトネスが調整される。なお、画像のコントラスト及びブライトネスは、さらに、制御装置１０２においても調整可能である。

記憶装置１０３は、例えば、１又は複数の不揮発性記憶装置及び／又は１又は複数の揮発性記憶装置を含むことができる。不揮発性記憶装置及び揮発性記憶装置は、それぞれ、情報（データ）を格納する非一過性記憶媒体を含む。

図２に示す構成例において、記憶装置１０３は、画像データベース（ＤＢ）２０４、観察条件２０５、試料情報２０６、及びモデルデータベース２０７を格納している。観察条件２０５は、現在の試料１０８の観察の装置条件を示す。観察条件２０５は、例えば、一次電子ビーム１１５（プローブ）の加速電圧、プローブ電流、スキャンスピード、試料１０８からの信号を検出する検出器、コントラスト、ブライトネス、撮像倍率、ステージ座標等を含む。

観察条件２０５は、試料画像の異なる撮像モードそれぞれに対する観察条件を示す。撮像モードは、後述するように、光軸調整のためのスキャン画像を生成する光軸調整モード、視野探しのためのスキャン画像を生成する視野探しモード、及び観察目的の（保存される）スキャン画像を確認するための確認モードを含む。

試料情報２０６は、現在の試料１０８の情報、例えば、試料の識別子、型番、カテゴリ等の情報を含む。型番が共通の試料は同一設計に基に作成されている。試料のカテゴリは、例えば、生体試料、金属試料、半導体試料等を含む。

画像データベース（ＤＢ）２０４は、複数の画像及びそれらの付随情報を格納する。画像の付随情報は、観察対象である試料についての情報及び画像の撮像における装置条件（観察条件）を含む。試料についての情報は、例えば、試料の識別子、試料の型番、試料のカテゴリ等の情報を含む。モデルの訓練に使用される入力画像（低画質画像）と教師画像（高画質画像）のペアの付随情報は、当該ペアを構成する画像を互いに関連付ける。

モデルデータベース２０７は、複数の訓練済みモデルそれぞれの構成データ及び当該モデルの付随情報を格納している。一つのモデルの構成データは、訓練により更新される学習パラメータセットを含む。モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）を利用することができる。モデルの種類は特に限定されず、ニューラルネットワークと異なる種類のモデル（機械学習アルゴリズム）を使用することもできる。

以下に説明する例において、全てのモデルの学習パラメータセット以外の構成は共通であり、学習パラメータセットがモデル毎に異なり得る。他の例において、モデルデータベース２０７は、学習パラメータセット以外の構成要素も異なるモデルを格納していてもよく、例えば、ハイパパラメータが異なるニューラルネットワークや、アルゴリズムの異なるモデルを格納していてもよい。

モデルデータベース２０７に格納されているモデルは、低画質画像から相対的に高画質画像を推定するように訓練される。低画質及び高画質は、二つの画像の間の相対的な画質を示す。訓練データにおける入力画像はＳＥＭ１０１によって撮像された観察対象の低画質画像であり、教師画像はＳＥＭ１０１によって撮像された同一観察対象の高画質画像である。訓練データは、上述のように、画像データベース２０４に格納されている。

低画質画像は、低ＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）の画像を含み、例えば、試料からの少ない信号量により生成される画像や、フォーカスはずれによりぼやけた画像等を含む。低ＳＮＲの画像に対応する高画質画像は、低ＳＮＲ画像より高いＳＮＲを有する画像である。以下に説明する例において、高速スキャンにおいて撮像された低画質画像と、低速スキャンにおいて撮像された又は高速スキャンのフレーム積算による高画質画像とで構成される画像ペアが、モデルの訓練に使用される。低速スキャン及び高速スキャンは、スキャン速度の相対的関係を示す。

各モデルは、低画質画像と高画質画像の複数のペアにより訓練される。以下に説明する例において、複数ペアの低画質画像の画質に関わるいくつかの条件項目の値は共通である。例えば、加速電圧、プローブ電流、スキャンスピード、検出器の種類、コントラスト、ブライトネス等の値は共通である。観察条件モデルは、例えば、同一の試料の上記共通条件における異なる領域の低画質画像と、それら低画質画像に対応する上記共通条件における高画質画像により訓練される。高画質画像は、異なる条件で撮像されてもよい。

一つのモデルの訓練データは、異なる試料の画像データを含むことができる。例えば、訓練データは、一つの試料の画像に加え、複数のモデルに共通して使用される１又は複数の画像ペアを含むことができる。共通画像ペアは、上記一つの試料と同一カテゴリの試料の画像であり、例えば、生体試料、金属試料、半導体試料等のカテゴリが定義される。これにより、モデルの汎用性を高めることができる。訓練データは、上記条件項目の値が完全には一致しないが類似する低画質画像を含んでよい。例えば、各項目の値の違いが所定の閾値内にある低画質画像が含まれてもよい。

演算装置１０４は、高画質画像推定部２０８及びモデル訓練部２０９を含む。演算装置１０４は、例えば、プロセッサと、プロセッサにより実行されるプログラム及びプログラムが使用するデータを格納するメモリと、を含む。高画質画像推定部２０８及びモデル訓練部２０９は、それぞれ、プログラムモジュールである。

高画質画像推定部２０８は、モデルに従って、入力された低画質画像から高画質画像を推定する。モデル訓練部２０９は、訓練データを使用してモデルの学習パラメータを更新する。具体的には、モデル訓練部２０９は、選択されたモデルに従って動作する高画質画像推定部２０８に訓練データの低画質画像を入力し、推定された高画質画像を取得する。

モデル訓練部２０９は、訓練データにおける教師画像の高画質画像と、推定された高画質画像の間の誤差を算出し、当該誤差が小さくなるように、バックプロパゲーションによって学習パラメータを更新する。モデル訓練部２０９は、訓練データに含まれる複数の画像ペアそれぞれについて、学習パラメータの更新を繰り返す。なお、機械学習モデルの訓練は広く知られた技術であり詳細の説明を省略する。

上述のように、一例において、制御装置１０２及び演算装置１０４は、プロセッサ及びメモリを含んで構成することができる。プロセッサは、メモリに格納されているプログラムに従って、様々な処理を実行する。プロセッサがプログラムに従って動作することで、様々な機能部が実現される。プロセッサは、単一の処理ユニットまたは複数の処理ユニットで構成することができ、単一もしくは複数の演算ユニット、又は複数の処理コアを含むことができる。

プロセッサに実行されるプログラム及びプログラムに使用されるデータは、例えば、記憶装置１０３に格納され、制御装置１０２及び演算装置１０４にロードされる。例えば、演算装置１０４により実行されるモデルのデータは、モデルデータベース２０７から演算装置１０４のメモリにロードされる。制御装置１０２及び演算装置１０４の機能の少なくとも一部は、プロセッサと異なる論理回路によって実装されてもよく、制御装置１０２及び演算装置１０４の機能が実装される装置の数は限定されない。

試料の観察方法の一例を、図３のフローチャートを用いて説明する。以下の説明において、ユーザによる指示は、入出力端末１１３から入出力インタフェース１０６を介して与えられる。まず、ユーザは、観察対象となる試料１０８を、ステージ１０９上に設置する（Ｓ１０１）。ユーザが入出力端末１１３を介して操作を開始すると、主制御部２００は、入出力端末１１３において、顕微鏡操作画面を表示する。

次に、ユーザ指示に従って、スキャン制御部２０２は一次電子ビーム１１５を試料１０８に照射する（Ｓ１０２）。ユーザは、入出力端末１１３において試料１０８の画像を確認しながら、光軸調整を行う（Ｓ１０３）。ユーザからの光軸調整開始の指示に従って、主制御部２００は、入出力端末１１３において、光軸調整用画面を表示する。ユーザは、光軸調整用画面上で、光軸を調整することができる。主制御部２００は、ユーザ指示に応じて、ＳＥＭ１０１の光軸調整用アライナ（不図示）を制御する。

光軸調整用画面は、光軸調整中の試料画像をリアルタイムに表示する。ユーザは、試料画像を見ながら、光軸を最適位置に調整する。例えば、主制御部２００は、コンデンサレンズや対物レンズ等の電子レンズの励磁電流を周期的に変化させるワブリングを行い、ユーザは、試料画像を見ながら、試料画像の動きが最小となるように光軸を調整する。

光軸調整において、主制御部２００は、観察条件２０５が示す光軸調整モードの観察条件に従って、ＳＥＭ１０１及び制御装置１０２の他の構成要素を設定する。検出器制御部２０３は、観察条件２０５が示す検出器１１１からの検出信号を処理して、光軸調整用の観察領域の試料画像（スキャン画像）を生成する。主制御部２００は、検出器制御部２０３が生成したスキャン画像を、入出力端末１１３において表示する。

光軸調整用のスキャン画像は、高速スキャンスピードにおいて生成され、高フレームレート（高速画像更新スピード）表示される。スキャン制御部２０２は、光軸調整モードにおけるスキャンスピードで、試料１０８上で一次電子ビーム１１５を移動させる。光軸調整のためのスキャンスピードは、保存目的の試料画像を生成するためのスキャンスピードより高速である。一つの画像の生成は、例えば数十ｍｓで完了し、ユーザは、試料画像をリアルタイムで確認できる。

光軸調整の完了後、ユーザからの視野探し開始の指示に従って、主制御部２００は、入出力端末１１３において、低画質の試料画像（低画質視野探し用画像）を含む視野探し用画面を表示する（Ｓ１０４）。視野探しは、フォーカス調整、非点調整を並行して行いながら、目的とする観察視野を探す行為である。視野探し用画面は、視野探し中の試料画像をリアルタイムに表示する。主制御部２００は、視野探しにおいて、ユーザからの視野の移動及び撮像倍率の変更を受け付ける。

視野探しにおいて、主制御部２００は、観察条件２０５が示す視野探しモードの観察条件に従って、ＳＥＭ１０１及び制御装置１０２の他の構成要素を設定する。検出器制御部２０３は、観察条件２０５が示す検出器１１１からの検出信号を処理して、視野探し用の観察領域の試料画像（スキャン画像）を生成する。主制御部２００は、検出器制御部２０３が生成したスキャン画像を、入出力端末１１３において表示する。

視野探し用のスキャン画像は、高速スキャンスピードにおいて生成され、高フレームレート（高速画像更新スピード）表示される。スキャン制御部２０２は、視野探しモードにおけるスキャンスピードで、試料１０８上で一次電子ビーム１１５を移動させる。視野探しのためのスキャンスピードは、保存目的の試料画像を生成するためのスキャンスピードより高速である。一つの画像の生成は、例えば数十ｍｓで完了し、ユーザは、試料画像をリアルタイムで確認できる。

視野探し用のスキャン画像は、高速スキャンスピードにおいて生成されるため、低画質画像であり、そのＳＮＲは、観察目的領域の保存される試料画像のＳＮＲよりも低い。ユーザは、低画質の視野探し用画像によって適切な視野探しが困難であると判断すると（Ｓ１０５：ＹＥＳ）、高画質画像推定処理を視野探し用画像に適用することを、入出力端末１１３から制御装置１０２に指示する。

主制御部２００は、ユーザからの指示に応じて、高画質画像推定処理適用を実行する（Ｓ１０６）。高画質画像推定処理適用の詳細は、図４を参照して後述する。高画質画像推定処理が適用される場合、演算装置１０４の高画質画像推定部２０８は、指定された高画質画像推定モデルによって、検出器制御部２０３が生成した低画質スキャン画像から、高画質画像を推定（生成）する。主制御部２００は、高画質画像推定部２０８が生成した高画質画像を、視野探し用画面において表示する。高画質画像の生成は、例えば数十ｍｓで完了し、ユーザは、高画質な試料画像をリアルタイムで確認できる。

ユーザが、低画質の視野探し用画像によって適切な視野探しが可能であると判断する場合（Ｓ１０５：ＮＯ）、主制御部２００は、検出器制御部２０３が生成した低画質スキャン画像を、視野探し用画面において表示し続ける。

ユーザは、視野探し用画面において視野探しを行う（Ｓ１０７）。ユーザは、入出力端末１１３において、視野探し用の試料画像（低画質スキャン画像又は高画質推定画像）を参照しながら視野を移動させ、また、必要により撮像倍率を変更して、目的とする観察視野を探す。ステージ制御部２０１は、大きい視野移動のユーザ指示に応じてステージ１０９を移動することで、視野を移動させる。また、スキャン制御部２０２は、小さい視野移動及び撮像倍率の変更のユーザ指示に応じて、視野に対応するスキャン領域を変更する。

目的の観察視野が発見されると、ユーザは、必要に応じて、最終的なフォーカス調整と非点調整を実施した後、入出力端末１１３において、目的の観察視野の保存画像の取得を指示する。主制御部２００は、ユーザ指示に従って保存画像を生成し、記憶装置１０３の画像データベース２０４に格納する（Ｓ１０８）。

図４は、保存画像取得ステップＳ１０８の詳細を示すフローチャートである。主制御部２００は、訓練用画像データ自動取得が指定されているか判定する（Ｓ１３１）。図５は、訓練用画像データ自動取得設定画面２５０を示す。ユーザは、入出力端末１３１において、予め、訓練用画像データ自動取得の有無を設定する。ユーザは、訓練用画像データ自動取得設定画面２５０において、訓練用画像データ自動取得のＯＮ／ＯＦＦを設定する。主制御部２００は、訓練用画像データ自動取得設定画面２５０において指定された設定の情報を保持する。

訓練用画像データ自動取得が指定されていない場合（Ｓ１３１：ＮＯ）、主制御部２００は、保存画像を取得する（Ｓ１３２）。具体的には、主制御部２００は、観察条件２０５が示す確認モードの観察条件に従って、ＳＥＭ１０１及び制御装置１０２の他の構成要素を設定する。確認モードの観察条件は、例えば、スキャン条件（スキャン領域及びスキャンスピード）以外の要素において、視野探しモード及び／又は光軸調整モードと同一である。

保存用のスキャン画像は、低速スキャンスピードにおいて生成される。スキャン制御部２０２は、確認モードにおけるスキャンスピードで、試料１０８上で一次電子ビーム１１５を移動させる。保存画像（目的画像）生成のためのスキャンスピードは、光軸調整及び視野探しのための試料画像を生成するためのスキャンスピードより低速である。一つの画像の生成は、例えば数十秒で完了する。

検出器制御部２０３は、観察条件２０５が示す検出器１１１からの検出信号を処理して、指定された視野の試料画像（スキャン画像）を生成する。主制御部２００は、検出器制御部２０３が生成したスキャン画像を、ユーザが確認できるように、入出力端末１１３において表示する。主制御部２００は、ユーザの指示に応じて、取得したスキャン画像を、記憶装置１０３の画像データベース２０４に格納する。主制御部２００は、画像に関連付けて、試料及び観察条件についての情報を含む付随情報を画像データベース２０４に格納する。

訓練用画像データの自動取得が指定されている場合（Ｓ１３１：ＹＥＳ）、主制御部２００は、保存画像の取得（Ｓ１３３）の後において、１又は複数の低画質画像を取得する（Ｓ１３４）。主制御部２００は、保存画像の取得の前及び／又は後に、１又は複数の低画質画像を取得してよい。

主制御部２００は、１又は複数の低画質画像を生成し、その観察条件を含む付随情報と共に、保存画像に関連付けて画像データベース２０４に格納する。具体的には、主制御部２００は、保存画像と同一の視野（スキャン領域）において、より高速のスキャンスピードにおけるスキャン画像を生成する。低画質画像の観察条件は、例えば、視野探しモード又は光軸調整モードにおける観察条件と同一である。複数の低画質画像が取得される場合、それらは、観察条件が視野探しモード又は光軸調整モードと同一の低画質画像を含んでもよい。後述するように、低画質画像と高画質画像のペアは、既存又は新たな推定モデル（機械学習モデル）の訓練に使用される。

一例において、推定モデルの訓練は、ユーザによる観察時間外に実行される（バックグランド訓練）。これにより、推定モデルの訓練がユーザによる試料の観察を阻害することを避けることができる。例えば、主制御部２００は、ユーザが観察のためのシステムにログインしている間、推定モデルの訓練をしないようにする。

他の例において、主制御部２００は、ユーザによる観察時間を特定するため、訓練時間のユーザによる指定を受け付ける。図６は、ユーザによる訓練時間の指定を受け付けるための画面２６０を示す。ユーザは、バックグランド訓練の開示時刻及び終了時刻を入力し、設定ボタンのクリックでそれらを確定する。

図３に戻って、ユーザが他の観察対象領域の保存画像を取得することを望む場合（Ｓ１０９：ＮＯ）、ユーザは、ステップＳ１０７に戻って視野探しを開始する。ユーザが望む全ての観察画像が取得され、それらの付随情報と共に画像データベース２０４に格納されると（Ｓ１０９：ＹＥＳ）、ユーザは、入出力端末１１３から一次電子ビーム１１５の照射の停止を指示し、主制御部２００は、その指示に応じて、一次電子ビーム１１５の照射を停止する（Ｓ１１０）。最後に、ユーザは、ＳＥＭ１０１から試料１０８を取り出す（Ｓ１１１）。

図７のフローチャートを参照して、高画質画像推定処理適用ステップＳ１０６の詳細を説明する。上述のように、低画質のスキャン画像による視野探しが困難であるとユーザが判定した場合、主制御部２００は、ユーザからの指示に応答して、本ステップＳ１０６を開始する。

まず、主制御部２００は、推定モデル選択画面を入出力端末１１３において表示する（Ｓ１５１）。推定モデル選択画面は、視野探しにおける低画質なスキャン画像から高画質画像を推定するモデル（パラメータセット）を、ユーザが指定することを可能とする。

図８Ａ、８Ｂ及び８Ｃは、推定モデル選択画面３００の表示内容の変化を示す。推定モデル選択画面３００の表示内容は、ユーザ指示に応答して、図８Ａの画像から図８Ｂの画像に変化し、さらに、図８Ｂの画像から図８Ｃの画像に変化する。

図８Ａに示すように、推定モデル選択画面３００は、現在のスキャン画像（低画質画像）３１１と、現在のスキャン画像３１１の観察条件３０１とを表示する。本例において、観察条件３０１は、プローブの加速電圧、プローブ電流、スキャンスピード及び使用されている検出器を示す。推定モデル選択画面３００は、指定されたモデルにより、現在のスキャン画像３１１から生成される高画質画像を表示する領域３１２を含む。

推定モデル選択画面３００は、さらに、モデルデータベース２０７から選択した１以上の候補モデルについての情報を示す候補モデルテーブル３２０を表示する。候補モデルテーブル３２０は、ＩＤ欄３２１、取得日時欄３２２、加速電圧欄３２３、プローブ電流欄３２４、スキャンスピード欄３２５、検出器欄３２６、訓練画像欄３２７、仮適用欄３２８、及び適用欄３２９を含む。

ＩＤ欄３２１は、候補モデルのＩＤを示す。取得日時欄３２２は、候補モデルの作成日時を示す。加速電圧欄３２３、プローブ電流欄３２４、スキャンスピード欄３２５、及び検出器欄３２６は、それぞれ、候補モデルの訓練画像データにおける入力画像（低画質画像）の観測条件を示す。訓練画像欄３２７は、候補モデルの訓練データにおける入力画像（低画質画像）又は教師画像（高画質画像）を示す。

仮適用欄３２８は、仮適用する候補モデルを選択するためのボタンを含み、さらに、選択された候補モデルにより推定された高画質画像を表示する。適用欄３２９は、最終的に適用する候補モデルを選択するボタンを含む。適用欄３２９で選択された候補モデルにより推定された高画質画像は、領域３１２において表示される。

推定モデル選択画面３００は、訓練開始ボタン３５２、終了ボタン３５３、及びプロパティボタン３５４を表示する。訓練開始ボタン３５２は、現在の試料１０８の新たな訓練画像データを取得し、新たな訓練データによって新たなモデルを生成することを指示するためのボタンである。終了ボタン３５３は、推定モデルの選択を終了し、適用する推定モデルを確定するためのボタンである。プロパティボタン３５４は、表示されていない観察条件や試料カテゴリを選択して、表示画像に追加するためのボタンである。

主制御部２００は、観察対象試料及び／又は観察条件に基づいて、モデルデータベース２０７から候補モデルを選択する。以下に説明する例においては、主制御部２００は、観察対象試料及び観察条件を参照する。主制御部２００は、現在の試料１０８及び観察条件に類似する試料及び観察条件のモデルを、候補モデルとして選択する。これにより、より適切に高画質画像を推定できるモデルを選択できる。

例えば、主制御部２００は、試料のカテゴリ及び観察条件の各項目の値を表すベクトルを定義し、ベクトル間の距離によって、類似度を決定する。他の例において、主制御部２００は、試料のカテゴリが同一又は類似するモデルにおいて、現在の試料１０８及び観察条件との類似度が高いモデルを候補モデルとして選択する。類似度は、例えば、観察条件において値が一致又は近似する項目の数により決定される。各カテゴリの類似カテゴリ及び項目の値の近似の範囲は、予め定義されている。

図８Ａに示す例において、類似度の決定のために参照される観察条件は、取得日時、加速電圧、プローブ電流、スキャンスピード及び検出器である。これらの一部は省略されてもよく、コントラスト及びブライトネスのような他の観察条件が追加されてもよい。主制御部２００は、現在試料及び観察条件との類似度が最も高いモデルから所定数のモデルを提示する、又は、類似度が所定の値より大きいモデルを提示してもよい。

図８Ａに示す例において、候補モデルテーブル３２０は、各候補モデルのレコードにおいて、現在の観察条件と一致する又は最も近い項目のセルを強調表示する。例えば、ＩＤ「ｘｘｘ」の候補モデルの観察条件において、加速電圧、プローブ電流及びスキャンスピードが、現在観察条件と一致する。

ＩＤ「ｙｙｙ」の候補モデルの観察条件において、検出器が現在観察条件と一致する。ＩＤ「ｚｚｚ」の取得日時は候補モデルの中で最も新しく（現在日時に最も近く）、そのセルが強調表示されている。このような強調表示によって、ユーザは、現在の観察条件において着目している項目において現在の観察条件と近い候補モデルをすぐに特定できる。なお、強調表示の態様は任意である。主制御部２００は、現在の観察条件の各項目の値から所定範囲のセルを強調表示してもよい。強調表示は省略されてもよい。

ユーザが仮適用欄３２８において、１又は複数の候補モデルのチェックボックスを選択し、「開始」ボタンをクリックすると、主制御部２００は、仮適用欄３２８において、選択されたチェックボックスのセルに、対応する候補モデルにより推定された高画質画像を表示する。図８Ａの例において、ＩＤ「ｘｘｘ」の候補モデル及びＩＤ「ｙｙｙ」の候補モデルが選択されている。

図８Ｂは、図８Ａにおいて仮適用欄３２８の「開始」ボタンがクリックされた結果を示す。ＩＤ「ｘｘｘ」の候補モデル及びＩＤ「ｙｙｙ」の候補モデルそれぞれの推定高画質画像が、仮適用欄３２８内に表示されている。主制御部２００は、仮適用欄３２８の「開始」ボタンがクリックされると、選択された候補モデルのパラメータセットをモデルデータベース２０７から取得する。主制御部２００は、取得したパラメータセットを、順次、演算装置１０４に送信して、推定された高画質画像を受信する。主制御部２００は、高画質画像を、仮適用欄３２８の対応するセルに表示する。

演算装置１０４の高画質画像推定部２０８は、パラメータセットを受信した後、検出器制御部２０３により生成されたスキャン画像を取得し、スキャン画像から高画質画像を生成する。高画質画像推定部２０８は、この処理を、異なるパラメータセットについて繰り返す。

ユーザが、適用欄３２９においていずれかの候補モデルを選択すると、主制御部２００は、選択された候補モデルによる高画質画像を、領域３１２において表示する。図８Ｂの例において、ＩＤ「ｘｘｘ」の候補モデルが選択されている。

図８Ｃは、図８Ｂにおいて適用欄３２９のＩＤ「ｘｘｘ」の候補モデルが選択された結果を示す。ＩＤ「ｘｘｘ」の候補モデルにより推定された高画質画像３１３が、現在のスキャン画像３１１と並んで表示されている。主制御部２００は、適用欄３２９において一つの候補モデルが選択されると、その候補モデルのパラメータセットをモデルデータベース２０７から取得する。主制御部２００は、取得したパラメータセットを、演算装置１０４に送信する。

演算装置１０４の高画質画像推定部２０８は、パラメータセットを受信した後、検出器制御部２０３により生成されたスキャン画像を順次取得し、それらスキャン画像から高画質画像を順次生成して、制御装置１０２に送信する。主制御部２００は、順次受信した高画質画像によって、領域３１２の表示画像を更新する。

図９は、適用欄３２９において選択された推定モデルによる高画質画像の他の表示方法の例を示す。図９に示す推定モデル選択画面３００は、視野における一部領域の高画質画像３１５を、低画質スキャン画像３１１に重ねて表示する。これにより、低画質画像と高画質画像とのユーザによる比較がより容易となる。ユーザが「重ねる」ボタン３５５をクリックすると、主制御部２００は、推定高画質画像３１３の所定の領域を抽出して、低画質スキャン画像３１１における対応領域に重ねる。なお、「重ねる」ボタン３５５を省略し、常に、高画質画像３１５を、低画質スキャン画像３１１に重ねて表示してもよい。推定高画質画像３１３は省略されてもよい。

上述のように、モデルデータベース２０７に格納されている１つ以上の候補モデル（パラメータセット）により推定された高画質画像を表示する。これにより、ユーザは、適切な高画質画像推定モデルを、短時間で指定することができる。訓練済みモデルから候補モデルを提示することで、機械学習モデルの学習時間を削減できる。

ユーザは、提示された候補モデルのいずれも適切な高画質画像を推定することができないと判断すると、訓練開始ボタン３５２をクリックする。訓練開始ボタン３５２のクリックに応答して、主制御部２００は、現在の試料１０８の訓練画像データを取得し、当該訓練データにより、現在の試料１０８の観察に適した推定モデルを生成する。

主制御部２００は、異なる視野それぞれにおいて、低速スキャンスピードにおいて撮像された又は高速スキャンスピードにおけるフレーム積算による高画質スキャン画像と高速スキャンスピードにおける低画質スキャン画像とを取得する。主制御部２００は、スキャン制御部２０２及びステージ制御部２０１によって視野を移動し、スキャン制御部２０２によってスキャンスピードを制御する。検出器制御部２０３は、各視野における低画質スキャン画像及び高画質スキャン画像を生成する。これらは、新たな推定モデルを生成するための訓練データに含まれる。

訓練データは、現在試料１０８と同一カテゴリの代表的な複数の画像ペアを含んでもよい。画像ペアは、低画質スキャン画像と高画質スキャン画像で構成され、その観測条件は、現在の観測条件と一致又は所定の類似範囲内にある。これにより、推定モデルの汎用性を高めることができる。

主制御部２００は、訓練データによって、初期パラメータセット又は訓練済みパラメータセットを有する推定モデルを訓練する。一例において、主制御部２００は、初期パラメータセットと訓練済みパラメータセットのいずれを使用するか、ユーザによる選択を受け付ける。また、主制御部２００は、再訓練する訓練済みパラメータセットのユーザによる選択を受け付ける。訓練済みパラメータセットは、例えば、候補モデルから選択される。主制御部２００は、現在試料及び観察条件に類似度が最も高い候補モデル（パラメータセット）を、再訓練のモデルとして選択してもよい。

主制御部２００は、訓練対象のパラメータセット及び訓練データを伴う訓練のリクエストを、演算装置１０４に送信する。演算装置１０４のモデル訓練部２０９は、訓練データを使用してパラメータセットを更新し、新たな推定モデルを生成する。モデル訓練部２０９は、訓練データにおける教師画像の高画質スキャン画像と、推定された高画質画像の間の誤差を算出し、当該誤差が小さくなるように、バックプロパゲーションによってパラメータセットを更新する。モデル訓練部２０９は、訓練データに含まれる複数の画像ペアそれぞれについて、パラメータセットの更新を繰り返す。

推定モデルの訓練が終了すると、主制御部２００は、モデル訓練部２０９から新たなモデル（パラメータセット）を取得し、当該パラメータセットを使用して高画質画像推定部２０８により生成された推定高画質画像を、領域３１２において表示する又は視野探し用画面において表示する。主制御部２００は、新たな推定モデルを付随情報と共にモデルデータベース２０７に格納し、さらに、訓練データを付随情報と共に画像データベース２０４に格納する。

上述のように、既存の推定モデルにより適切な高画質画像を推定できない場合、現在の試料の画像により訓練された推定モデルを新たに生成することで、現在の試料の低画質画像からより適切に高画質画像を推定することができる。

図３に示すフローチャートを参照して説明した観察方法は、光軸調整の後の視野探しにおいて、必要な場合、低画質スキャン画像から高画質画像を推定する。他の例において、制御システム１２０は、光軸調整において、低画質スキャン画像から高画質画像を推定してもよい。これにより、より適切な光軸調整が可能となる。

図１０は、必要な場合、光軸調整及び視野探しにおいて、低画質スキャン画像から高画質画像を推定する観察方法のフローチャートを示す。

ステップＳ２０１及びＳ２０２は、図３におけるステップＳ１０１及びＳ１０２と同様である。ステップＳ２０３において、ユーザからの光軸調整開始の指示に従って、主制御部２００は、入出力端末１１３において、低画質の試料画像（光軸調整用画像）を含む光軸調整用画面を表示する。

光軸調整用画像は、図３を参照して説明したように、低画質スキャン画像である。ユーザは、低画質の光軸調整用画像によって適切な光軸調整が困難であると判断すると（Ｓ２０４：ＹＥＳ）、高画質画像推定処理を光軸調整用画像に適用することを、入出力端末１１３から制御装置１０２に指示する。

主制御部２００は、ユーザからの指示に応じて、高画質画像推定処理適用を実行する（Ｓ２０５）。高画質画像推定処理適用Ｓ２０５は、図３における高画質画像推定処理適用Ｓ１０５と略同様である。表示される低画質スキャン画像は、光軸調整用の画像である。ユーザが、低画質の光軸調整用画像によって適切な光軸調整が可能であると判断すると（Ｓ２０４：ＮＯ）、高画質画像推定処理適用Ｓ２０５は、省略される。

高画質画像推定処理適用Ｓ２０５が実行される場合、光軸調整Ｓ２０６及び視野探しＳ２０７において、低画質スキャン画像から高画質画像が生成され、表示される。光軸調整Ｓ２０６の他の点は図３におけるステップＳ１０３と同様である。ステップＳ２０７からＳ２１１は、図３におけるステップＳ１０７からＳ１１１と同様である。

上記例は、光軸調整において高画質画像推定を適用する場合、視野探しにおいても適用する。他の例において、制御システム１２０は、光軸調整及び視野探しそれぞれにおいて、高画質画像推定の適用の有無についての、ユーザからの指定を受け付けてもよい。光軸調整用スキャン画像と視野探し用スキャン画像の観察条件が異なる場合、それぞれにおいて、適用する推定モデルのユーザ指定を受け付けてもよい（例えばステップＳ２０５、Ｓ１０６）。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成・機能・処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。

Claims (10)

1. 試料観察装置であって、
   プローブを試料に照射し、前記試料からの二次電子を検出し、検出信号を出力する顕微鏡と、
   前記顕微鏡から受信した前記検出信号から画像を生成する、システムと、
   を含み、
   前記システムは、
   低画質画像から高画質画像を推定する複数の訓練済みモデルのデータを格納するモデルデータベースにおける、１以上の訓練済みモデルに対するユーザによる指定を受け付け、
   前記検出信号から、現在の低画質観察画像を生成して表示し、
   前記１以上の訓練済みモデルそれぞれによって、前記現在の低画質観察画像から高画質画像を推定して表示する、試料観察装置。
2. 請求項１に記載の試料観察装置であって、
   前記システムは、
   現在の観察条件と、前記複数の訓練済みモデルの観察条件それぞれとの間の関係に基づいて、前記ユーザによる指定の候補となる１以上の候補モデルを前記複数の訓練済みモデルから選択し、
   前記１以上の候補モデルの情報を表示し、
   前記１以上の候補モデルにおいて、前記１以上の訓練済みモデルに対するユーザによる指定を受け付ける、試料観察装置。
3. 請求項２に記載の試料観察装置であって、
   前記システムは、前記１以上の候補モデルの観察条件を表示する、試料観察装置。
4. 請求項３に記載の試料観察装置であって、
   前記観察条件は、加速電圧、プローブ電流、スキャン速度、検出器、コントラスト及びブライトネス、の少なくとも一つを含む、試料観察装置。
5. 請求項３に記載の試料観察装置であって、
   前記１以上の候補モデルの前記観察条件において、前記現在の観察条件と所定の関係を有する項目を強調表示する、試料観察装置。
6. 請求項１に記載の試料観察装置であって、
   前記システムは、前記推定された高画質画像の部分を、前記現在の低画質観察画像の対応する部分に重ねて表示する、試料観察装置。
7. 請求項１に記載の試料観察装置であって、
   第１高画質画像を生成する前又は後に、前記第１高画質画像と同一の視野の第１低画質画像を生成し、
   前記第１高画質画像及び前記第１低画質画像のペアを、新たなモデルの訓練データに含める、試料観察装置。
8. 請求項７に記載の試料観察装置であって、
   前記システムは、試料の観察時間外において前記新たなモデルの訓練を行う、試料観察装置。
9. 請求項１に記載の試料観察装置であって、
   前記訓練済みモデルは、それぞれ入力画像と教師画像からなる複数の訓練画像ペアにより訓練され、
   前記入力画像は、前記プローブの高速スキャンにより生成された低画質画像であり、
   前記教師画像は、前記プローブの低速スキャン又は前記高速スキャンのフレーム積算により生成された高画質画像である、試料観察装置。
10. 試料観察装置において試料の画像を表示する方法であって、
    前記試料観察装置は、
    プローブを試料に照射し、前記試料からの二次電子を検出し、検出信号を出力する顕微鏡と、
    前記顕微鏡から受信した前記検出信号から画像を生成する、システムと、を含み、
    前記方法は、
    前記システムが、低画質画像から高画質画像を推定する複数の訓練済みモデルのデータを格納するモデルデータベースにおける、１以上の訓練済みモデルに対するユーザによる指定を受け付け、
    前記システムが、前記検出信号から、現在の低画質観察画像を生成して表示し、
    前記システムが、前記１以上の訓練済みモデルそれぞれによって、前記現在の低画質観察画像から高画質画像を推定して表示する、方法。

Images