発明の詳細な説明
〔関連出願の相互参照〕
本出願は、2019年8月16日に出願された米国仮特許出願第62/888,309号の優先権を主張し、その内容は、参照によりその全体が本明細書に組み込まれる。
〔技術分野〕
本開示は、電子顕微鏡の分野に関し、特に、電子顕微鏡下で研究される試料内で生じるドリフトの自動追跡及び補正のためのシステムに関する。
〔背景〕
電子顕微鏡上で現在利用可能なカメラ及び検出器ソフトウェアパッケージソフトは、通常、カメラ又は検出器に利用可能な全視野領域にわたって限定された視野をデジタル的にシフトすることにより、小さな移動を補正する。電子顕微鏡を用いて行われるほとんどの伝統的な研究において、試料は、室温であり、熱平衡に落ち着くのに十分な時間をかける。所与の座標について、線量レート、エネルギー損失、又はX線カウントなどの任意の数の顕微鏡パラメータを測定することは、移動していないシステム上では直接的である。したがって、観察中の試料の関心領域に生じる移動を補正するために視野をシフトすることは、関心領域のより鮮明な画像を容易にすることができる。観察中の試料の関心領域において生じる移動は、典型的には小さく、しばしば、1ナノメートル/分未満の大きさ程度のレートであり得る。
「インサイチュ」又は「オペランド」研究は例えば、気体又は流体環境中の試料を機械的に変化させる、電気的にプローブする、加熱する、冷却する、及び画像化するなどのアクションを行うことによって、試料に動的変化を適用又は可能にすることを含む。顕微鏡使用者が時間の経過と共に様々な変化を受ける際に、試料内の関心領域を追跡することが有利であり得る。試料が移動することにつれて生じる様々なパラメータの変更を包括的に追跡するために、研究中の試料に関連する様々なパラメータに関連する測定値を登録する必要がある。これは、追跡された変更が実験の過程中に所与の特徴がどのように、及びどこに移動したかに関する履歴を慎重に考慮することなしには基点の座標に結びつけることができないからである。残念ながら、試料の移動の大きさは、一般的なカメラ及び検出器が適切な方法で視野をデジタルシフトするために範囲外となり得る。
従って、必要な場合に電子顕微鏡における対象の追跡及びドリフト補正を自動化するための新規なアプローチを提供する機会は、存在する。
〔概要〕
この概要は、以下の詳細な説明で更に説明される概念を簡略化された形態で紹介するために提供される。この概要は、主張される主題の重要な特徴又は本質的な特徴を識別することを意図するものではなく、主張される主題の範囲を限定するものとして解釈されるべきでもない。
電子顕微鏡環境における試料追跡のための試料追跡のために構成された制御システムが本明細書に開示される。制御システムは、メモリと、プロセッサと、顕微鏡制御部品とを備える。制御システムは、電子顕微鏡で観察中の試料のアクティブな領域内に位置する関心領域に関連付けられた移動を登録するように構成される。登録された移動は、少なくとも1つの方向成分を含む。関心領域は、電子顕微鏡の視野内に配置される。制御システムは更に、関心領域の電子顕微鏡を通るビューを動的にセンタリングするための調整、及び関心領域の電子顕微鏡を通るビューを動的に焦点合わせするための調整の内の1つ以上の、顕微鏡制御部品の調整を指示するように構成される。調整は、大きさ要素及び/又は方向要素を含む。1つ以上の実施形態によれば、制御システムは、関心領域にインサイチュ刺激を適用するように更に構成される。
更に、本明細書に開示されているのは、電子顕微鏡で観察中の試料のアクティブな領域内に位置する関心領域に関連付けられた移動を登録するように構成された制御システムである。登録された移動は、少なくとも1つの方向成分を含む。関心領域は、電子顕微鏡の視野内に配置される。登録された移動は、X移動、Y移動、Z移動、アルファ傾き、及びベータ傾きの内の少なくとも1つを含む。制御システムは更に、関心領域の電子顕微鏡を通るビューを動的にセンタリングするための調整、及び関心領域の電子顕微鏡を通るビューを動的に焦点合わせするための調整の内の1つ以上の電子顕微鏡制御部品の調整を指示するように構成される。調整は、大きさ要素及び方向要素の内の1つ以上を含む。
〔図面の簡単な説明〕
前述のこと、並びに以下の好ましい実施形態の詳細な説明は、添付の図面と併せて読まれると、より良く理解される。図示の目的のために、図面に例示的な実施形態が示されているが、現在開示されている主題は、開示されている特定の方法及び手段に限定されない。
本明細書に図示、説明、及び議論される実施形態は、本発明の図示である。本発明のこれらの実施形態は、図示に関して記載されるため、記載される方法及び/又は具体的な構造の様々な修正、又は適応は、当業者に明らかになり得る。当然のことながら、修正及び変形は、上記の教示によって、及び添付の特許請求の範囲の範囲内で、その精神及び意図される範囲から逸脱することなく、カバーされる。本発明の教示に依拠し、これらの教示が当技術分野を進歩させたそのような修正、適応、又は変形は全て、本発明の趣旨及び範囲内にあると考えられる。したがって、これらの説明及び図面は、限定的な意味で考慮されるべきではなく、本発明は、例示された実施形態のみに決して限定されないことが理解される。
図1は、本開示の主題の1つ以上の実施形態による、電子顕微鏡環境における試料追跡及びドリフト補正のために構成された制御システムの模式図である。
図2は、本開示の主題の1つ以上の実施形態による、制御システムによる反応性ドリフト補正のプロセスの詳細を示す模式図である。
図3は、本開示の主題の1つ以上の実施形態による、Eチップ及びホルダーの固有のx、y、及びz軸の移動の制御システムによるオンザフライ学習を、ドリフトが発生すると予想される場所の予測のふるまいと組み合わせて示す模式図である。
図4は、本開示の主題の1つ以上の実施形態による、ドリフト速度及び加速度ベクトルを構築するために、ピクセルシフトを経時的に追跡する制御システムのモジュールを図示する模式図である。
図5は、本開示の主題の1つ以上の実施形態による、描画することによってユーザが関心領域を選択し、次いで、視野内でROIを移動させ、センタリングするように電子顕微鏡にコマンドすることを可能にするように構成された、制御システムの一部を形成するモジュールのグラフィカル表現である。
図6は、本開示の主題の1つ以上の実施形態による、新しいセンター位置をコマンドすることをユーザに可能にするように構成された事前描画ROIを有する制御システムの一部を形成するモジュールのグラフィカル表現であり、それによって、試料又はビームは、制御システムによって移動される。
図7は、本開示で開示される主題の1つ以上の実施形態による、連続する画像の単一のセット上の多重ROIを支援するように構成される制御システムの一部を形成するモジュールのグラフィカル表現である。
図8は、本開示で開示される主題の1つ以上の実施形態による、ドリフトベクトル、背景ドリフト、及び/又は参照テンプレートを使用して、試料内でいつ移動が生じるかを判定する制御システムの一部を形成するモジュールを含むフローチャートである。
図9は、本開示で開示される主題の1つ以上の実施形態による、カメラ、検出器、顕微鏡、又はインサイチュトリガするように構成された制御システムの一部を形成するモジュールのフローチャートである。
図10は、本開示で開示される主題の1つ以上の実施形態による、ポジショナーの階層制御を使用するように構成された制御システムの一部を形成するモジュールを示すフローチャートである。
図11は、本開示で開示される主題の1つ以上の実施形態による、物理的な補正のトップ上にデジタル補正を適用し、連続する画像を動画として保存するように構成された制御システムの一部を形成するモジュールのグラフィカル図である。
図12は、本開示で開示される主題の1つ以上の実施形態による、理想的な焦点を見つけるために自動焦点又は再焦点ルーチンを実行するように構成された制御システムの一部を形成するモジュールを示すフローチャートである。
図13は、本開示で開示される主題の1つ以上の実施形態による、焦点スコアリング掃引を示すフローチャートである。
図14は、本開示で開示される主題の1つ以上の実施形態による、ユーザセットの再焦点ハンドルを用いた、標準化された焦点スコア対計算された理想から構築された電子顕微鏡用の視覚焦点制御ツールのグラフ表示である。
図15は、本開示で開示される主題の1つ以上の実施形態による、コマンドされた移動の方向及び大きさを改善するために、ポジショナー、レンズ及びホルダー校正を実際のふるまいと組み合わせるように構成された制御システムの一部を形成するモジュールのグラフ図である。
図16、図17、及び図18は、本開示で開示される主題の1つ以上の実施形態による、x軸、y軸、及びz軸の位置、アルファ/ベータの傾き、及び画像リフレッシュレートを監視して、任意のユーザ割り込みにフラグを立てるように構成された制御システムの一部を形成するモジュールに関するフローチャートである。
図19は、本開示で開示される主題の1つ以上の実施形態による、顕微鏡上で検出された割り込みから、インサイチュ制御、顕微鏡、カメラ、又は検出器上で新しいふるまいをトリガするように構成された制御システムの一部を形成するモジュールのグラフ図である。
図20は、本開示で開示される主題の1つ以上の実施形態による、顕微鏡上でユーザの割り込みを受け、予想されるモデル又はプロセスを改善するように構成された制御システムの一部を形成するモジュールのグラフ図である。
図21は、本開示で開示される主題の1つ以上の実施形態による、主なROIのロスを防止するために、ランプレートなどのインサイチュ制御入力の自動的な減衰を提供するように構成される制御システムの一部を形成するモジュールのグラフ図である。
図22は、本開示で開示される主題の1つ以上の実施形態による、ROIサイズ、ポジショナータイミング、画像更新レート及び期待ドリフトレートに関連するアクティブな視野から刺激の最大ランプレートを計算するように構成された制御システムの一部を形成するモジュールのフローチャートである。
図23は、本開示で開示される主題の1つ以上の実施形態による、特定の熱ランプレートを達成するために、ユーザが倍率、アクティブな検出器サイズ、ピクセル解像度、破棄、ドウェルレート及び/又は露出時間を設定するのを助けるように構成される制御システムの一部を形成するモジュールのフローチャートである。
図24は、本開示で開示される主題の1つ以上の実施形態による、ユーザが1つ以上のカメラ/検出器オプション、顕微鏡セットアップ、及びインサイチュ刺激に優先順位付けして、ドリフト補正の能力内で安定した画像を保証することを可能にするように構成される、制御システムの一部を形成するモジュールの概略グラフ図である。
図25は、本開示で開示される主題の1つ以上の実施形態による、ドリフトベクトルを適用して、セカンダリ又は多くの他の画像化サイトの位置を予測し、ユーザがサイト間で容易に切り替えることを可能にするように構成される制御システムの一部を形成するモジュールの模式図である。
図26は、本開示で開示される主題の1つ以上の実施形態による、ドリフトレートを標準化し、移動が高解像度取得のために十分に遅いときをユーザに警告するように構成された制御システムの一部を形成するインジケータの概略グラフ図である。
図27は、本開示で開示される主題の1つ以上の実施形態による、ユーザ又は他のソフトウェアモジュールが画像解析に基づいてインサイチュ機能にトリガを設定することを可能にするように構成された、制御システムの一部を形成するモジュールの概略図である。
図28は、本開示で開示される主題の1つ以上の実施形態による、ユーザ又は別のソフトウェアモジュールが、インサイチュ刺激の読取に基づいて、電子顕微鏡、カメラ、又は検出器にトリガを設定することを可能にするように構成された、制御システムの一部を形成するモジュールの概略図である。
図29は、本開示で開示される主題の1つ以上の実施形態による、研究者が実験を構築し、カスタムトリガを作成するのを助けるように構成された制御システムの一部を形成するインターフェースの概略図である。
図30は、本開示で開示される主題の1つ以上の実施形態による、特定の試料のサイトの総線量及び線量レートを追跡して、特定の対象に対する際とのビームダメージをユーザが定量化するのを助けるように構成される、制御システムの一部を形成するモジュールの模式図である。
図31及び図32は、本開示で開示される主題の1つ以上の実施形態による、ユーザが特定の時間に単一のサイトについて、又は特定のインサイチュ刺激状態について、ビーム効果を比較するのを助けるように構成される、制御システムの一部を形成する視覚化モジュールの概略図である。
図33は、本開示で開示される主題の1つ以上の実施形態による、試料サイトを時間の関数として比較するように構成された制御システムの一部を形成する自動レポート生成モジュールの概略図である。
図34は、本開示で開示される主題の1つ以上の実施形態による、所与のインサイチュ制御について試料のサイトを比較する制御システムの一部を形成する自動レポート生成モジュールの概略図である。
図35及び図36は、本開示で開示される主題の1つ以上の実施形態による、線量、線量レート、又は他の顕微鏡パラメータ並びにインサイチュ刺激を制限するように構成された制御システムの一部を形成することができるモジュールの概略図である。
図37は、本開示で開示される主題の1つ以上の実施形態による、UI又はトリガによる素早いナビゲーションのために、画像化可能な領域全体にわたって多数の試料サイトをどのように追跡することができるかについての実施例の概略図である。
図38は、本開示で開示される主題の1つ以上の実施形態による、画像を記述するいくつかのキーとなるメタデータと共に含まれるX、Y、及びZacesにおいて試料を安定に保つためのキー機能を用いて、ライブ画像フィード上で識別された1つ以上の関心領域の実施例の図示表現である。
図39は、本開示で開示される主題の1つ以上の実施形態による、制御システムの一部を形成するソフトウェアモジュールのための基本的な通信アーキテクチャの概略の図示表現である。
図40は、本開示で開示される主題の1つ以上の実施形態による、画像の背景ノイズを低減するフィルタ技術の概略の図示表現である。
図41は、本開示で開示される主題の1つ以上の実施形態による、全視野に対して提示される多数の関心領域の概略の図示表現である。
図42は、本開示で開示される主題の1つ以上の実施形態による、所与の期間又は所与のインサイチュ刺激のために多数のサイトから生成されたレポートの一実施例の概略の図示表現である。
図43は、本開示で開示される主題の1つ以上の実施形態による、チャート形式の制御システムの概略の図示表現である。
図44~図57は、図43の制御システムの様々な部分を示す。
図58は、本開示で開示される主題の1つ以上の実施形態による、自動化された実験ワークフローにおける第1のステップのグラフィカル表現である。
図59は、本開示で開示される主題の1つ以上の実施形態による、自動化された実験ワークフローにおける第2のステップのグラフィカル表現である。
図60は、本開示で開示される主題の1つ以上の実施形態による、自動化された実験ワークフローにおける第3のステップのグラフィカル表現である。
図61は、本開示で開示される主題の1つ以上の実施形態による、自動化された実験ワークフローにおける第4のステップのグラフィカル表現である。
図62は、本開示で開示される主題の1つ以上の実施形態による、自動化された実験ワークフローにおける第5のステップのグラフィカル表現である。
図63は、本開示で開示される主題の1つ以上の実施形態による、自動化された実験ワークフローにおける第6のステップのグラフィカル表現である。
図64は、本開示で開示される主題の1つ以上の実施形態による、自動化された実験ワークフローにおける第6のステップの代替図のグラフィカル表現である。
図65は、本開示で開示される主題の1つ以上の実施形態による、自動化された実験ワークフローにおける第6のステップの代替図のグラフィカル表現である。
図66は、本開示で開示される主題の1つ以上の実施形態による、1つの関心領域のみが視野内にある場合であっても、多数のサイトにおけるタグ付けされた領域をどのように追跡することができるかを示す概略グラフィカル表現である。
図67は、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアCPU上で実行される制御ソフトウェアが顕微鏡CPU上で単一の顕微鏡サービスを利用するアーキテクチャの概略グラフィカル表現である。
図68は、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアCPU上で実行される制御ソフトウェアが顕微鏡CPU上の顕微鏡サービスと画像化CPU上の画像化サービスとの両方を利用するアーキテクチャの概略グラフィカル表現である。
図69は、本開示で開示される主題の1つ以上の実施形態による、顕微鏡コマンド及び画像化コマンドに必要な顕微鏡サービスクラスの概略グラフィカル表現である。
図70は、本開示で開示される主題の1つ以上の実施形態による、顕微鏡プロファイルの概略グラフィカル表現である。
図71は、本開示で開示される主題の1つ以上の実施形態による、顕微鏡プロファイルが単一のサービスではなく、画像化サービス及び顕微鏡サービスからの内容及び能力から作成される、図70の変形である。
図72は、本開示で開示される主題の1つ以上の実施形態による、顕微鏡及び画像化ソフトウェアモジュールに接続し、全ての関連メタデータを有する固有の画像を制御ソフトウェアモジュールに送信するための高レベルプロセスの概略グラフィカル表現である。
図73は、本開示で開示される主題の1つ以上の実施形態による、連続画像フィードから固有の画像を判定し、固有の画像を制御ソフトウェアモジュールに送信するために使用することができる、より詳細な画像監視処理の概略グラフィカル表現である。
図74は、本開示で開示される主題の1つ以上の実施形態による、要求されたサービスに接続するために使用されるプロセスの概略グラフィカル表現である。
図75は、本開示で開示される主題の1つ以上の実施形態による、テスト接続プロセスの概略グラフィカル表現である。
図76は、本開示で開示される主題の1つ以上の実施形態による、ポジショナーと像との間のX/Y回転オフセットを校正するためのプロセスの概略グラフィカル表現である。
図77は、本開示で開示される主題の1つ以上の実施形態による、特異的な画像化状態で校正することができる複数ポジショナーをハンドルするためのプロセスの概略グラフィカル表現である。
図78は、本開示で開示される主題の1つ以上の実施形態による、具体的な画像化状態で画像品質スコア変化を補正するために必要な要求されたZ調整を校正するためのプロセスの概略グラフィカル表現である。
図79は、本開示で開示される主題の1つ以上の実施形態による、X、Y、及びZにおけるドリフト補正を実行するためのプロセスの概略グラフィカル表現である。
図80は、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアモジュールから遠隔でイメージ入手を始めるためのプロセスの概略グラフィカル表現である。
図81は、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアモジュールから遠隔でイメージ入手を止めるためのプロセスの概略グラフィカル表現である。
図82は、本開示で開示される主題の1つ以上の実施形態による、視野内の具体的な位置に試料を移動させるプロセスの概略グラフィカル表現である。
図83は、本開示で開示される主題の1つ以上の実施形態による、顕微鏡によるコマンドされた移動後に画像が安定したかどうかを判定するためのプロセスの概略グラフィカル表現である。
図84は、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアモジュールユーザインターフェースにおけるドリフト補正経験を向上させることができるキー制御及びインジケータのグラフィカル表現である。
図85は、本開示で開示される主題の1つ以上の実施形態による、ソフトウェアモジュールユーザインターフェースからセッションの履歴をユーザが見直すことを可能にすることができる、キー制御のグラフィカル表現である。
図86は、本開示で開示される主題の1つ以上の実施形態による、ユーザが制御ソフトウェアモジュールユーザインターフェースからの説明を用いて、固有のフレーム及びタイムシーケンスにタグ付けすることができる方法のグラフィカル表現である。
図87は、本開示で開示される主題の1つ以上の実施形態による、アクティブな画像バッファ及びセッション管理をカスタマイズするためにユーザが操作することができるキー設定のグラフィカル表現である。
図88及び図89は、本開示で開示される主題の1つ以上の実施形態による、顕微鏡プロファイルを構築するために制御ソフトウェアモジュールをどのように使用することができるかのグラフィカル表現である。
図90及び図91は、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアモジュールが画像化状態及びイメージャーに固有の校正をどのように管理することができるかのグラフィカル表現である。
図92は、本開示で開示される主題の1つ以上の実施形態による、ユーザが制御ソフトウェアモジュールのふるまい又はオプションを変更することができる特定のタイプのインサイチュ実験又はワークフローを指示することを可能にする、ユーザインターフェースのグラフィカル表現である。
図93は、本開示で開示される主題の1つ以上の実施形態による、キーとなるワークフロー機能を可能にするユーザインターフェースのグラフィカル表現である。
図94は、本開示で開示される主題の1つ以上の実施形態による、補正経験を向上させるインジケータ及びトリガから構成されるユーザインターフェースのグラフィカル表現である。
図95は、本開示で開示される主題の1つ以上の実施形態による、ユーザが画像及びメタデータを表示することができるセッションレビューツールのためのユーザインターフェースのグラフィカル表現である。
図96は、本開示で開示される主題の1つ以上の実施形態による、経験をカスタマイズするために操ることができるユーザ設定のグラフィカル表現である。
図97は、本開示で開示される主題の1つ以上の実施形態による、ライブ画像を見ながら、焦点補助校正及び焦点補助校正を可能にすることができるユーザインターフェースのグラフィカル表現である。
図98は、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアモジュール又は関連ドキュメンテーションが、許容可能なドリフトレートに応じて、画像入手レートと視野との間の関連性をどのように通信することができるかを示すグラフ表現である。
図99は、本開示で開示される主題の1つ以上の実施形態による、デフォーカス(defocus)の調整によって頂点に向かってドライブするために、焦点アルゴリズムがどのようにSTEMモードで焦点の品質スコアを利用することができるかのグラフ表現である。
図100は、本開示で開示される主題の1つ以上の実施形態による、デフォーカスの調整によって頂点に向かってドライブするために、焦点アルゴリズムがどのようにして焦点の質スコアの逆数をTEMモードで利用することができるかのグラフ表現である。
図101は、本開示で開示される主題の1つ以上の実施形態による、システムの様々な部品とインタラクティブする制御サービスのための全体的なデータフローのグラフ表現である。
図102は、本開示で開示される主題の1つ以上の実施形態による、インサイチュ加熱ソフトウェアモジュールのユーザインターフェースのグラフ表現である。
図103は、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアモジュールがランプレートを推奨し、インサイチュソフトウェアモジュール及び制御ソフトウェアモジュール内で自動休止/再開及び接続状態を通信する、ユーザインターフェースのグラフ表現である。
図104は、本開示で開示される主題の1つ以上の実施形態による、インサイチュシステム、顕微鏡、画像化システム、及び任意の他の接続されたシステムからのメタデータを見て、ライブ表示及びセッション又は画像レビューツール上にオーバーレイすることができる、ユーザインターフェースのグラフ表現である。
図105Aは、固有のワークフローと、データを同期させる別のソフトウェアモジュールにデータをプッシュするレポート要素とを有する既存のインサイチュソフトウェアモジュールパッケージソフトの実施例を示すグラフ表現であり、図105Bは、本開示で開示される主題の1つ以上の実施形態による、既存のインサイチュソフトウェア内のワークフロー対そのソフトウェアモジュール内のレポート要素の実施例を詳述する。
図106は、本開示で開示される主題の1つ以上の実施形態による、図105Aに記載のソフトウェアモジュールパッケージソフトがネイティブなインサイチュソフトウェアモジュールと、制御ソフトウェアモジュール内の埋め込み要素との間で共有されるワークフローをどのように有することができるかを示すグラフ表現である。
図107は、本開示で開示される主題の1つ以上の実施形態による、既存のインサイチュソフトウェアモジュールのユーザインターフェースの一実施例を示すグラフ表現である。
図108及び図109は、本開示で開示される主題の1つ以上の実施形態による、既存のインサイチュ制御ソフトウェアモジュールに使用されるユーザインターフェースのグラフ表現である。
図110~図115は、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアモジュールが、ユーザが実験に対する累積線量又は最大瞬間線量レートの効果を効果的に定量化し、知りながら走査し、検討するのを助けることができるワークフローを詳述するグラフのフローチャートである。
〔実施形態の詳細な説明〕
以下に、本発明の実施例における技術的解決策は、本発明の実施例による図面に関連して明確かつ包括的に示されている。明らかに、ここに描かれた実施例は、単に幾つかの実施例であり、本発明の全ての実施例ではない。概して、本明細書の図面に示され、示された本発明の実施例の部品は、様々な構成に従って配置され、設計されることができる。したがって、以下の図面に提供される本発明の実施例の詳細な説明は、主張される本発明の範囲を限定することを意図するものではなく、単に選択された実施例の本発明を表すものである。本発明の実施例に基づいて、本発明の努力を用いずに当業者によって得られ得る他の実施例は、本発明の保護の範囲内にある。以下、図面を参照して本発明を説明する。
透過型電子顕微鏡(TEM)は、試料を透過した電子ビームを使用して、画像を形成する。走査型透過電子顕微鏡(STEM)は、透過型電子顕微鏡と走査型電子顕微鏡(SEM)の原理を組み合わせ、どちらのタイプの器具でも実行できる。TEMにおいて、平行な電子ビームは、試料面に垂直に集束するが、STEMにおいて、ビームは、大きな角度で集束され、焦点に集束される。TEMと同様に、STEMは、非常に薄い試料を必要とし、主に試料を透過するビーム電子を見る。TEMに対するSTEMの主な利点の1つは、二次電子、散乱ビーム電子、特徴的なX線、及び電子エネルギー損失を含む、TEMにおいて空間的に相関させることができない他の信号の使用を可能にすることである。
顕微鏡使用者が容易に理解するように、「インサイチュ」又は「オペランド」研究は例えば、気体又は流体環境中で試料を機械的に変化させる、電気的にプローブする、加熱する、冷却する、及び画像化するなどの動作を行うことによって、試料に動的変化を適用又は可能にすることを含む。従来のインサイチュシステム、MEMS(マイクロエレクトロメカニカルシステム)試料支持体、及び最新の電子顕微鏡ホルダーは、試料領域への刺激を最小限に抑え、局在化することによって、「インサイチュ」又は「オペランド」研究に関連する動きを低減するのに役立ったが、これらのシステムでさえ、市場で現在利用可能であり得る任意のオートメーション化を使用するために補正するには移動が多すぎる。
従来のインサイチュシステムは、MEMS試料支持体なしでより大きな試料を加熱することができるバルク加熱又は炉加熱ホルダーを含む。バルク加熱又は炉加熱ホルダーは、試料調製プロセスが独特であり、試料のサイズが費用対効果の良い方法でMEMS試料支持体によって提供できないほどのエネルギーを必要とするため、研磨した金属のようないくつかの試料を研究するのに適している。このようなバルク加熱又は炉加熱ホルダーを加熱するために必要とされる大量のエネルギーは、研究されている試料の多くのドリフトを発生させる。このドリフトを物理的に補正することによって、より高い倍率でのイメージングは、可能になり、より安定した使用可能な体験は、可能になる。
例えば、熱加熱実験中に、温度を数百度変化させると、試料をx、y平面内で数百ナノメートル移動させることができ、熱平衡を達成する過程で材料が膨張したり収縮したりすることにつれて、しばしばz軸に高さの変更を導入する。顕微鏡ポジショナーシステム、ホルダーポジショナーシステム、光学系、銃、又はインサイチュに関係しない環境変化に由来するx、y、及びz軸のドリフトの他の多くの発生ソースが存在する。
EDS(Energy Dispersive X-Ray Spectroscopy)及びEELS(Electron Energy Loss Spectroscopy)といった一般的な技術は、適切なデータを入手するために、試料が、十分な時間、しばしば数分間、静止することを必要とする。人がホルダー又は電子ビームを手動で移動させることによって対象を追跡している場合、人がこれらの技法をすべて同時に実行することは、困難である。物理的補正は、要素解析の「ライブ」マップを構築する、より長い期間にわたって高速の取得又は走査を使用することができるワークフローを可能にする。試料が物理的に補正されるため、同じ試料を素早く画像化してより小さい信号を生成することができるが、実行平均を合計するとき、おそらくインサイチュの環境変化によってさえ、時間フレームにわたって試料の詳細なマップを作成することができる。
試料ホルダーは、典型的に機械式のステージ又はゴニオメータを使用して移動される。ユーザは照明、カメラ、及び検出器が固定的に配置されるため、関心領域をセンタリングするために、試料ホルダー又は電子ビームを手動で連続的に移動させることによって試料を追跡しなければならないであろう。観察中の試料を支持するステージ(すなわち、平坦なプラットフォーム)をより微細に移動させるためのステージ制御装置は、設けられている。これらのステージ制御装置は、ピエゾ変動を含み、ステージの制御は、通常、ジョイスティック又はトラックボールの操作によって達成される。しかしながら、調整及びジョグはしばしば、顕微鏡と共に供給されるソフトウェアパッケージソフトから命令される。2人が実験を行う必要があることは珍しく、1人は、試料に対する刺激を制御するため、もう1人は試料の移動を把握するために顕微鏡を操作するためである。既存のシステムの下で、単一の対象の測定を手動で追跡しなければならず、また、そのような測定は、典型的に特定の対象自体ではなく、x、y、及びz座標に結び付けられる。
電子顕微鏡法を用いた試料の画像化の間、電子ビームは、典型的に試料を位置決めするステップ、試料上に焦点を合わせるステップ、及び画像を記録するステップを含む、試料を画像化するプロセス全体の間、試料上に向けられる。電子ビームは、試料自体に損傷を引き起こす可能性があり、この損傷は、総線量及び線量レートに比例する。所定の面積(e-/Å^2)に対する電子線量は、重要なパラメータであり、プローブの電流密度(Å/m2)に露出時間(s)を掛けることによって計算される。線量レートは、時間の関数として適用される電子線量として測定される。ビーム損傷は、化学結合が破壊されるにつれて試料を物理的に変化させることがある。電子ビームからの損傷の種類と程度は、ビームと試料の特性に依存する。多くの研究は、電子ビームがどのように試料を損傷するかを調査してきた。1つの例は、ノックオンダメージによるものであり、入射電子が運動エネルギーを試料に伝達し、原子を試料の表面から変位させるか、又はスパッタリングすることができる。別の例は、非弾性散乱による放射線分解又は電離によるものであり、この種のダメージは、絶縁試料又は液体において一般的である。更なる例は、放出された二次電子又はオーガ電子による正表面電位をもたらすことができる電子ビームによって引き起こされる材料の静電帯電によるものである。しかしながら、損傷を制限するために任意に線量を減少させることは、特にビーム感受性の高い試料について、画像解像度を低下させる可能性がある。理想的に目標は、所与の試料に対してビーム損傷を引き起こすことなく、可能な最高線量で顕微鏡を操作させることであるが、この「安全である」線量/線量レート限界の下での判定及び留まることは困難である。放射線損傷を除去することはできないが、測定し、最小限に抑えることは、挑戦的である。電子ビーム誘起放射線損傷は、電子線量及び線量レートに比例するため、電子線量及び線量レートの測定及び制御は、試料への損傷を制御及び限界するための理想的な解決策である。
所与の試験片に対する電子線量の影響をより良く理解するために、画像化セッションの過程にわたって試験片上の位置の関数として与えられた累積線量を測定し、表示し、記録することが有益であろう。また、画像化の間の試料へのビーム損傷を制御するために、面積の関数として電子線量及び線量レートの限界を設定できることも有用であろう。更に、顕微鏡、カメラ、検出器、及びインサイチュ刺激の連続的な解析及び制御により、試料の状態が制御システムによって自動的に調整される実験を自動化することができるイベントトリガを提供することは、有益であろう。
本開示の主題の実施形態は、インサイチュ研究の間に生じるドリフトを補正するように有利に操作することができる。インサイチュ研究の間に生じるドリフトは、本開示の主題の実施形態によって補正することができるドリフトの1つの例にすぎない。例えば、本明細書に開示される実施形態はまた、試料ホルダーからの機械的沈降、顕微鏡ポジショナーシステムからの機械的沈降、インサイチュに関係しない環境からの熱ドリフト、光学系又は銃によって与えられる熱ドリフト、及び同様の他の部品、並びに光学系又は銃、及び同様の他の部品によって与えられる電子ドリフトから生じ得るドリフトを打ち消すように有利に操作することができる。本明細書に開示される実施形態はまた、有利に光学系調整からの熱ドリフト又は電気ドリフトなどのドリフトを打ち消すように操作することができる。例えば、銃の加速電圧の変化、コレクタの出力変化、又は光学系の残りの部分の出力変化などの要因がドリフトを引き起こす可能性がある。
本明細書に開示される実施形態は、電子顕微鏡で行われる観察の間に遭遇するあらゆる種類のドリフトを有利に補正することができ、それによって、ドリフトソースに関係なく、より高い倍率及びより安定した画像化を可能にする。実際、十分に高い倍率レベルで、任意のソースからの任意のドリフトは、物理的補正、並びに使用可能にされる全ての依存性技術に対する関連補正を必要とすることがある。十分に高い倍率レベルで、セトリング時間後のより標準的な種類のドリフトでも、デジタル登録が制限される。例えば、インサイチュ環境変化及び刺激に加えて、ドリフトは、ホルダー又は顕微鏡ポジショナーシステムからの機械的セトリング、インサイチュに関連しない環境からの熱ドリフト、光学系又は銃、及び同様の他のソースによって付与される熱又は電気ドリフトによっても引き起こされ得る。本明細書に開示される実施形態は、任意のソースからのドリフトを打ち消すように有利に操作することができる。
顕微鏡検査は、やりがいのあるものであり、インサイチュ顕微鏡検査は、更なる複雑さを追加し、エントリに対する障壁を大きくし、成功の機会を小さくする。顕微鏡検査研究に関連するワークフローは、専門知識と同時に働く複数のリソースを必要とする。しばしば、2人又は3人のチームが、実験を実行するために必要とされる:TEMエキスパートは、画像化条件を最適化し、そして実験によって再センタリング及び焦点合わせを管理し、インサイチュ装置エキスパートは、刺激を制御し、そして観測者は、試料及び得られたデータを観察する。その上、セッションで生成された膨大な数の画像とデータを整列させるために、このデータを編成することは困難である。本明細書に開示される実施形態は、実験を実行するために必要とされる専門知識のレベルを低減し、インサイチュ研究者及びアプリケーションの潜在的なコミュニティを拡大することによって、インサイチュ顕微鏡検査に関連する学習曲線を低減するように有利に操作することができる。
本開示の主題の少なくとも1つの実施形態は、電子顕微鏡制御システム(以下、代替的に「制御システム」又は「システム」と呼ぶ)を含む。本明細書に開示される制御システムは、ユーザが関連する装置ではなく試料に重点を置いて、毎瞬間を見ることを可能にすることができる。制御システムは、実験全体を通してより高い解像度での画像化を可能にし、妨害されない観察及びかつては観察できなかった瞬間の捕捉を提供することができる。制御システムは、データ解析のプロセスをより速く、より容易に、及びより正確にすることができる。これは、データを関連する実験条件を用いて連続的に同期させ、ユーザに最も重要なパラメータを優先させ、他のパラメータを最適化するようにシステムを制御させることができる。
様々な実施形態において、制御システムは、TEM実験室内の多くのシステムと相互作用するソフトウェアモジュールを含むことができる。制御システムは、TEMカラム、カメラ、検出器、及びインサイチュシステムを含む他のシステムにネットワーク接続されたサーバとして具現化することができる。一実施形態において、制御システムは、クライアントサイトで操作するサーバといったハードウェア上で実行可能なソフトウェアを含む。制御システムは、モジュールがラボをデジタル的にリンクするワークフローに対処する、堅牢なソフトウェアソリューションを提供できる。制御システムは、物理的試料を、安定した画像のためのカラム/検出器と同期させることができ、高速で正確な公開のために、実験中の全てのシステムデータを更に同期させることができ、また、実験の優先度の設定を可能にするためにパラメータ制御を同期させることもできる。制御システムは、試料が理解された移動ベクトル及びこのTEMハブにネットワーク接続された全てのシステムで安定であることを可能にすることができる。制御システムは、TEMセッションの間にユーザと連動するオートメーション及びシステム同期を可能にすることができる。このようにして、オペレータは依然として制御されているが、全ての関連する機器を管理するのではなく、試料にオペレータの労力を集中させることができる。制御システムは、本日の電子顕微鏡法及びインサイチュEMワークフローに関する4つの重要な問題に対処することができる:(1)電子顕微鏡法、特に現場EMの急峻な学習曲線を低減する;(2)「欠落モーメント」を明らかにする;(3)異なるシステムにわたって現在分散されている実験データを統合する;及び(4)高度なモジュールの開発を可能にするための基礎プラットフォームとして役立つ。
制御システムは、試料が変化したイベントにおいてバックグラウンドドリフトを追跡するのに役立つため、ソフトウェアは、全視野からセグメント化された多くの異なるバックグラウンドテンプレートに対して、ユーザ指定の関心領域に優先順位を付ける。本開示の主題の様々な実施形態の一部を形成するソフトウェアは、参照テンプレート及びドリフトベクトル又はバックグラウンドドリフトを使用して、位相変換及び合体といった態様を含む、試料がいつ変化しているかを判定することができる。変化する試料は、典型的に新しい参照テンプレートを必要とし、他のイベントにフラグを立てるために定量化することができる。
ドリフトを補正し、x、y、及びz軸の移動量を経時的に記録することに加えて、本開示の主題の実施形態は、試料が移動した場所の3次元マップを記録することも提供することができる。本開示の主題の実施形態は、GUI(グラフィカルユーザ表示)上にインタラクティブ式3次元マップを表示することを更に提供することができる。液体セルにおいて例えば、試料の移動が調査中の現象の結果であり得る場合、制御システムは、試料が実験中に取った三次元経路を示すソフトウェアツールにおいて、ドリフト補正ベクトルを視覚化することができる。制御システムは更に、そのような3Dマップを視覚化し、移動をより良く理解するためにインタラクティブ式設定でソフトウェアを介して回転させることができる。
一実装形態によれば、試料が移動した場所の3次元マップを記録することは、「調整された位置」の使用を含む。典型的にステージは、顕微鏡上にそれ自体の座標システムを有する。いくつかの実装形態において、ピエゾは、ステージとは独立したそれ自体の座標システムにあってもよい。ビーム偏向はほとんどの場合、それ自身の座標システムであり、しばしばSIユニットでは表されない;例えばビーム偏向は、パーセンテージとして、又はDAC(デジタル-アナログ変換器)ユニットで測定されてもよい。また、システムは、その調整された位置に計算される必要がある最も微細な調整のために試料をデジタル的に記録することができる。しかしながら、従来技術において、全ての利用可能なポジショナー座標システムを、ステージ位置、ピエゾ位置、ビーム位置、及びデジタル登録を組み合わせて、関心の試料に対する絶対位置及びベクトルを与える「調整された位置」にリンクさせることができるものは何も存在しない。本明細書に開示される実装形態は、従来技術のこのような制限を克服する。
制御システムは、登録された移動をドリフトレート又はドリフトベクトルとして捕捉することができる。続いて、制御システムは、関心領域の画像に適用されるデジタル登録をx軸、y軸、及びz軸の座標平面の内の少なくとも1つと組み合わせることによって、ドリフトレート又はドリフトベクトルの視覚的表現を生成して、単一の調整された位置を生成することができる。ドリフトレートの視覚的表現は、コンパス表示、バー表示、数値表示、及び/又はグラフ表示の形態とすることができる。制御システムはまた、移動をドリフトレートとして登録し、更にドリフトレートの正規化を生成することができる。
制御システムは、現在の形態又は強度プロファイルを生成するために、所定の期間にわたって関心領域の画像のテンプレートを操ることができる。したがって、制御システムはフィルタリング技法及びフレーム平均化を利用して、履歴を保存するが、より動的な試料に反応するために、関心のあるアクティブ領域のようにテンプレートをよりモーフィングすることができる。制御システムは、登録された移動に関連するドリフトレート又はベクトルの視覚的表現を提供するように更に構成される。典型的に、ステージ座標は、ピエゾから別々に追跡され、ビーム位置から別々に追跡される。対照的に、これらの座標平面の全てを画像に適用されるデジタル登録と組み合わせることによって、制御システムは、単一の「調整位置」がx、y及びz座標又は軸で追跡されることを可能にすることができる。少なくとも1つの実施形態において、「調整位置」は、ドリフトレート又はドリフトベクトルに注記するインジケータから分離されることができる。「調整位置」がその後、粒子追跡プロットを作成すること、特徴が経時的にどこに進んだかの3dプロットを作成すること、及び同様の他のプロットのような他の目的のために制御システムによって使用されることができる。
ドリフト補正の間、試料がより長いドウェル時間又は露出時間での高分解能取得のために十分に移動を停止したときを判定することは困難であり得るが、本明細書に記載の制御システムは、当技術分野のこのような欠点を都合よく克服することができる。このような欠点を克服するために、制御システムは、ドリフトレートの視覚的表現を提供することができる;制御システムがこのドリフトレートを更に正規化し、読みやすいツールと同じように表示することができる。更に、制御システムは、露出時間、倍率、及び他の因子のユーザの選択を考慮に入れ、高解像度画像を達成するために、そのような選択の下で許容可能なドリフトレートを判定することを提供することができる。一実施形態において、ドリフトレートが「調整位置」から作成されたベクトルから計算される。制御システムは更に、所望の画質のために必要とされる画像化条件を待機するか、又は調整するようにユーザを案内することができる。
制御システムは更に、適用されているインサイチュ刺激から生じる安定した画像を確実にするために、ドウェルレート及び露出時間の内の1つ以上を自動的に選択するように構成することができる。例えば、ユーザが高速のランプレートと高解像度を所定の倍率で必要とする場合、制御装置は、高速のランプレートを提供し、追跡を成功させることができる最も遅いランプレートを使用することができる。制御システムは解像度を達成するために、デジタル的に登録された試料上のフレームを更に平均化することができる。調整位置座標に関して、典型的には、ステージ座標は、ピエゾから別々に追跡され、ビーム位置から別々に追跡される。全てのこれらの座標平面を画像に適用されるデジタル位置合わせと組み合わせることによって、単一の「調整位置」をx、y、及びz軸で追跡することができる。
制御システムは、実験の間のインサイチュホルダー及びMEMS試料のサポートの性能の捕捉を提供することができる。この性能情報は、校正された、又は「ハードコード化された」挙動の両方から得られ、更に、MEMS試料のサポートがチップ毎にわずかに異なるため、実際の性能を絶えず測定することによって得ることができる。この捕捉された情報は例えば、ドリフトベクトルの形態において、関心領域に適用されるインサイチュ刺激を更に改善するために使用されることができる。各eチップとホルダーとの組み合わせの性能は一般に、本明細書に記載の制御システムによって予測することができる。注意すべきことであるが、大きさ及び正確な方向は、eチップとホルダーとの間で極めて少し変化する可能性があり、単一時間の校正において完全には捕捉されない可能性がある。実験的なeチップ及びホルダーの性能のある量のオンザフライ学習は、ドリフトベクトル上で改善することができ、本明細書に記載されるような制御システムは、有利にドリフトベクトルを改善することを助けることができる。
様々な実施形態において、本明細書に開示される制御システムは、電子顕微鏡における試料追跡のために構成される。制御システムは、メモリに記憶されたソフトウェア命令を含むことができる。ソフトウェアは、命令を記憶することができる非一時的コンピュータ読み取り可能媒体に記憶することができる。命令は、1つ以上のプロセッサによって実行されるとき、本明細書に記載する1つ以上のタスクを1つ以上のプロセッサに実行させることができる。一実施形態において、制御システムは、非一時的コンピュータ読み取り可能媒体に記憶された1つ以上の命令を備えることができる。1つ以上のプロセッサによって実行されるとき、1つ以上のプロセッサに、電子顕微鏡を用いて観察中の試料のアクティブ領域内に位置する関心領域に関連付けられた移動を登録し、顕微鏡制御の部品の調整を指示して、関心領域の電子顕微鏡を通してビューを動的にセンタリングする、及び/又は動的に焦点を合わせることができ、調整は、大きさ要素、及び/又は方向要素を備える。
一実施形態において、命令は、汎用プロセッサ(GPU)によってアクセスされ、実行され得る。一実施形態において、ソフトウェア命令は、計算デバイスの中央処理装置(CPU)によってアクセスされ実行されることができる。一実施形態において、制御システムに関連するソフトウェア命令は、インターネットと通信するサーバ上で実行することができる。一実施形態において、記憶媒体の部品は、制御システムの操作及び使用に関連する情報及び/又はソフトウェアを記憶することができる。例えば、記憶媒体の部品は、ハードディスク(例えば、磁気ディスク、光学ディスク、光磁気ディスク、ソリッドステートディスクなど)、コンパクトディスク(CD)、デジタルバーサタイルディスク(DVD)、フロッピーディスク、カートリッジ、磁気テープ、及び/又は他のタイプのコンピュータ読み取り可能媒体を、対応するドライブとともに含むことができる。
少なくとも1つの実施形態によれば、制御システムは、本明細書で説明する1つ以上のプロセスを実行するサーバ又はコンピューティングデバイスを含む。サーバ又はコンピューティングデバイスは、メモリ及び/又は記憶媒体の部品などの非一時的コンピュータ読み取り可能媒体によって記憶されたソフトウェア命令を実行するプロセッサに応答して、これらのプロセスを実行することができる。コンピュータ読み取り可能媒体は、本明細書において、非一時的メモリデバイスとして定義される。メモリデバイスは、単一の物理ストレージデバイス内のメモリ空間、又は複数の物理ストレージデバイスに分散されたメモリ空間を含む。ソフトウェア命令は、別のコンピュータ読み取り可能な媒体から、又は通信インターフェースを介して別の装置から、メモリ及び/又は記憶媒体の部品に読み込まれてもよい。実行されるとき、メモリ及び/又は記憶媒体の部品に記憶されたソフトウェア命令は、プロセッサに本明細書に記載する1つ以上のプロセスを実行させる可能性がある。それに加えて、又はその代わりに、本明細書で説明する1つ以上のプロセスを実行するために、ソフトウェア命令の代わりに、又はソフトウェア命令と組み合わせて、ハードワイヤード回路を使用することができる。したがって、本明細書で説明される実装形態は、ハードウェア回路及びソフトウェアの任意の特定の組合せに限定されない。
少なくとも1つの実施形態によれば、制御システムは、メモリ及びプロセッサを備える。制御システムは、電子顕微鏡の視野内に配置された、観察中の試料のアクティブ領域内に位置する関心領域に関連付けられた移動を記録するように構成される。登録された移動は、x軸、y軸、及びz軸の部品の内の少なくとも1つを含む。制御システムは更に、電子顕微鏡の制御部品を調整して、関心領域の電子顕微鏡を通してビューを動的にセンタリングする、及び/又は動的に焦点を合わせるように構成される。制御システムは、登録された移動に基づいて、調整の大きさ及び/又は調整の方向を判定する。
本明細書に記載される実施形態は、試料への刺激にかかわらず、関心領域を安定に、かつ視野内に維持することを提供することができる。その上、本開示の主題の実施形態は、研究中の試料の更なる画像化の前に、そのようなビーム効果及び他の顕微鏡パラメータに対する安全な限界を確立するために、研究中の所与の試料に対するビーム効果及び他の顕微鏡パラメータを迅速かつ容易に定量化するための新規な技法を提供することができる。実施形態は、試料に適用される顕微鏡パラメータを測定し、表示し、制限するためだけでなく、イベントトリガを有利に提供することができる。本明細書に開示される実施形態は更に、自動ビーム解除プロセスを提供することができる。本明細書に開示される実施形態はまた、閾値に達したとき、線量の測定と特定の位置のビームブランキングとの組み合わせを提供することができる。本明細書に開示される実施形態は、自動焦点/自動センタリングを断層撮影と組み合わせることを更に提供することができる。実施形態は、インサイチュ環境変化を受ける電子顕微鏡内の試料の顕微鏡パラメータを測定し、表示し、かつ制限するとともに、自動化された対象追跡、イベントトリガを提供することができる。更に、本明細書で開示される主題の実施形態は、電子顕微鏡におけるインサイチュ研究に共通の熱ドリフト及び他の物理的運動をソフトウェアによって補正することができる。本開示の主題の実施形態は、画像解析、インサイチュ測定、又は顕微鏡ふるまいを使用して、ソフトウェアを介して顕微鏡又はインサイチュ環境への変更をトリガすることができる。本開示の主題の実施形態は、対照に適用される線量、線量レート、及びインサイチュ刺激、並びに安定さ又は移動システムに対するビーム損傷又はインサイチュ刺激の相対的影響を比較するための単一又は複数の関心領域の使用を追跡することができる。
制御システムは、原子スケールで電子顕微鏡内の特徴を追跡するために、しばしば、ユーザ指定の関心領域、バックグラウンドドリフト、及び予測ふるまいの解析を組み合わせ、次いで、関心領域をセンタリングし、焦点を合わせるように電子顕微鏡内のポジショナーに命令するソフトウェアを含むことができる。1つ以上の実施形態によれば、制御システムは、ナノスケール又は原子スケールで移動を記録する。それは、より低い倍率でミクロンスケールであってもよい。
少なくとも1つの実施形態によれば、電子顕微鏡環境における試料追跡のために構成された制御システムは、少なくともメモリと、プロセッサと、顕微鏡制御部品とを含む。制御システムは、電子顕微鏡で観察中の試料のアクティブ領域内に位置する関心領域に関連付けられた移動を登録するように構成される。登録された移動は、x軸成分、y軸成分、及びz軸成分を含む少なくとも1つ以上の方向成分を含む。関心領域は、電子顕微鏡の視野内に配置される。登録された移動に応じて、制御システムは、電子顕微鏡制御部品の調整を指示して、関心領域の電子顕微鏡を通してビューを動的にセンタリングし、及び/又は関心領域の電子顕微鏡を通してビューを動的に焦点合わせするように構成される。調整は、大きさ要素及び/又は方向要素を含むことができる。いくつかの実施形態において、顕微鏡制御部品の調整は、電子ビーム偏向、及び焦点面調整の内の1つ以上を含む。
いくつかの実施形態において、登録された移動は、アルファ傾き及びベータ傾きの内の少なくとも1つを含む。制御システムは、関心領域の電子顕微鏡によってビューを動的にセンタリングし、且つ/又は関心領域の電子顕微鏡によってビューを動的に焦点を合わせるように、電子顕微鏡制御の部品の調整を指示することによって、アルファ傾き及び/又はベータ傾きの形態で登録された移動を打ち消すことができる。調整は、大きさ要素、及び/又は方向要素を含む。
制御システムは、電子顕微鏡制御の部品を調整して、電子顕微鏡によって与えられる物理的ドリフト、熱ドリフト、及び/又は電気的ドリフトに関連する登録された移動を打ち消すように構成される。また、制御システムは、電子顕微鏡制御の部品を調整して、電子顕微鏡のビームのアルファ傾き及び電子顕微鏡のビームのベータ傾きに関連する登録された移動を打ち消すように構成される。また、制御システムは、1つ以上の電子顕微鏡制御の構成部品を調整して、ステージ移動の後に、新しい位置に沈降する試料ホルダから生じるドリフトに関する登録された移動を打ち消すように構成される。制御システムは更に、電子顕微鏡制御の部品を調整して、インサイチュ刺激に関連しない熱沈降に関連する登録された移動を打ち消すことができる。制御システムはまた、気体又は流体環境中の試料を機械的に変形させること、適用される加速電圧を変更すること、電気的にプローブすること、加熱すること、冷却すること、及び画像化することの内の1つ以上によって引き起こされる登録された移動を打ち消すように、電子顕微鏡制御の部品を調整するように構成される。制御システムは更に、試料に隣接する環境において、圧力、流量、及び成分の内の1つ以上によって引き起こされる登録された移動を打ち消すように、電子顕微鏡制御の部品を調整することができる。
また、制御システムは、顕微鏡又は試料のサポートの物理的ポジショニングシステムからのドリフトによって引き起こされる登録された移動を打ち消すように、電子顕微鏡制御の部品を調整するように構成される。また、制御システムは、機械式のステージを移動させた後にホルダーが物理的に新しい位置に沈降することによって生じる登録された移動を打ち消すように電子顕微鏡制御の部品を調整するように構成される。また、制御システムは、外部室とカラム内部の試料位置との間の温度差に起因する試料のサポートの熱平衡からのドリフトによって引き起こされる登録された移動を打ち消すように、電子顕微鏡制御の部品を調整するように構成される。また、制御システムは、電子顕微鏡制御の部品を調整して、光学系の調整からの熱又は電気的ドリフトによって引き起こされる登録された移動に打ち消すように構成される。制御システムはまた、電子顕微鏡制御の部品を調整して、銃の加速電圧の変化、補正器の出力変化、光学系の別の部品の出力変化の内の1つ以上によって引き起こされる登録された動きを打ち消すように構成される。制御システムはまた、電子顕微鏡制御の部品を調整して、小さな傾き又は断層撮影シーケンス中に生成されるx軸及びy軸のドリフトによって引き起こされる登録された移動を打ち消すように構成される。また、制御システムは、電子顕微鏡制御の部品を調整して、アクティブ領域内のバックグラウンドのドリフトによって引き起こされる登録された移動を打ち消すように構成される。
したがって、制御システムは、試料に適用されるインサイチュ刺激、試料に隣接する領域における環境条件の変化、顕微鏡によって付与される物理的ドリフト、顕微鏡の試料サポートのポジショニングシステムによって付与される物理的ドリフト、試料サポート上で発生する熱平衡、電子顕微鏡の光学系の熱ドリフト、電子顕微鏡銃の熱ドリフト、電子顕微鏡光学系の電気ドリフト、及び電子顕微鏡銃の電気ドリフトの内の1つ以上に関連する登録された移動を打ち消すように電子顕微鏡制御の部品を調整するように構成される。制御システムは、関心領域にインサイチュ刺激を適用するように更に構成され、調整はx軸及びy軸に沿ったドリフト補正を含む。
少なくとも1つの実施形態において、制御システムは、関心領域にインサイチュ補正(又はインサイチュ刺激)を適用するように更に構成され、調整/補正/刺激は、x軸、y軸、及び/又はz軸に沿ったドリフト補正を含む。少なくとも1つの実施形態において、顕微鏡制御の部品は、例えば、機械式のステージ、ゴニオメータ、ステージのピエゾ部品、電子ビームの照明、電子ビームの投射、電子ビームの電磁偏向、及び電子ビームの移動など、電子顕微鏡の様々な部品と電気的に通信している。少なくとも1つの実施形態において、制御システムはまた、ミクロンスケール、ナノメートルスケール、又は原子スケールで移動を登録するように構成される。少なくとも1つの実施形態において、制御システムはまた、観察中の試料内に位置する複数の関心領域に関連付けられた移動を同時に登録するように構成される。少なくとも1つの実施形態において、制御システムはまた、関心領域のテンプレート画像を試料のアクティブ領域の残りの部分に対して参照することによって、移動を登録するように構成される。少なくとも1つの実施形態において、制御システムはまた、現在の形態プロファイル又は現在の強度プロファイルを生成するために、所定の期間にわたって関心領域のテンプレート画像を操作するように構成される。補正アルゴリズムが補正のために参照するテンプレートは以前からの試料の静的なスナップショットではなく、代わりにテンプレートは、形態及び強度プロファイルが関心領域を構成する試料の対象により類似するように、画像フィルタを介して常にモーフィングされることに留意されたい。少なくとも1つの実施形態において、制御システムは、観察中の試料の関心構造、関心領域、及び背景領域の内の1つ以上に関連するドリフトベクトルとして、登録された移動を捕捉するようにも構成される。
少なくとも1つの実施形態において、制御システムはまた、登録された移動が所定のレート未満であるときにユーザに警告するように構成される。登録された移動が小さいときにユーザに警告することは、高解像度画像がいつキャプチャされる準備ができているかをユーザに知らせるために有益であり得る。
一実施形態において、制御システムはまた、試料ホルダー及び/又はMEMS試料のサポートに関連する性能データをドリフトベクトルに適用することによって、ドリフトベクトルの精度を改善するように構成される。制御システムはまた、観察のための更なる関心領域を予測する、又は選択するためにドリフトベクトルを解析できる。制御システムは更に、関心領域にインサイチュ刺激を適用することができる。インサイチュ刺激は、関心領域で登録された移動に基づいて制御システムによって生成されたドリフトベクトルの形態とすることができる。制御システムは、生成されたドリフトベクトルを試料内の更なる関心領域に適用する。制御システムはまた、ドリフトベクトルを関心領域の参照テンプレート画像と比較して、観察中の試料に生じた変化を識別することができる。
一実施形態において、制御システムは、視野(FOV)変化、試料変化、顕微鏡状態更新、電子ビームのアンブランキング、カラムバルブの開放、スクリーン上昇、及び画像化条件変化の内の少なくとも1つに応答して、新しい関心領域を自動的に識別するように更に構成される。制御システムは、グラフィカルユーザインターフェース上に表示される視野のライブ画像ストリーム上に輪郭をマーキングすることと、グラフィカルユーザインターフェース上に表示される視野のライブ画像ストリーム上に形状をマーキングすることと、グラフィカルユーザインターフェース上に表示される視野のライブ画像ストリーム上に既存の形状を重ね合わせることと、グラフィカルユーザインターフェース上に表示される電子顕微鏡の視野のライブ画像ストリーム内の領域上で実行されるダブルクリックイベントをキャプチャすることと、グラフィカルユーザインターフェース上に表示される電子顕微鏡の視野のライブ画像ストリーム内の領域上でクリック及びドラッグイベントをキャプチャすることとの内の1つ以上によって、グラフィカルユーザインターフェース上に表示される視野のライブ画像ストリームから関心領域をデジタル的に描写するように更に構成される。一実施形態において、制御システムは、関心領域が視野のセンターから、又は視野内の参照点から離れる移動をしたと制御システムが判定したとき、関心領域にセンタリング運動を適用するように更に構成される。制御システムは、登録された移動において検出されたドリフト速度と、関心領域の検出された画像化条件と、試料サポートの性能パラメータと、試料ホルダーの性能パラメータとの内の1つ以上に基づいて、リアルタイムで適用されるインサイチュ刺激を更に判定することができる。制御システムは、登録された移動において検出されたドリフト速度(velocity)、ドリフトの速さ(speed)、及びドリフト分解能の内の1つ以上に基づいて、リアルタイムで適用されるべきインサイチュ刺激を判定するように更に構成される。検出された関心領域の画像化条件は、倍率レベル及び画像取得時間の内の1つ以上を含む。制御システムは、物理的調整を適用すること、デジタル調整を適用すること、グラフィカルユーザインターフェース上に表示される視野のライブ画像ストリーム内に表示される画像をフィルタリングすること、及びドリフト補正された画像シーケンス内に表示される画像をフィルタリングすることの内の1つ以上によって、登録された移動を打ち消すように更に構成される。
様々な実施形態において、制御システムは、関心領域のシームレスビデオの生成を指示するように更に構成される。制御システムは、関心領域の画像をデジタル的に補正することもできる。一実施形態において、関心領域の画像は、制御システムによって補正されるが、残りの視野領域の画像は、デジタル的に補正されない。一実施形態において、関心領域の少なくとも1つの画像への物理的補正の適用がトリガされる前に、制御システムは、関心領域の少なくとも1つの画像に適用される所定量のデジタル補正をユーザが指定することを可能にするように更に構成される。一実施形態において、視野の全領域の画像は、補正されない。デジタル補正は、画像をデジタル的にシフトすること、画像をデジタル的に切り抜くこと、画像をデジタル的にぼかすこと、画像をデジタル的に鮮明にすること、画像のエッジにデジタル的に付加すること、画像に背景ピクセルをデジタル的に付加すること、及び画像に前景ピクセルをデジタル的に付加することのいずれかの技術を含むことができる。また、制御システムは、画像のデジタル補正コピーと、画像の通常の未補正コピーとを保存することができる。いくつかの実施形態において、制御システムは、レビューユーティリティを更に備え、レビューユーティリティは、顕微鏡メタデータ、インサイチュメタデータ、及び画像化条件の内の1つ以上でインデックス化された、取り込まれた画像又は取り込まれたビデオをレビューするように構成される。これは、実験後に画像をスクラブする能力を有利に提供することができる。レビューユーティリティは、画像、顕微鏡メタデータ、インサイチュメタデータ、及び画像化条件の内の1つ以上に適用するための数学的アルゴリズムを生成するように構成することができる。数学的アルゴリズムは、画像のドリフト補正されたシーケンスに適用することができ、制御システムは、所定の時間間隔にわたって適用される調整の変化を評価するように更に構成される。数学的アルゴリズムは、変換解析、強度プロット、ピクセル強度統計量、結晶化スコア、焦点スコア、分散スコア、コントラストスコア、粒子サイズ解析、及び点間距離解析の内の少なくとも1つを含むことができる。したがって、ドリフト補正されたシーケンスは、ユーザが粒子又は試料が経時的にどのように変化したかを見ることを可能にすることができ;ユーザは、ドリフト補正されたシーケンスのフレームにわたって数学をドラッグすることによって、これを定量化することができる。制御システムは更に、制御システムによってレビューされた画像の所定のシーケンスを、所定の画像フォーマットの永久ディスク空間にエクスポートするように構成される。制御システムは更に、画像又はメタデータに数学的アルゴリズムを適用して、所定の画像シーケンスを分離するか、又は所定の画像シーケンスをエクスポートするように構成される。例えば、制御システムは、良好な焦点にある画像のみを分離するか、テンプレートに対する相関が所定量だけ変化したときに分離するか、又は気温が2つの所定の外限値の間で変化したときに画像のみを分離することができる。
制御システムはまた、連続するデジタル的に補正された画像、及び連続するデジタル的に補正されていない画像の内の1つ以上に基づいてビデオを生成することができる。少なくとも一実施形態において、ビデオは、関心領域のデジタル的に補正された超安定ムービーを備えることができる。様々な実施形態において、制御システムは例えば、FFT及びCTFなどの変換解析、強度プロット、ピクセル強度統計量、焦点アルゴリズム解析、輝度調節、コントラスト調節、ガンマ調節、メタデータオーバーレイ層、及び形状オーバーレイヤなどの種々の技術を適用することによって、連続した画像に基づいてビデオを生成する。一実施形態において、制御システムによってキュレーションされるビデオは、関心領域のデジタル的に補正されていないムービーを備える。一実施形態において、制御システムによってキュレーションされるビデオは、関心領域のデジタル的に補正された安定したムービーを含む。
様々な実施形態において、制御システムは、関心領域の画像に関連付けられた高速フーリエ変換(FFT)値を解析することによって、関心領域の焦点レベルの焦点スコアを生成するように更に構成される。制御システムはまた、関心領域の画像におけるピクセル強度の分散を解析することによって、アクティブ領域内に位置する更なる関心領域の焦点レベルの焦点スコアを生成することができる。制御システムはまた、コントラスト、正規化分散、勾配、及び同様の他のパラメータを定量化する焦点スコアを開発することができる。制御システムは更に、関心領域の焦点外画像を捕捉して、電子顕微鏡のレンズから試料の最適なz軸距離を計算する。ここで、z軸は、関心領域に対応する平面に垂直である。本明細書で言及されるx軸は、関心領域に対応する平面のボトム又は下縁に平行であってもよく、一方、本明細書で言及されるy軸は関心領域に対応する平面の側縁に平行であってもよい。例えば、関心領域に対応する平面が長方形を表すと仮定すると、x軸は、長方形の上端及び下端に平行であり、y軸は長方形の左側端及び右側端に平行である。制御システムは更に、関心領域の焦点レベルを連続的に監視することができる。制御システムは、焦点レベルに基づいて正規化された焦点スコアを生成することができる。制御システムは、焦点品質解析及び物理的に位置合わせされた画像に基づいて、正規化された焦点スコアを更に生成することができる。制御システムは、焦点品質解析とデジタル的に位置合わせされた画像に基づいて、正規化された焦点スコアを更に生成することができる。制御システムは、z軸に沿ったドリフト補正を適用することによって、関心領域の焦点レベルを変化させるように構成され、z軸は、関心領域に対応する平面に垂直である。制御システムは、グラフィカルユーザ表示上に焦点スコアを表示することができ、焦点スコアは、所定の焦点スコアの表示と並置される。制御システムは、焦点レベルをオーバーフォーカス状態又はアンダーフォーカス状態に操ることができる。制御システムは更に、焦点制御アルゴリズムを使用して、電子顕微鏡の対物レンズを連続的に調整し、正規化された焦点スコアを生成することができる。
観察中の試料の変化は、相変化、沈殿物形成、形態変化、周囲環境との反応、近くの要素との反応、及び観察中の試料内で起こる合体のような態様を含む、現状における任意の種類の変化を表すことができる。制御システムは、登録アルゴリズム及び/又は位置合わせアルゴリズムとして移動を登録することができる。制御システムは更に、登録アルゴリズム及び/又は位置合わせアルゴリズムを校正するように構成される。
いくつかの実施形態において、制御システムが更に、移動をピクセルシフトとして登録し、ピクセルシフトを電子顕微鏡のポジショナーのための補正距離に変換するように構成される。また、制御システムは、複数のピクセルシフトをドリフト速度ベクトル及び/又はドリフト加速度ベクトルに変換するように操作することができる。従って、制御システムは、ポジショナーの解像度が補正距離の大きさをサポートできる場合にのみ、ポジショナーに補正距離を適用するように更に構成される。また、制御システムは、結果として生じるドリフト補正シーケンスのフレームレートを最大化するような補正距離をポジショナーに適用するように構成される。所望のポジショナーの解像度が所要の移動の大きさをサポートできる場合にのみ物理的移動がスケジュールされるように、複数のピクセルシフトが好ましい。また、複数のピクセルシフトが好ましく、そのため、物理的な移動は、適切な瞬間においてのみスケジュールされる。なぜなら、結果として生じるポジショナーの移動は、キャプチャの途中で動かされたときに、一時的にビューをぼかすことができるからである。更に、複数のピクセルシフトが好ましく、その結果生じるドリフト補正シーケンスのフレームレートができるだけ高くなるようにする。ユーザはしばしば、物理的な移動中にフレームをスキップして、移動の残留効果を計算及びドリフト補正シーケンスから除去することを決定する。ドリフト補正がピクセルシフトのみである場合、ユーザは一般にフレームをスキップする必要はない。制御システムによって登録された移動に応じて、制御システムは、とりわけ、例えば、インサイチュ刺激を一時停止すること、インサイチュ刺激を定数に保つこと、及びインサイチュ刺激の勾配レートを変化させることなどの様々な動作をトリガすることができる。
制御システムは、正規化された焦点スコアが最良の登録された焦点スコアに近づくにつれて、移動のサイズを縮小するなどのタスクを実行するためのアルゴリズムを含むことができる。制御システムは、正規化された焦点スコアが最良の登録された焦点スコアからずれるにつれて、移動のサイズを増加させるなどのタスクを実行するためのアルゴリズムを更に含むことができる。また、制御システムのアルゴリズムは、電子顕微鏡のレンズの再焦点を調節し得るか、又は調節させるように構成することができ、ここで、再焦点点は、インジケータハンドルを操ることによって焦点エンベロープを定義する。制御システムは、ビーム制御、ピエゾ制御、及びステージ制御のような態様を含むことができるz軸焦点制御も含む。制御システムは、カメラパラメータである検出器の校正を実行するように更に構成される。校正は、ドリフト補正の性能を向上させ、アプリケーションに関係なく正確な動きを保証するために機能する。例えば、制御システムは、カメラパラメータ、検出器パラメータ、ポジショナーパラメータ、及びインサイチュ制御パラメータの内の1つ以上の校正を実行するように構成することができる。校正は、とりわけ、回転オフセット、及び拡大焦点エンベロープを含むことができる。顕微鏡プロファイルは、ほとんど回転オフセット、焦点ステップサイズ、ポジショナーの能力及びネットワーク設定であることに留意されたい。制御システムは、校正に関連する校正値を校正データベースに記憶し、計測値を定期的に校正値と比較することができる。制御システムは、1つ以上の校正値に対して制御システムの性能を監視することもできる。制御システムは、各移動登録セッション中に校正を実行することもできる。
少なくとも1つの実施形態において、校正値は、ポジショナーに対応する。校正値は、バックラッシュ、移動限界、移動タイミング、分解能、全範囲、好ましい範囲、ヒステリシス、最小移動時間期間、単位変換、中立位置、及びポジショナーに関連付けられた最小移動時間期間の内の少なくとも1つに対して生成される。一実施形態において、校正値は、ホルダーに対応し、校正値は、画像原点調整、x軸調整、y軸調整、及びz軸調整の内の1つ以上に関連付けられ、z軸は、関心領域に対応する平面に垂直である。一実施形態において、校正値は、試料に関連する圧力、流量、及び機械的変形の内の1つ以上の変化に関連する。一実施形態において、校正値は、加熱ホルダー又は冷却ホルダーに対応する予測される移動モデルに関連付けられる。一実施形態において、校正値は、単位温度の変化に関連するドリフト速度、冷却ランプレート、及び加熱ランプレートの内の1つ以上に対応する予想された移動モデルに関連付けられる。
いくつかの実施形態において、制御システムは、校正値を、電流値、温度設定点、及び流体流量の内の1つ以上を含むインサイチュ制御入力に適用するように構成される。いくつかの実施形態において、制御システムはまた、インサイチュ刺激及びドリフト補正調整の同時適用中に達成可能な最大熱ランプレートを計算するように構成される。また、調整は観察下の試料に関連する膜の予想される移動を補正するためにz軸に沿って適用されるドリフト補正の形態であってもよく、z軸は、関心領域に対応する平面に垂直であり、x軸及びy軸は、関心領域の平面に平行である。調整は、ドリフト補正を含むことができ、制御システムは、ポジショナーのx軸パラメータ及びy軸パラメータの内の少なくとも1つが所定の範囲外になったとき、ドリフト補正を適用することを一時停止するように更に構成される。調整は、観察中の試料に関連する膜の予想される移動を補正するためにz軸に沿って適用されるドリフト補正を含むことができ、z軸は関心領域に対応する平面に垂直であり、x軸及びy軸は、関心領域の平面に平行である。
様々な実施形態において、制御システムは、関心領域に対する視野の領域の比率、ポジショナータイミング、画像更新レート、及び期待ドリフトレートの内の1つ以上を使用して達成可能な最大熱ランプレートを計算することができる。制御システムはまた、関心領域の画像のリフレッシュレートの変化に応答して、関心領域に影響を及ぼす熱ランプレートを変更することができる。制御システムは、ユーザが第2の関心領域に手動で焦点を合わせようと試みることに応答して、関心領域に影響を及ぼす熱ランプレートを更に低下又は一時停止することができる。
制御システムは更に、グラフィカルユーザ表示デバイス上に、電子顕微鏡制御と、同じ単一のユーザインターフェース内の関心領域に適用されるドリフト補正パラメータとを表示するように構成される。制御システムはまた、関心領域に適用されるインサイチュ刺激の有効性を評価するために、倍率値、アクティブ検出器サイズ、ピクセル解像度、破棄、ドウェルレート、及び露出時間の内の1つ以上の影響をグラフィカルユーザ表示装置上に表示するように構成される。制御システムは更に、関心領域に適用されるインサイチュ刺激から生じる安定した画像を生成するために、カメラオプション、検出器オプション、電子顕微鏡セットアップ機能、及びインサイチュ刺激の内の1つ以上をユーザが優先順位付けするのを補助するように構成される。制御システムは、関心領域に適用されるインサイチュ刺激から生じる安定した画像を確実にするために、ドウェルレート及び露出時間を自動的に選択することができる。制御システムは更に、電子顕微鏡に関連するピクセル解像度、倍率値、及び熱ランプレートの内の1つ以上をユーザが調整することに応答して、関心領域に適用されるインサイチュ刺激を自動的に調整することができる。制御システムはまた、関心領域で登録された移動に基づいて、更なる関心領域に関連する移動を予測することができる。
少なくとも1つの実施形態において、制御システムは、関心領域にインサイチュ刺激に対するトリガ機能を設定するように構成され、トリガ機能は、試料対象、電子顕微鏡状態、インサイチュ刺激ソース、及びインサイチュ刺激読み取りの内の少なくとも1つに変化が観察されたときに起動される。一実施形態において、顕微鏡制御部品の調整は、試料対象、電子顕微鏡状態、インサイチュ刺激ソース、又はインサイチュ刺激読み取り値に対する変更が観察されるときに起動されるトリガ機能を含む。少なくとも実施形態において、トリガ機能は、電子顕微鏡、電子顕微鏡に関連したカメラ、及び電子顕微鏡に関連した検出器の内の少なくとも1つに影響を及ぼすパラメータを調整する。いくつかの実施形態において、制御システムは、試料温度が所定の範囲から外れたとき、電子顕微鏡に関連する検出器をオン又はオフにすることができる。
いくつかの実施形態において、制御システムは、トリガ機能を開発するように構成されたユーザインターフェースを更に備える。いくつかの実施形態において、制御システムは、ユーザが観察中の試料の電子線量レート限界を設定することを可能にするように更に構成される。いくつかの実施形態では、制御システムはまた、電子顕微鏡レンズの位置及び時間の機能として電子顕微鏡の電子線量レートを計算するように構成される。いくつかの実施形態において、制御システムはまた、電子線量レートが所定の電子線量レート限界を超えないことを保証するために監視する。制御システムは、電子線量レートの限界に加えて、累積電子線レートの限界を更に設定することができる。
少なくとも1つの実施形態において、制御システムは、ヒートマップ形式の電子線量レートの画像をグラフィカルユーザ表示装置上に表示するように構成され、制御システムは、ヒートマップ形式の累積電子線量の画像をグラフィカルユーザ表示装置上に表示するように更に構成され、制御システムは、試料位置及び倍率レベルの内の1つ以上の変化を打ち消すように表示された画像を自動的に調整するように構成される。制御システムはまた、登録された移動及び適用されたインサイチュ刺激に基づいて、自動化された報告を生成することができる。制御システムは、ユーザが試料への不可逆的な損傷を防止するために安全限界を設定することを可能にすることができる。制御システムは、試料の形状、試料組成、試料密度、及び試料の電気的特性の内の1つ以上に対する電子ビームの影響を更に測定することができる。制御システムは更に、登録された移動を一定の期間にわたって記録して、関心領域内で発生する動きの履歴の3次元マップを生成することができる。制御システムはまた、グラフィカルユーザ表示装置上の3次元経路における移動履歴の視覚表示を提供することができる。いくつかの実施形態において、移動履歴の視覚表示は、ユーザプロンプトに応答してインタラクティブ式に回転可能である。いくつかの実施形態において、制御システムは、ユーザによって選択されるように、取得レート(例えば、TEMモードにおける露出時間及びSTEMモードにおけるドウェル時間)の1つ以上、及び倍率レベルに基づいて、最大許容移動量を計算することができる。制御システムは、最大許容移動に到達することを防止するために画像化条件を調整するようにユーザを更に案内することができる。制御システムはまた、電子顕微鏡に結合された質量分析装置、電子顕微鏡に結合されたガスクロマトグラフィ装置、及び電子顕微鏡に結合された液体クロマトグラフィ装置などの補助装置に関連するトリガ機能を設定するように構成される。
少なくとも1つの実施形態において、制御システムは、制御システムによって起動されるトリガ機能に応答して、試料に関連する環境条件を調整することができる。制御システムは更に、電子顕微鏡に結合されたインサイチュホルダーを出る循環水に含まれる物質の測定された濃度が所定の範囲外にあるとき、試料に関連する環境条件を調整することができる。制御システムは更に、グラフィカルユーザ表示デバイス上に、リストされた各画像に関連する線量又は線量レートと共に、ユーザによって以前に観察された試料の部分の画像のリストを表示することができる。制御システムは更に、電子顕微鏡の電子ビームからの所定のレベルの電子放射線に露出された試料の部分の画像のリストをグラフィカルユーザ表示装置上に表示するように構成される。
様々な実施形態において、制御システムは、電子顕微鏡の視野、電子顕微鏡に関連する少なくとも1つのポジショナーのx軸、y軸、又はz軸パラメータ、電子顕微鏡に関連する少なくとも1つのポジショナーのz軸パラメータ、ホルダーのアルファ傾き、ホルダーのベータ傾き、イメージリフレッシュレート、ビームブランカ状態、カラムバルブ状態、スクリーン角度、顕微鏡メタデータ、及び画像化システムメタデータなどの態様を連続的に監視するように更に構成される。
いくつかの実施形態において、適用されるインサイチュ刺激がポジショナーを動かすことを含み、制御システムは、ステージポジショナー、ピエゾポジショナー、及びビームポジショナーの内の1つ以上からポジショナーを選択するように更に構成される。制御システムは、ポジショナーを移動させるために必要な時間を計算して、保存された画像シーケンス上でのポジショナーの移動の衝撃を最小化するように構成される。制御システムは、加えられたインサイチュ刺激の大きさに基づいてポジショナーを更に選択することができる。制御システムは、適用されたインサイチュ刺激の所定の最大の大きさに到達するまでの残りの適用されたインサイチュ刺激の量に基づいて、ポジショナーを更に選択することができる。制御システムは、ポジショナーに以前に適用された更なるインサイチュ刺激をゼロにすることができる。また、制御システムはスティグメーションを防止又は低減するために、電子顕微鏡の電子ビーム位置に1つ以上の自動限界を割り当てることができる。制御システムは更に、ユーザが関心領域と更なる関心領域との間でトグルすることを可能にすることができる。制御システムは、登録された移動が所定の値又は所定のレート未満であるとき、関心領域の高解像度画像の取得を開始することができる。
少なくとも1つの実施形態において、制御システムは、機械式のステージのx軸位置、機械式のステージのy軸位置、機械式のステージのz軸位置、ピエゾステージ偏向、ビーム偏向、ピエゾステージ、焦点面、アルファ傾き、ベータ傾き、画像リフレッシュレート、及び画像化条件の内の少なくとも1つに関連する移動を検出したとき、ユーザ開始動作を識別するように更に構成される。制御システムはまた、ユーザが開始した動作に基づいて、インサイチュ刺激を校正又はトリガすることができる。制御システムは更に、ユーザが開始したアクションと競合するインサイチュ刺激を一時停止又は停止することができる。
様々な実施形態によると、試料移動の登録は、画像のサブセット、通常は主な関心領域を、視野の残りに対してテンプレートマッチングすることによって、制御システムによって達成することができる。TEM(透過型電子顕微鏡)及びSTEM(走査型透過型電子顕微鏡)画像シーケンスにおける共通の、大量な「ソルトアンドペッパー(”salt-and-pepper”)」又はバックグラウンドノイズを低減するための技術、例えば中央不鮮明のフィルタリングは、登録及び位置合わせアルゴリズムを改善する。それは、フィルタリング技術を更に含むことができる。次いで、ピクセルシフトを登録することは、電子顕微鏡に関連するポジショナーのための補正距離に変換され得る。これらのピクセルシフトの組み合わせは、ドリフト速度ベクトル及びドリフト加速度ベクトルに変換することができる。
制御システムは、例えばユーザが制御システムに結合されたインタラクティブ式グラフィカルユーザ表示の選択を行うことによって、ソフトウェア内のライブ画像ストリームからそれらを選択することによって、1つ以上の主な関心領域を選択することを許可することができる。関心領域の選択は、画像上に輪郭/境界を描くことによって、画像上に形状を描くことによって、又は所定の形状の内の1つからピッキングすることによって行うことができる。制御システムは更に、容易なサイズ変更を提供することができる。例えばx、yドリフト補正のための1つ、及びz自動焦点のための1つを含む、多数の関心領域が存在し得る。本明細書に記載される制御システムは、x、yセンタリング関心領域が視野のセンターにあることを提供することができ、したがって、ドリフト補正を開始することが役立つ前に、ユーザがキー対象を容易にセンタリングすることを可能にする。本明細書に記載の制御システムは、画像をダブルクリックすることによって、これを達成することができる。代替として、本明細書に記載される制御システムは、視野のセンターにない位置にセンタリング運動を適用することによって、これを達成することを提供することができる。ドリフト補正が開始されると、ソフトウェアによって新たな関心領域を設定することができ、これにより、任意の参照テンプレートが更新される。これは、新たな領域をダブルクリックするか、又は新たな関心領域を描くことによって達成することができる。
いくつかの実施形態において、制御システムは、物理的調整を適用すること、デジタル調整を適用すること、ライブビューで表示される画像をフィルタリングすること、及び/又はドリフト補正された画像シーケンスで表示される画像をフィルタリングすることによって、関心領域のシームレスビデオの生成を容易にするために移動を低減又は排除するように構成される。システムは、ライブビュー及びドリフト補正された画像シーケンスに表示された画像を物理的に補正し、デジタル的に補正するだけでなく、自動的にフィルタリングすることによって、シームレスビデオライブの移動を低減又は排除することができる。例えば、システムは、システムがポジショナーの1つを物理的に移動させているライブビュー内の画像をスキップすることを可能にし、これらの不鮮明な画像をシーケンスから除去することができる。システムは、ポジショナーによって生成された不鮮明なフレームがドリフト補正された画像シーケンス又はライブビューに示されないように、ポジショナーに命令された移動を更に送信することができる。ポジショナーを移動させるのにどれくらいの時間がかかるかを知ることにより、移動中に一時的に遅延された数フレームのみがドロップされ、又は取得されるシームレス体験をユーザに提供することができる。したがって、様々な実施形態において、制御システムは、1つ以上の不鮮明な画像を自動的にスキップして、1つ以上の不鮮明な画像がないドリフト補正された画像シーケンスを生成するように更に構成される。制御システムは更に、調整の適用のタイミングを調整して、1つ以上の不鮮明な画像の取得の時間と同期させることができる。
様々な実施形態によると、関心領域の焦点は、画像内のピクセル強度の分散を解析することによって、制御システムによってスコア付けされる。制御システムは、FFT(高速フーリエ変換)計算解析、コントラスト伝達関数解析、及びビーム傾斜解析を通してこれを判定することができる;制御システムは、ビームの偏向を通して、及び任意の他の焦点アルゴリズムによって、これを交互に判定することができる。制御システムは、関心領域の最適なZ高さを判定するのに役立つように、下及び上の両方で、画像を意図的に焦点から外すように更に動作することができる。しかしながら、これは、試料を焦点に入れたり焦点から外したりするためのレンズとビームの調整だけに限定されるものではない。制御システムが必要とされる移動のスケールに応じて、ステージ、ビーム及び/又はピエゾを調整するであろうという点で、制御システムがとる動作は、少なくとも1つの実施形態において、階層的である。
試料を変更するための1つの手順(試料を変更することは、インサイチュの研究において非常に一般的である)は、元の登録テンプレートを現在のライブビューにモーフィングするためのチューナブルフィルタの使用を含む。その上、このテンプレートは、ユーザがFOV、画像化条件、又は顕微鏡上のキーアイテムを変更するとき、戦略的に完全にリセットすることができる。少なくとも1つの実施形態において、制御システムは、現在の形態プロファイル又は現在の強度プロファイルを生成するために、所定の期間にわたって関心領域の画像のテンプレートを操るように構成される。制御システムは、フィルタリング技術及びフレーム平均化を利用して、テンプレートを、アクティブな関心領域のようにモーフィングすることができ、したがって、制御システムは、より動的な試料に反応しながら履歴を保存することができる。したがって、制御システムは、移動を登録するためにテンプレート画像を使用することができる。いくつかの実施形態において、登録された移動は、ドリフトベクトルを含む。
制御システムは、試料が変化している時間を識別することができ、識別に基づいて、制御システムは有利に高いフレームレートで長い実験にわたって重要なイベントにフラグを立てることができ、これは、非常に大きなデータセットからキーデータをソートし、画像をファイルに保存するのに有利に役立つことができる。これは更に、有利に休止又は保持及びインサイチュ刺激を助けることができ、これは有利にランプレートを遅くすること、又は指示された関心領域を自動的に更新することを助けることができる。
少なくとも1つの実施形態によれば、制御ソフトウェアが能動的に検出することができる試料に対する変更は、以下を含む:
1.形態関連変化:
a.表面のファセット化
b.粒子の凝集/合体/焼結
c.粒子の溶解/エッチング/昇華
d.バルク-介在物の溶解/形成
e.粒子の核形成
f.試料の成長につながる核形成
2.相関連の変化:
g.カーケンダル効果-ボイド形成と外殻形成
h.結晶化/アモルファス化
i.相分離
j.粒界移動
k.酸化/還元
l.高密度化
3.原子変化:
m.空隙/欠陥の変化/散逸/移動
n.単一原子ダイナミクス
o.ゾーン軸判定
p.グラフェン励起子
4.自動化された対象:
q.相変態の検出
r.炭素汚染の検出
s.液体細胞脱湿潤の検出
様々な実施形態において、電子顕微鏡に関連するポジショナーの制御は、制御システムの一部を形成する1つ以上のソフトウェアアルゴリズムによって達成することができる。いくつかの実施形態において、ポジショナーの制御は、制御システムが利用可能なポジショナーに関連する利用可能な補正オプションの中から最も適切な補正オプションを理知的に選択することができるという点において、階層的とすることができる。選択は、ドリフト速度と、倍率レベル及び画像取得時間などの1つ以上の画像化条件との組み合わせに基づくことができる。電子顕微鏡における共通利用可能なポジショナーは、ホルダーを粗く移動させることができる機械的なステージ制御を含み、いくつかの例において、ホルダーを微細に移動させるためのピエゾステージ制御が提供され、また、電子顕微鏡の電子ビームの電磁偏向を介して電子ビーム位置を制御するための制御が提供されてもよい。これらのポジショナーの制御は、多くの場合、ソフトウェアによって実行されるが、本明細書に記載の制御システムとは異なり、既存の解決策は、そのような制御を対象の移動に結び付けず、また、本明細書に記載の制御システムとは異なり、既存の解決策は、3つのポジショナー全てにわたる連続運動のための自動化されたシステムを提供しない。
制御システムは、シームレスビデオのための試料移動を更に低減することができる。次に、得られた画像は、制御システムによって、全視野からデジタル的に補正することができる。ビデオは、ROIが試料の残りの部分とどのようにインタラクティブするかを示し、センタリングされたROIを使用して、FOVのものとすることができる。制御システムは、関心領域をセンタリングしつつ、周辺ピクセルの切り抜き又は不鮮明を更に提供することができる。制御システムは更に、デジタル的に補正されたバージョンと補正されていないバージョンとの両方の画像セットをファイルに保存することを提供することができる。制御システムは、連続した画像からビデオを生成すること、関心領域の超安定な動画に対してデジタル的に補正されること、又は変更されないビデオフィードに対して未補正のビデオを生成することを追加的に提供することができる。したがって、本開示の主題の実施形態は、物理的補正を同時に適用しながら、これらの機能を実行することができる。これら2つの機能の組み合わせは、有益であり得る。
制御システムは、完全な一セットの連続した補正画像を後処理する能力を更に含むことができる。例えば、画像に適用される数学又は解析は、物理的及びデジタル的に位置合わせされるため、多数の画像に容易に適用することができる。数学及び解析は、FFT及びCTFなどの変換解析、強度プロット、ピクセル強度統計、焦点アルゴリズム解析、粒子サイズ解析、粒子分布解析、2点間の距離、結晶度解析、解像度解析、加算フレーム、平均化フレーム、画像フィルタ、輝度調整、コントラスト調整、ガンマ調整、メタデータ及び形状オーバレイレイ層を含めることができる。物理的及びデジタル的に位置合わせされたシーケンスの画像に対して数学的機能又は数学的アルゴリズムを適用することによって、制御ソフトウェアは、実験又は画像化露出の影響を定量化する時間の経過に伴って試料がどのように変化したかを提示することができる。その上、画像に適用される数学的関数又は数学的アルゴリズムは、画像をソートし、フィルタリングするために使用される。メタデータは、画像のソート及びフィルタリングにも使用できる。メタデータは、画像化状態、顕微鏡状態、インサイチュデータ、又は画像上で行われる計算に由来し得る。例えば、ソフトウェアは、試料温度を解析することによって温度ランプ上の画像のみを識別するのに役立ち、次いで、焦点品質スコア又は正規化された焦点品質スコアをフィルタリングすることによって、シーケンスを「合焦」画像のみに更に制限することができる。数学的関数又は数学的アルゴリズムは、キャプチャ後の画像シーケンスに適用することができ、又は画像キャプチャ中にライブで処理することができる。
制御システムは更に、連続する未補正画像に基づいてビデオを生成するように構成される。制御システムは、完全な1セットの連続した補正画像を後処理する能力を含む。例えば、1つの画像に適用される数学又は解析は、物理的及びデジタル的に位置合わせされるため、複数の画像に容易に適用することができる。数学及び解析は、FFT及びCTFなどの変換解析、強度プロット、画素強度統計、焦点アルゴリズム解析、粒子サイズ解析、粒子分布解析、2点間の距離、結晶度解析、解像度解析、加算フレーム、平均化フレーム、画像フィルタ、輝度調整、コントラスト調整、ガンマ調整、メタデータ及び形状オーバレイレイ層を含むことができる。
一実施形態において、本明細書で説明する制御システムは、商品名AXON及び/又は商品名Synchronicityによって提供されるソフトウェアパッケージソフトを含む(又はその形態である)ことができる。図92~図114は、AXONソフトウェアパッケージソフト(以下、「AXONシステム」、「AXON」又は「制御システム」、又は単に「システム」と呼ぶ)の様々な態様を示している。コンピュータモニタのようなデジタル表示デバイス上のAXONの表示は、「AXONコマンド」、「顕微鏡コマンド」、及び「顕微鏡プロファイル」の3つの見出しを含むことができる。「AXONコマンド」及び「顕微鏡コマンド」セクションは、AXONソフトウェアパッケージソフトがインストールされているか、又はそれに電気的に結合されているTEM行を特徴付ける「顕微鏡プロファイル」セクション内の情報を供給するために使用される。「AXONコマンド」は、ビームを0,0に再センタリングする「ビームX/Yをリセットする」、デフォーカスを0にセットする「ビームZをリセットする」、X/Y解除プロセスをトリガする「ビームX/Yの解除を開始する」(下側インジケータと同じプロセスであるが、制限なし)、Z解除プロセスをトリガする「ビームZの解除を開始する」(下側インジケータと同じプロセスであるが、制限なし)などの、AXONアプリケーションに特有の機能を含む。下位インジケータと同じプロセス(ただし、制約なし)、ソフトウェア診断及び追跡情報をファイルに保存する「追跡を保存する」、及びサービスのインストール又は診断を補助する追加のAXON固有コマンドは、開発時にこのセクションで使用できる。
「顕微鏡コマンド」は、システムがTEM又はSTEMモードで動作しているかどうかを読み取る「画像化モードを読み込む」;倍率を読み取る「倍率を読み込む」;X、Y、Z、A及びBの現在のステージポジションを読み取る「ポジションを読み込む」(x、y及びz軸に対応するX、Y、及びZ、アルファ傾きを表すA、ベータ傾きを表すB);ステージをX、Y、Z、A及びBの絶対座標に設定する「ポジションを設定する」;ステージの微小増分を補助するために現在の読取位置に「ポジションを設定する」を設定する「ポジションを同期する」;TEM/STEM固有の、現在のX、Yビーム位置を読み取る「シフトを読み込む」(TEMシフトは、しばしば「画像シフト」と呼ばれ、STEMシフトは、しばしば「ビームシフト」と呼ばれる;両方の種類の移動に偏向器が使われる);TEM/STEM固有である、ビームをX、Yの絶対座標に設定する「シフトを設定する」;シフトを「セット」し、現在の読み取り位置にシフトし、小さなビームシフトの増分を補助する「シフト同期」;現在のZビーム位置を読み取り、しばしば「デフォーカス」値と呼ばれる「デフォーカス読み取り」;Zビーム位置を絶対値に設定する「デフォーカスを設定する」;現在の読み取りポジションにデフォーカスを設定し、小さなデフォーカスの増分を補助する「デフォーカスを同期する」;などTEMに固有の機能を含む。
AXONは、複数の顕微鏡校正を管理できる。各TEMカラムは、関連する顕微鏡サービスに接続されたとき、AXONによって自動的に作成されるそのプロファイルを有することができる。その接続は、利用可能なネットワーク顕微鏡サービスに対して「テスト接続」ボタンをクリックすることにより、第1にサービスポータルによって行うことができる。接続が成功すると、AXONは、全てのデフォルト能力が搭載されたTEMの顕微鏡プロファイルを作成することができる。ポジショナーとイメージャーの能力と両者の関係を正確に知ることで、性能を高めることができる。いくつかのフィールドは、インストールテスト後に手動で入力できるが、他のいくつかのフィールドエントリは、プロセスの最後に入力された自動化された手順に基づいている。
「顕微鏡プロファイル」は、顕微鏡を含み、全ての接続されたカメラ及び検出器は、システム設備上で特徴付けられる。「顕微鏡プロファイル」は、カメラ/検出器に関して、カラムの各部分の能力を校正する自動化されたパラメータと手動のパラメータとの組み合わせであってもよい。顕微鏡プロファイルは、接続された顕微鏡、カメラ、検出器、又はインサイチュシステムから手動で入力又は自動的に引き出されるデータから構成されてもよい。例えば、「顕微鏡名」は、TEMカラムのコンピュータ名によって占有されてもよく、また、編集可能なフィールドであってもよい。「顕微鏡プロファイル」は、顕微鏡サービス通信リンクへのユニフォームリソースインジケータとすることができ、その顕微鏡プロファイルとの最後の接続の日付/時間を詳述する「最後の接続時間」を含むことができる「顕微鏡サービスUri」などのネットワーク及び通信情報を保存することができる。「ポジショナー能力」は、試料を移動させる顕微鏡の能力に関連するすべての設定のためのヘッダとすることができる。「座標変換」は、全てのX/Y回転アライメント校正のためのヘッダとすることができ、アライメント校正は、ポジショナーをカメラ又は検出器にリンクする(検出器毎、ポジショナー毎、倍率毎に保存)、及び「焦点補助ステップサイズ」は、画像化条件及び倍率(検出器毎、ポジショナー毎、収束角度毎、倍率毎に保存)に応じて、試料を上、下、及び合焦させるのに要する距離を規定する全てのZ校正のためのヘッダとすることができる。
本明細書で使用される場合、以下の用語は、対応する定義を有する。「画像完了閾値」は、連続画像化ストリーム中の新しい画像を判定するために必要とされる固有ピクセルの割合である。「走査境界許容閾値」は、連続画像化ストリーム中の固有画像を宣言する前に、システムがSTEM走査境界をターゲットにしようとするピクセル行の割合である。「範囲」は、ミクロン又は度でAXONソフトウェアの行によって読み取られるポジショナーの物理的最小及び最大限界である。各ポジショナーは、異なる範囲限界を有し、これらは、アルファ及びベータの傾きと同様に、X、Y及びZ平面において異なることができる。「好ましい範囲」は、ミクロン又は度でAXONソフトウェアによって読み取られるポジショナーの好ましい最小及び最大限界である。これらは、範囲と同じであってもよいし、範囲のサブセットであってもよい。好ましい範囲は、安全バッファとして、又はビーム移動の場合の光学系の画像劣化を防止するために使用することができる。各ポジショナーは、異なる好ましい範囲を有することができ、これらは、X、Y、及びZ平面、並びにアルファ及びベータの傾きにおいて異なることができる。好ましい範囲は、顕微鏡依存及び/又はOEM(オリジナルの装置の製造業者)依存であり得る。「解像度」は、バックラッシュが考慮された後にAXONソフトウェアを介してポジショナーにコマンドすることができる最小移動距離である。各ポジショナーは、異なる解像度を有し、これらは、アルファ及びベータの傾きと同様にX、Y、及びZ平面において異なることが出来る。「ヒステリシス」は、所与のポジショナー上で方向を変えるとき、ミクロン又は度において、失われる距離である。ヒステリシスは、試料の実際の知覚位置において、見分けることができる解像度における変更までの必要とされる追加の移動を構成する。各ポジショナーは、異なるヒステリシスを有することができ、アルファ及びベータの傾きと同様に、X、Y及びZ平面で異なることができる。これらのパラメータは、ポジショナーが制御ソフトウェアによって必要とされる移動の大きさのための正しいポジショナーであるかどうかを決定するために使用することができる。「最小移動時間」は、移動を完了し、画像がそのポジショナーの解像度によって判定される最小移動を確定するために必要とされる時間である。各ポジショナーは、異なる最小移動時間を有し、これらは、アルファ及びベータの傾きと同様にX、Y及びZ平面において異なることができる。「Move Pace」は、より大きな移動を完了させ、画像を安定させ、移動の大きさと共に線形にスケーリングするために必要とされる追加のスケーリングファクタを定量化するために使用することができる。ポジショナーの移動時間を最小移動時間及び移動ペースの両方に分割する必要はなく、これらの2つのパラメータは好ましい場合、単一の移動時間に要約することができる。「座標変換」は、ポジショナーをカメラ又は検出器にリンクする合理的な位置合わせ校正(検出器毎、ポジショナー毎、倍率毎に保存される)を特徴付けるために使用することができる。座標変換の処理は、自動化処理がトリガされた後、自動的に保存できる。この処理の一例は、ヒステリシスを説明する全ての関連するポジショナーについて6つの離散ステップで移動し、ポジショナーとアクティブカメラ又は検出器との間の回転位置合わせを保存することであり得る。
顕微鏡校正の処理がトリガされるとき、システムは、いくつかの例外を除いて、カメラ又は検出器に対して、ビームとステージの両方の校正を自動的に試みてよい。システムは、STEMモードの場合、STEMビームを、TEMモードの場合、TEMビームのみを校正することができる。その上、本処理は、視野の特定のサブセクションが顕微鏡プロファイルによって指示され得るビームの好ましい範囲又は物理的範囲を超えない場合にのみ、ビームを校正し得る。同様に、システムは、視野の一定のサブセクションがポジショナーの解像度又はヒステリシスを超えないように、倍率が十分に低い場合にのみステージを校正することができる。
ポジショナーは、校正処理を正常に終了するとき、カメラ/検出器、ポジショナー、及び倍率を詳述する「座標変換」ヘッダの下にエントリをポピュレートすることができる。システムは、この順序で校正を参照することができる。各移動において、制御システムは、正しいカメラ又は検出器に対する校正を探すことができる。存在しない場合、校正が必要であることをユーザに警告することができる。存在する場合、それは、必要な移動の解像度及び大きさに基づいて正しいポジショナーを判定するためにポジショナーの能力を参照することができる。そのポジショナーの校正がない場合、校正が必要であることをユーザに警告することがある。そのポジショナーのための校正がある場合、ユーザが操作している倍率に関連付けられた校正を、又は最も近い倍率で選択することができる。
STEMモードにおいて、ステージの非常に低い倍率で1回、ステージの最小の移動とビームの最大の移動の中間倍率で1回、ビームの最小の移動の高い倍率で1回の校正のみが必要な場合がある。TEMモードにおいて、複数の倍率でより多くの校正を取得する必要がある場合がある。新しいレンズが有効になるため、TEMカメラが画像を回転させることは、珍しくない。
「焦点補助ステップサイズ」は、画像化条件及び倍率に応じて、試料を持ち越して焦点を合わせるのに要する距離を指示する全てのZ校正用のヘッダーである。「座標変換」、「焦点補助ステップサイズ」などは、カメラ/検出器毎、変換角度毎、倍率毎に保存できる。これらの校正が指定された限度に達するまで、これらの校正は、大きさを増やす中で、開始位置から外側の両方向におけるデフォーカスのステップである、自動処理でも可能である。指定された限度は、「校正最大ステップサイズ(um)」設定、又は「校正最小焦点指数」設定などの固定値又は設定にすることができる。校正を改善するために、任意の時に、制御システムは、外側にステップしている間により良い焦点スコア(代替的に焦点レベルのスコアと呼ばれる)を得ながら、新しい位置からプロセスを再開する場合がある。プロセスの終了時に、デフォーカスを最良の焦点位置に戻し、「焦点補助ステップサイズ」のエントリを占有することができる。これらのエントリは、試料が焦点に入ったり、焦点から外れたりするときに必要とされるステップのサイズを、制御システムが判定するのを助けるために、ポイントに機能を適用する。
制御システムは更に、関心領域の焦点レベルを連続的に監視し、正規化された焦点スコアを有効にするために、焦点品質解析と共に物理的及びデジタル的に位置合わせされた画像を使用するように構成される。単一の画像に焦点を合わせることは重要であるが、それらは全て物理的及びデジタル的に位置合わせされているため、焦点履歴は、同じ対象のセットに基づいて制御システムによって構築することができる。単一のフレームに適用される焦点品質スコアを可能なものと比較することは、有利に焦点スコアを正規化することができる。正規化された焦点スコアは、焦点の品質を改善又は描写するために焦点のライブ解析を可能にすることができる。制御システムの焦点制御アルゴリズムは、対物レンズを常時調整できる(デフォーカス)。正規化された焦点スコアが最良の位置合わせされた焦点スコアに近づくにつれて、移動のサイズは、小さくなる(0nmに近づく)。正規化された焦点スコアが悪化するにつれて、調整サイズは、増加する。移動の方向は、正規化されたスコア履歴の解析に結び付けられる。より低い正規化されたスコアをもたらす移動は、制御システムによって指示されるコントローラに因数分解され、コントローラは、最終的に移動の方向を逆にするように構成される。正規化された焦点スコアは、最良の可能な焦点を参照する。正規化された焦点スコアは、任意の新しいテンプレート上で更新され(画像化条件を変更する、FOVを変更するなどの任意の時)、テンプレートはフィルタ(バンプフィルタなど)によって経時的にモーフィングされ、最良の可能な焦点をもはや達成不可能にする可能性がある形態変更又は強度プロファイルを考慮に入れる。ノイズに対してフィルタリングされた正規化焦点スコアは、EM画像に固有のノイズに対するコントローラの反応を抑制する。プロファイルが異なる種類の試料又は他の画像化条件にどの程度良好に適用されるかについての適切な履歴が利用可能でない場合があるため、このプロセスは、ドリフト補正が実行されているときはいつでもユーザによってトリガされ得る。試料の焦点をより早く戻すための「自動焦点」機能や、その種類の試料について制御システムを校正する校正機能としての役割を果たすことができる。全ての校正が保存されるため、これは各実験に必要なステップではなく、デフォルトなふるまいが好ましくない場合にのみ予約される。ドリフト補正は、制御システムが校正を通じて同じ関心領域を見ていることを保証するために、焦点補助校正のために実行されている必要がある。
AXONにおける重要なステップは、セッションを開始することである。これは、デフォルトのオーバーレイ、ワークフローを設定し、接続種類を優先順位付けする。ユーザは、データの編成に役立つようにセッション名を変更できる。
インストール時に、AXONは、サーバ上に存在する所定のフォルダディレクトリに編成されたサポートファイルのディレクトリを作成できる。このディレクトリにおいて、ユーザは、アプリケーションによって使用されるファイルに手動でアクセスできる。AXONは、各顕微鏡接続又はClarity製品との接続に自動的にログを作成できる。一実施形態において、本明細書で説明する制御システムは、商品名Clarity(以下、「Clarity」又は「制御システム」又は単に「システム」と呼ぶ)によって提供されるソフトウェアパッケージソフトを含むことができる。これらのログにアクセスすることは、ユーザがAXONアプリケーションを使用している頻度と理由を判定することに役立つ。
制御システムは、セッション毎にフォルダを作成し、セッション毎に「ドリフト補正」、「未加工」、「テンプレート」、「単一入手」を区切ることができる。このディレクトリは、バッファサイズが最大限度に近づいたとき、先入れ先出しのためにセットアップできる。セッションフォルダは、そのセッションの画像がバッファにまだ存在している限り、保持されることがある。画像は、このフォルダから手動で移動したり、AXON Notebook又は任意のセッション又は画像レビューツールを使用してエクスポートすることができる。本明細書で言及されるように、AXON Notebookは、本明細書で開示される主題の1つ以上の実施形態による制御システムの一部を形成する画像レビューツールに与えられる商品名を指すことができる。各画像は、関連する全てのメタデータと共に保存できるが、このメタデータへのアクセスは、AXON Notebook又はサポートされているレビューツールでのみ可能である。これらのツールは、画像をエクスポートし、メタデータをデータベース又はCSVファイルにエクスポートできる。
AXONは、TEM及びカメラとインタラクティブするために、顕微鏡サービス及び可能性のある追加のカメラサービスに依拠することができる。これらのサービスは、行及びカメラコンピュータにインストールされて実行され、AXONアプリケーションと通信する。これらのサービスは、以前はNTシリーズと呼ばれていたMicrosoft windowsシリーズであり、独自のWindowsセッションで実行される長時間実行可能アプリケーションを有効にできるが、それらは、スタンドアロンアプリケーションでもかまわない。これらの顕微鏡サービスは、同じコンピュータで作業している他のユーザに干渉しない、長時間実行されるアプリケーションと同様に機能する。インストール時に、バックグラウンドサービスが開始され、アイコンを作成できる。そのアイコンは、AXONとの接続状態を示すことができる。「接続」機能によって、AXONが起動するまで待機状態になり、TEM OSと画像化OSに到達しようとする。このアイコンをクリックすると、顕微鏡サービス用の小型軽量UIが表示される。このアプリケーションは、「状態」などのペインが複数表示されるが、「診断」と「About」に簡単に切り替えることができる。AXONに接続すると、AXONの接続状態が「接続なし」から「接続済み」に変化することがある。顕微鏡に接続すると、「顕微鏡」の接続状態が「接続されていない」から「接続済み」に変化することがある。
画像監視の観点から、AXONは、画像化セッションを作成したり、条件を更新したりする必要はない。ユーザは、ユーザの固有の画像環境内で画像化条件をセットアップし続けることができ、AXONは、顕微鏡又はカメラサービス内で管理される画像監視プロセスを介して固有の画像を識別する。AXONは、画像化サービスをスクリプトできるようにできるだけ速くイメージをポーリングする。制御システムは、画像が一意であると判定し、プロセスは、各ピクセルの強度を、関連するすべてのメタデータを含むビットマップにコンパイルする。次に、制御システムは、そのパッケージを顕微鏡サービスからAXONメインアプリケーションに送る。パッケージが送信されると、プロセスは、ポジショナーの更新のように、必要に応じてTEM行に変更を命令する。しかしながら、AXONの機能及び対象は、ネイティブ画像化環境における画像化セッションのセットアップのみに限定されず、一実施形態は、画像化セットアップの制御を可能にするソフトウェアを含むことができる。
AXONは、このビットマップパッケージを受け取り、画像監視プロセスの設定を適用して、未加工のビットマップピクセルをユーザの設定に合わせてスケールする。スケーリングされていないビットマップは通常、非常に平坦であり、非常に暗く、あまり目に見えない。ユーザが「ヒストグラム」、「最小-最大」、及び「なし」のいずれかを選択する設定において、画像正規化オプションは、いくつか有する。デフォルトの設定は「ヒストグラム」である。ユーザは、ヒストグラムの下側フラクションと下側のピクセル強度、及び上側のフラクションと上側のピクセル値を設定できる。正規化されると、プロセスは、必要な画像処理によってビットマップを実行する。解析と並行して、処理は、ビットマップをロスレスPNG、又はその他のファイル種類に変換し、イメージバッファに保存する。スケールされた画像のみが変換され、元のビットマップは失われる。
AXONは、フル解像度画像で動作することができるが、計算のために画像を破棄することができる。このアーキテクチャは、OpenCVなどのサードパーティライブラリを利用できるローカル環境で画像処理を実行できる。このプロセスは、単一取得、連続取得、STEM、及びTEMモードに対して機能する。それは、ユーザが「検索」、「表示」、「プレビュー」又は「取得」の何れかによって、それらのネイティブ画像化環境の中で画像化セッションを設定することを要求する。接続されている場合があるが、AXONソフトウェアにおいて、画像は、表示されない。これらの場合において、AXONは、なぜ画像が表示されていないかを示すダイアログでユーザに警告する。これは、以下の場合、すなわち、カラムバルブが閉じられている場合、ビームがブランクされている場合、及びスクリーンダウンされている場合の下で取り扱われる。ドリフト制御は、いくつかの例において、X/Y平面内の移動に対する補正を含むことができるが、高さ又は焦点の変化は含まない。
ポジショナーの階層に関して、AXONシステムは、ポジショナーの階層上に構築される。超微細移動は、デジタル登録を解除するためにビーム移動がトリガされる閾値に当たるまで、デジタル登録を介して処理することができる。最終的には、ビームの移動がステージの移動をトリガすることによっても解除される。ピエゾは、互換性のあるTEMカラム上で利用することができる。デジタル登録の一例は、ピクセルをシフトし、視野のエッジをクロッピング、不鮮明に、又はフィルタリングすることである。わずかなパーセンテージのデジタル登録を可能にすることによって、AXONソフトウェアは、TEMビーム又はステージの移動を常にトリガすることなく、試料のシームレスライブビューを提供することを可能にし、関心領域を一貫した状態に保ち、画像の裂け目及びシャドウイングを防止する。ビームの移動は、TEMモードとSTEMモードとの間で異なり、AXONソフトウェア内で利用可能な最も微細な物理的移動である。画像に適用されるデジタル登録の量を減らすことができる任意の物理的な移動は、試料をセンタリングするために行われる。ビームが位置合わせされた位置から更に移動すると、画質が悪くなり、全体的なコントラストが低下し、エッジはTEM及びSTEMモードにおいて、勾配ビームシフトが少なくなり、あまり遠くに移動しすぎる場合、画像が劣化する結果となる可能性がある。AXONは、ステージの解像度と倍率が可能なとき、ステージを通るビームの移動を解除するように操ることができる。ビームの解除は、AXONソフトウェアを介して手動で自動的にトリガすることができる。ビーム位置は、ビームのX、又はY位置のいずれか大きい方を反射するインジケータを介して追跡することができる。自動解除が可能であり、倍率が十分に低いときに自動解除をトリガする、そのインジケータ上に描かれたスライディング閾値が存在し得る。
一実施形態において、ドリフト補正プロセスは、以下のステップを含むことができる。中央不鮮明の後、プロセスは、デジタル登録をライブ画像に適用する。デジタル登録は、ドリフト補正された画像シーケンス内の各フレームに適用されるが、ソフトウェアは、下側インジケータ内でトグルされたとき、ライブビュー内で見ることができる別個のフォルダ内に、未加工の変更されていない画像を同時に保存する。デジタル登録のみが適用される場合、提示され、保存される未加工の画像又はドリフト補正画像には画像スキップはない。デジタル登録が「調整閾値」設定によって固定又は設定することができる割合、閾値にヒットした場合、システムは、物理的移動をトリガする。より大きい又はより小さい「調整閾値」設定が好ましいアプリケーションがある。より大きい設定がより少ない物理的移動及び画像スキップで、より許容可能なデジタル登録を与えることができる。より小さい設定はより少ないデジタル登録で、より頻繁に移動することができ、結果として、ネイティブ画像化アプリケーション並びにAXONにおいてよりセンタリングされた試料をもたらす。これはEEL、EDS又は他の解析技術で作業する場合に好ましいことがある。物理的移動がトリガされた場合、AXONは、ポジショナーの移動の大きさ及び解像度に応じて、どのポジショナーを使用するかを判定するために、「顕微鏡プロファイル」を見る。AXONは、ポジショナーの解像度が必要な移動よりも小さい場合、常に、最も粗い利用可能なポジショナーにデフォルト設定することができる。必要な移動が20nmで、ステージの解像度が25nmの場合、次の微細ポジショナー、つまりビームのデフォルトになることがある。しかしながら、必要な移動が30nmである場合、ステージは、トリガされたポジショナーであってもよい。ステージがデフォルトのポジショナーである場合、制御システムは、自動的にビームを0,0に解除することができる。物理的移動の方向は、座標変換校正からのマトリックス位置合わせによって判定される。移動の大きさは、MAG*I*CALなどの一般的な技術を使用して、TEMサービスエンジニアによるカメラ又は検出器の校正に依存している。
ドリフト補正画像シーケンスにおいて、物理的な移動がトリガされるとき、次の画像は、ライブビューにおいてスキップされ、ドリフト補正された画像シーケンスに保存されない。未加工の画像シーケンスに保存され、全ての画像は、常に未加工の画像に保存される。制御システムはまた、「顕微鏡プロファイル」からの最小移動時間及び移動ペースを見て、画像更新速度が必要なポジショナーを移動させるのに要する時間よりも短い場合に追加の画像をスキップする必要があるかどうかを判定する。ポジショナーが物理的に移動している間に画像をスキップすることは、ドリフト補正登録に因数分解する破損した又は影のある画像を防止し、補正された画像シーケンスを通してスクラビングをより管理しやすくする。全ての画像は常に「未加工の画像」に保存され、ユーザは、ライブビュー及びAXON Notebook内の同じ時間シーケンスのために、これらの2つのビューの間で常にトグルすることができる。ドリフト補正処理は、TEM上のユーザ割り込みを介して継続する。ソフトウェアは、TEMカラム、カメラ、及び検出器に対する更新をリッスンして、画像を登録するために新しいテンプレートをいつ把持するかを判定する。
AXONシステムは、倍率の変更、画像の物理的サイズの変更、ピクセル領域の変更、破棄の変更、取得時間の変更、ドウェル時間、露出時間又は積分時間、有効化されたゲイン補正、有効化されたバイアス補正、アルファ傾きの変更、ビーム、ステージ、ベータ傾きの変更、ビーム、ステージ(フュージョン選択のような行によって制御される場合にのみ読み取り可能)、明るさの変更、コントラストの変更、コントラスト角度の変更、Zステージの変更、デフォーカスの変更、AXON内の関心領域サイズの変更などのイベントが発生した場合に、自動的にドリフト補正処理を継続することができる。
AXONシステムは、ドリフト補正を一時停止し、次のイベント、すなわちビームブランク、閉じたカラムバルブ、及びスクリーンダウンが発生したとき、ドリフト補正を自動的に再開する前に、更新された状態まで待機することができる。制御システムは、ステージX/Y移動、ビームX/Y移動といったイベントが発生したとき、ユーザと「ファイト」しないようにドリフト補正を一緒に停止することができる。その上、テンプレートに対するFOVの相関マッチが「相関失敗閾値」を超える場合、ドリフト補正は、プロセスを停止することができる。デジタル登録が関心領域を妨害する場合にもプロセスを停止することができる。ドリフト補正登録は、ダイナミックな試料を収容することができる。これは、インサイチュ試料に有利であるが、ビームが材料と相互作用するか、又は領域軸が変更することにつれて「静的」な試料が変更する場合でさえも有利である。実行中のフィルタを元のテンプレートに適用して、現在の画像のようにモーフィングすることができる。このフィルタの積極性は、「テンプレートモーフィングファクタ」設定によって固定又は設定することができる。より高い設定は、現在の画像により似た登録テンプレートをもたらすことができる。これを行うことは、ドリフト方向に関心領域をゆっくりと移動させることができるが、これは変化する試料に適応するために必要であり得る。あまり変化しない画像では、関心領域を一貫性のあるものに保つためにテンプレートモーフィングファクタを低く保つことが有利であり得る。テンプレートのモーフィング設定は、試料がどの程度ダイナミックであるかを参照して、多くの方法で視覚化できる。これは、変数、スライダー、固定設定、又はその他の種類のインジケータを指定できる。
ドリフト補正は、テンプレートがモーフィングされたテンプレートである画像全体にわたるそのサイズのあらゆるピクセルアレイに対する関心領域の相関マッチを実行することができる。次に、登録は、関心領域ボックス内の最も高い相関スコアを有する領域をデジタル的にセンタリングする。関心領域は、ソフトウェア内の画像上の形状オーバーレイによって境界を定めることができる。「背景補助」は、関心領域の優先順位付けを継続するとともに、他の独立した関心領域を管理し、全体的な方向性を判定する、設定を介して「背景補助」をオンにする選択肢を含む。
ドリフト制御仕様に関して、画像化条件が予想されるドリフトレートに対して適切であるとき、AXONは、X、Y、及びZで補正することができる。独自のシステムを使用するとき、「実験優先順位付け」は、現在の画像化条件のための適切なランプレートを自動的に設定するのを助けることができる。しかしながら、ドリフトが独自の加熱Eチップによるものでない場合、画像化条件の調整が必要になる場合がある。制御システムが見かけのドリフトに追従できない場合、制御システムは、倍率又は画像サイズを低減すること、及び画像取得レートを高速化すること、という動作を行うことができる。
ドリフト補正がアクティブなとき、焦点補助は、AXONの画面表示の左側のバーからトリガ可能なプロセスである。焦点の関心領域は、ライブビュー上にオーバーレイされた形状によって制限される。この関心領域は、ドリフト補正の関心領域内で移動可能であり、限界内でサイズ変更可能である。同じ関心領域が比較のスコアリングにおいて解析されることを保証するために、ドリフト補正がアクティブでない限り、焦点補助は、実行しない。この処理の主なツールは、顕微鏡の焦点品質スコア及びデフォーカス調整である。ステージの移動は、解除イベント中に必要とされるが、大部分の顕微鏡上のZステージポジショナーの信頼できない性質のために、より大きな移動のために自動的に係合されるわけではない。ピエゾ制御は、互換性のある顕微鏡でもサポートすることができた。
焦点品質スコアは、以前のスコアの履歴なしに、各画像に適用されてもよい。このスコアは、数値スコア及び相対的な商の両方としてより低いインジケータに報告される。デフォルトのスコアリング距離があるが、ユーザは、焦点補助設定「焦点スコアアルゴリズム」によって、以下のスコアリング距離の中から選択することもできる。各アルゴリズムは、特定の画像化条件及び試料に対して利点を有する。分散は、画像フィルタを適用した後の平均からの差の二乗和をとることによって画像の分散を計算する。逆分散は、大きな値/分散として計算され、これは減少した分散が好ましい逆プロファイルに使用される。ノルム分散は、分散を取り、平均ピクセル強度で除算し、全体の強度の変化を正規化する。逆ノルム分散は、大きな値/ノルム分散として計算され、これは減少したノルム分散が好ましい逆プロファイルに使用される。ノルム分散2は、分散をとり、全体的な強度の変化に対する正規化に重点を置いて平均ピクセル強度で除算し、飽和ピクセルのグループをより良く扱う。逆ノルム分散2は、大きな値/ノルム分散2として計算され、これは減少したノルム分散2が好ましい逆プロファイルに使用される。勾配は、画像フィルタを適用した後、画像から導出された勾配行列の二乗和の平方根をとることによって、画像の勾配を計算する。逆勾配は、大きな値/勾配として計算され、これは減少した勾配が好ましい逆プロファイルのために使用される。勾配2は、勾配スコアに第2のフィルタを適用して、エッジを強調し、バックグラウンドの影響を低減する。逆勾配2は、大きな値/勾配2として計算され、これは減少勾配2が好ましい逆プロファイルに使用される。ラプラシアンは、画像から導出されたラプラシアン行列の二乗和の平方根に基づく。逆ラプラシアンは、大きな値/ラプラシアンとして計算され、これは減少したラプラシアンスコアが好ましい逆プロファイルに使用される。最大ラプラシアンは、不鮮明なラプラシアン行列の最大値である。逆最大ラプラシアンは、大きな値/最大ラプラシアンとして計算され、これは、減少した最大ラプラシアンスコアが好ましい、逆プロファイルに使用される。追加のスコアリング距離は、FFTのCTF解析から導出することができる。
焦点品質スコアは、各画像に適用され、以前のスコアの履歴はない。焦点の商は、現在のスコアを記録された最良のスコアで割ることによって履歴を提供する。焦点の商は、より低い印バー中に相対的な焦点品質を示すため、及び必要な移動の大きさを判定するために使用される。これは、ユーザ及びソフトウェアに、焦点がその最良の可能な焦点の品質とどの程度良好に比較されるかを伝える。この焦点の商の履歴は、各ドリフト補正テンプレート更新時にリセットされ、TEM上での任意のユーザインタラクティブを考慮する。炭素汚染によるコントラストの減少を含む、最良の可能な焦点スコアが変化し得る理由は、多くの理由がある。これは、より長いドウェル時間を用いたSTEMモードにおいて悪化し、形態は、試料がインサイチュ刺激又はビームに反応することにつれて変化し、形態は、試料の相対軸が回転することにつれて変化する。これらの場合を考慮するために、フィルタは、焦点の商に適用され、焦点の商を現在の画像にモーフィングする。このフィルタの積極性は、固定することもできるし、「焦点スコアモーフィングファクタ」の設定によって設定することもできる。焦点の商が最良の可能な焦点スコアよりも大きいときはいつでも、スコアは、1にリセットされる。焦点の商が1であるとき、AXONシステムは、画像が可能な限り最良の焦点にあると判定する。それが0に近づくにつれて、画像は、オーバー又はアンダーにかかわらず、ますます焦点が外れる。焦点アシストが開始されるとき、焦点の商は、1から始まり、新しいテンプレートが作成されるときはいつでも、又は測定された焦点品質スコアがモーフィングされた最良の可能性を超えるときはいつでも、1に戻る。これらの値は、スケーリング又は補間することができる。
デフォーカス調整において、焦点補助がアクティブな状態である間、AXONは、1枚おきの画像と最小移動時間後の画像のどちらか長い方にデフォーカス調整を行う。応答の方向と大きさについてサンプリングしたとき、これは、画像が中間焦点調整されないようにする。移動の方向は、AXONが方向の信頼度及び焦点がより悪い確率を解析するファジー論理テーブルによって判定することができる。方向信頼度が低く、焦点の商が減少するとき、プロセスは、方向を逆にすることができる。焦点の商が増加するとき、プロセスはその方向に継続することができる。方向が正しいという信頼性が高いとき、プロセスは、試料がコントローラを上回るとき、リバーサルを防止するために、品質スコアの低減に焦点を合わせることに対して、より弾力的である。
デフォーカス調整の大きさは、方向に関係なく、焦点の商及び焦点校正から判定される。焦点の商が減少するにつれて、応答のサイズは、増加する。高い焦点の商は、ユーザが変化を知覚することができないほど十分に小さいデフォーカス調整をもたらすが、サンプリング統計は、焦点品質を改善し続けることができる。焦点校正は、所与の焦点の商に対する必要なデフォーカス応答を判断するための制御システムのための参照を提供する。
Z(焦点)補正は、常にビーム(デフォーカス)をデフォルトにし、ステージ又はピエゾ制御装置を自動的に移動させないことがある。これは、ステージが非常に信頼性が低く、ノイズが多く、変化するヒステリシスを有するためである。制御システムは、X/Y解除のように、ビームを解除できる。これは、インジケータ上のスライド閾値を介して自動的にトリガすることができ、解除ボタンによって手動でトリガすることができる。Z解除がトリガされるとき、制御システムは、ステージをビーム位置の方向にステップさせ、次いで、試料の再度焦点を合わせてもよい。このプロセスは、ビーム位置がZステージの解像度より小さくなるまで続く。各ステップは、顕微鏡プロファイルにおけるステージ解像度によって判定される。これらの移動は、ビームとステージ、又はビームとピエゾが1回の移動で反対方向に移動するようにセットアップすることができる。このプロセスは、ステージに対してピエゾを解除するためにも使用することができる。
実験の優先順位付けは、AXONから開始された、互換性のある独自のClarityソフトウェア、又は他の任意のインサイチュソフトウェアへのランプレート制御を含むことができ、Clarityソフトウェアは、依然としてAXONの外部で独立して実行される。前述のように、一実施形態において、本明細書で説明する制御システムは、商品名Clarity(以下、「Clarityソフトウェア」、「Clarity」、「制御システム」、又は単に「システム」と呼ぶ)によって提供されるソフトウェアパッケージソフトを含むことができる。セッション種類は、インサイチュソフトウェア製品互換性がある。これらのセッション種類は、AXONとAXONとにメタデータを同期する、対応するインサイチュソフトウェア間の双方向接続を開始し、推奨ランプレート、開始、停止、一時停止、及び再開コマンドをインサイチュソフトウェアに送信する。AXONは、温度変化によって良好に焦点を合わせ、一時停止/再開を自動的に開始するために、安定した関心領域の機会を高めることができる、インサイチュソフトウェアアプリケーション内の最大ランプレートを通信することができる。AXONは、TEM画像化セッションへの接続時に推奨ランプレートを計算し、ドリフト補正又は焦点補助がアクティブであるかどうかにかかわらず、状態が変更するときはいつでも更新する。AXONは、ドリフト補正及び焦点補助中にこの勾配レートを更新し、パフォーマンスを最適化する。
AXONは、ビーム補助がアクティブである間、焦点品質が閾値を下回る任意のとき、不安定な状態を防止するために、自動的に休止し、熱ランプを再開することができる、(a)焦点の商が固定値、又は設定「実験を休止する閾値」を下回る任意の間、ランプは、休止することができる;又は(b)焦点の商が固定値、又は設定「実験を再開する閾値」を上回る任意の間、ランプは自動的に再開することができる;ドリフト補正がアクティブである間、デジタル登録は、閾値を超える、(a)デジタル登録が固定値、又は設定「実験を休止する閾値」を上回る任意の間、ランプは、休止することができる;又は(b)デジタル登録が固定値、又は設定「実験を再開する閾値」を下回る任意の間、ランプは、自動的に再開することができる;X/Yにおいてビームを解除する任意のとき;及び、Zにおいてビームを解除する任意のとき。
制御システムが自動休止をトリガするときはいつでも、Clarityアプリケーションは、「AXONによって保持される」という推奨ランプレートの隣のテキストで、クラリティアプリケーション内のユーザに警告することができる。このふるまいは、一時停止及び再開コマンドの代わりに、徐々に減少するランプレート及び一時停止/再開が好ましいように構成することができる。双方向接続は、AXON及び対応するクラリティ製品のUI要素をトリガする。
AXONにおいて、「実験の開始」、「実験の停止」、「実験の保持」、「実験の再開」の選択肢が提供される。更に、フュージョン選択、Poseidon選択、及びAtmosphere 210などのインサイチュソフトウェアの完全なワークフローを、AXONユーザインターフェースに持ち込むことができる。製品アイコン、製品名、接続状態、実験を開始する再生ボタン(又はターゲットを適用する)、ランプを一時停止又は再開する一時停止/再開ボタン、試料又は試料サポートへの実験を安全に切断するための停止ボタン、及び現在の実験状態(アクティブ、非アクティブ、自動ホールド、ユーザホールド)を詳述するインジケータバーの右下隅の接続インジケータである。(3)接続及び実行状態に関する追加通知である。(4)セッション種類に応じたライブビューのデフォルトオーバーレイである。
インサイチュソフトウェアにおいて、以下のオプションを提供することができる:(1)接続状態-AXONとラベル付けされ、接続状態を報告する。(2)AXON推奨ランプレートテキストと、チャネルAから熱実験を実行しているとき、ランプレートの直下にラベルが付いた計算値。(3)推奨ランプレートのすぐ隣に自動保持が適用されたとき、ユーザに警告するテキスト。
顕微鏡サービスに関して、AXONは、視野サイズ、調整閾値設定、取得時間、及び最小移動時間から、最大補正可能ドリフトレートをum/msで計算する。これは、必要な焦点調整を行うのに十分な情報が得て、X/Y補正の安定性が保証することを可能にする。試料又は試料サポートからの電力読み取りは、より低い温度でより積極的な傾斜を可能にし、最大のdT/dPセクションにわたって減速することができる。Eチップはまた、新しいチップが導入されるとき、異なるふるまいを描写するために使用され得る。
AXON同期は、プロセスの複数のステップによって追加された対応するメタデータを介して全ての同期された少数のデータストリームを管理する。セッションバッファ内の画像は、ネイティブ画像化OS(例えば、TIA又はGatan)、カラムOS(例えば、TFS又はJEOL)(TFS又はJEOL)、及びインサイチュシステム(例えば、Protochips)からのメタデータとともに保存される。画像は、数個のフォルダの間で画像バッファに編成され、関連するメタデータとともに全て保存される。これらの画像は、一時バッファから永久フォルダにエクスポートでき、このプロセスの各ステップによって、追加された全てのメタデータの.csvログファイルとともにエクスポートされる。メタデータは、画像サービスの中で画像監視プロセスとともに始めることができる。画像監視プロセスは、各固有の画像をビットマップとしてグラブし、ネイティブ画像化OSから関連するメタデータを添付することができる。次に、顕微鏡サービスは、ビットマップメタデータに全ての関連パラメータを追加し、RESTfulサービスを介してパッケージをAXONに送信する。そのビットマップは、ロスレスPNGに変換され、メタデータは関連するインサイチュメタデータと合わせられる。そのロスレスPNGは、セッションバッファの「未加工の画像」フォルダに編集されずに保存される。ドリフト補正プロセスが実行されている場合、その画像は、デジタル登録プロセス後にセッションバッファの「ドリフト補正済み」フォルダに全てのメタデータとともに保存される。画像が連続画像ストリームではなく単一の取得としてフラグが設定されていた場合、未加工の画像は、再びセッションバッファの「単一の取得」フォルダに保存される。
AXONセッションバッファは、AXON Public Documentsディレクトリから先入れ先出しの優先順位で動作するように設定できる。制御システムは、セッション毎にフォルダを作成し、セッション毎に「ドリフト補正済み」、「未加工」、「テンプレート」、「単一の取得」を区切る。バッファサイズがその最大限度に近づくにつれて、最新の画像のための余地を作るために、最も早い画像が除去される。これらのセッションフォルダは、バッファ内にそのセッションからの画像がある限り保持されるため、アクティブなセッションがバッファ制限を超えない場合でも以前のセッションに永続的にエクスポートされていない場合、以前のセッションは、引き続きアクセスできる。画像は、このフォルダから手動で画像を移動したり、AXON Notebookを使用してエクスポートしたりすることができ、各画像は、全ての関連するメタデータと共に保存されるが、このメタデータへのアクセスは、画像がエクスポートされ、CSVファイルが作成されるまで、AXON Notebookからのみ可能である。AXON Notebookは、このファイル構造を参照し、アプリケーションでのナビゲーションを容易にするためにこの編成を必要とする。全ての画像は、ネイティブ画像化ソフトウェアから取得したフル解像度でバッファに保存されるが、必要に応じて破棄することもできる。画像バッファから永久ディスクにエクスポートされた全ての画像は、フル解像度で保存される。ユーザは、バッファを自分の好みに最大化するために、各タイプの画像シーケンスを保存することをオン/オフすることができる。画像バッファは、提示された画像取得レート及び画像保存オプションに応じて、範囲の間をカバーすることができる。画像更新レートが100msであり、未加工の画像及びドリフト補正された画像の両方が保存可能である場合、画像バッファは、同じくらい小さくすることができる。しかしながら、画像の更新がより長い場合、画像バッファは、はるかにより長い時間フレームにまたがることがある。制御システムは更に、AXONサーバハードドライブをパーティション分割し、画像バッファのためにハードドライブのブロックを予約し、画像バッファサイズを固定数や固定長時間ではなく、使用可能なメモリに結び付けることができる。
システムは、「データオーバーレイ」及び「画像メタデータ」を有する。「データオーバーレイ」は、ライブビュー画像上のテキストのレイヤーを、ライブビュー内の一意の画像ごとに更新することを可能にする。セッションに適用された任意のオーバーレイは、AXONノートブックに保持され、複数のセッションにわたってそのセッション種類に対して保持される。オーバーレイオプションは、次のカラムを含むプロパティグリッド表によって管理される:
オーバーレイオプションは、以下を含むが、これに限定されない:
商品名AXON Notebookによるセッションレビューツールは、別のインストーラを有する別のアプリケーションとして動作できる。これはまた、AXONメインアプリケーション内から起動することができ、試料の履歴及び以前の形態を参照するために実験中にしばしば使用される。AXON Notebookは、画像のビュー及び管理、顕微鏡とサポートされているインサイチュシステムの両方からのメタデータの表示と管理に使用される。データは、AXONコンピュータからエクスポートされ、他の場所で操られて見ることができる。
AXON NotebookのUIは、高解像度画像を迅速にスクラブし、ソートし、操ることができるように、高解像度画像を効率的に管理する。UIは、右側のアコーディオンヘッダーに配置された、その画像に関連付けられたオーバーレイオプション及びメタデータを持つアクティブ画像によって支配される。画像の下は、ナビゲーションバー:特定の画像にドラッグできるスライダー付きのタイムシーケンススクラバーなど、いくつかの主な機能がある。バーをクリックすると、キーボードの矢印を使用するか、スライダーをドラッグして、画像を順番に並べることができる。(1)最初の画像:セッションの最初の画像にジャンプする。以前の画像:示されているように以前の画像に移動する。次の画像:示されているように次の画像に移動する。最後の画像:セッションの最後の画像にジャンプする。(2)開く:バッファ内の以前のセッション、又はディスクにエクスポートされた任意のセッションを開く。(3)同期:アクティブセッションがまだ画像を保存している場合、ディレクトリをリフレッシュする。(4)トグルビュー:「未加工」、「ドリフト補正済み」、「単一の取得」、「テンプレート」の間で、アクティブな画像を同時に切り替える。任意の瞬間に、最も近いタイムスタンプに保存された他のすべての画像を表示できる。(5)画像名:画像名又は参照。保存:画像とメタデータを永久にディスクにエクスポートする。これは、エクスポートオプションがあるため、画像のエクスポートを管理するための別のウィンドウを開く。メインアプリケーションで使用可能な全ての画像レイヤーは、AXON Notebookと全てのライブメタデータで同様に使用できる。
AXON Notebookは、アクティブなセッション、及びバッファ内にまだあるか、若しくはディスクに永続的にエクスポートされている以前のセッションを表示できる。
AXON Notebookから保存をクリックすると、ソフトウェアは、エクスポートオプションとステータスを与える。エクスポート画像ウィンドウから、ユーザは、目的のフォルダを設定し、AXON Coreサーバから画像をエクスポートできる。USB、又はイーサネットネットワーク、又はクラウドドライブによってリンクされた外部ハードドライブは、ファイルの永続的な保存に使用できる。次に、ユーザは、どの画像をエクスポートするか、及びオーバーレイ有り及び無しでエクスポートするかを選択できる。エクスポートを確定するための「エクスポート」ボタンと、進行を示すステータスバーがある。エラーが発生した場合、通知は、ユーザに警告し、追跡ファイルが自動的に作成される。このプロセスは、画像セッションの実行中にバックグラウンドで実行でき、また、ウィンドウを閉じて実行を継続することもできる。
AXON Synchronicity及び全てのClarity製品は、共に通信する別のアプリケーションとして設定できる。アーキテクチャは、AXON内のアコーディオンワークフローに、Fusion Select、Poseidon Select、及びAtmosphere 210のワークフローを埋め込むように設定される。ワークフローの埋め込みは、「スキニーUI」の実装によって実現される。Clarityアーキテクチャは、パッシブなレポート要素及びワークフローに簡素化できる。ワークフローUIは、製品固有であり、アプリケーションの全ての制御を呼び出す。報告要素は、文字、ステータスペイン、通知、及びガスフロー図でデータを視覚的に描写する。全てのUIワークフロー及びレポート要素は、ネイティブアプリケーション間で分離されており、1つのアプリケーションに対する更新が他のアプリケーションに波及することはない。制御も別であり、1つの製品の作業が他の製品に自動的に波及することはない。メンテナンスを二重化せずにワークフローを埋め込むことは、新しい「スキニーUI」からワークフローが引き出されるように、製品固有のソフトウェアを再構築することを必要とする。AXONは、この「スキニーUI」も参照する。ユーザは、次にネイティブ製品固有のアプリケーション又はAXON内のワークフローのいずれかを、ワークフローに変更を加えずに実行できる。
様々な実装形態で提供されるいくつかの例示的な焦点アルゴリズムは以下を含む。焦点品質スコア:この品質スコアは、各画像に適用され、以前のスコアの履歴はない。このスコアは、数値スコア及び相対的な商の両方としてより低いインジケータに報告される。デフォルトのスコアリング距離がある一方で、ユーザは、焦点補助設定「焦点スコアアルゴリズム」によって、以下のスコアリング距離の中から選択することもできる。各アルゴリズムは、特定の画像化条件及び試料に対して利点を有する:デフォルト:STEMモード:ノルム分散2;及びTEMモード:逆勾配2;分散:画像フィルタを適用した後に平均から二乗された差の合計を取ることによって画像の分散を算出する;逆分散:減少した分散が好ましい反転プロファイルに使用される多数/分散;ノルム分散:分散を取って、平均ピクセル強度で除算し、全体強度の変化を正規化する;逆ノルム分散:減少したノルム分散が好ましい反転プロファイルに使用される多数/ノルム分散;ノルム分散2:分散を取って、平均ピクセル強度で割る。全体的な強度の変化を正規化することに、より重点を置き、飽和したピクセルのグループをより良くハンドリングする。逆ノルム分散2:多数/ノルム分散2であり、減少したノルム分散2が好ましく、反転プロファイルに使用される;勾配:画像フィルタを適用した後、画像から導出される勾配マトリックスの平方根を取得して、画像の勾配を算出する;逆勾配:多数/勾配であり、減少した勾配が小さく、反転プロファイルに使用される;勾配2:エッジを強調してバックグラウンドの影響を小さくするために、勾配スコアに2番目のフィルタを適用する;逆勾配2:多数/勾配2であり、減少した勾配2が好ましく、反転プロファイルに使用される;ラプラシアン:ラプラシアンは、画像から導出されたラプラシアンマトリックスの2乗の合計の平方根に基づく;逆ラプラシアン:減少したラプラシアンスコアが好ましく、反転プロファイルに使用される多数/ラプラシアン;マックスラプラシアン:不鮮明なラプラシアンマトリックスの最大;及び逆マックスラプラシアン:減少したマックスラプラシアンスコアが好ましく、多数/マックスラプラシアンであり、反転プロファイルに使用される。
制御システムは更に、これらの焦点スコアのスケールの正規化を提供して、異なる試料領域及び倍率にわたってより容易に解釈されるようにすることができる。制御システムは、正規化されたスケールに対して再焦点の点を推定するように動作することもできる。制御システムは、焦点スコア及びZ変化の大きさの各倍率における校正に基づいて、自動焦点又は再焦点ルーチンを生成することができ;これは、有利に焦点をできるだけ少ない移動で見つけることを可能にすることができる。
本開示の主題の様々な実施形態によれば、制御システムは、全ての補正によって焦点内の試料を保つように動作することができる。制御システムはまた、視覚制御ツールによって関心領域の自動焦点合わせを可能にすることができる。制御システムは更に、必要なときにのみ、実験の再焦点合わせによって、主な関心領域の焦点を常に監視することを提供することができる。これを達成するために、制御システムは、視野内に同じ対象を維持するように動作することができる。制御システムは、焦点エンベロープに注目して、ユーザによって編集可能な、簡単なインジケータハンドルを介して、これらの再焦点ポイントを調整可能にすることができる。制御システムは、「理想的な焦点」に対してバー形状又は適切な他の形状のインジケータとして、制御システムによって正規化され、グラフィカルユーザ表示上に表示される焦点スコアを提供することができ、その結果、焦点は、超える又は下回る焦点状態で容易に操ることができる。
いくつかの実施形態において、戦略的再焦点の点にわたるデフォーカスの連続的な調整を使用することが有利である。デフォーカスを連続的に調整するために、焦点スコアは、現在の焦点スコアを最後のテンプレート以降の最良のスコアに対して割ることによって正規化される。正規化された焦点スコアは、対象の同じセット上で実行される必要があるため、ドリフト補正テンプレートが更新される任意の時に、新しいテンプレートが使用される。正規化されたスコア及び顕微鏡の校正は、デフォーカスをどこまで移動できるかを設定する。スコアが低ければ低いほど、デフォーカスが移動することができ;あるいは、スコアが高ければ高いほど、デフォーカスの調整は、0に近づく傾向がある。これは、ユーザに試料を改善することによってアルゴリズムと手動でインタラクティブすることを可能にし、スコアの増加は、意味のある移動をもたらすことができない。任意の減少するスコアは、最終的に方向を逆転させる決定に因数分解される。動的な試料を考慮するために、焦点スコアは、バンプフィルタを介してモーフィングされるが、最良のスコアを現在のスコアにより近づけるための任意の他の種類のフィルタが機能する。その上、正規化されたスコアは、画像対画像ノイズについてフィルタリングされる。
現在開示されている主題の様々な実施形態によれば、制御システムは、ビーム、ピエゾ及びステージ制御を使用して、Z軸制御を階層化することを提供することができる。ビーム制御は、しばしば「デフォーカス」と呼ばれる。制御システムは、必要なスケールに応じて、右側のポジショナーを更に自動的にピックして動かすことができる。制御システムは更に、必要に応じて、全てのより小さな移動を0に解除することができる。例えば、大きな移動が必要な場合、制御装置は、ステージを正しい位置に移動させ、ピエゾ及びビームをゼロアウトすることができる。一実施形態において、インジケータを使用して、電気的に中性(好ましい)からのビーム位置を、トリガ点を用いて示すことができ、ステージ又はピエゾの移動によってビームを電気的に中性に解除し始める。我々は、X、Y、Zのために、本日のソフトウェアでこれを行う。
制御システムは、ビーム制御が画像に悪影響を与えたり、スティグメーション(stigmation)を導入したりしないように、「デフォーカス」制御に対するユーザ指定の限界を提供することができる。これは、位置合わせから離れすぎて撮影された場合、X、Yビーム制御の場合にも当てはまる。
様々な実施形態において、校正を使用して、ドリフト補正の性能を向上させ、アプリケーションにかかわらず正確な移動を保証することができる。例えば、いくつかの実施形態において、制御システムは、カメラ、検出器、ポジショナー、及びインサイチュ制御パラメータをリンクする校正の高度なセットを使用することができる。また、制御システムは、これらの校正に対して性能を常に監視することができ、校正自体を改善することができる。一実装形態において、各ポジショナーに対する各倍率で各検出器のために校正をセットアップすることができる。これらの校正は、回転オフセット、画像タイミング及び倍率の焦点エンベロープを決定することに役立つ。各ポジショナーは、バックラッシュ、移動限界、及び移動タイミングを定量化できる校正を持つことができる。制御システムは、ホルダー固有の校正を行うことができる。例えば、一実施例において、制御システムは、「顕微鏡プロファイル」を生成し、ここで、顕微鏡並びに全てのその関連する画像化システムへの接続が確立される。単一の顕微鏡は、異なる画像化環境及び検出器を有することができ、それらの各々は、それぞれの校正から有利さを得る。各顕微鏡プロファイルは、特定のセットの設定、ポジショナー能力、及び互換性のある画像化システムを有することができる。ポジショナーの能力は、好ましい移動範囲、利用可能な全範囲、解像度、ヒステリシス、最小移動時間及び移動ペースを含むことができるが、これらに限定されない。各ポジショナーは、TEMビーム、STEMビーム、ステージ、及びピエゾを含めて特徴付けることができる。各ポジショナーは、X平面、Y平面、及びZ平面において特徴付けることができ、適用可能な場合/ときに、アルファ(x)傾き又はベータ(y)傾きに関しても特徴付けることができる。これらの能力は、自動化された試験手順又は手動で入力された値を用いた手動試験によって特徴付けることができる。各互換性を有する画像化システムは、TEMからの報告値からの回転オフセット及びnm/ピクセルデルタを特徴付ける特定のセットの座標変換を必要とし得る。これらの校正は、とりわけ、画像化システム毎、検出器毎、カメラ毎、ポジショナー毎、及び/又は倍率毎に保存することができる。倍率レベルのそれぞれに対して利用可能な校正を有することは必須ではない;制御システムは代わりに、その画像化システムによって実行される所与のイメージャー上の所与のポジショナーの最も近い校正された倍率を探すように構成又はプログラムされ得る。焦点ステップサイズ校正を使用して、最良の能力を有する、又は最良の能力を有するフィルタされたバージョンからの所与の焦点スコアに対して、デフォーカス、zステージ、又はzビームをどこまで移動させるかを特徴付けることができる。焦点校正は、他の間にある、画像化システム毎、カメラ毎、検出器毎、加速電圧毎、及び倍率毎の集束角度毎に、編成することができる。全ての倍率で校正を行う必要はなく、制御システムは、その収束角度、又はその加速電圧に対して最も近い校正された倍率を探すことができる。
ホルダー固有の校正は、特定のホルダーが容易にナビゲーションできるように、画像原点、X、Y、及びZをユーザに提供するのに役立つ。ホルダー固有の校正は、例えば、1℃の温度変化に関連するドリフト速度、及び加熱又は冷却ホルダーのためのランプレートといった、期待される移動モデルを含むこともできる。一実施形態において、加熱は、気体又は液体中での加熱といった、任意の他のインサイチュパラメータと組み合わせることができる。制御システムは、これらの校正を各セッションで実行するようにすることができ、代わりに、制御システムは、校正値が校正データベースに記憶され、定期的に検査されることを可能にすることができる。
本開示の主題の様々な実施形態によれば、制御システムは、実験を自動化できる。また、制御システムは、実験を最適化するように適応するユーザ割り込みを用いてシームレスに動作することができる。制御システムは、全てのポジショナーの視野、X、Y位置、全てのポジショナーのZ位置、ホルダーのアルファ及びベータの傾き、並びにイメージリフレッシュレートを常に測定して、任意のユーザ介入にフラグを立てることができる。次に、制御システムは、ユーザに対してではなく、ユーザと協働するように適切に動作することができる。例えば、一実施形態において、X/Yドリフト補正は、ユーザがZ位置を変更したとき、実行し続けることができ、焦点は、依然としてスコア付けすることができるが、ユーザがZ位置をアクティブに変更している間に自動焦点することはできない。予想されるベクトルの外側の任意のポジショナーのX/Y変更は、ユーザが新しい関心領域に関心があることを意味する可能性があり、それによって、制御システムは、ドリフト補正を一時停止又は停止するように進むことができる。イメージリフレッシュレートは一般に、ユーザがステム内のドウェル時間又はカメラの露出時間を変更した結果であり、例えば、熱ランプレートといったインサイチュ刺激に対する変更を必要とすることがあり、ドリフトを補正したほうがよい。制御システムは、インサイチュ刺激に対するそのような変化を提供することができる。アルファ及びベータの傾きの変更は、継続的なドリフト補正及び自動焦点を保証することができ、制御システムは、必要に応じて、そのような継続的なドリフト補正及び自動焦点を提供することができる。
本開示の主題の様々な実施形態によれば、制御システムは、顕微鏡上で検出された割り込みに応答して起動することができ、インサイチュ刺激、顕微鏡、カメラ、又は検出器のためのトリガ機能を提供することができる。例えば、制御システムは、ユーザが手動で試料の焦点を合わせようとしている間、インサイチュ刺激の熱ランプレートを減らすか、又は一時停止するように動作することができる。
本開示の主題の様々な実施形態によれば、制御システムは電流、温度、及び流量などのインサイチュ制御入力を減衰させるためのフィードバックを提供することができ、主な関心領域の損失を防止する。MEM技術は、1000℃/msの温度傾斜といった試料環境への非常に急速な変化を可能にし、これらの急速な変化は、試料を視野の外側に押し出すことができる。ドリフト補正を実行している間に達成可能な最大熱ランプレートは、関心領域サイズ、ポジショナータイミング、画像更新レート及び期待ドリフトレートといった側面から、制御システムによって計算することができる。この減衰は、膜のバックリングによりZ変曲が予想される特定の事例に対しても、制御システムによって自動化することができる。また、X、Y軸のドリフト補正は、ナノスケールのバックリングが単に上下(すなわち、Zのみではない)ではなくX、Yに移動することができるため、バックリングを克服するために必要とされることがある。
これは、加熱環境に限定されない。機械的プロービング、電気的プロービング、加熱、冷却、圧力変化、又は流体環境内での試料の画像化などの様々なインサイチュ刺激は、減衰を必要とする突然の移動を発揮し得る。制御システムは、有利にそのような減衰を提供することができる。
様々な実施形態によれば、制御システムは、関連する顕微鏡制御及び試料刺激を単一のユーザインターフェースに組み合わせることによって、実験を更に単純化することができる。
全てを単一のユーザインターフェースにすることは、要求事項ではないことに留意されたい。代わりに、画像又は顕微鏡パラメータモニタリング上のライブ解析がインサイチュ制御システムにコマンドを発行できるように、アプリケーション間の通信方法をセットアップすることができる。例えば、AXONとラベル付けされた第1のアプリケーションは、顕微鏡からのライブ画像を解析し、休止/再開コマンドをインサイチュソフトウェアに発行することができる。デジタル登録が閾値(物理的補正がドリフトに追従できない兆候)を超える任意の時、AXONアプリケーションは、刺激を一時停止するために、インサイチュアプリケーションに一時停止コマンドを発行することができる。次いで、デジタル登録が閾値を下回るとき、AXONアプリケーションは、再開するコマンドを送信することができる。同様に、正規化された焦点スコアが閾値(試料が焦点から外れていることの兆候)を下回ったとき、AXONアプリケーションは、一旦閾値を上回ると、インサイチュアプリケーションに一時停止コマンドを発行し、再開することができる。一時停止又は再開コマンドを発行する代わりに、AXONアプリケーションは、物理的補正が適切に維持されるまで、ランプレートを徐々にスロットルすることができる。AXONアプリケーションは、特定の熱実験にランプレートを推奨することもできる。推奨されるランプレート値は、測定された画像取得レート、視野のサイズ、及び使用されている加熱システムに関連するいくつかの予測的なふるまい又は特性から計算することができる。アプリケーションは、実際のふるまいに従ってこの値を更新することができ、ユーザは、ターゲット温度を単に命令することができ、AXONアプリケーションがランプレートを完全に設定し、管理することを可能にする。また、制御システムは、ビームの解除中、又は特定の顕微鏡状態変化中に、休止コマンドをインサイチュソフトウェアに発行することもできる。また、制御システムは、安全上の注意として、TEM内の圧力変化に応じて実験を停止するように構成することができる。
一実施形態において、ユーザが特定の熱ランプレートを可能にすることを助けるために、制御システムは、倍率、アクティブな検出器サイズ、ピクセル解像度、ビニング、ドウェルレート及び露出時間がドリフト補正の能力にどのように影響するかをユーザに示すように動作することができる。制御システムは、ドリフト補正の能力内で安定した画像を保証するために、1つ以上のカメラ/検出器オプション、顕微鏡セットアップ、及びインサイチュ刺激にユーザの優先順位を付けるのを更に助けることができ、ユーザが特定の設定に優先順位を付け、次いで、他の依存的な設定のセットアップを通じてユーザを自動的に又はガイドするのを助ける。例えば、ユーザは、画素解像度、倍率及び熱ランプレートを優先することができ、制御システムはドウェルレート又は露出時間を自動的にピックするように動作することができ、ドリフト補正中に画像を安定して視野内に保持する優先設定を可能にする。再び、これは、圧力変化又は任意の数の顕微鏡パラメータなど、任意の数のインサイチュ刺激に制御システムによって適用することができる。
本開示の主題の様々な実施形態によれば、主な実験サイトに加えて、制御システムは、ドリフトベクトルを使用して二次又は多くの他の画像化サイトの位置を予測するように動作することができる。試料の移動は、しばしば、加熱及び冷却ホルダー上のアクティブな領域全体で同じ方向になる。1つの関心領域に適用されるドリフトベクトルは、制御システムによってアクティブな領域の大部分に適用することができる。ビーム及びホルダーの位置制御により、制御システムは、ソフトウェアユーザインターフェースを介して、実験中に、ユーザが、主なサイト、二次サイト、更には三次サイトの間で容易にトグルすることを可能にすることができる。これらの試料位置は、迅速な制御のために制御システムによってマップに配置することができ、サイトは、試料に対するビーム及び線量効果を定量化するのに役立つ実験的な制御としてキーとすることができる。試料サイトは、X、Y、Z座標のセットであってもよく、代替的に、試料サイトは、画像の対象認識に結び付けられてもよい。
本開示の主題の様々な実施形態によれば、実験を自動化することを助けるために、制御システムは、試料対象、顕微鏡状態、インサイチュ刺激ソース、又はインサイチュ刺激読み取り値に対するいくつかの注目される変更に基づくトリガ機能を開発することができる。更に、制御システムは、ユーザ又は他のソフトウェアが画像解析に基づいて、インサイチュ機能又は顕微鏡設定にトリガを設定することを可能にすることができる。例えば、制御システムは、粒径が特定のナノメートルを超えると、温度を低下させることができる。その上、制御システムは、EDS検出器がある要素のより高いピークをピックアップするときに、ランプレートを一時停止し、カメラ取得レートを増加させることができる。
本開示の主題の様々な実施形態によれば、画像のドリフト補正は、特定の対象の解析を可能にするが、複数のサイトを組み込むために、制御システムによってトリガを開発することができる。例えば、粒径が特定のナノメートルを超えるとき、2つ又は3つの所定の位置について、制御システムによって高解像度取得をトリガすることができ、全てのサイトは、ドリフトベクトルの適用によって制御システムに知られている。
本開示の主題の様々な実施形態によれば、制御システムは、ユーザ又は他のソフトウェアがインサイチュ刺激ソース又はインサイチュ刺激読み取り値に基づいて、電子顕微鏡、カメラ、又は検出器にトリガを設定することも可能にすることができる。例えば、試料の測定抵抗が特定の数のオームを超えたとき、カメラの取得レートを速めることができた。その上、試料温度が特定の温度を超えるとき、特定の検出器は、制御システムによってオン又はオフにすることができる。EELS又はEDS測定は、試料の温度が所定の温度に達するとき、特定の対象のために自動的にトリガすることができ、温度が所定の温度を超えるとき、検出器を保護するために自動的にオフにすることができる。例えば、様々な実施形態において、制御システムは、例として、粒子速度が所定の値を超えたとき、温度を低下させる場合;制御温度、ランプレート、ガス環境、及び同様の他の属性が所定の値の範囲外になる場合;粒子サイズ、粒子数、電子回折、画像FFT、及び同様の他の属性が所定の値の範囲外になる場合を含んでいる状況で、トリガ機能を動作させることができる。また、制御システムは、試料の抵抗が所定の値を超えたとき、取得レートを速めることができる。
制御システムは、ユーザが質量分析、ガス、又は液体クロマトグラフィなどの他の付属機器に基づいてトリガを設定することを可能にできる。制御装置は、例えば、インサイチュホルダーから出る測定された水濃度が5ppm未満になると、環境又は温度を調節する、又はEELS計測を行うなどの動作を引き起こすトリガを設定することができる。これは、多くの既存のワークフローにおける推測作業を有利に除去し、ユーザが定量的情報に基づいて次のステップを自動的に行うのを助けることができる。トリガは、Pythonスクリプトやその他の特定のAPIなどのソフトウェアプログラム、又は本格的なソフトウェア開発キットを介してプログラムできる。
本開示の主題の様々な実施形態によれば、制御システムは、ユーザ又はソフトウェアがこれらのトリガを開発するのを助けるために多くのインターフェースを提供することができる。制御システムは、組み込みUI(ユーザインターフェース)実験ビルダ、ビジュアルプログラミング言語、Python、若しくは他の容易にアクセスできるプログラミング言語、又は特定のAPI又はソフトウェア開発キットを介して実験を組み込むことができる。
ここで開示されている主題の様々な実施形態によれば、測定値を調整するために制御システムによって適用されるドリフトベクトルは、時間の経過につれて、任意の数の顕微鏡パラメータを現実的に追跡するのに役立つことができる。制御システムは、試料上の位置及び時間の機能として試料に適用されるリアルタイム線量レートの測定と、位置の機能として試料に適用される累積線量(線量レートに画像化セッションの過程を通した時間を乗じたもの)のロギングとを組み合わせることができる。線量レートは、電子ビーム電流をその面積(ビーム直径)で割った値から制御システムによって計算することができる。代替的に、ファラデーカップ、カメラ及び/又はTEMと直接通信することによって、線量レートは、直接測定することができる。これらのビームパラメータは、特定の対象について、又は顕微鏡状態、自然な試料ドリフト、及び/又はインサイチュ刺激によって移動する可能性がある画像化された領域全体について、制御システムによって追跡することができる。
ビーム損傷は画像から必ずしも明らかではないため、制御システムは、ユーザが試料を観察した場所、及び試料に与えられた線量又は線量レートの量を表示する方法を提供することができる。本開示の主題の様々な実施形態によれば、累積線量は、例えば、試料位置及び拡大率が変更することにつれて自動的に調整されるヒートマップの形態で、試料イメージと共に制御装置によってグラフィカルに表示することができる。これは、比較的高い線量を受けた試料の部分に対して、より低い線量を受けた部分を示す。ドリフト補正もこのヒートマップに適用できた。更に、全てのX、Y座標は、測定された線量レート又は累積線量が試料上の各対象に起こっていることについて正確に追跡されるように、ドリフトベクトルに従って登録され得、そうでなければ、それがドリフトするにつれて、測定された座標は、誤った領域に対するものであり得る。更に、最大線量レートは、その同じ領域について制御システムによって追跡することができる。適用される総累積線量は、制御システムによって追跡することもできる。
1つ以上の実施形態によれば、制御システムは登録された移動、適用されたインサイチュ刺激、及び/又は測定された顕微鏡パラメータに基づいて、自動化された報告を更に生成することができる。1つ以上の実施形態によれば、制御システムは、ユーザが観察中の試料の電子線量レート限界又は累積線量を設定することを可能にすることができる。制御システムは更に、電子線量レートが電子線量レート限界を超えないことを監視することができる。
制御システムは更に、電子顕微鏡レンズの位置及び時間の機能として電子線量レートをリアルタイムで計算するように構成される。制御システムは、チップ又は特定の試料を使用して、報告された線量及び線量レートを改善するために、試料位置でビームによって生成される電流を測定することができる。これは、制御システムによって使用される校正の1つを表すことができる。
関心領域に対する累積線量は、ビーム感受性試料に対する時間の関数として試料に対する線量の影響を示すために、制御システムによって画像上に示すことができる。ドリフトベクトルは、このヒートマップを特定の対象の移動を用いて登録するのを助けることができる。制御システムによって開発された視野のこの着色されたオーバーレイは、試料のどの部分が特定の線量の放射線に露出されたかについてユーザに指示することができる。この情報を用いて、ユーザは、ユーザが異なる位置に移動する必要があるかどうか、又は試料領域が電子ビームによる画像化を継続するのに安全であるかどうかを判定することができる。
様々な実施形態によれば、報告は、所与のインサイチュ制御について、又は時間の関数として、複数のサイトを比較するために、ユーザによって自動化又は構築され得る。制御システムによって提供されるこれらの報告及びグラフィック技術は、線量及び線量レートといったビーム条件に使用することができ、ソフトウェアによって測定される任意の顕微鏡パラメータ並びにインサイチュ測定又は刺激にも使用することができる。
様々な実施形態によれば、制御システムはまた、線量レートが線量レート(ビーム電流、ビームサイズ、倍率、及び同様の他のパラメータ)を制御することができるユーザ入力にかかわらず、指定された閾値を超えることができないように、ユーザが試料の線量レート限界を設定することを可能にすることができる。ユーザが意図的であろうとなかろうと、線量レートを閾値を超えさせる任意のパラメータを変更する場合、制御システムは、パラメータを制限することによって、ユーザが閾値を超えることを防止又は警告するように動作することができる。これは、有利にユーザが試料を不可逆的に損傷し得る過剰な線量レートを回避することを可能にする。試料を保護するためのこれらの限界は、他の検出器、顕微鏡パラメータ、又はインサイチュ刺激に適用することができる。色、カウンタ、又はオンスクリーンインジケータなどの他の機構も、ユーザがライブ及び画像メタデータの両方から、総累積線量及び線量レートを追跡し続けることを助けることができる。線量レート限界、又は線量バジェットは、器具パラメータが与えられた場合に、特定の数の画像のみを取るようにユーザを誘導し、試料への総線量が線量バジェット未満のままであることを保証するために、断層撮影アプリケーションにおいて使用され得る。
様々な実施形態によれば、線量及び線量レートを測定及び制御することによって、制御システムは、試料の形状、組成物、密度、電気的特性などに対するビーム効果の影響を迅速かつ定量的に測定する能力をユーザに提供することができる。ユーザは、異なる線量/線量レートを有するいくつかの参照サイトを迅速に測定して、これらのパラメータのベンチマーク閾値を迅速に判定し、次いで、ビーム損傷が既知の良好な状態で最小化されることを確実にするために、所定の線量/線量レート限界を有する別のサイトを画像化することができる。低線量の参照は、より広範囲又はより長い画像を受けるサイトと比較するために、制御システムによって確立することができる。複数の試料サイトを用いて、これらの参照は、ソフトウェアによる他の測定された顕微鏡パラメータに、又は他のインサイチュ刺激のために適用され得る。その上、試料線量及び線量レートを調整する状態のマトリックスを定義することができる。サムネイルビューをユーザに提示して、線量によって試料の変化がどこで生じ始めたかを視覚的に評価することができる。FFT及び他の計算は、試料変化を投与の影響として識別するのを助けるために、各サムネイルに対して実行され得、相互相関は、低線量ベースライン及びユーザによる解釈のためにスコア付け又はタグ付けされた変化の量を用いて実行され得る。
実施形態は更に、ユーザ指定の関心領域(ROI:region of interest)、バックグラウンドドリフト、及び予測ふるまいを組み合わせて電子顕微鏡内の対象を追跡し、次いで、電子顕微鏡内のポジショナーに、ROIをセンタリングするように、及び/又はROIの焦点を合わせるように命令するドリフト補正を提供することができる。実施形態は、特定のEチップ及びホルダーの組み合わせの固有のX、Y、及びZ移動のオンザフライ学習を含むことができる予測ふるまいを更に提供することができ、この知識を適用して、試料がどこにドリフトする可能性があるかを判定することができる。実施形態は、ドリフト速度及び加速度ベクトルを構築するために、時間の経過と共にピクセルシフトを追跡することを更に提供することができる。インサイチュホルダーの予想されるふるまいを組み合わせて、これらのベクトルを改善する。実施形態は更に、ユーザが関心領域を描くことを可能にし、次いで、顕微鏡にそのROIを視野内でセンタリングするように命令することを可能にする。代替的に、予め描かれたROIを有し、ユーザに試料又はビームを移動させる新しいセンター位置を命令することを可能にする。
実施形態は、単一の画像ストリーム上で複数のROIをサポートすることを更に提供することができる。実施形態は、実際にはFOV(field of view)のセンターではないセンタリング運動を支持することを更に提供することができる。実施形態は、ドリフトベクトル又はバックグラウンドドリフト及び参照テンプレートを使用して、内部フラグ又は外部フラグとして使用するための試料イベントを判定することを更に提供することができる。実施形態は更に、画像をファイルに保存すること、又はキーデータセットにフラグを立てることを提供することができる。実施形態は更に、休止又はインサイチュ刺激を遅らせることを提供することができる。実施形態は、実際の、又は示された関心領域を更新することを更に提供することができる。
実施形態は、ポジショナーの階層制御を更に提供することができる。ステージ、ピエゾ、又はビームのいずれかから正しいポジショナーを自動的にピッキングすることは、必要な移動のサイズと、同様に好ましい制限又はハード制限の前に残された移動の量に依存すること。実施形態は更に、より粗くポジショナーを移動するとき、より細かくポジショナーを自動的にゼロにすることができる。例えば、機械式のステージを移動させるとき、ピエゾ及びビーム偏向器を0に設定し、機械式のステージで移動の全ての大きさを補正することができる。ビームをニュートラル位置から離すと、画像に負の影響を与える可能性がある。従って、制御システムは、X、Y、及びZについてのビーム位置に注意を引くためのインジケータを含むことができる。ユーザは、インジケータ上のトリガ点に当たったときにいつでもビームを解除することができる「自動解除」のための制御システムを設定することができる。ビームの解除は、ビームがニュートラルされるまで、ユーザが関心領域を失うことなく、次のより粗いポジショナー及びビームを反対方向に強制的に移動する。
実施形態は、望ましくないスティグメーションを防止するために、「デフォーカス」を含むビーム位置のユーザ設定又は自動限界を更に提供することができる。実施形態はまた、物理的補正の上にデジタル補正を適用し、両方の画像セットをファイルに保存することを提供することができる。本開示の主題の実施形態は更に、未加工の画像をファイルに保存し、補正された画像及び補正されていない画像の両方を連続画像として保存することを提供することができる。
データレビューツールは、画像が全て物理的及びデジタル的に補正されるとき、更なる機能を提供することができる。制御システムは、物理的及びデジタル的に整列された画像シーケンスを提供し、単一のフレームに適用される数学及び解析が、画像シーケンス全体にわたって外挿されることを可能にする。制御システムは更に、複数の画像にわたる任意のメタデータ又は導出、強度解析、FFT、及び同様の他の統計をプロットし、それによって解析の履歴を構築する能力を提供する、経時的な単一の試料サイトに関する統計をサポートすることを提供することができる。
焦点制御は更に、正規化された焦点スコアによってスケーリングされた連続的なデフォーカス調整を可能にすることができる。制御システムは、焦点スコアを正規化し、試料を変更するために正規化をモーフィングし、ノイズをフィルタ除去することを可能にすることができる。制御システムは更に、連続的なデフォーカス調整がユーザ調整と共に実行されることを可能にすることができる。
制御システムの有効性は、元の登録テンプレートを現在のライブビューにモーフィングするためのチューナブルフィルタを提供すること、及びユーザが顕微鏡上のFOV、画像化条件、又は同様の他の重要な項目を変更するときにこのテンプレートを戦略的に完全にリセットする能力によって更に強化される。
制御システムは、メモリに保持されるのではなく、ディスクに書き込まれるファイルを持つ複数のセッションにわたってイメージバッファを管理する。制御システムは更に、バッファのスケジュールされた又は継続的なクリーンアップを提供し、更に、セッションディレクトリから他の永久ドライブに画像をエクスポートする機能を提供する。これらの画像の一部又は全ては、バッファクリーンアップをオーバーライドする優先順位で保持できる。ユーザは、画像にタグを付けて、プロセスを用いて先入れ先出しのバッファルールをオーバーライドし、ハードドライブの容量を圧迫することなく、残りのバッファを引き続き管理できるようにすることができる。制御システムは、バッファのサイズ及び優先順位付けされた画像のサイズを示すインジケータを更に含む。制御システムは更に、記憶サイズがなくなったときにバッファの全体的なデータサイズを低減するように動作することができる。記憶スペースを低減するために、制御システムは、フレーム当たりの画像全体ではなく、変化するピクセルのみを節約し、ライブビューにおいてそれらを共にステッチするように動作し、制御システムはまた、相関が類似しすぎる場合に画像をビンダウンするように動作し、又は、制御システムは、相関が類似する場合に平均ピクセルを記憶するように動作する。制御システムはまた、試料サイトのライブEDSマップを構築するために、物理的補正と共に、より長い期間にわたる高速ドウェル時間を使用する。制御システムは更に、EELに対して同様のワークフローを使用することができる。制御システムは、より低い倍率で二次サイトを保存することができ、二次サイトデータを使用して、単にビーム効果を解析する以上のことを行うことができる。制御システムは、特定の試料サイトと試料のはるかに低い倍率のビューとの間で自動的にジャンプして、試料サイトを斜視に置くことを可能にすることができる。制御システムはまた、試料サイトのセットと、試料のはるかに低い倍率のビューとの間の自動的なジャンプを提供し、試料サイトを斜視に置くことができる。制御装置は更に、例えば、AXON Notebookレビューツール内のユーザが、様々なサイト及びそれらのマクロビューを経時的にスクラブして、関連する変化を見ることを可能にするように動作する。
制御システムは、特定のマシン上で実行される専用サービスが、制御システムが実行されているコンピューティングデバイスに画像及び情報を送信するサービスではなく、カメラ又は顕微鏡PC上で画像処理を行うことができるように、異なるように構成することもできる。
制御システムは、デジタルに登録された画像と未加工の画像とを共に保存することができる。画像バッファは、メモリに保持するのではなく、ディスクに書き込まれるデータファイルを持つ複数のセッションにわたって管理できる。制御システムは更に、画像バッファのスケジュールされたクリーンアップ又は継続的なクリーンアップ、及びセッションディレクトリから他の永久ドライブに画像をエクスポートする機能を可能にすることができる。
一実装形態によれば、いくつかの画像を優先度ステータスに保持し、バッファのクリーンアップをオーバーライドすることができる。システムは更に、ファーストインファーストアウトバッファルールに基づいてバッファクリーンアップをオーバーライドするように画像にタグを付ける機能をプロセスでユーザに提供し、ハードドライブの領域を圧迫することなくバッファの残りの部分を引き続き管理できるようにすることができる。システムは、バッファのサイズ及び優先順位付けされた画像のサイズを示すために使用されるインジケータを更に含むことができる。
実施形態は理想的な焦点、正規化スケール、及び再焦点をできるだけ少ない移動で見つけるために、自動焦点又は再焦点ルーチンを更に提供することができる。実施形態はまた、各倍率での焦点スコア及びZ距離の校正に基づいて、できるだけ少ない移動で焦点を見つけることができる。実施形態は更に、正規化された焦点スコアに対する計算された理想的なものから構築された電子顕微鏡のための視覚的焦点制御ツールを提供することができる。実施形態はまた、ユーザセット再焦点ハンドルを提供し、更に、オーバーフォーカス及びアンダーフォーカスを提供することができる。実施形態はまた、試料の焦点を容易に上下させるために、正規化されたスケール上で実際の焦点をドラッグする能力を提供することができる。実施形態は、ポジショナー、レンズ、及びホルダ校正を、命令された移動の方向及び大きさを改善するために、実際のふるまいと組み合わせるために、追加的に提供することができる。実施形態は更に、X/Y位置、Z位置、アルファ/ベータの傾き、及びイメージリフレッシュレートを監視して、任意のユーザ割り込みにフラグを立てることを提供することができる。実施形態は更に、ユーザに対する割り込み中に、ユーザによる決定行列の多くの変形を提供することができる。本開示の主題の実施形態は、予想されるモデルを改善するために、割り込みの一定のふるまいを追跡することを更に提供することができる。実施形態はまた、顕微鏡上で検出された割り込みから、インサイチュ制御、顕微鏡、カメラ、又は検出器上で新たなふるまいをトリガすることを提供することができる。実施形態は、ユーザがデフォーカスノブを調整することによって試料を手動で焦点に合わせようとしているとき、熱ランプレートを減少させるか、又は一時停止させることを付加的に提供することができる。実施形態は、主なROIの損失を防止するために、ランプレートなどのインサイチュ制御入力の自動減衰を更に提供することができる。実施形態はまた、特定の温度におけるフィルムバックリングなどの制御システムの既知の性能を克服するために、インサイチュ制御入力の自動減衰を提供することができる。実施形態は、ROIサイズ、ポジショナータイミング、画像更新レート、及び期待ドリフトレートに対するアクティブな視野からの刺激の最大ランプレートを計算することができるソフトウェアアルゴリズムを更に提供することができる。
実施形態は、ユーザが、特定の熱ランプレートを達成するための、倍率、アクティブな検出器サイズ、ピクセル解像度、破棄、ドウェルレート及び/又は露出時間を設定するのを助けることができるソフトウェアツールを提供することができる。本開示の主題の実施形態は、圧力変化又はドリフトを引き起こす可能性がある任意の刺激変化を監視、制御、及び/又は変更することを更に提供することができる。実施形態は追加で、ドリフト補正の能力内で安定した画像を保証するために、ユーザが1つ以上のカメラ/検出器オプション、顕微鏡状態、及びインサイチュ刺激に優先順位を付けることを可能にすることを提供することができる。本開示の主題の実施形態は、ユーザが特定の設定に優先順位を付け、次いで、他の依存のある設定のセットアップを自動化するのを助けることを更に提供することができる。実施形態はまた、ピクセル解像度、倍率及び熱ランプレートを優先順位付けることをユーザに提供することができ、ソフトウェアは、補正中に画像を安定に、且つFOV(視野)内に保持する優先順位付けされた設定を可能にするために、ドウェルレート又は露出時間を自動的にピックするであろう。実施形態は更に、ドリフトベクトルを適用して、二次又は多くの他の画像化サイトの位置を予測し、ユーザがサイト間で容易にトグルすることを可能にすることを提供することができる。
実施形態は更に、ドリフトレートを正規化し、移動が高解像度取得のために十分に遅いとき、ユーザに警告するためのインジケータを提供することができる。実施形態は、EDS又はEELSスペクトル又はマップが、熱効果又は単に試料反応自体のために移動している試料から取得されることを可能にすることができる。試料の移動及び試料の変化を考慮したドリフト補正のこの方法であるが、EDSマップは、ドリフト補正されたSTEMデータに基づいて再整列させることができる。EDSは通常、十分な信号対雑音比を有するマップ又はスペクトルを構築するのに十分な信号を蓄積するために、長い露出、又は同じ試料領域の多くの短い露出の積分を必要とする。従来技術の解決策は、移動しているフレームの正確な相互相関及びデジタル再整列のみを可能にするが、この技術は、移動が速すぎるか、遠すぎるか、又は変化している試料に対しては機能しないかもしれない。この主題に記載されたドリフト補正のためのアプローチは、EDSデータがユーザによって定義された間隔で取得され、次いで、取得された同時のSTEM画像に基づいて再整列されることを可能にすることができる。更に、ユーザはより高い信号対雑音画像スタックを構築するために、フレームを統合することを決定することができる。この新しい技法は、時間によって試料の変化する組成物を示すEDSマップを使用してビデオクリップを作成することを可能にする。ドリフト補正のための適切な同時のTEM画像が取得できたと仮定すると、EELSマップを用いて同じ技術を行うことができた。
実施形態は更に、ユーザが画像解析に基づいてインサイチュ機能にトリガを設定し、その後、インサイチュ機器の制御を通じてインサイチュ環境を調整することを可能にすることを提供することができる。実施形態はまた、粒子サイズがナノメートルの所定のサイズを超えるとき、温度の低下を提供することができる。実施形態は更に、TEM又はSTEMによって取得された画像の画像解析技術に基づいて、任意のインサイチュ刺激を制御することを提供することができる。実施形態は更に、粒子サイズ、粒子数、電子偏向、画像FFT、及び同様の他のパラメータに基づいて、温度及び/又はランプレート、ガス環境、並びに同様の他の属性を制御することを提供することができる。
実施形態は、EDS(Energy Dispersive X-Ray Spectroscopy)及びEELS(Electron Energy Loss Spectroscopy)及び同様の他の技術を含んでいる他の電子顕微鏡カラム検出器に基づいて、任意のインサイチュ刺激を制御することを提供することができる。実施形態は更に、EDSマップからの元素比、EDS(エネルギー分散X線分光法)及びEELS(電子エネルギー損失分光法)による試料の還元及び同様の他の技術に基づいて、温度及び/又はランプレート、ガス環境等を制御することを提供することができる。実施形態は更に、ユーザ又は他のソフトウェアが、電子顕微鏡、カメラ又は検出器、インサイチュ刺激読み取りに基づく他のインサイチュ機器にトリガを設定することを可能にすることを提供することができる。実施形態は更に、試料の抵抗が所定の抵抗値(オーム)を超えるとき、取得レートを高速化することを提供する。本明細書に開示される実施形態は更に、積分された質量スペクトロメータによって読み取られる総水分濃度が、所定の値、例えば、<5ppm未満を読み取るまで、ポンプパージサイクルルーチンを提供することができる。実施形態は更に、研究者が実験を構築し、カスタムトリガを作成するのに役立つインターフェースを提供することができ、UI内(ユーザインターフェース)の実験ビルダー、ビジュアルプログラミング言語、スクリプト言語、Pythonラッパー、API(アプリケーションプログラミングインターフェース)、及び/又はSDK(ソフトウェア開発キット)のいずれかを介して行われる。
実施形態は、ユーザがサイトのビーム損傷を定量化するのを助けるために、特定の試料のサイトの総累積線量及び最大線量レートを追跡することを提供することができる。実施形態は更に、制御システムによって追跡される画像内の座標又は対象のセットである試料サイトを提供することができる。実施形態は更に、より広い視野の総累積線量及び最大線量レートを視覚化するために、ソフトウェアによって追跡される矩形領域を合計するヒートマップを提供することができる。実施形態はまた、特定の時間に、又は特定のインサイチュ刺激条件について、単一のサイトについて、又は複数のサイトにわたって、ビーム効果を比較するビジュアライザーを提供することができる。実施形態は、試料位置のためのヒートマップを更に提供することができる。
実施形態は、所与のインサイチュ制御のための試料のサイトを比較する、又は時間の関数として、自動報告ジェネレーターを提供することができる。実施形態は、線量、線量レート、他の顕微鏡パラメータ、又はインサイチュ刺激の限界を更に提供することができる。実施形態は追加で、ユーザが関心領域への過剰な刺激を回避することを助けるソフトウェアツールを提供することができる。実施形態はまた、ユーザが最大総累積線量又は線量レートを設定することを可能にするソフトウェアルーチンを提供することができ、これらの限界が各領域で近づいているか又は超えているとき、ユーザを禁止又は警告することができる。実施形態は更に、より厳密な画像化又はインサイチュ環境変化を通過するサイトと比較するために、参照サイトを確立することを提供することができる。
図1は、本明細書で開示する主題の1つ以上の実施形態による、ユーザ指定のROI(関心領域)、背景ドリフト、及び予測的なふるまいを組み合わせて電子顕微鏡内の対象を追跡し、次いで、電子顕微鏡内のポジショナーにROIのセンタリングする及び/又は焦点を合わせることを命令するドリフト補正の模式図である。スマートドリフト補正モジュールは、位置制御モジュール及び画像化制御モジュールと通信する。位置制御モジュールは、ポジショナーと通信し、更に、スマートドリフト補正モジュールから受信した命令に基づいてポジショナーの設定を調整するように構成される。画像化制御モジュールは、スマートドリフト補正モジュールから受信した命令に基づいて画像を取得することを含んでいる画像化の様々な態様と通信するように構成される。
図2は、本開示の主題の1つ以上の実施形態による、反応性ドリフト補正の詳細を示す模式図である。反応性補正の処理のステップは、本開示の主題の少なくとも1つの実施形態による図2で示されるフローチャートに従って進行する。
図3は、本開示の主題の1つ以上の実施形態による、Eチップ及びホルダーの固有のX、Y、及びZ移動のオンザフライ学習を、補正処理を強化するためにドリフトする可能性がある場所の予測的なふるまいと組み合わせて示す模式図である。
図4は、ドリフト速度及び加速度ベクトルを構築するために、ピクセルシフトを経時的に追跡するソフトウェアの模式図である。本開示の主題の1つ以上の実施形態によれば、インサイチュホルダーの予想されたふるまいを組み合わせて、それらのベクトルを改善する。
図8は、本明細書に開示される主題の1つ以上の実施形態による、ドリフトベクトル、背景ドリフト、及び/又は参照テンプレートを使用して、試料がいつ変化しているかを判定し、この情報を内部又は外部フラグとして使用する、制御システムの一部を形成するソフトウェアモジュールを含むフローチャートである。
図9は、カメラ、検出器、顕微鏡、又はインサイチュトリガするように構成された制御システムの一部を形成するソフトウェアモジュールのフローチャート図である。本開示の主題の1つ以上の実施形態によれば、このソフトウェアモジュールによって行われるトリガアクションの例は、休止又は遅いインサイチュ刺激、イメージングバッファセーブオフ、入手レートの増大、又は位置の移動を含む。
図10は、現在開示されている主題の1つ以上の実施形態に従い、ステージ、ピエゾ又はビームのいずれかから正しいポジショナーを自動的にピッキングし、必要な移動のサイズ及び好ましい又は強力な限界の前に残された移動の量に応じて、ポジショナーの階層的制御を使用して制御システムの一部を形成するソフトウェアモジュールを示すフローチャートである。
図11は、制御システムの一部を形成するソフトウェアモジュールの図である。図11に例示されているように、制御システムは、現在開示されている主題の1つ以上の実施形態に従って、物理的補正の上にデジタル補正を適用し、補正されたものと補正されないもの両方の、連続した画像を動画として保存するように構成される。
図12は、現在開示されている主題の1つ以上の実施形態に従って、できるだけ少ない移動で理想的な焦点、正規化スケール及び再焦点の点を見つけるための自動焦点又は再焦点ルーチンを実行する制御システムの一部を形成するソフトウェアモジュールを示すフローチャートである。図13は、本開示の主題の1つ以上の実施形態による、焦点スコアリング掃引を示すフローチャートである。
図14は、現在開示されている主題の1つ以上の実施形態に従って、正規化された焦点スコア対ユーザ設定再焦点ハンドルを用いた計算された理想から構築された電子顕微鏡のための視覚的焦点制御ツールと、正規化されたスケールに対して実際の焦点をドラッグする能力と、をグラフで表したものである。
図15は、現在開示されている主題の1つ以上の実施形態に従って、命令された移動の方向及び大きさを改善するために、ポジショナー、レンズ、及びホルダー校正を実際のふるまいと組み合わせるソフトウェアモジュールである。
図16は、現在開示されている主題の1つ以上の実施形態に従って、X/Y位置、Z位置、アルファ/ベータの傾き、及び任意のユーザ割り込みにフラグを立てるための画像リフレッシュレートを監視する制御システムの一部を形成するソフトウェアモジュールのフローチャート図である。図17は、X/Y位置、Z位置、アルファ/ベータの傾き、及びイメージリフレッシュレートを監視して、任意のユーザ割り込みにフラグを立てるが、本開示の主題の1つ以上の実施形態に従って、割り込みを介してドリフトベクトルをより良好に維持するために補正処理を継続するように設計された、制御システムの一部を形成するソフトウェアモジュールのフローチャート図である。図18は、本開示の主題の1つ以上の実施形態に従った、X/Y位置、Z位置、アルファ/ベータの傾き、及びイメージリフレッシュレートを監視して、温度又は圧力などのインサイチュ刺激に対する変更にフラグを立てる、制御システムの一部を形成するソフトウェアモジュールのフローチャート図である。
図19は、本開示の主題の1つ以上の実施形態に従って、顕微鏡上で検出された割り込みから、インサイチュ制御、顕微鏡、カメラ、又は検出器上の新しいふるまいをトリガする制御システムの一部を形成するソフトウェアモジュールの概略図である。図20は、本明細書に開示される主題の1つ以上の実施形態に従って、顕微鏡上でユーザの割り込みを受け、予想されるモデル又はプロセスを改善する制御システムの一部を形成するソフトウェアモジュールの概略図である。図21は、本明細書で開示される主題の1つ以上の実施形態に従って、主なROIの損失を防止するためのランプレートなどのインサイチュ制御入力の自動的な減衰を伴う制御システムの一部を形成するソフトウェアモジュールの模式図である。
図22は、現在開示されている主題の1つ以上の実施形態に従って、ROIサイズ、ポジショナータイミング、画像更新レート及び期待されたドリフトレートに対するアクティブな視野から刺激の最大ランプレートを計算する制御システムの一部を形成するソフトウェアモジュール又はアルゴリズムのフローチャートである。
図23は、現在開示されている主題の1つ以上の実施形態に従って、ユーザが倍率、アクティブな検出器サイズ、ピクセル解像度、ビニング、ドウェルレート、及び/又は露出時間を設定して、固有の熱ランプレートを達成するのを助ける、制御システムの一部を形成するソフトウェアモジュールのフローチャート図である。
図24は、現在開示されている主題の1つ以上の実施形態に従って、ユーザがドリフト補正の能力内で安定した画像を保証するために、1つ以上のカメラ/検出器オプション、顕微鏡セットアップ、及びインサイチュ刺激に優先順位を付けることを可能にする、制御システムの一部を形成するソフトウェアモジュールの概略図である。特定の設定を優先順位付けし、他の依存する設定のセットアップを自動化するのに役立つ。
図25は、現在開示されている主題の1つ以上の実施形態に従って、ドリフトベクトルを適用して二次又は多くの他の画像化サイトの位置を予測し、ユーザがサイト間で容易にトグルすることを可能にする、制御システムの一部を形成するソフトウェアモジュールの模式図である。
図26は、現在開示されている主題の1つ以上の実施形態に従って、ドリフトレートを正規化し、移動が高解像度取得のために十分に遅いとき、ユーザに警告するためのインジケータの概略図である。
図27は、現在開示されている主題の1つ以上の実施形態に従って、ユーザ又は他のソフトウェアモジュールが画像解析に基づいてインサイチュ機能にトリガを設定することを可能にする、制御システムの一部を形成するソフトウェアモジュールの概略図である。
図28は、現在開示されている主題の1つ以上の実施形態に従って、ユーザ又は他のソフトウェアモジュールがインサイチュ刺激読取値に基づいて、電子顕微鏡、カメラ、又は検出器にトリガを設定することを可能にするソフトウェアモジュールの概略図である。
図29は、現在開示されている主題の1つ以上の実施形態に従って、研究者が実験を構築し、カスタムトリガを作成するのを助けるインターフェースの概略図である。
図30は、現在開示されている主題の1つ以上の実施形態に従って、特定の試料のサイトの総線量及び線量レートを追跡するソフトウェアトラッキングモジュールの模式図であり、ユーザが特定の対象に対するサイトのビーム損傷を定量化するのを助ける。
図31は、現在開示されている主題の1つ以上の実施形態に従って、特定の時間での単一サイトに対する、又は特定のインサイチュ刺激状態に対するビーム効果を比較するためのソフトウェアビジュアライザモジュールの概略図である。
図32は、現在開示されている主題の1つ以上の実施形態に従って、特定の時間での多数のサイトに対する、又は特定のインサイチュ刺激状態に対するビーム効果を比較するためのソフトウェアビジュアライザモジュールの概略図である。
図33は、現在開示されている主題の1つ以上の実施形態に従って、試料サイトを経時的に比較するソフトウェア自動報告ジェネレータモジュールの概略図である。
図34は、現在開示されている主題の1つ以上の実施形態に従って、所与のインサイチュ制御について試料サイトを比較するソフトウェア自動報告ジェネレータモジュールの概略図である。
図35は、現在開示されている主題の1つ以上の実施形態に従って、線量、線量レート、又は他の顕微鏡パラメータ、又はインサイチュ刺激を制限するソフトウェアモジュールの模式図である。
図36は、現在開示されている主題の1つ以上の実施形態に従って、線量、線量レート、又は他の顕微鏡パラメータ又はインサイチュ刺激を制限するソフトウェアモジュールの概略図である。ソフトウェアインターフェースは、現在開示されている主題の1つ以上の実施形態に従って、より厳密な画像化又はインサイチュ環境変化を通過するサイトと比較するための参照サイトを確立する。
図37は、現在開示されている主題の1つ以上の実施形態に従って、UI又はトリガによる迅速なナビゲーションのために、画像化可能領域全体にわたって多数の試料サイトを追跡する表現のための実施例の概略図である。
図38は、現在開示されている主題の1つ以上の実施形態に従って、ライブ画像フィード上で識別された1つ以上の関心領域の説明の実施例である。
図39は、現在開示されている主題の1つ以上の実施形態に従って、制御システムの一部を形成するソフトウェアモジュールのための基本的な通信アーキテクチャの説明の図である。
図40は、現在開示されている主題の1つ以上の実施形態に従って、画像の背景雑音を低減するためのフィルタ処理技術の概略図である。
図41は、現在開示されている主題の1つ以上の実施形態に従って、全視野に対して提示される多数の関心領域の概略図である。
図42は、現在開示されている主題の1つ以上の実施形態に従って、所与の時間又はインサイチュ刺激についての多数のサイトからのレポート生成の一実施例である概略図である。メタデータは、有利に実験中及び実験後の値とすることができる。制御システムは、ユーザがメタデータをプロットし、画像にリンクされた全てのメタデータをフィルタリングすることを可能にしてもよい。例えば、制御システムは、ユーザが温度対時刻をプロットし、次いで、特別な温度遷移に関与する画像のみを選択することを可能にすることができる。別の例として、制御装置は、ユーザが焦点品質スコアをプロットし、時間シーケンスを生成するために特定の画像セットをフィルタリングすることを可能にすることができ、特定の画像セットは、良好な焦点にある画像のみを含む。
図43は、現在開示されている主題の1つ以上の実施形態に従って、チャートの形態の制御システムの概略図である。
図44~図57は、図45の制御システムの様々な部分を示し、一方、図58~図68は、現在開示されている主題の1つ以上の実施形態に従って、インサイチュ実験を自動化するための作業フローの概略図である。
図58は、自動化された実験ワークフローにおける第1のステップのグラフィック表現であり、ソフトウェアモジュールは、しばしばX、Y及びZ軸における可動範囲全体のサブセットで実験のための動作領域をユーザが見つけることを助ける。これは、試料を見ることができ、インサイチュ刺激を適用することができる領域である。
図59は、ソフトウェアモジュールが、ユーザが操作領域内の特定の関心領域にタグ付けすることを助ける、自動化された実験ワークフローにおける第2のステップのグラフィック表現である。ソフトウェアモジュールは、場所を保存することができ、ユーザが、試料の形態のサムネイル及びマップ上の場所のX、Y、及びZ軸における座標によって容易に参照されるこれらのキー領域に手動で又はプログラム的にナビゲートするのを助けることができる。
図60は、ソフトウェアモジュールがタグ付けされた領域をユーザがレビューすることを助ける、自動化された実験ワークフローにおける第3のステップのグラフィック表現である。これは、ユーザが最も重要な領域を選択するための自動又は手動ステップであり得る。
図61は、ユーザが自動化された実験をロード又は構築する、自動化された実験ワークフローにおける第4のステップのグラフィック表現である。インサイチュ刺激プロファイルを作成することができる。その上、以前に識別された全ての関心領域における画像キャプチャは、実験の一部として手動でトリガされるか、又はプログラムされ得る。
図62は、プログラムされた実験が物理的に実行される、自動化された実験作業のワークフローにおける第5のステップのグラフ表現である。ソフトウェアモジュールは、プログラムされた刺激を適用し、実験セットアップにおいてプログラムされたように、全てのタグ付けされた関心領域において変化を捕捉する。試料のドリフトは、実験を通して追跡される。
図63は、自動化された実験ワークフローにおける第6段階のグラフ表現であり、ここで、ユーザは、インサイチュ刺激及び顕微鏡状態に応じて、各々のタグ付けされた関心領域の変化を容易にレビューすることができる。
図64は、自動化された実験ワークフローにおける第6段階の代替ビューのグラフィック表現であり、ユーザは、自動化された実験中に捕捉された単一の関心領域の画像でインデックス付けされた実験データを容易に検討して、単一の試料サイトが経時的にどのように変化したかを視覚化することができる。
図65は、自動化された実験ワークフローにおける第6段階の代替ビューのグラフィック表現であり、ユーザは、自動化された実験中に複数の関心領域の間で捕捉された画像でインデックス付けされた実験データを容易に検討して、複数のサイトが特定の時間にどのように見えたかを見ることができる。
図66は、たとえ1つの関心領域のみが視野内にあるとしても、多数のサイトにおけるタグ付けされた領域がどのように追跡され得るかを示す概略図である。
図67は、制御ソフトウェアCPU上で実行される制御ソフトウェアが顕微鏡CPU上の単一顕微鏡サービスを利用するアーキテクチャの概略図である。顕微鏡サービスは、このアーキテクチャにおける制御ソフトウェアによって必要とされる全ての必要な顕微鏡及び画像化制御をハンドルすることができる。
図68は、制御ソフトウェアCPU上で実行される制御ソフトウェアが顕微鏡CPU上の顕微鏡サービスと画像化CPU上の画像化サービスの両方を利用するアーキテクチャの概略図である。顕微鏡サービスは、全ての必要な顕微鏡コマンドをハンドルすることができ、画像化サービスハンドルは、このアーキテクチャの制御ソフトウェアによって必要とされる画像化コマンドである。顕微鏡CPUと画像化CPUは、このアーキテクチャにおいて、同じCPU、又は異なるCPUであることができる。
図69は、顕微鏡コマンド及び画像コマンドに必要な顕微鏡サービスクラスの概略図である。コマンドは、画像の取得、顕微鏡メタデータの取得、画像メタデータの取得、制御ソフトウェアで詳細に説明されている機能によって指定されたポジショナー又は画像状態の設定を含む。
図70は、顕微鏡プロファイルの概略図である。顕微鏡プロファイルは、ネットワークアーキテクチャ、ポジショナーの能力を詳細化し、顕微鏡及び画像化システムの必要な校正を記憶するために使用することができる。校正は、ポジショナーの能力、特定の画像化条件に対する各イメージャーに対するポジショナーの回転オフセット、及びポジショナー間の関係が特定の画像化条件に対する焦点深度に対して移動することを詳細化するために使用される。図71は、顕微鏡プロファイルが単一のサービスではなく、画像化サービス及び顕微鏡サービスからの内容及び能力から作成される、図70の変形である。
図72は、顕微鏡及び画像化ソフトウェアに接続し、全ての関連メタデータを有する固有の画像を制御ソフトウェアに送信するための高いレベルの処理の概略図である。図73は、連続的な画像フィードから固有の画像を判定し、その固有の画像を制御ソフトウェアに送信するために使用することができる、より詳細な画像監視処理の概略図である。図74は、必要なサービスに接続するために使用されるプロセスの概略図である。サービスは、顕微鏡サービス、画像化サービス、及び実験に関与する任意の数の検出器又は補助装置と通信するように構築されたサービスを含むことができる。
図75は、テスト接続処理の概略図である。接続が成功すると、ネットワーク設定と特定のサービス設定をプルオーバーする詳細な顕微鏡プロファイルを自動的に作成できる。図76は、ポジショナーとイメージャーとの間のX/Y回転オフセットについて校正する処理の概略図である。このプロセスは、ポジショナーを既知の方向に移動させて、ポジショナーの校正された解像度及びバックラッシュを説明し、結果として生じる座標変換を計算することを含む。図77は、特別な画像形成状態で校正することができる複数のポジショナーを取り扱うための方法の概略図である。図78は、特別な画像化状態で画像品質スコア変化を補正するために必要とされる必要なZ調整を校正するためのプロセスの概略図である。
図79は、X、Y、及びZにおけるドリフト補正を実行するプロセスの概略図である。ここで、Z焦点補正は、X/Yドリフト補正されたシーケンスにおける関心領域の焦点品質スコアの履歴に基づく連続調整である。図80は、制御ソフトウェアから遠隔的にイメージ入手を始めるプロセスの概略図である。図81は、制御ソフトウェアから遠隔的にイメージ入手を止めるプロセスの概略図である。
図82は、試料を視野内の特定の位置に移動させるプロセスの概略図である。このプロセスは、試料を視野内で手動でセンタリングするために使用することができ、試料を視野内で自動的にセンタリングするためにドリフト補正プロセスによって使用することができ、又は任意の特定の関心領域を視野内の任意の位置に移動させるために使用することができる。
図83は、顕微鏡によって命令された移動の後に画像が安定したかどうかを判定するための処理の概略図である。このプロセスは、補正アルゴリズムに必要な計算からフレームを除去するために使用することができる。その上、このプロセスは、結果として生じるドリフト補正された画像シーケンスに、顕微鏡ポジショナーの物理的補正によって不鮮明なフレームを残さないようにするために使用することができる。
図84は、制御ソフトウェアユーザインターフェースにおけるドリフト補正経験を向上させることができる主な制御及びインジケータのグラフィック表現である。これらのインジケータは、顕微鏡状態、インサイチュ状態、及び画像化条件に関するキーのメタデータを含むことができる。その上、ユーザインターフェース内のこれらのインジケータは、ライブビュー内で未加工の画像とデジタル登録画像を切り替えたり、画像の総数と使用可能なバッファの割合である、アクティブなセッション内で画像バッファに保存されている画像の数を把握したりすることができることをユーザに可能にする。関心領域のドリフトレートは、経時的な距離として、又はより多くのグラフィックインジケータとして数値的に表示することができる。X及びYビーム位置は、座標として、又は好ましい範囲に対するスライディングインジケータとして表示することができる。Zデフォーカス位置は、値として、又は好ましい範囲に対するスライディングインジケータとして表示することができる。ボタン又は自動化されたトリガ閾値は、試料を失うことなく、X/Yビーム又はZデフォーカスを0,0,0に解除するために生成され得る。
図85は、ユーザがソフトウェアユーザインターフェースからセッションの履歴を確認できるようにするための主な制御をグラフィカルに表現したものである。画像スクラバを使用し、フレーム間を素早くナビゲートすることができる。未加工の画像、ドリフト補正された画像、及び単一の取得は、ユーザがドリフト補正されたシーケンスによって容易にスクラブし、次いで、対応する未加工の画像又は最も近い単一の取得を示すために表示をトグルすることができるように、時間によって編成することができる。
図86は、ユーザが制御ソフトウェアのユーザインタフェースからの説明を用いて、特定のフレームとタイムシーケンスにタグを付けることができる手法のグラフィカル表現である。タグ付け対象を使用し、バッファ内の画像を優先して、自動化されたバッファクリーンアップ処理中にキーフレームが削除されないように先入れ先出しバッファルールをオーバーライドできる。その上、タグ付けされたフレームは、簡単なナビゲーションのために、レビューツール又はメタデータプロットで強調表示することができる。タグ付けされたフレームは、セッションバッファ全体とは別にデータドライブにエクスポートできる。
図87は、ユーザが操り、アクティブ画像バッファ及びセッション管理をカスタマイズできる主な設定をグラフィカルに表現したものである。ユーザ設定を使用し、画像バッファの場所、サイズ、クリーンアップ特性、保存される画像、好ましい画像に割り当てることができるバッファの割合を指定できる。
図88及び図89は、制御ソフトウェアがネットワーク構成、ポジショナー能力、及び適切に機能するために制御ソフトウェアによって必要とされる必要な校正を特徴付ける顕微鏡プロファイルを構築するためにどのように使用され得るかのグラフィカル表現である。制御ソフトウェアは、顕微鏡機能の未加工の制御を可能にし、必要な校正を手動で実行するか、又は自動化されたプロセスを提供することができる。図90及び図91は、制御ソフトウェアがどのように画像化状態及びイメージャーに特有の校正を管理することができるかのグラフィック表現である。図92は、制御ソフトウェアのふるまい又は選択肢を変更する可能性のある、特定の種類のインサイチュ実験又はワークフローをユーザが指示できるようにする、ユーザインターフェースのグラフィカル表現である。
図93は、接続、ドリフト補正、焦点アシスト、レビューセッション、セッションの終了、設定、終了などの主なワークフロー機能を可能にするユーザインターフェースをグラフィカルに表現したものである。ユーザは、実験によって容易に見ることができる主なインジケータ及びコントロールを用いて、ライブ画像ビューとインタラクティブすることができる。
図94は、補正経験を強化するインジケータ及びトリガからなるユーザインターフェースのグラフィカル表現である。追加のユーザインターフェースオプションは、ライブ画像上のデータを操る、又はオーバーレイして、経験をカスタマイズすることができる。
図95は、ユーザが画像やメタデータを見るセッションレビューツールのユーザインターフェースをグラフィカルに表現したものである。セッションは、このツールから、画像スタック、単一フレーム、ビデオ、又はデータベースなど、多くのファイル形式で永続的な記録媒体に移動できる。
図96は、経験をカスタマイズするために操ることができるユーザ設定をグラフィカルに表現したものである。図97は、ユーザインターフェースのグラフィカル表現であり、焦点補助及び焦点補助校正が、ライブ画像を見ながら可能にされ得る。図98は、制御ソフトウェア又は関連する文書が許容可能なドリフトレートに応じて、画像入手レートと視野との間の関連性をどのように通信することができるかを示すグラフである。
図99は、デフォーカスを調整することによって頂点に向かってドライブするために、焦点アルゴリズムがどのようにSTEMモードにおける焦点品質スコアを利用することができるかをグラフィカルに表現したものである。焦点品質は、関心領域のコントラストをスコアリングすることによって判定される。ステップのサイズは、他のパラメータの中でも倍率を含む画像化条件に応じて異なる。
図100は、デフォーカスを調整することによって頂点に向かってドライブするために、焦点アルゴリズムがTEMモードにおける焦点品質スコアの逆数をどのように利用することができるかを示すグラフである。焦点品質は、関心領域のコントラストをスコアリングすることによって判定される。このスコアリング技術の逆数は、TEMモードで必要とされる。ステップのサイズは、他のパラメータの中でも倍率を含む画像化条件に応じて異なる。
図101は、インサイチュシステム、画像化サービス、顕微鏡制御サービスとインタラクティブし、最終的に画像及びメタデータを永久的にディスクにエクスポートする制御サービスのための全体的なデータフローをグラフィカルに表現したものである。図102は、従来技術のインサイチュ加熱ソフトウェアのためのユーザインターフェースをグラフィカルに表現したものである。図103は、制御ソフトウェアがランプレートを推奨し、インサイチュソフトウェア及び制御ソフトウェア内で自動で一時停止/再開及び接続状態を通信する、ユーザインターフェースをグラフィカルに表現したものである。
図104は、インサイチュシステム、顕微鏡、画像化システム、及び任意の他の接続されたシステムからのメタデータを見て、ライブ表示及びセッション又は画像レビューツール上にオーバーレイすることができるユーザインターフェースをグラフィカルに表現したものである。各画像は、ユーザがドリフト補正されたシーケンスを経時的にどのようにパラメータが変化したかを見るためにオーバープレイすることができるメタデータと共に保存される。
図105は、固有のワークフローを用いて、データを別のソフトウェアにプッシュするレポート要素を有する既存のインサイチュソフトウェアパッケージソフトの一例を示すグラフ表現であり、データ図105Bは、そのソフトウェア内の、既存のインサイチュソフトウェアにおけるワークフロー対レポート要素の一例を詳述する。
図106は、図105に記載されているソフトウェアパッケージソフトがネイティブインサイチュソフトウェアと、制御ソフトウェア内に埋め込まれた要素との間で共有されるワークフローをどのように有することができるかを示すグラフィック表現である。このアーキテクチャにおいて、インサイチュユーザインターフェース全体又はインサイチュユーザインターフェースの特定のサブセットを、制御ソフトウェアユーザインターフェースに、場合によっては、共有コードベースに埋め込むことができる。レポート要素は、画像メタデータとして追加し、共通のメタデータプロットツール、ログファイル、又はデータベースに組み込むことができる。
図107は、現存のインサイチュソフトウェアのユーザインターフェースの一例と、ユーザに単一のツールからのライブ画像、インサイチュ制御及び他の対象へのアクセスを与える制御ソフトウェアに、そのユーザインターフェースの特定の要素をどのように埋め込むことができるかを示すグラフィック表現である。図107A及び107Bは、既存のインサイチュソフトウェアのユーザインターフェースを示す。図107C及び107Dは、制御ソフトウェアのユーザインターフェースにワークフロー及び報告要素がどのように組み込む、又は構築することができるかを示している。
図108及び図109は、既存のインサイチュ制御ソフトウェアに使用されるユーザインターフェースのグラフィック表現であり、制御ソフトウェアワークフロー及びユーザインターフェースに組み込むことができる重要な要素を強調している。
図110~図115は、制御ソフトウェアが、ユーザが実験に対する累積線量又は最大瞬間線量レートの効果を効果的に定量化し、知識的に動作し、レビューするのを助けることができるワークフローを、詳述するグラフフローチャートを表す。図110は、一例のワークフローのまとめである。図111は、2つの方法を記載し、ここで、制御ソフトウェアは実験条件が公知であり、そして反復され得るように、試料における真の線量又は線量レートの校正を補助するために使用され得る。図112は、どのようにして制御ソフトウェアが、ユーザがどのくらいの累積線量又は瞬間線量レートが試料にとって多すぎるかを定量化し、判定し、線量バジェットとして限界を節約することを、助けることができるかを示す。図113は、制御ソフトウェアが確立された線量バジェット内で動作する累積線量又は瞬間線量レートを追跡することをどのように助けることができるかを、説明する。図114及び115は、制御ソフトウェアが試料サイトをレビューし、それらの実験に対する線量の効果を更に定量化するために使用することができる方法を記載する。
当業者に理解されるように、本発明の態様は、システム、方法、又はコンピュータプログラムプロダクトとして具現化することができる。その結果、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、又は本明細書ではすべて一般に「回路」、「モジュール」、又は「システム」と呼ばれることがあるソフトウェア及びハードウェアの態様を組み合わせた実施形態の形態をとることができる。更に、本発明の態様は、コンピュータ読み取り可能なプログラムコードがその上に具現化された1つ以上のコンピュータ読み取り可能な媒体に具現化されたコンピュータプログラムプロダクトの形態をとることができる。
1つ以上のコンピュータ読み取り可能な媒体の任意の組合せを利用することができる。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体又はコンピュータ読み取り可能な記憶媒体(限定されないが、非一時的なコンピュータ読み取り可能な記憶媒体を含む)であってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電気、磁気、光学、電磁気、赤外、又は半導体のシステム、機器、若しくは装置、又はこれらの任意の好適な組合せとすることができるが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例(非網羅的なリスト)は、以下を含む:1つ以上のワイヤ、携帯用コンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能なプログラマブル読み取り専用メモリ(EPROM又はフラッシュメモリ)、光ファイバ、携帯用コンパクトディスク読み取り専用メモリ(CD-ROM)、光学記憶装置、磁気記憶装置、又は前述の任意の適切な組合せを有する電気的接続である。本文書の文脈において、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置、又はデバイスによって、又はそれに関連して使用するためのプログラムを含むか、又はそれを記憶することができる、任意の有形媒体であってもよい。
コンピュータ読み取り可能な信号媒体は、例えば、ベースバンドにおいて、又は搬送波の一部として、コンピュータ読み取り可能なプログラムコードが具現化された伝搬データ信号を含むことができる。そういった伝播信号は、電磁、光学、又はそれらの任意の適切な組み合わせを含むが、それらに限定されない任意の様々な形態をとることができる。コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能な記憶媒体ではなく、命令実行システム、装置、又は装置によって、又はそれに関連して使用するために、プログラムを通信、伝播、又は移送することができる、任意のコンピュータ読み取り可能な媒体であってもよい。
コンピュータ読み取り可能な媒体上に具現化されたプログラムコードは無線、有線、光ファイバケーブル、RFなど、又は前述のもの任意の適切な組合せを含むが、これらに限定されない任意の適切な媒体を使用して送信され得る。
本発明の態様に対して動作を実行するためのコンピュータプログラムコードは、Java、Smalltalk、C++等のオブジェクト指向プログラミング言語、及び「C」プログラミング言語又は類似のプログラミング言語等の従来の手続き型プログラミング言語を含む、1つ以上のプログラミング言語の任意の組合せで書くことができる。プログラムコードは、スタンドアロンソフトウェアパッケージとして、ユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、及び部分的にはリモートコンピュータ上で、又は全体的にリモートコンピュータ又はサーバ上で、ユーザのコンピュータ上で実行されてもよい。後者の状況において、リモートコンピュータは、ローカルエリアネットワーク(LAN)又はワイドエリアネットワーク(WAN)を含む任意の種類のネットワークを介してユーザのコンピュータに接続されてもよく、又は(例えば、インターネットサービスプロバイダを用いたインターネットによって)外部コンピュータに接続されてもよい。
本発明の態様は、本発明の実施形態による方法、装置(システム)及びコンピュータプログラムプロダクトのフローチャート図及び/又はブロック図を参照して上述される。フローチャート図及び/又はブロック図の各ブロック、並びにフローチャート図及び/又はブロック図のブロックの組合せは、コンピュータプログラム命令によって実装できることを理解されたい。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサに提供され、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサを介して実行される命令がフローチャート及び/又はブロック図の1つ以上のブロックで指定された機能/動作を実装するための手段を作成するように、マシンを生成することができる。
これらのコンピュータプログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスに特定の方法で機能するように指示することができるコンピュータ読み取り可能な媒体に格納することもでき、その結果、コンピュータ読み取り可能な媒体に格納された命令は、フローチャート及び/又はブロック図の1つ以上のブロックにおいて指定された機能/動作を実装する命令を含んでいる製造品を生成する。
コンピュータプログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスにロードされ、一連の動作ステップがコンピュータ、他のプログラマブル装置、又は他のデバイス上で実行され、コンピュータ又は他のプログラマブル装置上で実行される命令がフローチャート及び/又はブロック図の1つ以上のブロックで指定された機能/動作を実装するためのプロセスを提供するように、コンピュータ実装プロセスを生成することも可能である。
図のフローチャート及びブロック図は、本発明の様々な実施形態による、システム、方法、及びコンピュータプログラムプロダクトの可能性のある実装形態のアーキテクチャ、機能、及び動作を示す。この点に関して、フローチャート又はブロック図の各ブロックは、モジュール、セグメント、又はコードの一部を表すことができ、それらは、指定された論理関数を実装するための1つ以上の実行可能命令を備える。また、いくつかの代替的な実装形態において、ブロックに記載されている機能は、図に記載されている順序から外れる可能性があることに留意されたい。例えば、連続して示される2つのブロックは、実際には実質的に同時に実行されてもよく、又はブロックが含まれる機能に応じて、時には逆順で実行されてもよい。また、ブロック図及び/又はフローチャート図の各ブロック、並びにブロック図及び/又はフローチャート図のブロックの組合せは、指定された機能又は動作を実行する専用ハードウェアベースのシステム、又は専用ハードウェアとコンピュータ命令との組合せによって実装できることに留意されたい。
本明細書で使用される用語は、特定の実施形態を説明するためだけのものであり、本発明を限定することを意図するものではない。本明細書で使用されるように、単数形「一つの(a)」、「一つの(an)」及び「一つの(the)」は、文脈が別途明確に示す場合を除き、複数形も含むことを意図している。本明細書で使用される場合、記載された対象、整数、ステップ、動作、要素、及び/又は部品の存在を明記するが、1つ以上の他の対象、整数、ステップ、動作、要素、及び/又はそれらのグループの存在又は追加を排除しない「含む(comprises)」及び/又は「含んでいる(comprising)」という用語が更に理解されるのであろう。
本発明の様々な実施形態の説明は、例示の目的で提示されているが、網羅的であることも、開示された実施形態に限定されることも意図されていない。記載された実施形態の範囲及び精神から逸脱することなく、多くの修正及び変形は、当業者には明らかであろう。本明細書で使用される用語は、実施形態の原理、市場で見出される技術に対する実際の適用又は技術的改良を最もよく説明するために、又は当業者が本明細書で開示される実施形態を理解することを可能にするために選択された。
以下の特許請求の範囲における全ての手段又はステップ及び機能要素の対応する構造、材料、動作、及び同等物は、特に特許請求される他の特許請求される要素と組合せて機能を実行するための任意の構造、材料、又は動作を含むことが、意図される。本発明の説明は、例示及び説明の目的で提示されているが、網羅的であることも、開示された形態に限定されることも意図されていない。当業者には、本発明の範囲及び精神から逸脱することなく、多くの修正及び変形が、明らかであろう。実施形態は、本発明の原理及び実際の用途を最もよく説明するために、また、当業者が意図される特定の使用に適した様々な修正を伴う様々な実施形態について、本発明を理解することを可能にするために、選択され、説明された。
これら及び他の変更は、詳細な説明に照らし、本開示に対して行うことができる。上記の説明は、本開示の特定の実施形態を説明し、企図される最良の形態を説明するが、上記がどれほど詳細にテキストに現れるかにかかわらず、本教示は、多くの方法で実施することができる。システムの詳細は、その実装形態の詳細において、かなり変更されてよく、本明細書に開示された被写体の事項によって依然として包含される。上述したように、本開示の特定の対象又は態様を説明するときに使用される特定の用語は、その用語が関連付けられる本開示の任意の特定の特徴、対象、又は態様に限定されるように本明細書で用語が再定義されることを暗示するものと解釈されるべきではない。一般的に、以下の特許請求の範囲で使用される用語は、上記の詳細な記述のセクションがそのような用語を明示的に定義しない限り、本発明を明細書に開示された特定の実施形態に限定するように解釈されるべきではない。その結果、本開示の実際の範囲は、開示された実施形態のみを包含するものではないが、特許請求の範囲に基づく開示を実施又は実装するための全ての同等の方法も同様である。
図1Aは、本開示の主題の1つ以上の実施形態による、電子顕微鏡環境における試料追跡及びドリフト補正のために構成された制御システムの模式図である。
図1Bは、本開示の主題の1つ以上の実施形態による、電子顕微鏡環境における試料追跡及びドリフト補正のために構成された制御システムの模式図である。
図2は、本開示の主題の1つ以上の実施形態による、制御システムによる反応性ドリフト補正のプロセスの詳細を示す模式図である。
図3Aは、本開示の主題の1つ以上の実施形態による、Eチップ及びホルダーの固有のx、y、及びz軸の移動の制御システムによるオンザフライ学習を、ドリフトが発生すると予想される場所の予測のふるまいと組み合わせて示す模式図である。
図3Bは、本開示の主題の1つ以上の実施形態による、Eチップ及びホルダーの固有のx、y、及びz軸の移動の制御システムによるオンザフライ学習を、ドリフトが発生すると予想される場所の予測のふるまいと組み合わせて示す模式図である。
図4は、本開示の主題の1つ以上の実施形態による、ドリフト速度及び加速度ベクトルを構築するために、ピクセルシフトを経時的に追跡する制御システムのモジュールを図示する模式図である。
図5は、本開示の主題の1つ以上の実施形態による、描画することによってユーザが関心領域を選択し、次いで、視野内でROIを移動させ、センタリングするように電子顕微鏡にコマンドすることを可能にするように構成された、制御システムの一部を形成するモジュ-ルのグラフィカル表現である。
図6は、本開示の主題の1つ以上の実施形態による、新しいセンター位置をコマンドすることをユーザに可能にするように構成された事前描画ROIを有する制御システムの一部を形成するモジュールのグラフィカル表現であり、それによって、試料又はビームは、制御システムによって移動される。
図7は、本開示で開示される主題の1つ以上の実施形態による、連続する画像の単一のセット上の多重ROIを支援するように構成される制御システムの一部を形成するモジュールのグラフィカル表現である。
図8は、本開示で開示される主題の1つ以上の実施形態による、ドリフトベクトル、背景ドリフト、及び/又は参照テンプレートを使用して、試料内でいつ移動が生じるかを判定する制御システムの一部を形成するモジュールを含むフローチャートである。
図9は、本開示で開示される主題の1つ以上の実施形態による、カメラ、検出器、顕微鏡、又はインサイチュトリガするように構成された制御システムの一部を形成するモジュールのフローチャートである。
図10Aは、本開示で開示される主題の1つ以上の実施形態による、ポジショナーの階層制御を使用するように構成された制御システムの一部を形成するモジュールを示すフローチャートである。
図10Bは、本開示で開示される主題の1つ以上の実施形態による、ポジショナーの階層制御を使用するように構成された制御システムの一部を形成するモジュールを示すフローチャートである。
図11は、本開示で開示される主題の1つ以上の実施形態による、物理的な補正のトップ上にデジタル補正を適用し、連続する画像を動画として保存するように構成された制御システムの一部を形成するモジュールのグラフィカル図である。
図12Aは、本開示で開示される主題の1つ以上の実施形態による、理想的な焦点を見つけるために自動焦点又は再焦点ルーチンを実行するように構成された制御システムの一部を形成するモジュールを示すフローチャートである。
図12Bは、本開示で開示される主題の1つ以上の実施形態による、理想的な焦点を見つけるために自動焦点又は再焦点ルーチンを実行するように構成された制御システムの一部を形成するモジュールを示すフローチャートである。
図13は、本開示で開示される主題の1つ以上の実施形態による、焦点スコアリング掃引を示すフローチャートである。
図14は、本開示で開示される主題の1つ以上の実施形態による、ユーザセットの再焦点ハンドルを用いた、標準化された焦点スコア対計算された理想から構築された電子顕微鏡用の視覚焦点制御ツールのグラフ表示である。
図15Aは、本開示で開示される主題の1つ以上の実施形態による、コマンドされた移動の方向及び大きさを改善するために、ポジショナー、レンズ及びホルダー校正を実際のふるまいと組み合わせるように構成された制御システムの一部を形成するモジュールのグラフ図である。
図15Bは、本開示で開示される主題の1つ以上の実施形態による、コマンドされた移動の方向及び大きさを改善するために、ポジショナー、レンズ及びホルダー校正を実際のふるまいと組み合わせるように構成された制御システムの一部を形成するモジュールのグラフ図である。
図16Aは、本開示で開示される主題の1つ以上の実施形態による、x軸、y軸、及びz軸の位置、アルファ/ベータの傾き、及び画像リフレッシュレートを監視して、任意のユーザ割り込みにフラグを立てるように構成された制御システムの一部を形成するモジュールに関するフローチャートである。
図16Bは、本開示で開示される主題の1つ以上の実施形態による、x軸、y軸、及びz軸の位置、アルファ/ベータの傾き、及び画像リフレッシュレートを監視して、任意のユーザ割り込みにフラグを立てるように構成された制御システムの一部を形成するモジュールに関するフローチャートである。
図17Aは、本開示で開示される主題の1つ以上の実施形態による、x軸、y軸、及びz軸の位置、アルファ/ベータの傾き、及び画像リフレッシュレートを監視して、任意のユーザ割り込みにフラグを立てるように構成された制御システムの一部を形成するモジュールに関するフローチャートである。
図17Bは、本開示で開示される主題の1つ以上の実施形態による、x軸、y軸、及びz軸の位置、アルファ/ベータの傾き、及び画像リフレッシュレートを監視して、任意のユーザ割り込みにフラグを立てるように構成された制御システムの一部を形成するモジュールに関するフローチャートである。
図18Aは、本開示で開示される主題の1つ以上の実施形態による、x軸、y軸、及びz軸の位置、アルファ/ベータの傾き、及び画像リフレッシュレートを監視して、任意のユーザ割り込みにフラグを立てるように構成された制御システムの一部を形成するモジュールに関するフローチャートである。
図18Bは、本開示で開示される主題の1つ以上の実施形態による、x軸、y軸、及びz軸の位置、アルファ/ベータの傾き、及び画像リフレッシュレートを監視して、任意のユーザ割り込みにフラグを立てるように構成された制御システムの一部を形成するモジュールに関するフローチャートである。
図19は、本開示で開示される主題の1つ以上の実施形態による、顕微鏡上で検出された割り込みから、インサイチュ制御、顕微鏡、カメラ、又は検出器上で新しいふるまいをトリガするように構成された制御システムの一部を形成するモジュールのグラフ図である。
図20Aは、本開示で開示される主題の1つ以上の実施形態による、顕微鏡上でユーザの割り込みを受け、予想されるモデル又はプロセスを改善するように構成された制御システムの一部を形成するモジュールのグラフ図である。
図20Bは、本開示で開示される主題の1つ以上の実施形態による、顕微鏡上でユーザの割り込みを受け、予想されるモデル又はプロセスを改善するように構成された制御システムの一部を形成するモジュールのグラフ図である。
図21は、本開示で開示される主題の1つ以上の実施形態による、プライマリROIのロスを防止するために、ランプレートなどのインサイチュ制御入力の自動的な減衰を提供するように構成される制御システムの一部を形成するモジュールのグラフ図である。
図22は、本開示で開示される主題の1つ以上の実施形態による、ROIサイズ、ポジショナータイミング、画像更新レート及び期待ドリフトレートに関連するアクティブな視野から刺激の最大ランプレートを計算するように構成された制御システムの一部を形成するモジュールのフローチャートである。
図23は、本開示で開示される主題の1つ以上の実施形態による、特定の熱ランプレートを達成するために、ユーザが倍率、アクティブな検出器サイズ、ピクセル解像度、破棄、ドウェルレート及び/又は露出時間を設定するのを助けるように構成される制御システムの一部を形成するモジュールのフローチャートである。
図24は、本開示で開示される主題の1つ以上の実施形態による、ユーザが1つ以上のカメラ/検出器オプション、顕微鏡セットアップ、及びインサイチュ刺激に優先順位付けして、ドリフト補正の能力内で安定した画像を保証することを可能にするように構成される、制御システムの一部を形成するモジュールの概略グラフ図である。
図25は、本開示で開示される主題の1つ以上の実施形態による、ドリフトベクトルを適用して、セカンダリ又は多くの他の画像化サイトの位置を予測し、ユーザがサイト間で容易に切り替えることを可能にするように構成される制御システムの一部を形成するモジュールの模式図である。
図26は、本開示で開示される主題の1つ以上の実施形態による、ドリフトレートを標準化し、移動が高解像度取得のために十分に遅いときをユーザに警告するように構成された制御システムの一部を形成するインジケータの概略グラフ図である。
図27は、本開示で開示される主題の1つ以上の実施形態による、ユーザ又は他のソフトウェアモジュールが画像解析に基づいてインサイチュ機能にトリガを設定することを可能にするように構成された、制御システムの一部を形成するモジュールの概略図である。
図28は、本開示で開示される主題の1つ以上の実施形態による、ユーザ又は別のソフトウェアモジュールが、インサイチュ刺激の読取に基づいて、電子顕微鏡、カメラ、又は検出器にトリガを設定することを可能にするように構成された、制御システムの一部を形成するモジュールの概略図である。
図29は、本開示で開示される主題の1つ以上の実施形態による、研究者が実験を構築し、カスタムトリガを作成するのを助けるように構成された制御システムの一部を形成するインターフェースの概略図である。
図30は、本開示で開示される主題の1つ以上の実施形態による、特定の試料のサイトの総線量及び線量レートを追跡して、特定の対象に対する際とのビームダメージをユーザが定量化するのを助けるように構成される、制御システムの一部を形成するモジュールの模式図である。
図31は、本開示で開示される主題の1つ以上の実施形態による、ユーザが特定の時間に単一のサイトについて、又は特定のインサイチュ刺激状態について、ビーム効果を比較するのを助けるように構成される、制御システムの一部を形成する視覚化モジュールの概略図である。
図32は、本開示で開示される主題の1つ以上の実施形態による、ユーザが特定の時間に単一のサイトについて、又は特定のインサイチュ刺激状態について、ビーム効果を比較するのを助けるように構成される、制御システムの一部を形成する視覚化モジュールの概略図である。
図33は、本開示で開示される主題の1つ以上の実施形態による、試料サイトを時間の関数として比較するように構成された制御システムの一部を形成する自動レポート生成モジュールの概略図である。
図34は、本開示で開示される主題の1つ以上の実施形態による、所与のインサイチュ制御について試料のサイトを比較する制御システムの一部を形成する自動レポート生成モジュールの概略図である。
図35は、本開示で開示される主題の1つ以上の実施形態による、線量、線量レート、又は他の顕微鏡パラメータ並びにインサイチュ刺激を制限するように構成された制御システムの一部を形成することができるモジュールの概略図である。
図36は、本開示で開示される主題の1つ以上の実施形態による、線量、線量レート、又は他の顕微鏡パラメータ並びにインサイチュ刺激を制限するように構成された制御システムの一部を形成することができるモジュールの概略図である。
図37は、本開示で開示される主題の1つ以上の実施形態による、UI又はトリガによる素早いナビゲーションのために、画像化可能な領域全体にわたって多数の試料サイトをどのように追跡することができるかについての実施例の概略図である。
図38は、本開示で開示される主題の1つ以上の実施形態による、画像を記述するいくつかのキーとなるメタデータと共に含まれるX、Y、及びZacesにおいて試料を安定に保つためのキー機能を用いて、ライブ画像フィード上で識別された1つ以上の関心領域の実施例の図示表現である。
図39は、本開示で開示される主題の1つ以上の実施形態による、制御システムの一部を形成するソフトウェアモジュールのための基本的な通信アーキテクチャの概略の図示表現である。
図40は、本開示で開示される主題の1つ以上の実施形態による、画像の背景ノイズを低減するフィルタ技術の概略の図示表現である。
図41は、本開示で開示される主題の1つ以上の実施形態による、全視野に対して提示される多数の関心領域の概略の図示表現である。
図42は、本開示で開示される主題の1つ以上の実施形態による、所与の期間又は所与のインサイチュ刺激のために多数のサイトから生成されたレポートの実施例の概略の図示表現である。
図43は、本開示で開示される主題の1つ以上の実施形態による、チャート形式の制御システムの概略の図示表現である。
図44Aは、図43の制御システムの様々な部分を示す。
図44Bは、図43の制御システムの様々な部分を示す。
図45は、図43の制御システムの様々な部分を示す。
図46は、図43の制御システムの様々な部分を示す。
図47Aは、図43の制御システムの様々な部分を示す。
図47Bは、図43の制御システムの様々な部分を示す。
図48は、図43の制御システムの様々な部分を示す。
図49は、図43の制御システムの様々な部分を示す。
図50は、図43の制御システムの様々な部分を示す。
図51は、図43の制御システムの様々な部分を示す。
図52Aは、図43の制御システムの様々な部分を示す。
図52Bは、図43の制御システムの様々な部分を示す。
図53は、図43の制御システムの様々な部分を示す。
図54は、図43の制御システムの様々な部分を示す。
図55Aは、図43の制御システムの様々な部分を示す。
図55Bは、図43の制御システムの様々な部分を示す。
図56は、図43の制御システムの様々な部分を示す。
図57は、図43の制御システムの様々な部分を示す。
図58は、本開示で開示される主題の1つ以上の実施形態による、自動化された実験ワークフローにおける第1のステップのグラフィカル表現である。
図59は、本開示で開示される主題の1つ以上の実施形態による、自動化された実験ワークフローにおける第2のステップのグラフィカル表現である。
図60は、本開示で開示される主題の1つ以上の実施形態による、自動化された実験ワークフローにおける第3のステップのグラフィカル表現である。
図61は、本開示で開示される主題の1つ以上の実施形態による、自動化された実験ワークフローにおける第4のステップのグラフィカル表現である。
図62は、本開示で開示される主題の1つ以上の実施形態による、自動化された実験ワークフローにおける第5のステップのグラフィカル表現である。
図63は、本開示で開示される主題の1つ以上の実施形態による、自動化された実験ワークフローにおける第6のステップのグラフィカル表現である。
図64は、本開示で開示される主題の1つ以上の実施形態による、自動化された実験ワークフローにおける第6のステップの代替図のグラフィカル表現である。
図65は、本開示で開示される主題の1つ以上の実施形態による、自動化された実験ワークフローにおける第6のステップの代替図のグラフィカル表現である。
図66Aは、本開示で開示される主題の1つ以上の実施形態による、1つの関心領域のみが視野内にある場合であっても、多数のサイトにおけるタグ付けされた領域をどのように追跡することができるかを示す概略グラフィカル表現である。
図66Bは、本開示で開示される主題の1つ以上の実施形態による、1つの関心領域のみが視野内にある場合であっても、多数のサイトにおけるタグ付けされた領域をどのように追跡することができるかを示す概略グラフィカル表現である。
図67は、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアCPU上で実行される制御ソフトウェアが顕微鏡CPU上で単一の顕微鏡サービスを利用するアーキテクチャの概略グラフィカル表現である。
図68Aは、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアCPU上で実行される制御ソフトウェアが顕微鏡CPU上の顕微鏡サービスと画像化CPU上の画像化サービスとの両方を利用するアーキテクチャの概略グラフィカル表現である。
図68Bは、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアCPU上で実行される制御ソフトウェアが顕微鏡CPU上の顕微鏡サービスと画像化CPU上の画像化サービスとの両方を利用するアーキテクチャの概略グラフィカル表現である。
図69Aは、本開示で開示される主題の1つ以上の実施形態による、顕微鏡コマンド及び画像化コマンドに必要な顕微鏡サービスクラスの概略グラフィカル表現である。
図69Bは、本開示で開示される主題の1つ以上の実施形態による、顕微鏡コマンド及び画像化コマンドに必要な顕微鏡サービスクラスの概略グラフィカル表現である。
図69Cは、本開示で開示される主題の1つ以上の実施形態による、顕微鏡コマンド及び画像化コマンドに必要な顕微鏡サービスクラスの概略グラフィカル表現である。
図70Aは、本開示で開示される主題の1つ以上の実施形態による、顕微鏡プロファイルの概略グラフィカル表現である。
図70Bは、本開示で開示される主題の1つ以上の実施形態による、顕微鏡プロファイルの概略グラフィカル表現である。
図71Aは、本開示で開示される主題の1つ以上の実施形態による、顕微鏡プロファイルが単一のサービスではなく、画像化サービス及び顕微鏡サービスからの内容及び能力から作成される、図70の変形である。
図71Bは、本開示で開示される主題の1つ以上の実施形態による、顕微鏡プロファイルが単一のサービスではなく、画像化サービス及び顕微鏡サービスからの内容及び能力から作成される、図70の変形である。
図71Cは、本開示で開示される主題の1つ以上の実施形態による、顕微鏡プロファイルが単一のサービスではなく、画像化サービス及び顕微鏡サービスからの内容及び能力から作成される、図70の変形である。
図72Aは、本開示で開示される主題の1つ以上の実施形態による、顕微鏡及び画像化ソフトウェアモジュールに接続し、全ての関連メタデータを有する固有の画像を制御ソフトウェアモジュールに送信するための高レベルプロセスの概略グラフィカル表現である。
図72Bは、本開示で開示される主題の1つ以上の実施形態による、顕微鏡及び画像化ソフトウェアモジュールに接続し、全ての関連メタデータを有する固有の画像を制御ソフトウェアモジュールに送信するための高レベルプロセスの概略グラフィカル表現である。
図72Cは、本開示で開示される主題の1つ以上の実施形態による、顕微鏡及び画像化ソフトウェアモジュールに接続し、全ての関連メタデータを有する固有の画像を制御ソフトウェアモジュールに送信するための高レベルプロセスの概略グラフィカル表現である。
図73Aは、本開示で開示される主題の1つ以上の実施形態による、連続画像フィードから固有の画像を判定し、固有の画像を制御ソフトウェアモジュールに送信するために使用することができる、より詳細な画像監視処理の概略グラフィカル表現である。
図73Bは、本開示で開示される主題の1つ以上の実施形態による、連続画像フィードから固有の画像を判定し、固有の画像を制御ソフトウェアモジュールに送信するために使用することができる、より詳細な画像監視処理の概略グラフィカル表現である。
図73Cは、本開示で開示される主題の1つ以上の実施形態による、連続画像フィードから固有の画像を判定し、固有の画像を制御ソフトウェアモジュールに送信するために使用することができる、より詳細な画像監視処理の概略グラフィカル表現である。
図74Aは、本開示で開示される主題の1つ以上の実施形態による、要求されたサービスに接続するために使用されるプロセスの概略グラフィカル表現である。
図74Bは、本開示で開示される主題の1つ以上の実施形態による、要求されたサービスに接続するために使用されるプロセスの概略グラフィカル表現である。
図75Aは、本開示で開示される主題の1つ以上の実施形態による、テスト接続プロセスの概略グラフィカル表現である。
図75Bは、本開示で開示される主題の1つ以上の実施形態による、テスト接続プロセスの概略グラフィカル表現である。
図76Aは、本開示で開示される主題の1つ以上の実施形態による、ポジショナーと像との間のX/Y回転オフセットを校正するためのプロセスの概略グラフィカル表現である。
図76Bは、本開示で開示される主題の1つ以上の実施形態による、ポジショナーと像との間のX/Y回転オフセットを校正するためのプロセスの概略グラフィカル表現である。
図76Cは、本開示で開示される主題の1つ以上の実施形態による、ポジショナーと像との間のX/Y回転オフセットを校正するためのプロセスの概略グラフィカル表現である。
図77Aは、本開示で開示される主題の1つ以上の実施形態による、特異的な画像化状態で校正することができる複数ポジショナーをハンドルするためのプロセスの概略グラフィカル表現である。
図77Bは、本開示で開示される主題の1つ以上の実施形態による、特異的な画像化状態で校正することができる複数ポジショナーをハンドルするためのプロセスの概略グラフィカル表現である。
図78Aは、本開示で開示される主題の1つ以上の実施形態による、具体的な画像化状態で画像品質スコア変化を補正するために必要な要求されたZ調整を校正するためのプロセスの概略グラフィカル表現である。
図78Bは、本開示で開示される主題の1つ以上の実施形態による、具体的な画像化状態で画像品質スコア変化を補正するために必要な要求されたZ調整を校正するためのプロセスの概略グラフィカル表現である。
図79Aは、本開示で開示される主題の1つ以上の実施形態による、X、Y、及びZにおけるドリフト補正を実行するためのプロセスの概略グラフィカル表現である。
図79Bは、本開示で開示される主題の1つ以上の実施形態による、X、Y、及びZにおけるドリフト補正を実行するためのプロセスの概略グラフィカル表現である。
図79Cは、本開示で開示される主題の1つ以上の実施形態による、X、Y、及びZにおけるドリフト補正を実行するためのプロセスの概略グラフィカル表現である。
図79Dは、本開示で開示される主題の1つ以上の実施形態による、X、Y、及びZにおけるドリフト補正を実行するためのプロセスの概略グラフィカル表現である。
図80Aは、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアモジュールから遠隔でイメージ入手を始めるためのプロセスの概略グラフィカル表現である。
図80Bは、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアモジュールから遠隔でイメージ入手を始めるためのプロセスの概略グラフィカル表現である。
図81Aは、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアモジュールから遠隔でイメージ入手を止めるためのプロセスの概略グラフィカル表現である。
図81Bは、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアモジュールから遠隔でイメージ入手を止めるためのプロセスの概略グラフィカル表現である。
図82Aは、本開示で開示される主題の1つ以上の実施形態による、視野内の具体的な位置に試料を移動させるプロセスの概略グラフィカル表現である。
図82Bは、本開示で開示される主題の1つ以上の実施形態による、視野内の具体的な位置に試料を移動させるプロセスの概略グラフィカル表現である。
図83Aは、本開示で開示される主題の1つ以上の実施形態による、顕微鏡によるコマンドされた移動後に画像が安定したかどうかを判定するためのプロセスの概略グラフィカル表現である。
図83Bは、本開示で開示される主題の1つ以上の実施形態による、顕微鏡によるコマンドされた移動後に画像が安定したかどうかを判定するためのプロセスの概略グラフィカル表現である。
図84は、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアモジュールユーザインターフェースにおけるドリフト補正経験を向上させることができるキー制御及びインジケータのグラフィカル表現である。
図85は、本開示で開示される主題の1つ以上の実施形態による、ソフトウェアモジュールユーザインターフェースからセッションの履歴をユーザが見直すことを可能にすることができる、キー制御のグラフィカル表現である。
図86は、本開示で開示される主題の1つ以上の実施形態による、ユーザが制御ソフトウェアモジュールユーザインターフェースからの説明を用いて、固有のフレーム及びタイムシーケンスにタグ付けすることができる方法のグラフィカル表現である。
図87は、本開示で開示される主題の1つ以上の実施形態による、アクティブな画像バッファ及びセッション管理をカスタマイズするためにユーザが操作することができるキー設定のグラフィカル表現である。
図88は、本開示で開示される主題の1つ以上の実施形態による、顕微鏡プロファイルを構築するために制御ソフトウェアモジュールをどのように使用することができるかのグラフィカル表現である。
図89は、本開示で開示される主題の1つ以上の実施形態による、顕微鏡プロファイルを構築するために制御ソフトウェアモジュールをどのように使用することができるかのグラフィカル表現である。
図90は、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアモジュールが画像化状態及びイメージャーに固有の校正をどのように管理することができるかのグラフィカル表現である。
図91は、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアモジュールが画像化状態及びイメージャーに固有の校正をどのように管理することができるかのグラフィカル表現である。
図92は、本開示で開示される主題の1つ以上の実施形態による、ユーザが制御ソフトウェアモジュールのふるまい又はオプションを変更することができる特定のタイプのインサイチュ実験又はワークフローを指示することを可能にする、ユーザインターフェースのグラフィカル表現である。
図93Aは、本開示で開示される主題の1つ以上の実施形態による、キーとなるワークフロー機能を可能にするユーザインターフェースのグラフィカル表現である。
図93Bは、本開示で開示される主題の1つ以上の実施形態による、キーとなるワークフロー機能を可能にするユーザインターフェースのグラフィカル表現である。
図94Aは、本開示で開示される主題の1つ以上の実施形態による、補正経験を向上させるインジケータ及びトリガから構成されるユーザインターフェースのグラフィカル表現である。
図94Bは、本開示で開示される主題の1つ以上の実施形態による、補正経験を向上させるインジケータ及びトリガから構成されるユーザインターフェースのグラフィカル表現である。
図94Cは、本開示で開示される主題の1つ以上の実施形態による、補正経験を向上させるインジケータ及びトリガから構成されるユーザインターフェースのグラフィカル表現である。
図94Dは、本開示で開示される主題の1つ以上の実施形態による、補正経験を向上させるインジケータ及びトリガから構成されるユーザインターフェースのグラフィカル表現である。
図95Aは、本開示で開示される主題の1つ以上の実施形態による、ユーザが画像及びメタデータを表示することができるセッションレビューツールのためのユーザインターフェースのグラフィカル表現である。
図95Bは、本開示で開示される主題の1つ以上の実施形態による、ユーザが画像及びメタデータを表示することができるセッションレビューツールのためのユーザインターフェースのグラフィカル表現である。
図95Cは、本開示で開示される主題の1つ以上の実施形態による、ユーザが画像及びメタデータを表示することができるセッションレビューツールのためのユーザインターフェースのグラフィカル表現である。
図95Dは、本開示で開示される主題の1つ以上の実施形態による、ユーザが画像及びメタデータを表示することができるセッションレビューツールのためのユーザインターフェースのグラフィカル表現である。
図95Eは、本開示で開示される主題の1つ以上の実施形態による、ユーザが画像及びメタデータを表示することができるセッションレビューツールのためのユーザインターフェースのグラフィカル表現である。
図96は、本開示で開示される主題の1つ以上の実施形態による、経験をカスタマイズするために操ることができるユーザ設定のグラフィカル表現である。
図97は、本開示で開示される主題の1つ以上の実施形態による、ライブ画像を見ながら、焦点補助校正及び焦点補助校正を可能にすることができるユーザインターフェースのグラフィカル表現である。
図98Aは、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアモジュール又は関連ドキュメンテーションが、許容可能なドリフトレートに応じて、画像入手レートと視野との間の関連性をどのように通信することができるかを示すグラフ表現である。
図98Bは、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアモジュール又は関連ドキュメンテーションが、許容可能なドリフトレートに応じて、画像入手レートと視野との間の関連性をどのように通信することができるかを示すグラフ表現である。
図98Cは、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアモジュール又は関連ドキュメンテーションが、許容可能なドリフトレートに応じて、画像入手レートと視野との間の関連性をどのように通信することができるかを示すグラフ表現である。
図99Aは、本開示で開示される主題の1つ以上の実施形態による、焦点ずらしの調整によって頂点に向かってドライブするために、焦点アルゴリズムがどのようにSTEMモードで焦点の品質スコアを利用することができるかのグラフ表現である。
図99Bは、本開示で開示される主題の1つ以上の実施形態による、焦点ずらしの調整によって頂点に向かってドライブするために、焦点アルゴリズムがどのようにSTEMモードで焦点の品質スコアを利用することができるかのグラフ表現である。
図100Aは、本開示で開示される主題の1つ以上の実施形態による、焦点ずらしの調整によって頂点に向かってドライブするために、焦点アルゴリズムがどのようにして焦点の質スコアの逆数をTEMモードで利用することができるかのグラフ表現である。
図100Bは、本開示で開示される主題の1つ以上の実施形態による、焦点ずらしの調整によって頂点に向かってドライブするために、焦点アルゴリズムがどのようにして焦点の質スコアの逆数をTEMモードで利用することができるかのグラフ表現である。
図101は、本開示で開示される主題の1つ以上の実施形態による、システムの様々な部品とインタラクティブする制御サービスのための全体的なデータフローのグラフ表現である。
図102Aは、本開示で開示される主題の1つ以上の実施形態による、インサイチュ加熱ソフトウェアモジュールのユーザインターフェースのグラフ表現である。
図102Bは、本開示で開示される主題の1つ以上の実施形態による、インサイチュ加熱ソフトウェアモジュールのユーザインターフェースのグラフ表現である。
図103Aは、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアモジュールがランプレートを推奨し、インサイチュソフトウェアモジュール及び制御ソフトウェアモジュール内で自動休止/再開及び接続状態を通信する、ユーザインターフェースのグラフ表現である。
図103Bは、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアモジュールがランプレートを推奨し、インサイチュソフトウェアモジュール及び制御ソフトウェアモジュール内で自動休止/再開及び接続状態を通信する、ユーザインターフェースのグラフ表現である。
図104Aは、本開示で開示される主題の1つ以上の実施形態による、インサイチュシステム、顕微鏡、画像化システム、及び任意の他の接続されたシステムからのメタデータを見て、ライブ表示及びセッション又は画像レビューツール上にオーバーレイすることができる、ユーザインターフェースのグラフ表現である。
図104Bは、本開示で開示される主題の1つ以上の実施形態による、インサイチュシステム、顕微鏡、画像化システム、及び任意の他の接続されたシステムからのメタデータを見て、ライブ表示及びセッション又は画像レビューツール上にオーバーレイすることができる、ユーザインターフェースのグラフ表現である。
図104Cは、本開示で開示される主題の1つ以上の実施形態による、インサイチュシステム、顕微鏡、画像化システム、及び任意の他の接続されたシステムからのメタデータを見て、ライブ表示及びセッション又は画像レビューツール上にオーバーレイすることができる、ユーザインターフェースのグラフ表現である。
図104Dは、本開示で開示される主題の1つ以上の実施形態による、インサイチュシステム、顕微鏡、画像化システム、及び任意の他の接続されたシステムからのメタデータを見て、ライブ表示及びセッション又は画像レビューツール上にオーバーレイすることができる、ユーザインターフェースのグラフ表現である。
図104Eは、本開示で開示される主題の1つ以上の実施形態による、インサイチュシステム、顕微鏡、画像化システム、及び任意の他の接続されたシステムからのメタデータを見て、ライブ表示及びセッション又は画像レビューツール上にオーバーレイすることができる、ユーザインターフェースのグラフ表現である。
図105Aは、固有のワークフローと、データを同期させる別のソフトウェアモジュールにデータをプッシュするレポート要素とを有する既存のインサイチュソフトウェアモジュールパッケージソフトの実施例を示すグラフ表現である。
図105Bは、本開示で開示される主題の1つ以上の実施形態による、既存のインサイチュソフトウェア内のワークフロー対そのソフトウェアモジュール内のレポート要素の実施例を詳述する。
固有のワークフローを用いて、データを別のソフトウェアにプッシュするレポート要素を有する既存のインサイチュソフトウェアパッケージソフトの一例を示す。
図106は、本開示で開示される主題の1つ以上の実施形態による、図105Aに記載のソフトウェアモジュールパッケージソフトがネイティブなインサイチュソフトウェアモジュールと、制御ソフトウェアモジュール内の埋め込み要素との間で共有されるワークフローをどのように有することができるかを示すグラフ表現である。
図107Aは、本開示で開示される主題の1つ以上の実施形態による、既存のインサイチュソフトウェアモジュールのユーザインターフェースの一実施例を示すグラフ表現である。
図107Bは、本開示で開示される主題の1つ以上の実施形態による、既存のインサイチュソフトウェアモジュールのユーザインターフェースの一実施例を示すグラフ表現である。
図107Cは、本開示で開示される主題の1つ以上の実施形態による、既存のインサイチュソフトウェアモジュールのユーザインターフェースの一実施例を示すグラフ表現である。
図107Dは、本開示で開示される主題の1つ以上の実施形態による、既存のインサイチュソフトウェアモジュールのユーザインターフェースの一実施例を示すグラフ表現である。
図108Aは、本開示で開示される主題の1つ以上の実施形態による、既存のインサイチュ制御ソフトウェアモジュールに使用されるユーザインターフェースのグラフ表現である。
図108Bは、本開示で開示される主題の1つ以上の実施形態による、既存のインサイチュ制御ソフトウェアモジュールに使用されるユーザインターフェースのグラフ表現である。
図109は、本開示で開示される主題の1つ以上の実施形態による、既存のインサイチュ制御ソフトウェアモジュールに使用されるユーザインターフェースのグラフ表現である。
図110は、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアモジュールが、ユーザが実験に対する累積線量又は最大瞬間線量レートの効果を効果的に定量化し、知りながら走査し、検討するのを助けることができるワークフローを詳述するグラフのフローチャートである。
図111は、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアモジュールが、ユーザが実験に対する累積線量又は最大瞬間線量レートの効果を効果的に定量化し、知りながら走査し、検討するのを助けることができるワークフローを詳述するグラフのフローチャートである。
図112は、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアモジュールが、ユーザが実験に対する累積線量又は最大瞬間線量レートの効果を効果的に定量化し、知りながら走査し、検討するのを助けることができるワークフローを詳述するグラフのフローチャートである。
図113は、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアモジュールが、ユーザが実験に対する累積線量又は最大瞬間線量レートの効果を効果的に定量化し、知りながら走査し、検討するのを助けることができるワークフローを詳述するグラフのフローチャートである。
図114は、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアモジュールが、ユーザが実験に対する累積線量又は最大瞬間線量レートの効果を効果的に定量化し、知りながら走査し、検討するのを助けることができるワークフローを詳述するグラフのフローチャートである。
図115は、本開示で開示される主題の1つ以上の実施形態による、制御ソフトウェアモジュールが、ユーザが実験に対する累積線量又は最大瞬間線量レートの効果を効果的に定量化し、知りながら走査し、検討するのを助けることができるワークフローを詳述するグラフのフローチャートである。