JP7507760B2 - 学習型のオートフォーカス - Google Patents

Description

本発明は、訓練されたモデルを用いて焦点位置を決定するための方法および装置に関する。

視覚的な知覚は、人間の生理学における重要な構成部分である。人間の目の光刺激を通して、我々の周囲環境から情報を得ることができる。人間の目は、近距離場および遠距離場にある物体に合焦することができる。目の屈折力のこの動的な適合は、調節とも呼ばれる。技術的な画像化方法の場合にも、物体を鮮明に表示するために物体に焦点を合わせることが重要である。物体に自動的に合焦させる技術は、オートフォーカスとも呼ばれる。しかしながら、従来技術は、既存のシステムのいくつかの欠点および問題を示しており、以下ではそれらについて検討する。

従来のように動作するオートフォーカスシステムは、１つの明確に画定されるべき焦点平面を想定しており、したがって、焦点が合っているのは単一の平面であり、この平面を取り囲んでいるすべての平行な平面は、焦点が合っていない。この１つの傑出した焦点平面は、この焦点平面だけが最大の鮮明度を含んでいるという点で、この焦点平面を取り囲んでいる平面とは異なる。このことは、他のすべての平行な平面が、物体をより不鮮明に結像しているということを意味する。この形式のフォーカスシステムは、複数の欠点を有する。例えば、この形式のフォーカスシステムは、複数またはすべての画像平面に焦点が合っている場合には使用することができない。このことは、定義上、例えば共焦点顕微鏡システムの場合に当てはまる。共焦点顕微鏡の場合にはそれぞれの画像平面に焦点が合っているので、「焦点が合っている」という表現は的確ではない。ここでは「鮮明」または「不鮮明」な平面は存在しない。従来技術によるオートフォーカスシステムのさらなる欠点は、物体の種々異なる特徴に適合できないことである。さらに、顕微鏡による記録の際に走査領域、例えば走査領域の開始点および終了点を規定することができない。

自動的な焦点合わせのためのさらなる公知の方法は、レーザ反射方法である。レーザ反射方法は、正確に動作できるようにするために、基準平面を起点とした明確に測定可能な反射を前提としている。この形式のフォーカスシステムは、光の反射率が光学的な状況に依存しているという欠点を有する。液浸液を使用することによって反射強度が低下し、測定可能な値を下回る可能性がある。対物レンズと液浸液とスライドとの間で光学的に正確に適合された移行部は、反射成分Ｒをほぼゼロに低減し、これにより、反射ベースのオートフォーカスシステムをブロックする。レーザ反射方法はさらに、被検物体が変化することなく常に反射平面から同一の距離にあることを前提としている。しかしながら、このことは、移動する物体の場合には当てはまらない。生きている細胞の場合には、細胞は、例えば「動き回る」ことができるので、細胞と測定可能な反射平面との間の間隔は、等距離ではない。レーザ反射方法はさらに、使用されている波長に依存している。とりわけ共焦点システムの場合には、波長が信号対雑音比に影響を及ぼす可能性がある。さらに、物体が走査領域内に存在するかどうかを判定することは不可能である。反射方法の場合、走査領域内に走査可能な物体が全く存在しない場合であっても、いずれにせよ画像スタックが記録される。走査が大量の場合には、このことは、時間およびメモリスペースの損失を意味し、これにより、高いコストが発生する可能性がある。

オートフォーカスシステムにおいて使用されるさらなる方法は、断層影像方法である。断層影像方法は、顕微鏡では使用できず、標準的なカメラ技術のみに制限されているという欠点を有する。

自動的な焦点合わせのためのすべての公知の方法の問題は、いずれも、適切な焦点平面の予測に加えてさらに、最適な３Ｄ走査領域の予測を行うこともできないことである。さらに、標準方法は、緩慢であることが多く、比較的広い面積が走査される方法には限定的にしか適さない。さらに、従前の方法は、複数の異なる物体同士を区別することができない。したがって、従来技術では、複数の異なる物体のうちのどの物体に合焦させるべきかが明確に定義されないという問題が生じる。

公知のシステムのさらなる欠点は、焦点平面を発見するために多数の画像を記録しなければならないことが多いことである。この場合には、焦点合わせ中の試料への露光は、かなりの量になる可能性がある。生きている細胞または生きている動物にそのような方法が適用される場合には、この露光により、細胞が死ぬか、または細胞の挙動を変えてしまうような光毒性作用がもたらされる可能性がある。すなわち、オートフォーカス方法は、被検物体に対してかなりの影響を及ぼす可能性があり、焦点平面を決定するために過多な画像が記録される場合には、これによって測定値を歪曲する可能性がある。

したがって、本発明の課題は、焦点位置を効率的かつ迅速に決定することである。本発明は、訓練されたモデルによる記録された画像の分析によって焦点位置を決定するための方法および装置により、上記の問題および課題を解決する。

焦点位置を決定するための本発明による方法は、少なくとも１つの第１の画像を記録することであって、記録された少なくとも１つの第１の画像の画像データは、当該少なくとも１つの第１の画像が記録されたときの少なくとも１つの第１の焦点位置に依存している、ことと、訓練されたモデルによる、記録された少なくとも１つの第１の画像の分析に基づいて、第２の焦点位置を決定することとを含む。

本発明による方法および本発明による装置は、焦点位置を決定するために、例えば深層学習の意味でニューラルネットワークに基づくことができる訓練されたモデルを、検出されたデータに適用することができるという利点を有する。深層学習モデルは、画像化方法の専門家と同じくらい正確に、またはそれよりも良好に、最適な焦点についての予測を行うことができる。このモデルは、広範囲の試料、画像記録条件、および記録モダリティに適用可能であり、従来技術からのオートフォーカスシステムと比較してより高い精度を可能にする。

本発明による方法および本発明による装置はさらに、ニューラルネットワークのための入力値として単一の画像を使用した場合に、焦点位置を発見するために多数の画像が必要であった従来の画像ベースの焦点合わせシステムの場合よりも、焦点位置をはるかに迅速に、かつ試料を傷めずに決定することが可能となるという利点を有する。さらに、訓練されたモデルを用いて、画像データ内の、訓練されたモデルの訓練とのコンテクストにある特定の物体に焦点を合わせることができる。これにより、物体の位置に関係なく、結像される物体に焦点を合わせることが可能となる。本発明による方法および本発明による装置のさらなる利点は、例えば共焦点顕微鏡およびデジタルカメラのような種々異なるシステムにおいて使用可能であることである。

本発明による方法および本発明による装置は、それぞれ特定の実施形態によってさらに改善可能である。以下に記載される本発明の実施形態の個々の技術的特徴は、互いに任意に組み合わせ可能であり、かつ／または省略された技術的特徴によって達成される技術的効果が重要でない場合に限り、省略可能である。

一実施形態では、本方法は、例えば光軸に沿って第１の焦点位置へとシフトされた、決定された第２の焦点位置を用いて、少なくとも１つの第２の画像を記録するステップを含むことができる。このことは、自動的に実施可能であり、したがって、測定中の特殊な状況への迅速な適合と焦点位置の最適化とが、測定の実行中でさえも可能となる。少なくとも１つの第１の画像は、少なくとも１つの第２の画像よりも低い分解能によって記録可能である。これにより、焦点の合った画像を記録することができる速度を増加させることができる。

一実施例では、少なくとも１つの第１の画像および少なくとも１つの第２の画像は、訓練されたモデルの訓練とのコンテクストにある情報を含むことができる。例えば少なくとも１つの物体が、訓練されたモデルの訓練とのコンテクストにある場合には、記録された少なくとも１つの第１の画像のうちの１つまたは複数において結像された１つまたは複数の物体のうちの少なくとも１つの物体は、記録された少なくとも１つの第２の画像内では、記録された少なくとも１つの第１の画像内よりもより鮮明に結像可能である。これにより、永続的な再焦点合わせと、所定の時間間隔での、複数の画像にわたる移動する物体の鮮明な結像と、が可能になる。

本方法の一実施形態では、第２の焦点位置を決定することは、３Ｄ走査領域を決定することを含むことができる。このことは、モデルを訓練した際に基礎とした情報に基づくことができる。例えば、モデルは、特定の大きさの物体または試料に基づいて訓練されたものであってよく、少なくとも１つの第１の画像の分析に基づいて、焦点位置および物体の寸法を決定することができる。走査領域を決定することにより、軸に沿って物体を走査すべき実験を、迅速に実施することが可能となる。

一実施形態では、本方法は、装置、例えば顕微鏡またはデジタルカメラを第２の焦点位置へと設定するステップを含むことができる。この装置は、光学システムとセンサとを含むことができ、光学システムとセンサとを用いて、この装置を第２の焦点位置へと設定することができる。本発明による方法の一実施形態は、装置を第２の焦点位置へと設定することが、光学システムをセンサに対して相対的にシフトさせることを含むことによって実現可能である。追加的または代替的に、装置を第２の焦点位置へと設定することは、光学システムおよびセンサを光軸に沿って物体に対して相対的にシフトさせることを含むこともできる。装置の設定は、焦点駆動部によって実施可能である。

本発明による方法の１つまたは複数の実施形態では、本方法は、データを検出するステップを含むことができる。このことは、第３の画像を検出することを含むことができる。検出された第３の画像の画像データは、使用者によって設定された、ユーザ定義された焦点位置に依存することができる。ユーザ定義された焦点位置は、第２の焦点位置とは相違することができ、検出されたデータは、検出された第３の画像と、ユーザ定義された焦点位置と第２の焦点位置との間の相違の表現、および／またはユーザ定義された焦点位置の表現と、を含むことができる。システムは、ユーザ定義された焦点位置を検出したことにより、使用者またはユーザが、訓練されたモデルによって提案された焦点位置に同意しなかったと結論付けることができる。このデータは、訓練されたモデルの微調整のため、または新しいモデルの訓練のために使用されることにより、訓練されたモデルを持続的に改善するために役立つことができる。訓練されたモデルを訓練するために十分なデータを取得するために、データを検出することは、画像スタックを検出することを含むことができる。画像スタックのそれぞれの画像の画像データは、ユーザ定義された焦点位置に対して既知の間隔を有する焦点位置に依存することができる。この間隔は、光軸に沿ったユーザ定義された焦点位置に対する、使用されている対物レンズの軸方向分解能の整数倍に相当することができる。ユーザ定義された焦点位置に対応する検出された第３の画像は、検出されたデータを含む訓練のための目標状態としてマーキング可能である。

本方法の一実施形態では、検出されたデータは、メタデータを含むことができる。メタデータは、画像記録モダリティに関する情報、照明に関する情報、試料に関する情報、物体に関する情報、画像を検出するための装置のシステムパラメータに関する情報、画像記録パラメータに関する情報、コンテクスト情報、および／または対物レンズパラメータに関する情報を含むことができる。したがって、特定の状況下で訓練されたモデルを訓練することができ、これにより、高い変動性を有するデータに関して訓練されたモデルと比較して、非常に正確な予測を行うことが可能となる。焦点位置を決定するための訓練されたモデルは、例えば、複数のモデルから選択可能であり、複数の訓練されたモデルは、使用分野によって分類可能であり、複数の訓練されたモデルの各々は、特定の手法で訓練されたものであり、複数の訓練されたモデルは、階層的に編成されており、かつ／または複数の訓練されたモデルからの個々の訓練されたモデルは、試料、実験、測定、または機器設定の個々のタイプに向けて専用化されている。

本発明による方法の１つまたは複数の実施形態では、本方法は、検出されたデータを用いて訓練されたモデルを適合させるステップをさらに含むことができる。このことは、検出されたデータを用いて、訓練されたモデルの一部分を訓練することによって、または１つまたは複数のソースに由来しており、かつ／もしくは検出されたデータが含まれている集約されたデータを用いて、訓練されたモデルを再訓練することによって実施可能である。これにより、例えば深層学習モデルのような訓練されたモデルの予測精度を持続的に改善することができる。なぜなら、本方法は、フィードバックによって新しい状況に適合可能であり、したがって、従来技術からの方法よりもよりフレキシブルであるからである。ユーザの挙動から「学習」することによってシステムが改善されるので、オートフォーカスの精度は、ますます高くなる。モデルの絶え間ない改善によってさらに、ますます新しい適用領域が開拓される。本方法はさらに、今まで見たことのない新しい試料に対してますますロバストになる。これに対して、従前のアプローチは、精度に関して妥協されるほど普遍的でなければならなかったか、または新しい試料タイプまたは画像化条件に適用することができないほど特殊でなければならなかった。したがって、本発明による方法は、増大し続ける広範囲の試料、画像記録条件、および記録モダリティに適用可能である。

本発明による装置の一実施形態では、焦点位置を決定するための装置は、１つまたは複数のプロセッサと、１つまたは複数のコンピュータ可読記憶媒体と、を含むことができる。記憶媒体上には、１つまたは複数のプロセッサによって実行された場合に、上述した本発明による方法が実施されることを引き起こすコンピュータ実行可能命令が保存されている。

一実施形態では、本発明による装置は、焦点位置を設定するための画像記録システムの一部であり得る。画像記録システムは、デジタルカメラ（例えば、コンパクトカメラ、またはロボットもしくは自律的に行動する機械での生産において使用するためのカメラ）、携帯型でもあり得るカメラ付きのコンピュータ（例えば、ノートブック、携帯電話、スマートフォン、またはタブレット）、または顕微鏡もしくは顕微鏡システムを含むことができる。これに代えて、装置を、画像記録システムから空間的に分離させて、ネットワークを介して画像記録システムに接続してもよい。一実施例では、画像記録システムは、少なくとも１つのセンサと、少なくとも１つのセンサのうちの１つのセンサ上に１つまたは複数の物体を結像させるための光学システムと、少なくとも１つのアクチュエータと、を含むことができる。例えば、三脚のＺ駆動部、Ｚ検流計、光学システムの対物レンズ上のピエゾフォーカス、ダイレクトドライブ、リニアモータ、ステッピングモータ、超音波モータ、リングモータ、マイクロモータ、およびピエゾテーブルであり得る少なくとも１つのアクチュエータは、画像記録システムを第２の焦点位置へと設定することができる。本実施形態では、少なくとも１つのアクチュエータは、焦点合わせ可能な対物レンズの一部であり得、焦点合わせ可能な対物レンズは、ピエゾ駆動部を用いない焦点技術に基づいている。画像記録システムは、ネットワークを介して、訓練されたモデルをクラウドからダウンロードするように、かつ／または検出されたデータをクラウドにアップロードするように構成された手段を含むことができる。これにより、モデルを持続的に更新することができ、迅速に訓練されたモデルを利用することができる。上記の画像記録システムと組み合わせることができる本発明による画像記録システムのさらなる実施形態は、ユーザインターフェースを含むことができ、ユーザインターフェースは、当該ユーザインターフェースを用いて、ユーザ定義された焦点位置を設定することができるように、かつ／または入力パラメータを検出することができるように構成されている。

本発明による装置および本発明による方法は、それぞれそれ自体で有利であるさらなる実施形態によってさらに改善可能である。個々の実施形態の技術的特徴は、互いに任意に組み合わせ可能であり、かつ／または省略された技術的特徴によって達成される技術的効果が重要でない場合に限り、省略可能である。

以下では、本発明の対象を、例示的な図面に基づいてより詳細に説明することとする。図面には、本発明の有利な実施形態の例が示されている。

一実施形態による焦点位置を決定するための本発明によるシステムの概略図である。 一実施形態による焦点位置を決定するための本発明によるシステムの概略図である。 一実施形態による焦点位置を決定するための本発明による方法の概略図である。 一実施形態による焦点位置を決定するための訓練されたモデルの概略図である。 本発明による方法の概略フローチャートである。

図１は、画像化方法のための１つまたは複数の焦点位置を決定するためのシステム１００を示す。システム１００は、画像を検出するための装置１１０を含む。画像を検出するための装置１１０は、例えばデジタルカメラのようなカメラ、例えばスマートフォンカメラのような携帯型コンピュータに組み込まれたカメラ、または例えば広視野顕微鏡、共焦点顕微鏡、もしくは光シート顕微鏡のような顕微鏡を含むことができる。画像を検出するための装置１１０は、１つまたは複数のセンサ１１２と、１つまたは複数のアクチュエータ１１４と、を含むことができる。装置１１０はさらに、以下の光学部品、すなわち１つまたは複数のレンズ、１つまたは複数のミラー、１つまたは複数の絞り、および１つまたは複数のプリズムのうちの少なくとも１つから構成された光学システムを含むことができ、なお、レンズは、種々異なるレンズタイプを含むことができる。光学システムは、対物レンズを含むことができる。装置１１０はさらに、照明および／または蛍光励起のための１つまたは複数の光源を含むことができる。

１つまたは複数のセンサ１１２および１つまたは複数のアクチュエータ１１４は、データを受信および／または送信することができる。センサ１１２のうちの１つは、画像データを記録するための画像センサ、例えば、ＣＣＤセンサ（“charge-coupled device（電荷結合素子）”）またはＣＭＯＳセンサ（“complementary metal-oxide-semiconductor（相補的金属酸化物半導体）”）のようなシリコンセンサを含むことができ、光学システムを用いて、物体を画像センサ上に結像させることができる。１つまたは複数のセンサは、好ましくはデジタル形式の画像データとメタデータとを検出することができる。画像データおよび／またはメタデータを使用して、例えば、焦点位置を予測することができる。メタデータは、１つまたは複数の画像の記録に関連するデータを含むことができ、例えば、明視野照明式、落射蛍光式、微分干渉コントラスト式、または位相コントラスト式のような画像記録モダリティと、光源の強度、画像センサの増幅率、サンプリングレートのような画像記録パラメータと、対物レンズの軸方向分解能のような対物レンズパラメータと、を含むことができる。画像データおよびメタデータは、画像記録装置１１０内の、例えばワークステーションコンピュータ、組み込みコンピュータ、またはマイクロコンピュータのような装置１３０内で処理可能である。

図１の概略図が、領域１１０，１２０，および１３０の境界を定めているとはいえ、これらの領域を、単一の装置の一部とすることができる。これに代えて、これらの領域１１０，１２０，および１３０は、他の実施形態では、互いに空間的に分離されていて、かつネットワークを介して互いに接続されている２つまたは３つの装置を含むこともできる。装置１３０は、一実施形態では、１つまたは複数のプロセッサ１３２と、揮発性のデータメモリ１３４と、ニューラルネットワークまたは訓練されたモデル１３６と、永続的なデータメモリ１３８と、ネットワーク接続部１４０と、を含むことができる。

１つまたは複数のプロセッサ１３２は、グラフィカル処理ユニット（ＧＰＵ）、テンソルフロー処理ユニット（ＴＰＵ）、機械学習（ＭＬ）および／もしくは深層学習（ＤＬ）に向けて専用化された特定用途向け集積回路（ＡＳＩＣ）もしくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または少なくとも１つの中央処理装置（ＣＰＵ）のような、コンピューティングアクセラレータを含むことができる。１つまたは複数のプロセッサ１３２を用いて、焦点を決定するための訓練されたモデルを使用することができる。画像を検出するための装置において検出された画像を分析するために使用される、訓練または予測されたモデルの使用は、予測（推論）を行うために役立つ。推論は、既に事前に訓練されたニューラルネットワークまたはモデルを使用して、独立変数（Ｘと呼ばれる）に基づいて従属変数（ｙと呼ばれる）を予測することを含む。すなわち、ニューラルネットワークを訓練するために（主として）使用されているわけではない使用機械または装置１３０を、訓練されたネットワークに基づいて予測を行うように構成することができる。使用機械または装置１３０への訓練されたニューラルネットワークの伝送は、この伝送によって使用機械または装置１３０が追加的な「インテリジェンス」を獲得するように、実施可能である。これによって使用機械または装置１３０は、所望のタスクを独立して解決することが可能となる。とりわけ、訓練よりも、すなわちモデルの開発よりも桁違いに少ない計算能力しか必要としない推論は、通常のＣＰＵ上でも機能する。本実施形態では、１つまたは複数のプロセッサ１３２を使用して、モデルまたはモデルの一部を、人工知能（ＡＩ）を用いて訓練することができる。訓練されたモデル自体は、１つまたは複数のプロセッサによって実行可能である。これにより、認知的に拡張された装置１３０が得られる。認知的に拡張されるとは、ニューラルネットワーク（または深層学習モデル）または他の機械学習プロセスを使用することによって、この装置が、画像内容または他のデータを意味的に認識可能および処理可能となることを意味する。

ネットワーク接続部１４０を介して、データをクラウド１５０にアップロードするか、またはクラウドからダウンロードすることができる。データは、画像データ、メタデータ、訓練されたモデル、それらの構成要素、またはデータの非表示表現（“hidden representations”）を含むことができる。したがって、コンピュータ１３０は、ネットワーク接続部１４０を介してクラウド１５０から新しい改善されたモデルをロードすることができる。モデルを改善するために、新しいデータをクラウド１５０に自動的または半自動的にロードすることができる。一実施形態では、ニューラルネットワークによって予測された焦点位置の上書きが検出される。上書きにより、画像データと、所望の焦点位置または目標状態に対応する焦点位置と、のような新しい値のペアを生成して、ニューラルネットワーク１３６またはクラウド内に保存されているニューラルネットワークを訓練または微調整することができる。このようにして生成されたデータは、クラウド１５０内のモデルを訓練するために利用できる訓練用データセットを継続的に拡張する。これにより、使用者と製造業者との間にフィードバックループが形成され、このフィードバックループにより、ニューラルネットワークを特定の用途のために継続的に改善することが可能となる。クラウド１５０は、ＡＩコンポーネント１５２を含むことができ、このＡＩコンポーネント１５２を用いて、モデルおよび／またはニューラルネットワークを訓練することができる。

システム１００はさらに、ユーザインターフェース１２０を含み、このユーザインターフェース１２０は、装置１１０、コンピュータ１３０、または例えば制御コンピュータもしくはワークステーションコンピュータのような他の装置の一部であり得る。ユーザインターフェース１２０は、例えば焦点調節器のような１つまたは複数の切り替え要素１２２と、ニューラルネットワーク１３６のための追加的なパラメータを入力することができるソフトウェア実装されたユーザインターフェース１２４と、を含む。この追加的なパラメータは、試料の種類と、染色や培養条件のような実験パラメータと、に関する情報を含むことができる。一実施形態では、ユーザは、ニューラルネットワークからの結果を上書きすることができ、これによってニューラルネットワークの精緻化（微調整）に貢献することができる。ユーザは、例えば、使用目的にとって適切なまたは所望の焦点位置を入力することができる。

ニューラルネットワーク１３６は、入力値に基づいて予測を行うことができる。入力値は、画像および／またはメタデータを含むことができる。例えば、ニューラルネットワーク１３６は、入力値に基づいて正しい焦点位置についての予測を行うことができる。この予測を使用して、１つまたは複数のアクチュエータ１１４のうちの少なくとも１つを相応に制御することができる。ニューラルネットワークを用いた入力値の予測または分析に依存して、焦点駆動部を設定することができる。１つまたは複数のアクチュエータは、三脚のＺ駆動部、Ｚ検流計、対物レンズ上のピエゾフォーカス（「ＰｉＦｏｃ（登録商標）」）、ダイレクトドライブ、リニアモータ、ステッピングモータ、超音波モータ、リングモータ、マイクロモータ、またはピエゾテーブルを含むことができる。

１つまたは複数のアクチュエータ１１４は、予測された平面または焦点位置へと設定可能である。平面または最適な焦点位置を決定するための方法は、任意の頻度で繰り返し可能である。センサ１１２のうちの１つは、新しい画像を記録することができ、この新しい画像を、ニューラルネットワーク１３６を用いて分析することができる。その結果に基づいて、アクチュエータは、新しい位置を設定することができるか、または焦点のための最適な位置に到達したことを判断することができる。最適な焦点位置を決定するための繰り返しの回数は、終了基準によって決定可能である。例えば、現在の焦点位置と予測された焦点位置との間の差ベクトルの方向の反転を、終了基準として利用することができる。

図２は、一実施形態における画像記録システム２１０、例えば顕微鏡と、ＡＩ対応の装置２２０および２３０と、の間の通信を示す。単一の顕微鏡自体は、ハードウェアアクセラレーションおよび／またはマイクロコンピュータを含むことができ、このハードウェアアクセラレーションおよび／またはマイクロコンピュータは、ＡＩを可能にし、かつ訓練されたモデル（例えば、ニューラルネットワーク）の実行を可能にする。訓練されたモデルは、深層学習結果ネットワークを含むことができる。これらのニューラルネットワークは、少なくとも１つの深層学習プロセスおよび／または少なくとも１つの深層学習方法によって学習された結果を表すことができる。これらのニューラルネットワークは、特定のタスクが以後自動化されて最高の品質で実行され得るように、収集された知識を、自動化された学習によって適切な方法で特定のタスクアンサンブルに圧縮する。

顕微鏡は、１つまたは複数のコンポーネント２６０および２７０を含むことができる。アクチュエータ２６０およびセンサ２７０のような顕微鏡の種々異なるコンポーネント自体は、ＡＩ対応であり、マイクロコンピュータまたはＦＰＧＡを含むことができる。顕微鏡２１０は、組み込みシステム２２０および制御コンピュータ２３０と通信するように構成されている。一例では、顕微鏡２１０は、ハードウェアアクセラレーションされたＡＩ（人工知能）を有する１つまたは複数の組み込みシステム２２０、および当該顕微鏡２１０の制御コンピュータ２３０と、双方向通信接続部２４０を介して同時または並列に通信する。双方向通信接続部２４０、例えば深層学習バスを介して、（例えば、画像、機器パラメータ、実験パラメータ、生物学的データのような）データおよびモデル、それらの構成要素、またはデータの非表示表現（“hidden representations”）を交換することができる。モデルは、実験の実行中に（モデルの一部の訓練または適合によって）変更可能である。さらに、新しいモデルを、クラウド２５０から顕微鏡または装置にロードして使用することができる。このことは、モデル自体が実行したデータの認識および解釈に基づいて実施可能であるか、またはユーザ入力を検出することによって実施可能である。

モデルを継続的に改善するために、一実施形態では、可能な限り多くの使用者からのデータが検出される。使用者は、どのようなデータを収集して匿名で処理してもよいかに関する自身の選好を示すことができる。さらに、ユーザインターフェースにおける、実験の実行にとって適切な位置に、モデルの予測を評価するための手段を設けることができる。一例では、システムは、焦点位置を決定することができる。使用者は、この値を上書きするための手段を有する。使用者によって上書きされた焦点位置は、モデルを微調整するための新しいデータ点を表すことができ、この新しいデータ点を、モデルを訓練するために利用することができる。これによって使用者は、ますます一層改善されたモデルをダウンロードおよび／または実行することが可能となるという利点を有する。一方で、製造業者にとっては、多くの使用者からのデータに基づいて新しいモデルを開発することができるので、製造業者自身の提供物を持続的に改善する可能性が開かれる。

図２にはさらに、画像記録システム２１０と、組み込みコンピュータ２２０またはシステムコンピュータ２３０と、の間の通信が示されており、これらは、相互に通信することも、クラウド２５０またはサーバと通信することも可能である。画像記録システム２１０と画像記録システム２１０に付属するコンポーネントとは、深層学習バスシステムを介して相互に通信することができ、かつワークステーションコンピュータと通信することができる。このために、専用のハードウェアおよび／またはＴＣＰ／ＩＰネットワーク接続部または同等のものを使用することができる。深層学習バスシステムは、以下の特徴を含むことができる：
・すべてのサブシステム、すなわち画像記録システムのコンポーネント、センサ、およびアクチュエータを相互に、かつ適切なモデルとネットワーク化する。これらのサブシステムは、インテリジェントであっても、すなわち、自身でニューラルネットワークまたはマシンインテリジェンスを有していてもよいし、またはインテリジェントでなくてもよい。
・画像記録システムのすべてのサブシステムおよびモジュールを１つまたは複数の画像記録システムとネットワーク化することにより、ドメインおよびサブドメインを有する階層構造が得られる。
・すべてのドメインおよびサブドメイン、ならびに関連するシステムおよびサブシステムを一元的に検出して検索することが可能であり、これによってモデルマネージャモデルをこれらに分布させることができる。
・タイムクリティカルなアプリケーションでの通信のために、バスシステムのための専用のハードウェアを使用することができる。これに代えて、ＴＣＰ／ＩＰまたは適切なＷｅｂ標準に準拠したネットワーク接続部を使用することもできる。
・バスシステムは、好ましくは、以下のデータまたはその一部を管理する：それぞれのコンポーネント（アクチュエータ、センサ、顕微鏡、顕微鏡システム、コンピュータリソース、作業グループ、機関）のＩＤ；著者、機関、実行中の機械の読み取り／書き込み権、所望の支払いシステムによる権利管理；実験およびモデルからのメタデータ；画像データ；学習されたパラメータ、アクティブ化、および非表示表現を有するモデルおよびそのアーキテクチャ；所要のインターフェース；環境変数、ライブラリなどを有する所要のランタイム環境；モデルマネージャおよび権利管理によって必要とされるすべてのさらなるデータ。
・多数の異なるＡＩ対応のコンポーネントにより、複数のドメインおよびサブドメイン有する階層構造が生成される。すべてのコンポーネントは、ディレクトリにおいて検出され、発見可能である。すべてのレベル（すなわち、顕微鏡に付属するコンポーネント、顕微鏡／システム、作業グループ、コンピュータリソース、機関）において、権利管理が実施される。これにより、すべてのアクターの共同作業を容易にする論理的かつ階層的な機能構造が生成される。

焦点位置を決定するための本発明による方法および本発明による装置は、一実施形態によれば、顕微鏡に関連するすべての記録モダリティにおいて、とりわけ広視野顕微鏡（蛍光あり／なし）、共焦点顕微鏡、および光シート顕微鏡において使用可能である。焦点駆動部として、顕微鏡および写真術において使用されるすべての焦点合わせ機構が考慮され、とりわけ、三脚のＺ駆動部、Ｚ検流計テーブルだけでなく、対物レンズ上のピエゾテーブルまたはピエゾ焦点合わせユニット（「ＰｉＦｏｃ（登録商標）」）も考慮される。これに代えて、焦点駆動部は、焦点合わせ可能な対物レンズの一部であるアクチュエータを含むことができ、この焦点合わせ可能な対物レンズは、ピエゾ駆動部を用いない焦点技術に基づいている。照明モダリティとして、透過光照明式、位相コントラスト式、微分干渉コントラスト式、落射蛍光式が考慮される。種々異なる照明モダリティが存在することにより、これらの各々に対して独自のニューラルネットワークを訓練することが必要となり得る。この場合には、適切なモデルを自動的に事前に選択することができる。このために、システムパラメータ（いわゆる画像メタデータ）を使用することができる。これに代えて、画像分類のためにさらなるニューラルネットワークが使用される。このニューラルネットワークは、焦点合わせのために使用される画像スタックを使用し、透過光式、位相コントラスト式などの照明モダリティについての予測を行う。

図３は、一実施形態による焦点位置を決定する機能方式についての概略図を示す。本発明による方法は、実験の開始時に試料平面を発見するために利用可能である。

第１のステップにおいて、第１の画像３１０および第２の画像３２０を記録することができる。画像３１０および３２０は、使用されている対物レンズの軸方向分解能の間隔で記録可能である。次いで、第１の画像３１０および／または第２の画像３２０は、訓練されたモデルを用いて分析され、位置についての予測３４０が行われる。予測３４０（Δｚであり、図示の場合にはΔｚ＞０である）は、最後に記録および／または分析された画像３２０と、モデルによって予測された焦点位置３３０と、の間の差である。一実施形態では、焦点駆動部によってこの位置に移動させることができる。この位置から、使用されている対物レンズの軸方向分解能の間隔で、さらなる画像３５０を記録することができる。次いで、移動された新しい位置についてのさらなる予測３６０を行うために、再び、訓練されたモデルを用いてさらなる画像３５０を分析することができる。図３に見られるように、さらなる予測３６０の予測されたデルタ（Δｚ≦０）が負である場合には、正しい焦点位置３３０が、既に発見されている。そうでない場合には、正しい位置が発見されるまで方法を継続することができる。

光軸の両方の方向において、正しい位置をチェックすることができる。例えば、予測された位置を中心として光軸に沿って一方および他方の方向に、使用されている対物レンズの軸方向分解能の間隔で、または事前に定義された間隔で、それぞれ１つの画像を記録することができる。これらの画像を、再び、訓練されたモデルを使用して分析することができる。正しい位置が発見された場合には、一方の画像の予測は、正のデルタを供給するはずであり、反対方向からの他方の画像の予測は、負のデルタを供給するはずである。

一実施形態では、本発明による装置は、２つの異なるモードで動作する。モードＩでは、試料を視認できる平面、または合焦された平面が、使用者の手助けなしに発見される。モードＩＩでは、ユーザが、自身の用途のために焦点の微調整を実施して、さらにより正確な結果、または検出された画像内における最高の情報内容を有する領域にアクセスすることができる。

クラウドまたは開発において実行することができる基本的な訓練に加えて、モデルは、「経験」から学習することができる。使用者は、自分自身が最適であると考える焦点を決定し、この焦点をシステムに通知することができる。この場合には、メタデータ（画像記録モダリティ、照明などに関する情報）を含む、焦点合わせのために使用される画像スタックと、使用者によって決定された焦点位置と、が伝送される。これらの両方が、訓練用データセットに追加することができる新しい値のペアＸ_ｉおよびｙ_ｉを表す。新しい短い訓練ラウンド（「微調整」）において、モデルは、自身の予測精度を改善して、試料の種類および照明モダリティを学習することができる。このことが、製造業者またはクラウドにおいて実施された場合には、使用者は、新しいモデルをダウンロードすることができる。このダウンロードは、自動的に実施可能である。一実施形態では、使用者自身または本発明による装置自体が、微調整のための訓練を実施することができる。製造業者は、微調整のための使用者固有のデータを保存している顧客データ管理システムを使用することができる。これにより、製造業者は、顧客固有のニューラルネットワークも提供することが可能となる。製造業者は、電子メール、ソーシャルメディア、またはプッシュメッセージを使用して、訓練された新しいニューラルネットワークが利用可能であることを使用者に通知することができる。製造業者は、このような訓練された新しいニューラルネットワークを、アプリストアを介してさらなる顧客に提供することもできる。

一実施例では、顧客の画像データを保存するために、顧客の同意を得ることができる。オリジナルの画像データの代わりに、変換されたデータを保存することもできる。このために画像データは、ニューラルネットワークの一部によって処理されて、「特徴空間」に転送される。この「特徴空間」は、典型的に、オリジナルのデータよりも次元が小さく、データ圧縮の形式として見なすことができる。オリジナルの画像は、ニューラルネットワークのバージョンとそのパラメータとを正確に把握することによって再構成可能である。

一実施形態では、単一の画像３２０のみの分析に基づいて、焦点位置を決定することができる。この画像３２０は、記録可能であり、記録された画像３２０の、訓練されたモデルを用いた分析に基づいて予測を行うことができる。これにより、最適な焦点位置３３０へのジャンプ予測が可能になる。システムは、従来の意味での焦点合わせを行うことなく、予測された焦点位置または光軸に沿った位置（Ｚ位置）へと直接的に「ジャンプ」する。この際に使用される初期画像は、不鮮明であってもよく、すなわち焦点が合っていなくてもよい。定義上「焦点が合っている」任意の共焦点画像の場合には、探索されている情報を有する光軸に沿った平面、例えばｚ平面を予測することができる。この際に使用される画像は、探索されているいずれの情報も含んでいなくてもよいが、ただし、この画像は、使用されている学習モデルの一部であるコンテクストに一致している必要がある。

単一の画像を使用することにより、拡張された用途も得られる。この拡張された用途には、時間の積み重ねでの再焦点合わせ、または焦点マップでの用途が含まれる。焦点マップは、横方向（テーブル位置）および軸方向（Ｚ駆動部）における一連の空間座標から構成されている。焦点マップ内の１つまたは複数の焦点位置に基づいて、焦点マップ内の隣り合う焦点位置を予測することができる。これにより、焦点マップ内の支持点の数が比較的少なくても、従来の方法の場合と同じ精度を達成するために十分となる。これによって焦点マップは、動的に変化しやすくもなり、記録の進行後に利用可能な支持点が多くなればなるほど正確になることができる。次のステップでは、このことを使用して、３Ｄ空間内の曲面を自動的に特定することができる。このことは、試料が大きい場合に、有益な空間要素を検出して、記録時間およびメモリスペースを節約するために利用可能である。

使用されている訓練されたモデルまたは学習モデルは、深層学習方法に基づいて、焦点位置への、もしくは焦点が合っているＺ平面（非共焦点イメージング方法の場合）への所望のジャンプ予測、または所望の情報を有する平面（共焦点イメージング方法の場合）を、１つまたは少数の画像に基づいて特定することができる。従来の画像ベースの方法は、常に、軸方向における完全な画像スタックを記録および分析しなければならない。このことは、時間コストおよび計算コストがかかり、特定の測定時に試料に損傷を与える可能性がある。

最適な焦点位置の予測は、深層学習の１つの形態に相当する深層畳み込みニューラルネットワーク（英語での“convolutional neural network”またはＣＮＮ）を介して実施可能である。モデルは、２つの形式で使用される：１）モデルは、訓練用データセットに基づいて最適な焦点位置を予測することを「学習」し、２）モデルは、既存の画像スタックまたは単一の画像において焦点位置を事前に予測する。前者は、訓練（英語では“supervised training（教師あり訓練）”）と呼ばれ、後者は、推論と呼ばれる。訓練は、ニューラルネットワークを訓練するために構成されたクラウドまたはコンピュータにおいて実施可能である。ニューラルネットワークの開発または訓練は、第三者のもとで、またはローカルで実施可能である。訓練は、１つまたは複数の適切な較正試料を用いて、従来のオートフォーカス方法によっても自動的に実施可能であり、この際、１つまたは複数の較正試料は、後々の使用目的、すなわち後々に検査されるべき試料の種類に適合されている。推論は、使用者のもとで実施可能である。しかしながら、一実施形態では、使用者が、さほど広範囲でない再度の訓練によってモデルまたはニューラルネットワークを改善することも可能である。このことは、「微調整」と呼ばれる。

図４では、訓練されたモデルの概略図を見て取ることができる。モデルに入力されるデータ４００は、画像データおよび／またはメタデータを含むことができる。訓練されたモデルは、入力データから、焦点位置について、または正しい焦点位置に対する間隔についての予測４３０を行うことができる。

モデルの訓練は、例えば画像データまたはメタデータのような既存の入力値Ｘ_ｉに対して、出力値

の最適な予測をもたらす内部モデルパラメータ（例えば、重みＷおよび／またはしきい値Ｂ）を発見することにある。目標出力値ｙ_ｉは、訓練にとって既知である。この用途では、Ｘ、Ｗ、およびＢをテンソルと見なすことができ、その一方で、

をスカラーとすることができる。例えば、

は、Ｚ駆動部の焦点位置であり得るか、または焦点位置に関連する値であって、かつ焦点位置を一義的に識別する値（例えば、現在の画像位置に対する相対的な間隔Δｚ）であり得る。一実施例では、図３に示されているような予測は、複数の記録された画像のＺスタックに基づいて実施可能である。予測された焦点位置は、顕微鏡のＺ駆動部に転送され、これに応じて顕微鏡が設定される。

モデルは、機能的に異なる２つの部分から構成されている。モデルの第１の部分４１０は、ピラミッド型の階層的に配置された畳み込みのカスケードを計算し、それぞれ非線形化および次元削減が次に続く。畳み込みのためのパラメータは、訓練されたモデルの訓練時に学習される。したがって、モデルは、訓練時にデータの非表示表現を「学習」し、この非表示表現は、データの圧縮としても、画像特徴の抽出としても理解可能である。

モデルの第２の部分４２０は、抽出された画像特徴を順序付けて重み付けする。これにより、例えば焦点位置などを、可能な限り最も正確に予測することが可能となる。画像特徴の抽出４１０の訓練は、画像特徴の重み付け４２０の訓練とは対照的に、時間コストおよび計算コストがかかる。モデルのこの後者の部分は、わずかなコストでローカルに訓練可能である（微調整）。微調整は、使用者のユーザ入力によってトリガ可能であり、かつ／または自動的にトリガ可能である。例えば、訓練されたモデルによって予測された焦点位置を、使用者が上書きすることができる。使用者が焦点位置を上書きした場合には、使用者が予測に満足していないか、または別の領域または別の物体に合焦させたいと考えていると仮定することができる。さらなる例は、古典的なまたは第２のオートフォーカスシステムが、システムによって予測された焦点位置とは相違する焦点位置を自動的に発見することである。この場合には、第２のオートフォーカスシステムは、予測された焦点位置を上書きすることができる。これらの場合および同様の場合における微調整は、自動的に実施され、この用途での予測精度を改善する。微調整によって個々の使用者は、訓練されたモデルの予測の精度を迅速かつローカルに改善することができる。使用者は、自身のデータを提供することができる。ネットワーク接続部を介して、例えば上書きされた焦点位置または関連する画像データのようなデータとメタデータとを、クラウドにアップロードすることができる。クラウド内で、データを用いてモデルを訓練および／または改善することができる。とりわけ、画像特徴の抽出のための部分４１０は、これによる利益を得る。クラウド内の訓練されたモデルは、クラウドを介して多数の使用者によって改善可能である。クラウド内で、種々のソースまたは種々のユーザからのデータを集約して、訓練のために使用することができる。

モデルは、クラウド内で、特別な用途に向けて訓練可能である。高い変動性を有する画像データが記録される場合には、モデルを、非常に普遍的に訓練する必要がある。これにより、誤差または不正確さが生じる可能性がある。高い変動性を有する画像データの一例は、画像データと他のデータ型とが大きく異なっている基礎研究または臨床応用における顕微鏡の使用である。ここでは、「マスターモデル」を用いて上流の分類ステップを実行し、対応するデータドメインのための適切なモデルを自動的に選択することが有用であり得る。モデルの階層的なアンサンブルを使用するというこの原理は、１つのデータドメインに限定されているわけではなく、複数の異なるデータ型およびドメインを含むことができる。同様に、複数の階層的に編成されたモデルアンサンブルをカスケード接続して、データドメインを複数の次元に従って順序付け、種々異なる用途およびデータの変動性にもかかわらず、自動的な推論を実施することができる。

図５は、焦点位置を決定するための本発明による方法５００のフローチャートの概略図を示す。方法５００は、少なくとも１つの第１の画像が記録される第１のステップ５１０を含む。記録された少なくとも１つの第１の画像の画像データは、当該少なくとも１つの第１の画像が記録されたときの少なくとも１つの第１の焦点位置に依存している。少なくとも１つの第１の画像は、光学システムとセンサとを含む装置によって記録可能である。本実施例では、画像を記録するための装置は、顕微鏡もしくは顕微鏡システム、デジタルカメラ、スマートフォン、タブレット、またはカメラ付きのコンピュータを含む。特に、本発明による方法は、広視野顕微鏡法（蛍光あり／なし）、共焦点顕微鏡法、および光シート顕微鏡法の分野で使用可能である。

第２のステップ５２０において、第２の焦点位置が決定される。このことは、訓練されたモデルまたはニューラルネットワークを用いて、記録された少なくとも１つの第１の画像を分析することを含む。その後、分析または分析からの予測に基づいて、第２の焦点位置を決定することができる。

第３のステップ５３０において、装置を第２の焦点位置へと設定することができる。この設定は、画像を記録するための装置における焦点駆動部を用いて実施可能である。装置に応じて、焦点位置を変更するため、かつ／または装置をステップ５２０で決定された焦点位置へと設定するために、例えば光学システムを光軸に沿ってセンサに対して相対的にシフトさせることができる。これに代えてまたはこれに加えて、観察されるべき物体に対して相対的に焦点がシフトされるように、光学システムおよびセンサを一緒に一定の間隔で光軸に沿ってシフトさせることもできる。例えば顕微鏡は、例えば当該顕微鏡の光軸に相当する方向に、試料テーブルを移動させることができる。このようにして、試料の所望の平面を焦点平面へと持ってくることができるか、または焦点平面を試料または物体の所望の平面へと移動させることができる。

さらなるステップ５４０は、第２の焦点位置を用いて、少なくとも１つの第２の画像を記録することを含むことができる。少なくとも１つの第２の画像の画像データは、１つまたは複数の物体を、少なくとも１つの第１の画像の画像データよりもより鮮明に結像することができる。方法５００は、ニューラルネットワークまたは訓練されたモデルの訓練または訓練データとのコンテクストにある物体に焦点を合わせることができる。したがって、方法５００は、焦点を合わせるために特定の画像領域に限定されているわけではない。近くの物体または大きな物体に焦点を合わせる焦点合わせシステムの代わりに、方法５００は、物体を識別して、この物体に焦点を合わせることができる。このことは、画像内での物体の位置または物体の大きさに関係なく実施可能である。一実施形態では、焦点位置の決定は、ニューラルネットワークまたは訓練されたモデルの訓練または訓練データとのコンテクストにある画像データの情報に基づいている。

光学結像系のうちの、光軸に対して平行に入射するすべてのビームが交差する点は、焦点が合っている。光学結像系の焦点平面において記録される画像は、高コントラストな構造体を有することができる。最高の情報の領域は、焦点平面に一致することができる。しかしながら、これは必須ではない。最高の情報の領域とは、画像の観察者によって所望された領域であって、この領域において観察者が、自身にとって（主観的に）最高である「何か」の情報を知覚する領域である。この場合の「何か」とは、特定の絵画的な構造体を意味し、例えば、画像の観察者は、「黄色の点を有する小さな緑色の円」を探索し、次いで、画像のうちの、この探索している構造体を含んでいる領域を、最高の情報の領域として知覚することができる。

一実施例では、複数の形式のフィードバックによって、焦点位置を決定するための方法および装置を改善することができる。このことは、画像の測定中または記録中に実施可能である。２つの形式のフィードバックを区別することができる。どちらの形式のフィードバックも、訓練されたモデルを適合することを含む。

１）モデルへのフィードバック：モデルは、持続的にさらに微調整可能であり、モデルの予測精度は、これによってますます一層改善されるので、データを経常的に評価するモデルを、実験または測定の実行中であっても変更および改善することができるフィードバックが生成される。

フィードバックでは、深層学習によって発見された結果が、顕微鏡システム、顕微鏡サブシステム、または画像を検出するための他の装置に対して逆に影響を及ぼし、これによって一種のフィードバックループが生成されるように、手法または方法のアンサンブルを構成することができる。システムは、フィードバックによって漸近的に最適かつ安定した状態へと移行されるか、または特定の物体をより最適に記録することができるように適切に適合される（システム設定）。

一実施形態では、ステップ５１０および５２０からなるオートフォーカス方法を最適化するために、データが検出される。このデータの検出は、オートフォーカス方法を最適化するためのプロセスをトリガすることができる。データの検出は、第３の画像を検出することを含むことができ、第３の画像は、ユーザ定義された焦点位置に依存している画像データを含むことができる。この場合、ユーザ定義された焦点位置は、第２の焦点位置とは相違することができ、これにより、使用者が、訓練されたモデルによって提案された焦点位置に満足していないこと、および／またはオートフォーカス方法の最適化が必要とされていることを仮定することができる。使用者は、例えば画像内の、自身にとって最高または最重要の情報を含んでいる領域に焦点を合わせることができる。このようにして、オートフォーカス方法の最適化を、訓練されたモデルの最適化によって達成することができる。

検出されたデータは、検出された第３の画像と、ユーザ定義された焦点位置と第２の焦点位置との間の相違の表現、および／またはユーザ定義された焦点位置の表現と、を含むことができる。さらに、第３の画像をマーキングすることができる。ユーザ定義された焦点位置は、所望の焦点位置に相当するので、ユーザ定義された焦点位置に対応する検出された第３の画像を、検出されたデータに基づいた訓練のための目標状態としてマーキングすることができる。

一実施形態では、ユーザは、モデルを最適化するためにさらなるデータを能動的に求めることができる。次いで、使用者は、このデータをマーキングすることができる。この場合のマーキングとは、自分自身がどのＺ位置を「焦点が合っている」または「適切である」と評価しているか、またはどの焦点位置が所望の物体を鮮明に結像しているかを使用者がシステムに通知するような、使用者による評価を意味する。このようにして、画像を記録するための装置を操作することによりさらなるデータを生成して、訓練データとして使用することができる。使用者によって「焦点が合っている」と評価された画像には、「焦点が合っている」というラベルが付けられる。その後、このユーザ定義された焦点を中心にして画像シリーズを記録することができる。すなわち、検出されたデータとユーザ定義された焦点位置とに依存して、画像スタックを記録または検出することができる。画像スタックのそれぞれの画像の画像データは、ユーザ定義された焦点位置に対して既知の間隔を有する焦点位置に依存することができる。

検出されたデータに基づいて、使用されているモデルを微調整することができる。このことは、訓練されたモデルの一部分を訓練することを含むことができる。例えば、図４の部分４２０のみを訓練することができる。このことは、内部モデルパラメータを新しく選択することによってローカルで実施可能である。したがって、訓練されたモデルを最適化することにより、オートフォーカス方法全体を最適化することができる。

追加的に、検出されたデータを分類するために、さらにメタデータを検出することもできる。これにより、訓練されたモデルのための適用範囲を規定することができる。メタデータは、明視野照明式、落射蛍光式、微分干渉コントラスト式、または位相コントラスト式のような画像記録モダリティに関する情報、照明に関する情報、試料に関する情報、物体に関する情報、画像を検出するための装置のシステムパラメータに関する情報、光源の強度（ｎ）、フォトセンサの増幅率、サンプリングレートのような画像記録パラメータに関する情報、コンテクスト情報、および対物レンズの軸方向分解能のような対物レンズパラメータに関する情報を含むことができる。コンテクスト情報は、検出されたデータに関連することができる。例えば、コンテクスト情報は、検出されたデータに関連する実験についてのキーワードまたは説明を含むことができ、データを分類するために使用可能である。

２）フィードバックの第２の形式は、画像認識に、かつ／または記録されたデータの評価に基づいている。他の物体タイプ、他の染色、および一般的に他の用途を支援するために、実行中にモデルを交換および再ロードすることができる。この交換および再ロードは、実験または測定の実行中でさえも実施可能であり、これによって顕微鏡は、非常に動的かつ順応性のあるものとなる。このことは、検査されるべき試料自体が実験中に大幅に変化する場合も含み、このことは、実験の実行中にモデルを適合させるか、モデルを完全に交換することを必要とする。例えば、「マスター」モデルまたはワールドモデルは、使用分野の分類を実施して、適切なモデルを自動的に選択することができ、その後、このモデルが実施される。

測定において顕微鏡または画像を検出するための他の装置によって使用され、そこで予測（推論）を行うことができ、場合によっては微調整することができるような予測モデルを、有利には、ニューラルネットワーク内の少数のノードのみを訓練することによって使用し、かつ持続的に改善することにより、焦点位置を決定するための方法が最適化され、また、例えば顕微鏡のような画像を検出するための装置におけるモデルの適用範囲が拡大される。これらのモデルを使用した推論の適用範囲は、多種多様であり、例えば全体的または部分的に、顕微鏡の自動化を含むか、または例えば物体の検索および最適な焦点位置の決定もしくは設定のような実験プロセスの自動化を含む。

１００ システム
１１０ 画像記録装置
１１２ １つまたは複数のセンサ
１１４ １つまたは複数のアクチュエータ
１２０ ユーザインターフェース
１２２ 調節器
１２４ ソフトウェアユーザインターフェース
１３０ コンピュータ
１３２ １つまたは複数のプロセッサ
１３４ １つまたは複数の揮発性の記憶媒体
１３６ ニューラルネットワーク
１３８ １つまたは複数の記憶媒体
１４０ ネットワーク接続部
１５０ クラウド
１５２ ＡＩコンポーネント
２１０ 顕微鏡
２２０ 組み込みコンピュータ
２３０ システムコンピュータ
２４０ 双方向通信接続部
２５０ クラウド
２６０ アクチュエータ
２７０ センサ
３００ 画像スタック
３１０，３２０，３５０ 記録された画像
３３０ 正しい焦点位置
３４０，３６０ 予測
４００ モデル入力
４１０，４２０ ニューラルネットワークの部分
４３０ モデル出力
５００ 方法
５１０～５４０ 方法ステップ

Claims (23)

1. 焦点位置を決定するための方法（５００）であって、前記方法（５００）は、
   ・少なくとも１つの第１の画像（３１０，３２０）を記録するステップ（５１０）であって、記録された前記少なくとも１つの第１の画像（３１０，３２０）の画像データは、前記少なくとも１つの第１の画像が記録されたときの少なくとも１つの第１の焦点位置に依存しているステップ（５１０）と、
   ・訓練されたモデル（１３６）による、記録された前記少なくとも１つの第１の画像（３１０，３２０）のみの分析に基づいて、第２の焦点位置（３３０）を決定するステップ（５２０）と、
   ・前記第２の焦点位置（３３０）を用いて、少なくとも１つの第２の画像（３５０）を記録するステップ（５４０）と、
   を含む方法（５００）において、
   前記少なくとも１つの第１の画像（３１０，３２０）および前記少なくとも１つの第２の画像（３５０）は、前記訓練されたモデル（１３６）の訓練に関連する情報を含み、
   記録された前記少なくとも１つの第１の画像のうちの１つまたは複数において結像された１つまたは複数の物体のうちの少なくとも１つの物体は、記録された前記少なくとも１つの第２の画像内では、記録された前記少なくとも１つの第１の画像内よりもより鮮明に結像され、
   前記少なくとも１つの物体は、前記訓練されたモデルの訓練に関連する、
   方法。
2. 前記少なくとも１つの第１の画像（３１０，３２０）は、前記少なくとも１つの第２の画像（３５０）よりも低い分解能によって記録される、
   請求項１記載の方法。
3. 記録された前記少なくとも１つの第１の画像（３１０，３２０）は、１つまたは複数の物体を結像し、
   記録された前記少なくとも１つの第２の画像（３５０）は、記録された前記少なくとも１つの第１の画像（３１０，３２０）よりもより鮮明に、前記１つまたは複数の物体のうちの少なくとも１つの物体を結像する、
   請求項１または２記載の方法。
4. 他の物体タイプ、他の染色、および一般的に他の用途を支援するために、訓練されたモデルは、実験または測定の実行中に交換および再ロードされ、かつ／または、
   マスターモデルが使用分野を分類して、適切なモデルを自動的に選択し、その後、前記適切なモデルは、実施され、かつ／または、
   訓練されたモデルは、アプリストアにおいて提供される、
   請求項１から３までのいずれか１項記載の方法。
5. 前記第２の焦点位置は、測定中に決定され、かつ／または、
   前記少なくとも１つの第１の焦点位置は、光軸に沿って前記第２の焦点位置へとシフトされる、
   請求項１から４までのいずれか１項記載の方法。
6. 前記少なくとも１つの第１の焦点位置は、少なくとも１つの第１の焦点平面に対応し、
   前記第２の焦点位置は、第２の焦点平面に対応し、
   前記第２の焦点平面は、物体平面にほぼ一致する、
   請求項１から５までのいずれか１項記載の方法。
7. 前記第２の焦点位置を決定するステップは、３Ｄ走査領域を決定することを含む、
   請求項１から６までのいずれか１項記載の方法。
8. 前記方法は、
   ・光学システムとセンサとを含む装置を前記第２の焦点位置へと設定するステップ（５３０）をさらに含む、
   請求項１から７までのいずれか１項記載の方法。
9. 前記装置（１１０；２１０）を前記第２の焦点位置へと設定するステップは、前記光学システムを前記センサに対して相対的にシフトさせることを含み、かつ／または、
   前記装置を前記第２の焦点位置へと設定するステップは、前記光学システムおよび前記センサ（１１２）を物体に対して相対的にシフトさせることを含む、
   請求項８記載の方法。
10. 前記方法は、データを検出するステップをさらに含む、
    請求項１から９までのいずれか１項記載の方法。
11. 前記データを検出するステップは、メタデータを検出することを含み、
    前記メタデータは、画像記録モダリティに関する情報、照明に関する情報、試料に関する情報、物体に関する情報、画像を検出するための装置のシステムパラメータに関する情報、画像記録パラメータに関する情報、コンテクスト情報および対物レンズパラメータに関する情報うちの少なくとも１つを含む、
    請求項１０記載の方法。
12. 前記方法は、検出された前記データを用いて前記訓練されたモデル（１３６）を適合させるステップをさらに含む、
    請求項１０または１１記載の方法。
13. 前記訓練されたモデル（１３６）を適合させるステップは、
    前記検出されたデータを用いて、前記訓練されたモデル（１３６）の一部分（４２０）を訓練するステップと、
    １つまたは複数のソースに由来しておりかつ／または前記検出されたデータが含まれている集約されたデータを用いて、前記訓練されたモデル（１３６）を再訓練するステップと、
    のうちの少なくとも１つを含む、
    請求項１２記載の方法。
14. 前記訓練されたモデル（１３６）は、１つまたは複数のニューラルネットワークまたは１つまたは複数の深層学習結果ネットワークに基づいており、かつ／または、複数のモデルから選択されたものであり、
    複数の前記訓練されたモデルは、使用分野によって分類されており、
    複数の前記訓練されたモデルの各々は、特定の手法で訓練されたものであり、
    複数の前記訓練されたモデルは、階層的に編成されており、かつ／または、
    複数の前記訓練されたモデルからの個々の訓練されたモデルは、試料、実験、測定または機器設定の個々のタイプに向けて専用化されている、
    請求項１から１３までのいずれか１項記載の方法。
15. 焦点位置を決定するための装置（１３０；２１０，２２０，２３０）であって、
    前記装置（１３０；２１０，２２０，２３０）は、１つまたは複数のプロセッサ（１３２）と、１つまたは複数のコンピュータ可読記憶媒体（１３８）と、を含み、
    前記１つまたは複数のコンピュータ可読記憶媒体（１３８）上には、前記１つまたは複数のプロセッサ（１３２）によって実行された場合に、以下のことを引き起こすコンピュータ実行可能命令が保存されており、すなわち、
    少なくとも１つのセンサ（１１２）が、少なくとも１つの第１の画像（３１０，３２０）を検出し、検出された前記少なくとも１つの第１の画像（３１０，３２０）の画像データは、前記少なくとも１つの第１の画像が検出されたときの少なくとも１つの第１の焦点位置に依存しており、
    第２の焦点位置が決定され、前記第２の焦点位置は、訓練されたモデル（１３６）による、検出された前記少なくとも１つの第１の画像（３１０，３２０）のみの分析に基づいて決定され、
    前記第２の焦点位置（３３０）を用いて、少なくとも１つの第２の画像（３５０）が記録される
    ことを引き起こすコンピュータ実行可能命令が保存されている、
    装置（１３０；２１０，２２０，２３０）において、
    前記少なくとも１つの第１の画像（３１０，３２０）および前記少なくとも１つの第２の画像（３５０）は、前記訓練されたモデル（１３６）の訓練に関連する情報を含み、
    記録された前記少なくとも１つの第１の画像のうちの１つまたは複数において結像された１つまたは複数の物体のうちの少なくとも１つの物体は、記録された前記少なくとも１つの第２の画像内では、記録された前記少なくとも１つの第１の画像内よりもより鮮明に結像され、
    前記少なくとも１つの物体は、前記訓練されたモデルの訓練に関連する、
    装置（１３０；２１０，２２０，２３０）。
16. 前記コンピュータ実行可能命令は、前記１つまたは複数のプロセッサ（１３２）によって実行された場合に、以下のことをさらに引き起こし、すなわち、
    ユーザ定義された焦点位置へと設定されたことを検出したことに基づいて、さらなるデータが検出されることをさらに引き起こし、
    前記さらなるデータは、前記ユーザ定義された焦点位置に依存している画像データと、前記ユーザ定義された焦点位置と前記第２の焦点位置との間の相違（３４０）の表現および／または前記ユーザ定義された焦点位置の表現と、を含む、
    請求項１５記載の装置。
17. 前記さらなるデータを検出することは、画像スタック（３００）を検出することを含み、
    前記画像スタックのそれぞれの画像の画像データは、前記ユーザ定義された焦点位置に対して、使用されている対物レンズの軸方向分解能の間隔で、光軸に沿ってシフトされた焦点位置に依存しており、かつ／または、
    前記ユーザ定義された焦点位置に依存して検出された画像データは、目標状態としてマーキングされ、前記検出された画像データは、前記訓練されたモデル（１３６）を訓練するために使用される、
    請求項１６記載の装置。
18. 前記コンピュータ実行可能命令は、前記１つまたは複数のプロセッサ（１３２）によって実行された場合に、以下のことをさらに引き起こし、すなわち、
    前記訓練されたモデル（１３６）が適合されることをさらに引き起こし、
    前記訓練されたモデル（１３６）を適合させることは、
    前記検出されたさらなるデータを用いて、前記訓練されたモデル（１３６）の一部分（４２０）を訓練することと、
    １つまたは複数のソースに由来しておりかつ／または前記さらなるデータが含まれている集約されたデータを用いて、前記訓練されたモデル（１３６）を再訓練することと、
    のうちの少なくとも１つを含む、
    請求項１６または１７記載の装置。
19. 焦点位置を設定するための画像記録システム（１００）であって、前記画像記録システム（１００）は、
    請求項１５から１８までのいずれか１項記載の装置（１３０；２１０，２２０，２３０）と、
    少なくとも１つのセンサ（１１２；２７０）と、
    前記少なくとも１つのセンサ（１１２；２７０）のうちの１つのセンサ上に１つまたは複数の物体を結像させるように構成された光学システムと、
    前記画像記録システム（１００）を前記第２の焦点位置へと設定するように構成された少なくとも１つのアクチュエータ（１１４；２６０）と、
    を含む画像記録システム（１００）。
20. 前記少なくとも１つのアクチュエータ（１１４；２６０）は、三脚のＺ駆動部、Ｚ検流計、前記光学システムの対物レンズ上のピエゾフォーカス、ダイレクトドライブ、リニアモータ、ステッピングモータ、超音波モータ、リングモータ、マイクロモータおよびピエゾテーブルのうちの少なくとも１つを含み、かつ／または、
    前記少なくとも１つのアクチュエータ（１１４；２６０）は、焦点合わせ可能な対物レンズの一部であり、前記焦点合わせ可能な対物レンズは、ピエゾ駆動部を用いない焦点技術に基づいている、
    請求項１９記載の画像記録システム。
21. ネットワークを介して、訓練されたモデル（１３６）をクラウド（１５０；２５０）からダウンロードするようにかつ／または検出されたデータを前記クラウド（１５０；２５０）にアップロードするように構成された手段を含む、
    請求項１９または２０記載の画像記録システム。
22. 前記画像記録システムは、ユーザインターフェース（１２０）をさらに含み、
    前記ユーザインターフェース（１２０）は、前記ユーザインターフェース（１２０）を用いて、ユーザ定義された焦点位置を設定することができるようにかつ／または入力パラメータを検出することができるように構成されている、
    請求項１９から２１までのいずれか１項記載の画像記録システム。
23. 前記画像記録システムは、デジタルカメラ、カメラ付きの携帯型のコンピュータまたは顕微鏡（２１０）もしくは顕微鏡システムを含み、かつ／または、
    前記装置（１３０；２１０，２２０，２３０）は、顕微鏡（２１０）または顕微鏡システムの一部である、
    請求項１９から２２までのいずれか１項記載の画像記録システム。

Images