JP2023534722A - イベントベース撮像のための方法およびシステム - Google Patents

Abstract

本発明は、少なくとも１つの試料をイベントベースで撮像して、イベントとして関心構造のみを記録するコンピュータ実施方法であって、試料ホルダと結合された自動画像撮像装置（４２）、前記画像撮像装置（４２）と結合されたコントローラ、前記コントローラと動作可能に結合された少なくとも１つのプロセッサ（４４）、命令を格納したコンピュータ読取可能媒体、を提供するステップであって、前記命令は、前記少なくとも１つのプロセッサ（４４）によって実行されると、前記コントローラおよび／または前記少なくとも１つのプロセッサ（４４）に、ａ）前記画像撮像装置（４２）によって、前記試料ホルダが保持する前記少なくとも１つの試料（１００、４３）の少なくとも１つの初期画像を取得するステップ（１０２）、ｂ）画像処理アルゴリズムを使用して、関心構造について前記少なくとも１つの初期画像を検索するステップ（１０３）、ｃ）１つ以上の関心構造を検出すると、前記画像撮像装置（４２）の撮像ソフトウェアを制御して、前記検出された関心構造の少なくとも１つの主画像をそれぞれ取得するステップ（１０４）であって、前記少なくとも１つの主画像は３次元画像である、ステップ、ｄ）分類アルゴリズムを使用して、前記少なくとも１つの主画像内の前記検出された関心構造を分類するステップ（１０５）、ｅ）前記分類された関心構造を評価するステップ（１０６）、ｆ）前記評価された関心構造の結果を出力するステップ（１０７）、を実施させる、ステップ、前記少なくとも１つのプロセッサ（４４）によって前記命令を実行するステップであって、少なくともステップａ）～ｃ）は、あらかじめ与えられた個数ｋの関心構造が検出されるまで繰り返され、ｋは整数である、ステップ、を有する方法に関する。【選択図】図１

Description

本発明は、少なくとも１つの試料をイベントベースで撮像して、関心のある構造のみを記録するための方法およびシステムに関し、これにより、データ分析の量およびデータ記憶の容量の両方を低減し、したがって、研究のスループットを増大させるものに関する。

顕微鏡分析は、自然科学における必須のツールである。しかし、正確で信頼できるデータは、人間のバイアスとは無関係に大量の試料を分析することによってのみ生成される。これは、現在のところ、限られた人間の労働および手作業による、時間のかかる顕微鏡検査によって達成することができるものを超えている。

これらの制限を回避するために、顕微鏡分析をさらに自動化することが目的である。自動画像化、構造分類の自動化および定量化の両方に至るまでの大型画像の効率的な取り扱いが望ましい。顕微鏡のスマートオートメーションは、最低限の人間の労力かつバイアスのない方法で、複雑な３Ｄまたは４Ｄ画像化タスクのための現在不可能なハイスループット分析を可能にする。

米国特許出願公開第２００１／００５４６９２号明細書は、検査システムから送られた２次元の物体／欠陥座標情報を、試料ホルダの２次元位置に関する情報および検査システムから受け取った物体または欠陥の２次元位置に関する情報に従ってコンピュータによって最適値に補正し、補正値から物体または欠陥が自動的に検出される探索倍率を決定することによって、２次元空間内の試料、特にウェハ上の物体および欠陥を完全に自動的に探索し分類することができる走査電子顕微鏡（ＳＥＭ）を記載している。前記走査型電子顕微鏡は、試料を載せて水平方向に移動可能なステージと、関心対象物を観察する座標補正式を用いて前記検査システムによって得られた前記試料上の前記関心対象物の座標値補正によって得られた新たな座標へ前記ステージを水平移動する機能とを備え、前記走査型電子顕微鏡はさらに、前記補正された座標値と、前記対象物が観察された実際の座標とに応じて、前記座標補正式の補正精度を算出する機能を備える。試料上の第１表面要素内の物体を検出するために、ＳＥＭは試料上の隣接する第２表面要素内の対応する点（座標）に移動し、基準画像を取得し、第１表面要素に移動し、比較画像を取得し、これらの画像を比較し、これにより物体を識別する。

従来の顕微鏡検査では、研究者が実験構成を定義し、典型的には時間経過、ｚスタック、マルチチャネル、マルチポジション、およびマルチビュー設定の組み合わせを定義する。本質的には、それぞれの実験が開始される前に、それぞれの顕微鏡が最も多く実施することが完全に定義される。

したがって、本開示の目的はスループットが向上し、十分な結果が利用可能である場合、同時に分析を自動終了する、撮像分析のための方法およびシステムを提供することである。

本開示は、イベントとして関心のある構造体のみを記録するために、少なくとも１つの試料をイベントベースで撮像するためのコンピュータ実装方法に関し、以下を有する：
多試料ホルダと結合された自動画像撮像装置、前記画像撮像装置と結合されたコントローラ、前記コントローラと動作可能に結合された少なくとも１つのプロセッサ、前記少なくとも１つのプロセッサによって実行されたときに、前記コントローラおよび／または前記少なくとも１つのプロセッサに、
ａ）前記画像撮像装置によって、前記試料ホルダに保持された前記少なくとも１つの試料の少なくとも１つの初期画像を取得するステップ、
ｂ）画像処理アルゴリズムを使用して、前記少なくとも１つの初期画像から関心構造を検索するステップ、
ｃ）１つ以上の関心構造を検出すると、検出された関心構造の少なくとも１つの主画像をそれぞれ取得するように、画像撮像装置の画像撮像ソフトウェアを制御するステップ、
ｄ）分類アルゴリズム、特に機械学習分類アルゴリズムを使用して、前記少なくとも１つの主画像内の検出された関心構造を分類するステップ、
ｅ）前記分類された関心構造を評価するステップ、
ｆ）前記評価された関心構造の結果を出力するステップ、
を実施させる命令を格納したコンピュータ読取可能媒体、を提供するステップ、
前記少なくとも１つのプロセッサによって前記命令を実行するステップであって、少なくともステップａ）～ｃ）は、あらかじめ与えられた数ｋの関心構造が検出されるまで繰り返され、ｋはゼロよりも大きい整数である、ステップ。

関心領域および／または関心構造のデジタル画像のみを取得する本提案の撮像手法（「イベントベースの撮像」）は、膨大な数の不要な画像（最大９０％）を低減し、それによってスループットを劇的に増加させる。提案された方法を実行するときに得られるワークフローは例えば、植物病理系および／または軟質物質に基づく系の本質的な顕微鏡研究を可能にする。提案された方法は、スループットを増加させ、生物の異なる細胞プロセスの測定の統計的関連性を提供することを可能にする。

一般に、例えば"Digital Images", Computer Sciences, Encyclopedia.com, 16.6.2021, https://www.encyclopedia.comに記載されているように、デジタル画像は、従来の意味での画像ではなく、数値セットとしての実画像の表現形式である。数値セットは、上述のコントローラおよび／または上述の少なくとも１つのプロセッサなどのデジタルコンピューティングユニットを使用して、記憶、処理、およびディスプレイユニット上に視覚化することができる。デジタル画像はピクセルと呼ばれる小さな領域のモザイクからなり、各ピクセルについて、画像撮像装置は、その輝度（光の強度）またはその色など、それぞれのピクセルの何らかの特性を記述する数字または少さい数値セットを記録する。記録された数字は、デジタル画像内のそれぞれのピクセルの水平（ｘ－）および垂直（ｙ－）位置に対応する行および列のアレイに配列される。デジタル画像の解像度は、１インチ当たりのピクセル数（ｐｐｉ）で表される。より高い解像度は、より詳細なデジタル画像をもたらす。

自動画像撮像装置は、自動顕微鏡であってもよく、特に、ZEISS Axio Scan.Z1（登録商標）などの自動高速顕微鏡であってもよい。しかしながら、自動化された監視および／または制御システムにおいて実装され使用される全ての種類の自動化された画像撮像装置を提供し使用することができる。画像撮像装置は、画像をデジタル画像として、またはデジタル画像に基づいて取得する。画像撮像装置は、異なる画像撮像モジュールの配列を備えることができる。少なくとも１つの初期画像を取得するために第１画像撮像モジュールが使用され、少なくとも１つの主画像を取得するために第２画像撮像モジュールが使用されることが可能である。

イベントベースの撮像は、好ましくはデジタル自動高速顕微鏡を用いた、半自動高速画像撮像および完全自動高速画像撮像の両方のための情報量が多いデータのための集束方法として使用される。ここで、画像撮像装置、好ましくは顕微鏡は、本明細書で関心領域および／または関心構造と呼ばれる関連する特徴を除いて、情報量が多いデータ内の情報を無視するようにプログラムされる。イベントベース撮像は、より大きな試料の小さい特定の関心領域の顕微鏡分析を必要とする任意の実験設定に対して適用することができる。イベントベース撮像は好ましくは、自動化された画像取得から自動化された構造分類および定量化までの完全なデジタルワークフロー内に埋め込まれる。したがって、スループットを劇的に増加させることができ、顕微鏡の操作を介して顕微鏡分析のコストを減少させることができ、ユーザとの対話を大幅に少なくするか、または全くしない。さらに、より多くの顕微鏡データ（人間のバイアスから独立したもの）は、より良い統計的信頼性につながる。

本発明の特許請求される主題によって提案されるようなイベントベースのアプローチにおいては、関心のある構造および／または関心のある領域に関して検出されたイベントが、実験的構成、例えば、画像撮像装置の実験的設定およびその動作条件に影響を与えるために使用される。さらに、その動作モードを設定することもできる。これは、画像解析および／または検索プロトコルが例えば少なくとも１つの初期画像上で取得されるときに画像上で実行される閉フィードバックループを用いて実施される。初期画像は、それぞれの試料に対するイベントベースの撮像を開始する第１ステップにおいて、画像取込装置を用いて取得される試料画像である。初期画像は、比較的大まかな分析を受ける開始画像としての役割を果たし、それに基づいて、さらなる画像、特に少なくとも１つの主画像がどのように取られるか、およびどのようにして取られるかが決定される。それぞれの試料の表面積に関して、初期画像は、それぞれの試料の連続画像であってもよく、またはそれぞれの試料の部分画像を一緒に繋ぎ合わせた結果としての部分画像から構成される画像であってもよく、またはそれぞれの試料のそのような部分画像のそれぞれ自体がそれぞれの試料の初期画像を表してもよい。試料の高さまたは厚さに関して、初期画像は深さ解像度を有する３次元画像であってもよく、３次元画像は通常、複数の２次元デジタル画像の重ね合わせから得られ、これらは以下ではソース画像とも呼ばれる。初期画像に対する分析および／または検索の結果は、例えば、イベントが検出されたか否か、および／または検出されたイベントのタイプなど、次に何が起こるかを決定するために使用される。そのようなアプローチは顕微鏡検査において膨大な時間を節約し、より大規模な研究を可能にし、ユーザエラーおよびバイアスを低減する可能性を有する。そのようなフィードバックループはまた、人間のオペレータよりも客観的で偏りのないものである。

現代のデジタル顕微鏡は、大量の、おそらく管理不可能な数のデジタル画像を取得することができる。多くの研究では、これらのデジタル画像のほんの一部が、検索され特定の質問に答えるために使用可能な情報を含む。イベントベースのアプローチを使用して、特に少なくとも１つの初期画像の取得時に、画像の関心領域および／または関心構造を抽出することができ、研究のデータ記憶要件を劇的に低減することができる。そのような関心構造は、特定のパターンおよび／またはその周囲と関連して目立つパターンであってもよく、またはそれを含んでもよい。例えば、試料中の特定の化学的または生物学的構造またはパターンが研究される場合、特定の構造またはパターンを含む少なくとも１つの初期画像の領域のみが、さらなる分析のために保存される。例えば、生物学的材料構造体、例えば、動物もしくは植物組織、器官もしくはその部分の構造体、または真菌もしくは細胞培養物の構造体の特定の修飾が、経時的顕微鏡法を用いて研究される場合、特定の構造体を含む少なくとも１つの初期画像の領域のみが、さらなる分析のために関心領域として保存される。光学顕微鏡法では、空間分解能、フレームレート、信号対雑音比（ＳＮＲ）および光曝露の間に一定のトレードオフがある。生きている試料を画像化する場合、限られた、理想的には生理学的な光曝露を用いて、関連する生体が画像化によって影響を受けないことを確実にするべきである。また、必要なものだけを撮像することにより、試料の露光量を低減することができる。光束をこのように賢く使うことにより、より高いＳＮＲ、空間分解能、およびフレームレートと等価な全光曝露との組み合わせを可能にする。

一般に、イベントベース撮像は、周囲の構造、パターンおよび／または領域から分離可能な特定の関心構造および／または関心領域を含む試料に対して適用することができる。試料は、そのような関心構造または関心領域を含むことができる任意の材料であってもよい。このような試料は例えば、水試料、土壌試料、例えば、ナノプラスチック粒子を有する土壌試料、または捕捉されたごみ粒子を有する発泡体のような化学組成物の試料であってもよい。

本発明によるイベントの分析は例えば、関心領域を含む試料に関する。関心領域は、本発明の方法に従って識別または分析されるべき関心領域を含む試料または検体の一般的または主要な構造体またはパターンとは異なる構造体またはパターンを含む領域である。そのようなパターンまたは構造体を有する試料は、試料によって包含されるそれぞれのパターンまたは構造体の変形について分析することができる。
本発明の１実施形態では、関心のある構造体または関心のある領域は小さく、例えば、本明細書に記載されるような顕微鏡でのみ識別することができる。

本発明に従って分析される試料は例えば、関心領域を含むかまたは関心領域を含むと予想される溶液、化合物、混合物および／または生物学的物質である。例えば、試料は生物学的材料、例えば、生物学的組織、生物学的器官、細胞、細胞培養物、またはそれらの１つもしくは複数の部分であり得る。生物学的組織または器官またはその部分は、植物または動物由来材料を含む。実施例に記載されるように、分析可能な試料は例えば、植物の葉、植物の根、花、種子、茎、またはそれらの部分のような植物組織または器官に由来する材料である。１実施形態において、分析される試料は、細胞または微生物、例えば、細胞培養物または微小器官の混合物である。

関心領域を含むそれぞれの試料の小部分のみを用いたイベントベース撮像の用途の例として以下が挙げられる：解剖学的試料の病理（例えば、色素染色および免疫染色された切開部分）およびその立体構造；ウイルス、細菌または真菌の感染の分析および／または検出；感染の種類および分類の同定；例えば、薬剤スクリーニング、例えば、様々な癌疾患の単一細胞腫瘍検出におけるバイオアッセイ；例えば血液を介する様々な疾患の医学的診断；生体細胞のアッセイ、例えば蛍光標識された細胞またはマーカ融合タンパク質などの生体分子を介した自動位置係数；蛍光インサイチュハイブリダイゼーション；組織のマイクロアレイ；関心領域の３Ｄ再構築；例えば細胞骨格または分子モータの発生を追跡するためのアクチンの重合などの生化学的または化学的反応の時間経過；例えば蛍光マーカを介した、安定的または一時的に形質移入または形質転換された細胞の検出、例えば、植物細胞、動物細胞、微生物、例えば細菌、真菌、酵母など。

本発明の方法は例えば、生物的または非生物的ストレス、例えば、化学的、環境的または生物学的ストレス、例えば、乾燥または栄養欠乏の結果として、生物学的物質中の関心構造体または関心領域の任意の変化を識別するために使用することができる。本出願において、非生物的ストレスとは一般的に、植物が直面する非生物的環境条件を指し、限定されないが、乾燥（乾燥に対する耐性は改善された水利用効率の結果として達成され得る）、熱、低温および低温環境（例えば、凍結および冷却環境）、塩分、浸透圧ストレス、日陰、高植物密度、機械的ストレス、酸化ストレスなどが挙げられる。生物学的ストレスは例えば、有害生物および病原体による、感染の結果としてのストレスを指す。

最近の傾向では、多くの広視野および共焦点システムのための取得ソフトウェアは、単純なイベントベースのアプローチを実行することができる。取得ソフトウェアは、本明細書では撮像ソフトウェアとも呼ばれ、Ｆｉｊｉ、Ｉｃｙ、ＣｅｌｌＰｒｏｆｉｌｅｒまたはＭａｔｌａｂ（登録商標）などの外部プラットフォームと組み合わされるように構成され、イメージ解析の使用を可能にする。したがって、取得ソフトウェアと外部分析プラットフォームとの間の双方向ブリッジを実現することができる。そのような設定により、それぞれのユーザは外部プラットフォームから取得ソフトウェアに対して様々な取得コマンドを送信することができ、完全な文書を使用することによって、ユーザは画像を取り出すことができる。

画像撮像装置の光ビーム内へ試料ホルダを自動移送することにより、１つのステップで、または連続して、複数の試料を画像撮像装置に対して提供することを可能にする。試料ホルダは例えば、古典的なスライドガラスからマルチウェルプレートまで様々である。１つのタイプの試料ホルダは複数のスライド、例えば、最大４つのスライドの容量を有することができ、各スライドは、複数の試料を収容することができる。試料ホルダは、試料チャンバから取り出すことができる。試料チャンバは、画像撮像装置の構成要素であってもよい。試料チャンバは、複数の試料ホルダ、例えば、２、４、６、１０、２０、２５またはそれ以上の試料ホルダのための容量を有する場合がある。あるいは、試料チャンバは外部からアクセスすることができる別個の構成要素である。このような外部からのアクセスは例えば、ロボットアームなどの把持装置によって行うことができる。把持デバイスは、試料チャンバから試料ホルダを取り外すように、および／または試料チャンバ内に試料ホルダを配置するように構成することができる。把持デバイスはさらに、試料ホルダ（したがって、試料ホルダによってホストされる試料）を、画像撮像装置内／上／において、例えば、画像撮像装置のそれぞれの光ビーム内に正確に配置するように構成することができる。

提案される方法の１実施形態によれば、命令は少なくとも１つのプロセッサによって実行されると、コントローラおよび／または少なくとも１つのプロセッサに、ロボットアームなどの把持デバイスを制御させて、試料ホルダを取り除き、少なくとも１つの試料を試料チャンバから取り除き、および／または試料ホルダ上の少なくとも１つの試料を画像撮像装置の光ビーム内に配置させ、および／またはその逆を実施する。

試料チャンバは、同じまたは異なるタイプの複数の試料ホルダを収容するように構成された１種のサイロであってもよい。

提案される方法のさらなる実施形態によれば、画像処理アルゴリズムとして、機械学習アルゴリズム、特に深層学習アルゴリズムが、少なくとも１つの初期画像を関心構造について検索するために使用される。そのような機械学習アルゴリズムは、関心のある構造を自動的に検出し、識別するように訓練される。機械学習アルゴリズムは、例えば少なくとも１つの初期画像の撮像中に、無人の高速（任意選択的に低解像度）プレスキャニングモード中に、特定の生物学的細胞状態などの所望の関心構造を自動的に識別するように、ユーザによって訓練される。１つ以上の関心構造を識別すると、方法はステップｃ）において、より複雑な撮像手順に切り替えることによって継続し、特に、検出された関心構造の少なくとも１つの主画像をそれぞれ取得する。主画像は、初期画像と比較して高倍率の画像である。それぞれの試料の表面積に関して、主画像は、連続画像または多数の部分画像から構成される画像である場合がある。さらに、それぞれの試料の高さまたは厚さに関して、主画像は、以前に記録された初期画像の深さ解像度よりも通常は大きい深さ解像度を有し、したがって、本明細書ではソース画像とも呼ばれる複数の重ね合わされた２次元デジタル画像から構成される。したがって、主画像のための撮像手順は一般に、より高い複雑度を有する。所望のより複雑な撮像手順の完了後、特に少なくとも１つの主画像を取得した後、プリスキャンモードに戻って、さらなる関心構造を識別し、あらかじめ与えられた数ｋの関心構造が検出されるまで、特に提案方法のステップａ）～ｃ）が繰り返される。

複雑な撮像手順は例えば以下のような追加パラメータを有する：異なる対物レンズを用いて以前に取得された初期画像と比較して高倍率で主画像を取得すること、試料表面からだけでなく試料内の複数の焦点面から、例えば複数の焦点距離で主画像を取得すること、試料の推定される変化を監視するために定義された時間スパンにわたって主画像を取得すること、観察期間中に位置を変化させる移動関心領域の主画像を取得すること、および／または、より大きな倍率を有する蛍光アプリケーションに切り替える前に明視野アプリケーションで主画像を取得すること、および／または、１つの蛍光信号について低倍率で主画像を取得すること、それに続いて、より高い倍率で第２蛍光信号について主画像を取得すること、および／または、初期画像を取得するために使用される画像取得モジュール、例えばマルチスペクトルカメラとは異なる画像取得デバイスの画像取得モジュールを使用して主画像を取得すること。

通常、そのような複雑な撮像手順は、より大きなデータ蓄積を生じさせる。画像処理アルゴリズムは、機械学習アルゴリズムであってもよい。分類アルゴリズムは、機械学習アルゴリズムであってもよい。

本明細書で使用される機械学習アルゴリズムは、それぞれ、少なくとも１つの訓練された畳み込みニューラルネットワーク（ＣＮＮ）によって実現できる。少なくとも１つの訓練されたＣＮＮの各々は、少なくとも１つのプロセッサによって実行されるプログラムルーチンの集合によって実装される。そのような訓練されたＣＮＮは、複数の層を有することができる。少なくとも１つの訓練されたＣＮＮの各々は、少なくとも入力層および出力層を有する。そのような訓練されたＣＮＮは、隠されているさらなる（複数の）中間層を有することが可能であり、その場合、機械学習アルゴリズムは、深層学習アルゴリズムと見なされる。ＣＮＮは、当技術分野において周知である。少なくとも１つのＣＮＮを画像処理アルゴリズムとして使用して、少なくとも１つの初期画像から関心構造を検索するために、少なくとも１つのＣＮＮを訓練しなければならない。少なくとも１つのコンピュータプロセッサ上で実装され、実行される少なくとも１つのＣＮＮは、入力として提供されるデジタル画像と、出力として関連付けられた注釈付き画像とを用いて訓練され、少なくとも１つのＣＮＮはそれぞれの入力画像をそれぞれの関連付けられた注釈付き画像と相関させるように訓練される。少なくとも１つのＣＮＮをトレーニングして、入力画像内のすべてのピクセルを、それぞれの関連するピクセル単位の注釈付き画像のそれぞれのラベルと相関させることが可能である。

例えば、植物の真菌感染の場合について説明すると、画像処理アルゴリズムを実現する少なくとも１つのＣＮＮは、好ましくは植物のそれぞれの試料の表面における真菌感染と、表皮層における進行した真菌感染と、植物のそれぞれの試料の表皮の下の層とを区別するように訓練される。したがって、異なる焦点距離、例えば、それぞれ約５０μｍの間隔を有する７つの異なる焦点距離における部分画像が取得される。各部分画像において、関心構造としての真菌構造体は、可能な限り小さい描画ボックスによって注釈付けされ、それぞれの真菌構造体に関連する文字でラベル付けされる。明確に同定された真菌構造体および特定の真菌増殖状態の真菌構造体である可能性が高いもの両方に、注釈が付けられる。画像処理アルゴリズムを開発し訓練するために、少なくとも１つの焦点距離が使用される。それぞれの訓練データベースでは、注釈付き真菌構造体を有する画像のみを含むか、または注釈付き真菌構造体を有さない画像と注釈付き真菌構造体を有する画像の両方を含むことが可能である。好ましくは、訓練データベース内の画像の０％～１０％が、注釈付き真菌構造体のない画像である。

コントローラおよび／または少なくとも１つのプロセッサは、通信チャネルを介して少なくとも１つの初期画像を読み取り、スキャンを中断し、例えば、少なくとも１つの初期画像を取得して関心構造を探索することを中断し、１つ以上の関心構造を検出すると、所望の複雑な撮像手順のために、特に少なくとも１つの主画像の取得のために画像撮像装置を再構成するように構成される。

そのような自動撮像方法の前提条件は、使用される装置ステージの電動化、対物レンズおよび／またはスキャナズームの自動変更、ならびに蛍光フィルタおよび／またはレーザラインの切り替えである。また、画像撮像装置は自動焦点機能と共に、マルチポジショニングおよび／または格子走査を提供すべきである。画像撮像装置は、コントローラおよび／または少なくとも１つのプロセッサによる遠隔制御を可能にするための少なくとも１つのインターフェースを備える。任意の種類の適切な通信技術を使用して、コントローラと、少なくとも１つのプロセッサと、画像撮像装置との間の通信接続をそれぞれ確立することができる。

代替的に、および／または少なくとも１つの初期画像から関心のある構造体を探索するための機械学習アルゴリズムの使用に加えて、画像処理アルゴリズムは他の現象を使用する。提案される方法の１実施形態によれば、測定可能な特徴的な視覚的コントラスト、特に、蛍光、リン光、反射率などの測定可能な特徴的な光現象が、関心構造について少なくとも１つの初期画像を検索するために使用される。上述の光現象に関して、特定の制御可能な照明に対する個々の関心構造のそれぞれの既知の特性応答により、これらの関心構造を検出することができる。

本開示の１態様によれば、少なくとも１つの試料の単一の試料を考慮すると、それぞれの試料の少なくとも１つの初期画像は実際には試料全体の１つの画像であり、あるいは、少なくとも１つの初期画像は、部分試料の画像とも呼ばれる、試料の一部の１つの画像である。後者の場合、試料の一部の１つの画像も、試料全体の部分画像として指定される。また、初期画像は、部分画像からなる画像であってもよい。

本開示の別の態様において、それぞれの試料の少なくとも１つの初期画像は、それぞれの試料のいくつかの部分画像として取得され、１つ以上の試料の部分画像は、それぞれの試料について、全体としてまたは連続して、所定の数ｋの関心構造が検出されるまで、関心構造について検索される。したがって、それぞれの試料のそのような部分画像の各々は、それぞれの試料の初期画像を表す。部分画像の数は、ゼロより大きい任意の整数であり得る。部分画像は、それぞれの試料のより大きな部分、すなわち部分試料、または試料全体を画像化または表示するために、モザイクのようにまとめることができる。部分画像は、タイルとして指定することもできる。１つの部分画像は例えば、１つのタイルに対応することができる。試料の１つ以上またはすべての部分画像が検索されることが可能である。１実施形態において、試料の１つ以上またはすべての部分画像が関心のある構造について一度に検索されることが可能である。関心構造の検出後にのみ、少なくとも１つの主画像が記録され、さらに分析され、通常、検出された関心構造の複数の主画像が記録され、さらに分析される。これに代えて、試料の部分画像は関心のある構造について連続的に検索され、関心のある構造が部分画像のうちの１つにおいて検出されるごとに、より複雑な撮像手順が実行され、特に、少なくとも１つの主画像が撮像される。より複雑な撮像手順の完了後、コントローラはプリスキャンモード（具体的にはステップａ）およびｂ））にループバックし、部分画像（具体的には試料位置）で継続し、そこで、少なくとも１つの主画像を取得するために停止する。

部分画像のうちの１つにおける関心構造の各検出において、少なくとも１つの主画像の取得を開始することができる。あるいは、より複雑な撮像手順、特に少なくとも１つの主画像の取得を開始する前に、いくつかの部分画像のそれぞれのリストについて、いくつかの部分画像が最初に関心構造について検索されることも可能である。それぞれの部分画像を読み取った後、各部分画像は例えば、セグメント化され、関心構造毎の特徴セットが抽出される。関心のある構造体をセグメント化するために、関心のある構造体の視覚的特性に応じて、カラーフィルタを使用することができ、またはテクスチャ分析およびフィルタリングを実行することができる。複雑な構造については、オブジェクト検出のためのディープラーニングアプローチ（例：‘Faster R-CNN’ [Ren, S., He, K., Girshick, R., & Sun, J. (2015). Faster r-cnn: Towards real-time object detection with region proposal networks. In Advances in neural information processing systems (pp. 91-99).]) またはセグメント化 (例：‘Mask R-CNN’ [He, K., Gkioxari, G., Dollar, P., & Girshick, R. (2017). Mask r-cnn. In Proceedings of the IEEE international conference on computer vision (pp. 2961-2969).]）を使用することもできる。検出されたオブジェクトの座標およびサイズまたはラベル付けされた画像ピクセルは、関心領域および／または関心構造を定義する。所定時間後または所定数の取得された部分画像の後、少なくとも１つの主画像が取得され、その後、画像撮像装置はさらなる初期画像、例えば、同じまたは別の試料のさらなる部分画像を取得するために切り換えられる。ステップｄ）において、検出された関心構造は、分類アルゴリズム、特に機械学習分類アルゴリズムを使用して分類され、後続のステップｅ）において、分類された関心構造は評価され、例えば定量化される。例えば、ステップｅ）において、それぞれの分類、特にそれぞれのクラスに対して割り当てられるべき検出された関心構造のそれぞれの数または量が決定され、示される。

植物の真菌感染の例において、分類アルゴリズムは好ましくはそれぞれの植物細胞の浸透後に、例えば、３段階の真菌感染を区別するように開発され、訓練される。例えば約３０μｍ～３５μｍのそれぞれの間隔を有する１５個の異なる焦点距離における、複数の異なる焦点距離における部分画像が取得される。各部分画像において、真菌構造体はそれぞれの関心構造体の周りの描画ボックスによって注釈付けされ、描画ボックスは一貫して、例えば、サイズの変動なしに約８００×８００ピクセルであり、それぞれの真菌構造体に関連する文字でラベル付けされる。好ましくは、明確に同定された真菌構造体のみが注釈付けされる。分類アルゴリズムを訓練するために、完全な部分画像を使用するのではなく、それぞれの部分画像のそれぞれのセクションを表す描画ボックスのみを使用することが好ましい。それぞれのトレーニングデータベースは、注釈付き真菌構造体を有する部分画像のセクションのみを正しいヒットとして含むことが好ましい。画像処理アルゴリズムからの対応する推定認識された真菌構造体を有する部分画像の不正確に注釈付けされたセクションを、分類アルゴリズムのトレーニングのためのバックグラウンドとして、偽ヒットを有する追加のクラスに割り当てることがさらに好ましい。好ましくは、バックグラウンドは真菌構造体を含まない部分画像の他のセクションでさらに強化される。したがって、バックグラウンドは、分類アルゴリズムのトレーニングのための偽ヒットとしての否定的な例を含む。訓練データベースは、正しく注釈された真菌構造体を有する部分画像のセクションと、誤って注釈された真菌構造体を有するかまたは注釈された真菌構造体を有さない部分画像のセクションを含むバックグラウンドとして指定されたグループとからなるグループを含む。

本開示の範囲内で、「分類」という用語は一般に、特定の特徴に従ったグループへ、より具体的には、関連する植物／植物病／真菌感染のクラスへ、関心構造を分割することを指す。ディープラーニング手法は一般に、テクスチャおよび色特徴を透過的に観察する。代替として、検出された物体、特に検出された関心構造の特定の特性は、テクスチャ分析（例：‘Haralick Texture Features’ [Haralick, R. M., Shanmugam, K., & Dinstein, I. H. (1973). Textural features for image classification. IEEE Transactions on systems, man, and cybernetics, (6), 610-621.]）を介して決定することができる。計算されたテクスチャ特徴は次に、「自己組織化マップ」[Kohonen, T. (1990). The self-organizing map. Proceedings of the IEEE, 78(9), 1464-1480.]またはＫ－ｍｅａｎｓクラスタリング[MacQueen, J. (1967, June). Some methods for classification and analysis of multivariate observations. In Proceedings of the fifth Berkeley symposium on mathematical statistics and probability (Vol. 1, No. 14, pp. 281-297).]のような機械学習アプローチを用いて、類似性に従ってグループ化することができる。グループ化はまた、既知のクラスに対する差に基づいてもよい。この場合、検出された関心領域および／または検出された関心構造のクラスは、それらを既知のオブジェクトクラスの特性と比較し、それらに対する最小の差を見つけることによって決定される。

提案される方法のさらなる実施形態によれば、１つ以上の試料の部分画像は、特定の分類の、特に特定のクラスの、所定の数ｍの関心構造が検出され分類されるまで、関心構造について検索される。ｍは０よりも大きい整数であり、ｍ≦ｋである。
例えば、クラスの特定の場合、１つ以上の試料は、各所与クラスｃｉの特定の特性／特徴によって特徴付けられる関心構造について検索される。ｉはゼロよりも大きい整数である。クラスへのそのような分割は、事前に定義することができ、検出された関心構造体の明確な分類を可能にする。所定の数ｍが検出されるまで、これらのクラスのうちの１つの関心構造を検索することが目的である。したがって、すべての与えられたクラスｃｉについて１つ以上の試料において検出されるべき関心構造体の合計は、ｋ：Σ_ｃｉｍ＝ｋである。

それぞれのそのようなクラスは、特定の関心構造、例えば、コントロール型または野生型とは異なる特異的構造によって特徴付けることができる。生物学的関心構造の例は、材料に対する化学的、環境的、または生物学的ストレスによって、または材料自体によるそのようなストレスに対する反応として形成される構造である。好ましくは、前記クラスを特徴付ける関心構造は、根底にあるストレスイベントを識別することを可能にする。例えば、それぞれのそのようなクラスは、特定の目に見えるもしくは目に見えない植物防御反応から生じる特定の植物防御構造、および／または、特定の真菌構造、または基礎となる生物学的物質の感染を示す構造によって、特徴付けることができる。例えば、クラスを特徴付けることができる関心構造は、特定の真菌の生活段階、および／または、任意の他の特定の植物病害構造である場合がある。特定の検査に応じて、考えられる全てのクラス区分を、問題の検査のためにあらかじめ定義することができる。

提案される方法のさらに別の実施形態によれば、規定個数ｎの関心構造を有し、特に特定クラスの関心構造を規定個数ｎ有する、１つ以上の試料および／または１つ以上の試料のそれぞれの部分画像が識別され、ｎは０より大きい整数であり、ｎ≦ｋ、特にｎ≦ｍである。画像取得および画像解析は、それぞれの試料について、それぞれの試料全体が探索されたとき、またはｎ個の関心構造、特に特定のクラスのｎ個の関心構造が検出され分類されたときのいずれかにおいて、自動的に停止する。

１実施形態において、特定の個数の関心構造、特に特定のクラスの特定の個数の関心構造が検出されるまで、各試料を検索し分析することができる。
次いで、システムは、関心のあるｋ個の構造体の合計、合計ｋ個の関心構造が検出されるまで、場合によっては、任意クラスまたは各クラスｃｉのｍ個の関心構造が規定クラス数Σ_ｃｉｍ＝ｋ検出されるまで、次の試料に自動的に移動する。

提案される方法のさらなる実施形態によれば、少なくとも１つの初期画像は、複数の一時的な部分画像として取得される。一時的な部分画像の取得により、記憶空間を節約することができ、総スループットを高めることができる。タイルとも呼ばれる一時的な部分画像は、１つ以上の関心構造について、および／または異なる関心構造について、グループごとに、または１つずつ分析される。

提案される方法のさらに別の態様において、少なくとも１つの初期画像は、それぞれの低倍率画像として取得される。低倍率部分画像の取得、特に一時的な低倍率部分画像の取得は、それぞれのデータフローおよび記憶容量をさらに低減し、少なくとも１つの初期画像のより速い取得を可能にする。

提案される方法のさらなる実施形態によれば、ステップｂ）において少なくとも１つの初期画像を検索することは、異なる関心構造間を区別することにより、検出された異なる関心構造に対して適合された複数のｚスタックを用いて少なくとも１つの主画像がすでに取得されるようにすることを含む。例えば、少なくとも１つの初期画像が取得されるとき、異なる関心構造体は、たとえそれらがおそらく同じクラスに属するとしても、それらの現在の外観に従って区別される。例えば、それらのそれぞれの進行に起因する外観であり、それは例えば疾患進行、またはそれらが生物学的材料に対してどの程度まで深く浸透しているかによるものである。ここでいう生物学的材料は例えば、動物または植物組織、、または培養細胞内であり、特に植物、植物組織、または植物期間またはその一部であり、例えば植物の葉、根または種子である。それぞれの異なる関心構造に応じて、後に取得されるべき主画像のｚスタックの数が決定される。例えば、関心構造が生物学的材料（例えば、動物もしくは植物組織または細胞培養物内、特に、植物、植物組織もしくは植物器官またはそれらの一部、例えば植物の葉、根、もしくは種子）のいくつかの層に対して浸透しているように見える場合、関心構造がそれぞれの生物学的材料（例えば、動物もしくは植物組織または細胞培養物内、特に、植物、植物組織もしくは植物器官またはそれらの一部、例えば植物の葉、根、もしくは種子）の表面にのみ現れる場合とは異なる数のｚスタックが、主画像の取得のために選択される。しかしながら、両方の場合において、それぞれの関心構造は、特定のクラスに対して割り当てられる。例えば、材料に対する化学的、環境的もしくは生物学的ストレス、または材料自体によるそのようなストレスに対する反応、特に特定の植物もしくは動物の疾患、または特定の真菌／真菌の寄生などのクラスに対して割り当てられる。

提案される方法のさらなる態様によれば、少なくとも１つの初期画像は、所定数ａのｚスタックを用いて取得され、ｚスタックの数ａはそれぞれの試料および／または予想される検出可能な関心構造に応じてあらかじめ決定される。

Ｚスタックは、ｚ軸に沿って、すなわち光軸に沿って漸進的にステップする、異なる焦点距離で複数のソース画像を撮影することによって生成される。「多数のｚスタックを有する画像」という表現は、複数のソース画像が異なる焦点距離で撮影されること、すなわち、試料内の異なる焦点面で撮影され、個々のソース画像のいずれよりも大きな被写界深度を有する合成（初期または主）画像としてそれぞれの画像を提供するように結合されることを意味する。それによって、ソース画像は、所与のｘｙ位置について１つのｚ位置で取得される２次元デジタル画像となる。複数のソース画像を重ね合わせることによって、ソース画像の数に応じた深度解像度を有する３次元画像が得られる。得られた３次元画像は、初期画像であってもよく、主画像であってもよい。一般に、試料の初期画像はより小さい深さ分解能を有し、したがって、それぞれの試料の主画像よりも少ないソース画像から構成される。したがって、試料の初期画像は、それぞれの試料の主画像よりも少ない数のｚスタックを有する画像である。したがって、初期画像および主画像の両方は、異なる焦点距離で撮影された複数のソース画像から構成することができる。ｚスタックの数は、異なる焦点距離の数に等しく、したがって、３次元性に関するそれぞれの（初期または主）画像の深度を示す。

試料の画像のＺスタッキングは、高空間分解能で試料内の３次元動力学のトラッキングを可能にする。これは例えば、同時に試料内の異なる焦点面を撮像し、したがって、２次元空間のみでは不可能である評価および／または結論を可能にする３次元空間へ関心領域および／または関心構造が進行することに追従することによってなされる。
これは、例えば、不均等な試料を例えば葉表面として自動的に撮像する場合に表面の不規則性を均等化するために、および／または成長および／もしくは構造体および／またはｚ軸に沿った植物防御反応が異なる真菌構造体を分類するために、必要となる。

したがって、本発明は、少なくとも１つの試料をイベントベースで撮像して、イベントとして関心のある構造体のみを記録するためのコンピュータ実装方法にも関連するものであり、この方法は以下を有する：
試料ホルダと結合された自動画像撮像装置と、画像撮像装置と結合されたコントローラと、コントローラと動作可能に結合された少なくとも１つのプロセッサと、少なくとも１つのプロセッサによって実行されると、コントローラおよび／または少なくとも１つのプロセッサに以下を実施させる命令を有するコンピュータ読取可能媒体とを提供するステップ：
ａ）前記画像撮像装置によって、前記試料ホルダに保持された前記少なくとも１つの試料の少なくとも１つの初期画像を取得するステップ、
ｂ）画像処理アルゴリズムを使用して、前記少なくとも１つの初期画像から関心構造を検索するステップ、
ｃ）１つ以上の関心構造を検出すると、検出された関心構造の少なくとも１つの主画像をそれぞれ取得するように、前記画像撮像装置の画像撮像ソフトウェアを制御するステップであって、前記少なくとも１つの主画像は３次元画像であるステップ、
ｄ）分類アルゴリズムを用いて、前記少なくとも１つの主画像内の検出された関心構造を分類するステップ、
ｅ）前記分類された関心構造を評価するステップ、
ｆ）前記評価された関心構造の結果を出力するステップ、
ｇ）前記少なくとも１つのプロセッサによって前記命令を実行するステップであって、少なくともステップａ）～ｃ）は、所定数ｋの関心構造が検出されるまで繰り返され、ｋは整数である、ステップ。

さらに、第１個数のｚスタックを有する試料の第１初期画像において関心構造が検出されない場合、画像撮像装置は、次のより高い大きい個数のｚスタックを有する次の初期画像を取得するように、および／または、次の初期画像を取得するために、それぞれの試料の別の場所に、または少なくとも１つの試料の別の試料に移動するように、制御することができる。したがって、少なくとも１つの初期画像のためのｚスタックの数は、あらかじめ定義されてはならず、むしろ、動作中、特に少なくとも１つの初期画像の画像取得プロセス中に変更し適合することができる。

少なくとも１つの初期画像の少なくとも１つにおいて関心構造が検出される場合、検出された関心構造の少なくとも１つの主画像は、提案される方法のさらなる実施形態において、高倍率画像として取得される。

提案される方法のさらなる実施形態によれば、少なくとも１つの初期画像のうちの少なくとも１つにおいて関心構造が検出される場合、検出された関心構造の少なくとも１つの主画像は可変数のｚスタックを有する画像として取得され、検出された関心構造の取得および分類は、少なくとも１つの主画像のｚスタックの数が、検出された関心構造のそれぞれの分類、特に検出された関心構造のそれぞれのクラスに応じて選択されるように、同時に実行される。一般に、少なくとも１つの主画像は、機械学習分類アルゴリズムによる分類がなされると同時に、それぞれの３Ｄ画像（３次元画像）または高倍率画像として取得される。ｚスタックの数は分類に依存し、例えば、検出された関心構造が割り当てられるクラスに依存する。少なくとも１つの主画像を取得すると、少なくとも１つの主画像が評価のためにそれぞれの評価モジュール、評価ソフトウェア、および／または評価アルゴリズムに対して転送され、評価された関心構造のそれぞれの結果が、ディスプレイ、オーディオ出力、またはそれらの任意の組み合わせなどの適切な出力デバイスを介して出力される。分類のタイプ、例えば、事前定義されたクラスへの割り当ては、基礎となる調査の目的または焦点に応じて事前に学習することができ、特に、機械学習分類アルゴリズムはそれに従って訓練される。機械学習分類アルゴリズムは、少なくとも１つの訓練された畳み込みニューラルネットワーク（ＣＮＮ）によって実現されてもよい。少なくとも１つの訓練されたＣＮＮの各々は、少なくとも１つのプロセッサによって実行されるプログラムルーチンの集合によって実装される。そのような訓練されたＣＮＮは、複数の層を有し得る。少なくとも１つの訓練されたＣＮＮの各々は、少なくとも入力層および出力層を有する。このような訓練されたＣＮＮは隠されているさらなる（複数の）中間層を有することが可能であり、その場合、それぞれの機械学習アルゴリズムは、深層学習アルゴリズムと見なされる。ＣＮＮは、当技術分野において周知である。少なくとも１つのＣＮＮを使用して少なくとも１つの主画像内の検出された関心構造を分類するために、少なくとも１つのＣＮＮは、それに応じて訓練されなければならない。少なくとも１つのコンピュータプロセッサ上で実装され、実行される少なくとも１つのＣＮＮは、入力として提供されるデジタル画像と、出力として関連付けられた注釈付き画像とを用いて訓練され、少なくとも１つのＣＮＮはそれぞれの入力画像をそれぞれの関連付けられた注釈付き画像と相関させるように訓練される。少なくとも１つのＣＮＮをトレーニングして、入力画像内のすべてのピクセルを、それぞれの関連するピクセル単位の注釈付き画像のそれぞれの分類ラベルと相関させることが可能である。

一般に、ステップａ）～ｃ）は、少なくとも１つの初期画像のそれぞれの初期画像に対して連続的に実行される。ステップａ）～ｄ）は、ステップｅ）およびｆ）が実行される前に、所定数ｋの関心構造が検出されるまで、１つの試料について、および／または異なる試料について実行されることが可能である。

さらなる実施形態によれば、ステップａ）～ｄ）は、所定数の関心構造が検出されるまで、１つの試料について、および／または異なる試料について実行され、検出された関心構造は例えば、特定のクラスのメンバーシップに従って、または１つの同じクラス内の異なる外観に従って、特定の分類の特徴を満たす。

本開示はまた、少なくとも１つの試料をイベントベース撮像して、関心構造のみをイベントとして記録するためのシステムに関し、このシステムは少なくとも以下を備える：
試料ホルダに対して接続された自動画像撮像装置、
前記画像撮像装置と連結されるように構成されたコントローラ、
前記コントローラと動作可能に接続された少なくとも１つのプロセッサ、
前記少なくとも１つのプロセッサによって実行されると、前記画像撮像装置と結合された前記コントローラに、および／または、前記少なくとも１つのプロセッサに以下のステップを実施させる命令を有するコンピュータ読取可能媒体：
ａ）前記画像取得によって、前記試料ホルダに保持された前記少なくとも１つの試料の少なくとも１つの初期画像を取得するステップ、
ｂ)画像処理アルゴリズムを使用して、少なくとも１つの初期画像から関心構造を検索するステップ、
ｃ)１つ以上の関心構造を検出すると、検出された関心構造の少なくとも１つの主画像をそれぞれ取得するように、前記画像撮像装置の画像撮像ソフトウェアを制御するステップ、
ｄ)分類アルゴリズム、特に機械学習分類アルゴリズムを使用して、少なくとも１つの主画像内の検出された関心構造を分類するステップ、
ｅ)分類された関心構造を評価するステップ、
ｆ)評価された関心構造の結果を出力するステップ、
前記プロセッサは、少なくともステップａ）～ｃ）があらかじめ与えられた数ｋの関心構造が検出されるまで繰り返されるように、前記命令を実行するように構成され、ｋはゼロよりも大きい整数である。

提案されたシステムの好ましい実施形態では、命令が少なくとも１つのプロセッサによって実行されると、画像撮像装置に結合されたコントローラに、および／または少なくとも１つのプロセッサに、把持装置、特にロボットアームを制御させて、少なくとも１つの試料を試料ホルダ上に配置させ、逆もまた同様である。把持デバイスは試料チャンバから試料を取り出すように、および／または試料チャンバ内に試料を配置するようにさらに構成されてもよい。

さらに別の好ましい実施形態において、システムは、結果をユーザに対して出力するように構成され、少なくとも音響デバイス、触覚デバイス、表示デバイス、およびそれらの任意の組み合わせを備えるグループのうちの１つである、出力デバイスを備える。

さらなる実施形態において、システムは、少なくとも１つのプロセッサおよび／またはコントローラによって制御されて、少なくとも１つの試料を試料ホルダ上に配置し、その逆もまた同様であるように構成される、上述の把持デバイスを備える。

別の実施形態において、システムはまた、画像撮像装置と結合されるように構成され、少なくとも１つの試料が試料ホルダ上に配置される前および／または後に少なくとも１つの試料を収容するように設計され、画像撮像装置が利用可能にされる、試料チャンバを備える。

本発明のさらなる態様は、自動化された画像撮像装置のコントローラと動作可能に連動する少なくとも１つのプロセッサによって実行されると、コントローラおよび／または少なくとも１つのプロセッサに以下を実施させる非一時的コンピュータ読取可能記憶媒体である：
Ａ）少なくとも１つの試料を、画像撮像装置に対して接続された試料ホルダ上に配置するステップ、
Ｂ）前記少なくとも１つの試料の少なくとも１つの初期画像を前記画像取込装置によって取得するステップ、
Ｃ）画像処理アルゴリズムを使用して、少なくとも１つの初期画像から関心構造を検索するステップ、
Ｄ）１つ以上の関心構造を検出すると、検出された関心構造の少なくとも１つの主画像をそれぞれ取得するように、画像撮像装置の画像撮像ソフトウェアを制御するステップ、
Ｅ）分類アルゴリズム、特に機械学習分類アルゴリズムを使用して、少なくとも１つの主画像内の検出された関心構造を分類するステップ、
Ｆ）分類された関心構造を評価するステップ、
Ｇ）評価された関心構造の結果を出力するステップ、
Ｈ）あらかじめ与えられた数ｋの関心構造が検出されるまで、少なくともステップＢ）～Ｄ）を繰り返し、ｋはゼロより大きい整数である、ステップ。

命令およびデータを記憶するのに適したコンピュータ可読媒体は例えば、半導体メモリデバイス、例えば、フラッシュメモリデバイス、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、内蔵ハードディスクまたはリムーバブルディスクなどの磁気ディスク、光磁気ディスク、光ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ－ＲＡＭ、およびＤＶＤ－ＲＯＭディスク、またはそれらのうちの１つ以上の組み合わせを含む、すべての形態の不揮発性メモリおよびメモリデバイスを含む。そのようなメモリデバイスは、キャッシュ、クラス、アプリケーション、バックアップデータ、データベーステーブル、動的情報を記憶するリポジトリ、ならびに任意のパラメータ、変数、アルゴリズム、命令、ルール、制約、および／またはそれらへの参照を含む任意の他の適切な情報を含む、様々なオブジェクトまたはデータを記憶することができる。さらに、メモリは、ポリシー、ログ、セキュリティ、またはアクセスデータ、報告ファイル、ならびに他のものなど、任意の他の適切なデータを含み得る。少なくとも１つのプロセッサおよびメモリは、専用論理回路によって補足されるか、または専用論理回路に組み込まれ得る。

命令は、コンピュータプログラム、ソフトウェアアプリケーション、ソフトウェアモジュール、スクリプト、またはコードとして存在することができる。命令は、コンパイルされたまたは解釈された言語、または宣言言語もしくは手続き言語を含む、任意の形式のプログラミング言語で書くことができる。さらに、命令は、スタンドアロンコンピュータプログラムとして、またはコンピューティング環境での使用に適したモジュール、コンポーネント、サブルーチン、または他のユニットとしてを含む、任意の形態で展開することができる。１実施形態では、本開示のコンピュータ実行可能命令がＨＴＭＬ、ＴＳ（ＴｙｐｅＳｃｒｉｐｔ）、またはＣＳＳ（Cascading Style Sheets）で書かれる。

コンピュータプログラムはそれぞれのファイルシステム内のファイルに対応し得るが、必ずしも対応する必要性はない。コンピュータプログラムは他のコンピュータプログラムまたはデータ、例えば、マークアップ言語文書に記憶された１つ以上のスクリプトを保持するファイルの一部、問題のコンピュータプログラム専用の単一ファイル、または複数の協調ファイル、例えば、１つ以上のモジュール、サブプログラム、またはコードの一部を記憶するファイルに記憶することができる。コンピュータプログラムは、１つのコンピュータ上で、または１つのサイトに位置するか、または複数のサイトにわたって分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。コンピュータプログラムの一部は様々なオブジェクト、方法、または他のプロセスを介して様々な特徴および機能を実装する個々のモジュールとして設計され得るが、コンピュータプログラムは代わりに、必要に応じて、いくつかのサブモジュール、サードパーティサービス、構成要素、および／またはライブラリを含み得る。逆に、様々な構成要素の特徴および機能は、必要に応じて単一の構成要素に組み合わせることができる。

少なくとも１つのプロセッサ、特に本開示の方法の実行に適したシステムは、汎用または専用マイクロプロセッサ、または任意の他の種類のＣＰＵに基づくことができる。一般に、ＣＰＵは、読取り専用メモリ（ＲＯＭ）またはランダムアクセスメモリ（ＲＡＭ）またはその両方から命令およびデータを受信する。画像撮像装置およびコントローラに加えて、システムの必須要素は、命令を実行または実行するためのＣＰＵ(少なくとも１つのプロセッサとして）と、命令およびデータを記憶するための１つ以上のメモリデバイスである。一般に、システムは少なくとも１つのメモリデバイスを含むか、または少なくとも１つのメモリデバイスに対して動作可能に結合され、データを記憶するために、少なくとも１つのメモリデバイスとの間でデータを受信するか、データを転送するか、またはその両方を実施する。少なくとも１つのメモリデバイスは例えば、磁気ディスク、光磁気ディスク、または光ディスクを含む。しかしながら、システム自体は、そのようなメモリデバイスを有する必要はない。さらに、システムはほんの数例を挙げると、別のデバイス、たとえば、携帯電話、携帯情報端末（ＰＤＡ）、またはポータブル記憶デバイス、たとえば、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブに組み込むことができる。

本説明は、１つ以上の特定の実装形態の文脈で提示および提供される。開示された実装に対する様々な修正は当業者には容易に明らかであり、本明細書で定義された一般的な原理は、本開示の範囲から逸脱することなく、他の実装およびアプリケーションに対して適用され得る。

本明細書で説明される主題および機能的動作の実装は、本明細書で開示される構造およびそれらの構造的等価物を含む、デジタル電子回路、コンピュータソフトウェア、コンピュータハードウェア、またはそれらのうちの１つ以上の組み合わせで実装され得る。本明細書で説明する主題の実装形態は、少なくとも１つのプロセッサによって実行されて画像撮像装置の動作を制御するために、１つ以上のコンピュータプログラム、たとえば、有形の非一時的コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実装され得る。代替的にまたは追加的に、コンピュータプログラム命令は、少なくとも１つのプロセッサによる実行のために適切な受信機デバイスへの送信のための情報を符号化するために生成される、人工的に生成された伝搬信号、たとえば、機械生成された電気信号、光信号、または電磁信号上で符号化され得る。

本明細書に記載されるような画像撮像プロセスの自動化は、以下の利点を提供する：
・時間の節約：それぞれの実験および画像分析パラメータを定義した後、実験は、人間のオペレータを必要とせずに自動的に実行することができる、
・関心構造体はコンピュータアルゴリズムによって選択され、この結果、人間のオペレータによる主観的かつ偏った選択よりも一貫したデータが得られる、
・理論的には、撮像装置ははるかに多くの試料を実行することができ、それぞれのスループットが向上する、
・本明細書に記載される提案される方法において使用される自動化された画像分析および取得のための統合されたフィードバックループは、利用可能な試料の迅速かつ効率的な評価を可能にするとともに、必要なデータストリームおよびデータ記憶の同時保存を可能にし、したがってコストが改善する。

使用されるコントローラおよび提案されるコンピュータ可読媒体によって提供される命令は、画像撮像装置のための特定の画像化パターンおよび画像化作業を定義することを可能にする。また、撮像装置を制御することができ、撮像装置の各インタフェースを用いてフィードバックループを実現することができる。

画像撮像装置は完全に自動化され、特に、試料位置、レーザおよび／またはダイオードおよび／またはランプパラメータ、それぞれの試料の環境パラメータなどの、スクリーニングおよび画像取得中に変更されるべき全ての機能は、ソフトウェアツールを介して変更される。さらに、通信チャネルが提供され、特に、画像撮像装置のコントローラと少なくとも１つのプロセッサとの間の通信接続が提供され、これにより、方法およびその統合されたフィードバックループが実装される。

一般に、少なくとも画像撮像装置、コントローラ、および少なくとも１つのプロセッサは、それぞれの通信接続を介して互いにネットワーク化される。異なる構成要素間の通信接続の各々は、それぞれ、直接接続または間接接続である。各通信接続は、有線または無線接続であってもよい。それぞれ適切な通信技術を使用することができる。撮像装置、コントローラ、および少なくとも１つのプロセッサはそれぞれ、互いに通信するための１つ以上の通信インターフェースを含み得る。そのような通信は、ファイバ分散データインターフェース（ＦＤＤＩ）、デジタル加入者回線（ＤＳＬ）、イーサネット（登録商標）、非同期転送モード（ＡＴＭ）、または任意の他の有線送信プロトコルなどの有線データ送信プロトコルを使用して実行できる。代替として、通信は、汎用パケット無線サービス（ＧＰＲＳ）、ユニバーサルモバイルテレコミュニケーションシステム（ＵＭＴＳ）、符号分割多元接続（ＣＤＭＡ）、ロングタームエボリューション（ＬＴＥ）、ワイヤレスユニバーサルシリアルバス（ＵＳＢ）、および／または任意の他のワイヤレスプロトコルなど、様々なプロトコルのいずれかを使用する無線通信ネットワークを介した無線通信であってもよい。各通信は、無線通信と有線通信との組み合わせであってもよい。「通信接続」および「動作可能な接続」という用語は、本明細書では同義語として使用される。

分類アルゴリズム、特に機械学習分類アルゴリズム、画像処理アルゴリズム、特に機械学習探索アルゴリズム、および画像評価アルゴリズムは、それぞれ、同じまたは異なるプロセッサ上で実行することができる。画像撮像装置制御ソフトウェアは、１つ以上の上述のアルゴリズムが実行されるものとは異なるプロセッサ上で実行され得る。大きな画像バッチはまた、並列処理のためにいくつかのプロセッサに分配することができる。「プロセッサ」、「コンピュータ」および「コンピューティングデバイス」という用語は、本明細書では同義語として使用される。

本明細書の主題の１つ以上の実装形態の詳細は、添付の図面および説明に記載される。主題の他の特徴、態様、および利点は、説明、図面、および特許請求の範囲から明らかになる。

提案する方法の１実施形態の流れ図を概略的に示す。 図２ａ、２ｂ、２ｃ、および２ｄに、提案する方法の実施形態においておよび／または提案するシステムの構成要素として使用可能である、自動化顕微鏡によって捕捉された、異なる真菌の生活段階および植物防御反応のそれぞれの初期画像を示す。 提案するシステムの１実施形態を概略的に示す。

図１は、試料１００をイベントベースで撮像し、関心のある構造体のみを記録するための提案方法の実施形態のフロー図を示す。第１に、試料ホルダの自動移送と結合されることになっている、および／または結合される、ここでは図示されていない自動画像撮像装置が提供される。本実施形態では、撮像装置は自動高速顕微鏡である。試料ホルダは試料１００を保持し、試料１００が正しく配置されている場合に、それを撮像するために、ステップ１０１において画像撮像装置が試料１００を利用可能となるようにする。また、コントローラが撮像装置と接続され、撮像装置の動作を制御するように構成されている。少なくとも１つのプロセッサは、コントローラと連動して動作する。さらに、プログラムコード記憶するコンピュータ可読媒体が提供され、具体的には、インストールされた直後またはその後に少なくとも１つのプロセッサによって実行可能である命令が記憶されている。命令は、少なくとも１つのプロセッサによって実行されると、コントローラおよび／または少なくとも１つのプロセッサに、ステップ１０２において、第１態様によれば、初期画像として葉表面のいくつかの低倍率部分画像を連続的に顕微鏡から取得させる。この取得は、５倍または１０倍の倍率を有する対物レンズを用いて実行することができる。

ステップ１０３において、部分画像が取得される順序にしたがって、次の画像が撮像される前の画像を取得した直後の関心構造について、部分画像の数の画像が検索される。ここで説明する実施形態では、検索のための画像処理アルゴリズムとして機械学習アルゴリズムを用いる。最も簡単な場合、画像処理アルゴリズムは、試料の正常な外観からの任意の逸脱を検出するように訓練される。画像処理アルゴリズムはまた、特定の所定の関心構造を検出するように、および／または、分類することができない関心構造を区別するように訓練されてもよい。代替的に、および／または追加的に、他の検出可能な現象を用いて、例えば、蛍光、リン光、反射などを検索することができる。

関心構造体が見つからない場合、顕微鏡の画像撮像ソフトウェアはいくつかの部分画像のうち次の部分画像に移動するように制御され、特に、プロセスはいくつかの部分画像の次の部分画像を撮影／撮像／取得するために、矢印１０によって示されるように、ステップ１０２に戻る。

１つ以上の関心構造が検出されると、ステップ１０４において、検出された関心構造の少なくとも１つの主画像をそれぞれ取得するように、顕微鏡の画像撮像ソフトウェアが制御される。少なくとも１つの主画像は、高倍率画像、特に３Ｄ高倍率画像とすることができる。

検出された関心構造の少なくとも１つの主画像は可変数のｚスタックを有する画像として取得され、ステップ１０４における少なくとも１つの主画像の取得およびステップ１０５における検出された関心構造の分類は、少なくとも１つの主画像のｚスタックの数が検出された関心構造のそれぞれのクラスに応じて選択されるように同時に実行される。一般に、少なくとも１つの主画像は分類アルゴリズムによって、特に機械学習分類アルゴリズムによって分類されると同時に、３Ｄ画像として、特に３Ｄ高倍率画像として取得される。ｚスタックの数、特に画像層の数は、クラスおよび／または分類に依存する。異なるクラスは、異なるタイプの関心構造、例えば、それぞれのタイプの植物病および／または真菌感染への関連性を区別する。異なる分類は一般に、関心構造の、同じタイプの異なる外観形態または異なるタイプを区別する。１つの同じタイプの関心構造は例えば、漸進的な進行プロセスにおいて、異なる形態の外観を示すことができる。少なくとも１つの主画像を収集するために、例えば１０倍または２０倍の拡大率を有する対物レンズが使用される。例えば、１７ｚまでのスタックを捕捉することができる。検出されたクラスおよび／または分類に依存する画像層の個数が柔軟であることに起因して、必要な記憶容量は少ない。したがって、プロセス全体を加速することができる。

少なくとも１つの主画像を取得すると、少なくとも１つの主画像は、評価のためにステップ１０６において、評価ソフトウェアまたは評価アルゴリズムとも呼ばれるそれぞれの評価モジュールに転送され、ステップ１０７において、評価された関心構造体のそれぞれの結果がディスプレイ、オーディオ出力、またはそれらの任意の組み合わせなどの適切な出力デバイスを介して出力される。

プロセスはステップ１０２に戻され、ステップ１０２～１０５は所定数の関心構造が検出されるまで繰り返され、検出された関心構造は特定の分類、特に特定のクラスの特徴をそれぞれ満たす。

ステップ１０２～１０５は、ステップ１０６および１０７が実行される前に、所定数の関心構造が検出されるまで、矢印１１によって示されるように、１つの試料および／または異なる試料について繰り返されることが可能である。

多試料ホルダには、例えば１００個までの試料を装填することができる。したがって、多試料ホルダは、一度に最大１００個の試料を顕微鏡に対して提供することができる。

上述の実施形態では、撮像および評価のなかに人間の相互作用がないか、またはわずかしかない。画像化および分析は、あらかじめ与えられた数の関心構造の分類後に自動的に停止する。あるいは、撮像および分析は人間のユーザによって停止される。情報量が多いデータのみが処理され、格納される。

あるいは、ステップ１０４において、検出された関心構造の少なくとも１つの主画像が静的な数のｚスタックを有する画像として取得され、ステップ１０４における少なくとも１つの主画像の取得は、ステップ１０５における検出された関心構造の分類が実行される前に実行されることも可能である。

さらに代替的に、顕微鏡は、一時的な部分画像を取得せず、それぞれの試料のそれぞれのプレスキャンを初期画像として取得する。

図２は、図２ａ、２ｂ、２ｃ、および２ｄにおいて、提案方法のさらなる実施形態において使用可能であり、かつ／または提案されたシステムの構成要素として使用可能である、自動顕微鏡によって捕捉された、真菌の異なる生活段階および植物防御反応のそれぞれの初期画像を示す。図２ａおよび図２ｂはそれぞれ、植物の葉の表面の下側領域の実部分画像を示し、それによって、表面の残りの部分から逸脱する関心構造を認識／検出することができる。それぞれの上部領域には、対応する植物葉を通る概略的な断面が示されている。両方の場合において、それぞれの関心構造体を引き起こす真菌感染は、植物の葉および表皮細胞層の表面上にあることが認識される。したがって、より多数のｚスタックを有するさらなる初期画像、および／または多数のｚスタックを有する主画像を撮像する必要はない。顕微鏡の撮像捕捉ソフトウェアを制御して、検出された関心構造の主画像、例えば、適応された数のｚスタックを有する３Ｄ画像、特に３Ｄ高倍率画像を取得することが可能である。

また、図２ｃ、図２ｄは植物の葉の表面の実部分画像を下側領域に示しており、これにより、表面の残りの部分から外れた構造体を認識することができる。上部領域には、対応する植物葉を通る概略的な断面が示されている。いずれの場合も、それぞれの関心構造体を引き起こす真菌感染は、葉の内部により深く浸透していることが認識される。したがって、より多数のｚスタックを有するさらなる初期画像、および／または十分に多数のｚスタックを有する主画像を取り込むことが必要である。再び、顕微鏡の撮像捕捉ソフトウェアを制御して、検出された関心構造の主画像、例えば、調整された数のｚスタックを有する３Ｄ高倍率画像を取得する。

図３は、本明細書に記載の方法を実行するために使用することができるシステム４００の実施形態を示す。ユーザ４０は、少なくとも１つの試料４３のデジタル画像を撮像する少なくとも１つの画像撮像装置４２を動作させるために、コントローラ４１のグラフィカルユーザインターフェースなどのユーザインターフェースを利用することができる。

画像撮像装置、例えば顕微鏡４２からのデータは、パーソナルコンピュータ、モバイルデバイス、または任意のタイプのプロセッサなどのコンピュータ４４に対して転送される。コンピュータ４４は、ネットワーク４５を介してサーバ４６と通信する、すなわち通信接続することができる。ネットワーク４５は、インターネット、ローカルエリアネットワーク、イントラネット、またはワイヤレスネットワークなど、任意のタイプのネットワークであり得る。サーバ４６は、評価目的のために本発明の実施形態の方法によって使用されるデータおよび情報を記憶することができるデータベース４７と通信する。様々な実施形態において、データベース４７は例えば、クライアントサーバ環境において、または、例えば、クラウドコンピューティング環境などのウェブベース環境において利用され得る。本発明の実施形態の方法の様々なステップは、コントローラ４１と連動して動作するコンピュータ４４および／またはサーバ４６によって実行され得る。別の態様では、本発明は少なくとも１つのプロセッサ、例えば、コンピュータ４４によって実行され、少なくとも１つのプロセッサおよび／またはコントローラ４１に、少なくとも１つのプロセッサと連動して上述の方法を実行させるための命令を含む非一時的コンピュータ可読媒体として実装され得る。命令は、少なくとも１つのプロセッサおよびユーザインターフェースが本明細書で説明する方法を実行することを可能にするために使用される様々なモジュールを含むことができる。

100 試料
101 方法ステップ
102 方法ステップ
103 方法ステップ
104 方法ステップ
105 方法ステップ
106 方法ステップ
107 方法ステップ

10 矢印
11 矢印

400 システム
40 ユーザ
41 コントローラ
42 画像撮像装置
43 試料
44 コンピュータ
45 ネットワーク
46 サーバ
47 データベース

Claims (16)

1. 少なくとも１つの試料をイベントベースで撮像して、イベントとして関心構造のみを記録するコンピュータ実施方法であって、
   試料ホルダと結合された自動画像撮像装置（４２）、前記画像撮像装置（４２）と結合されたコントローラ、前記コントローラと動作可能に結合された少なくとも１つのプロセッサ（４４）、命令を格納したコンピュータ読取可能媒体、を提供するステップであって、前記命令は、前記少なくとも１つのプロセッサ（４４）によって実行されると、前記コントローラおよび／または前記少なくとも１つのプロセッサ（４４）に、
   ａ）前記画像撮像装置（４２）によって、前記試料ホルダが保持する前記少なくとも１つの試料（１００、４３）の少なくとも１つの初期画像を取得するステップ（１０２）、
   ｂ）画像処理アルゴリズムを使用して、関心構造について前記少なくとも１つの初期画像を検索するステップ（１０３）、
   ｃ）１つ以上の関心構造を検出すると、前記画像撮像装置（４２）の撮像ソフトウェアを制御して、前記検出された関心構造の少なくとも１つの主画像をそれぞれ取得するステップ（１０４）であって、前記少なくとも１つの主画像は３次元画像である、ステップ、
   ｄ）分類アルゴリズムを使用して、前記少なくとも１つの主画像内の前記検出された関心構造を分類するステップ（１０５）、
   ｅ）前記分類された関心構造を評価するステップ（１０６）、
   ｆ）前記評価された関心構造の結果を出力するステップ（１０７）、
   を実施させる、ステップ、
   前記少なくとも１つのプロセッサ（４４）によって前記命令を実行するステップであって、少なくともステップａ）～ｃ）は、あらかじめ与えられた個数ｋの関心構造が検出されるまで繰り返され、ｋは整数である、ステップ、
   を有する方法。
2. 試料（１００、４３）の前記少なくとも１つの初期画像は、それぞれの前記試料（１００、４３）のいくつかの部分画像として取得され、１つ以上の前記試料（１００、４３）の前記部分画像は、各前記試料（１００、４３）の全体または部分画像について、前記所定個数ｋの関心構造が検出されるまで、関心構造について連続的に検索される、請求項１記載の方法。
3. 前記１つ以上の試料（１００、４３）の前記部分画像は、特定の分類の所定個数ｍの関心構造が検出されるまで、前記特定の分類の関心構造について検索され、ｍは整数であり、ｍ≦ｋである、請求項２記載の方法。
4. 前記少なくとも１つの初期画像は、複数の一時的な部分画像として取得される、請求項１から３のいずれか１項記載の方法。
5. 前記少なくとも１つの初期画像の各々は、それぞれ低倍率画像として取得される、請求項１から４のいずれか１項記載の方法。
6. 前記少なくとも１つの初期画像を検索するステップは、前記少なくとも１つの主要画像が前記検出された異なる関心構造に対して適合された複数のｚスタックを用いてすでに取得済であるように、異なる関心構造の間で区別するステップを有し、前記ｚスタックは異なる焦点距離で複数のソース画像を撮影することによって生成される、請求項１から５のいずれか１項記載の方法。
7. 前記少なくとも１つの初期画像は所定数ａのｚスタックを用いて取得され、ｚスタックの数ａは、それぞれの試料（１００、４３）および／または期待される検出可能な関心構造に応じてあらかじめ決定され、前記ｚスタックは異なる焦点距離で複数のソース画像を撮影することによって生成される、請求項１から６のいずれか１項記載の方法。
8. 第１個数のｚスタックを有する試料（１００、４３）の第１初期画像において関心構造が検出されない場合、前記画像撮像装置（４２）は、次のより多数のｚスタックを有する次の初期画像を取得するように制御され、および／または、次の初期画像を取得するために、それぞれの前記試料（１００、４３）の別の位置に、または前記少なくとも１つの試料（１００、４３）のうち別の試料（１００、４３）に移動するように制御される、請求項７記載の方法。
9. 前記少なくとも１つの初期画像のうちの少なくとも１つにおいて関心構造が検出される場合、前記検出された関心構造の前記少なくとも１つの主画像が、それぞれ高倍率画像として取得される、請求項１から８のいずれか１項記載の方法。
10. 前記少なくとも１つの初期画像のうちの少なくとも１つにおいて関心構造が検出される場合、前記検出された関心構造の前記少なくとも１つの主画像の各々は可変個数のｚスタックを有する画像として取得され、前記それぞれの画像の取得および前記検出された関心構造の分類は、前記少なくとも１つの主画像の各々のｚスタックの数が前記検出された関心構造のそれぞれの分類に応じて選択されるように、同時に実行され、前記ｚスタックは異なる焦点距離で複数のソース画像を撮影することによって生成される、請求項１から９のいずれか１項記載の方法。
11. 前記ステップａ）～ｃ）が、前記少なくとも１つの初期画像のそれぞれの初期画像に対して連続的に実行される、請求項１から１０のいずれか１項記載の方法。
12. 前記ステップａ）～ｄ）は、ステップｅ）およびｆ）が実行される前に、１つの試料（１００、４３）について、および／または異なる試料（１００、４３）について、所定数の関心構造が検出されるまで実行される、請求項１１記載の方法。
13. 少なくとも１つの試料（１００、４３）をイベントベースで撮像して、関心構造のみをイベントとして記録するシステムであって、
    試料ホルダと結合された自動画像撮像装置（４２）、
    前記画像撮像装置（４２）と結合されるように構成されたコントローラ（４１）、
    前記コントローラ（４１）と動作可能に接続する少なくとも１つのプロセッサ（４４）、
    命令を格納したコンピュータ読取可能媒体であって、前記命令は、前記少なくとも１つのプロセッサ（４４）によって実行されると、前記画像撮像装置（４２）および／または前記少なくとも１つのプロセッサ（４４）に結合された前記コントローラ（４１）に、
    ａ）前記画像撮像装置（４２）によって、多試料ホルダが保持する前記少なくとも１つの試料（１００、４３）の少なくとも１つの初期画像を取得するステップ、
    ｂ）画像処理アルゴリズムを使用して、前記少なくとも１つの初期画像から関心構造を検索するステップ、
    ｃ）１つ以上の関心構造体を検出すると、前記画像撮像装置（４２）の画像取込ソフトウェアを制御して、検出された関心構造の少なくとも１つの主画像をそれぞれ取得するステップであって、前記少なくとも１つの主画像は３次元画像である、ステップ、
    ｄ）分類アルゴリズムを用いて、前記少なくとも１つの主画像内の前記検出された関心構造を分類するステップ、
    ｅ）前記分類された関心構造を評価するステップ、
    ｆ）前記評価された関心構造の結果を出力するステップ、
    を実施させる、コンピュータ読取可能媒体、
    を備え、
    前記少なくとも１つのプロセッサ（４４）は、前記命令を実行することにより、あらかじめ与えられた数ｋの関心構造が検出されるまで、少なくともステップａ）～ｃ）が繰り返されるように構成され、ｋは整数である、
    システム。
14. 前記命令は、前記少なくとも１つのプロセッサ（４４）によって実行されると、前記画像取込装置（４２）および／または前記少なくとも１つのプロセッサ（４４）に結合された前記コントローラ（４１）に、把持装置、特にロボットアームを制御させて、前記少なくとも１つの試料（１００、４３）を試料ホルダ上で前記画像撮像装置（４２）の光ビーム内に配置させる、請求項１３記載のシステム。
15. 前記システムはさらに、
    ユーザに対して前記結果を出力するように構成された出力デバイス、または、前記少なくとも１つのプロセッサ（４４）または前記コントローラ（４１）によって制御されて、前記少なくとも１つの試料（１００、４３）を前記試料ホルダ上の前記画像撮像装置（４２）の光ビーム内に配置するように構成された把持装置、または、前記画像撮像装置（４２）と接続され、前記試料ホルダ上の前記少なくとも１つの試料（１００、４３）が前記画像取込装置（４２）の光ビーム内に配置され、前記画像取込装置（４２）に利用可能にされる前または後に、前記少なくとも１つの試料（１００、４３）を収容するように構成された、マルチスライドチャンバ、
    を備える、請求項１３または１４記載のシステム。
16. 命令を格納したコンピュータ読取可能媒体であって、前記命令は、自動画像撮像装置（４２）のコントローラ（４１）と動作可能に接続された少なくとも１つのプロセッサ（４４）によって実行されると、前記コントローラ（４１）および／または前記少なくとも１つのプロセッサ（４４）に、
    Ａ）試料ホルダ上の少なくとも１つの試料（１００、４３）を前記画像撮像装置（４２）に対して移送するステップ、
    Ｂ）前記画像撮像装置（４２）によって、前記少なくとも１つの試料（１００、４３）の少なくとも１つの初期画像を取得するステップ、
    Ｃ）画像処理アルゴリズムを使用して、前記少なくとも１つの初期画像から関心構造を検索するステップ、
    Ｄ）１つ以上の関心構造を検出すると、前記画像撮像装置（４２）の画像撮像ソフトウェアを制御して、検出された関心構造の少なくとも１つの主画像をそれぞれ取得するステップであって、前記少なくとも１つの主画像は３次元画像である、ステップ、
    Ｅ）分類アルゴリズムを用いて、前記少なくとも１つの主画像内の前記検出された関心構造を分類するステップ、
    Ｆ）前記分類された関心構造を評価するステップ、
    Ｇ）前記評価された関心構造の結果を出力するステップ、
    Ｈ）少なくともステップＢ）～Ｄ）を、あらかじめ与えられた数ｋの関心構造が検出されるまで、繰り返すステップであって、ｋは整数である、ステップ、
    を実施させる、コンピュータ読取可能媒体。

Images