JP7153418B2 - オーバビューコントラスト画像を生成及び解析する方法 - Google Patents

Description

本発明は、サンプルキャリア及び／又はサンプルキャリア上に配置されたサンプルのオーバビューコントラスト画像を生成及び解析する方法に関する。

従来の光学顕微鏡は、使用者がサンプル及び対物レンズの実視野のオーバビューを迅速に取得し、サンプルキャリア（sample carrier）を、サンプルと共に直接又は調節可能なサンプルステージを用いて横方向に移動させて、サンプルの他の領域を対物レンズの実視野内に入れることができるという意味において、着座又は起立しながらアイピースを通してサンプルキャリアを見て、サンプルを直接操作することができるという前提で開発されてきた。顕微鏡の使用者は、その場にとどまることができ、自らの頭をわずかに動かすのみでよい。これは、この点において従来の顕微鏡が非常に人間工学的であることを意味する。

特に生体サンプルの検査方法が時間と共にさらに開発されている。その結果、前記検査方法を実行するのに適した顕微鏡の構成もはるかに複雑になっている。観察方向に沿った画像スタックの記録及びそれからのサンプルの空間画像の再構成を可能にする今日の顕微鏡システムにおいて、画像は、検出器を利用して生成される。使用される検出器は、例えば、相応の表面センサ又は光電子増倍管を備えて構成されるカメラである。その結果、このようなシステムの作業空間は、顕微鏡スタンド及びしたがってサンプルからコンピュータ又はそのようなコンピュータのスクリーンにシフトした。それでもなお、スタンド正面の作業空間も同様に使用され、検査のためのサンプルの準備、すなわちセットアップに必要である。そのため、サンプルキャリア上のサンプルを対物レンズの実視野内に移動させなければならず、サンプル領域を選択しなければならず、前記サンプル領域の位置の調整を行わなければならず、且つ最後にサンプルに焦点を合わせなければならない。現代の複雑な顕微鏡システムを使用するときのワークフローは、したがって、ワークフロー内の異なるステップを表し、相互に空間的に分離される２つの作業空間、すなわち、第一に、直接観察するためのアイピースを備える顕微鏡スタンドと、次に、接続されたコンピュータのスクリーンとに関連付けられる。

生存細胞を検査するためのインキュベータ（incubator）等のさらなる器具を取り付けることにより、サンプルの直接的な視認、すなわちサンプル中の対物レンズの実視野の位置が大きく限定される。さらに、より大きいサンプルキャリア、例えばマルチウェルプレート（multiwell plate）が複数のサンプルを連続的に検査できるようにするために使用される場合、サンプル上の方位についても同様に支障が出る。

その結果、サンプルの発見及びサンプル領域の設定は、使用者にとってより難しくなる。加えて、サンプル上の方位損失がある。設定の目的のため、コンピュータの作業空間と、サンプルを直接観察できる顕微鏡スタンドとを交互に繰り返し変更することが必要となる。

加えて、多数のサンプルのスループット（throughput）を重視し、連続的に制御されない顕微鏡もある。この場合、サンプル領域は、自動的に検出されて顕微鏡で捉えられなければならない。サンプルキャリアは、ここで、典型的に、例えばバーコード又はＱＲコード（登録商標）の形態の銘刻を有する。これをサンプルに割り当てなければならない。このような検査は、半自動的に進められる。例えば、使用者が介入するのは、サンプルキャリアを変えるため、オーバビュー画像を設定するため又はサンプルキャリア番号を登録するためのみである。

特に高スループットの顕微鏡システムでマルチウェルプレートを使用する場合、ウェルの幾つかにサンプルが入っていないことがあり得るか、又は不適切に埋め込まれるか、汚染されるか、若しくは欠陥のあるサンプルが入っていることがあり得る。前記ウェルも同様に半自動的な方法で検査されるが、結果を使用することができない。これは、そのプロセスに実際に必要な時間よりも長い時間がかかることを意味する。

先行技術では、オーバビュー画像を生成するために様々な方法がある。しかし、これらには、多かれ少なかれ重大な欠点がある。例えば、画像は、顕微鏡光学ユニット並びに倍率の低い対物レンズ及び対物レンズの下流に配置されたカメラを用いて記録できる。しかしながら、これにより、特に複数のサンプルのためのサンプルキャリアが使用される場合、サンプル又はサンプルキャリアの大きさと比較して小さい観察視野のみを記録できる。広いサンプル領域、例えばマルチウェルサンプルキャリア等を記録できるようにするために、したがってサンプル又はサンプルキャリアの相互に隣接する区画の複数の画像を記録し、その後、それらを合成する必要がある。この手順は、かなり時間がかかり、例えば生体サンプルの検査に適さない。

オーバビュー画像も、顕微鏡光学ユニットの代わりに、比較的広い観察視野が画像化され得るカメラ対物レンズを備えるカメラが使用された場合に記録できる。このカメラ対物レンズは、一般に、振れセントリックではない。この解決策は、例えば、本出願人によるＡｘｉｏ（登録商標）Ｓｃａｎシリーズで実装されているが、明るい視野照明及び入射光でのみ使用できる。この方法では、カバーガラス（coverslip）及び無染色サンプルは、困難を伴ってのみ検出され得る。

異なる解決策は、サンプル及びサンプルキャリアを斜めに、すなわち光軸に対してゼロ以外の角度で照明することである。この場合、後方散乱光が検出される。測定される観察視野にわたる測定感度は、ここで、大きく変動する。これは、結果が常に信頼できるとは限らないことを意味する。

したがって、本発明の目的は、サンプルキャリア自体の構造及び場合により例えばサンプルキャリア上の銘刻、考え得るサンプル領域、存在し得る浸漬液、実際のサンプル及び／又は気泡、塵埃等のサンプルの欠陥のさらなる構造を鮮鋭に且つエラーなく検出できるサンプルキャリアのオーバビュー画像を生成することである。カメラの通常の記録及びさらにＨＤＲ画像と比較して、オーバビュー画像は、特定の関心対象構造のコントラストが強化されるか、又は信号対ノイズ比が改善されるものとされる。そのため、オーバビュー画像を以下ではオーバビューコントラスト画像（overview contrast image）と呼ぶ。オーバビューコントラスト画像は、ナビゲーションを目的として使用者に提供できるか、又はこれは、サンプルの自動解析を改善し、エラーの生じやすさを、例えばサンプル欠陥を検出することによって低減させるために使用できる。

この目的は、導入部に記した種類の方法によって達成され、ここで、オーバビューコントラスト画像は、次のように生成される。一般に少なくとも１つのサンプルを担持するサンプルキャリアは、少なくとも部分的に検出光学ユニットの焦点内に配置され、２次元の、好ましくはアレイ状の照明パターン（illumination pattern）で透過光において照明される。少なくとも部分的にとは、ここで、サンプルキャリア又はサンプルが完全に見えている必要があることを意味するのではなく、特にサンプルキャリア及び／又はサンプルが、使用される検出光学ユニットの被写界深度より大きい光学軸に沿った範囲を有し得ることを意味する。使用可能な検出光学ユニットは、顕微鏡の光学ユニットであり得る。しかし、これは、好ましくは、広い観察視野を表面検出器上に好ましくは十分に高い被写界深度で結像することを可能にするカメラ対物レンズを有するカメラである。

方法のこの改良形態では、オーバビューコントラスト画像を生成するために、サンプルキャリアの異なる照明で少なくとも２つのオーバビュー生画像（overview raw image）を検出することが必要である。

オーバビュー生画像、すなわち未処理画像は、したがって、例えばカメラにより、強度を画素ごとに登録する表面検出器、例えばＣＭＯＳチップにより検出される。照明の種類に応じて、オーバビュー生画像は、例えば、単一のカメラを用いて連続的又は同時に記録できる。

少なくとも２つのオーバビュー生画像からオーバビューコントラスト画像を計算するために使用される計算アルゴリズムは、照明の種類及びオーバビューコントラスト画像から抽出される情報に応じて選択される。情報は、例えば、前述のサンプルキャリア、サンプル等及びサンプルキャリア上の銘刻の構造であり得る。

同様に、オーバビューコントラスト画像から抽出される情報に応じて画像評価計算アルゴリズムが選択される。これは、オーバビューコントラスト画像から情報を抽出するために使用される。したがって、前記情報は、例えば、使用者により、接続されたコンピュータのスクリーン上において、観察及び解析の一環である別のステップを開始するため、例えばサンプル上でナビゲートするために使用され得る。これは、画像がスクリーン上に表示されることと、使用者が例えばマウスのクリックによって関心対象のサンプル領域を選択することとによって実現される。画像評価のため、顕微鏡システムは、したがって、その位置で自動的に調整できる。しかしながら、情報は、例えば、高スループット検査において、自動検査の一環としてマイクロタイタプレート等のマルチウェルキャリアの不適正に充填されたウェルを除去するためにも使用できる。その結果、顕微鏡は、その位置にさえも調整されない。

本質的な態様は、２次元の、特にアレイ状の照明の使用及び異なる照明でのオーバビュー生画像の記録に関する。２次元の照明は、異なる方法で得ることができる。好ましくは、同じサイズの照明要素のアレイを用いて照明パターンが生成される。いずれにしても、個々の照明要素は、少なくとも２つのオーバビュー生画像において相互に区別できなければならない。すなわち、これらは、焦点に配置されない場合でも、画像において相互に別々に表現できなければならない。照明要素は、ＬＥＤ、ＯＬＥＤ、光ファイバの端部、照明されたＤＭＤ（デジタルマイクロミラーデバイス）又は異なる空間光モジュレータの要素であり得る。これらは、能動的又は受動的に光を発する要素であり得る。照明要素は、光源で生成することもできる。これは、例えば、表面に光を発し、その上流に例えば切替可能フィルタ構造が配置され、それによって照明要素の１つ又は複数の特性、例えば色、強度又は極性を操作できる。しかしながら、特定の利点により、発光ダイオード（ＬＥＤ）を使用できる。なぜなら、これらをマルチカラーＬＥＤの入れ子式アレイ状に配置でき、また十分に高い光出力を提供できるからである。さらに、照明のためにＬＥＤアレイ、すなわちマトリクス又はグリッドのように配置されたＬＥＤを使用する顕微鏡（ＬＥＤアレイ顕微鏡、傾斜照明顕微鏡 － ＡＩＭ）がすでに利用可能である。このような顕微鏡のＬＥＤアレイも２次元照明パターンを生成するために同様に使用できる。

少なくとも２つのオーバビュー生画像が記録される異なる照明は、様々な方法で実現できる。１つの単純な可能性は、静的な２次元照明パターンを使用し、２つの記録間でサンプルキャリアを横方向に、すなわち検出光学ユニットの光軸に垂直に照明パターンに対して移動させることである。これは、照明パターン自体を移動させる（光軸を法線とする平面内に同様に配置される）こと又はサンプルキャリアを移動させることのいずれかにより実現できる。サンプルキャリア又はサンプルは、ここで、透過光において照明される。すなわち、サンプルキャリアは、照明パターンの照明要素と、検出光学ユニット、例えばカメラとの間に配置される。

空間的に異なる照明に加えて、例えば異なる露光時間（exposure time）で、又は同じ露光時間で異なる長さの照明で複数のオーバビュー生画像を記録することにより、時間の点で異なる照明を使用することも可能である。信号対ノイズ比は、後者の場合の方が不利となる。先行技術において知られているＨＤＲ（高ダイナミックレンジ）方式を使用して、オーバビューコントラスト画像を前記オーバビュー生画像から計算することができる。

他の可能性は、異なる照明パターンを用いて空間的に異なる照明を生成することである。照明パターンは、好ましくは、抽出される情報に応じて選択される。原則として、例えば照明要素のアレイ上に刻み付けることのできる複数の照明パターンが適当である。例えば、異なる照明パターンは、照明要素を個別に又はグループで駆動し、これらを切り替えて異なる照明パターンを作ることによって生成できる。この場合、照明要素の第一の部分は、光を発するように切り替えられ、及び照明要素の少なくとも第二の部分は、光を発しないか、又は異なる色の光若しくは異なる偏向の光を発するように切り替えられる。照明要素の少なくとも第二の部分が光を発しない場合、各パターンは、正確に２つの部分を含む。オーバビュー生画像は、連続的に検出される。照明要素の第二の部分が異なる色の光を発する場合、照明要素は、３つ以上のグループに分割されて、それぞれ異なる色の光を発する第三又は第四の部分も含むことができる。色は、各ペア内で相互に異なる。同じ説明が偏光にも当てはまる。異なる色の光で照明すると、オーバビュー生画像を同時に記録できる。ただし、検出側で異なるカラーチャネルへの分離が行われることが条件となる。例えば、照明要素のアレイがＲＧＢの３原色、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）のＬＥＤを含み、カメラのセンサが、前記カラーチャネルに割り当てられる対応するセンサを有する場合、分離は、容易に可能であり、３つのオーバビュー生画像を同時に記録できる。偏光照明の場合にも、例えばＬＥＤアレイに異なる偏光の偏光フィルタが設けられて、偏光方向が同様に検出され、チャネルの分離に使用される場合、同じことが言える。

照明要素がＬＥＤの形態であり、ＬＥＤが、それぞれ異なる原色の赤、緑及び青の光を発する３つの個別の相互に隣接するサブＬＥＤから形成される場合、異なる照明は、原色での異なる角度からの照明によっても設定できる。ここでも、オーバビュー生画像は、同時に検出できる。

他の可能性は、明らかに異なる照明パターンを生成して、異なる照明パターンでオーバビュー生画像を連続的に記録することである。これは、第一の変形形態において、例えば、各照明パターンのための照明要素の第一の部分を確率論的（stochastic）に選択することによって実行できる。この場合、個々の照明要素は、ランダムに駆動されて、光を発するか又は光を発しないように切り替えることができる。境界条件により、光を発する照明要素と光を発しないものとが確実にできるだけ等しく分布するように注意すべきである。第二の変形形態では、パルス幅変調照明要素が使用される。これは、特にＬＥＤ又はＯＬＥＤを用いて特に良好に実現できる。この場合、パルス幅は、オーバビュー生画像を記録するための検出ユニットの積分時間より長くなるように選択される。この場合、照明要素は、個別に駆動する必要がない。

確率論的な照明パターンの代わりに、照明要素が規則的な分布を示す照明パターンを生成することも可能である。例えば、発光照明要素には、市松模様型（chessboard-type）、十字形（cross-shaped）又は半瞳分布（half pupil distribution）を使用できる。特に、市松模様型分布の場合、２つの好適な可能性がある。第一に、照明要素の第二の部分は、光を発しなくてよい。この場合、２つのオーバビュー生画像は、相互に相補的な照明パターンで連続的に記録される。照明が市松模様型である場合、パターンは、相互に対して反転される。第二に、照明要素の２つの部分が異なる色又は偏向の光を発することができる。この場合、オーバビュー生画像は、１つの画像中で同時に記録され、その後、カラーチャネルに分離されるか又は偏向される。２つの照明パターンによる市松模様型照明の場合、２つのパターンは、相補的であるだけでなく、相互に対して反転される。複数のパターン、例えばアレイをスキャンする１つの発光照明要素が使用される場合、すべてのパターンが共同で相互に相補的に動作する。すなわち、全体として、これらは、常に光を発する照明要素のみのアレイを生成する。半瞳照明（half pupil illumination）の場合、それぞれ必要な４つの照明パターンの２つが相互に相補的である。

最後に、照明要素のアレイから少なくとも１つの区画を選択して、前記区画内でのみ照明パターンを生成することによって異なる照明を実現することも可能である。異なる照明は、アレイ上の少なくとも１つの区画の走査移動（scanning movement）によって実現される。この場合、少なくとも１つの区画の外の照明要素は、光を発しないように切り替えられる。例えば、ここで、個々のＬＥＤでの照明又は市松模様型照明の区画を使用できる。サンプルキャリアが大きい場合、ここで、平行に移動される複数の区画を選択することができる。異なる色の照明要素との組合せも、同様に、同時に複数の区画を生成するために可能である。

オーバビュー生画像が記録された後、少なくとも２つのオーバビュー生画像からオーバビューコントラスト画像を計算するために使用される計算アルゴリズムは、オーバビューコントラスト画像から抽出される情報に応じて選択される。計算アルゴリズムの選択は、好ましくは、照明方法の過去の選択に応じて行われ、すなわちそれに合わせられる。オーバビューコントラスト画像は、それによって最善のコントラストが得られるため、暗視野モード（dark-field mode）又は明視野モード（bright-field mode）のいずれかで生成されることが好ましい。しかし、混合モードも可能である。ここで、例えばカバーガラス、サンプル自体又は銘刻のいずれかをできるだけ高いコントラストで表示すべきかに応じて、関心対象の構造についてコントラストが確実に最適になるようにする必要がある。特定の状況では、オーバビューコントラスト画像は、所望の情報に応じて、明視野及び暗視野モードの両方のオーバビュー生画像から生成できる。暗視野又は明視野モードにおけるオーバビューコントラスト画像の生成に加えて、他の種類のコントラストも生成できる。これは、例えば、暗視野及び明視野成分を含むＨＤＲモードのオーバビューコントラスト画像である。

第一の構成において、計算アルゴリズムは、ピクセルごとの投影、好ましくはランキング投影又は統計的モーメントの投影に基づく。少なくとも２つのオーバビュー生画像のスタックからオーバビューコントラスト画像を生成するために、オーバビュー生画像は、ピクセルごとに比較される。オーバビューコントラスト画像内の対応する位置のためのピクセルの１つの強度値は、投影条件に従って選択される。その結果、記録された画像スタックにピクセルごとの計算が行われる。すなわち、オーバビューコントラスト画像内の各ピクセルは、画像スタック内の、オーバビュー生画像における同じ画像位置にあるピクセルによってのみ影響を受ける。ランキング投影の場合、ある画像位置に関するオーバビュー生画像の対応するピクセル値は、強度により分別される。ｐ－クオンタイル（p-quantile）に対応する値は、オーバビューコントラスト画像のために使用される。ｐは、使用者によって明示されることになるか、又は計算方法により明示されるパラメータである。特殊なケースは、最小強度のピクセルが選択される、ｐ＝０．０の最小値投影である。他の特殊なケースは、最大強度を有するピクセルが選択される、ｐ＝１の最大値投影であるか、又はｐ＝０．５の中央投影である。

オーバビュー生画像が生成される照明に応じて、オーバビューコントラスト画像は、この種の計算により暗視野コントラスト又は明視野コントラストで生成できる。例えば、照明要素、特にこれらがＬＥＤの形態である場合、オーバドライブされず、ｐ＝１であり、すなわち最大値投影が選択されると、明視野モードでのオーバビューコントラスト画像を生成できる。しかしながら、オーバビューコントラスト画像は、例えば、できるだけ明るいオーバビューコントラスト画像ができるだけ大きいｐで生成される場合、暗視野モードでも生成できる。照明要素により直接照明されていなかったピクセルのみが計算において考慮される。例えば、照明要素の第一の部分の市松模様型分布及びそれと相補的な分布で２つのオーバビュー生画像が生成される場合、ｐ＝０が選択され、最小値投影が行われる。それに対して、照明パターンがアレイのある区画においてのみ生成され、この区画がアレイ上で走査式に移動されると、画像内の各ピクセルが直接照明される頻度は、オーバビュー生画像が記録されるときより低い。例えば、十字の形態でオンに切り替えられる４つのＬＥＤが使用され、市松模様走査パターンのために３０のオーバビュー生画像が生成されると、各ピクセルは、１つのピクセルよりはるかに大きい直径を有するＬＥＤによって最大で４倍だけ直接照明される。したがって、この値は、ｐ＝（（３０－１）－４）／（３０－１）＝０．８６２１となる。

代替的に、統計的モーメントの投影に基づくアルゴリズムを使用することも可能である。この場合、オーバビューコントラスト画像内の各ピクセルは、統計的モーメント、例えばオーバビュー生画像の対応するピクセルにわたる強度の標準偏差に対応する。特に、サンプルキャリアに対して横方向に移動される統計的ＬＥＤパターンのシーケンスと共に、これは、良好なコントラストを提供し、微細な詳細部も保持する。その結果、この計算アルゴリズムは、例えば、複数のサンプルキャリア又はチャンバスライド（chamber-slide）サンプルキャリアを検出するのに特に適している。

計算アルゴリズムとしての上述の投影方法の利点は、これらが非常によく平行化でき、その結果、高速計算が可能であり、加えて、全ピクセルが同等に処理されるため、例えばセグメンテーションに基づく計算アルゴリズムの場合のようなシームアーチファクト（seam artefacts）が発生しないことである。ここで、不利な場合、構造の境界がシームにおいて連続せずにジャンプするように見える。

他の構成では、計算アルゴリズムは、モルフォロジ演算であって、その後のピクセルごとの投影を有するモルフォロジ演算、好ましくはトップハット（top-hat）又はブラックハット（black-hat）変換であって、その後のピクセルごとの最大値投影を有するトップハット又はブラックハット変換に基づく。トップハット変換を用いて、暗い背景の明るい構造をハイライトすることができる。ブラックハット変換は、明るい背景の暗い構造をハイライトするために使用できる。これらの計算アルゴリズムを用いて、特にガラスの縁部、すなわちサンプルキャリア又はカバーガラスの縁部を目に見えるようにすることができる。次に、このように変換されたオーバビュー生画像に対するピクセルごとの最大値投影が形成される。このようにして、オーバビューコントラスト画像が生成される。この計算アルゴリズムの利点は、明視野及び暗視野コントラストから同時に情報が取得されること及びそれに対して同様に効率的に計算が行われることである。しかしながら、ランキング投影と比較して、計算が行われた画像内のコントラストは、ほとんどがより低く、ガラス縁部の場合にのみ見えることが多い。さらに、強い背景アーチファクト（background artefacts）が生成される可能性があり、これを修正しなければならない。

別の構成では、セグメンテーションに基づく計算アルゴリズムが選択される。この場合、最初に、オーバビュー生画像の各ピクセルについて、前記ピクセルが照明要素によって直接光で照射されていたか否かについて判断がなされる。したがって、これらのピクセルは、暗視野コントラストモードでのオーバビューコントラスト画像の生成において考慮されない。オーバビューコントラスト画像は、この場合にも投影方法を用いて生成される。この計算アルゴリズムの、ランキング投影と比較した場合の利点は、ここで、オーバビュー生画像からいずれのピクセル情報を使用できるかが明確に特定されることである。欠点は、ここで、セグメンテーション及びその結果としてのピクセルの不均一な処理を考慮して、計算されたコントラスト画像中にシームが形成される可能性があることである。加えて、計算は、前述の計算アルゴリズムのように効率的に行うことができない。

明視野モードで動作する方法の１つの代替的な構成では、オーバビューコントラスト画像は、計算によって生成されるのではなく、直接検出される。すなわち、オーバビュー生画像は、検出されないか、又は換言すれば、オーバビュー生画像は、この場合、オーバビューコントラスト画像と同じである。このため、拡散スクリーンは、ビーム経路内のアレイ型照明パターン（これは、好ましくは、この場合にも大きさの等しい照明要素のアレイで構成できる）とサンプルキャリアとの間に挿入される。拡散スクリーンは、明視野照明にとって有利な拡散照明を生成し、それが切替可能である限り、ビーム経路内に永久的にとどまることができる。したがって、これは、明視野モードでオーバビューコントラスト画像の生成のためにのみオンに切り替えられ、すなわち拡散に切り替えられる。

サンプルキャリアが２つの記録間な照明パターンに対して横方向に移動される場合、計算のため、その場合にサンプル又は照明パターンがその画像中でどのように移動するかを知る必要がある。このため、カメラは、サンプルキャリア又は照明パターンに関して校正されて、サンプルキャリアが移動する場合、サンプルキャリアがその上に保持されるサンプルキャリアを移動させるために変位可能なステージの座標を画像座標にマッピングすることができる。同様の手順を可動照明パターンにも使用できる。変位可能ステージの場合、校正パターン、例えば市松模様をステージ内において具体的には校正を目的として設置する。その結果、座標マッピングを十分な精度で推定できる。代替的に、このような校正は、計算において使用しないこともできる。サンプルの移動は、画像解析又は異なる測定システムの使用によって確認できる。

特に、照明パターンが静止し、サンプルキャリアが記録間で移動される場合、カメラ又は検出光学ユニットにより捕捉される観察視野内に完全に収まらないより大型のサンプルキャリアについても、オーバビューコントラスト画像は、校正後、すなわち画像に対するサンプルキャリアの実際の移動の定量化後、最初に、それぞれサンプルキャリア及び／又はサンプルの異なる領域を示し、対応する個々のオーバビュー生画像から生成される個々のコントラスト画像を生成することによって生成できる。前記個々のコントラスト画像は、その後、合成されて、オーバビューコントラスト画像を形成する。校正は、それらを結合するための接続点を正しく位置付けるために使用される。

上記にかかわらず、校正は、有利には、校正パターンの記録及び評価を用いて、オーバビュー生画像が記録される前の幾何学的歪みを補正するためにも行われる。校正パターンは、既知の幾何学及び鮮鋭に検出可能な構造の物体、例えば前述の市松模様パターンである。これは、カメラの撮像野内の異なる位置に設置され、カメラで記録される。しかしながら、照明要素のアレイも、特にこれらがＬＥＤの形態であれば、校正パターンとして使用できる。このような校正は、先行技術から知られている。

セグメンテーションに基づく計算アルゴリズムに関してすでに述べたように、使用する計算アルゴリズムによっては、生成されたオーバビューコントラスト画像中に背景アーチファクトが発生し得る。このような障害となる背景信号は、例えば、計算により、好ましくはオーバビューコントラスト画像の生成後に、なおもその評価前に、対応する補正アルゴリズムを用いて取り除かれる。照明パターン又はサンプルキャリアの横方向の移動がない場合、アーチファクトは、典型的に、個々の照明要素の位置を辿る周期的な構造を形成する。これらは、したがって、セルフフィルタリングと呼ばれるものを用いて除去される。先行技術では、背景アーチファクトを除去するか又は少なくともそれを軽減するために使用できる追加的な補正方法も知られている。これは、特に、背景画像を記録又は計算し、その後、それをオーバビューコントラスト画像から計算により差し引き、すなわちそれから取り除くことによる。例えば、背景画像は、オーバビュー生画像の計算から、前景を平均化することによって特定できる。背景画像は、サンプルキャリアなしで又は空のサンプルキャリアがある状態でも記録から特定できる。背景コントラスト画像に対して計算を行うことにより、背景画像は、例えば、オーバビューコントラスト画像のすべての照明要素を解析することにより、照明要素の周辺の光を発しない局所的領域内の平均ピクセル値を計算することによって特定できる。なぜなら、前景構造は、照明要素に関する位置に依存せず、平均化されるが、背景構造は、前記位置に依存し、その結果、増強されるからである。これにより、照明要素の位置を介した背景画像が生成される。これは、その後、オーバビューコントラスト画像から計算により除去できる。背景アーチファクトを計算により除去する他の可能性は、バンドパスフィルタを場合により非線形フィルタと共に使用することである。

最後のステップにおいて、背景コントラスト画像は、最後に、選択される画像処理アルゴリズムを用いて自動的に解析されて、必要な情報が抽出される。抽出される情報は、以下のデータ：サンプルキャリアの種類、サンプルキャリアの銘刻、画像内のサンプル若しくはサンプル領域、カバーガラス、マルチウェルプレートのウェルの位置、位置、量、形状等の浸漬液に関する情報、アーチファクトの位置、不良サンプル、気泡等の１つ又は複数を含む。この情報は、オーバビューコントラスト画像内のコントラストが高いことでのみ、高い信頼性で抽出できる。

選択できる画像処理アルゴリズムは、例えば、機械学習の原理に基づくアルゴリズム、特に深層学習アルゴリズムである。これは、好ましくは、既知の情報でオーバビューコントラスト画像に基づいて訓練される。

オーバビューコントラスト画像からの上述の情報の自動抽出のために、機械学習の分野からの方法を使用することが好都合である。この場合、解析対象の多数のコントラスト画像を含む注釈付き訓練サンプルがそれぞれのタスクについて提供される。これには、例えば、画像分類、セグメンテーション、位置推定、検出が含まれる。各コントラスト画像は、ここで、タスクに対応する所望の出力を割り当てられる。これについて例を参照しながら後に説明する。機械学習の手法を用いると、モデルは、学習ステップにおいて自動的に適合されることが可能となる。それにより、見たことのない、すなわち新しい画像についてさえも所望の正しい出力が生成される。

機械学習の手法に基づく使用可能なアルゴリズムについて、例として以下で概説する。代替的に、従来の画像及び信号処理からの方法を使用できる。しかし、機械学習、特に深層学習に基づくアルゴリズムにより、例えば品質、ロバストさ（robustness）、柔軟性、普遍化並びに開発及び保守の複雑さの面で大きい利点が提供される。

畳み込みニューラルネットワークに基づく深層学習アルゴリズムは、サンプルキャリアの種類、例えばそれが例えばマルチウェルサンプルキャリアであるか、ペトリ皿であるか、チャンバスライドであるか等を特定するために有利に使用できる。したがって、タスクは、画像分類の分野に含まれるものである。アルゴリズムは、画像を入力として使用してクラスを出力する。この場合のトレーニングサンプルは、コントラスト画像を含む。各コントラスト画像は、適当なサンプルキャリアの種類の１つを割り当てられる。第一のコントラスト画像は、「ペトリ皿」の種類を割り当てられる。第二のコントラスト画像は、「マルチウェルプレート」の種類を割り当てられる。第三のコントラスト画像は、「チャンバスライド」の種類を割り当てられる。第四のコントラスト画像は、「スライド」の種類を割り当てられる等である。

畳み込みニューラルネットワーク（ＣＮＮ）は、異なる層、例えば畳み込み層、プーリング層、非線形層等からなる。その配置は、ネットワークアーキテクチャ内で明示される。画像分類に使用されるアーキテクチャは、特定の基本的構造に従っているが、基本的に柔軟である。ネットワークの各要素は、入力を受け取り、出力を計算する。加えて、ネットワークの幾つかの要素は、自由パラメータを有する。それが入力から出力の計算を特定する。３次元の数アレイ、すなわちそれぞれ１ピクセルにつき３つの色値を有するカラー画像が第一の層にネットワークの入力として入力される。したがって、最後の層は、すべての考え得るサンプルキャリアの種類のすべてについての確率分布をネットワークの出力として出力する。例えば、オーバビューコントラスト画像のための出力は、したがって、「スライド」８７％、「マルチウェルプレート」１％、「ペトリ皿」２％、「チャンバスライド」１０％となる。任意選択的に、拒絶クラス（例えば、「未知」／「無効」／「空」の値が提供される）も取り入れることができる。トレーニングプロセスにより、ネットワークのフリーパラメータは、提供されたトレーニングデータに基づいて適合されて、モデルの出力が予想される出力にできるだけ近接してマッチする。

トレーニングは、開始点として、他のデータについてすでにトレーニングされたモデルを微調整の意味で使用することもできる。これにより、品質、所要時間及びデータ消費の面での利点が得られる。

ＣＮＮ若しくはそれから派生する方法又は深層学習に関する方法の代わりに、画像分類は、機械学習の従来の方法を用いて行うこともできる。これは、典型的に２つのステップ：（ｉ）特徴抽出、及び（ｉｉ）分類を含む。ステップ（ｉ）の特徴抽出の場合、オーバビューコントラスト画像は、所定のアルゴリズムを用いて、代替的表現、典型的にはコンパクト又はスパースベクトルに変換される。ここで、単純な例は、例えば、局所勾配ヒストグラム（勾配方向ヒストグラム、ＨｏＧ）である。ステップ（ｉｉ）の分類では、これらの特徴ベクトルの各々が分類器を用いてあるクラスに割り当てられる。分類器の一例は、サポートベクトルマシン（ＳＶＭ）である。分類器のフリーパラメータは、ここで、トレーニングステップにおいても同様に適用され、実際の出力が所望の出力にできるだけ近接してマッチする。

従来の機械学習及び深層学習のハイブリッド型手法は、ステップ（ｉ）における特徴抽出にＣＮＮを使用することに基づく。この場合、異なるデータについてトレーニングされたＣＮＮは、特定の層においてカットオフされる。ネットワークのアクティベーションが特徴ベクトルとして使用される。

サンプルキャリア、例えば一方ではスライド及びペトリ皿の場合のカバーガラス、又はチャンバスライドのチャンバ、又はマルチウェルプレートの構造並びに他方ではサンプル又はサンプル領域の構造の位置推定は、セマンティックセグメンテーションの問題と考えることができる。すなわち、出力画像としてのオーバビューコントラスト画像について、入力画像の各ピクセルにあるクラス（例えば、「背景」、「カバーガラス」、「埃」、「サンプル」等）が割り当てられる画像が返される。これは、好ましくは、同様に、深層学習の分野からのネットワークにより、例えばＣＮＮに基づく全層畳み込みネットワーク（ＦＣＮ）を用いて行うことができる。

ＣＮＮと同様に、ＦＣＮは、典型的に、入力として３次元数アレイ、すなわち色付きのオーバビューコントラスト画像を予想するが、入力画像の各ピクセルが、それが発生中のクラスの各々の一部であることに関する確率を割り当てられるアレイを出力する。この場合のトレーニングサンプルは、コントラスト画像を含む。各コントラスト画像は、同じ大きさのアレイ（グレイレベル画像）を割り当てられる。ここで、次に、各ピクセルは、クラスを割り当てられる。これは、グレイレベルによりコード化される。トレーニングは、ＣＮＮの場合と同様に進められる。ここで、サンプルキャリアの位置推定のため及びサンプル領域の位置推定のために異なるＦＣＮを使用することができる。しかし、評価は、特に１つのＦＣＮを使用して可能である。これは、例えば、「カバーガラス」と「サンプル」との両方をクラスとして画像化するか又は含む。

言うまでもなく、上記の特徴及び以下でなおも説明するものは、明示された組合せだけでなく、他の組合せ又は単独でも使用できる。それも本発明の範囲から逸脱しない。

本発明は、例えば、添付の図面を参照しながら以下にさらに詳細に説明される。図も本発明の本質的な特徴を開示する。

オーバビューコントラスト画像を生成及び解析する方法を実行するための装置を示す。 それに適した顕微鏡の構成を示す。 照明の詳細を示す。 確率論的照明パターンの生成を示す。 ２つの相補的な市松模様型照明を示す。 異なる色の市松模様型照明を示す。 照明要素の十字形分布を示す。 照明要素の半瞳分布を示す。 照明パターンを用いた区画の走査移動を示す。 静的照明パターンを用いたオーバビュー生画像からのオーバビューコントラスト画像の生成を示す。 静的照明パターンを用いたオーバビュー生画像からのオーバビューコントラスト画像の生成を示す。 静的照明パターンを用いたオーバビュー生画像からのオーバビューコントラスト画像の生成を示す。

まず、図１は、サンプルキャリア１及び／又はサンプルキャリア１上に配置されたサンプルのオーバビューコントラスト画像を生成できる装置の概要を示す。サンプルキャリア１は、ここで、少なくとも部分的に検出光学ユニット２の焦点に配置され、２次元のアレイ状照明パターン３の透過光で照明される。オーバビューコントラスト画像を生成するために、まず、サンプルキャリア１の異なる照明により少なくとも２つのオーバビュー生画像が検出される。このために、例えば、ここで、表面検出器４が使用される。その上に検出光学ユニット２が結像する。検出光学ユニット２は、低い倍率を有する顕微鏡対物レンズであり得るが、好ましくはカメラの対物レンズである。これは、観察視野のより大きい領域を画像化できる。したがって、これにより、理想的には、オーバビューにおいてサンプルキャリア１の全体がカバーされる。したがって、この場合の表面検出器４は、カメラのセンサ、例えばＣＭＯＳチップである。構成に応じて、特に照明の選択に応じて、表面検出器４は、強度のみ（例えば、白色照明の場合）を登録するか、又は強度は、異なるカラーチャネル、例えば赤（Ｒ）、緑（Ｇ）及び青（Ｂ）に分離される。異なる色と同様に、偏光も登録する適切なセンサを用いて照明の異なる偏光を考慮に入れ、前記偏向を異なるチャネルへの分離のために使用することもできる。

パターンの種類及び照明の種類に応じて、オーバビュー生画像は、同時に又は連続的に記録される。各ピクセルについて対応する強度値が登録される。したがって、オーバビュー生画像は、計算ユニット５に供給される。それに対してオーバビューコントラスト画像を得るための計算が行われる。計算ユニット５において、少なくとも２つのオーバビュー生画像からオーバビューコントラスト画像を計算するために使用される計算アルゴリズムは、オーバビューコントラスト画像から抽出される情報に応じて及び任意選択的にまた照明に応じて選択される。オーバビューコントラスト画像は、したがって、画像評価ユニット６に供給される。そこで、情報を最終的に抽出するために使用される画像評価アルゴリズムは、オーバビューコントラスト画像から抽出される情報に応じて選択される。情報は、制御ユニット７に伝送される。これは、情報を相応にさらに処理し、例えば高スループット型の方法において、オーバビューコントラスト画像の評価の結果、前記マルチウェルが適正に充填されていない、例えば不良サンプル又は気泡を含む等であることが示されたマルチウェルを顕微鏡解析から排除する。オーバビューコントラスト画像は、当然のことながら、画像評価ユニット６又は制御ユニット７に接続され、前記ユニットの一部であり得るスクリーン上で使用者に対して表示され得る。その結果、使用者は、対応する設定を手作業で行うことができる。計算ユニット５、画像評価ユニット６及び制御ユニット７は、まとめてハードウェア及び／又はソフトウェアとしてＰＣに組み込むことができる。

図１に関する説明に関連してすでに示したように、方法は、既存の顕微鏡でも容易に実行できる。特に適しているのは、照明にＬＥＤアレイを使用する顕微鏡である。この場合、照明パターン３は、前記アレイのＬＥＤにより生成される。例えば、傾斜照明顕微鏡（ＡＩＭ）を使用するこのような顕微鏡は、図２の例のように照明される。サンプルキャリア１は、ここで、ＬＥＤアレイ８を介して照明される。検出光学ユニット２は、ここで、例えば２つのレンズ素子を含む。それらの間に、光軸を曲げるための偏向ミラー（deflection mirror）９が配置されている。ビームスプリッタ１０は、光の一部を表面検出器４に案内するために使用される。光の別の部分は、レンズ素子１１を介してアイピース１２に向けられる。それにより、オーバビュー生画像が観察者からも見ることができる。カメラ及び照明は、例えば、ＬＥＤアレイ８により、倒立顕微鏡のスタンド上で特に良好に位置付けることができる。照明パターン３の生成に使用されるＬＥＤアレイ８は、透過光照明のために準備されるアームの上方に配置され、カメラは、サンプルの下に、例えば対物レンズタレットの上に設置される。

照明パターン３を生成するために、好ましくは同じ大きさを有する照明要素を有するアレイが使用されることが好ましい。使用できる照明要素は、例えば、能動光源としてのＬＥＤ、ＯＬＥＤ、光ファイバ、すなわちその端部若しくは射出面又は受動照明要素としての照明されたＤＭＤ（デジタルマイクロミラーデバイス）若しくは異なる空間光変調器の要素である。以下の説明が光源として例えばＬＥＤに言及する場合、これは、例示の目的のために行われているにすぎず、照明要素の他の使用可能なアレイの使用を排除しないことは明らかである。

オーバビュー生画像は、表面検出器４を備えるカメラにより記録される。カメラの対物レンズは、図１に示されるように、サンプルキャリア１で合焦し、焦点が合っていない照明パターン３又はサンプルキャリア１の背後の照明に向けられる。ここで、広い観察視野を有し、テレセントリックではない対物レンズを有するカメラを使用することが可能である。サンプルキャリア１と、例えばＬＥＤアレイとして構成できる照明パターン３との間に、照明を操作するための追加の光学素子を設置する必要はない。典型的に、検出光学ユニット２又は表面検出器４とサンプルキャリア１との間及びサンプルキャリア１と照明パターン３との間の距離は、それぞれ０．５ｃｍ～１０ｃｍの範囲になるように選択できる。しかし、これらは、特に、場合によりサンプルキャリア１の全体を捕捉するためにそれよりはるかに大きくすることができる。

原理上、この距離は、様々な条件が満たされる限り、自由に選択することもできる：（ｉ）サンプルキャリア１が検出光学ユニット２の焦点面内に配置されなければならないこと、（ｉｉ）サンプルキャリア１の解析対象の構造 － 例えば、カバーガラスの縁部 － が依然としてカメラにより解像可能であること、（ｉｉｉ）照明パターン３により生成された構造が、表面検出器４によって登録される画像上で認識可能でなければならない、すなわち個々の照明要素が区別可能であり、有利には解析対象の構造全体をカバーしていなければならないこと。これは、照明要素のアレイの大きさ、照明要素の大きさ及びその間隔の対応する選択によって影響を受ける可能性がある。この理由から、例えばＬＥＤのアレイがサンプルキャリア等、より大きい構造に非常に適している。これらが構造を完全にカバーしない場合、合成されるオーバビューコントラスト画像は、相応の校正を行った上で生成できる。

照明について、図３を参照しながら以下により詳細に説明する。図中では、ＬＥＤは、照明要素の例として使用されている。照明パターン３のうち、サンプルキャリア１の背後に配置された１つのみのＬＥＤ １３は、ここで、例として示されている。距離は、ランダムに選択される。照明パターン３は、実際には、それよりはるかに長い距離に配置することもできる。しかしながら、それをサンプルキャリア１の直接背後に配置することにより、焦点面の付近に配置できる。これは、個々の照明要素の解像度が改善されることを意味する。

記録は、テレセントリックではない検出光学ユニット２で行われる。オンにされたＬＥＤ １３の各々は、サンプルの視野領域に応じて明視野又は暗視野照明のいずれかとして機能する。第一の視野領域１４について、ＬＥＤ １３は、サンプル又はサンプルキャリアの直接背後に配置される。ここで、透過光の成分が大部分を占める。それにより、ＬＥＤ １３は、この第一の視野領域１４のために明視野照明として機能し、対応する明視野コントラストを生成する。ＬＥＤ １３の隣の第二の視野領域１５では、対照的に、ＬＥＤ １３は、暗視野照明として機能し、暗視野コントラストを生成するために使用できる。明視野モードでオーバビューコントラスト画像を生成しようとする場合、任意選択的に、拡散スクリーンを照明要素のアレイとサンプルキャリア１との間に挿入することができる。なぜなら、拡散光源は、明視野コントラストにとって有利であるが、暗視野コントラストにとってそうではないからである。拡散スクリーンは、その都度挿入できるが、ビーム経路内に永久的に位置付けることもでき、また切替可能とすることもできる。その結果、光の拡散は、拡散スクリーンがオンに切り替えられたときにのみ発生する。特に異なる照明パターン３で実現可能である、異なる照明でのオーバビュー生画像の生成により、サンプルキャリア１及びまたサンプル自体の明視野及び／又は暗視野情報を抽出し、オーバビューコントラスト画像にも表示することができる。

異なる照明は、抽出される情報に応じて選択される。この情報は、一般に、サンプルキャリアの種類、例えばそれが小型のガラスプレートという意味で通常のスライドであるか、単純なペトリ皿であるか、複数の開放ウェルを有するマルチウェルサンプルキャリアであるか、異なる、閉じたサンプルチャンバを有し、したがってカバーガラスでカバーされるサンプルキャリア（チャンバスライド）であるかを含まれる。多くの場合、サンプル数は、サンプルキャリア１の上に例えば手書きで、しかし、さらに多くの場合、バーコード又はＱＲコードによるコードとして表示される。これは、対応するデータベースに関連して解釈できる。特に、複数のサンプルチャンバ又はウェルを有するサンプルキャリアを使用する場合、使用可能なサンプル領域を特定することが意図される。加えて、サンプルは、識別できなければならず、気泡、汚染又はサンプルチャンバが空である等のエラー又は欠陥を検出できなければならない。さらに、浸漬液の存在及びその形態、量、位置を検出できるようにすることが意図される。

画像処理のためのアルゴリズムを用いて所望の情報がオーバビューコントラスト画像から自動的に抽出されると、以下のステップをタスクに応じて自動的又は半自動的に行うことができる。一例を挙げれば、マルチウェルプレート内のいずれのウェルを検査するかの選択である。これは、使用者が再びアイピースを覗くことを必要とすることなく、自動的又はＰＣによってのみ行うことができる。しかし、その場合、サンプルキャリア１全体のオーバビュー画像を表示することも同様に可能である。

ここで適切な異なる照明及び計算アルゴリズムについて、図４～１２を参照しながら以下に説明する。例示のためにＬＥＤアレイが常に使用される。しかし、例として上で述べた異なる照明要素の使用も同様に容易に可能である。

第一の可能性は、異なる照明パターン３を用いて異なる照明を生成することである。これらは、抽出される情報に応じて選択される。このような照明パターンは、図４～９に示されている。

例えば、異なる照明パターン３は、確率論的に生成できる。これは、図４に示されている。その中では、６つのフレームは、異なる照明パターンを示す。ＬＥＤアレイ１７のＬＥＤ １６が白光を発し、確率論的にオン又はオフに切り替えられる。オンに切り替えられた状態では、これらは、小さい円として示され、オフに切り替えられた状態では、異なる照明パターンが明瞭にわかるように省略されている。

確率論的な照明パターン３を生成するための単純な可能性は、パルス幅変調照明要素を使用することである。そのパルス幅は、オーバビュー生画像を記録するための検出器ユニットの積分時間より長くなるように選択される。この選択も積分時間を明示することによって実行できる。カメラの積分時間中、ＬＥＤの一部は、オンに切り替えられ、それ以外にはオフに切り替えられる。これは、ＬＥＤ １６間のパルス幅変調が同期されていないからである。この場合、ＬＥＤアレイ１７のＬＥＤ １６は、個々に駆動可能又は切替可能である必要はない。

当然のことながら、照明要素を異なる照明パターンとして個別に又はグループで駆動し、切り替えることも可能である。照明要素の第一の部分は、ここで、光を発するように切り替えられ、及び照明要素の少なくとも１つの第二の部分は、光を発しないか、又は異なる色の光若しくは異なる偏向の光を発するように切り替えられる。図４の確率論的照明パターンを生成する場合、各照明パターン３のために照明要素の第一の部分が確率論的に選択される。照明要素の第二の部分は、光を発しない。高品質のオーバビューコントラスト画像を生成できるようにするために、比較的多くのオーバビュー生画像が必要である。その結果、一般にオーバビュー生画像を記録するために数秒かかる。この期間は、照明要素の第二の部分をオフに切り替える代わりに、それが異なる色の光を発する場合に短縮できる。その結果、２つのオーバビュー生画像が同時に記録される。これらは、その後、色によって分離される。

オーバビューコントラスト画像は、計算アルゴリズムに応じて暗視野モード及び明視野モードのいずれでも生成可能である。この場合、アルゴリズムは、例えば、明視野コントラスト画像についてトップハット変換に、又は暗視野コントラスト画像についてブラックハット変換に基づくものであり得る。それぞれの場合において、それにピクセルごとの最大値投影が続き、両方の変換をオーバビュー生画像に等しく適用でき、それによって明視野モードと暗視野モードとの両方のオーバビューコントラスト画像を生成できる。この種の照明により、ガラスの縁部、すなわちサンプルキャリア１又はカバーガラスの周辺を非常によく見えるようにすることができる。これらは、実際のサンプルと比較して高いコントラストを示す。

確率論的照明パターンが使用される場合、オーバビューコントラスト画像中で満足できるコントラストを得るために、比較的多い、一般的には３０～５０の画像を記録する必要がある。しかし、他の照明パターンは、それよりはるかに少ない画像でも有効である。このようなパターンは、図５及び６に示されている。これらは、市松模様型パターンである。オン及びオフに切り替えられる照明要素、すなわちＬＥＤ １６は、ここで、市松模様型分布を有する。この場合、照明要素のうち、オンに切り替えられた第一の部分は、例えば、市松模様の白い部分に対応し、ＬＥＤ １６のうち、オフに切り替えられた第二の部分は、黒い部分に対応する。２つのオーバビュー生画像が必要である。これらは、相互に相補的な、すなわち反転された照明パターンで生成される。これら２つの市松模様のパターンは、図５に示されている。照明要素の第一の部分は、オンに切り替えられたＬＥＤ １６により形成される。各行及び各列の１つおきのＬＥＤ １６のみがオンに切り替えられる。２つの照明パターンの右側の照明パターンでは、画像中の左側でオフに切り替えられていたＬＥＤ １６がオンに切り替えられ且つその逆とされる。照明パターンは、ここで、ＬＥＤアレイ１７の全体に広げることも、又は光の全体の量を減らし、不必要にサンプルに負荷をかけないようにサンプルキャリア１の関心対象領域のみに広げることもできる。市松模様型照明は、特に暗視野モードでのオーバビューコントラスト画像を使用するために使用できる。ここで、使用される計算アルゴリズムは、特に最小値投影における、ピクセルごとの投影に基づくランキング投射アルゴリズムである。２つのオーバビュー生画像のみが必要である。この方法は、サンプルキャリア１及びサンプル領域、例えばカバーガラスのガラス縁部と、サンプル自体とのいずれについても非常に良好なコントラストを提供する。

図５に示される照明パターンを使用する場合、単色ＬＥＤのＬＥＤアレイ１７を使用できる。これは、例えば、白光又は原色Ｒ、Ｇ、Ｂの１色の光を発し、検出のために、マルチカラー又は単色光を登録する表面検出器を使用できる。

照明要素の第一の部分が光を発し、照明要素の第二の部分が光を発しない場合、図５に示される場合において、オーバビューコントラスト画像を生成するために、連続的に記録されなければならない２つのオーバビュー生画像が必要である。しかしながら、オーバビュー生画像は、照明要素のすべての部分が各ペア内で相互に異なる偏向の光を発する場合、カメラで同時に記録して、その後、分離することもできる。市松模様型の照明パターンを生成するために、ここで、パターンに応じて行と列とで異なる相補的な偏光フィルタを設けたＬＥＤアレイ１７を使用できる。偏光フィルタは、切替可能とすることもできる。このようにして、２つのオーバビュー生画像を１つの記録で生成でき、後に分離し得る。そのために偏光も同様に検出されなければならない。

さらなる可能性は、照明要素のすべての部分が各ペア内で相互に異なる色の光を発すること、すなわち例えば照明要素の４つの部分の場合、この部分の各々が異なる色の光を発することである。これは、再び市松模様型照明パターンに基づいて図６で説明されている。照明要素の第一の部分は、ここで、青色ＬＥＤ １８、すなわち青の波長範囲内の光を発するＬＥＤを含む。一方では、照明要素の第二の部分は、赤色ＬＥＤ １９、すなわち赤の波長範囲内の光を発するＬＥＤを含む。２つのグリッドは、相互に入れ子状である。その結果、赤／青の市松模様がＬＥＤアレイ１７上に表示される。サンプルキャリア１は、この照明パターンで照明される。すでに両方の必要なオーバビュー生画像を含む記録が取られる。個々のオーバビュー生画像は、記録をカラーチャネルによって分離することにより得られる。カメラの構成、すなわちカラーチャネルの数及びＬＥＤアレイ１７のＬＥＤ １３の数に応じて、３つ以上のパターンを相互に入れ子式にすることもできる。それにより、サンプル又はサンプルキャリア１は、同時に照明される。理想的には、ＬＥＤアレイ１７のＬＥＤ １６と、記録に使用されるカメラのカラーチャネルとは、相互にマッチされる。すなわち、追加の手段を使用せず、一般には３原色のカラーチャネル、赤、緑及び青を利用できる。これは、白光を発するＬＥＤであっても赤、緑及び青色サブＬＥＤから構成できるからである。

市松模様の形態の照明パターンの代わりに、別の照明パターンも使用できる。この場合、照明要素の第一の部分並びに対応して第二の及び場合によりさらなる部分は、確率論的分布と比較して規則的な分布を有する。図７は、十字形パターンと呼ばれるそのような例を示している。その中では、４つの異なる照明パターンが生成される。対応して４つのオーバビュー生画像が必要となる。コントラストは、ここで、市松模様型照明パターンより若干高い。４つの個々のオーバビュー生画像は、図８に示されるような半瞳パターンを使用するときにも同様に必要となる。オーバビュー生画像の生成のために、ＬＥＤアレイ１７は、２つの半分に分割される。その場合、照明要素の第一の部分は、一方の半分内にある。照明要素のオフに切り替えられる第二の部分は、もう一方の半分内にある。第二のオーバビュー生画像は、それと相補的な分布で記録される。すなわち、まず、照明要素の第一の部分がＬＥＤアレイ１７の左側半分満たした場合、それは、第二のオーバビュー生画像のために右の半分を満たす。２つのさらなるオーバビュー生画像は、ＬＥＤアレイを上下の、すなわち第一の分割方向に垂直な分割方向に半分に分割することによって生成される。垂直の要素を有する透明なサンプルキャリアの場合、特にチャンバスライド又は透明マルチウェルプレートと呼ばれるものの場合、このようにして高いコントラストを実現することができる。オーバビューコントラスト画像は、好ましくは、暗視野モードで生成される。そのために、ピクセルごとの投影に基づく計算アルゴリズム、好ましくはランキング投影アルゴリズムが使用される。ここで、オーバビュー生画像は、ピクセルごとに比較される。ピクセルの１つの強度値は、投影条件に従ってオーバビューコントラスト画像中の対応する位置について選択される。

この方法のさらなる構成では、白光を発する各ＬＥＤは、個々の相互に隣接する３つのサブＬＥＤから形成され、これは、それぞれの場合に異なる原色の赤、緑及び青の光を発するという事実が利用される。この場合、異なる照明（ここで、照明パターンは、同じであり得る）を原色での異なる角度からの照明によって設定することが可能である。この場合、明視野モードでオーバビューコントラスト画像が生成されるのに用いられる計算アルゴリズムが選択される。

本発明のさらなる構成は、照明パターン３を照明要素のアレイの少なくとも１つの区画のみに生成することを含む。したがって、異なる照明は、アレイ上の少なくとも１つの区画の走査移動により生成される。この少なくとも１つの区画以外の照明要素は、ここで、それらが光を発しないように切り替えられる。これは、市松模様パターンの例で図９に示されている。ここで、そのうちの４つのＬＥＤ １６の小さい区画が選択される。それは、画像のシーケンス又は照明パターン内の１つの行を走査し、その後、ＬＥＤアレイ１７上で行ごとに移動される。図５に関して説明した市松模様のパターンと比較して、ここで、より多くのオーバビュー生画像が必要となる。コントラストは、品質の点で同等である。しかしながら、ＬＥＤアレイ１７により発せられる時間当たりの光の量は、有利には、両方のフルパターン（both full patterns）を使用する場合より大幅に減少する。したがって、背景の明るさが低下する。オーバビュー生画像内に生じる障害となる反射が減る。オーバビュー生画像の記録に必要な時間は、例えば、サンプルキャリア１の区画の画像において空間的に離れた領域を照明パターンと共に同時に移動させ、且つ／又は別々に登録される異なる色の照明パターンを、移動される区画内に生成することにより短縮できる。

ＬＥＤアレイ１７上で移動される区画内において、他のパターンが生成されるようにすることも可能である。例えば、１つを除くすべてのＬＥＤをオンに切り替えることができる。その結果、この区画は、１つのオフに切り替えられたＬＥＤのみを含む。その後、この区画が移動される。他の可能性は、１つのみのＬＥＤをオンに切り替え、残りすべてをオフのままにし、その区画をアレイの上で移動させ、プロセスにおいてオーバビュー生画像を記録する。

適当な計算アルゴリズムは、ここで、特にランキング投影アルゴリズム、特にまた最小値投影にある。その結果、暗視野モードでのオーバビューコントラスト画像が得られる。

一般に、カメラ上の明視野領域をオーバドライブし、暗視野コントラストのための良好な暗視野信号を得る必要があり得る。したがって、その後の明示視野記録のために、オーバドライブされた明示視野領域がない状態で別の記録を行う必要があり得る。

最後に、この方法の他の構成を、図１０～１２を参照しながら以下に説明する。ここで、異なる照明は、異なる照明パターンによってではなく、２つの記録間でサンプルキャリア１を照明パターン３に対して横方向に移動させることによって生成される。図１に関して、これは、光軸に垂直な移動に対応する。ここで、サンプルキャリア１を照明パターン３に対して移動させるか、又はその逆に移動させることができる。しかし、両方を相互に対して移動されるようにすることも可能である。典型的に、サンプルキャリア１のみを移動させる方が実現しやすい。なぜなら、サンプルキャリアは、典型的に、３つの空間方向のすべてに変位可能なステージの上に載せられているからである。ＬＥＤアレイ１７のＬＥＤ １６は、決まったパターン、例えば規則的グリッドで切り替えられる。照明パターン３及び／又はサンプルキャリア１は、２つのオーバビュー生画像間において、カメラの光軸に直交する平面内で移動される。図１０～１２では、異なるサンプルキャリアは、それぞれサンプルキャリア１に対する照明パターン３の４つの異なる位置に示されている。これは、ＬＥＤアレイ１７とＬＥＤ １６とで実現される。図１０で使用されるサンプルキャリアは、スライド２０及び可視化されることになるカバーガラス２１である。図１１では、これは、マルチウェルプレート２２であり、そのウェル２３が可視化されることになる。図１２では、サンプルキャリアは、チャンバスライド２４であり、そのうちのチャンバ２５が可視化されることになる。すべての場合のオーバビューコントラスト画像が図の右側に示されている。オーバビューコントラスト画像は、ここで、明視野モードと暗視野モードとの両方で生成できる。暗視野モードでのオーバビューコントラスト画像について、使用される計算アルゴリズムは、ランキング投影の特殊なケースとしての最小値投影である。明視野モードでのオーバビューコントラスト画像の場合、最大値投影が使用できる。明るさの差を補償するために、ここで、必要とみなされる他のすべての場合にも同様に、計算後にシェーディング補正を行うことができる。セグメンテーションに基づく計算の場合、シェーディング補正は、オーバビュー生画像に対して計算を行う前にも実行できる。

オーバビュー生画像の記録間での相対移動のため、計算アルゴリズムを正しく適用するためにサンプルキャリア又は照明パターン１が画像においてどのように移動するかを知る必要がある。このため、カメラ又は検出光学ユニット２をサンプルキャリア１に関して又はそれが載せられるステージに関して校正し、サンプルキャリアの座標を画像の座標にマッピングできるようにし且つその逆にすることが必要である。このため、まず、サンプルキャリアの代わりに校正パターンを同じ位置において又はステージに取り付けて使用する。こうして、そのようなマッピング － ホモグラフィを推定できる。これは、すなわち、２次元平面を空間内の２次元平面にマッピングすることである。当然のことながら、相対移動を画像解析若しくは別の測定システムによって確認できる場合に校正を省くこともでき、又は客観的パラメータと距離とに基づいて事前に校正を行うことも可能である。

統計的照明パターンで特定されたオーバビューコントラスト画像では、特にＬＥＤを使用すると品質の面で最良のコントラストが得られる。なぜなら、ダイナミックパターンの場合、すなわちパターンが変化する場合、オフに切り替えられたＬＥＤは、サンプルキャリアにおける後方反射によりきわめて強力な背景信号を提供できるからである。しかしながら、対応する画像処理アルゴリズム、例えば深層学習アルゴリズムを用いれば、これらのアーチファクトは、評価中に排除できる。すなわち、これらは、考慮されない。

サンプル又はサンプルキャリア１を照明パターンに対して横方向に移動させることなく、統計的パターンを用いて異なる照明を生成するための１つのさらなる可能性は、ＨＤＲ（高ダイナミックレンジ）記録により異なる露光で取られた複数の記録からオーバビューコントラスト画像を合成することである。例えば、異なる露光で記録された３つのオーバビュー生画像からオーバビューコントラスト画像をＨＤＲ画像として合成することが可能である。

ここで、オーバビューコントラスト画像を計算する際、図３に関して説明したように、サンプル又はサンプルキャリアに関する照明要素の位置をさらに考慮することができる。照明要素がサンプルキャリア又はサンプルを直接照明する場合、明視野情報が使用され、そうでなければ暗視野情報が使用される。このようにして、オーバビューコントラスト画像は、明視野及び暗視野コントラストの混合である。

相対移動の校正に関して上述した校正パターンは、各オーバビューコントラスト画像に適用される、画像内の幾何学的歪みの補正を行うためにさらに使用できる。さらに、背景アーチファクトを計算によって排除することも可能である。

オーバビューコントラスト画像の生成後、これらは、画像評価アルゴリズムを用いて、好ましくはニューラルネットワークを利用する深層学習に基づくアルゴリズムによって自動的に解析される。例えば、サンプルキャリアの種類が識別される。画像内でのサンプルキャリアの位置推定も可能である。サンプルキャリアに銘刻がある場合、前記銘刻も同様にコントラスト画像から特定できる。同じことが、キャリア上のサンプル又は領域、例えばサンプルを収容できるウェルにも当てはまる。対応する画像評価アルゴリズムによって気泡又は他のアーチファクトを検出することにより、特に別々の容器に入った複数のサンプルを含むサンプルキャリアの場合、このようなアーチファクトがそこに存在する場合、サンプルキャリアについてかかる検査時間を短縮することが可能である。最後に、浸漬液の場合のオーバビューコントラスト画像の画像評価を用いて、浸漬液滴の体積と形状を検出することも可能である。また、浸漬液の汚染に関する結論を導き出すことも可能である。

情報は、好ましくは、ＰＣ上で観察者又は使用者に対してグラフィクスの手段によって表示できる。それにより、使用者は、自らのさらなる手順をオーバビューコントラスト画像の解析結果に合わせて調整できる。使用者が操作する場合、特定の状況では、オーバビューコントラスト画像が前記使用者のみに提示されれば十分であり得る。しかし、画像評価を用いて得られた情報を、特に使用される顕微鏡によるサンプル検査の自動制御のために使用することも可能である。使用者に提供されたオーバビューコントラスト画像は、サンプルに対するナビゲーションのための制御を用いてさらなる検査の準備を行うことができる。しかしながら、画像処理アルゴリズムを用いて抽出されたオーバビューコントラスト画像の情報により、例えば自動的に、サンプルキャリアのうちの関係する構造、例えばガラススライド又はサンプルキャリア上のサンプルのうちの関係する構造、例えば組織の切片、微生物又は細胞を識別し、その位置特定を行うその後のロバスト（robust）な処理が可能になる。例えば、３つすべての空間方向におけるサンプルの完全自動化された大まかな位置決めを行うことも可能となる。最後に、抽出された画像情報により、エラーの原因が自動的に排除されて、より少ないデータ量及びより短い記録時間での、よりロバスト、且つより迅速、且つより効率的な自動顕微鏡検査、例えば高スループット顕微鏡検査も可能となる。

１ サンプルキャリア
２ 検出光学系
３ 照明パターン
４ 表面検出器
５ 計算ユニット
６ 画像評価ユニット
７ 制御ユニット
８ ＬＥＤアレイ
９ 偏向ミラー
１０ ビームスプリッタ
１１ レンズ素子
１２ アイピース
１３ ＬＥＤ
１４ 第一の視野領域
１５ 第二の視野領域
１６ ＬＥＤ
１７ ＬＥＤアレイ
１８ 青色ＬＥＤ
１９ 赤色ＬＥＤ
２０ スライド
２１ カバーガラス
２２ マルチウェルプレート
２３ ウェル
２４ チャンバスライド
２５ チャンバ

Claims (19)

1. サンプルキャリア（１）及び／又はサンプルキャリア（１）上に配置されたサンプルのオーバビューコントラスト画像を生成及び解析する方法であって、
   － 少なくとも部分的に検出光学ユニット（２）の焦点に配置されるサンプルキャリア（１）は、２次元のアレイ状照明パターン（３）で透過光において照明され、
   － 少なくとも２つのオーバビュー生画像は、前記サンプルキャリア（１）の異なる照明で検出され、
   － 前記少なくとも２つのオーバビュー生画像から前記オーバビューコントラスト画像を計算するために使用される計算アルゴリズムは、前記オーバビューコントラスト画像から抽出される情報の種類に応じて選択され、前記オーバビューコントラスト画像は強化されたコントラスト又は前記オーバビュー生画像と比較して改善された信号対ノイズ比を有し、前記情報は、前記サンプルキャリアの種類、前記サンプルキャリアの銘刻、前記画像内の前記サンプル又はサンプル領域、カバーガラス、マルチウェルプレートのウェルの位置、浸漬液に関する情報の１つ又は複数を含み、
   － 前記情報を前記オーバビューコントラスト画像から抽出するために使用される画像評価アルゴリズムは、前記オーバビューコントラスト画像から抽出される情報の種類に応じて選択される、方法。
2. 照明要素を有するアレイは、照明パターンを生成するために使用され、前記個別の照明要素は、それぞれの場合において、前記少なくとも２つのオーバビュー生画像でそれぞれ相互に区別可能であることを特徴とする、請求項１に記載の方法。
3. 使用される前記照明要素は、ＬＥＤ、ＯＬＥＤ、光ファイバ、照明されたＤＭＤの要素又は空間光変調器の要素であることを特徴とする、請求項２に記載の方法。
4. 前記少なくとも２つのオーバビュー生画像が記録された前記異なる照明は、前記少なくとも２つのオーバビュー生画像の記録間で前記サンプルキャリア（１）が前記照明パターン（３）に対して移動されるか、又は前記検出のために異なる露光時間が使用されることによって生成されることを特徴とする、請求項１～３のいずれか一項に記載の方法。
5. 前記オーバビューコントラスト画像は、それぞれ前記サンプルキャリア（１）及び／又は前記サンプルの、異なる領域を示す個別のオーバビューコントラスト画像から合成されることを特徴とする、請求項４に記載の方法。
6. 前記異なる照明は、前記抽出される情報に応じて選択される異なる照明パターン（３）によって生成されることを特徴とする、請求項２又は３に記載の方法。
7. 異なる照明パターン（３）を生成するために、前記照明要素は、個別に又はグループで駆動され、且つ異なる照明パターン（３）を生成するために切り替えられ、前記照明要素の第一の部分は、光を発するように切り替えられ、及び前記照明要素の少なくとも第二の部分は、光を発しないか、又は異なる色の光若しくは異なる偏向の光を発するように切り替えられることを特徴とする、請求項６に記載の方法。
8. 異なる照明パターン（３）は、
   ａ．各照明パターン（３）のために前記照明要素の前記第一の部分を確率論的に選択すること、又は
   ｂ．前記照明要素の前記第一の部分が前記アレイにおいて市松模様型又は異なる規則的分布を有すること
   によって生成されることを特徴とする、請求項７に記載の方法。
9. 前記照明要素の前記第二の部分は、光を発せず、前記少なくとも２つのオーバビュー生画像は、相互に相補的な照明パターン（３）で記録されることを特徴とする、請求項８の選択肢ｂに記載の方法。
10. 前記照明要素のすべての部分は、ペア内で相互に異なる色又は偏向の光を発し、部分の数に対応する数のオーバビュー生画像は、画像において同時に記録され、且つその後、カラーチャネル又は偏向によって分離されることを特徴とする、請求項８の選択肢ｂに記載の方法。
11. ＬＥＤ（１６）又はＯＬＥＤは、照明要素として使用され、確率論的照明パターンは、前記オーバビュー生画像を記録するための検出ユニットの積分時間より長くなるように選択されるパルス幅を有するパルス幅変調照明要素を使用することによって生成されることを特徴とする、請求項６又は７に記載の方法。
12. 前記照明パターン（３）は、前記照明要素のアレイの少なくとも１つの区画においてのみ生成され、及び前記異なる照明は、前記アレイ上での前記少なくとも１つの区画の走査移動によって生成され、前記少なくとも１つの区画の外の前記照明要素は、光を発しないように切り替えられることを特徴とする、請求項６に記載の方法。
13. 前記照明要素は、ＬＥＤ（１６）の形態であり、ＬＥＤ（１６）は、それぞれ異なる原色の赤、緑及び青の光を発する３つの個別の相互に隣接するサブＬＥＤから形成され、及び異なる照明は、前記原色での異なる角度からの照明によって設定されることを特徴とする、請求項６に記載の方法。
14. 暗視野又は明視野モードでオーバビューコントラスト画像を生成するための計算アルゴリズムは、照明方法の選択に応じて選択されることを特徴とする、請求項１～１３のいずれか一項に記載の方法。
15. 幾何学的歪みを補正するために、校正は、オーバビュー生画像の前記検出前の校正パターンの記録及び評価を使用して行われることを特徴とする、請求項２～１４のいずれか一項に記載の方法。
16. 障害となる背景信号は、前記画像評価前に前記オーバビューコントラスト画像から取り除かれることを特徴とする、請求項１～１５のいずれか一項に記載の方法。
17. サンプルキャリア（１）及び／又はサンプルキャリア（１）上に配置されたサンプルのオーバビューコントラスト画像を生成及び解析する方法であって、
    － 少なくとも部分的に検出光学ユニット（２）の焦点に配置されるサンプルキャリア（１）は、２次元のアレイ状照明パターン（３）で透過光において照明され、
    － 拡散スクリーンは、前記アレイ状照明パターン（３）と前記サンプルキャリア（１）との間に導入されるか、又はそこに配置される切替可能な拡散スクリーンは、コントラストを強化するために又は信号対ノイズ比を改善するために拡散するように切り替えられ、
    － オーバビューコントラスト画像は、明視野モードで検出され、
    － 前記オーバビューコントラスト画像から情報を抽出するために使用される画像評価アルゴリズムは、前記オーバビューコントラスト画像から抽出される情報の種類に応じて選択され、前記情報は、前記サンプルキャリアの種類、前記サンプルキャリアの銘刻、前記画像内の前記サンプル又はサンプル領域、カバーガラス、マルチウェルプレートのウェルの位置、浸漬液に関する情報の１つ又は複数を含む、方法。
18. 選択される画像処理アルゴリズムは、機械学習アルゴリズム、特に深層学習アルゴリズムであることを特徴とする、請求項１～１７のいずれか一項に記載の方法。
19. － 畳み込みニューラルネットワークに基づく深層学習アルゴリズムは、前記サンプルキャリア（１）の種類を特定するために使用されること、及び
    － セマンティックセグメンテーションは、前記サンプルキャリア（１）又は前記サンプルの構造の位置推定のために、行われること
    を特徴とする、請求項１８に記載の方法。

Images