JP7053588B2 - 斜面顕微鏡を用いてプレビュー画像を形成する方法ならびに斜面顕微鏡および斜面顕微鏡用の画像形成装置 - Google Patents

Description

本発明は、傾いた被照面を有する顕微鏡を用いて、特に斜面顕微鏡を用いてプレビュー画像を形成する方法に関する。さらに本発明は、顕微鏡、特に斜面顕微鏡と、傾いた被照面を有する顕微鏡用の、特に斜面顕微鏡用の画像形成装置と、に関する。

３次元イメージングのためのスキャン方法は、従来技術から、例えばC. Dunsbyによる"Optically sectioned imaging by oblique plane microscopy"、Opt. Express 16、20306-20316 (2008)または国際公開第２０１５／１０９３２３号（WO 2015/109323 A2）から公知である。斜面顕微鏡は、例えば、傾いた平面を観察する、いわゆる光シート顕微鏡である。さらに「斜面顕微鏡」という呼称には、共に３次元スキャン顕微鏡であるOblique Plane illumination Mikroskope（ＯＰＭ）もSwept Confocally-Aligned Planar Excitation（ＳＣＡＰＥ）顕微鏡も共に含まれる。

斜面顕微鏡は、共焦的に配置された平面的な励起もしくは照明で動作し、この平面的な励起もしくは照明は、ＳＣＡＰＥ顕微鏡では、試料を通過してスイベル動作でスキャンされるのに対し、ＯＰＭでは、平面的な励起は、試料に対して直線的にスキャンされ、例えば、スライド可能なレンズにより、もしくは試料を直線的にスライドさせることにより、スキャンされる。

代表的な２つの技術において、第１には、被照面の平面的な照明を実現するために、第２には、同じ光学系を介して、照明される被照面から送出される散乱ビームもしくは蛍光ビームを受光して像検出およびデータ処理に利用するために、開口数（ＮＡ）の大きなただ１つの光学系が、例えば、大きなＮＡを有する対物レンズが使用される。

ＯＰＭでは、互いに平行な（ＳＣＡＰＥ顕微鏡では互いに可能な限りに平行な）それぞれ連続する時点に撮影された、被照面の複数の像から成る画像スタックが形成される。個々の被照面は、照明および照明される被照面の結像に使用される対物レンズの光軸に対して傾いている。

種々異なる被照面の位置は、スキャン部材、例えば、好ましくはモータ駆動されるスライドテーブルにより、レンズもしくはレンズ装置または試料がスライドされる（ＯＰＭ）か、またはスキャンミラー（ＳＣＡＰＥ）が傾けられることにより、変化させられる。スキャン部材により、照明ビーム路も、観察ビーム路も共に、検査される試料に対してスライドもしくは傾けられる。

斜面顕微鏡のユーザが、検査される試料のプレビュー画像をリアルタイムに得ようとする場合、単に、試料において個々に照明された被照面の像を評価して再生するか、または撮影された画像スタック全体からプレビュー画像を形成することにより、試料における配向のために、このプレビュー画像を得ることができる。

第１の手法の欠点は、プレビュー画像が、対物レンズの光軸に対して傾いていることであり、これにより、ユーザには、試料における配向が困難になる。

第２のアプローチの欠点は、プレビュー画像をリアルタイムに提供できないことであり、ひいては試料の移動にユーザが即時に追従できないことである。

したがって本発明の課題は、斜面顕微鏡におけるプレビュー画像の形成をリアルタイムに可能にする、方法、顕微鏡および画像形成装置を提供することであり、ここでは、プレビュー画像に再生される平面が、試料の境界面に対して平行に、もしくは観察光学系の光軸に対して垂直に配向されるようにする。

本発明による方法は、連続する時点に、観察光学系の光軸に対して傾いておりかつ互いに離隔された種々異なる被照面を照明し、ライン状に配置された複数の感光素子を有するセンサに結像し、センサの長手方向延在長さで行に平行に配向されておりかつ１つの読出ステップにおいて、読み出し可能な、センサの、ストライプ状のそれぞれ少なくとも１つの読出領域を読み出し、順次に読み出される読出領域から、観察光学系の光軸に対して垂直に配置されている観察面を再生するプレビュー画像を形成することにより、上記の課題を解決する。

冒頭に述べた本発明による顕微鏡は、連続する時点に、観察光学系の光軸に対して傾いておりかつ互いに離隔された種々異なる被照面が設けられており、被照面が、ライン状に配置された複数の感光素子を含む、顕微鏡のセンサに結像されており、顕微鏡が、観察光学系の光軸に対して垂直に配置されている観察面を再生するプレビュー画像を出力するインタフェースを備えた画像データプロセッサを有しており、センサが、センサの長手方向延在長さで行に平行に配向されておりかつ１つの読出ステップにおいて読み出し可能な、ストライプ状の少なくとも１つの読出領域を含み、プレビュー画像が、順次に照明される被照面の像の、順次に読み出されるストライプ状の複数の読出領域から合成されることにより、上記の課題を解決する。

時間的に順次に、観察光学系の光軸に対して斜めに延在しかつ互いに離隔された複数の被照面を照明してセンサに結像する、例えば３次元スキャン顕微鏡またはＳＣＡＰＥ顕微鏡またはオブリークプレーン顕微鏡のような、傾いた被照面を有する顕微鏡用の、特に斜面顕微鏡用の、冒頭に述べた本発明による画像形成装置は、この画像形成装置が、ライン状に配置された複数の感光素子を含むセンサと、センサの長手方向延在長さに沿って行に平行に配向されて読み出される、それぞれの被照面の像の、ストライプ状の少なくとも１つの読出領域を供給する出力部を備えた画像データ読出装置と、読み出した読出領域から、観察光学系の光軸に対して垂直に配置された観察面を再生するプレビュー画像を形成する画像データプロセッサと、を有することにより、上記の課題を解決する。

本発明による方法および顕微鏡ならびに本発明による画像形成装置が有する利点は、観察光学系の光軸に対して垂直に配向されている、検査対象の試料のプレビュー画像が提供されることである。このような配向は、ユーザにとって通例の顕微鏡画像の配向に対応し、したがって試料における配向が格段に容易になる。さらに本発明による方法および本発明による顕微鏡ならびに画像形成装置は、プレビュー画像をリアルタイムに生成して表示することができ、これにより、試料の迅速な配向が可能になるという利点を有する。これが可能であるのは、本発明では、従来技術のように平面センサ全体が読み出されるのではなく、１つの読出ステップにおいて読み出すことができる少なくとも１つの読出領域だけが読み出されるからである。このような読出領域は、使用されるセンサと、１つの読出ステップにおいて読み出されるその最小単位と、によって実現される。

読出領域のこの配向によって保証されるのは、この読出領域が、プレビュー画像用にも読み出しできることである。これによって達成可能な速度の利点により、プレビュー画像をリアルタイムに形成することができる。

リアルタイムにプレビュー画像を形成することのさらなる利点は、画像スタック全体からプレビュー画像を形成するのと比較して、いわゆるローリングシャッター作用を最小化するもしくは抑止できることである。この作用は、特に移動するシャッターの、すなわち移動する絞り（これは、例えば、斜面顕微鏡において、スキャン部材によって移動する被照面に対応する）の移動方向に対して垂直に、対象体が移動するか移動している場合に発生することがあり、撮影される画像の歪みに結び付き得る。

平面センサを読み出すのに必要な時間は、読み出される行の個数と共に線形に増大減少されるのに対し、読み出される列の個数は、読み出し時間に影響を及ぼさない。センサの長手方向延在長さに沿って行に平行に配向された、ストライプ状のそれぞれ少なくとも１つの読出領域だけを読み出すことにより、列全体を読み出すのに比べて速度上の利点が得られ、この速度上の利点により、高速の固有の動的変化を有する、検査される試料のプレビュー画像が、このような歪みを有しないことが保証される。

本発明による解決手段は、それぞれ、それ自体有利でありかつ任意に互いに組み合わせることが可能な以下の複数の実施形態により、さらに改善することが可能である。

本発明による方法によれば、ラインセンサまたは一部の領域が読み出される平面センサであってよいセンサにおいて、好ましくはそれぞれ少なくとも１つの読出領域が読み出される。したがって読出領域は、１つの読出ステップにおいて読み出し可能な、対応するセンサの最小単位と理解される。読出領域は、ラインセンサでは、行全体を含んでいてよく、部分的に読み出される平面センサでは、複数の行を含む領域を有していてよい。したがってそれぞれの読出ステップにより、好ましくは、対応するセンサの少なくとも１つの行全体を、より正確にいうと、照明される被照面の像によって生成される電荷分布の少なくとも１つの行全体を読み出し、例えば、さらなる処理のためにコンバータに転送することが可能である。

読出領域は、直接隣り合いかつ接触し合う複数の感光素子から成るデータフィールドとみなすことができる。１つのラインセンサのデータフィールドは、行全体または関連する複数の感光素子を含むことができ、一部の領域が読み出される平面センサのデータフィールドは、１つまたは複数の行を含み、好ましくは、複数の列を部分的にカバーすることができる。

ストライプ状の読出領域は、その長手方向延在長さで、好ましくは、行に平行に配向されている。すなわち、このストライプ状の読出領域は、ストライプの形態の２次元幾何学形状を有しており、このストライプは、例えば、ラインセンサの行に平行であるかもしくは平面センサの行に平行に配向されている。

本発明による方法は、連続する時点に１つのセンサに結像される複数の被照面を結像することに基づいている。それぞれの被照面は、好ましくは、対応する斜面顕微鏡の光学的な構造にしたがい、適切な照明によって照明され、観察光学系によって結像され、垂直照明ユニットを用いて平坦に、すなわち平面センサ上のまっすぐな平面に結像される。

センサが、傾いた中間画像を立ち上がらせることなく、被照面を結像することができる別のセンサであることも可能である。このためには、例えばビームスプリッタにより、観察ビーム路に沿って伝搬する光の一部をこの別のセンサに偏向することができる。このビームスプリッタもしくはセンサは、観察ビーム路に旋回して挿入可能に形成することが可能である。したがって本発明による方法、顕微鏡および本発明による画像形成装置では、検出面のストライプにプレビューストライプを投影することができる。

それぞれ観察光学系の光軸に対して傾いておりかつ互いに離隔された種々異なる被照面を連続する時点に照明するため、スキャン部材、例えばスキャンミラーまたはスライドテーブルを使用することができる。好ましくは、それぞれの照明される被照面は、センサ上に結像される。

それぞれ結像された被照面は、像の輝度分布に対応して、特に複数の感光素子、例えばピクセルから成る、センサの面に電荷分布を生成する。しかしながら本発明によれば、この電荷分布をすべて読み出す必要はなく、読出領域の電荷分布だけがセンサから読み出される。読み出される読出領域は、照明される被照面の像のストライプ状の部分の輝度分布に対応する。

本発明による方法の別の一実施形態では、連続する時点に生成されるそれぞれの被照面のプレビューストライプをストライプ像としてセンサ上に結像し、このストライプ像が、１つの読出ステップにおいて読み出し可能な少なくとも１つの読出領域を含む。ストライプ像は、特に、整数個の読出領域に対応し得る。

本発明による方法、顕微鏡および本発明による画像形成装置によれば、異なる時点に照明される複数の被照面からプレビュー画像を形成するため、それぞれ、これらの被照面の１つのプレビューストライプだけを使用する。それぞれのプレビューストライプは、光学的に選択されるのでなく、すなわち被照面全体は引き続いて照明されているのであり、選択を介して、特にストライプ像の大きさが定められる。

被照面を照明する間、ストライプ像によって覆われた、センサの領域だけが読み出される。このためには、ストライプ像の読出領域の個数にしたがい、対応する個数の読出ステップが必要である。

本発明による方法の別の一実施形態では、少なくとも１つの読出領域を、それぞれ、読出過程の開始時にセンサから読み出す。このようにすることの利点は、ストライプ像の読み出しを行った後、読出過程を停止もしくは中断でき、これによって時間が節約されることである。平面センサが、例えば、任意の個数の感光ピクセルを有する約１０００個の行を含み、読出領域が、行全体を含み、ストライプ像が１０ピクセルだけしか含まない場合には、最初の１０行だけを読み出せばよいとき、読出速度を、約１００倍に増大させることができる。一般に、１０００行のうちのセンサの最後の１０行も読み出される場合、もしくはセンサの最後の１０行だけが読み出される場合、読出速度は、センサ全体を読み出すのと比較して増大しない。別の複数の実施形態では、読出領域は、複数の行を含んでいてよく、これにより、例示的に挙げた１０行を読み出すために、１０個よりも少ない読出ステップしか必要でないことがあり得る。読出ステップの個数は、１つの読出ステップにおいて読出可能な最小の、センサの単位の大きさに依存する。

平面センサは、好ましくは、行パラメタおよび列パラメタによってアドレッシング可能な複数の感光ピクセル、例えばフォトダイオードから成る２次元構造を有する。平面センサは、好ましくは、この平面センサの列に沿って配向され、読出終了部から読出開始部へと向いている読出方向を有する。このように定められる読出方向は、個々の感光素子において生成される電荷のシフトの方向に依拠しており、これにより、この読出方向を、物理的な読出方向と理解することができる。言い換えると、このような平面センサは、読出開始部に位置する行からスタートして読み出され、読出終了部に位置する、この平面センサの行は、読出過程の最後になってはじめて読み出される。

ラインセンサは、複数の感光ピクセルから成る１つの行だけしか含まないため、ラインセンサは、感光ピクセルをアドレッシングするために１つの列パラメタしか使用しない。このようなラインセンサでは、一般に、この行の生成される電荷分布が、１つの読出ステップにおいて完全に読み出される。

センサは、好ましくは、ＣＣＤセンサおよび／またはＣＭＯＳセンサを有する。特に、センサは、平面センサであってよい。

本発明による方法では、それぞれの被照面のプレビューストライプは、実質的に行に平行に配向されて結像されることが可能であり、プレビューストライプは、好ましくは、横方向の長さが、それぞれの観察面によって、実質的に対称に切断されてよい。このようにすることの利点は、平面センサの電荷分布の読み出されるストライプが、観察光学系の光軸に対して垂直に位置する観察面のすぐ近くに配置されている、照明される被照面の部分に対応することである。

本発明による方法の別の一実施形態では、照明方向に沿って延在し、したがって光軸に対して傾いている、照明される被照面のストライプ状の部分は、平面センサの列に沿って結像される。このようにすることの利点は、観察光学系の光軸に沿ってもしくはこれとは反対にプレビュー面から離れて配置されている、試料の領域が、ラインセンサの読み出されない領域または一部の領域が読み出される平面センサの読み出されない領域に結像されることである。

本発明による方法の別の一実施形態では、それぞれの被照面のプレビューストライプを、センサの読出開始部に結像する。このようにすることの利点は、プレビュー画像に関連する画像情報が、読出過程の開始時に読み出される、センサの領域に結像され、したがってプレビュー画像の形成が加速されることである。プレビューストライプは、それぞれの照明される被照面の一部分と理解することができる。プレビューストライプは、実質的に、平面センサの読出開始部において観察される行の個数によって定められる。

ラインセンサでは、存在する行だけを読み出すことができるため、これは、読出開始部に対応する。

例えば、平面センサの読出開始部の最初の１０行を考察し、これらの行が、例えば、５～６μｍの大きさを有する場合、観察光学系による約１０～２０倍の倍率では、プレビューストライプは、約３～６μｍの幅を有する。しかしながら、実質的に被照面全体が平面センサに結像されるため、プレビューストライプは、光学的に選択されるのではなく、平面センサの限られた個数の行が読み出されることによって選択される。

したがってプレビューストライプの像、すなわちストライプ像が、好ましくは、センサの読出開始部に位置し、さらに行に平行に配向されているため、プレビュー画像に関連する画像情報は、センサ全体を読み出さなくても、読出過程の開始時に極めて迅速に読み出すことができる。

センサの読出開始部は、特にその１つの行であってよい。したがって読出過程のスタート時には、好ましくは、読出開始部の最も近くに位置する、センサの行全体を１つの読出ステップにおいて読み出すことができる。したがって輝度分布に対応する荷電粒子分布の形態で読出開始部に位置する画像情報は、センサの読み出し時に最初に読み出される。

本発明による方法の別の一実施形態では、ストライプは、別々に読み出し可能な少なくとも２つのセンサにわたって延在している。このようにすることの利点は、画像情報を同時に、少なくとも２つの別々のセンサから読み出すことができ、これにより、読出時間が短くなることである。好ましくは、少なくとも２つの別々のセンサは、部分的に読み出される複数の平面センサとして構成される。

本発明による方法の別の一実施形態では、それぞれのストライプ像の順次に読み出される読出領域を、観察光学系の光軸に対するそれぞれの被照面の傾斜角に依存し、かつ／または異なる時点に照明される被照面間の間隔に依存して、歪み補正し（entscheren）かつ／または平均化し、これにより、プレビュー画像を形成する。歪み補正（Entscheren）では、元々矩形をしていた領域の、平行四辺形状にずらされた描画の歪みが補正され、これにより、再度、元の矩形の形状が得られる。

異なる時点に読み出される読出領域は、好ましくは、プレビューストライプのスタックに対応し、個々のプレビューストライプは、それぞれ互いに離隔されており、観察光学系の光軸に対して傾いている。読み出される複数のストライプは、観察面を含む体積体に対応し、この体積体は、実質的に観察光学系の光軸に対して垂直に延在しており、かつこの光軸に沿って、数マイクロメートルの範囲内に入り得るわずかな長さを有する。

したがって観察面の歪みのない２次元像を得るためには、部分的に重なり合うプレビューストライプを、特にこれらから合成される体積体を歪み補正して、光軸に沿って平均化する必要がある。これにより、観察光学系の対物レンズの光軸に沿った体積体の仮想的な投影が生成される。

本発明による方法の別の一実施形態では、センサに対して被照面の像の位置を変化させるために、センサをスライドさせる。センサを移動することにより、センサによって読み出される読出領域を維持しながら、被照面の像の別の部分、すなわち別のストライプ像だけが読み出され、より正確にいうと、対応する読出領域の電荷分布が読み出される。

行に平行な方向に対して垂直にセンサをスライドさせる場合、観察光学系の光軸に沿って、再生される観察面をスライドさせることができる。これに対し、行に平行な方向に沿ったセンサの移動により、観察光学系との距離を同じに保ったままで、観察面の画像部分を変化させることができる。

センサのスライドは、好ましくは、その平面内で行うことが可能である。その法線ベクトルに沿ってもしくはこれとは反対にセンサを移動することにより、それぞれの被照面の像のフォーカシングが、すなわちセンサ上のストライプ像のフォーカシングが可能である。

さらに、顕微鏡に対して検査対象の試料をスライドさせることにより、プレビュー画像によって再生される被照面の位置を変化させることも同様に可能である。

冒頭で述べた本発明による顕微鏡は、有利な一実施形態によれば、さらに、被照面内にある面照明を形成する照明装置を有していてよい。この照明装置およびスキャン部材、例えばスキャンミラーまたはスライドテーブルにより、顕微鏡において、連続する時点に種々異なる被照面を照明することができる。言い換えると、異なる時点に、１つの試料の異なる領域が、照明装置によって照明され、これらの領域は、２次元で、すなわち平面的に照明される。照明される被照面の形状に起因して、光シートという語を使用することができ、試料におけるそれぞれの光シートの位置は、時間的に、特にスキャン部材に依存して変化する。

それぞれの被照面は、照明装置により、観察光学系を通して照明され、観察光学系は、同時に、被照面から送出される散乱ビームもしくは蛍光ビームをセンサ上に結像する。

画像データプロセッサは、画像データ読出ユニットと、センサの読み出した電荷分布を一時記憶するための記憶装置と、を有していてよい。

顕微鏡の照明光学系は、観察光学系の光軸に対して傾いた被照面の散乱ビームまたは蛍光ビームを、ラインセンサまたは一部の領域が読み出される平面センサであってよいセンサ上に結像する。

被照面の照明方向に対して垂直に配向されるプレビューストライプは、行に平行に配向されるストライプとして結像されることが可能である。すでに上で説明したように、プレビューストライプは、センサから読み出される、少なくとも１つの読出領域を含むストライプ像によって定められる。

本発明による顕微鏡の別の一実施形態において、平面センサは、読出方向にシリアルに読み出される少なくとも２つの読出領域を形成する、複数の感光素子の少なくとも１つのフィールドを有し、少なくとも１つの読出領域が、センサの読出開始部に位置し、プレビューストライプの像が、読出方向に対して垂直に配向されている。読出方向に対して垂直にプレビューストライプを結像することの利点は、プレビューストライプによって発生する、センサにおける電荷分布を、すなわち複数の感光素子のフィールドにおける電荷分布を、プレビューストライプの像もしくはストライプ像の比較的幅の狭い拡がりに沿って読み出せることである。したがって、読出方向に沿ってストライプ像を配向するのに比べて、読出過程が格段に加速される。読出方向は、読出終了部から読出開始部への物理的な読出方向として配向されており、それぞれのセンサにおいて生成される電荷分布のシフト方向に対応する。

ラインセンサも、読出方向にシリアルに読み出される感光素子のフィールドを有しているが、これは１次元的である。ラインセンサには、個別の読出ステップにおいて読み出される１つの行だけしか含まれていないため、このようなラインセンサに対して読み出し方向を設定することはできない。

ラインセンサの感光素子は、行に対して垂直な方向に拡がりを有しているため、ラインセンサに結像されるプレビューストライプの像は、感光素子の幅と、ラインセンサの行の長さと、を有する。

好ましくは、プレビューストライプは、センサの読出開始部に結像されるため、これによって発生する、センサにおける電荷分布は、読出過程の開始時に読み出すことができ、その際には全読出過程を実行する必要はない。

本発明による顕微鏡の別の一実施形態では、読出開始部が、対向して配置されており、かつ実質的に互いに平行に配向されている、少なくとも２つのセンサが設けられている。２つのセンサを、特に複数の平面センサをこのように配置することの利点は、読出過程を実質的に２倍は加速できることである。複数の平面センサは、構造上は１つにまとめて構成し、特に部分的に読み出される平面センサとして構成することが可能である。同様に、読出開始部が、行の配向方向に沿って互いに接しているかもしくは対向している、３、４またはそれ以上の平面センサを設けることも可能である。

本発明による顕微鏡の別の一実施形態では、プレビューストライプは、少なくとも１つの読出開始部に結像される。このようにすることの利点は、センサを完全に読み出さなくても、プレビューストライプの像によって生成されるセンサの電荷分布を読み出すことができることである。

好ましくは、プレビューストライプは、少なくとも２つまたはそれ以上のセンサの、特に平面センサの読出開始部に対称に結像され、これにより、プレビューストライプは、これらのセンサに、特にそれらの読出開始部に結像され、プレビューストライプの輝度に対応する電荷分布が生成される。プレビューストライプの像は、少なくとも１つの読出領域を含むストライプ像に対応する。

さらに、それぞれの少なくとも２つのセンサは、別の読出モジュールを有していてよく、これにより、これらのセンサを、それらのそれぞれの読出方向に沿って互いに同時に読み出すことが可能である。

少なくとも２つのセンサは、ライン状の読出開始部を有してよく、少なくとも２つのセンサに、特に平面センサに結像されるプレビューストライプは、好ましくは、行に平行に配向されている。

プレビュー画像を形成するために個々の平面センサの１０行が読み出された上の例を用いる場合、２つの平面センサを有する、顕微鏡の実施形態において、プレビュー画像の特性を維持して、平面センサのそれぞれの読出開始部に位置するそれぞれ５行を読み出すことができ、ここでは、２つの平面センサのそれぞれ５行を並列に読み出すことにより、これに必要な時間は実質的に半分になる。

本発明による顕微鏡の別の一実施形態において、少なくとも１つのセンサは、少なくとも１つの読出領域の長手方向延在長さに沿って、かつ／またはセンサの読出方向に沿ってもしくは反対にスライド可能に配置されている。このようにすることの利点は、検査対象の試料をスライドさせることなく、観察光学系の光軸に対して垂直に配置されている観察面を光軸に沿ってスライドさせることができることである。

センサは、特に、被照面の像の結像面において、行に平行な方向に対して垂直にスライド可能であってよい。

センサの読出方向に沿ってもしくは反対にセンサをスライドさせることにより、本発明による顕微鏡、方法もしくは画像形成装置において、それぞれの被照面の像の、読み出される部分を変化させることができる。この部分は、それぞれのセンサの移動により、異なる時点に照明されるすべての被照面について同じになるため、観察面は、観察光学系の光軸に沿って単に平行にスライドされる。

さらに、少なくとも１つのセンサは、行に平行な方向に対して平行に、もしくはその読出方向に対して垂直にスライド可能に配置してもよい。このようなスライドは、観察される画像領域をスライドさせるために利用可能である。

センサ上の被照面の像のフォーカシングを再調整するため、センサの法線ベクトルに沿って少なくとも１つのセンサをスライドさせることが可能である。

本発明による顕微鏡の別の一実施形態では、少なくとも１つのセンサが、その法線ベクトルの周りに、実質的に互いに垂直に配向された少なくとも２つの回動位置に回動可能に配置されている。このようにすることの利点は、この顕微鏡により、観察光学系の光軸に対して垂直に位置する被照面を再生するプレビュー画像が形成されるか、または被照面の照明の伝搬方向と光軸とによって張られる垂直な観察面を再生することができるプレビュー画像が形成されることである。したがって、検査対象の試料の水平方向の断面図も垂直方向の断面図も共にリアルタイムに容易に生成することができる。

ラインセンサは、確かに１次元的なセンサとみなされるが、その感光素子は平面的に拡がっていることに起因して、法線ベクトルを定めることが可能な表面を有する。

本発明による顕微鏡の別の一実施形態では、画像データプロセッサが、歪み補正および／または平均化装置を含んでおり、この歪み補正および／または平均化装置により、観察光学系の光軸に対する、それぞれの被照面の傾斜角に依存して、かつ／または時間的に順次に照明される被照面間の間隔に依存して、連続する時点に画像データ読出装置によって読み出したストライプ状の、それぞれのストライプ像の読出領域が、歪み補正かつ／または平均化されて、プレビュー画像が形成される。すでに上で本発明の方法の一環として説明したように、この実施形態は、傾いたかつ／または互いに離隔されるストライプから合成されるプレビュー体積体が、変形なしに、例えば歪みなしに２次元のプレビュー画像に投影することができる、という利点を有する。

歪み補正および／または平均化装置は、適切な平均化を行う複数のサブアセンブリを含んでいてよい。これは、例えば、平均値装置または積分器によって行うことができる。

冒頭に述べた、本発明による画像形成装置は、傾いた被照面を有する顕微鏡用の付加的な構成部分もしくは付加的なアセンブリと理解することができる。画像形成装置は、例えば、傾いた被照面を有する既存の顕微鏡に付加モジュールまたはアップグレードモジュールとして組み込むことが可能である。画像形成装置は、少なくとも１つの読出領域を含むストライプ像だけを読み出し、ここでこのストライプ像は、それぞれの被照面内にありかつ被照面の照明方向に対して垂直に配向されたプレビューストライプに対応する。読み出されたストライプ像は、例えば全体が読み出されるセンサによって行われる場合よりも格段に高い速度で読み出されて供給されることが可能である。

以下では、添付の図面に示した、本発明の種々異なる実施形態に基づき、本発明を詳しく説明する。これらの実施形態の複数の技術的な特徴は、任意に組み合わせることができ、かつ／または、取り除いた技術的な特徴によって生じる技術的な効果が重要でない場合には、これらを取り除くことができる。

同じ技術的な特徴、もしくは技術的に同じ作用を有する技術的な特徴には、同じ参照符号が付されている。

斜面顕微鏡の概略図である。 ３つの被照面の詳細図である。 ３つのプレビューストライプの詳細図である。 複数の被照面の詳細図である。 複数のプレビューストライプの詳細図である。 平面センサの第１実施形態の概略平面図である。 平面センサの第２実施形態の概略平面図である。

図１には、３次元スキャン顕微鏡１として構成された顕微鏡２の、特にＳＣＡＰＥ顕微鏡３の概略図が示されている。この顕微鏡は、照明装置５と、観察光学系７と、スキャンミラー９と、ダイクロイックミラー１１と、結像光学系１３と、を有する。図示したＳＣＡＰＥ顕微鏡３は、斜面顕微鏡２ａの特別な一実施形態と理解される。

以下では、ＳＣＡＰＥ顕微鏡３に基づいて本発明を説明する。この説明は、本発明を明示的にＳＣＡＰＥ顕微鏡３に限定するものではなく、任意の形態の斜面顕微鏡２ａに関連するものであり、本発明は、単に代表的に、ＳＣＡＰＥ顕微鏡３に基づいて説明される。

照明装置５は、照明ビーム路１７に沿って進行しかつダイクロイックミラー１１で偏向される光１５を放射する。照明ビーム路１７は、ダイクロイックミラー１１からさらにスキャンミラー９に進行し、スキャンミラー９は、照明ビーム路１７の光１５を、拡大に使用される望遠鏡１９の方向に偏向する。これについて以下で説明する。

照明ビーム路１７は、観察光学系７を離れる際に収束され、観察光学系７によって焦点領域２１において集束される。照明ビーム路１７は、非近軸に望遠鏡１９に供給され、観察光学系７内でも引き続いて非近軸に進行する。これにより、結果的に、直線の形態で描画されている焦点領域２１が、観察光学系７の光軸２３に対して傾いていることになる。

図１に示したＳＣＡＰＥ顕微鏡３において、焦点領域２１は、２次元的である、すなわち、この焦点領域２１は、図平面に入り込むもしくはさらにこの図平面から突き出るように延在し、光シート２５を形成する。光シート２５は、光軸２３に対して、傾斜角２７で傾いておりかつ概略的に示した試料２９内にある。

したがって光シート２５は、照明される被照面３１を形成し、この被照面３１を起点として散乱ビームまたは蛍光ビーム３３が、フロントレンズ３５ａによって定められる、観察光学系７の瞳３５に入射する。

散乱ビームまたは蛍光ビーム３３は、観察光学系７を通過して、望遠鏡１９内に第１中間画像３７を形成し、第１中間画像３７は、望遠鏡１９および別のレンズ４１により、別のレンズ４１の背後で第２中間画像３９として結像される。

第１中間画像３７も第２中間画像３９も共に、結像光学系のそれぞれの光軸に対して傾いている。

図１にさらに示されているのは、結像光学系１３が、別のレンズ４１（別のレンズ４１は、観察光学系７の光学素子とみなすことができる）の光軸２３に対して傾いており、これにより、結像光学系１３が、被照面３１の第２中間画像３９を、結像光学系１３の光軸２３に対して垂直に配向されている焦平面４３に集束させることである。

焦平面４３では、被照面３１が、少なくとも１つのラインセンサ４４（図示せず）または平面センサ４５に平坦に結像される。平面センサ４５は、例えば、２次元ＣＣＤセンサまたはＣＭＯＳセンサである。したがって平面センサ４５上には、被照面３１の像４６が存在する。

図１にはさらに、概略的に示した画像データ読出装置４７と、画像データプロセッサ４９と、が示されており、画像データプロセッサ４９は、画像データ読出装置４７に接続されており、歪み補正および／または平均化装置５１を含み、インタフェース５０を提供する。

画像データ読出装置４７は、さらに出力部５３を有しており、図１に示した実施形態では、画像形成装置５５を成している。

図１にさらに示されているのは、スキャンミラー９を傾斜方向５７に沿って傾けることができ、これにより、照明ビーム路が、観察光学系７においてスライド方向５９に沿ってスライドされることである。スキャンミラーを傾けることにより、被照面３１もスライド方向５９に沿ってスライドする。

斜面顕微鏡２ａの、例えばオブリークプレーン顕微鏡の図示しない実施形態では、スライドテーブルのようなスライド部材（両方とも図示せず）を用いて試料内で被照面３１をスライドさせることができる。

被照面３１のスライドは、ＳＣＡＰＥ顕微鏡３において、結果的に、望遠鏡１９内に形成される、被照面３１の第１中間画像３７も同様にスライド方向５９に沿ってスライドさせることになる。散乱ビームまたは蛍光ビーム３３の結像ビーム路６１も同様に、傾いたスキャンミラー９に当たるため、結像ビーム路６１のオフセットもスキャンミラー９によって再度補償され、これにより、結像ビーム路６１ａは、静止しており、スキャンミラー９の移動の影響を受けない。したがって、試料２９において種々異なる位置を取り得る被照面３１は、静止している結像ビーム路６１ａにより、静止して、すなわち平面センサ４５上の焦平面４３においてつねに同じ位置において結像される。

オブリークプレーン顕微鏡として構成された斜面顕微鏡２ａでは、第１中間画像３７は、静止している。

図１にさらに示されているのは、説明のために、異なる３つの座標系が使用されていることである。試料座標系６３は、試料座標ｚおよびｘを有しており、試料座標ｚは、観察光学系７の光軸２３に対して平行に延在している。

さらに、照明座標ｘ’およびｚ’を有する照明座標系６５が示されている。センサ座標系６７は、センサ座標ｚ’’だけで示されている。

すべての座標系６３、６５、６７は、別の座標系に移行する際に変換する必要のないｙ座標を共通に有する。

照明座標系ｚ’に沿って照明方向１０１が延在しており、照明方向１０１に沿って被照面３１が照明される。

図１ではＳＣＡＰＥ顕微鏡３が、時点ｔ_１において示されており、すなわち、静止している図において、画像情報だけが、書き込まれた被照面３１から平面センサ４５上に結像され、画像データプロセッサ４９により、表示装置６９を用いてプレビュー画像７１として表示可能である。

しかしながら図示したプレビュー画像７１は、図示した被照面３１と一致する観察面７３に対応する。観察面７３は、光軸２３に対して傾斜角２７で傾いており、この傾斜により、ユーザが、試料２９において配向するのを困難にしている。

図２には、観察光学系７の瞳３５およびフロントレンズ３５ａだけが示された、ＳＣＡＰＥ顕微鏡３の詳細が示されている。

さらに図２には、時点ｔ_１、ｔ_２およびｔ_３に照明される被照面３１ａ、３１ｂ、３１ｃが示されている。光シート２５ａ～２５ｃは、被照面３１ａ～３１ｃに対応し、互いに所定の間隔７５を有しており、実質的に互いに平行に配向されている。すなわち、図示した複数の被照面３１は、それぞれ、光軸２３に対して傾斜角２７で傾いている。

図２にはさらに、光軸２３に対して垂直に配向されており、かつ試料２９におけるユーザの容易な配向を可能にする観察面７３ａが示されている。この好ましい観察面７３ａは、試料座標ｘおよびｙ座標によって張られる。観察面７３ａは、この上に垂直に立ちかつ光軸２３に対して平行に配向されている法線ベクトル７４を有する。

図３には、図２と同じ状況が図示されており、ここでは時点ｔ_１、ｔ_２およびｔ_３に照明されるプレビューストライプ７７ａ、７７ｂ、７７ｃだけが示されている。

図３に示されているプレビューストライプ７７ａ～７７ｃは、それぞれの被照面３１のストライプ８０ａとして、もしくはストライプ状の部分７９ａとして理解され、このことは、この被照面３１ｃおよびこのプレビューストライプ７７ｃだけの斜視図を有するプレビューストライプ７７ｃの例で示されている。この斜視図を説明するため、被照面３１ｃのための照明座標系６５が書き込まれている。

図３に示した状況については、図６についての説明において再度述べる。

図４には、連続した時点ｔ_１～ｔ_１６に照明される複数の被照面３１が示されている。被照面３１は、照明座標ｚ’およびｙ座標に沿って延在している。同様に、試料座標ｘおよびｙ座標に沿って延在する観察面７３ａが書き込まれている。

図示した観察面７３ａは、ユーザにとって、取り扱いが最も簡単な観察面を表している。というのは、観察面７３ａは、観察光学系７の光軸２３に対して垂直に配向されているからである。

したがって観察面７３ａ内にあるプレビュー画像７１を形成するために必要であるのは、複数の被照面３１から輝度分布８１の形態の画像情報を合成することであり、その際には観察面７３ａの近傍の輝度分布８１だけが使用される。このような状況は、複数のプレビューストライプ７７が示されている図５に描画されており、これらのプレビューストライプ７７は、それぞれ、観察面７３ａによって対称に切断されている。

したがって試料座標ｚに沿った複数のプレビューストライプ７７の個々の輝度分布８１の平均化８３により、プレビュー画像７１を形成することができる。

図５において単に例示的に、プレビュー画像７１の形成が示されている。これは、試料２９の光路において行われるのではなく、画像データプロセッサ４９において、プレビューストライプ７７の相互の間隔７５と、プレビューストライプ７７の傾斜角２７と、を考慮して行われる（図１を参照されたい）。

図６には、平面センサ４５の第１実施形態が平面図で示されている。平面センサ４５は、行８５および列８７を構成する複数の感光素子８９を含み、一部の行が読み出される平面センサ４５ａである。

行８５は、ｙ座標に沿って配向されているのに対し、列８７は、センサ座標ｚ’’に沿って配向されている。

図示した平面センサ４５は、読出方向９５を定める読出開始部９１および読出終了部９３を有する。これにより、１つの読出過程において、感光素子８９ａが、この読出過程の開始時に読み出されるのに対し、感光素子８９ｂが、この読出過程の終了時に読み出されることになる。

図示した平面センサ４５は、部分的に読み出される平面センサ４５ａであるため、１つの読出ステップにおいて、それぞれ１つの読出領域８０が読み出され、これにより、感光素子８９ｃは、感光素子８９ａと同時に読み出される。図６に示した平面センサ４５の実施形態の読出領域８０は、１つの行８５を含み、長手方向延在長さ１０２で延在している。

平面センサ４５の別の実施形態では、読出領域８０は、その全長に沿ったもしくは部分的な複数の行を含んでいてよい。複数の感光素子８９は、入射光によって荷電粒子分布９８が生成されるフィールド９７を形成する。この荷電粒子分布９８は、読出方向９５に沿って読み出す際に読出開始部９１にシフトされる。したがって読出方向９５は、荷電粒子分布９８のシフトの物理的な読出方向と理解することができる。

読出過程を観察すると、このようなシリアルの、すなわち、行８５ａで開始され、行８５ｂおよび行８５ｃが続く順次の読出過程では、それぞれ１つの読出領域８０が、すなわち、行全体８５が、部分的に読み出される平面センサ４５ａから読み出される。行８５ｃを読み出した後にこの読出過程が停止すると、行８５ａ～８５ｃは、ストライプ像７９を定め、すなわち、それぞれの被照面３１のプレビューストライプ７７の像４６を定める（図示せず）。図６に示したストライプ像７９は、３つの読出領域８０を含んでいる。

したがって平面センサ４５上のストライプ像７９は、対応する被照面３１のストライプ状の部分７９ａに対応する。被照面３１におけるこれらのストライプ状の部分７９ａは、図３および図５において、プレビューストライプ７７、７７ａ、７７ｂ、７７ｃとして描画されており、またこのように称されている。ここで再度、言及したいのは、被照面３１におけるストライプ状の部分７９ａの選択は、所定数の被照面８０を含む、平面センサ４５のストライプ像７９を読み出すことによって、すなわち、平面センサ４５によって行われ、対応する被照面３１の照明を限定することによって行われないことである。

図６に示されたストライプ像７９は、例えば、時点ｔ_３に撮影され、したがって、ストライプ状の部分７９の像、すなわち図３のプレビューストライプ７７ｃに対応する。

図７には、部分的に読み出される２つの平面センサ４５ａを含む、平面センサ４５の第２実施形態が示されている。

部分的に読み出される２つの平面センサ４５ａは、読出終了部９３および読出開始部９１を有しており、読出開始部９１は、隣り合ってかつ互いに平行に配置されている。したがって部分的に読み出される２つの平面センサ４５ａの２つの読出方向９５は、隣り合って配置されている２つの読出開始部９１の方を向いて逆向きになっている。

理想的にはプレビューストライプ７７の像４６は、プレビューストライプ７７が、部分的に読み出される２つの平面センサ４５ａに対称に結像されかつ部分的に読み出されるそれぞれの平面センサ４５ａのライン状の読出開始部９１に沿って配向されるように、図７に示した平面センサ４５に結像される。このようなストライプ像７９は、図７に書き込まれており、ストライプ像７９は、第１半分部分７９ａおよび第２半分部分７９ｂを有しており、これらの部分は、読出過程の際に、部分的に読み出されるそれぞれの平面センサ４５ａによって同時に読み出される。

図７に示した実施形態では、ストライプ像７９の第１半分部分７９ａも第２半分部分７９ｂも共にそれぞれ２つの読出領域８０を有しており、これにより、図示したストライプ像７９を読み出すために２つの読出ステップが必要である。

同時の読み出しに起因して、図７の平面センサ４５の第２実施形態により、ストライプ像７９は、図６の平面センサ４５の第１実施形態の同じストライプ像７９の約２倍の速さで読み出される。

さらに図７の平面センサ４５の第２実施形態は、平面センサ４５により、光軸２３の方向にセンタリングされて試料２９内に位置する観察面７３ａを再生するプレビュー画像７１を形成することができるという重要な利点を有する。したがって平面センサ４５の第２実施形態の移動９９により、光軸２３に沿ってスライドさせることができるプレビュー画像７１を用いて、フルの解像度で３次元顕微鏡画像を撮影するための正しい領域を設定することができる。図６の平面センサ４５の第１実施形態により、試料２９において、プレビュー画像７１を用いることによって配向を行うこともできるが、３次元の顕微鏡視される領域は、フルの解像度で撮影される際には、試料２９もしくはラインセンサ４４または平面センサ４５が対応して新たに位置決めされない限り、観察面７３ａの上側だけに位置することになる。

Claims (15)

1. 傾いた被照面（３１）を有する顕微鏡（２）を用いてプレビュー画像（７１）を形成する方法であって、
   連続する時点（ｔ_１～ｔ_ｘ）に、観察光学系（７）の光軸（２３）に対して傾いておりかつ互いに離隔された種々異なる被照面（３１）を照明し、ライン状に配置された複数の感光素子（８９）を有するセンサ（４４、４５、４５ａ）に結像し、
   前記センサ（４４、４５、４５ａ）の長手方向延在長さ（１０２）で行に平行に配向されておりかつ１つの読出ステップにおいて読み出し可能な、前記センサ（４４、４５、４５ａ）の、ストライプ状のそれぞれ少なくとも１つの読出領域（８０）を読み出し、
   順次に読み出される読出領域（８０）から、前記観察光学系（７）の前記光軸（２３）に対して垂直に配置されている観察面（７３ａ）を再生し、
   連続する時点（ｔ _１ ～ｔ _ｘ ）に生成されるそれぞれの前記被照面（３１）のプレビューストライプ（７７）をストライプ像（７９）として前記センサ（４４、４５、４５ａ）に結像し、前記ストライプ像（７９）は、１つの読出ステップにおいて読み出し可能な読出領域（８０）を複数含む、
   方法。
2. 前記顕微鏡（２）は、斜面顕微鏡（２ａ）である、
   請求項１記載の方法。
3. 少なくとも１つの前記読出領域（８０）を、それぞれ、読出過程の開始時に前記センサ（４４、４５、４５ａ）から読み出す、
   請求項１または２記載の方法。
4. それぞれの前記被照面（３１）のプレビューストライプ（７７）を、前記センサ（４４、４５、４５ａ）の読出開始部（９１）に結像する、
   請求項１から３までのいずれか１項記載の方法。
5. 少なくとも１つの前記読出領域（８０）は、別々に読み出し可能な少なくも２つのセンサ（４４、４５、４５ａ）にわたって延在している、
   請求項１から４までのいずれか１項記載の方法。
6. それぞれのストライプ像（７９）の順次に読み出される前記読出領域（８０）を、前記観察光学系（７）の前記光軸（２３）に対するそれぞれの前記被照面（３１）の傾斜角（２７）に依存し、かつ／または、異なる時点（ｔ_１～ｔ_ｘ）に照明される前記被照面（３１）間の間隔（７５）に依存して、歪み補正しかつ／または平均化し、これにより、前記プレビュー画像（７１）を形成する、
   請求項１から５までのいずれか１項記載の方法。
7. 前記センサ（４４、４５、４５ａ）に対する前記被照面（３１）の像（４６）の位置を変化させるために、前記センサ（４４、４５、４５ａ）をスライドさせる、
   請求項１から６までのいずれか１項記載の方法。
8. 傾いた被照面（３１）を有する顕微鏡（２）であって、
   連続する時点（ｔ_１～ｔ_ｘ）に、観察光学系（７）の光軸（２３）に対して傾いておりかつ互いに離隔された種々異なる被照面（３１）が設けられており、前記被照面（３１）が、ライン状に配置された複数の感光素子（８９）を含む、前記顕微鏡（２）のセンサ（４４、４５、４５ａ）に結像されており、
   前記顕微鏡（２）は、前記観察光学系（７）の前記光軸（２３）に対して垂直に配置されている観察面（７３ａ）を再生するプレビュー画像（７１）を出力するインタフェース（５０）を備えた画像データプロセッサ（４９）を有しており、
   前記センサ（４４、４５、４５ａ）は、前記センサ（４４、４５、４５ａ）の長手方向延在長さで行に平行でありかつストライプ状の少なくとも１つの読出領域（８０）を含み、
   前記プレビュー画像（７１）は、順次に照明される前記被照面（３１）の像（４６）の、順次に読み出されるストライプ状の複数の読出領域（８０）から合成され、
   連続する時点（ｔ _１ ～ｔ _ｘ ）に生成されるそれぞれの前記被照面（３１）のプレビューストライプ（７７）は、ストライプ像（７９）として前記センサ（４４、４５、４５ａ）に結像され、前記ストライプ像（７９）は、１つの読出ステップにおいて読み出し可能な読出領域（８０）を複数含む、
   顕微鏡（２）。
9. 前記センサ（４５、４５ａ）は、読出方向（９５）にシリアルに読み出される少なくとも２つの前記読出領域（８０）を形成する、複数の感光素子（８９）の少なくとも１つのフィールド（９７）を有し、少なくとも１つの前記読出領域（８０）は、前記センサ（４５ａ）の読出開始部（９１）に位置し、
   プレビューストライプ（７７）の前記像（４６）は、前記読出方向（９５）に対して垂直に配向されている、
   請求項８記載の顕微鏡（２）。
10. 少なくとも２つのセンサ（４４、４５、４５ａ）が設けられており、前記少なくとも２つのセンサ（４４、４５、４５ａ）の読出開始部（９１）は、対向して配置されており、かつ、実質的に互いに平行に配向されている、
    請求項９記載の顕微鏡（２）。
11. 前記プレビューストライプ（７７）は、少なくとも１つの読出開始部（９１）に結像される、
    請求項９または１０記載の顕微鏡（２）。
12. 少なくとも１つの前記センサ（４４、４５、４５ａ）は、少なくとも１つの前記読出領域（８０）の長手方向延在長さ（１０２）に沿って、かつ／または、前記センサ（４４、４５、４５ａ）の読出方向（９５）に沿ってもしくは反対にスライド可能に配置されている、
    請求項８から１１までのいずれか１項記載の顕微鏡（２）。
13. 少なくとも１つの前記センサ（４４、４５、４５ａ）は、前記センサ（４４、４５、４５ａ）の法線ベクトル（７４）の周りに、実質的に互いに垂直に配向された少なくとも２つの回動位置に回動可能に配置されている、
    請求項８から１２までのいずれか１項記載の顕微鏡（２）。
14. 前記画像データプロセッサ（４９）は、歪み補正および／または平均化装置（５１）を含んでおり、
    前記歪み補正および／または平均化装置（５１）により、前記観察光学系（７）の前記光軸（２３）に対する、それぞれ前記被照面（３１）の傾斜角（２７）に依存してかつ／または時間的に順次に照明される被照面（３１）間の間隔（７５）に依存して、連続する時点（ｔ_１～ｔ_ｘ）に画像データ読出装置（４７）によって前記センサ（４４、４５、４５ａ）から読み出したストライプ状の、それぞれのストライプ像（７９）の読出領域（８０）が、歪み補正かつ／または平均化されて、前記プレビュー画像（７１）が形成される、
    請求項８から１３までのいずれか１項記載の顕微鏡（２）。
15. 時間的に順次に、観察光学系（７）の光軸（２３）に対して斜めに延在しかつ互いに離隔された複数の被照面（３１）を形成してセンサ（４４、４５、４５ａ）に結像する、傾いた被照面（３１）を有する顕微鏡（２）用の画像形成装置（５５）であって、
    ライン状に配置された複数の感光素子（８９）を含むセンサ（４４、４５、４５ａ）と、
    前記センサ（４４、４５、４５ａ）の長手方向延在長さに沿って行に平行に配向されて読み出される、それぞれの前記被照面（３１）の像（４６）の、ストライプ状の少なくとも１つの読出領域（８０）を供給する出力部（５３）を備えた画像データ読出装置（４７）と、
    読み出した前記読出領域（８０）から、前記観察光学系（７）の前記光軸（２３）に対して垂直に配置された観察面（７３ａ）を再生するプレビュー画像（７１）を形成する画像データプロセッサ（４９）と、
    を有し、
    連続する時点（ｔ _１ ～ｔ _ｘ ）に生成されるそれぞれの前記被照面（３１）のプレビューストライプ（７７）は、ストライプ像（７９）として前記センサ（４４、４５、４５ａ）に結像され、前記ストライプ像（７９）は、１つの読出ステップにおいて読み出し可能な読出領域（８０）を複数含む、
    画像形成装置（５５）。

Images