JP7007227B2 - 試料観察装置及び試料観察方法 - Google Patents
試料観察装置及び試料観察方法 Download PDFInfo
- Publication number
- JP7007227B2 JP7007227B2 JP2018074868A JP2018074868A JP7007227B2 JP 7007227 B2 JP7007227 B2 JP 7007227B2 JP 2018074868 A JP2018074868 A JP 2018074868A JP 2018074868 A JP2018074868 A JP 2018074868A JP 7007227 B2 JP7007227 B2 JP 7007227B2
- Authority
- JP
- Japan
- Prior art keywords
- sample
- observation
- image
- scanning
- optical system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0072—Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
Landscapes
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- General Engineering & Computer Science (AREA)
- Microscoopes, Condenser (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Description
本発明は、試料観察装置及び試料観察方法に関する。
細胞などの3次元立体構造を持つ試料の内部を観察する手法の一つとして、SPIM(Selective Plane Illumination Microscopy)が知られている。例えば特許文献1に記載の断層像観察装置は、SPIMの基本的な原理を開示したものであり、面状光を試料に照射し、試料の内部で発生した蛍光又は散乱光を結像面に結像させて試料内部の観察画像データを取得する。
面状光を用いた他の試料観察装置としては、例えば特許文献2に記載のSPIM顕微鏡が挙げられる。この従来のSPIM顕微鏡では、試料の配置面に対して一定の傾斜角をもって面状光を照射し、面状光の照射面に対して直交する観察軸を有する観察光学系によって試料からの観察光を撮像する。
しかしながら、上述した特許文献2のように、照射光学系と観察光学系とをそれぞれ試料の配置面に対して傾斜させつつ、照射光学系と観察光学系とを直交に維持する構成では、観察画像データの構成にあたって、得られた画像データを実空間上の3次元データに変換することが難しいという問題があった。
本発明は、上記課題の解決のためになされたものであり、得られた画像データを実空間上の3次元データに容易に変換できる試料観察装置及び試料観察方法を提供することを目的とする。
本発明の一側面に係る試料観察装置は、試料に面状光を照射する照射光学系と、面状光の照射面を通過するように試料を走査面内の一方向に走査する走査部と、面状光の照射によって試料で発生した観察光を結像する結像光学系と、二次元に配列された複数の画素を有し、結像光学系によって結像された観察光の光像に対応する画像データを複数取得する画像取得部と、画像取得部によって取得された複数の画像データに基づいて試料の観察画像データを生成する画像生成部と、を備え、照射光学系の光軸と走査面の法線とがなす角度をθ1とし、結像光学系の光軸と走査面の法線とがなす角度をθ2とした場合に、θ1及びθ2がいずれも80°以下であり、かつθ1及びθ2の和が100°以上であり、画像取得部において、第n画素の画像取得領域に対し、第(n+1)画素の画像取得領域が1フレームの露光時間における試料の走査量に応じて試料の走査方向にずれている。
この試料観察装置では、試料の走査面に対して結像光学系の光軸が傾斜している。このため、画像取得部では、面状光の光軸方向における断層面の画像データを順次取得することができ、高いスループットで画像データを得ることが可能となる。また、画像取得部では、隣り合う画素での画像取得領域が1フレームの露光時間における試料の走査量に応じてずれている。したがって、各画像データの位置関係の補正が簡単なものとなり、観察画像データの構成にあたって、各画像データを実空間上の3次元データに容易に変換することが可能となる。
試料観察装置では、θ1及びθ2がいずれも70°以下であり、かつθ1及びθ2の和が110°以上であってもよい。この範囲では、デフォーカスの影響を一層好適に低減することができる。
試料観察装置は、面状光の入力面及び観察光の出力面となる面を走査面として有する試料容器を更に備えていてもよい。このような試料容器を用いることにより、複数の試料を安定して走査することが可能となる。
試料観察装置は、観察画像データを解析し、解析結果を生成する解析部を更に備えていてもよい。この場合、画像生成部によって生成された観察画像データを解析部で解析するため、解析のスループットも向上させることができる。
また、本発明の一側面に係る試料観察方法は、照射光学系を用いて試料に面状光を照射する照射ステップと、面状光の照射面を通過するように試料を走査面内の一方向に走査する走査ステップと、結像光学系を用いて面状光の照射によって試料で発生した観察光を結像する結像ステップと、二次元に配列された複数の画素を有するイメージセンサを用いて、結像ステップによって結像された観察光の光像に対応する画像データを複数取得する画像取得ステップと、複数の画像データに基づいて試料の観察画像データを生成する画像生成ステップと、を備え、照射光学系の光軸と走査面の法線とがなす角度をθ1とし、結像光学系の光軸と走査面の法線とがなす角度をθ2とした場合に、θ1及びθ2をいずれも80°以下とし、かつθ1及びθ2の和を100°以上とし、画像取得ステップにおいて、第n画素の画像取得領域に対し、第(n+1)画素の画像取得領域を1フレームの露光時間における試料の走査量に応じて試料の走査方向にずらす。
この試料観察方法では、試料の走査面に対して結像光学系の光軸を傾斜させる。このため、画像取得ステップでは、面状光の光軸方向における断層面の画像データを順次取得することができ、高いスループットで画像データを得ることが可能となる。また、画像取得ステップでは、隣り合う画素での画像取得領域が1フレームの露光時間における試料の走査量に応じてずらす。したがって、各画像データの位置関係の補正が簡単なものとなり、観察画像データの構成にあたって、各画像データを実空間上の3次元データに容易に変換することが可能となる。
この試料観察装置及び試料観察方法によれば、得られた画像データを実空間上の3次元データに容易に変換できる。
以下、図面を参照しながら、本発明の一側面に係る試料観察装置の好適な実施形態について詳細に説明する。
図1は、試料観察装置の一実施形態を示す概略構成図である。この試料観察装置1は、面状光L2を試料Sに照射し、試料Sの内部で発生した観察光(例えば蛍光又は散乱光など)を結像面に結像させて試料S内部の観察画像データを取得する装置である。この種の試料観察装置1としては、スライドガラスに保持される試料Sの画像を取得し表示するスライドスキャナ、あるいはマイクロプレートに保持される試料Sの画像データを取得し、画像データを解析するプレートリーダなどがある。試料観察装置1は、図1に示すように、光源2と、照射光学系3と、走査部4と、結像光学系5と、画像取得部6と、コンピュータ7とを備えて構成されている。
観察対象となる試料Sとしては、例えばヒト或いは動物の細胞、組織、臓器、動物或いは植物自体、植物の細胞、組織などが挙げられる。試料Sは、溶液、ゲル、或いは試料Sとは屈折率の異なる物質に含まれていてもよい。
光源2は、試料Sに照射される光L1を出力する光源である。光源2としては、例えばレーザダイオード、固体レーザ光源といったレーザ光源が挙げられる。また、光源2は、発光ダイオード、スーパールミネッセントダイオード、ランプ系光源であってもよい。光源2から出力された光L1は、照射光学系3に導光される。
照射光学系3は、光源2から出力された光L1を面状光L2に整形し、整形された面状光L2を光軸P1に沿って試料Sに照射する光学系である。本実施形態では、照射光学系3の光軸P1は、面状光L2の光軸と一致している。照射光学系3は、例えばシリンドリカルレンズ、アキシコンレンズ、或いは空間光変調器などの光整形素子を含んで構成され、光源2に対して光学的に結合されている。照射光学系3は、対物レンズを含んで構成されていてもよい。照射光学系3によって形成された面状光L2は、試料Sに照射される。面状光L2が照射された試料Sでは、面状光L2の照射面Rにおいて観察光L3が発生する。観察光L3は、例えば面状光L2によって励起された蛍光、面状光L2の散乱光、或いは面状光L2の拡散反射光である。
試料Sの厚さ方向に観察を行う場合、分解能を考慮して、面状光L2は、厚さ2mm以下の薄い面状光であることが好ましい。また、試料Sの厚さが非常に小さい場合、すなわち、後述するZ軸方向の解像度以下の厚さの試料Sを観察する場合には、面状光L2の厚さは分解能に影響しない。したがって、この場合には厚さ2mmを超える面状光L2を用いてもよい。
走査部4は、面状光L2の照射面Rに対して試料Sを走査する機構である。本実施形態では、走査部4は、試料Sを保持する試料容器11を移動させる移動ステージ12によって構成されている。試料容器11は、例えばマイクロプレート、スライドガラス、シャーレ等であり、面状光L2及び観察光L3に対して透明性を有している。本実施形態では、マイクロプレートを例示する。試料容器11は、図2に示すように、試料Sが配置される複数のウェル13が一直線状(或いはマトリクス状)に配列された板状の本体部14と、本体部14の一面側においてウェル13の一端側を塞ぐように設けられた板状の透明部材15とを有している。
ウェル13内への試料Sの配置にあたっては、ウェル13内が水などの媒体で充填されていてもよい。透明部材15は、ウェル13内に配置された試料Sに対する面状光L2の入力面、及び面状光L2の照射によって試料Sで発生した観察光L3の出力面となる底面15aを有している。この底面15aは、試料Sが走査部4で走査される際の走査面Kを構成している。本実施形態では、走査面Kの法線P3に対し、照射光学系3の光軸P1が角度θ1をもって傾斜している。透明部材15の材質は、面状光L2に対する透明性を有する部材であれば特に限定はされないが、例えばガラス、石英、或いは合成樹脂である。なお、ウェル13の他端側は、外部に開放された状態となっている。試料容器11は、移動ステージ12に対して固定されていてもよい。
移動ステージ12は、図1に示すように、コンピュータ7からの制御信号に従い、予め設定された方向に試料容器11を走査する。移動ステージ12は、照射光学系3の光軸P1と交差する平面内の一方向に試料容器11を走査する。以下の説明では、移動ステージ12による試料Sの走査方向をY軸、透明部材15上の試料Sの幅方向をX軸、透明部材15上の試料Sの深さ方向をZ軸と称する。また、照射光学系3の光軸P1に沿う方向をZ’軸と称する。X軸は、照射光学系3の光軸P1と直交する平面内においてY軸に直交する軸である。Z軸は、走査面Kの法線P3方向と一致する軸である。試料Sに対する面状光L2の照射面Rは、XZ’平面内の面となる。
結像光学系5は、面状光L2の照射によって試料Sで発生した観察光L3を結像する光学系である。結像光学系5は、図2に示すように、例えば対物レンズ16及び結像レンズ等を含んで構成されている。結像光学系5の光軸P2は、観察光L3の観察軸となっている。本実施形態では、走査面Kの法線P3に対し、結像光学系5の光軸P2が角度θ2をもって傾斜している。
画像取得部6は、図1に示すように、結像光学系5によって結像された観察光L3による光像に対応する画像データを複数取得する。画像取得部6は、例えば観察光L3による光像を撮像する撮像装置を含んで構成されている。撮像装置としては、例えばCMOSイメージセンサ、CCDイメージセンサといったエリアイメージセンサが挙げられる。これらのエリアイメージセンサは、結像光学系5による結像面に配置され、例えばグローバルシャッタ或いはローリングシャッタによって光像を撮像し、二次元画像のデータをコンピュータ7に出力する。
コンピュータ7は、物理的には、RAM、ROM等のメモリ、及びCPU等のプロセッサ(演算回路)、通信インターフェイス、ハードディスク等の格納部、ディスプレイ等の表示部を備えて構成されている。かかるコンピュータ7としては、例えばパーソナルコンピュータ、クラウドサーバ、スマートデバイス(スマートフォン、タブレット端末など)などが挙げられる。コンピュータ7は、メモリに格納されるプログラムをコンピュータシステムのCPUで実行することにより、光源2及び移動ステージ12の動作を制御するコントローラ、試料Sの観察画像データを生成する画像生成部8、及び観察画像データを解析する解析部10として機能する。
コントローラとしてのコンピュータ7は、ユーザによる測定開始の操作の入力を受け、光源2、移動ステージ12、及び画像取得部6を同期させて駆動する。この場合、コンピュータ7は、移動ステージ12による試料Sの移動中、光源2が光L1を連続的に出力するように光源2を制御してもよく、画像取得部6による撮像に合わせて光源2による光L1の出力のON/OFFを制御してもよい。また、照射光学系3が光シャッタ(不図示)を備えている場合、コンピュータ7は、当該光シャッタの制御によって試料Sへの面状光L2の照射をON/OFFさせてもよい。
また、画像生成部8としてのコンピュータ7は、画像取得部6によって生成された複数の画像データに基づいて試料Sの観察画像データを生成する。画像生成部8は、例えば画像取得部6から出力された複数の画像データに基づいて試料Sの3次元データを構成し、観察画像データを生成する。画像生成部8は、ユーザによる所定の操作に従って、生成した観察画像データの格納、モニタ等への表示等を実行する。
図1及び図2に示したように、試料Sに対する面状光の照射面Rは、XZ’平面内の面であり、試料Sに対して照射面RがY軸方向に走査される。したがって、図3(a)に示すように、画像生成部8には、試料SのXZ’断面に相当する画像データ31がY軸方向に複数取得されることにより、試料Sの3次元情報が蓄積される。画像生成部8では、これらの画像データ31を用いてデータが再構成され、例えば図3(b)に示すように、試料SにおけるZ軸方向の任意の位置において任意の厚さを持ったXY断面画像が、バックグラウンドを抑えた観察画像データ32として生成される。なお、画像生成部8は、画像データ31を用いてデータの再構成を行うにあたり、XYZの3次元画像データを観察画像データ32として生成してもよい。
解析部10としてのコンピュータ7は、画像生成部8によって生成された観察画像データ32に基づいて解析を実行し、解析結果を生成する。解析部10は、ユーザによる所定の操作に従って、生成した解析結果の格納、モニタ等への表示等を実行する。なお、画像生成部8によって生成された観察画像データ32のモニタ等への表示は行わず、解析部10によって生成された解析結果のみをモニタ等に表示してもよい。
図4は、試料観察装置1を用いた試料観察方法の一例を示すフローチャートである。同図に示すように、この試料観察方法は、照射ステップ(ステップS01)、走査ステップ(ステップS02)、結像ステップ(ステップS03)、画像取得ステップ(ステップS04)、画像生成ステップ(ステップS05)、及び解析ステップ(ステップS06)を備えている。
照射ステップS01では、試料Sに面状光L2を照射する。ユーザによって測定開始の操作が入力されると、コンピュータ7からの制御信号に基づいて光源2が駆動し、光源2から光L1が出力される。光源2から出力された光L1は、照射光学系3によって整形されて面状光L2となり、試料Sに照射される。
走査ステップS02では、面状光L2の照射面Rに対して試料Sを走査する。ユーザによって測定開始の操作が入力されると、コンピュータ7からの制御信号に基づいて、光源2の駆動と同期して移動ステージ12が駆動する。これにより、試料容器11がY軸方向に一定の速度で直線的に駆動し、面状光L2の照射面Rに対してウェル13内の試料Sが走査される。
結像ステップS03では、照射面Rに対して傾斜する観察軸P2を有する結像光学系5を用い、面状光L2の照射によって試料Sで発生した観察光L3を画像取得部6の結像面に対して結像する。画像取得ステップS04では、結像光学系5によって結像された観察光L3による光像に対応する画像データを複数取得する。画像データは、画像取得部6から画像生成部8に順次出力される。
画像生成ステップS05では、複数の画像データに基づいて試料Sの観察画像データを生成する。本実施形態では、図1及び図2に示したように、照射光学系3の光軸は、走査面Kの法線に対して角度θ1だけ傾いており、試料Sに対して照射面RがY軸方向に走査される。したがって、画像生成部8には、図3(a)に示したように、画像データ31をY軸方向に複数取得することによって、試料Sの3次元情報が蓄積される。画像生成部8では、複数の画像データ31を用いてデータが再構成され、例えば図3(b)に示すように、試料SにおけるZ軸方向の任意の位置において任意の厚さを持ったXY画像データ或いはXYZの3次元画像データが試料Sの観察画像データ32として生成される。
解析ステップS06では、解析部10によって観察画像データ32を解析し、解析結果を生成する。例えば創薬スクリーニングでは、試料容器11に試料S及び試薬を入れ、観察画像データ32を取得する。そして、解析部10は、観察画像データ32に基づいて試薬を評価し、評価データを解析結果として生成する。
次に、上述した試料観察装置1の光学系の構成及び観察画像データ32の生成について、更に詳細に説明する。
試料観察装置1では、図2に示したように、走査面Kの法線P3に対し、照射光学系3の光軸P1が角度θ1をもって傾斜しており、結像光学系5の光軸P2が角度θ2をもって傾斜している。試料観察装置1では、1)θ1及びθ2がいずれも80°以下となっており、かつθ1及びθ2の和が100°以上となっている。また、2)θ1及びθ2がいずれも70°以下となっており、かつθ1及びθ2の和が110°以上となっていてもよい。1)及び2)を満たす範囲を図5に示す。同図では、1)を満たす範囲が領域Aで示され、2)を満たす範囲が領域Bで示されている。
θ1及びθ2の上限値は、例えば試料容器11の透明部材15に対する面状光L2及び観察光L3の透過率に基づいて決定されている。図6は、傾斜角度と透過率との関係を示す図である。同図では、横軸を傾斜角度θとし、縦軸を透過率としている。この図6では、試料容器11における試料Sの具体的な保持状態を考慮し、媒質Aの屈折率n1を1(空気)、媒質Bの屈折率n2を1.53(ガラス)、媒質Cの屈折率n3を1.33(水)としている。また、試料容器11の透明部材15に対する面状光L2及び観察光L3の透過率の値を、媒質B,Cの界面及び媒質A,Bの界面の透過率の積により算出している。図6には、P波の透過率、S波の透過率、及びこれらの平均値の角度依存性がプロットされている。
図6に示す結果から、傾斜角度θを変化させることで、試料容器11での面状光L2及び観察光L3の透過率が可変となることが分かる。傾斜角度θが80°以下の範囲では、少なくとも50%以上の透過率が得られることが分かる。また、傾斜角度θが70°以下の範囲では、少なくとも60%以上の透過率が得られることが分かる。したがって、上記θ1及びθ2の上限値を80°以下、好ましくは70°以下とすることが好適である。
また、図7は、画像取得部6での画像取得の様子を示す概略図である。同図の例では、画像取得部6における第n画素、第(n+1)画素、第(n+2)画素の3つの画素が、第mフレーム、第(m+1)フレーム、第(m+2)フレームの3つの期間にわたって撮像する様子を示している。各画素は、走査部4によってY軸方向に走査される試料SのXZ’断面の一部の光像を各フレームにおいて順次撮像する。
画像取得部6では、図7のハッチング表記部分に示すように、第mフレームにおいて、第n画素の画像取得領域Fn,mに対し、第(n+1)画素の画像取得領域Fn+1,mが1フレームの露光時間における試料Sの走査量Vに応じて試料Sの走査方向(Y軸方向)にずれている。同様に、第mフレームにおいて、第(n+1)画素の画像取得領域Fn+1,mに対し、第(n+2)画素の画像取得領域Fn+2,mが1フレームの露光時間における試料Sの走査量Vに応じて試料Sの走査方向(Y軸方向)にずれている。このような関係を満たすためには、照射光学系3の光軸P1と走査面Kの法線P3とがなす角度θ1及び結像光学系5の光軸P2と走査面Kの法線P3とがなす角度θ2に応じて、1フレームの露光時間における試料Sの走査量Vを設定すればよい。また、1フレームの露光時間における試料Sの走査量Vに応じて、角度θ1及び角度θ2の少なくとも一方を設定してもよい。
上記関係を満たす場合、図7のドット表記部分に示すように、第mフレームの第(n+2)画素での画像取得領域Fn,m+2、第(m+1)フレームの第(n+1)画素での画像取得領域Fn+1,m+1、及び第(m+2)フレームの第n画素での画像取得領域Fn,m+2は、Z軸方向に隣り合うこととなる。このため、画像生成部8においてデータを再構成せずに観察画像データ32を生成すると、図8(a)に示すように、各画像データ31が実空間上のXYZ’画像データとなり、観察しにくい画像データが生成されることとなる。そこで、画像生成部8において各画素の画像データ31を用いてデータを再構成する際、図8(b)に示すように、画像生成部8においてZ軸方向にnピクセル離れた画像データ31をY軸方向についてもnピクセル離れた画像データ31として補正を実行する。これにより、各画像データ31が実空間上のXYZ画像データとなり、各画像データ31を実空間上の3次元データに容易に変換することが可能となる。
図9は、一の画素の画像取得領域と視野の関係を示す図である。図9に示すように、一の画素におけるZ軸方向の解像度Zresoは、下記式(1)で表される。式(1)中のV’と走査量Vとの間には、式(2)の関係が成り立つ。
また、図10は、面状光及び観察光の傾斜角度と視野の関係を示す図である。同図に示す例では、結像光学系5が屈折率n1の媒質A中に位置し、面状光L2の照射面Rが屈折率n2の媒質B中に位置するものとする。ここでは、結像光学系5の視野Vを上述した1フレームの露光時間における試料Sの走査量Vと一致させている。結像光学系5の視野Vは、画素サイズと結像倍率によって定まる。これに合致するように1フレームの露光時間と走査部4による試料容器11の走査速度とを調整することにより、視野Vを1フレームの露光時間における試料Sの走査量Vと一致させることができる。視野Vの媒質Aと媒質Bの界面での距離をLとした場合、以下の式(3)~(8)の関係が成り立つ。
図2に示したθ1及びθ2の範囲の中からθ1及びθ2の組み合わせを選択する場合には、例えば以下の3つの条件を考慮する。
1)θdiffの値が小さい程、デフォーカスの影響が低減される。
2)Zresоの値が小さい程、観察画像データにおけるZ軸方向の解像度が向上する。
3)V’のY軸方向の成分がVと一致すると、Z軸方向に隣り合う画素の画像取得領域がY軸方向についても隣り合い、各画像データの位置関係の補正が簡単となる。
1)θdiffの値が小さい程、デフォーカスの影響が低減される。
2)Zresоの値が小さい程、観察画像データにおけるZ軸方向の解像度が向上する。
3)V’のY軸方向の成分がVと一致すると、Z軸方向に隣り合う画素の画像取得領域がY軸方向についても隣り合い、各画像データの位置関係の補正が簡単となる。
以上説明したように、試料観察装置1では、試料Sの走査面Kに対して結像光学系5の光軸P2が傾斜している。このため、画像取得部6では、面状光L2の光軸P1方向における断層面の画像データ31を順次取得することができ、高いスループットで画像データ31を得ることが可能となる。また、画像取得部6では、隣り合う画素での画像取得領域Fが1フレームの露光時間における試料Sの走査量Vに応じてずれている。したがって、各画像データ31の位置関係の補正が簡単なものとなり、観察画像データ32の構成にあたって、各画像データ31を実空間上の3次元データに容易に変換することが可能となる。
さらに、試料観察装置1では、走査面Kに対する照射光学系3の光軸P1が上記θ1,θ2の条件を満たす範囲で傾斜することで、デフォーカスの影響の低減が図られ、観察画像データ32の深さ方向の解像度を十分に向上できる。θ1及びθ2がいずれも70°以下であり、かつθ1及びθ2の和が110°以上である場合には、デフォーカスの影響を一層好適に低減することができる。
また、試料観察装置1は、面状光L2の入力面及び観察光L3の出力面となる面を走査面Kとして有する試料容器11を備えている。このような試料容器11を用いることにより、複数の試料Sを安定して走査することが可能となる。
また、試料観察装置1は、観察画像データ32を解析し、解析結果を生成する解析部10を備えている。これにより、画像生成部8によって生成された観察画像データ32を解析部10で解析できるため、解析のスループットも向上させることができる。
本発明は、上記実施形態に限られるものではない。例えば上記実施形態では、試料容器11においてウェル13の一端側を塞ぐように透明部材15が設けられているが、試料容器11に代えて、ゲル等の固形物に試料Sを保持してもよい。また、フローサイトメーターのように、透明容器内に水等の流体を流して試料Sを移動させるようにしてもよい。
また、結像光学系5及び画像取得部6を複数対配置してもよい。この場合、観察範囲を拡大できるほか、複数の異なる波長の観察光L3を観察することが可能となる。また、結像光学系5に対して複数の画像取得部6を配置してもよく、複数の結像光学系5に対して画像取得部6を配置してもよい。複数の画像取得部6は、異なる種類の光検出器あるいは撮像装置を組み合わせてもよい。光源2は、波長の異なる光を出力する複数の光源によって構成されてもよい。この場合、波長の異なる励起光を試料Sに照射することができる。
また、非点収差の緩和のため、結像光学系5にプリズムを配置してもよい。この場合、例えば対物レンズ16の後段側(対物レンズ16と画像取得部6との間)にプリズムを配置してもよい。デフォーカス対策のため、結像光学系5の光軸P2に対して画像取得部6における撮像装置の撮像面を傾斜させてもよい。この他、例えば結像光学系5と画像取得部6との間にダイクロイックミラー或いはプリズムを配置して観察光L3の波長分離を行う構成としてもよい。
1…試料観察装置、3…照射光学系、5…結像光学系、6…画像取得部、8…画像生成部、10…解析部、11…試料容器、31…画像データ、32…観察画像データ、F…画像取得領域、K…走査面、L2…面状光、L3…観察光、R…照射面、P1…照射光学系の光軸、P2…結像光学系の光軸、P3…走査面の法線、S…試料、V…走査量。
Claims (5)
- 試料に面状光を照射する照射光学系と、
前記面状光の照射面を通過するように前記試料を走査面内の一方向に走査する走査部と、
前記面状光の照射によって前記試料で発生した観察光を結像する結像光学系と、
二次元に配列された複数の画素を有し、前記結像光学系によって結像された前記観察光の光像に対応する画像データを複数取得する画像取得部と、
前記画像取得部によって取得された複数の前記画像データに基づいて前記試料の観察画像データを生成する画像生成部と、を備え、
前記照射光学系の光軸と前記走査面の法線とがなす角度をθ1とし、前記結像光学系の光軸と前記走査面の法線とがなす角度をθ2とした場合に、θ1及びθ2がいずれも80°以下であり、かつθ1及びθ2の和が100°以上であり、
前記画像取得部において、第n画素の画像取得領域に対し、第(n+1)画素の画像取得領域が1フレームの露光時間における前記試料の走査量に応じて前記試料の走査方向にずれている試料観察装置。 - θ1及びθ2がいずれも70°以下であり、かつθ1及びθ2の和が110°以上である請求項1記載の試料観察装置。
- 前記面状光の入力面及び前記観察光の出力面となる面を前記走査面として有する試料容器を更に備えた請求項1又は記載の試料観察装置。
- 前記観察画像データを解析し、解析結果を生成する解析部を更に備えた請求項1~3のいずれか一項記載の試料観察装置。
- 照射光学系を用いて試料に面状光を照射する照射ステップと、
前記面状光の照射面を通過するように前記試料を走査面内の一方向に走査する走査ステップと、
結像光学系を用いて前記面状光の照射によって前記試料で発生した観察光を結像する結像ステップと、
二次元に配列された複数の画素を有するイメージセンサを用いて、前記結像ステップによって結像された前記観察光の光像に対応する画像データを複数取得する画像取得ステップと、
前記複数の画像データに基づいて前記試料の観察画像データを生成する画像生成ステップと、を備え、
前記照射光学系の光軸と前記走査面の法線とがなす角度をθ1とし、前記結像光学系の光軸と前記走査面の法線とがなす角度をθ2とした場合に、θ1及びθ2をいずれも80°以下とし、かつθ1及びθ2の和を100°以上とし、
前記画像取得ステップにおいて、第n画素の画像取得領域に対し、第(n+1)画素の画像取得領域を1フレームの露光時間における前記試料の走査量に応じて前記試料の走査方向にずらす試料観察方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018074868A JP7007227B2 (ja) | 2018-04-09 | 2018-04-09 | 試料観察装置及び試料観察方法 |
EP19785613.1A EP3779411B1 (en) | 2018-04-09 | 2019-01-30 | Sample observation device and sample observation method |
US16/981,564 US11391935B2 (en) | 2018-04-09 | 2019-01-30 | Sample observation device and sample observation method |
PCT/JP2019/003233 WO2019198309A1 (ja) | 2018-04-09 | 2019-01-30 | 試料観察装置及び試料観察方法 |
CN201980021112.6A CN111902711B (zh) | 2018-04-09 | 2019-01-30 | 试样观察装置和试样观察方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018074868A JP7007227B2 (ja) | 2018-04-09 | 2018-04-09 | 試料観察装置及び試料観察方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019184403A JP2019184403A (ja) | 2019-10-24 |
JP7007227B2 true JP7007227B2 (ja) | 2022-01-24 |
Family
ID=68163985
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018074868A Active JP7007227B2 (ja) | 2018-04-09 | 2018-04-09 | 試料観察装置及び試料観察方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11391935B2 (ja) |
EP (1) | EP3779411B1 (ja) |
JP (1) | JP7007227B2 (ja) |
CN (1) | CN111902711B (ja) |
WO (1) | WO2019198309A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021246021A1 (ja) * | 2020-06-01 | 2021-12-09 | 浜松ホトニクス株式会社 | 試料観察装置及び試料観察方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016189013A1 (de) | 2015-05-28 | 2016-12-01 | Carl Zeiss Microscopy Gmbh | Anordnung und verfahren zur strahlformung und zur lichtblattmikroskopie |
JP2017058352A (ja) | 2015-09-18 | 2017-03-23 | シスメックス株式会社 | 粒子撮像装置および粒子撮像方法 |
JP2017173820A (ja) | 2016-03-21 | 2017-09-28 | カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh | 光シート顕微鏡および光シート顕微鏡を作動するための方法 |
JP2017187532A (ja) | 2016-04-01 | 2017-10-12 | 国立大学法人浜松医科大学 | 画像取得装置および画像取得方法 |
JP2017223706A (ja) | 2017-08-22 | 2017-12-21 | 浜松ホトニクス株式会社 | 蛍光観察装置及び蛍光観察方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62180241A (ja) | 1986-02-04 | 1987-08-07 | Hamamatsu Photonics Kk | 断層像観察装置 |
JP3651943B2 (ja) * | 1994-12-09 | 2005-05-25 | オリンパス株式会社 | アイコン作成方法及び動画用のコマ作成方法 |
US7375826B1 (en) * | 2004-09-23 | 2008-05-20 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) | High speed three-dimensional laser scanner with real time processing |
WO2008137746A1 (en) * | 2007-05-04 | 2008-11-13 | Aperio Technologies, Inc. | Rapid microscope scanner for volume image acquisition |
JP2011017620A (ja) * | 2009-07-09 | 2011-01-27 | Nikon Corp | 形状測定方法、画像処理プログラム及び観察装置 |
CA2774422C (en) * | 2009-10-12 | 2017-08-29 | Ventana Medical Systems, Inc. | Multi-modality contrast and brightfield context rendering for enhanced pathology determination and multi-analyte detection in tissue |
JP5673679B2 (ja) * | 2010-07-01 | 2015-02-18 | 株式会社ニコン | 顕微鏡 |
KR20140039151A (ko) * | 2011-01-06 | 2014-04-01 | 더 리전트 오브 더 유니버시티 오브 캘리포니아 | 무렌즈 단층 촬영 이미징 장치들 및 방법들 |
US9030548B2 (en) * | 2012-03-16 | 2015-05-12 | Dmetrix, Inc. | Correction of a field-of-view overlay in a multi-axis projection imaging system |
CA2793840A1 (en) * | 2012-10-02 | 2014-04-02 | The Royal Institution For The Advancement Of Learning/Mcgill University | Method and system for optical microscopy |
JP6086366B2 (ja) | 2013-04-05 | 2017-03-01 | 国立研究開発法人理化学研究所 | 顕微鏡、焦準器具、流体保持器具、及び光学ユニット |
EP3108284B1 (en) * | 2014-12-22 | 2018-03-14 | Koninklijke Philips N.V. | Method and device for simultaneous capture of image data at multiple depths of a sample |
JP6503221B2 (ja) * | 2015-05-13 | 2019-04-17 | オリンパス株式会社 | 3次元情報取得装置、及び、3次元情報取得方法 |
US10409052B2 (en) | 2016-09-28 | 2019-09-10 | University Of Washington | Inverted light-sheet microscope |
-
2018
- 2018-04-09 JP JP2018074868A patent/JP7007227B2/ja active Active
-
2019
- 2019-01-30 EP EP19785613.1A patent/EP3779411B1/en active Active
- 2019-01-30 US US16/981,564 patent/US11391935B2/en active Active
- 2019-01-30 CN CN201980021112.6A patent/CN111902711B/zh active Active
- 2019-01-30 WO PCT/JP2019/003233 patent/WO2019198309A1/ja unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016189013A1 (de) | 2015-05-28 | 2016-12-01 | Carl Zeiss Microscopy Gmbh | Anordnung und verfahren zur strahlformung und zur lichtblattmikroskopie |
JP2017058352A (ja) | 2015-09-18 | 2017-03-23 | シスメックス株式会社 | 粒子撮像装置および粒子撮像方法 |
JP2017173820A (ja) | 2016-03-21 | 2017-09-28 | カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh | 光シート顕微鏡および光シート顕微鏡を作動するための方法 |
JP2017187532A (ja) | 2016-04-01 | 2017-10-12 | 国立大学法人浜松医科大学 | 画像取得装置および画像取得方法 |
JP2017223706A (ja) | 2017-08-22 | 2017-12-21 | 浜松ホトニクス株式会社 | 蛍光観察装置及び蛍光観察方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111902711B (zh) | 2023-07-18 |
CN111902711A (zh) | 2020-11-06 |
US20210018735A1 (en) | 2021-01-21 |
WO2019198309A1 (ja) | 2019-10-17 |
EP3779411A4 (en) | 2021-12-22 |
EP3779411A1 (en) | 2021-02-17 |
JP2019184403A (ja) | 2019-10-24 |
US11391935B2 (en) | 2022-07-19 |
EP3779411B1 (en) | 2024-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11822066B2 (en) | Sample observation device and sample observation method | |
JP2022132488A (ja) | 装置、方法、及びプログラム | |
JP7007227B2 (ja) | 試料観察装置及び試料観察方法 | |
CN111971607B (zh) | 试样观察装置 | |
JP6978562B2 (ja) | 試料観察装置及び試料観察方法 | |
JP6754408B2 (ja) | 試料観察装置及び試料観察方法 | |
EP4321917A1 (en) | Sample observation device and sample observation method | |
WO2021246021A1 (ja) | 試料観察装置及び試料観察方法 | |
JP7329113B2 (ja) | 試料観察装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201211 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7007227 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |