JP6625696B2 - マルチビュー・ライトシート顕微鏡検査法 - Google Patents

マルチビュー・ライトシート顕微鏡検査法 Download PDF

Info

Publication number
JP6625696B2
JP6625696B2 JP2018124403A JP2018124403A JP6625696B2 JP 6625696 B2 JP6625696 B2 JP 6625696B2 JP 2018124403 A JP2018124403 A JP 2018124403A JP 2018124403 A JP2018124403 A JP 2018124403A JP 6625696 B2 JP6625696 B2 JP 6625696B2
Authority
JP
Japan
Prior art keywords
light
sample
axis
optical
along
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018124403A
Other languages
English (en)
Other versions
JP2018185524A (ja
Inventor
ヨハンネス ケラー,フィリップ
ヨハンネス ケラー,フィリップ
クマー チェトリ,ラギヴ
クマー チェトリ,ラギヴ
Original Assignee
ハワード ヒューズ メディカル インスティチュート
ハワード ヒューズ メディカル インスティチュート
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ハワード ヒューズ メディカル インスティチュート, ハワード ヒューズ メディカル インスティチュート filed Critical ハワード ヒューズ メディカル インスティチュート
Publication of JP2018185524A publication Critical patent/JP2018185524A/ja
Application granted granted Critical
Publication of JP6625696B2 publication Critical patent/JP6625696B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/10Condensers affording dark-field illumination
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Description

(関連出願の相互参照)
本出願は、2013年10月9日に出願された米国仮出願第61/888,869号の利益を主張し、その全体が参照により本明細書に組み込まれる。
開示されている主題は、生物試料(biological specimen)のライブイメージング(live imaging)に関する。
複雑な生物試料の発達及び機能を理解することは、顕微鏡規模で高速の空間時間的力学を記録し定量化する我々の能力に危険なほど頼っている。空間分解能と時間分解能と光損傷との基本的な兼ね合いにより、生物学的ライブイメージングにおける実践的手法は、大きい試料の観察を小さい機能サブユニットに縮小し、これらを一度に1つずつ検討することであった。
いくつかの一般的な態様では、生きている生物試料をイメージングする方法は、1つ以上の第1のライトシート(light sheet)を生成することと、生成された1つ以上の第1のライトシートが第1の画像平面(image plane)において生物試料の少なくとも一部分と光学的に相互作用するように第1の照射軸(illumination axis)と平行なそれぞれの経路に沿って1つ以上の第1のライトシートを誘導することと、複数の第1のビューのそれぞれにおいて、生物試料から第1の検出軸(detection axis)に沿って放出された蛍光の画像を記録することを含む。この方法は、1つ以上の第2のライトシートを生成することと、生成された1つ以上の第2のライトシートが第2の画像平面において生物試料の少なくとも一部分と光学的に相互作用するように第2の照射軸と平行なそれぞれの経路に沿って1つ以上の第2のライトシートを誘導することであって、第2の照射軸が第1の照射軸と平行ではないことと、複数の第2のビューのそれぞれにおいて、生物試料から第2の検出軸に沿って放出された蛍光の画像を記録することを含む。
実現例は以下の特徴のうちの1つ以上を含むことができる。例えば、1つ以上の第1のライトシートは、2つの第1の光源ユニット(light source unit)を活動化して2つの第1のライトシートを生成することによって生成することができ、生成された1つ以上の第1のライトシートは、互いに平行であるが互いに反対方向を指しているそれぞれの経路に沿って、生成された2つの第1のライトシートを誘導することにより、生物試料を通って第1の照射軸と平行なそれぞれの経路に沿って誘導することができる。生成された2つの第1のライトシートは第1の画像平面に沿って生物試料内で空間的かつ時間的にオーバラップすることができる。生成された第1のライトシートの時間的オーバラップは、顕微鏡の空間分解能限界に対応する分解能時間より小さいタイムシフト内である。タイムシフト中に生物試料の追跡された構造物における空間的変位(spatial displacement)は顕微鏡の空間分解能限界より小さくすることができる。
1つ以上の第2のライトシートは、2つの第2の光源ユニットを活動化して2つの第2のライトシートを生成することによって生成することができ、生成された1つ以上の第2のライトシートは、互いに平行であるが互いに反対方向を指しているそれぞれの経路に沿って、生成された2つの第2のライトシートを誘導することにより、生物試料を通って第2の照射軸と平行なそれぞれの経路に沿って誘導することができる。生成された2つの第2のライトシートは第2の画像平面に沿って生物試料内で空間的かつ時間的にオーバラップすることができる。生成された第2のライトシートの時間的オーバラップは、顕微鏡の空間分解能限界に対応する分解能時間より小さいタイムシフト内にすることができる。タイムシフト中に生物試料の追跡された構造物における空間的変位は顕微鏡の空間分解能限界より小さくすることができる。
第1のビューのそれぞれは第1の照射軸に垂直にすることができ、第2のビューのそれぞれは第2の照射軸に垂直にすることができる。
1つ以上の第1のライトシートを生成することは1つ以上のそれぞれの第1の光源ユニットを活動化することを含むことができ、1つ以上の第2のライトシートを生成することは1つ以上のそれぞれの第2の光源ユニットを活動化することを含むことができる。この方法は、1つ以上の第2の光源ユニットを活動化しながら1つ以上の第1の光源ユニットを非活動化することと、1つ以上の第1の光源ユニットを活動化しながら1つ以上の第2の光源ユニットを非活動化することを含むことができる。1つ以上の第1のライトシート及び1つ以上の第2のライトシートは同じ波長にすることができる。
また、この方法は、1つ以上の第2の光源ユニットを活動化しながら1つ以上の第1の光源ユニットを活動化することも含むことができる。1つ以上の第1のライトシートは第1の波長にすることができ、1つ以上の第2のライトシートは第1の波長とは別個の第2の波長にすることができる。生物試料内の第1のタイプの構造物は第1の波長の光に応答して蛍光を発する第1の蛍光体(fluorophore)を含むことができ、生物試料内の第2のタイプの構造物は第2の波長の光に応答して蛍光を発する第2の蛍光体を含むことができる。
1つ以上の第1のライトシート及び1つ以上の第2のライトシートは同じ波長にすることができる。第1の検出軸に沿って放出された蛍光の画像は、第1の対物レンズ(objective)で蛍光を捕捉し、捕捉された蛍光を対物レンズから第1の対物レンズの焦平面(focal plane)に配置されたアパーチャを通って誘導して焦点が合っていない蛍光の少なくとも一部分を遮断することによって記録することができる。第2の検出軸に沿って放出された蛍光の画像は、第2の対物レンズで蛍光を捕捉し、捕捉された蛍光を第2の対物レンズから第2の対物レンズの焦平面に配置されたアパーチャを通って誘導して焦点が合っていない蛍光の少なくとも一部分を遮断することによって記録することができる。
第1の検出軸に沿って放出された蛍光の画像は、第1の対物レンズで蛍光を捕捉し、捕捉された蛍光を対物レンズから蛍光の画像を記録する第1のカメラに誘導することによって記録することができ、第2の検出軸に沿って放出された蛍光の画像は、第2の対物レンズで蛍光を捕捉し、捕捉された蛍光を第2の対物レンズから蛍光の画像を記録する第2のカメラに誘導することによって記録することができる。
生成された第1のライトシートのそれぞれは互いに異なる偏光状態(polarization state)を有することができ、生成された第2のライトシートのそれぞれは互いに異なる偏光状態を有することができる。
この方法は、1つ以上の第1のライトシートの生成中に、生物試料の少なくとも一部分に及ぶ1組の第1の画像平面に沿って1つ以上の第1のライトシートが生物試料と光学的に相互作用するように、増分ステップ(incremental step)により、生物試料、1つ以上の第1のライトシート、及び蛍光が記録される第1のビューのうちの1つ以上を、第1の照射軸と垂直な第1の線形軸(linear axis)に沿って互いに対して並進させる(translate)ことと、それぞれの第1の画像平面について、生物試料によって生成された蛍光を第1のビューにおいて記録することを含むことができる。生物試料、1つ以上の第1のライトシート、及び第1の記録ビューのうちの1つ以上は、生物試料の位置を維持し、1つ以上の第1のライトシート及び第1の記録ビューを第1の線形軸に沿って並進させることにより、増分ステップにより第1の線形軸に沿って互いに対して並進させることができる。この方法は、1つ以上の第2のライトシートの生成中に、生物試料の少なくとも一部分に及ぶ1組の第2の画像平面に沿って1つ以上の第2のライトシートが生物試料と光学的に相互作用するように、増分ステップにより、生物試料、1つ以上の第2のライトシート、及び蛍光が記録される第2のビューのうちの1つ以上を、第2の照射軸と垂直な第2の線形軸に沿って互いに対して並進させることと、それぞれの第2の画像平面について、生物試料によって生成された蛍光を第2のビューにおいて記録することを含むことができる。この方法は、第1及び第2のビューにおいて記録された蛍光の画像を位置合わせすることにより生物試料の画像を作成することと、マルチビュー・デコンボリューション・アルゴリズム(multiview deconvolution algorithm)を使用して、位置合わせされた画像を結合することを含むことができる。
この方法は、記録に基づいて生物試料内の構造物を追跡することを含むことができ、構造物を追跡することは、第1及び第2のビューにおいて記録された蛍光の画像を作成することと、位置合わせされた画像を結合することを含む。
第1のビューにおいて記録することは、照射軸に垂直な検出軸に沿って記録することを含むことができる。
そのそれぞれの検出軸に沿って取られたライトシートのそれぞれの最小厚さは、イメージングすべき試料内の構造物の断面サイズより小さくすることができる。
第2の照射軸は第1の照射軸と垂直にすることができる。
蛍光は、1つ以上の第1のライトシートが生物試料と光学的に相互作用した後又は相互作用している間に第1の検出軸に沿って放出することができ、蛍光は、1つ以上の第2のライトシートが生物試料と光学的に相互作用した後又は相互作用している間に第2の検出軸に沿って放出することができる。
第1の照射軸及び第2の照射軸は生物試料内で空間的にオーバラップすることができる。
ライトシートは、レーザ・ライトシートを生成することによって生成することができる。
ライトシートは、第1の交軸(transverse axis)に垂直な第2の交軸より第1の交軸に沿ってより長い空間プロファイルを有する光のシートを形成することによって生成することができ、これらの交軸はライトシートの伝搬の方向に垂直である。1つ以上の第1のライトシートの第2の交軸は第1の検出軸と平行にすることができ、1つ以上の第2のライトシートの第2の交軸は第2の検出軸と平行にすることができる。
それぞれの第1のライトシートは、第1の照射軸に対して横向きの方向に沿って第1の光源(light source)から放出された第1の光ビーム(light beam)をスキャンして第1のライトシートを生成することによって生成することができ、それぞれの第2のライトシートは、第2の照射軸に対して横向きの方向に沿って第2の光源から放出された第2の光ビームをスキャンして第2のライトシートを生成することによって生成することができ、第1のライトシートの第1の光ビームは生物試料内で第2のライトシートの第2の光ビームと交差しないようになっている。
生物試料から第1の検出軸に沿って放出された蛍光の画像は、複数の第1のビューのそれぞれにおいて、第1の検出軸に沿って生物試料内で蛍光体から放出された蛍光の画像を記録することによって記録することができ、複数の第2のビューのそれぞれにおいて、生物試料から第2の検出軸に沿って放出された蛍光の画像を記録することは、複数の第1のビューのそれぞれにおいて、第2の検出軸に沿って生物試料内で蛍光体から放出された蛍光の画像を記録することを含む。
生物試料によって生成された蛍光の画像は、生物試料によって生成された一光子蛍光を記録することによって記録することができる。1つ以上の第1のライトシートは、1つ以上の持続波の第1のライトシートを生成することによって生成することができ、1つ以上の第2のライトシートを生成することは、1つ以上の持続波の第2のライトシートを生成することを含む。
生物試料によって生成された蛍光の画像は、生物試料によって生成された二光子蛍光を記録することによって記録することができる。1つ以上の第1のライトシートは、1つ以上のパルス波の第1のライトシートを生成することによって生成することができる。
その他の一般的な態様では、顕微鏡システム(microscope system)は、生きている生物試料をイメージングするように構成される。この顕微鏡システムは、生物試料を受け入れるように構成された試料領域(specimen region)と、2つ以上の光学アーム(optical arm)とを含む。それぞれの光学アームは試料領域を横切る光路(optical path)を有し、それぞれの光学アームは光源ユニットと検出ユニット(detection unit)とを含み、それぞれの光学アームは別個のアーム軸(arm axis)に沿って配置され、少なくとも2つのアーム軸は互いに平行ではない。それぞれの光源ユニットは、それぞれの照射軸に沿って試料領域に向かってライトシートを生成し誘導するように配置された1つの光源及び1組の照射光学装置(illumination optical device)と、1つ以上の照射光学装置に結合された1組のアクチュエータとを含む。それぞれの検出ユニットは、照射軸のうちの1つ以上に垂直なそれぞれの検出軸に沿って試料領域内に受け入れた生物試料から放出された蛍光の画像を収集し記録するように配置された1つのカメラ及び1組の検出光学装置(detection optical device)と、カメラ及び検出光学装置のうちの1つ以上に結合された1組のアクチュエータとを含む。それぞれの光学アームは、試料領域と光源ユニットと検出ユニットとの間の経路上にあって、光源ユニットと検出ユニットとの間の光学データを分離するように構成された光学データ分離装置(optical data separation apparatus)を含む。
実現例は以下の特徴のうちの1つ以上を含むことができる。例えば、顕微鏡システムは、試料領域、光源ユニット、及び検出ユニットのうちの1つ以上に結合され、試料領域内に受け入れた生物試料を回転させずに、試料領域、光源ユニット内のライトシート、及び検出ユニットのうちの1つ以上を線形軸に沿って互いに対して並進させるように構成された並進システム(translation system)を含むことができる。
この顕微鏡システムは、試料領域内に位置するようにその上に生物試料が装着される試料ホルダ(specimen holder)を含むことができる。
少なくとも1つのコンポーネントは、それぞれの光学アームの光源ユニットと検出ユニットとの間で共用することができる。この少なくとも1つの共用コンポーネント(shared component)は顕微鏡対物レンズ(microscope objective)を含むことができる。少なくとも1つの共用コンポーネントは光学データ分離装置と試料領域との間に配置することができる。それぞれの光学アーム内の顕微鏡対物レンズは、他の光学アーム内の他の顕微鏡対物レンズと同じ焦平面を有することができる。この顕微鏡システムは、それぞれの光学アーム内の顕微鏡対物レンズとカメラとの間に配置されたアパーチャを含むことができる。
それぞれの検出ユニット内の顕微鏡対物レンズの視野(field of view)は、顕微鏡対物レンズの回折限界(diffraction limit)と少なくとも同じ大きさにすることができる。
それぞれの検出ユニット内の顕微鏡対物レンズは、検出ユニットによって追跡された生物試料の構造物を解明するのに十分な開口数(numerical aperture)を有することができる。
少なくとも1つの共用コンポーネントはチューブレンズを含むことができる。
互いに平行ではない少なくとも2つのアーム軸は互いに垂直にすることができる。
2つ以上の光学アームは4つの光学アームを含むことができ、それぞれの光学アーム軸は他の光学アーム軸のうちの少なくとも2つに垂直である。
光学データ分離装置は、光源ユニット及び検出ユニットの少なくとも1つの共用コンポーネントと残りのコンポーネントとの間に多色性光学素子(polychroic optical element)を含むことができる。それぞれの光学アーム内で、光源からのライトシートは多色性光学素子から反射することができ、生物試料からの蛍光は二色性光学素子(dichroic optical element)を通って透過することができる。
その他の一般的な態様では、生きている生物試料をイメージングする方法は、第1のライトシートを生成することと、生成された第1のライトシートが第1の画像平面において生物試料の少なくとも一部分と光学的に相互作用するように第1の照射軸と平行な経路に沿って第1のライトシートを誘導することと、複数の第1のビューのそれぞれにおいて、第1のライトシートと生物試料との光学的相互作用中に生物試料から第1の検出軸に沿って放出された蛍光の画像を記録することと、第2のライトシートを生成することと、生成された第2のライトシートが第2の画像平面において生物試料の少なくとも一部分と光学的に相互作用するように第2の照射軸と平行な経路に沿って第2のライトシートを誘導することであって、第2の照射軸が第1の照射軸と平行ではないことと、複数の第2のビューのそれぞれにおいて、第2のライトシートと生物試料との光学的相互作用中に生物試料から第2の検出軸に沿って放出された蛍光の画像を記録することを含む。
その他の一般的な態様では、生きている生物試料をイメージングする方法は、複数のライトシートを生成することと、ライトシートが画像平面に沿って生物試料内で空間的かつ時間的にオーバラップし、画像平面内で生物試料と光学的に相互作用するように生物試料を通って照射軸に沿って複数のライトシートを誘導することと、複数の第1のビューのそれぞれにおいて、ライトシートと生物試料との光学的相互作用により生物試料から第1の検出軸に沿って放出された蛍光の画像を記録することと、ライトシートの配向(orientation)を回転させることと、複数の第2のビューのそれぞれにおいて、回転させたライトシートと生物試料との光学的相互作用により生物試料から第2の検出軸に沿って放出された蛍光の画像を記録することを含む。時間的オーバラップは、顕微鏡の空間分解能限界に対応する分解能時間より小さいタイムシフト内である。
その他の一般的な態様では、生きている生物試料をイメージングするための顕微鏡システムは、その上に生物試料が装着される試料ホルダと、複数の照射サブシステムと、複数の第1の検出サブシステムと、複数の第2の検出サブシステムと、試料ホルダ、複数の照射サブシステム、及び複数の第1の検出サブシステムのうちの1つ以上に結合され、生物試料を回転させずに、生物試料、複数のライトシート、及び複数の第1の検出サブシステムのうちの1つ以上を第1の線形軸に沿って互いに対して並進させるように構成された第1の並進システムと、試料ホルダ、複数の照射サブシステム、及び複数の第2の検出サブシステムのうちの1つ以上に結合され、生物試料を回転させずに、生物試料、複数のライトシート、及び複数の第2の検出サブシステムのうちの1つ以上を第2の線形軸に沿って互いに対して並進させるように構成された第2の並進システムとを含む。それぞれの照射サブシステムは、照射軸に沿って生物試料に向かってライトシートを生成し誘導するように配置された1つの光源及び1組の照射光学装置と、1つ以上の照射光学装置に結合された1組のアクチュエータとを含む。それぞれの第1の検出サブシステムは、照射軸に垂直な第1の検出軸に沿って生物試料から放出された蛍光の画像を収集し記録するように配置された1つのカメラ及び1組の検出光学装置と、カメラ及び検出光学装置のうちの1つ以上に結合された1組のアクチュエータとを含む。それぞれの第2の検出サブシステムは、照射軸に垂直な第2の検出軸に沿って生物試料から放出された蛍光の画像を収集し記録するように配置された1つのカメラ及び1組の検出光学装置と、カメラ及び検出光学装置のうちの1つ以上に結合された1組のアクチュエータとを含む。
実現例は以下の特徴のうちの1つ以上を含むことができる。例えば、顕微鏡システムは、複数の照射サブシステム、複数の第1の検出サブシステム、複数の第2の検出サブシステム、並びに第1及び第2の並進システムに接続され、第1の並進システムに信号を送信して、第1の組の画像平面に対する垂線と平行な第1の線形軸に沿って試料ホルダと複数の照射サブシステムと複数の第1の検出サブシステムとの相対位置を変更し、第1の組内のそれぞれの画像平面について、複数の照射サブシステムに信号を送信して、複数の照射サブシステムのそれぞれからのライトシートを画像平面に沿って生物試料内で空間的かつ時間的にオーバラップさせ、それにより生物試料と光学的に相互作用させ、それぞれの画像平面について、生物試料から放出された蛍光を取得する複数の第1の検出サブシステムから信号を受信するように構成された制御システムを含むことができる。時間的オーバラップは、顕微鏡システムの空間分解能に対応する分解能時間より小さいタイムシフト内である。
この顕微鏡システムは、複雑な生物試料全体を捕捉するレベルでの生物学的構造及び機能のインビボ研究に有用なツールを提供する。これは、光軸(light axis)に沿って誘導されたレーザ光の薄いシートで生物試料又はサンプルを照射することと、光軸に直交するようにこの薄いボリュームから放出された蛍光を記録することに基づくライトシート顕微鏡検査技法を含む。レーザ光は生物試料のサイズと比較して薄いものである。例えば、この薄いボリュームは光軸の方向に約100nm〜約10μmの幅にすることができるであろう。
生物試料の焦点が合っている部分のみがレーザ光に曝され、これは光学的セクショニングを提供し、実質的に光損傷を低減する。その上、焦点が合っているセクションから放出された蛍光信号は視野全体について時間的に同時に検出され、これは例外的に高いイメージング速度(imaging speed)を提供する。一般的に使用される光学的セクショニング技法である共焦点顕微鏡検査法と比較して、イメージング速度、信号対雑音比、及び光退色速度は数桁分まで改善される。この顕微鏡システムは、空間及び時間分解能並びにライブイメージング実験の概念設計及び複雑さにおいて更なる改善を可能にすることができる。
この顕微鏡システムは、生きている組織内に数十乃至数百ミクロン以上浸透することができ、従って、複雑な生物試料又は有機体のイメージングである組織レベル(systems−level)のイメージングを可能にする。この顕微鏡システム及び関連プロセスは、複雑な試料内の動的な生物学的プロセスを高い空間時間分解能で捕捉できるように、100フレーム/秒程度の高いイメージング速度を達成する。
この顕微鏡システムは、生きている試料内の高速プロセスを捕捉するのに十分高速なものである。例えば、生きている多細胞有機体では、順次マルチビューイメージングシステムにおいて行われる順次マルチビュー取得間で高速発生プロセスが行われる可能性があり、これは取得したデータの正確な画像融合(image fusion)を妨げるものである。従って、この顕微鏡システムは、細胞追跡及び細胞形態の再構築などの定量分析を根本的に抑制する可能性のある空間時間的アーチファクト(artifact)を回避する。
複雑な発達中の生物試料又は有機体内のすべての細胞の動的挙動及び構造変化のグローバル測定の場合、関心のある最高速プロセスの時間尺度と一致する速度でしかも相補的ビュー間の最小限のタイムシフトでデータ取得が行われる。
一光子又は多光子ライトシートベースの蛍光励起による同時マルチビューイメージングのための技術フレームワークは、光退色及び光毒性効果を最小限にするか又は低減しながら例外的に高いイメージング速度及び物理的適用範囲をもたらすように設計される。この顕微鏡システムは、大きい生物試料を全体として長期間にわたり優れた空間時間分解能で定量的インビボイメージングすることにおいて優れている。
二光子励起による実現例と同様に、この概念は、とりわけ、ベッセル平面照射、スキャンライトシートベースの構造化照射、又は機能的イメージング手法と組み合わせることもできる。従って、照射サブシステムで使用される「ライトシート」は、これらのその他の照射手法を包含するものである。従って、ライトシートはスキャンライトシート又は静的ライトシートになる可能性がある。ライトシートを生成するためのレーザスキャンの使用(即ち、一度に試料内の1本の線のみを照射すること)は二光子励起及びベッセル・ビーム照射の使用を可能にし、スキャンプロセスの時間的特徴は構造化ライトシート(光のストライプ)などの複雑な照射パターンの構築も可能にする。
本明細書に提示されているイメージング技法は、高スループット高含有量のスクリーニング、高速機能的イメージング、及び発達中の有機体全体における細胞力学の総合的な定量分析に対して門戸を開放するものである。この方法と自動画像セグメント化及び細胞追跡のための高度な計算ツールとを組み合わせることにより、非常に複雑な生物試料の場合でも、高品質細胞系統ツリーの再構築、遺伝子発現力学の総合的マッピング、自動細胞表現型、並びに細胞形態変化及び細胞力の生物物理学的分析が手の届く範囲内になる。
シングルビューイメージングと比較して、同時マルチビューイメージングは、適用範囲をほぼ4倍に改善し、初期胚全体における細胞力学を明らかにする。その上、順次マルチビューイメージングと比較して、同時マルチビューイメージングは、高速核運動中の時間空間融合アーチファクトを除去するか又は大幅に低減し、時間分解能を改善し、自動細胞追跡などのその後の計算画像解析のための定量データを提供する。また、同時マルチビューイメージングは、順次マルチビュー画像登録に必要なオーバラップ領域の冗長な反復取得を回避することにより、試料に対するエネルギ荷重も低減する。
空間及び時間アーチファクトの除去の他に、同時マルチビューイメージングは優れた時間分解能も提供する。この点については、以下に述べるようにショウジョウバエ胚における細胞力学を定量化する基本的パラメータによって例示することができる。例えば、何千個もの核の高速運動は合胞性胞胚葉における分裂周期中に発生し、即ち、第12分裂周期では、分裂中の核の平均運動速度は8.12±2.59μm/分(平均±標準偏差、n=2,798、フーバー・ロバスト推定量(Huber robust estimator))であり、平均最近接距離は7.57±1.34μm(平均±標準偏差、n=1.44×10、フーバー・ロバスト推定量)である。重要なことに、最近接のものは、通常、同じ母核からの娘核ではない。このため、胞胚葉全体における核力学の分析のための定量データを入手するために、平均してその後の時点間の最近接距離の半分以下の核運動を保証する全体速度での同時マルチビューイメージングが必要である。従って、胚全体の同時マルチビューイメージングは、せいぜい約30秒の時間サンプリングで実行しなければならない。
生物試料の同時マルチビューイメージングを提供するためにライトシート顕微鏡検査法を使用する模範的な顕微鏡システムのブロック図である。 図1Aの顕微鏡システムを使用してイメージングされた試料の模範的な概略表現を示すブロック図である。 図1Aの顕微鏡システムの模範的な実現例のブロック図である。 図1Aの顕微鏡システムの模範的な顕微鏡の斜視図である。 試料及び対物レンズを示す、図3の模範的な顕微鏡の一部の拡大斜視図である。 図3の顕微鏡の模範的な照射システムの拡大斜視図である。 試料を準備するための模範的なステップと、図3の顕微鏡システム内で試料を保持するチャンバを示す斜視図である。 図1Aの顕微鏡システムの模範的な電子機器コントローラ(electronics controller)及び模範的な計算コントローラ(computational controller)の詳細を示すブロック図である。 図1Aの顕微鏡システムによって実行される模範的な手順のフローチャートである。 試料とライトシートとの相対位置が図1Aの顕微鏡システム内の検出軸に沿って変更される模範的なイメージング方式を示すブロック図である。 試料とライトシートとの相対位置が図1Aの顕微鏡システム内の検出軸に沿って変更される模範的なイメージング方式を示すブロック図である。 試料とライトシートとの相対位置が図1Aの顕微鏡システム内の検出軸に沿って変更される模範的なイメージング方式を示すブロック図である。 試料とライトシートとの相対位置が図1Aの顕微鏡システム内の検出軸に沿って変更される模範的なイメージング方式を示すブロック図である。 図1Aの顕微鏡システムによって実行されるように試料の画像を作成するための模範的な手順のフローチャートである。 図9の手順中に実行される模範的なステップを示す、図1Aの顕微鏡システム内の顕微鏡のブロック図である。 図9の手順中に実行される模範的なステップを示す、図1Aの顕微鏡システム内の顕微鏡のブロック図である。 図9の手順中に実行される模範的なステップを示す、図1Aの顕微鏡システム内の顕微鏡のブロック図である。 図1Aの顕微鏡システムを使用して画像が捕捉される時に模範的な複数の時点における試料の発達を示す、試料の概略表現の図である。 図7の手順内の後処理ステップ中に取られた試料の画像である。 図7の手順内の後処理ステップ中に取られた試料の画像である。 生物試料としてのショウジョウバエ胚上で一光子励起方式を使用して検出軸に沿った複数ステップで図1Aの顕微鏡システムによって取られた蛍光の画像である。 ある時点において一光子励起方式を使用して取られたショウジョウバエ胚の画像の最大値投影である。 発達の第13分裂周期中に一連の微速度撮影で取られた図13Bのショウジョウバエ胚の一領域の画像である。 図13A〜図13Cのショウジョウバエ胚上で図1Aの顕微鏡システムを使用して一光子励起中に得られた蛍光の画像の最大値投影である。 二光子励起方式を使用して図1Aの顕微鏡システムによって検出軸に沿った模範的なイメージング平面において取られたショウジョウバエ胚の画像を示している。 図14Aの二光子励起方式を使用して図1Aの顕微鏡システムによって取られたショウジョウバエ胚発育の微速度撮影記録の最大値投影を示している。 図14Aの二光子励起方式を使用して図1Aの顕微鏡システムによって取られたショウジョウバエ胚発育の微速度撮影記録の最大値投影を示している。 図1Aの顕微鏡システムを使用して第12分裂波(mitotic wave)前及び第13分裂波後に取られたショウジョウバエ胚全体の細胞追跡結果が重ねられた生画像データを示している。 第13分裂波がショウジョウバエ胚を通って進行する時に図1Aの顕微鏡システムによって取られた図15Aの細胞追跡されたショウジョウバエ胚の画像を示している。 図1Aの顕微鏡システムによって取られ、左側に細胞追跡情報及び右側に形態学的核セグメント化を伴う、図15Aの再構築されたショウジョウバエ胚の拡大図を示している。 図15A〜図15Cのショウジョウバエ胚内の核分裂後の時間の関数としての平均核速度のグラフを示している。 図15A〜図15Cのショウジョウバエ胚内の最近接隣接核間の距離の分布のグラフを示している。 ヒストン標識ショウジョウバエ胚上で一光子励起方式で図1Aの顕微鏡システムを使用して得られ、受精後120〜353分間に3つの神経芽細胞と1つの表皮芽細胞から手作業で再構築された系統が重ねられた画像を示している。 図16Aで強調表示された追跡の拡大図を示している。 一光子励起方式を使用して図1Aの顕微鏡システムで記録されたショウジョウバエ胚神経系発達の最大値投影(背部側及び腹部側)を示している。 一光子励起方式を使用して図1Aの顕微鏡システムで記録されたショウジョウバエ胚神経系発達の最大値投影(背部側及び腹部側)を示している。 一光子励起方式を使用して図1Aの顕微鏡システムで記録されたショウジョウバエ胚神経系発達の最大値投影(背部側及び腹部側)を示している。 図16Eで強調表示されたエリアの拡大図を示している。 一光子励起方式を使用して図1Aの顕微鏡システムで記録されたショウジョウバエ遺伝子導入胚(フォールスカラー・ルックアップテーブル)内の軸索形態形成の最大値投影の経過を示している。 それぞれの光学アームが照射タスクと検出タスクの両方を実行して生物試料の同時マルチビューイメージングを提供する模範的な顕微鏡システムのブロック図である。 それぞれの光学アームが照射タスクと検出タスクの両方を実行する模範的な顕微鏡システムの詳細を示すブロック図である。 図18の顕微鏡システムの光学顕微鏡の斜視図である。 図18の模範的な顕微鏡システムの電子機器コントローラ及び計算システムの詳細を示すブロック図である。 図18〜図20の顕微鏡システム内で生成された1つ以上の第1のライトシートを使用してイメージングされた生物試料の模範的な概略表現を示すブロック図である。 図18〜図20の顕微鏡システム内で生成された1つ以上の第2のライトシートを使用してイメージングされた生物試料の模範的な概略表現を示すブロック図である。 図18〜図20の顕微鏡システムによって実行される手順のフローチャートである。 試料と1つ以上の第1のライトシートとの相対位置が図18〜図20の顕微鏡システム内のz軸に沿って変更される模範的なイメージング方式を示すブロック図である。 試料と1つ以上の第1のライトシートとの相対位置が図18〜図20の顕微鏡システム内のz軸に沿って変更される模範的なイメージング方式を示すブロック図である。 試料と1つ以上の第1のライトシートとの相対位置が図18〜図20の顕微鏡システム内のz軸に沿って変更される模範的なイメージング方式を示すブロック図である。 図23A〜図23Cに示されているイメージング方式を生成する図22の手順中の動作モードを示す、図18〜図20の顕微鏡システム内の光学顕微鏡のブロック図である。 試料と1つ以上の第2のライトシートとの相対位置が図18〜図20の顕微鏡システム内のy軸に沿って変更される模範的なイメージング方式を示すブロック図である。 試料と1つ以上の第2のライトシートとの相対位置が図18〜図20の顕微鏡システム内のy軸に沿って変更される模範的なイメージング方式を示すブロック図である。 試料と1つ以上の第2のライトシートとの相対位置が図18〜図20の顕微鏡システム内のy軸に沿って変更される模範的なイメージング方式を示すブロック図である。 図25A〜図25Cに示されているイメージング方式を生成する図22の手順中の動作モードを示す、図18〜図20の顕微鏡システム内の光学顕微鏡のブロック図である。 図22の手順中の多色動作モードを示す、図18〜図20の顕微鏡システム内の光学顕微鏡のブロック図である。 1つ以上の第1のライトシートと1つ以上の第2のライトシートの両方が図18〜図20の顕微鏡システム内で同時にスキャンされる模範的なイメージング方式を示すブロック図である。 図18〜図20の顕微鏡システムの1つの模範的な光学アームのブロック図である。 図18〜図20の顕微鏡システム内の記録されたデータが空間分離を使用して分離される模範的なイメージング方式を示すブロック図である。 図30のイメージング方式を使用する図18〜図20の顕微鏡システムの光学アームのうちの1つの模範的な検出ユニットを示すブロック図である。 図30のイメージング方式を使用する図18〜図20の顕微鏡システムの光学アームのうちの1つの模範的な検出ユニットを示すブロック図である。 図30のイメージング方式を使用する図18〜図20の顕微鏡システムの光学アームのうちの1つの模範的な検出ユニットを示すブロック図である。 図30のイメージング方式を使用して図18〜図20の顕微鏡システムのそれぞれの光学アームのライトシートがどのように位置合わせされるかを示すブロック図である。 図18〜図20の顕微鏡システムによって実行される模範的な手順のフローチャートである。 図18〜図20の顕微鏡システムに基づき、その他の光学アームと平行ではない1つ以上の追加の光学アームを含む模範的な顕微鏡システムのブロック図である。 生物試料の同時マルチビューイメージングを提供するためにライトシート顕微鏡検査法を使用し、試料の5つ以上の光学ビューを含む模範的な顕微鏡システムのブロック図である。 第1の対の検出サブシステムによる照射及び検出を示す、図17Aの顕微鏡システムの顕微鏡の斜視図である。 照射サブシステム内のライトシートの回転後の第2の対の検出サブシステムによる照射及び検出を示す、図17Aの顕微鏡システムの顕微鏡の斜視図である。 5つ以上の光学ビューを使用して生物試料をイメージングするために図17Aの顕微鏡システムによって実行される模範的な手順のフローチャートである。
特許又は出願ファイルにはカラーで製作された少なくとも1つの図面が含まれる。カラー図面を含むこの特許又は特許出願公報のコピーは、請求並びに必要な手数料の支払に応じて特許庁から提供されるであろう。
図1Aを参照すると、この説明は、発達中の胚などの複雑な生物試料(又は試料)101を全体としてライブイメージングするための顕微鏡システム100及び対応するプロセスに関する。例えば、複雑な生物試料101は受精卵として始めることができ、この場合、顕微鏡システム100は、数時間又は数日という規模で所定の期間にわたって形を成すにつれて受精卵から形成される胚内のそれぞれの細胞を追跡する能力を含む、機能中の動物への受精卵全体の転換を捕捉することができる。顕微鏡システム100は、約20時間にわたって捕捉された多くの画像の寄せ集めを提供して、単純な細胞クラスタとして出現し始める胚内の生物学的構造物が数万個の稠密にパックされた細胞を有する細長いボディに変形するのを観察者が見られるようにすることができる。
顕微鏡システム100は同時マルチビューイメージングを提供するライトシート顕微鏡検査法を使用し、これはより低速の順次マルチビューイメージングによって引き起こされる可能性のある空間時間的アーチファクトを除去するか又は低減する。更に、照射されている試料101の一部を検出器が記録している間にスキャンされたレーザ光のシートで一度に試料101の1つの薄いセクション(例えば、z軸に沿って取られた幅が約1マイクロメートル(μm)程度のもの)のみを照射するので、試料101に対する損傷が低減される。同時マルチビューイメージングを実行するために試料101の機械回転は全く必要ない。
一般に、光学顕微鏡110は、それぞれのライトシート軸に沿って別個の方向から試料101を照射する複数のライトシート(例えば、ライトシート102、104)と、複数の検出ビューに沿って結果として生じる蛍光を収集する複数の検出サブシステム(例えば、検出サブシステム116、118)で構成される。以下の例では、反対方向又はライトシート軸から試料101を照射するそれぞれの照射サブシステム112、114内に2つのライトシート102、104が生成され、それぞれの検出サブシステム116、118は2つの検出ビューに沿って結果として生じる蛍光を収集する。この特定の例では、ライトシート軸は照射軸(y軸)と平行であり、検出ビューはy軸に垂直な検出軸(z軸)と平行である。
従って、この例では、顕微鏡システム100は4つの相補的光学ビューの取得によってほぼ完全な適用範囲を提供し、第1のビューはライトシート102と試料101との相互作用により放出された蛍光を検出する検出システム116から得られ、第2のビューはライトシート104と試料101との相互作用により放出された蛍光を検出する検出システム116から得られ、第3のビューはライトシート102と試料101との相互作用により放出された蛍光を検出する検出システム118から得られ、第4のビューはライトシート104と試料101との相互作用により放出された蛍光を検出する検出システム118から得られる。
ライトシート102、104と試料101との相互作用をより明確に示すために誇張されている図1B参照すると、ライトシート102、104は、y−x平面に沿って延びる画像ボリューム(image volume)IVに沿って試料101内で互いに空間的にオーバラップし、時間的にオーバラップし、画像ボリュームIV内で試料101と光学的に相互作用する。時間的オーバラップは、顕微鏡110の空間分解能限界に対応する分解能時間より小さいタイムシフト又は時間差の範囲内である。特に、これは、ライトシート102、104が、同時に或いは時間差中の生物試料101内の追跡された細胞Cの任意の変位が顕微鏡110の分解能限界より著しく小さく(例えば、1桁未満)なるほど非常に小さい時間差分だけ時間的に互い違いに配置されて、生物試料101の画像ボリュームIV内で空間的にオーバラップすることを意味し、この場合、分解能限界は顕微鏡110の空間分解能限界に対応する時間である。
以下により詳細に述べるように、それぞれのライトシート102、104は、y軸及びz軸に垂直な照射軸(x軸)に沿ってレーザ光の薄い(例えば、1μmの厚さ)ビームを急速に移動させて、一般的にシート102、104を形成するための平面に沿って又は平面に平行に延びる光ビームを形成するレーザスキャナによって生成される。この例では、ライトシート102、104の形のレーザビームは、試料101の両側でy軸に沿って試料101を照射する。薄いボリュームを急速スキャンし、照射軸に直角に(この例では、z軸に沿って)蛍光検出すると、光学的にセクショニングされた画像が提供される。ライトシート102、104は試料101内の蛍光体をより高いエネルギ準位に励起し、その結果、蛍光光子Pのその後の放出が行われ、蛍光光子Pは(z軸に沿って)検出サブシステム116、118内の検出器によって検出される。以下に詳細に述べるように、いくつかの実現例では、この励起は一光子励起であり、或いはそれは多光子(例えば、二光子)励起である。
試料内で励起される蛍光体は、例えば、GFPなどの遺伝的に符号化された蛍光タンパク質又はAlexa−488などの染料など、細胞に添付される標識にすることができる。しかし、蛍光体は、第2高調波発生又は第3高調波発生を使用するいくつかの実現例では、ライトシート102、104で露光した時に特定の波長の光を放出する、細胞内の実際の又は未変性のタンパク質になる可能性がある。
図1Bに概略的に示されているように、ライトシート102、104は試料101を通過し、蛍光体を励起する。しかし、ライトシート102、104は、試料101を通るそのそれぞれの経路に沿って光散乱及び光吸収を受けやすい。その上、非常に大きい(画像ボリュームIV又は視野(FOV)と比較して大きい)か又はかなり不透明な試料はライトシート102、104からのエネルギを吸収する可能性がある。
その上、ライトシート102、104が二光子励起方式で実現される場合、オーバラップしているライトシート102、104の中央領域103のみが二光子プロセスを効率的にトリガするために十分高い出力密度を有することができ、二光子ライトシート102、104に曝されたことに応答して、試料101の半分(近接側)のみが蛍光光子Pを放出することが可能である。
ライトシートの「空間的オーバラップ」という用語は、ライトシート102、104が試料101内で幾何学的に重ねられることを意味する可能性がある。また、「空間的オーバラップ」という用語は、両方のライトシートを検出サブシステム116、118のFOV(図1Bに示す通り)内及び試料101内に幾何学的に到達させることも包含することができる。例えば、二光子励起を効率的にトリガするために、ライトシート102、104の両方を使用することによって視野全体が可視状態になるように、それぞれのライトシート102、104は(それぞれのライトシートが視野のそれぞれの半分で中心に置かれるように)検出サブシステム116、118の視野の一部(例えば、半分)のみを覆うことができるであろう。
このため、ライトシート102、104が視野の半分のみを覆う必要がある場合、それぞれの二光子ライトシート102、104はより薄く(z軸に沿って測定したもの)することができる。しかし、ライトシート102、104がより薄い(しかもレーザ出力が変化しない)場合、同じ数の光子が試料101のより小さい断面を通って移動し、即ち、レーザ出力密度がより高くなり、その結果、より効率的な二光子励起が行われる(これはレーザ出力密度の平方に比例する)。同時に、ライトシートがより薄いので、それぞれのライトシート102、104が視野全体を覆うシナリオに比較した場合、分解能が増加する。
もう1つの例として、ライトシート102、104が一光子励起方式で実現される場合、ライトシート102、104は中央領域103の外側であるが画像ボリューム内である試料101のエリアでも蛍光体を励起することができ、この部分は結果として生じる画像内でよりぼやけて現れることになる。この後者のケースでは、2つのライトシート102、104のそれぞれで2つの画像を順次記録することができ、計算システム190はより高い品質を得るように画像を調節するための計算を使用することができる。例えば、低コントラストの領域が除去される(しかも、このステップ後、相補的画像部分が残存する)ように2つの画像をトリミングすることができ、高品質で視野全体を覆う最終画像を得るために、2つのライトシートで記録された画像をまとめて綴じることができる。
ライトシート102、104は、その最小厚さ又は幅(z軸に沿って取られたもの)が画像ボリュームIV及びFOV内になるように構成される。2つのライトシート102、104が試料101に向かって誘導されると、それぞれのライトシート102、104の最小厚さは画像ボリュームIVとオーバラップするはずである。上述の通り、これは、図1Bに概略的に示されているように、ライトシート102の最小厚さがライトシート104の最小厚さからオフセットされるようにセットアップすることができる。このセットアップは、改善されたか又は優れた空間分解能(一光子及び二光子励起方式の両方の場合)並びに改善されたか又は優れた信号速度(二光子励起方式の場合)を提供する。
例えば、約200μmの厚さ(z軸に沿って取られたもの)であるショウジョウバエ胚である試料101の場合、ライトシート102は試料101内に横切った後に試料101の左端から約50μm(ページの左側から測定したもの)のその最小厚さに到達するように構成することができ、ライトシート104は試料101内に横切った後に試料101の右端から約50μm(ページの右側から測定したもの)のその最小厚さに到達するように構成することができる。
ライトシート102、104の最小厚さと、画像ボリュームIVを横切るライトシート102、104の厚さの均一性との兼ね合いが図られる。従って、最小厚さが低減される場合、ライトシート102、104は画像ボリュームIVの両端でより厚くなる。ライトシート102、104の厚さはそれぞれの照射サブシステム112、114の開口数に比例し、ライトシート102、104の使用可能な長さ、即ち、厚さが十分均一になる長さは開口数の平方に反比例する。ライトシート102、104の厚さは、その最大強度の半分で取られたz軸に沿ったライトシート102、104の全幅(FWHM)などの任意の適切な尺度(metric)を使用して推定することができる。
例えば、4μmという最小厚さ(FWHMなどの適切な尺度を使用する)を有するライトシート102、104は、250μmというFOVを有する画像ボリュームIVについて良い組み合わせである(これは、それが250μmの長さ(y軸に沿って取られたもの)であることを意味する)。良い組み合わせとは、それが視野の全域で良好な平均分解能を提供することを意味する。より薄いライトシートは、中心(y軸に沿って取られたもの)において分解能を改善すると思われるが、試料101の両端では劇的に容認できないほど分解能を低下させる可能性があり、おそらく視野の全域で平均分解能が悪化する可能性がある。より薄いライトシートは、画像ボリュームIVの全域でライトシートをより均一にすると思われるが、画像ボリュームIV全体で分解能を低下させると思われる。もう1つの例として、7μmという最小厚さ(FWHMなどの適切な尺度を使用する)を有するライトシート102、104は、700μmというFOVを有する画像ボリュームIVについて良い組み合わせである(従って、それは700μmの長さ(y軸に沿って取られたもの)である)。
一般に、ライトシート102、104の厚さ(z軸に沿って取られたもの)は、画像コントラストを維持し、焦点が合っていない背景光を低減するために、試料101のサイズ(及び厚さ)より小さくなければならない。特に、ライトシート102、104の厚さは、試料101全体が照射される従来の照射手法より画像コントラストを改善するために、試料101のサイズより実質的に小さくなければならない。この体制(ライトシートの厚さが試料の厚さより実質的に小さい)においてのみ、ライトシート顕微鏡検査法は従来の照射手法を上回る実質的な利点を提供する。
例えば、ライトシート102、104の厚さは、z軸に沿って取られた試料101の幅の10分の1より小さくすることができる。いくつかの実現例では、視野の一部分(半分など)のみを覆うためにそれぞれのライトシートが使用され、即ち、それぞれのライトシートの最小厚さのポイントが、上述の通り、視野を半分ずつ2つに分けた場合の一方の側の中心に位置する場合、ライトシート102、104の厚さは試料101の幅又はサイズの約100分の1である。
ライトシート102、104の最小厚さを設定するため又は現実的な画像ボリュームIVを規定するためのもう1つの重要な考慮事項は、顕微鏡システム100によって解明する必要がある試料101内の構造物のサイズである。多くの場合、顕微鏡システム100は、システム100を使用できる初期発達段階において、ショウジョウバエでは約4〜5μmのサイズ(核の端から端までの直線に沿って取られたもの)であり、ゼブラフィッシュでは約7〜8μmのサイズである、細胞核をイメージングするようにセットアップされる。適度に良好な空間サンプリング及び分解能を達成するために、ライトシート102、104は、これらの核の断面サイズ又は長さの半分よりあまり厚くない最小厚さを有するものでなければならない。従って、ショウジョウバエの場合、ライトシート102、104の最小厚さは2〜3μmより小さくなければならず、ゼブラフィッシュの場合、ライトシート102、104の最小厚さは3〜4μmより小さくなければならない。その上、試料101の画像は(試料101、光ビーム102、104、或いは試料101と光ビーム102、104の両方をz軸に沿って並進させることによって)z軸に沿って取られた複数ステップで記録しなければならず、そのステップのサイズはおよそこの最小厚さのサイズでなければならない。
顕微鏡システム100は、完全な技術フレームワークを含む総合的な解決策である。従って、顕微鏡システム100は、電子機器コントローラ180と計算システム190とを含む電子機器フレームワークも含む。電子機器コントローラ180は、長期間にわたってミリ秒の精度で顕微鏡110内のすべての光学機械コンポーネントの同期制御を提供する。計算システム190は、生きている試料101上で複雑な光学位置合わせを急速に実行し、数百メガバイト/秒の持続的データ転送速度で検出サブシステム116、118内の複数の検出器(又はカメラ)による同時高速画像収集のためのロバスト・パイプライン並びにすべての実験から発生する複数テトラバイトの生マルチビュー画像データを登録し再構築するために効率的な自動画像処理のための高スループット計算戦略を提供する。
本明細書に提供されている例は、照射用の2つのライトシートと、蛍光を収集するための2つの検出器とを使用する4ビュー・システムについて説明しているが、追加の検出器及び/又は照射システムを追加することにより、より多くのビューが可能である。この例では、照射サブシステム112、114は、図1Bの概略図により明確に示されているように、試料101を2つの側からライトシートで照射できるように、互いに向き合っている。それぞれの検出サブシステム116、118は、試料101から放出された蛍光を収集し記録するように配置された1組の検出光学装置に加えて、それぞれの検出器又はカメラ106、108を含む。また、それぞれの検出サブシステム116、118は、一方の端部で検出器106、108及び検出光学装置のうちの1つ以上に結合され、もう一方の端部で電子機器コントローラ180とのインターフェースを取る、1組のアクチュエータも含む。
照射及び検出のそれぞれの組み合わせは異なるビュー又は眺めを提供する。(この例では)4つのビューを同時に捕捉することにより、(過去の順次イメージング技法のように)試料101を新しい位置に繰り返し回転させることによって引き起こされる遅延は低減されるか又は除去される。従って、顕微鏡システム100は、試料101を回転させる必要なしに複数の相補的ビューを同時取得するために設計されている。
照射サブシステム
図2〜図5Aも参照すると、照射サブシステム112、114のそれぞれは、それぞれの光ビームを出力するそれぞれの光源122、124と、試料101に誘導されるライトシート102、104を生成するように光ビームの方向、サイズ、形状寸法などの特性を変更する光学コンポーネントのそれぞれのセット132、134とを含む。照射サブシステム112、114内で生成されるライトシート102、104は、以下に述べるように、それぞれの光源122、124の出力をスキャンすることによって生成することができる。
光源122、124はレーザなどの1つ以上の光源を含むことができる。いくつかの実現例では、ライトシート102、104は単一の(1つの)光源から生成することができ、この単一光源からの出力は、それぞれの光源122、124として機能するように2つのビームに分割することができる。その他の実現例では、ライトシートは、それぞれの光源122、124として機能するように2つの個別の光源から生成することができる。
二光子励起配置の場合、単一のパルスTi:サファイアレーザは2つのビームに分割される単独光源にすることができる。この場合、光の波長は690〜1080nmの任意の値に調節することができる。
一光子励起配置のいくつかの実現例では、光源は6つのレーザダイオード及びダイオード励起固体(DPSS)レーザで構成することができ、そのレーザビームはダイクロイックミラーを使用して同じ光軸上ですべて結合され、従って、ユニット全体を単一の光源であるように見える何かに効果的に変化させる。この場合、多色イメージング或いは蛍光マーカ選択の柔軟性の増加を提供するので、2つ以上の光源を使用することにとって有利である。レーザダイオード及びDPSSレーザはそれぞれ別個の波長を提供し、これにより顕微鏡システム100は単一の実験内で異なるタイプの蛍光タンパク質及び複数のカラーチャネルで作用することができる。いくつかの実現例では、任意の所与の時間にその配置の1つの波長のみを活動化することができる。波長の活動化は電子機器コントローラ180及び計算システム190によって制御することができ、例えば、電子機器コントローラ180は、マイクロ秒の速度の範囲内でそれぞれの波長による寄与を活動化又は非活動化するレーザ又は音響光学チューナブルフィルタに信号を送ることができる。次に、レーザビームはビームスプリッタなどの静的光学素子を使用して2つのビームに分割されるので、両方の照射サブシステム112、114は同時に光を受け取り、それぞれのサブシステム112、114内の高速レーザシャッタにより、それぞれのサブシステム112、114内で生成されたライトシート102、104の選択的活動化が可能になる。
その他の実現例では、それぞれの照射サブシステムのために専用のレーザシステム(又は光源)を提供することができ、それぞれの専用のレーザシステムは電子機器コントローラ180及び計算システム190によって個々に制御可能なものにすることができる。
例えば、光源122及び光源124はそれぞれ、柔軟性を提供するために複数の波長で動作する1つ以上の固体レーザ(ダイオード励起固体レーザなど)を含むことができる。一例では、それぞれの光源122、124は、ドイツ連邦共和国ロートガウ市ドゥーデンホーフェン市区のOmicron−Laserage Laserprodukte GmbHによって生産されたSOLE(登録商標)レーザライトエンジンを含む。このような光源の詳細はhttp://www.omicron−laser.de/の同社のウェブサイトで見つけることができる。このようなライトエンジンでは、別個の波長で動作する内部の個別レーザからの複数の出力を結合して、単一の出力を形成することができる。SOLE(登録商標)レーザライトエンジンからの出力は、適用例次第で1つ以上の光ファイバにより誘導することができる。光源122、124は、アクティブなレーザライン及びそのそれぞれのレーザ出力の制御を可能にするために電子機器コントローラ180内のコンポーネントに接続される。更に、単一出力を形成するために結合された後、例えば、405nm、445nm、488nm、515nm、561nm、594nm、642nm、及び685nmのレーザ波長を提供する近紫外から近赤外までの蛍光励起のためにこの出力を2つの照射アームに分割することが可能である。
その他の実現例では、異なるカラーチャネルを同時に記録できるように、任意の所与の時間に(同時に)異なるカラーを有する複数の光源及び/又は複数のライトシートを使用し、二色性ビームスプリッタ及び複数のカメラをそれぞれの検出サブシステム116、118に装備することが可能である。
光源122、124のそれぞれからの出力は光シャッタ123、125を使用して制御することができ、これにより試料101に到達するライトシート102、104のタイミングを制御し、その結果、どのライトシート102、104(例えば、ライトシート102のみ、ライトシート104のみ、又はライトシート102とライトシート104の両方)が任意の一瞬に試料101を照射するかを制御する。いくつかの実現例では、光シャッタ123、125はUniblitzレーザシャッタ(Uniblitz LS6ZM2−100レーザシャッタ又はUniblitz VS14S2ZM1−100レーザシャッタなど)である。これらの光シャッタはアパーチャを通って誘導される光を遮断することができ、光の遮断は、適用例次第で同期化、非同期化、又は制御することができる。従って、試料101での照射は、いずれかの側から同期的に又は非同期的に実行することができる。それぞれのドライバ又はアクチュエータ126、128は電子機器コントローラ180からの制御下でレーザシャッタ123、125を操作する。アクチュエータ126、128は、例えば、Uniblitz VMM−D3の3チャネル・ドライバにすることができる。
その他のタイプの光源も可能であり、光源の選択に対する制約としては、1つ又は複数の所望の波長(試料101内の蛍光体を励起するために選択又は変更することができる)、所望の出力、及び所望のビーム品質を含む。
光源122、124から出力される光ビームは、電子機器コントローラ180に接続されたそれぞれのアクチュエータシステム133、135によって駆動される光学コンポーネントのそれぞれのセット132、134を通って誘導される。一般に、光学コンポーネントのそれぞれのセット132、134は、例えば、ミラー、レンズ、及び対物レンズ、光学機械コンポーネント(対物レンズなど)、並びに電気光学コンポーネントを含むことができる。
明瞭にするために、光学コンポーネント・セット132及びそのアクチュエータシステム133について説明し、もう一方の光学コンポーネント・セット134及びそのアクチュエータシステム135は同様に設計されているので、これらの要素について個別の説明は行わない。
レーザ光は光シャッタ123を通って照射サブシステム112内の光源122から出て、光学スキャナ装置140に誘導され、その光学スキャナ140はx軸に沿って光ビームを偏向してライトシートを形成し、そのライトシートはfθレンズ141、チューブレンズ142、及び照射対物レンズ143に向かって誘導される。光学スキャナ装置140は入射レーザ光を偏向して、試料101内のx軸に沿ってライトシート102の高さを規定する角度範囲を生成する。そして、光学スキャナ装置140はfθレンズ141の焦平面に位置するように位置決めされ、その結果、巨視的ライトシートを生成するので、光学スキャナ装置140から出る光ビームの角度はfθレンズ141によってx軸に沿った変位又は方向に変換される。この1対のチューブレンズ142及び照射対物レンズ143はfθレンズ141から出力された巨視的ライトシートを試料101における微視的ライトシート102に集束させる。照射対物レンズ143は比較的長い作動距離の空気対物レンズにすることができる。照射対物レンズ143は、単一レンズを含むか或いは複数レンズとその他の光学素子の組み合わせを含む、顕微鏡対物レンズにすることができる。
この説明では、光学スキャナ装置140はx軸に沿って光ビームを偏向するが、適用例次第で他の軸に沿って光ビームを偏向できることは可能である。例えば、試料101を移動させずに容積イメージングを実行する場合、光ビームはz軸に沿って偏向させることもできる。その上、z軸に沿って光ビームを偏向して、互いに対してライトシート102、104を位置合わせすることが可能である。
光学スキャナ装置140は1つ以上の可動ミラー140によって形成することができる。ミラー140は、圧電ドライバなどのアクチュエータの制御下で移動可能なチップ/チルトステージ上に装着することができるか或いはミラーを含むPhysik Instrumente(PI)によるS−334ミニチュアピエゾチップ/チルトミラーなどのアクチュエータシステム内に統合することができる。もう1つの実現例として、ミラー140は、Cambridge Technologyによる6215HSM40Bモデルなどのガルバノメータスキャナを使用して制御することができる。XYスキャンヘッド内で2つのスキャナを組み合わせると、チップ/チルトミラーアセンブリと同じ角度自由度が提供されるが、より高速にすることができる。
圧電ドライバは、電子機器コントローラ180内にあるピエゾドライバモジュール及びピエゾサーボモジュールに接続することができる。例えば、PI S−334は、ミラー140の動きを制御するために圧電アクチュエータに電流を出力する増幅器を含むPI E−503ピエゾアンプモジュールと、PI E−509ピエゾサーボモジュールに接続することができる。ミラー140を制御するためのモジュールはいずれも、電子機器コントローラ180内のサブコントロールモジュール内に収納することができる。
fθレンズ141はスキャンミラー140の傾斜運動をx軸に沿ったレーザビームの変位(図5Aに矢印で示す)に変換する。チューブレンズ142及び照射対物レンズ143は、この例ではz軸に沿って検出サブシステム116、118と位置合わせされる試料101にレーザビームを集束させる。fθレンズ141は、例えば、450nm〜650nmの波長を有する光について機能するSill Opticsによる部品S4LFT4375などの色補正したレンズにすることができる。チューブレンズ142及び照射対物レンズ143は、Carl Zeiss、Nikon、又はOlympusなどの供給業者からの在庫から購入することができる。一例では、チューブレンズ142はOlympus U−TLU−1−2カメラチューブレンズであり、照射対物レンズ143は電子機器コントローラ180内の電子機器によって制御される圧電ポジショナ上に装着されたOlympus XLFLUOR 4x/340/0.28対物レンズである。例えば、照射対物レンズ143は、電子機器コントローラ180内で、Physik Instrumenteによって生産されたE−665などのアンプ/サーボコントローラによって制御されるPhysik Instrumenteによって生産されたP−725 PIFOCなどのロングトラベルスキャナに装着することができる。
更に、図示されていないが、光源122、124から出力される光ビームは、コントローラ付きの小型照射フィルタホイール(ニューヨーク州ホーソーンのLudl Electronics Products Ltd.によって製作されたDCサーボコントローラなど)上に装着することができるそれぞれの光学フィルタを通って誘導することができる。
いくつかの実現例では、照射サブシステム112内のすべての要素を操作するために必要な電子コンポーネントは電子機器コントローラ180内のコンポーネントの第1のセットによって制御することができ、照射サブシステム114内のすべての要素を操作するために必要な電子コンポーネントは電子機器コントローラ180内のコンポーネントの第2のセットによって制御することができる。これらのセット132、134内の特定の光学コンポーネントの選択は、通過させ誘導しなければならない光の波長、光が機能する出力、及び開口数又は焦点のサイズなどのその他の要因によって決まる。
検出サブシステム
次に、模範的な検出サブシステム116、118についてより詳細に考察する。いくつかの実現例では、図3に示されているように、サブシステム116、118はどちらも同じコンポーネントで設計される。例えば、試料101から放出される蛍光ライト(又は光子P)は対向する検出対物レンズ150、152によって収集され、それぞれの対物レンズ150、152からの収集された光はフィルタ154、156を通過し、このフィルタは検出すべき蛍光ライトの波長を中心とする波長帯域の外側の波長の光を拒絶する。フィルタ154、156はその他のフィルタとともにフィルタホイール(図示せず)上に装着することができ、従って、拒絶された光の波長は、単にホイールを新しい位置に回転させることによりホイール上の異なるフィルタを選択することによって変更することができるであろう。フィルタ154、156は、例えば、イリノイ州レークフォレストのIDEX Corporationの一部であるSemrock, IncによるBrightLine蛍光フィルタなどのショートパス又はバンドパスフィルタにすることができる。
フィルタ154、156からの光は、カメラ106、108のセンサ上にその光を集束させるそれぞれのレンズ158、160を通って誘導される。レンズ158、160はチューブレンズにすることができる。
検出対物レンズ150、152は、それぞれが単一のレンズを含むか又は複数レンズとその他の光学素子との組み合わせを含む、顕微鏡対物レンズにすることができる。いくつかの実現例では、検出対物レンズ150、152は高開口数の水浸対物レンズにすることができる。例えば、対物レンズは、Carl Zeiss、Nikon、又はOlympusなどの供給業者から購入することができる。検出対物レンズ150、152は、電子機器コントローラ180内でコネクタブロックに接続され、それによって制御される、スキャナ162、164に装着するか又は取り付けることができる。例えば、このスキャナは、ドイツ連邦共和国のPhysik Instrumente (PI) GmbH & Co. KGによって生産されたPIFOC(登録商標)PI P−725 PIFOCロングトラベル対物レンズ用スキャナなどのピエゾ作動スキャナ(ナノポジショナ)にすることができる。
フィルタホイールはLudl Electronic Products Ltd.から購入することができる。例えば、フィルタホイールはLudlによって生産された96A354 6スロットフィルタホイールにすることができる。フィルタホイールは、電子機器コントローラ180内でコネクタブロックに接続された1つ以上のサーボコントローラによって操作される。
チューブレンズ158、160はCarl Zeiss、Nikon、又はOlympusなどの供給業者から購入することができ、カメラ106、108は科学用CMOS(相補型金属酸化膜半導体)イメージセンサ(sCMOSセンサ)にすることができる。sCMOSセンサは、Andor Technology plc.又はPCO−TECH Inc.(旧The Cooke Corporation)から購入することができる。或いは、sCMOSセンサは、HamamatsuによるOrca Flash 4.0 sCMOSセンサにすることができる。カメラ106、108は、電子機器コントローラ180の一部である、Camera Link(登録商標)ケーブルなどの1対の標準的なデータ転送ケーブルによって計算システム190内の完全構成フレームグラバに接続される。
試料及び支持コンポーネント
次に、試料101並びにそれに関連する光学、機械、及び電気コンポーネントの説明を提供する。
図5A及び図5Bも参照すると、試料101は、試料101を照射サブシステム112、114及び検出サブシステム116、118のいずれにとっても光学的にアクセス可能にすることができる試料ホルダ166に取り付けられる。試料101及びホルダ166は、試料チャンバ168によって規定される中空スペース内に配置することができる。例えば、ホルダ166は、中実ベース201に装着されたガラス毛管200を含むことができる。試料ホルダ166のベース201は医療グレードのステンレス鋼で生産することができる。ホルダ166は特注の水封式柔軟試料ホルダにすることができる。
ホルダ166は、電子機器コントローラ180に接続され、並進ステージ及び回転ステージを提供する位置決めシステムに物理的に取り付けられる。並進ステージは、3つの直交方向に沿って、例えば、x軸、y軸、及びz軸に沿って、ホルダ166及びその結果、試料101を並進させるようにセットアップすることができる。回転ステージは、x軸の周りでホルダ166及びその結果、試料を回転させるようにセットアップすることができる。位置決めシステムは試料チャンバ168の内部又は外部にすることができる。
ホルダ166及びチャンバ168のうちの1つ以上は、試料101を特定の温度に維持するために一体型ペルティエ冷却器、加熱器、又は熱電ポンプなどの熱電冷却装置に接続することができる。
照射サブシステム112、114及び検出サブシステム116、118内の対物レンズは、試料101が位置決めされて位置する、チャンバ168の中心領域に向けられる。この実現例では、照射サブシステム112、114の軸(y軸である)は検出サブシステム116、118の軸(z軸である)に垂直に配向される。
いくつかの実現例では、ホルダ166(及びその結果、試料101)用の位置決めシステムは、National Instrumentsによって生産されたNI PXI−7354モーションコントローラなどの高性能ステッパ及びサーボモーションコントロールにすることができる。このコントロールは、Physik Instrumente (PI) GmbH & Co. KGによって生産されたC−809.40 4チャネルサーボアンプ/モーション入出力インターフェースなどの電子機器コントローラ180内のインターフェースに接続することができる。
チャンバ168は試料101及びホルダ166を収容するのに十分な大きさの体積を有する内部中空スペースを有し、例えば、4つの対物レンズによる同時ライトシート照射及び蛍光検出を可能にするためにすべての側面から完全光学アクセス可能なチャンバである。完全光学アクセス及び改善された試料位置決め制御(3次元の並進及び1次元の回転)は、顕微鏡サブシステムを2つの水平層に分割することによって実現することができる。例えば、すべての光学系は上部層に位置することができ、試料位置決めシステムは下部光学テーブル上の試料チャンバ168の下に位置することができるであろう。試料位置決めシステムは、(例えば、x軸に沿って)直立位置に構成することができ、従って、ホルダ166のガラス毛管200内の試料包埋のために例外的に柔らかい(0.4%)アガロースゲルの使用が可能になる。イメージング中の機械的安定度は、主として毛管が装着されているホルダ166の中実ベースによって提供される。
チャンバ168は、照射及び検出のために十分なビュー、この例では4つのビューを提供するように特注設計し構築することができる。これは灌流システムを含むことができる。試料チャンバ168は、試料ホルダ166を収納し、試料ホルダ166を試料位置決めシステム及び特注灌流システムに接続するためのマルチステージアダプタモジュールも収納することができる。位置決めシステムを使用すると、ホルダ166は、水封を破らずに3次元に並進し、その主軸(x軸)の周りで回転することができる。チャンバ168は、水浸検出対物レンズを収容するために2つの対向する側に開いており、レーザ・ライトシート照射のために残りの2つの側にカバーガラス付きの2つのウィンドウを含む。チャンバ168の上部は、機械又は光学アクセスのために開いており、冷光源による背景照射を可能にする。チャンバ168は、デュアルチャネルの12ローラポンプ(例えば、マサチューセッツ州ホリストンのHarvard ApparatusによるREGLO)によって操作される灌流システムに接続された入口及び出口弁を有する。このポンプは、Tygon(TM)チューブなど、化学薬品に対するあるレベルの耐性を有する透明で柔軟なチューブによってチャンバ168に接続することができ、このチューブは試料101の温度制御及び酸素化のためにベンチトップインキュベータ(TestEquityのモデル107ベンチトップ環境チャンバ)を通って誘導される。
いくつかの実現例では、試料位置決めシステムは、チャンバ168内の試料ホルダ166に磁気的に接続することができる。
上述の通り、チャンバ168は、試料101のための生理的条件を維持するために、所望の速度でチャンバ168の空洞内の緩衝蒸気の交換の可能にするポンプである特注の灌流システムも含むことができる。このような灌流システムは、例えば、マウスの胚など、培養するのが困難である可能性がある試料101による長期のイメージング実験のために、或いは周囲の媒体における温度、pH、酸素濃度、糖類、及びアミノ酸など、安定した環境条件を必要とするイメージングのために、有益である可能性がある。灌流システムは、チャンバ並びに試料101の周りの環境の温度調節を可能にするためにチャンバ168に熱的に接続された温度制御システムと組み合わせて使用することができる。
電子機器コントローラ
図6を参照すると、顕微鏡110のすべての光学及び機械コンポーネント(照射サブシステム112、114、検出サブシステム116、118、又は試料ホルダ166及び試料チャンバ168内のものなど)は、電子機器コントローラ180内に設けられた高性能リアルタイム電子機器コントローラ650によって操作され同期化される。リアルタイムコントローラ650は、計算システム190と通信して、350メガバイト/秒の速度で同時画像収集ワークフローを調整する。また、電子機器コントローラ180は、カメラ106、108に直接接続するために特殊なカメラリンク660も含むことができる。
光学顕微鏡110内の光学、機械、及び電気コンポーネントのすべてはコントローラ650内のコンポーネントに接続され、顕微鏡の「アーム」のそれぞれでリアルタイム制御を行い、それぞれのアームは照射サブシステム112、114又は検出サブシステム116、118のいずれかのものである。また、コントローラ650は、2つのライトシート102、104及びそれぞれの焦平面の急速相対位置決め及び配向のための自動位置合わせモジュールも含む。コントローラ650は、光学顕微鏡の様々な光学、機械、及び電気コンポーネントを変更して、蛍光信号を最適化するために20動作自由度を提供する。
一般的な一態様では、リアルタイム電子機器コントローラ650は、テキサス州オースティンのNational Instruments Corporation によるPXI−8110 2.2GHz Quad Core組み込みコントローラなどのリアルタイムコントローラである。このコントローラは、LabVIEW Real−Timeオペレーティング・システムを実行することができ、BNCコネクタブロック(同じくNational InstrumentsによるBNC−2110シールドコネクタブロックなど)にリンクされた3つの入出力インターフェースボード(同じくNational InstrumentsによるPXI−6733高速アナログ出力8チャネルボードなど)並びにシリアルインターフェースボード(同じくNational InstrumentsによるPXI−8432/2など)を装備している。リアルタイムコントローラ650は、ギガビット・イーサネットなどの高速データ伝送により計算システム190と通信する。
リアルタイムコントローラ650に加えて、電子機器コントローラ180は、個別のコントローラ上にモーションコントローラとアナログ及びデジタル入出力チャネルも含むことができる。モーションコントローラはNational InstrumentsによるPXI−7354モーションコントローラにすることができ、これは、それぞれ8つのアナログ出力と8つのデジタル入出力チャネルとを有する、National InstrumentsによるPXI−6733コントローラなどの複数の入出力コントローラを含むことができる。
すべての時間制約型タスクは電子機器コントローラ180内で実行することができ、残りのタスク(カメラ106、108によって記録されたフレームを収集し可視化することなど)は計算システム190に割り当てられる。
計算システム
もう一度図6を参照すると、計算システム190は、データを記憶し、検索し、処理する能力を有するワークステーションなどのコンピュータを含むことができる。従って、このコンピュータは、モニター又はプリンタなどの1つ以上の出力装置600と、キーボード、マウス、タッチディスプレイ、又はマイクロホンなどの1つ以上のユーザ入力インターフェース602と、特定のタスクを実行するための専門ワークステーションを含む1つ以上の処理装置604と、メモリ(例えば、ランダムアクセスメモリ又は読み取り専用メモリ或いは仮想メモリなど)606と、ハードディスクドライブ、ソリッドステートドライブ、又は光ディスクなどの1つ以上の記憶装置608などのハードウェアを含む。処理装置は、スタンドアロンプロセッサにすることができるか、或いは本来的にワークステーションなどのサブコンピュータにすることができる。
専門ワークステーションは、メモリに加えて、実装されている処理装置と、特定のタスクを実行するためのソフトウェアとを含む。専門ワークステーションとしては、画像収集ワークステーション610、画像処理ワークステーション620、及び任意選択の画像セグメント化追跡ワークステーション630を含む。
記憶装置608は、とりわけ、画像収集ワークステーション610から情報を受け取り、追加の処理能力のためにそれ自体のプロセッサを受け入れるように装備されている画像データ管理記憶ユニット618を含む。
ワークステーションはそれ自体のソフトウェアモジュールを含み、そのモジュールは電子機器コントローラ180内のハードウェアに何を実行すべきかを指示する1組の命令を含む。
計算システム190は、数日間の連続画像収集を伴う高速イメージング実験のために設計される。計算システム190は、試料あたり10テラバイトまでの全データセットサイズで中断なしの高速イメージングセッションにおいて百万枚を超える高解像度画像を記録することができる。高速記録を可能にするために、画像収集ワークステーション610を画像データ管理ユニット618及びコントローラ650に接続するラインのそれぞれは、ガラスファイバ・ネットワークパイプラインとしてセットアップし、10ギガビット/秒のデータ速度を提供し、従って、長期イメージングセッションのために一千万枚までの高解像度画像又は試料101あたり100テラバイトの記録を可能にすることができる。画像データ管理ユニット618が10:1という平均比率を有する3次元ウェーブレット圧縮技法を使用する場合、1ペタバイトの最大記録容量を実現することができる。
画像収集ワークステーション610及びマルチビュー画像処理ワークステーション620は、それぞれ内容ベースの画像登録及びマルチビュー画像融合のために開発され、これは約200メガバイト/秒の速度で生画像データを処理するための光学実現例に関する従来の知識を効率的に取り入れている。画像収集ワークステーション610は、リアルタイム画像登録が可能であり、大規模データ管理のために画像処理ワークステーション620と統合される。計算システム190は複数のビューを同時に取得するので、イメージングボリュームIV内の基準マーカの必要なしに、画像収集ワークステーション610内で高速かつ正確な画像登録(画像の位置合わせ)が達成される。
一実現例では、計算システム190は、3.3GHzで動作する処理装置604内の12個の物理的コアプロセッサを有し、メモリ606内の64ギガバイト(GB)のRAMにアクセスする、Windowsベースのパーソナルコンピュータである。処理装置604はLabVIEW(登録商標)Developer Suiteを実行することができる。また、メモリ606は、2×5TBという全容量を有する複数のハードディスクドライブからなる高速RAIDシステム(それぞれ600GBの容量を有する22個のハードディスクがそれぞれ2ディスクの冗長性で2つのRAID−6アレイに結合されている)と、2つのNI PCIe−1429完全構成フレームグラバも含むことができる。2つの仮想ディスクドライブを有することにより、それぞれのカメラ106、108に1つのドライブを割り当てること又は単一のカメラ106、108のみを使用して両方のドライブに交互に画像を書き込むことが可能になる。しかし、典型的に、1回の実験に両方のカメラ106、108が使用される。
以下の説明では、デカルト座標系を形成するために検出サブシステム116、118の光軸としてz軸を参照し、照射サブシステム112、114の光軸としてy軸を参照し、残りの軸としてx軸を参照して、計算システム190におけるワークフローについて短い説明を提供する。
一般に、画像収集ワークステーション610は画像の登録を実行し、これはカメラ106、108からの画像を位置合わせするプロセスである。一般に、画像処理ワークステーション620は画像の融合を実行し、これは登録画像(registered image)を単一の表現又は画像に結合するプロセスである。特に、画像の情報内容を単一の画像に結合することによって画像が融合される。融合に関する詳細については以下に述べる。
画像データ管理ユニット618は、600メガバイト/秒の持続的データストリーミング、100テラバイトサイズのデータセットの中断なしの長期画像収集、及びウェーブレットベースの損失なしの画像圧縮(例えば、10倍)のための高スループット画像記憶パイプラインを提供する。
いくつかの実現例では、画像収集ワークステーション610は、画像を処理するためにカメラ106、108のそれぞれについて1つずつ、1対の6コア中央処理装置(CPU)を含む。CPUは、例えば、カリフォルニア州サンタクララのIntel Corporationから購入されたXeon(登録商標)プロセッサX5680にすることができる。また、画像収集ワークステーション610は、画像リングバッファ及びオンライン処理のためのRAM(例えば、Kingstonによる144GB DDR−3 RAM)などの専用のメモリ、高速画像収集のために22個のSAS−2ハードディスク(例えば、SeagateによるCheetah 15K.7)がRAID−6に結合された24チャネルRAIDコントローラ(例えば、Adaptecによる52445モデル)、オンラインデータストリーミングのための10ギガビットファイバネットワークアダプタ(例えば、Intel CorporationのEXPX9501AFXSRなど)、GPUベースの処理のためのグラフィックスアダプタ(例えば、Nvidia CorporationのGeForce GTX470など)、2つのカメラリンク・フレームグラバ(例えば、Neon、BitFlow、又はNational InstrumentsのPCIe−1429など)、及びサーバボード(例えば、SupermicroのX8DAH+−Fなど)も含むことができる。
画像収集ワークステーション610は、光ファイバにより生のマルチビューデータストリームを画像処理ワークステーション620及び画像データ管理ユニット618にリレーする。ワークステーション610で使用されるソフトウェアは、高スループットマルチビュー画像処理及びリアルタイム画像データ管理を提供するために、例えば、Matlab及びC++で作成することができる。
いくつかの実現例では、画像処理ワークステーション620は、1対の6コアCPU(例えば、カリフォルニア州サンタクララのIntel Corporationから購入されたXeon(登録商標)プロセッサX5680など)、96GB DDR−3 RAM(Kingston)、オペレーティング・システムのために2つのSAS−2ハードディスク(ToshibaのAL11SE 147GB)がRAID−1に結合され、画像データバッファのために10個のSAS−2ハードディスク(ToshibaのAL11SE 600GB)がRAID−6に結合された16チャネルRAIDコントローラ(Adaptecの51645)、オンラインデータストリーミングのための10ギガビットファイバネットワークアダプタ(Intel CorporationのEXPX9501AFXSR)、GPUベースの処理のための高性能グラフィックスアダプタ(Nvidia CorporationのQuadro FX5800)、及びサーバボード(Intel CorporationのS5520SC)を含む。
上述の通り、画像データ管理ユニット618は、ギガビット光ファイバによって画像収集ワークステーション610及び画像処理ワークステーション620に接続され、トリプルチャネルSASインターフェース及び10ギガビットファイバネットワークアダプタ(Intel CorporationのEXPX9501AFXSR)並びに2つの24ディスクRAID格納装置(InfortrentのESDS A24S−G2130)を備えたラックマウント・サーバを含む。RAID格納装置は48個のSATA−2ハードディスク(HitachiのUltrastar A7K2000)を装備し、これらは長期イメージング実験及び収集後のウェーブレット圧縮データ記憶のための2つのRAID−6アレイを形成する。
手順
図7を参照すると、手順700は、複雑な生物試料101をイメージングするために顕微鏡システム100によって実行される。最初に、生物試料101が準備される(702)。生物試料101は、化学的かつ生物学的に試料を準備し、試料をホルダ166に物理的に移送又は装着し、チャンバ168の内部にホルダ166を配置することにより、準備される(702)。
顕微鏡110は、例えば、ライトシート102、104の特性(位置合わせなど)を調節することにより、準備される(704)。顕微鏡110が準備されると、ライトシート102、104が生成される(706)。ライトシート102、104は、試料101内で空間的及び時間的オーバラップが発生するように、生物試料101を通って誘導される(708)。照射の開始及び蛍光の記録は、受精卵から複雑系への発達において生物試料101のイメージングを可能にするために、受精卵が形成された瞬間に開始することができる。
生物試料101から放出された蛍光は、生物試料101全体が捕捉されるまでカメラ106、108によって記録される(710)。次に、生物試料101のイメージングを続行しなければならないかどうかが判断される(712)。例えば、イメージングは、通常、発達中の胚内で強い筋収縮が始まるまで続行することができ、その時点で、試料101がより物理的にアクティブになり、イメージングするのがより困難になる可能性があるので、イメージングを停止することができる。しかし、この発達ポイントを過ぎてもイメージングを続行できることは可能である。
イメージングを続行する場合(712)、ライトシートと生物試料101との相対位置合わせがリセットされ(714)、蛍光がもう一度記録される(710)。生物試料101の画像が作成され(716)、追加の後処理を実行することができる(718)。
次に、生物試料101の準備(702)に関する考察を図5Bに関連して提供する。一例として、必要に応じて、薬品、標識付きタンパク質(蛍光体など)、又は抗体などの何らかの物質を試料101に顕微注射500することができ、絨毛膜除去(即ち、その後のイメージングを可能にするために絨毛膜(又は最も外側の膜)を一掃又は除去することができる)を行うこともできる。ホルダ166がガラス毛管200を含む場合、アガロースゲルなどの液体505で毛管200を事前充填することができ、次に試料101を毛管200内に慎重に移送510することができる。
毛管200内に移送した後、その軸の1つ(その前後軸など)が毛管200の対称軸に平行の配向になるように、毛管200内にあるアガロースゲル505内で試料101を中心に置き、適切な配向にすることができる。その上、このステップ中に試料101を安定した温度に維持することができる。ゲルが落ち着けるようにした後、試料101を含むゲル505のセクションを毛管200から強制的に取り出して515、図5A及び図5Bの図に示されているように、試料101への完全光学アクセスを可能にすることができる。次に、その対称軸が顕微鏡110のx軸と位置合わせするように、試料101がゲル505内に埋め込まれている毛管200をベース201に装着520することができる。そして、毛管200並びにゲル505内に埋め込まれた試料101を備えたベース201がチャンバ168内に装着525される。
顕微鏡は、顕微鏡110の以下の諸相のうちの1つ以上を調節することによって準備704することができる。例えば、装着された生物試料101を通過するy軸から離れるそれぞれのライトシート102、104の変位を調節することができる。装着された生物試料101を通過するy軸に対するそれぞれのライトシート102、104の傾斜を調節することができる。ライトシート102、104の相対強度を調節することができる。装着された生物試料101を通過するz軸に対する検出サブシステム116、118のそれぞれの傾斜及び変位のうちの1つ以上を調節することができる。検出サブシステム116、118のそれぞれの相対検出効率を調節することができる。
ライトシート102、104は、光学スキャナ装置140を使用する急速レーザスキャンによって生成される(706)。ライトシート102、104は、それぞれのライトシートが生物試料101内であって依然として時間的オーバラップの範囲内である別個の時点に到達するように閉じられる持続波ライトシートから生成することができる。ライトシート102、104はパルス波ライトシートから生成することができ、同時発生的に活動化することができる。
一光子励起を使用する一実現例の場合、ライトシート102、104の活動化は、任意の瞬間にイメージングされるそれぞれのz平面について2つの照射サブシステム112、114内で交互に行うことができる。例えば、一光子励起による連続照射を使用する場合、ライトシート102、104を互い違いに配置するために、照射サブシステム112、114の両方において高速レーザシャッタを使用することができる。
二光子励起を使用する一実現例の場合、照射プロセスにおける光散乱は最小限であり、蛍光励起は画像ボリュームIVに空間的に限られるので、中央領域103の外側における生物試料101内の画像品質の劣化はほとんど発生せず、従って、照射サブシステム112、114は同時発生的に活動化することができる。その上、それぞれのライトシート102、104からの蛍光寄与の重大なオーバラップなしに連続画像を得るのに十分なだけ、それぞれのライトシート102、104の2つの焦点ボリュームをわずかに変位させることは可能である。一光子励起とは対照的に、ライトシートが幅広になりすぎると二光子励起は効果的に抑制されるので、照射経路に沿った蛍光信号寄与のボケは全く発生しない。
一光子励起の場合、488nmで動作するレーザは、ショウジョウバエ胚のライブイメージングにおいて数百μWの出力に設定することができる。これは、取得した画像対あたり約7〜10μJの光エネルギに試料を曝すことに対応し、或いは記録された時点ごとに試料全体の4ビュー画像データセットにおいてすべての画像を取得する場合は約1〜3mJに対応する。二光子励起の場合、940nmの励起波長でショウジョウバエ胚のライブイメージングを実行するために約300mWのレーザ出力を使用することができる。
ライトシート102、104は、図1Bに概略的に示されているように、生物試料101内で空間的及び時間的オーバラップが発生するように試料101を通って誘導される。最初に、ライトシート102、104は、図8Aに示されているように基礎となるx−y画像平面(zAに位置する)に沿って誘導することができる。
生物試料101から放出された蛍光はカメラ106、108によって画像として検出され、この画像データは電子機器コントローラ180によって受け取られ、適切に処理され、次に計算システム190内で記録される(710)。
試料101のそれぞれのx−y画像平面における蛍光は、試料101全体が捕捉されるまで記録される(710)。例えば、zA画像平面における蛍光が記録された後(図8Aを参照)、生物試料101とライトシート102、104との間のz軸に沿った相対配置は、次のx−y画像平面を記録できるようにz軸に沿って1ステップ分だけ変更される。このようにして、生物試料101から放出された蛍光は、生物試料101のx−y画像平面のそれぞれにおいて増分式に記録される。
例えば、図8Bでは、zBに位置するx−y画像平面において蛍光が記録され、図8Cでは、zCに位置するx−y画像平面において生物試料101から放出された蛍光が記録され、図8Dでは、zDに位置するx−y画像平面において生物試料101から放出された蛍光が記録される。
いくつかの実現例では、ライトシート102、104及び検出サブシステム116、118を固定状態で維持しながら、生物試料101をz軸に沿って複数ステップで移動させることにより、生物試料101とライトシート102、104との間の相対配置を変更することができる。この方法の利点の1つは、生物試料101を移動させるリニアモータがライトシート102、104及び検出サブシステム116、118を制御するアクチュエータより大きいトラベルレンジを有するので、より大きいイメージングボリュームを記録することが可能であることである。
その他の実現例では、生物試料101を固定状態で維持しながら、ライトシート102、104及び検出サブシステム116、118をz軸に沿って複数ステップで同時発生的に移動させることにより、生物試料101とライトシート102、104との間の相対配置を変更することができる。このより高速のイメージング方法の利点の1つは、ライトシート102、104及び検出サブシステム116、118を制御するアクチュエータの方が生物試料101を作動させるリニアモータよりかなり高速であるので、イメージングするのにより高速になりうることである。このイメージング方法のもう1つの利点は、z軸に沿ったそれぞれのステップで最適か又は改善された画像品質を提供するために移動している時にライトシート102、104の位置を調節することができ、従って、試料101の全域で画像品質の改善を提供することができることである。
カメラ106、108が科学用CMOS(sCMOS)であるいくつかの実現例では、1つの画像を取得するために、カメラ106、108の露光時間を0.1〜10ミリ秒(ms)に設定することができる。この場合、sCMOSカメラのトリガモードの特定の特性により、典型的な画像収集時間は、ライトシート102、104をスキャンし、処理のために画像のデータを計算システム190に転送するための時間を含む、約10〜30msの範囲を有する。
いくつかの実現例では、カメラ106、108の両方が同期化され、即ち、2つの画像が収集時間範囲内で同時に記録される。従って、sCMOSカメラの場合、2048×2048ピクセル、即ち、4メガピクセルの画像サイズで、約2×100画像/秒の速度で記録することが可能である。
上記のより高速のイメージング方法を使用すると、1〜3秒の時間枠内で(z軸に沿って)約200μmの厚さを有する生物試料101の3次元データセット全体を記録することが可能である(710)。
いくつかの実現例では、生物試料101全体の画像のデータ取得が完了した後、計算システム190は生物試料101の画像を作成する(716)。上述の通り、いくつかの実現例では、胚内で強い筋収縮が始まると画像のデータ取得を完了することができる。しかし、何をイメージングする必要があるかによって、発達中のこの時点より前又は後にデータ取得を停止することが可能である。
その他の実現例では、計算システム190は顕微鏡110によるデータの取得中にデータを処理する。例えば、顕微鏡110が次のx−y画像平面において蛍光を記録し続けている間に計算システム190がデータを処理しているように、特定のx−y画像平面において生物試料101全体からの蛍光が捕捉された後に記録された(710)すべてのデータを処理するように計算システム190をセットアップできることが可能である。画像の作成と蛍光の記録をマルチタスク処理するためのその他のセットアップも可能である。
単純にするために、以下の考察では、ステップ716でイメージングが完了し、生物試料101の画像を作成するためにすべてのデータが収集されたものと想定する。
図9も参照すると、顕微鏡システム100は、取得され記録された(710)x−y画像平面のそれぞれにおいて生物試料101の画像を作成するための模範的な手順716を実行する。例えば、図8A〜図8Dにそれぞれ示されているzA、zB、zC、及びzDの模範的な値に対応するx−y画像平面のそれぞれにおいて生物試料101の1つの画像が作成される。
最初に、検出サブシステムの1つがイメージングすべき第1のビューとして設定される(900)。例えば、検出サブシステム116(図10Aに示されている通り)はイメージングすべき第1のビューとして設定することができる。
この設定ビュー(検出サブシステム116)で記録された生物試料101の画像が登録される(902)。これは、検出サブシステム116によって捕捉又は記録され、計算システム190内で記憶される画像が互いに位置合わせされることを意味する。特に、ライトシート102による生物試料101の照射から得られた画像がライトシート104による生物試料101の照射から得られた画像と位置合わせされる。
何らかの実現例では、設定ビューでの登録は以下の手順を伴う可能性がある。具体的には、画像収集ワークステーション610は、データ補間を実行し、ライトシート102による照射から得られた生物試料101の記録画像(recorded image)とライトシート104の照射から得られた生物試料101の記録画像を包む3次元マスクを計算する。包絡線の平滑化のためにガウスフィルタを使用することができる。結合されたマスクを使用すると、入射ライトシートの軸(y軸)に沿った生物試料101の幾何学的中心はx,z平面内の位置の関数として計算される。結果として生じる2次元座標マトリックスは、光学照射光路のy中心を1次近似におけるx,z平面内の位置の関数として示すものである。このマトリックスを使用すると、約10ピクセルの厚さのスライスが抽出され、バックグラウンド補正され、両方の画像について登録される。サブピクセル精度のz並進及びy回転を唯一の自由度として考慮すると、最適変換設定が決定される。
この第1の登録ステップのために光学光路の中心でデータスライスを選択することは、x,z平面に関する左右光学相称を有する生物試料101(ショウジョウバエ及びゼブラフィッシュ胚など)に有用であり、生物試料101の3次元光学特性に関する詳細な知識がない場合に一般的に妥当な開始点になる。ライトシート102による照射から得られた記録画像の座標系は基準又は第1のチャネルを構成することができ、ライトシート104による照射から得られた画像のデータ(第2のチャネル)は登録スライスについて決定された変換パラメータのグローバル適用により基準チャネルの座標系に変換することができる。
画像処理ワークステーション620はその後、登録スライスにおける平均強度を決定し、対応する強度補正係数を第2のチャネルに適用する。
次に、設定ビューにおける登録画像を融合して(904)この設定ビューにおける融合画像(fused image)を形成し、これは、登録画像の情報内容が1つの画像の単一表現に結合されることを意味する。例えば、大きい物体の異なる部分又は構造物が異なる登録画像で捕捉され、これらの画像がそれぞれの情報内容に関して互いに補完する場合、これらの画像の融合は、同時にしかも寄与する個々の画像に存在する分解能又は詳細レベルでこれらの部分又は構造物のすべてを示す単一融合画像を生成する。
何らかの実現例では、設定ビューでの登録画像の融合は以下の手順を伴う可能性がある。画像処理ワークステーション620は、Daubechies D4基底によるグローバル5レベルウェーブレット分解(最大品質の場合)、登録マトリックスの座標に対する20ピクセル遷移領域における線形混合(複雑な光学特性を有する大型凸状試料の場合)、又はグローバル演算平均(最大速度の場合)という3つの方法のうちの1つによって2つのデータセットを融合する。
次に、イメージングされた生物試料101について他のビューが存在するかどうかが判断され(906)、存在する場合、他の検出サブシステムがイメージングすべきビューとして設定される(908)。例えば、検出サブシステム118(図10Bに示されている通り)は次にイメージングすべきビューとしてステップ908で設定することができる。
この設定ビュー(検出サブシステム118)で記録された生物試料101の画像が登録され(902)、次に、上述の通り、この設定ビューにおける登録画像を融合して(904)この設定ビューにおける融合画像を形成する。
イメージングされた生物試料101について取られたその他のビューが全くないと判断された場合(906)、計算システム190は、それぞれのビューにおいて形成された融合画像(又は融合データセット)を登録する(910)。従って、2つのビューのみ存在する上記の例では、図10Cに示されているように、検出サブシステム116によって取られたデータから得られた融合画像は検出サブシステム118によって取られたデータから得られた融合画像と位置合わせされる。
例えば、画像収集ワークステーション610は、包絡線の平滑化のためにガウスフィルタを使用して、2つの融合データセット内の記録された生物試料101を包む3次元マスクを計算する。結合されたマスクを使用すると、検出サブシステムの軸(z軸)に沿った試料101の幾何学的中心は(x,y)の位置の関数として計算される。結果として生じる2次元座標マトリックスは、光学検出光路のz中心を1次近似における(x,y)の位置の関数として示すものである。次に、この座標マトリックスを使用して、融合データセットから10ピクセルの厚さのスライスを抽出する。サブピクセル精度のx及びy並進並びにz回転を自由度として考慮すると、この2つのスライスの登録のための最適変換設定が決定される。
2つの検出サブシステム116、118は典型的にこの位置で比較可能な画像品質を提供するので、光学検出光路の中心にある領域を第2の登録ステップのために使用することができる。サブシステム116に関する融合データセットは基準データセットを構成する。サブシステム118に関する融合データセットは、登録スライスについて決定された変換パラメータのグローバル適用によって基準データセットの座標系に変換される。
次に、計算システム190は、これらの位置合わせされた(登録された)融合データセットを、生物試料101内でライトシート102、104の空間的及び時間的オーバラップに対応する試料101の画像x−y平面を表す最終画像に融合する(912)。
一例として、画像処理ワークステーション620は、2つの検出サブシステム116、118のそれぞれにおいて登録画像を融合するための上記の手順に対する直接類推で、これらの検出サブシステム116、118に関する位置合わせされた(登録された)融合データセットについて操作する。
例えば、図11に示されているように、生物試料101から放出され、zCに等しいzに位置するx−y画像平面において記録された蛍光の場合(図8Cに示されている通り)、最終画像1111は、z=zCという値において生物試料101によるスライスについて作成される。生物試料101の画像は、zステップに沿ってイメージングされたそれぞれのx−y画像平面について作成される。これらの画像のすべてについて最大値投影を作成して生物試料101の3次元画像を形成することは可能である。
同じく図11に示されているように、記録画像1111の小領域1113について、任意の単位で測定された(t(i),t(i+ 100),t(i+200),t(i+300),t(i+400))という特定の時間間隔で時系列が取られる。この時系列は、試料101の1つの分裂周期(第13分裂周期など)中の核力学を示している。顕微鏡システム100は、生物試料101全体で細胞核内の染色体を定量的に解明する、このような画像を生成することができる。この例では、模範的な時間間隔が示されているが、以下の諸例で述べるように、より多くの時間間隔を捕捉することができる。
要約すると、手順700は同時4ビューイメージングデータを提供する。これは、計算システム190内の計算インフラストラクチャを大いに利用するためにマルチスレッドを使用し、完全処理モードで動作する時に200メガバイト/秒の画像データ処理速度を達成し、補間変換パラメータを使用する時に4倍高い速度を達成する。
これらの変換パラメータの計算及び画像融合は、計算システム190内のワークステーションによって実行することができ、例えば、Matlab及び/又はC++などの任意の適切なプログラミング言語でコード化することができる。この概念分離により、それぞれのモジュールにおける特定のデータタイプに関連する自由度のみを考慮し、従って、マルチビュー融合をより効率的に実行することができる。
上述の通り、後処理を実行することができる(718)。後処理は、計算システム190によって実行されるステップを伴う場合もあれば、オペレータによって実行されるステップを伴う場合もある。
例えば、図12A及び図12Bに関連して説明すると、アガロースゲル505内に埋め込むことができる生物試料101は、幼生1201の通常の孵化の制御のために解剖顕微鏡に転送することができる。生物試料101(ここでは幼生1201である)は生理学的発達を検証するためにモニターすることができるであろう。
もう1つの例として、計算システム190は、作成された2次元画像の「スタック」から単一画像を作成することができ、その画像のスタックはステップ912でそれぞれのzステップについて作成されたそれぞれの画像に対応する。この単一画像は、スタック全体を通して最大ピクセル強度レベルを単一平面上に投影することによって作成することができる。この単一画像は、顕微鏡システム100によって記録された3次元データの2次元可視化であると見なすことができ、記録の概要を提供することができる。
実施例
ショウジョウバエ胚のマルチビューイメージング
細胞レベル下の解像度で発達中のショウジョウバエ胚の同時マルチビューイメージングを実行するために顕微鏡システム100を使用した。
図13Aを参照すると、顕微鏡システム100を使用して一光子励起により核標識ステージ16ショウジョウバエ胚(背部側が上)の同時マルチビューインビボ記録からの光学スライスが得られる。ステージ16胚は、特定の数の発達サイクル(細胞分裂又は有糸分裂など)を経て、現在、特定の発達サイクルの最中にある胚である。このスライスはzの別個の値において画像平面に沿って取られ、例えば、図13Aに示されている画像は、z=16.25μm、26.40μm、42.65μm、54.84μm、77.18μm、91.40μm、123.89μm、148.26μm、158.42μm、及び176.70μmというzの値(ページの上部から始まる)において取られたものである。全体では、単一の試料101についてより多くの画像が記録される。例えば、約1マイクロメートル(例えば、2.03μm)の複数ステップで約100枚の画像を記録することができる。図13Aに描写されているスライスは、試料101のボリュームの全域で記録されたスライスの総数のうちの小さいサブセットのみを表している。
図13Bは、顕微鏡システム100を使用して一光子励起により得られたステージ5ショウジョウバエ胚の記録の最大値投影を示している。白い四角形は、この投影の下に示されている時系列に対応する領域を示しており、2つの光学ビュー間の遷移領域に位置する。図13Cは、図13Bの四角形領域の第13分裂周期中の核力学の時系列を示している。この核力学は、顕微鏡システム100を使用して一光子励起により胚全体で定量的に解明される。図13Dは、ショウジョウバエ胚上で顕微鏡システム100を使用して一光子励起中に得られた蛍光の画像の最大値投影を示している。融合しバックグラウンド補正した3次元画像スタックの背部側及び腹部側について個別の投影が示されている。1時点あたり15秒の収集期間を使用して、30秒間隔で胚を記録した。完全な記録は、受精後3時間〜18.5時間の間に記録された、約2,000時点に関する百万枚の画像(11テラバイト)を含む。PCに対する言及は極細胞を示し、VFに対する言及は腹部溝を示し、Aに対する言及は羊漿膜を示し、PSに対する言及は後部呼吸孔を示している。スケールバーは例のためにのみ示されている。
図14Aを参照すると、顕微鏡システム100により二光子励起を使用して核標識ステージ16ショウジョウバエ胚(背部側が上)のインビボ記録の光学画像が取られている。この例のスライスはzの別個の値において画像平面に沿って取られ、例えば、図14Aに示されている胚の画像は、z=17.05μm、30.86μm、46.69μm、60.49μm、78.36μm、103.12μm、123.42μm、140.48μm、152.66μm、及び166.46μmというzの値(ページの上部から始まる)において取られたものである。全体では、単一の試料101についてより多くの画像を記録することができる。例えば、約1マイクロメートル(例えば、2.03μm)の複数ステップで約100枚の画像を記録することができる。図14Aに描写されているスライスは、試料101のボリュームの全域で記録されたスライスの総数のうちの小さいサブセットのみを表している。
図14Bは、二光子励起方式を使用して顕微鏡システム100により取られたショウジョウバエ胚発育の微速度撮影記録の最大値投影を示している。融合した3次元画像スタックの背部側及び腹部側について個別の投影が示されている。1時点あたり20秒の収集期間を使用して、胚条収縮中の2時間の期間にわたり30秒間隔で胚全体を記録した。完全な記録は37,620枚の高解像度画像(387ギガバイト)を含む。図14Cは、二光子励起方式を使用して顕微鏡システム100により取られたショウジョウバエ胚発育の微速度撮影記録の最大値投影を示している。1時点あたり20秒の画像収集期間を使用して、背部閉鎖及び腹部神経索形成中の3時間の期間にわたり30秒間隔で胚全体を記録した。完全な記録は68,460枚の高解像度画像(705ギガバイト)を含む。画像において、rGBという用語は収縮中の胚条を指し、Aという用語は羊漿膜を指し、VNCという用語は腹部神経索を指し、BLという用語は脳葉を指す。スケールバーは例のためにのみ示されている。
これらの画像から明らかなように、この記録には、順次マルチビューイメージングに固有の空間及び時間アーチファクトがなく、合胞性胞胚葉における総合的な核追跡を可能にする特性である核運動について優れた時間サンプリングを提供する。
一光子励起方式(その結果は図13A〜図13Dに示されている)は、小さい浸入度について優れた信号対雑音比を提供するが、胚内部深くの構造物を捕捉することはあまりできなかった。対照的に、二光子励起方式(その結果は図14A〜図14Cに示されている)は、一光子励起方式と比較した場合、自己蛍光を低減しており、後期発達段階についても胚についてほぼ完全な物理的適用範囲を提供した。二光子励起を使用した時に信号速度が潜在的により低くなるので、二光子励起方式は一光子励起方式より長い露光時間を必要とする可能性がある。
二光子励起方式を使用して胚全体について30秒という時間分解能が得られ、これは胚条収縮、背部閉鎖、及び腹部神経索形成中にグローバルな細胞力学を捕捉した。
ショウジョウバエ胚における細胞追跡
発達中のショウジョウバエ胚全体における細胞追跡は、これまでは技術的に困難なものであった。細胞挙動に関する印象的な定量研究が存在するが、既存の方法は部分的な空間観察に限定され、画像処理に関する時間のかかる半自動手法に頼っており、完全な胚を分析するために拡大縮小される可能性がある。
図15A〜図15Eを参照すると、基本的なイメージングに加えて、顕微鏡システム100はショウジョウバエ胚全体における細胞追跡を可能にする。図15Aに示されているように、順次ガウス混合モデル手法を使用して自動追跡結果が重ねられたビデオによる生画像データからショウジョウバエ合胞性胞胚葉全体におけるグローバル核追跡が生成される。画像は、第1の時点においてランダムカラー方式を使用して、第12分裂波の前であって第13分裂波の後のスナップショットを示しており、これは追跡情報を使用して娘核に伝搬される。図15Bに示されているように、ショウジョウバエ合胞性胞胚葉における第13分裂波中の核分裂のグローバル検出が示されており、非分裂核はシアンで示され、分裂核はマゼンタで示されている。分裂核のカラーは5時点以内に次第に退色してシアンに戻る。図15Cは、左側に核追跡情報と右側に形態学的核セグメント化を伴う再構築された胚の拡大図を示している。核追跡情報はランダムカラー方式から生成される(これは黒と白のランダムパターン方式に変換される)。図15Dは、核分裂後の時間の関数としての平均核速度を示している。t=0における値はすべての分裂前の核を表している。0より大きいtにおける値は有糸分裂後の時間tにおける分裂後の核を表している。平均値の小さい標準誤差(又はs.e.m.)(ライン厚に等しいか又はそれより小さい)は1時点あたり2,500〜5,000個以下の試料という大きい試料サイズから発生している。図15Eは、最近接隣接核間の距離の分布を示している。分裂後の分布の平均及び標準偏差は、7.57±1.34μm(第12波;n=1.44×10)及び5.52±0.99μm(第13波;n=4.66×10)である。
改善された空間時間的分解能を利用することにより、ショウジョウバエ胚細胞核は、顕微鏡システム100を使用して、合胞性胞胚葉全体において複数の分裂周期中に正常に再構築し追跡することができる。核は第12及び第13分裂波により追跡することができ、これは胚において最も速いグローバルプロセスのうちのいくつかを表す。核は、専門家によって評価されたように、偽陽性(検出されたが、存在しないもの)に関して94.74%±0.68%、偽陰性(検出されないもの)に関してほぼ100%の正確さで自動的に検出された。セグメント化は、(図15A及び図15Bに示されている通り)核位置及びサイズ推定値を提供するガウス混合モデル(GMM)の効率的な実現例と、(図15Cに示されている通り)完全な核形態学をもたらす拡散勾配ベクトル場アルゴリズムの3次元実現例という2つの独立した方法を使用して得られた。GMMベースのセグメント化及び追跡はGPU上で実現され、これは1時点あたりわずか40秒で胚全体において核力学の再構築を可能にした。
同時マルチビュー・ライトシート顕微鏡システム100における高い時間分解能のために、追跡情報を得るために前の時点からの混合モデルによりそれぞれの時点を初期設定することで十分であった。この手法は98.98%±0.42%のフレーム間追跡精度をもたらした。その分裂により核を追従するために、局所画像特徴に基づいて機械学習分級器を訓練した。この手法は、記録全体を通して93.81%±2.71%の核分裂検出連係精度をもたらした。グローバル核変位、核分裂の同期波、及び高速局所核変位(分裂後の娘核分離)という3つの別個のタイプの動きが定量化された。
結果は図15D及び図15Eに要約されている。分裂波の定量分析は、平均核運動速度が核分裂直後に最高になり(第12波で8.12±2.59μm/分及び第13波で7.21±2.21μm/分の平均±標準偏差;n=2,798及び4,852のフーバー・ロバスト推定量)、分裂後2.1分及び5.0分で2つの顕著な局所極大(第12波の場合;第13波の場合は3.8分及び6.3分)を示し、これらは新しいパッキングパターン(図15D)に向かうグローバル核個体群の緩和過程と関連することを明らかにしている。娘核間の平均距離は分離後最大1.25分(第12波)及び1.67分(第13波)に達し、これは胚内のグローバル平均最近接距離よりほぼ2倍高くなり(第12波で7.57±1.34μm及び第13波で5.52±0.99μmの平均±標準偏差;n=1.44×10及び4.66×10のフーバー・ロバスト推定量)、それぞれの分裂波の終わりによって核数がほぼ2倍に増加することにより、分裂波12の場合に8.76μm及び分裂波13の場合に5.68μmに緩和する。
核位置、核サイズ、及び核追跡の決定は、それぞれの画像をガウスの混合としてモデル化し、混合パラメータを時間全体について順次推定することにより、計算システム190内で実行された。ガウスにより核形状強度を近似すると、モデルの複雑さと形状情報との良好な兼ね合いが提供される。特に、それぞれの画像は以下のようにモデル化することができる。
ここで、Kは画像内の物体の数であり、μはそれぞれの核の中心位置であり、Σは共分散行列であり(それぞれの核の形状を楕円体として表す)、πは相対強度である。それぞれの画像が入力として与えられた場合、これらのパラメータは、例えば、期待値最大化アルゴリズムを使用して最尤法フレームワークで推定することができる。
同時マルチビュー・ライトシート顕微鏡システム100によって達成された精細な時間分解能及び優れた空間適用範囲により、時点Tに関する初期設定として時間Ti−1からのそれぞれの解を使用した。画像内のそれぞれのガウスが前の時点のガウスから派生する場合、追跡情報は直接回復することができる。細胞分裂を処理するために、分裂中の細胞と分裂していない細胞とを含む1組の例が収集され、機械学習分級器は局所画像特徴に基づいて訓練される。
ガウス混合モデルを使用する追跡は、グラフィックス処理装置(GPU)上で実現され、CUDA(TM)を使用して実現することができ、これは計算性能を増加し(その結果、100倍加速することができ)、単一のTesla GPU(Nvidia Corporation)を備えた処理ワークステーションを使用して1時点あたりわずか40秒で数千個の核及び数百万個のボクセルを有する胚全体における核位置及び運動の処理が可能になる。
ショウジョウバエ神経発達
図16A〜図16Gを参照すると、顕微鏡システム100を使用して、ショウジョウバエ神経系におけるニューロンタイプの特定化及び軸索ガイダンスを調査する。神経発生力学は、異なる発達段階における固定試料を比較することによって研究される場合が多いが、局所情況におけるライブイメージングによる場合もある。顕微鏡システム100は、胚神経系全体の発達力学に関するデータを記録しイメージングすることができる。
図16Aは、試料101としてのヒストン標識ショウジョウバエ胚について一光子励起方式で顕微鏡システム100を使用したイメージングの結果であって、受精後120〜353分間(時点0〜400)に3つの神経芽細胞と1つの表皮芽細胞から手作業で再構築された系統が重ねられたものを示している。示されている追跡カラーは時間を符号化し、スケールバーは30μmに対応する。図16Bは、図16Aで強調表示された追跡の拡大図を示している。緑色の球体は時点400における細胞位置を示している。星印は2回の神経芽細胞分裂で生成された6つの神経節母細胞をマークしている。NBという用語は神経芽細胞を指し、EBという用語は表皮芽細胞を指している。
図16C〜図16Eは、一光子励起方式を使用して顕微鏡システムで記録されたショウジョウバエ胚神経系発達の最大値投影(背部側及び腹部側)を示している。ショウジョウバエ(例えば、elav(C155)−GAL4、UAS−mCD8::GFP遺伝子導入)の胚は、1時点あたり15秒の画像収集期間を使用して、受精後9.5時間〜15.3時間の期間にわたり30秒間隔(約700時点)で記録された。経時的なGFP信号の増加について補償するために、計算システム190内で強度正規化が実行された。自己蛍光卵黄膜は図16Cにおいて計算的に除去された。
図16Fは、図16Eで強調表示されたエリアの拡大図を示している。図16Gは、一光子励起方式を使用して顕微鏡システム100で記録されたFtz−ng−GAL4,10XUAS−IVS−myr::GFP遺伝子導入胚(フォールスカラー・ルックアップテーブル)内の軸索形態形成の最大値投影の経過を示している。これらの画像は全カバーボリュームのうちの0.3%の小領域を表している。VNCという用語は腹部神経索を指し、PNSという用語は末梢神経系を指し、Bという用語は脳を指し、VMという用語は卵黄膜を指し、EIDという用語は複眼−触覚成虫原基を指し、VSCという用語は腹部感覚細胞を指し、LSCという用語は側部感覚細胞を指し、DSCという用語は背部感覚細胞を指し、Aという用語は触覚を指し、BCという用語は大脳交連を指す。星印はVNCの短縮を示している。示されているスケールバーは例として提供されており、以下の通りである。即ち、図16A及び図16Bではバーは長さ30μmであり、図16C〜図16Eではバーは長さ50μmであり、図16Fではバーは長さ10μmであり、図16Gではバーは5μmである。
elav(C155)−GAL4及びUAS−mCD8::GFPを表す遺伝子導入胚を使用してすべての分裂後ニューロンを可視化し、25秒及び30秒の時間分解能で胚神経系全体について微速度撮影一光子イメージングを実行し、700を超える時点について約400,000枚の高解像度画像(4テラバイト)で神経発達を捕捉した。胚全体の4ビュー・データセットを記録することは1時点あたりわずか2mJの光エネルギを必要とし、ごくわずかな光退色を示した。結果として生じるデータセットは、中枢神経系及び末梢神経系の発達に関する詳細な情報を提供し(図16C〜図16Fを参照)、軸索成長の力学における精細な詳細を明らかにする。例えば、微速度撮影記録は、腹腔感覚器のいくつかの集団(背部、側部、及び腹部)並びに腹部神経索における連結部の形成を示している。著しいことに、異なるセグメントにわたるこれらの細胞の力学は非常に固定化されたもののように見え、グローバルな手掛かりという役割を示している。また、このイメージングは、試料101の頭部領域及び後部セグメントにおける感覚細胞の力学も捕捉する。複眼−触覚成虫原基の形態形成全体を追従することができ、これは胚の脳から分離して前部内側方向に移動する。どちらもそれぞれの最終位置を確立するので、触覚原基は幼生の眼(Bolwig器官)から分離する。最初に互いから分離された2つの左右相称神経原性領域として始まり、頭部退化とともに後方に移動し始める、深く埋め込まれた胚脳の形態形成を追従することさえ可能である。交連の発達は高い時間分解能で可視状態である。
更に、顕微鏡システム100は、中枢神経系において希薄な発現を示すFtz−ng−GAL4,10XUAS−IVS−myr::GFP胚により高解像度実験を実行した。空間サンプリングは6倍を超えて増加し、同じ高時間分解能を維持し、8.5時間の間、同じ時間間隔(30秒)でイメージングし、約460,000枚の画像又は4.6テラバイトのデータを提供する。これらの記録は、グローバルプロセスを追従する能力を保持し、同時に優れた空間時間的分解能で軸索形態形成中の詳細な糸状仮足力学を明らかにする(図16Gを参照)。例えば、高速イメージング結果は、糸状仮足伸長及び探査のゾーンが長期間の間、成長円錐から近位に保持されることを示している。
更に、初期ショウジョウバエ胚における細胞力学の自動再構築を補完するために、試料101の後期発達段階における細胞追跡及び細胞系統分析のために顕微鏡システム100を使用することができる。例えば、二光子励起方式を使用すると、収縮中の胚条の非表在層において手動細胞追跡を実行することができる。加えて、神経芽細胞及び表皮芽細胞系統を一光子励起方式で追従することができる。一光子データの高い信号対雑音比により、400時点の全期間(約4時間;図16A及び図16Bに示されている通り)について原腸胚形成及びその後の細胞分裂による胞胚葉細胞の追跡が可能になった。これらの再構築は、第1の神経節母細胞の神経芽細胞葉裂及び誕生を含む、神経系発達の初期段階における細胞力学を捕捉する。
計算システム190は、試料101内の核の形態の取得を可能にするために特定のアクションを実行する。特に、計算システム190によって作成される画像I(x,y,z)は、流体流量式によって左右される媒体内に埋め込まれた引力(f)として蛍光強度をシミュレートすることによりセグメント化される。勾配ベクトル場v(x,y,z)=[u(x,y,z),v(x,y,z),w(x,y,z)]は、汎関数を最小限にする場として定義することができる。
ここで、Gσ(x,y,z)は標準偏差σを有する3次元ガウスを表し、*はたたみ込みを示す。簡単に言えば、変分法を使用すると、u、v、及びwを時間の関数として扱うことによって解くことができる1組のオイラーの方程式が得られる。
これらの線形放物線型方程式の定常解はオイラーの方程式の解であり、必要な流れ場をもたらす。正則化パラメータμは、式(1)内の拡散成分(第1項)対移流成分(第2項)のバランスを取るものであり、即ち、これはアルゴリズムによって行使される平滑化の量を決定し、雑音の存在下では増加しなければならない。
傾斜磁場計算の後に傾度流追跡が行われ、その場合、同様のボクセル・グループは同じシンクに向かって「流れる」ものとして識別された。これは「モザイク」画像を生成し、それぞれのタイル(1つのシンクの水たまり)は1つの物体のみを含む。このセグメント化はそれぞれのタイルを適応的にしきい値処理することにより最終決定された。計算システム190は、前景及び背景という2つのクラスを分離する最適しきい値を計算し、従って、それぞれの結合されたクラス内分散は最小限になる(大津の方法)。このしきい値より小さい値を有するボクセルは背景と見なされた。
記録の高い時間分解能により、Ti−1において収束した解によって時点Tについて拡散勾配ベクトル場セグメント化アルゴリズムの初期設定が可能になった。この結果、20倍を超える収束が加速し、高品質な形状情報を得るために不可欠であり、このアルゴリズムを大きい4Dデータセットに実用的なものにした。
計算システム190内に記憶され、画像(716)を作成するために処理されるデータセットはサイズが大きいものである(例えば、典型的に数十テラバイト以下になる可能性がある)。日常的にこれらのデータセットで作業する場合、顕微鏡システム100のオペレータは、特定のカラーチャネル、視野角、試料、又はカメラ106、108から生じる画像及び/又は画像フレームのみの空間及び時間的サブセットを選択することができる。これが行われる場合、計算システム190は、便利で高速で拡張可能な方法でしかも最小限のネットワーク及び入出力負荷により、画像の編成、ブラウジング、及び処理を容易にする個別のプログラムを記憶し実行することができる。このために、このようなコンピュータプログラムは、(a)それによりユーザが高度なデータサブセット選択を行えるようにする仮想フォルダ、(b)処理タスク定義がデータ選択から分離されること(再利用及びドキュメンテーションのため)、(c)カスタム処理コードの容易な実現のためのプラグインシステム、(d)Vaa3D及びImageJという外部プログラムへの接続、及び(e)仮想フォルダ及び処理タスクを定義するため並びにデータセットをブラウジングするため(画像及びそれに関連するメタ情報を閲覧するため)に便利なグラフィカルユーザインターフェースという概念を実現することができる。
要約すると、順次マルチビュー戦略の制限を克服し、大きい生きている試料における高速の動的事象について定量的な組織レベルのイメージングを可能にする、ライトシートベースの一光子及び多光子同時マルチビューイメージング及び画像解析を提供する完全な技術フレームワークについて説明してきた。このフレームワークは、試料サイズとは無関係に20ミリ秒の最大タイムシフトで複数の相補的光学ビューの取得によりほぼ完全な物理的適用範囲を提供する。相補的ビューの時間的対応は3桁を上回る規模で改善され、イメージング速度は順次4ビューイメージングによるライトシート顕微鏡検査法より20倍を超えて改善される。このシステムは、数日間までの間、350メガバイトs−1(175百万ボクセル/秒)での持続的データ取得のためにリアルタイム電子機器及び高度の計算インフラストラクチャを使用して、生理的条件下での高速長期イメージングのために設計されている。このシステムは、典型的に試料あたり数百万枚の高解像度画像及び数十テラバイト以下を含む、実験の高スループットマルチビュー画像融合及び画像データ管理のための計算上の解決策を含む。
その他の実現例では、照射サブシステム112、114内で生成されたライトシート102、104は、静的配置で生成することができ、従って、静的ライトシートになり得る。例えば、光学コンポーネント132、134は、望遠鏡レンズ対と、一方向のみに沿って光を集束させる円柱レンズとを含むことができる。
光源122、124は、パルスTi:サファイアレーザ(カリフォルニア州サンタクララのCoherent, Inc.によるChameleon Ultra IIなど)を含むことができる。光源122、124とそれぞれの光学コンポーネント・セット132、134との間に追加のモジュールを配置することができる。追加のモジュールは、光源122、124の出力を変更することができ、レーザ強度変調及びIRビームスプリッティングを提供することができる。このモジュールは、ビーム減衰サブモジュール(例えば、ニュージャージー州ニュートンのThorlabs Inc.によるAHWP05M−980装着無色半波長板及びGL10−Bグランレーザ偏光プリズム)、ドライバ付きポッケルスセル(コネチカット州ダンベリーのConoptics Inc.によるModel 350−80−LA−02 KD*Pシリーズ電気光学変調器及びModel 302RMドライバ)、並びにIRビームスプリッタ(Melles GriotによるPBSH−450−2000−100モデルなどの広帯域偏光キューブ型ビームスプリッタ及び中国のCasix, Inc.によるWPA1312−2−700−1000モデルなどの無色2分の1波長板など)から構成される。
照射及び検出アームの切り換え
図17を参照すると、顕微鏡システム1700は、生きている生物試料1701をイメージングするために使用される。顕微鏡システム1700は2つ以上の光学アーム(例えば、光学アーム1720及び1740)を有する光学顕微鏡1710を含み、それぞれのアームは照射サブシステム(光源ユニットともいう)と検出サブシステム(検出ユニットともいう)の両方を含み、光学アームのうちの少なくとも2つは非平行の(例えば、垂直な)光軸に沿って配置される。例えば、光学アーム1720は光源ユニット1722と検出ユニット1724とを含む。光源ユニットの少なくとも一部はその光学アームの検出ユニットとオーバラップし、その検出ユニットによって共用される。光学アームの軸は、それが光源ユニット及び検出ユニットのオーバラップ領域又は共用領域を通過する時に照射光の経路によって与えられる。光学アーム軸は、何らかの点で両者が交差する場合、他の光学アーム軸と非平行である。データ収集のために適切にセットアップされると、少なくとも2つの光学アーム軸は生物試料1701内で交差する。
それぞれの光学アームは、生物試料1701と光源ユニット及び検出ユニットとの間の光学データ分離装置(例えば、それぞれ、光学アーム1720及び1740の装置1723及び1743)を含み、光学分離装置は光源ユニットと検出ユニットとの間の光学データを分離してそれぞれの光学アームが照射機能と検出機能の両方を有することができるように構成される。光学データ分離装置は、光源ユニット及び検出ユニットの非オーバラップ領域によりこれらのユニットのオーバラップ領域を分離する。
顕微鏡システム1700は、データ取得間に生物試料を回転させる必要なしに2つ以上の垂直方向に沿って3次元データセットの記録を可能にする。顕微鏡システム1700は、生物試料の照射された平面の深さ全体にわたり均一照射を提供する。このようにして、それぞれの光学アーム内の照射サブシステムと検出サブシステムとの間で機能を切り換えることにより、追加の光学ビューが得られる。このような設計は、顕微鏡システム1700の点広がり関数を変更せずに生物試料の等方性分解能を提供することができる。
顕微鏡システム1700は生物試料1701を受け入れるように構成された試料領域1799を含む。顕微鏡システム1700は少なくとも第1及び第2の光学アーム1720及び1740を含み、それぞれの光学アームは試料領域1799を横切る光路を有し、その光路は光学アーム軸を規定する。それぞれの光学アームは光源ユニットと検出ユニットの両方を含み、それぞれの光学アームはそれぞれの別個のアーム軸に沿って配置される。
図17の設計では、光学顕微鏡1710は第1の光学アーム1720と第2の光学アーム1740とを含み、第1及び第2の光学アーム1720、1740のそれぞれのアーム軸は互いに平行ではない(この例では、互いに垂直であり、生物試料1701の内部で交わる)。第1の光学アーム1720は、光源ユニット1722及び検出ユニット1724と、第1のアーム軸1721に沿って試料領域1799を横切る光路とを含む。第2の光学アーム1740は、光源ユニット1742及び検出ユニット1744と、第2のアーム軸1741に沿って試料領域1799を横切る光路とを含む。
光源ユニット1722は、試料領域1799に向かう方向に沿って第1のアーム軸1721と平行な照射軸に沿って試料領域1799に向かって第1のライトシート1702Aを生成し誘導するように配置された光源及び1組の照射光学装置を含む。また、光源ユニット1722は、1つ以上の照射光学装置に結合された1組のアクチュエータも含む。
光源ユニット1742は、試料領域1799に向かう方向に沿って第2のアーム軸1741と平行な照射軸に沿って試料領域1799に向かって第2のライトシート1702Bを生成し誘導するように配置された光源及び1組の照射光学装置を含む。また、光源ユニット1742は、1つ以上の照射光学装置に結合された1組のアクチュエータも含む。
検出ユニット1724は、第2の光学アーム1740の照射軸に垂直な検出軸に沿って試料領域1799内に受け入れた生物試料1701から放出された蛍光F2の画像を収集し記録するように配置されたカメラ及び1組の検出光学装置を含む。第2の光学アーム1740の照射軸は第2のアーム軸1741と平行であるので、第1の光学アーム1720(及び検出ユニット1724)の検出軸も第2のアーム軸1741に垂直である。また、検出ユニット1724は、カメラ及び検出光学装置のうちの1つ以上に結合された1組のアクチュエータも含む。生物試料1701から放出され、第1の光学アーム1720の検出ユニット1724によって収集された蛍光F2は、少なくとも部分的に第2のライトシート1702B(第2の光学アーム1740から放出されたもの)と生物試料1701との相互作用により発生する。特に、第2のライトシート1702Bは試料1701内の蛍光体をより高いエネルギ準位に励起し、その結果、蛍光光子Pのその後の放出が行われ、蛍光光子P(蛍光F2として示されている)は第1の光学アーム1720の検出ユニット1724によって検出される。
検出ユニット1744は、第1の光学アーム1720の照射軸に垂直な検出軸に沿って試料領域1799内に受け入れた生物試料1701から放出された蛍光F4の画像を収集し記録するように配置されたカメラ及び1組の検出光学装置を含む。第1の光学アーム1720の照射軸は第1のアーム軸1721と平行であるので、第2の光学アーム1740(及び検出ユニット1744)の検出軸も第1のアーム軸1721に垂直である。また、検出ユニット1744は、カメラ及び検出光学装置のうちの1つ以上に結合された1組のアクチュエータも含む。生物試料1701から放出され、第2の光学アーム1740の検出ユニット1744によって収集された蛍光F4は、少なくとも部分的に第1のライトシート1702A(第1の光学アーム1720から放出されたもの)と生物試料1701との相互作用により発生する。特に、第1のライトシート1702Aは試料1701内の蛍光体をより高いエネルギ準位に励起し、その結果、蛍光光子Pのその後の放出が行われ、蛍光光子P(蛍光F4として示されている)は第2の光学アーム1740の検出ユニット1744によって検出される。
第1の光学アーム1720は、試料領域1799と光源ユニット1722の少なくとも一部分及び検出ユニット1724の少なくとも一部分との間の経路上に配置された光学データ分離装置1723を含む。光学データ分離装置1723は光源ユニット1722と検出ユニット1724との間で光学データを分離する。例えば、光学データ分離装置1723は、光源ユニット1722及び検出ユニット1724のコンポーネント内で第1のライトシート1702A及び蛍光F2を分離する。従って、光学データ分離装置1723は、蛍光F2が検出ユニット1724のカメラに向かって誘導されるが、光源ユニット1722の光源に向かって誘導されないことを保証し、光学データ分離装置1723は、第1のライトシート1702Aが検出ユニット1724内に誘導されずに試料領域1799に向かって光源ユニット1722の光源から誘導されることを保証する。また、光学データ分離装置1723は、その他の光学アームからのライトシート(ライトシート1702Bなど)が検出ユニット1724に入るのを阻止するように構成することもできる。
第2の光学アーム1740も、試料領域1799と光源ユニット1742の少なくとも一部分及び検出ユニット1744の少なくとも一部分との間の経路上に配置された光学データ分離装置1743を含む。光学データ分離装置1743は光源ユニット1742と検出ユニット1744との間で光学データを分離する。例えば、光学データ分離装置1743は、光源ユニット1742及び検出ユニット1744のコンポーネント内で第2のライトシート1702B及び蛍光F4を分離する。従って、光学データ分離装置1743は、蛍光F4が検出ユニット1744のカメラに向かって誘導されるが、光源ユニット1742の光源に向かって誘導されないことを保証し、光学データ分離装置1743は、第2のライトシート1702Bが検出ユニット1744内に誘導されずに試料領域1799に向かって光源ユニット1742の光源から誘導されることを保証する。また、光学データ分離装置1743は、その他の光学アームからのライトシート1702が検出ユニット1744に入るのを阻止するように構成することもできる。
光学データ分離装置1723、1743は、2つのユニット(光源ユニット1722、1742及び検出ユニット1724、1744)の光路が交わる位置にある。光学データ分離装置1723、1743は、ダイクロイックミラー又はビームスプリッタなどの色分解装置にすることができる。光学データ分離装置1723、1743は、照射中のレーザ・ライトシート(比較的短い波長にすることができる)を透過し、放出された蛍光ライト(比較的長い波長にすることができる)を反射するように構成することができる。その他の実現例では、照射中のレーザ・ライトシートは放出された蛍光ライトの波長より比較的長い波長にすることができる。
顕微鏡システム1700は、試料領域1799、光源ユニット1722、1742、及び検出ユニット1724、1744のうちの1つ以上に結合され、試料領域1799内に受け入れた生物試料1701を回転させずに、試料領域1799、光源ユニット1722、1742によって生成されたライトシート1702A、1702B、及び検出ユニット1724、1744のうちの1つ以上を線形軸に沿って互いに対して並進させるように構成された並進システム1770も含む。
多くの生物試料のイメージングに必要ではないが、顕微鏡システム1700は第3の光学アーム1730及び第4の光学アーム1750も含むことができる。第3及び第4の光学アーム1730、1750に関する簡単な説明は次に提供するが、多くのタイプの生物試料をイメージングするために2つの光学アーム(1720及び1740など)のみで十分である場合でも、図示され記載されている残りの実現例は4つの光学アーム1720、1730、1740、1750をすべて含んでいる。
第3の光学アーム1730は、第3の光学アーム1730の照射軸が第1の光学アーム1720の照射軸と平行になり、従って、第1のアーム軸1721と平行になるように、第1の光学アーム1720に対向して配置される。第3の光学アーム1730は、光源ユニット1732及び検出ユニット1734と、第1のアーム軸1721に沿って試料領域1799を横切る光路とを含む。第4の光学アーム1750は、第4の光学アーム1750の照射軸が第2の光学アーム1740の照射軸と平行になり、従って、第2のアーム軸1741と平行になるように、第2の光学アーム1740に対向して配置される。第4の光学アーム1750は、光源ユニット1752及び検出ユニット1754と、第2のアーム軸1741に沿って試料領域1799を横切る光路とを含む。
光源ユニット1732は、試料領域1799に向かう方向に沿って第1のアーム軸1721と平行な照射軸に沿って試料領域1799に向かって第3のライトシート1704Aを生成し誘導するように配置された光源及び1組の照射光学装置を含む。また、光源ユニット1732は、1つ以上の照射光学装置に結合された1組のアクチュエータも含む。
光源ユニット1752は、試料領域1799に向かう方向に沿って第2のアーム軸1741と平行な照射軸に沿って試料領域1799に向かって第4のライトシート1704Bを生成し誘導するように配置された光源及び1組の照射光学装置を含む。また、光源ユニット1752は、1つ以上の照射光学装置に結合された1組のアクチュエータも含む。
小さく透明なサンプルの場合、第1の光学アーム1720からの第1のライトシート1702A及び第2の光学アーム1740からの第2のライトシート1702Bのみを使用して生物試料1701の物理的適用範囲全体を得ることは可能である。生物試料1701内部の光散乱及び/又は光吸収により、より大きく透明ではない生物試料1701は、第1及び第2のライトシート1702A、1702Bによって容易に到達できない空間領域を有することができる。第3の光学アーム1730及び第4の光学アーム1750は、このようなより大きいか及び/又は透明ではない試料に関する追加情報(より高いコントラスト及びより高い分解能など)を提供する。
検出ユニット1734は、第2の光学アーム1740及び第4の光学アーム1750の照射軸に垂直な検出軸に沿って試料領域1799内に受け入れた生物試料1701から放出された蛍光F3の画像を収集し記録するように配置されたカメラ及び1組の検出光学装置を含む。第2の光学アーム1740及び第4の光学アーム1750の照射軸は第2のアーム軸1741と平行であるので、第3の光学アーム1730(及び検出ユニット1734)の検出軸も第2のアーム軸1741に垂直である。また、検出ユニット1734は、カメラ及び検出光学装置のうちの1つ以上に結合された1組のアクチュエータも含む。生物試料1701から放出され、第3の光学アーム1730の検出ユニット1734によって収集された蛍光F3は、少なくとも部分的に第2のライトシート1702B(第2の光学アーム1740から放出されたもの)と生物試料1701との相互作用或いは第4のライトシート1704B(第4の光学アーム1750から放出されたもの)と生物試料1701との相互作用により発生する。
検出ユニット1754は、第1の光学アーム1720及び第3の光学アーム1730の照射軸に垂直な検出軸に沿って試料領域1799内に受け入れた生物試料1701から放出された蛍光F5の画像を収集し記録するように配置されたカメラ及び1組の検出光学装置を含む。第1の光学アーム1720及び第3の光学アーム1730の照射軸は第1のアーム軸1721と平行であるので、第4の光学アーム1750(及び検出ユニット1754)の検出軸も第1のアーム軸1721に垂直である。また、検出ユニット1754は、カメラ及び検出光学装置のうちの1つ以上に結合された1組のアクチュエータも含む。生物試料1701から放出され、第4の光学アーム1750の検出ユニット1754によって収集された蛍光F5は、少なくとも部分的に第1のライトシート1702A(第1の光学アーム1720から放出されたもの)と生物試料1701との相互作用或いは第3のライトシート1704A(第3の光学アーム1730から放出されたもの)と生物試料1701との相互作用により発生する。
追加の光学アーム1730、1750が顕微鏡システム1700に含まれる場合、第1及び第2の光学アーム1720、1740のそれぞれの検出ユニット1724、1744は、以下のようにライトシート1704A及び1704Bと生物試料とのそれぞれの追加の相互作用により放出された蛍光を検出するように構成される。特に、第1の光学アーム1720の検出ユニット1724は生物試料1701から放出された蛍光F2を収集し、蛍光F2は少なくとも部分的に第4のライトシート1704B(第4の光学アーム1750から放出されたもの)と生物試料1701との相互作用により発生することもできる。更に、第2の光学アーム1740の検出ユニット1744は生物試料から放出された蛍光F4を収集し、蛍光F4は少なくとも部分的に第3のライトシート1704A(第3の光学アーム1730から放出されたもの)と生物試料1701との相互作用により発生することもできる。
図21Aも参照すると、それに沿って第1のライトシート1702Aが誘導される方向とは反対に第1の光軸1721に沿って誘導される第3のライトシート1704Aの使用により、照射軸(又は第1の光軸1721)に沿って互いに対してわずかに2つのライトシート1702A及び1704Aを変位させることが可能になり、同じく図1Bに関連して上述したように、この2つのライトシート1702A、1704Aが生物試料に沿って異なる軸位置でそれぞれのビームウェスト2105、2110(又は焦平面)に到達するようになっている。ビームウェストは最小値にあるビーム幅又はビーム径である。この戦略により、単一ライトシートによって可能になると思われるものより薄いライトシートで視野全体を覆うことができる。特に、集束ガウスビームがその直径内で十分均質である距離は、この直径の平方に比例し、従って、それぞれが1つのライトシートによって最適に覆われる2つの部分に視野を再分割することにより、単一シートの使用と比較してそれぞれのライトシートのビーム幅を2の平方根だけ低減することが可能になる。
要約すると、顕微鏡システム1700は、それぞれの光学アーム1720、1730、1740、1750が光源ユニット及び検出ユニットの両方を装備し、例えば、少なくとも2つの光学アーム1720、1740が互いに垂直に配置されるようにセットアップされる。顕微鏡システム1700は、そのボリューム全体にわたって生物試料1701から放出された蛍光を記録する。蛍光は、生物試料1701に誘導されたライトシートの波長に合わせて調整された蛍光体を含む、生物試料1701内の標識から放出される。このようにして、生物試料1701は第1のステージ(単一細胞など)から第2のステージ(胚など)に経時的に発達するので、生物試料1701内の細胞(例えば、ニューロン)などの生物学的構造物を追跡(即ち、トレース又は追従)することができる。取得した画像をまとめて融合し、等方性3次元分解能に近づく3次元データセットを得ることができる。
顕微鏡システム1700は、第2の光軸1741と平行で、第1の光軸1721に垂直な検出軸に沿って、(生物試料に対して)以下により詳細に述べるようにライトシート及び対物レンズを並進させる二重照射/検出構成を含む。例えば、図21Aに示されているように、いくつかの実現例では、光源ユニット1722、1732はそれぞれのライトシート1702A、1704Aを生成し、生物試料1701に誘導することができ、検出ユニット1744、1754は生物試料1701から放出されたそれぞれの蛍光F4、F5を検出する。顕微鏡システム1700は、アクティブな1対の光源ユニット(ユニット1722、1732)のスイッチを切り、他の光学アーム1740、1750内の他の1対の光源ユニット1742、1752(図21Bに示されている通り)を活動化し、アクティブな1対の検出ユニット(ユニット1744、1754)のスイッチを切り、他の1対の検出ユニット1724、1734(図21Bに示されている通り)を活動化するようにセットアップされる。次に、図21Bに示されているように、検出ユニット1724、1734は、第1の光軸1721と平行な(しかも第2の光軸1741と平行であって、前にスキャンした検出軸に垂直な)検出軸に沿って、(生物試料1701に対して)以下に述べるようにライトシート1702B、1704B及び対物レンズを並進させることにより、そのボリューム全体にわたって生物試料1701から放出されたそれぞれの蛍光F2、F3を記録する。
図18及び図19を参照すると、光学顕微鏡1710の概念に基づく光学顕微鏡1810を含む顕微鏡システム1800の模範的な一実現例が示されており、この実現例について次に説明する。
光学顕微鏡1810は4つの光学アーム1820、1830、1840、1850を含み、それぞれの光学アームはそれぞれのアーム軸に沿って配置され、それぞれの光学アーム1820、1830、1840、1850はそれぞれの光源ユニット1822、1832、1842、1852と、それぞれの検出ユニット1824、1834、1844、1853とを含む。光学アーム1820及び1840に関する詳細な説明は次に提供する。
第1の光学アーム1820は第1のアーム軸1821に沿って配置され、第2の光学アーム1840は第2のアーム軸1841に沿って配置される。第1のアーム軸1821はy軸と平行であり、第2のアーム軸1841はデカルト座標系のz座標と平行である。
第1の光学アーム1820の光源ユニット1822は、光源1960と、ライトシート1802Aの選択的活動化を可能にする照射シャッタ及び目標波長範囲の外側の光を遮断する照射フィルタを含むことができる光学制御システム1961と、光学スキャナ装置(1つ以上の回転可能又は可動ミラーなど)1963(図19に示す)を含むスキャン装置(scanning arrangement)1962と、fθレンズ1964(図19に示す)とを含む。光学スキャナ装置1963の可動ミラーのうちの一方は、x軸に沿って光源1960からの光ビームをスキャンしてライトシート1802Aを生成するために使用することができ、光学スキャナ装置1963の可動ミラーのうちのもう一方は、x軸に垂直な又は横向きの方向に沿ってライトシート1802Aをスキャンするために使用することができる。光源ユニット1822によって生成されるライトシート1802Aは、光源1960の出力をスキャンすることによって生成される。光源1960からの光ビームは光学スキャナ装置1963に誘導され、この光学スキャナ装置はx軸(図18のページの外側にある)に沿って光ビームを偏向させてライトシートを形成し、このライトシートがfθレンズ1964に向かって誘導される。光学スキャナ装置1963は入射レーザ光を偏向させて、試料1801内のx軸に沿ってライトシート1802Aの高さを規定する角度範囲を生成する。次に、光学スキャナ装置1963はfθレンズ1964の焦平面に位置するように位置決めされ、その結果、巨視的ライトシートを生成するので、光学スキャナ装置1963を出る光ビームの角度はfθレンズ1964によってx軸に沿った変位に変換される。更に、x軸スキャンの終わりに、光学スキャナ装置1963は光源1960からの光ビームを(x軸に垂直な方向に沿って)横向きに移動させ、その結果、ライトシート1802Aはz方向に沿って変位して生物試料1801内の隣接するx−y画像平面を照射する。
第1の光学アーム1820の光源ユニット1822は、第1の光学アーム1820の検出ユニット1824と少なくとも1つのコンポーネントを共用する。これらの共用コンポーネントはチューブレンズ1965及び共用対物レンズ1966である。光源ユニット1822及び検出ユニット1824の共用コンポーネントは、この例では二色性ビームスプリッタ1843などの二色性光学素子である光学データ分離装置によってそれぞれの光源ユニット1822及び検出ユニット1824の非共用コンポーネントから分離される。
光源ユニット1822の非共用コンポーネントから生物試料1801に向かってライトシート1802Aを通過させる場合、この1対のチューブレンズ1965及び共用対物レンズ1966はfθレンズ1964からの巨視的ライトシート出力を試料1801における微視的ライトシート1802Aに集束させる。共用対物レンズ1966は、単一のレンズ或いは複数レンズ及びその他の光学素子の組み合わせを含む、顕微鏡対物レンズにすることができる。
第1の光学アーム1820の検出ユニット1824はフィルタ1968とカメラ1969とを含む。従って、試料1801から放出された蛍光F2は、共用対物レンズ1966によって収集され、チューブレンズ1965を使用してカメラ1969上に集束される。フィルタ1968は、検出すべき蛍光F2の波長を中心とする波長帯域の外側の波長の光を拒絶する。その上、フィルタ1968は、フィルタホイール上の異なるフィルタを選択することにより拒絶した光の波長を変更できるように、別個の波長範囲を有するその他のフィルタとともにフィルタホイール上に装着することができる。フィルタ1968は、蛍光体に適用される励起のタイプ次第で、ショートパスフィルタ、ロングパスフィルタ、又はバンドパスフィルタにすることができる。例えば、蛍光体の一光子励起の場合、ライトシートの波長は一般に検出すべき蛍光の波長より短く、従って、二色性ビームスプリッタ1823はより長い波長をカメラ1969に透過するようにセットアップされ、従って、フィルタ1968はロングパスフィルタ又はバンドパスフィルタにすることができる。これに反して、蛍光体の二光子励起の場合、ライトシートの波長は検出すべき蛍光の波長より長く、従って、二色性ビームスプリッタ1823はより短い波長をカメラ1969に透過するようにセットアップされ、フィルタ1968はショートパスフィルタ又はバンドパスフィルタにすることができる。
第2の光学アーム1840の光源ユニット1842は、光源1970と、ライトシート1802Bの選択的活動化を可能にする照射シャッタ及び目標波長範囲の外側の光を遮断する照射フィルタを含むことができる光学制御システム1971と、光学スキャナ装置(1つ以上の回転可能又は可動ミラーなど)1973(図19に示す)を含むスキャン装置1972と、fθレンズ1974(図19に示す)とを含む。光源ユニット1822によって生成されるライトシート1802Bは、光源1970の出力をスキャンすることによって生成される。光源1970からの光ビームは光学スキャナ装置1973に誘導され、この光学スキャナ装置はx軸に沿って光ビームを偏向させてライトシートを形成し、このライトシートがfθレンズ1974に向かって誘導される。光学スキャナ装置1973は入射レーザ光を偏向させて、試料1801内のx軸に沿ってライトシート1802Bの高さを規定する角度範囲を生成する。次に、光学スキャナ装置1973はfθレンズ1974の焦平面に位置するように位置決めされ、その結果、巨視的ライトシートを生成するので、光学スキャナ装置1973を出る光ビームの角度はfθレンズ1974によってx軸に沿った変位に変換される。更に、x軸スキャンの終わりに、光学スキャナ装置1973は光源1970からの光ビームを(x軸に垂直な方向に沿って)横向きに移動させ、その結果、ライトシート1802Bはy方向に沿って変位して生物試料1801内の隣接するz−x画像平面を照射する。
第2の光学アーム1840の光源ユニット1842は、第2の光学アーム1840の検出ユニット1844と少なくとも1つのコンポーネントを共用する。これらの共用コンポーネントはチューブレンズ1975及び共用対物レンズ1976である。光源ユニット1842及び検出ユニット1844の共用コンポーネントは、この例では二色性ビームスプリッタ1843などの二色性光学素子である光学データ分離装置によってそれぞれの光源ユニット1842及び検出ユニット1844の非共用コンポーネントから分離される。
光源ユニット1842の非共用コンポーネントから生物試料1801に向かってライトシート1802Bを通過させる場合、この1対のチューブレンズ1975及び共用対物レンズ1976はfθレンズ1974からの巨視的ライトシート出力を試料1801における微視的ライトシート1802Bに集束させる。
第2の光学アーム1840の検出ユニット1844はフィルタ1978とカメラ1979とを含む。従って、試料1801から放出された蛍光F4は、共用対物レンズ1976によって収集され、チューブレンズ1975を使用してカメラ1979上に集束される。フィルタ1978は、検出すべき蛍光F4の波長を中心とする波長帯域の外側の波長の光を拒絶する。その上、フィルタ1978は、フィルタホイール上の異なるフィルタを選択することにより拒絶した光の波長を変更できるように、別個の波長範囲を有するその他のフィルタとともにフィルタホイール上に装着することができる。フィルタ1978は、ロングパスフィルタ、ショートパスフィルタ、又はバンドパスフィルタにすることができる。
第3の光学アーム1830は、その光学アーム軸が第1のアーム軸1821と平行になるように第1の光学アーム1820の反対側に配置され、第4の光学アーム1850は、その光学アーム軸が第2のアーム軸1841と平行になるように第2の光学アーム1840の反対側に配置される。
第3の光学アーム1830は、光源1980、光学制御システム1981、並びに光学スキャナ装置1983及びfθレンズ1984を含むスキャン装置1982という非共用コンポーネントを含む、第3の光源ユニット1832を含む。第3の光学アーム1830は、フィルタ1988及びカメラ1989という非共用コンポーネントを含む、第3の検出ユニット1834を含む。第3の光学アーム1830の共用コンポーネントは共用対物レンズ1986及びチューブレンズ1985である。光源ユニット1832及び検出ユニット1834の共用コンポーネントは、この例では二色性ビームスプリッタ1833などの二色性光学素子である光学データ分離装置によってそれぞれの光源ユニット1832及び検出ユニット1834の非共用コンポーネントから分離される。
第4の光学アーム1850は、光源1990、光学制御システム1991、並びに光学スキャナ装置1993及びfθレンズ1994を含むスキャン装置1992という非共用コンポーネントを含む、第4の光源ユニット1852を含む。第4の光学アーム1850は、フィルタ1998及びカメラ1999という非共用コンポーネントを含む、第3の検出ユニット1854を含む。第4の光学アーム1850の共用コンポーネントは共用対物レンズ1996及びチューブレンズ1995である。光源ユニット1852及び検出ユニット1854の共用コンポーネントは、この例では多色性ビームスプリッタ1853などの多色性(例えば、二色性)光学素子である光学データ分離装置によってそれぞれの光源ユニット1852及び検出ユニット1854の非共用コンポーネントから分離される。
それぞれの光学アーム1820、1840、1830、1850内のそれぞれの共用対物レンズ1966、1976、1986、1996は、少なくとも光学顕微鏡1810の回折限界と同じ大きさの視野を有し、検出ユニット1824、1844、1834、1854によって追跡される生物試料1801内の構造物(細胞など)を解明するのに十分な開口数を有する。
光学顕微鏡1810は、中空スペースを規定するチャンバ1812及びその中に生物試料1801が配置される試料領域1899も含む。生物試料1801は、図5Bに関連して上述されているホルダ166のようなホルダ1866上に配置される。
光学顕微鏡1810は、試料領域1899並びに光学アーム1820、1830、1840、1850のコンポーネントのうちの1つ以上に結合され、試料領域1899内に受け入れた生物試料1801を回転させずに、試料領域1899、光源ユニット1822、1832、1842、1852によって生成されたライトシート1802A、1802B、1804A、1804B、及び検出ユニット1824、1834、1844、1854のうちの1つ以上を線形軸に沿って互いに対して並進させるように構成された並進システム1870も含む。
模範的な並進システム1870は図19に示されている。並進システム1870は、それぞれの共用対物レンズ1966、1976、1986、1996に機械的に固定された1組の対物レンズ並進スキャナ1914、1915、1916、1917を含む。並進スキャナ1914及び1916はy軸(第1のアーム軸1821である)に沿ったいずれかの方向にそれぞれの共用対物レンズ1966、1986を並進(移動)させるように構成され、並進スキャナ1915及び1917はz軸に沿ったいずれかの方向にそれぞれの共用対物レンズ1976、1996を並進(移動)させるように構成される。対物レンズ並進スキャナは圧電制御することができる。例えば、対物レンズ並進スキャナ1914、1915、1916、1917は、Physik Instrumente(PI)によって製作され、PIによって製作されたE−665−CRコントローラなどのLVPZTピエゾアンプ/ポジションコントローラに接続されたP−628.1CD−800μmトラベルレンジ・ピエゾスキャナにすることができる。
また、並進システム1870は、それぞれの検出ユニット1824、1834、1844、1854のコンポーネントに結合された1組の検出並進スキャナ1924、1925、1926、1927も含むことができる。並進システム1870は、それぞれの光源ユニット1822、1832、1842、1852のコンポーネントに結合された1組の光源並進スキャナ1934、1935、1936、1937も含むことができる。
また、並進システム1870は、そのそれぞれの光源ユニット1822、1842、1832、1852内に光学スキャナ装置(回転可能又は可動ミラーなど)1963、1973、1983、1993も含む。光学スキャナ装置1963、1973、1983、1993は、x軸に沿ってそれぞれの光源1960、1970、1980、1990からの光ビームをスキャンしてそれぞれのライトシート1802A、1802B、1804A、1804Bを形成するだけでなく、x軸に垂直な方向に沿ってライトシート1802A、1802B、1804A、1804Bをスキャンするように構成される。従って、光学スキャナ装置1963はz軸に沿ってライトシート1802Aをスキャンし、光学スキャナ装置1983はイメージング中にz軸に沿ってライトシート1804Aをスキャンし、これらのライトシートがx−y画像平面のそれぞれを通して移動するようになっている。その上、光学スキャナ装置1973はy軸に沿ってライトシート1802Bをスキャンし、光学スキャナ装置1993はイメージング中にy軸に沿ってライトシート1804Bをスキャンし、これらのライトシートがz−x画像平面のそれぞれを通して移動するようになっている。
図20を参照すると、電子機器コントローラ1880は、上記のリアルタイムコントローラ650などのリアルタイムコントローラ2005を含むことができる。リアルタイムコントローラ2005は、光学アーム1820、1830、1840、1850のそれぞれの内部に新しい光学及び機械コンポーネントのための追加のコンポーネントを含むことになるであろう。電子機器コントローラ1880は計算システム1890と通信して、同時画像収集ワークフローを調整する。電子機器コントローラ1880は、それぞれの光学アーム1820、1830、1840、1850内のカメラ1969、1979、1989、1999に直接接続するための専用のカメラリンク2010も含むことができる。
光学顕微鏡1810内の光学、機械、及び電気コンポーネントのすべては、コントローラ2005内のコンポーネントに接続され、顕微鏡1810の「アーム」のそれぞれでリアルタイム制御を提供する。コントローラ2005は、1組のライトシート1802A、1804A及び1802B、1804B並びにそれぞれの焦平面の急速相対位置決め及び配向のための自動位置合わせモジュールも含む。コントローラ2005は、光学顕微鏡の様々な光学、機械、及び電気コンポーネントを変更して、それぞれの検出ユニット1824、1834、1844、1854によって検出された蛍光信号F2、F3、F4、F5を最適化又は増加するために20動作自由度を提供する。
一般的な一態様では、リアルタイム電子機器コントローラ2005は、テキサス州オースティンのNational Instruments CorporationによるPXI−8110 2.2GHz Quad Core組み込みコントローラなどのリアルタイムコントローラである。このコントローラは、LabVIEW Real−Timeオペレーティング・システムを実行することができ、BNCコネクタブロック(同じくNational InstrumentsによるBNC−2110シールドコネクタブロックなど)にリンクされた3つの入出力インターフェースボード(同じくNational InstrumentsによるPXI−6733高速アナログ出力8チャネルボードなど)並びにシリアルインターフェースボード(同じくNational InstrumentsによるPXI−8432/2など)を装備している。リアルタイムコントローラ2005は、ギガビット・イーサネットなどの高速データ伝送により計算システム1890と通信する。
リアルタイムコントローラ2005に加えて、電子機器コントローラ1880は、個別のコントローラ上にモーションコントローラとアナログ及びデジタル入出力チャネルも含むことができる。モーションコントローラはNational InstrumentsによるPXI−7354モーションコントローラにすることができ、これは、それぞれ8つのアナログ出力と8つのデジタル入出力チャネルとを有する、National InstrumentsによるPXI−6733コントローラなどの複数の入出力コントローラを含むことができる。
すべての時間制約型タスクは電子機器コントローラ1880内で実行することができ、残りのタスク(カメラによって記録されたフレームを収集し可視化することなど)は計算システム1890によって実行される。
計算システム1890は、データを記憶し、検索し、処理する能力を有するワークステーションなどのコンピュータを含むことができる。従って、このコンピュータは、モニター又はプリンタなどの1つ以上の出力装置2015と、キーボード、マウス、タッチディスプレイ、又はマイクロホンなどの1つ以上のユーザ入力インターフェース2020と、特定のタスクを実行するための専門ワークステーションを含む1つ以上の処理装置2025と、メモリ(例えば、ランダムアクセスメモリ又は読み取り専用メモリ或いは仮想メモリなど)2030と、ハードディスクドライブ、ソリッドステートドライブ、又は光ディスクなどの1つ以上の記憶装置2035などのハードウェアを含む。処理装置は、スタンドアロンプロセッサにすることができるか、或いは本来的にワークステーションなどのサブコンピュータにすることができる。
専門ワークステーションは、メモリに加えて、実装されている処理装置と、特定のタスクを実行するためのソフトウェアとを含む。専門ワークステーションとしては、画像収集ワークステーション2040、画像処理ワークステーション2045、及び任意選択の画像セグメント化追跡ワークステーション2050を含む。更に、専門ワークステーションとしては、得られたビューのそれぞれからのデータを結合するタスクを実行するマルチビュー画像位置合わせワークステーション2055を含む。データを結合することは、どのビューが追跡されている生物試料1801内の構造物の最も良好な又は最も明確な画像を提供するかを判断することを含むことができる。マルチビュー画像位置合わせワークステーション2055は、この位置合わせ及び結合を実行するためにビューのそれぞれからのデータセットについてマルチビュー・デコンボリューション・アルゴリズムを実行することができる。
記憶装置2035は、とりわけ、画像収集ワークステーション2040から情報を受け取り、追加の処理能力のためにそれ自体のプロセッサを受け入れるように装備されている画像データ管理記憶ユニット2060を含む。
ワークステーションはそれ自体のソフトウェアモジュールを含み、そのモジュールはそれぞれ、以下に述べるように、実行された時に電子機器コントローラ1880内のハードウェアに様々なアクションを実行させる1組の命令を含む。
計算システム1890は、数日間までの連続画像収集を伴う高速イメージング実験のために設計される。計算システム1890は、それぞれの記録画像が約10メガバイト(MB)のサイズであり、記憶容量が10TBである場合に、例えば、試料あたり10テラバイト(TB)の全データセットサイズで中断なしの高速イメージングセッションにおいて百万枚を超える高解像度画像を記録するようにセットアップすることができる。高速記録を可能にするために、画像収集ワークステーション2040を画像データ管理ユニット2060及びコントローラ2005に接続するラインのそれぞれは、ガラスファイバ・ネットワークパイプラインとしてセットアップすることができ、それにより10ギガビット/秒のデータ速度を提供し、従って、長期イメージングセッションのために一千万枚までの高解像度画像(例えば、それぞれの画像は10MBのサイズである)又は試料1801あたり100テラバイト以上の記録を可能にすることができる。画像データ管理ユニット2060が10:1という平均比率を有する3次元ウェーブレット圧縮技法を使用する場合、1ペタバイトの最大記録容量を実現することができる。
画像収集ワークステーション2040及びマルチビュー画像処理ワークステーション2045は、それぞれ内容ベースの画像登録及びマルチビュー画像融合のために開発され、これは約200メガバイト/秒の速度で生画像データを処理するための光学実現例に関する従来の知識を効率的に取り入れている。画像収集ワークステーション2040は、リアルタイム画像登録が可能であり、大規模データ管理のために画像処理ワークステーション2045と統合される。計算システム1890は複数のビューを同時に取得するので、イメージングボリュームIV内の基準マーカの必要なしに、画像収集ワークステーション2040内で高速かつ正確な画像登録(画像の位置合わせ)が達成される。
一実現例では、計算システム1890は、3.3GHzで動作する処理装置604内の12個の物理的コアプロセッサを有し、メモリ606内の64ギガバイト(GB)のRAMにアクセスする、Windowsベースのパーソナルコンピュータである。計算システム1890は、Windows7(64ビット)などの任意の適切なオペレーティング・システムを実行することができ、LabVIEW開発スイート(64ビット)などの任意の適切なアプリケーションを実行することができる。
以下の説明では、計算システム1890におけるワークフローについて短い説明を提供する。一般に、画像収集ワークステーション2040は画像の登録を実行し、これは対向する光学アーム内のカメラからの画像を位置合わせするプロセスである。従って、カメラ1969及び1989からの画像が位置合わせされ、カメラ1979及び1999からの画像が位置合わせされる。一般に、画像処理ワークステーション2045は、位置合わせされた画像の融合を実行し、これは登録画像を単一の表現又は画像に結合するプロセスである。特に、画像の情報内容を単一の画像に結合することによって画像が融合される。融合に関する詳細については以下に述べる。
画像データ管理ユニット2060は、600メガバイト/秒の持続的データストリーミング、100テラバイトサイズのデータセットの中断なしの長期画像収集、及びウェーブレットベースの損失なしの画像圧縮(例えば、10倍)のための高スループット画像記憶パイプラインを提供する。
画像収集ワークステーション2040は、光ファイバにより生のマルチビューデータストリームを画像処理ワークステーション2045及び画像データ管理ユニット2060にリレーする。ワークステーションで使用されるソフトウェアは、高スループットマルチビュー画像処理及びリアルタイム画像データ管理を提供するために、例えば、Matlab及びC++で作成することができる。
光源1960、1970、1980、1990はいずれも、レーザシステムにすることができる同じ主光源1898からのものにすることができる。例えば、主光源1898は、2つのOmicron SOLE−6エンジン(それぞれのエンジン内に4つの波長)並びに1本のデジタル信号伝送(オン/オフ)用ケーブルと波長及びSOLEあたり1本のアナログ信号伝送(レーザ出力など)用ケーブル、初期手動レーザ構成のためのSOLEあたり1本のUSBケーブルという顕微鏡入出力ハブへの通信インターフェースを含むことができる。主光源1898からの出力は4つのビームに分割され、それぞれがそれぞれの光源1960、1970、1980、1990を構成する。その他の実現例では、それぞれの光源1960、1970、1980、1990のために専用のレーザシステム(又は光源)を設けることができ、それぞれの専用のレーザシステムは電子機器コントローラ1880及び計算システム1890によって個々に制御可能にすることができる。
それぞれの光源1960、1970、1980、1990からの出力は光シャッタ1961、1971、1981、1991を使用して制御することができ、それにより生物試料1801に到達する他のライトシートに対してそれぞれのライトシート1802A、1802B、1804A、1804Bのタイミングを制御する。この光シャッタ1961、1971、1981、1991はアパーチャを通して誘導される光を遮断することができ、この光の遮断は、適用例次第で、同期化、非同期化、又は制御することができる。
他の光学アーム内の光シャッタと組み合わせて、それぞれの光源ユニット1822、1832、1842、1852内の光シャッタは、どのライトシート(例えば、ライトシート1802Aのみ、ライトシート1802Bのみ、又はライトシート1802A及びライトシート1802Bの両方)が任意の一瞬に試料1801を照射するかを制御する。従って、試料1801での照射はいずれかの側から同期的に又は非同期的に実行することができる。電子機器コントローラ1880に接続されたドライバ又はアクチュエータは、電子機器コントローラ1880からの制御下でそれぞれのレーザシャッタ1961、1971、1981、1991を操作する。
多色性ビームスプリッタ1823、1833、1843、1853は、例えば、(バーモント州ベローズフォールズの)Chroma Technology Corpによる多色性ビームスプリッタZT488/561rpc又はZT488/594rpcモデルにすることができる。フィルタ1968、1978、1988、1998は、例えば、イリノイ州レークフォレストのIDEX Corporationの一部であるSemrock, Inc.によるBrightLine蛍光フィルタにすることができる。共用対物レンズ1966、1976、1986、1996のそれぞれは、単一のレンズ或いは複数レンズ及びその他の光学素子の組み合わせを含む顕微鏡対物レンズにすることができる。
カメラ1969、1979、1989、1999は科学用CMOS(相補型金属酸化膜半導体)イメージセンサ(cCMOSセンサ)にすることができる。例えば、カメラ1969、1979、1989、1999は、CameraLinkケーブルにより計算システム1890内のフレームグラバに接続されたHamamatsu Orca Flash 4.0 v2 sCMOSカメラにすることができる。
照射光シャッタ1961、1971、1981、1991は、2つのUniblitz VMM−D3 3チャネルシャッタドライバ(ドライバあたり2つのシャッタで、第3のチャネルは空である)、顕微鏡入出力ハブへの通信インターフェース(電子機器コントローラ1880)、並びにデジタル信号(5V TTL)を伝送するシャッタあたり1本のフライングリードケーブルによって制御されたUniblitz LS6ZM2−100レーザシャッタにすることができる。
検出ユニット内のフィルタ1968、1978、1988、1998並びに光源ユニットの光学制御システム内の照射フィルタに使用できるフィルタホイールは、Ludlフィルタホイール(照射用に4つと検出用に4つ)にすることができる。これらは、4つのデュアルチャネルMAC6000DCコントローラ(照射用に1つと、MAC6000ごとの検出フィルタホイール用に1つずつ)、顕微鏡入出力ハブへの通信インターフェース(電子機器コントローラ1880)、並びにフィルタホイールあたり1本のRS−232シリアルケーブルによって制御することができる。
スキャン装置1962、1972、1982、1992は、1つのCambridge6220 XYスキャナがそれぞれの光学アーム内のMicroMaxシリーズ673xx二軸サーボドライバに接続されたガルバノメータドライバ、顕微鏡入出力ハブへの通信インターフェース(電子機器コントローラ1880)、並びにアナログ信号(0〜10V)を伝送するスキャナあたり2本のケーブルを使用して駆動することができる。
サンプル1801は、3つのPI M−111.2DG並進ステージ及び1つのPI M−116回転ステージに接続された4軸モーションコントローラPI C−884を含むサンプル位置決めシステム、並びに顕微鏡入出力ハブへの通信インターフェース(電子機器コントローラ1880)を使用して、チャンバ1812内に位置決めすることができる。
要約すると、顕微鏡システム1700、1800は、それぞれの光学アームがこの時点で光源ユニット及び検出ユニットの両方を装備するようにセットアップされる。顕微鏡システム1700、1800は、以下により詳細に述べるように、第2の光軸1741、1841と平行な検出軸に沿って(生物試料に対して)ライトシート及び対物レンズを並進させることにより、1つの照射/検出構成でそのボリューム全体にわたって生物試料1701、1801から放出された蛍光を記録する。例えば、図17に関連して説明すると、光源ユニット1722、1732はそれぞれのライトシート1702A、1704Aを生成し、生物試料1701に誘導することができ、検出ユニット1744、1754は生物試料1701から放出されたそれぞれの蛍光F4、F5を検出する。顕微鏡システム1700は、アクティブな1対の光源ユニット(ユニット1722、1732)のスイッチを切り、他の光学アーム1740、1750内の他の1対の光源ユニット1742、1752を活動化し、アクティブな1対の検出ユニット(ユニット1744、1754)のスイッチを切り、他の1対の検出ユニット1724、1734を活動化するようにセットアップされる。次に、顕微鏡システム1700は、第1の光軸1721と平行な(しかも第2の光軸1741と平行であって、前にスキャンした検出軸に垂直な)検出軸に沿って、(生物試料に対して)以下に述べるようにライトシート及び対物レンズを並進させることにより、そのボリューム全体にわたって生物試料から放出された蛍光をもう一度記録する。
図22を参照すると、手順2200は、複雑な生物試料1801をイメージングするために顕微鏡システム1800によって実行される。最初に、生物試料1801が準備される(2202)。生物試料101は、化学的かつ生物学的に試料を準備し、試料をホルダ1866に物理的に移送又は装着し、チャンバ1812の内部にホルダ1866を配置することにより、準備される(2202)。
次に、光学顕微鏡1810が準備される(2204)。例えば、光学顕微鏡は、ライトシート1802A、1802B、1804A、1804Bの特性(位置合わせなど)を調節することにより、準備することができる(2204)。
光学顕微鏡1810が準備されると(2204)、1つ以上の第1のライトシート1802A、1804Aが生成される(2206)。1つ以上の第1のライトシート1802A、1804Aは、試料1801内で空間的及び時間的オーバラップが発生するように、生物試料1801に向かって誘導される(2208)。1つ以上の第1のライトシート1802A、1804Aの時間的オーバラップは、光学顕微鏡1810の空間分解能限界に対応する分解能時間より小さい。しかも、このタイムシフト中に生物試料1801の追跡された構造物における空間的変位は光学顕微鏡1810の空間分解能限界より小さい。
1つ以上の第1のライトシート1802A、1804Aはそれぞれの経路に沿って誘導され、両方の経路は第1のアーム軸1821と平行な第1の照射軸と平行である。1つ以上の第1のライトシート1802A、1804Aは、x−y平面内にある第1の画像平面内で生物試料1801の少なくとも一部分と光学的に相互作用する。1つ以上の第1のライトシート1802A、1804Aは互いに異なる偏光状態を有することができる。
照射の開始及び蛍光の記録は、受精卵から複雑系への発達において生物試料1801のイメージングを可能にするために、受精卵が形成された瞬間に開始することができる。
生物試料1801から放出された蛍光F4、F5の画像は、それぞれの光学アーム1840、1850のカメラ1979、1999の検出軸に沿って、それぞれカメラ1979、1999によって複数の第1のビューのそれぞれにおいて記録される(2210)。これは、共用対物レンズ1976で蛍光F4を捕捉すること及び共用対物レンズ1976からのこの捕捉された蛍光F4を、蛍光F4の画像を記録するカメラ1979に誘導することを含む。また、これは、共用対物レンズ1996で蛍光F5を捕捉すること及び共用対物レンズ1996からのこの捕捉された蛍光F5を、蛍光F5の画像を記録するカメラ1999に誘導することも含む。蛍光F4、F5の画像は、それぞれの焦平面がライトシート1802A、1804Aの平面とオーバラップするようにそれぞれの光学アーム1840、1850の共用対物レンズ1976、1996が位置合わせされたことを保証することにより、カメラ1979、1999によって複数の第1のビューのそれぞれにおいて記録することができる。
ステップ2206〜2210は、生物試料1801全体をイメージングするために1つ以上の生成された第1のライトシート1802A、1804A及び光学アーム1840、1850の共用対物レンズ1976、1996がz軸に沿って複数ステップで並進される時にそれぞれのz位置で実行される。また、手順2200は、ステップ2206〜2210がy方向及びz方向に実行された後に生物試料1801を再位置決めすることも含むことができる。
次に、1つ以上の第2のライトシート1802B、1804Bが生成される(2212)。以下に記載されているいくつかの実現例では、1つ以上の第1のライトシート1802A、1804Aの生成後(2206)、しかも1つ以上のそれぞれの光源ユニット1822、1832の非活動化後に、1つ以上の第2のライトシート1802B、1804Bが生成される(2212)。以下に記載されているその他の実現例では、1つ以上の第1のライトシート1802A、1804Aの生成中に(2206)、1つ以上の第2のライトシート1802B、1804Bが生成される(2212)。1つ以上の第2のライトシート1802B、1804Bは互いに異なる偏光状態を有することができる。
試料1801内で空間的及び時間的オーバラップが発生するように、1つ以上の第2のライトシート1802B、1804Bが生物試料1801に向かって誘導される(2214)。1つ以上の第2のライトシート1802B、1804Bの時間的オーバラップは、光学顕微鏡1810の空間分解能限界に対応する分解能時間より小さいタイムシフトの範囲内である。しかも、このタイムシフト中に生物試料1801の追跡された構造物における空間的変位は光学顕微鏡1810の空間分解能限界より小さい。
1つ以上の第2のライトシート1802B、1804Bは、1つ以上の第2のライトシート1802B、1804Bがz−x平面と平行な第2の画像平面内で生物試料の少なくとも一部分と光学的に相互作用するように、第2のアーム軸1841と平行な第2の照射軸と平行であるそれぞれの経路に沿って誘導される。第2の照射軸は第1の照射軸と平行ではない。生物試料1801から放出された蛍光F2、F3の画像は、それぞれの光学アーム1820、1830のカメラ1969、1989の検出軸に沿って、それぞれカメラ1969、1989によって複数の第2のビューのそれぞれにおいて記録される(2216)。蛍光F2、F3の画像は、それぞれの焦平面がライトシート1802B、1804Bの平面とオーバラップするようにそれぞれの光学アーム1820、1830の共用対物レンズ1966、1986が位置合わせされたことを保証することにより、カメラ1969、1989によって複数の第2のビューのそれぞれにおいて記録することができる。
ステップ2212〜2216は、生物試料1801全体をイメージングするために1つ以上の生成された第2のライトシート1802B、1804B及びそれぞれの光学アーム1820、1830の共用対物レンズ1966、1986がy軸に沿って複数ステップで並進される間にそれぞれのy位置で実行される。また、手順2200は、ステップ2212〜2216がy方向及びz方向に実行された後に生物試料1801を再位置決めすることも含むことができる。
生物試料1801のイメージング(ステップ2206〜2216を含む)は、生物試料の所定の時間の発達まで続行される。例えば、イメージングは、発達中の胚(生物試料)内で強い筋収縮が始まるまで続行することができ、その時点で、試料1801がより物理的にアクティブになり、イメージングするのがより困難になる可能性があるので、イメージングを停止することができる。しかし、この発達ポイントを過ぎてもイメージングを続行できることは可能である。
手順2200中に、蛍光がもう一度記録される前に、1つ以上の第1のライトシート1802A、1804Aと生物試料1801との相対位置合わせ並びに1つ以上の第2のライトシート1802B、1804Bと生物試料1801との相対位置合わせをリセットすることは有用である可能性がある。生物試料1801のイメージングが完了する(即ち、蛍光画像のすべてが記録される2210及び2216)と、生物試料1801の画像が作成される(2218)。生物試料1801の画像は、その間に生物試料1801がスキャンされている時間の経過につれて発達する、生物試料1801内の1組の追跡された構造物(細胞など)を含む。従って、例えば、追跡された構造物は生物試料1801のある部分から生物試料1801の他の部分に移動する可能性があり、経路はイメージング中に可視化することができる。或いは、細胞などの追跡された構造物は有糸分裂により2つの細胞に分裂する可能性があり、この2つの細胞のそれぞれを追跡することができる。
ステップ2206〜2210を使用するイメージング(ライトシート1802A、1804A及び対物レンズ1976、1996をz軸に沿って並進させることを伴う)並びにステップ2212〜2216を使用するイメージング(ライトシート1802B、1804B及び対物レンズ1966、1986をy軸に沿って並進させることを伴う)から切り換えることは、ある程度の時間を要する。好ましくは、これらのイメージング方式のそれぞれから切り換えることはわずか数ミリ秒を要するものでなければならない。しかも、生物試料1801全体のスキャン(それぞれのx−y平面及びそれぞれのz−x平面において実行される)は、イメージング中の生物試料1801のボリューム及び画像平面の密度(スキャンされるそれぞれの画像平面間の距離である)次第で、数ミリ秒以上を要する可能性がある。
顕微鏡システム1800には異なる複数の動作モードが存在し、これらの異なるモードは、手順2200を使用して生物試料1801をスキャンしイメージングするための異なる方法である。動作モードは、情報の正確な分析を続行できるように、記録される情報(蛍光)が顕微鏡システム1800によってどのように分離されるかによって左右される。計算システム1890は、情報を正確に分析するために蛍光がどのように生成されるかを区別できる必要がある。
いくつかの実現例では、記録された情報はカラー又はスペクトルスペースで分離することができ、これは、その情報が別個の波長になり得ることを意味する。例えば、1つ以上の第1のライトシート1802A、1804Aが1つ以上の第2のライトシート1802B、1804Bとは異なる波長である場合、1つ以上の第1のライトシート1802A、1804Aは、第1の波長で蛍光F4、F5を放出する生物試料1801内の第1の組の蛍光体を励起するように構成することができ、1つ以上の第2のライトシート1802B、1804Bは、第2の波長で蛍光F2、F3を放出する生物試料1801内の第2の組の蛍光体を励起するように構成することができる。第1の波長は第2の波長とは別個のものであるので、計算システム1890は、情報の分析中にどのライトシートがどの蛍光を生成するかを区別することができる。
その他の実現例では、記録された情報は時間的スペースで分離することができ、これは、その情報が順次得られることを意味する。情報が時間的スペースで分離される場合、別個の波長を操作する必要はない。更にその他の実現例では、記録された情報は空間的スペースで分離することができ、これは、その情報が共焦点アパーチャを使用して分離されることを意味する。情報が空間的スペースで分離される場合、別個の波長を操作する必要はない。
次に、生物試料1801をスキャンしイメージングするためのこれらの模範的な動作モードについて説明する。
図23A〜図26を参照すると、第1の模範的な動作モードでは、1つ以上の第1のライトシート1802A、1804A及び1つ以上の第2のライトシート1802A、1804Aは同じ波長を有し、これらは順次操作されるので、情報は時間的スペースで分離される。
特に図23A〜図23C及び図24に関連して説明すると、第1の光学アーム1820の光源ユニット1822は第1のライトシートのうちの1つ1802Aを生成するように活動化され、第3の光学アーム1830の光源ユニット1832は第1のライトシートのうちのもう1つ1804Aを生成するように活動化され、これらは第1の照射軸(並びに第1のアーム軸1821及びy軸)と平行な経路に沿って反対方向に生物試料1801に誘導される。1つ以上の第1のライトシート1802A、1804Aは、図23A〜図23Cに概略的に示されているように、試料1801内で空間的及び時間的にオーバラップする。最初に、1つ以上の第1のライトシート1802A、1804Aは、図23Aに示されているように、基礎となるx−y画像平面に沿って誘導することができる。生物試料1801から放出された蛍光F4、F5はそれぞれのカメラ1979、1999によって画像として検出され、この画像データは電子機器コントローラ1880によって受け取られ、適切に処理され、次に計算システム1890内で記録される。
試料1801のそれぞれのx−y画像平面における蛍光は、生物試料1801全体が捕捉されるまで記録される。例えば、図23Aに示されている画像平面における蛍光F4、F5が記録された後、生物試料1801と1つ以上の第1のライトシート1802A、1804Aとの間のz軸に沿った相対配置は、次のx−y画像平面を記録できるようにz軸並進方式でz軸に沿って1つのステップ分だけ変更される。このようにして、生物試料1801から放出された蛍光は、生物試料1801のx−y画像平面のそれぞれにおいて増分式に記録される。例えば、図23Bでは、生物試料1801の中央領域付近に位置するx−y画像平面において蛍光F4、F5が記録され、図23Cでは、生物試料1801の最上部領域に位置するx−y画像平面において生物試料1801から放出された蛍光F4、F5が記録される。
この時間の間、1つ以上の第1のライトシート1802A、1804Aは生物試料1801と相互作用し、蛍光F4、F5が記録されており、1つ以上の第2のライトシート1802B、1804Bが生成されないように、第2の光学アーム1840内の光源ユニット1842は非活動化され、第4の光学アーム1850内の光源ユニット1852は非活動化される。
生物試料1801から放出された蛍光F4、F5がそれぞれのx−y画像平面において記録されると、第1の光学アーム1820内の光源ユニット1822は非活動化され、第3の光学アーム1830内の光源ユニット1832は非活動化される。次に、図25A〜図25C及び図26に示されているように、第2の光学アーム1840の光源ユニット1842は第2のライトシートのうちの1つ1802Bを生成するように活動化され、第4の光学アーム1850の光源ユニット1852は第2のライトシートのうちのもう1つ1804Bを生成するように活動化され、そのどちらも第2の照射軸(並びに第2のアーム軸1841及びz軸)と平行な経路に沿って反対方向に生物試料1801に誘導される。1つ以上の第2のライトシート1802B、1804Bは、図25A〜図25Cに概略的に示されているように、試料1801内で空間的及び時間的にオーバラップする。最初に、1つ以上の第2のライトシート1802B、1804Bは、図25Aに示されているように、基礎となるz−x画像平面に沿って誘導することができる。生物試料1801から放出された蛍光F2、F3はそれぞれのカメラ1969、1989によって画像として検出され、この画像データは電子機器コントローラ1880によって受け取られ、適切に処理され、次に計算システム1890内で記録される。
試料1801のそれぞれのz−x画像平面における蛍光F2、F3は、生物試料1801全体が捕捉されるまで記録される。例えば、図25Aに示されている画像平面における蛍光F2、F3が記録された後、生物試料1801と1つ以上の第2のライトシート1802B、1804Bとの間のy軸に沿った相対配置は、次のz−x画像平面を記録できるようにy軸並進方式でy軸に沿って1つのステップ分だけ変更される。このようにして、生物試料1801から放出された蛍光F2、F3は、生物試料1801のz−x画像平面のそれぞれにおいて増分式に記録される。例えば、図25Bでは、生物試料1801の中央領域付近に位置するz−x画像平面において蛍光F2、F3が記録され、図25Cでは、生物試料1801の最上部領域に位置するz−x画像平面において生物試料1801から放出された蛍光F2、F3が記録される。
この第1の模範的な動作モードでは、スキャン及び記録は、それぞれの光学アーム1840、1850内の光源ユニット1842、1852の活動化及びそれぞれの光学アーム1820、1830内の検出ユニット1824、1834を使用する記録(その時間の間、光源ユニット1822、1832は非活動化される)と、それぞれの光学アーム1820、1830内の光源ユニット1822、1832の活動化及びそれぞれの光学アーム1840、1850内の検出ユニット1844、1854を使用する記録(その時間の間、光源ユニット1842、1852は非活動化される)との間で交互に行うことができる。その上、これらの2通りの垂直照射及び検出方式は、生物試料1801を通るそれぞれの完全なスキャンの後に交互に行うことができる。
代わって、この第1の模範的な動作モードでは、それぞれの方向のそれぞれのステップ(それぞれのyステップ又はそれぞれのzステップのいずれか)の後にこれらの2通りの垂直照射及び検出方式を交互に行うことにより、z軸並進方式とy軸並進方式を織り交ぜることが可能である。例えば、1つのzステップの後、次のzステップに進む代わりに、スキャン及び記録がアームを切り換え、zステップが非アクティブになり、yステップが記録される。その後、スキャン及び記録がもう一度アームを切り換え、生物試料1801内のすべてのステップがスキャンされ記録されるまで、次のzステップが記録される(yステップが非アクティブである間)。
従って、例えば、以下の模範的なシーケンスはこの織り交ぜ方式で発生する可能性がある。
I.スキャン及び記録は、1つ以上の第1のライトシート1802A、1804Aが生物試料1801に誘導され、カメラ1979、1999がそれぞれの蛍光F4、F5を記録するx−y画像平面IP(x−y)1において行うことができる。
II.スキャン及び記録は、1つ以上の第2のライトシート1802B、1804Bが生物試料1801に誘導され、カメラ1969、1989がそれぞれの蛍光F2、F3を記録するz−x画像平面IP(z−x)1において行うことができる。
III.スキャン及び記録は、1つ以上の第1のライトシート1802A、1804Aが生物試料1801に誘導され、カメラ1979、1999がそれぞれの蛍光F4、F5を記録するx−y画像平面IP(x−y)2において行うことができる。
IV.スキャン及び記録は、1つ以上の第2のライトシート1802B、1804Bが生物試料1801に誘導され、カメラ1969、1989がそれぞれの蛍光F2、F3を記録するz−x画像平面IP(z−x)2において行うことができる。
x−y画像平面IP(x−y)1及びIP(x−y)2におけるスキャン及び記録の間、光源ユニット1822、1832は活動化され、光源ユニット1842、1852は非活動化され、z−x画像平面IP(z−x)1及びIP(z−x)2におけるスキャン及び記録の間、光源ユニット1842、1852は活動化され、光源ユニット1822、1832は非活動化される。
図27を参照すると、もう1つの動作モードでは、記録された情報はカラー又はスペクトルスペースで分離され、これは、情報が別個の波長であることを意味する。このモードでは、1つ以上の第1のライトシート1802A、1804Aは第1の照射波長λI1であり、1つ以上の第2のライトシート1802B、1804Bは第2の照射波長λI2である。このようにして、1つ以上の第1のライトシート1802A、1804Aは、波長λI1で励起された時にのみ蛍光F4、F5を放出する、生物試料1801内の第1の組の蛍光体を励起するように構成され、1つ以上の第2のライトシート1802B、1804Bは、波長λI2で励起された時にのみ蛍光F2、F3を放出する、生物試料1801内の第2の組の蛍光体を励起するように構成される。その上、第1の照射波長λI1の光によって励起された第1の組の蛍光体は第1の検出波長λD1で蛍光F4、F5を放出し、第2の照射波長λI2の光によって励起された第2の組の蛍光体は第2の検出波長λD2で蛍光F2、F3を放出する。第1の照射波長λI1は第2の照射波長λI2とは別個のものであり、第1の検出波長λD1は第2の検出波長λD2とは別個のものであるので、計算システム1890は、記録画像の分析中にどのライトシートがどの蛍光を生成するかを区別することができる。
この動作モードは、同じ実験で同じ生物試料1801から異なるタイプの近接情報を抽出する必要がある時に有用である可能性がある。光学顕微鏡1810の解像度は最善でも回折限界があるので、2つのタイプの情報の蛍光体は互いにより接近している可能性があり、これは何らかの情報分離なしに結果として生ずる画像データを容易に解釈するのを困難にする可能性がある。例えば、細胞核に関する形態学的情報をイメージングする必要があり、同時に細胞の外部形質膜に関する形態学的情報をイメージングする必要があり、これらの2つの細胞組織が互いに非常に接近しているので異なるスペクトル領域の使用なしに2つの構造物からの情報を分離することが困難になる。従って、これらの2つの細胞領域は、これらの近接構造物の分析を独立して可能にする有用な画像データを得るために、異なるスペクトル領域(波長)で標識を付けることができる。2つのタイプの細胞領域のもう1つの例は、微小管細胞骨格及びアクチン細胞骨格のための標識である。互いに接近している任意の構造物は、異なるスペクトル領域(波長)で標識が付けられると解明し易くなる。これに反して、胚のすべての細胞の核など、互いにより遠くに離れている構造物の場合、生物サンプル1801全体を通して単一のカラー標識(1つの波長)を使用し、その他の動作モードを使用してイメージングを実行することができる。同じカラーチャネルを使用して両方の構造物に標識を付ける時に別々の物体として識別可能になるために、少なくとも光学顕微鏡1810の軸方向分解能と同じ大きさの距離だけ互いに分離された場合、それらの構造物は互いに遠く離れることができる。
図27を参照すると、情報はスペクトルスペースで分離されるので、1つ以上の第1のライトシートと1つ以上の第2のライトシートを同時にスキャンし、蛍光F2、F3、F4、F5を同時に記録することは可能である。時間が経過するにつれて、1つ以上の第1のライトシート1802A、1804A及び光学アーム1840、1850の共用対物レンズ1976、1996はz軸並進方式でz軸に沿って複数ステップで並進され、1つ以上の第2のライトシート1802B、1804B及びそれぞれの光学アーム1820、1830の共用対物レンズ1966、1986はy軸並進方式でy軸に沿って複数ステップで並進される。従って、z軸並進方式とy軸並進方式は同時に行われる。その上、この動作モードでは、1つ以上の第1のライトシート1802A、1804A及び1つ以上の第2のライトシート1802B、1804Bの両方が同時に生物試料1801に誘導され、従って、第1及び第2の組の蛍光体の両方がスキャン及び記録中に同時に励起されることは可能である。
従って、すべての光学アーム1820、1830、1840、1850は照射動作及び検出動作の両方を同時に実行する。この動作モードでの設計上の問題の1つは、光学アーム1840、1850の共用対物レンズ1976、1996が並進された時にそれぞれのライトシート1802B、1804Bの焦点がそれに応じてシフトされ、光学アーム1820、1830の共用対物レンズ1966、1986が並進された時にそれぞれのライトシート1802A、1804Aの焦点がそれに応じてシフトされることである。すべての照射動作及び検出動作が同時に実行されるので常に蛍光を検出しているそれぞれのカメラ1969、1979、1989、1999では検出された蛍光F2、F3、F4、F5が最適にイメージングされない可能性があり、このような焦点シフトなしに実行されたイメージングと比較した場合にこのような焦点シフトが軸方向分解能を低減する可能性があるので、顕微鏡システム1800の動作には必要ではないが、この焦点シフトを補償することができる。例えば、ライトシートは視野の中心の周りに対称的に位置決めされるではなく、ボリュームスキャンの進行次第で一方の側又はもう一方の側に向かってシフトされるので、蛍光はそれぞれのライトシートの最も薄い部分の外側の蛍光体から生成されるために、軸方向分解能の低減が発生する可能性がある。
従って、顕微鏡システム1800はそれぞれの光源ユニット1822、1832、1842、1852に追加の補償光学モジュールを含むことができる。図29を参照すると、光学アーム1820の拡大図は、共用対物レンズ1966の後部焦平面に共役した平面において、二色性ビームスプリッタ1823とスキャン装置1962との間の経路内に配置された補償光学モジュール2900を含む。補償光学モジュール2900は、例えば、複数レンズによって側面が固められた電子チューナブルレンズを含むことができる。この電子チューナブルレンズは、スイス、ディエーティコンのOptotune AGによって製作された高速電気チューナブルレンズ型式番号EL−10−30にすることができる。補償光学モジュール2900は、共用対物レンズ(図29に示されている共用対物レンズ1966など)の並進によって生成された量に等しく反対の範囲まで共用対物レンズ1966の焦点を並進させる。
図30を参照すると、もう1つの動作モードでは、記録された情報は空間的スペースで分離され、これは、情報がそれぞれの共焦点アパーチャ3025、3035、3045、3055を使用してそれぞれの光学アーム1820、1830、1840、1850内で分離され、1つ以上の第2のライトシート1802B、1804Bが1つ以上の第1のライトシート1802A、1804Aから空間的に互い違いに配置され、それらがそれぞれの非平行照射軸に沿って生物試料1801を通過する時にオーバラップしないようになっていることを意味する。この動作モードでは、1つ以上の第1のライトシート1802A、1804A及び1つ以上の第2のライトシート1802B、1804Bの両方は同じ照射波長λIにすることができ、蛍光体は同じ検出波長λDの光を放出することができる。その上、すべての光学アーム1820、1830、1840、1850は、図28に関連して上述したように、この動作モードでは照射動作及び検出動作の両方を同時に実行することができる。
光学アーム1820の分解図を示す図29を参照すると、共焦点アパーチャ3025はサンプル平面に共役した平面に配置される。共焦点アパーチャ3025は、カメラ1969に組み込むことができ、蛍光F2の位置を追従する経路を追跡するためにz軸に沿って並進するようにセットアップすることができる。図31Aを参照すると、共焦点アパーチャ3025は、それを通って光がカメラ1969のセンサ3115内に入る開口部(opening)3110を規定する。開口部3110は、センサ3115で検出されることになっている蛍光F2の経路に沿って移動し、図31B及び図31Cに示されているように、開口部3110の位置に集束される蛍光F2を通過させるのに十分な幅である。特に、蛍光F2は少なくとも部分的にサンプル1801とライトシート1802Bとの相互作用によるものであり、サンプル1801内のライトシート1802Bの焦点の位置から生じる任意の光(蛍光F2など)はアパーチャ3025の開口部3110を通ってセンサ3115に達するが、ライトシート1802B自体からの光は、図31A〜図31Cに示されていないフィルタ1968によって遮断される。従って、ライトシート1802Aは生物試料1801内でライトシート1802Bとオーバラップしないか又はそれを横切らないので、ライトシート1802Aと相互作用する蛍光体から放出されたF4などの任意の蛍光は、アパーチャ3025によって遮断され、開口部3110を通過しない。
図32を参照すると、共焦点アパーチャ3025を使用して、情報を分離するための空間的方法を提供するために、1つ以上の第2のライトシート1802B、1804Bが1つ以上の第1のライトシート1802A、1804Aから空間的に互い違いに配置され、それらが非平行照射軸に沿って生物試料1801を通過する時にオーバラップしないようになっている。図32は、スキャン装置を使用してそれぞれの光学アーム内の光源からの光ビームがどのように形成され、互い違いに配置されるかを示している。それぞれの光学アーム1820、1830、1840、1850の4つのスキャン装置1962、1982、1972、1992は、生成されたそれぞれのライトシートがどのように互い違いに配置されるかを伝達するために例示目的のみで同じ照射軸に沿って誘導されているものとして図32に示されている。この例のスキャン方向はx軸に沿っているが、4つのスキャン装置1962、1982、1972、1992は異なる照射軸に沿って配置されている。
この例では、第1の光学アーム1820の光源ユニット1822の光源1960からのビームはfθレンズ1964に向かって光学スキャナ装置(回転可能又は可動ミラーなど)1963によってx軸に沿って偏向される(しかもそれを越えてスキャンされる)。更に、第3の光学アーム1830の光源ユニット1832の光源1980からのビームはfθレンズ1984に向かって光学スキャナ装置(可動ミラー)1983によってx軸に沿って偏向される(しかもそれを越えてスキャンされる)。光学スキャナ装置1963、1983はfθレンズ1964、1984の焦平面に位置するように位置決めされ、その結果、巨視的ライトシートを生成するので、光学スキャナ装置1963、1983を出る光ビームの角度はそれぞれのfθレンズ1964、1984によってx軸に沿った変位に変換される。図示の通り、光学アーム1820、1830内で生成された巨視的ライトシートはオーバラップしており、互いに変位されない。これに反して、光学アーム1840、1850内で生成された巨視的ライトシートは、光学アーム1820、1830内で生成された巨視的ライトシートから変位Dだけ変位される。従って、図31B及び図31Cに示されているように、ライトシート1802Bのビームは生物試料1801内部で変位D’だけライトシート1802Aのビームからオフセットされる。更に、図31B及び図31Cには示されていないが、ライトシート1804Bのビームもライトシート1802Aのビーム及びライトシート1804Aのビームからオフセットされ、ライトシート1802Bのビームはライトシート1804Aのビームからもオフセットされる。
図33を参照すると、手順2218を使用して生物試料1801の画像が作成される。手順2218は、1つ以上の第1のライトシート1802A、1804Aと生物試料1801との相互作用により生成される第1の画像を形成すること(3305)を含む。第1の画像を形成することは、それぞれの検出ユニット1844、1854のカメラ1979、1999で記録された情報の分析を伴う。この分析は手順716を使用して記載されている方法で進行し、図9に関連する説明が参照され、従って、ここでは繰り返さない。計算システム1890は位置合わせされた(しかも登録された)融合データセットを第1の画像に融合し、これは、生物試料1801内のライトシート1802A、1804Aの空間的及び時間的オーバラップに対応する生物試料1801の画像x−y平面を表す。
次に、手順2218は、1つ以上の第2のライトシート1802B、1804Bと生物試料1801との相互作用により生成される第2の画像を形成すること(3310)を含む。第2の画像を形成することは、それぞれの検出ユニット1824、1844のカメラ1969、1989で記録された情報の分析を伴う。この分析は手順716を使用して記載されている方法で進行し、図9に関連する説明が参照され、従って、ここでは繰り返さない。計算システム1890は位置合わせされた(しかも登録された)融合データセットを第2の画像に融合し、これは、生物試料1801内のライトシート1802B、1804Bの空間的及び時間的オーバラップに対応する生物試料1801の画像z−x平面を表す。
ステップ3305及び3310は、データセット全体が分析され、1組の第1及び第2の画像が作成されるまで、記録されるそれぞれのx−y平面及び記録されるそれぞれのz−x平面について実行される。一般に、生物試料1801は生きており、時間の関数として変化して移動し、2つの異なるビューにおけるイメージングは同時に実行されない可能性があるので、イメージングされたサンプルのzボリューム(ステップ3305から得られる)内の追跡された構造物はイメージングされたサンプルのyボリューム(ステップ3310から得られる)内の追跡された構造物と完全に同一になるわけではない。すべてのビューを単一の画像スタックに結合し、複数の視野角を結合することによって空間分解能を改善するための顕微鏡の潜在能力を利用するために、ステップ3305及び3310によるマルチビュー画像データが計算的に位置合わせされる(3315)。この計算的位置合わせは、例えば、それぞれのビューの画像内容を比較し、画像データが最良の全体対応(例えば、ボリュームの全域で最高の相関係数)を示すまで基準ビューに関して所与の変形モデル(並進又は非線形局所変形可能モデルなど)を使用してすべてのビューを変形することにより、実行することができる。或いは、この計算的位置合わせは、生物試料1801を取り囲むアガロースゲル内に混合される蛍光ビーズなどの基準マーカを使用して実行することができる。このビーズはすべてのビューにおいて幾何学的に位置合わせすることができ、それによりこれらのビューにおいて捕捉された生物試料の位置合わせも自動的に生成する。計算的位置合わせのための基準マーカの使用は、光散乱及び光学収差がイメージングプロセスに著しく影響しないことを想定している。そうではなく、光散乱及び光学収差は、異なるビューに沿ってイメージングプロセスにおける相対的違いを発生する可能性があり、ビーズは、光学摂動が発生する生物試料のボリュームの外側に位置する時にこれらの違いを捕捉できない可能性がある。
位置合わせ後、マルチビュー・デコンボリューション・アルゴリズムを使用してデータが結合される(3320)。特に、(それぞれのx−y平面及びそれぞれのz−x平面における)第1及び第2の画像のそれぞれからのデータが結合され、生物試料1801の最終画像を形成する(3315)。(ライトシート1802A、1804Aを介して)第1の照射軸に沿ったビュー及び(ライトシート1802B、1804Bを介して)第2の照射軸に沿ったビューの両方から生物試料内の同じ位置を観察することができる。マルチビュー・デコンボリューション・プロセスを使用して第1及び第2の画像(それぞれ非平行ビューから得られたもの)のそれぞれからのデータを結合することができる。マルチビュー・デコンボリューション・プロセスは、それぞれの条件付き確率(点広がり関数)の場合にすべての観察分布(ビュー)を最も良く説明する最も確度の高い基礎分布(解析された画像)を推定することができる。
その他の実現例では、光学顕微鏡1810は、空間内の第3の軸に沿ってイメージングを実行できるように。生物試料1801及びチャンバの上又は下に第5の光学アームを追加することにより、3つの相補的取得ステップに変更又は拡張することができる。
その他の実現例では、光源1960、1970のそれぞれから放出された光ビームに揺れ(wobble)を加えることが可能である。光ビームに加えられた揺れは、ライトシート1802A、1802Bのビームが生物試料1801内で大きい散乱又は吸収中心に遭遇した時に記録された画像内のストライピングアーチファクトを除去するために使用することができる。このモードでは、光源1960、1970のそれぞれから放出された光ビームはxy−ガルバノメータ制御のミラーによって揺られ、次に揺れたビームは、それぞれのスキャン装置1962、1972に誘導される前に円柱レンズによって引き伸ばされて光のシートを作成する。従って、(それぞれの光源1960、1970からの単一のガウスビームの代わりに)光のシートがそれぞれのスキャン装置1962、1972に向かって誘導される。この光のシートは、x軸に沿って光のシートをスキャンするそれぞれのスキャン装置1962、1972上に集束され、それぞれのスキャン装置1962、1972からの出力の結果、生物試料1801の平面(それぞれ、x−y画像平面又はz−x画像平面)内のx軸スキャンライトシートが得られる。このようにして、ライトシート1802A、1804Bの代わりに細長いライトシート1802A’、1804B’が生物試料1801を通ってスキャンされる。
図34を参照すると、その他の実現例では、顕微鏡システム3400は、顕微鏡システム1700によく似た設計になっているが、他の光学アーム3420、3430、3440、3460の光学アーム軸のいずれとも平行ではない光学アーム軸に沿って設計された少なくとも1つの追加の光学アーム3460も含む。従って、光学アーム3460は、その光学アーム軸がx軸に沿って延びた状態で位置決めすることができる。光学アーム3460は、生物試料3401の上及び/又は下に配置することができる。生物試料3041の下に配置された場合、x−y−z軸に対して斜めの方向の1つに沿ってチャンバ(チャンバ1812など)内に試料ホルダ(1866など)を挿入することができる。光学アーム3460は、光学アーム1720、1730、1740、1750と同一である他の光学アーム3420、3430、3440、3460に似た設計になっている。従って、光学アーム3460は、検出及び照射を行うことができ、光源ユニット及び検出ユニット(光学アーム1720、1730、1740、1750内に見られるものなど)の両方を含む。並進システム3470は、追加の光学アーム3460内で光源ユニット及び検出ユニットにも結合され、試料領域内に受け入れた生物試料3401を回転させずに、光源ユニットによって生成されたライトシート及び光学アーム3460内の検出ユニットを線形軸に沿って並進させるように構成されるように、この実現例では変更されている。1つの追加の光学アーム3460を追加することにより、1つの追加のビューに沿って完全な1組の画像の捕捉が可能になる。
1つの追加の光学アーム3460が追加された場合、生物試料3401について10通りの相補的ビューを得ることができる。
2つの追加の光学アーム3460が追加された場合、12通りの相補的ビューを得ることができる。2つの光学アーム3460の追加により、x軸に沿った2つの対物レンズ(Ox1、Ox2)、y軸に沿った2つの対物レンズ(Oy1、Oy2)、及びz軸に沿った2つの対物レンズ(Oz1、Oz2)が配置される。更に、x軸又はy軸のいずれかに沿って生成されたx−y平面内の2つのライトシート(Lxy_x及びLxy_y)、x軸又はz軸のいずれかに沿って生成されたx−z平面内の2つのライトシート(Lxz_x及びLxz_z)、並びにy軸又はz軸のいずれかに沿って生成されたy−z平面内の2つのライトシート(Lyz_y及びLyz_z)という6通りの幾何学的配向のライトシートにより、6通りの幾何学的配向のライトシートを生成することができる。また、2つの光学アームの追加により12通りのビューが可能になり、即ち、ライトシートLxy_x(Ox1及びOx2によって生成されたもの)がOz1及びOz2により2つのビューを生成し、ライトシートLxy_y(Oy1及びOy2によって生成されたもの)がOz1及びOz2により2つのビューを生成し、ライトシートLxz_x(Ox1及びOx2によって生成されたもの)がOy1及びOy2により2つのビューを生成し、ライトシートLxz_z(Oz1及びOz2によって生成されたもの)がOy1及びOy2により2つのビューを生成し、ライトシートLyz_y(Oy1及びOy2によって生成されたもの)がOx1及びOx2により2つのビューを生成し、ライトシートLyz_z(Oz1及びOz2によって生成されたもの)がOx1及びOx2により2つのビューを生成する。
図35A〜図35Cを参照すると、追加の検出サブシステムを追加することにより、顕微鏡システム100(図1A〜図6に関連して上述したもの)が追加の「ビュー」とともにセットアップされることが可能である。例えば、システム100は、図35B及び図35Cに示されているように、試料101のいずれかの側にx軸に沿って位置決めすることができる1つ以上の追加の検出サブシステム3516、3518を含むことができる。1つの追加の検出サブシステム3516を使用することにより6通りの相補的光学ビューが可能になり、第1のビューはライトシート102と試料101との相互作用により放出された蛍光を検出する検出サブシステム116から得られ、第2のビューはライトシート104と試料101との相互作用により放出された蛍光を検出する検出サブシステム116から得られ、第3のビューはライトシート102と試料101との相互作用により放出された蛍光を検出する検出サブシステム118から得られ、第4のビューはライトシート104と試料101との相互作用により放出された蛍光を検出する検出サブシステム118から得られ、第5のビューはライトシート102と試料101との相互作用により放出された蛍光を検出する検出サブシステム3516から得られ、第6のビューはライトシート104と試料101との相互作用により放出された蛍光を検出する検出サブシステム3516から得られる。
2つの追加の検出サブシステム3516、3518を使用することにより、8通りの相補的光学ビューが可能になる。第4の検出サブシステム3518を追加するには、試料101の位置決めシステムに対して又はチャンバ168の設計に対して何らかの変更が必要になる可能性がある。4つ以上の相補的ビューを有する実現例では、試料101を側面からチャンバ内に挿入するか又は異なる設計のチャンバ内に配置することができる。
追加の検出サブシステム3516、3518は、検出サブシステム116、118と同じように電子機器コントローラ180及び計算システム190に接続される。手順700、具体的には、ライトシート102、104がどのように生成され誘導されるか並びに蛍光がどのように記録されるかは、この拡大図の顕微鏡110において以下のように変更される。ライトシート102、104は、それぞれの検出サブシステム3516、3518内で検出対物レンズ3550、3552を利用するために傾斜している。従って、図36に関連して説明すると、手順3600は以下のように手順700から変更される。
最も効率的に蛍光を見るために、検出対物レンズ3550、3552は、ライトシート102、104の細長い側に面して、検出対物レンズ3550、3552の焦平面及びライトシート102、104が共面になることを保証する必要がある。検出対物レンズ3550、3552が試料101からの蛍光を効率的に捕捉できるようにするために、ライトシート102、104は、図35Cに示されているように、照射軸(y軸)の周りで90度傾斜している。図35Cに示されている90度の傾斜は、光学スキャナ装置140を使用して遂行することができ、これは、上述の通り、チップ/チルトステージ上又はガルバノメータスキャナ上に装着された1つ以上の可動ミラー140によって形成することができる。従って、例えば、図5Aに示されているものなど、x軸に沿って前後に動いて光ビームをスキャンする代わりに、光ビームはz軸に沿って前後に動いてスキャンされ、図35Bにおいてライトシートに対して90度傾斜して配向されるライトシートを形成する。
図35B及び図35Cに示されている6ビュー配置では、ライトシート102及び104は図35Bに示されている配向で生成され、対物レンズ150及び152を使用して画像を記録する(710)。z軸に沿った画像の完全なスタックはこの構成で取得される。次に、ライトシート102、104は図35Cに示されている配向に対して90度傾斜しており(3631)、対物レンズ3550及び3552を使用して画像を記録する(3632)。この目的のために、x軸に沿った画像の完全なスタックが取得される。x軸に沿ってこのような容積イメージングを実行するために、試料101及びライトシート102、104の相対位置はx軸に沿って変更される。試料101のイメージングを続行しなければならないと判断された場合(712)、顕微鏡システム100は(計算システム190及び電子機器コントローラ180の制御により)ライトシート102、104の配向を図35Bに示されているものにリセットし(3613)、ライトシート102、104と検出サブシステムとの相対位置もリセットする(3614)。
5通り又は6通りの対物レンズの実現例において90度の傾斜のライトシートで記録された追加のビューは、90度の傾斜点広がり関数(顕微鏡検査法において点状の物体の画像がどのように見えるかを判断する関数である)により試料101の追加の画像情報を提供する。軸方向範囲、即ち、検出軸に沿った範囲が横方向範囲、即ち、検出軸に垂直な範囲より長いので、点広がり関数は、通常、異方性である。これは、検出対物レンズ(複数も可)の限られた物理的集光角によるものである。軸方向は、本出願で述べられている4対物レンズ光学構成におけるz軸である。従って、他の軸(x軸)への拡張は、試料101の物理的適用範囲の増加を提供するだけでなく、典型的に、図2に示されているものなどの4ビュー実現例の標準的ビューと比較して、z軸に沿った空間分解能も改善する。

Claims (33)

  1. 試料をイメージングする方法であって、
    1つ以上の第1のライトシートが第1の画像平面において前記試料の少なくとも一部分と光学的に相互作用するように第1の照射軸と平行なそれぞれの経路に沿って前記1つ以上の第1のライトシートを誘導することと、
    複数の第1のビュー方向のそれぞれにおいて、前記1つ以上の第1のライトシートと前記試料の一部分との前記光学的な相互作用により、前記試料から第1の検出軸に沿って放出された蛍光の画像を記録することと、
    1つ以上の第2のライトシートが第2の画像平面において前記試料の少なくとも一部分と光学的に相互作用するように第2の照射軸と平行なそれぞれの経路に沿って前記1つ以上の第2のライトシートを誘導することと、
    複数の第2のビュー方向のそれぞれにおいて、前記1つ以上の第2のライトシートと前記試料の一部分との前記光学的な相互作用により、前記試料から第2の検出軸に沿って放出された蛍光の画像を記録することと、を含み、
    前記第2の画像平面における前記1つ以上の第2のライトシートと前記試料の前記少なくとも一部分との前記光学的な相互作用が、前記第1の画像平面における前記1つ以上の第1のライトシートと前記試料の前記少なくとも一部分との前記光学的な相互作用と同時に起こり、
    前記第2の照射軸が前記第1の照射軸と平行ではない、
    方法。
  2. 2つの第1の光源ユニットを活動化して2つの第1のライトシートを生成することを更に含み、
    前記1つ以上の第1のライトシートが前記第1の画像平面において前記試料と光学的に相互作用するように前記試料を通って前記第1の照射軸と平行なそれぞれの経路に沿って前記1つ以上の第1のライトシートを誘導することが、互いに平行であるが互いに反対方向を指しているそれぞれの経路に沿って前記生成された2つの第1のライトシートを誘導することを含む、請求項1に記載の方法。
  3. 前記生成された2つの第1のライトシートが前記第1の画像平面に沿って前記試料内で空間的かつ時間的にオーバラップする、請求項2に記載の方法。
  4. 2つの第2の光源ユニットを活動化して2つの第2のライトシートを生成することを更に含み、
    前記生成された1つ以上の第2のライトシートが前記第2の画像平面において前記試料と光学的に相互作用するように前記試料を通って前記第2の照射軸と平行なそれぞれの経路に沿って前記1つ以上の第2のライトシートを誘導することが、互いに平行であるが互いに反対方向を指しているそれぞれの経路に沿って前記生成された2つの第2のライトシートを誘導することを含む、請求項3に記載の方法。
  5. 前記生成された2つの第2のライトシートが前記第2の画像平面に沿って前記試料内で空間的かつ時間的にオーバラップする、請求項4に記載の方法。
  6. 前記第1のビュー方向のそれぞれが前記第1の照射軸に垂直であり、前記第2のビュー方向のそれぞれが前記第2の照射軸に垂直である、請求項1に記載の方法。
  7. 前記1つ以上の第1のライトシート及び前記1つ以上の第2のライトシートが同じ波長である、請求項1に記載の方法。
  8. 前記第1の検出軸に沿って放出された前記蛍光を第1の対物レンズで捕捉し、前記捕捉された蛍光を前記第1の対物レンズから第1のサンプル画像平面に共役した平面に配置された第1のアパーチャを通って誘導して、前記第1のビュー方向において前記蛍光の画像を記録する前に、焦点が合っていない蛍光の少なくとも一部分を遮断することと、
    前記第2の検出軸に沿って放出された前記蛍光を第2の対物レンズで捕捉し、前記捕捉された蛍光を前記第2の対物レンズから第2のサンプル画像平面に共役した平面に配置された第2のアパーチャを通って誘導して、前記第2のビュー方向において前記蛍光の画像を記録する前に、焦点が合っていない蛍光の少なくとも一部分を遮断することと、
    を更に含む、請求項7に記載の方法。
  9. 前記第1の検出軸に沿って放出された前記蛍光が前記第1のアパーチャを通過し、かつ記録されるように、前記第1の検出軸に対して垂直な方向に沿って前記第1のアパーチャを並進させることと、
    前記第2の検出軸に沿って放出された前記蛍光が前記第2のアパーチャを通過し、かつ記録されるように、前記第2の検出軸に対して垂直な方向に沿って前記第2のアパーチャを並進させることと、
    を更に含む、請求項8に記載の方法。
  10. 前記第1の照射軸に対して横向きの方向に沿って第1の光源から放出された第1の光ビームをスキャンして前記第1のライトシートを生成することにより、それぞれの第1のライトシートを生成することと、
    前記第2の照射軸に対して横向きの方向に沿って第2の光源から放出された第2の光ビームをスキャンして前記第2のライトシートを生成することにより、それぞれの第2のライトシートを生成することであって、前記第1のライトシートの前記第1の光ビームが前記試料内で前記第2のライトシートの前記第2の光ビームと交差しないようになっていることと、
    を更に含む、請求項1に記載の方法。
  11. 前記1つ以上の第1のライトシートの生成中に、
    前記試料の少なくとも一部分に及ぶ1組の第1の画像平面に沿って前記1つ以上の第1のライトシートが前記試料と光学的に相互作用するように、増分ステップにより、前記試料、前記1つ以上の第1のライトシート、及び前記蛍光が記録される前記第1のビュー方向のうちの1つ以上を、前記第1の照射軸と垂直な第1の線形軸に沿って互いに対して並進させることと、
    それぞれの第1の画像平面について、前記試料によって生成された蛍光を前記第1のビュー方向において記録することと、
    を更に含む、請求項1に記載の方法。
  12. 前記試料、前記1つ以上の第1のライトシート、及び前記蛍光が記録される前記第1のビュー方向のうちの1つ以上を、増分ステップにより前記第1の線形軸に沿って互いに対して並進させることが、
    前記試料の位置を維持することと、
    前記1つ以上の第1のライトシート及び前記蛍光が記録される前記第1のビュー方向を前記第1の線形軸に沿って並進させることと、
    を含む、請求項11に記載の方法。
  13. 前記1つ以上の第2のライトシートの生成中に、
    前記試料の少なくとも一部分に及ぶ1組の第2の画像平面に沿って前記1つ以上の第2のライトシートが前記試料と光学的に相互作用するように、増分ステップにより、前記試料、前記1つ以上の第2のライトシート、及び前記蛍光が記録される前記第2のビュー方向のうちの1つ以上を、前記第2の照射軸と垂直な第2の線形軸に沿って互いに対して並進させることと、
    それぞれの第2の画像平面について、前記試料によって生成された蛍光を前記第2のビュー方向において記録することと、
    を更に含む、請求項12に記載の方法。
  14. 前記試料、前記1つ以上の第2のライトシート、及び前記蛍光が記録される前記第2のビュー方向のうちの1つ以上を、増分ステップにより前記第2の線形軸に沿って互いに対して並進させることが、
    前記試料の位置を維持することと、
    前記1つ以上の第2のライトシート及び前記蛍光が記録される前記第2のビュー方向を前記第2の線形軸に沿って並進させることと、
    を含む、請求項13に記載の方法。
  15. 前記第1及び第2のビュー方向において前記記録された蛍光の前記画像を位置合わせすることにより前記試料の画像を作成することと、マルチビュー・デコンボリューション・アルゴリズムを使用して、前記位置合わせされた画像を結合することを更に含む、請求項14に記載の方法。
  16. 前記第1のビュー方向のそれぞれにおいて記録することが、前記第1の照射軸に垂直な前記第1の検出軸に沿って記録することを含む、請求項1に記載の方法。
  17. 前記第2の照射軸が前記第1の照射軸と垂直である、請求項1に記載の方法。
  18. 試料をイメージングするための顕微鏡システムであって、
    1つ以上の第1の光源ユニットであって、それぞれの第1の光源ユニットが、第1の画像平面において第1のライトシートが前記試料の少なくとも一部分と光学的に相互作用するように第1の照射軸と平行なそれぞれの経路に沿って前記第1のライトシートを誘導する、1つ以上の第1の光源ユニットと、
    複数の第1の検出ユニットであって、それぞれが、前記1つ以上の第1のライトシートと前記試料の一部分との前記光学的な相互作用により、前記試料から第1の検出軸に沿って放出された蛍光の画像を、第1のビュー方向において記録するように構成される、複数の第1の検出ユニットと、
    1つ以上の第2の光源ユニットであって、それぞれの第2の光源ユニットが、第2の画像平面において第2のライトシートが前記試料の少なくとも一部分と光学的に相互作用するように第2の照射軸と平行なそれぞれの経路に沿って前記第2のライトシートを誘導する、1つ以上の第2の光源ユニットと、
    複数の第2の検出ユニットであって、それぞれが、前記1つ以上の第2のライトシートと前記試料の一部分との前記光学的な相互作用により、前記試料から第2の検出軸に沿って放出された蛍光の画像を、第2のビュー方向において記録するように構成される、複数の第2の検出ユニットと、を含み、
    前記第2の画像平面における前記1つ以上の第2のライトシートと前記試料の前記少なくとも一部分との前記光学的な相互作用が、前記第1の画像平面における前記1つ以上の第1のライトシートと前記試料の前記少なくとも一部分との前記光学的な相互作用と同時に起こり、
    前記第2の照射軸が前記第1の照射軸と平行ではない、
    顕微鏡システム。
  19. 前記試料を受け入れるように構成された試料領域を更に含む、請求項18に記載のシステム。
  20. それぞれの光源ユニットが、それぞれの照射軸に沿って前記試料領域に向かってライトシートを生成し誘導するように配置された1つの光源及び1組の照射光学装置と、1つ以上の照射光学装置に結合された1組のアクチュエータとを含み、
    それぞれの検出ユニットが、前記照射軸のうちの1つ以上に垂直なそれぞれの検出軸に沿って前記試料領域内に受け入れた試料から放出された蛍光の画像を収集し記録するように配置された1つのカメラ及び1組の検出光学装置と、前記カメラ及び前記検出光学装置のうちの1つ以上に結合された1組のアクチュエータとを含む、請求項19に記載のシステム。
  21. 前記試料領域、前記光源ユニット、及び前記検出ユニットのうちの1つ以上に結合され、前記試料領域内に受け入れた試料を回転させずに、前記試料領域、前記光源ユニット内の前記ライトシート、及び前記検出ユニットのうちの1つ以上を線形軸に沿って互いに対して並進させるように構成された並進システムを更に含む、請求項19に記載のシステム。
  22. 前記試料領域内に位置するようにその上に前記試料が装着される試料ホルダを更に含む、請求項19に記載のシステム。
  23. それぞれの第1の光源ユニットと、1つの第2の検出ユニットとによって1つの光学アームが画定され、それぞれの第2の光源ユニットと、1つの第1の検出ユニットとによって1つの光学アームが画定される、請求項1に記載のシステム。
  24. それぞれの光学アーム内の光学データ分離装置を更に含み、前記光学データ分離装置は、当該光学アーム内の前記光源ユニットおよび前記検出ユニットと、前記試料領域との間の経路上に配置され、当該光学アームの前記光源ユニットと前記検出ユニットとの間で光学データを分離するように構成される、請求項23に記載のシステム。
  25. 前記光学データ分離装置が、前記光源ユニット及び前記検出ユニットの少なくとも1つの共用コンポーネントと残りのコンポーネントとの間に二色性光学素子を含む、請求項24に記載のシステム。
  26. 少なくとも1つのコンポーネントがそれぞれの光学アームの前記光源ユニットと前記検出ユニットとの間で共用される、請求項2に記載のシステム。
  27. 前記少なくとも1つの共用コンポーネントが顕微鏡対物レンズを含む、請求項26に記載のシステム。
  28. 前記少なくとも1つの共用コンポーネントが前記光学データ分離装置と前記試料領域との間に配置される、請求項27に記載のシステム。
  29. それぞれの光学アーム内の前記顕微鏡対物レンズが他の光学アーム内の他の顕微鏡対物レンズと同じ焦平面を有する、請求項28に記載のシステム。
  30. それぞれの検出ユニットが、カメラと、アパーチャとを含む、請求項27に記載のシステム。
  31. 前記アパーチャが、前記カメラに組み込まれ、かつ、前記顕微鏡対物レンズと前記カメラのセンサとの間にある、請求項30に記載のシステム。
  32. 前記少なくとも1つの共用コンポーネントがチューブレンズを含む、請求項27に記載のシステム。
  33. 1つの光学アームが少なくとも1つの他の光学アームに対して垂直に配置される、請求項24に記載のシステム。
JP2018124403A 2013-10-09 2018-06-29 マルチビュー・ライトシート顕微鏡検査法 Active JP6625696B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361888869P 2013-10-09 2013-10-09
US61/888,869 2013-10-09

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016521691A Division JP6364074B2 (ja) 2013-10-09 2014-10-09 マルチビュー・ライトシート顕微鏡検査法

Publications (2)

Publication Number Publication Date
JP2018185524A JP2018185524A (ja) 2018-11-22
JP6625696B2 true JP6625696B2 (ja) 2019-12-25

Family

ID=52776741

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016521691A Active JP6364074B2 (ja) 2013-10-09 2014-10-09 マルチビュー・ライトシート顕微鏡検査法
JP2018124403A Active JP6625696B2 (ja) 2013-10-09 2018-06-29 マルチビュー・ライトシート顕微鏡検査法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016521691A Active JP6364074B2 (ja) 2013-10-09 2014-10-09 マルチビュー・ライトシート顕微鏡検査法

Country Status (4)

Country Link
US (1) US10539772B2 (ja)
EP (1) EP3055728B1 (ja)
JP (2) JP6364074B2 (ja)
WO (1) WO2015054450A1 (ja)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11021737B2 (en) 2011-12-22 2021-06-01 President And Fellows Of Harvard College Compositions and methods for analyte detection
US9914967B2 (en) 2012-06-05 2018-03-13 President And Fellows Of Harvard College Spatial sequencing of nucleic acids using DNA origami probes
DE102013112596B4 (de) * 2013-11-15 2023-12-28 Carl Zeiss Microscopy Gmbh Anordnung zur Lichtblattmikroskopie
ES2567379B1 (es) * 2014-10-21 2017-02-03 Universidad Carlos Iii De Madrid Microscopio y procedimiento para la generación de imágenes 3D de una colección demuestras
DE102014116174A1 (de) * 2014-11-06 2016-05-12 Carl Zeiss Microscopy Gmbh Verfahren zur Erzeugung eines Bildes einer Probe
US10795144B2 (en) * 2014-12-06 2020-10-06 Howard Hughes Medical Institute Microscopy with structured plane illumination and point accumulation for imaging and nanoscale topography
US9528938B2 (en) 2015-02-23 2016-12-27 Li-Cor, Inc. Fluorescence biopsy specimen imager and methods
JP6552881B2 (ja) * 2015-06-12 2019-07-31 オリンパス株式会社 顕微鏡および顕微鏡画像取得方法
JP6732807B2 (ja) 2015-06-26 2020-07-29 リ−コール,インコーポレイティド 生検標本蛍光イメージング装置及び方法
ITUB20154591A1 (it) * 2015-10-12 2017-04-12 Crestoptics S R L Apparato di microscopia confocale e relativo procedimento di acquisizione ed elaborazione di immagini
WO2017075275A1 (en) * 2015-10-29 2017-05-04 The Board Of Trustees Of The Leland Stanford Junior University Methods and systems for imaging a biological sample
JP6882282B2 (ja) * 2015-11-03 2021-06-02 プレジデント アンド フェローズ オブ ハーバード カレッジ 三次元核酸含有マトリックスの立体撮像のための方法と装置
JP7058837B2 (ja) 2015-11-17 2022-04-25 韓國科學技術院 混沌波センサを利用した試料特性探知装置
DE102016204653B4 (de) * 2016-03-21 2022-12-22 Carl Zeiss Microscopy Gmbh Die Erfindung betrifft ein Lichtblattmikroskop sowie ein Verfahren zum Betreiben eines Lichtblattmikroskops
DE102016105798A1 (de) * 2016-03-30 2017-10-05 Georg-August-Universität Göttingen Stiftung Öffentlichen Rechts, Universitätsmedizin Verfahren zum Erzeugen eines Mikroskopbildes
LU93022B1 (de) 2016-04-08 2017-11-08 Leica Microsystems Verfahren und Mikroskop zum Untersuchen einer Probe
US10489964B2 (en) 2016-04-21 2019-11-26 Li-Cor, Inc. Multimodality multi-axis 3-D imaging with X-ray
EP3449016A4 (en) 2016-04-25 2019-10-02 President and Fellows of Harvard College HYBRIDIZATION CHAIN REACTION PROCESS FOR IN-SITU MOLECULE DETECTION
DE102016108384B3 (de) * 2016-05-04 2017-11-09 Leica Microsystems Cms Gmbh Vorrichtung und Verfahren zur lichtblattartigen Beleuchtung einer Probe
EP3252452A1 (en) * 2016-05-25 2017-12-06 The Board of Trustees of the Leland Stanford Junior University Method for imaging and analysis of a biological specimen
WO2017223378A1 (en) 2016-06-23 2017-12-28 Li-Cor, Inc. Complementary color flashing for multichannel image presentation
AU2017281533B2 (en) * 2016-06-24 2019-06-27 Howard Hughes Medical Institute Automated adjustment of light sheet geometry in a microscope
US11428916B2 (en) * 2016-08-15 2022-08-30 Leica Microsystems Cms Gmbh Light sheet microscope
CA3035788C (en) 2016-09-09 2023-01-10 The University Of North Carolina At Chapel Hill Tilted illumination systems for fluoresence microscopes
EP3296723A1 (en) * 2016-09-14 2018-03-21 ASML Netherlands B.V. Illumination source for an inspection apparatus, inspection apparatus and inspection method
US10690898B2 (en) * 2016-09-15 2020-06-23 Molecular Devices (Austria) GmbH Light-field microscope with selective-plane illumination
EP3538941A4 (en) * 2016-11-10 2020-06-17 The Trustees of Columbia University in the City of New York METHODS FOR FAST IMAGING OF HIGH RESOLUTION LARGE SAMPLES
EP3545488A1 (en) 2016-11-23 2019-10-02 Li-Cor, Inc. Motion-adaptive interactive imaging method
JP2018105936A (ja) * 2016-12-22 2018-07-05 オリンパス株式会社 顕微鏡、設定支援方法
US20190320145A1 (en) * 2017-02-02 2019-10-17 Ismeca Semiconductor Holding Sa Assembly and method for inspecting components
US10261302B1 (en) 2017-04-24 2019-04-16 Igor Lyuboshenko Sample holder for microscopy
US10768400B2 (en) 2017-04-24 2020-09-08 Igor Lyuboshenko Varying an illumination path of a selective plane illumination microscopy
US11156822B2 (en) 2017-04-24 2021-10-26 Igor Lyuboshenko Selective plane illumination microscopy with multiple illumination units scanning an object in sync with a digital camera rolling shutter
US10386301B2 (en) 2017-04-25 2019-08-20 Li-Cor, Inc. Top-down and rotational side view biopsy specimen imager and methods
WO2019012771A1 (ja) * 2017-07-11 2019-01-17 浜松ホトニクス株式会社 試料観察装置及び試料観察方法
EP3454105A1 (en) * 2017-09-08 2019-03-13 Igor Lyuboshenko Varying an illumination path of a selective plane illumination microscopy
CN107884379A (zh) * 2017-12-18 2018-04-06 北京赛尔怡美科技有限公司 光片照明成像装置
WO2019143688A1 (en) * 2018-01-19 2019-07-25 Pcms Holdings, Inc. Multi-focal planes with varying positions
CN108334688B (zh) * 2018-01-29 2022-04-01 南京理工大学 基于matlab的旋转功能梯度厚板动力学行为计算方法
US20210116380A1 (en) * 2018-02-01 2021-04-22 University Of Pittsburgh-Of The Commonwealth System Of Higher Education Systems and methods for robust background correction and/or emitter localization for super-resolution localization microscopy
WO2019178093A1 (en) 2018-03-12 2019-09-19 The University Of North Carolina At Chapel Hill Mirror image microscopy for increased collection
US11314074B2 (en) 2018-03-12 2022-04-26 The University Of North Carolina At Chapel Hill Light disc microscopy for fluorescence microscopes
CN108956562B (zh) * 2018-06-11 2020-05-22 浙江大学 一种基于重定位的光切片荧光显微成像方法和装置
DE102018215831B4 (de) * 2018-09-18 2020-04-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optische Anordnung für fluoreszenzmikroskopische Anwendungen
DE102018215833B4 (de) * 2018-09-18 2020-04-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optische Anordnung für fluoreszenzmikroskopische Anwendungen
WO2020161826A1 (ja) 2019-02-06 2020-08-13 オリンパス株式会社 撮像装置
US11187659B2 (en) * 2019-03-28 2021-11-30 The Regents Of The University Of California Systems for fluorescence light sheet microscopy of large samples in high refractive index solutions
CN111521608A (zh) * 2020-04-27 2020-08-11 中国科学院广州生物医药与健康研究院 一种超分辨率显微成像方法及显微镜
KR102451422B1 (ko) * 2020-11-24 2022-10-07 울산과학기술원 초고해상도 이미지와 고속 광시야 이미지를 동시에 획득하는 방법 및 장치
EP4036628A1 (en) * 2021-01-22 2022-08-03 Viventis Microscopy Sàrl Microscope for imaging a sample
DE102021107821B4 (de) * 2021-03-29 2023-05-11 Universität Kassel, Körperschaft des öffentlichen Rechts Lichtblatt-fluoreszenzmikroskop und verfahren zur tomographischen darstellung
WO2022249583A1 (ja) * 2021-05-26 2022-12-01 ソニーグループ株式会社 情報処理装置、生体試料観察システム及び画像生成方法
EP4134724A1 (en) * 2021-08-13 2023-02-15 European Molecular Biology Laboratory Inverted light-sheet microscope
WO2023049164A1 (en) * 2021-09-22 2023-03-30 Howard Hughes Medical Institute Multiscale multiview light-sheet imaging
CN114236801B (zh) * 2021-10-25 2024-01-05 北京京东方技术开发有限公司 光片生成装置及具有其的显微镜系统
WO2024068455A1 (en) * 2022-09-26 2024-04-04 Consiglio Nazionale Delle Ricerche System and method for multicolor light sheet microscopy

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003185927A (ja) 2001-12-13 2003-07-03 Olympus Optical Co Ltd 走査型レーザー顕微鏡
DE10257423A1 (de) 2002-12-09 2004-06-24 Europäisches Laboratorium für Molekularbiologie (EMBL) Mikroskop
WO2009002225A2 (ru) 2007-06-25 2008-12-31 Closed Company 'molecular-Medicine Technologies' Многофункциональное устройство для диагностики и способ тестирования биологических объектов
DE102007045897A1 (de) 2007-09-26 2009-04-09 Carl Zeiss Microimaging Gmbh Verfahren zur mikroskopischen dreidimensionalen Abbildung einer Probe
DE102007063274B8 (de) 2007-12-20 2022-12-15 Albert-Ludwigs-Universität Freiburg Mikroskop
DE102008009216A1 (de) 2008-02-13 2009-08-20 Carl Zeiss Microimaging Gmbh Vorrichtung und Verfahren zum räumlich hochauflösenden Abbilden einer Struktur einer Probe
US9134521B2 (en) * 2008-07-30 2015-09-15 The Regents Of The University Of California Multidirectional selective plane illumination microscopy
DE102009044984A1 (de) 2009-09-24 2011-03-31 Carl Zeiss Microimaging Gmbh Mikroskop
DE102009044983A1 (de) 2009-09-24 2011-03-31 Carl Zeiss Microimaging Gmbh Mikroskop
EP2494399A4 (en) 2009-10-29 2018-01-17 California Institute of Technology Multiple-photon excitation light sheet illumination microscope
JP4894907B2 (ja) 2009-11-17 2012-03-14 カシオ計算機株式会社 撮像装置、撮像処理方法及びプログラム
US8711211B2 (en) * 2010-06-14 2014-04-29 Howard Hughes Medical Institute Bessel beam plane illumination microscope
US10051240B2 (en) 2010-06-14 2018-08-14 Howard Hughes Medical Institute Structured plane illumination microscopy
US8575570B2 (en) 2010-08-25 2013-11-05 California Institute Of Technology Simultaneous orthogonal light sheet microscopy and computed optical tomography
DE102010060121C5 (de) 2010-10-22 2023-09-28 Leica Microsystems Cms Gmbh SPIM-Mikroskop mit sequenziellem Lightsheet
US10908403B2 (en) 2011-02-14 2021-02-02 European Molecular Biology Laboratory (Embl) Light-pad microscope for high-resolution 3D fluorescence imaging and 2D fluctuation spectroscopy
WO2012122027A2 (en) * 2011-03-04 2012-09-13 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Optomechanical module for converting a microscope to provide selective plane illumination microscopy
JP6037623B2 (ja) 2012-02-24 2016-12-07 オリンパス株式会社 レーザ走査型共焦点顕微鏡、及び、レーザ走査型共焦点顕微鏡の光学系のアライメント調整方法
JP6166776B2 (ja) 2012-04-03 2017-07-19 ユニバーシティー コート オブ ザ ユニバーシティー オブ セイント アンドリューズUniversity Court Of The University Of St Andrews 拡張ボリュームの高分解能イメージング
DE102012013163B4 (de) 2012-07-02 2022-08-25 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zur Lichtscheibenmikroskopie

Also Published As

Publication number Publication date
JP2018185524A (ja) 2018-11-22
JP2016538584A (ja) 2016-12-08
EP3055728A4 (en) 2017-06-07
US10539772B2 (en) 2020-01-21
WO2015054450A1 (en) 2015-04-16
EP3055728B1 (en) 2023-11-15
EP3055728A1 (en) 2016-08-17
JP6364074B2 (ja) 2018-07-25
US20150098126A1 (en) 2015-04-09

Similar Documents

Publication Publication Date Title
JP6625696B2 (ja) マルチビュー・ライトシート顕微鏡検査法
US10739266B2 (en) Multiview light-sheet microscopy
Tomer et al. Quantitative high-speed imaging of entire developing embryos with simultaneous multiview light-sheet microscopy
Ji et al. Technologies for imaging neural activity in large volumes
US11199691B2 (en) Imaging signal extraction apparatus and methods of using same
Keller et al. Visualizing whole-brain activity and development at the single-cell level using light-sheet microscopy
Chhetri et al. Whole-animal functional and developmental imaging with isotropic spatial resolution
US10746981B2 (en) Methods and devices for imaging large intact tissue samples
Weber et al. Light sheet microscopy
US11530990B2 (en) Light-sheet microscope with parallelized 3D image acquisition
Tomer et al. Shedding light on the system: studying embryonic development with light sheet microscopy
US20090091566A1 (en) System and methods for thick specimen imaging using a microscope based tissue sectioning device
US10222600B2 (en) Method and apparatus for tiling light sheet selective plane illumination microscopy with real-time optimized light sheet
US20100195868A1 (en) Target-locking acquisition with real-time confocal (tarc) microscopy
Schultz et al. Advances in two-photon scanning and scanless microscopy technologies for functional neural circuit imaging
Ding et al. Multiscale light-sheet for rapid imaging of cardiopulmonary system
Nöbauer et al. Mesoscale volumetric light-field (MesoLF) imaging of neuroactivity across cortical areas at 18 Hz
Li et al. Real-time denoising of fluorescence time-lapse imaging enables high-sensitivity observations of biological dynamics beyond the shot-noise limit
Wolf et al. fast volumetric imaging using light-sheet microscopy. Principles and applications
Mizrachi Nanoscale Synapse Imaging and Whole Brain Neuronal Tracing with Super Resolution Oblique Light Sheet Microscopy
Morozov et al. Light Sheet Microscopy Comes of Age
WO2023102212A1 (en) Light-field microscope with hybrid point-spread function
Keomanee-Dizon Optical Physics for Optimal Volumetric Biological Imaging
Tsia et al. Multiplex Imaging Captures Cellular Processes

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180727

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191127

R150 Certificate of patent or registration of utility model

Ref document number: 6625696

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250