JP6916316B2 - パターン角度空間選択構造化照明イメージング - Google Patents

パターン角度空間選択構造化照明イメージング Download PDF

Info

Publication number
JP6916316B2
JP6916316B2 JP2019571596A JP2019571596A JP6916316B2 JP 6916316 B2 JP6916316 B2 JP 6916316B2 JP 2019571596 A JP2019571596 A JP 2019571596A JP 2019571596 A JP2019571596 A JP 2019571596A JP 6916316 B2 JP6916316 B2 JP 6916316B2
Authority
JP
Japan
Prior art keywords
light
imaging system
diffraction grating
sample
structured illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019571596A
Other languages
English (en)
Other versions
JP2020532758A (ja
Inventor
クラーク ニューマン ピーター
クラーク ニューマン ピーター
コンデロ ダニーロ
コンデロ ダニーロ
ルー シャオピン
ルー シャオピン
プリンス サイモン
プリンス サイモン
シー シウ メレク
シー シウ メレク
エス ホン スタンリー
エス ホン スタンリー
リウ アーロン
リウ アーロン
Original Assignee
イラミーナ インコーポレーテッド
イラミーナ インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by イラミーナ インコーポレーテッド, イラミーナ インコーポレーテッド filed Critical イラミーナ インコーポレーテッド
Priority claimed from PCT/US2019/013504 external-priority patent/WO2019143564A1/en
Publication of JP2020532758A publication Critical patent/JP2020532758A/ja
Application granted granted Critical
Publication of JP6916316B2 publication Critical patent/JP6916316B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6486Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/18Arrangements with more than one light path, e.g. for comparing two specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
    • G02B27/425Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application in illumination systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N2021/6463Optics
    • G01N2021/6471Special filters, filter wheel
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N2021/6463Optics
    • G01N2021/6478Special lenses

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

[関連出願の相互参照]
本願は、2018年1月16日に出願された「パターン角度空間選択構造化照明イメージング(Pattern Angle Spatial Selection Structured Illumination Imaging)」と題する米国仮特許出願第62/618,059号及び2018年3月20日に出願された「パターン角度空間選択構造化照明イメージング」と題するオランダ特許出願第2020620号の優先権を主張する。上記出願それぞれの全内容を参照により本明細書に援用する。
構造化照明顕微鏡法(SIM)は、空間構造化(すなわち、パターン化)光を用いて試料を撮像し、顕微鏡の横分解能を2倍以上高める技術を言う。場合によっては、試料の撮像中に試料の縞パターンの3つの画像が種々のパターン位相(例えば、0°、120°、及び240°)で取得されるので、試料上の各位置がある範囲の照明強度に曝され、光軸の周りでパターンの向きを3つの別個の角度(例えば、0°、60°及び120°)に回転させることによりこの手順が繰り返される。取り込み画像(例えば、9つの画像)は、拡張された空間周波数帯域幅を有する単一の画像に合成することができ、それを実空間に再変換して従来の顕微鏡により取り込まれるものよりも高い解像度を有する画像を生成することができる。
現在のSIMシステムのいくつかの実施形態では、直線偏光ビームが光ビームスプリッタを通して方向付けられ、光ビームスプリッタはビームを2つ以上の別個の次数に分割し、それらが合成されて正弦波状の強度変化を有する干渉縞パターンとして撮像試料に投影され得る。回折格子が、コヒーレンス度が高く伝播角度が安定したビームを生成することができるビームスプリッタの例である。2つのかかるビームが合成されると、両者間の干渉により均一な規則的に繰り返す縞パターンが生成され、その間隔は干渉ビーム間の角度を含む因子により決まる。3つ以上のビームが合成される場合、得られるパターンは、通常は混ざり合った縞間隔を含む結果として最大強度と最小強度との間の差(「変調度」としても知られている)が減り、SIMの目的に適さないものとなる。
現在のSIMシステムのいくつかの実施形態では、投影パターンの向きは、ビーム分割素子を光軸周りで回転させることにより制御され、パターンの位相は、当該素子を軸に対して横方向に移動させることにより調整される。このようなシステムでは、回折格子が通常は並進ステージに取り付けられ、並進ステージがさらに回転ステージに取り付けられる。さらに、このようなシステムは、多くの場合は直線偏光子を利用して光源が発した光を偏光させた後に、格子で受光する。
本明細書に開示する実施形態は、構造化照明システム及び方法を対象とする。
第1の組の実施形態において、SIMイメージングシステムは、多アーム(arm:腕)SIMイメージングシステムとして実現することができ、システムの各アームが発光装置とシステムの光軸に対して特定の固定の向きを有するビームスプリッタ(例えば、透過型回折格子)とを含む。
多アームSIMイメージングシステムの一実施形態では、システムは、発光する第1の発光装置及び第1の複数の縞を試料の平面に投影するよう第1の発光装置が発した光を分割する第1のビームスプリッタを含む第1の光アームと、発光する第2の発光装置及び第2の複数の縞を試料の平面に投影するよう第2の発光装置が発した光を分割する第2のビームスプリッタを含む第2の光アームとを含む。この実施形態では、システムは、第1のアーム及び第2のアームの光路を合成する光学素子も含み得る。さらに、システムは、試料が発した光を集光するイメージセンサを含み得る。いくつかの実施形態では、試料は、矩形アレイ又は六角形アレイ状に規則的にパターン化された複数のフィーチャ(features)を含み得る。
いくつかの実施形態では、第1のビームスプリッタは第1の透過型回折格子を含み、第2のビームスプリッタは第2の透過型回折格子を含む。いくつかの実施形態では、第1のビームスプリッタは第1の反射型回折格子を含み、第2のビームスプリッタは第2の反射型回折格子を含む。いくつかの実施形態では、第1及び第2のビームスプリッタは、それぞれがビームスプリッタキューブ又はプレートを含む。
いくつかの実施形態では、第1及び第2のビームスプリッタは非偏光を発し、第1及び第2の透過型回折格子は、第1及び第2の発光装置のそれぞれが発した非偏光を回折させる。
いくつかの実施形態では、第1の複数の縞及び第2の複数の縞の光路を合成する光学素子は、穴あきミラーを含み、ミラーは第1の回折格子により回折された光を反射するよう配置され、穴は第2の回折格子により回折された少なくとも1次光(first orders of light)を通過させるよう配置される。いくつかの実施形態では、第1のアーム及び第2のアームの光路を合成する光学素子は、偏光ビームスプリッタを含み、第1の回折格子が垂直偏光を回折させ、第2の回折格子が水平偏光を回折させる。
いくつかの実施形態では、多アームSIMイメージングシステムは、第1の複数の縞及び第2の複数の縞を位相シフトさせる1つ又は複数の光学素子を含む。
いくつかの実施形態では、第1の複数の縞及び第2の複数の縞を位相シフトさせる1つ又は複数の光学素子は、第1の複数の縞を位相シフトさせる第1の回転光学窓と、第2の複数の縞を位相シフトさせる第2の回転光学窓とを含む。いくつかの実施形態では、第1の複数の縞及び第2の複数の縞を位相シフトさせる1つ又は複数の光学素子は、第1の回折格子を並進させる第1の直線運動ステージと、第2の回折格子を並進させる第2の直線運動ステージとを含む。いくつかの実施形態では、第1の複数の縞及び第2の複数の縞を位相シフトさせる1つ又は複数の光学素子は、単一の回転光学窓を含み、単一の回転光学窓は、試料までの光路において穴あきミラーの後に位置決めされる。
いくつかの実施形態では、単一の回転光学窓の回転軸は、格子のそれぞれの光軸から約45°オフセットされる。
いくつかの実施形態では、第1の複数の縞は、試料平面上の第2の複数の縞から約90°の角度でオフセットされる。
いくつかの実施形態では、システムは、第1の複数の縞及び第2の複数の縞のそれぞれを試料に投影する対物レンズも含む。
いくつかの実施形態では、システムは、第1及び第2の回折格子のそれぞれが発した0次光(zero orders of light)を遮断する1つ又は複数の光ビームブロッカも含む。特定の実施形態では、1つ又は複数の光ビームブロックはブラッグ格子を含む。
多アームSIMイメージングシステムの一実施形態では、方法が、構造化照明システムの第1の光アームをオンにするステップであり、第1の光アームは、発光する第1の発光装置及び特定の方向に向いた第1の複数の縞を試料の平面に投影するよう第1の発光装置が発した光を回折させる第1の回折格子を含むステップと、試料の第1の複数の位相画像を取り込むステップであり、第1の複数の画像の取り込み中に第1の複数の縞の位置を試料の平面上でシフトさせるステップと、構造化照明システムの第2の光アームをオンにするステップであり、第2の光アームは、発光する第2の発光装置及び第2の複数の縞を試料の平面に投影するよう第2の発光装置が発した光を回折させる第2の回折格子を含み、第2の複数の縞は、試料の平面上で第1の複数の縞から角度がオフセットされるステップと、第2の複数の縞で照明された試料の第2の複数の位相画像を取り込むステップであり、第2の複数の画像の取り込み中に第2の複数の縞の位置を試料の平面上でシフトさせるステップとを含む。この方法の実施形態において、第1の回折格子及び第2の回折格子は透過型回折格子であり、構造化照明システムは、第1の回折格子により回折された光を反射して第2の回折格子により回折された少なくとも1次光を通過させる穴あきミラーを含む。
実施形態では、本方法は、少なくとも取り込まれた第1の複数の位相画像及び取り込まれた第2の複数の位相画像を用いて、取り込まれた第1及び第2の複数の位相画像のそれぞれよりも高い解像度を有する1つ又は複数の画像を計算的に再構成するステップをさらに含む。実施形態では、第1の複数の縞は、試料平面上で第2の複数の縞から約90°の角度でオフセットされる。
実施形態では、第1の複数の縞及び第2の複数の縞は、試料と第1及び第2の格子のそれぞれとの間の光路に位置決めされた単一の光学窓を回転させることにより位相シフトされ、単一の回転光学窓の回転軸は、格子のそれぞれの光軸からオフセットされる。
本方法の実施形態において、第1の複数の位相画像の取り込み後に、構造化照明システムの第1の光アームはオフにされ、構造化照明システムの第2の光アームはオンにされる。
本方法の実施形態において、第1の回折格子及び第2の回折格子は、画像取り込み中に機械的に固定される。
第2の組の実施形態において、SIMイメージングシステムは、多ビームスプリッタスライド(multiple beam splitter slide)SIMイメージングシステムとして実現することができ、1つの直線運動ステージに、システムの光軸に対して対応する固定の向きを有する複数のビームスプリッタが取り付けられる。
多ビームスプリッタスライドSIMイメージングシステムの一実施形態では、システムは、発光する発光装置と、第1のビームスプリッタ及び第2のビームスプリッタが取り付けられた直線運動ステージであり、第1のビームスプリッタは、第1の複数の縞を試料の平面に投影するよう発光装置が発した光を分割し、第2のビームスプリッタは、第2の複数の縞を試料の平面に投影するよう発光装置が発した光を分割する直線運動ステージと、試料が発した光を集光するイメージセンサとを含む。実施形態では、直線運動ステージは1次元直線運動ステージであり、直線運動ステージは、1次元に沿って並進して第1のビームスプリッタ及び第2のビームスプリッタのそれぞれを発光装置に光学的に結合し、第1のビームスプリッタは、1次元に沿って第2のビームスプリッタに隣接する。実施形態では、第1の複数の縞は、試料表面上で第2の複数の縞から約90°の角度でオフセットされる。
実施形態では、第1のビームスプリッタは第1の透過型回折格子を含み、第2のビームスプリッタは第2の透過型回折格子を含む。第1の回折格子及び第2の回折格子は、1次元から角度がオフセットされ(すなわち、光の伝播方向を軸に回転させられ)得る。特定の実施形態では、第1の回折格子及び第2の回折格子は、1次元から約±45°の角度でオフセットされる。
いくつかの実施形態では、第1の回折格子及び第2の回折格子は、直線運動ステージに取り付けられた単一の光学素子に組み込まれ得る。回折格子が単一の光学素子に組み込まれる実施形態では、単一の光学素子は、第1の回折格子でパターン化された第1の辺と、第1の側に隣接する第2の回折格子でパターン化された第2の辺とを含み得る。
いくつかの実施形態では、システムは、第1及び第2の回折格子のそれぞれが発した0次光を遮断する1つ又は複数の光ビームブロッカをさらに含み得る。
いくつかの実施形態では、システムは、直線運動ステージと対物レンズとの間の光路に投影レンズをさらに含み得る。投影レンズは、第1の回折格子及び第2の回折格子のそれぞれのフーリエ変換を対物レンズの入射瞳に投影し得る。
いくつかの実施形態では、システムは、直線運動ステージに取り付けられたコンポーネントに形成されたアライメントパターンをさらに含むことができ、アライメントパターンは、撮像アライメント用のパターンを試料の平面に投影するよう発光装置が発した光を分割する。アライメントパターンは、第1の回折格子及び第2の回折格子の少なくとも一方を含む基板に形成され得る。投影されたパターンは、投影された第1の複数の縞及び第2の複数の縞よりも低い周波数を有する線を含み得る。
いくつかの実施形態では、システムは、試料の平面に投影される第1の複数の縞及び第2の複数の縞を位相シフトさせる光位相変調器をさらに含み得る。このような実施形態では、光位相変調器は、直線運動ステージとは別個のコンポーネントであり得る。
多ビームスプリッタスライドSIMイメージングシステムの一実施形態では、方法が、構造化照明イメージングシステムの発光装置をオンにするステップであり、構造化照明イメージングシステムは第1の回折格子及び第2の回折格子が取り付けられた1次元直線運動ステージを含み、直線運動ステージは1次元に沿って並進するステップと、直線運動ステージを1次元に沿って並進させて、第1の回折格子により試料に投影された第1の複数の縞を位相シフトさせるステップと、直線運動ステージを並進させて、第2の回折格子を発光装置に光学的に結合するステップと、第2の回折格子を発光装置に光学的に結合した後に、直線運動ステージを1次元に沿って並進させて、第2の回折格子により試料に投影された第2の複数の縞を位相シフトさせるステップとを含む。第1の回折格子及び第2の回折格子は透過型回折格子であり得ると共に、1並進次元から角度がオフセットされ得る。例えば、第1の回折格子及び第2の回折格子は、1次元から約±45°の角度でオフセットされ得る。
実施形態では、本方法は、直線運動ステージを1次元に沿って複数回並進させて、第1の回折格子により試料に投影された第1の複数の縞を複数回位相シフトさせるステップと、第2の回折格子を発光装置に光学的に結合した後に、直線運動ステージを1次元に沿って複数回並進させて、第2の回折格子により試料に投影された第2の複数の縞を複数回位相シフトさせるステップとをさらに含み得る。
実施形態では、本方法は、直線運動ステージを並進させて第1の複数の縞を位相シフトさせる度にその後に試料の画像を取り込むステップと、直線運動ステージを並進させて第2の複数の縞を位相シフトさせる度にその後に試料の画像を取り込むステップとをさらに含み得る。取り込み画像を用いて、取り込み画像のそれぞれよりも高い解像度を有する画像を計算的に再構成することができる。
本方法の実施形態では、第1の複数の縞又は第2の複数の縞が試料上で位相シフトされる度に、直線運動ステージを1次元に沿ってほぼ同じ距離だけ並進させる。
特定の実施形態では、第2の回折格子が発光装置に光学的に結合されるときに、直線運動ステージを約10mm〜15mm並進させる。
第3の組の実施形態では、SIMイメージングシステムは、パターン角度空間選択SIMイメージングシステムとして実現することができ、固定2次元回折格子を空間フィルタホイールと組み合わせて用いて1次元縞パターンを試料に投影する。
パターン角度空間選択SIMイメージングシステムの一実施形態では、システムは、発光する発光装置と、第1の方向に向いた第1の複数の縞を試料平面に投影し且つ第1の方向に対して垂直な第2の方向に向いた第2の複数の縞を試料表面に投影するよう発光装置が発した光を回折させる2次元回折格子と、第1又は第2の方向のいずれか一方(a respective one of the first or second directions)で2次元回折格子から受光された回折光を通過させて第1又は第2の方向のいずれか一方の光を遮断する空間フィルタホイールであり、第1の複数の開口及び第1の複数の開口に直交する第2の複数の開口を含む空間フィルタホイールとを含む。第1の複数の開口は、2次元回折により回折された光を第1の方向に通過させることができ、第2の複数の開口は、2次元回折により回折された光を第2の方向に通過させることができる。
いくつかの実施形態では、システムは、2次元回折格子を透過した0次光を遮断するビーム遮断素子をさらに含む。特定の実施形態では、ビーム遮断素子は、当該素子に対して垂直な光を反射して他の角度の光を通過させるようパターン化された回折光学素子を含む。
いくつかの実施形態では、空間フィルタホイールは、2次元回折格子から受光されて通過しない回折次数光を反射する。
いくつかの実施形態では、2次元回折格子は透過型回折格子である。透過型回折格子は、固体光学素子(solid optic)のうち発光装置から受光する面上に配置又は形成され得る。透過型回折格子は、0次光が固体光学素子のうちの反対側で遮断されるような分散角となるよう配置され得る。いくつかの実施形態では、固体光学素子は、2次元透過型回折格子により回折された1次光を回折させて出力する斜面を含む。特定の実施形態では、斜面は集束レンズを含む。いくつかの実施形態では、投影レンズが固体光学素子により出力された光を受光する。
いくつかの実施形態では、2次元回折格子は2次元反射型回折格子である。2次元反射型回折格子は、発光装置から受光する固体光学素子の開口とは反対側の面上に配置又は形成され得る。固体光学素子は、2次元反射型回折格子により回折された1次光を反射して固体光学素子の出口面を通して出力する反射内面を含み得る。特定の実施形態では、出口面は回折集束レンズを含む。いくつかの実施形態では、投影レンズは固体光学素子により出力された光を受光する。
いくつかの実施形態では、システムは、第1の複数の縞及び第2の複数の縞を位相シフトさせる1つ又は複数の光学素子をさらに含む。特定の実施形態では、第1の複数の縞及び第2の複数の縞を位相シフトさせる1つ又は複数の光学素子は、直交する2方向に傾斜した平行平板光学素子を含む。
パターン角度空間選択SIMイメージングシステムの一実施形態では、方法が、2次元回折格子を含む構造化照明イメージングシステムの発光装置をオンにするステップと、発光装置が発した光を2次元回折格子で受光して、第1の方向に向いた第1の回折光及び第1の方向に対して垂直な第2の方向に向いた第2の回折光を出力するステップと、第1の回折光を空間フィルタホイールの第1の複数の開口に通過させ第2の回折光を空間フィルタホイールで遮断するステップと、第1の複数の穴を通過した第1の回折光を第1の複数の縞として試料平面に投影するステップと、試料が発した光の第1の複数の位相画像を取り込むステップであり、第1の複数の画像の取り込み中に第1の複数の縞を試料平面上で位相シフトさせるステップとを含む。第1の複数の縞は、試料の移動(例えば、運動ステージの使用)、投影縞の移動、又は試料及び投影縞両方の移動により位相シフトされ得る。
実施形態では、本方法は、第2の回折光を空間フィルタホイールの第2の複数の開口に通過させ第1の回折光を空間フィルタホイールで遮断するように空間フィルタホイールを回転させるステップと、第2の複数の穴を通過する第2の回折光を第1の複数の縞に直交する第2の複数の縞として試料平面に投影するステップと、試料が発した光の第2の複数の位相画像を取り込むステップであり、第2の複数の画像の取り込み中に第2の複数の縞を試料平面上で位相シフトさせるステップとをさらに含む。
本方法の特定の実施形態では、2次元回折格子は、固体光学素子の1面上に形成又は配置された2次元透過型回折格子であり、本方法は、透過型回折格子により出力された0次光を固体光学素子のうち透過型回折格子とは反対側で遮断するステップと、2次元透過型回折格子により回折された1次光を固体光学素子の斜面から回折させて出力するステップとをさらに含む。
本方法の特定の実施形態では、2次元回折格子は、発光装置から受光する固体光学素子の開口とは反対側の固体光学素子の面上に形成又は配置された2次元反射型回折格子であり、本方法は、2次元反射型回折格子により回折された1次光を固体光学素子の複数面で反射するステップをさらに含む。
開示技術の他の特徴及び態様は、例として開示技術の本明細書に記載のいくつかの実施形態による特徴を示す添付図面と共に以下の詳細な説明を読めば明らかとなるであろう。発明の概要は、特許請求の範囲及び等価物により定められる本明細書に記載の発明の範囲を制限するためのものではない。
当然ながら、上記概念の全ての組み合わせは(かかる概念が相互に矛盾しない場合)、本明細書に開示される発明の主題の一部と考えられる。特に、本開示の最後に載せた特許請求の範囲に記載の主題の全ての組み合わせが、本明細書に開示される発明の主題の一部と考えられる。
本明細書に記載のいくつかの実施形態による、試料を空間構造化光で照明する構造化照明イメージングシステムを示す。 本明細書に記載のいくつかの実施形態による、2アーム構造化照明顕微鏡(SIM)イメージングシステムの例示的な一光学構成を示す光路図である。 本明細書に記載のいくつかの実施形態による、2アームSIMイメージングシステムの別の例示的な光学構成を示す光路図である。 本明細書に記載のいくつかの実施形態による、2アームSIMイメージングシステムの別の例示的な光学構成を示す光路図である。 本明細書に記載のいくつかの実施形態による、構造化光を用いて高解像度画像を作成する1撮像サイクル中の多アームSIMイメージングシステムにより実施され得る例示的な方法を示す動作フロー図である。 本明細書に記載のいくつかの実施形態による、画像取り込み中に2アームSIMイメージングシステムの垂直格子及び水平格子により試料の平面に投影され得る簡略化した照明縞パターンを示す。 本明細書に記載のいくつかの実施形態による、偏光ビームスプリッタを用いて垂直格子を垂直偏光で照明し水平格子を水平偏光で照明する2アームSIMイメージングシステムの例示的な実験設計を示す。 20x/0.75NA顕微鏡を用いた図7の例示的なSIMイメージングシステムを用いて取り込まれたアフォーカルミラー(afocal mirror)画像及び蛍光スライドを示す。 ビーズ状(beaded:数珠状)フローセルと共に図7のシステムを用いて取得された縞変調測定値を示し、図7の平行平板W2の角度の変化に伴うこの例の位相調整サイクル中の通常のフィーチャ画像強度の変化を示すグラフである。 本明細書に記載のいくつかの実施形態による2アームSIMイメージングシステムの別の例示的な光学構成を示す。 本明細書に記載のいくつかの実施形態による、二重(dual)光学格子スライドSIMイメージングシステムの第1の回折格子位置での例示的な光学構成を示す概略図である。 本明細書に記載のいくつかの実施形態による、図10Aの二重光学格子スライドSIMイメージングシステムの第2の回折格子位置での例示的な光学構成を示す概略図である。 本明細書に記載のいくつかの実施形態による、構造化光を用いて高解像度画像を作成する1撮像サイクル中の多光学格子スライドSIMイメージングシステムにより実施され得る例示的な方法を示す動作フロー図である。 本明細書に記載のいくつかの実施形態による、画像取り込み中に二重光学格子スライドSIMイメージングシステムの第1の回折格子及び第2の回折格子により試料の平面に投影され得る簡略化した照明縞パターンを示す。 本明細書に記載のいくつかの実施形態による例示的な二重光学格子スライドSIMイメージング構成を示す図である。 本明細書に記載のいくつかの実施形態によるパターン角度空間選択SIMイメージングシステムの例示的な光学構成を示す概略図である。 本明細書に記載のいくつかの実施形態によるパターン角度空間選択SIMイメージングシステムの別の例示的な光学構成を示す概略図である。 本明細書に記載のいくつかの実施形態によるパターン角度空間選択SIMイメージングシステムの別の例示的な光学構成を示す概略図である。 多光学格子スライドSIMイメージングシステムのいくつかの実施形態で用いられ得るアライメントパターンの一例を示す。 本明細書に記載のいくつかの実施形態によるSIMイメージングシステムのイメージセンサアセンブリ上に形成され得る試料を示す。 本明細書に記載のいくつかの実施形態による例示的な二重光学格子スライドSIMイメージングシステムのいくつかのコンポーネントを示す。
本開示を、1つ又は複数の実施形態に従って添付の図を参照して詳細に説明する。図は、説明のためだけに提供されており、例示的な実施形態を示すものにすぎない。さらに、明確化のため且つ説明を容易にするために、図中の要素は必ずしも同一の縮尺となっていないことに留意されたい。
本明細書に含まれる図のいくつかは、開示技術の種々の実施形態を異なる視野角から示している。それに付随する説明文は、こうした視野を「上面」図、「下面」図、又は「側面」図と称する場合があるが、このような言及は説明的なものにすぎず、別段の明記のない限りは特定の空間的向きでの実施又は使用を意味することも必要とすることもない。
図は、網羅的なものではなく、本開示を開示された形態そのものに限定するものでもない。
本明細書において回折格子により回折された光の言及に用いる場合、用語「次」又は「次数」は、強め合う干渉に関する回折格子の隣接するスリット又は構造からの光の経路長差を表す整数波長の数を意味することが意図される。反復する一連の格子構造又は他のビーム分割構造に対する入射光ビームの相互作用により、光ビームの一部を原ビームから予測可能な角度方向に再指向又は回折させることができる。用語「0次」又は「0次極大(zeroth order maximum)」は、回折格子が発した回折のない中央の明るい縞を指すことが意図される。用語「1次」は、0次の縞の両側に回折された2つの明るい縞を指すことが意図され、経路長差は±1波長である。高次になるほど原ビームから大きな角度に回折される。格子の特性を操作して、どの程度のビーム強度を種々の次数に指向させるかを制御することができる。例えば、±1次の透過を最大にし且つ0次ビームの透過を最小にする位相格子を作製することができる。
本明細書において試料の言及に用いる場合、用語「フィーチャ」は、相対位置に従って他の点又は領域から区別できるパターン内の点又は領域を意味することが意図される。個々のフィーチャは、特定のタイプの1つ又は複数の分子を含み得る。例えば、フィーチャが特定の配列を有する単一の標的核酸分子を含み得るか、又はフィーチャが同じ配列(及び/又はその相補的配列)を有する複数の核酸分子を含み得る。
本明細書において、用語「xy平面」は、デカルト座標系において直線軸x及びyにより規定される2次元領域を意味することが意図される。検出器及び検出器により観察される物体に関して用いられる場合、この領域は、ビーム軸すなわち検出器と被検出物体との間の観察方向に直交するものとしてさらに指定され得る。
本明細書において、用語「z座標」は、xy平面に直交する軸に沿った点、線、又は領域の位置を指定する情報を意味することが意図される。特定の実施形態において、z軸は、検出器により観察される物体の領域に直交する。例えば、光学系のフォーカス方向は、z軸に沿って指定され得る。
本明細書において、用語「光学的に結合され」は、ある要素が別の要素に直接的又は間接的に光を伝えるよう適合されることを指すことが意図される。
上記のように、SIMシステムの既存の実施形態は、回折格子を並進ステージに取り付け、並進ステージはさらに回転ステージに取り付けられる。さらに、このようなシステムは、多くの場合は格子での受光前に光源を偏光させる直線偏光子を利用する。この既存の設計には、高スループットの顕微鏡システムでの使用にとっていくつかの欠点がある。第1に、画像セットの取得中に回転ステージが格子を複数回(例えば、3回)回転させなければならず、これが機器を減速させてその安定性に影響を及ぼす。通常、ステージにより可能な格子の回転は最高で約数十ミリ秒(ms)であり、これは撮像速度に機械的スループット限界を課す。第2に、回転ステージの機械公差が画像取得セット毎の構造化照明パターンの再現性を制限するので、既存の設計は再現性が低い。これも、非常に精密な回転ステージが必要となるのでSIMシステムのコストを増加させる。
第3に、既存のSIM設計は、格子を回転させるために行われる作動数により、高スループットの顕微鏡システムでの使用にとって最も信頼できるものではない。例えば、毎秒1つのSIM画像セットが取得される場合、回転ステージは、1年に数百万〜数千万回の作動を必要とし得る。第4に、既存のSIM設計は、直線偏光子が格子で受光された光の50%以上を遮断するので光学効率が低い。
この目的で、本明細書に開示される実施形態は、SIMシステム及び方法の改良を対象とする。
本明細書に開示される技術の第1の組の実施形態によれば、SIMイメージングシステムは、多アームSIMイメージングシステムとして実現することができ、システムの各アームが発光装置とシステムの光軸に対して特定の固定の向きを有するビームスプリッタ(例えば、透過型回折格子)とを含む。これらの実施形態によれば、SIMイメージングシステムのビームスプリッタは回転可能に固定され(すなわち、機械的回転を必要とせず)、これがシステム速度、信頼度、及び再現性の向上をもたらし得る。被撮像物体が主に直交する2軸に沿った(すなわち、垂直及び水平の)向きであるシステムでは、ランダムな向きの物体に通常用いられる3つの角度の代わりに2つのパターン角度を用いて空間分解能の向上を達成することが可能である。特定の実施形態では、システムは、各縞パターンを撮像試料に投影する固定垂直格子及び固定水平格子を含む2アームSIMイメージングシステムとして実現され得る。試料物体の向きと位置合わせされるならば、他の直交格子対及びパターン角度を用いることができる。さらに、システムは、2つのアームを無損失で光路に合成する穴あきミラーを含み得る。
本明細書に開示される技術の第2の組の実施形態によれば、SIMイメージングシステムは、多ビームスプリッタスライドSIMイメージングシステムとして実現することができ、1つの直線運動ステージに、システムの光軸に対して対応する固定の向きを有する複数のビームスプリッタ(例えば、回折格子)が取り付けられる。特定の実施形態では、SIMイメージングシステムは、二重光学格子スライドSIMイメージングシステムとして実現することができ、撮像試料に投影された格子パターンの位相シフト及び回転の全てが、単一の運動軸に沿った運動ステージの直線並進により行われて、2つの格子の一方が選択され得るか又は選択された格子により生成されたパターンの位相シフトが行われ得る。このような実施形態では、単一の発光装置及び単一の直線運動ステージを有する単一の光アームしか試料の照明に必要なく、これにより可動システム部品数を減らす等のシステム上の利点が得られて速度、複雑さ、及びコストを改善することができる。さらに、このような実施形態では、偏光子がないことで光学効率が高いという利点を得ることができる。
本明細書に開示される技術の第3の組の実施形態によれば、SIMイメージングシステムは、パターン角度空間選択SIMイメージングシステムとして実現することができ、固定2次元回折格子を空間フィルタホイールと組み合わせて用いて1次元回折パターンを試料に投影する。このような実施形態では、イメージングシステムの主光学コンポーネントを固定のままとすることができ、これにより光学系(及び照明パターン)の安定性が向上し得ると共にシステムの可動素子の重量、振動出力、及びコストが最小化され得る。
本明細書に開示されるシステム及び方法の種々の実施形態を説明する前に、本明細書に開示される技術を実施できる例示的な環境を説明することが有用である。そのような例示的な環境の1つは、試料を空間構造化光で照明する図1に示す構造化照明イメージングシステム100の環境である。例えば、システム100は、空間構造化励起光を利用して生体試料を撮像する構造化照明蛍光顕微鏡システムであり得る。
図1の例では、発光装置150が、コリメーションレンズ151によりコリメートされる光ビームを出力するよう構成される。コリメート光は、光構造化光学アセンブリ155により構造化(パターン化)され、ダイクロイックミラー160により対物レンズ142を通して運動ステージ170上に位置決めされた試料容器110の試料へ向けられる。蛍光試料の場合、構造化励起光に応じて試料が蛍光を発し、得られた光は対物レンズ142により集光されカメラシステム140のイメージセンサへ向けられて蛍光が検出される。
以下でさらに説明する種々の実施形態の光構造化光学アセンブリ155は、試料容器110の試料に投影される光のパターン(例えば、縞、通常は正弦波状)を生成する1つ又は複数の光回折格子又は他のビーム分割素子(例えば、ビームスプリッタキューブ又はプレート)を含む。回折格子は、1次元又は2次元の透過型又は反射型格子であり得る。回折格子は、正弦波振幅格子又は正弦波位相格子であり得る。
特定の実施形態に関して以下でさらに説明するように、システム100において、回折格子は上述した既存のシステムの通常の構造化照明顕微鏡システムのような回転ステージを必要としない。いくつかの実施形態では、回折格子は、イメージングシステムの動作中に固定され得る(すなわち、回転又は直線運動を必要としない)。例えば、以下でさらに説明する特定の実施形態では、回折格子は、相互に対して垂直な向きの2つの固定された1次元透過型回折格子(例えば、水平回折格子及び垂直回折格子)を含み得る。
図1の例に示すように、光構造化光学アセンブリ155は、1次の回折光ビーム(例えば、m=±1次)を出力する一方で0次を含む他の全ての次数を遮断又は最小化する。しかしながら、代替的な実施形態では、付加的な次数の光が試料に投影され得る。
各撮像サイクル中に、イメージングシステム100は、光構造化光学アセンブリ155を利用して縞パターンを変調方向(例えば、x−y平面で縞に対して垂直)に対して横方向に変位させた種々の位相で複数の画像を取得し、光軸周りで(すなわち、試料のx−y平面に対して)パターンの向きを回転させることによりこの手順を1回又は複数回繰り返す。取り込み画像を続いて計算的に再構成して、より高い解像度の画像(例えば、個々の画像の横空間分解能の約2倍を有する画像)を生成することができる。
システム100において、発光装置150は、インコヒーレント発光装置(例えば、1つ又は複数の励起用ダイオードにより出力される光ビームを発する)又は1つ又は複数のレーザ又はレーザダイオードにより出力される光の発光装置等のコヒーレント発光装置であり得る。システム100の例に示すように、発光装置150は、出力される光ビームを誘導する光ファイバ152を含む。しかしながら、発光装置150の他の構成を用いてもよい。マルチチャネルイメージングシステム(例えば、複数の光波長を利用するマルチチャネル蛍光顕微鏡)で構造化照明を利用する実施形態では、光ファイバ152は、それぞれが異なる波長の光を発する複数の異なる光源(図示せず)に光学的に結合し得る。システム100は単一の発光装置150を有するものとして示されているが、実施形態によっては複数の発光装置150が含まれ得る。例えば、以下でさらに説明する複数のアームを利用する構造化照明イメージングシステムの場合、複数の発光装置が含まれ得る。
いくつかの実施形態によれば、システム100は、構造化ビームの形状及び経路を調整するようz軸に沿って関節運動する(articulate)レンズ素子を含み得る投影レンズ156を含み得る。例えば、投影レンズのコンポーネントは、容器110内の試料のある範囲の試料厚さ(例えば、異なるカバーガラスの厚さ)に対応するよう関節運動し得る。
システム100の例では、流体供給モジュール又は装置190が、試料容器110及び逃がし弁120へ(且つそれを通して)試薬(例えば、蛍光標識ヌクレオチド、緩衝液、酵素、切断試薬等)の流れを向けることができる。試料容器110は、試料が設けられる1つ又は複数の基板を含むことができる。例えば、多数の異なる核酸配列を解析するシステムの場合、試料容器110は、シーケンシングすべき核酸が結合、付着、又は関連する1つ又は複数の基板を含むことができる。基板は、核酸を付着させることができる任意の不活性基板又は基質、例えばガラス表面、プラスチック表面、ラテックス、デキストラン、ポリスチレン表面、ポリプロピレン表面、ポリアクリルアミドゲル、金表面、及びシリコンウェハ等を含み得る。用途によっては、基板は、チャネル又は他の領域内で試料容器110にわたって行列又はアレイ状に形成された複数の位置にある。システム100は、試料容器110内の流体の状態の温度(temperature of conditions)を任意に調節することができる温度ステーションアクチュエータ130及びヒータ/クーラ135も含み得る。
特定の実施形態では、試料容器110は、透光性カバープレート、基板、及びこれらの間に収容された液体を含むパターン化フローセルとして実現することができ、生体試料を透光性カバープレートの内面又は基板の内面に位置付けることができる。フローセルは、基板に画定されたアレイ(例えば、六角形アレイ、矩形アレイ等)状にパターン化された多数の(例えば、数千個、数百万個、又は数十億個)のウェル又は領域を含み得る。各領域は、例えばDNA、RNA、又は1塩基合成反応(sequencing by synthesis)を用いてシーケンシングされ得る別のゲノム材料等の生体試料のクラスタ(例えば、モノクローナルクラスタ)を形成し得る。フローセルは、それぞれが六角形のクラスタアレイを含む複数の離間したレーン(例えば、8つのレーン)にさらに分割され得る。本明細書に開示される実施形態で用いられ得る例示的なフローセルは、米国特許第8,778,848号に記載されている。
試料容器110を試料ステージ170に取り付けて、対物レンズ142に対する試料容器110の移動及び位置合わせを行うことができる。試料ステージは、3次元のうちのいずれかでこれを移動させる1つ又は複数のアクチュエータを有することができる。例えば、デカルト座標系に関して、ステージを対物レンズに対してX方向、Y方向、及びZ方向にさせるアクチュエータを設けることができる。これにより、試料容器110上の1つ又は複数の試料位置を対物レンズ142と光学的に位置合わせして位置決めすることができるようになる。対物レンズ142に対する試料ステージ170の移動は、試料ステージ自体、対物レンズ、イメージングシステムの他の何らかのコンポーネント、又は上記の任意の組み合わせを移動させることにより達成することができる。いくつかの実施形態では、試料ステージ170の移動を構造化照明撮像中に実施して、構造化照明縞を試料に対して移動させて位相を変えてもよい。さらに他の実施形態は、固定された試料上でイメージングシステム全体を移動させることも含み得る。代替として、試料110が撮像中に固定され得る。
いくつかの実施形態では、試料容器110に対する光学コンポーネントのフォーカス方向(通常はz軸又はz方向と称する)の位置決めを制御するフォーカス(z軸)コンポーネント175が含まれ得る。フォーカスコンポーネント175は、光学ステージ若しくは試料ステージ又は両方に物理的に結合された1つ又は複数のアクチュエータを含むことができ、このアクチュエータは、試料ステージ170上の試料容器110を光学コンポーネント(例えば、対物レンズ142)に対して移動させて撮像動作に適した合焦をもたらす。例えば、アクチュエータは各ステージに、例えばステージに対する直接的又は間接的な機械的、流体的、若しくは他の取り付け又は接触等により物理的に結合され得る。1つ又は複数のアクチュエータは、試料ステージを同じ平面に維持しつつ(例えば、光軸に対して垂直なレベル又は水平姿勢を維持しつつ)ステージをz方向に移動させるよう構成することができる。1つ又は複数のアクチュエータは、ステージを傾斜させるように構成することもできる。これは例えば、試料容器110をその表面の傾きに対応するよう動的に水平化することができるように行われ得る。
当然ながら、図1は、2つのビーム次数を合成して干渉縞パターンとして撮像試料に投影するための対物レンズ142の使用を示しているが、他の適当な手段を用いて2つのビームを合成し且つ/又は干渉パターンを試料に投影してもよい。ビームが通過する経路長がビームの時間的コヒーレンス長内にあれば、(例えば、ミラーを用いた)ビームを再指向させる任意の手段で十分であり得る。さらに、いくつかの実施形態では、2つのビーム次数はビームスプリッタ(例えば、回折格子)を越える距離では自動的に重畳し得る。このような実施形態では、干渉パターンが格子付近に現れ、回折格子が試料に十分に近く配置されている場合は付加的な投影システムの必要がなくなる。したがって、当然ながら、本明細書に記載のSIMの実施形態は、干渉パターンを投影するのに対物レンズ系に依存しないシステムに適用され得る。
撮像中の試料位置にある試験試料から出る構造化光は、ダイクロイックミラー160を通してカメラシステム140の1つ又は複数の検出器へ向けることができる。いくつかの実施形態では、1つ又は複数のエミッションフィルタを有するフィルタ切替アセンブリ165を含むことができ、1つ又は複数のエミッションフィルタを用いて、特定の発光波長を通過させて他の発光波長を遮断(又は反射)することができる。例えば、1つ又は複数のエミッションフィルタを用いて、イメージングシステムの異なるチャネル間の切り替えが行われ得る。特定の実施形態では、エミッションフィルタは、異なる波長の発光をカメラシステム140の異なるイメージセンサへ向けるダイクロイックミラーとして実現され得る。
カメラシステム140は、試料容器110の撮像(例えば、シーケンシング)を監視及び追跡する1つ又は複数のイメージセンサを含むことができる。カメラシステム140は、例えば電荷結合素子(CCD)イメージセンサカメラとして実現することができるが、アクティブピクセルセンサ(例えば、相補型金属酸化膜半導体(CMOS)イメージセンサ)等の他のイメージセンサ技術を用いることができる。いくつかの実施形態では、構造化照明イメージングシステム100は、試料のアクティブ面におけるイメージセンサ(例えば、アクティブピクセルセンサ)を利用し得る。このような実施形態では、撮像試料は、イメージセンサ上にパターン化及び/又は位置合わせされ得る。
カメラシステム140からの出力データ(例えば、画像)は、リアルタイム分析モジュール(図示せず)に通信することができ、このリアルタイム分析モジュールは、以下でさらに説明するように、各撮像サイクル中に取り込まれた画像を再構成してより高い空間分解能を有する画像を生成することができるソフトウェアアプリケーションとして具現され得る。代替として、出力データは後で再構成するために記憶され得る。
図示はしないが、構造化照明イメージングシステム100の種々の光学コンポーネントの同期を含むシステム100の動作を制御するコントローラを設けることができる。コントローラは、システム動作の態様、例えば光構造化光学アセンブリ155の構成(例えば、回折格子の選択及び/又は直線並進)、投影レンズ156の移動、合焦、ステージ移動、及び撮像動作を制御するよう実装され得る。種々の実施形態において、コントローラは、ハードウェア、アルゴリズム(例えば、機械実行可能な命令)、又は上記の組み合わせを用いて実装され得る。例えば、いくつかの実施形態では、コントローラは、関連するメモリを有する1つ又は複数のCPU又はプロセッサを含み得る。別の例として、コントローラは、コンピュータプロセッサ及び機械可読命令が記憶された非一時的なコンピュータ可読媒体等、動作を制御するハードウェア又は他の回路を含み得る。例えば、この回路は、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け位集積回路(ASIC)、プログラマブルロジックデバイス(PLD)、コンプレックスプログラマブルロジックデバイス(CPLD)、プログラマブルロジックアレイ(PLA)、プログラマブルアレイロジック(PAL)、又は他の同様の処理装置又は回路の1つ又は複数を含み得る。さらにまた別の例として、コントローラは、この回路と1つ又は複数のプロセッサとの組み合わせを含み得る。
多アーム構造化照明顕微鏡イメージングシステム
本明細書に開示する技術のいくつかの実施形態によれば、SIMイメージングシステムは、多アームSIMイメージングシステムとして実現することができ、システムの各アームが発光装置とシステムの光軸に対して特定の固定の向きを有するビームスプリッタとを含む。
図2は、本明細書に記載のいくつかの実施形態による2アームSIMイメージングシステム200の例示的な一光学構成を示す光路図である。システム200の第1のアームは、発光装置210A、発光装置210Aにより出力された光をコリメートする光コリメータ220A、光軸に対して第1の向きの回折格子230A、回転窓240A、及び投影レンズ250Aを含む。システム200の第2のアームは、発光装置210B、発光装置210Bにより出力された光をコリメートする光コリメータ220B、光軸に対して第2の向きの回折格子230B、回転窓240B、及び投影レンズ250Bを含む。この例では回折格子が図示されているが、他の実施形態では、ビームスプリッタキューブ又はプレート等の他のビーム分割素子を用いてSIMイメージングシステム200の各アームで受光された光を分割してもよい。
各発光装置210A、210Bは、インコヒーレント発光装置(例えば、1つ又は複数の発光ダイオード(LED)により出力される光ビームを発する)又は1つ又は複数のレーザ又はレーザダイオードにより出力される光の発光装置等のコヒーレント発光装置であり得る。システム200の例では、各発光装置210A、210Bは、各コリメータ220A、220Bによりコリメートされる光ビームを出力する光ファイバである。
いくつかの実施形態では、各光ファイバは、レーザ等の対応する光源(図示せず)に光学的に結合され得る。撮像中に、各光ファイバは、ファイバと光源との間の光路に位置決めされた高速シャッタ(図示せず)により、又は撮像中に所定の周波数でファイバの対応する光源をパルス化することによりオンオフを切り替えることができる。いくつかの実施形態では、各光ファイバは、同じ光源に光学的に結合され得る。このような実施形態では、ビームスプリッタ又は他の適当な光学素子を用いて、光源から光ファイバのそれぞれに光が誘導され得る。このような例では、各光ファイバは、ファイバとビームスプリッタとの間の光路に位置決めされた高速シャッタ(図示せず)を用いてオンオフを切り替えることができる。
例示的なSIMイメージングシステム200では、第1のアームは、第1の向きの格子パターン(例えば、縦縞パターン)を試料に投影する固定垂直格子230Aを含み、第2のアームは、第2の向きの格子パターン(例えば、横縞パターン)を試料271に投影する固定水平格子230Bを含む。既存のSIMイメージングシステムとは異なり、SIMイメージングシステム200の格子は機械的に回転も並進もさせる必要がなく、これはシステム速度、信頼度、及び再現性の向上をもたらし得る。
図2の例に示すように、格子230A、230Bは、ガラス基板又は他の適当な表面に形成された複数の回折素子(例えば、平行なスリット又は溝)を含む透過型回折格子であり得る。格子は、格子材料の屈折率の周期的な変化を与える位相格子として実現され得る。溝又はフィーチャ間隔は、光を適当な角度で回折させるよう選択され得ると共に、SIMイメージングシステム200の動作に関する撮像試料の最小分解可能フィーチャサイズに調整され得る。他の実施形態では、格子は反射型回折格子であり得る。
SIMイメージングシステム200の例では、縦及び横パターンが約90°オフセットされる。他の実施形態では、格子の他の向きを用いて約90°のオフセットを作ってもよい。例えば、格子は、試料271のx又はy平面から±45°オフセットした像を投影するような向きであり得る。例示的なSIMイメージングシステム200の構成は、矩形グリッド上にフィーチャを有する規則的にパターン化された試料271の場合に特に有利であり得るが、それは直交する2つの格子(例えば、垂直格子及び水平格子)のみを用いて構造化分解能向上(structured resolution enhancement)を達成できるからである。
システム200の例の格子230A、230Bは、入力ビームを複数の次数(例えば、0次、±1次、±2次等)に回折させるよう構成され、そのうちの±1次を試料271に投影することができる。この例に示すように、垂直格子230Aは、コリメート光ビームを1次回折ビーム(±1次)に回折させて紙面の平面方向にこれを広げ、水平格子230Bは、コリメート光ビームを1次回折ビームに回折させて紙面に対して上下方向に(すなわち、紙面に対して垂直な平面で)これを広げる。システムの効率を上げるために、0次ビーム及び他の全ての高次ビーム(すなわち、±2次以上)は遮断(すなわち、試料271に投影された照明パターンから除去)され得る。例えば、次数フィルタ等のビーム遮断素子(図示せず)が、各回折格子の後の光路に挿入されて0次ビーム及び高次ビームを遮断し得る。いくつかの実施形態では、回折格子230A、230Bはビームを1次のみに回折させるよう構成され、0次(非回折ビーム)は何らかのビーム遮断素子により遮断され得る。
各アームは、格子230のそれぞれにより出力された回折光を位相シフトさせる光位相変調器又は位相シフタ240A、240Bを含む。例えば、構造化撮像中に、各回折ビームの光位相が構造化パターンの各縞のピッチ(λ)の数分の一(例えば、1/2、1/3、1/4等)だけシフトされ得る。図2の例では、位相変調器240A及び240Bは、ガルバノメータ又は他の回転アクチュエータを用いて各回折ビームを回転させその光路長を変調することができる回転窓として実現され得る。例えば、窓240Aは、鉛直軸周りに回転して垂直格子230Aにより試料271に投影された像を左右にシフトさせ、窓240Bは、水平軸周りに回転して水平格子230Bにより試料271に投影された像を上下にシフトさせることができる。
以下でさらに説明する他の実施形態では、回折光の光路長を変える他の位相変調器(例えば、直線並進ステージ、ウェッジ等)が用いられ得る。さらに、光位相変調器240A、240Bは格子230A、230Bの後に配置されるものとして図示されているが、他の実施形態では照明システムにおける他の位置に配置され得る。いくつかの実施形態では、以下で説明するように、単一の位相変調器が縞パターン毎に異なる2つの方向に動作し得るか、又は単一の位相変調器が単一の運動を用いて両方の経路長を調整し得る。
例示的なシステム200において、穴261を有するミラー260が2つのアームを無損失で(例えば、反射コーティングでのわずかな吸収以外は光パワーを大きく損なわずに)光路に結合する。ミラー260は、格子のそれぞれからの回折次数が空間的に分解されて不要な次数を遮断できるように位置付けることができる。ミラー260は、第1のアームにより出力された1次光を穴261に通過させる。ミラー260は、第2のアームにより出力された1次光を反射する。したがって、構造化照明パターンは、各発光装置をオンオフすることにより、又は光ファイバケーブルを通して光源の光を導く光シャッタを開閉することにより、垂直の向き(例えば、格子230A)から水平の向き(例えば、格子230B)に切り替えられ得る。他の実施形態では、構造化照明パターンは、光スイッチを用いて試料を照明するアームを変えることにより切り替えることができる。
例示的なイメージングシステム200には、投影レンズ265、半反射ミラー280、対物レンズ270、及びカメラ290も示されている。投影レンズ265は、レンズ250Aと共に利用されて格子230Aのフーリエ変換を対物レンズ270の入射瞳に投影し得る。同様に、投影レンズ265は、レンズ250Bと共に利用されて格子230Bのフーリエ変換を対物レンズ270の入射瞳に投影し得る。投影レンズ265は、z軸に沿って関節運動して試料平面上の格子フォーカスを調整するよう実装することもできる。半反射ミラー280は、各アームから受光された構造化照明光を対物レンズ270まで反射して試料271に投影させると共に、試料271が発した光(例えば、励起とは異なる波長で発した蛍光)をカメラ290まで通過させるダイクロイックミラーであり得る。
注目すべきは、システム200の例が、偏光子がないことにより高い光学効率をもたらし得ることである。さらに、非偏光の使用が、対物レンズ270の開口数設定に応じてパターンコントラストに大きな影響を与えることはない。
簡単のために、SIMイメージングシステム200の光学コンポーネントが上記説明から省かれている場合があることに留意されたい。さらに、システム200はこの例ではシングルチャネルシステムとして示されているが、他の実施形態ではマルチチャネルシステムとして(例えば、2つの異なるカメラ及び2つの異なる波長で発光する光源を用いることにより)実現され得る。
図3は、本明細書に記載のいくつかの実施形態による2アームSIMイメージングシステム300の別の例示的な光学構成を示す光路図である。システム300において、大きな回転光学窓310が穴261を有するミラー260の後に配置され得る。この場合、窓310を窓240A及び240Bの代わりに用いて、垂直及び水平回折格子により出力された両組の回折ビームの位相を変調することができる。格子の一方の光軸に対して平行である代わりに、回転窓130の回転軸は、垂直及び水平格子のそれぞれの光軸から45°オフセット(又は他の何らかの角度オフセット)して、窓310の1つの共通回転軸に沿った両方向に沿った位相シフトを可能にし得る。いくつかの実施形態では、回転窓310の代わりに楔形の光学素子を公称ビーム軸周りに回転させてもよい。
図4は、本明細書に記載のいくつかの実施形態による2アームSIMイメージングシステム400の別の例示的な光学構成を示す光路図である。システム400において、格子230A及び230Bはそれぞれの直線運動ステージ410A及び410Bに取り付けられ、直線運動ステージ410A及び410Bを並進させて格子230A及び230Bが発した光の光路長(したがって位相)を変えることができる。直線運動ステージ410A、410Bの運動軸をそれぞれの格子の向きに対して垂直又は他の角度でオフセットさせて、試料271に沿った格子のパターンの並進を実現することができる。実施形態では、ステージ410A及び410Bは、それぞれがクロスローラベアリング、リニアモータ、高精度リニアエンコーダ、及び/又は他の技術を利用して格子を精密に直線並進させ、投影像を位相シフトさせることができる。
図5は、本明細書に記載のいくつかの実施形態による、構造化光を用いて高解像度画像を作成する1撮像サイクル中の多アームSIMイメージングシステムにより実施され得る例示的な方法500を示す動作フロー図である。実施形態では、方法500は、試料全体又はより大きな試料の一部を撮像するために実施され得る。方法500は、図6と併せて説明されるものであり、図6は、画像取り込み中に2アームSIMイメージングシステムの垂直格子及び水平格子により試料271の平面に投影され得る簡略化した照明縞パターンを示す。例えば、SIMイメージングシステム200は、垂直格子230A及び水平格子230Bを用いて図6に示す垂直及び水平照明パターンを生成することができ、位相変調器230A及び230Bは、図示の3つの位相シフトを生成するよう3つの異なる位置に設定され得る。
動作510において、第1の格子向きに対応する第1のアームをオンにして、第1のアームを用いた照明パターンの生成を開始する。例えば、イメージングシステム200の実施形態において、光ファイバ210Aと光源との間の経路に位置決めされた高速シャッタを開くか又は他の方法で作動させて、光源が遮断されないようにすることができる。代替として、1つ又は複数の光源をオンオフ(例えばパルス化)してもよく、又は光スイッチを用いて第1のアームの光路を通して(例えば、第1又は第2の発光装置の一方を通して)光源を導いてもよい。場合によっては、動作510は、光源をオンにすることも含み得る(例えば、最初の撮像サイクルの場合)。
第1のアームがオンにされたら、動作520において、第1の格子パターンを試料に投影して画像を取り込むことができる。例えば、図6に示すように、垂直格子230Aが1次照明縞を試料271に投影し得る。試料が発した光はカメラ290により取り込むことができ、第1のパターン(例えば、縦パターン)の第1の位相画像を取り込むことができる。例えば、試料271の種々のフィーチャに位置する蛍光染料が蛍光を発し、得られる光が対物レンズ270により集光されカメラ290のイメージセンサへ向けられて蛍光が検出され得る。
追加の位相シフト画像を取り込む必要がある場合(判定530)、動作540において、格子により投影されたパターンを位相シフトさせてパターンの次の位相画像を取り込むことができる。例えば、システム200の実施形態では、垂直格子230Aにより投影されたパターンの位相が光学窓240Aの回転により位相シフトされ得る。代替として、並進ステージ又は回転光学ウェッジ等の他の光位相変調器を用いて位相をシフトさせてもよい。例えば、図6の例に示すように、試料に投影されたパターンが前に取り込まれた画像から1/3λオフセットされるように、位相を縞パターンのピッチ(λ)の1/3シフトさせることができる。いくつかの実施形態では、格子により投影されたパターンは、投影縞を固定したまま(例えば、運動ステージを用いて)試料を動かすことにより位相シフトさせることができる。いくつかの実施形態では、格子により投影されたパターンは、試料及び投影縞の両方を動かすことにより位相シフトさせることができる。第1のパターンの全位相画像が取り込まれる(例えば、図6の場合は縦パターンの3つの位相画像)まで、動作520〜540が繰り返され得る。
パターンの全位相画像が取り込まれたら、動作560において、SIMイメージングシステムの第2の格子向きに対応する第2のアームをオンにすることができる。例えば、イメージングシステム200の実施形態において、光ファイバ210Bと光源との間の経路に位置決めされた高速シャッタを開くか又は他の方法で作動させて、光源が遮断されないようにすることができる。代替として、1つ又は複数の光源をオンオフ(例えばパルス化)してもよく、又は光スイッチを用いて第2のアームの光路を通して光源を導いてもよい。さらに、他方のアームがオフにされ得る。動作520〜540を繰り返すことにより、次のアームについて一連の位相画像を続いて取り込むことができる。例えば、図6に示すように、水平格子230Bが1次照明縞を試料271に投影することができ、投影縞の位置を1/3λシフトさせて横パターンの3つの位相画像を取り込むことができる。別の例として、格子により投影されたパターンは、投影縞を固定したまま(例えば、運動ステージを用いて)試料を動かすことにより、又は試料及び投影縞の両方を動かすことにより位相シフトさせることができる。
撮像サイクルで全画像が取り込まれたら、動作570において、取り込み画像から高解像度画像を再構成することができる。例えば、高解像度画像は、図6に示す6つの画像から再構成され得る。適当なアルゴリズムを用いてこれらの種々の画像を組み合わせて、個々の構成要素画像のいずれよりも大幅に高い空間分解能を有する試料の単一画像を合成することができる。
方法500は、主にシングルチャネルイメージング(例えば、単一波長を有する光源を用いた試料の撮像)に関して記載しているが、いくつかの実施形態では、方法500がマルチチャネルイメージング(例えば、異なる波長を有する複数光源を用いた試料の撮像)に適合され得ることに留意されたい。このような実施形態では、方法500をイメージングシステムのチャネル毎に(例えば順次又は並行して)繰り返して、チャネル毎に高解像度画像を生成することができる。
本明細書に記載の2アームSIMイメージングシステム200の実施形態は、穴261を有するミラー260を利用して2つのアームの光路を無損失で合成するシステム200に関してこれまでは記載しているが、代替的な実施形態では、穴あきミラーの代わりに変更ビームスプリッタを用いて垂直格子を垂直偏光で照明し水平格子を水平偏光で照明することにより、水平及び垂直格子230A、230Bの2つの画像を無損失で合成することができる。このような実施形態では、構造化照明パターンは、対応する偏光照明源をオンオフすることにより水平から垂直に切り替えることができる。
例として、図7は、偏光ビームスプリッタを用いてアームの光路を合成し且つ垂直格子を垂直偏光で照明し水平格子を水平偏光で照明する、2アームSIMイメージングシステム700の例示的な実験設計を示す。図7の実施形態では、水平及び垂直格子はG1及びG2であり、水平及び垂直回転窓はW1及びW2であり、水平及び垂直格子像を合成するための偏光ビームスプリッタはPBS2である。ファイバ結合モードスクランブルマルチモードレーザ(fiber-coupled mode-scrambled multimode laser)の出力はFiber1である。
図8Aは、20x/0.75NA顕微鏡を用いた例示的なSIMイメージングシステム700を用いて取り込まれたアフォーカルミラー画像及び蛍光スライドを示す。アフォーカルミラー画像は、縞鮮明度が84%である。蛍光スライド画像は、縞鮮明度が6.6%である。
図8Bは、ビーズ状フローセルと共に図7のシステム700を用いて取得された縞変調測定値を示す。このグラフは、図7の平行平板W2の角度の変化に伴う位相調整サイクル中の通常のフィーチャ画像強度の変化を示す。
図9は、本明細書に記載のいくつかの実施形態による2アームSIMイメージングシステム900の別の例示的な光学構成を示す。システム900の第1のアームは、発光装置910A(例えば、光ファイバ)、発光装置910Aにより出力された光をコリメートする光コリメータ920A、光軸に対して第1の向きの回折格子930A、及びリレーレンズ940Aを含む。システム900の第2のアームは、発光装置910B、発光装置910Bにより出力された光をコリメートする光コリメータ920B、光軸に対して第2の向きの回折格子930B、及びリレーレンズ940Bを含む。
システム900は、光学系の2つのアームを合成するビーム合成素子950も含む。図示のように、ビーム合成素子950は、システムの第2のアームからの構造化光を通過させる穴と第1のアームから受光した構造化光を反射する鏡面とを有する45°プリズムを含む。ビーム合成素子950に入射する前に、各構造化光ビームは、±1次を通過させ他の次数を遮断する一対の開口を有する空間フィルタを通過する。第1の平面で第1のアームから出る構造化光は、反射光学素子945によりビーム合成素子950へ向けることができる。システム900では、平行平板光学素子960が位相調整器として働き、ビーム合成素子950の後のいずれかの方向に構造化光をシフトさせるよう回転させることができる。
本明細書に記載の実施形態は、2つの異なる角度に向いた2つの格子を含む2アーム構造化照明イメージングシステムに関してこれまでは記載しているが、他の実施形態では、3つ以上のアームを有するシステムが実現され得ることに留意されたい。矩形グリッド上にフィーチャを有する規則的にパターン化された試料の場合、上述のように2つの直交する角度(例えば、垂直格子及び水平格子)のみで分解能向上を達成することができる。他方では、他の試料(例えば、六角形パターン化試料)の全方向での画像の高解像度化には、3つの格子角度が用いられ得る。例えば、3アームシステムが3つの発光装置及び3つの固定回折格子(アーム毎に1つ)を含むことができ、各回折格子は、システムの光軸の周りで各パターンの向きを試料に投影するような向きにされる(例えば、0°パターン、120°パターン、又は240°パターン)。このようなシステムでは、追加の穴あきミラーを用いて、追加の格子の追加の像をシステムに無損失で合成することができる。代替として、このようなシステムは、1つ又は複数の偏光ビームスプリッタを利用して格子のそれぞれの画像を合成することができる。
多光学格子スライド構造化照明顕微鏡イメージングシステム
本明細書に開示される技術のいくつかの実施形態によれば、SIMイメージングシステムは、多光学格子スライドSIMイメージングシステムとして実現することができ、1つの直線運動ステージに、システムの光軸に対して対応する固定の向きを有する複数の回折格子(又は他のビーム分割光学素子)が取り付けられる。
図10A、図10Bは、本明細書に記載のいくつかの実施形態による、二重光学格子スライドSIMイメージングシステム1000の例示的な光学構成を示す概略図である。以下でさらに説明するように、システム1000の構成では、試料1070に投影された格子パターンに対する全ての変更(例えば、パターン位相シフト又は回転)が、運動ステージ1030を単一の運動軸に沿って直線並進させて格子1031又は1032を選択する(すなわち、格子の向きを選択する)か又は格子1031、1032の一方を位相シフトさせることにより行われ得る。
システム100は、発光装置1010(例えば、光源に光学的に結合された光ファイバ)、発光装置1010により出力された光をコリメートする第1の光コリメータ1020(例えば、コリメーションレンズ)、第1の回折格子1031(例えば、水平格子)及び第2の回折格子1032(例えば、垂直格子)が取り付けられた直線運動ステージ1030、投影レンズ1040、半反射ミラー1050(例えば、ダイクロイックミラー)、対物レンズ1060、試料1070、及びカメラ1080を含む。簡単のために、SIMイメージングシステム1000の光学コンポーネントは図10Aから省かれている場合がある。さらに、システム1000はこの例ではシングルチャネルシステムとして図示されているが、他の実施形態ではマルチチャネルシステムとして(例えば、2つの異なるカメラ及び2つの異なる波長で発光する光源を用いることにより)実現され得る。
図10Aに示すように、格子1031(例えば、水平回折格子)は、コリメート光ビームを(紙面の平面上で)1次回折光ビームに回折させることができる。図10Bに示すように、回折格子1032(例えば、垂直回折格子)は、ビームを(紙面の上下で)1次に回折させることができる。この構成では、単一の発光装置1010(例えば、光ファイバ)及び単一の直線運動ステージを有する単一の光アームしか試料1070の撮像に必要なく、これにより可動システム部品数を減らす等のシステム上の利点が得られて速度、複雑さ、及びコストを改善することができる。さらに、システム1000では、偏光子がないことで上述した光学効率が高いという利点を得ることができる。例示的なSIMイメージングシステム200の構成は、矩形グリッド上にフィーチャを有する規則的にパターン化された試料1070の場合に特に有利であり得るが、それは直交する2つの格子(例えば、垂直格子及び水平格子)のみを用いて構造化分解能向上を達成できるからである。
システムの効率を上げるために、各格子により出力された0次ビーム及び他の全ての高次回折ビーム(すなわち、±2次以上)は遮断(すなわち、試料1070に投影された照明パターンから除去)され得る。例えば、次数フィルタ等のビーム遮断素子(図示せず)が、運動ステージ1030の後の光路に挿入され得る。いくつかの実施形態では、回折格子1301、1302はビームを1次のみに回折させるよう構成され、0次(非回折ビーム)は何らかのビーム遮断素子により遮断され得る。
システム1000の例では、単一の直線運動軸に沿って格子1031、1032毎に位相シフトが実現され得るように、2つの格子が運動軸から約±45°に配置され得る(又は約+40°/−50°、約+30°/−60°等の運動軸からの他の何らかの角度オフセット)。いくつかの実施形態では、2つの格子が組み合わせられて1つの物理光学素子になり得る。例えば、物理光学素子の1辺が第1の向きの格子パターンを有することができ、物理光学素子の隣接辺が第1の向きに直交する第2の向きの格子パターンを有することができる。
短軸直線運動ステージ1030は、これを試料平面に対してX軸に沿って又は試料平面に対したY軸に沿って移動させる1つ又は複数のアクチュエータを含み得る。動作中に、直線運動ステージ1030は、効率的な画像再構成のために正確な照明パターンを投影させるのに十分な移動量(例えば、約12mm〜15mm)及び精度(例えば、約0.5マイクロメートル未満の再現性)を与えることができる。運動ステージ1030が蛍光顕微鏡等の自動イメージングシステムで利用される実施形態では、運動ステージ1030は、高い動作速度、最小限の振動発生、及び長い動作寿命を与えるよう構成され得る。実施形態では、直線運動ステージ1030は、クロスローラベアリング、リニアモータ、高精度リニアエンコーダ、及び/又は他のコンポーネントを含み得る。例えば、運動ステージ1030は、コントローラを用いて並進させることができる高精度ステッパ又はピエゾ運動ステージとして実現され得る。
図11は、本明細書に記載のいくつかの実施形態による、構造化光を用いて高解像度画像を作成する1撮像サイクル中の多光学格子スライドSIMイメージングシステムにより実施され得る例示的な方法1100を示す動作フロー図である。実施形態に応じて、方法1100は、試料全体又はより大きな試料の一部を撮像するために実施され得る。方法1100は、図12と併せて説明されるものであり、図12は、画像取り込み中に二重光学格子スライドSIMイメージングシステムの第1の回折格子及び第2の回折格子により試料1070の平面に投影され得る簡略化した照明縞パターンを示す。例えば、SIMイメージングシステム1000は、第1の回折格子1031及び第2の回折格子1032を用いて図12に示す照明パターンを生成し得る。図12の例に示すように、2つの格子は、相互に垂直な縞パターンを試料1070の表面に投影し、直線運動ステージ1030の運動軸から約±45°に配置される。
動作1110において、光源をオンにする。例えば、光シャッタを作動させて発光装置1010の光ファイバを光源に光学的に結合することができる。別の例として、光源をパルス化してもよく、又は光スイッチを用いて発光装置の光路を通して光源を導いてもよい。動作1120において、第1の格子パターンを試料に投影して画像を取り込むことができる。例えば、図12に示すように、第1の格子(例えば、格子1031)が1次照明縞を試料1070に投影し得る。試料が発した光はカメラ1080により取り込むことができ、第1のパターン(例えば、+45°パターン)の第1の位相画像を取り込むことができる。例えば、試料1070の種々のフィーチャに位置する蛍光染料が蛍光を発し、得られる光が対物レンズ1060により集光されカメラ1080のイメージセンサへ向けられて蛍光が検出され得る。
追加の位相シフト画像を取り込むために、動作1140において、格子により投影されたパターンを直線運動ステージの並進により位相シフトさせることができる。図12の例において、これらの位相シフト運動をステップ1及び2として示す。位相シフト運動は、格子に投影された縞パターンをわずかにシフトさせる格子の小さな(例えば、約3〜5マイクロメートル以下の)動きをもたらし得る。
特定の例として、図11の試料における縞のピッチλが2100nmである場合を考える。この場合、3つの位相シフト画像が試料で取り込まれ、投影縞の位相シフトをλ/3すなわち700nmとする必要がある。対物照明倍率(objective illumination magnification)が10倍であるとすると、単軸直線運動ステージに必要な位相シフトステップ(直線並進)は、700nm*10*sqrt(2)すなわち約9.9μmとして計算され得る。この場合、sqrt(2)因子は、格子の向きと運動ステージの運動軸との間の45°オフセットに対応する。より一般的には、この例示的な構成における各位相シフトステップ中の直線運動ステージの並進距離は、λ/3×MAG×√2で表され、式中、MAGは照明倍率である。
回折格子の全位相シフト画像の取り込み後に(判定1130)、動作1160において、システムは、直線運動ステージの並進により回折格子を切り替えて、別の回折格子をイメージングシステムの光源に光学的に結合することができる(例えば、図10Aから図10Bへの移行)。この運動を図12の例においてステップ3として示す。回折格子変更の場合、直線運動ステージは、比較的大きな並進(例えば、約12mm〜15mm)をもたらし得る。
動作1120〜1140を繰り返すことにより、次の格子について一連の位相画像を続いて取り込むことができる。例えば、図12に示すように、第2の回折格子が1次照明縞を試料271に投影することができ、直線運動ステージの並進により投影縞の位置をλ/3シフトさせて格子のパターンの3つの位相画像を取り込むことができる(例えば、図12のステップ4及び5)。
撮像サイクルで全画像が取り込まれたら、動作1170において、取り込み画像から高解像度画像を再構成することができる。例えば、高解像度画像は、図12に概略的に示す6つの画像から再構成され得る。上記例が示すように、多光学格子スライドSIMイメージングシステムは、単一のリニアアクチュエータで縞角度及び位相を切り替えることにより、構造化照明イメージングシステムのコスト及び複雑さを抑えることが有利であり得る。
図13は、例示的な二重光学格子スライドSIMイメージング構成1300を示す図である。図示のように、構成1300は、発光する光ファイバ1310、コリメータ1320、第1及び第2回折格子1331及び1332が取り付けられた直線運動ステージ1330、投影レンズ1340、及び回動ミラー1350を含み得る。この例では、格子1331、1332は、ステージ1330の運動軸に沿って相互に隣接して同じ物体に埋め込まれる。ダイクロイックミラー1050、対物レンズ1060、及び試料1070等の図示しない他のコンポーネントは、図10Aのものと同様であり得る。
いくつかの実施形態では、二重光学格子スライドSIMイメージングシステムの直線運動ステージ又はスライドは、撮像格子(例えば、直線運動ステージの運動軸から約±45°に配置された2つの格子)により試料に投影される縞パターンの位置合わせを助けるために1つ又は複数の付加的な低周波パターンが設けられ得る。例えば、図10A、図10Bの直線運動ステージ1030に付加的なアライメントパターンを設けてもよく、又は図13の直線運動ステージ1330に付加的なアライメントパターンを設けてもよい。図13に示すように2つの結像格子が同じ基板に埋め込まれる場合、アライメント格子をその基板に埋め込むことができるか、又は別個の基板に組み込むことができる。アライメントパターンは、2つの撮像格子間に又は運動ステージ上の他の何らかの適当な位置に配置することができる。
アライメントパターンは、照明されると、周波数が低く且つ/又はピッチが大きなパターンを試料に投影するよう構成され得る。これらの特徴により、試料に対する格子の粗い位置合わせを容易にすることができる。アライメントパターンは、他の格子よりもスリットの周波数が低い平行線、直交線、及び/又は格子として実現され得る。いくつかの実施形態では、複数のアライメントパターンを用いることができる。図17は、本開示の実施形態で用いられ得るアライメントパターンの一例を示す。この例に示すように、アライメントパターンマーク1605が、格子1615と同じ基板上のクリアアパーチャ1625の外側に設けられる。この例では、アライメントパターンは2組の直交線として設けられる。この実施形態により、格子の傾斜を確認することができる。いくつかの実施形態では、図示のアライメントパターンは複数領域(例えば、基板の四隅)に設けられ得る。
使用中に、アライメントパターンを照明してパターンを投影することができる。アライメントパターンは、SIMイメージングシステムの製造中、現場での設置中、又は現場でのサービス技術者による確認中に利用され得る。いくつかの実施形態では、アライメントパターンは、二重光学格子スライドSIMイメージングシステムの動作中に利用され得る。例えば、試料の撮像開始前にアライメントパターンを照明してアライメントパターンを投影することができる。
二重光学格子スライドSIMイメージングシステムのいくつかの実施形態では、直線運動ステージとは別個のコンポーネントである光位相変調器(例えば、回転窓)が位相同調に利用され得る。このような実施形態では、光位相変調器は、直線運動ステージの代わりに位相同調に用いられ得る(例えば、直線運動ステージは、2つの格子間の切り替えのみに用いられ得る)。このような実施形態により、システムの速度、精度、及び/又は信頼度は、運動ステージが経時的に必要とする並進数を実質的に減らすことにより、且つ位相の選択に運動ステージを用いて細かい並進(例えば、μmオーダ)を行う必要をなくすことにより、改善される可能性があり得る。
光位相変調器は、光源と試料との間の光路で格子の後に(例えば、運動ステージの直後に)配置され得る。図19は、このような実施形態による1つの例示的な二重光学格子スライドSIMイメージングシステム1900のいくつかのコンポーネントを示す。図示のように、システム1900は、発光装置1910(例えば、光源に光学的に結合された光ファイバ)、発光装置1910により出力された光をコリメートする第1の光コリメータ1920(例えば、コリメーションレンズ)、第1の回折格子1931(例えば、水平格子)及び第2の回折格子1932(例えば、垂直格子)が取り付けられた直線運動ステージ1930、及び各格子により出力された回折光を位相シフトさせる光位相変調器1940を含む。
パターン角度空間選択構造化照明顕微鏡イメージングシステム
本明細書に開示される技術のいくつかの実施形態によれば、SIMイメージングシステムは、パターン角度空間選択SIMイメージングシステムとして実現することができ、固定2次元回折格子を空間フィルタホイールと組み合わせて用いて1次元回折パターンを試料に投影する。
図14は、本明細書に記載のいくつかの実施形態によるパターン角度空間選択SIMイメージングシステム1400の例示的な光学構成を示す概略図である。簡単のために、SIMイメージングシステム1400の光学コンポーネントが図14から省かれている場合がある。さらに、システム1400はこの例ではシングルチャネルシステムとして示されているが、他の実施形態ではマルチチャネルシステムとして(例えば、2つの異なるカメラ及び2つの異なる波長で発光する光源を用いることにより)実現され得る。
図示のように、システム1400は、発光装置1410(例えば、光ファイバ)、発光装置1410が発した光をコリメートするコリメータ1420、2次元格子1430、0次ビームブロッカ1440、光位相変調器1450、投影レンズ1460、空間フィルタホイール1470、ダイクロイックミラー1480、対物レンズ1490、試料1491、及びカメラ1495を含む。
この例示的な構成では、格子1430は、入力ビームを直交する2方向で複数の次数(例えば、0次、±1次、±2次等)に回折させるよう構成された2次元透過型回折格子である。システムの効率及び性能を上げるために、0次ビーム及び他の全ての高次ビーム(すなわち、±2次以上)は遮断(すなわち、試料1491に投影された照明パターンから除去)され得る。高次は、広い角度に回折されてさまざまなフィルタリング素子を用いてフィルタリングされ得るが、0次成分はビーム経路の格子をそのまま通過して試料に向かう。0次成分を遮断するために、ビーム遮断素子1440が2次元回折格子1430の後の光路に挿入され得る。例えば、ビーム遮断素子1440は、体積ブラッグ格子(VBG)とすることができ、これは、素子に対して垂直な光(例えば、0次光)を反射して+1次及び−1次等の他の角度の光を通過させるようパターン化されることができる回折光学素子である。0次が除去されることで、より小さくよりコンパクトな光学系を用いて+1次及び−1次を対物レンズまで集束させることができる。
光位相変調器1450(例えば、回転窓)を用いて、入射光の位相を変えて試料1491上のパターン位相位置を調整することができる。例えば、光位相変調器1450は、光軸に対して可変角度で傾斜した平行平板光学素子、光軸周りに回転する楔形の光学素子、ビームを並進させるよう傾くミラー、電気光学素子、又は音響光学素子等、さまざまな可動光学素子を含み得る。特定の一実施形態では、光位相変調器1450は、2つの異なる格子角度パターンの位相を調整するよう直交する2方向に傾く平行平板光学素子として実現され得る。代替として、いくつかの実施形態では、パターン位相位置は、投影パターンを固定したまま(例えば、運動ステージを用いて)試料を動かすことにより、又は試料及び投影パターンの両方を動かすことにより調整することができる。
システム1400の例では、回転空間フィルタホイール1470は、試料1491に投影する垂直格子像又は水平格子像を選択するために直交する2方向に向いた複数の穴(例えば、垂直方向穴セット1471及び水平方向穴セット1472)を含み得る。例えば、空間フィルタホイールの回転により、格子パターンの1つの+/−1次を穴セットの一方に通過させて、試料1491上に横又は縦縞パターンを生成することができる。実施形態では、空間フィルタホイール1470は、軽量のマスク又は空間フィルタ(例えば、複数のポート又は開口を含む回転ディスク)として実現され得る。
システム1400の構成では、システム1400の主光学コンポーネントは固定されたままであり、これにより光学系(及び照明パターン)の安定性が向上し得ると共に可動素子の重量、振動出力、及びコストが最小化され得る。ビーム強度の一部(例えば、最大50%)を空間フィルタホイール1470のいずれの向きでも除去する必要があり得るので、いくつかの実施形態では、空間フィルタは、不要なビーム(例えば、通過しない回折格子パターンの次数)を適切な熱管理のためにビームダンプへ反射するよう構成され得る。
図15は、本明細書に記載のいくつかの実施形態によるパターン角度空間選択SIMイメージングシステム1500の別の例示的な光学構成を示す概略図である。例示的なイメージングシステム1500において、2次元透過型格子及びビーム遮断素子の機能を固体光学押し1510に組み込むことができる。さらに、投影レンズの機能を固体光学素子1510に組み込むことができる。この例示的な実施形態では、2次元透過型格子1511は、光学素子1510のうち発光装置1410からコリメート光を受光する面(光学素子1510の入力)に加工又は他の方法で配置される。格子1511は、0次光を当該光学素子のうちの反対側で遮断できるような分散角となるよう配置され得る。両方向の所望の+1次及び−1次は、光学素子1510から斜面1512(光学素子1510の出力)を通って出射することができ、斜面1512は+1次及び−1次を光学的に所望の方向に回折させる。これらの出力面は、回折集束レンズを含み得る。代替として、別個の光学素子を投影レンズとして用いてビームを対物レンズ1490に集束させることができる。システム1500では、上述のように位相シフタ1450及び回転空間フィルタマスク1470が用いられ得る。
図16は、本明細書に記載のいくつかの実施形態によるパターン角度空間選択SIMイメージングシステム1600の別の例示的な光学構成を示す概略図である。例示的なイメージングシステム1600において、固体光学系1610をこの場合も用いて2次元格子及びビーム遮断素子の機能を組み込むことができる。さらに、投影レンズの機能も組み込むことができる。例示的なイメージングシステム1600とは対照的に、固体光学系1610の入力は、受光した光を2次元反射型格子1611へ誘導する入口窓又は開口1614である。この例では格子1611が反射型なので、0次光を反射して入口窓1614を通して出すことができる。所望の+1次及び−1次の回折光は、直交する方向のそれぞれで、光学素子1610の各反射コーティング内面1613から反射して出口面1612を通って出射する。実施形態では、これらの出口面は、回折集束レンズを含み得る。代替として、別個の投影レンズ光学素子1615を用いてビームを対物レンズ1490に集束させてもよい。システム1600では、上述のように位相シフタ1450及び回転空間フィルタマスク1470を用いることができる。
本開示のいくつかの実施形態は、1つ又は複数の光学素子を用いて集光された励起光(例えば、対物レンズにより回収された光)をイメージセンサ(例えば、CCDカメラセンサ)に再結像するSIMイメージングシステムに関して図示しているが、当然ながら、本明細書に記載の種々の実施形態は、撮像試料のアクティブ面にあるイメージセンサ(例えば、CMOSセンサ)を利用するSIMイメージングシステムに適用され得る。説明例として、図18は、本明細書に記載のいくつかの実施形態によるSIMイメージングシステムのイメージセンサアセンブリ1740上に形成され得る試料1710を示す。例えば、試料のフィーチャは、イメージセンサの画素とフォトリソグラフィにより位置合わせされ得る。構造化照明に応じてパターン化試料1710が発した光は、この例では試料1710の直下に位置決めされているイメージセンサアセンブリ1740により集光される。試料1710をイメージセンサアセンブリ1740上に形成することで、試料1710のパターン化フィーチャ1711が撮像中にイメージセンサアセンブリ1740の特定のフォトサイト(例えば、画素)に対して確実に位置合わせされたままとなるという利点を得ることができる。
試料1710は、イメージセンサ1740の各光センサ(例えば画素)の上に1つ又は複数のフィーチャ1711が形成且つ/又は搭載されるようにパターン化され且つイメージセンサアセンブリ1740と位置合わせされ得る。図18の例に示すように、試料1710は、1つのフィーチャ1711がイメージセンサアセンブリ1740の画素アレイの各画素上に形成されるようにイメージセンサアセンブリ1740上にパターン化される。他の実施形態では、2つ以上のフィーチャが各画素上に形成され得る。
例えば蛍光試料の場合、試料の照明されたフィーチャ1711は、構造化励起光1760に応じて蛍光を発することができ、結果としてフィーチャ1711が発した光1761は、イメージセンサアセンブリ1740のフォトサイト(例えば、画素)により集光されて蛍光が検出され得る。例えば、図18に示すように、イメージセンサアセンブリ1740の画素(1,1)及び(1,3)は、その上に位置決め又はパターン化された試料のフィーチャ1711が発した光1761を集光し得る。いくつかの実施形態では、層(図示せず)が試料1710とイメージセンサアセンブリ1740との間の隔離を行い(例えば、イメージセンサアセンブリを試料の流体環境から遮蔽し)得る。他の実施形態では、試料1710は、イメージセンサアセンブリ1740上に搭載且つ位置合わせされ得る。
図18は、SIM縞が正しい向きで試料のフィーチャと揃うSIMイメージングシステムの例示的な図を示すが、実際にはこれは必ずしもSIMイメージングに必要ではなく典型的でもないことに留意されたい。例えば、経時的及び/又は空間的に、隣接する縞間の間隔、構造化照明パターンの位相若しくは角度、及び/又は照明された試料に対する縞パターンの向きにずれがあり得る。SIMパラメータのこれらのばらつきに起因して、場合によっては、80%「オン」の照明されたフィーチャがある一方で、他のフィーチャは60%「オン」であり、さらに他のフィーチャは20%「オン」である場合がある。したがって、当然ながら、このようなシステムでは、SIMイメージングアルゴリズムを利用して画像再構成中のこれらのプロセスばらつきが考慮され得る。例えば、構造化照明パラメータのばらつきを経時的に推定且つ/又は予測して、これらのばらつきに対応し得る。
本明細書において、モジュールという用語は、本願の1つ又は複数の実施形態に従って実施できる所与の機能単位を表し得る。本明細書において、モジュールは、任意の形態のハードウェア、ソフトウェア、又はそれらの組み合わせを利用して実施され得る。例えば、1つ又は複数のプロセッサ、コントローラ、ASIC、PLA、PAL、CPLD、FPGA、論理コンポーネント、ソフトウェアルーチン、又は他の機構が、モジュールを構成するために実施され得る。実施形態において、本明細書に記載の種々のモジュールがディスクリートモジュールとして実現され得るか、又は記載の機能及び特徴の一部又は全部を、1つ又は複数のモジュール間で共有することができる。換言すれば、当業者がこの説明を読んだ後に明らかとなるように、本明細書に記載の種々の特徴及び機能は、いかなる用途で実施してもよく、1つ又は複数の別個の又は共有のモジュールで種々の組み合わせ及び順列で実施することができる。種々の特徴又は機能要素が別個のモジュールとして個別に記載又は特許請求される場合があるが、当業者には理解されるように、これらの特徴及び機能を1つ又は複数の共通のソフトウェア及びハードウェア要素間で共有することができ、そのような記載は、別個のハードウェア又はソフトウェアコンポーネントを用いてかかる特徴又は機能が実施されることを要求も暗示もしないものとする。
本明細書において、用語「コンピュータ可読媒体」、「コンピュータ可用媒体」、及び「コンピュータプログラム媒体」は、揮発性又は不揮発性の非一時的媒体、例えばメモリ、記憶ユニット、及び媒体等を概して指すために用いられる。これら及び他の種々の形態のコンピュータプログラム媒体又はコンピュータ可用媒体は、1つ又は複数の命令の1つ又は複数のシーケンスを処理装置に伝えて実行させることに関与し得る。媒体で具現されるかかる命令は、「コンピュータプログラムコード」又は「コンピュータプログラム製品」(コンピュータプログラム又は他の分類の形態で分類され得る)と概して称する。
種々の例示的な実施形態に関して上述したが、個々の実施形態の1つ又は複数に記載された種々の特徴、態様、及び機能が、それと共に記載された特定の実施形態への適用性に限定されるのではなく、単独で又は種々の組み合わせで本願の他の実施形態の1つ又は複数に適用することができ、かかる実施形態が記載されているか否かもかかる特徴が記載の実施形態の一部として提示されているかも問わないことを理解されたい。したがって、本願の広さ及び範囲は、上述の例示的な実施形態のいずれによっても制限されるべきでない。
当然ながら、上記概念の全ての組み合わせは(かかる概念が相互に矛盾しない場合)、本明細書に開示される発明の主題の一部と考えられる。特に、本開示の最後に載せた特許請求の範囲に記載の主題の全ての組み合わせが、本明細書に開示される発明の主題の一部と考えられる。
特許請求の範囲を含め本開示全体で用いられる用語「実質的に」及び「約」は、処理時のばらつき等に起因した小さな変動を表し考慮するために用いられる。例えば、これらの用語は、±5%以下、例えば±2%以下、例えば±1%以下、例えば±0.5%以下、例えば±0.2%以下、例えば±0.1%以下、例えば±0.05%以下を指すことができる。
該当する限り、本明細書中の用語「第1の」、「第2の」、「第3の」等は、これらの用語により表される各物体を別個の実体として示すために用いられるにすぎず、本明細書に別段の明記のない限り、時系列順の含意は意図されない。
本明細書で用いられる用語及び語句並びにそれらの変形は、別段の明記のない限り、限定的ではなくオープンエンドであると解釈すべきである。上記の例として、用語「含む」は、「限定なしに含む」等を意味すると解釈すべきであり、用語「例」は、検討中のアイテムの網羅的又は限定的な羅列ではなくそのいくつかの事例を提供するために用いられ、用語「ある("a" or "an")」は、「少なくとも1つ」、「1つ又は複数」等を意味すると解釈すべきであり、「従来の」、「旧来の」、「通常の」、「標準的な」、「既知の」、及び同様の意味の用語等の形容詞は、記載のアイテムを所与の期間に又は所与の時点で利用可能なアイテムに限定するものと解釈すべきでなく、現在又は将来のいつでも利用可能であり得る又は知られ得る従来の、旧来の、通常の、又は標準的な技術を包含すると解釈すべきである。同様に、本明細書が当業者に自明又は既知であろう技術に言及する場合、かかる技術は現在又は将来のいつでも当業者に自明又は既知である技術を包含する。
「1つ又は複数」、「少なくとも1つ」、「限定はされないが」、又は場合によっては他の同様の語句等の拡張的な単語及び語句の存在は、かかる拡張的な語句がないような場合に狭義の状況が意図又は要求されることを意味すると解釈されないものとする。用語「モジュール」の使用は、モジュールの一部として記載又は特許請求されたコンポーネント又は機能が全て共通のパッケージで構成されることを意味しない。実際には、制御論理であるか他のコンポーネントであるかを問わず、モジュールの種々のコンポーネントのいずれか又は全部を単一のパッケージに組み合わせるか又は別個に維持することができ、複数の分類若しくはパッケージに又は複数の場所にさらに分配することができる。
さらに、本明細書に記載の種々の実施形態は、例示的なブロック図、フロー図、及び他の図に関して説明される。当業者が本明細書を読んだ後に明らかとなるように、図示の実施形態及びそれらの種々の代替形態は、図示の例に制限されずに実施することができる。例えば、ブロック図及びそれらに付随する説明は、特定のアーキテクチャ又は構成を命ずるものと解釈すべきでない。
本開示の種々の実施形態を上述したが、これらは単なる例として提示されたものであり限定ではないことを理解されたい。同様に、種々の図は、本開示に含むことができる特徴及び機能の理解を助けるためになされる本開示の例示的なアーキテクチャ又は他の構成を示し得る。本開示は、図示の例示的なアーキテクチャ又は構成に制限されず、さまざまな代替的なアーキテクチャ及び構成を用いて所望の特徴を実施することができる。実際には、本開示の所望の特徴を実施するために代替の機能的、論理的、又は物理的区分及び構成をどのように実施することができるかが、当業者には明らかであろう。また、本明細書に図示するもの以外の多数の異なる構成モジュール名を、種々の区画に適用することができる。さらに、フロー図、動作説明、及び方法請求項に関して、本明細書中でステップが提示される順序は、文脈上別段の指定のない限り、種々の実施形態が記載の機能を同じ順序で実行するよう実施されることを命じないものとする。

Claims (15)

  1. 発光する発光装置と、
    第1の方向に向いた第1の複数の縞を試料平面に投影し且つ前記第1の方向に対して垂直な第2の方向に向いた第2の複数の縞を前記試料平面に投影するよう前記発光装置が発した光を回折させる2次元回折格子と、
    前記第1又は第2の方向のそれぞれで前記2次元回折格子から受光される回折光を通過させて前記第1又は第2の方向のそれぞれの光を遮断する空間フィルタホイールであり、第1の複数の開口及び前記第1の複数の開口に直交する第2の複数の開口を含む空間フィルタホイールと
    を備える構造化照明イメージングシステムであり、
    前記第1の複数の開口は、前記2次元回折により回折される光を前記第1の方向に通過させ、前記第2の複数の開口は、前記2次元回折により回折される光を前記第2の方向に通過させ、前記2次元回折格子は透過型回折格子であり、
    前記構造化照明イメージングシステムは、固体光学素子をさらに備え、前記透過型回折格子は、前記発光装置から光を受ける前記固体光学素子の面上に配置又は形成され、
    前記透過型回折格子の分散角は、0次光が前記固体光学素子のうちの反対側で遮断されるよう配置され、
    前記固体光学素子は、2次元透過型回折格子により回折される1次光を回折させて出力する斜面を含む、構造化照明イメージングシステム。
  2. 請求項に記載の構造化照明イメージングシステムにおいて、前記2次元回折格子を透過した0次光を遮断するビーム遮断素子をさらに備える構造化照明イメージングシステム。
  3. 請求項に記載の構造化照明イメージングシステムにおいて、前記ビーム遮断素子は、前記ビーム遮断素子に対して垂直な光を反射して他の角度の光を通過させるようパターン化された回折光学素子を含む、構造化照明イメージングシステム。
  4. 請求項に記載の構造化照明イメージングシステムにおいて、前記空間フィルタホイールは、前記2次元回折格子から受光されて通過しない回折次数光を反射する、構造化照明イメージングシステム。
  5. 請求項に記載の構造化照明イメージングシステムにおいて、前記斜面は集束レンズを含む、構造化照明イメージングシステム。
  6. 請求項に記載の構造化照明イメージングシステムにおいて、前記固体光学素子により出力される光を受光する投影レンズをさらに備える構造化照明イメージングシステム。
  7. 請求項に記載の構造化照明イメージングシステムにおいて、前記2次元回折格子は2次元反射型回折格子である、構造化照明イメージングシステム。
  8. 請求項に記載の構造化照明イメージングシステムにおいて、固体光学素子をさらに備え、前記2次元反射型回折格子は、前記発光装置から光を受ける前記固体光学素子の開口とは反対側の前記固体光学素子の面上に形成又は配置される、構造化照明イメージングシステム。
  9. 請求項に記載の構造化照明イメージングシステムにおいて、前記固体光学素子は、前記2次元反射型回折格子により回折される1次光を反射して前記固体光学素子の出口面を通して出力する反射内面をさらに含む、構造化照明イメージングシステム。
  10. 請求項に記載の構造化照明イメージングシステムにおいて、前記出口面は回折集束レンズを含む、構造化照明顕微鏡イメージングシステム。
  11. 請求項に記載の構造化照明イメージングシステムにおいて、前記固体光学素子により出力される光を受光する投影レンズをさらに備える構造化照明顕微鏡イメージングシステム。
  12. 請求項1に記載の構造化照明イメージングシステムにおいて、前記第1の複数の縞及び前記第2の複数の縞を位相シフトさせる1つ又は複数の光学素子をさらに備え、前記第1の複数の縞及び前記第2の複数の縞を位相シフトさせる前記1つ又は複数の光学素子は、直交する2方向に傾斜した平行平板光学素子を含む、構造化照明イメージングシステム。
  13. 2次元回折格子を備えた構造化照明イメージングシステムの発光装置をオンにするステップと、
    前記発光装置が発した光を前記2次元回折格子で受光して、第1の方向に向いた第1の回折光及び前記第1の方向に対して垂直な第2の方向に向いた第2の回折光を出力するステップと、
    前記第1の回折光を空間フィルタホイールの第1の複数の開口に通過させ前記第2の回折光を前記空間フィルタホイールで遮断するステップと、
    前記第1の複数の穴を通過した前記第1の回折光を第1の複数の縞として試料平面に投影するステップと、
    前記試料が発した光の第1の複数の位相画像を取り込むステップであり、前記第1の複数の画像の取り込み中に前記第1の複数の縞を前記試料平面上で位相シフトさせるステップと
    を含む方法であり、
    前記2次元回折格子は、固体光学素子の面上に形成される2次元透過型回折格子であり、
    前記方法は、
    前記透過型回折格子により出力される0次光を前記固体光学素子のうち前記透過型回折格子とは反対側で遮断するステップと、
    前記2次元透過型回折格子により回折される1次光を前記固体光学素子の斜面から回折させて出力するステップと
    をさらに含む、方法。
  14. 請求項13に記載の方法において、
    前記空間フィルタホイールを回転させ、前記第2の回折光を前記空間フィルタホイールの第2の複数の開口に通過させ前記第1の回折光を前記空間フィルタホイールで遮断するステップと、
    前記第2の複数の穴を通過する前記第2の回折光を前記第1の複数の縞に直交する第2の複数の縞として前記試料平面に投影するステップと、
    前記試料が発した光の第2の複数の位相画像を取り込むステップであり、前記第2の複数の画像の取り込み中に前記第2の複数の縞を前記試料平面上で位相シフトさせるステップと
    をさらに含む方法。
  15. 請求項13に記載の方法において、前記2次元回折格子は、前記発光装置から光を受ける固体光学素子の開口とは反対側の固体光学素子の面上に形成される2次元反射型回折格子であり、
    前記方法は、前記2次元反射型回折格子により回折される1次光を前記固体光学素子の複数面で反射するステップをさらに含む、方法。
JP2019571596A 2018-01-16 2019-01-14 パターン角度空間選択構造化照明イメージング Active JP6916316B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862618059P 2018-01-16 2018-01-16
US62/618,059 2018-01-16
NL2020620A NL2020620B1 (en) 2018-01-16 2018-03-20 Pattern angle spatial selection structured illumination imaging
NL2020620 2018-03-20
PCT/US2019/013504 WO2019143564A1 (en) 2018-01-16 2019-01-14 Pattern angle spatial selection structured illumination imaging

Publications (2)

Publication Number Publication Date
JP2020532758A JP2020532758A (ja) 2020-11-12
JP6916316B2 true JP6916316B2 (ja) 2021-08-11

Family

ID=61868834

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019571596A Active JP6916316B2 (ja) 2018-01-16 2019-01-14 パターン角度空間選択構造化照明イメージング

Country Status (16)

Country Link
US (1) US10996453B2 (ja)
EP (1) EP3628075B1 (ja)
JP (1) JP6916316B2 (ja)
KR (1) KR102312777B1 (ja)
CN (1) CN209979487U (ja)
AU (1) AU2019209204B2 (ja)
BR (1) BR112019028316A2 (ja)
CA (1) CA3066483C (ja)
IL (1) IL271048B (ja)
MX (1) MX2019014173A (ja)
NL (1) NL2020620B1 (ja)
NZ (1) NZ759623A (ja)
RU (1) RU2740206C1 (ja)
SA (1) SA519410845B1 (ja)
SG (1) SG11201911584YA (ja)
TW (1) TWI710864B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018115001A1 (de) * 2018-06-21 2019-12-24 Carl Zeiss Microscopy Gmbh Verfahren zum Kalibrieren einer Phasenmaske und Mikroskop
TWI718557B (zh) * 2018-06-29 2021-02-11 美商伊路米納有限公司 用於預測結構照明參數之方法、系統和非暫時性電腦可讀取媒體
US11408032B2 (en) 2020-01-17 2022-08-09 Element Biosciences, Inc. Tube lens design for improved depth-of-field
US11716209B2 (en) * 2020-04-14 2023-08-01 The Regents Of The University Of Colorado, A Body Corporate Systems and methods for azimuthal multiplexing three-dimensional diffractive optics
CN112712585B (zh) * 2020-12-15 2024-02-09 四川川大智胜软件股份有限公司 基于弧形二值编码相移条纹投影的三维成像系统及方法
JP2023116048A (ja) * 2022-02-09 2023-08-22 キオクシア株式会社 計測装置および計測方法

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3856986A (en) 1968-12-06 1974-12-24 American Express Invest Scanned holography systems using temporal modulation
US4213706A (en) 1977-08-19 1980-07-22 The University Of Arizona Foundation Background compensating interferometer
US5761085A (en) 1996-11-12 1998-06-02 The United States Of America As Represented By The Secretary Of The Navy Method for monitoring environmental parameters at network sites
US6438272B1 (en) 1997-12-31 2002-08-20 The Research Foundation Of State University Of Ny Method and apparatus for three dimensional surface contouring using a digital video projection system
US6188478B1 (en) 1998-10-21 2001-02-13 Philips Electronics North America Corporation Method and apparatus for film-thickness measurements
US6711283B1 (en) * 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US7274446B2 (en) 2001-04-07 2007-09-25 Carl Zeiss Jena Gmbh Method and arrangement for the deep resolved optical recording of a sample
JP5048899B2 (ja) 2001-09-28 2012-10-17 オリンパス株式会社 顕微鏡
US6947127B2 (en) 2001-12-10 2005-09-20 Carl Zeiss Jena Gmbh Arrangement for the optical capture of excited and/or back scattered light beam in a sample
KR100489431B1 (ko) 2002-06-28 2005-05-12 학교법인연세대학교 스캔식 위상천이 3차원 형상측정 장치 및 측정 방법
JP2005080181A (ja) 2003-09-03 2005-03-24 Nikon Corp 画像読み取り装置および画像読み取りプログラム
US7532323B2 (en) 2003-10-28 2009-05-12 Cha-Min Tang Spatial light modulator apparatus and method
US20050221351A1 (en) 2004-04-06 2005-10-06 Affymetrix, Inc. Methods and devices for microarray image analysis
JP4899408B2 (ja) 2005-02-25 2012-03-21 株式会社ニコン 顕微鏡装置
CN1292227C (zh) 2005-07-12 2006-12-27 中国科学院上海光学精密机械研究所 高分辨数字干涉仪空间分辨率的标定方法
US7929751B2 (en) 2005-11-09 2011-04-19 Gi, Llc Method and apparatus for absolute-coordinate three-dimensional surface imaging
JP2007199572A (ja) * 2006-01-30 2007-08-09 Nikon Corp 顕微鏡装置
US7803609B2 (en) 2006-07-21 2010-09-28 Affymetrix, Inc. System, method, and product for generating patterned illumination
DE102006044229B4 (de) 2006-09-20 2023-09-28 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zur Bildverarbeitung mit höheren Harmonischen eines Beleuchtungsgitters
DE102006047912A1 (de) 2006-10-06 2008-04-10 Carl Zeiss Microimaging Gmbh Verfahren und Anordnung zur parallelisierten mikroskopischen Bildgebung
EP2093601B1 (en) 2006-12-12 2013-03-13 Nikon Corporation Microscope device and image processing method
US8848199B2 (en) 2007-07-10 2014-09-30 Massachusetts Institute Of Technology Tomographic phase microscopy
US8222040B2 (en) 2007-08-28 2012-07-17 Lightspeed Genomics, Inc. Nucleic acid sequencing by selective excitation of microparticles
US8759077B2 (en) 2007-08-28 2014-06-24 Lightspeed Genomics, Inc. Apparatus for selective excitation of microparticles
WO2009031418A1 (ja) * 2007-09-05 2009-03-12 Nikon Corporation 顕微鏡装置
US8509879B2 (en) 2007-11-06 2013-08-13 The Regents Of The University Of California Apparatus and method for widefield functional imaging (WiFI) using integrated structured illumination and laser speckle imaging
US8537461B2 (en) * 2007-11-26 2013-09-17 Carl Zeiss Microimaging Gmbh Method and configuration for the optical detection of an illuminated specimen
US20090219607A1 (en) 2008-01-17 2009-09-03 Baylor College Of Medicine Method and apparatus for enhanced resolution microscopy of living biological nanostructures
CN101984767B (zh) * 2008-01-21 2014-01-29 普莱姆森斯有限公司 用于使零级减少的光学设计
DE102008009216A1 (de) 2008-02-13 2009-08-20 Carl Zeiss Microimaging Gmbh Vorrichtung und Verfahren zum räumlich hochauflösenden Abbilden einer Struktur einer Probe
US8773635B2 (en) * 2008-12-19 2014-07-08 Nikon Corporation Exposure apparatus, exposure method, and device manufacturing method
TWI426296B (zh) * 2009-06-19 2014-02-11 Ind Tech Res Inst 利用光學偏極特性之三維顯微共焦量測系統與方法
JP5914340B2 (ja) 2009-10-08 2016-05-11 ユニヴェルシテ リブル ドゥ ブリュッセル 軸外し干渉計
KR101117501B1 (ko) * 2010-02-12 2012-03-07 한국과학기술원 십자형 구조 조명 선형 패턴을 이용한 구조 조명 공초점 현미경
US8502867B2 (en) 2010-03-19 2013-08-06 Lightspeed Genomics, Inc. Synthetic aperture optics imaging method using minimum selective excitation patterns
US9465228B2 (en) 2010-03-19 2016-10-11 Optical Biosystems, Inc. Illumination apparatus optimized for synthetic aperture optics imaging using minimum selective excitation patterns
JP5412394B2 (ja) * 2010-09-30 2014-02-12 オリンパス株式会社 標本観察装置
JP5661194B2 (ja) 2010-11-12 2015-01-28 エーエスエムエル ネザーランズ ビー.ブイ. メトロロジ方法及び装置、リソグラフィシステム並びにデバイス製造方法
WO2012122418A1 (en) 2011-03-08 2012-09-13 Lightspeed Genomics, Inc. Self-assembling high density ordered patterned biomolecule array and method for making and using the same
WO2012149459A1 (en) 2011-04-29 2012-11-01 Lightspeed Genomics, Inc. Modular pattern illumination and light beam multiplexing for selective excitation of microparticles
US8778848B2 (en) 2011-06-09 2014-07-15 Illumina, Inc. Patterned flow-cells useful for nucleic acid analysis
JP5989109B2 (ja) * 2011-07-13 2016-09-07 ライカ バイオシステムズ イメージング インコーポレイテッド 蛍光顕微鏡システムの標準化
US9477091B2 (en) * 2012-01-11 2016-10-25 Howard Hughes Medical Institute Multi-dimensional imaging using multi-focus microscopy
EP2806262A4 (en) * 2012-01-18 2015-09-23 Nikon Corp STRUCTURED LIGHTING DEVICE, LIGHTED MICROSCOPE STRUCTURED DEVICE, AND STRUCTURED LIGHTING METHOD
TWI467227B (zh) * 2012-04-12 2015-01-01 Univ Nat Formosa 穿透式三維顯微裝置及方法
WO2014013720A1 (ja) * 2012-07-19 2014-01-23 株式会社ニコン 構造化照明顕微鏡装置
EP2801854B1 (en) * 2013-05-10 2017-07-19 Ruprecht-Karls-Universität Heidelberg Method and apparatus for combination of localization microscopy and structured illumination microscopy
KR101541610B1 (ko) * 2013-12-09 2015-08-03 한양대학교 산학협력단 공간 필터 기반 구조 조명 현미경
WO2016125281A1 (ja) * 2015-02-05 2016-08-11 株式会社ニコン 構造化照明顕微鏡、観察方法、及び制御プログラム
US10487356B2 (en) 2015-03-16 2019-11-26 Pacific Biosciences Of California, Inc. Integrated devices and systems for free-space optical coupling
CN104793329B (zh) * 2015-04-15 2017-06-06 黑龙江大学 一种飞秒激光旋转操控光镊的装置及方法
DE102016007839A1 (de) * 2016-06-28 2017-12-28 Horst Wochnowski Hochauflösendes Verfahren zur Mikroskopie und Nanostrukturierung von Substratoberflächen basierend auf dem SIM-Verfahren (Structured Illumination Microscopy)
WO2018170518A1 (en) 2017-03-17 2018-09-20 Apton Biosystems, Inc. Sequencing and high resolution imaging

Also Published As

Publication number Publication date
CA3066483C (en) 2022-06-28
CN209979487U (zh) 2020-01-21
AU2019209204A1 (en) 2020-11-26
JP2020532758A (ja) 2020-11-12
BR112019028316A2 (pt) 2020-07-14
SG11201911584YA (en) 2020-01-30
IL271048A (en) 2020-01-30
KR102312777B1 (ko) 2021-10-14
TW201932991A (zh) 2019-08-16
US20200218050A1 (en) 2020-07-09
US10996453B2 (en) 2021-05-04
EP3628075A1 (en) 2020-04-01
NL2020620B1 (en) 2019-07-25
SA519410845B1 (ar) 2022-06-16
NZ759623A (en) 2022-05-27
TWI710864B (zh) 2020-11-21
IL271048B (en) 2022-05-01
MX2019014173A (es) 2021-02-09
AU2019209204B2 (en) 2021-06-17
KR20200019148A (ko) 2020-02-21
RU2740206C1 (ru) 2021-01-12
EP3628075A4 (en) 2020-07-15
CA3066483A1 (en) 2019-07-25
EP3628075B1 (en) 2023-01-25

Similar Documents

Publication Publication Date Title
JP6916316B2 (ja) パターン角度空間選択構造化照明イメージング
TWI699559B (zh) 結構照明成像系統和使用結構化光來創建高解析度圖像的方法
JP2020534553A (ja) 二重光学格子スライド構造化照明イメージング
WO2019143564A1 (en) Pattern angle spatial selection structured illumination imaging

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210715

R150 Certificate of patent or registration of utility model

Ref document number: 6916316

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150