JP2023537295A - 放射光検出方法、検出装置及びレーザ走査顕微鏡 - Google Patents

放射光検出方法、検出装置及びレーザ走査顕微鏡 Download PDF

Info

Publication number
JP2023537295A
JP2023537295A JP2023506011A JP2023506011A JP2023537295A JP 2023537295 A JP2023537295 A JP 2023537295A JP 2023506011 A JP2023506011 A JP 2023506011A JP 2023506011 A JP2023506011 A JP 2023506011A JP 2023537295 A JP2023537295 A JP 2023537295A
Authority
JP
Japan
Prior art keywords
pixel
matrix sensor
pixels
spectral
detection device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023506011A
Other languages
English (en)
Inventor
ダニエル シュウェット
ティエモ アンハット
ピーター シャハト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of JP2023537295A publication Critical patent/JP2023537295A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/027Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J3/18Generating the spectrum; Monochromators using diffraction elements, e.g. grating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2803Investigating the spectrum using photoelectric array detector
    • G01J2003/28132D-array
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/44Raman spectrometry; Scattering spectrometry ; Fluorescence spectrometry
    • G01J3/4406Fluorescence spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • G01N2021/6423Spectral mapping, video display
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6408Fluorescence; Phosphorescence with measurement of decay time, time resolved fluorescence

Abstract

本発明は、レーザ走査顕微鏡にて放射光、とりわけ少なくとも1個の蛍光色素からの蛍光を検出する方法であり、標本に発する放射光が撮像用光学ユニットにより二次元マトリクスセンサ、特に複数個の画素を有していて像面内に所在しているそれへと案内され、検出点分布関数がそのマトリクスセンサにより空間オーバサンプリング要領にて検出される方法に、関する。本方法の特徴は、標本に発する放射光が分散装置にてとりわけ分散方向沿いでスペクトル分離されること、そのスペクトル分離された放射光がそのマトリクスセンサによりスペクトル分解要領にて検出されること、並びに画素領域をなす諸画素により計測された強度の分析中にそれらの画素のうち少なくとも幾つかにてそのスペクトル分離が相殺されること、にある。本発明の付加的諸態様は、レーザ走査顕微鏡における放射光をスペクトル分解検出する検出装置と、レーザ走査顕微鏡とに関する。

Description

本発明の第1態様は、請求項1の前提部分に従いレーザ走査顕微鏡にて放射光、とりわけ少なくとも1個の蛍光色素(dye)からの蛍光を検出する方法に関する。本発明の更なる諸態様は、請求項16の前提部分に従いレーザ走査顕微鏡にて放射光を検出する検出装置、並びに請求項27の前提部分に係るレーザ走査顕微鏡に関する。
レーザ走査顕微鏡における放射光、とりわけ少なくとも1個の蛍光色素からの蛍光を検出するための一般的な方法が、例えば非特許文献1(以下[Castello et al.,2019])にて開示されている。このプロセスでは、標本からの放射光が、像面内に座し複数個の画素を有している二次元マトリクスセンサへと撮像用光学ユニット経由で案内され、検出点拡がり関数がそのマトリクスセンサを用い空間オーバサンプリング様式にて検出される。
レーザ走査顕微鏡における放射光を検出するための一般的な検出装置が同じく[Castello et al.,2019]にて開示されている。一般的な検出装置は、像面内にあり複数個の画素を有する二次元マトリクスセンサであり、標本から来る放射光の検出点拡がり関数を空間オーバサンプリング検出するためのものを備え、且つその放射光をその二次元マトリクスセンサへと案内する撮像用光学ユニットを備える。
一般的なレーザ走査顕微鏡が同じく[Castello et al.,2019]に記載されており、これは下記の諸部材、即ち励起光を放射する光源、とりわけレーザと、顕微鏡対物系を伴っており調査対象標本上又は内へとその励起光を案内する励起ビーム路と、その励起ビーム路上に所在しており少なくとも1個の照明スポットによりその標本上を走査するよう働く走査装置と、その標本により放射された放射光、とりわけ蛍光を検出ユニットへと案内する検出ビーム路と、励起光と放射光とを分離させるメイン色スプリッタと、その放射光を検出する検出ユニットと、光源を制御し且つ検出ユニットにより得られた計測データを評価する制御兼評価ユニット、とりわけPCとを、備えている。
生物医学的研究においては、蛍光性生物標本の純粋な撮像に加え、多くの画像ベースで相関的又は統計的な実験及び分析もサポートされることから、共焦点レーザ走査顕微鏡(LSM)が、この数十年来、パワフルなツールとして定着してきている。そのパワーの主原因は、LSMであれば穏当な装置費用で以て複数色素の同時計測が行える、という事実にある。これとの関連で多くのソリューションが知られている。例えば、ダイクロイックフィルタにより様々な部分ビームへの分岐を引き起こすことができ、その上でそれらをそれぞれセンサたるフォトンマルチプライア(光電子増倍管:PMT)へと案内することができる。対照的に、格子又はプリズムを用い放射光をスペクトル分散させた上で、ラインセンサを用いそのスペクトルを検出する構成は、かなり柔軟性が高い。不要なスペクトル域を、そのセンサの上流にある可動ストップを用い、柔軟且つ色素依存的な様式にて阻止することができる。更に、例えば鏡面化ストップを用いスペクトル帯を定めた上で、それらスペクトル帯を別々のPMTに送るソリューションも、知られている。本欄及び後掲の欄における色素の語には、合成色素,蛍光蛋白質の双方を包含する意図がある。更に、固有発光構造を包含する意図もある。例えば、多くの生物学的構造が特定波長でのレーザ照射下で発光することを、自発蛍光等と呼んでいる。
共焦点顕微鏡システムにおける技術革新には、約30年前に理論的に記述されていたがZEISS社によるLSM880(商品名)が現れる2014まで商業化されていなかった画像走査顕微法(ISM;非特許文献2)がある。カメラ様センサを用いた検出点拡がり関数のオーバサンプリング計測を基礎としているので、第1に、ピンホールが開口しているのに共焦点分解能限界を達成することが可能であり、第2に、検出が生来的に並列化されているためシステムの感度が著しく高まる。しかしながら、LSM980(商品名)にて現在実施されているソリューションは、第1に、ファイバベースでの(2Dから1Dへの)画像変換がGaAsPのPMTラインと組み合わされているため、非常に高価である。第2に、このソリューションでは、その点拡がり関数(PSF)をオーバサンプリングするのに用いうる画素の個数がひどく制限される。この具体的事例ではそれがちょうど32画素とされている。そのため、これらのセンサは、スペクトルチャネルがダイクロイックフィルタにより定められる構成でしか有利に用いることができず、PSFをそのセンサへと案内するのに用いられる光学ズームも必要であり、選定されている対物系(より厳密にはそのエタンデュひいてはNA/M比)及び波長の双方にそのPSFが依存している。更に、この検出器テクノロジのユニットコスト故に、装置1個につき複数個の検出器を実装することがほとんどできない。
センサ側では、近年、いわゆるSPADアレイ又はSPADカメラ(SPAD=単一光子アバランシェダイオード)の分野で急速な進展があった。原理上、これらのカメラでは、1個の光子アバランシェダイオードにより画素1個が実現されているので、諸画素の個別アクティベーション(駆動)が可能である。更に、それらの画素をいわゆるガイガーモードで動作させうるので、エリアセンサ上での光子計数が可能である。即ち、読出し信号が即座にディジタルになるので、1MHzオーダという極端に高いフレームレートを実現することができる。更に、SPADカメラでは読出し雑音が生じない。読出し雑音は、特に、sCMOSセンサやCCDといった他センサにて生じ、読出し速度が高いと顕著に増大する。EM-CCDは、センサ付近で増幅機構を用いることで読出し雑音以上に信号を強めているので、原理上、単一光子感応性なものとなりうる。しかしながら、これに伴い顕著な増幅器雑音(過剰雑音又は増倍雑音とも呼ばれるもの)が入り込むため、そのセンサの実効感度が半分になる。更に、画素が比較的多数である場合、達成可能な速度が根本的に制限される。sCMOSカメラでは0.3eオーダなる低い読出し雑音が達成されるので、原理上、そうしたカメラを用いた光子計数が可能である。
MHz域のフレームレートを有しているため、SPADカメラは、既に、その画素ドウェルタイムが1μsオーダのLSM用センサとして注目されている。例えば、そうしたカメラを用い、156kfps(fps=フレーム毎秒)が、1bitデータ深度にて512×128画素なるセンサ分解能で以て得られている。これは約10Gbitなるデータレートに相当する。このことは、約1000×6個の画素を有するラインセンサにより、1bitデータ深度にて1Mfpsのフレームレートを呈するものさえ実現できそうなことを意味している。未だ、その限界は根本的制限となっておらず、寧ろ膨大なデータレートにより技術的に決定されている。1bitちょうどのデータ深度であれば、おおよそデッドタイムの逆数に相当する速度、従って10MHzオーダの速度を達成可能である。ただ、上掲の例では、これは100Gbit/sなるデータレートに相当することとなろう。
米国特許出願公開第2019/258041号明細書
M. Castello et al., "Image Scanning Microscopy with Single-Photon Detector Array", bioRxiv, doi: http://dx.doi.org/10.1101/335596 http://www.gattaquant.com/files/en_wp_airyscan-detector.pdf Nat Methods 16, 175-178 (2019). https://doi.org/10.1038/s41592-018-0291-9
本発明の目的は、冒頭で説明したタイプの方法でありひときわ万能的な要領にて用いうるものを提供することである、と考えられる。更に、その意図は、好適な検出装置及びレーザ走査顕微鏡を明示することにある。この目的は、請求項1の特徴を有する方法により、請求項13の特徴を有する検出装置により、並びに請求項23の特徴を有するレーザ走査顕微鏡により、達成される。
本発明に係る方法の有利な変形形態、並びに本発明に係る検出装置及び本発明に係る顕微鏡の好適な例示的実施形態については、とりわけ従属形式請求項及び図面との関連で後に説明する。
本発明によれば、先に明示されたタイプの方法が、標本から来る放射光が分散装置を用いとりわけ分散方向沿いでスペクトル分解される点、そのスペクトル分解放射光がマトリクスセンサを用いスペクトル分解様式にて検出される点、並びに画素領域をなす諸画素により計測された強度の評価に際しそれらの画素のうち少なくとも幾つかに関しそのスペクトル分離が反転される点で、更に発展する。
本発明によれば、先に明示されたタイプの検出装置が、放射光のスペクトル分離用に分散装置が設けられる点、そのスペクトル分離検出光のスペクトル分解検出向けにマトリクスセンサが構成及び配置される点、並びにそのマトリクスセンサに接続された評価用電子回路が、画素領域をなす諸画素により計測された強度の評価範囲内で、それらの画素に関しスペクトル分離を反転させるべく設けられ且つ構成される点で、更に発展する。
本発明によれば、先に明示されたタイプのレーザ走査顕微鏡が、その検出ユニットに本発明に係る検出装置が備わる点で、更に発展する。
標本から来る放射光をスペクトル分離させ、ひいては別々な蛍光色素のスペクトル成分を原理的にまずマトリクスセンサの別々な領域上、即ち空間的に分離されている諸領域上に入射させる、という事実が、本発明の本質的着想であると考えられる。それらの領域は識別され、それぞれ蛍光色素に割り当てられる。その上で、個別領域内画素のうち少なくとも幾つかに関しそのスペクトル分離が反転されるため、点拡がり関数を、原理的には既知ISMの場合と同様にして個別蛍光色素に関し決定することができる。従って、様々な蛍光色素に関しめいめいの点拡がり関数を計測することができる。何れにせよ、スペクトル分離が、顕著な強度が計測されるそれらの画素に関し有利にも実行される。
本発明の本質的長所は、点拡がり関数をオーバサンプリングすることにより達成され分解能及び感度に関わる諸効果と、スペクトル柔軟性の長所とが、共に得られることであると考えられる。
従って、本発明に係る方法、本発明に係る検出装置、並びに本発明に係る顕微鏡では、スペクトル分散型信号分布を伴うISMも可能となる。更に、本発明に係る検出装置、並びに本発明に係る顕微鏡は、ひときわ高い光効率及び全体的に安定な構成を達成できる点で際立っている。
本発明に係る検出装置は、とりわけ、本発明に係る方法を実行するのに適している。
検出点拡がり関数の語は、検出器上における強度分布であり標本平面内の点状発光物体により生成されるものを、意味している。
原理上、別々の色素に係る画素領域が検出器で重なり合うこともありうる。重要なのは、少なくともある程度の画素領域間空間分離があることである。明白な通り、評価がより容易且つ良好になるのは、それら画素領域がより明瞭に分離されているときや、個々の色素のスペクトル的シグネチャがより多く異なっているときである。
本発明に係るレーザ走査顕微鏡、とりわけその制御兼評価ユニットは、本発明に係る方法を実行するようその検出装置と併せ構成することができる。
スペクトル分離の情報処理的反転のやり方については、幾つかの例を後に説明する。
本方法のとりわけ好適な変形形態においては、色素の放射に割り当てられている少なくとも1個の画素領域が、マトリクスセンサを用い計測されたスペクトルに基づき識別される。
有利なことに、マトリクスセンサ上における放射光のスペクトル強度分布がまず決定される。その上で、例えば、それらの画素領域をその強度分布に基づき識別することができる。更に、その強度分布を、そのスペクトル分離の情報処理的反転に用いることができる。本発明に係る方法のとりわけ好適な変形形態においては、分散方向に対し垂直な方向に沿いマトリクスセンサのカラム内の複数個の画素の計測データ、とりわけそのマトリクスセンサのカラム内の全画素の計測データを総和することによって、特定波長に係る強度値が決定され、マトリクスセンサ上における放射光のスペクトル強度分布の決定に供される。
このデータ、即ち放射光のスペクトル強度分布に関するデータは、例えば計測環境の変化後に、自動決定することができる。計測環境の変化は、主として調査対象標本における変化、オプション的には調査された標本の所在個所における変化であると考えられるものであり、オプション的にはその標本又は標本所在個所に別々の色素を設えておくことができる。
捕捉又は追加として、スペクトル分布に関するデータを継続的に決定する手段、とりわけ多数の先行計測結果特に直前先行計測結果をもとに自動決定する手段を、設けることができる。この変形形態は、データ記録の個別開始が必要ない点で有利である。
ご理解頂ける通り、本願記載の何れの評価向けであれ、複数通りの計測データを加算することで、より良好な信号対雑音比を達成することができる。必要であれば、所望のデータを得るべく平均が求められる計測結果の個数を、違えることもできる。
本発明に係る方法の更に好適な変形形態においては、その上で、その決定されたスペクトル分布における最大値及び最小値が自動サーチされ、ひいてはそれら画素領域が識別されるので、特定色素の点拡がり関数を計算するためのスペクトル限界を、見つかった最大値及び最小値に基づきユーザに提示することができる。これに代え、その見つかった最大値及び最小値に基づきスペクトル限界を自動定義することもできる。従って、本発明に係る顕微鏡内の制御兼評価ユニットは、決定されたスペクトル分布における最大値及び最小値をサーチするよう、且つ、特定色素の点拡がり関数を計算するためのスペクトル限界を見つかった最大値及び最小値に基づき提示するよう、構成することができる。これに代え、その制御兼評価ユニットを、特定色素の点拡がり関数を計算するためのスペクトル限界を見つかった最大値及び最小値に基づき独立に定義するよう、構成することもできる。
スペクトル的に重なり合う色素又は蛍光蛋白質を伴う標本も、本発明に係る方法並びに本発明に係る顕微鏡を用い、撮像及び計測することができる。
本発明に係る方法の好適変形形態には、画素領域がマトリクス検出器上で重なり合っていて、その個別画素により計測された強度のスペクトルアンミキシングが実行されるものがある。スペクトルをアンミキシングする方法は原理的に既知である。
本願記載のスペクトル分岐反転法に加え、そうしたスペクトルアンミキシング法が、そのスペクトル分岐の反転前又は後に更に実行されよう。
例えば、その分散反転をまず、自由選択個数のスペクトル帯、二色素の場合であれば典型的には純粋放射を伴う2個の領域と重複放射を伴う1個の領域とに関し実行することができ、それに後続して画像走査顕微法、次いでそれらのチャネルのアンミキシング、この例では3個のチャネルのアンミキシングを適用することができる。
本方法を用い、画素における特定スペクトル成分の相対比率を決定することができる。これは、画素再割当(後述)に関するルールに従い、例えば、画素の全強度ではなく加重成分のみがずらされる(変位させられる)ことを意味している。本発明に係る構成を用い、それに対応する参照スペクトルを記録することができる。次のステップでは、更に、スペクトルアンミキシングを例えばライン毎に実行することができ、個々のスペクトル的荷重、即ちそれをもとにスペクトル加重された成分が生成される荷重を、決定することができる。とはいえ、スペクトルアンミキシング法以外にもスペクトル成分分離方法はあり、その例としてはPCS、SCA、「深層学習」の使用等がある。
本発明に係る方法の働きにより、とりわけ、少なくとも1個の蛍光色素に関し検出点拡がり関数を決定することができる。とはいえ、別々の放射スペクトルを有する複数の色素に関し1回の計測による計測データをもとに検出点拡がり関数を決定できることも、本発明の際立った長所である。
利用されているマトリクスセンサのサイズ、具体的にはそのマトリクスセンサの画素数の面で許容される場合は、本発明に係る方法のマルチポイント変形形態も原理的に実現可能である。この場合、標本上の複数個の点が励起光により同時に照明され、それらの点により放射された放射光が、マトリクスセンサへと同時に案内され評価される。この場合には、励起ビーム路及び検出ビーム路を、マルチスポット励起及び検出向けに構成しなければならない。
第1の好適変形形態においては、画素領域をなす個別画素に関しスペクトル分離を反転させるべく、それらの画素により計測された強度値が、その画素領域に係る色素での放射光のスペクトル強度分布を勘案しつつ、且つマトリクスセンサ上での個別スペクトル成分の空間強度分布を勘案しつつ、計算により結合される。
これに対応し、且つそのスペクトル分離を反転させるべく、本発明に係る検出装置の評価用電子回路は、画素領域をなす諸画素により計測された強度値を、その画素領域に係る色素での放射光のスペクトル強度分布を勘案しつつ、且つマトリクスセンサ上での個別スペクトル成分の空間強度分布を勘案しつつ、計算により結合させるよう構成することができる。
個別スペクトル成分の空間強度分布により、色素の点拡がり関数のスペクトル成分のうちマトリクスセンサ上で互いにずれているスペクトル成分が、分散方向に沿い空間的に重なり合う度合いが決まる。
この場合、分散方向に対し垂直なカラムをなす諸画素、とりわけ個別画素領域内で最高強度が計測されたカラムをなす諸画素によって計測された強度分布を、個別スペクトル成分の空間強度分布として用いることができる。これは、マトリクスセンサ上における検出点拡がり関数が回転対称でありいわば円形である、という仮定に基づいている。回転対称な光学ユニットが用いられている場合にこれが良好な仮定となる。
もう一つの重要な方法変形形態群においては、画素領域をなす個別画素に係るスペクトル分離の反転が画素再割当により達成される。スペクトル的に非分解的な方法に関しては、それが画像走査顕微法(ISM)をもとに知られているので、例えば[Castello et al.,2019]を参照されたい。
それを踏まえ、画素領域をなす個別画素に関しスペクトル分離を反転させるべく、本発明に係る検出装置の評価用電子回路を、それらの画素により計測された強度値を像面内にありその個別画素に対しずれている個所へと、その個別画素の所在個所及びその所在個所に係る波長に依存する変位(ずれ)ベクトルで以て割り当てるよう(画素再割当)、構成することができる。
これらの方法変形形態においては、諸画素により計測された強度値を、像面内にありその個別画素に対しずれている個所へと割り当てることで(画素再割当)、画素領域をなす個別画素に関しスペクトル分離を反転させることができる。この場合、既知の画素再割当によるそれと同様、変位ベクトルが、その個別画素の所在個所のみならず、その所在個所に係る波長にも依存する。
具体的には、こうして変位ベクトルを画素再割当に係る画素毎に決定し、またその変位ベクトルを、関連する画素の所在個所とその関連画素に係る波長とに依存させる。その上で、その関連画素に関し計測された強度値が、その関連画素に対しずれている個所へと、その変位ベクトルにより割り当てられる。
例えば、その変位ベクトルの波長非依存成分を、参照画素から関連画素に至るベクトルのベクトル成分を再割当因数によリスケーリングすることによって、特定の画素に関し得ることができる。再割当因数たる-1/2は、励起と放射とで点拡がり関数がそっくりである(ストークスシフトは無視)、即ち特定画素により計測された強度値が参照画素から関連画素に至る経路のちょうど半ばにある像面内個所に割り当てられるであろう、との仮定の下で得られる。
具体的には、画素再割当は、得られる検出点拡がり関数が分散方向沿いとその分散方向に対し垂直な方向沿いとで実質的に同じ形状を有するものとなる要領にて、実行される。これは、回転対称な光学ユニットが用いられているときには検出点拡がり関数が必ず円形対称な強度分布を有するものとなる、という仮定に基づいている。
とはいえ、対応する変位ベクトルを得る方法は他にもある。例えば、標本構造に割り当てられた波長域に係る変位ベクトルを、複数枚の走査像の位相相関を評価することにより決定することができる。
本発明に係る検出装置においては、アナログ積分型及び/又は光子計数型検出器をマトリクスセンサとして用いることができる。sCMOSカメラ、EMCCDカメラ及び/又は電荷積分型センサを用いるのが望ましい。マトリクスセンサにSPADカメラが備わること、或いはSPADカメラをマトリクスセンサとして用いることが、とりわけ有利である。マトリクスセンサ、とりわけSPADカメラを、個々の光子を計数できる光子計数モードで動作させることが、ひときわ有利である。このモード、別の呼び方では「ガイガーモード」は、信号対雑音比がひときわ好適である点で際立っている。
用いられるセンサに関するコストが近年顕著に下落していることは、本発明にとりひときわ有利なことである。本願記載の構成では、ファイバ結合を伴う従来のPMTテクノロジを用いることはほとんど考えられない。
とりわけ、光回折及び/又は光屈折性デバイスを、本発明に係る検出装置にて分散装置として用いることができる。その分散装置を、格子とりわけ線格子、及び/又は、プリズムを、備えるものとするのがとりわけ望ましい。原理上はグリズム、即ちプリズムと格子を組み合わせたものを用いることもできる。可調又は可制御な素子、例えばDMD(DMD=ディジタルマイクロミラーデバイス)、MEMS(MEMS=微細電気機械システム)又はSLM(SLM=空間光変調器)も同様に使用可能である。
本発明に係る検出装置のとりわけ好適な変形形態においては、分散方向がマトリクスセンサの座標方向と同方向、とりわけそれに対し平行な方向とされる。例えば、分散方向と同方向沿いにある画素群のことを画素ローと呼ぶことができ、その分散方向に対し垂直な方向沿いにある画素群のことを画素カラムと呼ぶことができる。マトリクスセンサのアライメント(整列)を、分散方向が画素ローの方向に対し平行となる要領で行うことが、各画素カラム内の諸画素が厳密に同じ波長域、端的に言えば厳密に同じ波長に割り当てられる点で有利である。
マトリクスセンサの寸法設定及び/又はそのマトリクスセンサ上での光学撮像との関わりでは、そのマトリクスセンサの画素ピッチ(原理上は格子定数)を、色素のスペクトル帯域幅に亘り、そのマトリクスセンサの平面における検出点拡がり関数のエアリディスクの幅変化よりも大きくなるように選ぶことが、望ましい。この文脈で言えば、マトリクスセンサ及び/又はそのマトリクスセンサ上の光学像を、分散方向沿いにおけるそのマトリクスセンサの画素毎スペクトル帯域幅が0.5nm未満、好ましくは0.4nm未満、より好ましくは0.3nmとなる要領にて寸法設定することも、望ましかろう。点拡がり関数の計算、具体的には離散デコンボリューション(畳込み解除)の実施を考慮し、これらの構成にて、その計算が単純化される仮定を置くことが可能である。より厳密には、この場合、色素のスペクトルを通じエアリディスクの幅が実質的に波長に依存しないことを、良好な近似で以て仮定することができる。それにもかかわらず、十分なスペクトル分解能が得られる。
とりわけ望ましいことに、マトリクスセンサ及び/又はそのマトリクスセンサ上の光学像を更に、そのマトリクスセンサの平面における検出点拡がり関数のエアリディスクの直径が、そのマトリクスセンサの格子定数の20倍未満、とりわけ好ましくは格子定数の7倍未満、とりわけ望ましくはそのマトリクスセンサの格子定数の5倍未満となる要領にて、寸法設定することができる。こうした寸法設定により、離散デコンボリューションの計算を、有利なことに比較的少ない波長個数、具体的にはその個々のエアリディスクによりカバーされる画素の個数に対応する個数に、限定することができる。
好適なことに、マトリクスセンサ上におけるエアリディスクの直径を格子定数の3倍超にすることができるので、その最終段階がISMと等価な方法を最終的に実行することができる。
SPADアレイセンサは、TCSPC(時間相関性単一光子計数)又は「ヒストグラム化」又は「時間窓化検出」(FLIM=蛍光寿命撮像顕微法)による蛍光寿命情報の計測に、ひときわ適している。これにはパルス励起と適切に構成されたセンサとが必要である。これと、Airyscan(登録商標)法との組合せとが、例えば非特許文献3に記載されている。
更に、本発明によりスペクトル分解が可能となる。この組み合わせは、とりわけ、非常に魅力的である。
本発明に係る方法のある好適変形形態においては、色素の蛍光寿命を決定するための時間分解計測が、マトリクスセンサを用い、例えばそのマトリクスセンサのうち幾つかの画素を用い、とりわけそのマトリクスセンサの個別画素それぞれを用い実行される。
本発明に係る検出装置のある有利な発展形態は、とりわけ諸色素の蛍光寿命を決定すべく、マトリクスセンサ及び評価用電子回路が、時間分解計測を例えばそのマトリクスセンサのうち幾つかの画素を用い、好ましくはそのマトリクスセンサの個別画素それぞれを用い実行するよう、構成される点で際立っている。
従って、それらマトリクスセンサ及び電子回路は、この用法にて好ましくも時間分解計測を実行可能で、ひいては各画素で以て蛍光寿命の決定が可能な要領にて、設計されるべきである。即ち、本発明のこれらの変形形態では、スペクトル分解型FLIMを画像走査と組み合わせることが可能である。これらの計測ではパルスレーザを用いるのが有利である。
マトリクスセンサの検出効率を高めるべく、マイクロレンズを、そのマトリクスセンサの前、即ちそのマトリクスセンサの上流に配置することができる。
本発明に係る検出装置の撮像用光学ユニットは、放射光の画像を変化させるズーム系、とりわけ画素毎のスペクトル帯域幅をスケーリングするためのそれを、備えるものとすることができる。
そして、根本的に既知な要領に従い、本発明に係る顕微鏡を、励起光を阻止する手段、とりわけ少なくとも1個の放射フィルタを備えるものと、することができる。複数個の放射フィルタを有するチェンジャ装置、例えばフィルタホイールを、好ましくも設けることができる。とはいえ、本発明に係る検出装置は、放射光の不要スペクトル成分が評価されない方法変形形態とすることも可能である。そうした目的で、例えばそのマトリクスセンサの対応する画素群、とりわけ画素カラムを、受動的又は不活性な状態に設定することができる。
本発明に係る方法、本発明に係る検出装置、並びに本発明に係るレーザ走査顕微鏡の更なる長所及び特徴を、添付図面を参照して以下説明する。図面は下記の通りである。
本発明に係るレーザ走査顕微鏡の模式的外観を示す図である。 本発明に係る検出装置の模式的外観を示す図である。 様々な数値開口に関しエアリディスクの直径を波長の関数として明示する図である。 回折格子における分散角の曲線を波長の関数として明示する図である。 典型的な色素の放射スペクトルが記されている図である。 分散方向に対し垂直な方向に沿いマトリクスセンサの複数個の画素に亘る検出点拡がり関数の曲線を明示する図である。 シミュレート画像を示す図(図7a)、画素カラム内画素数に対しプロットされた計数率を明示する図(図7b)、並びに分散方向沿い画素数に対しプロットされた計数率を明示する図(図7c)である。 多くのシミュレート画像をもとに積算された画像を示す図(図8a)、画素カラム内画素数に対しプロットされた平均計数率を明示する図(図8b)、並びに分散方向沿い画素数に対しプロットされた平均計数率を明示する図(図8b)である。 標本内に二種類の色素が存在している状態で多くのシミュレート画像をもとに積算された画像を示す図(図9a)、それら二種類の色素に関し分散方向沿い画素数に対してプロットされた平均計数率を明示する図(図9b)、それらの色素の放射領域に対するスペクトル制限の許で分散方向沿い画素数に対しプロットされた平均計数率を明示する図(図9c)、並びにそれら二種類の色素の放射最大値にそれぞれ関連付けられている複数の画素カラム内の画素数に対しプロットされた平均計数率を明示する図(図9d)である。 画素再割当の原理を説明する目的でスペクトル分解を省きマトリクスセンサの模式的表現を示す図である。 本発明の根本的な目的及び画素領域を説明する目的で本発明に係る検出装置のマトリクスセンサの模式的表現を示す図である。 スペクトル分解と併せ画素再割当の原理を説明する目的で本発明に係る検出装置向けのマトリクスセンサの模式的表現を示す図である。
同様の部材及び同様に動作する部材を、総じて、同じ参照符号により図中に示すことにする。
図1には、本発明に係るレーザ走査顕微鏡100の模式的表現が示されている。本質的構成部材として、この顕微鏡100はまず、励起光14を放射する光源12、とりわけレーザと、その励起光を調査対象標本S上又は内へと案内する顕微鏡対物系24付励起ビーム路10と、その励起ビーム路10上にあり少なくとも1個の照明スポット27でその標本S上を走査する走査装置22とを備えている。放射光28を検出する検出ユニット32を伴う検出ビーム路30も、放射光28とりわけ蛍光検出ユニット32へと案内すべく、設けられている;その放射光は、励起輻射14への露出の結果としてその標本Sにより放射されたものである。本発明に従い設けられているメイン色スプリッタ18には、励起光14と検出光28とを分離させる働きがある。そして制御兼評価ユニット34、とりわけPCとされうるそれが、光源12を制御すべく、且つ検出ユニット32により得られた計測データを評価すべく、設けられている。本発明によれば、検出ユニット32には本発明に係る検出装置200が備わる。
光源12により放射された励起光14は、偏向鏡16を経てメイン色スプリッタ18に達し、そのメイン色スプリッタにて走査装置22の方向に案内される;その走査装置は、顕微鏡対物系24の後方瞳に対し光学共役な平面内に配置することができる。走査装置22を経た励起光14は、走査対物系及びチューブレンズを経て顕微鏡対物系24に達し、その顕微鏡対物系が、その励起光14を、標本S上又は内にある標本平面26内照明スポット27に合焦させる。走査対物系及びチューブレンズは、図1では1個の部材23として模式的に描かれている。
その後、標本S上又は内の対励起光14露出領域から放射輻射28が放射される;これは、典型的には、その標本Sに前以て設えられている色素からの蛍光である。その後は、その放射輻射28が、先に励起光14が辿った「逆走査(デスキャン)」検出ビーム路30上と同じ経路に沿いメイン色スプリッタ18へと遡行するものの、今度はそれがそのメイン色スプリッタを透過し、そして本発明に係る検出装置200が備わる検出ユニット32に達する。検出ユニット32による計測で得られたデータが制御兼評価装置34により評価される。その制御兼評価装置34の働きで、光源12及び走査ユニット22を制御することもできる。
本発明に係る顕微鏡100は、とりわけ共焦点レーザ走査顕微鏡とされる。
図2a)には、本発明に係る検出装置200の例示的実施形態の模式的表現が示されている。本質的構成部材として、レーザ走査顕微鏡100内放射光28のスペクトル分解検出用検出装置200は、調査対象標本Sから来る放射光28をスペクトル分離させる分散装置40と、そのスペクトル分解放射光を空間分解検出する二次元マトリクスセンサ50と、そのスペクトル分解放射光を二次元マトリクスセンサ50上へと案内する撮像用光学ユニット48とを備えている。
図2a)に描かれている例示的実施形態では分散装置40が線格子43、より厳密には反射格子とされており、検出対象放射光28がその線格子43上に下側からある角度にて入射している。格子43に代えプリズム又はグリズムを用いることもできる。マトリクスセンサ50上における信号の明確なスペクトルスミアリングは重大である;そのスペクトルスミアリングは、原理上、その個所における波長分布との関わりで線形及び非線形の何れにもなりうる。ただ、必ず単調なものとなる。図示されている例示的実施形態では、格子43の諸ラインが紙面に対し垂直に延びていることが原因で、図2a)中で縦方向に延びる分散方向41に沿いスペクトル分岐が生じる。参照符号29により示されているのは0次回折光である。0次回折光29は、用いなくてもかまわないが、入射光に沿い再び格子43上へと案内すること、オプション的には偏向回転付でそうすることで、検出効率を高めることができる。
放射光28はピンホール(ここでは図示せず)により共焦点フィルタリングされており、光学システム(同じくここでは図示せず)により平行化された上で分散装置40へと差し向けられる。
その後は、個々のスペクトル成分42,44,46,47が撮像用光学ユニット48上、即ち図2a)にてレンズ素子として模式的に記されているそれの上に入射する。原理上、撮像用光学ユニット48は、複数個のビーム整形部材を備えるものとすることができ、更にはとりわけズーム系を備えるものとすることができる。
撮像用光学ユニット48は、それら別々なスペクトル成分42,44,46,47を、複数個の画素51を有するマトリクスセンサ50上に合焦させる。マトリクスセンサ50は例えばSPADマルチラインカメラとすることができ、それに備わるラインを例えば5本とすることができ、また各ラインに備わる画素を800個、即ちカラム800本相当とすることができる。
図2b)には、マトリクスセンサ50のエリアの模式的表現が示されている。マトリクスセンサ50は、分散方向41がロー方向に沿い延びる要領、即ち図2b)中に示されている座標系のx方向に対し平行に延びる要領で、格子43に対し位置決めされている。カラム方向はy方向に対し平行に延びている。例えば、図2b)にて青色スペクトル成分をスペクトルの左縁に所在させることができ、赤色スペクトル成分をスペクトルの右縁に所在させることができる。指数i,jはそれぞれマトリクスセンサ50のカラム,ローへのラベル付けに用いられており、いわば画素(i,j)が第iカラム内で第jロー内の画素となる。
図2a)には、本発明に従い設けられた評価用電子回路60が模式的に描かれており、これは、マトリクスセンサ50に接続されると共に、画素領域をなす諸画素(i,j)により計測された強度Ii,jの評価中にそれらの画素(i,j)に係るスペクトル分離を反転させるよう構成されている。
評価用電子回路60、例えばデータグラバをも備えるそれを、例えばFPGAの態、マイクロコントローラの態、或いはそれに比肩する諸部材の態で実施することができる。本質的には、そのハードウェアにできるだけ近いところ、即ちマトリクスセンサ50にできるだけ近いところでデータボリュームの低減を達成することで、評価用電子回路60から制御PCへと、即ちとりわけ図1記載の発明に係る顕微鏡100の制御兼評価ユニット34へと、できるだけ連続的にデータを流すことが可能となる。
図2a)の状況は、分散素子40の働きで分散方向41に沿い大きく明確な色収差が生じ、別々な波長が引き離され従って個別検出可能になる、という結果を伴う状況としても、記述することができる。それに対し垂直な方向、即ち図2b)中のy方向では、点拡がり関数が本質的に不変のまま保たれる。とはいえ、放射光28をスペクトル分散させることでその点拡がり関数がある程度壊され、このシステムを用いISM撮像を果たすやり方が自明ではなくなる。
これを達成するため、ここでは撮像用光学ユニット48がまず、マトリクスセンサ50の寸法を基準として、即ち図示例ではSPADカメラの寸法を基準として寸法設定される。例えば、マトリクスセンサ50の画素ピッチ、即ちマトリクスセンサ50の格子定数とも呼べるそれを、a=25μmとすることができる。
エアリディスクの直径については、下記の通り、光の波長と数値開口とに依存することが知られている。
Airy=1.22λ/NA (1)
ISMに係る信号を評価するには、空間方向毎に少なくとも3~4画素分、点拡がり関数をオーバサンプリングしなければならない。450nmから800nmに至る関連波長域に関しこれを成し遂げるには、そのセンサが照明されているときに、検出側数値開口がおよそNA=0.01であることが求められる。このことは図3における図解から明らかであり、そこではエアリディスクの直径が諸数値開口に関し波長の関数として示されている。この場合、図3中の図解にてy軸がなしているグリッドは、SPADカメラの想定画素サイズたる25μmに相当している。
図4には、1000ライン/mmの格子に関し、nm単位の波長に対する度単位の分散角の曲線が示されている。例えば、格子43・SPADカメラ50間にある撮像用光学ユニット48の焦点距離がf=50mmであると想定されている場合、それにより、上掲のスペクトル域に関し約730画素に亘るスペクトル分布がもたらされる。従って、1個の画素51上に託されるスペクトル帯域幅がおよそΔλ(画素)=0.5nmとなる。
原理上、分散スミアリングされた信号分布をもとに点拡がり関数を復元するには、様々なスペクトル成分を数値的に積分しなければならない。この要領でそれら画素の強度がひとたび得られたら、次ステップにて画像走査顕微(ISM)法を適用することができる。
個々の画素51上への入射強度はIi,jにより表され、また指数iによりカラム、即ちx方向及び分散方向41に沿い延びるそれの番号が表される。指数jによりロー、即ちy方向に沿い延びるそれの番号が表される。
強度Ii,jは下記の通り書き表すことができる。
Figure 2023537295000002
ここで、Sp(λ)は励起された蛍光色素の放射スペクトルであり、Airy(x,λ)は点拡がり関数の空間強度分布に対応するエアリ関数であり、そのエアリ関数内の波長λは、とりわけ、そのエアリ関数Airy(x,λ)の幅を決めるパラメタを代表している。xは点拡がり関数の中心を表している。その点拡がり関数の中心、即ち最大強度の点は、従って分散x(λ)により定まり、且つカラム中心yに対する光学的手段による調整分により定まる。
通常、一般的な蛍光色素(蛍光体)のスペクトル分布は、およそδλ=50nmなるスペクトル帯域幅を有している(図5参照)。図3中のグラフによれば、この帯域幅に亘るエアリ関数の幅変化は、10μmよりもかなり小さい。即ち、その点拡がり関数に関しスペクトル放射重心の幅がλに設定されていれば、誤差は画素の1/4以下となる;これは特にスペクトルの弱放射エッジエリアにて生じるものであり、従ってほとんど寄与してこない。そのため、Airy(y-y,λ)を、良好近似で以てAiry(y-y,λ)により置換することができる。これにより、y座標沿いPSF項がλに対し独立になるので、それをλ座標沿い積分の外に引き出すことができる。
このとき、一次元デコンボリューション問題が、励起されている蛍光色素のスペクトルSp(λ)が判明しているときのx方向沿いスペクトルスミアリングからの無摂動エアリ関数の計算内に、残っている。この脈絡における情報処理及びハードウェア労力を過小評価するべきではない。結局のところ、少なくとも4×730個の画素からの信号を評価しなければならない。
後に説明する通り、更なる仮定を置くことで、評価用電子回路60が負う情報処理負荷を更に軽減することができる。置かれる第1の仮定は、その無摂動点拡がり関数が径方向対称であるというものである。これは、分散方向41即ちx方向のスペクトルに沿った点拡がり関数の空間的拡がりを、それに対し直交する方向、即ちy方向における可読強度分布I (y)をもとに決定できることを、意味している。更に、Δλ<0.5nmでの画素毎スペクトル帯域幅が非常に狭いので、その画素の拡がりによる分散性信号スミアリングは良好な近似で以て無視することができ、その画素毎スペクトルが区分毎に一定であると仮定できるという結果になる。更に、積分範囲の幅、即ちそれに亘り積分を形成しなければならない画素の個数も、直交方向即ちy方向に沿い決定された強度分布をもとに決定することができる。図3中の図解から明らかな通り、5個の画素に亘る積分で全く十分である。これにより、前述した問題につき下記の離散化版がもたらされる。
Figure 2023537295000003
ここに、spは関連画素のスペクトル位置における蛍光色素の離散化強度である。これを受け、画素(i,j)にて計測された強度Ii,jに従い隣の画素を中心とするエアリ関数の諸成分を決定することが、課題となる。これとの関連では、直交方向即ちy方向にて計測されたデータから近似値を得ることもできる。
まず、分散方向に対し垂直な方向に沿い全画素に亘り、即ちカラム内の全画素に亘り、信号の総和を計算することが有利である。これにより正規化可能な放射スペクトルがもたらされ、図5に示されている分布が現れる結果となる。これをもとに、離散積分値を計算するのに必要なスペクトル分布離散化値spを決定することができる。図5には、一例として、第1の波長λの第1の画素(i,j)に係るスペクトルspの値と、すぐ隣にあり波長λi+1に対応する画素(i+1,j)におけるスペクトルspi+1の値とが示されている。スペクトル分布がひとたび決定されたならば、画素iに対する近隣の画素i-2,i-1,i+1,i+2の寄与分を、y方向沿い強度関係をもとに決定することができる。図6に示されているエアリ関数の空間分布例では、スペクトルの値spi+1にて5個の画素に関し下記の比例強度分布がもたらされよう。
cal =(I(i-2),I(i-1),I(i),I(i+1),I(i+2))=(0.008,0.16,0.65,0.16,0.008)
図6にはスペクトル位置iのspに関し、即ちSPADカメラ50にて画素番号i+1の隣にある画素iに関し、図5中のスペクトルに対応しており低めな点拡がり関数の値も示されている。
こうして決定された値により、最後に残った積分
Figure 2023537295000004
の離散化を行うことができる。その後、画素(i,j)にて計測された強度Ii,jに係る下記の表現が得られる。
Figure 2023537295000005
ここに、Pn,jは、隣の画素nを中心とするエアリ関数の強度のうち画素(i,j)にて決定された成分である。Pn,jには
Figure 2023537295000006
なる寄与分が含まれている。最後のステップでは、総和記号の脇に振られている変位nを基準として諸画素の強度コンテンツを並べ替える。これは、結局、それが注目対象たる特定画素(i,j)からの信号ではないが、蛍光色素に係る点拡がり関数の関連標本化成分の総和であるからである。この指数並べ替えは、共通の基準位置に対するそのスペクトル分散放射の点拡がり関数のずれに、物理的に相当しており、これは例えば分散プリズムを経る2回目の通過により光学的に達成することができる。これにより、専ら計測データをもとに決定された点拡がり関数に関し下記の式がもたらされる。
Figure 2023537295000007
光子計数型マトリクスセンサがガイガーモードである場合、Pi-n,jにより、マトリクスセンサ画素毎に検出された光子Ni-n,jが、決定されるべきPSFの諸サブ画素に対し、下記の通り所与センサ位置でのPSFの具体的な事前校正済分布に従い割り当てられる。
Figure 2023537295000008
これにより、考察下色素に係る画素領域の諸画素に関し、本発明によるスペクトル分岐反転が実施される。
分散性信号スミアリングを無視することにより生じる誤差が大き過ぎそうであれば、対抗手段として、大きめのセンサアレイや焦点距離が長めの撮像用光学ユニットを用いることができる。例えば、用いるアレイを4×1400画素のものとし焦点距離をf=100mmとすることで、画素毎帯域幅が直ちにΔλ<0.25nmとなる。即ち、どのような場合でも、合理的な動作点を見つけることができる。マトリクスセンサ50のロー数を数個に制限する必要はない。高いフレームレートを達成できるのであればかなり多くの画像ラインにすることが可能であり、それによってマルチポイント励起を伴う計測も可能になる。本発明に係る方法では、こうして所与フレームレートにおける並列化の因数倍に画素ドウェルタイムを延ばすことができるため、そうした並列化が有益である。
LSMにおける光子個数の制限は、上述した原理の適用に関わる問題を孕んでいる。マトリクスセンサ50はディジタル信号、即ちセンサ画素毎の光子と画像を供給する。続いて、マトリクスセンサ50の画像1枚が、LSM画像全体のうち1個の画素へと変換される。マトリクスセンサ50上に入射する光子束が例えば数メガヘルツのオーダでありえ、LSMの画素ドウェルタイムが1μsのオーダであるべきであるので、例えば4×730個の画素に亘り全体として画素ドウェルタイム当たり数個の光子しか分布しない。従って、マトリクスセンサ50の画素の大半がデータとしては0を供給し、ほんの数画素しか1を供給しないこととなる。そのため、マトリクスセンサ50の直接読出し1回では、使用可能な結果を配給することさえできない。加えて、光子の放射及び検出が統計的事象であるので、長期平均での光子分布は、そうした少数の光子による画像1枚からは導出することさえできない。このことが図7a)に描かれており、同図では、図5記載の色素スペクトルへの露出に係りSPADカメラ50から得られる1枚の画像が、1μsなる露出持続時間によりIphot=10MHzなる光子束で以てシミュレートされている。画素毎スペクトル帯域幅は0.5nmである。見えている事象はほんの数個であり、それらは約520nmにある色素放射最大値の付近、5ラインSPADカメラ50の中心ライン上で、群れを成している。図7b)に示されているのは、SPADカメラ50の画像ライン沿い(x方向沿い)での各事例の信号の総和であり、それにより点拡がり関数が再現されている。図7c)に示されているのはカラム内、即ちy方向沿いの全画素の計数事象の総和であり、その色素の検出スペクトルにそっくりである。自明な通り、先に説明したアルゴリズムは、図7中のデータに対し有意義に適用することさえできない。
従って、システムを、積分画像で以て校正する必要がある。とはいえ、原理的にこれは非常に高速なプロセスであり、複数回の画像走査は一般に必要でない。このことが、10MHzなる平均光子束による個別画像1000枚の平均に関し、図8a)に描かれている。積分時間はこの場合たった1msであり、画像ライン1本の走査にほぼ相当している。図8b)中の点拡がり関数は総和信号をもとに決定されたものであり、5個の画素上で予期される上述の強度分布を概ね厳密に再現しており、また図8c)中のスペクトルも理解することができる。
図8b)及び図8c)の計測を踏まえ、spi-n及びPi-n,jに係るデータを得ることができ、それらを例えば評価用電子回路60のメモリ内に格納することができる。その上で、走査像画素毎のSPAD画像をルール(等式5)に従い評価することができる。整数の光子個数値を、今や、浮動小数点値に変換して輝度比を得ることができる。
本発明によるスペクトル分離反転の第2のオプションであり、色素に割り当てられている画素領域の諸画素に係るものに、画素再割当法に基づくものがある。それについて、図10~図12を参照し記述することにする。
まず、既知の画素再割当法を、[Castello et al.,2019]上での用語法に従いそれ自体を指向する描写で以て図10に基づき説明する。
画像走査の状況として、点状照明源を用い標本が走査され、その標本に対し固定されている共焦点二次元検出器アレイを用い空間分解様式にてその標本による逆放射強度が計測される状況を、考える。その共焦点マトリクスセンサがn×m個の画素(i,j)を有しており、その指数i,jが1からそれぞれn,m及んでいるとする。
その意図が、長方形アレイ上でのスペクトル計測結果を後の段階にて評価することにあるので、単純さに鑑みここでは長方形アレイを想定する。とはいえこれ自体は制約ではなく、原理的には他の幾何形状の画素化センサも考えられる。とりわけ、それにより良好なフィルファクタ(充填率)が得られることから、六角形の構成がしばしば用いられている。
その上で、明瞭な表現とするため、物面から中間像面までの倍率が1であると仮定する。また、有利さに鑑み、センサの各画素が1エアリ単位(AU:エアリ単位)より小さいと仮定する。この事例は画像走査における標準的な仮定、即ちPSFが空間オーバサンプリング要領にて検出され且つ各画素が1AUより小さな(又は0.8AUより小さく或いはより良好なことに0.3AUより小さな)実効ピンホールを表している、との前掲の仮定に相当している。原理上、この構成は、画素サイズよりも小さなPSFでもうまく稼働する。とはいえ、その場合、スペクトルを計測すること及びスペクトル共焦点画像を記録することしかできない。ひいては、画像走査を有意な要領で用いることができない。
画像走査顕微鏡は線形且つ空間不変なシステムであり、いわば標本平面がマトリクスセンサの像面56内へと線形的に写像されるものであると、考えることができる。変数xにより、像面56即ちマトリクスセンサ平面内位置を標本平面内へと逆投影したものの位置を、表すことにする。その点xにおける走査位置がその標本内にある場合、即ち換言すればその照明強度の最大値がその標本内の位置xにある場合、画素(i,j)により計測された強度gi,j(x)を下記の通りコンボリューション(畳込み)として記述することができる。
Figure 2023537295000009
ここに、hi,j(x)=hexc(x)hem(x-di,j)は、個々の考察対象センサ画素に係る実効PSFである。hi,j(x)は、励起のPSFたるhexc(x)と放射のPSFたるhem(x-di,j)との積である。原理上、励起のPSFたるhexc(x)は計測できるので、既知であると仮定することができる。正しい検出PSFを得るには、個々の画素のサイズを無視できない場合、その画素の幾何形状を記述するアパーチャ関数をhem(x-di,j)に畳込む必要があろう。di,jは検出器アレイの面内ベクトルであり、参照素子例えばそのセンサの中心にある素子と画素(i,j)との間のオフセットに相当している。従ってdi,jを下記の通り書き表すことができる。
Figure 2023537295000010
単純に考えれば、実効PSFたるhi,j(x)の最大値が関数hexc(x)及びhi,j(x-di,j)の最大値同士のほぼ中間点に所在する、即ちほぼ位置si,j=di,j/2にあると、仮定することができる。これが厳密に成り立ちそうなのは、無収差システムでは励起PSFと放射PSFとがそっくりな場合であり、蛍光でそれが成り立ちそうなのはストークスシフトがない場合である。画素再割当の基本的着想では、想定上、画素(i,j)により計測された強度の大半が、像面56における関連画素の位置座標に対応していない標本内位置に由来する。単純に考えれば、実効PSFの最大値が関数hexc(x)及びhi,j(x-di,j)の最大値同士の中間点にあるものと想定される場合、計測画素(i,j)による強度が由来する個所は標本平面内の位置si,j=di,j/2となる。
画素再割当及び画像走査の基本的着想は、参照画素に対しずれている信号をその参照画素の方向に沿い逆にずらすこと、並びにそれらの信号を加算することにある。原理上、これは直感的に明白なことであり、何故ならこの要領で動作する共焦点システム内のマトリクスセンサの各画素(i,j)が変位画像を供給するからである。その逆ずらしに加え、それらの画像を単純に相互位置揃えすることもできるし、他形態の計算例えばマルチビューデコンボリューションを用い全画素からの信号を計算によりうまく相互結合させることもできる。
図10には、5×5個の画素を有するマトリクスセンサ54を用い共焦点画像走査が行われる場合に関してその状況及びラベルが示されている。中央にある画素(3,3)が参照画素として働いている。円57は画素(5,4)に係る実効PSFの重心を表している。ただ、そのPSFの拡がりは一般にその円57よりもかなり大きく、それが図10に示されているのは専らそのPSFの最大値の位置を明示するためである。
画像走査により、より良好な光学的分解能と信号対雑音比(SNR)の改善とを達成できることが知られている。フィルタの使用により画像走査にて色依存性を実現できることが知られている。ストリップ格子の使用により二色を含むPSFを計測及び評価することも知られている。
しかし、自明な通り、複数個の点にて直にスペクトルを計測すればかなり多くの情報が得られる。更に、それをデータのスペクトルアンミキシングに役立てることができる。加えて、そうした計測向けに画像走査の肯定的特性を用いうることが有利であろう。
本願記載の発明に係る検出装置を用いることで、例えば、マトリクスセンサ50上の画素領域に対応する特定放射帯の諸スペクトル成分がスペクトル的に結合される要領にて計測を実行することができ、ひいては、そのスペクトル帯に関しいわゆる画像走査(別の呼び方ではエアリ走査又は光学再割当)法を実行することができる。この結合が、独立形式請求項の用語法にて、スペクトル分岐の反転と呼ばれているものである。
放射帯に係る諸画素の組合せを作り出すには、その格子その他の分散デバイスの分散的影響を、N個の隣り合う画素に関し、即ち画素領域をなす諸画素に関し、反転させることが必要である。
結局、これは、その分散が反転される要領にてその分散素子を通じ光が遡行することが可能な状況に、比肩している。これにより、ひいては、空間情報しか含んでおらず且つ諸スペクトル成分がやはりある点拡がり関数をなし空間的に重畳されているPSFが、もたらされることとなろう。これに類することが例えば特許文献1に記載されている。とはいえ、光学的手段による分散の反転は常に可能なことではない。例えば格子をスペクトル分岐に用いるのが望ましく、何故ならそれらにより線形分散がもたらされるからである。とはいえ、効率が限定的なため格子の複数使用、即ち光の往路及び復路双方での使用は有利ではない。更に、純粋に光学的な分散反転装置は複雑、高価であり調整するのが困難である。
格子によりもたらされる線形分散の場合、関係λ=kxが、そのマトリクスセンサの長手方向x沿い波長割当に適用される。ここで、kはその分散の強度に依存する比例定数であり、ひいてはその格子のライン幅に依存する。従ってその単位はnm/mmである。とはいえ、原理上、この考察は格子のみに適用されるものではなく、分散素子たるプリズムにも適用されうる。しかしながら、その場合、センサ上での所在個所と波長との間の関係を、もはや、単純な線形関係を用い記述することができない。ひいては計測結果の校正及び評価が幾ばくか異なるものとなる。
更に、線形分散が諸波長に亘るスペクトル(波長毎の諸画素)の最適サンプリングにつながるし、位置・波長間関係が線形に保たれるので、格子の使用が望ましい。プリズムの使用は、ある種の状況下では光学的にやや効率的となるが、それが原因でスペクトルの青色部分のサンプリングがより良好になる一方で、赤色波長がスペクトル的に「抑圧」されるためうまくサンプリングされなくなる。厳密には、残念ながらこれは不利なことであり、何故なら、長めの諸波長が選ばれていると励起/検出がより行われづらくなり、特に生体標本を撮像する場合にそうなるからである。この場合、複数通りの染色が、特に本発明に係る装置で以て容易に検出されうるようにすべきである。
ここで例示的実施形態を示す。図11にはマトリクスセンサが示されると共に2個のスペクトル帯が模式的に示されており、またそれらスペクトル帯が、例えば、青色・緑色の放射領域(画素領域71)とより橙色・赤色な放射領域(画素領域72)とを有する蛍光輻射標本のスペクトルシグネチャに対応している。原理上、データ評価のための作業セットは、1個又は2個の円形対称点拡がり関数80(PSF)が生じる要領にて特定のスペクトル帯を、ひいては画素領域71及び/又は72をなす諸画素の信号を、結合させることになる。それ自体は既知な画像走査法を用いこの要領で得られるPSFの爾後又は同時評価をもとにして、その標本の画像を、画像走査の有利な諸特性がスペクトル分解能と結びついたもの、即ち両色素をその画像内で表現可能なものとすることができる。その表現を透明に保つため、この場合、そのセンサの別々の画素上に重なる程度にそれら色素がスペクトル分離されている、とまず仮定した。この状況は有利である。とはいえ、この構成を用い、スペクトル的に重なり合う色素又は蛍光蛋白質を伴う標本を、撮像及び計測することもできる。これについては本明細書の概要部分にて説明済である。
図12には、本発明に係る検出装置のマトリクスセンサ50の詳細が、分散放射光28を計測するのに用いられる画素(i,j)と併せ示されている。放射光28は方向i沿いで分散的に分岐されている。これは、各カラムiが一波長に割り当てられていることを意味している。方向j沿いでの分散波長分岐はないので、そこでは空間情報しか利用することができない。図12に示されている状況では、画素(12,3)が参照画素を表しており、それに係る参照波長がλとされており、その参照画素に対し他の諸画素の信号が関連付けされている。これは、既知の画像走査顕微法にて現在まで行われてきているそれに類する要領にて、他の諸画素の信号が参照画素(12,3)の方へと押し戻されることを意味している。この場合の「押し戻し」は、そのマトリクスセンサの平面内、従って標本平面内で数値的に決定された個所に、個々の画素の信号が割り当てられることを意味している。とはいえ、既知方法とは対照的に、この場合の変位は、その分散が正しく勘案される要領にて実行されねばならない。
即ち、本質的な改変点は、変位ベクトルdi,jに関し、その変位路が二部分で構成されることが仮定される点にある。
i,j=2si,j+ξ
ξ=ξ(λ) (9)
ここで、ξ(λ)は波長の関数である。例えば、この関数に関し採用しうる選択肢には次のものがある。
ξ=κ(λ/λ-1) (10)
比例定数kは長さの単位を有しており、その分散素子の分散強度により、とりわけ利用されている格子43の格子定数により決定される。
従って、変位路は下記の通り表される。
Figure 2023537295000011
従って、本例では分散がx方向のみで影響を及ぼす。そのため、図12では、プロットされている画素(12,5)に係る変位ベクトルが分散によっては変化しなそうな一方で、プロットされている画素(8,4)に係る変位ベクトルが分散成分を有することとなろう。
その上で、実効PSFの重心に関し下記のものが得られる。
Figure 2023537295000012
このように、従来の画像走査(エアリ走査)評価に比肩する要領での、分散に対し垂直な方向沿いでの変化はないが、分散方向沿いの伸長/圧縮は存在する。これは、その波長が参照波長から遠く離れているほど多く補正され、ひいては実効PSFの重心が参照画素方向に沿いより近くにずれる結果となる要領にて、実施される。それにより、それら重心がもはや画素・参照画素間変位長の半分のところではなくなり、寧ろ参照画素の近くへと幾ばくかずれる。これにより、従って、最終的に全画素の寄与分が計算により結合されうるようにするためにそれら画素の諸成分をどのようにずらさねばならないかにつき、ルールが提供される。オプション的には、ここで更なる校正を用い、正しいsi,jを決定するようにしてもよい。とはいえ、特に多光子顕微法を用い調査されることが多い厚手標本の場合に生じうる通り、変位ベクトルが標本誘起性収差の影響を受けることがある(Castello et al.,2019;図1c)。センサの個別画素の画像データのみをもとにしてそれら押し戻しベクトルを決定する策には、次欄で与えられるものがある。
[位相相関による変位ベクトルの決定]
考察下事案向けのもうひとつのデータ評価策に、色素に係る帯域をなしておりここで評価される諸波長がその標本の非常に具体的な空間的構造により総じて特徴付けられる、またその構造が対応する色素を用いもちろんマーキングされているのでその構造が全スペクトル成分に亘り究極的にはそっくりである、という仮定に基づくものがある。その上で第2の色、例えば図11中の青色・緑色スペクトル(画素領域71)が、その標本の別の区別可能構造(例.例えばDAPIを用いラベル付けされている細胞核)により区別される。従って、僅かに異なる色で放射するにせよ、それらの画像が皆、最終的には概ねそっくりな構造的内容を有するものとなる、という仮定をなすことができる。この場合の位相相関は、それ自体、別の実施形態とされるにふさわしい[Castello et al.,2019]。
この場合、まず、その走査像の諸画素がn=(n,n)に従い番号付け及びラベル付けされる。このやり方では、N×N個の画像点で構成される画像がgi,j(n)、但しn=1,…,N及びn=1,…,Nで表される。更に、いわゆるコレログラム(この場合は参照画素(3,3)に関するそれ)が下記のとおり定義される。
Figure 2023537295000013
この場合のFFT及びFFT-1は、それ自体既知な要領に従い、それぞれ(高速)フーリエ変換及びその逆変換を表すものである。そして、このコレログラムの最大値により個々の変位ベクトルがもたらされ、それにより画像コンテンツが必須的に押し戻される。
Figure 2023537295000014
本方法の技術的範囲は、[Castello et al.,2019]にて論じられているものと同様である。結局、この手順は、様々な画素をもたらす画像の位置揃え(レジストレーション)として知られるものに、類似している。この評価の利点は、原理上、分散がわかっている必要さえなく、このアルゴリズムを用い別の関数曲線による分散をも扱えることにある。更に、この方法は、そのセンサ上における画像の収差にあまり依存しない。とはいえ、情報処理支出は高めとなる。
原理上、画像走査をもとにした更なる既知方法も本発明向けに用いることができる。[Castello et al.,2019]をもう一度参照されたい。データ評価との関連でマルチビューデコンボリューションとして知られているものもそこで論じられており、それを本発明にて用いることもできる。更に、Zeiss(登録商標)Airyscan(登録商標)についての刊行文献を助力とすることができる。
即ち、これによって、共焦点スペクトルセンサのデータをPSFの空間的オーバサンプリングで以て評価できるもう一つのやり方、ひいてはより高いSNRで以てより良好な分解能の画像を同時決定するのと同時にそのスペクトルを確認できる別のやり方が、指し示されている。
上述の通り、スペクトルそれ自体は、常に、カラム内の諸画素、即ち分散方向に対し垂直な方向(前掲の図3では方向j)の諸画素を総和することによって、得ることができる。
[多色励起への適用]
本発明に係る方法は、複数の色素の同時検出に対しても、非常に有利に適用することができる。この目的を果たすには、積分限界、特に分散方向41におけるそれを、柔軟に定義できることが有利である。この場合の積分限界は、その枠内で点拡がり関数の個別的スペクトル的寄与分が特定色素に関し総和されねばならない限界、という意味である。これにより、例えば、その点拡がり関数の拡がりを色素毎に個別校正することが可能となる。これについて、図9との関連でより詳細に説明する。
図9a)には、二種類の色素への露出時におけるSPADカメラ50のシミュレート記録1000枚の総和が示されており、それぞれ個別画像に係る光子束が10MHz、露出持続時間が1μsとされている。図9b)には、その画像データをもとに決定されたスペクトル全体が示されている。図9c)には、その積分帯域幅が制約されているときに得られる部分スペクトルが示されている。そして、図9d)には、図9c)に示されている部分領域にて決定された点拡がり関数が示されている。
[自動化オプション]
本システムの校正は、選択されている対物系及び調査される色素にとりわけ依存するので、常に、厳密にはある固定されたプリセット実験にしか適用されない。そのため、その実験の修正後に、図8及び図9に従いその平均化画像データを評価しその校正データを例えば評価用電子回路60のメモリ書き込むことによって、その校正につき本システムに再学習させるのが有利である。
最近(数回)のLSM画像走査をもとにした校正データの継続的更新は、より有利なことである。これにより、その実験環境の変化に対し独立に本システムを反応させることが可能となる。
更に有利な態様は、積分限界を定義することによりスペクトルチャネルを自動設定するオプションにある。これは、1nm又は更に精細な増分でのスペクトル空間の高分解能サンプリングにより、行うことが可能となる。例えば、最大値及び最小値を探し出すアルゴリズムにて、図9b)記載の積分信号を用い積分限界を、或いはそれと等価なスペクトルチャネルを、定義するための提唱事項を決定することができる。即ち、本システムによれば、未知標本からの放射を効率的に検出して有利な色素分離をプリセットすることもできる。オプション的には、マトリクスセンサ50のy方向沿いカラムであり、その上に励起光14の波長を有する光が入射するものが、評価されないことや不活化されることもあろう。
10 励起ビーム路、
12 光源、
(12,3) 参照画素、
14 励起光、
16 偏向鏡、
18 メイン色スプリッタ、
22 走査装置、
23 チューブレンズ、
24 顕微鏡対物系、
26 標本平面、
27 照明スポット、
28 放射光、
29 0次回折、
30 検出ビーム路、
32 検出ユニット、
(3,3) 参照画素、
34 制御兼評価ユニットとりわけPC、
40 分散装置、
41 分散方向、
42 放射光28のスペクトル成分、
43 格子、
44 放射光28のスペクトル成分、
46 放射光28のスペクトル成分、
47 放射光28のスペクトル成分、
48 撮像用光学ユニット、
50 二次元マトリクスセンサ、
51 マトリクスセンサ50の画素、
53 画素のサイズ、
54 マトリクスセンサ、
56 像面(=マトリクスセンサ50の平面)、
57 関数s5,4の重心、
60 評価用電子回路、
71 色素の画素領域、
72 色素の画素領域、
80 円形対称な点拡がり関数、
100 レーザ走査顕微鏡、
200 検出装置、
a マトリクスセンサ50のグリッド定数、
i,j 画素再割当変位ベクトル、
i,j 変位ベクトルdi,jのx成分、
i,j 変位ベクトルdi,jのy成分、
i,j(n) 位置nにある画像、
i,j,gi,j(x) 画素i,jにより計測された強度値、
i,j 像面56内画素i,jに至る位置ベクトル、
em(x) 放射のPSF、
exc(x) 励起のPSF、
i,j(x) 画素i,jに係る実効PSF、
i マトリクスセンサ50のカラム、
(i,j) 画素、
j マトリクスセンサ50のロー、
m マトリクスセンサ50のローの個数、
スペクトル分布spにおける最小値、
mx1 スペクトル分布spにおける最大値、
mx2 スペクトル分布spにおける最大値、
n マトリクスセンサ50のカラムの個数、
n 画像点に至る位置ベクトル、
画像点に至る位置ベクトルnのx成分、
画像点に至る位置ベクトルnのy成分、
i,j 画素i,jに係るコレログラム、
s1 色素の放射スペクトル、
s2 色素の放射スペクトル、
i,j 実効PSFたるhi,j(x)の最大値に至る位置ベクトル、
sp(λ) スペクトル分布(連続)、
sp スペクトル分布(離散)、
x 標本平面内へと逆投射される像面56内個所、
x マトリクスセンサ50の座標方向(=分散方向)、
y マトリクスセンサ50の座標方向(分散方向に対し垂直)、
Airy(x,λ) エアリ関数、
cal 空間強度分布、
i,j 画素i,jにより計測された強度値、
x方向における画像点の個数、
y方向における画像点の個数、
FFT 高速フーリエ変換、
FFT-1 逆高速フーリエ変換、
i-n,j 色素の点拡がり関数のスペクトル成分であり分散方向41に沿いずれている成分の、マトリクスセンサ50上での空間的重なり合いに関する重なり合いデータ、
PSF 点拡がり関数、
S 標本、
SNR 信号対雑音比、
ξ(λ),ξi(λ) 変位ベクトルdi,jの波長依存成分、
δλ 色素のスペクトル帯域幅、
λ 波長、
λ マトリクスセンサ50のカラムiにおける波長、
λ 参照画素の所在個所又はカラムにおける波長、
k 変位ベクトルdi,jに係る分散をモデル化するための定数。

Claims (29)

  1. 標本(S)から来る放射光(28)が、像面(56)内に位置し複数個の画素(51)を有する二次元マトリクスセンサ(50)へと、撮像用光学ユニット(48)経由で案内されるレーザ走査顕微鏡にて、放射光(28)、とりわけ少なくとも1個の蛍光色素からの蛍光を検出する方法であり、
    検出点拡がり関数が、前記マトリクスセンサ(50)を用い空間オーバサンプリング様式にて検出される方法であって、
    前記標本(S)から来る前記放射光(28)が、分散装置(40)を用い、とりわけ分散方向(41)沿いでスペクトル分解されること、
    そのスペクトル分解された放射光(42,44,46,47)が、前記マトリクスセンサ(50)を用いスペクトル分解様式にて検出されること、並びに
    画素領域(71,72)をなす諸画素(i,j)により計測された強度(Ii,j;gi,j)の評価に際し、それらの画素(i,j)のうち少なくとも幾つかに関し前記スペクトル分離の反転が行われること、
    を特徴とする方法。
  2. 請求項1記載の方法であって、
    色素の放射に割り当てられている少なくとも1個の画素領域(71,72)が、前記マトリクスセンサ(50)を用い計測されたスペクトルに基づき識別されることを特徴とする方法。
  3. 請求項1又は2記載の方法であって、
    特定波長(λ)に係る強度値(sp(λ),sp)が、前記マトリクスセンサ(50)上における前記放射光のスペクトル強度分布(sp(λ),sp)の決定のため、そのマトリクスセンサ(50)にて前記分散方向(41)に対し垂直なカラム(i)をなしている複数個の画素(i,j)での計測データ(Ii,j;gi,j)、とりわけそのマトリクスセンサ(50)のカラム(i)内の全画素(i,j)での計測データを総和することによって、決定されることを特徴とする方法。
  4. 請求項2又は3記載の方法であって、
    前記画素領域(71,72)を識別すべく、前記決定されたスペクトル分布における最大値(mx1,mx2)及び最小値(mi)が自動サーチされること、並びに
    特定色素につき前記点拡がり関数を計算するためのスペクトル限界が、見つかった最大値(mx1,mx2)及び最小値(mi)に基づきユーザに対し提示されること、或いは
    前記見つかった最大値(mx1,mx2)及び最小値(mi)に基づきスペクトル限界が自動定義されること、
    を特徴とする方法。
  5. 請求項1~4のうち何れか一項記載の方法であって、
    前記画素領域(71,72)が前記マトリクス検出器(50)上で重なり合っていること、並びに
    前記個別画素により計測された前記強度のスペクトルアンミキシングが実行されること、
    を特徴とする方法。
  6. 請求項1~5のうち何れか一項記載の方法であって、
    検出点拡がり関数が少なくとも1個の蛍光色素に関し決定されることを特徴とする方法。
  7. 請求項1~6のうち何れか一項記載の方法であって、
    標本(S)上にあり励起光(14)により同時に照明された複数個の点により放射された放射光(28)が、前記マトリクスセンサ(50)へと同時に案内され評価されることを特徴とする方法。
  8. 請求項1~7のうち何れか一項記載の方法であって、
    前記マトリクスセンサ(50)が光子計数モードで動作することを特徴とする方法。
  9. 請求項1~8のうち何れか一項記載の方法であって、
    画素領域(71,72)をなす前記個別画素(i,j)に関し前記スペクトル分離を反転させるべく、それらの画素(i,j)により計測された前記強度値(Ii,j)が、その画素領域(71,72)に係る前記色素に関わる前記放射光の前記スペクトル強度分布(sp(λ),sp)を勘案しつつ、且つ前記マトリクスセンサ(50)上での個別スペクトル成分の空間強度分布(Ical )を勘案しつつ、計算により結合されることを特徴とする方法。
  10. 請求項9記載の方法であって、
    前記分散方向(41)に対し垂直なカラム(i)をなす諸画素(i,j)によって計測され、とりわけ前記個別画素領域(71,72)内で最高強度が計測されたカラム(i)をなす諸画素によって計測された、強度分布(Ical )が、前記個別スペクトル成分の前記空間強度分布として用いられることを特徴とする方法。
  11. 請求項1~8のうち何れか一項記載の方法であって、
    画素領域(71,72)をなす前記個別画素(i,j)に関し前記スペクトル分離を反転させるべく、それらの画素(i,j)により計測された前記強度値(gi,j)が、前記像面(56)内にありその個別画素(i,j)に対しずらされている個所へと、その個別画素(i,j)の所在個所及びその所在個所に係る前記波長(λ)に依存する変位ベクトル(di,j)で以て、割り当てられること(画素再割当)を特徴とする方法。
  12. 請求項11記載の方法であって、
    前記変位ベクトル(di,j)の波長非依存成分が、参照画素(12,3)からその関連画素(i,j)に至る前記ベクトル(gi,j)のベクトル成分を再割当因数、具体的には-1/2によリスケーリングすることによって、特定画素(i,j)に関し取得されることを特徴とする方法。
  13. 請求項11又は12記載の方法であって、
    前記画素再割当の実行を経て取得された検出点拡がり関数が、前記分散方向(x,41)沿いとその分散方向に対し垂直な方向(y)沿いとで、実質的に同じ形状を有することを特徴とする方法。
  14. 請求項11記載の方法であって、
    前記変位ベクトル(di,j)であり標本構造に割り当てられた波長域に係るものが、複数枚の走査像の位相相関を評価することにより決定されることを特徴とする方法。
  15. 請求項1~14のうち何れか一項記載の方法であって、
    前記マトリクスセンサ(50)を用い、例えばそのマトリクスセンサ(50)のうち幾つかの画素を用い、とりわけそのマトリクスセンサ(50)の個別画素それぞれを用い、前記色素の蛍光寿命を決定するための時間分解計測が実行されることを特徴とする方法。
  16. レーザ走査顕微鏡内で放射光を検出する検出装置、とりわけ請求項1~15のうち何れか一項記載の方法を実行する検出装置であり、
    複数個の画素(51)を有していて像面(56)内にある二次元マトリクスセンサ(50)を備え、標本(S)から来る放射光(28)の検出点拡がり関数がそれにより空間オーバサンプリング検出される検出装置であり、その放射光(28)をその二次元マトリクスセンサ(50)へと案内する撮像用光学ユニット(48)を備える検出装置であって、
    分散装置(40)が、前記放射光(28)の前記スペクトル分離向けに設けられていること、
    前記マトリクスセンサ(50)が、前記スペクトル分離された検出光(42,44,46,47)の前記スペクトル分解検出向けに構成及び配置されていること、並びに
    前記マトリクスセンサ(50)に接続された評価用電子回路(60)が、画素領域(71,72)をなす前記諸画素(i,j)により計測された前記強度(Ii,j;gi,j)の評価範囲内で、それらの画素(i,j)に関し前記スペクトル分離を反転させるべく設けられ且つ構成されていること、
    を特徴とする検出装置。
  17. 請求項16記載の検出装置であって、
    前記スペクトル分離を反転させるべく、前記評価用電子回路(60)が、画素領域(71,72)をなす諸画素(i,j)により計測された前記強度値(Ii,j)を、その画素領域(71,72)に係る前記色素に関する前記放射光のスペクトル強度分布(sp(λ),sp)を勘案しつつ、且つ前記マトリクスセンサ(50)上における個別スペクトル成分の空間強度分布(Ical )を勘案しつつ、計算により結合させるよう構成されていることを特徴とする検出装置。
  18. 請求項16又は17記載の検出装置であって、
    画素領域(71,72)をなす前記個別画素(i,j)に関し前記スペクトル分離を反転させるべく、前記評価用電子回路(60)が、それらの画素(i,j)により計測された前記強度値(gi,j)を、前記像面(56)内にあり前記個別画素(i,j)に対しずらされている個所へと、前記個別画素(i,j)の所在個所及びその所在個所に係る前記波長(λ)に依存する前記変位ベクトル(di,j)で以て割り当てるよう(画素再割当)、構成されていることを特徴とする検出装置。
  19. 請求項16~18のうち何れか一項記載の検出装置であって、
    前記分散装置(40)が光回折及び/又は光屈折性デバイス、とりわけ格子(43)及び/又はプリズムを備えることを特徴とする検出装置。
  20. 請求項16~19のうち何れか一項記載の検出装置であって、
    前記マトリクスセンサ(50)がアナログ積分型検出器及び/又は光子計数型検出器、とりわけsCMOSカメラ、EMCCDカメラ及び/又は(CMOS)SPADアレイを備えることを特徴とする検出装置。
  21. 請求項16~20のうち何れか一項記載の検出装置であって、
    前記分散方向(41)が前記マトリクスセンサ(50)の座標方向(x)と同方向であることを特徴とする検出装置。
  22. 請求項16~21のうち何れか一項記載の検出装置であって、
    その検出効率を高めるべく、マイクロレンズが前記マトリクスセンサ(50)の上流、とりわけ前記SPADアレイの上流に配置されていることを特徴とする検出装置。
  23. 請求項16~22のうち何れか一項記載の検出装置であって、
    前記マトリクスセンサ(50)の前記平面における前記検出点拡がり関数のエアリディスクの直径が、そのマトリクスセンサ(50)の格子定数の20倍未満であることを特徴とする検出装置。
  24. 請求項16~23のうち何れか一項記載の検出装置であって、
    前記分散方向(41)における前記マトリクスセンサ(50)の画素(51;(i,j))毎スペクトル帯域幅が0.5nm未満、好ましくは0.4nm未満、とりわけ好ましくは0.3nmであることを特徴とする検出装置。
  25. 請求項16~24のうち何れか一項記載の検出装置であって、
    前記撮像用光学ユニット(48)がズーム系を備えることを特徴とする検出装置。
  26. 請求項16~25のうち何れか一項記載の検出装置であって、
    とりわけ諸色素の蛍光寿命を決定すべく、前記マトリクスセンサ(50)及び前記評価用電子回路(60)が、例えばそのマトリクスセンサ(50)のうち幾つかの画素を用い、好ましくはそのマトリクスセンサ(50)の個別画素それぞれを用い、時間分解計測を実行するよう構成されていることを特徴とする検出装置。
  27. レーザ走査顕微鏡、
    とりわけ請求項1~15のうち何れか一項記載の方法を実行するためのレーザ走査顕微鏡であり、
    励起光(14)を放射する光源(12)とりわけレーザを備え、
    顕微鏡対物系(24)を伴っており前記励起光(14)を調査対象標本(S)上又は内へと案内する励起ビーム路(10)を備え、
    前記励起ビーム路(10)上に所在しており少なくとも1個の照明スポット(27)により前記標本(S)上を走査するよう働く走査装置(22)を備え、
    前記標本(S)により放射された放射光(28)とりわけ蛍光を検出ユニット(32)へと案内する検出ビーム路(30)を備え、
    前記放射光(28)を検出する前記検出ユニット(32)を備え、
    励起光(14)と放射光(28)とを分離させるメイン色スプリッタ(18)を備え、且つ
    前記光源(12)を制御し且つ前記検出ユニット(32)により得られた計測データを評価する制御兼評価ユニット(34)とりわけPCを備える、レーザ走査顕微鏡であって、
    前記検出ユニット(32)が、請求項16~26記載の検出装置(200)を備えることを特徴とする顕微鏡。
  28. 請求項27記載の顕微鏡であって、
    前記制御兼評価ユニット(34)が、
    決定されたスペクトル分布(sp(λ),sp)における最大値(mx1,mx2)及び最小値(mi)をサーチするよう、
    且つ、特定色素につき前記点拡がり関数を計算するためのスペクトル限界を、見つかった最大値(mx1,mx2)及び最小値(mi)に基づき提示するよう、或いは
    特定色素につき前記点拡がり関数を計算するためのスペクトル限界を、見つかった最大値(mx1,mx2)及び最小値(mi)に基づき独立に定義するよう、
    構成されていることを特徴とする顕微鏡。
  29. 請求項27又は28記載の顕微鏡であって、
    請求項1~12のうち何れか一項記載の方法を実行するよう前記検出装置(200)と併せ前記制御兼評価ユニット(34)が構成されていることを特徴とする顕微鏡。
JP2023506011A 2020-07-30 2021-07-29 放射光検出方法、検出装置及びレーザ走査顕微鏡 Pending JP2023537295A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102020120190.7 2020-07-30
DE102020120190.7A DE102020120190A1 (de) 2020-07-30 2020-07-30 Verfahren zum detektieren von emissionslicht, detektionsvorrichtung und laser-scanning-mikroskop
PCT/EP2021/071269 WO2022023474A1 (de) 2020-07-30 2021-07-29 Verfahren zum detektieren von emissionslicht, detektionsvorrichtung und laserscanning-mikroskop

Publications (1)

Publication Number Publication Date
JP2023537295A true JP2023537295A (ja) 2023-08-31

Family

ID=77274781

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023506011A Pending JP2023537295A (ja) 2020-07-30 2021-07-29 放射光検出方法、検出装置及びレーザ走査顕微鏡

Country Status (6)

Country Link
US (1) US11921274B2 (ja)
EP (1) EP4189358A1 (ja)
JP (1) JP2023537295A (ja)
CN (1) CN116249891A (ja)
DE (1) DE102020120190A1 (ja)
WO (1) WO2022023474A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021192244A1 (ja) * 2020-03-27 2021-09-30 ギガフォトン株式会社 センサ劣化判定方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10127284A1 (de) * 2001-06-05 2002-12-12 Zeiss Carl Jena Gmbh Autofokussiereinrichtung für ein optisches Gerät
DE10339312A1 (de) * 2003-08-27 2005-03-31 Leica Microsystems Heidelberg Gmbh Verfahren zur Trennung von Fluoreszenzspektren von in einer Probe vorhandenen Farbstoffen
FR2966258B1 (fr) 2010-10-15 2013-05-03 Bioaxial Système de microscopie de superresolution de fluorescence et méthode pour des applications biologiques
JP6253266B2 (ja) 2013-06-11 2017-12-27 オリンパス株式会社 共焦点画像生成装置
DE102014111167A1 (de) 2014-08-06 2016-02-11 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie mit der Unterscheidung mindestens zweier Wellenlängenbereiche
DE102016119730A1 (de) 2016-10-17 2018-04-19 Carl Zeiss Microscopy Gmbh Optikgruppe für Detektionslicht für ein Mikroskop, Verfahren zur Mikroskopie und Mikroskop
DE102017113683A1 (de) 2017-06-21 2018-12-27 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie mit der Unterscheidung mindestens zweier Wellenlängenbereiche
IT201800001891A1 (it) * 2018-01-25 2019-07-25 Fondazione St Italiano Tecnologia Metodo di imaging risolto nel tempo ad alta risoluzione spaziale.

Also Published As

Publication number Publication date
CN116249891A (zh) 2023-06-09
WO2022023474A1 (de) 2022-02-03
US11921274B2 (en) 2024-03-05
EP4189358A1 (de) 2023-06-07
DE102020120190A1 (de) 2022-02-03
US20230258916A1 (en) 2023-08-17

Similar Documents

Publication Publication Date Title
JP6810025B2 (ja) 少なくとも2つの波長範囲を区別する高解像度走査型顕微鏡検査法
US10234667B2 (en) Evaluation of signals of fluorescence scanning microscopy using a confocal laser scanning microscope
US9864182B2 (en) High-resolution scanning microscopy
JP6444406B2 (ja) 高解像度スキャニング顕微鏡法
Gregor et al. Image scanning microscopy
US7274446B2 (en) Method and arrangement for the deep resolved optical recording of a sample
JP7045382B2 (ja) 顕微鏡の検出光のための光学グループ、顕微鏡法のための方法、及び顕微鏡
US8908174B2 (en) Apparatus, especially microscope, for the analysis of samples
US9201011B2 (en) Increased depth-resolution microscopy
US8767216B2 (en) Holographically illuminated imaging devices
US10401607B2 (en) High-resolution scanning microscopy resolving at least two spectral ranges
US6703621B2 (en) Method for the optical acquisition of characteristic sizes of an illuminated sample
US20110267688A1 (en) Microscopy Method and Microscope With Enhanced Resolution
CN110869833B (zh) 在至少两个波长范围之间进行辨别的高分辨率扫描显微术
JP2004170977A (ja) 分解能の深度で試料を光学的に把握する方法および配置
US20050146784A1 (en) Confocal microscope having multiple independent excitation paths
US7645971B2 (en) Image scanning apparatus and method
US20220057329A1 (en) Method and apparatus for detecting fluorescence signals in a three-dimensional region of a sample
EP2828700A1 (en) Multi-color confocal microscope and imaging methods
JP2023537295A (ja) 放射光検出方法、検出装置及びレーザ走査顕微鏡
WO2022053649A1 (en) Optical microscope for spectrally resolved imaging and method for such a microscope
CN114442298A (zh) 用于捕获图像数据的设备和方法