KR20240045211A - 시간적 다중화 및 단일 광자 검출기 어레이를 통한 동시 다중 종 초해상도 이미징 - Google Patents

시간적 다중화 및 단일 광자 검출기 어레이를 통한 동시 다중 종 초해상도 이미징 Download PDF

Info

Publication number
KR20240045211A
KR20240045211A KR1020247003286A KR20247003286A KR20240045211A KR 20240045211 A KR20240045211 A KR 20240045211A KR 1020247003286 A KR1020247003286 A KR 1020247003286A KR 20247003286 A KR20247003286 A KR 20247003286A KR 20240045211 A KR20240045211 A KR 20240045211A
Authority
KR
South Korea
Prior art keywords
excitation
sample
emission
spectral components
spectral
Prior art date
Application number
KR1020247003286A
Other languages
English (en)
Inventor
주세페 비치도미니
조르조 토르타롤로
마르코 카스텔로
시몬루카 피아차
파올로 비안키니
알베르토 디아스프로
Original Assignee
폰다치오네 이스티튜토 이탈리아노 디 테크놀로지아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 폰다치오네 이스티튜토 이탈리아노 디 테크놀로지아 filed Critical 폰다치오네 이스티튜토 이탈리아노 디 테크놀로지아
Publication of KR20240045211A publication Critical patent/KR20240045211A/ko

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0064Optical details of the image generation multi-spectral or wavelength-selective arrangements, e.g. wavelength fan-out, chromatic profiling
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • G02B21/0084Details of detection or image processing, including general computer control time-scale detection, e.g. strobed, ultra-fast, heterodyne detection
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • G01N2021/6419Excitation at two or more wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • G01N2021/6423Spectral mapping, video display
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N2021/6463Optics

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Microscoopes, Condenser (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

시간적 다중화 및 단일 광자 검출기 어레이를 통한 동시 다중 종 초해상도 이미징
상이한 여기 스펙트럼 성분들(B1, B2)을 포함하는 복수의 펄스 여기 광 빔들을 이용하여 샘플을 조사하도록 구성된 레이저 스캐닝 현미경으로서, 상기 현미경은:
상기 샘플에 의해 방출된 형광 신호를 검출하도록 구성된 단일 광자 검출기(40) - 상기 형광 신호는 상이한 스펙트럼 성분들을 포함함 -,
각 여기 스펙트럼 성분에 각자의 시간 지연을 부과하도록 구성된 여기 스펙트럼 인코더(50),
각 방출 스펙트럼 성분에 각자의 시간 지연을 부과하도록 구성된 방출 스펙트럼 인코더(60), 그리고
상기 샘플에 포함된 상기 형광 종들에 대한 여기 스펙트럼, 방출 스펙트럼 및 형광 감쇠 곡선을 디코딩하도록 구성된 다중 종 디코더(70)를 포함한다.

Description

시간적 다중화 및 단일 광자 검출기 어레이를 통한 동시 다중 종 초해상도 이미징
본 발명은 일반적으로 다중 종(multi-species) 형광 현미경 기술에 관한 것이다.
형광을 이용한 공초점 레이저 스캐닝 현미경(confocal laser scanning microscopy, CLSM)은 세포 및 분자 생물학에 널리 사용되는 이미징 도구이다. 이 기술은 3차원 이미징, 딥 이미징, 라이브 셀 이미징 및 정량 이미징의 가능성을 모두 제공하며 형광 현미경의 현재 개발과 결합된다. 현재 다양한 형광 염료(예: 합성 염료 분자, 형광 단백질 및 무기 나노입자)가 높은 특이성과 수많은 결합 전략을 통해 생물학적 타겟에 결합되어 잠재적으로 관찰된 샘플의 완전한 초상화를 제공할 수 있다. 소위 다중 종(또는 다중 라벨) 형광 이미징을 사용하면 여러 타겟을 감지할 수 있어, 특정 분자 대비를 사용하여 다양한 세포 구조 간의 상호 작용 및 상대적 공간 구성을 관찰할 수 있게 한다. 또한 최근 (MHz 범위인) 고속 검출기 어레이가 도입되면서 ISM(이미지 스캐닝 현미경)의 투명하고 다양한 구현이 가능해졌으며, 이로 인해 CLSM은 초해상도(super-resolution) 기술 중 하나로 간주되었다. 이러한 ISM 구현(예: WO 2019/145889 A1에 설명됨)에서는 샘플 평면에서 투영된 크기가 1-1.5 AU(airy units)인 검출기 어레이가 일반적으로 CLSM에서 사용되는 핀홀 및 단일 요소 검출기를 대체하여, 형광 볼륨의 이미지를 제공한다. 검출기 어레이에 의해 제공되는 이러한 추가 공간 정보는 기존 현미경의 2배의 해상도와 더 높은 신호 대 잡음비(SNR)를 가진 초해상도(super-resolved) 이미지를 재구성하기 위해 사용될 수 있다. 검출기 어레이의 각 요소는 일련의 초해상도이지만 SNR이 낮은 이미지를 생성하는 단일 물리적 핀홀 역할을 한다. 대부분의 형광 신호는 검출기 소자로부터 병렬로 획득되므로, 픽셀 재할당이나 다중 영상 디콘볼루션을 통해 수집된 영상을 모두 결합하면 높은 SNR 이미지가 획득될 수 있다.
기존 CLSM에서, 각 프로브의 광물리적 특성을 기반으로 상이한 프로브(또는 오히려 상이한 형광 신호)를 분리하여 동시 다중 종 이미징이 구현된다. 특히, 일반적으로 세 가지 다른 속성이 사용된다: 여기 스펙트럼, 방출 스펙트럼 및 평균 형광 수명 (도 1). 이러한 속성 중 하나만 사용하는 전략에는 장점과 한계가 있다. 이러한 이유로, 결합된 접근 방식이 선호된다. 그러나, 결과 구현은 항상 시스템 복잡성, 분리 가능한 종들의 수, 동시 이미징을 수행하는 능력 및 비용 간의 트레이드-오프이다. 지금까지 입증된 다중 종 전략인 검출기 배열을 기반으로 한 ISM 구현(이하 간단히 ISM)은 여기 및 방출 스펙트럼만 탐색하고 기본 CLSM 접근 방식의 복사본들로 구성된다. 실제로, 보다 정교한 다중 종 CLSM 접근 방식을 구현하려면 분리 가능한 종의 수 측면에서 비용이 많이 들고 확장성이 떨어지는 아키텍처가 필요하거나 구현되지 않을 수도 있다.
다중 종 CLSM
동시 다중 종 CLSM 이미징에 가장 널리 사용되는 방법은 방출 스펙트럼의 시그니처를 탐색하여 상이한 프로브들의 신호들을 분리한다. 모든 프로브는 하나 이상의 단색 레이저 빔()으로 동시에 여기된다. 그런 다음 형광 신호는 여기광으로부터 분리되어, 필터, 이색성 거울 및/또는 조정 가능한 음향 광학 필터의 조합에 의해 각 프로브에 하나씩 일련의 스펙트럼 윈도우들(, 여기서 는 스펙트럼 대역의 중앙 값을 나타낸다)로 분할된다. 마지막으로, 각 스펙트럼 대역에 대한 검출기, 즉 프로브가 형광 신호를 기록한다. 다중 검출기 스펙트럼 구현에는 두 가지 주요 제한 사항이 있다: 필요한 검출기의 수는 프로브의 수에 따라 증가하며, 그리고 상이한 프로브의 방출 스펙트럼 간의 누화로 인해 이미지가 저하된다.
두 번째 문제는 실시예에서 프로브의 여기 스펙트럼에 대한 정보를 추가하기 위해 여기의 동시성을 깨뜨림으로써 부분적으로 해결될 수 있다. 이 경우, 여기 레이저 빔이 순차적으로 활성화/변조되며, 그리고 검출기 대역 및 여기 빔 파장(, )과 관련된 값들의 각 쌍에 대해 하나씩 일련의 이미지들이 기록된다. 가장 잘 일치하는 여기 및 방출 파장들에 의해 형성된 이미지가 각 프로브에 대해 선택된다. 그런 다음 선형 언믹싱 (unmixing) 알고리즘을 사용하여 나머지 누화가 제거될 수 있다. 레이저 여기 빔의 순차적 활성화로 인해 동시 이미징을 효과적으로 얻으려면 빠른 변조를 채택하는 것이 중요하다. 예를 들어, 프레임별 또는 라인별 변조는 동적 구조의 이미징을 수행하기에는 너무 느릴 수 있다. 왜냐하면 빠른 생물학적 프로세스들은 밀리초 미만(단백질 모양의 변화는 마이크로초까지 훨씬 더 작은 규모로 발생하지만 이미징은 모든 경우에 이러한 과정을 관찰할 수 있는 옵션이 아님)의 시간 규모로 발생하며, 픽셀의 전형적인 체류 시간이 수십 마이크로초 이하의 범위이기 때문에, 픽셀 단위로 레이저 빔을 변조하면 동시 다중 종 이미징이 보장된다.
최근에는 픽셀의 체류 시간에 의해 주어진 것보다 더 큰 주파수로 여기 빔을 변조하는 것이 제안되었다(US 9231575 B2). 상기 다중 종 CLSM 구현은 주파수 영역에서 여기 빔들을 다중화한다. 따라서, 주파수 영역에서의 필터링을 통해 복조가 이루어진다. 또한, 분리되는 프로브들의 수에 관계없이 단일 검출기를 사용하므로 구현 비용이 크게 절감된다. 대조적으로, 단일 검출기를 사용하면 프로브의 여기 및 방출 스펙트럼을 탐색할 수 없다.
단일 검출기를 사용하지만 방출 스펙트럼을 탐색하는 다중 종 CLSM은 선형 검출기 어레이를 사용하여 구현될 수 있다 (US 20190361213 A1). 여기에서, 하나 이상의 여기 빔에 의해 유도된 형광 신호는 프리즘(또는 격자)을 사용하여 공간에서 스펙트럼적으로 분해되고, 각 파장은 선형 검출기의 특정 위치/요소에 매핑된다. 방출 스펙트럼 이미지라고 불리는 3차원(x, y, λ) 이미지는 (블라인드) 스펙트럼 언믹싱 알고리즘에 의해 처리되어 신호들의 누화로 인해 아티팩트가 잠재적으로 없는 최종 다중 종 이미지를 형성한다. 일반적으로 하이퍼 스펙트럼 구현이라고 하는 이러한 클래스의 CLSM 구현에서는 위에서 설명한 대로 여기 빔을 변조하여 여기 스펙트럼을 탐색하는 것도 가능하다. 하이퍼 스펙트럼(hyper-spectral) CLSM 구현은 방출 스펙트럼을 순차적으로 기록함으로써 달성될 수도 있다; 즉, 형광 신호는 공간에 스펙트럼적으로 분산되고 조정 가능한 이중 슬릿은 스펙트럼의 일부만 선택적으로 필터링하며 단일 요소 센서는 선택된 신호를 기록한다. 그럼에도 불구하고, (정의에 의한) 스펙트럼의 순차적 기록은 동시 다중 종 이미징을 방지한다.
위에 설명된 모든 다중 종 CLSM 구현은 방출 시그니처 및/또는 여기 시그니처를 사용하여 상이한 프로브들를 분리한다. 조사해야 할 또 다른 프로브 특성은 평균 형광 수명, 그리고 보다 일반적으로는 시간 감쇠 분포이다. 여기 및 방출 스펙트럼과 유사하게, 프로브는 다음과 같은 시간 스펙트럼 으로 특성화될 수 있으며, 이는 여기된 분자/프로브가 여기 이벤트 이후 주어진 시간 에 자발적인 광자(형광 광자)를 방출할 확률을 설명한다. 분자가 여기 상태에서 보내는 평균 시간을 평균 형광 수명 이라고 한다. 순수한 유기 형광단의 경우, 상기 분포는 단일 지수 에 의해 설명될 수 있지만, 많은 실제 사례에서는 더 복잡한 모델이 필요하다. CLSM에서, 형광 프로브의 평균 수명 감쇠 분포는 시간 상관 단일 광자 수(time-correlated single-photon count, TCSPC) 실험을 구현하여 획득된다: (일반적으로 수십 피코초의 펄스 길이인) 펄스 레이저 빔이 특정 시각 ()에 프로브를 여기시킨다; (수십 피코초에서 수백 피코초까지의) 낮은 타이밍 지터를 갖춘 단일 광자 검출기는 프로브에서 방출되는 형광 광자를 기록한다; TDC(time-to-digital converter, 시간-디지털 컨버터) 또는 고주파수 디지타이저는 여기 이벤트와 기록 이벤트 간의 시간 차이를 측정한다. 반복적인 실험들에 의해 광자 도착 시간의 히스토그램이 측정된다 (일반적으로 펄스 레이저의 반복률은 수십 MHz 정도이다). TCSPC 기반 CLSM에서, 다중 종 이미징은 각 픽셀에 대한 광자 도착 히스토그램을 기록하고 피팅(fitting), 디콘볼루션(deconvolution), 페이저 분해(phasor decomposition), 또는 선형 언믹싱을 기반으로 하는 다양한 계산 알고리즘을 사용하여 (다른 프로브의 감쇠 분포에 따라) 상기 히스토그램을 분해함으로써 구현될 수 있다. 상기 구현의 흥미로운 특성은 매우 유사한 여기 및 방출 스펙트럼을 갖는 종들을 분리하여 단일 여기 빔 및 단일 검출 대역, 즉 단일 검출기를 사용할 수 있다는 점이며, 이는 복잡성 측면에서 이점을 가져올 뿐만 아니라 색수차로 인한 이미징 아티팩트가 방지될 수 있도록 한다. 동일한 TCSPC 기반 CLSM 시스템을 사용하여 펄스별 모드에서 위에서 설명한 여기 레이저 변조를 구현하여 다중 종 이미징을 위한 여기 스펙트럼 시그니처를 탐색할 수 있다. 일련의 단색 레이저의 펄스는 (평균 형광 수명보다 긴 지연을 가진) 인터리빙을 거치며, 광자 도착 시간의 히스토그램은 시간 게이트 검출을 구현하고 각 프로브와 관련된 신호를 분리하기 위해 사용된다. 상기 펄스 인터리빙 접근법은 또한 방출 스펙트럼 분리 접근법과 결합되어, 분리될 프로브의 수를 증가시킬 수 있지만 더 많은 검출기가 필요하다.
다중 종 ISM
빠른 검출기 어레이를 기반으로 하는 ISM 구현의 가장 주목할만한 장점 중 하나는 위에 설명된 많은 다중 종 이미징 기술을 포함하여 형광 CLSM에서 구현되는 많은 라벨링 방법, 기술 및 프로토콜과의 호환성이다.
ISM은 스펙트럼 다중 검출기 접근 방식, 변조된 다중 여기 접근 방식 및 이들의 조합과 완벽하게 호환된다. 결과적으로, 당업자는 이러한 동시 다중 종 접근 방식을 ISM에 쉽게 통합할 수 있다. 그러나, 현재까지 느린 프레임별 변조 다중 여기 ISM 구현만 시연되었다. 이 경우, 단일 검출기 어레이를 사용하는 전동 필터 렌즈를 통해 상이한 여기 파장들 및 스펙트럼 윈도우들이 교대로 나타난다; 그러나, CLSM에서 시연된 것과 같은 진정한 동시 이미징은 배제된다.
반대로, 하이퍼 스펙트럼 방법(hyper-spectral method)은 ISM과 완전히 호환되지 않는다. 하이퍼 스펙트럼 방법의 기본 원리는 공간에서 스펙트럼 정보를 디코딩하는 것, 즉 방출 스펙트럼을 공간적으로 분해하는 것이다. ISM에서는 공간 정보 채널이 이미 감지 볼륨의 이미지를 전송하는 데 사용되기 때문에 이러한 공간 분해는 ISM을 방해한다. 공간 정보와 스펙트럼 정보가 동일한 채널과 규모로 융합되어 있기 때문에 이들의 분해는 쉽지 않다. 완전성을 위해, 하이퍼 스펙트럼 ISM 구현이 제안되었으며 두 종(two-species) ISM 이미지를 재구성하기 위해 사용되었다. 그러나, 위에서 설명한 것과 동일한 이유로, 이 구현은 공간 해상도와 종 분리 모두에서 주요 아티팩트들이 발생할 수 있다.
최근 단일 광자 검출기 어레이(예: SPAD(single-photon avalanche diode array detector, 단일 광자 전자사태 다이오드 어레이 검출기))가 도입되면서 평균 형광 수명 시그니처를 기반으로 하는 다중 종 이미징 방법의 구현도 가능해졌다. 실제로, TCSPC 측정을 구현하는 SPAD 어레이 기반 ISM의 기능이 완전히 입증되었다. 그러나, 이 경우, 평균 형광 수명을 기반으로 한 다중 종 ISM의 입증은 보고되지 않았다.
비동기 SPAD 어레이 검출기의 도입으로 인해 CLSM에서 시연된 많은 동시 다중 종 이미징 방법은 원칙적으로 하이퍼 스펙트럼 접근 방식과 관련된 몇 가지 실질적인 제한 사항이 있는 ISM으로 확장될 수 있다. 그러나 CLSM과 마찬가지로 여기 스펙트럼, 방출 스펙트럼 및 평균 형광 수명 특성을 동시에 탐색할 수 있는 단일 방법은 없다. 구현에 단일 검출기만 사용할 수 있는 경우 제약 조건이 더욱 중요하다.
본 발명의 목적 중 하나는 동시 이미징, 종 수 측면에서 높은 확장성 및 저렴한 비용을 제공하는 다중 종 ISM 이미징을 위한 새로운 아키텍처를 제안하는 것이다. 본 발명의 또 다른 목적은 CLSM에 대해, 더 일반적으로는 레이저 스캐닝 현미경(LSM), 예를 들어 유도 방출 결핍 현미경(stimulated emission depletion microscopy, STED), 2광자 여기 현미경 (two-photon excitation microscopy, TPE) 및 형광 변동 분광(fluorescence fluctuation spectroscopy , FFS)을 기반으로 한 임의의 형광 기술에 대해 유사한 이점을 제공하는 새로운 아키텍처를 제안하는 것이다.
이러한 목적에 비추어, 본 발명의 주제는 상이한 스펙트럼 성분(이하 여기 스펙트럼 성분)을 포함하는 복수의 펄스 여기 광 빔으로 시료를 조명하도록 구성된 레이저 스캐닝 현미경이며, 상기 시료는 복수의 형광종을 포함하며, 여기에서 상기 현미경은:
상기 샘플로부터 방출된 형광 신호를 검출하도록 구성된 단일 광자 검출기 어레이 - 상기 형광 신호는 상이한 스펙트럼 성분들(이하 방출 스펙트럼 성분들)을 포함함 -,
각 여기 스펙트럼 성분이 다른 여기 스펙트럼 성분들에 비해 상이한 시각에 상기 샘플을 조명하도록, 각 여기 스펙트럼 성분에 각자의 시간적 지연을 부과하도록 구성된 여기 스펙트럼 인코더,
각 방출 스펙트럼 성분이 다른 방출 스펙트럼 성분들에 비해 상이한 시각에 상기 단일 광자 검출기 어레이에 도달하도록, 각 방출 스펙트럼 성분에 각자의 시간적 지연을 부과하도록 구성된 방출 스펙트럼 인코더,
상기 단일 광자 검출기 어레이에 의해 제공되는 측정 신호를 획득하고 상기 샘플의 시간 분해 이미지를 제공하도록 구성된 데이터 획득 시스템, 그리고
상기 샘플의 상기 시간 분해 이미지에 기초하여, 상기 형광 종들 각각에 대한 여기 스펙트럼, 방출 스펙트럼 및 형광 감쇠 곡선을 디코딩하도록 구성된 다중 종 디코더를 포함한다.
본 발명의 또 다른 주제는 레이저 스캐닝 현미경의 방법이며, 상기 방법은:
상이한 스펙트럼 성분들(이하 여기 스펙트럼 성분들)을 포함하는 복수의 펄스 여기 광 빔으로 샘플을 조명하는 단계 - 상기 샘플은 복수의 형광종들을 함유하며, 여기에서 상기 샘플을 조명하는 단계는:
- 각 여기 스펙트럼 성분이 다른 여기 스펙트럼 성분들에 비해 상이한 시각에 상기 샘플을 조명하도록, 각 여기 스펙트럼 성분에 각자의 시간적 지연을 부과하는 단계를 포함함 -;
단일 광자 검출기 어레이를 사용하여 상기 샘플에 의해 방출된 형광 신호를 검출하는 단계 - 상기 형광 신호는 상이한 스펙트럼 성분들 (이하 방출 스펙트럼 성분들)을 포함하며, 여기에서 상기 형광 신호를 검출하는 단계는:
- 각 방출 스펙트럼 성분이 다른 방출 스펙트럼 성분들에 비해 상이한 시각에 상기 단일 광자 검출기 어레이에 도달하도록, 각 방출 스펙트럼 성분에 각자의 시간적 지연을 부과하는 단계를 포함함 -,
상기 단일 광자 검출기 어레이에 의해 제공되는 측정 신호를 획득하고 상기 샘플의 시간 분해 이미지를 제공하는 단계, 그리고
상기 샘플의 상기 시간 분해 이미지에 기초하여, 상기 형광종들 각각에 대한 여기 스펙트럼, 방출 스펙트럼 및 형광 감쇠 곡선을 디코딩하는 단계를 포함한다.
단일 광자 검출기는, 낮은 광자 타이밍 지터(검출기 어게이의 요소가 광자를 수신하면, 최대 200ps의 정확도로 신호를 활성화시킨다), 감소된 대기 시간(최대 50MHz, 즉 광자가 수집된 후 상기 요소는 20ns 동안 블라인드 상태로 유지됨) 및 비동기식 판독(즉, 각 검출기 어레이 요소가 다른 것들과 완전히 독립적이다)으로 인해 (서브-나노초 크기인 하한 제한만을 가진) 넓은 범위의 시간 규모에 대한 액세스를 가능하게 한다.
평균 형광 수명 정보는 나노초 미만/나노초 시간 스케일에 있지만, 가장 빠른 생물학적 프로세스와 레이저 스캐닝 프로세스는 마이크로초 범위에서 발생한다. 따라서, 동시 다중 종 LSM은 마이크로초까지의 시간 규모만 다루는 검출기를 사용해도 실현 가능하지만 프로브의 평균 형광 수명을 기반으로 하는 다중 종 ISM을 구현하려면 나노초 시간 규모에 대한 액세스가 필요하다. 즉, 수십 나노초에서 마이크로초까지의 시간 규모는 거의 사용되지 않으며 추가 정보를 전송하기 위해 채택될 수 있다 (실제로는, LSM에서 SNR을 개선하는 데 사용됨).
따라서, 본 발명 배경의 아이디어는 이 이용 가능한 대역을 사용하여 동시 다중 종 ISM에서 별도의 프로브들에게 유용한 정보를 전송하는 것이다. 여기에서, 특히, 상기 이용 가능한 대역은 프로브의 여기 및 방출 스펙트럼 시그니처를 인코딩하는 데 사용된다. 이 아이디어는 광자 도착 시간 히스토그램을 사용하여 다음의 것들을 인코딩하는 경우인 TCSPC 기반 ISM 측정으로 변환된다: (i) 일반적인 TCSPC 실험에서와 같은 프로브들의 평균 형광 수명 시그니처; (ii) 상이한 여기 빔을 위상 다중화함에 의한, 프로브들의 여기 스펙트럼 시그니처; 그리고 (iii) 형광 신호의 상이한 스펙트럼 성분들을 일시적으로 분리하여 프로브들의 방출 스펙트럼 시그니처.
하이퍼 스펙트럼 방법은 시간이 아닌 공간에서 형광 신호의 스펙트럼 성분을 분리한다는 것에 유의한다. 광자 도착 시간 히스토그램이 기록되면 (블라인드) 선형 언믹싱, 페이저 기반 언믹싱, 피팅, 디콘볼루션 또는 기계 학습과 같은 잘 확립된 계산 방법을 사용하여 프로브 시그니처들을 디코딩하여 다중 종 ISM 이미지를 얻을 수 있다. 모든 인코딩 작업은 시간 채널을 사용하여 수행되므로, 상기 제안된 접근 방식은 단일 검출기를 사용할 수 있다. 또한, 상기 인코딩은 마이크로초 미만의 시간 규모를 사용하므로, 동시 다중 종 접근 방식이 보장된다. 일반적인 단일 요소, 단일 광자 검출기를 사용하는 CLSM에도 동일한 전략을 적용할 수 있지만 이 경우 초해상도 이미지를 얻을 수 없다.
기존 다중 종 이미징 접근 방식에 비해 상기 제안된 솔루션이 제공하는 주요 이점은 다음과 같다:
- 큰 설정 변경 없이 표준 CLSM과 호환된다. 상기 단일 광자 검출기 어레이 및 데이터 획득 시스템은 표준 CLSM 아키텍처와 관련하여 필요한 유일한 변경 또는 업그레이드이다.
- ISM 접근법과의 호환성. 이 솔루션은 ISM이 제공하는 향상된 공간 해상도도를 유지하면서 다양한 종의 이미징을 가능하게 한다.
- 이 솔루션은, 확장 가능하고 간단한 방식으로 다중 종 이미징을 달성하기 위해 세 가지 주요 프로브 시그니처(여기 스펙트럼, 방출 스펙트럼, 형광 수명)를 단독으로 또는 조합하여(색상-시간 시그니처) 완전히 탐색하는 것을 가능하게 한다.
- 알려진 스펙트럼 언믹싱, 디콘볼루션, 페이저, 피팅 및 기계 학습 알고리즘과의 호환성.
본 발명의 추가 특징 및 이점은 비제한적인 예로서만 제공되는 첨부 도면을 참조하는 다음의 상세한 설명에서 제시될 것이다.
도 1은 Merck KGaA에서 생산한 ATTO 488 및 ATTO 565 형광 프로브에 대한 흡수 스펙트럼(I), 방출 스펙트럼(II) 및 형광 수명 감쇠를 나타낸다.
도 2는 본 발명에 따른 장치의 기능적 그래픽 표현이다.
도 3은 다음을 보여준다: (I) 펄스 인터리빙 여기 패턴, (II-III) ATTO 488 및 ATTO 565 프로브들의 색상-시간 시그니처들, (IV) 박스 II 및 III의 시그니처들 조합에 의해 제공되는 색상-시간 시그니처.
도 4는 본 발명에 따른 현미경의 실험적 프로토타입을 도시한다.
본 발명에 따른 방법은, 시작 현미경 아키텍처로서 (M. Castello 등의 ""A robust and versatile platform for image scanning microscopy enabling super-resolution FLIM" [1]에 설명된 바와 같은) TCSPC 기반 ISM 구성을 사용하여 또는 디지털 헤테로다인을 기반으로 하여 구현될 수 있다.
즉, 시작 현미경은 핀홀이 완전히 열린 다중빔 펄스 레이저 형광 공초점 현미경이며, CLSM에서 일반적으로 사용되는 기존 단일 요소 검출기는 도면들에서 40으로 표시된 단일 광자 검출기 어레이(예: SPAD 어레이 검출기)로 대체된다. 여기 빔에 의해 정의된 상이한 스펙트럼 성분들은 도 2 및 도 4에서 B1과 B2로 표시되며, 형광 신호는 F로 표시된다. 시스템의 광학 섹셔닝(sectioning) 기능을 보존하기 위해, 망원경 (또는 확대 렌즈)은 1~1.5 AU 사이의 투영된 검출기 배열 크기를 보장한다. 시간 분해(time-resolved) 측정을 구현하기 위해 검출기 어레이의 각 요소는 다중 채널 시간 라벨링 DAQ 카드(또는 다중 채널 주파수 영역의 평균 형광 수명 디지털 시스템 또는 다중 채널 고속 디지타이저)에 연결되어 레이저 빔 펄스. 본 발명에 따른 방법을 구현하기 위해 위에 설명된 아키텍처에 세 가지 주요 업데이트가 도입되어야 한다(도 2 및 4 참조):
- 도면들에서 50으로 표시된 여기 스펙트럼 인코더. 이는 형광 프로브/종의 여기 스펙트럼 시그니처를 현미경 시스템의 시간 채널로 인코딩하는 시스템이다. 상기 시스템은 레이저 여기 빔의 다양한 펄스의 시간 분포에 따라 작용한다. 이하에서는 펄스 인터리빙을 기반으로 하는 여기 스펙트럼 인코더의 기술적 실시예가 설명될 것이다.
- 도면들에서 60으로 표시된 방출 스펙트럼 인코더. 이는 현미경의 시간 채널에서 형광 프로브/종의 방출 스펙트럼 시그니처를 인코딩하는 시스템이다. 상기 시스템은 분광계와 유사하게 형광 신호를 스펙트럼 성분들로 분해한다. 그러나, 그것들을 공간적으로 분리하는 대신 (즉, 각 성분이 선형 검출기 어레이의 상이한 위치에 투영됨) 시간적으로 분해하는 것이 가능하다 (즉, 각 성분은 검출기 어레이에 도달하기 전에 상이하게 지연된다). 이하에서는 광학 지연 라인들을 기반으로 한 기술적 실시예가 설명될 것이다;
- 도면들에서 70으로 표시된 다중 종 디코더(multi-species decoder). 이것은 각 형광 프로브/종에 대한 여기 스펙트럼, 방출 스펙트럼 및 평균 형광 수명 감쇠를 샘플 내 (또는 전체 파이프라인이 레이저 빔을 사용하여 샘플을 스캔함으로써 픽셀별/위치별로 구현되었으므로, 오히려 각 샘플 위치에서) 프로브들의 농도와 함께 디코딩하는 시스템이다.
두 개의 인코더와 펄스 여기 방식으로 인해, 각 프로브는 특정 시간 시그니처를 특징으로 하며, 이는 이하에서 색상-시간 시그니처라고 불릴 것이다. 단일 광자 검출기 어레이(40)는 상기 시그니처들의 선형 조합을 기록하며, 그 선형 조합의 계수는 프로브 농도에 비례한다. 따라서, 디코더(70)의 주요 작업은 상기 선형 조합의 계수 (및 가능하면 색상-시간 시그니처)를 계산적으로 검색하는 것이다. 실제로, 디코더(70)는 스펙트럼 (블라인드) 언믹싱, (블라인드) 디콘볼루션, 페이저 분해, (시그니처 모델이 제공되는 경우) 피팅 또는 기계 학습 알고리즘을 사용하여 구현된다. 상기 (블라인드) 스펙트럼 언믹싱 접근법은 이후에 더 자세히 설명된다.
일반적인 이론
제안된 방법의 실제 실시예에서 충족되어야 하는 가장 중요한 특성 및 조건은, 시점 에서 그리고 샘플(예: 이미지 픽셀)의 위치 에서 시간 분해 측정(즉, 광자 도착 시간의 히스토그램)에 의해 생성된 형광 신호 는 색상-시간 시그니처들의 선형 구성 및 상이한 프로브들의 상대적인 상대적 기여도/농도 이라는 것이다:
여기에서 는 샘플(이미지 픽셀) 내 공간적 위치들의 개수이고, 는 분리될 프로브들의 개수이다. 프로브들의 개수는 일반적으로 다중 종 형광 이미징 실험에서 알려져 있다. 위에 표시된 대로 색상 시간 시그니처 는 평균 형광 수명의 시그니처 , 여기 스펙트럼 시그니처 , 및 상기 프로브의 방출 스펙트럼 시그니처 의 함수이다. , 의 함수로서의 색상 시간 시그니처 의 두 가지 예는 형광 염료 ATTO 488 및 ATTO 565를 각각 참조하여 도 3의 박스들 II 및 III에 표시된다. 도 3은 여기 빔들이 exc. 1 및 exc. 2로 표시되는 두 개의 여기 스펙트럼 성분들 - 이것의 펄스들은 12.5ns(exc. 지연) 간격으로 샘플을 교대로 조명함 - 을 포함하는 예를 나타낸다. 형광 프로브들 ATTO 488 및 ATTO 565 각각에 의해 방출된 신호는 두 개의 방출 스펙트럼 성분들, 구체적으로 제1 스펙트럼 성분(det. 1) - 그 파장들은 이색성 필터에 의해 결정된 식별 파장보다 짧음 - , 그리고 제2 스펙트럼 성분(det. 2) - 그 파장들은 상기 식별 파장보다 길고, 상기 제1 방출 스펙트럼 성분(em. delay)에 비해 6.25ns만큼 지연됨 - 을 포함한다. 따라서 ATTO 488 프로브와 ATTO 565 프로브에 대한 여기 펄스와 방출 지연에 의해 각각 결정된 4개의 창 a, b, c, d 및 e, f, g, h가 박스 II와 III 내 시간 그래프 각각에서 식별될 수 있다. 예를 들어, 시그니처 1의 윈도우 a는 exc. 1에 의해 여기된 ATTO 488의 제1 방출 스펙트럼 성분과 관련되며, 윈도우 b에서는 상기 성분은 exe. 1에 의해 여기된 ATTO 488의 제2 방출 스펙트럼 성분에 추가된다.  (여기 성분 exc. 2에 의한 샘플의 조명에 이어지는) 윈도우 c와 d에서, 이러한 성분들은 exc. 2에 의해 여기되지 않고 감쇠한다. 유사하게, 시그니처 2의 윈도우 e는 exc. 1에 의해 여기된 ATTO 565의 제1 방출 스펙트럼 성분과 관련되며, 창 f에서 상기 성분은 exc. 1에 의해 여기된 ATTO 565의 제2 방출 스펙트럼 성분에 추가된다. 상기 성분들은 작지만 0이 아니며, 이는 exc. 1의 파장이 ATTO 565의 흡수 스펙트럼에 약간 속하기 때문이다. exe. 2에 의해 여기된 상기 제1 스펙트럼 성분 및 제2 스펙트럼 성분의 기여분은 (여기 성분 exc. 2에 의한 샘플 조명에 이어지는) 윈도우 g 및 h에 추가된다.
다중 종 블라인드 이미징을 구현하기 위해서, 디코더(70)의 목적은 샘플의 각 위치 에 대해, 농도 및 색상 시간 시그니처 를, 그것들의 "혼합물(mixture)" 로부터 시작하여 추정하는 것이다 (위에 설명된 예의 4개 시간 윈도우에서, ATTO 488과 ATTO 565의 기여들의 합계 a+b, b+f, c+g, d+h가 있는 도 3의 박스 IV 참조) .
시간 이산화 후 시간 분해 측정과 광자 도착 시간의 시간 샘플링 윈도우 를 고려하면, 방정식 1은 다음과 같이 벡터 표기법으로 작성될 수 있다:
여기에서 번째 픽셀에서 측정된 광자 도착 시간의 히스토그램이며 그리고 번째 종에 대한 색상 시간 시그니처이다. 따라서, 벡터 표기법으로 전환하면 다음과 같다:
여기에서 이며, 이때에 그리고 이다. 마지막으로, 모든 공간 샘플들(즉, 모든 픽셀들)을 통합함으로써 혼합 모델(수식 1)은 세 가지 행렬로 설명될 수 있다:
여기에서 는 전체 시간 분해 측정 행렬이이며, 이며, 그리고 는 샘플 내 각 이용 가능한 위치에서 각 종의 농도이며, 이다.
형광 현미경 검사법에서 샘플이 일반적으로 인위적으로 라벨링되면, 종의 개수 가 알려질 뿐만이 아니라 색상 시간 시그니처 도 개별적으로 교정되고 사전에 추정될 수 있다. 그러나, 교정된 시그니처들이 때때로 이미징 조건 및 라벨링 프로토콜에 크게 의존할 수 있다는 점을 명심해야 한다 (그래서 그것들이 샘플마다 변경될 수 있음).
그러므로, 색상 시간 시그니처들 이 알려지지 않은 가장 고된 상황, 그리고 색상 시간 시그니처들 이 알려진 가정 간단한 경우 둘 모두가 고려된다. 색상-시간 스펙트럼 이 알려져 있으며, 는 선형 언믹싱에 의해 로부터 계산될 수 있으며, 그렇지 않으면 상기 문제는 선형 블라인드 언믹싱 문제가 된다.
블라인드 문제를 해결하는 방법의 예가 이제 설명된다. 비-블라인드 문제는 분명히 보다 일반적인 문제를 단순화한 것이며 일반적으로 방정식 4 대신 방정식 3을 사용하여 (픽셀 단위로) 순차적으로 해결된다. 방정식 4의 행렬 표기법을 사용하여, 디코딩 작업, 즉 언믹싱 문제는 측정된 "혼합물" 그리고 모델링된/예측된 "혼합물" 사이의 차이를 최소화하는 문제로 다시 쓰여질 수 있다. 상기 최소화 문제의 다른 공식은 측정값을 오염시키는 노이즈의 확률 분포(예: 가우시안 또는 포아소니안 노이즈)와 같은 대안의 가정 그리고 일반적으로 최소화 문제에서 정규화 항목들을 통해 도입된 색상 시간 시그니처 및 농도 값에 관한 다른 가정에 기초하여 획득될 수 있다. Frobenius 노름(norm)이 사용되는[2] 경우의 공식은 다음과 같다:
최소화 문제에 도입되는 일반적인 제약 조건은 색상 시간 시그니처의 정규화 및 비-음성(non-negativity):
그리고 계수들의 비-음성이다:
또한, 블라인드 문제에서는 모든 샘플 위치들을 함께 고려하여 최소화가 달성되기 때문에, 각 샘플 위치 (이미지 픽셀)에서 측정된 데이터에 강도 정규화를 부과하는 것이 일반적인 관행이며, 즉, 이며, 이는 계수들에 대해 다음과 같은 제약 조건을 초래한다:
각 종의 절대 강도 및 각 픽셀 는, 획득된 대응 계수 에 총 측정된 비정규화 초기 강도 를 곱함으로써 획득된다.
선형 블라인드 언먹싱 (unmixing) 문제에 대한 일반적인 솔루션은 측정된 혼합물과 모델링된/예측된 혼합물 간의 차이를 최소화하는 역 최소 제곱 절차에 의해 얻어진다 [3]. 측정된 혼합물에서의 포아소니안 잡음을 고려하여 블라인드 및 비블라인드 언먹싱 문제를 변환하는 방법에 대한 또 다른 예는 [4]에서 찾을 수 있다. 여기에 설명된 최소화 접근 방식은 방정식 4와 5의 언믹싱 문제를 변환하는 여러 방법들 중 하나일 뿐이다. 예를 들어, 언먹싱 문제는 페이저 변환, 피팅 또는 기계 학습과 같은 다른 계산 접근 방식을 사용하여 해결될 수 있다. 또한 위의 모든 예는 CLSM의 맥락에서 언믹싱 문제를 해결하기 위해 그리고 일반적인 하이퍼 스펙트럼 측정 또는 평균 형광 수명 히스토그램 측정이 사용되는 경우에만 사용된다.
본 발명에 따른 접근 방식은 특별히 정의된 시그니처를 측정한다: 시간 분해 측정에서 형광 프로브의 모든 광물리적 특징을 인코딩하는 색상 시간 시그니처. 따라서 상기 측정된 색상-시간 시그리처로부터 프로브 계수/농도를 계산하기 위해 기존의 언믹싱 알고리즘이 사용된다.
이산 방출 스펙트럼 인코더를 사용한 실시예
위에서 언급한 바와 같이, 프로브의 여기 및 방출 스펙트럼을 광자 도달 시간 히스토그램으로 효과적으로 인코딩하는 첫 번째 실제 실시예가 이제 설명될 것이다. 여기 스펙트럼 인코더(50)에 대해, 펄스 인터리빙은 여기 스펙트럼을 인코딩하기 위해 사용되며, 즉, 상이한 파장들에서 개 여기 펄스들의 시퀀스가 구현되며 (, 여기에서 ), 이는 미리 결정된 빈도로 주기적으로 반복된다 (도 3-I 참조). 따라서 샘플 내 상이한 다양한 종/프로브는 자신들의 여기 스펙트럼 (, 이때에 )에 종속하는 상이한 확률료 여기된다.
전자 부품에만 의존하는 펄스 인터리빙의 효과적인 구현은 트리거 가능한 펄스 다이오드들의 세트를 사용하여 달성할 수 있으며, 그것들의 펄스들은 특정 지연을 구비하여 서로 전자적으로 동기화될 수 있다. 여기 빔들은 샘플에 집중되고, 형광 신호는 대물 렌즈에 의해 수집되어 방출 스펙트럼 인코더(60)에 공급된다. 그곳에서, 상기 형광 신호는 일련의 이색성 거울들에 의해 스펙트럼 윈도우들 (, 여기에서 )로 분할된다. 각 윈도우는 방출 스펙트럼 (, 여기에서 )에 따라 프로브 형광의 상이한 부분들을 포함할 수 있다. 이어서, 상이한 성분들은 상이한 길이의 광 경로(예: 광 지연선)를 통해 안내되어 특정 시간 지연을 도입한다. 마지막으로, 모든 성분들은 제2 세트의 이색성 거울들에 의해 재결합되어 단일 광자 검출기 어레이(40)로 다시 전송된다 (이 프로세스에 의해 달성되는 단순화된 예가 도 3의 박스 II-IV에 표시된다). 해당 특정 인코더로 인해, 번째 프로브의 색상 시간 시그니처는 다음과 같이 주어진다:
이때에
여기에서 는 컨볼루션 연산자를 나타낸다; 번째 프로브에 대한 평균 형광 수명 시그니처이다; 번째 레이저 여기빔의 지연이다; 번째 검출 스펙트럼 윈도우의 지연이다. 간단히 말해서, 번째 레이저 빔으로 번째 프로브를 여기시키는 확률이며, 그리고 번째 프로브로부터의 방출이 번째 시간 윈도우에 속하는 확률이다. 몇 가지 간단한 계산을 이용하여, 다음과 같은 색상-시간 시그니처 방정식이 획득된다:
실제로, 펄스 시퀀스는 주파수 로 반복되며, 그래서 가 측정된 광자 도착 시간의 최대값이도록 한다; ; . 또한, 평균 형광 수명의 시그니처 복사본들이 겹치는 것을 방지하기 위해, 여기 지연과 방출 지연이 모든 프로브들의 평균 수명 보다 긴 시간만큼 분리되어야 한다.
여기 펄스들의 시퀀스는 측정의 SNR을 향상시키기 위해 Hadamard 코딩을 구현하도록 배열될 수 있으며, 여기에서 지연 은 동일할 수도 있다는 것에 유의한다.
연속 방출 스펙트럼 인코더를 구비한 실시예
이러한 대안적인 실제 실시예에서, 방출 스펙트럼(60)의 인코더는 변경되는 반면, 여기 스펙트럼(50)의 인코더는 변경되지 않은 채 유지된다. 상기 연속 인코더에서, 방출 스펙트럼은 개별 윈도우로 분리되지 않고, 프리즘, 격자 또는 기타 유사한 디바이스에 의해 공간적으로 분리된다. 방출 스펙트럼(연속)의 각 성분은 파장의 함수로서 상이한 지연을 도입하기 위해 (선형적으로 증가하는 길이를 가진) 상이한 경로를 따른다. 이어서, 모든 성분들은 공간적으로 재결합되어 단일 광자 검출기 어레이(40)로 송신된다.
이 경우, 시간에 따른 방출 스펙트럼을 선형적으로 지연시키는 좌표 변이 를 시간 상수 의 함수로서 정의하면, 색상-시간 시그니처는 다음과 같이 주어진다:
몇 가지 간단한 계산을 통해 다음의 식이 획득된다:
단계별 설명
1. (레이저들의 어레이 또는 초연속(supercontinuum) 소스로부터의) 다색 펄스 빔들의 세트는 여기 스펙트럼 인코더(50)에 들어가고, 이는 여기 빔의 각 스펙트럼 성분에 정확하고 잘 알려진 시간 지연을 부과한다.
2. 상기 다색 여기 빔은 대물 렌즈에 의해 특정 샘플 위치에 초점이 맞춰지며, 이 위치는 정확한 하부 구조를 목표로 하기 위해 일련의 상이한 형광 프로브들로 이전에 라벨이 지정되었다.
3. 샘플로부터 방출된 형광은 동일한 대물렌즈에 의해 수집되며, 형광 빔의 각 스펙트럼 성분에 특정 시간 지연을 부과하는 인코더의 방출 스펙트럼(60)으로 형광 빔이 송신된다.
4. 상기 형광 신호는 여기 광에 의해 필터링되고 확대 렌즈에 의해 단일 광자 검출기 어레이(40) 상으로 투사된다.
5. 단일 광자 검출기 어레이(40)로부터의 출력 신호는, 단일 광자 검출기 어레이(40)의 각 요소에 대해 하나씩인 개 이미지들을 생성하는 (TCSPC 카드와 같은) 시간 분해 획득 시스템에 의해 획득된다. 상기 이미지들은 의 크기이며, 여기에서 는 공간 위치들 (즉, 3D 이미징의 경우 픽셀들 또는 복셀들)의 총 개수이며, 는 광자 도착 시간 히스토그램 내 채널들의 개수이다.
6. 상기 개 이미지들은 픽셀 재할당 (또는 기타 복원 알고리즘)에 의해 함께 융합되어, 차원 의, 시간 분해되며 높은 SNR을 구비한, 초해상 ISM 이미지 를 생성한다.
7. 다중 종 디코더(70)는 방정식 3의 선형 시스템을 순차적으로(픽셀 단위로) 반전시키거나 방정식 4의 선형 시스템을 전역적으로 반전시킴으로써 선형 언믹싱 문제를 해결한다. 구체적으로, 상이한 농도 계수들 는 시간 분해 ISM 이미지 로부터 추출되며 그리고 최종 다중 종 초해상 ISM 이미지를 구성하는 데 사용된다.
현미경의 프로토타입(도 4)은 본 발명자들에 의해 제작되었다. 수치 값들은 예로서 도 4에 도시되어 있으며, 본 발명을 제한하려는 의도는 아니다.
광학 벤치에서 기존 공초점 레이저 스캐닝 현미경(confocal laser scanning microscope, CLSM)의 검출이 수정되었다. 기존 장비에는, 각각 485nm(LDH-PC-485B, PicoQuant) 및 560nm(LDH-D-TA-560, PicoQuant)의 파장을 갖는 두 개의 여기 레이저 소스들이 장착된다.
펄스 인터리빙 여기 방식 (여기 스펙트럼 인코더(50))은 FPGA 제어 시스템 (40MHz 반복 속도(레이저 주기 25ns), 각 펄스 간 12.5ns 지연)으로부터의 TTL 신호를 이용하여 레이저에 명령을 내려 구현된다.
상기 샘플은 한 쌍의 검류계 거울(6215HM40B, CTI-Cambridge)과 대물 렌즈(CFI Plan Apo VC60x 오일, Nikon)를 통해 레이저 빔에 의해 스캔된다. 형광 광자는 동일한 대물 렌즈에서 수집되고 다중 대역 이색성 거울(ZT-488-561-640-775, AHF Analysentechnik)에 의해 스캔 해제 및 필터링된다. 그런 다음 형광 신호는 이색성 거울(저역 통과 필터 575nm, Edmund Optics) 그리고 파장이 575nm보다 큰 형광에 대해 6.25ns (약 1.87m의 광 경로 길이에 대응함)에서 지연 라인을 한정하는 4개의 거울로 구성된 방출 스펙트럼 인코더(60)로 송신된다.
마지막으로, 상기 빔은 확장되어 SPAD 검출기 어레이(40) 상으로 투사된다. 검출기 어레이는 5x5 어레이로 배열된 25개의 요소들을 구비한다; 그것은 3개 축 상의 미세 정렬을 위해 마이크로미터 나사들을 사용하여 상업용 스탠드에 장착된다. 검출기 어레이의 공간적 및 시간적 성능이 평가되었으며, 활성 영역에서 200ps의 시간적 해상도도와 110~160ps 사이의 시간적 지터링을 나타낸다.
상기 검출기 어레이는 전력을 공급하고 전기 신호 조절을 수행하는 기존 전용 작동 보드에 의해 제어된다. 이 보드는 데이터 획득 시스템으로 피드되는 25개의 디지털 출력 채널들 (이들 각각은 검출기 어레이의 특정 요소에 대한 광자의 도착과 관련됨)을 제공한다.
상기 데이터 획득 시스템은, Kintex7 FPGA 프로세서가 장착되고 개인용 컴퓨터에 연결된 상용 FPGA 개발 보드(National Instruments USB-7856R)를 사용하여 개발되었다. 표준 디지털 픽셀/라인/프레임 클록 라인들은 획득 시스템을 현미경 제어 시스템과 동기화하기 위해 사용된다.
광자 도착 시각의 히스토그램을 계산하기 위해 주파수 영역의 디지털 헤테로다인이 FPGA 제어 시스템에 구현되었다.
참고 문헌들
[1] M. Castello et al. A robust and versatile platform for image scanning microscopy enabling super-resolution FLIM. Nat. Methods, 16 (2): 175-178, 2019.
[2] O. Gutierrez-Navarro et al. Blind end-member and abundance extraction for multispectral fluorescence lifetime imaging microscopy data. IEEE Journal of Biomedical and Health Informatics, 18 (2): 606-617, Mar 2014.
[3] M. Dickinson et al. Multispectral imaging and linear unmixing add a whole new dimension to laser scanning fluorescence microscopy. BioTechniques, 31 (6): 1272-1278, Dec 2001.
[4] R. A. Neher et al. Blind source separation techniques for the decomposition of multiply labeled fluorescence images. Biophysical Journal, 96 (9): 3791-3800, May 2009.

Claims (7)

  1. 상이한 스펙트럼 성분들(B1, B2)(이하 여기 스펙트럼 성분들)을 포함하는 복수의 펄스 여기 광 빔들로 샘플을 조명하도록 구성된 레이저 스캐닝 현미경으로서, 상기 샘플은 복수의 형광종들을 함유하며, 상기 현미경은:
    상기 샘플에 의해 방출된 형광 신호를 검출하도록 구성된 단일 광자 검출기 어레이(40) - 상기 형광 신호는 상이한 스펙트럼 성분들(이하 방출 스펙트럼 성분들)을 포함함 -
    각 여기 스펙트럼 성분이 다른 여기 스펙트럼 성분들에 비해 상이한 시각에 상기 샘플을 조명하는 방식으로 각 여기 스펙트럼 성분에 각자의 시간적 지연을 부과하도록 구성된 여기 스펙트럼 인코더(50),
    각 방출 스펙트럼 성분이 다른 방출 스펙트럼 성분들에 비해 상이한 시각에 상기 단일 광자 검출기 어레이(40)에 도달하도록 각 방출 스펙트럼 성분에 각자의 시간적 지연을 부과하도록 구성된 방출 스펙트럼 인코더(60),
    상기 단일 광자 검출기 어레이(40)에 의해 제공되는 측정 신호를 획득하고 상기 샘플의 시간 분해 이미지를 제공하도록 구성된 데이터 획득 시스템 - 상기 시간 분해 이미지는 상기 이미지 내 각 픽셀 또는 복셀에 대해, 상기 단일 광자 검출기 어레이(40)로의 상기 방출 스펙트럼 성분들의 광자 도착 시각의 히스토그램을 포함함 -, 그리고
    상기 샘플의 상기 시간 분해 이미지에 기초하여, 상기 형광 종들 각각에 대한 여기 스펙트럼, 방출 스펙트럼 및 형광 감쇠 곡선을 디코딩하도록 구성된 다중 종 디코더(70)를 포함하는, 현미경.
  2. 제1항에 있어서, 상기 단일 광자 검출기 어레이는 상기 샘플에 의해 방출된 형광 신호에 반응하는 요소들의 어레이를 포함하고, 상기 반응 요소들 각각은 상기 샘플의 개별 시간 분해 이미지를 제공할 수 있고, 상기 데이터 획득 시스템은 복원 알고리즘을 통해 상기 반응 요소들에 의해 제공되는 시간 분해 이미지를 함께 융합하여 상기 샘플의 초 분해(super-resolved) 이미지를 생성하도록 구성된, 현미경.
  3. 제1항 또는 제2항에 있어서, 상기 데이터 획득 시스템은 상기 펄스 여기 광 빔들과 동기화되는, 현미경.
  4. 제1항에 있어서, 상기 여기 스펙트럼 인코더(50)는 미리 결정된 주파수로 주기적으로 반복되는 여기 펄스들의 시퀀스를 구현하도록 구성되고, 상기 여기 펄스들 각각은 상기 여기 스펙트럼 성분들 중 하나에 대응하는, 현미경.
  5. 제4항에 있어서, 상기 방출 스펙트럼 디코더(60)는,
    상기 형광 신호를 복수의 스펙트럼 윈도우들로 분할하도록 구성된 분할 수단 - 상기 스펙트럼 윈도우들 각각은 상기 방출 스펙트럼 성분들 중 하나를 포함함 -,
    상기 방출 스펙트럼 성분들 각각에 각자의 시간적 지연을 부과하도록 구성된 지연 수단, 그리고
    상기 방출 스펙트럼 성분들을 재결합하고 이를 상기 단일 광자 검출기 어레이(40)로 재송신하도록 구성된 재결합 수단을 포함하는, 현미경.
  6. 제4항에 있어서, 상기 방출 스펙트럼 디코더(60)는,
    상기 형광 신호로부터의 방출 스펙트럼 성분들을 공간적으로 분리하고 상기 방출 스펙트럼 성분들 각각에 각자의 시간적 지연을 부과하도록 구성된 분할 수단, 그리고
    상기 방출 스펙트럼 성분들을 재결합하고 이를 상기 단일 광자 검출기 어레이(40)로 재송신하도록 구성된 재결합 수단을 포함하는, 현미경.
  7. 레이저 스캐닝 현미경 검사 방법으로, 상기 방법은:
    상이한 스펙트럼 성분들(B1, B2)(이하 여기 스펙트럼 성분들)을 포함하는 복수의 펄스 여기 광 빔으로 샘플을 조명하는 단계 - 상기 샘플은 복수의 형광종들을 함유하며, 여기에서 상기 샘플을 조명하는 단계는:
    - 각 여기 스펙트럼 성분이 다른 여기 스펙트럼 성분들에 비해 상이한 시각에 상기 샘플을 조명하는 방식으로, 각 여기 스펙트럼 성분에 각자의 시간적 지연을 부과하는 단계를 포함함 -;
    단일 광자 검출기 어레이(40)를 사용하여 상기 샘플에 의해 방출된 형광 신호를 검출하는 단계 - 상기 형광 신호는 상이한 스펙트럼 성분들 (이하 방출 스펙트럼 성분들)을 포함하며, 여기에서 상기 형광 신호를 검출하는 단계는:
    - 각 방출 스펙트럼 성분이 다른 방출 스펙트럼 성분들에 비해 상이한 시각에 상기 단일 광자 검출기 어레이(40)에 도달하는 방식으로, 각 방출 스펙트럼 성분에 각자의 시간적 지연을 부과하는 단계를 포함함 -,
    상기 단일 광자 검출기 어레이(40)에 의해 제공되는 측정 신호를 획득하고 상기 샘플의 시간 분해 이미지를 제공하는 단계 - 상기 시간 분해 이미지는 상기 이미지 내 각 픽셀 또는 복셀에 대해, 상기 단일 광자 검출기 어레이(40)까자의 상기 방출 스펙트럼 성분들의 광자 도착 시각의 히스토그램을 포함함 -, 그리고
    상기 샘플의 상기 시간 분해 이미지에 기초하여, 상기 형광종들 각각에 대한 여기 스펙트럼, 방출 스펙트럼 및 형광 감쇠 곡선을 디코딩하는 단계를 포함하는, 레이저 스캐닝 현미경 검사 방법.
KR1020247003286A 2021-06-29 2022-06-29 시간적 다중화 및 단일 광자 검출기 어레이를 통한 동시 다중 종 초해상도 이미징 KR20240045211A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IT102021000017018A IT202100017018A1 (it) 2021-06-29 2021-06-29 Imaging simultaneo multispecie in super-risoluzione mediante multiplazione temporale e array di rivelatori a fotone singolo
IT102021000017018 2021-06-29
PCT/IB2022/056046 WO2023275777A1 (en) 2021-06-29 2022-06-29 Simultaneous multi-species super-resolution imaging via temporal multiplexing and single- photon detector array

Publications (1)

Publication Number Publication Date
KR20240045211A true KR20240045211A (ko) 2024-04-05

Family

ID=77802110

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020247003286A KR20240045211A (ko) 2021-06-29 2022-06-29 시간적 다중화 및 단일 광자 검출기 어레이를 통한 동시 다중 종 초해상도 이미징

Country Status (6)

Country Link
EP (1) EP4363833A1 (ko)
KR (1) KR20240045211A (ko)
CN (1) CN117813490A (ko)
CA (1) CA3222868A1 (ko)
IT (1) IT202100017018A1 (ko)
WO (1) WO2023275777A1 (ko)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7015484B2 (en) * 2001-04-16 2006-03-21 Dakota Technologies, Inc. Multi-dimensional fluorescence apparatus and method for rapid and highly sensitive quantitative analysis of mixtures
GB0601183D0 (en) * 2006-01-20 2006-03-01 Perkinelmer Ltd Improvements in and relating to imaging
DE102012216002B3 (de) 2012-05-18 2013-09-12 Leica Microsystems Cms Gmbh Schaltung und Verfahren zum Erzeugen von periodischen Steuersignalen sowie Mikroskop und Verfahren zum Steuern eines Mikroskops
EP3513235B1 (de) 2016-09-16 2023-06-07 Leica Microsystems CMS GmbH Lichtmikroskop
IT201800001891A1 (it) 2018-01-25 2019-07-25 Fondazione St Italiano Tecnologia Metodo di imaging risolto nel tempo ad alta risoluzione spaziale.
WO2020018616A1 (en) * 2018-07-17 2020-01-23 Board Of Regents, The University Of Texas System Multiple biomarkers imaging for high specificity

Also Published As

Publication number Publication date
EP4363833A1 (en) 2024-05-08
IT202100017018A1 (it) 2022-12-29
CA3222868A1 (en) 2023-01-05
WO2023275777A1 (en) 2023-01-05
CN117813490A (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
Becker Advanced time-correlated single photon counting applications
Zimmermann et al. Clearing up the signal: spectral imaging and linear unmixing in fluorescence microscopy
Chen et al. Fluorescence lifetime imaging microscopy for quantitative biological imaging
Hendrix et al. Pulsed interleaved excitation: principles and applications
Poudel et al. High-throughput, multi-parametric, and correlative fluorescence lifetime imaging
JP5746161B2 (ja) 顕微鏡画像における蛍光の評価方法
JP2003185582A (ja) 照射サンプルの特性寸法の光学的取得方法
Esposito et al. Enhancing biochemical resolution by hyperdimensional imaging microscopy
Becker et al. High resolution TCSPC lifetime imaging
US11774364B2 (en) Raman spectroscopy method and apparatus
Liu et al. Combination of structured illumination microscopy with hyperspectral imaging for cell analysis
US11307094B2 (en) System and method for hyperspectral imaging in highly scattering media by the spectral phasor approach using two filters
KR20240045211A (ko) 시간적 다중화 및 단일 광자 검출기 어레이를 통한 동시 다중 종 초해상도 이미징
US20220228968A1 (en) Hyperspectral quantitative imaging cytometry system
Williams et al. High speed spectral fluorescence lifetime imaging for life science applications
Sun et al. Characterization of a time-resolved spectral detector for spectral fluorescence lifetime imaging with the parallel 16-channel FastFLIM and the phasor analysis
Sowoidnich et al. Charge-shifting optical lock-in detection with shifted excitation Raman difference spectroscopy for the analysis of fluorescent heterogeneous samples
Premadasa et al. Spatially co-registered wide-field nonlinear optical imaging of living and complex biosystems in a total internal reflection geometry
Katz Five-Dimensional Hadamard-Transform Fluorescence Imaging
Ortmann et al. Compact TCSPC upgrade package for laser scanning microscopes based on 375-to 470-nm picosecond diode lasers
ES2952763T3 (es) Método y aparato para la excitación y detección no lineal simultánea de diferentes cromóforos a través de un amplio rango espectral utilizando impulsos de luz de banda ultra ancha y detección resuelta en el tiempo
Pisani et al. Hyperspectral imaging: a tool for biological measurements
Kraemer et al. Time-resolved laser scanning microscopy with FLIM and advanced FCS capability
Vogel et al. Spectral imaging and its use in the measurement of Förster resonance energy transfer in living cells
Martin Hyperspectral Imaging of Chemical Composition