KR102402681B1 - 다광자 현미경, 그리고 이의 시간 게이트 검출 기반 이미징 방법 - Google Patents

다광자 현미경, 그리고 이의 시간 게이트 검출 기반 이미징 방법 Download PDF

Info

Publication number
KR102402681B1
KR102402681B1 KR1020200046708A KR20200046708A KR102402681B1 KR 102402681 B1 KR102402681 B1 KR 102402681B1 KR 1020200046708 A KR1020200046708 A KR 1020200046708A KR 20200046708 A KR20200046708 A KR 20200046708A KR 102402681 B1 KR102402681 B1 KR 102402681B1
Authority
KR
South Korea
Prior art keywords
repetition rate
signal
detection window
scanner
sample
Prior art date
Application number
KR1020200046708A
Other languages
English (en)
Other versions
KR20210128711A (ko
Inventor
유홍기
김우섭
강주형
강운교
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020200046708A priority Critical patent/KR102402681B1/ko
Priority to PCT/KR2021/001434 priority patent/WO2021210768A1/ko
Publication of KR20210128711A publication Critical patent/KR20210128711A/ko
Priority to US17/583,658 priority patent/US11860101B2/en
Application granted granted Critical
Publication of KR102402681B1 publication Critical patent/KR102402681B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0064—Optical details of the image generation multi-spectral or wavelength-selective arrangements, e.g. wavelength fan-out, chromatic profiling
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G02B21/0084—Details of detection or image processing, including general computer control time-scale detection, e.g. strobed, ultra-fast, heterodyne detection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/02—Objectives
    • G02B21/04—Objectives involving mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

다광자 여기(Multi-photon excitation)를 이용하여 시료의 형광 물질을 여기하는 다광자 현미경으로서, 펄스레이저에서 출력된 광펄스열을 시간 게이트 검출(time-gated detection)을 위한 반복률로 낮추는 반복률 가변기, 상기 반복률 가변기로부터 전달된 광펄스열을 X축 및 Y축 방향으로 스캐닝하는 스캐너, 상기 스캐너에 의해 스캐닝된 광신호를 시료로 조사하고, 여기된 형광 물질에서 방출되는 형광 신호를 획득하는 대물렌즈, 상기 대물렌즈를 통해 획득한 형광 신호를 광전변환하는 광검출기, 상기 광검출기에서 출력된 전류 신호를 전압 신호로 변환하는 증폭기, 상기 증폭기에서 출력되는 전압 신호를 샘플링하는 디지타이저 (Digitizer), 그리고 상기 디지타이저에서 출력된 샘플링 데이터를 시간 영역에 설정된 검출 윈도우로 분리하고, 상기 검출 윈도우로 분리된 샘플링 데이터를 기초로 이미지를 생성하는 컴퓨팅 장치를 포함한다.

Description

다광자 현미경, 그리고 이의 시간 게이트 검출 기반 이미징 방법{MULTI PHOTON MICROSCOPY, IMAGING METHOD USING TIME-GATED DETECTION THEREOF}
본 발명은 다광자 현미경에 관한 것이다.
다광자 현미경(Multi-photon microscopy)는 다광자 여기(Multi-photon excitation)를 이용하여 형광(fluorescence) 물질을 여기한다. 즉, 다광자 현미경은 낮은 에너지를 가지는 광자로 바닥 상태의 에너지 준위를 중간 에너지 준위로 여기(excitation)시키고, 다음 광자로 중간 에너지 준위를 최종 에너지 준위로 여기시킨다. 그리고, 여기된 형광 물질이 방출(emission)하는 빛은 다광자 현미경에서 획득되고, 획득한 빛을 이용하여 이미징한다. 이러한 다광자 현미경은 일광자 현미경에 비해 고해상도의 깊은 조직 영상화가 가능하고, 조직 손상이 적은 장점이 있다.
다광자 여기 효율은 빛의 세기(intensity)의 제곱(이광자) 혹은 세제곱(삼광자)에 비례한다. 따라서, 다광자 현미경은 높은 피크 파워(peak power)가 필요하고, 대개 100fs의 펄스폭을 가지는 펄스레이저(pulsed laser)를 사용한다. 한편, 같은 출력 파워에서 피크 파워는 펄스레이저의 반복률(repetition rate)에 반비례하는데, 높은 반복률(예를 들면, 76~100MH)의 펄스레이저를 사용하는 기존 다광자 현미경은 피크 파워가 제한된다.
다광자 현미경은 일반적인 형광(fluorescence) 현미경에 비해 장파장의 빛을 사용하기 때문에, 조직 투과율이 높아서, 시료의 깊은 영역에서 고품질의 이미징을 할 수 있다. 하지만, 기존 다광자 현미경은 신호대잡음비(Signal to Noise Ratio, SNR)을 높이기 위한 기술(예를 들면, frame averaging)이 필요해서, 이미지 획득 시간이 길어지는 단점이 있다. 또한, 기존 다광자 현미경은 형광 물질에서 방출된 빛을 연속 검출(Continuous Detection)하기 때문에 배경 신호에 의해 SNR이 낮아지는 문제가 있다.
해결하고자 하는 과제는 펄스레이저의 반복률 가변(repetition rate tuning) 및 시간 게이트 검출(time-gated detection)을 적용한 다광자 현미경, 그리고 이의 이미징 방법을 제공하는 것이다.
한 실시예에 따라 다광자 여기(Multi-photon excitation)를 이용하여 시료의 형광 물질을 여기하는 다광자 현미경으로서, 펄스레이저에서 출력된 광펄스열을 시간 게이트 검출(time-gated detection)을 위한 반복률로 낮추는 반복률 가변기, 상기 반복률 가변기로부터 전달된 광펄스열을 X축 및 Y축 방향으로 스캐닝하는 스캐너, 상기 스캐너에 의해 스캐닝된 광신호를 시료로 조사하고, 여기된 형광 물질에서 방출되는 형광 신호를 획득하는 대물렌즈, 상기 대물렌즈를 통해 획득한 형광 신호를 광전변환하는 광검출기, 상기 광검출기에서 출력된 전류 신호를 전압 신호로 변환하는 증폭기, 상기 증폭기에서 출력되는 전압 신호를 샘플링하는 디지타이저(Digitizer), 그리고 상기 디지타이저에서 출력된 샘플링 데이터를 시간 영역에 설정된 검출 윈도우로 분리하고, 상기 검출 윈도우로 분리된 샘플링 데이터를 기초로 이미지를 생성하는 컴퓨팅 장치를 포함한다.
상기 반복률 가변기는 펄스 피커(pulse picker) 또는 캐비티 덤퍼(cavity dumper)일 수 있다.
상기 컴퓨팅 장치는 시간 영역에 복수의 후보 검출 윈도우들을 설정하고, 각 후보 검출 윈도우에서 측정한 형광 신호의 신호대잡음비를 비교하여, 상기 검출 윈도우를 결정할 수 있다.
상기 컴퓨팅 장치는 상기 반복률 가변기에 의해 설정된 펄스 반복률, 상기 디지타이저의 샘플링 정보, 그리고 상기 스캐너의 스캐닝 정보를 기초로, 상기 검출 윈도우로 분리된 샘플링 데이터로부터 이미지를 생성할 수 있다.
상기 광검출기는 상기 반복률 가변기와 상기 스캐너 사이에 위치하는 이색 거울에 의해 반사된 상기 형광 신호를 입력받거나, 상기 대물렌즈와 상기 스캐너 사이에 위치하는 이색 거울에 의해 반사된 상기 형광 신호를 입력받을 수 있다.
상기 광검출기는 파장에 따라 분리된 서로 다른 파장의 형광 신호들을 서로 다른 시간에 입력받을 수 있다.
상기 광검출기와 상기 증폭기는 형광 신호의 파장별로 구축될 수 있다.
다른 실시예에 따라 다광자 여기(Multi-photon excitation)를 이용하여 시료의 형광 물질을 여기하는 다광자 현미경의 동작 방법으로서, 펄스레이저에서 출력된 광펄스열을 시간 게이트 검출(time-gated detection)을 위한 반복률로 낮추는 단계, 상기 반복률의 광펄스열을 시료에 조사하는 단계, 상기 시료의 형광 물질로부터 방출된 형광 신호를 일정 시간 간격으로 검출한 샘플링 데이터를 생성하는 단계, 상기 샘플링 데이터 중에서 시간 영역에 설정된 검출 윈도우를 이용하여 신호를 분리하는 단계, 그리고 상기 검출 윈도우로 분리된 샘플링 데이터를 이용하여 이미지를 생성하는 단계를 포함한다.
상기 동작 방법은 시간 영역에 복수의 후보 검출 윈도우들을 설정하고, 각 후보 검출 윈도우에서 측정한 형광 신호의 신호대잡음비를 비교하여, 상기 복수의 후보 검출 윈도우들 중에서 최적의 신호대잡음비를 가지는 후보 검출 윈도우를 상기 검출 윈도우로 설정하는 단계를 더 포함할 수 있다.
상기 이미지를 생성하는 단계는 상기 반복률, 상기 샘플링 데이터를 생성하는 샘플링 정보, 그리고 스캐너의 스캐닝 정보를 기초로, 상기 샘플링 데이터로부터 이미지를 생성할 수 있다.
또 다른 실시예에 따른 이광자 현미경의 동작 방법으로서, 시료의 형광 물질로부터 방출된 빛을 전기 신호로 변환하는 단계, 그리고 시간 영역에 검출 윈도우를 설정하고, 상기 검출 윈도우의 시간 영역에서 검출된 상기 전기 신호의 샘플링 데이터를 이용하여 이미지를 생성하는 단계를 포함한다. 상기 시료의 형광 물질은 상기 검출 윈도우에 관계된 반복률의 광펄스열에 의해 다광자 여기(Multi-photon excitation)된 후, 상기 형광 신호를 방출한다.
실시예에 따르면, 펄스레이저의 반복률 가변 및 시간 게이트 검출을 통해 광펄스의 피크 파워를 높이고 SNR을 향상하여 이미징 성능을 개선할 수 있다.
실시예에 따르면, 시료에 조사되는 빛의 평균 파워(average power)는 시료 손상을 고려하여 일정 값으로 제한되는데, 펄스레이저의 반복률을 낮춰서 다광자 현미경에서 획득된 형광 신호 세기를 크게 향상시킬 수 있다. 또한 실시예에 따르면, 펄스레이저의 반복률을 낮춰서 시료에 조사되는 빛의 평균 파워를 줄일 수 있고, 결과적으로 시료 손상을 줄일 수 있다.
실시예에 따르면, 시간 게이트 검출을 통해 배경 신호(Background signal)를 제거하여 이미지의 신호대잡음비(SNR)를 향상시킬 수 있다.
도 1은 한 실시예에 따른 다광자 현미경의 구조도이다.
도 2는 한 실시예에 따른 시간 게이트 검출의 개념을 설명하는 도면이다.
도 3은 한 실시예에 따른 반복률 가변과 시간 게이트 검출이 적용된 결과를 설명하는 시뮬레이션이다.
도 4는 한 실시예에 따른 컴퓨팅 장치의 이미징 방법을 설명하는 도면이다.
도 5는 한 실시예에 따른 시간 게이트 검출을 위한 검출 윈도우 설정 방법의 흐름도이다.
도 6은 한 실시예에 따른 시간 게이트 검출 기반 이미징 방법의 흐름도이다.
도 7은 한 실시예에 따른 이광자 현미경의 이미징 결과를 비교한 도면이다.
도 8부터 도 11 각각은 시간 게이트 검출 기반 이미징 방법을 구현하는 다양한 다광자 현미경의 구조도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
설명에서, 펄스레이저의 반복률은 별도의 장치에 의해 가변된다고 설명한다. 하지만, 펄스레이저에서 반복률이 가변된다면, 반복률 가변기가 사용되지 않을 수 있다.
도 1은 한 실시예에 따른 다광자 현미경의 구조도이고, 도 2는 한 실시예에 따른 시간 게이트 검출의 개념을 설명하는 도면이다.
도 1을 참고하면, 다광자 현미경(10)은 다광자 여기(Multi-photon excitation)를 이용하여 시료(20)의 형광(fluorescence) 물질을 여기한다. 그리고, 다광자 현미경(10)은 여기된 형광 물질이 방출(emission)하는 빛(형광 신호)을 획득하고, 획득한 빛을 이용하여 이미징한다. 도 1을 비롯한 도면에서 펄스레이저(100)에서 시료(20)의 형광 물질의 여기를 위해 전송되는 신호 경로가 여기 신호 경로(excitation)로 표시되고, 시료(20)에서 방출된 형광 신호의 경로가 방출 신호 경로(emission)로 표시되며, 장치들 간의 제어를 위해 전송되는 신호 경로가 트리거 신호 경로(trigger)로 구분되어 표시된다.
다광자 현미경(10)에서 펄스레이저(100)에서 대물렌즈(150)까지의 여기 신호경로, 그리고 대물렌즈(150)에서 디지타이저(190)까지의 방출 신호 경로를 구성하는 부품들은 다양하게 변경될 수 있다. 예를 들면, 다광자 현미경(10)은 펄스레이저(Pulsed Laser)(100), 반복률 가변기(Repetition rate Tunner)(110), 이색 거울(Dichroic Mirror)(120), 스캐너(Scanner)(130), 스캐너 제어기(Scanner controller)(132), 스캔렌즈(Scan lens)(140, 142), 대물렌즈(Objective Lens)(150), 대역필터(Bandpass Filter)(160), 광검출기(PhotoDetector)(170), 증폭기(Amplifier)(180), 디지타이저(Digitizer)(190), 컴퓨팅 장치(200)를 포함할 수 있다. 광검출기(170)는 Photomultiplier tube(PMT)일 수 있다.
다광자 현미경(10)은 디지타이저(190)의 샘플링에 필요한 동기화 정보를 제공하는 동기화 장치(210), 데이터 수집기(Data Acquisition, DAQ)(220)를 더 포함할 수 있다.
동기화 장치(210)는 반복률 가변기(110) 및 스캐너 제어기(132)와 통신하고, 반복률 가변기(110)에 의해 가변된 반복률, 그리고 스캐너 제어기(132)에 의해 제어된 스캐닝 정보를 디지타이저(190)로 전달할 수 있다. 데이터 수집기(220)는 컴퓨팅 장치(200)로부터 각종 데이터를 수신하고, 필요 시 스캐너 제어기(132)로 제어 신호를 전달할 수 있다.
펄스레이저(100)는 광원(light source)으로서, 특정 파장대의 광펄스열을 출력한다. 펄스레이저(100)의 반복률은 다양할 수 있는데, 설명에서는 76MHz라고 가정한다. 반복률은 펄스와 펄스 사이의 시간 간격(주기)의 역수이다.
반복률 가변기(110)는 펄스레이저(100)에서 출력된 광펄스열을 낮은 반복률로 변경한다. 예를 들면, 반복률 가변기(110)는 펄스레이저(100)의 반복률을 76MHz에서 4MHz로 변경한다. 즉, 반복률 가변기(110)는 시간 게이트 검출을 위한 신호 거리를 확보하기 위해, 광펄스 간 시간 간격을 늘린다. 동일한 평균 파워(average power)에서, 반복률 가변기(110)에서 광펄스의 반복률이 가변되면 피크 파워(peak power)가 가변된다. 반복률과 피크 파워는 반비례 관계이다. 반복률 가변기(110)는 펄스 피커(pulse picker), 캐비티 덤퍼(cavity dumper) 등이 사용될 수 있다.
반복률이 변경된 광펄스열은 이색 거울(120)을 통과하고, 스캐너(130)에 의해 X축, Y축 방향으로 스캔된 후, 스캔렌즈(140, 142) 및 대물렌즈(150)를 통과하여 측정하고자 하는 시료(20)에 조사된다. 이색 거울(120)은 특정 파장대의 빛은 반사시키고 나머지 빛은 통과시키는 특성이 있다. 이색 거울(120)은 여기 신호인 펄스레이저(100)의 광펄스는 통과시키고, 시료(20)에서 방출된 형광 신호는 반사한다고 가정한다. 스캐너(130)는 레이저 빔의 방향을 빠르게 바꾸어 주는 광학 장치로서, Galvano mirror, Resonant mirror, polygon mirror, acousto-optic deflector 등이 사용될 수 있다.
시료(20)의 형광 물질은 다광자 여기(Multi-photon excitation)되고, 흡수한 에너지에 해당하는 빛(광신호)을 방출(emission)한다. 설명에서, 방출되는 빛을 형광 방출(fluorescence emission) 빛 또는 간단히 형광 신호라고 부른다.
형광 신호는 대물렌즈(150), 스캔렌즈(142, 140), 스캐너(130)의 경로를 거쳐, 이색 거울(120)에 도달한다. 이색 거울(120)에서 반사된 형광 신호는 대역필터(160)를 통과하고, 광검출기(170)에 의한 광전변환으로 전류 신호로 변환된다. 전류 신호는 증폭기(180)에서 전압 신호로 변환된다.
디지타이저(190)는 증폭기(180)에서 입력된 신호(전압 신호)를 일정 시간 간격으로 검출(digitization)한 샘플링 데이터를 출력한다. 디지타이저(190)는 적어도 하나의 프로세서에 의해 구동되고, 프로세서는 프로그램을 실행하여 본 발명의 동작을 한다.
컴퓨팅 장치(200)는 적어도 하나의 프로세서에 의해 프로그램을 실행함으로써 본 발명을 동작시킨다. 컴퓨팅 장치(200)는 디지타이저(190)에서 검출된 샘플링 데이터를 이용하여 2차원/3차원 이미지를 생성한다. 이때, 컴퓨팅 장치(200)는 시간 영역에서 검출 윈도우를 설정하고, 샘플링 데이터 중에서 검출 윈도우에 포함된 데이터만을 분리하고, 검출 윈도우로 분리된 데이터를 이용하여 2차원/3차원 이미지를 생성한다. 컴퓨팅 장치(200)가 이미지를 생성하는 방법은 도 4에서 자세히 설명한다.
도 2를 참고하여, 시간 게이트 검출(time-gated detection)에 대해 설명한다. 검출 윈도우(
Figure 112020039777155-pat00001
)는 시간 영역에 설정되고, 샘플링된 전압 신호 중에서 특정 시간 영역에 속하는 전압 신호만을 이용하기 위해 사용된다. 검출 윈도우는 수동으로 설정될 수 있고, SNR 최적화 알고리즘을 통해 결정된 최적의 검출 윈도우가 자동으로 설정될 수 있다.
도 2를 참고하면, 시간 게이트 검출은 필요한 신호만을 분리하기 때문에, 배경 신호가 제거되어 SNR이 높은 전압 신호를 획득할 수 있다. 이렇게 시간 게이트 검출을 하기 위해서는 적정한 검출 윈도우를 설정할 수 있어야 한다. 하지만, 일반적인 다광자 현미경은 높은 반복률(예를 들면, 76MHz)의 광펄스열을 사용하므로, 검출 윈도우로 신호를 분리하기 어렵다. 반면, 본 발명의 다광자 현미경(10)은 반복률 가변기(110)를 통해 펄스레이저(100)의 반복률을 76MHz에서 4MHz로 낮춰서 광펄스간 시간 간격을 충분히 확보하므로, 시간 게이트 검출을 할 수 있다.
다음에서, 다광자 현미경에서 펄스레이저(100)의 반복률을 낮춤으로써 얻게 되는 효과에 대해 설명한다.
펄스 레이저(100)의 출력 파워(output power, Po)는 펄스의 피크 파워 및 반복률과 관계되고, 수학식 1과 같이 정의된다. 수학식 1에서, Ppeak는 펄스의 피크 파워이고,
Figure 112020039777155-pat00002
는 펄스 길이이며, fp는 펄스의 반복률이다.
Figure 112020039777155-pat00003
이광자 현미경에서의 펄스의 피크 파워에 대한 광자 흡수 효율은 수학식 2와 같이 정의될 수 있다. 수학식 2에서, Na는 이광자 여기를 통해 시료에서 흡수되는 광자 수(Number of absorbed photons per fluorophore per pulse)이고, 펄스의 피크 파워의 제곱에 비례한다.
Figure 112020039777155-pat00004
는 광자 흡수하는 단면(Photon absorption cross section)이고, S는 각종 상수 및 변수(wavelength, Planck's constant, speed of light, Numerical Aperture)를 간단히 표현한 것이다.
Figure 112020039777155-pat00005
시료(20)에 조사되는 빛의 파워는 시료 손상을 고려하여 일정 값 이하로 제한된다. 따라서, 수학식 1을 참고하면, 반복률에 따라 시료에 조사 가능한 피크 파워가 변한다. 즉, 4MHz의 반복률을 이용하는 이광자 현미경(10)은 제한된 출력 파워(Po)를 유지하면서도, 76MHz의 반복률에 비해 피크 파워(Ppeak)가 큰 펄스를 시료에 조사할 수 있다. 따라서, 수학식 2를 참고하면, 이광자 현미경(10)은 76MHz의 반복률에 비해, 광자 흡수 효율을 높일 수 있다. 참고로, 삼광자 현미경의 경우, 수학식 2에서 Na는 Ppeak 의 세제곱에 비례한다.
또한, 4MHz의 반복률을 이용하는 다광자 현미경(10)이 76MHz의 반복률과 동일한 수준의 형광 신호를 획득하기 위해, 피크 파워(Ppeak)를 동일하게 유지한다면, 반복률에 비례 관계에 있는 출력 파워(Po)를 낮출 수 있다. 결과적으로, 펄스레이저의 반복률을 낮춰서 펄스레이저(10)의 출력 파워를 낮출 수 있고, 결과적으로 시료 손상을 줄일 수 있다.
도 3은 한 실시예에 따른 반복률 가변과 시간 게이트 검출이 적용된 결과를 설명하는 시뮬레이션이다.
도 3을 참고하면, (a), (b), (c)에서, 여기 신호에 의해 여기된 형광 물질이 방출한 형광 신호를 시뮬레이션하고, 형광 신호를 검출하여 SNR을 계산한 결과이다. 시뮬레이션에서, 다광자 여기에 의한 형광 신호는 10ns의 수명시간(lifetime)을 가지고, 배경 신호를 노이즈로 추가하였다. 시뮬레이션에서, 동일한 출력 파워를 가정하고, 반복률 차이에 따른 여기 신호의 피크 펄스 차이 및 방출 신호의 파워 차이를 반영하였다. 테스트는 각 100회 반복하였으며, SNR은 100회 반복에 대한 획득 신호 합의 평균과, 배경 신호 합의 표준편차의 비를 계산하였다.
(a)는 여기 신호가 76MHz의 광펄스열이고, 형광 신호를 연속 검출(continuous detection)한 시뮬레이션 결과이고, (b)는 여기 신호가 4MHz의 광펄스열이고, 형광 신호를 연속 검출한 시뮬레이션 결과이며, (c)는 여기 신호가 4MHz의 광펄스열이고, 검출 윈도우에 해당하는 형광 신호만을 분리하여 시간 게이트 검출한 시뮬레이션 결과이다.
시뮬레이션 결과, (a)의 SNR은 190.0571이고, (b)의 SNR은 3687.5479이며, (c)의 SNR은 9462.1195이다. 시뮬레이션 결과에 따르면, (c)와 같이, 반복률을 낮추고, 시간 게이트 검출하는 경우, 신호의 SNR을 크게 향상시킬 수 있음을 확인할 수 있다.
(a)를 참고하면, 반복률이 높은 경우, 검출 윈도우로 신호를 분리하기 어려워 시간 게이트 검출을 할 수 없음을 알 수 있다. 또한, (a)와 (c)를 비교하면, 반복률이 높은 경우, 여기 신호와 방출 신호의 피크값이 작아진다는 것을 알 수 있다.
도 4는 한 실시예에 따른 컴퓨팅 장치의 이미징 방법을 설명하는 도면이다.
도 4를 참고하면, 컴퓨팅 장치(200)는 디지타이저(190)에서 샘플링된 데이터로부터 2차원/3차원 이미지를 생성하는데, 2차원 이미지 생성을 예로 들어 설명한다.
디지타이저(190)는 예를 들면, 초당 400M개 샘플을 검출한다고 가정한다.
스캐너(130)는 X축에서 초당 4K회 반복 스캔이 가능하다고 가정한다. 스캐너(130)가 1회 X축 스캔 후 원 위치로 이동하는 시간(1/4K 초) 동안, 디지타이저(190)는 100K개 샘플(400M/4K)을 검출할 수 있다.
펄스 반복률은 4MHz이므로, 하나의 펄스가 발생하는 시간(1/4M 초) 동안, 디지타이저(190)는 100개 샘플을 검출할 수 있다. 즉, 디지타이저(190)가 하나의 펄스 신호를 100개의 데이터로 샘플링할 수 있다. 컴퓨팅 장치(200)는 이미지를 구성하는 한 픽셀을 100개 샘플을 기반으로 생성하게 되는데, 이때, 100개 샘플 중 검출 윈도우 내에 있는 특정 개수의 샘플들만을 이용하여 이미지를 구성하는 한 픽셀을 생성하게 된다.
X축 단방향 스캔을 사용한다면, 1/4K 초 동안 50K개 샘플이 검출된다. 이미지를 구성하는 한 픽셀을 100개 샘플로 생성한다고 설정되었으므로, X축 단방향 스캔으로 획득한 50K개 샘플로 이미지의 X축을 500 픽셀로 구성할 수 있다. 이와 유사하게, 이미지의 Y축을 512 픽셀로 구성할 수 있다.
스캐너(130)가 X축을 4KHz의 속도로 Y축에 따라 512번 스캔하는 시간(1/4K*512 초) 동안, 컴퓨팅 장치(200)가 한 개 이미지를 완성하는 경우, 1초에 7.8개의 이미지가 생성된다.
이와 같이, 컴퓨팅 장치(200)는 반복률 가변기(110)에 의해 변경된 펄스 반복률(4MHz), 디지타이저(190)의 샘플링 정보(초당 400M 샘플링), 스캐너(130)의 스캐닝 정보를 기초로, 디지타이저(190)에서 샘플링 검출된 신호로부터 이미지를 생성할 수 있다.
도 5는 한 실시예에 따른 시간 게이트 검출을 위한 검출 윈도우 설정 방법의 흐름도이다.
도 5를 참고하면, 컴퓨터 장치(200)는 시간 게이트 검출을 위해, 시간 영역에서의 검출 윈도우(
Figure 112020039777155-pat00006
)를 설정하고, 검출 윈도우로 분리된 샘플링 데이터만을 이용한다. 사용자가 임의 구간의 검출 윈도우를 수동으로 설정할 수 있으나, 최적의 SNR을 위한 검출 윈도우를 설정하기는 어렵다. 따라서, SNR 최적화 알고리즘을 통해 최적의 검출 윈도우를 자동으로 설정할 필요가 있다. SNR 최적화 알고리즘은 다양할 수 있는데, 자동 단일 프레임 최적화(automated single frame optimization) 알고리즘이 이용될 수 있다.
컴퓨팅 장치(200)는 시간 영역에서 형광 신호를 검출할 수 있는 후보 검출 윈도우(
Figure 112020039777155-pat00007
)를 복수 개 설정한다(S110). 후보 검출 윈도우의 시작 시간, 종료 시간, 윈도우 크기는 다양하게 설정될 수 있다.
컴퓨팅 장치(200)는 형광 신호에 배경 신호가 포함된 신호에서 각 후보 검출 윈도우에 포함된 신호를 추출하고, 각 후보 검출 윈도우에 포함된 형광 신호의 SNR을 계산한다(S120). 컴퓨팅 장치(200)는 디지타이저(190)에서 샘플링된 신호(샘플링 데이터) 중 각 후보 검출 윈도우 내에 있는 신호를 이용하여 각 후보 검출 윈도우의 SNR을 계산할 수 있다. 컴퓨팅 장치(200)는 후보 검출 윈도우에서 형광 신호와 배경 신호를 추출하고, 추출한 형광 신호와 배경 신호를 이용하여 SNR을 계산한다. SNR은 예를 들면, 100개의 펄스의 평균 신호 세기를 표준편차로 나누어 계산할 수 있다.
컴퓨팅 장치(200)는 후보 검출 윈도우별 SNR을 이용하여 최적의 SNR을 갖는 검출 윈도우(
Figure 112020039777155-pat00008
)를 결정한다(S130).
컴퓨팅 장치(200)는 검출 윈도우(
Figure 112020039777155-pat00009
)를 설정하고, 검출 윈도우의 시간 영역에서 검출된 전기 신호의 샘플링 데이터를 이용하여 이미지를 생성한다(S140). 컴퓨팅 장치(200)는 디지타이저(190)에서 출력된 전체 샘플들을 이용하는 대신, 검출 윈도우에서 검출된 샘플들만을 이용하여 이미지를 생성할 수 있다.
다른 실시예에 따르면, 컴퓨팅 장치(200)가, 디지타이저(190)에서 후보 검출 윈도우에 해당하는 시간 구간에서 샘플링하도록 설정한 후, 디지타이저(190)로부터 후보 검출 윈도우에서 검출된 샘플링 데이터를 수신하면, 샘플링 데이터를 이용하여 해당 후보 검출 윈도우에서의 형광 신호를 계산할 수 있다. 컴퓨팅 장치(200)는 후보 검출 윈도우들에 대응하는 형광 신호들을 비교하여, 최적의 후보 검출 윈도우를 검출 윈도우로 결정할 수 있다.
도 6은 한 실시예에 따른 시간 게이트 검출 기반 이미징 방법의 흐름도이다.
도 6을 참고하면, 다광자 현미경(10)은 반복률(예를 들면, 4MHz)을 가지는 광펄스열을 시료(20)에 조사한다(S210). 광펄스열의 반복률은 펄스레이저에서 가변되거나, 펄스 피커(pulse picker)와 같은 별도의 반복률 가변기(110)에 의해 가변될 수 있다. 시료(20)에 조사되는 광펄스열의 반복률은 시간 게이트 검출(time-gated detection)이 가능한 수준으로 설정된다.
다광자 현미경(10)은 시료(20)의 형광 물질로부터 방출된 형광 신호를 일정 시간 간격으로 샘플링한다(S220). 다광자 현미경(10)은 도 1의 광검출기(170), 증폭기(180), 그리고 디지타이저(190)를 통해, 형광 방출 빛을 전압 신호로 변환하고, 전압 신호를 샘플링할 수 있다.
다광자 현미경(10)은 샘플링 데이터(샘플들) 중에서 검출 윈도우의 시간 영역에 포함된 샘플 데이터를 분리한다(S230). 다광자 현미경(10)은 자동 단일 프레임 최적화(automated single frame optimization) 알고리즘 등의 최적화 알고리즘을 통해 최적의 SNR을 위한 검출 윈도우를 찾을 수 있다.
다광자 현미경(10)은 검출 윈도우로 분리된 샘플링 데이터로부터 이미지를 생성한다(S250). 다광자 현미경(10)은 펄스 반복률, 샘플링 정보, 그리고 스캐닝 정보를 기초로, 샘플링 데이터로부터 이미지들을 생성할 수 있다.
도 7은 한 실시예에 따른 다광자 현미경의 이미징 결과를 비교한 도면이다.
도 7을 참고하면, 다광자 현미경(10)은 펄스 피커(pulse picker) 등의 반복률 가변기(110)를 통해 펄스레이저(100)의 높은 반복률(예를 들면, 76MHz)을 시간 게이트 검출이 가능한 반복률(예를 들면, 4MHz)로 낮추고, 검출 윈도우에서 분리된 형광 신호를 샘플링하여 이미징한다. 낮은 반복률(4MHz)을 이용하여 조직을 이미징한 경우, 같은 평균 파워에서 높은 반복률(76MHz)을 이용하여 이미징하였을 때보다 SNR이 높아 이미지 품질 향상을 관찰할 수 있다. 같은 반복률(4MHz)을 이용하여 시간 게이팅(time gating)했을 경우 SNR이 더욱 향상되며 이미지 품질이 높아지는 것을 관찰할 수 있다. 따라서, 다광자 현미경(10)은 시간 게이트 검출로 이미지의 품질을 높일 수 있고, 종래 기술과의 비교 실험 결과는 도 7에서 확인할 수 있다.
반복률 및 시간 게이트 검출 유무를 조합한 표 1의 5가지 조건에서, Mouse lung tissue를 이미징한 결과이다. SNR은 각 조건으로 생성된 이미지에서 신호 영역의 ROI와 배경 영역의 ROI를 지정하고, 신호 영역의 intensity 평균을 배경 영역의 표준편차로 나눈 결과값이다.
조건 Repetition rate Detection SNR
(a) 4MHz Time-Gated 93.28
(b) 4MHz Continuous 49.63
(c) 19MHz Continuous 33.22
(d) 38MHz Continuous 21.86
(e) 76MHz Continuous 13.18
(a)는 본 발명의 이미징 결과로서, 76MHz 연속 검출의 이미지(e)보다 약 7배 향상된 SNR을 가진다. (b)부터 (e)의 SNR을 비교하면, 반복률과 SNR은 반비례 관계임을 알 수 있다.
지금까지 설명한 시간 게이트 검출 기반 이미징 방법은 다양한 종류의 다광자 현미경에도 적용될 수 있고, 다음에서 다광자 현미경의 추가적인 실시예에 대해 살펴본다.
도 8부터 도 11 각각은 시간 게이트 검출 기반 이미징 방법을 구현하는 다양한 다광자 현미경의 구조도이다.
도 8부터 도 11을 참고하면, 디지타이저(190) 및 컴퓨팅 장치(200)는 반복률 가변기(110)를 포함하는 다양한 다광자 현미경(11, 12, 13, 14)에 적용될 수 있다. 다양한 다광자 현미경(11, 12, 13, 14)은 반복률 가변 및 시간 게이트 검출 기반 샘플링을 할 수 있다.
먼저 도 8을 참고하면, 디지타이저(190) 및 컴퓨팅 장치(200)는 다광자 현미경(10)과 같은 여기 신호 경로를 구성하지만, 다광자 현미경(10)과 다른 방출 신호 경로를 구성하는 다광자 현미경(11)에 포함될 수 있다. 다광자 현미경(11)은 형광 신호가 스캐너(130)를 통과하지 않으므로, Non de-scanning Multi-Photon microscope이라고 부를 수 있다.
다광자 현미경(11)은 펄스레이저(100), 반복률 가변기(110), 스캐너(130), 스캐너 제어기(132), 스캔렌즈(140, 142), 대물렌즈(150), 대역필터(160), 광검출기(170), 증폭기(180), 디지타이저(190), 컴퓨팅 장치(200)를 포함할 수 있다. 그리고, 다광자 현미경(11)에서 이색 거울(120)은 대물렌즈(150)와 스캔렌즈(142) 사이에 위치하고, 이색 거울(120)에서 형광 신호의 경로가 변경된다. 시료(20)에서 방출되는 형광 신호가 대물렌즈(150)에서 스캔렌즈(142, 140), 스캐너(130)의 De-scanning 경로로 전달되지 않는다. 대신, 대물렌즈(150)로 들어온 형광 신호는, 이색 거울(120)에서 반사되고, 대역필터(160), 광검출기(170)를 거쳐, 증폭기(180)에서 전압 신호로 변환된다.
디지타이저(190)는 형광 신호의 전압 신호를 샘플링하여 검출한다.
컴퓨팅 장치(200)는 디지타이저(190)에서 샘플링 검출된 신호로부터 2차원/3차원 이미지를 생성한다.
형광 물질의 여기 파장과 방출 파장이 차이가 나는데, 실제로 모든 파장에서 적합한 렌즈 셋업이 어려운 문제가 있다. 하지만, 다광자 현미경(11)에서, 형광 신호는 스캔렌즈(140, 142)를 다시 통과하지 않아 렌즈 투과에 의한 손실을 줄일 수 있다. 따라서, 다광자 현미경(11)은 SNR이 높은 신호를 획득하고, 이를 통해 이미징 품질을 높일 수 있다.
도 9를 참고하면, 디지타이저(190) 및 컴퓨팅 장치(200)는 형광 수명시간 이미징 현미경(Fluorescence Lifetime Imaging Microscopy, FLIM)으로 불리는 다광자 현미경(12)에 포함될 수 있다.
다광자 현미경(12)은 다광자 현미경(11)과 같은 여기 신호 경로 및 방출 신호 경로를 구성하되, 광검출기(170)에서 펄스 레이저(100)의 IRF(Instrument Response Function)을 측정하여 시료의 형광수명(fluorescence lifetime)을 구하고, 이를 이용하여 이미징한다.
다광자 현미경(12)는 반복률 가변기(110)에서 출력된 광신호를 분할하여 광검출기(170)로 전달하는 빔스플리터(230)를 더 포함할 수 있다.
도 10을 참고하면, 디지타이저(190) 및 컴퓨팅 장치(200)는 다중 파장의 형광 신호들을 측정하는 다광자 현미경(13)에 포함될 수 있다. 다광자 현미경(13)은 Two photon Microscopy(TPM), Second Harmonic Generation(SHG), Confocal Reflectance의 신호를 검출하는 Multimodal microscopy라고 부를 수 있다.
다광자 현미경(13)은 다광자 현미경(10)과 같이, 이색 거울(120)에서 형광 신호를 반사시킨다. 이색 거울(120)에서 반사된 형광 신호는 파장별 이색 거울(121, 122, 123)로 분리되고, 파장별 대역 필터(161, 162, 163)를 거쳐 광검출기(170)로 전달된다. 광검출기(170)에서 출력된 전류 신호는 증폭기(180)에서 전압 신호로 변환되고, 디지타이저(190)에 입력된다. 이때, 파장별 대역 필터(161, 162, 163)와 광검출기(170)는 광파이버로 연결되는데, 각 광파이버의 길이를 조정하여 파장별 신호가 서로 다른 시간에 광검출기(170)로 입력된다. 이를 통해 하나의 광검출기(170)로 복수의 형광 신호를 전류로 변환할 수 있다.
따라서, 다광자 현미경(13)은 모달리티(modality)의 수에 상관없이 단일 광검출기(170)로 멀티모달리티의 형광 신호를 검출할 수 있다. 다광자 현미경(13)은 다광자 현미경(12)와 같이, 빔스플리터(230)를 더 포함하고, 이를 통해 FLIM신호를 추가적으로 획득할 수 있다.
도 11을 참고하면, 디지타이저(190) 및 컴퓨팅 장치(200)는 다광자 현미경(14)에 포함될 수 있다. 다광자 현미경(14)은 다광자 현미경(11)과 같이, 이색 거울(120)이 대물렌즈(150)와 스캔렌즈(142) 사이에 위치하고, 이색 거울(120)에서 형광 신호의 경로가 변경된다.
그리고, 이색 거울(120)에서 반사된 형광 신호는 파장별 이색 거울(121, 122, 123)로 분리되고, 파장별 광검출기(171,172, 173) 및 증폭기(181, 182, 183)을 거쳐, 디지타이저(190)에 입력될 수 있다.
이와 같이, 본 발명의 시간 게이트 검출 기반 이미징 방법은 다광자 현미경의 구조나 모달리티의 개수에 관계없이, 펄스레이저를 사용하는 다양한 종류의 다광자 현미경에 적용될 수 있다. 예를 들면, second harmonic generation을 획득하는 영상 시스템, fluorescence lifetime imaging 시스템, Coherent Anti-stokes Raman Spectroscopy 등에 적용될 수 있다.
또한 본 발명의 시간 게이트 검출 기반 이미징 방법은 optical sectioning을 통한 시료의 3차원 구조를 복원할 수 있고, 조직에서 직접 optical sectioning 이미지를 획득하여 병리학의 optical biopsy로 적용될 수 있고, catheter imaging 및 endoscopic imaging에 적용하여 in-vivo imaging을 통한 전임상 및 임상 연구에도 적용될 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (11)

  1. 다광자 여기(Multi-photon excitation)를 이용하여 시료의 형광 물질을 여기하는 다광자 현미경으로서,
    펄스레이저에서 출력된 광펄스열을 시간 게이트 검출(time-gated detection)을 위한 반복률로 낮추는 반복률 가변기,
    상기 반복률 가변기로부터 전달된 광펄스열을 X축 및 Y축 방향으로 스캐닝하는 스캐너,
    상기 스캐너에 의해 스캐닝된 광신호를 시료로 조사하고, 여기된 형광 물질에서 방출되는 형광 신호를 획득하는 대물렌즈,
    상기 대물렌즈를 통해 획득한 형광 신호를 광전변환하는 광검출기,
    상기 광검출기에서 출력된 전류 신호를 전압 신호로 변환하는 증폭기,
    상기 증폭기에서 출력되는 전압 신호를 샘플링하는 디지타이저(Digitizer),
    상기 반복률 가변기 및 상기 스캐너의 제어기와 통신하고, 상기 반복률 가변기에 의해 가변된 반복률, 그리고 상기 스캐너의 제어기에 의해 제어된 스캐닝 정보를 획득하는 동기화 장치, 그리고
    상기 디지타이저에서 출력된 샘플링 데이터를 시간 영역에 설정된 검출 윈도우로 분리하고, 상기 동기화 장치에 의해 획득된 상기 반복률과 상기 스캐닝 정보, 그리고 상기 샘플링 데이터를 생성하는 샘플링 정보를 기초로, 상기 검출 윈도우로 분리된 샘플링 데이터로부터 이미지를 생성하는 컴퓨팅 장치
    를 포함하는 다광자 현미경.
  2. 제1항에서,
    상기 반복률 가변기는
    펄스 피커(pulse picker) 또는 캐비티 덤퍼(cavity dumper)인, 다광자 현미경.
  3. 제1항에서,
    상기 컴퓨팅 장치는
    시간 영역에 복수의 후보 검출 윈도우들을 설정하고, 각 후보 검출 윈도우에서 측정한 형광 신호의 신호대잡음비를 비교하여, 상기 검출 윈도우를 결정하는, 다광자 현미경.
  4. 삭제
  5. 제1항에서,
    상기 광검출기는
    상기 반복률 가변기와 상기 스캐너 사이에 위치하는 이색 거울에 의해 반사된 상기 형광 신호를 입력받거나, 상기 대물렌즈와 상기 스캐너 사이에 위치하는 이색 거울에 의해 반사된 상기 형광 신호를 입력받는, 다광자 현미경.
  6. 제1항에서,
    상기 광검출기는
    파장에 따라 분리된 서로 다른 파장의 형광 신호들을 서로 다른 시간에 입력받는, 다광자 현미경.
  7. 제1항에서,
    상기 광검출기와 상기 증폭기는
    형광 신호의 파장별로 구축되는 다광자 현미경.
  8. 다광자 여기(Multi-photon excitation)를 이용하여 시료의 형광 물질을 여기하는 다광자 현미경의 동작 방법으로서,
    반복률 가변기를 통해, 펄스레이저에서 출력된 광펄스열을 시간 게이트 검출(time-gated detection)을 위한 반복률로 낮추는 단계,
    스캐너를 통해 상기 반복률의 광펄스열을 시료에 조사하는 단계,
    상기 시료의 형광 물질로부터 방출된 형광 신호를 일정 시간 간격으로 검출한 샘플링 데이터를 생성하는 단계,
    상기 샘플링 데이터 중에서 시간 영역에 설정된 검출 윈도우를 이용하여 신호를 분리하는 단계,
    상기 반복률 가변기에 의해 가변된 반복률, 그리고 상기 스캐너의 제어기에 의해 제어된 스캐닝 정보를 획득하는 단계, 그리고
    상기 반복률, 상기 스캐닝 정보, 그리고 상기 샘플링 데이터를 생성하는 샘플링 정보를 기초로, 상기 검출 윈도우로 분리된 샘플링 데이터로부터 이미지를 생성하는 단계
    를 포함하는 동작 방법.
  9. 제8항에서,
    시간 영역에 복수의 후보 검출 윈도우들을 설정하고, 각 후보 검출 윈도우에서 측정한 형광 신호의 신호대잡음비를 비교하여, 상기 복수의 후보 검출 윈도우들 중에서 최적의 신호대잡음비를 가지는 후보 검출 윈도우를 상기 검출 윈도우로 설정하는 단계
    를 더 포함하는, 동작 방법.
  10. 삭제
  11. 삭제
KR1020200046708A 2020-04-17 2020-04-17 다광자 현미경, 그리고 이의 시간 게이트 검출 기반 이미징 방법 KR102402681B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200046708A KR102402681B1 (ko) 2020-04-17 2020-04-17 다광자 현미경, 그리고 이의 시간 게이트 검출 기반 이미징 방법
PCT/KR2021/001434 WO2021210768A1 (ko) 2020-04-17 2021-02-03 다광자 현미경, 그리고 이의 시간 게이트 검출 기반 이미징 방법
US17/583,658 US11860101B2 (en) 2020-04-17 2022-01-25 Multi-photon microscopy and imaging method, lowering repetition rate to use time-gated detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200046708A KR102402681B1 (ko) 2020-04-17 2020-04-17 다광자 현미경, 그리고 이의 시간 게이트 검출 기반 이미징 방법

Publications (2)

Publication Number Publication Date
KR20210128711A KR20210128711A (ko) 2021-10-27
KR102402681B1 true KR102402681B1 (ko) 2022-05-26

Family

ID=78085166

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200046708A KR102402681B1 (ko) 2020-04-17 2020-04-17 다광자 현미경, 그리고 이의 시간 게이트 검출 기반 이미징 방법

Country Status (3)

Country Link
US (1) US11860101B2 (ko)
KR (1) KR102402681B1 (ko)
WO (1) WO2021210768A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL2029545B1 (en) * 2021-10-28 2023-05-26 Flash Pathology B V Femtosecond pulsed microscopy

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080100834A1 (en) * 2006-10-31 2008-05-01 Andy Kung Controlling Pulses in Optical Microscopy
WO2018159272A1 (ja) 2017-02-28 2018-09-07 国立大学法人東京工業大学 時間分解光電子顕微鏡装置および当該装置によるキャリアダイナミクス画像の取得方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7838794B2 (en) * 1999-12-28 2010-11-23 Gsi Group Corporation Laser-based method and system for removing one or more target link structures
US6798507B2 (en) * 2001-07-03 2004-09-28 President And Fellows Of Harvard College System and method for polarization coherent anti-stokes Raman scattering microscopy
JP2004177815A (ja) 2002-11-28 2004-06-24 Fujitsu Hitachi Plasma Display Ltd 容量性負荷駆動回収回路、容量性負荷駆動回路及びそれを用いたプラズマディスプレイ装置
ATE455312T1 (de) * 2007-02-05 2010-01-15 Olympus Corp Laser-scanning-mikroskop
JP5139170B2 (ja) * 2008-06-24 2013-02-06 オリンパス株式会社 多光子励起測定装置
US8309885B2 (en) * 2009-01-15 2012-11-13 Electro Scientific Industries, Inc. Pulse temporal programmable ultrafast burst mode laser for micromachining
KR101281649B1 (ko) 2011-03-31 2013-07-03 경북대학교 산학협력단 이광자현미경 장치
KR20160014340A (ko) * 2014-07-29 2016-02-11 연세대학교 산학협력단 형광수명 분석 시스템 및 그 분석 방법
JP6784514B2 (ja) * 2016-06-06 2020-11-11 オリンパス株式会社 レーザ走査型顕微鏡

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080100834A1 (en) * 2006-10-31 2008-05-01 Andy Kung Controlling Pulses in Optical Microscopy
WO2018159272A1 (ja) 2017-02-28 2018-09-07 国立大学法人東京工業大学 時間分解光電子顕微鏡装置および当該装置によるキャリアダイナミクス画像の取得方法

Also Published As

Publication number Publication date
WO2021210768A1 (ko) 2021-10-21
US11860101B2 (en) 2024-01-02
US20220146427A1 (en) 2022-05-12
KR20210128711A (ko) 2021-10-27

Similar Documents

Publication Publication Date Title
JP5519152B2 (ja) 光学顕微鏡法を用いて解剖学的サンプルに関わる情報を取得するための装置
US9066657B2 (en) Methods and systems of optical imaging for target detection in a scattering medium
KR100962522B1 (ko) 3색 광원을 이용하는 멀티플렉스 ｃａｒｓ 분광장치
US7649629B2 (en) Optical imaging apparatus with spectral detector
US20070121196A1 (en) Method and apparatus for method for viewing and analyzing of one or more biological samples with progressively increasing resolutions
US10416427B2 (en) Scan-based imaging with variable scan speed using predictions of region-of-interest positions
Yuan et al. A system for high-resolution depth-resolved optical imaging of fluorescence and absorption contrast
KR102402681B1 (ko) 다광자 현미경, 그리고 이의 시간 게이트 검출 기반 이미징 방법
US20070239031A1 (en) Systems and methods for performing simultaneous tomography and spectroscopy
JP2011257691A (ja) レーザ顕微鏡装置
US20230022632A1 (en) Microscopy imaging system and methods
US20210164905A1 (en) Method and apparatus for simultaneous nonlinear excitation and detection of different chromophores across a wide spectral range using ultra-broadband light pulses and time-resolved detection
WO2023276326A1 (ja) 光学画像処理方法、機械学習方法、学習済みモデル、機械学習の前処理方法、光学画像処理モジュール、光学画像処理プログラム、及び光学画像処理システム
JP2016091004A (ja) 非線形光学顕微鏡装置、情報取得方法
Kim et al. Optical biopsy in high-speed handheld miniaturized multifocal multiphoton microscopy
US8941087B2 (en) Plural third harmonic generation microscopic system and method
JP2009531105A (ja) メチレンブルーに基づいた、ファイバーによる蛍光顕微鏡法
US8487274B2 (en) Stroboscopic optical image mapping system
Becker et al. Lifetime imaging with the Zeiss LSM-510
Santos et al. Compressive single pixel phosphorescence lifetime and intensity simultaneous imaging: a pilot study using oxygen sensitive biomarkers
Poulet et al. A time-gated near-infrared spectroscopic imaging device for clinical applications.
Wang et al. Compact simultaneous label-free autofluorescence multi-harmonic (SLAM) microscopy for user-friendly photodamage-monitored imaging
CN111678895A (zh) 一种近红外双光子、三光子多色光光学成像系统和方法
Lin et al. Miniaturized handheld stimulated Raman scattering microscope
JP6355961B2 (ja) 標本観察装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant