KR101847334B1 - 형광 이미지 획득 장치 및 방법 - Google Patents

형광 이미지 획득 장치 및 방법 Download PDF

Info

Publication number
KR101847334B1
KR101847334B1 KR1020170015056A KR20170015056A KR101847334B1 KR 101847334 B1 KR101847334 B1 KR 101847334B1 KR 1020170015056 A KR1020170015056 A KR 1020170015056A KR 20170015056 A KR20170015056 A KR 20170015056A KR 101847334 B1 KR101847334 B1 KR 101847334B1
Authority
KR
South Korea
Prior art keywords
fluorescence
image
signals
phase
modulated
Prior art date
Application number
KR1020170015056A
Other languages
English (en)
Inventor
김동욱
장기수
김건희
이주란
Original Assignee
한국기초과학지원연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기초과학지원연구원 filed Critical 한국기초과학지원연구원
Priority to KR1020170015056A priority Critical patent/KR101847334B1/ko
Priority to US15/660,166 priority patent/US10386299B2/en
Application granted granted Critical
Publication of KR101847334B1 publication Critical patent/KR101847334B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • G06T5/70
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • G01N2021/6419Excitation at two or more wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • G01N2021/6421Measuring at two or more wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/069Supply of sources
    • G01N2201/0691Modulated (not pulsed supply)
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details

Abstract

동일한 주파수로 변조되고 서로 다른 시간 지연을 갖는 변조 광 신호를 이용하여 형광 이미지와 함께 위상 이미지를 획득하는 형광 이미지 획득 장치가 제공된다. 상기 형광 이미지 획득 장치는 동일한 주파수로 변조된 복수의 변조 광 신호를 서로 다른 시간 지연으로 각각 출력하는 광원부, 복수의 형광 물질을 포함하는 샘플에 인가되도록 상기 복수의 변조 광 신호의 경로를 제어하는 광 조명부, 상기 복수의 형광 물질로부터 각각 방출되는 복수의 형광 신호를 검출하는 광 검출부 및 상기 검출된 복수의 형광 신호로부터 복수의 형광 이미지 및 복수의 위상 이미지를 획득하는 제어부를 포함할 수 있다.

Description

형광 이미지 획득 장치 및 방법{APPARATUS AND METHOD OF OBTAINING FLUORESCENCE IMAGE}
샘플의 형광 이미지를 획득하는 장치 및 방법에 연관되며, 보다 구체적으로 복수의 형광 신호를 동시에 검출하여 형광 신호 각각에 대응하여 분리된 형광 이미지를 획득하는 장치 및 방법에 연관된다.
살아있는 세포나 조직의 관심 영역을 관찰하는데 있어서, 샘플의 각 영역을 서로 다른 형광 물질로 염색하고 염색된 형광 물질을 광원으로 여기(excitation)시켜 방출되는 형광 신호를 검출하는 다파장 형광 현미경 기술이 널리 이용되고 있다. 다파장 형광 현미경 기술을 이용하는 경우에는 세포 내 성분의 공간적 관계나 시간적 역할을 관측할 수 있고, 다르게 염색된 개체 간의 잠재적인 분자 상호 작용을 모니터링하는 효과를 기대할 수 있다.
그러나 다양한 파장에 대응하는 형광 물질이 개발되었음에도 불구하고, 형광 물질의 스펙트럼 중복을 이유로 다파장 형광 이미징을 동시에 수행하는 현미경 기술에는 한계가 존재한다. 구체적으로, 형광 스펙트럼이 중복된 2개 이상의 형광 물질을 구별하기 위해 유용한 형광 신호의 상당한 손실을 감안하면서도 좁은 통과 대역폭의 광학 필터들을 사용하여 중복된 형광 신호를 제거하는 방법을 이용해야만 한다. 또한, 형광 신호의 세기 증가를 위해 여기 광원의 세기를 증가시키지만, 증가된 여기 광원에 의해 살아있는 시료의 광독성(phototoxicity)이 발생하여 형광 신호 자체의 증가에도 기술적 한계가 존재한다.
KR 2011-0118716 JP 2005-091895 US 8385615
일측에 따르면, 동일한 주파수로 변조되고 서로 다른 시간 지연을 갖는 변조 광 신호를 이용하여 형광 이미지와 함께 위상 이미지를 획득하는 형광 이미지 획득 장치가 제공된다. 상기 형광 이미지 획득 장치는 동일한 주파수로 변조된 복수의 변조 광 신호를 서로 다른 시간 지연으로 각각 출력하는 광원부, 복수의 형광 물질을 포함하는 샘플에 인가되도록 상기 복수의 변조 광 신호의 경로를 제어하는 광 조명부, 상기 복수의 형광 물질로부터 각각 방출되는 복수의 형광 신호를 검출하는 광 검출부 및 상기 검출된 복수의 형광 신호로부터 복수의 형광 이미지 및 복수의 위상 이미지를 획득하는 제어부를 포함할 수 있다.
일실시예에 따르면, 상기 제어부는 상기 서로 다른 시간 지연에 상응하는 프레임 속도를 이용한 포 버킷(four bucket) 방법에 기초하여 상기 복수의 형광 신호를 포함하는 형광 이미지 및 상기 복수의 형광 신호에 대한 위상 이미지를 획득할 수 있다. 보다 구체적으로, 상기 제어부는 상기 복수의 형광 신호에 포함되는 복수의 위상 정보 각각에 대응하는 위상 이미지를 계산할 수 있다.
다른 일실시예에 따르면, 상기 제어부는 상기 복수의 형광 신호 각각에 대응하는 위상 이미지를 획득하고, 상기 복수의 형광 신호를 포함한 형광 이미지를 이용하여 각각의 형광 신호에 대응하는 파장별 형광 이미지를 분리할 수 있다.
또 다른 일실시예에 따르면, 상기 광 검출부는 상기 변조된 동일한 주파수가 f인 경우에, 4f의 프레임 속도를 이용하여 복수의 형광 신호를 검출하는 것을 특징으로 할 수 있다.
다른 일측에 따르면, 위상 이미지를 이용하여 형광 이미지를 분리하는 방법이 제공된다. 상기 형광 이미지를 분리하는 방법은 복수의 형광 신호가 포함된 형광 이미지를 이용하여 형광 신호의 존부를 판단하는 단계, 상기 형광 신호의 존부에 따라 결정되는 이진 형광 이미지를 추출하는 단계, 상기 추출된 이진 형광 이미지에 기초하여 상기 위상 이미지의 랜덤 위상을 제거하는 단계, 상기 랜덤 위상이 제거된 위상 이미지에서 각각의 형광 신호에 대응하는 위상 정보가 분리된 각각의 위상 이미지를 추출하는 단계 및 상기 추출된 위상 이미지에 기초하여 획득된 복수의 형광 신호를 포함하는 형광 이미지를 적용하여 위상 정보에 따라 분리된 다파장 형광 이미지를 획득하는 단계를 포함할 수 있다.
다른 일실시예에 따르면, 상기 복수의 형광 신호가 포함된 형광 이미지는 복수의 형광 물질을 포함하는 샘플에 동일한 주파수로 변조된 복수의 변조 광 신호를 서로 다른 시간 지연으로 출력하여 생성된 형광 신호를 검출하여 획득되는 것을 특징으로 할 수 있다.
도 1은 일실시예에 따른 형광 이미지 획득 장치를 설명하는 예시도이다.
도 2a는 일실시예에 따라 동일한 주파수로 변조되고, 서로 다른 시간 지연을 갖는 복수의 형광 신호를 도시하는 예시도이다.
도 2b는 도 2a에서 설명된 복수의 형광 신호들을 위상 도메인에서 나타내는 예시도이다.
도 3은 일실시예에 따른 형광 이미지를 분리하는 방법을 도시하는 흐름도이다.
도 4a 내지 도 4f는 일실시예에 따른 형광 이미지 획득 장치를 통해 획득된 다파장 형광 이미지의 예시도이다.
도 5는 일실시예에 따라 488nm 및 532nm 파장에 각각 대응하는 두 레이저 광원으로 여기되는 두 형광 비드의 스펙트럼을 나타낸다.
도 6은 다른 일실시예에 따라 형광 이미지 획득 장치를 통해 획득된 다파장 형광 이미지의 예시도이다.
도 7은 도 6의 실시예에서 검출된 형광의 세기 프로파일을 나타내는 예시도이다.
도 8은 도 6의 실시예에서 획득된 위상 이미지를 나타낸다.
도 9는 종래 방식과 대비한 본 실시예에 따른 형광 이미지의 신호 대 잡음비 및 대조 비율을 나타내는 그래프이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일실시예에 따른 형광 이미지 획득 장치를 설명하는 예시도이다. 도 1을 참조하면, 형광 이미지 획득 장치는 광원부(110), 광 조명부(120), 광 검출부(140) 및 제어부(150)를 포함할 수 있다.
광원부(110)는 다양한 파장과 대역폭을 갖는 광 신호를 출력할 수 있다. 샘플(130)의 세포 또는 샘플(130)의 관심 영역은 형광 물질로 염색될 수 있다. 광 신호가 샘플(130)에 인가되는 경우, 형광 물질은 광 신호에 의해 여기(excitation)된다. 상기 여기에 기초하여, 형광 신호가 발생할 수 있다.
제어부(150)는 복수의 변조 신호(151, 152, 153)를 광원부(110)에 인가할 수 있고, 광원부(110)는 입력된 복수의 변조 신호(151, 152, 153)에 기초하여 광 신호를 변조할 수 있다. 보다 구체적으로, 광원부(110)는 시간 지연이 서로 다른 동일한 주파수(예를 들면, fφ1, fφ2, fφ3)로 변조된 복수의 변조 광 신호를 출력할 수 있다. 복수의 변조 광 신호 각각은 서로 다른 파장을 갖는다. 위의 설명에서는 서로 다른 세 개의 시간 지연을 갖는 주파수 fφ1, fφ2, fφ3가 이용된 실시예가 도시되지만 이는 발명의 이해를 돕기 위한 예시적 기재일 뿐 다른 실시예들의 범위를 제한하거나 한정하는 것으로 해석되어서는 안 될 것이다. 이를 테면, 서로 다른 네 개의 시간 지연을 갖는 복수의 변조 신호를 이용하여 광원부(110)가 복수의 변조 광 신호를 출력하는 실시예 또한 구현 가능할 것이다.
광 조명부(120)는 복수의 변조 광 신호가 복수의 형광 물질을 포함하는 샘플(130)에 인가되도록 복수의 변조 광 신호의 경로를 변경할 수 있다. 보다 구체적으로, 광 조명부(120)는 광원부(110)에 의해 출력되는 복수의 변조 광 신호가 샘플(130)에 면 조명(wide-field illumination) 형태로 인가되도록 상기 복수의 변조 광 신호의 경로를 변경할 수 있다. 예시적으로, 복수의 변조 광 신호는 이색성 거울(121) 및 대물 렌즈(122)를 통해 샘플(130)에 인가될 수 있다. 또한, 광 조명부(120)는 이색성 거울(121)이나 이색성 이상의 거울을 이용하여 광원부(110)에서 출력된 복수의 변조 광 신호와 샘플(130)에서 방출된 형광 신호를 구분할 수 있다. 또한, 광 조명부(120)는 광 분배기를 이용하여 복수의 변조 광 신호의 경로를 변경할 수 있다.
샘플(130)에 포함된 복수의 형광 물질 중 제1 형광 물질은 샘플(130)에 인가되는 복수의 변조 광 신호 중 제1 변조 광 신호를 흡수함에 따라 여기될 수 있다. 보다 구체적으로, 상기 복수의 형광 물질 각각은 상기 복수의 변조 광 신호 중 임의의 어느 하나를 흡수함에 따라 여기될 수 있다. 여기에 기초하여 상기 제1 형광 물질은 형광 신호를 방출하고, 방출된 형광 신호는 상기 제1 형광 물질이 흡수한 상기 제1 변조 광 신호의 변조 주파수에 따라 임의 시간 지연 후 변조될 수 있다.
광 검출부(140)는 복수의 변조 광 신호가 샘플(130)에 인가됨에 따라 발생된 복수의 형광 신호를 검출할 수 있다. 일실시예로서, 광 검출부(140)는 상기 변조된 동일한 주파수가 f인 경우에, 4f의 프레임 속도를 이용하여 복수의 형광 신호를 검출할 수 있다.
다른 일실시예로서, 광 검출부(140)는 멀티 포인트 광 검출기를 이용하여 복수의 형광 신호를 검출할 수 있다. 예시적으로, 멀티 포인트 광 검출기는 검출 영역이 1D(dimension) 또는 2D 배열을 이루는 광 검출기일 수 있다. 구체적으로, 멀티 포인트 광 검출기는 CCD 카메라일 수 있다. CCD 카메라로 구현된 광 검출부(330)는 검출 영역이 2D 배열이므로 한 번의 검출로 이미지를 획득할 수 있다.
제어부(150)는 검출된 복수의 형광 신호로부터 형광 이미지 및 위상 이미지를 획득할 수 있다. 또한, 제어부(150)는 획득된 위상 이미지를 이용하여 복수의 형광 신호를 포함한 형광 이미지에서 파장별 형광 이미지를 분리할 수 있다. 일실시예로서, 제어부(150)는 포 버킷(four bucket) 방식에 기초하여 복수의 형광 신호를 포함한 형광 이미지와 이에 대한 위상 이미지를 획득할 수 있다. 보다 구체적으로, 제어부(150)는 복수의 변조 광 신호에 포함되는 복수의 위상 정보 각각을 복수의 위상 이미지 중 하나로서 계산할 수 있다.
예시적으로, 광 검출부(140)에 의해 검출된 형광 신호 I(x,y,t)는 아래의 수학식 1과 같이 표현될 수 있다.
Figure 112017011287551-pat00001
상기 수학식 1에서, Idc는 변조되지 않은 형광 신호의 크기, ΔI는 변조된 형광 신호의 크기, f는 변조 주파수,
Figure 112017011287551-pat00002
는 변조 신호의 위상을 나타낸다. 이하의 도면을 통해, 동일한 주파수로 변조되고 서로 다른 시간 지연을 갖는 복수의 변조된 형광 신호에 관하여 보다 자세히 설명될 것이다.
도 2a는 일실시예에 따라 동일한 주파수로 변조되고, 서로 다른 시간 지연을 갖는 복수의 형광 신호를 도시하는 예시도이다. 도 2a를 참조하면, 광원부에 의해 출력된 복수의 변조 광 신호 각각에 의해 여기된 복수의 형광 신호(221, 222, 223)가 도시된다. 본 실시예에서 복수의 형광 신호(221, 222, 223) 각각은 서로 다른 세 개의 시간 지연 Δt1, Δt2 및 Δt3를 가질 수 있다. 일실시예로서, 복수의 형광 신호(221, 22, 223)가 동일한 변조 주파수 f에 기초하여 변조된 복수의 변조 광 신호로부터 발생된 경우, 광 검출부는 4f의 프레임 속도에 기초하여 복수의 형광 신호(221, 222, 223)를 검출하기 위한 트리거 신호(210)를 생성할 수 있다.
도 2b는 도 2a에서 설명된 복수의 형광 신호들을 위상 도메인에서 나타내는 예시도이다. 도 2b를 참조하면, 서로 다른 세 개의 시간 지연 Δt1, Δt2 및 Δt3을 갖는 복수의 형광 신호(221, 222, 223) 각각은 위상 도메인에서 서로 다른 위상 지연 Δ
Figure 112017011287551-pat00003
, Δ
Figure 112017011287551-pat00004
및 Δ
Figure 112017011287551-pat00005
을 갖는 세 개의 위상 신호(231, 232, 233)로 도시될 수 있다.
예시적으로, 광 검출부는 미리 설정된 프레임 속도를 이용하여 아래의 수학식 2 내지 수학식 5와 같이 복수의 형광 신호(221, 222, 223)에 관한 변조된 형광 신호의 크기를 나타내는 이미지 I1, I2, I3 및 I4를 각각 획득할 수 있다.
Figure 112017011287551-pat00006
Figure 112017011287551-pat00007
Figure 112017011287551-pat00008
Figure 112017011287551-pat00009
상기 수학식 2 내지 수학식 5에서 T는 변조 신호의 주기이며, 변조 주파수 f와 역수 관계로 정의될 수 있다.
형광 이미지 획득 장치에 포함되는 제어부는 포 버킷(four bucket) 방식을 통해 아래의 수학식 6 및 수학식 7과 같이 복수의 형광 신호가 포함된 형광 이미지와 이에 대한 위상 이미지를 획득할 수 있다.
Figure 112017011287551-pat00010
Figure 112017011287551-pat00011
도 3은 일실시예에 따른 형광 이미지를 분리하는 방법을 도시하는 흐름도이다. 도 3를 참조하면, 형광 이미지를 분리하는 방법은 복수의 형광 신호가 포함된 형광 이미지를 이용하여 형광 신호의 존부를 판단하는 단계(310), 상기 형광 신호의 존부에 따라 결정되는 이진 형광 이미지를 추출하는 단계(320), 상기 추출된 이진 형광 이미지에 기초하여 상기 위상 이미지의 랜덤 위상을 제거하는 단계(330), 상기 랜덤 위상이 제거된 위상 이미지에서 각각의 형광 신호에 대응하는 위상 정보가 분리된 각각의 위상 이미지를 추출하는 단계(340) 및 상기 추출된 위상 이미지에 획득된 복수의 형광 신호를 포함하는 형광 이미지를 적용하여 위상 정보에 따라 분리된 다파장 형광 이미지를 획득하는 단계(350)를 포함할 수 있다.
단계(310)에서 형광 이미지 획득 장치는 복수의 형광 신호가 포함된 형광 이미지를 이용하여 형광 신호의 존부를 판단할 수 있다. 상기 형광 이미지는 복수의 형광 물질을 포함하는 샘플에 동일한 주파수로 변조된 복수의 변조 광 신호를 서로 다른 시간 지연으로 출력하여 생성될 수 있다. 또한, 상기 형광 신호는, 상기 복수의 형광 물질이 각각 흡수한 변조 광 신호의 동일한 주파수에 기초하여 임의의 시간 지연 이후에 변조되는 것을 특징으로 할 수 있다.
단계(320)에서 형광 이미지 획득 장치는 상기 형광 신호의 존부에 따라 결정되는 이진 형광 이미지를 추출할 수 있다. 보다 구체적으로, 형광 이미지 획득 장치는 전체 이미지에서 형광 신호가 존재하는 픽셀(pixel)에 제1 바이너리 넘버를 부여하고, 상기 형광 신호가 존재하지 않는 픽셀에 제2 바이너리 넘버를 부여하는 방식으로 이진 형광 이미지를 추출할 수 있다.
이어서, 단계(330)에서 형광 이미지 획득 장치는 추출된 이진 형광 이미지에 기초하여 상기 위상 이미지의 랜덤 위상을 제거할 수 있다. 일실시예로서, 형광 이미지 획득 장치는 위상 이미지에 추출된 이진 형광 이미지를 곱하여 상기 위상 이미지의 랜덤 위상을 제거할 수 있다.
단계(340)에서 형광 이미지 획득 장치는 상기 랜덤 위상이 제거된 위상 이미지에서 각각의 형광 신호에 대응하는 위상 정보가 분리된 각각의 위상 이미지를 추출할 수 있다.
단계(350)에서 형광 이미지 획득 장치는 상기 추출된 위상 이미지에 획득된 복수의 형광 신호를 포함하는 형광 이미지를 적용하여 위상 정보에 따라 분리된 다파장 형광 이미지를 획득할 수 있다. 일실시예로서, 형광 이미지 획득 장치는 추출된 각각의 위상 이미지에 복수의 형광 신호가 포함된 형광 이미지를 곱하여 위상 정보에 의해 분리된 파장별 형광 이미지를 획득할 수 있다.
도 4a 내지 도 4f는 일실시예에 따른 형광 이미지 획득 장치를 통해 획득된 다파장 형광 이미지의 예시도이다. 본 실시예에서, 서로 다른 형광 스펙트럼을 가진 제1 형광 비드 및 제2 형광 비드를 함께 이용하여 형광 비드 샘플을 생성할 수 있다. 예시적으로, 제1 형광 비드는 옐로우-그린 형광 비드, 제2 형광 비드는 오랜지 형광 비드를 나타낼 수 있다.
도 5는 일실시예에 따라 488nm 및 532nm 파장에 각각 대응하는 두 레이저 광원으로 여기되는 두 형광 비드의 스펙트럼을 나타낸다. 도 5에서 도시된 스펙트럼 특성을 가진 제1 형광 비드 및 제2 형광 비드가 도 4a 내지 도 4f에서 설명되는 실시예의 결과를 도출하기 위해 이용될 수 있다. 제1 영역(510)은 옐로우-그린 형광 비드의 흡수 스펙트럼을 나타내고, 제2 영역(520)은 옐로우-그린 형광 비드의 방출(emission) 스펙트럼을 나타낼 수 있다. 또한, 제3 영역(530)은 오랜지 형광 비드의 흡수 스펙트럼을 나타내고, 제4 영역(540)은 오랜지 형광 비드의 방출 스펙트럼을 나타낼 수 있다.
도 4a 및 도 4b는 독립적으로 488nm의 제1 레이저 광원 및 532nm의 제2 레이저 광원 각각을 사용하여 샘플을 여기 시키고, 포 버킷 방법으로 획득한 두 형광 비드의 형광 이미지를 나타낸다. 도 4c는 상기 제1 레이저 광원 및 상기 제2 레이저 광원을 함께 사용하여 샘플을 여기 시키고, 포 버킷 방법으로 획득한 형광 이미지를 나타낸다. 두 형광 비드의 흡수 스펙트럼과 같이, 상기 제1 레이저 광원에 의해 동시에 두 형광 비드가 여기되기 때문에 도 4a 및 도 4c의 형광 이미지는 매우 유사하게 획득될 수 있다.
도 4d 및 도 4e는 본 실시예와 같이 형광 이미지를 분리하는 방법을 이용하여 획득한 두 형광 비드에 대한 다파장 형광 이미지를 도시한다. 도 4f는 도 4d 및 도 4e를 중첩(superposition)하여 획득한 복수의 형광 이미지이다. 본 실시예의 다파장 형광 이미지 획득 방법에 의해 획득된 도 4d는 도 4a와 다르게 부가적인 형광 필터의 사용 없이도 정확하게 단일 형광 비드에 관한 형광 이미지를 도시할 수 있다.
도 6은 다른 일실시예에 따라 형광 이미지 획득 장치를 통해 획득된 다파장 형광 이미지의 예시도이다. 구체적으로, 도 6의 (a) 내지 (d)는 특정 형광 대역 통과 필터를 이용하는 종래 방식의 면 조명 형광 현미경 기술을 이용한 예시도이고, 도 6의 (e) 내지 (h)는 본 실시예의 형광 이미지 획득 방법에 기초하여 획득된 예시도이다. 도 6을 참조하면, 일실시예에 따라 형광 스펙트럼이 중복되는 형광 물질로 염색된 세포에 연관되는 다파장 형광 이미지 획득 실험 결과를 도시한다. 본 실시예에서는 자궁암 세포(Hela Cell)에 Alexa Fluo 488 Phalloidin, MitoTracker Red CMXRos, To-Pro-3 Iodide를 사용하여 액틴(actin), 미토콘드리아(mitochondria), 핵(nucleus)을 다중으로 염색한 샘플을 사용한다. 일실시예로서, 액틴에 연관되는 이미지는 도 6의 (a) 및 (e)를 나타낼 수 있다. 또한, 미토콘드리아에 연관되는 이미지는 도 6의 (b) 및 (f)를 나타낼 수 있다. 또한, 핵에 연관되는 이미지는 도 6의 (c) 및 (g)를 나타낼 수 있다. 액틴, 미토콘드리아 및 핵을 전체로서 포함하는 병합된 이미지(merged image)는 도 6의 (d) 및 (h)를 나타낼 수 있다.
보다 구체적으로, 도 6의 (a) 내지 (c)는 특정 형광 대역 통과 필터를 이용하는 종래 방식의 면 조명 형광 현미경 기술을 이용하여 자궁암 세포의 액틴, 미토콘드리아, 핵의 형광 이미지를 획득한 예시도를 나타낸다. 반면에, 도 6의 (e) 내지 (g)는 본 실시예의 형광 이미지 획득 방법에 기초하여 획득된 상기 염색 영역에 대한 다파장 형광 이미지를 나타낸다. 도 6의 (a) 내지 (c)와 (e) 내지 (g)의 대비 결과에서 나타낸 것과 같이, 포 버킷 방법과 형광 이미지를 분리하는 방법이 적용된 형광 이미지 획득 장치는 복수의 형광 신호를 포함하는 형광 이미지로부터 파장별 독립된 형광 이미지를 분리할 수 있다.
도 7은 도 6 (a) 및 (e)에서 검출된 형광의 세기 프로파일을 나타내는 예시도이다. 도 7을 참조하면, 종래 방식의 면 조명 형광 현미경 기술로 획득한 형광 이미지(도 6의 (a))와 포 버킷 방식을 통해 획득된 형광 이미지(도 6의 (e))의 형광 세기 프로파일이 도시된다. 도 7에 도시된 것과 같이, 포 버킷 방식을 통해 획득된 형광 이미지가 종래 방식과 대비하여 감소된 배경 잡음을 갖는다. 본 실시예에 따른 형광 이미지 획득 장치는 감소된 배경 잡음에 따른 효과로서 동작 범위(dynamic range)가 향상되는 효과를 기대할 수 있다.
도 8은 도 6의 실시예에서 획득된 위상 이미지를 나타낸다. 도 8의 위상 이미지는 도 6의 (d) 및 (f)의 중첩된 형광 이미지보다 염색된 영역 간의 큰 대조를 나타낼 수 있다. 또한, 본 실시예에 따라 획득된 위상 이미지는 형광 신호의 세기가 약해 형광 이미지 상으로는 잘 보이지 않았던 영역에 대해서는 정확히 이미지화하는 효과를 기대할 수 있다.
도 9는 종래 방식과 대비한 본 실시예에 따른 형광 이미지의 신호 대 잡음비 및 대조 비율을 나타내는 그래프이다. 도 9를 참조하면, 특정 형광 대역 통과 필터를 이용하는 종래 방식의 면 조명 형광 현미경 기술에 기초하여 획득된 형광 이미지(710), 포 버킷 방식으로 획득한 형광 이미지(720) 및 위상 이미지(730) 각각의 신호 대 잡음비(SNR: Signal to Noise Ratio) 및 대조 비율(CR: Contrast Ratio)의 비교가 도시된다. 본 실시예에 따라 포 버킷 방식으로 획득한 형광 이미지(720)는 종래 방식에 기초하여 획득된 형광 이미지(710)와 대비하여 10배 이상으로 신호 대 잡음비가 향상되는 것으로 나타낸다. 또한, 획득된 위상 이미지(730)는 두 경우의 형광 이미지 보다 2배 이상의 대조 비율을 갖는 것을 확인할 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (10)

  1. 동일한 주파수로 변조된 복수의 변조 광 신호를 서로 다른 시간 지연으로 각각 출력하는 광원부;
    복수의 형광 물질을 포함하는 샘플에 인가되도록 상기 복수의 변조 광 신호의 경로를 제어하는 광 조명부;
    상기 복수의 형광 물질로부터 각각 방출되는 복수의 형광 신호를 검출하는 광 검출부; 및
    상기 검출된 복수의 형광 신호로부터 복수의 형광 이미지 및 복수의 위상 이미지를 획득하는 제어부
    를 포함하고,
    상기 제어부는 상기 동일한 주파수 f에 대응하는 4f의 프레임 속도를 이용한 포 버킷(four bucket) 방법에 기초하여 상기 복수의 형광 신호를 포함하는 형광 이미지 및 상기 복수의 형광 신호에 대한 위상 이미지를 획득하고, 상기 획득된 위상 이미지와 획득된 형광 신호가 포함된 형광 이미지를 이용하여 위상 정보에 따라 분리된 다파장 형광 이미지를 획득하는 형광 이미지 획득 장치.
  2. 제1항에 있어서,
    상기 제어부는 상기 복수의 형광 신호 각각에 대응하는 위상 이미지를 획득하고, 상기 복수의 형광 신호를 포함하는 형광 이미지를 이용하여 각각의 형광 신호에 대응하는 파장별 형광 이미지를 분리하는 형광 이미지 획득 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 제어부는 상기 복수의 형광 신호에 포함되는 복수의 위상 정보 각각에 대응하는 위상 이미지를 계산하는 형광 이미지 획득 장치.
  5. 삭제
  6. 포 버킷(four bucket) 방법에 기초하여, 복수의 형광 신호를 포함하는 형광 이미지 및 상기 복수의 형광 신호에 대한 위상 이미지를 획득하는 단계;
    상기 복수의 형광 신호가 포함된 형광 이미지를 이용하여 형광 신호의 존부를 판단하는 단계;
    상기 형광 신호의 존부에 따라 결정되는 이진 형광 이미지를 추출하는 단계;
    상기 추출된 이진 형광 이미지에 기초하여 위상 이미지의 랜덤 위상을 제거하는 단계;
    상기 랜덤 위상이 제거된 위상 이미지에서 각각의 형광 신호에 대응하는 위상 정보가 분리된 각각의 위상 이미지를 추출하는 단계; 및
    상기 추출된 위상 이미지에 기초하여 획득된 복수의 형광 신호를 포함하는 형광 이미지를 적용하여 위상 정보에 따라 분리된 다파장 형광 이미지를 획득하는 단계
    를 포함하고,
    상기 복수의 형광 신호가 포함된 형광 이미지는 복수의 형광 물질을 포함하는 샘플에 동일한 주파수로 변조된 복수의 광 신호를 서로 다른 시간 지연으로 출력하여 생성된 형광 신호를 검출하여 획득되는 것을 특징으로 하고, 상기 포 버킷 방법은 상기 동일한 주파수 f에 대응하는 4f의 프레임 속도를 이용하는 형광 이미지를 분리하는 방법.
  7. 삭제
  8. 동일한 주파수로 변조된 복수의 변조 광 신호를 서로 다른 시간 지연으로 각각 출력하는 단계;
    복수의 형광 물질을 포함하는 샘플에 인가되도록 상기 복수의 변조 광 신호의 경로를 제어하는 단계;
    상기 복수의 형광 물질로부터 각각 방출되는 복수의 형광 신호를 검출하는 단계; 및
    상기 검출된 복수의 형광 신호로부터 복수의 형광 이미지 및 복수의 위상 이미지를 획득하는 단계
    를 포함하고,
    상기 동일한 주파수 f에 대응하는 4f의 프레임 속도를 이용한 포 버킷(four bucket) 방법에 기초하여, 상기 복수의 형광 신호를 포함하는 형광 이미지 및 상기 복수의 형광 신호에 대한 위상 이미지를 획득하는 단계; 및
    상기 획득된 위상 이미지와 획득된 형광 신호가 포함된 형광 이미지를 이용하여 위상 정보에 따라 분리된 다파장 형광 이미지를 획득하는 단계
    를 더 포함하는 형광 이미지 처리 방법.
  9. 삭제
  10. 삭제
KR1020170015056A 2017-02-02 2017-02-02 형광 이미지 획득 장치 및 방법 KR101847334B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170015056A KR101847334B1 (ko) 2017-02-02 2017-02-02 형광 이미지 획득 장치 및 방법
US15/660,166 US10386299B2 (en) 2017-02-02 2017-07-26 Apparatus and method for acquiring fluorescence image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170015056A KR101847334B1 (ko) 2017-02-02 2017-02-02 형광 이미지 획득 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101847334B1 true KR101847334B1 (ko) 2018-04-10

Family

ID=61974983

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170015056A KR101847334B1 (ko) 2017-02-02 2017-02-02 형광 이미지 획득 장치 및 방법

Country Status (2)

Country Link
US (1) US10386299B2 (ko)
KR (1) KR101847334B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102104238B1 (ko) * 2018-10-19 2020-04-24 한국과학기술연구원 광변조기 기반 구조 조명 현미경 시스템 및 상기 시스템에 의해 수행되는 이미지 생성 방법
KR20220026476A (ko) * 2020-08-25 2022-03-04 한국과학기술원 반복색분리를 통한 분자 다중 이미징 방법 및 장치
WO2022149744A1 (ko) * 2021-01-05 2022-07-14 한국과학기술원 동시적 채널 업데이트 구조의 반복 상호정보량 최소화를 통한 다색 분리 방법 및 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016210443A1 (en) * 2015-06-25 2016-12-29 David Hyland System and method of reducing noise using phase retrieval

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010014677A (ja) 2008-07-07 2010-01-21 Institute Of Physical & Chemical Research 2光子励起蛍光観察方法及び装置
WO2014057998A1 (ja) * 2012-10-12 2014-04-17 株式会社ニコン 照明装置及び顕微鏡、並びに照明方法及び観察方法
KR101629576B1 (ko) * 2014-12-10 2016-06-10 한국기초과학지원연구원 다파장 형광 이미지를 획득하는 장치 및 방법
JP2016161417A (ja) * 2015-03-02 2016-09-05 キヤノン株式会社 画像処理装置、画像処理方法、イメージングシステム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992013265A1 (en) * 1991-01-24 1992-08-06 The University Of Maryland Method and apparatus for multi-dimensional phase fluorescence lifetime imaging
JP2005091895A (ja) 2003-09-18 2005-04-07 Institute Of Physical & Chemical Research 走査型共焦点顕微鏡装置
US7321791B2 (en) 2003-09-23 2008-01-22 Cambridge Research And Instrumentation, Inc. Spectral imaging of deep tissue
KR101224976B1 (ko) 2009-01-22 2013-01-22 미쯔이 죠센 가부시키가이샤 형광 검출 장치 및 형광 검출 방법
JP4564566B2 (ja) 2009-02-13 2010-10-20 三井造船株式会社 蛍光検出装置及び蛍光検出方法
KR101554385B1 (ko) 2013-03-22 2015-09-21 한국과학기술원 형광 공명 에너지 전이(fret)를 이용한 초고해상도 형광 물질 영상화 방법 및 장치
EP3068900B1 (en) * 2013-11-17 2020-01-08 Quantum-Si Incorporated Active-source-pixel, integrated device for rapid analysis of biological and chemical speciments

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010014677A (ja) 2008-07-07 2010-01-21 Institute Of Physical & Chemical Research 2光子励起蛍光観察方法及び装置
WO2014057998A1 (ja) * 2012-10-12 2014-04-17 株式会社ニコン 照明装置及び顕微鏡、並びに照明方法及び観察方法
KR101629576B1 (ko) * 2014-12-10 2016-06-10 한국기초과학지원연구원 다파장 형광 이미지를 획득하는 장치 및 방법
JP2016161417A (ja) * 2015-03-02 2016-09-05 キヤノン株式会社 画像処理装置、画像処理方法、イメージングシステム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102104238B1 (ko) * 2018-10-19 2020-04-24 한국과학기술연구원 광변조기 기반 구조 조명 현미경 시스템 및 상기 시스템에 의해 수행되는 이미지 생성 방법
KR20220026476A (ko) * 2020-08-25 2022-03-04 한국과학기술원 반복색분리를 통한 분자 다중 이미징 방법 및 장치
KR102655200B1 (ko) 2020-08-25 2024-04-08 한국과학기술원 반복색분리를 통한 분자 다중 이미징 방법 및 장치
WO2022149744A1 (ko) * 2021-01-05 2022-07-14 한국과학기술원 동시적 채널 업데이트 구조의 반복 상호정보량 최소화를 통한 다색 분리 방법 및 장치

Also Published As

Publication number Publication date
US20180217064A1 (en) 2018-08-02
US10386299B2 (en) 2019-08-20

Similar Documents

Publication Publication Date Title
KR101847334B1 (ko) 형광 이미지 획득 장치 및 방법
JP6454344B2 (ja) 励起ビームの時間ゲート及び蛍光放射の同期検出に基づく誘導放出抑制(sted)顕微鏡法
US8994807B2 (en) Microscopy system and method for creating three dimensional images using probe molecules
US20120287244A1 (en) Non-coherent light microscopy
EP3743758B1 (en) Time-resolved imaging method with high spatial resolution
JP2012032183A (ja) 試料観測装置および試料観測方法
US20230160827A1 (en) Large-field 3d spectral microscopy
US20220236109A1 (en) System and method for hyperspectral imaging in highly scattering media by the spectral phasor approach using two filters
Becker et al. High resolution TCSPC lifetime imaging
US20230384224A1 (en) Methods and apparatus for light-microscopic multicscale recording of biological specimens
Hendrix et al. Implementation and application of pulsed interleaved excitation for dual-color FCS and RICS
US8902421B2 (en) Method and system for active-illumination parallel Raman microspectroscopy
Naredi‐Rainer et al. Confocal microscopy
Jiang et al. Quasi-real-time fluorescence imaging with lifetime dependent contrast
KR101629576B1 (ko) 다파장 형광 이미지를 획득하는 장치 및 방법
KR20150146074A (ko) 멀티모달 현미경
US11953440B2 (en) Method and apparatus for simultaneous nonlinear excitation and detection of different chromophores across a wide spectral range using ultra-broadband light pulses and time-resolved detection
JP2009058405A (ja) 光分析装置
Bednarkiewicz et al. Global analysis of microscopic fluorescence lifetime images using spectral segmentation and a digital micromirror spatial illuminator
Jeong et al. Spectrally resolved fluorescence lifetime imaging microscope using tunable bandpass filters
WO2023275777A1 (en) Simultaneous multi-species super-resolution imaging via temporal multiplexing and single- photon detector array
Park et al. High-contrast epi-fluorescence wide-field imaging of biological cells using integrating-bucket method
WO2022053649A1 (en) Optical microscope for spectrally resolved imaging and method for such a microscope
WO2020037527A1 (zh) 一种超分辨成像方法、装置及终端设备
Bethge et al. Two-Photon Excitation STED Microscopy for Imaging Synapses and Glia in Acute Brain Slices

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant