KR20220029358A - 상호정보량 최소화를 통한 다색 분리 방법 및 장치 - Google Patents

상호정보량 최소화를 통한 다색 분리 방법 및 장치 Download PDF

Info

Publication number
KR20220029358A
KR20220029358A KR1020210090057A KR20210090057A KR20220029358A KR 20220029358 A KR20220029358 A KR 20220029358A KR 1020210090057 A KR1020210090057 A KR 1020210090057A KR 20210090057 A KR20210090057 A KR 20210090057A KR 20220029358 A KR20220029358 A KR 20220029358A
Authority
KR
South Korea
Prior art keywords
images
fluorescent materials
pairs
acquired
electronic device
Prior art date
Application number
KR1020210090057A
Other languages
English (en)
Other versions
KR102628182B1 (ko
Inventor
장재범
윤영규
서준영
심연보
김지원
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to EP21192162.2A priority Critical patent/EP3961194B1/en
Priority to PCT/KR2021/011097 priority patent/WO2022045678A1/ko
Priority to US17/445,629 priority patent/US20220065788A1/en
Publication of KR20220029358A publication Critical patent/KR20220029358A/ko
Application granted granted Critical
Publication of KR102628182B1 publication Critical patent/KR102628182B1/ko

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C07—ORGANIC CHEMISTRY
    • C07K—PEPTIDES
    • C07K19/00—Hybrid peptides, i.e. peptides covalently bound to nucleic acids, or non-covalently bound protein-protein complexes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L27/00—Materials for grafts or prostheses or for coating grafts or prostheses
    • A61L27/14—Macromolecular materials
    • A61L27/22—Polypeptides or derivatives thereof, e.g. degradation products
    • A61L27/227—Other specific proteins or polypeptides not covered by A61L27/222, A61L27/225 or A61L27/24
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L27/00—Materials for grafts or prostheses or for coating grafts or prostheses
    • A61L27/40—Composite materials, i.e. containing one material dispersed in a matrix of the same or different material
    • A61L27/44—Composite materials, i.e. containing one material dispersed in a matrix of the same or different material having a macromolecular matrix
    • A61L27/446—Composite materials, i.e. containing one material dispersed in a matrix of the same or different material having a macromolecular matrix with other specific inorganic fillers other than those covered by A61L27/443 or A61L27/46
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L27/00—Materials for grafts or prostheses or for coating grafts or prostheses
    • A61L27/50—Materials characterised by their function or physical properties, e.g. injectable or lubricating compositions, shape-memory materials, surface modified materials
    • A61L27/56—Porous materials, e.g. foams or sponges
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01J—CHEMICAL OR PHYSICAL PROCESSES, e.g. CATALYSIS OR COLLOID CHEMISTRY; THEIR RELEVANT APPARATUS
    • B01J31/00—Catalysts comprising hydrides, coordination complexes or organic compounds
    • B01J31/26—Catalysts comprising hydrides, coordination complexes or organic compounds containing in addition, inorganic metal compounds not provided for in groups B01J31/02 - B01J31/24
    • B01J31/28—Catalysts comprising hydrides, coordination complexes or organic compounds containing in addition, inorganic metal compounds not provided for in groups B01J31/02 - B01J31/24 of the platinum group metals, iron group metals or copper
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01J—CHEMICAL OR PHYSICAL PROCESSES, e.g. CATALYSIS OR COLLOID CHEMISTRY; THEIR RELEVANT APPARATUS
    • B01J35/00—Catalysts, in general, characterised by their form or physical properties
    • B01J35/02—Solids
    • B01J35/06—Fabrics or filaments
    • C—CHEMISTRY; METALLURGY
    • C07—ORGANIC CHEMISTRY
    • C07K—PEPTIDES
    • C07K14/00—Peptides having more than 20 amino acids; Gastrins; Somatostatins; Melanotropins; Derivatives thereof
    • C—CHEMISTRY; METALLURGY
    • C07—ORGANIC CHEMISTRY
    • C07K—PEPTIDES
    • C07K16/00—Immunoglobulins [IGs], e.g. monoclonal or polyclonal antibodies
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2400/00—Materials characterised by their function or physical properties
    • A61L2400/12—Nanosized materials, e.g. nanofibres, nanoparticles, nanowires, nanotubes; Nanostructured surfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B82—NANOTECHNOLOGY
    • B82Y—SPECIFIC USES OR APPLICATIONS OF NANOSTRUCTURES; MEASUREMENT OR ANALYSIS OF NANOSTRUCTURES; MANUFACTURE OR TREATMENT OF NANOSTRUCTURES
    • B82Y40/00—Manufacture or treatment of nanostructures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • G01N2021/6441—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks with two or more labels

Abstract

본 개시는 상호정보량 최소화를 통한 다색 분리 방법 및 장치를 제공한다. 본 개시에서는, 상이한 생체 분자들에 각각 표지되어 있는 복수, 예컨대 n 개의 형광 물질들에 대해, 복수의 이미지들을 획득하고, 획득된 이미지들 중 두 개로 각각 구성되는 쌍들의 각각에 대해, 쌍들의 각각의 이미지들 사이에서 공유되는 상호정보량을 감소시키면서, 획득된 이미지들로부터 형광 물질들 각각에 대한 이미지들을 분리할 수 있다. 본 개시에 따르면, 하나의 파장대에서 각각의 발광 스펙트럼이 중첩되는 셋 이상의 형광 물질들의 신호들을 분리할 수 있다. 구체적으로, 형광 물질들의 각각의 발광 스펙트럼 측정 없이, 형광 물질들의 수와 동일한 개수의 검출 파장대에서 얻은 이미지들만으로도 형광 물질들 각각에 대한 이미지들을 분리할 수 있다.

Description

상호정보량 최소화를 통한 다색 분리 방법 및 장치{METHOD AND APPARATUS FOR MULTICOLOR UNMIXING BY MUTUAL INFORMATION MINIMIZATION}
본 개시는 상호정보량 최소화를 통한 다색 분리 방법 및 장치에 관한 것이다.
최근 환자 암 조직 내에 존재하는 면역 세포를 활성화시켜 항암 효과를 내는 면역항암제가 크게 각광받고 있다. 면역항암제는 환자 암 조직 내에 어떤 면역 세포가 존재하는지에 따라 그 항암 효과에 큰 편차가 있다. 환자별 최적의 항암제를 선정하거나 새로운 기작의 면역항암제를 개발하기 위해서는, 환자 암 조직 내부에서 여러 면역 바이오 마커를 동시에 이미징해야 할 필요성이 있다. 기존의 여러 멀티 마커 동시 이미징 기술들은 고가의 특수 장비가 필요하거나, 과정이 복잡하고 이미징 속도가 느리거나, 이미징 과정에서 시료가 파괴되는 등, 여러 단점이 존재하여 면역항암제 개발, 새로운 바이오 마커 발굴, 면역항암제 반응성 예측에 널리 사용되고 있지 못하다. 따라서, 환자별 최적의 면역항암제 추천 및 새로운 면역항암제 개발을 위해서는, 저비용 고효율 무손상 멀티 마커 동시 이미징 기술이 필요하다.
해결하고자 하는 과제는 상호정보량 최소화를 통한 다색 분리 방법 및 장치를 제공하는 것이다.
본 개시에 따른 전자 장치의 동작 방법은, 상이한 생체 분자들에 각각 표지되어 있는 복수의 형광 물질들에 대해, 복수의 이미지들을 획득하는 단계; 및 상기 획득된 이미지들 중 두 개로 각각 구성되는 쌍들의 각각에 대해, 상기 쌍들의 각각의 이미지들 사이에서 공유되는 상호정보량을 감소시키면서, 상기 획득된 이미지들로부터 상기 형광 물질들 각각에 대한 이미지들을 분리하는 단계를 포함할 수 있다.
본 개시에 따른 전자 장치는, 메모리, 및 상기 메모리와 연결되고, 상기 메모리에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서를 포함하고, 상기 프로세서는, 메모리, 및 상기 메모리와 연결되고, 상기 메모리에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서를 포함하고, 상기 프로세서는, 상이한 생체 분자들에 각각 표지되어 있는 복수의 형광 물질들에 대해, 복수의 이미지들을 획득하고, 상기 획득된 이미지들 중 두 개로 각각 구성되는 쌍들의 각각에 대해, 상기 쌍들의 각각의 이미지들 사이에서 공유되는 상호정보량을 감소시키면서, 상기 획득된 이미지들로부터 상기 형광 물질들 각각에 대한 이미지들을 분리하도록 구성될 수 있다.
본 개시에 따른 비-일시적인 컴퓨터-판독 가능 저장 매체는, 상이한 생체 분자들에 각각 표지되어 있는 복수의 형광 물질들에 대해, 복수의 이미지들을 획득하는 단계, 및 상기 획득된 이미지들 중 두 개로 각각 구성되는 쌍들의 각각에 대해, 상기 쌍들의 각각의 이미지들 사이에서 공유되는 상호정보량을 감소시키면서, 상기 획득된 이미지들로부터 상기 형광 물질들 각각에 대한 이미지들을 분리하는 단계를 포함하는 방법을 실행하기 위한 하나 이상의 프로그램들을 저장할 수 있다.
본 개시에 따르면, 이미지 분리 성능이 향상될 수 있다. 이 때, 본 개시에서는 하나의 파장대에서 각각의 발광 스펙트럼이 중첩되는 셋 이상의 형광 물질들의 신호들을 분리할 수 있다. 구체적으로, 본 개시에서는 형광 물질들의 각각의 발광 스펙트럼 측정 없이, 형광 물질들의 수와 동일한 개수의 검출 파장대에서 얻은 이미지들만으로도 형광 물질들 각각에 대한 이미지들을 분리할 수 있다.
도 1은 본 개시의 다양한 실시예들에 따른 전자 장치의 블록도이다.
도 2는 본 개시의 다양한 실시예들에 따른 전자 장치의 동작 원리를 설명하기 위한 개략도이다.
도 3은 본 개시의 다양한 실시예들에 따른 전자 장치의 동작 예시를 설명하기 위한 예시도이다.
도 4는 본 개시의 다양한 실시예들에 따른 전자 장치의 상호정보량 최소화를 통한 다색 분리 방법의 흐름도이다.
도 5는 도 4의 획득된 이미지들로부터 형광 물질들 각각에 대한 이미지들을 분리하는 단계를 구체적으로 도시하는 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "??부", "??기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
설명에서는 동작 주체가 생략될 수 있으나, 본 개시에서 설명하는 방법은 전자 장치, 예컨대 컴퓨팅 장치와 형광 현미경을 포함하는 장치에서 구현될 수 있다.
형광 이미징은 시료 내부의 생체 분자를 다양한 형광 물질(fluorophore)로 표지하고 이를 빛으로 여기(excitation)시킨 후, 각 형광 물질에서 방출(emission)되는 빛을 광학현미경으로 탐지하여 시료 내부의 생체 분자를 간접적으로 관찰할 수 있는 기법이다. 형광 물질들은 고유의 화학 구조로 인해 각기 다른 여기 스펙트럼(excitation spectrum)과 방출 스펙트럼(emission spectrum)을 가지며, 이 때 항상 흡수한 빛보다 긴 파장의 빛을 방출하게 된다. 형광 물질들의 여기 및 방출 스펙트럼은 일반적으로 가시광선 범위(400 - 700 nm) 내에서 100 nm 정도의 넓은 너비를 가지고 있다. 하나의 시료에서 여러 생체 분자를 동시에 관찰하기 위해서는 여러 생체 분자를 서로 다른 형광 물질로 표지한 후, 각 형광 물질의 이미지를 선택적으로 얻는 것이 필요하다. 이를 위해, 여기 스펙트럼과 방출 스펙트럼이 겹치지 않는 형광 물질을 사용해야 하는데, 네 개 이상의 형광 물질을 동시에 사용할 시 방출 스펙트럼의 넓은 너비로 인해 형광 물질 간 방출 스펙트럼 겹침이 발생하게 되고 서로 구분할 수 없게 된다. 따라서, 일반적으로 표준 여기 파장(405, 488, 560, 633 nm) 하나 당 하나의 형광 물질 만을 여기시켜 최대 네 개의 생체 분자들을 탐지해 낸다.
최근 의학 진단 및 연구 분야에서 하나의 시료에서 더 많은 생체 분자를 동시에 이미징해야 하는 필요성이 증가하고 있다. 하지만, 기존의 형광 현미경 기법으로는 한번에 최대 네 개의 형광 물질만을 동시에 사용할 수 있다는 한계가 있다. 이러한 한계를 뛰어 넘기 위해서, 다양한 기술들이 개발되었는데, 이 기술들은 크게 세 가지로 나눌 수 있다.
첫 번째로, 반복 염색 기법(Multi-round staining)은, 방출 스펙트럼이 겹치지 않는 3개 혹은 4개의 형광 물질로 시료 내부의 생체 분자를 각각 표지하여 이미징 한 후, 화학적 처리를 통해 형광 물질을 비활성 시키거나 생체 분자에서 형광 물질을 떼어 낸다. 그 후 다시 다른 생체 분자를 동일한 3개 혹은 4개의 형광 물질로 표지하여 이미징한다. 이러한 방법을 반복하면 하나의 생체 시료에서 수십가지 생체 분자를 동시에 관찰하는 것이 가능하다. 하지만, 형광 물질 표지와 비활성 과정을 반복해야 하기 때문에 시간이 오래 걸리고, 반복되는 과정에서 얻은 각 이미지들을 서로 정합(image registration) 해줘야 하는 번거로움이 있다. 또한, 정합의 문제로 인해서 다분자의 분포를 삼차원으로 얻을 수 없다. 게다가, 화학적 처리 과정 중 시료가 손상되는 문제가 있다.
두 번째로, 스펙트럼 이미징 후 신호 분리 기법(Spectral Imaging and Signal unmixing)은, 방출 스펙트럼이 겹치는 여러 형광 물질로 여러 생체 분자를 각각 표지 한 후, 여러 형광 물질을 동시에 여기시킨다. 그 후 여러 검출 파장대에서 시료의 이미지를 얻은 후 파장대별 각 형광 물질의 상대적 세기에 대한 정보를 바탕으로, 얻은 이미지를 각 형광 물질만의 이미지로 분리한다. 만약 다양한 생체분자를 표지한 각 형광 물질의 방출 스펙트럼을 알고 있다면, 형광 물질의 파장 별 방출 세기를 바탕으로 각 형광 물질의 이미지를 분리(unmixing)하는 것이 가능하다. 하지만, 형광 물질의 방출 스펙트럼을 정확히 측정(calibration)하기 위해 스펙트랄 디텍터(spectral detector)라는 고가의 특수 장비를 필요로 한다. 그리고, 각 형광 물질의 파장 별 세기는 현미경 내부의 광학적 특성과 카메라의 파장 별 감도, 시료의 화학적 조성 등에 따라서 달라지게 된다. 이에 따라, 매 현미경마다, 매 시료마다 각 형광 물질의 방출 스펙트럼을 매번 따로 측정해줘야 한다는 번거로움이 있어 실제로 조직 이미징에 사용되기 매우 어렵다.
세 번째로, 블라인드 신호 분리 기법(Blind Unmixing)은 형광 물질의 방출 스펙트럼을 모르는 상태에서 형광 물질 신호들을 분리해 내는 방법으로, 이를 위해서 독립 성분 분석(Independent Component Analysis; ICA) 혹은 음수 미포함 행렬 분석(Non-negative matrix factorization; NMF)이 사용되어 왔다. 하지만, 수백 만개에 달하는 원소들을 동시에 정확히 유추해야 하므로 신호 분리의 정확성이 크게 떨어져 매우 제한적으로 사용되어 왔다. 예를 들어, 방출 스펙트럼이 겹치는 세 가지 형광 물질 신호를 분리하기 위해서는 3,145,728(=3 x 1024 x 1024)개가 넘는 원소를 동시에 유추해내야 한다(1024 x 1024 해상도 기준). 또한, 기존의 ICA, NMF는 분리를 위해서 필요한 이미지의 수(IMG 행렬의 행의 수)가 반드시 형광 물질의 수(F 행렬의 행의 수)보다 많아야 한다는 조건이 있다. 즉, 8개의 형광 물질을 동시에 이미징 하기 위해서는 9장 이상의 이미지를 얻어야 하기 때문에 스펙트랄 디텍터(spectral detector)라는 고가의 특수 장비를 필요로 한다.
결론적으로, 기존 다분자 동시 이미징 기법은 실험과정 및 이미징 과정의 번거로움과 복잡성, 신호 분리 부정확도, 특수 장비 요구 등의 문제점으로 인해 실질적으로 연구 및 진단에 활용하기 어려워 활발하게 사용되지 않고 있다. 이러한 문제를 해결하기 위해서, 최근 새로운 블라인드 신호 분리 기반 다분자 동시 이미징 기법(Process of ultra-multiplexed Imaging of biomoleCules viA the unmixing of the Signals of Spectrally Overlapping fluorophores; PICASSO) v1.0 및 v2.0이 개발되었다. PICASSO v1.0 및 v2.0은 두 형광 물질의 신호가 섞여 있는 이미지를 각 형광 물질의 신호만을 담고 있는 이미지들로 분리하는 기술로, 상호정보량 최소화 기법을 이용한다.
PICASSO v1.0에서는, 첫번째 검출 파장대는 첫번째 형광 물질의 신호만이 포함되도록 설정하고, 두번째 검출 파장대에서는 두 형광 물질의 신호가 모두 포함되도록 설정하여 두 이미지 IMG1과 IMG2를 얻는다. IMG1에는 첫번째 형광 물질의 신호만이 포함되어 있고, IMG2에는 두 형광 물질의 신호가 모두 포함되어 있기 때문에 IMG2에서 IMG1을 빼 주면 두 번째 형광 물질의 신호만을 포함하고 있는 이미지를 얻을 수 있다. 이 때, IMG1을 얼마나 빼 주는지 결정하는 것이 중요한데, PICASSO v1.0에서는 IMG2 - α x IMG1과 IMG1 사이의 상호정보량을 최소화하는 α를 찾아냈다. 이 방법은 IMG2에서 IMG1의 신호가 완벽히 제거되어 두 번째 형광 물질의 신호만이 포함되는 경우, 이 이미지와 첫번째 형광 물질의 신호만을 포함하고 있는 IMG1 사이의 상호정보량이 최소화된다는 가정을 바탕으로 한다.
PICASSO v2.0(다른 이름으로는 iterative PICASSO)은 PICASSOR v1.0을 개량한 것으로, 첫번째 검출 파장대에 두 형광 물질의 신호가 모두 포함되는 경우에도 두 이미지 IMG1, IMG2를 각각의 형광 물질의 신호만 포함되어 있는 두 이미지로 분리할 수 있는 기술이다. PICASSO v2.0에서는, 첫번째 검출 파장대를 좀 더 넓게 사용할 수 있어서 IMG1의 신호대잡음비가 높아진다는 장점이 있다. 또한, 첫번째 형광 물질로 표지된 마커가 거의 존재하지 않는 경우에도 잘 작동한다는 장점이 있다.
PICASSO v1.0 및 v2.0은 기존의 신호 분리 기법(spectral unmixing)과 비교해서 여러 장점이 있는데, 먼저 분리하고자 하는 형광 물질의 수와 같은 숫자의 이미지만을 필요로 하기 때문에 스펙트랄 디텍터와 같은 특수 장비 없이, 필터 방식으로도 구현할 수 있다는 장점이 있다. 또한, 기존의 신호 분리 기법이 분리하려고 하는 형광 물질의 발광 스펙트럼을 따로 측정해야 하는 과정이 필요했다면, PICASSO v1.0 및 v2.0은 이런 별도의 측정이 필요 없다는 장점이 있다. 많은 형광 물질의 경우, 시료 내부의 화학적 환경에 따라서 발광 스펙트럼이 달라지기 때문에 실제로 형광 물질의 발광 스펙트럼이 정확하게 측정하는 것이 매우 어렵다. PICASSO v1.0 및 2.0은 이런 측정 과정이 필요 없기 때문에, 다양한 시료에서 모두 잘 작동하는 장점이 있다. PICASSO v1.0 및 v2.0 기술을 일반적으로 많이 사용하는 5개의 파장대(UV, blue, green, red, IR)에 적용하는 경우, 각 파장대별로 2개의 형광 물질을 사용할 수 있어서 총 10개의 형광 물질을 동시에 사용할 수 있다. 또한, 각 파장대별로 large Stokes shift 형광 물질을 추가하는 경우, 총 15개의 형광 물질을 동시에 사용할 수 있다.
이하에서, 본 개시는 PICASSO v1.0 및 v2.0로부터 개량된 PICASSO v3.0을 제안한다. PICASSOR v3.0은 발광 스펙트럼이 겹치는 3개 이상의 형광 물질의 신호를 별도의 형광 물질 발광 스펙트럼 측정 없이, 형광 물질의 수와 동일한 개수의 검출 파장대에서 얻은 이미지만으로 분리할 수 있는 기술이다.
도 1은 본 개시의 다양한 실시예들에 따른 전자 장치(100)의 블록도이다. 도 2는 본 개시의 다양한 실시예들에 따른 전자 장치(100)의 동작 원리를 설명하기 위한 개략도이다.
도 1을 참조하면, 본 개시의 다양한 실시예들에 따른 전자 장치(100)는 디텍터(110), 입력 모듈(120), 출력 모듈(130), 메모리(140) 또는 프로세서(150) 중 적어도 어느 하나를 포함할 수 있다. 어떤 실시예에서는 전자 장치(100)의 구성 요소들 중 적어도 어느 하나가 생략되거나, 전자 장치(100)에 하나 이상의 다른 구성 요소들이 추가될 수 있다.
디텍터(110)는 시료에 대한 이미지를 촬영할 수 있다. 이 때 디텍터(110)은 전자 장치(100)의 미리 정해진 위치에 설치되어, 이미지를 촬영할 수 있다. 예를 들면, 디텍터(110)는 sCMOS(scientific complementary metal-oxide-semiconductor) 카메라, PMT(photo multiplier tube), 혹은 그 이외에 빛의 세기를 측정하여 이를 이미지로 표현할 수 있는 장비 중 적어도 어느 하나를 포함할 수 있다.
입력 모듈(120)은 전자 장치(100)의 구성 요소들 중 적어도 어느 하나에 사용될 명령 또는 데이터를 전자 장치(100)의 외부로부터 수신할 수 있다. 이 때 입력 모듈(120)은 입력 장치 또는 수신 장치 중 적어도 어느 하나를 포함할 수 있다. 예를 들면, 입력 장치는 마이크(microphone), 마우스 또는 키보드 중 적어도 어느 하나를 포함할 수 있다. 어떤 실시예에서, 입력 장치는 터치를 감지하도록 설정된 터치 회로(touch circuitry) 또는 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로 중 적어도 어느 하나를 포함할 수 있다. 수신 장치는 무선 수신 장치 또는 유선 수신 장치 중 적어도 어느 하나를 포함할 수 있다.
출력 모듈(130)은 전자 장치(100)의 외부로 정보를 제공할 수 있다. 이 때 출력 모듈(130)은 표시 장치 또는 송신 장치 중 적어도 어느 하나를 포함할 수 있다. 예를 들면, 표시 장치는 디스플레이, 홀로그램 장치, 또는 프로젝터 중 적어도 어느 하나를 포함할 수 있다. 어떤 실시예에서, 표시 장치는 입력 모듈(120)의 터치 회로 또는 센서 회로 중 적어도 어느 하나와 조립되어, 터치 스크린으로 구현될 수 있다. 송신 장치는 무선 송신 장치 또는 유선 송신 장치 중 적어도 어느 하나를 포함할 수 있다.
일 실시예에 따르면, 수신 장치와 송신 장치는 하나의 통신 모듈로 통합될 수 있다. 통신 모듈은 전자 장치(100)와 외부 장치(미도시) 간 통신을 지원할 수 있다. 이러한 통신 모듈은 무선 통신 모듈 또는 유선 통신 모듈 중 적어도 어느 하나를 포함할 수 있다. 이 때 무선 통신 모듈은 무선 수신 장치 또는 무선 송신 장치 중 적어도 어느 하나로 이루어질 수 있다. 그리고, 무선 통신 모듈은 원거리 통신 방식 또는 근거리 통신 방식 중 적어도 어느 하나를 지원할 수 있다. 근거리 통신 방식은, 예컨대 블루투스(Bluetooth), 와이파이 다이렉트(WiFi direct), 또는 적외선 통신(IrDA; infrared data association) 중 적어도 어느 하나를 포함할 수 있다. 무선 통신 모듈은 네트워크를 통해 원거리 통신 방식으로 통신할 수 있으며, 네트워크는, 예컨대 셀룰러 네트워크, 인터넷, 또는 LAN(local area network)이나 WAN(wide area network)과 같은 컴퓨터 네트워크 중 적어도 어느 하나를 포함할 수 있다. 한편, 유선 통신 모듈은 유선 수신 장치 또는 유선 송신 장치 중 적어도 어느 하나로 이루어질 수 있다.
메모리(140)는 전자 장치(100)의 구성 요소들 중 적어도 어느 하나에 의해 사용되는 프로그램 또는 데이터 중 적어도 어느 하나를 저장할 수 있다. 예를 들면, 메모리(140)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 어느 하나를 포함할 수 있다.
프로세서(150)는 메모리(140)의 프로그램을 실행하여, 전자 장치(100)의 구성 요소들 중 적어도 어느 하나를 제어할 수 있고, 데이터 처리 또는 연산을 수행할 수 있다. 프로세서(150)는 상이한 생체 분자들에 각각 표지되어 있는 복수, 예컨대 n 개의 형광 물질들에 대해, 복수, 예컨대 n 개의 이미지들을 획득할 수 있다. 이 때, 프로세서(150)는 서로로부터 구분되는 상이한 검출 파장대들에서 복수의 이미지들을 각각 획득할 수 있다. 검출 파장대들의 각각에서는, 형광 물질들 중 적어도 두 개의 방출 스펙트럼들이 중첩될 수 있다. 여기서, n은 3 이상의 숫자일 수 있으며, 바꿔 말하면, 프로세서(150)는 셋 이상의 형광 물질들에 대해, 셋 이상의 이미지들을 획득할 수 있다. 그리고, 프로세서(150)는 획득된 이미지들 중 두 개로 각각 구성되는 쌍들의 각각에 대해, 쌍들의 각각의 이미지들 사이에서 공유되는 상호정보량을 감소시키면서, 획득된 이미지들로부터 형광 물질들 각각에 대한 이미지들을 분리할 수 있다.
예를 들면, 하나의 레이저로 n 개의 형광 물질을 동시에 여기하여, 검출 파장대가 상이한 n 개의 이미지들을 얻게 되면, 각 이미지에는 n 종류의 형광 물질들의 이미지들이 선형적으로 더해져 나타나게 된다(
Figure pat00001
). 이 때, 각 이미지별로 여러 형광 물질의 이미지가 선형적으로 더해지는 변수(α)는 다르게 된다. 검출 파장대를 선정함에 있어, 각 파장대별로 하나의 형광 물질의 방출 스펙트럼의 고점을 포함하도록 설계된다. 검출 파장대별로 하나의 형광 물질의 고점을 포함함이 보장될 경우, 이 이미지에서 다른 나머지 n-1 개의 이미지를 선형적으로 감하는 연산을 수행할 경우, 해당 대역에서 고점을 가지는 형광 물질에 비해 다른 분자로 인한 성분이 우선적으로 제거됨이 보장된다. 모든 m과 k에 대해 αkm, IMGch,m, IMGF,k, 모두 양의 실수를 유지하는 범위 내에서 해당 성분의 크기를 정확히 추론하여 제거하기 위해, 도 2에 도시된 바와 같은 이중 루프 구조의 반복 업데이트 알고리즘(iterative update algorithm)이 제시된다.
프로세서(150)는 n 장의 이미지 중 두 장을 선정하고, 각 두 장을 X, Y라고 한다(단계 i). 그리고, 프로세서(150)는 X와 Y - αX의 상호정보량 I(X; Y - αX)을 최소화할 수 있는 α를 찾아 Y를 하기 [수학식 1]과 같이 갱신한다(단계 ii). 여기서, 프로세서(150)는 상호정보량을 계산하고, 갱신은 다운샘플링, 양자화되지 않은 Y를 사용한다. 프로세서(150)은 상호정보량을 계산하기 전, 필요한 경우, 획득된 이미지들을 다운샘플링 및 양자화(quantization)할 수 있다.
Figure pat00002
여기서, ζ는 갱신 속도를 나타내며, 0과 1 사이의 실수이다.
이 때, 프로세서(150)는 n 장의 이미지 중 가능한 모든 순열 조합(nP2)에 따라 두 장을 선정하여, 상기의 과정(단계 i 및 단계 ii)을 반복한다(단계 iii). 여기서, 프로세서(150)는 상기의 과정(단계 i, 단계 ii 및 단계 iii)을 정해진 횟수(p)만큼 반복한다. 이 때, 횟수(p)는 목표 정확도(ε)와 갱신 속도(ζ)에 따라 하기 [수학식 2]를 만족하는 양의 정수로 정해진다.
Figure pat00003
도 3은 본 개시의 다양한 실시예들에 따른 전자 장치(100)의 동작 예시를 설명하기 위한 예시도이다. 도 3에서, (a)는 전자 장치(100)에서 검출되는 검출 파장대의 예시에 대한 그래프로서, 각 검출 파장대에는, 488 nm 레이저만을 사용하여 여기된 세 개의 형광 물질(CF488, ATTO514, ATTO532)의 방출 스펙트럼들이 중첩되어 있고, (b)는 NeuN 기니피그 항체와 GFAP 쥐 항체 대조군의 염색 이미지이고, (c)는 세 개의 검출 파장대로 얻은 신호 분리 전 이미지이고, (d)는 신호 분리 후 이미지이며, 빨간색은 PV를 나타내고, 초록색은 NeuN을 나타내며, 파란색은 GFAP을 나타낸다.
도 3을 참조하면, 반복 업데이트 알고리즘의 유효성을 검증하기 위하여, 쥐 뇌 절편 내부의 NeuN, GFAP, PV 3가지 단백질을 방출 스펙트럼이 겹치는 세 개의 형광 물질로 표지하고 반복 업데이트 알고리즘을 사용하여 신호 분리하였다. 이렇게 분리된 이미지가 실제로 하나의 형광 물질의 신호만을 포함하고 있는지 확인하기 위하여 NeuN과 GFAP를 다른 파장대의 형광 물질로 동시에 염색하였다. (b)의 두 이미지는 이렇게 다른 파장대 형광 물질로 표지된 NeuN과 GFAP의 이미지이다. 그 후 서로 발광 스펙트럼이 겹치는 세 형광 물질의 신호를 (a)에 표시된 세 검출 파장대에서 얻었다. (c)에 나온 것처럼, 세 검출 파장대에서 얻은 세 이미지는 모두 세 단백질(NeuN, GFAP, PV)을 포함하고 있었다. 이 세 이미지에 PICASSO v3.0의 반복 업데이트 알고리즘을 적용하여 분리한 결과가 (d)에 표시되어 있다. (d)의 channel 2,3의 이미지를 (b)의 두 이미지와 비교해보면, PICASSO v3.0 기술로 분리된 세 이미지 중 두 이미지가 각각 NeuN과 GFAP만을 포함하고 있는 것을 알 수 있다. 이처럼 PICASSO v3.0을 통해 신호 분리한 이미지는 세 단백질을 명확히 구분할 수 있었다. 이를 통해, PICASSO v1.0 및 v2.0보다 PICASSO v3.0이 향상된 다분자 형광 이미징 능력을 갖추었음을 입증하였다. PICASSO v3.0을 사용하면, 하나의 파장대에서 세 개 이상의 형광 물질을 동시에 사용할 수 있고, large Stokes shift 형광 물질을 추가하면 네 개 이상의 형광 물질을 동시에 사용할 수 있다. 따라서, 일반적으로 많이 사용하는 5 개의 파장대에 PICASSO v3.0을 적용하는 경우, 총 20개 이상의 형광 물질을 동시에 사용할 수 있다
도 4는 본 개시의 다양한 실시예들에 따른 전자 장치(100)의 상호정보량 최소화를 통한 다색 분리 방법의 흐름도이다.
도 4를 참조하면, 전자 장치(100)는 410 단계에서 상이한 생체 분자들에 각각 표지되어 있는 복수, 예컨대 n 개의 형광 물질들에 대해, 복수, 예컨대 n 개의 이미지들을 획득할 수 있다. 이 때, 프로세서(150)는 서로로부터 구분되는 상이한 검출 파장대들에서 복수의 이미지들을 각각 획득할 수 있다. 검출 파장대들의 각각에서는, 형광 물질들 중 적어도 두 개의 방출 스펙트럼들이 중첩될 수 있다. 여기서, n은 3 이상의 숫자일 수 있으며, 바꿔 말하면, 프로세서(130)는 셋 이상의 형광 물질들에 대해, 셋 이상의 이미지들을 획득할 수 있다.
다음으로, 전자 장치(100)는 420 단계에서 획득된 이미지들 중 두 개로 각각 구성되는 쌍들의 각각에 대해, 쌍들의 각각의 이미지들 사이에서 공유되는 상호정보량을 감소시키면서, 획득된 이미지들로부터 상기 형광 물질들 각각에 대한 이미지들을 분리할 수 있다. 이를 위해, 프로세서(150)는 쌍들의 각각의 이미지들에 대해 계산되는 상호정보량 최소화를 위한 변수(α)를 적용하여, 획득된 이미지들로 갱신되는 복수의 새로운 이미지들을 획득하는 동작을 수행하도록 구성될 수 있다. 이로써, 획득된 이미지들이 형광 물질들 각각에 대한 이미지들로 획득될 수 있다. 이 때, 프로세서(150)는 미리 정해진 갱신 속도(ζ)에 따라, 이러한 동작을 수행할 수 있다. 어떤 실시예들에서, 이러한 동작은, 미리 정해진 횟수(p)만큼 반복될 수 있다. 이러한 동작의 반복이 완료되면, 프로세서(150)는 최종적으로 획득된 이미지들이 형광 물질들 각각에 대한 이미지들로 획득될 수 있다. 예를 들면, 이러한 동작은, 도 2에 도시된 바와 같은 이중 루프 구조의 반복 업데이트 알고리즘에 따라 반복될 수 있다. 이에 대해, 도 5를 참조하여, 보다 상세하게 후술될 것이다.
도 5는 도 4의 획득된 이미지들로부터 형광 물질들 각각에 대한 이미지들을 분리하는 단계(420 단계)를 구체적으로 도시하는 흐름도이다.
도 2와 함께, 도 5를 참조하면, 전자 장치(100)는 521 단계에서 n 개의 획득된 이미지들 중 두 개(X, Y)로 각각 구성되는 쌍들을 결정할 수 있다. 이 때, 프로세서(150)는 n 개의 획득된 이미지들로부터 가능한 모든 순열 조합(nP2)에 따라 쌍들을 결정할 수 있다.
전자 장치(100)는 523 단계에서 쌍들의 각각에 대해 변수(α)를 계산할 수 있다. 이 때, 프로세서(150)는 쌍들의 각각의 이미지(X, Y)들을 기반으로, 쌍들의 각각에 대한 상호정보량을 계산할 수 있다. 여기서, 상호정보량은 하기 [수학식 3]과 같이 정의될 수 있다. 이를 통해, 프로세서(150)는 계산되는 상호정보량으로부터, 변수(α)를 계산할 수 있다. 다시 말해, 프로세서(150)는 이미지(X, Y)들로부터 상호정보량을 계산할 수 있다. 프로세서(150)은 상호정보량을 계산하기 전, 필요한 경우, 획득된 이미지들을 다운샘플링 및 양자화(quantization)할 수 있다.
Figure pat00004
전자 장치(100)는 525 단계에서 쌍들의 각각에 변수(α)를 적용하여, 획득된 이미지(X, Y)들로 갱신되는 새로운 이미지(X, Y)들을 획득할 수 있다. 이 때, 프로세서(150)는 하기 [수학식 4]와 같이, 쌍들의 각각의 이미지(X, Y)들 중 하나(Y)에 변수(α)와 함께 갱신 속도(ζ)를 적용하여, 쌍들의 각각에 대해, 이미지(X, Y)들 중 하나(Y)를 갱신할 수 있다. 여기서, 프로세서(150)는 획득된 이미지(Y)들, 즉 다운샘플링 및 양자화되지 않은 고해상도 이미지(Y)들을 갱신할 수 있다.
Figure pat00005
전술된 설명에서, 521 단계에서 결정된 쌍들의 각각에 대해서 523 단계 및 525 단계가 실행되지만, 이에 제한되는 것은 아니다. 즉, 하나의 쌍에 대해서 523 단계 및 525 단계를 수행하여 갱신된 새로운 이미지의 결과가 다른 쌍의 523 단계 및 525 단계에 활용될 수 있다. 예를 들어, 세 개의 획득된 이미지들, 즉 IMG1, IMG2, 및 IMG3이 있을 때, 521 단계에서 여섯 개의 쌍들, 즉 (IMG1, IMG2), (IMG2, IMG1), (IMG1, IMG3), (IMG3, IMG1), (IMG2, IMG3), 및 (IMG3, IMG2)가 결정될 수 있다. 이러한 경우, 먼저 (IMG1, IMG2)에 대해 523 단계 및 525 단계가 수행되어, IMG1이 갱신되어, IMG1'이 획득될 수 있다. 이를 통해, (IMG2, IMG1), (IMG1, IMG3), 및 (IMG3, IMG1)이 (IMG2, IMG1'), (IMG1', IMG3), 및 (IMG3, IMG1')로 각각 전환될 수 있다. 이와 같은 방식으로, 모든 쌍들에 대해 동시에 523 단계 및 525 단계가 수행되거나, 쌍들의 각각에 대해 순차적으로 523 단계 및 525 단계가 진행되어, 쌍들 중 하나에 대한 523 단계 및 525 단계의 결과가 쌍들 중 다른 하나에 대한 523 단계 및 525 단계를 위해 활용될 수 있다. 그리고, 순차적 진행 후, 527 단계로 진행될 수 있다.
전자 장치(100)는 527 단계에서 이전의 단계들을 반복할 지의 여부를 판단할 수 있다. 이 때, 프로세서(150)는, 521 단계 내지 525 단계의 반복 횟수가 미리 정해진 횟수(p)에 도달했는 지의 여부를 판단할 수 있다. 여기서, 반복 횟수가 정해진 횟수(p)에 도달하지 않은 것으로 판단되면, 프로세서(150)는 이전 단계들을 반복해야 하는 것으로 판단하고, 521 단계로 복귀하여, 521 단계 내지 525 단계를 반복하여 수행할 수 있다. 한편, 반복 횟수가 정해진 횟수(p)에 도달한 것으로 판단되면, 프로세서(150)는 이전 단계들을 반복하지 않아도 되는 것으로 판단하고, 529 단계로 진행할 수 있다. 여기서, 횟수(p)는 하기 [수학식 5]와 같이 목표 정확도(ε)와 갱신 속도(ζ)에 따라 만족하는 양의 정수로 정해질 수 있다.
Figure pat00006
이를 통해, 전자 장치(100)는 529 단계에서 최종적으로 획득된 이미지들을 형광 물질들 각각에 대한 이미지들로 획득할 수 있다.
본 개시에 따르면, 이미지 분리 성능이 향상될 수 있다. 이 때, 본 개시에서는 하나의 파장대에서 각각의 발광 스펙트럼이 중첩되는 셋 이상의 형광 물질들의 신호들을 분리할 수 있다. 구체적으로, 본 개시에서는 형광 물질들의 각각의 발광 스펙트럼 측정 없이, 형광 물질들의 수와 동일한 개수의 검출 파장대에서 얻은 이미지들만으로도 형광 물질들 각각에 대한 이미지들을 분리할 수 있다.
본 개시에 따른 전자 장치(100)의 상호정보량 최소화를 통한 다색 분리 방법은, 상이한 생체 분자들에 각각 표지되어 있는 복수의 형광 물질들에 대해, 복수의 이미지들을 획득하는 단계(410 단계), 및 획득된 이미지들 중 두 개로 각각 구성되는 쌍들의 각각에 대해, 쌍들의 각각의 이미지(X, Y)들 사이에서 공유되는 상호정보량을 감소시키면서, 획득된 이미지들로부터 형광 물질들 각각에 대한 이미지들을 분리하는 단계(420 단계)를 포함할 수 있다.
본 개시에 따르면, 복수의 이미지들을 획득하는 단계(410 단계)는, 서로로부터 구분되는 상이한 검출 파장대들에서 복수의 이미지들을 각각 획득하는 단계를 포함할 수 있다.
본 개시에 따르면, 검출 파장대들의 각각에서는, 형광 물질들 중 적어도 두 개의 방출 스펙트럼들이 중첩될 수 있다.
본 개시에 따르면, 형광 물질들 각각에 대한 이미지들을 분리하는 단계(420 단계)는, 쌍들의 각각의 이미지(X, Y)들에 대해 계산되는 상호정보량 최소화를 위한 변수(α)를 적용하여, 획득된 이미지들로 갱신되는 복수의 새로운 이미지들을 획득하는 단계를 포함하고, 이로써 획득된 이미지들이 형광 물질들 각각에 대한 이미지들로 획득될 수 있다.
본 개시에 따르면, 획득된 이미지들로 갱신되는 복수의 새로운 이미지들을 획득하는 단계는, 미리 정해진 갱신 속도(ζ)에 따라, 획득된 이미지들로 갱신되는 복수의 새로운 이미지들을 획득하도록 구성될 수 있다.
본 개시에 따르면, 획득된 이미지들로 갱신되는 복수의 새로운 이미지들을 획득하는 단계는, 미리 정해진 횟수(p)만큼 반복되며, 획득된 이미지들로부터 새로운 이미지들을 획득하는 단계의 반복이 완료되면, 획득된 이미지들이 형광 물질들 각각에 대한 이미지들로 획득될 수 있다.
본 개시에 따르면, 횟수(p)는, 형광 물질들 각각에 대한 이미지들에 대한 목표 정확도 및 갱신 속도를 기반으로, 결정될 수 있다.
본 개시에 따르면, 횟수(p)는, 하기 [수학식 6]과 같이 결정될 수 있다.
Figure pat00007
여기서, p는 횟수를 나타내고, ε는 목표 정확도를 나타내고, ζ는 갱신 속도를 나타내며, 갱신 속도는 0과 1 사이의 실수일 수 있다.
본 개시에 따르면, 획득된 이미지들로 갱신되는 복수의 새로운 이미지들을 획득하는 단계는, 쌍들의 각각의 이미지(X, Y)들로부터 변수(α)를 계산하는 단계(523 단계), 및 쌍들의 각각의 이미지(X, Y)들 중 하나(Y)에 변수(α)를 적용하여, 쌍들의 각각의 이미지(X, Y)들 중 하나(Y)를 갱신하는 단계(525 단계)를 포함할 수 있다.
본 개시에 따른 전자 장치(100)는, 메모리(140), 및 메모리(140)와 연결되고, 메모리(140)에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서(150)를 포함할 수 있다.
본 개시에 따르면, 프로세서(150)는, 상이한 생체 분자들에 각각 표지되어 있는 복수의 형광 물질들에 대해, 복수의 이미지들을 획득하고, 획득된 이미지들 중 두 개로 각각 구성되는 쌍들의 각각에 대해, 쌍들의 각각의 이미지(X, Y)들 사이에서 공유되는 상호정보량을 감소시키면서, 획득된 이미지들로부터 형광 물질들 각각에 대한 이미지들을 분리하도록 구성될 수 있다.
본 개시에 따르면, 프로세서(150)는, 서로로부터 구분되는 상이한 검출 파장대들에서 복수의 이미지들을 각각 획득하도록 구성될 수 있다.
본 개시에 따르면, 검출 파장대들의 각각에서는, 형광 물질들 중 적어도 두 개의 방출 스펙트럼들이 중첩될 수 있다.
본 개시에 따르면, 프로세서(150)는, 쌍들의 각각의 이미지(X, Y)들에 대해 계산되는 상호정보량 최소화를 위한 변수(α)를 적용하여, 획득된 이미지들로 갱신되는 복수의 새로운 이미지들을 획득하는 동작을 수행하도록 구성되고, 이로써 획득된 이미지들이 형광 물질들 각각에 대한 이미지들로 획득될 수 있다.
본 개시에 따르면, 프로세서(150)는, 미리 정해진 갱신 속도(ζ)에 따라, 동작을 수행하도록 구성될 수 있다.
본 개시에 따르면, 프로세서(150)는, 상기 동작을 미리 정해진 횟수(p)만큼 반복하도록 구성되고, 상기 동작의 반복이 완료되면, 획득된 이미지들이 형광 물질들 각각에 대한 이미지들로 획득될 수 있다.
본 개시에 따르면, 상기 횟수(p)는, 형광 물질들 각각에 대한 이미지들에 대한 목표 정확도(ε) 및 갱신 속도(ζ)를 기반으로, 결정될 수 있다.
본 개시에 따르면, 상기 횟수(p)는, 하기 [수학식 7]과 같이 결정될 수 있다.
Figure pat00008
여기서, p는 횟수를 나타내고, ε는 목표 정확도를 나타내고, ζ는 갱신 속도를 나타내며, 갱신 속도는 0과 1 사이의 실수일 수 있다.
본 개시에 따르면, 프로세서(150)는, 쌍들의 각각의 이미지(X, Y)들로부터 변수(α)를 계산하고, 쌍들의 각각의 이미지(X, Y)들 중 하나(Y)에 변수(α)를 적용하여, 쌍들의 각각의 이미지(X, Y)들 중 하나(Y)를 갱신하도록 구성될 수 있다.
이상에서 설명한 본 개시의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 개시의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 개시의 실시예에 대하여 상세하게 설명하였지만 본 개시의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 개시의 기본 개념을 이용한 여러 변형 및 개량 형태 또한 본 개시의 권리범위에 속하는 것이다.

Claims (20)

  1. 전자 장치의 방법에 있어서,
    상이한 생체 분자들에 각각 표지되어 있는 복수의 형광 물질들에 대해, 복수의 이미지들을 획득하는 단계; 및
    상기 획득된 이미지들 중 두 개로 각각 구성되는 쌍들의 각각에 대해, 상기 쌍들의 각각의 이미지들 사이에서 공유되는 상호정보량을 감소시키면서, 상기 획득된 이미지들로부터 상기 형광 물질들 각각에 대한 이미지들을 분리하는 단계
    를 포함하는,
    방법.
  2. 제 1 항에 있어서,
    상기 복수의 이미지들을 획득하는 단계는,
    서로로부터 구분되는 상이한 검출 파장대들에서 상기 복수의 이미지들을 각각 획득하는 단계
    를 포함하는,
    방법.
  3. 제 2 항에 있어서,
    상기 검출 파장대들의 각각에서는,
    상기 형광 물질들 중 적어도 두 개의 방출 스펙트럼들이 중첩되는,
    방법.
  4. 제 1 항에 있어서,
    상기 형광 물질들 각각에 대한 이미지들을 분리하는 단계는,
    상기 쌍들의 각각의 이미지들에 대해 계산되는 상호정보량 최소화를 위한 변수를 적용하여, 상기 획득된 이미지들로 갱신되는 복수의 새로운 이미지들을 획득하는 단계
    를 포함하고, 이로써 상기 획득된 이미지들이 상기 형광 물질들 각각에 대한 이미지들로 획득되는,
    방법.
  5. 제 4 항에 있어서,
    상기 획득된 이미지들로 갱신되는 복수의 새로운 이미지들을 획득하는 단계는,
    미리 정해진 갱신 속도에 따라, 상기 획득된 이미지들로 갱신되는 복수의 새로운 이미지들을 획득하도록 구성되는,
    방법.
  6. 제 5 항에 있어서,
    상기 획득된 이미지들로 갱신되는 복수의 새로운 이미지들을 획득하는 단계는,
    미리 정해진 횟수만큼 반복되며,
    상기 획득된 이미지들로부터 새로운 이미지들을 획득하는 단계의 반복이 완료되면, 상기 획득된 이미지들이 상기 형광 물질들 각각에 대한 이미지들로 획득되는,
    방법.
  7. 제 6 항에 있어서,
    상기 횟수는,
    상기 형광 물질들 각각에 대한 이미지들에 대한 목표 정확도 및 상기 갱신 속도를 기반으로, 결정되는,
    방법.
  8. 제 7 항에 있어서,
    상기 횟수는,
    하기 [수학식 i]과 같이 결정되는,
    [수학식 i]
    Figure pat00009

    여기서, 상기 p는 상기 횟수를 나타내고, 상기 ε는 상기 목표 정확도를 나타내고, 상기 ζ는 상기 갱신 속도를 나타내며, 상기 갱신 속도는 0과 1 사이의 실수임.
    방법.
  9. 제 4 항에 있어서,
    상기 획득된 이미지들로 갱신되는 복수의 새로운 이미지들을 획득하는 단계는,
    상기 쌍들의 각각의 이미지들로부터 상기 변수를 계산하는 단계; 및
    상기 쌍들의 각각의 이미지들 중 하나에 상기 변수를 적용하여, 상기 쌍들의 각각의 이미지들 중 하나를 갱신하는 단계
    를 포함하는,
    방법.
  10. 전자 장치에 있어서,
    메모리; 및
    상기 메모리와 연결되고, 상기 메모리에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서를 포함하고,
    상기 프로세서는,
    상이한 생체 분자들에 각각 표지되어 있는 복수의 형광 물질들에 대해, 복수의 이미지들을 획득하고,
    상기 획득된 이미지들 중 두 개로 각각 구성되는 쌍들의 각각에 대해, 상기 쌍들의 각각의 이미지들 사이에서 공유되는 상호정보량을 감소시키면서, 상기 획득된 이미지들로부터 상기 형광 물질들 각각에 대한 이미지들을 분리하도록 구성되는,
    전자 장치.
  11. 제 10 항에 있어서,
    상기 프로세서는,
    서로로부터 구분되는 상이한 검출 파장대들에서 상기 복수의 이미지들을 각각 획득하도록 구성되는,
    전자 장치.
  12. 제 11 항에 있어서,
    상기 검출 파장대들의 각각에서는,
    상기 형광 물질들 중 적어도 두 개의 방출 스펙트럼들이 중첩되는,
    전자 장치.
  13. 제 10 항에 있어서,
    상기 프로세서는,
    상기 쌍들의 각각의 이미지들에 대해 계산되는 상호정보량 최소화를 위한 변수를 적용하여, 상기 획득된 이미지들로 갱신되는 복수의 새로운 이미지들을 획득하는 동작을 수행하도록 구성되고,
    이로써 상기 획득된 이미지들이 상기 형광 물질들 각각에 대한 이미지들로 획득되는,
    전자 장치.
  14. 제 13 항에 있어서,
    상기 프로세서는,
    미리 정해진 갱신 속도에 따라, 상기 동작을 수행하도록 구성되는,
    전자 장치.
  15. 제 14 항에 있어서,
    상기 프로세서는,
    상기 동작을 미리 정해진 횟수만큼 반복하도록 구성되고,
    상기 동작의 반복이 완료되면, 상기 획득된 이미지들이 상기 형광 물질들 각각에 대한 이미지들로 획득되는,
    전자 장치.
  16. 제 15 항에 있어서,
    상기 횟수는,
    상기 형광 물질들 각각에 대한 이미지들에 대한 목표 정확도 및 상기 갱신 속도를 기반으로, 결정되는,
    전자 장치.
  17. 제 16 항에 있어서,
    상기 횟수는,
    하기 [수학식 ii]와 같이 결정되는,
    [수학식 ii]
    Figure pat00010

    여기서, 상기 p는 상기 횟수를 나타내고, 상기 ε는 상기 목표 정확도를 나타내고, 상기 ζ는 상기 갱신 속도를 나타내며, 상기 갱신 속도는 0과 1 사이의 실수임.
    전자 장치.
  18. 제 13 항에 있어서,
    상기 프로세서는,
    상기 쌍들의 각각의 이미지들로부터 상기 변수를 계산하고,
    상기 쌍들의 각각의 이미지들 중 하나에 상기 변수를 적용하여, 상기 쌍들의 각각의 이미지들 중 하나를 갱신하도록 구성되는,
    전자 장치.
  19. 비-일시적인 컴퓨터-판독 가능 저장 매체에 있어서,
    상이한 생체 분자들에 각각 표지되어 있는 복수의 형광 물질들에 대해, 복수의 이미지들을 획득하는 단계; 및
    상기 획득된 이미지들 중 두 개로 각각 구성되는 쌍들의 각각에 대해, 상기 쌍들의 각각의 이미지들 사이에서 공유되는 상호정보량을 감소시키면서, 상기 획득된 이미지들로부터 상기 형광 물질들 각각에 대한 이미지들을 분리하는 단계
    를 포함하는 방법을 실행하기 위한 하나 이상의 프로그램들을 저장하기 위한,
    비-일시적인 컴퓨터-판독 가능 저장 매체.
  20. 제 19 항에 있어서,
    상기 형광 물질들 각각에 대한 이미지들을 분리하는 단계는,
    상기 쌍들의 각각의 이미지들에 대해 계산되는 상호정보량 최소화를 위한 변수를 적용하여, 상기 획득된 이미지들로 갱신되는 복수의 새로운 이미지들을 획득하는 단계
    를 포함하고, 이로써 상기 획득된 이미지들이 상기 형광 물질들 각각에 대한 이미지들로 획득되는,
    비-일시적인 컴퓨터-판독 가능 저장 매체.
KR1020210090057A 2020-08-25 2021-07-09 상호정보량 최소화를 통한 다색 분리 방법 및 장치 KR102628182B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21192162.2A EP3961194B1 (en) 2020-08-25 2021-08-19 Method and apparatus for multiplexed imaging of biomolecules through iterative unmixing of fluorophore signals
PCT/KR2021/011097 WO2022045678A1 (ko) 2020-08-25 2021-08-20 형광 물질 신호들의 반복적 분리를 통한 분자 다중 이미징 방법 및 장치
US17/445,629 US20220065788A1 (en) 2020-08-25 2021-08-23 Method and apparatus for multiplexed imaging of biomolecule through iterative unmixing of fluorophore signals

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200109519 2020-08-28
KR1020200109519 2020-08-28

Publications (2)

Publication Number Publication Date
KR20220029358A true KR20220029358A (ko) 2022-03-08
KR102628182B1 KR102628182B1 (ko) 2024-01-24

Family

ID=80813587

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210090057A KR102628182B1 (ko) 2020-08-25 2021-07-09 상호정보량 최소화를 통한 다색 분리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102628182B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015108549A (ja) * 2013-12-04 2015-06-11 横河電機株式会社 細胞検査装置および細胞検査方法
KR20160108316A (ko) * 2013-11-17 2016-09-19 퀀텀-에스아이 인코포레이티드 생물학 및 화학 시편들의 빠른 분석을 위한 액티브-소스-픽셀, 통합 디바이스
JP2019502418A (ja) * 2015-10-28 2019-01-31 スペクトラル エムディー, インコーポレイテッドSpectral Md, Inc. 組織を分類するための反射モードマルチスペクトル時間分解型光学撮像の方法および装置
JP2019158968A (ja) * 2018-03-08 2019-09-19 シャープ株式会社 表示制御装置、撮像装置、表示システム、表示制御方法及びプログラム
US20190339203A1 (en) * 2018-05-03 2019-11-07 Akoya Biosciences, Inc. Multispectral Sample Imaging

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160108316A (ko) * 2013-11-17 2016-09-19 퀀텀-에스아이 인코포레이티드 생물학 및 화학 시편들의 빠른 분석을 위한 액티브-소스-픽셀, 통합 디바이스
JP2015108549A (ja) * 2013-12-04 2015-06-11 横河電機株式会社 細胞検査装置および細胞検査方法
JP2019502418A (ja) * 2015-10-28 2019-01-31 スペクトラル エムディー, インコーポレイテッドSpectral Md, Inc. 組織を分類するための反射モードマルチスペクトル時間分解型光学撮像の方法および装置
JP2019158968A (ja) * 2018-03-08 2019-09-19 シャープ株式会社 表示制御装置、撮像装置、表示システム、表示制御方法及びプログラム
US20190339203A1 (en) * 2018-05-03 2019-11-07 Akoya Biosciences, Inc. Multispectral Sample Imaging

Also Published As

Publication number Publication date
KR102628182B1 (ko) 2024-01-24

Similar Documents

Publication Publication Date Title
JP4634304B2 (ja) 蛍光色素の濃度を定量する方法およびシステム
US6456734B1 (en) Calibration of fluorescence resonance energy transfer in microscopy
US10580128B2 (en) Whole slide multispectral imaging systems and methods
EP2943761B1 (en) Multispectral imaging system and methods
US9310302B2 (en) Multi-modality contrast and brightfield context rendering for enhanced pathology determination and multi-analyte detection in tissue
US20230257807A1 (en) Efficient nucleic acid testing and gene sequencing method
JP4964568B2 (ja) 蛍光検出装置、蛍光検出方法および蛍光検出プログラム
US7060955B1 (en) Apparatus and method for defining illumination parameters of a sample
WO2022045678A1 (ko) 형광 물질 신호들의 반복적 분리를 통한 분자 다중 이미징 방법 및 장치
Esposito et al. Enhancing biochemical resolution by hyperdimensional imaging microscopy
JP2017067605A (ja) 検体測定装置と検体測定方法
US20220236109A1 (en) System and method for hyperspectral imaging in highly scattering media by the spectral phasor approach using two filters
US20100140506A1 (en) Method of determining a measurement value on the basis of single molecule events
WO2017019762A1 (en) Image based photometry
EP1035409B1 (en) Method and apparatus for measurement of light from illuminated specimen eliminating influence of background light
US20220215517A1 (en) Method and apparatus for multicolor unmixing through iterative mutual-information minimization in simultaneous channel update structure
KR102628182B1 (ko) 상호정보량 최소화를 통한 다색 분리 방법 및 장치
KR102655200B1 (ko) 반복색분리를 통한 분자 다중 이미징 방법 및 장치
Goedhart et al. An introduction to fluorescence imaging techniques geared towards biosensor applications
KR20220099087A (ko) 동시적 채널 업데이트 구조의 반복 상호정보량 최소화를 통한 다색 분리 방법 및 장치
US20230092749A1 (en) High throughput snapshot spectral encoding device for fluorescence spectral microscopy
JP7404906B2 (ja) 情報処理装置、及び顕微鏡システム
JP2022122181A (ja) 補正パラメータ設定方法及びデータ補正方法
Shukla et al. A smartphone-based 3D printed prototype for polarized fluorescence collection from human cervix
CN114674789B (zh) 一种基于手机的生物检测方法及装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right