KR20230040890A - 이미지를 처리하는 장치 및 방법 - Google Patents
이미지를 처리하는 장치 및 방법 Download PDFInfo
- Publication number
- KR20230040890A KR20230040890A KR1020220111591A KR20220111591A KR20230040890A KR 20230040890 A KR20230040890 A KR 20230040890A KR 1020220111591 A KR1020220111591 A KR 1020220111591A KR 20220111591 A KR20220111591 A KR 20220111591A KR 20230040890 A KR20230040890 A KR 20230040890A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- biomolecule
- unseparated
- images
- sample
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 84
- 238000012545 processing Methods 0.000 title abstract description 16
- 239000000463 material Substances 0.000 claims abstract description 171
- 230000015654 memory Effects 0.000 claims abstract description 33
- 238000003672 processing method Methods 0.000 claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims description 125
- 239000000126 substance Substances 0.000 claims description 55
- 238000000926 separation method Methods 0.000 claims description 53
- 238000013528 artificial neural network Methods 0.000 claims description 50
- 238000000295 emission spectrum Methods 0.000 claims description 45
- 238000002372 labelling Methods 0.000 claims description 19
- 238000009826 distribution Methods 0.000 description 104
- 239000000523 sample Substances 0.000 description 101
- 238000010186 staining Methods 0.000 description 55
- 230000008569 process Effects 0.000 description 41
- 238000013145 classification model Methods 0.000 description 39
- 238000004891 communication Methods 0.000 description 34
- 238000010586 diagram Methods 0.000 description 27
- 230000014509 gene expression Effects 0.000 description 25
- 238000011156 evaluation Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 17
- 238000010801 machine learning Methods 0.000 description 9
- 238000005315 distribution function Methods 0.000 description 8
- 238000004043 dyeing Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 239000012472 biological sample Substances 0.000 description 7
- 230000007423 decrease Effects 0.000 description 7
- 238000007796 conventional method Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 229910052709 silver Inorganic materials 0.000 description 4
- 239000004332 silver Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 108010042653 IgA receptor Proteins 0.000 description 3
- 102100034014 Prolyl 3-hydroxylase 3 Human genes 0.000 description 3
- 101800004937 Protein C Proteins 0.000 description 3
- 102100036546 Salivary acidic proline-rich phosphoprotein 1/2 Human genes 0.000 description 3
- 101800001700 Saposin-D Proteins 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000000415 inactivating effect Effects 0.000 description 3
- 229960000856 protein c Drugs 0.000 description 3
- 102000004169 proteins and genes Human genes 0.000 description 3
- 108090000623 proteins and genes Proteins 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000002860 competitive effect Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000010409 thin film Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000012620 biological material Substances 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000695 excitation spectrum Methods 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
- G01N33/531—Production of immunochemical test materials
- G01N33/532—Production of labelled immunochemicals
- G01N33/533—Production of labelled immunochemicals with fluorescent label
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/58—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances
- G01N33/582—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances with fluorescent label
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N2021/6417—Spectrofluorimetric devices
- G01N2021/6421—Measuring at two or more wavelengths
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N2021/6463—Optics
- G01N2021/6471—Special filters, filter wheel
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/129—Using chemometrical methods
- G01N2201/1296—Using chemometrical methods using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Chemical & Material Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Urology & Nephrology (AREA)
- Hematology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biotechnology (AREA)
- Cell Biology (AREA)
- Microbiology (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Optics & Photonics (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
본 개시의 한 측면으로서, 이미지 처리 방법이 제안될 수 있다. 상기 방법은 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되기 위한 명령들이 저장된 하나 이상의 메모리를 포함하는 전자 장치에서 수행되는 이미지 처리 방법으로서, 제1 형광 물질로 표지된 제1 생체 분자 및 표지되지 않은 제2 생체 분자를 포함하는 시료(sample)에 대한 제1 미분리 이미지를 획득하는 단계; 상기 제1 형광 물질로 표지된 상기 제1 생체 분자 및 제2 형광 물질로 표지된 상기 제2 생체 분자를 포함하는 상기 시료에 대한 제2 미분리 이미지를 획득하는 단계; 및 상기 제1 미분리 이미지 및 상기 제2 미분리 이미지에 기초하여, 상기 제2 생체 분자에 대한 분리 이미지를 생성하는 단계를 포함할 수 있다.
Description
본 개시는 이미지를 처리하기 위한 기술에 관한 것이다.
생체 시료에 대한 형광 이미징 기법은 시료에 포함된 생체 분자를 형광 물질로 표지한 후, 이 형광 물질에서 방출되는 빛을 촬영하여 시료 내부의 생체 물질을 간접적으로 관찰할 수 있는 기법이다. 형광 물질에 빛을 조사하면, 형광 물질은 빛을 흡수하여 여기(excitation)된 후 다시 빛을 방출(emission)하는데, 이 때 흡수한 빛보다 긴 파장의 빛을 방출하게 된다. 예를 들어, 형광 물질은 특정 파장대(예를 들면, 350~400nm)의 빛을 흡수해서 특정 파장대(예를 들면, 400~600nm)의 빛을 방출한다. 이때 형광 물질이 파장 별로 여기되는 정도를 나타낸 것을 여기 스펙트럼(excitation spectrum)이라고 하고, 파장 별로 방출하는 빛의 세기를 나타낸 것을 방출 스펙트럼(emission spectrum)이라고 한다.
종래 기술에 따르면, 시료에 포함된 복수의 생체 분자를 관찰하기 위해서는 방출 스펙트럼이 최대한 겹치지 않아야 하는 제약이 있었고, 그에 따라 동시에 관찰할 수 있는 형광 물질의 수가 제한적이라는 한계가 있었다.
본 개시는 이미지를 처리하기 위한 기술을 제공한다.
본 개시의 한 측면으로서, 이미지 처리 방법이 제안될 수 있다. 상기 방법은 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되기 위한 명령들이 저장된 하나 이상의 메모리를 포함하는 전자 장치에서 수행되는 이미지 처리 방법으로서, 제1 형광 물질로 표지된 제1 생체 분자 및 표지되지 않은 제2 생체 분자를 포함하는 시료(sample)에 대한 제1 미분리 이미지를 획득하는 단계; 상기 제1 형광 물질로 표지된 상기 제1 생체 분자 및 제2 형광 물질로 표지된 상기 제2 생체 분자를 포함하는 상기 시료에 대한 제2 미분리 이미지를 획득하는 단계; 및 상기 제1 미분리 이미지 및 상기 제2 미분리 이미지에 기초하여, 상기 제2 생체 분자에 대한 분리 이미지를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 미분리 이미지 및 상기 제2 미분리 이미지는 각각 상기 시료로부터 동일한 특정 파장대의 빛을 검출함으로써 촬영된 이미지일 수 있다.
일 실시예에서, 상기 제1 미분리 이미지와 상기 제2 미분리 이미지는 각각 동일한 방출 필터에 기초하여 획득된 이미지이고, 상기 방출 필터는 특정 파장대의 빛을 통과시키는 필터일 수 있다.
일 실시예에서, 상기 제1 형광 물질 및 상기 제2 형광 물질은 서로 동일한 형광 물질일 수 있다.
일 실시예에서, 상기 제1 형광 물질 및 상기 제2 형광 물질은, 상기 제1 형광 물질의 방출 스펙트럼(spectrum) 내에서 방출 신호의 세기가 최대가 되는 제1 파장 값; 및 상기 제2 형광 물질의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 제2 파장 값이 소정의 조건을 만족하도록 결정될 수 있다.
일 실시예에서, 상기 소정의 조건은, 상기 제1 파장 값 및 상기 제2 파장 값의 차이 값이 사전 결정된 임계 값 이하인 경우에 만족되는 조건일 수 있다.
일 실시예에서, 상기 소정의 조건은, 상기 제1 파장 값 및 상기 제2 파장 값 중 더 큰 파장 값에 대한 더 작은 파장 값의 비율이 사전 결정된 임계 비율 이상인 경우에 만족되는 조건일 수 있다.
일 실시예에서, 상기 제2 미분리 이미지는, 상기 시료에 대한 상기 제1 미분리 이미지를 촬영한 후, 상기 시료에 포함된 상기 제2 생체 분자를 상기 제2 형광 물질로 표지하고 그리고 상기 시료를 촬영함으로써 획득될 수 있다.
일 실시예에서, 상기 분리 이미지를 생성하는 단계는, 언믹싱(Unmixing) 행렬을 이용하여 상기 제1 미분리 이미지 및 상기 제2 미분리 이미지를 연산하는 단계를 포함할 수 있다.
일 실시예에서, 상기 언믹싱 행렬에 포함된 적어도 하나의 원소의 값은 학습된 인공 신경망 모델에 기초하여 결정될 수 있다.
일 실시예에서, 상기 제1 형광 물질로 표지된 상기 제1 생체 분자, 상기 제2 형광 물질로 표지된 상기 제2 생체 분자 및 제3 형광 물질로 표지된 제3 생체 분자를 포함하는 상기 시료에 대한 제3 미분리 이미지를 획득하는 단계를 더 포함하고, 상기 생성하는 단계는, 상기 제3 미분리 이미지에 추가적으로 기초하여, 상기 제3 생체 분자에 대한 분리 이미지를 생성하는 단계를 포함할 수 있다. 상기 제1 미분리 이미지는 표지되지 않은 상기 제2 생체 분자 및 표지되지 않은 상기 제3 생체 분자를 포함하는 시료를 촬영함으로써 획득된 이미지이고, 상기 제2 미분리 이미지는 표지되지 않은 상기 제3 생체 분자를 포함하는 시료를 촬영함으로써 획득된 이미지일 수 있다.
일 실시예에서, 상기 제2 미분리 이미지는, 상기 시료에 대한 상기 제1 미분리 이미지를 촬영한 후, 상기 시료에 포함된 상기 제2 생체 분자를 상기 제2 형광 물질로 표지하고 그리고 상기 시료를 촬영함으로써 획득되고, 상기 제3 미분리 이미지는, 상기 시료에 대한 상기 제2 미분리 이미지를 촬영한 후, 상기 시료에 포함된 상기 제3 생체 분자를 상기 제3 형광 물질로 표지하고 그리고 상기 시료를 촬영함으로써 획득될 수 있다.
본 개시의 다른 측면에 따르면, 이미지 처리를 위한 전자 장치가 제안될 수 있다. 상기 전자 장치는, 하나 이상의 프로세서; 및 상기 하나 이상의 프로세서에 의해 실행되기 위한 명령들이 저장된 하나 이상의 메모리를 포함하고, 상기 하나 이상의 프로세서는, 제1 형광 물질로 표지된 제1 생체 분자 및 표지되지 않은 제2 생체 분자를 포함하는 시료(sample)에 대한 제1 미분리 이미지를 획득하고, 상기 제1 형광 물질로 표지된 상기 제1 생체 분자 및 제2 형광 물질로 표지된 상기 제2 생체 분자를 포함하는 상기 시료에 대한 제2 미분리 이미지를 획득하고, 상기 제1 미분리 이미지 및 상기 제2 미분리 이미지에 기초하여, 상기 제2 생체 분자에 대한 분리 이미지를 생성할 수 있다.
일 실시예에서, 상기 제1 미분리 이미지 및 상기 제2 미분리 이미지는 각각 상기 시료에 대해 동일한 특정 파장대의 빛을 검출함으로써 촬영된 이미지일 수 있다.
일 실시예에서, 상기 제1 미분리 이미지와 상기 제2 미분리 이미지는 각각 동일한 방출 필터에 기초하여 획득된 이미지이고, 상기 방출 필터는 특정 파장대의 빛을 통과시키는 필터일 수 있다.
일 실시예에서, 상기 제1 형광 물질 및 상기 제2 형광 물질은 서로 동일한 형광 물질일 수 있다.
일 실시예에서, 상기 제1 형광 물질 및 상기 제2 형광 물질은, 상기 제1 형광 물질의 방출 스펙트럼(spectrum) 내에서 방출 신호의 세기가 최대가 되는 제1 파장 값; 및 상기 제2 형광 물질의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 제2 파장 값이 소정의 조건을 만족하도록 결정될 수 있다.
일 실시예에서, 상기 제2 미분리 이미지는, 상기 시료에 대한 상기 제1 미분리 이미지를 촬영한 후, 상기 시료에 포함된 상기 제2 생체 분자를 상기 제2 형광 물질로 표지하고 그리고 상기 시료를 촬영함으로써 획득될 수 있다.
일 실시예에서, 상기 전자 장치는, 촬영부를 더 포함하고, 상기 하나 이상의 프로세서는, 상기 제1 형광 물질로 표지된 상기 제1 생체 분자 및 표지되지 않은 상기 제2 생체 분자를 포함하는 상기 시료를 상기 촬영부를 통해 촬영함으로써 상기 제1 미분리 이미지를 획득하고, 상기 제1 형광 물질로 표지된 상기 제1 생체 분자 및 상기 제2 형광 물질로 표지된 상기 제2 생체 분자를 포함하는 상기 시료를 상기 촬영부를 통해 촬영함으로써 상기 제2 미분리 이미지를 획득할 수 있다.
일 실시예에서, 상기 하나 이상의 프로세서는, 상기 제1 미분리 이미지 및 상기 제2 미분리 이미지 사이에서 산출되는 의존성 평가 값에 기초하여 상기 분리 이미지를 생성할 수 있다.
일 실시예에서, 상기 의존성 평가 값은, 상호 정보량, 쿨벡-라이블러 발산(Kullback-Leibler Divergence) 값, 교체 엔트로피 값 또는 랜드 지수(Rand Index) 중 적어도 하나일 수 있다.
일 실시예에서, 상기 하나 이상의 프로세서는, 학습된 인공 신경망이 상기 제1 미분리 이미지 및 상기 제2 미분리 이미지에 기초하여 산출한 출력 값에 기초하여 상기 분리 이미지를 생성할 수 있다.
본 개시의 또 다른 측면으로서, 이미지 처리를 위한 명령들을 기록한 비일시적 컴퓨터 판독 가능 기록매체가 제안될 수 있다. 하나 이상의 프로세서에 의한 실행 시, 상기 하나 이상의 프로세서가 동작을 수행하도록 하는 명령들을 기록한 비일시적 컴퓨터 판독 가능 기록 매체에 있어서, 상기 명령들은, 상기 하나 이상의 프로세서로 하여금, 제1 형광 물질로 표지된 제1 생체 분자 및 표지되지 않은 제2 생체 분자를 포함하는 시료(sample)에 대한 제1 미분리 이미지를 획득하고, 상기 제1 형광 물질로 표지된 상기 제1 생체 분자 및 제2 형광 물질로 표지된 상기 제2 생체 분자를 포함하는 상기 시료에 대한 제2 미분리 이미지를 획득하고, 상기 제1 미분리 이미지 및 상기 제2 미분리 이미지에 기초하여, 상기 제2 생체 분자에 대한 분리 이미지를 생성하도록 할 수 있다.
본 개시에 따른 이미지 처리 방법은 종래의 방법이 요구하는 형광 물질 비활성 또는 제거 과정을 요구하지 않음으로써 이미지 처리에 소요되는 시간을 단축시킬 수 있다.
도 1은 본 개시의 일 실시예에 따른 서버, 사용자 단말 및 통신망을 포함하는 시스템을 도시한 도면이다.
도 2는 본 명세서에 개시된 내용의 일 실시예에 따른 서버의 블록도이다.
도 3은 본 명세서에 개시된 내용의 일 실시예에 따른 사용자 단말의 블록도이다.
도 4는 종래의 이미지 처리 방법에서 생체 분자를 표지하기 위해 사용되는 형광 물질의 특성에 관한 예시도이다.
도 5는 본 개시의 일 실시예에 따라 복수의 미분리 이미지로부터 복수의 분리 이미지를 생성하는 과정을 개념적으로 도시한 개념도이다.
도 6은 본 개시의 일 실시예에 따라 시료에 관한 복수의 미분리 이미지로부터 언믹싱 행렬을 이용하여 복수의 생체 분자 각각에 대한 분리 이미지를 생성하는 서버의 동작을 나타내는 흐름도이다.
도 7은 본 개시의 일 실시예에 따라 다채널 이미지로부터 서로 상이한 방법으로 결정된 히스토그램(Histogram)을 나타내는 예시도이다.
도 8은 본 개시의 일 실시예에 따라 복수의 단채널 이미지 각각에 포함된 서로 동일한 위치의 픽셀의 값에 기초하여 히스토그램을 결정하는 서버의 동작을 나타내는 순서도이다
도 9는 본 개시의 일 실시예에 따라 복수의 단채널 이미지 각각에 포함된 서로 상이한 위치의 픽셀의 값에 기초하여 히스토그램을 결정하는 서버의 동작을 나타내는 순서도이다
도 10은 본 개시의 다른 일 실시예에 따라 다채널 이미지로부터 서로 상이한 방법으로 결정된 히스토그램을 나타내는 예시도이다.
도 11은 본 개시의 일 실시예에 따라 언믹싱 행렬의 파라미터를 갱신하는 서버의 동작을 나타내는 순서도이다.
도 12는 본 개시의 일 실시예에 따른 인공 신경망 모델에 기초하여 복수의 분리 이미지 사이의 의존성을 평가하는 과정을 개념적으로 도시한 개념도이다.
도 13은 본 개시의 다른 일 실시예에 따른 인공 신경망 모델에 기초하여 복수의 분리 이미지 사이의 의존성을 평가하는 과정을 개념적으로 도시한 개념도이다.
도 14는 본 개시의 일 실시예에 따라 복수의 이미지를 순차적으로 획득하는 과정을 예시한 개념도이다.
도 15는 본 개시의 일 실시예에 따라 순차적으로 획득된 복수의 미분리 이미지 중 연속하는 두 개의 미분리 이미지로부터 적어도 하나의 생체 분자에 대한 분리 이미지를 획득하는 방법을 예시적으로 도시한 개념도이다.
도 16은 본 개시의 일 실시예에 따라 순차적으로 획득된 복수의 미분리 이미지 중 연속하는 세 개의 미분리 이미지로부터 적어도 두 생체 분자에 대한 분리 이미지를 획득하는 방법을 예시적으로 도시한 개념도이다.
도 17은 본 개시의 일 실시예에 따라 연속하는 두 개의 미분리 이미지에 기초하여 적어도 하나의 생체 분자에 대한 분리 이미지를 생성하는 서버의 동작을 나타내는 순서도이다.
도 18은 복수의 형광 물질이 갖는 방출 스펙트럼 및 특정 방출 필터가 통과시키는 파장대를 예시적으로 표시한 도면이다.
도 19는 복수의 형광 물질이 갖는 방출 스펙트럼 및 각 방출 스펙트럼에서 신호의 세기가 최대가 되는 파장 값을 예시적으로 나타내는 도면이다.
도 2는 본 명세서에 개시된 내용의 일 실시예에 따른 서버의 블록도이다.
도 3은 본 명세서에 개시된 내용의 일 실시예에 따른 사용자 단말의 블록도이다.
도 4는 종래의 이미지 처리 방법에서 생체 분자를 표지하기 위해 사용되는 형광 물질의 특성에 관한 예시도이다.
도 5는 본 개시의 일 실시예에 따라 복수의 미분리 이미지로부터 복수의 분리 이미지를 생성하는 과정을 개념적으로 도시한 개념도이다.
도 6은 본 개시의 일 실시예에 따라 시료에 관한 복수의 미분리 이미지로부터 언믹싱 행렬을 이용하여 복수의 생체 분자 각각에 대한 분리 이미지를 생성하는 서버의 동작을 나타내는 흐름도이다.
도 7은 본 개시의 일 실시예에 따라 다채널 이미지로부터 서로 상이한 방법으로 결정된 히스토그램(Histogram)을 나타내는 예시도이다.
도 8은 본 개시의 일 실시예에 따라 복수의 단채널 이미지 각각에 포함된 서로 동일한 위치의 픽셀의 값에 기초하여 히스토그램을 결정하는 서버의 동작을 나타내는 순서도이다
도 9는 본 개시의 일 실시예에 따라 복수의 단채널 이미지 각각에 포함된 서로 상이한 위치의 픽셀의 값에 기초하여 히스토그램을 결정하는 서버의 동작을 나타내는 순서도이다
도 10은 본 개시의 다른 일 실시예에 따라 다채널 이미지로부터 서로 상이한 방법으로 결정된 히스토그램을 나타내는 예시도이다.
도 11은 본 개시의 일 실시예에 따라 언믹싱 행렬의 파라미터를 갱신하는 서버의 동작을 나타내는 순서도이다.
도 12는 본 개시의 일 실시예에 따른 인공 신경망 모델에 기초하여 복수의 분리 이미지 사이의 의존성을 평가하는 과정을 개념적으로 도시한 개념도이다.
도 13은 본 개시의 다른 일 실시예에 따른 인공 신경망 모델에 기초하여 복수의 분리 이미지 사이의 의존성을 평가하는 과정을 개념적으로 도시한 개념도이다.
도 14는 본 개시의 일 실시예에 따라 복수의 이미지를 순차적으로 획득하는 과정을 예시한 개념도이다.
도 15는 본 개시의 일 실시예에 따라 순차적으로 획득된 복수의 미분리 이미지 중 연속하는 두 개의 미분리 이미지로부터 적어도 하나의 생체 분자에 대한 분리 이미지를 획득하는 방법을 예시적으로 도시한 개념도이다.
도 16은 본 개시의 일 실시예에 따라 순차적으로 획득된 복수의 미분리 이미지 중 연속하는 세 개의 미분리 이미지로부터 적어도 두 생체 분자에 대한 분리 이미지를 획득하는 방법을 예시적으로 도시한 개념도이다.
도 17은 본 개시의 일 실시예에 따라 연속하는 두 개의 미분리 이미지에 기초하여 적어도 하나의 생체 분자에 대한 분리 이미지를 생성하는 서버의 동작을 나타내는 순서도이다.
도 18은 복수의 형광 물질이 갖는 방출 스펙트럼 및 특정 방출 필터가 통과시키는 파장대를 예시적으로 표시한 도면이다.
도 19는 복수의 형광 물질이 갖는 방출 스펙트럼 및 각 방출 스펙트럼에서 신호의 세기가 최대가 되는 파장 값을 예시적으로 나타내는 도면이다.
본 문서에 기재된 다양한 실시예들은, 본 개시의 기술적 사상을 명확히 설명하기 위한 목적으로 예시된 것이며, 이를 특정한 실시 형태로 한정하려는 것이 아니다. 본 개시의 기술적 사상은, 본 문서에 기재된 각 실시예의 다양한 변경(modifications), 균등물(equivalents), 대체물(alternatives) 및 각 실시예의 전부 또는 일부로부터 선택적으로 조합된 실시예를 포함한다. 또한 본 개시의 기술적 사상의 권리 범위는 이하에 제시되는 다양한 실시예들이나 이에 대한 구체적 설명으로 한정되지 않는다.
기술적이거나 과학적인 용어를 포함해서, 본 문서에서 사용되는 용어들은, 달리 정의되지 않는 한, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 일반적으로 이해되는 의미를 가질 수 있다.
본 문서에서 사용되는 "포함한다", "포함할 수 있다", "구비한다", "구비할 수 있다", "가진다", "가질 수 있다" 등과 같은 표현들은, 대상이 되는 특징(예를 들어, 기능, 동작 또는 구성요소 등)이 존재함을 의미하며, 다른 추가적인 특징의 존재를 배제하지 않는다. 즉, 이와 같은 표현들은 다른 실시예를 포함할 가능성을 내포하는 개방형 용어(open-ended terms)로 이해되어야 한다.
본 문서에서 사용되는 단수형의 표현은, 문맥상 다르게 뜻하지 않는 한 복수형의 의미를 포함할 수 있으며, 이는 청구항에 기재된 단수형의 표현에도 마찬가지로 적용된다.
본 문서에서 사용되는 "제1", "제2", 또는 "첫째", "둘째" 등의 표현은, 문맥상 다르게 뜻하지 않는 한, 복수의 동종 대상들을 지칭함에 있어 한 대상을 다른 대상과 구분하기 위해 사용되며, 해당 대상들 간의 순서 또는 중요도를 한정하는 것은 아니다. 예를 들어, 본 개시에 따른 복수의 형광 물질들은 각각 "제1 형광 물질", "제2 형광 물질"과 같이 표현됨으로써 서로 구분될 수 있다. 또한, 본 개시에 따른 복수의 입력 이미지들은 각각 "제1 입력 이미지", "제2 입력 이미지"와 같이 표현됨으로써 서로 구분될 수 있다. 마찬가지로, "생체 분자", "분리 이미지", "확률 분포" 등 본 개시에서 사용되는 용어들은 "제1", "제2" 등의 표현에 의해 서로 구분될 수 있다.
본 문서에서 사용되는 "A, B, 및 C," "A, B, 또는 C," "A, B, 및 C 중 적어도 하나" 또는 "A, B, 또는 C 중 적어도 하나" 등의 표현은, 각각의 나열된 항목 또는 나열된 항목들의 가능한 모든 조합들을 의미할 수 있다. 예를 들어, "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A, (2) 적어도 하나의 B, (3) 적어도 하나의 A 및 적어도 하나의 B를 모두 지칭할 수 있다.
본 문서에서 사용되는 "부"라는 표현은, 소프트웨어, 또는 FPGA(Field-Programmable Gate Array), ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미할 수 있다. 그러나, "부"는 하드웨어 및 소프트웨어에 한정되는 것은 아니다. "부"는 어드레싱할 수 있는 저장 매체에 저장되어 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 일 실시예에서, "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세서, 함수, 속성, 프로시저, 서브루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조, 테이블, 어레이 및 변수를 포함할 수 있다.
본 문서에서 사용되는 "~에 기초하여"라는 표현은, 해당 표현이 포함되는 어구 또는 문장에서 기술되는, 결정, 판단의 행위 또는 동작에 영향을 주는 하나 이상의 인자를 기술하는 데에 사용되고, 이 표현은 해당 결정, 판단의 행위 또는 동작에 영향을 주는 추가적인 인자를 배제하지 않는다.
본 문서에서 사용되는, 어떤 구성요소(예를 들어, 제1 구성요소)가 다른 구성요소(예를 들어, 제2 구성요소)에 "연결되어" 있다거나 "접속되어" 있다는 표현은, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결 또는 접속되는 것뿐 아니라, 새로운 다른 구성요소(예를 들어, 제3 구성요소)를 매개로 하여 연결 또는 접속되는 것을 의미할 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(configured to)"은 문맥에 따라, "~하도록 설정된", "~하는 능력을 가지는", "~하도록 변경된", "~하도록 만들어진", "~를 할 수 있는" 등의 의미를 가질 수 있다. 해당 표현은, "하드웨어적으로 특별히 설계된"의 의미로 제한되지 않으며, 예를 들어 특정 동작을 수행하도록 구성된 프로세서란, 소프트웨어를 실행함으로써 그 특정 동작을 수행할 수 있는 범용 프로세서(generic purpose processor)를 의미하거나, 해당 특정 동작을 수행하도록 프로그래밍을 통해 구조화된 특수 목적 컴퓨터(special purpose computer)를 의미할 수 있다.
본 개시에서, 인공지능(artificial intelligence, AI)은 인간의 학습능력, 추론능력, 지각능력을 모방하고, 이를 컴퓨터로 구현하는 기술을 의미하고, 기계 학습, 심볼릭 로직의 개념을 포함할 수 있다. 기계 학습(machine learning, ML)은 입력 데이터들의 특징을 스스로 분류 또는 학습하는 알고리즘 기술일 수 있다. 인공지능의 기술은 기계 학습의 알고리즘으로써 입력 데이터들 분석하고, 그 분석의 결과를 학습하며, 그 학습의 결과에 기초하여 기반으로 판단이나 예측을 할 수 있다. 또한, 기계 학습의 알고리즘을 활용하여 인간 두뇌의 인지, 판단의 기능을 모사하는 기술들 역시 인공지능의 범주로 이해될 수 있다. 예를 들어, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어의 기술 분야가 포함될 수 있다.
본 개시에서, 기계 학습은 데이터를 처리한 경험을 이용해 신경망 모델을 훈련시키는 처리를 의미할 수 있다. 기계 학습을 통해 컴퓨터 소프트웨어는 스스로 데이터 처리 능력을 향상시키는 것을 의미할 수 있다. 신경망 모델은 데이터 사이의 상관 관계를 모델링하여 구축된 것으로서, 그 상관 관계는 복수의 파라미터에 의해 표현될 수 있다. 인공 신경망 모델은 주어진 데이터로부터 특징들을 추출하고 분석하여 데이터 간의 상관 관계를 도출하는데, 이러한 과정을 반복하여 신경망 모델의 파라미터를 최적화 해나가는 것이 기계 학습이라고 할 수 있다. 예를 들어, 인공 신경망 모델은 입출력 쌍으로 주어지는 데이터에 대하여, 입력과 출력 사이의 매핑(상관 관계)을 학습할 수 있다. 또는 인공 신경망 모델은 입력 데이터만 주어지는 경우에도 주어진 데이터 사이의 규칙성을 도출하여 그 관계를 학습할 수도 있다.
본 개시에서, 인공 신경망, 인공지능 학습 모델, 기계 학습 모델 또는 인공 신경망 모델은 인간의 뇌 구조를 컴퓨터 상에서 구현하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하며 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고 받는 뉴런의 시냅틱(synaptic) 활동을 모의하여, 서로 간의 연결 관계를 가질 수 있다. 인공 신경망에서 복수의 네트워크 노드들은 서로 다른 깊이의 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 인공 신경망은, 예를 들어, 인공 신경망 모델(artificial neural network), 합성곱 신경망 모델(convolution neural network) 등일 수 있다.
이하, 첨부된 도면들을 참조하여, 본 개시의 다양한 실시예들을 설명한다. 첨부된 도면 및 도면에 대한 설명에서, 동일하거나 실질적으로 동등한(substantially equivalent) 구성요소에는 동일한 참조부호가 부여될 수 있다. 또한, 이하 다양한 실시예들의 설명에서, 동일하거나 대응하는 구성요소를 중복하여 기술하는 것이 생략될 수 있으나, 이는 해당 구성요소가 그 실시예에 포함되지 않는 것을 의미하지는 않는다.
도 1은 본 개시의 일 실시예에 따른 서버(100), 사용자 단말(200) 및 통신망(300)을 포함하는 시스템을 도시한 도면이다. 서버(100)와 사용자 단말(200) 통신망(300)을 통해 서로 정보를 주거나 받을 수 있다.
서버(100)는 본 개시에 따른 이미지 처리 동작을 수행하는 전자 장치일 수 있다. 서버(100)는, 유선 또는 무선으로 연결된 사용자 단말(200)에게 정보를 전송하거나 이미지 처리 결과를 전송하는 전자 장치로서, 예를 들어, 애플리케이션 서버, 프록시 서버, 클라우드 서버 등일 수 있다.
사용자 단말(200)은 이미지 처리 결과를 수신하고자 하는 사용자의 단말일 수 있다. 사용자 단말(200)은, 예를 들어, 스마트폰, 태블릿 컴퓨터(Tablet Computer), PC(Personal Computer), 이동 전화기(Mobile Phone), PDA(Personal Digital Assistant), 오디오 플레이어, 웨어러블 장치(Wearable Device) 중 적어도 하나일 수 있다. 통신망(300)은 유선 또는 무선 통신망을 모두 포함할 수 있다.
통신망(300)은 서버(100)와 사용자 단말(200) 사이에서 데이터가 교환되도록 할 수 있다. 유선 통신망은 예를 들어, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), RS-232(Recommended Standard-232) 또는 POTS(Plain Old Telephone Service) 등의 방식에 따른 통신망을 포함할 수 있다. 무선 통신망은 예를 들어, eMBB(enhanced Mobile Broadband), URLLC(Ultra Reliable Low-Latency Communications), MMTC(Massive Machine Type Communications), LTE(Long-Term Evolution), LTE-A(LTE Advance), NR(New Radio), UMTS(Universal Mobile Telecommunications System), GSM(Global System for Mobile communications), CDMA(Code Division Multiple Access), WCDMA(Wideband CDMA), WiBro(Wireless Broadband), WiFi(Wireless Fidelity), 블루투스(Bluetooth), NFC(Near Field Communication), GPS(Global Positioning System) 또는 GNSS(Global Navigation Satellite System) 등의 방식에 따른 통신망을 포함할 수 있다. 본 명세서의 통신망(300)은 상술한 예시들에 한정되지 않으며, 복수의 주체 또는 장치 사이에서 데이터가 교환되도록 하는 다양한 종류의 통신망을 제한없이 포함할 수 있다.
본 명세서의 개시 내용에서 일 장치의 구성 또는 동작을 설명할 때, "장치"라는 용어는 설명의 대상이 된 장치를 지칭하기 위한 용어이고, "외부 장치"라는 용어는 설명의 대상이 된 장치의 관점에서 볼 때 외부에 존재하는 장치를 지칭하기 위한 용어로서 각각 사용될 수 있다. 예를 들어 서버(100)를 "장치"로 두고 설명할 경우, 서버(100)의 관점에서 사용자 단말(200)은 "외부 장치"로 불릴 수 있다. 또한, 예를 들어 사용자 단말(200)을 "장치"로 두고 설명할 경우, 사용자 단말(200)의 관점에서 서버(100)는 "외부 장치"로 불릴 수 있다. 즉, 서버(100) 및 사용자 단말(200) 각각은 동작 주체의 관점에 따라 각각 "장치" 및 "외부 장치"로 지칭되거나 각각 "외부 장치" 및 "장치"로 지칭될 수 있다.
도 2는 본 명세서에 개시된 내용의 일 실시예에 따른 서버(100)의 블록도이다. 서버(100)는 하나 이상의 프로세서(110), 통신 인터페이스(120) 또는 메모리(130)를 구성요소로서 포함할 수 있다. 어떤 실시예에서는, 서버(100)의 이 구성요소들 중 적어도 하나가 생략되거나, 다른 구성요소가 서버(100)에 추가될 수 있다. 어떤 실시예에서는, 추가적으로 또는 대체적으로(in alternative to), 일부의 구성요소들이 통합되어 구현되거나, 단수 또는 복수의 개체로 구현될 수 있다. 서버(100) 내부 또는 외부의 구성요소들 중 적어도 일부의 구성요소들은 버스, GPIO(General Purpose Input/Output), SPI(Serial Peripheral Interface) 또는 MIPI(Mobile Industry Processor Interface) 등을 통해 서로 연결됨으로써 데이터 또는 시그널을 주거나 받을 수 있다.
하나 이상의 프로세서(110)는 프로세서(110)라고 표현될 수 있다. 프로세서(110)라는 용어는, 문맥상 명백히 다르게 표현하지 않는 이상, 하나 또는 그 이상의 프로세서의 집합을 의미할 수 있다. 프로세서(110)는 소프트웨어(예를 들어, 명령, 프로그램 등)를 구동하여 프로세서(110)와 연결된 서버(100)의 적어도 하나의 구성요소를 제어할 수 있다. 또한 프로세서(110)는 다양한 연산, 처리, 데이터 생성 또는 가공 등의 동작을 수행할 수 있다. 또한 프로세서(110)는 데이터 등을 메모리(130)로부터 로드하거나 메모리(130)에 저장할 수 있다.
통신 인터페이스(120)는, 서버(100)와 다른 장치(예를 들어, 사용자 단말(200) 또는 다른 서버) 사이의 무선 또는 유선 통신을 수행할 수 있다. 예를 들어, 통신 인터페이스(120)는 eMBB, URLLC, MMTC, LTE, LTE-A, NR, UMTS, GSM, CDMA, WCDMA, WiBro, WiFi, 블루투스, NFC, GPS 또는 GNSS 등의 방식에 따른 무선 통신을 수행할 수 있다. 또한, 예를 들어, 통신 인터페이스(120)는 USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), RS-232(Recommended Standard-232) 또는 POTS(Plain Old Telephone Service) 등의 방식에 따른 유선 통신을 수행할 수 있다.
메모리(130)는 다양한 데이터를 저장할 수 있다. 메모리(130)에 저장되는 데이터는, 서버(100)의 적어도 하나의 구성요소에 의해 획득되거나, 처리되거나 또는 사용되는 데이터로서, 소프트웨어(예를 들어, 명령, 프로그램 등)를 포함할 수 있다. 메모리(130)는 휘발성 또는 비휘발성 메모리를 포함할 수 있다. 메모리(130)라는 용어는, 문맥상 명백히 다르게 표현하지 않는 이상, 하나 또는 그 이상의 메모리의 집합을 의미할 수 있다. 본 명세서에서 언급되는 "메모리(130)에 저장되는 명령(Instruction)들의 집합" 또는 "메모리(130)에 저장되는 프로그램"이라는 표현은, 서버(100)의 리소스를 제어하기 위한 운영체제, 어플리케이션 또는 어플리케이션이 서버(100)의 리소스들을 활용할 수 있도록 어플리케이션에 다양한 기능을 제공하는 미들 웨어 등을 지칭하기 위해 사용될 수 있다. 일 실시예에서, 프로세서(110)가 특정 연산을 수행할 때, 메모리(130)는 프로세서(110)에 의해 수행되고 특정 연산에 대응되는 명령들을 저장할 수 있다.
일 실시예에서, 서버(100)는 프로세서(110)의 연산 결과에 따른 데이터, 통신 인터페이스(120)에 의해 수신된 데이터 또는 메모리(130)에 저장된 데이터 등을 외부 장치로 전송할 수 있다. 외부 장치는 수신된 데이터를 표출, 표시 또는 출력하기 위한 장치일 수 있다.
일 실시예에서, 서버(100)는 입력부(140)를 더 포함할 수 있다. 입력부(140)는 외부로부터 수신된 데이터를 서버(100)에 포함된 적어도 하나의 구성요소로 전달하는 구성요소일 수 있다. 예를 들어, 입력부(140)는 마우스, 키보드, 또는 터치 패드 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 서버(100)는 출력부(150)를 더 포함할 수 있다. 출력부(150)는 서버(100)에서 처리되는 정보를 표시(출력)하거나 외부로 전송(송출)할 수 있다. 예를 들어, 출력부(150)는 서버(100)에서 처리되는 정보를 시각적으로 표시할 수 있다. 출력부(150)는 UI(User Interface) 정보 또는 GUI(Graphic User Interface) 정보 등을 표시할 수 있다. 이 경우, 출력부(150)는 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT-LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(E-ink Display) 중에서 적어도 하나를 포함할 수 있다. 또한, 예를 들어, 출력부(150)는 서버(100)에서 처리되는 정보를 청각적으로 표시할 수 있다. 출력부(150)는 임의의 오디오 파일 포맷(예를 들어, MP3, FLAC, WAV 등) 방식을 따르는 오디오 데이터를 음향 장치를 통해 표시할 수 있다. 이 경우, 출력부(150)는 스피커, 헤드셋, 헤드폰 중 적어도 하나를 포함할 수 있다. 또한, 예를 들어, 출력부(150)는 서버(100)에서 처리되는 정보를 외부의 출력 장치로 전송할 수도 있다. 출력부(150)는 서버(100)에서 처리되는 정보를 통신 인터페이스(120)를 이용하여 외부의 출력 장치로 전송 또는 송출할 수 있다. 출력부(150)는 서버(100)에서 처리되는 정보를 별도의 출력용 통신 인터페이스를 이용하여 외부의 출력 장치로 전송 또는 송출할 수도 있다.
일 실시예에서, 서버(100)는 촬영부(미도시)를 더 포함할 수 있다. 촬영부는 예를 들어, 카메라 또는 현미경 장치를 구비한 카메라 등일 수 있다. 프로세서(110)는 촬영부를 제어함으로써 대상물(예를 들어, 시료)의 이미지를 촬영하고, 촬영된 이미지를 획득하거나 메모리(130)에 저장할 수 있다. 또는 서버(100)가 출력부(150)를 포함하는 경우, 프로세서(110)는 촬영부를 제어하여 대상물의 이미지를 촬영하고, 촬영된 이미지를 출력부(150)에 표시할 수도 있다. 다른 실시예에서, 서버(100)는 촬영된 이미지를 외부의 촬영 장치로부터 획득할 수도 있다.
도 3은 본 명세서에 개시된 내용의 일 실시예에 따른 사용자 단말(200)의 블록도이다. 사용자 단말(200)은 하나 이상의 프로세서(210), 통신 인터페이스(220) 또는 메모리(230)를 구성요소로서 포함할 수 있다. 또한 사용자 단말(200)은 입력부(240) 또는 출력부(250) 중 적어도 하나를 더 포함할 수도 있다.
프로세서(210)는 소프트웨어(예를 들어, 명령, 프로그램 등)를 구동하여 프로세서(110)와 연결된 사용자 단말(200)의 적어도 하나의 구성요소를 제어할 수 있다. 또한 프로세서(210)는 다양한 연산, 처리, 데이터 생성 또는 가공 등의 동작을 수행할 수 있다. 또한 프로세서(210)는 데이터 등을 메모리(230)로부터 로드하거나 메모리(230)에 저장할 수 있다.
통신 인터페이스(220)는, 사용자 단말(200)과 다른 장치(예를 들어, 서버(100) 또는 다른 사용자 단말) 사이의 무선 또는 유선 통신을 수행할 수 있다. 예를 들어, 통신 인터페이스(220)는 eMBB, URLLC, MMTC, LTE, LTE-A, NR, UMTS, GSM, CDMA, WCDMA, WiBro, WiFi, 블루투스, NFC, GPS 또는 GNSS 등의 방식에 따른 무선 통신을 수행할 수 있다. 또한, 예를 들어, 통신 인터페이스(220)는 USB, HDMI, RS-232 또는 POTS 등의 방식에 따른 유선 통신을 수행할 수 있다.
메모리(230)는 다양한 데이터를 저장할 수 있다. 메모리(230)에 저장되는 데이터는, 사용자 단말(200)의 적어도 하나의 구성요소에 의해 획득되거나, 처리되거나 또는 사용되는 데이터로서, 소프트웨어(예를 들어, 명령, 프로그램 등)를 포함할 수 있다. 메모리(230)는 휘발성 또는 비휘발성 메모리를 포함할 수 있다. 메모리(230)라는 용어는, 문맥상 명백히 다르게 표현하지 않는 이상, 하나 또는 그 이상의 메모리의 집합을 의미할 수 있다. 본 명세서에서 언급되는 "메모리(230)에 저장되는 명령(Instruction)들의 집합" 또는 "메모리(230)에 저장되는 프로그램"이라는 표현은, 사용자 단말(200)의 리소스를 제어하기 위한 운영체제, 어플리케이션 또는 어플리케이션이 사용자 단말(200)의 리소스들을 활용할 수 있도록 어플리케이션에 다양한 기능을 제공하는 미들 웨어 등을 지칭하기 위해 사용될 수 있다. 일 실시예에서, 프로세서(210)가 특정 연산을 수행할 때, 메모리(230)는 프로세서(210)에 의해 수행되고 특정 연산에 대응되는 명령들을 저장할 수 있다.
일 실시예에서, 사용자 단말(200)은 입력부(240)를 더 포함할 수 있다. 입력부(240)는 외부로부터 수신된 데이터를 사용자 단말(200)에 포함된 적어도 하나의 구성요소로 전달하는 구성요소일 수 있다. 예를 들어, 입력부(240)는 마우스, 키보드, 또는 터치 패드 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 사용자 단말(200)은 출력부(250)를 더 포함할 수 있다. 출력부(250)는 사용자 단말(200)에서 처리되는 정보를 표시(출력)하거나 외부로 전송(송출)할 수 있다. 예를 들어, 출력부(250)는 사용자 단말(200)에서 처리되는 정보를 시각적으로 표시할 수 있다. 출력부(250)는 UI(User Interface) 정보 또는 GUI(Graphic User Interface) 정보 등을 표시할 수 있다. 이 경우, 출력부(250)는 액정 디스플레이(LCD), 박막 트랜지스터 액정 디스플레이(TFT-LCD), 유기 발광 다이오드(OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(E-ink Display) 중에서 적어도 하나를 포함할 수 있다. 또한, 예를 들어, 출력부(250)는 사용자 단말(200)에서 처리되는 정보를 청각적으로 표시할 수 있다. 출력부(250)는 임의의 오디오 파일 포맷(예를 들어, MP3, FLAC, WAV 등) 방식을 따르는 오디오 데이터를 음향 장치를 통해 표시할 수 있다. 이 경우, 출력부(250)는 스피커, 헤드셋, 헤드폰 중 적어도 하나를 포함할 수 있다. 또한, 예를 들어, 출력부(250)는 사용자 단말(200)에서 처리되는 정보를 외부의 출력 장치로 전송할 수도 있다. 출력부(250)는 사용자 단말(200)에서 처리되는 정보를 통신 인터페이스(220)를 이용하여 외부의 출력 장치로 전송 또는 송출할 수 있다. 출력부(250)는 사용자 단말(200)에서 처리되는 정보를 별도의 출력용 통신 인터페이스를 이용하여 외부의 출력 장치로 전송 또는 송출할 수도 있다.
일 실시예에서, 사용자 단말(200)은 촬영부(미도시)를 더 포함할 수 있다. 촬영부는 예를 들어, 카메라 또는 현미경 장치를 구비한 카메라 등일 수 있다. 프로세서(210)는 촬영부를 제어함으로써 대상물(예를 들어, 시료)의 이미지를 촬영하고, 촬영된 이미지를 획득하거나, 메모리(230)에 저장할 수 있다. 사용자 단말(200)은 촬영된 이미지를 출력부(250)에 표시할 수 있다. 사용자 단말(200)은 촬영된 이미지를 서버(100)로 전송할 수 있다. 또한, 사용자 단말(200)은 외부의 촬영 장치로부터 촬영된 이미지를 획득할 수도 있다.
이하의 설명에서는 설명의 편의상 동작 주체가 생략될 수 있으나, 이 경우 각각의 동작들은 서버(100)에 의해 수행되는 것으로 이해될 수 있다. 단, 본 개시에 따른 방법은 사용자 단말(200)에 의해 수행될 수도 있고, 방법에 포함된 동작들 중 일부는 사용자 단말(200)에서 수행되고 나머지는 서버(100)에서 수행될 수도 있다.
도 4는 종래의 이미지 처리 방법에서 생체 분자를 표지하기 위해 사용되는 형광 물질의 특성에 관한 예시도이다. 일반적으로 하나의 생체 시료(Sample)에서 여러 생체 분자를 관찰하기 위해서는 여러 생체 분자를 서로 다른 형광 물질로 표지(labeling)한 후, 각 생체 분자에 대한 이미지를 개별적으로 얻는 것이 필요하다. 본 개시에서 생체 시료는 간략히 "시료"라고 지칭될 수 있다. 시료에 포함된 각 생체 분자에 대한 이미지는, 예를 들어, 형광 물질이 반응하는 특정 파장의 빛을 형광 물질에 조사하고, 그 결과로 여기된(excited) 형광 물질로부터 방출되는 빛을 대응되는 방출 필터로 필터링하고 방출 필터가 통과시킨 빛을 촬영함으로써 획득될 수 있다. 본 개시에서 "방출 필터"란 특정 파장대의 빛을 통과시키는 필터(Filter)일 수 있다.
형광 물질이 방출하는 빛의 방출 스펙트럼에 관한 제1 그래프(401)는 복수의 형광 물질들(Alexa 405, Alexa 488, Alexa 546, Alexa 647)의 방출 스펙트럼을 예시적으로 나타낸다.
형광 물질 "Alexa 405"는 특정 파장대의 빛을 흡수한 후 대략 400nm와 500nm 사이의 파장을 갖는 빛을 방출하는 형광 물질일 수 있다. 형광 물질 "Alexa 405"에 의해 염색된 생체 분자에 대한 이미지는, 형광 물질 "Alexa 405"로부터 방출되는 빛을 제1 방출 필터로 필터링하고 제1 방출 필터가 통과시키는 파장대(410)의 빛을 촬영함으로써 획득될 수 있다. 제1 방출 필터가 통과시키는 파장대(410)는, 예를 들어, 470nm 이상 520nm 이하일 수 있다.
형광 물질 "Alexa 488"은 특정 파장대의 빛을 흡수한 후 대략 500nm와 600nm 사이의 파장을 갖는 빛을 방출하는 형광 물질일 수 있다. 이때, 형광 물질 "Alexa 488"에 의해 염색된 생체 분자에 대한 이미지는, 형광 물질 "Alexa 488"로부터 방출되는 빛을 제2 방출 필터로 필터링하고 제2 방출 필터가 통과시키는 파장대(430)의 빛을 촬영함으로써 획득될 수 있다. 제2 방출 필터가 통과시키는 파장대(430)는, 예를 들어, 500nm 이상 560nm 이하일 수 있다.
형광 물질 "Alexa 546"은 특정 파장대의 빛을 흡수한 후 대략 550nm와 650nm 사이의 파장을 갖는 빛을 방출하는 형광 물질일 수 있다. 이때, 형광 물질 "Alexa 546"에 의해 염색된 생체 분자에 대한 이미지는, 형광 물질 "Alexa 546"로부터 방출되는 빛을 제3 방출 필터로 필터링하고 제3 방출 필터가 통과시키는 파장대(450)의 빛을 촬영함으로써 획득될 수 있다. 제3 방출 필터가 통과시키는 파장대(450)는 예를 들어, 565nm 이상 590nm 이하일 수 있다.
형광 물질 "Alexa 647"은 특정 파장대의 빛을 흡수한 후 대략 650nm와 750nm 사이의 파장을 갖는 빛을 방출하는 형광 물질일 수 있다. 이때, 형광 물질 "Alexa 647"에 의해 염색된 생체 분자에 대한 이미지는, 형광 물질 "Alexa 647"로부터 방출되는 빛을 제4 방출 필터로 필터링하고 제4 방출 필터가 통과시키는 파장대(470)의 빛을 촬영함으로써 획득될 수 있다. 제4 방출 필터가 통과시키는 파장대(470)는 예를 들어, 660nm 이상 740nm 이하일 수 있다.
제1 그래프(401)에 도시된 각 형광 물질이 여기(excitation)되기 위해 흡수하는 빛의 파장대는 각각 상이할 수 있다. 또한, 제1 그래프(401)를 참조하여 상술된 각 형광 물질의 방출 스펙트럼에 관한 구체적 수치 범위는 설명을 위한 예시적 기재일 뿐 본 개시를 한정하지 않는다.
일 실시예에서, 시료에 복수의 생체 분자가 포함되고, 복수의 생체 분자를 각각 표지하는 형광 물질들(즉, 각 생체 분자와 결합된 형광 물질들)이 서로 특정 파장의 빛(예를 들어, 350nm 이상 400nm 이하)에 동일하게 반응한다고 가정하자. 이때, 시료에 포함된 복수의 생체 분자 각각에 대한 이미지를 얻기 위해서는, 통상적으로, 복수의 생체 분자 각각을 표지하기 위한 형광 물질들의 방출 스펙트럼이 서로 전혀 겹치지 않거나 거의 겹치지 않도록 해야한다. 그 이유는 서로 다른 형광 물질로부터 각각 방출되는 빛의 스펙트럼이 서로 많이 겹치게 되면 서로 다른 생체 분자들이 분리되지 않고 동일한 하나의 이미지 내에 포함될 수 있기 때문이다.
예를 들어, 도 4의 형광 물질이 방출하는 빛의 방출 스펙트럼에 관한 제2 그래프(403)에서 형광 물질 "Alexa 546"은 대략 550nm와 650nm 사이의 파장을 갖는 빛을 방출하고, 형광 물질 "CF 594"는 대략 575nm와 700nm 사이의 파장을 갖는 빛을 방출한다고 가정하자. 이러한 가정 하에서, 두 형광 물질의 방출 스펙트럼은 575nm 이상 650nm 이하의 구간을 서로 공통적으로 포함할 수 있다. 이때, 형광 물질 "Alexa 546"에 의해 표지된 생체 분자에 대한 이미지를 획득하기 위해 제3 방출 필터를 이용해 이미지를 촬영할 경우, 제3 방출 필터가 통과시키는 파장대(450)는 대략 565nm 이상 590nm 이하이므로 촬영된 이미지 내에는 형광 물질 "CF 594"에 의해 표지된 생체 분자가 적어도 일부 포함될 수 있다. 구체적으로, 촬영 장치가 형광 물질 "Alexa 546"로부터 방출되는 빛 중 제3 방출 필터가 통과시키는 파장대(450)의 빛을 획득함으로써 형광 물질 "Alexa 546" 의해 표지된 생체 분자에 대한 이미지를 촬영하는 과정에서, 촬영 장치는 형광 물질 "CF 594"로부터 방출되는 빛의 신호 또한 적어도 일부 획득될 수 있다. 그 결과, 형광 물질 "Alexa 546"에 의해 표지된 생체 분자에 대한 이미지에는 형광 물질 "CF 594"에 의해 표지된 다른 생체 분자가 적어도 일부 포함될 수 있다. 도 4의 참조번호 451은 촬영 장치가 제3 방출 필터를 이용하여 형광 물질 "Alexa 546"으로 표지된 생체 분자에 대한 이미지를 촬영할 때 획득하는 다른 형광 물질(예를 들어, "CF 594")의 빛의 신호를 지시한다. 또한, 형광 물질 "CF 594"로 표지된 생체 분자에 대한 이미지를 획득하기 위해, 약 610nm 이상 630nm 이하의 파장을 갖는 빛을 통과시키는 제5 방출 필터를 이용해 이미지를 촬영하는 경우에도, 촬영된 이미지에는 형광 물질 "Alexa 546"에 의해 표지된 생체 분자가 적어도 일부 포함될 수 있다. 즉, 촬영 장치가 형광 물질 "CF 594"로부터 방출되는 빛 중 제5 방출 필터가 통과시키는 파장대(490)의 빛을 획득함으로써 형광 물질 "CF 594" 의해 표지된 생체 분자에 대한 이미지를 촬영하는 과정에서, 형광 물질 "Alexa 546"로부터 방출되는 빛의 신호가 적어도 일부 획득될 수 있다. 그 결과, 형광 물질 "CF 594"에 의해 표지된 생체 분자에 대한 이미지에는 형광 물질 "Alexa 546"에 의해 표지된 다른 생체 분자가 적어도 일부 포함될 수 있다. 도 5의 참조번호 491은 촬영 장치가 제5 방출 필터를 이용하여 형광 물질 "CF 594"에 의해 표지된 생체 분자에 대한 이미지를 촬영할 때 획득하는 다른 형광 물질(예를 들어, "Alexa 546")의 빛의 신호를 지시한다.
상술한 바와 같은 종래 기술에 따르면, 시료에 포함된 복수의 생체 분자를 관찰하기 위해서는 방출 스펙트럼이 최대한 겹치지 않아야 하는 제약이 있었고, 그에 따라 최대 4개의 형광 물질만을 동시에 사용할 수 있는 한계가 있었다.
도 5는 본 개시의 일 실시예에 따라 복수의 미분리 이미지로부터 복수의 분리 이미지를 생성하는 과정을 개념적으로 도시한 개념도이다.
본 개시에 따른 미분리 이미지(510)는 하나 또는 둘 이상의 미분리 이미지를 포함할 수 있다. 본 개시에 따른 몇몇 실시예에서 미분리 이미지(510)가 둘 이상의 미분리 이미지를 포함하는 경우, 각각의 미분리 이미지는 제1 미분리 이미지(510-1), 제2 미분리 이미지(510-2), ..., 제n 미분리 이미지(510-n) 등으로 구분되어 지칭될 수 있다(n은 2 이상의 자연수).
미분리 이미지(510)는 시료에 포함된 생체 분자가 형광 물질로 표지된 후, 서버(100)가 시료를 촬영함으로써 획득된 이미지일 수 있다. 전술한 바와 같이 생체 시료에 포함된 생체 분자를 형광 물질로 염색(즉, 생체 분자에 형광 물질이 물리적으로 또는 화학적으로 결합)한 후 염색된 생체 시료에 빛을 조사하면, 생체 시료에 포함된 형광 물질은 특정 파장대의 빛을 흡수함으로써 여기된 후 특정 파장대의 빛을 방출한다. 이때, 형광 물질이 방출하는 빛을 촬영함으로써 생체 시료에 관한 미분리 이미지(510)를 획득할 수 있다. 미분리 이미지(510)는, 본 개시에 따른 이미지 처리 방법을 수행하는 대상이 되는 이미지로서, 본 개시의 이미지 처리 방법에 따라 생성되는 "분리 이미지(530)"와 구별될 수 있다. 즉, 미분리 이미지(510)는 아직 본 개시에 따른 이미지 처리 방법이 수행되지 않은 이미지로서, 목표하는 생체 분자 외에 다른 생체 분자(예를 들어, 비슷한 방출 스펙트럼을 갖는 다른 형광 물질로 표지된 생체 분자 또는 이전 염색 라운드에서 염색된 생체 분자 등)가 추가로 표시되는 이미지일 수 있다. 본 개시에서 "미분리 이미지"라는 용어는 "입력 이미지"와 상호 교환적으로 사용될 수 있다.
본 개시에 따른 분리 이미지(530)는 하나 또는 둘 이상의 분리 이미지를 포함할 수 있다. 본 개시에 따른 몇몇 실시예에서 분리 이미지(530)가 둘 이상의 분리 이미지를 포함하는 경우, 각각의 분리 이미지는 제1 분리 이미지(530-1), 제2 분리 이미지(530-2), ..., 제n 분리 이미지(530-n) 등으로 구분되어 지칭될 수 있다(n은 2 이상의 자연수).
분리 이미지(530)는 미분리 이미지(510)에 대해 본 개시의 이미지 처리 방법을 수행한 결과 획득되는 이미지일 수 있다. 분리 이미지(530)는 목표하는 생체 분자를 표시하는 이미지일 수 있다. 본 개시에서 "특정 생체 분자에 대한 분리 이미지"란, 해당 생체 분자만이 표현되는 이미지를 지칭할 수 있다. 예를 들어, "A" 생체 분자에 대한 분리 이미지는 시료에 포함된 "A" 생체 분자의 모양, 크기, 형태 또는 색상 등을 나타내는 이미지일 수 있다. 분리 이미지(530)는 생체 분자 각각에 대응되도록 생성될 수 있다.
본 개시에의 다양한 실시예에서, 복수의 미분리 이미지(510-1, 510-2, ..., 510-n) 또는 복수의 분리 이미지(530-1, 530-2, ..., 530-n) 각각은, 하나의 채널을 갖는 단채널(Single-Channel) 이미지일 수 있다. 단채널 이미지란 각 픽셀(Pixel)에 대해 단일한 값(예를 들어, 0 이상 255 이하의 정수)을 갖는 이미지를 의미할 수 있다. 단채널 이미지에 해당하는 미분리 이미지의 각 픽셀이 갖는 픽셀 값은 촬영부가 빛을 획득함으로써 미분리 이미지를 촬영할 때, 형광 물질로부터 방출된 빛의 세기를 지시하는 값일 수 있다. 단채널 이미지에 해당하는 분리 이미지의 각 픽셀이 갖는 픽셀 값은 본 개시에 따른 이미지 처리 방법의 수행 결과 특정 생체 분자에 대한 이미지를 표현하기 위해서 각 픽셀이 갖는 빛의 세기를 지시하는 값일 수 있다. 또한, 본 개시에서 복수의 미분리 이미지(510-1, 510-2, ..., 510-n) 또는 복수의 분리 이미지(530-1, 530-2, ..., 530-n)가 다채널(Multi-Channel) 이미지에 포함된다고 표현할 경우, 다채널 이미지 각 채널은 복수의 미분리 이미지(510-1, 510-2, ..., 510-n) 또는 복수의 분리 이미지(530-1, 530-2, ..., 530-n) 각각에 대응될 수 있다. 예를 들어, 단채널 이미지인 미분리 이미지를 3개 포함하는 복수의 미분리 이미지를 "다채널 미분리 이미지"로 지칭할 경우, 해당 다채널 미분리 이미지의 각 채널은 복수의 미분리 이미지에 포함된 각각의 미분리 이미지와 대응될 수 있다. 또한, 본 개시에 따라 개별적으로 획득된 복수의 미분리 이미지 또는 복수의 분리 이미지를 각각의 하나의 채널로 대응시킴으로써 다채널 미분리 이미지 또는 다채널 분리 이미지로 표시할 경우, 복수의 미분리 이미지 또는 복수의 분리 이미지는 하나의 다채널 이미지 상에서 동시에 표시될 수 있다. 예를 들어, 세 개의 미분리 이미지를 Red 채널, Green 채널, Blue 채널 각각으로 대응시킴으로써 세 개의 채널을 갖는 RGB 이미지로 표시할 경우, 세 개의 미분리이 이미지는 RGB 이미지상에서 동시에 표시될 수 있다.
본 개시의 이미지 처리 방법은 미분리 이미지(510)로부터 분리 이미지(530)를 생성할 수 있다.
일 실시예에서, 서버(100)는 복수의 미분리 이미지(510-1, 510-2, ..., 510-n)를 분리하기 위한 적어도 하나의 파라미터에 기초하여 복수의 미분리 이미지(510-1, 510-2, ..., 510-n)를 분리함으로써 복수의 분리 이미지(530-1, 530-2, ..., 530-n)를 생성할 수 있다. 설명을 위해 복수의 미분리 이미지가 두 개의 미분리 이미지를 포함한다고 가정할 때, 적어도 하나의 파라미터에 기초하여 복수의 미분리 이미지로부터 생성된 두 개의 분리 이미지는 아래의 수학식 1과 같이 표현될 수 있다.
수학식 1에서 
과 
는 미분리 이미지를 나타내고, 
와 
은 분리 이미지를 생성하는 데 필요한 파라미터를 나타내고, 
과 
는 분리 이미지를 나타낸다. 이때, _와 _은 각 미분리 이미지들의 가중치(또는, 기여 비율)를 결정하기 위한 파라미터일 수 있다. 프로세서(110)는 적어도 하나의 파라미터(
또는 
)에 기초하여 미분리 이미지들을 가중 합산(또는, 선형 중첩)하고 그에 따라 분리 이미지들을 생성할 수 있다. 예를 들어, 수학식 1에 의하면 분리 이미지 
은, 1배의 
과 
배의 
를 선형 중첩한 결과로써 생성되고, 분리 이미지 
는, 
배의 
과 1배의 
를 선형 중첩한 결과로써 생성될 수 있다.
본 개시에 있어서, "적어도 하나의 파라미터에 기초하여 복수의 미분리 이미지를 분리하는 연산"은, 행렬에 기초하여서도 표현될 수 있다. 이와 같은 행렬은 본 개시에서 "언믹싱 행렬(Unmixing Matrix)"로 지칭될 수 있고, 복수의 미분리 이미지로부터 생체 분자 각각에 대한 복수의 분리 이미지를 생성하기 위한 적어도 하나의 원소를 포함할 수 있다. 즉, 언믹싱 행렬은 복수의 미분리 이미지 사이의 선형 중첩 비율을 결정하는 적어도 하나의 원소를 포함할 수 있다. 상기 수학식 1을 행렬에 기초하여 표현할 경우 아래의 수학식 2와 같이 예시될 수 있다.
일 실시예에서, 서버(100)는 복수의 미분리 이미지(510-1, 510-2, ..., 510-n) 각각으로부터 사전 결정된 상수(또는, "상수 오프셋(Constant Offset)"이라고도 함)를 차감한 후, 사전 결정된 상수만큼 각 픽셀의 값이 차감된 복수의 미분리 이미지들을 가중합함으로써 복수의 분리 이미지(530-1, 530-2, ..., 530-n)를 생성할 수 있다.
수학식 3에서 
과 
는 각각 미분리 이미지 
및 
에 대응되는 상수 오프셋을 나타낸다. 서버(100)는 상수 오프셋을 미분리 이미지에 포함된 각각의 픽셀 값에서 차감한 후, 
과 
의 가중 합산 결과에 기초하여 각각의 분리 이미지를 생성할 수 있다.
상술한 수학식 1 내지 3에서는 복수의 미분리 이미지가 두 개의 미분리 이미지를 포함하는 것으로 가정하고 설명되었으나 이는 본 개시를 제한하지 않으며, 복수의 미분리 이미지는 셋 이상의 미분리 이미지를 포함할 수 있다.
도 6은 본 개시의 일 실시예에 따라 시료에 관한 복수의 미분리 이미지로부터 언믹싱 행렬을 이용하여 복수의 생체 분자 각각에 대한 분리 이미지를 생성하는 서버(100)의 동작을 나타내는 흐름도이다.
서버(100)는 복수의 생체 분자를 포함하는 시료에 관한 복수의 미분리 이미지를 획득할 수 있다(S610). 구체적으로, 프로세서(110)는 서버(100)의 사용자가 입력부(140)를 통해 복수의 미분리 이미지를 입력하는 동작에 기초하여 복수의 미분리 이미지를 획득할 수 있다. 또한, 프로세서(110)는 서버(100)의 촬영부(미도시)를 통해 시료에 대한 이미지를 촬영하고 그에 따라 복수의 미분리 이미지를 획득할 수 있다. 또한, 프로세서(110)는 통신 인터페이스(120)를 통해 외부의 장치 또는 사용자 단말(200)로부터 복수의 미분리 이미지를 획득할 수 있다. 복수의 미분리 이미지(입력 이미지)는, 예를 들어, 수학식 4와 같이 행렬로 표현될 수 있다.
수학식 4에서 
는 복수의 미분리 이미지(즉, 복수의 입력 이미지)에 관한 행렬을 나타낸다. 복수의 입력 이미지는, 시료의 염색 과정에서 시료를 n회 염색하고 촬영한 결과 획득된 복수의 미분리 이미지일 수 있다. 수학식 4에서 
는 i번째 입력 이미지의 j번째 픽셀의 값을 나타낸다. 수학식 4에서 행렬이 갖는 행의 크기는 복수의 입력 이미지의 수와 동일한 크기일 수 있다. 예를 들어, 복수의 입력 이미지 개수가 n개일 경우, 행렬(
)이 갖는 행의 크기는 n일 수 있다. 수학식 4에서 행렬이 갖는 열의 크기는 각각의 입력 이미지에 포함된 픽셀의 수와 동일한 크기일 수 있다. 예를 들어, 입력 이미지가 2차원 이미지이고 1024(가로 길이 방향의 픽셀 수) x 1024(세로 방향의 픽셀 수)의 해상도를 가짐으로써 입력 이미지에 포함된 픽셀의 수가 1048576(= 1024 * 1024)개일 경우, 행렬(
)이 갖는 열의 크기는 1048576일 수 있다. 즉, 행렬(
)이 갖는 열의 크기가 n이고 행의 크기가 m인 경우(즉, n x m 행렬인 경우), 행렬(
)은 입력 이미지 각각이 m개의 픽셀을 포함하는 n개의 입력 이미지에 관한 행렬인 것으로 해석될 수 있다.
다음으로, 서버(100)는 언믹싱 행렬을 이용하여 복수의 미분리 이미지로부터 복수의 생체 분자 각각에 대응되는 복수의 분리 이미지를 생성할 수 있다(S620). 본 개시에 따른 언믹싱 행렬은 사각행렬로서, 행(Row)과 열(Column)의 크기가 같은 정사각행렬이거나 행과 열의 크기가 상이한 직사각행렬일 수 있다. 언믹싱 행렬은 예를 들어, 아래의 수학식 5와 같이 표현될 수 있다.
수학식 5에서 
는 언믹싱 행렬의 i행 j열의 원소(또는 파라미터)의 값을 나타낸다. 언믹싱 행렬(
)의 열의 크기는 행렬 연산의 대상이 되는 미분리 이미지의 수와 동일한 크기일 수 있다. 예를 들어, n개의 미분리 이미지에 대한 언믹싱 행렬의 열의 크기는, 미분리 이미지의 수와 마찬가지로, n일 수 있다. 언믹싱 행렬(
)의 행의 크기(즉, k)는 언믹싱 행렬(
)의 열의 크기(n)와 같거나 상이할 수 있다. 언믹싱 행렬(
)의 행(Row)의 크기(즉, k)는 언믹싱 행렬(
)의 열의 크기(n)보다 작거나 같을 수 있다.
프로세서(110)는 언믹싱 행렬을 이용하여 복수의 미분리 이미지를 연산함으로써 복수의 분리 이미지를 생성할 수 있다. 상기 수학식 4에 따른 미분리 이미지 및 상기 수학식 5에 따른 언믹싱 행렬에 기초할 때 생성된 복수의 분리 이미지는 아래의 수학식 6과 같이 표현될 수 있다.
수학식 6에서 
는 언믹싱 행렬(
)과 복수의 미분리 이미지에 대한 행렬(
)을 행렬 곱셈(matrix multiplication)한 결과 획득되는 행렬을 나타낸다. 복수의 분리 이미지에 대한 행렬(
)이 갖는 행의 크기는 생성된 분리 이미지의 수를 나타낼 수 있다. 복수의 분리 이미지에 대한 행렬(
)이 갖는 열의 크기는 각 분리 이미지에 포함된 픽셀의 수를 나타낼 수 있다. 각각의 분리 이미지는 대응되는 특정 생체 분자에 대한 이미지일 수 있다. 수학식 6에서 
는 i번째 분리 이미지의 j번째 픽셀의 값을 나타낸다. 예를 들어, 제1 분리 이미지(First unmixed image)는 시료에 포함된 생체 분자 "A"에 대한 이미지를 나타내고, 제n 분리 이미지(nth unmixed image)는 시료에 포함된 생체 분자 "B"에 대한 이미지를 나타낼 수 있다.
상술한 바와 같이 프로세서(110)는 복수의 미분리 이미지를 획득하고, 언믹싱 행렬을 이용하여 복수의 미분리 이미지에 대한 행렬 연산을 수행함으로써, 복수의 생체 분자 각각에 대응되는 복수의 분리 이미지를 생성할 수 있다.
일 실시예에서, 언믹싱 행렬은 행과 열의 크기가 동일한 정사각행렬(Square Matrix)일 수 있다. 예를 들어, 정사각행렬인 언믹싱 행렬은 아래의 수학식 7과 같이 표현될 수 있다.
수학식 7에서 언믹싱 행렬(
)은 행과 열의 크기가 각각 n(n은 1 이상의 자연수)으로 동일한 정사각행렬일 수 있다. 프로세서(110)는 이와 같은 언믹싱 행렬(
)에 기초하여 n개의 미분리 이미지에 대한 행렬 연산을 수행함으로써 n개의 분리 이미지를 획득할 수 있다.
이하에서는 도 7 내지 10을 참조하여 다채널 이미지로부터 히스토그램 또는 확률분포함수를 결정하는 방법에 대해 설명한다.
도 7은 본 개시의 일 실시예에 따라 다채널 이미지로부터 서로 상이한 방법으로 결정된 히스토그램(Histogram)을 나타내는 예시도이다. 제1 이미지(710)는, 예를 들어, 복수의 미분리 이미지를 포함하는 다채널 이미지일 수 있다. 제1 이미지(710)의 각 채널은 복수의 미분리 이미지 각각에 대응될 수 있다. 이하, 본 개시에서 제1 이미지(710)는 2개의 채널을 갖는 다채널 이미지인 것으로 설명되지만, 이는 설명의 편의를 위한 가정일 뿐, 본 개시를 한정하지 않는다. 예를 들어, 제1 이미지(710)에 포함된 첫번째 이미지(또는 제1 이미지의 제1 채널)는 시료에 포함된 생체 분자 "A1"을 형광 물질 "A2"로 염색하고 형광 물질 "A2"로부터 방출되는 빛을 촬영한 이미지(또는 채널)일 수 있다. 또한, 예를 들어, 제1 이미지(710)에 포함된 두번째 이미지(또는 제1 이미지의 제2 채널)는 시료에 포함된 생체 분자 "B1"을 형광 물질 "B2"로 염색하고 형광 물질 "B2"로부터 방출되는 빛을 촬영한 이미지(또는 채널)이거나, 시료에 포함된 생체 분자 "A1" 및 "B1"을 각각 형광 물질 "A2" 및 "B2"로 염색하고 형광 물질 "A2" 및 형광 물질 "B2"로부터 방출되는 빛을 모두 촬영한 이미지(또는 채널)일 수 있다.
프로세서(110)는 복수의 단채널 이미지를 포함하는 다채널 이미지에 기초하여 서로 상이한 방법에 따라 둘 이상의 히스토그램을 결정할 수 있다. 예를 들어, 프로세서(110)는 복수의 단채널 이미지 내에서 서로 동일한 위치의 픽셀의 값에 기초하여 하나의 히스토그램을 결정하고, 또한 해당 복수의 단채널 이미지 내에서 서로 상이한 위치의 픽셀의 값에 기초하여 다른 하나의 히스토그램을 결정할 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 제1-1 히스토그램(730) 또는 제1-2 히스토그램(750)은 각각 제1 이미지(710)에 관하여 서로 상이한 방법으로 결정된 히스토그램일 수 있다. 일 실시예에서, 제1-1 히스토그램(730)은 제1 이미지(710)에 포함된 복수의 미분리 이미지 내에서 서로 동일한 위치의 픽셀의 값에 기초하여 결정된 히스토그램일 수 있고, 제1-2 히스토그램(750)은 제1 이미지(710)에 포함된 복수의 미분리 이미지 내에서 서로 상이한 위치의 픽셀의 값에 기초하여 결정된 히스토그램일 수 있다. 이하 도 8 및 9를 참조하여 본 개시에 따른 몇몇 히스토그램 결정 방법에 대해 상세히 설명한다.
도 8은 본 개시의 일 실시예에 따라 복수의 단채널 이미지 각각에 포함된 서로 동일한 위치의 픽셀의 값에 기초하여 히스토그램을 결정하는 서버(100)의 동작을 나타내는 순서도이다. 도 8에서는 복수의 단채널 이미지를 포함하는 다채널 이미지의 일 예시로서 도 7의 제1 이미지(710)를 예로 들어 설명한다.
프로세서(110)는 복수의 단채널 이미지 각각에 포함된 서로 동일한 위치의 픽셀의 값을 획득할 수 있다(S810). 예를 들어, 프로세서(110)는 제1 이미지(710)에 포함된 첫번째 이미지(제1 이미지의 제1 채널) 내의 제1 위치(711)로부터 픽셀 값(예를 들어 0.9)를 획득할 수 있다. 또한, 프로세서(110)는 제1 이미지(710)에 포함된 두번째 이미지(제1 이미지의 제2 채널) 내의 제1 위치(711)로부터 픽셀 값(예를 들어, 0.8)을 획득할 수 있다. 상술한 바와 같이, 프로세서(110)는 제1 이미지(710)에 포함된 복수의 미분리 이미지 각각에 포함된 서로 동일한 위치(즉, 제1 위치)의 픽셀의 픽셀 값을 획득할 수 있다.
다음으로, 프로세서(110)는 복수의 단채널 이미지 각각으로부터 획득된 서로 동일한 위치의 픽셀의 값에 기초하여 채널 값 순서쌍을 생성할 수 있다(S820). 채널 값 순서쌍은 복수의 원소를 포함할 수 있다. 예를 들어, 제1 이미지(710)에 대한 채널 값 순서쌍은 2개의 원소를 포함할 수 있다. 제1 이미지(710)에 대한 채널 값 순서쌍은, 예를 들어, (v1, v2)와 같이 표현될 수 있다. 이때, 채널 값 순서쌍 (v1, v2)에 포함된 첫번째 원소(v1)는 제1 이미지(710)의 제1 채널에 포함된 픽셀의 값이고, 두번째 원소(즉, v2)는 제1 이미지(710)의 제2 채널에 포함된 픽셀의 값일 수 있다. 채널 값 순서쌍에 포함된 각 원소의 값은 빛의 세기를 의미하는 값으로서, 소정 구간(예를 들어, 0 이상 1 이하)에 포함되는 실수(Real Number)일 수 있다. 만약 제1 이미지(710)의 제1 채널 내의 제1 위치(711)로부터 획득된 픽셀 값이 0.9이고 제1 이미지(710)의 제2 채널 내의 제1 위치(711)로부터 획득된 픽셀 값이 0.8인 경우, 프로세서(110)는 (0.9, 0.8)의 값을 갖는 채널 값 순서쌍을 생성할 수 있다.
다음으로, 프로세서(110)는 채널 값 순서쌍을 생성하는 동작을 소정 횟수 반복함으로써 복수의 채널 값 순서쌍을 생성할 수 있다(S830). 예를 들어, 프로세서(110)는 상술한 단계 S810 및 S820을 순서대로 소정 횟수 반복함으로써 반복된 횟수만큼의 채널 값 순서쌍을 생성할 수 있다.
다음으로, 프로세서(110)는 복수의 채널 값 순서쌍 중 동일한 값을 가지는 채널 값 순서쌍의 개수를 결정할 수 있다(S840). 예를 들어, 생성된 채널 값 순서쌍이 [(0.9, 0.8), (0.8, 0.2), (0.6, 0.0), (0.9, 0.8), (0.9, 0.8), (0.9, 0.8), (0.8, 0.2), (0.6, 0.0), (0.8, 0.2), (0.6, 0.0)]와 같다고 가정하자. 이때, 프로세서(110)는 순서쌍 (0.9, 0.8) 4개, 순서쌍 (0.8, 0.2) 3개, 순서쌍 (0.6, 0.0) 3개와 같이 동일한 값을 가지는 채널 값 순서쌍의 개수를 결정할 수 있다.
다음으로, 프로세서(110)는 채널 값 순서쌍의 개수에 기초하여 히스토그램을 생성할 수 있다(S850). 일 실시예에서, 히스토그램은 2차원 좌표축 상에 표현될 수 있다. 즉, 히스토그램은 채널 값 순서쌍의 제1 원소에 대응되는 가로축(x축)을 가지고, 채널 값 순서쌍의 제2 원소에 대응되는 세로축(y축)을 포함할 수 있다. 히스토그램 상에서 각각의 채널 값 순서쌍에 대응되는 픽셀은 해당 채널 값 순서쌍의 개수에 기초하여 서로 다른 색상 또는 서로 다른 밝기 등을 가지도록 표현될 수 있다. 예를 들어, 히스토그램 상에서 각각의 채널 값 순서쌍에 대응되는 픽셀은 해당 채널 값 순서쌍의 개수가 더 많을수록 더 밝게 표현되거나 제1 색상(예를 들어, 파랑)으로부터 제2 색상(예를 들어, 빨강)에 더 가깝게 표현될 수 있다. 도 7을 참조하여 설명하면, 제1-1 히스토그램(730)은 프로세서(110)가 제1 이미지(710)에 대해 상술한 단계 S810 내지 S850을 수행한 결과로서 생성된 히스토그램일 수 있다. 또한, 참조번호 731에 의해 지시되는 픽셀은 제1-1 히스토그램(730) 상에서 x값으로서 0.3, y값으로서 0.2를 갖는 픽셀로서, 채널 값 순서쌍 (0.3, 0.2)에 대응되는 픽셀일 수 있다. 참조번호 733에 의해 지시되는 픽셀은 제1-1 히스토그램(730) 상에서 x값으로서 0.6, y값으로 0.6을 갖는 픽셀로서, 채널 값 순서쌍 (0.6, 0.6)에 대응되는 픽셀일 수 있다. 제1 이미지(710)로부터 생성된 채널 값 순서쌍 중 (0.3, 0.2)의 값을 갖는 채널 값 순서쌍의 수가 (0.6, 0.6)의 값을 갖는 채널 값 순서쌍의 수보다 많다고 가정할 경우, 제1-1 히스토그램(730) 상에는 채널 값 순서쌍 (0.3, 0.2)에 대응되는 픽셀(731)이 채널 값 순서쌍 (0.6, 0.6)에 대응되는 픽셀(733)보다 밝은 색으로 표현될 수 있다.
다른 일 실시예에서, 히스토그램은 3차원 좌표축 상에 표현될 수 있다. 이때, 히스토그램은 채널 값 순서쌍의 제1 원소에 대응되는 제1 축(x축), 채널 값 순서쌍의 제2 원소에 대응되는 제2 축(y축) 및 채널 값 순서쌍의 개수에 대응되는 제3 축(z축)을 포함할 수 있다.
프로세서(110)는 단계 S850의 수행 이후, 생성된 히스토그램으로부터 확률분포함수를 결정하는 동작을 추가로 수행할 수 있다. 이하 본 개시에서 "확률분포함수"는 "확률 분포"라는 용어로 지칭될 수 있다. 예를 들어, 프로세서(110)는 단계 S850의 수행 결과에 따라 생성된 히스토그램을 정규화함으로써 근사적으로 확률 분포를 결정할 수 있다. 도 7을 참조하여 설명하면, 제1-1 히스토그램(730)으로부터 결정된 확률 분포는 제1-1 히스토그램(730)과 유사한 데이터 분포를 갖는 연속 확률분포함수일 수 있다.
도 9는 본 개시의 일 실시예에 따라 복수의 단채널 이미지 각각에 포함된 서로 상이한 위치의 픽셀의 값에 기초하여 히스토그램을 결정하는 서버(100)의 동작을 나타내는 순서도이다. 도 9에서는 복수의 단채널 이미지를 포함하는 다채널 이미지의 일 예시로서 도 7의 제1 이미지(710)를 예로 들어 설명한다.
프로세서(110)는 복수의 단채널 이미지 각각에 포함된 서로 상이한 위치의 픽셀의 값을 획득할 수 있다(S910). 예를 들어, 프로세서(110)는 제1 이미지(710)에 포함된 첫번째 이미지(제1 이미지의 제1 채널) 내의 제2-1 위치(713a)로부터 픽셀 값(예를 들어 0.5)을 획득할 수 있다. 또한, 프로세서(110)는 제1 이미지(710)에 포함된 첫번째 이미지(제1 이미지의 제1 채널) 내의 제2-2 위치(713b)로부터 픽셀 값(예를 들어, 0.1)을 획득할 수 있다. 제2-1 위치(713a) 및 제2-2 위치(713b)는 서로 상이한 좌표값을 갖는 위치일 수 있다. 상술한 바와 같이, 프로세서(110)는 제1 이미지(710)에 포함된 복수의 미분리 이미지 각각에 포함된 서로 상이한 위치의 픽셀의 픽셀 값을 획득할 수 있다.
다음으로, 프로세서(110)는 복수의 단채널 이미지 각각으로부터 획득된 서로 상이한 위치의 픽셀의 값에 기초하여 채널 값 순서쌍을 생성할 수 있다(S920). 예를 들어, 제1 이미지(710)의 제1 채널 내의 제2-1 위치(713a)로부터 획득된 픽셀의 값이 0.5이고 제1 이미지(710)의 제2 채널 내의 제2-2 위치(713b)로부터 획득된 픽셀의 값이 0.1인 경우, 프로세서(110)는 (0.5, 0.1)의 값을 갖는 채널 값 순서쌍을 생성할 수 있다.
다음으로, 프로세서(110)는 채널 값 순서쌍을 생성하는 동작(즉, S910 및 S920)을 소정 횟수 반복함으로써 복수의 채널 값 순서쌍을 생성(S930)하고, 복수의 채널 값 순서쌍 중 동일한 값을 가지는 채널 값 순서쌍의 개수를 결정(S940)하고, 그리고 채널 값 순서쌍의 개수에 기초하여 히스토그램을 생성할 수 있다(S950). 단계 S930 내지 S950은 프로세서(110)에 의해 상술된 단계 S830 내지 S850과 동일 또는 유사하게 수행될 수 있으므로 중복된 내용의 설명은 생략한다. 도 7의 제1-2 히스토그램(750)은 프로세서(110)가 제1 이미지(710)에 대해 상술한 단계 S910 내지 S950을 수행한 결과로서 생성된 히스토그램일 수 있다.
프로세서(110)는 단계 S950의 수행 이후, 생성된 히스토그램으로부터 확률분포함수를 결정하는 동작을 추가로 수행할 수 있다. 예를 들어, 프로세서(110)는 단계 S950의 수행 결과에 따라 생성된 히스토그램을 정규화함으로써 근사적으로 확률 분포를 결정할 수 있다. 도 7을 참조하여 설명하면, 제1-2 히스토그램(750)으로부터 결정된 확률 분포는 제1-2 히스토그램(750)과 유사한 데이터 분포를 갖는 연속 확률분포함수일 수 있다.
본 개시에 따른 서버(100)는 도 8 및 9를 참조하여 상술한 바와 같이 복수의 단채널 이미지를 포함하는 다채널 이미지에 기초하여 서로 상이한 방법을 통해 해당 이미지에 대한 히스토그램 또는 확률 분포를 결정할 수 있다.
본 개시에서 복수의 이미지 사이의 "의존성" 또는 "유사성"이라는 용어는, 복수의 이미지에 포함된 정보가 서로 얼마나 연관되어 있는지를 나타내는 용어로서 확률적 독립성에 대비되는 의미로 사용될 수 있다. 복수의 이미지가 서로 높은 의존성을 가질 경우, 각각의 이미지에서 서로 동일한 위치에 대응되는 픽셀들은 픽셀 값 사이에 특정한 경향성이 있을 수 있다. 예를 들어, 각각의 이미지에서 서로 동일한 위치에 대응되는 픽셀 값 중에서 첫번째 채널의 픽셀 값이 낮은 경우 높은 확률로 두번째 채널의 픽셀 값이 높을 수 있고 반대로 첫번째 채널의 픽셀 값이 높은 경우 높은 확률로 두번째 채널의 픽셀 값이 높을 수 있다.. 반면, 복수의 이미지가 서로 낮은 의존성을 가질 경우, 각각의 이미지에서 서로 동일한 위치에 대응되는 픽셀들이라도 해당 픽셀들의 픽셀 값 사이에는 특정한 경향성이 없을 수 있다. 본 개시에서 복수의 픽셀 값 사이에 "특정한 경향성이 없다"는 것은, 복수의 픽셀 값이 서로 영향을 미치지 않고, 복수의 픽셀 값의 크기에 관한 대소 관계가 무작위(random)로 결정된다는 것을 의미할 수 있다. 또한, 본 개시에서 "독립성(Independency)"라는 용어는, 복수의 이미지에 포함된 정보가 서로 얼마나 독립적인지를 나타내는 용어로서 사용될 수 있다. 즉, 의존성과 독립성은 서로 반대되는 개념으로서, 복수의 이미지 사이에 의존성이 클수록 독립성은 작고 의존성이 작을수록 독립성은 크다고 표현될 수 있다. 본 개시에 따른 복수의 미분리 이미지는 서로 높은 의존성(dependency)을 가질 수 있다. 또한, 복수의 미분리 이미지로부터 생성된 복수의 분리 이미지는 낮은 의존성을 가질 수 있다.
다시 도 7을 참조하면, 제1 이미지(710)는 복수의 채널이 각각 복수의 미분리 이미지에 포함된 하나의 미분리 이미지와 대응되는 경우의 다채널 이미지일 수 있다. 복수의 미분리 이미지는 상술한 바와 같이 서로 높은 의존성을 가질 수 있고 각각의 미분리 이미지에 포함된 서로 동일한 위치의 픽셀들은 서로 동일하거나 비슷한 크기의 픽셀 값을 가질 수 있다. 따라서, 복수의 미분리 이미지 각각에 포함된 서로 동일한 위치의 픽셀의 값에 기초하여 히스토그램을 결정하는 경우, 채널 값 순서쌍에 포함된 제1 원소의 크기와 제2 원소의 크기는 대체적으로 동일하거나 유사할 수 있다. 예를 들어, 복수의 미분리 이미지 각각에 포함된 서로 동일한 위치의 픽셀의 값에 기초하여 생성된 제1-1 히스토그램(730)과 같이, 제1 원소의 값과 제2 원소의 값 사이에는 특정 상관관계가 나타날 수 있다.
본 개시에서 복수의 단채널 이미지 각각에 포함된 서로 동일한 위치의 픽셀의 값에 기초하여 생성된 히스토그램은, 그 이미지들에 대한 "결합 히스토그램(Joint Histogram)"으로 지칭될 수 있다. 또한, 결합 히스토그램으로부터 결정된 확률분포함수는 "결합 확률 분포"로 지칭될 수 있다. 예를 들어, 제1-1 히스토그램(730)은 제1 이미지(710)에 포함된 복수의 미분리 이미지에 대한 결합 히스토그램일 수 있다.
만약, 제1 이미지(710)에 포함된 복수의 미분리 이미지 내에서 서로 상이한 위치의 픽셀의 값에 기초하여 히스토그램을 생성하는 경우, 채널 값 순서쌍에 포함된 제1 원소의 크기와 제2 원소의 크기 사이에는 특정한 경향성이 없을 수 있다. 예를 들어, 복수의 미분리 이미지 각각에 포함된 서로 상이한 위치의 픽셀의 값에 기초하여 생성된 제1-2 히스토그램(750)과 같이, 채널 값 순서쌍에 포함된 제1 원소의 값과 제2 원소의 값 사이에는 특정 상관관계가 나타나지 않을 수 있다.
본 개시에서 복수의 단채널 이미지 각각에 포함된 서로 상이한 위치의 픽셀의 값에 기초하여 생성된 히스토그램은, 그 이미지들에 대한 "주변 히스토그램(Marginal Histogram)"으로 지시될 수 있다. 또한, 주변 히스토그램으로부터 결정된 확률분포함수는 "주변 확률 분포"로 지칭될 수 있다. 예를 들어, 제1-2 히스토그램(7500)은 제1 이미지(710)에 포함된 복수의 미분리 이미지에 대한 주변 히스토그램일 수 있다.
이하에서는 도 10를 참조하여 다채널 이미지에 포함된 복수의 채널이 각각 분리 이미지인 경우에 결정되는 둘 이상의 히스토그램을 설명한다.
도 10은 본 개시의 다른 일 실시예에 따라 다채널 이미지로부터 서로 상이한 방법으로 결정된 히스토그램을 나타내는 예시도이다. 제2 이미지(1010)는, 예를 들어, 복수의 분리 이미지를 포함하는 다채널 이미지일 수 있다. 제2 이미지(1010)는 프로세서(110)가 언믹싱 행렬을 이용하여 복수의 미분리 이미지를 연산한 결과로써 생성된 복수의 분리 이미지를 포함하는 다채널 이미지일 수 있다. 이하, 본 개시에서 제2 이미지(1010)는 2개의 채널을 갖는 다채널 이미지인 것으로 설명되지만, 이는 설명의 편의를 위한 가정일 뿐, 본 개시를 한정하지 않는다. 예를 들어, 제2 이미지(1010)에 포함된 첫번째 이미지(또는 제2 이미지의 제1 채널)는 시료에 포함된 생체 분자 "A1"에 대한 이미지일 수 있다. 또한, 예를 들어, 제2 이미지(1010)에 포함된 두번째 이미지(또는 제2 이미지의 제2 채널)는 시료에 포함된 생체 분자 "B1"에 대한 이미지일 수 있다.
제2-1 히스토그램(1030) 및 제2-2 히스토그램(1050)은 각각 도 7을 참조하여 전술한 제1-1 히스토그램(730) 및 제1-2 히스토그램(750)과 유사한 방식으로 제2 이미지(1010)에 관하여 결정된 히스토그램일 수 있다. 예를 들어, 제2-1 히스토그램(1030)은 제2 이미지(1010)에 포함된 복수의 단채널 이미지 내에서 서로 동일한 위치의 픽셀의 값에 기초하여 결정된 결합 히스토그램이고, 제2-2 히스토그램(1050)은 제2 이미지(1010)에 포함된 복수의 단채널 이미지 내에서 서로 상이한 위치의 픽셀의 값에 기초하여 결정된 주변 히스토그램일 수 있다. 복수의 분리 이미지에서 서로 동일한 위치에 대응되는 픽셀들 각각이 갖는 픽셀 값 사이에는 특정한 경향성이 없을 수 있다. 즉, 서로 낮은 의존성을 갖는 복수의 분리 이미지에 대해서 결정된 히스토그램들에는 특정 상관관계가 나타나지 않을 수 있다. 예를 들어, 복수의 분리 이미지를 포함하는 제2 이미지(1010)에 대해 제2-1 히스토그램(1030) 및 제2-2 히스토그램(1050)을 각각 생성하는 경우, 생성된 두 히스토그램 모두에서 채널 값 순서쌍에 포함된 제1 원소의 크기와 제2 원소의 크기 사이에는 특정한 경향성이 없을 수 있다.
도 11은 본 개시의 일 실시예에 따라 언믹싱 행렬의 파라미터를 갱신하는 서버(100)의 동작을 나타내는 순서도이다.
프로세서(110)는 복수의 생체 분자를 포함하는 시료에 관한 복수의 미분리 이미지를 획득할 수 있다(S1110). 프로세서(110)는 제1 언믹싱 행렬을 이용하여 복수의 미분리 이미지로부터 복수의 생체 분자 각각에 대응되는 복수의 분리 이미지를 생성할 수 있다(S1120). 단계 S1110 또는 S1120은, 프로세서(110)에 의해, 도 6에서 상술한 단계 S610 또는 S620과 동일하거나 유사하게 수행될 수 있다.
다음으로, 프로세서(110)는 언믹싱 행렬에 의해 생성된 복수의 분리 이미지에 기초하여 복수의 분리 이미지 사이의 의존성을 평가할 수 있다(S1130). 복수의 분리 이미지 사이의 의존성은 프로세서(110)에 의해 수행되는 특정 알고리즘에 기초하여 평가되거나, 프로세서(110)가 인공 신경망 모델을 이용하여 소정의 연산을 수행함으로써 평가될 수 있다. 또한, 프로세서(110)는 의존성 평가 결과에 기초하여 복수의 분리 이미지 사이의 의존성이 낮아지도록 언믹싱 행렬의 파라미터를 수정할 수 있다(S1140).
본 개시의 다양한 실시예에 따르면, 프로세서(110)는 복수의 분리 이미지에 대해 생성된 히스토그램에 기초하여 복수의 분리 이미지 사이의 의존성을 평가할 수 있다. 구체적으로, 프로세서(110)는 복수의 분리 이미지에 대해 생성된 히스토그램에 기초하여 사전 결정된 알고리즘(또는 수식)에 따라 복수의 분리 이미지 사이의 의존성을 지시하는 값(이하, "의존성 평가 값"이라고도 함)을 산출할 수 있다.
복수의 분리 이미지에 대해 생성된 히스토그램에 기초하여 복수의 분리 이미지 사이의 의존성을 평가하는 제1 실시예에서, 프로세서(110)는 복수의 분리 이미지 사이의 상호 정보량(Mutual Information)을 산출함으로써 의존성을 평가할 수 있다. "상호 정보량"이란 정보이론에서부터 비롯된 값으로, 두 변수 사이의 상호정보량은 두 변수가 공유하고 있는 정보의 총량을 지시할 수 있으며, 예를 들어, 두 무작위 변수(two random variables) 사이의 상호정보량은 0 일 수 있다. 프로세서(110)는 복수의 분리 이미지에 기초하여 생성되는 결합 히스토그램 또는 주변 히스토그램에 기초하여 상호 정보량을 산출할 수 있다. 두 개의 분리 이미지에 대한 상호 정보량은, 예를 들어, 아래의 수학식 8과 같이 표현될 수 있다.
수학식 8에서 
와 
는 각각 서로 다른 분리 이미지를 나타내며,
는 두 분리 이미지에 대해 산출되는 상호 정보량을 나타낸다. 수학식 8에서 우변의 
는 두 분리 이미지 
및 
각각에 포함된 서로 동일한 위치의 픽셀의 값에 기초하여 결정된 결합 히스토그램 또는 결합 확률 분포를 나타낸다. 두 분리 이미지 
및 
에 대한 결합 히스토그램 또는 결합 확률 분포는, 예를 들어, 프로세서(110)가 두 분리 이미지 
및 
에 대해 상술한 도 8의 각 단계를 수행한 결과 생성될 수 있다. 수학식 8에서 우변의 
는 두 분리 이미지 
및 
각각에 포함된 서로 상이한 위치의 픽셀의 값에 기초하여 결정된 주변 히스토그램 또는 주변 확률 분포를 나타낸다. 두 분리 이미지 
및 
에 대한 주변 히스토그램 또는 주변 확률 분포는, 예를 들어, 프로세서(110)가 두 분리 이미지 
및 
에 대해 상술한 도 9의 각 단계를 수행한 결과 생성될 수 있다. 프로세서(110)는 수학식 8에 의해 예시되는 상호 정보량을 계산함으로써 복수의 분리 이미지 사이의 의존성을 산출할 수 있다.
복수의 분리 이미지에 대해 생성된 히스토그램에 기초하여 복수의 분리 이미지 사이의 의존성을 평가하는 제2 실시예에서, 프로세서(110)는 복수의 분리 이미지 사이의 쿨벡-라이블러 발산(Kullback-Leibler Divergence) 값을 산출함으로써 의존성을 평가할 수 있다. "쿨벡-라이블러 발산"은 서로 다른 두 확률분포들의 차이를 계산할 때 사용 가능한 함수로써, 그 함수의 값은 서로 다른 두 확률 분포의 정보 엔트로피들의 차이를 나타낸다. 쿨벡-라이블러 발산 값이 클수록 서로 다른 두 확률 분포는 차이가 크고 잘 구분될 수 있다. 쿨벡-라이블러 발산 값은 아래의 수학식 9와 같이 정의될 수 있다.
수학식 9에서 X는 복수의 분리 이미지 사이의 결합 히스토그램 또는 결합 확률 분포를 나타낸다. 복수의 분리 이미지에 대한 결합 히스토그램 또는 결합 확률 분포는, 예를 들어, 프로세서(110)가 복수의 분리 이미지에 대해 상술한 도 8의 각 단계를 수행한 결과 생성될 수 있다. 또한, Y는 복수의 분리 이미지 사이의 주변 히스토그램 또는 주변 확률 분포를 나타낸다. 복수의 분리 이미지에 대한 주변 히스토그램 또는 주변 확률 분포는, 예를 들어, 프로세서(110)가 복수의 분리 이미지에 대해 상술한 도 9의 각 단계를 수행한 결과 생성될 수 있다. 프로세서(110)는 수학식 9에 의해 예시되는 쿨벡-라이블러 발산 값에 기초하여 복수의 분리 이미지 사이의 의존성을 산출할 수 있다.
복수의 분리 이미지에 대해 생성된 히스토그램에 기초하여 복수의 분리 이미지 사이의 의존성을 평가하는 제3 실시예에서, 프로세서(110)는 복수의 분리 이미지 사이의 교차 엔트로피 값을 산출함으로써 의존성을 평가할 수 있다. "교차 엔트로피"는 두 확률분포들을 구분하기 위해 필요한 평균 비트 수를 의미하며, 그 값은 서로 다른 두 확률 분포의 차이를 나타낸다. 교차 엔트로피 값이 클수록 서로 다른 두 확률 분포는 차이가 크고 잘 구분될 수 있다. 교차 엔트로피 값은 아래의 수학식 10과 같이 정의될 수 있다.
수학식 10에서 X는 복수의 분리 이미지 사이의 결합 히스토그램 또는 결합 확률 분포를 나타낸다. 복수의 분리 이미지에 대한 결합 히스토그램 또는 결합 확률 분포는, 예를 들어, 프로세서(110)가 복수의 분리 이미지에 대해 상술한 도 8의 각 단계를 수행한 결과 생성될 수 있다. 또한, Y는 복수의 분리 이미지 사이의 주변 히스토그램 또는 주변 확률 분포를 나타낸다. 복수의 분리 이미지에 대한 주변 히스토그램 또는 주변 확률 분포는, 예를 들어, 프로세서(110)가 복수의 분리 이미지에 대해 상술한 도 9의 각 단계를 수행한 결과 생성될 수 있다. 프로세서(110)는 수학식 10에 의해 예시되는 교차 엔트로피 값에 기초하여 복수의 분리 이미지 사이의 의존성을 산출할 수 있다.
복수의 분리 이미지에 대해 생성된 히스토그램에 기초하여 복수의 분리 이미지 사이의 의존성을 평가하는 제4 실시예에서, 프로세서(110)는 복수의 분리 이미지 사이의 랜드 지수(Rand Index)를 산출함으로써 의존성을 평가할 수 있다. "랜드 지수"는 두 데이터 집합 사이의 유사도를 나타내는 값이다. 랜드 지수가 클수록 서로 다른 두 데이터 집합은 차이가 크고 잘 구분될 수 있다. 예를 들어, 두 데이터 집합(X 및 Y)이 각각 X = {X1, X2, ..., Xi} 및 Y = {Y1, Y2, ..., Yj}와 같이 표현된다고 가정할 때, 두 데이터 집합 사이의 중첩은 아래의 표 1과 같이 나타낼 수 있다.
예를 들어, 데이터 집합 X는 복수의 분리 이미지 사이의 결합 히스토그램 또는 결합 확률 분포의 데이터들을 포함할 수 있고, 데이터 집합 Y는 복수의 분리 이미지 사이의 주변 히스토그램 또는 주변 확률 분포의 데이터들을 포함할 수 있다. 이러한 표 1에 기초하는 랜드 지수는 아래의 수학식 11과 같이 정의될 수 있다.
프로세서(110)는 수학식 11에 의해 예시되는 랜드 지수에 기초하여 복수의 분리 이미지 사이의 의존성을 산출할 수 있다.
상술한 의존성 평가에 관한 제1 실시예 내지 제4 실시예는 프로세서(110)가 복수의 분리 이미지 사이의 의존성을 평가하는 방법을 구체적으로 설명하기 위한 예시일 뿐 본 개시를 제한하지 않으며, 본 개시의 프로세서(110)는 다양한 방법으로 복수의 분리 이미지에 대해 생성된 히스토그램에 기초하여 의존성(또는 유사성)을 평가할 수 있다.
본 개시에 따른 서버(100)는 산출된 의존성 평가 결과에 기초하여 언믹싱 행렬에 포함된 적어도 하나의 파라미터를 수정할 수 있다. 이하에서는 상술한 의존성 평가에 관한 제1 실시예 내지 제4 실시예를 다시 참조하여 구체적인 파라미터 수정 방법을 설명한다.
상호 정보량에 기초하여 복수의 분리 이미지 사이의 의존성을 평가하는 상기 제1 실시예에서, 프로세서(110)는 산출된 상호 정보량이 작아지는 방향으로 언믹싱 행렬의 파라미터를 수정할 수 있다. 본 개시에서 "복수의 분리 이미지에 대하여 산출되는 특정 값이 작아지는 방향으로 언믹싱 행렬의 파라미터를 수정한다"는 표현은, 복수의 미분리 이미지로부터 복수의 분리 이미지를 생성하는 데에 기초가 되는 언믹싱 행렬의 파라미터를 수정한 결과, 수정 후의 언믹싱 행렬에 따라 생성된 복수의 분리 이미지에 대해 산출된 특정 값이, 수정 전의 언믹싱 행렬에 따라 생성된 복수의 분리 이미지에 대해 산출된 특정 값보다 작아짐을 의미할 수 있다. 이하에서는 "특정 값이 작아지는 방향으로 언믹싱 행렬의 파라미터를 수정한다"라는 표현을 "특정 값이 작아지도록 언믹싱 행렬의 파라미터를 수정한다"라는 표현과 상호 교환적으로 사용한다. 프로세서(110)는 상호 정보량이 작아지는 방향으로 언믹싱 행렬의 파라미터를 수정하기 위해, 예를 들어, 아래의 수학식 12와 같은 손실함수를 사용할 수 있다. 수학식 12는 상술한 수학식 8을 따르는 일 실시예에서의 손실함수를 나타낸다.
쿨벡-라이블러 발산 값에 기초하여 복수의 분리 이미지 사이의 의존성을 평가하는 상기 제2 실시예에서, 프로세서(110)는 쿨벡-라이블러 발산 값이 작아지는 방향으로 언믹싱 행렬의 파라미터를 수정하기 위해, 예를 들어, 아래의 수학식 13과 같은 손실함수를 사용할 수 있다. 수학식 13은 상술한 수학식 9를 따르는 일 실시예에서의 손실함수를 나타낸다.
복수의 분리 이미지가 두 개라고 가정할 경우, 수학식 13의 
은 이미지(
)과 이미지(
) 사이에서 결정되는 결합 확률 분포, 
는 이미지(
)와 이미지(
) 사이에서 결정되는 주변 확률 분포를 나타낼 수 있다.
교차 엔트로피 값에 기초하여 복수의 분리 이미지 사이의 의존성을 평가하는 상기 제3 실시예에서, 프로세서(110)는 교차 엔트로피 값이 작아지는 방향으로 언믹싱 행렬의 파라미터를 수정하기 위해, 예를 들어, 아래의 수학식 14과 같은 손실함수를 사용할 수 있다. 수학식 14는 상술한 수학식 10을 따르는 일 실시예에서의 손실함수를 나타낸다.
복수의 분리 이미지가 두 개라고 가정할 경우, 수학식 14의 
은 이미지(
)과 이미지(
) 사이에서 결정되는 결합 확률 분포, 
는 이미지(
)와 이미지(
) 사이에서 결정되는 주변 확률 분포를 나타낼 수 있다.
랜드 지수에 기초하여 복수의 분리 이미지 사이의 의존성을 평가하는 상기 제4 실시예에서, 프로세서(110)는 랜드 지수가 작아지는 방향으로 언믹싱 행렬의 파라미터를 수정하기 위해, 예를 들어, 아래의 수학식 15와 같은 손실함수를 사용할 수 있다. 수학식 15는 상술한 수학식 11을 따르는 일 실시예에서의 손실함수를 나타낸다.
복수의 분리 이미지가 두 개라고 가정할 경우, 수학식 15의 
은 이미지(
)과 이미지(
) 사이에서 결정되는 결합 확률 분포, 
는 이미지(
)와 이미지(
) 사이에서 결정되는 주변 확률 분포를 나타낼 수 있다.
프로세서(110)는 아래의 수학식 16에 기초하여 상술한 수학식 12 내지 15와 같은 다양한 손실함수를 최소화하는 적어도 하나의 파라미터(예를 들면, 수학식 12 내지 15에서의 
또는 
)를 결정할 수 있다.
상술한 바와 같이 본 개시에 따른 서버(100)는 산출된 의존성 평가 결과에 기초하여 언믹싱 행렬에 포함된 적어도 하나의 파라미터를 수정할 수 있다.
본 개시의 추가적인 몇몇 실시예에 따르면, 프로세서(110)는 인공 신경망 모델에 기초하여 복수의 분리 이미지 사이의 의존성을 평가하고, 의존성 평가 결과에 기초하여 언믹싱 행렬의 파라미터를 수정할 수 있다. 본 개시에 따라 프로세서(110)가 인공 신경망 모델에 기초하여 언믹싱 행렬의 파라미터를 수정하는 방법에 대해서는 이하 도면을 참조하여 구체적으로 설명한다.
다음으로, 프로세서(110)는 사전 결정된 임계 조건의 만족 여부를 판단할 수 있다(S1145).
일 실시예에서, 사전 결정된 임계 조건은 언믹싱 행렬의 갱신 횟수에 따르는 조건일 수 있다. 예를 들어, 사전 결정된 임계 조건은 언믹싱 행렬을 N(N은 1 이상의 자연수)회 수정할 경우 만족되는 조건이라고 가정하자. 이때, 프로세서(110)는 언믹싱 행렬을 갱신할 때마다 갱신 횟수를 카운트하고 카운트된 갱신 횟수가 N회인 경우 사전 결정된 임계 조건이 만족되는 것으로 판단할 수 있다.
프로세서(110)가 복수의 분리 이미지 사이의 의존성 평가 값을 산출하는 일 실시예에서, 사전 결정된 임계 조건은 계산되는 의존성 평가 값의 크기에 따르는 조건일 수 있다. 예를 들어, 사전 결정된 임계 조건은 복수의 분리 이미지 사이에서 계산되는 의존성 평가 값의 크기가 0.2 이하인 경우 만족되는 조건이라고 가정하자. 이때, 프로세서(110)는 단계 S1130을 수행한 결과 복수의 분리 이미지 사이에서 계산된 의존성 평가 값의 크기가 0.2 이하인 경우 사전 결정된 임계 조건이 만족되는 것으로 판단할 수 있다.
또한, 프로세서(110)가 인공 신경망 모델에 기초하여 의존성을 평가하는 일 실시예에서, 사전 결정된 임계 조건은 인공 신경망 모델의 학습 횟수, 출력 값의 크기 또는 손실 값(Loss 값, 출력 값과 참값 사이의 오차) 중 적어도 하나에 기초하는 조건일 수 있다. 예를 들어, 사전 결정된 임계 조건은 인공 신경망 모델의 손실 값이 0.1 이하인 경우에 만족되는 조건이라고 가정하자. 이때, 프로세서(110)는 인공 신경망 모델의 손실 값이 0.1 이하인 경우 사전 결정된 임계 조건이 만족되는 것으로 판단할 수 있다.
프로세서(110)가 사전 결정된 임계 조건의 만족 여부를 판단한 결과 해당 조건이 만족되지 않는 경우, 프로세서(110)는 상술한 단계 S1120 내지 S1140을 사전 결정된 임계 조건이 만족될 때까지 반복하여 수행할 수 있다.
프로세서(110)가 사전 결정된 임계 조건의 만족 여부를 판단한 결과 해당 조건이 만족되는 경우, 프로세서(110)는 언믹싱 행렬의 갱신을 종료할 수 있다. 갱신된 언믹싱 행렬은 갱신되기 전의 언믹싱 행렬에 비해 적어도 하나의 파라미터가 수정된 행렬일 수 있다.
도 12는 본 개시의 일 실시예에 따른 인공 신경망 모델(1250)에 기초하여 복수의 분리 이미지(1210) 사이의 의존성을 평가하는 과정을 개념적으로 도시한 개념도이다. 인공 신경망 모델(1250)은 입력 데이터를 입력 받고, 입력된 입력 데이터의 종류를 결정하기 위한 출력 데이터를 생성하는 인공 신경망 모델(이하, "분류 모델"이라고도 함)일 수 있다. 이하 도 12를 참조하여서는, 설명의 편의상 복수의 분리 이미지(1210)가 세 개의 분리 이미지를 포함하는 것으로 가정하여 설명하지만, 본 개시는 이에 제한되지 않는다.
프로세서(110)는 복수의 분리 이미지(1210)에 기초하여 인공 신경망 모델(1250)에 입력되는 적어도 하나의 입력 데이터를 생성할 수 있다. 일 실시예에서, 프로세서(110)는 복수의 분리 이미지(1210)에 관한 서로 상이한 둘 이상의 확률 분포 중 적어도 하나의 확률 분포로부터 데이터를 샘플링(Sampling)함으로써 입력 데이터를 생성할 수 있다. 본 개시에서 "샘플링"이라는 용어는, 특정 확률 분포에 포함된 각 원소가 갖는 확률 값에 기초하여 소정 개수의 원소를 선택하거나 추출하는 동작을 지칭하기 위한 용어일 수 있다. 예를 들어, 특정 확률 분포에 포함된 제1 원소가 제2 원소보다 높은 확률 값을 가지고, 해당 특정 확률 분포로부터 하나의 원소를 샘플링하는 경우, 제1 원소가 선택될 확률은 제2 원소가 선택될 확률보다 더 높을 수 있다. 또한 예를 들어, 특정 확률 분포에 포함된 모든 원소가 동일한 확률 값을 가지고, 해당 특정 확률 분포로부터 하나의 원소를 샘플링하는 경우, 모든 원소는 선택될 확률이 동일할 수 있다. 본 개시에서 프로세서(110)가 데이터를 샘플링하기 위한 일 확률 분포는, 예를 들어, 복수의 분리 이미지(1210) 각각에 포함된 서로 동일한 위치의 픽셀의 값에 기초하여 결정되는 확률 분포(이하, "제1 확률 분포"라고도 함)일 수 있다. 제1 확률 분포는 프로세서(110)가 복수의 분리 이미지(1210)에 대해 도 8을 참조하여 전술된 방법을 수행함으로써 결정될 수 있다. 프로세서(110)는 제1 확률 분포로부터 데이터를 샘플링함으로써 일 입력 데이터를 생성할 수 있다. 또한, 프로세서(110)가 데이터를 샘플링하기 위한 일 확률 분포는, 예를 들어, 복수의 분리 이미지(1210) 각각에 포함된 서로 상이한 위치의 픽셀의 값에 기초하여 결정되는 확률 분포(이하, "제2 확률 분포"라고도 함)일 수 있다. 제2 확률 분포는 프로세서(110)가 복수의 분리 이미지(1210)에 대해 도 9를 참조하여 전술된 방법을 수행함으로써 결정될 수 있다. 프로세서(110)는 제2 확률 분포로부터 데이터를 샘플링함으로써 일 입력 데이터를 생성할 수 있다.
일 실시예에서, 제1 확률 분포로부터 샘플링되는 입력 데이터(1231)는 아래의 수학식 17과 같이 표현될 수 있다.
수학식 17의 좌변의 
는 제1 확률 분포로부터 샘플링되는 적어도 하나의 입력 데이터를 나타낸다. 우변의 
는 복수의 분리 이미지(1210)에 대한 결합 확률 분포에 해당하는 제1 확률 분포를 나타낸다. 또한, 
의 
, 
및 
는 복수의 분리 이미지(1210)에 포함된 각각의 분리 이미지에 대응되는 확률변수를 지칭하고, 
, 
및 
는 확률변수 
, 
및 
각각의 실현 값 혹은 픽셀 값을 지칭한다. 또한, 
는 제1 확률 분포로부터 샘플링된 i번째 입력 데이터(i는 1이상 n이하의 자연수)를 나타내고, 
는 복수의 분리 이미지(1210) 중 첫번째 분리 이미지로부터 추출된 픽셀 값, 
는 복수의 분리 이미지(1210) 중 두번째 분리 이미지로부터 추출된 픽셀 값 및, 
는 복수의 분리 이미지(1210) 중 세번째 분리 이미지로부터 추출된 픽셀 값을 각각 지칭한다. 이때, 제1 확률 분포는 복수의 분리 이미지(1210) 각각에 포함된 서로 동일한 위치의 픽셀의 값에 기초하여 결정되므로, 
에 포함된 각각의 픽셀 값은 복수의 분리 이미지에서 서로 대응되는 동일한 위치의 픽셀로부터 결정된 값일 수 있다. 상술한 수학식 17은 제1 확률 분포로부터 샘플링되는 입력 데이터(1231)를 구체적으로 설명하기 위한 예시적 기재일 뿐, 본 개시를 제한하지 않는다.
일 실시예에서, 제2 확률 분포로부터 샘플링되는 입력 데이터(1233)는 아래의 수학식 18과 같이 표현될 수 있다.
수학식 18의 좌변의 
는 제2 확률 분포로부터 샘플링되는 적어도 하나의 입력 데이터를 나타낸다. 우변의 
는 복수의 분리 이미지(1210)에 대한 주변 확률 분포에 해당하는 제2 확률 분포를 나타낸다. 또한, 
의 
, 
및 
는 복수의 분리 이미지(1210)에 포함된 각각의 분리 이미지에 대응되는 확률변수를 지칭하고, 
, 
및 
는 확률변수 
, 
및 
각각의 실현 값 혹은 픽셀 값을 지칭한다. 또한, 
는 제2 확률 분포로부터 샘플링된 i번째 입력 데이터(i는 1이상 n이하의 자연수)를 나타내고, 
는 복수의 분리 이미지(1210) 중 첫번째 분리 이미지로부터 추출된 픽셀 값, 
는 복수의 분리 이미지(1210) 중 두번째 분리 이미지로부터 추출된 픽셀 값 및, 
는 복수의 분리 이미지(1210) 중 세번째 분리 이미지로부터 추출된 픽셀 값을 각각 지칭할 수 있다. 이때, 제2 확률 분포는 복수의 분리 이미지(1210) 각각에 포함된 서로 상이한 위치의 픽셀의 값에 기초하여 결정되므로, 
에 포함된 각각의 픽셀 값은 복수의 분리 이미지에서 서로 상이한 위치의 픽셀로부터 결정된 값일 수 있다. 상술한 수학식 18은 제2 확률 분포로부터 샘플링되는 입력 데이터(1233)를 구체적으로 설명하기 위한 예시적 기재일 뿐, 본 개시를 제한하지 않는다.
일 실시예에서, 프로세서(110)는 입력 데이터를 분류 모델에 입력하고, 분류 모델의 출력 데이터에 기초하여 입력 데이터의 종류를 결정할 수 있다. 입력 데이터가 복수의 분리 이미지에 관하여 서로 상이하게 결정된 둘 이상의 확률 분포 중 하나에 따라 샘플링된 데이터인 경우, 분류 모델은 입력 데이터의 기반이 되는 특정 확률 분포를 결정하기 위한 출력 데이터를 생성할 수 있다. 예를 들어, 분류 모델에 대한 입력 데이터는 제1 확률 분포로부터 샘플링되는 입력 데이터(1231) 또는 제2 확률 분포로부터 샘플링되는 입력 데이터(1233)일 수 있다. 이때, 분류 모델의 출력 데이터는, 입력 데이터와 연관된 확률 분포를 결정하는 데이터일 수 있다. 즉, 입력 데이터가 제 1 확률 분포로부터 샘플링된 입력 데이터(1231)일 경우, 분류 모델은 해당 입력 데이터에 대한 출력 데이터로서 제1 확률 분포를 지시하는 정보를 출력할 수 있다. 또한, 입력 데이터가 제2 확률 분포로부터 샘플링된 입력 데이터(1233)일 경우, 분류 모델은 입력 데이터에 대한 출력 데이터로서 제2 확률 분포를 지시하는 정보를 출력할 수 있다.
본 개시의 일 실시예에 따른 분류 모델로서의 인공 신경망 모델(1150)을 학습시키기 위해, 프로세서(110)는 제1 확률 분포로부터 샘플링되는 입력 데이터(1131) 및 제2 확률 분포로부터 샘플링되는 입력 데이터(1133)를 서로 다르게 라벨링함으로써 학습 데이터를 생성할 수 있다. 예를 들어, 프로세서(110)는 제1 확률 분포로부터 샘플링되는 입력 데이터(1131)에는 참 값(ground truth)으로서 "1"을 라벨링하고, 제2 확률 분포로부터 샘플링되는 입력 데이터(1133)에는 참 값(ground truth)으로서 "0"을 라벨링할 수 있다. 위와 같이 생성된 학습 데이터에 기초하여 분류 모델이 학습될 경우, 프로세서(110)는 학습 데이터에 포함된 입력 데이터를 분류 모델에 입력하고, 분류 모델에 의해 출력되는 출력 데이터(예를 들어, 0에서 1 사이의 실수)를 획득하고, 해당 입력 데이터에 대해 라벨링된 참 값과 분류 모델의 출력 데이터의 차이에 기초하여 역전파(Backpropagation) 기법을 통해 분류 모델에 포함된 적어도 하나의 파라미터의 값을 갱신함으로써, 분류 모델을 학습시킬 수 있다.
도 13은 본 개시의 다른 일 실시예에 따른 인공 신경망 모델(1350)에 기초하여 복수의 분리 이미지(1310) 사이의 의존성을 평가하는 과정을 개념적으로 도시한 개념도이다. 인공 신경망 모델(1350)은 복수의 입력 데이터를 입력 받고, 복수의 입력 데이터와 관련된 특정 값을 예측하기 위한 출력 데이터를 생성하는 인공 신경망 모델(이하, "예측 모델"이라고도 함)일 수 있다. 이하 도 13을 참조하여서는, 설명의 편의상 복수의 분리 이미지(1310)가 두 개의 분리 이미지를 포함하는 것으로 가정하여 설명하지만, 본 개시는 이에 제한되지 않는다.
프로세서(110)는 복수의 분리 이미지(1310)에 기초하여 인공 신경망 모델(1350)에 입력되는 복수의 입력 데이터를 생성할 수 있다. 프로세서(110)는 복수의 분리 이미지(1310)에 기초하여 결정된 서로 상이한 확률 분포로부터 각각 샘플링된 복수의 입력 데이터를 생성할 수 있다. 이하에서는 인공 신경망 모델(1350)이 두 개의 입력 데이터를 입력 받는 것으로 가정하여 설명하지만, 이는 본 개시를 제한하지 않으며, 본 개시의 인공 신경망 모델(1350)은 셋 이상의 입력 데이터를 입력 받을 수도 있다. 일 실시예에서, 프로세서(110)는 복수의 분리 이미지(1310)에 관한 서로 상이한 두 확률 분포 각각으로부터 데이터를 샘플링함으로써 두 개의 입력 데이터를 생성할 수 있다. 복수의 분리 이미지(1310)에 관한 서로 상이한 두 확률 분포는, 예를 들어, 복수의 분리 이미지(1310) 각각에 포함된 서로 동일한 위치의 픽셀의 값에 기초하여 결정되는 확률 분포(이하, "제3 확률 분포"라고도 함) 또는 복수의 분리 이미지(1310) 각각에 포함된 서로 상이한 위치의 픽셀의 값에 기초하여 결정되는 확률 분포(이하, "제4 확률 분포"라고도 함)일 수 있다. 이때, 제3 확률 분포는 프로세서(110)가 복수의 분리 이미지(1310)에 대해 도 8을 참조하여 전술된 방법을 수행함으로써 결정될 수 있고, 제4 확률 분포는 프로세서(110)가 복수의 분리 이미지(1310)에 대해 도 9를 참조하여 전술된 방법을 수행함으로써 결정될 수 있다. 프로세서(110)는 제3 확률 분포로부터 입력 데이터(1331)를 샘플링하고 제4 확률 분포로부터 입력 데이터(1333)를 샘플링함으로써 인공 신경망 모델(1350)에 입력되는 복수의 입력 데이터를 생성할 수 있다.
프로세서(110)는 복수의 입력 데이터를 인공 신경망 모델(1350)에 입력하고, 인공 신경망 모델(1350)이 예측하는 복수의 입력 데이터와 관련된 특정 값을 획득할 수 있다. 인공 신경망 모델(1350)이 예측하는 복수의 입력 데이터와 관련된 "특정 값"은 복수의 입력 데이터를 입력 받은 인공 신경망 모델(1350)이 출력하는 값을 지칭할 수 있다.
프로세서(110)는 획득된 특정 값에 기초하여 복수의 분리 이미지에 대한 의존성 평가 값을 산출할 수 있다. 인공 신경망 모델에 기초하여 프로세서(110)가 산출하는 의존성 평가 값의 종류는 전술된 바와 같이 다양한 실시예들에 따라 결정될 수 있다. 이하에서는, 설명의 편의상, 인공 신경망 모델에 기초하여 산출되는 의존성 평가 값의 일 예시로서, 프로세서(110)가 상술한 "상호 정보량"을 산출하는 것으로 가정한다. 일 실시예에서, 예측 모델이 예측하는 특정 값에 기초하여 산출되는 복수의 분리 이미지 사이의 상호 정보량은 아래의 수학식 19와 같이 표현될 수 있다.
수학식 19의 좌변의 
는 인공 신경망 모델(1350)에 입력되는 두 입력 데이터(즉, 
및 
)에 기초하여 산출되는 두 분리 이미지(즉, 
및 
)에 대한 상호 정보량을 나타낸다. 우변의 
에서 
는 예측 모델에 포함된 적어도 하나의 파라미터를 나타내고, 
는 예측 모델의 출력 데이터로서, 두 입력 데이터와 관련된 특정 값을 나타낸다. 또한, 
에서 
는 복수의 분리 이미지(1310)에 대한 결합 확률 분포를 나타내며, 
는 복수의 분리 이미지(1310)에 대한 결합 확률 분포에 있어서, 두 입력 데이터(
및 
)에 대해 예측 모델이 출력한 특정 값(
)의 기대값을 나타낸다. 한편, 
의 
는 복수의 분리 이미지(1310) 각각에 대한 주변 확률 분포의 곱을 나타낸다. 
는 
값의 변화에 따른 괄호 내의 항의 상한을 나타낸다. 본 수학식 19를 통해 예시된 바와 같이, 프로세서(110)는 예측 모델이 예측하는 특정 값에 기초하여 복수의 분리 이미지에 대한 상호 정보량을 산출할 수 있다. 예를 들어, 두 입력 데이터(
및 
) 각각에 대응되는 제3 확률 분포와 제4 확률 분포가 더 유사할수록, 두 입력 데이터 사이의 상호 정보량(
)은 더 큰 값을 가질 수 있다. 또한, 상호 정보량이 클수록 두 개의 분리 이미지는 더 의존적인 이미지로 해석될 수 있다.
상술한 바와 같은 예측 모델로서의 인공 신경망 모델(1350)을 학습시키기 위해, 프로세서(110)는 예측 모델이 출력하는 특정 값에 기초하여 상호 정보량을 산출하고, 산출된 상호 정보량이 최대화되도록 예측 모델을 학습시킬 수 있다. 즉, 예측 모델이 복수의 분리 이미지로부터 샘플링된 복수의 입력 데이터에 대하여 특정 값을 예측할 때, 예측 모델에 포함된 적어도 하나의 파라미터의 값은 복수의 분리 이미지에 대한 상호 정보량이 최대화되는 방향으로 특정 값을 예측하도록 갱신될 수 있다. 예를 들어, 프로세서(110)는 사전 결정된 상호 정보량 산출식에 대해 경사 하강법(또는, 경사 상승법)을 적용함으로써 연쇄 법칙(Chain Rule)에 따라 예측 모델에 포함된 적어도 하나의 파라미터의 값이 갱신되도록 할 수 있다.
본 개시의 언믹싱 행렬 및 인공 신경망 모델은 서로 경쟁적으로 학습(Adversarial Training)될 수 있다. 본 개시에서 두 객체가 "경쟁적으로 학습된다"는 표현은, 두 객체가 상반되는 과제(task)를 해결하도록 학습됨으로써 각각의 객체에 포함된 적어도 하나의 파라미터의 값이 변경되는 것을 의미할 수 있다.
본 개시에 따른 경쟁적 학습에 관한 일 실시예에서, 인공 신경망 모델이 분류 모델에 해당하는 경우, 언믹싱 행렬에 포함된 적어도 하나의 원소의 값은, 분류 모델에 입력되는 제1 입력 데이터와 제2 입력 데이터가 해당 인공 신경망 모델에 의해 잘 구분되지 않도록 갱신되고, 인공 신경망 모델에 포함된 적어도 하나의 파라미터의 값은, 입력된 제1 입력 데이터와 제2 입력 데이터가 잘 구분되도록 갱신될 수 있다. 예를 들어, 제1 입력 데이터는 제1 확률 분포로부터 샘플링된 데이터이고, 제2 입력 데이터는 제2 확률 분포로부터 샘플링된 데이터일 수 있다. 분류 모델은 상술한 바와 같이 복수의 분리 이미지로부터 서로 상이하게 결정된 확률 분포 각각으로부터 샘플링된 복수의 입력 데이터를 입력 받고 각 입력 데이터와 연관된 확률 분포를 결정하는 인공 신경망 모델일 수 있다. 또한, 언믹싱 행렬은 각 입력 데이터를 생성하는 데에 기초가 되는 복수의 분리 이미지를 생성할 수 있다. 즉, 언믹싱 행렬은 복수의 미분리 이미지로부터 복수의 분리 이미지를 생성하고, 분류 모델은 복수의 분리 이미지 각각으로부터 샘플링된 입력 데이터의 종류를 결정할 수 있다. 따라서, 분류 모델은 복수의 입력 데이터를 서로 잘 구분하도록 학습되는 반면, 언믹싱 행렬은 복수의 분리 이미지 각각으로부터 샘플링된 복수의 입력 데이터가 분류 모델에 의해 잘 구분되지 않도록 학습됨으로써, 분류 모델과 언믹싱 행렬은 서로 경쟁적으로 학습될 수 있다.
일 실시예에서, 분류 모델에 입력되는 두 종류의 입력 데이터가 분류 모델에 의해 잘 구분될 경우, 프로세서(110)는 분류 모델의 학습이 부족하다고 판단하고 분류 모델의 학습을 추가로 수행할 수 있다. 이 경우, 언믹싱 행렬을 이용하여 복수의 미분리 이미지로부터 생성되는 복수의 분리 이미지는 서로 의존적인 것으로 판단될 수 있다. 반대로, 분류 모델에 입력되는 두 종류의 입력 데이터가 분류 모델에 의해 잘 구분되지 않을 경우, 프로세서(110)는 분류 모델의 학습이 충분하다고 판단하고 분류 모델의 학습을 중단할 수 있다. 이 경우, 언믹싱 행렬을 이용하여 복수의 미분리 이미지로부터 생성되는 복수의 분리 이미지는 서로 독립적인 것으로 판단될 수 있다.
본 개시에서 "분류 모델에 입력되는 두 종류의 입력 데이터가 분류 모델에 의해 잘 구분된다" 또는 "분류 모델에 입력되는 두 종류의 입력 데이터가 분류 모델에 의해 잘 구분되지 않는다"는 것은 정량적 또는 수치적으로 판단될 수 있다. 예를 들어, 분류 모델이 입력 데이터의 종류를 결정하기 위한 출력 데이터를 생성할 때, 프로세서(110)는 소정 개수의 입력 데이터에 대하여 참 값이 라벨링된 테스트 데이터 셋을 이용하여 분류 모델의 정확도(또는 신뢰도)를 평가할 수 있다. 구체적으로, 프로세서(110)는 테스트 데이터 셋에 포함된 입력 데이터 중 특정 개수 또는 특정 비율 이상의 입력 데이터에 대해 참 값과 오차범위 내의 분류 결과를 출력할 경우, 분류 모델의 학습이 충분하다고 판단할 수 있다. 혹은 학습이 진행됨에 따른 분류 모델의 정확도의 변화가 임계값 이하가 될 경우, 분류 모델의 학습이 충분하다고 판단할 수 있다. 상술한 분류 모델의 정확도 평가 방법은 설명을 위한 일 예시에 불과하며 본 개시를 제한하지 않는다.
본 개시에 따른 경쟁적 학습에 관한 다른 일 실시예에서, 인공 신경망 모델이 예측 모델에 해당하는 경우, 예측 모델에 포함된 적어도 하나의 파라미터의 값은 복수의 분리 이미지에 대한 의존성 평가 값(예를 들어, 상호 정보량, 쿨벡-라이블러 발산 값, 교차 엔트로피 값, 랜드 지수 등)이 최대화되는 방향으로 특정 값을 예측하도록 갱신되고, 언믹싱 행렬에 포함된 적어도 하나의 원소의 값은, 복수의 분리 이미지에 대한 의존성 평가 값이 최소화되는 방향으로 복수의 분리 이미지를 생성하도록 갱신될 수 있다. 예측 모델은 상술한 바와 같이 복수의 분리 이미지로부터 서로 상이하게 결정된 확률 분포 각각에 기초하여 샘플링된 복수의 입력 데이터를 입력 받고 입력된 복수의 입력 데이터와 관련된 특정 값을 예측하는 인공 신경망 모델일 수 있다. 또한, 언믹싱 행렬은 복수의 입력 데이터를 생성하는 데에 기초가 되는 복수의 분리 이미지를 생성할 수 있다. 즉, 언믹싱 행렬은 복수의 미분리 이미지로부터 복수의 분리 이미지를 생성하고, 예측 모델은 복수의 분리 이미지 각각으로부터 샘플링된 복수의 입력 데이터를 입력 받아 복수의 입력 데이터와 관련된 특정 값을 예측할 수 있다. 또한, 예측 모델에 의해 예측된 특정 값은 복수의 분리 이미지에 대한 의존성 평가 값을 산출하는 데 기초가 되는 값일 수 있다. 따라서, 예측 모델은 복수의 분리 이미지에 대한 의존성 평가 값이 최대화되는 방향으로 학습되고, 언믹싱 행렬은 복수의 분리 이미지에 대한 의존성 평가 값이 최소화되는 방향으로 학습됨으로써, 예측 모델과 언믹싱 행렬은 서로 경쟁적으로 학습될 수 있다.
일 실시예에서, 예측 모델이 출력하는 특정 값에 기초하여 산출되는 의존성 평가 값이 사전 결정된 임계치를 초과하지 않을 경우, 프로세서(110)는 예측 모델의 학습이 부족하다고 판단하고 예측 모델의 학습을 추가로 수행할 수 있다. 이 경우, 언믹싱 행렬을 이용하여 복수의 미분리 이미지로부터 생성되는 복수의 분리 이미지는 서로 의존적인 것으로 판단될 수 있다. 반대로, 예측 모델이 출력하는 특정 값에 기초하여 산출되는 의존성 평가 값이 사전 결정된 임계치를 초과하는 경우, 프로세서(110)는 예측 모델의 학습이 충분하다고 판단하고 예측 모델의 학습을 중단할 수 있다. 이 경우, 언믹싱 행렬을 이용하여 복수의 미분리 이미지로부터 생성되는 복수의 분리 이미지는 서로 독립적인 것으로 판단될 수 있다. 한편, 프로세서(110)는 예측 모델이 학습된 횟수, 예를 들면 학습 에포크(epoch)의 수 등에 기초하여서도 예측 모델의 학습 정도를 결정할 수 있다.
상술한 바와 같은 본 개시의 몇몇 실시예들에 따르면, 프로세서(110)는 복수의 분리 이미지에 대해 의존성을 평가하고, 평가 결과에 기초하여 언믹싱 행렬의 파라미터를 결정할 수 있다. 이와 같이 결정된 언믹싱 행렬에 기초하여 본 개시에 따른 프로세서(110)는 시료를 촬영한 복수의 미분리 이미지로부터 시료에 포함된 각각의 생체 분자에 대한 분리 이미지를 생성할 수 있다.
이하, 본 개시 내용의 일 실시예에 따라 복수의 미분리 이미지를 획득하는 방법에 관하여 설명한다.
도 4를 참조하여 전술한 바와 같이, 여러 생체 분자를 포함하는 시료에서 각 생체 분자에 대한 이미지를 획득하는 종래의 방법은, 각 생체 분자에 표지되는 형광 물질의 방출 스펙트럼이 최대한 겹치지 않아야 하는 제약이 있었고, 그에 따라 최대 4개의 형광 물질만을 동시에 사용할 수 있는 한계가 있었다. 또한, 만약 4개의 형광 물질을 사용하여 시료에 포함된 4개의 생체 분자에 대한 이미지를 획득한 이후 후속하여 해당 시료에 포함된 다른 생체 분자에 대한 이미지를 획득하기 위해서는, 다른 생체 분자를 새롭게 표지하기 전에 기존의 형광 물질을 제거하는 후처리 과정의 수행이 필요하였다. 형광 물질을 제거하는 후처리 과정에는, 예를 들어, 형광 물질을 비활성화하는 과정 또는 형광 물질에 의해 표지된 항체 혹은 생체 분자를 형광 물질로 표지하는데에 사용된 물질을 떼어내는 과정 등이 포함될 수 있다.
반면, 본 개시에 따른 이미지 처리 방법은 종래의 방법이 요구하는 형광 물질 비활성 또는 제거 과정을 요구하지 않는다. 그에 따라, 본 개시의 일 실시예에서 복수의 미분리 이미지는 종래의 방법과는 다르게 획득될 수 있다.
본 개시의 일 실시예에 따른 복수의 미분리 이미지는 시료에 대해 염색과 촬영을 수행하는 하나의 사이클을 2회 이상 수행함으로써 순차적으로 생성될 수 있다. 또한, 본 개시에 따른 복수의 미분리 이미지는 형광 물질을 제거하는 후처리 과정없이, 염색과 촬영을 수행하는 하나의 사이클을 2회 이상 수행함으로써 순차적으로 생성될 수 있다. 이와 같이 본 개시에 따른 이미지 처리 방법은 종래의 형광 물질을 제거하는 과정없이 복수의 분리 이미지를 생성함으로써 보다 빠르고 효과적으로 각 생체 분자에 대한 분리 이미지를 생성할 수 있는 효과를 갖는다.
도 14는 본 개시의 일 실시예에 따라 복수의 이미지를 순차적으로 획득하는 과정을 예시한 개념도이다. 도 14의 시료(1400)에는 N 개(N은 1 이상의 자연수)의 생체 분자가 포함된다고 가정한다. 이때, 1회차 염색에 따라 시료(1400)에 포함된 제1 생체 분자(1401)가 염색되면 프로세서(110)는 촬영부를 통해 1회차 염색 이후의 시료(1400)를 촬영함으로써 제1 미분리 이미지(1410)를 획득할 수 있다. 제1 미분리 이미지(1410)상에는 1회차 염색에 따라 염색된 제1 생체 분자(1401)가 표시되고 염색되지 않은 나머지 생체 분자는 표시되지 않을 수 있다. 다음으로, 2회차 염색에 따라 시료(1400)에 포함된 제2 생체 분자(1402)가 염색되면 프로세서(110)는 촬영부를 통해 2회차 염색 이후의 시료(1400)를 촬영함으로써 제2 미분리 이미지(1420)를 획득할 수 있다. 제2 미분리 이미지(1420)상에는 1회차 염색에 따라 염색된 제1 생체 분자(1401) 및 2회차 염색에 따라 염색된 제2 생체 분자(1402)가 표시되고 염색되지 않은 나머지 생체 분자는 표시되지 않을 수 있다. 위와 같은 과정을 반복함으로써, 프로세서(110)는 N회차 염색에 따라 시료(1400)에 포함된 제N 생체 분자(1404)가 염색되면, 촬영부를 통해 N회차 염색 이후의 시료(1400)를 촬영함으로써 제N 미분리 이미지(1430)를 획득할 수 있다. 제N 미분리 이미지(1430)상에는 1회차 염색에 따라 염색된 제1 생체 분자(1401), 2회차 염색에 따라 염색된 제2 생체 분자(1402), ..., 및 N회차 염색에 따라 염색된 제N 생체 분자(1404)가 포함되도록 표현될 수 있다. 이와 같이 복수의 미분리 이미지가 순차적으로 획득되는 경우, "i+1"회차 염색 이후 획득된 미분리 이미지에는, "i"회차 염색 이후 획득된 미분리 이미지보다 하나의 생체 분자가 더 표현될 수 있다. 이하, 본 개시에서는 "i"회차 염색 이후 획득된 미분리 이미지와 비교할 때, "i+1"회차 염색 이후 획득된 미분리 이미지 상에서 추가로 표현되는 하나의 생체 분자를 "i+1회차 염색 과정에서 표지된 생체 분자"로 지칭할 수 있다 (i는 1 이상의 자연수). 예를 들어, 도 14의 제1 미분리 이미지(1410)와 비교하여 제2 미분리 이미지(1420) 상에서 추가로 표현되는 제2 생체 분자(1402)는 "2 회차 염색 과정에서 표지된 생체 분자"로 지칭될 수 있고, 제N-1 미분리 이미지와 비교하여 제N 미분리 이미지(1430) 상에서 추가로 표현되는 제N 생체 분자(1403)는 "N 회차 염색 과정에서 표지된 생체 분자"로 지칭될 수 있다.
본 개시에 따른 이미지 처리 방법은 도 14에서 설명된 바와 같이 순차적으로 획득된 복수의 미분리 이미지 중에서 연속하는 둘 이상의 미분리 이미지에 기초하여 특정 생체 분자에 대한 분리 이미지를 생성할 수 있다. 본 개시에서 "연속하여 순차적으로 획득된 둘 이상의 미분리 이미지", 또는 "시료에 포함된 복수의 생체 분자를 순차적으로 염색함으로써 획득된 둘 이상이 미분리 이미지" 등의 표현은, 생체 분자에 대한 염색 및 촬영을 포함하는 사이클을 시료에 포함된 복수의 생체 분자들 각각에 대해 순차적으로 수행함으로써 획득된 둘 이상의 미분리 이미지를 의미할 수 있다. 예를 들어, 연속하여 순차적으로 획득된 두 미분리 이미지는 i번째(i는 1 이상의 자연수) 염색 이후 촬영된 미분리 이미지 및 i+1번째 염색 이후 촬영된 미분리 이미지를 포함할 수 있다. 또한, 예를 들어, 연속하여 순차적으로 획득된 세 미분리 이미지는 i번째 염색 이후 촬영된 미분리 이미지, i+1번째 염색 이후 촬영된 미분리 이미지 및 i+2번째 염색 이후 촬영된 미분리 이미지를 포함할 수 있다. 이하에서는 설명의 편의상 "연속하여 순차적으로 획득된 복수의 미분리 이미지"라는 표현은 "연속하는 복수의 미분리 이미지"라는 표현과 상호 교환적으로 사용될 수 있다.
도 15는 본 개시의 일 실시예에 따라 순차적으로 획득된 복수의 미분리 이미지 중 연속하는 두 개의 미분리 이미지로부터 적어도 하나의 생체 분자에 대한 분리 이미지를 획득하는 방법을 예시적으로 도시한 개념도이다. 본 개시에 따른 프로세서(110)는 연속하는 두 개의 미분리 이미지, 즉, "i"회차 염색 이후 획득된 미분리 이미지 및 "i+1"회차 염색 이후 획득된 미분리 이미지에 대해 연산을 수행함으로써, "i+1" 회차 염색 과정에서 표지된 생체 분자에 대한 분리 이미지를 생성할 수 있다.
일 실시예에서, 프로세서(110)는 1회차 염색에 따라 시료에 포함된 일 생체 분자(예를 들어, 단백질 A)를 염색하고 시료를 촬영함으로써 제1 미분리 이미지(1510)를 획득할 수 있다. 또한, 프로세서(110)는 후속하는 2회차 염색에 따라 시료에 포함된 다른 생체 분자(예를 들어, 단백질 B)를 염색하고 시료를 촬영함으로써 제2 미분리 이미지(1530)를 획득할 수 있다. 또한, 프로세서(110)는 후속하는 3회차 염색에 따라 시료에 포함된 또 다른 생체 분자(예를 들어, 단백질 C)를 염색하고 시료를 촬영함으로써 제3 미분리 이미지(1550)를 획득할 수 있다. 프로세서(110)는 적어도 하나의 파라미터에 기초하여 연속하는 두 개의 미분리 이미지에 대한 연산을 수행하고 적어도 하나의 생체 분자 각각에 대한 분리 이미지를 생성할 수 있다. 예를 들어, 프로세서(110)는 제1 미분리 이미지(1510) 및 제2 미분리 이미지(1530)에 대한 연산을 수행함으로써 2회차 염색 과정에서 표지된 생체 분자(즉, 단백질 B)에 대한 분리 이미지(1520)를 생성할 수 있다. 또한, 프로세서(110)는 제2 미분리 이미지(1530) 및 제3 미분리 이미지(1550)에 대한 연산을 수행함으로써 3회차 염색 과정에서 표지된 생체 분자(즉, 단백질 C)에 대한 분리 이미지(1540)를 생성할 수 있다. 한편, 1회차 염색 과정에서 표지된 생체 분자(즉, 단백질 A)에 대한 분리 이미지는 제1 미분리 이미지(1510)로서 획득될 수 있다.
도 16은 본 개시의 일 실시예에 따라 순차적으로 획득된 복수의 미분리 이미지 중 연속하는 세 개의 미분리 이미지로부터 적어도 두 생체 분자에 대한 분리 이미지를 획득하는 방법을 예시적으로 도시한 개념도이다. 도 16에 도시된 제1 미분리 이미지(1610), 제2 미분리 이미지(1630) 및 제3 미분리 이미지(1650)는 도 15의 제1 미분리 이미지(1510), 제2 미분리 이미지(1530) 및 제3 미분리 이미지(1550)와 각각 동일한 방식으로 획득될 수 있다. 프로세서(110)는 적어도 하나의 파라미터에 기초하여 연속하는 세 개의 미분리 이미지에 대한 연산을 수행하고 적어도 두 생체 분자 각각에 대한 분리 이미지를 생성할 수 있다. 예를 들어, 프로세서(110)는 제1 미분리 이미지(1610), 제2 미분리 이미지(1620) 및 제3 미분리 이미지(1630)를 동시에 연산함으로써 2회차 염색 과정에서 표지된 생체 분자(즉, 단백질 B)에 대한 분리 이미지(1620) 및 3회차 염색 과정에서 표지된 생체 분자(즉, 단백질 C)에 대한 분리 이미지(1640)를 생성할 수 있다. 한편, 1회차 염색 과정에서 표지된 생체 분자(즉, 단백질 A)에 대한 분리 이미지는 제1 미분리 이미지(1610)로서 획득될 수 있다.
도 15 또는 16을 참조하여서는 연속된 두 개 또는 세 개의 미분리 이미지에 기초하여 생체 분자에 대한 분리 이미지를 획득하는 방법을 상술하였지만, 이는 본 개시를 제한하지 않으며, 본 개시는 연속하는 둘 이상의 임의의 수의 미분리 이미지에 기초하여 생체 분자에 대한 분리 이미지를 생성할 수 있다. 이하에서는 설명의 편의상 연속된 두 개의 미분리 이미지에 기초하여 분리 이미지를 획득하는 방법을 설명한다.
도 17은 본 개시의 일 실시예에 따라 연속하는 두 개의 미분리 이미지에 기초하여 적어도 하나의 생체 분자에 대한 분리 이미지를 생성하는 서버(100)의 동작을 나타내는 순서도이다.
프로세서(110)는 제1 형광 물질로 표지된 제1 생체 분자 및 표지되지 않은 제2 생체 분자를 포함하는 시료에 대한 제1 미분리 이미지를 획득할 수 있다(S1710). 도 17에서 설명되는 실시예에서, 제1 생체 분자는 시료에 대한 i번째 염색 과정(즉, i회차 염색 과정)에서 특정 형광 물질로 표지된 생체 분자일 수 있다. 프로세서(110)는 촬영부(미도시)를 통해 제1 생체 분자가 염색된 시료에 대한 미분리 이미지를 획득하거나, 외부 장치 또는 사용자 단말(200)로부터 제1 생체 분자가 염색된 시료에 대한 미분리 이미지를 수신함으로써 미분리 이미지를 획득할 수 있다.
다음으로, 프로세서(110)는 제1 형광 물질로 표지된 제1 생체 분자 및 제2 형광 물질로 표지된 제2 생체 분자를 포함하는 시료에 대한 제2 미분리 이미지를 획득할 수 있다(S1720). 도 17에서 설명되는 실시예에서, 제2 생체 분자는 시료에 대한 i+1번째 염색 과정(즉, i+1회차 염색 과정)에서 특정 형광 물질로 표지된 생체 분자일 수 있다. 즉, 단계 S1710에서 획득되는 제1 미분리 이미지 및 제2 미분리 이미지는 연속하여 순차적으로 획득된 두 이미지일 수 있다. 다시 말해, 제1 생체 분자는 i회차 염색 과정에서 표지된 생체 분자이고 제2 생체 분자는 i+1회차 염색 과정에서 표지된 생체 분자일 수 있다. 프로세서(110)는 촬영부(미도시)를 통해 제2 생체 분자가 염색된 시료에 대한 미분리 이미지를 획득하거나, 외부 장치 또는 사용자 단말(200)로부터 제2 생체 분자가 염색된 시료에 대한 미분리 이미지를 수신함으로써 미분리 이미지를 획득할 수 있다.
이하, 문맥상 명백히 다르게 표현되지 않는 한, 제1 미분리 이미지는 특정 시료에 대한 i번째 염색 과정에서 제1 생체 분자를 제1 형광 물질로 표지한 후 촬영된 미분리 이미지를 지칭하고, 제2 미분리 이미지는 동일한 특정 시료에 대한 i+1번째 염색 과정에서 제2 생체 분자를 제2 형광 물질로 표지한 후 촬영된 미분리 이미지를 지칭할 수 있다. 이와 같은 제1 미분리 이미지 상에서 제1 생체 분자는 표시되고 제2 생체 분자는 표시되지 않을 수 있다. 또한, 제2 미분리 이미지 상에서 제1 생체 분자 및 제2 생체 분자는 모두 표시될 수 있다.
다음으로, 프로세서(110)는 제1 미분리 이미지 및 제2 미분리 이미지에 기초하여, 제2 생체 분자에 대한 분리 이미지를 생성할 수 있다(S1730). 일 실시예에서, 프로세서(110)는 언믹싱 행렬을 이용하여 제1 미분리 이미지 및 제2 미분리 이미지를 연산하고, 연산의 결과에 기초하여 제2 생체 분자에 대한 분리 이미지를 생성할 수 있다. 또한, 언믹싱 행렬에 포함된 적어도 하나의 원소의 값은 학습된 인공 신경망 모델에 기초하여 결정될 수 있다. 언믹싱 행렬 또는 인공 신경망 모델에 관한 공통된 설명은 상술된 바 이하 중복된 내용의 설명은 생략하고 차이점에 대해 설명한다.
일 실시예에서, 동일한 시료에 대해 연속적으로 획득된 제1 미분리 이미지 및 제2 미분리 이미지는 각각 시료로부터 동일한 특정 파장대의 빛을 검출함으로써 촬영된 이미지일 수 있다. 구체적으로, 제1 미분리 이미지는 제1 형광 물질로 표지된 제1 생체 분자를 포함하는 시료로부터 방출되는 빛 중 제1 파장대의 빛을 검출함으로써 촬영된 이미지이고 제2 미분리 이미지는 제2 형광 물질로 표지된 제2 생체 분자를 포함하는 시료로부터 방출되는 빛 중 제2 파장대의 빛을 검출함으로써 촬영된 이미지일 수 있다. 이때, 제1 파장대와 제2 파장대가 서로 동일한 경우, 제1 미분리 이미지와 제2 미분리 이미지는 서로 동일한 특정 파장대의 빛을 검출함으로써 촬영된 이미지일 수 있다. 본 개시에서 "특정 파장대의 빛"이라는 용어는 특정한 구간의 파장을 갖는 빛을 지칭할 수 있다. 예를 들어, 특정 파장대의 빛은 400nm 이상 450nm 이하의 파장을 갖는 빛을 지칭할 수 있다. 특정 파장대의 빛을 검출함으로써 미분리 이미지를 촬영하기 위해서는, 촬영부가 감지하는 빛의 파장 범위를 조절하거나, 시료에 특정 파장대의 빛을 조사하거나 또는 촬영부와 시료 사이에 소정의 필터를 설치할 수 있다.
일 실시예에서, 동일한 시료에 대해 순차적으로 획득된 제1 미분리 이미지와 제2 미분리 이미지는 각각 동일한 방출 필터(이하, "제6 방출 필터"라고도 함)에 기초하여 획득된 이미지일 수 있다.
도 18은 복수의 형광 물질이 갖는 방출 스펙트럼 및 특정 방출 필터가 통과시키는 파장대를 예시적으로 표시한 도면이다. 전술한 바와 같이 미분리 이미지는, 형광 물질이 반응하는 특정 파장의 빛을 형광 물질에 조사하고, 그 결과로 여기된(excited) 형광 물질로부터 방출되는 빛을 대응되는 방출 필터로 필터링하고 방출 필터가 통과시킨 빛을 촬영함으로써 획득될 수 있다. 예를 들어, 제1 미분리 이미지가 시료에 포함된 제1 생체 분자를 형광 물질 "Alexa 405", "CF405S" 또는 "ATTO 390" 중 하나로 표지한 후 획득된 이미지이고, 제2 미분리 이미지가 동일한 시료에 포함된 제2 생체 분자를 형광 물질 "Alexa 405", "CF405S" 또는 "ATTO 390" 중 하나로 표지한 후 획득된 이미지라고 가정할 수 있다. 이때, 제1 미분리 이미지와 제2 미분리 이미지는, 예를 들어, 동일한 제6 방출 필터에 기초하여 획득된 이미지일 수 있다. 제6 방출 필터가 통과시키는 파장대(1800)가 예를 들어, 도 18에서 점선의 구간으로 도시된 바와 같을 경우, 제1 미분리 이미지 및 제2 미분리 이미지는 모두 제6 방출 필터가 통과시키는 파장대(1800)의 빛이 동일하게 검출됨으로써 획득될 수 있다.
본 개시의 일 실시예에 따르면 제1 미분리 이미지를 획득하기 위해 사용된 제1 형광 물질과 제2 미분리 이미지를 획득하기 위해 사용된 제2 형광 물질은 서로 동일한 형광 물질일 수 있다. 예를 들어, 제1 형광 물질 및 제2 형광 물질은 "Alexa 405", "Alexa 488", "Alexa 546", "Alexa 647", "CF594", "CF405S", "ATTO 390", 또는 그 밖의 다양한 형광 물질들 중 하나의 형광 물질로 서로 동일한 형광 물질일 수 있다.
본 개시의 일 실시예에 따르면 제1 미분리 이미지를 획득하기 위해 사용된 제1 형광 물질과 제2 미분리 이미지를 획득하기 위해 사용된 제2 형광 물질은 서로 유사한 방출 스펙트럼을 갖는 형광 물질일 수 있다. 본 개시에서 서로 유사한 방출 스펙트럼을 갖는 둘 이상의 형광 물질들은 "서로 유사한 방출 스펙트럼을 갖는 형광 물질 조합"으로 표현될 수 있다. 이하 도 19를 참조하여 "서로 유사한 방출 스펙트럼을 갖는 형광 물질 조합"을 결정하는 방법을 설명한다. 도 19는 복수의 형광 물질이 갖는 방출 스펙트럼 및 각 방출 스펙트럼에서 신호의 세기가 최대가 되는 파장 값을 예시적으로 나타내는 도면이다.
프로세서(110)는 각 형광 물질의 방출 스펙트럼 내의 신호의 세기에 기초하여 서로 유사한 방출 스펙트럼을 갖는 형광 물질 조합을 결정할 수 있다. 이하에서는 설명의 편의상 서로 유사한 방출 스펙트럼을 갖는 형광 물질 조합이 두 개의 형광 물질로 구성되는 것으로 가정하여 설명한다.
프로세서(110)는 두 형광 물질 각각의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 파장 값들이 소정의 조건(이하, "형광 물질 조합 조건"이라고도 함)을 만족하는 경우, 두 형광 물질을 서로 유사한 방출 스펙트럼을 갖는 형광 물질 조합으로 결정할 수 있다. 구체적으로, 제1 미분리 이미지는 시료에 포함된 제1 생체 분자를 제1 형광 물질로 표지한 후 촬영된 이미지이고 제2 미분리 이미지는 시료에 포함된 제2 생체 분자를 제2 형광 물질로 표지한 후 촬영된 이미지라고 가정할 때, 제1 형광 물질의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 제1 파장 값 및 제2 형광 물질의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 제2 파장 값이 소정의 조건을 만족하는 경우, 제1 형광 물질 및 제2 형광 물질은 서로 유사한 방출 스펙트럼을 갖는 형광 물질 조합에 해당할 수 있다.
형광 물질 조합 조건에 관한 일 실시예에서, 프로세서(110)는 제1 형광 물질의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 제1 파장 값 및 제2 형광 물질의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 제2 파장 값이 사전 결정된 임계 값 이하인 경우 형광 물질 조합 조건을 만족하는 것으로 판단할 수 있다. 예를 들어, 도 19에 도시된 바와 같이, "Alexa 405"의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 파장 값(이하, "Alexa 405의 최대 파장 값"이라고도 함)은 약 420nm이고, "CF405S"의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 파장 값(이하, "CF405S의 최대 파장 값"이라고도 함)은 약 430nm일 수 있다. 또한, "ATTO 390"의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 파장 값(이하, "ATTO 390의 최대 파장 값"이라고도 함)은 약 480nm일 수 있다.
도 19에 관한 일 실시예에서 프로세서(110)가 갖는 사전 결정된 임계 값이 20nm일 경우, Alexa 405의 최대 파장 값(예를 들어, 420nm)과 CF405S의 최대 파장 값(예를 들어, 430nm)의 차이는 10nm로서 사전 결정된 임계 값 이하이므로, Alexa 405 및 CF405S는 형광 물질 조합 조건을 만족하는 것으로 판단될 수 있다. 반면, Alexa 405의 최대 파장 값과 ATTO 390의 최대 파장 값(예를 들어, 480nm)의 차이는 60nm로서 사전 결정된 임계 값 이하가 아니므로, Alexa 405 및 ATTO 390은 형광 물질 조합 조건을 만족하지 않는 것으로 판단될 수 있다. 마찬가지로, CF405S 및 ATTO 390 또한 각 최대 파장 값의 차이가 50nm이므로, 형광 물질 조합 조건을 만족하지 않는 것으로 판단될 수 있다.
도 19에 관한 일 실시예에서 프로세서(110)가 갖는 사전 결정된 임계 값이 60nm일 경우, Alexa 405의 최대 파장 값(예를 들어, 420nm)과 CF405S의 최대 파장 값(예를 들어, 430nm)의 차이는 10nm로서 사전 결정된 임계 값 이하이므로, Alexa 405 및 CF405S는 형광 물질 조합 조건을 만족하는 것으로 판단될 수 있다. 또한, Alexa 405의 최대 파장 값과 ATTO 390의 최대 파장 값(예를 들어, 480nm)의 차이는 60nm로서 사전 결정된 임계 값 이하이므로, Alexa 405 및 ATTO 390은 형광 물질 조합 조건을 만족하는 것으로 판단될 수 있다. 마찬가지로, CF405S 및 ATTO 390 또한 각 최대 파장 값의 차이가 50nm이므로, 형광 물질 조합 조건을 만족하는 것으로 판단될 수 있다. 형광 물질 조합 조건에 관한 다른 일 실시예에서, 프로세서(110)는 제1 형광 물질의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 제1 파장 값 및 제2 형광 물질의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 제2 파장 값 중 더 큰 파장 값에 대한 더 작은 파장 값의 비율이 사전 결정된 임계 비율 이상인 경우 형광 물질 조합 조건을 만족하는 것으로 판단할 수 있다. 예를 들어, 프로세서(110)가 갖는 사전 결정된 임계 비율이 0.95인 경우, Alexa 405의 최대 파장 값과 CF405S의 최대 파장 값 중 더 큰 파장 값에 대한 더 작은 파장 값의 비율은 약 0.977(=420/430)으로서, 사전 결정된 임계 비율 이상이므로, Alexa 405 및 CF405S는 형광 물질 조합 조건을 만족하는 것으로 판단될 수 있다. 반면, Alexa 405의 최대 파장 값과 ATTO 390의 최대 파장 값 중 더 큰 파장 값에 대한 더 작은 파장 값의 비율은 0.875(=420/480)으로서, 사전 결정된 임계 비율 미만이므로, Alexa 405 및 ATTO 390은 형광 물질 조합 조건을 만족하지 않는 것으로 판단될 수 있다. 마찬가지로, CF405S 및 ATTO 390 또한 각 최대 파장 값의 비율이 약 0.896(=430/480)으로서, 사전 결정된 임계 비율 미만이므로, 형광 물질 조합 조건을 만족하지 않는 것으로 판단될 수 있다.
상술한 바와 같은 사전 결정된 임계 값 또는 사전 결정된 임계 비율의 구체적인 수치는 예시적 기재일 뿐 본 개시를 제한하지 않으며 사전 결정된 임계 값 또는 사전 결정된 임계 비율은 염색 과정에서 사용되는 형광 물질의 종류에 따라 다양한 실수 값으로 설정될 수 있다.
도 4를 참조하여 설명된 종래의 이미지 처리 방법에 따르면 복수의 생체 분자 각각에 대해 정확한 이미지를 획득하기 위해서는 복수의 생체 분자 각각을 표지하는 형광 물질들의 방출 스펙트럼이 최대한 겹치지 않도록 형광 물질을 선택하여야 했다. 반면, 본 개시에 따른 이미지 처리 방법에 따라 복수의 미분리 이미지로부터 복수의 분리 이미지를 생성할 경우, 위와 같은 종래 방법의 제약이 크게 감소할 수 있다. 나아가, 시료에 포함된 복수의 생체 분자들을 순차적으로 염색하여 연속적으로 미분리 이미지를 획득하는 과정에서 각 염색 회차마다 서로 동일한 형광 물질 또는 서로 유사한 형광 물질을 사용할 수도 있다. 그에 따라, 본 개시에서 연속하여 순차적으로 획득된 복수의 미분리 이미지들은, 상술한 몇몇 실시예들과 같은 방법으로 서로 동일하거나 유사한 특정 파장대의 빛에 기초하여 획득될 수 있고, 방출 필터의 교체, 형광 물질의 제거 등 추가적인 과정없이 종래의 방법보다 신속하고 용이하게 복수의 미분리 이미지들을 획득할 수 있다.
본 명세서의 개시 내용에 따른 추가적인 실시예에서, 복수의 미분리 이미지가 시료에 포함된 복수의 생체 분자를 순차적으로 염색함으로써 획득된 이미지들인 경우, 언믹싱 행렬은 삼각행렬일 수 있다.
본 개시의 삼각행렬에 관한 일 실시예에서, 복수의 미분리 이미지가 두 개의 미분리 이미지를 포함하는 경우, 삼각행렬인 언믹싱 행렬은 아래의 수학식 20과 같이 표현될 수 있다.
수학식 20의 언믹싱 행렬(
)에 포함된 파라미터 
는 미분리 이미지들의 가중합을 위한 파라미터일 수 있다. 수학식 20의 예시에서 두 개의 미분리 이미지는 각각 i회차 염색 과정에서 시료에 포함된 제1 생체 분자를 염색하고 촬영된 제1 미분리 이미지(
), i+1회차 염색 과정에서 동일 시료에 포함된 제2 생체 분자를 염색하고 촬영된 제2 미분리 이미지(
)로 지칭될 수 있다(i는 1 이상의 자연수). 프로세서(110)는 삼각행렬인 언믹싱 행렬을 이용하여 제1 미분리 이미지(
) 및 제2 미분리 이미지(
)를 가중 합산함으로써 제2 생체 분자에 대한 분리 이미지를 획득하기 위한 연산을 수행할 수 있다. 예를 들어, 프로세서(110)는 수학식 20의 언믹싱 행렬(
)에 기초하여 
= 
+ 
와 같이 표현되는 수식을 연산하고, 연산의 결과로 제2 생체 분자에 대한 분리 이미지(
)를 획득할 수 있다. 한편, 만약 제1 미분리 이미지(
)가 시료에 대한 최초의 염색(즉, 1회차 염색) 과정에서 시료에 포함된 제1 생체 분자를 염색한 후 획득된 이미지일 경우, 제1 생체 분자에 대한 분리 이미지(
)는 제1 미분리 이미지(
)로서 획득될 수 있다.
본 개시의 삼각행렬에 관한 다른 일 실시예에서, 복수의 미분리 이미지가 세 개의 미분리 이미지를 포함하는 경우, 삼각행렬인 언믹싱 행렬은 아래의 수학식 21과 같이 표현될 수 있다.
수학식 21의 언믹싱 행렬(
)에 포함된 복수의 파라미터 
, 
, 
는 각각 미분리 이미지들의 가중합을 위한 파라미터일 수 있다. 수학식 21의 예시에서 세 개의 미분리 이미지는 각각 i회차 염색 과정에서 시료에 포함된 제1 생체 분자를 염색하고 촬영된 제1 미분리 이미지(
), i+1회차 염색 과정에서 동일 시료에 포함된 제2 생체 분자를 염색하고 촬영된 제2 미분리 이미지(
) 및 i+1회차 염색 과정에서 동일 시료에 포함된 제3 생체 분자를 염색하고 촬영된 제3 미분리 이미지(
)로 지칭될 수 있다(i는 1 이상의 자연수). 프로세서(110)는 삼각행렬인 언믹싱 행렬을 이용하여 제1 미분리 이미지(
), 제2 미분리 이미지(
) 및 제3 미분리 이미지(
)를 가중 합산 함으로써 제2 생체 분자에 대한 분리 이미지와 제3 생체 분자에 대한 분리 이미지를 획득하기 위한 연산을 수행할 수 있다. 예를 들어, 프로세서(110)는 수학식 21의 언믹싱 행렬(
)에 기초하여 
= 
+ 
와 
= 
+ 
+ 
같이 표현되는 수식을 연산하고, 연산의 결과로 제2 생체 분자에 대한 분리 이미지(
) 및 제3 생체 분자에 대한 분리 이미지(
)를 획득할 수 있다. 한편, 제1 미분리 이미지(
)가 시료에 대한 최초의 염색(즉, 1회차 염색) 과정에서 시료에 포함된 제1 생체 분자를 염색한 후 획득된 이미지일 경우, 그 제1 생체 분자에 대한 분리 이미지(
)는 제1 미분리 이미지(
)로서 획득될 수 있다.
상술한 수학식 20 및 21에 기초한 구체적 설명에서 언믹싱 행렬로서의 삼각행렬은 하 삼각행렬(Lower Triangular Matrix)로 기재되었지만 이는 본 개시를 제한하지 않으며, 본 개시의 삼각행렬은 상 삼각행렬(Upper Triangular Matrix)일 수도 있다. 이와 같이 복수의 미분리 이미지가 시료에 포함된 복수의 생체 분자를 순차적으로 염색함으로써 획득된 이미지들인 경우, 본 개시에 따른 언믹싱 행렬은 삼각행렬일 수 있고, 그에 따라 프로세서(110)는 보다 빠르게 행렬 연산을 수행함으로써 적어도 하나의 생체 분자에 대한 분리 이미지를 획득할 수 있다.
본 명세서에의 개시 내용에 따른 순서도 또는 흐름도에서, 방법 또는 알고리즘의 각 단계들은 순차적인 순서로 설명되었지만, 각 단계들은 순차적으로 수행되는 것 외에, 임의로 조합될 수 있는 순서에 따라 수행될 수도 있다. 본 명세서의 순서도 또는 흐름도에 관한 설명은, 방법 또는 알고리즘에 변화 또는 수정을 가하는 것을 제외하지 않으며, 임의의 단계가 필수적이거나 바람직하다는 것을 의미하지 않는다. 일 실시예에서, 적어도 일부의 단계가 병렬적, 반복적 또는 휴리스틱하게 수행될 수 있다. 일 실시예에서, 적어도 일부의 단계가 생략되거나, 다른 단계가 추가될 수 있다.
본 명세서의 개시 내용에 따른 다양한 실시예들은 기기(Machine)가 읽을 수 있는 저장매체(Machine-readable Storage Medium)에 소프트웨어로 구현될 수 있다. 소프트웨어는 본 명세서의 다양한 실시예들을 구현하기 위한 소프트웨어일 수 있다. 소프트웨어는 본 명세서의 개시 내용이 속하는 기술분야의 프로그래머들에 의해 본 명세서의 다양한 실시예들로부터 추론될 수 있다. 예를 들어 소프트웨어는 기기가 읽을 수 있는 명령(예를 들어, 코드 또는 코드 세그먼트)을 포함하는 프로그램일 수 있다. 기기는 저장 매체로부터 호출된 명령에 따라 동작이 가능한 장치로서, 예를 들어 컴퓨터일 수 있다. 일 실시예에서, 기기는 본 명세서의 다양한 실시예들에 따른 컴퓨팅 장치일 수 있다. 일 실시예에서, 기기의 프로세서는 호출된 명령을 실행하여, 기기의 구성요소들이 해당 명령에 해당하는 기능을 수행하게 할 수 있다. 일 실시예에서, 프로세서는 본 명세서의 실시예들에 따른 프로세서(110, 210)일 수 있다. 저장 매체는 기기에 의해 읽혀질 수 있는, 데이터가 저장되는 모든 종류의 기록 매체(Recording Medium)를 의미할 수 있다. 저장 매체는, 예를 들어 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등을 포함할 수 있다. 일 실시예에서, 저장 매체는 메모리(130, 230)일 수 있다. 일 실시예에서, 저장매체는 네트워크로 연결된 컴퓨터 시스템 등에 분산된 형태로서 구현될 수도 있다. 소프트웨어는 컴퓨터 시스템 등에 분산되어 저장되고, 실행될 수 있다. 저장 매체는 비일시적(non-transitory) 저장매체일 수 있다. 비일시적 저장매체는, 데이터가 반영구적 또는 임시적으로 저장되는 것과 무관하게 실재하는 매체(Tangible Medium)를 의미하며, 일시적(transitory)으로 전파되는 신호(Signal)를 포함하지 않는다.
이상 다양한 실시예들에 의해 본 명세서의 개시 내용에 따른 기술적 사상이 설명되었지만, 본 명세서의 개시 내용에 따른 기술적 사상은 본 명세서의 개시 내용이 속하는 기술 분야에서 통상의 지식을 가진 자가 이해할 수 있는 범위에서 이루어질 수 있는 다양한 치환, 변형 및 변경을 포함한다. 또한, 그러한 치환, 변형 및 변경은 첨부된 청구범위 내에 포함될 수 있는 것으로 이해되어야 한다.
Claims (20)
- 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되기 위한 명령들이 저장된 하나 이상의 메모리를 포함하는 전자 장치에서 수행되는 이미지 처리 방법으로서,
제1 형광 물질로 표지된 제1 생체 분자 및 표지되지 않은 제2 생체 분자를 포함하는 시료(sample)에 대한 제1 미분리 이미지를 획득하는 단계;
상기 제1 형광 물질로 표지된 상기 제1 생체 분자 및 제2 형광 물질로 표지된 상기 제2 생체 분자를 포함하는 상기 시료에 대한 제2 미분리 이미지를 획득하는 단계; 및
상기 제1 미분리 이미지 및 상기 제2 미분리 이미지에 기초하여, 상기 제2 생체 분자에 대한 분리 이미지를 생성하는 단계를 포함하는, 방법.
- 제1항에 있어서,
상기 제1 미분리 이미지 및 상기 제2 미분리 이미지는 각각 상기 시료로부터 동일한 특정 파장대의 빛을 검출함으로써 촬영된 이미지인, 방법.
- 제1항에 있어서,
상기 제1 미분리 이미지와 상기 제2 미분리 이미지는 각각 동일한 방출 필터에 기초하여 획득된 이미지이고,
상기 방출 필터는 특정 파장대의 빛을 통과시키는, 방법.
- 제1항에 있어서,
상기 제1 형광 물질 및 상기 제2 형광 물질은 서로 동일한 형광 물질인, 방법.
- 제1항에 있어서,
상기 제1 형광 물질 및 상기 제2 형광 물질은,
상기 제1 형광 물질의 방출 스펙트럼(spectrum) 내에서 방출 신호의 세기가 최대가 되는 제1 파장 값; 및
상기 제2 형광 물질의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 제2 파장 값이 소정의 조건을 만족하도록 결정되는, 방법.
- 제5항에 있어서,
상기 소정의 조건은,
상기 제1 파장 값 및 상기 제2 파장 값의 차이 값이 사전 결정된 임계 값 이하인 경우에 만족되는 조건인, 방법.
- 제5항에 있어서,
상기 소정의 조건은,
상기 제1 파장 값 및 상기 제2 파장 값 중 더 큰 파장 값에 대한 더 작은 파장 값의 비율이 사전 결정된 임계 비율 이상인 경우에 만족되는 조건인, 방법.
- 제1항에 있어서,
상기 제2 미분리 이미지는,
상기 시료에 대한 상기 제1 미분리 이미지를 촬영한 후, 상기 시료에 포함된 상기 제2 생체 분자를 상기 제2 형광 물질로 표지하고 그리고 상기 시료를 촬영함으로써 획득되는, 방법.
- 제1항에 있어서,
상기 분리 이미지를 생성하는 단계는,
언믹싱(Unmixing) 행렬을 이용하여 상기 제1 미분리 이미지 및 상기 제2 미분리 이미지를 연산하는 단계를 포함하는, 방법.
- 제9항에 있어서,
상기 언믹싱 행렬에 포함된 적어도 하나의 원소의 값은 학습된 인공 신경망 모델에 기초하여 결정되는, 방법.
- 제1항에 있어서,
상기 제1 형광 물질로 표지된 상기 제1 생체 분자, 상기 제2 형광 물질로 표지된 상기 제2 생체 분자 및 제3 형광 물질로 표지된 제3 생체 분자를 포함하는 상기 시료에 대한 제3 미분리 이미지를 획득하는 단계를 더 포함하고,
상기 생성하는 단계는,
상기 제3 미분리 이미지에 추가적으로 기초하여, 상기 제3 생체 분자에 대한 분리 이미지를 생성하는 단계를 포함하고,
상기 제1 미분리 이미지는 표지되지 않은 상기 제2 생체 분자 및 표지되지 않은 상기 제3 생체 분자를 포함하는 시료를 촬영함으로써 획득된 이미지이고,
상기 제2 미분리 이미지는 표지되지 않은 상기 제3 생체 분자를 포함하는 시료를 촬영함으로써 획득된 이미지인, 방법.
- 제11항에 있어서,
상기 제2 미분리 이미지는,
상기 시료에 대한 상기 제1 미분리 이미지를 촬영한 후, 상기 시료에 포함된 상기 제2 생체 분자를 상기 제2 형광 물질로 표지하고 그리고 상기 시료를 촬영함으로써 획득되고,
상기 제3 미분리 이미지는,
상기 시료에 대한 상기 제2 미분리 이미지를 촬영한 후, 상기 시료에 포함된 상기 제3 생체 분자를 상기 제3 형광 물질로 표지하고 그리고 상기 시료를 촬영함으로써 획득되는, 방법.
- 전자 장치에 있어서,
하나 이상의 프로세서; 및
상기 하나 이상의 프로세서에 의해 실행되기 위한 명령들이 저장된 하나 이상의 메모리;
를 포함하고,
상기 하나 이상의 프로세서는,
제1 형광 물질로 표지된 제1 생체 분자 및 표지되지 않은 제2 생체 분자를 포함하는 시료(sample)에 대한 제1 미분리 이미지를 획득하고,
상기 제1 형광 물질로 표지된 상기 제1 생체 분자 및 제2 형광 물질로 표지된 상기 제2 생체 분자를 포함하는 상기 시료에 대한 제2 미분리 이미지를 획득하고,
상기 제1 미분리 이미지 및 상기 제2 미분리 이미지에 기초하여, 상기 제2 생체 분자에 대한 분리 이미지를 생성하는, 전자 장치.
- 제13항에 있어서,
상기 제1 미분리 이미지 및 상기 제2 미분리 이미지는 각각 상기 시료에 대해 동일한 특정 파장대의 빛을 검출함으로써 촬영된 이미지인, 전자 장치.
- 제13항에 있어서,
상기 제1 미분리 이미지와 상기 제2 미분리 이미지는 각각 동일한 방출 필터에 기초하여 획득된 이미지이고,
상기 방출 필터는 특정 파장대의 빛을 통과시키는, 전자 장치.
- 제13항에 있어서,
상기 제1 형광 물질 및 상기 제2 형광 물질은 서로 동일한 형광 물질인, 방법.
- 제13항에 있어서,
상기 제1 형광 물질 및 상기 제2 형광 물질은,
상기 제1 형광 물질의 방출 스펙트럼(spectrum) 내에서 방출 신호의 세기가 최대가 되는 제1 파장 값; 및
상기 제2 형광 물질의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 제2 파장 값이 소정의 조건을 만족하도록 결정되는, 전자 장치.
- 제13항에 있어서,
상기 제2 미분리 이미지는,
상기 시료에 대한 상기 제1 미분리 이미지를 촬영한 후, 상기 시료에 포함된 상기 제2 생체 분자를 상기 제2 형광 물질로 표지하고 그리고 상기 시료를 촬영함으로써 획득되는, 전자 장치.
- 제13항에 있어서,
상기 전자 장치는,
촬영부를 더 포함하고,
상기 하나 이상의 프로세서는,
상기 제1 형광 물질로 표지된 상기 제1 생체 분자 및 표지되지 않은 상기 제2 생체 분자를 포함하는 상기 시료를 상기 촬영부를 통해 촬영함으로써 상기 제1 미분리 이미지를 획득하고,
상기 제1 형광 물질로 표지된 상기 제1 생체 분자 및 상기 제2 형광 물질로 표지된 상기 제2 생체 분자를 포함하는 상기 시료를 상기 촬영부를 통해 촬영함으로써 상기 제2 미분리 이미지를 획득하는, 전자 장치.
- 하나 이상의 프로세서에 의한 실행 시, 상기 하나 이상의 프로세서가 동작을 수행하도록 하는 명령들을 기록한 비일시적 컴퓨터 판독 가능 기록 매체에 있어서,
상기 명령들은, 상기 하나 이상의 프로세서로 하여금,
제1 형광 물질로 표지된 제1 생체 분자 및 표지되지 않은 제2 생체 분자를 포함하는 시료(sample)에 대한 제1 미분리 이미지를 획득하고,
상기 제1 형광 물질로 표지된 상기 제1 생체 분자 및 제2 형광 물질로 표지된 상기 제2 생체 분자를 포함하는 상기 시료에 대한 제2 미분리 이미지를 획득하고,
상기 제1 미분리 이미지 및 상기 제2 미분리 이미지에 기초하여, 상기 제2 생체 분자에 대한 분리 이미지를 생성하도록 하는, 컴퓨터 판독 가능 기록 매체.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2022/013762 WO2023043211A1 (ko) | 2021-09-16 | 2022-09-15 | 이미지를 처리하는 장치 및 방법 |
| CN202280062957.1A CN117957435A (zh) | 2021-09-16 | 2022-09-15 | 图像处理装置及方法 |
| EP22870295.7A EP4403902A1 (en) | 2021-09-16 | 2022-09-15 | Apparatus and method for processing image |
| US18/602,661 US20240257346A1 (en) | 2021-09-16 | 2024-03-12 | Apparatus and method for processing image |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20210123583 | 2021-09-16 | ||
| KR1020210123583 | 2021-09-16 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230040890A true KR20230040890A (ko) | 2023-03-23 |
Family
ID=85799448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220111591A KR20230040890A (ko) | 2021-09-16 | 2022-09-02 | 이미지를 처리하는 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230040890A (ko) |
-
2022
- 2022-09-02 KR KR1020220111591A patent/KR20230040890A/ko unknown
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Pires et al. | A data-driven approach to referable diabetic retinopathy detection | |
| Masud et al. | Leveraging deep learning techniques for malaria parasite detection using mobile application | |
| WO2022083536A1 (zh) | 一种神经网络构建方法以及装置 | |
| US10628705B2 (en) | Combining convolution and deconvolution for object detection | |
| Amara et al. | A deep learning-based approach for banana leaf diseases classification | |
| Keemink et al. | FISSA: A neuropil decontamination toolbox for calcium imaging signals | |
| Alnussairi et al. | Malaria parasite detection using deep learning algorithms based on (CNNs) technique | |
| JP6961640B2 (ja) | データ処理のシステムおよび方法 | |
| WO2022012668A1 (zh) | 一种训练集处理方法和装置 | |
| JP7225731B2 (ja) | 多変数データシーケンスの画像化 | |
| CN112132278A (zh) | 模型压缩方法、装置、计算机设备及存储介质 | |
| US20230004816A1 (en) | Method of optimizing neural network model and neural network model processing system performing the same | |
| Cándido-Mireles et al. | Detecting vineyard plants stress in situ using deep learning | |
| US20190311482A1 (en) | Methods, systems, and computer readable media for using synthetically trained deep neural networks for automated tracking of particles in diverse video microscopy data sets | |
| Wakhare et al. | Using image processing and deep learning techniques detect and identify pomegranate leaf diseases | |
| Kashyap et al. | Multi-crop leaf disease detection using deep learning methods | |
| KR102569598B1 (ko) | 멀티 유사도 및 어텐션 네트워크를 이용한 퓨-샷 러닝을 수행하는 장치 및 방법 | |
| KR20230040890A (ko) | 이미지를 처리하는 장치 및 방법 | |
| Dsouza et al. | Real Time Facial Emotion Recognition Using CNN | |
| CN117957435A (zh) | 图像处理装置及方法 | |
| KR20240031123A (ko) | 인공 신경망 모델을 이용하여 이미지를 처리하는 장치 및 방법 | |
| Paul et al. | A review on computational methods based on machine learning and deep learning techniques for malaria detection | |
| US20240257346A1 (en) | Apparatus and method for processing image | |
| CN116824419A (zh) | 一种着装特征识别方法、识别模型的训练方法及装置 | |
| Loke et al. | Human visual cortex and deep convolutional neural network care deeply about object background |