KR102302333B1 - 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법 및 장치 - Google Patents
3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법 및 장치 Download PDFInfo
- Publication number
- KR102302333B1 KR102302333B1 KR1020190139992A KR20190139992A KR102302333B1 KR 102302333 B1 KR102302333 B1 KR 102302333B1 KR 1020190139992 A KR1020190139992 A KR 1020190139992A KR 20190139992 A KR20190139992 A KR 20190139992A KR 102302333 B1 KR102302333 B1 KR 102302333B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- refractive index
- molecular
- cell
- dimensional
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims description 79
- 238000003325 tomography Methods 0.000 title description 10
- 239000007850 fluorescent dye Substances 0.000 title 1
- 238000010186 staining Methods 0.000 claims abstract description 65
- 238000006243 chemical reaction Methods 0.000 claims abstract description 62
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 42
- 239000003147 molecular marker Substances 0.000 claims description 33
- 238000005259 measurement Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 25
- 230000008878 coupling Effects 0.000 claims description 12
- 238000010168 coupling process Methods 0.000 claims description 12
- 238000005859 coupling reaction Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 8
- 238000003368 label free method Methods 0.000 abstract description 6
- 210000004027 cell Anatomy 0.000 description 144
- 239000000975 dye Substances 0.000 description 35
- 238000010586 diagram Methods 0.000 description 22
- 230000003287 optical effect Effects 0.000 description 12
- 238000002372 labelling Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 239000000126 substance Substances 0.000 description 9
- 230000009466 transformation Effects 0.000 description 7
- 238000001000 micrograph Methods 0.000 description 6
- 230000000877 morphologic effect Effects 0.000 description 5
- 210000003463 organelle Anatomy 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000338 in vitro Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000013537 high throughput screening Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000000386 microscopy Methods 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 102000007469 Actins Human genes 0.000 description 1
- 108010085238 Actins Proteins 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000009647 digital holographic microscopy Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 1
- 230000001900 immune effect Effects 0.000 description 1
- 150000002500 ions Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
- C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
- C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
- G01N21/45—Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
- G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
Abstract
3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법 및 장치가 제시된다. 일 실시예에 따른 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 장치는, 관찰하고자 하는 세포에 대해 3차원 굴절률 영상을 측정하는 3차원 굴절률 세포 영상 측정부; 및 상기 3차원 굴절률 영상의 측정 값을 딥러닝(deep learning) 알고리즘에 입력하여 세포의 3차원 분자 염색 세포 영상을 출력하는 3차원 굴절률과 분자 염색 영상 전환부를 포함하여 이루어질 수 있다.
Description
아래의 실시예들은 비표지 방식의 3차원 분자 영상 생성 방법 및 장치에 관한 것으로, 더욱 상세하게는 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법 및 장치에 관한 것이다.
현재 현미경을 이용한 세포/조직에서의 특정 물질/구조의 관찰, 측정을 위해서 일반적으로 분자를 띄우거나 분자물질로 표지한 조직이나 세포가 발산하는 분자를 이용한 분자 현미경으로 관찰 및 측정을 하는 방식이 사용되고 있다.
따라서 염색 과정에서 시간과 비용이 소요되고, 염색 과정으로 인한 세포의 변형이 불가피하며 염색 과정 및 시료의 상태에 기반하기에 그 영상의 질이 일정치 않다는 등의 근본적인 문제가 있다.
또한, 일단 분자 염색 과정을 거친 시료에서 분자 염색을 제거하기 힘들어 오랜 시간에 걸쳐 추적 관찰을 하거나 다시 관찰하기 힘들다. 이러한 문제로 인해 새로운 분야에서의 세포/조직 관찰에서 분자 현미경을 적용에 제한이 있다.
Kim, K., et al. (2016). "Optical diffraction tomography techniques for the study of cell pathophysiology." arXiv preprint arXiv:1603.00592.
Lee, K., et al. (2013). "Quantitative phase imaging techniques for the study of cell pathophysiology: from principles to applications." Sensors 13(4): 4170-4191.
Wolf, E. (1969). "Three-dimensional structure determination of semi-transparent objects from holographic data." Optics Communications 1(4): 153-156.
실시예들은 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법 및 장치에 관하여 기술하며, 보다 구체적으로 염색이나 표지 등의 과정 없이 세포의 3차원 굴절률 영상과 딥러닝 알고리즘을 사용하여 분자 현미경 영상을 신속하게 생성하는 기술을 제공한다.
실시예들은 염색이나 표지 없이 세포의 형태학적 특징을 3차원 굴절률(refractive index) 현미경으로 측정하고, 이를 기반으로 세포의 물리-화학적 특징을 보기 위한 분자 표지 영상을 예측하기 위해 딥러닝(deep learning) 알고리즘을 적용하여 3차원 분자 현미경 영상을 생성하는, 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법 및 장치를 제공한다.
일 실시예에 따른 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 장치는, 관찰하고자 하는 세포에 대해 3차원 굴절률 영상을 측정하는 3차원 굴절률 세포 영상 측정부; 및 상기 3차원 굴절률 영상의 측정 값을 딥러닝 알고리즘에 입력하여 세포의 3차원 분자 염색 세포 영상을 출력하는 3차원 굴절률과 분자 염색 영상 전환부를 포함하여 이루어질 수 있다.
상기 3차원 굴절률 세포 영상 측정부는, 슬라이드 위에 관찰하고자 하는 상기 세포가 놓여 있거나 도말된 형태로 상기 3차원 굴절률 영상을 촬영할 수 있다.
상기 3차원 굴절률 세포 영상 측정부는, 한번에 촬영할 수 있는 영역보다 상기 세포의 관찰 영역이 클 경우, 한번에 촬영 가능한 3차원 굴절률 영상을 촬영하는 3차원 영상 패치 촬영부; 및 한번에 촬영된 상기 3차원 굴절률 영상을 연결하여 상기 3차원 굴절률 슬라이드 이미지를 생성하는 영상 패치 결합부를 포함하여 이루어질 수 있다.
상기 3차원 굴절률과 분자 염색 영상 전환부는, 상기 세포의 3차원 굴절률 영상 패치를 생성하는 3차원 패치 추출부; 상기 딥러닝 알고리즘에 기반하여 상기 3차원 굴절률 영상 패치를 3차원 분자 표지 영상 패치로 변환하는 3차원 굴절률과 분자 염색 패치 전환부; 및 변환된 상기 3차원 분자 표지 영상 패치들을 하나의 영상으로 병합하는 분자 패치 결합부를 포함할 수 있다.
상기 3차원 패치 추출부는, 영상의 외곽 영역 값 소실 방지를 위하여 패딩 과정을 수행하는 영상 패딩부; 상기 패딩 과정을 거친 패딩된 영상에서 세포 영역을 추출하는 세포 영역 추출부; 및 상기 패딩된 영상의 세포 영역에서 패치를 샘플링하여, 상기 세포의 3차원 굴절률 영상 패치를 생성하는 3차원 굴절률 패치 샘플링부를 포함할 수 있다.
상기 3차원 굴절률과 분자 염색 패치 전환부는, 각 상기 세포의 3차원 굴절률 영상 패치를 3차원 굴절률 정보를 기반으로 학습된 합성곱 신경망(Convolutional Neural Network, CNN)을 이용하여 상기 3차원 분자 표지 영상 패치로 변환할 수 있다.
상기 분자 패치 결합부는, 중복되는 영역에 대해 재구성된 영상의 연속성을 보장하기 위해 패치 중심으로부터의 거리에 따른 선형 또는 비선형 가중치를 곱하여 더하고, 패딩 영역 제거 후 최종적으로 하나의 분자 표지에 대한 상기 세포의 3차원 분자 염색 세포 영상을 생성할 수 있다.
상기 3차원 굴절률과 분자 염색 영상 전환부는, 각 분자 표지 별로 기설정된 수 이상의 샘플을 측정한 후, 상기 딥러닝 알고리즘을 이용하여 상기 3차원 굴절률과 분자 염색 영상 전환 모델을 구축하는 상기 3차원 굴절률과 분자 염색 영상 전환 모델 생성부를 포함하고, 상기 3차원 굴절률과 분자 염색 영상 전환 모델을 통해 특정 분자 표지가 확보된 세포에 대응하는 3차원 굴절률 영상을 측정하여 상기 세포의 3차원 분자 염색 세포 영상을 생성할 수 있다.
다른 실시예에 따른 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법은, 관찰하고자 하는 세포에 대해 3차원 굴절률 영상을 측정하는 단계; 및 상기 3차원 굴절률 영상의 측정 값을 딥러닝 알고리즘에 입력하여 세포의 3차원 분자 염색 세포 영상을 출력하는 단계를 포함하여 이루어질 수 있다.
상기 세포의 3차원 분자 염색 세포 영상을 출력하는 단계는, 각 분자 표지 별로 기설정된 수 이상의 샘플을 측정한 후, 상기 딥러닝 알고리즘을 이용하여 상기 3차원 굴절률과 분자 염색 영상 전환 모델을 구축하는 단계를 포함하고, 상기 3차원 굴절률과 분자 염색 영상 전환 모델을 통해 특정 분자 표지가 확보된 세포에 대응하는 3차원 굴절률 영상을 측정하여 상기 세포의 3차원 분자 염색 세포 영상을 생성할 수 있다.
실시예들에 따르면 염색이나 표지 없이 세포의 형태학적 특징을 3차원 굴절률 현미경으로 측정하고, 이를 기반으로 세포의 물리-화학적 특징을 보기 위한 형광 표지 영상을 예측하기 위해 딥러닝 알고리즘을 적용하여 3차원 분자 현미경 영상을 생성하는, 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법 및 장치를 제공할 수 있다.
도 1은 일 실시예에 따른 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 장치를 설명하기 위한 블록도이다.
도 2a은 일 실시예에 따른 입사광 회전 방식을 이용한 세포의 3차원 굴절률을 측정하는 방법을 설명하기 위한 도면이다.
도 2b은 일 실시예에 따른 세포 회전 방식을 이용한 세포의 3차원 굴절률을 측정하는 방법을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 3차원 굴절률 세포 영상 측정부를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 3차원 굴절률과 분자 염색 영상 전환부를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 3차원 패치 추출부를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 패딩 과정을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 패치 샘플링 과정을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 딥러닝 알고리즘을 기반으로 한 3차원 굴절률과 분자 염색 패치 전환부를 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 각 표지 정보에 맞는 변환 모델을 가져가는 방식을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 여러 분자 표지 정보를 한번에 도출하는 방식을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 딥러닝 기반 모델을 설명할 수 있다.
도 12는 일 실시예에 따른 3차원 굴절률 영상 패치를 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 변환된 영상 패치의 예를 나타내는 도면이다.
도 14는 일 실시예에 따른 3차원 분자 표지 영상 패치들의 병합을 설명하기 위한 도면이다.
도 15는 일 실시예에 따른 패딩 영역 제거를 설명하기 위한 도면이다.
도 16은 일 실시예에 따른 3차원 굴절률과 분자 염색 영상 전환 모델을 설명하기 위한 도면이다.
도 17은 일 실시예에 따른 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법을 설명하기 위한 흐름도이다.
도 2a은 일 실시예에 따른 입사광 회전 방식을 이용한 세포의 3차원 굴절률을 측정하는 방법을 설명하기 위한 도면이다.
도 2b은 일 실시예에 따른 세포 회전 방식을 이용한 세포의 3차원 굴절률을 측정하는 방법을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 3차원 굴절률 세포 영상 측정부를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 3차원 굴절률과 분자 염색 영상 전환부를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 3차원 패치 추출부를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 패딩 과정을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 패치 샘플링 과정을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 딥러닝 알고리즘을 기반으로 한 3차원 굴절률과 분자 염색 패치 전환부를 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 각 표지 정보에 맞는 변환 모델을 가져가는 방식을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 여러 분자 표지 정보를 한번에 도출하는 방식을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 딥러닝 기반 모델을 설명할 수 있다.
도 12는 일 실시예에 따른 3차원 굴절률 영상 패치를 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 변환된 영상 패치의 예를 나타내는 도면이다.
도 14는 일 실시예에 따른 3차원 분자 표지 영상 패치들의 병합을 설명하기 위한 도면이다.
도 15는 일 실시예에 따른 패딩 영역 제거를 설명하기 위한 도면이다.
도 16은 일 실시예에 따른 3차원 굴절률과 분자 염색 영상 전환 모델을 설명하기 위한 도면이다.
도 17은 일 실시예에 따른 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
현미경을 이용한 시료의 분석에 있어서 시료 내의 특정 물질/구조를 관찰 및 측정하기 위해서 기존에는 분자 현미경이 주로 사용되었다. 이러한 분자 현미경은 자연적으로 분자를 띄거나 분자물질로 표지한 조직이나 세포가 발산하는 분자로 미세구조 및 물리화학적 특징을 관찰하는 장비이다. 그러나 분자물질을 이용한 표지 과정이 필수적이고, 그 표지 과정이 살아있는 세포에 영향을 주어 정확한 세포의 특성을 보지 못하는 한계를 가지고 있다. 예를 들어, 세포의 소기관(subcellular organelles) 중 하나의 액틴(actin)을 관찰하고자 염색 등의 표지를 하면 그 구조가 변한다는 연구 결과가 발표되었다. 이렇듯 세포 본연의 구조와 정보를 관찰하기 위해서는 표지 없이 관찰하여야 한다.
아래의 실시예들은 이러한 분자물질을 이용한 염색이나 표지 등의 과정 없이 세포의 3차원 굴절률 측정과 딥러닝 알고리즘을 사용하여 분자 현미경 영상을 신속하게 생성하는 방법을 제공한다. 즉, 실시예들은 염색이나 표지 없이 세포의 형태학적 특징과 물리적 특징을 3차원 굴절률(refractive index) 현미경으로 측정하고, 이를 기반으로 세포의 물리-화학적 특징을 보기 위한 분자 표지를 예측하기 위하여 딥러닝(deep learning) 알고리즘을 적용함으로써, 3차원 분자 현미경 영상을 생성하는 것이다. 여기서, 분자 영상(molecular imaging)은 유기 염료(organic dye, H&E staining, Wright staining), 면역 염색(immunological staining), 분자 염색(fluorescence molecule staining), 분자 단백질 발현(fluorescence protein expression) 등을 포함할 수 있다.
세포 내 3차원 굴절률 분포는 세포 내 소기관의 구성과 형태와 밀접한 관련이 있다. 또한 굴절률 값 자체는 세포 내 주요 구성성분인 단백질의 농도와 비례한다. 따라서, 세포의 3차원 굴절률 정보를 측정한다는 것은, 세포와 세포 내 소기관의 형태적인 특성(morphological characteristics)뿐만 아니라, 생화학적인 특성(biochemical characteristics) 정보를 반영한다. 따라서, 3차원 굴절률 분포를 이용하면, 특정 소기관을 관찰하기 위한 분자 표지에 관련된 특징을 추출할 수 있게 된다. 이러한 특징을 기반으로 3차원 분자 표지 영상을 재구성하여 제공할 수 있다.
상기한 목적을 감안하여 예의 연구한 결과, 세포의 3차원 굴절률을 측정하고, 이 측정값을 입력으로 하는 변환 알고리즘으로서 딥러닝 알고리즘을 적용한 결과, 정확한 분자 표지 영상을 간단하면서도 빠르게 생성할 수 있었다.
도 1은 일 실시예에 따른 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 일 실시예에 따른 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 장치(100)는 관찰하고자 하는 관찰 시료를 입력으로 받아 그 세포의 3차원 분자 표지 영상을 출력으로 제공할 수 있다.
일 실시예에 따른 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 장치(100)는 3차원 굴절률 세포 영상 측정부(110) 및 3차원 굴절률과 분자 염색 영상 전환부(120)를 포함하여 이루어질 수 있다.
3차원 굴절률 세포 영상 측정부(110)는 관찰하고자 하는 세포(101)에 대해 3차원 굴절률 영상을 측정할 수 있다. 예를 들어, 3차원 굴절률 세포 영상 측정부(110)는 슬라이드 위에 관찰하고자 하는 세포(101)가 놓여 있거나 도말된 형태로 3차원 굴절률 영상을 촬영할 수 있다.
3차원 굴절률 세포 영상 측정부(110)는 한번에 촬영할 수 있는 영역보다 세포(101)의 관찰 영역이 클 경우, 한번에 촬영 가능한 3차원 굴절률 영상을 촬영한 다음, 한번에 촬영된 3차원 굴절률 영상을 연결하여 3차원 굴절률 슬라이드 이미지를 생성할 수 있다.
3차원 굴절률 세포 영상 측정부(110)는 광원, 간섭계, 및 측정부를 포함하여 이루어질 수 있다.
광원은 빛을 세포에 입사시킬 수 있다. 예를 들어 레이저(laser)가 광원으로 이용될 수 있으며, 광원은 측정하고자 하는 세포(101) 등의 샘플에 레이저 빔을 조사할 수 있다. 여기에서 세포(101)는 측정하고자 하는 대상을 나타낸다. 사용되는 광원은 단일 파장 레이저를 이용할 수 있다. 또한 광원은 여러 파장 레이저를 이용하여 각 파장에서 3차원 굴절률을 측정함으로써 더 많은 양의 정보를 세포의 구분에 활용할 수도 있다.
간섭계는 광원으로부터 입사된 빛이 세포(101)에 입사된 후, 세포에서 회절된 투과광을 측정하여 다수의 2차원 홀로그램을 획득할 수 있다. 여기에서 간섭계는 빛의 간섭 현상을 이용한 측정기로서, 동일한 광원에서 나오는 빛을 두 갈래 이상으로 나누어 진행 경로에 차이가 생기도록 한 후 빛이 다시 만났을 때 일어나는 간섭 현상을 관찰하는 기구이다.
측정부는 간섭계에서 획득한 다수의 2차원 홀로그램을 이용하여 세포(101)의 3차원 굴절률 분포를 측정할 수 있다. 예를 들어 측정부는 영상을 촬영하는 촬영 장치인 카메라가 이용될 수 있다.
이러한 3차원 굴절률 세포 영상 측정부(110)는 광학 회절 단층 촬영법 및 광학 투영 단층 촬영법 중 적어도 어느 하나의 광학적 측정을 통해 세포의 3차원 굴절률 분포를 측정할 수 있다. 3차원 굴절률 세포 영상 측정부(110)는 세포(101)에 입사되는 빛의 각도를 회전시켜 간섭계에서 측정된 다수의 2차원 홀로그램을 이용하여 세포의 3차원 굴절률 분포를 측정할 수 있다. 또한, 3차원 굴절률 세포 영상 측정부(110)는 세포(101)를 직접 회전시켜 간섭계에서 측정된 다수의 2차원 홀로그램을 이용하여 세포의 3차원 굴절률 분포를 측정할 수도 있다.
그리고, 3차원 굴절률과 분자 염색 영상 전환부(120)는 3차원 굴절률 영상의 측정 값을 딥러닝 알고리즘에 입력하여 세포(101)의 3차원 분자 염색 세포 영상(103)을 출력할 수 있다.
3차원 굴절률과 분자 염색 영상 전환부(120)는 세포(101)의 3차원 굴절률 영상 패치(102a)를 생성하고, 딥러닝 알고리즘에 기반하여 3차원 굴절률 영상 패치(102a)를 3차원 분자 염색 영상 패치(103a)로 변환한 다음, 변환된 3차원 분자 염색 영상 패치들(103a)은 하나의 영상으로 병합할 수 있다. 이 때, 3차원 굴절률과 분자 염색 영상 전환부(120)는 각 세포(101)의 3차원 굴절률 영상 패치(102a)를 3차원 굴절률 정보를 기반으로 학습된 합성곱 신경망(Convolutional Neural Network, CNN)을 이용하여 3차원 분자 염색 영상 패치(103a)로 변환할 수 있다.
한편, 3차원 굴절률과 분자 염색 영상 전환부(120)는 3차원 굴절률과 분자 염색 영상 전환 모델 생성부(124)를 포함할 수 있다. 3차원 굴절률과 분자 염색 영상 전환 모델 생성부(124)는 각 분자 표지 별로 기설정된 수 이상의 샘플을 측정한 후, 딥러닝 알고리즘을 이용하여 3차원 굴절률과 분자 염색 영상 전환 모델(122a)을 구축할 수 있다. 이에 따라 3차원 굴절률과 분자 염색 영상 전환부(120)는 3차원 굴절률과 분자 염색 영상 전환 모델(122a)을 통해 특정 분자 표지가 확보된 세포에 대응하는 3차원 굴절률 영상을 측정하여 세포(101)의 3차원 분자 염색 세포 영상(103)을 생성할 수 있다.
아래에서는 관찰 대상 시료인 세포의 3차원 굴절률 영상 측정에 대해 설명한다.
도 2a은 일 실시예에 따른 입사광 회전 방식을 이용한 세포의 3차원 굴절률을 측정하는 방법을 설명하기 위한 도면이다. 그리고, 도 2b은 일 실시예에 따른 세포 회전 방식을 이용한 세포의 3차원 굴절률을 측정하는 방법을 설명하기 위한 도면이다.
도 2a 및 도 2b를 참조하면, 가능한 다양한 측정 광학 구현을 나타낸다. 모든 물체는 굴절률 분포를 가지고 있다. 굴절률은 빛이 그 물질을 지날 때 얼마나 속도가 감속하는지를 기술하는 물질 자체의 고유한 광학적 물리량이다. 세포(201)의 3차원 굴절률을 측정하기 위해서는 광학 회절 단층 촬영법(optical diffraction tomography) 또는 광학 투영 단층 촬영법(optical projection tomography, tomographic phase microscopy, 3D digital holographic microscopy)을 사용할 수 있다(비특허문헌 1, 2).
도 2a에 도시된 바와 같이, 광학 회절 단층 촬영법과 광학 투영 단층 촬영법은 같은 광학 구현을 이용할 수 있다(비특허문헌 3). 결맞음 광원(coherent light source, 210)에서 나온 빛을 세포(201)에 입사시켜, 세포(201)에서 회절된 투과광을 간섭계(220)를 이용해서 그 홀로그램을 측정할 수 있다. 이때 세포(201)에 입사되는 각도를 회전(스캔)하면서 측정된 여러 장의 2차원 홀로그램을 이용하여, 세포(201)의 3차원 굴절률 분포를 측정(240)할 수 있다. 다만, 회절 단층 촬영법과 투영 단층 촬영법 차이는 시편에서의 빛의 회절 유무를 고려하는 복원 알고리즘(230)에 있다.
도 2b을 참조하면, 도 2a에서 설명한 입사광 회전 방식을 이용한 세포(201)의 3차원 굴절률 분포를 측정하는 방법에서 입사광을 회전시키는 대신, 세포(201)를 직접 회전시켜 3차원 굴절률 분포를 측정(240)하는 것도 가능하다.
한편, 세포(201)를 측정하는 방식은 체외(in vitro) 슬라이드 유리(slide glass) 상에서 세포(201)들이 낮은 농도로 놓여진 형태, 체외(in vitro) 슬라이드 유리(slide glass) 상에서 세포(201)들이 높은 농도로 단일 또는 수 겹의 층을 이루고 있는 형태, 생체 조직 슬라이드를 5 마이크로 미터에서 50 마이크로 미터 사이의 두께로 자른 조직 슬라이드 형태, 및 체외(in vitro)에서 고속대량 스크리닝(high-throughput screening)을 위해 미소 유체관(microfluidic channel)을 지나는 형태로 이루어질 수 있다.
도 3은 일 실시예에 따른 3차원 굴절률 세포 영상 측정부를 설명하기 위한 도면이다.
3차원 굴절률 영상 촬영은 슬라이드 위에 관찰하고자 하는 세포가 놓여 있거나 도말된 형태로 촬영한다. 도 3에 도시된 바와 같이, 한번에 찍을 수 있는 영역보다 관찰 영역이 클 경우, 한번에 찍은 3차원 영상을 연결하여 3차원 굴절률 슬라이드 이미지를 생성할 수 있다.
보다 구체적으로, 3차원 굴절률 세포 영상 측정부(110)는 3차원 영상 패치 촬영부(111) 및 영상 패치 결합부(112)를 포함하여 이루어질 수 있다.
3차원 영상 패치 촬영부(111)는 한번에 촬영할 수 있는 영역보다 세포의 관찰 영역이 클 경우, 한번에 촬영 가능한 3차원 굴절률 영상을 촬영할 수 있다.
그리고, 영상 패치 결합부(112)는 한번에 촬영된 3차원 굴절률 영상을 연결하여 3차원 굴절률 슬라이드 이미지를 생성할 수 있다.
도 4는 일 실시예에 따른 3차원 굴절률과 분자 염색 영상 전환부를 설명하기 위한 도면이다.
도 4에 도시된 바와 같이, 효율적인 변환 과정을 위하여 3차원 변환의 효율과 변환 계산 환경을 고려하여 3차원 굴절률 영상 패치를 생성하고 패치 단위로 분자 염색 패치로 전환 후 병합하는 과정을 거칠 수 있다. 여기서, 3차원 굴절률 세포 영상(102)은 상술한 방법을 이용하여 생성된 관찰 영역 전체의 3차원 굴절률 세포 영상이다.
보다 구체적으로, 3차원 굴절률과 분자 염색 영상 전환부(120)는 3차원 패치 추출부(121), 3차원 굴절률과 분자 염색 패치 전환부(122) 및 분자 패치 결합부(123)를 포함할 수 있다. 3차원 패치 추출부(121)는 세포의 3차원 굴절률 영상 패치를 생성할 수 있고, 3차원 굴절률과 분자 염색 패치 전환부(122)는 딥러닝 알고리즘에 기반하여 3차원 굴절률 영상 패치를 3차원 분자 염색 영상 패치(103a)로 변환할 수 있다. 또한, 분자 패치 결합부(123)는 변환된 3차원 분자 염색 영상 패치들(103a)은 하나의 영상으로 병합할 수 있다.
여기서, 3차원 굴절률과 분자 염색 영상 전환부(120)는 3차원 굴절률 영상의 측정 값을 딥러닝 알고리즘에 입력하여 세포의 3차원 분자 염색 세포 영상(103)을 출력할 수 있다.
도 5는 일 실시예에 따른 3차원 패치 추출부를 설명하기 위한 도면이다.
도 5를 참조하면, 실시예들은 3차원 굴절률 영상의 패치 단위로 분자 염색 영상으로 변환할 수 있다. 상술한 바와 같이, 전환 과정은 딥러닝 알고리즘에 기반할 수 있으며, 특히, 합성곱 알고리즘(CNN)을 사용할 수 있다.
이 때, 영상 외곽 영역에서의 안정적인 결과 도출과 결합 과정에서 발생하는 외곽 영역 값 소실 방지를 위하여, 추출 전 패딩 과정을 거친 후 세포 영역에 대해서 패치 샘플링을 진행할 수 있다.
보다 구체적으로, 3차원 패치 추출부(121)는 영상 패딩부(121a), 세포 영역 추출부(121b) 및 3차원 굴절률 패치 샘플링부(121c)를 포함할 수 있다.
영상 패딩부(121a)는 영상의 외곽 영역 값 소실 방지를 위하여 패딩 과정을 수행할 수 있다. 합성곱 신경망의 제로 패딩 효과로 인해 영상의 외각부에 대한 예측 신뢰도가 감소한다. 또한, 패치에 적용되는 커널이 스플라인 함수이기 때문에 영상 외각부의 값이 감쇄된다. 상기 두 현상을 방지하기 위해, 전체 영상에 대해서 패딩을 수행한다. 도 6은 일 실시예에 따른 패딩 과정을 설명하기 위한 도면이다. 도 6에 도시된 바와 같이, 전체 영상에 대해서 외곽에 대해서만 사용되는 패치의 크기의 비례하여 내부 영상의 연속성을 보장하는 방식으로 패딩 할 수 있다. 이 때, 이후에 진행될 패치 샘플링 과정의 패치 크기의 절반만큼 패딩 할 수 있다.
세포 영역 추출부(121b)는 패딩 과정을 거친 패딩된 영상에서 세포 영역을 추출할 수 있다.
3차원 굴절률 패치 샘플링부(121c)는 패딩된 영상의 세포 영역에서 패치를 샘플링하여, 세포의 3차원 굴절률 영상 패치를 생성할 수 있다. 도 7은 일 실시예에 따른 패치 샘플링 과정을 설명하기 위한 도면이다. GPU 메모리의 한계로 인해, 전체 영상을 합성곱 신경망으로 학습 시키는 데는 무리가 있다. 이를 위해 도 7에 도시된 바와 같이, 패딩된 영상에서 패치를 샘플링 할 수 있다. 이 때, 패치 샘플링 간격은 효과적인 제로 패딩 효과 제거 및 앙상블 효과를 도모하기 위해 패치 크기의 절반으로 할 수 있다.
도 8은 일 실시예에 따른 딥러닝 알고리즘을 기반으로 한 3차원 굴절률과 분자 염색 패치 전환부를 설명하기 위한 도면이다.
도 8을 참조하면, 상술한 방법을 이용하여 세포들의 굴절률 영상을 측정하고, 관찰한 세포의 3차원 굴절률 영상 패치를 생성할 수 있다. 이 때, 각 패치는 학습된 딥러닝 모델을 이용하여 분자 표지 영상으로 변환될 수 있다.
보다 구체적으로, 3차원 굴절률과 분자 염색 패치 전환부(122)는 각 세포의 3차원 굴절률 영상 패치를 3차원 굴절률 정보를 기반으로 하는 학습된 합성곱 신경망(CNN)을 이용하여 3차원 분자 염색 영상 패치(103a)로 변환할 수 있다. 이 때 딥러닝 알고리즘에 입력되는 정보는 각 세포들의 3차원 굴절률 정보이며, 이를 통해 결과로 나오는 변환 값은 들어온 패치에 대응하는 분자 표지 3차원 영상 정보가 된다.
도 9는 일 실시예에 따른 각 표지 정보에 맞는 변환 모델을 가져가는 방식을 설명하기 위한 도면이다. 그리고 도 10은 일 실시예에 따른 여러 분자 표지 정보를 한번에 도출하는 방식을 설명하기 위한 도면이다.
특히, 변환 모델은 분자 표지 정보가 하나 이상일 때, 도 9에 도시된 바와 같이, 각 표지 정보에 맞는 변환 모델을 가져가는 방식과, 도 10에 도시된 바와 같이, 하나의 딥러닝 모델로 여러 분자 표지 정보를 한번에 도출하는 방식을 모두 지원할 수 있다.
도 11은 일 실시예에 따른 딥러닝 기반 모델을 설명할 수 있다. 그리고 도 12는 일 실시예에 따른 3차원 굴절률 영상 패치를 설명하기 위한 도면이다.
도 11을 참조하면, 3차원 굴절률과 분자 염색 영상 전환 모델(122a)은 측정된 3차원 굴절률 정보를 기반으로 딥러닝 알고리즘을 이용할 수 있다. 이 때 신경망 알고리즘, 즉 딥러닝 알고리즘에 입력되는 정보는 각 3차원 굴절률 영상 패치이며, 이를 통해 결과로 나오는 정보는 예측치는 3차원 분자 염색 패치 정보이다. 안정적인 예측 성능을 유지하기 위해 하나 이상의 딥러닝 알고리즘 기반의 3차원 굴절률과 분자 염색 영상 전환 모델(122a)을 학습하고, 그 결과를 확률 기반 융합부에서 통계적으로 융합하여 3차원 분자 염색 패치 및 3차원 분자 염색 패치 불확도를 확인할 수 있다.
도 12에 도시된 바와 같이, 본 실시예에서 사용된 모델은 단순히 변환 값만을 기반으로 하지 않고 여러 모델에서 오는 값들을 기반으로 데이터 부족 및 모델 성능 부족에서 오는 불확도를 같이 보여줌으로써 더 정확한 변환 값을 보여줄 수 있다.
도 13은 일 실시예에 따른 변환된 영상 패치의 예를 나타내는 도면이다.
도 13을 참조하면, 상술한 과정을 통해 변환된 영상 패치의 예를 나타내며, 보다 구체적으로 3차원 굴절률 영상 패치로부터 3차원 분자 염색 영상 패치(103a)로 변환되는 영상의 예를 나타낸다.
도 14는 일 실시예에 따른 3차원 분자 염색 영상 패치들의 병합을 설명하기 위한 도면이다.
도 14에 도시된 바와 같이, 분자 패치 결합부(123)는 변환된 3차원 분자 염색 영상 패치들(103a)은 하나의 영상으로 병합할 수 있다. 이 때, 중복되는 영역에 대해서는 재구성된 영상의 연속성을 보장하기 위해 패치 중심으로부터의 거리에 따른 선형/비선형 가중치를 곱하여 더해주게 된다.
도 15는 일 실시예에 따른 패딩 영역 제거를 설명하기 위한 도면이다.
도 15에 도시된 바와 같이, 패딩된 영역을 제거할 수 있다. 이에 따라 최종적으로 하나의 분자 표지에 대한 3차원 영상이 형성될 수 있다.
다시 말하면, 분자 패치 결합부(123)는 중복되는 영역에 대해 재구성된 영상의 연속성을 보장하기 위해 패치 중심으로부터의 거리에 따른 선형 또는 비선형 가중치를 곱하여 더하고, 패딩 영역 제거 후 최종적으로 하나의 분자 표지에 대한 세포의 3차원 분자 염색 세포 영상(103)을 생성할 수 있다.
도 16은 일 실시예에 따른 3차원 굴절률과 분자 염색 영상 전환 모델을 설명하기 위한 도면이다.
도 16을 참조하면, 이미 특정 분자 표지가 확보된 세포에 대응하는 3차원 굴절률 영상을 측정할 수 있다. 이때 각 분자 표지 별로 많은 수(>50)의 샘플을 측정한 뒤 딥러닝 알고리즘을 이용하여 변환 모델을 구축할 수 있다.
다시 말하면, 3차원 굴절률과 분자 염색 영상 전환 모델 생성부(124)는 평가 데이터 셋 및 학습 데이터 셋을 이용하여 각 분자 표지 별로 기설정된 수 이상의 샘플을 측정한 후, 딥러닝 알고리즘을 이용하여 3차원 굴절률과 분자 염색 영상 전환 모델(122a)을 구축할 수 있다.
이에 따라 3차원 굴절률과 분자 염색 영상 전환부(120)는 3차원 굴절률과 분자 염색 영상 전환 모델(122a)을 통해 특정 분자 표지가 확보된 세포에 대응하는 3차원 굴절률 영상을 측정하여 세포의 3차원 분자 염색 세포 영상(103)을 생성할 수 있다.
도 17은 일 실시예에 따른 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법을 설명하기 위한 흐름도이다.
도 17을 참조하면, 일 실시예에 따른 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법은, 관찰하고자 하는 세포에 대해 3차원 굴절률 영상을 측정하는 단계(S110), 및 3차원 굴절률 영상의 측정 값을 딥러닝(deep learning) 알고리즘에 입력하여 세포의 3차원 분자 염색 세포 영상을 출력하는 단계(S120)를 포함하여 이루어질 수 있다.
또한, 단계(S120)에서, 세포의 3차원 분자 염색 세포 영상을 출력하기 이전에, 각 분자 표지 별로 기설정된 수 이상의 샘플을 측정한 후, 딥러닝 알고리즘을 이용하여 3차원 굴절률과 분자 염색 영상 전환 모델을 구축하는 단계를 포함할 수 있다.
아래에서 일 실시예에 따른 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법의 각 단계에 대해 설명한다.
일 실시예에 따른 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법은 도 1 내지 도 16을 참조하여 상술한 일 실시예에 따른 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 장치(100)를 이용하여 보다 구체적으로 설명할 수 있다.
단계(S110)에서, 3차원 굴절률 세포 영상 측정부(110)는 관찰하고자 하는 세포에 대해 3차원 굴절률 영상을 측정할 수 있다. 예를 들어, 3차원 굴절률 세포 영상 측정부(110)는 슬라이드 위에 관찰하고자 하는 세포가 놓여 있거나 도말된 형태로 3차원 굴절률 영상을 촬영할 수 있다.
단계(S120)에서, 3차원 굴절률과 분자 염색 영상 전환부(120)는 3차원 굴절률 영상의 측정 값을 딥러닝 알고리즘에 입력하여 세포의 3차원 분자 염색 세포 영상을 출력할 수 있다.
이러한 3차원 굴절률과 분자 염색 영상 전환부(120)는 세포의 3차원 굴절률 영상 패치를 생성하고, 딥러닝 알고리즘에 기반하여 3차원 굴절률 영상 패치를 3차원 분자 염색 영상 패치로 변환한 다음, 변환된 3차원 분자 염색 영상 패치들은 하나의 영상으로 병합할 수 있다.
또한, 세포의 3차원 분자 염색 세포 영상을 출력하기 이전에, 각 분자 표지 별로 기설정된 수 이상의 샘플을 측정한 후, 딥러닝 알고리즘을 이용하여 3차원 굴절률과 분자 염색 영상 전환 모델(122a)을 구축할 수 있다. 이에 따라 3차원 굴절률과 분자 염색 영상 전환 모델(122a)을 통해 특정 분자 표지가 확보된 세포에 대응하는 3차원 굴절률 영상을 측정하여 세포의 3차원 분자 염색 세포 영상을 생성할 수 있다.
한편, 일 실시예에 따른 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법은 앞에서 설명한 일 실시예에 따른 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 장치(100)의 설명과 중복되므로 중복되는 설명은 생략하기로 한다.
이상과 같이, 실시예들을 통하여 염색이나 표지 등의 과정 없이 세포의 3차원 굴절률 측정과 딥러닝 알고리즘을 사용하여 분자 현미경 영상을 신속하게 생성하는 방법을 제공할 수 있다. 실시예들은 염색 및 표지를 사용하지 않고 세포의 형태학적 특징을 추출뿐 아니라 물리/화학적 특성을 추출할 수 있어 신속하고 세포에 영향 없는 분석이 가능하다. 또한, 염색 및 표지의 비 일관성에 의한 영향을 받지 않으므로 일관적이고 안정적인 분석 정보의 추출이 가능하다. 이를 통하여 기존에 관찰하지 못한 정보의 도출이 가능하다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (10)
- 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 장치에 있어서,
관찰하고자 하는 세포에 대해 3차원 굴절률 영상을 측정하는 3차원 굴절률 세포 영상 측정부; 및
상기 3차원 굴절률 영상의 측정 값을 딥러닝(deep learning) 알고리즘에 입력하여 세포의 3차원 분자 염색 세포 영상을 출력하는 3차원 굴절률과 분자 염색 영상 전환부
를 포함하고,
상기 3차원 굴절률과 분자 염색 영상 전환부는,
상기 세포의 3차원 굴절률 영상 패치를 생성하는 3차원 패치 추출부;
상기 딥러닝 알고리즘에 기반하여 상기 3차원 굴절률 영상 패치를 3차원 분자 표지 영상 패치로 변환하는 3차원 굴절률과 분자 염색 패치 전환부; 및
변환된 상기 3차원 분자 표지 영상 패치들은 하나의 영상으로 병합하는 분자 패치 결합부
를 포함하며,
상기 분자 패치 결합부는,
중복되는 영역에 대해 재구성된 영상의 연속성을 보장하기 위해 패치 중심으로부터의 거리에 따른 선형 또는 비선형 가중치를 곱하여 더하고, 패딩 영역 제거 후 최종적으로 하나의 분자 표지에 대한 상기 세포의 3차원 분자 염색 세포 영상을 생성하는 것
을 특징으로 하는, 3차원 분자 영상 생성 장치. - 제1항에 있어서,
상기 3차원 굴절률 세포 영상 측정부는,
슬라이드 위에 관찰하고자 하는 상기 세포가 놓여 있거나 도말된 형태로 상기 3차원 굴절률 영상을 촬영하는 것
을 특징으로 하는, 3차원 분자 영상 생성 장치. - 제1항에 있어서,
상기 3차원 굴절률 세포 영상 측정부는,
한번에 촬영할 수 있는 영역보다 상기 세포의 관찰 영역이 클 경우, 한번에 촬영 가능한 3차원 굴절률 영상을 촬영하는 3차원 영상 패치 촬영부; 및
한번에 촬영된 상기 3차원 굴절률 영상을 연결하여 3차원 굴절률 슬라이드 이미지를 생성하는 영상 패치 결합부
를 포함하는, 3차원 분자 영상 생성 장치. - 삭제
- 제1항에 있어서,
상기 3차원 패치 추출부는,
영상의 외곽 영역 값 소실 방지를 위하여 패딩 과정을 수행하는 영상 패딩부;
상기 패딩 과정을 거친 패딩된 영상에서 세포 영역을 추출하는 세포 영역 추출부; 및
상기 패딩된 영상의 세포 영역에서 패치를 샘플링하여, 상기 세포의 3차원 굴절률 영상 패치를 생성하는 3차원 굴절률 패치 샘플링부
를 포함하는, 3차원 분자 영상 생성 장치. - 제1항에 있어서,
상기 3차원 굴절률과 분자 염색 패치 전환부는,
각 상기 세포의 3차원 굴절률 영상 패치를 3차원 굴절률 정보를 기반으로 학습된 합성곱 신경망(Convolutional Neural Network, CNN)을 이용하여 상기 3차원 분자 표지 영상 패치로 변환하는 것
을 특징으로 하는, 3차원 분자 영상 생성 장치. - 삭제
- 제1항에 있어서,
상기 3차원 굴절률과 분자 염색 영상 전환부는,
각 분자 표지 별로 기설정된 수 이상의 샘플을 측정한 후, 상기 딥러닝 알고리즘을 이용하여 상기 3차원 굴절률과 분자 염색 영상 전환 모델을 구축하는 상기 3차원 굴절률과 분자 염색 영상 전환 모델 생성부
를 포함하고,
상기 3차원 굴절률과 분자 염색 영상 전환 모델을 통해 특정 분자 표지가 확보된 세포에 대응하는 3차원 굴절률 영상을 측정하여 상기 세포의 3차원 분자 염색 세포 영상을 생성하는 것
을 특징으로 하는, 3차원 분자 영상 생성 장치. - 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 장치에 의해 수행되는 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법에 있어서,
3차원 굴절률 세포 영상 측정부는 관찰하고자 하는 세포에 대해 3차원 굴절률 영상을 측정하는 단계; 및
3차원 굴절률과 분자 염색 영상 전환부는 상기 3차원 굴절률 영상의 측정 값을 딥러닝(deep learning) 알고리즘에 입력하여 세포의 3차원 분자 염색 세포 영상을 출력하는 단계
를 포함하고,
상기 세포의 3차원 분자 염색 세포 영상을 출력하는 단계는,
상기 3차원 굴절률과 분자 염색 영상 전환부의 3차원 패치 추출부는 상기 세포의 3차원 굴절률 영상 패치를 생성하고, 분자 염색 패치 전환부는 상기 딥러닝 알고리즘에 기반하여 상기 3차원 굴절률 영상 패치를 3차원 분자 표지 영상 패치로 변환하며, 분자 패치 결합부는 변환된 상기 3차원 분자 표지 영상 패치들은 하나의 영상으로 병합하며,
상기 분자 패치 결합부는 중복되는 영역에 대해 재구성된 영상의 연속성을 보장하기 위해 패치 중심으로부터의 거리에 따른 선형 또는 비선형 가중치를 곱하여 더하고, 패딩 영역 제거 후 최종적으로 하나의 분자 표지에 대한 상기 세포의 3차원 분자 염색 세포 영상을 생성하는 것
을 특징으로 하는, 3차원 분자 영상 생성 방법. - 제9항에 있어서,
상기 세포의 3차원 분자 염색 세포 영상을 출력하는 단계는,
각 분자 표지 별로 기설정된 수 이상의 샘플을 측정한 후, 상기 딥러닝 알고리즘을 이용하여 상기 3차원 굴절률과 분자 염색 영상 전환 모델을 구축하는 단계
를 포함하고,
상기 3차원 굴절률과 분자 염색 영상 전환 모델을 통해 특정 분자 표지가 확보된 세포에 대응하는 3차원 굴절률 영상을 측정하여 상기 세포의 3차원 분자 염색 세포 영상을 생성하는 것
을 특징으로 하는, 3차원 분자 영상 생성 방법.
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190139992A KR102302333B1 (ko) | 2019-11-05 | 2019-11-05 | 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법 및 장치 |
| PCT/KR2020/002979 WO2021091027A1 (ko) | 2019-11-05 | 2020-03-03 | 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법 및 장치 |
| EP20163081.1A EP3819874A1 (en) | 2019-11-05 | 2020-03-13 | Method and apparatus for generating 3-d molecular image based on label-free method using 3-d refractive index image and deep learning |
| US16/823,453 US11450062B2 (en) | 2019-11-05 | 2020-03-19 | Method and apparatus for generating 3-D molecular image based on label-free method using 3-D refractive index image and deep learning |
| JP2020049395A JP7122769B2 (ja) | 2019-11-05 | 2020-03-19 | ３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成方法および装置 |
| CN202010221423.1A CN112782165A (zh) | 2019-11-05 | 2020-03-26 | 三维分子影像生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190139992A KR102302333B1 (ko) | 2019-11-05 | 2019-11-05 | 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210054183A KR20210054183A (ko) | 2021-05-13 |
| KR102302333B1 true KR102302333B1 (ko) | 2021-09-16 |
Family
ID=69844543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190139992A KR102302333B1 (ko) | 2019-11-05 | 2019-11-05 | 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법 및 장치 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11450062B2 (ko) |
| EP (1) | EP3819874A1 (ko) |
| JP (1) | JP7122769B2 (ko) |
| KR (1) | KR102302333B1 (ko) |
| CN (1) | CN112782165A (ko) |
| WO (1) | WO2021091027A1 (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114359899B (zh) * | 2021-12-09 | 2022-09-20 | 首都医科大学附属北京天坛医院 | 细胞共培养模型及细胞模型构建方法、计算机设备及存储介质 |
| FR3131417A1 (fr) * | 2021-12-28 | 2023-06-30 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Correction d'artefacts de reconstructions tomographiques par reseaux de neurones |
| WO2023175862A1 (ja) * | 2022-03-17 | 2023-09-21 | 株式会社エビデント | 屈折率分布生成装置、屈折率分布生成方法、屈折率分布生成システム及び記録媒体 |
| WO2023175860A1 (ja) * | 2022-03-17 | 2023-09-21 | 株式会社エビデント | 標本画像生成装置、標本画像生成方法、標本画像生成システム及び記録媒体 |
| KR102659201B1 (ko) * | 2022-05-30 | 2024-04-22 | 주식회사 토모큐브 | Ai 기술 기반의 3차원 굴절률 현미경 영상 분해능 개선 시스템 및 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101977067B1 (ko) * | 2018-08-24 | 2019-05-10 | 주식회사 뷰노 | 심층 신경망 기반 특징 추출을 통하여 진단 맵을 재구축하는 방법 및 이를 이용한 장치 |
| WO2019191697A1 (en) * | 2018-03-30 | 2019-10-03 | The Regents Of The University Of California | Method and system for digital staining of label-free fluorescence images using deep learning |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09281405A (ja) * | 1996-04-17 | 1997-10-31 | Olympus Optical Co Ltd | 顕微鏡システム |
| IL127359A0 (en) | 1998-12-01 | 1999-10-28 | Yeda Res & Dev | Computerized adaptive imaging |
| US6522775B2 (en) * | 2001-03-28 | 2003-02-18 | Alan C. Nelson | Apparatus and method for imaging small objects in a flow stream using optical tomography |
| CN1231786C (zh) * | 2003-06-03 | 2005-12-14 | 暨南大学 | 可产生三维立体图像的光学空间滤波方法 |
| JP4937850B2 (ja) | 2007-07-03 | 2012-05-23 | オリンパス株式会社 | 顕微鏡システム、そのｖｓ画像生成方法、プログラム |
| CN102667473B (zh) | 2009-10-12 | 2016-06-08 | 文塔纳医疗系统公司 | 用于组织的增强的病理学测定和多分析物检测的多模态对比和明场背景再现 |
| EP2998776A1 (en) | 2014-09-22 | 2016-03-23 | Nanolive SA | Tomographic phase microscope |
| KR101865624B1 (ko) * | 2016-06-10 | 2018-06-11 | 주식회사 토모큐브 | 파면 제어기를 이용한 초고속 3차원 굴절률 영상 촬영 및 형광 구조화 조도 현미경 시스템 및 이를 이용한 방법 |
| KR101927852B1 (ko) * | 2016-06-10 | 2018-12-13 | 주식회사 토모큐브 | 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법 및 장치 |
| US10990797B2 (en) * | 2016-06-13 | 2021-04-27 | Nanolive Sa | Method of characterizing and imaging microscopic objects |
| JP6887154B2 (ja) | 2017-06-08 | 2021-06-16 | 国立大学法人 筑波大学 | 画像処理システム、評価モデル構築方法、画像処理方法及びプログラム |
| US11600058B2 (en) | 2017-07-11 | 2023-03-07 | Siemens Healthcare Diagnostics Inc. | Methods and systems for learning-based image edge enhancement of sample tube top circles |
| CA3213179A1 (en) * | 2017-08-09 | 2019-02-14 | Allen Institute | Systems, devices, and methods for image processing to generate an image having predictive tagging |
| JP6901072B2 (ja) | 2017-08-30 | 2021-07-14 | 学校法人 埼玉医科大学 | 画像処理装置、画像処理方法、画像処理プログラム |
| CN111095360B (zh) | 2017-09-19 | 2023-09-05 | 美国西门子医学诊断股份有限公司 | 使用通用对抗网络对数字全息显微术图像中的细胞的虚拟染色 |
| JP2019135939A (ja) * | 2018-02-07 | 2019-08-22 | 澁谷工業株式会社 | 細胞カウント方法および細胞カウント装置ならびに細胞培養方法 |
| SG11202009109RA (en) * | 2018-03-20 | 2020-10-29 | Lumacyte LLC | Advanced biophysical and biochemical cellular monitoring and quantification using laser force cytology |
| US11392830B2 (en) * | 2018-04-13 | 2022-07-19 | The Regents Of The University Of California | Devices and methods employing optical-based machine learning using diffractive deep neural networks |
| JP7470339B2 (ja) | 2019-03-06 | 2024-04-18 | 学校法人 埼玉医科大学 | 染色画像推定器学習装置、画像処理装置、染色画像推定器学習方法、画像処理方法、染色画像推定器学習プログラム、及び、画像処理プログラム |
| CN109884018B (zh) * | 2019-03-22 | 2020-09-18 | 华中科技大学 | 一种基于神经网络的亚微米级无透镜显微成像方法及系统 |
| CN110378473B (zh) * | 2019-07-26 | 2021-12-21 | 清华大学 | 基于深度学习和随机图案的相位层析方法及装置 |
-
2019
- 2019-11-05 KR KR1020190139992A patent/KR102302333B1/ko active IP Right Grant
-
2020
- 2020-03-03 WO PCT/KR2020/002979 patent/WO2021091027A1/ko active Application Filing
- 2020-03-13 EP EP20163081.1A patent/EP3819874A1/en not_active Ceased
- 2020-03-19 US US16/823,453 patent/US11450062B2/en active Active
- 2020-03-19 JP JP2020049395A patent/JP7122769B2/ja active Active
- 2020-03-26 CN CN202010221423.1A patent/CN112782165A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019191697A1 (en) * | 2018-03-30 | 2019-10-03 | The Regents Of The University Of California | Method and system for digital staining of label-free fluorescence images using deep learning |
| KR101977067B1 (ko) * | 2018-08-24 | 2019-05-10 | 주식회사 뷰노 | 심층 신경망 기반 특징 추출을 통하여 진단 맵을 재구축하는 방법 및 이를 이용한 장치 |
Non-Patent Citations (1)
| Title |
|---|
| GEON KIM et al., "Rapid and label-free identification of individual bacterial pathogens exploiting threedimensional quantitative phase imaging and deep learning", bioRXiv(2019.04.03.)* |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021091027A1 (ko) | 2021-05-14 |
| US20210134054A1 (en) | 2021-05-06 |
| US11450062B2 (en) | 2022-09-20 |
| JP2021076575A (ja) | 2021-05-20 |
| JP7122769B2 (ja) | 2022-08-22 |
| CN112782165A (zh) | 2021-05-11 |
| EP3819874A1 (en) | 2021-05-12 |
| KR20210054183A (ko) | 2021-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102302333B1 (ko) | 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법 및 장치 | |
| Stelzer et al. | Light sheet fluorescence microscopy | |
| Horstmeyer et al. | Diffraction tomography with Fourier ptychography | |
| Horstmeyer et al. | Standardizing the resolution claims for coherent microscopy | |
| Moon et al. | Cell identification computational 3-D holographic microscopy | |
| Ferdman et al. | VIPR: vectorial implementation of phase retrieval for fast and accurate microscopic pixel-wise pupil estimation | |
| Williams et al. | Fresnel coherent diffractive imaging: treatment and analysis of data | |
| Sandmeyer et al. | DMD-based super-resolution structured illumination microscopy visualizes live cell dynamics at high speed and low cost | |
| US20220383562A1 (en) | Method and device for regularizing rapid three-dimensional tomographic imaging using machine-learning algorithm | |
| KR102280764B1 (ko) | 3차원 정량 위상 영상 측정과 딥러닝을 이용한 신속 비표지 혈액암 진단 방법 및 장치 | |
| Bostan et al. | Phase retrieval by using transport-of-intensity equation and differential interference contrast microscopy | |
| Schmied et al. | Open-source solutions for SPIMage processing | |
| Astratov et al. | Roadmap on Label‐Free Super‐Resolution Imaging | |
| KR101875515B1 (ko) | 디지털 마이크로미러 소자를 활용한 구조 입사 3차원 굴절률 토모그래피 장치 및 방법 | |
| Abbessi et al. | Multimodal image reconstruction from tomographic diffraction microscopy data | |
| Kim et al. | Three-dimensional wide-field pump-probe structured illumination microscopy | |
| Reilly et al. | Advances in confocal microscopy and selected applications | |
| Ye et al. | Modular scanning confocal microscope with digital image processing | |
| Sekiguchi et al. | A protocol for searching the most probable phase-retrieved maps in coherent X-ray diffraction imaging by exploiting the relationship between convergence of the retrieved phase and success of calculation | |
| Maire et al. | Experimental inversion of optical diffraction tomography data with a nonlinear algorithm in the multiple scattering regime | |
| Kuś et al. | Advances in design and testing of limited angle optical diffraction tomographysystem for biological applications | |
| Drobczynski et al. | Spectral analysis by a video camera in a holographic optical tweezers setup | |
| Pankajakshan et al. | Deconvolution and denoising for confocal microscopy | |
| Wouterlood et al. | Translation, touch, and overlap in multi-fluorescence confocal laser scanning microscopy to quantitate synaptic connectivity | |
| Wei et al. | Deep-learning-based cross-modality translation from Stokes image to bright-field contrast |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |