KR20210117796A - 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 방법 및 장치 - Google Patents
3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 방법 및 장치 Download PDFInfo
- Publication number
- KR20210117796A KR20210117796A KR1020200034536A KR20200034536A KR20210117796A KR 20210117796 A KR20210117796 A KR 20210117796A KR 1020200034536 A KR1020200034536 A KR 1020200034536A KR 20200034536 A KR20200034536 A KR 20200034536A KR 20210117796 A KR20210117796 A KR 20210117796A
- Authority
- KR
- South Korea
- Prior art keywords
- refractive index
- cells
- index image
- cell
- dimensional
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000010801 machine learning Methods 0.000 title description 13
- 238000013135 deep learning Methods 0.000 claims abstract description 50
- 210000004027 cell Anatomy 0.000 claims description 174
- 210000001744 T-lymphocyte Anatomy 0.000 claims description 124
- 102100021260 Galactosylgalactosylxylosylprotein 3-beta-glucuronosyltransferase 1 Human genes 0.000 claims description 36
- 101000894906 Homo sapiens Galactosylgalactosylxylosylprotein 3-beta-glucuronosyltransferase 1 Proteins 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 35
- 230000000877 morphologic effect Effects 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 23
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 102000004169 proteins and genes Human genes 0.000 claims description 17
- 108090000623 proteins and genes Proteins 0.000 claims description 17
- 238000007619 statistical method Methods 0.000 claims description 11
- 238000009877 rendering Methods 0.000 claims description 10
- 238000010200 validation analysis Methods 0.000 claims description 8
- 238000003325 tomography Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 19
- 239000003550 marker Substances 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 34
- 239000000523 sample Substances 0.000 description 17
- 238000012360 testing method Methods 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 15
- 210000002865 immune cell Anatomy 0.000 description 12
- 238000002372 labelling Methods 0.000 description 12
- 238000011002 quantification Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 238000009826 distribution Methods 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000010186 staining Methods 0.000 description 7
- 238000012706 support-vector machine Methods 0.000 description 7
- 230000004069 differentiation Effects 0.000 description 6
- 239000010410 layer Substances 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 102100036301 C-C chemokine receptor type 7 Human genes 0.000 description 3
- 208000035473 Communicable disease Diseases 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 101000716065 Homo sapiens C-C chemokine receptor type 7 Proteins 0.000 description 3
- 238000001069 Raman spectroscopy Methods 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 238000000339 bright-field microscopy Methods 0.000 description 3
- 238000004163 cytometry Methods 0.000 description 3
- 238000000432 density-gradient centrifugation Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001943 fluorescence-activated cell sorting Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000000987 immune system Anatomy 0.000 description 3
- 238000003018 immunoassay Methods 0.000 description 3
- 210000003819 peripheral blood mononuclear cell Anatomy 0.000 description 3
- 238000002135 phase contrast microscopy Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013517 stratification Methods 0.000 description 3
- 230000002195 synergetic effect Effects 0.000 description 3
- 241000193738 Bacillus anthracis Species 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000000427 antigen Substances 0.000 description 2
- 102000036639 antigens Human genes 0.000 description 2
- 108091007433 antigens Proteins 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000004970 cd4 cell Anatomy 0.000 description 2
- 230000003915 cell function Effects 0.000 description 2
- 238000012258 culturing Methods 0.000 description 2
- BFMYDTVEBKDAKJ-UHFFFAOYSA-L disodium;(2',7'-dibromo-3',6'-dioxido-3-oxospiro[2-benzofuran-1,9'-xanthene]-4'-yl)mercury;hydrate Chemical compound O.[Na+].[Na+].O1C(=O)C2=CC=CC=C2C21C1=CC(Br)=C([O-])C([Hg])=C1OC1=C2C=C(Br)C([O-])=C1 BFMYDTVEBKDAKJ-UHFFFAOYSA-L 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 239000012636 effector Substances 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000684 flow cytometry Methods 0.000 description 2
- 201000005787 hematologic cancer Diseases 0.000 description 2
- 208000024200 hematopoietic and lymphoid system neoplasm Diseases 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000028993 immune response Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 150000002632 lipids Chemical class 0.000 description 2
- 210000004698 lymphocyte Anatomy 0.000 description 2
- 210000003071 memory t lymphocyte Anatomy 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- YXHLJMWYDTXDHS-IRFLANFNSA-N 7-aminoactinomycin D Chemical compound C[C@H]1OC(=O)[C@H](C(C)C)N(C)C(=O)CN(C)C(=O)[C@@H]2CCCN2C(=O)[C@@H](C(C)C)NC(=O)[C@H]1NC(=O)C1=C(N)C(=O)C(C)=C2OC(C(C)=C(N)C=C3C(=O)N[C@@H]4C(=O)N[C@@H](C(N5CCC[C@H]5C(=O)N(C)CC(=O)N(C)[C@@H](C(C)C)C(=O)O[C@@H]4C)=O)C(C)C)=C3N=C21 YXHLJMWYDTXDHS-IRFLANFNSA-N 0.000 description 1
- 108700012813 7-aminoactinomycin D Proteins 0.000 description 1
- 206010000830 Acute leukaemia Diseases 0.000 description 1
- 229920001917 Ficoll Polymers 0.000 description 1
- 206010025323 Lymphomas Diseases 0.000 description 1
- 238000000692 Student's t-test Methods 0.000 description 1
- 210000000662 T-lymphocyte subset Anatomy 0.000 description 1
- 229940127174 UCHT1 Drugs 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 239000003242 anti bacterial agent Substances 0.000 description 1
- 229940088710 antibiotic agent Drugs 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 238000002619 cancer immunotherapy Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000032677 cell aging Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 210000003162 effector t lymphocyte Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000001900 immune effect Effects 0.000 description 1
- 238000009169 immunotherapy Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 208000032839 leukemia Diseases 0.000 description 1
- 210000000265 leukocyte Anatomy 0.000 description 1
- 239000002122 magnetic nanoparticle Substances 0.000 description 1
- 238000004949 mass spectrometry Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 102000039446 nucleic acids Human genes 0.000 description 1
- 108020004707 nucleic acids Proteins 0.000 description 1
- 150000007523 nucleic acids Chemical class 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 244000052769 pathogen Species 0.000 description 1
- 230000001991 pathophysiological effect Effects 0.000 description 1
- 210000005259 peripheral blood Anatomy 0.000 description 1
- 239000011886 peripheral blood Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009758 senescence Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 210000000130 stem cell Anatomy 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B45/00—ICT specially adapted for bioinformatics-related data visualisation, e.g. displaying of maps or networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J9/00—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength
- G01J9/02—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength by interferometric methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B20/00—ICT specially adapted for functional genomics or proteomics, e.g. genotype-phenotype associations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J9/00—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength
- G01J9/02—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength by interferometric methods
- G01J2009/028—Types
- G01J2009/0288—Machzehnder
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biotechnology (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Genetics & Genomics (AREA)
- Proteomics, Peptides & Aminoacids (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
Abstract
3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 방법 및 장치가 제시된다. 일 실시예에 따른 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 방법은, 비표지 세포의 3차원 굴절률 영상을 획득하는 단계; 및 상기 3차원 굴절률 영상을 딥러닝 알고리즘에 입력하여 세포 유형을 분류하는 단계를 포함하고, 상기 3차원 굴절률 영상과 상기 딥러닝 알고리즘을 이용하여 단일 세포 레벨에서 세포의 비표지 세포 분류를 수행할 수 있다.
Description
아래의 실시예들은 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 방법 및 장치에 관한 것이다.
인간의 면역 체계 내에서 T 세포(cell)는 대부분의 병원균이 숙주 면역 체계에서 빠르게 제거되기 때문에 이질적인 항원에 대한 면역 반응을 이끌어내는 데 결정적인 역할을 한다. 급성 감염 시에는 
T 세포가 활성화되어 1~2주 동안 확장하는 이펙터(effector) T 세포로 분화된다. 항원이 이펙터의 팽창이 최고조에 달할 때 제거되면 활성화된 T 세포의 대부분이 죽고, 서브셋(subset)이 지속되어 메모리 T 세포로 전환된다. 반복적인 면역 반응은 T 세포의 노화를 유발하는 것으로 나타났다. 최근에는 CAR-T 면역 종양학의 발전과 적용이 T 세포의 MHC 결합 특징을 변조하여 암 치료의 새로운 방법을 마련하였다. 따라서 T 세포의 역할 및 면역체계와 세포 노화의 상관관계를 이해하기 위해서는 
, 이펙터, 메모리, 노화/비노화 T 세포를 포함한 다양한 T 세포 서브셋을 분리하여 정확하게 식별해야 한다.
그러한 면역세포를 연구하는 현재의 금본위제(gold standard)는 세포 표면에 표현된 분화 클러스터(CD) 표지를 이용한다. 이러한 분화 클러스터(CD) 마커는 형광체(또는 자기 나노입자) - 결합된 항체를 사용하여 지정할 수 있으며, 각 유형의 세포는 유동 세포 측정학에 의해 구별된다. 유세포(flow cytometric) 면역 평가의 광범위한 사용에도 불구하고, 실제로 정확하고 쉬운 면역 평가에는 몇 가지 장애물이 있다.
첫째로, 면역세포 표면에 항체가 결합하면 세포 기능과 발현 유형이 변경되어 T 세포에 대한 정확한 평가를 잠재적으로 방해할 수 있다. 더욱이 항체 염색(staining) 과정과 유세포 분석과 관련한 표준화 문제는 여전히 남아 있다. 다양한 분화 클러스터(CD) 마커에 대해서는 멀티플렉싱이 가능하지만, 이것은 기술적으로 어렵고 시간이 많이 소요되는 다양한 처리 단계가 필요하다. 또한, 일관된 염색(staining) 및 적절한 게이팅(gating) 전략을 위해서는 충분한 경험이 필요하다. 더욱이 항체 라벨링은 모든 종류의 세포에 항상 사용 가능한 것은 아니다.
이 라벨 표시 문제를 피하는 간단한 방법 중 하나는 샘플의 내생 생물학적 및 형태학적 대비를 이용하는 비표지(label-free) 이미징 방법을 사용하는 것이다. 예를 들어, 라만(Raman) 스펙트럼 분석은 라만(Raman) 샘플의 비탄성 라만(Raman) 산란 스펙트럼을 조사하여 다른 화학적 화합물을 시각화한다. 또한, 질량 분광학은 분광 피크 신호를 세포 핑거프린터(fingerprint)로 사용하므로 개별 세포의 특징을 파악할 수 있다. 그러나 이러한 이미징 양식은 정교한 시스템 분류와 비교적 긴 데이터 수집 시간을 가진 복잡한 기구를 필요로 한다.
비표지 이미징의 또 다른 범주는 시료에 의해 유도된 광 경로 길이 지연을 측정하여 세포 형태학을 제공하는 정량적 위상 이미징(Quantitative Phase Imaging, QPI)이다. 비교적 간단한 설정을 활용한 정량적 프로빙(probing) 능력 때문에 정량적 위상 이미징(QPI)은 전염병, 혈액학, 세포생물학, 지질정량화 등 다양한 생물학적 샘플의 특징과 식별에 이용되어 왔다. 2D 정량적 위상 이미징(QPI) 및 분류 재구성을 위하여 기계 학습을 사용한 시너지 접근 방식은 이전에 보고된 바 있다. 그러나, 이러한 시도들은 3차원(3D) 정량적 위상 이미징(QPI)의 높은 복잡도 데이터와 그러한 데이터를 처리하는 딥러닝 능력을 충분히 활용하지 못했다.
Lewis, J. & Speers, T. Misleading media reporting? The MMR story. Nature Reviews Immunology. 2003 2003/11/01; Sect. 913-918.
실시예들은 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 방법 및 장치에 관하여 기술하며, 보다 구체적으로 3D 굴절률 영상과 딥러닝을 이용하여 단일 세포 레벨에서 인간의 T 세포의 비표지 세포 분류하는 기술을 제공한다.
실시예들은 3D 굴절률 영상과 딥러닝을 이용하여 면역세포를 빠르게 계층화하고 어떠한 라벨링도 하지 않고 면역세포의 다양한 특징과 역학을 연구할 수 있는 기회를 제공함으로써, 관련 시간, 비용 및 노동력을 절약할 수 있는, 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 방법 및 장치를 제공하는데 있다.
일 실시예에 따른 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 방법은, 비표지 세포의 3차원 굴절률 영상을 획득하는 단계; 및 상기 3차원 굴절률 영상을 딥러닝 알고리즘에 입력하여 세포 유형을 분류하는 단계를 포함하고, 상기 3차원 굴절률 영상과 상기 딥러닝 알고리즘을 이용하여 단일 세포 레벨에서 세포의 비표지 세포 분류를 수행할 수 있다.
상기 딥러닝 알고리즘에 입력하여 세포 유형을 분류하기 이전에, 상기 3차원 굴절률 영상을 이미지 처리 및 통계 분석하는 단계를 더 포함하고, 상기 3차원 굴절률 영상을 이미지 처리 및 통계 분석하는 단계는, 상기 3차원 굴절률 영상을 이미지 처리하여 3차원 렌더링 이미지를 구성할 수 있다.
상기 딥러닝 알고리즘에 입력하여 세포 유형을 분류하기 이전에, 상기 3차원 굴절률 영상에서 개별 세포의 정량적 구조와 생화학적 특징을 계산하는 단계를 더 포함하고, 상기 3차원 굴절률 영상에서 개별 세포의 정량적 구조와 생화학적 특징을 계산하는 단계는, 상기 3차원 굴절률 영상에서 형태학 및 생화학적인 매개변수를 계산하여, 세포 부피(CV), 표면적 영역(SA) 및 구형도를 포함한 형태학적 특징과 단백질 밀도(PD) 및 건질량(DM)을 포함한 생화학적 특징을 분석할 수 있다.
상기 비표지 세포의 3차원 굴절률 영상을 획득하는 단계는, 마하젠더(Mach-Zehnder) 간섭 측정 기반 단층 현미경을 사용하여 상기 3차원 굴절률 영상을 촬영할 수 있다.
상기 3차원 굴절률 영상을 딥러닝 알고리즘에 입력하여 세포 유형을 분류하는 단계는, 상기 3차원 굴절률 영상을 3차원 내부 구조를 완전히 이용하는 3차원 콘벌루션 신경망을 사용하여 학습하며, 상기 3차원 콘벌루션 신경망은 단일 굴절률 영상에서 세포 유형을 빠르게 식별할 수 있다.
상기 3차원 굴절률 영상을 딥러닝 알고리즘에 입력하여 세포 유형을 분류하는 단계는, 획득한 상기 3D 굴절률 영상의 데이터 세트를 훈련 데이터 세트 및 유효성 검사 데이터 세트로 하여 분리 후, 3차원 콘벌루션 신경망기반 분류기를 상기 훈련 데이터 세트와 함께 훈련시키고 상기 유효성 검사 데이터 세트에서의 성과를 바탕으로 3차원 콘벌루션 신경망기반 분류기를 선택할 수 있다.
상기 3차원 굴절률 영상을 딥러닝 알고리즘에 입력하여 세포 유형을 분류하는 단계는, 학습된 상기 딥러닝 알고리즘은 인간의 T 세포를 CD57- T 세포, CD57+ T 세포, CD4 T 세포 및 
CD8 T 세포에 기초하여 분류할 수 있다.
다른 실시예에 따른 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 장치는, 비표지 세포의 3차원 굴절률 영상을 획득하는 3차원 굴절률 영상 획득부; 및 상기 3차원 굴절률 영상을 딥러닝 알고리즘에 입력하여 세포 유형을 분류하는 세포 유형 분류부를 포함하고, 상기 3차원 굴절률 영상과 상기 딥러닝 알고리즘을 이용하여 단일 세포 레벨에서 세포의 비표지 세포 분류를 수행할 수 있다.
상기 3차원 굴절률 영상을 이미지 처리 및 통계 분석하는 이미지 처리부를 더 포함하고, 상기 이미지 처리부는, 상기 3차원 굴절률 영상을 이미지 처리하여 3차원 렌더링 이미지를 구성할 수 있다.
상기 3차원 굴절률 영상에서 개별 세포의 정량적 구조와 생화학적 특징을 계산하는 정량적 구조 및 특징 분석부를 더 포함하고, 상기 3차원 굴절률 영상에서 개별 세포의 정량적 구조와 생화학적 특징을 계산하는 단계는, 상기 3차원 굴절률 영상에서 형태학 및 생화학적인 매개변수를 계산하여, 세포 부피(CV), 표면적 영역(SA) 및 구형도를 포함한 형태학적 특징과 단백질 밀도(PD) 및 건질량(DM)을 포함한 생화학적 특징을 분석할 수 있다.
실시예들에 따르면 3D 굴절률 영상과 딥러닝을 이용하여 면역세포를 빠르게 계층화하고 어떠한 라벨링도 하지 않고 면역세포의 다양한 특징과 역학을 연구할 수 있는 기회를 제공함으로써, 관련 시간, 비용 및 노동력을 절약할 수 있는, 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 방법 및 장치를 제공할 수 있다.
실시예들에 따르면 비표지 3D 정량적 위상 이미징(QPI)과 T 세포를 식별하기 위한 딥러닝을 활용하는 시너지 접근 방식은 생물학적 연구와 의학에 적용할 수 있을 뿐만 아니라, 기존의 형광 활성화된 세포 분류 기술, 브라이트(bright) 필드 현미경 또는 위상 대조 현미경에 비해 세포 분류에 있어 강력한 안정성과 성능을 제공할 수 있고, 훈련된 분류기는 밀리 초 이내에 개별 세포의 세포 유형을 식별할 수 있는, 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 방법 및 장치를 제공할 수 있다.
도 1은 일 실시예에 따른 딥러닝 기반 T 세포 분류를 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 3차원 굴절률 영상 촬영 장치를 설명하기 위한 도면이다.
도 3a는 일 실시예에 따른 CD57- T 세포의 3차원 렌더링 이미지와 재구성된 T 세포의 3 가지 투시도를 나타내는 도면이다.
도 3b는 일 실시예에 따른 CD57+ T 세포의 3차원 렌더링 이미지와 재구성된 T 세포의 3 가지 투시도를 나타내는 도면이다.
도 3c는 일 실시예에 따른 CD4 세포의 3차원 렌더링 이미지와 재구성된 T 세포의 3 가지 투시도를 나타내는 도면이다.
도 3d는 일 실시예에 따른
CD8 세포의 3차원 렌더링 이미지와 재구성된 T 세포의 3 가지 투시도를 나타내는 도면이다.
도 4a는 일 실시예에 따른 세포 부피(Cellular Volume, CV)에 대한 통계적 정량화의 예시를 나타내는 도면이다.
도 4b는 일 실시예에 따른 표면적 영역(Surface Area, SA)에 대한 통계적 정량화의 예시를 나타내는 도면이다.
도 4c는 일 실시예에 따른 구형도(Sphericity)에 대한 통계적 정량화의 예시를 나타내는 도면이다.
도 4d는 일 실시예에 따른 단백질 밀도(Protein Density, PD)에 대한 통계적 정량화의 예시를 나타내는 도면이다.
도 4e는 일 실시예에 따른 건질량(Dry Mass, DM)에 대한 통계적 정량화의 예시를 나타내는 도면이다.
도 5a는 일 실시예에 따른 CD57- T 세포, CD57+ T 세포,
CD8 T 세포 및 CD4 T 세포의 4 가지 유형 분류의 훈련 및 테스트에 대한 분류 결과를 나타내는 도면이다.
도 5b는 일 실시예에 따른 메모리 CD8 및
CD8 T 세포의 이진 분류의 훈련 및 테스트에 대한 분류 결과를 나타내는 도면이다.
도 5c는 일 실시예에 따른 CD57- 및 CD57 +의 이진 분류의 훈련 및 테스트에 대한 분류 결과를 나타내는 도면이다.
도 5d는 일 실시예에 따른 t-SNE 시각화를 나타내는 도면이다.
도 6a는 일 실시예에 따른 T 세포 분류기의 전체적인 구조를 나타내는 도면이다.
도 6b는 일 실시예에 따른 채널의 수를 증가시키는 구성을 설명하기 위한 도면이다.
도 6c는 일 실시예에 따른 최종 결정 블록을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 방법을 나타내는 흐름도이다.
도 8은 일 실시예에 따른 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 장치를 나타내는 블록도이다.
도 2는 일 실시예에 따른 3차원 굴절률 영상 촬영 장치를 설명하기 위한 도면이다.
도 3a는 일 실시예에 따른 CD57- T 세포의 3차원 렌더링 이미지와 재구성된 T 세포의 3 가지 투시도를 나타내는 도면이다.
도 3b는 일 실시예에 따른 CD57+ T 세포의 3차원 렌더링 이미지와 재구성된 T 세포의 3 가지 투시도를 나타내는 도면이다.
도 3c는 일 실시예에 따른 CD4 세포의 3차원 렌더링 이미지와 재구성된 T 세포의 3 가지 투시도를 나타내는 도면이다.
도 3d는 일 실시예에 따른
도 4a는 일 실시예에 따른 세포 부피(Cellular Volume, CV)에 대한 통계적 정량화의 예시를 나타내는 도면이다.
도 4b는 일 실시예에 따른 표면적 영역(Surface Area, SA)에 대한 통계적 정량화의 예시를 나타내는 도면이다.
도 4c는 일 실시예에 따른 구형도(Sphericity)에 대한 통계적 정량화의 예시를 나타내는 도면이다.
도 4d는 일 실시예에 따른 단백질 밀도(Protein Density, PD)에 대한 통계적 정량화의 예시를 나타내는 도면이다.
도 4e는 일 실시예에 따른 건질량(Dry Mass, DM)에 대한 통계적 정량화의 예시를 나타내는 도면이다.
도 5a는 일 실시예에 따른 CD57- T 세포, CD57+ T 세포,
도 5b는 일 실시예에 따른 메모리 CD8 및
도 5c는 일 실시예에 따른 CD57- 및 CD57 +의 이진 분류의 훈련 및 테스트에 대한 분류 결과를 나타내는 도면이다.
도 5d는 일 실시예에 따른 t-SNE 시각화를 나타내는 도면이다.
도 6a는 일 실시예에 따른 T 세포 분류기의 전체적인 구조를 나타내는 도면이다.
도 6b는 일 실시예에 따른 채널의 수를 증가시키는 구성을 설명하기 위한 도면이다.
도 6c는 일 실시예에 따른 최종 결정 블록을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 방법을 나타내는 흐름도이다.
도 8은 일 실시예에 따른 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 장치를 나타내는 블록도이다.
이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
현재 면역세포는 인간의 질병에 대한 병리 생리학적 역할을 연구하기 위해 분화 클러스터(Cluster of Differentiation, CD) 표지의 형광물질이나 마그네틱 라벨링을 이용하여 격리되어 있다. 그러나 이러한 라벨 표시 방법은 배양과 염색(staining)이 필요하므로 세포의 신속한 식별을 방해하고 특정 세포에는 사용할 수 없다.
아래에서는 면역세포의 신속하고 라벨이 없는 층화(stratification)에 3차원(3D) 형태학 및 생화학적인 바이오마커(biomarker)를 사용할 수 있도록 제안하고, 3차원 정량적 위상 이미징(Quantitative Phase Imaging, QPI)과 딥러닝을 활용한 비표지(라벨이 없는) 이미징 세포 측정(cytometry) 프레임워크를 실험적으로 보여준다. 각 세포의 굴절률 영상에서 고유한 표현(unique representation)을 배우는 딥러닝 분류기를 만들고 훈련시킬 수 있다. 훈련된 네트워크는 수 밀리 초 이내에 인간의 T 세포를 CD4, CD8, CD45RA, CCR7 및 CD57 표현에 기초하여 분류할 수 있고, 단층사진(tomogram)의 동질한(homogenous) 형태학 및 생화학적 특징에도 불구하고 높은 정확도(>95%)로 밀접한 관련 모집단 밀도(CD57, CD 57+메모리 CD8 T 세포)까지 분류할 수 있다.
도 1은 일 실시예에 따른 딥러닝 기반 T 세포 분류를 설명하기 위한 도면이다.
도 1을 참조하면, 일 실시예에서는 측정된 3차원 굴절률(Refractive Index, RI) 영상(tomogram)의 고차원 데이터 복잡성을 이용하는 발전된 딥러닝 알고리즘을 사용하여 인간의 T 세포의 비표지 세포 분류(cell sorting)를 수행할 수 있다.
CD57- T 세포, CD57+ T 세포, CD4 T 세포 및 
CD8 T 세포의 4 가지 유형에서 ODT를 사용하여 라벨이 없는 개별 세포의 3차원 굴절률 영상을 획득한 후에는 3D 콘벌루션 신경망을 사용하여 학습하며, 이 3D 콘벌루션 신경망은 단일 굴절률 영상에서 샘플의 세포 유형을 빠르게 분류할 수 있다.
도 2는 일 실시예에 따른 3차원 굴절률 영상 촬영 장치를 설명하기 위한 도면이다. 도 2를 참조하면, 3D 굴절률 영상은 마하젠더(Mach-Zehnder) 간섭 측정 기반 단층 현미경을 사용하여 촬영될 수 있으며, T 세포 3차원 굴절률 영상의 3D 내부 구조를 완전히 이용하는 고유한 콘볼루션 신경망을 이용하여 세포 유형을 식별할 수 있다. 일 실시예에 따른 네트워크의 설계는 다양한 비전 관련 과제에 널리 채용되어 온 FishNet, DenseNet 및 SENet을 기반으로 설계할 수 있다. 한편, 일 실시예에 따른 3차원 굴절률 영상 촬영 장치는 아래에서 보다 상세히 설명하기로 한다.
다시 도 1을 참조하면, 기존에는 혈액 등 샘플을 밀도 구배 원심 분리(101) 후, t 세포의 음성(negative) 선택을 위한 자기 세포 분리(102)를 진행하고, 플루오로 크롬 접합 항체(103)를 통해 t 세포의 항체 접합 세포(104)를 획득한 후, 형광 활성화 세포를 분류(105)함으로써, 세포 유형을 분류(106)할 수 있다.
일 실시예에 따르면, 혈액 등 샘플을 밀도 구배 원심 분리(101)하거나 학습 데이터셋을 전달 받은 후, 광학 회절 단층 촬영법(optical diffraction tomography)(107)을 통해 3차원 굴절률 영상을 촬영하여 3차원 굴절률 맵(map)(108)을 형성할 수 있고, 이후 딥러닝(deep learning) 알고리즘(109)을 적용함으로써 염색이나 표지 등의 추가 과정 없이 신속하게 세포 유형을 분류(110)할 수 있다.
일단 훈련되고 최적화되면, 컴퓨터 분류 프레임워크는 입력 T 세포 영상의 세포 유형을 빠르고 정확하게 식별할 수 있다. 측정된 3D 굴절률 영상에서 추출한 T 세포의 형태학 및 생화학적 특징은 통계적으로 유의미한 차이를 제공하지 못하지만, 비표지 세포 분류 프레임워크는 CD4 T 세포, 
(CCR7+CD45RA+)에 대해 97%의 정확도를 달성할 수 있다. CD8 T 세포, 메모리(CCR7-CD45RA+/-) CD57+, 메모리 CD57-CD8 T 세포는 기존의 기계 학습(ML) 접근 방식을 사용하여 실현하기 어렵다. 구체적으로는 
/메모리 CD8 T 세포와 노화/비노화(CD57+/CD57-) CD8 T 세포의 분류 정확도가 각각 약 97.7%와 94.4%이다.
일 실시예에 따른 네트워크의 형상 학습 능력은 t-분산 확률적 인접 임베딩(t-distributed Stochastic Neighbour Embedding, t-SNE)을 통해 시각화될 수 있다. 이것은 심층 신경망이 고차원 복셀(voxel)에서 원하는 분류와 관련된 중요한 특징들을 추출하여 '분명하지 않은' T 세포를 '분명한' 것으로 훈련되었음을 나타낸다. 이 신속한 비표지 기술이 면역세포와 기존의 면역검사에 중요한 보완을 제공할 수 있으며, 다양한 생물학적/의학적 시료에 효과적인 세포 분류 솔루션이 될 수 있다.
예를 들어, 실시예들은 염색이나 표지 등을 전혀 사용하지 않고 살아있는 암세포의 3차원 굴절률 측정을 이용하여 암세포의 세부 종류를 구별함으로써 신속한 치료가 요구되는 혈액암의 아형을 분류할 수 있다. 즉, 염색이나 표지 등의 추가 과정 없이 백혈병(급성백혈병 포함) 및 림프종을 포함한 혈액암을 신속하고 정확하게 진단하고 분석할 수 있다.
다른 딥러닝 및 기계학습 알고리즘에 비해 CD57- T 세포, CD57+ T 세포, CD4 T 세포, 
CD8 T 세포 등 가장 많이 연구되는 T 세포의 4 종류의 분류에 의해 본 실시예에 따른 방법을 실험적으로 검증할 수 있다.
도 3a 내지 도 3d은 일 실시예에 따른 3차원 렌더링 이미지와 재구성된 T 세포의 3 가지 투시도를 나타내는 도면이다. 보다 구체적으로, 도 3a는 일 실시예에 따른 CD57- T 세포의 3차원 렌더링 이미지와 재구성된 T 세포의 3 가지 투시도를 나타내는 도면이고, 도 3b는 일 실시예에 따른 CD57+ T 세포의 3차원 렌더링 이미지와 재구성된 T 세포의 3 가지 투시도를 나타내는 도면이며, 도 3c는 일 실시예에 따른 CD4 세포의 3차원 렌더링 이미지와 재구성된 T 세포의 3 가지 투시도를 나타내는 도면이고, 도 3d는 일 실시예에 따른 
CD8 세포의 3차원 렌더링 이미지와 재구성된 T 세포의 3 가지 투시도를 나타내는 도면이다.
도 3a 내지 도 3d를 참조하면, 관심 세포 유형은 CD4에 뿌리를 두고 있기 때문에, 순차적으로 CD8, 
/메모리, CD 57-/+로 구분되어 유사한 형태학 및 생화학적 특징을 공유한다. 그러한 T 세포의 가까운 계통을 분류하는 것은 항상 상당히 어려운 일이었다. 림프구 층화(stratification)에서 가까운 세포형은 형태학이나 면역학적 역할과 같은 특징을 더 많이 공유한다고 알려져 있어 CD4/CD8에 비해 CD57+/CD57-를 분류하기가 더 어렵다.
도 4는 일 실시예에 따른 5 가지 형태학 및 생화학적인 파라미터에 대한 통계적 정량화의 예시를 나타내는 도면이다. 보다 구체적으로, 도 4a는 일 실시예에 따른 세포 부피(Cellular Volume, CV)에 대한 통계적 정량화의 예시를 나타내는 도면이고, 도 4b는 일 실시예에 따른 표면적 영역(Surface Area, SA)에 대한 통계적 정량화의 예시를 나타내는 도면이며, 도 4c는 일 실시예에 따른 구형도(Sphericity)에 대한 통계적 정량화의 예시를 나타내는 도면이고, 도 4d는 일 실시예에 따른 단백질 밀도(Protein Density, PD)에 대한 통계적 정량화의 예시를 나타내는 도면이며, 도 4e는 일 실시예에 따른 건질량(Dry Mass, DM)에 대한 통계적 정량화의 예시를 나타내는 도면이다. 여기서, *, **, ***는 각각 p < 0.05, p < 0.01, p < 0.001을 나타낸다.
도 4a 내지 도 4e를 참조하면, T 세포의 3차원 굴절률 영상과 형태학 및 생화학적 특징에 관한 연구 결과를 나타낸다. 이를 정량적으로 정당화하기 위해, 먼저 CD57- T 세포, CD57+ T 세포, CD4 T 세포 및 
CD8 T 세포의 4 개의 세포 유형의 단백질 밀도(PD)와 건질량(DM)을 포함한 생물학적 특징과 함께 세포 부피(CV), 표면적 영역(SA) 및 구형도를 포함한 형태학적 특징을 분석할 수 있다. 이러한 형태학 및 생화학적인 매개변수는 3차원 굴절률 영상 데이터에서 직접 계산할 수 있다. 여기서, 통계 분석에 포함된 CD4, 
CD8, 메모리 CD57-CD8, 메모리 CD57+CD8 T 세포용 단층사진(tomogram)의 수는 각각 246개, 270개, 252개 및 286개이다.
통계적 분석에서, 대부분의 특징들은 세포 유형 간에 유의한 차이를 보이지 않는다. 첫째, 유사성은 특히 CD57+ 세포와 CD57- 세포 사이 형태론적 매개변수에서 뚜렷하게 입증되었으며, 둘 다 메모리 CD8 유형에 속한다. 이 2 가지 세포는 세포 부피(CV)의 평균, 표면적 영역(SA)의 평균에서 통계적인 차이가 없고, 노화 세포와 비노화 세포는 물리적 외관과 내부 구조에서 주목할만한 구별 가능성을 가지고 있지 않기 때문에 합리적이다. 또한, 
CD8과 메모리 CD8 T 세포, 특히 구형도와 단백질 밀도(PD)의 CD57 세포 간의 유의한 유사성을 인식했다. 이러한 매개변수의 평균과 표준편차의 구체적인 값은 표 1에서 참조할 수 있다. 이러한 유사성 외에도, 이 변수들에는 일정한 불일치가 있다. 예를 들어 CD4 T 세포는 CD8 세포에서 형태학적인 매개변수와 생화학적인 매개변수에서 일정한 구별성 수준을 보여준다. CD4 T 세포의 세포 부피(CV) 평균(130.43 
21.24 fL)은 CD8 T 세포(146.72 
15.74 fL)보다 훨씬 낮다. 상대적으로 작은 세포 부피(CV)를 가지고 있음에도 불구하고 CD4 T 세포는 CD8 T 세포에 비해 (243.77 
40.14)
의 현저히 높은 표면적을 가지며, 특히 평균 표면적 영역(SA)이 214.97 
4.20
인 메모리 CD57+CD8 T 세포와 비교된다. 이는 CD4 T 세포의 구형도가 0.52인 반면, 다른 3 가지 유형의 값은 0.59 정도일 때 괄목할 만한 차이가 된다. CD4 T 세포의 단백질 밀도(PD)와 건질량(DM)이 CD8 세포 유형의 값과 눈에 띄게 다른 값을 가질 때 생화학적 특징에서도 유사한 불일치의 추세를 발견할 수 있다. 5 가지 형태학 및 생화학적인 파라미터의 특징에 대한 평균과 표준편차는 표 1에 제시되어 있다.
[표 1]
CD57- T 세포, CD57+ T 세포, CD4 T 세포 및 
CD8 T 세포의 4 가지 세포 형태 중에서 형태학 및 생화학적인 매개변수의 현저한 유사성은 수작업 형상 공간을 이용하는 기존의 기계학습(Machine Learning, ML) 방법이 장래성 있게 수행되지 않을 것임을 시사한다. 예를 들어, 가장 널리 사용되는 ML 접근 방식 중 하나인 k-최근접이웃(k-Nearest Neighbor, k-NN) 알고리즘은 관심 샘플(각각 4 클래스, 
/Memory 및 CD57-/CD57+)에 대해 66%, 85%, 74%를 달성했다. 또 다른 알고리즘인 서포트 벡터 머신(Support Vector Machine, SVM)은 각각 74%, 93%, 79%의 약간 더 나은 정확도를 달성했다. 이는 이 ML 접근 방식이 수작업으로 추출되는 수십 개의 형상에만 의존한다는 사실 때문인데, 이는 고차원 정보(예컨대, 수백만 화소/데이터 복셀)에서 복잡한 기능을 자동으로 획득하는 심층 신경망과는 근본적으로 다르다.
아래에서는 일 실시예에 따른 딥러닝 기반 세포 분류의 성능을 설명한다.
3D 딥러닝 분류기의 강력한 표현 학습 능력을 활용하여, 4 종류의 T 세포 단층사진을 분류하려고 시도할 수 있다. 세포 층화(stratification)에 따라 T 세포의 특징을 별도로 조사하기 위해, (i) 4 종류의 분류, (ii) 
CD8과 메모리 CD8에 대한 이진 분류, 및 (iii) 메모리 CD57-CD8과 메모리 CD57+CD8에 대한 이진 분류 등 3 가지 분류 실험을 제시할 수 있다. 최적의 성능을 위해 검증 정확도에 따라 분류기를 선택할 수 있다. 여기에서는 훈련이 완료되기 전까지 일 실시예에 따른 분류기가 보지 못했던 테스트 세트에 대한 분류 결과를 제공한다.
도 5a는 일 실시예에 따른 CD57- T 세포, CD57+ T 세포, 
CD8 T 세포 및 CD4 T 세포의 4 가지 유형 분류의 훈련 및 테스트에 대한 분류 결과를 나타내는 도면이다. 또한, 도 5b는 일 실시예에 따른 메모리 CD8 및 
CD8 T 세포의 이진 분류의 훈련 및 테스트에 대한 분류 결과를 나타내는 도면이고, 도 5c는 일 실시예에 따른 CD57- 및 CD57 +의 이진 분류의 훈련 및 테스트에 대한 분류 결과를 나타내는 도면이다.
도 5a 내지 도 5c를 참조하면, 4 종류의 분류 결과, 일 실시예에 따른 훈련된 T 세포 분류기는 훈련 과정 동안 98.53%의 전체 정확도와 블라인드 테스트에서 97.04%의 전체 정확도를 달성했다. 훈련 과정과 블라인드 테스트의 구체적인 정확도는 메모리 CD57-CD8의 경우 98.26%/96.49%, 메모리 CD57+CD8, 순진 CD8의 경우 99.31%/97.92%, CD4 T 세포의 경우 98.00%/100%이다. 한편, 가장 빈번한 사례는 메모리 CD57- 및 CD57+ CD8 T 세포 사이의 오분류로 발생하였는데, 이는 밀접한 통계적 형태학 및 생화학적 특징을 공유하고 있다.
도 5d는 일 실시예에 따른 t-SNE 시각화를 나타내는 도면이다. 도 5d를 참조하면, 120 개의 무작위 세포 단층사진(각 유형당 30 개의 단층사진)의 분류 결과에 대해 t-분산 확률적 인접 임베딩(t-SNE) 시각화를 나타낸다. 여기서, 성공적으로 분류된 림프구(녹색 상자)와 실패한 경우(빨간색 상자)를 표시할 수 있다. 따라서 이 4 가지 유형은 잘 구분되어 명확한 클러스터를 형성할 수 있다.
오분류는 메모리 CD57-와 CD57+ CD8 T 사이에서만 발생했다. 발생 장소는 CD57+ 클러스터에 CD57+의 두 대표 지점, CD57-클러스터에 CD57+ 하나의 지점이다. 게다가, 같은 분류 작업을 수행하기 위해 또 다른 최첨단 콘볼루션 신경망인 DenseNet이 채용되었다. 그러나, DenseNet에서 몇 번의 최적화 및 테스트가 78-83%의 테스트 정확도를 달성했는데, 이는 일 실시예에 따른 네트워크를 사용하여 얻은 정확도보다 못하다. 이를 표 2와 같이 나타낼 수 있다.
[표 2]
여기서, k-NN, SVM, DenseNet 및 일 실시예에 따른 심층 신경망(FishNet)에 대한 테스트 분류 정확도가 비교된다. 딥러닝의 경우 머신러닝 알고리즘에 비해 훈련 시간이 비교적 길기 때문에 4 가지 클래스 분류에 대한 예비 테스트가 성공적이지 않은 것을 확인한 후, 이진 분류에 대해 DenseNet을 더 학습하지 않았다.
아래에서는 일 실시예에 따른 3차원 심층 네트워크 구현을 통한 인간 T 세포의 딥러닝 분류를 설명한다.
도 6a는 일 실시예에 따른 T 세포 분류기의 전체적인 구조를 나타내는 도면이다. 도 6a를 참조하면, T 세포의 입력 단층사진은 테일, 바디 및 헤드 부분을 통과하면서 저해상도 및 고해상도의 다양한 표현 및 추상화가 추출되고, 다른 부분의 정보는 잔차 블록(residual block)을 통해 함께 처리될 수 있다.
도 6b는 일 실시예에 따른 채널의 수를 증가시키는 구성을 설명하기 위한 도면이다. 도 6b를 참조하면, 잔차 블록은 테일 및 바디로부터 특징을 가져와서 바디 및 헤드 특징으로 연결하여 채널의 수를 증가시킬 수 있다.
도 6c는 일 실시예에 따른 최종 결정 블록을 설명하기 위한 도면이다. 도 6c를 참조하면, 테일, 바디 및 헤드 블록에서 정제된 특징을 모두 추출한 후의 최종 결정 블록은 BatchNorm, LeakyReLu, 및 3D 콘볼루션으로 구성되며, 이는 4 가지 유형의 T 세포 중에서 가장 높은 등급의 입력 단층사진을 제공할 수 있다.
요약하면, 일 실시예에 따르면 3D 굴절률 영상과 딥러닝을 이용하여 단일 세포 레벨에서 인간의 T 세포의 비표지 세포 분류를 실험적으로 입증할 수 있다. 또한 시료의 3차원 굴절률 분포의 측정은 형태학 및 생화학적 정보를 제공할 수 있다. 일 실시예에 따른 프레임워크는 정교한 T 세포 단층사진의 3D 표현을 학습했고, 수작업 형태학 및 생화학적 특징에서 표본 전체에 걸쳐 미미한 통계적 차이가 존재했음에도 불구하고 CD4와 CD8 T 세포와 CD57-, CD57+ 세포와 같은 메모리 CD8 T 세포 내의 하위 유형을 성공적으로 분류할 수 있다. 또한, 일 실시예에 따른 방법을 분류 과제나 최첨단 심층 신경망 등을 위해 수작업 형상만을 활용하는 k-NN 알고리즘과 같은 전통적인 기계학습 기법과 비교하였으며, 이는 제안된 방법의 강력한 분류 능력을 더욱 강화시킨다. 일 실시예에 따른 접근 방식은 면역세포를 빠르게 계층화하고 어떠한 라벨링도 하지 않고 면역세포의 다양한 특징과 역학을 연구할 수 있는 기회를 제공하므로 관련 시간, 비용 및 노동력을 절약할 수 있다.
그럼에도 불구하고, 비표지 3D 정량적 위상 이미징(QPI)과 T 세포를 식별하기 위한 딥러닝을 활용하는 시너지 접근 방식은 생물학적 연구와 의학에 적용할 수 있는 엄청난 잠재력뿐만 아니라 몇 가지 장점을 가지고 있다. 첫째로, 이 기술은 기존의 형광 활성화된 세포 분류 기술, 브라이트(bright) 필드 현미경 또는 위상 대조 현미경에 비해 세포 분류에 있어 강력한 안정성과 성능을 제공할 수 있다. 3D 굴절률 영상은 라벨링 에이전트(agent) 없이 개별 세포의 고유 굴절률 분포를 정량적으로 측정하여 매우 일관된 실험 결과를 보장한다. 이와는 대조적으로, 형광 현미경은 질적 분자 분포 정보를 제공하는데, 이는 세포 기능과 실험 프로토콜을 바꿀 수 있는 화학 물질과 같은 다양한 조건에도 취약하다. 브라이트(bright) 필드 또는 위상 대조 현미경 검사 방법 또한 생물학적 표본에 대한 질적이고 제한된 2차원 형태학 정보를 제공한다. 제안된 방법의 두 번째 결정적인 장점은 속도이다. 훈련된 분류기는 밀리 초 이내에 개별 세포의 세포 유형을 식별할 수 있다. 또한, 샘플 준비 과정은 라벨링 기법보다 훨씬 간단하고 시간이 덜 소요되는데, 이것은 배양이나 염색(staining)이 필요하지 않기 때문에 빠르게 감소하는 면역세포를 연구할 수 있기 때문이다. 더욱이, 이러한 비표지 프레임워크는 상당한 비용과 노동력을 완화시켜, 의료 전문가와 환자 모두 더 나은 조기 진단을 위한 대규모 데이터 세트에 접근할 수 있도록 할 수 있다.
도 7은 일 실시예에 따른 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 방법을 나타내는 흐름도이다.
도 7을 참조하면, 일 실시예에 따른 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 방법은, 비표지 세포의 3차원 굴절률 영상을 획득하는 단계(S110), 및 3차원 굴절률 영상을 딥러닝 알고리즘에 입력하여 세포 유형을 분류하는 단계(S140)를 포함하고, 3차원 굴절률 영상과 딥러닝 알고리즘을 이용하여 단일 세포 레벨에서 세포의 비표지 세포 분류를 수행할 수 있다.
딥러닝 알고리즘에 입력하여 세포 유형을 분류하기 이전에, 3차원 굴절률 영상을 이미지 처리 및 통계 분석하는 단계(S120)를 더 포함할 수 있다.
또한, 딥러닝 알고리즘에 입력하여 세포 유형을 분류하기 이전에, 3차원 굴절률 영상에서 개별 세포의 정량적 구조와 생화학적 특징을 계산하는 단계(S130)를 더 포함할 수 있다.
아래에서 일 실시예에 따른 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 방법의 각 단계를 설명한다.
일 실시예에 따른 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 방법은 일 실시예에 따른 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 장치를 예를 들어 보다 구체적으로 설명할 수 있다.
도 8은 일 실시예에 따른 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 장치를 나타내는 블록도이다.
도 8을 참조하면, 일 실시예에 따른 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 장치(800)는 3차원 굴절률 영상 획득부(810) 및 세포 유형 분류부(840)를 포함할 수 있고, 실시예에 따라 이미지 처리부(820) 및 정량적 구조 및 특징 분석부(830)를 더 포함할 수 있다.
단계(S110)에서, 3차원 굴절률 영상 획득부(810)는 비표지 세포의 3차원 굴절률 영상을 획득할 수 있다. 여기서, 3차원 굴절률 영상 획득부(810)는 마하젠더(Mach-Zehnder) 간섭 측정 기반 단층 현미경을 사용하여 3차원 굴절률 영상을 촬영할 수 있으나, 이에 제한되지는 않는다.
단계(S120)에서, 이미지 처리부(820)는 차원 굴절률 영상을 이미지 처리 및 통계 분석할 수 있다. 이미지 처리부(820)는 3차원 굴절률 영상을 이미지 처리하여 3차원 렌더링 이미지를 구성할 수 있다.
단계(S130)에서, 정량적 구조 및 특징 분석부(830)는 3차원 굴절률 영상에서 개별 세포의 정량적 구조와 생화학적 특징을 계산할 수 있다. 정량적 구조 및 특징 분석부(830)는 3차원 굴절률 영상에서 형태학 및 생화학적인 매개변수를 계산하여, 세포 부피(CV), 표면적 영역(SA) 및 구형도를 포함한 형태학적 특징과 단백질 밀도(PD) 및 건질량(DM)을 포함한 생화학적 특징을 분석할 수 있다.
단계(S140)에서, 세포 유형 분류부(840)는 3차원 굴절률 영상을 딥러닝 알고리즘에 입력하여 세포 유형을 분류할 수 있다. 여기서, 세포 유형 분류부(840)는 3차원 굴절률 영상을 3차원 내부 구조를 완전히 이용하는 3차원 콘벌루션 신경망을 사용하여 학습하며, 3차원 콘벌루션 신경망은 단일 굴절률 영상에서 세포 유형을 빠르게 식별할 수 있다.
이와 같이 이미지 처리부(820) 및 정량적 구조 및 특징 분석부(830)를 통해 3D 굴절률 영상과 딥러닝을 이용하여 단일 세포 레벨에서 인간의 T 세포의 비표지 세포 분류를 실험적으로 입증할 수 있다. 또한 시료의 3차원 굴절률 분포의 측정은 형태학 및 생화학적 정보를 제공할 수 있다.
세포 유형 분류부(840)는 획득한 3D 굴절률 영상의 데이터 세트를 훈련 데이터 세트 및 유효성 검사 데이터 세트로 하여 분리 후, 3차원 콘벌루션 신경망기반 분류기를 훈련 데이터 세트와 함께 훈련시키고 유효성 검사 데이터 세트에서의 성과를 바탕으로 3차원 콘벌루션 신경망기반 분류기를 선택할 수 있다. 또한, 세포 유형 분류부(840)는 학습된 딥러닝 알고리즘은 인간의 T 세포를 CD57- T 세포, CD57+ T 세포, CD4 T 세포 및 
CD8 T 세포에 기초하여 분류할 수 있다.
이에 따라 3차원 굴절률 영상과 딥러닝 알고리즘을 이용하여 단일 세포 레벨에서 세포의 비표지 세포 분류를 수행할 수 있다.
아래에서는 일 실시예에 따른 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 방법 및 장치를 하나의 실험 예를 통해 보다 구체적으로 설명한다.
먼저, T 세포 샘플을 준비할 수 있다. 말초혈액은 건강한 기증자로부터 얻어졌다. 이 연구는 한국과학기술원 기관심사위원회의 승인을 받아 모든 과목에서 사전동의서를 제출했다. 말초혈액 단핵세포(PBMCs)를 분리하기 위해 Ficoll(Corning, Inc., USA) 밀도 기울기(gradient) 원심 분리법을 사용할 수 있다. 다음으로, PBMC는 Pan T Cell Isolation Kit (Milltenyi Biotec, 미국)를 이용하여 T 세포를 negative로 선택하기 위해 자기 세포 분리를 받을 수 있다. 그 후, 격리된 T 세포는 다음과 같은 형광색소 결합 항체: BV421 항체-CD4(RPA-T4), APC-H7 항체-CD8(SK1, all from BD Biosciences, 미국), PE-Cy7 항체-CD3(UCHT1), APC 항체 CD45RA(HI100, all from eBioscience, 미국), PE 항체-CD57(HNK-1, Biolegend, 미국)으로 염색(staining)되었다. 죽은(dead) 세포는 7-AAD(BD Biosciences, 미국)를 사용하여 이식될 수 있다. 세포 분류는 메모리 (CCR7-CD45RA+/-) CD8 T 세포 중에서 CD4 T 세포, 
(CCR7+CD45RA+), CD57+ 및 CD57- 세포를 얻기 위해 FACS Aria II 기구(BD Biosciences)에서 수행될 수 있다.
도 2에 도시된 바와 같이, 광학 측정 및 ODT를 재구성할 수 있다. 이미징 및 ODT 재구성에 상용 ODT 현미경과 소프트웨어(Tomocube HT-1H, TomoStudioTM, Tomocube Inc., 대한민국 )가 사용될 수 있다. 이미징 시스템은 2 x 2 섬유 커플러를 사용하여 일관된 레이저 소스(
= 진공에서 532 nm, SambaTM, Cobolt Inc., 스웨덴)(201)를 2 개의 빔(기준 빔 및 샘플 빔)으로 분할할 수 있다. 샘플 빔은 4-f 릴레이 렌즈 시스템(L1 및 L3)을 통과하고, 샘플 빔은 디지털 격자(grating) 패턴을 표시하여 샘플 빔의 각도를 제어하는 디지털 마이크로미러 장치(DMD)(DLPLCR6500EVM, Texas Instruments Inc., 미국)(202)를 사용하여 분해될 수 있다. 그 다음, 렌즈(L4)와 콘덴서 렌즈(Objective Lens 1)(NA = 1.2, 물 담금, UPLSAPO 60XW, Olympus Inc.)(204)를 통과한 후 DMD에 투사된 패턴에 의해 제어되는 49 개의 다른 각도에서 1차 회절 빔에 의해 샘플(205)이 조명될 수 있다. 샘플(205)에서 산란된 빛은 다른 객체 렌즈(Objective Lens 2)(NA = 1.2, 물 담금, UPLSAPO 60XW, 올림푸스 Inc.)(206)에 의해 수집되고, 이미지 평면에 투사되어 카메라 평면의 분할 기준 빔과 간섭 패턴을 형성할 수 있다. 패턴의 대비를 극대화하기 위해 카메라(FL3-U3-13Y3M-C, Point Grey Research Inc.)(211)를 사용하여 패턴이 기록되기 전에 선형 편광기를 사용하여 빛을 필터링 할 수 있다. 이 때, 49 개의 홀로그램에 대한 획득 시간은 약 0.1초이다.
샘플(205)의 3D 굴절률 분포는 분석 역전에 의해 측정된 복수의 2D 홀로그램에서 재구성될 수 있다. 첫째, 각각의 복잡한 필드 이미지는 필드 검색 알고리즘을 통해 홀로그램에서 재구성될 수 있다. 그런 다음, 측정된 필드와 3D 굴절률 분포를 관련시키는 푸리에(Fourier) 회절 정리를 사용하여 3D 굴절률 영상을 얻을 수 있다. 이후, 누락된 콘(cone) 문제를 해결하기 위해 40회 반복되는 non-negative 정규화를 사용할 수 있다. ODT 시스템의 측면 분해능과 축 분해능은 각각 110nm와 355nm이다.
이미지 처리는 MatLabTM(R2018b; MathWorks Inc., MA)을 사용하여 수행되었다. 굴절률 아이소 표면(iso-surface)은 TomoStudioTM(Tomocube Inc., 대한민국)을 사용하여 렌더링되었다. 통계적 분석은 MatLabTM(R2018b; MathWorks Inc., MA)의 내장 함수를 사용하여 수행되었으며, P-값은 Student t-테스트를 기반으로 계산되었다.
개별 T 세포의 정량적 구조 및 생화학적 매개변수는 측정된 3D 굴절률 영상에서 계산될 수 있다. 세포의 표면적 영역 S와 부피 V 계산에서, 임계 굴절률 값보다 높은 굴절률 값을 가진 복셀을 T 세포의 3D 굴절률 영상에서 분할하기 위해 선택할 수 있다. 표면적 영역과 부피는 각각 분할된 영역의 경계와 내부 영역에 있는 복셀의 수로 계산될 수 있다. 계산된 표면적 영역 및 부피에서 다음 식과 같이 구형도를 구할 수 있다.
[수학식 1]
생화학적 특징(단백질 밀도 및 건질량)은 굴절률 값과 비수성 분자의 로컬 농도(즉, 단백질, 지질, 핵산, 대부분 단백질) 사이의 특징화된 선형 관계를 이용하여 굴절률 값에서 얻을 수 있다. 굴절률 값은 단백질 밀도 C로 변환되며, 다음 식과 같은 관계를 가질 수 있다.
[수학식 2]
여기서, n과 n0는 각각 복셀과 매질의 굴절률 값이며, 
는 굴절률 증가값(Refractive Index Increment, RII)이다. 본 실험에서는 대부분의 단백질이 유사한 굴절률 증가값(RII)을 가지고 있다는 사실을 고려하여 0.2 mL/g의 굴절률 증가값(RII)을 사용할 수 있다. T 세포의 총 건질량은 단순히 세포량에 의한 단백질 밀도를 통합함으로써 계산될 수 있다.
여기에서는 분류 결과를 딥러닝과 비교하기 위해 2 가지 전통적인 기계 학습 방법인 k-최근접이웃(k-nearest neighbor, k-NN)과 서포트 벡터 머신(Support Vector Machine, SVM)을 채용한다. 기계 학습에 흔히 쓰이는 이 2 가지 방법은 빠르고 편리하게 분류 결과를 보여줄 수 있다. k-NN 알고리즘에서는 새로운 데이터가 추가될 때 k에 대한 관측, 그 클래스와 함께 형상 공간에 있는 가장 가까운 인접 데이터의 수를 실시하고, 그 다음 가장 빈번한 클래스로 분류한다. k-NN은 T 세포 분류에 가장 적합한 모델을 찾기 위해 여러 번의 시험을 거쳐서 k = 5 및 100차원 형상 공간을 가지는 k-NN 모델을 선택한다. 맞춤화된 코드는 MatLabTM에서 구현한다.
또 다른 벤치마크 테스트의 경우, SVM을 사용하여 T 세포를 분류했다. SVM 알고리즘은 데이터 클래스를 최적으로 구분하는 초평면(모든 클래스에서 가장 가까운 훈련 데이터 포인트까지의 거리가 가장 큰)이 발견되는 감독 학습 알고리즘이다. 여기서, 내장된 MatLabTM 기능, 2진수 분류용 fitcsvm 및 다중 클래스 분류용 fitcoc를 사용한다. 이러한 하이퍼 매개변수는 각 분류에 대해 특별히 최적화되어 있다.
일 실시예에서는 T 세포의 3D 굴절률 영상에서 부피 정보 및 분류 작업에서 뚜렷한 표현을 처리하는 콘볼루션 신경망을 활용할 수 있다. 일 실시예에 따른 심층 신경망은 도 6a에 나타나 있다. 일 실시예에 따른 심층 신경망은 FishNet에서 영감을 받아 테일, 바디 및 헤드 등 3 개의 블록을 가지고 있다. 헤드 부분은 DenseNet과 같은 다른 기존 아키텍처에서 수행되는 다운샘플링 작업을 수행하여 저해상도에서의 다양한 표현을 추출할 수 있다. 도 6b에 도시된 바와 같이, 바디 부분은 3 개의 파트가 모두 잔여 블록에 의해 연결되어 있기 때문에 테일에서 얻은 형상을 위로 샘플링하고 바디에서 추출한 형상으로 리페인팅하여 서로 다른 층에 걸친 정보의 흐름이 개선되고 기울기(gradient) 소실 문제가 완화될 수 있다. 그런 다음, 헤드 부분은 3 가지의 부분 모두에서 형상을 다듬으면서 여러 개의 다운샘플링을 작동시킬 수 있다. 마지막으로, 몇 가지 콘볼루션 운영, batch norms, leakyReLu 및 적응형 평균 풀링으로 구성된 마지막 콘볼루션 계층에서 최적화된 형상을 사용하여 분류 작업에 가장 높은 개연성 등급을 결정할 수 있다.
획득한 3D 굴절률 영상 데이터 세트를 훈련 데이터 세트, 유효성 검사 데이터 세트로 하여 비율 6:2:2로 무작위로 분리한 후, CNN 분류기를 훈련 데이터 세트와 함께 훈련시키고 유효성 검사 데이터 세트에서의 성과를 바탕으로 최고의 분류기를 선택할 수 있다. 학습률 0.001, 모멘텀 0.9, 학습률 저하 0.9999의 매개변수를 사용하여 적응 모멘트 추정 최적기를 사용할 수 있다. GeForce GTX 1080ti(NVIDIA, Santa Clara, CA, USA)의 그래픽 처리 장치 4 개와 Xeon E5-2600의 중앙 처리 장치(Intel, Santa Clara, CA, USA)를 사용하여 500 개의 epoch 최적화를 위해 약 20시간 동안 소비되었다. 여기에서의 데이터 크기에서는, 최적화된 배치 크기가 8로 선택되었다. 훈련 데이터 세트는 무작위 변환, 자르기, 탄성 변환 및 가우시안(Gaussian) 노이즈 추가에 의해 증강되었다. 작업은 딥러닝 알고리즘을 구현하기 위한 파이썬 패키지 Torch 1.0.1에서 실행되었다.
일 실시예에 따른 딥러닝 훈련된 분류기를 이용한 분류 결과를 시각화하기 위해, 고차원 공간에 있는 물체의 분포를 2차원 평면에 매핑하는 알고리즘인 t-SNE를 사용했다. 분류 입력 데이터로 120 개의 세포 단층사진(각 유형당 30 단층사진)을 무작위로 선택할 수 있다. 훈련된 분류기가 입력 데이터의 유형을 확인한 후 신경망에서 마지막 레이어을 추출하며, 이것이 최종 예측으로 변환될 수 있다. 이 마지막 레이어에서는 각 세포의 단층사진에 4 개의 매개변수가 있다. 각 세포에 대하여 올바른 라벨이 있는 이 마지막 레이어는 t-SNE의 입력으로 사용되었으며, MATLAB(R2018b; MathWorks Inc., MA)의 t-SNE 내장 알고리즘을 사용하여 2D 공간에서 분류된 세포의 분포를 시각화하였다.
실시예들에 따르면 세포에 염색 또는 표지를 사용하지 않고 세포의 종류를 구분할 수 있다. 이는, 세포 생물학 분야 특히 세포 분석(cytometry) 분야에서 널리 활용될 수 있다.
예를 들어 줄기세포가 분화 후 어떤 종류의 세포가 되었는지를 비표지 비염색 방식으로 확인할 수 있기 때문에, 종류가 확인된 세포를 바로 체내에 주입해도 문제가 없다. 다른 예로, 암 환자의 혈액에서 추출한 특정 백혈구 종류를 선택적으로 배양하여 재주입하는 면역 치료(immunotherapy) 분야에 본 발명이 적용되는 경우, 종래에 사용하고 있던 자성물질기반 세포 구분(MACS, magnetic-assisted cell cytometry)의 고비용 문제를 효과적으로 해결할 수 있다.
또한, 의학 분야 내 감염 내과에도 적용 가능하다. 예를 들어 박테리아의 종류를 빠르고 정확하게 구분할 수 있게 됨으로써, 감염질환 환자에게 신속하고 효과적인 항생제 등의 의학적 처방이 가능할 수 있다. 다른 예로, 무기용으로 전용될 수 있는 독성균(예, 탄저균, anthrax)을 신속하고 정확하게 가려낼 수도 있기 때문에 대테러 분야에도 활용 가능하다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (10)
- 비표지 세포의 3차원 굴절률 영상을 획득하는 단계; 및
상기 3차원 굴절률 영상을 딥러닝 알고리즘에 입력하여 세포 유형을 분류하는 단계
를 포함하고,
상기 3차원 굴절률 영상과 상기 딥러닝 알고리즘을 이용하여 단일 세포 레벨에서 세포의 비표지 세포 분류를 수행하는, 세포의 세부 분류 구분 방법. - 제1항에 있어서,
상기 딥러닝 알고리즘에 입력하여 세포 유형을 분류하기 이전에, 상기 3차원 굴절률 영상을 이미지 처리 및 통계 분석하는 단계
를 더 포함하고,
상기 3차원 굴절률 영상을 이미지 처리 및 통계 분석하는 단계는,
상기 3차원 굴절률 영상을 이미지 처리하여 3차원 렌더링 이미지를 구성하는 것
을 특징으로 하는, 세포의 세부 분류 구분 방법. - 제1항에 있어서,
상기 딥러닝 알고리즘에 입력하여 세포 유형을 분류하기 이전에, 상기 3차원 굴절률 영상에서 개별 세포의 정량적 구조와 생화학적 특징을 계산하는 단계
를 더 포함하고,
상기 3차원 굴절률 영상에서 개별 세포의 정량적 구조와 생화학적 특징을 계산하는 단계는,
상기 3차원 굴절률 영상에서 형태학 및 생화학적인 매개변수를 계산하여, 세포 부피(CV), 표면적 영역(SA) 및 구형도를 포함한 형태학적 특징과 단백질 밀도(PD) 및 건질량(DM)을 포함한 생화학적 특징을 분석하는 것
을 특징으로 하는, 세포의 세부 분류 구분 방법. - 제1항에 있어서,
상기 비표지 세포의 3차원 굴절률 영상을 획득하는 단계는,
마하젠더(Mach-Zehnder) 간섭 측정 기반 단층 현미경을 사용하여 상기 3차원 굴절률 영상을 촬영하는 것
을 특징으로 하는, 세포의 세부 분류 구분 방법. - 제1항에 있어서,
상기 3차원 굴절률 영상을 딥러닝 알고리즘에 입력하여 세포 유형을 분류하는 단계는,
상기 3차원 굴절률 영상을 3차원 내부 구조를 완전히 이용하는 3차원 콘벌루션 신경망을 사용하여 학습하며, 상기 3차원 콘벌루션 신경망은 단일 굴절률 영상에서 세포 유형을 빠르게 식별하는 것
을 특징으로 하는, 세포의 세부 분류 구분 방법. - 제1항에 있어서,
상기 3차원 굴절률 영상을 딥러닝 알고리즘에 입력하여 세포 유형을 분류하는 단계는,
획득한 상기 3D 굴절률 영상의 데이터 세트를 훈련 데이터 세트 및 유효성 검사 데이터 세트로 하여 분리 후, 3차원 콘벌루션 신경망기반 분류기를 상기 훈련 데이터 세트와 함께 훈련시키고 상기 유효성 검사 데이터 세트에서의 성과를 바탕으로 3차원 콘벌루션 신경망기반 분류기를 선택하는 것
을 특징으로 하는, 세포의 세부 분류 구분 방법. - 제1항에 있어서,
상기 3차원 굴절률 영상을 딥러닝 알고리즘에 입력하여 세포 유형을 분류하는 단계는,
학습된 상기 딥러닝 알고리즘은 인간의 T 세포를 CD57- T 세포, CD57+ T 세포, CD4 T 세포 및CD8 T 세포에 기초하여 분류하는 것
을 특징으로 하는, 세포의 세부 분류 구분 방법. - 비표지 세포의 3차원 굴절률 영상을 획득하는 3차원 굴절률 영상 획득부; 및
상기 3차원 굴절률 영상을 딥러닝 알고리즘에 입력하여 세포 유형을 분류하는 세포 유형 분류부
를 포함하고,
상기 3차원 굴절률 영상과 상기 딥러닝 알고리즘을 이용하여 단일 세포 레벨에서 세포의 비표지 세포 분류를 수행하는, 세포의 세부 분류 구분 장치. - 제8항에 있어서,
상기 3차원 굴절률 영상을 이미지 처리 및 통계 분석하는 이미지 처리부
를 더 포함하고,
상기 이미지 처리부는,
상기 3차원 굴절률 영상을 이미지 처리하여 3차원 렌더링 이미지를 구성하는 것
을 특징으로 하는, 세포의 세부 분류 구분 장치. - 제8항에 있어서,
상기 3차원 굴절률 영상에서 개별 세포의 정량적 구조와 생화학적 특징을 계산하는 정량적 구조 및 특징 분석부
를 더 포함하고,
상기 3차원 굴절률 영상에서 개별 세포의 정량적 구조와 생화학적 특징을 계산하는 단계는,
상기 3차원 굴절률 영상에서 형태학 및 생화학적인 매개변수를 계산하여, 세포 부피(CV), 표면적 영역(SA) 및 구형도를 포함한 형태학적 특징과 단백질 밀도(PD) 및 건질량(DM)을 포함한 생화학적 특징을 분석하는 것
을 특징으로 하는, 세포의 세부 분류 구분 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200034536A KR102500220B1 (ko) | 2020-03-20 | 2020-03-20 | 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200034536A KR102500220B1 (ko) | 2020-03-20 | 2020-03-20 | 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210117796A true KR20210117796A (ko) | 2021-09-29 |
| KR102500220B1 KR102500220B1 (ko) | 2023-02-16 |
Family
ID=77924896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200034536A KR102500220B1 (ko) | 2020-03-20 | 2020-03-20 | 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102500220B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3131417A1 (fr) * | 2021-12-28 | 2023-06-30 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Correction d'artefacts de reconstructions tomographiques par reseaux de neurones |
| KR20230109349A (ko) | 2022-01-13 | 2023-07-20 | 재단법인 아산사회복지재단 | 라만 분광 분석을 이용한 줄기세포의 분류 방법 및 장치 |
| CN116758070A (zh) * | 2023-08-17 | 2023-09-15 | 深圳安侣医学科技有限公司 | 细胞分析及获得细胞形态特征的方法和分析系统 |
-
2020
- 2020-03-20 KR KR1020200034536A patent/KR102500220B1/ko active IP Right Grant
Non-Patent Citations (6)
| Title |
|---|
| C. L. Chen 외, "Deep Learning in Label-free Cell Classification", Scientific Reports, 6:21471. (2016.03.15.) * |
| G. Kim 외, "Automated Identification of Bacteria Using Three-dimensional Holographic Imaging and Convolutional Neural Network", In 2018 IEEE Photonics Conference (IPC), IEEE. (2018.11.08.)* * |
| G. Kim 외, "Rapid and label-free identification of individual bacterial pathogens exploiting three-dimensional quantitative phase imaging and deep learning", bioRxiv, 596483v1. (2019.04.03.) * |
| J. Yoon 외, "Identification of non-activated lymphocytes using three-dimensional refractive index tomography and machine learning", Scientific Reports, 7:6654. (2017.07.27.)* * |
| Lewis, J. & Speers, T. Misleading media reporting? The MMR story. Nature Reviews Immunology. 2003 2003/11/01; Sect. 913-918. |
| T. C. Nguyen 외, "Computational optical tomography using 3-D deep convolutional neural networks", Optical Engineering, 57(4). (2018.04.26.) * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3131417A1 (fr) * | 2021-12-28 | 2023-06-30 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Correction d'artefacts de reconstructions tomographiques par reseaux de neurones |
| EP4207077A1 (fr) * | 2021-12-28 | 2023-07-05 | Commissariat à l'énergie atomique et aux énergies alternatives | Correction d'artefacts de reconstructions tomographiques par reseaux de neurones |
| KR20230109349A (ko) | 2022-01-13 | 2023-07-20 | 재단법인 아산사회복지재단 | 라만 분광 분석을 이용한 줄기세포의 분류 방법 및 장치 |
| CN116758070A (zh) * | 2023-08-17 | 2023-09-15 | 深圳安侣医学科技有限公司 | 细胞分析及获得细胞形态特征的方法和分析系统 |
| CN116758070B (zh) * | 2023-08-17 | 2023-12-12 | 深圳安侣医学科技有限公司 | 细胞3维分析及获得细胞3维形态特征的方法和分析系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102500220B1 (ko) | 2023-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109863384B (zh) | 基于图像的细胞分选系统和方法 | |
| CN113454733B (zh) | 用于预后组织模式识别的多实例学习器 | |
| JP7361149B2 (ja) | デジタルホログラフィ顕微鏡検査および無傷の（ｕｎｔｏｕｃｈｅｄ）末梢血白血球を用いる高精度の５部鑑別（５－ｐａｒｔ Ｄｉｆｆｅｒｅｎｔｉａｌ） | |
| US11842483B2 (en) | Systems for cell shape estimation | |
| JP6503382B2 (ja) | 血液学用デジタルホログラフィ顕微鏡検査データ分析 | |
| JP2023093434A (ja) | 予測タグ付けを有する画像を生成するための画像処理のためのシステム、デバイス、および方法 | |
| KR102500220B1 (ko) | 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 방법 및 장치 | |
| CN110574120A (zh) | 使用流式细胞术数据的人工神经网络分析进行癌症诊断的系统和方法 | |
| JP2021506013A (ja) | 腫瘍空間異質性およびインターマーカ異質性の計算方法 | |
| EP1922695B1 (en) | Method of, and apparatus and computer software for, performing image processing | |
| EP2751730A2 (en) | Systems and methods for tissue classification | |
| CN110914833A (zh) | 细胞识别 | |
| KR20200142929A (ko) | 3차원 정량 위상 영상 측정과 딥러닝을 이용한 신속 비표지 혈액암 진단 방법 및 장치 | |
| KR20200136004A (ko) | 세포 샘플 내에서 적어도 하나의 기형을 가지는 세포를 검출하기 위한 방법 | |
| EP3729053A1 (en) | Fast and robust fourier domain-based cell differentiation | |
| Doan et al. | Label-free assessment of red blood cell storage lesions by deep learning | |
| Timonen et al. | DeepIFC: virtual fluorescent labeling of blood cells in imaging flow cytometry data with deep learning | |
| Hirotsu et al. | Artificial intelligence-based classification of peripheral blood nucleated cells using label-free imaging flow cytometry | |
| Marzuki et al. | Identification of thalassemia disorder using active contour | |
| Štěpka et al. | Automatic detection and segmentation of exosomes in transmission electron microscopy | |
| US11788950B2 (en) | Method and device for analysing cells | |
| Delikoyun et al. | 2 Deep learning-based cellular image analysis for intelligent medical diagnosis | |
| US11908130B2 (en) | Apparatuses and methods for digital pathology | |
| Jahanifar et al. | Automatic zone identification in blood smear images using optimal set of features | |
| US20220180515A1 (en) | Artificial intelligence enabled reagent-free imaging hematology analyzer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |