KR102643066B1 - 인공지능 기반 의사 컬러링을 활용한 진단 보조 정보 제공 방법, 장치 및 시스템 - Google Patents
인공지능 기반 의사 컬러링을 활용한 진단 보조 정보 제공 방법, 장치 및 시스템 Download PDFInfo
- Publication number
- KR102643066B1 KR102643066B1 KR1020220171231A KR20220171231A KR102643066B1 KR 102643066 B1 KR102643066 B1 KR 102643066B1 KR 1020220171231 A KR1020220171231 A KR 1020220171231A KR 20220171231 A KR20220171231 A KR 20220171231A KR 102643066 B1 KR102643066 B1 KR 102643066B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- tissue
- information
- virtual
- artificial intelligence
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000013473 artificial intelligence Methods 0.000 title claims description 325
- 238000004040 coloring Methods 0.000 title abstract description 81
- 238000003745 diagnosis Methods 0.000 title description 31
- 238000010186 staining Methods 0.000 claims abstract description 84
- 230000002159 abnormal effect Effects 0.000 claims abstract description 30
- 210000001519 tissue Anatomy 0.000 claims description 522
- 230000004913 activation Effects 0.000 claims description 75
- 239000007850 fluorescent dye Substances 0.000 claims description 32
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 claims description 26
- 210000000805 cytoplasm Anatomy 0.000 claims description 26
- 210000003855 cell nucleus Anatomy 0.000 claims description 21
- 230000005284 excitation Effects 0.000 claims description 18
- 238000000386 microscopy Methods 0.000 claims description 17
- 238000001218 confocal laser scanning microscopy Methods 0.000 claims description 16
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 claims description 13
- 229960004657 indocyanine green Drugs 0.000 claims description 11
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 claims description 11
- DPKHZNPWBDQZCN-UHFFFAOYSA-N acridine orange free base Chemical compound C1=CC(N(C)C)=CC2=NC3=CC(N(C)C)=CC=C3C=C21 DPKHZNPWBDQZCN-UHFFFAOYSA-N 0.000 claims description 10
- DZBUGLKDJFMEHC-UHFFFAOYSA-N benzoquinolinylidene Natural products C1=CC=CC2=CC3=CC=CC=C3N=C21 DZBUGLKDJFMEHC-UHFFFAOYSA-N 0.000 claims description 10
- MHMNJMPURVTYEJ-UHFFFAOYSA-N fluorescein-5-isothiocyanate Chemical compound O1C(=O)C2=CC(N=C=S)=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 MHMNJMPURVTYEJ-UHFFFAOYSA-N 0.000 claims description 8
- 239000013307 optical fiber Substances 0.000 claims description 8
- 230000008520 organization Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- KKAJSJJFBSOMGS-UHFFFAOYSA-N 3,6-diamino-10-methylacridinium chloride Chemical compound [Cl-].C1=C(N)C=C2[N+](C)=C(C=C(N)C=C3)C3=CC2=C1 KKAJSJJFBSOMGS-UHFFFAOYSA-N 0.000 claims description 5
- FWBHETKCLVMNFS-UHFFFAOYSA-N 4',6-Diamino-2-phenylindol Chemical compound C1=CC(C(=N)N)=CC=C1C1=CC2=CC=C(C(N)=N)C=C2N1 FWBHETKCLVMNFS-UHFFFAOYSA-N 0.000 claims description 5
- 229940023020 acriflavine Drugs 0.000 claims description 5
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical compound O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 claims description 5
- 229940020947 fluorescein sodium Drugs 0.000 claims description 5
- XJMOSONTPMZWPB-UHFFFAOYSA-M propidium iodide Chemical compound [I-].[I-].C12=CC(N)=CC=C2C2=CC=C(N)C=C2[N+](CCC[N+](C)(CC)CC)=C1C1=CC=CC=C1 XJMOSONTPMZWPB-UHFFFAOYSA-M 0.000 claims description 5
- PDXNSXLPXJFETD-DYVQZXGMSA-N (2e)-2-[(2e)-2-[2-[4-[(2s)-2-[[4-[(2-amino-4-oxo-1h-pteridin-6-yl)methylamino]benzoyl]amino]-2-carboxyethyl]phenoxy]-3-[(e)-2-[3,3-dimethyl-5-sulfo-1-(4-sulfobutyl)indol-1-ium-2-yl]ethenyl]cyclohex-2-en-1-ylidene]ethylidene]-3,3-dimethyl-1-(4-sulfobutyl)i Chemical compound OS(=O)(=O)CCCCN1C2=CC=C(S([O-])(=O)=O)C=C2C(C)(C)\C1=C/C=C\1C(OC=2C=CC(C[C@H](NC(=O)C=3C=CC(NCC=4N=C5C(=O)N=C(N)NC5=NC=4)=CC=3)C(O)=O)=CC=2)=C(\C=C\C=2C(C3=CC(=CC=C3[N+]=2CCCCS(O)(=O)=O)S(O)(=O)=O)(C)C)CCC/1 PDXNSXLPXJFETD-DYVQZXGMSA-N 0.000 claims description 3
- 229940125083 pafolacianine Drugs 0.000 claims description 3
- ZGXJTSGNIOSYLO-UHFFFAOYSA-N 88755TAZ87 Chemical compound NCC(=O)CCC(O)=O ZGXJTSGNIOSYLO-UHFFFAOYSA-N 0.000 claims 2
- 125000000325 methylidene group Chemical group [H]C([H])=* 0.000 claims 2
- 239000000835 fiber Substances 0.000 claims 1
- 201000011510 cancer Diseases 0.000 abstract description 38
- 206010028980 Neoplasm Diseases 0.000 abstract description 36
- 238000001574 biopsy Methods 0.000 abstract description 27
- 238000010827 pathological analysis Methods 0.000 description 47
- 210000004027 cell Anatomy 0.000 description 35
- 238000010586 diagram Methods 0.000 description 32
- 239000000975 dye Substances 0.000 description 28
- 230000003287 optical effect Effects 0.000 description 25
- 230000007170 pathology Effects 0.000 description 25
- 238000010191 image analysis Methods 0.000 description 19
- 210000004940 nucleus Anatomy 0.000 description 17
- 230000001678 irradiating effect Effects 0.000 description 14
- 239000000523 sample Substances 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 10
- 238000002372 labelling Methods 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 9
- 230000001575 pathological effect Effects 0.000 description 7
- 239000003086 colorant Substances 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- RBTBFTRPCNLSDE-UHFFFAOYSA-N 3,7-bis(dimethylamino)phenothiazin-5-ium Chemical compound C1=CC(N(C)C)=CC2=[S+]C3=CC(N(C)C)=CC=C3N=C21 RBTBFTRPCNLSDE-UHFFFAOYSA-N 0.000 description 5
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 238000002073 fluorescence micrograph Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 229960000907 methylthioninium chloride Drugs 0.000 description 5
- 238000004043 dyeing Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000007447 staining method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000001086 cytosolic effect Effects 0.000 description 3
- 102000010834 Extracellular Matrix Proteins Human genes 0.000 description 2
- 108010037362 Extracellular Matrix Proteins Proteins 0.000 description 2
- 230000002378 acidificating effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000000981 basic dye Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000002744 extracellular matrix Anatomy 0.000 description 2
- 230000002895 hyperchromatic effect Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 210000003463 organelle Anatomy 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 210000002307 prostate Anatomy 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 229920002307 Dextran Polymers 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 206010060862 Prostate cancer Diseases 0.000 description 1
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002674 endoscopic surgery Methods 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- VMCOQLKKSNQANE-UHFFFAOYSA-N n,n-dimethyl-4-[6-[6-(4-methylpiperazin-1-yl)-1h-benzimidazol-2-yl]-1h-benzimidazol-2-yl]aniline Chemical compound C1=CC(N(C)C)=CC=C1C1=NC2=CC=C(C=3NC4=CC(=CC=C4N=3)N3CCN(C)CC3)C=C2N1 VMCOQLKKSNQANE-UHFFFAOYSA-N 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- INAAIJLSXJJHOZ-UHFFFAOYSA-N pibenzimol Chemical compound C1CN(C)CCN1C1=CC=C(N=C(N2)C=3C=C4NC(=NC4=CC=3)C=3C=CC(O)=CC=3)C2=C1 INAAIJLSXJJHOZ-UHFFFAOYSA-N 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
- G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Immunology (AREA)
- Chemical & Material Sciences (AREA)
- Theoretical Computer Science (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Artificial Intelligence (AREA)
- Optics & Photonics (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Microscoopes, Condenser (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
본 개시의 일 실시예에 따르면, AI 기술을 사용하여 조직 이미지와 관련된 조직이 정상인지 또는 비정상(예: 암)인지를 나타내는 진단 보조 정보를 제공하는 방법, 장치 및 시스템이 제공된다. 본 개시의 또 다른 실시예에 따르면, 디지털 조직검사를 위한 현미경 시스템을 통해 얻은 조직 이미지를 H&E 이미지의 염색 형태와 유사한 이미지로 생성하는 AI 기반 의사 컬러링 방법, 장치 및 시스템이 제공된다.
Description
본 개시는 의료 기술자가 병리학적 진단을 수행하는데 참조할 수 있는 진단 보조 정보를 제공하는 방법, 장치 및 시스템에 관한 것이다.
보다 구체적으로, 본 개시는 AI(artificial intelligence) 기술을 사용하여 조직(tissue) 이미지와 관련된 조직이 정상인지 또는 비정상(예: 암)인지를 나타내는 진단 보조 정보를 제공하는 방법에 관한 것이다. 또한, 본 개시는 조직 이미지가 획득되는 조건을 고려하여 진단 보조 정보를 제공하기 위한 AI 모델을 학습시키는 방법에 관한 것이다.
또 다른 측면으로, 본 개시는 AI 기반 의사 컬러링(pseudo coloring) 방법, 장치 및 시스템에 관한 것이다. 보다 구체적으로, 본 개시는 현미경 시스템을 통해 얻은 조직 이미지를 의사 컬러링을 위한 AI 모델에 입력하여, H&E(hematoxylin & eosin) 염색의 형태(예를 들어, 색상)와 유사한 이미지를 생성하는 방법, 장치 및 시스템에 관한 것이다.
의료분야에서는 암 같은 질병의 정확한 진단을 위해 신체로부터 세포 또는 조직을 채취하여 현미경을 통해 관찰하는 조직검사(biopsy)를 한다. 조직검사의 일례인 동결 조직 검사에 따르면, 의료 기술자는 신체로부터 채취한 조직을 동결하고 이를 염색하여 병리 슬라이드를 만들고, 현미경을 통해 병리 슬라이드를 관찰하여 해당 조직에 대한 병리학적 진단을 수행한다.
일반적으로, 세포 또는 조직을 염색하지 않고 조직 절편을 관찰하면 그 구조를 파악하기 어렵기 때문에 특정 세포나 세포 소기관, 세포외기질 등에 선택적으로 결합하는 염료를 이용하여 조직을 염색한다. 조직염색법의 일례로, 헤마톡실린(Hematoxylin)과 에오신(Eosin)이라는 두 염료를 사용하는 H&E(Hematoxylin & Eosin) 염색법이 주로 사용된다. 헤마톡실린은 양전하를 띠는 파란색 염기성 염료로 세포에서 음전하를 띠는 DNA와 RNA가 많은 핵을 파랗게 염색한다. 에오신은 음전하를 띠는 붉은색 산성 염료로 세포에서 양전하를 띠는 단백질에 결합하여 주로 세포질을 붉게 염색한다. 의료 기술자는 주로 신체로부터 채취한 조직을 H&E 염색법에 따라 염색하여 병리 슬라이드를 만들고, 현미경으로 이를 관찰함으로써 얻어지는 H&E 이미지를 참조하여 해당 조직에 대한 병리학적 진단을 수행한다.
그러나, 기존 조직검사는 현미경으로 관찰하기 위한 병리 슬라이드를 만드는데 많은 시간이 소요되고, 부위에 대한 샘플링 에러(sampling error)가 발생하는 등 정확도가 낮다는 문제점이 있다.
최근 병리 슬라이드를 만들지 않고, 조직을 특정 염료(예를 들어, 형광 염료)를 도포하여 염색한 후 스캐닝(scanning)함으로써 병리학적 진단을 위한 이미지를 곧바로 생성하는 디지털 조직검사(digital biopsy) 기술이 개발되었다.
이로써, 의료 기술자는 디지털 조직검사를 위한 현미경 시스템을 통해 실시간으로 조직 이미지를 제공받고, 해당 조직에 대한 병리학적 진단을 수행할 수 있게 되었다.
그럼에도 불구하고, 의료 기술자가 수많은 조직 이미지를 일일이 관찰하여 병리학적 진단을 내리기까지는 오랜 시간이 소요되고, 의료 기술자의 불완전한 판단으로 인하여 잘못된 진단이 내려질 가능성이 있다. 나아가, 실제 의료 기관에는 병리 인프라가 구축 되어 있지 않거나, 병리학적 진단을 수행하는 의료 기술자가 속한 병리과가 부재하거나 또는 병리과의 근무 시간 이외에는 병리학적 진단 수행 및 결과 공유가 어려운 경우 등의 한계가 있을 수 있다.
따라서, 의료 기술자가 병리학적 진단하는데 편의를 제공하고, 진단 오류 가능성을 최소화할 수 있는 방안에 대한 필요성이 대두되고 있다.
AI 기술에 따르면, AI 모델은 방대한 양의 학습 데이터(예를 들어, 이미지)를 사전 학습하고, 높은 정확도로 입력 데이터에 대한 특정 판단 또는 예측 결과를 출력할 수 있다.
AI 모델에 방대한 양의 조직 이미지를 사전에 학습시키고, 관찰하고자 하는 조직 이미지를 AI 모델에 입력하면, AI 모델은 해당 조직 이미지의 세포 또는 조직이 정상 또는 비정상(예: 암)인지를 나타내는 진단 보조 정보를 출력할 수 있다.
한편, AI 모델은 입력 받은 조직 이미지에 대한 추론(inference)의 결과로서 진단 보조 정보를 출력할 뿐, 상기 진단 보조 정보가 실제 병리학적 진단에 활용될 수 있는 유효한 정보인지는 판단하지 않는다. 만약 AI 모델이 유효하지 않은 진단 보조 정보를 출력하고, 상기 진단 보조 정보가 의료 기술자에게 제공된다면, 이는 의료 기술자의 불완전한 판단을 야기할 수 있다. 따라서, AI 모델이 출력한 진단 보조 정보 중에서 병리학적 진단에 실제 활용될 수 있는 유효한 정보만 의료 기술자에게 제공하는 방법이 고안될 필요가 있다.
또한, 디지털 조직검사를 위한 현미경 시스템에서는 레이저의 파장 대역, 세포 또는 조직의 부위 등 특정 조건에 따라 조직 이미지를 획득할 수 있다. AI 모델은 현미경 시스템에서 획득한 조직 이미지를 사전에 학습하고, 입력 받은 조직 이미지에 대한 진단 보조 정보를 출력할 수 있다. 따라서, AI 모델이 보다 정확한 진단 보조 정보를 출력할 수 있도록 조직 이미지가 획득된 조건이 상기 AI 모델의 학습에 고려될 필요가 있다.
또한, 디지털 조직검사를 위한 현미경 시스템은 H&E 염색법을 사용한 병리 슬라이드를 필요로 하지 않는다. 따라서, 상기 현미경 시스템을 통해 얻은 조직 이미지의 형태는 의료 기술자에게 익숙한 H&E 이미지와 상이할 수 있다.
만약, 상기 현미경 시스템을 통해 얻은 조직 이미지를 H&E 이미지의 염색 형태와 유사한 이미지로 변환하여 의료 기술자에게 제공할 수 있다면, 의료 기술자는 자신에게 익숙한 형태를 갖는 이미지를 참조하여 편리하게 병리학적 진단을 수행할 수 있을 것이다. 따라서, 디지털 조직검사를 위한 현미경 시스템을 통해 얻은 이미지를 H&E 이미지의 염색 형태와 가깝게 변환하는 의사 컬러링(pseudo coloring)을 위한 AI 모델이 고안될 필요가 있다.
또한, 특정 조직에 대한 이미지를 의사 컬러링함에 있어, 상기 특정 조직이 정상인지 또는 비정상(예: 암)인지에 따라 예상되는 염색 형태가 있다. 만약, 조직이 정상인지 또는 비정상(예: 암)에 따라 적합한 의사 컬러링 AI 모델이 선택될 수 있다면, 선택된 AI 모델을 통해 실제 H&E 이미지에 더 가까운 의사 컬러링 결과 이미지(예를 들어, 가상 H&E 이미지 또는 H&E 유사 이미지로 지칭될 수 있다.)를 얻을 수 있을 것이다. 따라서, 조직의 진단 결과를 고려하여 의사 컬러링을 위한 AI 모델을 선택할 필요가 있다.
본 개시는, AI 기술을 사용하여 조직 이미지와 관련된 조직이 정상인지 또는 비정상(예: 암)인지를 나타내는 진단 보조 정보를 제공하는 방법, 장치 및 시스템을 제안한다.
일 양상에 따르면, 레이저 스캐너, 수광부, 및 프로세서를 포함하고, 상기 프로세서는 제1 축에 대응하는 제1 구동 신호 및 상기 제1 축과 상이한 제2 축에 대응하는 제2 구동 신호를 생성하고, 상기 제1 구동 신호 및 상기 제2 구동 신호에 기반하여 동작하는 상기 레이저 스캐너의 일 단으로부터 조사된 광에 의하여 발생된 여기광(excitation light)을 감지하도록 제1 이미지를 생성하고, 상기 제1 이미지를 인공지능 모델에 입력함으로써, 상기 제1 이미지에 대한 진단 보조 정보와 관련된 활성화 영역을 확인하고, 상기 활성화 영역의 크기 또는 폐-루프(closed loop)의 개수 중 적어도 하나가 미리 정해진 조건을 만족하는지를 판단하고, 상기 조건을 만족하는 경우, 상기 제1 이미지에 대한 상기 진단 보조 정보를 제공하고, 및 상기 조건을 만족하지 않는 경우, 상기 제1 이미지에 대한 상기 진단 보조 정보를 제공하지 않도록 설정된 공초점 현광 현미경 시스템이 제공될 수 있다.
또한, 본 개시는, 디지털 조직검사를 위한 현미경 시스템에서 조직 이미지를 획득하는 조건을 고려하여 진단 보조 정보를 제공하기 위한 AI 모델을 학습시키는 방법, 장치 및 시스템을 제안한다.
일 양상에 따르면, 레이저 스캐너, 수광부, 및 프로세서를 포함하고, 상기 프로세서는 제1 축에 대응하는 제1 구동 신호 및 상기 제1 축과 상이한 제2 축에 대응하는 제2 구동 신호를 생성하고, 상기 제1 구동 신호 및 상기 제2 구동 신호에 기반하여 동작하는 상기 레이저 스캐너의 일 단으로부터 조사된 광에 의하여 발생된 여기 광(excitation light)을 감지하도록 상기 수광부를 제어하고, 상기 감지된 여기광에 기반하여, 조직에 관한 제1 이미지를 생성하고, 상기 광의 파장 값, 상기 조직의 부위 정보, 및 상기 제1 이미지를 암 진단을 위한 제1 인공지능 모델에 입력함으로써, 상기 이미지에 대한 진단 보조 정보를 확인하도록 설정되고, 상기 제1 인공지능 모델은 광의 파장 값, 조직의 부위 정보, 및 조직에 관한 복수의 이미지에 기반하여 학습되는 공초점 형광 현미경 시스템이 제공될 수 있다.
또한, 본 개시는, 디지털 조직검사를 위한 현미경 시스템을 통해 얻은 조직 이미지를 H&E 이미지의 염색 형태와 유사한 이미지로 생성하는 AI 기반 의사 컬러링 방법, 장치 및 시스템을 제공한다.
일 양상에 따르면, 레이저 출력 모듈, 레이저 스캐너, 수광부, 및 프로세서를 포함하고, 상기 프로세서는 제1 축에 대응하는 제1 구동 신호 및 상기 제1 축과 상이한 제2 축에 대응하는 제2 구동 신호를 생성하고, 상기 제1 구동 신호 및 상기 제2 구동 신호에 기반하여 동작하는 상기 레이저 스캐너의 일 단으로부터 조사된 광에 의하여 발생된 여기광을 감지하도록 상기 수광부를 제어하고, 상기 감지된 여기광에 기반하여, 조직에 관한 제1 이미지를 생성하고, (1) 상기 조직의 염색 정보, (2) 상기 레이저 출력 모듈의 동작 정보, (3) 상기 조직의 부위 정보를 확인하며, 상기 제1 이미지, 상기 염색 정보, 상기 동작 정보, 및 상기 부위 정보를 가상 H&E 이미지를 생성하기 위한 제1 인공지능 모델에 입력함으로써, 상기 제1 이미지에 대응하는 제1 H&E 이미지를 생성하도록 설정되고, 상기 제1 인공지능 모델은 조직의 복수의 염색 정보, 레이저 출력 모듈의 복수의 동작 정보, 조직에 관한 복수의 이미지, 및 조직에 관한 복수의 H&E 이미지에 기반하여 학습되는 공초점 형광 현미경 시스템이 제공될 수 있다.
본 개시의 일 실시예에 따르면, AI 기술을 사용하여 조직 이미지와 관련된 조직이 정상인지 또는 비정상(예: 암)인지를 나타내는 진단 보조 정보를 제공하는 방법, 장치 및 시스템이 제공된다. 이에 따라, 병리학적 진단에 실제로 활용될 수 있는 진단 보조 정보가 의료 기술자에게 제공될 수 있고, 의료 기술자는 제공받은 진단 보조 정보를 토대로 보다 정확하고 신속한 병리학적 진단을 수행할 수 있다.
또한, 본 개시의 또 다른 실시예에 따르면, 디지털 조직검사를 위한 현미경 시스템에서 조직 이미지를 획득하는 조건을 고려하여 진단 보조 정보를 생성하기 위한 AI 모델을 학습시키는 방법, 장치 및 시스템이 제공된다. 이를 통해, 관찰 대상인 조직 이미지에 대해 보다 정확한 진단 보조 정보를 생성하는 AI 모델을 얻을 수 있다.
또한, 본 개시의 또 다른 실시예에 따르면, 디지털 조직검사를 위한 현미경 시스템을 통해 얻은 조직 이미지를 H&E 이미지의 염색 형태와 유사한 이미지로 생성하는 AI 기반 의사 컬러링 방법, 장치 및 시스템이 제공된다. 따라서, 현미경 시스템을 사용하는 의료 기술자는 H&E 이미지의 염색 형태와 유사한 조직 이미지를 실시간으로 제공받을 수 있고, 이를 토대로 신속하고 정확한 병리학적 진단을 수행할 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 실시예들의 기술적 방안을 보다 명확하게 설명하기 위해, 실시예들의 도면을 간략히 소개하기로 한다. 하기 도면들은 본 개시의 실시예들은 참조하는 것일 뿐, 본 개시를 한정하는 것은 아니다.
도 1은 본 개시의 일 실시예에 따른 현미경 시스템을 도시한 도면이다.
도 2는 본 개시의 일 실시예에 따른 현미경 시스템이 사용되는 환경의 예시를 도시한 도면이다.
도 3은 본 개시의 일 실시예에 따른 진단 보조 정보를 제공하는 방법을 도시한 도면이다.
도 4는 본 개시의 일 실시예에 따른 AI 모델이 생성한 활성화 맵의 예시를 도시한 도면이다.
도 5는 본 개시의 일 실시예에 따른 활성화 맵 내 활성화 영역의 분포에 기반하여 진단 보조 정보를 제공하는 방법을 도시한 도면이다.
도 6은 본 개시의 일 실시예에 따른 진단 보조 정보의 표시 조건 예시를 도시한 도면이다.
도 7a 및 7b는 본 개시의 일 실시예에 따른 복수의 조직 이미지를 활용하여 진단 보조 정보를 제공하는 방법을 도시한 도면이다.
도 8은 본 개시의 일 실시예에 따른 신체 부위 별 특정 이미지 수만큼의 복수의 조직 이미지를 활용하여 진단 보조 정보를 제공하는 방법을 도시한 도면이다.
도 9는 본 개시의 일 실시예에 따른 특정 환경에서 진단 보조 정보를 제공하는 방법을 도시한 도면이다.
도 10은 본 개시의 일 실시예에 따른 조직 이미지가 획득된 조건을 학습한 AI 모델을 도시한 도면이다.
도 11은 본 개시의 일 실시예에 따른 레이저의 최적 광원 세기를 결정하는 AI 모델을 도시한 도면이다.
도 12는 본 개시의 일 실시예에 따른 의사 컬러링을 위한 AI 모델을 도시한 도면이다.
도 13은 본 개시의 일 실시예에 따른 조직의 진단 결과에 따라 의사 컬러링을 위한 AI 모델을 선택하는 방법을 도시한 도면이다.
도 14는 본 개시의 일 실시예에 따른 조직 이미지 내 활성화 영역부터 점진적으로 의사 컬러링을 확대하여 표시하는 과정을 도시한 도면이다.
도 15는 본 개시의 일 실시예에 따른 현미경 시스템이 조직 이미지를 획득하는 조건에 따라 의사 컬러링을 위한 AI 모델을 선택하는 예시를 도시한 도면이다.
도 16은 본 개시의 일 실시예에 따른 현미경 시스템이 조직 이미지를 획득하는 조건에 따라 의사 컬러링을 위한 AI 모델을 선택하는 방법을 도시한 도면이다.
도 1은 본 개시의 일 실시예에 따른 현미경 시스템을 도시한 도면이다.
도 2는 본 개시의 일 실시예에 따른 현미경 시스템이 사용되는 환경의 예시를 도시한 도면이다.
도 3은 본 개시의 일 실시예에 따른 진단 보조 정보를 제공하는 방법을 도시한 도면이다.
도 4는 본 개시의 일 실시예에 따른 AI 모델이 생성한 활성화 맵의 예시를 도시한 도면이다.
도 5는 본 개시의 일 실시예에 따른 활성화 맵 내 활성화 영역의 분포에 기반하여 진단 보조 정보를 제공하는 방법을 도시한 도면이다.
도 6은 본 개시의 일 실시예에 따른 진단 보조 정보의 표시 조건 예시를 도시한 도면이다.
도 7a 및 7b는 본 개시의 일 실시예에 따른 복수의 조직 이미지를 활용하여 진단 보조 정보를 제공하는 방법을 도시한 도면이다.
도 8은 본 개시의 일 실시예에 따른 신체 부위 별 특정 이미지 수만큼의 복수의 조직 이미지를 활용하여 진단 보조 정보를 제공하는 방법을 도시한 도면이다.
도 9는 본 개시의 일 실시예에 따른 특정 환경에서 진단 보조 정보를 제공하는 방법을 도시한 도면이다.
도 10은 본 개시의 일 실시예에 따른 조직 이미지가 획득된 조건을 학습한 AI 모델을 도시한 도면이다.
도 11은 본 개시의 일 실시예에 따른 레이저의 최적 광원 세기를 결정하는 AI 모델을 도시한 도면이다.
도 12는 본 개시의 일 실시예에 따른 의사 컬러링을 위한 AI 모델을 도시한 도면이다.
도 13은 본 개시의 일 실시예에 따른 조직의 진단 결과에 따라 의사 컬러링을 위한 AI 모델을 선택하는 방법을 도시한 도면이다.
도 14는 본 개시의 일 실시예에 따른 조직 이미지 내 활성화 영역부터 점진적으로 의사 컬러링을 확대하여 표시하는 과정을 도시한 도면이다.
도 15는 본 개시의 일 실시예에 따른 현미경 시스템이 조직 이미지를 획득하는 조건에 따라 의사 컬러링을 위한 AI 모델을 선택하는 예시를 도시한 도면이다.
도 16은 본 개시의 일 실시예에 따른 현미경 시스템이 조직 이미지를 획득하는 조건에 따라 의사 컬러링을 위한 AI 모델을 선택하는 방법을 도시한 도면이다.
본 개시의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장되어진 것이며, 또한, 구성요소(element) 또는 층이 다른 구성요소 또는 층의 “위(on)” 또는 “상(on)”으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위 뿐만 아니라 중간에 다른 층 또는 다른 구성요소를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.
본 개시와 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 이하의 설명에서 사용되는 구성 요소에 대한 접미사 “모듈” 및 “부”는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 개시에서, “AI 모델”은 데이터(예를 들어, 이미지)를 학습(train)하고, 입력 데이터에 대해 특정 판단 또는 예측과 같은 추론(inference)하도록 특화된 하드웨어 구조를 포함할 수 있으며, 하드웨어 구조 이외에 추가적으로 또는 대체적으로 소프트웨어 구조를 포함할 수도 있다.
또한, 본 개시에서 “조직 이미지”는 병리학적 진단을 위해 현미경 시스템을 통해 얻은 이미지를 의미할 수 있으며, 생체 이미지, 병리 이미지, 또는 이와 동일/유사한 의미를 갖는 용어에 의해 지칭될 수 있다.
본 개시의 실시예에 따른 방법은, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 기능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 개시의 일 실시예에 따르면, AI 기술을 사용하여 조직 이미지와 관련된 조직이 정상인지 또는 비정상(예: 암)인지를 나타내는 진단 보조 정보를 제공하는 방법, 장치 및 시스템이 제공된다.일 양상에 따르면, 레이저 스캐너, 수광부, 및 프로세서를 포함하고, 상기 프로세서는 제1 축에 대응하는 제1 구동 신호 및 상기 제1 축과 상이한 제2 축에 대응하는 제2 구동 신호를 생성하고, 상기 제1 구동 신호 및 상기 제2 구동 신호에 기반하여 동작하는 상기 레이저 스캐너의 일 단으로부터 조사된 광에 의하여 발생된 여기광(excitation light)을 감지하도록 제1 이미지를 생성하고, 상기 제1 이미지를 인공지능 모델에 입력함으로써, 상기 제1 이미지에 대한 진단 보조 정보와 관련된 활성화 영역을 확인하고, 상기 활성화 영역의 크기 또는 폐-루프(closed loop)의 개수 중 적어도 하나가 미리 정해진 조건을 만족하는지를 판단하고, 상기 조건을 만족하는 경우, 상기 제1 이미지에 대한 상기 진단 보조 정보를 제공하고, 및 상기 조건을 만족하지 않는 경우, 상기 제1 이미지에 대한 상기 진단 보조 정보를 제공하지 않도록 설정된 공초점 현광 현미경 시스템이 제공될 수 있다.
또한, 상기 프로세서는, (1) 특정 색 임계값(color threshold)에서의 상기 활성화 영역의 크기가 전체 영역 중 임계값 미만인 경우, 또는 (2) 특정 색 임계값에서의 상기 활성화 영역의 상기 폐-루프의 개수가 미리 정해진 개수 이상인 경우 중 적어도 하나에 해당하면, 상기 조건을 만족하지 않는 것으로 결정하도록 설정될 수 있다.
또한, 상기 특정 색 임계값은 미리 지정된 값이거나 사용자에 의하여 선택된 값일 수 있다.
또한, 상기 프로세서는, (1) 특정 색 임계값(color threshold)에서의 상기 활성화 영역의 크기가 전체 여역 중 임계값 이상이고, (2) 특정 임계값에서의 상기 활성화 영역의 상기 폐-루프의 개수가 미리 정해진 개수 미만인 경우, 상기 조건을 만족하는 것으로 결정하도록 설정될 수 있다.
또한, 상기 프로세서는, 상기 조건을 만족하는 경우, 상기 제1 이미지에 대한 상기 진단 보조 정보를 외부 장치에서 표시하도록 상기 제1 이미지를 상기 외부 장치로 송신하도록 설정될 수 있다.
또한, 상기 광은 제1 파장을 갖는 제1 광 및 제2 파장을 갖는 제2 광을 포함할 수 있고, 상기 프로세서는 상기 제1 광을 이용하여 상기 조직에 관한 제1 보조 이미지를 생성하고, 상기 제2 광을 이용하여 상기 조직에 관한 제2 보조 이미지를 생성하고, 상기 제1 보조 이미지 및 상기 제2 보조 이미지를 합성하여 상기 제1 이미지를 생성하고, 상기 제1 보조 이미지를 상기 인공지능 모델에 입력함으로써 획득한 제1 진단 보조 정보, 상기 제2 보조 이미지를 상기 인공지능 모델에 입력함으로써 획득한 제2 진단 보조 정보, 및 상기 제1 이미지를 상기 인공지능 모델에 입력함으로써 획득한 제3 진단 보조 정보를 이용하여 상기 조직에 대한 최종 진단 보조 정보를 결정하도록 설정될 수 있다.
또한, 상기 제1 파장은 400 내지 410 nm, 480 내지 500nm, 또는 770 내지 880nm 중 하나의 파장 대역에 포함될 수 있고, 상기 제2 파장은 상기 제1 파장이 포함된 파장 대역과 다른 하나의 파장 대역에 포함될 수 있다.
또한, 상기 프로세서는 상기 조직에 대한 부위 정보를 확인하고, 상기 부위 정보에 대응하는 특정 이미지 수를 확인하고, 상기 특정 이미지 수만큼 상기 조직에 대한 복수의 이미지를 획득하면, 상기 복수의 이미지를 이용하여 상기 조직에 대한 진단 보조 정보를 결정하도록 설정될 수 있다.
또한, 상기 프로세서는 상기 레이저 스캐너를 포함하는 프로브(probe)를 정해진 패턴에 따라 이동시키는 동안 상기 특정 이미지 수만큼 상기 복수의 이미지를 획득하면, 상기 복수의 이미지 각각에 대한 진단 보조 정보를 확인하고, 상기 복수의 이미지 각각에 대한 진단 보조 정보 중에서 제1 타입의 진단 보조 정보와 관련된 적어도 하나의 이미지의 수가 미리 정해진 수 이하이고, 상기 적어도 하나의 이미지 사이의 최소 거리가 미리 정해진 거리를 초과하면, 상기 적어도 하나의 이미지에 대한 진단 보조 정보를 무시하거나 또는 상기 적어도 하나의 이미지에 대해 새로운 진단 보조 정보를 요청하는 메시지를 출력하도록 설정될 수 있다.
또한, 본 개시의 또 다른 실시예에 따르면, 디지털 조직검사를 위한 현미경 시스템에서 조직 이미지를 획득하는 조건을 고려하여 진단 보조 정보를 생성하기 위한 AI 모델을 학습시키는 방법, 장치 및 시스템이 제공된다.
일 양상에 따르면, 레이저 스캐너, 수광부, 및 프로세서를 포함하고, 상기 프로세서는 제1 축에 대응하는 제1 구동 신호 및 상기 제1 축과 상이한 제2 축에 대응하는 제2 구동 신호를 생성하고, 상기 제1 구동 신호 및 상기 제2 구동 신호에 기반하여 동작하는 상기 레이저 스캐너의 일 단으로부터 조사된 광에 의하여 발생된 여기광을 감지하도록 상기 수광부를 제어하고, 상기 감지된 여기광에 기반하여, 조직에 관한 제1 이미지를 생성하고, 상기 광의 파장 값, 상기 조직의 부위 정보, 및 상기 제1 이미지를 암 진단을 위한 제1 인공지능 모델에 입력함으로써, 상기 이미지에 대한 진단 보조 정보를 확인하도록 설정되고, 상기 제1 인공지능 모델은 광의 파장 값, 조직의 부위 정보, 및 조직에 관한 복수의 이미지에 기반하여 학습되는 공초점 형광 현미경 시스템이 제공될 수 있다.
또한, 상기 공초점 형광 현미경 시스템은 레이저 출력 모듈을 더 포함하고, 상기 프로세서는 상기 조직의 부위 정보 및 상기 제1 이미지 내의 세포핵의 개수를 확인하고, 상기 부위 정보 및 상기 세포핵의 개수를 제2 인공지능 모델에 입력함으로써, 상기 레이저 출력 모듈에 대한 광 출력 세기를 확인할 수 있다. 상기 제2 인공지능 모델은 조직의 부위 정보, 세포핵의 개수, 레이저 출력 모듈의 광 출력 세기에 기반하여 학습될 수 있고, 상기 확인된 광 출력 세기로 상기 레이저 출력 모듈을 동작시킴으로써 상기 조직에 대한 제2 이미지를 생성하도록 설정될 수 있다.
본 개시의 또 다른 실시예에 따르면, 디지털 조직검사를 위한 현미경 시스템을 통해 얻은 조직 이미지를 H&E 이미지의 염색 형태와 유사한 이미지로 생성하는 AI 기반 의사 컬러링 방법, 장치 및 시스템이 제공된다.일 양상에 따르면, 레이저 출력 모듈, 레이저 스캐너, 수광부, 및 프로세서를 포함하고, 상기 프로세서는 제1 축에 대응하는 제1 구동 신호 및 상기 제1 축과 상이한 제2 축에 대응하는 제2 구동 신호를 생성하고, 상기 제1 구동 신호 및 상기 제2 구동 신호에 기반하여 동작하는 상기 레이저 스캐너의 일 단으로부터 조사된 광에 의하여 발생된 여기광을 감지하도록 상기 수광부를 제어하고, 상기 감지된 여기광에 기반하여, 조직에 관한 제1 이미지를 생성하고, (1) 상기 조직의 염색 정보, (2) 상기 레이저 출력 모듈의 동작 정보, (3) 상기 조직의 부위 정보를 확인하며, 상기 제1 이미지, 상기 염색 정보, 상기 동작 정보, 및 상기 부위 정보를 가상 H&E 이미지를 생성하기 위한 제1 인공지능 모델에 입력함으로써, 상기 제1 이미지에 대응하는 제1 H&E 이미지를 생성하도록 설정되고, 상기 제1 인공지능 모델은 복수의 조직 각각에 관한 염색 정보, 상기 레이저 출력 모듈에 관한 복수의 동작 정보, 복수의 조직 각각에 관한 복수의 이미지, 및 복수의 조직 각각에 관한 H&E 이미지에 기반하여 학습되는 공초점 형광 현미경 시스템이 제공될 수 있다.
또한, 상기 제1 이미지는 초점을 맞춘 상태에서 획득한 이미지들 중, 그레이스케일(grayscale) 이미지 또는 RGB(red green blue) 색상 이미지일 수 있다.
또한, 상기 조직의 염색 정보는 상기 조직 내의 세포핵 또는 세포질 중 적어도 하나의 염색 여부에 관한 제1 염색 정보 또는 상기 조직을 염색한 형광 염료에 관한 제2 염색 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 제2 염색 정보는, PpIX (5-ALA), Hoechst, DAPI, Acridine orange (AO), Fluorescein Sodium (FNa), Fluorescein isothiocyanate (FITC), Propidium iodide, acriflavine, Indocyanine Green (ICG), Pafolacianine, Methylene Blue (MB) 중 적어도 하나에 관한 정보를 포함할 수 있다.
또한, 상기 레이저 출력 모듈의 동작 정보는 제1 파장을 갖는 제1 광 또는 제2 파장을 갖는 제2 광에 관한 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 제1 파장은 400nm 내지 410nm, 480nm 내지 500nm, 또는 770nm 내지 800nm 중 하나의 파장 대역에 포함될 수 있고, 상기 제2 파장은 상기 파장 대역들 중 다른 하나의 파장 대역에 포함될 수 있다.
또한, 상기 제1 인공지능 모델은 검사자들의 개인 정보를 더 기반하여 학습될 수 있고, 상기 개인 정보는 신체 정보, 성별 정보, 또는 나이 정보를 포함할 수 있으며, 상기 프로세서는 상기 조직에 대응하는 검사자의 개인 정보를 상기 제1 인공지능 모델에 추가로 입력함으로써 상기 제1 H&E 이미지를 생성하도록 설정될 수 있다.
또한, 상기 프로세서는 가상 H&E 이미지를 생성하기 위한 제1 모드 또는 제2 모드 중 하나를 선택하고, 상기 선택된 모드가 상기 제1 모드인 경우, 상기 제1 인공지능 모델을 이용하여 상기 제1 H&E 이미지를 생성하고; 상기 선택된 모드가 상기 제1 모드인 경우, 상기 제1 이미지를 암 진단을 위한 인공지능 모델에 입력함으로써, 상기 제1 이미지에 대한 진단 보조 정보를 확인하고, 상기 제1 이미지에 대한 진단 보조 정보가 비정상을 나타내는 경우에 상기 제1 이미지를 상기 제2 인공지능 모델에 입력함으로써 제2 H&E 이미지를 생성하고, 상기 제2 이미지에 대한 진단 보조 정보가 정상을 나타내는 경우에 상기 제1 이미지를 상기 제3 인공지능 모델에 입력함으로써 제3 H&E 이미지를 생성하도록 설정될 수 있으며, 상기 제2 인공지능 모델 및 상기 제3 인공지능 모델은 각각 pix-2-pix, cycle GAN(generative adversarial network), style GAN 알고리즘 중 하나와 관련될 수 있다.
또한, 상기 프로세서는 가상 H&E 이미지를 생성하기 위한 제1 모드 또는 제2 모드 중 하나를 선택하고, 상기 선택된 모드가 상기 제1 모드인 경우, 상기 제1 인공지능 모델을 이용하여 상기 제1 H&E 이미지를 생성하고; 상기 선택된 모드가 상기 제2 모드인 경우, (1) 상기 조직의 제1 염색 정보(예를 들어, 세포핵 또는 세포질 중 적어도 하나의 염색 여부를 나타낼 수 있다.) 및 (2) 상기 레이저 출력 모듈의 제1 동작 정보(예를 들어, 단파장 또는 다파장 광원 여부를 나타낼 수 있다.)를 확인하고, 상기 제1 염색 정보 및 상기 제1 동작 정보에 기초하여 가상 H&E 이미지를 생성하기 위한 복수 개의 인공지능 모델 중에서 특정 인공지능 모델을 선택하고(이때, 상기 복수 개의 인공지능 모델은 서로 상이할 수 있다.), 상기 조직의 제2 염색 정보(예를 들어, 염료 정보) 및 상기 레이저 출력 모듈의 제2 동작 정보(예를 들어, 파장 정보)를 확인하고, 상기 제1 이미지, 상기 제2 염색 정보 및 상기 제2 동작 정보를 상기 특정 인공지능 모델에 입력함으로써, 상기 제1 이미지에 대응하는 제2 H&E 이미지를 생성하도록 설정되고, 상기 특정 인공지능 모델은 복수의 조직 각각에 관한 염색 정보, 레이저 출력 모듈에 관한 복수의 파장 값에 관한 정보, 복수의 조직 각각에 관한 이미지들 및 복수의 조직 각각에 관한 H&E 이미지에 기반하여 학습되는 공초점 형광 현미경 시스템이 제공될 수 있다.
또한, 상기 프로세서는 상기 제1 이미지의 활성화 영역을 확인하고, 상기 활성화 영역부터 점진적으로 색 변환을 확대함으로써 상기 제1 H&E 이미지를 생성하도록 설정될 수 있다.
의료분야에서는 암 같은 질병의 정확한 진단을 위해 신체로부터 세포 또는 조직을 채취하여 현미경을 통해 관찰하는 조직검사를 한다. 조직검사의 일례인 동결 조직 검사에 따르면, 의료 기술자는 신체로부터 채취한 조직을 동결하고 이를 염색하여 병리 슬라이드를 만들고, 현미경을 통해 병리 슬라이드를 관찰하여 해당 조직에 대한 병리학적 진단을 수행한다.
일반적으로, 세포 또는 조직을 염색하지 않고 조직 절편을 관찰하면 그 구조를 파악하기 어렵기 때문에 특정 세포나 세포 소기관, 세포외기질 등에 선택적으로 결합하는 염료를 이용하여 조직을 염색한다. 조직염색법의 일례로, 헤마톡실린(Hematoxylin)과 에오신(Eosin)이라는 두 염료를 사용하는 H&E(Hematoxylin & Eosin) 염색법이 주로 사용된다. 헤마톡실린은 양전하를 띠는 파란색 염기성 염료로 세포에서 음전하를 띠는 DNA와 RNA가 많은 핵을 파랗게 염색한다. 에오신은 음전하를 띠는 붉은색 산성 염료로 세포에서 양전하를 띠는 단백질에 결합하여 주로 세포질을 붉게 염색한다. 의료 기술자는 주로 신체로부터 채취한 조직을 H&E 염색법에 따라 염색하여 병리 슬라이드를 만들고, 현미경으로 이를 관찰함으로써 얻어지는 H&E 이미지를 참조하여 해당 조직에 대한 병리학적 진단을 수행한다.
그러나, 기존 조직검사는 현미경으로 관찰하기 위한 병리 슬라이드를 만드는데 많은 시간이 소요되고, 부위에 대한 샘플링 에러(sampling error)가 발생하는 등 정확도가 낮다는 문제점이 있다.
최근 병리 슬라이드를 만들지 않고, 조직을 특정 염료(예를 들어, 형광 염료)를 도포하여 염색한 후 스캐닝(scanning)함으로써 병리학적 진단을 위한 이미지를 곧바로 생성하는 디지털 조직검사(digital biopsy) 기술이 개발되었다.
이로써, 의료 기술자는 디지털 조직검사를 위한 현미경 시스템을 통해 실시간으로 조직 이미지를 제공받고, 해당 조직에 대한 병리학적 진단을 수행할 수 있게 되었다.
본 개시에서 디지털 조직검사를 위한 현미경 시스템은 이미지 생성 장치(image generating device)를 포함할 수 있으며, 이미지 생성 장치는 실시간으로 대상체(object)에 대한 반사 이미지(reflected image, RI), 형광 이미지(fluorescence image, FI), 투과 이미지(transmitted image, TI) 중 적어도 하나를 획득하여 제공하기 위한 광학 장치(optical device)일 수 있다.
일례로, 현미경 시스템은 실시간으로 생체의 병리학적 상태를 직접 관찰 또는 진단하기 위한 다양한 종류의 초소형 현미경(endomicroscope)을 포함할 수 있다.
초소형 현미경은 공초점(confocal), 2광자(two-photon), OCT와 같은 레이저를 기반으로 한 광학 현미경을 지칭할 수 있다.
일반적으로 공초점 현미경(confocal microscope)은 핀홀(pinhole)을 사용하여 초점이 맞지 않는 빛을 차단하고 핀홀을 통과한 빛만을 대물렌즈에 초점을 맞추어 픽셀 단위로 이미징을 수행하는 방식이다.
이와 같은 공초점 원리를 이용한 현미경 중 하나로, 시료에 레이저를 인가하고 일정한 파장의 빛을 발생시켜 초점이 정확하게 맞는 빛만을 검출기로 받아 디지털 신호로 변환하여 관찰하는 공초점 레이저 스캐닝 현미경(confocal laser scanning microscope, CLSM)이 있다.
공초점 레이저 스캐닝 현미경(CLSM)은 일반적인 광학 현미경과 달리 레이저 빔으로 시료에 초점을 맞추며, 시료에서 발생하는 형광, 반사광, 투사광을 이용하여 화상을 생성할 수 있다.
예를 들어, 시료 내의 특정 물질에서 발생하는 자가 형광 또는 시료에 형광 물질을 투입함으로써 형광 이미지를 관찰할 수 있다.
또한, 공초점 레이저 스캐닝 현미경을 이용하는 경우, 시료의 다른 부분에서 나온 산란된 빛은 차단하기 때문에 매우 선명하고 높은 해상도의 이미지를 획득할 수 있다.
또 다른 예로, 현미경 시스템은 실시간으로 대상체를 정밀하게 관찰 또는 진단하기 위한 레이저 마이크로 스캐너(laser microscanner)를 포함할 수 있다.
레이저 마이크로 스캐너는 대표적으로 반도체 공정법을 이용한 MEMS(micro electric mechanical system) 스캐너, 광 섬유를 이용한 광섬유 스캐너로 구분될 수 있다.
또한, 레이저 마이크로 스캐너는 측면을 보는 형태(side-viewing), 원의 둘레를 보는 형태(circumferential-viewing), 전면부를 보는 형태(forward-viewing)로 분류할 수 있다.
MEMS 스캐너는 레이저 빛을 반사시키는 미러 스캐너와 렌즈 스캐너 등이 있고, 주로 측면부 이미징을 수행한다.
이 중 MEMS 스캐너에 있어서 전면부 이미징을 위해서는 미러에 의해 꺾여진 빔을 다시 한번 찍기 위한 장치가 추가로 필요하기 때문에 컴팩트한 패키징이 까다롭다는 단점이 있다.
반면에, 광섬유 스캐너의 경우 압전소자와 같은 액츄에이터를 이용하여 구동하게 되어 MEMS 미러 스캐너 보다 패키징이 간단하고 컴팩트한 패키징이 가능한 장점이 있다.
또한, 광섬유 스캐너는 광 섬유의 공진 주파수로 구동되기 때문에 상대적으로 낮은 전압으로 넓은 FOV(field of view)를 구현한다는 장점이 있다.
전술한 현미경 시스템은 대상체에 대한 형광 이미지, 반사 이미지, 투과 이미지 등을 2차원 또는 3차원 화상으로 획득하기 위한 다양한 분야에 활용될 수 있다.
예를 들어, 현미경 시스템은 생물학 연구, 질병 진단, 내시경 수술 등과 같은 분야에서 실시간으로 대상체의 화상을 관찰 및 진단하기 위해 사용될 수 있다. 또한, 현미경 시스템은 금속 설비의 균열, 구멍, 크립의 정도를 기초로 검사 대상 금속 구조물의 잔여 수명을 측정하기 위해 사용될 수 있다. 또한, 현미경 시스템은 레이저 빔을 반사시켜 분산 주사함으로써 돌아오는 광학 거리를 측정함으로써 3D 입체 정보를 생성하는 라이다(LiDAR) 장치에도 적용될 수 있다.
도 1은 본 개시의 일 실시예에 따른 현미경 시스템을 도시한 도면이다.
도 1을 참조하면, 현미경 시스템은 스캐닝모듈(110), 제어부(130), 광학 모듈(120)을 포함할 수 있다.
스캐닝 모듈(110)는 대상체와 접촉한 상태로 또는 소정의 거리만큼 이격된 상태로 상기 대상체에 빛을 조사할 수 있다. 이에 따라, 상기 스캐닝 모듈(110)은 상기 대상체의 표면으로부터 미리 설정된 거리 이내에 있는 내부를 측정할 수 있다. 일례로, 상기 미리 설정된 거리는 후술한 렌즈 모듈의 초점 거리 조절에 의해 변경될 수 있으며, 0um 내지 250um 일 수 있다.
또한, 스캐닝 모듈(110)은 고정된 장치 또는 핸드헬드(handheld) 타입의 장치일 수 있다. 예를 들어, 핸드헬드 타입의 스캐닝 모듈(110)의 경우 내시경 또는 펜 타입 등의 광학 장치(optical device)일 수 있다. 예를 들어, 핸드헬드 타입의 스캐닝 모듈(110)의 경우 내시경, 펜 타입 등의 형태로 구현될 수 있다.
상기 스캐닝 모듈(110)은 펜 타입의 광학 장치일 수 있다. 예를 들어, 사용자는 관찰하고자 하는 대상체 또는 대상체 주변에 상기 광학 장치를 직접 접촉할 수 있고, 상기 스캐닝 모듈(110)은 상기 대상체 표면으로부터 미리 설정된 거리에 있는 상기 대상체의 내부를 측정할 수 있다.
일 실시예에서, 상기 스캐닝 모듈(110)은 병원에서 사용되는 내시 현미경일 수 있다. 예를 들어, 의료 기술자는 환자의 피부 표면에 상기 스캐닝 모듈(110)을 접촉할 수 있고, 상기 스캐닝 모듈(110)은 접촉면으로부터 50um 깊이에 있는 표층 세포의 상태를 측정할 수 있다.
또는, 예를 들어, 의료 기술자는 암 진단 또는 수술 부위 결정을 위해 환자의 신체 일부를 개복한 상태에서 상기 스캐닝 모듈(110)을 접촉할 수 있고, 상기 스캐닝 모듈(110)은 접촉면으로부터 70um 깊이에 있는 생체 내부 조직을 실시간으로 측정할 수 있다.
이때 생체 내부 조직의 병리학적 상태를 효과적으로 확인하기 위해 미리 형광 염료가 주사제 등의 형태로 주입되어 있을 수 있다. 이 경우, 상기 스캐닝 모듈(110)은 대상체에 빛을 조사할 수 있고, 후술한 광학 모듈(120)은 상기 대상체로부터 되돌아오는 형광 신호를 검출할 수 있다.
한편, 스캐닝 모듈(110)은 후술할 제어부(130)로부터 인가되는 구동 신호에 따라 스캐닝 동작을 수행할 수 있다.
제어부(130)는 전술한 스캐닝 모듈(110)이 미리 설정된 스캐닝 패턴에 따라 스캐닝을 수행하도록 상기 스캐닝 모듈(110)의 전반적인 스캐닝 동작을 제어하기 위한 구성일 수 있다.
제어부(130)는 상기 스캐닝 모듈(110)에 미리 설정된 구동 신호를 인가할 수 있다. 상기 미리 설정된 구동 신호는 주파수, 전압, 위상 등을 포함할 수 있다.
예를 들어, 제어부(130)는 상기 스캐닝 모듈(110)에 의해 수행되는 빛의 조사 범위를 변경하기 위해 상기 주파수, 전압, 위상 등을 조정할 수 있다.
또는, 제어부(130)는 사용자로부터 입력되는 구동 신호를 기초로 스캐닝 동작을 수행하도록 상기 스캐닝 모듈(110)을 제어할 수 있다.
상기 미리 설정된 스캐닝 패턴은 다양할 수 있고, 상기 제어부(130)는 상기 미리 설정된 스캐닝 패턴에 대응되는 구동 신호를 상기 스캐닝 모듈(110)에 인가할 수 있다.
본 개시에서 제어부(130)는 적어도 하나의 프로세서를 포함할 수 있다.
광학 모듈(120)은 상기 스캐닝 모듈(110)에 빛을 인가하고, 상기 스캐닝 모듈(110)을 통해 되돌아오는 신호를 검출하는 광학 시스템이다.
본 개시의 실시예에서, 광학 모듈(120)은 공초점 현미경 시스템일 수 있고, 상기 광학 모듈(120)은 전술한 스캐닝 모듈(110)과 분리되어 별도의 장치로 제공될 수 있다.
광학 모듈(120)은 적어도 광 조사부(121) 및 수광부(123)를 포함할 수 있다.
광 조사부(121)는 미리 설정된 파장대의 레이저 신호를 방출하는 레이저 장치일 수 있다. 이때 레이저 장치는 대상체에 대한 반사 이미지, 형광 이미지, 투과 이미지 중 어떤 화상을 관찰할 것인지에 따라 선택될 수 있다.
예를 들어, 본 개시의 실시예에서 레이저 장치는 근적외선 영역의 레이저 신호를 방출하는 것일 수 있다.
일례로, 형광 이미지에 있어서 레이저 신호는 사용되는 형광 염료에 따라 405nm, 488nm, 785nm 파장 등이 사용될 수 있다. 여기에서, 형광 염료는 생체 내부 세포, 혈관, 조직 등의 병리학적 특징을 구분하기 위해 사용될 수 있으며, ICG, FNa, 5-ALA, 기타 의료법 상 승인된 염료가 적용될 수 있다.
또 다른 예로, 본 개시에서 고려될 수 있는 형광 염료의 염색 부위 및 상기 형광 염료가 반응하는 레이저 신호의 파장 대역은 다음 [표 1]을 참조할 수 있다. 하기의 [표 1]은 예시적인 것으로서, 본 개시가 이에 제한되는 것은 아니다.
| 파장 대역 염색 부위 |
400-410 nm | 480-500 nm | 770-800 nm |
| 핵 | DAPI (Em: 460 nm, 400-600 nm) |
Acriflavine (Em : 515 nm, water) |
|
| 핵 | Hoechst 34580(Em : 450 nm, 400-600 nm) | Acridine orange (Em : 525 nm, 500-650 nm) |
|
| 핵 | Hoechst 33258(Em : 450 nm, 400-600 nm) |
Propidium iodide (Em : 620 nm, 580-720 nm) |
|
| 핵 제외 다른 세포 부분(세포질) | 5-ALA | Fluorescein Sodium (FNa) (Em : 505-585 nm) |
ICG (Em : 845 nm, 760-880 nm) |
| 핵 제외 다른 세포 부분(세포질) | FITC-dextran(Em : 525 nm, 500-630 nm) |
[표 1]을 참조하면, 예를 들어, 제1 파장 대역의 레이저 신호에 반응하는 형광 염료 및 제2 파장 대역의 레이저 신호에 반응하는 형광 염료로 조직을 염색하고, 레이저 장치를 통해 제1 파장 대역 및 제2 파장 대역의 레이저 신호를 각각 상기 조직에 조사할 수 있다.
이와 같이, 본 개시의 현미경 시스템에서 조직 이미지를 획득하는 조건은 [표 1]을 참조할 수 있다. 여기에서, 본 개시의 현미경 시스템에서 조직 이미지를 획득하는 조건은 조직의 염색 정보를 포함할 수 있다. 상기 염색 정보는 조직 내 핵 또는 세포질의 염색 여부 또는 조직을 염색한 형광 염료 정보를 포함할 수 있다. 상기 형광 염료 정보는 PpIX (5-ALA), Hoechst, DAPI, Acridine orange (AO), Fluorescein Sodium (FNa), Fluorescein isothiocyanate (FITC), Propidium iodide, acriflavine, Indocyanine Green (ICG), Pafolacianine, Methylene Blue (MB) 중 적어도 하나에 대한 정보를 포함할 수 있다.
또는, 조직 이미지 획득 조건은 조직 이미지를 획득하는데 사용된 레이저 정보(예를 들어, 현미경 시스템의 레이저 출력 모듈의 동작 정보)를 포함할 수 있다. 상기 레이저 정보는 제1 파장을 갖는 제1 광 또는 제2 파장을 갖는 제2 광에 대한 정보를 포함할 수 있다. 예를 들어, 제1 파장은 [표 1]의 제400 내지 410 nm, 480 내지 500nm 및 770 내지 800nm 중 하나의 파장 대역에 포함될 수 있고, 제2 파장은 [표 1]의 제400 내지 410 nm, 480 내지 500nm 및 770 내지 800nm 중 상기 제1 파장이 속한 파장 대역과 다른 파장 대역에 포함될 수 있다.
또한, 광 조사부(121)는 광학 모듈 제어 장치(미도시)로부터 입력되는 신호를 기초로 상기 스캐닝 모듈(110)에 적절한 레이저 소스를 인가할 수 있다.
여기에서, 광학 모듈 제어 장치는 광 조사부(121)로부터 방출되는 레이저 신호의 파워, 이미지의 게인(gain) 등을 제어할 수 있다.
예를 들어, 본 개시의 일 실시예에 따른 현미경 시스템이 의료용 광학 장치인 경우, 레이저 신호의 파워는 1mW 이하로 조사되도록 설정될 수 있다.
또한, 광학 모듈 제어 장치는 전술한 제어부(130)의 일부로서 제공될 수 있다. 이 경우, 제어부(130)는 광 조사부(121)로부터 방출되는 레이저 신호의 파워, 이미지의 게인 등을 제어할 수 있다.
수광부(123)는 전술한 광 조사부(121)로부터 상기 스캐닝 모듈(110)을 통해 조사된 빛에 대해 상기 대상체로부터 되돌아오는 신호를 검출하기 위한 구성일 수 있다.
한편, 본 개시의 광 조사부(121)와 수광부(123)는 광학 모듈(120) 내에서 하나로 구현될 수 있다. 즉, 하나의 광학 모듈(120)을 통해 광을 조사하고, 대상체로부터 반사되는 신호를 수광하는 기능이 모두 구현될 수 있다.
선택적으로, 현미경 시스템은 입력부(140)를 더 포함할 수 있다.
예를 들어, 입력부(140)는 현미경 시스템의 동작 모드를 선택하기 위한 입력 수단일 수 있다. 일례로, 동작 모드는 미리 설정된 적어도 제1 모드, 제2 모드를 포함할 수 있다. 여기에서, 제1 모드는 저해상도 모드 또는 탐색 모드일 수 있다. 또는, 제2 모드는 고해상도 모드 또는 줌인(zoom-in) 모드일 수 있다. 따라서, 사용자는 사용 목적에 따라 상기 제1 모드 또는 상기 제2 모드를 선택하여 표시 장치(150)를 통해 적절한 해상도의 이미지를 확인할 수 있다.
또한, 예를 들어, 입력부(140)는 스캐닝부(110)의 작동 거리(working distance)를 선택하기 위한 입력 수단일 수 있다. 일례로, 작동 거리는 미리 설정된 제1 거리, 제2 거리, 제3 거리 등을 포함할 수 있고, 미리 설정된 작동 거리에 대응되는 입력 수단이 더 제공될 수 있다. 상기 작동 거리는 후술할 렌즈 모듈의 초점 거리에 대응될 수 있다. 예를 들어, 제어부(130)는 선택된 작동 거리에 따라 스캐닝 부(110)의 스캐닝 동작 및 상기 스캐닝부(110)에 의해 생성된 이미지의 캘리브레이션 동작을 수행할 수 있다.
한편, 상술한 구성 외에도 현미경 시스템의 동작을 제어하기 위한 각종 기능에 대응하는 입력 수단이 더 제공될 수 있다.
도 2는 본 개시의 일 실시예에 따른 현미경 시스템이 사용되는 환경의 예시를 도시한 도면이다.
도 2를 참조하면, 본 개시의 일 실시예에 따른 현미경 시스템(200)은 도 1에서 설명한 스캐닝 모듈(110), 광학 모듈(120), 제어부(130), 입력부(140), 표시 장치(150)을 적어도 하나 포함한 이미지 생성 장치(210)와 이미지 분석 장치(220)을 포함할 수 있다. 도 2에 도시된 현미경 시스템(200)은 예시적인 것으로서, 각 구성요소는 모듈로서 하나의 장치에 구현될 수도 있고, 또는 물리적으로 구분되어 서로 다른 장소에 위치할 수 있다. 즉, 현미경 시스템은 현미경 장치 그 자체를 의미하는 것일 수 있을 뿐만 아니라 각각의 구성요소에 의해 대상체를 검사하기 위한 인프라 전체를 의미하는 것일 수도 있다.
본 개시의 일 실시예에 따른 이미지 생성 장치(210)는 대상체(230)를 스캐닝하여 실시간으로 이미지를 생성할 수 있다.
예를 들어, 이미지 생성 장치(210)는, 실험실 또는 수술실에서 실시간으로 생체 조직의 병리학적 상태를 관찰하기 위한 초소형 광섬유 스캐너일 수 있다.
또한, 이미지 분석 장치(220)는 상기 이미지 생성 장치(210)로부터 생성된 이미지를 이용하여 실시간으로 병리학적 진단을 수행하기 위한 장치일 수 있다.
예를 들어, 상기 이미지 분석 장치(220)는 병리학적 진단을 수행할 수 있는 의료 기술자가 사용하는 전자기기일 수 있다. 또는 예를 들어, 상기 이미지 분석 장치(220)는 병리학적 진단을 수행할 수 있는 의료 기술자가 사용하는 전자기기 내부에 모듈 형태로 제공될 수 있다. 또는 예를 들어, 상기 이미지 분석 장치(220)는 이미지를 획득하고 그에 대한 분석 결과를 수행하는 서버일 수 있다.
또한, 이미지 생성 장치(210) 및 이미지 분석 장치(220)는 네트워크를 통해 연결될 수 있다.
상기 네트워크는 다양한 유선 또는 무선 네트워크를 포함할 수 있고, 이미지 생성 장치(210)와 이미지 분석 장치(220)는 상기 네트워크를 통해 각종 정보를 송수신할 수 있다.
예를 들어, 상기 이미지 생성 장치(210)는 네트워크를 통해 상기 이미지 생성 장치(210)에서 생성된 이미지를 상기 이미지 분석 장치(220)로 실시간으로 전송할 수 있다. 상기 이미지 생성 장치(210)와 이미지 분석 장치는 서로 다른 장소에 위치할 수 있다. 예를 들어, 이미지 생성 장치는 수술이나 생체 검사가 진행되는 수술실 또는 실험실에 위치할 수 있고, 이미지 분석 장치는 상기 병리 진단실 또는 검사실에 위치할 수 있다. 이때, 상기 수술실과 병리 진단실은 서로 다른 병원 또는 장소에 위치함으로써 원격 병리(tele-pathology)가 실현될 수도 있다.
한편, 이미지 분석 장치(220)가 의료 기술자에게 할당된 전자기기 내에 모듈 형태로 제공되는 경우 또는 서버의 형태로 제공되는 경우에 있어서, 상기 이미지 분석 장치(220)는 상기 이미지 생성 장치(210)로부터 실시간으로 전송되는 이미지를 기초로 병리학적 진단을 수행하기 위한 프로그램, 소프트웨어 어플리케이션일 수 있다. 또는, 상기 이미지 분석 장치(220)는 병리학적 진단에 참조될 수 있는 진단 보조 정보를 제공하기 위한 AI 모델을 포함할 수 있다. 또는, 상기 이미지 분석 장치(220)는 상기 이미지 생성 장치(210)에서 생성한 이미지를 H&E 이미지와 유사한 염색 형태를 갖는 이미지(예를 들어, 가상 H&E 이미지 또는 H&E 유사 이미지로 지칭될 수 있다.)로 변환하기 위한 의사 컬러링 AI 모델을 포함할 수 있다.
예를 들어, 의료 기술자는 상기 전자기기 상에 표시되는 조직 이미지를 기초로 암 진단, 수술 부위 결정 등 병리 진단을 할 수 있다.
또한, 예를 들어, 의료 기술자는 암 진단, 수술 부위 결정 등과 관련된 정보를 상기 전자기기 상에서 실행되는 어플리케이션을 통해 입력할 수 있다.
또는, 예를 들어, 이미지 분석 장치(220)는 미리 저장된 이미지 분석 프로그램 또는 AI 모델에 기반하여, 암 진단, 수술 부위 결정 등을 위한 진단 보조 정보를 생성할 수 있다.
또는, 예를 들어, 이미지 분석 장치(220)은 미리 저장된 이미지 분석 프로그램 또는 AI 모델에 기반하여 상기 이미지 생성 장치(210)에서 생성한 이미지를 H&E 이미지와 유사한 염색 형태를 갖는 이미지로 변환하기 위한 의사 컬러링을 할 수 있다.
또한, 예를 들어, 상기 이미지 분석 장치(220)는 상기 이미지 생성 장치(210)로부터 수신된 이미지에 기반하여 암 진단 또는 수술 부위 결정을 위한 진단 보조 정보를 생성하고, 상기 이미지 생성 장치(210) 또는 다른 전자기기(미도시)로 전송할 수 있다.
또는, 예를 들어, 상기 이미지 분석 장치(220)는 상기 이미지 생성 장치(210)에서 생성한 이미지를 H&E 이미지와 유사한 염색 형태를 갖는 이미지로 변환하기 위한 의사 컬러링을 수행하고, 의사 컬러링 결과 이미지를 상기 이미지 생성 장치(210) 또는 다른 전자기기(미도시)로 전송할 수 있다.
한편, 상술한 실시예는 이해를 돕기 위하여 이미지 생성 장치(210) 및 이미지 분석 장치(220)을 포함하는 현미경 시스템(200)이 사용되는 환경을 예시적으로 설명한 것으로, 본 개시의 권리범위가 상술한 예시에 한정되는 것은 아니다.
의료 기술자는 현미경 시스템을 통해 획득한 조직 이미지를 토대로 병리학적 진단을 수행할 수 있다.
디지털 조직검사를 위한 현미경 시스템이 도입되었음에도 불구하고, 의료 기술자가 수많은 조직 이미지를 일일이 관찰하여 병리학적 진단을 내리기까지는 오랜 시간이 소요되고, 의료 기술자의 불완전한 판단으로 인하여 잘못된 진단이 내려질 가능성이 있다. 나아가, 실제 의료 기관에는 병리 인프라가 구축 되어 있지 않거나, 병리학적 진단을 수행하는 의료 기술자가 속한 병리과가 부재하거나 또는 병리과의 근무 시간 이외에는 병리학적 진단 수행 및 결과 공유가 어려운 경우 등의 한계가 있을 수 있다.
만약, AI 기술을 도입하여 AI 모델이 의료 기술자 대신 조직 이미지를 분석하고, 조직 이미지에 대해 암 진단과 같은 진단 보조 정보를 생성할 수 있다면, 의료 기술자의 진단 오류를 최소화할 수 있을 것이다.
따라서, 본 개시에서는 AI 기술을 사용하여 의료 기술자가 병리학적 진단을 수행하는 과정에서 참조할 수 있는 진단 보조 정보를 제공하는 방법을 제공한다.
도 3은 본 개시의 일 실시예에 따른 진단 보조 정보를 제공하는 방법을 도시한 도면이다.
도 3을 참조하면, AI 모델(300)은 제1 조직 이미지(310)를 학습할 수 있다. 여기에서 제1 조직 이미지(310)는 신체의 적어도 일부에 기초하여 획득된 이미지로서, 예를 들어, 신체의 특정 부위로부터 채취한 세포 또는 조직에 대한 이미지를 의미할 수 있으며, 해당 세포 또는 조직이 정상인지 또는 비정상(예: 암)인지를 지시하는 인디케이터로 라벨링(labeling)되어 있을 수 있다. 즉, 제1 조직 이미지(310)는 AI 모델(300)을 학습시키기 위한 학습용 이미지를 포함할 수 있다. 예를 들어, 제1 조직 이미지(310)는 H&E 염색법을 사용한 병리 슬라이드 전체 이미지를 특정 크기(예를 들어, 150 내지 200 px)의 패치로 슬라이스한 이미지를 포함할 수 있다. 이때, 제1 조직 이미지(310)는 상술한 현미경 시스템에서 직접 획득한 이미지이거나 또는 다른 전자 장치 또는 의료기기로부터 획득되어 미리 저장된 이미지일 수 있다. 한편, AI 모델(300)의 학습에 사용되는 제1 조직 이미지(310)는 다양한 방법에 따라 획득될 수 있고 본 개시가 이에 제한되는 것은 아니다. 또한, AI 모델(300)은 Inception 또는 Xception을 포함한 CNN(convolution neural network) 알고리즘에 의해 구현될 수 있다. 한편, 본 개시가 이에 제한되는 것은 아니며 AI 모델(300)은 다양한 알고리즘에 의해 구현될 수 있다.
제1 조직 이미지(310)를 학습한 AI 모델(300)은 의료 기술자가 관찰할 제2 조직 이미지(320)를 입력 받을 수 있다. 이때, 제2 조직 이미지(320)는 상술한 현미경 시스템에서 획득한 이미지이거나 또는 미리 저장된 이미지 중 의료 기술자가 선택한 이미지일 수 있다. 한편, AI 모델에 입력되는 조직 이미지는 다양한 방법에 따라 획득될 수 있고 본 개시가 이에 제한되는 것은 아니다.
AI 모델(300)은 제2 조직 이미지(320)에 대한 진단 보조 정보(330)를 출력할 수 있다. 예를 들어, AI 모델(300)은 제2 조직 이미지(320)와 관련된 조직이 정상인지 비정상(예: 암)인지를 나타내는 정보를 진단 보조 정보(330)로 출력할 수 있다. 또는, 예를 들어, AI 모델(300)은 제2 조직 이미지(320)와 관련된 조직이 비정상(예: 암)일 확률 또는 정상일 확률을 진단 보조 정보(330)로 출력할 수 있다. 또한, AI 모델(300)은 입력 받은 제2 조직 이미지(320)에 진단 보조 정보(330)를 표시한 새로운 이미지(예를 들어, 제3 조직 이미지)를 생성하고 출력할 수 있다. 이때, 진단 보조 정보(330)는 현미경 시스템의 표시 장치 또는 외부 장치에 표시될 수 있다.
의료 기술자는 AI 모델(300)이 출력한 진단 보조 정보(330)를 제공받고, 상기 진단 보조 정보(330)를 참조하여 병리학적 진단을 수행할 수 있다.
도 3의 AI 모델(300)의 성능, 즉 진단 보조 정보(330)의 정확도는 주로 학습 데이터 셋(set), 입증(validation) 데이터 셋 및 테스트(test) 데이터 셋에 의해 결정될 수 있고, 정확도 개선을 위해 다양한 알고리즘(network), 하이퍼 파라미터(예를 들어, 학습률, 히든레이어의 크기, 히든레이어의 개수 등) 튜닝, 데이터 전처리(preprocessing)가 수행될 수 있다. 즉, 진단 보조 정보를 생성하는 AI 모델(300)의 성능은 AI 모델(300)을 구현하는 알고리즘의 정확도에 의존할 수 있다. AI 모델(300)을 구현하는 알고리즘은 비교적 높은 정확도의 결과를 출력하지만 일부 결과는 오류를 포함할 수 있다. 특히, 실제로는 조직이 비정상(예: 암)임에도 불구하고, AI 모델(300)이 상기 조직이 정상임을 나타내는 정보를 생성하여 출력하는 문제가 발생할 수 있다. 이러한 경우, AI 모델(300)이 알고리즘에 따라 진단 보조 정보를 결과로서 생성하는 것에 더하여, 이러한 결과에 이르기까지의 과정 또는 근거를 설명할 필요가 있다. 조금의 실수가 치명적인 결과를 초래하는 의료 환경에서 보다 정확하고 신뢰성 있는 진단 보조 정보를 의료 기술자에게 제공하기 위해서, 예를 들어, 시각화(visualization)를 통해 AI 모델(300)이 진단 보조 정보를 생성하는 근거를 설명하는 정보를 시각화 (visualization)하여 의료 기술자에게 추가로 제공하거나, 또는 불필요한 정보를 제외하고 실제 병리학적 진단에 활용할 수 있는 유효한 진단 보조 정보를 의료 기술자에게 제공될 필요가 있다.
한편, AI 모델(300)은 제2 조직 이미지(320)의 세포 또는 조직이 암인지 정상인지를 판단한 근거가 된 영역을 표시할 수 있다. 예를 들어, AI 모델(300)은 제2 조직 이미지(320)의 세포 또는 조직이 암 또는 정상인 것으로 판단한 근거가 된 영역을 나타내는 활성화 맵(또는, 히트 맵)을 생성할 수 있다. 또는, 생성된 이미지(제3 조직 이미지)는 제2 조직 이미지에 기초하여 생성된 활성화 맵을 포함할 수 있다. 이는, AI 모델(330)이 제2 조직 이미지의 전체 영역 중 진단 보조 정보(330)를 생성하는데 많이 활용한 영역을 제2 조직 이미지 상에 표시하여 시각화한 것일 수 있다. 이때, AI 모델(300)는 CAM(class activation mapping)을 통해 활성화 맵을 생성할 수 있다. 한편, 본 개시에서는, AI 모델이 조직 이미지의 전체 영역 중 진단 보조 정보를 생성하는데 활용한 영역을 활성화 영역이라고 지칭할 수 있다.
도 4는 본 개시의 일 실시예에 따른 AI 모델이 생성한 활성화 맵의 예시를 도시한 도면이다.
도 4의 (a)에는 AI 모델이 조직 이미지의 전체 영역 중 진단 보조 정보를 생성하는데 고려한 활성화 영역을 표시한 활성화 맵이 도시되었다.
도 4의 (a)를 참조하면, AI 모델이 생성한 진단 보조 정보가 의료 기술자의 실제 병리학적 진단과 일치하는 경우, 상기 진단 보조 정보를 생성하는데 고려된 활성화 영역은 활성화 맵에서 연속적이고 전체 면적에서 나타난다. 이러한 경우, AI 모델이 진단 보조 정보를 생성하는데 고려한 활성화 영역은 조직 이미지의 전체 영역 중 의료 기술자가 병리학적 진단을 내리는 과정에서 관찰하는 영역과 유사하다고 볼 수 있다. 따라서, 활성화 영역이 연속적이고 전체 면적에서 나타나는 경우의 진단 보조 정보는 실제 병리학적 진단에 활용될 수 있는 유효한 정보로 판단될 수 있다.
도 4의 (b)에는 AI 모델이 조직 이미지의 전체 영역 중 진단 보조 정보를 생성하는데 고려한 활성화 영역을 표시한 활성화 맵이 도시되었다.
도 4의 (b)를 참조하면, AI 모델이 생성한 진단 보조 정보가 의료 기술자의 실제 병리학적 진단과 일치하지 않는 경우, 상기 진단 보조 정보를 생성하는데 고려된 활성화 영역은 활성화 맵에서 국소적이고 지엽적으로 나타난다. 한편, 실제로 의료 기술자는 조직 이미지의 국소적인 영역만 보고 세포 또는 조직이 암 또는 정상이라는 병리학적 진단을 수행하지 않는다. 따라서, 활성화 영역이 국소적이고 지엽적으로 나타나는 경우의 진단 보조 정보는 실제 병리학적 진단에 활용되지 않는 유효하지 않은 정보로 판단될 수 있다.
만약, 유효하지 않은 진단 보조 정보가 의료 기술자에게 제공된다면, 이는 의료 기술자의 불완전한 판단을 야기할 수 있다. 따라서, 본 개시에서는 활성화 맵 내 활성화 영역의 분포에 기반하여 진단 보조 정보를 제공하는 방법을 제공한다.
도 5는 본 개시의 일 실시예에 따른 활성화 맵 내 활성화 영역의 분포에 기반하여 진단 보조 정보를 제공하는 방법을 도시한 도면이다.
본 개시의 진단 보조 정보 생성 및 표시 방법의 각 단계들은 상술한 현미경 시스템과 같은 다양한 형태의 전자 장치에 의해 수행될 수 있다. 이하에서는, 현미경 시스템의 제어부(130)에 의한 본 개시의 진단 보조 정보 제공 방법을 중심으로 설명한다.
501 단계에서, 현미경 시스템은 세포 또는 조직에 대한 조직 이미지를 획득할 수 있다. 예를 들어, 현미경 시스템은 제1 축에 대응하는 제1 구동 신호와 상기 제1 축과 상이한 제2 축에 대응하는 제2 구동 신호를 생성할 수 있다. 현미경 시스템은 상기 제1 구동 신호와 상기 제2 구동 신호에 기반하여 동작하는 레이저 스캐너의 일 단으로부터 조사된 광에 의하여 발생된 여기광을 감지하도록 수광부를 제어할 수 있다. 이후, 현미경 시스템은 감지된 여기광에 기반하여 조직에 관한 조직 이미지를 생성할 수 있다. 또는, 현미경 시스템은 조직 이미지에 대한 사용자(예를 들어, 의료 기술자)의 선택을 입력 받고, 미리 저장된 복수의 조직 이미지 중에서 선택된 조직 이미지를 확인할 수 있다.
502 단계에서, 현미경 시스템은 획득한 조직 이미지를 AI 모델에 입력할 수 있다.
한편, 진단 보조 정보를 생성하는 AI 모델이 입력 받는 조직 이미지는 정상 또는 비정상(예: 암) 진단을 내릴 수 있는 특징을 포함하지 않을 수 있다. 또한, 본 개시의 현미경 시스템을 통해 조직 이미지를 획득하는 경우, 정제되지 않은 환경에서 조직 촬영이 진행되기 때문에 진단 결과를 도출하기 어려운 조직 이미지가 획득될 수 있다. 예를 들어, 조직 이미지의 획득 과정에서 발생한 다양한 아티팩트(예를 들어, 움직임 아티팩트, 초점 벗어남, 형광 신호 세기 불충분, 또는 렌즈 이물질)로 인해 상기 조직 이미지에 대해 정상/비정상 진단 결과를 도출할 수 없는 경우가 발생할 수 있다. 만약 선별된 조직 이미지가 AI 모델에 입력된다면, AI 모델은 보다 정확한 진단 보조 정보를 생성할 수 있을 것이다.
본 개시의 일 실시예에서는 정확도가 낮은 진단 보조 정보를 생성할 가능성이 높은 이미지(예를 들어, 움직임 또는 초점 벗어남 등으로 인해 흐릿한 이미지)를 AI 모델에 입력하는 조직 이미지 셋에서 제외할 수 있다.
이를 위해, 502 단계를 수행하기 전 현미경 시스템은 501 단계에서 획득한 조직 이미지에 대한 진단 보조 정보를 생성할 수 있는지 확인할 수 있다. 또는, 502 단계를 수행하기 전 현미경 시스템은 501 단계에서 획득한 조직 이미지에 대해 정상 또는 비정상 진단을 내릴 수 있는지 확인할 수 있다. 또는, 502 단계를 수행하기 전 현미경 시스템은 501 단계에서 획득한 조직 이미지가 진단 보조 정보 생성 조건을 만족하는지 확인할 수 있다. 예를 들어, 움직임 아티팩트 또는 초점 벗어남 등으로 인해 501 단계에서 획득한 조직 이미지가 흐릿한 이미지에 해당하면, 현미경 시스템은 상기 조직 이미지에 대한 진단 보조 정보를 생성할 수 없음을 확인하거나, 상기 조직 이미지에 대해 정상 또는 비정상 진단을 내릴 수 없음을 확인하거나 또는 상기 조직 이미지가 진단 보조 정보 생성 조건을 만족하지 않음을 확인할 수 있다. 이러한 경우, 현미경 시스템은 501 단계로 다시 돌아가서 조직 이미지를 획득할 수 있다. 또는, 현미경 시스템은 새로운 조직 이미지를 획득하기 위해 재촬영이 필요하다는 정보 또는 진단 보조 정보 생성을 유보한다는 정보를 표시 장치에 표시하거나 또는 상기 정보를 외부 장치로 송신하여 상기 외부 장치에서 표시하도록 할 수 있다.
503 단계에서, 현미경 시스템은 AI 모델로부터 출력된 조직 이미지에 대한 진단 보조 정보 또는 진단 보조 정보와 관련된 활성화 맵을 확인할 수 있다.
504 단계에서, 현미경 시스템은 진단 보조 정보와 관련된 활성화 맵이 상기 진단 보조 정보의 표시 조건을 만족하는지 확인할 수 있다. 예를 들어, 현미경 시스템은 활성화 맵 내 활성화 영역의 크기 또는 활성화 맵 내 폐-루프(closed loop)의 개수 중 적어도 하나가 미리 정해진 조건을 만족하는지 확인할 수 있다.
505 단계에서, 활성화 맵이 진단 보조 정보의 표시 조건을 만족하는 경우, 본 개시의 현미경 시스템은 조직 이미지에 대한 진단 보조 정보를 제공하기로 결정할 수 있다. 예를 들어, 현미경 시스템은 조직 이미지에 대한 진단 보조 정보를 표시 장치에 표시하거나, 또는 상기 진단 보조 정보를 외부 장치로 송신하여 상기 외부 장치에서 표시하도록 할 수 있다. 이에 따라, 의료 기술자는 제공받은 진단 보조 정보를 참조하여 세포 또는 조직에 대해 병리학적 진단을 내릴 수 있다.
506 단계에서, 활성화 맵이 진단 보조 정보의 표시 조건을 만족하지 않는 경우, 현미경 시스템은 조직 이미지에 대한 진단 보조 정보를 제공하지 않도록 결정할 수 있다. 예를 들어, 현미경 시스템은 조직 이미지에 대한 진단 보조 정보를 표시하지 않고 폐기(discard)할 수 있다. 또는, 현미경 시스템은 상기 조직 이미지에 대해 새로운 진단 보조 정보가 필요하다는 메시지를 표시 장치에 표시하거나 또는 상기 메시지를 외부 장치로 송신하여 상기 외부 장치에서 표시하도록 할 수 있다. 이에 따라, 의료 기술자는 조직 이미지와 관련된 세포 또는 조직에 대해 병리학적 진단을 유보하거나 또는 수행하지 않을 수 있다.
도 5에서 설명한 방법에 따라서, 조직 이미지에 대한 진단 보조 정보와 관련된 활성화 맵을 기반으로 상기 진단 보조 정보의 표시 여부를 결정할 수 있다면, 의료 기술자는 실제 병리학적 진단에 참조할 수 있는 유효한 진단 보조 정보만 제공받을 수 있다. 따라서, 의료 기술자는 보다 정확하고 신속한 병리학적 진단을 수행할 수 있다.
이하, 도 6을 참조하여 진단 보조 정보의 활성화 맵을 통해 상기 진단 보조 정보의 표시 조건 만족 여부를 확인하는 504 단계를 구체적으로 설명하기로 한다.
도 6은 본 개시의 일 실시예에 따른 진단 보조 정보의 표시 조건 예시를 도시한 도면이다.
도 6의 (a)에는 활성화 맵 내 전체 영역과 활성화 영역 간 비율을 고려하는 예시가 도시되었다.
도 6의 (a)를 참조하면, 활성화 맵 내 전체 영역과 활성화 영역 간 비율에 기반하여 진단 보조 정보 표시 조건의 만족 여부가 확인될 수 있다. 특정 색 임계값(Color threshold)에서의 활성화 맵 내 활성화 영역의 크기가 전체 영역 대비 특정 비율 미만인 경우, 진단 보조 정보 표시 조건은 만족하지 않는 것으로 결정될 수 있다. 또는, 특정 색 임계값에서의 진단 보조 정보 관련 활성화 맵 내 활성화 영역의 크기가 전체 영역 대비 특정 비율 이상인 경우, 진단 보조 정보 표시 조건은 만족한 것으로 결정될 수 있다. 여기에서, 상기 특정 색 임계값은 미리 지정된 값이거나 현미경 시스템의 사용자에 의해 선택된 값일 수 있다. 예를 들어, 상기 특정 색 임계값은 150일 수 있다. 또한, 상기 특정 비율은 미리 지정된 값이거나 현미경 시스템의 사용자에 의해 선택된 값일 수 있다. 예를 들어, 상기 특정 비율은 5%일 수 있다.
도 6의 (b)에는 활성화 맵 내 활성화 영역의 연속 여부를 고려하는 예시가 도시되었다.
도 6의 (b)를 참조하면, 활성화 맵 내 활성화 영역이 연속적인지 또는 불연속인지에 기반하여 진단 보조 정보 표시 조건의 만족 여부가 확인될 수 있다. 특정 색 임계값에서의 활성화 맵 내 활성화 영역이 이산되어 있는 경우, 진단 보조 정보 표시 조건은 만족하지 않는 것으로 결정될 수 있다. 또는, 특정 색 임계값에서의 활성화 맵 내 활성화 영역이 연속된 경우, 진단 보조 정보 표시 조건은 만족한 것으로 결정될 수 있다. 여기에서, 활성화 영역이 이산되어 있다는 것은 활성화 맵 내 활성화 영역의 폐-루프 개수가 미리 정해진 개수 이상인 경우를 의미할 수 있다. 또한, 활성화 영역이 연속되어 있다는 것은 활성화 맵 내 활성화 영역의 폐-루프 개수가 미리 정해진 개수 미만인 경우를 의미할 수 있다. 이때, 상기 미리 정해진 개수는 2개일 수 있다.
또는, 진단 보조 정보 표시 조건으로 활성화 맵 내 활성화 영역의 크기와 활성화 영역의 연속 여부 중 적어도 하나가 고려될 수도 있다. 예를 들어, 특정 색 임계값에서의 활성화 맵 내 활성화 영역의 크기가 전체 영역 대비 특정 비율 미만인 경우 또는 상기 활성화 영역이 이산되어 있는 경우, 진단 보조 정보 표시 조건은 만족하지 않는 것으로 결정될 수 있다. 또는, 특정 색 임계값에서의 활성화 맵 내 활성화 영역의 크기가 전체 영역 대비 특정 비율 이상이고 상기 활성화 영역이 연속되어 있는 경우, 진단 보조 정보 표시 조건은 만족한 것으로 결정될 수 있다.
한편, 본 개시의 실시예가 적용될 수 있는 현미경 시스템은 서로 다른 대역을 갖는 광(레이저)을 조사하여 발생된 여기광을 기반으로 조직 이미지를 획득할 수 있다. 예를 들어, 앞서 설명한 [표 1]을 참조하면, 현미경 시스템을 통해 관찰하고자 하는 조직은 제1 파장 대역(예를 들어, 400 내지 410 nm, 480 내지 500nm 및 770 내지 800nm 중 하나)을 갖는 광에 반응하는 형광 염료 또는 상기 제1 파장 대역과 다른 제2 파장 대역을 갖는 광에 반응하는 형광 염료로 염색될 수 있다. 본 개시의 현미경 시스템은 제1 파장 대역을 갖는 광을 조사하여 제1 조직 이미지를 획득하거나, 상기 제2 파장 대역을 갖는 광을 조사하여 제2 조직 이미지를 획득하거나, 또는 상기 제1 파장 대역을 갖는 광 및 상기 제2 파장 대역을 갖는 광을 모두 조사하여 제3 조직 이미지를 획득하는 방법으로, 동일 세포 또는 조직에 대해 복수의 조직 이미지를 획득할 수 있다. 이러한 복수의 조직 이미지를 활용한다면, 단일 조직 이미지를 고려하는 경우와 비교하여 보다 신뢰성 높은 진단 보조 정보를 생성할 수 있을 것이다. 따라서, 본 개시에서는 동일 세포 또는 조직에 대해 획득한 복수의 조직 이미지를 활용하여 진단 보조 정보를 생성하는 방법을 제공한다. 이는, 도 7a 및 7b을 참조하여 설명하기로 한다.
도 7a 및 7b는 본 개시의 일 실시예에 따른 복수의 조직 이미지를 활용하여 진단 보조 정보를 제공하는 방법을 도시한 도면이다.
도 7a를 참조하면, 제1 파장 대역을 갖는 광을 조사하여 획득된 제1 조직 이미지(701), 상기 제1 파장 대역과 다른 제2 파장 대역을 갖는 광을 조사하여 획득된 제2 조직 이미지(702)은 AI 모델(700)에 입력될 수 있다. 상술한 실시예에 따라, AI 모델(700)은 제1 조직 이미지(701)에 대한 제1 진단 보조 정보(711)을 출력하고, 제2 조직 이미지(702)에 대한 제2 진단 보조 정보(712)를 출력할 수 있다. 여기에서, 상술한 실시예에 따라 진단 보조 정보 별로 표시 조건 만족 여부가 확인될 수 있고, 이에 따라 해당 진단 보조 정보가 표시되거나 또는 표시되지 않을 수 있다. 의료 기술자는 표시된 제1 진단 보조 정보(711) 및 제2 진단 보조 정보(712)를 참조하여 보다 정확한 병리학적 진단을 내릴 수 있게 된다.
한편, 본 개시의 현미경 시스템은 제1 진단 보조 정보(711) 및 제2 진단 보조 정보(712)에 기반하여 제3 진단 보조 정보를 생성하고 표시할 수도 있다. 예를 들어, 진단 보조 정보 별로 특정 가중치를 설정하고, 제1 진단 보조 정보(711) 및 제2 진단 보조 정보(712)에 가중치 연산을 수행하여 제3 진단 보조 정보를 생성할 수 있다. 이때, 특정 가중치는 파장 대역 별로 미리 정해진 값이거나 또는 현미경 시스템의 사용자로부터 입력 받은 값일 수 있다.
또는, 본 개시의 현미경 시스템은 제1 진단 보조 정보(711) 및 제2 진단 보조 정보(712) 중에서 특정 조건을 만족하는 하나를 선택하여 표시할 수 있다. 예를 들어, 현미경 시스템은 제1 진단 보조 정보(711) 및 제2 진단 보조 정보(712) 중에서 도 5 및 6에서 설명한 진단 보조 정보 표시 조건을 만족하는 진단 보조 정보를 선택하여 표시할 수 있다. 또는, 현미경 시스템은 제1 진단 보조 정보(761) 및 제2 진단 보조 정보(762) 중에서 활성화 영역의 폐-루프 개수가 가장 적은 진단 보조 정보를 선택하여 표시할 수 있다.
도 7b를 참조하면, 제1 파장 대역을 갖는 광을 조사하여 획득된 제1 조직 이미지(751), 상기 제1 파장 대역과 다른 제2 파장 대역을 갖는 광을 조사하여 획득된 제2 조직 이미지(752), 제3 조직 이미지(753)가 AI 모델(750)에 입력될 수 있다. 여기에서, 제3 조직 이미지(753)는 제1 조직 이미지(751) 및 제2 조직 이미지(752)에 기반하여 생성된 이미지일 수 있다. 예를 들어, 제3 조직 이미지(753)는 제1 조직 이미지(751) 및 제2 조직 이미지(752)를 합성한 이미지일 수 있다. 또는, 제3 조직 이미지(753)는 제1 파장 대역 및 제2 파장 대역을 모두 갖는 다파장 광을 조사하여 획득된 이미지 일 수 있다. 이 경우 광이 조사된 조직은 제1 파장 대역에 반응하는 형광 염료 및 제2 파장 대역에 반응하는 형광 염료가 모두 염색된 조직일 수 있다.
상술한 실시예에 따라, AI 모델(750)은 제1 조직 이미지(751)에 대한 제1 진단 보조 정보(761), 제2 조직 이미지(752)에 대한 제2 진단 보조 정보(762), 제3 조직 이미지(753)에 대한 제3 진단 보조 정보(763)를 출력할 수 있다. 여기에서, 상술한 실시예에 따라 진단 보조 정보 별로 표시 조건 만족 여부가 확인될 수 있고, 이에 따라 해당 진단 보조 정보가 표시되거나 또는 표시되지 않을 수 있다. 의료 기술자는 표시된 제1 진단 보조 정보(761), 제2 진단 보조 정보(762) 및 제3 진단 보조 정보(763)를 참조하여 보다 정확한 병리학적 진단을 내릴 수 있게 된다.
한편, 본 개시의 현미경 시스템은 제1 진단 보조 정보(761), 제2 진단 보조 정보(762) 및 제3 진단 보조 정보(763)에 기반하여 제4 진단 보조 정보를 생성하고 표시할 수도 있다. 예를 들어, 진단 보조 정보 별로 특정 가중치를 설정하고, 제1 진단 보조 정보(761), 제2 진단 보조 정보(762) 및 제3 진단 보조 정보(763)에 가중치 연산을 수행하여 제3 진단 보조 정보를 생성할 수 있다. 이때, 특정 가중치는 파장 대역 별로 미리 정해진 값이거나 또는 현미경 시스템의 사용자로부터 입력 받은 값일 수 있다.
또는, 본 개시의 현미경 시스템은 제1 진단 보조 정보(761), 제2 진단 보조 정보(762) 및 제3 진단 보조 정보(763) 중에서 특정 조건을 만족하는 하나를 선택하여 표시할 수 있다. 예를 들어, 현미경 시스템은 제1 진단 보조 정보(761), 제2 진단 보조 정보(762) 및 제3 진단 보조 정보(763) 중에서 도 5 및 6에서 설명한 진단 보조 정보 표시 조건을 만족하는 진단 보조 정보를 선택하여 표시할 수 있다. 또는, 현미경 시스템은 제1 진단 보조 정보(761), 제2 진단 보조 정보(762) 및 제3 진단 보조 정보(763) 중에서 활성화 영역의 폐-루프 개수가 가장 적은 진단 보조 정보를 선택하여 표시할 수 있다.
본 개시의 현미경 시스템을 통해 조직 이미지를 획득함에 있어, 신체 부위 별로 이미지의 특성(예를 들어, 밝기, 노이즈 등)이 다를 수 있다. 따라서, 본 개시에서는 신체 부위 별로 특정 이미지 수를 설정하고, 상기 특정 이미지 수만큼의 복수의 조직 이미지를 활용하여 진단 보조 정보를 제공하는 방법을 제공한다.
도 8은 본 개시의 일 실시예에 따른 신체 부위 별 특정 이미지 수만큼의 복수의 조직 이미지를 활용하여 진단 보조 정보를 제공하는 방법을 도시한 도면이다.
801 단계에서, 현미경 시스템은 세포 또는 조직에 대한 조직 이미지를 획득할 수 있다. 현미경 시스템이 조직 이미지를 획득하는 방법은 상술한 바, 여기에서는 설명을 생략하기로 한다.
802 단계에서, 현미경 시스템은 조직 이미지의 세포 또는 조직에 대한 신체 부위(예를 들어, 부위 정보)를 확인할 수 있다. 여기에서, 신체 부위는 뇌, 전립선 또는 폐 등 중 적어도 하나를 포함할 수 있으나, 이에 제한되지 않는다. 한편, 802 단계의 부위 정보를 확인하는 단계는, 사용자로부터 상기 조직 이미지의 신체 부위에 대한 정보를 입력 받는 단계를 포함할 수 있다. 또는 현미경 시스템은 획득한 조직 이미지에 기반하여 상기 조직 이미지에 대응하는 신체 부위를 확인할 수 있다.
803 단계에서, 현미경 시스템은 신체 부위에 대응하는 특정 이미지 수를 확인할 수 있다. 여기에서, 특정 이미지 수는 진단 보조 정보의 생성에 필요한 최소 이미지 수를 의미할 수 있다. 예를 들어, 신체 부위 별 특정 이미지 수는 [표 2]와 같을 수 있다.
| 부위 | 병명 | 특정 이미지 수 |
| 뇌 | 뇌종양 | N |
| 전립선 | 전립선암 | M |
| 폐 | 폐암 | K |
[표 2]의 신체 부위, 병명 및 특정 이미지 수는 미리 정해졌거나 또는 현미경 시스템의 사용자로부터 입력 받아 설정될 수 있다. 또한, [표 2]에서 N, M, K는 임의의 자연수(natural number)를 의미할 수 있다.
804 단계에서, 현미경 시스템은 803 단계에서 확인한 특정 이미지 수만큼의 조직 이미지가 획득되었는지 확인할 수 있다.
만약, 특정 이미지 수만큼의 조직 이미지가 획득되지 않은 경우, 현미경 시스템은 다시 801 단계로 돌아가 조직 이미지를 획득할 수 있다.
만약, 특정 이미지 수만큼의 조직 이미지가 획득된 경우, 805 단계에서 현미경 시스템은 획득된 복수의 조직 이미지에 기반하여 진단 보조 정보를 생성하고 표시할 수 있다. 예를 들어, 현미경 시스템은 획득된 조직 이미지에 대한 진단 보조 정보를 각각 생성하고 이를 표시할 수 있다. 이때, 상술한 실시예에 따라 진단 보조 정보 별로 표시 조건 만족 여부가 확인될 수 있고, 이에 따라 해당 진단 보조 정보가 표시되거나 또는 표시되지 않을 수 있다. 또는, 도 7a 내지 7b에서 설명한 바와 같이, 현미경 시스템은 획득된 조직 이미지에 대한 진단 보조 정보를 각각 생성하고, 조직 이미지 별 진단 보조 정보를 기반으로 최종 진단 보조 정보를 생성할 수 있다.
도 8에서 설명한 방법에 따르면, 신체 부위 별로 진단 보조 정보의 생성에 필요한 최소 이미지 수가 보장되므로, 보다 정확하고 신뢰성 있는 진단 보조 정보가 제공될 수 있다.
한편, 특정 환경(예를 들어, ex-vivo 환경)에서는 현미경 시스템에 구비된 프로브(또는, 스캐너)를 움직이면서 특정 신체 부위의 일부분에 대한 조직 이미지를 획득하고, 이러한 조직 이미지를 스티칭(stitching)하여 특정 신체 부위에 대해 전체적인 조직 이미지를 획득할 수 있다. 상술한 실시예에 따라, 현미경 시스템은 특정 신체 부위의 일부분에 대한 조직 이미지를 획득하고, 상기 조직 이미지에 대한 진단 보조 정보(예를 들어, 정상인지 또는 비정상(예: 암))를 생성할 수 있다. 이때, 대부분의 이미지에 대해서는 정상으로 판정되었음에도 비정상(예: 암)으로 판정된 적어도 하나의 이미지가 있고, 상기 적어도 하나의 이미지 사이의 거리가 멀다면, 이는 상기 적어도 하나의 이미지에 대한 진단 보조 정보가 정확하지 않다는 것을 의미할 수 있다. 마찬가지로, 대부분의 이미지에 대해서는 비정상(예: 암)으로 판정되었음에도 정상으로 판정된 적어도 하나의 이미지가 있고, 상기 적어도 하나의 이미지 사이의 거리가 멀다면, 이는 상기 적어도 하나의 이미지에 대한 진단 보조 정보가 정확하지 않다는 것을 의미할 수 있다. 이하, 도 9를 참조하여 구체적으로 설명하기로 한다.
도 9는 본 개시의 일 실시예에 따른 특정 환경에서 진단 보조 정보를 제공하는 방법을 도시한 도면이다.
도 9를 참조하면, 본 개시의 현미경 시스템에 구비된 프로브를 특정 환경(예를 들어, ex-vivo 환경)에서 정해진 패턴에 따라 움직이면서 FOV(field of view) 크기에 상응하는 조직 이미지를 연속적으로 획득할 수 있다. 연속적으로 획득한 조직 이미지를 상기 패턴에 따라 스티칭하면 특정 신체 부위에 대해 전체적인 조직 이미지를 획득할 수 있다. 이때, 연속적으로 획득한 조직 이미지의 수는 도 8에서 설명한 신체 부위 별 특정 이미지 수 일 수 있다.
상술한 실시예에 따라, 현미경 시스템은 연속적으로 획득한 조직 이미지 각각에 대한 진단 보조 정보(예를 들어, 정상 또는 비정상을 표시)를 생성할 수 있다.
이후, 현미경 시스템은 연속적으로 획득한 조직 이미지 중에서 제1 타입 진단 보조 정보(예를 들어, 비정상 진단(예: 암))를 갖는 적어도 하나의 조직 이미지의 수가 미리 정해진 수 이하이고, 상기 적어도 하나의 조직 이미지의 수가 미리 정해진 거리(d)를 초과하면, 상기 적어도 하나의 조직 이미지에 대한 진단 보조 정보를 무시할 수 있다. 또한, 현미경 시스템은 상기 적어도 하나의 이미지에 대해 새로운 진단 보조 정보를 요청하는 메시지를 표시 장치 또는 외부 장치를 통해 표시할 수도 있다. 이때, 상기 미리 정해진 수와 상기 미리 정해진 거리(d)는 신체 부위 별로 설정될 수 있다.
또는, 현미경 시스템은 연속적으로 획득한 조직 이미지 중에서 제2 타입 진단 보조 정보(예를 들어, 정상 진단)를 갖는 적어도 하나의 조직 이미지의 수가 미리 정해진 수 이하이고, 상기 적어도 하나의 조직 이미지의 수가 미리 정해진 거리(d)를 초과하면, 상기 적어도 하나의 조직 이미지에 대한 진단 보조 정보를 무시할 수 있다. 또한, 현미경 시스템은 상기 적어도 하나의 이미지에 대해 새로운 진단 보조 정보를 요청하는 표시 장치 또는 외부 장치를 통해 표시할 수도 있다. 이때, 상기 미리 정해진 수와 상기 미리 정해진 거리(d)는 신체 부위 별로 설정될 수 있다.
도 9에서 설명한 방법에 따르면, 현미경 시스템에 구비된 프로브를 정해진 패턴에 따라 움직이면서 조직 이미지를 연속적으로 획득하는 경우에 있어서, 관심 신체 부위와 관련하여 보다 정확한 진단 보조 정보를 수집할 수 있다.
상술한 실시예에서는, 조직 이미지를 사전에 학습한 AI 모델이 새로운 조직 이미지를 입력 받고 진단 보조 정보를 출력하는 방법을 개시하였다. 한편, AI 모델이 학습하는 조직 이미지는 현미경 시스템이 사용한 광의 파장 대역, 신체 부위 등 특정 조건에 따라 획득될 수 있다. 따라서, AI 모델이 조직 이미지뿐만 아니라 상기 조직 이미지가 획득된 조건을 함께 학습할 수 있다면, AI 모델은 보다 정확한 진단 보조 정보를 생성할 수 있을 것이다. 따라서, 본 개시에서는 조직 이미지가 획득된 조건을 고려하여 AI 모델을 학습시키는 방법을 개시한다.
도 10은 본 개시의 일 실시예에 따른 조직 이미지가 획득된 조건을 학습하는 AI 모델을 도시한 도면이다.
도 10을 참조하면, AI 모델은 조직 이미지 및 상기 조직 이미지가 획득된 조건(예를 들어, 광의 파장 대역, 상기 세포 또는 조직의 부위 정보)를 학습할 수 있다. 이때, 상기 조직 이미지는 조직이 정상인지 또는 비정상(예: 암)인지를 지시하는 인디케이터로 라벨링되어 있을 수 있다. AI 모델이 학습하는 상기 조직 이미지는 상술한 현미경 시스템에서 직접 획득한 이미지이거나 또는 다른 전자 장치 또는 의료기기로부터 획득되어 미리 저장된 이미지일 수 있다. 한편, AI 모델의 학습에 사용되는 조직 이미지는 다양한 방법에 따라 획득될 수 있고 본 개시가 이에 제한되는 것은 아니다. 또한, AI 모델이 학습하는 조직 이미지가 획득된 조건은 앞서 설명한 [표 1]을 참조할 수 있다.
AI 모델은 조직 이미지, 상기 조직 이미지가 획득된 조건(예를 들어, 광의 파장 대역, 세포 또는 조직의 부위 정보)를 입력 받을 수 있다. AI 모델이 입력 받은 조직 이미지는 상술한 현미경 시스템에서 획득한 이미지이거나 또는 미리 저장된 이미지 중 의료 기술자가 선택한 이미지일 수 있다. 한편, AI 모델에 입력되는 조직 이미지는 다양한 방법에 따라 획득될 수 있고 본 개시가 이에 제한되는 것은 아니다. 또한, AI 모델이 입력 받은 조직 이미지가 획득된 조건은 앞서 설명한 [표 1]을 참조할 수 있다.
AI 모델은 입력 받은 조직 이미지에 대한 진단 보조 정보를 생성할 수 있다.
한편, 본 개시의 현미경 시스템이 조직 이미지를 획득함에 있어, 조직 별로 요구되는 레이저의 광원 세기는 상이할 수 있다. 만약 현미경 시스템이 최적의 광원 세기로 대상체인 세포 또는 조직에 레이저를 조사할 수 있다면, 좋은 품질의 조직 이미지를 획득할 수 있을 것이다. 따라서, 본 개시에서는 AI 모델을 통해 세포 정보 또는 부위 정보에 따라 최적의 광원 세기를 결정하는 방법을 제안한다.
도 11은 본 개시의 일 실시예에 따른 레이저의 최적 광원 세기를 결정하는 AI 모델을 도시한 도면이다.
도 11을 참조하면, AI 모델은 조직의 부위 정보, 세포 정보(예를 들어, 조직 이미지 내 세포핵 수) 및 라벨링 값인 레이저의 광원 세기를 학습할 수 있다.
AI 모델은 조직의 부위 정보, 세포 정보(예를 들어, 조직 이미지 또는 조직 이미지 내 세포핵 수 정보)를 입력 받을 수 있다.
AI 모델은 입력 받은 조직의 부위 정보, 세포 정보에 대하여, 레이저의 최적 광원 세기를 출력할 수 있다.
이에 따라, 현미경 시스템은 AI 모델로부터 출력된 최적 광원 세기로 세포 또는 조직에 레이저를 조사함으로써, 좋은 품질의 조직 이미지를 획득할 수 있다.
한편, 본 개시의 디지털 조직검사를 위한 현미경 시스템은 H&E 염색법을 사용한 병리 슬라이드를 필요로 하지 않을 수 있다. 따라서, 상기 현미경 시스템을 통해 얻은 조직 이미지의 형태는 의료 기술자에게 익숙한 H&E 이미지와 상이할 수 있다. 예를 들어, H&E 염색법을 사용한 병리 슬라이드로부터 획득한 조직 이미지와 본 개시의 현미경 시스템을 통해 획득한 조직 이미지를 비교하면 다음 [표 3]과 같을 수 있다. 한편, [표 3]은 설명의 편의를 위해 예시로 든 것일 뿐, 본 개시가 이에 제한되는 것은 아니다.
| H&E 염색법을 사용한 병리 슬라이드로부터 획득한 조직 이미지 | 본 개시의 현미경 시스템을 통해 획득한 조직 이미지 | |
| Color Matrix | Red/Green/Blue | Grayscale |
| 배경색 | White | Black |
| 염료 | Hematoxylin(핵), Eosin(세포질) | 표 1 참조예를 들어, AO(핵), FNA, ICG(세포질) |
| 촬영 대상 | 얇게 잘라낸 조직 슬라이스(2D) | 절개한 조직(3D) |
| FOV | mm 단위(예를 들어, 5mm X 5mm) | μm 단위(예를 들어, 500 μm X 500 μm) |
| 이미지 해상도 | 10000px X 10000px 이상 | 1024px X 1024px |
| 특징 | 여러 개의 이미지 타일(tile)을 이어 붙여 대면적을 보여줄 수 있음 | 조직 염색 후 빠르게 이미지를 촬영하여 획득할 수 있음 |
만약, 상기 현미경 시스템을 통해 얻은 조직 이미지를 H&E 이미지의 염색 형태(예를 들어, 색상)와 유사한 이미지로 변환하여 의료 기술자에게 제공할 수 있다면, 의료 기술자는 자신에게 익숙한 형태를 갖는 이미지를 참조하여 편리하게 병리학적 진단을 수행할 수 있을 것이다.
따라서, 본 개시에서는 디지털 조직검사를 위한 현미경 시스템을 통해 얻은 이미지를 H&E 이미지의 염색 형태와 가깝게 변환하는 의사 컬러링을 위한 AI 모델이 개시된다.
도 12는 본 개시의 일 실시예에 따른 의사 컬러링을 위한 AI 모델을 도시한 도면이다.
도 12에서 설명하는 의사 컬러링을 위한 AI 모델은 상술한 현미경 시스템과 같은 다양한 형태의 전자 장치에 의해 제어될 수 있다. 예를 들어, 후술하는 의사 컬러링을 위한 AI 모델 학습, 조직 이미지 입력을 통한 가상 H&E 이미지 생성은 현미경 시스템의 제어부(130)에 의해 수행될 수 있다. 또한, 본 개시에서 의사 컬러링을 위한 AI 모델은 GAN(generative adversarial network) 알고리즘(예를 들어, pix-2-pix, cycle GAN, style GAN 등의 알고리즘) 에 의해 구현될 수 있다. 한편, 본 개시가 이에 제한되는 것은 아니며 의사 컬러링을 위한 AI 모델은 다양한 알고리즘에 의해 구현될 수 있다.
도 12를 참조하면, AI 모델(1200)은 제1 조직 이미지(1210) 및 상기 제1 조직 이미지(310)에 대한 라벨링 값인 실제 H&E 이미지(1215)를 학습할 수 있다. 여기에서, 제1 조직 이미지(1210)은 그레이스케일 이미지 또는 RGB 이미지일 수 있다. 한편, 본 개시에서 AI 모델에 학습용으로 사용되는 이미지는 복수의 이미지를 의미할 수 있다. 본 개시의 AI 모델이 학습하는 학습용 제1 조직 이미지(1210)와 실제 H&E 이미지(1215)는 동일한 조직에 대해 서로 다른 방법으로 획득한 이미지일 수 있다. 또는, 제1 조직 이미지(1210)와 H&E 이미지(1215)는 서로 다른 조직에 대해 각각 획득된 이미지 셋을 의미할 수 있다. 즉, 동일한 조직에 대해 현미경 시스템을 통해 획득하는 이미지와 H&E 염색을 통해 획득한 이미지 각각을 이용하여 서로 대응하는 변환을 학습하거나, 서로 다른 조직에 대해 각각 다른 방법으로 획득한 복수의 이미지 셋 간의 스타일 변화를 학습시킬 수도 있다.
또한, AI 모델(1200)은 상기 제1 조직 이미지(1210)를 획득한 조건을 추가적으로 학습할 수 있다. 예를 들어, 상기 조건은 세포핵 및/또는 세포질의 염색 여부, 염료 정보, 단파장 또는 다파장 광원 여부, 파장 대역 중 적어도 하나를 포함할 수 있다. 여기에서, 상기 제1 조직 이미지(1210)를 획득한 조건은 앞서 설명한 [표 1]을 참조할 수 있다. 예를 들어, [표 1]을 참조하면, 현미경 시스템을 통해 관찰하고자 하는 조직은 제1 파장 대역(예를 들어, 400 내지 410nm, 480 내지 500nm 및 770 내지 800nm 중 하나)을 갖는 광에 반응하는 형광 염료 또는 상기 제1 파장 대역과 다른 제2 파장 대역을 갖는 광에 반응하는 형광 염료로 염색될 수 있다. 또한, AI 모델(1200)은 상기 제1 조직 이미지(1210)를 획득한 조건으로 FOV 정보 또는 프로브(probe) 타입 정보(예를 들어, conical 타입 또는 lensed 타입)를 학습할 수도 있다. 본 개시의 현미경 시스템은 제1 파장 대역을 갖는 광 또는 제2 파장 대역을 갖는 광을 조사함으로써, 상기 제1 조직 이미지(1210)을 획득할 수 있다. 한편, 상기 제1 조직 이미지(1210)는 상술한 현미경 시스템에서 직접 획득한 이미지이거나 또는 다른 전자 장치 또는 의료기기로부터 획득되어 미리 저장된 이미지일 수 있다. 한편, AI 모델(1200)의 학습에 사용되는 제1 조직 이미지(1210)는 다양한 방법에 따라 획득될 수 있고 본 개시가 이에 제한되는 것은 아니다.
또한, AI 모델(1200)은 상기 제1 조직 이미지(1210)와 관련된 검사자의 개인 정보를 학습할 수 있다. 예를 들어, 상기 개인 정보는 검사자의 신체 정보, 성별 정보, 또는 나이 정보 중 적어도 하나를 포함할 수 있다.
AI 모델은(1200)은 의사 컬러링할 제2 조직 이미지(1220)를 입력 받을 수 있다. 여기에서, 제2 조직 이미지(1220)은 초점을 맞춘 상태에서 획득한 이미지들일 수 있다. 일 실시예에 따르면, 제2 조직 이미지(1220)는 그레이스케일 이미지 또는 RGB 이미지일 수 있다. 또한, 제2 조직 이미지의 크기는 1mm X 1mm 보다 작은 크기를 가질 수 있으나, 본 개시의 적용이 이미지의 크기에 제한되는 것은 아니다. 또한, AI 모델(1200)은 상기 제2 조직 이미지(1220)를 획득한 조건을 추가적으로 입력 받을 수 있다. 예를 들어, 상기 조건은 세포핵 및/또는 세포질의 염색 여부, 염료 정보, 단파장 또는 다파장 광원 여부, 파장 대역 중 적어도 하나를 포함할 수 있다. 또한, AI 모델(1200)은 상기 제2 조직 이미지(1220)를 획득한 조건으로 FOV 정보 또는 프로브 타입 정보(예를 들어, conical 타입 또는 lensed 타입)를 입력 받을 수도 있다. 여기에서, 상기 제2 조직 이미지(1220)를 획득한 조건은 앞서 설명한 [표 1]을 참조할 수 있다. 예를 들어, [표 1]을 참조하면, 현미경 시스템을 통해 관찰하고자 하는 조직은 제1 파장 대역(예를 들어, 400 내지 410nm, 480 내지 500nm 및 770 내지 800nm 중 하나)을 갖는 광에 반응하는 형광 염료 또는 상기 제1 파장 대역과 다른 제2 파장 대역을 갖는 광에 반응하는 형광 염료로 염색될 수 있다. 본 개시의 현미경 시스템은 제1 파장 대역을 갖는 광 또는 제2 파장 대역을 갖는 광을 조사함으로써, 상기 제2 조직 이미지(1220)을 획득할 수 있다. 한편, 상기 제2 조직 이미지(1210)는 상술한 현미경 시스템에서 직접 획득한 이미지이거나 또는 다른 전자 장치 또는 의료기기로부터 획득되어 미리 저장된 이미지일 수 있다. 한편, AI 모델(1200)의 학습에 사용되는 제2 조직 이미지(1220)는 다양한 방법에 따라 획득될 수 있고 본 개시가 이에 제한되는 것은 아니다.
또한, AI 모델(1200)은 상기 제2 조직 이미지(1220)와 관련된 검사자의 개인 정보를 입력 받을 수 있다. 예를 들어, 상기 개인 정보는 검사자의 신체 정보, 성별 정보, 또는 나이 정보 중 적어도 하나를 포함할 수 있다.
AI 모델(1200)은 상기 제2 조직 이미지(1220)를 H&E 이미지의 염색 형태와 유사한 이미지로 변환한 제3 조직 이미지(1230)를 출력할 수 있다. 이때 출력되는 제3 조직 이미지는 가상 H&E 이미지일 수 있다. 여기서 가상 H&E 이미지란, H&E 염색을 통해 얻는 조직 이미지와 유사한 색감을 나타내도록 조정된 이미지를 의미할 수 있다. 즉, 가상 H&E 이미지는 핵과 세포질에 해당하는 각 부위의 색이 H&E 염료로 염색된 색을 나타내도록 조정된 이미지를 의미할 수 있다. 예를 들어, 상기 제2 조직 이미지(1220)가 핵만 염색된 조직을 관찰하여 획득된 이미지라면 가상 H&E 이미지는 상기 제2 조직 이미지(1220) 내 핵에 해당하는 부위의 색이 헤마톡실린(H) 염료로 염색된 색을 나타내도록 조정된 이미지를 의미할 수 있으며, 이때 가상 H&E 이미지는 가상 H 이미지(또는 H-like 이미지)라고 지칭될 수도 있다. 또 다른 예로, 상기 제2 조직 이미지(1220)이 세포질만 염색된 조직을 관찰하여 획득된 이미지라면 가상 H&E 이미지는 상기 제2 조직 이미지(1220) 내 세포질에 해당하는 부위의 색이 에오신(E) 염료로 염색된 색을 나타내도록 조정된 이미지를 의미할 수 있으며, 이때 가상 H&E 이미지는 가상 E 이미지(또는 E-like 이미지)라고 지칭될 수도 있다.
도 12에서 설명한 의사 컬러링을 위한 AI 모델에 따르면, 본 개시의 현미경 시스템을 사용하는 의료 기술자는 자신에게 친숙한 형태를 갖는 가상 H&E 이미지를 제공받을 수 있고, 이를 토대로 신속하고 정확하게 병리학적 진단을 수행할 수 있다.
한편, 의사 컬러링 과정에서 염색 형태의 변형이 발생할 수 있다. 예를 들어, 조직 이미지에서 핵으로 추정되는 추정되는 영역이 가상 H&E 이미지에서 더 크게 표현되거나 또는 핵과 세포질의 영역 간 경계가 바뀌는 변형이 발생할 수 있다.
H&E 염색법을 사용할 경우, 일반적으로 정상 조직과 비교하여 악성 종양은 핵이 비대해져서 과염색 현상이 나타날 수 있다. 그러나, 본 개시에 따른 의사 컬러링 과정에서, 조직이 정상임에도 불구하고 핵이 더 크고 진하게 변형되어 과염색성으로 오해할 수 있는 가상 H&E 이미지가 생성될 수 있다.
이 경우 의료 기술자가 병리학적 진단을 수행함에 있어 혼란을 초래할 수 있으므로, 조직 이미지에서 병리학적 진단에 중요하게 활용되는 정보(예를 들어, 핵의 크기 또는 핵/세포질의 영역 간 경계)는 의사 컬러링 과정 동안 변형되지 않는 것이 유리할 수 있다. 또는, 반대로 악성 종양으로 판단되는 조직의 경우 과염색성 이미지로 표시하도록 변형하는 것이 유리할 수 있다.
즉, 본 개시의 현미경 시스템을 통해 얻은 특정 조직에 대한 이미지를 의사 컬러링(pseudo coloring)함에 있어서, 상기 특정 조직이 정상인지 또는 비정상(예: 암)인지에 따라 적합한 의사 컬러링 AI 모델이 선택될 수 있다면, 선택된 AI 모델을 통해 실제 H&E 이미지에 더 가까운 가상 H&E 이미지를 얻을 수 있을 것이다.
앞선 실시예에서는, 조직 이미지를 입력 받고 조직이 정상 또는 비정상(예: 암)인지를 나타내는 진단 보조 정보를 생성하는 AI 모델을 설명하였다. 이러한 진단 보조 정보 즉, 조직의 진단 결과를 고려하여 의사 컬러링을 위한 AI 모델을 선택할 수 있을 것이다. 이하, 도 13을 참조하여 설명하기로 한다.
도 13은 본 개시의 일 실시예에 따른 조직의 진단 결과에 따라 의사 컬러링을 위한 AI 모델을 선택하는 방법을 도시한 도면이다.
도 13에서 설명하는 각 단계들은 상술한 현미경 시스템과 같은 다양한 형태의 전자 장치에 의해 수행될 수 있다. 예를 들어, 현미경 시스템의 제어부(130)에 의해 조직의 진단 결과에 따라 의사 컬러링을 위한 AI 모델을 선택하는 방법이 수행될 수 있다.
도 13을 참조하면, 1301 단계에서 현미경 시스템은 조직 이미지를 획득할 수 있다. 상기 조직 이미지는 상술한 현미경 시스템에서 획득한 이미지이거나 또는 미리 저장된 이미지 중 의료 기술자가 선택한 이미지일 수 있다. 한편, AI 모델에 입력되는 조직 이미지는 다양한 방법에 따라 획득될 수 있고 본 개시가 이에 제한되는 것은 아니다. 예를 들어, 본 개시의 현미경 시스템은 도 3에서 설명한 바에 따라 조직 이미지를 획득할 수 있다.
1302 단계에서, 현미경 시스템은 획득한 조직 이미지를 AI 모델에 입력하고, AI 모델로부터 상기 조직 이미지와 관련된 조직에 대한 정상 진단 또는 비정상 진단(예: 암)을 나타내는 진단 보조 정보를 획득할 수 있다. 또한, 본 개시에서 진단 보조 정보를 생성하는 AI 모델은 Inception 또는 Xception을 포함한 CNN(convolution neural network) 알고리즘에 의해 구현될 수 있다. 한편, 본 개시가 이에 제한되는 것은 아니며 진단 보조 정보를 생성하는 AI 모델은 다양한 알고리즘에 의해 구현될 수 있다. 예를 들어, 본 개시의 현미경 시스템은 도 3에서 설명한 바에 따라 조직 이미지에 대한 진단 보조 정보를 획득할 수 있다. 또한, 본 개시의 현미경 시스템은 도 3에서 설명한 바에 따라 조직 이미지에 대한 진단 보조 정보를 생성할 수 있는지 확인할 수 있으며, 상기 조직 이미지에 대한 진단 보조 정보를 생성할 수 없음을 확인한 경우 1301 단계로 돌아가 새로운 조직 이미지를 획득할 수 있다.
1303 단계에서, 현미경 시스템은 AI 모델로부터 획득한 진단 보조 정보가 비정상 진단(예: 암)을 나타내는지 확인할 수 있다.
진단 보조 정보가 비정상 진단(예: 암)을 나타내는 경우, 1304 단계에서 현미경 시스템은 조직 이미지를 의사 컬러링하기 위한 제1 AI 모델을 선택할 수 있다. 1305 단계에서 현미경 시스템은 조직 이미지를 상기 제1 AI 모델에 입력하고, 상기 제1 AI 모델로부터 상기 조직 이미지에 대한 가상 H&E 이미지를 획득할 수 있다. 예를 들어, 상기 제1 AI 모델은 조직이 비정상(예: 암)인 경우에 예상되는 염색의 형태를 학습한 AI 모델일 수 있다. 또한, 상기 제1 AI 모델은 pix-2-pix, cycle GAN, style GAN 알고리즘 같은 알고리즘에 의해 구현될 수 있다. 한편, 본 개시가 이에 제한되는 것은 아니며 의사 컬러링을 위한 제1 AI 모델은 다양한 알고리즘에 의해 구현될 수 있다.
진단 보조 정보가 정상 진단을 나타내는 경우, 1306 단계에서 현미경 시스템은 조직 이미지를 의사 컬러링하기 위한 제2 AI 모델을 선택할 수 있다. 이후, 1307 단계에서 현미경 시스템은 조직 이미지를 상기 제2 AI 모델에 입력하고, 상기 제2 AI 모델로부터 상기 조직 이미지에 대한 가상 H&E 이미지를 획득할 수 있다. 예를 들어, 상기 제2 AI 모델은 조직이 정상인 경우에 예상되는 염색의 형태를 학습한 AI 모델일 수 있다. 또한, 상기 제2 AI 모델은 pix-2-pix, cycle GAN, style GAN 알고리즘 같은 알고리즘에 의해 구현될 수 있다. 또는, 상기 제2 AI 모델은 상기 제1 AI 모델과 동일하거나 또는 상이한 알고리즘에 의해 구현될 수 있다. 한편, 본 개시가 이에 제한되는 것은 아니며 의사 컬러링을 위한 제2 AI 모델은 다양한 알고리즘에 의해 구현될 수 있다.
또 다른 방법에 따르면, 본 개시의 현미경 시스템은 의사 컬러링 모드를 확인 또는 선택할 수 있다. 예를 들어, 현미경 시스템은 진단 보조 정보를 생성하는 AI 모델이 사전에 학습되어 있는지 여부, 진단 결과 별로 의사 컬러링을 위한 AI 모델이 사전에 학습되어 있는지 여부, 또는 현미경 시스템 사용자의 선택에 기반하여, 의사 컬러링 모드를 확인 또는 선택할 수 있다.
만약 현미경 시스템이 제1 의사 컬러링 모드를 선택하는 경우, 현미경 시스템은 1304 단계 내지 1307 단계를 수행하지 않고 조직 이미지를 의사 컬러링을 위한 AI 모델에 입력하여 가상 H&E 이미지를 생성할 수 있다. 예를 들어, 진단 보조 정보를 생성하는 AI 모델이 사전에 학습되어 있지 않거나 또는 진단 결과 별로 의사 컬러링을 위한 AI 모델이 사전에 학습되어 있지 않은 경우, 현미경 시스템은 제1 의사 컬러링 모드를 선택할 수 있다.
만약 현미경 시스템이 제2 의사 컬러링 모드를 선택하는 경우, 현미경 시스템은 1304 단계 내지 1307 단계에 따라 조직 이미지를 의사 컬러링을 위한 AI 모델에 입력하여 가상 H&E 이미지를 생성할 수 있다. 예를 들어, 진단 보조 정보를 생성하는 AI 모델 및 진단 결과 별로 의사 컬러링을 위한 AI 모델이 모두 사전에 학습되어 있는 경우, 현미경 시스템은 제2 의사 컬러링 모드를 선택할 수 있다.
도 13의 1301 단계 내지 1307 단계는 순서대로 수행되는 것으로 도시되었으나, 본 개시가 이에 제한되는 것은 아니다. 도 13의 1301 단계 내지 1307 단계 중 일부가 생략되거나 동시에 수행될 수도 있다.
한편, 도 4 내지 6에서 설명한 바와 같이, 진단 보조 정보를 생성하는 AI 모델은 조직 이미지에서 암 또는 정상 진단으로 판단한 근거가 된 활성화 영역을 표시할 수 있다. 본 개시에서는 조직 이미지 내 활성화 영역부터 점진적으로 의사 컬러링을 확대하여 표시하는 방법을 제공한다.
도 14는 본 개시의 일 실시예에 따른 조직 이미지 내 활성화 영역부터 점진적으로 의사 컬러링을 확대하여 표시하는 과정을 도시한 도면이다.
도 14를 참조하면, 현미경 시스템은 조직 이미지에 대한 진단 보조 정보를 생성하는 AI 모델이 표시한 활성화 맵 내 활성화 영역을 확인할 수 있다. 또한, 현미경 시스템은 도 13에서 설명한 방법에 따라 의사 컬러링을 위한 AI 모델을 통해 상기 조직 이미지에 대한 가상 H&E 이미지를 획득할 수 있다. 현미경 시스템은 활성화 영역부터 점진적으로 색 변환을 확대하여 상기 조직 이미지가 상기 가상 H&E 이미지로 변환되는 과정을 표시 장치 또는 외부 장치에 표시할 수 있다.
도 14에서 설명한 방법에 따라. 활성화 영역부터 점진적으로 색 변환이 확대되어 조직 이미지가 가상 H&E 이미지로 변환되는 과정을 의료 기술자가 관찰할 수 있다면, 의료 기술자의 주위를 환기시키고 이미지 내 중요 부분에 대한 집중도를 높일 수 있을 것이다.
의사 컬러링을 위한 AI 모델을 선택하는 또 다른 방법으로, 본 개시의 현미경 시스템은 조직 이미지를 획득한 조건에 따라 의사 컬러링을 위한 AI 모델을 선택할 수 있다.
도 15는 본 개시의 일 실시예에 따른 현미경 시스템이 조직 이미지를 획득하는 조건에 따라 의사 컬러링을 위한 AI 모델을 선택하는 예시를 도시한 도면이다.
도 15의 (a)를 참조하면, 본 개시의 현미경 시스템은 조직 이미지를 획득한 조건인 조직의 염색 정보(예를 들어, 세포핵 또는 세포질 염색 여부) 또는 레이저 정보(예를 들어, 현미경 시스템의 레이저 출력 모듈의 동작 정보)에 따라 의사 컬러링을 위한 AI 모델을 확인 또는 선택할 수 있다. 여기에서, 조직의 염색 정보 및 레이저 정보는 상술한 [표 1]을 참조할 수 있다. 한편, 도 15 (a)에 표시된 AI 모델 1-1 내지 AI 모델 4에 부여된 인덱스는 사용자 구동 환경(예를 들어, 입력데이터, 학습데이터 및/또는 희망 출력데이터 등)에 따라 달라지는 AI 모델을 구분하기 위한 것으로서, 특정 AI 모델을 지칭하기 위한 것이 아니다. 즉, 부여된 인덱스는 입력 이미지의 종류에 따라 원하는 출력 이미지를 획득하기 위해 사용자가 선택할 수 있는 AI 모델을 구분하기 위한 것으로서, 도시된 각각의 AI 모델은 입력 데이터와 출력 데이터에 따라 구분되는 서로 다른 AI 모델을 의미할 수 있으며, 또는 사용자가 선택하는 모드에 따라 출력이 달라지는 하나의 AI 모델 내에서의 각각의 모드를 의미할 수도 있다. 본 개시에서 사용되는 AI 모델이란 표현은 인공 지능을 구현하기 위한 알고리즘 내지 프로그램을 통칭하는 표현으로서, 본 개시의 분야에서 통상의 지식을 가진 기술자가 입력 데이터를 이용하여 원하는 출력 데이터를 생성하기 위해 사용할 수 있는 어플리케이션 내지 소스코드, 및/또는 이를 위한 데이터 셋의 집합을 의미할 수 있다.
예를 들어, 조직의 세포질만 염색하고(1 stain), 현미경 시스템의 레이저 출력 모듈에서 단파장 광원을 사용함으로써 조직 이미지가 획득되었다면, 현미경 시스템은 상기 조직 이미지를 의사 컬러링하기 위해 AI 모델 1-1을 선택할 수 있다. 상기 현미경 시스템은 상기 조직 이미지를 상기 AI 모델 1-1에 입력하고, 상기 AI 모델 1-1은 상기 조직 이미지를 의사 컬러링하여 가상 H&E 이미지 또는 가상 E 이미지를 출력할 수 있다. 여기에서, 상기 AI 모델 1-1은 상기 조직 이미지를 H&E like 의사 컬러링하여 가상 H&E 이미지를 출력할 수 있다. 또는, 상기 AI 모델 1-1은 상기 조직 이미지를 E-like 의사 컬러링하여 가상 E 이미지를 출력할 수 있으며, 상기 가상 E 이미지는 세포질에 해당하는 영역의 색이 에오신(E) 염료로 염색된 색을 나타내도록 조정된 이미지를 의미할 수 있다.
또 다른 예로, 조직의 세포핵만 염색하고(1 stain), 현미경 시스템의 레이저 출력 모듈에서 단파장 광원을 사용함으로써 조직 이미지가 획득되었다면, 현미경 시스템은 상기 조직 이미지를 의사 컬러링하기 위해 AI 모델 1-2를 선택할 수 있다. 상기 현미경 시스템은 상기 조직 이미지를 상기 AI 모델 1-2에 입력하고, 상기 AI 모델 1-2는 상기 조직 이미지를 의사 컬러링하여 가상 H&E 이미지 또는 가상 H 이미지를 출력할 수 있다. 여기에서, 상기 AI 모델 1-2는 상기 조직 이미지를 H&E like 의사 컬러링하여 가상 H&E 이미지를 출력할 수 있다. 또는, 상기 AI 모델 1-2는 조직 이미지를 H-like 의사 컬러링하여 가상 H 이미지를 출력할 수 있으며, 상기 가상 H 이미지는 세포핵에 해당하는 영역의 색이 헤마톡실린(H) 염료로 염색된 색을 나타내도록 조정된 이미지를 의미할 수 있다.
또 다른 예로, 조직의 세포질 및 세포핵을 모두 염색하고(2 stain), 현미경 시스템의 레이저 출력 모듈에서 단파장 광원을 사용함으로써 조직 이미지가 획득되었다면, 현미경 시스템은 상기 조직 이미지를 의사 컬러링하기 위해 AI 모델 2를 선택할 수 있다. 상기 현미경 시스템은 상기 조직 이미지를 상기 AI 모델 2에 입력하고, 상기 AI 모델 2는 상기 조직 이미지를 의사 컬러링하여 가상 H&E 이미지, 가상 H 이미지 또는 가상 E 이미지를 출력할 수 있다. 여기에서, 상기 AI 모델 2는 상기 조직 이미지를 H&E like 의사 컬러링하여 가상 H&E 이미지를 출력할 수 있다. 또는, 상기 AI 모델 2는 상기 조직 이미지를 H-like 의사 컬러링하여 가상 H 이미지를 출력할 수 있다. 또는, 상기 AI 모델 2는 상기 조직 이미지를 E-like 의사 컬러링하여 가상 E 이미지를 출력할 수 있다.
또 다른 예로, 조직의 세포질만 염색하고(1 stain), 현미경 시스템의 레이저 출력 모듈에서 다파장 광원을 사용함으로써 조직 이미지가 획득되었다면, 현미경 시스템은 상기 조직 이미지를 의사 컬러링하기 위해 AI 모델 3-1을 선택할 수 있다. 상기 현미경 시스템은 상기 조직 이미지를 상기 AI 모델 3-1에 입력하고, 상기 AI 모델 3-1는 상기 조직 이미지를 의사 컬러링하여 가상 H&E 이미지 또는 가상 E 이미지를 출력할 수 있다. 여기에서, 상기 AI 모델 3-1은 상기 조직 이미지를 H&E like 의사 컬러링하여 가상 H&E 이미지를 출력할 수 있다. 또는, 상기 AI 모델 3-1은 상기 조직 이미지를 E-like 의사 컬러링하여 가상 E 이미지를 출력할 수 있다.
또 다른 예로, 조직의 세포핵만 염색하고(1 stain), 현미경 시스템의 레이저 출력 모듈에서 다파장 광원을 사용함으로써 조직 이미지가 획득되었다면, 현미경 시스템은 상기 조직 이미지를 의사 컬러링하기 위해 AI 모델 3-2를 선택할 수 있다. 상기 현미경 시스템은 상기 조직 이미지를 상기 AI 모델 3-2에 입력하고, 상기 AI 모델 3-2는 상기 조직 이미지를 의사 컬러링하여 가상 H&E 이미지 또는 가상 H 이미지를 출력할 수 있다. 여기에서, 상기 AI 모델 3-2는 상기 조직 이미지를 H&E like 의사 컬러링하여 가상 H&E 이미지를 출력할 수 있다. 또는, 상기 AI 모델 3-2는 상기 조직 이미지를 H-like 의사 컬러링하여 가상 H 이미지를 출력할 수 있다.
또 다른 예로, 조직의 세포질 및 세포핵을 모두 염색하고(2 stain), 현미경 시스템의 레이저 출력 모듈에서 다파장 광원을 사용함으로써 조직 이미지가 획득되었다면, 현미경 시스템은 상기 조직 이미지를 의사 컬러링하기 위해 AI 모델 4를 선택할 수 있다. 상기 현미경 시스템은 상기 조직 이미지를 상기 AI 모델 4에 입력하고, 상기 AI 모델 4는 상기 조직 이미지를 의사 컬러링하여 가상 H&E 이미지, 가상 H 이미지 또는 가상 E 이미지를 출력할 수 있다. 여기에서, 상기 AI 모델 4는 상기 조직 이미지를 H&E like 의사 컬러링하여 가상 H&E 이미지를 출력할 수 있다. 또는, 상기 AI 모델 4는 상기 조직 이미지를 H-like 의사 컬러링하여 가상 H 이미지를 출력할 수 있다. 또는, 상기 AI 모델 4는 상기 조직 이미지를 E-like 의사 컬러링하여 가상 E 이미지를 출력할 수 있다.
한편, 본 개시의 현미경 시스템은 서로 다른 AI 모델 또는 동일한 AI 모델로부터 가상 H 이미지 및 가상 E 이미지를 획득하고, 이를 합성하여 가상 H&E 이미지를 생성할 수도 있다. 예를 들어, 세포질 및 세포핵이 모두 염색된 조직과 관련된 조직 이미지의 경우, 현미경 시스템은 AI 모델 3-1을 통해 가상 E 이미지를 획득하고, AI 모델 3-2을 통해 가상 H 이미지를 획득한 후 상기 가상 E 이미지와 상기 가상 H 이미지를 합성하여 가상 H&E 이미지를 생성할 수 있다. 또는, 예를 들어, 현미경 시스템은 AI 모델 4를 통해 가상 H 이미지 및 가상 E 이미지를 각각 획득하고, 이들을 합성하여 가상 H&E 이미지를 생성할 수 있다. 가상 H&E 이미지를 생성하기 위해 가상 H 이미지와 가상 E 이미지를 합성하기 위해 사용되는 AI 모델의 조합은 위 예시에 한정되는 것은 아니며, 사용자의 환경(예를 들어, AI 모델을 학습하기 위한 데이터 셋 등)에 따라 적절하게 변형되어 이용될 수 있음은 자명하다.
도 15의 (a)에 도시된 AI 모델 1-1, AI 모델 1-2, AI 모델 2, AI 모델 3-1, AI 모델 3-2 및 AI 모델 4는 서로 다를 수 있다. 예를 들어, 서로 다른 알고리즘에 의해 구현되거나 사전에 학습한 정보가 상이할 수 있다.
한편, 전술한 바와 같이, 도 15의 (a)는 현미경 시스템이 조직 이미지를 획득한 조건에 따라 의사 컬러링을 위한 AI 모델을 선택하는 예시를 도시한 것이며, 도 15의 (a)에 도시된 AI 모델들의 명칭은 구분의 편의를 위해 부여된 것일 뿐이다. 따라서, 본 개시가 이에 제한되는 것은 아니다.
도 15의 (b)는 도 15의 (a)에 도시된 AI 모델을 도시한 것이다.
도 15의 (b)를 참조하면, 도 15의 (a)에 도시된 AI 모델 각각은 조직 이미지, 상기 조직 이미지에 대한 라벨링 값인 실제 H&E 이미지, 염료 정보(예를 들어, 형광 염료 정보) 및 레이저 정보(예를 들어, 파장 대역 정보)를 학습할 수 있다. 여기에서, 염료 정보 및 레이저 정보는 상술한 [표 1]을 참조할 수 있다.
예를 들어, AI 모델 1-1은 조직 이미지, 상기 조직 이미지에 대한 라벨링 값인 실제 H&E 이미지 또는 실제 E 이미지(세포질만 에오신(E)으로 염색한 병리 슬라이드를 관찰하여 획득한 이미지), 조직을 염색한 형광 염료 정보 및 레이저의 파장 대역 정보를 학습할 수 있다. 이때, 상기 실제 E 이미지는 상기 실제 H&E 이미지를 프로세싱하여 획득된 것일 수 있다.
예를 들어, AI 모델 1-2는 조직 이미지, 상기 조직 이미지에 대한 라벨링 값인 실제 H&E 이미지 또는 실제 H 이미지(핵만 헤마톡실린(H)로 염색한 병리 슬라이드를 관찰하여 획득한 이미지), 조직을 염색한 형광 염료 정보 및 레이저의 파장 대역 정보를 학습할 수 있다. 이때, 상기 실제 H 이미지는 상기 실제 H&E 이미지를 이미지 프로세싱하여 획득된 것일 수 있다.
예를 들어, AI 모델 2는 조직 이미지, 상기 조직 이미지에 대한 라벨링 값인 실제 H&E 이미지 또는 실제 H 이미지 또는 실제 E 이미지, 조직을 염색한 형광 염료 정보 및 레이저의 파장 대역 정보를 학습할 수 있다. 이때, 상기 실제 H 이미지 및/또는 상기 실제 E 이미지는 상기 실제 H&E 이미지를 이미지 프로세싱하여 획득된 것일 수 있다.
예를 들어, AI 모델 3-1은 조직 이미지, 상기 조직 이미지에 대한 라벨링 값인 실제 H&E 이미지 또는 실제 E 이미지, 조직을 염색한 형광 염료 정보 및 레이저의 파장 대역 정보를 학습할 수 있다. 이때, 상기 실제 E 이미지는 상기 실제 H&E 이미지를 이미지 프로세싱하여 획득된 것일 수 있다.
예를 들어, AI 모델 3-2는 조직 이미지, 상기 조직 이미지에 대한 라벨링 값인 실제 H&E 이미지 또는 실제 H 이미지, 조직을 염색한 형광 염료 정보 및 레이저의 파장 대역 정보를 학습할 수 있다. 이때, 상기 실제 H 이미지는 상기 실제 H&E 이미지를 이미지 프로세싱하여 획득된 것일 수 있다.
예를 들어, AI 모델 4는 조직 이미지, 상기 조직 이미지에 대한 라벨링 값인 실제 H&E 이미지 또는 실제 H 이미지 또는 실제 E 이미지, 조직을 염색한 형광 염료 정보 및 레이저의 파장 대역 정보를 학습할 수 있다. 이때, 상기 실제 H 이미지 및 상기 실제 E 이미지는 상기 실제 H&E 이미지를 이미지 프로세싱하여 획득된 것일 수 있다.
학습 후 AI 모델은 조직 이미지, 염료 정보(예를 들어, 형광 염료 정보) 및 레이저 정보(예를 들어, 파장 대역 정보)를 입력 받을 수 있다. 이때, AI 모델이 입력 받는 조직 이미지는 현미경 시스템에 의해 품질 좋은 이미지로 선별되거나 또는 사용자의 선택에 따라 품질 좋은 이미지로 선별된 것일 수 있으며, 염료 정보 또는 FOV 정보 등에 따라 분류된 것일 수 있다.
예를 들어, AI 모델 1-1은 조직 이미지, 조직을 염색한 형광 염료 정보 및 레이저의 파장 대역 정보를 입력 받을 수 있다. 이와 같은 원리가 AI 1-2 모델, AI 모델 2, AI 모델 3-1, AI 모델 3-2 및 AI 모델 4에 적용될 수 있다.
이후, AI 모델은 입력 받은 조직 이미지에 대한 가상 H&E 이미지를 생성할 수 있다.
도 16은 본 개시의 일 실시예에 따른 현미경 시스템이 조직 이미지를 획득하는 조건에 따라 의사 컬러링을 위한 AI 모델을 선택하는 방법을 도시한 도면이다.
도 16에서 설명하는 각 단계들은 상술한 현미경 시스템과 같은 다양한 형태의 전자 장치에 의해 수행될 수 있다. 예를 들어, 현미경 시스템의 제어부(130)에 의해 조직 이미지를 획득하는 조건에 따라 의사 컬러링을 위한 AI 모델을 선택하는 방법이 수행될 수 있다.
도 16을 참조하면, 1601 단계에서 현미경 시스템은 조직 이미지를 획득할 수 있다. 상기 조직 이미지는 상술한 현미경 시스템에서 획득한 이미지이거나 또는 미리 저장된 이미지 중 의료 기술자가 선택한 이미지일 수 있다. 한편, AI 모델에 입력되는 조직 이미지는 다양한 방법에 따라 획득될 수 있고 본 개시가 이에 제한되는 것은 아니다. 예를 들어, 본 개시의 현미경 시스템은 도 3에서 설명한 바에 따라 조직 이미지를 획득할 수 있다.
1602 단계에서, 현미경 시스템은 상기 조직 이미지를 획득한 조건을 확인할 수 있다. 예를 들어, 현미경 시스템은 상기 조직 이미지를 획득한 조건으로써, 조직의 염색 정보(예를 들어, 세포핵 또는 세포질 염색 여부) 및 레이저 정보(예를 들어, 단파장 또는 다파장 광원 여부)를 확인할 수 있다. 여기에서, 조직의 염색 정보 및 레이저 정보는 상술한 [표 1]을 참조할 수 있다.
1603 단계에서, 현미경 시스템은 상기 조직 이미지를 획득한 조건에 기반하여, 의사 컬러링을 위한 복수의 AI 모델 중 특정 AI 모델을 확인 또는 선택할 수 있다. 예를 들어, 현미경 시스템은 상기 복수의 AI 모델 중에서 상기 조직 이미지를 획득한 조건과 대응하는 특정 AI 모델을 확인 또는 선택할 수 있다. 여기에서, 상기 복수의 AI 모델은 도 15에서 설명한 바와 같이 학습된 AI 모델일 수 있다. 또한, 상기 복수의 AI 모델은 서로 다를 수 있다. 예를 들어, 상기 복수의 AI 모델은 서로 다른 알고리즘에 의해 구현되거나 사전에 학습한 정보가 상이할 수 있다.
1604 단계에서, 현미경 시스템은 상기 조직 이미지 및 상기 조직 이미지를 획득한 조건을 1603 단계에서 확인한 AI 모델에 입력하고, 1605 단계에서 현미경 시스템은 상기 AI 모델로부터 상기 조직 이미지에 대한 가상 H&E 이미지(또는, 가상 H 이미지, 가상 E 이미지)를 획득할 수 있다. 예를 들어, 현미경 시스템은 상기 조직 이미지를 획득한 조건으로써, 염료 정보(예를 들어, 형광 염료 정보) 및 레이저 정보(예를 들어, 파장 대역 정보)를 확인하고 AI 모델에 입력할 수 있다. 여기에서, 조직의 염료 정보 및 레이저 정보는 상술한 [표 1]을 참조할 수 있다.
또 다른 방법에 따르면, 현미경 시스템은 의사 컬러링 모드를 확인 또는 선택할 수 있다. 예를 들어, 현미경 시스템은 조직 이미지를 획득하는 조건 별 AI 모델이 사전에 학습되어 있는지 여부 또는 현미경 시스템 사용자의 선택에 기반하여, 의사 컬러링 모드를 확인 또는 선택할 수 있다.
만약 현미경 시스템이 제1 의사 컬러링 모드를 선택하는 경우, 현미경 시스템은 1603 단계 내지 1605 단계를 수행하지 않고 조직 이미지를 의사 컬러링을 위한 AI 모델에 입력하여 가상 H&E 이미지(또는, 가상 H 이미지, 가상 E 이미지)를 생성할 수 있다. 예를 들어, 조직 이미지를 획득하는 조건 별 AI 모델이 사전에 학습되어 있지 않은 경우, 현미경 시스템은 제1 의사 컬러링 모드를 선택할 수 있다.
만약 현미경 시스템이 제2 의사 컬러링 모드를 선택하는 경우, 현미경 시스템은 1603 단계 내지 1605 단계에 따라 조직 이미지를 의사 컬러링을 위한 AI 모델에 입력하여 가상 H&E 이미지(또는, 가상 H 이미지, 가상 E 이미지)를 생성할 수 있다. 예를 들어, 조직 이미지를 획득하는 조건 별 AI 모델이 사전에 학습되어 있는 경우, 현미경 시스템은 제2 의사 컬러링 모드를 선택할 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (16)
- 광섬유 스캐너 기반 공초점 형광 현미경 시스템에 있어서,
레이저 출력 모듈;
광섬유 레이저 스캐너;
수광부; 및
프로세서; 를 포함하고,
상기 프로세서는,
제1 축에 대응하는 제1 구동 신호 및 상기 제1 축과 상이한 제2 축에 대응하는 제2 구동 신호를 생성하고, 상기 제1 구동 신호 및 상기 제2 구동 신호에 기반하여 동작하는 상기 레이저 스캐너의 일 단으로부터 검사하고자 하는 조직으로 조사된 광에 의하여 발생된 여기광(emission light)을 감지하도록 상기 수광부를 제어하고,
상기 감지된 여기광에 기반하여, 조직에 관한 제1 이미지를 생성하고, 상기 조직의 염색 정보, 상기 레이저 출력 모듈의 동작 정보, 및 상기 조직의 부위 정보를 확인하고,
가상 H&E 이미지를 생성하기 위한 제1 모드 또는 제2 모드 중 하나를 선택하고,
상기 제1 모드가 선택되는 경우, 상기 조직의 상태가 정상인지 여부를 지시하는 진단 보조 정보를 획득하고,
상기 제1 이미지를 가상 H&E(hematoxylin & eosin) 이미지를 생성하기 위한 제1 인공지능 모델에 입력함으로써, 가상 컬러링에 기초하여 상기 제1 이미지에 대응하는 제1 가상 H&E 이미지를 생성하도록 설정되고 -상기 가상 컬러링은 현미경 시스템에서 얻은 이미지를 H&E 이미지와 유사한 염색형태를 갖도록 상기 이미지를 변환하는 것을 포함함 -,
상기 제2 모드가 선택되는 경우, 상기 제1 이미지를 제2 인공지능 모델에 입력함으로써, 상기 가상 컬러링에 기초하여 상기 제1 이미지에 대응하는 제2 가상 H&E 이미지를 생성하도록 설정되고,
이 때 생성된 상기 제1 가상 H&E 이미지 및 상기 제2 가상 H&E 이미지는 동일한 상기 제1 이미지에 기초하여 생성된 가상 H&E 이미지로, 선택된 인공지능 모델에 따라 서로 다른 이미지로 생성되는 것을 특징으로 하며,
상기 제1 인공지능 모델은 복수의 조직 각각에 관한 염색 정보, 상기 레이저 출력 모듈에 관한 복수의 동작 정보, 복수의 조직 각각에 관한 복수의 이미지, 복수의 조직 각각에 관한 H&E 이미지, 및 복수의 진단 보조 정보에 기반하여 학습되고,
상기 제2 인공지능 모델은 복수의 조직 각각에 관한 염색 정보, 상기 레이저 출력 모듈에 관한 복수의 동작 정보, 복수의 조직 각각에 관한 복수의 이미지, 및 복수의 조직 각각에 관한 H&E 이미지에 기반하여 학습되는,
공초점 형광 현미경 시스템. - 제1항에 있어서,
상기 제1 이미지는 초점을 맞춘 상태에서 획득한 이미지로서, 그레이스케일(grayscale) 이미지 또는 RGB(red green blue) 색상 이미지를 포함하는,
공초점 형광 현미경 시스템.
- 제1항에 있어서,
상기 조직의 염색 정보는, 상기 조직 내의 세포핵 또는 세포질 중 적어도 하나의 염색 여부에 관한 제1 염색 정보 또는 상기 조직을 염색한 형광 염료에 관한 제2 염색 정보 중 적어도 하나를 포함하고,
상기 제2 염색 정보는, PpIX (5-ALA), Hoechst, DAPI, Acridine orange (AO), Fluorescein Sodium (FNa), Fluorescein isothiocyanate (FITC), Propidium iodide, acriflavine, Indocyanine Green (ICG), Pafolacianine, Methylene Blue (MB) 중 적어도 하나에 관한 정보를 포함하는,
공초점 형광 현미경 시스템.
- 제1항에 있어서,
상기 레이저 출력 모듈의 동작 정보는, 제1 파장을 갖는 제1 광 또는 제2 파장을 갖는 제2 광에 관한 정보 중 적어도 하나를 포함하고,
상기 제1 파장은, 400nm 내지 410nm, 480nm 내지 500nm, 또는 770nm 내지 800nm 중 하나의 파장 대역에 포함되고,
상기 제2 파장은, 상기 파장 대역들 중 다른 하나의 파장 대역에 포함되는,
공초점 형광 현미경 시스템.
- 제1항에 있어서,
상기 제1 인공지능 모델 및 상기 제2 인공지능 모델은, 검사자들의 개인 정보를 더 기반하여 학습되고,
상기 개인 정보는 신체 정보, 성별 정보, 또는 나이 정보를 포함하고,
상기 프로세서는, 상기 조직에 대응하는 검사자의 개인 정보를 상기 제1 인공지능 모델 및 상기 제2 인공지능 모델에 추가로 입력함으로써 상기 제1 가상 H&E 이미지 및 상기 제2 가상 H&E 이미지를 생성하도록 설정된,
공초점 형광 현미경 시스템. - 제1항에 있어서,
상기 진단 보조 정보는, 상기 제1 이미지를 조직에 대한 진단 보조 정보를 획득하기 위한 제3 인공지능 모델에 입력함으로써 생성되고,
이 때, 상기 진단 보조 정보에 기초하여 확인되는 조직의 상태가 정상인 경우 생성되는 상기 제1 가상 H&E 이미지와 상기 조직의 상태가 비정상인 경우 생성되는 상기 제1 가상 H&E 이미지는 상기 조직의 상태에 따라 서로 다른 것을 특징으로 하고,
상기 제1 인공지능 모델 및 상기 제2 인공지능 모델은 각각 pix-2-pix, cycle GAN(generative adversarial network), style GAN 알고리즘 중 하나와 관련되는,
공초점 형광 현미경 시스템. - 제1항에 있어서,
상기 프로세서는,
상기 조직의 염색 정보를 확인하고 - 상기 염색 정보는 세포핵 또는 세포질 중 적어도 하나의 염색 여부를 나타냄-;
상기 염색 정보에 기초하여 가상 H&E 이미지를 생성하기 위한 복수의 인공지능 모델 중에서 특정 인공지능 모델이 선택되고, - 상기 복수의 인공지능 모델 각각은 서로 상이함-;
상기 제1 이미지 및 상기 염색 정보가 상기 특정 인공지능 모델에 입력됨으로써, 상기 제1 이미지에 대응하는 가상 H&E 이미지를 생성하도록 설정되고,
상기 특정 인공지능 모델은 복수의 조직 각각에 관한 염색 정보, 레이저 출력 모듈에 관한 복수의 파장 값에 관한 정보, 복수의 조직 각각에 관한 이미지들 및 복수의 조직 각각에 관한 H&E 이미지에 기반하여 학습되며,
상기 가상 H&E 이미지는 가상 컬러링에 의해 H이미지, E 이미지, 및 H&E 이미지 중 적어도 어느 하나의 염색 형태를 갖도록 변환된 이미지를 의미하는,
공초점 형광 현미경 시스템. - 제1항에 있어서,
상기 프로세서는,
상기 제1 이미지의 진단 활성화 영역(Class activation map, CAM)을 확인하고,
상기 진단 활성화 영역 중 활성화 세기가 강한 영역부터 점진적으로 색 변환을 확대함으로써 상기 제1 가상 H&E 이미지 및 상기 제2 가상 H&E 이미지를 생성하도록 설정된,
공초점 형광 현미경 시스템. - 광섬유 스캐너 기반 공초점 형광 현미경 시스템에서 인공지능 모델을 이용하여 가상 H&E 이미지를 생성하는 방법으로서,
제1 축에 대응하는 제1 구동 신호 및 상기 제1 축과 상이한 제2 축에 대응하는 제2 구동 신호를 생성하고, 상기 제1 구동 신호 및 상기 제2 구동 신호에 기반하여 동작하는 레이저 스캐너의 일 단으로부터 검사하고자 하는 조직으로 조사된 광에 의하여 발생된 여기광(emission light)을 감지하도록 수광부를 제어하는 단계;
상기 감지된 여기광에 기반하여, 조직에 관한 제1 이미지를 생성하고, 조직의 염색 정보, 레이저 출력 모듈의 동작 정보, 및 조직의 부위 정보를 확인하는 단계;
가상 H&E 이미지를 생성하기 위한 제1 모드 또는 제2 모드 중 하나를 선택하는 단계;
상기 제1 모드가 선택되는 경우, 상기 조직의 상태가 정상인지 여부를 지시하는 진단 보조 정보를 획득하는 단계:
상기 제1 이미지를 가상 H&E(hematoxylin & eosin) 이미지를 생성하기 위한 제1 인공지능 모델에 입력함으로써, 가상 컬러링에 기초하여 상기 제1 이미지에 대응하는 제1 가상 H&E 이미지를 생성하는 단계-상기 가상 컬러링은 현미경 시스템에서 얻은 이미지를 H&E 이미지와 유사한 염색형태를 갖도록 상기 이미지를 변환하는 것을 포함함 -; 및
상기 제2 모드가 선택되는 경우, 상기 제1 이미지를 제2 인공지능 모델에 입력함으로써, 상기 가상 컬러링에 기초하여 상기 제1 이미지에 대응하는 제2 가상 H&E 이미지를 생성하는 단계; 를 포함하고,
이 때 생성된 상기 제1 가상 H&E 이미지 및 상기 제2 가상 H&E 이미지는 동일한 상기 제1 이미지에 기초하여 생성된 가상 H&E 이미지로, 선택된 인공지능 모델에 따라 서로 다른 이미지로 생성되는 것을 특징으로 하며,
상기 제1 인공지능 모델은 복수의 조직 각각에 관한 염색 정보, 상기 레이저 출력 모듈에 관한 복수의 동작 정보, 복수의 조직 각각에 관한 복수의 이미지, 복수의 조직 각각에 관한 H&E 이미지, 및 복수의 진단 보조 정보에 기반하여 학습되고,
상기 제2 인공지능 모델은 복수의 조직 각각에 관한 염색 정보, 상기 레이저 출력 모듈에 관한 복수의 동작 정보, 복수의 조직 각각에 관한 복수의 이미지, 및 복수의 조직 각각에 관한 H&E 이미지에 기반하여 학습되는 것을 특징으로 하는,
방법. - 제9항에 있어서,
상기 제1 이미지는 초점을 맞춘 상태에서 획득한 이미지로서, 그레이스케일(grayscale) 이미지 또는 RGB(red green blue) 색상 이미지를 포함하는,
방법.
- 제9항에 있어서,
상기 조직의 염색 정보는, 상기 조직 내의 세포핵 또는 세포질 중 적어도 하나의 염색 여부에 관한 제1 염색 정보 또는 상기 조직을 염색한 형광 염료에 관한 제2 염색 정보 중 적어도 하나를 포함하고,
상기 제2 염색 정보는, PpIX (5-ALA), Hoechst, DAPI, Acridine orange (AO), Fluorescein Sodium (FNa), Fluorescein isothiocyanate (FITC), Propidium iodide, acriflavine, Indocyanine Green (ICG), Pafolacianine, Methylene Blue (MB) 중 적어도 하나에 관한 정보를 포함하는,
방법.
- 제9항에 있어서,
상기 레이저 출력 모듈의 동작 정보는, 제1 파장을 갖는 제1 광 또는 제2 파장을 갖는 제2 광에 관한 정보 중 적어도 하나를 포함하고,
상기 제1 파장은, 400nm 내지 410nm, 480nm 내지 500nm, 또는 770nm 내지 800nm 중 하나의 파장 대역에 포함되고,
상기 제2 파장은, 상기 파장 대역들 중 다른 하나의 파장 대역에 포함되는,
방법.
- 제9항에 있어서,
상기 제1 인공지능 모델 및 상기 제2 인공지능 모델은, 검사자들의 개인 정보를 더 기반하여 학습되고,
상기 개인 정보는 신체 정보, 성별 정보, 또는 나이 정보를 포함하며,
상기 방법은,
상기 조직에 대응하는 검사자의 개인 정보를 상기 제1 인공지능 모델 및 상기 제2 인공지능 모델에 추가로 입력함으로써 상기 제1 가상 H&E 이미지 및 상기 제2 가상 H&E 이미지를 생성하는 것을 특징으로 하는,
방법. - 제9항에 있어서,
상기 진단 보조 정보는, 상기 제1 이미지를 조직에 대한 진단 보조 정보를 획득하기 위한 제3 인공지능 모델에 입력함으로써 생성되는 것을 특징으로 하고,
이 때, 상기 진단 보조 정보에 기초하여 확인되는 조직의 상태가 정상인 경우 생성되는 상기 제1 가상 H&E 이미지와 상기 조직의 상태가 비정상인 경우 생성되는 상기 제1 가상 H&E 이미지는 상기 조직의 상태에 따라 서로 다른 것을 특징으로 하며,
상기 제1 인공지능 모델 및 상기 제2 인공지능 모델은 각각 pix-2-pix, cycle GAN(generative adversarial network), style GAN 알고리즘 중 하나와 관련되는,
방법. - 제9항에 있어서,
상기 방법은,
상기 조직의 염색 정보를 확인하는 단계 -상기 염색 정보는 세포핵 또는 세포질 중 적어도 하나의 염색 여부를 나타냄-;
상기 염색 정보에 기초하여 가상 H&E 이미지를 생성하기 위한 복수의 인공지능 모델 중에서 특정 인공지능 모델이 선택되는 단계 -상기 복수의 인공지능 모델 각각은 서로 상이함-; 및
상기 제1 이미지 및 상기 염색 정보가 상기 특정 인공지능 모델에 입력됨으로써, 상기 제1 이미지에 대응하는 가상 H&E 이미지를 생성하는 단계; 를 더 포함하며,
상기 특정 인공지능 모델은 복수의 조직 각각에 관한 염색 정보, 레이저 출력 모듈에 관한 복수의 파장 값에 관한 정보, 복수의 조직 각각에 관한 이미지들 및 복수의 조직 각각에 관한 H&E 이미지에 기반하여 학습되며,
상기 가상 H&E 이미지는 가상 컬러링에 의해 H이미지, E 이미지, 및 H&E 이미지 중 적어도 어느 하나의 염색 형태를 갖도록 변환된 이미지를 의미하는,
방법. - 제9항에 있어서,
상기 방법은,
상기 제1 이미지의 진단 활성화 영역(Class activation map, CAM)을 확인하는 단계; 및
상기 진단 활성화 영역 중 활성화 세기가 강한 영역부터 점진적으로 색 변환을 확대함으로써 상기 제1 가상 H&E 이미지 및 상기 제2 가상 H&E 이미지를 생성하는 단계; 를 더 포함하는,
방법.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220171231A KR102643066B1 (ko) | 2022-12-09 | 2022-12-09 | 인공지능 기반 의사 컬러링을 활용한 진단 보조 정보 제공 방법, 장치 및 시스템 |
| US18/533,869 US20240188797A1 (en) | 2022-12-09 | 2023-12-08 | Method, apparatus and system for providing medical diagnosis assistance information based on artificial intelligence |
| KR1020240028114A KR20240086606A (ko) | 2022-12-09 | 2024-02-27 | 인공지능 기반 의사 컬러링을 활용한 진단 보조 정보 제공 방법, 장치 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220171231A KR102643066B1 (ko) | 2022-12-09 | 2022-12-09 | 인공지능 기반 의사 컬러링을 활용한 진단 보조 정보 제공 방법, 장치 및 시스템 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020240028114A Division KR20240086606A (ko) | 2022-12-09 | 2024-02-27 | 인공지능 기반 의사 컬러링을 활용한 진단 보조 정보 제공 방법, 장치 및 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102643066B1 true KR102643066B1 (ko) | 2024-03-04 |
Family
ID=90297660
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220171231A KR102643066B1 (ko) | 2022-12-09 | 2022-12-09 | 인공지능 기반 의사 컬러링을 활용한 진단 보조 정보 제공 방법, 장치 및 시스템 |
| KR1020240028114A KR20240086606A (ko) | 2022-12-09 | 2024-02-27 | 인공지능 기반 의사 컬러링을 활용한 진단 보조 정보 제공 방법, 장치 및 시스템 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020240028114A KR20240086606A (ko) | 2022-12-09 | 2024-02-27 | 인공지능 기반 의사 컬러링을 활용한 진단 보조 정보 제공 방법, 장치 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR102643066B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101898220B1 (ko) * | 2015-08-04 | 2018-09-12 | 한국과학기술원 | 공초점 현미경 및 이를 이용한 영상 처리 방법 |
| JP2019525151A (ja) * | 2016-06-28 | 2019-09-05 | コンテクストビジョン、アクチボラグＣｏｎｔｅｘｔｖｉｓｉｏｎ Ａｂ | デジタル病理画像における病理学的異常を検出するための方法及びシステム並びに組織スライドに注釈を付けるための方法 |
| JP2020139842A (ja) * | 2019-02-28 | 2020-09-03 | ソニー株式会社 | 情報処理装置、情報処理方法および情報処理システム |
| KR20220119669A (ko) * | 2019-12-23 | 2022-08-30 | 더 리전트 오브 더 유니버시티 오브 캘리포니아 | 심층 학습을 이용한 현미경 검사 이미지들의 디지털 염색을 위한 방법 및 시스템 |
-
2022
- 2022-12-09 KR KR1020220171231A patent/KR102643066B1/ko active IP Right Grant
-
2024
- 2024-02-27 KR KR1020240028114A patent/KR20240086606A/ko unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101898220B1 (ko) * | 2015-08-04 | 2018-09-12 | 한국과학기술원 | 공초점 현미경 및 이를 이용한 영상 처리 방법 |
| JP2019525151A (ja) * | 2016-06-28 | 2019-09-05 | コンテクストビジョン、アクチボラグＣｏｎｔｅｘｔｖｉｓｉｏｎ Ａｂ | デジタル病理画像における病理学的異常を検出するための方法及びシステム並びに組織スライドに注釈を付けるための方法 |
| JP2020139842A (ja) * | 2019-02-28 | 2020-09-03 | ソニー株式会社 | 情報処理装置、情報処理方法および情報処理システム |
| KR20220119669A (ko) * | 2019-12-23 | 2022-08-30 | 더 리전트 오브 더 유니버시티 오브 캘리포니아 | 심층 학습을 이용한 현미경 검사 이미지들의 디지털 염색을 위한 방법 및 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20240086606A (ko) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6046325B2 (ja) | 漸次的に解像度を増加させて１以上の生物学的サンプルの観察及び分析のための方法及びその方法のための装置 | |
| US20190384048A1 (en) | Method and apparatus for quantitative hyperspectral fluorescence and reflectance imaging for surgical guidance | |
| US8553337B2 (en) | Multi-path, multi-magnification, non-confocal fluorescence emission endoscopy apparatus and methods | |
| CN105182514B (zh) | 基于led光源的无透镜显微镜及其图像重构方法 | |
| EP2359745A1 (en) | Method and device for multi-spectral photonic imaging | |
| US20120302892A1 (en) | Portable optical fiber probe-based spectroscopic scanner for rapid cancer diagnosis | |
| JP3923080B2 (ja) | 光学的微細プローベ及び材料のスペクトル分析方法 | |
| US20040068193A1 (en) | Optical devices for medical diagnostics | |
| JP2017538458A (ja) | 撮像技術を用いて解剖学的構造並びに血流及び灌流生理機能を可視化するための方法、システム及びコンピュータプログラム製品 | |
| JP2011530082A (ja) | 細胞ミクロ構造の共焦点画像化のための染料適用 | |
| TW201942869A (zh) | 一種生物樣本之影像合成方法及採用該方法之光學系統 | |
| US12061328B2 (en) | Method and apparatus for quantitative hyperspectral fluorescence and reflectance imaging for surgical guidance | |
| KR102643066B1 (ko) | 인공지능 기반 의사 컬러링을 활용한 진단 보조 정보 제공 방법, 장치 및 시스템 | |
| KR102579826B1 (ko) | 인공지능 기반 진단 보조 정보 제공 방법, 장치 및 시스템 | |
| KR102047247B1 (ko) | 다중 모달 융합 내시경 시스템 | |
| CN105877692A (zh) | 一种激光诱导荧光光谱阴道镜 | |
| US20240188797A1 (en) | Method, apparatus and system for providing medical diagnosis assistance information based on artificial intelligence | |
| Edwards | Medical optical imaging: Signal processing leads to new methods of detecting life-threatening situations [Special Reports] | |
| CN116982917B (zh) | 一种基于荧光寿命的内窥处理系统 | |
| Gmitro et al. | Optical biopsy with confocal microendoscopy | |
| Nikose et al. | In vivo microscopy: A non-invasive diagnostic tool | |
| CN113854963B (zh) | 一种前列腺癌光声谱数据库及构建方法 | |
| Huang et al. | Ultraviolet Photoacoustic Microscopy for Histopathology | |
| AU2013204570B2 (en) | Method and apparatus for method for viewing and analyzing of one or more biological samples with progressively increasing resolutions | |
| Hu et al. | Dynamic optical contrast imaging for real-time delineation of tumor resection margins using head and neck cancer as a model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |