KR20210113236A - 병리학 시료의 자동화된 이미징 및 분석을 위한 컴퓨터 사용 현미경 검사 기반의 시스템 및 방법 - Google Patents
병리학 시료의 자동화된 이미징 및 분석을 위한 컴퓨터 사용 현미경 검사 기반의 시스템 및 방법 Download PDFInfo
- Publication number
- KR20210113236A KR20210113236A KR1020217022441A KR20217022441A KR20210113236A KR 20210113236 A KR20210113236 A KR 20210113236A KR 1020217022441 A KR1020217022441 A KR 1020217022441A KR 20217022441 A KR20217022441 A KR 20217022441A KR 20210113236 A KR20210113236 A KR 20210113236A
- Authority
- KR
- South Korea
- Prior art keywords
- biological sample
- sample
- image
- light
- processor
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 263
- 238000004458 analytical method Methods 0.000 title description 40
- 238000003384 imaging method Methods 0.000 title description 30
- 230000001575 pathological effect Effects 0.000 title 1
- 239000012472 biological sample Substances 0.000 claims abstract description 216
- 230000001427 coherent effect Effects 0.000 claims abstract description 54
- 239000000523 sample Substances 0.000 claims description 312
- 238000005286 illumination Methods 0.000 claims description 121
- 210000004027 cell Anatomy 0.000 claims description 63
- 238000010801 machine learning Methods 0.000 claims description 51
- 238000013136 deep learning model Methods 0.000 claims description 46
- 230000006870 function Effects 0.000 claims description 34
- 238000011156 evaluation Methods 0.000 claims description 33
- 230000003287 optical effect Effects 0.000 claims description 29
- 210000004940 nucleus Anatomy 0.000 claims description 22
- 238000010186 staining Methods 0.000 claims description 21
- 108010077544 Chromatin Proteins 0.000 claims description 19
- 210000003483 chromatin Anatomy 0.000 claims description 19
- 230000033001 locomotion Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 18
- 230000011278 mitosis Effects 0.000 claims description 15
- 230000001413 cellular effect Effects 0.000 claims description 14
- 210000001519 tissue Anatomy 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 11
- 230000001086 cytosolic effect Effects 0.000 claims description 10
- 210000000170 cell membrane Anatomy 0.000 claims description 9
- 201000010099 disease Diseases 0.000 claims description 9
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 9
- 210000000633 nuclear envelope Anatomy 0.000 claims description 9
- 230000032823 cell division Effects 0.000 claims description 8
- 230000005670 electromagnetic radiation Effects 0.000 claims description 7
- 239000004065 semiconductor Substances 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 229910044991 metal oxide Inorganic materials 0.000 claims description 6
- 150000004706 metal oxides Chemical class 0.000 claims description 6
- 238000002156 mixing Methods 0.000 claims description 5
- 238000004040 coloring Methods 0.000 claims description 4
- 238000011532 immunohistochemical staining Methods 0.000 claims description 4
- 230000002055 immunohistochemical effect Effects 0.000 claims description 3
- 206010050808 Hyperchromasia Diseases 0.000 claims description 2
- 238000000386 microscopy Methods 0.000 description 26
- 238000002360 preparation method Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 238000013135 deep learning Methods 0.000 description 14
- 230000000670 limiting effect Effects 0.000 description 13
- 230000036541 health Effects 0.000 description 12
- 239000000243 solution Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 239000000463 material Substances 0.000 description 10
- 239000013598 vector Substances 0.000 description 10
- 238000001574 biopsy Methods 0.000 description 9
- 230000010363 phase shift Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000012546 transfer Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 9
- 238000013459 approach Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 230000001580 bacterial effect Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000012805 post-processing Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 241000282320 Panthera leo Species 0.000 description 6
- 230000004075 alteration Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 239000000835 fiber Substances 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 239000010410 layer Substances 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 230000002380 cytological effect Effects 0.000 description 5
- 238000009792 diffusion process Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 239000012530 fluid Substances 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 238000010191 image analysis Methods 0.000 description 5
- 238000001000 micrograph Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 230000007170 pathology Effects 0.000 description 5
- 238000007790 scraping Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 210000002700 urine Anatomy 0.000 description 5
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 4
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 4
- 239000008280 blood Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000000750 progressive effect Effects 0.000 description 4
- 239000013074 reference sample Substances 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 241000894006 Bacteria Species 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 3
- 238000011109 contamination Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 210000003722 extracellular fluid Anatomy 0.000 description 3
- 210000003608 fece Anatomy 0.000 description 3
- 238000003707 image sharpening Methods 0.000 description 3
- 208000000509 infertility Diseases 0.000 description 3
- 230000036512 infertility Effects 0.000 description 3
- 231100000535 infertility Toxicity 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 239000012528 membrane Substances 0.000 description 3
- 238000007431 microscopic evaluation Methods 0.000 description 3
- 238000002135 phase contrast microscopy Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 210000003296 saliva Anatomy 0.000 description 3
- 241000894007 species Species 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- PPBRXRYQALVLMV-UHFFFAOYSA-N Styrene Chemical compound C=CC1=CC=CC=C1 PPBRXRYQALVLMV-UHFFFAOYSA-N 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 210000001124 body fluid Anatomy 0.000 description 2
- 230000001364 causal effect Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 2
- 238000007387 excisional biopsy Methods 0.000 description 2
- 210000003495 flagella Anatomy 0.000 description 2
- 230000002538 fungal effect Effects 0.000 description 2
- 239000005400 gorilla glass Substances 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000011068 loading method Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001394 metastastic effect Effects 0.000 description 2
- 206010061289 metastatic neoplasm Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 210000003463 organelle Anatomy 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 210000000582 semen Anatomy 0.000 description 2
- 239000012192 staining solution Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000005428 wave function Effects 0.000 description 2
- 229920001621 AMOLED Polymers 0.000 description 1
- 206010008342 Cervix carcinoma Diseases 0.000 description 1
- 241000184083 Chlosyne lacinia Species 0.000 description 1
- 206010053567 Coagulopathies Diseases 0.000 description 1
- 241000283086 Equidae Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 238000003794 Gram staining Methods 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 108010089610 Nuclear Proteins Proteins 0.000 description 1
- 102000007999 Nuclear Proteins Human genes 0.000 description 1
- 206010034133 Pathogen resistance Diseases 0.000 description 1
- 238000001069 Raman spectroscopy Methods 0.000 description 1
- 208000024770 Thyroid neoplasm Diseases 0.000 description 1
- GLNADSQYFUSGOU-GPTZEZBUSA-J Trypan blue Chemical compound [Na+].[Na+].[Na+].[Na+].C1=C(S([O-])(=O)=O)C=C2C=C(S([O-])(=O)=O)C(/N=N/C3=CC=C(C=C3C)C=3C=C(C(=CC=3)\N=N\C=3C(=CC4=CC(=CC(N)=C4C=3O)S([O-])(=O)=O)S([O-])(=O)=O)C)=C(O)C2=C1N GLNADSQYFUSGOU-GPTZEZBUSA-J 0.000 description 1
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 210000004381 amniotic fluid Anatomy 0.000 description 1
- 238000011203 antimicrobial therapy Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000000339 bright-field microscopy Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000005907 cancer growth Effects 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 238000004113 cell culture Methods 0.000 description 1
- 201000010881 cervical cancer Diseases 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000035602 clotting Effects 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000001218 confocal laser scanning microscopy Methods 0.000 description 1
- 238000004624 confocal microscopy Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000004163 cytometry Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000001446 dark-field microscopy Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000009647 digital holographic microscopy Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000009648 endospore staining Methods 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000000834 fixative Substances 0.000 description 1
- 230000005163 flagellar motility Effects 0.000 description 1
- 238000000684 flow cytometry Methods 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 208000000069 hyperpigmentation Diseases 0.000 description 1
- 230000003810 hyperpigmentation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000013101 initial test Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 238000011862 kidney biopsy Methods 0.000 description 1
- 238000010329 laser etching Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 210000004379 membrane Anatomy 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000002493 microarray Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000004899 motility Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000009595 pap smear Methods 0.000 description 1
- 239000012188 paraffin wax Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000013102 re-test Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012284 sample analysis method Methods 0.000 description 1
- 238000004621 scanning probe microscopy Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000000377 silicon dioxide Substances 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 201000002510 thyroid cancer Diseases 0.000 description 1
- 210000001685 thyroid gland Anatomy 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 210000005239 tubule Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 239000001993 wax Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/47—Scattering, i.e. diffuse reflection
- G01N21/4788—Diffraction
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/086—Condensers for transillumination only
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/47—Scattering, i.e. diffuse reflection
- G01N21/4788—Diffraction
- G01N2021/479—Speckle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Microscoopes, Condenser (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
생물학적 샘플을 평가하기 위한 시스템 및 방법이 본 명세서에서 설명된다. 방법은 다음의 것을 포함한다: 확산기에 의해 적용될 스펙클이 있는 패턴을 특성 묘사하는 것; 적어도 하나의 가간섭성 광원이 생물학적 샘플을 조명하도록 생물학적 샘플을 적어도 하나의 가간섭성 광원에 대해 배치하는 것; 적어도 하나의 가간섭성 광원에 의해 생성되는 광을 확산시키는 것; 확산된 광에 기초하여 생물학적 샘플의 임베딩된 스펙클 패턴을 갖는 복수의 조명된 이미지를 캡처하는 것; 재구성된 이미지의 이미지 스택을 복구하기 위해 생물학적 샘플의 복수의 스펙클이 있는 조명된 이미지를 반복적으로 재구성하는 것; 전체 슬라이드 이미지를 생성하기 위해 이미지 스택 내의 각각의 이미지를 함께 스티칭하는 것으로서, 이미지 스택의 각각의 이미지는 이웃하는 이미지와 적어도 부분적으로 중첩하는, 전체 슬라이드 이미지를 생성하는 것; 및 생물학적 샘플의 하나 이상의 피처를 식별하는 것. 방법은 근거리장 푸리에 타이코그래픽 시스템에 의해 수행될 수도 있다.
Description
관련 출원에 대한 교차 참조
본 출원은 2018년 12월 18일자로 출원된 미국 특허 가출원 일련번호 제62/781,271호; 및 2019년 11월 14일자로 출원된 미국 특허 가출원 일련번호 제62/935,599호의 우선권 이익을 주장하는데, 이들의 각각의 개시내용은 그 전체가 참조에 의해 본 명세서에 원용된다.
참조에 의한 통합
본 명세서에서 언급되는 모든 간행물 및 특허 출원은, 마치 각각의 개개의 간행물 또는 특허 출원이 그 전체가 참조에 의해 그 전체가 통합되도록 구체적으로 그리고 개별적으로 나타내어진 것처럼, 참조에 의해 그들 전체가 본 명세서에 원용된다.
기술 분야
본 개시내용은 일반적으로 병리학의 분야에 관한 것으로, 더 구체적으로는 세포 병리학의 분야에 관한 것이다. 세포 검사 도말(cytology smear)의 신속한 현장 준비 및 평가를 위한 자동화된 시스템을 위한 시스템 및 방법이 본 명세서에서 설명된다.
현미경 기술은 연구자 및 임상의가 샘플을 지금까지보다 더 높은 배율로 보는 것을 허용하면서 시간 경과에 따라 지속적으로 발전해 오고 있다. 현미경 검사(microscopy)의 가장 일반적인 기술은 수세기 동안 대부분의 과학 분야의 초석으로서 역할을 했던 광 현미경 검사(light microscopy)이다. 그들의 인기에도 불구하고, 이 기술 및 관련된 기술을 활용하는 현미경은 세 가지 핵심 요인에 의해 제한된다: 샘플은 반투명하지 않아야 함, 최대 배율은 렌즈에 의해 수집되는 전자기 에너지의 양에 의해 제한됨, 및 시야는 배율이 증가함에 따라 기하 급수적으로 감소됨. 수년에 걸쳐, 연구자는 이들 한계를 해결하기 위해 수많은 기술을 활용하였다.
반투명 샘플의 한계를 해결하기 위해, 대부분의 샘플은, 주목하는 분자 특성(characteristic)이 인간의 눈에 의해 구별 가능하도록 그들을 강조하기 위해 면역조직화학 용액(immunohistochemical solution)으로 염색되거나(stained) 또는 태깅된다(tagged). 이 염색 프로세스(staining process)는, 가장 일반적으로는, 에탄올 용액 또는 열을 사용하여 샘플을 슬라이드에 고정시키는 것, 후속하여, 시각화를 위해 샘플에 선택적으로 결합하는 착색 용액(colorizing solution)을 포함하는 일련의 유체 내에 샘플을 침지하는 것에 의해 수행된다. 이것은 또한 슬라이드에 염색제(stain)를 떨어뜨리는 것, 슬라이드를 가로질러 지속적으로 염색 용액(staining solution)을 흐르게 하는 것, 마커를 슬라이드 표면에 임베딩하거나 또는 결합하는 것, 또는 에어로졸화된 염색제(aerosolized stain)를 얇은 층으로 슬라이드 상으로 분사하는 것과 같은 다수의 자동화된 접근법을 통해 수행될 수 있다. 이들 염색 기술 중 몇몇 예는 헤마톡실린 및 에오신(Hematoxylin and Eosin), 트라이크롬(Trichrome), Pap, 로마노스키 염색법(Romanowsky Stain), 및 트리판 블루(Trypan Blue)이다. 게다가, 이들 염색 모두는 특정한 사용자 및 샘플 요건을 충족하도록 추가적으로 수정될 수 있다. 연구원이 샘플의 상세한 특성을 쉽게 보는 것을 이들 염색이 허용하지만, 그것은 샘플 고정을 대가로 오는 것이다, 즉, 샘플이 변경되면 소정의 진단 테스트에 더 이상 적합하지 않다는 것을 의미한다. 추가적으로, 부정확한 진단으로 이어지는 부정확성을 방지하기 위해서는 화학적 염색을 사용하도록 의사가 적절하게 트레이닝되어야만 하기 때문에, 고정 및 염색은 현장 진단(point-of-care) 현미경 검사 적용을 상당히 더욱 어렵게 만든다. 이들 도전 과제를 해결하기 위해, 광학 엔지니어는 명시야 및 암시야 광 정보 둘 모두를 캡처하여 샘플의 위상차(phase contrast) 이미지를 즉시 생성할 수 있는 특수한 위상차 현미경을 개발하였다. 이 기술은, 과학자가 샘플을 고정, 염색 또는 변경하지 않고도 반투명 샘플(예를 들면, 살아 있는 세포 배양)을 보는 것을 가능하게 한다. 위상차가 현장 진단에서 샘플의 신속한 해석을 위한 다양한 애플리케이션을 가능하게 하지만, 결과적으로 나타나는 이미지는, 물리적 염색과 비교하여 제공되는 분자 세부 정보의 부족에 기인하여, 애플리케이션에서 제한되고, 제한된 시야는 오퍼레이터가 주목하는 핵심 영역에 대해 샘플 전체를 검색할 것을 요구한다.
현존하는 현미경의 다른 한계는, 시야가 제한되기 때문에, 이용 가능한 광이 감소된다는 것이다. 연구자가 계속해서 더 높은 배율에 도달함에 따라, 렌즈는 수집되는 광의 양을 최대화하도록 수정되었다. 백라이트식 및 도립식(inverted) 현미경은, 오퍼레이터가 사람 눈의 400배의 배율 이상을 보는 것을 가능하게 하도록 조명 소스 및 렌즈를 배치한다. 현미경이 1000배 배율(100× 대물 렌즈)에 가까워짐에 따라, 이용 가능한 광의 양은, 오퍼레이터가 샘플을 더 이상 볼 수 없는 상황까지 감소된다. 샘플과 인접한 오일 혼합물에 렌즈를 침지시키는 것에 의해, 오퍼레이터는 렌즈를 통과하는 광의 양을 증가시켜 최대 2000 배까지의 더 높은 배율에 계속해서 도달할 수도 있다. 이것은, 오일이 대물 렌즈로부터 굴절되는 광의 양을 감소시켜 주어진 포인트로부터 수집되는 광을 최대화할 것이기 때문에 가능하다. 샘플을 2000배 넘게 시각화하기 위해, 현미경은 다양한 기술을 활용하여 샘플을 통과하는 전자기파의 강도를 증가시키고 미세하게 튜닝된 센서를 사용하여 결과적으로 나타나는 파(wave)를 측정한다. 측정치는 추가적인 분석을 위해 시뮬레이팅된 미시적인 환경(microscopic environment)을 컴퓨터를 사용하여(computationally) 재구성하기 위해 사용될 수 있다. 하나의 예는 단색광이 샘플에 채널을 통해 전달되는 라만 분광법(Raman Spectroscopy)이다. 광이 샘플에서 비탄성적으로 산란함에 따라, 분자 진동은 광자의 에너지를 시프트하여, 복잡한 모델에 의해 구별되어 미시적인 환경을 재구성할 수 있는 신호를 생성한다. 마찬가지로, 주사 전자 현미경은 주목하는 샘플을 통해 전자의 포커싱된 빔을 통과시킨다. 원자 상호 작용은 샘플의 지형(topography) 및 조성을 재구성하기 위한 특수 센서에 의해 검출된다. 이들 기술 둘 모두의 주요한 한계 중 하나는 고강도 파에 의해 샘플에 대해 야기되는 손상이다. 추가적으로, 기술 둘 모두는 이미징 이전에 샘플이 광범위하게 준비될 것을 요구하는데, 이것은 샘플의 임의의 미래의 사용을 제한한다. 마지막으로, 이들 배율은 15 밀리미터×15 밀리미터의 영역을 커버하는 통상적인 샘플로 일반화되기 어려운 극히 작은 시야를 반환한다.
따라서, 시료의 자동화된 현미경 이미징 및 분석을 위한 향상된 시스템 및 방법에 대한 필요성이 존재한다.
전술한 내용은 요약이며, 따라서, 상세에서 반드시 제한된다. 상기 언급된 양태뿐만 아니라, 본 기술의 다른 양태, 피처(feature), 및 이점은, 첨부의 도면에 대해 이루어지는 참조와 함께, 다양한 실시형태와 관련하여 하기에서 설명된다.
도 1은 자동화된 샘플 분석을 위한 시스템의 실시형태의 흐름도를 도시한다.
도 2 내지 도 4는 도 1의 시스템에 의해 이미지화되고 분석될 수도 있는 다양한 포맷의 샘플을 예시한다.
도 2는 도 1의 시스템에 의해 이미지화되고 있는 샘플을 포함하는 유체 충전 리셉터클(fluid filled receptacle)의 하나의 실시형태를 도시한다.
도 3은 도 1의 시스템에 의해 이미지화되고 있는 도말화(smearing) 또는 절편화(sectioning)를 통해 장착된 생물학적 샘플을 도시한다.
도 4는 도 1의 시스템에 의해 이미지화되고 있는 미세 유체 디바이스(microfluidic device)의 하나의 실시형태를 도시한다.
도 5는 분석을 위해 시스템에서 생물학적 샘플을 정렬 및/또는 식별하기 위한 디바이스의 상면도(top view)를 도시한다.
도 6은 닫힌 구성의 힌지식 도어(hinged door)를 갖는 샘플 홀더의 실시형태의 사시도(perspective view)를 도시한다.
도 7은 열린 구성의 힌지식 도어를 갖는 샘플 홀더의 실시형태의 사시도를 도시한다.
도 8 내지 도 11은 샘플을 분석하기 위한 디바이스의 하나의 실시형태의 다양한 양태를 도시한다. 도 8은 샘플을 분석하기 위한 디바이스의 부분 분해도(partially exploded view)를 도시한다. 도 9는 도 8 디바이스의 샘플 삽입 윈도우(sample insertion window)를 도시한다. 도 10은 도 8의 디바이스의 모터 구동식 X-Y 스테이지에 삽입되고 있는 도 6 및 도 7의 홀더를 도시한다. 도 11은 샘플 및 스테이지에 대한 도 8의 디바이스의 이미저(imager)를 도시한다.
도 12는 라플라시안(Laplacian)의 분산을 사용하는 자동 초점 조절 방법(autofocusing method)의 하나의 실시형태의 개략도를 예시한다.
도 13 내지 도 16은 본 명세서에서 설명되는 하나 이상의 시스템 및 방법에 의해 분석되고 있는 샘플에 대한 다양한 조명 체계(illumination scheme)를 예시한다. 도 13은 랜덤 조명 시퀀스를 개략적으로 도시한다. 도 14는 래스터 조명 시퀀스를 개략적으로 도시한다. 도 15는 나선형 조명 시퀀스를 개략적으로 도시한다. 도 16은 샘플을 조명하기 위한 광학 시스템의 개구수(numerical aperture)를 개략적으로 도시한다.
도 17 내지 도 19는 원거리장 푸리에 타이코그래피(Far-field Fourier ptychography) 시스템의 하나의 실시형태를 예시한다. 도 17은 원거리장 푸리에 타이코그래피 시스템의 일반화된 개략도이다. 도 18은 도 17의 시스템에 대한 조명 소스의 하나의 실시형태를 도시한다. 도 19는 도 17의 하나의 실시형태의 광학 스택 컴포넌트(optical stack component)를 도시한다.
도 20 내지 도 22는 근거리장 푸리에 타이코그래피 시스템(near-field Fourier ptychography system)의 다양한 실시형태를 예시한다. 도 20은 근거리장 푸리에 타이코그래피 시스템의 하나의 실시형태를 도시한다. 도 21은 근거리장 푸리에 타이코그래피 시스템의 다른 실시형태를 도시한다. 도 22는 근거리장 푸리에 타이코그래피 시스템의 다른 실시형태를 도시한다.
도 23은 큰 시야 고해상도 이미지를 생성하는 일반적인 방법의 흐름도이다.
도 24는 푸리에 타이코그래피 반복적 이미지 재구성의 방법의 하나의 실시형태의 흐름도이다.
도 25는 근거리장 시스템에 대한 푸리에 타이코그래피 이미지를 반복적으로 재구성하는 방법의 하나의 실시형태의 흐름도이다.
도 26 내지 도 29는 푸리에 타이코그래피 재구성을 사용하여 재구성되는 주목하는 영역의 별개의 고해상도 이미지를 도시한다.
도 30은, 결과적으로 큰 시야를 제공하는, 도 26 내지 도 29의 이미지를 포함하는, 키 포인트 매칭(key point matching)을 사용하는 스티칭된 이미지(stitched image)를 도시한다.
도 31은 하나 이상의 머신 러닝 또는 딥 러닝 모델을 사용하여 샘플을 평가하기 위한 일반화된 방법의 개략도를 도시한다.
도 32는 타이코그래픽 시스템에 대한 자동 초점 조절의 방법의 하나의 실시형태를 예시한다.
도 33은 샘플을 분석하기 위한 디바이스에 대한 사용자 인터페이스의 흐름도이다.
도 34는 일반화된 프로세서 및 메모리의 개략도를 도시한다.
예시된 실시형태는 단지 예시에 불과하며 본 개시를 제한하도록 의도되지는 않는다. 개략도는 피처 및 개념을 예시하기 위해 묘화되며 반드시 일정한 비율로 묘화되는 것은 아니다.
도 1은 자동화된 샘플 분석을 위한 시스템의 실시형태의 흐름도를 도시한다.
도 2 내지 도 4는 도 1의 시스템에 의해 이미지화되고 분석될 수도 있는 다양한 포맷의 샘플을 예시한다.
도 2는 도 1의 시스템에 의해 이미지화되고 있는 샘플을 포함하는 유체 충전 리셉터클(fluid filled receptacle)의 하나의 실시형태를 도시한다.
도 3은 도 1의 시스템에 의해 이미지화되고 있는 도말화(smearing) 또는 절편화(sectioning)를 통해 장착된 생물학적 샘플을 도시한다.
도 4는 도 1의 시스템에 의해 이미지화되고 있는 미세 유체 디바이스(microfluidic device)의 하나의 실시형태를 도시한다.
도 5는 분석을 위해 시스템에서 생물학적 샘플을 정렬 및/또는 식별하기 위한 디바이스의 상면도(top view)를 도시한다.
도 6은 닫힌 구성의 힌지식 도어(hinged door)를 갖는 샘플 홀더의 실시형태의 사시도(perspective view)를 도시한다.
도 7은 열린 구성의 힌지식 도어를 갖는 샘플 홀더의 실시형태의 사시도를 도시한다.
도 8 내지 도 11은 샘플을 분석하기 위한 디바이스의 하나의 실시형태의 다양한 양태를 도시한다. 도 8은 샘플을 분석하기 위한 디바이스의 부분 분해도(partially exploded view)를 도시한다. 도 9는 도 8 디바이스의 샘플 삽입 윈도우(sample insertion window)를 도시한다. 도 10은 도 8의 디바이스의 모터 구동식 X-Y 스테이지에 삽입되고 있는 도 6 및 도 7의 홀더를 도시한다. 도 11은 샘플 및 스테이지에 대한 도 8의 디바이스의 이미저(imager)를 도시한다.
도 12는 라플라시안(Laplacian)의 분산을 사용하는 자동 초점 조절 방법(autofocusing method)의 하나의 실시형태의 개략도를 예시한다.
도 13 내지 도 16은 본 명세서에서 설명되는 하나 이상의 시스템 및 방법에 의해 분석되고 있는 샘플에 대한 다양한 조명 체계(illumination scheme)를 예시한다. 도 13은 랜덤 조명 시퀀스를 개략적으로 도시한다. 도 14는 래스터 조명 시퀀스를 개략적으로 도시한다. 도 15는 나선형 조명 시퀀스를 개략적으로 도시한다. 도 16은 샘플을 조명하기 위한 광학 시스템의 개구수(numerical aperture)를 개략적으로 도시한다.
도 17 내지 도 19는 원거리장 푸리에 타이코그래피(Far-field Fourier ptychography) 시스템의 하나의 실시형태를 예시한다. 도 17은 원거리장 푸리에 타이코그래피 시스템의 일반화된 개략도이다. 도 18은 도 17의 시스템에 대한 조명 소스의 하나의 실시형태를 도시한다. 도 19는 도 17의 하나의 실시형태의 광학 스택 컴포넌트(optical stack component)를 도시한다.
도 20 내지 도 22는 근거리장 푸리에 타이코그래피 시스템(near-field Fourier ptychography system)의 다양한 실시형태를 예시한다. 도 20은 근거리장 푸리에 타이코그래피 시스템의 하나의 실시형태를 도시한다. 도 21은 근거리장 푸리에 타이코그래피 시스템의 다른 실시형태를 도시한다. 도 22는 근거리장 푸리에 타이코그래피 시스템의 다른 실시형태를 도시한다.
도 23은 큰 시야 고해상도 이미지를 생성하는 일반적인 방법의 흐름도이다.
도 24는 푸리에 타이코그래피 반복적 이미지 재구성의 방법의 하나의 실시형태의 흐름도이다.
도 25는 근거리장 시스템에 대한 푸리에 타이코그래피 이미지를 반복적으로 재구성하는 방법의 하나의 실시형태의 흐름도이다.
도 26 내지 도 29는 푸리에 타이코그래피 재구성을 사용하여 재구성되는 주목하는 영역의 별개의 고해상도 이미지를 도시한다.
도 30은, 결과적으로 큰 시야를 제공하는, 도 26 내지 도 29의 이미지를 포함하는, 키 포인트 매칭(key point matching)을 사용하는 스티칭된 이미지(stitched image)를 도시한다.
도 31은 하나 이상의 머신 러닝 또는 딥 러닝 모델을 사용하여 샘플을 평가하기 위한 일반화된 방법의 개략도를 도시한다.
도 32는 타이코그래픽 시스템에 대한 자동 초점 조절의 방법의 하나의 실시형태를 예시한다.
도 33은 샘플을 분석하기 위한 디바이스에 대한 사용자 인터페이스의 흐름도이다.
도 34는 일반화된 프로세서 및 메모리의 개략도를 도시한다.
예시된 실시형태는 단지 예시에 불과하며 본 개시를 제한하도록 의도되지는 않는다. 개략도는 피처 및 개념을 예시하기 위해 묘화되며 반드시 일정한 비율로 묘화되는 것은 아니다.
전술한 내용은 요약이며, 따라서, 상세에서 반드시 제한된다. 상기 언급된 양태뿐만 아니라, 본 기술의 다른 양태, 피처, 및 이점은, 다양한 실시형태와 관련하여 이제 설명될 것이다. 다음의 실시형태의 포함은 본 개시를 이들 실시형태로 제한하도록 의도되는 것이 아니라, 오히려, 기술 분야의 임의의 숙련된 자가 고려된 발명(들)을 행하고 사용하는 것을 가능하게 하도록 의도된다. 다른 실시형태가 활용될 수도 있고 본 명세서에서 제시되는 주제의 취지 또는 범위를 벗어나지 않으면서 수정이 이루어질 수도 있다. 본 명세서에서 설명되고 예시되는 바와 같은 본 개시내용의 양태는, 여러 가지 상이한 제형(formulation)에서 배열, 조합, 수정 및 설계될 수 있는데, 이들 모두는 명시적으로 고려되며 본 개시내용의 일부를 형성한다.
상기에서 언급되는 바와 같이, 연구자 및 임상의가 다양한 배율에서 샘플을 보는 것을 허용하기 위해 다양한 타입의 현미경 이미징이 사용되었다. 활용되는 이미징 기술에 관계없이, 배율과 결과적으로 나타나는 시야 사이에는 명확한 역 관계가 있다. 대부분의 진단 작업이 200 내지 400배 배율에서 수행되기 때문에, 오퍼레이터는, 임의의 주어진 시간에 전체 슬라이드 면적의 1/100,000 미만인 0.075 밀리미터의 직경만을 보고 있다. 따라서, 병리학자가 주어진 샘플의 모든 양태를 검사하는 것은 근본적으로 불가능하다. 이 제한은 그들을 더 작은 주목하는 영역을 관찰하는 것 및 샘플의 나머지의 내용을 근사하는 것으로 이끈다. 주목하는 영역으로서 자격을 부여받는 것의 주관성은, 의사 사이에서 심지어 상이한 날의 동일한 의사 사이에서 일치를 갖는 잘 문서화된 문제로 이어진다. 이제, 조명 소스와 이미지 캡처 모듈을 모터 구동식/디지털 시스템에 연결하여 샘플의 순차적인 이미지를 캡처하고 시야각이 슬라이드의 표면과 매치할 때까지 각각의 이미지를 체인으로 스티칭하는 것에 의해 이러한 한계를 제거하는, 시장에서 이용 가능한 전체 슬라이드 이미징 시스템이 존재한다. 이 접근법은, 주목하는 영역을 식별함에 있어서 그리고 몇몇 경우에 진단을 행함에 있어서 오퍼레이터를 지원하는 컴퓨터 사용 이미지 분석 기술(computational image analysis technique)의 개발을 수십개의 회사가 시작하는 것을 허용하였다. 이 자동화된 접근법은, 시스템이, 고배율 출력을 희생하지 않고도 전체 샘플을 단일의 시야로서 간주할 수 있기 때문에, 수동 이미지 분석 기술에 비해 대폭적인 향상이다. 광범위한 시야를 넘어, 디지털화된 슬라이드는 개인 사이에서 쉽게 전송되며 나중에 임상적 재검토 또는 연구 애플리케이션을 위해 무기한 저장될 수 있다. 추가적으로, 예측 및 진단 머신 러닝 모델의 개발을 위해, 이들 디지털 이미지가 전자 건강 레코드의 정보와 통합될 것이라는 것을 예상하는 것이 합리적이다. 그러나, 전체 슬라이드 이미징 시스템은 규범(규범)으로부터의 임의의 일탈이 있는 경우 도전 과제와 조우한다.
대부분의 샘플이 고정되고 염색되기 때문에, 모든 상업적으로 이용 가능한 슬라이드 스캐너는 공초점(confocal) 현미경 검사 및/또는 형광 현미경 검사를 활용하는데, 샘플이 이미징 이전에 준비 및 조작의 다수의 단계를 거쳐야만 한다는 것을 의미한다. 다른 시스템이 위상차 현미경을 사용한다는 것을 믿는 것이 비합리적인 것은 아니지만, 그러나 결과적으로 나타나는 진단 유틸리티는 방해를 받을 것이다. 게다가, 일관성이 없는 이미지 및 초점에서 크게 벗어난 이미지로 귀결되는 초점 평면에서의 임의의 변화가 있는 경우, 이 기술은 제한된다. 이것은 특히, 슬라이드 전체에 걸쳐 도말화되는 세포 검사 샘플에서 두드러진다(즉, 샘플은 두께에서 균일하지 않음). 이것은, 슬라이드 상에 장착되기 이전에 샘플이 파라핀 왁스 몰드에서 균일하게 슬라이싱되는(즉, 샘플은 실질적으로 균일한 두께를 가짐) 조직 구조(histology)와 비교된다. 이 도말화 기술은, 스캐닝된 슬라이드의 40 %가 반복될 필요가 있는 것으로 귀결되는 z 축에서의 상당한 변화를 초래한다. 최신 시스템은, 초점이 맞는 이미지를 선택하기 위해 시스템이 다수의 높이에서 이미지를 캡처할 z 스태킹(z-stacking)으로 칭해지는 기술을 사용하는 것에 의해 이 제한을 우회하여 작동할 것이다. 주어진 높이에서 이미지가 얼마나 초점이 맞지 않는지를 결정하기 위해 시스템이 하나 이상의 정의된 입사 광을 사용하여 샘플을 조명할 수 있다는 것이 또한 본 기술 분야에 공지되어 있다. 시스템은 초점 평면(focal plane)과 매치시키기 위해 이미지 캡처 모듈의 높이를 조정할 수 있거나, 또는 그것은 소프트웨어를 활용하여 초점 차이를 보정할 수 있다. z 축 변동에 대한 더욱 수동적인 솔루션의 경우, 유체 세포 검사 샘플이 에탄올 염착제(ethanol fixative)를 함유하는 유리병(vial)에 삽입될 수 있고 유리병에서 나와 얇은 필터로 흡인될(aspirated) 수 있다는 것이 본 기술 분야에 공지되어 있다. 이 필터는, 그 다음, 하나의 초점 평면을 따르는 이미징을 위해 유리 슬라이드의 표면 상으로 단일의 층으로 압착될 수 있다. 이 기술은 초점 차이를 해결할 수 있지만, 그러나, 프로시저의 비용과 복잡도를 크게 증가시키는 다수의 준비 단계를 필요로 한다. 마지막으로, 이들 슬라이드 이미징 시스템 모두는, 큰 표면적에 걸쳐 그러한 고배율에서 지속적으로 이미지화하는 데 필요한 미세하게 튜닝된 모터 시스템과 및 이미지 센서에 기인하여 부피가 크고, 비용이 많이 들고, 그리고 시간 집약적인 경향이 있다. 필립스(Philips)의 초고속 스캐너(Ultra-Fast Scanner)는 이 분야의 현재의 표준이다. 그러나, 중량이 130kg 이상인 그것의 무게, 샘플당 5분보다 많은 스캔 시간, 및 규제 기관이 z 축 변화를 고려하는 도전 과제에 기인하여 조직 구조 샘플로만 사용 사례를 명시적으로 제한하는 것에 기인하여 그것은 유의미한 상업적 성공을 보지 못하였다.
본 발명자는 이들 도전 과제의 조합이, 현장 진단 애플리케이션에 대한 자동화된 병리학 솔루션을 통합하는 것을 어렵게 만든다는 것을 인식하였다. 하나의 그러한 애플리케이션은 추출시의 생검 샘플의 시각화 및 검증에서 있을 것이다. 생검은 일반적으로, 병리학자에 의한 분석을 위해 임상의 또는 외과 의사에 의해 환자로부터 조직을 제거하는 의료 프로시저에서 수행된다. 병원은, 진단을 결정하기에 충분히 큰 샘플을 획득하기 위해 이 프로시저를 자주 반복해야 하는 필요성에 기인하여 이 프로시저에 대해 통상적으로 과소 배상받는다(under-reimbursed). 실제로, 미국에서 실시되는 다섯 번의 생검 중 한 번은 진단을 반환하는데 실패한다. 이 도전 과제를 해결하기 위해, 병원은, 충분히 큰 샘플이 수집되었다는 것을 보장하기 위해 생검의 현장(즉, 수술실에서) 평가를 위한 프로토콜을 개발하였다. 신속한 현장 평가(rapid on-site evaluation: ROSE)는, 현장 진단에서 조직 생검의 적절성(adequacy)의 유효성을 확인하는 것을 돕기 위해 임상 의학에서 사용되는 기술이다. 그것은 주로 미세 바늘 흡인(fine needle aspiration: FNA) 프로시저에서 사용되며 다양한 조직에 대해 그리고 상이한 염색과 함께 사용되었다. ROSE를 구현하는 것을 통해 병원이 찾는 가치는 실패한 시술율을 감소시키는 데 있다. 그러나, 다른 사람들은, 실험실에서 사례 샘플을 보는 대신 ROSE에 대해 병리학자의 시간을 사용하는 것이 기술에 대한 상당한 단점을 나타낸다고 주장한다.
ROSE를 사용한 현재 업무의 하나의 예는 갑상선 암 생검이다. 프로시저는 임상 환경에서 수행되며, 세포 검사 기사(cytotechnologist) 또는 세포 병리학자(cytopathologist) 중 어느 하나에 의해 샘플이 판독된다. 이 프로세스는, 표준 광 현미경 검사 평가(standard light microscopy evaluation)를 위해 FNA로부터의 약 50 마이크로 리터의 볼륨의 샘플을 일반 유리 슬라이드에 도말화하는 것을 포함한다. 현미경 검사 하에서, 핵을 갖는 열 개의 세포의 6개 그룹이 보이면, 그러면, FNA는 성공적인 것으로 간주되고, 샘플의 나머지는 2차 테스트 및 진단을 위해 병리학 실험실로 전송된다. 샘플이 적절하지 않는다는 것을 현미경 검사 하에서의 뷰잉(viewing)이 나타내면(예를 들면, 10개 세포의 6개의 그룹 미만인 임의의 것), 그러면 다른 샘플이 검색된다(retrieved). 기술이 수행되는 것을 허용하지만 그러나 병리학자의 입장에서 배상(reimbursement)의 손실이 없는 방식을 구축하는 것은, 특히 특정한 생검 프로시저에 대해 완전히 능숙하지 않을 수도 있는 건강 관리 제공자에게는 고도로 가치가 있을 것이다.
고배율에서 큰 시야를 제공하는 것, 반투명 샘플을 시각화하는 것, 및 복수의 초점 평면에 걸친 이미징에 의해 현미경 검사의 핵심 도전 과제를 해결할 수 있는 디바이스에 대한 시장에서의 명백한 요구가 있다. 그러한 시스템은, 슬라이드 상에서, 플레이트 상에서, 유리병에서, 미세 유체 챔버에서, 그리고 유체 매체에서 준비되는 조직 구조 및 세포 검사 샘플 둘 모두의 이미지를 생성하기 위해 사용될 수 있다. 임의의 현장 진단 애플리케이션의 경우, 그러한 시스템은 최소의 설치 공간(footprint)을 가질 수도 있고, 조리대 또는 이동국(mobile station) 상에 놓일 수도 있고, 즉각적인 결과를 반환하여 임상적 의사 결정을 안내할 수도 있다.
본 명세서에서는, 현미경 평가를 위한 시료 준비 및 평가를 촉진하고 최적화함에 있어서 사용하기 위한 그러한 시스템, 방법, 및 디바이스가 개시된다. 설명될 바와 같이, 그러한 평가는, 예를 들면, 푸리에 타이코그래피를 사용하여 고배율 전체 슬라이드 이미지를 획득하도록 구성되는 하나 이상의 시스템 또는 방법을 사용하여 수행될 수도 있다.
도 1은 본 명세서에서 설명되는 하나 이상의 디바이스 또는 시스템에서 구현될 수도 있는 방법을 도시한다. 예를 들면, 도 1은 자동화된 샘플 분석을 위한 방법(100)의 하나의 실시형태의 흐름도를 도시한다. 이 방법 내에서 설명되는 단계는 하나 이상의 디바이스에서 구체화될 수도 있다. 예를 들면, 샘플 준비, 이미지 캡처, 정량적 위상 이미지 캡처, 수퍼 해상도(super-resolution) 이미지 재구성, 및 데이터 분석은 단일의 디바이스에서 또는 하나보다 더 많은 디바이스에서 구체화될 수도 있다. 도 1에서 도시되는 바와 같이, 방법(100)은 샘플을 수집하는 것(S110), 평가를 위한 샘플을 준비하는 것(S120), 샘플을 분석하기 위해 배열되는 디바이스에 샘플을 삽입하는 것(S130), 샘플을 분석하는 것(S140), 및 메시지를 출력하는 것(S160)을 포함할 수도 있다. 설명될 바와 같이, 메시지는 샘플 적절성, 품질, 타입(예를 들면, 세포 타입, 신체 위치, 등등), 질병 상태, 등등의 표시(indication)를 포함할 수도 있다.
샘플은 임의의 재료를 포함할 수도 있으며 기술 분야의 숙련된 자에게 공지되어 있는 임의의 방법에 의해 제조될 수도 있다. 현미경 분석을 위해 표시되는 샘플은 식물, 인간, 수의학, 박테리아, 곰팡이, 또는 물 소스로부터 획득될 수도 있다. 세포 시료는 세포학적 또는 조직학적일 수도 있다(예를 들면, 터치 프렙(touch prep), FNA, 동결된 절편, 코어 바늘, 세정/체액, Mohs, 절제 생검, 깎아낸 부스러기(shavings), 스크래핑(scrapings), 등등). 체액 및 다른 재료(예를 들면, 혈액, 관절 흡인물, 소변, 정액, 대변, 간질액, 등등)도 또한 본 명세서에서 설명되는 시스템 및 디바이스를 사용하여 분석될 수도 있다. 시료는 분석 이전에 수집 및 프로세싱될 수도 있다(예를 들면, 염색되거나 또는 염색되지 않음, 왁스에 임베딩됨, (예를 들면, 틴프렙(thinprep), 슈어프렙(sureprep), 미세 유체, 유동 세포 측정(flow cytometry), 등등을 포함하는) 용액에서 고정되거나 또는 고정되지 않음, 면역조직화학적으로 태깅되거나 또는 태깅되지 않음, 커버슬립을 갖거나 또는 갖지 않음, 또는 기술 분야의 숙련된 자에게 공지되는 임의의 다른 방식으로 준비됨). 단계(S110)에서 수집될 수도 있는 예시적인 비제한적인 샘플 타입 또는 재료는, 포유 동물, 식물, 미생물, 진핵 생물(eukaryote), 및/또는 원핵 생물(prokaryote)로부터의 혈액, 소변, 간질액(interstitial fluid), 관절 흡인물(joint aspirate), 정액, 조직, 타액(saliva), 땀, 세척액(lavage fluid), 양수(amniotic fluid), 및/또는 대변을 포함한다.
도 1에서 예시되는 바와 같이, 샘플을 수집한 이후, 샘플은 준비될 수도 있다(블록(S120) 참조). 몇몇 실시형태에서, 샘플의 준비는, 기술 분야의 숙련된 자에게 공지되어 있는 임의의 방법에 의한 신선한 것(즉, 최근에 수집됨), 냉동된 것, 염색되지 않은 것, 염색된 것, 절편된 것, 도말화된 것, 고정된 것, 고정되지 않은 것, 등등을 포함할 수도 있다.
몇몇 실시형태에서, 샘플은 본 명세서에서 설명되는 시스템, 디바이스, 또는 방법 중 임의의 것에 의한 분석을 위해 임의의 디바이스, 리셉터클, 또는 수단에 적용될 수도 있거나, 그것에 포함될 수도 있거나, 또는 다르게는 그것에서 사용될 수도 있다. 예를 들면, 도 2 내지 도 4는 본 명세서의 다른 곳에서 설명되는 디바이스 및 시스템 중 임의의 것에 의한 분석을 위해 샘플을 포함할 수도 있거나, 수용할 수도 있거나, 유지할 수도 있거나, 지닐 수도 있거나, 또는 다르게는 그것을 수용하도록 구성될 수도 있는 다양한 타입의 리셉터클을 도시한다. 도 2는 내부에 샘플을 포함하도록 구성되는 리셉터클, 튜브, 또는 컨테이너(200)를 도시한다. 예를 들면, 리셉터클은 테스트 튜브, 병, 컵, 또는 다른 유사한 리셉터클일 수도 있다. 도 3은 샘플이 상부에 도포된, 예를 들면, 슬라이드 상에서 도말화된 슬라이드(210)를 도시한다. 그러한 슬라이드(200)는 샘플을 분석하기 위한 디바이스 또는 시스템으로 삽입될 수도 있거나 또는 그 아래에, 그 위에, 또는 그 안으로 배치될 수도 있다(예를 들면, 도 1의 블록(S130) 참조).
도 4는 샘플을 유지하기 위한 리셉터클의 다른 실시형태, 예를 들면, 미세 유체 디바이스(220)를 도시한다. 몇몇 실시형태에서, 미세 유체 디바이스(220)는 샘플을 유지, 수용, 또는 다르게는 포함하기 위한 하나 이상의 채널을 내부에 포함할 수도 있다. 칩 채널(chip channel)은, 예를 들면, 자신의 상단(top) 플레이트와 저부(bottom) 플레이트 사이에서 50 마이크로리터의 볼륨을 정의할 수도 있다. 자신의 상단 플레이트의 형상은, 내부 구획의 대부분의 명확한 이미징을 위해 회로 내부의 가스가 칩의 측면(side) 및 코너 위로 상승되는 것을 허용하기 위해 오목할 수도 있다. 반대쪽 측면은, 균일한 충전 유체 흐름을 위해 일방향 가스 투과성 필터를 사용하여 밀봉되는 내부 구획에 대한 개구를 구비한다. 샘플은, 예를 들면, 피펫(pipette)을 사용하여 수동으로, 또는, 예를 들면, 로봇 어셈블리를 사용하여 자동적으로 미세 유체 디바이스에 적용될 수도 있다. 몇몇 실시형태에서, 미세 유체 디바이스의 하나 이상의 측벽 또는 표면은, 내부의 샘플과 상호 작용하도록 그리고 샘플을 표지하도록 또는 샘플로부터 다양한 컴포넌트를 분리하도록 구성되는 코팅, 태그, 항체, 염색제 등을 포함할 수도 있다.
몇몇 실시형태에서, 샘플이 리셉터클에 적용되고(예를 들면, 슬라이드 상으로 도말화되고, 리셉터클에 주입되고, 등등), 준비되고(예를 들면, 염색되고, 태깅되고, 정제되고, 염색되지 않은 채로 유지되고, 등등), 그리고 분석을 위해 디바이스에 삽입된다. 다른 실시형태에서, 샘플은, 리셉터클에 적용되고 분석을 위해 디바이스에 삽입되기 이전에, 준비된다(예를 들면, 염색, 태깅, 정제, 등등). 여전히 다른 실시형태에서, 샘플은 분석을 위해 디바이스에 적용되고, 디바이스는, 그 다음, 샘플을 준비하고, 그것을 리셉터클에 적용하고, 및/또는 샘플을 분석하도록 기능한다.
도 1에서 예시되는 바와 같이, 샘플은 본 명세서에서 설명되는 디바이스 또는 시스템 중 임의의 것으로 삽입될 수도 있다(S130). 몇몇 실시형태에서, 본 명세서에서 설명되는 샘플을 포함하는 리셉터클 중 하나 이상은 식별자를 사용하여 표지될 수도 있다. 예를 들면, 하나 이상의 리셉터클은 본 명세서에서 설명되는 디바이스 및 시스템 중 임의의 것에서 식별 및/또는 정렬을 위해 표지될 수도 있다. 식별자의 예시적이고 비제한적인 실시형태는, 바코드, QR 코드, 에칭된 패턴, 표지, 또는 기술 분야에서 공지되어 있는 임의의 다른 식별자를 포함한다.
이해될 바와 같이, 리셉터클의 각각은 모든 실시형태에서 식별자를 포함할 필요는 없다. 추가로 이해될 바와 같이, 리셉터클 중 하나 이상은 동일한 식별자, 또는 식별자의 적어도 일부를 포함할 수도 있다. 예를 들면, 몇몇 실시형태에서, 하나 이상의 리셉터클은 동일한 환자로부터의 샘플을 포함할 수도 있는데, 리셉터클은 동일한 환자 식별자(예를 들면, 환자 번호)를 포함한다.
식별자는 리셉터클의 임의의 적절한 부분 상에서 위치될 수도 있다. 몇몇 실시형태에서, 도 5에서 도시되는 바와 같이, 리셉터클의 적어도 하나의 측면이 식별자를 포함할 수도 있다. 그러한 실시형태에서, 리셉터클의 적어도 하나의 측면은, 디바이스 내의 판독기에 인접한/대면하는 리셉터클의 측면에 대응할 수도 있다. 예를 들면, 몇몇 실시형태에서, 리셉터클이 분석을 위해 디바이스에 삽입될 때, 디바이스는 식별자를 판독할 수도 있고 리셉터클과 관련되는 하나 이상의 속성(attribute)을 결정할 수도 있다. 속성의 예시적이고 비제한적인 예에는, 샘플의 출처, 샘플의 타입, 샘플의 방위, 샘플의 준비, 샘플 수집의 날짜 및/또는 시간, 샘플 준비의 날짜 및/또는 시간, 샘플 도달의 날짜 및/또는 시간, 리셉터클의 제조 날짜, 리셉터클의 만료 날짜, 및/또는 환자 정보를 포함한다.
몇몇 실시형태에서, 리셉터클은 하나보다 더 많은 식별자를 포함할 수도 있다. 예를 들면, 리셉터클은 디바이스 또는 시스템에서 리셉터클을 정렬하기 위한 및/또는 각각의 이미징 사이클 동안 디바이스 또는 시스템에서 카메라를 안내하기 위한 제2 식별자를 포함할 수도 있다. 몇몇 실시형태에서, 제2 식별자는 에칭된 패턴, 홈, 심볼, 또는 다른 마킹을 포함할 수도 있다. 몇몇 실시형태에서, 제1 및 제2 식별자는 리셉터클의 동일한 측면 상에 위치될 수도 있다. 다른 실시형태에서, 제1 및 제2 식별자는 리셉터클의 상이한 측면 상에서 위치될 수도 있다.
리셉터클이 슬라이드를 포함하는 예시적인 실시형태에서, 도 5에서 도시되는 바와 같이, 제1 식별자는, 슬라이드의 제1 가장자리(12)로부터 슬라이드(10)의 제2 가장자리(14)로 슬라이드(10)의 제1 표면을 따라 연장되는 에칭된 패턴(8)을 포함할 수도 있는데, 제1 가장자리(12)는 제2 가장자리(14) 반대쪽에 있다. 이 실시형태에서, 제2 식별자(6)는 바코드를 포함할 수도 있다. 몇몇 실시형태에서, 제2 식별자(6)는 또한 슬라이드(10)의 제1 가장자리(12)와 제2 가장자리(14) 사이에서 제1 표면을 따라 연장될 수도 있다.
제1 및 제2 식별자가 슬라이드의 제1 가장자리로부터 슬라이드의 제2 가장자리로 연장되는 것으로 도시되어 있지만, 다른 실시형태에서, 하나의 식별자 또는 식별자 둘 모두는, 제1 가장자리와 제2 가장자리 사이에서, 슬라이드의 제1 측면을 따라 부분적으로만 연장될 수도 있다. 예를 들면, 제1 식별자는 슬라이드의 측면의 길이의 약 25 %와 약 75 % 사이를 따라 연장될 수도 있다. 몇몇 예에서, 제1 식별자는 슬라이드의 측면의 길이를 따라 중앙에 위치될 수도 있다. 이해될 바와 같이, 제1 및 제2 식별자는 동일한 길이일 필요는 없다. 예를 들면, 제1 식별자는 제2 식별자보다 더 길 수도 있다. 제1 및 제2 식별자는 또한 슬라이드의 측면 상에서 수직으로 정렬될 필요도 없다. 예를 들면, 제1 식별자는 슬라이드의 제1 가장자리 근처에 위치될 수도 있고, 한편, 제2 식별자는 슬라이드의 제2 가장자리 근처에 위치될 수도 있다. 몇몇 실시형태에서, 식별자는 (예를 들면, 동일한 행에서) 수평으로 정렬될 수도 있다.
몇몇 실시형태에서, 리셉터클이 본 명세서에서 도시되고 설명되는 디바이스 및 시스템 중 임의의 것으로의 삽입을 위해 x축(도 5에서 16으로 표기되는 화살표 참조)을 따라 이동될 때, 제2 식별자(6)는 슬라이드(10) 또는 샘플의 식별을 위해 시스템 또는 디바이스에 의해 판독될 수도 있다. 그 다음, 제1 식별자(8)는 슬라이드(10) 또는 샘플의 정렬을 위해 판독될 수도 있다. 본 실시형태에서는 식별자가 순차적으로 판독되는 것으로 설명되지만, 다른 실시형태에서, 제1 및 제2 식별자(6, 8)는 동시에 판독될 수도 있다. 다른 실시형태에서, 리셉터클은 정렬을 위한 단지 하나의 식별자 또는 식별을 위한 하나의 식별자를 포함할 수도 있다. 몇몇 실시형태에서, 리셉터클은 정렬 및 식별 둘 모두를 위한 단일의 식별자를 포함할 수도 있다.
몇몇 실시형태에서, 샘플은 본 명세서의 다른 곳에서 설명되는 디바이스 또는 시스템 중 임의의 것으로 직접적으로 삽입될 수도 있다. 몇몇 실시형태에서, 샘플은 샘플 리시버, 샘플 홀더, 리셉터클, 및/또는 컨테이너에 삽입될 수도 있는데, 이들은 샘플의 분석을 위한 디바이스 또는 시스템에 의해 수용되도록 구성된다(예를 들면, 도 10 및 도 11 참조). 몇몇 실시형태에서, 도 6에서 도시되는 바와 같이, 샘플은 디바이스에 삽입되기 이전에 샘플 홀더에 삽입될 수도 있다. 몇몇 실시형태에서, 홀더는 이미징 프로세스 동안 카메라 및/또는 센서에 대해 샘플을 실질적으로 편평하게 또는 평면으로 유지하도록 구성될 수도 있다. 몇몇 실시형태에서, 홀더는 샘플을 홀더 내에 유지하기 위한 하나 이상의 리테이너(retainer)를 포함할 수도 있다. 예를 들면, 도 6 및 도 7에서 도시되는 바와 같이, 리테이너는, 샘플이 내부에 고정되는, 도 6에서 도시되는 바와 같은 닫힌 또는 클램핑된 구성과 샘플이 샘플 홀더 내에서 또는 샘플 홀더로부터 이동 가능한, 도 7에서 도시되는 바와 같은 열린 또는 클램핑되지 않은 구성 사이에서 이동하도록 구성되는 도어 또는 플랩(20)을 포함할 수도 있다. 도 6 및 도 7에서 도시되는 바와 같이, 도어(20)는, 도어가 열린(도 7) 위치와 닫힌(도 6) 위치 사이에서 선회할 수도 있도록 홀더(예를 들면, 힌지(18) 참조)에 힌지식으로(hingedly) 연결될 수도 있다. 도어(20)는 홀더의 저부 부분(26)에 의해 정의되는 어퍼쳐(24)에 삽입 가능한 하나 이상의 돌출부 또는 베벨(bevel)을 포함하는 래치(22)를 포함할 수도 있다. 저부 부분(26)은, 내부에 슬라이드를 슬라이딩 가능하게 수용하고 고정하도록 구성되는 하나 이상의 레일 또는 홈(28)을 추가로 정의할 수도 있다.
인식될 바와 같이, 샘플 홀더는 다른 적절한 방식으로 샘플을 유지할 수도 있다. 예를 들면, 샘플 홀더는 홀더 상에서 또는 내에서 샘플을 유지하도록 배열되는 하나 이상의 체결구(fastener)를 포함할 수도 있다. 샘플 홀더는 또한 샘플(예를 들면, 슬라이드)이 샘플 홀더에 슬라이딩 가능하게 삽입될 수도 있는 또는 찰깍하고 잠길 수도 있게 하는 하나 이상의 채널을 포함할 수도 있다. 대안적으로, 몇몇 실시형태에서, 샘플 홀더 없이 분석을 위해 샘플을 디바이스 또는 시스템에 삽입되는데, 예를 들면, 그 결과, 분석을 위한 디바이스 또는 시스템은 샘플을 유지, 제한, 또는 포함하기 위한 메커니즘을 내부에 포함한다.
도 1에서 예시되는 바와 같이, 일단 샘플이 디바이스 또는 시스템에 삽입되면(블록(S130) 참조), 샘플은 분석될 수도 있다(블록(S140) 참조). 몇몇 실시형태에서, 분석은, 샘플에 대한 자동 초점 조절(autofocusing) 또는 디포커싱(defocusing)(S142), 샘플을 조명하고 샘플의 하나 이상의 이미지를 캡처하는 것(S144), 하나 이상의 이미지를 로딩하는 것(S146), 하나 이상의 입력 파라미터를 수신하는 것(S148), 하나 이상의 이미지를 고해상도 이미지로 반복적으로 재구성하는 것(S150), 사후 프로세싱(S152)(예를 들면, 이미지 스티칭), 피처 추출 및/또는 하나 이상의 머신 및/또는 딥 러닝 모델을 사용하여 샘플을 평가하는 것(S154) 중 하나 이상을 포함할 수도 있다. 몇몇 실시형태에서, 딥 러닝 모델은 고해상도의 정량적 위상 이미지에 디지털 염색(digital stain)을 적용하기 위해 사용될 수도 있다.
몇몇 실시형태에서, 방법은 샘플의 분석에 대한 하나 이상의 메시지를 출력하는 것을 또한 포함한다(블록(S160) 참조). 몇몇 실시형태에서, 디바이스는 슬라이드 관리 목적을 위해 샘플의 식별 특성 및/또는 평가 결과를 나타내기 위해, 예컨대 레이저 에칭 및 감광성 재료를 통해, 슬라이드에 물리적으로 태깅할 수도 있다.
상기에서 설명되는 다양한 분석 단계는 본 명세서에서 설명되는 디바이스 및 시스템 중 임의의 것에 의해 수행될 수도 있다. 예를 들면, 도 8 내지 도 11에서 도시되는 바와 같이, 시스템은 독립형 컴퓨터 사용 현미경(self-contained computational microscope)을 포함할 수도 있다. 몇몇 실시형태에서, 시스템은, 옵션 사항으로(optionally), 임베딩된 사용자 인터페이스를 포함할 수도 있다. 몇몇 실시형태에서, 시스템은 또한, 도 1에서 도시되는 것과 같은 서버(220)를 옵션 사항으로 포함할 수도 있다. 본 명세서에서 설명되는 하나 이상의 디바이스 또는 시스템을 사용하여 획득되는 데이터 또는 본 명세서의 하나 이상의 디바이스 또는 시스템을 사용하여 수행되는 분석은 서버(220)로 송신될 수도 있고 그리고/또는 서버에 저장될 수도 있다. 몇몇 실시형태에서, 그러한 데이터 및/또는 분석은, 예를 들면, 소정의 타입의 상태, 샘플 타입, 등등을 검출하도록 머신 러닝 또는 딥 러닝 모델을 트레이닝시키기 위한, 샘플 타입 및 그들의 관련된 분석, 상태(예를 들면, 건강 상태, 질병 타입, 등등), 인구 통계학(demographics)(예를 들면, 연령, 성별, 등등), 과거 의료 이력(예를 들면, 이전 수술, 질병 이력, 등등)의 데이터베이스를 형성하기 위해, 또는 의사, 학생, 등등에 대한 학습 리소스로서 사용될 수도 있다. 대안적으로 또는 추가적으로, 서버(220)는 본 명세서에서 설명되는 하나 이상의 시스템으로부터 데이터 및/또는 분석을 수신하도록 그리고 표시(예를 들면, 질병 상태, 샘플 타입, 등등)를 출력하도록 또는 환자의 전자적 건강 레코드를 업데이트하거나 또는 동기화하도록 기능할 수도 있다.
몇몇 실시형태에서, 시스템은 본 명세서에서 설명되는 분석을 위해 하나 이상의 디바이스 또는 시스템(200)과 서버 또는 클라우드 서비스(220) 사이의 단방향 또는 양방향 통신을 포함할 수도 있다. 몇몇 실시형태에서, 시스템/디바이스(200)와 서버(220) 사이의 통신은, 블루투스(Bluetooth), 저에너지 블루투스(low energy Bluetooth), 근거리장 통신(near-field communication), 적외선, WLAN, Wi-Fi(와이파이), CDMA, LTE, 다른 셀룰러 프로토콜, 다른 무선 주파수, 또는 다른 무선 프로토콜을 사용하는 무선일 수도 있다. 추가적으로 또는 대안적으로, 시스템/디바이스(200)와 서버(220) 사이에서 정보를 전송하는 것 또는 송신하는 것은, IEEE 1394, 썬더볼트(Thunderbolt), 라이트닝(Lightning), DVI, HDMI, 직렬, 범용 직렬 버스, 병렬, 이더넷, 동축, VGA, PS/2, 또는 다른 유선 연결과 같은 유선 연결을 통해 발생할 수도 있다.
몇몇 실시형태에서, 준비된 샘플은 자동화된 디지털 현미경 검사 플랫폼을 사용하여 분석을 위해 이미지화될 수도 있는데, 그 한 예가 도 8 내지 도 11에서 도시되어 있다. 그러한 플랫폼의 부분적인 측면 분해도가 도 8에서 도시되어 있다. 자동화된 현미경 검사 플랫폼은 이미저(410)(예를 들면, 렌즈를 갖는 또는 갖지 않는 조명 소스, 및 센서), 모터 구동식 스테이지 X-Y 및 Z 스테이지(420), 하나 이상의 프로세서(430), 냉각 장치(440), 및 하우징(450)을 포함할 수도 있다. 몇몇 실시형태에서, 하우징(450)은 샘플 분석 동안 환경으로부터의 광 오염을 감소시키도록 구성될 수도 있다. 샘플은, 도 9에서 도시되는 바와 같이, 하우징(450)의 제1 측면에 있는 어퍼쳐(460)를 통해 유닛에 삽입될 수도 있다. 몇몇 실시형태에서, 도 9에서 도시되는 바와 같이, 어퍼쳐는, 하우징(450)에 커플링되며 어퍼쳐(460)가 (예를 들면, 샘플을 수용하기 위해) 액세스 가능한 열린 구성과 어퍼쳐(460)가 액세스 가능하지 않은 닫힌 구성 사이에서 이동 가능한 측벽(470)을 포함할 수도 있다. 몇몇 실시형태에서, 어퍼쳐(460)는, 사용자가 다른 샘플을 삽입하지 않을 수도 있도록 또는 분석되고 있는 샘플을 제거하려고 시도하지 않을 수도 있도록 샘플 분석 동안 닫힐 수도 있다. 몇몇 실시형태에서, 벽(470)은 힌지 메커니즘(예를 들면, 버트 힌지(butt hinge), 배럴 힌지(barrel hinge), 피아노 힌지(piano hinge), 버터플라이 힌지(butterfly hinge), 플러시 힌지(flush hinge), 스프링 힌지(spring hinge), 등등)을 통해 또는 기술 분야에서 공지되어 있는 임의의 다른 메커니즘을 통해 하우징(450)에 커플링될 수도 있다. 샘플은 도 9의 하우징(450)에 의해 정의되는 어퍼쳐(460)를 통해 도 8의 디바이스에 수동으로 또는 자동적으로 삽입될 수도 있다.
몇몇 실시형태에서, 도 10에서 도시되는 바와 같이, 플랫폼 또는 스테이지(420)(예를 들면, 이미징 동안 x, y 방향에서 이동 가능함)는 내부에서 샘플을 슬라이딩 가능하게 수용하도록 구성되는 하나 이상의 레일 또는 홈을 포함할 수도 있는데, 예를 들면, 도 6에서 도시되는 바와 같이, 샘플이 사전 로딩된다. 몇몇 실시형태에서, X-Y 및 Z 스테이지(420)는, 도 11에서 도시되는, 고정식 이미저(410)를 갖는 플랫폼에서 이미징을 위해 샘플을 기계적으로 배치할 수도 있다. 몇몇 실시형태에서, 어셈블리의 이미저(410)는, 옵션 사항으로, 다음의 피처 중 하나 이상을 포함할 수도 있다: 2배 내지 100배 대물 렌즈, 튜브 렌즈, 조명 어레이(예를 들면, 하나 이상의 LED를 포함함), 및 센서(예를 들면, 단색 CMOS). 디바이스는 또한 샘플을 이미징하기 위한 하나보다 더 많은 통합 렌즈 및/또는 센서를 포함할 수도 있다. 광학 시스템과 관련하여, 몇몇 예에서, 가시적(visible) 및/또는 비가시적(non-visible) 전자기 방사선의 조합이 하나 이상의 대물 렌즈, 하나 이상의 튜브 렌즈, 하나 이상의 카메라 렌즈, 및/또는 렌즈를 통과할 수도 있다. 몇몇 예에서, 조명 장치(lighting apparatus)는, 주기적 및/또는 비주기적 방위에서 배열되는 하나 이상의 평면 내의 LED 어레이 또는 마이크로어레이, OLED 디스플레이, LCD 디스플레이, MicroLED, 단일 모드 광섬유 커플링 레이저(single-mode-fiber-coupled laser), 레이저 다이오드, 페로브스카이트(Perovskite), 하나 이상의 검류계(galvanometer)/반사 매체, 파장 필터, 및/또는 빔 스플리터를 포함할 수도 있다. 몇몇 실시형태에서, 이미저는 전하 결합 소자(charge coupled device: CCD), 상보형 금속 산화물 반도체(complementary metal-oxide-semiconductor: CMOS), 렌즈, 발광 다이오드(light-emitting diode: LED) 보드, 및/또는 다른 이미지 캡처 센서 또는 모듈을 포함한다.
몇몇 실시형태에서, 자동 초점 조절 기술이 Z 축의 변동을 담당하기 위해 사용될 수도 있다. 예를 들면, 투영된 이미지의 초점 거리를 평가하기 위해 가시적 및/또는 비가시적 전자기 방사선을 사용하여 샘플에 걸쳐 자동 초점 조절 맵(autofocus map)(도 1의 블록(S142) 참조)을 생성하기 위해 조명 및 센서 컴포넌트의 조합이 샘플의 하나의 측면 또는 양쪽 측면 상의 장소로 이동될 수 있다. 라플라시안의 분산, 임계 절대 기울기, 및 기술 분야의 숙련된 자에게 공지되어 있는 다른 방법론을 포함하는 다양한 자동 초점 조절 방법이 또한 활용될 수도 있다.
도 32에서 도시되는 다른 실시형태에서, 자동 초점 조절 동안, 샘플(1530)은 광학 초점 평면(원거리장 푸리에 타이코그래피의 경우) 또는 디포커스 거리(defocus distance)(근거리장 푸리에 타이코그래피의 경우) 및 z 축을 따르는 스테이지(1540)의 최적 거리(1520)를 결정하기 위해 하나 이상의 광원(1550)(하나 이상의 파장)을 사용하여 조명될 수도 있다. 초점을 벗어난 이미지(1510)는, z 스테이지(1540)의 최적의 거리(1520)가 결정되거나 또는 설정될 때까지 생성될 수도 있다. 예를 들면, 샘플(1530)은, 부분적으로 가간섭성의(coherent) LED 조명을 사용하여 초점을 벗어난 콘트라스트를 생성하고 초점 포인트의 자기 상관 분석을 용이하게 하기 위해, 미리 정의된 오프셋 위치(z 오프셋)로 이동될 수도 있다. 몇몇 실시형태에서, 오프셋 거리는 약 10㎛와 1000㎛ 사이(예를 들면, 60㎛)로 설정될 수도 있다. 몇몇 실시형태에서, 디포커스 거리는 오프셋 거리에 기초하여 구성될 수도 있다. 예를 들면, 오프셋 거리가 약 60㎛로 설정되면, -30㎛에서부터 +30㎛까지의 샘플 위치(즉, 30㎛에서부터 90㎛까지의 범위)가 검출될 수 있다.
몇몇 실시형태에서, 이미징을 위한 방법은 하나 이상의 조명 소스에 대한 전력 인가를 온 및/또는 오프하기 위한 하나 이상의 단계를 더 포함할 수도 있다. 예시적인 실시형태에서, 녹색 LED의 세트(예를 들면, 2 개, 4 개, 6 개, 8 개, 10 개, 10개 초과, 등등의 세트)가 턴 온되는 동안, 백색 LED의 한 세트가 전력이 오프될 수도 있다. 몇몇 실시형태에서, 녹색 LED는 샘플에 대해 비스듬하게 배치될 수도 있지만, 녹색 LED는 다른 적절한 배열을 또한 가질 수도 있다. 몇몇 실시형태에서, 방법은, 정의된 거리가 샘플의 초점 평면을 복구하기 위해 사용될 수 있도록, 메인 카메라로부터의 캡처된 이미지가 이 거리만큼 분리되는 샘플의 두 개의 사본을 포함하도록 샘플을 디포커싱된 위치에서 배치하기 위한 단계를 포함할 수도 있다. 그 다음, 시스템은 두 개의 LED 조명에 의해 정의되는 평면에 수직으로 샘플을 스캐닝하는 단계를 수행할 수도 있다.
몇몇 경우에, 방법은 도 1의 블록(S144)에서 도시되는 바와 같이, 샘플 조명 및 이미지 캡처를 위한 카메라 및 조명 장치의 이동을 개시하는 것을 포함할 수도 있다. 몇몇 경우에, 이미지에 대한 위상 및 강도 데이터를 수집하기 위해 다양한 조명 조건으로부터 복수의 이미지가 캡처될 수도 있다. 몇몇 실시형태에서, 복수의 상이한 조명 조건의 총 수는 약 2 내지 10 사이, 약 5 내지 50 사이, 약 10 내지 100 사이, 약 50 내지 1000 사이, 또는 1000 초과이다. 몇몇 실시형태에서, 복수의 이미지는 18 fps, 20.48MP, 글로벌 셔터, 및 2.4 평방㎛ 단위 픽셀 사이즈를 갖는 단색일 수도 있는 이미지 센서를 사용하여 캡처될 수도 있다. 다른 실시형태에서, 이미지 센서는 초점 평면, 심플 리프(simple leaf), 롤링, 다이어프램, 중앙, 또는 전자 셔터, 20 MP보다 더 적은 또는 더 많은 총 센서 픽셀, 1 fps만큼 낮은 또는 18 fps보다 더 큰 가변 프레임 레이트, 2.4㎛/픽셀보다 더 큰 또는 더 작은 픽셀 사이즈, 또는 비정사각형 픽셀을 사용할 수도 있다. 몇몇 실시형태에서, 이미지 스택의 결과적으로 나타나는 픽셀 사이즈는, 대물 렌즈 이후에 그리고 타이코그래픽 재구성 이전에 픽셀당 1.7 미크론 내지 픽셀당 0.250 미크론 사이에 있을 수도 있다. 또 다른 경우에, 움직임을 개시하는 것은, 사용자 입력(예를 들면, 버튼의 선택)을 수신하는 것 또는 카메라, 조명 장치, 및/또는 샘플 움직임을 개시하기 위한 커맨드를 도 1의 디바이스(200)에 송신하는 것을 포함할 수도 있다.
도 1에 의해 예시되는 바와 같이, 블록(S144)에서 캡처되는 하나 이상의 이미지는 본 명세서에서 개시되는 다양한 이미징 향상 기술을 사용하여 사전 프로세싱될 수도 있고, 블록(S146)에서 (예를 들면, 그들이 메모리에서 유지될 수도 있는 또는 BMP, JPEG, PNG, 등등으로서 저장될 수도 있는 파일로부터) 로딩될 수도 있고, 블록(S150)에서 하나 이상의 정량적 위상 및/또는 고해상도 이미지를 생성하기 위해 사용될 수도 있다.
몇몇 실시형태에서, 위상차 이미지, 정량적 위상 이미지(quantitative phase image: QPI), 및/또는 수퍼 해상도 이미지는 하나 이상의 조명 조건 하에서 획득되는 하나 이상의 이미지에 대한 컴퓨터 사용 현미경 검사의 적용을 통해 획득될 수도 있다. 본 명세서에서의 목적을 위해, QPI는, 광파가 광학적으로 더 조밀한 오브젝트를 통과할 때 오브젝트의 차동 위상 시프트가 정량화되는 현미경 검사 기술의 세트를 가리킨다. 생물학적 애플리케이션의 경우, 세포와 같은 반투명 오브젝트는 소량의 광을 흡수하고 산란한다. 결과적으로, 이것은 전통적인 명시야 조건 하에서 반투명 오브젝트를 관찰하기 어렵게 만든다. 그러나, 그러한 오브젝트는 QPI를 사용하여 관찰될 수 있는 위상 시프트를 유도한다. 위상 시프트 기울기를, 정량적 정보를 추출하기 어렵게 되는 강도 변화로 변환하는 것에 의해 위상 시프트를 시각화하는 종래의 위상차 현미경 검사 기술과는 대조적으로, QPI는, 강도(명시야) 이미지와 관계없이, 2차 위상 시프트 이미지를 생성한다. 각각의 픽셀에서 절대 위상 시프트 값을 제공하기 위해, 위상 언래핑 방법(phase unwrapping method)이 위상 시프트 이미지에 일반적으로 적용된다. 위상 시프트를 측정하고 시각화하기 위한 주요 방법은, 타이코그래피 및 다양한 타입의 홀로그래픽 현미경 검사 방법 예컨대 디지털 홀로그래픽 현미경 검사, 홀로그래픽 간섭 현미경 검사, 및 디지털 인라인 홀로그래픽 현미경 검사를 포함하지만, 그러나 이들로 제한되지는 않는다. 이들 방법의 공통점은, 디지털 이미지 센서에 의해 간섭 패턴(홀로그램)이 기록된다는 것이다. 레코딩된 간섭 패턴으로부터, 강도 및 위상 시프트 이미지는 컴퓨터 알고리즘에 의해 수치적으로 생성될 수도 있다.
몇몇 실시형태에서, 도 1의 블록(S144)에서의 샘플 조명 및 이미지 캡처는 푸리에 타이코그래피를 통해 QPI를 획득하는 것을 또한 포함한다. 몇몇 실시형태에서, 광원 또는 회절된/반사된 광의 어레이는, 상이한 입사각에서 샘플을 조명하기 위해 그리고 단색 카메라를 사용하여 대응하는 저해상도 이미지를 획득하기 위해 사용될 수도 있다. 몇몇 예시적인 실시형태에서, 광원은 정보 멀티플렉싱을 위해 동시에 조명될 수도 있고, 따라서 획득된 이미지는 상이한 가간섭성 상태에 대응하는 샘플 투과 프로파일(sample transmission profile)의 비가간섭성(incoherent) 합계를 나타낸다. 다른 실시형태에서, 광원은 특정한 패턴을 가지고 및/또는 상이한 주파수에서 조명될 수도 있다. 예를 들면, 도 13 내지 도 16에서 도시되는 바와 같이, 랜덤(도 13), 래스터(도 14), 나선형(도 15), 조명의 개구수(도 16), 및 컴퓨터를 사용하여 유도된 시퀀싱을 포함하는, 그러나 이들로 제한되지는 않는 다양한 조명 구성이 원거리장 푸리에 타이코그래피에서 사용될 수도 있는데, 여기서 각각의 수치로 표기된 원은 도 13 내지 도 16에서의 광원을 나타낸다. 또 다른 실시형태에서, 샘플을 조명하는 상이한 패턴 또는 주파수는, 샘플을 조명하기 위해 사용되는 광의 파장 또는 샘플로부터의 광원의 배치(예를 들면, 샘플로부터의 거리, 회전의 각도, 등등)에 관련될 수도 있다. 추가적인 비제한적 실시형태에서, 상이한 조명의 패턴, 조명의 주파수, 및/또는 조명 파장은, 예컨대, 샘플 또는 그 밖의 것을 포함하는 리셉터클 상의 식별자에서 포함되는 정보를 통해, 샘플에 대해 수집되는 정보의 하나 이상의 조각(piece)에 기초하여 시스템에 의해 결정될 수도 있다. 몇몇 실시형태에서, 샘플에 대한 정보의 조각은 샘플에 대한 정보(예를 들면, 샘플 타입, 샘플 연령, 샘플 애플리케이션, 방사선적 특성, 샘플 준비 세부 정보, 및/또는 샘플 매체) 및/또는 수집된 이미징 데이터, 또는 본 명세서에서 정의되는 하나 이상의 피처에 기초하여 결정되는 이미지 샘플의 양태에 기초하여 샘플에 대해 수집되는 정보를 포함할 수도 있다. 몇몇 실시형태에서, 고해상도 샘플 이미지를 복구하기 위해 FP 획득의 비가간섭성 혼합물을 분해하는 것을 포함하는 상태 멀티플렉싱 푸리에 타이코그래피(Fourier ptychography: FP) 복구 루틴이 적용될 수도 있다.
몇몇 실시형태에서, 도 1의 블록(S144)에서의 샘플 조명 및 이미지 캡처는, 여러 가지 대역의 스펙트럼에서 다색 샘플의 이차원 이미지를 개별적으로 생성하기 위해 스펙트럼 멀티플렉싱(spectral multiplexing: SM)을 통해 푸리에 타이코그래피를 수행하는 것을 포함한다. 예를 들면, 방법은 멀티플렉스 정보를 수신하는 것 및 SM을 포함하는 그러나 이것으로 제한되지는 않는 방법을 사용하여 샘플에서 가간섭성 상태 분해를 검출하는 것을 포함할 수도 있다. 추가적인 또는 대안적인 실시형태에서, 데이터 획득을 위해 RGB LED를 동시에 턴 온하는 것에 의해 컬러 멀티플렉싱된 이미징이 수행될 수도 있다. 이 접근법은 푸리에 타이코그래픽 이미징 플랫폼에서 사용되는 광원의 부분적으로 가간섭성인 효과를 핸들링하기 위한 솔루션을 제공하도록 구성될 수도 있다. 상이한 파장이 광학 엘리먼트를 독립적으로 통과하기 때문에, SM은 투과 용량을 상당히 크게 확대시킬 수도 있다. 전통적인 FPM 방법과는 대조적으로, SM은 데이터 획득을 위한 시간 소모적인 프로세스를 크게 감소시킬 수도 있다. 중복적인 샘플링을 단순히 감소시키는 방법과는 대조적으로, SM은 푸리에 도메인에서 정보를 멀티플렉싱할 수도 있다.
몇몇 실시형태에서, 선택되는 이미지 재구성 시스템 및/또는 방법은, 시스템 이미지 캡처 구성에 기초한 하나 이상의 입력 파라미터에 기초한다. 블록(S148)에서의 입력 파라미터의 예시적이고 비제한적인 실시형태는 다음의 것을 포함할 수도 있다: 조명 구성, 조명(들)의 파장, 및 만약 존재한다면, 렌즈 또는 그 결여의 물리적 명세, 센서, 및 확산기. LED 어레이가 활용되는 경우, 추가적인 파라미터는 어레이 사이즈/치수, 조명 순서, 및 LED 단계 거리를 포함할 수도 있다. 컴포넌트의 위치 및 거리를 비롯한 공간 정보가 또한 명시될 수도 있다; 예를 들면, 조명 소스와 샘플 사이의 거리, 및 그들의 상대적 위치. 시스템에 고유할 수도 있는 파라미터의 추가적인 예는, 광학 테이블, 진동 감쇠 재료, 기계적 필터, 소프트웨어 사후 프로세싱, 및/또는 광학적 진동 격리를 위한 능동적 소거 기술의 사용이다.
몇몇 실시형태에서, 전체 시야 이미지(예를 들면, 전체 슬라이드 이미지)의 생성은, 이미지 캡처 이후에, FP 재구성 이전에 또는 그 이후에 생성될 수도 있다. 캡처되는 각각의 이미지는, 이웃하는 또는 인접한 이미지와 적어도 부분적으로 중첩될 수도 있다. 캡처되는 각각의 이미지는 자신의 이웃과의 약 5-25 %, 5-50 %, 1-50 %의 중첩을 가질 수도 있고, 전체 세트는 완전한 전체 슬라이드 이미지를 만들기 위해 집합적으로 함께 스티칭될 수도 있다. 몇몇 실시형태에서, 이미지를 함께 스티칭하여 더 큰 시야를 제공하기 위해, 랜덤 샘플 합의(random sample consensus: RANSAC) 스티칭, 스케일 불변 피처 변환(scale-invariant feature transformation), 키 포인트 매칭, 피처 생성을 위한 Lowe(로우)의 방법, 또는 기술 분야의 숙련된 공지되어 있는 유사한 알고리즘이 사용될 수도 있다. 몇몇 실시형태에서, 딥 컨볼루션 신경망이 이미지의 호모그래픽 추정치(homographic estimate)를 생성할 수도 있다.
몇몇 실시형태에서, 블록(S152)의 사후 프로세싱 및 도 1의 블록(S154)에서의 인공 지능, 머신 러닝, 또는 딥 러닝 평가에서 나타내어지는 바와 같이, 하나 이상의 이미지의 분석은, 하나 이상의 사후 프로세싱 방법, 하나 이상의 머신 러닝 모델, 및/또는 딥 러닝 모델을 사용하는 피처 식별을 포함할 수도 있다. 하나 이상의 샘플의 하나 이상의 이미지에서 식별될 수도 있는 피처는 다음의 것을 포함할 수도 있지만, 그러나 이들로 제한되지는 않는다: 세포 수, 핵, 가장자리, 그룹화, 덩어리 사이즈(clump size), 공간 정보, 또는 이들의 조합. 식별될 수도 있는 추가적인 세포학적 피처는 다음의 것을 포함할 수도 있지만, 그러나 이들로 제한되지는 않는다: 비정형 유사 분열(atypical mitose), 염색질 세분성(chromatin granularity), 염색질 과염색증(chromatin hyperchromasia), 핵 수, 핵 사이즈, 유사 분열, 핵막 불규칙성(예를 들면, 갈라짐, 편평한 가장자리, 날카로운 각도, 부채 모양(scalloped), 등등), 핵 다형태성(nuclear pleomorphism), 핵 대 세포질(nuclear-to-cytoplasmic) 비율, 핵인 형상(nucleoli shape)(예를 들면, 모가 난 모양, 스파이크형, 뒤얽힘, 등등), 핵인 사이즈, 세포 분열 속도(cell division rate), 스핀들 길이(spindle length), 세포막 밀도, 팻 포켓(fat pocket), 박테리아 수, 및/또는 운동성 패턴(motility pattern). 이들 세포학적 피처는, 다음의 것 중 하나 이상에 대한 주요 지표(indicator)일 수도 있다: 암 성장, 전이 잠재성(metastatic potential), 불임, 박테리아 존재, 박테리아 내성, 샘플 품질의 유효성 확인, 및/또는 이들의 조합. 샘플 평가는 컴퓨터 지원 샘플 평가의 사용을 더 포함할 수도 있다. 몇몇 실시형태에서, 평가는 분류 또는 회귀 알고리즘(예를 들면, 감독(supervised), 자율(unsupervised), 또는 이들의 조합)을 통해 발생할 수도 있다. 알고리즘은, 정량적 위상 이미지, 강도 전용 이미지로부터 추출되는 특성 및/또는 피처에 대해 트레이닝될 수도 있거나, 또는 원시(raw) 데이터를 사용할 수도 있다. 몇몇 실시형태에서, 다층 모델이 개발될 수도 있다. 모델은, 샘플 적절성, 샘플 내용 식별, 세포 타입, 및/또는 그 이상(abnormality) 및 빈도를 결정하도록 트레이닝될 수도 있다. 모델의 출력은 수치 스케일에 대한 부울(Boolean)일 수도 있고, 및/또는 표지 식별 목적을 위해 일반적인 전문 용어를 사용할 수도 있다. 몇몇의 이름을 거론하자면 샘플 소스 인구 통계학, 전자전 건강 레코드, 및 관련 샘플 데이터베이스를 포함하는 그러나 이들로 제한되지는 않는 추가적인 정보가 모델을 추가로 교육시키기 위해 사용될 수도 있다.
몇몇 실시형태에서, 도 1의 블록(S160)에서 도시되는 바와 같이, 방법(100)은 메시지를 출력하는 것을 포함한다. 몇몇 실시형태에서, 메시지는, 예를 들면, 적절성 또는 다른 분류를 나타내는 샘플 평가로부터의 결과일 수도 있다. 다른 실시형태에서, 메시지는 컴퓨터 지원 평가의 사용자 검증을 위한 샘플의 이미지를 포함할 수도 있다. 몇몇 실시형태에서, 샘플의 하나 이상의 이미지는 사전 트레이닝된 딥 러닝 모델을 사용하여 디지털적으로 염색될 수도 있고, 뷰어에게 디스플레이될 수도 있다. 몇몇 실시형태에서, 출력은, 터치 반응 성능을 갖는 또는 갖지 않는 디스플레이(예를 들면, 박막 트랜지스터 액정 디스플레이(liquid crystal display: LCD), 인 플레이스 스위칭(in-place switching) LCD, 저항성 터치스크린 LCD, 용량성 터치스크린 LCD, 유기 발광 다이오드(LED), 액티브 매트릭스 유기 LED(Active-Matrix organic LED: AMOLED), 수퍼(Super) AMOLED, 레티나(Retina) 디스플레이, 햅틱/촉각 터치스크린, 또는 고릴라 글래스(Gorilla Glass)) 상에서 결과를 실시간으로 디스플레이하는 것을 포함할 수도 있다. 대안적으로 또는 추가적으로, 출력은 메시지 또는 이미지를, 디바이스 또는 시스템(200)에 통신 가능하게(무선 또는 유선) 커플링되는 컴퓨팅 디바이스(예를 들면, 랩탑, 데스크탑, 워크스테이션, 모바일 디바이스, 페이저, 개인 휴대형 정보 단말, 스마트 글래스, 스마트 워치, 등등)로 송신하는 것을 포함할 수도 있다.
이제, 도 1의 블록(S142 및 S144)과 관련하여 처음 소개되었던, 자동 초점 조절, 샘플 조명, 및 이미지 캡처를 설명하는 도 12 내지 도 19로 돌아간다. 몇몇 실시형태에서, 자동 초점 조절 기능은 샘플 또는 샘플 내의 주목하는 영역에 대한 정확한 초점 또는 정확한 초점 평면을 결정하기 위해 사용될 수도 있다. 몇몇 실시형태에서, 도 12에서 도시되는 바와 같이, 라플라시안 방법의 분산은 샘플의 주목하는 영역에서 최적의 초점 거리를 결정하기 위해 사용될 수도 있다. 예를 들면, 이미저(502)는 광학 컴포넌트(504)(예를 들면, 하나 이상의 렌즈를 갖는 또는 갖지 않는 하나 이상의 센서), 조명 소스(508), 및 기계적 스테이지 컴포넌트(506)로 구성될 수도 있다. 이미저 중 하나 이상은 고정된 상태로 남아 있을 수도 있고, 그 결과, 기계적 스테이지가 이미징을 위한 샘플을 하나 이상의 광학 컴포넌트와 관련하여 배치한다. 몇몇 실시형태에서, 하나 이상의 이미지 스택(510)은 다양한 초점 거리에서 획득된다. 이 방법은 라플라시안 연산자(514)를 적용하여 이미지(예를 들면, 이미지(510, 512, 518))의 2차 도함수를 측정하는 것을 포함할 수도 있는데, 여기서 라플라시안은 빠른 강도 변화를 포함하는 이미지의 영역을 강조한다. 이미지가 매우 낮은 분산(516)을 포함하는 경우, 응답의 작은 확산이 있을 수도 있는데, 이것은 이미지에서 가장자리가 매우 적다는 것을 나타내고, 이것은 이미지가 흐리게 되거나(blurred) 또는 초점(512)이 맞지 않다는 것을 나타낸다. 이미지가 높은 분산(520)을 포함하는 경우, 정상적인 초점이 맞는 이미지(518)를 나타내는 가장자리형(edge-like) 및 비가장자리형(non-edge like) 응답 둘 모두의 넓은 확산이 있을 수도 있다. 분산이 미리 정의된 임계치 아래로 떨어지면, 그러면, 이미지는 흐릿한 것으로(blurry) 분류될 수도 있고; 그렇지 않으면, 이미지는 흐릿하지 않은 것으로 분류될 수도 있다. 몇몇 실시형태에서, 복수의 주목하는 영역에 대한 최적의 초점 거리는 전체 시야에 대한 초점 평면을 매핑하기 위해 반복될 수도 있다. 몇몇 경우에, 시스템, 디바이스, 및 방법은, 예를 들면, 샘플 타입을 포함하여 샘플의 하나 이상의 피처에 기초하여 가장자리의 임계 레벨을 결정하도록 그리고 샘플의 하나 이상의 피처에 기초하여 이미지를 흐릿한 것 또는 초점이 맞는 것으로 분류하도록 구성될 수도 있다. 몇몇 실시형태에서, 다수의 자동 초점 조절 맵이 생성될 수도 있고, 한편, 다른 것은, 예를 들면, 자동 초점 조절 매핑 및 힐 클라이밍(hill climbing)을 필요로 하지 않을 수도 있다.
몇몇 경우에, 원거리장 푸리에 타이코그래피에서의 이미저의 조명 소스는 LED 어레이로 구성될 수도 있다. 조명 체계는, 도 13 내지 도 16에서 도시되는 바와 같이, 이미지 캡처를 최적화하기 위해 수정될 수도 있고, 사용 중인 LED 패널의 실제 치수에 기초하여 확장되거나 또는 수정될 수도 있다. 도 13은 랜덤 조명 시퀀스를 개략적으로 도시한다. 도 14는 래스터 조명 시퀀스를 개략적으로 도시한다. 도 15는 나선형 조명 시퀀스를 개략적으로 도시한다. 도 16은 샘플을 조명하기 위한 광학 시스템의 개구수를 개략적으로 도시한다. 몇몇 실시형태에서, 다수의 파장의 광이 활용되는 경우, 하나보다 더 많은 LED가 한 번에 조명될 수도 있다. 몇몇 경우에, 자동 초점 조절 이후, 추가적인 평가/분석을 위해 다양한 미리 결정된 조명 조건 하에서 샘플의 복수의 이미지가 획득될 수도 있다. 몇몇 실시형태에서, 이미지는 비디오의 프레임을 포함한다. 몇몇 실시형태에서, 복수의 상이한 조명 조건의 총 수(N)는 2 내지 10 사이, 5 내지 50 사이, 10 내지 100 사이, 50 내지 1000 사이, 또는 1000 초과이다. 몇몇 실시형태에서, 하나 이상의 광원 및/또는 하나 이상의 시스템 동작은, 임베딩된 컴퓨터 시스템을 사용하여 직접적으로 또는 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array: FPGA) 또는 다른 디지털 로직 디바이스를 통해 제어될 수도 있다.
몇몇 경우에, 도 1의 블록(S144)에서 다수의 조명 조건 하에서 캡처되는 복수의 이미지는, 현미경 평가를 위해 컴퓨터를 사용하여 유도되는 수퍼 해상도의 정량적 위상 이미지를 획득하기 위해 사용될 수도 있다. 예를 들면, 몇몇 실시형태에서, 전체 샘플 이미징을 위한 전통적인 현미경 검사 및 타이코그래피 방법의 공간 대역폭 곱(space-bandwidth product)에서 전류 제한을 우회하기 위해, 도 1의 블록(S146, S148 및 S150)에서 구체화되는 근접장 또는 원거리장 푸리에 타이코그래픽 재구성이 활용될 수도 있다. 이들 실시형태에서, 전파를 통해 얼마나 많은 광이 지연되는지, 그리고 이미징 프로세스 동안 얼마나 많은 손실이 있는지를 위상 정보가 특성 묘사한다는 원칙에 기초하여 샘플에서 존재하는 생물학적 오브젝트를 특성 묘사하기 위해 위상 검색 정보가 사용된다. 강도 전용 측정치를 사용하는 것에 의해 위상 정보를 복구하기 위해 위상 검색 기술이 사용될 수도 있다. 몇몇 실시형태에서, 이것은 공간 및 푸리에 도메인에서 오브젝트의 공지된 정보의 교대하는 실시를 포함할 수도 있다. 이들 방법은, 전통적인 현미경 검사 기술의 해상도 한계를 우회하기 위해 어퍼쳐 합성(aperture synthesis)을 수행하는 것을 더 포함할 수도 있다. 어퍼쳐 합성은 푸리에 통과 대역(passband)을 확장하고 달성 가능한 해상도를 향상시키기 위해 소스의 콜렉션(collection)으로부터의 정보를 결합하는 것을 포함할 수도 있다. 종합하면, 본 명세서에서 개시되는 이들 방법은, 광학 렌즈의 품질에 의해서가 아니라 사용되는 방사선의 파장에 의해서만 제한되는 샘플의 수퍼 해상도 이미징의 하나 이상의 양태를 자동화할 수 있다.
몇몇 실시형태에서, 이미지 센서로부터의 이미지 데이터는 최종 이미지의 재구성을 위해 임베딩된 컴퓨터 시스템으로 판독될 수도 있다. 몇몇 실시형태에서, 이미지 센서로부터의 이미지 데이터는 FPGA에 의해 판독되고, 추가적인 분석을 위해 임베딩된 컴퓨터 시스템 상으로 전달되기 이전에 그곳에서 재구성된다. 몇몇 실시형태에서, 이미지 데이터는, 임베딩된 컴퓨터 시스템 또는 FPGA 대 임베딩된 컴퓨터 시스템 결합(FPGA to embedded computer system combination) 중 어느 하나를 통해, 프로세싱을 위해 이미지 센서로부터 그래픽 프로세싱 유닛(Graphics Processing Unit: GPU)으로 전달된다. 몇몇 실시형태에서, 소프트웨어는, LED 휘도, LED 공간 위치, 유리 슬라이드 결함, 공간 위치 및 CMOS 센서에 대한 각도, 프리즘 변형, 샘플 수차, 및 렌즈 결함 또는 방해물을 포함하는, 그러나 이들로 제한되지는 않는 요인을 측정하는 것에 의해 시스템에서의 미세한 변동을 수용할 수도 있고, 최종 디컨볼루션 프로세스에 대한 그들의 전반적인 영향을 최소화할 수도 있다. 몇몇 실시형태에서, 반복적 재구성은 하나 이상의 FPGA, 양자 컴퓨터, 그래픽 프로세싱 유닛, 또는 논리적 프로세서에 의해 수행될 수도 있다.
원거리장 푸리에 타이코그래피 시스템의 하나의 예시적인 실시형태가 도 17 내지 도 19에서 도시되어 있다. 그 시스템은 FP 재구성을 위해 다양한 조명 조건 하에서 복수의 이미지를 캡처하도록 설계된다. 몇몇 실시형태에서, 원거리장 푸리에 타이코그래픽 시스템은 다음의 것을 포함한다: 생물학적 샘플이 백라이트 조명을 받도록(backlit) 생물학적 샘플과 관련하여 배치되고, 그 결과 조명 소스는 생물학적 샘플에 광을 빠르게 연속적으로 인가하도록 그리고 생물학적 샘플에 적용될 때 광의 입사 광선(incident ray)을 생성하도록 구성되는, 조명 소스; 생물학적 샘플의 광학적 투과 기능(optical transmission function)으로부터 생성되는 하나 이상의 회절 패턴에 기초하여 복수의 이미지를 캡처하도록 구성되는 센서; 센서 상으로 하나 이상의 회절 패턴을 투영하도록 구성되는 렌즈; 및 생물학적 샘플의 원래의 광학적 투과 기능을 재구성하도록, 복수의 이미지를 함께 스티칭하도록, 그리고 생물학적 샘플의 하나 이상의 피처를 식별하도록 구성되는 프로세서.
도 17은, 조명 소스, 예를 들면, 샘플(710)(도 1의 블록(S120) 참조)을 통과하고, 광학 스택(730)으로 투과되기 이전에 옵션 사항의 렌즈(720)(예를 들면, 무한대 보정용 렌즈(infinity correcting lens))를 통해 계속될 수도 있는 광의 하나 이상의 파장을 사용하는 LED 어레이(700)를 포함하는 예시적인 이미지 캡처 구성의 일반화된 개략도이다. 몇몇 실시형태에서, 렌즈(720)는, 단일의 그룹 내지 여덟 개의 그룹에서, 단일의 엘리먼트로부터 열 여덟 개의 엘리먼트(즉, 글래스의 조각)까지의 범위에 이를 수도 있다. 도 18은 도 17의 시스템에 대한 조명 소스(700)의 다른 실시형태를 나타내는데, 여기서 하나 이상의 또는 복수의 LED가 하나 이상의 평면에서 배치된다. 몇몇 실시형태에서, 조명 소스(700)는 하나 이상의 차원에서 적어도 5×5의 개개의 다이오드를 포함하는 하나 이상의 LED 패널을 포함할 수도 있다. 몇몇 실시형태에서, 개개의 LED는 하나 이상의 평면에서 규칙적으로(즉, 주기적으로) 이격될 수도 있고; 다른 실시형태에서, 개개의 다이오드는 하나 이상의 평면에서 불규칙하게(즉, 비주기적으로) 이격될 수도 있다. 다른 실시형태에서, LED 어레이는 LED의 그리드, 예를 들면, x 축을 따라 5-40개 그리고 y 축을 따라 대응하는 5-40 개를 가지고 성형되는 정사각형 또는 직사각형 어레이(예를 들면, 19×19 LED), 동심원에서 배열되는 7 내지 40개의 LED, 또는 LED 또는 LCD 디스플레이에 의한 조명을 포함할 수도 있다. 몇몇 실시형태에서, 어레이는 하나 이상의 또는 복수의 점 광원(point light source)을 포함한다. 예를 들면, 하나 이상의 점 광원은, 700 내지 635㎚, 560 내지 520㎚, 490 내지 450㎚ 및 495 내지 570㎚의 파장에서 전자기 방사선을 방출하도록 구성될 수도 있다. 다양한 LED 구성은, 그 다음, 도 13 내지 도 16에서 설명되는 바와 같이 미리 결정된 또는 컴퓨터를 사용하여 최적화된 시퀀스에서 조명하도록 프로그래밍될 수도 있다. 몇몇 실시형태에서, 조명 소스(700)는 OLED 디스플레이, LCD 디스플레이, MicroLED, 단일 모드 광섬유 커플링 레이저, 레이저 다이오드, 또는 페로브스카이트와 같은 다른 방사선 방출 재료를 포함할 수도 있다. 몇몇 실시형태에서, 시스템은 파장 필터 및 빔 스플리터와 같은 광 변조 디바이스를 포함할 수도 있다.
도 19는 도 17의 광학 스택(730)의 하나의 실시형태의 다양한 컴포넌트를 도시한다. 광학 스택(730)은, 0.04에서부터 1.45까지의 범위에 이르는 개구수를 갖는 대물 렌즈(740), 무한대 보정 튜브(infinity-corrected tube)/복합 렌즈(compound lens)(750)(예를 들면, 단일의 그룹 및 최대 여덟개 그룹에서, 단일의 엘리먼트에서부터 열 여덟개 엘리먼트(즉, 글래스의 조각)까지의 범위에 이르는 컴포넌트를 포함한다. 렌즈는 35㎜에서부터 200㎜까지의 범위에 이르는 초점 거리를 가질 수도 있음)를 포함할 수도 있다.
도 19는 광학 스택(730)의 일부로서 센서(760)를 더 도시한다. 몇몇 실시형태에서, 광학 스택(730)의 센서(760)는, 전하 결합 소자(CCD), 상보형 금속 산화물 반도체(CMOS), 렌즈, 발광 다이오드(LED) 보드, 및/또는 다른 이미지 캡처 센서 또는 모듈을 포함한다. 센서는 또한, 몇몇 실시형태에서, 적어도 4 비트, 적어도 6 비트, 적어도 8 비트, 적어도 10 비트, 4 내지 10 비트, 4 내지 8 비트, 4 내지 6 비트 등의 그레이스케일 강도를 캡처하도록 구성될 수도 있다. 몇몇 실시형태에서, 복수의 이미지를 캡처하기 위해 사용되는 하나 이상의 회절 패턴은, 가간섭성 상태 분해의 검출을 위해 멀티플렉싱된다. 게다가, 몇몇 실시형태에서, 생물학적 샘플과 구조화된 광 사이의 주파수 혼합은 고주파수 생물학적 샘플 정보를 센서의 통과 대역으로 시프트한다.
몇몇 실시형태에서, 원거리장 푸리에 타이코그래피 시스템은 하나 이상의 프로세서 또는 집적 회로를 더 포함한다. 예를 들면, 집적 회로 중 적어도 하나는 이미지 재구성을 수행하도록 구성되는 FPGA일 수도 있다. 몇몇 실시형태에서, 하나 이상의 프로세서 또는 집적 회로는, 생물학적 샘플의 하나 이상의 피처에 기초하여, 조명 소스의 조명의 패턴, 조명의 주파수, 조명의 파장, 또는 이들의 조합 중 하나 이상을 선택하도록 구성될 수도 있다. 하나 이상의 피처는 다음의 것을 포함할 수도 있지만, 그러나 이들로 제한되지는 않는다: 샘플 타입, 샘플 연령, 샘플 애플리케이션, 또는 이들의 조합.
근거리장 푸리에 타이코그래피 시스템의 예시적인 실시형태가 도 20 내지 도 22에서 도시되어 있다. 몇몇 실시형태에서, 근거리장 푸리에 타이코그래피는 신호의 큰 프레넬 수(Fresnel number)가 센서에 의해 복구되는 것을 허용할 수도 있다. 이 높은 프레넬 수는, 유입하는 광파에 대한 훨씬 더 많은 정보가 푸리에 변환에서 기록되고 복구되는 것을 허용할 수도 있다. 이것은, 원거리장의 것과 유사한 근거리장 복구 프로세스와 결합하여, 확산기(diffuser)에 의해 생성되는 스펙클 패턴(speckle pattern)의 특성 묘사 및 복구, 샘플의 강도의 고해상도 재구성, 및 샘플의 위상의 고해상도 재구성을 허용한다. 이론에 구속되기를 바라지는 않지만, 근거리장 타이코그래피는, 조명의 상이한 각도를 갖는 복수의 광원을 사용하기 보다는, 샘플에 걸쳐 확산되고 변조되는 단일의 가간섭성 광원(예를 들면, 레이저 또는 레이저 다이오드)을 사용하는 것에 의해 원거리장 타이코그래피와는 상이하다. 추가적으로, 위상 차이를 캡처된 이미지에서의 강도 차이로 변환하기 위해 이미지를 캡처할 때 디포커스 거리가 사용될 수도 있다. 이 방법의 몇몇 구현예는, 더 작은 영역에 걸쳐 확산 패턴을 포커싱하기 위해 집광 렌즈(condensing lens)를 사용한다. 이것은, 복구된 이미지가 자신의 해상도를 증가시킬 수 있는 요인을 증가시키는 더욱 미세하게 확산된 피처를 생성한다. 몇몇 구현예는, 디포커스 거리를 여전히 유지하면서 센서 상으로 광을 전달하기 위해 대물 렌즈와 튜브 렌즈를 또한 사용하였다. 몇몇 구현예는, 광원이 확산되고, 샘플로 투과되고, 그리고 마지막으로, 샘플(및 샘플 유지 장치)과 상호 작용한 확산된 광이 센서로 직접적으로 송신되도록 앞서 언급된 하드웨어의 일부를 생략한다.
도 20 내지 도 22는 근거리장 푸리에 타이코그래피 시스템(800a)의 다양한 실시형태를 예시한다. 도 20 내지 도 22에서 도시되는 시스템은 반드시 주사 현미경 검사를 필요로 하지 않는다. 일반적으로, 근거리장 푸리에 타이코그래피 시스템은 다음의 것을 포함한다: 적어도 하나의 가간섭성 광원에 대해 배치되는 생물학적 샘플을 조명하도록 구성되는 적어도 하나의 가간섭성 광원; 광이 생물학적 샘플과 상호 작용하기 이전 또는 광이 생물학적 샘플과 상호 작용한 이후 중 어느 하나에서 광이 스펙클이 있는 패턴(speckled pattern)으로 확산되도록, 적어도 하나의 가간섭성 광원에 의해 생성되는 광을 확산시키도록 구성되는 확산기; 확산된 광에 기초하여 생물학적 샘플의 임베딩된 스펙클 패턴을 갖는 복수의 조명된 이미지를 캡처하도록 구성되는 센서; 및
프로세서 또는 집적 회로 및 비일시적 컴퓨터 판독 가능 매체. 프로세서는 다음의 것을 포함하는 방법을 수행하도록 구성될 수도 있다: 재구성된 이미지의 이미지 스택을 복구하기 위해 생물학적 샘플의 복수의 스펙클이 있는 조명된 이미지(speckled illuminated image)를 반복적으로 재구성하는 것; 내부에서 이미지 스택의 각각의 이미지가 이웃하는 이미지와 적어도 부분적으로 중첩하도록 전체 슬라이드 이미지를 생성하기 위해 이미지 스택 내의 각각의 이미지를 함께 스티칭하는 것; 및 생물학적 샘플의 하나 이상의 피처를 식별하는 것. 옵션 사항으로, 프로세서는 확산기에 의해 적용될 스펙클이 있는 패턴을 특성 묘사하도록 또한 구성될 수도 있다.
도 20의 시스템(800a)에서 도시되는 바와 같이, 광섬유 커플링 레이저, 레이저 다이오드, 또는 유사한 디바이스(802)에 의해 생성되는 가간섭성 광의 단일의 빔은 확산기 또는 확산 매체(804)를 통과하여 임베딩된 스펙클 패턴을 생성한다. 몇몇 실시형태에서, 확산기(804)는 스카치 테이프, 랜덤 위상 플레이트, 스티렌 코팅된 커버슬립, 또는 기술 분야의 숙련된 자에게 공지되어 있는 임의의 다른 확산기 또는 확산 매체일 수도 있다. 확산된 가간섭성 광(808)의 각도는, 하나 이상의 검류계 또는 다른 모션 제어 디바이스(812)를 사용하여 변조되는, 미러, 금속 또는 고도로 연마된 실리카와 같은 하나 이상의 반사 표면(810)을 사용하여 샘플(814)을 향해 지향될 수도 있다. 샘플(814)을 통과한 이후, 데이터는, CCD, CMOS, 네거티브 채널 금속 산화물 반도체(negative channel metal oxide semiconductor: NMOS), 등등을 포함하는 그러나 이들로 제한되지는 않는 하나 이상의 센서(816)에 의해 캡처될 수도 있다. 센서는 또한, 몇몇 실시형태에서, 적어도 4 비트, 적어도 6 비트, 적어도 8 비트, 적어도 10 비트, 4-10 비트, 4-8 비트, 4-6 비트의 그레이스케일 강도를 캡처하도록 구성될 수도 있다.
몇몇 실시형태에서, 프로세서는, 생물학적 샘플의 하나 이상의 피처에 기초하여 적어도 하나의 가간섭성 광원의 조명의 패턴, 조명의 주파수, 조명의 파장, 또는 이들의 조합 중 하나 이상을 선택하도록 구성된다. 예시적이고 비제한적인 피처는 다음의 것을 포함한다: 샘플 타입, 샘플 연령, 샘플 애플리케이션, 또는 이들의 조합.
근거리장 타이코그래피 시스템(800b)의 다른 실시형태가 도 21에서 도시되어 있다. 이 도면에서 도시되는 바와 같이, 광섬유 커플링 레이저, 레이저 다이오드, 또는 유사한 디바이스(818)에 의해 생성되는 가간섭성 광의 단일의 빔은, 옵션 사항으로, 낮은 개구수 렌즈(numerical aperture lens)(820)를 통과하고, 후속하여, (상기에서 정의되는 바와 같은) 확산기 또는 확산 매체(822)를 통과하여, 병진된 스펙클 패턴을 생성할 수도 있다. 옵션 사항의 집광 장치(condenser)(824)는 조명을 포커싱할 수도 있는데, 그 조명은, 그 다음, 조명 소스에 수직인 초점 평면에 대해, 오프셋/디포커스 위치, 예를 들면, 20 내지 100㎛에서 배치되는 샘플(826)을 통과한다. 모터 구동식 스테이지는, 그 각각이 다른 것과는 상이한 하나 이상의 또는 복수의 미리 결정된 스텝 사이즈 단위로 이 평면 내에서 샘플(826)을 이동시킬 수도 있다. 몇몇 예시적이고 비제한적인 실시형태에서, 스텝 사이즈는 0 내지 2㎛, 1㎛ 미만, 0.5 내지 1㎛, 또는 0.5 내지 0.75㎛일 수도 있다. 센서(832)로의 투과 이전에, 몇몇 실시형태에서, 조명은 대물 렌즈(828) 및/또는 튜브 렌즈(830)를 통과할 수도 있거나 또는 통과하지 않을 수도 있다.
도 22는 근거리장 푸리에 타이코그래피 시스템(800c)의 다른 실시형태를 도시한다. 몇몇 실시형태에서, 조명 기반의 현미경 검사(예를 들면, 공초점, 위상차 현미경 검사, 차동 간섭 위상차, 암시야 현미경 검사, UV 및 형광 현미경 검사, 및 다른 FPM 기술)에 비해 이 접근법의 이점은, 복구된 이미지가 복잡한 파면(wavefront)이 샘플을 빠져나가는 방식에만 의존하기 때문에, 더 두꺼운 샘플이 이미지화될 수 있다는 것일 수도 있다. 광섬유 커플링 레이저, 레이저 다이오드, 또는 유사한 디바이스(834)에 의해 생성되는 가간섭성 광의 단일의 빔은, 옵션 사항으로, 무한대 보정 대물 렌즈(836)를 통과할 수도 있고, 후속하여, 조명 소스(834)와 관련하여 X-Y 차원에서 스텝 사이즈(대략 1㎜) 단위로 병진 방식으로(translationally) 시프트되는 모터 제어식 확산기 또는 확산 매체(840), 및 샘플 분석(842)을 위한 단색 센서(842)를 통과할 수도 있다. 샘플과 센서(842) 사이의 총 거리는, 배치 정확도에 대한 필요성을 감소시키는 매우 높은 프레넬 수를 제공하기 위해 1㎜ 미만일 수도 있고 시야가 전체 센서 영역에 걸치는 것을 허용한다.
도 23은 푸리에 타이코그래피 현미경 검사(Fourier ptychography microscopy: FPM) 재구성(S240)을 위한 하나 이상의 조명 조건(이하, 이미지 스택으로 지칭됨) 하에서 획득되는 복수의 저해상도 이미지로부터 하나 이상의 고해상도 이미지를 준비하도록 구체화될 수도 있는 방법(200)을 도시한다. 게다가, 이미지 스택은, 본 명세서의 다른 곳에서 설명되는 위치 및/또는 이미지 스티칭 프로세스에 기초하여 전체 슬라이드 이미지를 생성하도록 결합될 수도 있는 전체 시야의 타일 또는 서브세트를 포함할 수도 있다. 방법(200)은 하나 이상의 사전 프로세싱 방법(S210)을 포함할 수도 있고, 후속하여, 이미지 로딩(S220), 및 입력으로서 하나 이상의 시스템 파라미터(S230)를 수신하는 것을 포함할 수도 있다. 몇몇 실시형태에서, 더 큰 시야를 생성하기 위해 블록(S250)에서 사후 프로세싱이 발생할 수도 있고, 후속하여, 블록(S260)에서 이미지 스티칭이 발생할 수도 있다. 이 프로세스는 집적 회로, 예를 들면, FPGA를 사용하여 내부에서, 또는 하나 이상의 외부 프로세서를 사용하여 외부에서 발생할 수도 있다.
몇몇 경우에, 블록(S210)에서의 이미지 사전 프로세싱(예를 들면, 저해상도 이미지 스택에 대한 이미지 최적화/향상)은, AI/비AI 이미지 선명화(sharpening), 강도 경계 설정(intensity bounding), LED 정규화, 필터링(예를 들면, 선형 또는 바이래터럴), 크롭핑, 기하학적 변환 보정, 중복 식별, 광선 추적, 및/또는 기술 분야의 숙련된 자에게 공지되어 있는 다른 방법을 포함하는 하나 이상의 변환을 포함할 수도 있다. 몇몇 실시형태에서, 블록(S210)은 하나 이상의 이미지에 디포커스 마스크(defocus mask)를 적용하는 것을 포함할 수도 있다. 획득되는 하나 이상의 이미지의 해상도는, 예를 들면, 디포커스 마스크를 사용하여 증가될 수도 있다. 디포커스 마스크는 존재하는 하나 이상의 이미지의 앨리어싱 및/또는 블러를 감소시킬 수도 있다. 디포커스 마스크는, 하나 이상의 이미지를 입력으로서 취하고 제2 이미지를 생성하는 머신 러닝 또는 딥 러닝 알고리즘의 산물일 수도 있거나, 또는 가산적으로 또는 승산적으로 적용될 수도 있는 디포커스 마스크일 수도 있다. 그러한 알고리즘에 대한 입력은 하나 이상의 이미지일 수도 있고 출력은 더 선명하거나 또는 명확한(예를 들면, 증가된 첨예도를 가짐) 제2 이미지일 수도 있거나, 또는 적용될 때 이미지의 선명도 또는 명확도(clarity)를 가산적으로 또는 승산적으로 증가시키는 디포커스 마스크일 수도 있다. 몇몇 실시형태에서, 머신 러닝 알고리즘은 신경망, 심층 신경망, 또는 기술 분야의 숙련된 자에게 공지되어 있는 다른 알고리즘인데, 이들은 저해상도, 비선명(unsharp), 초점이 맞지 않은, 또는 앨리어싱이 심한(highly aliased) 이미지, 또는 이들의 어떤 조합으로부터 선명한 이미지 및 명확한 이미지가 어떻게 보일지를 학습할 것이다. 그러한 방법은 또한, 머신 러닝 또는 딥 러닝 알고리즘을 가르치기 위한 알고리즘을 생성하는 것에 의해, 또는 코드를 실행할 수 있는 하나 이상의 아날로그, 디지털, 또는 양자 프로세서를 사용하여 머신 러닝 알고리즘으로 전달되는 수동 규칙 세트에 의해 달성될 수도 있는데, 이것은 하나 이상의 프로세서 상에서 실행될 수 있는 모델을 생성할 것이다. 규칙은, 이미지에서 어떤 하나 이상의 피처가 그리고 얼마의 각도까지 굴곡되는지, 그리고 반대로, 하나 이상의 피처 중 어떤 것이 직선인지를 지시할 수도 있다. 그러한 알고리즘은 또한, 앨리어싱의 감소, 선명도의 증가, 및/또는 명확도의 증가를 최대의 양까지 행하기 위해, 이미지에서의 피처의 밀도 및 최소 및/또는 최대 두께를 결정하도록 기능한다.
몇몇 실시형태에서, 이미지 사전 프로세싱은 픽셀 강도 값의 범위를 변경하는 프로세스인 정규화를 또한 포함할 수도 있다. 이론에 구속되기를 바라지는 않지만, 다양한 애플리케이션에서 다이나믹 레인지 확장의 목적은, 일반적으로, 이미지 또는 다른 타입의 신호를, 감각에 더욱 친숙하거나 또는 정상적인 범위로 가져오는 것이고, 그러므로 용어 정규화가 사용된다. 선형 강도 정규화의 하나의 실시형태는, 범위 (최소, 최대) 내의 강도 값을 갖는 n 차원 그레이스케일 이미지(I)를, 범위 (minnew, maxnew) 내의 강도 값을 갖는 새로운 이미지(IN)로 변환하는 것을 수반한다. 정규화는 또한 비선형적일 수도 있는데, 이것은 I와 IN 사이에 선형적인 관계가 없을 때 발생할 수도 있다. 비선형 정규화의 한 예는, 정규화가 시그모이드 함수(sigmoid function)를 따르는 경우이다; 그 경우, 정규화된 이미지가 계산된다.
몇몇 실시형태에서, 사전 프로세싱은 필터링을 또한 포함할 수도 있다. 신호 프로세싱의 몇몇 실시형태에서, 필터는 신호로부터 어떤 원치 않는 컴포넌트 또는 피처를 제거하는 디바이스 또는 프로세스이다. 이론에 구속되기를 바라지는 않지만, 필터링은 신호 프로세싱의 한 클래스인데, 필터의 정의 피처는 신호의 어떤 양태의 완전한 또는 부분적인 억제이다. 하나의 실시형태에서, 이것은 어떤 주파수 또는 주파수 대역을 제거하는 것을 의미한다. 그러나, 필터는 주파수 도메인에서 배타적으로 작용하지 않는다; 특히 이미지 프로세싱의 분야에서, 필터링을 위한 다른 많은 타깃이 존재한다. 주파수 도메인에서 작용할 필요 없이, 상관 관계가 소정의 주파수 성분에 대해서는 제거될 수도 있고 다른 주파수 성분에 대해서는 제거되지 않을 수도 있다. 분류 필터의 많은 상이한 기반이 있으며, 이들은 많은 상이한 방식으로 중첩된다; 단순한 계층적 분류는 존재하지 않는다. 필터는 비선형적 또는 선형적, 시변 또는 시간 불변(즉, 시프트 불변), 인과적(causal) 또는 비인과적인, 아날로그 또는 디지털, 이산 시간(예를 들면, 샘플링) 또는 연속 시간, 수동 또는 능동 타입의 연속 시간 필터, 무한 임펄스 응답(infinite impulse response: IIR) 또는 유한 임펄스 응답(finite impulse response: FIR) 타입의 이산 시간 또는 디지털 필터일 수도 있다.
몇몇 실시형태에서, 사전 프로세싱은 또한 이미지를 선명하게 하는 것을 포함할 수도 있다. 이미지 선명화 기술은, 비선명 마스킹(unsharp masking) 또는 디컨볼루션과 같은, 다수의 방식으로 이미지를 선명하게 하는 것 및 흐리게 하는 것 둘 모두를 하기 위해 사용될 수 있다. 이미지 선명화 기술의 하나의 실시형태는 콘트라스트의 형태를 수반할 수도 있다. 이것은 명시된 반경에서 각각의 픽셀 주변의 픽셀의 평균 컬러를 찾는 것, 및 그 다음, 그 평균 컬러로부터 그 픽셀을 대조하는 것에 의해 행해질 수도 있다. 이 효과는, 겉보기에 세부 사항을 추가하여, 이미지가 더 명확하게 보이게 만든다.
몇몇 실시형태에서, 이미지 사전 프로세싱은 이미지 위치 맞춤(image registration) 및 기하학적 왜곡의 제거를 위한 기하학적 변환을 또한 포함할 수도 있다. 이미지의 공간 변환은, 상이한 조건 하에서의 촬영된 이미지의 정렬, 렌즈 왜곡에 대한 이미지의 보정, 카메라 방위의 효과의 보정, 및/또는 이미지 모핑 또는 다른 특수 효과의 목적(들)을 위한 이미지 좌표 시스템의 기하학적 변환을 포함할 수도 있다. 하나의 실시형태에서, 공간 변환에서, 이미지 A의 각각의 포인트 (x, y)는 새로운 좌표 시스템에서의 포인트 (u, v)로 매핑된다. 디지털 이미지 어레이는, 새로운 도메인 내의 별개의 포인트로 매핑되는 암시적 그리드를 갖는다. 타깃 좌표 시스템에서 그리드 포인트에서의 이미지 값을 찾기 위해 보간이 필요로 될 수도 있다. 이들 포인트는 새로운 도메인에서의 그리드 포인트에 속하지 않을 수도 있다. 몇몇 실시형태는 아핀 변환(공선성(collinearity) 및 거리의 비율을 보존하는 임의의 변환), 회전의 구성, 병진(translation), 확대, 및/또는 전단(shear)을 포함할 수도 있다.
게다가, 몇몇 실시형태에서, 이미지 사전 프로세싱은 광선 추적을 포함한다. 컴퓨터 그래픽에서, 광선 추적은, 광의 경로를 이미지 평면에서 픽셀로서 추적하는 것 및 가상 오브젝트와의 그 조우의 효과를 시뮬레이팅하는 것에 의해 이미지를 생성하기 위한 렌더링 기술을 포함할 수도 있다. 그 기술은, 몇몇 실시형태에서, 통상적인 스캔 라인 렌더링 방법보다 상당히 높지만, 그러나 더 큰 계산 비용으로, 꽤 더 높은 정도의 시각적 사실성을 생성할 수 있다. 광선 추적은, 반사 및 굴절, 산란, 및 분산 현상(예컨대, 색수차)과 같은 아주 다양한 광학적 효과를 시뮬레이팅할 수 있을 수도 있다. 하나의 실시형태에서, 광선 추적은, 가상 스크린에서 각각의 픽셀을 통해 가상의 눈으로부터의 경로를 생성하는 것 및 그것을 통해 보이는 오브젝트의 컬러를 계산하는 것을 수반할 수도 있다. 그 다음, 각각의 광선은, 장면 내의 모든 오브젝트의 몇몇 서브세트와의 교차에 대해 테스트되어야만 한다. 일단 가장 가까운 오브젝트가 식별되면, 알고리즘은 교차 포인트에서 유입하는 광을 추정할 수도 있고, 오브젝트의 재료 성질(property)을 검사할 수도 있고, 이 정보를 결합하여 픽셀의 최종 컬러를 계산할 수도 있다. 소정의 조명 알고리즘 및 반사 또는 반투명 재료는 더 많은 광선이 장면으로 다시 투영되는 것을 필요로 할 수도 있다.
몇몇 실시형태에서, S210으로부터의 사전 프로세싱된 저해상도 이미지는 FPM 수퍼 해상도 이미지 재구성을 위해 로딩된다(S220). 복수의 저해상도 이미지를 수집하기 위해 사용되는 시스템 파라미터는, 반복적 재구성 알고리즘을 통지하기 위해 블록(S230)에서 정의된다(도 1의 블록(S148)에서도 또한 정의됨). 시스템 파라미터의 비제한적인 예는 다음의 것을 포함한다: 조명 구성, 조명(들)의 파장, 및 존재하는 경우, 렌즈의 물리적 명세(개구수), 센서의 물리적 명세(비트 깊이), 및 확산기의 물리적 명세. LED 어레이가 활용되는 경우, 추가적인 파라미터는 어레이 사이즈, 어레이 치수, 조명 시퀀스, LED 스텝 거리, 등등을 포함할 수도 있다.
S210-S230의 완료시, 푸리에 타이코그래픽 이미지 재구성(S240)이 수행될 수 있다. 이론에 구속되기를 바라지는 않지만, 푸리에 타이코그래피는, 시스템에서 사용되는 대물 렌즈 및 센서 둘 모두의 나이퀴스트(Nyquist) 샘플링 한계를 우회하는 것에 의해 이미지의 샘플링 해상도를 증가시키도록 기능한다. 반복적인 푸리에 타이코그래픽(근거리장 또는 원거리장) 이미지 재구성 방법(1000)에 대한 일반적인 프로세스를 예시하는 흐름도가 도 24에서 도시되어 있다. 몇몇 실시형태에서, 방법(1000)은, 낮은 주파수의 광 강도를 필터링하기 위해 그리고/또는 블록(S1010)에서 조명의 각도를 변경시키는 것을 통해 캡처되는 하나 이상의 이미지에서 광의 곡률을 보정하기 위해 전달 함수를 사용한다. 몇몇 실시형태에서, 전달 함수는 시야에서의 위치에 기초하고, 그 결과 전달 함수는 완전한 또는 전체 시야에 적용되도록 적응된다. 필터링된 정보는, 재구성된 이미지에서 존재하는 정보의 양을 증가시키도록 역할을 하는 추가적인 신호 정보를 푸리에 도메인에서 추가하기 위해 사용된다.
FPM 반복적 재구성을 위한 방법(1000)은, 이미지 스택(S1010)을 초래하는 다수의 조명 조건 하에서 이미지를 캡처하는 것으로 시작된다. 다음으로, 방법(1000)은 최종적인 고해상도의 재구성 이미지의 해상도의 추정을 초기화하는 것을 포함할 수도 있다(S1020). 결과적으로 나타나는 고해상도 이미지는 조명 조건에 대응하여 크롭될 수도 있다. 그 다음, 초기 추정은 푸리에 도메인으로 변환될 수도 있고, 옵션 사항으로, 저역 통과 필터(low-pass filter: LPF)를 통해 획득되는 낮은 주파수는 변환 함수의 중앙(center of the transform function: CTF)에 배치되도록 시프트될 수도 있다(S1030). 방법(1000)은, 옵션 사항으로, 업데이트될 푸리에 변환의 결과를 사용하여 영역을 선택하는 것을 포함할 수도 있다. 선택되는 영역은 현재 이미지의 조명 조건에 의존할 수도 있고, 크롭될 수도 있다. 몇몇 실시형태에서, 이미지의 사이즈는 단일의 픽셀로부터 하나 이상의 캡처된 이미지의 치수에 걸쳐 있는 전체 픽셀까지의 범위에 이를 수도 있다. 그 다음, 선택된 영역은 엘리먼트 단위로 전달 함수와 승산될 수도 있고, 옵션 사항으로, 역 시프트되고, 그 다음, 실제 공간으로 역 푸리에 변환될 수도 있다(S1040). 그 다음, 방법(1000)은 선택된 영역의 각각의 픽셀에 대한 실제 공간 곱에 대한 복소 각도(complex angle), 또는 위상을 식별하는 것을 더 포함한다(S1050). 획득되는 각도는, 그 다음, 현재의 이미지와 엘리먼트 단위로 반복적으로 승산될 수도 있다(S1060). 현재 이미지 곱은 전달 함수와 승산되고, 후속하여, 푸리에 변환되고(S1070) 전달 함수를 사용하여 시프트된다(S1080). 업데이트된 필터링된 곱은 블록(S1084)에서 선택된 크롭된 영역을 대체하고, 블록(S1030-S1084)이 이미지 스택의 전체에 대해 반복된다(S1086). 블록(S1086)은 블록(S1088)에서 수렴이 획득되거나, 로컬 저에너지 솔루션이 획득되거나, 또는 미리 결정된 수의 반복이 완료될 때까지 반복된다. 블록(S1090)에서 도시되는 바와 같이, 상기에서 식별되는 몇몇 또는 모든 블록은 모든 주목하는 영역(region of interest: RIO)에 대해 반복될 수도 있다.
블록(S1080)에서의 전달 함수는, 광학 스택에 기인하는 광학적 수차(예를 들면, Zernike(제르니케) 수차, LED 강도의 차이, 시야에서의 위치)를 보정하도록 의도되는 비정수(non integer) 항을 가질 수도 있거나 또는 가지지 않을 수도 있다. 몇몇 실시형태에서, 전달 함수는 재구성에서 업데이트되고 있는 하나 이상의 이미지에 대해 이미지 스택으로부터 고주파수 정보를 필터링하도록 의도된다. 이것은 타이코그래피에서의 이미지가 명확도 및 공간 해상도 둘 모두를 증가시키도록 노이즈의 제거를 허용한다.
푸리에 타이코그래피에 대한 상이한 실시형태는, 도 24의 블록(S1010)에서 도시되는 바와 같이, 상이한 방법을 통해 조명의 다양한 각도로부터 수집되는 정보를 추가한다. 반복 알고리즘에서 가장 낮은 개구수를 갖는 이미지가 우선시될 때 빠른 수렴 솔루션이 달성될 수도 있다. 입력을 위해 선택되는 이미지의 순서가 나선형 패턴을 사용하는 경우 유사한 결과가 획득되지만, 그러나, 그 솔루션은 그렇게 빠르게 수렴되지 않는다. 상당히 느리게 수렴하는 이미지를 래스터 또는 랜덤 패턴으로 선택하는 몇몇 초기 실시형태가 또한 존재하는데, 최종 솔루션은 나선형 또는 개구수 순서와 동일한 품질까지는 아니다.
전통적인 원거리장 푸리에 타이코그래피는 시야 내에서 주목하는 영역의 중심의 좌표와 함께 공지된 LED 위치를 사용하여 파동 벡터(wave-vector)를 계산할 수 있다. 이 시스템의 이전 실시형태에서, 주목하는 영역은, 이들 계산을 단순화하고 제르니케 수차 또는 다른 수차를 감소시키기 위해, 대물 렌즈 아래에 중심을 두었다. 시야 내의 다른 영역은 파동 벡터 계산 및 전달 함수에 대한 어떤 보정을 통해 복구될 수 있다. 이들 파동 벡터는, 저해상도 이미지로부터의 정보가 고해상도 재구성에서 배치되는 곳의 위치를 결정하기 위해 사용될 수도 있다.
몇몇 실시형태에서, 원거리장의 반복적 재구성은, 더 높은 해상도 이미지 내의 특정한 영역의 배치를 위해, 조명의 각도를 변경시키는 것에 기초하여, 계산된 또는 미리 결정된 파동 벡터를 사용한다. 도 25에서 도시되는, 예시적인 근거리장 반복적 재구성 프로세스는, 상이한 영역이 조명의 상이한 각도에서가 아니라 이 방법에서 조명될 때 파동 벡터를 미리 결정하거나 또는 계산하기 위해, 센서, 샘플 또는 확산기의 x-y 시프트에 기초하여 병진 시프트를 사용할 수도 있다. 몇몇 실시형태에서, 근거리장 타이코그래피의 적어도 하나의 이점은 주파수 도메인에서 훨씬 더 많은 정보를 산출하는 그것의 극도로 높은 프레넬 수이다. 이 정보는, 더 많은 별개의 피처를 획득하기 위해, 뿐만 아니라, 레이저의 강도가 더 두꺼운 샘플에 대해 튜닝될 수 있기 때문에 움직임이 증가함에 따라 진동 및 샘플 두께와 관련되는 조명 문제를 중재하기 위해 사용될 수 있다. 몇몇 실시형태에서, 근거리장 타이코그래픽 이미지를 성공적으로 재구성하기 위한 방법(1100)은, 오브젝트 및 회절 스펙클이 있는 패턴의 초기 추측 또는 추정을 초기화하는 것(S1110), 후속하여, 점 확산 함수(point spread function)를 사용하여 초기 추측 또는 추정을 컨볼빙하는 것(S1120)을 포함한다. 이 초기 추측 또는 추정은, 명시된 수렴 기준이 충족될 때까지 반복될 반복 함수에 대한 기초로서 기능할 수도 있다(S1130). 이들 기준은, 반복의 횟수, 최종 이미지 특성(예를 들면, 선명도, 대비, 강도, 등등), 또는 시간 기반의 제한을 포함할 수 있다. 반복 알고리즘은, 먼저, 병진 시프트를 발견하고(S1131), 센서 상으로 투영되었던 오브젝트 또는 스펙클이 있는 패턴의 병진 시프트를 보정한다(S1132). 그 다음, 시스템은 오브젝트를 스펙클이 있는 패턴과 엘리먼트 단위로 승산하는 것에 의해 재구성의 현재의 위상을 획득할 수도 있다(S1133). 그 다음, 시스템은 점 확산 함수를 사용하여 위상을 컨볼빙하는 것에 의해 출사 파동 패턴(exit wave pattern)을 획득할 수도 있다(S1134). 이것은, 그 다음, 고해상도 크기 투영을 위한 파동 함수를 업데이트하기 위해 사용될 수도 있다(S1135). 시스템은, 그 다음, 업데이트된 파동 함수에 의해 포인트 공간 함수(point space function)를 컨볼빙할 수도 있다(S1136). 이 모든 것은, 시스템이, 업데이트된 파동 정보를 사용하여 재구성 및 확산기 프로파일을 반복적인 방식으로 업데이트하는 것을 허용한다(S1137). 시스템은, 정의된 수렴 기준이 블록(S1138)에서 충족될 때까지, 확산기 또는 오브젝트를 계속 시프트할 수도 있다. 일단 수렴이 성공적이면, 시스템은, 블록(S1140)에서, 출력으로서 최종적으로 업데이트된 오브젝트를 사용하여 역 점 확산 함수(inverse point spread function)를 컨볼빙할 수도 있다.
몇몇 실시형태에서, 샘플의, 실제 공간에서의, 삼차원 구조물은, 타이코그래피 이미지 재구성 이후에 또는 그 동안에, 광선 추적, 경로 추적, 광선 매칭, 또는 이들의 어떤 조합 또는 파생물을 사용하여 결정될 수도 있다. 광선 추적의 방법은 하나 이상의 조명 소스로부터의 광의 하나 이상의 광선의 경로를 추적하는 것을 포함할 수도 있다. 예를 들면, 경로는 센서와 하나 이상의 조명 소스 사이에 있을 수도 있다. 몇몇 실시형태에서, 이 방법은, 조명 소스로부터 센서로의 자신의 경로에서 광이 어떤 구조물과 상호 작용하는지를 나타낸다. 경로 추적에서, 광의 어떤 하나 이상의 광선(들)이 구조물(들)과 상호 작용하는지를 상세하게 설명하기 위해, 광선 추적과 유사한 방식으로, 조명 소스로부터 샘플을 통해 센서까지 광의 광선이 추적될 수도 있다. 추가적으로, 경로 추적에서, 모든 오브젝트는, 공지된 조명 소스와 동일한 것으로 간주되는 잠재적 광원으로서 간주되어야 한다. 광선 매칭은, 센서로부터 조명 소스까지의 광의 하나 이상의 광선의 경로가 추적되는 광선 추적과 유사하다. 광선 매칭은, 광선이 반사될 때 중지하는 대신, 광의 일부 또는 모두는 샘플을 통해 푸시될 수 있고, 그 후, 계속 추적될 수 있다는 점에서, 광선 추적과는 상이하다. 이것은, 코드에 기초하여 방법을 실행할 수 있는 하나 이상의 디지털, 아날로그, 또는 양자 프로세서를 사용하여 달성될 수도 있다. 이것은 또한 머신 러닝 또는 딥 러닝 알고리즘을 통해 달성될 수도 있는데, 여기서, 입력은 하나 이상의 이미지 및 하나 이상의 조명 소스의 삼차원 공간에서의 입사의 각도 또는 위치의 목록일 것이다. 입력은, 광선 추적, 경로 추적, 또는 텐서 코어(tensor core), 등등을 또한 포함할 수도 있다.
도 1로 돌아가서, 몇몇 실시형태에서, 블록(S150)에서 근거리장 또는 원거리장 푸리에 타이코그래픽 반복적 재구성을 통해 생성되는 하나 이상의 고해상도 이미지는, 옵션 사항으로, 사후 프로세싱(S152) 및 옵션 사항으로 컴퓨터 지원(예를 들면, 머신 러닝, 딥 러닝, 인공 지능, 컴퓨터 비전, 등등) 평가(S154)를 포함하는 추가적인 분석을 거칠 수도 있다. 예를 들면, 사후 프로세싱은 도 26 내지 도 30에서 도시되는 바와 같이 더 큰 시야를 생성하기 위한 이미지 스티칭을 포함할 수도 있다. 몇몇 실시형태에서, 이미지 스티칭이 발생하기 이전에, 고해상도 이미지 스택은, 도 23의 블록(S210)에서 설명되는 바와 같은 하나 이상의 이미지 최적화/프로세싱 기술을 거칠 수도 있다.
공초점 스캐닝에 기초한 다른 시스템은, 이미지 스티칭을 위해, 스캐닝 프로세스에 의해 생성되는 고정된 심도(depth of field)를 가진 하나의 명시야 이미지만을 사용한다. 대조적으로, 타이코그래피는 재구성 프로세스에서 사용되는 명시야 이미지를 사용하여 암시야 이미지를 생성한다. 그러한 만큼, 현재 설명되는 시스템 및 방법에서, 스캐닝된 이미지는 함께 스티칭되지 않고, 오히려 복수의 재구성된 이미지 또는 이미지 스택이 함께 스티칭된다. 게다가, 타이코그래피는 확장된 심도 및 시야를 가능하게 한다.
이론에 구속되기를 바라지는 않지만, 이미지 스티칭은, 예를 들면, 센서 및 렌즈 서브시스템에 의해 캡처되는 이미지의 모자이크가 라인 스캔으로 변환되고, 그 다음, 전체 슬라이드 이미지로 변환되는 프로세스이다. 몇몇 실시형태에서, 시스템은, 스티칭 이전에, 이미지의 단일의 채널을 그레이스케일로 취하고 그것을 제1 매트릭스와 컨볼빙할 수도 있고, 그 다음, 응답의 분산(즉, 표준 편차 제곱)을 유도할 수도 있다. 몇몇 실시형태에서, 하나 이상의 이미지를 함께 스티칭하기 위해, 랜덤 샘플 합의(RANSAC) 스티칭 또는 유사한 알고리즘이 사용될 수도 있다.
하나의 예에서, 이미지 스티칭은, 샘플의 하나 이상의 이미지를 획득하는 것, 및 스케일 불변 피처 변환(scale-invariant feature transform: SIFT)을 통해 (예를 들면, 특정한 배율, 예를 들면, 10배 확대에서) 포괄적인 전체 슬라이드 이미지를 형성하기 위해 하나 이상의 이미지를 함께 스티칭하는 것을 포함한다. SIFT는 다음의 것 중 하나 이상을 포함할 수도 있다: 스케일 공간 극값 검출(scale-space extrema detection), 키 포인트 위치 특정(key point localization), 방위 할당, 및 키 포인트 검출. 스케일 공간 극값 검출은 하나 이상의 검색, 전체 스케일, 및 이미지 위치를 포함할 수도 있다. 스케일 공간 극값 검출은, 스케일 및 방위에 대해 불변인 잠재적인 주목 포인트를 식별하기 위해, 가우시안의 차이 함수(difference-of-Gaussian function)의 적용을 포함하는 다양한 방법을 사용하여 구현될 수도 있다. 방위 할당은 로컬 이미지 기울기 방향에 기초하여 각각의 키 포인트 위치에 대한 하나 이상의 방위의 할당을 포함할 수도 있다. 변환에 대한 불변성을 제공하기 위해, 각각의 피처에 대한 할당된 방위, 스케일, 및 위치와 관련하여 변환된 이미지 데이터에 대해 미래의 동작이 수행될 수도 있다. 키 포인트 매칭 동안의 키 포인트 디스크립터는, 키 포인트 주변에서 선택된 스케일에서 측정되는 로컬 이미지 기울기를 포함할 수도 있다. 이들 디스크립터는, 상당한 레벨의 로컬 형상 왜곡 및 조명에서의 변화를 허용하는 표현으로 변환될 수도 있다.
예를 들면, SIFT는 이미지에서 로컬 피처를 검출하고 설명하기 위해 사용될 수도 있다. SIFT는, 광범위한 스케일 및 위치에 걸쳐 이미지를 조밀하게 덮는 많은 수의 피처를 생성하면서, 이미지 데이터를 검출된 로컬 피처와 관련하여 스케일 불변 좌표로 변환하기 위해 수행될 수도 있다. 이미지 매칭을 수반하는 방법의 경우, SIFT 피처가, 먼저, 참조 이미지의 세트로부터 추출되어 데이터베이스에 저장될 수도 있다. 생물학적 샘플에 대한 분석을 수행하기 위한 몇몇 실시형태에서, 다수의 참조 이미지 데이터베이스가 사용될 수도 있다. 생물학적 샘플에 대한 분석을 수행하기 위한 방법에서, 사용자는 (예를 들면, 생물학적 샘플의 특성, 획득된 비 참조 샘플이 유도되었던 사용자의 특성, 뿐만 아니라 다른 요인에 기초하여) 사용될 참조 이미지 데이터베이스를 선택할 수도 있다. 획득된 샘플(예를 들면, 새로운 샘플, 비 참조 샘플, 등등)은, 새로운 이미지로부터의 각각의 피처를 참조 샘플(예를 들면, 이전 샘플 또는 이미지의 데이터베이스)에 개별적으로 비교하는 것 및 후보 매칭 피처를 식별하는 것에 의해 매칭될 수도 있다. 후보 매칭 피처는, 획득된 샘플 이미지와 참조 이미지(예를 들면, 참조 샘플 및/또는 이전 샘플의 이미지) 사이의 피처 벡터의 유클리드 거리(Euclidean distance)에 기초하여 식별될 수도 있다. 몇몇 실시형태에서, 후보 매칭 피처를 식별하고 계산하기 위해 고속 최근접 이웃 알고리즘(fast nearest-neighbor algorithm)이 사용될 수도 있다.
도 26 내지 도 30에서 도시되는 이미지는 함께 스티칭되고 SIFT를 사용하여 평가되었다. 도 26 내지 도 29는 함께 스티칭되고 SIFT를 사용하여 평가되어, 스케일 불변 이미지 피처(예를 들면, 키 포인트)의 세트를 식별하여 도 30에서 도시되는 결과적으로 나타나는 이미지를 형성하였다. 파노라마 스티칭 알고리즘이 적용될 수도 있는데, 여기서 그 알고리즘은 (예를 들면, DoG, 해리스(Harris), 또는 등등을 통해) 키 포인트를 검출하도록, 그리고 두개 이상의 입력 이미지로부터 로컬 불변 디스크립터를 (예를 들면, SIFT, SURF 등등을 통해)를 추출하도록 구성된다. 스티칭 방법은, 다음의 것 중 하나 이상을 사용하여 두 개의 이미지 사이의 디스크립터를 매칭시키도록 구성된다: 키 포인트 검출 및 로컬 불변 디스크립터, 키 포인트 매칭, RANSAC, 투시 워핑(perspective warping), 및/또는 이들의 조합. 도 26 내지 도 29에서 사용되는 바와 같이, RANSAC 방법은, 이상점(outlier)이 추정치의 값에 대해 어떠한 영향도 가지지 않는 경우, 이상점을 포함하는 관측된 데이터의 세트로부터 수학적 모델의 파라미터를 추정하기 위한 반복적 방법이다. RANSAC 방법은 매칭된 피처 벡터의 세트를 사용하여 호모그래피 매트릭스를 추정할 수도 있다. 매칭된 피처 벡터는 분석되고 있는 샘플의 타입(예를 들면, 박테리아, 터치 준비, 자궁 경부암 검사(pap smear), 미세 바늘 흡인, 동결 절편, 조직 구조 절편(histology section), 세포 검사 도말, 소변, 혈액, 타액, 등등)에 대해 고유할 수도 있다. 변환 프로세스 이후, 방법은, 옵션 사항으로, 새롭게 스티칭된 이미지로부터 임의의 미사용 픽셀을 트리밍하는(trimming) 것을 포함할 수도 있다. 이것의 모두는 샘플 이미지 전체에 걸쳐 반복적인 프로세스에서 발생한다.
몇몇 실시형태에서, 획득된 이미지를 함께 스티칭하기 위한 방법은, 이미지 피처 생성을 위한 Lowe의 방법을 수행하는 것에 관련되는 하나 이상의 단계를 포함할 수도 있다. 이론에 구속되기를 바라지는 않지만, Lowe의 방법은 불량한 키 포인트 매치로부터 양호한 키 포인트 매치의 초기 분할을 위해 사용되는 비율이다. 몇몇 실시형태에서, 비율은 매칭을 위한 최상의 키 포인트의 추정을 가능하게 한다. 이미지 피처 생성을 위한 Lowe의 방법은, 이미지를 피처 벡터의 큰 콜렉션으로 변환하는데, 피처 벡터의 각각은 이미지 병진, 스케일링, 및 회전에 대해 불변이고, 조명 변화에 대해 부분적으로 불변이며, 로컬 기하학적 왜곡에 대해서는 강건하다. Lowe의 방법은, 베스트 빈 퍼스트 검색(best-bin-first search) 방법으로 칭해지는 K 차원 트리 알고리즘(K-Dimensional Tree algorithm)의 수정을 수행하는 것을 포함할 수도 있는데, 여기서 단계 중 하나 이상은 제한된 양의 계산만을 사용하여 높은 확률로 가장 가까운 이웃을 식별하는 것을 포함할 수도 있다. 몇몇 실시형태에서, 방법은 임계치의 적용을 포함할 수도 있는데, 예를 들면, 거리 비율이 0.8보다 더 큰 경우, Lowe는 매치를 거부할 수도 있다. 그러한 임계치는, 올바른 매치의 5 % 미만을 무시하면서 잘못된 매치의 90 %를 제거할 수도 있다. 이미징의 방법의 효율성을 향상시키기 위한 단계는, 예를 들면, 처음 200개의 가장 가까운 이웃 후보를 체크한 이후, 특정한 임계치 이후 차단되는 베스트 빈 퍼스트 알고리즘 검색을 더 포함할 수도 있다. 몇몇 실시형태에서, 상기에서 설명되는 임계치 설정 단계(thresholding step) 중 하나 이상을 포함하는 방법은 정확한 최근접 이웃 검색보다 약 10의 2승배만큼 성능이 우수할 수도 있다. 그러나, 그것은, 예를 들면, 100,000개의 키 포인트의 데이터베이스에 적용될 때, 올바른 매치의 수에서 5% 미만의 손실을 초래한다.
이미지 스티칭의 하나의 실시형태에서, 이미지의 호모그래픽 추정치를 생성하기 위해 딥 컨볼루션 신경망(convolutional neural network: CNN)이 사용될 수도 있다. 딥 CNN은, 패치(A)에 대응하는 위치(P)에서 이미지를 랜덤하게 크롭하는 것에 의해 트레이닝될 수도 있다. 패치(A)는, 그 다음, 네 개의 코너에서 랜덤하게 교란될 수도 있다. 이미지의 호모그래픽 추정치(HAB)는 이들 교란에 기초하여 계산될 수도 있다. (HAB)-1 = HBA가 이미지에 적용될 수도 있고, 그 다음, 패치(B)에 대응하는 위치(P)에서 다시 크롭될 수도 있다. 패치(A) 및 패치(B)는 채널 단위로 스택될 수도 있고 HAB가 타깃 벡터로서 설정된 상태에서 딥 CNN으로 공급될 수도 있다. 이 모델을 사용하면, 수퍼 해상도 재구성이 스티칭되어 더 큰 이미지를 형성할 수도 있다. 이 예에서, 문자(P, A 및 B)는 단지 예시의 목적을 위해서만 사용된다.
이제, 다양한 샘플 분석 방법 및 파라미터가 상세하게 설명될 것이다. 샘플에 대한 평가를 수행하기 위한 본 명세서의 다른 곳에서 설명되는 시스템, 디바이스, 및 방법은, 임의의 적절한 샘플 프로세싱 및/또는 샘플의 준비를 위해 기능하도록 구성 및/또는 적응될 수도 있다. 주파수, 강도, 거리, 입사각(incidence), 파장, 패턴, LED 어레이 형상, 샘플 처리 단계, 샘플 분석 단계, 샘플 형태(예를 들면, 유리병 또는 슬라이드), 등등을 비롯한, 시스템의 파라미터 중 임의의 것은 평가되고 있는 특정한 타입의 샘플에 대해 구성될 수도 있다. 샘플 타입의 예 및 대응하는 생물학적 샘플 평가를 위한 시스템, 디바이스 또는 방법의 대응하는 예시적인 실시형태가 본 명세서에서 제공된다.
원거리장 또는 근거리장 푸리에 타이코그래픽 현미경 검사는 병리학에서 현미경 검사 애플리케이션에서 관찰되는 한계 중 많은 것을 해결한다. 반복적 재구성 알고리즘에 기인하여, 높은 개구수 렌즈를 사용하지 않고도 수퍼 해상도 이미지가 획득될 수도 있는데, 전체 시야를 유지할 수 있다는 것을 의미한다. 추가적으로, 샘플 이미지의 위상 및 강도 둘 모두가 획득되기 때문에, 샘플은 특수한 준비 및/또는 염색 프로토콜을 거칠 필요가 없을 수도 있다. 게다가, Z 축/포커싱에서의 변동이 더 이상 문제가 되지 않기 때문에, 불균일한 또는 불규칙한 샘플(예를 들면, 세포학적 시료)이 이미지화될 수도 있다.
생물학적 샘플의 평가는, 이미지의 강도와 함께 QPI 데이터가 획득되기 때문에, 원거리장 또는 근거리장 푸리에 타이코그래픽 현미경 검사의 이상적인 구현예이다. QPI 정보는, 샘플의 물리적 및 화학적 성질에 관련될 수 있는 광학 위상 지연 정보를 포함한다. 몇몇 경우에, 광학적 지연은 샘플 내용물(예를 들면, 적혈구, 세포하 세포 소기관(sub-cellular organelle), 유핵 세포(nucleated cell), 등등)을 식별하기 위한 시그니쳐로서 기능할 수도 있다. 결과적으로, 컴퓨터 비전, 머신 러닝, 및 딥 러닝을 통한 검출 및 분석에 대해 더 많은 데이터가 이용 가능하여, 강도 전용 이미지에 대해 수행되는 분석에 비해 더욱 정확한 컴퓨터 지원 분석을 초래한다.
생물학적 샘플 이미징의 이 새로운 방법론의 하나의 예시적인 애플리케이션은 미세 바늘 흡인의 품질 평가이다. 염색된 또는 염색되지 않은 세포학적 샘플의 최종 해상도 이미지에서 조명되는 세포는, 핵 구성 및 공간적 관계에 기초하여 식별되고 분류될 수 있다. 예를 들면, 생물학적 샘플에 대한 평가를 수행하기 위한 방법은, 복수의 유핵 세포의 하나 이상의 응괴 패턴을 식별하는 것 및 적절성의 표시를 출력하는 것을 포함할 수도 있다. 일단 미리 정의된 임계치, 예를 들면, 10개의 유핵 세포의 6개의 연속 클러스터가 식별되면, 질 좋은 샘플이 달성된다. 다른 실시형태에서, 알고리즘은 적절성에 대한 임계치를 결정할 수도 있다.
선행하는 실시형태 중 임의의 것에서, (예를 들면, 미리 결정된 임계치에 기초하여 적절성을 검출하도록 트레이닝되는) 머신 러닝 또는 딥 러닝 모델은 하나 이상의 클러스터의 존재에 기초하여 하나 이상의 주목하는 영역을 선택하고 생물학적 샘플의 적절성을 평가하기 위해 사용될 수도 있다. 다른 실시형태에서, 머신 러닝 또는 딥 러닝 모델은 하나 이상의 클러스터의 존재에 기초하여 하나 이상의 주목하는 영역을 선택하기 위해 사용될 수도 있으며, 컴퓨터 비전은 각각의 주목하는 영역에서의 적절성에 기초하여 하나 이상의 주목하는 영역을 분류하기 위해 사용될 수도 있다.
또 다른 예로서, 생물학적 샘플에 대한 평가를 수행하기 위한 방법은, 터치 준비 또는 동결된 절편 기술을 통해 준비되는 코어 또는 절제 생검 샘플에서 (예를 들면, 실시간으로) 종양연(tumor margin)을 식별하는 것을 포함할 수도 있다. 비정형 유사 분열, 염색질 세분성, 염색질 과염색증, 핵 수, 핵 사이즈, 유사 분열, 핵막 불규칙성(예를 들면, 갈라짐, 편평한 가장자리, 날카로운 각도, 부채 모양), 핵 다형태성, 핵 대 세포질 비율, 핵인 형상(예를 들면, 모가 난 모양/스파이크형/뒤얽힘), 핵인 사이즈, 세포 분열 속도, 스핀들 길이, 및/또는 세포막 밀도, 등등과 같은 세포 특성에 기초하여, 종양 제거의 외과 수술을 안내하는 암성(cancerous) 및 비암성(non-cancerous) 샘플의 마진(margin)이 식별될 수 있다.
여전히 다른 예에서, 생물학적 샘플에 대한 평가를 수행하기 위한 방법은, 신장 생검 샘플에서 하나 이상의 신장 세관(renal tubule)을 식별하는 것 및 조직 추출 프로시저 동안 바늘이 신장을 확실히 통과하였는다는 것을 검증하는 것을 포함할 수도 있다.
또 다른 예에서, 생물학적 샘플에 대한 평가를 수행하기 위한 방법은, 주어진 샘플에서 존재하는 박테리아의 양 및/또는 품질을 결정하는 것을 포함할 수도 있다. 그람 염색(gram staining), 항산성 염색(acid fast staining), 협막 염색(capsule staining), 내생 포자 염색(endospore staining), 및/또는 편모 염색(flagella staining), 박테리아 부하 및 내성을 포함할 수 있는, 그러나 이들로 제한되지는 않는 샘플 염색 준비 기술의 유무에 관계없이, 다수의 종에 걸쳐 더욱 표적화된 항균 치료를 허용하는 하나 이상의 특성이 식별될 수 있다. 몇몇 실시형태에서, 박테리아 샘플은 본 명세서의 다른 곳에서 설명되는 디지털 염색을 사용하여 염색될 수도 있다. 의료적 애플리케이션을 넘어, 이들 박테리아 식별 기술은 식품 및 수질 오염 평가를 또한 향상시킬 수도 있다.
추가로 예를 들면, 생물학적 샘플에 대한 평가를 수행하기 위한 방법은, 용액에서 정자 세포의 하나 이상의 형태학적 및/또는 거동적 특성을 식별하는 것을 포함할 수도 있다. 물리적 특성(예를 들면, 다수의 편모, 다수의 또는 비정상 머리, 비정상 N:C 비율, 염색질 세분성, 핵 주름(nuclear fold), 다수의 핵, 등등)의 존재 또는 부재에 기초하여, 이 방법은 임상의가 다수의 종(예를 들면, 인간, 말, 개, 고양이, 등등)에서 불임에 대한 영향을 결정하는 것을 가능하게 할 수도 있다. 규칙적인 프레임 레이트(예를 들면, 초당 0.25, 0.5, 1, 2, 4, 8, 16, 32 프레임)에 기초하여, 개개의 정자 수영 패턴의 거동적 피처 및 편모 운동성을 볼 수 있어서 불임으로 이어질 수 있는 2차 결함을 결정할 수도 있다.
다른 예로서, 생물학적 샘플에 대한 평가를 수행하기 위한 방법은, 비정형 유사 분열, 염색질 세분성, 염색질 과염색증, 핵 수, 핵 사이즈, 유사 분열, 핵막 불규칙성(예를 들면, 갈라짐, 편평한 가장자리, 날카로운 각도, 부채 모양), 핵 다형태성, 핵 대 세포질 비율, 핵인 형상(예를 들면, 모가 난 모양, 스파이크형, 뒤얽힘), 핵인 사이즈, 세포 분열 속도, 스핀들 길이, 세포막 밀도, 및/또는 운동 패턴)을 포함할 수도 있는, 그러나 이들로 제한되지는 않는 하나 이상의 피처에 기초하여 주어진 암 생검 샘플의 전이 잠재성, 등급 매김, 및/또는 아이덴티티를 결정하는 것을 포함할 수도 있다. 이들 지표의 식별은, 다수의 종에 걸친 주어진 환자에 대한 치료로 얼마나 적극적으로 나서야 하는지에 대한 임상의의 결정에서 그들을 안내하는 데 도움이 될 수도 있다.
추가로 예를 들면, 생물학적 샘플에 대한 평가를 수행하기 위한 방법은, 암성 세포 또는 감염의 존재 또는 부재를 식별하기 위해, 경부의 조직 생검, 스크래핑, 또는 면봉으로 모은 표본(swab)에서, 하나 이상의 세포 및/또는 박테리아 아키텍처 피처(예를 들면, 비정형 유사 분열, 염색질 세분성, 염색질 과염색증, 핵 수, 핵 사이즈, 유사 분열, 핵막 불규칙성(예를 들면, 갈라짐, 편평한 가장자리, 날카로운 각도, 부채 모양), 핵 다형태성, 핵 대 세포질 비율, 핵인 형상(예를 들면, 모가 난 모양, 스파이크형, 뒤얽힘), 핵인 사이즈, 세포 분열 속도, 스핀들 길이, 카운트, 공간 관계 및/또는 세포막 밀도)를 식별하는 것을 포함할 수도 있다.
추가로 예를 들면, 생물학적 샘플에 대한 평가를 수행하기 위한 방법은, 다수의 종에 걸쳐 정상 미생물 식물상(microbial flora) 및/또는 감염원(infectious agent)의 존재 또는 부재를 결정하기 위해, 혈액, 소변, 대변, 타액, 피부 스크래핑, 및/또는 객담(discharge)의 샘플에서 하나 이상의 진균 세포, 포자, 및/또는 균사를 식별, 정량화, 및/또는 특성 묘사하는 것을 포함할 수도 있다. 의료적 애플리케이션을 넘어, 이들 박테리아 식별 기술은 식품 및 수질 오염 평가를 또한 향상시킬 수도 있다.
샘플 평가(예를 들면, 생물학적 샘플의 평가)는, 샘플의 품질에 대한 임의의 평가, 진단, 또는 하나 이상의 피처, 품질, 또는 기준의 실패 또는 충족의 다른 결정을 포함할 수도 있다. 몇몇 실시형태에서, 방법은 적절성의 현미경 검사를 위한 자동화된 플랫폼의 사용을 포함한다.
몇몇 실시형태에서, 샘플에 대한 평가(예를 들면, 세포 검사 도말의 현장 평가)를 수행하기 위한 방법은, 세포 수, 핵 대 세포질 면적 비율, 및/또는 부울 결과인 세포 검사 도말 적절성을 평가하기 위한 클러스터 식별 프로세스를 분석 및/또는 사용하는 것에 의해, 샘플 품질을 검증하는 것을 포함할 수도 있다.
추가로 예를 들면, 생물학적 샘플에 대한 평가를 수행하기 위한 방법은, 원격 평가를 위한 시설과 원격 병리학을 위한 시설 사이의 정보의 빠른 송신을 가능하게 하기 위해, 표준화된 포맷(예를 들면, DICOM)으로의 하나 이상의 이미지를 다용도 저장소(예를 들면, 벤더 뉴트럴 아카이브(Vendor Neutral Archive))에 기록하는 것을 포함할 수도 있다.
도 1로 다시 돌아가서, 강도 이미지 및 또는 전체 필드 QPI를 평가하는 것은, 블록(S152)에서 사후 프로세싱 동안 발생하는 이미지 분석 알고리즘의 추가적인 적용을 포함할 수도 있다. 몇몇 실시형태에서, 이미지 분석은, 본 명세서에서의 적용에 관해서 말하자면, 샘플을 평가하기 위해 사용되는 하나 이상의 독특한 관심 피처를 검출하기 위해 사용될 수도 있다. 독특한 이미지 피처는 하나 이상의 독특한 불변 피처를 추출하기 위한 다양한 기술을 사용하여 식별될 수도 있다. 본 명세서에서 설명되는 바와 같이, 독특한 불변 피처가 스케일 불변 키 포인트를 사용하여 식별될 수도 있다. 이미지 피처는 스케일 불변 키 포인트를 사용하여 추출될 수도 있고, 그 다음, 이미지에서 제시되는 주제 및 정보를 식별, 분류, 또는 맥락화하는 목적을 위한 이미지 매칭을 위해 나중에 적용될 수도 있다. 스케일 불변 키 포인트는 오브젝트 또는 장면의 상이한 이미지를 매칭시키는 데 적절한 성질을 가진 이미지 피처를 포함할 수도 있다.
이미지 분석에서 피처 검출의 시간 및 계산 비용을 감소시키기 위해, 종속 접속 필터링(cascade filtering) 접근법이 사용되어 피처를 효율적으로 추출할 수도 있다. 이론에 구속되기를 바라지는 않지만, 종속 접속 필터링 접근법(예를 들면, 스케일 불변 피처 변환, SIFT)은, 이미지 피처의 세트를 생성하기 위한 계산의 다수의 스테이지에 의존하고, 초기 테스트 또는 일련의 테스트를 통과하는 위치에서만 더욱 고가의 동작이 적용되도록 일련의 평가를 수행한다. 이미지 피처의 이 세트는, 본 명세서에서 설명되는 바와 같이, 다음의 단계 중 하나 이상을 사용하여 생성될 수도 있다: 스케일 공간 극값 검출, 키 포인트 위치 특정, 방위 할당, 및 키 포인트 디스크립터. 이들 단계는 이미지 검출을 위한 방법의 일부로서 사용될 수도 있는데, 여기서 이들 단계는, 이미지 스케일링 및 회전에 대해 불변이며 조명 및 카메라 시점(viewpoint)에서의 변화에 대해 부분적으로 불변인 피처를 식별하기 위해 적용된다. 선택된 피처는, 그들이 공간 및 주파수 도메인 둘 모두에서 잘 위치 특정되도록 선택되고, 따라서, 폐색, 클러터, 또는 노이즈와 같은 방해 효과의 가능성을 감소시킨다.
몇몇 실시형태에서, 피처 식별은 키 포인트 위치 특정을 포함할 수도 있다. 키 포인트 위치 특정은, 위치 및 스케일을 결정하도록 세부 모델을 적합시키면서, 각각의 후보 위치에 적용될 수도 있다. 안정성을 평가하기 위한 하나 이상의 파라미터 또는 측정치에 기초하여 키 포인트가 선택될 수도 있다.
몇몇 실시형태에서, 샘플 품질의 평가를 위해 필요한 주요 세포 아키텍처를 식별하기 위해, 블롭 검출 프로토콜(blob detection protocol)이 사용될 수도 있다. 블롭 검출 방법은, 주변 영역과 비교하여, 밝기 또는 컬러와 같은 성질에서 다른 영역을 디지털 이미지에서 검출하는 것을 포함할 수도 있다. 본 명세서에서 개시되는 바와 같은 블롭은, 몇몇 성질이 일정한 또는 거의 일정한 이미지의 영역이며, 블롭 내의 모든 포인트가 서로 유사한 것으로서 간주될 수도 있도록 하나 이상의 파라미터가 적용될 수 있다. 지배적인 블롭 검출을 수행하기 위한 파라미터 또는 동작은 다음의 것을 포함할 수도 있다: 임계치 설정, 그룹화, 병합, 및/또는 반경 계산의 수행. 본 명세서에서 정의되는 임계치 설정은, 최소 임계치(예를 들면, minThreshold)에서 시작하는 임계치를 사용하여 하나 이상의 소스 이미지에 임계치를 설정하는(thresholding) 것에 의해 하나 이상의 소스 이미지를 몇몇 이진 이미지로 변환하는 것을 포함한다. 이들 임계치는 최대 임계치(예를 들면, maxThreshold)가 도달될 때까지 임계치 스텝(예를 들면, thresholdStep)만큼 증분될 수도 있다. 그러한 만큼, 제1 임계치는 minThreshold이고, 제2 임계치는 minThreshold + thresholdStep이고, 제3 임계치는 minThreshold + 2×thresholdStep이고, 계속 그런 식이다. 그룹화는, 예를 들면, 연결된 백색 픽셀이 각각의 이진 이미지(즉, 이진 블롭)에서 함께 그룹화될 때 또한 수행될 수도 있다. 적용될 수도 있는 다른 동작은 병합이다. 병합은, 이진 이미지에서의 이진 블롭의 중심이 계산될 때 적용될 수도 있으며, 블롭 사이의 최소 거리보다 더 가깝게 위치되는 블롭은 그 최소 거리 미만의 블롭이 병합되는 것을 허용할 수도 있다. 예를 들면, 새로 병합된 블롭의 중심 및 반경이 계산되고 반환될 때 반경 계산이 또한 수행될 수도 있다. 계산은, 아핀 변환(FRS)을 사용하여 고속 방사상 대칭 검출(Fast Radial Symmetry Detection)과 조합하여 행해질 수도 있다. FRS는, 장면 또는 이미지 내의 주목하는 포인트를 강조하기 위해 로컬 방사상 대칭성을 활용한다. 몇몇 실시형태에서, FRS 방법은 일반적인 고정된 파라미터 세트를 사용하여 적용될 수도 있고; 다른 실시형태에서, FRS 방법은, 핵, 막, 세포 소기관, 및 부속지를 포함하는 그러나 이들로 제한되지는 않는 특정한 종류의 피처를 배타적으로 검출하도록 튜닝될 수도 있다. 본 명세서에서 개시되는 시스템, 디바이스 및 방법은, 중앙 픽셀에 대한 로컬 이웃의 기여를 고려하기보다는, 각각의 픽셀이 그 주변의 픽셀의 대칭성에 대해 행하는 기여를 결정하도록 구성될 수도 있다.
몇몇 실시형태에서, 샘플/이미지 평가를 위한 주요 아키텍처 피처는, 이미지의 2차 공간 도함수 또는 라플라시안의 이차원 등방성 척도를 통해 식별될 수도 있다. 이미지의 라플라시안(Laplacian)은 급격한 강도 변화의 영역을 강조하고, 따라서, 가장자리 검출을 위해 사용될 수도 있다. 본 명세서에서 개시되는 시스템, 디바이스, 및 방법은, 입력으로서 단일의 그레이스케일 이미지를 수신하도록 그리고 출력으로서 제2 그레이스케일 이미지를 생성하도록 구성될 수도 있다. 입력 이미지가 이산 픽셀의 세트로서 표현되기 때문에, 라플라시안의 정의에서 2차 도함수를 근사하기 위해 이산 컨볼루션 커널이 사용될 수도 있다. 음의 피크를 사용하여 라플라시안을 정의했기 때문에, 반대 부호 규칙을 사용하는 것도 동일하게 유효하다. 본 명세서에서 적용되는 바와 같은 방법은, 이미지의 2차 공간 도함수를 계산하기 위해 이차원 가우시안의 라플라시안(Laplacian of Gaussian: LoG)의 적용을 포함할 수 있고, 그 결과 이미지가 일정한 강도를 갖는(즉, 강도 기울기가 제로인) 영역에서, LoG 응답은 제로일 것이고, 강도에서의 변화의 부근에서, LoG 응답은 더 어두운 쪽에서 양일 것이고, 더 밝은 쪽에서 음일 것이며, 그에 의해, 균일한 그러나 상이한 강도의 두 개의 영역 사이에서 선명한 가장자리를 제공할 것이다. 라플라시안의 결과는, 이미징의 결과가 샘플의 결정, 예를 들면, 시스템의 사용자에 의해 제공되는 입력을 포함하는 샘플의 하나 이상의 입력에 기초한 샘플의 분류(예를 들면, 샘플 타입, 샘플의 연령, 샘플이 수집되었던 환자의 샘플 콜렉션 대한 파라미터)를 행하기 위해 사용되도록 통합될 수도 있다. 몇몇 실시형태에서, 샘플 타입에 기초하여 수행되는 분류 및 라플라시안에 기초한 추론은, 샘플 평가를 위한 방법의 후속하는 단계, 및/또는 샘플 가장자리의 분석의 결과에 기초하여 추가적인 내용(예를 들면, 샘플 재테스트, 조명 각도의 변경, 검출 또는 조명 소스로부터의 샘플 거리, 샘플의 방위에서의 변화, 조명의 패턴, 조명에서의 광의 파장, 등등)을 수집하기 위한 디바이스 또는 시스템의 기능의 피처를 안내할 수도 있다.
몇몇 실시형태에서, 일단 세포가 핵의 존재 또는 부재에 의해 적절하게 식별되고 분류되면, 방법은 본 명세서의 다른 곳에서 개략적으로 나타내어지는 라플라시안 계산에 의해 식별되는 바와 같이 인접한 막을 갖는 유핵 세포를 그룹화하는 것을 포함할 수도 있다. 인접한 막이 식별되면, 방법이 적용되어 세포 클러스터로서 수반되는 세포를 식별하거나 또는 정의할 수도 있다. 세포 클러스터가 열개 이상의 유핵 세포를 포함하는 경우, 그러면, 클러스터는, 주어진 샘플이 진단 작업에 적절하다고 간주하는 데 필요한 여섯 개의 필수 클러스터를 충족하는 것으로 분류될 수도 있다.
추가적인 실시형태에서, 샘플을 평가하기 위한 방법은, 생물학적 샘플에 대한 평가를 수행하기 위해 사용될 수도 있는 정보 또는 컨텍스트를 생성하기 위해, 본 명세서의 다른 곳에서 설명되는 바와 같이, 샘플의 두개 이상의 이미지를 비교, 대조, 컴파일, 연결, 및/또는 다르게는 관련시키기 위한 방법을 사용하여, 생물학적 샘플의 하나 이상의 이미지를 분석하는 것을 포함할 수도 있다.
도 1을 다시 참조하면, 몇몇 실시형태에서, 저해상도 이미지, 고해상도 또는 저해상도 QPI, 및/또는 사후 프로세싱(예를 들면, 피처 추출) 동안 획득되는 정보는, 컴퓨터 지원 평가를 위해 머신 러닝 알고리즘, 딥 러닝 알고리즘, 또는 이들의 조합을 사용하여 소망되는 기준에 대해 평가될 수도 있다(블록(S154) 참조). 예를 들면, 미리 결정된 기준에 기초하여 샘플 적절성을 결정하기 위해 알고리즘이 배치될 수도 있다. 다른 실시형태에서, 알고리즘은 세포 타입 및/또는 이상을 식별하도록, 그리고 몇몇 실시형태에서, 분류를 반환하도록 트레이닝될 수도 있다. 예를 들면, 적절성을 검출하도록 트레이닝하기 위해, 타이코그래피를 사용하여 획득되는 전체 슬라이드 이미지가 머신 러닝 또는 딥 러닝 모델에 제공될 수도 있다. 추가적으로 또는 대안적으로, 클러스터는 제1 머신 러닝 또는 딥 러닝 계층 또는 모델에 의해 주목하는 영역에서 식별되는 클러스터에 기초하여 적절성에 대해 평가될 수도 있다. 추가적으로 또는 대안적으로, 제1 머신 러닝 또는 딥 러닝 모델 또는 계층 및/또는 제2 머신 러닝 또는 딥 러닝 모델 또는 계층에 대한 컴퓨터 비전은, 열 개의 유핵 세포의 여섯 개의 덩어리에 기초하여 주목하는 영역 및 적절성을 분류하기 위해 사용될 수도 있다.
머신 러닝 또는 딥 러닝 알고리즘을 개발하고 구현하기 위한 일반적인 개략도가 도 31에서 도시되어 있다. 일반적으로, 표지로 칭해지는 공지된 특성을 갖는 블록(S1310)에서의 이미지 데이터는, 머신 러닝 또는 딥 러닝 모델을 트레이닝시키기 위해 사용된다. 몇몇 실시형태에서, 블록(S1330)에서 하나 이상의 머신 러닝 또는 딥 러닝 모델을 트레이닝시키기 위해 사용되는 블록(S1320)에서의 피처는 본 명세서의 컴퓨터 비전 방법을 사용하여 식별되는 피처, 수동으로 주석이 달린 피처, 또는 이들의 조합을 포함할 수도 있다. 몇몇 실시형태에서, 이들 피처는 감독 학습(supervised learning)에서 분류 머신 러닝 또는 딥 러닝 모델을 트레이닝시키기 위한 기준으로 사용될 수도 있다. 몇몇 경우에, 자율 딥 러닝 방법이 감독 러닝 모델과 결합하여 다층 모델을 생성할 수도 있다. 몇몇 실시형태에서, 기본 분류 모델은 딥 러닝 분류 모델에 대한 트레이닝 데이터로서 기능한다. 몇몇 실시형태에서, 딥 러닝 아키텍처는, 수동의 피처 추출 없이, 원시 데이터 또는 주석이 달리지 않은 이미지 데이터로부터 샘플을 평가하기 위해 사용될 수도 있다. 몇몇 실시형태에서, 피처가 없는/자율 학습 컨볼루션 신경망이 트레이닝될 수도 있는데, 이 경우, 각각의 뉴런은 학습된 피처 검출기로서 역할을 할 것이다. 모델은 외부 데이터베이스, 씨드 모델, 및 관련 샘플 아이덴티티 및 의료 데이터를 포함하는 다른 입력을 사용하여 추가로 트레이닝될 수도 있다. 몇몇 실시형태에서, 모델은, 사회 경제적, 지리적, 또는 유사한 지표와 같은 인구 통계학을 포함하는, 그러나 이들로 제한되지는 않는 다른 정보를 사용하여 통지받을 수도 있다.
몇몇 실시형태에서, 모델 개발에서 사용되지 않는 데이터 및 이미지를 평가하여 또는 테스트하여 사용자에게 소망되는 샘플 특성을 통지하기 위해, 하나 이상의 트레이닝된 머신 러닝 또는 딥 러닝 모델이 사용될 수도 있다. 몇몇 실시형태에서, 트레이닝된 모델은 블록(S1340)에서 이미지/데이터에 적용될 수도 있고, 그 결과, 블록(S1350)에서 컴퓨터 지원 평가를 초래할 수도 있다. 몇몇 실시형태에서, 트레이닝된 모델은 정적일 수도 있고, 따라서, 새로운 데이터의 추가에서도 변경되지 않는다. 몇몇 실시형태에서, 모델은 추가적인 데이터 및 사용자 피드백을 통해 정확도를 향상시키기 위해 계속 발전할 수도 있다.
선행하는 실시형태 중 임의의 것에서, (물리적 염색이 아닌) 디지털 염색이 평가 이전에 이미지에 적용될 수도 있다. 그러한 실시형태에서, 방법은, 이미지 스택의 하나 이상의 이미지를 착색하는 것, 및, 옵션 사항으로, 이미지 스택(또는 최종 재구성)의 착색된 하나 이상의 이미지를 출력하는 것을 포함할 수도 있다. 착색은 생물학적 샘플을 통한 위상 지연에 기초하여 면역조직화학적 염색을 시뮬레이팅하도록 트레이닝되는 딥 러닝 모델에 의해 수행될 수도 있다. 착색된 이미지(들)는, 시스템이 생물학적 샘플의 표시를 출력할 수도 있도록 본 명세서에서 설명되는 생물학적 또는 세포적 특성 중 임의의 것에 대해 분석될 수도 있다. 표시의 예시적이고 비제한적인 예는 다음의 것을 포함한다: 질병 상태, 조직 타입, 세포 특성, 세포의 품질, 세포의 양, 및 세포 타입. 세포 특성의 예시적이고 비제한적인 예는 다음의 것을 포함한다: 비정형 유사 분열, 염색질 세분성, 염색질 과염색증, 핵 수, 핵 사이즈, 유사 분열, 핵막 불규칙성, 핵 다형태성, 핵 대 세포질 비율, 핵인 형상, 핵인 사이즈, 세포 분열 속도, 스핀들 길이, 및 세포막 밀도.
추가로 예를 들면, 도 1에서의 이미지의 ML 평가(블록(S154) 참조)는 샘플의 이미지를 디지털 방식으로 염색하는 것을 포함할 수도 있다. 명시야 현미경 검사를 통해 보이는 물리적으로 면역조직화학적으로 염색된 샘플과 동등한 디지털적으로 염색된 이미지를 생성하기 위해, 표지되지 않은 샘플의 정량적 위상 이미지가 사전 트레이닝된 딥 러닝 모델에 공급될 수도 있다. 디지털 염색 모델은, 두 개의 심층 신경망 - 생성기 및 판별기(discriminator) - 을 포함하는 생성적 적대 신경망으로 이미지 데이터의 쌍(염색 이후 획득되는, QPI 및 대응하는 명시야 이미지)을 공급하는 것을 통해 트레이닝된다. 생성기는, 염색되는 타깃(명시야 이미지)과 동일한 피처를 갖는 출력 이미지를 (QPI 사용하여) 생성할 수도 있고, 한편, 판별기는 타깃 이미지와 출력 이미지 사이를 구별할 수도 있다. GAN은, 평형이 달성될 때까지 경쟁하는 신경망을 사용하여 연속적인 반복을 수행할 수도 있는데, 평형이 달성된 시점에서, 트레이닝은 성공적인 것으로 간주되고, 모델이 얼마나 잘 일반화되는지 평가하기 위해 모델의 트레이닝 국면에서 보류되는 데이터가 사용될 수 있다. 결과적으로 나타나는 트레이닝된 모델은, 헤마톡실린 및 에오신, 존스 염색(Jones' stain), 및 메이슨(Masson)의 트리크롬, 파파니콜라우(Papanicolaou) 염색, 및 디프-퀵(Diff-Quik) 염색을 포함하는, 그러나 이들로 제한되지는 않는 다양한 면역조직화학적 염색에 대해 표지되지 않은 샘플의 정량적 위상 이미지를 디지털 방식으로 정확하게 염색할 수 있다.
디지털적으로 염색된 샘플 이미지는 도 1의 블록(S152)에서 획득되는 이미지의 재구성된 위상 및 강도로부터 생성된다. 알고리즘을 통지하기 위해, 강도, 위상, 샘플 타입 및 준비, 및 다른 임상적으로 관련된 정보가 사용될 수도 있다. 대안적으로, 위상 및 강도 데이터는, 머신 러닝 모델 또는 딥 러닝 모델을 통해 현재 시야에서 어떤 시료가 검사되고 있는지를 결정하기 위해 사용될 수도 있다. 이미지의 위상 및 강도로부터의 정보와 연계하여, 모델에 의해 주어지는 정보를 사용하여, 위상 이미지는, 위상차 현미경 하에서 하나 이상의 위상 염색 용액을 사용하여 보일 것을 흉내내는 그러한 방식으로 착색될 수도 있다. 하나 이상의 디지털적으로 염색된 이미지가 해석을 위해 사용자에게 디스플레이될 수도 있다. 몇몇 실시형태에서, 사용자는 비교를 위해 동일한 이미지(들)에 적용되는 다수의 디지털 염색을 순환하거나 또는 오버레이할 수도 있다.
도 1로 돌아가서, 샘플 평가의 출력은 블록(S160)에서 외부 또는 임베딩된 사용자 인터페이스를 통해 사용자에게 디스플레이될 수도 있다. 몇몇 실시형태에서, 출력은, 디지털 이미지 및/또는 컴퓨터 지원 평가를 포함하는, 그러나 이들로 제한되지는 않는 샘플 평가의 결과를 포함한다. 몇몇 실시형태에서, 사용자 인터페이스는, 사용자 생산성 및 유효성을 지원하기 위해 기능성(functionality)을 확장하는 것 외에도, 시스템 성능을 현존하는 사용자 요건과 정렬하는 추가적인 기능성을 포함할 수도 있다.
몇몇 실시형태에서, 사용자 인터페이스 기능성은 현장 진단 샘플 분류를 돕는 시스템을 포함할 수도 있다. 도 33은 샘플 분류 및 결절 위치 특정을 위한 예시적인 시스템 사용자 플로우를 개략적으로 나타낸다. 제안된 플로우에서의 제1 단계인 블록(S1610)은, 보안 싱글 사인온(single sign-on: SSO) 인터페이스를 사용하여 오퍼레이터가 로그인하게 하는 것이다. 이 SSO 인터페이스는 기관에 의해 요구되는 바와 같은 임상 자격 증명을 필요로 한다. 이들 자격 증명은, 이름, 패스워드, 식별 번호, RFID 칩, 바코드, 지문 스캐너, 얼굴 인식, 망막 인식, 구두 식별(verbal identification), 또는 QR 코드를 포함할 수도 있지만, 그러나 이들로 제한되지는 않는다. 이 정보는, 키보드, 음성 녹음, 자연어 프로세싱, 레이저 스캐너, 인코더, 이미징 센서, 또는 터치스크린과 같은 사용자 입력 디바이스를 사용하여 시스템에 제공될 수 있다. 블록(S1620)으로 이동하여, 올바른 오퍼레이터가 로그인되었다는 검증시, 사용자는, 그 다음, 환자 레코드 추적의 기관이 선호하는 방법을 통해 환자를 식별하도록 재촉받는다(prompted). 이들 시스템은 사용자가 법적 이름, 생년월일, 사회 보장 번호, 병원 식별 번호, 바코드, 지문, 또는 QR 코드와 같은 하나 이상의 환자 식별자를 입력하는 것을 필요로 할 수도 있다. 시스템에 제공되는 이들 데이터 포인트는, 전자 건강 레코드의 적절한 포털에 대한 연결을 지시하도록 기능할 것이다. 일단 사용자 및 환자가 적절하게 식별되면, 시스템은, 기관의 전자 건강 레코드와 성공적으로 연결되었다는 것을 확인할 것이고 오퍼레이터에게 프로시저를 시작할 것을 지시할 것이다. 하나의 실시형태에서, 도 33에서 설명되는 시스템은 오퍼레이터에게 블록(S1630)에서 샘플 정보를 입력할 것을 지시할 것이다. 예를 들면, 사용자는 시스템에 의해 프로세싱되도록 의도되는 조직 또는 샘플 타입, 예를 들면, 갑상선 FNA, 폐 FNA, 췌장 FNA, 피부 스크래핑, 자궁 경부암 검사, 폐 세척, 소변(클린 캐치(clean catch) 또는 더티 캐치(dirty catch)), 관절 흡인, 뇌 터치 준비(brain touch preparation), 등등을 선택할 수도 있다. 사용자는 또한, 옵션 사항으로, 샘플의 평가 또는 진단에서 지원할 머신 러닝, 딥 러닝, 또는 컴퓨터 비전 소프트웨어 패키지를 선택할 것을 재촉받을 수도 있다. 다음으로, 도 33의 시스템은, 블록(S1640)에서 주목하는 영역에 관한 정보를 입력할 것을 사용자에게 재촉할 수도 있다. 하나의 실시형태에서, 이 정보는, 오퍼레이터로 하여금, 전두면(frontal plane) 상에서의 결절의 위치, 후속하여, 횡단면(transverse plane) 상에서의 그것의 위치를 선택하게 하여 주목하는 영역의 삼차원 위치 특정을 초래하는 것에 의해 제공될 수도 있다(S1650). 이것에 후속하여, 오퍼레이터가 지정된 주목하는 영역의 사이즈, 형상, 및/또는 방사선 촬영 특성(radiographic characteristic)을 선택한다. 이 입력 사이클은 오퍼레이터에 의해 식별되는 각각의 주목하는 영역에 대해 반복될 것이다. 이 시스템의 다른 실시형태는, 주목하는 필드를 자동적으로 채우기 위해, 방사선 촬영 이미징 데이터가 유선 또는 무선 송신을 통해 시스템에 직접적으로 공급되게 할 수 있다. 프로시저가 진행됨에 따라, 시스템은 샘플을 즉시 보고 비교하도록 이미지 데이터의 신속한 소환(recall)을 위해 이미지 데이터를 유닛 상에 저장할 수도 있다. 시스템에 의해 이미지화되는 각각의 샘플에 대해, 오퍼레이터는 샘플의 시각적 표현을 제시할 수도 있다. 이 이미지는, 패닝 및 디지털 방식으로 확대/축소하는 능력을 갖는 단일의 배율 초점 평면을 따라 단일의 전체 슬라이드 이미지로서 제공될 수도 있다. 다른 실시형태는 이미지가 1 배에서부터 2000 배까지의 임의의 배율 내에서 하위 분할되게 할 수도 있다. 이들 분할된 확대 평면은 피라미드 구조물로 배열될 수 있으며 오퍼레이터가 디지털 줌을 증가시킴에 따라 그리고 감소시킴에 따라 또는 이미지를 가로질러 패닝함에 따라 별개로 로딩될 수도 있다. 이들 별개의 계층 중 하나 이상은, 배율에서의 빠른 시프트를 허용하기 위해 동시에 로딩될 수도 있다. 다른 실시형태는, 시스템으로 하여금, 원시(raw) 이미지 데이터 또는 재구성된 이미지 중 어느 하나로부터 주목하는 영역을 식별하게 하고, 블록(S1660)에서 단일의 확대 평면 또는 피라미드 뷰 중 어느 하나에서 로딩되는 독립적인 아일랜드로서 이들 영역을 선택적으로 로딩하게 할 수도 있다. 이들 주목하는 영역은 머신 러닝, 딥 러닝, 또는 컴퓨터 비전 기술 중 어느 하나에 의해 식별될 수도 있다. 시스템은 오퍼레이터의 주목을 끌기 위해 주목하는 영역의 순위를 생성할 수도 있다. 오퍼레이터는, 인코더를 패닝, 주밍(zooming), 또는 회전하는 것에 의해, 미리 분류된 주목하는 영역 사이를 빠르게 순환하는 능력을 가질 수도 있다. 오퍼레이터는 이미지 위에 적층되는 또는 이미지에 임베딩되는 주석을 삽입하는 능력을 가질 수도 있다. 이 주석 기술의 하나의 실시형태는, 오퍼레이터로 하여금, 주석이 달리고 있는 영역을 개략적으로 나타내게 할 수도 있다. 다른 실시형태는 오퍼레이터로 하여금 주목하는 영역을 강조하게 할 수도 있다. 다른 실시형태는 오퍼레이터로 하여금 주목하는 영역 상에서 오버레이할 미리 정의된 형상을 선택하게 할 수도 있다. 다른 실시형태는 오퍼레이터로 하여금 시스템에 의해 시각적으로 식별되는 주목하는 영역을 승인하게 할 수도 있다. 시각적 주석의 이들 방법 모두는, 블록(S1670)에서 원시 이미지 데이터와 함께 저장될 수도 있는 또는 저장되지 않을 수도 있는 메모 작성(note taking)의 방법을 수반할 수도 있다. 오퍼레이터는 시스템 생성 샘플 평가, 예후, 기준 체크 목록, 피처 식별 정보, 또는 진단을 제공받을 수도 있다. 시스템은 원시 이미지 데이터, 하나 이상의 재구성된 시야, 재구성된 전체 슬라이드 이미지, 주석 데이터, 및/또는 시스템 생성 결과를 로컬 또는 클라우드 인프라, 예를 들면, 도 1의 서버(220)로 업로드할 수도 있다. 이 인프라는 개개의 샘플의 원격 또는 회고적 뷰잉(retrospective viewing), 동일한 사례로부터의 샘플의 비교, 동일한 환자의 상이한 사례로부터의 샘플의 비교, 또는 환자 사이의 사례의 비교를 허용할 수도 있다. 이들 데이터는 또한, 신속한 협력적 뷰잉(collaborative viewing) 및 추가적인 주석을 위해, 조직 사이에서 공유되는 또는 단일의 조직 내의 오퍼레이터 사이의 배포에 대해 이용 가능하게 만들어질 수 있다.
몇몇 실시형태에서, 시스템의 그래픽 사용자 인터페이스(graphical user interface: GUI)(예를 들면, 사용자 인터페이스, 사용자 경험)는 푸시 투 EHR(Push to EHR) 기능성을 포함할 수도 있다. 디바이스 상에 또는 디바이스에 의해 기록되는 전자 건강 정보는 인터넷 또는 로컬 네트워크에 대한 보안 연결을 통해 송신될 수도 있다. 보안 연결은 개인 및/또는 공개 키, 블록체인, 또는 전통적인 방식의 또는 양자 암호화를 활용하는 보안적인 방식의 데이터 전송의 임의의 다른 일반적인 방법을 사용하여 암호화될 수도 있다. 송신되는 데이터는, 식별 문자열, 번호 또는 다른 계정 연결 식별자의 형태의 민감한 환자 정보를 포함할 수도 있다. 식별자는 시스템 상에 기록되며 이미 존재하는 환자 레코드에 대한 보안 연결을 통해 송신되는 데이터를 연결하기 위해 사용될 수도 있거나 또는 새로운 환자 레코드를 생성하기 위해 사용될 수도 있다. 전자 건강 레코드로부터의 정보는 보안 연결을 통해 인터넷 또는 로컬 네트워크를 통해 전송될 수도 있다. 전자 건강 레코드에 관한 정보는, 공지된 사이트로부터의 암호화된 메시지를 개인 키를 사용하여 디코딩하는 것, 또는 연결로부터 신뢰된 사이트를 검증하기 위한 다른 공지된 방법과 같은 인증 기술을 사용하여, 신뢰된 사이트로부터 디바이스로 전송될 수도 있다. 전자 건강 레코드 시스템으로부터의 정보는 민감한 환자 정보를 포함할 수도 있으며, 본 명세서의 다른 곳에서 언급되는 바와 같은 식별자를 구비할 수도 있다.
몇몇 실시형태에서, GUI는 데이터 관리 및 뷰잉을 위해 로컬 또는 클라우드 기반의 서버와 통합될 수도 있다. 몇몇 실시형태에서, 클라우드 기반의 데이터 뷰잉 및 관리는 데이터가 원격으로 제시되는 것을 가능하게 한다. 예를 들면, 이미지 및 데이터는, 전자 건강 레코드(전자 건강 레코드: EHR), 의료 디바이스 데이터 시스템(medical device data system: MDDS), 또는 픽처 아카이빙 및 통신 시스템(picture archiving and communication system: PACS) 내에서 아카이브, 저장, 편집될 수도 있고, 그들에서 디스플레이될 수도 있다.
몇몇 실시형태에서, GUI는, 컬러, 그레이스케일, 또는 이들의 어떤 조합 중 어느 하나에 대해 적어도 8 비트 깊이를 가지고, 컴퓨터 사용 현미경 검사 이미지 및 데이터의 단일 패널 프리젠테이션의 원격 또는 로컬 데이터 뷰잉을 허용할 수도 있다. 이미지는 디바이스 상의 또는 디바이스에 추가되는 하이 다이나믹 레인지(high dynamic range: HDR)를 갖는 또는 갖지 않는 디스플레이 상에서 제시될 수도 있다. 몇몇 구현예에서, 컴퓨터 사용 현미경 검사 데이터는, Adobe(아도브) RGB, sRBG, DCI-P3, HDR 10+, Dolby Vision(돌비 비전) HDR, Vesa Display(베사 디스플레이) HDR 및 Rec 2020과 같은 Rec 709보다 더 넓은 컬러 공간에서 디스플레이될 수도 있다. 몇몇 실시형태에서, 컴퓨터 사용 현미경 검사 데이터는, 50 내지 900 PPI(pixels per inch: 인치당 픽셀)의 픽셀 밀도를 갖는 디바이스, 컴포넌트, 또는 서브시스템 상에서 디스플레이될 수도 있다.
몇몇 실시형태에서, GUI는 컴퓨터 사용 현미경 검사 이미지 및 데이터의 다중 패널 프리젠테이션의 원격 또는 로컬 데이터 뷰잉을 허용할 수도 있다. 컬러, 그레이스케일, 또는 이들의 어떤 조합 중 어느 하나에 대해 적어도 8 비트 깊이의 컴퓨터 사용 현미경 검사 이미지 및 데이터는, 사용자에 의해 착용되는 디바이스(헤드 마운트형 디스플레이) 상의, 또는 디바이스에 추가되는, 하이 다이나믹 레인지(HDR)를 갖는 또는 갖지 않는 일련의 디스플레이 상에서 디스플레이될 수도 있다. 이것의 하나의 구현예는, 디바이스 상에서의 컴퓨터 사용 현미경 검사 이미지 및 데이터의 증강된, 삼차원, 또는 가상 현실 디스플레이를 가능하게 하는, 디바이스 내에서의 상기 언급된 디스플레이의 이중성(쌍안 디스플레이)이다. 이것의 하나의 구현예는, 컴퓨터 사용 현미경 검사 데이터의 증강된, 삼차원, 또는 가상 현실 디스플레이를 원격에서 가능하게 하는 엔드 사용자의 머리에 장착되는 상기 언급된 디스플레이의 이중성(스테레오 비전을 갖는 또는 갖지 않는 쌍안 헤드 마운트형 디스플레이)이다.
몇몇 실시형태에서, GUI는 이미지 및 데이터를 조작하기 위해 사용자로부터의 피드백을 수용하도록 구성될 수도 있다. 컴퓨터 사용 현미경 검사 이미지 및 데이터는, 누름 버튼 기능성 및 방향 감지(예를 들면, x, y 병진)를 갖는 다수의 회전식 인코더 또는 방향 패드를 통해 조작될 수도 있다. 하나의 실시형태에서, 데이터 및 이미지 조작은 단일의 회전식 인코더를 통해 발생할 수도 있는데, 물리적 조작은 이미지 조작으로 귀결된다. 이 기능성의 몇몇 비제한적인 예는 다음의 것을 포함할 수도 있다: 인코더의 회전은 이미지의 줌을 조작함; 인코더의 하강("클릭" 또는 "누름") 및 후속하는 인코더의 회전은 메뉴를 열고, 보조 피처 및 데이터(예를 들면, 가시성)를 선택하고, 및/또는 토글함; 인코더의 방향성 병진 또는 이차원 입력은 이미지의 가시적인 X 축 및 Y 축 좌표(즉, 이미지의 위치)를 조작함.
다른 실시형태에서, 데이터 및 이미지 조작은, 두 개의 회전식 인코더인 좌측(L) 및 우측(R) 인코더를 사용하여 발생할 수도 있는데, 물리적 조작은 이미지 조작을 초래한다. 이 기능성의 몇몇 비제한적인 예는 다음의 것을 포함할 수도 있다: 좌측(L) 인코더의 회전은 이미지의 Y 병진을 조작하고 우측(R) 인코더의 회전은 이미지의 X 병진을 조작하거나 또는 그 반대임; 좌측(L) 인코더의 누름 및 후속하는 회전은, 큰 스텝 사이즈에서의 이미지의 줌을 조작하고 우측(R) 인코더의 누름 및 후속하는 회전은 초미세 스텝 사이즈에서의 이미지 줌을 조작하거나 또는 그 반대임; 좌측(L) 및 우측(R) 인코더 둘 모두의 누름은, 회전식 인코더에 의한 보조 피처 및 데이터(예를 들면, 가시성)의 선택 및 토글이 용이하게 되는 메뉴를 엶.
몇몇 실시형태에서, 사용자와 데이터 및/또는 이미지 사이의 동일한 사용자 인터페이스 상호 작용은, 하나 이상의 아날로그 또는 디지털 방향성 패드, 마우스, 모션 센서(예를 들면, 마이크로소프트 키넥트(Microsoft Kinect)), 키보드, 또는 임의의 다른 원격의 또는 로컬하게 연결된 디지털 또는 아날로그 디바이스/시스템을 사용하여 달성될 수도 있다.
몇몇 실시형태에서, GUI는 이미지 및 데이터를 조작하기 위해 사용자로부터의 터치스크린 피드백을 수용하도록 구성될 수도 있다. 이 기능성의 몇몇 비제한적인 예는 다음의 것을 포함할 수도 있다: 스크린의 우측 상에서의 더블 탭(double-tap)은 다음 번 샘플 이미지 또는 주목하는 영역을 디스플레이함, 스크린의 좌측 상에서의 더블 탭은 이전 샘플 이미지 또는 주목하는 영역을 디스플레이함, 등등.
몇몇 실시형태에서, 시스템은 이미지 데이터의 적시의 컴파일(Just-in-time Compiling)을 지원하는 기능성을 포함할 수도 있다. 몇몇 실시형태에서, 시스템은, 상호 운용 가능한, 타일식, 무손실, 및/또는 프로그레시브 이미지 포맷의 형태로 EHR, PACS, 또는 MDDS에 데이터를 제시할 수도 있다. 이미지(들)는 메타데이터, 속성, 룩업 테이블(들), 및 수반되는 의료 정보를 포함할 수도 있다. 이미지 파일 포맷은, 사용자, MDDS, PACS, 또는 EHR에 의한 요청시 조회되고 그 다음 의료 이미징 포맷(예를 들면, DICOM)으로 실시간으로 변환될 때까지, 보관시(at rest) 프로그레시브 이미지 포맷으로 저장될 수도 있다. 이미지와 관련되는 의료 데이터는, 사용자, MDDS, PACS, 또는 그녀에 의해 요청될 때까지, 별개의 포맷으로 저장할 수도 있다. 요청시, 프로그레시브 이미지 포맷 및 관련된 데이터는 집성될 것이고, 결합될 것이고, 및/또는 DICOM과 같은 메타데이터를 갖는 의료 이미지 포맷으로 변환될 것이다. 이미지 및 관련된 의료 데이터의 이러한 런타임 변환은, 보관시 프로그레시브 및 무손실 이미지 데이터를 저장하고, 요청시, 상호 운용 가능하고, 의료 호환적인 타일식 포맷을 생성한다.
도 34에서 도시되는 바와 같이, 바람직한 실시형태의 시스템과 방법 및 그 변형은, 적어도 부분적으로, 컴퓨터 판독 가능 명령어를 저장하는 컴퓨터 판독 가능 매체를 수용하도록 구성되는 머신(300)으로서 구체화될 수 있고 및/또는 구현될 수 있다. 명령어는, 바람직하게는, 시스템(300)과 통합되는 컴퓨터 실행 가능 컴포넌트 및 샘플 분석을 위한 디바이스 또는 시스템(300) 및/또는 컴퓨팅 디바이스 상의 프로세서(330)의 하나 이상의 부분에 의해 실행되는 것이 바람직하다. 컴퓨터 판독 가능 매체는, RAM, ROM, 플래시 메모리, EEPROM, 광학 디바이스(예를 들면, CD 또는 DVD), 하드 드라이브, 플로피 드라이브, 또는 임의의 적절한 디바이스와 같은 임의의 적절한 컴퓨터 판독 가능 매체 상에서 저장될 수 있다. 컴퓨터 실행 가능 컴포넌트는 바람직하게는 일반 또는 애플리케이션 고유의 프로세서이지만, 그러나 임의의 적절한 전용 하드웨어 또는 하드웨어/펌웨어 조합이, 대안적으로 또는 추가적으로, 명령어를 실행할 수 있다.
도 34에서 도시되는 바와 같이, 프로세서(330)가 메모리(340)로부터 정보를 판독하고 메모리에 정보를 기록하기 위해, 프로세서(330)는, 하나 이상의 버스를 통해, 메모리(340)에 커플링된다. 프로세서(330)는, 추가적으로 또는 대안적으로, 메모리(340)를 포함할 수도 있다. 메모리(340)는, 예를 들면, 프로세서 캐시를 포함할 수 있다. 메모리(340)는 컴퓨터 실행 가능 컴포넌트에 의한 실행을 위한 컴퓨터 판독 가능 명령어를 저장하는 임의의 적절한 컴퓨터 판독 가능 매체일 수도 있다. 다양한 실시형태에서, 컴퓨터 판독 가능 명령어는 비일시적 포맷으로 저장되는 애플리케이션 소프트웨어(345)를 포함한다. 소프트웨어는, 프로세서(330)에 의해 실행될 때, 프로세서(330)로 하여금 본 명세서의 다른 곳에서 설명되는 하나 이상의 방법을 수행하게 한다.
이제, 다양한 예시적인 실시형태가 설명될 것이다.
선행하는 실시형태 중 임의의 것에서, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법은 다음의 것을 포함한다: 확산기에 의해 적용될 스펙클이 있는 패턴을 특성 묘사하는 것; 적어도 하나의 가간섭성 광원이 생물학적 샘플을 조명하도록 생물학적 샘플을 적어도 하나의 가간섭성 광원에 대해 배치하는 것; 광이 생물학적 샘플과 상호 작용하기 이전 또는 광이 생물학적 샘플과 상호 작용한 이후 중 어느 하나에서, 광이 스펙클이 있는 패턴으로 확산되도록, 적어도 하나의 가간섭성 광원에 의해 생성되는 광을 확산시키는 것; 확산된 광에 기초하여 생물학적 샘플의 임베딩된 스펙클 패턴을 갖는 복수의 조명된 이미지를 캡처하는 것; 재구성된 이미지의 이미지 스택을 복구하기 위해 생물학적 샘플의 복수의 스펙클이 있는 조명된 이미지를 반복적으로 재구성하는 것; 전체 슬라이드 이미지를 생성하기 위해 이미지 스택 내의 각각의 이미지를 함께 스티칭하는 것으로서, 이미지 스택의 각각의 이미지는 이웃하는 이미지와 적어도 부분적으로 중첩하는, 전체 슬라이드 이미지를 생성하는 것; 및 생물학적 샘플의 하나 이상의 피처를 식별하는 것으로서, 하나 이상의 피처는, 세포 수, 핵, 가장자리, 그룹화, 덩어리 사이즈, 및 이들의 조합으로 이루어진 군으로부터 선택되는, 생물학적 샘플의 하나 이상의 피처를 식별하는 것.
선행하는 실시형태 중 임의의 것에서, 적어도 하나의 가간섭성 광원은 레이저 다이오드이다.
선행하는 실시형태 중 임의의 것에서, 방법은 반사 매체를 사용하여 확산된 광을 생물학적 샘플을 향해 지향시키는 것을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 방법은, 확산된 광을 생물학적 샘플을 향해 지향시키도록 반사 매체를 변조하기 위해, 모션 제어 디바이스를 사용하여, 반사 매체를 변조하는 것을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 모션 제어 디바이스는 검류계이다.
선행하는 실시형태 중 임의의 것에서, 방법은, 개구수 렌즈를 사용하여, 적어도 하나의 가간섭성 광원으로부터의 광을 수신하고 광을 확산기로 투과시키는 것을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 방법은, 생물학적 샘플의 하나 이상의 피처에 기초하여, 적어도 하나의 가간섭성 광원의 조명의 패턴, 조명의 주파수, 조명의 파장, 또는 이들의 조합 중 하나 이상을 선택하는 것을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 하나 이상의 피처는 다음의 것을 포함한다: 샘플 타입, 샘플 연령, 샘플 애플리케이션, 또는 이들의 조합.
선행하는 실시형태 중 임의의 것에서, 방법은, 집광 장치를 사용하여, 확산된 광을 생물학적 샘플 상으로 포커싱하는 것을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 이웃하는 이미지 사이의 중첩도는 약 1 % 내지 약 50 %이다.
선행하는 실시형태 중 임의의 것에서, 복수의 이미지를 캡처하는 것은 센서에 의해 수행된다.
선행하는 실시형태 중 임의의 것에서, 센서는 네거티브 채널 금속 산화물 반도체이다.
선행하는 실시형태 중 임의의 것에서, 센서는 적어도 6 비트의 그레이스케일 강도를 캡처하도록 구성된다.
선행하는 실시형태 중 임의의 것에서, 방법은 생물학적 샘플을 통해 투과되는 확산된 광을 센서 상으로 포커싱하는 것을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 포커싱은 대물 렌즈에 의해 수행된다.
선행하는 실시형태 중 임의의 것에서, 방법은, 모션 제어 디바이스를 사용하여, 생물학적 샘플을 적어도 하나의 가간섭성 광원에 대해 스텝 단위로 이동시키는 것을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 방법은 적어도 하나의 가간섭성 광원으로부터의 광을 확산기 상으로 포커싱하는 것을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 포커싱은 렌즈에 의해 수행된다.
선행하는 실시형태 중 임의의 것에서, 스티칭은 재구성된 이미지의 하나 이상의 중첩된 영역에 걸쳐 키 포인트를 매칭시키는 것을 포함한다.
선행하는 실시형태 중 임의의 것에서, 이미지 재구성은 FPGA에 의해 수행된다.
선행하는 실시형태 중 임의의 것에서, 방법은 생물학적 샘플의 적절성을 결정하는 것을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 생물학적 샘플의 적절성을 결정하는 것은, 생물학적 샘플이 열 개의 유핵 세포의 여섯 개의 클러스터를 포함하는지의 여부를 결정하는 것을 포함한다.
선행하는 실시형태 중 임의의 것에서, 생물학적 샘플의 적절성을 결정하는 것은 생물학적 샘플이 미리 결정된 수의 세포 또는 클러스터를 포함하는지의 여부를 결정하는 것을 포함한다.
선행하는 실시형태 중 임의의 것에서, 생물학적 샘플의 적절성을 결정하는 것은, 머신 러닝 또는 딥 러닝 모델을 사용하여, 하나 이상의 클러스터의 존재에 기초하여 하나 이상의 주목하는 영역을 선택하는 것; 및 머신 러닝 또는 딥 러닝 모델을 사용하여, 생물학적 샘플의 적절성을 평가하는 것을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 생물학적 샘플의 적절성을 결정하는 것은, 하나 이상의 클러스터의 존재에 기초하여 하나 이상의 주목하는 영역을 선택하는 것; 및 컴퓨터 비전을 사용하여, 각각의 주목하는 영역에서의 적절성에 기초하여 하나 이상의 주목하는 영역을 분류하는 것을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 생물학적 샘플의 적절성을 결정하는 것은, 적절성을 검출하도록 트레이닝되는 머신 러닝 또는 딥 러닝 모델에 의해 수행된다.
선행하는 실시형태 중 임의의 것에서, 방법은 적절성의 표시를 출력하는 것을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 확산은 확산기에 의해 수행된다.
선행하는 실시형태 중 임의의 것에서, 방법은 전체 슬라이드 이미지에 디포커스 마스크를 적용하는 것을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 방법은 이미지 스택의 하나 이상의 이미지를 착색하는 것을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 착색은 생물학적 샘플을 통한 위상 지연에 기초하여 면역조직화학적 염색을 시뮬레이팅하도록 트레이닝되는 딥 러닝 모델에 의해 수행된다.
선행하는 실시형태 중 임의의 것에서, 방법은 이미지 스택의 하나 이상의 착색된 이미지를 출력하는 것을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 방법은 하나 이상의 착색된 이미지를 분석하는 것 및 생물학적 샘플의 표시를 출력하는 것을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 표시는 다음의 것 중 하나 이상이다: 질병 상태, 조직 타입, 세포 특성, 세포의 품질, 세포의 양, 및 세포의 타입.
선행하는 실시형태 중 임의의 것에서, 세포 특성은 다음의 것 중 하나 이상을 포함한다: 비정형 유사 분열, 염색질 세분성, 염색질 과염색증, 핵 수, 핵 사이즈, 유사 분열, 핵막 불규칙성, 핵 다형태성, 핵 대 세포질 비율, 핵인 형상, 핵인 사이즈, 세포 분열 속도, 스핀들 길이, 및 세포막 밀도.
선행하는 실시형태 중 임의의 것에서, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법은 다음의 것을 포함한다: 생물학적 샘플이 백라이트 조명을 받도록 조명 소스와 관련하여 생물학적 샘플을 배치하는 것; 조명 소스로부터 생물학적 샘플에 광을 빠르게 연속적으로 인가하는 것으로서, 조명 소스는 생물학적 샘플에 적용될 때 광의 입사 광선을 생성하도록 구성되는, 광을 빠르게 연속적으로 인가하는 것; 광의 입사 광선의 회절 패턴을 센서 상으로 투영하는 것; 생물학적 샘플의 원래의 광학적 투과 기능을 재구성하기 위해 생물학적 샘플의 광학적 투과 기능으로부터 생성되는 하나 이상의 회절 패턴을 수집하는 것; 샘플 이미지의 중첩된 영역에 걸쳐 키 포인트를 매칭시키는 것에 의해 이미지를 함께 스티칭하는 것; 및 생물학적 샘플의 하나 이상의 피처를 식별하는 것으로서, 하나 이상의 피처는, 세포 수, 핵, 가장자리, 그룹화, 덩어리 사이즈, 및 이들의 조합으로 이루어진 군으로부터 선택되는, 생물학적 샘플의 하나 이상의 피처를 식별하는 것.
선행하는 실시형태 중 임의의 것에서, 조명 소스는 LED 어레이를 포함한다.
선행하는 실시형태 중 임의의 것에서, LED 어레이에서의 하나 이상의 다이오드는 하나 이상의 평면에서 배치된다.
선행하는 실시형태 중 임의의 것에서, 하나 이상의 다이오드는 하나 이상의 평면에서 불규칙하게 이격된다.
선행하는 실시형태 중 임의의 것에서, LED 어레이에서의 하나 이상의 다이오드는 하나 이상의 동심원에서 배열된다.
선행하는 실시형태 중 임의의 것에서, 방법은, 조명 소스를 사용하여, 서로 180 도의 각도에 있는 적어도 두 개의 포인트 소스로부터, 생물학적 샘플에 광을 인가하는 것으로서, 적어도 두 개의 포인트 소스는 생물학적 샘플에 적용될 때 광의 입사 광선을 생성하도록 구성되는, 생물학적 샘플에 광을 인가하는 것; 및 생물학적 샘플로부터 생성되는 하나 이상의 초점 맵을 수집하는 것을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 조명 소스는 점 광원의 5×5 내지 40×40 그리드를 포함한다.
선행하는 실시형태 중 임의의 것에서, 점 광원의 어레이는 700 내지 635㎚, 560 내지 520㎚, 490 내지 450㎚, 및 495 내지 570㎚의 파장에서 전자기 방사선을 방출한다.
선행하는 실시형태 중 임의의 것에서, 점 광원은 생물학적 샘플을 한 번에 하나씩 또는 조합하여 조명한다.
선행하는 실시형태 중 임의의 것에서, 조명 소스에 의해 인가되는 광은, 형성되는 회절 패턴이 센서 상으로 투영되도록 생물학적 샘플을 통해 투과된다.
선행하는 실시형태 중 임의의 것에서, 결과적으로 나타나는 회절 패턴은 가간섭성 상태 분해의 검출을 위해 멀티플렉싱된다.
선행하는 실시형태 중 임의의 것에서, 생물학적 샘플과 구조화된 광 사이의 주파수 혼합은 고주파수 생물학적 샘플 정보를 센서의 통과 대역으로 시프트한다.
선행하는 실시형태 중 임의의 것에서, 이미지 재구성은 FPGA에 의해 수행된다.
선행하는 실시형태 중 임의의 것에서, 방법은, 생물학적 샘플의 하나 이상의 피처에 기초하여, 조명 소스의 조명의 패턴, 조명의 주파수, 조명의 파장, 또는 이들의 조합 중 하나 이상을 선택하는 것을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 하나 이상의 피처는 다음의 것을 포함한다: 샘플 타입, 샘플 연령, 샘플 애플리케이션, 또는 이들의 조합.
선행하는 실시형태 중 임의의 것에서, 방법은, 생물학적 샘플이 열 개의 유핵 세포의 여섯 개의 클러스터를 포함하는지의 여부를 결정하는 것에 의해 생물학적 샘플의 적절성을 결정하는 것을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 생물학적 샘플의 적절성을 결정하는 것은, 머신 러닝 또는 딥 러닝 모델을 사용하여, 하나 이상의 클러스터의 존재에 기초하여 하나 이상의 주목하는 영역을 선택하는 것; 및 머신 러닝 또는 딥 러닝 모델을 사용하여, 생물학적 샘플의 적절성을 평가하는 것을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 생물학적 샘플의 적절성을 결정하는 것은, 하나 이상의 클러스터의 존재에 기초하여 하나 이상의 주목하는 영역을 선택하는 것; 및 컴퓨터 비전을 사용하여, 각각의 주목하는 영역에서의 적절성에 기초하여 하나 이상의 주목하는 영역을 분류하는 것을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 생물학적 샘플의 적절성을 결정하는 것은, 적절성을 검출하도록 트레이닝되는 머신 러닝 또는 딥 러닝 모델에 의해 수행된다.
선행하는 실시형태 중 임의의 것에서, 입사 광선은 기울어진 입사 광선이다.
선행하는 실시형태 중 임의의 것에서, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템은 다음의 것을 포함한다: 적어도 하나의 가간섭성 광원에 대해 배치되는 생물학적 샘플을 조명하도록 구성되는 적어도 하나의 가간섭성 광원; 적어도 하나의 가간섭성 광원에 의해 생성되는 광을 확산시키도록 구성되는 확산기로서, 광은, 광이 생물학적 샘플과 상호 작용하기 이전 또는 광이 생물학적 샘플과 상호 작용한 이후 중 어느 하나에서, 스펙클이 있는 패턴으로 확산되는, 확산기; 확산된 광에 기초하여 임베딩된 스펙클 패턴을 갖는 복수의 조명된 이미지를 캡처하도록 구성되는 센서; 및 프로세서 및 명령어가 저장된 비일시적 컴퓨터 판독 가능 매체로서, 프로세서는 명령어를 실행하도록 배열되되, 프로세서는 또한, 확산기에 의해 적용될 스펙클이 있는 패턴을 특성 묘사하도록, 재구성된 이미지의 이미지 스택을 복구하기 위해 생물학적 샘플의 복수의 스펙클이 있는 조명된 이미지를 반복적으로 재구성하도록, 전체 슬라이드 이미지를 생성하기 위해 이미지 스택 내의 각각의 이미지 - 이미지 스택의 각각의 이미지는 이웃하는 이미지와 적어도 부분적으로 중첩됨 - 를 함께 스티칭하도록, 그리고 생물학적 샘플의 하나 이상의 피처 - 하나 이상의 피처는, 세포 수, 핵, 가장자리, 그룹화, 덩어리 사이즈 및 이들의 조합으로 이루어진 군으로부터 선택됨 - 를 식별하도록 배열되는, 프로세서 및 명령어가 저장된 비일시적 컴퓨터 판독 가능 매체.
선행하는 실시형태 중 임의의 것에서, 적어도 하나의 가간섭성 광원은 레이저 다이오드이다.
선행하는 실시형태 중 임의의 것에서, 시스템은 확산된 광을 생물학적 샘플을 향해 지향시키도록 구성되는 반사 매체를 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 시스템은 확산된 광을 생물학적 샘플을 향해 지향시키기 위해 반사 매체를 변조하도록 구성되는 모션 제어 디바이스를 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 모션 제어 디바이스는 검류계이다.
선행하는 실시형태 중 임의의 것에서, 시스템은 적어도 하나의 가간섭성 광원으로부터 광을 수신하도록 그리고 광을 확산기로 투과시키도록 구성되는 개구수 렌즈를 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 프로세서는 또한, 생물학적 샘플의 하나 이상의 피처에 기초하여 적어도 하나의 가간섭성 광원의 조명의 패턴, 조명의 주파수, 조명의 파장, 또는 이들의 조합 중 하나 이상을 선택하도록 배열된다.
선행하는 실시형태 중 임의의 것에서, 하나 이상의 피처는 다음의 것을 포함한다: 샘플 타입, 샘플 연령, 샘플 애플리케이션, 또는 이들의 조합.
선행하는 실시형태 중 임의의 것에서, 시스템은 확산된 광을 생물학적 샘플 상으로 포커싱하도록 구성되는 집광 장치를 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 이웃하는 이미지 사이의 중첩도는 약 1 % 내지 약 50 %이다.
선행하는 실시형태 중 임의의 것에서, 센서는 네거티브 채널 금속 산화물 반도체이다.
선행하는 실시형태 중 임의의 것에서, 센서는 적어도 6 비트의 그레이스케일 강도를 캡처하도록 구성된다.
선행하는 실시형태 중 임의의 것에서, 시스템은 생물학적 샘플을 통해 투과되는 확산된 광을 센서 상으로 포커싱하도록 구성되는 대물 렌즈를 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 시스템은 생물학적 샘플을 적어도 하나의 가간섭성 광원에 대해 스텝 단위로 이동시키도록 구성되는 모션 제어 디바이스를 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 시스템은 적어도 하나의 가간섭성 광원으로부터의 광을 확산기 상으로 포커싱하도록 구성되는 렌즈를 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 프로세서는 또한 재구성된 이미지의 하나 이상의 중첩된 영역에 걸쳐 키 포인트를 매칭시키도록 배열된다.
선행하는 실시형태 중 임의의 것에서, 프로세서는 또한 생물학적 샘플의 적절성을 결정하도록 배열된다.
선행하는 실시형태 중 임의의 것에서, 프로세서는 또한 생물학적 샘플이 열 개의 유핵 세포의 여섯 개의 클러스터를 포함하는지의 여부를 결정하도록 배열된다.
선행하는 실시형태 중 임의의 것에서, 프로세서는 또한 생물학적 샘플이 미리 결정된 수의 세포 또는 클러스터를 포함하는지의 여부를 결정하도록 배열된다.
선행하는 실시형태 중 임의의 것에서, 프로세서는 또한, 머신 러닝 또는 딥 러닝 모델을 사용하여, 하나 이상의 클러스터의 존재에 기초하여 하나 이상의 주목하는 영역을 선택하도록; 그리고 머신 러닝 또는 딥 러닝 모델을 사용하여, 생물학적 샘플의 적절성을 평가하도록 배열된다.
선행하는 실시형태 중 임의의 것에서, 프로세서는 또한, 하나 이상의 클러스터의 존재에 기초하여 하나 이상의 주목하는 영역을 선택하도록; 그리고 컴퓨터 비전을 사용하여, 각각의 주목하는 영역에서의 적절성에 기초하여 하나 이상의 주목하는 영역을 분류하도록 배열된다.
선행하는 실시형태 중 임의의 것에서, 프로세서는 적절성을 검출하도록 트레이닝되는 머신 러닝 또는 딥 러닝 모델을 포함한다.
선행하는 실시형태 중 임의의 것에서, 프로세서는 또한 적절성의 표시를 출력하도록 배열된다.
선행하는 실시형태 중 임의의 것에서, 프로세서는 또한 전체 슬라이드 이미지에 디포커스 마스크를 적용하도록 배열된다.
선행하는 실시형태 중 임의의 것에서, 프로세서는 또한 이미지 스택의 하나 이상의 이미지를 착색하도록 배열된다.
선행하는 실시형태 중 임의의 것에서, 프로세서는 생물학적 샘플을 통한 위상 지연에 기초하여 면역조직화학적 염색을 시뮬레이팅하도록 트레이닝되는 딥 러닝 모델을 포함한다.
선행하는 실시형태 중 임의의 것에서, 프로세서는 또한 이미지 스택의 착색된 하나 이상의 이미지를 출력하도록 배열된다.
선행하는 실시형태 중 임의의 것에서, 프로세서는 또한 착색된 하나 이상의 이미지를 분석하도록 그리고 생물학적 샘플의 표시를 출력하도록 배열된다.
선행하는 실시형태 중 임의의 것에서, 표시는 다음의 것 중 하나 이상이다: 질병 상태, 조직 타입, 세포 특성, 세포의 품질, 세포의 양, 및 세포의 타입.
선행하는 실시형태 중 임의의 것에서, 세포 특성은 다음의 것 중 하나 이상을 포함한다: 비정형 유사 분열, 염색질 세분성, 염색질 과염색증, 핵 수, 핵 사이즈, 유사 분열, 핵막 불규칙성, 핵 다형태성, 핵 대 세포질 비율, 핵인 형상, 핵인 사이즈, 세포 분열 속도, 스핀들 길이, 및 세포막 밀도.
선행하는 실시형태 중 임의의 것에서, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템은 다음의 것을 포함한다: 생물학적 샘플이 백라이트 조명을 받도록 생물학적 샘플과 관련하여 배치되는 조명 소스로서, 조명 소스는 생물학적 샘플에 광을 빠르게 연속적으로 인가하도록 구성되고, 조명 소스는 생물학적 샘플에 적용될 때 광의 입사 광선을 생성하도록 구성되는, 조명 소스; 생물학적 샘플의 광학적 투과 기능으로부터 생성되는 하나 이상의 회절 패턴에 기초하여 복수의 이미지를 캡처하도록 구성되는 센서; 센서 상으로 하나 이상의 회절 패턴을 투영하도록 구성되는 렌즈; 및 프로세서 및 명령어가 저장된 비일시적 컴퓨터 판독 가능 매체로서, 프로세서는 명령어를 실행하도록 배열되되, 프로세서는 또한, 생물학적 샘플의 원래의 광학적 투과 기능을 재구성하도록, 복수의 이미지의 하나 이상의 중첩하는 영역에 걸쳐 키 포인트를 매칭시키는 것에 의해 복수의 이미지를 함께 스티칭하도록, 그리고 생물학적 샘플의 하나 이상의 피처 - 하나 이상의 피처는, 세포 수, 핵, 가장자리, 그룹화, 덩어리 사이즈, 및 이들의 조합으로 이루어진 군으로부터 선택됨 - 를 식별하도록 배열되는, 프로세서 및 명령어가 저장된 비일시적 컴퓨터 판독 가능 매체.
선행하는 실시형태 중 임의의 것에서, 조명 소스는 LED 어레이를 포함한다.
선행하는 실시형태 중 임의의 것에서, LED 어레이에서의 하나 이상의 다이오드는 하나 이상의 평면에서 배치된다.
선행하는 실시형태 중 임의의 것에서, 시스템은 하나 이상의 평면에서 불규칙하게 이격되는 하나 이상의 다이오드를 더 포함한다.
선행하는 실시형태 중 임의의 것에서, LED 어레이에서의 하나 이상의 다이오드는 하나 이상의 동심원에서 배열된다.
선행하는 실시형태 중 임의의 것에서, 조명 소스는 서로 180 도의 각도에 있는 적어도 두 개의 포인트 소스를 포함하되, 적어도 두 개의 포인트 소스는 생물학적 샘플에 적용될 때 광의 입사 광선을 생성하도록 구성된다.
선행하는 실시형태 중 임의의 것에서, 프로세서는 또한 생물학적 샘플로부터 생성되는 하나 이상의 초점 맵을 수집하도록 배열된다.
선행하는 실시형태 중 임의의 것에서, 조명 소스는 점 광원의 5×5 내지 40×40 그리드를 포함한다.
선행하는 실시형태 중 임의의 것에서, 점 광원의 어레이는 700 내지 635㎚, 560 내지 520㎚, 490 내지 450㎚ 및 495 내지 570㎚의 파장에서 전자기 방사선을 방출한다.
선행하는 실시형태 중 임의의 것에서, 점 광원은 생물학적 샘플을 한 번에 하나씩 또는 조합하여 조명한다.
선행하는 실시형태 중 임의의 것에서, 조명 소스에 의해 인가되는 광은, 형성되는 회절 패턴이 센서 상으로 투영되도록 생물학적 샘플을 통해 투과된다.
선행하는 실시형태 중 임의의 것에서, 결과적으로 나타나는 회절 패턴은 가간섭성 상태 분해의 검출을 위해 멀티플렉싱된다.
선행하는 실시형태 중 임의의 것에서, 생물학적 샘플과 구조화된 광 사이의 주파수 혼합은 고주파수 생물학적 샘플 정보를 센서의 통과 대역으로 시프트한다.
선행하는 실시형태 중 임의의 것에서, 프로세서는 하나보다 더 많은 프로세서를 포함한다.
선행하는 실시형태 중 임의의 것에서, 프로세서는 이미지 재구성을 수행하도록 구성되는 FPGA를 포함한다.
선행하는 실시형태 중 임의의 것에서, 프로세서는 또한, 생물학적 샘플의 하나 이상의 피처에 기초하여 조명 소스의 조명의 패턴, 조명의 주파수, 조명의 파장, 또는 이들의 조합 중 하나 이상을 선택하도록 배열된다.
선행하는 실시형태 중 임의의 것에서, 하나 이상의 피처는 다음의 것을 포함한다: 샘플 타입, 샘플 연령, 샘플 애플리케이션, 또는 이들의 조합.
선행하는 실시형태 중 임의의 것에서, 프로세서는 또한, 생물학적 샘플이 열 개의 유핵 세포의 여섯 개의 클러스터를 포함하는지의 여부를 결정하는 것에 의해 생물학적 샘플의 적절성을 결정하도록 배열된다.
선행하는 실시형태 중 임의의 것에서, 프로세서는 또한, 딥 러닝 모델을 사용하여, 하나 이상의 클러스터의 존재에 기초하여 하나 이상의 주목하는 영역을 선택하도록; 그리고 머신 러닝 또는 딥 러닝 모델을 사용하여, 생물학적 샘플의 적절성을 평가하도록 배열된다.
선행하는 실시형태 중 임의의 것에서, 프로세서는 또한, 하나 이상의 클러스터의 존재에 기초하여 하나 이상의 주목하는 영역을 선택하도록; 그리고 컴퓨터 비전을 사용하여, 각각의 주목하는 영역에서의 적절성에 기초하여 하나 이상의 주목하는 영역을 분류하도록 배열된다.
선행하는 실시형태 중 임의의 것에서, 프로세서는 적절성을 검출하도록 트레이닝되는 머신 러닝 또는 딥 러닝 모델을 포함한다.
선행하는 실시형태 중 임의의 것에서, 입사 광선은 기울어진 입사 광선이다.
설명 및 청구범위에서 사용될 때, 단수 형태 "a(한)", "an(한)" 및 "the(그)"는, 문맥 상 명백하게 다르게 지시하지 않는 한, 단수 및 복수 참조 둘 모두를 포함한다. 예를 들면, 용어 "조명 소스"는 복수의 조명 소스를 포함할 수도 있고, 복수의 조명 소스를 포함하도록 의도된다. 때때로, 청구범위 및 본 개시내용은, "복수의", "하나 이상의" 또는 "적어도 하나의"와 같은 용어를 포함할 수도 있다; 그러나, 그러한 용어의 부재는, 복수가 생각되지 않는다는 것을 의미하도록 의도되지 않으며, 그러한 것을 의미하도록 해석되어서는 안된다.
용어 "약" 또는 "대략"은, (예를 들면, 길이 또는 압력을 정의하기 위해) 수치적 지정 또는 범위 앞에서 사용되는 경우, (+) 또는 (-)5%, 1% 또는 0.1%만큼 변할 수도 있는 근사치를 나타낸다. 본 명세서에서 제공되는 모든 수치적 범위는 명시된 시작 및 끝 숫자를 포함한다. 용어 "실질적으로"는, 대부분(즉, 50% 초과) 또는 본질적으로, 디바이스, 재료, 또는 구성의 모두를 나타낸다.
본 명세서에서 사용될 때, 용어 "포함하는(comprising)" 또는 "포함한다(comprise)"는, 디바이스, 시스템, 및 방법이 언급된 엘리먼트를 포함하고, 임의의 다른 엘리먼트를 추가적으로 포함할 수도 있다는 것을 의미하도록 의도된다. "본질적으로 구성되는"은, 디바이스, 시스템, 및 방법이 언급된 엘리먼트를 포함하고 언급된 목적을 위한 조합에 필수적으로 중요한 다른 엘리먼트를 배제한다는 것을 의미할 것이다. 따라서, 본 명세서에서 정의되는 바와 같은 엘리먼트로 본질적으로 구성되는 시스템 또는 방법은, 청구된 개시의 기본적이고 신규의 특성(들)에 실질적으로 영향을 끼치지 않는 다른 재료, 피처, 또는 단계를 배제하지는 않을 것이다. "~로 구성되는"은, 디바이스, 시스템, 및 방법이 언급된 엘리먼트를 포함하고 사소한 또는 중요하지 않은 엘리먼트 또는 단계 이상의 임의의 것을 배제한다는 것을 의미할 것이다. 이들 이행적 용어(transitional term)의 각각에 의해 정의되는 실시형태는 본 개시내용의 범위 내에 있다.
본 명세서에서 포함되는 예 및 예시는, 본 주제가 실시될 수도 있는 특정한 실시형태를, 제한이 아닌 예시로서, 도시한다. 다른 실시형태가 활용될 수도 있고 그로부터 유도될 수도 있으며, 그 결과 본 개시내용의 범위를 벗어나지 않으면서 구조적 및 논리적 대체 및 변경이 이루어질 수도 있다. 독창적 주제의 그러한 실시형태는, 단지 편의상 그리고 본 출원의 범위를, 하나보다 더 많은 발명 또는 독창적 개념이 실제 개시되는 경우, 임의의 단일의 발명 또는 독창적 개념으로 자발적으로 제한하도록 의도하지 않으면서, 용어 "발명"에 의해 개별적으로 또는 일괄적으로 본 명세서에서 칭해질 수도 있다. 따라서, 비록 특정한 실시형태가 본 명세서에서 예시되고 설명되지만, 동일한 목적을 달성하도록 계산되는 임의의 배치가, 도시되는 특정한 실시형태를 대체할 수도 있다. 본 개시내용은 다양한 실시형태의 임의의 그리고 모든 적응예 또는 변형예를 포괄하도록 의도된다. 상기의 실시형태, 및 본 명세서에서 구체적으로 설명되지 않는 다른 실시형태의 조합은, 상기의 설명의 리뷰시, 기술 분야의 숙련된 자에게는 명백할 것이다.
Claims (104)
- 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템(near-field Fourier ptychographic system)에 의해 수행되는 방법으로서,
확산기(diffuser)에 의해 적용될 스펙클이 있는 패턴(speckled pattern)을 특성 묘사하는 단계;
적어도 하나의 가간섭성 광원(coherent light source)이 생물학적 샘플을 조명하도록 상기 생물학적 샘플을 적어도 하나의 가간섭성 광원에 대해 배치하는 단계;
상기 적어도 하나의 가간섭성 광원에 의해 생성되는 광을 확산시키는 단계로서, 상기 광은, 상기 광이 상기 생물학적 샘플과 상호 작용하기 이전 또는 상기 광이 상기 생물학적 샘플과 상호 작용한 이후 중 어느 하나에서, 상기 스펙클이 있는 패턴으로 확산되는, 상기 광을 확산시키는 단계;
상기 확산된 광에 기초하여 상기 생물학적 샘플의 상기 임베딩된 스펙클 패턴을 갖는 복수의 조명된 이미지를 캡처하는 단계;
재구성된 이미지의 이미지 스택을 복구하기 위해 상기 생물학적 샘플의 복수의 스펙클이 있는 조명된 이미지(speckled illuminated image)를 반복적으로 재구성하는 단계;
전체 슬라이드 이미지를 생성하기 위해 상기 이미지 스택 내의 각각의 이미지를 함께 스티칭하는 단계로서, 상기 이미지 스택의 각각의 이미지는 이웃하는 이미지와 적어도 부분적으로 중첩하는, 상기 스티칭하는 단계; 및
상기 생물학적 샘플의 하나 이상의 피처를 식별하는 단계로서, 상기 하나 이상의 피처는, 세포 수, 핵, 가장자리, 그룹화, 덩어리(clump) 사이즈, 및 이들의 조합으로 이루어진 군으로부터 선택되는, 상기 하나 이상의 피처를 식별하는 단계
를 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법. - 제1항에 있어서, 상기 적어도 하나의 가간섭성 광원은 레이저 다이오드인, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제1항에 있어서, 반사 매체를 사용하여 상기 확산된 광을 상기 생물학적 샘플을 향해 지향시키는 단계를 더 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제3항에 있어서, 상기 확산된 광을 상기 생물학적 샘플을 향해 지향시키도록 상기 반사 매체를 변조하기 위해, 모션 제어 디바이스를 사용하여, 상기 반사 매체를 변조하는 단계를 더 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제4항에 있어서, 상기 모션 제어 디바이스는 검류계(galvanometer)인, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제1항에 있어서, 개구수 렌즈(numerical aperture lens)를 사용하여, 상기 적어도 하나의 가간섭성 광원으로부터의 상기 광을 수신하고 상기 광을 상기 확산기로 투과시키는 단계를 더 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제1항에 있어서, 상기 생물학적 샘플의 하나 이상의 피처에 기초하여, 상기 적어도 하나의 가간섭성 광원의 조명의 패턴, 조명의 주파수, 조명의 파장, 또는 이들의 조합 중 하나 이상을 선택하는 단계를 더 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제7항에 있어서, 상기 하나 이상의 피처는, 샘플 타입, 샘플 연령, 샘플 애플리케이션, 또는 이들의 조합을 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제1항에 있어서, 집광 장치(condenser)를 사용하여, 상기 확산된 광을 상기 생물학적 샘플 상으로 포커싱하는 단계를 더 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제1항에 있어서, 이웃하는 이미지 사이의 중첩도는 약 1% 내지 약 50% 사이에 있는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제1항에 있어서, 캡처하는 단계는 센서에 의해 수행되는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제11항에 있어서, 상기 센서는 네거티브 채널 금속 산화물 반도체인, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제11항에 있어서, 상기 센서는 적어도 6 비트의 그레이스케일 강도를 캡처하도록 구성되는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제1항에 있어서, 상기 생물학적 샘플을 통해 투과되는 상기 확산된 광을 상기 센서 상으로 포커싱하는 단계를 더 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제14항에 있어서, 포커싱하는 단계는 대물 렌즈에 의해 수행되는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제1항에 있어서, 모션 제어 디바이스를 사용하여, 상기 생물학적 샘플을 상기 적어도 하나의 가간섭성 광원에 대해 스텝 단위로 이동시키는 단계를 더 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제1항에 있어서, 상기 적어도 하나의 가간섭성 광원으로부터의 광을 확산기 상으로 포커싱하는 단계를 더 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제17항에 있어서, 포커싱하는 단계는 렌즈에 의해 수행되는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제1항에 있어서, 스티칭하는 단계는 상기 재구성된 이미지의 하나 이상의 중첩된 영역에 걸쳐 키 포인트를 매칭시키는 단계를 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제1항에 있어서, 상기 생물학적 샘플의 적절성을 결정하는 단계를 더 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제20항에 있어서, 결정하는 단계는 상기 생물학적 샘플이 열 개의 유핵 세포의 여섯 개의 클러스터를 포함하는지의 여부를 결정하는 단계를 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제20항에 있어서, 결정하는 단계는 상기 생물학적 샘플이 미리 결정된 수의 세포 또는 클러스터를 포함하는지의 여부를 결정하는 단계를 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제20항에 있어서, 결정하는 단계는,
머신 러닝 또는 딥 러닝 모델을 사용하여, 하나 이상의 클러스터의 존재에 기초하여 하나 이상의 주목하는 영역을 선택하는 단계; 및
상기 머신 러닝 또는 딥 러닝 모델을 사용하여, 상기 생물학적 샘플의 상기 적절성을 평가하는 단계를 더 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법. - 제20항에 있어서, 결정하는 단계는,
하나 이상의 클러스터의 존재에 기초하여 하나 이상의 주목하는 영역을 선택하는 단계; 및
컴퓨터 비전을 사용하여, 각각의 주목하는 영역에서의 상기 적절성에 기초하여 상기 하나 이상의 주목하는 영역을 분류하는 단계를 더 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법. - 제20항에 있어서, 결정하는 단계는 적절성을 검출하도록 트레이닝되는 머신 러닝 또는 딥 러닝 모델에 의해 수행되는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제20항에 있어서, 상기 적절성의 표시(indication)를 출력하는 단계를 더 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제1항에 있어서, 확산시키는 단계는 확산기에 의해 수행되는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제1항에 있어서, 상기 전체 슬라이드 이미지에 디포커스 마스크(defocus mask)를 적용하는 단계를 더 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제1항에 있어서, 상기 이미지 스택의 하나 이상의 이미지를 착색하는 단계를 더 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제29항에 있어서, 착색하는 단계는 상기 생물학적 샘플을 통한 위상 지연에 기초하여 면역조직화학적 염색(immunohistochemical stain)을 시뮬레이팅하도록 트레이닝되는 딥 러닝 모델에 의해 수행되는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제30항에 있어서, 상기 이미지 스택의 상기 하나 이상의 착색된 이미지를 출력하는 단계를 더 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제31항에 있어서, 상기 하나 이상의 착색된 이미지를 분석하고 상기 생물학적 샘플의 표시를 출력하는 단계를 더 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제32항에 있어서, 상기 표시는, 질병 상태, 조직 타입, 세포 특성, 세포의 품질, 세포의 양, 및 세포의 타입 중 하나 이상인, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제33항에 있어서, 상기 세포 특성은, 비정형 유사 분열(atypical mitose), 염색질 세분성(chromatin granularity), 염색질 과염색증(chromatin hyperchromasia), 핵 수(nuclei number), 핵 사이즈, 유사 분열(mitose), 핵막 불규칙성(nuclear membrane irregularity), 핵 다형태성(nuclear pleomorphism), 핵 대 세포질 비율(nuclear-to-cytoplasmic ratio), 핵인 형상(nucleoli shape), 핵인 사이즈(nucleoli size), 세포 분열 속도(cell division rate), 스핀들 길이, 및 세포막 밀도 중 하나 이상을 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템(far-field Fourier ptychographic system)에 의해 수행되는 방법으로서,
생물학적 샘플이 백라이트 조명을 받도록(backlit) 조명 소스와 관련하여 상기 생물학적 샘플을 배치하는 단계;
상기 조명 소스로부터 상기 생물학적 샘플에 광을 빠르게 연속적으로 인가하는 단계로서, 상기 조명 소스는 상기 생물학적 샘플에 적용될 때 광의 입사 광선을 생성하도록 구성되는, 상기 광을 빠르게 연속적으로 인가하는 단계;
광의 상기 입사 광선의 회절 패턴을 센서 상으로 투영하는 단계;
상기 생물학적 샘플의 원래의 광학적 투과 기능을 재구성하기 위해 상기 생물학적 샘플의 광학적 투과 기능으로부터 생성되는 하나 이상의 회절 패턴을 수집하는 단계;
샘플 이미지의 중첩된 영역에 걸쳐 키 포인트를 매칭시키는 것에 의해 이미지를 함께 스티칭하는 단계; 및
상기 생물학적 샘플의 하나 이상의 피처를 식별하는 단계로서, 상기 하나 이상의 피처는, 세포 수, 핵, 가장자리, 그룹화, 덩어리 사이즈, 및 이들의 조합으로 이루어진 군으로부터 선택되는, 상기 하나 이상의 피처를 식별하는 단계를 포함하는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법. - 제35항에 있어서, 상기 조명 소스는 LED 어레이를 포함하는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제36항에 있어서, 상기 LED 어레이에서의 하나 이상의 다이오드는 하나 이상의 평면에서 배치되는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제37항에 있어서, 상기 하나 이상의 다이오드는 상기 하나 이상의 평면에서 불규칙하게 이격되는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제36항에 있어서, 상기 LED 어레이에서의 하나 이상의 다이오드는 하나 이상의 동심원에서 배열되는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제35항에 있어서,
상기 조명 소스를 사용하여, 서로 180 도의 각도에 있는 적어도 두 개의 포인트 소스로부터 상기 생물학적 샘플에 광을 인가는 단계로서, 상기 적어도 두 개의 포인트 소스는 상기 생물학적 샘플에 적용될 때 광의 입사 광선을 생성하도록 구성되는, 상기 광을 인가는 단계; 및
상기 생물학적 샘플로부터 생성되는 하나 이상의 초점 맵을 수집하는 단계를 더 포함하는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법. - 제35항에 있어서, 상기 조명 소스는 점 광원의 5×5 내지 40×40 그리드를 포함하는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제41항에 있어서, 점 광원의 상기 어레이는 700-635㎚, 560-520㎚, 490-450㎚ 및 495-570㎚의 파장에서 전자기 방사선을 방출하는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제41항에 있어서, 상기 점 광원은 상기 생물학적 샘플을 한 번에 하나씩 또는 조합하여 조명하는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제41항에 있어서, 상기 조명 소스에 의해 인가되는 상기 광은, 형성되는 상기 회절 패턴이 상기 센서 상으로 투영되도록 상기 생물학적 샘플을 통해 투과되는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제44항에 있어서, 결과적으로 나타나는 상기 회절 패턴은 가간섭성 상태 분해의 검출을 위해 멀티플렉싱되는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제44항에 있어서, 상기 생물학적 샘플과 구조화된 광 사이의 주파수 혼합은 고주파수 생물학적 샘플 정보를 상기 센서의 통과 대역으로 시프트하는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제35항에 있어서, 상기 생물학적 샘플의 하나 이상의 피처에 기초하여, 조명 소스의 조명의 패턴, 조명의 주파수, 조명의 파장, 또는 이들의 조합 중 하나 이상을 선택하는 단계를 더 포함하는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제47항에 있어서, 상기 하나 이상의 피처는, 샘플 타입, 샘플 연령, 샘플 애플리케이션, 또는 이들의 조합을 포함하는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제35항에 있어서, 상기 생물학적 샘플이 열 개의 유핵 세포의 여섯 개의 클러스터를 포함하는지의 여부를 결정하는 것에 의해 상기 생물학적 샘플의 적절성을 결정하는 단계를 더 포함하는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제49항에 있어서, 결정하는 단계는,
머신 러닝 또는 딥 러닝 모델을 사용하여, 하나 이상의 클러스터의 존재에 기초하여 하나 이상의 주목하는 영역을 선택하는 단계; 및
상기 머신 러닝 또는 딥 러닝 모델을 사용하여, 상기 생물학적 샘플의 상기 적절성을 평가하는 단계를 더 포함하는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법. - 제49항에 있어서, 결정하는 단계는,
하나 이상의 클러스터의 존재에 기초하여 하나 이상의 주목하는 영역을 선택하는 단계; 및
컴퓨터 비전을 사용하여, 각각의 주목하는 영역에서의 상기 적절성에 기초하여 상기 하나 이상의 주목하는 영역을 분류하는 단계를 더 포함하는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법. - 제49항에 있어서, 결정하는 단계는 적절성을 검출하도록 트레이닝되는 머신 러닝 또는 딥 러닝 모델에 의해 수행되는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 제35항에 있어서, 상기 입사 광선은 기울어진 입사 광선인, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템에 의해 수행되는 방법.
- 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템으로서,
적어도 하나의 가간섭성 광원에 대해 배치되는 생물학적 샘플을 조명하도록 구성되는 상기 적어도 하나의 가간섭성 광원;
상기 적어도 하나의 가간섭성 광원에 의해 생성되는 광을 확산시키도록 구성되는 확산기로서, 상기 광은, 상기 광이 상기 생물학적 샘플과 상호 작용하기 이전 또는 상기 광이 상기 생물학적 샘플과 상호 작용한 이후 중 어느 하나에서, 스펙클이 있는 패턴으로 확산되는, 상기 확산기;
상기 확산된 광에 기초하여 임베딩된 스펙클 패턴을 갖는 복수의 조명된 이미지를 캡처하도록 구성되는 센서; 및
프로세서 및 명령어가 저장된 비일시적 컴퓨터 판독 가능 매체를 포함하되, 상기 프로세서는 상기 명령어를 실행하도록 배열되며, 상기 프로세서는 또한,
상기 확산기에 의해 적용될 스펙클이 있는 패턴을 특성 묘사하도록,
재구성된 이미지의 이미지 스택을 복구하기 위해 상기 생물학적 샘플의 복수의 스펙클이 있는 조명된 이미지를 반복적으로 재구성하도록;
전체 슬라이드 이미지를 생성하기 위해 상기 이미지 스택 내의 각각의 이미지 - 상기 이미지 스택의 각각의 이미지는 이웃하는 이미지와 적어도 부분적으로 중첩함 - 를 함께 스티칭하도록, 그리고
상기 생물학적 샘플의 하나 이상의 피처 - 상기 하나 이상의 피처는, 세포 수, 핵, 가장자리, 그룹화, 덩어리 사이즈, 및 이들의 조합으로 이루어진 군으로부터 선택됨 - 를 식별하도록 배열되는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템. - 제54항에 있어서, 상기 적어도 하나의 가간섭성 광원은 레이저 다이오드인, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 제54항에 있어서, 상기 확산된 광을 상기 생물학적 샘플을 향해 지향시키도록 구성되는 반사 매체를 더 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 제56항에 있어서, 상기 확산된 광을 상기 생물학적 샘플을 향해 지향시키기 위해 상기 반사 매체를 변조하도록 구성되는 모션 제어 디바이스를 더 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 제57항에 있어서, 상기 모션 제어 디바이스는 검류계인, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 제54항에 있어서, 상기 적어도 하나의 가간섭성 광원으로부터 상기 광을 수신하도록 그리고 상기 광을 상기 확산기로 투과시키도록 구성되는 개구수 렌즈를 더 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 제54항에 있어서, 상기 프로세서는 또한, 상기 생물학적 샘플의 하나 이상의 피처에 기초하여 상기 적어도 하나의 가간섭성 광원의 조명의 패턴, 조명의 주파수, 조명의 파장, 또는 이들의 조합 중 하나 이상을 선택하도록 배열되는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 제60항에 있어서, 상기 하나 이상의 피처는, 샘플 타입, 샘플 연령, 샘플 애플리케이션, 또는 이들의 조합을 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 제54항에 있어서, 상기 확산된 광을 상기 생물학적 샘플 상으로 포커싱하도록 구성되는 집광 장치를 더 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 제54항에 있어서, 이웃하는 이미지 사이의 중첩도는 약 1% 내지 약 50% 사이에 있는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 제54항에 있어서, 상기 센서는 네거티브 채널 금속 산화물 반도체인, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 제54항에 있어서, 상기 센서는 적어도 6 비트의 그레이스케일 강도를 캡처하도록 구성되는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 제54항에 있어서, 상기 생물학적 샘플을 통해 투과되는 상기 확산된 광을 상기 센서 상으로 포커싱하도록 구성되는 대물 렌즈를 더 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 제54항에 있어서, 상기 생물학적 샘플을 상기 적어도 하나의 가간섭성 광원에 대해 스텝 단위로 이동시키도록 구성되는 모션 제어 디바이스를 더 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 제54항에 있어서, 상기 적어도 하나의 가간섭성 광원으로부터의 광을 상기 확산기 상으로 포커싱하도록 구성되는 렌즈를 더 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 제54항에 있어서, 상기 프로세서는 또한 상기 재구성된 이미지의 하나 이상의 중첩된 영역에 걸쳐 키 포인트를 매칭시키도록 배열되는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 제54항에 있어서, 상기 프로세서는 또한 상기 생물학적 샘플의 적절성을 결정하도록 배열되는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 제70항에 있어서, 상기 프로세서는 또한 상기 생물학적 샘플이 열 개의 유핵 세포의 여섯 개의 클러스터를 포함하는지의 여부를 결정하도록 배열되는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 제70항에 있어서, 상기 프로세서는 또한 상기 생물학적 샘플이 미리 결정된 수의 세포 또는 클러스터를 포함하는지의 여부를 결정하도록 배열되는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 제70항에 있어서, 상기 프로세서는 또한,
머신 러닝 또는 딥 러닝 모델을 사용하여, 하나 이상의 클러스터의 존재에 기초하여 하나 이상의 주목하는 영역을 선택하도록; 그리고
상기 머신 러닝 또는 딥 러닝 모델을 사용하여, 상기 생물학적 샘플의 상기 적절성을 평가하도록 배열되는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템. - 제70항에 있어서, 상기 프로세서는 또한,
하나 이상의 클러스터의 존재에 기초하여 하나 이상의 주목하는 영역을 선택하도록; 그리고
컴퓨터 비전을 사용하여, 각각의 주목하는 영역에서의 상기 적절성에 기초하여 상기 하나 이상의 주목하는 영역을 분류하도록 배열되는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템. - 제70항에 있어서, 상기 프로세서는 적절성을 검출하도록 트레이닝되는 머신 러닝 또는 딥 러닝 모델을 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 제70항에 있어서, 상기 프로세서는 또한 상기 적절성의 표시를 출력하도록 배열되는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 제54항에 있어서, 상기 프로세서는 또한 상기 전체 슬라이드 이미지에 디포커스 마스크를 적용하도록 배열되는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 제54항에 있어서, 상기 프로세서는 또한 상기 이미지 스택의 하나 이상의 이미지를 착색하도록 배열되는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 제78항에 있어서, 상기 프로세서는 상기 생물학적 샘플을 통한 위상 지연에 기초하여 면역조직화학적 염색을 시뮬레이팅하도록 트레이닝되는 딥 러닝 모델을 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 제79항에 있어서, 상기 프로세서는 또한 상기 이미지 스택의 상기 착색된 하나 이상의 이미지를 출력하도록 배열되는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 제79항에 있어서, 상기 프로세서는 또한 상기 착색된 하나 이상의 이미지를 분석하도록 그리고 상기 생물학적 샘플의 표시를 출력하도록 배열되는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 제81항에 있어서, 상기 표시는, 질병 상태, 조직 타입, 세포 특성, 세포의 품질, 세포의 양, 및 세포의 타입 중 하나 이상인, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 제82항에 있어서, 상기 세포 특성은, 비정형 유사 분열, 염색질 세분성, 염색질 과염색증, 핵 수, 핵 사이즈, 유사 분열, 핵막 불규칙성, 핵 다형태성, 핵 대 세포질 비율, 핵인 형상, 핵인 사이즈, 세포 분열 속도, 스핀들 길이, 및 세포막 밀도 중 하나 이상을 포함하는, 생물학적 샘플을 평가하기 위한 근거리장 푸리에 타이코그래픽 시스템.
- 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템으로서,
생물학적 샘플이 백라이트 조명을 받도록 상기 생물학적 샘플과 관련하여 배치되는 조명 소스로서, 상기 조명 소스는 상기 생물학적 샘플에 광을 빠르게 연속적으로 인가하도록 구성되고, 상기 조명 소스는 상기 생물학적 샘플에 적용될 때 광의 입사 광선을 생성하도록 구성되는, 상기 조명 소스;
상기 생물학적 샘플의 광학적 투과 기능으로부터 생성되는 하나 이상의 회절 패턴에 기초하여 복수의 이미지를 캡처하도록 구성되는 센서;
상기 센서 상으로 상기 하나 이상의 회절 패턴을 투영하도록 구성되는 렌즈; 및
프로세서 및 명령어가 저장된 비일시적 컴퓨터 판독 가능 매체를 포함하되, 상기 프로세서는 상기 명령어를 실행하도록 배열되며, 상기 프로세서는 또한,
상기 생물학적 샘플의 원래의 광학적 투과 기능을 재구성하도록,
상기 복수의 이미지의 하나 이상의 중첩하는 영역에 걸쳐 키 포인트를 매칭시키는 것에 의해 상기 복수의 이미지를 함께 스티칭하도록, 그리고
상기 생물학적 샘플의 하나 이상의 피처 - 상기 하나 이상의 피처는, 세포 수, 핵, 가장자리, 그룹화, 덩어리 사이즈, 및 이들의 조합으로 이루어진 군으로부터 선택됨 - 를 식별하도록 배열되는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템. - 제84항에 있어서, 상기 조명 소스는 LED 어레이를 포함하는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템.
- 제85항에 있어서, 상기 LED 어레이에서의 하나 이상의 다이오드는 하나 이상의 평면에서 배치되는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템.
- 제86항에 있어서, 상기 하나 이상의 다이오드는 상기 하나 이상의 평면에서 불규칙하게 이격되는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템.
- 제85항에 있어서, 상기 LED 어레이에서의 하나 이상의 다이오드는 하나 이상의 동심원에서 배열되는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템.
- 제85항에 있어서, 상기 조명 소스는 서로 180 도의 각도에 있는 적어도 두 개의 포인트 소스를 포함하되, 상기 적어도 두 개의 포인트 소스는 상기 생물학적 샘플에 적용될 때 광의 입사 광선을 생성하도록 구성되는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템.
- 제89항에 있어서, 상기 프로세서는 또한 상기 생물학적 샘플로부터 생성되는 하나 이상의 초점 맵을 수집하도록 배열되는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템.
- 제84항에 있어서, 상기 조명 소스는 점 광원의 5×5 내지 40×40 그리드를 포함하는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템.
- 제91항에 있어서, 점 광원의 상기 어레이는 700-635㎚, 560-520㎚, 490-450㎚ 및 495-570㎚의 파장에서 전자기 방사선을 방출하는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템.
- 제91항에 있어서, 상기 점 광원은 상기 생물학적 샘플을 한 번에 하나씩 또는 조합하여 조명하는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템.
- 제91항에 있어서, 상기 조명 소스에 의해 인가되는 상기 광은, 형성되는 상기 회절 패턴이 상기 센서 상으로 투영되도록 상기 생물학적 샘플을 통해 투과되는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템.
- 제94항에 있어서, 결과적으로 나타나는 상기 회절 패턴은 가간섭성 상태 분해의 검출을 위해 멀티플렉싱되는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템.
- 제94항에 있어서, 상기 생물학적 샘플과 구조화된 광 사이의 주파수 혼합은 고주파수 생물학적 샘플 정보를 상기 센서의 통과 대역으로 시프트하는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템.
- 제84항에 있어서, 상기 프로세서는 하나보다 더 많은 프로세서를 포함하는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템.
- 제84항에 있어서, 상기 프로세서는 또한, 상기 생물학적 샘플의 하나 이상의 피처에 기초하여 상기 조명 소스의 조명의 패턴, 조명의 주파수, 조명의 파장, 또는 이들의 조합 중 하나 이상을 선택하도록 배열되는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템.
- 제98항에 있어서, 상기 하나 이상의 피처는, 샘플 타입, 샘플 연령, 샘플 애플리케이션, 또는 이들의 조합을 포함하는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템.
- 제84항에 있어서, 상기 프로세서는 또한, 상기 생물학적 샘플이 열 개의 유핵 세포의 여섯 개의 클러스터를 포함하는지의 여부를 결정하는 것에 의해 상기 생물학적 샘플의 적절성을 결정하도록 배열되는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템.
- 제100항에 있어서, 상기 프로세서는 또한,
머신 러닝 또는 딥 러닝 모델을 사용하여, 하나 이상의 클러스터의 존재에 기초하여 하나 이상의 주목하는 영역을 선택하도록; 그리고
상기 머신 러닝 또는 딥 러닝 모델을 사용하여, 상기 생물학적 샘플의 상기 적절성을 평가하도록 배열되는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템. - 제100항에 있어서, 상기 프로세서는 또한,
하나 이상의 클러스터의 존재에 기초하여 하나 이상의 주목하는 영역을 선택하도록; 그리고
컴퓨터 비전을 사용하여, 각각의 주목하는 영역에서의 상기 적절성에 기초하여 상기 하나 이상의 주목하는 영역을 분류하도록 배열되는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템. - 제100항에 있어서, 상기 프로세서는 적절성을 검출하도록 트레이닝되는 머신 러닝 또는 딥 러닝 모델을 포함하는, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템.
- 제84항에 있어서, 상기 입사 광선은 기울어진 입사 광선인, 생물학적 샘플을 평가하기 위한 원거리장 푸리에 타이코그래픽 시스템.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862781271P | 2018-12-18 | 2018-12-18 | |
| US62/781,271 | 2018-12-18 | ||
| US201962935599P | 2019-11-14 | 2019-11-14 | |
| US62/935,599 | 2019-11-14 | ||
| PCT/US2019/066842 WO2020131864A1 (en) | 2018-12-18 | 2019-12-17 | Computational microscopy based-system and method for automated imaging and analysis of pathology specimens |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210113236A true KR20210113236A (ko) | 2021-09-15 |
Family
ID=71102846
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217022441A KR20210113236A (ko) | 2018-12-18 | 2019-12-17 | 병리학 시료의 자동화된 이미징 및 분석을 위한 컴퓨터 사용 현미경 검사 기반의 시스템 및 방법 |
Country Status (10)
| Country | Link |
|---|---|
| US (3) | US11347046B2 (ko) |
| EP (1) | EP3899500A4 (ko) |
| JP (1) | JP2022513494A (ko) |
| KR (1) | KR20210113236A (ko) |
| CN (1) | CN113939728A (ko) |
| AU (1) | AU2019403134A1 (ko) |
| BR (1) | BR112021011719A2 (ko) |
| CA (1) | CA3122853A1 (ko) |
| MX (1) | MX2021007139A (ko) |
| WO (1) | WO2020131864A1 (ko) |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2019403134A1 (en) | 2018-12-18 | 2021-06-17 | Pathware Inc. | Computational microscopy based-system and method for automated imaging and analysis of pathology specimens |
| US11809134B2 (en) * | 2019-06-05 | 2023-11-07 | Cubixel Co., Ltd. | Method and apparatus of automatic optical inspection using scanning holography |
| US11676366B1 (en) * | 2019-11-06 | 2023-06-13 | Ramona Optics Inc. | Methods to detect image features from variably-illuminated images |
| CN110727097B (zh) * | 2019-12-19 | 2020-05-05 | 上海兰脉信息科技有限公司 | 一种病理显微图像实时采集分析系统、方法、装置及介质 |
| US20230314787A1 (en) * | 2020-07-31 | 2023-10-05 | The Board Of Regents Of The University Of Texas System | Systems and methods for live projection imaging for fluorescence microscopy |
| DE102020123505A1 (de) * | 2020-09-09 | 2022-03-10 | Carl Zeiss Microscopy Gmbh | Mikroskopiesystem und verfahren zum erzeugen eines übersichtsbildes |
| DE102020123504A1 (de) | 2020-09-09 | 2022-03-10 | Carl Zeiss Microscopy Gmbh | Mikroskopiesystem und verfahren zum erzeugen eines hdr-bildes |
| TW202238209A (zh) * | 2020-12-11 | 2022-10-01 | 國立中央大學 | 高通量無鏡頭成像方法和系統 |
| KR102576041B1 (ko) * | 2021-02-09 | 2023-09-07 | (주)유아이엠디 | 슬라이드 표본의 고배율 이미지 획득방법 |
| US12094161B2 (en) * | 2021-03-24 | 2024-09-17 | Regents Of The University Of Minnesota | Multi-perspective microscopic imaging guided microinjection of microscopic objects across large field of views |
| KR102410380B1 (ko) * | 2021-04-08 | 2022-06-16 | 재단법인대구경북과학기술원 | 딥 러닝에 기반하여 가보 홀로그램으로부터 노이즈 없는 위상 영상을 복원하는 장치 및 방법 |
| GB2613762A (en) * | 2021-05-21 | 2023-06-21 | John Edward Turner Bradley | Cell counting method and system |
| EP4113189A1 (de) * | 2021-06-29 | 2023-01-04 | Siemens Aktiengesellschaft | Syntheseverfahren zur erzeugung eines räumlich hochaufgelösten bildes |
| CN113591601B (zh) * | 2021-07-08 | 2024-02-02 | 北京大学第三医院（北京大学第三临床医学院） | 角膜共聚焦图像中菌丝识别方法及装置 |
| KR20230021888A (ko) * | 2021-08-06 | 2023-02-14 | 주식회사 뷰웍스 | 영상 획득 장치 및 이를 이용한 영상 획득 방법 |
| CN118355417A (zh) * | 2021-10-01 | 2024-07-16 | Fei 公司 | 显微镜学系统中的数据分类 |
| WO2023059764A1 (en) * | 2021-10-06 | 2023-04-13 | Thrive Bioscience, Inc. | Method and apparatus for searching and analyzing cell images |
| FR3131417B1 (fr) * | 2021-12-28 | 2024-06-28 | Commissariat Energie Atomique | Correction d'artefacts de reconstructions tomographiques par reseaux de neurones |
| CN114399505B (zh) * | 2022-03-25 | 2022-06-28 | 江苏智云天工科技有限公司 | 工业检测中的检测方法、检测装置 |
| EP4293342A1 (en) * | 2022-06-15 | 2023-12-20 | Siemens Healthcare GmbH | Automatic analyzer and method for optically analyzing a biological sample |
| WO2024008609A1 (en) * | 2022-07-04 | 2024-01-11 | Radiometer Medical Aps | Determining defocus in image data related to a prepared blood sample |
| WO2024049441A1 (en) * | 2022-09-02 | 2024-03-07 | Innopeak Technology, Inc. | Latent prior embedded network for restoration and enhancement of images |
| CN115409068B (zh) * | 2022-09-09 | 2023-09-01 | 武汉中科科理光电技术有限公司 | 一种基于流式细胞数据的分析处理方法 |
| CN115553723B (zh) * | 2022-09-20 | 2024-05-10 | 湖南大学 | 用于血液中异常细胞筛查的基于高速调制随机介质掺杂光纤的关联成像方法 |
| WO2024107727A1 (en) * | 2022-11-18 | 2024-05-23 | 10X Genomics, Inc. | Systems and methods for actively mitigating vibrations |
| US12062204B2 (en) * | 2022-12-16 | 2024-08-13 | Zomedica Inc. | Methods and systems for slide imaging calibration |
| WO2024137310A1 (en) * | 2022-12-21 | 2024-06-27 | Pathware, Inc. | Point-of-care devices and methods for biopsy assessment |
| EP4400894A1 (en) * | 2023-01-12 | 2024-07-17 | CellaVision AB | Construction of digital extended focus images |
| CN117437235B (zh) * | 2023-12-21 | 2024-03-12 | 四川新康意众申新材料有限公司 | 基于图像处理的塑料薄膜质量检测方法 |
| CN117557568B (zh) * | 2024-01-12 | 2024-05-03 | 吉林省迈达医疗器械股份有限公司 | 基于红外图像的热化疗过程中病灶区域分割方法 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1934945A4 (en) * | 2005-10-11 | 2016-01-20 | Apple Inc | METHOD AND SYSTEM FOR RECONSTRUCTING AN OBJECT |
| CN101303302A (zh) * | 2007-05-11 | 2008-11-12 | 深圳大学 | 用动态散斑照明实现准共焦荧光显微的方法及装置 |
| GB2481589B (en) * | 2010-06-28 | 2014-06-11 | Phase Focus Ltd | Calibration of a probe in ptychography |
| WO2013038331A1 (en) * | 2011-09-13 | 2013-03-21 | Koninklijke Philips Electronics N.V. | System and method for the detection of abnormalities in a biological sample |
| US10652444B2 (en) | 2012-10-30 | 2020-05-12 | California Institute Of Technology | Multiplexed Fourier ptychography imaging systems and methods |
| AU2013338193A1 (en) | 2012-10-30 | 2015-05-21 | California Institute Of Technology | Fourier ptychographic imaging systems, devices, and methods |
| WO2015027188A1 (en) * | 2013-08-22 | 2015-02-26 | California Institute Of Technoloby | Variable-illumination fourier ptychographic imaging devices, systems, and methods |
| US9970891B2 (en) | 2013-11-04 | 2018-05-15 | Yeda Research And Development Co. Ltd. | System and method for phase retrieval in lensless imaging |
| WO2015179452A1 (en) | 2014-05-19 | 2015-11-26 | The Regents Of The University Of California | Fourier ptychographic microscopy with multiplexed illumination |
| US10437034B2 (en) * | 2014-10-14 | 2019-10-08 | Nanotronics Imaging, Inc. | Unique oblique lighting technique using a brightfield darkfield objective and imaging method relating thereto |
| AU2016211635A1 (en) | 2015-01-26 | 2017-06-29 | California Institute Of Technology | Multi-well fourier ptychographic and fluorescence imaging |
| WO2016123508A1 (en) | 2015-01-29 | 2016-08-04 | The Regents Of The University Of California | Patterned-illumination systems adopting a computational illumination |
| EP3268769A4 (en) | 2015-03-13 | 2018-12-05 | California Institute of Technology | Correcting for aberrations in incoherent imaging system using fourier ptychographic techniques |
| EP3106862B1 (en) * | 2015-06-18 | 2019-01-16 | FEI Company | Method of ptychographic imaging |
| US10394011B2 (en) | 2015-09-16 | 2019-08-27 | Technion Research And Development Foundation Ltd. | Ptychography system |
| WO2017186483A1 (en) | 2016-04-29 | 2017-11-02 | Asml Netherlands B.V. | Method and apparatus for determining the property of a structure, device manufacturing method |
| WO2017201334A1 (en) | 2016-05-19 | 2017-11-23 | Regents Of The University Of Colorado, A Body Corporate | Complex spatially-resolved reflectometry/refractometry |
| US10568507B2 (en) * | 2016-06-10 | 2020-02-25 | California Institute Of Technology | Pupil ptychography methods and systems |
| US10477097B2 (en) | 2017-01-03 | 2019-11-12 | University Of Connecticut | Single-frame autofocusing using multi-LED illumination |
| CN106896489B (zh) | 2017-02-13 | 2019-11-22 | 清华大学 | 基于波长复用的频域拼贴显微系统及其方法 |
| CN107065159B (zh) | 2017-03-24 | 2019-10-18 | 南京理工大学 | 一种基于大照明数值孔径的大视场高分辨率显微成像装置及迭代重构方法 |
| AU2019403134A1 (en) | 2018-12-18 | 2021-06-17 | Pathware Inc. | Computational microscopy based-system and method for automated imaging and analysis of pathology specimens |
| US11487099B2 (en) | 2019-03-28 | 2022-11-01 | University Of Connecticut | Imaging via diffuser modulation by translating a sample |
| US20200310099A1 (en) | 2019-03-28 | 2020-10-01 | University Of Connecticut | Imaging via translated speckle illumination and translated diffuser modulation |
-
2019
- 2019-12-17 AU AU2019403134A patent/AU2019403134A1/en not_active Abandoned
- 2019-12-17 MX MX2021007139A patent/MX2021007139A/es unknown
- 2019-12-17 US US17/415,227 patent/US11347046B2/en active Active
- 2019-12-17 WO PCT/US2019/066842 patent/WO2020131864A1/en unknown
- 2019-12-17 CN CN201980087829.0A patent/CN113939728A/zh active Pending
- 2019-12-17 KR KR1020217022441A patent/KR20210113236A/ko unknown
- 2019-12-17 BR BR112021011719-9A patent/BR112021011719A2/pt not_active Application Discontinuation
- 2019-12-17 JP JP2021534327A patent/JP2022513494A/ja active Pending
- 2019-12-17 CA CA3122853A patent/CA3122853A1/en active Pending
- 2019-12-17 EP EP19899838.7A patent/EP3899500A4/en not_active Withdrawn
-
2022
- 2022-05-03 US US17/735,351 patent/US11927738B2/en active Active
-
2024
- 2024-02-06 US US18/434,304 patent/US20240248294A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US11927738B2 (en) | 2024-03-12 |
| EP3899500A1 (en) | 2021-10-27 |
| US11347046B2 (en) | 2022-05-31 |
| BR112021011719A2 (pt) | 2021-08-31 |
| WO2020131864A1 (en) | 2020-06-25 |
| EP3899500A4 (en) | 2022-09-21 |
| AU2019403134A1 (en) | 2021-06-17 |
| US20220260826A1 (en) | 2022-08-18 |
| CA3122853A1 (en) | 2020-06-25 |
| JP2022513494A (ja) | 2022-02-08 |
| US20240248294A1 (en) | 2024-07-25 |
| US20220043251A1 (en) | 2022-02-10 |
| MX2021007139A (es) | 2021-09-10 |
| CN113939728A (zh) | 2022-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11927738B2 (en) | Computational microscopy based-system and method for automated imaging and analysis of pathology specimens | |
| Hanna et al. | Whole slide imaging: technology and applications | |
| US11164316B2 (en) | Image processing systems and methods for displaying multiple images of a biological specimen | |
| US20220076410A1 (en) | Computer supported review of tumors in histology images and post operative tumor margin assessment | |
| JP6453298B2 (ja) | 細胞診標本を観察および解析するためのシステムおよび方法 | |
| CN113474811A (zh) | 数字病理学图像中的感兴趣区域的基于神经网络的标识 | |
| US20060159367A1 (en) | System and method for creating variable quality images of a slide | |
| TWI830803B (zh) | 數位影像系統及方法 | |
| WO2016189469A1 (en) | A method for medical screening and a system therefor | |
| US20210233647A1 (en) | Digital imaging system and method | |
| Saini et al. | Digital cytology: current status and future prospects | |
| Sucaet et al. | Digital Pathology’s Past to Present | |
| Ghahremani | End-to-End Deep Learning Frameworks for Segmentation, Classification, and Visualization in Optical Microscopy Applications | |
| TWI855779B (zh) | 數位影像系統 | |
| Zaveri | Recognizing Magnification Levels in Microscopic Snapshots using Machine Learning | |
| Eklund | The Process of Digital Pathology and its Application in a Study |